JP2013025466A - Image processing device, image processing system and image processing program - Google Patents

Image processing device, image processing system and image processing program Download PDF

Info

Publication number
JP2013025466A
JP2013025466A JP2011157980A JP2011157980A JP2013025466A JP 2013025466 A JP2013025466 A JP 2013025466A JP 2011157980 A JP2011157980 A JP 2011157980A JP 2011157980 A JP2011157980 A JP 2011157980A JP 2013025466 A JP2013025466 A JP 2013025466A
Authority
JP
Japan
Prior art keywords
image
tile
temporary
unit
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011157980A
Other languages
Japanese (ja)
Inventor
Koichiro Kishima
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011157980A priority Critical patent/JP2013025466A/en
Priority to US13/546,750 priority patent/US20130022268A1/en
Publication of JP2013025466A publication Critical patent/JP2013025466A/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device, image processing system, and image processing program that are able to generate a highly accurate microscope image at a high speed.SOLUTION: The image processing device according to the present technique comprises an image capturing part, tile area setting part, temporary tile area setting part, temporary tile image formation part, noise removal part, and tile image formation part. The image capturing part captures a scan image. The tile area setting part divides a scan image into a plurality of tile areas. The temporary tile area setting part has a tile area in a scan image and sets a temporary tile area larger than the tile area. The temporary tile image formation part extracts a scan image from each temporary tile area and generates a temporary tile image. The noise removal part removes noise from the temporary tile image. The tile image formation part extracts a temporary tile image from each tile area and generates a tile image.

Description

本技術は、病理診断において顕微鏡を介して撮像されたスキャン画像のタイル分割処理に係る画像処理装置、画像処理システム及び画像処理プログラムに関する。   The present technology relates to an image processing apparatus, an image processing system, and an image processing program related to tile division processing of a scan image captured through a microscope in pathological diagnosis.

病理診断等の分野において、高解像度の顕微鏡画像を処理するためにタイリング(タイル分割)と呼ばれる処理が実行されることが多い。観察対象物を高解像度(高倍率)で撮像すると一回の撮像の撮像範囲が狭くなるが、観察対象物の異なる領域を順次撮像し、撮像された複数の画像(スキャン画像)を連結(スティッチング)することによりひとつの大きな高解像度の画像を取得することができる。   In the field of pathological diagnosis and the like, a process called tiling (tile division) is often executed in order to process a high-resolution microscope image. When the observation object is imaged at a high resolution (high magnification), the imaging range of one imaging is narrowed. However, different areas of the observation object are sequentially imaged, and a plurality of captured images (scan images) are connected (stitch). To obtain one large high-resolution image.

タイリングは、観察対象物のスキャン画像を所定の大きさ(例えば256画素×256画素)のタイルに分割し、HDD(Hard disk drive)等に保存するものである。これにより、スキャン画像が読み込まれているメモリを開放し、次のスキャン画像を取得することが可能となる。例えば特許文献1には、スキャンによって取得された「イメージがタイル化され」ことが記載されている。   In tiling, a scan image of an observation object is divided into tiles of a predetermined size (for example, 256 pixels × 256 pixels) and stored in an HDD (Hard Disk Drive) or the like. As a result, the memory in which the scan image is read can be released and the next scan image can be acquired. For example, Patent Document 1 describes that “images are tiled” acquired by scanning.

特開2009−37250号公報(段落[0036]、図16)JP 2009-37250 A (paragraph [0036], FIG. 16)

ここで顕微鏡画像、特に蛍光顕微鏡を用いて撮像された蛍光顕微鏡画像において、画像に含まれるノイズを数学的手法(ウェーブレット変換等)により除去することが一般的である。しかしながら、上記スキャン画像に対してノイズ除去処理を実行する場合、タイリングに起因する現象によって、高速かつ高精度な顕微鏡画像の生成が困難であるという問題が生じる。   Here, in a microscope image, in particular, a fluorescence microscope image captured using a fluorescence microscope, it is common to remove noise contained in the image by a mathematical method (wavelet transform or the like). However, when noise removal processing is performed on the scanned image, there is a problem that it is difficult to generate a microscope image with high speed and high accuracy due to a phenomenon caused by tiling.

以上のような事情に鑑み、本技術の目的は、高速かつ高精度な顕微鏡画像の生成が可能な画像処理装置、画像処理システム及び画像処理システムを提供することにある。   In view of the circumstances as described above, an object of the present technology is to provide an image processing apparatus, an image processing system, and an image processing system capable of generating a microscope image with high speed and high accuracy.

上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像取得部と、タイル領域設定部と、仮タイル領域設定部と、仮タイル画像生成部と、ノイズ除去部と、タイル画像生成部とを具備する。
上記画像取得部は、スキャン画像を取得する。
上記タイル領域設定部は、上記スキャン画像を複数のタイル領域に区画する。
上記仮タイル領域設定部は、上記スキャン画像に、上記タイル領域を含み上記タイル領域より大きい仮タイル領域を設定する。
上記仮タイル画像生成部は、上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する。
上記ノイズ除去部は、上記仮タイル画像にノイズ除去処理を施す。
上記タイル画像生成部は、上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成する。
To achieve the above object, an image processing apparatus according to an embodiment of the present technology includes an image acquisition unit, a tile region setting unit, a temporary tile region setting unit, a temporary tile image generation unit, a noise removal unit, a tile, An image generation unit.
The image acquisition unit acquires a scanned image.
The tile area setting unit divides the scan image into a plurality of tile areas.
The temporary tile area setting unit sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image.
The temporary tile image generation unit generates the temporary tile image by extracting the scan image for each temporary tile area.
The noise removal unit performs noise removal processing on the temporary tile image.
The tile image generation unit generates the tile image by extracting the temporary tile image for each tile region.

この構成によれば、仮タイル画像生成部が仮タイル画像を生成した時点で画像処理装置のメモリが開放され、次のスキャン画像を取得することが可能となるが、仮タイル画像の生成までの間にはノイズ除去処理は実行されないため、早期にメモリを開放することが可能となる。したがって、本画像処理装置においては画像取得部が次のスキャン画像を迅速に取得することが可能となる。また、ノイズ除去部が仮タイル画像にノイズ除去処理を施す際、仮タイル画像の周縁においては、連続する画素の情報が欠落することに起因する「不連続領域」が生成する。これに対してタイル画像生成部が、ノイズ除去処理が施された仮タイル画像のタイル領域をタイル画像とすることにより、タイル画像に不連続領域が含まれることが防止される。したがって、本画像処理装置においては、タイル画像が配列されて表示される際、隣接するタイル画像の境界で画像が不連続となることを防止することが可能である。   According to this configuration, when the temporary tile image generation unit generates the temporary tile image, the memory of the image processing apparatus is released and the next scan image can be acquired. Since noise removal processing is not executed in the meantime, the memory can be released early. Therefore, in the image processing apparatus, the image acquisition unit can quickly acquire the next scan image. In addition, when the noise removing unit performs noise removal processing on the temporary tile image, a “discontinuous region” is generated at the periphery of the temporary tile image due to lack of information on continuous pixels. On the other hand, the tile image generation unit uses the tile area of the temporary tile image subjected to the noise removal process as a tile image, thereby preventing the tile image from including a discontinuous area. Therefore, in the present image processing apparatus, when tile images are arranged and displayed, it is possible to prevent the images from becoming discontinuous at the boundary between adjacent tile images.

上記画像取得部は、連続する複数のスキャン画像を取得し、上記画像処理装置は、上記複数のスキャン画像の相互の相対位置を算出するスティッチング部をさらに具備し、上記タイル領域設定部は、上記相対位置に基づいて上記スキャン画像を複数のタイル領域に区画してもよい。   The image acquisition unit acquires a plurality of continuous scan images, the image processing apparatus further includes a stitching unit that calculates a relative position of the plurality of scan images, and the tile region setting unit includes: The scanned image may be partitioned into a plurality of tile areas based on the relative position.

この構成によれば、タイル領域設定部が、特定のスキャン画像に対してタイル領域を設定する際、連続するスキャン画像に跨ってタイル領域を設定することが可能となり、したがって、仮タイル画像生成部が、連続するスキャン画像も利用して仮タイル画像を生成することが可能となる。これにより、ひとつの観察対象物に対して複数のスキャン画像が撮像される場合であっても、当該複数のスキャン画像間で連続するタイル画像を生成することが可能となる。   According to this configuration, when the tile area setting unit sets a tile area for a specific scan image, the tile area can be set across the continuous scan images. However, it is possible to generate a temporary tile image using continuous scan images. Thereby, even when a plurality of scan images are captured with respect to one observation object, it is possible to generate tile images that are continuous between the plurality of scan images.

上記スキャン画像は、蛍光顕微鏡を介して撮像された蛍光顕微鏡画像であってもよい。   The scan image may be a fluorescence microscope image captured through a fluorescence microscope.

蛍光顕微鏡画像は、その原理上観察対象物の明るさが小さく、したがって撮像素子による露光を長時間実行する必要がある。このため、蛍光顕微鏡画像にはノイズが生じ易く、本技術画像処理装置によるノイズ除去処理が特に有効である。   In the fluorescence microscope image, the brightness of the observation object is small in principle, and therefore it is necessary to execute exposure by the image sensor for a long time. For this reason, noise is easily generated in the fluorescence microscope image, and noise removal processing by the image processing apparatus of the present technology is particularly effective.

上記目的を達成するため、本技術の一形態に係る画像処理システムは、撮像装置と、画像処理装置とを具備する。
上記撮像装置は、観察対象物のスキャン画像を撮像する。
上記画像処理装置は、上記スキャン画像を取得する画像取得部と、上記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、上記スキャン画像に上記タイル領域を含み上記タイル領域よりより大きい仮タイル領域を設定する仮タイル領域設定部と、上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、上記仮タイル画像にノイズ除去処理を施すノイズ除去部と、上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部とを有する。
In order to achieve the above object, an image processing system according to an embodiment of the present technology includes an imaging device and an image processing device.
The imaging device captures a scan image of the observation object.
The image processing apparatus includes an image acquisition unit that acquires the scan image, a tile region setting unit that partitions the scan image into a plurality of tile regions, and a temporary image that includes the tile region in the scan image and is larger than the tile region. A temporary tile area setting unit that sets a tile area, a temporary tile image generation unit that generates a temporary tile image by extracting the scan image for each temporary tile area, and noise removal that performs noise removal processing on the temporary tile image And a tile image generation unit that generates the tile image by extracting the temporary tile image for each tile region.

上記撮像装置は、蛍光顕微鏡を介して上記観察対象物を撮像してもよい。   The imaging device may image the observation object via a fluorescence microscope.

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、画像取得部と、タイル領域設定部と、仮タイル領域設定部と、仮タイル画像生成部と、ノイズ除去部と、タイル画像生成部ととしてコンピュータを機能させる。
上記画像取得部は、スキャン画像を取得する。
上記タイル領域設定部は、上記スキャン画像を複数のタイル領域に区画する。
上記仮タイル領域設定部は、上記スキャン画像に、上記タイル領域を含み上記タイル領域より大きい仮タイル領域を設定する。
上記仮タイル画像生成部は、上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する。
上記ノイズ除去部は、上記仮タイル画像にノイズ除去処理を施す。
上記タイル画像生成部は、上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成する。
In order to achieve the above object, an image processing program according to an aspect of the present technology includes an image acquisition unit, a tile region setting unit, a temporary tile region setting unit, a temporary tile image generation unit, a noise removal unit, a tile, The computer functions as an image generation unit.
The image acquisition unit acquires a scanned image.
The tile area setting unit divides the scan image into a plurality of tile areas.
The temporary tile area setting unit sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image.
The temporary tile image generation unit generates the temporary tile image by extracting the scan image for each temporary tile area.
The noise removal unit performs noise removal processing on the temporary tile image.
The tile image generation unit generates the tile image by extracting the temporary tile image for each tile region.

以上のように、本技術によれば、高速かつ高精度な顕微鏡画像の生成が可能な画像処理装置、画像処理システム及び画像処理システムを提供することが可能となる。   As described above, according to the present technology, it is possible to provide an image processing apparatus, an image processing system, and an image processing system capable of generating a microscope image at high speed and with high accuracy.

本技術の実施形態に係る画像処理システムの機能的構成を示すブロック図である。1 is a block diagram illustrating a functional configuration of an image processing system according to an embodiment of the present technology. 同画像処理システムを構成する撮像装置による撮像対象物の撮像を説明するための概念図である。It is a conceptual diagram for demonstrating the imaging of the imaging target object by the imaging device which comprises the image processing system. 同画像処理システムを構成する画像処理装置の画像取得部が取得するスキャン画像の例である。It is an example of the scanned image which the image acquisition part of the image processing apparatus which comprises the image processing system acquires. 同画像処理システムを構成する画像処理装置のスティッチング部によるスティッチングを示す概念図である。It is a conceptual diagram which shows the stitching by the stitching part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置のタイル領域設定部によりスキャン画像に設定されたタイル領域を示す概念図である。It is a conceptual diagram which shows the tile area | region set to the scan image by the tile area | region setting part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置の仮タイル領域設定部によりスキャン画像に設定された仮タイル領域を示す概念図である。It is a conceptual diagram which shows the temporary tile area | region set to the scan image by the temporary tile area | region setting part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置の仮タイル画像生成部により生成された仮タイル画像を示す概念図である。It is a conceptual diagram which shows the temporary tile image produced | generated by the temporary tile image production | generation part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置のノイズ除去部によるノイズ除去を示す概念図である。It is a conceptual diagram which shows the noise removal by the noise removal part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置のタイル画像生成部により生成されたタイル画像を示す概念図である。It is a conceptual diagram which shows the tile image produced | generated by the tile image production | generation part of the image processing apparatus which comprises the image processing system. 同画像処理システムを構成する画像処理装置の表示部に表示される配列されたタイル画像を示す概念図である。It is a conceptual diagram which shows the arranged tile image displayed on the display part of the image processing apparatus which comprises the image processing system. 比較例1に係るノイズ除去方法を示す概念図である。It is a conceptual diagram which shows the noise removal method which concerns on the comparative example 1. FIG. 比較例2に係るノイズ除去方法を示す概念図である。It is a conceptual diagram which shows the noise removal method which concerns on the comparative example 2. 本技術の実施形態に係る画像処理システムを構成する撮像装置の具体例である蛍光顕微鏡の構成を示す模式図である。It is a mimetic diagram showing composition of a fluorescence microscope which is a specific example of an imaging device which constitutes an image processing system concerning an embodiment of this art. 同画像処理システムを構成する画像処理装置の具体例である顕微鏡用コンピュータの構成を示す模式図である。It is a schematic diagram which shows the structure of the computer for microscopes which is a specific example of the image processing apparatus which comprises the image processing system. 同画像処理システムの効果を示す各画像である。It is each image which shows the effect of the image processing system. 同画像処理システムの効果を示す各画像の輝度分布のグラフである。It is a graph of the luminance distribution of each image which shows the effect of the image processing system. 同画像処理システムの効果を示す各画像の輝度分布のグラフである。It is a graph of the luminance distribution of each image which shows the effect of the image processing system. 同画像処理システムの効果を示す各画像の輝度分布のグラフである。It is a graph of the luminance distribution of each image which shows the effect of the image processing system.

以下、本技術に係る実施形態を、図面を参照しながら説明する。   Hereinafter, embodiments according to the present technology will be described with reference to the drawings.

<画像処理システムの機能的構成>
本実施形態に係る画像処理システムの機能的構成について説明する。
<Functional configuration of image processing system>
A functional configuration of the image processing system according to the present embodiment will be described.

図1は、本技術の実施形態に係る画像処理システム1の機能的構成を示すブロックである。同図に示すように、画像処理システム1は画像処理装置10、及び撮像装置20によって構成され、撮像装置20は画像処理装置10に接続されている。なお、画像処理装置10は例えば顕微鏡用コンピュータであり、撮像装置20は例えば蛍光顕微鏡撮像装置である。   FIG. 1 is a block diagram illustrating a functional configuration of an image processing system 1 according to an embodiment of the present technology. As illustrated in FIG. 1, the image processing system 1 includes an image processing device 10 and an imaging device 20, and the imaging device 20 is connected to the image processing device 10. The image processing apparatus 10 is, for example, a microscope computer, and the imaging apparatus 20 is, for example, a fluorescence microscope imaging apparatus.

画像処理装置10は、画像取得部11、スティッチング部12、タイル領域設定部13、仮タイル領域設定部14、仮タイル画像生成部15、ノイズ除去部16、タイル画像生成部17、記憶部18及び表示部19を有する。画像取得部11、スティッチング部12、タイル領域設定部13、仮タイル領域設定部14及び仮タイル画像生成部15はこの順に順次接続され、続いて仮タイル画像生成部15、記憶部18、ノイズ除去部16、タイル画像生成部17、記憶部18の順で接続されている。表示部19は記憶部18と接続されている。   The image processing apparatus 10 includes an image acquisition unit 11, a stitching unit 12, a tile region setting unit 13, a temporary tile region setting unit 14, a temporary tile image generation unit 15, a noise removal unit 16, a tile image generation unit 17, and a storage unit 18. And a display unit 19. The image acquisition unit 11, the stitching unit 12, the tile area setting unit 13, the temporary tile area setting unit 14, and the temporary tile image generation unit 15 are sequentially connected in this order, followed by the temporary tile image generation unit 15, the storage unit 18, and the noise. The removal unit 16, the tile image generation unit 17, and the storage unit 18 are connected in this order. The display unit 19 is connected to the storage unit 18.

撮像装置20は撮像対象物のスキャン画像を撮像する。図2は、撮像装置20による撮像対象物Pの撮像を説明するための概念図である。同図に示すように、撮像対象物P上に撮像装置20の一回(1ショット)の撮像によって撮像される撮像範囲S1、その次の撮像によって撮像される撮像範囲S2、さらに次の撮像によって撮像される撮像範囲S3を示す。   The imaging device 20 captures a scan image of the imaging object. FIG. 2 is a conceptual diagram for explaining the imaging of the imaging target P by the imaging device 20. As shown in the figure, on the imaging object P, an imaging range S1 that is imaged by one imaging (one shot) of the imaging device 20, an imaging range S2 that is imaged by the next imaging, and further by the next imaging An imaging range S3 to be imaged is shown.

撮像装置20が顕微鏡撮像装置である場合、その一回の撮像の撮像範囲は拡大倍率に応じて異なるが撮像対象物Pの全体には及ばず、撮像対象物Pの部分的領域となることが通常である。したがって、撮像対象物Pの全体の高倍率画像を撮像するためには撮像範囲をずらしながら撮像する必要がある。なお、撮像範囲は、撮像対象物Pの全体を低倍率で撮像したサムネイル画像から、領域検出処理によって決定されるものとすることができる。   When the imaging device 20 is a microscope imaging device, the imaging range of one imaging varies depending on the magnification, but it does not reach the entire imaging target P and may be a partial region of the imaging target P. It is normal. Accordingly, in order to capture a high-magnification image of the entire imaging target P, it is necessary to capture the image while shifting the imaging range. Note that the imaging range can be determined by area detection processing from thumbnail images obtained by imaging the entire imaging target P at a low magnification.

以下、撮像装置20による一回の撮像によって撮像される画像を「スキャン画像」とする。スキャン画像の画素数は、撮像装置20の撮像素子の画素数となるが、例えば24Mピクセル(2400万画素)とすることができる。撮像装置20はこれらのスキャン画像を、撮像毎に順次、画像処理装置10の画像取得部11に出力する。   Hereinafter, an image captured by one imaging by the imaging device 20 is referred to as a “scanned image”. The number of pixels of the scan image is the number of pixels of the image sensor of the imaging device 20, and can be set to, for example, 24M pixels (24 million pixels). The imaging apparatus 20 outputs these scan images to the image acquisition unit 11 of the image processing apparatus 10 sequentially for each imaging.

画像取得部11は、上述のように撮像装置20から出力されたスキャン画像を取得する。図3は画像取得部11が取得するスキャン画像の例を示す図である。図3(a)は上記撮像範囲S1において撮像されたスキャン画像G1、図3(b)は撮像範囲S2において撮像されたスキャン画像G2、図3(c)は撮像範囲S3において撮像されたスキャン画像G3を示す。画像取得部11は、これらのスキャン画像を順次スティッチング部12に供給する。   The image acquisition unit 11 acquires the scan image output from the imaging device 20 as described above. FIG. 3 is a diagram illustrating an example of a scanned image acquired by the image acquisition unit 11. 3A is a scan image G1 captured in the imaging range S1, FIG. 3B is a scan image G2 captured in the imaging range S2, and FIG. 3C is a scan image captured in the imaging range S3. G3 is shown. The image acquisition unit 11 sequentially supplies these scan images to the stitching unit 12.

スティッチング部12は、画像取得部11から供給されたスキャン画像を「スティッチング」する。図4はスティッチングを示す概念図である。同図に示すように、スティッチングとは、別々に撮像されたスキャン画像の相互の相対位置を算出することを意味する。スティッチング部12は、例えばスキャン画像の各画素について輝度値の相関関数等を用いてスキャン画像の相対位置を算出することができる。   The stitching unit 12 “stitches” the scanned image supplied from the image acquisition unit 11. FIG. 4 is a conceptual diagram showing stitching. As shown in the figure, stitching means calculating relative positions of scan images captured separately. The stitching unit 12 can calculate the relative position of the scan image using, for example, a correlation function of luminance values for each pixel of the scan image.

スティッチング部12は、例えば図4(a)に示すように、画像取得部11からスキャン画像G1とスキャン画像G2が供給された時点でスキャン画像G1に対するスキャン画像G2の相対位置を算出する。続いてスティッチング部12は、図4(b)に示すようにスキャン画像G3が供給された時点でスキャン画像G2に対するスキャン画像G3の相対位置を算出する。これによりスティッチング部12は、スキャン画像G1からスキャン画像G3の相対位置を算出することができる。   For example, as shown in FIG. 4A, the stitching unit 12 calculates the relative position of the scan image G2 with respect to the scan image G1 when the scan image G1 and the scan image G2 are supplied from the image acquisition unit 11. Subsequently, as shown in FIG. 4B, the stitching unit 12 calculates the relative position of the scan image G3 with respect to the scan image G2 when the scan image G3 is supplied. Thereby, the stitching unit 12 can calculate the relative position of the scan image G3 from the scan image G1.

なお、スティッチング部12は、実際にスキャン画像を連結させた画像を生成するのではなく、スキャン画像相互の相対位置(例えばオフセット値)を算出するものである。スティッチング部12は、算出した相対位置をタイル領域設定部13に供給する。なお、以下の説明において、スキャン画像G1〜G3のひとつを単にスキャン画像Gとする。 The stitching unit 12 does not generate an image obtained by actually connecting scan images, but calculates a relative position (for example, an offset value) between the scan images. The stitching unit 12 supplies the calculated relative position to the tile area setting unit 13. In the following description, one of the scan images G1 to G3 is simply referred to as a scan image G.

タイル領域設定部13は、スキャン画像Gを複数の「タイル領域」に区画する。図5は、スキャン画像Gに設定されたタイル領域R1を示す概念図である。タイル領域R1は、後に説明するタイル画像生成部17がスキャン画像Gを分割して「タイル画像」を生成する際に分割単位となる領域である。タイル領域R1は、任意の大きさとすることができるが、画像容量や演算処理の便宜から256画素×256画素の大きさが好適である。   The tile area setting unit 13 divides the scan image G into a plurality of “tile areas”. FIG. 5 is a conceptual diagram showing the tile region R1 set in the scan image G. The tile area R1 is an area that becomes a division unit when the tile image generation unit 17 described later generates a “tile image” by dividing the scan image G. The tile region R1 can have an arbitrary size, but a size of 256 pixels × 256 pixels is preferable for convenience of image capacity and arithmetic processing.

図5(a)に示すタイル領域R1はスキャン画像Gの周縁に一致しているが、例えば図5(b)に示すようにタイル領域R1がスキャン画像Gからはみ出す場合も考えられる。この場合はタイル画像生成部17が、上記スティッチング部12により算出された相対位置に基づいて他のスキャン画像の一部を利用するため問題とはならない。タイル領域設定部13は、タイル領域R1をスキャン画像Gと共に仮タイル領域設定部14に供給する。   Although the tile area R1 shown in FIG. 5A coincides with the periphery of the scan image G, for example, the tile area R1 may protrude from the scan image G as shown in FIG. In this case, there is no problem because the tile image generation unit 17 uses a part of another scan image based on the relative position calculated by the stitching unit 12. The tile area setting unit 13 supplies the tile area R1 to the temporary tile area setting unit 14 together with the scan image G.

仮タイル領域設定部14は、上記スキャン画像に「仮タイル領域」を設定する。図6はスキャン画像Gに設定された仮タイル領域R2を示す概念図である。仮タイル領域R2は、タイル領域R1を少なくとも一つ含む、そのタイル領域R1より大きい領域とすることができる。   The temporary tile area setting unit 14 sets a “temporary tile area” in the scanned image. FIG. 6 is a conceptual diagram showing the temporary tile region R2 set in the scan image G. The temporary tile area R2 may be an area that includes at least one tile area R1 and is larger than the tile area R1.

図6(a)に示すように、仮タイル領域R2は、各タイル領域R1から所定幅大きい領域とすることができる。具体的には、タイル領域R1のサイズが256画素×256画素である場合に、仮タイル領域R2は288画素×288画素(即ち所定幅を16画素)とすることができる。所定幅は、特に限定されないが、後述するノイズ除去における演算処理の負担を軽減するため、8の倍数の画素が望ましい。また、仮タイル領域R2は図6(b)に示すように、隣接する複数(例えば4つや9つ)のタイル領域R1から所定幅大きい領域とすることもできる。   As shown in FIG. 6A, the temporary tile region R2 can be a region having a predetermined width larger than each tile region R1. Specifically, when the size of the tile area R1 is 256 pixels × 256 pixels, the temporary tile area R2 can be 288 pixels × 288 pixels (that is, the predetermined width is 16 pixels). The predetermined width is not particularly limited, but a pixel having a multiple of 8 is desirable in order to reduce the burden of calculation processing in noise removal described later. Further, as shown in FIG. 6B, the temporary tile region R2 can be a region having a predetermined width larger than a plurality of adjacent (for example, four or nine) tile regions R1.

上記のようにタイル領域R1はスキャン画像Gを区画する領域であるから、各タイル領域R1は隣接するタイル領域R1と重複しない。しかし、仮タイル領域R2はそのタイル領域R1より所定幅大きい領域であるから、仮タイル領域R2は隣接する仮タイル領域R2と重複することになる。仮タイル領域設定部14は仮タイル領域R2をタイル領域R1及びスキャン画像Gと共に仮タイル画像生成部15に供給する。   As described above, since the tile area R1 is an area that partitions the scan image G, each tile area R1 does not overlap with the adjacent tile area R1. However, since the temporary tile region R2 is a region having a predetermined width larger than the tile region R1, the temporary tile region R2 overlaps with the adjacent temporary tile region R2. The temporary tile area setting unit 14 supplies the temporary tile area R2 to the temporary tile image generation unit 15 together with the tile area R1 and the scan image G.

仮タイル画像生成部15は、「仮タイル画像」をスキャン画像Gから生成する。図7は、仮タイル画像Xを示す概念図である。同図に示すように仮タイル画像生成部15は、スキャン画像Gにおいて仮タイル領域R2毎にスキャン画像を抽出し、仮タイル画像Xを生成する。上記のように仮タイル領域R2は隣接する仮タイル領域R2と重複するものであるから、2つ以上の仮タイル領域R2に含まれていた画像領域は、各タイル画像Xに含まれている。   The temporary tile image generation unit 15 generates a “temporary tile image” from the scan image G. FIG. 7 is a conceptual diagram showing the temporary tile image X. As shown in the figure, the temporary tile image generation unit 15 extracts a scan image for each temporary tile region R2 in the scan image G and generates a temporary tile image X. As described above, since the temporary tile area R2 overlaps with the adjacent temporary tile area R2, the image areas included in the two or more temporary tile areas R2 are included in each tile image X.

なお仮タイル画像生成部15は、タイル領域設定部13によって設定されたタイル領域R1(及び仮タイル領域R2)が、スキャン画像Gからはみ出す場合(図5(b)参照)次のように動作する。即ち仮タイル画像生成部15は、スティッチング部12において算出された各スキャン画像G間の相対位置に基づいて、隣接するスキャン画像Gから仮タイル領域R2に含まれるべき画像領域を抽出し、仮タイル画像Xを生成する。仮タイル画像生成部15は、生成した仮タイル画像Xを記憶部18に供給する。   The temporary tile image generation unit 15 operates as follows when the tile region R1 (and the temporary tile region R2) set by the tile region setting unit 13 protrudes from the scan image G (see FIG. 5B). . That is, the temporary tile image generation unit 15 extracts an image region that should be included in the temporary tile region R2 from the adjacent scan images G based on the relative positions between the scan images G calculated by the stitching unit 12, and A tile image X is generated. The temporary tile image generation unit 15 supplies the generated temporary tile image X to the storage unit 18.

記憶部18は、仮タイル画像生成部15から供給された仮タイル画像Xを記憶する。この時点で上記画像取得部11から仮タイル画像生成部15の処理に使用されていたメモリが開放される。即ち、画像取得部11から仮タイル画像生成部15は新たなスキャン画像に対して上記処理を実行することが可能となる。   The storage unit 18 stores the temporary tile image X supplied from the temporary tile image generation unit 15. At this time, the memory used for the processing of the temporary tile image generation unit 15 from the image acquisition unit 11 is released. That is, the image acquisition unit 11 to the temporary tile image generation unit 15 can execute the above-described processing on a new scan image.

ノイズ除去部16は、記憶部18に記憶されている各仮タイル画像Xを読み出し、ノイズ除去処理を実行する。ノイズ除去は、ウェーブレット変換や高周波成分カット等の各種アルゴリズムにより実行することができ、具体的には、MATLAB(登録商標:MathWorks社)の拡張パッケージであるwavelet toolbox(登録商標:同社)を用いて実行することができる。図8は、ノイズ除去部16によるノイズ除去を概念的に示す図である。図8(a)にノイズ除去前の仮タイル画像Xのひとつを示し、図8(b)にノイズ除去後の仮タイル画像X(以下、仮タイル画像X’とする)を示す。   The noise removal unit 16 reads each temporary tile image X stored in the storage unit 18 and executes noise removal processing. Noise removal can be performed by various algorithms such as wavelet transform and high frequency component cut. Specifically, using wavelet toolbox (registered trademark: the company) which is an extension package of MATLAB (registered trademark: MathWorks). Can be executed. FIG. 8 is a diagram conceptually illustrating noise removal by the noise removal unit 16. FIG. 8A shows one of the temporary tile images X before noise removal, and FIG. 8B shows the temporary tile image X after noise removal (hereinafter referred to as temporary tile image X ′).

図8(a)に示す仮タイル画像Xには、画像全体にノイズ成分が存在している。これに対しノイズ除去処理を実行すると、図8(b)に示すようにノイズ成分が除去される。ただし、仮タイル画像X’の周縁部において「不連続領域」Hが生じる。不連続領域Hは、ノイズ除去処理の際、仮タイル画像Xの周縁において画像が途切れていることに起因するものであり、詳細は後述する比較例2との対比において説明する。ノイズ除去部16は、全ての仮タイル画像Xにノイズ除去処理を施し、生成された仮タイル画像X’を再び記憶部18に供給し、記憶させる。   In the temporary tile image X shown in FIG. 8A, a noise component exists in the entire image. On the other hand, when noise removal processing is executed, noise components are removed as shown in FIG. However, a “discontinuous region” H occurs at the peripheral edge of the temporary tile image X ′. The discontinuous region H is caused by the fact that the image is interrupted at the periphery of the temporary tile image X during the noise removal processing, and details will be described in comparison with Comparative Example 2 described later. The noise removal unit 16 performs noise removal processing on all the temporary tile images X, and supplies the generated temporary tile images X ′ to the storage unit 18 again for storage.

タイル画像生成部17は、記憶部18に記憶されているノイズ除去済みの仮タイル画像X’を読み出し、「タイル画像」を生成する。図9は、タイル画像生成部17によるタイル画像の生成を概念的に示す図である。図9(a)に仮タイル画像X’を示し、図9(b)にタイル画像生成部17によって生成されるタイル画像Yを示す。タイル画像生成部17は、仮タイル画像X’からタイル領域R1を抽出し(即ち、タイル領域R1以外の部分を除去し)、タイル画像Yとする。上記のように仮タイル画像X’に存在していた不連続領域Hはタイル領域R1には含まれない(そのようにタイル領域R1を設定している)ため、タイル画像Yにも含まれない。タイル画像生成部17は全ての仮タイル画像X’についてタイル画像Yを生成して記憶部18に供給し、記憶させる。   The tile image generation unit 17 reads the noise-removed temporary tile image X ′ stored in the storage unit 18 and generates a “tile image”. FIG. 9 is a diagram conceptually illustrating the generation of a tile image by the tile image generation unit 17. FIG. 9A shows the temporary tile image X ′, and FIG. 9B shows the tile image Y generated by the tile image generation unit 17. The tile image generation unit 17 extracts the tile area R1 from the temporary tile image X ′ (that is, removes a part other than the tile area R1) and sets it as the tile image Y. As described above, the discontinuous area H present in the temporary tile image X ′ is not included in the tile area R1 (the tile area R1 is set as such), and thus is not included in the tile image Y. . The tile image generation unit 17 generates tile images Y for all the temporary tile images X ′, supplies them to the storage unit 18, and stores them.

画像取得部11からタイル画像生成部17までの動作によって、記憶部18には各スキャン画像から生成されたタイル画像Yが記憶されることとなる。表示部19は、ユーザによる指示に応じて、タイル画像生成部17からこれらのタイル画像Yを読み出してディスプレイ等に表示させることができる。図10に、表示部19が表示させる画像(配列されたタイル画像Y)を示す。   By the operation from the image acquisition unit 11 to the tile image generation unit 17, the tile image Y generated from each scan image is stored in the storage unit 18. The display unit 19 can read these tile images Y from the tile image generation unit 17 and display them on a display or the like in accordance with an instruction from the user. FIG. 10 shows an image (arranged tile image Y) displayed by the display unit 19.

以上のようにして、スキャン画像Gからタイル画像Yが生成される。仮タイル画像生成部15が、スキャン画像Gを仮タイル画像Xに分割して記憶部18に記憶させるので、この時点でメモリを開放することができる。これにより、画像取得部11が速やかに次のスキャン画像Gを取得することが可能となる。   As described above, the tile image Y is generated from the scan image G. Since the temporary tile image generation unit 15 divides the scan image G into the temporary tile images X and stores them in the storage unit 18, the memory can be released at this point. As a result, the image acquisition unit 11 can quickly acquire the next scan image G.

また、上述のように仮タイル領域設定部14がタイル領域R1を含む仮タイル領域R2を設定し、タイル画像生成部17が仮タイル画像X’からタイル領域R1のみを抽出してタイル画像Yを生成することにより、ノイズ除去処理により発生する不連続領域Hはタイル領域R1には含まれない。したがって表示部19がタイル画像Yを配列して表示させる際に表示画像に不連続領域が含まれないものとすることが可能となる。   Further, as described above, the temporary tile area setting unit 14 sets the temporary tile area R2 including the tile area R1, and the tile image generation unit 17 extracts only the tile area R1 from the temporary tile image X ′ to obtain the tile image Y. By generating, the discontinuous area H generated by the noise removal processing is not included in the tile area R1. Therefore, when the display unit 19 arranges and displays the tile images Y, it is possible to make the display image not include a discontinuous region.

<他のノイズ除去処理との比較>
[比較例1:スキャン画像のタイル化前にノイズ除去する場合]
比較として、スキャン画像をタイル画像に分割する前に、スキャン画像にノイズ除去処理を施す場合について検討する。図11は、比較例1に係るノイズ除去方法を概念的に説明する図である。
<Comparison with other noise removal processing>
[Comparative Example 1: When removing noise before tiling a scanned image]
As a comparison, consider a case where noise removal processing is performed on a scanned image before the scanned image is divided into tile images. FIG. 11 is a diagram conceptually illustrating the noise removal method according to the first comparative example.

図11(a)にスキャン画像A1を示す。本比較例ではこのスキャン画像A1に対してノイズ除去処理を施し図11(b)に示すスキャン画像A1’が生成し、さらにスキャン画像A1’を分割して図11(c)に示すタイル画像A2を生成させるとする。最終的には図11(d)に示す画像(配列されたタイル画像A2)が表示画像となる。   FIG. 11A shows a scanned image A1. In this comparative example, this scan image A1 is subjected to noise removal processing to generate a scan image A1 ′ shown in FIG. 11B, and the scan image A1 ′ is further divided to form a tile image A2 shown in FIG. Is generated. Finally, the image (arranged tile image A2) shown in FIG. 11 (d) becomes the display image.

この場合、スキャン画像A1は一般に画像サイズ(画素数)が大きいので、ノイズ除去処理の速度が極めて遅くなる。このため、スキャン画像A1からスキャン画像A1’を生成させるまでに非常に長い時間が必要となる。スキャン画像A1’をタイル画像A2に分割してHDD等に保存させることによってはじめてメモリを開放させることが可能となるから、撮像装置にひとつのスキャン画像を撮像させてからすぐに次のスキャン画像を撮像させることができず、観察対象物全体の撮像に非常に長い時間が必要となる。   In this case, since the scan image A1 generally has a large image size (number of pixels), the speed of the noise removal process is extremely slow. For this reason, a very long time is required until the scan image A1 'is generated from the scan image A1. Since the memory can be released only by dividing the scan image A1 ′ into tile images A2 and storing them in the HDD or the like, the next scan image is immediately taken after the image pickup apparatus picks up one scan image. Imaging cannot be performed, and a very long time is required for imaging the entire observation object.

[比較例2:スキャン画像のタイル化後にノイズ除去する場合]
さらに比較として、スキャン画像をタイル画像に分割した後に、タイル画像にノイズ除去処理を施す場合について検討する。図12は、比較例2に係るノイズ除去方法を概念的に説明する図である。
[Comparative Example 2: When removing noise after tiling a scanned image]
Further, as a comparison, a case where noise removal processing is performed on a tile image after the scan image is divided into tile images will be considered. FIG. 12 is a diagram conceptually illustrating the noise removal method according to the second comparative example.

図12(a)にスキャン画像B1を示す。本比較例ではこのスキャン画像B1を分割して図12(b)に示すタイル画像B2を生成させ、さらに各タイル画像B2に対しノイズ除去処理を施して図12(c)に示すタイル画像B2’を生成させるとする。最終的には図12(d)に示す画像(配列されたタイル画像B2’)が表示画像となる。   FIG. 12A shows a scanned image B1. In this comparative example, this scan image B1 is divided to generate a tile image B2 shown in FIG. 12B, and noise removal processing is performed on each tile image B2 to obtain a tile image B2 ′ shown in FIG. Is generated. Finally, the image (arranged tile image B2 ') shown in FIG. 12D becomes the display image.

この場合、スキャン画像B1にノイズ除去処理を施すことなくタイル画像B2に分割するので、タイル画像B2の生成には時間を要しない。したがって、タイル画像B2を保存させてメモリを開放させることにより、撮像装置にひとつのスキャン画像を撮像させてからすぐに次のスキャン画像を撮像させることは可能となる。   In this case, since the scan image B1 is divided into tile images B2 without performing noise removal processing, it does not take time to generate the tile images B2. Therefore, by saving the tile image B2 and releasing the memory, it is possible to capture the next scan image immediately after the image capturing apparatus captures one scan image.

ただし、この方法では「不連続領域」が問題となる。上述のようにタイル画像B2にノイズ除去処理を施す際、タイル画像B2の周縁において画像が途切れているため、隣接する画素の情報(輝度値等)が欠落することとなる。したがってタイル画像B2’の周縁において、隣接するタイル画像B2’と連続性を有しない領域(不連続領域J)が生じる。即ち、図12(d)に示すように、表示部に表示される画像において、タイル画像B2’の境界に不連続領域Jが存在することとなる。   However, this method has a problem of “discontinuous region”. As described above, when the noise removal process is performed on the tile image B2, the image is interrupted at the periphery of the tile image B2, and therefore information (luminance value and the like) of adjacent pixels is lost. Therefore, an area (discontinuous area J) that does not have continuity with the adjacent tile image B2 'occurs at the periphery of the tile image B2'. That is, as shown in FIG. 12D, in the image displayed on the display unit, the discontinuous region J exists at the boundary of the tile image B2 '.

この不連続領域Jはユーザが表示画像を観察する際に妨げとなり、また、病理診断においてはこのような画像にさらに画像処理(蛍光画像における輝点計数処理等)を施すことが多いが、その際にも誤検出等の原因となる。   This discontinuous area J is a hindrance when the user observes the display image, and in pathological diagnosis, such an image is often further subjected to image processing (such as bright spot counting processing in a fluorescent image). In some cases, it may cause false detection.

[本実施形態に係る画像処理システムの比較例1及び2との比較]
比較例1に対して画像処理システム1では、仮タイル画像生成部15がノイズ除去処理を実行する前にスキャン画像Gから仮タイル画像Xを生成し、記憶部18に記憶させる。したがって比較例1のように、(メモリが開放される)タイル分割までに時間を要するためにスキャン画像の撮像が遅延するという問題は生じない。
[Comparison with Comparative Examples 1 and 2 of the Image Processing System According to the Present Embodiment]
In contrast to Comparative Example 1, in the image processing system 1, the temporary tile image generation unit 15 generates the temporary tile image X from the scan image G and stores the temporary tile image X in the storage unit 18 before executing the noise removal processing. Therefore, unlike the first comparative example, there is no problem that the scan image capturing is delayed because time is required until tile division (the memory is released).

比較例2に対して画像処理装置10では、タイル画像生成部17が、不連続領域Hが含まれない仮タイル画像X’のタイル領域R1のみをタイル画像Yとする。したがって、比較例2のように(最終的な表示画像となる)タイル画像Yには不連続領域Hが含まれず、不連続領域Hによる影響のない表示画像を生成させることが可能となる。   In contrast to Comparative Example 2, in the image processing apparatus 10, the tile image generation unit 17 sets only the tile region R1 of the temporary tile image X ′ that does not include the discontinuous region H as the tile image Y. Therefore, the discontinuous area H is not included in the tile image Y (which will be the final display image) as in Comparative Example 2, and a display image that is not affected by the discontinuous area H can be generated.

<スキャン画像について>
本実施形態に係る画像処理システム1が処理対象とするスキャン画像は、顕微鏡画像であれば特に限定されないが、蛍光顕微鏡によって撮像された蛍光顕微鏡画像が特に有効である。蛍光顕微鏡とは、特定の染色剤によって染色された観察対象物に励起光を照射し、観察対象物から放出される蛍光を撮像する顕微鏡である。
<About scanned images>
The scan image to be processed by the image processing system 1 according to the present embodiment is not particularly limited as long as it is a microscope image, but a fluorescence microscope image captured by a fluorescence microscope is particularly effective. A fluorescence microscope is a microscope that irradiates an observation object stained with a specific staining agent with excitation light and images fluorescence emitted from the observation object.

蛍光顕微鏡では、可視光を対象とする通常の顕微鏡(明視野顕微鏡)に比べその観察対象物の明るさが小さく、したがって撮像素子による露光を長時間実行する必要がある。このため、蛍光顕微鏡画像にはノイズが生じ易く、蛍光顕微鏡画像にノイズ除去処理を実行することは蛍光画像による病理診断の分野において一般的である。したがって、本実施形態に係る画像処理システム1は、蛍光顕微鏡画像に対して特に有効である。   In the fluorescence microscope, the brightness of the observation object is smaller than that of a normal microscope (bright field microscope) that targets visible light, and therefore it is necessary to execute exposure by the imaging device for a long time. For this reason, noise is easily generated in the fluorescence microscope image, and it is common in the field of pathological diagnosis using a fluorescence image to perform noise removal processing on the fluorescence microscope image. Therefore, the image processing system 1 according to the present embodiment is particularly effective for fluorescence microscope images.

<画像処理システムの具体的構成>
本技術の実施形態に係る画像処理システム1の具体的構成ついて説明する。図13は画像処理システム1の撮像装置20の一例である蛍光顕微鏡200を示し、図14は画像処理システム1の画像処理装置10の一例である顕微鏡用コンピュータ100を示す。
<Specific configuration of image processing system>
A specific configuration of the image processing system 1 according to the embodiment of the present technology will be described. FIG. 13 shows a fluorescence microscope 200 which is an example of the imaging device 20 of the image processing system 1, and FIG. 14 shows a microscope computer 100 which is an example of the image processing device 10 of the image processing system 1.

図13に示すようにスライドガラスストック201は、観察対象物Pが載置されたスライドガラスSを複数保持する。搬送用ロボット202がスライドガラスストック201から、一つのスライドガラスSを取り出し、ステージ203に載置する。   As shown in FIG. 13, the slide glass stock 201 holds a plurality of slide glasses S on which the observation object P is placed. The transfer robot 202 takes out one slide glass S from the slide glass stock 201 and places it on the stage 203.

スライドガラスSは、ステージ203上においてマクロ画像用照明204から照明されている状態で、マクロ画像撮像用カメラ205によって撮像される。マクロ画像撮像用カメラ205は撮像したマクロ画像をカメラ制御基板206に出力する。カメラ制御基板206はマクロ画像を顕微鏡用コンピュータ100のマザー基板101に供給する。   The slide glass S is imaged by the macro image capturing camera 205 while being illuminated from the macro image illumination 204 on the stage 203. The macro image capturing camera 205 outputs the captured macro image to the camera control board 206. The camera control board 206 supplies the macro image to the mother board 101 of the microscope computer 100.

マザー基板101は、スライドガラスSのマクロ画像に対して撮像領域検出処理を実行し、顕微鏡によって撮像させる領域を選定する。マザー基板101は、選定した領域の情報(以下、領域情報)をシステムコントロール基板207に供給する。   The mother substrate 101 performs an imaging area detection process on the macro image of the slide glass S, and selects an area to be imaged by a microscope. The mother board 101 supplies information on the selected area (hereinafter, area information) to the system control board 207.

スライドガラスSはステージ203によって顕微鏡の撮像範囲に搬送される。システムコントロール基板207は、領域情報に基づいてステージ制御部208を制御し、スライドガラスSの観察対象物Pが顕微鏡の撮像範囲となるようにステージ203を微調整する。   The slide glass S is conveyed by the stage 203 to the imaging range of the microscope. The system control board 207 controls the stage control unit 208 based on the area information, and finely adjusts the stage 203 so that the observation object P of the slide glass S is within the imaging range of the microscope.

システムコントロール基板207は蛍光光源209を制御し、蛍光照明光を発生させる。蛍光照明光は、ライトガイド210及び蛍光照明光学系211を経てエキサイトフィルタ212を透過し、励起光となる。励起光はダイクロイックミラー213によって反射され、対物レンズ214で集束され、観察対象物Pに照射される。観察対象物Pにおいて、入射した励起光により蛍光が発生する。   The system control board 207 controls the fluorescent light source 209 to generate fluorescent illumination light. The fluorescent illumination light passes through the excite filter 212 through the light guide 210 and the fluorescent illumination optical system 211 and becomes excitation light. The excitation light is reflected by the dichroic mirror 213, converged by the objective lens 214, and irradiated on the observation object P. In the observation object P, fluorescence is generated by the incident excitation light.

観察対象物Pにおいて発生した蛍光は対物レンズ214によって拡大され、ダイクロイックミラー213を直進する。エミッションフィルタ215によって蛍光以外の波長の光が除去され、結像レンズ216を経て撮像素子217(CMOS(Complementary Metal Oxide Semiconductor)等)によって撮像される。撮像素子217によって撮像された蛍光画像(スキャン画像)はカメラ制御基板206に出力される。   The fluorescence generated in the observation object P is magnified by the objective lens 214 and travels straight through the dichroic mirror 213. Light having a wavelength other than fluorescence is removed by the emission filter 215, and the image is picked up by the image pickup device 217 (CMOS (Complementary Metal Oxide Semiconductor) or the like) through the imaging lens 216. A fluorescence image (scanned image) captured by the image sensor 217 is output to the camera control board 206.

また、撮像の前に位相差検出部218が蛍光の位相差を検出し、顕微鏡用コンピュータ100のマザー基板101に供給してもよい。マザー基板101によって蛍光の位相差から焦点深度を規定するフォーカス信号が生成され、システムコントロール基板207を介してステージ制御部208によるステージ制御に反映されるものとすることができる。   Further, the phase difference detection unit 218 may detect the phase difference of fluorescence before imaging and supply the detected fluorescence to the mother substrate 101 of the microscope computer 100. A focus signal that defines the depth of focus is generated from the phase difference of fluorescence by the mother substrate 101, and can be reflected in stage control by the stage control unit 208 via the system control substrate 207.

撮像素子217によって撮像されたスキャン画像は、図14に示すように、顕微鏡用コンピュータ100のGPGPU(General-purpose computing on graphics processing unit:汎用演算処理が可能なGPU)102に供給される。   As shown in FIG. 14, the scan image captured by the image sensor 217 is supplied to a GPGPU (General-purpose computing on graphics processing unit: GPU capable of general-purpose arithmetic processing) 102 of the microscope computer 100.

GPGPU102はスキャン画像Gを現像(画像取得部11)し、マザー基板101に供給する。また、GPGPU102はスキャン画像Gの画素圧縮を実行し、ディスプレイ103にスキャン画像を表示させてもよい。マザー基板101はスキャン画像Gのスティッチングを実行(スティッチング部12)し、タイル領域R1及び仮タイル領域R2を設定(タイル領域設定部13及び仮タイル領域設定部14)する。マザー基板101はタイル領域R1及び仮タイル領域R2が設定されたスキャン画像Gを、GPGPU104に供給する。   The GPGPU 102 develops the scanned image G (image acquisition unit 11) and supplies it to the mother substrate 101. Further, the GPGPU 102 may perform pixel compression of the scan image G and display the scan image on the display 103. The mother substrate 101 performs stitching of the scanned image G (stitching unit 12), and sets the tile region R1 and the temporary tile region R2 (tile region setting unit 13 and temporary tile region setting unit 14). The mother substrate 101 supplies the scan image G in which the tile area R1 and the temporary tile area R2 are set to the GPGPU 104.

GPGPU104はスキャン画像GにJPEGコーディングを実行して仮タイル画像Xを生成(仮タイル画像生成部15)し、HDD105(記憶部18)に記憶させる。マザー基板101は、HDD105に記憶されている仮タイル画像Xを読み込み、ノイズ除去処理を実行(ノイズ除去部16)する。マザー基板101は、ノイズ除去処理により生成された仮タイル画像X’からタイル領域R1を抽出し、タイル画像Yを生成(タイル画像生成部17)する。マザー基板101は、タイル画像YをHDD105に記憶させる。マザー基板101は必要に応じて、生成されたタイル画像Yをネットワークカード106を介してサーバに送信する。   The GPGPU 104 performs JPEG coding on the scanned image G to generate a temporary tile image X (temporary tile image generation unit 15), and stores it in the HDD 105 (storage unit 18). The mother board 101 reads the temporary tile image X stored in the HDD 105 and executes noise removal processing (noise removal unit 16). The mother board 101 extracts the tile area R1 from the temporary tile image X ′ generated by the noise removal process, and generates the tile image Y (tile image generation unit 17). The mother board 101 stores the tile image Y in the HDD 105. The mother board 101 transmits the generated tile image Y to the server via the network card 106 as necessary.

<画像処理システムの効果>
本実施形態に係る画像処理システムの効果について説明する。図15に各種の画像を示す。図15(a)は、ノイズ除去処理が施されていないスキャン画像(200画素×100画素)、図15(b)はタイル化後にノイズ除去処理が施された(上記比較例2に相等する)タイル画像である。図15(c)は本実施形態に係る画像処理システム1によってノイズ除去処理が施されたタイル画像である。
<Effect of image processing system>
The effect of the image processing system according to the present embodiment will be described. FIG. 15 shows various images. FIG. 15A shows a scanned image that has not been subjected to noise removal processing (200 pixels × 100 pixels), and FIG. 15B shows that noise removal processing has been performed after tiling (equivalent to Comparative Example 2 above). It is a tile image. FIG. 15C is a tile image that has been subjected to noise removal processing by the image processing system 1 according to the present embodiment.

図16乃至図19は、図15(a)〜(c)に示す各画像における輝度分布を示すグラフである。図16乃至図19は図15(a)〜(c)に示す各画像のタイル(図15(a)を除く)の継ぎ目に垂直なライン(図15(a)〜(c)に白破線で示す)における輝度分布である。それぞれ図16は赤色(R)、図17は緑(G)、図18は青(B)についての輝度分布を示す。なお、図16(b)、図17(b)、図18(b)はそれぞれ図16(a)、図17(a)、図18(a)の縦軸を拡大したグラフである。   FIGS. 16 to 19 are graphs showing the luminance distribution in each image shown in FIGS. 16 to 19 show lines perpendicular to the seams of the tiles (excluding FIG. 15A) of each image shown in FIGS. 15A to 15C (white broken lines in FIGS. 15A to 15C). Brightness distribution in (shown). FIG. 16 shows the luminance distribution for red (R), FIG. 17 for green (G), and FIG. 18 for blue (B). In addition, FIG.16 (b), FIG.17 (b), FIG.18 (b) is the graph which expanded the vertical axis | shaft of Fig.16 (a), Fig.17 (a), and Fig.18 (a), respectively.

図16乃至図18の各プロットは、それぞれ「ノイズ除去処理前(original)(図15(a)に対応)」、「タイル化後ノイズ除去(tile denoising)(図15(b)に対応))」、「本実施形態のノイズ除去(subtile denoising)(図15(c)に対応)」を示す。   Each of the plots in FIGS. 16 to 18 is “before noise removal processing (original) (corresponding to FIG. 15A)” and “noise removal after tiled (tile denoising) (corresponding to FIG. 15B)). "," Noise removal (subtile denoising of this embodiment (corresponding to FIG. 15C)) ".

図16乃至図18に示すように、「タイル化後ノイズ除去(tile denoising)」のプロットは「ノイズ除去処理前(original)」に比べてタイルの境界において不連続となっている。これに対し、「本実施形態のノイズ除去(subtile denoising)」のプロットは不連続ではなくなり、「ノイズ除去処理前(original)」に近いプロットとなっている。   As shown in FIGS. 16 to 18, the plot of “tile denoising after tiled” is discontinuous at the tile boundary as compared to “before noise removal (original)”. On the other hand, the plot of “noise removal (subtile denoising of this embodiment)” is not discontinuous, and is close to “before noise removal processing (original)”.

したがって、これらのプロットから、図15(a)に示すノイズ除去処理前のスキャン画像に比べて、図15(b)に示すタイル化後にノイズ除去処理が施されたタイル画像では、タイルを連結した境界に上記不連続領域に起因する「継ぎ目」(図中に矢印で示す)が生じていることがわかる。これに対し図15(c)に示すタイル画像では、継ぎ目が存在していないことがわかる。即ち、本実施形態に係る画像処理システム1は、不連続領域の発生を防止し、高精度なタイル画像を得ることを可能とするといえる。   Therefore, from these plots, compared with the scanned image before the noise removal processing shown in FIG. 15A, the tile images that are subjected to the noise removal processing after tiling shown in FIG. It can be seen that a “seam” (indicated by an arrow in the figure) resulting from the discontinuous region occurs at the boundary. On the other hand, in the tile image shown in FIG. 15C, it can be seen that there is no seam. That is, it can be said that the image processing system 1 according to the present embodiment can prevent generation of discontinuous regions and obtain a highly accurate tile image.

以上のように、本実施形態に係る顕微鏡画像処理システムは、仮タイル画像の生成によりメモリを迅速に開放させるものである。また、同画像処理システムは、ノイズ除去処理を施した仮タイル画像において、不連続領域が発生し得る周縁部分を除いてタイル画像を生成させることにより、タイル画像の境界に不連続領域が存在しないタイル画像を生成させるものである。したがって、本実施形態に係る顕微鏡画像処理システムによって、高速かつ高精度な顕微鏡画像の生成が可能となる。   As described above, the microscope image processing system according to the present embodiment quickly releases the memory by generating a temporary tile image. Further, the image processing system generates a tile image excluding a peripheral portion where a discontinuous region may occur in a temporary tile image subjected to noise removal processing, so that there is no discontinuous region at the boundary of the tile image. A tile image is generated. Therefore, the microscope image processing system according to the present embodiment can generate a microscope image with high speed and high accuracy.

本技術は上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。   The present technology is not limited only to the above-described embodiments, and can be changed without departing from the gist of the present technology.

なお、本技術は以下のような構成も採ることができる。   In addition, this technique can also take the following structures.

(1)
スキャン画像を取得する画像取得部と、
上記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、
上記スキャン画像に、上記タイル領域を含み上記タイル領域より大きい仮タイル領域を設定する仮タイル領域設定部と、
上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、
上記仮タイル画像にノイズ除去処理を施すノイズ除去部と、
上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部と
を具備する画像処理装置。
(1)
An image acquisition unit for acquiring a scanned image;
A tile area setting section for dividing the scanned image into a plurality of tile areas;
A temporary tile area setting unit that sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image;
A temporary tile image generation unit that generates the temporary tile image by extracting the scan image for each temporary tile region;
A noise removal unit that performs noise removal processing on the temporary tile image;
An image processing apparatus comprising: a tile image generation unit that extracts the temporary tile image for each tile region and generates a tile image.

(2)
上記(1)に記載の画像処理装であって、
上記画像取得部は、連続する複数のスキャン画像を取得し、
上記画像処理装置は、上記複数のスキャン画像の相互の相対位置を算出するスティッチング部をさらに具備し、
上記タイル領域設定部は、上記相対位置に基づいて上記スキャン画像を複数のタイル領域に区画する
画像処理装置。
(2)
The image processing apparatus according to (1) above,
The image acquisition unit acquires a plurality of continuous scan images,
The image processing apparatus further includes a stitching unit that calculates relative positions of the plurality of scan images.
The tile area setting unit is an image processing apparatus that divides the scanned image into a plurality of tile areas based on the relative position.

(3)
上記(1)又は(2)に記載の画像処理装置であって、
上記スキャン画像は、蛍光顕微鏡を介して撮像された蛍光顕微鏡画像である
画像処理装置。
(3)
The image processing apparatus according to (1) or (2) above,
The scanned image is an image processing apparatus that is a fluorescence microscope image captured through a fluorescence microscope.

(4)
観察対象物のスキャン画像を撮像する撮像装置と、
上記スキャン画像を取得する画像取得部と、上記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、上記スキャン画像に上記タイル領域を含み上記タイル領域よりより大きい仮タイル領域を設定する仮タイル領域設定部と、上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、上記仮タイル画像にノイズ除去処理を施すノイズ除去部と、上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部とを有する画像処理装置と
を具備する画像処理システム。
(4)
An imaging device for imaging a scan image of an observation object;
An image acquisition unit that acquires the scan image, a tile region setting unit that divides the scan image into a plurality of tile regions, and a temporary tile region that includes the tile region in the scan image and that is larger than the tile region. A tile area setting unit; a temporary tile image generation unit that generates a temporary tile image by extracting the scan image for each temporary tile region; a noise removal unit that performs noise removal processing on the temporary tile image; and the temporary tile An image processing system comprising: a tile image generation unit that extracts an image for each tile region and generates a tile image.

(5)
上記(4)に記載の画像処理システムであって、
上記撮像装置は、蛍光顕微鏡を介して上記観察対象物を撮像する
画像処理システム。
(5)
The image processing system according to (4) above,
The imaging apparatus is an image processing system that images the observation object via a fluorescence microscope.

(6)
スキャン画像を取得する画像取得部と、
上記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、
上記スキャン画像に、上記タイル領域を含み上記タイル領域より大きい仮タイル領域を設定する仮タイル領域設定部と、
上記スキャン画像を上記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、
上記仮タイル画像にノイズ除去処理を施すノイズ除去部と、
上記仮タイル画像を上記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部と
としてコンピュータを機能させる画像処理プログラム。
(6)
An image acquisition unit for acquiring a scanned image;
A tile area setting section for dividing the scanned image into a plurality of tile areas;
A temporary tile area setting unit that sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image;
A temporary tile image generation unit that generates the temporary tile image by extracting the scan image for each temporary tile region;
A noise removal unit that performs noise removal processing on the temporary tile image;
An image processing program that causes a computer to function as a tile image generation unit that extracts the temporary tile image for each tile region and generates a tile image.

1…画像処理システム
10…画像処理装置
11…画像取得部
12…スティッチング部
13…タイル領域設定部
14…仮タイル領域設定部
15…仮タイル画像生成部
16…ノイズ除去部
17…タイル画像生成部
20…撮像装置
DESCRIPTION OF SYMBOLS 1 ... Image processing system 10 ... Image processing apparatus 11 ... Image acquisition part 12 ... Stitching part 13 ... Tile area setting part 14 ... Temporary tile area setting part 15 ... Temporary tile image generation part 16 ... Noise removal part 17 ... Tile image generation Unit 20 ... Imaging device

Claims (6)

スキャン画像を取得する画像取得部と、
前記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、
前記スキャン画像に、前記タイル領域を含み前記タイル領域より大きい仮タイル領域を設定する仮タイル領域設定部と、
前記スキャン画像を前記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、
前記仮タイル画像にノイズ除去処理を施すノイズ除去部と、
前記仮タイル画像を前記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部と
を具備する画像処理装置。
An image acquisition unit for acquiring a scanned image;
A tile area setting unit that divides the scanned image into a plurality of tile areas;
A temporary tile area setting unit that sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image;
A temporary tile image generating unit that generates the temporary tile image by extracting the scan image for each temporary tile region;
A noise removing unit that performs a noise removing process on the temporary tile image;
An image processing apparatus comprising: a tile image generation unit that extracts the temporary tile image for each tile region and generates a tile image.
請求項1に記載の画像処理装置であって、
前記画像取得部は、連続する複数のスキャン画像を取得し、
前記画像処理装置は、前記複数のスキャン画像の相互の相対位置を算出するスティッチング部をさらに具備し、
前記タイル領域設定部は、前記相対位置に基づいて前記スキャン画像を複数のタイル領域に区画する
画像処理装置。
The image processing apparatus according to claim 1,
The image acquisition unit acquires a plurality of continuous scan images,
The image processing apparatus further includes a stitching unit that calculates relative positions of the plurality of scan images.
The tile area setting unit is an image processing apparatus that divides the scanned image into a plurality of tile areas based on the relative position.
請求項1に記載の画像処理装置であって、
前記スキャン画像は、蛍光顕微鏡を介して撮像された蛍光顕微鏡画像である
画像処理装置。
The image processing apparatus according to claim 1,
The image processing apparatus, wherein the scan image is a fluorescence microscope image captured through a fluorescence microscope.
観察対象物のスキャン画像を撮像する撮像装置と、
前記スキャン画像を取得する画像取得部と、前記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、前記スキャン画像に前記タイル領域を含み前記タイル領域よりより大きい仮タイル領域を設定する仮タイル領域設定部と、前記スキャン画像を前記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、前記仮タイル画像にノイズ除去処理を施すノイズ除去部と、前記仮タイル画像を前記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部とを有する画像処理装置と
を具備する画像処理システム。
An imaging device for imaging a scan image of an observation object;
An image acquisition unit that acquires the scanned image, a tile region setting unit that divides the scanned image into a plurality of tile regions, and a temporary tile region that includes the tile region and is larger than the tile region in the scanned image. A tile area setting unit; a temporary tile image generating unit that generates a temporary tile image by extracting the scan image for each temporary tile region; a noise removing unit that performs noise removal processing on the temporary tile image; and the temporary tile An image processing system comprising: a tile image generation unit that extracts an image for each tile region and generates a tile image.
請求項4に記載の画像処理システムであって、
前記撮像装置は、蛍光顕微鏡を介して前記観察対象物を撮像する
画像処理システム。
The image processing system according to claim 4,
The imaging apparatus is an image processing system that images the observation object via a fluorescence microscope.
スキャン画像を取得する画像取得部と、
前記スキャン画像を複数のタイル領域に区画するタイル領域設定部と、
前記スキャン画像に、前記タイル領域を含み前記タイル領域より大きい仮タイル領域を設定する仮タイル領域設定部と、
前記スキャン画像を前記仮タイル領域毎に抽出して仮タイル画像を生成する仮タイル画像生成部と、
前記仮タイル画像にノイズ除去処理を施すノイズ除去部と、
前記仮タイル画像を前記タイル領域毎に抽出してタイル画像を生成するタイル画像生成部と
としてコンピュータを機能させる画像処理プログラム。
An image acquisition unit for acquiring a scanned image;
A tile area setting unit that divides the scanned image into a plurality of tile areas;
A temporary tile area setting unit that sets a temporary tile area that includes the tile area and is larger than the tile area in the scanned image;
A temporary tile image generating unit that generates the temporary tile image by extracting the scan image for each temporary tile region;
A noise removing unit that performs a noise removing process on the temporary tile image;
An image processing program that causes a computer to function as a tile image generation unit that extracts the temporary tile image for each tile region and generates a tile image.
JP2011157980A 2011-07-19 2011-07-19 Image processing device, image processing system and image processing program Withdrawn JP2013025466A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011157980A JP2013025466A (en) 2011-07-19 2011-07-19 Image processing device, image processing system and image processing program
US13/546,750 US20130022268A1 (en) 2011-07-19 2012-07-11 Image processing apparatus, image processing system, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011157980A JP2013025466A (en) 2011-07-19 2011-07-19 Image processing device, image processing system and image processing program

Publications (1)

Publication Number Publication Date
JP2013025466A true JP2013025466A (en) 2013-02-04

Family

ID=47555794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011157980A Withdrawn JP2013025466A (en) 2011-07-19 2011-07-19 Image processing device, image processing system and image processing program

Country Status (2)

Country Link
US (1) US20130022268A1 (en)
JP (1) JP2013025466A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022038A1 (en) 2018-07-24 2020-01-30 ソニー株式会社 Information processing device, information processing method, information processing system, and program
WO2020203164A1 (en) * 2019-03-29 2020-10-08 ソニー株式会社 Medical system, information processing device, and information processing method
US12008737B2 (en) 2020-08-07 2024-06-11 Nanotronics Imaging, Inc. Deep learning model for noise reduction in low SNR imaging conditions

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082339B2 (en) * 2011-11-04 2015-07-14 Facebook, Inc. Rendering texts on electronic devices
JP6292238B2 (en) * 2013-09-27 2018-03-14 株式会社ニコン Apparatus, system, method, and program
JP2015154324A (en) * 2014-02-17 2015-08-24 キヤノン株式会社 Imaging system, imaging apparatus, and image processing system
EP3183612A4 (en) * 2014-08-18 2018-06-27 ViewsIQ Inc. System and method for embedded images in large field-of-view microscopic scans
US10460077B2 (en) * 2016-04-12 2019-10-29 GreatDef Corp. Securely collecting and processing medical imagery
WO2020227401A1 (en) * 2019-05-07 2020-11-12 Memorial Sloan Kettering Cancer Center Scalable and efficient whole slide image reader for deep learning and viewer applications

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2253318B (en) * 1991-02-27 1994-07-20 Stc Plc Image processing
US6418236B1 (en) * 1999-06-24 2002-07-09 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
US6396941B1 (en) * 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6515760B1 (en) * 1998-09-09 2003-02-04 Eastman Kodak Company Method and apparatus for manipulating digital image data
JP3464767B2 (en) * 1998-12-29 2003-11-10 ソニー株式会社 Wavelet decoding apparatus and method
US6813387B1 (en) * 2000-02-29 2004-11-02 Ricoh Co., Ltd. Tile boundary artifact removal for arbitrary wavelet filters
JP4254017B2 (en) * 2000-03-10 2009-04-15 ソニー株式会社 Image coding apparatus and method
US6466690C1 (en) * 2000-12-19 2008-11-18 Bacus Res Lab Inc Method and apparatus for processing an image of a tissue sample microarray
EP1335607A3 (en) * 2001-12-28 2003-10-22 Ricoh Company, Ltd. Image smoothing apparatus and method
AU2003217694A1 (en) * 2002-02-22 2003-09-09 Bacus Research Laboratories, Inc. Focusable virtual microscopy apparatus and method
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7609899B2 (en) * 2004-05-28 2009-10-27 Ricoh Company, Ltd. Image processing apparatus, image processing method, and recording medium thereof to smooth tile boundaries
JP4917329B2 (en) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 Image acquisition apparatus, image acquisition method, and image acquisition program
JP4890096B2 (en) * 2006-05-19 2012-03-07 浜松ホトニクス株式会社 Image acquisition apparatus, image acquisition method, and image acquisition program
TWI323128B (en) * 2006-10-03 2010-04-01 Quanta Comp Inc Image processing apparatus and method
US8098956B2 (en) * 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
US8331726B2 (en) * 2009-06-29 2012-12-11 International Business Machines Corporation Creating emission images of integrated circuits
JP5451313B2 (en) * 2009-10-27 2014-03-26 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2012118448A (en) * 2010-12-03 2012-06-21 Sony Corp Image processing method, image processing apparatus and image processing program
KR101810876B1 (en) * 2012-03-13 2018-01-26 삼성전자주식회사 A method and an apparatus for debluring non-uniform motion blur of a large scale input image based on a tile unit
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022038A1 (en) 2018-07-24 2020-01-30 ソニー株式会社 Information processing device, information processing method, information processing system, and program
US11579090B2 (en) 2018-07-24 2023-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and computer program
WO2020203164A1 (en) * 2019-03-29 2020-10-08 ソニー株式会社 Medical system, information processing device, and information processing method
US20220188988A1 (en) * 2019-03-29 2022-06-16 Sony Group Corporation Medical system, information processing device, and information processing method
US12008737B2 (en) 2020-08-07 2024-06-11 Nanotronics Imaging, Inc. Deep learning model for noise reduction in low SNR imaging conditions

Also Published As

Publication number Publication date
US20130022268A1 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
JP2013025466A (en) Image processing device, image processing system and image processing program
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
JP6494294B2 (en) Image processing apparatus and imaging system
JP2012003214A (en) Information processor, information processing method, program, imaging device and imaging device having light microscope
JP2017006330A (en) Medical picture processing device, medical picture processing method, and medical observation system
JP6448996B2 (en) Microscope system
US8654188B2 (en) Information processing apparatus, information processing system, information processing method, and program
US7869706B2 (en) Shooting apparatus for a microscope
JP2004012325A (en) Method and apparatus for inspection of defect
JP2011124948A (en) Information processor, method of processing information, program and image pickup device with optical microscope mounted thereon
JP2012237693A (en) Image processing device, image processing method and image processing program
JP2014198144A (en) Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system
US20130016919A1 (en) Information processing apparatus, information processing method, and program
US20150241686A1 (en) Imaging device, microscope system, and imaging method
JPWO2009088053A1 (en) Measuring apparatus and method, and program
JP2013058124A (en) Information processing apparatus, information processing method, and program
JP4709762B2 (en) Image processing apparatus and method
JP2023052796A (en) Control method for microscope system, and microscope system
JP2009294170A (en) Apparatus, method, and program for defect detection and recording medium
JP2007298376A (en) Method and device for determining boundary position, program for making computer function as boundary position determination device, and recording medium
JP6742863B2 (en) Microscope image processing apparatus, method and program
JP2010117229A (en) Height information acquisition apparatus, height information acquisition method, and program
JP5615252B2 (en) Appearance inspection device
JP6963240B2 (en) Cell observation device and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141007