JP2010169592A - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP2010169592A JP2010169592A JP2009013622A JP2009013622A JP2010169592A JP 2010169592 A JP2010169592 A JP 2010169592A JP 2009013622 A JP2009013622 A JP 2009013622A JP 2009013622 A JP2009013622 A JP 2009013622A JP 2010169592 A JP2010169592 A JP 2010169592A
- Authority
- JP
- Japan
- Prior art keywords
- data set
- color information
- stained specimen
- image
- staining state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
Description
本発明は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理して染色標本の分光特性を推定する画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program for processing a stained specimen image obtained by imaging a stained specimen stained with at least one dye to estimate spectral characteristics of the stained specimen.
被写体に固有の物理的性質を表す物理量の１つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。 One of the physical quantities representing the physical properties inherent to the subject is a spectral transmittance spectrum. Spectral transmittance is a physical quantity that represents the ratio of transmitted light to incident light at each wavelength. Unlike color information that depends on changes in illumination light such as RGB values, object-specific information whose value does not change due to external influences. It is. For this reason, the spectral transmittance is used in various fields as information for reproducing the color of the subject itself. For example, in the field of pathological diagnosis using a biological tissue specimen, particularly a pathological specimen, a spectral transmittance estimation technique is used to analyze an image obtained by imaging the specimen.
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の１つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。 In pathological diagnosis, block specimens obtained by organ excision and pathological specimens obtained by needle biopsy are sliced to several microns in thickness, and are then widely observed using a microscope to obtain various findings. ing. In particular, transmission observation using an optical microscope is one of the most popular observation methods because the equipment is relatively inexpensive and easy to handle, and has been performed historically. In this case, since the sliced specimen hardly absorbs and scatters light and is almost colorless and transparent, it is general to stain with a dye prior to observation.
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。 Various dyeing methods have been proposed, and the total number thereof reaches 100 or more. Particularly, regarding pathological specimens, hematoxylin-eosin staining using two of blue-violet hematoxylin and red eosin as pigments ( Hereinafter, “H & E staining” is used as a standard.
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。 Hematoxylin is a natural substance collected from plants and itself has no dyeability. However, its oxide, hematin, is a basophilic dye and binds to a negatively charged substance. Since deoxyribonucleic acid (DNA) contained in the cell nucleus is negatively charged by a phosphate group contained as a constituent element, it binds to hematin and is stained blue-violet. As described above, it is not hematoxylin that has a staining property but hematin, which is an oxide thereof. However, since it is common to use hematoxylin as a name of a pigment, the following is followed. On the other hand, eosin is an acidophilic dye and binds to a positively charged substance. Whether amino acids or proteins are charged positively or negatively is affected by the pH environment, and the tendency to be positively charged under acidic conditions becomes stronger. For this reason, acetic acid may be added to the eosin solution. Proteins contained in the cytoplasm are stained from red to light red by binding to eosin.
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。 In a specimen (stained specimen) after H & E staining, cell nuclei, bone tissue, etc. are stained blue-purple, and cytoplasm, connective tissue, erythrocytes, etc. are stained red, so that they can be easily visually recognized. As a result, the observer can grasp the size and positional relationship of the elements constituting the tissue such as the cell nucleus and can morphologically determine the state of the stained specimen.
染色標本の観察は、観察者の目視によるものの他、この染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の染色標本のＲＧＢ画像が合成される。図１５は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。 The observation of the stained specimen is performed not only by visual observation by an observer but also by displaying the stained specimen on a display screen of an external device after performing multiband imaging. When displaying on the display screen, processing to estimate the spectral transmittance of each point of the sample from the captured multiband image, and processing to estimate the amount of dye that is staining the sample based on the estimated spectral transmittance Then, processing for correcting the color of the image based on the estimated amount of dye is performed, the camera characteristics and the variation in the staining state are corrected, and the RGB image of the stained specimen for display is synthesized. FIG. 15 is a diagram illustrating an example of a combined RGB image. If the amount of pigment is appropriately estimated, it is possible to correct a darkly stained sample or a lightly stained sample to an image having a color equivalent to that of a properly stained sample. Therefore, estimating the spectral transmittance of the stained specimen with high accuracy leads to higher accuracy such as estimation of the amount of dye fixed to the stained specimen and correction of staining variation.
染色標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の１つとして広く知られており、観測対象の統計的性質と撮像ノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。 As a method of estimating the spectral transmittance of each point of the specimen from the multiband image of the stained specimen, for example, an estimation method by principal component analysis (for example, refer to Non-Patent Document 1) or an estimation method by Wiener estimation (for example, And non-patent document 2). Wiener estimation is widely known as one of the linear filter methods for estimating the original signal from the observation signal with superimposed noise, taking into account the statistical properties of the observation target and the characteristics of imaging noise (observation noise). This is a technique for minimizing errors. Since some noise is included in the signal from the camera, the Wiener estimation is extremely useful as a method for estimating the original signal.
ここで、ウィナー推定法によって染色標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。 Here, a method for estimating the spectral transmittance at each point of the specimen from the multiband image of the stained specimen by the Wiener estimation method will be described.
先ず、染色標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、染色標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する染色標本上の点を意味している。 First, a multiband image of a stained specimen is taken. For example, using the technique disclosed in Patent Document 1, a multiband image is picked up in a frame sequential manner while 16 band pass filters are switched by rotating with a filter wheel. Thereby, a multiband image having 16-band pixel values at each point of the stained specimen is obtained. The dye is originally distributed three-dimensionally in the stained specimen that is the object to be observed, but cannot be regarded as a three-dimensional image as it is in a normal transmission observation system. The image is observed as a two-dimensional image projected on the image sensor of the camera. Therefore, each point here means a point on the stained specimen corresponding to each pixel of the projected image sensor.
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する染色標本上の点（対応点）の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
In actual calculation, the following formula (2) obtained by discretizing the formula (1) in the wavelength direction is used.
G (x) = FSET (x) + N (2)
If the number of sample points in the wavelength direction is D and the number of bands is B (here, B = 16), G (x) is a matrix of B rows and 1 column corresponding to the pixel value g (x, b) at the position x. is there. Similarly, T (x) is a D × 1 matrix corresponding to t (x, λ), and F is a B × D matrix corresponding to f (b, λ). On the other hand, S is a diagonal matrix of D rows and D columns, and the diagonal elements correspond to s (λ). Similarly, E is a diagonal matrix of D rows and D columns, and the diagonal element corresponds to e (λ). N is a matrix of B rows and 1 column corresponding to n (b). In Expression (2), since the expressions related to a plurality of bands are aggregated using a matrix, the variable b representing the band is not explicitly described. In addition, the integration with respect to the wavelength λ is replaced with a matrix product.
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
Here, in order to simplify the notation, a matrix H defined by the following equation (3) is introduced. H is also called a system matrix.
H = FSE (3)
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。
ここで、Ｗは次式（５）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列ＲSSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点の分光スペクトル（分光透過率）を測定して自己相関行列を求めることによって得られる。 When estimating the spectral transmittance of each point of the sample from the multiband image using the estimation operator W according to the method disclosed in Non-Patent Document 1, the optical filter constituting the system matrix H shown in Expression (5) The spectral transmittance F, the spectral sensitivity characteristic S of the camera, the spectral radiation characteristic E of the illumination, the term R SS representing the statistical property of the observation object, and the term R NN representing the imaging noise characteristic are acquired in advance. There is a need. Among these, the autocorrelation matrix R SS , which is a term representing the statistical properties of the observation target, is prepared by preparing a typical specimen (standard stained specimen) that is standardly stained with, for example, hematoxylin and eosin, It is obtained by measuring the spectral spectrum (spectral transmittance) of a point to obtain an autocorrelation matrix.
ところで、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列ＲSSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、分光透過率等の分光特性の推定精度が低下するという問題があった。 By the way, it is difficult to uniformly stain a specimen, and even with the same staining method, the staining state (degree of staining) may vary depending on the facility that stains the specimen or the technician who performs the staining. Moreover, the staining state may change depending on the thickness of the specimen. For this reason, a situation occurs in which the staining state of the stained specimen for estimating the spectral characteristics is different from the staining state of the standard stained specimen used for calculating the autocorrelation matrix R SS , and the estimation accuracy of the spectral characteristics such as the spectral transmittance is increased. There was a problem that decreased.
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。 The present invention has been made in view of the above-described conventional problems, and reduces the estimation error of the spectral characteristics caused by individual differences in the staining state of the stained specimen and improves the estimation accuracy of the spectral characteristics of the stained specimen. An object of the present invention is to provide an image processing apparatus and an image processing program that can be executed.
上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定する画像処理装置であって、前記染色標本画像の色情報を取得する取得手段と、前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、を備えるものである。 In order to solve the above-described problems and achieve the object, an image processing apparatus according to the present invention processes a stained specimen image obtained by imaging a stained specimen stained with at least one dye, and estimates spectral characteristics of the stained specimen. An image processing apparatus that evaluates the staining state of the stained specimen based on acquisition means for acquiring color information of the stained specimen image and color information of the stained specimen image acquired by the acquisition means Evaluation means, and spectral characteristic estimation means for estimating spectral characteristics of the stained specimen according to the staining state of the stained specimen evaluated by the evaluation means.
また、本発明にかかる画像処理プログラムは、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定するコンピュータに、前記染色標本画像の色情報を取得する取得手順と、前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、を実行させるためのものである。 In addition, the image processing program according to the present invention processes a stained specimen image obtained by imaging a stained specimen stained with at least one pigment, and estimates color characteristics of the stained specimen in a computer that estimates spectral characteristics of the stained specimen. Acquisition procedure, an evaluation procedure for evaluating the staining state of the stained specimen based on the color information of the stained specimen image acquired in the acquisition procedure, and the stained specimen evaluated in the evaluation procedure And a spectral characteristic estimation procedure for estimating a spectral characteristic of the stained specimen in accordance with a staining state.
本発明によれば、染色標本の染色状態によって生じる分光特性の推定誤差を軽減でき、染色標本の分光特性の推定精度が向上するという効果を奏する。 According to the present invention, it is possible to reduce the estimation error of the spectral characteristics caused by the staining state of the stained specimen and to improve the estimation accuracy of the spectral characteristics of the stained specimen.
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された染色標本（生体組織標本）を被写体とし、この染色標本を撮像した染色標本画像であるマルチバンド画像から被写体の分光スペクトルとして分光透過率スペクトルを推定する場合について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, a case where a stained specimen (biological tissue specimen) stained with H & E is used as a subject, and a spectral transmittance spectrum is estimated as a spectral spectrum of the subject from a multiband image that is a stained specimen image obtained by imaging the stained specimen. explain. Note that the present invention is not limited to the embodiments. Moreover, in description of drawing, the same code | symbol is attached | subjected and shown to the same part.
（実施の形態）
図１は、本実施の形態の画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、パーソナル・コンピュータ（パソコン）等のコンピュータで構成され、標本のマルチバンド画像を取得する画像取得部１１０を備える。
(Embodiment)
FIG. 1 is a schematic diagram illustrating the configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the image processing apparatus 1 includes a computer such as a personal computer (personal computer), and includes an image acquisition unit 110 that acquires a multiband image of a specimen.
画像取得部１１０は、画像取得動作を行ってＨ＆Ｅ染色された分光特性の推定対象の染色標本（以下、「対象標本」と称す。）を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。 The image acquisition unit 110 performs an image acquisition operation to capture a stained specimen (hereinafter, referred to as “target specimen”) that is subjected to H & E staining, and acquires a 6-band multiband image. The image acquisition unit 110 includes an RGB camera 111 including an imaging device such as a CCD, a sample holding unit 113 on which the target sample S is placed, an illumination unit 115 that transmits and illuminates the target sample S on the sample holding unit 113, An optical system 117 for condensing the transmitted light from the target sample S to form an image, a filter unit 119 for limiting the wavelength band of the imaged light to a predetermined range, and the like are provided.
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。 The RGB camera 111 is widely used in digital cameras and the like, and has RGB color filters arranged in a mosaic pattern on a monochrome image sensor. The RGB camera 111 is installed so that the center of the image to be captured is positioned on the optical axis of the illumination light. FIG. 2 is a diagram schematically illustrating a color filter array example and a pixel array of each RGB band. In this case, each pixel can image only one of R, G, and B components, but by using neighboring pixel values, the insufficient R, G, and B components are interpolated. This technique is disclosed in, for example, Japanese Patent No. 3510037. If a 3CCD type camera is used, R, G and B components in each pixel can be acquired from the beginning. In this embodiment, any imaging method may be used. In the following, it is assumed that R, G, and B components can be acquired in each pixel of an image captured by the RGB camera 111.
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として画像処理装置１の記憶部１４０に保持される。 The filter unit 119 includes two optical filters 1191 a and 1191 b each having different spectral transmittance characteristics, and these are held by a rotary optical filter switching unit 1193. 3A is a diagram illustrating a spectral transmittance characteristic of one optical filter 1191a, and FIG. 3B is a diagram illustrating a spectral transmittance characteristic of the other optical filter 1191b. For example, first, first imaging is performed using the optical filter 1191a. Next, the optical filter to be used is switched to the optical filter 1191b by the rotation of the optical filter switching unit 1193, and the second imaging is performed using the optical filter 1191b. By the first imaging and the second imaging, a 3-band image is obtained, and a 6-band multiband image is obtained by combining both results. Note that the number of optical filters is not limited to two, and three or more optical filters can be used. The acquired multiband image is held in the storage unit 140 of the image processing apparatus 1 as a target specimen image.
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。 In the image acquisition unit 110, the illumination light irradiated by the illumination unit 115 passes through the target sample S placed on the sample holding unit 113. The transmitted light that has passed through the target specimen S passes through the optical system 117 and the optical filters 1191a and 1191b, and then forms an image on the image sensor of the RGB camera 111. The filter unit 119 including the optical filters 1191 a and 1191 b may be installed at any position on the optical path from the illumination unit 115 to the RGB camera 111. FIG. 4 shows an example of the spectral sensitivity of each of the R, G, and B bands when the illumination light from the illumination unit 115 is imaged by the RGB camera 111 via the optical system 117.
図５は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。 FIG. 5 is a block diagram illustrating a functional configuration of the image processing apparatus 1. In the present embodiment, the image processing apparatus 1 controls the image acquisition unit 110, the input unit 120, the display unit 130, the storage unit 140, the image processing unit 150, and each unit described with reference to FIG. And a control unit 160.
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。 The input unit 120 is realized by various input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs an operation signal corresponding to the operation input to the control unit 160. The display unit 130 is realized by a display device such as an LCD or an EL display, and displays various screens based on display signals input from the control unit 160.
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１４０には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、対象標本画像の画像データ等が格納される。この記憶部１４０は、対象標本画像から取得した色情報をもとに対象標本の染色状態を評価し、評価結果に応じて対象標本の分光特性を推定するための画像処理プログラム１４１を記憶する。また、記憶部１４０は、データセット記憶手段として、主要要素別データセット１４３を記憶する。このデータセット情報主要要素別データセット１４３は、細胞核、細胞質、赤血球および背景の各主要要素別に予め用意された染色状態毎のデータセットを記憶する。 The storage unit 140 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and stored, an information storage medium such as a built-in or data communication terminal, a CD-ROM, and a reader thereof. It is. The storage unit 140 stores a program for operating the image processing apparatus 1 and realizing various functions of the image processing apparatus 1, data used during the execution of the program, and the like. For example, image data of the target specimen image is stored. The storage unit 140 stores an image processing program 141 for evaluating the staining state of the target specimen based on the color information acquired from the target specimen image, and estimating the spectral characteristics of the target specimen according to the evaluation result. In addition, the storage unit 140 stores a main element-specific data set 143 as a data set storage unit. This data set information main element data set 143 stores a data set for each staining state prepared in advance for each main element of cell nucleus, cytoplasm, red blood cell, and background.
ここで、データセットについて説明する。データセットは、ヘマトキシリンとエオジンとを用いて例えば段階的に異なる染色状態で染色した複数の標準染色標本を用意し、各標準染色標本を用いて取得した色情報および分光情報を対応付けたものであり、予め生成される。図６は、染色状態の異なる各標準染色標本の標準染色標本画像の色情報を、ＲＧＢの各色成分を座標軸としたＲＧＢ空間に写像した様子を示す概念図である。このように、異なる染色状態Ｌ１〜Ｌ３で染色された複数の標準染色標本を用意し、この標準染色標本から取得した色情報および分光情報をデータセットとして記憶部１４０に記憶しておく。より具体的には、標準染色標本画像から色情報を取得するとともに、分光計等を用いて標準染色標本の分光スペクトルを測定することによって分光情報を取得する。そして、対象標本画像の色情報と一致するまたは類似する色情報を持つデータセットが選出され、対象標本の染色状態とデータセットの染色状態とが対応付けられる。 Here, the data set will be described. The data set is prepared by associating color information and spectroscopic information obtained using each standard stained specimen by preparing multiple standard stained specimens stained with hematoxylin and eosin, for example, in different stages of staining. Yes, pre-generated. FIG. 6 is a conceptual diagram showing a state in which the color information of the standard stained specimen image of each of the standard stained specimens with different staining states is mapped to the RGB space using the RGB color components as coordinate axes. In this way, a plurality of standard stained specimens dyed in different staining states L1 to L3 are prepared, and color information and spectral information acquired from the standard stained specimens are stored in the storage unit 140 as a data set. More specifically, the color information is acquired from the standard stained specimen image, and the spectral information is acquired by measuring the spectral spectrum of the standard stained specimen using a spectrometer or the like. Then, a data set having color information that matches or is similar to the color information of the target specimen image is selected, and the staining state of the target specimen and the staining state of the data set are associated with each other.
図７は、データセットＤのデータ構成例を示す図である。図７に示すように、データセットＤは、データセットを識別するためのデータセット番号Ｄ１と、標本番号Ｄ３と、色情報Ｄ５と、分光情報Ｄ７とを含む。標本番号Ｄ３は、色情報Ｄ５および分光情報Ｄ７の取得に用いた標準染色標本を識別するための情報であり、その標準染色標本に割り当てられた識別番号が設定される。色情報Ｄ５は、標準染色標本をマルチバンド撮像した標準染色標本画像から取得した１つの画素の画素値であってもよいし、複数の画素の画素値の平均値や最大値、最小値、分布情報であってもよい。また、これらのうちのいずれか１つを色情報Ｄ５として用いてもよいし、複数の情報を色情報Ｄ５として用いることとしてもよい。さらに、この色情報Ｄ５として、ＲＧＢ成分の信号値を用いることとしてもよいし、このＲＧＢ成分の信号値を用いて変換した別の色成分の値を用いることとしてもよい。一方、分光情報Ｄ７としては、分光計等を用いて取得した標準染色標本の分光スペクトルや、この分光スペクトルの平均ベクトル、分光スペクトルから算出した自己相関行列、分光スペクトルから算出した共分散行列、この自己相関行列または共分散行列を用いて算出した推定オペレータＷ、この推定オペレータＷから算出した推定スペクトル等を用いることができる。そして、これらのうちのいずれか１つを分光情報Ｄ７として用いてもよいし、複数の情報を分光情報Ｄ７として用いることとしてもよい。 FIG. 7 is a diagram illustrating a data configuration example of the data set D. As illustrated in FIG. As shown in FIG. 7, the data set D includes a data set number D1 for identifying the data set, a sample number D3, color information D5, and spectral information D7. The sample number D3 is information for identifying the standard stained sample used for obtaining the color information D5 and the spectral information D7, and an identification number assigned to the standard stained sample is set. The color information D5 may be a pixel value of one pixel acquired from a standard stained sample image obtained by multiband imaging of the standard stained sample, or an average value, maximum value, minimum value, or distribution of pixel values of a plurality of pixels. It may be information. Also, any one of these may be used as the color information D5, or a plurality of information may be used as the color information D5. Further, as the color information D5, the RGB component signal value may be used, or another color component value converted using the RGB component signal value may be used. On the other hand, the spectroscopic information D7 includes a spectroscopic spectrum of a standard stained specimen obtained using a spectrometer, an average vector of the spectroscopic spectrum, an autocorrelation matrix calculated from the spectroscopic spectrum, a covariance matrix calculated from the spectroscopic spectrum, An estimation operator W calculated using an autocorrelation matrix or a covariance matrix, an estimation spectrum calculated from the estimation operator W, and the like can be used. Then, any one of these may be used as the spectral information D7, or a plurality of information may be used as the spectral information D7.
本実施の形態では、例えば、４つの主要要素である細胞核、細胞質、赤血球および背景を全て含む複数の標本を標準染色標本として用意し、各々を異なる染色状態で染色する。そして、得られた染色状態の異なる複数の標準染色標本を用いて主要要素毎にそれぞれ色情報および分光情報を取得することによって、染色状態毎のデータセットを主要要素別に生成する。 In the present embodiment, for example, a plurality of specimens including all the four main elements, the cell nucleus, cytoplasm, red blood cells, and background, are prepared as standard staining specimens, and each is stained in a different staining state. Then, by obtaining color information and spectral information for each main element using a plurality of standard stained specimens having different staining states, a data set for each staining state is generated for each main element.
具体的な生成方法としては、例えば先ず、各染色状態の標準染色標本を撮像した標準染色標本画像をその画素値をもとに主要要素毎の領域に分割する。続いて、各主要要素の領域毎に色情報を取得する。本実施の形態では、例えば、予め標本無しの状態で背景を撮像しておく。そして、標準染色標本の各主要要素の領域毎の画素値の平均値を、標本無しの画像の画素値を用いて正規化した値を、その標準染色標本の染色状態についての対応する主要要素の色情報とする。続いて、各主要要素の領域に対応する標準染色標本上の点で分光計等を用いて測定した分光スペクトルをもとに分光情報を取得する。本実施の形態では、例えば、主要要素の領域毎に分光スペクトルを測定し、この分光スペクトルから平均ベクトルを求めて分光情報とする。そして、取得した色情報と分光情報とを対応付けてデータセットとすることによって、染色状態毎のデータセットを主要要素別に生成し、主要要素別データセット１４３とする。なお、主要要素別データセット１４３のデータは、画像処理装置１で生成することとしてもよいし、別の装置で生成されたものを所定の記憶媒体や通信媒体等を介して取得する構成としてもよい。また、この主要要素別データセット１４３のデータは、色情報と分光情報とを対応付けたルックアップテーブルとして記憶部１４０に記憶することができる。 As a specific generation method, for example, first, a standard stained specimen image obtained by imaging a standard stained specimen in each staining state is divided into regions for each main element based on the pixel values. Subsequently, color information is acquired for each region of each main element. In the present embodiment, for example, the background is imaged in advance without a sample. Then, the average value of the pixel values for each area of each main element of the standard stained specimen is normalized using the pixel value of the image without the specimen, and the value of the corresponding main element about the staining state of the standard stained specimen is obtained. It is color information. Subsequently, spectral information is acquired based on a spectral spectrum measured using a spectrometer or the like at a point on the standard stained specimen corresponding to the region of each main element. In the present embodiment, for example, a spectral spectrum is measured for each region of the main element, and an average vector is obtained from the spectral spectrum to obtain spectral information. Then, the acquired color information and spectral information are associated with each other to form a data set, whereby a data set for each staining state is generated for each main element to obtain a data set 143 for each main element. Note that the data of the main element-specific data set 143 may be generated by the image processing apparatus 1 or may be configured to acquire data generated by another apparatus via a predetermined storage medium or communication medium. Good. The data of the main element data set 143 can be stored in the storage unit 140 as a lookup table in which color information and spectral information are associated with each other.
画像処理部１５０は、図５に示すように、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、領域分割手段としての領域分割処理部１５１と、取得手段としての色情報取得部１５２と、評価手段としての染色状態評価部１５３と、自己相関行列算出部１５６と、推定オペレータ算出部１５７と、分光透過率推定部１５８とを含む。自己相関行列算出部１５６、推定オペレータ算出部１５７および分光透過率推定部１５８は、分光特性推定手段に相当する機能部である。 As shown in FIG. 5, the image processing unit 150 is realized by hardware such as a CPU. The image processing unit 150 includes an area division processing unit 151 as an area division unit, a color information acquisition unit 152 as an acquisition unit, a staining state evaluation unit 153 as an evaluation unit, an autocorrelation matrix calculation unit 156, and an estimation An operator calculation unit 157 and a spectral transmittance estimation unit 158 are included. The autocorrelation matrix calculation unit 156, the estimation operator calculation unit 157, and the spectral transmittance estimation unit 158 are functional units corresponding to spectral characteristic estimation means.
領域分割処理部１５１は、対象標本画像を主要要素毎の領域に分割する。具体的には、領域分割処理部１５１は、対象標本画像を構成する各画素を、その画素値に基づいて主要要素毎の領域に分割する。色情報取得部１５２は、領域分割処理部１５１によって分割された各主要要素の領域毎に色情報を取得する。 The area division processing unit 151 divides the target specimen image into areas for each main element. Specifically, the region division processing unit 151 divides each pixel constituting the target specimen image into regions for each main element based on the pixel value. The color information acquisition unit 152 acquires color information for each region of each main element divided by the region division processing unit 151.
染色状態評価部１５３は、色情報取得部１５２によって取得された色情報をもとに、対象標本の染色状態を主要要素毎に評価する。この染色状態評価部１５３は、類似度算出手段としての類似度算出部１５４と、対応付け手段としての染色状態対応付け部１５５とを含む。類似度算出部１５４は、対象標本画像の各主要要素の領域から取得した色情報と、対応する主要要素別の染色状態毎の各データセットの色情報との類似度を算出する。染色状態対応付け部１５５は、対象標本の各主要要素の染色状態を、主要要素別データセット１４３に記憶されている対応する主要要素別の染色状態毎のデータセットの染色状態と対応付ける。 The staining state evaluation unit 153 evaluates the staining state of the target specimen for each main element based on the color information acquired by the color information acquisition unit 152. The staining state evaluation unit 153 includes a similarity calculation unit 154 as a similarity calculation unit and a staining state association unit 155 as an association unit. The similarity calculation unit 154 calculates the similarity between the color information acquired from the region of each main element of the target specimen image and the color information of each data set for each staining state for each corresponding main element. The staining state association unit 155 associates the staining state of each main element of the target specimen with the staining state of the data set for each corresponding main element staining state stored in the main element data set 143.
自己相関行列算出部１５６は、染色状態評価部１５３によって評価された対象標本の染色状態に応じて染色標本の分光透過率の自己相関行列ＲSS（以下、単に「自己相関行列ＲSS」と称す。）を算出する。本実施の形態では、自己相関行列算出部１５６は、染色状態対応付け部１５５によって対象標本の各主要要素と染色状態が対応付けられたデータセットの分光情報を用い、主要要素毎に自己相関行列ＲSSを算出する。推定オペレータ算出部１５７は、自己相関行列算出部１５６によって算出された主要要素毎の自己相関行列ＲSSを用いて推定オペレータＷを算出する。分光透過率推定部１５８は、推定オペレータ算出部１５７によって算出された推定オペレータＷを用いて推定対象画素に対応する対応点（以下、「対象標本点」と称す。）の分光透過率を推定する。 The autocorrelation matrix calculation unit 156 includes an autocorrelation matrix R SS (hereinafter simply referred to as “autocorrelation matrix R SS ”) of the spectral transmittance of the stained sample in accordance with the staining state of the target sample evaluated by the staining state evaluation unit 153. .) Is calculated. In the present embodiment, the autocorrelation matrix calculation unit 156 uses the spectral information of the data set in which each main element of the target specimen is associated with the staining state by the staining state association unit 155 and uses the autocorrelation matrix for each main element. Calculate R SS . The estimation operator calculation unit 157 calculates the estimation operator W using the autocorrelation matrix R SS for each main element calculated by the autocorrelation matrix calculation unit 156. The spectral transmittance estimation unit 158 estimates the spectral transmittance of the corresponding point (hereinafter referred to as “target sample point”) corresponding to the estimation target pixel using the estimation operator W calculated by the estimation operator calculation unit 157. .
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。 The control unit 160 is realized by hardware such as a CPU. The control unit 160 is connected to each unit constituting the image processing apparatus 1 based on the operation signal input from the input unit 120, the image data input from the image acquisition unit 110, the program and data stored in the storage unit 140, and the like. Instruction, data transfer, etc., and overall operation of the image processing apparatus 1 is controlled. The control unit 160 includes a multiband image acquisition control unit 161. The multiband image acquisition control unit 161 acquires the target specimen image by controlling the operation of the image acquisition unit 110.
図８は、画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。 FIG. 8 is a flowchart illustrating a processing procedure performed by the image processing apparatus 1. Note that the processing described here is realized by the operation of each unit of the image processing apparatus 1 in accordance with the image processing program 141 stored in the storage unit 140.
先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ１）。 First, the multiband image acquisition control unit 161 controls the operation of the image acquisition unit 110 to perform multiband imaging of the target specimen and acquire the target specimen image (step S1).
続いて、領域分割処理部１５１が領域分割処理を行って、対象標本画像を主要要素毎の領域に分割する（ステップＳ３）。ここでは、細胞核、細胞質、赤血球および背景の４つの主要要素毎の領域に分割する。図９は、細胞核、細胞質、赤血球および背景の４つの主要要素それぞれの分光スペクトルの一例を示す図である。各主要要素は、それぞれ染色状態の特徴が異なる。このため、対象標本画像を主要要素毎に分割し、各主要要素の領域毎に染色状態を評価するとより好ましい。 Subsequently, the region division processing unit 151 performs region division processing, and divides the target sample image into regions for each main element (step S3). Here, it is divided into regions for each of the four main elements: cell nucleus, cytoplasm, red blood cell, and background. FIG. 9 is a diagram showing an example of the spectrum of each of the four main elements of cell nucleus, cytoplasm, red blood cell, and background. Each main element has a different characteristic of the staining state. For this reason, it is more preferable to divide the target specimen image for each main element and evaluate the staining state for each area of each main element.
そこで領域分割処理部１５１は、例えば、対象標本画像を構成する全ての画素をその画素値に従って４つのクラスＣi（ｉ＝１，２，３，４）に分類することによって領域分割を行う。クラスＣiは、例えば主要要素毎に用意され、ｉをクラスの識別番号とする。ここで、クラス数“４”は、主要要素の数と等しくなるように設定しており、各クラスに分類された画素を対応する主要要素の領域とする。例えば、Ｃ1は細胞核、Ｃ2は細胞質、Ｃ3は赤血球、Ｃ4は背景にそれぞれ対応する。クラス分類の分類手法としては、例えばｋ−平均法を用いる。ｋ−平均法は、教師なしクラスタリングの手法の１つとして広く知られており、クラスの代表ベクトルを反復処理によって逐次更新するものである。 Therefore, the region division processing unit 151 performs region division by classifying all pixels constituting the target specimen image into four classes C i (i = 1, 2, 3, 4) according to the pixel values, for example. The class C i is prepared for each main element, for example, and i is a class identification number. Here, the number of classes “4” is set to be equal to the number of main elements, and the pixels classified into each class are set as the areas of the corresponding main elements. For example, C 1 corresponds to the cell nucleus, C 2 corresponds to the cytoplasm, C 3 corresponds to the red blood cell, and C 4 corresponds to the background. As a classification method for class classification, for example, a k-average method is used. The k-means method is widely known as one of the methods of unsupervised clustering, and sequentially updates the class representative vectors by iterative processing.
ここで、ｋ−平均法によるクラス分類手順について説明する。ここで、説明のため、対象標本画像を構成する全画素数をＮ、位置ｘの画素の属するクラスの識別番号ｉをＣ（ｘ）、クラスＣiの代表ベクトルをｍi、クラスＣiに属する画素の数をＮiとする。また、ｔ回目の反復処理における変数値を、変数名の右肩に（ｔ）を付けて表す。 Here, the class classification procedure by the k-average method will be described. Here, for explanation, the total number of pixels constituting the target specimen image N, the identification number i of a class belongs pixel position x C (x), a representative vector of the class C i m i, to the class C i Let Ni be the number of pixels to which it belongs. Further, the variable value in the t-th iteration process is represented by attaching (t) to the right shoulder of the variable name.
先ず、各クラスの代表ベクトルｍiを次式（６）〜（９）に従って初期化する。
ｍ１＝ＧN ・・・（６）
ｍ２＝ＧC ・・・（７）
ｍ３＝ＧR ・・・（８）
ｍ４＝ＧB ・・・（９）
Is initialized according to the following equation (6) to (9) representative vectors m i of each class.
m 1 = G N ··· (6 )
m 2 = G C (7)
m 3 = G R (8)
m 4 = G B ··· (9 )
ＧNは、クラスＣ1に割り当てられた主要要素である細胞核領域の標準的な画素値ベクトルであり、予め算出されて記憶部１４０に格納される。例えば、適切な濃度で染色された細胞核を含むＨ＆Ｅ染色された標本を用意する。そして、この標本のマルチバンド画像を画像取得部１１０によって取得し、取得したマルチバンド画像を画面表示して細胞核の領域の指定操作を依頼する。操作者は、目視によってマルチバンド画像中の細胞核の領域を指定する。マルチバンド画像中の細胞核の領域が指定されたならば、例えばその領域内の画素値ベクトルの平均値を算出することによってＧNを求める。同様にして、ＧCはクラスＣ2に割り当てられた主要要素である細胞質領域の標準的な画素値ベクトルであり、ＧRはクラスＣ3に割り当てられた主要要素である赤血球領域の標準的な画素値ベクトルであり、ＧBはクラスＣ4に割り当てられた主要要素である背景領域の標準的な画素値ベクトルであり、それぞれ予め算出されて記憶部１４０に格納される。 GN is a standard pixel value vector of a cell nucleus region, which is a main element assigned to the class C 1 , and is calculated in advance and stored in the storage unit 140. For example, an H & E stained specimen containing cell nuclei stained at an appropriate concentration is prepared. Then, the multiband image of the specimen is acquired by the image acquisition unit 110, the acquired multiband image is displayed on the screen, and a cell nucleus region designation operation is requested. The operator designates the region of the cell nucleus in the multiband image by visual observation. If the area of the cell nucleus in the multi-band image is designated, determining the G N by calculating, for example, the average value of the pixel value vector in the region. Similarly, G C is a standard pixel value vector of the cytoplasm region that is the main element assigned to class C 2 , and G R is a standard pixel value vector of the red blood cell region that is the main element assigned to class C 3. a pixel value vector, G B is the standard pixel value vector of the background area is a key element assigned to the class C 4, are stored in the storage unit 140 is previously calculated.
続いて、各画素の属するクラスを、例えば次式（１０）に従って初期化する。これにより、画素Ｘjの属するクラスがＣ1に初期化される。ここで、ｊは画素を識別するための添字であり、１≦ｊ≦Ｎを満たす整数である。
続いて、次式（１１），（１２），（１３）に従って各値をそれぞれ更新する。ただし、次式（１１）は、対象標本画像を構成する全ての画素Ｘj（ｊ＝１，２，・・・，Ｎ）についてそれぞれ処理を行うことを意味する。
すなわち、先ず、各画素それぞれについて、その画素値ベクトルとの差が最小となる代表ベクトルを選出し、当該画素を選出した代表ベクトルのクラスに分類する処理を行い、各画素をクラスＣ1〜Ｃ4へ振り分ける。次いで、分類結果に基づいて各クラスの代表ベクトルを再計算する。そして、この処理を繰り返し行い、全ての画素について属するクラスが変更されなくなり、次式（１４）が成立した場合に、処理を終了する。
このように、領域分割処理の結果、対象標本画像を構成する全ての画素がクラスＣi（ｉ＝１，２，３，４）のいずれかに分類される。クラス分類結果は記憶部１４０に保持され、以降の処理は、分類された各主要要素の領域毎に行われる。なお、主要要素の数に従ってクラス数を“４”とした場合について説明したが、このクラス数は、主要要素の数に応じて適宜設定できる。例えば、主要要素の数を１つとする場合には、クラス数を“１”とすることとしてもよい。この場合には、対象標本画像を１つの領域として以降の処理が行われる。あるいは、主要要素数を対象標本画像の全画素数とし、クラス数を全画素数とすることもできる。この場合には、各画素をそれぞれ１つの領域として以降の処理が行われる。また、クラス分類の手法としてｋ−平均法を用いることとしたが、別の手法を採用して領域分割処理を行うこととしてもよい。ここで、クラス数を全画素数とし、各画素を１つの領域として扱う場合には、色情報取得部１５２は、推定対象画素の画素値を取得する。そしてこの場合には、データセットの色情報として推定対象画素の色情報を用い、分光情報として推定対象画素の分光スペクトルを用いることができる。例えば、推定対象画素に対応する色情報の分光透過率データを分光スペクトルとして用いることができる。 As described above, as a result of the region division processing, all the pixels constituting the target sample image are classified into one of the classes C i (i = 1, 2, 3, 4). The class classification result is held in the storage unit 140, and the subsequent processing is performed for each area of each classified main element. Although the case where the number of classes is set to “4” according to the number of main elements has been described, the number of classes can be appropriately set according to the number of main elements. For example, when the number of main elements is one, the number of classes may be “1”. In this case, the subsequent processing is performed with the target specimen image as one region. Alternatively, the number of main elements may be the total number of pixels of the target specimen image, and the number of classes may be the total number of pixels. In this case, the subsequent processing is performed with each pixel as one region. Further, although the k-average method is used as the class classification method, another method may be adopted to perform the region division processing. Here, when the number of classes is the total number of pixels and each pixel is handled as one region, the color information acquisition unit 152 acquires the pixel value of the estimation target pixel. In this case, the color information of the estimation target pixel can be used as the color information of the data set, and the spectral spectrum of the estimation target pixel can be used as the spectral information. For example, spectral transmittance data of color information corresponding to the estimation target pixel can be used as a spectral spectrum.
続いて図８に示すように、色情報取得部１５２が、領域分割処理された対象標本画像中の主要要素毎に色情報を取得する（ステップＳ４）。色情報は、データセットに含まれる色情報と同様の手法で取得することができる。ここでは、色情報取得部１５２は、各主要要素の領域毎に画素値の平均値を算出し、標本無しの画像の画素値を用いて正規化した値を主要要素毎の色情報として取得する。そして、染色状態評価部１５３が染色状態評価処理を行って、対象標本画像の染色状態を各主要要素の領域毎に評価する（ステップＳ５）。図１０は、染色状態評価処理の詳細な処理手順を示すフローチャートである。 Subsequently, as illustrated in FIG. 8, the color information acquisition unit 152 acquires color information for each main element in the target sample image subjected to the region division processing (step S <b> 4). The color information can be acquired by the same method as the color information included in the data set. Here, the color information acquisition unit 152 calculates the average value of the pixel values for each area of each main element, and acquires the value normalized using the pixel value of the image without the sample as the color information for each main element. . Then, the staining state evaluation unit 153 performs a staining state evaluation process, and evaluates the staining state of the target specimen image for each region of each main element (step S5). FIG. 10 is a flowchart showing a detailed processing procedure of the staining state evaluation processing.
染色状態評価処理では、４つの各主要要素を順次処理主要要素としてループＡの処理を行う（ステップＳ５１〜ステップＳ５６）。すなわち先ず、染色状態評価部１５３は、色情報取得部１５２が処理主要要素の領域から取得した色情報を、特徴空間に写像する（ステップＳ５２）。続いて、染色状態評価部１５３は、主要要素別データセット１４３を参照し、処理主要要素についての染色状態毎の各データセットの色情報を特徴空間に写像する（ステップＳ５３）。 In the dyeing state evaluation process, the process of loop A is performed using the four main elements as processing main elements sequentially (steps S51 to S56). That is, first, the staining state evaluation unit 153 maps the color information acquired from the region of the processing main element by the color information acquisition unit 152 into the feature space (step S52). Subsequently, the staining state evaluation unit 153 refers to the main element data set 143, and maps the color information of each data set for each staining state for the processing main element to the feature space (step S53).
続いて、類似度算出部１５４が、処理主要要素の領域から取得した色情報と、処理主要要素についての染色状態毎の各データセットの色情報との類似度を算出する（ステップＳ５４）。具体的には、次式（１５）に従って、ステップＳ５２で写像した処理主要要素の領域の色情報の写像点と、ステップＳ５３で写像した各データセットの色情報の写像点との距離を特徴空間距離Ｄkとして算出し、算出した値を類似度とする。ｋは、標準染色標本の識別番号を表し、ｂは、バンド番号を表す。また、ｘkは、該当する標本番号のデータセットの色情報の写像点であり、ｘは、処理主要要素の領域の色情報の写像点である。
そして、染色状態対応付け部１５５が、類似度算出部１５４によって算出された類似度をもとに、処理主要要素の領域の色情報と色情報が一致するデータセットまたは色情報が類似するデータセットを選出することによって、処理主要要素の染色状態を対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付ける（ステップＳ５５）。 Then, based on the similarity calculated by the similarity calculating unit 154, the staining state associating unit 155 matches the color information with the color information of the region of the main processing element or the data set with similar color information. Is selected, the staining state of the processing main element is associated with the staining state of at least one data set for the corresponding main element (step S55).
具体的には、各データセットの色情報について算出した類似度をもとに、色情報が一致するデータセットの有無を判定する。例えば、類似度が０として得られた色情報があれば、この色情報のデータセットを色情報が一致するとして選出する。あるいは、色情報が一致しているか否かを判定するための第１の閾値を予め設定しておき、類似度がこの第１の閾値以下である色情報のデータセットを選出することとしてもよい。第１の閾値以下である色情報が複数あった場合には、最も類似度の値が小さい色情報のデータセットを選出するようにしてもよい。 Specifically, based on the similarity calculated for the color information of each data set, the presence or absence of a data set with matching color information is determined. For example, if there is color information obtained with a similarity of 0, a data set of this color information is selected as matching color information. Alternatively, a first threshold value for determining whether or not the color information matches may be set in advance, and a data set of color information whose similarity is equal to or lower than the first threshold value may be selected. . If there are a plurality of pieces of color information that are equal to or less than the first threshold value, a data set of color information having the smallest similarity value may be selected.
一方、一致する色情報が無い場合には、色情報が類似するデータセットを選出する。本実施の形態では、色情報が類似しているか否かを判定するための第２の閾値を予め設定しておき、類似度がこの第２の閾値以下である色情報のデータセットを、色情報が類似するとして選出する。なお、類似度が小さいものから順に所定数個の色情報のデータセットを選出することとしてもよいし、類似度が最も小さい１つの色情報のデータセットを選出することとしてもよい。処理主要要素について選出したデータセットの情報は、このデータセットの色情報について類似度算出部１５４が算出した類似度のデータとともに、評価結果として記憶部１４０に保持される。 On the other hand, if there is no matching color information, a data set having similar color information is selected. In the present embodiment, a second threshold value for determining whether or not the color information is similar is set in advance, and a data set of color information whose similarity is equal to or less than the second threshold value is set as the color information. Elected as information is similar. It should be noted that a predetermined number of color information data sets may be selected in descending order of similarity, or one color information data set having the smallest similarity may be selected. Information on the data set selected for the main processing element is held in the storage unit 140 as an evaluation result together with the similarity data calculated by the similarity calculation unit 154 for the color information of this data set.
図１１は、処理主要要素の領域の色情報と、対応する主要要素についての染色状態毎の各データセットの色情報とを写像した特徴空間の一例を示す図であり、処理主要要素の染色状態をデータセットの染色状態と対応付ける様子を示している。例えば、図１１の例では、各データセットの色情報の写像点の中から、４つの写像点２〜５が抽出される。すなわち、処理主要要素の領域の色情報の写像点１との特徴空間距離である類似度が、第２の閾値を示す破線の領域内に含まれる４つの写像点２〜５が抽出されており、各写像点２〜５の色情報のデータセットが類似するデータセットとして選出される。 FIG. 11 is a diagram illustrating an example of a feature space in which color information of a region of a processing main element and color information of each data set for each staining state for the corresponding main element are mapped. Is shown in correspondence with the staining state of the data set. For example, in the example of FIG. 11, four mapping points 2 to 5 are extracted from the mapping points of the color information of each data set. That is, four mapping points 2 to 5 in which the similarity, which is the feature space distance to the mapping point 1 of the color information in the area of the processing main element, is included in the dashed area indicating the second threshold are extracted. The data sets of color information of the mapping points 2 to 5 are selected as similar data sets.
このようにして行われる染色状態評価処理によって、対象標本の各主要要素の染色状態を、それぞれ対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付けることができ、対象標本の染色状態を主要要素毎に評価することができる。 By the staining state evaluation process performed in this way, the staining state of each main element of the target specimen can be associated with the staining state of at least one data set for each corresponding main element, and staining of the target specimen The state can be evaluated for each major element.
そして、各主要要素をそれぞれ処理主要要素としてループＡの処理を行ったならば、染色状態評価処理を終了して図８のステップＳ５にリターンし、その後ステップＳ７に移る。 Then, if the processing of loop A is performed with each main element as a processing main element, the staining state evaluation processing is terminated, the process returns to step S5 in FIG.
ステップＳ７では、自己相関行列算出部１５６が自己相関行列算出処理を行い、図１０の染色状態評価処理によって各主要要素と染色状態が対応付けられたデータセットの分光特性を用いて自己相関行列ＲSSを主要要素毎に算出する。 In step S7, the autocorrelation matrix calculation unit 156 performs an autocorrelation matrix calculation process, and uses the spectral characteristics of the data set in which each main element and the staining state are associated by the staining state evaluation process of FIG. SS is calculated for each major element.
このとき、図１０の染色状態評価処理のステップＳ５５で色情報が一致する１つのデータセットが選出された場合には、このデータセットの分光情報を用い、次式（１６）に従って自己相関行列ＲSSを算出する。行列式Ｖは、分光情報である分光スペクトルの平均ベクトルを表す。また、Ｔは行列式の転置を表す。
一方、図１０の染色状態評価処理のステップＳ５５で色情報が類似するとして複数のデータセットが選出された場合であれば、各データセットの分光情報をもとに自己相関行列ＲSSを算出する。具体的には、色情報が類似するとして選出された各データセットの色情報について図１０のステップＳ５４で類似度算出部１５４が算出した類似度ｄmを用い、次式（１７）に示す重み付き平均ベクトルＶ´を算出する。ｍは、類似するとして選出されたデータセットのデータセット番号を表す。
続いて、算出した重み付き平均ベクトルＶ´を用い、自己相関行列ＲSSを次式（１８）に従って算出する。
このようにして行われる自己相関行列算出処理によって、データセットの色情報が、色情報取得部１５２によって取得された色情報と一致するまたは類似するとして選出されたデータセットの分光情報をもとに、自己相関行列ＲSSを算出することができる。したがって、分光特性を推定する染色標本の染色状態と自己相関行列ＲSSの算出に用いる標準染色標本の染色状態との違いを軽減することができる。なお、この自己相関行列算出処理によって分光スペクトルから自己相関行列ＲSSを求め、この自己相関行列ＲSSをデータセットの分光情報として用いることもできる。 Through the autocorrelation matrix calculation process performed in this way, the color information of the data set is based on the spectral information of the data set selected as matching or similar to the color information acquired by the color information acquisition unit 152. The autocorrelation matrix R SS can be calculated. Therefore, it is possible to reduce the difference between the stained state of the stained sample for estimating the spectral characteristics and the stained state of the standard stained sample used for calculating the autocorrelation matrix RSS . Note that the autocorrelation matrix R SS can be obtained from the spectrum by this autocorrelation matrix calculation process, and this autocorrelation matrix R SS can be used as the spectral information of the data set.
以上のようにして主要要素毎に自己相関行列を算出したならば、対象標本の分光特性の推定に移り、対象標本画像の任意の点ｘ（分光特性の推定対象画素）に対応する対象標本上の対象標本点における分光透過率を推定する。すなわち先ず、図８に示すように、推定オペレータ算出部１５７が推定オペレータ算出処理を行い、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSを用いてウィナー推定に用いる推定オペレータＷを算出する（ステップＳ９）。具体的には、背景技術で示した次式（５）に従って算出する。
ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
Here, as shown in the background art, a system matrix H defined by the following equation (3) is introduced.
H = FSE (3)
光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。自己相関行列ＲSSについては、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いる。また、ＲＧＢカメラ１１１のノイズの自己相関行列ＲNNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列ＲNNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。 The values of the spectral transmittance F of the optical filters 1191a and 1191b, the spectral sensitivity characteristic S of the RGB camera 111, and the spectral radiation characteristic E (^) of illumination per unit time are the devices used for each part of the image acquisition unit 110. After selection, measure using a spectrometer or the like. The autocorrelation matrix R SS, among the autocorrelation matrix R SS for each key elements calculated in step S7, using the autocorrelation matrix R SS key elements of the estimation target pixel belongs. Also, the noise autocorrelation matrix R NN of the RGB camera 111 is calculated using the pixel value of the estimation target pixel. That is, a multiband image is acquired by the image acquisition unit 110 without a sample in advance and without a sample. Then, for each band of the obtained multiband image, the variance of the pixel value with respect to the pixel value is obtained, and an approximate expression is calculated from the pixel value and the variance of the pixel value. Then, the noise autocorrelation matrix R NN is calculated by obtaining the variance of the pixel value with respect to the pixel value of the estimation target pixel using the calculated approximate expression and generating a matrix having this as a diagonal component. However, it is assumed that there is no noise correlation between the bands.
このようにして行われる推定オペレータ算出処理によって、自己相関行列算出部１５６が算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いて推定オペレータＷを算出することができる。これにより、推定対象画素が属する主要要素の染色状態に応じて適切な推定オペレータＷを算出することができる。なお、推定オペレータＷは、推定対象画素の分光透過率を推定する際に算出する必要はなく、事前に主要要素毎の自己相関行列ＲSSを用いて主要要素毎に算出しておくこととしてもよい。また、上記した自己相関行列算出処理と推定オペレータ算出処理によって分光スペクトルから推定オペレータＷを求め、この推定オペレータＷをデータセットの分光情報として用いることもできる。 The estimation operator calculation processing performed in this way, of the autocorrelation matrix R SS for each key element autocorrelation matrix calculator 156 is calculated, estimated using an autocorrelation matrix R SS key elements of the estimation target pixel belongs The operator W can be calculated. Thereby, an appropriate estimation operator W can be calculated according to the staining state of the main element to which the estimation target pixel belongs. The estimation operator W does not need to be calculated when estimating the spectral transmittance of the estimation target pixel, and may be calculated in advance for each main element using the autocorrelation matrix R SS for each main element. Good. It is also possible to obtain an estimation operator W from the spectrum by the above-described autocorrelation matrix calculation processing and estimation operator calculation processing, and use this estimation operator W as spectral information of the data set.
続いて、分光透過率推定部１５８が、ステップＳ９で算出した推定オペレータＷを用いて、推定対象画素に対応する対象標本上の対象標本点における分光透過率データを算出する（ステップＳ１１）。具体的には、背景技術で示した次式（４）に従い、推定対象画素である対象標本画像の任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。
このようにすれば、分光透過率データの算出に際し、推定対象画素が属する主要要素の領域に応じて、その主要要素について推定オペレータ算出部１５７が算出した推定オペレータＷを用いることができる。したがって、対象標本の染色状態の個体差に起因する分光透過率の推定誤差を軽減することができ、染色標本の分光透過率の推定精度を向上させることができる。 In this way, when calculating the spectral transmittance data, the estimation operator W calculated by the estimation operator calculation unit 157 for the main element can be used according to the area of the main element to which the estimation target pixel belongs. Therefore, the estimation error of the spectral transmittance due to the individual difference in the staining state of the target specimen can be reduced, and the estimation accuracy of the spectral transmittance of the stained specimen can be improved.
本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。 The spectral transmittance estimated by the image processing apparatus 1 is used, for example, for estimating the amount of the dye that is staining the target specimen. Then, the color of the image is corrected based on the estimated pigment amount, the camera characteristics and the variation in the staining state are corrected, and the display RGB image is synthesized. This RGB image is displayed on the screen of the display unit 130 and used for pathological diagnosis.
なお、上記した実施の形態では、対象標本画像から取得した色情報とデータセットの色情報との類似度を算出し、この類似度に従って対象標本画像の染色状態とデータセットの染色状態と対応付ける場合について説明したが、これに限定されない。例えば、対象標本画像から取得した色情報とデータセットの色情報とをユーザに視覚的に提示し、ユーザ操作に従って対象標本の染色状態と対応付ける染色状態のデータセットを決定することとしてもよい。この場合には、制御部１６０が、図１１に例示したような特徴空間での対象標本画像の色情報と染色状態毎の各データセットの色情報との写像点の位置関係を表示部１３０に表示する制御を行うとともに、１つまたは複数のデータセットの選択依頼の通知を表示する制御を行って、表示制御手段およびデータセット選択依頼手段として機能する。図１２は、データセットの選択依頼の通知画面Ｗ１１の一例を示す図である。通知画面Ｗ１１には、データセットの選択を依頼する旨のメッセージＭ１１が表示されている。ユーザは、入力部１２０を介して１つまたは複数のデータセットの色情報を指定することによって、染色状態を対応付けるデータセットを選択する。 In the embodiment described above, the similarity between the color information acquired from the target specimen image and the color information of the data set is calculated, and the staining state of the target specimen image and the staining state of the data set are associated with each other according to the similarity. However, the present invention is not limited to this. For example, the color information acquired from the target specimen image and the color information of the data set may be visually presented to the user, and the staining state data set associated with the staining state of the target specimen may be determined according to the user operation. In this case, the control unit 160 displays the positional relationship of the mapping points between the color information of the target specimen image and the color information of each data set for each staining state in the feature space illustrated in FIG. In addition to performing display control, it performs control to display notification of a selection request for one or a plurality of data sets, and functions as a display control unit and a data set selection request unit. FIG. 12 is a diagram showing an example of a data set selection request notification screen W11. On the notification screen W11, a message M11 requesting selection of a data set is displayed. The user selects a data set to be associated with a staining state by designating color information of one or more data sets via the input unit 120.
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光スペクトルとして、分光反射率のスペクトル特徴値を推定する場合にも同様に適用できる。 In the above-described embodiment, the case where the spectral feature value of the spectral transmittance is estimated from the multiband image obtained by imaging the pathological specimen has been described. However, when the spectral feature value of the spectral reflectance is estimated as the spectral spectrum. Can be applied similarly.
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。 In the above embodiment, the case where the pathological specimen stained with H & E is observed through transmission has been described. However, the present invention can also be applied to a biological specimen stained using another staining method. The present invention can be similarly applied not only to observation of transmitted light but also to observation of reflected light, fluorescence, and light emission.
また、画像処理装置１は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、実施の形態で説明した画像処理装置１と同様の機能を有し、画像処理プログラム１４１を実行するコンピュータシステムについて説明する。 The image processing apparatus 1 can be realized by executing a program prepared in advance on a computer system such as a personal computer or a workstation. Hereinafter, a computer system having the same function as the image processing apparatus 1 described in the embodiment and executing the image processing program 141 will be described.
図１３は、コンピュータシステム２０の構成を示すシステム構成図であり、図１４は、このコンピュータシステム２０における本体部２１の構成を示すブロック図である。図１３に示すように、コンピュータシステム２０は、本体部２１と、本体部２１からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２と、このコンピュータシステム２０に種々の情報を入力するためのキーボード２３と、ディスプレイ２２の表示画面２２１上の任意の位置を指定するためのマウス２４とを備える。 FIG. 13 is a system configuration diagram showing the configuration of the computer system 20, and FIG. 14 is a block diagram showing the configuration of the main body 21 in the computer system 20. As shown in FIG. 13, the computer system 20 includes a main body 21, a display 22 for displaying information such as an image on a display screen 221 according to an instruction from the main body 21, and various information on the computer system 20. A keyboard 23 for inputting and a mouse 24 for designating an arbitrary position on the display screen 221 of the display 22 are provided.
また、このコンピュータシステム２０における本体部２１は、図１４に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２、キーボード２３およびマウス２４を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。 As shown in FIG. 14, the main body 21 in the computer system 20 includes a CPU 211, a RAM 212, a ROM 213, a hard disk drive (HDD) 214, a CD-ROM drive 215 that accepts a CD-ROM 26, and a USB memory. 27, a USB port 216 for detachably connecting, an I / O interface 217 for connecting the display 22, keyboard 23 and mouse 24, and a LAN interface for connecting to a local area network or a wide area network (LAN / WAN) N1. 218.
さらに、このコンピュータシステム２０には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５が接続される。また、コンピュータシステム２０には、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。 Further, a modem 25 for connecting to a public line N3 such as the Internet is connected to the computer system 20. Further, a personal computer (PC) 281, a server 282, a printer 283, etc., which are other computer systems, are connected to the computer system 20 via a LAN interface 218 and a local area network or a wide area network N 1.
そして、このコンピュータシステム２０は、所定の記憶媒体に記憶された画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ２６やＵＳＢメモリ２７の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム２０の内外に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５を介して接続される公衆回線Ｎ３や、ＰＣ（他のコンピュータシステム）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム２０によって読み取り可能な画像処理プログラムを記憶するあらゆる記憶媒体を含む。 The computer system 20 implements an image processing apparatus by reading and executing an image processing program stored in a predetermined storage medium. Here, the predetermined storage medium is a “portable physical medium” including an MO disk, a DVD disk, a flexible disk (FD), a magneto-optical disk, an IC card, etc. in addition to the CD-ROM 26 and the USB memory 27, a computer “Fixed physical medium” such as HDD 214, RAM 212, ROM 213, etc. provided inside and outside the system 20, a public line N3 connected via the modem 25, a PC (other computer system) 281 or a server 282 are connected. It includes any storage medium that stores an image processing program readable by the computer system 20, such as a “communication medium” that holds the program in a short time when transmitting the program, such as a local area network or a wide area network N1.
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム２０は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム２０によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。 That is, the image processing program is stored in a storage medium such as “portable physical medium”, “fixed physical medium”, and “communication medium” so as to be readable by a computer. An image processing apparatus is realized by reading and executing an image processing program from a medium. Note that the image processing program is not limited to be executed by the computer system 20, and when the other computer system (PC) 281 or the server 282 executes the image processing program or in cooperation therewith. The present invention can be similarly applied to a case where an image processing program is executed.
１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像処理プログラム
１４３ 主要要素別データセット
１５０ 画像処理部
１５１ 領域分割処理部
１５２ 色情報取得部
１５３ 染色状態評価部
１５４ 類似度算出部
１５５ 染色状態対応付け部
１５６ 自己相関行列算出部
１５７ 推定オペレータ算出部
１５８ 分光透過率推定部
１６０ 制御部
１６１ マルチバンド画像取得制御部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 110 Image acquisition part 120 Input part 130 Display part 140 Storage part 141 Image processing program 143 Data set classified by main element 150 Image processing part 151 Area division process part 152 Color information acquisition part 153 Dye state evaluation part 154 Similarity calculation Unit 155 staining state association unit 156 autocorrelation matrix calculation unit 157 estimation operator calculation unit 158 spectral transmittance estimation unit 160 control unit 161 multiband image acquisition control unit
Claims (16)
前記染色標本画像の色情報を取得する取得手段と、
前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、
前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus that processes a stained specimen image obtained by imaging a stained specimen stained with at least one pigment, and estimates spectral characteristics of the stained specimen,
Obtaining means for obtaining color information of the stained specimen image;
Based on the color information of the stained specimen image acquired by the acquiring means, evaluation means for evaluating the staining state of the stained specimen;
Spectral characteristic estimation means for estimating spectral characteristics of the stained specimen according to the staining state of the stained specimen evaluated by the evaluation means;
An image processing apparatus comprising:
前記評価手段は、前記染色標本画像の色情報と前記データセット記憶手段に記憶された前記染色状態毎の各データセットの色情報とをもとに、前記染色標本の染色状態を少なくともいずれか１つのデータセットの染色状態と対応付ける対応付け手段を有することを特徴とする請求項１に記載の画像処理装置。 Data set storage means for storing color information and spectroscopic information for each staining state acquired using a standard stained specimen stained in a different staining state with the dye in advance as a data set for each staining state,
The evaluation means determines at least one of the staining state of the stained specimen based on the color information of the stained specimen image and the color information of each data set for each staining state stored in the data set storage means. The image processing apparatus according to claim 1, further comprising an association unit that associates the staining state of each data set.
前記対応付け手段は、前記類似度算出手段によって算出された類似度をもとに、前記類似する１つまたは複数のデータセットを選出することを特徴とする請求項５に記載の画像処理装置。 The evaluation means includes similarity calculation means for calculating the similarity between the color information of the stained specimen image and the color information of each data set for each staining state,
The image processing apparatus according to claim 5, wherein the association unit selects the one or more similar data sets based on the similarity calculated by the similarity calculation unit.
前記取得手段は、前記領域分割手段によって分割された前記領域毎に色情報を取得し、
前記対応付け手段は、前記取得手段によって前記領域毎に取得された色情報をもとに、前記領域毎に前記染色状態の対応付けを行うことを特徴とする請求項２〜７のいずれか１つに記載の画像処理装置。 An area dividing means for dividing the stained specimen image into one or more areas;
The acquisition means acquires color information for each of the areas divided by the area dividing means,
The association means associates the staining state for each area based on the color information obtained for each area by the acquisition means. The image processing apparatus described in one.
前記領域分割手段は、前記染色対象画像を前記主要要素毎の領域に分割し、
前記対応付け手段は、前記領域分割手段によって分割された前記主要要素毎の領域をもとに、前記主要要素の染色状態を、対応する主要要素についてのデータセットの染色状態と対応付けることを特徴とする請求項９または１０に記載の画像処理装置。 The data set storage means stores a data set for each staining state for each of a plurality of predetermined main elements,
The region dividing means divides the staining target image into regions for each main element,
The association unit is configured to associate the staining state of the main element with the staining state of the data set for the corresponding main element based on the region for each main element divided by the region dividing unit. The image processing apparatus according to claim 9 or 10.
前記染色標本の染色状態と対応付ける染色状態のデータセットの選択を依頼するデータセット選択依頼手段と、
を備え、
前記対応付け手段は、前記染色標本の染色状態を、前記データセット選択依頼手段による依頼に応答して選択されたデータセットの染色状態と対応付けることを特徴とする請求項２〜１１のいずれか１つに記載の画像処理装置。 Display control means for performing control to display on the display unit at least the color information of the stained specimen image acquired by the acquisition means and the color information of each data set for each staining state stored in the data set storage means; ,
A data set selection request means for requesting selection of a data set of a staining state to be associated with a staining state of the stained specimen;
With
The association means associates a staining state of the stained specimen with a staining state of a data set selected in response to a request from the data set selection requesting means. The image processing apparatus described in one.
前記色情報として、少なくとも、前記標準染色標本を撮像した標準染色標本画像から取得した１つの画素の画素値、または、複数の画素の画素値の平均値、最大値、最小値および分布情報のいずれかを記憶しており、
前記分光情報として、少なくとも、前記標準染色標本から取得した分光スペクトル、該分光スペクトルの平均ベクトル、前記分光スペクトルから算出した自己相関行列、前記分光スペクトルから算出した共分散行列、前記自己相関行列または前記共分散行列を用いて算出した推定オペレータおよび該推定オペレータから算出した推定スペクトルのいずれか１つを記憶していることを特徴とする請求項２〜１２のいずれか１つに記載の画像処理装置。 The data set storage means includes
As the color information, at least one of a pixel value of one pixel acquired from a standard stained specimen image obtained by imaging the standard stained specimen, or an average value, maximum value, minimum value, and distribution information of pixel values of a plurality of pixels Remembers,
As the spectral information, at least a spectral spectrum acquired from the standard stained specimen, an average vector of the spectral spectrum, an autocorrelation matrix calculated from the spectral spectrum, a covariance matrix calculated from the spectral spectrum, the autocorrelation matrix or the 13. The image processing apparatus according to claim 2, wherein one of an estimation operator calculated using a covariance matrix and an estimation spectrum calculated from the estimation operator is stored. .
前記染色標本画像の色情報を取得する取得手順と、
前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、
前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、
を実行させることを特徴とする画像処理プログラム。 A computer that processes a stained specimen image obtained by imaging a stained specimen stained with at least one dye and estimates spectral characteristics of the stained specimen;
An acquisition procedure for acquiring color information of the stained specimen image;
Based on the color information of the stained specimen image acquired in the acquisition procedure, an evaluation procedure for evaluating the staining state of the stained specimen;
Spectral characteristics estimation procedure for estimating spectral characteristics of the stained specimen according to the staining state of the stained specimen evaluated in the evaluation procedure;
An image processing program for executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009013622A JP2010169592A (en) | 2009-01-23 | 2009-01-23 | Image processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009013622A JP2010169592A (en) | 2009-01-23 | 2009-01-23 | Image processing device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010169592A true JP2010169592A (en) | 2010-08-05 |
Family
ID=42701874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009013622A Withdrawn JP2010169592A (en) | 2009-01-23 | 2009-01-23 | Image processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010169592A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012078176A (en) * | 2010-09-30 | 2012-04-19 | Olympus Corp | Image processing system |
| JP2013033006A (en) * | 2011-08-03 | 2013-02-14 | Toppan Printing Co Ltd | Spectroscopic information acquiring apparatus, spectroscopic information acquiring method, and program for spectroscopic information acquisition |
| JP2016213623A (en) * | 2015-05-01 | 2016-12-15 | 日本電信電話株式会社 | Image processing apparatus, image processing system, image processing method, and image processing program |
| JP2019505041A (en) * | 2015-12-18 | 2019-02-21 | ベンタナ メディカル システムズ， インコーポレイテッド | System and method for separating images with different acquisition properties |
-
2009
- 2009-01-23 JP JP2009013622A patent/JP2010169592A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012078176A (en) * | 2010-09-30 | 2012-04-19 | Olympus Corp | Image processing system |
| JP2013033006A (en) * | 2011-08-03 | 2013-02-14 | Toppan Printing Co Ltd | Spectroscopic information acquiring apparatus, spectroscopic information acquiring method, and program for spectroscopic information acquisition |
| JP2016213623A (en) * | 2015-05-01 | 2016-12-15 | 日本電信電話株式会社 | Image processing apparatus, image processing system, image processing method, and image processing program |
| JP2019505041A (en) * | 2015-12-18 | 2019-02-21 | ベンタナ メディカル システムズ， インコーポレイテッド | System and method for separating images with different acquisition properties |
| US11062168B2 (en) | 2015-12-18 | 2021-07-13 | Ventana Medical Systems, Inc. | Systems and methods of unmixing images with varying acquisition properties |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7422825B2 (en) | Focus-weighted machine learning classifier error prediction for microscope slide images | |
| JP2010169467A (en) | Image processing apparatus, data set forming device, image processing program, and data set forming program | |
| CN105378538B (en) | Auto focusing method and system for multiple spectra imaging | |
| JP4071186B2 (en) | Method and system for identifying an object of interest in a biological specimen | |
| JP5478084B2 (en) | Image processing system, image processing apparatus, and image processing terminal | |
| JP6517788B2 (en) | System and method for adaptive histopathology image decomposition | |
| JP5075648B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP5498129B2 (en) | Virtual microscope system | |
| US8649580B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
| JP5178226B2 (en) | Image processing apparatus and image processing program | |
| JP5117274B2 (en) | Image processing apparatus and image processing program | |
| JP5738564B2 (en) | Image processing system | |
| JP2011002341A (en) | Microscopic system, specimen observation method, and program | |
| JP5154844B2 (en) | Image processing apparatus and image processing program | |
| JP5137481B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
| CN111656393A (en) | Histological image analysis | |
| JP5305618B2 (en) | Image processing apparatus and image processing program | |
| JP2010156612A (en) | Image processing device, image processing program, image processing method, and virtual microscope system | |
| JP2010169592A (en) | Image processing device and program | |
| JP2008304205A (en) | Spectral characteristics estimation apparatus and spectral characteristics estimation program | |
| JP5210571B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| WO2018131091A1 (en) | Image processing device, image processing method, and image processing program | |
| JP5752985B2 (en) | Image processing apparatus, image processing method, image processing program, and virtual microscope system | |
| WO2020075226A1 (en) | Image processing device operation method, image processing device, and image processing device operation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120403 |