JP2010169467A - 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム - Google Patents

Abstract

【課題】染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させること。
【解決手段】データセット生成部１５１は、染色標本を構成する色素の分光特性をもとに、分光情報および該分光情報に対応する色情報を生成し、生成した分光情報および色情報１組とした複数のデータセットを生成する。そして、データセット対応付け処理部１５３は、染色標本画像の色情報と、各データセットの色情報とをもとに、染色標本画像を少なくともいずれか１つのデータセットと対応付ける。そして、データセット対応付け処理部１５３は、染色標本画像に対応付けたデータセットから、染色標本の分光特性の推定に用いる分光情報を抽出する。
【選択図】図５

Description

本発明は、画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラムに関する。

被写体に固有の物理的性質を表す物理量の１つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。

病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の１つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。

染色標本の観察は、観察者の目視によるものの他、この染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の染色標本のＲＧＢ画像が合成される。図１７は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。

染色標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の１つとして広く知られており、観測対象の統計的性質と撮像ノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

ここで、ウィナー推定法によって染色標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。

先ず、染色標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、染色標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する染色標本上の点を意味している。

撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する染色標本上の点（対応点）の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。

実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。

ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）

次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。

ここで、Ｗは次式（５）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
Ｒ_SSは、Ｄ行Ｄ列の行列であり、染色標本の分光透過率の自己相関行列を表す。Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。このように、推定オペレータＷは、システム行列Ｈと、観測対象の統計的性質を表す項Ｒ_SSと、撮像ノイズの特性を表す項Ｒ_NNから構成され、それぞれの特性を高精度に表す事が、分光透過率の推定精度の向上に繋がる。

特開平７−１２０３２４号公報 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions"，Proceedings of SPIE，Vol.4684，2002，p.1516-1523 "Color Correction of Pathological Images Based on Dye Amount Quantification"，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300

非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項Ｒ_SSと、撮像ノイズの特性を表す項Ｒ_NNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列Ｒ_SSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点の分光スペクトル（分光透過率）を測定して自己相関行列を求めることによって得られる。

ところで、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列Ｒ_SSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、分光透過率等の分光特性の推定精度が低下するという問題があった。ここで、対象標本の染色状態と同様の染色状態で染色された標準染色標本から分光情報を取得し、自己相関行列Ｒ_SSを算出すれば、分光特性の推定精度の低下を軽減できる。しかしながら、事前に染色標本のあらゆる染色状態を想定して分光情報を取得しておく必要があり、手間であるとともに、実際に実施するのは難しい。

本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させることができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置であって、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手段と、前記染色標本画像の色情報と、前記データセット生成手段によって生成された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手段と、前記対応付け手段によるデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手段と、を備えるものである。

また、本発明にかかる画像処理装置は、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置であって、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを記憶するデータセット記憶手段と、前記染色標本画像の色情報と、前記データセット記憶手段に記憶された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手段と、前記対応付け手段によるデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手段と、を備えるものである。

また、本発明にかかるデータセット生成装置は、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置で用いられるデータセットを生成するデータセット生成装置あって、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手段を備えるものである。

また、本発明にかかる画像処理プログラムは、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定するコンピュータに、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手順と、前記染色標本画像の色情報と、前記データセット生成手順で生成された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手順と、前記対応付け手順でのデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手順と、を実行させるものである。

また、本発明にかかる画像処理プログラムは、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを記憶した記憶部を備え、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定するコンピュータに、前記染色標本画像の色情報と、前記記憶部に記憶された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手順と、前記対応付け手順でのデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手順と、を実行させるものである。

また、本発明にかかるデータセット生成プログラムは、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置で用いられるデータセットを生成するコンピュータに、分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手順を実行させるものである。

本発明によれば、分光情報およびこの分光情報に対応する色情報を１組としたデータセットを生成し、染色標本画像の色情報に応じたデータセットの分光情報を用いて染色標本の分光特性を染色標本の分光特性の推定に用いる分光情報として抽出することができる。これによれば、様々な染色状態の染色標本を分光特性の推定対象とする場合であっても、事前に染色標本と同様の染色状態で染色された標本から分光情報を取得しておくことなく染色標本の染色状態によって生じる分光特性の推定誤差を軽減できる。したがって、染色標本の分光特性の推定精度が向上するという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された染色標本（生体組織標本）を被写体とし、この染色標本を撮像した染色標本画像であるマルチバンド画像から被写体の分光スペクトルとして分光透過率スペクトルを推定する場合について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態）
図１は、本実施の形態の画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、パーソナル・コンピュータ（パソコン）等のコンピュータで構成され、標本のマルチバンド画像を取得する画像取得部１１０を備える。

画像取得部１１０は、画像取得動作を行ってＨ＆Ｅ染色された分光透過率の推定対象の染色標本（以下、「対象標本」と称す。）を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。また、ここではＲＧＢカメラと光学フィルタを組み合わせた例を記載したが、この構成に限定されるものではなく、例えばモノクロカメラと光学フィルタを組み合わせた構成を用いてもよい。取得されたマルチバンド画像は、対象標本画像として画像処理装置１の記憶部１４０に保持される。

この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。

図５は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、画像処理部１５０と、記憶部１４０と、装置各部を制御する制御部１６０とを備える。

入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。

記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１４０には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、記憶部１４０は、分光情報およびこの分光情報に対応する色情報を１組とした複数のデータセットを生成し、データセット情報１４３として記憶部１４０に格納するとともに、推定対象画素の色情報に応じたデータセットをデータセット情報１４３から選出して推定対象画素と対応付け、このデータセットの分光情報を用いて推定対象画素の分光透過率を推定するための画像処理プログラム１４１を格納している。さらに、記憶部１４０は、データセット記憶手段として、分光情報と色情報とを１組とした複数のデータセットで構成されるデータセット情報１４３を格納している。図６は、データセットＤのデータ構成例を示す図である。図６に示すように、データセットＤは、データセットＤを識別するためのデータセット番号Ｄ１と、分光情報Ｄ３と、この分光情報に対応する色情報Ｄ５とを含む。

画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、図５に示すように、データセット生成手段、色素量設定手段、スペクトル算出手段としてのデータセット生成部１５１と、仮想色域生成手段としての仮想色域生成部１５２と、対応付け手段、分光情報抽出手段としてのデータセット対応付け処理部１５３と、自己相関行列算出部１５５と、推定オペレータ算出部１５７と、分光透過率推定部１５９とを含む。自己相関行列算出部１５５、推定オペレータ算出部１５７および分光透過率推定部１５９は、分光特性推定手段に相当する機能部である。

データセット生成部１５１は、染色標本を構成する色素の分光特性をもとに、分光情報およびこの分光情報に対応する色情報を生成し、生成した分光情報と色情報とを対応付けて１組のデータセットとする。より具体的には、データセット生成部１５１は、分光透過率の推定対象となる染色標本を構成する各色素の分光特性をもとに分光情報および該分光情報に対応する色情報を生成する。そして、データセット生成部１５１は、このデータセットを複数生成し、データセット情報１４３として記憶部１４０に格納する。ここで、染色標本を構成する色素とは、標本の染色に用いる染色色素の他、生体組織自体が持つ色素も含む。例えば、本実施の形態で扱う生体組織標本は、細胞核や細胞質、赤血球、標本が存在しない背景の領域等で構成され、この生体組織標本をＨ＆Ｅ染色した染色標本は、色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの４種類の色素で構成される。色素Ｈは細胞核を染色したヘマトキシリンである。色素Ｅは細胞質を染色したエオジンである。色素Ｒは血球を染色したエオジンまたは染色されていない赤血球の色素である。すなわち、赤血球は、染色を施さない状態であってもそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。色素Ｇは背景の色素、具体的には染色標本が載置されるスライドガラスの色素である。

仮想色域生成部１５２は、データセット生成部１５１によって生成された各データセットの色情報から仮想色域を生成する。データセット対応付け処理部１５３は、仮想色域をもとに、分光透過率の推定対象画素の色情報に応じたデータセットを選出して推定対象画素と対応付ける。

自己相関行列算出部１５５は、データセット対応付け処理部１５３によって推定対象画素と対応付けられたデータセットの分光情報を用い、染色標本の分光透過率の自己相関行列Ｒ_SS（以下、単に「自己相関行列Ｒ_SS」と称す。）を算出する。推定オペレータ算出部１５７は、自己相関行列算出部１５５によって推定対象画素について算出された自己相関行列Ｒ_SSを用い、推定オペレータＷを算出する。分光透過率推定部１５９は、推定オペレータ算出部１５７によって算出された推定オペレータＷを用い、推定対象画素に対応する対応点（以下、「対象標本点」と称す。）の分光透過率を推定する。

制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。

図７は、画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。

先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ１）。取得した対象標本画像の画像データは、記憶部１４０に格納される。続いて、データセット生成部１５１がデータセット生成処理を行い、色情報とこの色情報に対応する分光情報とを対応付けたデータセットを生成する（ステップＳ３）。図８は、データセット生成処理の詳細な処理手順を示すフローチャートである。

このデータセット生成処理では、データセット生成部１５１は、先ず色素Ｈ、色素Ｅおよび色素Ｒの各色素の色素量を仮想的に設定する（ステップＳ３１）。続いて、データセット生成部１５１は、各色素の分光特性をもとに、各色素の色素量をステップＳ３１で設定した色素量としたときの分光情報を生成する（ステップＳ３３）。

一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ₀（λ）と射出光の強度Ｉ(λ)との間に、次式（６）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。また、式（６）の左辺は分光透過率を意味している。

染色標本を構成する色素が色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの４種類の場合、上記のランベルト・ベールの法則から、各波長λにおいて次式（７）が成立する。

ｋ_H（λ），ｋ_E（λ），ｋ_R（λ），ｋ_G（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの各色素に対応するｋ（λ）を表し、各ｋ（λ）の値が、対応する色素の分光特性に相当する。以下、各ｋ（λ）を、「基準分光特性値」と称す。ここで、各ｋ（λ）は、染色対象である臓器や組織、部位、これらを有する人種毎に異なる可能性がある。このため、これらの違いに応じてｋ（λ）_１、ｋ（λ）_２・・・のように複数のｋ（λ）を色素毎に用意しておき、該当するｋ（λ）を用いることとしてもよい。より具体的には、臓器や組織、部位、人種毎に各色素に対応するｋ（λ）を用意しておき、対象標本を採取した臓器や組織、部位、人種に応じたｋ（λ）を適宜選択して用いることとしてもよい。なお、ｋ_H（λ），ｋ_E（λ），ｋ_R（λ），ｋ_G（λ）は、色素Ｈ、色素Ｅ、色素Ｒ、色素Ｇを用いてそれぞれ個別に染色した標本を予め用意し、分光計等を用いてその分光透過率を測定することによって、ランベルト・ベールの法則から求めることができる。図９は、各色素の基準分光特性値の一例を示す図である。この色素毎の基準分光特性値は、予め記憶部１４０に格納される。またｄ_H，ｄ_E，ｄ_R，ｄ_Gは、マルチバンド画像の各画像位置に対応する標本上の対応点における色素Ｈ、色素Ｅ、色素Ｒ、色素Ｇの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で構成（染色）されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ_H，ｄ_E，ｄ_R，ｄ_Gは、それぞれ色素Ｈ、色素Ｅ、色素Ｒ、色素Ｇの色素量を表しているといえる。

そこで、データセット生成部１５１は、式（７）を用い、各色素の色素量を可変させて分光透過率を算出し、分光情報として生成する。すなわち、図８のステップＳ３１では、データセット生成部１５１は、ｄ_H，ｄ_E，ｄ_R，ｄ_Gのうち、色素Ｈ、色素Ｅおよび色素Ｒの色素量に相当するｄ_H，ｄ_E，ｄ_Rに代入する値の組み合わせを複数通り生成して各色素の色素量を設定する。例えば、各色素の色素量を所定の変化量毎に段階的に変化させることで、各色素の色素量を設定する。なお、色素Ｇはスライドガラスの色素であり、この色素Ｇの色素量については予め定まる固定値とする。

ここで、色素量の変化量は、分光情報から後述するステップＳ３５で色情報を生成した際に、少なくとも指定した色素間で画素値が異なる値となるように設定する。また、設定する各色素の色素量は、各色素それぞれの色素量の取り得る値の範囲、その色素の基準分光特性値、画素の階調数、データセット情報１４３のデータ量等を考慮して決定する。色素量の取り得る値の範囲については、例えば画素値の最小値、すなわち、画素値が０となる各色素の色素量を上限値として設定する。あるいは、その色素の染色状態が飽和する色素量をもとに設定することとしてもよい。例えば、それ以上その色素の色素量を変化させても色が変化しない限界値が事前に取得できている場合には、この限界値をもとに色素量の取り得る値の範囲を設定する。また、実際の標本の染色においてその色素によって物理的に染色可能な色素量の限界値が事前に取得できている場合には、この限界値を超えた染色状態を想定してデータセットを生成する必要はないため、この限界値をもとに色素量の取り得る値の範囲を設定する。さらに、データセット情報１４３のデータ量に応じて、データセットの数を減らしてデータ量を削減することもできる。データ量の削減は、本データセット生成処理によって分光情報および色情報を１通り生成した後（ステップＳ３５の後）、例えばＲＧＢの各色成分を特徴軸としたＲＧＢ空間に各データセットの色情報を写像する。そして、各写像点間の距離が略等距離となるようにデータセットをサンプリングすることによって行うことができる。あるいは、色素量の変化に対して色の変化が大きい範囲において設定する色素量の変化量を小さくし、色素量を密に設定することとしてもよい。

そして、ステップＳ３３では、データセット生成部１５１は、式（７）のｄ_H，ｄ_E，ｄ_R，ｄ_GにステップＳ３１で設定された各色素の色素量を代入することによってその分光透過率を算出し、分光情報として生成する。図１０は、色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの色素量をそれぞれ１．０とした場合、すなわち、式（７）のｄ_H，ｄ_E，ｄ_R，ｄ_Gにそれぞれ１．０を代入した場合に得られる分光情報の一例を示す図である。

続いて、データセット生成部１５１は、図８に示すように、生成した分光情報に対応する色情報を生成する（ステップＳ３５）。例えば、データセット生成部１５１は、背景技術で示した次式（１）を用いて画素値ｇ（ｘ，ｂ）を算出し、色情報として生成する。

上記したように、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、本実施の形態では、１≦ｂ≦６を満たす整数値である。ここで、撮像ノイズはノイズフリーと仮定する。なお、色情報は、ＲＧＢ成分の信号値を用いる場合に限定されるものではなく、このＲＧＢ成分の信号値を用いて変換した別の色成分の値を用いることとしてもよい。

そして、データセット生成部１５１は、生成した分光情報をこの分光情報に対応する色情報と対応付けて複数のデータセットを生成し、データセット情報１４３として記憶部１４０に格納する（ステップＳ３７）。具体的には、データセット生成部１５１は、ステップＳ３１で設定した色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの各色素の色素量の組み合わせについてそれぞれ分光情報および色情報を生成することによって複数のデータセットを生成し、データセット情報１４３として記憶部１４０に格納する。なお、分光情報（分光透過率）と色情報とを対応付けてデータセットを生成することとしたが、分光情報を生成する際に用いた各色素の色素量や、各色素の基準分光特性値等の情報を適宜データセットに含めてデータセット情報１４３に記憶するようにしてよい。データセット生成処理を終えたならば、図７のステップＳ３にリターンし、その後ステップＳ５に移行する。

すなわち、ステップＳ５では、仮想色域生成部１５２が仮想色域生成処理を行い、各データセットの色情報を特徴空間に写像して仮想色域を生成する。上記したように、各データセットの色情報は、各色素の色情報の取り得る値の範囲等をもとに生成された値であり、各データセットの色情報を特徴空間に写像した仮想色域は、染色標本が取り得る色範囲を表す。仮想色域生成部１５２は、色情報の次元数に応じた特徴空間を形成し、この特徴空間内に各データセットの色情報の写像点を分布させることによって仮想色域を生成する。図１１は、仮想色域の一例を示す図である。例えば、図１１に示すように、ＲＧＢの各色成分を特徴軸としたＲＧＢ空間を特徴空間として形成する。そして、各データセットの色情報をＲＧＢ成分毎に合算して３次元のデータ点としてＲＧＢ空間に写像し、仮想色域を生成する。生成した仮想色域の情報は、記憶部１４０に格納される。ここで、各データセットの色情報をＲＧＢ空間に写像することによって、各データセットの色情報を高次元から低次元の情報へと変換することができ、データ量の削減が図れるという効果もある。また、データ量の削減は、適宜行うこととしてもよい。なお、生成した仮想色域をユーザに視覚的に提示することとしてもよい。この場合には、制御部１６０が、図１１に例示した仮想色域を表示部１３０に表示する制御を行う。

このようにして行われるデータセット生成処理によって、事前に異なる染色状態の標本を用意して分光情報を取得することなく、各色素の基準分光特性値をもとに染色標本の様々な染色状態を想定したデータセットを生成することができる。そして、仮想色域生成処理によって、生成したデータセットの色情報から仮想色域を生成することができる。

以上のようにしてデータセットを生成し、仮想色域を生成したならば、対象標本の分光特性の推定に移り、対象標本画像の任意の点ｘ（分光特性の推定対象画素）に対応する対象標本上の対象標本点における分光透過率を推定する。すなわち先ず、データセット対応付け処理部１５３が、データセット対応付け処理を行う。具体的には、データセット対応付け処理部１５３は先ず、図７に示すように、推定対象画素の画素値ｇ（ｘ，ｂ）を色情報として取得する（ステップＳ７）。ここで、仮想色域生成部１５２が仮想色域を生成する際に各データセットの色情報を高次元から低次元の情報へと変換している場合には、取得した推定対象画素の色情報についても同様の手法で次元数の変換を行う。また、データセット生成部１５１がＲＧＢ成分の信号値を用いて変換した別の色成分の値を色情報として生成している場合には、取得した推定対象画素の色情報についても同様の手法で別の色成分の値に変換する。

続いて、データセット対応付け処理部１５３は、取得した推定対象画素の色情報を、図７のステップＳ５で仮想色域生成部１５２によって仮想色域が生成された特徴空間に１点で写像する（ステップＳ８）。バンドを識別する通し番号ｂは本実施の形態では１≦ｂ≦６であり、例えば、それぞれの画素値で決まる特徴空間内の１点に写像すればよい。

そして、データセット対応付け処理部１５３は、仮想色域における推定対象画素の色情報の写像点と、各データセットの色情報に対応する仮想色域の各写像点（データ点）との特徴空間内での距離（以下、「特徴空間距離」と称す。）ｄ_iをそれぞれ次式（８）に従って算出する（ステップＳ９）。ｋは、推定対象画素に対応付けられたデータセットに割り当てられたデータセット番号を表し、ｂは、バンド番号を表す。また、ｘ_iは、該当するデータセットの色情報の写像点であり、ｘは、推定対象画素の色情報の写像点である。

そして、データセット対応付け処理部１５３は、算出した特徴空間距離が所定の閾値以下であるデータセットを選出し、推定対象画素を選出したデータセットと対応付ける（ステップＳ１１）。なお、推定対象画素の色情報と一致する色情報、すなわち特徴空間距離の値が０として得られた色情報のデータセットがあった場合には、このデータセットを選出する。選出されたデータセットの情報（例えばデータセット番号）は、推定対象画素の写像点とその色情報に対応する写像点との特徴空間距離ｄ_iとともに記憶部１４０に格納される。

図１２は、特徴空間における推定対象画素の色情報の写像点と各データセットの色情報に対応する仮想色域の各写像点との位置関係の一例を示す図であり、推定対象画素をデータセットと対応付ける様子を示している。例えば、図１２の例では、仮想色域の各写像点の中から、４つの写像点２〜５が抽出される。すなわち、推定対象画素の色情報の写像点１との特徴空間距離が、所定の閾値を示す破線の領域内に含まれる４つの写像点２〜５が抽出されており、各写像点２〜５に対応する色情報のデータセットが選出され、推定対象画素と対応付けられる。

そして、データセット対応付け処理部１５３は、推定対象画素と対応付けられたデータセットの分光情報を、推定対象画素の分光特性の推定に用いる分光情報として抽出する（ステップＳ１３）。

このようにして行われるデータセット対応付け処理によれば、推定対象画素の色情報と各データセットの色情報とをもとに適切なデータセットを選出して推定対象画素に対応付けることができる。そして、対応付けたデータセットをもとに、推定対象画素の色情報に応じた適切な分光情報を、推定対象画素の分光特性の推定に用いる分光情報として抽出することができる。

続いて、図７に示すように、自己相関行列算出部１５５が自己相関行列算出処理を行い、ステップＳ１３で抽出された分光情報を用いて自己相関行列Ｒ_SSを算出する（ステップＳ１５）。具体的には、自己相関行列算出部１５５は、推定対象画素に対応付けられた各データセットの色情報について算出された特徴空間距離ｄ_iをもとに、分光透過率の重み付き平均ベクトルの行列式Ｖを次式（９）によって算出する。

ここで、ｐ（ｄ_i）は特徴空間距離ｄ_iで算出される確率分布であり、次式（１０）にしたがって算出する。ｉは、推定対象画素に対応付けられたデータセットのデータセット番号を表し、Σ_ｊは、共分散行列を表す。

そして、式（９）に従って共分散行列Σ_ｊを調整することによって、推定対象画素に対応付けられたデータセットに対し、特徴空間距離ｄ_iにおける存在確率の重み付けを行う。なお、ステップＳ１１で色情報が一致する１つのデータセットが選出されて推定対象画素と対応付けられた場合には、この重み付けの処理は行わなくてよい。

続いて、算出した重み付き平均ベクトルＶを用いて、自己相関行列Ｒ_SSを次式（１１）に従って算出する。Ｔは、行列式の転置を表す。

このようにして行われる自己相関行列算出処理によって、推定対象画素に対応付けられたデータセットから抽出した分光情報をもとに自己相関行列Ｒ_SSを算出することができる。したがって、分光特性の推定対象画素の色情報に応じた分光情報を用いて適切な自己相関行列Ｒ_SSを算出することができる。

続いて、図７に示すように、推定オペレータ算出部１５７が推定オペレータ算出処理を行い、ステップＳ１５で算出した自己相関行列Ｒ_SSを用いてウィナー推定に用いる推定オペレータＷを算出する（ステップＳ１７）。具体的には、背景技術で示した次式（５）に従って算出する。

ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）

光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。また、ＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列Ｒ_NNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。

このようにして行われる推定オペレータ算出処理によって、自己相関行列算出部１５５が推定対象画素について算出した自己相関行列Ｒ_SSを用いて推定オペレータＷを算出することができる。これにより、推定対象画素の色情報に応じた適切な推定オペレータＷを算出することができる。

続いて、分光透過率推定部１５９が、ステップＳ１７で算出した推定オペレータＷを用いて、推定対象画素に対応する対象標本上の対象標本点における分光透過率データを算出する（ステップＳ１９）。具体的には、背景技術で示した次式（４）に従い、推定対象画素である対象標本画像の任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。

このようにすれば、推定オペレータ算出部１５７が推定対象画素について算出した推定オペレータＷを用い、推定対象画素の分光透過率データを算出することができる。これによれば、様々な染色状態の染色標本を分光特性の推定対象とする場合であっても、事前に染色標本と同様の染色状態で染色された標本から分光情報を取得しておくことなく染色標本の染色状態によって生じる分光特性の推定誤差を軽減できる。したがって、染色標本の分光特性の推定精度を向上させることができる。

本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。

なお、上記した実施の形態では、推定対象画素の色情報をもとに、データセット情報１４３の中から適切な色情報のデータセットを自動的に選出して推定対象画素と対応付けることとしたが、これに限定されない。例えば、推定対象画素の色情報とデータセットの色情報とをユーザに視覚的に提示し、ユーザ操作に従って推定対象画素と対応付けるデータセットを選出することとしてもよい。この場合には、制御部１６０が、例えば図１２に例示したような特徴空間における推定対象画素の色情報の写像点と各データセットの色情報に対応する仮想色域の各写像点との位置関係を表示部１３０に表示する制御を行うとともに、１つまたは複数のデータセットの選択依頼の通知を表示する制御を行って、表示制御手段およびデータセット選択依頼手段として機能する。図１３は、データセットの選択依頼の通知画面Ｗ１１の一例を示す図である。通知画面Ｗ１１には、データセットの選択を依頼する旨のメッセージＭ１１が表示されている。ユーザは、入力部１２０を介して１つまたは複数のデータセットの色情報を指定することによって、推定対象画素と対応付けるデータセットを選択する。

また、上記した実施の形態では、データセット情報１４３を生成するデータセット生成部１５１を備えた構成の画像処理装置１について説明したが、事前に別のデータセット生成装置等で生成したデータセット情報を記憶部に格納しておく構成としてもよい。また、各データセットの色情報から生成する仮想色域についても、データセット生成装置等で事前に生成したものを記憶部に格納しておくようにしてもよい。この場合には、画像処理装置は、図５に示すデータセット生成部１５１および／または仮想色域生成部１５２を備えない構成で実現できる。

一方、データセット情報を生成するデータセット生成装置は、図１４に示すデータセット生成部１５１および／または仮想色域生成部１５２を備えて構成される。図１４は、データセット生成装置２の機能構成を説明するブロック図である。図１４に示すように、データセット生成装置２は、入力部２１０、表示部２２０、画像処理部２３０、記憶部２４０、装置各部を制御する制御部２５０等を備える。そして、画像処理部２３０は、上記した実施の形態のデータセット生成処理を行うデータセット生成部２３１と、仮想色域生成処理を行う仮想色域生成部２３３とを備える。また、記憶部２４０には、データセット生成処理および仮想色域生成処理を実現するためのデータセット生成プログラム２４１が格納されるとともに、データセット生成処理の結果生成されたデータセットの情報や、仮想色域生成処理の結果生成された仮想色域の情報の他、データセット生成プログラム２４１の実行中に使用される色素の分光特性（基準分光特性値）等のデータが格納される。

また、上記した実施の形態では、式（７）に従って算出した分光透過率を分光情報としてデータセットを生成する場合について説明したが、これに限定されるものではない。例えば、算出した分光透過率の平均ベクトル、分光透過率から算出した自己相関行列、分光透過率から算出した共分散行列、この自己相関行列または共分散行列を用いて算出した推定オペレータＷ、この推定オペレータＷから算出した推定スペクトル等を用いることができる。そして、これらのうちのいずれか１つを分光情報として用いてもよいし、複数の情報を分光情報として用いることとしてもよい。

また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光スペクトルとして、分光反射率のスペクトル特徴値を推定する場合にも同様に適用できる。

また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。

また、画像処理装置１やデータセット生成装置２は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、上記した画像処理装置１やデータセット生成装置２と同様の機能を有し、画像処理プログラム１４１やデータセット生成プログラム２４１を実行するコンピュータシステムについて説明する。

図１５は、コンピュータシステム３０の構成を示すシステム構成図であり、図１６は、このコンピュータシステム３０における本体部３１の構成を示すブロック図である。図１５に示すように、コンピュータシステム３０は、本体部３１と、本体部３１からの指示によって表示画面３２１に画像等の情報を表示するためのディスプレイ３２と、このコンピュータシステム３０に種々の情報を入力するためのキーボード３３と、ディスプレイ３２の表示画面３２１上の任意の位置を指定するためのマウス３４とを備える。

また、このコンピュータシステム３０における本体部３１は、図１６に示すように、ＣＰＵ３１１と、ＲＡＭ３１２と、ＲＯＭ３１３と、ハードディスクドライブ（ＨＤＤ）３１４と、ＣＤ−ＲＯＭ３６を受け入れるＣＤ−ＲＯＭドライブ３１５と、ＵＳＢメモリ３７を着脱可能に接続するＵＳＢポート３１６と、ディスプレイ３２、キーボード３３およびマウス３４を接続するＩ／Ｏインターフェース３１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース３１８とを備える。

さらに、このコンピュータシステム３０には、インターネット等の公衆回線Ｎ３に接続するためのモデム３５が接続されるとともに、ＬＡＮインターフェース３１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）３８１、サーバ３８２、プリンタ３８３等が接続される。

そして、このコンピュータシステム３０は、所定の記憶媒体に記憶された画像処理プログラムを読み出して実行することで画像処理装置を実現する。または、所定の記憶媒体に記憶されたデータセット生成プログラムを読み出して実行することでデータセット生成装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ３６やＵＳＢメモリ３７の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム３０の内外に備えられるＨＤＤ３１４やＲＡＭ３１２、ＲＯＭ３１３等の「固定用の物理媒体」、モデム３５を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）３８１またはサーバ３８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム３０によって読み取り可能な画像処理プログラムまたはデータセット生成プログラムを記憶するあらゆる記憶媒体を含む。

すなわち、画像処理プログラムおよびデータセット生成プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものである。そして、コンピュータシステム３０は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。あるいは、コンピュータシステム３０は、記憶媒体からデータセット生成プログラムを読み出して実行することでデータセット生成装置を実現する。なお、画像処理プログラムやデータセット生成プログラムは、コンピュータシステム３０によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）３８１またはサーバ３８２が画像処理プログラムやデータセット生成プログラムを実行する場合や、これらが協働して画像処理プログラムやデータセット生成プログラムを実行するような場合にも、本発明を同様に適用することができる。

画像処理装置の構成を示す図である。 カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。 一方の光学フィルタの分光透過率特性を示す図である。 他方の光学フィルタの分光透過率特性を示す図である。 Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。 画像処理装置の機能構成を示すブロック図である。 データセットのデータ構成例を示す図である。 画像処理装置が行う処理手順を示すフローチャートである。 データセット生成処理の詳細な処理手順を示すフローチャートである。 色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの基準分光特性値の一例を示す図である。 色素Ｈ、色素Ｅ、色素Ｒおよび色素Ｇの色素量をそれぞれ１．０とした場合の分光情報の一例を示す図である。 仮想色域の一例を示す図である。 特徴空間における推定対象画素の色情報の写像点と各データセットの色情報に対応する仮想色域の各写像点との位置関係の一例を示す図である。 データセットの選択依頼の通知画面の一例を示す図である。 データセット生成装置の機能構成を説明するブロック図である。 実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。 図１５のコンピュータシステムにおける本体部の構成を示すブロック図である。 ＲＧＢ画像の一例を示す図である。

１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像処理プログラム
１４３ データセット情報
１５０ 画像処理部
１５１ データセット生成部
１５２ 仮想色域生成部
１５３ データセット対応付け処理部
１５５ 自己相関行列算出部
１５７ 推定オペレータ算出部
１５９ 分光透過率推定部
１６０ 制御部
１６１ マルチバンド画像取得制御部

Claims (14)

1. 少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置であって、
   分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手段と、
   前記染色標本画像の色情報と、前記データセット生成手段によって生成された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手段と、
   前記対応付け手段によるデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記データセット生成手段は、前記染色標本を構成する色素の分光特性をもとに分光情報および該分光情報に対応する色情報を生成し、生成した分光情報と色情報とを対応付けて前記データセットを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記データセット生成手段は、
   前記染色標本を構成する色素の色素量を仮想的に設定する色素量設定手段と、
   前記染色標本を構成する色素の分光特性をもとに、前記色素量設定手段によって設定された色素量を用いて分光スペクトルを算出するスペクトル算出手段と、
   を備え、
   前記スペクトル算出手段によって算出された分光スペクトルをもとに前記分光情報を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記データセット生成手段は、前記スペクトル算出手段によって算出された分光スペクトルをもとに前記色情報を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記各データセットの色情報を所定の特徴空間に写像して仮想色域を生成する仮想色域生成手段を備えることを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記対応付け手段は、前記仮想色域生成手段によって前記仮想色域が生成された前記特徴空間に前記染色標本画像の色情報を写像することによって、前記データセットの対応付けを行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記対応付け手段は、前記染色標本画像の色情報の写像点と前記仮想色域を構成する前記各データセットの色情報の写像点との特徴空間距離を算出し、算出した特徴空間距離をもとに前記データセットの対応付けを行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記分光情報抽出手段によって抽出された分光情報をもとに、該分光情報を抽出したデータセットの色情報について算出された前記特徴空間距離を用いて前記染色標本の分光特性を推定する分光特性推定手段を備えることを特徴とする請求項７に記載の画像処理装置。
9. 少なくとも前記染色標本画像の色情報と前記各データセットの色情報とを表示部に表示する制御を行う表示制御手段と、
   前記染色標本画像と対応付けるデータセットの選択を依頼するデータセット選択依頼手段と、
   を備え、
   前記対応付け手段は、前記染色標本画像を、前記データセット選択依頼手段による依頼に応答して選択されたデータセットと対応付けることを特徴とする請求項１〜９のいずれか１つに記載の画像処理装置。
10. 少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置であって、
    分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを記憶するデータセット記憶手段と、
    前記染色標本画像の色情報と、前記データセット記憶手段に記憶された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手段と、
    前記対応付け手段によるデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手段と、
    を備えることを特徴とする画像処理装置。
11. 少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置で用いられるデータセットを生成するデータセット生成装置あって、
    分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手段を備えることを特徴とするデータセット生成装置。
12. 少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定するコンピュータに、
    分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手順と、
    前記染色標本画像の色情報と、前記データセット生成手順で生成された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手順と、
    前記対応付け手順でのデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手順と、
    を実行させることを特徴とする画像処理プログラム。
13. 分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを記憶した記憶部を備え、少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定するコンピュータに、
    前記染色標本画像の色情報と、前記記憶部に記憶された各データセットの色情報とをもとに、前記染色標本画像を少なくともいずれか１つのデータセットと対応付ける対応付け手順と、
    前記対応付け手順でのデータセットの対応付けに従って、前記染色標本の分光特性の推定に用いる分光情報を抽出する分光情報抽出手順と、
    を実行させることを特徴とする画像処理プログラム。
14. 少なくとも１つ以上の色素で染色された染色標本を撮像した染色標本画像を処理して前記染色標本の分光特性を推定する画像処理装置で用いられるデータセットを生成するコンピュータに、
    分光情報および該分光情報に対応する色情報を１組とした複数のデータセットを生成するデータセット生成手順を実行させることを特徴とするデータセット生成プログラム。