以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
顕微鏡を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の画像を生成するといったことが行われており(例えば特開平9−281405号公報や特開2006−343573号公報を参照)、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される高精細かつ広視野の画像を、「VS画像」と呼ぶ。
このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したVS画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。このため、バーチャル顕微鏡システムは、病理診断の教育現場、あるいは遠隔地に在る病理医間のコンサルテーション等で活用されている。以下では、本発明をこのバーチャル顕微鏡システムに適用した場合を例にとって説明する。
図1は、実施の形態1の顕微鏡システム1の全体構成例を説明する模式図である。図1に示すように、顕微鏡システム1は、顕微鏡装置2とホストシステム4とがデータの送受可能に接続されて構成されている。なお、図1では、顕微鏡装置2の構成を模式的に示すとともに、ホストシステム4の主要な機能ブロックを示している。以下、図1に示す対物レンズ27の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
顕微鏡装置2は、観察・診断対象の標本S(以下、「対象標本S」と呼ぶ。)が載置される電動ステージ21と、側面視略コの字状を有し、電動ステージ21を支持するとともにレボルバ26を介して対物レンズ27を保持する顕微鏡本体24と、顕微鏡本体24の底部後方(図1の右方)に配設された光源28と、顕微鏡本体24の上部に載置された鏡筒29とを備える。また、鏡筒29には、対象標本Sの標本像を目視観察するための双眼部31と、対象標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
ここで、電動ステージ21に載置される対象標本Sは、標準染色を施したものであり、以下では、形態観察染色の1つであるHE染色を施した組織標本を例にとって説明する。すなわち、対象標本Sは、ヘマトキシリン(以下、「H色素」と表記する。)によって細胞核が青紫色に染色され、エオジン(以下、「E色素」と表記する。)によって細胞質や結合組織が薄赤色に染色されたものである。なお、適用する標準染色はHE染色に限定されるものではない。例えばPap染色等の他の形態観察染色を標準染色として施した標本にも同様に適用できる。
電動ステージ21は、XYZ方向に移動自在に構成されている。すなわち、電動ステージ21は、モータ221およびこのモータ221の駆動を制御するXY駆動制御部223によってXY平面内で移動自在である。XY駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ21のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、対象標本S上の観察箇所を移動させる。そして、XY駆動制御部223は、観察時の電動ステージ21のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ21は、モータ231およびこのモータ231の駆動を制御するZ駆動制御部233によってZ方向に移動自在である。Z駆動制御部233は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ21のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ231の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に対象標本Sを焦準移動させる。そして、Z駆動制御部233は、観察時の電動ステージ21のZ位置を適宜顕微鏡コントローラ33に出力する。
レボルバ26は、顕微鏡本体24に対して回転自在に保持され、対物レンズ27を対象標本Sの上方に配置する。対物レンズ27は、レボルバ26に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ26の回転に応じて観察光の光路上に挿入されて対象標本Sの観察に用いる対物レンズ27が択一的に切り換えられるようになっている。なお、実施の形態1では、レボルバ26は、対物レンズ27として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と呼ぶ。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と呼ぶ。)とを少なくとも1つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
顕微鏡本体24は、底部において対象標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源28から射出された照明光を集光するコレクタレンズ251、照明系フィルタユニット252、視野絞り253、開口絞り254、照明光の光路を対物レンズ27の光軸に沿って偏向させる折曲げミラー255、コンデンサ光学素子ユニット256、トップレンズユニット257等が、照明光の光路に沿って適所に配置されて構成される。光源28から射出された照明光は、照明光学系によって対象標本Sに照射され、観察光として対物レンズ27に入射する。
また、顕微鏡本体24は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するための光学フィルタ303を回転自在に保持し、この光学フィルタ303を、適宜対物レンズ27後段において観察光の光路上に挿入する。対物レンズ27を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。対象標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ27の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム4に出力する。
ここで、フィルタユニット30について詳細に説明する。フィルタユニット30は、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。図2は、フィルタユニット30の構成を説明する模式図である。図2に示すフィルタユニット30は、光学素子を装着するための装着穴が例えば3つ形成された回転式の光学フィルタ切換部301を有し、この3つの装着穴のうちの2つにそれぞれ異なる分光透過率特性を有する2枚の光学フィルタ303(303a,303b)が装着され、残りの1つの穴が空穴305として構成されている。
図3は、一方の光学フィルタ303aの分光透過率特性を示す図であり、図4は、他方の光学フィルタ303bの分光透過率特性を示す図である。図3,4に示すように、各光学フィルタ303a,303bは、それぞれTVカメラ32のR,G,B各バンドを2分割する分光特性を有している。対象標本Sをマルチバンド撮像する場合は先ず、光学フィルタ切換部301を回転させて光学フィルタ303aを観察光の光路上に挿入し、TVカメラ32によって標本像の第1の撮像を行う。次いで、光学フィルタ切換部301の回転によって光学フィルタ303bを観察光の光路上に挿入し、TVカメラ32によって標本像の第2の撮像を行う。この第1の撮像及び第2の撮像によって、それぞれ3バンドの画像が得られ、双方を合わせることによって6バンドのマルチバンド画像(分光スペクトル画像)が得られる。
このように、フィルタユニット30を用いて標本像をマルチバンド撮像する場合には、光源28から射出されて照明光学系によって対象標本Sに照射された照明光は、観察光として対物レンズ27に入射し、その後光学フィルタ303aまたは光学フィルタ303bを経由してTVカメラ32の撮像素子上に結像する。図5は、標本像をTVカメラ32で撮像する際のR,G,B各バンドの分光感度の例を示す図である。
なお、通常の撮像を行う場合(標本像のRGB画像を撮像する場合)には、図2の光学フィルタ切換部301を回転させて空穴305を観察光の光路上に配置すればよい。また、ここでは、光学フィルタ303a,303bを対物レンズ27後段に配置する場合を例示したが、これに限定されるものではなく、光源28からTVカメラ32に至る光路上のいずれかの位置に配置することとしてよい。また、光学フィルタの数は2枚に限定されず、適宜3枚以上の光学フィルタを用いてフィルタユニットを構成してよく、マルチバンド画像のバンド数も6バンドに限定されるものではない。例えば、背景技術で示した特許文献1に開示されている技術を用い、16枚のバンドパスフィルタを切り換えながら面順次方式でマルチバンド画像を撮像し、16バンドのマルチバンド画像を撮像するようにしてもよい。また、マルチバンド画像を撮像する構成は、光学フィルタを切り換える手法に限定されるものではない。例えば、複数のTVカメラを用意する。そして、ビームスプリッタ等を介して各TVカメラに観察光を導き、分光特性を相補的に補完する結像光学系を構成してもよい。これによれば、各TVカメラで同時に標本像を撮像し、これらを合わせることによって1度にマルチバンド画像が得られるので、処理の高速化が図れる。
そして、顕微鏡装置2は、図1に示すように、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、ホストシステム4の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ26を回転させて観察光の光路上に配置する対物レンズ27を切り換える処理や、切り換えた対物レンズ27の倍率等に応じた光源28の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部223やZ駆動制御部233に対する電動ステージ21の移動指示等、対象標本Sの観察に伴う顕微鏡装置2の各部の調整を行うとともに、各部の状態を適宜ホストシステム4に通知する。TVカメラコントローラ34は、ホストシステム4の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
一方、ホストシステム4は、入力部41、表示部43、処理部45、記録部47等を備える。
入力部41は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を処理部45に出力する。表示部43は、LCDやELディスプレイ等の表示装置によって実現されるものであり、処理部45から入力される表示信号をもとに各種画面を表示する。
処理部45は、CPU等のハードウェアによって実現される。この処理部45は、入力部41から入力される入力信号や、顕微鏡コントローラ33から入力される顕微鏡装置2各部の状態、TVカメラ32から入力される画像データ、記録部47に記録されるプログラムやデータ等をもとにホストシステム4を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行い、顕微鏡システム1全体の動作を統括的に制御する。そして例えば、処理部45は、電動ステージ21をZ方向に移動させながら、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAF(自動焦点)の処理を行う。また、処理部45は、TVカメラ32から入力される画像データの記録部47への記録処理や表示部43への表示処理に際し、JPEGやJPEG2000等の圧縮方式に基づく圧縮処理や伸張処理を行う。この処理部45は、VS画像生成部451と、表示処理手段としてのVS画像表示処理部454とを備える。
VS画像生成部451は、標本像の低解像画像および高解像画像を取得してVS画像を生成する。ここで、VS画像とは、顕微鏡装置2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて対象標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをVS画像と呼ぶ。
このVS画像生成部451は、低解像画像取得処理部452と、画像取得手段およびスペクトル画像生成手段としての高解像画像取得処理部453とを含む。低解像画像取得処理部452は、顕微鏡装置2各部の動作指示を行って標本像の低解像画像を取得する。高解像画像取得処理部453は、顕微鏡装置2各部の動作指示を行って標本像の高解像画像を取得する。ここで、低解像画像は、対象標本Sの観察に低倍対物レンズを用い、RGB画像として取得される。これに対し、高解像画像は、対象標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得される。
VS画像表示処理部454は、VS画像から所定の構造物の領域を抽出し、抽出結果をもとに対象標本S内のこの構造物を所定の表示方法に従って表した表示画像を表示部43に表示する処理を行う。このVS画像表示処理部454は、構造物抽出手段としての構造物抽出部455と、表示画像生成手段としての表示画像生成部456とを含む。構造物抽出部455は、VS画像を画像処理し、このVS画像から病理医等のユーザが指定した抽出対象の構造物(以下、「抽出対象構造物」と呼ぶ。)が映る領域を抽出する。表示画像生成部456は、VS画像中に映る対象標本S内の抽出対象構造物をユーザが指定した表示方法で表した表示画像を生成する。表示方法としては、例えば「強調表示」と「非表示」の2種類が用意される。「強調表示」は、抽出対象構造物の領域を他の領域に対して強調表示する表示方法である。また、「非表示」は、抽出対象構造物を非表示とする表示方法である。なお、実施の形態1では、表示方法として「強調表示」を指定した場合について詳述する。
記録部47は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の記憶媒体およびその読書装置等によって実現されるものである。この記録部47には、ホストシステム4を動作させ、このホストシステム4が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。
そして、記録部47には、処理部45をVS画像生成部451として機能させてVS画像生成処理を実現するためのVS画像生成プログラム471と、処理部45をVS画像表示処理部454として機能させてVS画像表示処理を実現するためのVS画像表示処理プログラム473とが記録される。また、記録部47は、分光特性記録手段として、構造物特徴情報475を記録する。さらに、記録部47には、VS画像ファイル5が記録される。この構造物特徴情報475およびVS画像ファイル5の詳細については後述する。
なお、ホストシステム4は、CPUやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
次に、実施の形態1におけるVS画像生成処理およびVS画像表示処理の処理について順番に説明する。先ず、VS画像生成処理について説明する。図6は、ホストシステム4の処理部45がVS画像生成処理を行うことによって実現される顕微鏡システム1の動作を示すフローチャートである。なお、ここで説明する顕微鏡システム1の動作は、VS画像生成部451が記録部47に記録されたVS画像生成プログラム471を読み出して実行することによって実現される。
図6に示すように、先ずVS画像生成部451の低解像画像取得処理部452が、対象標本Sの観察に用いる対物レンズ27を低倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ26を回転させ、低倍対物レンズを観察光の光路上に配置する。
続いて、低解像画像取得処理部452は、フィルタユニット30を空穴305に切り換える指示を顕微鏡コントローラ33に出力する(ステップa3)。これに応答して、顕微鏡コントローラ33は、必要に応じてフィルタユニット30の光学フィルタ切換部301を回転させ、空穴305を観察光の光路上に配置する。
続いて、低解像画像取得処理部452は、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップa5)。
図7は、スライドガラス標本6の一例を示す図である。図1に示した電動ステージ21上の対象標本Sは、実際には、図7に示すように、スライドガラス60上に対象標本Sを載置したスライドガラス標本6として電動ステージ21上に載置される。対象標本Sは、スライドガラス60上の予め定められた所定の領域(例えば、スライドガラス60の図7に向かって左側の縦:25mm×横:50mmの領域)である標本サーチ範囲61に載置されるようになっている。そして、このスライドガラス60には、標本サーチ範囲61に載置した対象標本Sに関する情報を記載したラベル63が予め定められた所定の領域(例えば標本サーチ範囲61の右側の領域)に貼付される。このラベル63には、例えば、対象標本Sを特定するための識別情報であるスライド標本番号を所定の規格に従ってコード化したバーコードが印字され、顕微鏡システム1を構成する図示しないバーコードリーダによって読み取られるようになっている。
図6のステップa5の低解像画像取得処理部452による動作指示に応答して、顕微鏡装置2は、図7に示すスライドガラス60の標本サーチ範囲61の画像を撮像する。具体的には、ステップa1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲61を分割し、分割した区画サイズに従って電動ステージ21をXY平面内で移動させながら、標本サーチ範囲61の標本像を区画毎にTVカメラ32で順次撮像していく。ここで撮像された画像データはホストシステム4に出力され、低解像画像取得処理部452において標本像の低解像画像として取得される。
そして、低解像画像取得処理部452は、図6に示すように、ステップa5で取得した区画毎の低解像画像を結合し、図7の標本サーチ範囲61を映した1枚の画像をスライド標本全体画像として生成する(ステップa7)。
続いて、高解像画像取得処理部453が、対象標本Sの観察に用いる対物レンズ27を高倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa9)。これに応答して顕微鏡コントローラ33は、レボルバ26を回転させ、高倍対物レンズを観察光の光路上に配置する。
続いて、高解像画像取得処理部453は、ステップa7で生成したスライド標本全体画像をもとに、図7の標本サーチ範囲61内の実際に対象標本Sが載置されている標本領域65を自動抽出して決定する(ステップa11)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、スライド標本全体画像の各画素を2値化して標本の有無を画素毎に判定し、対象標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、入力部41を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
続いて、高解像画像取得処理部453は、スライド標本全体画像からステップa11で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップa13)。
図8は、スライド標本全体画像から切り出した標本領域画像7の一例を示す図であり、図8では、図7の標本領域65の画像を示している。先ず高解像画像取得処理部453は、図8に示すように、標本領域画像7を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップa9で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
次いで高解像画像取得処理部453は、形成した複数の小区画の中から、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためであり、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画おきに選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、高解像画像取得処理部453は、標本領域画像7の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を顕微鏡装置2の電動ステージ21の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、対象標本Sの観察に用いる対物レンズ27の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特開平9−281405号公報に記載の公知技術を適用して実現できる。
続いて、高解像画像取得処理部453は、図6に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップa15)。このとき、高解像画像取得処理部453は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、顕微鏡装置2は、電動ステージ21をXY平面内で移動させて各フォーカス位置を順次対物レンズ27の光軸位置に移動させる。そして、顕微鏡装置2は、各フォーカス位置で電動ステージ21をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データはホストシステム4に出力され、高解像画像取得処理部453において取得される。高解像画像取得処理部453は、各Z位置における画像データのコントラストを評価して各フォーカス位置における対象標本Sの合焦位置(Z位置)を測定する。
高解像画像取得処理部453は、以上のようにして各フォーカス位置における合焦位置を測定したならば、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成し、記録部47に記録する(ステップa17)。具体的には、高解像画像取得処理部453は、ステップa13でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。
図9は、フォーカスマップのデータ構成例を示す図である。図9に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図8に示した標本領域画像7の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、VS画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ21のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,−)の配列番号は、図8の小区画71を示しており、座標系(x,y)における小区画71の中心座標を電動ステージ21の座標系(X,Y)に変換したときのX位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
続いて高解像画像取得処理部453は、図6に示すように、フィルタユニット30を光学フィルタ303a,303bに切り換える指示を顕微鏡コントローラ33に順次出力するとともに、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像(以下、適宜「標本領域区画画像」と呼ぶ。)を取得する(ステップa19)。
これに応答して、顕微鏡装置2は、フィルタユニット30の光学フィルタ切換部301を回転させ、先ず光学フィルタ303aを観察光の光路上に配置した状態で電動ステージ21を移動させながら、標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。次いで、観察光の光路上に光学フィルタ303bを切り換えて配置し、同様にして標本領域画像の小区画毎の標本像を撮像する。ここで撮像された画像データはホストシステム4に出力され、高解像画像取得処理部453において標本像の高解像画像(標本領域区画画像)として取得される。
続いて高解像画像取得処理部453は、ステップa19で取得した高解像画像である標本領域区画画像を結合し、図7の標本領域65の全域を映した1枚の画像をVS画像として生成する(ステップa21)。
なお、上記のステップa13〜ステップa21では、標本領域画像を高倍対物レンズの視野範囲に相当する小区画に分割することとした。そして、この小区画毎に標本像を撮像して標本領域区画画像を取得し、これらを結合してVS画像を生成することとした。これに対し、隣接する標本領域区画画像がその隣接位置で互いに一部重複(オーバーラップ)するように小区画を設定するようにしてもよい。そして、隣接する標本領域区画画像間の位置関係が合うように貼り合わせて合成し、1枚のVS画像を生成するようにしてもよい。具体的な処理は、例えば特開平9−281405号公報や特開2006−343573号公報に記載の公知技術を適用して実現できるが、この場合には、取得される各標本領域区画画像の端部部分がそれぞれ隣接する標本領域区画画像との間で重複するように、小区画の区画サイズを高倍対物レンズの視野範囲よりも小さいサイズに設定する。このようにすれば、電動ステージ21の移動制御の精度が低く、隣接する標本領域区画画像間が不連続となる場合であっても、重複部分によって繋ぎ目が連続した自然なVS画像を生成できる。
以上説明したVS画像生成処理の結果、対象標本Sの全域を映した広視野で且つ高精細なマルチバンド画像が得られる。ここで、ステップa1〜ステップa21の処理は自動的に行われる。このため、ユーザは、対象標本S(詳細には図7のスライドガラス標本6)を電動ステージ21上に載置し、入力部41を介してVS画像生成処理の開始指示操作を入力するだけでよい。なお、ステップa1〜ステップa21の各ステップで適宜処理を中断し、ユーザの操作を介在可能に構成してもよい。例えば、ステップa9の後の操作入力に従って、使用する高倍対物レンズを別の倍率の対物レンズに変更する処理や、ステップa11の後の操作入力に従って、決定した標本領域を修正する処理、ステップa13の後の操作入力に従って、抽出したフォーカス位置を変更、追加または削除する処理等を適宜行うようにしてもよい。
図10および図11は、VS画像生成処理の結果得られて記録部47に記録されるVS画像ファイル5のデータ構成例を説明する図である。図10(a)に示すように、VS画像ファイル5は、付帯情報51と、スライド標本全体画像データ52と、VS画像データ53とを含む。
付帯情報51には、図10(b)に示すように、観察法511やスライド標本番号512、スライド標本全体画像の撮像倍率513、標準染色情報514、背景スペクトル情報515等が設定される。
観察法511は、VS画像の生成に用いた顕微鏡装置2の観察法であり、実施の形態1では、例えば「明視野観察法」が設定される。暗視野観察や蛍光観察、微分干渉観察等の他の観察法で標本の観察が可能な顕微鏡装置を用いた場合には、VS画像を生成したときの観察法が設定される。
スライド標本番号512には、例えば図7に示したスライドガラス標本6のラベル63から読み取ったスライド標本番号が設定される。このスライド標本番号は、例えば、スライドガラス標本6に固有に割り当てられたIDであり、これによって、対象標本Sを個別に識別できる。スライド標本全体画像の撮像倍率513には、スライド標本全体画像の取得時に用いた低倍対物レンズの倍率が設定される。スライド標本全体画像データ52は、スライド標本全体画像の画像データである。
標準染色情報514には、対象標本Sに施された標準染色の種類が設定される。すなわち、実施の形態1では、HE染色が設定されるが、この標準染色情報514は、後述のVS画像表示処理の過程でユーザが対象標本Sに施された標準染色の種類を操作入力して指定することで設定される。
背景スペクトル情報515は、対象標本Sの背景部の分光スペクトルデータを記録する。例えば、図7に示した標本サーチ範囲61をマルチバンド撮像したVS画像中の対象標本Sが存在しない領域を背景部とし、この背景部のバンド毎の画素値を背景スペクトル情報515として記録する。
VS画像データ53には、VS画像に関する各種情報が設定される。すなわち、図11(a)に示すように、VS画像データ53は、VS画像数54と、VS画像数54に相当する数のVS画像情報(1)〜(i)55とを含む。VS画像数54は、VS画像データ53に記録されるVS画像情報55の数であり、iに相当する。図11(a)に示すVS画像データ53のデータ構成例は、1つの標本について複数のVS画像を生成する場合を想定している。図7に示して上述した例では、スライドガラス標本6において実際に対象標本Sが載置されている領域として1つの標本領域65を抽出する場合を説明したが、スライドガラス標本の中には、複数の標本が離れて点在しているものも存在する。このような場合には、標本が存在しない領域のVS画像を生成する必要はない。このため、複数の標本がある程度離れて点在している場合には、これらの点在する標本の領域をそれぞれ個別に抽出し、抽出した標本の領域毎にVS画像を生成するが、このときに生成するVS画像の数がVS画像数54として設定される。そして、各VS画像に関する各種情報が、それぞれVS画像情報(1)〜(i)55として設定される。なお、図7の例においても、標本領域65内に2つの標本の領域が含まれるが、これらの位置が近いために1つの標本領域65として抽出される。そして、各VS画像情報55には、図11(b)に示すように、撮影情報56、フォーカスマップデータ57、画像データ58等が設定される。
撮影情報56には、図11(c)に示すように、VS画像の撮像倍率561、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564、y方向のピクセル数565、Z方向の枚数566、バンド数567等が設定される。
VS画像の撮像倍率561には、VS画像の取得時に用いた高倍対物レンズの倍率が設定される。また、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564およびy方向のピクセル数565は、VS画像の撮像範囲を示している。すなわち、スキャン開始位置(X位置)562は、VS画像を構成する各標本領域区画画像の撮像を開始したときの電動ステージ21のスキャン開始位置のX位置であり、スキャン開始位置(Y位置)563は、スキャン開始位置のY位置である。そして、x方向のピクセル数564はVS画像のx方向のピクセル数であり、y方向のピクセル数565はy方向のピクセル数であって、VS画像のサイズを示している。
Z方向の枚数566には、Z方向のセクショニング数に相当し、VS画像を3次元画像として生成する際には、Z方向の撮像枚数が設定される。以下では、このZ方向の枚数566には「1」が設定される。また、VS画像は、マルチバンド画像として生成される。そのバンド数がバンド数567に設定され、実施の形態1では、「6」が設定される。
また、図11(b)のフォーカスマップデータ57は、図9に示したフォーカスマップのデータである。画像データ58は、VS画像の画像データであり、6バンドの生データ(VS画像を構成する各画素のバンド毎の画素値)が設定される。
次に、VS画像表示処理について説明する。図12は、実施の形態1におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454が記録部47に記録されたVS画像表示処理プログラム473を読み出して実行することによって実現される。
図12に示すように、先ずVS画像表示処理部454が、ユーザ操作に従い、構造物指定手段として抽出対象構造物の種類を指定するとともに(ステップb1)、表示方法指定手段としてこの抽出対象構造物の表示方法を指定する(ステップb3)。このとき、VS画像表示処理部454は、ユーザ操作に従い、表示方法と併せて表示色または確認色を指定する。また、VS画像表示処理部454は、ユーザ操作に従って対象標本Sに施された標準染色の種類を指定する(ステップb5)。例えばVS画像表示処理部454は、構造物指定画面を表示部43に表示して抽出対象構造物およびその表示に関する指定依頼を通知する処理を行い、この構造物指定画面において抽出対象構造物やその表示方法、標準染色の指定操作を受け付ける。
図13は、構造物指定画面の一例を示す図である。図13に示すように、構造物指定画面には、抽出対象構造物を指定するためのスピンボックスSB111と、表示方法を指定するためのスピンボックスSB113と、表示色/確認色を指定するためのスピンボックスSB115とが3組配置されており、3種類の構造物を抽出対象構造物として指定可能に構成されている。なお、この数は一例であって、1または2種類の抽出対象構造物を指定可能に構成してもよいし、4種類以上の抽出対象構造物を指定できるように構成してもよい。
スピンボックスSB111は、抽出対象構造物として指定可能な構造物の一覧を選択肢として提示し、抽出対象構造物の指定を促す。提示される構造物としては、膠原繊維や弾性繊維、平滑筋等が挙げられる。ただし、これら例示した構造物に限定されるものではなく、適宜設定できる。また、スピンボックスSB113は、「強調表示」または「非表示」を選択肢として提示し、表示方法の指定を促す。
そして、スピンボックスSB115は、予め表示色/確認色として用意されている色の一覧を選択肢として提示し、表示色または確認色の指定を促す。詳細には、例えば対応する表示方法のスピンボックスSB113で「強調表示」が指定された場合には、スピンボックスSB115で指定されるのは強調表示の際の表示色である。一方、対応する表示方法のスピンボックスSB113で「非表示」が指定された場合であれば、スピンボックスSB115で指定されるのはその確認色である。ここで、確認色は、VS画像中で抽出された抽出対象構造物の領域を確認表示する際の表示色である。具体的には、後述する実施の形態4で説明するように、表示方法として「非表示」が指定された場合には抽出対象構造物を非表示とした表示画像を生成するが、誤検出等を確認する目的で抽出結果を一旦表示してユーザに提示するようになっている。ユーザは、スピンボックスSB113で「非表示」を指定した場合には、このときの抽出対象構造物の表示色である確認色をスピンボックスSB115で指定する。なお、表示色/確認色として用意しておく色は特に限定されるものではなく、例えば、“茶”“緑”“黒”といった色を適宜設定しておくこととしてよい。
また、構造物指定画面には、実際に対象標本Sを染色している標準染色の種類を指定するためのスピンボックスSB13が配置されている。このスピンボックスSB13は、標準染色の一覧を選択肢として提示し、その指定を促す。提示される標準染色としては、例えば形態観察染色であるHE染色やPap染色等が挙げられる。ただし、例示した形態観察染色に限定されるものではなく、適宜設定できる。
この構造物指定画面において、ユーザは、例えば最上段のスピンボックスSB111で所望の構造物を抽出対象構造物として指定するとともに、対応するスピンボックスSB113で表示方法を指定し、対応するスピンボックスSB115で表示色または確認色を指定する。抽出対象としたい構造物が2つ以上ある場合には、下段のスピンボックスSB111,SB113,SB115で指定する。また、スピンボックスSB13で対象標本Sに施された標準染色を指定する。指定された抽出対象構造物の種類やその表示方法、表示色/確認色、標準染色の種類は、記録部47に記録され、以降の処理で用いられる。このうち、標準染色の種類は、標準染色情報514(図10を参照)としてVS画像ファイル5に設定される。
続いて、図12に示すように、構造物抽出部455が構造物抽出処理を行う(ステップb7)。この構造物抽出処理では、構造物特徴情報475として記録部47に記録されている抽出対象構造物の特徴情報を基準分光スペクトル(教師データ)として用い、VS画像生成処理で生成した対象標本SのVS画像から指定された種類の抽出対象構造物が映る領域を抽出して抽出対象マップを作成する。この構造物特徴情報475は分光特性情報の一例であり、抽出対象構造物として指定され得る構造物毎に予め定義された特徴情報を記録する。
ここで、構造物の定義について説明する。構造物の定義に先立ち、事前にその構造物を含む1または複数の標本を用意し、複数(N個)の分光スペクトルデータを測定しておく。具体的には、例えば、用意した標本を顕微鏡システム1でマルチバンド撮像する。そして、その構造物を映した領域の中から、例えばユーザ操作に従ってN個の画素位置を選択することで、波長λ毎の測定値(選択した画素位置のバンド毎の画素値)を得る。
構造物の特徴を定義するためのデータ空間としては、前述のように予め測定した波長λ毎の測定値を分光吸光度に変換した吸光度空間を用いる。分光吸光度g(λ)は、波長λ毎の入射光の強度を強度I0(λ)とし、射出光の強度(すなわち測定値)をI(λ)とすると次式(1)で表される。入射光の強度I0(λ)としては、例えばその測定値を得た標本の背景部における射出光の強度I(λ)(すなわち、該当する標本について得たマルチバンド画像の背景部におけるバンド毎の画素値)を用いる。
実施の形態1では、この吸光度空間におけるN個の測定値の分光吸光度g1(λ),g2(λ),・・・,gN(λ)について例えば主成分分析を行い、第1主成分〜第p主成分を求める回帰式を算出する。ここで、pはバンド数であり、実施の形態1の例では“6”となる。
次いで、累積寄与率が所定値(例えば“0.8”)以上となる成分数kを決定する。主成分分析では、第1主成分から第k主成分(以下、これらを包括して単に「主成分」と呼ぶ。)によってその構造物を特徴付ける主要な特性が決定される。一方、第k+1主成分から第p主成分(以下、これらを包括して単に「残差成分」と呼ぶ。)は、構造物の特性を決定する際の寄与度が低い。
また、以上のようにして測定値毎に得た残差成分それぞれの統計量を算出する。例えば、残差成分(第k+1主成分〜第p主成分)の平方和を統計量として算出する。なお、予め設定される重み値を用いて第k+1主成分〜第p主成分の残差成分それぞれに重み付けした上で平方和を求めることとしてもよい。また、平方和に限らず、他の統計量を用いてもよい。
そして、主成分(第1主成分〜第k主成分)をそれぞれ求める回帰式、主成分を決定する成分数k、N個の各測定値それぞれの残差成分(以下、「基準残差成分」と呼ぶ。)およびこの測定値毎の基準残差成分それぞれの統計量(ここでは平方和;以下、「基準残差成分統計量」と呼ぶ。)の各データを、定義対象の構造物に関する特徴情報として得る。
以上の処理を構造物毎に行い、抽出対象構造物として選択され得る全ての構造物について特徴情報を定義し、構造物特徴情報475として記録部47に記録しておく。
そして、図12のステップb7で行う構造物抽出処理では、構造物抽出部455は、VS画像の各画素を順次処理対象とし、構造物特徴情報475に設定されている抽出対象構造物の特徴情報をもとに各画素が抽出対象構造物か否かを順次判定していく。図14は、実施の形態1における構造物抽出処理の詳細な処理手順を示すフローチャートである。
図14に示すように、構造物抽出処理では先ず、構造物抽出部455は、構造物特徴情報475から指定された抽出対象構造物の特徴情報を読み出す(ステップc1)。そして、構造物抽出部455は、VS画像を構成する各画素を順次処理対象とし、全ての画素についてループAの処理を行う(ステップc3〜ステップc11)。
すなわち先ず、構造物抽出部455は、処理対象の画素が抽出対象構造物か否かを判定する(ステップc5)。具体的な処理手順としては先ず、上記した式(1)を用い、処理対象の画素の波長λ毎(バンド毎)の画素値を分光吸光度に変換する。このとき、入射光の強度I0(λ)としては、VS画像ファイル5において背景スペクトル情報515(図10を参照)として記録されている対象標本Sの背景部の分光スペクトルデータを用いる。続いて、ステップc1で読み出した抽出対象構造物の特徴情報をもとに、先ず主成分を求める各回帰式を処理対象の画素に適用して残差成分を求める。続いて、求めた残差成分の平方和を算出する。そして、算出値を基準残差成分統計量と比較して閾値処理し、その値が所定範囲内(例えば、標準偏差の2倍以内)であれば、処理対象の画素を抽出対象構造物として判定する。所定範囲内でなければ、抽出対象構造物ではないと判定する。なお、ここで行う閾値処理で抽出対象構造物か否かの判定基準として用いる閾値については、予め設定される固定値としてもよいし、例えばユーザ操作に従って設定変更可能な値としてもよい。
構造物抽出部455は、以上のようにして処理対象の画素を抽出対象構造物の画素と判定した場合には(ステップc7:Yes)、処理対象の画素を抽出対象構造物の領域として抽出し(ステップc9)、その後処理対象の画素についてのループAの処理を終える。抽出対象構造物ではないと判定した場合であれば(ステップc7:No)、そのまま処理対象の画素についてのループAの処理を終える。
そして、VS画像を構成する全ての画素を処理対象としてループAの処理を行ったならば、構造物抽出部455は、各画素が抽出対象構造物か否かを設定した抽出対象マップを作成する(ステップc13)。この抽出対象マップのデータは、記録部47に記録される。その後図12のステップb7にリターンしてステップb9に移行する。抽出対象構造物が複数指定された場合には、上記した構造物抽出処理を各抽出対象構造物それぞれについて行い、各抽出対象構造物それぞれについて抽出対象マップを作成する。
図15は、抽出対象マップのデータ構成例を示す図である。図15において、各マスM21がそれぞれVS画像を構成する各画素位置に対応しており、この抽出対象マップには、VS画像の全ての画素についての抽出対象構造物か否かの判定結果が設定される。なお、図15では、簡明のため、10×12画素分の判定結果が設定された抽出対象マップを例示している。例えば、抽出対象構造物ではないと判定された画素に対応するマスには、例えばマスM21−1に示すように「0」が設定される。一方、抽出対象構造物と判定された画素に対応するマスには、例えばマスM21−2に示すように「1」が設定される。
なお、ここでは、VS画像を構成する全ての画素について抽出対象構造物か否かを判定する処理を行うこととしたが、VS画像中の所定の領域内の画素についてのみ判定を行い、処理時間の短縮化を図ることとしてもよい。例えば、図6のステップa11で決定した標本領域内の画素を対象として抽出対象構造物か否かを判定することとしてもよい。あるいは、抽出対象構造物の抽出に先立ってVS画像から表示用のRGB画像を合成して表示する処理を行い、ユーザによる領域選択を受け付ける構成としてもよい。そして、ユーザが、例えば入力部41を構成するマウスで選択した領域内の画素を対象として抽出対象構造物か否かを判定することとしてもよい。
その後、図12に示すように、表示画像生成部456が、指定された表示方法に従ってステップb7で抽出した抽出対象構造物の領域の表示変更処理を行い、VS画像中に映る対象標本S内の抽出対象構造物を指定された表示方法で表した表示画像を生成する(ステップb9)。実施の形態1は、抽出対象構造物の表示方法として「強調表示」を指定した場合の実施形態であり、表示画像生成部456は先ず、R,G,B各バンドの分光感度特性をもとにVS画像からRGB画像を合成する。
続いて、表示画像生成部456は、図14のステップc13で作成した抽出対象マップを参照し、合成したRGB画像中の抽出対象構造物の領域を指定された表示色で表示した表示画像を生成する。具体的には、表示画像生成部456は、抽出対象マップにおいて「1」が設定されている画素位置の画素値を指定された表示色で置き換えて表示画像を生成する。このとき、複数の抽出対象構造物が指定され、複数の抽出対象マップが作成されている場合には、各抽出対象マップを参照して指定された抽出対象構造物それぞれの領域の画素値をその抽出対象構造物について指定された表示色で置き換える処理を行う。なお、合成したRGB画像中で各抽出対象構造物の領域の画素値をそれぞれ個別にその表示色で置き換え、指定された抽出対象構造物毎に表示画像を生成することとしてもよい。そして、ユーザ操作に従ってこれらを適宜切り換えて表示処理することとしてもよい。
そして、図12に示すように、VS画像表示処理部454が、ステップb9で生成した表示画像を表示部43に表示する処理を行う(ステップb11)。
図16は、VS画像の一例を示す図であり、標準染色としてHE染色が施された弾性繊維を含む標本を対象標本Sとして得たVS画像を示している。一方、図17は、図16のVS画像の表示画像の一例を示す図であり、ユーザが抽出対象構造物を「弾性繊維」とし、表示方法を「強調表示」として指定した場合に生成される表示画像を示している。図16に示すように、表示変更処理前のVS画像中で弾性繊維の領域を視認するのは困難である。これに対し、図17に示すように、図16のVS画像に表示変更処理を施して弾性繊維の領域を強調表示した表示画像では、弾性繊維の領域を他の領域と容易に識別可能である。
なお、図18は、図16に例示したVS画像の被写体とした対象標本Sと同様の標本(例えばこの対象標本Sと同一の標本ブロックの別切片であり、標準染色としてHE染色が施された弾性繊維を含む標本)にさらに特殊染色を施し、弾性繊維を可視化した標本の画像例を示す図である。図18に示すように、標本に特殊染色を施せば、標本中の弾性繊維の領域が染め分けられて視認が可能となる。
以上説明したように、実施の形態1によれば、図18に示したような特殊染色を実際に標本に施すことなく、画像処理によって抽出対象構造物の領域を強調表示することができる。したがって、対象標本S内の所望の構造物を視認性良く表した画像をユーザに提示することができ、診断精度を向上させることが可能となる。また、特殊染色の実施が必要ないため、標本の作製コストを削減できるとともに、診断時間の短縮化が図れる。ユーザにとっては、観察したい所望の構造物を1つまたは複数組み合わせて抽出対象構造物として指定し、表示方法として強調表示を指定することで、対象標本S中の抽出対象構造物の領域を他の領域と容易に識別することができ、対象標本S内の抽出対象構造物を視認性良く観察できる。
(実施の形態2)
実施の形態1では、予め抽出対象構造物について定義しておいた特徴情報をもとにVS画像の各画素について残差成分を求め、この残差成分の統計量が基準残差成分統計量の所定範囲内の画素を抽出対象構造物として抽出することとした。これに対し、実施の形態2では、残差成分の統計量と基準残差成分統計量との差分(以下、「残差差分値」と呼ぶ。)をもとに、抽出対象構造物を指定された表示色で表示する際の表示特性値(例えば彩度や明度等)を補正するようにした。ここで、残差差分値は、VS画像を構成する各画素の構造物抽出の確度(構造物抽出確度)に相当する。
図19は、実施の形態2におけるホストシステム4aの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図19に示すように、実施の形態2の顕微鏡システムを構成するホストシステム4aは、入力部41、表示部43、処理部45a、記録部47a等を備える。
そして、処理部45aのVS画像表示処理部454aは、構造物抽出部455と、構造物表示特性補正部457aを備えた表示画像生成部456aとを含む。構造物表示特性補正部457aは、構造物抽出部455によって抽出対象構造物と判定された各画素の表示特性を補正する処理を行う。また、記録部47aには、処理部45aをVS画像表示処理部454aとして機能させるためのVS画像表示処理プログラム473a等が記録される。
図20は、実施の形態2におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454aが記録部47aに記録されたVS画像表示処理プログラム473aを読み出して実行することによって実現される処理であり、図20において、実施の形態1と同様の処理工程には同一の符号を付している。
実施の形態2では、図20に示すように、ステップb5で標準染色の種類を指定した後、構造物抽出部455が構造物抽出処理を行う(ステップb7)。この構造物抽出処理では、実施の形態1と同様にして処理画素の残差成分を求め、求めた残差成分の統計量(平方和)を基準残差成分統計量と比較して閾値処理することで処理画素が抽出対象構造物か否かを算出する。ただし、実施の形態2では、構造物抽出部455は、このときに抽出対象構造物と判定した処理画素について残差成分の統計量と基準残差成分統計量との差分である残差差分値を取得し、記録部47aに記録しておく。
続いて、表示画像生成部456aが表示画像生成処理を行う(ステップd9)。その後、VS画像表示処理部454aが、実施の形態1と同様にしてステップd9で生成した表示画像を表示部43に表示する処理を行う(ステップb11)。
ここで、ステップd9の表示画像生成処理について説明する。この表示画像生成処理では、実施の形態1と同様の要領で指定された表示方法に従って抽出対象構造物が映る領域の表示変更処理を行い、VS画像中に映る対象標本S内の抽出対象構造物を指定された表示方法で表した表示画像を生成するが、このとき、構造物抽出処理で取得している残差差分値をもとに抽出対象構造物と判定された各画素の表示特性値を補正する。図21は、実施の形態2における表示画像生成処理の詳細な処理手順を示すフローチャートである。
図21に示すように、表示画像生成処理では、表示画像生成部456aは先ず、指定された表示方法に応じて処理を分岐する(ステップe1)。そして、表示方法が「非表示」であればステップe3に移行し、表示画像生成部456aは実施の形態4で後述する非表示時処理を行って抽出対象構造物を非表示とした表示画像を生成する(ステップe3)。その後、図20のステップd9にリターンする。
実施の形態2では、抽出対象構造物の表示方法として「強調表示」が指定される場合を想定しており、表示方法が「強調表示」の場合には、ステップe5に移行する。そして、表示画像生成部456aは先ず、R,G,B各バンドの分光感度を用い、VS画像からRGB画像を合成する(ステップe5)。続いて表示画像生成部456aは、図20のステップb7で抽出対象構造物として抽出された各画素を順次処理対象とし、全ての画素についてループBの処理を行う(ステップe7〜ステップe13)。
ループBでは先ず、表示画像生成部456aは、処理対象の画素の画素値を指定された表示色で置き換える(ステップe9)。続いて、表示画像生成部456aは、処理対象の画素の所定の表示特性値にこの処理対象の画素について取得されている残差差分値を反映させて補正する(ステップe11)。
例えば、残差差分値とこの残差差分値を反映させる所定の表示特性値との関係を定義したルックアップテーブル(以下、「LUT」と略記する。)を事前に生成して記録部47aに記録しておき、このLUTを参照して処理画素の表示特性値を補正する。残差差分値を反映させる表示特性値としては、例えば彩度や明度等が挙げられる。
図22は、表示特性値の一例である彩度を補正する場合のLUTの一例を示す図であり、横軸を入力される残差差分値とし、縦軸を出力される彩度補正係数としてLUTを模式的に示している。また、図23は、表示特性値の他の例である明度を補正する場合のLUTの一例を示す図であり、横軸を入力される残差差分値とし、縦軸を出力される明度補正係数としてLUTを模式的に示している。そして、各図22,図23中において、処理対象の画素が抽出対象構造物として判定される閾値Thを破線で示している。
図22のLUTを適用すると、残差差分値が小さい程彩度を高くしてその画素を表示するように彩度補正係数が決定される。この場合には、表示画像生成部456aは、処理対象の画素の彩度を算出し、算出値に彩度補正係数を乗じて補正する。具体的には、公知技術を適用して処理対象の画素のRGB値をHSV値に変換する。そして、得られた彩度Sの値にLUTで決定される彩度補正係数を乗じてこの彩度Sの値を補正した後、RGB値に再度変換することで残差差分値を表示特性値に反映させる。この結果、抽出対象構造物と判定された各画素は、その残差差分値が小さいほど彩度が高く鮮やかな色として表示されることとなる。
また、図23のLUTを適用すると、残差差分値が小さいほど明度を高くしてその画素を表示するように明度補正係数が決定される。この場合には、表示画像生成部456aは、公知技術を適用して処理対象の画素のRGB値から明度Vの値を取得する。そして、表示画像生成部456aは、LUTで決定される明度補正係数を乗じて補正した後、RGB値に再度変換することで残差差分値を表示特性値に反映させる。この結果、抽出対象構造物と判定された各画素は、その残差差分値が小さいほど明度が高く明るい色として表示されることとなる。
なお、図22に示すLUTは、予め関数として固定的に定義されたLUTを示している。一方、図23に示すLUTでは、各プロットP61に相当する入力値と出力値との対応関係を設定した二次元的なデータテーブルとして定義されたLUTを示している。図23のLUTでは、各プロットP61間を例えば直線で結んだ線分上の値として出力値(図示の例では明度補正係数)が得られる。なお、直線で結ぶ必要はなく、各プロットP61をもとに近似曲線の関数式を求め、各プロットP61間の出力値を得るようにしてもよい。また、図23のグラフを表示部43に表示してユーザに提示し、LUTのデータ内容をユーザ操作に従って調整可能に構成することもできる。例えばユーザが、入力部41を構成するマウスで所望のプロットP61を移動させると、移動後のプロットP61の位置に応じてLUTのデータ内容を変更するようにしてもよい。
以上のようにして処理対象の画素の所定の表示特性値を補正したならば、表示画像生成部456aは、この処理対象の画素についてのループBの処理を終える。そして、抽出対象構造物の領域を構成する全ての画素を処理対象としてループBの処理を行ったならば、図20のステップd9にリターンする。
構造物抽出部455が求めた残差成分の統計量を閾値処理した結果抽出対象構造物と判定された画素であっても、実際にその画素が抽出対象構造物か否かの確度(構造物抽出確度)は残差成分によって異なる。すなわち、残差が小さくなるほど抽出対象構造物の可能性は高く、残差が大きくなるほど抽出対象構造物の可能性は低くなる。
実施の形態2によれば、抽出対象構造物と判定した各画素についてその残差差分値(構造物抽出部455がVS画像の各画素について求めた残差成分の統計量と基準残差成分統計量との差分)を算出することができる。そして、抽出対象構造物の各画素の画素値を指定された表示色で置き換えて強調表示する際に、各画素の所定の表示特性値にその残差差分値を反映させて補正することができる。例えば、残差差分値が小さく抽出対象構造物の可能性が高いほどその画素の彩度や明度を高くし、残差差分値が大きく抽出対象構造物の可能性が低いほどその画素の彩度や明度を低くするといったことが可能となる。
したがって、実施の形態1と同様の効果を奏することができるとともに、抽出対象構造物か否かの構造物抽出確度を画素毎に視覚的に提示することができる。ユーザにとっては、抽出対象構造物として抽出され、指定した表示色で強調表示された各画素の表示特性値(例えば明るさの程度やあざやかさの程度等)によって、これら各画素それぞれの抽出対象構造物か否かの構造物抽出確度を容易に把握できる。そして、各画素の抽出対象構造物か否かの構造物抽出確度を把握しながら観察が行える。これによれば、診断精度の向上をより一層図ることができる。
なお、上記した実施の形態2では、抽出対象構造物と判定された各画素の残差差分値をもとに彩度または明度を補正する場合について説明したが、残差差分値を反映させる表示特性値はこれらに限定されるものではない。また、反映させる表示特性値は1つである必要はなく、複数の表示特性値に対して残差差分値を反映させる構成としてもよい。例えば、残差差分値を彩度および明度の双方に反映させて補正するようにしてもよい。
(実施の形態3)
実施の形態1等では、予め抽出対象構造物について定義しておいた特徴情報をもとにVS画像の各画素について残差成分を求め、この残差成分の統計量が基準残差成分統計量の所定範囲内の画素を抽出対象構造物として抽出することとした。しかしながら、観察・診断対象とする標本の個体差等によって構造物の特性が変動する場合がある。例えば、標本内の組織を固定する際の固定条件や、標本を染色する際の染色条件(染色に要する時間や染色液の濃度等)等によって変動する。このため、実際には抽出対象構造物ではない領域の画素が誤って抽出されたり、逆に抽出対象構造物の画素の抽出漏れが生じるといった事態が起こり得る。実施の形態3は、抽出対象構造物の抽出結果をユーザ操作に従って修正するものである。
図24は、実施の形態3におけるホストシステム4bの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図24に示すように、実施の形態3の顕微鏡システムを構成するホストシステム4bは、入力部41、表示部43、処理部45b、記録部47b等を備える。
そして、処理部45bのVS画像表示処理部454bは、除外対象指定手段、除外スペクトル設定手段、追加対象指定手段および追加スペクトル設定手段としての修正スペクトル登録部458b、除外対象抽出手段としての除外対象抽出部459bおよび追加対象抽出手段としての追加対象抽出部460bを備えた構造物抽出部455bと、表示画像生成部456bとを含む。修正スペクトル登録部458bは、ユーザ操作に従って除外スペクトル情報を登録し、あるいはユーザ操作に従って追加スペクトル情報を登録する処理を行う。除外対象抽出部459bは、除外スペクトル情報をもとに抽出対象構造物の領域から除外する画素を抽出する処理を行う。追加対象抽出部460bは、追加スペクトル情報をもとに抽出対象構造物の領域に追加する画素を抽出する処理を行う。また、記録部47bには、処理部45bをVS画像表示処理部454bとして機能させるためのVS画像表示処理プログラム473b等が記録される。
図25は、実施の形態3におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454bが記録部47bに記録されたVS画像表示処理プログラム473bを読み出して実行することによって実現される処理であり、図25において、実施の形態1と同様の処理工程には同一の符号を付している。
実施の形態3では、図25に示すように、ステップb11で表示画像生成部456bが表示画像を表示部43に表示処理した後、続いて修正スペクトル登録部458bが、ステップb7で行った抽出対象構造物の抽出結果に対する修正指示操作を受け付ける。修正指示操作が入力されなければ(ステップf13:No)、ステップf33に移行する。
そして、入力部41を介して修正指示操作が入力されると(ステップf13:Yes)、続いて修正スペクトル登録部458bは、ユーザ操作に従って除外対象または追加対象とする画素を指定する。例えば、修正スペクトル登録部458bは、ステップb11で表示した表示画像上で除外対象とする画素位置の選択操作を受け付けることによって、除外対象の画素を指定する。あるいは、修正スペクトル登録部458bは、表示画像上で追加対象とする画素位置の選択操作を受け付けることによって、追加対象の画素を指定する。
そして、除外対象の画素が指定されると(ステップf15:Yes)、修正スペクトル登録部458bは、指定された画素のバンド毎(波長λ毎)の画素値をVS画像ファイル5の画像データ58(図11を参照)から読み出し、除外スペクトル情報として登録する(ステップf17)。除外対象の画素が複数が指定された場合には、各画素の画素値をそれぞれ除外スペクトル情報として登録する。一方、追加対象の画素が指定された場合には(ステップf19:Yes)、修正スペクトル登録部458bは、指定された画素のバンド毎の画素値をVS画像ファイル5の画像データ58から読み出し、追加スペクトル情報として登録する(ステップf21)。
その後、操作が確定されるまでの間は(ステップf23:No)、ステップf15に戻る。そして、操作が確定されたならば(ステップf23:Yes)、先ず除外対象抽出部459bが、ステップf17で登録した除外スペクトル情報をもとに抽出対象構造物の領域から除外する画素を抽出し、除外対象マップを作成する(ステップf25)。具体的には、除外対象抽出部459bは先ず、ステップb7の構造物抽出処理で作成した抽出対象マップを参照し、抽出対象構造物の領域として抽出されている各画素を読み出す。そして、除外対象抽出部459bは、読み出した各画素を順次処理対象とし、除外スペクトル情報をもとに各画素を抽出対象構造物から除外するか否かを順次判定していく。
例えば、除外対象抽出部459bは、処理対象の画素のバンド毎(波長λ毎)の画素値と除外スペクトル情報とを比較して波長λ毎の差分を求め、求めた差分の平方和を算出する。そして、算出値を予め設定される所定の閾値を用いて閾値処理し、例えば閾値より小さい場合に処理対象の画素を抽出対象構造物の領域から除外すると判定してこの処理対象の画素を抽出する。ここで、複数の除外スペクトル情報が登録されている場合には、いずれか1つを代表値として選出してこの代表値との差分の平方和が閾値より小さい場合に除外すると判定してもよいし、これら除外スペクトル情報をもとに全ての除外スペクトル情報との差分の平方和が閾値より小さい場合に除外すると判定してもよい。なお、閾値処理で用いる閾値については、予め設定される固定値としてもよいし、例えばユーザ操作に従って設定変更可能な値としてもよい。
そして、除外対象抽出部459bは、抽出対象構造物の領域から除外するか否かの判定結果を設定した除外対象マップを作成する。ここでの処理によって、抽出対象マップにおいて「1」が設定されている画素位置のうち、上記の処理で抽出対象構造物の領域から除外すると判定した画素位置の値を“0”に変更した追加対象マップが作成される。
続いて、追加対象抽出部460bが、ステップf21で登録した追加スペクトル情報をもとに抽出対象構造物の領域として追加する画素を抽出し、追加対象マップを作成する(ステップf27)。具体的には、追加対象抽出部460bは先ず、抽出対象マップを参照し、抽出対象構造物の領域として抽出されていない各画素を読み出す。そして、追加対象抽出部460bは、読み出した各画素を順次処理対象とし、追加スペクトル情報をもとに各画素を抽出対象構造物に追加するか否かを順次判定していく。
例えば、追加対象抽出部460bは、除外対象抽出部459bと同様にして処理対象の画素のバンド毎(波長λ毎)の画素値と追加スペクトル情報とを比較して波長λ毎の差分を求め、求めた差分の平方和を算出する。そして、算出値を予め設定される所定の閾値を用いて閾値処理し、例えば閾値より小さい場合に処理対象の画素を抽出対象構造物の領域として追加すると判定してこの処理対象の画素を抽出する。
そして、追加対象抽出部460bは、抽出対象構造物の領域として追加するか否かの判定結果を設定した追加対象マップを作成する。ここでの処理によって、上記の処理で抽出対象構造物の領域に追加すると判定した画素位置の値を“1”とした追加対象マップが作成される。
なお、ここでは、ユーザ操作に従って指定した除外対象の画素のバンド毎の画素値を除外スペクトル情報とし、この除外スペクトル情報を用いて抽出対象構造物の抽出結果を修正することとした。また、ユーザ操作に従って指定した追加対象の画素のバンド毎の画素値を追加スペクトル情報とし、この追加スペクトル情報を用いて抽出対象構造物の抽出結果を修正することとした。これに対し、除外対象または追加対象の画素を一旦分光吸光度に変換し、吸光度空間で閾値処理することによって抽出対象構造物の抽出結果を修正するようにしてもよい。
この場合には、例えば、修正スペクトル登録部458bは、上記した式(1)を用い、その背景スペクトル情報515(図10を参照)をもとに除外対象または追加対象として指定された画素のバンド毎の画素値を分光吸光度に変換し、この分光吸光度を除外スペクトル情報として登録する。そして、除外対象抽出部459bは、抽出対象構造物の領域として抽出されている各画素を順次処理対象とし、除外スペクトル情報をもとに各画素を抽出対象構造物から除外するか否かを順次判定していく。すなわち、上記した式(1)を用い、その背景スペクトル情報515をもとに処理対象の画素のバンド毎(波長λ毎)の画素値を分光吸光度に変換する。次いで、得られた処理対象の画素の分光吸光度と除外スペクトル情報とを比較して波長λ毎の差分を求め、求めた差分の平方和を算出する。そして、算出値を予め設定される所定の閾値を用いて閾値処理し、例えば閾値より小さい場合に処理対象の画素を抽出対象構造物の領域から除外すると判定する。一方、追加対象抽出部460bは、抽出対象構造物の領域として抽出されていない各画素を順次処理対象とし、追加スペクトル情報をもとに各画素を抽出対象構造物の領域として追加するか否かを順次判定していく。すなわち、上記した式(1)を用い、その背景スペクトル情報515をもとに処理対象の画素のバンド毎の画素値を分光吸光度に変換する。そして、得られた処理対象の画素の分光吸光度と追加スペクトル情報とを比較して波長λ毎の差分を求め、求めた差分の平方和を算出する。そして、算出値を予め設定される所定の閾値を用いて閾値処理し、例えば閾値より小さい場合に処理対象の画素を抽出対象構造物の領域として追加すると判定する。
以上のようにして追加対象マップを作成したならば、続いて表示画像生成部456bが、抽出対象マップ、ステップf25で作成した除外対象マップおよびステップf27で作成した追加対象マップをもとに抽出対象構造物の抽出結果を修正し、修正後の対象標本S内の抽出対象構造物を指定された表示方法で表した表示画像を生成する(ステップf29)。
図26および図27は、抽出対象構造物の抽出結果の修正原理を説明する説明図である。なお、図26および図27では、簡明のため、10×12画素分の判定結果が設定された抽出対象マップ、除外対象マップおよび追加対象マップを例示している。
ここで、図26(a)は抽出対象マップの一例を示し、図26(b)はユーザ操作に従って登録した除外スペクトル情報をもとに作成した除外対象マップを示している。ユーザ操作に従って除外スペクトル情報が登録され、除外対象マップが作成されている場合には、図26(a)の抽出対象マップと図26(b)の除外対象マップとの差分を取る。そして、図26(c)に示すように、抽出対象マップにおいて「1」が設定されている画素位置のうち、除外対象マップにおいて「1」が設定されていない画素位置の各画素を抽出対象構造物の領域の画素とし、その画素値を指定された表示色で置き換えて表示画像を生成する。
また、図27(a)は抽出対象マップの一例を示し、図27(b)はユーザ操作に従って登録した追加スペクトル情報をもとに作成した追加対象マップを示している。ユーザ操作に従って追加スペクトル情報が登録され、追加対象マップが作成されている場合には、図27(a)の抽出対象マップまたは図27(b)の追加対象マップのオアを取る。そして、図27(c)に示すように、抽出対象マップまたは追加対象マップにおいて「1」が設定されている画素位置の各画素を抽出対象構造物の領域の画素とし、その画素値を指定された表示色で置き換えて表示画像を生成する。
そして、VS画像表示処理部454bは、生成した表示画像を表示部43に表示する処理を行う(ステップf31)。その後、ステップf33に移行し、表示画像の表示を終了しない間は(ステップf33:No)、ステップf13に戻る。そして、例えば表示終了操作が入力された場合には表示を終了し(ステップf33:Yes)、本処理を終える。
次に、抽出対象構造物の抽出結果を修正する際の操作例について説明する。図28および図29は、図25のステップb11で表示される表示画像の一例を示す図であり、それぞれ弾性繊維の領域を強調表示した表示画像を示している。
ここで、図28の表示画像は、抽出対象構造物である弾性繊維の領域が過剰に抽出された例を示している。すなわち、中央部に映る弾性繊維の領域が強調表示されるとともに、図28に向かって右下方の太線で囲む領域A71内においても画素が強調表示されており、弾性繊維の領域として抽出されている。
例えばユーザは、表示画像上で抽出対象構造物の抽出結果が明らかに過剰であると判断した場合には、入力部41を構成するマウスで除外対象とする画素位置の選択操作を行う。この画素位置の選択操作は、除外したい画素位置を1つ1つ選択する操作でもよいし、除外したい画素を含む範囲を領域選択する操作でもよい。ここでは、領域選択する操作を例示する。具体的には先ず、ユーザは、領域(例えば図28中の太線で囲む領域A71)を選択する。このように領域を選択した状態でマウスを右クリックすると「除外」または「追加」を選択するための選択メニューが表示されるようになっており、ユーザは、この選択メニューから「除外」を選択することによって除外対象とする画素位置を選択する。このとき、内部処理としては、太線の領域A71内に含まれる抽出対象構造物の各画素を除外対象に指定する処理が行われる(図25のステップf15(Yes))。その後、指定した画素の画素値をもとに除外スペクトル情報が登録されることとなる。
一方、図29の表示画像は、抽出対象構造物の領域について抽出漏れが過剰に生じている例を示しており、中央部に映る弾性繊維の領域の一部が所々強調表示されている。ユーザは、表示画像上で明らかに抽出対象構造物の抽出漏れが生じていると判断した場合には、入力部41を構成するマウスで追加対象とする画素位置の選択操作を行う。この画素位置の選択操作は、追加したい画素位置を1つ1つ選択する操作でもよいし、追加したい画素を含む範囲を領域選択する操作でもよい。ここでは、領域選択する操作を例示する。具体的には先ず、ユーザは、領域(例えば図29中の太線で囲む領域A73)を選択する。そして、選択した状態でマウスを右クリックし、表示される選択メニューから「追加」を選択する。
選択メニューから「追加」を選択した場合には、続いて抽出対象スペクトル追加画面が表示される。図30および図31は、抽出対象スペクトル追加画面の一例を示す図である。図30に示すように、抽出対象スペクトル追加画面は選択領域表示部W81を備え、表示画像上で前述のようにして選択された領域(図29の太線の領域A73)の画像(選択部分画像)が拡大表示されるようになっている。なお、このとき、選択部分画像に対してコントラストを強調する処理等を行うようにしてもよい。これにより、ユーザは、選択部分画像内において後述する追加対象画素または非追加対象画素の選択操作を容易に行える。
また、抽出対象スペクトル追加画面には、選択領域表示部W81の選択部分画像上で追加対象画素を選択するための追加対象画素選択ボタンB81と、選択部分画像上で非追加対象画素を選択するための非追加対象画素選択ボタンB82と、追加対象画素および/または非追加対象画素の選択操作を確定するためのOKボタンB83と、追加対象とする画素位置の選択操作を確定するための確定ボタンB85とを備える。
ユーザは、この抽出対象スペクトル追加画面において、例えば、追加対象画素選択ボタンB81をマウスでクリックし、追加対象画素の選択を指示した状態で選択領域表示部W81において選択部分画像上の追加対象としたい画素位置をマウスでクリックする。クリックした画素位置にはマーカが配置されるようになっている。なお、選択する数は1つであってもよいし、複数選択してもよい。図30の例では、ユーザが追加対象画素として選択した3箇所の画素位置にマーカM811〜813が配置されている。あるいは、ユーザは、非追加対象画素選択ボタンB82をマウスでクリックし、非追加対象画素の選択を指示した状態で選択領域表示部W81において選択部分画像上の追加対象としない画素位置をマウスでクリックする。クリックした画素位置には、追加対象画素を示すマーカM811〜813とは形状の異なるマーカが配置されるようになっている。例えば、図30の例では、ユーザが除外対象画素として選択した2箇所の画素位置にマーカM821,M822が配置されている。その後、OKボタンB83をクリックする。
このときの内部処理としては、例えば選択部分画像内を2値化する処理が行われる。すなわち、マーカM811〜813が配置された各画素位置の画素値をもとに選択部分画像内の類似する画素値を抽出するとともに、マーカM821,M822が配置された各画素位置の画素値をもとに選択部分画像内の類似する画素値を抽出し、選択部分画像内の各画素を追加対象画素または非追加対象画素に振り分けて2値化する処理が行われる。そして、2値化した結果が選択領域表示部W81に表示される。
この結果、例えば図31に示すように、選択領域表示部W81において追加対象画素(白)と非追加対象画素(黒)とを表した2値画像が表示される。ユーザは、追加対象とする画素位置が追加対象画素(白)の領域で問題なければOKボタンB83を操作して追加対象とする画素位置の選択操作を確定する。このとき、内部処理としては、選択領域表示部W81の2値画像の追加対象画素(白)とされた各画素を追加対象に指定する処理が行われる(図25のステップf19(Yes))。その後、指定した画素の画素値をもとに追加スペクトル情報が登録されることとなる。追加対象とする画素位置を修正したければ再度追加対象画素選択ボタンB81や非追加対象画素選択ボタンB82をクリックして上記した操作を行う。
なお、ユーザが、表示画像上または選択部分画像上の画素位置をクリックした際、そのVS画像の画素値を読み出してスペクトル情報をグラフ表示する等してユーザに提示し、除外対象や追加対象とする画素位置の選択操作を支援する構成としてもよい。また、ここでは、除外対象とする画素位置および追加対象とする画素位置の選択操作について個別に説明したが、これらの選択操作は同一画面上で行う構成としてもよい。例えば、表示画像を表示した同一の画面上で、除外対象とする画素位置の選択操作、追加対象とする画素位置の選択操作、およびいずれの対象にもしない画素位置の選択操作を受け付け、受け付けたユーザ操作の内容に応じて除外対象および追加対象の画素を指定するようにしてもよい。
以上説明したように、実施の形態3によれば、実施の形態1と同様の効果を奏することができるとともに、構造物特徴情報475として予め記録部47に記録されている抽出対象構造物の特徴情報を教師データとして用いて行った抽出対象構造物の抽出結果を修正することができる。具体的には、ユーザ操作に従って除外対象の画素を指定して除外スペクトル情報を登録する。そして、この除外スペクトル情報をもとに、抽出対象構造物の領域として抽出されている各画素についてそれぞれ抽出対象構造物から除外するか否かを判定することにより、抽出結果を修正することができる。あるいは、ユーザ操作に従って追加対象の画素を指定して追加スペクトル情報を登録する。そして、この追加スペクトル情報をもとに、抽出対象構造物の領域外の各画素についてそれぞれ抽出対象構造物の領域として追加するか否かを判定することにより、抽出結果を修正することができる。したがって、対象標本Sの個体差等によって抽出対象構造物が適切に抽出されない場合であっても、ユーザ操作に従ってその抽出結果を修正することができるので、抽出対象構造物の抽出精度を向上させることができる。またこのとき、抽出対象マップをもとにして除外対象マップや追加対象マップを作成することができるので、VS画像中の全ての画素について処理を行う必要がない。また、抽出対象マップを変更しないので、除外対象や追加対象とする画素位置の選択操作を簡単に取り消して元に戻すことができる。
なお、ユーザ操作に従って抽出結果を修正する手法は上記した手法に限定されるものではない。例えば、サポートベクターマシン(SVM)等の判別器を用いて修正することもできる。具体的には、例えば、追加対象を指定して抽出対象構造物の領域とする画素を追加する場合であれば、図30の選択領域表示部W81に表示される選択部分画像上で選択した画素位置(マーカM811〜813が配置された画素位置)の画素値を特徴量として用いた学習判別処理を行い、この学習判別処理によってVS画像中の抽出対象構造物の領域外の画素から抽出対象構造物の領域として追加する画素を抽出するようにしてもよい。あるいは、選択部分画像上で選択した画素位置(マーカM821,822が配置された画素位置)の画素値を特徴量として用いた学習判別処理を行い、この学習判別処理によって、VS画像中の抽出対象構造物の領域外の画素から抽出対象構造物の領域として追加しない画素を抽出するようにしてもよい。同様に、SVM等の判別器を用いて抽出対象構造物の領域から除外する画素を抽出するようにしてもよい。
あるいは、ユーザが、抽出対象構造物の領域として過剰に抽出された画素がない、あるいは抽出対象構造物の領域として抽出漏れの画素がないと判断するまでの間、抽出対象構造物の画素か否かを判定する際に用いる閾値を例えば所定量ずつ調整しながら学習判別処理を繰り返し行い、この学習判別処理によってVS画像中の抽出対象構造物の領域を抽出するようにしてもよい。
(実施の形態4)
実施の形態1等では、表示方法として「強調表示」が指定された場合について説明した。これに対し、実施の形態4では、表示方法として「非表示」が指定された場合について説明する。なお、実施の形態4の装置構成は、実施の形態1の顕微鏡装置2およびホストシステム4と同様の構成で実現でき、以下では、同一の符号を付する。
実施の形態4では、図12に示して実施の形態1で説明したステップb1において非表示としたい構造物を抽出対象構造物として指定するとともに、図12のステップb3において表示方法として「非表示」を指定する。また、図12のステップb7において構造物抽出部455が構造物抽出処理を行って指定された抽出対象構造物を抽出し、図12のステップb9において表示画像生成部456が抽出された抽出対象構造物を非表示とした表示画像を生成する。
VS画像の観察・診断時に非表示としたい構造物としては、例えば炎症性細胞である好中球が挙げられる。この好中球は、色素Hによって染色され、HE染色された標本内で濃紺色を有するが、この好中球が実際に観察したい構造物の上に存在すると観察・診断対象の構造物の視認性が悪化してしまい、診断の妨げとなる場合が生じるためである。
すなわち、実施の形態4では、表示画像生成部456は、図12のステップb9の処理として非表示時処理を行い、VS画像中に映る抽出対象構造物を非表示とした表示画像を生成する。図32は、ここで行われる非表示時処理の詳細な処理手順を示すフローチャートである。なお、以下では、簡明のため、抽出対象構造物が1つ指定され、その表示方法として「非表示」が指定されたこととして説明する。
非表示時処理では、図32に示すように、表示画像生成部456は先ず、構造物抽出処理の抽出結果を確認表示するため、R,G,B各バンドの分光感度を用い、VS画像からRGB画像を合成する(ステップg1)。続いて、表示画像生成部456は、構造物抽出処理で作成した抽出対象マップを参照し、合成したRGB画像中の抽出対象構造物の領域を指定された確認色で表示した確認画像を生成する(ステップg3)。具体的には、表示画像生成部456は、抽出対象マップにおいて「1」が設定されている画素位置の画素値を指定された確認色で置き換えて確認画像を生成する。
そして、表示画像生成部456は、ステップg3で生成した確認画像を表示部43に表示する処理を行い(ステップg5)、その後、確認操作を受け付けるまで待機状態となる(ステップg7:No)。
そして、ユーザによる確認操作を受け付けると(ステップg7:Yes)、続いて表示画像生成部456は、スペクトル成分量取得手段として、抽出対象マップに従い、VS画像中の抽出対象構造物の領域内の各画素のバンド毎の画素値をもとに、対象標本S上の対応する標本位置における色素量をそれぞれ推定する(ステップg9)。
簡単に処理手順を説明すると先ず、表示画像生成部456は、VS画像の画素値をもとに、対応する対象標本S上の各標本位置のスペクトル(推定スペクトル)を画素毎に推定する。例えば、図14のステップc5の処理として説明したように、実施の形態1で上記した式(1)に従ってVS画像の各画素について波長λ毎の分光吸光度を算出する。そして、算出した分光吸光度を推定スペクトルとして得る。なお、マルチバンド画像からスペクトルを推定する手法はこれに限定されるものではなく、例えば、ウィナー(Wiener)推定を用いて行うこととしてもよい。次いで表示画像生成部456、予め対象標本Sを染色している色素毎の基準色素スペクトルを用いて対象標本Sの色素量を画素毎に推定(算出)する。
色素量の推定は、例えば背景技術で示した特許文献2に記載の公知技術を適用して実現できる。ここで、色素量の推定について簡単に説明する。一般に、光を透過する物質では、波長λ毎の入射光の強度I0(λ)と射出光の強度I(λ)との間に、次式(2)で表されるランベルト・ベール(Lambert-Beer)の法則が成り立つことが知られている。k(λ)は波長に依存して決まる物質固有の値、dは物質の厚さをそれぞれ表す。また、式(2)の左辺は分光透過率t(λ)を意味している。
例えば、標本が色素1,色素2,・・・,色素nのn種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式(3)が成立する。
k1(λ),k2(λ),・・・,kn(λ)は、それぞれ色素1,色素2,・・・,色素nに対応するk(λ)を表し、例えば、標本を染色している各色素の基準色素スペクトルである。またd1,d2,・・・,dnは、マルチバンド画像の各画像位置に対応する対象標本S上の標本位置における色素1,色素2,・・・,色素nの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、d1,d2,・・・,dnはそれぞれ色素1,色素2,・・・,色素nの色素量を表しているといえる。なお、k1(λ),k2(λ),・・・,kn(λ)は、色素1,色素2,・・・,色素nの各色素を用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
実施の形態4では、HE染色された標本を対象標本Sとしているため、例えばヘマトキシリン(色素H)を色素1に割り当て、エオジン(色素E)を色素2に割り当てる。なお、Pap染色された標本を対象標本Sとする場合であれば、このPap染色で用いる染色色素を割り当てればよい。また、これら染色色素の吸収成分の他にも、対象標本S内には、無染色時において吸収成分を持つ例えば赤血球等の組織が存在し得る。すなわち、赤血球は、染色を施さない状態であってもそれ自身特有の色を有しており、HE染色後は、赤血球自身の色として観察される。あるいは、染色過程において変化したエオジンの色が赤血球自身の色に重畳して観察される。この赤血球の吸収成分を色素3に割り当てる。また、実施の形態4では、抽出対象構造物として指定され得る構造物毎に、HE染色された標本内における抽出対象構造物の色素情報(抽出対象構造物にヘマトキシリンやエオジンの色が重畳した色)を予めモデル化し、その基準色素スペクトルk(λ)を定めておく。そして、色素4以降の各色素に、指定された抽出対象構造物についてモデル化した色素を割り当てる。本例のように、非表示とする抽出対象構造物が1つ指定された場合であれば、その非表示とする抽出対象構造物の色素情報を色素4に割り当てる。
以上説明した各色素1〜4の色素量は、実際には、対象標本S上の各標本位置における分光スペクトル(ここでは推定スペクトル)の所定の分光スペクトル成分毎の成分量に相当する。すなわち、上記の例では、対象標本S上の各標本位置における分光スペクトルが色素H、色素E、色素Rおよび抽出対象構造物の4つの分光スペクトル成分で構成されていることとしており、これら分光スペクトル成分のそれぞれを色素1〜4の基準色素スペクトル(km(λ))と呼び、その成分量を色素量と呼んでいる。
式(3)の両辺の対数を取ると、次式(4)となる。
上記のようにしてVS画像の画素毎に推定した推定スペクトルの波長λに対応する要素をt^(x,λ)とし、これを式(4)に代入すると、次式(5)を得る。なお、t^は、tの上に推定値を表すハット「^」が付いていることを示す。
式(5)において未知変数はd1,d2,・・・,dnのn個であるから、少なくともn個の異なる波長λについて式(5)を連立させれば、これらを解くことができる。より精度を高めるために、n個以上の異なる波長λに対して式(5)を連立させ、重回帰分析を行ってもよい。
以上が色素量推定の簡単な手順であり、前述の例ではn=4となる。表示画像生成部456は、VS画像の各画素について推定した推定スペクトルをもとに、対応する各標本位置に固定されたH色素、E色素、赤血球の吸収成分および非表示とする抽出対象構造物の色素の各色素量を推定する。
そして、図32に示すように、表示画像生成部456は、推定した各色素の色素量をもとに、抽出対象構造物を非表示としたVS画像の表示画像を生成する(ステップg11)。具体的には、VS画像中の抽出対象構造物の領域内の各画素について推定した各色素の色素量ををもとに、この抽出対象構造物の領域内の各画素のRGB値を新たに算出する。そして、ステップg1で合成したRGB画像中の抽出対象構造物の領域内の各画素について、その画素値を新たに算出したRGB値で置き換え、VS画像の表示画像として生成する。なお、抽出対象構造物の領域外の各画素については、ステップg1で合成したRGB画像の画素値とする。ここで、色素量をRGB値に変換する処理は、例えば特許文献2に記載の公知技術を適用して実現できる。
簡単に処理手順を説明すると先ず、算出した各色素の色素量d1,d2,・・・,dnに補正係数α1,α2,・・・,αnをそれぞれ乗じて上記した式(3)に代入し、次式(6)を得る。このとき、本例では、色素H、色素Eおよび赤血球の吸収成分に割り当てた色素1〜3に乗じる補正係数αn(n=1〜3)を“1”とし、非表示とする抽出対象構造物に割り当てた色素4に乗じる補正係数αn(n=4)を“0”とすることで、非表示とする抽出対象構造物の色素4以外の色素1〜3の色素量を対象とした分光透過率t*(x,λ)を得る。なお、非表示とする抽出対象構造物が複数指定されている場合には、各抽出対象構造物に割り当てた色素に乗じる補正係数αnを“0”とすればよい。また、抽出対象構造物が複数指定されている場合であって、非表示とする抽出対象構造物と強調表示する抽出対象構造物とが混在して指定されている場合には、非表示とする抽出対象構造物についての補正係数αnのみを“0”とすればよい。
撮像されたマルチバンド画像の任意の点(画素)xについて、バンドbにおける画素値g(x,b)と、対応する標本上の点の分光透過率t(x,λ)との間には、カメラの応答システムに基づく次式(7)の関係が成り立つ。
λは波長、f(b,λ)はb番目のフィルタの分光透過率、s(λ)はカメラの分光感度特性、e(λ)は照明の分光放射特性、n(b)はバンドbにおける観測ノイズをそれぞれ表す。bはバンドを識別する通し番号であり、ここでは1≦b≦6を満たす整数値である。
したがって、式(6)を上記した式(7)に代入して画素値を求めることによって、抽出対象構造物の色素4の色素量を非表示とした表示画像(色素4を除く各色素1〜色素3による染色状態を表した表示画像)の画素値を求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
以上のようにして非表示時処理を行ったならば、その後VS画像表示処理部454が、図12に示して実施の形態1で説明したステップb11と同様に、生成した表示画像を表示部43に表示する処理を行う。
以上説明したように、実施の形態4によれば、観察・診断対象の構造物の視認性を悪化させ、診断の妨げになるような構造物を抽出対象構造物として指定することで、この抽出対象構造物の領域を非表示とすることができる。例えば、対象標本S内に好中球が存在することで観察・診断対象の構造物が隠れて視認性が悪い場合に、抽出対象構造物として「好中球」を指定し、その表示方法として「非表示」を指定することで、この好中球を非表示とすることができる。したがって、診断の妨げとなる構造物を除いて対象標本S内を視認性良く表した画像をユーザに提示することができる。ユーザにとっては、観察・診断に不要な所望の構造物を除いて対象標本S内を視認性良く観察できるので、異常所見を見落とすといった事態を防止できる。したがって、診断精度を向上させることが可能となる。
なお、実施の形態4においても、実施の形態1において上記した変形例と同様に、VS画像中の所定の領域内の画素についてのみ抽出対象構造物か否かを判定する処理を行い、処理時間の短縮化を図ることとしてもよい。例えば、抽出対象構造物の抽出に先立ってVS画像から表示用のRGB画像を合成して表示する処理を行い、ユーザによる領域選択を受け付ける構成としてもよい。そして、ユーザが、例えば入力部41を構成するマウスで選択した領域内の画素を対象として抽出対象構造物か否かを判定することとしてもよい。これによれば、ユーザが視認性が悪いと判断した領域について非表示とする抽出対象構造物の抽出を行い、この領域内の抽出対象構造物を非表示とすることができる。
また、上記した実施の形態4では、非表示とする抽出対象構造物に適用する補正係数αnを“0”とすることとした。これに対し、非表示とする抽出対象構造物に割り当てた色素の色素量dnを“0”として表示画像を生成するようにしてもよい。
また、上記した実施の形態4では、好中球のような観察の妨げとなる構造物を表示とする場合について説明したが、非表示に限らず、その色を例えば淡い色に変更したり、濃度を下げる等して観察・診断対象の組織の視認性を向上させるようにしてもよい。
色を変更する場合であれば、予め所定の擬似表示色の分光特性を定義しておく。そして、この擬似表示色のスペクトルを非表示とする抽出対象構造物に割り当てた色素の基準色素スペクトルとして用い、RGB値を算出する。詳細には、上記した式(6)に代入して用いる抽出対象構造物の色素の基準色素スペクトルk(λ)を、前述の擬似表示色のスペクトルに置き換えてスペクトル推定を行い、推定結果をもとにRGB値を算出する。
あるいは、濃度を下げる場合であれば、指定された抽出対象構造物に適用する補正係数αnに“1”以下の任意の値を設定することとしてもよい。このとき、実施の形態2で説明した手法を適用し、抽出対象構造物の各画素それぞれについて残差差分値を求めることとしてもよい。そして、この残差差分値に応じて補正係数αnの値を設定するようにしてもよい。具体的には、この残差差分値をもとに、残差が小さく抽出対象構造物の可能性が高いほど補正係数αnの値を小さくして“0”に近づけるようにし、濃度を下げることとしてもよい。一方、残差が大きく抽出対象構造物の可能性が低いほど補正係数αnの値を大きくして“1”に近づけるようにしてもよい。
(実施の形態5)
特殊染色の種類としては例えば、エラスチカワンギーソン染色やHE−アルシアン青染色、マッソントリクローム染色等が知られており、その種類によって染色対象とする構造物が異なる。そこで実施の形態5では、特殊染色毎に実際にその特殊染色が染色の対象とする構造物を予め定義しておく。そして、ユーザ操作に従って指定した特殊染色について定義されている構造物を抽出対象構造物として自動的に設定する。なお、以下では、指定する特殊染色をエラスチカワンギーソン染色およびマッソントリクローム染色の2種類として説明する。
図33は、実施の形態5におけるホストシステム4cの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図33に示すように、実施の形態5の顕微鏡システムを構成するホストシステム4cは、入力部41、表示部43、処理部45c、記録部47c等を備える。
そして、処理部45cのVS画像表示処理部454cは、染色種類指定手段としての特殊染色指定処理部461cと、構造物抽出部455cと、表示画像生成部456cとを含む。特殊染色指定処理部461cは、ユーザ操作に従って特殊染色の種類を指定し、指定した特殊染色について定義されている構造物を抽出対象構造物として自動的に設定することでこれらを指定する処理を行う。一方、記録部47cには、処理部45cをVS画像表示処理部454cとして機能させるためのVS画像表示処理プログラム473c等が記録される。また、実施の形態5では、記録部47cは、定義情報記録手段として、染色種類定義情報の一例である特殊染色定義情報6cを記録する。
図34は、特殊染色定義情報のデータ構成例を示す図である。図34(a)に示すように、特殊染色定義情報6cには、染色対象の構造物を定義しておく特殊染色の種類毎にその特殊染色情報(1)〜(j)61cが設定される。本例では、マッソントリクローム染色およびエラスチカワンギーソン染色の2種類について構造物を定義しておくためj=2であり、2個の特殊染色情報61cが設定される。なお、定義しておく特殊染色の数や種類はこれに限定されるものではなく、適宜設定することができる。
j個の特殊染色情報61cは、図34(b)に示すように、それぞれ特殊染色名62cと、構造物定義数63cと、構造物定義情報(1)〜(k)64cとを含む。構造物定義数63cは、該当する特殊染色情報61cに記録される構造物定義情報64cの数であり、kに相当する。そして、k個の構造物定義情報64cは、図34(c)に示すように、それぞれ構造物名65cと、表示色/確認色66cと、構造物特徴情報67cと、スペクトル情報68cとを含む。
図35は、マッソントリクローム染色について定義される構造物の一例を示す図である。図35の例では、マッソントリクローム染色に関して「膠原繊維」「細網繊維」「糸球体基底膜」「筋繊維」「細胞核」「細胞質」の6種類の構造物が定義される。この場合には、その特殊染色情報61cにおいて、特殊染色名62cに“マッソントリクローム染色”が設定され、構造物定義数63cに“6”が設定される。そして、各構造物定義情報64cにおいて、それぞれ構造物名65cに前述の6種類の構造物がそれぞれ設定され、対応する表示色/確認色66cにそれぞれ図35中に対応付けて示した色の分光特性(基準色素スペクトル)が設定される。また、構造物特徴情報67cには、該当する構造物について実施の形態1と同様の要領で予め定義される特徴情報が設定される。そして、スペクトル情報68cには、その構造物について事前に定義された分光特性が設定される。具体的には、実施の形態4と同様の要領でHE染色された標本内における該当する構造物の色素情報(ヘマトキシリンやエオジンの色がその構造物に重畳した色)を予めモデル化して定めた基準色素スペクトルが設定される。
一方、図36は、エラスチカワンギーソン染色について定義される構造物の一例を示す図である。図36の例では、エラスチカワンギーソン染色に関して「弾性繊維」「膠原繊維」「筋繊維」「細胞核」「細胞質」の5種類の構造物が定義される。この場合には、その特殊染色情報61cにおいて、特殊染色名62cに“エラスチカワンギーソン染色”が設定され、構造物定義数63cに“5”が設定される。そして、各構造物定義情報64cにおいて、それぞれ構造物名65cに前述の5種類の構造物がそれぞれ設定され、対応する表示色/確認色66cにそれぞれ図36中に対応付けて示した色の分光特性が設定される。また、構造物特徴情報67cには、該当する構造物について実施の形態1と同様の要領で予め定義される特徴情報が設定され、スペクトル情報68cには、その構造物について事前に定義された分光特性が設定される。
図37は、実施の形態5におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454cが記録部47cに記録されたVS画像表示処理プログラム473cを読み出して実行することによって実現される。
実施の形態5では、図37に示すように、先ず特殊染色指定処理部461cが、特殊染色の種類の指定操作を受け付ける。そして、特殊染色が指定操作されると(ステップh1:Yes)、特殊染色指定処理部461cは、特殊染色定義情報6cを参照して指定された特殊染色に関する特殊染色情報61c(特殊染色名62cに指定された特殊染色名が設定された特殊染色情報61c)を参照して指定された特殊染色の構造物定義情報(1)〜(k)64cから構造物名65cおよび表示色/確認色66cをそれぞれ読み出し、抽出対象構造物および表示色/確認色を自動的に設定する(ステップh3)。また、VS画像表示処理部454cは、ユーザ操作に従い、ステップh3で自動設定した抽出対象構造物の表示方法を指定するとともに(ステップh5)、対象標本Sに施された標準染色の種類を指定する(ステップh7)。
例えばVS画像表示処理部454cは、特殊染色指定画面を表示部43に表示して抽出対象構造物およびその表示に関する指定依頼を通知する処理を行い、この特殊染色指定画面において特殊染色やその特殊染色に応じた抽出対象構造物の表示方法、標準染色等の指定操作を受け付ける。
図38は、特殊染色指定画面の一例を示す図である。図38に示すように、特殊染色指定画面には、特殊染色の種類を指定するためのスピンボックスSB91や、標準染色の種類を指定するためのスピンボックスSB93が配置されている。ここで、スピンボックスSB91は、特殊染色の一覧を選択肢として提示し、その指定を促す。本例では、マッソントリクローム染色およびエラスチカワンギーソン染色を選択肢として提示するようになっている。そして、このスピンボックスSB91の下方において、抽出対象構造物が入力される入力ボックスIB911、表示色/確認色が入力される入力ボックスIB913および表示方法を指定するためのスピンボックスSB915とが配置される。
例えばユーザは、このスピンボックスSB91において、観察したい構造物を染色対象とする特殊染色を指定する。この結果、内部処理としてステップh3の処理が行われ、特殊染色指定処理部461cは、特殊染色定義情報6cを参照して抽出対象構造物および表示色/確認色を自動的に設定する。例えば、エラスチカワンギーソン染色を指定した場合には、図36に例示したように、その特殊染色情報61cで定義されている「弾性繊維」「膠原繊維」「筋繊維」「細胞核」「細胞質」の5種類の構造物が抽出対象構造物として設定される。この場合には、図38の抽出対象構造物(1),(2),(3)・・・の各入力ボックスIB911にこれら5種類の構造物が自動的に入力されるとともに、その表示色/確認色が対応する入力ボックスIB913にそれぞれ自動的に入力され、ユーザに提示される。
また、ユーザは、例えばスピンボックスSB915において各抽出対象構造物の表示方法を指定するとともに、スピンボックスSB93において標準染色を指定する。なお、ここでは、各抽出対象構造物の表示方法については手動で設定することとした。これに対し、例えば初期値を「強調表示」として自動的に設定するようにしてもよい。そして、自動的に設定されたこれら5種類の抽出対象構造物の中にユーザにとって観察に不要な抽出対象構造物がある場合に、適宜手動で「非表示」を指定するようにしてもよい。
続いて、図37に示すように、構造物抽出部455cが、実施の形態1と同様の要領で構造物抽出処理を行う(ステップh9)。実施の形態5では、構造物抽出部455cは、ステップh3で自動設定した全ての抽出対象構造物を順次処理対象として構造物抽出処理を行う。具体的には、構造物抽出部455cは、指定された特殊染色に関する特殊染色情報61cを参照し、処理対象とする抽出対象構造物の構造物定義情報64cに設定されている構造物特徴情報67cを読み出して教師データとして用いる。そして、構造物抽出部455cは、対象標本SのVS画像から各抽出対象構造物が映る領域を個別に抽出して処理対象の抽出対象構造物について抽出対象マップを作成する。またこのとき、実施の形態2で説明した手法を適用し、抽出対象構造物の各画素それぞれについて残差差分値を算出し、記録部47cに記録しておく。
続いて、表示画像生成部456cが表示画像生成処理を行う(ステップh11)。そして、VS画像表示処理部454cが、ステップh11で生成した表示画像を表示部43に表示する処理を行う(ステップh13)。
ここで、ステップh11の表示画像生成処理について説明する。図39は、実施の形態5における表示画像生成処理の詳細な処理手順を示すフローチャートである。
図39に示すように、表示画像生成処理では、表示画像生成部456cは先ず、対象標本Sを染色している色素および図37のステップh3で抽出対象構造物として自動設定した各構造物に、それぞれ色素1,色素2,・・・,色素nを割り当てる(ステップi1)。すなわち、実施の形態5では、HE染色された標本を対象標本Sとしているため、実施の形態4と同様に、色素Hを色素1に割り当て、色素Eを色素2に割り当て、赤血球の吸収成分を色素3に割り当てる。そして、色素4以降を抽出対象構造物として自動設定した各構造物に割り当てる。例えば、前述の例のように特殊染色指定画面でエラスチカワンギーソン染色を指定し、抽出対象構造物として「弾性繊維」「膠原繊維」「筋繊維」「細胞核」「細胞質」の5種類の構造物を自動設定した場合には、「弾性繊維」の色素情報を色素4、「膠原繊維」の色素情報を色素5、「筋繊維」の色素情報を色素6、「細胞核」の色素情報を色素7、「細胞質」の色素情報を色素8にそれぞれ割り当てる。
続いて、表示画像生成部456cは、VS画像を構成する各画素を順次処理対象とし、全ての画素についてループCの処理を行う(ステップi3〜ステップi13)。
ループCでは先ず、表示画像生成部456cは、処理対象の画素についてステップi1で割り当てた各色素の色素量を推定する(ステップi5)。具体的には、実施の形態4と同様の要領で上記した式(1)〜式(5)を適用し、色素量を推定する。このとき、指定された特殊染色に関する特殊染色情報61cを参照し、各構造物のスペクトル情報68cを読み出して基準色素スペクトルkn(λ)として用いる。例えば、前述の例のように、ステップi1で色素H、色素Eおよび赤血球の吸収成分と、エラスチカワンギーソン染色について定義された5種類の構造物の色素情報とを色素1〜色素8に割り当てた場合には、これら色素1〜色素8の色素量を推定する。
以上説明した各色素1〜8の色素量は、実施の形態4と同様に、実際には、対象標本S上の各標本位置における分光スペクトルの所定の分光スペクトル成分毎の成分量に相当する。すなわち、実施の形態5では、対象標本S上の各標本位置における分光スペクトルが、色素H、色素E、色素Rおよび抽出対象構造物として自動設定した各構造物の分光スペクトル成分で構成されていることとしている。そして、これら分光スペクトル成分のそれぞれを色素1〜8の基準色素スペクトルkn(λ)と呼び、その成分量を色素量と呼んでいる。なお、対象標本S上の各標本位置における分光スペクトルが、抽出対象構造物として自動設定した各構造物の分光スペクトル成分で構成されていることとしてもよい。この場合には、例えばエラスチカワンギーソン染色の場合であれば、「弾性繊維」の色素情報を色素1、「膠原繊維」の色素情報を色素2、「筋繊維」の色素情報を色素3、「細胞核」の色素情報を色素4、「細胞質」の色素情報を色素5にそれぞれ割り当てる。
続いて、表示画像生成部456cは、図37のステップh5で指定された表示方法をもとに、非表示とする抽出対象構造物があれば、その抽出対象構造物に割り当てた色素についての補正係数αnを“0”として設定する(ステップi7)。
また、表示画像生成部456cは、図37のステップh9で各抽出対象構造物それぞれについて得られた抽出対象マップを参照し、強調表示する抽出対象構造物の色素についての補正係数αnを設定する(ステップi9)。具体的には、強調表示する抽出対象構造物の抽出対象マップを順次参照し、処理対象の画素が抽出対象構造物の領域として抽出されていなければ、その抽出対象構造物に割り当てた色素についての補正係数αnを“0”とする。一方、処理対象の画素が抽出対象構造物の領域として抽出されていれば、その抽出対象構造物に割り当てた色素についての補正係数αnを、処理対象の画素について取得されている残差差分値に応じた値とする。すなわち、残差が小さく抽出対象構造物の可能性が高いほど補正係数αnの値を大きくして“1”に近づけて設定する。一方、残差が大きく抽出対象構造物の可能性が低いほど補正係数αnの値を小さくして“0”に近づけて設定する。
そして、表示画像生成部456cは、実施の形態4と同様の要領で上記した式(6),(7)を適用し、処理対象の画素(x)のRGB値を算出する(ステップi11)。このとき、指定された特殊染色に関する特殊染色情報61cを参照し、各構造物の表示色/確認色66cを読み出してkn(λ)として用い、その表示色を擬似的に置き換える。その後、この処理対象の画素についてのループCの処理を終える。そして、VS画像を構成する全ての画素を処理対象としてループCの処理を行ったならば、図37のステップh11にリターンする。
実施の形態5によれば、ユーザ操作に従って特殊染色の種類を指定し、指定した特殊染色に応じた構造物を抽出対象構造物として自動的に設定することができる。そして、設定した構造物の色素量を推定して予めその構造物について設定されている表示色で表示することができるので、あたかも指定した特殊染色を施したような画像をユーザに提示することができる。
なお、実施の形態5においても、特殊染色情報61cに設定されている表示色/確認色66cを用い、実施の形態4の非表示時処理と同様の要領で事前に抽出対象構造物の領域を確認色で表示した確認画像を表示するようにしてもよい。
また、上記した実施の形態5では、予め特殊染色の種類に応じて構造物を定義しておくこととした。これに対し、構造物の組み合わせやその表示色/確認色をユーザ操作に従って登録できるようにしてもよい。そして、登録された構造物の組み合わせに従って抽出対象構造物を指定するようにしてもよい。これによれば、ユーザは、所望の構造物の組み合わせやその表示色/確認色を予め登録しておくことで、これらの構造物を視認性良く観察することができる。
(実施の形態6)
図40は、実施の形態6におけるホストシステム4dの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図40に示すように、実施の形態3の顕微鏡システムを構成するホストシステム4dは、入力部41、表示部43、処理部45d、記録部47d等を備える。
そして、処理部45dのVS画像表示処理部454dは、表示変更部位抽出部462dと、表示画像生成部456dとを含む。表示変更部位抽出部462dは、ユーザ操作に従ってVS画像中の表示変更箇所を指定し、指定した表示変更箇所に映る部位を表示変更部位として抽出する。また、記録部47dには、処理部45dをVS画像表示処理部454dとして機能させるためのVS画像表示処理プログラム473d等が記録される。
図41は、実施の形態6におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454dが記録部47dに記録されたVS画像表示処理プログラム473dを読み出して実行することによって実現される。
実施の形態6では、図41に示すように、先ずVS画像表示処理部454dが、R,G,B各バンドの分光感度を用い、VS画像からRGB画像を合成し(ステップj1)、合成したRGB画像を表示部43に表示する処理を行う(ステップj3)。
続いて、表示変更部位抽出部462dが、ユーザ操作に従って表示変更箇所を指定する(ステップj5)。例えば、表示変更部位抽出部462dは、ステップj3で表示したRGB画像上の画素位置の選択操作を受け付け、選択された画素位置を表示変更箇所として指定する。ユーザは、VS画像から合成したRGB画像を見ながら、例えば強調表示させたい構造物が映る画素位置をマウスでクリックし、あるいは非表示としたい構造物が映る画素位置をクリックして表示変更箇所を指定する。
そして、表示変更部位抽出部462dは、表示変更箇所として指定された画素のバンド毎(波長λ毎)の画素値をVS画像ファイル5の画像データ58(図11を参照)から読み出し、表示変更部位スペクトル情報として登録する(ステップj7)。表示変更箇所が複数箇所指定された場合には、各画素位置の画素値をそれぞれ表示変更部位スペクトル情報として登録する。
その後、操作が確定されるまでの間は(ステップj9:No)、ステップj5に戻る。また、操作が確定されると(ステップj9:Yes)、VS画像表示処理部454dが、ユーザ操作に従って表示変更箇所に映る表示変更部位の表示方法を指定する(ステップj11)。このとき、VS画像表示処理部454dは、ユーザ操作に従い、表示方法と併せて表示色または確認色を指定する。
そして、表示変更部位抽出部462dが、ステップj7で登録した表示変更部位スペクトル情報を基準分光スペクトル(教師データ)として用い、VS画像から表示変更部位の領域を抽出して表示変更部位か否かの判定結果を設定した抽出対象マップを作成する(ステップj13)。具体的には、表示変更部位抽出部462dは、VS画像を構成する各画素を順次処理対象とし、表示変更部位の画素か否かを順次判定していく。処理手順としては例えば、実施の形態3で説明した手法を適用することができる。すなわち先ず、処理対象の画素のバンド毎(波長λ毎)の画素値と抽出部位スペクトル情報とを比較して波長λ毎の差分を求め、求めた差分の平方和を算出する。そして、算出値を予め設定される所定の閾値を用いて閾値処理し、例えば閾値より小さい場合に処理対象の画素を表示変更部位として判定する。
以上のようにして抽出対象マップを作成したならば、続いて表示画像生成部456dが、抽出対象マップをもとに、対象標本S内の表示変更部位を指定された表示方法で表した表示画像を生成する(ステップj15)。指定された表示方法が「強調表示」であれば、実施の形態1で説明した手法を適用し、表示変更部位と判定された各画素の画素値を指定された表示色で置き換えて表示画像を生成する。また、指定された表示方法が「非表示」の場合には、実施の形態4で説明した手法を適用して対象標本S上の各標本位置における各色素の色素量を推定し、推定した各色素の色素量をもとに、抽出対象構造物を非表示としたVS画像の表示画像を生成する。
以上説明したように、実施の形態6によれば、ユーザ操作に従ってVS画像中の表示変更箇所を指定することができる。そして、指定された表示変更箇所の画素値をもとに、VS画像中から分光スペクトルが類似する画素を表示変更箇所に映る表示変更部位の画素として抽出することができる。結果的に、表示変更部位として、表示変更箇所に映る構造物を抽出することができる。したがって、予め構造物特徴情報475において特徴情報が定義されていない構造物についても、その構造物の領域を指定された表示方法で表した画像をユーザに提示することができる。ユーザにとっては、例えば強調表示させたい構造物が映る画素位置を表示変更箇所として指定し、その表示方法として「強調表示」を指定することで、その構造物(表示変更部位)の領域を他の領域と容易に識別することができる。あるいは、非表示としたい構造物が映る画素位置を表示変更箇所として指定し、その表示方法として「非表示」を指定することで、観察・診断に不要な所望の構造物(表示変更部位)を除いて対象標本S内を視認性良く観察できる。
なお、上記した各実施の形態では、ユーザ操作に従って標準染色の種類を指定することとした。これに対し、実施の形態4で説明した手法を適用し、特許文献2の技術を用いて対象標本Sを染色している色素の色素量を推定することとしてもよい。そして、推定した色素量をもとに、対象標本Sを染色している標準染色の種類を自動的に判別する構成としてもよい。具体的には例えば、ユーザ操作に従ってVS画像中の1または複数の画素位置を選出する。そして、この選出した画素位置に対応する対象標本S上の標本位置について推定される色素Hや色素Eの色素量をもとに、対象標本Sを染色している色素として色素Hおよび色素Eを含むか否かを判定する。色素Hおよび色素Eを含む場合に、対象標本Sに施された標準染色をHE染色として自動的に判別する。Pap染色等の他の標準染色についても、同様の手法で判別できる。
また、本発明は、上記した各実施の形態そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。