以下、図面を参照し、本発明の好適な実施の形態について説明する。本実施の形態では、H&E染色された標本(生体組織標本)を観察対象とする。そして、この標本(被写体)を例えばRGB撮影して得たRGB画像を標本の多バンド画像とし、この標本の多バンド画像としてのRGB画像から標本の各点(標本点)における色素H,色素E,色素Rの色素量を算出(推定)する場合を例にとって説明する。以下、観察対象の標本を「対象標本」と呼び、対象標本のRGB画像を「対象標本画像」と呼ぶ。算出の対象とする色素は、ヘマトキシリン(色素H)と、細胞質を染色したエオジン(色素E)と、赤血球を染色したエオジンまたは染色されていない赤血球の色(色素R)であり、対象標本画像の各画素に対応する各標本点に固定された色素H、色素Eおよび色素Rの色素量をそれぞれ算出する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、実施の形態1における画像処理システム1の全体構成例を示す模式図である。図1に示すように、画像処理システム1は、顕微鏡撮影システム10と、パソコン等のコンピュータ20とがデータの送受可能に接続されて構成される。
顕微鏡撮影システム10は、対象標本の一部の領域または全域(以下、「RGB撮影範囲」と呼ぶ。)をRGB撮影してRGB信号値を取得するとともに、このRGB撮影範囲内の所定視野(以下、「多バンド信号取得視野」と呼ぶ。)を多バンド撮影して多バンド信号値を取得する。この顕微鏡撮影システム10は、RGB信号値を取得する多バンド画像取得部としてのRGB信号取得部11や多バンド信号値を取得する多バンド信号取得部12の他、対象標本Sが載置されるステージ13、ステージ13上の対象標本Sを透過照明する照明部14、対物レンズや対象標本Sからの透過光を集光して結像させる結像レンズ等の複数の光学レンズ15、透過光の光路を分岐させてRGB信号取得部11および多バンド信号取得部12に入射させるハーフミラー16、ハーフミラー16と多バンド信号取得部12との間に配設された拡散光学系17、ステージ13をXY平面内で移動させるステージ駆動部18等を備える。
RGB信号取得部11は、CCD等の撮像素子を備えたRGBカメラで構成され、対物レンズの倍率に応じて定まる視野(RGB撮影範囲)のRGB画像を対象標本画像として取得する。RGBカメラは、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にRGBの各色のカラーフィルタをベイヤー配列した単板方式のRGBカメラであってもよいし、3板構成のものでもよい。このRGBカメラは、撮影されるRGB画像の中心が照明光の光軸上に位置するように設置される。なお、RGBカメラにかえて、Nバンド(N>1)の多バンド画像を撮影する多バンドカメラを用いてもよい。
多バンド信号取得部12は、RGB撮影範囲内の所定範囲を多バンド信号取得視野とし、RGB信号取得部11によるRGB信号値の取得と同期して多バンド信号取得視野における多バンド信号値を取得する。この多バンド信号取得部12は、例えば、分光特性(観測波長)の異なるM個(M≧N;図1ではMは9個)のセンサ121が配列された多バンドセンサで構成され、多バンド信号取得視野の中心が照明光の光軸上に位置するように設置される。図2は、実施の形態1における多バンド信号取得視野V11を対象標本画像のRGB撮影範囲(RGBカメラの視野)V13とともに示す図である。実施の形態1では、図2に示すように、多バンド信号取得部12は、RGB撮影範囲V13(対象標本画像内)の中心位置を多バンド信号取得視野V11として多バンド信号値を取得する。
ここで、ハーフミラー16と多バンド信号取得部12との間に配設された拡散光学系17は、対象標本Sの多バンド信号取得視野内の領域を透過した透過光を均質な拡散光として多バンド信号取得部12に入射させる。多バンド信号取得部12によって取得される多バンド信号値は、入射する透過光を拡散光学系17によって拡散光としているため、RGB信号取得部11によって取得されるRGB信号値と比較して空間解像度が劣るものの、バンド数(センサ121の数)をRGBカメラのバンド数以上(M≧N;実施の形態1ではNはR,G,Bの3バンド)とすることで、波長方向に高分解能な信号値として取得することができる。
なお、多バンド信号取得部12の構成は、多バンドセンサを用いた構成に限定されるものではない。例えば、透過光の光路内に分光特性の異なるM枚のバンドパスフィルタを切り換えて配置することで多バンド信号値を取得する構成としてもよい。また、異なる波長の光を射出する複数の光源を切り換えながら照明光を照射することで多バンド信号値を取得する構成としてもよい。あるいは、透過光を複数に分岐させる光学系を配置するとともに、分岐先のそれぞれに分光特性の異なるセンサを配置することで多バンド信号値を取得する構成としてもよい。また、RGB信号取得部11と多バンド信号取得部12とを1つの多バンドセンサで構成し、この1つの多バンドセンサによってRGB信号値および多バンド信号値を取得する構成としてもよい。
図3は、実施の形態1における画像処理システム1の機能構成例を示すブロック図である。図3に示すように、画像処理システム1は、図1に示して説明した顕微鏡撮影システム10と、入力部21と、画像表示部としての表示部22と、通信部23と、記憶部24と、信号処理部25と、装置各部を制御する制御部26とを備える。
入力部21は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部26に出力する。表示部22は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、制御部26から入力される表示信号をもとに各種画面を表示する。通信部23は、所定の通信回線を介して外部とのデータ通信を行う。この通信部23は、モデムやTA、通信ケーブルのジャックや制御回路等によって実現される。
記憶部24は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部24には、画像処理システム1を動作させ、この画像処理システム1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記憶され、あるいは処理の都度一時的に記憶される。例えば、記憶部24には、実施の形態1の処理を実現して対象標本を染色している色素(実施の形態1では色素Hおよび色素E)の分光特性を取得するための画像処理プログラム241が記憶される。また、記憶部24には、標準色素分光特性データ242と、分光特性変化モデルデータ243と、標本データ244とが記憶される。
標準色素分光特性データ242は、色素H,色素E,色素Rそれぞれの標準的な色素の分光特性(以下、標準的な色素の分光特性を「標準色素分光特性」と呼ぶ。)を記憶する。ここで、色素Hの標準色素分光特性は、例えば、色素Hを用いて染色した標本(単一染色標本)を用意して分光計を用いてその分光特性を測定し、ランベルト・ベールの法則を用いて例えば吸光度を求めることで取得する。色素Eの標準色素分光特性についても同様に、色素Eを用いて染色した標本(単一染色標本)を用意して分光計で分光特性を測定し、例えば吸光度を求めることで取得する。図4は、標準色素分光特性データ242として記憶部24に記憶される色素Hの標準色素分光特性の変化曲線および色素Eの標準色素分光特性の変化曲線を示す図であり、横軸を波長とし、縦軸を吸光度として各波長における標準色素分光特性の値を色素毎にプロットして示している。
一方、色素Rの標準色素分光特性については、例えば次のようにして取得する。すなわち、無染色標本を用意し、RGB信号取得部11によってRGB信号値を取得する。そして、得られたRGB画像をもとに、ランベルト・ベールの法則を用いて無染色標本上の複数の標本点における透過率t(x,λ)を算出し、これを吸光度a(x,λ)に変換する処理を行う。このとき、サンプリングする標本点は、赤血球の領域を選ぶこととする。そして、得られた複数の標本点における吸光度a(x,λ)の平均を算出し、色素Rの標準色素分光特性とする。ここで、色素Rの分光特性は、変化しないと考える。
分光特性変化モデルデータ243は、後述する色素分光特性生成処理で色素Hおよび色素Eの標準色素分光特性を変化させる際の変化のさせ方をモデル化して定義した分光特性変化モデルを記憶する。また、標本データ244は、対象標本に関するデータを記憶する。この標本データ244の詳細については後述するが、例えば、対象標本画像を用いて算出した色素量のデータや、算出した色素量を用いて合成した表示画像の画像データ(表示画像データ)、色素量の算出に用いた各色素の分光特性のデータ等を適宜記憶する。
信号処理部25は、色素分光特性決定部、色素分光特性評価部および色素分光特性判定部としての色素分光特性決定部251と、被写体分光特性算出部252と、色素量算出部253と、補正係数設定部254と、色素量補正部255と、信号値変換処理部256とを含む。
色素分光特性決定部251は、対象標本を染色している色素Hおよび色素Eの分光特性を決定する。この色素分光特性決定部251には、顕微鏡撮影システム10において多バンド信号取得部12が取得した多バンド信号値が入力されるようになっている。色素分光特性決定部251は、色素Hおよび色素Eの標準色素分光特性をそれぞれ変化させて新たな色素Hの分光特性および新たな色素Eの分光特性を生成する処理(色素分光特性生成処理)を行い、多バンド信号値を用いて色素Hおよび色素Eの分光特性を決定する。
被写体分光特性算出部252には、顕微鏡撮影システム10においてRGB信号取得部11が取得したRGB信号値が入力されるようになっている。被写体分光特性算出部252は、入力されるRGB信号値を各画素の画素値とした対象標本画像をもとに、対象標本の分光特性、具体的には、各画素に対応する対象標本上の標本点における透過率を算出(推定)する。
色素量算出部253は、対象標本画像の各画素についてそれぞれ算出した対象標本の分光特性をもとに、対応する各標本点の色素量を算出する。この色素量を算出する際、色素量算出部253は、色素Hおよび色素Eの分光特性として色素分光特性決定部251が決定したものを用いる。
補正係数設定部254は、色素量算出部253が算出した色素Hおよび色素Eの色素量を補正するための色素量補正係数を設定する。色素量補正部255は、補正係数設定部254が設定した色素量補正係数を用い、色素量算出部253が画素毎に算出した色素Hおよび色素Eの色素量を補正する。以下、色素量補正部255によって補正された色素量を「補正色素量」と呼ぶ。
信号値変換処理部256は、各画素について算出した色素量と、色素量の算出に用いた各色素の分光特性とをもとに、対象標本画像の各画素のRGB信号値を変換する。実施の形態1では、信号値変換処理部256は、色素量の算出に用いた各色素の分光特性を用い、各画素における色素Hおよび色素Eの補正色素量と色素Rの色素量とを画像信号値(例えばRGB値)に変換する。例えば、信号値変換処理部256は、色素Hおよび色素Eの補正色素量と色素Rの色素量とをもとに透過率を合成し、合成した透過率をRGB値に変換する処理を画素毎に行う。この信号値変換処理部256は、分光情報付加部257を備える。分光情報付加部257は、信号値変換処理部256が変換した各画素の画像信号値(表示画像データ)に色素量の算出に用いた各色素の分光特性のデータを付加し、標本データ244として記憶部24に記憶する。
制御部26は、入力部21から入力される入力信号や、記憶部24に記憶されるプログラムやデータ等をもとに画像処理システム1を構成する各部への指示やデータの転送等を行い、画像処理システム1全体の動作を統括的に制御する。
なお、図3の画像処理システム1において、顕微鏡撮影システム10を除く構成が図1のコンピュータ20に相当し、CPU、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現できる。
次に、実施の形態1の画像処理システム1が行う具体的な処理手順について説明する。図5は、実施の形態1の画像処理システム1が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記憶部24に記録された画像処理プログラム241に従って画像処理システム1の各部が動作することで実現される。
先ず、制御部26が、顕微鏡撮影システム10の動作を制御して撮影処理を実行し、対象標本のRGB信号値および多バンド信号値を取得する(ステップa1)。図6は、実施の形態1における撮影処理の詳細な処理手順を示すフローチャートである。
図6に示すように、撮影処理では、制御部26は、顕微鏡撮影システム10のRGB信号取得部11の動作を制御して対象標本をRGB撮影し、RGB信号値を取得する(ステップb1)。ここでの処理によってRGB撮影範囲内の各画素のRGB信号値(対象標本画像)が取得され、被写体分光特性算出部252に出力される。また、制御部26は、ステップb1でのRGB信号値の取得と同期して多バンド信号取得部12の動作を制御し、RGB撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する(ステップb3)。ここで取得した多バンド信号取得視野内の多バンド信号値は、色素分光特性決定部251に出力される。その後、図5のステップa1にリターンしてステップa3に移行する。
なお、多バンド信号取得視野内の多バンド信号値は、その値に応じて色素分光特性決定部251に出力するか否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域に感度を持つバンドの信号値に応じて選択するようにしてもよい。例えば、該当するバンドの信号値が大きい場合には、対象とする色素の染色が薄いため色素分光特性決定部251に出力しない。逆に、該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いため色素分光特性決定部251に出力する。また、さらに、前述のように予め定めておいた波長帯域に感度を持つバンドの信号値をもとに、ステップa3の色素分光特性決定処理等の後段の処理に重み付けを行ってもよい。例えば、該当するバンドの信号値が大きい場合には重みを弱く、該当するバンドの信号値が小さい場合には重みを強くする。これによれば、出力値の信頼性を後段の処理に反映させることができるので、色素分光特性決定部251による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性から多バンド信号値の主成分を生成しておき、この主成分の強度を色素分光特性決定部251に出力するようにしてもよい。このように、色素分光特性決定部251に出力する出力値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
そして、ステップa3では、色素分光特性決定部251が、色素分光特性決定処理を実行する。この色素分光特性決定処理では、対象標本を染色している色素Hおよび色素Eの分光特性を、多バンド信号取得視野における多バンド信号値を用いて決定する。ここで決定した色素Hおよび色素Eの分光特性は、後段の処理において対象標本画像の各画素に対応する対象標本上の各標本点における色素量を算出する処理等で用いる。図7は、色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
図7に示すように、色素分光特性決定処理では、色素分光特性決定部251は、先ず、標準色素分光特性データ242から色素Hおよび色素Eの標準色素分光特性を読み込み、分光特性変化モデルデータ243から分光特性変化モデルを読み込む(ステップc1)。
続いて、色素分光特性決定部251は、色素分光特性生成処理を実行する(ステップc3)。この色素分光特性生成処理では、色素分光特性決定部251は、分光特性変化モデルを用い、色素Hおよび色素Eの標準色素分光特性をそれぞれ変化させて新たな色素Hおよび色素Eの分光特性を生成する。ここで、分光特性変化モデルは、色素Hおよび色素Eによるものに限定されるものではなく、例えば色素Rを加味して定義したものを用いてもよい。また、この分光特性変化モデルは、その他の色素を対象とする場合も、同様にモデル化して定義しておくことができる。また、複数の分光特性変化モデルを用意しておき、標本種や標本の染色工程(作製工程)に応じた分光特性変化モデルを選択して用いるようにしてもよい。ここで、標本種には、人種、臓器、部位、疑われる症例等の標本を特定する項目が挙げられ、染色工程には、固定、包埋、染色等の標本の作製工程に関わる項目が挙げられる。例えば、色素の組み合わせや染色順序は染色工程によって異なる場合があるが、この色素の組み合わせや染色順序は、分光特性変化モデルに寄与することがわかっている。実施の形態1では、例えば、分光特性の波長シフトと拡がり関数とによって標準色素分光特性の変化のさせ方をモデル化したものを分光特性変化モデルとして用いる。具体的には、分光特性変化モデルは、次式(27),(28)に示す色素の分光特性k(λ)の変換式によって表される。
ここで、αは波長シフトを示す変数であり、標準色素分光特性をαnm波長シフトさせる。λ1は拡がり関数を適用する短波長端、λ2は拡がり関数を適用する長波長短、γは拡がり変数を示し、式(28)に示すように、λ1<λ<λ2を満たす波長λに対して標準色素分光特性をγ変換する。
ステップc3では、分光特性変化モデルを表す変換式(27),(28)に各変数(α,γ,λ1,λ2)の値を与えることで、色素Hおよび色素Eの標準色素分光特性をそれぞれ変化させた新たな色素Hおよび色素Eの分光特性を生成する。具体的には、各変数(α,γ,λ1,λ2)の範囲および変化量を予め設定しておき、この範囲および変化量に従って各変数(α,γ,λ1,λ2)の値を算出する。そして、各変数(α,γ,λ1,λ2)の値の全通りの組み合わせ毎に新たな色素Hおよび色素Eの分光特性を複数生成する。すなわち、組み合わせ毎に各変数(α,γ,λ1,λ2)の値を変換式(27),(28)に与え、各組み合わせのそれぞれについて色素Hおよび色素Eの標準色素分光特性を変化させた新たな色素Hおよび色素Eの分光特性を生成する。
例えば、波長シフトの変数であるαの範囲は、−10nm〜+10nmとして設定する。また、αの変化量は、例えば0.5nmに設定する。図8は、αの範囲を−10nm〜+10nmとし、変化量を0.5nmとして色素Eの標準色素分光特性を波長シフトさせた様子を示す図である。
また、拡がり変数を示すγは、例えば、その範囲を0.5〜2.0とし、変化量を0.02として設定する。λ1およびλ2は、例えば、色素毎に個別に設定する。すなわち、色素Hは、広い波長帯域で色素の分光特性の値が変化する(図4を参照)。このため、λ1およびλ2を設定せずに全ての波長について上記した式(28)を適用し、新たな色素Hの分光特性を生成する。一方、色素Eは、420nmよりも短波長側の帯域と、600nmよりも長波長側の帯域とで色素の分光特性の値がほとんど変化しない(図4を参照)。このため、λ1を420nmとし、λ2を600nmとして設定し、420nmより短波長側および600nmよりも長波長側の波長には式(27)を適用し、420nm〜600nmの波長には式(28)を適用して、新たな色素Eの分光特性を生成する。
続く図7のステップc5では、色素分光特性決定部251は、評価値算出処理を実行する。この評価値算出処理では、色素分光特性決定部251は、多バンド信号値を用い、ステップc3で生成した全ての色素Hおよび色素Eの分光特性について評価値を算出する。図9は、評価値算出処理の詳細な処理手順を示すフローチャートである。
図9に示すように、ステップc3において各変数(α,γ,λ1,λ2)の値の全通りの組み合わせ毎に生成した全ての色素Hおよび色素Eの分光特性を順次処理対象として、ループAの処理を行う(ステップd1〜ステップd13)。なお、ループAの処理の説明において、処理対象の色素Hおよび色素Eの分光特性を「処理色素分光特性」と呼ぶ。
ループAでは、色素分光特性決定部251は、先ず、図6のステップb3で取得した多バンド信号値G(λ)をもとに、多バンド信号取得視野における対象標本の透過率T(λ)、詳細には、多バンド信号取得視野の各画素に対応する対象標本上の各標本点の透過率T(λ)を算出する(ステップd3)。具体的には、背景技術で説明したのと同様の要領で、次式(29)に従い、多バンド信号取得視野の各画素を順次注目画素とし、注目画素である多バンド信号取得視野の画素xにおける多バンド信号値の行列表現G(x)から対応する対象標本上の標本点における透過率T(λ)を算出する。
続いて、色素分光特性決定部251は、処理色素分光特性と、ステップd3で算出した透過率T(λ)とをもとに、多バンド信号取得視野における対象標本の各色素の色素量dH,dE,dRを算出する(ステップd5)。
なお、透過率T(λ)は、多バンド信号取得視野における多バンド信号値もしくは透過率T(λ)の値に応じてステップd5で用いる値とする否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域の透過率、もしくはその波長帯域に感度を持つバンドの信号値に応じてステップd5で用いる値とするか否かを選択するようにしてもよい。例えば、透過率が1に近い、もしくは該当するバンドの信号値が大きい場合は、対象とする色素の染色が薄いためステップd5で用いる値としない。逆に、透過率が0に近い、もしくは該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いためステップd5で用いる値とする。また、さらに、前述のように予め定めておいた波長帯域の透過率、もしくはこの定めておいた波長帯域に感度を持つバンドの信号値の値をもとに、ステップd5で用いる例えば透過率T(λ)等の値に重み付けを行ってもよい。例えば、透過率が1に近い、もしくは該当するバンドの信号値が大きい場合には重みを弱くする。一方、透過率が0に近い、もしくは該当するバンドの信号値が小さい場合には重みを強くする。これによれば、ステップd5で用いる値の信頼性をステップd5以降の処理に反映させることができるので、色素分光特性決定部251による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性もしくは多バンド信号値から主成分を生成しておき、この主成分の強度をステップd5で用いる値としてもよい。このように、ステップd5で用いる値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
ステップd5の処理の説明に戻る。背景技術で式(7)に示して説明したように、波長λ毎の入射光の強度I
0(λ)と射出光の強度I(λ)との間には、ランベルト・ベールの法則が成り立つ。また、透過率t(x,λ)は、背景技術で示した式(12)を用いて吸光度a(x,λ)に変換できる。ステップd5においてもこれらの式を適用して色素量を算出する。すなわち、透過率T(λ)の波長λにおける透過率をt(x,λ)とすると、多バンド信号取得視野の各画素(x,y)に対応する対象標本上の各標本点における吸光度a(x,λ)は次式(30)によって算出できる。ただし、このとき、色素Hの分光特性k
Hおよび色素Eの分光特性k
Eとして、処理色素分光特性を用いる。また、色素Rの分光特性k
Rは、上記したように変化しないと考えられるので、標準色素分光特性データ242から色素Rの標準色素分光特性を読み出して用いる。
その後、式(30)を少なくとも3つの異なる波長λについて連立させることで、各色素の色素量dH,dE,dRについて解く。
続いて、色素分光特性決定部251は、処理色素分光特性と、ステップd5で算出した各色素の色素量d
H,d
E,d
Rとをもとに、次式(31)に従って透過率T´(λ)を算出する(ステップd7)。色素Rの分光特性k
Rは、その標準色素分光特性を用いる。
続いて、色素分光特性決定部251は、ステップd7で算出した透過率T´(λ)をもとに、次式(32)に従って多バンド信号値G´(λ)を合成する(ステップd9)。Hは、背景技術で式(3)に示したシステム行列である。
続いて、色素分光特性決定部251は、図6のステップb3で取得した多バンド信号値G(λ)と、図9のステップd9で算出した多バンド信号値G´(λ)との差分ΔGを多バンド信号取得視野の画素毎に算出し、その合計値ΣΔGを処理色素分光特性の評価値とする(ステップd11)。評価値ΣΔGが小さく、0に近づくほど多バンド信号値G(λ)と多バンド信号値G´(λ)との差が小さいため、その処理色素分光特性の評価が高くなる。
以上のようにして評価値を算出したならば、処理色素分光特性についてのループAの処理を終える。そして、図7のステップc3で生成した全ての色素Hおよび色素Eの分光特性を処理色素分光特性としてループAの処理を行ったならば、図7のステップc7にリターンする。
そして、ステップc7では、色素分光特性決定部251は、ステップc5の評価値算出処理で算出した評価値ΣΔGが最も小さく評価が最も高い色素Hおよび色素Eの分光特性を選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。決定した色素Hおよび色素Eの分光特性は、記憶部24に記憶しておく。なお、決定した色素Hおよび色素Eの分光特性を生成した際に変換式(27),(28)に与えた各変数(α、γ、λ1、λ2)の値を記憶部24に記憶しておく構成としてもよい。この場合には、後段の処理(図5のステップa7やステップa13等)で決定した色素Hおよび色素Eの分光特性を用いるときに、変換式(27),(28)に各変数(α、γ、λ1、λ2)の値を与えて色素Hおよび色素Eの標準色素分光特性を変化させればよい。その後、図5のステップa3にリターンしてステップa5に移行する。
そして、ステップa5では、被写体分光特性算出部252が、図6のステップb1で取得した対象標本画像の各画素のRGB信号値をもとに、対象標本の分光特性を画素毎に算出(推定)する。具体的には、背景技術で示した式(5)に従って、対象標本画像の各画素を順次注目画素とし、注目画素である対象標本画像内の画素xにおけるRGB信号値の行列表現G(x)から対応する対象標本上の標本点における推定透過率T^(x)を対象標本の分光特性として算出する。
続いて、色素量算出部253が、各色素の分光特性と、ステップa5で算出した対象標本の分光特性(推定透過率T^(x))とをもとに、対象標本の色素量を画素毎に算出(推定)する(ステップa7)。処理手順は、背景技術で説明したのと同様に行う。すなわち、推定透過率T^(x)の波長λにおける推定透過率をt^(x,λ)とすると、対象標本画像の各画素(x,y)に対応する対象標本上の各標本点における推定吸光度a^(x,λ)は、背景技術で示した次式(13)によって算出できる。ただし、このとき、色素Hの分光特性k
Hおよび色素Eの分光特性k
Eとして、図7のステップc7で決定した色素Hおよび色素Eの分光特性を用いる。色素Rの分光特性k
Rは、標準色素分光特性データ242から色素Rの標準色素分光特性を読み出して用いる。
その後、式(13)を少なくとも3つの異なる波長λについて連立させることで、各色素の色素量d^H,d^E,d^Rについて解く。
続く図5のステップa9では、補正係数設定部254が、色素Hおよび色素Eの色素量補正係数の入力依頼の通知を表示部22に表示する処理を行い、例えばユーザ操作に従って色素Hおよび色素Eの色素量補正係数を設定する。具体的には、例えば、色素量補正係数の入力を依頼する旨のメッセージの表示とともに色素Hの色素量補正係数αHおよび色素Eの色素量補正係数αEの各値を入力するための入力ボックス等を配置した通知画面を表示部22に表示する処理を行う。ユーザは、入力部21を介して所望の色素量補正係数αHの値を入力するとともに、所望の色素量補正係数αEの値を入力する。色素量を補正する必要がない場合には、色素量補正係数αH,αEの値を入力しなければよい。この場合には、後段のステップa11の処理は実行しない。
なお、ここでは、ユーザ操作に従って色素Hおよび色素Eの色素量補正係数を設定する場合について説明したが、これに限定されるものではない。例えば、対象標本の各標本点における色素量を適正な染色状態に調整するための値を算出し、色素量補正係数αH,αEとして設定することとしてもよい。この場合には、基準とする標本、例えば標準的な染色状態の標本(標準染色標本)を予め用意し、そのRGB画像を取得して対応する各標本点における色素量を算出しておく。また、算出した色素Hの色素量の平均値および色素Eの色素量の平均値を算出しておく。そして、ステップa7で算出した対象標本の色素Hの色素量の平均値および色素Eの色素量の平均値を算出し、例えば、対象標本の色素Hおよび色素Eについて算出した色素量の平均値を標準染色標本の対応する色素の色素量の平均値で除算し、得られた値を色素量補正係数αH,αEとする。
また、このとき、標準染色標本のRGB画像の各画素を、例えば細胞核、細胞質、赤血球といった組織毎にクラス分類し、分類したクラス毎に色素Hおよび色素Eそれぞれの色素量の平均値を算出するようにしてもよい。この場合には、対象標本画像の各画素についても同様にクラス分類し、クラス毎に色素Hおよび色素Eそれぞれの色素量の平均値を算出することで、クラス毎に色素量補正係数αH,αEを算出する。そして、各画素に適用する色素量補正係数を、その画素が属するクラスについて算出した色素量補正係数αH,αEとする。これによれば、色素量を補正(色正規化)するためのより適切な色素量補正係数を算出することができる。
続いて、色素量補正部255が、ステップa7で算出した色素Hおよび色素Eの色素量d^
H,d^
Eとステップa9で設定した色素量補正係数α
H,α
Eとから、背景技術で示した次式(20),(21)に従って色素H,色素Eの補正色素量d^
H *,d^
E *を画素毎に算出する(ステップa11)。
続いて、信号値変換処理部256が、色素量の算出に用いた各色素の分光特性kH(λ),kE(λ),kR(λ)(図7のステップc7で決定した色素Hおよび色素Eの分光特性と色素Rの標準色素分光特性)を用い、ステップa11での補正後の各色素の色素量を画像信号値(表示画像データ)に変換する(ステップa13)。
具体的には、信号値変換処理部256は、先ず、色素H,色素Eの補正色素量d^
H *,d^
E *および色素Rの色素量d^
Rをもとに、各色素の分光特性k
H(λ),k
E(λ),k
R(λ)を用いて合成した透過率を画素毎に合成する。処理手順としては、先ず、背景技術で示した次式(22)に従い、各画素xにおける吸光度a~
*(x,λ)を求める。なお、推定誤差e(λ)を含める場合には、背景技術で示した式(23)に従って吸光度a^
*(x,λ)を求めればよい。
続いて、背景技術で示した次式(24)に従い、求めた吸光度a~
*(x,λ)から各画素xにおける新たな透過率t
*(x,λ)を求める。
そして、波長方向にD回繰り返して透過率t*(x,λ)を求め、合成した透過率である補正透過率T*(x)を得る。補正透過率T*(x)は、t*(x,λ)に対応するD行1列の行列である。
続いて、信号値変換処理部256は、画素毎に合成した透過率(補正透過率T*(x))をRGB値に変換する処理を画像全体に亘って反復して行い、各画素の画像信号値を算出して表示画像を合成する。処理手順としては、背景技術で示した次式(26)に従い、画素xにおける新しい画素値G*(x)を画素毎に求め、画像信号値とする。
G*(x)=HT*(x) ・・・(26)
以上のようにして変換された画像信号値(表示画像データ)は、例えばユーザが指示したタイミング等の任意のタイミングで表示部22に表示処理し、医師等のユーザに提示する。医師等のユーザは、この表示画像を観察し、病理診断等に利用する。
その後、図5に示すように、分光情報付加部257が、ステップa13で変換した画像信号値(表示画像データ)に、ステップa7での色素量の算出に用いた各色素の分光特性kH(λ),kE(λ),kR(λ)を付加して保存する(ステップa15)。
具体的には、分光情報付加部257は、変換した画像信号値(表示画像データ)を、各色素の分光特性kH(λ),kE(λ),kR(λ)(図7のステップc7で決定した色素Hおよび色素Eの分光特性と色素Rの標準色素分光特性)とともに対象標本の標本ID等と対応付けた標本データ244として記憶部24に記憶する。図10は、標本データ244のデータ構成例を示す図である。図10に示す標本データ244は、標本IDD21と、変換した画像信号値を記憶する画像信号値(表示画像データ)D22と、各色素の分光特性kH(λ),kE(λ),kR(λ)を記憶する色素分光特性データD23と含む。標本IDD21は、標本を特定するために標本に割り当てられた固有のIDである。
以上のようにして標本データ244を記憶部24に記憶しておけば、例えば、外部の装置から要求されたタイミング等の任意のタイミングで、通信部23を介して標本データ244を外部装置に送信することができる。これによれば、標本データ244を受信した外部装置の表示装置に色正規化処理された対象標本の表示画像を表示することができるので、遠隔地等の医師が対象標本の表示画像を観察し、病理診断等に利用するといったことが可能となる。また、このとき、外部装置では、画像信号値(表示画像データ)D22を読み込んで表示処理するだけでよく、対象標本の色素量を表した表示画像を外部装置のユーザに迅速に提示することができる。
さらに、画像信号値(表示画像データ)D22に色素分光特性データD23を付加した標本データ244を外部装置との間で送受することとしたので、受信側の外部装置は、一旦標本データ244を取得してしまえば、画像信号値(表示画像データ)D22と色素分光特性データD23とから対象標本の色素量を算出することができる。したがって、色素量を補正して表示画像を新たに合成することが可能となる。これによれば、外部装置側で色素量を自由に調整しながら表示画像を観察することができるので、診断効率が向上する。
なお、ここでは、画像信号値(表示画像データ)に色素分光特性データを付加して保存することとしたが、ステップa7で算出した色素量を色素分光特性データに付加して保存するようにしてもよい。図11は、この場合の標本データのデータ構成例を示す図である。図11に示す標本データは、標本IDD21と、色素分光特性データD23と、色素H,色素Eの補正色素量d^H *,d^E *および色素Rの色素量d^Rのデータを記憶する色素量データD24とを含む。本構成の標本データを外部装置との間で送受する場合には、受信側の外部装置は、色素分光特性データD23を用いて色素量データD24を画像信号値に変換し、表示画像を合成すればよい。
以上説明したように、実施の形態1によれば、予め色素Hおよび色素Eの標準色素分光特性の変化のさせ方をモデル化して定義した分光特性変化モデルを用いて色素Hおよび色素Eの標準色素分光特性を変化させ、生成した色素Hおよび色素Eの分光特性を多バンド信号取得視野における多バンド信号値を用いて評価することで、対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。したがって、色素Hおよび色素Eの標準色素分光特性を対象標本に適した色素Hおよび色素Eの分光特性に最適化することができる。これによれば、対象標本を染色している色素の分光特性を含む対象標本の分光情報を、染色工程の増加を招くことなく高精度に取得することができる。また、決定した色素Hおよび色素Eの分光特性を用いることで、対象標本の色素量を精度良く算出することができる。さらに、色素量補正係数を設定し、色素量を補正することができるので、対象標本の色素量を所望の染色状態に調整した表示画像を合成することができ、高精度な色変換が実現できる。
(変形例1)
実施の形態1では、分光特性変化モデルを用いて色素Hおよび色素Eの分光特性を複数生成し、生成したものの中から1つを選んで対象標本を染色している色素Hおよび色素Eの分光特性を決定することとした。具体的には、色素の分光特性k(λ)の変換式(27),(28)に各変数(α、γ、λ1、λ2)の値を複数組与えることで色素Hおよび色素Eの標準色素分光特性を変化させて新たな色素Hおよび色素Eの分光特性を複数生成し、評価が最も高いものを色素Hおよび色素Eの分光特性として決定することとした。この場合、各変数(α、γ、λ1、λ2)の値の組み合わせの数に比例して処理時間が増大してしまう。そこで、公知の遺伝的アルゴリズム(GA)を用いて色素Hおよび色素Eの分光特性を生成し、対象標本を染色している色素Hおよび色素Eの分光特性を決定するようにしてもよい。
ここで、遺伝的アルゴリズムは、ある世代を形成している個体の集合を基本単位とした進化型の計算を行うアルゴリズムである。この遺伝的アルゴリズムを適用した処理の概要を説明すると、先ず初期集団を生成し、初期集団の中から個体を選択する。続いて、選択した個体に対して交叉や突然変異を行って次世代集団を形成する。その後、次世代集団について処理を繰り返し、最終的に適応度の高い個体を選ぶことで対象標本を染色している色素Hおよび色素Eの分光特性を決定するものである。
変形例1では、例えば、分光特性変化モデルを表す変換式(27),(28)に与える各変数(α、γ、λ1、λ2)の値の組み合わせを解候補として用いる。各個体は、この解候補を数値列で示した遺伝子によって特徴付けられる。具体的には、各個体を特徴付ける遺伝子は、各変数(α、γ、λ1、λ2)の値の組み合わせをビットパターン(ビット列)によって表したものである。ビットパターンのビット数や各変数(α、γ、λ1、λ2)を表すビットパターンの区画位置は、各変数(α、γ、λ1、λ2)の範囲に応じて予め設定しておく。
図12は、変形例1における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態1と同様の構成には同一の符号を付する。変形例1の色素分光特性決定処理では、色素分光特性決定部251は、図12に示すように先ず、標準色素分光特性データ242から色素Hおよび色素Eの標準色素分光特性を読み込み、分光特性変化モデルデータ243から分光特性変化モデルを読み込む(ステップe1)。
続いて、色素分光特性決定部251は、各変数(α、γ、λ1、λ2)の値をランダムに発生させて初期集団を生成する(ステップe3)。具体的には、“0”または“1”をビットパターンのビット数分ランダムに発生させてビットパターンを生成し、その個体の遺伝子として生成する。これを予め設定されている個体数繰り返し行い、初期集団を得る。集団を構成する個体の数は、任意に設定できる。また、ビットパターンは乱数によって生成する場合に限定されるものではない。例えば、予め所定の中心初期値およびこの中心初期値の周辺の値を生成する確率変数の分散を定義しておき、この確率変数に従ってビットパターンを生成するようにしてもよい。このようにすれば、解が中心初期値付近に存在する場合に後述する処理回数(繰り返し数)を低減でき、色素Hおよび色素Eの分光特性を決定する処理の高速化が図れる。
そして、初期集団を対象としたステップe5以降の処理に移る。すなわち、ステップe5では、色素分光特性決定部251は、選択処理を行い、対象の集団から個体を2つ選択する。この選択は、例えば乱数を発生させてランダムに行う。なお、ここでは、2つの個体を選択することとしたが、予め交叉確率を設定しておき、この交叉確率に従って交叉させる個体を選択することとしてもよい。
そして、色素分光特性決定部251は、選択した2つの個体を親として交叉処理を行い、これら2つの親の遺伝子を受け継ぐ新たな個体を2つ生成する(ステップe7)。この交叉処理で用いる交叉方法は、一点交叉や二点交叉等、適宜選択できる。例えば、一点交叉を用いる場合には、交叉点を1つランダムに決定し、各親の決定した交叉点より後の遺伝子をそれぞれ入れ替えることによって、新たな2つの個体を得る。また二点交叉を用いる場合には、交叉点を2つランダムに決定する。そして、各親の決定した2点の交叉点で挟まれる遺伝子をそれぞれ入れ替えることによって、新たな2つの個体を得る。ここでの交叉処理によって、対象の集団の個体のうち、ステップe5で選択した親の個体が生成された新たな個体で置き換えられる。
続いて、色素分光特性決定部251は、交叉処理後の集団をもとに、各変数(α、γ、λ1、λ2)の値の組み合わせパターン(変数パターン)を生成する(ステップe9)。具体的には、各個体を特徴付けている遺伝子であるビットパターンを変数(α、γ、λ1、λ2)毎の区画位置で分割し、各変数の値を得る。この処理を各個体について行い、得られた各変数(α、γ、λ1、λ2)の値を各個体の変数パターンとする。その後、色素分光特性決定部251は、色素分光特性生成処理を実行し、個体毎に新たな色素Hの分光特性および新たな色素Eの分光特性を生成する(ステップe11)。すなわち、変数パターンに従って各変数(α,γ,λ1,λ2)の値を変換式(27),(28)に与え、色素Hおよび色素Eの標準色素分光特性を変化させた新たな色素Hおよび色素Eの分光特性を生成する。この処理を各個体について行い、色素Hおよび色素Eの分光特性を得る。
続いて、実施の形態1と同様の処理手順で評価値算出処理(図9を参照)を実行し、ステップe11で個体毎に生成した全ての色素Hおよび色素Eの分光特性の評価値を多バンド信号値を用いて算出する(ステップe13)。
その後、色素分光特性決定部251は、ステップe13の評価値算出処理で個体毎に算出した評価値を予め設定される所定の閾値を用いて閾値処理する。そして、色素分光特性決定部251は、いずれかの個体の評価値が閾値を超えている場合に閾値条件を満足しないと判定し(ステップe15:No)、ステップe17に移行する。そして、ステップe17では、ステップe3〜ステップe13の一連の処理を行った処理回数(繰り返し数)を判定し、処理回数が予め設定されている所定の回数を超えない間は(ステップe17:No)、ステップe19に移行する。
ステップe19では、色素分光特性決定部251は、突然変異処理を行う。具体的には、例えば予め設定される所定の確率(突然変異率)で乱数を発生させて交叉処理後の集団を構成する各個体の中から突然変異を起こさせる個体を選び、その遺伝子のビットパターンを変更する。例えば、選んだ個体の遺伝子のビットパターンから突然変異を起こさせる一部分(1ビットでもよいし複数ビットでもよい)を例えば乱数を発生させて選択し、選択した一部分のビットを反転させる。ここで、突然変異率は固定としてもよいし、ステップe13で算出した評価値に応じて動的に設定してもよい。例えば、評価値が低ければ(値が大きければ)、突然変異率を高く設定する。一方、評価値が高い場合には(値が小さい場合には)、突然変異率を低く設定する。これによれば、評価値が低い段階では早期に最適解に近付き易くすることができ、また、局所解に陥る事態を防止することができる。そして、最適解に近付いて評価値が高くなった段階では、突然変異によって評価値が急激に低下する事態を防止できる。
そして、ステップe19の突然変異処理後の集団を次世代集団とし、ステップe5に戻ってこの次世代集団について処理を繰り返す。
一方、全ての個体の評価値が閾値以下の場合(ステップe15:Yes)、あるいは処理回数が所定の回数を超えた場合には(ステップe17:Yes)、色素分光特性決定部251は、最終的な集団を構成する個体の中から評価が最も高い(ステップe13で算出した評価値が最も小さい)色素Hおよび色素Eの分光特性を選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する(ステップe21)。なお、処理回数が所定の回数を超えた場合に色素分光特性生成処理を終了させているのは、ステップe3〜ステップe13の一連の処理を繰り返しても評価値が所定の閾値以下とならず、処理が完了しなくなることを避けるためである。
以上説明したように、変形例1によれば、実施の形態1と同様の効果を奏することができるとともに、遺伝的アルゴリズムを適用することとしたので、対象標本を染色している色素Hおよび色素Eの分光特性を高速かつ高精度に決定することができる。なお、この遺伝的アルゴリズムについては様々な分野で種々の改善が行われており、上記したアルゴリズムに限らず、改善されたアルゴリズムを適用することとしてよい。これによれば、より高速かつ高精度に対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。
(変形例2)
実施の形態1では、対象標本のRGB撮影範囲をRGB撮影して取得した1枚の対象標本画像を処理する場合について説明したが、顕微鏡撮影システム10のステージ13をXY平面内で移動させながら対象標本の異なる箇所をRGB撮影した複数枚の対象標本画像を処理する場合にも同様に適用できる。
図13は、RGB撮影する複数枚の対象標本画像のRGB撮影範囲V31とともに、各RGB撮影範囲V31内の多バンド信号取得視野V33を示す図である。変形例2では、ステージ13をXY平面内でRGB撮影範囲V31ずつ移動させながら各位置(撮影位置)でRGB撮影を行い、隣接するRGB撮影範囲V31をRGB撮影した複数枚(図13では15枚)の対象標本画像を取得することで全体として対象標本Sの広範囲を映した全体画像I3を得る。また、多バンド信号取得部12が、各撮影位置でのRGB撮影範囲V31のRGB信号値の取得と同期して、そのRGB撮影範囲V31内の多バンド信号取得視野V33における多バンド信号値を取得する。この変形例2では、各RGB撮影範囲V31の対象標本画像に対し、対応する多バンド信号取得視野V33の多バンド信号値を用いて決定した色素Hおよび色素Eの分光特性を適用する。例えば、RGB撮影範囲V31−1の対象標本画像に対しては、多バンド信号取得視野V33−1内の多バンド信号値を用いて決定した色素Hおよび色素Eの分光特性を適用し、色素量の算出等の処理を行う。
図14は、変形例2における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態1と同様の構成には同一の符号を付する。
図14に示すように、変形例2の撮影処理では、先ず、制御部26がステージ駆動部18を駆動してステージ13の移動を制御し、最初の撮影位置にRGB信号取得部11のRGB撮影範囲を移動させる(ステップf1)。続いて、制御部26は、顕微鏡撮影システム10のRGB信号取得部11の動作を制御して対象標本をRGB撮影し、RGB信号値を取得する(ステップf3)。また、制御部26は、ステップf3でのRGB信号値の取得と同期して多バンド信号取得部12の動作を制御し、RGB撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する(ステップf5)。
続いて、制御部26は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は(ステップf7:No)、制御部26は、ステージ駆動部18を駆動してステージ13の移動を制御し、次の撮影位置にRGB信号取得部11のRGB撮影範囲を移動させた後(ステップf9)、ステップf3に戻って上記した処理を繰り返す。現在の撮影位置が最後の撮影位置の場合には(ステップf7:Yes)、撮影処理を終える。
(実施の形態2)
図15は、実施の形態2における画像処理システム1aの機能構成例を示すブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図15に示すように、画像処理システム1aは、顕微鏡撮影システム10と、入力部21と、表示部22と、通信部23と、記憶部24aと、信号処理部25と、装置各部を制御する制御部26aとを備える。
記憶部24aには、実施の形態2の処理を実現して対象標本を染色している色素Hおよび色素Eの分光特性を取得するための画像処理プログラム241aが記録される。
また、制御部26aは、多バンド信号取得位置設定部261aと、多バンド信号取得制御部262aとを含む。多バンド信号取得位置設定部261aは、入力部21を介してRGB撮影範囲内の多バンド信号取得位置の選択操作を受け付け、入力された選択操作に従って多バンド信号取得位置を設定する。多バンド信号取得制御部262aは、顕微鏡撮影システム10のステージ13をXY平面内で移動させて多バンド信号取得位置に多バンド信号取得部12の多バンド信号取得視野を移動させるとともに、多バンド信号取得部12の動作を制御して多バンド信号値を取得する。
図16は、実施の形態2における多バンド信号取得位置P4を示す図である。実施の形態2では、ユーザ操作に従い、RGB撮影範囲V4をRGB撮影して取得した対象標本画像内の1つ以上の位置(図16では6箇所)に対応するステージ13上の位置を多バンド信号取得位置P4として設定し、設定した多バンド信号取得位置P4のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。なお、図16では6箇所の多バンド信号取得位置P4を図示したが、実際には、各色素によって十分に染色されている位置を例えば20箇所程度選択するのが好ましい。
次に、実施の形態2の画像処理システム1aが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部24aに記録された画像処理プログラム241aに従って画像処理システム1aの各部が動作することで実現される。実施の形態2では、図5の全体フローチャートにおいて、ステップa1の撮影処理が実施の形態1と異なる。図17は、実施の形態2における撮影処理の詳細な処理手順を示すフローチャートである。
図17に示すように、実施の形態2の撮影処理では、先ず、制御部26aは、顕微鏡撮影システム10のRGB信号取得部11の動作を制御して対象標本をRGB撮影し、RGB信号値を取得する(ステップg1)。
続いて、制御部26aは、取得したRGB信号値をもとに、対象標本のRGB画像を表示部22に表示する処理を行い、併せて多バンド信号取得位置の選択を依頼する旨のメッセージを表示して多バンド信号取得位置の選択依頼を通知する(ステップg3)。そして、制御部26aは、この選択依頼の通知に応答してユーザが選択操作したRGB画像内の位置に対応するステージ13上の位置を多バンド信号取得位置として設定する(ステップg5)。例えば、ユーザは、表示されたRGB画像内の任意の位置を例えば入力部21を構成するマウスでクリックする等して選択操作を行う。
続いて、制御部26aは、ステージ駆動部18を駆動してステージ13の移動を制御し、多バンド信号取得部12の多バンド信号取得視野にステップg5で設定した多バンド信号取得位置を位置付ける(ステップg7)。その後、制御部26aは、多バンド信号取得部12の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する(ステップg9)。
続いて、制御部26aは、ステップg5で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部26aは、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には(ステップg11:No)、ステップg7に戻り、ステージ駆動部18を駆動して多バンド信号取得部12の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部26aは、ステップg9において多バンド信号取得部12の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。ここでの処理によって、多バンド信号取得位置毎にステップg7〜ステップg9の処理が繰り返され、ステップg5で複数の多バンド信号取得位置を設定した場合には、各多バンド信号取得位置の多バンド信号値が取得される。全ての多バンド信号取得位置について多バンド信号値を取得した場合には(ステップg11:Yes)、撮影処理を終える。
以上説明したように、実施の形態2によれば、実施の形態1と同様の効果を奏することができるとともに、対象標本を染色している色素Hおよび色素Eの分光特性を決定する際に用いる多バンド信号値の取得位置(多バンド信号取得位置)をユーザ操作に従って設定することができる。
ここで、実施の形態2の色素分光特性決定処理では、多バンド信号取得位置毎に図9に示して説明した評価値算出処理を行う。具体的には、色素Hおよび色素Eの標準色素分光特性を変化させた新たな色素Hおよび色素Eの分光特性を生成した後、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Hおよび色素Eの分光特性についての評価値の和を算出する。そして、全ての新たな色素Hおよび色素Eの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性を1つ選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。
これによれば、ユーザが多バンド信号を取得する位置として適切と判断した対象標本画像内の位置、具体的には、例えば各色素によって十分に染色されている位置を選択することができるので、対象標本を染色している色素Hおよび色素Eの分光特性をより高精度に取得することができる。
(変形例3)
実施の形態2では、ユーザ操作に従ってRGB撮影範囲内の1つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、変形例2のように対象標本の異なる箇所をRGB撮影した複数枚の対象標本画像を取得する場合に実施の形態2を適用し、ユーザ操作に従って多バンド信号取得位置を設定することとしてよい。
図18は、変形例3における多バンド信号取得位置P5を示す図である。変形例3では、変形例2と同様に、ステージ13をXY平面内でRGB撮影範囲V5ずつ移動させながら各撮影位置でRGB撮影を行い、隣接するRGB撮影範囲V5をRGB撮影した複数枚(図18では15枚)の対象標本画像を取得することで全体として対象標本Sの広範囲を映した全体画像I5を得る。そして、変形例3では、この全体画像I5内の1つ以上の位置(図18では6箇所)に対応するステージ13上の位置を多バンド信号取得位置P5として設定し、設定した多バンド信号取得位置P5のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。
この場合の処理手順は、例えば先ず、全ての撮影位置でRGB撮影範囲V5をRGB撮影し、全体画像I5を構成する複数の対象標本画像を取得する。続いて、取得した複数の対象標本画像を並べて表示部22に表示する処理を行って多バンド信号取得位置の選択依頼を通知し、この選択依頼の通知に応答してユーザが選択操作した対象標本画像内の位置に対応するステージ13上の位置を多バンド信号取得位置として設定する。その後、設定した多バンド信号取得位置のそれぞれを多バンド信号取得部12の多バンド信号取得視野に順次位置付けながら、多バンド信号値を取得する。
なお、変形例3の色素分光特性決定処理では、実施の形態2と同様に、図9に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Hおよび色素Eの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性を1つ選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。
実施の形態1では、RGB信号取得部11によるRGB信号値の取得と同期して多バンド信号取得部12が多バンド信号値を取得することとした。このため、対象標本画像の取得数に比例して多バンド信号値の取得数も増加する。ここで、多バンド信号値の取得数が増加すれば、この多バンド信号値を用いて行う色素分光特性決定処理(図7を参照)の処理時間が増大する。また、多バンド信号値を取得する位置が固定(実施の形態1ではRGB撮影範囲の中心位置)であるため、対応する対象標本上の位置が色素Hや色素Eによって十分染色されていない、あるいは対応する対象標本上の位置に標本が存在しないといった事態が生じ得る。
これに対し、変形例3によれば、対象標本画像を取得する全てのRGB撮影範囲について多バンド信号値を取得するのではなく、例えばユーザが対象標本を染色している色素Hおよび色素Eの分光特性を決定するのに必要と判断した位置、具体的には、例えば各色素によって十分に染色されている位置を多バンド信号取得位置として設定することができる。したがって、多バンド信号取得位置を適切に設定することができ、取得する多バンド信号値の数を無駄に増大させることがない。これによれば、より高速かつ高精度に対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。
(変形例4)
実施の形態2では、ユーザ操作に従ってRGB撮影範囲内の1つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、対象標本画像内を例えば等間隔に区切って複数の多バンド信号取得位置を自動的に設定するようにしてもよい。
図19は、変形例4における多バンド信号取得位置P6を示す図である。変形例4では、図19中に破線で示すように、RGB撮影範囲V6をRGB撮影して取得した対象標本画像内を複数の領域に等分割し、各領域の例えば中心位置(実際には、この中心位置に対応するステージ13上の位置)をそれぞれ多バンド信号取得位置P6として設定する。この場合には、図17のステップg3およびステップg5の処理に換えて対象標本画像内を等分割した各領域の中心位置に対応するステージ13上の位置を算出する処理を行えばよい。
なお、変形例4の色素分光特性決定処理では、実施の形態2と同様に、図9に示して説明した評価値算出処理を行う。そして、新たな色素Hおよび色素Eの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性を1つ選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。なお、各多バンド信号取得位置における新たな色素Hおよび色素Eの分光特性の評価値の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性をそれぞれ1つずつ選び、多バンド信号取得位置毎に色素Hおよび色素Eの分光特性を決定するようにしてもよい。そして、対象標本画像を等分割した各領域に対し、対応する多バンド信号取得位置の多バンド信号値を用いて決定した色素Hおよび色素Eの分光特性を適用して色素量の算出等の処理を行うようにしてもよい。
(実施の形態3)
図20は、実施の形態3における画像処理システム1bの機能構成例を示すブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図20に示すように、画像処理システム1bは、顕微鏡撮影システム10と、入力部21と、表示部22と、通信部23と、記憶部24bと、信号処理部25bと、装置各部を制御する制御部26とを備える。
記憶部24bには、実施の形態3の処理を実現して対象標本を染色している色素Hおよび色素Eの分光特性を取得するための画像処理プログラム241bが記録される。
信号処理部25bは、多バンド信号選択部258bと、色素分光特性決定部251bと、被写体分光特性算出部252と、色素量算出部253と、補正係数設定部254と、色素量補正部255と、信号値変換処理部256とを含む。
多バンド信号選択部258bには、顕微鏡撮影システム10において多バンド信号取得部12が取得した多バンド信号値が入力されるようになっている。多バンド信号選択部258bは、多バンド信号取得部12から入力される複数の多バンド信号値の中から、例えば所定数の多バンド信号値を選択する。
色素分光特性決定部251bは、実施の形態1と同様の処理手順で色素Hおよび色素Eの標準色素分光特性を変化させて色素Hの分光特性及び色素Eの分光特性を生成する処理(色素分光特性生成処理)を行い、多バンド信号選択部258bで選択された所定数の多バンド信号値を用いて対象標本を染色している色素Hおよび色素Eの分光特性を決定する。
図21は、実施の形態3におけるRGB撮影範囲V71およびこのRGB撮影範囲内の多バンド信号取得視野V73を示す図である。実施の形態3では、変形例2と同様に、ステージ13をXY平面内でRGB撮影範囲V71ずつ移動させながら各撮影位置でRGB撮影を行い、隣接するRGB撮影範囲V71をRGB撮影した複数枚(図21(a)では15枚)の対象標本画像を取得することで全体として対象標本Sの広範囲を映した全体画像I7を得る。また、多バンド信号取得部12が、各撮影位置でのRGB撮影範囲V71のRGB信号値の取得と同期して、そのRGB撮影範囲V71内の多バンド信号取得視野V73における多バンド信号値を取得する。
そして、実施の形態3では、例えば、各多バンド信号取得視野V73における多バンド信号値の中から、その信号強度をもとに所定数の多バンド信号取得視野V73(図21(b)では9箇所)における多バンド信号値を選択する。例えば、図21(b)の例では、RGB撮影範囲V71−1内の多バンド信号取得視野V73−1における多バンド信号値は選択している一方、RGB撮影範囲V71−2内の多バンド信号取得視野V73−2における多バンド信号値については選択していない。
次に、実施の形態3の画像処理システム1bが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部24bに記録された画像処理プログラム241bに従って画像処理システム1bの各部が動作することで実現される。実施の形態3では、図5の全体フローチャートにおいて、ステップa1の撮影処理が実施の形態1と異なる。図22は、実施の形態3における撮影処理の詳細な処理手順を示すフローチャートである。
図22に示すように、実施の形態3の撮影処理では、制御部26は、ステップf1〜ステップf9の処理を行って全ての撮影位置においてRGB撮影範囲をRGB撮影し、多バンド信号取得視野を多バンド撮影する。なお、実施の形態3の撮影処理では、ステップf5で取得した多バンド信号取得視野内の多バンド信号値が、多バンド信号選択部258bに出力される。
そして、続くステップh11では、多バンド信号選択部258bが、ステップf5で取得した多バンド信号値の信号強度をもとに、後段の処理において対象標本を染色している色素Hおよび色素Eの分光特性を決定する際に用いる所定数の多バンド信号値を選択する。例えば、RGB撮影範囲毎に取得した多バンド信号値のうち、その信号強度が予め設定される所定範囲内である多バンド信号値を所定数選択する。ここで、選択する多バンド信号値の数は、適宜設定することとしてよい。なお、信号強度が予め設定される所定範囲内である多バンド信号値を全て選択することとしてもよい。また、多バンド信号値を選択する信号強度の範囲(値の幅)は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、信号強度が各範囲内である多バンド信号値を所定数ずつ選択するようにしてもよい。
なお、実施の形態3の色素分光特性決定処理では、実施の形態2と同様に、図9に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Hおよび色素Eの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性を1つ選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。
以上説明したように、実施の形態3によれば、RGB撮影範囲毎に取得した多バンド信号値のうち、信号強度が所定範囲内である所定数の多バンド信号値を選択することができる。そして、選択した多バンド信号値を用いて対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。したがって、色素の分光特性を決定するのに適切な信号強度の多バンド信号値を選択できるとともに、選択する多バンド信号値の数を適宜調整することで、色素分光特性決定処理(図7を参照)の処理時間(色素Hおよび色素Eの分光特性を決定するのに要する時間)の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。
(変形例5)
実施の形態3では、多バンド信号値の信号強度をもとに、対象標本を染色している色素Hおよび色素Eの分光特性を決定する際に用いる多バンド信号値を選択することとした。これに対し、RGB撮影範囲をRGB撮影して取得したRGB信号値の信号強度をもとに多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を用いて色素Hおよび色素Eの分光特性を決定することとしてもよい。
図23は、変形例5における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態1と同様の構成には同一の符号を付する。
図23に示すように、変形例5の撮影処理では、先ず、制御部26がステージ駆動部18を駆動してステージ13の移動を制御し、最初の撮影位置にRGB信号取得部11のRGB撮影範囲を移動させる(ステップi1)。続いて、制御部26は、顕微鏡撮影システム10のRGB信号取得部11の動作を制御して対象標本をRGB撮影し、RGB信号値を取得する(ステップi3)。その後、制御部26は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は(ステップi5:No)、制御部26は、ステージ駆動部18を駆動してステージ13の移動を制御し、次の撮影位置にRGB信号取得部11のRGB撮影範囲を移動させた後(ステップi7)、ステップi3に戻って上記した処理を繰り返す。
一方、現在の撮影位置が最後の撮影位置の場合には(ステップi5:Yes)、制御部26は、ステップi3で取得したRGB信号値の信号強度をもとに、多バンド信号取得位置を設定する(ステップi9)。例えば、RGB信号値の信号強度が予め設定される所定範囲内である対象標本画像内の画素位置の中から所定数の画素位置を選択し、対応するステージ13上の位置を多バンド信号取得位置として設定する。具体的な処理手順としては、例えば、ステップi3において各撮影位置で取得したRGB信号値の信号強度分布を生成し、生成した信号強度分布の中から、信号強度が所定範囲内であるRGB信号値をランダムに所定数(例えば20箇所)選択する。その後、選択したRGB信号値の座標(画素位置)に対応するステージ13上の位置を多バンド信号取得位置として設定する。ここで、設定する多バンド信号取得位置の数は、適宜設定することとしてよい。なお、上記した実施の形態3と同様に、対象標本画像内の画素位置を選択する信号強度の範囲(値の幅)は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、各撮影位置で取得したRGB信号値の信号強度分布の中から、信号強度が各範囲内であるRGB信号値をそれぞれ所定数ずつランダムに選択するようにしてもよい。
続いて、制御部26は、ステージ駆動部18を駆動してステージ13の移動を制御し、多バンド信号取得部12の多バンド信号取得視野にステップi9で設定した多バンド信号取得位置を位置付ける(ステップi11)。その後、制御部26は、多バンド信号取得部12の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する(ステップi13)。
続いて、制御部26は、ステップi9で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部26は、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には(ステップi15:No)、ステップi11に戻り、ステージ駆動部18を駆動して多バンド信号取得部12の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部26は、ステップi13において多バンド信号取得部12の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。全ての多バンド信号取得位置について多バンド信号値を取得した場合には(ステップi15:Yes)、撮影処理を終える。
なお、変形例5の色素分光特性決定処理では、実施の形態2と同様に、図9に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Hおよび色素Eの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Hおよび色素Eの分光特性を1つ選び、対象標本を染色している色素Hおよび色素Eの分光特性として決定する。
以上説明したように、変形例5によれば、RGB撮影範囲毎に取得したRGB信号値の中から信号強度が所定範囲内である所定数のRGB信号値を選択し、選択したRGB信号値の座標(画素位置)を多バンド信号取得位置として設定することができる。そして、設定した多バンド信号取得位置における多バンド信号値を取得し、取得した多バンド信号値を用いて対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。したがって、RGB信号値が所望の信号強度である画素位置の中から多バンド信号取得位置を選択できるとともに、多バンド信号取得位置の数を適宜調整することで、色素分光特性決定処理(図7を参照)の処理時間(色素Hおよび色素Eの分光特性を決定するのに要する時間)の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Hおよび色素Eの分光特性を決定することができる。
(実施の形態4)
顕微鏡を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像(対象標本画像)を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「VS画像」と称す。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。
実施の形態4は、本発明を上記したバーチャル顕微鏡システムに適用したものである。図24は、実施の形態4のバーチャル顕微鏡システム3の概観例を示す概略斜視図である。図24に示すように、バーチャル顕微鏡システム3は、顕微鏡装置40とホストシステム60とがデータの送受可能に接続されて構成されている。ホストシステム60は、例えばキーボードやマウス等の入力部61と、表示部62とを備えている。
図25は、実施の形態4のバーチャル顕微鏡システム3の全体構成例を示す模式図である。ここで、図25に示す対物レンズ47の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
顕微鏡装置40は、対象標本Sが載置される電動ステージ41と、側面視略コの字状を有し、電動ステージ41を支持するとともにレボルバ46を介して対物レンズ47を保持する顕微鏡本体44と、顕微鏡本体44の底部後方(図25の右方)に配設された光源48と、顕微鏡本体44の上部に載置された鏡筒49とを備える。また、鏡筒49には、対象標本Sの標本像を目視観察するための双眼部51と、対象標本Sの標本像を撮像するためのTVカメラ52が取り付けられている。なお、対象標本Sは、実施の形態1等と同様に、H&E染色された標本(生体組織標本)である。
電動ステージ41は、XYZ方向に移動自在に構成されている。すなわち、電動ステージ41は、モータ421およびこのモータ421の駆動を制御するXY駆動制御部423によってXY平面内で移動自在である。XY駆動制御部423は、顕微鏡コントローラ53の制御のもと、図示しないXY位置の原点センサによって電動ステージ41のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ421の駆動量を制御することによって、対象標本S上の観察箇所を移動させる。そして、XY駆動制御部423は、観察時の電動ステージ41のX位置およびY位置を適宜顕微鏡コントローラ53に出力する。また、電動ステージ41は、モータ431およびこのモータ431の駆動を制御するZ駆動制御部433によってZ方向に移動自在である。Z駆動制御部433は、顕微鏡コントローラ53の制御のもと、図示しないZ位置の原点センサによって電動ステージ41のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ431の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に対象標本Sを焦準移動させる。そして、Z駆動制御部433は、観察時の電動ステージ41のZ位置を適宜顕微鏡コントローラ53に出力する。
レボルバ46は、顕微鏡本体44に対して回転自在に保持され、対物レンズ47を対象標本Sの上方に配置する。対物レンズ47は、レボルバ46に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ46の回転に応じて観察光の光路上に挿入されて対象標本Sの観察に用いる対物レンズ47が択一的に切り換えられるようになっている。
顕微鏡本体44は、底部において対象標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源48から射出された照明光を集光するコレクタレンズ451、照明系フィルタユニット452、視野絞り453、開口絞り454、照明光の光路を対物レンズ47の光軸に沿って偏向させる折曲げミラー455、コンデンサ光学素子ユニット456、トップレンズユニット457等が、照明光の光路に沿って適所に配置されて構成される。光源48から射出された照明光は、照明光学系によって対象標本Sに照射され、観察光として対物レンズ47に入射する。
また、顕微鏡本体44は、その上部においてフィルタユニット50を内設している。フィルタユニット50は、分光特性の異なるバンドパスフィルタ503を回転自在に保持し、このバンドパスフィルタ503を、適宜対物レンズ47後段において観察光の光路上に挿入する。実施の形態1では、多バンドセンサによって多バンド信号値を取得することとしたが、実施の形態4では、フィルタユニット50によって多バンド信号値を取得する。具体的には、例えば、フィルタユニット50は、3つ以上の装着孔を備え、1つの穴が空穴とされ、残りの2つ以上の装着穴にバンドパスフィルタ503が装着されて構成される。そして、多バンド撮影時には、フィルタユニット50を回転させることで2枚以上のバンドパスフィルタ503を順次観察光の光路上に挿入し、TVカメラ52によって多バンド信号値を取得する。一方、RGB撮影時には、前述の空穴を観察光の光路上に配置し、TVカメラ52によってRGB信号値を取得する。なお、ここでは、バンドパスフィルタ503を対物レンズ47の後段に配置する場合を例示したが、これに限定されるものではなく、光源48からTVカメラ52に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ47を経た観察光は、このフィルタユニット50を経由して鏡筒49に入射する。
鏡筒49は、フィルタユニット50を経た観察光の光路を切り換えて双眼部51またはTVカメラ52へと導くビームスプリッタ491を内設している。対象標本Sの標本像は、このビームスプリッタ491によって双眼部51内に導入され、接眼レンズ511を介して検鏡者に目視観察される。あるいはTVカメラ52によって撮像される。TVカメラ52は、標本像(詳細には対物レンズ47の視野範囲の標本像)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム60に出力する。
そして、顕微鏡装置40は、顕微鏡コントローラ53とTVカメラコントローラ54とを備える。顕微鏡コントローラ53は、ホストシステム60の制御のもと、顕微鏡装置40を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ53は、レボルバ46を回転させて観察光の光路上に配置する対物レンズ47を切り換える処理や、切り換えた対物レンズ47の倍率等に応じた光源48の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部423やZ駆動制御部433に対する電動ステージ41の移動指示等、対象標本Sの観察に伴う顕微鏡装置40の各部の調整を行うとともに、各部の状態を適宜ホストシステム60に通知する。TVカメラコントローラ54は、ホストシステム60の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ52を駆動し、TVカメラ52の撮像動作を制御する。
一方、ホストシステム60は、実施の形態1の画像処理システム1の顕微鏡撮影システム10を除く構成をもとに構成したものであり、図24に示す入力部61や表示部62の他、図3に示した通信部23、記憶部24、信号処理部25、制御部26に相当する機能部を含む。なお、実施の形態2や実施の形態3、変形例1〜変形例5の構成を適用することも可能である。
このホストシステム60は、入力部61から入力される入力信号や、顕微鏡コントローラ53から入力される顕微鏡装置40各部の状態、TVカメラ52から入力される画像データ、ホストシステム60を構成する記憶部に記録されるプログラムやデータ等をもとにホストシステム60を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ53やTVカメラコントローラ54に対する顕微鏡装置40各部の動作指示を行い、バーチャル顕微鏡システム3全体の動作を統括的に制御する。そして、ホストシステム60は、顕微鏡装置40が対象標本Sを部分的にRGB撮影することによって得られる複数の対象標本画像をそれぞれ処理し、VS画像を生成する。ここで、VS画像とは、顕微鏡装置40によってRGB撮影した1枚以上の画像を繋ぎ合せて生成した画像のことである。実施の形態4でいうVS画像とは、例えば高倍率の対物レンズを用いて対象標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをいう。
この実施の形態3によれば、実施の形態1と同様の効果を奏することが可能なバーチャル顕微鏡システムが実現できる。
なお、上記した各実施の形態や各変形例では、H&E染色された標本を対象標本とした場合について説明したが、H&E染色以外にも様々な染色法が知られている。これらの染色法は、一般染色、特殊染色および免疫生体組織化学的染色に大別されるが、本発明は、いずれの染色法で染色された標本に対しても同様に適用可能である。
また、本発明は、上記した各実施の形態やその変形例そのままに限定されるものではなく、各実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や各変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
例えば、実施の形態2と実施の形態3とを組み合わせ、ユーザが選択した多バンド信号取得位置における多バンド信号値の中から、信号強度が所定範囲内である所定数の多バンド信号値を選択するようにしてもよい。また、実施の形態1等では、被写体分光特性算出部252において対象標本の分光特性を推定し、色素量算出部253において推定した分光特性をもとに対象標本の色素量を推定することとした。これに対し、分光特性の推定は必ずしも行う必要はなく、対象標本画像から対象標本の色素量を推定することも可能である。この場合には、被写体分光特性算出部252を除外して信号処理部25(図3),25b(図20)を構成するとともに、RGB信号取得部11が取得したRGB信号値を色素量算出部253に入力するようにし、色素量算出部253がRGB信号値をもとに対象標本の色素量を推定する処理を行えばよい。