JP2009025147A

JP2009025147A - 画像処理装置および画像処理プログラム

Info

Publication number: JP2009025147A
Application number: JP2007188391A
Authority: JP
Inventors: Shinsuke Tani; 伸介谷
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-07-19
Filing date: 2007-07-19
Publication date: 2009-02-05

Abstract

【課題】照明光の照明放射分布の不均一性に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させること。
【解決手段】照明画像取得制御部１７１は、画像取得部１１０を制御し、照明光を照射した状態で標本無しの背景を撮像した照明画像を取得する。領域分割部１６１は、取得した照明画像を複数の分割領域に分割する。分割領域測定点抽出部１６３は、各分割領域の中から分割領域測定点を抽出する。分光放射特性測定制御部１７３は、分光放射特性測定部１２０の動作を制御して各分割領域測定点における照明の分光放射特性を測定し、分割領域毎の照明の分光放射特性Ｅを決定する。分光特性推定部１６５は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際に、この所定の画素の属する分割領域の照明の分光放射特性Ｅを用いる。
【選択図】図１

Description

本発明は、被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置および画像処理プログラムに関する。

被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。

病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。

エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。

標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業であるため、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者の場合には通常より濃く染色された標本となり、後者の場合には薄く染色された標本となる。このような染色のばらつきを抑えるため、専門の技能を有する染色技師を配置した施設もある。このような施設においては、染色技師の職人的な調整作業によって同一施設内での染色ばらつきをある程度軽減できるが、他の施設との間の染色ばらつきまで軽減することはできない。

この染色ばらつきには、２つの問題がある。第１に、人間が目視観察する場合、観察対象の状態が不揃いであることが観察者のストレスに繋がる可能性がある。重度のばらつきが生じている場合には、決定的な所見を見落とす可能性も否定できない。第２に、染色標本をカメラで撮像して画像処理する場合、染色ばらつきが処理精度に悪影響を及ぼす可能性がある。例えば、ある病変が特定の色を呈することが判っていたとしても、画像から自動的にそれを抽出することが難しくなる。病変による色変化を染色ばらつきが撹乱してしまうからである。

このような染色ばらつきの問題点を解決するために、分光透過率の推定技術が利用されている。例えば、非特許文献１には、カメラの応答システムに基づく関係性に従ってマルチバンド画像から染色標本の分光透過率を推定する手法が開示されている。また、推定した分光透過率と所定の物理モデルとに基づいて染色標本に固定された色素の相対的な量を推定する手法や、推定した色素の量を仮想的に増減させ、増減後の色素量を用いて仮想的な標本のＲＧＢ画像を合成する手法が開示されている。図１７は、合成されたＲＧＢ画像の一例を示す図である。色素量の増減を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。

ここで、染色標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚の光学フィルタ（バンドパスフィルタ）をフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。

撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。

λは波長、ｆ（ｂ，λ）はｂ番目の光学フィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。

実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ・・・（２）
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。

次に、撮像したマルチバンド画像から標本各点における分光透過率を推定する。推定手法としては、例えばウィナー（Wiener）推定を用いる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られている。このウィナー推定を用いた場合、分光透過率の推定値Ｔ＾（ｘ）は、次式（３）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。

Ｒ_SSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。

非特許文献１では、このようにして分光透過率Ｔ＾（ｘ）を推定したならば、このＴ＾（ｘ）に基づいて標本の各点ｘにおける色素量を推定する。そして、推定した色素量を用いて色素量の変化をシミュレートし、色素量を仮想的に変化させた標本の画像を合成することで染色標本の色素量を仮想的に調整する。したがって、例えば、適当なユーザーインターフェースを用意すれば、ユーザが自ら色素量の調整を行い、調整後の画像を確認できるようになる。これによれば、染色標本に染色ばらつきがあっても、ユーザは、適正な染色状態に調整された画像を観察することができ、染色ばらつきの問題が解決できる。

特開平７−１２０３２４号公報 "Color Correction of Pathological Images Based on Dye Amount Quantification"，OPTICAL REVIEW，Vol.12，Ｎｏ.4，2005，p.293-300

ところで、非特許文献１に開示されている手法に従い、ウィナー推定を用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式（１）に示すカメラの応答システムの関係性に基づき、式（３）に示す光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓ、照明の分光放射特性Ｅ、観測対象の統計的性質を表す自己相関行列Ｒ_SS、および観測ノイズの特性を表す自己相関行列Ｒ_NNの各分光特性推定パラメータを事前に取得する必要がある。

このうち、式（３）に含まれる照明の分光放射特性Ｅは、分光計を用いて複数の画素からなる所定範囲の領域（測定領域）における照明の分光放射特性を測定し、得られた測定値を代表値として用いていた。すなわち、所定の測定領域における照明の分光放射特性の測定値を、同一視野内の画素に一様に適用していた。しかしながら、照明光には照明放射分布の不均一性が存在し、同一視野内を均一な照明強度で照射することは技術的に難しい。このため、実際の照明の分光放射特性Ｅは、照明光の照明放射分布の不均一性の影響をうけて同一視野内の各点で特性が異なる場合があり、各画素に同じ照明の分光放射特性Ｅを適用して分光透過率の推定を行うと、推定精度が低下するという問題があった。

本発明は、上記した従来の問題点に鑑みて為されたものであり、照明光の照明放射分布の不均一性に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、前記照明光を照射した状態で背景を撮像した照明画像中の複数の分割領域それぞれの中から、少なくとも一つの分割領域測定点を抽出する測定点抽出手段と、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域測定点における照明の分光放射特性を用いて推定する分光特性推定手段と、を備えることを特徴とする。

また、本発明に係る画像処理プログラムは、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、前記照明光を照射した状態で背景を撮像した照明画像中の複数の分割領域それぞれの中から、少なくとも一つの分割領域測定点を抽出する測定点抽出ステップ、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域測定点における照明の分光放射特性を用いて推定する分光特性推定ステップ、を実行させることを特徴とする。

本発明によれば、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、本実施の形態では、Ｈ＆Ｅ染色された病理標本を被写体とし、病理標本を撮像したマルチバンド画像から、分光特性値として分光透過率のスペクトル特徴値を推定する場合について説明する。

先ず、本実施の形態に係る画像処理装置の構成について説明する。図１は、画像処理装置の機能構成を示すブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１０と、分光放射特性測定部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、画像処理部１６０と、装置各部を制御する制御部１７０とを備える。

画像取得部１１０は、Ｈ＆Ｅ染色された分光透過率の推定対象の標本（以下、「対象標本」という。）を撮像して６バンドのマルチバンド画像を取得する。図２は、画像取得部１１０の構成を示す図である。図２に示すように、画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図３は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図４−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図４−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像及び第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は制御部１７０に出力され、対象標本画像として記憶部１５０に保持される。

この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、標本対象標本Ｓを透過した透過光は、光学系１１７及び光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図５に示す。

また、本実施の形態では、この画像取得部１１０を利用し、照明光を照射した状態で標本無しの背景を撮像することによって、照明光の反射画像である照明画像を取得する。取得された照明画像は制御部１７０に出力され、記憶部１５０に保持される。この照明画像は、標本保持部１１３に標本を載置せずに撮像を行うことで取得できる。なお、照明画像を取得する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して撮像を行う。

分光放射特性測定部１２０は、後述する分割領域測定点における照明の分光放射特性を測定する。図６は、分光放射特性測定部１２０の構成を示す図である。図６に示すように、分光放射特性測定部１２０は、分光計１２１、電動ステージ１２３、ステージ制御部１２５、照明部１２６、標本保持部１２７、光学系１２８等を備える。この分光放射特性測定部１２０は、図２に示した画像取得部１１０のＲＧＢカメラ１１１およびフィルタ部１１９を、分光計１２１、電動ステージ１２３およびステージ制御部１２５と置き換えたものであり、画像取得部１１０および分光放射特性測定部１２０は、必要に応じてこれらの構成を置き換えることで構成できる。

分光計１２１は、検出器としてＣＣＤを用い、所定の測定領域における照明部１２６からの照明光の分光強度分布を取得して照明の分光放射特性を測定する。この分光計１２１は、測定領域の画像を撮像できる。撮像された画像は制御部１７０に出力され、分光計画像として記憶部１５０に格納される。なお、分光計１２１は、その測定領域の測定中心（すなわち、分光計画像の画像中心）が照明光の光軸上に位置するように設置されるものであり、本実施の形態では、初期状態での分光計１２１の測定中心と照明画像の画像中心とが同軸上に位置することが保証されているものとする。

電動ステージ１２３は、分光計１２１の位置をＸＹ平面上の任意の位置に移動する。ステージ制御部１２５は、電動ステージ１２３の移動を制御し、電動ステージ１２３をＸＹ方向にステップ移動させる。このステージ制御部１２５は、電動ステージ１２３の移動制御に必要なデータを保持するメモリを内蔵したマイクロコンピュータ等で構成される。メモリには、電動ステージ１２３の移動量を照明画像座標系での分光計１２１の測定中心の位置移動量に換算するための関係式や、電動ステージ１２３の移動量を分光計画像座標系での分光計１２１の測定中心の移動量に換算するための関係式が、電動ステージ１２３の制御式として予め格納される。ステージ制御部１２５は、これらの制御式に従って電動ステージ１２３の移動量を算出し、分光計１２１の測定中心を分割領域測定点に移動させる。なお、本実施の形態では、照明画像座標系の原点を照明画像の画像中心とし、分光計画像座標系の原点を分光計画像の画像中心とする。

入力部１３０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１７０に出力する。

表示部１４０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１７０から入力される表示信号に基づいて各種画面を表示する。

記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置１０の動作に係るプログラムや、画像処理装置１０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。例えば、照明画像や対象標本画像の画像データ、照明画像の領域分割結果等が格納される。また、照明画像をその画素値に基づいて分割した分割領域毎の照明の分光放射特性Ｅを決定し、対象標本の分光特性を推定するための画像処理プログラム１５１や、分割領域別照明分光放射特性データ１５３が格納される。この分割領域別照明分光放射特性データ１５３は、分割領域毎の照明の分光放射特性Ｅを記憶する。

画像処理部１６０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１６０は、照明画像を複数の分割領域に分割する領域分割部１６１と、領域分割部１６１によって分割された各分割領域の中からそれぞれ一つまたは複数の測定点（分割領域測定点）を抽出する分割領域測定点抽出部１６３と、撮像した対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する分光特性推定部１６５とを含む。

制御部１７０は、ＣＰＵ等のハードウェアによって実現される。この制御部１７０は、入力部１３０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、この制御部１７０は、画像取得部１１０の動作を制御して照明画像を取得する照明画像取得制御部１７１と、分光放射特性測定部１２０の動作を制御して分割領域測定点抽出部１６３によって抽出された各分割領域測定点における照明の分光放射特性を測定する分光放射特性測定制御部１７３と、画像取得部１１０の動作を制御して対象標本画像を取得する標本画像取得制御部１７５とを含む。

次に、画像処理装置１０における処理の手順について説明する。本実施の形態の画像処理装置１０は、分割領域毎の照明の分光放射特性Ｅを決定する処理（以下、「分光放射特性決定処理」と称す。）と、対象標本の分光特性を推定する処理（以下、「分光特性推定処理」と称す。）とを実行する。

先ず、分光放射特性決定処理の手順について説明する。ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って画像処理装置１０の各部が動作することによって実現される。図７は、分光放射特性決定処理の手順を示すフローチャートである。この分光放射特性決定処理では、先ず、照明画像取得制御部１７１が、画像取得部１１０の動作を制御し、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得する（ステップＳ１０１）。

次に、領域分割部１６１が、照明画像をグレースケールに変換し、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する（ステップＳ１０３）。作成されたヒストグラムのデータは、記憶部１５０に格納される。図８に、作成されたヒストグラムの一例を示す。領域分割部１６１は、このヒストグラムから得られる画素値の分布幅に応じて、領域分割処理を実行するか否かを判定する。すなわち、領域分割部１６１は、作成したヒストグラムから画素値の分布幅を算出する（ステップＳ１０５）。そして、領域分割部１６１は、算出した分布幅と事前に閾値として設定される基準分布幅とを比較し、領域分割処理を実行するか否かを判定する。

算出した分布幅が基準分布幅より小さい場合には（ステップＳ１０７：Ｎｏ）、領域分割部１６１は、領域分割処理を実行しないと判定する。この場合には、領域分割部１６１は、照明画像の全域を一つの分割領域とし、例えば照明画像の中心画素を分割領域測定点としてステップＳ１１３に移行する。これにより、照明光の照明放射分布の不均一性の程度によっては、照明画像中の任意の画素（この場合は照明画像の中心画素）が分割領域測定点とされ、後述するステップＳ１１３の処理によって測定される照明画像の中心画素を測定中心とした測定値を、照明の分光放射特性Ｅとする。そして、従来と同様に、同一視野内の分光透過率の推定に一様に用いられる。

一方、領域分割部１６１は、分布幅が基準分布幅以上の場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０９に移行し、領域分割処理を実行する。なお、ステップＳ１０３で作成したヒストグラムをユーザに視覚的に提示し、ユーザ操作に従って領域分割処理を実行するか否かを判定してもよい。この場合には、制御部１７０は、図８に例示したような領域分割部１６１によって作成されたヒストグラムを表示部１４０に表示する制御を行うとともに、照明画像を分割領域に分割するか否かの判定依頼の通知を表示する制御を行う。図９は、照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。通知画面Ｗ１０には、分割を行うか否かの判定を依頼する旨のメッセージが表示されるとともに、分割を行う／行わないの何れかを選択するためのボタンＢ１１，Ｂ１３が配置されている。ユーザは、入力部１３０を介してボタンＢ１１またはボタンＢ１３の押下操作を行い、分割指示または非分割指示を入力する。この判定依頼の通知に対する応答に従い、領域分割部１６１は、領域分割処理を実行するか否かを判定する。

ここで、ステップＳ１０９による領域分割処理について説明する。図１０は、領域分割処理の手順を示すフローチャートである。この領域分割処理では、領域分割部１６１は、先ず、階調変換処理を行って照明画像を複数の分割領域に分割する（ステップＳ２０１）。このとき、階調変換処理の結果得られた各分割領域を特定するためのデータが、記憶部１５０に保持される。

この階調変換処理は、事前に指定される分割パラメータに基づいて行われる。本実施の形態では、分割パラメータとして、照明放射強度幅（画素値の強度幅）Ｉを用いる。具体的には、領域分割部１６１は、ステップＳ１０３で作成したヒストグラムに基づいて画素の最大値および最小値を算出する。次いで、領域分割部１６１は、照明放射強度幅Ｉに基づいて、算出した最大値と最小値との間に含まれる各画素の階調変換を行い、階調変換画像を得る。例えば、最大値をＭ、最小値をｍとし、各画素を階調区間である画素値幅［ｍ，Ｍ−ｎＩ］，［Ｍ−２Ｉ＋１，Ｍ−１］，・・・［Ｍ−Ｉ＋１，Ｍ］でそれぞれカテゴリー化する。そして、階調区間の最大値を変換値とし、各カテゴリーに分類された画素を階調変換する。このようにして、領域分割部１６１は、照明放射強度幅Ｉに応じた階調区間毎に照明画像を階調変換することにより、照明画像を複数の分割領域に分割する。またこのとき、領域分割部１６１は、各分割領域が分光計１２１の測定領域と比較して十分に大きい面積となるように照明放射強度幅Ｉを調整し、最終的な照明放射強度幅Ｉの値を設定する。図１１は、照明画像の分割領域の一例を示す図である。図１１に示す例では、照明画像Ｇ１０が、三つの分割領域Ａ１１，Ａ１３，Ａ１５に分割されている。

次に、領域分割部１６１は、階調変換結果に基づいて二値化処理を行い、分割領域毎に二値画像を取得する（ステップＳ２０３）。続いて、領域分割部１６１は、得られた分割領域毎の二値画像それぞれにラベリング処理を行い、各二値画像中の連結成分（連結している画素群）に固有の値（ラベル）を付ける（ステップＳ２０５）。このラベリング処理によって、各分割領域からそれぞれ少なくとも一つの二値画像分割領域を取得することができる。このとき、二値化処理およびラベリング処理の結果得られた各二値画像分割領域を特定するためのデータが、記憶部１５０に保持される。なお、ステップＳ２０３の二値化処理及びステップＳ２０５のラベリング処理の具体的な処理方法は、本発明の特徴から限定する必要はなく、公知の処理を用いることにより実施できる。図１２は、二値画像の二値画像分割領域の一例を示す図である。この図１２は、図１１に示す照明画像Ｇ１０の分割領域Ａ１１を対象とした二値化処理およびラベリング処理の結果得られた二値画像分割領域を示しており、この二値画像Ｇ２０によれば、分割領域Ａ１１について４つの二値画像分割領域Ａ２１，Ａ２３，Ａ２５，Ａ２７が取得されている。ラベリング処理の後、図７のステップＳ１０９にリターンし、その後ステップＳ１１１に移行する。

ステップＳ１１１では、分割領域測定点抽出部１６３が、ステップＳ１０９の領域分割処理の結果得られた分割領域の中から一つまたは複数の分割領域測定点を抽出する。具体的には、分割領域測定点抽出部１６３は、照明画像を分割した各分割領域をそれぞれ処理対象として、次の処理を行う。先ず、処理対象の分割領域から取得した二値画像分割領域の中から、最大面積の二値画像分割領域を選出する。ここでの処理により、例えば、図１２の例では、二値画像分割領域Ａ２１が選出される。次いで、選出した二値画像分割領域に含まれる各画素の画素値に基づいて、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する。次いで、作成したヒストグラムに基づいて、その個数が予め設定された所定の閾値以下である画素値をノイズとして除去し、除去した画素値以外の画素値の最小値と最大値とに基づいて、その中心値を算出する。そして、選出した二値画像分割領域に含まれる画素の中から、算出した中心値を画素値とする画素を一つまたは複数個無作為に選出し、処理対象の分割領域における分割領域測定点とする。このようにして抽出された分割領域毎の分割領域測定点は、記憶部１５０に格納される。これにより、分割領域内の画素の中から、その分割領域において平均的な照明放射強度の画素を分割領域測定点として抽出することができる。分割領域測定点は、何点抽出することとしても構わないが、複数抽出する場合には、抽出済みの分割領域測定点を測定中心とした場合の分光計１２１の測定領域内に存在する画素を抽出対象から除外し、同一の測定領域内から複数の分割領域測定点を抽出しないようにする。

なお、領域分割処理の結果をユーザに視覚的に提示し、ユーザ操作に従って分割領域測定点を抽出してもよい。この場合には、制御部１７０は、図１１に例示したような照明画像の分割領域を表示部１４０に表示する制御を行うとともに、分割領域毎に分割領域測定点の選出依頼の通知を表示する制御を行う。図１３は、分割領域測定点の選出依頼の通知画面の一例を示す図である。通知画面Ｗ２０には、分割領域毎に分割領域測定点の選出を依頼する旨のメッセージＭ２０が表示されている。ユーザは、入力部１３０を介して各分割領域からそれぞれ一つまたは複数の分割領域測定点の位置を指定することによって、分割領域毎の分割領域測定点を選出する。また、取消ボタンＢ２１の押下操作によって指定操作を取り消し、或いは決定ボタンＢ２３の押下操作によって指定操作を確定する。この通知画面Ｗ２０では、分割領域測定点の指定操作に応じてその選出位置が識別表示されるようになっており、図１３の例では、分割領域Ａ１１の中から選出された分割領域測定点の位置Ｐ１０が識別表示されている。この選出依頼の通知に対する応答に従い、分割領域測定点抽出部１６３は、各分割領域の分割領域測定点を抽出する。或いは、図１２に例示したような分割領域から取得した二値画像分割領域を分割領域毎に表示部１４０に表示する制御を行い、最大面積の二値画像分割領域の中からその分割領域における分割領域測定点を選択させるようにしてもよい。

続いて、分光放射特性測定制御部１７３が分光放射特性測定部１２０の動作を制御し、ステップＳ１１１で抽出された各分割領域測定点をそれぞれ処理対象としてステップＳ１１３，Ｓ１１５の処理を行い、各分割領域測定点における照明の分光放射特性を測定する。すなわち、先ず、ステージ制御部１２５が、電動ステージ１２３の移動を制御して、分光計１２１の測定中心を処理対象の分割領域測定点に移動させる（ステップＳ１１３）。

具体的には、ステージ制御部１２５は、メモリから電動ステージ１２３の移動量を照明画像座標系での分光計１２１の測定中心の位置移動量に換算するための関係式を読み出す。この関係式は、電動ステージの移動量（Ｘ，Ｙ）に対する照明画像座標系での分光計１２１の測定中心の位置移動量（ｘ₁，ｙ₁）から、次式（４）で表される。

この式（４）から、制御パラメータαを算出することができる。この制御パラメータαは、行列式（５）で表される。

また、ステージ制御部１２５は、メモリから電動ステージ１２３の移動量を分光計画像座標系での分光計１２１の測定中心の位置移動量に換算するための関係式を読み出す。この関係式は、電動ステージの移動量（Ｘ，Ｙ）に対する分光計座標系での分光計１２１の測定中心の位置移動量（ｘ₂，ｙ₂）から、次式（６）で表される。

ここで制御パラメータβは、行列式（７）で表される。

そして、ステージ制御部１２５は、これらの制御式（６）、（７）を用いて電動ステージ１２３の移動量を算出する。例えば、分割領域測定点の座標を（ｘ，ｙ）とすると、照明画像座標系における分光計１２１の測定中心を分割領域測定点へと移動させるための電動ステージ１２３の移動量は、次式（８）で表される。

なお、このとき、制御部１７０が、照明画像座標系における分光計１２１の測定中心と、処理対象の分割領域測定点とを併せて表示部１４０に表示する制御を行うことによって、これらの位置をユーザに視覚的に提示することとしてもよい。これによれば、ユーザは、分光計１２１の測定中心と分割領域測定点との位置が一致しているか否かを確認することができる。

分光計１２１の測定中心が処理対象の分割領域測定点に移動されたならば、続いて、分光計１２１が、この分割領域測定点における照明の分光放射特性を測定する（ステップＳ１１５）。測定された照明の分光放射特性は、処理対象の分割領域測定点の識別情報とともに記憶部１５０に格納される。

そして、分光放射特性測定制御部１７３は、全ての分割領域測定点について測定を行ったか否かを判定し、全ての分割領域測定点に対して測定を行っていない場合には（ステップＳ１１７：Ｎｏ）、ステップＳ１１３に戻り、未測定の分割領域測定点を処理対象として上記の処理を行う。全ての分割領域測定点について測定を行ったならば（ステップＳ１１７：Ｙｅｓ）、ステップＳ１１９に移行する。

ステップＳ１１９では、分光放射特性測定制御部１７３は、分割領域毎の照明の分光放射特性Ｅを決定する。このとき、一の分割領域の中から抽出された分割領域測定点が一つの場合には、この分割領域測定点における測定値を当該分割領域における照明の分光放射特性Ｅとする。一方、一の分割領域の中から抽出された分割領域測定点が複数個ある場合には、各分割領域測定点における測定値から平均値を算出し、算出した平均値を当該分割領域における照明の分光放射特性Ｅとする。そして、分光放射特性測定制御部１７３は、各分割領域の照明の分光放射特性Ｅを決定したならば、これらを対応する分割領域の識別情報と関連付け、分割領域別照明分光放射特性データ１５３として記憶部１５０に格納する。

次に、分光特性推定処理の手順について説明する。図１４は、分光特性推定処理の手順を示すフローチャートである。この分光特性推定処理では、先ず、標本画像取得制御部１７５が、画像取得部１１０の動作を制御して、分光透過率の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ３０１）。

続いて、分光特性推定部１６５が、対象標本画像の任意の点ｘにおける画素に対応する対象標本点における分光透過率を推定する。すなわち、分光特性推定部１６５は、先ず、点ｘの画素の属する分割領域を特定し、この分割領域における照明の分光放射特性Ｅを記憶部１５０に格納された分割領域別照明分光放射特性データ１５３から読み出して取得する（ステップＳ３０３）。

また、分光特性推定部１６５は、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓ、標本の分光透過率の自己相関行列Ｒ_SS、およびＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNの各分光特性推定パラメータを取得する（ステップＳ３０５）。

ここで、光学フィルタ１１９１ａ，１１９１ｂの分光透過率ＦおよびＲＧＢカメラ１１１の分光感度特性Ｓは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。

また、標本の分光透過率の自己相関行列Ｒ_SSおよびＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNについても、事前に測定しておく。Ｒ_SSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。一方、Ｒ_NNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。ただし、バンド間でノイズの相関はないと仮定している。

そして、分光特性推定部１６５は、ステップＳ３０３およびステップＳ３０５で取得した各パラメータを用い、対象標本画像の点ｘに対応する対象標本点における分光透過率をウィナー推定によって推定する（ステップＳ３０７）。具体的には、背景技術で示した次式（３）に従い、対象標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１５０に格納される。

本画像処理装置１０によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１４０に画面表示されて病理診断に利用される。

本実施の形態によれば、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得し、この照明画像を照明放射強度幅Ｉに基づいて分割した分割領域毎に、照明の分光放射特性Ｅを決定することができる。具体的には、各分割領域の中からそれぞれ抽出した分割領域測定点における照明の分光放射特性を測定し、測定値に基づいて分割領域毎の照明の分光放射特性Ｅを決定することができる。そして、対象標本画像を構成する画素に対応する対象標本点の分光透過率をウィナー推定によって推定する際に、この画素の属する分割領域に応じた照明の分光放射特性Ｅを用いることができる。これによれば、同一視野内の照明放射分布の不均一性による推定精度の低下問題は、同一分割領域内の照明放射分布の不均一性による推定精度の低下問題となる。したがって、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。

なお、上記の実施の形態では、初期状態での分光計１２１の測定中心と照明画像の画像中心とが照明光の光軸上に位置することが保証された系を前提としており、これらが照明光の光軸上からずれる場合も考えられる。この問題は、以下のようにして照明画像座標（ｘ，ｙ）の点における照明の分光放射特性Ｅを測定することで解決される。

すなわち、予め、ＲＧＢカメラ１１１によって撮像された照明画像から、標本保持部１１３の中心位置（ｘ₀，ｙ₀）を算出しておく。そして、電動ステージ１２３をそのＸＹ移動平面における原点位置に移動させ、分光計１２１によって分光計画像を撮像する。そして、この分光計画像から、分光計画像座標系における分光計１２１の測定中心（ｘ₁，ｙ₁）および標本保持部１２７の中心位置（ｘ₂，ｙ₂）を算出する。そして、照明画像座標系における標本保持部１１３の中心位置（ｘ₀，ｙ₀）、分光計画像座標系における分光計１２１の測定中心（ｘ₁，ｙ₁）、および標本保持部１２７の中心位置（ｘ₂，ｙ₂）に基づいて電動ステージ１２３の移動制御を行うことで、照明画像座標系における分光計１２１の測定中心と、処理対象の分割領域測定点とを一致させる。例えば、分割領域測定点の座標を（ｘ，ｙ）とすると、照明画像座標系における分光計１２１の測定中心を分割領域測定点へと移動させるための電動ステージ１２３の移動量（Ｘ，Ｙ）は、次式（９）で表される。

これによれば、分割領域測定点における照明の分光放射特性の測定に一般的な分光計を用いることができ、任意の画素の分光特性を測定できる分光計を使用した場合と比較して、装置のコストや規模、複雑性、操作性の面で優れている。

また、照明画像を領域分割するための分割パラメータである照明放射強度幅Ｉは、ユーザ操作に従って設定することとしてもよい。この場合には、制御部１７０は、例えば、図８に例示したような領域分割部１６１によって作成されたヒストグラムを表示部１４０に表示する制御を行うとともに、照明放射強度幅Ｉの入力依頼の通知を表示する制御を行う。図１５は、照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。通知画面Ｗ３０には、照明放射強度幅Ｉの入力操作を受け付ける入力ボックスＢ３０が配置されている。ユーザは、入力部１３０を介して所望の照明放射強度幅Ｉの値を入力ボックスＢ３０に入力することにより、照明放射強度幅Ｉを指定する。領域分割部１６１は、この入力依頼の通知に応答して入力された値を照明放射強度幅Ｉとし、階調変換処理を行う。このように、ユーザ操作によって指定された照明放射強度幅Ｉに基づいて領域分割処理を行うようにすれば、ユーザが照明放射分布の不均一性の許容量を指定することができ、照明光の照明放射分布の不均一性による分光特性の推定精度への影響を許容内に軽減することができる。したがって、ユーザは、指定する照明放射強度幅Ｉの値によって、照明放射分布の不均一性による分光特性の推定誤差の軽減と領域分割に伴う分光特性の推定処理時間の増加とのバランスを適宜調整できる。例えば、照明放射強度幅Ｉを狭く指定すれば、推定処理時間は増大するものの、分光特性の推定誤差は小さくなり、分光特性の推定精度を向上させることができる。一方、照明放射強度幅Ｉを広く指定した場合には、分光特性の推定精度はある程度低下するが、推定処理時間を短縮することができる。

また、上記した実施形態では、分割領域測定点における照明の分光放射特性を分光計１２１で測定する場合について説明したが、画像取得部１１０の各部を製造するメーカ等によって提供される場合等、画素毎の照明の分光放射特性が既知の場合には、改めて測定する必要はない。

図１６は、この場合の画像処理装置の機能構成の一例を示すブロック図である。本変形例に係る画像処理装置１０ｂは、画像取得部１１０と、入力部１３０と、表示部１４０と、記憶部１５０ｂと、画像処理部１６０ｂと、制御部１７０ｂとを備える。制御部１７０ｂは、照明画像取得制御部１７１および標本画像取得制御部１７５とを含み、画像処理部１６０ｂは、領域分割部１６１、分割領域測定点抽出部１６３および分光特性推定部１６５ｂを含む。また、記憶部１５０ｂには、画素毎の照明の分光放射特性Ｅが設定された照明分光放射特性データ１５３が格納される。この場合には、分光特性推定部１６５ｂは、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際、この所定の画素の属する分割領域の中から分割領域測定点抽出部１６３によって抽出された分割領域測定点における照明の分光放射特性Ｅを照明分光放射特性データ１５３から読み出し、これを用いて分光透過率を推定する。本構成では、ユーザが分光計１２１を設置する手間等が省ける。

また、上記した実施形態では、照明放射強度幅Ｉを分割パラメータとして用い、照明画像を分割する場合について説明したが、分割数を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明画像をマス目状に分割して、複数の分割領域に分割することとしてもよい。また、この分割数をユーザ操作に従って設定してもよい。或いは、照明放射強度幅Ｉおよび分割数の両方を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明放射強度幅Ｉを決定し、決定した照明放射強度幅Ｉに従って照明画像を複数の分割領域に分割する。

また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率のスペクトル特徴値を推定する場合にも、同様に適用できる。

また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。

画像処理装置の機能構成を示すブロック図である。画像取得部の構成を示す図である。カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。一の光学フィルタの分光透過率特性を示す図である。他の光学フィルタの分光透過率特性を示す図である。Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。分光放射特性測定部の構成を示す図である。分光放射特性決定処理の手順を示すフローチャートである。照明画像をグレースケールに変換して作成したヒストグラムの一例を示す図である。照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。領域分割処理の手順を示すフローチャートである。照明画像を分割した分割領域の一例を示す図である。二値画像を分割した二値画像分割領域の一例を示す図である。分割領域測定点の選出依頼の通知画面の一例を示す図である。分光特性推定処理の手順を示すフローチャートである。照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。変形例に係る画像処理装置の機能構成の一例を示すブロック図である。ＲＧＢ画像の一例を示す図である。

符号の説明

１０画像処理装置
１１０画像取得部
１２０分光放射特性測定部
１３０入力部
１４０表示部
１５０記憶部
１５１画像処理プログラム
１５３分割領域別照明分光放射特性データ
１６０画像処理部
１６１領域分割部
１６３分割領域測定点抽出部
１６５分光特性推定部
１７０制御部
１７１照明画像取得制御部
１７３分光放射特性測定制御部
１７５標本画像取得制御部

Claims

照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、
前記照明光を照射した状態で背景を撮像した照明画像中の複数の分割領域それぞれの中から、少なくとも一つの分割領域測定点を抽出する測定点抽出手段と、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域測定点における照明の分光放射特性を用いて推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。
前記測定点抽出手段によって抽出された各分割領域の分割領域測定点における照明の分光放射特性を、分光計を用いて測定する分光放射特性測定手段を備えることを特徴とする請求項１に記載の画像処理装置。
前記照明画像を構成する画素の画素値を用いて、前記照明画像を前記複数の分割領域に分割する領域分割処理を実行する領域分割手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
前記領域分割手段は、
前記照明画像を構成する各画素の画素値の分布を算出する画素値分布算出手段と、
前記画素値分布算出手段によって算出された画素値の分布に基づいて、前記領域分割処理を実行するか否かを判定する分割判定手段と、
を有することを特徴とする請求項３に記載の画像処理装置。
画素値分布算出手段によって算出された画素値の分布を表示部に表示する制御を行う画素値分布表示制御手段と、
前記照明画像を前記分割領域に分割するか否かの判定を依頼する判定入力依頼手段と、
を備え、
前記分割判定手段は、前記判定入力依頼手段による判定の依頼に応答して分割指示が入力された場合には前記領域分割処理を実行すると判定し、非分割指示が入力された場合には前記領域分割処理を実行しないと判定することを特徴とする請求項４に記載の画像処理装置。
前記領域分割手段は、照明放射強度幅および／または分割数を分割パラメータとし、該分割パラメータを用いて前記照明画像を前記複数の分割領域に分割することを特徴とする請求項３〜５の何れか一つに記載の画像処理装置。
前記分割パラメータの入力を依頼するパラメータ入力依頼手段を備え、
前記領域分割手段は、前記パラメータ入力依頼手段による入力の依頼に応答して入力された分割パラメータを用いて、前記照明画像を領域分割することを特徴とする請求項６に記載の画像処理装置。
前記領域分割手段は、
前記照明画像を、前記分割パラメータに応じた階調区間毎に階調変換し、階調変換結果に基づいて前記照明画像を前記分割領域に分割する階調変換分割手段と、
前記階調変換結果に基づいて二値化処理を行い、前記分割領域毎の二値画像を取得する二値化手段と、
前記二値化手段による二値化結果に基づいて、前記分割領域毎の二値画像それぞれにラベリング処理を行うラベリング処理手段と、
を有し、
前記測定点抽出手段は、前記ラベリング処理手段の結果に基づいて、前記各分割領域から前記分割領域測定点を抽出することを特徴とする請求項６または７に記載の画像処理装置。
前記複数の分割領域を表示部に表示する制御を行う分割領域表示制御手段と、
前記分割領域毎に、前記分割領域測定点の選出を依頼する測定点選出依頼手段と、
を備え、
前記測定点抽出手段は、前記測定点選出依頼手段による選出の依頼に応答して選出された分割領域測定点に基づいて、前記各分割領域における前記分割領域測定点を抽出することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
前記分光放射特性測定手段は、
前記分光計を移動させる移動手段と、
前記移動手段による前記分光計の移動を制御し、前記分光計の測定位置を前記分割領域測定点に移動させる移動制御手段と、
を有することを特徴とする請求項２に記載の画像処理装置。
前記移動制御手段は、前記分割領域測定点の座標情報、前記移動手段による前記分光計の移動量を前記照明画像上での前記分光計の測定位置の移動量に換算するための制御情報、および前記照明画像上における前記分光計の測定位置の座標情報に基づいて、前記移動手段による前記分光計の移動量を算出することを特徴とする請求項１０に記載の画像処理装置。
前記測定点抽出手段によって抽出された分割領域測定点を表示部に表示する制御を行う測定点表示制御手段と、
前記測定点表示制御手段によって前記表示部に表示制御された分割領域測定点と併せて、前記照明画像上における前記分光計の測定位置を表示する制御を行う測定位置表示制御手段と、
を備えることを特徴とする請求項１０または１１に記載の画像処理装置。
前記分光特性値は、分光透過率または分光反射率のスペクトル特徴値であることを特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置。
照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、
前記照明光を照射した状態で背景を撮像した照明画像中の複数の分割領域それぞれの中から、少なくとも一つの分割領域測定点を抽出する測定点抽出ステップ、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域測定点における照明の分光放射特性を用いて推定する分光特性推定ステップ、
を実行させることを特徴とする画像処理プログラム。