JP2009153970A - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】物体の内部に存在するオブジェクトのぼけを物体の表面までの距離に応じて適切に補正することができる画像処理システムを提供すること。
【解決手段】画像処理システムは、物体の内部に存在するオブジェクトの画像を補正する。画像処理システムは、オブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部と、物体の表面からオブジェクトまでの深さを特定する深さ特定部と、オブジェクト画像を撮像した撮像部から物体の表面までの距離情報を特定する距離情報特定部と、距離情報および深さに応じて、オブジェクト画像を補正する画像補正部とを備える。
【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、物体の内部に存在するオブジェクトの画像を補正する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。

特許文献１に記載の内視鏡では、予め定められた所定範囲についての画像信号に対して、対物光学系の点ひろがり関数を用いて像のボケを解消する処理を施す。これにより、撮像部への入射光量を大きく確保する一方、対物光学系の焦点深度不足による像のボケを解消できるとされている。

また、暗室内で人工太陽光が照射された収穫対象物を２値化情報として取り込みこれをＣＲＴディスプレイ上にドット表示するＣＣＤカメラと、収穫対象物上に基準ポインタとして表示させる一対のレーザ投光器とを備える測定処理装置が知られている（例えば、特許文献２参照。）。この測定処理装置は、ＣＲＴディスプレイ上にドット表示された基準ポインタＰ１、Ｐ２間の距離と実際の収穫対象物上における基準ポインタ間の距離との比率によりＣＲＴディスプレイに表示される収穫対象物の面積ならびに周囲長を求めて、これを比率により比較演算して収穫対象物の位置、形状および大きさを認識する。また、固定焦点レンズと光電変換部であるＣＣＤとよりなり水平画角α、垂直画角βを持つＣＣＤカメラと、光軸Ｘ−Ｘに対し一定間隔ＬＡ／２を置いてＣＣＤカメラの両サイドに設けた放射角θを持つ一組の放射状垂直平行レーザ光を放射するレーザ光源とを備える距離測定装置が知られている（例えば、特許文献３参照。）。
特開平１０−１６５３６５号公報 特開平７―２５０５３８号公報 特開２０００―２３０８０７号公報

例えば生体内部に存在する血管等のオブジェクトを、オブジェクトからの光を用いて観察する場合、オブジェクトの像がぼける問題がある。つまり、オブジェクトからの光が生体内を通過する間に散乱されて、オブジェクトの輪郭が不明瞭になってしまう。医師が内視鏡を用いて診断あるいは施術する場合、血管等のオブジェクトの位置を正確に認識することができることが望ましいので、オブジェクトの輪郭におけるぼけを補正して、鮮明な画像を医師に提供することが望まれる。しかしながら、特許文献１−３の技術では、内部に存在するオブジェクトのぼけを補正することができない。

上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部と、物体の表面からオブジェクトまでの深さを特定する深さ特定部と、オブジェクト画像を撮像した撮像部から物体の表面までの距離情報を特定する距離情報特定部と、距離情報および深さに応じて、オブジェクト画像を補正するオブジェクト画像補正部とを備える。

オブジェクト画像補正部は、距離情報および深さに応じて、オブジェクト画像の広がりを補正してよい。オブジェクト画像補正部は、距離情報および深さに応じて、オブジェクトから表面までの間でオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正してよい。

表面からオブジェクトまでの深さに対応付けて、オブジェクト画像の広がりを補正する補正値を格納する補正テーブルをさらに備え、オブジェクト画像補正部は、距離情報、深さ特定部が特定した深さ、および補正値に基づいて、オブジェクト画像の広がりを補正してよい。

補正テーブルは、表面からオブジェクトまでの深さに対応づけて、実空間上における補正値を格納しており、オブジェクト画像補正部は、実空間上における補正値を、距離情報に応じてオブジェクト画像上における補正値に変換する補正値変換部と、補正値変換部により得られたオブジェクト画像上における補正値に基づいて、オブジェクト画像の広がりを補正するオブジェクト像補正部とを有してよい。

オブジェクト画像補正部は、深さが深いほど、オブジェクト画像の広がりをより大きく補正してよい。オブジェクト画像補正部は、距離情報が示す距離が小さいほど、オブジェクト画像の広がりをより大きく補正してよい。

オブジェクトからの、異なる複数の波長領域に属する光によってそれぞれ撮像された複数の光画像を取得する光画像取得部をさらに備え、深さ特定部は、複数の光画像の画像内容に基づいて、深さを特定してよい。複数の光画像ごとにオブジェクトの画像領域を特定するオブジェクト領域特定部をさらに備え、深さ特定部は、オブジェクト領域特定部が特定した画像領域における輝度に基づいて、深さを特定してよい。なお、光画像取得部は、オブジェクトの内部のルミネッセンス物質が発した光を含む異なる複数の波長領域に属する光によって複数の光画像を取得してもよい。

光画像取得部は、オブジェクトから反射した光による複数の光画像を取得してよい。光画像取得部は、オブジェクトに白色光を照射してオブジェクトから反射した光に含まれる異なる複数の波長領域に属する光によって、複数の光画像を取得してよい。光画像取得部は、異なる複数の波長領域の光をオブジェクトに照射してオブジェクトから反射した光によって、複数の光画像を取得してよい。

オブジェクト画像補正部により補正されたオブジェクト画像の表示を、深さに応じて制御する表示制御部とをさらに備えてよい。表示制御部は、オブジェクト画像補正部により補正されたオブジェクト画像の明るさまたは色を、深さに応じて変化させて表示させてよい。なお、物体の表面に向けて撮像部の撮像方向に略平行に照射された光による物体の表面の像である表面像を含む画像を取得する表面画像取得部をさらに備え、距離情報特定部は、表面画像取得部が取得した画像に含まれる表面像の大きさに基づいて、距離情報を特定してよい。

本発明の第２の形態によると、画像処理方法であって、物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得段階と、物体の表面からオブジェクトまでの深さを特定する深さ特定段階と、オブジェクト画像を撮像した撮像部から物体の表面までの距離情報を特定する距離情報特定段階と、距離情報および深さに応じて、オブジェクト画像を補正する画像補正段階とを備える。

本発明の第３の形態によると、画像処理システム用のプログラムであって、画像処理システムを、物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部、物体の表面からオブジェクトまでの深さを特定する深さ特定部、オブジェクト画像を撮像した撮像部から物体の表面までの距離情報を特定する距離情報特定部、距離情報および深さに応じて、オブジェクト画像を補正する画像補正部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における画像処理システム１０の一例を検体２０とともに示す。画像処理システム１０は、物体の内部に存在するオブジェクトまでの深さに応じて、オブジェクトの画像を補正する。画像処理システム１０は、内視鏡１００、画像処理部１４０、出力部１８０、光照射部１５０、制御部１０５、およびＩＣＧ注入部１９０を備える。なお、図１において、Ａ部は、内視鏡１００の先端部１０２を拡大して示す。制御部１０５は、撮像制御部１６０および発光制御部１７０を有する。

ＩＣＧ注入部１９０は、ルミネッセンス物質であるインドシアニングリーン（ＩＣＧ）を、この発明における物体の一例である検体２０に注入する。なお、本実施形態においてルミネッセンス物質としてＩＣＧを例示するが、ルミネッセンス物質として、ＩＣＧ以外の蛍光物質を用いてもよい。ＩＣＧは、例えば波長７５０ｎｍの赤外線に励起されて、８１０ｎｍを中心とするブロードなスペクトルの蛍光を発する。

検体２０が生体である場合、ＩＣＧ注入部１９０は、静脈注射によって、生体の血管内にＩＣＧを注入する。画像処理システム１０は、ＩＣＧからのルミネッセンス光により、生体内の血管を撮像する。なお、ルミネッセンス光は、物体からの光の一例であり、蛍光および燐光を含む。また、ルミネッセンス光は、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスによるルミネッセンス光を含む。なお、血管は、この発明におけるオブジェクトの一例であってよい。

なお、ＩＣＧ注入部１９０は、例えば制御部１０５による制御によって、生体内のＩＣＧ濃度が略一定に維持されるよう、ＩＣＧを検体２０に注入する。なお、検体２０は、例えば人体であってよい。なお、検体２０の内部には血管等のオブジェクトが存在する。本実施形態の画像処理システム１０は、検体２０の表面（器官等の内表面を含む）より深部に存在するオブジェクトの、表面からの深さを検出する。また、画像処理システム１０は、検出した深さに応じて、オブジェクトの画像におけるぼけを補正する。

内視鏡１００は、撮像部１１０、ライトガイド１２０、および鉗子口１３０を有する。内視鏡１００の先端部１０２には、撮像部１１０の一部としての対物レンズ１１２を有する。また先端部１０２には、ライトガイド１２０の一部としての出射口１２４および出射口１２６を有する。また、内視鏡１００の先端部１０２は、ノズル１３８を有する。

鉗子口１３０には鉗子１３５が挿入され、鉗子口１３０は鉗子１３５を先端部１０２にガイドする。なお、鉗子１３５は、各種の先端形状を備えてよい。なお、鉗子口１３０には、鉗子の他に、生体を処置する種々の処置具が挿入されてよい。ノズル１３８は、水あるいは空気を送出する。

光照射部１５０は、内視鏡１００の先端部１０２から照射される光を発生する。光照射部１５０で発生する光は、検体２０の内部に含むルミネッセンス物質を励起してルミネッセンス光を発光させる励起光の一例としての赤外線、および検体２０に照射する照射光を含む。照射光には、例えばＲ成分、Ｇ成分、およびＢ成分の成分光を含む。

撮像部１１０は、ルミネッセンス物質が発するルミネッセンス光および照射光がオブジェクトで反射する反射光により画像を撮像する。撮像部１１０は、例えばＣＣＤ等の２次元撮像デバイスと光学系とを含んでよく、光学系には対物レンズ１１２を含む。ルミネッセンス物質が発する光が赤外線である場合、撮像部１１０は、赤外線画像を撮像できる。オブジェクトへの照射光がＲＧＢの各成分を含む例えば白色光である場合、撮像部１１０は、可視光画像を撮像できる。

なお、オブジェクトからの光としては、オブジェクト内に存在するルミネッセンス物質が発する蛍光または燐光等のルミネッセンス光、あるいはオブジェクトに照射された光が反射した反射光またはオブジェクトを透過した透過光を例示できる。すなわち、撮像部１１０は、オブジェクトの内部のルミネッセンス物質が発した光、オブジェクトから反射した光、またはオブジェクトを透過した光により、オブジェクトの画像を撮像する。なお、撮像部１１０は、Ｒ成分、Ｇ成分、Ｂ成分、およびルミネッセンス光の波長成分に属する成分光のそれぞれの光を、時分割または空間分割で受光することによって別個に受光することができる。

なお、撮像部１１０は、オブジェクトからの光に限らず、種々の方法でオブジェクトを撮像することができる。例えば、撮像部１１０は、Ｘ線、γ線等の電磁放射線、或いはアルファ線等の粒子線を含む放射線を利用してオブジェクトを撮像してよい。また、撮像部１１０は、種々の波長の電磁波、電波、音波を利用してオブジェクトを撮像してよい。

ライトガイド１２０は、例えば光ファイバで構成できる。ライトガイド１２０は、光照射部１５０で発生した光を内視鏡１００の先端部１０２にガイドする。ライトガイド１２０は、先端部１０２に設けられた出射口１２４および出射口１２６を含むことができる。光照射部１５０で発生した光は、出射口１２４および出射口１２６から検体２０に照射される。

なお、出射口１２４からの光は、撮像部１１０による撮像範囲をカバーする範囲に照射される。例えば、出射口１２４からの光は、線１１４で示されるような撮像部１１０が光を受光することができる範囲に少なくとも照射される。一方、出射口１２６からの光は、物体の表面に向けて撮像部１１０の撮像方向に略平行に光を照射される。例えば、出射口１２６からの光は、線１２８で示されるような、撮像部１１０による撮像範囲内に照射される、撮像部１１０の撮像方向に略平行な光線を主として含むスポット光であってよい。出射口１２４および出射口１２６からの光により、撮像部１１０は少なくとも物体の表面を撮像することができる。

画像処理部１４０は、撮像部１１０から取得した画像データを処理する。出力部１８０は、画像処理部１４０が処理した画像データを出力する。撮像制御部１６０は、撮像部１１０による撮像を制御する。発光制御部１７０は、撮像制御部１６０からの制御を受けて、光照射部１５０を制御する。例えば撮像部１１０が、赤外線および照射光を時分割で撮像する場合に、赤外線および照射光の照射タイミングと撮像部１１０の撮像タイミングとを同期させるよう制御する。

なお、画像処理部１４０は、撮像部１１０により撮像された画像に基づいて、表面からオブジェクトまでの深さと物体の表面までの距離とを特定する。そして、画像処理部１４０は、特定した深さと距離とに応じて、撮像部１１０により撮像されたオブジェクトの画像を補正する。

図２は、画像処理部１４０のブロック構成の一例を示す。画像処理部１４０には、オブジェクト画像取得部２１０、光画像取得部２１２、表面画像取得部２１４、オブジェクト領域特定部２１６、オブジェクト画像補正部２２０、補正テーブル２２２、距離情報特定部２４０、動き特定部２７０、被写体画像生成部２８０、表示制御部２６０、および深さ特定部２３０を有する。オブジェクト画像補正部２２０は、補正値変換部２２４、およびオブジェクト像補正部２２６を含む。

光画像取得部２１２は、検体２０の内部に存在する血管等のオブジェクトからの光の画像である光画像を取得する。具体的には、光画像取得部２１２は、物体の内部に存在するオブジェクトからの光の画像である光画像を取得する。より具体的には、光画像取得部２１２は、オブジェクトからの光によって撮像部１１０が撮像した画像を、光画像として取得する。

オブジェクトからの光としてルミネッセンス物質が発するルミネッセンス光を利用する場合、光画像取得部２１２が取得する光画像には、物体の表面からルミネッセンス物質を励起する励起光が進入できる深さまでの範囲に存在するオブジェクトの像が含まれる。例えば、内視鏡１００の先端部１０２から照射されるルミネッセンス物質の励起光は、一例として７５０ｎｍの波長を有するから、検体２０の比較的深部（例えば数ｃｍ程度）にまで到達する。よって、光画像取得部２１２が取得する光画像には、検体２０の比較的深部に存在する血管像が含まれる。なお、血管像は、この発明における光画像の一例であってもよい。

なお、励起光が到達することができる深さの範囲に存在するルミネッセンス物質は、当該励起光によって励起されるから、光画像取得部２１２が取得する光画像には、励起光が到達できる深さの範囲に存在する血管像が含まれる。なお、血管が深い位置に存在するほど、血管からの蛍光が検体２０で散乱されるから、深い位置の血管像ほどボケを多く含むことになる。

オブジェクトからの光としてオブジェクトからの反射光を利用する場合、光画像取得部２１２が取得する光画像には、オブジェクトへの照射光が進入して反射する深さの範囲に存在するオブジェクトが含まれる。物体への照射光の進入深さは照射光の波長に依存するから、赤色光は青色光より物体内部に深く進入でき、緑色光はそれらの中間深さまで進入できる。赤外線は赤色光より物体内部に深く進入できる。よって、光画像には、物体表面からの照射する光の波長範囲を反映した進入深さまでの範囲に存在するオブジェクトが含まれることになる。

このように、光画像取得部２１２は、血管等のオブジェクトからの、異なる複数の波長領域に属する光によってそれぞれ撮像された複数の光画像を取得する。当該波長領域は、任意の波長領域であってよく、例えば可視光のＲ成分を中心とする赤色領域、Ｇ成分を中心とする緑色領域、Ｂ成分を中心とする青色領域を例示できる。また、当該波長領域は、ＩＣＧからの蛍光が属する波長領域を複数に分割した波長領域であってよく、例えばＩＣＧからの蛍光における波長領域のうち、長波長領域、中波長領域、短波長領域を例示できる。

深さ特定部２３０は、複数の光画像の画像内容に基づいて、血管等のオブジェクトまでの深さを特定する。例えば、深さ特定部２３０は、波長が相違すれば検体２０への光の進入深さが相違する性質を利用して、あるいは、波長が相違すれば検体２０内での光の吸収率が相違する性質を利用して、血管等のオブジェクトの深さ検出に利用する。すなわち、深さ特定部２３０は、青色領域の光画像により識別できる血管は、当該青色領域に属する波長の光が反射する深さ領域に存在すると判断する。同様に、深さ特定部２３０は、緑色領域の光画像により識別できる血管は、当該緑色領域に属する波長の光が反射する深さ領域に存在すると判断する。また、深さ特定部２３０は、赤色領域の光画像により識別できる血管は、当該赤色領域に属する波長の光が反射する深さ領域に存在すると判断する。

また、深さ特定部２３０は、血管内のＩＣＧが発した蛍光のうち、長波長領域に属する光の吸収は、短波長領域に属する光の吸収より小さいから、長波長領域、中波長領域あるいは短波長領域の光による光画像に含まれる血管像の明るさの比から当該血管の深さを推定する。例えば、深さ特定部２３０は、長波長領域の光による光画像に含まれる血管像の明るさに対して、短波長領域の光画像に含まれる血管像が暗ければ、当該血管は深い位置に存在すると判断する。また、深さ特定部２３０は、逆に、長波長領域の光による光画像に係る血管像の明るさに対して、短波長領域の光による光長画像に係る血管像が明るければ、短波長領域の光を吸収するであろう光の行路が長くなく、当該血管は浅い位置に存在すると推定する。

以上のように、深さ特定部２３０は、光の波長による物体への進入深さ（反射光の進入深さ）の相違を利用して血管等のオブジェクトの深さを検出することができる。この場合、光画像取得部２１２は、オブジェクトから反射した反射光の画像を、光画像として取得してよい。また、光画像取得部２１２は、オブジェクトに白色光を照射してオブジェクトから反射した光に含まれる異なる複数の波長領域に属する光による複数の光画像を取得してもよい。あるいは光画像取得部２１２は、異なる複数の波長領域の光をオブジェクトに照射してオブジェクトから反射した光によって、複数の光画像を取得してもよい。

また、上述したように、深さ特定部２３０が物体の深部で発光した蛍光の波長による吸収率の相違を利用して血管等のオブジェクトの深さを検出する場合には、光画像取得部２１２は、オブジェクトの内部のルミネッセンス物質が発した光を含む異なる複数の波長領域に属する光による複数の光画像を取得する。なお、オブジェクトに照射される光は、光照射部１５０が発光して出射口１２４から照射される。

このように、深さ特定部２３０は、光画像が光の進入深さの情報を含むから、光画像に含まれるオブジェクトの明るさ（輝度）を比較または演算してオブジェクトの深さを計算することができる。例えば、オブジェクト領域特定部２１６は、複数の光画像ごとにオブジェクトの画像領域を特定する。そして、深さ特定部２３０は、オブジェクト領域特定部２１６が特定したオブジェクトの画像領域における輝度に基づいて、表面からオブジェクトまでの深さを特定する。

例えば深さ特定部２３０は、長波長の波長領域における画像領域の輝度に対する短波長の波長領域における画像領域の輝度の比に基づいて、深さを特定する。また、深さ特定部２３０は、画像領域における最高輝度または平均輝度に基づいて深さを特定してもよい。

他にも、深さ特定部２３０は、オブジェクトの画像領域の端部における輝度の変化率に基づいて深さを特定してもよい。当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の微分係数で表現できる。当該微分係数は画像領域に係るオブジェクトのボケの大きさを数値化した例であり、微分係数が大きいほどボケは小さく、オブジェクトはより浅い位置に存在すると推定できる。

また、当該輝度の変化率は、例えば画像空間における位置（距離）を変数とする輝度の分布における半値幅によって表現できる。半値幅が大きいほどボケは大きく、半値幅が小さいとオブジェクトはより浅い位置に存在すると推定できる。このようにして、深さ特定部２３０は、物体の表面からオブジェクトまでの深さを特定することができる。

距離情報特定部２４０は、光画像を撮像した撮像部１１０から物体の表面までの距離を特定する。なお、この発明における距離情報は、実空間上における距離そのものであってもよく、実空間上の距離を示す指標であってもよい。なお、以後の説明において、単に距離と記載されている場合は、特にことわらない限り、撮像部１１０から物体の表面までの距離を示す。

例えば、表面画像取得部２１４は、物体の表面に向けて撮像部１１０の撮像方向に略平行に照射された光による物体の表面の像である表面像を含む画像を取得する。そして、距離情報特定部２４０は、表面画像取得部２１４が取得した画像に含まれる表面像の大きさに基づいて、距離を特定する。なお、当該略平行な光は、光照射部１５０から発光されて出射口１２６を経て照射されたスポット光であってよい。

オブジェクト画像取得部２１０は、オブジェクトからの光によって撮像されたオブジェクト画像を取得する。なお、撮像部１１０は、表面を通じてオブジェクトを撮像してよい。そして、オブジェクト画像取得部２１０は、表面を通じて撮像されたオブジェクトの画像を取得する。例えば、オブジェクト画像取得部２１０は、オブジェクトからのルミネッセンス光により撮像部１１０によって撮像されたオブジェクト画像を取得する。

オブジェクト画像補正部２２０は、距離情報特定部２４０が特定した距離および深さ特定部２３０が特定した深さに応じて、オブジェクト画像を補正する。具体的には、オブジェクト画像補正部２２０は、距離情報特定部２４０が特定した距離および深さ特定部２３０が特定した深さに応じて、オブジェクト画像を補正する。より具体的には、オブジェクト画像補正部２２０は、距離情報特定部２４０が特定した距離および深さ特定部２３０が特定した深さに応じて、オブジェクト画像の広がりを補正する。さらに具体的には、オブジェクト画像補正部２２０は、距離情報特定部２４０が特定した距離および深さ特定部２３０が特定した深さに応じて、オブジェクトから表面までの間でオブジェクトからの光が散乱されることによるオブジェクト画像の広がりを補正する。

オブジェクト画像補正部２２０が補正した補正画像は出力部１８０に供給され、出力部１８０から表示される。なお、補正テーブル２２２は、表面からオブジェクトまでの深さに対応付けて、オブジェクト画像の広がりを補正する補正値を格納している。そして、オブジェクト画像補正部２２０は、距離情報特定部２４０が特定した距離、深さ特定部２３０が特定した深さ、および補正テーブル２２２が格納している補正値に基づいて、オブジェクト画像の広がりを補正する。

なお、表面画像取得部２１４は、一例として撮像部１１０によって撮像された物体の表面の画像を取得する。すなわち表面画像取得部２１４は、視認すると同等の画像を取得する。例えば、表面画像取得部２１４は、照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。例えば、表面画像取得部２１４は、白色光である照射光が照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。

なお、撮像部１１０は、オブジェクト画像と表面画像とを、異なるタイミングで撮像してよい。例えば、撮像部１１０は、白色光を照射することにより可視光の表面画像を連続的に撮像しており、所定のタイミングにおいて白色光にかえて励起光を照射することによりオブジェクト画像を撮像してよい。この場合、動き特定部２７０は、励起光を照射したタイミングと、白色光を照射したタイミングとの間におけるオブジェクトの動きを特定する。被写体画像像生成部２８０は、白色光を照射することにより得られた表面画像、および、動き特定部２７０が特定した動きに基づき、励起光を照射したタイミングにおいて得られるべき表面画像を生成する。なお、オブジェクト画像と表面画像とを時分割で撮像する場合における制御部１０５、撮像部１１０、光照射部１５０、動き特定部２７０、および被写体画像像生成部２８０の機能および動作については、図６以降の図面に関連してより詳細に説明する。

表示制御部２６０は、表面画像および補正画像の出力部１８０への表示を制御する。例えば、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の表示を、深さ特定部２３０が特定した深さに応じて制御する。具体的には、表示制御部２６０は、オブジェクト画像補正部２２０により補正されたオブジェクト画像の明るさまたは色を、深さに応じて変化させて出力部１８０に表示させる。あるいは表示制御部２６０は、表面画像と補正画像とを並べて出力部１８０に表示してもよい。その他、表示制御部２６０は、オブジェクトの深さ情報を数値として出力部１８０に表示してもよい。

以下に、オブジェクト画像補正部２２０が含む各構成要素の動作について説明する。オブジェクト画像補正部２２０は、補正値変換部２２４およびオブジェクト像補正部２２６を含む。補正テーブル２２２は、表面からオブジェクトまでの深さに対応づけて、実空間上における補正値を格納している。つまり、補正テーブル２２２は、実スケールにおける補正値を格納している。この場合に、補正値変換部２２４は、補正テーブル２２２が格納している実空間上における補正値を、距離情報特定部２４０が特定した距離に応じてオブジェクト画像上における補正値に変換する。

オブジェクト像補正部２２６は、補正値変換部２２４により得られたオブジェクト画像上における補正値に基づいて、オブジェクト画像の広がりを補正する。これにより、オブジェクト画像補正部２２０は、表面の位置に応じて、オブジェクト像のぼけをオブジェクト画像上において適切に補正することができる。

なお、深さ特定部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを特定してよい。深さ特定部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを算出してよい。そして、オブジェクト画像補正部２２０は、複数のオブジェクトのそれぞれまでの深さに基づいて、オブジェクト画像における複数のオブジェクトのそれぞれの像の広がりを補正してよい。

図３は、検体２０の内部で光が反射等する様子を模式的に示す。検体２０の内部にはオブジェクトの一例である血管８１０が存在する。血管にはルミネッセンス物質であるＩＣＧが注入されており、血管８１０の内部にはＩＣＧが存在する。検体２０にはＩＣＧの励起光である赤外線Ｉｉｒと、オブジェクトである血管８１０への照射光である赤色光Ｉｒ、緑色光Ｉｇ、および青色光Ｉｂとが照射される。

赤外線Ｉｉｒは、検体２０の比較的深い位置（深さｄｉｒ）まで進入でき、表面から深さｄｉｒの間に存在する血管８１０内のＩＣＧは赤外線Ｉｉｒによって励起される。よって深さｄｉｒより浅い位置に存在する血管８１０の像は、ＩＣＧからの蛍光Ｒｆによってオブジェクト画像として取得される。なお、オブジェクト画像として取得された血管８１０の像には、ぼけを伴う。

赤色光Ｉｒは、深さｄｒまで進入して深さｄｒの近傍で反射される。よって、赤色光Ｉｒの赤色反射光Ｒｒには深さｄｒ近傍の血管８１０の像情報が含まれる。赤色反射光Ｒｒによる血管８１０の像は赤色領域の光による光画像として取得され、当該光画像には、深さｄｒ近傍の血管８１０の画像が含まれる。

緑色光Ｉｇは、深さｄｇまで進入して深さｄｇの近傍で反射される。よって、緑色光Ｉｇの緑色反射光Ｒｇには深さｄｇ近傍の血管８１０の像情報が含まれる。緑色反射光Ｒｇによる血管８１０の像は緑色領域の光による光画像として取得され、当該光画像には、深さｄｇ近傍の血管８１０の画像が含まれる。

青色光Ｉｂは、深さｄｂまで進入して深さｄｂの近傍で反射される。よって、青色光Ｉｂの青色反射光Ｒｂには深さｄｂ近傍の血管８１０の像情報が含まれる。青色反射光Ｒｂによる血管８１０の像は青色領域の光による光画像として取得され、当該光画像には、深さｄｂ近傍の血管８１０の画像が含まれる。

前述したように、深さ特定部２３０は、赤色反射光Ｒｒ、緑色反射光Ｒｇ、緑色反射光Ｒｇの光によるそれぞれの光画像から、血管８１０の深さを特定することができる。オブジェクト画像補正部２２０は、深さ特定部２３０が特定した深さから蛍光Ｒｆによるオブジェクト画像を補正することができる。

図４は、検体２０の内部からの光がぼける様子を模式的に示す。検体２０の表面４００から深さｄ１だけ離れた検体２０内の位置４１０に点光源が存在とすると仮定する。この点光源から撮像部１１０への光は、位置４１０から表面４００までの間に検体２０によって散乱されて、表面４００上においてｈ１で示されるような輝度分布を持つ。ここで、ｘは、撮像方向に垂直な面内における、実空間におけるｘ座標を示す。

一方、検体２０の表面４００から深さｄ２だけ離れた検体２０内の位置４２０に点光源が存在とすると仮定する。この点光源から撮像部１１０への光は、位置４２０から表面４００までの間に検体２０によって散乱されて、表面４００上においてｈ２で示されるような輝度分布を持つ。なお、本図においては１次元で広がりの程度を表しているが、表面における輝度分布は、二次元的に分布することは言うまでもない。

このように、より深い位置にある点光源からの光は、表面においてより広がっている。このため、位置４２０にあるオブジェクトからの光によるオブジェクト像は、位置４１０にあるオブジェクトからの光によるオブジェクト像より大きなぼけを有することになる。なお、この広がりは表面から点光源までの深さに応じて定まるので、広がりの程度は、実空間スケールで定められる。したがって、オブジェクトが存在する深さに応じて、実空間上における点拡がり関数が定まる。したがって、深さ特定部２３０が撮像部１１０による撮像方向成分の深さを特定するとともに、距離情報特定部２４０が表面までの距離を撮像することによって、オブジェクト画像補正部２２０は、当該深さおよび距離に応じた点拡がり関数に基づいて、オブジェクト画像の広がりを補正することができる。

一例として、補正テーブル２２２は、深さをパラメータとして持つ点広がり関数の逆フィルタを格納している。そして、補正値変換部２２４は、距離情報特定部２４０が特定した距離に応じて、当該逆フィルタを画像上において変換する逆フィルタに変換する。そして、オブジェクト像補正部２２６は、オブジェクト領域特定部２１６が特定したオブジェクト画像のそれぞれを、補正値変換部２２４が変換した逆フィルタを用いて補正する。

他にも、補正テーブル２２２は、深さおよび距離をパラメータとして持つ点広がり関数の逆フィルタを格納していてもよい。そして、オブジェクト像補正部２２６は、オブジェクト領域特定部２１６が特定したオブジェクト像のそれぞれを、距離情報特定部２４０が特定した距離および深さ特定部２３０が特定した深さに応じた逆フィルタを用いて補正してもよい。

図５は、オブジェクト画像補正部２２０によって補正された血管像５６０および血管像５７０の一例を示す。撮像部１１０によって撮像された画像５００は、ぼけを伴う血管像５１０および血管像５２０を含む。なお、血管像５１０が示す血管は、血管像５２０が示す血管より浅い位置に存在しており、血管像５１０のぼけは血管像５２０より小さい。

表面画像取得部２１４が取得した画像には、撮像部１１０の撮像方向に略平行に照射されたスポット光による表面像が含まれる。スポット光が表面で反射した光によって撮像部１１０により撮像された表面像は、スポット光が表面に照射された範囲の表面の画像となる。距離情報特定部２４０は、スポット光による表面像の大きさに基づいて、撮像部１１０と表面との間の距離を特定する。例えば、距離情報特定部２４０は、スポット光による表面像の径および面積の少なくとも一方に基づいて、撮像部１１０と表面との間の距離を特定してよい。

なお、出射口１２６から出射されるスポット光の、進行方向に垂直な平面への投影像の形状は、略円形であってよい。スポット光の形状が既知である場合には、距離情報特定部２４０は、スポット光による表面像の形状にさらに基づいて、撮像部１１０と表面との間の距離を特定してもよい。例えば、距離情報特定部２４０は、当該形状が円形である場合には、表面像の短径に基づいて、撮像部１１０と表面との間の距離を特定してもよい。また、距離情報特定部２４０は、当該形状が円形である場合には、表面像の楕円度にさらに基づいて、撮像部１１０と表面との間の距離を特定してもよい。これにより、距離情報特定部２４０は、スポット光が表面に垂直に入射していない場合であっても、表面像の大きさおよび形状から距離を特定することができる。

また、深さ特定部２３０は、前述したようにして表面から血管までの深さを算出することができる。オブジェクト領域特定部２１６は、血管の領域として画像５００から血管像５１０および５２０の領域を抽出する。オブジェクト画像補正部２２０は、オブジェクト領域特定部２１６が特定した血管像５１０および血管像５２０の領域に対して、表面から撮像部１１０までの距離および深さ特定部２３０が特定した血管までの深さに応じて、上述したように逆フィルタを用いて補正する。

結果として、オブジェクト画像補正部２２０は、深さが深いほど、オブジェクト画像の広がりをより大きく補正する。また、オブジェクト画像補正部２２０は、距離情報が示す距離が短いほど、オブジェクト画像の広がりをより大きく補正する。例えば、血管像５１０が示す血管は、血管像５２０が示す血管より浅い位置に存在するので、オブジェクト画像補正部２２０が血管像５２０に施すぼけ補正量は、血管像５１０に施すぼけ補正量より大きい。

オブジェクト画像補正部２２０は、血管像５１０のぼけを補正して血管像５６０を表示制御部２６０に出力するとともに、血管像５２０のぼけを補正して血管像５７０を表示制御部２６０に出力する。表示制御部２６０は、例えば濃淡を変えて、あるいは色を変えて表面からの深さを出力部１８０から表示させる。本実施形態の画像処理システム１０を適用すれば、例えば医師が出力部１８０から表示された画面を見つつ手術等を実施するとき、表面観察によっては視認できない内部の血管を鮮明に認識できる場合がある。また、医師は内部の血管の深さ情報を参照しつつ手術等を実施できる利点が得られる場合がある。

なお、本実施形態において、発光制御部１７０は、距離情報特定部２４０が特定した距離に応じて、発光強度を制御してもよい。例えば、発光制御部１７０は、距離情報特定部２４０が特定した距離がより近い距離を示す場合に、より小さい強度の光を光照射部１５０から照射させてよい。また、発光制御部１７０は、距離情報特定部２４０が特定した距離が予め定められた値より大きい場合には、光照射部１５０からの光の照射を停止してもよい。なお、距離情報特定部２４０は、超音波またはレーザを表面に向けて照射すること等によって、表面までの距離を特定してもよい。

図６は、撮像部１１０の構成の一例を示す。撮像部１１０は、対物レンズ１１２、撮像デバイス８１０、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０を有する。撮像デバイス８１０は、第１受光素子８５１ａを含む複数の第１受光素子８５１、第２受光素子８５２ａおよび第２受光素子８５２ｂを含む複数の第２受光素子８５２、第３受光素子８５３ａを含む複数の第３受光素子８５３を含む。

以下に、撮像部１１０が有する構成要素の機能および動作を説明する。以下の説明においては、説明が複雑になることを防ぐべく、複数の第１受光素子８５１を総称して第１受光素子８５１と呼び、複数の第２受光素子８５２を総称して第２受光素子８５２と呼び、複数の第３受光素子８５３を総称して第３受光素子８５３と呼ぶ場合がある。また、複数の第１受光素子８５１、複数の第２受光素子８５２、複数の第３受光素子８５３を総称して、単に受光素子と呼ぶ場合がある。

第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、対物レンズ１１２を通じて供給された被写体からの光を受光する。具体的には、第１受光素子８５１は、特定波長領域の光および特定波長領域と異なる第１波長領域の光を受光する。特徴波長領域としては、ルミネッセンス光の波長領域など、赤外領域を例示することができる。また、第２受光素子８５２は、特定波長領域と異なる第２波長領域の光を受光する。また、第３受光素子８５３は、特定波長領域、第１波長領域、および第２波長領域と異なる、第３波長領域の光を受光する。

なお、第１波長領域、第２波長領域、および第３波長領域は互いに異なる波長領域であって、他の波長領域が含まない波長領域を含む。また、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、所定のパターンで２次元的に配列されている。

分光フィルタ部８２０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光のいずれかの光を通過する複数のフィルタ要素を含む。各フィルタ要素は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されている。個々の受光素子は、個々のフィルタ要素が通過した光を受光する。このように、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３は、互いに異なる波長領域の光を受光する。

受光側励起光カットフィルタ部８３０は、被写体と第２受光素子８５２および第３受光素子８５３の間に少なくとも設けられ、励起光の波長領域の光をカットする。そして、第２受光素子８５２および第３受光素子８５３は、被写体からの反射光を受光側励起光カットフィルタ部８３０を通じて受光する。このため、第２受光素子８５２および第３受光素子８５３は、励起光が被写体から反射した反射光を実質的に受光することがない。

なお、受光側励起光カットフィルタ部８３０は、励起光の波長領域の光および特定波長領域の光をカットしてもよい。この場合、第２受光素子８５２および第３受光素子８５３は、一例として被写体からのルミネッセンス光を実質的に受光することがない。

なお、受光側励起光カットフィルタ部８３０は、被写体と第１受光素子８５１との間に設けられてもよい。この場合、被写体と第１受光素子８５１との間に設けられた受光側励起光カットフィルタ部８３０は、特定波長領域の光を透過する。

なお、受光側励起光カットフィルタ部８３０は、分光フィルタ部８２０と同様に、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されたフィルタ要素を含んでよい。そして、第１受光素子８５１に光を供給するフィルタ要素は、第１波長領域および特定波長領域の光を少なくとも通過させる。なお、第１受光素子８５１に光を供給するフィルタ要素は、励起光の波長領域の光をカットしてもよい。一方、第２受光素子８５２に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第２波長領域の光を少なくとも通過させる。また、第３受光素子８５３に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第３波長領域の光を少なくとも通過させる。

画像処理部１４０は、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａが受光した受光量に少なくとも基づいて、１画素の画素値を決定する。すなわち、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａの２次元配列構造により一の画素素子が形成され、当該画素素子配列が２次元的に配列されることによって複数の画素素子が形成される。なお、受光素子は、本図に示した配列構造に限られず、多様な配列構造で配列されてよい。

図７は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す。線９３０、線９１０、および線９２０は、それぞれ第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度分布を示す。例えば、第１受光素子８５１は、他の受光素子が実質的に感度を有しない６５０ｎｍ近傍の波長の光に感度を有する。また、第２受光素子８５２は、他の受光素子が実質的に感度を有しない４５０ｎｍ近傍の波長の光に感度を有する。また、第３受光素子８５３は、他の受光素子が実質的に感度を有しない５５０ｎｍ近傍の波長の光に感度を有する。

また、第１受光素子８５１は、特定波長領域の一例である赤外領域（例えば、８１０ｎｍ）の光を受光することができる。この分光感度特性は、受光側励起光カットフィルタ部８３０および分光フィルタ部８２０の透過特性および各受光素子の分光感度による。

このように、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれＲ成分の光、Ｂ成分の光、およびＧ成分の光を受光する。また、第１受光素子８５１は、特定波長領域の一例である赤外領域の光も受光することができる。なお、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、一例としてＣＣＤ、ＣＭＯＳ等の撮像素子であってよい。そして、受光側励起光カットフィルタ部８３０の分光透過率、分光フィルタ部８２０が含むフィルタ要素の分光透過率、および撮像素子自体の分光感度の組合せによって、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれ線９３０、線９１０、および線９２０で示す分光感度特性を持つ。

図８は、光照射部１５０の構成の一例を示す。光照射部１５０は、発光部１０１０および光源側フィルタ部１０２０を有する。発光部１０１０は、励起光の波長領域、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を発光する。本実施形態では、発光部１０１０は、一例としてキセノンランプであってよい。

図９は、光源側フィルタ部１０２０の構成の一例を示す。図９は、発光部１０１０から光源側フィルタ部１０２０に光が導かれる方向に見た場合の構造を示す。光源側フィルタ部１０２０は、照射光カットフィルタ部１１２０および励起光カットフィルタ部１１１０を含む。なお、発光制御部１７０は、光源側フィルタ部１０２０の中心軸を中心として、発光部１０１０が発光した光が進む方向に略垂直な面内で、光源側フィルタ部１０２０を回転させる。

励起光カットフィルタ部１１１０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光を通過して、励起光の波長領域の光を実質的にカットする。また、照射光カットフィルタ部１１２０は、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光を通過する。なお、照射光カットフィルタ部１１２０は、第１波長領域の光も実質的にカットすることが望ましい。なお、発光部１０１０からの光は、光源側フィルタ部１０２０の中心軸からずれた位置に導かれる。

したがって、発光部１０１０からの光が励起光カットフィルタ部１１１０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光は励起光カットフィルタ部１１１０により実質的にカットされ、第１波長領域の光、第２波長領域の光、および第３波長領域の光は励起光カットフィルタ部１１１０を通過する。したがって、このタイミングでは、第１波長領域の光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。

一方、発光部１０１０からの光が照射光カットフィルタ部１１２０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光が照射光カットフィルタ部１１２０を通過する。したがって、このタイミングでは、励起光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。

なお、撮像部１１０は、撮像制御部１６０の制御により、可視光である第１波長領域の光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、照射された光を検体２０が反射した反射光を受光する。そして、表面画像取得部２１４は、撮像部１１０が受光した光の受光量に基づき、表面画像の一例としての可視光による被写体画像を生成する。照射された光が実質的に白色光である場合には、表面画像は白色光画像ということができる。

また、撮像部１１０は、撮像制御部１６０の制御により、励起光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、被写体の内部のＩＣＧが発したルミネッセンス光と、検体２０による第２波長領域の光および第３波長領域の光の反射光とを受光する。そして、オブジェクト画像取得部２１０は、第１受光素子８５１の受光量に応じた信号を第１受光素子８５１から取得して、第１受光素子８５１が受光したルミネッセンス光の受光量に基づきルミネッセンス光の被写体画像を生成する。また、表面画像取得部２１４は、第２受光素子８５２および第３受光素子８５３からの信号に基づく第２波長領域の光および第３波長領域の光の受光量と、他のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光の受光量とに基づいて可視光の被写体画像を生成する。

図１０は、撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す。撮像制御部１６０は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、オブジェクトからの光により撮像部１１０に撮像させる。また、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、発光部１０１０が発光した光を励起光カットフィルタ部１１１０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。

そして、撮像制御部１６０は、第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射して被写体から反射した反射光のうち、第１波長領域の光を第１受光素子８５１に受光させ、反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。このように、撮像制御部１６０は、第１のタイミングにおいて、被写体からの第１波長領域の光を第１受光素子８５１に受光させ、被写体からの第２波長領域の光を第２受光素子８５２に受光させ、被写体からの第３波長領域の光を第３受光素子８５３に受光させる。

また、時刻ｔ１２０２を含む第２のタイミングにおいては、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、発光部１０１０が発光した光を照射光カットフィルタ部１１２０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第２のタイミングにおいて、励起光、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。

そして、第２のタイミングにおいては、撮像制御部１６０は、被写体が発光した特定波長領域の光を、第１受光素子８５１に受光させる。すなわち、撮像制御部１６０は、第２のタイミングにおいて、被写体からの特定波長領域の光を第１受光素子８５１に受光させる。

このように、制御部１０５は、第２のタイミングにおいて、第１波長領域の光を被写体に照射せずに、励起光、第２波長領域の光、および第３波長領域の光を被写体に照射して、被写体が発光した特定波長領域の光を第１受光素子８５１に受光させるとともに、被写体から反射した反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。なお、励起光の波長領域は、第１波長領域、第２波長領域、および第３波長領域のいずれとも異なる波長領域であって、第１波長領域、第２波長領域、および第３波長領域に含まれない波長領域を含む。

以上説明したように、制御部１０５は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３に受光させる光のスペクトルを制御する。そして、画像処理部１４０は、それぞれのタイミングにおいて受光素子が受光した受光量に基づき、各種の波長領域の光による画像を生成する。

具体的には、表面画像取得部２１４は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて受光素子が受光した受光量に基づいて、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、実質的には、白色光を照射した場合に得られる可視光画像とみなすことができる。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。

なお、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、血管画像の他に、物質の表面の画像である表面像を含む。このように、表面画像取得部２１４は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および第１のタイミングにおいて第３受光素子８５３が受光した第３波長領域の光により、第１のタイミングにおける被写体の表面画像を生成する。

また、オブジェクト画像取得部２１０は、時刻ｔ１２０２により代表されるタイミングにおいて受光素子が受光した受光量に基づいて、血管画像１２２２ｃ、血管画像１２２４ｃ、および血管画像１２２６ｃを含む被写体画像１２２０ｃを生成する。被写体画像１２２０ｃは、被写体からのルミネッセンス光による被写体の画像とみなすことができる。なお、被写体画像１２２０ｃは、オブジェクト画像補正部２２０による上述のぼけ補正処理の対象の画像となる。

また、被写体画像像生成部２８０は、時刻ｔ１２０１に代表されるタイミングにおいて第１受光素子８５１が受光した受光量、時刻ｔ１２０２に代表されるタイミングにおいて第２受光素子８５２および第３受光素子８５３が受光した受光量に基づいて、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて取得されるべき、可視光による被写体画像とみなすことができる。

このように、画像処理部１４０は、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光により、第２のタイミングにおける可視光による被写体画像を生成する。したがって、画像処理部１４０は、ルミネッセンス光画像を撮像しているタイミングにおいても、可視光による画像を生成することができる。出力部１８０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を提供することができる。

検体２０が人体のような赤い血液を含む生体である場合、可視光画像におけるＲ成分の空間周波数成分は、Ｇ成分およびＢ成分の空間周波数成分より小さい場合が多い。このため、Ｒ成分がコマ落ちしたことによる映像の劣化度は、Ｇ成分およびＢ成分がコマ落ちする場合に比べると小さい場合が多い。このため、Ｇ成分およびＢ成分がコマ落ちする場合よりも、映像における見た目のギクシャク感を低減することができる。したがって、画像処理システム１０によると、映像内容として実質的にコマ落ちのない可視光映像を提供することができる場合がある。

上記のように、画像処理システム１０によると、赤外領域の励起光により検体２０から生じた赤外領域のルミネッセンス光により、被写体画像１２２０ｃを撮像することができる。可視光より波長が長い励起光は、可視光に比べて物質によって吸収されにくいので、可視光に比べて物質の深く（たとえば１ｃｍ程度）まで侵入して、検体２０にルミネッセンス光を生じさせる。また、ルミネッセンス光は、励起光よりさらに波長が長いので、物質表面まで達し易い。このため、画像処理システム１０によると、可視光によって得られた被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄには含まれない、深層の血管画像１２２６ｄを含む被写体画像１２２０ｃを得ることができる。

なお、出力部１８０は、被写体画像１２２０ｃと、被写体画像１２２０ｃが撮像されたタイミングの近傍のタイミングで撮像された被写体画像１２２０ｂまたは被写体画像１２２０ｄとを合成した合成画像を生成して外部に出力してよい。例えば、出力部１８０は当該合成画像を表示してよい。また、出力部１８０は、被写体画像１２２０ｃを、被写体画像１２２０ｂまたは被写体画像１２２０ｄに対応づけて記録してもよい。

また、制御部１０５は、可視光画像を撮像するタイミングでは、発光部１０１０からの光のうち、励起光の波長領域およびルミネッセンス光の波長領域の光をカットして被写体に照射する。このため、画像処理システム１０によると、可視光画像に物質内部の血管画像を含まない、物質表面の観察に適した物質表面の画像を提供することができる。

図１１は、動きが補正された表面画像の生成を説明する図である。図１０の説明においては、説明を簡単にするために、内視鏡１００の先端部１０２の動き、検体２０の動きなど、画像の大きな時間変化をもたらす要因がないものとして、時刻ｔ１２０１のタイミングで第１受光素子８５１の受光量に応じたＲ信号と、時刻ｔ１２０２のタイミングで第２受光素子８５２および第３受光素子８５３の受光量にそれぞれ応じたＢ信号およびＧ信号を多重化して、被写体画像１２３０ｃを生成する処理の一例を説明した。この処理では、内視鏡１００の先端部１０２の動き、検体２０の動きなどに起因して、可視光画像においてＲ信号と他の色の信号との間にずれが生じる場合がある。

図１１および図１２に関連して、上記の動きなどによる可視光画像への影響を補正するための画像処理部１４０の動作および機能、特に動き特定部２７０および被写体画像像生成部２８０の動作を中心に説明する。

動き特定部２７０は、複数のタイミングにおけるＢ信号による画像に基づいて、当該画像におけるオブジェクトの動きを特定する。ここで、オブジェクトの動きは、検体２０自身の動き、内視鏡１００の先端部１０２の動き、撮像部１１０のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、内視鏡１００の先端部１０２の動きは、撮像部１１０の撮像位置の時間変化をもたらす先端部１０２の位置の時間変化、撮像部１１０の撮像方向の時間変化をもたらす先端部１０２の向きの時間変化を含む。

ここで、動き特定部２７０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づいて、オブジェクトの動きを特定する。例えば、動き特定部２７０は、複数の画像からそれぞれ抽出されたオブジェクトをマッチングすることにより、オブジェクトの動きを特定してよい。

被写体画像生成部２８０は、当該動きに基づいて時刻ｔ１２０１のタイミングでのＲ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号を生成する。そして、被写体画像生成部２８０は、補正により生成されたＲ信号、時刻ｔ１２０２のタイミングでのＢ信号、時刻ｔ１２０２のタイミングでのＧ信号を多重化して、時刻ｔ１２０２での表面画像を生成する。

画像１３２１ｂは、時刻ｔ１２０１における第１受光素子８５１からのＲ信号の画像とする。画像１３２２ｂおよび画像１３２２ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第２受光素子８５２からのＢ信号の画像とする。画像１３２３ｂおよび画像１３２３ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像とする。

ここでは、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃの画像内容に基づいて動きを特定する。具体的には、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、それぞれオブジェクト１３５２ｂおよびオブジェクト１３５２ｃを抽出する。

動き特定部２７０は、オブジェクト１３５２ｂおよびオブジェクト１３５２ｃのそれぞれの位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１３５２ｂの位置とオブジェクト１３５２ｃの位置との位置差Δｙ１を算出する。

被写体画像生成部２８０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。被写体画像生成部２８０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、表面画像１３３０ｃを生成する。なお、ここでいう合成は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する処理を含む。

なお、上記の説明では、Ｂ信号の画像１３２２を用いて動きを特定する場合について説明したが、同様にして、Ｇ信号の画像１３２３を用いて動きを特定することもできる。動き特定部２７０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づいて決定してよい。例えば、動き特定部２７０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｇ信号の画像を用いて動きをより正確に特定することができる場合がある。

また、被写体画像生成部２８０は、Ｒ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像部１１０の撮像方向が被写体表面に垂直であり、内視鏡１００の先端部１０２が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、例えば撮像部１１０の撮像方向が被写体表面に垂直でない場合には、先端部１０２から遠方の領域が撮像された画像領域における動き量は、先端部１０２に近い領域が撮像された画像領域より動き量が小さくなる場合がある。

被写体画像生成部２８０が、Ｒ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像部１１０との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づいて、動きの補正量を算出することができる。なお、被写体画像生成部２８０は、先端部１０２の位置・向きを制御する制御値、撮像部１１０のズーム値を制御する制御値など、画像の時間変化をもたらす内視鏡１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号の画像に対する動きの補正量を算出してもよい。

他にも、動き特定部２７０はオブジェクトの動きを画像領域毎に算出してもよい。被写体画像生成部２８０は、画像領域毎のオブジェクトの動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。

なお、動き特定部２７０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部２７０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部２７０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いてオブジェクトの動きを特定してよい。

以上図１０および図１１に関連して説明したように、動き特定部２７０は、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光による画像、および、第２のタイミングにおいて複数の第２受光素子８５２が受光した第２波長領域の光による画像に基づいて、第１のタイミングおよび第２のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。

図１２は、動きが補正された表面画像の生成の他の例を説明する図である。本図で説明する例では、動き特定部２７０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、オブジェクトの動きを特定する。図１１に関連して説明した方法と同様に、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、それぞれオブジェクト１４５１ａおよびオブジェクト１４５１ｂを抽出する。

そして、動き特定部２７０は、オブジェクト１４５１ａおよびオブジェクト１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１４５１ａの位置とオブジェクト１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１１に関連して説明した方法と同様に、被写体画像生成部２８０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。被写体画像像生成部２８０は、画像１４２１ｃ、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２３ｃを合成することにより、表面画像１４３０ｃを生成する。

なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部２７０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像を用いて、動きを特定してもよい。このように、動き特定部２７０は、動きが補正されたＲ信号の画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。可視光画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。

以上図１２に関連して説明したように、動き特定部２７０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光による複数の画像に基づいて、複数のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。

なお、図１１および図１２に関連して、動きの特定処理の一例として、動き特定部２７０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部２７０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。また、動き特定部２７０は、Ｂ信号の画像およびＧ信号の画像に加えて、さらにＲ信号の画像の中から、動きを特定するために用いる波長領域の画像を、画像領域毎に選択することができる。

なお、オブジェクト画像補正部２２０は、被写体画像１２２０ｃに対して上述のぼけ補正処理を施す場合に、動き特定部２７０が特定した動きに基づき、被写体画像１２２０ｃに含まれる血管画像１２２２ｃおよび血管画像１２２４ｃが、他の被写体画像１２２０に含まれる血管画像１２２２および血管画像１２２４のいずれに対応しているかを特定することができる。

また、第２受光素子８５２および第３受光素子８５３は、当該ルミネッセンス光の波長領域の光に感度を有しており、時刻ｔ１２０２に代表されるタイミングにおいて、被写体からのルミネッセンス光を受光してよい。この場合、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０は、ルミネッセンス光の波長領域の光を透過してよい。

この場合、オブジェクト画像取得部２１０は、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３のうち、近傍の複数の受光素子からの画像信号を加算する画素加算処理をすることにより、オブジェクト画像を生成してよい。なお、受光素子からの画像信号とは、各受光素子の受光量に応じた電荷量を示す信号であってよい。当該電荷量を示す信号は、各受光素子の受光量に応じたアナログ信号であってよく、アナログ信号をＡ／Ｄ変換して得られたデジタル信号であってもよい。いずれの画素加算処理によっても、信号成分を増加することができる。一方、画素加算処理によるランダムなノイズ成分の増加量は、画素加算処理による信号成分の増加量に比べて小さい。このため、画素加算しない場合に比べて、Ｓ／Ｎ比を向上することができる。

また、動き特定部２７０は、図１１および図１２に関連して説明した方法と同様にして、時刻ｔ１２０２に代表されるタイミング以外の複数のタイミングで得られたＲ信号、Ｇ信号、またはＢ信号のいずれかを用いて動きを特定することができる。そして、被写体画像像生成部２８０は、当該動きに基づき、時刻ｔ１２０２に代表されるタイミング以外のタイミングで得られた可視光の被写体画像を補正することにより、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき可視光の被写体画像を生成することができる。

なお、上記の説明において、光照射部１５０の構成として、可視光の波長領域および励起光の波長領域を含む光を発光することができる一の光源および回転フィルタを用いた構成を例示した。その他にも、光照射部１５０は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、励起光を含む光および可視光を時分割で発光することもできる。例えば、可視光領域の光を発光する発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、励起光を発光する発光素子としては、半導体レーザなどの半導体素子を例示することができる。また、励起されて蛍光などのルミネッセンス光を発光する蛍光体を、発光素子として用いることもできる。

なお、発光制御部１７０は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、励起光を含む光および可視光を時分割で発光することもできる。「複数の発光素子のそれぞれの発光強度を各タイミングで制御する」とは、発光させる発光素子の組み合わせを各タイミングで異ならせる制御を含む。

また、発光素子は、内視鏡１００の先端部１０２に設けられてもよい。なお、発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。発光素子が光励起により発光する発光素子である場合、光照射部１５０は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光制御部１７０は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。また、励起用の光のうち、当該発光素子を透過した光が、照射光として被写体に照射されてもよい。

なお、上記の説明においては、撮像部１１０において受光側に分光フィルタ部８２０を有する構成を例に挙げて説明した。その他の構成としては、撮像部１１０は分光フィルタ部８２０を有してなくてよい。この場合、光照射部１５０は、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射してよい。可視光が照射されているタイミングにおける複数の受光素子からの信号を多重化することにより、表面画像取得部２１４は可視光の被写体画像を生成することができる。また、オブジェクト画像取得部２１０は、励起光が照射されているタイミングにおける受光素子からの信号によりルミネッセンス光の被写体画像を生成することができる。

なお、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射するための光照射部１５０の構成としては、上述したような可視光および励起光の波長領域を含む波長領域の光を発光することができる一以上の光源と、各波長領域の光を主として選択的に透過する複数のフィルタ部を有する回転フィルタを用いた構成を用いることができる。その他にも、上述したような異なる波長領域の光を発光する複数の発光素子の発光を制御する構成を用いることもできる。

また、各波長領域の光を時分割で照射する構成においても、動き特定部２７０は、図１１および図１２に関連して説明した方法と同様にして、複数のタイミングにおけるいずれかの色成分の画像信号を用いて動きを特定することができる。そして、被写体画像像生成部２８０は、例えばＲの波長領域の光が照射されているタイミングにおけるＲ信号の画像および当該動きに基づき、Ｒの波長領域の光が照射されていない他のタイミングにおいて得られるべきＲ信号の画像を生成することができる。Ｇの波長領域の光が照射されていないタイミングにおけるＧ信号の画像、Ｂの波長領域の光が照射されていないタイミングにおけるＢ信号の画像についても同様にして生成することで、被写体画像像生成部２８０は、各タイミングにおいて得られるべき可視光の表面画像を生成することができる。

図１３は、本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。本実施形態に係る画像処理システム１０は、ＣＰＵ周辺部、入出力部、およびレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理システム１０が起動時に実行するブート・プログラム、画像処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される通信プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理システム１０にインストールされて実行される通信プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理システム１０を、図１から図１２にかけて説明した画像処理システム１０が備える各構成要素として機能させる。例えば、当該プログラムは、画像処理システム１０を、図１から図１２にかけて説明した撮像部１１０、画像処理部１４０、出力部１８０、光照射部１５０、および制御部１０５等として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態における画像処理システム１０の一例を検体２０とともに示す図である。 画像処理部１４０のブロック構成の一例を示す図である。 検体２０の内部で光が反射等する様子を模式的に示す図である。 検体２０の内部からの光がぼける様子を模式的に示す図である。 オブジェクト画像補正部２２０によって補正された血管像５６０および血管像５７０の一例を示す図である。 撮像部１１０の構成の一例を示す図である。 第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す図である。 光照射部１５０の構成の一例を示す図である。 光源側フィルタ部１０２０の構成の一例を示す図である。 撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す図である。 動きが補正された表面画像の生成を説明する図である 動きが補正された表面画像の生成の他の例を説明する図である。 本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す図である。

符号の説明

１０ 画像処理システム
２０ 検体
１００ 内視鏡
１０２ 先端部
１０５ 制御部
１１０ 撮像部
１１２ 対物レンズ
１１４、１２８ 線
１２０ ライトガイド
１２４ 出射口
１２６ 出射口
１３０ 鉗子口
１３５ 鉗子
１３８ ノズル
１４０ 画像処理部
１５０ 光照射部
１６０ 撮像制御部
１７０ 発光制御部
１８０ 出力部
１９０ ＩＣＧ注入部
２１０ オブジェクト画像取得部
２１２ 光画像取得部
２１４ 表面画像取得部
２１６ オブジェクト領域特定部
２２０ オブジェクト画像補正部
２２２ 補正テーブル
２２４ 補正値変換部
２２６ オブジェクト像補正部
２３０ 深さ特定部
２４０ 距離情報特定部
２６０ 表示制御部
４１０、４２０ 位置
５００ 画像
５１０、５２０、５６０、５７０ 血管像
８２０ 分光フィルタ部
８３０ 受光側励起光カットフィルタ部
８５１ 第１受光素子
８５２ 第２受光素子
８５３ 第３受光素子
９３０、９１０、９２０ 線
１０１０ 発光部
１０２０ 光源側フィルタ部
１１１０ 励起光カットフィルタ部
１１２０ 照射光カットフィルタ部
１１１０ 励起光カットフィルタ部
１０２０ 光源側フィルタ部
１２２０、１２３０ 被写体画像
１２２２、１２２４、１２２６、１２３２、１２３４ 血管画像
１３２１、１３２１、１３２２、１３２３ 画像
１３３０ 表面画像
１３５２ オブジェクト
１４２１、１４２２、１４２３ 画像
１４３０ 表面画像
１４５１ オブジェクト
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (18)

1. 物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部と、
   前記物体の表面から前記オブジェクトまでの深さを特定する深さ特定部と、
   前記オブジェクト画像を撮像した撮像部から前記物体の表面までの距離情報を特定する距離情報特定部と、
   前記距離情報および前記深さに応じて、前記オブジェクト画像を補正するオブジェクト画像補正部と
   を備える画像処理システム。
2. 前記オブジェクト画像補正部は、前記距離情報および前記深さに応じて、前記オブジェクト画像の広がりを補正する
   請求項１に記載の画像処理システム。
3. 前記オブジェクト画像補正部は、前記距離情報および前記深さに応じて、前記オブジェクトから前記表面までの間で前記オブジェクトからの光が散乱されることによる前記オブジェクト画像の広がりを補正する
   請求項２に記載の画像処理システム。
4. 前記表面からオブジェクトまでの深さに対応付けて、前記オブジェクト画像の広がりを補正する補正値を格納する補正テーブル
   をさらに備え、
   前記オブジェクト画像補正部は、前記距離情報、前記深さ特定部が特定した前記深さ、および前記補正値に基づいて、前記オブジェクト画像の広がりを補正する
   請求項２または３に記載の画像処理システム。
5. 前記補正テーブルは、表面からオブジェクトまでの深さに対応づけて、実空間上における前記補正値を格納しており、
   前記オブジェクト画像補正部は、
   実空間上における前記補正値を、前記距離情報に応じて前記オブジェクト画像上における補正値に変換する補正値変換部と、
   前記補正値変換部により得られた前記オブジェクト画像上における補正値に基づいて、前記オブジェクト画像の広がりを補正するオブジェクト像補正部と
   を有する請求項４に記載の画像処理システム。
6. 前記オブジェクト画像補正部は、前記深さが深いほど、前記オブジェクト画像の広がりをより大きく補正する
   請求項２乃至５のいずれかに記載の画像処理システム。
7. 前記オブジェクト画像補正部は、前記距離情報が示す距離が短いほど、前記オブジェクト画像の広がりをより大きく補正する
   請求項２乃至６のいずれかに記載の画像処理システム。
8. 前記オブジェクトからの、異なる複数の波長領域に属する光によってそれぞれ撮像された複数の光画像を取得する光画像取得部
   をさらに備え、
   前記深さ特定部は、前記複数の光画像の画像内容に基づいて、前記深さを特定する
   請求項２乃至７のいずれかに記載の画像処理システム。
9. 前記複数の光画像ごとに前記オブジェクトの画像領域を特定するオブジェクト領域特定部
   をさらに備え、
   前記深さ特定部は、前記オブジェクト領域特定部が特定した画像領域における輝度に基づいて、前記深さを特定する
   請求項８に記載の画像処理システム。
10. 前記光画像取得部は、前記オブジェクトの内部のルミネッセンス物質が発した光を含む異なる複数の波長領域に属する光によって前記複数の光画像を取得する
    請求項８または９に記載の画像処理システム。
11. 前記光画像取得部は、前記オブジェクトから反射した光による前記複数の光画像を取得する
    請求項８または９に記載の画像処理システム。
12. 前記光画像取得部は、前記オブジェクトに白色光を照射して前記オブジェクトから反射した光に含まれる異なる複数の波長領域に属する光によって、前記複数の光画像を取得する
    請求項１１に記載の画像処理システム。
13. 前記光画像取得部は、異なる複数の波長領域の光を前記オブジェクトに照射して前記オブジェクトから反射した光によって、前記複数の光画像を取得する
    請求項１１に記載の画像処理システム。
14. 前記オブジェクト画像補正部により補正された前記オブジェクト画像の表示を、前記深さに応じて制御する表示制御部と
    をさらに備える請求項１０に記載の画像処理システム。
15. 前記表示制御部は、前記オブジェクト画像補正部により補正された前記オブジェクト画像の明るさまたは色を、前記深さに応じて変化させて表示させる
    請求項１４に記載の画像処理システム。
16. 前記物体の表面に向けて前記撮像部の撮像方向に略平行に照射された光による前記物体の表面の像である表面像を含む画像を取得する表面画像取得部
    をさらに備え、
    前記距離情報特定部は、前記表面画像取得部が取得した画像に含まれる前記表面像の大きさに基づいて、前記距離情報を特定する
    請求項１乃至１５のいずれかに記載の画像処理システム。
17. 物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得段階と、
    前記物体の表面から前記オブジェクトまでの深さを特定する深さ特定段階と、
    前記オブジェクト画像を撮像した撮像部から前記物体の表面までの距離情報を特定する距離情報特定段階と、
    前記距離情報および前記深さに応じて、前記オブジェクト画像を補正する画像補正段階と
    を備える画像処理方法。
18. 画像処理システム用のプログラムであって、前記画像処理システムを、
    物体の内部に存在するオブジェクトからの光の画像であるオブジェクト画像を取得するオブジェクト画像取得部、
    前記物体の表面から前記オブジェクトまでの深さを特定する深さ特定部、
    前記オブジェクト画像を撮像した撮像部から前記物体の表面までの距離情報を特定する距離情報特定部、
    前記距離情報および前記深さに応じて、前記オブジェクト画像を補正する画像補正部
    として機能させるプログラム。

Images