JP2019136269A - 蛍光撮像装置 - Google Patents

Abstract

【課題】外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行うことが可能な蛍光撮像装置を提供する。【解決手段】この蛍光撮像装置１００は、励起光ＥＬを照射する第１光源１１ａと、可視照明光ＶＬを照射する第２光源１１ｂと、可視波長領域外の非可視光ＩＬを照射する第３光源１１ｃと、を含む光源部１１と、可視波長領域の光と、励起光ＥＬにより励起された蛍光ＦＬおよび非可視光ＩＬと、を分離する光学フィルタ１２ｂを含み、蛍光画像４１、可視画像４２、および非可視画像４３をそれぞれ撮像する撮像部１０と、蛍光画像４１、可視画像４２、非可視画像４３のうちから動体追跡に用いる画像を選択する選択部３２ｇと、選択された画像少なくとも非可視画像４３に基づいて、画像中に設定された関心領域５１の動体追跡を行う追跡処理部３２ｅと、を備える。【選択図】図１

Description

本発明は、蛍光撮像装置に関し、特に、被写体に投与される蛍光剤により画像を撮像する蛍光撮像装置に関する。

従来、被写体に投与される蛍光剤により画像を撮像する蛍光撮像装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、蛍光剤が予め注入されたリンパ節を含む生体観察部に、励起光を照射し、生体観察部から発せられる蛍光を透過する光学フィルタを介して、蛍光像を撮像するリンパ節検出装置（蛍光撮像装置）が開示されている。上記特許文献１には、光学フィルタが生体観察部で反射された反射光も透過するようにして、蛍光像に加えて、生体観察部で反射された反射像を撮像し、蛍光像と反射像とを重畳させた観察画像を得ることが開示されている。表示する特許文献１では、蛍光剤として、インドシアニングリーン（以下、ＩＣＧという）が用いられている。ＩＣＧは、８００ｎｍ前後の近赤外の波長帯域の蛍光を発生する。

特許第４７４５０５９号公報

上記特許文献１に開示されたような蛍光撮像装置は、センチネルリンパ節生検において、蛍光像により切除するセンチネルリンパ節を可視化するために用いられる。蛍光撮像装置は、他の応用例として、冠動脈バイパス移植術において、グラフト吻合部に蛍光剤を流通させ蛍光像を取得することにより、グラフト吻合部の血流確認を行うために用いられ得る。また、蛍光撮像装置は、内視鏡装置と組み合わされ、内視鏡手術において蛍光像によって手術部位などを確認するためにも用いられ得る。

これらのような用途においては、観察部位自体の動きや、内視鏡装置の場合には内視鏡の移動などが発生するため、撮像された画像において観察部位の動体追跡処理を行うことが望まれる。動体追跡処理は、観察部位中の特徴点を基準（目印）として、継続的に撮像される各画像（動画像）中から、観察部位の位置を検出するものである。

しかしながら、蛍光撮像装置において動体追跡処理を行う場合には、以下の問題点がある。まず、蛍光像を用いて動体追跡処理を行う場合、蛍光強度が十分に上昇するまで蛍光剤が観察部位に流入した後でなければ、画像中から観察部位を検出することができない。可視光の反射像を用いて動体追跡処理を行う場合、手術用照明（いわゆる無影灯）の反射光の画像中への写り込みにより高輝度の輝点が発生することがある。観察部位に輝点が発生すると観察部位の画像が得られなくなり、観察部位の動きに伴って輝点の位置も変化するなどにより、観察部位の検出精度が低下してしまう。

そのため、外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行えるようにすることが望まれている。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行うことが可能な蛍光撮像装置を提供することである。

上記目的を達成するために、この発明の一の局面における蛍光撮像装置は、被写体に投与される蛍光剤の励起光を照射する第１光源と、可視波長領域の可視照明光を照射する第２光源と、可視波長領域外の非可視光を照射する第３光源と、を含む光源部と、可視波長領域の光と、励起光により励起された可視波長領域外の蛍光および非可視光と、を分離する光学フィルタを含み、蛍光に基づく蛍光画像、可視照明光の反射光に基づく可視画像、および非可視光の反射光に基づく非可視画像をそれぞれ撮像する撮像部と、蛍光画像、可視画像、非可視画像のうちから動体追跡に用いる画像を選択する選択部と、選択された画像に基づいて、画像中に設定された関心領域の動体追跡を行う追跡処理部と、を備える。

本明細書において、可視波長領域の可視照明光とは、可視波長領域に強度ピークを有している光を意味し、可視波長領域外の波長成分を含むことを許容する。同様に、可視波長領域外の非可視光は、非可視波長領域に強度ピークを有している光を意味し、可視波長領域の波長成分を含むことを許容する。すなわち、光源から発生する光は、光源に応じた所定の波長範囲に渡って拡がる波長スペクトルを有するので、スペクトルの裾の部分が、可視領域と非可視領域とに跨がって存在してもよい。可視波長領域は、たとえばＪＩＳ規格によれば、短波長限界が３６０ｎｍ〜４００ｎｍ、長波長限界が７６０ｎｍ〜８３０ｎｍにあると考えてよい。

この発明の一の局面における蛍光撮像装置は、上記のように、可視波長領域の光と、励起光により励起された可視波長領域外の蛍光および非可視光と、を分離する光学フィルタを含み、蛍光に基づく蛍光画像、可視照明光の反射光に基づく可視画像、および非可視光の反射光に基づく非可視画像をそれぞれ撮像する撮像部を設ける。これにより、可視波長領域の光である手術用照明（無影灯）の反射光を光学フィルタによって分離して、第３光源の非可視光の反射光による非可視画像を取得できる。そのため、非可視画像において、手術用照明の反射に起因する輝点が画像中に写り込むことを抑制できる。そして、非可視光については、たとえば関心領域内の観察部位と被写体の他の部位とで吸収特性または反射特性が異なる波長を用いれば、蛍光剤を投与しなくても、観察部位と他の部位とを識別可能なコントラストのある非可視画像を得ることができる。なお、可視画像においても、手術用照明の反射に起因する輝点が画像中に写り込んでいない可視画像については、動体追跡に用いることが可能である。そこで、上記のように、蛍光画像、可視画像、非可視画像のうちから動体追跡に用いる画像を選択する選択部を設けることによって、蛍光剤の投与前の蛍光像が得られない場合や手術用照明の反射が写り込む場合でも、状況に応じて動体追跡が可能な適切な画像を選択することができるので、追跡処理部によって画像中から関心領域を検出することができる。以上の結果、外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行うことができる。

上記一の局面における蛍光撮像装置において、好ましくは、動体追跡結果に基づいて、蛍光画像中において関心領域を通過する蛍光剤の流れを解析する解析処理部をさらに備える。このように構成すれば、冠動脈バイパス移植術において蛍光剤によるグラフト吻合部の血流確認を行う場合のように、関心領域が動く場合でも、解析処理部により、追跡処理部の動体追跡結果に基づいて、被写体の同一の関心領域についての時間変化（関心領域を通過する蛍光剤の流れ）を蛍光画像から把握することができる。その結果、蛍光撮像装置によっても、動体追跡結果を利用して、画像解析による蛍光剤の流れ解析を行うことができる。なお、画像解析による流れ解析は、たとえば関心領域近傍に留置した金マーカーを目印として、Ｘ線撮像装置により造影剤の流れ解析を行う技術がある。上記構成によれば、Ｘ線撮像装置を用いる場合と比較して、Ｘ線による放射線被曝が生じない、金マーカーなどの目印の留置が必ずしも必要でないため低侵襲である、大がかりな装置構成になりやすいＸ線を用いないため装置構成が簡素化できる、などの顕著な利点がある。

この場合、好ましくは、解析処理部は、蛍光画像中で関心領域を流れる蛍光剤に起因する蛍光の時間強度曲線（Ｔｉｍｅ Ｉｎｔｅｎｓｉｔｙ Ｃｕｒｖｅ）を生成するように構成されている。このように構成すれば、蛍光剤の流れの経時的な変化を表す時間強度曲線により、冠動脈などの血管であれば血流確認を行うことができ、リンパ管などではリンパ流の確認を行うことができる。そして、蛍光強度が少ない段階（蛍光剤の関心領域への流入直後の立ち上がりや、蛍光剤の濃度ピーク後の立ち下がり）においても、信号強度の低い蛍光画像を用いずに非可視画像を用いて動体追跡を行えるので、蛍光強度の立ち上がりから立ち下がりまでの広い範囲で時間強度曲線を精度よく取得することができる。時間強度曲線は、平均流量、傾きや通過時間などの各種パラメータを解析することで治療、診断に有用な様々な情報が得られるため、精度の高い時間強度曲線が治療、診断等において有用である。

上記一の局面における蛍光撮像装置において、好ましくは、選択部は、追跡処理部による動体追跡中に、蛍光画像、可視画像、非可視画像のうちから、動体追跡に用いる画像を切り替えるように構成されている。このように構成すれば、動体追跡中に、より高精度な動体追跡が可能な画像を状況に応じて選択することができるので、動体追跡処理をより高精度に行うことができる。たとえば、蛍光画像は、蛍光剤の投与直後の段階や、関心領域から流れ去る段階では、蛍光強度（蛍光剤の濃度）が低いため動体追跡には適さない一方、蛍光強度のピーク付近では高いコントラストが得られ、動体追跡を高精度に行うことができる。そのため、蛍光画像、可視画像、非可視画像を動体追跡中に切り替えて利用することによって、より高精度に動体追跡を行うことができる。

この場合、好ましくは、選択部は、少なくとも蛍光剤の投与前に、動体追跡に用いる画像として非可視画像を選択し、画素値に基づいて、動体追跡に用いる画像を蛍光画像に切り替えるように構成されている。このように構成すれば、蛍光強度（画素値）が低い蛍光剤の投与前の段階では、非可視画像を用いて動体追跡を行うことができ、蛍光強度（画素値）が十分に高くなった段階では、蛍光画像を用いて高精度に動体追跡を行うことができる。その結果、蛍光剤の投与前後のそれぞれで、適切な画像選択によって高精度に動体追跡を行うことができる。

上記動体追跡中に動体追跡に用いる画像を切り替える構成において、好ましくは、選択部は、蛍光剤の投与前に、動体追跡に用いる画像として非可視画像を選択し、蛍光剤の投与後に、動体追跡に用いる画像を蛍光画像に切り替えるように構成されている。この場合、たとえば蛍光剤の投与時点からの経過時間等に基づいて、蛍光強度（画素値）が十分に高くなるタイミングで、非可視画像から蛍光画像に切り替えて動体追跡を行うことができる。その結果、適切な画像選択によって高精度に動体追跡を行うことができる。

上記一の局面における蛍光撮像装置において、好ましくは、第３光源は、近赤外波長領域の非可視光を照射するように構成されている。近赤外波長領域は、短波長限界が可視光の長波長限界（７６０ｎｍ〜８３０ｎｍ）であり、長波長限界が１４００ｎｍ〜２５００ｎｍ程度とされる。近赤外光は、生体組織を透過しやすい一方、血中ヘモグロビンなどに吸収されやすいことが知られている。そこで、上記のように非可視画像を近赤外光とすれば、非可視画像において、血液が流れる血管が吸収により相対的に暗く、血管以外の領域が相対的に明るくなり、蛍光剤を投与しなくても、観察部位としての血管と他の部位とを識別可能なコントラストのある非可視画像を得ることができる。そのため、特に関心領域として被写体の血管を撮像する場合に、より高精度に動体追跡を行うことができる。

上記一の局面における蛍光撮像装置において、好ましくは、第３光源は、蛍光の波長と重複する波長領域の非可視光を照射し、撮像部は、蛍光画像および非可視画像を撮像する第１撮像素子と、可視画像を撮像する第２撮像素子とを備える。このように構成すれば、蛍光の波長と非可視光の波長とが重複する波長領域を有することを利用して、共通の撮像素子を用いて蛍光画像および非可視画像の両方を撮像することができる。その結果、蛍光画像と、非可視画像と、可視画像とをそれぞれ撮像する場合でも、装置構成を簡素化することができる。

上記一の局面における蛍光撮像装置において、好ましくは、第３光源は、実質的に蛍光灯の光の波長領域を含まない非可視光を照射するように構成されている。なお、本明細書にいて、「実質的に蛍光灯の光の波長領域を含まない」とは、第３光源および蛍光灯のスペクトルを比較して、少なくとも半値幅（全値半幅）の波長領域で互いに重複しない事を意味し、たとえばピーク強度に対して２０％以下となるような低強度の波長成分について波長領域が重複することを許容する。このように構成すれば、一般に蛍光灯が用いられる手術用照明の光(反射光)と、第３光源の非可視光とを、光学フィルタによって容易に分離できるので、映り込みを極力抑制して非可視画像の画像品質を向上させることができる。その結果、非可視画像を用いた動体追跡の精度をさらに向上させることができる。

上記一の局面における蛍光撮像装置において、好ましくは、追跡処理部は、画像中に含まれる画像部分と、テンプレート画像とのテンプレートマッチングにより、関心領域の動体追跡を行うように構成されている。このように構成すれば、予めテンプレート画像を用意しておくだけで、容易に関心領域の動体追跡を精度よく行うことができる。

この場合、好ましくは、追跡処理部は、撮像された画像によりテンプレート画像を更新する処理を行うように構成されている。このように構成すれば、関心領域中の観察部位がたとえば血管、リンパ管（リンパ節）や腫瘍などであり、心拍動などの生体活動に伴って変形する場合でも、新たに撮像された画像を用いてテンプレート画像を更新することによって、関心領域中の観察部位の変形が発生しても精度低下を抑制可能な頑健な動体追跡処理を行うことができる。

上記一の局面における蛍光撮像装置において、好ましくは、撮像部は、同一視野における蛍光画像、可視画像、および非可視画像を撮像するように構成され、追跡処理部は、可視画像上で受け付けた関心領域について、少なくとも非可視画像の同一位置の関心領域の動体追跡を行うように構成されている。このように構成すれば、蛍光画像、可視画像、および非可視画像が同一視野で撮像されるので、可視画像上で指定した被写体の部位が蛍光画像および非可視画像においても同一の部位を示すことになる。そのため、ユーザは、実際に視認しているのと同様の可視画像上で関心領域を指定することができ、指定された関心領域の位置座標を非可視画像でそのまま用いることができるので、ユーザにとっての利便性を確保しつつ関心領域の位置座標を容易に取得することができる。

上記一の局面における蛍光撮像装置において、好ましくは、光源部および撮像部を含む内視鏡装置をさらに備える。このように構成すれば、被写体の体内での蛍光撮像を行う場合にも、非可視画像を用いて関心領域の動体追跡を行うことができる。内視鏡装置の場合、被検体内の関心領域が動くだけでなく、内視鏡自体も被検体内で動くため、たとえば内視鏡生検などを行う場合にも、観察部位を含んだ関心領域の動体追跡を行えることが特に有用である。

本発明によれば、上記のように、外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行うことができる。

第１実施形態による蛍光撮像装置の全体構成を示した模式図である。 蛍光撮像装置を外科手術に用いられる治療支援システムに適用した例を示す模式図である。 光源部を説明するための撮像部の概略図である。 撮像部の構造を説明するための模式図である。 光学フィルタによって分離される光のスペクトルを示した図である。 各光源から照射される光と、撮像される画像とを説明するための模式図である。 特徴点抽出の前後における可視画像（Ａ）、蛍光画像（Ｂ）および非可視画像（Ｃ）の模式図である。 各光源の点灯制御を説明するためのタイミングチャートである。 画像処理部の構成を説明するためのブロック図である。 時間強度曲線を説明するための図である。 表示装置に出力される画面画像を説明するための図である。 動体追跡および時間強度曲線の生成処理を示したフロー図である。 動体追跡処理の詳細を示したフロー図である。 動体追跡処理におけるテンプレートマッチングおよびテンプレート画像の更新を説明するための模式図である。 画素値に応じて動体追跡に用いる画像を切り替える制御を説明するための模式図である。 第２実施形態による蛍光撮像装置の全体構成を示した模式図である。 撮像部の第１変形例を示した模式図である。 撮像部の第２変形例を示した模式図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
図１〜図１１を参照して、本発明の第１実施形態による蛍光撮像装置１００の構成について説明する。

図１に示すように、第１実施形態による蛍光撮像装置１００は、励起光ＥＬを照射することにより被写体Ｐに投与された蛍光剤ＦＡから発せられる蛍光ＦＬを検出し、蛍光ＦＬに基づいて被写体Ｐの観察部位を可視化（画像化）する装置である。第１実施形態では、被写体Ｐから離隔した位置に配置される撮像部１０により、観察部位を被写体Ｐの外部から撮像する蛍光撮像装置１００について説明する。被写体Ｐは、生体であり、たとえばヒトである。被写体Ｐは、たとえばマウスなどの小動物のような生体でもよい。

図２に示すように、蛍光撮像装置１００は、たとえば外科手術において観察部位を確認するために用いられる。一例として、以下では、冠動脈バイパス移植術などの心臓外科手術において利用される蛍光撮像装置１００について説明する。冠動脈バイパス術は、狭窄した冠動脈の狭窄部をバイパスする血管を繋ぐことにより血流量の回復をはかる手術である。冠動脈バイパス移植術では、医師は、開胸した心臓の動脈に対して、グラフトと呼ばれるバイパス血管を吻合することにより、冠動脈のバイパス経路を形成する。医師は、吻合後、グラフトの血流を確認した後、必要な処置を行って閉胸する。グラフトの血流を確認する際、蛍光剤ＦＡがグラフトの上流側の血管内に投与（注入）される。蛍光撮像装置１００は、血流によってグラフトに送り込まれる蛍光剤ＦＡからの蛍光ＦＬを検出することにより、蛍光剤ＦＡがグラフトに対して流入出する様子を可視化（画像化）することが可能である。

図２では、手術台１の上に被写体Ｐが載せられる。手術台１の上方には、手術用の可視光照明である無影灯２が配置されている。無影灯２は、影が生じないように多方向から術野に可視光を照射する。蛍光撮像装置１００は、被写体Ｐの上方で、術野を撮像可能な位置に配置された撮像部１０により、観察部位の撮像を行う。図２では、蛍光撮像装置１００は、表示装置３に接続され、撮像した画像を表示装置３に出力するように構成されている。

表示装置３は、蛍光撮像装置１００から出力される被写体Ｐの画像を表示するように構成されている。表示装置３は、たとえば、液晶ディスプレイなどのモニタである。このように、蛍光撮像装置１００と、表示装置３とにより、蛍光画像の撮像および表示を行う外科手術用の治療支援システムが構成される。グラフトの血流を確認する際、ユーザは、表示装置３に表示された画像を確認することができる。

（蛍光撮像装置の構成）
第１実施形態による蛍光撮像装置１００は、図１に示すように、撮像部１０と、アーム機構２０と、筐体に収容された本体部３０とを備える。アーム機構２０は、一端が本体部３０に接続され、他端に接続された撮像部１０を支持し、可動範囲内で撮像部１０を任意の位置および向きに保持可能に構成されている。

（撮像部）
撮像部１０は、被写体Ｐに撮像用の照明光を照射する光源部１１と、撮像部１０に入射する光が通過する光学系１２と、撮像部１０に入射した光を受光して画像信号を生成する受光部１３とを含む。

光源部１１は、第１光源１１ａと、第２光源１１ｂと、第３光源１１ｃとを含む。第１光源１１ａは、被写体に投与される蛍光剤ＦＡの励起光ＥＬを照射するように構成されている。第２光源１１ｂは、可視波長領域の可視照明光ＶＬを照射するように構成されている。第３光源１１ｃは、可視波長領域外の非可視光ＩＬを照射するように構成されている。これらの光源は、それぞれ、たとえば、レーザダイオード（ＬＤ）または発光ダイオード（ＬＥＤ）を含む。第１光源１１ａ、第２光源１１ｂ、第３光源１１ｃは、それぞれ１つまたは複数設けられる。図３では、第１光源１１ａ、第２光源１１ｂおよび第３光源１１ｃが、それぞれ４つ配置される例を示している。図３では、撮像部１０の端部において、第１光源１１ａ、第２光源１１ｂおよび第３光源１１ｃが、中央部に配置された光学系１２の周囲を取り囲むように円環状に並んで配置されている。

第１光源１１ａは、蛍光剤ＦＡの光吸収特性に応じて、適した波長の励起光ＥＬを照射する。一例として、蛍光剤ＦＡはインドシアニングリーン（ＩＣＧ）である。ＩＣＧは、約７５０ｎｍ以上約８００ｎｍ未満の波長領域に吸収ピークを有し、励起されることにより約８００ｎｍ以上約８５０ｎｍ未満の波長領域にピークを有する蛍光ＦＬ（図５参照）を発する。第１光源１１ａは、たとえば約７５０ｎｍにピークを有する励起光ＥＬ（図５参照）を照射する。なお、蛍光剤ＦＡはＩＣＧ以外でもよい。

第２光源１１ｂは、たとえば可視照明光ＶＬとして白色光を照射する。白色光は、可視波長領域の略全体に亘る波長成分（図５参照）を含んでいる。可視照明光ＶＬは、可視波長領域外の波長成分を含んでいてもよいが、可視波長領域外の波長成分の強度は、蛍光ＦＬや第３光源１１ｃによる非可視光ＩＬの強度と比較して十分に弱い。

第３光源１１ｃの非可視光ＩＬとしては、可視波長領域外の光であって、観察部位と被写体の他の部位とで吸収特性または反射特性が異なる波長の光が選択される。観察部位としてグラフト吻合部の血管を撮像する場合、生体組織を透過しやすく、血中のヘモグロビンにより吸収されやすい近赤外波長領域の光（近赤外光）が非可視光ＩＬとして好ましい。第１実施形態では、第３光源１１ｃは、近赤外波長領域の非可視光ＩＬを照射するように構成されている。第３光源１１ｃは、たとえば、約８００ｎｍ以上約８５０ｎｍ未満の波長領域にピークＭ（図５参照）を有する非可視光ＩＬ（図５参照）を照射する。したがって、第３光源１１ｃは、蛍光ＦＬの波長と重複する波長領域（約８００ｎｍ以上約８５０ｎｍ未満）の非可視光ＩＬを照射するように構成されている。また、第３光源１１ｃは、実質的に蛍光灯(手術用照明)の光の波長領域(図５参照)を含まない非可視光ＩＬを照射するように構成されている。すなわち、図５では、蛍光灯の光は全値半幅では約６００ｎｍ付近が上限となっている。これに対して、第３光源１１ｃは、約８００ｎｍ以上約８５０ｎｍ未満のピークを有し、たとえば半値幅の下限が約７００ｎｍ以上８００ｎｍ未満の非可視光ＩＬを照射するように構成されている。

図４に示すように、受光部１３は、蛍光画像４１および非可視画像４３を撮像する第１撮像素子１３ａと、可視画像４２を撮像する第２撮像素子１３ｂとを含んでいる。第１実施形態では、共通の第１撮像素子１３ａにより、蛍光画像４１および非可視画像４３の両方を撮像することが可能である。第１撮像素子１３ａおよび第２撮像素子１３ｂは、それぞれ、たとえばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｎｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの固体撮像素子により構成される。第２撮像素子１３ｂは、白色光である可視照明光ＶＬを用いて可視画像４２をカラー画像として撮影することが可能である。第１撮像素子１３ａは、蛍光画像４１および非可視画像４３を、たとえばグレースケール画像として撮影することが可能である。

光学系１２は、ズームレンズ１２ａと、光学フィルタ１２ｂとを含む。光学系１２は、撮像部１０に入射した光を受光部１３に結像させる。また、光学系１２は、被写体Ｐから反射された可視照明光ＶＬの反射光と、蛍光剤ＦＡから発せられる蛍光ＦＬおよび非可視光ＩＬの反射光とを分離する。

ズームレンズ１２ａは、レンズ移動機構（図示せず）によって光軸ＡＸ方向に往復移動可能に構成され、フォーカス調整を行う。光学フィルタ１２ｂは、ズームレンズ１２ａと光学系（第１撮像素子１３ａおよび第２撮像素子１３ｂ）との間に設置されている。図４の例では、光学フィルタ１２ｂは、プリズム型のビームスプリッタにより構成されている。光学フィルタ１２ｂは、特定の波長の光を選択的に透過し、その他の波長の光を反射する機能を有する。これにより、光学フィルタ１２ｂは、可視波長領域の光と、励起光ＥＬにより励起された可視波長領域外の蛍光ＦＬおよび非可視光ＩＬと、を分離するように構成されている。

図５に示すように、光学フィルタ１２ｂは、可視照明光ＶＬおよび無影灯２の反射光などの可視波長領域の光および励起光ＥＬを反射して、第２撮像素子１３ｂに投影するように構成されている。光学フィルタ１２ｂは、可視波長領域外の蛍光ＦＬおよび非可視光ＩＬを透過して、第１撮像素子１３ａに投影するように構成されている。すなわち、光学フィルタ１２ｂは、可視光および励起光ＥＬの波長と、蛍光ＦＬおよび非可視光ＩＬの波長との間の所定波長ＤＷを境界として、所定波長ＤＷ以上の光（蛍光ＦＬおよび非可視光ＩＬ）を選択的に透過させ、所定波長ＤＷ未満の光（可視照明光ＶＬの反射光、無影灯２の反射光、励起光ＥＬの反射光）を反射させるように構成されている。

第１撮像素子１３ａおよび第２撮像素子１３ｂは、共通の光学系１２によって、可視照明光ＶＬの反射光、蛍光ＦＬおよび非可視光ＩＬの反射光を検出するように構成されている。

図６のように、第１光源１１ａから照射された励起光ＥＬは、一部が被写体Ｐの表面で反射(図示せず)され、一部が被写体Ｐ内に透過する。励起光ＥＬは、蛍光剤ＦＡが投与されている場合、蛍光剤ＦＡに吸収される。この結果、蛍光剤ＦＡから蛍光ＦＬが発生し、光学系１２に入射する。入射した蛍光ＦＬは、光学フィルタ１２ｂ（図４参照）を透過して第１撮像素子１３ａ（図４参照）により撮像される。この結果、蛍光ＦＬに基づく蛍光画像４１が取得される。

第２光源１１ｂから照射された可視照明光ＶＬは、主として被写体Ｐの表面で反射され、光学系１２に入射する。入射した可視照明光ＶＬの反射光は、光学フィルタ１２ｂ（図４参照）で反射されて第２撮像素子１３ｂ（図４参照）により撮像される。この結果、可視照明光ＶＬの反射光に基づく可視画像４２が取得される。

第３光源１１ｃから照射された近赤外の非可視光ＩＬは、生体組織に透過しやすいため、被写体Ｐの表面および内部で反射され、反射光が光学系１２に入射する。入射した非可視光ＩＬの反射光は、光学フィルタ１２ｂを透過して第１撮像素子１３ａにより撮像される。この結果、非可視光ＩＬの反射光に基づく非可視画像４３が取得される。

これにより、撮像部１０は、蛍光ＦＬに基づく蛍光画像４１、可視照明光ＶＬの反射光に基づく可視画像４２、および非可視光ＩＬの反射光に基づく非可視画像４３をそれぞれ撮像するように構成されている。

図７（Ａ）に示すように、可視画像４２では、ユーザが観察部位を視認するのと同様のカラー画像が得られる。図７（Ｂ）に示すように、蛍光画像４１では、蛍光剤ＦＡの濃度が高いほど画素値が大きくなる態様でコントラストのついた画像が得られる。なお、図７（Ｂ）では便宜的に血管全体に蛍光剤ＦＡが存在している例を示しているが、実際には、血管中に蛍光剤ＦＡが存在する部分だけが明るくなる。図７（Ｃ）に示すように、非可視画像４３では、血管部分と血管部分以外との間の非可視光ＩＬの吸収特性の相違を反映して、血管部分と血管部分以外とでコントラストのついた画像が得られる。すなわち、近赤外波長領域の非可視光ＩＬが血中のヘモグロビンにより吸収されやすいため、非可視光ＩＬが相対的に吸収されやすい血液Ｂ（図６参照）が流通する血管部分で画素値が小さく、非可視光ＩＬが相対的に吸収されにくい血管部分以外で画素値が大きくなる態様の非可視画像４３が得られる。

これらの画像は、共通の光学系１２(図４参照)に入射して分離された光に基づいてそれぞれ取得されるため、同一視野の画像となる。つまり、撮像部１０は、同一視野における蛍光画像４１、可視画像４２、および非可視画像４３を撮像するように構成されている。

（本体部）
図１に戻り、本体部３０には、制御部３１、画像処理部３２および記憶部３３が設けられている。また、本体部３０には、制御部３１に対するユーザの操作入力を受け付けるための操作部（図示せず）が設けられている。本体部３０は、たとえば、台車型の筐体(図２参照)内にＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が内蔵された構成となっている。

制御部３１は、光源部１１からの光（励起光ＥＬ、可視照明光ＶＬ、非可視光ＩＬ）の照射開始、照射の停止などを、操作部による入力操作に基づいて制御するように構成されている。制御部３１は、画像処理部３２において生成した画像を、表示装置３に出力するように構成されている。制御部３１は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサによって構成されている。

図８に示すように、制御部３１は、蛍光撮像装置１００による撮像中、第１光源１１ａ、第２光源１１ｂおよび第３光源１１ｃの点灯タイミングを制御する。具体的には、制御部３１は、可視照明光ＶＬを照射する第２光源１１ｂを、全てのタイミングで点灯（ＯＮ）させるように制御する。一方、制御部３１は、励起光ＥＬを照射する第１光源１１ａと、非可視光ＩＬを照射する第３光源１１ｃとを、所定の時間間隔Ｔで点灯（ＯＮ）と消灯（ＯＦＦ）とを交互に繰り返すように制御する。時間間隔Ｔは、任意に設定することができ、たとえば第１撮像素子１３ａの信号読み出しのフレームレートと同等とすることができる。フレームレートは、たとえば３０ｆｐｓ以上である。この結果、第１撮像素子１３ａでは、１フレーム毎に、蛍光画像４１と非可視画像４３とが交互に取得される。

図１に戻り、画像処理部３２は、第１撮像素子１３ａで検出された信号に基づき、蛍光画像４１および非可視画像４３を生成するように構成されている。また、画像処理部３２は、第２撮像素子１３ｂで検出された信号に基づき、可視画像４２を生成するように構成されている。また、画像処理部３２は、蛍光画像４１と可視画像４２とを合成した合成画像４４（図１１参照）を生成するように構成されている。画像処理部３２は、たとえば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのプロセッサを含む。

記憶部３３は、プロセッサをそれぞれ制御部３１および画像処理部３２として機能させるための各種プログラムを記憶している。記憶部３３は、画像処理部３２が生成した画像（蛍光画像４１、可視画像４２および非可視画像４３を含む各種画像）などを記憶するように構成されている。記憶部３３は、たとえば、不揮発性のメモリまたはハードディスクドライブ（ＨＤＤ）などを含む。

（画像処理部の構成）
図９に示すように、第１実施形態では、画像処理部３２は、蛍光画像処理部３２ａ、可視画像処理部３２ｂおよび非可視画像処理部３２ｃと、画像合成部３２ｄと、追跡処理部３２ｅと、画像出力部３２ｆと、選択部３２ｇとを備える。また、第１実施形態では、画像処理部３２は、解析処理部３２ｈを備える。画像処理部３２に含まれるこれらの処理部は、プロセッサが画像処理用のプログラムを実行することにより実現される機能ブロックとしてソフトウェア的に構成される。ＦＰＧＡなどのプロセッサを用いる場合、プロセッサにそれぞれの機能ブロックが構築される。処理部毎に専用のプロセッサ（処理回路）を設けて、各処理部を個別のハードウェアにより構成してもよい。

蛍光画像処理部３２ａおよび非可視画像処理部３２ｃは、それぞれ、第１撮像素子１３ａから画像信号を取得して、蛍光画像４１および非可視画像４３を生成する。可視画像処理部３２ｂは、第２撮像素子１３ｂから画像信号を取得して、可視画像４２を生成する。また、蛍光画像処理部３２ａ、可視画像処理部３２ｂおよび非可視画像処理部３２ｃは、ノイズ除去のフィルタ処理など、公知の補正処理を行いうる。

画像合成部３２ｄは、可視画像４２および蛍光画像４１を合成して、１つの合成画像４４(図１１参照)を生成する。合成は、たとえば可視画像４２上に、蛍光画像４１を重畳させる処理である。画像合成部３２ｄは、可視画像４２および蛍光画像４１に加えて、非可視画像４３を合成してもよい。

選択部３２ｇは、蛍光画像４１、可視画像４２、非可視画像４３のうちから動体追跡に用いる画像を選択するように構成されている。たとえば、選択部３２ｇは、蛍光画像処理部３２ａ、可視画像処理部３２ｂおよび非可視画像処理部３２ｃからそれぞれ、蛍光画像４１、可視画像４２、非可視画像４３を取得して、動体追跡に適したいずれか１つまたは複数の画像を選択する。選択部３２ｇは、動体追跡に用いる画像として選択した画像を、追跡処理部３２ｅに出力する。選択は、たとえば画像中の輝度値や、経過時間（たとえば蛍光剤ＦＡの被写体Ｐへの投与からの経過時間）、その他予め設定された選択基準に従って行われる。選択方法の詳細については後述する。

本実施形態では、追跡処理部３２ｅは、選択部３２ｇにより選択された画像に基づいて、画像中に設定された関心領域５１（図１１参照）の動体追跡を行う。具体的には、追跡処理部３２ｅは、画像中に含まれる画像部分と、テンプレート画像５２(図１４参照)とのテンプレートマッチングにより、関心領域５１(図１４参照)の動体追跡を行うように構成されている。関心領域５１は、動体追跡の開始前に、取得された画像中でユーザによって指定された所定範囲の領域である。関心領域５１は、手術において注目している観察部位を含んだ領域として指定される。冠動脈バイパス手術では、血流確認を行うグラフト吻合部を含む範囲が、関心領域５１として設定される。グラフト吻合部を含む周辺の血管は、心拍動に伴って位置や形状が変化する。そのため、フレーム画像が新たに取得される度に追跡処理部３２ｅが動体追跡を行って、関心領域５１の位置を検出する。

追跡処理部３２ｅは、選択部３２ｇにより選択されたフレーム画像が新たに取得されると、動体追跡を行い、動体追跡結果として、新たに取得されたフレーム画像中における関心領域５１の位置座標を出力する。

解析処理部３２ｈは、動体追跡結果に基づいて、蛍光画像４１中において関心領域５１を通過する蛍光剤ＦＡの流れを解析するように構成されている。具体的には、図１０に示すように、解析処理部３２ｈは、蛍光画像４１中で関心領域５１を流れる蛍光剤ＦＡに起因する蛍光ＦＬの時間強度曲線（ＴＩＣ）６１を生成するように構成されている。冠動脈バイパス手術では、グラフト吻合部が関心領域５１として設定されることにより、グラフト吻合部を流れる蛍光剤ＦＡから発生する蛍光ＦＬの時間強度曲線６１が生成される。時間強度曲線６１は、関心領域５１を通過する蛍光剤ＦＡの濃度変化を表すため、グラフト吻合部における血流を反映したものとなる。

解析処理部３２ｈは、蛍光画像４１の各フレーム画像から、動体追跡結果に基づいて特定された関心領域５１内の画素値を取得する。そして、解析処理部３２ｈは、図１０に示すように各々のフレーム画像における関心領域５１内の画素値の時間的な変化をプロットすることにより、時間強度曲線６１を生成する。時間強度曲線６１は、蛍光ＦＬの信号強度である蛍光画像４１の画素値を縦軸に取り、経過時間を横軸に取ったグラフの形式で表される。通常、蛍光剤ＦＡが関心領域５１の上流側の位置から血管内に投与（注入）され、血流によって関心領域５１まで運ばれる。蛍光剤ＦＡが関心領域５１に到達すると、関心領域５１内の画素値（蛍光強度）が徐々に増大し、所定のタイミングでピークに達した後、蛍光剤ＦＡが関心領域５１を通り過ぎるのに伴って徐々に画素値（蛍光強度）が低下する。時間強度曲線６１は、ピークを持った山なりの曲線となる。蛍光剤ＦＡは、投与する部位（臓器、場所）や投与量にも依存するが、たとえば約１０秒で関心領域５１に達し、約３０秒で関心領域５１における濃度がピークに達する。

図９に戻り、画像出力部３２ｆは、画像合成部３２ｄ、追跡処理部３２ｅおよび解析処理部３２ｈの処理結果を用いて、表示装置３に出力する画面画像４５（図１１参照）を生成し、出力する。画像出力部３２ｆは、図１１に示すように、たとえば、撮像された可視画像４２および蛍光画像４１と、画像合成部３２ｄによって生成された合成画像４４とを含む画面画像４５を生成する。また、画像出力部３２ｆは、追跡処理部３２ｅの動体追跡結果に基づいて、各画像中に関心領域５１の現在位置を表示させる。図１１では、矩形状の関心領域５１が、各画像上に重畳して表示されている。また、画像出力部３２ｆは、解析処理部３２ｈによる蛍光剤ＦＡの流れの解析結果を画面画像４５に含める。図１１では、流れの解析結果としての時間強度曲線６１が、各画像と並べて表示されている。したがって、画面画像４５において、撮像された画像に重畳させて表示された関心領域５１における血流の解析結果として、時間強度曲線６１が表示されている。

（画像処理部の処理動作）
次に、動体追跡処理および時間強度曲線６１の解析処理に関わる動作について説明する。図１２に示すように、撮像が開始されると、ステップＳ１において、画像処理部３２は、取得されたフレーム画像から特徴量を抽出する処理を行う。

選択部３２ｇは、フレーム画像（蛍光画像４１、可視画像４２、非可視画像４３）が新たに取得されると、画像から特徴量を抽出する処理を行う。特徴量を抽出する処理は、たとえば、２値化処理、微分フィルタなどの画像処理により、画像中のエッジ抽出を行う処理である。特徴量の抽出により、動体追跡を行うための構造的特徴が画像中から取得できる。

図７（Ａ）〜（Ｃ）の図中右側には、それぞれ蛍光画像４１、可視画像４２および非可視画像４３に対する特徴量抽出処理の結果を示す。冠動脈バイパス手術では、特徴量抽出処理によってグラフト吻合部を含む血管部分が抽出される。可視画像４２においても、外部から視認可能な血管については、特徴量抽出処理により抽出することができる。しかし、外科手術などでの手術用照明（無影灯２の照明）下では、照明光が映り込み、可視画像４２中に白飛び（画素値が飽和）した輝点ＢＳが発生してしまうことがある。この場合に可視画像４２に対して特徴量抽出処理を行うと、図７（Ａ）に示すように輝点ＢＳの形状が抽出されてしまい、血管の形状を抽出することができないため、動体追跡の精度低下の要因となる。一方、蛍光画像４１および非可視画像４３では、光学フィルタ１２ｂによって可視光波長領域の光から分離された蛍光ＦＬおよび非可視光ＩＬ（反射光）により画像が生成されるため、手術用照明の影響を受けずに動体追跡が可能となる。また、照明光の映り込みがなく、輝点ＢＳが発生しない可視画像４２については、動体追跡が可能である。

次に、図１２のステップＳ２において、画像処理部３２（追跡処理部３２ｅ）は、特徴量の抽出が行われたフレーム画像（蛍光画像４１、可視画像４２、非可視画像４３）のうちから、選択部３２ｇにより選択された画像に基づいて、動体追跡処理を行う。

（動体追跡処理）
図１３および図１４を参照して、動体追跡処理について詳細に説明する。追跡処理部３２ｅは、設定された関心領域５１に対して、動体追跡を行う。動体追跡処理は、上記の特徴量抽出処理後の画像（蛍光画像４１、可視画像４２、非可視画像４３）を用いて行われる。以下では、動体追跡に用いる画像として、非可視画像４３または蛍光画像４１が選択部３２ｇにより選択される例について説明する。また、以下では便宜的に、特徴量抽出処理後の非可視画像４３または蛍光画像４１を、単に非可視画像４３または蛍光画像４１という。

ステップＳ１１において、追跡処理部３２ｅは、１番目のフレーム（ｉ＝１）の可視画像４２上で、関心領域５１(図１１参照)の指定を受け付ける。ｉはフレーム番号を表す。このように、追跡処理部３２ｅは、可視画像４２上で受け付けた関心領域５１について、少なくとも非可視画像４３の同一位置の関心領域５１の動体追跡を行うように構成されている。上記の通り、同じフレームで取得された可視画像４２と、非可視画像４３または蛍光画像４１とは、同一視野の画像となるため、画像中の位置座標が示す被写体Ｐの部位は同一となる。そのため、ユーザが目視で視認するのと同じ可視画像４２上で関心領域５１の設定が受け付けられ、可視画像４２上の位置座標（ｘ，ｙ）を非可視画像４３または蛍光画像４１に適用することにより、非可視画像４３上または蛍光画像４１上に関心領域５１が設定される。設定操作は、図示しない操作部への入力により行われる。

ステップＳ１２において、追跡処理部３２ｅは、関心領域５１の画像部分を切り出し、ｉ＋ｎ番目（ｎは正の整数）のフレーム画像に対する動体追跡用のテンプレート画像５２（図１４参照）とする。ステップＳ１１で関心領域５１の指定を受け付けた直後は、ユーザにより指定された関心領域５１の画像が２番目のフレーム（ｉ＝１、ｎ＝１）のテンプレート画像５２とされる。

ステップＳ１３において、追跡処理部３２ｅは、ｉ＋ｎ番目のフレーム用のテンプレート画像５２と、新たに取得されたｉ＋ｎ番目のフレーム画像（非可視画像４３または蛍光画像４１）とのテンプレートマッチング（図１４参照）を行う。テンプレートマッチングは、たとえば相互相関係数Ｒの算出により行う。

図１４に示すように、追跡処理部３２ｅは、ｉ番目のフレーム画像における関心領域５１の中心位置座標（ｘ１，ｙ１）を中心とする探索範囲５３を、ｉ＋ｎ番目のフレーム画像に設定する。ここでは、ｎ＝１の例を示す。探索範囲５３は、テンプレート画像５２（すなわち関心領域５１）よりも広い範囲として設定される。探索範囲５３の大きさは、心拍動による血管の移動速度および移動範囲と、取得される画像のフレームレートとに応じて、新たに取得されたフレーム画像（ｉ＋１）において関心領域５１が探索範囲５３に含まれるように設定される。ここでは便宜的に、テンプレート画像５２（関心領域５１）が１０画素×１０画素の正方形領域として設定された場合に、探索範囲５３は、２０画素×２０画素の領域として設定されるとする。

追跡処理部３２ｅは、探索範囲５３内に関心領域５１と同じサイズの検出窓５４を設定し、検出窓５４内の画像部分と、テンプレート画像５２との間の相互相関係数Ｒを算出する。追跡処理部３２ｅは、検出窓５４を移動させて、探索範囲５３内の全領域で、それぞれ相互相関係数Ｒを算出する。そして、追跡処理部３２ｅは、最大の相互相関係数Ｒｍａｘが得られた位置座標（ｘ２，ｙ２）を、ｉ＋１番目のフレーム画像における関心領域５１の位置座標として決定する。これにより、図１３のステップＳ１３において、ｉ＋１番目のフレーム画像における関心領域５１の位置座標（ｘ２，ｙ２）が取得される。

ここで、第１実施形態では、追跡処理部３２ｅは、撮像された画像によりテンプレート画像５２を更新する処理を行うように構成されている。すなわち、追跡処理部３２ｅは、今回取得されたフレーム画像において最大の相互相関係数Ｒｍａｘが得られた関心領域５１の画像部分を、次フレームで取得されるフレーム画像に対するテンプレート画像５２として用いる。

具体的には、追跡処理部３２ｅは、ステップＳ１４において、ｉ＋ｎ番目のフレーム画像における関心領域５１の位置座標（ｘ２，ｙ２）において得られた最大の相互相関係数Ｒｍａｘを、所定の閾値ｐと比較する。追跡処理部３２ｅは、最大の相互相関係数Ｒｍａｘが閾値ｐよりも大きい場合に、ステップＳ１４において最後のフレームであるか否かを判断し、最後のフレームでなければ、ステップＳ１２に戻ってフレーム番号ｉにｉ＋ｎをセットして、テンプレート画像５２を更新する。たとえば２番目（ｉ＋ｎ＝２）のフレームにおいて、Ｒｍａｘが閾値ｐよりも大きい場合、２番目のフレーム画像によって、テンプレート画像５２が更新される。

すなわち、図１４に示したように、追跡処理部３２ｅは、最大の相互相関係数Ｒｍａｘが閾値ｐよりも大きい場合に、最大の相互相関係数Ｒｍａｘが算出された関心領域５１の画像部分を切り出して、次のフレーム用のテンプレート画像５２（ｉ＋ｎ＋１番目のテンプレート画像）として更新する。

したがって、図１４に示すように、ｉ＋１番目とｉ＋２番目のフレーム間で、テンプレート画像５２に写る特徴量（血管）の形状が相違しうる。この結果、心拍動に伴って血管の形状が変化する場合でも、血管の形状の変化に追従してテンプレート画像５２も変化（更新）される。

一方、図１３のステップＳ１４において、最大の相互相関係数Ｒｍａｘが閾値ｐ以下となる場合には、追跡処理部３２ｅは、ステップＳ１３に戻って変数ｎにｎ＋１をセットすることにより、ｉ＋ｎ番目のテンプレート画像５２とのテンプレートマッチングを行う。つまり、追跡処理部３２ｅは、最大の相互相関係数Ｒｍａｘが閾値ｐ以下となる場合には、テンプレート画像５２の更新を行わない。たとえば２番目（ｉ＋ｎ＝２）のフレームにおいて、Ｒｍａｘが閾値ｐ以下となった場合、２番目のフレーム用のテンプレート画像５２をそのまま用いて、次に取得される３番目（ｉ＋ｎ＝３）のフレーム画像における関心領域５１の探索が行われることになる。

最大の相互相関係数Ｒｍａｘが閾値ｐ以下となる場合、テンプレート画像５２との類似度が低く、何らかのエラーが含まれる可能性があり得る。そのため、Ｒｍａｘが閾値ｐ以下となる場合にテンプレート画像５２の更新を行わないことにより、不適切な画像がテンプレート画像５２として設定されることが回避できる。

以上のようにして、動体追跡処理が行われる。

図１２に戻り、ステップＳ３において、画像処理部３２（解析処理部３２ｈ）は、時間強度曲線６１を算出する解析処理を行う。蛍光剤ＦＡの投与前の段階では、時間強度曲線６１は算出されない（蛍光強度が略０として算出される）。

ステップＳ１〜Ｓ３の処理は、動体追跡開始後、新たにフレーム画像が取得される度に、実行される。そのため、動体追跡開始後、所定のタイミングが来ると、ユーザにより、被写体Ｐへの蛍光剤ＦＡの投与（注入）が行われる。蛍光剤ＦＡの投与後は、蛍光画像４１において蛍光強度（画素値）が変化するので、ステップＳ３において、算出される時間強度曲線６１の蛍光強度が図１０に示したように変化することになる。

（動体追跡に用いる画像の選択）
次に、動体追跡（図１２のステップＳ２）に用いる画像（フレーム画像）について説明する。第１実施形態では、選択部３２ｇは、追跡処理部３２ｅによる動体追跡中に、蛍光画像４１、可視画像４２、非可視画像４３のうちから、動体追跡に用いる画像を切り替えるように構成されている。具体的には、たとえば選択部３２ｇは、少なくとも蛍光剤ＦＡの投与前に、動体追跡に用いる画像として非可視画像４３を選択し、画素値に基づいて、動体追跡に用いる画像を蛍光画像４１に切り替えるように構成されている。

図１５に示すように、関心領域５１における蛍光剤ＦＡの投与前後に亘る蛍光強度は、時間強度曲線６１のように山なりに変化する。追跡処理部３２ｅは、たとえば、各フレームで取得した蛍光画像４１の画素値（蛍光強度）毎の度数分布（ヒストグラム）５５を取得する。図１５は、横軸に画素値（蛍光強度）をとり、縦軸に頻度（画素数）をとった度数分布５５を示している。そして、追跡処理部３２ｅは、画素値（蛍光強度）が所定値ｑ１を超える画素の数が、所定の閾値ｑ２を上回る場合に、動体追跡に用いる画像を蛍光画像４１に切り替える。画素値（蛍光強度）が所定値ｑ１を超える画素の数が、所定の閾値ｑ２以下となる場合には、追跡処理部３２ｅは、動体追跡に用いる画像を非可視画像４３に切り替える。所定の閾値ｑ２は、特徴量抽出を行うためのコントラストが非可視画像４３を上回る場合に蛍光画像４１に切り替わるような値が選択され予め設定される。

上記の通り、関心領域５１への蛍光剤ＦＡの流入前から時間強度曲線６１のピーク前の立ち上がりの段階、および、時間強度曲線６１のピーク後の蛍光剤ＦＡの濃度が低下する立ち下がりの段階では、蛍光画像４１において高い画素値（蛍光強度）を有する画素数が少なくなるため、追跡処理部３２ｅは、非可視画像４３を用いて動体追跡を行う。そして、蛍光剤ＦＡの濃度が高い時間強度曲線６１のピークおよびピーク前後の段階では、蛍光画像４１において高い画素値（蛍光強度）の画素数が所定の閾値ｑ２を上回るため、追跡処理部３２ｅは、蛍光画像４１を用いて動体追跡を行う。

〈動体追跡に用いる画像の選択の変形例〉
図１５では、選択部３２ｇが、画素値に基づいて動体追跡に用いる画像を切り替える（選択する）例を示したが、選択部３２ｇは、取得されたフレーム画像の画素値以外の他の情報に基づいて画像の選択を行ってもよい。たとえば、変形例では、選択部３２ｇは、蛍光剤ＦＡの投与前に、動体追跡に用いる画像として非可視画像４３を選択し、蛍光剤ＦＡの投与後に、動体追跡に用いる画像を蛍光画像４１に切り替えるように構成されている。蛍光剤ＦＡの投与後、関心領域５１において蛍光剤濃度がピークとなるタイミングは、上記のように投与する部位（臓器、場所）や投与量などに依存して、予め把握できる。そのため、選択部３２ｇは、たとえば蛍光剤ＦＡの投与後の時間経過に基づいて、予め設定されたタイミングで動体追跡に用いる画像を切り替える。

また、以上の説明では、動体追跡に用いる画像を非可視画像４３と蛍光画像４１との間で切り替える例を示しているが、選択部３２ｇは、可視画像４２を選択してもよい。上記のように、画像中に輝点ＢＳが発生しない場合、可視画像４２を用いて動体追跡が可能である。そのため、選択部３２ｇは、蛍光画像４１、可視画像４２、非可視画像４３のうちから動体追跡に適した画像を選択すればよい。

（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、可視波長領域の光と、蛍光ＦＬおよび非可視光ＩＬと、を分離する光学フィルタ１２ｂを含み、蛍光画像４１、可視画像４２、および非可視画像４３をそれぞれ撮像する撮像部１０を設ける。これにより、可視波長領域の光である手術用照明（無影灯２）の反射光を光学フィルタ１２ｂによって分離して、第３光源１１ｃの非可視光ＩＬの反射光による非可視画像４３を取得できる。そのため、非可視画像４３において、手術用照明の反射に起因する輝点ＢＳが画像中に写り込むことを抑制できる。そして、非可視光ＩＬによって、蛍光剤ＦＡを投与しなくても、観察部位と他の部位とを識別可能なコントラストのある非可視画像４３を得ることができる。そこで、蛍光画像４１、可視画像４２、非可視画像４３のうちから動体追跡に用いる画像を選択する選択部３２ｇを設けることによって、蛍光剤ＦＡの投与前の蛍光像が得られない場合や手術用照明（無影灯２）の反射が写り込む場合でも、状況に応じて動体追跡が可能な適切な画像を選択することができるので、追跡処理部３２ｅによって画像中から関心領域５１を検出することができる。以上の結果、外科手術などに蛍光撮像装置１００を用いる場合でも、蛍光撮像装置１００によって精度の高い動体追跡処理を行うことができる。

第１実施形態では、上記のように、動体追跡結果に基づいて、蛍光画像４１中において関心領域５１を通過する蛍光剤ＦＡの流れを解析する解析処理部３２ｈを設ける。これにより、関心領域５１が動く場合でも、追跡処理部３２ｅの動体追跡結果に基づいて、解析処理部３２ｈにより、被写体の同一の関心領域５１についての時間変化（関心領域５１を通過する蛍光剤ＦＡの流れ）を蛍光画像４１から把握することができる。その結果、蛍光撮像装置１００によっても、動体追跡結果を利用して、画像解析による蛍光剤ＦＡの流れ解析を行うことができる。

第１実施形態では、上記のように、蛍光画像４１中で関心領域５１を流れる蛍光剤ＦＡに起因する蛍光ＦＬの時間強度曲線（ＴＩＣ）６１を生成するように解析処理部３２ｈを構成する。これにより、時間強度曲線６１により、冠動脈などの血管であれば血流確認を行うことができ、リンパ管などではリンパ流の確認を行うことができる。そして、蛍光強度が少ない段階（蛍光剤ＦＡの関心領域５１への流入直後の立ち上がりや、蛍光剤ＦＡの濃度ピーク後の立ち下がり）においても、信号強度の低い蛍光画像４１を用いずに非可視画像４３を用いて動体追跡を行えるので、蛍光強度の立ち上がりから立ち下がりまでの広い範囲で時間強度曲線６１を精度よく取得することができる。

第１実施形態では、上記のように、追跡処理部３２ｅによる動体追跡中に、蛍光画像４１、可視画像４２、非可視画像４３のうちから、動体追跡に用いる画像を切り替えるように選択部３２ｇを構成する。これにより、動体追跡中に、より高精度な動体追跡が可能な画像を状況に応じて選択することができるので、動体追跡処理をより高精度に行うことができる。上記のように、蛍光画像４１は、蛍光剤ＦＡの投与直後の段階や、関心領域５１から流れ去る段階以外の蛍光強度のピーク付近では高いコントラストが得られ、動体追跡を高精度に行うことができる。また、手術用照明の反射が写り込んでいなければ、可視画像４２も動体追跡に用いることができる。非可視画像４３は、蛍光剤ＦＡの投与の有無や手術用照明の反射に影響されずに安定したコントラストを得ることができる。そのため、蛍光画像４１、可視画像４２、非可視画像４３を動体追跡中に切り替えて利用することによって、より高精度に動体追跡を行うことができる。

第１実施形態では、上記のように、選択部３２ｇは、少なくとも蛍光剤ＦＡの投与前に、動体追跡に用いる画像として非可視画像４３を選択し、画素値に基づいて、動体追跡に用いる画像を蛍光画像４１に切り替えるように構成されている。これにより、蛍光強度（画素値）が低い蛍光剤ＦＡの投与前の段階では、非可視画像４３を用いて動体追跡を行うことができ、蛍光強度（画素値）が十分に高くなった段階では、蛍光画像４１を用いて高精度に動体追跡を行うことができる。その結果、蛍光剤ＦＡの投与前後のそれぞれで、適切な画像選択によって高精度に動体追跡を行うことができる。

また、蛍光剤ＦＡの投与前に、動体追跡に用いる画像として非可視画像４３を選択し、蛍光剤ＦＡの投与後に、動体追跡に用いる画像を蛍光画像４１に切り替えるように選択部３２ｇを構成する場合、蛍光剤ＦＡの投与時点からの経過時間に基づいて、蛍光強度（画素値）が十分に高くなるタイミングで、非可視画像４３から蛍光画像４１に切り替えて動体追跡を行うことができる。その結果、適切な画像選択によって高精度に動体追跡を行うことができる。

第１実施形態では、上記のように、第３光源１１ｃを、近赤外波長領域の非可視光ＩＬを照射するように構成する。これにより、非可視画像４３において、血液が流れる血管が吸収により相対的に暗く、血管以外の領域が相対的に明るくなり、蛍光剤ＦＡを投与しなくても、観察部位としての血管と他の部位とを識別可能なコントラストのある非可視画像４３を得ることができる。そのため、特に関心領域５１として被写体の血管を撮像する場合に、より高精度に動体追跡を行うことができる。

第１実施形態では、上記のように、第３光源１１ｃを、蛍光ＦＬの波長と重複する波長領域の非可視光ＩＬを照射するように構成し、撮像部１０に、蛍光画像４１および非可視画像４３を撮像する第１撮像素子１３ａと、可視画像４２を撮像する第２撮像素子１３ｂとを設ける。これにより、蛍光ＦＬの波長と非可視光ＩＬの波長とが重複する波長領域を有することを利用して、共通の撮像素子を用いて蛍光画像４１および非可視画像４３の両方を撮像することができる。その結果、蛍光画像４１と、非可視画像４３と、可視画像４２とをそれぞれ撮像する場合でも、装置構成を簡素化することができる。

第１実施形態では、上記のように、第３光源１１ｃを、実質的に蛍光灯の光の波長領域を含まない非可視光ＩＬを照射するように構成する。これにより、一般に蛍光灯が用いられる手術用照明(無影灯２)の光と、第３光源１１ｃの非可視光ＩＬとを、光学フィルタ１２ｂによって容易に分離できるので、映り込みを極力抑制して非可視画像４３の画像品質を向上させることができる。その結果、非可視画像４３を用いた動体追跡の精度をさらに向上させることができる。

第１実施形態では、上記のように、追跡処理部３２ｅを、画像中に含まれる画像部分と、テンプレート画像５２とのテンプレートマッチングにより、関心領域５１の動体追跡を行うように構成する。これにより、予めテンプレート画像５２を用意しておくだけで、容易に関心領域５１の動体追跡を精度よく行うことができる。

第１実施形態では、上記のように、撮像された画像によりテンプレート画像５２を更新する処理を行うように追跡処理部３２ｅを構成する。これにより、関心領域５１の観察部位が心拍動などの生体活動に伴って変形する場合でも、新たに撮像された画像を用いてテンプレート画像５２を更新することによって、関心領域５１中の観察部位の変形が発生しても精度低下を抑制可能な頑健な動体追跡処理を行うことができる。

第１実施形態では、上記のように、同一視野における蛍光画像４１、可視画像４２、および非可視画像４３を撮像するように撮像部１０を構成し、追跡処理部３２ｅを、可視画像４２上で受け付けた関心領域５１について、少なくとも非可視画像４３の同一位置の関心領域５１の動体追跡を行うように構成する。これにより、ユーザは、実際に視認しているのと同様の可視画像４２上で関心領域５１を指定することができ、指定された関心領域５１の位置座標を非可視画像４３でそのまま用いることができるので、ユーザにとっての利便性を確保しつつ関心領域５１の位置座標を容易に取得することができる。

［第２実施形態］
次に、図１６を参照して、本発明の第２実施形態について説明する。被写体Ｐの外部から撮像を行う第１実施形態とは異なり、第２実施形態では、内視鏡装置１１０を備えた蛍光撮像装置２００について説明する。なお、上記第１実施形態と同様の構成については同様の符号を付し、説明を省略する。

図１６に示すように、第２実施形態の蛍光撮像装置２００は、光源部１１および撮像部１０を含む内視鏡装置１１０を備える。また、蛍光撮像装置２００は、内視鏡装置１１０と接続された本体部３０を備えている。

内視鏡装置１１０は、柔軟で変形可能なケーブル部１２０を備えている。ケーブル部１２０は、分岐した根元部１１１において光源部１１および撮像部１０にそれぞれ接続されている。ケーブル部１２０は、先端部１１２が、被写体Ｐ内に挿入され、被写体Ｐの内部の観察部位の近傍まで送り込まれる。

ケーブル部１２０の内部には、送光ガイド部１２１および受光ガイド部１２２が設けられている。送光ガイド部１２１および受光ガイド部１２２は、それぞれ、光ファイバなどにより構成されたライトガイドである。

送光ガイド部１２１は、根元部１１１において光源部１１に光学的に接続され、先端部１１２まで延びている。送光ガイド部１２１は、光源部１１から照射された光を、先端部１１２まで送光し、レンズ部１２３ａを介してケーブル部１２０の先端部１１２から出射させるように構成されている。送光ガイド部１２１は、光源部１１の第１光源１１ａ、第２光源１１ｂおよび第３光源１１ｃの各々に光学的に接続され、各光源から照射される励起光ＥＬ、可視照明光ＶＬおよび非可視光ＩＬを、それぞれ先端部１１２へ送光可能に構成されている。

受光ガイド部１２２は、根元部１１１において撮像部１０に光学的に接続され、先端部１１２まで延びている。受光ガイド部１２２は、先端部１１２においてレンズ部１２３ｂを介して受光した光（可視照明光ＶＬの反射光、蛍光ＦＬ、非可視光ＩＬの反射光）を、根元部１１１に接続された撮像部１０まで送光可能に構成されている。

撮像部１０に送光された光は、光学フィルタ１２ｂによって分離される。すなわち、蛍光ＦＬおよび非可視光ＩＬの反射光は、光学フィルタ１２ｂを透過して第１撮像素子１３ａに受光され、励起光ＥＬの反射光および可視照明光ＶＬの反射光は、光学フィルタ１２ｂで反射して第２撮像素子１３ｂに受光される。第１撮像素子１３ａおよび第２撮像素子１３ｂの各々により、蛍光画像４１、可視画像４２および非可視画像４３が取得される。

蛍光画像４１、可視画像４２および非可視画像４３は、画像処理部３２により取得される。選択部３２ｇ(図９参照)により選択された画像を用いて、追跡処理部３２ｅ（図９参照）により、関心領域５１の動体追跡が行われる。また、画像処理部３２の解析処理部３２ｈ（図９参照）により、蛍光剤ＦＡの流れ解析が行われる。画像処理部３２の構成は、上記第１実施形態と同様である。選択部３２ｇによる画像選択、追跡処理部３２ｅによる動体追跡処理、および、解析処理部３２ｈによる解析処理は、上記第１実施形態と同様である。画像処理部３２では、画像合成部３２ｄによって可視画像４２および蛍光画像４１が合成される。画像処理部３２は、可視画像４２、蛍光画像４１、合成画像４４および時間強度曲線６１を含んだ画面画像４５を、表示装置３に出力するように構成されている。

第２実施形態のその他の構成は、上記第１実施形態と同様である。

なお、第２実施形態において、光源部１１（第１光源１１ａ、第２光源１１ｂおよび第３光源１１ｃ）は、ケーブル部１２０の先端部１１２に内蔵されていてもよい。この場合、送光ガイド部１２１に代えて、光源部１１と本体部３０とを電気的に接続するための接続線が、ケーブル部１２０に設けられる。同様に、撮像部１０（第１撮像素子１３ａおよび第２撮像素子１３ｂ）は、ケーブル部１２０の先端部１１２に内蔵されていてもよい。この場合、受光ガイド部１２２に代えて、撮像部１０と本体部３０とを電気的に接続するための接続線が、ケーブル部１２０に設けられる。

（第２実施形態の効果）
内視鏡装置１１０では、先端部１１２が移動して観察部位との距離を一定に保つことができない（観察部位に対する照明光の照射強度が制御できない）ため、可視照明光ＶＬの反射光が可視画像４２中に強く写り込んで輝点ＢＳを生じる可能性がある。そこで、第２実施形態では、可視画像４２の撮像と動体追跡を同時に行う場合でも、上記第１実施形態と同様に、非可視画像４３において、可視照明光ＶＬの反射に起因する輝点ＢＳが画像中に写り込むことを抑制できる。そして、観察部位と他の部位とを識別可能なコントラストのある非可視画像４３に基づいて、画像中に設定された関心領域５１の動体追跡を行うことによって、蛍光剤ＦＡの投与を行わなくても画像中から関心領域５１を検出することができる。以上の結果、反射光の影響を抑制した非可視画像４３を用いて、蛍光剤ＦＡの投与を行わなくても関心領域５１を検出できるので、内視鏡手術などに蛍光撮像装置２００を用いる場合でも、蛍光撮像装置２００によって精度の高い動体追跡処理を行うことができる。

また、第２実施形態では、上記のように、光源部１１および撮像部１０を含む内視鏡装置１１０を設ける。これにより、被写体の体内での蛍光撮像を行う場合にも、非可視画像４３を用いて関心領域５１の動体追跡を行うことができる。内視鏡装置１１０の場合、被検体内の関心領域５１が動くだけでなく、内視鏡自体も被検体内で動くため、たとえば内視鏡生検などを行う場合にも、可視画像４２では認識できないような観察部位を含んだ関心領域５１の動体追跡を行えることが特に有用である。

第２実施形態のその他の効果は、上記第１実施形態と同様である。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。

たとえば、上記第１および第２実施形態では、蛍光剤ＦＡの流れを解析する解析処理部３２ｈを設けた例を示したが、本発明はこれに限られない。本発明では、解析処理部３２ｈを設けなくてもよい。動体追跡は、蛍光剤ＦＡの流れの解析のみならず、たとえば生検時の切除部位の画像上での特定や、治療箇所の特定などにおいて有用である。

また、上記第１および第２実施形態では、蛍光剤ＦＡの流れ解析として、解析処理部３２ｈが蛍光の時間強度曲線６１を生成する例を示したが、本発明はこれに限られない。解析処理部３２ｈは、画像解析により蛍光剤の流れを解析する処理を行うのであれば、時間強度曲線６１の生成以外のどのような解析処理を行ってもよい。

また、上記第１および第２実施形態では、追跡処理部３２ｅが非可視画像４３に加えて、蛍光画像４１にも基づいて、関心領域５１の動体追跡を行う例を示したが、本発明はこれに限られない。追跡処理部３２ｅは、蛍光画像４１、可視画像４２および非可視画像４３のいずれか１つのみに基づいて動体追跡を行ってもよい。

また、上記第１および第２実施形態では、追跡処理部３２ｅが、画素値に基づいて、動体追跡に用いる画像を非可視画像４３または蛍光画像４１に切り替える例を示したが、本発明はこれに限られない。追跡処理部３２ｅは、動体追跡に用いる画像を切り替えなくてもよい。追跡処理部３２ｅは、非可視画像４３および蛍光画像４１の両方を用いて動体追跡を行ってもよい。非可視画像４３および蛍光画像４１の合成画像を作成して、合成画像に対して動体追跡を行ってもよい。また、追跡処理部３２ｅが動体追跡に用いる画像を切り替える場合、画素値以外の情報に基づいて、切り替えを行ってもよい。

また、上記第１および第２実施形態では、追跡処理部３２ｅがテンプレートマッチングにより動体追跡を行う例を示したが、本発明はこれに限られない。追跡処理部３２ｅによる動体追跡の手法は、テンプレートマッチング以外のどのような手法によってもよい。たとえば、機械学習により、テンプレート画像５２を用いずに、画像中に設定した関心領域５１を検出してもよい。

また、上記第１および第２実施形態では、追跡処理部３２ｅがテンプレート画像５２を更新する処理を行う例を示したが、本発明はこれに限られない。追跡処理部３２ｅは、テンプレート画像５２を更新しなくてもよい。たとえば、追跡処理部３２ｅは、最初にユーザにより指定された関心領域５１の画像のみをテンプレート画像５２として用いてもよい。被写体Ｐにおいて変形が小さい部位を関心領域５１とする場合には、テンプレート画像５２を更新しなくても、関心領域５１を精度よく検出可能である。

また、上記第１および第２実施形態では、第３光源１１ｃが、近赤外波長領域の非可視光ＩＬを照射する例を示したが、本発明はこれに限られない。第３光源１１ｃは、近赤外波長領域以外の赤外光を非可視光ＩＬとして照射してもよい。また、第３光源１１ｃは、可視波長領域に対して短波長側の紫外領域の波長の非可視光ＩＬを照射してもよい。非可視光ＩＬの波長は、上記のように、関心領域内の観察部位と被写体の他の部位とで吸収特性または反射特性が異なる波長を用いればよく、これによって関心領域内の観察部位を識別する特徴量を画像処理により抽出することが可能となる。

また、上記第１および第２実施形態では、第３光源１１ｃが、蛍光ＦＬの波長と重複する波長領域の非可視光ＩＬを照射する例を示したが、本発明はこれに限られない。非可視光ＩＬと蛍光ＦＬとで、ピーク波長が異なっていて波長領域が重複しなくてもよい。また、蛍光画像４１および非可視画像４３を、共通の第１撮像素子１３ａによって撮像しなくてもよい。この場合、図１７に示す第１変形例のように、蛍光用撮像素子３０１と、可視光用撮像素子３０２と、非可視光用撮像素子３０３とを、それぞれ別々に設けてもよい。第１変形例では、可視光（励起光ＥＬおよび無影灯２などの照明光を含む）と非可視光（蛍光ＦＬ、非可視光ＩＬを含む）とを分離する第１の光学フィルタ３０４と、蛍光ＦＬと非可視光ＩＬとを分離する第２の光学フィルタ３０５と、が設けられている。

この他、図１８に示す第２変形例のように、蛍光ＦＬの波長領域の光を選択的に透過する蛍光用フィルタ３１１と、可視照明光ＶＬの波長領域の光を選択的に透過する可視光用フィルタ３１２と、非可視光ＩＬの波長領域の光を選択的に透過する非可視光用フィルタ３１３とを設けて、これらのフィルタを共通（単一）の撮像素子３１０の光路上に交替で移動させる構成としてもよい。ことにより、共通の撮像素子３１０を用いて、蛍光画像４１と、可視画像４２と、非可視画像４３とをそれぞれ撮像することができる。

また、上記第１および第２実施形態では、追跡処理部３２ｅが、可視画像４２上で関心領域５１の指定を受け付ける例を示したが、本発明はこれに限られない。追跡処理部３２ｅは、可視画像４２以外の画像（蛍光画像４１、非可視画像４３または合成画像４４）上で関心領域５１の指定を受け付けてもよい。

１０ 撮像部
１１ 光源部
１１ａ 第１光源
１１ｂ 第２光源
１１ｃ 第３光源
１２ｂ、３０４、３０５、３１１、３１２、３１３ 光学フィルタ
１３ａ 第１撮像素子
１３ｂ 第２撮像素子
３２ｅ 追跡処理部
３２ｇ 選択部
３２ｈ 解析処理部
４１ 蛍光画像
４２ 可視画像
４３ 非可視画像
５１ 関心領域
５２ テンプレート画像
６１ 時間強度曲線
１００、２００ 蛍光撮像装置
１１０ 内視鏡装置
ＥＬ 励起光
ＦＡ 蛍光剤
Ｐ 被写体

上記目的を達成するために、この発明の一の局面における蛍光撮像装置は、被写体に投与される蛍光剤の励起光を照射する第１光源と、可視波長領域の可視照明光を照射する第２光源と、可視波長領域外の非可視光を照射する第３光源と、を含む光源部と、可視波長領域の光と、励起光により励起された可視波長領域外の蛍光および非可視光と、を分離する光学フィルタを含み、蛍光に基づく蛍光画像、可視照明光の反射光に基づく可視画像、および非可視光の反射光に基づく非可視画像をそれぞれ撮像する撮像部と、少なくとも非可視画像に基づいて、画像中に設定された関心領域の動体追跡を行う追跡処理部と、を備える。

この発明の一の局面における蛍光撮像装置は、上記のように、可視波長領域の光と、励起光により励起された可視波長領域外の蛍光および非可視光と、を分離する光学フィルタを含み、蛍光に基づく蛍光画像、可視照明光の反射光に基づく可視画像、および非可視光の反射光に基づく非可視画像をそれぞれ撮像する撮像部を設ける。これにより、可視波長領域の光である手術用照明（無影灯）の反射光を光学フィルタによって分離して、第３光源の非可視光の反射光による非可視画像を取得できる。そのため、非可視画像において、手術用照明の反射に起因する輝点が画像中に写り込むことを抑制できる。そして、非可視光については、たとえば関心領域内の観察部位と被写体の他の部位とで吸収特性または反射特性が異なる波長を用いれば、蛍光剤を投与しなくても、観察部位と他の部位とを識別可能なコントラストのある非可視画像を得ることができる。そこで、上記のように、蛍光剤の投与前の蛍光像が得られない場合や手術用照明の反射が写り込む場合でも、追跡処理部によって画像中から関心領域を検出することができる。以上の結果、外科手術などに蛍光撮像装置を用いる場合でも、蛍光撮像装置によって精度の高い動体追跡処理を行うことができる。
上記一の局面における蛍光撮像装置において、好ましくは、追跡処理部は、非可視画像に加えて、蛍光画像にも基づいて関心領域の動体追跡を行う。
上記一の局面における蛍光撮像装置において、好ましくは、追跡処理部は、被検体への蛍光薬剤投与前には、非可視画像に基づいて関心領域の動体追跡を行い、蛍光薬剤投与後は非可視画像または蛍光画像に基づいて関心領域の動体追跡を行う。
上記一の局面における蛍光撮像装置において、好ましくは、蛍光画像、非可視画像、および可視画像のうちから、動体追跡に用いる画像を選択する選択部をさらに備える。なお、可視画像においても、手術用照明の反射に起因する輝点が画像中に写り込んでいない可視画像については、動体追跡に用いることが可能である。選択部を設けることによって、蛍光剤の投与前の蛍光像が得られない場合や手術用照明の反射が写り込む場合でも、状況に応じて動体追跡が可能な適切な画像を選択することができる。

上記選択部を備える構成において、好ましくは、選択部は、追跡処理部による動体追跡中に、蛍光画像、可視画像、非可視画像のうちから、動体追跡に用いる画像を切り替えるように構成されている。このように構成すれば、動体追跡中に、より高精度な動体追跡が可能な画像を状況に応じて選択することができるので、動体追跡処理をより高精度に行うことができる。たとえば、蛍光画像は、蛍光剤の投与直後の段階や、関心領域から流れ去る段階では、蛍光強度（蛍光剤の濃度）が低いため動体追跡には適さない一方、蛍光強度のピーク付近では高いコントラストが得られ、動体追跡を高精度に行うことができる。そのため、蛍光画像、可視画像、非可視画像を動体追跡中に切り替えて利用することによって、より高精度に動体追跡を行うことができる。

上記追跡処理部が、蛍光薬剤投与前には非可視画像に基づいて動体追跡を行い、蛍光薬剤投与後は非可視画像または蛍光画像に基づいて動体追跡を行う構成において、好ましくは、追跡処理部は、少なくとも蛍光剤の投与前に、動体追跡に用いる画像として非可視画像を用い、画素値に基づいて、動体追跡に用いる画像を蛍光画像に切り替えるように構成されている。このように構成すれば、蛍光強度（画素値）が低い蛍光剤の投与前の段階では、非可視画像を用いて動体追跡を行うことができ、蛍光強度（画素値）が十分に高くなった段階では、蛍光画像を用いて高精度に動体追跡を行うことができる。その結果、蛍光剤の投与前後のそれぞれで、適切な画像選択によって高精度に動体追跡を行うことができる。

Claims (13)

1. 被写体に投与される蛍光剤の励起光を照射する第１光源と、可視波長領域の可視照明光を照射する第２光源と、可視波長領域外の非可視光を照射する第３光源と、を含む光源部と、
   可視波長領域の光と、前記励起光により励起された可視波長領域外の蛍光および前記非可視光と、を分離する光学フィルタを含み、前記蛍光に基づく蛍光画像、前記可視照明光の反射光に基づく可視画像、および前記非可視光の反射光に基づく非可視画像をそれぞれ撮像する撮像部と、
   前記蛍光画像、前記可視画像、前記非可視画像のうちから動体追跡に用いる画像を選択する選択部と、
   選択された画像に基づいて、画像中に設定された関心領域の動体追跡を行う追跡処理部と、を備える、蛍光撮像装置。
2. 動体追跡結果に基づいて、前記蛍光画像中において前記関心領域を通過する蛍光剤の流れを解析する解析処理部をさらに備える、請求項１に記載の蛍光撮像装置。
3. 前記解析処理部は、前記蛍光画像中で前記関心領域を流れる蛍光剤に起因する前記蛍光の時間強度曲線を生成するように構成されている、請求項２に記載の蛍光撮像装置。
4. 前記選択部は、前記追跡処理部による動体追跡中に、前記蛍光画像、前記可視画像、前記非可視画像のうちから、動体追跡に用いる画像を切り替えるように構成されている、請求項１〜３のいずれか１項に記載の蛍光撮像装置。
5. 前記選択部は、少なくとも前記蛍光剤の投与前に、動体追跡に用いる画像として前記非可視画像を選択し、画素値に基づいて、動体追跡に用いる画像を前記蛍光画像に切り替えるように構成されている、請求項４に記載の蛍光撮像装置。
6. 前記選択部は、前記蛍光剤の投与前に、動体追跡に用いる画像として前記非可視画像を選択し、前記蛍光剤の投与後に、動体追跡に用いる画像を前記蛍光画像に切り替えるように構成されている、請求項４に記載の蛍光撮像装置。
7. 前記第３光源は、近赤外波長領域の前記非可視光を照射するように構成されている、請求項１〜６のいずれか１項に記載の蛍光撮像装置。
8. 前記第３光源は、前記蛍光の波長と重複する波長領域の前記非可視光を照射し、
   前記撮像部は、前記蛍光画像および前記非可視画像を撮像する第１撮像素子と、前記可視画像を撮像する第２撮像素子とを備える、請求項１〜７のいずれか１項に記載の蛍光撮像装置。
9. 前記第３光源は、実質的に蛍光灯の光の波長領域を含まない前記非可視光を照射するように構成されている、請求項１〜８のいずれか１項に記載の蛍光撮像装置。
10. 前記追跡処理部は、画像中に含まれる画像部分と、テンプレート画像とのテンプレートマッチングにより、前記関心領域の動体追跡を行うように構成されている、請求項１〜９のいずれか１項に記載の蛍光撮像装置。
11. 前記追跡処理部は、撮像された画像により前記テンプレート画像を更新する処理を行うように構成されている、請求項１０に記載の蛍光撮像装置。
12. 前記撮像部は、同一視野における前記蛍光画像、前記可視画像、および前記非可視画像を撮像するように構成され、
    前記追跡処理部は、前記可視画像上で受け付けた前記関心領域について、少なくとも前記非可視画像の同一位置の前記関心領域の動体追跡を行うように構成されている、請求項１〜１１のいずれか１項に記載の蛍光撮像装置。
13. 前記光源部および前記撮像部を含む内視鏡装置をさらに備える、請求項１〜１２のいずれか１項に記載の蛍光撮像装置。

Images