JP2019168423A - 画像取得装置及び画像取得方法 - Google Patents

Abstract

【課題】可視画像及び赤外画像を合成した観察画像の画質の向上が図られる画像取得装置及び画像取得方法を提供する。【解決手段】画像取得装置１は、可視光及び励起光を出力する光源部２３と、励起光のオン・オフを制御する光源制御部３６と、ＲＧＢ−ＩＲ画素からの第１のフレームの受光信号と第２のフレームの受光信号とを交互に検出する光検出部２７と、受光信号に基づいて観察画像を生成する画像生成部４６とを備え、光源制御部は、第１のフレームでは励起光をオフとし、第２のフレームでは励起光をオンとし、画像生成部４６は、第１のフレームの受光信号に基づいて生成した可視画像と、第２のフレームの受光信号に基づいて生成した赤外画像とを合成して観察画像を生成する。【選択図】図１

Description

本発明は、画像取得装置及び画像取得方法に関する。

例えば医療などの分野では、生体組織等の観察対象物の蛍光観察が導入されている。蛍光観察では、観察対象物に蛍光色素を注入した後、蛍光色素を励起する励起光を観察対象物に照射して蛍光パターンの観察を行う。かかる蛍光観察に用いられる装置としては、例えば特許文献１に記載の撮像システムがある。この従来の撮像システムでは、可視光及び励起光の双方を観察対象物に照射する。そして、可視光に感度を持つＲＧＢ画素と赤外光に感度を持つＩＲ画素とを組み合わせた受光素子（ＲＧＢ−ＩＲ受光素子）を用いて観察対象物からの光を受光し、観察対象物の可視画像及び赤外画像を合成して観察画像を生成している。

特許第６１４２３８９号公報

上述した従来の装置で用いられるＲＧＢ−ＩＲ受光素子のＲＧＢ画素は、実際には赤外領域の光に対しても若干の感度を有している。このため、観察対象物からの光に基づいて観察画像を生成する際、可視画像に赤外光の成分が含まれてしまい、観察画像の画質が低下してしまうおそれがある。

本発明は、上記課題の解決のためになされたものであり、可視画像及び赤外画像を合成した観察画像の画質の向上が図られる画像取得装置及び画像取得方法を提供することを目的とする。

本発明の一側面に係る画像取得装置は、観察対象物の観察画像を取得する画像取得装置であって、観察対象物に向けて励起光を出力する光源部と、光源部における励起光のオン・オフを制御する光源制御部と、可視光を受光するＲＧＢ画素及び赤外光を受光するＩＲ画素を有し、これらの画素からの第１のフレームの受光信号と第２のフレームの受光信号とを交互に検出する光検出部と、受光信号に基づいて観察対象物の観察画像を生成する画像生成部と、を備え、光源制御部は、第１のフレームでは励起光をオフとし、第２のフレームでは励起光をオンとし、画像生成部は、第１のフレームの受光信号に基づいて生成した可視画像と、第２のフレームの受光信号に基づいて生成した赤外画像とを合成して観察画像を生成する。

この画像取得装置では、第１のフレームにおいて励起光がオフとなり、当該第１のフレームの受光信号に基づいて可視画像が生成される。このため、ＲＧＢ画素が赤外領域の光に対する感度を有していたとしても、赤外成分の影響を低減した可視画像を得ることができる。したがって、この画像取得装置では、可視画像及び赤外画像を合成した観察画像の画質の向上が図られる。

画像生成部は、第１のフレームの受光信号のうちのＲＧＢ画素での受光成分から第１のフレームの受光信号のうちのＩＲ画素での受光成分を減算して可視画像を生成してもよい。これにより、可視画像から赤外成分の影響を除去することができる。したがって、可視画像及び赤外画像を合成した観察画像の画質の一層の向上が図られる。

画像生成部は、第２のフレームの受光信号のうちのＩＲ画素での受光成分から第１のフレームの受光信号のうちのＩＲ画素での受光成分を減算して赤外画像を生成してもよい。これにより、赤外画像から背景光による赤外成分の影響を除去することができる。したがって、可視画像及び赤外画像を合成した観察画像の画質の一層の向上が図られる。

画像生成部は、可視画像及び赤外画像を予め設定した輝度値比で合成して観察画像を生成してもよい。こうすると、単純に可視画像と赤外画像とを合成する場合に比べて観察画像における赤外画像の視認性を高めることが可能となる。

画像取得装置は、可視画像に対する赤外画像の輝度値の比を算出する算出部と、輝度値の比に基づいて赤外光の検出条件を制御する条件制御部と、を更に備え、条件制御部は、光検出部の露光時間を変えずに励起光の出力時間を制御する第１の制御、光検出部の露光時間を変えずに励起光の出力強度を制御する第２の制御、励起光のエネルギーが不変となる範囲で励起光の出力時間と励起光の出力強度と光検出部の露光時間とを制御する第３の制御の少なくとも一つを実行してもよい。このような制御の実行により、観察画像における赤外画像の輝度値を最適化することが可能となり、観察画像における赤外画像の視認性を高めることができる。

光源部は、観察対象物に向けて励起光と共に可視光を出力し、光源制御部は、第１のフレームでは可視光をオンとする一方で励起光をオフとし、第２のフレームでは可視光及び励起光の双方をオンとしてもよい。この場合、第１のフレームにおいて可視光のみが観察対象物に照射され、当該第１のフレームの受光信号に基づいて可視画像が生成される。したがって、赤外成分の影響を低減した可視画像をより確実に得ることができる。

本発明の一側面に係る画像取得方法は、観察対象物の観察画像を取得する画像取得方法であって、観察対象物に向けて励起光を出力する光出力ステップと、可視光を受光するＲＧＢ画素及び赤外光を受光するＩＲ画素を用い、これらの画素からの第１のフレームの受光信号と第２のフレームの受光信号とを光検出部で交互に検出する光検出ステップと、受光信号に基づいて観察対象物の観察画像を生成する画像生成ステップと、を備え、光出力ステップにおいて、第１のフレームでは励起光をオフとし、第２のフレームでは励起光をオンとし、画像生成ステップにおいて、第１のフレームの受光信号に基づいて生成した可視画像と、第２のフレームの受光信号に基づいて生成した赤外画像とを合成して観察画像を生成する。

この画像取得方法では、第１のフレームにおいて励起光がオフとなり、当該第１のフレームの受光信号に基づいて可視画像が生成される。このため、ＲＧＢ画素が赤外領域の光に対する感度を有していたとしても、赤外成分の影響を低減した可視画像を得ることができる。したがって、この画像取得方法では、可視画像及び赤外画像を合成した観察画像の画質の向上が図られる。

画像生成ステップにおいて、第１のフレームの受光信号のうちのＲＧＢ画素での受光成分から第１のフレームの受光信号のうちのＩＲ画素での受光成分を減算して可視画像を生成してもよい。これにより、可視画像から赤外成分の影響を除去することができる。したがって、可視画像及び赤外画像を合成した観察画像の画質の一層の向上が図られる。

画像生成ステップにおいて、第２のフレームの受光信号のうちのＩＲ画素での受光成分から第１のフレームの受光信号のうちのＩＲ画素での受光成分を減算して赤外画像を生成してもよい。これにより、赤外画像から背景光による赤外成分の影響を除去することができる。したがって、可視画像及び赤外画像を合成した観察画像の画質の一層の向上が図られる。

画像生成ステップにおいて、可視画像及び赤外画像を予め設定した輝度値比で合成して観察画像を生成してもよい。こうすると、単純に可視画像と赤外画像とを合成する場合に比べて観察画像における赤外画像の視認性を高めることが可能となる。

また、画像取得方法は、可視画像に対する赤外画像の輝度値の比を算出する算出ステップと、輝度値の比に基づいて赤外光の検出条件を制御する条件制御ステップと、を更に備え、条件制御ステップにおいて、光検出部の露光時間を変えずに励起光の出力時間を制御する第１の制御、光検出部の露光時間を変えずに励起光の出力強度を制御する第２の制御、励起光のエネルギーが不変となる範囲で励起光の出力時間と励起光の出力強度と光検出部の露光時間とを制御する第３の制御の少なくとも一つを実行してもよい。このような制御の実行により、観察画像における赤外画像の輝度値を最適化することが可能となり、観察画像における赤外画像の視認性を高めることができる。

光出力ステップにおいて、観察対象物に向けて励起光と共に可視光を出力し、第１のフレームでは可視光をオンとする一方で励起光をオフとし、第２のフレームでは可視光及び励起光の双方をオンとしてもよい。この場合、第１のフレームにおいて可視光のみが観察対象物に照射され、当該第１のフレームの受光信号に基づいて可視画像が生成される。したがって、赤外成分の影響を低減した可視画像をより確実に得ることができる。

本発明によれば、可視画像及び赤外画像を合成した観察画像の画質の向上が図られる。

画像取得装置の一実施形態を示すブロック図である。 光検出部を構成するＲＧＢ−ＩＲ受光素子を示す概略図である。 光源制御部による光源の制御の一例を示す図である。 出力時間制御の一例を示す図である。 出力強度制御の一例を示す図である。 等エネルギー制御の一例を示す図である。 （ａ）及び（ｂ）は、可視画像の生成の様子を示す図である。 （ａ）は、赤外画像の生成の様子を示す図であり、（ｂ）は、観察画像の生成の様子を示す図である。 画像取得装置の全体的な動作の一例を示すフローチャートである。 算出ステップの詳細の一例を示すフローチャートである。 条件制御ステップを構成する励起光アップ処理の一例を示すフローチャートである。 条件制御ステップを構成する励起光ダウン処理の一例を示すフローチャートである。

以下、図面を参照しながら、本発明の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。

図１は、画像取得装置の一実施形態を示すブロック図である。同図に示す画像取得装置１は、例えば蛍光色素を用いて観察対象物の蛍光観察を行う装置として構成されている。観察対象物としては、例えばヒトや動物などの生体の一部、生体組織、細胞などが挙げられる。蛍光色素としては、例えばインドシアニングリーンが用いられる。インドシアニングリーンは、赤外光によって励起され、励起光とは異なる波長の赤外蛍光を発する。励起光及び赤外蛍光のいずれも生体を透過し易いため、生体の深部の蛍光観察に適している。他の蛍光色素としては、例えばメチレンブルーが挙げられる。

画像取得装置１は、図１に示すように、操作ユニット２と、カメラユニット３と、コントロールユニット４とを含んで構成されている。操作ユニット２は、画像取得装置１のユーザからの操作の入力を受け付けるユニットである。操作ユニット２は、例えば操作部１１と、制御部１２と、信号送信部１３とを備えて構成されている。制御部１２は、操作検出部１４と、コマンド化処理部１５とを有している。操作部１１は、例えばボタンやキーボード等によって構成されている。操作部１１で入力された操作は、操作検出部１４で検出され、コマンド化処理部１５でコマンド化処理される。信号送信部１３は、入力された操作に対応するコマンドをコントロールユニット４側に出力する。

カメラユニット３は、観察対象物の撮像を行うユニットである。カメラユニット３は、励起光源２１及び可視光源２２を有する光源部２３と、レンズ２４と、光学フィルタ２５と、ＲＧＢ−ＩＲ受光素子２６を有する光検出部２７と、制御部２８と、信号送受信部２９とを備えて構成されている。

励起光源２１は、蛍光色素を励起する励起光を出力する光源である。蛍光色素としてインドシアニングリーンを用いる場合、励起光のスペクトルのピーク波長は、例えば７６０ｎｍ程度である。また、励起光によって生じる蛍光のスペクトルの波長域は、７６０ｎｍ〜１０００ｎｍ程度であり、そのピーク波長は、８５０ｎｍ程度である。また、可視光源２２は、例えば白色光を出力する光源である。励起光源２１及び可視光源２２を構成する光源としては、例えばＬＤ、ＬＥＤ、ＳＬＤ、ランプなどが挙げられる。

励起光源２１から出力された励起光及び可視光源２２から出力された可視光は、観察対象物に照射される。観察対象物からの光、すなわち、可視光及び赤外光（ここでは赤外蛍光）は、レンズ２４及び光学フィルタ２５を介して光検出部２７に入力される。光学フィルタ２５は、光検出部に入力される光の波長を調整する光学素子であり、観察対象物と光検出部２７との間の光路上に配置されている。光学フィルタ２５としては、ロングパスフィルタ、バンドパスフィルタ、或いはこれらの組み合わせを適宜用いることができる。

光検出部２７は、観察対象物からの光を検出する部分である。光検出部２７が有するＲＧＢ−ＩＲ受光素子２６は、図２に示すように、可視光を受光するＲＧＢ画素３１と、赤外光を受光するＩＲ画素３２とを備えている。ＲＧＢ画素３１は、Ｒ画素３３、Ｇ画素３４、及びＢ画素３５を組み合わせて構成されている。光検出部２７は、Ｒ画素３３、Ｇ画素３４、Ｂ画素３５、ＩＲ画素３２の４種の画素からの画像を各フレームにおいて検出し、検出結果に基づく受光信号を制御部２８に出力する。

制御部２８は、光源制御部３６と、素子制御部３７と、信号処理部３８とを備えている。光源制御部３６は、励起光源２１における励起光のオン・オフ及び可視光源２２における可視光のオン・オフを制御する部分である。光源制御部３６は、観察対象物からの光の光路におけるレンズ２４の位置を調整し、当該光の集光位置を制御してもよい。また、素子制御部３７は、ＲＧＢ−ＩＲ受光素子２６の露光時間を制御する。信号処理部３８は、ＲＧＢ−ＩＲ受光素子２６から出力される受光信号を受け取り、信号送受信部２９を介してコントロールユニット４側に出力する。

図３は、光源制御部による光源の制御の一例を示す図である。同図に示す例では、光検出部２７は、第１のフレームＴ１及び第２のフレームＴ２において交互に連続して画像の取得を実行する。第１のフレームＴ１及び第２のフレームＴ２では、いずれも非露光時間ｔ_ｎ経過後に露光時間ｔ_０が設定されている。初期状態での露光時間ｔ_０は、例えば第１のフレーム及び第２のフレームＴ２において採り得る最大値に設定されている。光源制御部３６は、第１のフレームＴ１の全期間にわたって可視光をオンとする一方、第１のフレームＴ１の全期間にわたって励起光をオフとする。また、光源制御部３６は、第２のフレームＴ２の全期間にわたって可視光をオンとし、第２のフレームＴ２における露光時間ｔ_０の範囲内で出力時間ｆ_０をもって励起光をオンとする。

すなわち、図３の例では、可視光は、画像取得の全期間にわたって点灯し、励起光は、２フレーム毎に１回だけ露光時間ｔ_０の範囲内で点灯する。励起光の出力時間ｆ_０は、露光時間ｔ_０の範囲内で任意に設定可能であるが、初期状態では例えば露光時間ｔ_０よりも短い時間に設定される。光検出部２７では、励起光がオフの状態である第１のフレームＴ１の受光信号と、励起光がオンの状態である第２のフレームＴ２の受光信号とが交互に検出され、検出結果に基づく受光信号が信号送受信部２９を介してコントロールユニット４側に出力される。なお、図３の例では、第１のフレームＴ１の露光時間と第２のフレームＴ２の露光時間とが互いに等しい長さに設定されているが、第１のフレームＴ１の露光時間と第２のフレームＴ２の露光時間とが互いに異なる長さに設定されていてもよい。

また、光源制御部３６及び素子制御部３７は、観察対象物からの赤外光の検出条件を制御する条件制御部３９としても機能する。条件制御部３９としての光源制御部３６及び素子制御部３７は、後述する算出部５６での判断結果に基づいて励起光及び露光時間の制御を実行する。より具体的には、条件制御部３９は、後述する算出部５６での判断結果に基づいて、出力時間制御（第１の制御）、出力強度制御（第２の制御）、及び等エネルギー制御（第３の制御）の少なくとも一つを実行し、観察対象物に入力される励起光の光量を増減させる。

出力時間制御では、光検出部２７の露光時間を変えずに励起光の出力時間を制御する。出力時間制御において励起光の光量をアップさせる場合には、例えば図４に示すように、第２のフレームＴ２における励起光の出力時間ｆ_０を出力時間ｆ_１に増大させる。増大後の出力時間ｆ_１は、露光時間ｔ_０の範囲内で任意に設定可能であり、出力時間ｆ_１の最大値は、露光時間ｔ_０と一致する。出力時間制御において励起光の光量をダウンさせる場合には、第２のフレームＴ２における励起光の出力時間ｆ_１を出力時間ｆ_０に減少させる。減少後の出力時間ｆ_０の最小値は、例えば励起光源２１の種類等に依存する。出力時間制御では、励起光の光量をアップさせる場合及びダウンさせる場合のいずれにおいても、励起光の出力強度については一定とされる。

出力強度制御では、光検出部２７の露光時間を変えずに励起光の出力強度を制御する。出力強度制御において励起光の光量をアップさせる場合には、例えば図５に示すように、第２のフレームＴ２における励起光の出力強度Ｐ１を出力強度Ｐ２に増大させる。増大後の出力強度Ｐ２の最大値は、例えば現露光時間において許容可能な励起光源２１の発生熱量に基づいて設定される。出力強度制御において励起光の光量をダウンさせる場合には、第２のフレームＴ２における励起光の出力強度Ｐ２を出力強度Ｐ１に減少させる。減少後の出力強度Ｐ１の最小値は、例えば励起光源２１の種類等に依存して決定される。出力強度制御では、励起光の光量をアップさせる場合及びダウンさせる場合のいずれにおいても、励起光の出力時間については一定とされる。

等エネルギー制御では、励起光のエネルギーが不変となる範囲で、励起光の出力時間と励起光の出力強度と光検出部２７の露光時間とを制御する。等エネルギー制御において励起光の光量をアップさせる場合には、例えば図６に示すように、露光時間ｔ_０を露光時間ｔ_１に減少させ、励起光の出力時間を露光時間ｔ_１と一致する出力時間ｆ_２に減少させ、励起光の出力強度を出力強度Ｐ２から出力強度Ｐ３に増大させる。等エネルギー制御において励起光の光量をダウンさせる場合には、露光時間ｔ_１を露光時間ｔ_０に増大させ、励起光の出力時間を露光時間ｔ_０と一致する出力時間ｆ_１に増大させ、励起光の出力強度を出力強度Ｐ３から出力強度Ｐ２に減少させる。等エネルギー制御では、露光時間が減少することで可視光の輝度値が減少し、赤外光（赤外蛍光）の輝度値が相対的に増大する。

図１に戻り、コントロールユニット４は、カメラユニット３で撮像された観察対象物の画像を処理するユニットである。コントロールユニット４は、物理的には、プロセッサ、メモリ等を含んで構成されるコンピュータシステムであり、各種の制御機能をプロセッサによって実行する。コントロールユニット４には、画像を表示させるモニタ等の表示装置Ｍ１、画像を記憶するハードディスク等の記憶装置Ｍ２が接続されている。コントロールユニット４は、例えばＦＰＧＡ（Field-programmable gate array）といった集積回路によって構成されていてもよい。

コントロールユニット４は、図１に示すように、信号受信部４１と、信号送受信部４２と、制御部４３とを備えて構成されている。信号受信部４１は、操作ユニット２から出力されるコマンドを受信し、制御部４３に出力する部分である。また、信号送受信部４２は、カメラユニット３との間で相互に情報通信を行う部分である。信号送受信部４２は、カメラユニット３から出力される受光信号の受信、カメラユニット３への制御指示信号及びコマンドの送信等を実行する部分である。

制御部４３は、コマンド受信部４４と、コマンド処理部４５と、画像生成部４６と、ＧＵＩ処理部４７とを備えて構成されている。コマンド受信部４４は、操作ユニット２から出力されるコマンドを受け取り、コマンド処理部４５に出力する。コマンド処理部４５は、コマンド受信部４４から受け取ったコマンドを内容に応じてＧＵＩ処理部４７及び信号送受信部４２に出力する。

画像生成部４６は、カメラユニット３から出力される受光信号に基づいて観察対象物の観察画像を生成する部分である。より具体的には、画像生成部４６は、第１のフレームＴ１の受光信号に基づいて可視画像を生成し、第２のフレームＴ２の受光信号に基づいて赤外画像（ここでは赤外蛍光画像）を生成する。可視画像Ｖ及び赤外画像Ｒの生成後、画像生成部４６は、可視画像と赤外画像Ｒとを合成し、観察対象物の観察画像Ｓを生成する。

可視画像Ｖの生成にあたり、画像生成部４６は、第１のフレームＴ１の受光信号のうちのＲＧＢ画素３１での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算する。本実施形態では、図７（ａ）に示すように、まず、第１のフレームＴ１におけるＩＲ画素３２での受光成分に基づくＩＲ_１画像５１を抽出する。次に、ＩＲ_１画像５１の輝度値に係数α_Ｒ、α_Ｇ、α_Ｂをそれぞれ乗算し、ＩＲ_１−α_Ｒ画像５１ａ、ＩＲ_１−α_Ｇ画像５１ｂ、ＩＲ_１−α_Ｂ画像５１ｃを得る。係数α_Ｒ、α_Ｇ、α_Ｂは、ＲＧＢ画素３１が僅かに有するＩＲの波長に対する感度に基づく係数であり、ＲＧＢ−ＩＲ受光素子２６の特性上定まるものである。

ＩＲ_１−α_Ｒ画像５１ａ、ＩＲ_１−α_Ｇ画像５１ｂ、ＩＲ_１−α_Ｂ画像５１ｃを得た後、第１のフレームＴ１におけるＲＧＢ画素３１での受光成分に基づくＲ_１画像５２ａ、Ｇ_１画像５２ｂ、Ｂ_１画像５２ｃを抽出する。次に、図７（ｂ）に示すように、Ｒ_１画像５２ａ、Ｇ_１画像５２ｂ、Ｂ_１画像５２ｃのそれぞれの輝度値からＩＲ_１−α_Ｒ画像５１ａ、ＩＲ_１−α_Ｇ画像５１ｂ、ＩＲ_１−α_Ｂ画像５１ｃのそれぞれの輝度値を減算し、Ｒ_２画像５３ａ、Ｇ_２画像５３ｂ、Ｂ_２画像５３ｃを得る。最後に、Ｒ_２画像５３ａ、Ｇ_２画像５３ｂ、Ｂ_２画像５３ｃを合成し、可視画像Ｖを得る。

赤外画像Ｒの生成にあたり、画像生成部４６は、第２のフレームＴ２の受光信号のうちのＩＲ画素３２での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算する。本実施形態では、図８（ａ）に示すように、第２のフレームＴ２におけるＩＲ画素３２での受光成分に基づくＩＲ_２画像５４を抽出する。次に、可視画像Ｖの生成に用いたＩＲ_１画像５１を用い、ＩＲ_２画像５４の輝度値からＩＲ_１画像５１の輝度値を減算して赤外画像Ｒを得る。

観察画像Ｓの生成にあたり、画像生成部４６は、図８（ｂ）に示すように、可視画像Ｖ及び赤外画像Ｒを予め設定した輝度値比で合成する。この処理は、αブレンドと称され、観察画像Ｓにおいて赤外画像Ｒに一定の透明性を持たせることにより、観察画像Ｓ中の赤外画像Ｒの輪郭などを目立たせる効果を奏する。本実施形態では、例えば可視画像Ｖの輝度値と赤外画像Ｒの輝度値との比を７：３として可視画像Ｖと赤外画像Ｒとを合成する。αブレンドで用いる可視画像Ｖの輝度値と赤外画像Ｒの輝度値との比は、ユーザが任意に設定可能である。また、αブレンドは、必ずしも実行する必要はなく、可視画像Ｖ及び赤外画像Ｒをそのまま重畳するように合成して観察画像Ｓを生成してもよい。画像生成部４６は、生成した観察画像ＳをＧＵＩ処理部４７に出力する。観察画像Ｓは、ＧＵＩ処理部４７によってＧＵＩ（Graphical User Interface）処理が施された後、記憶装置Ｍ２及び表示装置Ｍ１に出力される。

また、画像生成部４６は、可視画像Ｖに対する赤外画像Ｒの輝度値の比を算出する算出部５６としても機能する。算出部５６としての画像生成部４６は、まず、生成された可視画像Ｖ及び赤外画像Ｒにおいて関心領域を設定する。関心領域は、例えば可視画像Ｖ及び赤外画像Ｒの一部（例えば観察対象物が撮像されるエリア）に対して設定される。関心領域は、可視画像Ｖ及び赤外画像Ｒに対して予め設定されていてもよく、ユーザの選択操作によって設定されるものであってもよい。また、関心領域の設定は、可視画像Ｖ及び赤外画像Ｒに対して実行されてもよく、可視画像Ｖ及び赤外画像Ｒを合成した観察画像Ｓに対して実行されてもよい。

次に、算出部５６は、設定された関心領域において、可視画像Ｖ及び赤外画像Ｒの輝度値をそれぞれ抽出し、可視画像Ｖに対する赤外画像Ｒの輝度値の比を算出する。輝度値の比の算出後、算出部５６は、輝度値の比を予め設定された閾値の範囲と比較し、輝度値の比が閾値の範囲内であるか否かを判断する。算出部５６は、判断結果を示す情報を生成し、信号送受信部４２を介してカメラユニット３の制御部２８に出力する。

続いて、上述した画像取得装置１の動作について説明する。図９は、画像取得装置１の全体的な動作の一例を示すフローチャートである。同図に示すように、画像取得装置１は、光出力ステップＳ０１と、光検出ステップＳ０２と、画像生成ステップＳ０３と、算出ステップＳ０４と、条件制御ステップＳ０５とを実行する。

光出力ステップＳ０１では、観察対象物に向けて可視光及び励起光を出力する。励起光の入力により、観察対象物では蛍光色素が励起され、赤外光（赤外蛍光）が発生する。また、光検出ステップＳ０２では、ＲＧＢ画素３１及びＩＲ画素３２により、第１のフレームＴ１の受光信号と第２のフレームの受光信号とを光検出部２７で交互に検出する。光出力ステップＳ０１では、第１のフレームＴ１では可視光をオンとする一方で励起光をオフとし、第２のフレームＴ２では可視光及び励起光の双方をオンとする。このため、第１のフレームＴ１の受光信号には、主としてＲＧＢ画素３１での受光成分が含まれ、第２のフレームＴ２の受光信号には、ＲＧＢ画素３１及びＩＲ画素３２の双方の受光成分が含まれる。

画像生成ステップＳ０３では、受光信号に基づいて観察対象物の観察画像Ｓを生成する。観察画像Ｓは、可視画像Ｖと赤外画像Ｒとの合成によって生成される。可視画像Ｖは、第１のフレームＴ１の受光信号のうちのＲＧＢ画素３１での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算することによって生成される（図７（ａ）及び図７（ｂ）参照）。赤外画像Ｒは、第２のフレームＴ２の受光信号のうちのＩＲ画素３２での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算することによって生成される（図８参照（ａ））。観察画像Ｓは、可視画像Ｖ及び赤外画像を予め設定した輝度値比で合成することによって生成される（図８（ｂ）参照）。

算出ステップＳ０４では、可視画像Ｖに対する赤外画像Ｒの輝度値の比を算出し、当該輝度値の比が予め設定された閾値の範囲内であるか否かを判断する。輝度値の閾値は、ユーザの操作によって任意に変更可能であってもよい。条件制御ステップＳ０５では、算出ステップＳ０４での輝度値の比の判断結果に基づいて赤外光の検出条件を制御する。条件制御ステップＳ０５を実行した後、ステップＳ０１からステップＳ０４までの処理或いはステップＳ０１からステップＳ０５までの処理を繰り返し実行し、必要数の観察画像Ｓを取得した後、処理を終了する。

図１０は、算出ステップの詳細の一例を示すフローチャートである。算出ステップＳ０４では、まず、可視画像Ｖ及び赤外画像Ｒにおける関心領域を設定する（ステップＳ１１）。次に、関心領域における可視画像Ｖ及び赤外画像Ｒの輝度値をそれぞれ抽出し（ステップＳ１２）、可視画像Ｖに対する赤外画像Ｒの輝度値の比を算出する（ステップＳ１３）。輝度値の比の算出後、輝度値の比が閾値の下限より低いか否かを判断する（ステップＳ１４）。

ステップＳ１４において、輝度値の比が閾値の下限より低いと判断された場合、条件制御ステップＳ０５として励起光アップ処理（ステップＳ１５）を実行する。ステップＳ１４において、輝度値の比が閾値の下限以上であると判断された場合、輝度値の比が閾値の上限より高いか否かを判断する（ステップＳ１６）。ステップＳ１６において、輝度値の比が閾値の上限より高いと判断された場合、条件制御ステップＳ０５として励起光ダウン処理（ステップＳ１７）を実行する。ステップＳ１６において、輝度値の比が閾値の上限以下であると判断された場合、条件制御ステップＳ０５を実行せずに処理を終了する。

図１１は、条件制御ステップを構成する励起光アップ処理の一例を示すフローチャートである。励起光アップ処理は、励起光の光量をアップさせるための処理である。同図に示すように、励起光アップ処理Ｓ１５では、まず、励起光の出力時間が露光時間よりも短いか否かを判断する（ステップＳ２１）。ステップＳ２１において、励起光の出力時間が露光時間よりも短いと判断された場合、出力時間制御を実行する（ステップＳ２２）。励起光アップ処理における出力時間制御では、例えば励起光の出力強度及び露光時間を不変としつつ、露光時間と一致するように励起光の出力時間を増大させる（図４参照）。

ステップＳ２１において、励起光の出力時間が露光時間よりも短くない（露光時間と一致している）と判断された場合、次に、励起光の出力強度が現露光時間における最大値よりも小さいか否かを判断する（ステップＳ２３）。ステップＳ２３において、励起光の出力強度が現露光時間における最大値よりも小さいと判断された場合、出力強度制御を実行する（ステップＳ２４）。励起光アップ処理における出力強度制御では、例えば励起光の出力時間及び露光時間を不変としつつ、現露光時間における最大値となるように励起光の出力強度を増大させる（図５参照）。

ステップＳ２３において、励起光の出力強度が現露光時間における最大値であると判断された場合、次に、現露光時間が露光時間の最小値よりも短いか否かを判断する（ステップＳ２５）。ステップＳ２５において、現露光時間が露光時間の最小値よりも長いと判断された場合、等エネルギー制御を実行する（ステップＳ２６）。励起光アップ処理における等エネルギー制御では、例えば露光時間を最小値まで減少させ、かつ励起光の出力時間を露光時間の最小値と一致するように減少させる一方、励起光のエネルギーが制御前と不変になるように励起光の出力強度を増大させる（図６参照）。

ステップＳ２５において、現露光時間が露光時間の最小値よりも長くない（露光時間の最小値である）と判断された場合、励起光の光量が最大光量に到達していることを示す通知がなされる。当該通知は、例えば表示装置Ｍ１への表示或いは音声等の出力によって実行される。

図１２は、条件制御ステップを構成する励起光ダウン処理の一例を示すフローチャートである。励起光ダウン処理は、励起光の光量をダウンさせるための処理である。励起光ダウン処理では、例えば励起光アップ処理とは逆の順序で条件制御の判断を実行する。同図に示すように、励起光ダウン処理Ｓ１７では、まず、現露光時間が露光時間の最大値よりも短いか否かを判断する（ステップＳ３１）。ステップＳ３１において、現露光時間が露光時間の最大値よりも短いと判断された場合、等エネルギー制御を実行する（ステップＳ３２）。励起光ダウン処理における等エネルギー制御では、例えば露光時間を最大値まで増大させ、かつ励起光の出力時間を露光時間の最大値と一致するように増大させる一方、励起光のエネルギーが制御前と不変になるように励起光の出力強度を減少させる（図６参照）。

ステップＳ３１において、現露光時間が露光時間の最大値よりも短くない（露光時間の最大値である）と判断された場合、次に、励起光の出力強度が現露光時間における最小値よりも大きいか否かを判断する（ステップＳ３３）。ステップＳ３３において、励起光の出力強度が現露光時間における最小値よりも大きいと判断された場合、出力強度制御を実行する（ステップＳ３４）。励起光ダウン処理における出力強度制御では、例えば励起光の出力時間及び露光時間を不変としつつ、現露光時間における最小値となるように励起光の出力強度を減少させる（図５参照）。

ステップＳ３３において、励起光の出力強度が現露光時間における最小値であると判断された場合、次に、励起光の出力時間が最小値（例えば励起光源２１の仕様上の最小値）よりも大きいか否かを判断する（ステップＳ３５）。ステップＳ３５において、励起光の出力時間が最小値よりも大きいと判断された場合、出力時間制御を実行する（ステップＳ３６）。励起光ダウン処理における出力時間制御では、例えば励起光の出力強度を不変としつつ、励起光源２１の仕様上の最小値となるように励起光の出力時間を減少させる（図４参照）。

ステップＳ３５において、励起光の出力時間が最小値よりも長くない（励起光源２１の仕様上の最小値である）と判断された場合、励起光の光量が最小光量に到達していることを示す通知がなされる。当該通知は、最大光量到達通知と同様に、例えば表示装置Ｍ１への表示或いは音声等の出力によって実行される。

以上説明したように、画像取得装置１では、第１のフレームＴ１において可視光のみが観察対象物に照射され、当該第１のフレームＴ１の受光信号に基づいて可視画像Ｖが生成される。このため、ＲＧＢ画素３１が赤外領域の光に対する感度を有していたとしても、赤外成分の影響を低減した可視画像Ｖを得ることができる。したがって、画像取得装置１では、可視画像Ｖ及び赤外画像Ｒを合成した観察画像Ｓの画質の向上が図られる。

また、画像取得装置１では、第１のフレームＴ１の受光信号のうちのＲＧＢ画素３１での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算して可視画像Ｖを生成する。これにより、可視画像Ｖから赤外成分の影響を効果的に除去することができる。したがって、可視画像Ｖ及び赤外画像Ｒを合成した観察画像Ｓの画質の一層の向上が図られる。

また、画像取得装置１では、第２のフレームＴ２の受光信号のうちのＩＲ画素３２での受光成分から第１のフレームＴ１の受光信号のうちのＩＲ画素３２での受光成分を減算して赤外画像Ｒを生成する。これにより、赤外画像Ｒから背景光による赤外成分の影響を除去することができる。したがって、可視画像Ｖ及び赤外画像Ｒを合成した観察画像Ｓの画質の一層の向上が図られる。

また、画像取得装置１は、可視画像Ｖ及び赤外画像Ｒをユーザが任意に設定した輝度値比で合成して観察画像Ｓを生成する。こうすると、単純に可視画像Ｖと赤外画像Ｒとを合成する場合に比べて観察画像Ｓにおける赤外画像Ｒの視認性を高めることが可能となる。例えば、観察画像Ｓにおいて観察対象物の蛍光像の輪郭を背景像に対して目立たせることが可能となる。

また、画像取得装置１では、可視画像Ｖに対する赤外画像Ｒの輝度値の比に基づいて赤外光の検出条件を制御する。本実施形態では、画像取得装置１は、赤外光の検出条件の制御として、出力時間制御、出力強度制御、及び等エネルギー制御の少なくとも一つを実行する。このような制御の実行により、観察画像Ｓにおける赤外画像Ｒの輝度値を最適化することが可能となり、観察画像Ｓにおける赤外画像Ｒの視認性を高めることができる。

また、本実施形態では、励起光の光量をアップさせる場合には、出力時間制御、出力強度制御、等エネルギー制御の順で制御を実行し、励起光の光量をダウンさせる場合には、これとは逆に、等エネルギー制御、出力強度制御、出力時間制御の順で制御を実行する。この場合、励起光の光量をアップさせるにあたって励起光の出力強度を増大させる処理の優先度が下がり、励起光の光量をダウンさせるにあたって励起光の出力強度を減少させる処理の優先度が上がるため、励起光の出力による装置の発熱を抑えることができる。

また、本実施形態では、初期状態での露光時間ｔ_０は、例えば第１のフレーム及び第２のフレームＴ２において採り得る最大値に設定されており、等エネルギー制御を実行する場合を除いて当該露光時間ｔ_０が維持される。露光時間ｔ_０を維持することで、可視画像Ｖの画質を向上することができ、可視画像Ｖ及び赤外画像Ｒを合成した観察画像Ｓの画質の一層の向上が図られる。

本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、第１のフレームＴ１と第２のフレームＴ２の双方において可視光をオンとする制御を例示しているが、可視光を含む周辺光の強度が十分である場合には、第１のフレームＴ１と第２のフレームＴ２の双方において可視光をオフとする制御を行ってもよい。また、上記実施形態では、光源部２３が励起光源２１及び可視光源２２を有しているが、光源部２３は、必ずしも可視光源２２を有する必要はなく、励起光源２１だけを有していてもよい。

１…画像取得装置、２３…光源部、２７…光検出部、３１…ＲＧＢ画素、３２…ＩＲ画素、３６…光源制御部、３９…条件制御部、４６…画像生成部、５６…算出部、Ｓ…観察画像、Ｖ…可視画像、Ｒ…赤外画像、Ｔ１…第１のフレーム、Ｔ２…第２のフレーム。

Claims (12)

1. 観察対象物の観察画像を取得する画像取得装置であって、
   前記観察対象物に向けて励起光を出力する光源部と、
   前記光源部における前記励起光のオン・オフを制御する光源制御部と、
   可視光を受光するＲＧＢ画素及び赤外光を受光するＩＲ画素を有し、これらの画素からの第１のフレームの受光信号と第２のフレームの受光信号とを交互に検出する光検出部と、
   前記受光信号に基づいて前記観察対象物の前記観察画像を生成する画像生成部と、を備え、
   前記光源制御部は、前記第１のフレームでは前記励起光をオフとし、前記第２のフレームでは前記励起光をオンとし、
   前記画像生成部は、前記第１のフレームの受光信号に基づいて生成した可視画像と、前記第２のフレームの受光信号に基づいて生成した赤外画像とを合成して前記観察画像を生成する画像取得装置。
2. 前記画像生成部は、前記第１のフレームの受光信号のうちの前記ＲＧＢ画素での受光成分から前記第１のフレームの受光信号のうちの前記ＩＲ画素での受光成分を減算して前記可視画像を生成する請求項１記載の画像取得装置。
3. 前記画像生成部は、前記第２のフレームの受光信号のうちの前記ＩＲ画素での受光成分から前記第１のフレームの受光信号のうちの前記ＩＲ画素での受光成分を減算して前記赤外画像を生成する請求項１又は２記載の画像取得装置。
4. 前記画像生成部は、前記可視画像及び前記赤外画像を予め設定した輝度値比で合成して前記観察画像を生成する請求項１〜３のいずれか一項記載の画像取得装置。
5. 前記可視画像に対する前記赤外画像の輝度値の比を算出する算出部と、
   前記輝度値の比に基づいて前記赤外光の検出条件を制御する条件制御部と、を更に備え、
   前記条件制御部は、前記光検出部の露光時間を変えずに前記励起光の出力時間を制御する第１の制御、前記光検出部の露光時間を変えずに前記励起光の出力強度を制御する第２の制御、前記励起光のエネルギーが不変となる範囲で前記励起光の出力時間と前記励起光の出力強度と前記光検出部の露光時間とを制御する第３の制御の少なくとも一つを実行する請求項１〜４のいずれか一項記載の画像取得装置。
6. 前記光源部は、前記観察対象物に向けて前記励起光と共に可視光を出力し、
   前記光源制御部は、前記第１のフレームでは前記可視光をオンとする一方で前記励起光をオフとし、前記第２のフレームでは前記可視光及び前記励起光の双方をオンとする請求項１〜５のいずれか一項記載の画像取得装置。
7. 観察対象物の観察画像を取得する画像取得方法であって、
   前記観察対象物に向けて励起光を出力する光出力ステップと、
   可視光を受光するＲＧＢ画素及び赤外光を受光するＩＲ画素を用い、これらの画素からの第１のフレームの受光信号と第２のフレームの受光信号とを光検出部で交互に検出する光検出ステップと、
   前記受光信号に基づいて前記観察対象物の前記観察画像を生成する画像生成ステップと、を備え、
   前記光出力ステップにおいて、前記第１のフレームでは前記励起光をオフとし、前記第２のフレームでは前記励起光をオンとし、
   前記画像生成ステップにおいて、前記第１のフレームの受光信号に基づいて生成した可視画像と、前記第２のフレームの受光信号に基づいて生成した赤外画像とを合成して前記観察画像を生成する画像取得方法。
8. 前記画像生成ステップにおいて、前記第１のフレームの受光信号のうちの前記ＲＧＢ画素での受光成分から前記第１のフレームの受光信号のうちの前記ＩＲ画素での受光成分を減算して前記可視画像を生成する請求項７記載の画像取得方法。
9. 前記画像生成ステップにおいて、前記第２のフレームの受光信号のうちの前記ＩＲ画素での受光成分から前記第１のフレームの受光信号のうちの前記ＩＲ画素での受光成分を減算して前記赤外画像を生成する請求項７又は８記載の画像取得方法。
10. 前記画像生成ステップにおいて、前記可視画像及び前記赤外画像を予め設定した輝度値比で合成して前記観察画像を生成する請求項７〜９のいずれか一項記載の画像取得方法。
11. 前記可視画像に対する前記赤外画像の輝度値の比を算出する算出ステップと、
    前記輝度値の比に基づいて前記赤外光の検出条件を制御する条件制御ステップと、を更に備え、
    前記条件制御ステップにおいて、前記光検出部の露光時間を変えずに前記励起光の出力時間を制御する第１の制御、前記光検出部の露光時間を変えずに前記励起光の出力強度を制御する第２の制御、前記励起光のエネルギーが不変となる範囲で前記励起光の出力時間と前記励起光の出力強度と前記光検出部の露光時間とを制御する第３の制御の少なくとも一つを実行する請求項７〜１０のいずれか一項記載の画像取得方法。
12. 前記光出力ステップにおいて、前記観察対象物に向けて前記励起光と共に可視光を出力し、前記第１のフレームでは前記可視光をオンとする一方で前記励起光をオフとし、前記第２のフレームでは前記可視光及び前記励起光の双方をオンとする請求項７〜１１のいずれか一項記載の画像取得方法。

Images