JP2011000208A - 撮像装置 - Google Patents

Abstract

【課題】２つの撮像系と被観察部との距離が変化した場合においても位置ずれのない適切な重畳画像を生成する。
【解決手段】同一の被写体を第１の撮像手段および第１の撮像手段とは別個に設けられた第２の撮像手段により撮像し、第１の撮像手段によって撮像された第１の画像内における第１の領域（ｘ１，ｘ２）を取得するとともに、第２の撮像手段によって撮像された第２の画像内における第２の領域（ｘ３，ｘ４）を取得し、第１または第２の撮像手段における光学系と被写体との距離情報を取得し、その距離情報の変化に基づいて、第１の領域および第２の領域に補正を施して第１の補正済領域（ｘ１’，ｘ２’）および第２の補正済領域（ｘ３’，ｘ４’）を取得し、これらの補正済領域内の部分画像を重ね合わせて重畳画像を生成する。
【選択図】図９

Description

本発明は、複数の撮像系を備え、その複数の撮像系によって撮像された複数の画像を重畳した重畳画像を生成する撮像装置に関するものである。

従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光によって照明された体腔内の観察対象を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。

そして、上記のような内視鏡システムとして、複数の撮像系を備え、同一の被観察部を各撮像系で撮像し、各撮像系で撮像された画像を重ね合わせて重畳画像を表示する内視鏡システムが提案されている。

たとえば、特許文献１においては、２つの撮像系によってそれぞれ通常画像と蛍光画像とを撮像し、通常画像と蛍光画像を重ね合わせた重畳画像を表示する蛍光内視鏡装置が提案されている。特許文献１に記載のような蛍光内視鏡装置を用いることによって、たとえば、通常画像上では脂肪で覆われて現われていないが、蛍光画像には現われている血管画像を通常画像上に重ねて見ることができる。

そして、特許文献１においては、２つの撮像系によって撮像された通常画像と蛍光画像の位置ずれを防止するため、撮像前に予め位置ずれを検出しておき、その検出した位置ずれに基づいて通常画像と蛍光画像とを補正する方法が提案されている。

また、上記のようにして２つの撮像系によって撮像された蛍光画像と通常画像の一部の領域の画像を切り出し、その切り出された画像同志を重ね合わせて重畳画像を表示する方法も提案されている。そして、この方法においては、蛍光画像の一部の領域と通常画像の一部の領域とを操作者により手動で設定し、その設定された領域内の部分画像同志を重ね合わせて重畳画像を表示するようにしている。

特開２００２−７４３３０号公報

しかしながら、上記のようにして重畳画像を表示している際、たとえば、体腔内に挿入される内視鏡挿入部の先端が被観察部に近づいて上記先端と被観察部との距離が変化した場合、すなわち、２つの撮像系と被観察部との距離が変化した場合、撮像される蛍光画像と通常画像が変化するのに対し、操作者によって指定された一部の領域が最初に設定したままであると、蛍光画像の領域内の部分蛍光画像と通常画像の領域内の部分通常画像とが異なる画像になってしまい、適切な重畳画像を表示させることができない。また、蛍光画像における一部の領域と通常画像における一部の領域とを操作者により再設定することも考えられるが手間がかかる。

本発明は、上記の問題に鑑みてなされたものであり、２つの撮像系と被観察部との距離が変化した場合においても位置ずれのない適切な重畳画像を生成することができる撮像装置を提供することを目的とする。

本発明の撮像装置は、同一の被写体を撮像する第１の撮像手段および第１の撮像手段とは別個に設けられた第２の撮像手段と、第１の撮像手段によって撮像された第１の画像内における第１の領域を取得する第１の領域取得手段と、第２の撮像手段によって撮像された第２の画像内における第２の領域を取得する第２の領域取得手段と、第１の撮像手段における光学系と被写体との距離情報または第２の撮像手段における光学系と被写体との距離情報を取得する距離情報取得手段と、距離情報取得手段により取得された距離情報の変化に基づいて、第１の領域および第２の領域に補正を施して第１の補正済領域および第２の補正済領域を取得する補正領域取得手段と、第１の補正済領域内の第１の部分画像の大きさと第２の補正済領域内の第２の部分画像の大きさとが同じになるように第１の部分画像および第２の部分画像のうちの少なくとも一方に補正を施して第１の部分画像に対応する第３の部分画像と第２の部分画像に対応する第４の部分画像を生成する補正手段と、補正手段により生成された第３の部分画像と第４の部分画像とを重ね合わせた重畳画像を生成する重畳手段とを備えたことを特徴とする。

また、上記本発明の撮像装置においては、補正領域取得手段を、第１の補正済領域の端辺がその端辺に対応する第１の画像の端辺を超える場合には、第１の補正済領域の端辺がその端辺に対応する第１の画像の端辺に一致するように補正を施すとともに、第２の補正済領域の端辺がその端辺に対応する第２の画像の端辺を超える場合には、第２の補正済領域の端辺がその端辺に対応する第２の画像の端辺に一致するように補正を施すものとすることができる。

ここで、上記「端辺」とは、上端、下端、左端または右端のことを意味し、補正済領域の端辺に対応する画像の端辺とは、補正済領域の端辺が上端である場合には画像の上端、補正済領域の端辺が下端である場合には画像の下端、補正済領域の端辺が左端である場合には画像の左端、補正済領域の端辺が右端である場合には画像の右端を意味する。また、第１の領域取得手段を、第１の領域の指定を受け付けてその第１の領域を取得するものとし、第２の領域取得手段を、第１の領域取得手段によって取得された第１の領域の情報に基づいて、第２の領域を自動的に算出して取得するものとすることができる。

また、第１の撮像手段および第２の撮像手段のうちのいずれか一方を、特殊光の照射によって被写体から発せられた蛍光または被写体に吸収された吸光に基づく特殊像を撮像するものとし、他方を、通常光の照射によって被写体から反射された反射光に基づく通常像を撮像するものとすることができる。

本発明の撮像装置は、同一の被写体を第１の撮像手段および第１の撮像手段とは別個に設けられた第２の撮像手段により撮像し、第１の撮像手段によって撮像された第１の画像内における第１の領域を取得するとともに、第２の撮像手段によって撮像された第２の画像内における第２の領域を取得し、第１または第２の撮像手段における光学系と被写体との距離情報を取得し、その距離情報の変化に基づいて、第１の領域および第２の領域に補正を施して第１の補正済領域および第２の補正済領域を取得し、第１の補正済領域内の第１の部分画像の大きさと第２の補正済領域内の第２の部分画像の大きさとが同じになるように第１の部分画像および第２の部分画像のうちの少なくとも一方に補正を施して第３の部分画像と第４の部分画像を生成し、これらを重ね合わせた重畳画像を生成するようにしたので、２つの撮像手段の光学系と被観察部との距離が変化した場合においても位置ずれのない適切な重畳画像を生成することができる。

また、上記本発明の撮像装置において、第１の補正済領域の端辺がその端辺に対応する第１の画像の端辺を超える場合には、第１の補正済領域の端辺がその端辺に対応する第１の画像の端辺に一致するように補正を施し、第２の補正済領域の端辺がその端辺に対応する第２の画像の端辺を超える場合には、第２の補正済領域の端辺がその端辺に対応する第２の画像の端辺に一致するように補正を施すようにした場合には、補正済領域が画像の範囲を超えて重畳画像が生成できなくなるのを回避することができる。

また、第１の領域取得手段を、第１の領域の指定を受け付けてその第１の領域を取得するものとし、第２の領域取得手段を、第１の領域取得手段によって取得された第１の領域の情報に基づいて、第２の領域を自動的に算出して取得するものとした場合には、第１の領域の指定のみを行えばよいので、操作者の手間を省くことができる。

本発明の撮像装置の一実施形態を用いた腹腔鏡システムの概略構成図 硬質挿入部の概略構成図 撮像ユニットの概略構成図 画像処理装置の概略構成を示すブロック図 画像処理部の概略構成を示すブロック図 操作者により指定された蛍光画像上の第１の領域と通常画像上の第２の領域とを示す図 撮像系と被観察部との距離が変化した場合における、従来の蛍光画像上の第１の領域と通常画像上の第２の領域とを示す図 撮像系と被観察部との距離が変化した場合における、蛍光画像上の第１の補正済領域と通常画像上の第２の補正済領域とを示す図 撮像系と被観察部との距離が変化した場合における、蛍光画像上の第１の領域と通常画像上の第２の領域との補正方法を説明するための図 蛍光画像上の第１の領域に基づいて、通常画像上の第２の領域を自動的に設定する方法を説明するための図

以下、図面を参照して本発明の撮像装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。

本実施形態の腹腔鏡システム１は、図１に示すように、白色の通常光を射出する通常光源２と、特殊光を射出する特殊光源３と、通常光源２から射出された照明光および特殊光源３から射出された特殊光を導光して被観察部に照射するとともに、照明光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置４と、画像処理装置４において生成された表示制御信号に基づいて被観察部の通常画像を表示するモニタ６とを備えている。

通常光源２は、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出するものであって、たとえばハロゲンランプを備えている。通常光源２は第１光ケーブルＬＣ１を介して硬性鏡撮像装置１０に光学的に接続されている。

特殊光源３は、７００ｎｍ〜８００ｎｍの近赤外光であり、たとえば蛍光色素としてＩＣＧを用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出する。なお、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。特殊光源３は第２光ケーブルＬＣ２を介して硬性鏡撮像装置１０に光学的に接続されている。

なお、第１光ケーブルＬＣ１と第２光ケーブルＬＣ２とは、図１に示すように、途中で合流して光学的に接続されている。

硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。

また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、照射窓３０ｄ、およびレーザー測距部３０ｅを備えている。

接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。

挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂには、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。

挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに第１光ケーブルＬＣ１および第２光ケーブルＬＣ２が機械的に接続される。これにより、通常光源２と挿入部材３０ｂとが第１光ケーブルＬＣ１を介して光学的に接続されるとともに、特殊光源３と挿入部材３０ｂとが第２光ケーブルＬＣ２を介して光学的に接続されることになる。

照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、第１光ケーブルＬＣ１によって導光された通常光および第２光ケーブルＬＣ２によって導光された特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。

レーザー測距部３０ｅは、レーザダイオードを備え、レーザダイオードから射出されたレーザーを被観察部に照射するとともに、その照射によって被観察部から反射された反射光を検出することによって被観察部と硬質挿入部３０の先端との距離を計測し、その距離情報を撮像ユニット２０を介して画像処理装置４に出力するものである。なお、本実施形態においては、被観察部と硬質挿入部３０の先端との距離を計測するものとしてレーザー測距部を用いるようにしたが、被観察部と硬質挿入部３０の先端との距離を計測するものであれば、その他の超音波測距手段などを利用するようにしてもよい。また、通常画像信号の輝度情報に基づいて距離情報を取得するようにしてもよい。

図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。

第１の撮像系は、被観察部において反射した特殊光をカットする特殊光カットフィルタ２１、硬質挿入部３０から射出された蛍光像Ｌ３を結像する第１結像光学系２２、および第１結像光学系２２により結像された蛍光像を撮像する高感度撮像素子２３を備えている。

第２の撮像系は、硬質挿入部３０から射出された通常像Ｌ４を結像する第２結像光学系２４および第２結像光学系２４により結像された通常像を撮像する撮像素子２５を備えている。

高感度撮像素子２３は、蛍光像の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２３は、モノクロの撮像素子である。

撮像素子２５は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２５の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。

また、撮像ユニット２０は、撮像制御ユニット２６を備えている。撮像制御ユニット２６は、高感度撮像素子２３から出力された蛍光画像信号および撮像素子２５から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理処置４に出力するものである。

画像処理処置４は、図４に示すように、画像入力コントローラ３１、画像処理部３２、メモリ３３、ビデオ出力部３４、操作部３５およびＣＰＵ３６を備えている。

画像入力コントローラ３１は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２６から出力された１フレーム分の通常画像信号または蛍光画像信号を一時的に記憶するものである。そして、画像入力コントローラ３１に一時的に記憶された画像信号は、バスを介してメモリ３３に格納される。

画像処理部３２は、メモリ３３から読み出された１フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものであるが、画像処理部３２のより具体的な構成を図５に示す。

画像処理部３２は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像生成部３２ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像生成部３２ｂと、操作部３５によって操作者により指定された蛍光画像内の第１の領域の情報と通常画像内の第２の領域の情報とを受け付ける指定領域受付部３２ｃと、硬性鏡撮像装置１０の硬質挿入部３０の先端に設けられたレーザー測距部３０ｅから出力された距離情報を受け付ける距離情報受付部３２ｄと、指定領域受付部３２ｃにより受け付けられた第１の領域情報と第２の領域情報を、距離情報受付部３２ｄにより受け付けられた距離情報の変化に基づいて補正し、第１の補正済領域情報と第２の補正済領域情報とを取得する補正領域取得部３２ｅと、補正領域取得部３２ｅにより取得された第１の補正済領域内の蛍光画像信号を部分蛍光画像信号として取得するとともに、第２の補正済領域内の通常画像信号を部分通常画像信号として取得する部分画像取得部３２ｆと、部分画像取得部３２ｆにより取得された部分蛍光画像信号と部分通常画像信号とを重ね合わせて重畳画像信号を取得する重畳画像生成部３２ｇとを備えている。

ビデオ出力部３４は、画像処理部３２から出力された通常画像信号、蛍光画像信号および重畳画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ６に出力するものである。

操作部３５は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるとともに、蛍光画像内における第１の領域および通常画像内における第２の領域の入力を受け付けるものである。また、ＣＰＵ３６は画像処理処置４の全体を制御するものである。

次に、本実施形態の腹腔鏡システムの作用について説明する。

まず、第１および第２光ケーブルＬＣ１，ＬＣ２が接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、通常光源２、特殊光源３および撮像ユニット２０および画像処理処置４の電源が投入され、これらが駆動される。

次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。

そして、まず、被観察部の通常像および蛍光像が撮像され、通常画像および蛍光画像の表示が行われる。

具体的には、本実施形態の腹腔鏡システムにおいては、通常像の撮像と、蛍光像の撮像とが時分割で１/３０秒毎に１/６０秒間ずつ交互に行われ、通常像を撮像して得た通常画像信号に基づいた通常画像（カラー画像）がモニタ６に表示され、蛍光像を撮像して得た蛍光画像信号に基づいた蛍光画像がモニタ６に表示される。各画像はモニタ６内のそれぞれ異なるウィンドウで表示され、１/３０秒毎に更新される動画として表示される。

蛍光像の撮像時には、特殊光源３から射出された特殊光Ｌ２が第２光ケーブルＬＣ２により導光されて挿入部材３０ｂに入射し、さらに挿入部材３０ｂ内のライトガイドによって導光され、照射窓３０ｄから被観察部に照射される。

そして、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に射出される。

撮像ユニット２０に入射された蛍光像Ｌ３は、特殊光カットフィルタ２１を通過した後、第１結像光学系２２により高感度撮像素子２３の撮像面上に結像され、高感度撮像素子２３によって撮像される。高感度撮像素子２３から出力された蛍光画像信号は、撮像制御ユニット２６においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理処置４に出力される。

画像処理処置４に入力された蛍光画像信号は、画像入力コントローラ３１において一時的に記憶された後、メモリ３３に格納される。そして、メモリ３３から読み出された１フレーム分の蛍光画像信号は、画像処理部３２の蛍光画像生成部３２ｂにおいて所定の画像処理が施された後、ビデオ出力部３４に出力される。

そして、ビデオ出力部３４は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ６に出力する。そして、モニタ６は、入力された表示制御画像信号に基づいて蛍光画像を表示する。

一方、通常像の撮像時には、通常光源２から射出された通常光Ｌ１が第１光ケーブルＬＣ１により導光されて挿入部材３０ｂに入射し、さらに挿入部材３０ｂ内のライトガイドによって導光され、照射窓３０ｄから被観察部に照射される。

そして、通常光の照射によって被観察部から反射された反射光に基づく通常像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に射出される。

撮像ユニット２０に入射された通常像Ｌ４は、第２結像光学系２４により撮像素子２５の撮像面上に結像され、撮像素子２５によって撮像される。撮像素子２５から出力された通常画像信号は、撮像制御ユニット２６においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理処置４に出力される。

画像処理処置４に入力された通常画像信号は、画像入力コントローラ３１において一時的に記憶された後、メモリ３３に格納される。そして、メモリ３３から読み出された１フレーム分の通常画像信号は、画像処理部３２の通常画像生成部３２ａにおいて所定の画像処理が施された後、ビデオ出力部３４に出力される。

そして、ビデオ出力部３４は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ６に出力する。そして、モニタ６は、入力された表示制御画像信号に基づいて通常画像を表示する。

ここで、上記のようにして通常画像と蛍光画像が表示されている状態において、操作者が画像内の特定の領域について通常画像と蛍光画像とを重ね合わせた重畳画像を見たい場合がある。たとえば、通常画像上には脂肪などで覆われて現われていないが、蛍光画像には現われている血管画像を通常画像上に重ねて見たい場合などがある。

このような場合、本実施形態の腹腔鏡システムにおいては、まず、モニタ６に表示された蛍光画像上において重畳画像として表示したい領域が第１の領域として操作者によって指定されるとともに、モニタに表示された通常画像上において重畳画像として表示したい領域が第２の領域として操作者によって指定される。第１の領域および第２の領域の指定は操作部３５によって行われ、具体的には、たとえば、図６に示すように、蛍光画像上において第１の領域の対角する２点の座標ｘ１，ｘ２を指定することによって、矩形状の第１の領域が指定され、また、通常画像上において第２の領域の対角する２点の座標ｘ３，ｘ３を指定することによって、矩形状の第２の領域が指定される。なお、図６においては図示省略してあるが、通常画像上および蛍光画像上には、予め撮像されたチャート画像（方眼図）が重ねて表示されており、そのチャート画像の格子点を指定することによって座標ｘ１〜ｘ４が指定される。そして、第１の撮像系と第２の撮像系で同じチャート画像を撮像するので、通常画像上と蛍光画像上とで同じマス目を指定することによって、同じ範囲の画像を指定することができる。

そして、上記のようにして指定された第１の領域の情報および第２の領域の情報は、画像処理処置４の指定領域受付部３２ｃによって受け付けられる。そして、指定領域受付部３２ｃによって受け付けられた第１の領域情報および第２の領域情報は補正領域取得部３２ｅに入力され、補正領域取得部３２ｅおいて、距離情報受付部３２ｄによって受け付けられた硬質挿入部３０の先端と被観察部との間の距離変化情報に基づいて補正されるが、ここではまず、距離変化はないものとして説明を進める。

上記のように距離変化がない場合には、指定領域受付部３２ｃによって受け付けられた第１の領域情報および第２の領域情報は、そのまま部分画像取得部３２ｆに入力される。そして、部分画像取得部３２ｆは、入力された第１の領域情報と第２の領域情報に基づいて、蛍光画像信号のうちの第１の領域内の部分蛍光画像信号を取得するとともに、通常画像信号のうちの第２の領域内の部分通常画像信号を取得する。そして、さらに、上記のようにして取得した部分蛍光画像信号が表す部分蛍光画像の大きさと部分通常画像信号が表す部分通常画像の大きさとが異なる場合には、いずれか一方の画像信号に対して拡大処理または縮小処理を施して同じ大きさの部分画像信号とする。

そして、上記のようにして取得した部分蛍光画像信号と部分通常画像信号とが重畳画像生成部３２ｇに出力され、重畳画像生成部３２ｇにおいて所定の処理が施されて重畳画像を表す重畳画像信号が生成される。

そして、重畳画像信号はビデオ出力部３４に出力され、ビデオ出力部３４は、入力された重畳画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ６に出力する。そして、モニタ６は、入力された表示制御画像信号に基づいて、図６に示すような、重畳画像を表示する
ここで、上記のようにして重畳画像を表示している際、たとえば、硬質挿入部３０の先端が被観察部に近づいて硬質挿入部３０の先端と被観察部との距離が変化した場合、撮像される蛍光画像と通常画像はその距離変化に応じて拡大または縮小されるが、この画像の変化に対し、操作者によって指定された第１の領域と第２の領域が最初に設定したままであると、図７に示すように、第１の領域内の部分蛍光画像と第２の領域内の部分通常画像とが被観察部の異なる範囲を表す画像になってしまい、適切な重畳画像を表示させることができない。たとえば、図７に示す重畳画像の点線楕円内に示すように、血管画像が本来あるべき範囲に表示されないことになる。また、第１の領域と第２の領域を操作者が再設定するのは手間がかかる。

そこで、本実施形態の腹腔鏡システムにおいては、硬質挿入部３０の先端と被観察部との距離が変化したとしても適切な重畳画像が表示されるように、操作者によって指定された第１の領域と第２の領域を自動的に補正する。

具体的には、硬質挿入部３０のレーザー測距部３０ｅによって取得された距離情報が距離情報受付部３２ｄによって受け付けられ、その距離情報が補正領域取得部３２ｅに入力される。

ここで、硬質挿入部３０の先端と被観察部との距離が変化して、たとえば、被観察部と硬質挿入部３０との距離が、図９に示すようにＬからＬ’に変化した場合には、撮像素子２５および高感度撮像素子２３上に結像される像の範囲が、それぞれ（ｘ１，ｘ２）から（ｘ１’，ｘ２’）、（ｘ３，ｘ４）から（ｘ３’，ｘ４’）に変化する。

このとき、第１の撮像系については、図９から下式（１）、（２）の関係が成立するため、これらの関係から下式（３）を算出することができる。なお、下式（１）〜（３）におけるｘｉはｘ１、ｘ２を示し、Ｌ_１はＬ＋ΔＬ_１を示し、Ｌ_１’はＬ’＋ΔＬ_１を示す。なお、ΔＬ_１は硬質挿入部３０の先端から第１結像光学系２２までの距離であり、ｌ_１は高感度撮像素子２３の撮像面と第１結像光学系２２との距離である。ΔＬ_１とｌ_１は、第１の撮像形の配置から予め設定されるものである。また、ｘ０＿１は第１の撮像系の光軸を示し、図８のｘ０＿１に対応する。ｘ０＿１は、第１の撮像系の配置から予め設定されるものである。また、Ａは、図９に示すように被観察部の共通領域の長さを示す。

また、第２の撮像系については、図９から下式（４）、（５）の関係が成立するため、これらの関係から下式（６）を算出することができる。なお、下式（４）〜（６）におけるｘｉはｘ３、ｘ４を示し、Ｌ_２はＬ＋ΔＬ_２を示し、Ｌ_２’はＬ’＋ΔＬ_２を示す。なお、ΔＬ_２は硬質挿入部３０の先端から第２結像光学系２４までの距離であり、ｌ_２は撮像素子２５の撮像面と第２結像光学系２４との距離である。ΔＬ_２とｌ_２は、第１の撮像形の配置から予め設定されるものである。また、ｘ０_２は第２の撮像系の光軸を示し、図８のｘ０_２に対応する。ｘ０_２は、第２の撮像系の配置から予め設定されるものである。

そこで、補正領域取得部３２ｅは、入力された距離情報Ｌおよび距離情報Ｌ’と第１の領域情報（ｘ１，ｘ２）および第２の領域情報（ｘ３，ｘ４）と上式（３）および上式（６）とに基づいて補正を行い、第１の補正済領域情報（ｘ１’，ｘ２’）および第２の補正済領域情報（ｘ３’，ｘ４’）を取得する。

そして、補正領域取得部３２ｅにおいて取得された第１の補正済領域情報と第２の補正済領域情報とが部分画像取得部３２ｆに入力される。そして、部分画像取得部３２ｆは、入力された第１の補正済領域情報と第２の補正済領域情報に基づいて、蛍光画像信号のうちの第１の補正済領域内の部分蛍光画像信号を取得するとともに、通常画像信号のうちの第２の補正済領域内の部分通常画像信号を取得する。

図８に、蛍光画像上における第１の補正済領域情報（ｘ１’，ｘ２’）と通常画像上における第２の補正済領域情報（ｘ３’，ｘ４’）とを示す。図９に示すように、第１の補正済領域情報（ｘ１’，ｘ２’）内の部分蛍光画像の範囲と第２の補正済領域情報（ｘ３’，ｘ４’）内の部分通常画像の範囲とを一致させることができる。

そして、上記のようにして取得した部分蛍光画像信号が表す部分蛍光画像の大きさと部分通常画像信号が表す部分通常画像の大きさとが異なる場合には、いずれか一方の画像信号に対して拡大処理または縮小処理を施して同じ大きさの部分画像信号とする。

そして、上記のようにして取得した部分蛍光画像信号と部分通常画像信号とが重畳画像生成部３２ｇに出力され、重畳画像生成部３２ｇにおいて所定の処理が施されて重畳画像を表す重畳画像信号が生成される。

そして、重畳画像信号はビデオ出力部３４に出力され、ビデオ出力部３４は、入力された重畳画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ６に出力する。そして、モニタ６は、入力された表示制御画像信号に基づいて重畳画像を表示する。

なお、上記実施形態の腹腔鏡システムにおいて、補正領域取得部３２ｅにより第１の領域情報と第２の領域情報とを補正して第１の補正済領域および第２の補正済領域を取得する際、第１の補正済領域の端辺がその端辺に対応する蛍光画像の端辺を超える場合には、第１の補正済領域の端辺がその端辺に対応する蛍光画像の端辺に一致するように補正を施すようにしてもよい。また、同様に、第２の補正済領域の端辺がその端辺に対応する通常画像の端辺を超える場合には、第２の補正済領域の端辺がその端辺に対応する通常画像の端辺に一致するように補正を施すようにしてもよい。そして、上記のように第１の補正済領域または第２の補正済領域の端辺を補正した場合には、その補正した端辺を除く端辺を基準にして部分通常画像と部分蛍光画像とを重ね合わせるようにすればよい。

また、上記実施形態の腹腔鏡システムにおいては、硬質挿入部３０の先端と被観察部との間が所定の撮像距離にある場合に、蛍光画像上の第１の領域と通常画像上の第２の領域の両方を操作者によって設定入力するようにしたが、これに限らず、いずれか一方の画像上で操作者により領域を設定し、他方の画像上の領域は自動的に設定するようにしてもよい。また、任意の撮像距離において、一方の画像上で操作者により領域を設定し、他方の画像上の領域を自動的に設定するようにしてもよい。

ここで、上記のような領域の自動設定を行うために予め行っておく処理について、以下に説明する。

まず、硬質挿入部３０の先端と被観察部との距離を所定の基準撮像距離Ｌｒｅｆとした後、蛍光画像および通常画像の撮像を行い、蛍光画像上と通常画像上とで所定の共通領域を操作者によってそれぞれ設定する。共通領域とは、被観察部内において同じ範囲を示す領域である。共通領域を設定する際には、上記実施形態で説明したように、チャート画像を用いることが望ましい。

そして、蛍光画像上で設定された共通領域の１つの角ｘ１のｘ座標値と、通常画像上で設定された共通領域の上記ｘ１に対応する角ｘ３のｘ座標値とを下式（７）に代入し、蛍光画像上で設定された共通領域の上記角ｘ１に対向する角ｘ２のｘ座標値と、通常画像上で設定された共通領域の上記角ｘ３に対向する角ｘ４のｘ座標値とを下式（８）に代入し、これらの式からＡとＢとをそれぞれ求める。

なお、上記説明では、実際に蛍光画像および通常画像における共通領域を設定することによってＡおよびＢを取得するようにしたが、ＡおよびＢは理論上は、下式（９）で表わされることになる。下式（９）におけるＸ_{０_１}は、被観察部の蛍光画像上における第１の撮像系の光軸の位置を示し、Ｘ_{０_２}は、被観察部の通常画像上における第２の撮像系の光軸の位置を示すものである。

そして、上記のようにしてＡ、Ｂが決定された上式（７）と上式（８）とが予め補正領域取得部３２ｅに設定される。

そして、上記のような初期設定の後、任意の撮像距離において、蛍光画像と通常画像の撮像が行われ、図１０に示すように、蛍光画像上でのみ操作者によって第１の領域（ｘ１’，ｘ２’）が設定される。

そして、蛍光画像上で設定された第１の領域（ｘ１’，ｘ２’）の座標に基づいて、第１の領域と共通の範囲を示す通常画像上の第２の領域（ｘ３’，ｘ４’）が自動的に設定される。

具体的には、まず、蛍光画像上で設定された第１の領域（ｘ１’，ｘ２’）の座標が、上式（３）に代入され、第１の基準領域（ｘ１，ｘ２）の座標が算出される。なお、このときの式（３）におけるＬ１＝Ｌｒｅｆ＋ΔＬ１、Ｌ１’＝任意の撮像距離＋ΔＬ１である。任意の撮像距離とは、現時点における計測された硬質挿入部３０の先端と被観察部との距離である。

そして、次に、上記のようにして算出して第１の基準領域（ｘ１，ｘ２）の座標が、上式（７）と上式（８）に代入され、第２の基準領域（ｘ３，ｘ４）の座標が算出される。

そして、さらに、第２の基準領域（ｘ３，ｘ４）の座標が、上式（６）に代入され、蛍光画像上の第１の領域（ｘ１’，ｘ２’）に対応する通常画像上の第２の領域（ｘ３’，ｘ４’）の座標が算出される。なお、このときの式（６）におけるＬ２＝Ｌｒｅｆ＋ΔＬ２、Ｌ２’＝任意の撮像距離＋ΔＬ２である。任意の撮像距離とは、現時点における計測された硬質挿入部３０の先端と被観察部との距離である。

上記のようにして、任意の撮像距離において蛍光画像上で設定された第１の領域（ｘ１’，ｘ２’）の座標に基づき、上記第１の領域と共通の範囲を示す通常画像上の第２の領域（ｘ３’，ｘ４’）が自動的に算出されて設定される。

そして、硬質挿入部３０の先端と被観察部との距離が変化した場合には、上記実施形態で説明したように、さらに蛍光画像上の第１の補正済領域と通常画像上の第２の補正済領域とが自動的に設定されて重畳画像が取得されるが、距離が大きく変化するなどして重畳画像として表示させたい範囲を変更したい場合には、改めて蛍光画像上で第１の領域（ｘ１’，ｘ２’）を操作者により設定し、上記と同様の演算を行って、上記第１の領域と共通の範囲を示す通常画像上の第２の領域（ｘ３’，ｘ４’）を自動的に設定するようにすればよい。

また、上記実施形態においては、第１の撮像系により撮像される蛍光画像上において、重畳画像として表示したい第１の領域を操作者によって指定するようにしたが、これに限らず、たとえば、第１の撮像系により撮像される蛍光画像（たとえば、血管画像）の画角が、第２の撮像系により撮像される通常画像（たとえば、臓器画像）よりも狭い場合には、蛍光画像の被観察部の領域が通常画像の被観察部の領域に包含されることになるので、第１の撮像系により撮像される蛍光画像のサイズ（たとえば、1024 pixel×768 pixel）そのものを第１の領域としてもよい。この場合、たとえば、操作者によって蛍光画像の一部をマウスなどによって一度だけクリックすることによって第１の領域を設定するようにしてもよいし、装置側で自動的に第１の領域を設定するようにしてもよい。

また、上記実施形態においては、第１の撮像系により撮像される蛍光画像上において、重畳画像として表示したい第１の領域を操作者によって指定するようにしたが、前回の撮像において指定した第１の領域を保持しておき、操作者による指定を受け付けることなくその保持された第１の領域を使用するようにしてもよい。そして、第１の領域を変更したときのみ操作者による第１の領域の指定を受け付けるようにしてもよい。

また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。

また、上記実施形態は、本発明の撮像装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するシステムなど複数の撮像系を有するその他の装置に適用してもよい。

１ 腹腔鏡システム
２ 通常光源
３ 特殊光源
４ 画像処理装置
５ ケーブル
６ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２１ 特殊光カットフィルタ
２２ 第１結像光学系
２３ 高感度撮像素子
２４ 第２結像光学系
２５ 撮像素子
２６ 撮像制御ユニット
３０ 硬質挿入部
３０ｅ レーザー測距部
３１ 画像入力コントローラ
３２ 画像処理部
３２ａ 通常画像生成部
３２ｂ 蛍光画像生成部
３２ｃ 指定領域受付部
３２ｄ 距離情報受付部
３２ｅ 補正領域取得部
３２ｆ 部分画像取得部
３２ｇ 重畳画像生成部
３３ メモリ
３４ ビデオ出力部
３５ 操作部

Claims (4)

1. 同一の被写体を撮像する第１の撮像手段および該第１の撮像手段とは別個に設けられた第２の撮像手段と、
   前記第１の撮像手段によって撮像された第１の画像内における第１の領域を取得する第１の領域取得手段と、
   前記第２の撮像手段によって撮像された第２の画像内における第２の領域を取得する第２の領域取得手段と、
   前記第１の撮像手段における光学系と前記被写体との距離情報または前記第２の撮像手段における光学系と前記被写体との距離情報を取得する距離情報取得手段と、
   該距離情報取得手段により取得された距離情報の変化に基づいて、前記第１の領域および前記第２の領域に補正を施して第１の補正済領域および第２の補正済領域を取得する補正領域取得手段と、
   前記第１の補正済領域内の第１の部分画像の大きさと前記第２の補正済領域内の第２の部分画像の大きさとが同じになるように前記第１の部分画像および前記第２の部分画像のうちの少なくとも一方に補正を施して前記第１の部分画像に対応する第３の部分画像と前記第２の部分画像に対応する第４の部分画像を生成する補正手段と、
   該補正手段により生成された前記第３の部分画像と前記第４の部分画像とを重ね合わせた重畳画像を生成する重畳手段とを備えたことを特徴とする撮像装置。
2. 前記補正領域取得手段が、前記第１の補正済領域の端辺が該端辺に対応する前記第１の画像の端辺を超える場合には、前記第１の補正済領域の端辺が該端辺に対応する前記第１の画像の端辺に一致するように補正を施すとともに、前記第２の補正済領域の端辺が該端辺に対応する前記第２の画像の端辺を超える場合には、前記第２の補正済領域の端辺が該端辺に対応する前記第２の画像の端辺に一致するように補正を施すものであることを特徴とする請求項１記載の撮像装置。
3. 前記第１の領域取得手段が、前記第１の領域の指定を受け付けて該第１の領域を取得するものであり、
   前記第２の領域取得手段が、前記第１の領域取得手段によって取得された第１の領域の情報に基づいて、前記第２の領域を自動的に算出して取得するものであることを特徴とする請求項１または２記載の撮像装置。
4. 前記第１の撮像手段および前記第２の撮像手段のうちのいずれか一方が、特殊光の照射によって前記被写体から発せられた蛍光または前記被写体に吸収された吸光に基づく特殊像を撮像するものであり、他方が、通常光の照射によって前記被写体から反射された反射光に基づく通常像を撮像するものであることを特徴とする請求項１から３いずれか１項記載の撮像装置。

Images