JP2011136005A - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP2011136005A JP2011136005A JP2009297354A JP2009297354A JP2011136005A JP 2011136005 A JP2011136005 A JP 2011136005A JP 2009297354 A JP2009297354 A JP 2009297354A JP 2009297354 A JP2009297354 A JP 2009297354A JP 2011136005 A JP2011136005 A JP 2011136005A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mark
- distance information
- endoscope
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】照射光を被観察部に照射する内視鏡挿入部を備えた内視鏡装置において、撮像中においても内視鏡挿入部の先端と被観察部との間の距離情報を簡易な構成で取得する。
【解決手段】被観察部の近傍に設置される処置具に設けられたマークの像Mを撮像し、その撮像されたマーク画像の大きさに基づいて、内視鏡挿入部先端と被観察部との距離情報を取得する。
【選択図】図7
【解決手段】被観察部の近傍に設置される処置具に設けられたマークの像Mを撮像し、その撮像されたマーク画像の大きさに基づいて、内視鏡挿入部先端と被観察部との距離情報を取得する。
【選択図】図7
Description
本発明は、体腔内に挿入され、照射光を被観察部に照射する内視鏡挿入部を備えた内視鏡装置に関するものである。
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
また、上記のような内視鏡システムとして、たとえば、特許文献1においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
また、蛍光内視鏡システムとしては、たとえば、ICG(インドシアニングリーン)を予め体内に投入し、励起光を被観察部に照射して血管内のICGの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
ここで、上記のような内視鏡システムにおいては、体腔内に挿入される内視鏡挿入部の先端と被観察部との距離情報を得たい場合がある。
そして、たとえば、特許文献2には、被観察部に対して赤色や赤外のレーザースポット光を照射し、そのスポット光の反射光を2つの撮像素子によって撮像し、撮像素子に入射する光路の違いから距離を取得する方法が提案されている。
しかしながら、特許文献1に記載の方法では、観察用の照明光である白色光と距離測定用のスポット光を同時に照射すると、白色光の反射成分のために類似スポット光が生じ、正確な距離を測定することができない問題を生じる。すなわち、特許文献1に記載の方法では、通常画像の撮像中に距離の測定を行うことができない問題を生じる。
また、たとえば、内視鏡挿入部の先端と被観察部との距離情報に応じて被観察部に照射される励起光の強度を制御する場合などには、蛍光画像を撮像中に励起光の強度を制御する必要があるが、特許文献1に記載の方法では、赤色や赤外のレーザースポット光は蛍光画像には現われないため距離の測定を行うことができない。
本発明は、上記の問題に鑑みてなされたものであり、照射光を被観察部に照射する内視鏡挿入部を備えた内視鏡装置において、通常画像または蛍光画像の撮像中であっても内視鏡挿入部の先端と被観察部との間の距離情報を簡易な構成で取得することができる内視鏡装置を提供することを目的とする。
本発明の内視鏡装置は、体腔内に挿入され、照射光を被観察部に照射する内視鏡挿入部と、内視鏡挿入部による照射光の照射によって被観察部から発せられた光を受光して被観察部の像を撮像する撮像部とを備えた内視鏡装置において、撮像部が、被観察部の近傍に設置される処置具に設けられたマークの像を撮像するものであり、撮像部によって撮像されたマーク画像の大きさに基づいて、内視鏡挿入部先端と被観察部との距離情報を取得する距離情報取得部を備えたことを特徴とする。
また、上記本発明の内視鏡装置においては、内視鏡挿入部を、照射光として励起光を照射するものとし、マークを、励起光の照射によって蛍光を発する蛍光材料によって設けられたものとすることができる。
また、処置具として円柱形状部分を有するものを用い、マークとして円柱形状部分の円周上にラインを設けるようにすることができる。
また、ラインを複数本設けるようにすることができる。
また、距離情報取得部を、複数のラインの大きさに基づいて円柱形状部分の傾き補正の施された距離情報を取得するものとすることができる。
また、ラインとして円柱形状部分の延伸方向について所定の幅を有するものを用い、距離情報取得部を、ラインの形状に基づいて円柱形状部分の傾き補正の施された距離情報を取得するものとすることができる。
また、励起光のピーク波長として750nm以上800nm以下を用い、蛍光のピーク波長として800nm以上850nm以下を用いることができる。
また、距離情報取得部によって取得された距離情報に基づいて、照射光の照射強度を制御する照射強度制御部をさらに設けることができる。
本発明の内視鏡装置によれば、被観察部の近傍に設置される処置具に設けられたマークの像を撮像し、その撮像されたマーク画像の大きさに基づいて、内視鏡挿入部先端と被観察部との距離情報を取得するようにしたので、光源や撮像系に新たな構成を追加することなく、通常画像の撮像中であっても内視鏡挿入部の先端と被観察部との間の距離情報を適切に取得することができる。
また、上記本発明の内視鏡装置において、照射光として励起光を照射し、励起光の照射によって蛍光を発する蛍光材料によってマークを形成するようにした場合には、蛍光画像の撮像中であっても内視鏡挿入部の先端と被観察部との間の距離情報を適切に取得することができる。
また、処置具として円柱形状部分を有するものを用い、マークとして、円柱形状部分の円周上に設けられたラインを用いるようにした場合には、処置具が回転などしたとしても、マークの長さを円柱形状部分の直径と同じ長さに維持することができるので、常に適切な距離情報を取得することができる。
また、ラインを複数本設けるようにした場合には、複数のラインの大きさに基づいて円柱形状部分の傾き補正の施された距離情報を取得することができ、より正確な距離情報を取得することができる。
また、ラインとして円柱形状部分の延伸方向について所定の幅を有するものを用いた場合にも、そのラインの形状に基づいて円柱形状部分の傾き補正の施された距離情報を取得することができ、より正確な距離情報を取得することができる。
また、距離情報取得部によって取得された距離情報に基づいて、照射光の照射強度を制御するようにした場合には、より適切な強度で被観察部に照射光を照射することができる。具体的には、たとえば、照射光として励起光を用いた場合には、被観察部に対して必要以上の励起光が照射されて被観察部が損傷を受けないようにするとともに、被観察部から十分な蛍光の強度を得られるような強度の励起光を照射することができる。
以下、図面を参照して本発明の内視鏡装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図1は、本実施形態の腹腔鏡システム1の概略構成を示す外観図である。
本実施形態の腹腔鏡システム1は、図1に示すように、白色の通常光および励起光を射出する光源装置2と、光源装置2から射出された通常光および励起光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および励起光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置10と、硬性鏡撮像装置10によって撮像された画像信号に所定の処理を施す画像処理装置3と、画像処理装置3において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ4とを備えている。
硬性鏡撮像装置10は、図1に示すように、腹腔内に挿入される硬質挿入部30と、硬質挿入部30によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット20とを備えている。
また、硬性鏡撮像装置10は、図2に示すように、硬質挿入部30と撮像ユニット20とが着脱可能に接続されている。そして、硬質挿入部30は接続部材30a、挿入部材30b、ケーブル接続口30c、および照射窓30dを備えている。なお、本実施形態においては、硬質挿入部30と撮像制御ユニット20とを着脱可能なように構成するようにしたが、これらを一体化した構成としてもよい。
接続部材30aは、硬質挿入部30(挿入部材30b)の一端側30Xに設けられており、たとえば撮像ユニット20側に形成された開口20aに嵌め合わされることにより、撮像ユニット20と硬質挿入部30とが着脱可能に接続される。
挿入部材30bは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略10mmの円柱形状を有している。挿入部材30bの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側30Yから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側30Xの撮像ユニット20側に射出される。
挿入部材30bの側面にはケーブル接続口30cが設けられており、このケーブル接続口30cに光ケーブルLCが機械的に接続される。これにより、光源装置2と挿入部材30bとが光ケーブルLCを介して光学的に接続されることになる。
照射窓30dは、硬質挿入部30の他端側30Yに設けられており、光ケーブルLCによって導光された通常光および励起光を被観察部に対し照射するものである。なお、挿入部材30b内にはケーブル接続口30cから照射窓30dまで通常光および励起光を導光するライトガイドが収容されており(図示せず)、照射窓30dはライトガイドによって導光された通常光および励起光を被観察部に照射するものである。
図3は、撮像ユニット20の概略構成を示す図である。撮像ユニット20は、硬質挿入部30内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第1の撮像系と、硬質挿入部30内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第2の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム21によって、互いに直交する2つの光軸に分けられている。
第1の撮像系は、被観察部において反射し、ダイクロイックプリズム21を透過した励起光をカットする励起光カットフィルタ22と、硬質挿入部30から射出され、ダイクロイックプリズム21および励起光カットフィルタ22を透過した蛍光像L4を結像する第1結像光学系23と、第1結像光学系23により結像された蛍光像L4を撮像する高感度撮像素子24とを備えている。
第2の撮像系は、硬質挿入部30から射出され、ダイクロイックプリズム21を反射した通常像L3を結像する第2結像光学系25と、第2結像光学系25により結像された通常像L3を撮像する撮像素子26を備えている。
高感度撮像素子24は、蛍光像L4の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子24はモノクロの撮像素子である。
撮像素子26は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子26の撮像面には、3原色の赤(R)、緑(G)および青(B)、またはシアン(C)、マゼンダ(M)およびイエロー(Y)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
また、撮像ユニット20は、撮像制御ユニット27を備えている。撮像制御ユニット27は、高感度撮像素子24から出力された蛍光画像信号および撮像素子26から出力された通常画像信号に対し、CDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理を施し、ケーブル5(図1参照)を介して画像処理装置3に出力するものである。
画像処理装置3は、図4に示すように、通常画像入力コントローラ31、蛍光画像入力コントローラ32、画像処理部33、メモリ34、ビデオ出力部35、操作部36、TG(タイミングジェネレータ)37、CPU38および距離情報取得部39を備えている。
通常画像入力コントローラ31および蛍光画像入力コントローラ32は、所定容量のラインバッファを備えており、撮像ユニット20の撮像制御ユニット27から出力された1フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ31に記憶された通常画像信号および蛍光画像入力コントローラ32に記憶された蛍光画像信号はバスを介してメモリ34に格納される。
画像処理部33は、メモリ34から読み出された1フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。
距離情報取得部39は、撮像ユニット20から出力された通常画像信号または蛍光画像信号に基づいて、硬質挿入部30の先端と被観察部との距離情報を取得するものである。
ここで、本実施形態の内視鏡システムにおいては、図5(A)に示すような鉗子6が使用される。図5に示す鉗子6は、被観察部を挟持したり、所定の処置を施したりする作動部6aと、作動部6aが設けれ、細い円柱形状からなる柄部分6bと、操作者が作動部6aの動作を行うための操作部6cとを備えている。そして、鉗子6の先端部分の柄部分6bの円周上には、図5(B)に示すように、距離計測用のマークMが設けられている。本実施形態においては、このマークMは、750nm以上800nm以下の近赤外の励起光の照射によって800nm以上850nm以下の蛍光を発する蛍光材料によってライン状に形成されている。なお、マークMを形成する蛍光材料については、後述するICGなどの蛍光薬剤や自家蛍光の波長帯域と同じ波長帯域の蛍光を発する材料を用いることが望ましい。
そして、撮像ユニット20から出力される通常画像信号および蛍光画像信号には、このマークMを表す信号が含まれており、距離情報取得部39は、このマークMを表す信号の範囲の大きさに基づいて、硬質挿入部30の先端と被観察部との距離情報を取得するものである。なお、距離情報取得部39の作用については、後で詳述する。
ビデオ出力部35は、画像処理部33から出力された通常画像信号および蛍光画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力するものである。
操作部36は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、TG37は、撮像ユニット20の高感度撮像素子24、撮像素子26および後述する光源装置2のLDドライバ45を駆動するための駆動パルス信号を出力するものである。また、CPU36は装置全体を制御するものである。
光源装置2は、図4に示すように、約400〜700nmの広帯域の波長からなる通常光(白色光)L1を射出する通常光源40と、通常光源40から射出された通常光L1を集光する集光レンズ42と、集光レンズ42によって集光された通常光L1を透過するとともに、後述する特殊光L2を反射し、通常光L1および特殊光L2とを光ケーブルLCの入射端に入射させるダイクロイックミラー43とを備えている。なお、通常光源40としては、たとえばキセノンランプが用いられる。また、通常光源40と集光レンズ42との間には、絞り41が設けられており、ALC(Automatic light control)からの制御信号に基づいてその絞り量が制御される。
また、光源装置2は、蛍光色素であるICG(インドシアニングリーン)を励起して蛍光を発生させる750〜800nmの近赤外光を励起光L2として射出するLD光源44と、LD光源44を駆動するLDドライバ45と、LD光源44から射出された励起光L2を集光する集光レンズ46と、集光レンズ46によって集光された励起光L2をダイクロイックミラー43に向けて反射するミラー47とを備えている。
また、本実施形態においては、励起光L2として、上述したような波長帯域の光を用いるようにしたが、上記波長帯域の光に限定されず、マークMを形成する蛍光材料、被検者に投入される蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
LDドライバ45は、画像処理装置3の距離情報取得部39において取得された距離情報に基づいて、LD光源44から出力される励起光の強度を制御するものである。すなわち、被観察部に対して必要以上の励起光が照射されて被観察部が損傷を受けないようにするとともに、被観察部から十分な蛍光の強度を得られるように、距離情報が大きくなるにつれて励起光の強度が強くなり、距離情報が小さくなるにつれて励起光の強度を弱くなるようにLD光源44を駆動制御するものである。
次に、本実施形態の腹腔鏡システムの作用について説明する。
まず、光ケーブルLCが接続された硬質挿入部30およびケーブル5が撮像ユニット20に取り付けられた後、光源装置2および撮像ユニット20および画像処理装置3の電源が投入され、これらが駆動される。
次に、図6に示すように、操作者により硬質挿入部30および鉗子6が腹腔内に挿入され、鉗子6により被観察部が挟持されるとともに、硬質挿入部30の先端が被観察部の近傍に設置される。
そして、光源装置2の通常光源40から射出された通常光L1が、集光レンズ42、ダイクロイックミラー43および光ケーブルLCを介して硬質挿入部30に入射され、硬質挿入部30の照射窓30dから被観察部に照射される。一方、光源装置2のLD光源44から射出された特殊光L2が、集光レンズ46、ミラー47、ダイクロイックミラー43および光ケーブルLCを介して硬質挿入部30に入射され、硬質挿入部30の照射窓30dから被観察部に通常光とともに照射される。
そして、通常光L1の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光L2の照射によって被観察部から発せられた蛍光に基づく蛍光像が撮像される。なお、被観察部には、予めICGが投与されており、このICGから発せられる蛍光を撮像するものとする。
より具体的には、通常像の撮像の際には、通常光L1の照射によって被観察部から反射された反射光に基づく通常像L3が挿入部材30bの先端30Yから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
撮像ユニット20に入射された通常像L3は、ダイクロイックプリズム21により撮像素子26に向けて直角方向に反射され、第2結像光学系25により撮像素子26の撮像面上に結像され、撮像素子26によって所定間隔を空けて順次撮像される。なお、本実施形態においては、通常画像は30fpsのフレームレートで撮像されるものとする。
撮像素子26から順次出力された通常画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介して画像処理装置3に順次出力される。
一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像L4が挿入部材30bの先端30Yから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
撮像ユニット20に入射された蛍光像L4は、ダイクロイックプリズム21および特殊光カットフィルタ22を通過した後、第1結像光学系23により高感度撮像素子24の撮像面上に結像され、高感度撮像素子24によって所定間隔を空けて撮像される。なお、本実施形態においては、蛍光画像は5〜10fpsのフレームレートで撮像されるものとする。
高感度撮像素子24から順次出力された蛍光画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介して画像処理装置3に順次出力される。
そして、画像処理装置3に入力された通常画像信号は、通常画像入力コントローラ31において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の通常画像信号は、画像処理部33において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部35に順次出力される。
そして、ビデオ出力部35は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて通常画像を表示する。
一方、画像処理装置3に入力された蛍光画像信号は、蛍光画像入力コントローラ32において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の蛍光画像信号は、画像処理部33において所定の画像処理が施された後、ビデオ出力部35に順次出力される。
そして、ビデオ出力部35は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて蛍光画像を表示する。
本実施形態においては、通常画像と蛍光画像とは操作者の指示に応じて切り替えて表示されるものとするが、これに限らず、同時に表示してもよい。図7に、モニタ4に表示された通常画像の一例を示す。
ここで、図7に示すように、通常画像内には鉗子6の先端に設けられたマークMのマーク画像も含まれており、すなわち、通常画像信号にマーク画像を表すマーク画像信号が含まれている。また、本実施形態においては、マークMを形成するものとして蛍光材料を用いるようにしたので、蛍光画像内にもマークMの蛍光マーク画像が含まれており、すなわち、蛍光画像信号に蛍光マーク画像を表すマーク画像信号が含まれている。
本実施形態の腹腔鏡システムにおいては、通常画像信号に含まれるマーク画像信号または蛍光画像信号に含まれるマーク画像信号に基づいて、硬質挿入部30の先端と被観察部との距離情報を取得する。
具体的には、まず、距離情報取得部39に通常画像信号または蛍光画像信号が入力される。そして、距離情報取得部39は、通常画像信号または蛍光画像信号からマーク画像信号を抽出する。マーク画像信号の抽出については、たとえば、パターン認識や画像信号の大きさなどに基づいて行うようにすればよい。なお、蛍光画像信号はモノクロ画像信号でありマーク画像信号の抽出が通常画像信号よりも容易であるため蛍光画像信号を用いる方が望ましい。
次に、距離情報取得部39は、抽出されたマーク画像信号の範囲の大きさを取得する。具体的には、マーク画像信号の画素数をカウントし、その画素数をマーク画像信号の範囲の大きさ情報として取得する。
そして、距離情報取得部39には、図8に示すような、マーク画像信号の範囲の大きさ情報S1〜Smと、硬質挿入部30の先端と被観察部との距離情報L1〜Lmとを対応づけたルックアップテーブルが設定されており、上述したように取得されたマーク画像信号の範囲の大きさ情報に基づいて、ルックアップテーブルを用いて所定の距離情報Lxを取得する。なお、ルックアップテーブルについては、予め硬質挿入部30の先端と被観察部との距離を変化させながらマーク画像信号の範囲の大きさを取得して設定されているものとする。また、鉗子6の種類によってマークMの大きさが異なる場合には、鉗子6の種類毎にルックアップテーブルを設け、操作者からの選択信号を受け付けていずれか1つのルックアップテーブルを選択するようにしてもよい。
また、図7に示すように、通常画像信号または蛍光画像信号内に複数のマーク画像信号が含まれている場合には、これらのマーク画像信号の1つを用いて距離情報を取得するか、もしくは、これらのマーク画像信号を用いて取得された距離情報の平均を取得するようにしてもよい。
そして、距離情報取得部39において取得された距離情報LxはCPU38に出力され、CPU38において、入力された距離情報Lxに応じた励起光の強度が取得される。なお、CPU38には、予め距離情報と励起光の強度とを対応付けたルックアップテーブルなどが設定されているものとする。励起光の強度としては、被観察部に対して必要以上の励起光が照射されて被観察部が損傷を受けないようにするとともに、被観察部から十分な蛍光の強度を得られるような強度に設定されている。すなわち、距離情報が大きくなるにつれて励起光の強度が強くなり、距離情報が小さくなるにつれて励起光の強度を弱くなるように設定されている。また、被観察部が損傷を受けない範囲においては、操作者によって任意に励起光の強度を調整可能なようにしてもよい。
そして、CPU38は、上述したように取得した励起光の強度に基づいてLDドライバ45に制御信号を出力し、LDドライバ45は、入力された制御信号に基づいてLD光源44から出力される励起光の強度を制御する。
また、上記実施形態の説明においては、鉗子6にライン状のマークMを1本だけ設けるようにしたが、これに限らず、図9に示すように、鉗子6にライン状の複数のマークM1,M2を設けるようにしてもよい。そして、複数のマークM1,M2を設けるようにした場合には、被観察部に対する鉗子6の傾斜状態を検出することができ、その傾斜を補正した距離情報を取得することができる。たとえば、マークM1を用いて取得した距離情報とマークM2を用いて取得した距離情報とに基づいて傾斜を補正した距離情報を取得することができる。以下、その具体的な方法について説明する。
まず、前提として、図10および図11に示すように、鉗子6の回転軸(図10のy’軸)または回転軸に平行な直線(図10および図11のy軸)が硬性鏡撮像装置10の光学系(以下、単に「光学系」という)の光軸(z軸)と直交するものとし、光学系の撮像方式がf*tanθであるものとする。
そして、図11に示すように、マークM1とマークM2における鉗子6の延伸方向に直交する方向に延びる線分(以下、「エッジ」という)の両端の2点は、光学系から同一の垂直距離にあることになる。そして、光学系の撮像方式がf*tanθである場合、実空間の2点が光学系から同一距離Dにあるときには、画像上においてその2点間のピクセル長は距離Dのみに依存することになる。したがって、下式のように、マークM1のエッジのピクセル長pix_w1に基づいて、マークM1のエッジの光学系からの垂直距離D1を求めることができるとともに、マークM2のエッジのピクセル長pix_w2に基づいて、マークM2のエッジの光学系からの垂直距離D2を求めることができる。なお、下式におけるW1は、実空間でのマークM1のエッジの長さであり、W2は、実空間でのマークM2のエッジの長さである。また、図12に鉗子6のマークM1およびマークM2の撮像画像の一例を示す。
なお、上式の焦点距離fについては、予め取得されているものとする。焦点距離fを取得する方法としては、たとえば、既知の長さWの被写体を光学系から距離Dの位置に水平に置き、被写体の画像上のピクセル長pix_wを読んで、下式に基づいて取得するようにすればよい。なお、長さWを固定し、距離Dとピクセル長pix_wを複数組取得する、もしくは、距離Dを固定し、長さWとピクセル長pix_wを複数組取得して下式に対してフィッティングするようにすれば、焦点距離fを精度良く求めることができる。
また、必ずしも上式を用いる必要はなく、たとえば、図13に示すように、マークM1とマークM2とについて、それぞれ垂直距離D1、D2とピクセル長pix_w1、pix_w2との関係を予めルックアップテーブルとして設定しておき、そのルックアップテーブルを用いて垂直距離D1および垂直距離D2を取得するようにしてもよい。図13に示すルックアップテーブルについては、マークM1、M2を光学系から距離Dの位置に水平に置き、距離Dを変化させながらマークM1、M2の画像上のピクセル長pix_w1、pix_w2を読みこんで作成するようにすればよい。なお、図13は、マークM1の長さW1<マーク2の長さW2の例であるが、これらが同一の長さである場合(W1=W2)には、同一曲線となるので、片方のマークについてのみ作成すれば十分である。
ここで、光学系の撮像方式がf*tanθである場合、実空間の2点が光学系から同一距離Dにあるとき、画像上においてその2点間のピクセル長が距離Dのみに依存することについて、さらに詳細に説明する。図14は、実空間上の2点(光学系より下側)と画像上の2点(光学系より上側)との関係を示したものである。図13より、Dtanθ=r、ftanθ=pix、Dtanθ’=r’、ftanθ’=pix’となるので、
となる。よって、
となる。したがって、画像上における2点間のピクセル長が距離Dのみに依存することがわかる。
そして、上述したようにして、マークM1、M2の画像上のピクセル長pix_w1、pix_w2に基づいて垂直距離D1、D2を求め、さらに、下式に基づいて鉗子6の回転角φを取得する。なお、Lは、実空間でのマークM1とマークM2との間の距離である(図11参照)。
そして、次に、マークM1、M2の実空間上におけるx座標X1、X2を取得する(図11参照)。具体的には、距離D1、D2を取得する際、焦点距離fを取得していた場合には、マークM1またはマークM2のエッジの画像上のx座標pix_x1またはpix_x2を読み取ることにより、下式に基づいてx座標X1、X2を取得することができる。
また、マークM1またはマークM2のエッジの画像上のx座標pix_x1またはpix_x2と実空間上におけるx座標X1、X2との関係を示すルックアップテーブルを使用するようにしてもよい。
そして、上述したようにして取得した距離D1、D2およびx座標X1、X2に基づいて、下式より距離R1および距離R2を取得する(図11参照)。
そして、この距離R1と距離R2とに基づいて、硬質挿入部30の先端と被観察部との距離情報を取得する。なお、硬質挿入部30の先端と被観察部との距離情報としては、距離R1と距離D1とを取得するようにしてもよい。
ここで、上述した方法で距離情報を取得するようにした場合、たとえば、鉗子6が円柱形状であり直方体でない場合には、マークM1とマークM2のエッジが画像上で湾曲し、これらのピクセル長の測定が困難な場合がある。このような問題を生じることなく距離情報を取得することができる方法を以下に示す。
まず、前提として、図10および図11に示すように、鉗子6の回転軸(図10のy’軸)または回転軸に平行な直線(図10および図11のy軸)が硬性鏡撮像装置10の光学系(以下、単に「光学系」という)の光軸(z軸)と直交するものとし、光学系の撮像方式がf*tanθであるものとする。
まず、前提として、図15に示すように、y軸を鉗子6の回転軸とし、z軸を光学系の光軸とし、y軸とz軸とが直交するものとする。また、一方のマークのエッジが光学系の光軸と交差するものとする。すなわち、光学系の光軸に交わるエッジが鉗子6の回転軸となる。なお、以下の説明では、マークM2の操作部側のエッジが光学系の光軸と交差するものとする。画像上での光軸のピクセル座標が既知であるので(通常は画像中央)、画像上において一方のマークのエッジが光軸のピクセル座標に重なるように鉗子6の位置を調整するようにすればよい(図16参照)。また、光学系の撮像方式はf*tanθであるものとする。
そして、マークM2のエッジの画像上のピクセル長Wを取得する(図17参照)。図17は、鉗子6が傾いていないときのマークM1、M2の画像と、鉗子6が傾いているときのマークM1、M2の画像の一例を示すものである。
そして、マークM2のエッジの画像上のピクセル長Wに基づいて、マークM2のエッジと光学系との垂直距離Dを取得する。垂直距離Dを取得する方法としては、たとえば、上述した図13に示すようなルックアップテーブルを用いるようにすればよい。
そして、さらに、垂直距離Dに基づいて、鉗子6が傾いていない場合におけるマークM1のx座標pix0を取得する(図17参照)。なお、x座標pix0を取得する方法としては、マークM1のエッジの画像上のx座標pix0と実空間上における垂直距離Dとの関係を示すルックアップテーブルを使用するようにしてもよい。
次に、鉗子6が傾いているときのマークM1のエッジの画像上のx座標pix(図17参照)を読み取り、R=pix/pix0を取得する。そして、下式に基づいて、鉗子6の実空間上での傾き角φを取得する。
そして、上式で求めた傾き角φを下の2つの式に代入して、傾き補正のされた距離情報D’とdとが取得される(図18参照)。
ここで、傾き角φを求めるために使用した上式の求め方について以下に説明する。
まず、図19に、実空間上における鉗子6と、硬性鏡撮像装置10によって撮像される画像との関係を示す。図19に示すpix-pixが、鉗子6が傾いていない場合における画像であり、pix+-pix-が、鉗子6が角度φだけ傾いている場合における画像を表すものである。
そして、図19に示すx±は、下式のように表わすことができる。
そして、上式は下式のようにsinφの関数に変形することができる。
そして、上式をsinφについて解くと、下式のように表わすことができる。
一方、硬性鏡撮像装置側において、鉗子6に対して垂直に撮像する場合(φ=0)、画像上の鉗子6のピクセルサイズを2×pixとすると、下式で表わすことができる。
また、鉗子6が角度φだけ傾いた場合には、下式で表わすことができる。
したがって、上式に基づいて、下式を導き出すことができる。
そして、θ-から求められるφは、θ+から求められるφの符号が反転したものであるので、θ+のみを考えればよい。上式のsin2θ+の式をφについて解くと、上述した傾き角φの式を求めることができる。なお、pix/pix+=Rである。また、図20に、画像上のマークのピクセルサイズの変化率Rと実空間での鉗子6の角度φの変化との関係を上式に基づいて求めたグラフを示す。図20においては、D/L=1、D/L=3、D/L=10の場合について示している。
また、上述したように鉗子6に対して複数のマークを設けるのではなく、図21に示すように、鉗子6の柄部分6の延伸方向について所定の幅を有するライン状のマークM3を設けるようにしても鉗子6の傾斜を補正することができる。なお、鉗子6の傾斜をある程度正確に補正するためには、マークM3の幅は、鉗子の直径の1/2倍から5倍程度であることが望ましい。
たとえば、マークM3の鉗子先端側の辺Maと鉗子操作部側の辺Mbの長さを取得し、上述したマークM1のエッジをマークM3の辺Ma(図21および図22参照)に、マークM2のエッジをマークM3の辺Mbに置き換えて考えることによって、上述した方法と同様の方法によって傾き補正された距離情報を取得することができる。なお、図22は、鉗子6が傾いていないときのマークM3の画像と、鉗子6が傾いているときのマークM3の画像の一例を示すものである。
また、図9や図21に示すようにマークを設ける場合には、鉗子先端側のマークのエッジが分かるように、さらに細いラインを設けるようにしてもよい。
また、上記実施形態においては、マークとして、鉗子6の円周上に形成されたラインを用いるようにしたが、これに限らず、たとえば、矩形状のパターンを用いるようにしてもよい。
また、上記実施形態においては、マークを蛍光材料によって形成するようにしたが、これに限らず、たとえば、鉗子6の柄部分6bと異なる色の塗料によって形成し、通常画像信号に基づいて距離情報を取得するようにしてもよい。
また、上記実施形態においては、距離情報に基づいて励起光の強度を制御するようにしたが、距離情報に基づいて通常光の強度を制御するようにしてもよい。
また、上記実施形態においては、通常光源としてキセノンランプを用いるようにしたが、これに限らず、GaN系半導体レーザーを用いた高輝度白色光源(商品名:マイクロホワイト、日亜化学工業(株)製)を用いるようにしてもよい。この高輝度白色光源は、波長445nmの半導体レーザーから出射する光を,光学レンズを用いて光ファイバに導光し,蛍光体材料を塗布した光ファイバのもう一方の端面から,全光束が501nmの白色光を放出させるものである。
また、上記実施形態は、本発明の撮像装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
1 腹腔鏡システム
2 光源装置
3 画像処理装置
4 モニタ
6 鉗子
10 硬性鏡撮像装置
20 撮像ユニット
30 硬質挿入部
39 距離情報取得部
2 光源装置
3 画像処理装置
4 モニタ
6 鉗子
10 硬性鏡撮像装置
20 撮像ユニット
30 硬質挿入部
39 距離情報取得部
Claims (8)
- 体腔内に挿入され、照射光を被観察部に照射する内視鏡挿入部と、該内視鏡挿入部による照射光の照射によって前記被観察部から発せられた光を受光して前記被観察部の像を撮像する撮像部とを備えた内視鏡装置において、
前記撮像部が、前記被観察部の近傍に設置される処置具に設けられたマークの像を撮像するものであり、
前記撮像部によって撮像されたマーク画像の大きさに基づいて、前記内視鏡挿入部先端と前記被観察部との距離情報を取得する距離情報取得部を備えたことを特徴とする内視鏡装置。 - 前記内視鏡挿入部が、前記照射光として励起光を照射するものであり、
前記マークが、前記励起光の照射によって蛍光を発する蛍光材料によって設けられていることを特徴とする請求項1記載の内視鏡装置。 - 前記処置具が円柱形状部分を有するものであり、
前記マークが、前記円柱形状部分の円周上に設けられたラインであることを特徴とする請求項1または2記載の内視鏡装置。 - 前記ラインが複数本設けられていることを特徴とする請求項3記載の内視鏡装置。
- 前記距離情報取得部が、前記複数のラインの大きさに基づいて前記円柱形状部分の傾き補正の施された前記距離情報を取得するものであることを特徴とする請求項4記載の内視鏡装置。
- 前記ラインが前記円柱形状部分の延伸方向について所定の幅を有し、
前記距離情報取得部が、前記ラインの形状に基づいて前記円柱形状部分の傾き補正の施された前記距離情報を取得するものであることを特徴とする請求項3記載の内視鏡装置。 - 前記励起光のピーク波長が750nm以上800nm以下であり、
前記蛍光のピーク波長が800nm以上850nm以下であることを特徴とする請求項2記載の内視鏡装置。 - 前記距離情報取得部によって取得された距離情報に基づいて、前記照射光の照射強度を制御する照射強度制御部を備えたことを特徴とする請求項1から7いずれか1項記載の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297354A JP2011136005A (ja) | 2009-12-28 | 2009-12-28 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297354A JP2011136005A (ja) | 2009-12-28 | 2009-12-28 | 内視鏡装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011136005A true JP2011136005A (ja) | 2011-07-14 |
Family
ID=44348075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009297354A Withdrawn JP2011136005A (ja) | 2009-12-28 | 2009-12-28 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011136005A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013121610A1 (ja) | 2012-02-17 | 2013-08-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び医用システム |
WO2014188740A1 (ja) * | 2013-05-23 | 2014-11-27 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP2016516526A (ja) * | 2013-04-30 | 2016-06-09 | コー・ヤング・テクノロジー・インコーポレーテッド | オプティカルトラッキングシステム及びこれを用いたトラッキング方法 |
WO2018211885A1 (ja) | 2017-05-17 | 2018-11-22 | ソニー株式会社 | 画像取得システム、制御装置及び画像取得方法 |
WO2022219878A1 (ja) * | 2021-04-12 | 2022-10-20 | ソニーグループ株式会社 | 医療用観察システム、医療用画像処理方法及び情報処理装置 |
WO2023220673A1 (en) * | 2022-05-11 | 2023-11-16 | Briteseed, Llc | A visual interface for a system used to determine tissue characteristics |
-
2009
- 2009-12-28 JP JP2009297354A patent/JP2011136005A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013121610A1 (ja) | 2012-02-17 | 2013-08-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び医用システム |
CN103906458A (zh) * | 2012-02-17 | 2014-07-02 | 奥林巴斯医疗株式会社 | 内窥镜装置和医用系统 |
US8827896B2 (en) | 2012-02-17 | 2014-09-09 | Olympus Medical Systems Corp. | Endoscope apparatus and medical system |
EP2732752A4 (en) * | 2012-02-17 | 2015-07-08 | Olympus Medical Systems Corp | ENDOSCOPIC DEVICE AND MEDICAL SYSTEM |
JP2016516526A (ja) * | 2013-04-30 | 2016-06-09 | コー・ヤング・テクノロジー・インコーポレーテッド | オプティカルトラッキングシステム及びこれを用いたトラッキング方法 |
US10307210B2 (en) | 2013-04-30 | 2019-06-04 | Koh Young Technology Inc. | Optical tracking system and tracking method using the same |
WO2014188740A1 (ja) * | 2013-05-23 | 2014-11-27 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP2014226341A (ja) * | 2013-05-23 | 2014-12-08 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
CN105228501A (zh) * | 2013-05-23 | 2016-01-06 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
WO2018211885A1 (ja) | 2017-05-17 | 2018-11-22 | ソニー株式会社 | 画像取得システム、制御装置及び画像取得方法 |
WO2022219878A1 (ja) * | 2021-04-12 | 2022-10-20 | ソニーグループ株式会社 | 医療用観察システム、医療用画像処理方法及び情報処理装置 |
WO2023220673A1 (en) * | 2022-05-11 | 2023-11-16 | Briteseed, Llc | A visual interface for a system used to determine tissue characteristics |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5358368B2 (ja) | 内視鏡システム | |
JP5385350B2 (ja) | 画像表示方法および装置 | |
JP5492030B2 (ja) | 画像撮像表示装置およびその作動方法 | |
US20110237895A1 (en) | Image capturing method and apparatus | |
JP2015029841A (ja) | 撮像装置および撮像方法 | |
JP2011136005A (ja) | 内視鏡装置 | |
JP6013665B1 (ja) | 診断支援装置及び診断支援情報表示方法 | |
US20230218364A1 (en) | Projection Scanning System | |
JP2006192009A (ja) | 画像処理装置 | |
JP5320268B2 (ja) | 画像表示装置 | |
JPWO2017115442A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5385176B2 (ja) | 画像表示装置の作動方法および画像表示装置 | |
JP5399187B2 (ja) | 画像取得装置の作動方法および画像取得装置 | |
JP2011110272A (ja) | 内視鏡装置 | |
JP5554288B2 (ja) | 内視鏡システム、プロセッサ装置及び画像補正方法 | |
JP2010220893A (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 | |
JP5637783B2 (ja) | 画像取得装置およびその作動方法 | |
JP7329620B2 (ja) | 視野絞り蛍光インジケータシステムおよび方法 | |
JP5570352B2 (ja) | 画像撮像装置 | |
CN113993439A (zh) | 光源装置 | |
JP6266559B2 (ja) | 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体 | |
JP2011101763A (ja) | 画像表示装置 | |
JP2012050598A (ja) | 撮像表示方法および装置 | |
US20230347169A1 (en) | Phototherapy device, phototherapy method, and computer-readable recording medium | |
US20230397801A1 (en) | Medical imaging system, medical imaging device, and operation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD15 | Notification of revocation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7435 Effective date: 20110519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120702 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20130422 |