JP2006136706A - 計測用内視鏡装置及び内視鏡用プログラム - Google Patents

Abstract

【課題】 ライブ状態の撮像画面から被写体の距離をリアルタイムで知らせることができるようにした計測用内視鏡装置及び内視鏡用プログラムを提供する。
【解決手段】 被写体の観察画像上の所定の座標に測距点を表す照準７１を重畳表示する。照準７１の中心を測距点として観察画像を取得し、測距点での被写体の物体距離を三角測量の原理で計算する。測距した被写体までの距離を、リアルタイムでライブ画面上に重畳表示する。被写体までの距離を表示することで、精度の高い三次元計測用画像を取得できるかどうかを判断でき、精度の高い三次元計測用画像を取得できる位置まで十分近づいてから、三次元計測に切り換えることができる。
【選択図】 図６

Description

本発明は、三次元計測が行えるようにした計測用内視鏡装置及び内視鏡用プログラムに関するもので、特に、被写体までの距離をリアルタイムで表示できるようにしたものに関する。

近年、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具チャンネル内に挿通した処置具を用いて各種治療処置を行える内視鏡が広く利用されている。また、工業用分野においても、ボイラ、タービン、エンジン、化学プラント等の内部の傷、腐食等の観察、検査に工業用内視鏡が広く用いられている。

上述のように使用される内視鏡には挿入部の先端部に光学像を画像信号に光電変換するＣＣＤなどの撮像素子を配設した電子内視鏡（以下内視鏡と略記する）がある。この内視鏡では、撮像素子に結像した観察像の画像信号を画像処理部で映像信号に生成し、その映像信号をモニタに出力することによって画面上に内視鏡画像を表示させて観察を行える。

そして、特に工業用の内視鏡では、検査箇所に応じた観察を行えるように複数種類の光学アダプタが用意されており、必要に応じて内視鏡挿入部の先端部に着脱自在に装着できるようになっている。光学アダプタとしては、特許文献１及び特許文献２に示されるように、観察光学系に左右の２つの観察視野を形成したステレオ光学アダプタがある。
特開２００４−３３４７８号公報 特開２００４−４９６３８号公報

上述のような左右の２つの観察視野を形成したステレオ光学アダプタでは、同一の被写体像を左右の光学系で捉えたときの左右の光学系での座標に基づいて、三角測量の原理を使って被写体の三次元空間座標を求めている。

つまり、図２０は、ｘ，ｙ，ｚ 軸をもつ三次元座標系上の右左２画像位置関係を示す図であって、計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒ、左結像面１０１Ｌ上に結像した状態を示している。図２０において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、さらに、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図２０において、直線ＱＲ−ＯＲから次式が成立する。すなわち、
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）…（１）
また、直線ＱＬ−ＯＬから次式が成立する。すなわち、
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）…（２）
この式をｘ、ｙ、ｚ について解けば、点Ｐの三次元座標が得られる。

このような三次元計測では、計測対象となる被写体との距離が離れる程、奥行き方向の分解能が下がり、計測精度が低下する。このため、精度の高い三次元計測を行うためには、ある程度まで被写体に近づく必要がある。

ところが、内視鏡等の機器においては、良好な観察画像が得られるように被写体深度が深い光学系が用いられており、挿入部の先端周辺の状況を操作者が確認することが難しい。このため、三次元計測機能を起動し、計測点を指定するまで、十分な計測精度が得られるまで物体に近づいているかどうかを判断することが難しい。

本発明は、上述の課題を鑑み、ライブ状態の撮像画面から被写体の距離をリアルタイムで知らせることができるようにした計測用内視鏡装置及び内視鏡用プログラムを提供することを目的とする。

請求項１の発明は、観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡装置において、被写体の観察画像上の所定の座標に測距点を表す照準を重畳表示する照準表示処理手段と、観察画像を取得する観察画像取得処理手段と、観察画像取得処理手段で得た画像を用いて、測距点での被写体の物体距離を三角測量の原理で計算する測距処理手段と、測距処理手段の結果である物体距離情報を表示する物体距離情報表示処理手段とを具えたことを特徴とする。

請求項２の発明は、照準の位置を変更する照準位置操作手段と、照準の座標を得る照準座標取得手段とを具えたことを特徴とする。

請求項３の発明は、更に、測距点の画面座標が所定の計測可能領域内にあるかどうかを判断し、測距点の画面座標が所定の計測可能領域外にあれば、測距処理を中止する範囲外測距中止手段と、計測可能領域の境界を観察画像に重畳して表示する計測可能領域境界表示手段とを具えたことを特徴とする、

請求項４の発明は、物体距離情報表示処理手段は、物体距離情報を観察画像に重畳表示するようにしたことを特徴とする。

請求項５の発明は、観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡の処理を行う内視鏡用プログラムであって、被写体の観察画像上の所定の座標に測距点を表す照準を重畳表示する照準表示処理ステップと、観察画像を取得する観察画像取得ステップと、観察画像取得処理ステップで得た画像を用いて、測距点での被写体の物体距離を三角測量の原理で計算する測距処理ステップと、測距処理ステップの結果である物体距離情報を表示する物体距離情報表示ステップとを具えたことを特徴とする。

請求項６の発明は、更に、照準の位置を変更する照準位置操作ステップと、照準の座標を得る照準座標取得ステップとを具えたことを特徴とする。

請求項７の発明は、更に、測距点の画面座標が所定の計測可能領域内にあるかどうかを判断し、測距点の画面座標が所定の計測可能領域外にあれば、測距処理を中止する範囲外測距中止ステップと、計測可能領域の境界を観察画像に重畳して表示する計測可能領域境界表示ステップとを具えたことを特徴とする。

請求項８の発明は、物体距離情報表示処理ステップは、物体距離情報を観察画像に重畳表示するようにしたことを特徴とする。

本発明によれば、ライブ画面と共に、被写体までの距離がリアルタイムで画面上に表示される。このため、被写体深度が深いため、視野内のピントの状況からは物体距離を推測できず、又は、カメラが観察対象の内部に入ってしまうため、カメラと被写体の位置関係が容易に認識できない場合でも、現在画面上で観察できている被写体までの距離を操作者がライブ画像を見ながら知ることができる。操作者は、この被写体までの距離を見ることで、精度の高い三次元計測用画像を取得できるかどうかを判断でき、精度の高い三次元計測用画像を取得できる位置まで十分近づいてから、三次元計測に切り換えることができる。

以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の内視鏡装置の全体構成を示すものである。図１に示すように本実施形態の内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うリモートコントローラ４と、内視鏡画像や操作制御内容（例えば後述する処理メニュー）等の表示を行う表示装置である液晶モニタ（以下、ＬＣＤと記載）５と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするフェイスマウントディスプレイ（以下、ＦＭＤと記載）６と、このＦＭＤ６に画像データを供給するＦＭＤアダプタ６ａ等で主に構成されている。

挿入部２０は先端側から順に硬質な先端部２１、例えば上下左右に湾曲可能な湾曲部２２（図２）と柔軟性を有する可撓管部を連設して構成され、先端部２１には観察視野を２つ有するステレオ光学アダプタ７ａ、７ｂあるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在な構成になっている。

図２に示すようにコントロールユニット３内には内視鏡ユニット８、画像処理部であるカメラコントロールユニット（以下、ＣＣＵと記載）９及び制御部である制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。

内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）を備えて構成されている。

ＣＣＵ９には、挿入部２０の先端部２１に内蔵されている固体撮像素子２ａから出力された撮像信号が入力する。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）１５、ＵＳＢインターフェイス（以下、ＵＳＢ Ｉ／Ｆと記載）１６及びＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２Ｃ Ｉ／Ｆと記載）１７等と、これら各種機能を主要プログラムに基づいて実行させて動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７にはＣＣＵ９、内視鏡ユニット８及びこれらＣＣＵ９、内視鏡ユニット８等の制御及び動作指示を行うリモートコントローラ４がそれぞれ接続されている。このことにより、リモートコントローラ４の操作に基づいてＣＣＵ９、内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や計測時における画像処理などの各種の指示制御を行うことが可能になるとともに、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やコンパクトフラッシュ（登録商標）メモリカード３３等の記録媒体であるいわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータの取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行える。

映像信号処理回路１２では、ＣＣＵ９から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ９からの映像信号をＣＰＵ１８の制御により生成する操作メニューに基づく表示信号との合成処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を施してＬＣＤ５に供給する。また、この映像信号処理回路１２では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記録媒体に記録する音声信号、メモリカード等の記録媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１では、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。

そして、ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。

図３に示すようにリモートコントローラ４の一面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４及び計測実行スイッチ４５が設けられている。また、ズームレバー４７が設けられている。

ジョイスティック４１は、湾曲部２２の湾曲動作を指示するスイッチであり、傾倒操作することによって湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、レバースイッチ４２は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター移動操作を行うスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３はＬＣＤ５表示に関わるスイッチである。ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像を表示され、この静止画像をメモリカードに記録する場合に用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。

なお、フリーズスイッチ４３、ストアースイッチ４４及び計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。符号４６はＦＭＤアダプタ７から伸びる電気ケーブルが接続されるコネクタ部であり、このコネクタ部４６に電気ケーブルを接続することによってＦＭＤ６を通してステレオ観察を行えるようになっている。ズームレバー４７は、手前と奥とに倒せる方向スイッチで、電子ズームの制御を行う。奥に倒すとテレ（拡大）、手前に倒すとワイド（縮小）に動作する。

図４及び図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示すものである。図４及び図５に示すように直視型のステレオ光学アダプタ７ａの先端面には一対の照明レンズ５１、５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。

図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂ及び内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。

本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２特有の撮像光学系の光学データが測定され、その光学データが記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３１やメモリカード３３等）に記録される。

上述の特有の光学データは、
（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標
である。

上記特有の光学データの収集を行った後の内視鏡装置１にパソコン３１を接続して、次に示す（１）〜（５）の処理を行って各種寸法計測を行うことができる。すなわち、
（１）上記メモリカードから上記（ａ１）〜（ｄ）の光学データを読み込む。
（２）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（３）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データをもとに座標変換する。
（４）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（５）上記三次元座標を基に各種三次元計測を行う。

また、本実施形態の内視鏡装置１では、被写体との距離をリアルタイムでライブ画面上に表示させることができる。このため、操作者は、カメラと被写体の位置関係が容易に認識できない場合でも、現在画面上で観察できている被写体までの距離を操作者がライブ画像を見ながら知ることができる。

図６は、左右２画像６５，６６の画像をＬＣＤ５上に表示した画面６４を示している。図６に示すように、左画像６５に照準７１が示される。この照準７１を測距点として、測距点までの距離がリアルタイムで計測され、この測距点までの距離は、画面６４上に、距離表示キャラクタ７２として表示される。

また、画面６４上には、測距点までの距離が距離表示バーグラフ７３でグラフィカルに表示される。距離表示バーグラフ７３は、図７に示すように、緑色のバーグラフ７３ｇ、黄色のバーグラフ７３ｙ、赤色バーグラフ７３ｒの三色に分けて表示される。緑色のバーグラフ７３ｇは、精度の高い三次元計測が可能な範囲を示している。黄色のバーグラフ７３ｙは、精度はやや落ちるが、三次元計測が可能な範囲であることを示している。赤色のバーグラフ７３ｒは、満足する三次元計測が不可能な範囲であることを示している。

このように、本実施形態の内視鏡装置１では、ライブ画面と共に、被写体までの距離がリアルタイムで画面上に表示される。操作者は、この被写体までの距離を見ることで、精度の高い三次元画像を映すことができるかどうかを判断でき、精度の高い三次元画像を映せる位置まで十分近づいてから、三次元計測に切り換えることができる。

次に、上述のように、被写体までの距離をライブ画面と共に、画面上に表示するための処理について説明する。前述の図２０に示したように、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とすると、直線ＱＲ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）…（１）
また、直線ＱＬ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）…（２）
この式をｘ、ｙ、ｚ について解けば、点Ｐの三次元座標が得られ、これにより、被写体までの距離が求まる。

ここで、光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離は、光学データとして予め記録されている。点ＱＬの座標は、座用は測距点とされた照準７１の座標そのものである。点ＱＲは、測距点に対応する点を右画像６６の中から探索することで得ることができる。

このことから、例えば、左画像を基準とした場合には、左画像での測距点（ＱＬ）に対応する右画像の対応点（ＱＲ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。

なお、ここでは、左画像６５を基準画像とし、左画像６５に照準７１を表示しているが、勿論、右画像６６を基準画像としても良い。この場合には、照準７１は右画像６６側に表示される。

このように、本実施形態の内視鏡装置１では、ライブ画面と共に、被写体までの距離がリアルタイムで画面上に重畳表示される。操作者は、この被写体までの距離を見ることで、精度の高い三次元画像を映すことができるかどうかを判断でき、精度の高い三次元画像を映せる位置まで十分近づいてから、三次元計測に切り換えることができる。

次に、測距点の距離をＬＣＤ５上にリアルタイムで測距表示するための処理について説明する。物体の距離の計測を行う際には、割り込み処理に入り、図８でフローチャートで示すような計測起動前判定処理が行われる。

図８において、ステップＳ１で、その物体が計測可能内にあるかどうかを判断し、計測可能であれば、ステップＳ２で、計測処理を起動する。

ステップＳ１で、その物体が計測可能範囲外にあったら、ステップＳ３で、計測起動時の警告処理がどれに設定されているかを判断する。すなわち、予め、図９（Ａ）に示すような計測起動時の警告メニュー８１を表示し、計測起動時の警告処理を設定できるようにしておく。この例では、計測起動時の警告処理として、例えば、以下の３つのオプションが設定できる。

（Ａ）警告を表示する。
（Ｂ）警告を表示せずに計測を起動する。
（Ｃ）警告を表示せずに計測を起動しない。

ステップＳ３で、計測起動時の警告処理のオプションが「（Ａ）警告を表示する」に設定されていた場合には、ステップＳ４で、図９（Ｂ）に示すような、「（Ｂ）計測可能範囲外であるが、計測を起動するか」ということを示す警告８２を表示する。ユーザは、この警告８２を見て、計測可能範囲外でも計測を起動するかどうかを選択する。

ステップＳ５で、計測を起動するかどうかを判断し、計測を起動する場合には、ステップＳ２に行き、計測起動処理を行う。計測を起動しない場合には、ステップＳ６に行き、計測起動処理を中止する。

ステップＳ３で、計測起動時の警告処理のオプションが「（Ｃ）警告を表示せず計測を起動する」に設定されていた場合には、ステップＳ２に行き。計測起動処理を行う。

ステップＳ３で、計測起動時の警告処理のオプションが「警告を表示せず計測を起動しない」に設定されていた場合には、ステップＳ６に行き、計測起動処理を中止する。

図１０は、測距点の距離をＬＣＤ５上にリアルタイムで測距表示する処理を示すフローチャートである。

図１０において、測距機能を行うときには、ステップＳ１１で、初期化処理を行う。測距機能は、以下の起動条件で、ズームレバー４７をワイド端側に設定することで起動される。
（Ａ）光学アダプタの設定がステレオ光学アダプタになっている。
（Ｂ）ライブ画像表示、あるいは、フリーズ画像表示中である。
（Ｃ）電子ズームがワイド端（電子ズームが１倍）である。

そして、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、ステップＳ１２で測距処理を行う。

ステップＳ１２の測距処理では、図１１にフローチャートで示すように、ステップＳ２１で、観察画像の取得処理を行い、画像をメモリ上に展開する。ステップＳ２２で、右画像６６の画像の切り出し処理を行い、ステップＳ２３で、左画像６５の画像の切り出し処理を行う。

ステップＳ２４で、右画像６６の画像の歪み補正処理を行い、ステップＳ２５で左画像６５の画像の歪み補正処理を行う。つまり、一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となる。このため、ステップＳ２４、Ｓ２５では、座標変換を行うことにより、この歪みを取り除く処理を行う。歪みの補正は、前述のメモリカードに記録されている光学データを用いて行われる。

ステップＳ２６で、測距点に対応する点の探索処理を行う。つまり、左画像６５には、図６に示したように、照準７１が表示される。この照準７１の中心位置を測距点とし、テンプレートを作成し、このテンプレートを使って、パターンマッチングにより相関を求め、右画像６６中から、測距点に対応する点を探索する。

ステップＳ２７で、三角測量の原理から、（１）式、（２）式に基づいて、空間座標を計算し、測距点の距離を求める。ここで、光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離は、光学データとしてメモリカードに記録されている。点ＱＬの座標は、座用は測距点とされた照準７１の座標そのものであり、点ＱＲは、ステップＳ２６で、測距点に対応する点を右画像６６の中から探索することで得ることができる。

図１０において、ステップＳ１２で、測距処理（図１１のステップＳ２１〜Ｓ２７）が行われたら、ステップＳ１３で、求められた測距点までの物体距離を画面上に表示する。つまり、図６に示したように、被写体までの距離を、画面６４上で距離表示キャラクタ７２として表示する。また、被写体までの距離を、距離表示バーグラフ７３で表示する。

なお、図７に示したように、距離表示バーグラフ７３は、緑色のバーグラフ７３ｇと、黄色のバーグラフ７３ｙと、赤色のバーグラフ７３ｒとが表示される。高い精度で三次元計測が行える範囲は、取り付けられた光学アダプタの光学特性により変わってくる。そこで、緑色のバーグラフ７３ｇや黄色のバーグラフ７３ｙや赤色のバーグラフ７３ｒの表示範囲や、１つのバーグラフの値は、例えばメモリカードに記録されている光学アダプタの光学特性に基づいて設定するようにしている。

そして、ステップＳ１４で、測距表示終了処理が行われているかどうかを判断し、測距表示終了処理が終了していなければ、ステップＳ１２にリターンし、測距処理を継続して行う。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離表示を行うことができる。ステップＳ１４で、測距表示処理を終了すると判断すると、処理は終了となる。

（第２の実施形態）
図１２は、本発明の第２の実施形態を示すものである。前述の第１の実施形態では、照準７１を画面上に固定している。これに対して、この実施形態では、照準７１を操作者が自在に移動させることができるようにしている。操作者は、リモートコントローラ４のレバースイッチ４２を操作することで、照準７１を画面上で上下左右に移動させることができる。画面上には、計測可能範囲７５が表示される。照準７１で示される測距点がこの計測可能範囲７５内にあれば、測距が可能である。なお、光学アダプタによって左画像の位置は異なるので、計測可能範囲７５の座標は、メモリカードの光学データとして保持される。

図１３は、本発明の第２の実施形態の動作を示すフローチャートである。ステップＳ１０１で初期化処理を行い、ステップＳ１０２で、測距点の座標が計測可能範囲かどうかを判断し、計測可能範囲内に入るまで、測距処理の実行を中止し、計測可能範囲内になったら、ステップＳ１０３で測距処理を行う。ステップＳ１０３の測距処理では、図１４のステップＳ１１１で示すように、観察画像を取得処理を行い、画像をメモリ上に展開する。

ステップＳ１０４で、照準７１の座標が変化したかどうかを判断し、照準７１の座標が変化したら、ステップＳ１０２に戻り、座標の範囲確認から実行し直す。

ステップＳ１０４で照準７１の座標が変化していなければ、ステップＳ１０５で、測距処理を行う。この測距処理のステップＳ１０５では、図１５のフローチャートで示すように、ステップＳ１２１で、右画像６６の画像の切り出し処理を行い、ステップＳ１２２で、左画像６５の画像の切り出し処理を行う。ステップＳ１２３で、右画像６６の画像の歪み補正処理を行い、ステップＳ１２４で左画像６５の画像の歪み補正処理を行う。ステップＳ１２５で、測距点に対応する点の探索処理を行う。ステップＳ１２６で、メモリカードから読み出された光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離と、測距点に対応する点の探索処理で求められた点ＱＲ及びＱＬの座標から、三角測量の原理により、空間座標を計算し、測距点の距離を求める。

図１３において、ステップＳ１０５の測距処理（図１５のステップＳ１２１〜Ｓ１２６）が終了したら、ステップＳ１０６で、照準７１の座標が変化したかどうかを判断し、照準７１の座標が変化したら、ステップＳ１０２に戻り、座標の範囲確認から実行し直す。

ステップＳ１０６で照準７１の座標が変化していなければ、ステップＳ１０７で、上述のようにして求められた測距点までの物体距離を画面上に表示する。

ステップＳ１０８で、測距表示処理を終了するかどうかを判断し、終了しなければ、ステップＳ１０３にリターンする。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離表示を行うことができる。ステップＳ１０８で、測距表示処理を終了すると判断すると、処理は終了となる。

このように、この実施形態では、計測しようとする被写体が画面の端にあるような場合、レバースイッチ４２を操作して照準７１を移動させ、計測しようとする被写体に照準を合わせることができる。

なお、この実施形態では、ステップＳ１０４とステップＳ１０６で、照準７１が変化したかどうかの判断を行っている。これは、観察画像を取得する処理と、測距点に対応する画像を探索して空間座標を求める処理が時間を要し、その間に、照準が変化する可能性があるからである。

（第３の実施形態）
図１６は、本発明の第３の実施形態を示すものである。前述の第１及び第２の実施形態では、照準７１は１つである。これに対して、この実施形態では、２つの照準７１ａ及び７１ｂが設けられる。このように、２つの照準７１ａ、７１ｂを設けることで、２点の空間座標がわかり、これらを元に２点を結ぶ直線となす角度を求めることができる。これにより、観察対象の物体を正面視できているのかどうかを判断できる。

つまり、照準７１ａに対応する測距点ｐ１の座標を（ｘ１，ｙ１，ｚ１）とし、照準７１ｂに対応する測距点ｐ２の座標を（ｘ２，ｙ２，ｚ２）とすると、２点を結ぶ直線の単位方向のベクトルＰは、
Ｐ＝（ｐ２−ｐ１）／（｜ｐ２−ｐ１｜）
となる。視線方向Ｑを（０，０，１）とすると、このときのなす角θは、ＰとＱの内積をＰ・Ｑとすると、
θ＝ＡｒｃＣｏｓ（Ｐ・Ｑ）
となる。但し、ＡｒｃＣｏｓ（ｘ）はｘのアークコサインとする。このように、照準７１ａに対応する測距点の座標と、照準７１ｂに対応する測距点の座標とがわかれば、この２点を結ぶ直線と視線方向とのなす角度が求まる。

図１７は、本発明の第３実施形態のフローチャートである。図１７において、ステップＳ２０１で初期化処理を行い、ステップＳ２０２で、測距点の座標が計測可能範囲かどうかを判断し、計測可能範囲内に入るまで、測距処理の実行を中止し、計測可能範囲内になったら、ステップＳ２０３で、第１の測距点の測距処理を行い、ステップＳ２０４で、第２の測距点の測距処理を行う。ステップＳ２０３及びステップＳ２０４の測距処理では、図１４においてステップＳ１１１で示したような処理が行われる。

そして、ステップＳ２０５で、照準７１ａ、７１ｂの座標が変化したかどうかを判断し、照準７１ａ、７１ｂの座標が変化したら、ステップＳ２０２に戻り、座標の範囲確認から実行し直す。

ステップＳ２０５で照準７１ａ、７１ｂの座標が変化していなければ、ステップＳ２０６で、第１の測距点の測距処理を行い、ステップＳ２０７で、第２の測距点の測距処理を行う。ステップＳ２０６及びステップＳ２０７では、図１５においてステップＳ１２１〜Ｓ１２６で示したような処理が行われる。

そして、ステップＳ２０８で、照準７１ａ、７１ｂの座標が変化したかどうかを判断し、照準７１ａ、７１ｂの座標が変化したら、ステップＳ２０２に戻り、座標の範囲確認から実行し直す。

ステップＳ２０８で照準７１ａ、７１ｂの座標が変化していなければ、ステップＳ２０９で、照準７１ａに対応する測距点と、照準７１ｂに対応する測距点とを結ぶ直線と視線方向とのなす角度θの計算を行う。そして、ステップＳ２１０で、上述のようにして求められた測距点までの物体距離と、角度を画面上に表示する。

ステップＳ２１１で、測距表示処理を終了するかどうかを判断し、終了しなければ、ステップＳ２０３にリターンする。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離表示と角度表示とを行うことができる。ステップＳ２１１で、測距表示処理を終了すると判断すると、処理は終了となる。

このように、この実施形態では、２つの照準７１ａ、７１ｂを設け、２つの測距点で測距を行うため、２つの測距点までの距離と、２点の測距点を結ぶ直線と視線方向とのなす角度を表示することができる。操作者は、この２点の測距点を結ぶ直線と視線方向とのなす角度を見ながら、例えばこの角度が９０度に近づくように、方向を調整することができる。

（第４の実施形態の測距表示処理）
図１８は、本発明の第４の実施形態を示すものである。前述の第３の実施形態では、２つの照準７１ａ及び７１ｂが設けられる。これに対して、この実施形態では、３つの照準７１ａ、７１ｂ、７１ｃを設けるようにしている。３つの照準を設けることで、３点の空間座標がわかるので、これらを元に２点を結ぶ直線と視線方向とのなす角を２つ求めることができ、これにより、観察対象を正面視できているかどうかを、前述の第３の実施形態よりもより正確に判断することができる。

つまり、照準７１ａに対応する測距点ｐ１の座標を（ｘ１，ｙ１，ｚ１）とし、照準７１ｂに対応する測距点ｐ２の座標を（ｘ２，ｙ２，ｚ２）とし、照準７１ｃに対応する測距点ｐ３の座標を（ｘ３，ｙ３，ｚ３）とする。

測距点ｐ１と測距点ｐ２との２点を結ぶ直線Ｌ１の単位方向のベクトルＰ１は、
Ｐ１＝（ｐ２−ｐ１）／（｜ｐ２−ｐ１｜）
となり、視線方向Ｑを（０，０，１）とすると、このときになす角θ１は、Ｐ１とＱの内積をＰ１・Ｑとすると、
θ１＝ＡｒｃＣｏｓ（Ｐ１・Ｑ）
となる。

測距点ｐ２と測距点ｐ３との２点を結ぶ直線Ｌ２の単位方向のベクトルＰ２は、
Ｐ２＝（ｐ３−ｐ２）／（｜ｐ３−ｐ２｜）
となり、視線方向Ｑを（０，０，１）とすると、このときになす角θ２は、Ｐ２とＱの内積をＰ２・Ｑとすると、
θ２＝ＡｒｃＣｏｓ（Ｐ２・Ｑ）
となる。

角度θ２の値は、測距点ｐ３から直線Ｌ１に下ろした線との交点ｐ４と測距点ｐ３とを結ぶ直線をＬ２とおいて、
Ｐ２＝（ｐ３−ｐ４）／（｜ｐ３−ｐ４｜）
として求めても良い。このとき、点ｐ４は、媒介変数ｔを用いて、
ｐ４＝ｐ１＊ｔ＋ｐ１
ｔ＝Ｐ１・（ｐ３−ｐ１）／（｜ｐ２−ｐ１｜）
として求める。

図１９は、本発明の第４実施形態のフローチャートである。図１９において、ステップＳ３０１で初期化処理を行い、ステップＳ３０２で、測距点の座標が計測可能範囲かどうかを判断し、計測可能範囲内に入るまで、測距処理の実行を中止し、計測可能範囲内になったら、ステップＳ３０３で、第１の測距点の測距処理を行い、ステップＳ３０４で、第２の測距点の測距処理を行い、ステップＳ３０５で、第３の測距点の測距処理を行う。ステップＳ３０３〜ステップＳ３０５の測距処理では、それぞれ、図１４でステップＳ１１１で示したような処理が行われる。

そして、ステップＳ３０６で、照準７１ａ、７１ｂ、７１ｃの座標が変化したかどうかを判断し、照準７１ａ、７１ｂ、７１ｃの座標が変化したら、ステップＳ３０２に戻り、座標の範囲確認から実行し直す。

ステップＳ３０６で照準７１ａ、７１ｂ、７１ｃの座標が変化していなければ、ステップＳ３０７で、第１の測距点の測距処理を行い、ステップＳ３０８で、第２の測距点の測距処理を行い、ステップＳ３０９で、第３の測距点の測距処理を行う。ステップＳ３０７〜ステップＳ３０９では、それぞれ、図１５においてステップＳ１２１〜Ｓ１２６で示したような処理が行われる。

そして、ステップＳ３１０で、照準７１ａ、７１ｂ、７１ｃの座標が変化したかどうかを判断し、照準７１ａ、７１ｂ、７１ｃの座標が変化したら、ステップＳ３０２に戻り、座標の範囲確認から実行し直す。

ステップＳ３１０で照準７１ａ、７１ｂ、７１ｃの座標が変化していなければ、ステップＳ３１１で、照準７１ａに対応する測距点と照準７１ｂに対応する測距点とを結ぶ直線と視線方向とのなす角度θ１の計算を行い、ステップＳ３１２で、照準７１ｂに対応する測距点と照準７１ｃに対応する測距点とを結ぶ直線と視線方向とのなす角度θ２の計算を行う。そして、ステップＳ３１３で、上述のようにして求められた測距点までの物体距離と、角度を画面上に表示する。

ステップＳ３１４で、測距表示処理を終了するかどうかを判断し、終了しなければ、ステップＳ３０３にリターンする。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離と角度の表示を行うことができる。ステップＳ３１４で、測距表示処理を終了すると判断すると、処理は終了となる。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本発明は、三次元計測が行えるようにした計測用内視鏡及び内視鏡用プログラムに用いて好適である。

本発明が適用できる内視鏡装置の構成を示す斜視図である。 本発明が適用できる内視鏡装置の構成を説明するブロック図ある。 リモートコントローラの説明に用いる斜視図である。 ステレオ光学アダプタの構成を示す斜視図である。 ステレオ光学アダプタの構成を示す断面図である。 本発明の第１の実施形態に係る画面構成の説明図である。 距離のバーグラフ表示の説明図である。 本発明の第１の実施形態に係る計測起動処理の説明に用いるフローチャートである。 本発明の第１の実施形態における計測起動判定前処理の説明図である。 本発明の第１の実施形態に係る測距表示処理の説明に用いるフローチャートである。 本発明の第１の実施形態に係る測距処理の説明に用いるフローチャートである。 本発明の第２の実施形態に係る画面構成の説明図である。 本発明の第２の実施形態に係る測距表示処理の説明に用いるフローチャートである。 本発明の第２の実施形態に係る測距処理の説明に用いるフローチャートである。 本発明の第２の実施形態に係る測距処理の説明に用いるフローチャートである。 本発明の第３の実施形態に係る画面構成の説明図である。 本発明の第３の実施形態に係る測距表示処理の説明に用いるフローチャートである。 本発明の第４の実施形態に係る画面構成の説明図である。 本発明の第４の実施形態に係る測距表示処理の説明に用いるフローチャートである。 測距の原理の説明図である。

符号の説明

１ 内視鏡装置
２ 内視鏡
３ コントロールユニット
４ リモートコントローラ
５ 液晶モニタ（ＬＣＤ）
６５ 左画面
６６ 右画面
７１ 照準
７２ 距離表示キャラクタ
７３ 距離表示バーグラフ

Claims (8)

1. 観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて前記撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の前記制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡装置において、
   被写体の観察画像上の所定の座標に測距点を表す照準を重畳表示する照準表示処理手段と、
   前記観察画像を取得する観察画像取得処理手段と、
   前記観察画像取得処理手段で得た画像を用いて、前記測距点での被写体の物体距離を三角測量の原理で計算する測距処理手段と、
   前記測距処理手段の結果である物体距離情報を表示する物体距離情報表示処理手段とを具えたことを特徴とする計測用内視鏡装置。
2. 更に、前記照準の位置を変更する照準位置操作手段と、前記照準の座標を得る照準座標取得手段とを具えたことを特徴とする請求項１に記載の計測用内視鏡装置。
3. 更に、測距点の画面座標が所定の計測可能領域内にあるかどうかを判断し、測距点の画面座標が所定の計測可能領域外にあれば、測距処理を中止する範囲外測距中止手段と、前記計測可能領域の境界を前記観察画像に重畳して表示する計測可能領域境界表示手段とを具えたことを特徴とする請求項１又は２に記載の計測用内視鏡装置。
4. 前記物体距離情報表示処理手段は、前記物体距離情報を前記観察画像に重畳表示するようにしたことを特徴とする請求項１に記載の計測用内視鏡装置。
5. 観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて前記撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の前記制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡の処理を行う内視鏡用プログラムであって、
   被写体の観察画像上の所定の座標に測距点を表す照準を重畳表示する照準表示処理ステップと、
   前記観察画像を取得する観察画像取得ステップと、
   前記観察画像取得処理ステップで得た画像を用いて、前記測距点での被写体の物体距離を三角測量の原理で計算する測距処理ステップと、
   前記測距処理ステップの結果である物体距離情報を表示する物体距離情報表示ステップとを具えたことを特徴とする内視鏡用プログラム。
6. 更に、前記照準の位置を変更する照準位置操作ステップと、前記照準の座標を得る照準座標取得ステップとを具えたことを特徴とする請求項５に記載の内視鏡用プログラム。
7. 更に、測距点の画面座標が所定の計測可能領域内にあるかどうかを判断し、測距点の画面座標が所定の計測可能領域外にあれば、測距処理を中止する範囲外測距中止ステップと、前記計測可能領域の境界を前記観察画像に重畳して表示する計測可能領域境界表示ステップとを具えたことを特徴とする請求項５又は６に記載の内視鏡用プログラム。
8. 前記物体距離情報表示処理ステップは、前記物体距離情報を前記観察画像に重畳表示するようにしたことを特徴とする請求項５に記載の内視鏡用プログラム。
   

Images