JP2001075019A - 内視鏡装置 - Google Patents

Abstract

(57)【要約】 【課題】測定を希望する切断面の指定を容易に行え、か
つその指定した切断面における観察対象の断面形状の把
握を簡便に行える内視鏡装置を提供すること。 【解決手段】内視鏡２の先端部には一対の対物レンズ系
４１，４２と、光学像を画像信号に光電変換する撮像素
子４３とから構成される撮像部４０が配置されている。
対物レンズ系４１，４２は、複数の視点で撮像できるよ
うに構成したものであり、撮像素子４３にはレンズ系４
１，４２を通過したそれぞれの光学像が結像する。計測
装置３には光電変換された画像信号をモニタ３０に表示
するためのビデオ信号に変換するＣＣＵ３１と、生成さ
れたビデオ信号をデジタル画像信号に変換するビデオキ
ャプチャ回路３２と、変換されたデジタル画像信号を基
に計測のための演算を行う演算処理部であるホストコン
ピュータ３３と、計測装置３を操作するコンソール３４
とで主に構成されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の視点から得
られる画像信号を基に、所望する切断位置における断面
形状の客観的な判断を可能にする内視鏡装置に関する。

【０００２】

【従来の技術】近年、医療分野及び工業分野において、
内視鏡が広く用いられるようになった。通常の内視鏡に
よる観察像では、一般に対象物は平面的なものとなり、
凹凸等を認識しにくい。

【０００３】このため、特公平８−１２３３２号公報に
は複数の視点からの画像を得て３次元計測を行う計測内
視鏡装置が示されている。また、特許公報第２７７８７
３９号には、基準平面と計測点を指定することで基準平
面から計測点までの距離を表示し、対象物の凹凸の高さ
又は深さを客観的に認識できる計測用内視鏡装置が示さ
れている。

【０００４】これまでの計測用内視鏡装置では基準画像
上で指定した点の３次元座標や２点間の距離或いは設定
した平面からの深さ等の計測を行うことができた。

【０００５】

【発明が解決しようとする課題】しかしながら、観察対
象における３次元形状を知るために、多数の点を指定
し、その各点から得られる３次元座標を元に形状を推測
していたため、観察対象の３次元形状を直感的に把握す
ることが難しいという問題があった。

【０００６】また、画像情報から撮像範囲全体の３次元
情報を得て３次元モデルを作成する方法もあるが、３次
元モデルを作成するためにはコンピュータによる演算処
理に多大な時間がかかり、実用的ではないという問題が
あった。

【０００７】したがって、例えばパイプ内部の腐食部の
深さ測定を行う際、最も深い場所を特定するまでに多く
の検査時間を要していた。

【０００８】本発明は上記事情に鑑みてなされたもので
あり、測定を希望する切断面の指定を容易に行え、かつ
その指定した切断面における観察対象の断面形状の把握
を簡便に行える内視鏡装置を提供することを目的にして
いる。

【０００９】

【課題を解決するための手段】本発明の内視鏡装置は、
観察対象を複数の視点から撮像する撮像部と、この撮像
部によって得られる各視点の画像信号を画像処理してス
テレオ計測を行うための演算処理部とを有する内視鏡装
置であって、前記演算処理部は、前記複数の視点におけ
る画像の１つを基準画像とし、残りの画像を参照画像と
して、前記基準画像と前記参照画像それぞれの光学的歪
みを補正した、補正基準画像と補正参照画像とを生成す
る補正画像生成手段と、前記基準画像と前記参照画像と
前記補正基準画像と前記補正参照画像のうち、少なくと
も前記基準画像或いは前記補正基準画像を画面上に表示
させる画像表示手段と、前記画面に表示された画像上
で、前記観察対象の断面情報を得るための切断位置を特
定する切断基準線を指定する切断基準線指定手段と、こ
の切断基準線上の点に対応する補正基準画像上の点を注
目点とし、この注目点に対応する前記補正参照画像上の
対応点を探索する対応点探索手段と、前記補正基準画像
上における注目点の位置と、前記対応点探索手段で求め
た前記補正参照画像上の対応点の位置とから、三角測量
の原理で前記切断基準線上の各注目点に写像される空間
上の点の３次元座標である、前記切断位置における前記
観察対象の断面情報を得る断面情報演算手段と、この断
面情報演算手段で得られた値を基に断面情報を出力する
断面情報出力手段とを具備している。

【００１０】この構成によれば、表示されている基準画
像に所望する切断面を指定することによって、観察者の
所望する切断面の断面情報が得られる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１ないし図１５は本発明の一実
施形態に係り、図１は計測を行える内視鏡装置の概略構
成を示す説明図、図２は内視鏡挿入部先端部に儲けた撮
像部と演算処理部を備えた計測装置とを説明する図、図
３は内視鏡で観察対象部位を観察している状態を示す
図、図４はステレオ計測を説明するフローチャート、図
５は画像表示手段によってモニタの画面上に表示される
内視鏡画像及び切断基準線の１例を示す図、図６は切断
面及び断面外形線を説明する図、図７は他の基準線の１
例を説明する図、図８は断面情報を示す断面外形線の１
例を示す図、図９は基準画像に対して表示した断面外形
線の表示例を説明する図、図１０は断面情報を示す際の
カメラ座標系を説明する図、図１１は断面情報を示す断
面外形線の他の例を示す図、図１２は断面情報を示す断
面外形線の別の例を示す図、図１３は断面情報を示す断
面外形線のまた他の例を示す図、図１４は対応点探索の
アルゴリズムを説明するフローチャート、図１５は対応
点探索後に示されるモニタ画面を説明する図である。

【００１２】図１に示すように本実施形態の計測を行う
ための内視鏡装置１は、観察対象部位の観察像を後述す
る撮像素子上に結像させる撮像部を内視鏡に備えた電子
内視鏡２（以下内視鏡と記載する）と、この内視鏡２に
よって得られた観察像の画像信号に画像処理を施し、こ
の画像処理した画像データを基に各種計測を行うための
演算処理部を有する計測装置３とで主に構成されてい
る。

【００１３】なお、前記計測装置３には観察対象に照明
光を供給するための光源装置（不図示）が内蔵されてお
り、観察対象部位の内視鏡画像はモニタ３０の画面上に
表示されるようになっている。

【００１４】前記内視鏡２は、細長な挿入部２０を有
し、この挿入部２０の基端部には把持部を兼ねる操作部
２１が配設されている。そして、この操作部２１の側部
からは前記計測装置３に着脱自在なコネクタ２２を基端
部に配設したユニバーサルコード２３が延出している。

【００１５】前記挿入部２０は、先端側から順に後述す
る撮像光学系を内蔵した先端部２４と、複数の湾曲駒を
回動自在に連接して湾曲自在に形成された湾曲部２５
と、細長な柔軟部材で形成した可撓管部２６とで構成さ
れている。なお、符号２７は前記湾曲部２５を湾曲操作
する操作ノブ２７である。

【００１６】図２に示すように前記先端部２４には一対
の対物レンズ系４１，４２と、この対物レンズ系４１，
４２を通して撮像面に結像した光学像を画像信号に光電
変換する撮像素子４３とから構成される撮像部４０が配
置されている。

【００１７】前記対物レンズ系４１，４２は、観察対象
部位を複数の視点で撮像できるように構成したものであ
り、撮像素子４３の撮像面上には前記対物レンズ系４
１，４２を通過したそれぞれの光学像が結像する。つま
り、本実施形態の内視鏡２はいわゆる視差を有するステ
レオ画像を得る立体視内視鏡である。

【００１８】図１及び図２に示すように計測装置３は、
前記撮像素子４３で光電変換された画像信号を前記モニ
タ３０に表示するためのビデオ信号に変換するカメラコ
ントロールユニット（以下ＣＣＵと略記する）３１と、
このＣＣＵ３１で生成されたビデオ信号をデジタル画像
信号に変換するビデオキャプチャ回路３２と、このビデ
オキャプチャ回路３２で変換されたデジタル画像信号を
基に計測のための演算を行う演算処理部であるホストコ
ンピュータ３３と、このホストコンピュータ３３を介し
て計測装置３を操作するコンソール３４とで主に構成さ
れている。

【００１９】図３に示すように計測装置３の光源装置で
発生された照明光は、前記コネクタ２２、前記ユニバー
サルケーブル２３、挿入部２０内を挿通するライトガイ
ドファイバ（不図示）を伝送されて照明窓４４から観察
対象部位４に向かって出射される。このことにより、前
記計測装置３のモニタ３０に観察対象部位４の内視鏡画
像が表示される。

【００２０】なお、本実施形態においては前記コンソー
ル３４を計測装置本体３５に対して別体とし、前記モニ
タ３０を計測装置本体３５に対して一体としているが、
用途によってそれぞれ計測装置本体３５に対して一体又
は別体で構成される。

【００２１】図４ないし図２４を参照して、上述のよう
に構成した内視鏡装置１を用いてステレオ計測を行う際
の動作及び作用を説明する。例えば内視鏡２の挿入部２
０をパイプ管内に挿入し腐食部や傷の観察を開始する。

【００２２】すると、まず図４のフローチャートのステ
ップＳ１０１に示すように照明光によって照らされた観
察対象部位４の観察像が前記対物レンズ系４１，４２を
通して撮像素子４３の撮像面にそれぞれ結像する。この
撮像素子４３に結像して光電変換されたそれぞれの観察
像の画像信号は、前記挿入部２０、操作部２１、ユニバ
ーサルケーブル２３内を挿通する図示しない信号線及び
コネクタ２２を介して計測装置３のＣＣＵ３１に伝送さ
れる。

【００２３】そして、ＣＣＵ３１に伝送された画像信号
は、このＣＣＵ３１でビデオ信号に生成された後、ビデ
オキャプチャ回路３２に伝送されてデジタル画像信号に
変換され、ステップＳ１０２に示すようにこのデジタル
映像信号をホストコンピュータ３３に転送する一方、ス
テップＳ１０３に示すようにモニタ３０にビデオ信号を
伝送して内視鏡観察画像をモニタ３０の画面上に表示さ
せる。

【００２４】モニタ観察中に腐食部などを発見した場合
には腐食部の計測を行う。このとき、まず観察者は前記
コンソール３４を操作してステレオ計測モードに切り換
える。すると、ホストコンピュータ３３内の画像表示手
段によってモニタ３０の画面上には図５に示すように前
記対物レンズ系４１，４２でそれぞれとらえた観察像の
内視鏡画像のうち例えば、一方の対物レンズ系４１でと
らえた画像を基準画像とし、他方の対物レンズ系４２で
とらえた画像を参照画像として、それぞれの計測用補正
画像である補正基準画像５０と補正参照画像５１が、モ
ニタ３０上に分割して表示される。

【００２５】なお、前記画像５０，５１は、ステップＳ
１０４に示すように補正画像生成手段によって、前記ホ
ストコンピュータ３３に取り込まれたデジタル画像信号
を予め得られている前記撮像部４０の歪補正係数等を元
に歪補正を施した計測用補正画像として生成されてい
る。そして、この計測用補正画像である補正基準画像５
０及び補正参照画像５１で以下に述べる対応点探索等の
ステレオ計測が行われる。

【００２６】計測を行うためまず、ステップＳ１０５に
示すように図５に示す基準画像５０上に計測のための断
面情報を得たい部分の切断位置を特定するための切断基
準線を得るための２点Ａ，Ｂを切断基準線指定手段を介
して指定する。この作業は、観察者が前記コンソール３
４等を用いて、画面上に表示される矢印やカーソル等の
ポインターを移動操作して行う。

【００２７】そして、観察者が点Ａ，Ｂを指定すること
により、この点Ａと点Ｂとを結ぶ点線に示す直線が切断
基準線（以下基準線と略記する）５３、或いは点Ａ，Ｂ
間を結ぶ実線で示す線分が切断基準線分（以下基準線分
と略記する）５４になる。この切断基準線５３によって
決まる切断面を図６を用いて説明する。観察対照４の像
は本来、倒立像として光学中心を挟んだ観察対象の反対
側に結ぶが、図中では理解しやすいように補正基準画像
５０を正立像で観察対象４と光学中心Ｌとの間に置いて
いる。

【００２８】なお、上述のように指定した基準線５３と
は別に、図７に示すように点Ａと点Ｂとの間にある点
（本図においては中点）においてある角度（本図におい
ては直交する直線）で交わる一点鎖線に示す直線をもう
ひとつの基準線である補助線５５として設定するように
してもよい。

【００２９】観察者の意図する切断面５６は、図中の前
記補正基準画像５０に対して直交する二点鎖線に示す平
面となる。この切断面５６は、基準線５３と基準画像を
撮像する光学系の光学中心Ｌとを含む平面として定義さ
れる。

【００３０】そして、図中に示す点Ａ1 、Ｂ1 が、前記
補正基準画像５０上の点Ａ、Ｂの観察対象部位４の表面
上への写像点になる。つまり、本実施形態における表示
対象である断面外形線５７は、観察対象部位４を視線方
向から見たときの表面と、切断面５６との共有線として
定義される。

【００３１】したがって、補正基準画像５０には基準画
像用光学系の光軸が点として投影され、その点が補正基
準画像５０の画像中心Ｏである。なお、符号５８は光軸
であり、図６中で画像中心Ｏと光学中心Ｌとを結ぶ破線
として表している。

【００３２】ステップＳ１０６に示すように、前記切断
面５６に対する断面情報を得るため計測用補正画像であ
る補正基準画像５０上の基準線５３（或いは基準線分５
４）上のすべての画素を注目点として設定することによ
り、ステップＳ１０７では対応点探索手段によって前記
注目点に対応する補正参照画像５１上での画素である対
応点の探索を行い、後述する対応点群５９を描出する。
この対応点探索のアルゴリズムについては後述する図１
４のフローチャート及び図１５で説明する。

【００３３】前記ステップＳ１０７の対応点探索におい
て対応点が見つかったならステップＳ１０８に移行し
て、前記注目点の補正基準画像５０上での位置と、前記
対応点の補正参照画像５１上での位置の差、つまり各注
目点毎の視差を求め、ステップＳ１０９に移行して、得
られた視差と、事前に得られている各光学系の光学中心
間の距離である基線長や各光学系の焦点距離、各光学系
の光軸の計測用補正画像への写像点の座標等の光学デー
タを基に、断面情報演算手段によって注目点の写像され
ている空間上の点の３次元座標を計算する。

【００３４】このステップＳ１０９で前記基準線５３上
のすべての画素に対応する点の３次元座標を求めたな
ら、ステップＳ１１０に移行して各点の３次元座標を基
に切断面５６の断面情報を以下に示す４通りの中から観
察者の所望するように構成し、ステップＳ１１１に移行
し、断面情報出力手段によって観察対象の切断面の形状
を容易に把握できる断面情報を断面形状外形線図として
モニタ３０の画面上に表示させる。なお、前記断面形状
外形線図をモニタ３０の画面上への表示方法としては、
断面形状外形線図だけを画面内の補正参照画像５１の代
わりに表示させたり、或いは画面上にさらに別ウィンド
ウを表示させてこのウィンドウに表示させる場合等又
は、補正基準画像５０に重ね合わせて表示する方法等が
ある。

【００３５】ここで、前記断面情報及び対応点探索のア
ルゴリズムについて説明する。まず、断面情報について
説明する。この断面情報については以下の４通りの表示
方法がある。 （１）切断面上での断面情報を直接に表示：断面情報を
図８に示す断面形状外形線５７ａとして表示するもので
あり、図中縦軸は基準線分５４或いは基準線５３の切断
面５６への正射影、横軸は光軸５８の切断面５６への正
射影であり、この場合に断面形状外形線図が直線的に得
られる。

【００３６】この断面形状外形線５７ａを、計測中にモ
ニタ３０の画面上に表示させるためには、モニタ上に別
ウィンドウを開いてそのウィンドウに前記断面形状外形
線５７ａを表示させる場合と、図９に示すようにモニタ
３０に表示されている基準画像５０に対して断面形状外
形線５７ａ重ね合わせて表示させる場合とがある。な
お、重ね合わせて表示させる場合には、凹凸を知る手が
かりとして、視線方向を示すマークとなる矢印Ｃ等を表
示させる。

【００３７】（２）断面情報を空間上の平面へ投影して
表示：図１０に示すように前記基準画像５０を撮像する
光学系の前記光学中心Ｌを原点とし、前記観察対象表面
５２に向かって水平方向右向きをｘ軸、垂直方向上向き
をｙ軸、奥行き方向をｚ軸に取ったカメラ座標系を形成
し、図１１（ａ）に示す（ｘ−ｚ）平面又は図１１
（ｂ）に示す（ｙ−ｚ）平面に投影して断面形状外形線
５７ｂ，５７ｃを表示する。この表示においては、通常
の図面で用いられているものと同じ投影方法を選択でき
るので、図面における投影方法に慣れ親しんだ観察者に
とっては形状把握を容易に行えるという利点がある。な
お、用途によって任意の座標軸、任意の投影面を設定す
るようにしてもよい。

【００３８】（３）断面情報を擬似３次元にて表示：図
１２に示すように実空間内に内視鏡２からの視点とは別
の視点を新たに設定し、その設定した別視点から見た断
面形状外形線５７ｄを表示する。図中に示す円筒形状図
は内視鏡２の空間上配置位置を参考として示すものであ
る。また、視点の位置を３次元的に示す画像を別画面で
同時に表示させることもできる。この表示方法では、視
点を順次移動させて見え方の変化を追うことで、観察対
象の３次元形状を直感的に把握できる。

【００３９】（４）実空間上の基準線からの奥行き情報
を抽出しての表示 図６、図１３に示すように基準線分５４或いは基準線５
４上の点Ｄを、観察対象４の表面上に写像した点Ｄ1
と、点Ａ、Ｂの実空間への写像点である点Ａ1 、Ｂ1 を
結んだ直線Ａ1 Ｂ1 上に写像した点Ｄ2 との距離を、補
正基準画像５０上で基準線分５４に対して垂直方向に表
す。点Ｄを基準線分５４或いは基準線５３上のすべての
点とすることで、断面形状外形線５７ｅを表示する。な
お、この表示方法においても前記（１）での説明と同
様、凹凸を知る手掛かりとして、視線の方向を示す矢印
Ｃを表示する。なお、手掛かりとして断面外形線５７ｅ
に線分Ｄ1 Ｄ2 の長さに応じた色をつけるようにも設定
してもよい。

【００４０】この表示方法では、奥行き差が非常に大き
い画像においても結果をコンパクトに表示することがで
きる。

【００４１】次に、前記対応点探索のアルゴリズムを説
明する。対応点の探索は、すべて計測用補正画像上で行
う。対応点の探索は、テンプレートマッチング或いはウ
ィンドウマッチングとして知られ、注目点の周囲にある
点の情報を助けに対応点を探索するアルゴリズムを用い
る。

【００４２】補正基準画像５０に対して点として投影さ
れる空間上の直線は、補正参照画像５１上では直線とし
て投影される。この直線をエピポーララインと呼ぶ。補
正基準画像５０上の注目点に対する補正参照画像５１上
の対応点は、理論上前記エピポーライン上にしか存在し
ない。したがって、対応点の探索は、誤差を見込んでエ
ピポーララインとその上下数ピクセルの範囲で行えば良
い。よって、探索の手順は図１４に示すフローチャート
のようになる。

【００４３】まず、ステップＳ１０７で示した対応点の
探索が開始されると、ステップＳ２０１に示すように注
目点の周囲に領域Ｐ1 を設定する。そして、ステップＳ
２０２に移行して注目点に対応するエピポーララインを
計算し、ステップＳ２０３でこのエピポーララインの上
下数ピクセルの範囲内の点を対応点の候補点として抽出
する。

【００４４】次に、ステップＳ２０４に移行して前記候
補点の周りに前記注目点に設定した領域Ｐ1 と同じ大き
さの領域Ｐ2 を設定し、ステップＳ２０５に示すように
注目点の領域Ｐ1 と各対応点の候補点の周りの領域Ｐ2
との濃度値の正規化相互相関或いは、差の自乗和等を計
算して対応度を求め、ステップＳ２０６，Ｓ２０７に示
すようにすべての候補点の対応度を計算し、その結果を
すべての候補点について保存する。すべての候補点につ
いての対応度の保存が済んだなら、ステップＳ２０８，
Ｓ２０９に示すように最も高い対応度である候補点を注
目点に対する対応点として座標を保存する。そして、ス
テップＳ２１０に示すようにすべての注目点に対する対
応点を求めたなら対応点探索を終了してステップＳ１０
８に移行する。

【００４５】この対応点探索を行うことによって、図１
４に示すように補正基準画像５０の基準線分５４の各注
目点に対応する各対応点を描出し、すべての対応点探索
を行うことによって対応点の集合である対応点群５９が
補正参照画像５１上に表示される。

【００４６】このように、観察中、ステレオ計測モード
に変換して、モニタ画面上に表示されている基準画像上
に２点を指定することによって、容易に観察者が観察を
行いたいと思う部分が位置するように切断基準線を形成
することができる。

【００４７】また、観察者によって指定された切断基準
線の断面情報が、観察者の所望する断面形状外形線図と
してモニタ画面上に表示させることによって、容易に断
面形状の把握を行える。

【００４８】これらのことによって、観察中に腐食部な
どを発見した場合、手際良く、観察部の指定を行えると
とともに、指定した観察部の断面形状の把握を直感的に
行って短時間での観察を可能にする。

【００４９】なお、対応点の探索範囲を切断基準線上で
はなく切断基準線分上に限定することによって更に結果
を得るまでの時間の短縮を行える。

【００５０】また、本実施形態においては対応点探索を
基準線５３又は基準線分５４上のすべての注目点に対し
て行っているが、基準画像５０と参照画像５１との対応
付けには本質的にあいまいさがある。このため、例えば
周囲に濃度差のない点や、基準画像では見えていて参照
画像では見えていない、或いはその逆の領域であるオク
ルージョン領域内の点、或いはオクルージョン領域に隣
接する点においては正確な対応付けが困難になる。

【００５１】そして、この結果、誤った点を対応点とし
てしまうおそれがあり、誤った点を対応点とすることに
よって、表示される対応点群５９の位置情報にノイズが
載ることになり、場合によっては観察対象の形状の判断
を誤らせることになる。

【００５２】そこで、以下に示す複数の工夫によって、
対応を誤りやすい点の排除、或いは対応精度を上げて、
得られる断面情報精度を上げられる。以下、複数画像間
での対応付けのあいまいさを減らす工夫を説明する。

【００５３】（１）基準線上での順序を利用して断面情
報の精度を上げる方法を図１６及び図１７のフローチャ
ートを参照して説明する。図１６及び図１７のフローチ
ャートに示すようにステップＳ３０１に示すように基準
線５３上に並んでいる全注目点の並び順序を求める。こ
の順序は、基準画像を撮像する光学系の光学中心と、参
照画像を撮像する光学系の光学中心とを結ぶ直線である
基線と直行し、撮像面と平行な軸へ射影した場合にも本
来変化しない。そして、これは基準画像５０の画像中心
Ｏに対応するエピポーラライン６１に直行する参照画像
５１上の軸６２へ射影した場合と同値である。

【００５４】よって、ステップＳ３０２に示すように全
注目点に対応する全対応点の前記軸６２への射影点を求
める一方、ステップＳ３０３に移行してその軸６２上に
おける射影点の並び順序を求める。

【００５５】そして、ステップＳ３０４，Ｓ３０５，Ｓ
３０６に示すように注目点の並び順序と対応点の射影点
の並び順序とが矛盾するか否かを確認して、並び順序が
矛盾する点については対応付けに失敗した点として注目
点から除外する一方、並び順序の一致する点については
対応点に対する注目点として採用する。つまり、例え
ば、基準線上でａ、ｂ、ｃ、ｄ、ｅの順で並んでいた注
目点について、その対応点の射影点が軸６２上でａ、
ｂ、ｄ、ｃ、ｅの順で並んだ場合には、点ｄ，ｃに相当
する注目点を、並び順に矛盾が生じていることから排除
する。

【００５６】なお、この処理は、前記図４に示したフロ
ーチャートのステップＳ１０７とステップＳ１０８との
間で行い、ステップＳ１０９以降の処理は採用された点
についてのみ計算を行う。

【００５７】（２）周囲の点の奥行き情報を利用して断
面情報の精度を上げる方法を図１８のフローチャートを
参照して説明する。まず、前記ステップＳ１０６に示し
た注目点抽出の範囲を注目点に隣接する画素にまで広げ
る。つまり、図１８のステップＳ４０１に示すように基
準線５３上の注目点とその周りの８点の合計９点につい
て対応付けを行う。

【００５８】そして、ステップＳ４０２，４０３に示す
ように９点の奥行き値の中で、中央の値である３つの値
（最大３値と最小３値とを除いた値）の平均を注目点の
奥行き値として処理する。この処理が一種のローパスフ
ィルタとなる。この処理は、前記図４に示したフローチ
ャートのステップＳ１０７とステップＳ１０８との間で
行う。

【００５９】（３）逆対応点の利用によって断面情報の
精度を上げる方法を図１９のフローチャートを参照して
説明する。前記ステップＳ１０６において、補正基準画
像５０のある注目点の対応点を補正参照画像５１でとっ
た後、図１９のステップＳ５０１に示すように、その対
応を取った点ついて前記図１４で示したフローチャート
にしたがって、逆に補正参照画像５１から補正基準画像
５０への逆対応点をとっていく。

【００６０】そして、ステップＳ５０２，Ｓ５０３，Ｓ
５０４，Ｓ５０５に示すように逆対応点が元の注目点に
対して対応するか否かを確認して、対応する点がなかっ
た点を対応付けに失敗した点として注目点から除き、一
致する点を注目点として採用する処理を行う。この処理
は、前記図４に示したステップＳ１０７とステップＳ１
０８との間で行い、ステップＳ１０９以降の処理は採用
した点についてのみ計算を行う。

【００６１】（４）エピポーララインからのずれの大き
さを利用して断面情報の精度を上げる方法を図２０のフ
ローチャートを参照して説明する。対応付けの結果で決
まる補正参照画像５１上の対応点のエピポーララインか
らのずれは、一定の傾向をもつはずである。このことを
利用して、図２０のステップＳ６０１に示すように全て
の対応点についてのずれ量を求める。そして、ステップ
Ｓ６０２に示すように求めたずれ量を統計処理し、ステ
ップＳ６０３に示すようにこの処理結果からずれの傾向
を求めるとともにずれ量を許容する閾値を決める。

【００６２】この後、ステップＳ６０４，Ｓ６０５，Ｓ
６０６，Ｓ６０７に示すようにずれ量の閾値から外れた
ものについては対応付けに失敗した点として注目点から
除外し、ずれ量の閾値以下の点を注目点として採用する
処理を行う。この処理は、前記図４に示したステップＳ
１０７とステップＳ１０８との間で行い、ステップＳ１
０９以降の処理は採用した点についてのみ計算を行う。

【００６３】（５）微分値を利用して断面情報の精度を
上げる方法を図２１のフローチャートを参照して説明す
る。対応付けは、注目点の周囲に濃度変化があるところ
では取り易く、濃度変化のないところでは取り難い。し
たがって、濃度変化のあるところだけを注目点に選ぶこ
とによって、対応付けのあいまいさを少なくできる。

【００６４】このため、図２１のステップＳ７０１に示
すように注目点で微分フィルタをかけて濃度変化の値を
求める。

【００６５】そして、ステップＳ７０２，Ｓ７０３，Ｓ
７０４，Ｓ７０５に示すように濃度変化の値が閾値以上
である否かを判断して濃度変化の有無を検出し、閾値以
下のとき注目点から除外し、閾値以上のとき注目点とし
て採用する。即ち、濃度変化があると判断した画素につ
いてのみ対応点の探索を行う。この処理は、前記図４に
示したステップＳ１０７とステップＳ１０８との間で行
い、ステップ１０９以降の処理は採用した点についての
み計算を行う。

【００６６】（６）注目点の周りに設定する領域の形状
を調節して断面情報の精度を上げる方法を説明する。注
目点がオクルージョン領域に隣接している場合には、注
目点の周りに設定する探索用の領域内にオクルージョン
領域が入ってしまうことにより対応付けがあいまいにな
る。そこで、注目点が探索領域の縁部に位置するように
した小さな領域を併用して探索を行い、一番高い対応度
を出した領域による結果をその候補点の対応度とする。
小さな領域の例としては図２２の点線に示す境界線の右
側に示すような領域であり、図中黒丸印が注目点を示
す。そして、境界線の左側に示す領域は通常設定される
領域である。

【００６７】上述した６つの方法を、単独或いは任意の
２つ以上を組み合わせて断面情報を得ることによって、
得られる断面情報の精度が高精度になる。

【００６８】また、上述したように２点を指定して断面
情報を得る代わりに、図２３及び図２４に示すように補
正基準画面５０Ａ上の１点だけを単独の基準点７１とし
て指定することにより、その基準点７１を通る直線を基
準線として断面情報を得るようにしてもよい。

【００６９】なお、前記基準線としては以下のものが設
定可能である。

【００７０】（１）指定された基準点７１を通り、モニ
タ３０の画面水平方向に対して平行な図２３に示す直線
７２。

【００７１】（２）指定された基準点７１を通り、モニ
タ３０の画面垂直方向に対して平行な図２３に示す直線
７３。

【００７２】（３）指定された基準点７１を通り、モニ
タ３０の画面水平方向及び画面垂直方向に対して平行な
図２３に示す直線７２，７３。

【００７３】（４）指定された基準点７１を通り、前記
２直線７２，７３に対してそれぞれ任意の角度で交わる
図２４に示す直線７４。

【００７４】このように、１点を指定することによって
基準線が決まることにより、より操作を簡便にすること
ができ、断面形状を知りたい場所を直接的に指定するこ
とできる。

【００７５】なお、本実施形態においては２つの画像を
用いた例を示したが、画像は３つ以上であっても同様に
断面表示を行える。

【００７６】また、第２実施形態として、ステレオ計測
モードに切り替えたときに表示される画像を、前記補正
基準画像５０及び前記補正参照画像５１代わりに補正前
の基準画像と参照画像として、基準線の指定を基準画像
上で行うようにしてもよい。これにより、計測用補正画
像生成の処理を簡略化できるため、ステレオ計測モード
に切り替える際にかかる時間を大幅に短縮することがで
きる。なお、その他の作用・効果は前記第１実施形態と
同様である。

【００７７】尚、本発明は、以上述べた実施形態のみに
限定されるものではなく、発明の要旨を逸脱しない範囲
で種々変形実施可能である。

【００７８】［付記］以上詳述したような本発明の上記
実施形態によれば、以下の如き構成を得ることができ
る。

【００７９】（１）観察対象を複数の視点から撮像する
撮像部と、この撮像部によって得られる各視点の画像信
号を画像処理してステレオ計測を行うための演算処理部
とを有する内視鏡装置において、前記演算処理部は、前
記複数の視点における画像の１つを基準画像とし、残り
の画像を参照画像として、前記基準画像と前記参照画像
それぞれの光学的歪みを補正した、補正基準画像と補正
参照画像とを生成する補正画像生成手段と、前記基準画
像と前記参照画像と前記補正基準画像と前記補正参照画
像のうち、少なくとも前記基準画像或いは前記補正基準
画像を画面上に表示させる画像表示手段と、前記画面に
表示された画像上で、前記観察対象の断面情報を得るた
めの切断位置を特定する切断基準線を指定する切断基準
線指定手段と、この切断基準線上の点に対応する補正基
準画像上の点を注目点とし、この注目点に対応する前記
補正参照画像上の対応点を探索する対応点探索手段と、
前記補正基準画像上における注目点の位置と、前記対応
点探索手段で求めた前記補正参照画像上の対応点の位置
とから、三角測量の原理で前記切断基準線上の各注目点
に写像される空間上の点の３次元座標である、前記切断
位置における前記観察対象の断面情報を得る断面情報演
算手段と、この断面情報演算手段で得られた値を基に断
面情報を出力する断面情報出力手段と、を具備する内視
鏡装置。

【００８０】（２）表示する画像を少なくとも前記基準
画像として、その基準画像上で前記切断基準線を指定す
る付記１記載の内視鏡装置。

【００８１】（３）表示する画像を少なくとも前記補正
基準画像として、その補正基準画像上で前記切断基準線
を指定する付記１記載の内視鏡装置。

【００８２】（４）切断基準線の指定を基準画像に重ね
て表示されるポインターによって行う付記１記載の内視
鏡装置。

【００８３】（５）前記ポインターによって、少なくと
も１点を指定することによって、切断基準線の指定が行
われる付記４記載の内視鏡装置。

【００８４】（６）断面情報出力手段によって出力され
る断面情報は、断面形状外形線図である付記１記載の内
視鏡装置。

【００８５】

【発明の効果】以上説明したように本発明によれば、測
定を希望する切断面の指定を容易に行え、かつその指定
した切断面における観察対象の断面形状の把握を簡便に
行える内視鏡装置を提供することができる。

【図面の簡単な説明】

【図１】図１ないし図１５は本発明の一実施形態に係
り、図１は計測を行える内視鏡装置の概略構成を示す説
明図

【図２】内視鏡挿入部先端部に儲けた撮像部と演算処理
部を備えた計測装置とを説明する図

【図３】内視鏡で観察対象部位を観察している状態を示
す図

【図４】ステレオ計測を説明するフローチャート

【図５】基準画像表示手段によってモニタの画面上に表
示される内視鏡画像及び切断基準線の１例を示す図

【図６】切断面及び断面外形線を説明する図

【図７】他の基準線の１例を説明する図

【図８】断面情報を示す断面外形線の１例を示す図

【図９】基準画像に対して表示した断面外形線の表示例
を説明する図

【図１０】断面情報を示す際のカメラ座標系を説明する
図

【図１１】断面情報を示す断面外形線の他の例を示す図

【図１２】断面情報を示す断面外形線の別の例を示す図

【図１３】断面情報を示す断面外形線のまた他の例を示
す図

【図１４】対応点探索のアルゴリズムを説明するフロー
チャート

【図１５】対応点探索後に示されるモニタ画面を説明す
る図

【図１６】図１６ないし図２２は複数画像間での対応付
けのあいまいさを減らす工夫を説明する図であり、図１
６はモニタ画面上に表示される画像を説明する図

【図１７】基準線上での順序を利用して断面情報の精度
を上げる方法を説明するフローチャート

【図１８】周囲の点の奥行き情報を利用して断面情報の
精度を上げる方法を説明するフローチャート

【図１９】逆対応点の利用によって断面情報の精度を上
げる方法を説明するフローチャート

【図２０】エピポーララインからのずれの大きさを利用
して断面情報の精度を上げる方法説明するフローチャー
ト

【図２１】微分値を利用して断面情報の精度を上げる方
法を説明するフローチャート

【図２２】注目点の周りに設定する小さな領域の形状を
示す図

【図２３】１点を指定して得られる基準線の１例を説明
する図

【図２４】１点を指定して得られる基準線の他の例を説
明する図

【符号の説明】

２…電子内視鏡 ３…計測装置 ３１…ＣＣＵ ３２…ビデオキャプチャ回路 ３３…ホストコンピュータ ４０…撮像部 ４１，４２…対物レンズ系 ４３…撮像素子

【手続補正書】

【提出日】平成１２年１０月１８日（２０００．１０．
１８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正内容】

【００３１】したがって、補正基準画像５０には基準画
像用光学系の光軸が点として投影され、その点が補正基
準画像５０の画像中心Ｏである。なお、符号５８は光軸
であり、図６中で画像中心Ｏと光学中心Ｌとを結ぶ一点
鎖線として表している。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正内容】

【００３９】（４）実空間上の基準線からの奥行き情報
を抽出しての表示 図８、図１３に示すように基準線分５４或いは基準線５
４上の点Ｄを、観察対象４の表面上に写像した点Ｄ1
と、点Ａ、Ｂの実空間への写像点である点Ａ1 、Ｂ1 を
結んだ直線Ａ1 Ｂ1 上に写像した点Ｄ2 との距離を、補
正基準画像５０上で基準線分５４に対して垂直方向に表
す。点Ｄを基準線分５４或いは基準線５３上のすべての
点とすることで、断面形状外形線５７ｅを表示する。な
お、この表示方法においても前記（１）での説明と同
様、凹凸を知る手掛かりとして、視線の方向を示す矢印
Ｃを表示する。なお、手掛かりとして断面外形線５７ｅ
に線分Ｄ1 Ｄ2 の長さに応じた色をつけるようにも設定
してもよい。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００５６

【補正方法】変更

【補正内容】

【００５６】なお、この処理は、前記図４に示したフロ
ーチャートのステップＳ１０６とステップＳ１０７との
間で行い、ステップＳ１０７以降の処理は採用された点
についてのみ計算を行う。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００５８

【補正方法】変更

【補正内容】

【００５８】そして、ステップＳ４０２，４０３に示す
ように９点の奥行き値の中で、中央の値である３つの値
（最大３値と最小３値とを除いた値）の平均を注目点の
奥行き値として処理する。この処理が一種のローパスフ
ィルタとなる。この処理は、前記図４に示したフローチ
ャートのステップＳ１０９とステップＳ１１０との間で
行う。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００５９

【補正方法】変更

【補正内容】

【００５９】（３）逆対応点の利用によって断面情報の
精度を上げる方法を図１９のフローチャートを参照して
説明する。前記ステップＳ１０７において、補正基準画
像５０のある注目点の対応点を補正参照画像５１でとっ
た後、図１９のステップＳ５０１に示すように、その対
応を取った点ついて前記図１４で示したフローチャート
にしたがって、逆に補正参照画像５１から補正基準画像
５０への逆対応点をとっていく。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正内容】

【００６０】そして、ステップＳ５０２，Ｓ５０３，Ｓ
５０４，Ｓ５０５に示すように逆対応点が元の注目点に
対して対応するか否かを確認して、対応する点がなかっ
た点を対応付けに失敗した点として注目点から除き、一
致する点を注目点として採用する処理を行う。この処理
は、前記図４に示したステップＳ１０７とステップＳ１
０８との間で行い、ステップＳ１０８以降の処理は採用
した点についてのみ計算を行う。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００６２

【補正方法】変更

【補正内容】

【００６２】この後、ステップＳ６０４，Ｓ６０５，Ｓ
６０６，Ｓ６０７に示すようにずれ量の閾値から外れた
ものについては対応付けに失敗した点として注目点から
除外し、ずれ量の閾値以下の点を注目点として採用する
処理を行う。この処理は、前記図４に示したステップＳ
１０７とステップＳ１０８との間で行い、ステップＳ１
０８以降の処理は採用した点についてのみ計算を行う。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正内容】

【００６５】そして、ステップＳ７０２，Ｓ７０３，Ｓ
７０４，Ｓ７０５に示すように濃度変化の値が閾値以上
である否かを判断して濃度変化の有無を検出し、閾値以
下のとき注目点から除外し、閾値以上のとき注目点とし
て採用する。即ち、濃度変化があると判断した画素につ
いてのみ対応点の探索を行う。この処理は、前記図４に
示したステップＳ１０６とステップＳ１０７との間で行
い、ステップ１０７以降の処理は採用した点についての
み計算を行う。

【手続補正９】

【補正対象書類名】図面

【補正対象項目名】図１９

【補正方法】変更

【補正内容】

【図１９】

Claims (1)

【特許請求の範囲】
1. 【請求項１】 観察対象を複数の視点から撮像する撮像
   部と、この撮像部によって得られる各視点の画像信号を
   画像処理してステレオ計測を行うための演算処理部とを
   有する内視鏡装置において、 前記演算処理部は、 前記複数の視点における画像の１つを基準画像とし、残
   りの画像を参照画像として、前記基準画像と前記参照画
   像それぞれの光学的歪みを補正した、補正基準画像と補
   正参照画像とを生成する補正画像生成手段と、 前記基準画像と前記参照画像と前記補正基準画像と前記
   補正参照画像のうち、少なくとも前記基準画像或いは前
   記補正基準画像を画面上に表示させる画像表示手段と、 前記画面に表示された画像上で、前記観察対象の断面情
   報を得るための切断位置を特定する切断基準線を指定す
   る切断基準線指定手段と、 この切断基準線上の点に対応する補正基準画像上の点を
   注目点とし、この注目点に対応する前記補正参照画像上
   の対応点を探索する対応点探索手段と、 前記補正基準画像上における注目点の位置と、前記対応
   点探索手段で求めた前記補正参照画像上の対応点の位置
   とから、三角測量の原理で前記切断基準線上の各注目点
   に写像される空間上の点の３次元座標である、前記切断
   位置における前記観察対象の断面情報を得る断面情報演
   算手段と、 この断面情報演算手段で得られた値を基に断面情報を出
   力する断面情報出力手段と、 を具備することを特徴とする内視鏡装置。