JP4195574B2

JP4195574B2 - Stereoscopic endoscope

Info

Publication number: JP4195574B2
Application number: JP2002104359A
Authority: JP
Inventors: 真宏河北; 啓吾飯塚
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-04-05
Filing date: 2002-04-05
Publication date: 2008-12-10
Anticipated expiration: 2022-04-05
Also published as: JP2003290131A

Description

【０００１】
【発明の属する技術分野】
本発明は立体内視鏡に関し、特に、観察対象の奥行き形状を検出し３次元情報を取得する立体内視鏡に関する。
【０００２】
【従来の技術】
観察対象の３次元形状を観察する立体内視鏡として、異なる視差から観察対象を観察する２眼方式を用いた、特開平９−５６４３号公報、特開平５−３４１２０６号公報に記載のものがある。また、レーザ光を照射し干渉縞を形成して距離を求める方式を用いた、特開平８−２４８３２６号公報に記載のものがある。
【０００３】
【発明が解決しようとする課題】
しかし、２眼方式においては、左目画像と右目画像間でのマッチングをとり、各点の距離を算出するための時間を要する画像演算処理が必要であり、動く観察対象に対し、観察範囲全体の奥行き距離のデータを高速に取得することは困難である。また、レーザ光を照射し、観察対象上のポイントを１点ごとに算出する方法においては、観察範囲全体をレーザ光で２次元走査が必要であり、時間を要する。
【０００４】
また、干渉縞画像より奥行き距離を検出する方式においても、複雑な画像処理が必要であり、高速検出と多画素検出を両立することはできない。このように従来方式では、動く観察対象の奥行き距離情報をリアルタイムで検出することは困難であるという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、距離情報をリアルタイムで検出することができる立体内視鏡を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、光強度を変調し可視領域外の光を出力する強度可変光源と、
可視領域の光を出力する可視光源と、
前記強度可変光源と可視光源それぞれの出力光を観察対象に照射するライトガイド手段と、
光を照射された観察対象の画像を結像する結像手段と、
前記画像を伝達するイメージガイド手段と、
前記イメージガイド光学系で伝達された画像から前記強度可変光源の波長成分と前記可視光源の波長成分とを分離する分離手段と、
前記分離手段で分離された前記強度可変光源の波長成分の画像を入力され撮像ゲインを変調する撮像ゲイン可変イメージセンサ手段と、
前記分離手段で分離された前記可視光源の波長成分の画像を入力され観察対象の画像を出力する第２イメージセンサ手段と、
前記強度可変光源の出力光強度の変調と前記撮像ゲイン可変イメージセンサ手段の撮像ゲインの変調との時間変化パターンが異なる組合せであるときに前記撮像ゲイン可変イメージセンサ手段で得られた複数の画像信号間の強度比から距離を算出し観察対象の奥行き距離を画像の濃淡で表す距離画像を出力する信号演算処理手段とを有することにより、
複数の画像信号間の強度比を計算するだけで距離を高速に算出することができ、距離情報をリアルタイムで検出することができる。
【０００８】
請求項２に記載の発明は、請求項１に記載の立体内視鏡において、
前記ライトガイド手段と前記イメージガイド手段とを共用することにより、
装置の光学系全体を簡単な構成とすることができる。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の立体内視鏡において、
前記強度可変光源は、パルス光を出力し、
前記撮像ゲイン可変イメージセンサ手段は、前記撮像ゲインを時間と共に増加及び減少させ、
前記信号演算処理手段は、前記撮像ゲインを時間と共に増加させながら撮像した画像と前記撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出することにより、
パルスレーザ光が使用でき、分解能が高い距離検出が可能となる。
【００１０】
請求項４に記載の発明は、請求項１または２に記載の立体内視鏡において、
前記強度可変光源は、前記光強度を時間と共に増加及び減少させて出力し、
前記撮像ゲイン可変イメージセンサ手段は、前記撮像ゲインをパルス状に短時間一定値とし、
前記信号演算処理手段は、前記光強度を時間と共に増加させながら撮像した画像と前記前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出することにより、
発光ダイオードなどインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出などが可能となる。
【００１１】
請求項５に記載の発明は、請求項１または２に記載の立体内視鏡において、
前記強度可変光源は、前記光強度を矩形波状に変調して出力し、
前記撮像ゲイン可変イメージセンサ手段は、前記撮像ゲインを前記光強度と同一周期で矩形波状に変調し、
前記信号演算処理手段は、前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出することにより、
検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【００１２】
【発明の実施の形態】
図１は、本発明の立体内視鏡の第１実施例の構成図を示す。同図中、光源１は、出力光強度を高速に変調可能な光源である。この光源１の出力光を光照射用のライトガイド光学系２に入力する。光源１としては、レーザ光ダイオードや発光ダイオードなどを発光素子として使用し、発光素子を直接変調するか、もしくは音響光学素子など外部変調素子により発光素子の出力光を変調するものが使用できる。
【００１３】
光の波長として、観察対象の表面の反射率が高いものやファイバ光学系の透過率特性が高く、撮像ゲイン可変撮像素子の光電面の感度特性に最適な波長を選択する。外光がある環境下での距離検出では、外光に含まれている波長成分が少ない波長域を選択することで、外乱要因の影響を少なく抑えることができる。また、人体に対するレーザ光の安全性を確保するには、波長１．５４μｍのアイセーフ波長域の光を使用することが有効である。
【００１４】
カラーカメラでカラー画像を取得するために、別途、可視光で照明する場合は、距離検出用の強度変調光として紫外または近赤外または赤外域の光を使用する。出力光強度を高速に変調可能な光源１として、レーザ光の代わりに、インコヒーレント光で広帯域な波長特性の発光ダイオードを使用すれば、レーザ光で生じるスペックルノイズを除去できる。
【００１５】
光源１からライトガイド光学系２への光の入射は、集光レンズを使うことで効率よく入射できる。ライトガイド光学系２は入力光に対し高い透過率を示す材料を使用する。ライトガイド光学系２には、複数の微細なプラスティックまたはガラス製のファイバ束により構成されるイメージファイバを利用する。
【００１６】
ライトガイド光学系２の観察対象側の端面から出力光３を観察対象４の全体に照射する。このとき、ライトガイド光学系２の出力端面にレンズや拡散板を設けることで、観察対象４の全体に対し光強度の面内一様性よく照明できる。また、後述する画像取り込み用のイメージガイド光学系６の回りを取り囲むように、ライトガイド光学系２のファイバ束の出力端面を配置することで、照射光の影を少なくすことができる。
【００１７】
照射光で照らされた観察対象４の画像をレンズ５で結像し、その結像画像をイメージガイド光学系６でリレーレンズ光学系７に伝達する。イメージガイド光学系６は、複数の微細なプラスティックまたはガラス製のファイバ束により構成されるイメージファイバを利用する。また、大きな曲率は得られないものの高い透過率と高い解像度を得るためには、微小なレンズ群や屈折率分布レンズを使用してリレーレンズ光学系７を構成する。
【００１８】
イメージガイド光学系６の撮像側端面に伝達された画像はリレーレンズ光学系７を用いて撮像ゲイン可変イメージセンサ８に結像入力する。リレーレンズ光学系７ではイメージガイド光学系６端面の比較的微小な２次元画像を撮像ゲイン可変イメージセンサ８に拡大結像して入力する。このとき、光量を効率良く結像するためのリレーレンズ光学系７の条件としては、イメージガイド光学系６端面の光出力の開口数（ＮＡ）と同等のＮＡをリレーレンズ光学系７の光取り込み側に持つことである。
【００１９】
さらに、リレーレンズ光学系７の光入力側開口数ＮＡｉ、ライトガイド端面の画像をイメージセンサの有効結像面積に結像する際の拡大結像率をβとすると、リレーレンズ光学系７の出力側開口数ＮＡｏをＮＡｏ≧βＮＡｉとすることで、光ロスを少なく効率的に、光を撮像ゲイン可変イメージセンサ８に伝達できる。また、別の手段として、リレーレンズ光学系７の代わりにファイバプレートを直接イメージガイド光学系６端面と撮像ゲイン可変イメージセンサ８の受光部分との間に密着させて配置することで光ロスを低減させることが可能となる。
【００２０】
撮像ゲイン可変イメージセンサ８で取得した画像信号は、距離算出演算処理部９に供給される。距離算出演算処理部９では、撮像ゲイン可変イメージセンサ８で照射光の変調パターンと撮像ゲインの変調パターンが異なるときに撮影された２枚の画像信号を切替器１０で切替え、メモリ１１とメモリ１２にそれぞれ入力する。演算処理回路１３は、メモリ１１，１２に記憶された２枚の画像信号間の強度比から距離を算出し、観察対象の奥行き距離を画像の濃淡で表す距離画像を生成して出力する。出力される距離画像は図示しない画像表示モニタに表示したり、また、画像記録装置等に供給されて記録される。
【００２１】
また、図２に示すように、ライトガイド光学系と結像画像撮像用のイメージガイド光学系を共用することで装置の光学系全体を簡単な構成とすることができる。図２において、光源１からの出力光をプリズム１５によりライトガイド光学系１４内に入射して観察対象に照射すると共に、反射光を同じライトガイド光学系１４を用いて結像画像を撮像側に伝達することができる。この場合、光のロスが大きい欠点があるもの、軽量・コンパクトで、直径が小さく細い内視鏡が可能となる。
【００２２】
図３は、本発明の立体内視鏡の第２実施例の構成図を示す。同図中、図１と同一部分には同一符号を付し、その説明を省略する。前述の第１の実施例では観察対象の奥行き形状を示す距離画像のみを得る立体内視鏡を示したが、図３に示す第２の実施例では、観察対象のカラー画像と距離画像を同時に得る。
【００２３】
図３において、出力光強度を変調可能な光源１からの出力光を、プリズム１５を介して、ライトガイド光学系２に入力する。同時に、カラー画像を撮像するのに必要となる可視領域の波長の光を出力する光源１６の出力光をプリズム１５を介してライトガイド光学系２に入力する。各光波長として、光源１からの波長を近赤外光から赤外光とし、光源１６からの光を可視光として、それぞれの波長を光学的に分離でき、カラー画像撮影と距離画像撮影とが互いに影響を及ぼさないようにできる。
【００２４】
可視光のみの光を得るためには光源１６として白色光源を使用し、出力光を波長選択特性フィルタにより、強度変調光の波長域を除去したものを使用する。また、可視域のレーザ光や発光ダイオード出力光も使用できる。光源１を、レーザ光や発光ダイオードとし、波長を７５０ｎｍ以上の長波長帯域を選択することで可視光とのクロストークをなくすことができると共に、距離検出用の近赤外波長が可視光領域から大きく離れていないため、レンズ光学系による結像特性もカラー画像と距離画像で大きく異なることなく、どちらもほぼ同じ画角の画像が得られ、レンズ光学系の設計も容易である。
【００２５】
プリズム１５の特性として例えば、光源１の波長に対しては高い透過率を示し、光源１６の波長に対しては高い反射率を示す特性をもつダイクロイックプリズムを使用して、効率良くライトガイド光学系２にそれぞれの光を入射することができる。ライトガイド光学系２の観察対象側端面から観察対象４全体に強度変調光と可視光の出力光３を照射する。観察対象４からの反射光は、レンズ５でイメージガイド光学系６の端面に結像され、イメージガイド光学系６のイメージセンサ側端面に伝達される。
【００２６】
イメージガイド光学系６の撮像側端面を分割結像光学系１７に接続し、可視光の結像画像をカラーカメラ１８に供給し、強度変調光の結像画像を距離検出用の撮像ゲイン可変イメージセンサ８に供給する。分割結像光学系１７の構成例としては、強度変調光の波長と可視光の波長を分割するダイクロイックプリズム１９と、カラーカメラ用のリレーレンズ光学系２０と、距離検出用のリレーレンズ光学系２１とからなる。
【００２７】
分割結像光学系１７の構成としては、リレーレンズ光学系をイメージガイド光学系６とダイクロイックプリズム１９との間に挿入する構成でも可能である。しかし、図３に示す構成の方が、各リレーレンズ光学系２０，２１は波長帯域が限定されているため波長により最適化し易く、高い結像性能の結像ができる。また、カラーカメラ１８の撮像素子サイズヘの倍率変換と、撮像ゲイン可変イメージセンサ８の倍率変換を個々独立に扱うことができる。強度変調光は撮像ゲイン可変イメージセンサ８に入力し、距離算出演算処理部９で距離を算出し、観察対象の奥行き距離を画像の濃淡で表す距離画像を生成して出力する。
【００２８】
距離画像とカラー画像をフレーム単位で同期させることは、カラーカメラ１８と撮像ゲイン可変イメージセンサ８と距離算出演算処理部９を外部同期駆動させると共に、カラー画像信号を遅延回路２２で遅延して出力することにより、距離画像とカラー画像をフレーム単位で同期させることが可能とある。
【００２９】
出力されたカラー画像と距離画像は、画像表示モニタに表示したり、画像記録装置等に入力され記録される。更に、得られたカラー画像と距離画像から、視差画像を作成し、図示しない立体表示装置で立体的に表示し、立体観察することも可能となる。
【００３０】
この実施例においても、図２に示すように、ライトガイド光学系と結像画像撮像用のイメージガイド光学系を共用することで装置光学系全体を簡単な構成とすることができる。
【００３１】
次に、距離検出の原理を説明する。
【００３２】
図４を用いて、強度変調光として短時間のパルス光を使用し、撮像ゲインを時間と共に高速に増加させながら撮像した画像と、撮像ゲインを時間と共に高速に減少させながら撮像した画像間で演算を行い、距離を検出する方法を説明する。
【００３３】
距離ｄの位置にある観察対象に、図４（Ａ）に示すように、光強度Ｆ_０のパルス光２３を時刻ｔｐに照射し、観察対象からの反射光２４を時間と共に係数ｇで増加する撮像ゲイン２５を持つイメージセンサで撮像した場合のカメラで検出される信号量Ｅ_＋（ｄ，ｔｐ）は、（１）式で表される。
【００３４】
【数１】

ここで、Ｔ_Ｌはライトガイド光学系２やイメージガイド光学系６などのレンズ光学系の透過率、ρは観察対象表面の反射特性係数、τはパルス幅、ｃは光速、２ｄ／ｃは撮像ゲイン可変イメージセンサ８から観察対象４までの距離ｄを光が往復する時間、ｌはレンズ５から観察対象４までの距離であり、式の分母は光の拡散による減衰を考慮した項である。次に、図４（Ｂ）に示すように、時間と共に係数ｇで減少する撮像ゲイン２６を持つイメージセンサで撮像した場合のカメラで検出される信号量Ｅ₋（ｄ，ｔｐ）は、（２）式で表される。
【００３５】
【数２】

ここで、Ｔは撮像ゲインの変調周期である。（１）式と（２）式より、撮像ゲインの異なる２枚の画像間での強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（３）式となる。
【００３６】
【数３】

上記（３）式で示されるように、撮像ゲイン増加時と撮像ゲイン減少時に撮像した２つの画像間の強度比Ｒを計算するだけで、観察対象の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００３７】
このように、パルス状の光と、時間と共に変化する撮像ゲインの組合せでは、パルスレーザが使用でき、Ｑスイッチパルスレーザ光、モード同期パルス光など、パルス幅がピコ秒からフェムト秒のパルスレーザ光が使用できるため、分解能が高い距離検出が可能となる。
【００３８】
この場合、測定できる範囲（測定レンジ）Ｄは、（４）式で表される。
【００３９】
【数４】

次に、強度変調光として時間と共に光強度が増加および減少する光と、撮像ゲイン可変イメージセンサ８の撮像ゲインをパルス状に短時間一定値とする所謂シャッタ機能を持つ撮像装置による距離検出方法について説明する。距離ｄに置かれた観察対象に、図５（Ａ）に示すように、時間と共に係数ｓで光強度が増加する強度変調光２７を照射し、観察対象からの反射光２８を時刻ｔｓにパルス状撮像ゲイン２９で短時間撮像した場合、カメラで検出される信号量Ｅ_＋（ｄ，ｔｓ）は、（５）式で表される。
【００４０】
【数５】

ここで、Ｔ_Ｌはライトガイド光学系２やイメージガイド光学系６などのレンズ光学系の透過率、ρは観察対象表面の反射特性係数、τはパルス幅、ｃは光速、２ｄ／ｃは撮像ゲイン可変イメージセンサ８から観察対象４までの距離ｄを光が往復する時間、ｌはレンズ５から観察対象４までの距離であり、式の分母は光の拡散による減衰を考慮した項であり、△ｔは撮像時間幅である。
【００４１】
次に、図５（Ｂ）に示すように、時間と共に係数ｓで光強度が減少する強度変調光３０を照射し、観察対象からの反射光３１を時刻ｔｓにパルス状撮像ゲイン２９で短時間撮像した場合、カメラで検出される信号量Ｅ₋（ｄ，ｔｓ）は、（６）式で表される。
【００４２】
【数６】

ここで、Ｔは光強度の変調周期である。（５）式と（６）式より、光強度の異なる２枚の画像間での強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（７）式となる。
【００４３】
【数７】

（７）式で示されるように、光強度増加時と光強度減少時に撮像した２つの画像間の比Ｒを計算するだけで、観察対象の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００４４】
このように、時間と共に強度変化する光源は、パルス照射光より低い周波数特性でも実現できるため、レーザ光源以外に、ＬＥＤ（発光ダイオード）などインコヒーレントな照明も使用できるため、高輝度で広い範囲を照明でき、人物の距離検出なども可能となる。
【００４５】
次に、矩形波状に変調した強度変調光と、矩形波状に撮像ゲインが変化する撮像装置による距離検出方法を説明する。距離ｄに位置する観察対象に、図６（Ａ）に破線で示すような矩形の強度変調光３２（光強度Ｆ_０、変調周期Ｔ）を照射し、その反射光３３を強度変調光３２と同一周期で同位相の矩形状の撮像ゲイン３４（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ_＋（ｄ，ｔｐ）は、（８）式で表される。
【００４６】
【数８】

ここで、Ｔ_Ｌはライトガイド光学系２やイメージガイド光学系６などのレンズ光学系の透過率、ρは観察対象表面の反射特性係数、τはパルス幅、ｃは光速、２ｄ／ｃは撮像ゲイン可変イメージセンサ８から観察対象４までの距離ｄを光が往復する時間、ｌはレンズ５から観察対象４までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００４７】
次に、図６（Ｂ）に示すように、周期Ｔだけシフトした強度変調光３２と逆位相の矩形状の撮像ゲイン３５（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ₋（ｄ，ｔｐ）は、（９）式で表される。
【００４８】
【数９】

（８）式と（９）式より、２つの画像間の強度比Ｒ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（１０）となる。
【００４９】
【数１０】

（１０）式で示されるように、２つの画像間の比Ｒを計算するだけで、観察対象の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００５０】
このように強度変調照射光と、撮像ゲインを同じ周期の幅を持つ矩形波状とすることで、カメラで検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【００５１】
図７は、撮像ゲイン可変イメージセンサ８の一実施例の構成図を示す。同図中、リレーレンズ光学系７によりイメージインテンシファイア３６に画像を結像させる。イメージインテンシファイア３６は、その光電変換面とマイクロチャンネルプレート（ＭＣＰ）間の印加電圧の値を制御することで、撮像感度を時間と共に高速に変化できる。
【００５２】
また、印加電圧をパルス形状とすることで、１ｎｓ以下の短時間のゲート撮像も可能となる。光電変換面の材料は、距離検出に使用する強度変調光の波長感度特性により選択する。例えば、波長８００ｎｍの場合は３種類以上のアルカリを使用した光電変換材料であるマルチアルカリ（Ｓｂ・Ｎａ・Ｋ・Ｃｓ：Ｓ−２０）が使用でき、さらに長波長の８５０ｎｍの場合はＧａＡｓを使用することで高い量子効率が得られ、ＳＮ比のよい撮像画像が得られる。
【００５３】
撮像ゲインを高速に変化させ、または短時間のゲート動作を行わせて画像を撮像するため、１回の撮像で得られる信号量は非常に微弱である。このため、出力光強度を高速に変調可能な光源１の出力タイミングとイメージインテンシファイア３６の撮像ゲイン変調タイミングを同期させて繰り返し撮像を行い、イメージインテンシファイア３６の出力蛍光面の画像を画像伝達光学系３７でＣＣＤカメラ３８に入力し、ＣＣＤカメラ３８の蓄積効果で十分な感度を確保することができる。
【００５４】
画像伝達光学系３７はファイバプレートもしくはリレーレンズ光学系で実現できる。画像伝達光学系３７をファイバプレートとし、イメージインテンシファイア３６の出力蛍光面とＣＣＤカメラ３８のＣＣＤ面を連結することで、高い効率で蛍光面出力光をＣＣＤに入力できる。
【００５５】
一方、画像伝達光学系３７をリレーレンズ光学系とした場合、光の利用効率が下がるが、ＣＣＤカメラを交換できＣＣＤカメラの選択の幅が広がると共に、結像倍率の制御が可能であり、かつ、ファイバプレート使用時に発生する固定パターンノイズの影響がなく良好な画像が得られる。
【００５６】
イメージインテンシファイア３６の撮像の解像度は、イメージインテンシファイアを構成する光電変換面とＭＣＰの間隔、ＭＣＰと蛍光面の間隔、ＭＣＰを構成する導電性のガラスキャピラリの直径に大きく依存する。そのため、光電変換面とＭＣＰの間隔、ＭＣＰと蛍光面の間隔それぞれを近接させると共に、ＭＣＰを構成する導電性のガラスキャピラリの直径を６μｍ程度以下の細かいものを使用すると高解像度に有利である。
【００５７】
また、イメージガイド光学系６の端面の結像画像をリレーレンズ光学系７により拡大し、イメージインテンシファイア３６の光電面に結像入力する。これと共に、イメージインテンシファイア３６の蛍光面の光画像を画像伝達光学系３７としてのリレーレンズ光学系で縮小結像してＣＣＤカメラ３８に入力することで解像度を高く保つことができる。
【００５８】
本発明による距離検出実験について説明する。強度変調照射光としてパルス光を使用し、撮像ゲインを時間と共に変化させ距離を検出した。また、光照射用のライトガイド光学系２と撮像用のイメージライトガイド光学系６は使用せずに、距離検出性能を調べた。
【００５９】
図８は、本発明の立体内視鏡の実験装置の一実施例の構成図を示す。同図中、光源にレーザ光ダイオード３９を使用し、出力光４０の波長は８０３ｎｍ、パルス半値幅７０ｐｓ、繰り返し周波数４０ＭＨｚ、平均出力光強度１ｍＷである。シリンドリカルレンズ４１で光束を約１０×１０ｃｍ^２に広げ、４９ｃｍ離れた５ｍｍ間隔の階段状の被写体４２を照明する。
【００６０】
反射光をカメラレンズ４３でイメージインテンシファイア４４の光電面に結像し、蛍光面出力画像をリレーレンズ光学系４５によりＣＣＤカメラ４６に入力する。光の変調信号とイメージインテンシファイアのゲイン変調信号は信号発生器４７からそれぞれ供給する。パルス光の出力タイミングと、イメージインテンシファイア４４の撮像ゲイン変調タイミングを外部同期信号４８により同期させ、１フレーム毎にパルストリガータイミングの切替えを位相切替器４９で行う。そして、撮像ゲイン増加時の画像とゲイン減少時の画像の画像をＣＣＤカメラ４６で交互に撮像し、これら２枚の画像間で（３）式の演算を信号処理装置５０で行い距離画像５１を出力する。
【００６１】
同様に、カラーカメラ５２でカラー画像５３を撮影する。図９（Ａ），（Ｂ）は、それぞれ距離画像算出の元となる増加ゲイン時と減少ゲイン時の撮像画像のビデオ信号の波形図である。図９（Ａ）のゲイン増加時の撮像画像信号では、近い観察対象ほど輝度信号レベルが低く、遠い観察対象ほど高い輝度信号レベルが得られている。一方、図９（Ｂ）のゲイン減少時の撮像画像信号では、その逆の傾向となっている。
【００６２】
これら２画像間で（３）式の演算を行い、得られた距離画像のビデオ信号の波形図が図９（Ｃ）である。観察対象の反射率などの影響が補正され、観察対象形状を現す平坦な階段形状の波形が得られ、５ｍｍ間隔の段差を明確に分離できていることがわかる。
【００６３】
また、被写体のカメラからの距離と、距離画像の輝度レベルとの関係を図１０に示す。測定範囲の中心位置（約４９ｃｍ）におけるビデオ信号のノイズ成分の実効値より、距離検出分解能を求めた結果、２．０ｍｍであった。測定レンジは７ｃｍであった。図１０に示す特性が測定レンジの端部（約４５ｃｍ，約５５ｃｍ）において非線型であるのは、撮像ゲインの変調特性の非線形性によるものであり、距離画像のガンマ補正等により直線性を補正できる。
【００６４】
実験では、距離画像の更新時間１／１５秒、画素数３５万点が得られ、動く観察対象の距離検出が可能であることが実験により確かめられた。本発明の立体内視鏡では、上記実験装置にライトガイド光学系２およびイメージガイド光学系６が加わる形態となり、照射光量や結像に寄与する光量が本実験と異なると予想されるが、距離検出の基本原理は本実験で実証された。
【００６５】
本発明では、２つの画像間の比Ｒを計算するだけで、時間を要する高度で煩雑な演算処理が不要であり、また光ビームを走査する必要がない。そのため、観察対象の奥行き距離画像をテレビジョンのビデオレート（フレームレート６０Ｈｚ）相当で撮像でき、しかも、通常テレビ画像やハイビジョンテレビ画像と同等の画素数で奥行き距離情報が得られる。そのため、人体内部など動く観察対象においても、高精細な３次元形状をリアルタイムで取得することが可能である。
【００６６】
本発明のの内視鏡の応用分野としては、医療用の体内検査、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などに適用できる。
【００６７】
なお、光源１が請求項記載の強度可変光源に対応し、ライトガイド光学系２がライトガイド手段に対応し、レンズ５が結像手段に対応し、イメージガイド光学系６がイメージガイド手段に対応し、撮像ゲイン可変イメージセンサ８が撮像ゲイン可変イメージセンサ手段に対応し、距離算出演算処理部９が信号演算処理手段に対応し、光源１６が可視光源に対応し、分割結像光学系１７が分離手段に対応し、カラーカメラ１８が第２イメージセンサ手段に対応する。
【００６９】
【発明の効果】
請求項１に記載の発明によれば、複数の画像信号間の強度比を計算するだけで距離を高速に算出することができ、距離情報をリアルタイムで検出することができる。
【００７０】
請求項２に記載の発明によれば、装置の光学系全体を簡単な構成とすることができる。
【００７１】
請求項３に記載の発明によれば、パルスレーザ光が使用でき、分解能が高い距離検出が可能となる。
【００７２】
請求項４に記載の発明によれば、発光ダイオードなどインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出などが可能となる。
【００７３】
請求項５に記載の発明によれば、検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【図面の簡単な説明】
【図１】本発明の立体内視鏡の第１実施例の構成図である。
【図２】ライトガイド光学系と結像画像撮像用のイメージガイド光学系を共用した実施例の構成図である。
【図３】本発明の立体内視鏡の第２実施例の構成図である。
【図４】短時間のパルス光を使用し撮像ゲインを時間と共に高速に増加させながら撮像した画像と撮像ゲインを時間と共に高速に減少させながら撮像した画像による距離検出方法を説明するための図である。
【図５】強度変調光として時間と共に光強度が増加および減少する光と短時間シャッタ機能を持つ撮像装置による距離検出方法を説明するための図である。
【図６】矩形波状に変調した強度変調光と矩形波状に撮像ゲインが変化する撮像装置による距離検出方法を説明するための図である。
【図７】撮像ゲイン可変イメージセンサの一実施例の構成図である。
【図８】本発明の立体内視鏡の実験装置の一実施例の構成図である。
【図９】増加ゲイン時と減少ゲイン時の撮像画像及び距離画像のビデオ信号の波形図である。
【図１０】被写体のカメラからの距離と、距離画像の輝度レベルとの関係を示す図である。
【符号の説明】
１，１６光源
２ライトガイド光学系
３，４０出力光
４観察対象
５レンズ
６イメージガイド光学系
７，２０，２１，４５リレーレンズ光学系
８撮像ゲイン可変イメージセンサ
９距離算出演算処理部
１０切替器
１１，１２メモリ
１３演算処理回路
１４ライトガイド光学系
１５プリズム
１７分割結像光学系
１８カラーカメラ
１９ダイクロイックプリズム
２２遅延回路
２３パルス光
２４，２８，３３反射光
２５，２６，３４，３５撮像ゲイン
２７，３０，３２強度変調光
２９パルス状撮像ゲイン
３６，４４イメージインテンシファイア
３７画像伝達光学系
３８，４６ＣＣＤカメラ
３９レーザ光ダイオード
４１シリンドリカルレンズ
４２被写体
４３カメラレンズ
４７信号発生器
４８外部同期信号
４９位相切替器
５０信号処理装置
５１距離画像
５２カラーカメラ
５３カラー画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic endoscope, and more particularly to a stereoscopic endoscope that detects a depth shape of an observation target and acquires three-dimensional information.
[0002]
[Prior art]
As the stereoscopic endoscope for observing the three-dimensional shape of the observation target, those described in JP-A-9-5643 and JP-A-5-341206 using a twin-lens method of observing the observation target from different parallaxes are used. is there. Japanese Patent Laid-Open No. 8-248326 uses a method of irradiating laser light to form interference fringes to obtain a distance.
[0003]
[Problems to be solved by the invention]
However, in the two-lens method, matching between the left eye image and the right eye image is required, and image calculation processing that requires time to calculate the distance between each point is necessary. It is difficult to acquire depth distance data at high speed. Further, in the method of irradiating the laser beam and calculating the point on the observation object for each point, the entire observation range needs to be two-dimensionally scanned with the laser beam, which takes time.
[0004]
Further, even in the method of detecting the depth distance from the interference fringe image, complicated image processing is required, and high-speed detection and multi-pixel detection cannot be achieved at the same time. As described above, the conventional method has a problem that it is difficult to detect the depth distance information of the moving observation target in real time.
[0005]
The present invention has been made in view of the above points, and an object thereof is to provide a stereoscopic endoscope capable of detecting distance information in real time.
[0007]
[Means for Solving the Problems]
Claim 1 The invention described in 1 is a variable intensity light source that modulates light intensity and outputs light outside the visible region;
A visible light source that outputs light in the visible region;
A light guide means for irradiating an observation object with output light of each of the variable intensity light source and the visible light source;
An imaging means for forming an image of an observation object irradiated with light;
Image guide means for transmitting the image;
Separating means for separating the wavelength component of the variable intensity light source and the wavelength component of the visible light source from the image transmitted by the image guide optical system;
Imaging gain variable image sensor means for inputting an image of the wavelength component of the intensity variable light source separated by the separation means and modulating imaging gain;
Second image sensor means for inputting an image of the wavelength component of the visible light source separated by the separation means and outputting an image to be observed;
A plurality of image signals obtained by the imaging gain variable image sensor means when the time change patterns of the modulation of the output light intensity of the variable intensity light source and the imaging gain modulation of the imaging gain variable image sensor means are different combinations By having a signal calculation processing means for calculating a distance from the intensity ratio between them and outputting a distance image representing the depth distance of the observation object by the shading of the image,
The distance can be calculated at high speed only by calculating the intensity ratio between the plurality of image signals, and the distance information can be detected in real time.
[0008]

Claim

2 The invention described in claim 1 In the described stereoscopic endoscope,
By sharing the light guide means and the image guide means,
The entire optical system of the apparatus can be configured simply.
[0009]
Claim 3 The invention described in claim 1 or 2 In the described stereoscopic endoscope,
The variable intensity light source outputs pulsed light,
The imaging gain variable image sensor means increases and decreases the imaging gain with time,
The signal calculation processing means calculates a distance from an intensity ratio between an image captured while increasing the imaging gain with time and an image captured while decreasing the imaging gain with time,
Pulse laser light can be used, and distance detection with high resolution becomes possible.
[0010]
Claim 4 The invention described in claim 1 or 2 In the described stereoscopic endoscope,
The variable intensity light source increases and decreases the light intensity with time to output,
The imaging gain variable image sensor means sets the imaging gain to a constant value in a short time in a pulse shape,
The signal calculation processing means calculates a distance from an intensity ratio between an image captured while increasing the light intensity with time and an image captured while decreasing the light intensity with time,
Incoherent illumination such as a light-emitting diode can also be used, and it can illuminate a wide range with high brightness, enabling detection of the distance of a person and the like.
[0011]
Claim 5 The invention described in claim 1 or 2 In the described stereoscopic endoscope,
The intensity variable light source modulates and outputs the light intensity into a rectangular wave shape,
The imaging gain variable image sensor means modulates the imaging gain into a rectangular wave shape with the same period as the light intensity,
The signal calculation processing unit calculates a distance from an intensity ratio between an image captured when the light intensity and the imaging gain are in phase and an image captured when the light intensity and the imaging gain are in reverse phase. By
The amount of detection signals to be detected is increased, imaging with a high signal-to-noise ratio is possible, and high-resolution distance detection is possible.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration diagram of a first embodiment of the stereoscopic endoscope of the present invention. In the figure, a light source 1 is a light source capable of modulating output light intensity at high speed. The output light of the light source 1 is input to the light guide optical system 2 for light irradiation. As the light source 1, a laser light diode, a light emitting diode or the like is used as a light emitting element, and the light emitting element can be directly modulated, or an output light of the light emitting element can be modulated by an external modulation element such as an acousto-optic element.
[0013]
As the wavelength of light, a wavelength that has a high reflectance on the surface of the object to be observed or a high transmittance characteristic of the fiber optical system is selected, and an optimum wavelength is selected for the sensitivity characteristic of the photoelectric surface of the imaging gain variable imaging element. In distance detection in an environment with external light, the influence of disturbance factors can be reduced by selecting a wavelength region with a small wavelength component contained in external light. In order to ensure the safety of laser light for the human body, it is effective to use light in the eye-safe wavelength region with a wavelength of 1.54 μm.
[0014]
When separately illuminating with visible light to obtain a color image with a color camera, ultraviolet, near infrared, or infrared light is used as intensity-modulated light for distance detection. If a light emitting diode having a wide wavelength characteristic with incoherent light is used instead of the laser light as the light source 1 capable of modulating the output light intensity at high speed, speckle noise generated by the laser light can be removed.
[0015]
Incident light from the light source 1 to the light guide optical system 2 can be efficiently incident by using a condenser lens. The light guide optical system 2 uses a material that exhibits high transmittance with respect to input light. The light guide optical system 2 uses an image fiber constituted by a plurality of fine plastic or glass fiber bundles.
[0016]
The output light 3 is irradiated to the entire observation object 4 from the end face of the light guide optical system 2 on the observation object side. At this time, by providing a lens or a diffusion plate on the output end face of the light guide optical system 2, the entire observation object 4 can be illuminated with good in-plane uniformity of light intensity. Further, by arranging the output end face of the fiber bundle of the light guide optical system 2 so as to surround the image guide optical system 6 for capturing an image, which will be described later, the shadow of the irradiation light can be reduced.
[0017]
An image of the observation object 4 illuminated with the irradiation light is formed by the lens 5, and the formed image is transmitted to the relay lens optical system 7 by the image guide optical system 6. The image guide optical system 6 uses an image fiber constituted by a plurality of fine plastic or glass fiber bundles. In order to obtain a high transmittance and a high resolution although a large curvature cannot be obtained, the relay lens optical system 7 is configured using a minute lens group and a refractive index distribution lens.
[0018]
The image transmitted to the imaging side end face of the image guide optical system 6 is imaged and input to the imaging gain variable image sensor 8 using the relay lens optical system 7. In the relay lens optical system 7, a relatively small two-dimensional image of the end face of the image guide optical system 6 is enlarged and formed on the imaging gain variable image sensor 8 and input. At this time, as a condition of the relay lens optical system 7 for efficiently imaging the amount of light, NA equivalent to the numerical aperture (NA) of the light output of the end face of the image guide optical system 6 is taken in by the relay lens optical system 7. To have on the side.
[0019]
Further, when the numerical aperture NAi of the light input side of the relay lens optical system 7 and the enlargement image forming ratio when the image of the light guide end face is formed on the effective image forming area of the image sensor is β, the output of the relay lens optical system 7 By setting the side numerical aperture NAo to NAo ≧ βNAi, light can be efficiently transmitted to the imaging gain variable image sensor 8 with little optical loss. As another means, the optical loss is reduced by arranging the fiber plate directly between the end face of the image guide optical system 6 and the light receiving portion of the imaging gain variable image sensor 8 instead of the relay lens optical system 7. It becomes possible to make it.
[0020]
The image signal acquired by the imaging gain variable image sensor 8 is supplied to the distance calculation calculation processing unit 9. In the distance calculation calculation processing unit 9, two image signals captured when the irradiation gain modulation pattern and the imaging gain modulation pattern are different by the imaging gain variable image sensor 8 are switched by the switch 10, and the memory 11 and the memory 12 are switched. To enter each. The arithmetic processing circuit 13 calculates a distance from the intensity ratio between the two image signals stored in the

memories

11 and 12, and generates and outputs a distance image that represents the depth distance of the object to be observed with the density of the image. The output distance image is displayed on an image display monitor (not shown) or supplied to an image recording device or the like for recording.
[0021]
Further, as shown in FIG. 2, the light guide optical system and the image guide optical system for picking up the formed image can be shared, so that the entire optical system of the apparatus can be simplified. In FIG. 2, the output light from the light source 1 enters the light guide optical system 14 through the prism 15 to irradiate the observation target, and the reflected light is applied to the imaging side using the same light guide optical system 14. Can communicate. In this case, there is a drawback that the loss of light is large, and a lightweight, compact, thin endoscope with a small diameter is possible.
[0022]
FIG. 3 shows a block diagram of a second embodiment of the stereoscopic endoscope of the present invention. In the figure, the same parts as those in FIG. In the first embodiment described above, the stereoscopic endoscope that obtains only the distance image indicating the depth shape of the observation target is shown. However, in the second embodiment shown in FIG. 3, the color image and the distance image of the observation target are simultaneously displayed. obtain.
[0023]
In FIG. 3, the output light from the light source 1 capable of modulating the output light intensity is input to the light guide optical system 2 via the prism 15. At the same time, output light from the light source 16 that outputs light having a wavelength in the visible region necessary for capturing a color image is input to the light guide optical system 2 via the prism 15. As each light wavelength, the wavelength from the light source 1 is changed from near-infrared light to infrared light, the light from the light source 16 is made visible light, and each wavelength can be optically separated. You can avoid affecting each other.
[0024]
In order to obtain only visible light, a white light source is used as the light source 16, and the output light from which the wavelength range of the intensity-modulated light is removed by the wavelength selection characteristic filter is used. Further, visible laser light or light emitting diode output light can also be used. The light source 1 is a laser beam or a light emitting diode, and by selecting a long wavelength band having a wavelength of 750 nm or more, crosstalk with visible light can be eliminated, and the near infrared wavelength for distance detection is from the visible light region. Since they are not far apart from each other, the imaging characteristics of the lens optical system are not greatly different between the color image and the distance image, and both images having substantially the same angle of view can be obtained, and the lens optical system can be easily designed.
[0025]
As a characteristic of the prism 15, for example, a light guide optical system is efficiently used by using a dichroic prism having a high transmittance with respect to the wavelength of the light source 1 and a high reflectance with respect to the wavelength of the light source 16. Each light can be incident on 2. The observation target side end face of the light guide optical system 2 irradiates the entire observation target 4 with output light 3 of intensity modulated light and visible light. The reflected light from the observation object 4 is imaged on the end face of the image guide optical system 6 by the lens 5 and transmitted to the end face of the image guide optical system 6 on the image sensor side.
[0026]
The imaging-side end face of the image guide optical system 6 is connected to the split imaging optical system 17, a visible light imaging image is supplied to the color camera 18, and the intensity-modulated light imaging image is an imaging gain variable image for distance detection. The sensor 8 is supplied. As a configuration example of the split imaging optical system 17, a dichroic prism 19 that splits the wavelength of intensity-modulated light and visible light, a relay lens optical system 20 for a color camera, and a relay lens optical system 21 for distance detection. It consists of.
[0027]
As the configuration of the split imaging optical system 17, a configuration in which a relay lens optical system is inserted between the image guide optical system 6 and the dichroic prism 19 is also possible. However, in the configuration shown in FIG. 3, each of the relay lens

optical systems

20 and 21 has a limited wavelength band, so that it can be easily optimized depending on the wavelength, and imaging with high imaging performance can be performed. Further, the magnification conversion to the image sensor size of the color camera 18 and the magnification conversion of the imaging gain variable image sensor 8 can be handled independently. The intensity-modulated light is input to the imaging gain variable image sensor 8, the distance is calculated by the distance calculation calculation processing unit 9, and a distance image in which the depth distance of the observation target is represented by the shading of the image is generated and output.
[0028]
Synchronizing the distance image and the color image in units of frames causes the color camera 18, the imaging gain variable image sensor 8, and the distance calculation calculation processing unit 9 to be externally driven synchronously, and the color image signal is delayed by the delay circuit 22 and output. By doing so, it is possible to synchronize the distance image and the color image in units of frames.
[0029]
The output color image and distance image are displayed on an image display monitor or input and recorded in an image recording device or the like. Furthermore, it is possible to create a parallax image from the obtained color image and distance image, display it stereoscopically on a stereoscopic display device (not shown), and perform stereoscopic observation.
[0030]
Also in this embodiment, as shown in FIG. 2, by sharing the light guide optical system and the image guide optical system for imaging the formed image, the entire apparatus optical system can be simplified.
[0031]
Next, the principle of distance detection will be described.
[0032]
Using Fig. 4, use short-time pulse light as intensity-modulated light, and calculate between the image captured while increasing the imaging gain at high speed with time and the image captured while decreasing the imaging gain at high speed with time. A method for detecting the distance will be described.
[0033]
As shown in FIG. 4A, the light intensity F is applied to the observation object at the position of the distance d. ₀ Signal light E detected by the camera when the reflected light 24 from the observation object is imaged by an image sensor having an imaging gain 25 that increases by a factor g with time. ₊ (D, tp) is expressed by equation (1).
[0034]
[Expression 1]

Where T _L Is the transmittance of the lens optical system such as the light guide optical system 2 or the image guide optical system 6, ρ is the reflection characteristic coefficient of the surface to be observed, τ is the pulse width, c is the speed of light, 2d / c is the imaging gain variable image sensor 8 Is the time for the light to reciprocate the distance d from the observation object 4 to the observation object 4, l is the distance from the lens 5 to the observation object 4, and the denominator of the equation is a term considering attenuation due to diffusion of light. Next, as shown in FIG. 4B, the signal amount E detected by the camera when imaged by an image sensor having an imaging gain 26 that decreases by a factor g with time. ₋ (D, tp) is expressed by equation (2).
[0035]
[Expression 2]

Here, T is an imaging gain modulation period. From the equations (1) and (2), the intensity ratio R = E between two images having different imaging gains. ₊ / E ₋ And the distance d is obtained as equation (3).
[0036]
[Equation 3]

As shown in the above equation (3), the light attenuation effect due to the reflectance of the observation object and the diffusion of light can be obtained simply by calculating the intensity ratio R between the two images captured when the imaging gain is increased and when the imaging gain is decreased. It is possible to cancel the influence of the above and obtain the distance at high speed.
[0037]
In this way, a pulse laser can be used with a combination of pulsed light and imaging gain that changes with time, and pulse laser light having a pulse width of picoseconds to femtoseconds, such as Q-switched pulsed laser light and mode-locked pulsed light. Therefore, distance detection with high resolution becomes possible.
[0038]
In this case, the measurable range (measurement range) D is expressed by equation (4).
[0039]
[Expression 4]

Next, a distance detection method using an imaging apparatus having a so-called shutter function that makes the imaging gain of the imaging gain variable image sensor 8 a constant value in a short time in a pulsed manner with light whose intensity increases and decreases with time as intensity modulated light. explain. As shown in FIG. 5A, the observation object placed at the distance d is irradiated with intensity-modulated light 27 whose light intensity increases with a factor s with time, and the reflected light 28 from the observation object is pulsed at time ts. Signal amount E detected by the camera when imaging is performed for a short time with the shape imaging gain 29 ₊ (D, ts) is expressed by equation (5).
[0040]
[Equation 5]

Where T _L Is the transmittance of the lens optical system such as the light guide optical system 2 or the image guide optical system 6, ρ is the reflection characteristic coefficient of the surface to be observed, τ is the pulse width, c is the speed of light, 2d / c is the imaging gain variable image sensor 8 Is the time for the light to reciprocate the distance d from the observation object 4 to the observation object 4, l is the distance from the lens 5 to the observation object 4, the denominator is a term considering attenuation due to light diffusion, and Δt is the imaging time. Width.
[0041]
Next, as shown in FIG. 5B, the intensity-modulated light 30 whose light intensity decreases with a coefficient s with time is irradiated, and the reflected light 31 from the observation object is briefly applied with the pulsed imaging gain 29 at time ts. Signal amount E detected by camera when imaged ₋ (D, ts) is expressed by equation (6).
[0042]
[Formula 6]

Here, T is a modulation cycle of light intensity. From the equations (5) and (6), the intensity ratio R = E between two images having different light intensities. ₊ / E ₋ And the distance d is obtained as equation (7).
[0043]
[Expression 7]

As shown in the equation (7), only by calculating the ratio R between two images taken when the light intensity is increased and when the light intensity is decreased, the reflectance of the observation object, the light attenuation effect due to the diffusion of light, etc. The influence can be canceled and the distance can be obtained at high speed.
[0044]
In this way, the light source whose intensity changes with time can be realized with a frequency characteristic lower than that of the pulsed light, and in addition to the laser light source, incoherent illumination such as an LED (light emitting diode) can also be used. Illumination is possible, and it is possible to detect the distance of a person.
[0045]
Next, a distance detection method using an intensity-modulated light modulated in a rectangular wave shape and an imaging apparatus in which the imaging gain changes in a rectangular wave shape will be described. A rectangular intensity-modulated light 32 (light intensity F as shown by a broken line in FIG. 6A) is observed on the observation object located at the distance d. ₀ , Modulation period T), and when the reflected light 33 is imaged with a rectangular imaging gain 34 (gain g, period T) having the same period and the same phase as the intensity-modulated light 32, the signal amount detected by the camera E ₊ (D, tp) is expressed by equation (8).
[0046]
[Equation 8]

Where T _L Is the transmittance of the lens optical system such as the light guide optical system 2 or the image guide optical system 6, ρ is the reflection characteristic coefficient of the surface to be observed, τ is the pulse width, c is the speed of light, 2d / c is the imaging gain variable image sensor 8 Is the time for the light to reciprocate the distance d from the observation object 4 to the observation object 4, l is the distance from the lens 5 to the observation object 4, and the denominator of the equation is a term considering attenuation due to diffusion of light.
[0047]
Next, as shown in FIG. 6B, in the case of imaging with a rectangular imaging gain 35 (gain g, period T) having an opposite phase to the intensity-modulated light 32 shifted by the period T, a signal detected by the camera Amount E ₋ (D, tp) is expressed by equation (9).
[0048]
[Equation 9]

From the equations (8) and (9), the intensity ratio R = E between the two images. ₊ / E ₋ And the distance d is obtained as (10).
[0049]
[Expression 10]

As shown in the equation (10), by simply calculating the ratio R between two images, the influence of the light attenuation effect due to the reflectance of the observation object and the diffusion of light is canceled, and the distance can be obtained at high speed. Can do.
[0050]
By making the intensity-modulated irradiation light and the imaging gain into a rectangular wave shape with the same period width in this way, the amount of detection signals detected by the camera increases, and imaging with a high signal-to-noise ratio is possible. It is possible to detect a distance with high resolution.
[0051]
FIG. 7 shows a configuration diagram of an embodiment of the imaging gain variable image sensor 8. In the figure, an image is formed on the image intensifier 36 by the relay lens optical system 7. The image intensifier 36 can change the imaging sensitivity at a high speed with time by controlling the value of the applied voltage between the photoelectric conversion surface and the microchannel plate (MCP).
[0052]
Further, by making the applied voltage into a pulse shape, it is possible to perform gate imaging in a short time of 1 ns or less. The material of the photoelectric conversion surface is selected according to the wavelength sensitivity characteristic of intensity modulated light used for distance detection. For example, multi-alkali (Sb / Na / K / Cs: S-20), which is a photoelectric conversion material using three or more kinds of alkalis, can be used when the wavelength is 800 nm, and GaAs is used when the wavelength is 850 nm. By doing so, high quantum efficiency is obtained, and a captured image with a good SN ratio is obtained.
[0053]
Since the image is captured by changing the imaging gain at high speed or by performing a short-time gate operation, the amount of signal obtained by one imaging is very weak. For this reason, the output timing of the light source 1 that can modulate the output light intensity at high speed and the imaging gain modulation timing of the image intensifier 36 are synchronized to repeat imaging, and the image of the output phosphor screen of the image intensifier 36 is imaged. Input to the CCD camera 38 by the transmission optical system 37 and sufficient sensitivity can be ensured by the accumulation effect of the CCD camera 38.
[0054]
The image transmission optical system 37 can be realized by a fiber plate or a relay lens optical system. By using the image transmission optical system 37 as a fiber plate and connecting the output fluorescent screen of the image intensifier 36 and the CCD surface of the CCD camera 38, the fluorescent screen output light can be input to the CCD with high efficiency.
[0055]
On the other hand, when the image transmission optical system 37 is a relay lens optical system, the light use efficiency is lowered, but the CCD camera can be replaced, the selection range of the CCD camera is widened, and the imaging magnification can be controlled. A good image can be obtained without the influence of the fixed pattern noise generated when the fiber plate is used.
[0056]
The imaging resolution of the image intensifier 36 greatly depends on the distance between the photoelectric conversion surface and the MCP constituting the image intensifier, the distance between the MCP and the phosphor screen, and the diameter of the conductive glass capillary constituting the MCP. For this reason, it is advantageous for high resolution when the distance between the photoelectric conversion surface and the MCP and the distance between the MCP and the phosphor screen are close to each other, and a conductive glass capillary constituting the MCP having a diameter of about 6 μm or less is used.
[0057]
Further, the image formed on the end face of the image guide optical system 6 is enlarged by the relay lens optical system 7 and input to the photoelectric surface of the image intensifier 36. At the same time, the optical image of the fluorescent screen of the image intensifier 36 is reduced and formed by the relay lens optical system as the image transmission optical system 37 and input to the CCD camera 38, whereby the resolution can be kept high.
[0058]
A distance detection experiment according to the present invention will be described. Pulse light was used as intensity-modulated irradiation light, and the imaging gain was changed with time to detect the distance. The distance detection performance was examined without using the light guide optical system 2 for light irradiation and the image light guide optical system 6 for imaging.
[0059]
FIG. 8 shows a block diagram of an embodiment of the experimental apparatus for a stereoscopic endoscope of the present invention. In the figure, a laser diode 39 is used as a light source, the wavelength of the output light 40 is 803 nm, the pulse half width is 70 ps, the repetition frequency is 40 MHz, and the average output light intensity is 1 mW. The cylindrical lens 41 emits a light beam of about 10 x 10 cm ² And illuminates a stepped subject 42 at a distance of 5 mm, 49 cm away.
[0060]
The reflected light is imaged on the photocathode of the image intensifier 44 by the camera lens 43, and the fluorescent screen output image is input to the CCD camera 46 by the relay lens optical system 45. The light modulation signal and the image intensifier gain modulation signal are supplied from a signal generator 47, respectively. The output timing of the pulse light and the imaging gain modulation timing of the image intensifier 44 are synchronized by the external synchronization signal 48, and the pulse switch timing is switched by the phase switch 49 for each frame. Then, an image when the imaging gain is increased and an image when the gain is decreased are alternately captured by the CCD camera 46, and the calculation of the expression (3) is performed by the signal processing device 50 between these two images, and the distance image 51 is obtained. Output.
[0061]
Similarly, a color image 53 is taken by the color camera 52. FIGS. 9A and 9B are waveform diagrams of video signals of captured images at the time of increasing gain and decreasing gain, which are the basis of distance image calculation, respectively. In the captured image signal when the gain is increased in FIG. 9A, the closer to the observation object, the lower the luminance signal level, and the farther the observation object, the higher the luminance signal level. On the other hand, in the captured image signal when the gain is reduced in FIG.
[0062]
FIG. 9C shows a waveform diagram of the video signal of the distance image obtained by performing the calculation of the expression (3) between these two images. It can be seen that the influence of the reflectance of the observation target is corrected, a flat staircase waveform representing the shape of the observation target is obtained, and the steps at 5 mm intervals can be clearly separated.
[0063]
FIG. 10 shows the relationship between the distance from the camera of the subject and the brightness level of the distance image. As a result of obtaining the distance detection resolution from the effective value of the noise component of the video signal at the center position (about 49 cm) of the measurement range, it was 2.0 mm. The measurement range was 7 cm. The characteristic shown in FIG. 10 is non-linear at the end of the measurement range (about 45 cm, about 55 cm) due to the nonlinearity of the modulation characteristic of the imaging gain, and the linearity is corrected by gamma correction of the distance image. it can.
[0064]
In the experiment, the distance image update time was 1/15 seconds, the number of pixels was 350,000, and the experiment confirmed that the distance of the moving observation object could be detected. In the stereoscopic endoscope of the present invention, the light guide optical system 2 and the image guide optical system 6 are added to the experimental apparatus, and the irradiation light amount and the light amount contributing to image formation are expected to be different from those in this experiment. The basic principle of detection was demonstrated in this experiment.
[0065]
In the present invention, only the ratio R between the two images is calculated, so that time-consuming and complicated calculation processing is unnecessary, and it is not necessary to scan the light beam. Therefore, a depth distance image to be observed can be captured at a television video rate (frame rate 60 Hz), and depth distance information can be obtained with the same number of pixels as a normal television image or a high-definition television image. Therefore, it is possible to acquire a high-definition three-dimensional shape in real time even in a moving observation target such as the inside of a human body.
[0066]
Fields of application of the endoscope of the present invention include medical in-vivo examinations, observations in equipment such as engines in the automobile, aeronautics, space, and marine fields, gas pipes, exhaust ports, water pipes, boilers, and turbines. This can be applied to inspections, surveys of burial mounds and ruins, and observation of animal ecology.
[0067]
The light source 1 corresponds to the variable intensity light source described in the claims, the light guide optical system 2 corresponds to the light guide means, the lens 5 corresponds to the imaging means, and the image guide optical system 6 corresponds to the image guide means. The imaging gain variable image sensor 8 corresponds to the imaging gain variable image sensor means, the distance calculation calculation processing unit 9 corresponds to the signal calculation processing means, the light source 16 corresponds to the visible light source, and the divided imaging optical system 17 Corresponding to the separating means, the color camera 18 corresponds to the second image sensor means.
[0069]
【The invention's effect】
Claim 1 According to the invention described in, the distance can be calculated at high speed only by calculating the intensity ratio between the plurality of image signals, and the distance information can be detected in real time.
[0070]

Claim

2 According to the invention described in (1), the entire optical system of the apparatus can be configured simply.
[0071]
Claim 3 According to the invention described in (1), pulsed laser light can be used, and distance detection with high resolution becomes possible.
[0072]
Claim 4 According to the invention described in (4), incoherent illumination such as a light emitting diode can be used, a wide range can be illuminated with high brightness, and a distance detection of a person can be performed.
[0073]
Claim 5 According to the invention described in (1), the amount of detected signals to be detected is increased, imaging with a high signal-to-noise ratio is possible, and distance detection with high resolution is possible.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of a stereoscopic endoscope of the present invention.
FIG. 2 is a configuration diagram of an embodiment in which a light guide optical system and an image guide optical system for imaging formed images are shared.
FIG. 3 is a configuration diagram of a second embodiment of the stereoscopic endoscope of the present invention.
FIG. 4 is a diagram for explaining a distance detection method using an image captured using a short-time pulsed light while increasing an imaging gain at a high speed with time and an image captured while decreasing an imaging gain at a high speed with time. is there.
FIG. 5 is a diagram for explaining a distance detection method by an imaging device having light whose intensity increases and decreases with time as intensity-modulated light and a short-time shutter function;
FIG. 6 is a diagram for explaining a distance detection method using an intensity-modulated light modulated in a rectangular wave shape and an imaging apparatus in which an imaging gain changes in a rectangular wave shape.
FIG. 7 is a configuration diagram of an embodiment of an imaging gain variable image sensor.
FIG. 8 is a configuration diagram of an embodiment of a stereoscopic endoscope experimental apparatus according to the present invention.
FIG. 9 is a waveform diagram of video signals of a captured image and a distance image at an increase gain and a decrease gain.
FIG. 10 is a diagram illustrating a relationship between a distance from a camera of a subject and a luminance level of a distance image.
[Explanation of symbols]
1,16 light source
2 Light guide optical system
3,40 output light
4 Observation targets
5 Lens
6 Image guide optical system
7, 20, 21, 45 Relay lens optical system
8 Imaging gain variable image sensor
9 Distance calculation processor
10 selector
11,12 memory
13 Arithmetic processing circuit
14 Light guide optical system
15 Prism
17 Split imaging optical system
18 color camera
19 Dichroic prism
22 Delay circuit
23 Pulsed light
24, 28, 33 Reflected light
25, 26, 34, 35 Imaging gain
27, 30, 32 Intensity modulated light
29 Pulsed imaging gain
36,44 Image intensifier
37 Image transmission optical system
38, 46 CCD camera
39 Laser diode
41 Cylindrical lens
42 subjects
43 Camera lens
47 Signal generator
48 External sync signal
49 Phase selector
50 Signal processor
51 range image
52 color camera
53 color image

Claims

A variable intensity light source that modulates light intensity and outputs light outside the visible range;
A visible light source that outputs light in the visible region;
A light guide means for irradiating an observation object with output light of each of the variable intensity light source and the visible light source;
An imaging means for forming an image of an observation object irradiated with light;
Image guide means for transmitting the image;
Separating means for separating the wavelength component of the variable intensity light source and the wavelength component of the visible light source from the image transmitted by the image guide optical system;
Imaging gain variable image sensor means for inputting an image of the wavelength component of the intensity variable light source separated by the separation means and modulating imaging gain;
Second image sensor means for inputting an image of the wavelength component of the visible light source separated by the separation means and outputting an image to be observed;
A plurality of image signals obtained by the imaging gain variable image sensor means when the time change patterns of the modulation of the output light intensity of the variable intensity light source and the imaging gain modulation of the imaging gain variable image sensor means are different combinations A stereoscopic endoscope, comprising: a signal calculation processing unit that calculates a distance from an intensity ratio between them and outputs a distance image that represents a depth distance of an observation target with light and shade of the image.

The stereoscopic endoscope according to claim 1 ,
A stereoscopic endoscope characterized by sharing the light guide means and the image guide means.

The stereoscopic endoscope according to claim 1 or 2 ,
The variable intensity light source outputs pulsed light,
The imaging gain variable image sensor means increases and decreases the imaging gain with time,
The signal calculation processing means calculates a distance from an intensity ratio between an image captured while increasing the imaging gain with time and an image captured while decreasing the imaging gain with time. Endoscope.

The stereoscopic endoscope according to claim 1 or 2 ,
The variable intensity light source increases and decreases the light intensity with time to output,
The imaging gain variable image sensor means sets the imaging gain to a constant value in a short time in a pulse shape,
The signal calculation processing means calculates a distance from an intensity ratio between an image captured while increasing the light intensity with time and an image captured while decreasing the light intensity with time. Endoscope.

The stereoscopic endoscope according to claim 1 or 2 ,
The intensity variable light source modulates and outputs the light intensity into a rectangular wave shape,
The imaging gain variable image sensor means modulates the imaging gain into a rectangular wave shape with the same period as the light intensity,
The signal calculation processing unit calculates a distance from an intensity ratio between an image captured when the light intensity and the imaging gain are in phase and an image captured when the light intensity and the imaging gain are in reverse phase. A stereoscopic endoscope characterized by

The stereoscopic endoscope according to any one of claims 1 to 5 ,
The three-dimensional endoscope characterized in that the imaging gain variable image sensor means is a combination of an image intensifier, a relay lens or a fiber plate, and a CCD imaging device.