JP2016106867A - 電子スコープ及び電子内視鏡システム - Google Patents

Abstract

【課題】複雑な結像光学系を要さずに、被写体の立体形状の観察を可能にする。【解決手段】本発明の一実施形態に係る電子スコープは、３Ｄ計測光を伝搬する第１ライトガイドと、３Ｄ計測光が照射された被写体を撮像する撮像素子と、を備え、第１ライトガイドが、光ファイバ束を備え、光ファイバ束が、その先端からランダムドットパターン光が射出されるように、先端部において光ファイバ束の中心軸周りに捩られている。【選択図】図３

Description

本発明は、電子スコープ及び電子内視鏡システムに関する。

立体視観察が可能な所謂３Ｄ電子内視鏡システムが提案されている。３Ｄ電子内視鏡は、両眼視差立体視を実現するために、左右一対の撮像素子と結像光学系を備える必要がある。そのため、３Ｄ電子内視鏡は、先端部の構造が極めて複雑で大型なものとなっていた。

特許文献１には、光束を左右に分割し、分割した左右の光束を撮像素子面の左右の領域にそれぞれ結像させることにより、単一の撮像素子による立体撮像を可能にした立体撮像光学系を備えた内視鏡が記載されている。

特開２０１３−２５４１２４号公報

特許文献１に記載された内視鏡は、単一の撮像素子による立体視観察を可能にするものの、非常に複雑な結像光学系を必要とするという問題がある。

また、内視鏡観察においては、立体視観察よりも、観察部位の表面の凹凸形状が明確に分かる画像情報（例えば、三次元ワイヤフレーム）の方が診断に役立つ場合が多い。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、複雑な結像光学系を要さずに、被写体Ｓの立体形状の観察が可能な電子内視鏡及び電子内視鏡装置を提供することである。

本発明の一実施形態に係る電子スコープは、３Ｄ計測光を伝搬する第１ライトガイドと、３Ｄ計測光が照射された被写体を撮像する撮像素子と、を備え、第１ライトガイドが、光ファイバ束を備え、光ファイバ束が、その先端からランダムドットパターン光が射出されるように、先端部において光ファイバ束の中心軸周りに捩られている。

この構成によれば、複雑な結像光学系を使用せずに、単一の撮像素子のみで、３Ｄ画像データの生成に必要な画像情報を取得することができる。また、簡単な構成によりランダムドットパターン光を生成することができる。

また、上記の電子スコープにおいて、光ファイバ束の先端部が充填材により一体に固定されている構成としてもよい。

光ファイバ束を一体に固定することにより、ランダムドットパターン光のスポット間の相対位置が変動しなくなり、３Ｄ計測の精度が向上する。

また、上記の電子スコープにおいて、光ファイバ束の先端面が曲面研磨されている構成としてもよい。

この構成によれば、各光ファイバの射出端面を中心軸と略垂直に形成することができるため、ランダムドットパターン光のスポット形状の対称性が高くなり、３Ｄ計測の精度が向上する。

また、本発明の一実施形態に係る電子内視鏡システムは、上記の電子スコープと、電子スコープに３Ｄ計測光を供給する第１光源と、撮像素子が生成する画像信号を処理して３Ｄ画像データを生成するプロセッサと、を備える。

また、上記の電子内視鏡システムにおいて、プロセッサが、被写体に投影されたランダムドットパターン光の画像に基づいて、電子スコープの先端から被写体に投影されたランダムドットパターン光の各スポットまでの距離を計測する構成としてもよい。

また、上記の電子内視鏡システムにおいて、キャリブレーション用のスクリーンを備え、プロセッサが、ランダムドットパターン光が投影されたスクリーンを撮像した画像におけるランダムドットパターン光の各スポットの像の画素位置を記憶する記憶装置を備えた構成としてもよい。

また、上記の電子内視鏡システムにおいて、以下の数式１により、電子スコープの先端から被写体に投影されたランダムドットパターン光の各スポットまでの距離を計測する構成としてもよい。

ここで、各変数の定義は以下の通りである。
Ｎ_ｘ：前記スクリーンを撮像した画像における該スクリーンの横幅（単位：ピクセル）
ｄ：前記撮像素子の撮像面と前記光ファイバ束の中心点間の距離（単位：ｍｍ）
Ｌ：前記電子スコープの先端と前記スクリーンとの距離（単位：ｍｍ）
Ｌ_ｗ：前記スクリーンの横幅の実寸（単位：ｍｍ）
ｘ_０：前記スクリーン上に投影された前記ランダムドットパターン光のスポットの像の画素位置（単位：ピクセル）
ｘ：前記被写体上に投影された前記ランダムドットパターン光のスポットの像の画素位置（単位：ピクセル）

また、上記の電子内視鏡システムにおいて、電子スコープに通常観察光を供給する第２光源を備え、電子スコープが、通常観察光を伝搬する第２ライトガイドを備えた構成としてもよい。

また、上記の電子内視鏡システムにおいて、第１光源が、撮像装置による撮像の周期と同期したパルス光の３Ｄ計測光を供給し、プロセッサが、電子スコープに通常観察光のみが供給されている時に撮像された画像データに基づいて通常観察画像データを生成し、電子スコープに３Ｄ計測光が供給されている時に撮像された画像データに基づいて３Ｄ画像データを生成する構成としてもよい。

このように、撮像素子の駆動と同期した３Ｄ計測光のパルス光を使用することにより、１つの撮像素子のみを使用して、通常観察画像と３Ｄ画像を同時に観察することが可能になる。

また、上記の電子内視鏡システムにおいて、第１光源が、撮像装置による撮像の周期と同期したパルス光の３Ｄ計測光を供給し、第２光源が、撮像装置による撮像の周期と同期したパルス光の通常観察光を、３Ｄ計測光と異なる位相で供給し、プロセッサが、電子スコープに通常観察光が供給されている期間に撮像された画像データに基づいて通常観察画像データを生成し、電子スコープに３Ｄ計測光が供給されている期間に撮像された画像データに基づいて３Ｄ画像データを生成する構成としてもよい。

また、上記の電子内視鏡システムにおいて、撮像素子がライン露光順次読み出し方式により動作するものであり、第１光源が、撮像素子の全てのラインの露光期間が重なるグローバル露光期間にのみ３Ｄ計測光を供給する構成としてもよい。

この構成によれば、ＣＭＯＳイメージセンサ等のライン露光順次読み出し方式の撮像素子を使用した場合でも、ランダムドットパターン光のスポットの正確な画像を取得することができ、３Ｄ計測の精度が向上する。

また、上記の電子内視鏡システムにおいて、通常観察光及び３Ｄ計測光が供給され、通常観察画像データ及び３Ｄ画像データが生成されて３Ｄ表示が行われる３Ｄ表示モードと、３Ｄ計測光のみが供給され、３Ｄ計測光が照射された被写体が表示される緊急モードと、により動作可能な構成としてもよい。

この構成によれば、内視鏡観察中にランプ切れ等により通常観察光の供給が停止した場合でも、３Ｄ計測光を照明光として利用することにより、安全に電子スコープを患者の体内から抜き取ることができる。

また、上記の電子内視鏡システムにおいて、更に、通常観察光のみが供給され、通常観察画像データのみが生成される通常観察モードにより動作可能な構成としてもよい。

また、上記の電子内視鏡システムにおいて、３Ｄ表示モードにおいて、通常観察光と３Ｄ計測光が１フレーム期間毎に交互に供給され、撮像素子が、通常観察モードにおいて基本フレームレートで駆動され、３Ｄ表示モードにおいて倍速フレームレートで駆動される構成としてもよい。

この構成によれば、３Ｄ表示モードにおいても、滑らかな動きの映像が得られる。

本発明の一実施形態によれば、複雑な結像光学系を要さずに、被写体の立体形状の観察が可能になる。

本発明の第１実施形態の電子内視鏡システムの構成を示すブロック図である。 電子スコープの先端部の概略構成を示す図である。 光ファイバ束の先端部の概略構成を示す図である。 本実施形態の３Ｄ計測の原理を説明する図である。 ３Ｄ画像の例である。 本発明の第１実施形態の画像処理を説明する図である。 本発明の第２実施形態の電子内視鏡システムの構成を示すブロック図である。 本発明の第２実施形態の画像処理を説明する図である。 ２画面表示の例である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下に説明する実施形態は、本発明を電子内視鏡システムに適用した例である。

米国特許出願公開第２０１０／０１１８１２３号明細書には、ランダムパターンや疑似ランダムパターンなどの無相関なパターンを有する斑点（輝点又は暗点）を物体に投影し、物体に投影された斑点の画像から三角法により３Ｄマップ（物体の表面を表す３次元座標）を計算する方法が記載されている。以下に説明する本発明の実施形態は、この原理を用いて被写体の三次元表面形状計測を行うものである。

＜第１実施形態＞
［電子内視鏡システム全体の構成］
図１は、本実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及び２つのモニタ３００ａ、３００ｂを備えている。電子スコープ１００の先端部の概略構成を図２に示す。

本実施形態の電子内視鏡システム１は、通常観察用の白色光と、三次元表面形状計測（以下「３Ｄ計測」という。）用のランダムドットパターン光の２種類の照射光を使用して、被写体Ｓの通常観察と同時に３Ｄ計測を行う。そのために、電子内視鏡システム１は２系統の光照射システムを備えている。具体的には、プロセッサ２００は２系統の光源装置（照明用光源装置、３Ｄ計測用光源装置）を備え、電子スコープ１００は２系統のＬＣＢ（Light Carrying Bundle）１０２、１０３を備える。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力されるユーザからの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

上述したように、プロセッサ２００は２系統の光源装置を備えている。光源装置の一つは、通常観察用の白色光（通常観察光Ｌａ）を発生する照明用光源装置であり、もう一つは、３Ｄ計測用のランダムドットパターン光（３Ｄ計測光Ｌｂ）を発生する３Ｄ計測用光源装置である。

照明用光源装置は、ランプ２０８ａ、ランプ電源イグナイタ２０６ａ及び集光レンズ２１０ａを備える。ランプ２０８ａは、ランプ電源イグナイタ２０６ａによる始動後、通常観察用の通常観察光Ｌａを射出する。ランプ２０８ａは、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。通常観察光Ｌａは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８ａより射出された通常観察光Ｌａは、後述するロータリーシャッタ装置２６０を通過した後、集光レンズ２１０ａによりＬＣＢ１０２の入射端面に集光されてＬＣＢ１０２内に導入される。

ロータリーシャッタ装置２６０は、回転式シャッタ２６１、ＤＣモータ２６２、ドライバ２６３及びフォトインタラプタ２６４を備えている。回転式シャッタ２６１は、扇状の開口が同心に形成された円盤状の遮光板である。回転式シャッタ２６１の開口は、フレーム期間に応じた角度範囲に広がる扇状に形成されている。

ドライバ２６３は、システムコントローラ２０２による制御下で、電子スコープ１００による撮像に同期してＤＣモータ２６２を駆動し、ＤＣモータ２６２の回転軸に連結された回転式シャッタ２６１を回転させる。ロータリーシャッタ装置２６０は、回転式シャッタ２６１を撮像と同期して一定速度で回転させることにより、周期的に明滅するパルス光列を生成する。具体的には、回転式シャッタ２６１は、その開口が通常観察光Ｌａ及び３Ｄ計測光Ｌｂの光路を１フレーム毎に交互に横切るように回転し、通常観察光Ｌａ及び３Ｄ計測光Ｌｂを交互に各フレーム期間内に通過させる。回転式シャッタ２６１の回転位置や回転の位相は、回転式シャッタ２６１の外周付近に形成された孔をフォトインタラプタ２６４によって検出することにより制御される。

ＬＣＢ１０２は、中途で２分岐されていて、一対の射出端面を有している。なお、ＬＣＢ１０２は、中途で分岐せずに、単一の射出端面を有する構成としてもよい。ＬＣＢ１０２内に導入された通常観察光Ｌａは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部に配置されたＬＣＢ１０２の一対の射出端面より射出され、各射出端面に対向配置された配光レンズ１０４を介して被写体Ｓに照射される。通常観察光Ｌａにより照射された被写体Ｓからの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

第２光源装置は、ランプ２０８ｂ、ランプドライバ２０６ｂ及び集光レンズ２１０ｂを備える。

ランプ２０８ｂには、ＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の狭帯域光源（本実施形態では、発光波長６５０ｎｍの高出力ＬＥＤ）が使用される。なお、ランプ２０８ｂとして、ランプ２０８ａと同じく、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の白色光を発生する高輝度ランプや白色ＬＥＤを使用してもよい。また、白色光源と狭帯域の光バンドパスフィルタ等の光学フィルタを使用して生成した狭帯域光を使用してもよい。なお、狭帯域光の波長域としては、被写体Ｓ（例えば消化管内壁）による吸収が少ない赤色領域が適しているが、固体撮像素子１０８が受光感度を有する波長域であれば任意の波長域（可視域に限らず、赤外域や紫外域を含む）の狭帯域光を使用することができる。

ランプ２０８ｂは、ランプドライバ２０６ｂから供給される駆動電流により駆動され、ランプ光を発生する。ランプ２０８ｂから射出されたランプ光は、ロータリーシャッタ装置２６０に入射される。ロータリーシャッタ装置２６０は、通常観察光Ｌａと逆位相でランプ光にＯＮ／ＯＦＦの変調を与えて３Ｄ計測用の３Ｄ計測光Ｌｂを生成する。なお、本実施形態では、１つのロータリーシャッタ装置２６０により通常観察光Ｌａと３Ｄ計測光Ｌｂの両方を逆位相で変調する構成が採用されているが、照明用光源装置（通常観察光Ｌａ）と３Ｄ計測用光源装置（３Ｄ計測光Ｌｂ）のそれぞれに互いに逆位相で動作する専用のロータリーシャッタ装置２６０を設けた構成としてもよい。

ロータリーシャッタ装置２６０によって生成された３Ｄ計測光Ｌｂは、集光レンズ２１０ｂによりＬＣＢ１０３の入射端面に集光されて、ＬＣＢ１０３内に導入される。また、ランプ２０８ｂが発生するランプ光のビーム径や発散角に応じて、ランプ２０８ｂと集光レンズ２１０ｂとの間に（又は、集光レンズ２１０ｂに替えて）ビームエキスパンダを配置して、ビーム径や発散角を調整してもよい。

ＬＣＢ１０３内に導入された３Ｄ計測光Ｌｂは、ＬＣＢ１０３内を伝播して電子スコープ１００の先端部に配置されたＬＣＢ１０３の射出端面より射出され、平板状の窓１０５を介して被写体Ｓに照射される。被写体Ｓからの３Ｄ計測光Ｌｂの戻り光も、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。なお、配光レンズではなく屈折力の無い窓１０５を使用することにより、３Ｄ計測光Ｌｂの発散角が低く抑えられるため、ランダムドットパターン光のスポットＰの径が大きくならず、精度の高い３Ｄ計測が可能になる。

上記構成により、本実施形態では、ロータリーシャッタ装置２６０を作動させると、被写体Ｓに照射される光が、フレーム期間毎に、通常観察光Ｌａと３Ｄ計測光Ｌｂとで交互に切り替わる。

固体撮像素子１０８は、原色ベイヤ型画素配列を有するグローバルシャッター方式の単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、レッドＲ、グリーンＧ、ブルーＢの画像信号を生成し出力する。なお、固体撮像素子１０８は、グローバルシャッター方式のＣＭＯＳイメージセンサに限らず、ローリングシャッター方式のＣＭＯＳイメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタ（例えば、補色市松型画素配置）を搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。固体撮像素子１０８はプログレッシブスキャン方式の撮像素子であり、ドライバ信号処理回路１１０には、画像信号がフレーム周期で固体撮像素子１０８より入力される。なお、固体撮像素子１０８にインターレーススキャン方式の撮像素子を採用してもよい。その場合も、３Ｄ画像を表示するとき（後述の３Ｄ表示モード設定時）には、通常観察光Ｌａと３Ｄ計測光Ｌｂがフレーム毎に切り替えられるように、ロータリーシャッタ装置２６０を作動させる。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理回路２２０は、ドライバ信号処理回路１１０より１フレーム周期で入力される画像信号に対して色補間、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施した後、画像信号に基づいてモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００ａに出力される。これにより、被写体Ｓのカラー画像（通常観察画像）がモニタ３００ａの表示画面に表示される。

また、画像処理回路２２０は、被写体Ｓに３Ｄ計測光Ｌｂを投影して撮像した画像に基づいて被写体Ｓの３Ｄ画像（例えば、三次元ワイヤフレーム画像）を生成する３Ｄ画像生成回路２３０を備えている。３Ｄ画像生成回路２３０は、３Ｄ画像のビデオフォーマット信号をモニタ３００ｂに出力し、被写体Ｓの３Ｄ画像がモニタ３００ｂに画面表示される。

［光ファイバ束の構成］
図３は、ＬＣＢ１０３の先端部の概略構成を示す図である。ＬＣＢ１０３は、複数のマルチモード光ファイバ１０３ａを束ねた光ファイバ束を主体とするものである。ＬＣＢ１０３は、その先端部において、その中心軸Ａｘ回りに捩られた状態で接着剤等の充填材により一体に固定された後、端面が曲面研磨（例えば、球面研磨）される。ＬＣＢ１０３は、捩られることにより、ＬＣＢ１０３を形成する各光ファイバ１０３ａの光軸が無秩序に配向する。その結果、ＬＣＢ１０３の先端から射出された３Ｄ計測光Ｌｂは、ランダムドットパターン光となる。

［三次元表面形状計測の原理］
図４は、本実施形態の３Ｄ計測の原理を説明する図である。なお、図４において、電子スコープ１００の先端部の中心軸をＺ軸、固体撮像素子１０８の撮像面の水平方向軸をＸ軸、垂直方向軸をＹ軸（紙面に垂直な軸）とする。

本実施形態では、内視鏡観察を行う前に、スクリーン４００を使用してランダムドットパターン光のキャリブレーション測定を行い、ランダムドットパターン光の各スポットＰの基準位置（ｘ_０，ｙ_０）を取得する。具体的には、電子スコープ１００の先端から所定距離Ｌ（単位：ｍｍ）離れた位置に、Ｚ軸と垂直にスクリーン４００を配置し、ＬＣＢ１０３を形成する各光ファイバ１０３ａの先端から３Ｄ計測光Ｌｂを射出して、スクリーン４００上にランダムドットパターン光を投影させる。そして、固体撮像素子１０８によってスクリーン４００上に投影されたランダムドットパターン光の像を撮像して、各スポットＰが撮像された画素の位置を基準位置（ｘ_０，ｙ_０）とする。なお、通常は複数の画素に亘ってスポットＰの像が形成され、例えば、これら複数の画素のうち最も輝度の高い画素の位置が基準位置（ｘ_０，ｙ_０）として採用される。ＬＣＢ１０３から射出されるランダムドットパターン光の各スポットＰについて、それぞれ基準位置（ｘ_０，ｙ_０）が取得され、画像処理回路２２０が備えるメモリ（不図示）に記憶される。

固体撮像素子１０８によって撮像される３Ｄ計測光Ｌｂの各スポットＰの像の位置（ｘ，ｙ）は、電子スコープ１００の先端から被写体Ｓまでの距離ｚ_ｄによって変化する。また、後述の数式１に示されるように、スポットＰの像の位置（ｘ，ｙ）は、距離ｚ_ｄによって一意に定まる。そのため、内視鏡観察中に被写体Ｓにランダムドットパターン光を投影し、各スポットＰの像の位置（ｘ，ｙ）を取得することにより、各スポットＰが投影される被写体Ｓ上の複数の位置について、電子スコープ１００の先端からの距離ｚ_ｄを計算することができる。

距離ｚ_ｄは、三角法に基づいて、次の数式１によって計算される。
（数式１）

ここで、各変数の定義は以下の通りである。
Ｎ_ｘ：キャリブレーション測定において固体撮像素子１０８が撮像した画像上でのスクリーン４００の横幅（単位：ピクセル）
ｄ：固体撮像素子１０８の撮像面とＬＣＢ１０３の射出端面の中心点間の距離（単位：ｍｍ）
Ｌ：電子スコープ１００の先端とスクリーン４００との距離（単位：ｍｍ）
Ｌ_ｗ：スクリーン４００の横幅の実寸（単位：ｍｍ）
ｘ_０：キャリブレーション測定においてスクリーン４００上に投影された３Ｄ計測光ＬｂのスポットＰの像の画素位置（単位：ピクセル）
ｘ：被写体Ｓ上に投影された３Ｄ計測光ＬｂのスポットＰの像の画素位置（単位：ピクセル）

数式１により計算した３Ｄ計測光Ｌｂの各スポットＰにおける距離ｚ_ｄに基づいて、被写体Ｓの３Ｄ画像が生成される。３Ｄ画像の例を図５に示す。図５は、三次元ワイヤフレームにより３Ｄ画像を表示した例であるが、サーフェスモデルやソリッドモデル等の３次元コンピュータグラフィックスの別の表現手法を使用してもよい。また、３Ｄ画像は、単なる等高線図や、距離ｚ_ｄを色情報（例えば、彩度や色相）に変換した２Ｄ画像としてもよい。

また、ＬＣＢ１０３から射出されるランダムドットパターン光における各スポットＰの配置が不規則であるため、スポットＰ毎に周囲のスポットＰの配置が異なる。従って、周囲のスポットＰの配置から、各スポットＰを特定する（すなわち、キャリブレーション測定において撮像された各スポットＰと対応付ける）ことができる。スポットＰの特定は、例えば周知のパターン認識の手法を用いて行うことができる。

［動作モード］
本実施形態の電子内視鏡システム１は、「通常観察モード」、「３Ｄ表示モード」及び「緊急モード」の３つの動作モードで動作可能に構成されている。表１は、各動作モードの動作を比較した対照表である。

通常観察モードは、３Ｄ画像の画面表示を行わず、通常観察画像のみを画面表示する動作モードである。通常観察モードでは、ロータリーシャッタ装置２６０の作動が停止し、通常観察光Ｌａの光路が回転式シャッタ２６１の開口を通過し、３Ｄ計測光Ｌｂの光路が回転式シャッタ２６１によって遮断される回転位置で回転式シャッタ２６１が静止する。また、ランプ２０８ｂの駆動が停止される。これにより、３Ｄ計測光Ｌｂの照射が停止され、常に通常観察光Ｌａのみが被写体Ｓに照射されるようになる。また、通常観察モードでは、固体撮像素子１０８が基本フレームレート（例えば３０Ｈｚ）で駆動される。通常観察モードでは、撮像された全てのフレームの画像データから１画面（通常観察画像）のビデオフォーマット信号が生成される。

３Ｄ表示モードは、通常観察画像と３Ｄ画像を同時に画面表示する動作モードである。３Ｄ表示モードでは、ロータリーシャッタ装置２６０が作動し、１フレーム毎に通常観察光Ｌａと３Ｄ計測光Ｌｂが交互に被写体Ｓに照射され、通常観察画像と３Ｄ計測光Ｌｂのランダムドットパターン光の像が写された画像が１フレーム毎に交互に撮像される。そして、固体撮像素子１０８によって撮像された画像データから、２画面（通常観察画像と３Ｄ画像）のビデオフォーマット信号が生成される。また、３Ｄ表示モードでは、撮像素子が倍速フレームレート（例えば６０Ｈｚ）で駆動される。これにより、通常観察画像及び３Ｄ画像の滑らかな動きの動画が生成される。

緊急モードは、内視鏡観察中にランプ２０８ａのランプ切れ等により通常観察光Ｌａの供給が停止したときに、電子スコープ１００を被検者の体内から安全に抜き取るために、通常観察光Ｌａの替わりに３Ｄ計測光Ｌｂを照明光として使用するための動作モードである。

緊急モードでは、ロータリーシャッタ装置２６０の作動が停止し、３Ｄ計測光Ｌｂの光路が回転式シャッタ２６１の開口を通過し、通常観察光Ｌａの光路が回転式シャッタ２６１によって遮断される回転位置で回転式シャッタ２６１が静止する。また、ランプ２０８ａの駆動が停止される。これにより、常時３Ｄ計測光Ｌｂのみが被写体Ｓに照射されるようになる。緊急モードは、通常観察光Ｌａの替わりに３Ｄ計測光Ｌｂが照射されることを除いては、通常観察モードと同様のものであり、モニタ３００ｂには、３Ｄ計測光Ｌｂを照射して撮像した被写体の画像が表示される。

［画像処理］
図６は、本実施形態の画像処理を説明する図である。図６（ａ）は固体撮像素子１０８の駆動のタイミング（連続するフレーム１〜６のフレーム期間）を示し、図６（ｂ）は通常観察光Ｌａを照射するタイミングを示し、図６（ｃ）は３Ｄ計測光Ｌｂを照射するタイミングを示す。また、図６（ｄ）は固体撮像素子１０８によって撮像された原画像の遷移図であり、図６（ｅ）はモニタ３００ａに表示される通常観察画像の遷移図であり、図６（ｆ）はモニタ３００ｂに表示される３Ｄ画像の遷移図である。

上述したように、本実施形態では１フレーム毎に通常観察光Ｌａと３Ｄ計測光Ｌｂが交互に被写体Ｓに照射されるため、通常観察画像と３Ｄ計測光Ｌｂのランダムドットパターン光の像が写された画像が交互に撮像される。具体的には、奇数番目のフレーム２ｎ＋１（但し、ｎは自然数。）において白色光による通常観察画像が撮像され、偶数番目のフレーム２ｎにおいてランダムドットパターン光の像が撮像される。そして、フレーム２ｎの画像データに基づいて３Ｄ画像が生成される。

また、通常観察画像には、偶数番目のフレーム２ｎ（例えばフレーム２）のタイミングで撮像された画像データが存在しないため、図６（ｅ）に示されるように、一つ前の奇数番目のフレーム２ｎ−１（例えばフレーム１）の画像データを２回繰り返して表示することで、モニタ３００ａに表示される通常観察画像の欠落の無い連続した画像遷移が実現されている。

同様に、ランダムドットパターン光の画像には、奇数番目のフレーム２ｎ＋１（例えばフレーム３）のタイミングで撮像された画像データが存在しないため、図６（ｆ）に示されるように、一つ前の偶数番目のフレーム２ｎ（例えばフレーム２）の画像データに基づいて生成した３Ｄ画像を２回繰り返して表示することにより、モニタ３００ｂに３Ｄ画像をちらつき無く表示させることができる。

＜第２実施形態＞
［電子内視鏡システム全体の構成］
次に、本発明の第２実施形態について説明する。以下、上述した第１実施形態との相違点を中心に説明する。第１実施形態と共通の又は類似の構成には、同一又は類似の符号を付して、重複する説明は省略する。

第１実施形態では、通常観察光Ｌａと３Ｄ計測光Ｌｂの両方を逆位相でチョッピングすることにより、通常観察光Ｌａと３Ｄ計測光Ｌｂの照射期間が重複しないようにして、通常観察光Ｌａによる像と３Ｄ計測光Ｌｂによる像とをフレーム毎に分離して撮像する構成が採用されている。この構成により、画像データから３Ｄ計測光Ｌｂのランダムドットパターンを抽出する画像処理を容易にしている。以下に説明する第２実施形態では、３Ｄ計測光Ｌｂのみをチョッピングする。すなわち、通常観察光Ｌａを連続的に被写体に照射しながら、これに重ねて、３Ｄ計測光Ｌｂのランダムドットパターンを被写体に間欠的に照射する。そして、通常観察光Ｌａによる像と３Ｄ計測光Ｌｂによる像の両方が重なって撮像された画像データから、ランダムドットパターンを抽出し、抽出したランダムドットパターンから被写体の３Ｄ画像を生成する。第２実施形態の構成では、画像処理は複雑になるものの、より簡単な装置構成により通常観察画像と３Ｄ画像を同時に画面表示することを可能にしている。

また、第１実施形態はグローバルシャッター方式のＣＭＯＳイメージセンサを使用した例であるが、以下に説明する第２実施形態では、ライン露光順次読み出し方式（ローリングシャッター）のＣＭＯＳイメージセンサが使用される。後述するように、本実施形態では、固体撮像素子１０８の全てのライン（走査線）の露光期間が重なる期間（本明細書において「グローバル露光期間」という。）内に３Ｄ計測光Ｌｂを照射する構成が採用されている。この構成によれば、３Ｄ計測光Ｌｂの１回の照射によって形成される光の像が連続する２枚の画像出力に分かれて撮像されることがなく、かつ通常観察画像に３Ｄ計測光の像が映り込むこともない。なお、本実施形態において、グローバル露光期間は、最終ラインの露光開始から最初のラインの露光終了までの期間である。

図７は、本発明の第２実施形態に係る電子内視鏡システム１ａの構成を示すブロック図である。第２実施形態では、ロータリーシャッタ装置２６０が３Ｄ計測光Ｌｂの光路上のみに配置され、３Ｄ計測光Ｌｂのみがチョッピングによりパルス光列に変調される。また、回転式シャッタ２６１の開口は、グローバル露光期間にのみ３Ｄ計測光Ｌｂが照射されるように、グローバル露光期間に応じた角度範囲に広がる扇状に形成されている。

第２実施形態の電子内視鏡システム１ａも、通常観察モード、３Ｄ表示モード及び緊急モードの３つの動作モードで動作する。通常観察モード及び緊急モードにおける動作は、第１実施形態と同様のものであり、「３Ｄ表示モード」における動作のみが第１実施形態と相違する。

［画像処理］
図８は、本実施形態の画像処理を説明する図である。図８（ａ）は固体撮像素子１０８の駆動のタイミングを示し、図８（ｂ）は３Ｄ計測光Ｌｂを照射するタイミングを示す。なお、本実施形態では、通常観察光Ｌａは常時照射される。また、図８（ｃ）は固体撮像素子１０８によって撮像された原画像の遷移図であり、図８（ｄ）はモニタ３００ａに表示される通常観察画像の遷移図であり、図８（ｅ）はモニタ３００ｂに表示される３Ｄ画像の遷移図である。

第２実施形態では４フレーム毎に３Ｄ計測光Ｌｂが被写体Ｓに投影され、３Ｄ計測光Ｌｂのランダムドットパターン光の像が写された画像が４フレーム毎に撮像される。具体的には、フレーム４ｎ＋２（但し、ｎは自然数。）においてランダムドットパターン光の像が撮像され、これらのフレームの画像データに基づいて３Ｄ画像が形成される。また、フレーム４ｎ＋２以外の画像データ（すなわち、通常観察光Ｌａのみが照射されるタイミングで撮像した画像データ）に基づいて通常観察画像が生成される。また、本実施形態においても、３Ｄ計測光Ｌｂはグローバル露光期間内にのみ照射される。

また、通常観察画像には、フレーム４ｎ＋２（例えばフレーム２）のタイミングで撮像された画像データが存在しないため、図８（ｄ）に示すように、一つ前のフレーム４ｎ＋１（例えばフレーム１）の画像データを２回繰り返して表示することで、モニタ３００ａに表示される通常観察画像の欠落の無い連続した画像遷移が達成されている。

また、モニタ３００ｂに表示される３Ｄ画像は、滑らかな動きまでは必要とされていないため、４フレーム毎に画像が更新される。すなわち、フレーム４ｎ＋２の画像データに基づいて生成された３Ｄ画像が、フレーム４ｎ＋２からフレーム４ｎ＋５の期間までモニタ３００ｂに画面表示される。

また、フレーム４ｎ＋２を撮像する際には、通常観察光Ｌａと３Ｄ計測光Ｌｂの両方が被写体Ｓに照射されるため、フレーム４ｎ＋２には通常観察光Ｌａの像と３Ｄ計測光Ｌｂの像が重なり合った像が撮像される。３Ｄ計測には３Ｄ計測光Ｌｂの像のみが使用されるため、通常観察光Ｌａの像はノイズとなる。本実施形態では、３Ｄ計測光Ｌｂに波長６５０ｎｍの狭帯域光が使用される。この波長の光は、固体撮像素子１０８に装着されたレッドＲの透過率が高く、ブルーＢ及びグリーンＧのカラーフィルタは透過率が低い。そのため、ブルーＢ及びグリーンＧの画像信号とレッドＲの画像信号との画素値の差が所定値以上となる画素を３Ｄ計測光Ｌｂの像として抽出することができる。同様に、波長５３２ｎｍの狭帯域光を使用し、ブルーＢ及びレッドＲの画素信号とグリーンＧの画像信号との画素値の差が所定値以上となる画素を３Ｄ計測光Ｌｂの像として抽出してもよい。同様に、波長４７０ｎｍの狭帯域光を使用し、グリーンＧ及びレッドＲの画素信号とブルーＢの画像信号との画素値の差が所定値以上となる画素を３Ｄ計測光Ｌｂの像として抽出してもよい。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の各実施形態の電子内視鏡システムは、２つのモニタ３００ａ、３００ｂを備え、それぞれに通常観察画像と３Ｄ画像を表示する構成が採用されているが、本発明はこの構成に限定されない。例えば、１画面に通常観察画像と３Ｄ画像を表示させる所謂２画面表示の画面データを生成し、１つのモニタに通常観察画像と３Ｄ画像を同時に表示させる構成としてもよい。２画面表示の例を図９に示す。

上記の第２実施形態では、４フレーム毎に３Ｄ計測光Ｌｂの像が撮像されるが、３Ｄ計測光Ｌｂの像を撮像する間隔はこれに限定されない。また、３Ｄ計測光Ｌｂの像を撮像する間隔を設定により変更できるように構成してもよい。この場合、３Ｄ計測光Ｌｂの像を撮像する間隔に応じて、例えば、回転式シャッタ２６１の回転数を自動的に変更する構成としてもよい。

また、上記の各実施形態では、ＬＣＢ１０３にマルチモード光ファイバが使用されているが、シングルモード光ファイバを使用してもよい。その場合には、空間光を直接ＬＣＢ１０３に導入するのではなく、１本の光ファイバに導入した後、多分岐の光スプリッタ（例えば、光ファイバ型や光導波路型のもの）を使用してＬＣＢを形成する複数の光ファイバに分岐する構成としてもよい。この構成によれば、３Ｄ計測光Ｌｂを高効率でＬＣＢ１０３に結合させることができる。また、シングルモード光ファイバは、開口数（Numerical Aperture: NA）が低いため、ランダムドットパターン光の発散角（すなわち、スポットＰの径）が小さく抑えられ、高い精度の３Ｄ計測が可能になる。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０３ ＬＣＢ
２００ プロセッサ
２０８ａ ランプ
２０８ｂ ランプ
２２０ 画像処理回路
２６０ ロータリーシャッタ装置
Ｌａ 通常観察光
Ｌｂ ３Ｄ計測光

Claims (14)

1. ３Ｄ計測光を伝搬する第１ライトガイドと、
   前記３Ｄ計測光が照射された被写体を撮像する撮像素子と、
   を備え、
   前記第１ライトガイドが、光ファイバ束を備え、
   前記光ファイバ束が、その先端からランダムドットパターン光が射出されるように、先端部において該光ファイバ束の中心軸周りに捩られている、
   電子スコープ。
2. 前記光ファイバ束の先端部が充填材により一体に固定されている、
   請求項１に記載の電子スコープ。
3. 前記光ファイバ束の先端面が曲面研磨されている、
   請求項２に記載の電子スコープ。
4. 請求項１から請求項３のいずれか一項に記載の電子スコープと、
   前記電子スコープに前記３Ｄ計測光を供給する第１光源と、
   前記撮像素子が生成する画像信号を処理して３Ｄ画像データを生成するプロセッサと、
   を備えた電子内視鏡システム。
5. 前記プロセッサが、前記被写体に投影された前記ランダムドットパターン光の画像に基づいて、前記電子スコープの先端から前記被写体に投影された前記ランダムドットパターン光の各スポットまでの距離を計測する、
   請求項４に記載の電子内視鏡システム。
6. キャリブレーション用のスクリーンを備え、
   前記プロセッサが、前記ランダムドットパターン光が投影された前記スクリーンを撮像した画像における該ランダムドットパターン光の各スポットの像の画素位置を記憶する記憶装置を備えた、
   請求項５に記載の電子内視鏡システム。
7. 以下の数式１により、前記電子スコープの先端から前記被写体に投影された前記ランダムドットパターン光の各スポットまでの距離を計測する、
   請求項６に記載の電子内視鏡システム。
   

   

   ここで、各変数の定義は以下の通りである。
   Ｎ_ｘ：前記スクリーンを撮像した画像における該スクリーンの横幅（単位：ピクセル）
   ｄ：前記撮像素子の撮像面と前記光ファイバ束の中心点間の距離（単位：ｍｍ）
   Ｌ：前記電子スコープの先端と前記スクリーンとの距離（単位：ｍｍ）
   Ｌ_ｗ：前記スクリーンの横幅の実寸（単位：ｍｍ）
   ｘ_０：前記スクリーン上に投影された前記ランダムドットパターン光のスポットの像の画素位置（単位：ピクセル）
   ｘ：前記被写体上に投影された前記ランダムドットパターン光のスポットの像の画素位置（単位：ピクセル）
8. 前記電子スコープに通常観察光を供給する第２光源を備え、
   前記電子スコープが、前記通常観察光を伝搬する第２ライトガイドを備えた、
   請求項４から請求項７のいずれか一項に記載の電子内視鏡システム。
9. 前記第１光源が、前記撮像装置による撮像の周期と同期したパルス光の前記３Ｄ計測光を供給し、
   前記プロセッサが、
   前記電子スコープに前記通常観察光のみが供給されている時に撮像された前記画像データに基づいて通常観察画像データを生成し、
   前記電子スコープに前記３Ｄ計測光が供給されている時に撮像された前記画像データに基づいて前記３Ｄ画像データを生成する、
   請求項８に記載の電子内視鏡システム。
10. 前記第１光源が、前記撮像装置による撮像の周期と同期したパルス光の前記３Ｄ計測光を供給し、
    前記第２光源が、前記撮像装置による撮像の周期と同期したパルス光の前記通常観察光を、前記３Ｄ計測光と異なる位相で供給し、
    前記プロセッサが、
    前記電子スコープに前記通常観察光が供給されている期間に撮像された前記画像データに基づいて前記通常観察画像データを生成し、
    前記電子スコープに前記３Ｄ計測光が供給されている期間に撮像された前記画像データに基づいて前記３Ｄ画像データを生成する、
    請求項８に記載の電子内視鏡システム。
11. 前記撮像素子がライン露光順次読み出し方式により動作するものであり、
    前記第１光源が、前記撮像素子の全てのラインの露光期間が重なるグローバル露光期間にのみ前記３Ｄ計測光を供給する、
    請求項９又は請求項１０に記載の電子内視鏡システム。
12. 前記通常観察光及び前記３Ｄ計測光が供給され、前記通常観察画像データ及び前記３Ｄ画像データが生成されて３Ｄ表示が行われる３Ｄ表示モードと、
    前記３Ｄ計測光のみが供給され、前記３Ｄ計測光が照射された被写体が表示される緊急モードと、により動作可能な、
    請求項８から請求項１１のいずれか一項に記載の電子内視鏡システム。
13. 更に、前記通常観察光のみが供給され、前記通常観察画像データのみが生成される通常観察モードにより動作可能な、
    請求項１２に記載の電子内視鏡システム。
14. 前記３Ｄ表示モードにおいて、前記通常観察光と前記３Ｄ計測光が１フレーム期間毎に交互に供給され、
    前記撮像素子が、
    前記通常観察モードにおいて基本フレームレートで駆動され、
    前記３Ｄ表示モードにおいて倍速フレームレートで駆動される、
    請求項１３に記載の電子内視鏡システム。

Images