JP2017086271A - 画像観察装置 - Google Patents

Abstract

【課題】光導波路を通して撮像した被写体の画像をリアルタイムに再生表示する。【解決手段】画像観察装置は、光源１から発せられて物体１１に照射された物体照明光のうち物体で反射した物体光を第１の光導波路１０を通してイメージセンサ５に導くとともに、光源から発せられて前記物体光とは異なる光学経路を通った参照光をイメージセンサに導き、該物体光と参照光とにより形成される干渉縞をイメージセンサを介してホログラムとして記録する。該装置は、記録したホログラムを空間光変調器１２上に形成し、参照光に相当する再生用照明光で該空間光変調器を照明することで再生光を発生させる。第１の光導波路と光学的に等価な第２の光導波路１８に入射して該第２の光導波路から出射した再生光により物体再生像を生成する。【選択図】図３

Description

本発明は、物体を撮像して物体再生像を観察者に観察させる画像観察装置に関し、例えば内視鏡装置に好適なものに関する。

上記のような画像観察装置は、例えば、細い管腔に挿入され、該管腔の内部空間に存在する被写体（物体）を撮像して被写体再生像（物体再生像）の観察を可能とする工業用内視鏡もしくは医療用内視鏡として広く利用されている。ただし、より細い管腔に挿入できるように装置をより細径化すると、面積・体積的な制約により装置を構成する電子部品、特に画像センサの性能を高品質に維持することが困難になる。また、装置をより細径化すると、設計・製造・実装上の制約により、装置を構成する光学部品を高品質に維持することが困難になる。これらにより、得られる画像の画質が劣化する。

非特許文献１には、このような問題を解決するために、マルチモードの光ファイバ１本のみで体内の被写体の撮像を行う内視鏡装置が開示されている。この装置では、内視鏡の先端にレンズ等の結像光学系もセンサも設けず、数百ミクロン径のマルチモードファイバ１本のみで画像情報伝送を実現する。

非特許文献１にて開示された内視鏡装置の原理について説明する。この装置では、マルチモードファイバを１個の散乱体とみなし、散乱体内の光伝播特性を表す散乱行列のうち透過成分に関する伝播特性を表す「透過行列」を予め取得する。そして、体内側の入射端近傍面をＯＰ（ξη平面）、体外側の出射端近傍面をＩＰ（ｘｙ平面）、と定義すると、透過行列ＴとＩＰ上の画像列Ｅ_ＩＰとＯＰ上の画像列Ｅ_ＯＰとの関係は式（１）のように表すことができる。

これを透過行列Ｔの逆行列Ｔ^−１を用いて表現すると、

と定義される。つまり、光ファイバの体外側出射近傍面における画像列と透過行列Ｔさえ取得できれば、光ファイバの体内側の入射近傍面における画像が求められることになる。このとき、ＯＰ平面上の被写体をθ_ξ，θ_ηの方向の平行光で照明して得られる被写体画像列であるＥ_ＯＰ（θ_ξ，θ_η，ξ，η）をファイバ伝播によるＯＰ→ＩＰの画像変換行列Ｅ_fiberを用いて変換したものが透過行列Ｔと考えると、

という関係が成立する。これは透過行列Ｔを実験的に求めるときに役立つ式であり、実際に体内側から光ファイバに異なる入射角θ_ξ，θ_ηでコヒーレント光を順次入射させて、その都度、体外側の出射端近傍面ＩＰ（ｘｙ平面）上に形成される光強度分布の画像列を取得することができる。式（３）より、被写体画像列Ｅ_ＯＰが一様分布とした場合（入射角θ_ξ，θ_ηの平行光をダイレクトに光ファイバに入射させた場合）、ファイバ伝播によるＯＰ→ＩＰの画像変換行列Ｅ_fiberそのものが透過行列Ｔになる。このようにしてマルチモードファイバの伝播特性を一旦求めておけば、体内側の入射端近傍面ＯＰに置かれた被写体の反射光強度分布を式（２）の逆行列演算と式（３）の積算演算（スペックル画像の平均化を意味する）とにより取得することができる。

Youngwoon Choi et al., "Scanner-Free and Wide-Field Endoscopic Imaging by Using a Single Multimode Optical Fiber", PHYSICAL REVIEW LETTERS 109, 203901 (2012)

非特許文献１にて開示された装置は極細径の内視鏡装置を実現することが可能である。しかしながら、以下のような問題がある（これらの問題の発生事由については後述する）。
１．式（２）および式（３）に示した演算は膨大な画像処理演算を伴うため、被写体画像を取得するのに長時間を要し、内視鏡装置に必要なリアルタイムな再生表示を行うことができない。
２．光ファイバ内の光伝播特性を事前に取得するために光ファイバへの光の入射角θ_ξ，θ_ηを多重化して計測する必要がある。この結果、演算に長時間を要する。
３．光ファイバ内の光伝播特性を事前に取得する際の光ファイバの状態と体内の被写体の観察時における光ファイバの状態とが異なっていると、透過行列Ｔが変化してしまい、上記演算で正しく被写体画像を生成（再生）することができない。

本発明は、光ファイバ等の光導波路を通して撮像した被写体の画像を再生するための演算に要する時間を短縮してリアルタイムに被写体画像の観察を行えるようにした画像観察装置を提供する。

本発明の一側面としての画像観察装置は、光源と、第１の光導波路と、光電変換を行うイメージセンサと、第２の光導波路と、入射した光を変調する空間光変調器とを有する。この装置は、光源から発せられて物体に照射された物体照明光のうち物体で反射した物体光を第１の光導波路を通してイメージセンサに導くとともに、光源から発せられて物体光とは異なる光学経路を通った参照光をイメージセンサに導き、物体光と参照光とにより形成される干渉縞をイメージセンサを介してホログラムとして記録する。記録したホログラムを空間光変調器上に形成し、参照光に相当する再生用照明光で該空間光変調器を照明することで再生光を発生させる。そして、第１の光導波路と光学的に等価な第２の光導波路に入射して該第２の光導波路から出射した再生光により形成される物体再生像の観察を行わせることを特徴とする。

本発明によれば、マルチモードファイバ等の細径の光導波路を通して撮像した物体の画像（物体再生像）を再生するための演算に要する時間を短縮して、リアルタイムな被写体再生像の観察を行えるようにすることができる。

本発明の実施例１である画像観察装置（ホログラムの記録時）の構成を示す図。 実施例１の画像観察装置（被写体再生像の再生時）の構成を示す図。 本発明の実施例２である画像観察装置の構成を示す図。 本発明の実施例３である画像観察装置の構成を示す図。 本発明の実施例４である画像観察装置の構成を示す図。 本発明の実施例５である画像観察装置の構成を示す図。 屈曲した第１の光導波路を通したホログラフィ記録を示す図。 記録時と屈曲状態が異なる第２の光導波路を通したホログラフィ再生を示す図。 第１の光導波路の屈曲状態を検出する構成を示す図。 第２の光導波路の屈曲状態を制御する構成を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

（装置構成）
図１および図２には、本発明の実施例１である画像観察装置としての内視鏡装置の基本構成を示している。図１は被写体情報を示すホログラムの記録時の構成を示し、図２はホログラムからの被写体再生像（物体再生像）の形成時（以下、再生時ともいう）の構成を示している。これらの図において、１はレーザ光源、２はビームエキスパンダ、３，７，８，１５はビームスプリッタ、４はミラーである。５はイメージセンサ、６はイメージセンサ用画像取得部である。９は第１のカップリング光学系、１０は第１の光導波路、１１は被写体（物体）である。１２は空間光変調器（ＳＬＭ）、１３は空間光変調器駆動部、１４は空間光変調器用の位相調整子である。１６は光路差調整用ブロック、１７は第２のカップリング光学系、１８は第２の光導波路である。１９は被写体再生像である。

本実施例の内視鏡装置は、細い管腔内に挿入されて該管腔の内部の様子を観察者に観察させる装置であり、特にその径をできるだけ細くすることが目的の１つである。このため、第１および第２の光導波路として光ファイバを使用する。ただし，光ファイバとしてのシングルモードファイバは、被写体からの反射光のうち光軸近傍の成分しか伝播することができないので、内視鏡装置には不適切である。そこで、本実施例では、第１および第２の光導波路として、マルチモードファイバを用いる。

本実施例では、ホログラフィ原理によってホログラムの記録と被写体再生像の再生とを行う。まず、ホログラムの記録方法について図１を用いて説明する。レーザ光源１から放射されたコヒーレント光は、ビームエキスパンダ２で所定の径の平行光ビームに変換され、その後に２系統に分波されてそれぞれホログラム記録用の物体光と参照光として用いられる。

物体光の元となる物体照明光は、図１中の符号で示すと、１→２→３→４→８→９→１０→１１という光学経路を経て、第１の光導波路１０を通って被写体１１に照射される（被写体を照明する）。この際、物体照明光は、第１の光導波路１０にその被写体側（物体側）の端とは反対側の端から入射し、被写体側の端から出射して被写体１１に照射される。

この物体照明光のうち、被写体１１の表面で反射し、再び第１の光導波路１０に入射して物体照明方向とは逆方向に伝播する光が物体光となる。物体光は、被写体１１から１０→９→８→７→５という光学経路を経てイメージセンサ５のセンサ面上に到達する。この際、物体光は、第１の光導波路１０にその被写体側の端から入射し、被写体側とは反対側の端から出射してセンサ面上に到達する。

一方、参照光は、１→２→３→７→５という第１の光導波路１０を含まない光学経路、つまりは物体光の光学経路とは異なる光学経路を通ってイメージセンサ５のセンサ面上に到達する。センサ面上において、物体光と参照光は互いに干渉してホログラム干渉縞を形成する。イメージセンサ５は、このホログラム干渉縞を光電変換し、ホログラム干渉縞の強度分布をイメージセンサ５に接続されたイメージセンサ用画像取得部６に記録する。このようにしてホログラムの記録を行う。

次に、被写体再生像の再生方法について図２を用いて説明する。再生時には、上記記録方法により記録したホログラム（干渉縞）を空間光変調器１２上に再生し、これを記録時の参照光に相当する、つまりは参照光と波長や強度等の光としての条件が同じホログラム照明光で照明することで物体光を再生する。ホログラム照明光は、図２中の符号で示すと、１→２→３→１５→１４→１２という光学経路で空間光変調器１２上に導かれる。

空間光変調器１２上に形成されたホログラム干渉縞は、ホログラム照明光の振幅と位相を変調してホログラム再生光を発生させる。ホログラム再生光は、元の物体光と同じ波面を持って、１２→１４→１５→１６→１７→１８という光学経路で元の被写体１１に対応する被写体再生像１９を形成する。この際、ホログラム再生光は、第２の光導波路１８にその入射端から入射し、該入射端とは反対側の出射端から出射して被写体再生像１９を形成する。

観察者は、この被写体再生像１９を観察することで、体内の被写体１１の様子を観察することができる。

記録時と再生時の光学経路が光学的に等価であることが被写体再生像を正しく再生する条件となるので、用いられる光学部品はその配置・仕様・性能が記録時と再生時とで同一となるように構成されている。具体的には、ビームスプリッタ７とビームスプリッタ１５、ビームスプリッタ８と光路差調整用ブロック１６、第１のカップリング光学系９と第３のカップリング光学系１７および第１の光導波路１０と第２の光導波路１８がすべて光学的に等価である。なお、本実施例では空間光変調器１２として反射型のものを用いているが、透過型のものを用いてもよい。
（記録系と再生系の一体化）
前述したように、本実施例の装置では、ホログラムの記録時の光学経路（以下、記録系という）と被写体再生像の再生時の光学経路（以下、再生系という）とが光学的に等価である。このため、記録系と再生系とを一部共通化して一体化することで、部品点数を減少させたり精度を向上させたりすることが可能となる。

図３には、このような一体化を実現した構成例を示している。この構成例では、レーザ光源１、ビームエキスパンダ２およびビームスプリッタ３が記録系と再生系とで共通化されている。レーザ光源１からビームスプリッタ３に入射する光のうち反射光は記録時の参照光として用いられ、透過光は再生時のホログラム照明光として用いられる。ビームスプリッタ３からビームスプリッタ１５に入射する光のうち反射光は記録時の物体照明光として用いられ、透過光は再生時のホログラム照明光として用いられる。さらに、空間光変調器１２からビームスプリッタ１５に入射するホログラム再生光は、該ビームスプリッタ１５により反射されて、第２の光導波路１８に向かう。また、ビームスプリッタ１５からビームスプリッタ８に入射する光のうち反射光は記録時の物体照明光として用いられ、第１の光導波路１０からビームスプリッタ８に入射する物体光はビームスプリッタ８を透過してイメージセンサ５に向かう。

このような一体化を採用することにより、コンパクトな構成の内視鏡装置を実現することができる。
（フィールドレンズと凹凸反転方法）
本実施例において被写体再生像を観察する際に２つの問題が懸念される。第１に、本実施例の装置では、微細径の光導波路（光ファイバ）からの出射光により形成される被写体再生像を観察する。この際、観察者は、ほぼ点光源からの発散光を観察する状態となり、観察者の眼の瞳孔と光ファイバの出射端とを結ぶ領域において形成される被写体再生像しか観察することができない。

この問題を解消するため、本実施例では、図４に示すように、被写体再生像１９の近傍にフィールドレンズ２１を配置し、光ファイバの光軸から離れた被写体再生像を形成するホログラム再生光も観察者の眼に入射するようにしている。このとき、被写体再生像１９の３次元的な結像を阻害しない程度にフィールドレンズ２１の表面もしくは内部に散乱特性を持たせてスクリーン効果を発生させると、光ファイバの光軸から離れた被写体再生像の光量低下をより確実に防止することができる。

第２の問題は、観察される被写体再生像１９の凹凸反転である。図１と図２を比較すると分かるように、被写体１１からの反射光である物体光により形成されるホログラム（干渉縞）を記録する場合、物体光は図１において被写体１１から第１の光導波路１０を右方向に進行する。これに対して、被写体再生像１９を形成するホログラム再生光は、第２の光導波路１８を左方向に進行する光であるため、被写体再生像１９の左側からこれを観察するしかない。このような観察を行うと、実際の被写体１１に対して被写体再生像１９は凹凸が反転した像となって認識されてしまう。

そこで、本実施例では、図５に示すように、被写体再生像１９を撮像装置２２により撮像し、この撮像により得られた画像データを画像入出力装置２３で信号処理した後にディスプレイ２４に表示する。このとき、元の被写体再生像１９が３次元像となっている特性を維持するため、撮像装置２２は、互いに視差を有する左右の視差画像の取得が可能なステレオ撮像装置であることが望ましい。さらに、被写体再生像１９を正しく３次元像として表示するためには、ディスプレイ２４としても、観察者の左右の眼への指向性表示が可能なステレオ表示装置を採用し、かつ画像入出力装置２３での信号処理時に３次元像の凹凸反転処理を実行するとよい。具体的には、左右二眼式のステレオ撮像装置２２で被写体再生像１９を撮像し、ステレオ表示装置としてのディスプレイ２４に表示する際に左右の視差画像の入れ替え表示を行う。これにより、凹凸が元の被写体１１と同じである被写体再生像１９を観察者に観察させることができる。

このとき、被写体再生像１９は元の被写体１１と同じ大きさの像となるため、観察者が直接観察すると小さすぎるケースが多くなる。そこで、本実施例では、ディスプレイ２４として適当な画面サイズを有するものを使用し、被写体再生像１９に対して拡大された立体像を観察できるように構成して，観察に適した大きさの立体像の観察を可能にしている。

被写体再生像１９の凹凸反転の解決策としては、図６に示す方法も有効である。被写体再生像１９を形成するホログラム再生光をハーフミラー２５を介して再帰反射性スクリーン２６に投射する。これにより、被写体像の凹凸反転が行われ、観察者はフィールドレンズ２１を介して正常な凹凸を有する被写体再生像２７を観察することができる。

（光ファイバの屈曲に対する対策）
実施例１で説明したように、ホログラフィ原理によってホログラムの記録と被写体再生像の再生とを行う内視鏡装置では、記録系と再生系とが光学的に等価である必要がある。しかし、実施例１の内視鏡装置のように光導波路として細径のマルチモードファイバを用いる場合には、体内に挿入されて形状が変化した第１の光導波路１０と再生時に用いられる第２の光導波路１８とが光学的に異なる光学系となる。この結果、正しい被写体再生像１９が得られなくなるおそれがある。図７および図８にはこのことを示している。

図７に示すように第１の光導波路１０が屈曲した状態で記録したホログラムを用いて、図８に示すように屈曲していない第２の光導波路１８を用いて被写体再生像１９を再生すると、元の被写体１１とは異なる被写体再生像１９が得られる。本実施例では、このような問題を解消する手段として、以下の参考文献１および参考文献２にて開示されているファイバ変位センサを用いる。
（参考文献１） 荒田純平ら、 "光ファイバを応用した背骨型アレイ式力センサの開発"、 日本コンピュータ外科学会誌 Ｖｏｌ．１４，Ｎｏ．４（２０１２）
（参考文献２） 特開２００８−１７３３９７号公報
図９および図１０を用いてその具体的方法を説明する。まず，ホログラムの記録時の第１の光導波路１０の屈曲状態（形状）を検出する屈曲検出手段として、本実施例では、ファイバーブラッググレーティング（以下、ＦＢＧという）を用いる。

ＦＢＧは、光ファイバ内部のコア部分に予め回折格子構造を形成しておき、入射光の波長帯のうち特定波長（ブラッグ波長）のみが回折格子構造で反射し、他の波長は回折格子構造を透過する性質を利用して、光ファイバの変位状況を検出する。ＦＢＧに温度や外力が加わって光ファイバが膨張したり伸張したりした場合は、回折格子構造の間隔も変化して反射するブラッグ波長も変わるので、このときの波長変動量によって光ファイバ自体の変位量を検出することができる。したがって、１本の光ファイバ内に異なるブラッグ波長のＦＢＧを複数箇所設けておき、広帯域の光を入射させてその戻り光の分光解析を行えば、その光ファイバの変位の状況を測定することができる。

本実施例では、図９におけるハッチングした部分にＦＢＧ２８を設け、カップラ２９を介して広帯域光源３０からの入射光を光ファイバ内に導く。分光検出器３１は、反射光の分光特性を検出する。個々のＦＢＧのブラッグ波長は互いに異なっており、光ファイバに変位が生じた部位に応じて反射光の分光特性が異なって検出されるので、上記構成により光ファイバの屈曲状態を検出することが可能となる。検出された光ファイバの屈曲状態のデータは、不図示の記録・制御部に送られ、再生時に用いられる第２の光導波路１８の屈曲状態の制御に用いられる。本実施例では、このような屈曲状態の制御を行うために、以下の参考文献３にて開示されているソフトアクチュエータを用いる。

（参考文献３）岡村弘之、 井上博允， “未来開拓学術研究−マイクロメカトロニクス・ソフトメカニクス” 日本ロボット学会誌 １８．８（２０００）
ソフトアクチュエータは、導電性高分子材料や導電性ゲル等の柔軟な素材で構成されており、生体の筋肉組織を工学的に模倣することを目的とした、言わば「人工筋肉」である。図１０に示すように、再生時に用いる第２の光導波路１８の表面には、指や腕を動かす筋肉繊維のように複数の節に分割されたソフトアクチュエータ３２が取り付けられている。すべてのソフトアクチュエータ３２は記録・制御部（制御手段）５０に接続されており、記録・制御部５０は、第２の光導波路１８の屈曲状態を第１の光導波路１０の屈曲状態に一致させる又は近づけるようにソフトアクチュエータ３２を制御する。

このような屈曲状態の制御を行うことで、記録系と再生系とを光学的な差異がない（または殆どない）等価な光学系とすることができ、正しい被写体再生像１９を得ることができる。

（実施例の効果）
上記実施例によれば、少なくとも以下のような効果を得ることができる。

第１に、極細径のマルチモード光ファイバ１本を用いるだけで体内の被写体の撮像を行う内視鏡装置を実現することができる。

第２に、被写体再生像を再生する際に、従来は膨大な反復画像処理演算によって画像の再構成を行っていたためにリアルタイムな再生ができなかったが、実施例ではこのような演算を行わずに、リアルタイムな再生が可能となる。

第３に、被写体再生像の凹凸反転や像サイズが微小であるといった問題を解消することができる。

第４に、ホログラムの記録時における光ファイバの屈曲状態がどのようなものであっても、被写体再生像の再生時における光ファイバの屈曲状態が制御されることで、正しい被写体再生像を得ることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては各実施例に対して種々の変形や変更が可能である。

１ レーザ光源
５ イメージセンサ
１０ 第１の光導波路
１１ 被写体
１２ 空間光変調器
１８ 第２の光導波路
１９ 被写体再生像

Claims (8)

1. 光源と、
   第１の光導波路と、
   光電変換を行うイメージセンサと、
   第２の光導波路と、
   入射した光を変調する空間光変調器とを有し、
   前記光源から発せられて物体に照射された物体照明光のうち前記物体で反射した物体光を前記第１の光導波路を通して前記イメージセンサに導くとともに、前記光源から発せられて前記物体光とは異なる光学経路を通った参照光を前記イメージセンサに導き、前記物体光と前記参照光とにより形成される干渉縞を前記イメージセンサを介してホログラムとして記録し、
   前記記録したホログラムを前記空間光変調器上に形成し、前記参照光に相当するホログラム照明光で該空間光変調器を照明することで再生光を発生させ、
   前記第１の光導波路と光学的に等価な前記第２の光導波路に入射して該第２の光導波路から出射した前記再生光に物体再生像を形成させることを特徴とする画像観察装置。
2. 前記物体照明光を、前記第１の光導波路に物体側の端とは反対側の端から入射させ、前記物体側の端から前記物体に向けて出射させることを特徴とする請求項１に記載の画像観察装置。
3. 前記第１および第２の光導波路は、マルチモードファイバであることを特徴とする請求項１または２に記載の画像観察装置。
4. 前記物体再生像を撮像手段により撮像し、該撮像により得られた画像データを表示手段に表示することを特徴とする請求項１から３のいずれか一項に記載の画像観察装置。
5. 前記撮像手段は、互いに視差を有する左右の視差画像の取得が可能なステレオ撮像手段であり、
   前記表示手段は、観察者の左右の眼への指向性表示が可能なステレオ表示手段であり、
   前記表示手段は、前記左右の視差画像の左右を入れ替えて表示することを特徴とする請求項４に記載の画像観察装置。
6. 前記再生光を再帰反射性スクリーンに投射することにより前記物体再生像を表示することを特徴とする請求項１から５のいずれか一項に記載の画像観察装置。
7. 前記ホログラムの記録時における前記第１の光導波路の屈曲状態を検出する屈曲検出手段と、
   前記物体再生像の形成時に、前記第２の光導波路の屈曲状態を前記屈曲検出手段により検出された前記第１の光導波路の屈曲状態に一致させる又は近づけるように制御する制御手段とを有することを特徴とする請求項１から６のいずれか一項に記載の画像観察装置。
8. 前記屈曲検出手段は、ファイバーブラッググレーティングを用いていることを特徴とする請求項７に記載の画像観察装置。