JP2009006144A - 画像の作成方法および装置 - Google Patents

Abstract

【課題】内面の少なくとも１つの部分範囲が全体画像において完全に、すなわち空白なしに網羅されているようにする。
【解決手段】患者の体腔（２）の内面（１２）の内視鏡による複数の個別画像（Ｅ，Ｅ_i）から合成される全体画像（Ｂ）を作成するために、体腔（２）内に挿入された内視鏡（４）の光軸（８）の向きが、異なる方向から得られた個別画像（Ｅ，Ｅ_i）の評価および比較によって制御される。
【選択図】図１

Description

本発明は、患者の体腔内に挿入された内視鏡による複数の個別画像を合成して体腔内面の１つの全体画像を作成する画像の作成方法および装置に関する。

患者体内の空所の内視鏡検査の際に検査医師は、検出されない壁範囲によって間違った陰性の診断（全く所見をもたらさない誤った診断）を避けるために、体腔の内面をできるだけ完全に検出するように努める。しかしながら、体腔の内面のこのような完全な検出は、内視鏡の限られた画像領域およびモニタ上の内視鏡画像表示における不足した空間的深さゆえに、検査医師にとって非常に問題であるので、病気領域が発見されないままになる危険が存在する。画像撮影のために１８０°までの大きな開き角度を有するいわゆる魚眼レンズが使用可能であるが、しかしそれの画質は満足できず、このような魚眼レンズにより得られる画像は観察者にとって分かりにくい。

体腔の内面のできるだけ有効な画像情報を可能にするために、内視鏡の種々の位置および方位から撮影し記憶した複数の内視鏡個別画像から１つの全体画像を合成し、同様に内視鏡に組み込まれた距離測定システムにより体腔の内面の仮想３Ｄモデルを発生させることは公知である（例えば、特許文献１参照）。

ビデオカメラを装備したワイヤなし内視鏡検査装置（内視鏡検査カプセル）のためのコンピュータ支援３Ｄ撮像方法は公知である（例えば、特許文献２参照）。このコンピュータ支援３Ｄ撮像方法においては、重なり合う構造を認識するために、受信および評価装置に伝達される内視鏡個別画像がパターン認識アルゴリズムで処理される。この公知の方法の場合にも、個別画像が１つの全体画像および１つの３Ｄモデルに合成される。

しかし、公知の方法の場合には、内視鏡により作成されかつ更なる画像処理のために記憶された個別画像が空白なしの全体画像に合成され得ることが保証されていない。
独国特許第１０２００４００８１６４号明細書 独国特許出願公開第１０３１８２０５号明細書

本発明の課題は、患者の体腔の内面の内視鏡による複数の個別画像を合成して１つの全体画像を作成する画像の作成方法であって、全体画像によって内面の少なくとも１つの部分範囲が完全にすなわち全体画像に空白なしに網羅されていることが保証されている画像の作成方法を提供することにある。更に、本発明の課題はこの方法に基づいて動作する画像の作成装置を提供することにある。

画像の作成方法に関する課題は、本発明によれば請求項１の特徴を有する方法により解決される。本方法の有利な構成は従属請求項の対象であり、あるいは以下の説明並びに実施例から引き出すことができる。本発明によれば、患者の体腔の内面の内視鏡による複数の個別画像から合成される全体画像を作成する画像の作成方法において、内視鏡の光軸が異なる方向から得られた個別画像の評価および比較によって制御される。

本発明によれば、記憶されかつ全体画像の合成に使用可能である個別画像が、１つの個別画像により検出された領域よりも大きい少なくとも１つの診断上重要な内面領域を空白なしに、すなわち完全に網羅（カバー）することが保証される。

用語「内視鏡の光軸」は、以下において対象空間において内視鏡による画像作成に使用される撮像システムの光軸として理解すべきである。この撮像システムは例えば内視鏡先端に組み込まれたビデオカメラである。

方法の有利な実施態様においては、第１のステップにおいて、予め定められた異なる方向から複数の個別画像が撮影されて記憶される。個別画像の評価および比較によって、隣接する個別画像の間に場合によっては発生する空白ならびにこれらの空白にそれぞれ付属する方向が識別され、第２のステップにおいて、識別された方向から内視鏡の光軸の向きの制御によって新たに個別画像が作成され、合成された全体画像が空白をもはや持たなくなるまで必要ならば第２のステップが何回も繰り返される。

これらの複数の個別画像は２つの相前後する個別画像または２つよりも多数の相前後する個別画像であってよい。

内視鏡の光軸の向きの調整は、好ましくは自動的に、すなわちこのために検査医師の介入を必要とせずに行なわれる。これに対する代替または追加として、医師が手動での制御および手動での画像作成操作の際に空白なしに合成される全体画像の作成のために十分な部分的重なりを有する相前後する個別画像を作成するかどうかという光学的、音響的または触覚的な指示を医師に提供することを可能にする。

内視鏡の光軸の向きの調整は内視鏡の内視鏡先端の向きの調整によって行なわれる。

本発明の特別に有利な実施態様では、内視鏡先端に揺動可能支持されたビデオカメラを有する内視鏡が使用され、ビデオカメラが光軸の向きの調整のために揺動させられる。

付加的に内視鏡の位置および光軸の方向が位置固定の座標系において検出され、この位置でこの方向にて求められた画像と一緒に記憶されるならば、内視鏡による個別画像または内視鏡による全体画像を、内視鏡検査中または検査直前または直後に実行される他の撮像方法からの画像に結びつけることができる。

更に、各個別画像に対して光軸の方向において体腔の内面と内視鏡先端との距離が測定されて記憶され、個別画像およびそれぞれの付属する距離、位置および方向から３Ｄ全体画像が作成されるならば、検査医師は特に直観的な体腔表示を利用できる。

装置に関する課題は、本発明によれば、請求項８の特徴を有する装置により解決され、その利点は、この請求項の下位に置かれた従属請求項の利点と同様に、本質的にはそれぞれ付属の方法請求項に対して述べた利点に対応する。

本発明の更なる説明のために図面の実施例を参照する。
図１は本発明による装置を概略的な原理図にて示し、
図２はビデオカメラの光軸の模範的な実現可能な制御の経過を概略的なフローチャートにて示す。

図１によれば、患者の体腔２内に例ではフレキシブル内視鏡４が挿入され、内視鏡４内には先端側の自由端にビデオカメラ６が配置されている。内視鏡先端に組み込まれたビデオカメラ６を使用する場合にビデオカメラ６の光軸と一致する内視鏡４の光軸８を、内視鏡先端の揺動によって、図において２つの両方向矢印によって具体的に示されているように、種々異なる方向に向けることができる。

内視鏡４は、図の表示とは違って、ビデオカメラ６が揺動可能に支持されている堅い内視鏡であってもよい。他の簡単化された変形例では同様に堅い内視鏡が配置され、この内視鏡においてビデオカメラ６は位置固定して、ビデオカメラ６の光軸８（したがって内視鏡の光軸）が斜めに、つまり内視鏡の長手軸線に対して０°とは異なる角度で斜めに延在するように配置されている。内視鏡の回転によって注視方向、すなわち内視鏡の光軸の方向が変化する。

内視鏡の光軸と内視鏡先端部の長手軸線との間の角度が０°と異なる場合、図示のようにフレキシブル内視鏡４を使用すると、複数のボーデンワイヤと内視鏡４の長手軸線の周りにおける内視鏡４全体の回転とにより、光軸の方向を互いに垂直な３つの軸線の周りに揺動させることができる。

これに対する代替として、フレキシブル内視鏡４の場合にも、ビデオカメラ６を内視鏡４の内部において、例えば外部の磁場により制御するようにしてもよい。

更に、内視鏡先端４には距離測定装置１０が組み込まれ、この距離測定装置１０により光軸８の方向において体腔２の内面１２と内視鏡先端４またはビデオカメラ６の入口窓との距離ａを測定することができる。ビデオカメラ６が内視鏡４の内部に揺動可能に配置されている場合、ビデオカメラ６に距離測定装置１０が機械的に強制連結されている。更に、内視鏡４内には位置センサ１４が組み込まれ、この位置センサ１４により位置固定の座標系ｘ，ｙ，ｚにおける位置および向きを検出することができる。この位置固定の座標系ｘ，ｙ，ｚにおいてビデオカメラ６の光軸８の方向φ，θも既知である。更に、図には、Ωにてビデオカメラ６によって検出される空間角度が記入されている。

ビデオカメラ６により、光軸８の異なる方向について内面１２のそれぞれ１つの部分領域を再生して部分的に重なっている個別画像Ｅが作成され、制御および評価装置２０に導かれ、制御および評価装置２０がディジタル形式で存在する個別画像Ｅを解析し、１つのつながった全体画像Ｂに合成し、全体画像Ｂがモニタ２２において再生される。作成された画像データセットＢが体腔の内面１２の少なくとも一部の空白なしの全体画像Ｂを供給することを保証するために、制御および評価装置２０において、隣接の個別画像が、一致する画像特徴を有しかつ部分的に重なるか否かを評価される。このような部分的な重なりを保証するために、制御および評価装置２０において求められたこの評価結果に基づいて制御信号Ｓが発生され、制御信号Ｓにより内視鏡４の光軸８の向きが自動的に制御される。このようにして体腔２の内面１２の少なくとも１つの領域を再生する完全な全体画像Ｂが作成される。全体画像Ｂは、個別画像Ｅの撮像視野すなわち画像領域よりも著しく大きい面領域を再生し、理想的な場合には体腔２の完全に全周のまたはほぼ全周の画像である。

方向φ，θにおいて撮影された各個別画像に属する距離ａの評価と、それから分かる光軸８と体腔２の内面１２との交点の位置の評価とによって、体腔２の内面１２の３Ｄ全体画像Ｂを作成することができる。この３Ｄ全体画像Ｂは、他の撮像方法により作成された３Ｄデータセットに挿入することができるので、内視鏡による診断を他の診断方法と組み合わせて、診断の信頼性を高めることができる。

図２によるフローチャートには、模範的に内視鏡の光軸の向きを制御するためのアルゴリズムの有り得る経過が具体的に示されている。光軸の出発方向φ₀，θ₀を有する出発位置において個別画像Ｅ₀が作成される。ランタイムパラメータｉが１にセットされる。続いて、ビデオカメラの制御によって角度増分Δφ，Δθだけカメラの揺動が行なわれることにより、新たな向きφ_i＝φ₁＝φ₀＋Δφ、θ_i＝θ₁＝θ₀＋Δθとなる。この向きで新たに個別画像Ｅ_iが作成される。次のステップにおいて先行の個別画像Ｅ_i-1およびこれに続く隣接の個別画像Ｅ_iが部分的重なりを有するかどうかを検査される。これはフローチャートにおいて切断集合Ｅ_i∩Ｅ_i-1を用いて記号にて具体例で示されている。切断集合Ｅ_i∩Ｅ_i-1が空である場合、すなわち部分的な重なりが存在しない場合、増分値Δφ，Δθがそれぞれ換算係数α，β＜１により低減される。このようにして求められた新たなφ_i，θ_iにより新たに個別画像Ｅ_iが作成される。換言するならば、部分的重なりが欠けている場合、すなわち空白が確認された場合、これらの空白に属する方向が識別され、この方向において新たに個別画像Ｅ_iが作成される。この方向は空白の中心にある方向である必要はなく、確認された空白に基づいて新たな個別画像Ｅ_iが撮影される方向である。部分的重なりが確認されるまで、この過程が繰り返される。部分的重なりが確認された際に、ランタイムパラメータｉが１だけ高められ、増分ステップΔφおよびΔθが初期値にリセットされる。このようにして予め与えられたステップ数Ｎが続行されるか、または角度方向φ_N，θ_Nが出発値φ₀，θ₀に一致するまで可変のステップ数Ｎが続行される。このようにして得られた個別画像Ｅ_iから、総和Σ_iなる記号により具体的
に示されているように全体画像Ｂが合成される。

図示された例は実現可能なアルゴリズムを具体的に説明するためにだけ用いられ、アルゴリズムは基本的には次のように進行する。例えば最初のステップにおいて３つ以上の個別画像Ｅ_iが予め定められた異なる方向から撮影され、すなわち、より大きな角度範囲が網羅（カバー）され、後から個別画像を評価および比較することによって、合成された暫定的な全体画像Ｂにおいて個別画像Ｅ_i間に場合によっては存在する空白ならびにこれらに付属する方向が識別され、第２のステップにおいて内視鏡の光軸の向きの制御によってこれらの方向から個別画像が作成される。合成された全体画像Ｂが空白を持たなくなるまでは必要ならばいつも第２のステップが繰り返される。

このような自動的な制御に対する代替として、操作者が光軸の向きを手動にて行なうことも可能であり、これは次のように行なうことができる。すなわち、操作者が手動にて個別画像を記憶装置に記憶させ、先行記憶された個別画像の後に続く個別画像の記憶後に、次の個別画像のために操作者によって行なわれた揺動運動が個別画像の部分的重なりを可能にするためには過大であったことが適切な指示信号を介して操作者に指示される。操作者は、音響的、光学的または触覚的な信号を介して相応の部分的重なりが確認されるまでビデオカメラを揺動させる要求を受ける。

本発明による装置の概略を示す原理図 ビデオカメラの光軸の模範的な実現可能な制御の経過を概略的に示すフローチャート

符号の説明

２ 体腔
４ 内視鏡（または内視鏡先端）
６ ビデオカメラ
８ 光軸
１０ 距離測定装置
１２ 体腔内面
１４ 位置センサ
２０ 制御および評価装置
２２ モニタ

Claims (14)

1. 患者の体腔（２）の内面（１２）の内視鏡による複数の個別画像（Ｅ，Ｅ_i）から合成される全体画像（Ｂ）を作成する画像の作成方法であって、体腔（２）内に挿入された内視鏡（４）の光軸（８）の向きが、異なる方向から得られた個別画像（Ｅ，Ｅ_i）の評価および比較によって制御される画像の作成方法。
2. 第１のステップにおいて、予め定められた異なる方向（φ_i，θ_i）から複数の個別画像（Ｅ_i）が撮影されて記憶され、個別画像（Ｅ_i）の評価および比較によって、隣接する個別画像（Ｅ_i）の間に発生する空白ならびにこれらの空白に付属する方向（φ_i，θ_i）が識別され、第２のステップにおいて、識別された方向（φ_i，θ_i）から内視鏡（４）の光軸（８）の向きの制御によって新たに個別画像（Ｅ_i）が作成され、合成された全体画像（Ｂ）が空白をもはや持たなくなるまで第２のステップが繰り返される請求項１記載の方法。
3. 光軸（８）の向きの調整が自動的に行なわれる請求項１又は２記載の方法。
4. 光軸（８）の向きの調整が内視鏡（４）の先端の向きの調整によって行なわれる請求項１乃至３の１つに記載の方法。
5. 内視鏡先端に揺動可能に支持されたビデオカメラ（６）を有する内視鏡（４）が使用され、ビデオカメラ（６）が光軸（８）の向きの調整のために内視鏡先端において揺動させられる請求項１乃至３の１つに記載の方法。
6. 内視鏡先端の位置および光軸（８）の方向（φ_i，θ_i）が、位置固定の座標系（ｘ，ｙ，ｚ）において検出され、この位置でこの方向（φ_i，θ_i）にて求められた画像と一緒に記憶される請求項１乃至５の１つに記載の方法。
7. 各個別画像（Ｅ，Ｅ_i）に対して光軸（８）の方向において体腔（２）の内面（１２）と内視鏡先端との距離（ａ）が測定されて記憶され、個別画像（Ｅ，Ｅ_i）とそれぞれの付属の距離（ａ）、位置および方向（φ_i，θ_i）とから３Ｄ全体画像（Ｂ）が作成される請求項６記載の方法。
8. 患者の体腔（２）の内面（１２）の内視鏡による複数の個別画像（Ｅ，Ｅ_i）から合成される全体画像（Ｂ）を作成する画像の作成装置であって、異なる方向（φ，θ，φ_i，θ_i）から個別画像（Ｅ，Ｅ_i）を撮影するために体腔（２）内に挿入される内視鏡（４）と、異なる方向（φ，θ，φ_i，θ_i）から得られた個別画像（Ｅ，Ｅ_i）の評価および比較によって内視鏡（４）の光軸（８）の向き（φ，θ，φ_i，θ_i）を制御する制御および評価装置（２０）とを有する画像の作成装置。
9. 制御および評価装置（２０）において実行可能にされ請求項２による方法を実施するためのアルゴリズムを有する請求項８記載の装置。
10. 光軸（８）の向きの調整が自動的に行なわれる請求項８又は９記載の装置。
11. 内視鏡先端が異なる方向（φ，θ，φ_i，θ_i）に揺動可能である請求項７乃至９の１つに記載の装置。
12. 内視鏡先端においてビデオカメラ（６）が揺動可能に支持されている請求項７乃至９の１つに記載の装置。
13. 位置固定の座標系（ｘ，ｙ，ｚ）において内視鏡先端の位置および光軸（８）の方向（φ，θ，φ_i，θ_i）を検出する位置検出装置（１４）と、位置および方向（φ，θ，φ_i，θ_i）をこの位置でこの方向（φ，θ，φ_i，θ_i）にて求められた個別画像（Ｅ，Ｅ_i）と一緒に記憶する記憶装置とを有する請求項８乃至１２の１つに記載の装置。
14. 光軸（８）の方向において体腔（２）の内面（１２）と内視鏡先端との距離を測定する距離測定装置（１０）と、個別画像（Ｅ，Ｅ_i）から３Ｄ全体画像（Ｂ）を作成するために制御および評価装置（２０）において実行可能にされたアルゴリズムとを有する請求項１３記載の装置。

Images