JP2019508166A - 腹腔鏡画像及び超音波画像を重畳するための計算装置 - Google Patents

Abstract

本発明は、腹腔鏡画像及び超音波画像を重畳するための計算装置に関するものである。該計算装置は、腹腔鏡画像、超音波画像及び奥行感知装置の奥行画像を入力するように構成される。当該計算装置は、上記奥行画像から奥行手掛かり情報を抽出すると共に、該抽出された奥行手掛かり情報を使用して腹腔鏡画像及び超音波画像を重畳し、これにより重畳された画像を生成する。当該計算装置は、腹腔鏡及び超音波装置の両方の空間位置及び向きを用いて、これら装置を互いに対して空間的に位置合わせすることができる。このことは、次いで、腹腔鏡及び超音波の両方の画像データをレンダリングする正しく重畳されたビューを提供するために使用することができる。この合成されたビューはユーザが超音波プローブ及び関心箇所を位置特定及び位置決めすることを大いに容易化する。一実施態様においては、関心物体の表面が測定され、超音波面に沿って仮想的に切断される。

Description

本発明は、腹腔鏡画像分析及び処理に関する。特に、本発明は、腹腔鏡画像及び超音波画像を重畳するための計算装置、腹腔鏡画像及び超音波画像を重畳するための方法、腹腔鏡画像及び超音波画像を重畳するためのプログラム要素、プログラム要素が記憶されたコンピュータ読取可能な媒体及び奥行感知撮像装置を有するトロカールに関する。

腹腔鏡法及び内視鏡法における超音波の表示及び使用を含み、手術室における手術医による超音波の使用は増加している。腹部腹腔鏡法において、腹壁は、気密切開を形成すると共に二酸化炭素を低圧で吹き込むことにより内部臓器から持ち上げられる。次いで、長尺の剛性ロッド／レンズスコープ（腹腔鏡）及び照明のためのライトコードが挿入され、１以上のモニタスクリーン上に示される表示画像を介しての腹部臓器の視覚的検査を可能にし、手術員が当該手術の進行を監視することを可能にする。幾つかのトロカール（トロカールと称される気密弁を備えた中空プラスチックチューブ）が、手術用腹腔鏡器具の容易な挿入、除去及び交換を可能にするために要所に配置される。

現在の環境において、超音波画像データは別のモニタ上に提示されている。腹腔鏡超音波プローブを関心点に対して正しく位置決めし且つ向きを定めることは、特に重要である。腹腔鏡器具はトロカール内に位置されると共に回動点の回りで動き、このことは、これら器具の空間的自由度を制限し、これら器具を操作し難くさせる。この困難さは、腹腔鏡及び超音波画像からの画像データが空間的相関関係の指示情報無しで別個のモニタ上に表示されるという事実により、腹腔鏡超音波術に関しては悪化される。従って、超音波プローブの正しい位置決め及び方向決めは、熟練した腹腔鏡医に対してさえも困難な作業を課すことになる。

従って、腹腔鏡画像の改善された表示に対する要求が存在し得る。

本発明の上記目的は、独立請求項の主題により解決される。本発明の他の実施態様及び利点は従属請求項に含まれている。

記載される実施態様は、同様に、腹腔鏡画像及び超音波画像を重畳させる（重ね合わせる）ための計算装置、腹腔鏡画像及び超音波画像を重畳させる方法、コンピュータプログラム要素、及び奥行感知撮像装置を有するトロカールにも関するものである。以下には詳細に説明されないかも知れないが、実施態様の異なる組み合わせからは相乗効果が生じ得る。

技術用語は、通常の意味で使用されている。特定の用語に特別な意味が付与される場合、用語の定義は、以下において、当該用語が使用される前後関係において示される。

本発明の第１態様によれば、腹腔鏡画像及び超音波画像を重畳するための計算装置が提供される。該計算装置は、腹腔鏡の腹腔鏡画像を入力するように構成されると共に、超音波装置の（特には、腹腔鏡超音波装置の）超音波画像を入力するように構成される。更に、該計算装置は奥行感知撮像装置の奥行画像を入力するように構成され、該奥行画像は関心物体（関心対象）の表面を定めるデータを有する。該計算装置は前記入力された奥行画像から奥行手掛かり情報又は奥行情報を抽出するように構成される。更に、該計算装置は前記抽出された奥行手掛かり情報又は奥行情報を用いて前記腹腔鏡画像及び前記超音波画像を重畳することにより重畳画像を生成するように構成される。

本発明の計算装置は、前記入力された奥行画像から奥行手掛かり情報を抽出することができる。特に、当該超音波及び／又は腹腔鏡装置の視野内の臓器表面等の、関連する物体の表面の認識を含む奥行手掛かり情報を生成することができる。このような奥行手掛かり情報は、改善された重畳画像を得る際に有用であり得る。

例えば、当該重畳画像にユーザにとり一層直感的な超音波画像と腹腔鏡画像との重ね合わせ（オーバーレイ）を生成させることができる。言い換えると、ユーザに対して、視野内の臓器等の関心物体の表面の位置から得られる１以上の奥行の手掛かりを有し又は利用している故に一層直感的となるような重畳画像を表示することができる。例えば、臓器表面の位置に関するデータを、奥行手掛かりを当該重畳画像において視覚化されるべき特定の視覚的要素の形で生成するために用いることができ、結果としてユーザにとり一層直感的な重畳画像が得られる。

当該計算装置は前記抽出された奥行手掛かり情報を、前記超音波画像及び／又は腹腔鏡画像を例えば影及び／又はオクルージョン（隠蔽）／重なり等の１以上の対応する奥行手掛かりを有する重畳画像が生成されるように適合させるために用いることができる。

一実施態様において、当該重畳画像は腹腔鏡画像の透視画像（遠近画像）を有し、前記超音波画像は該腹腔鏡画像上に重ねられる。

以下で更に詳細に説明されるように、当該計算装置により生成される重畳画像において奥行手掛かりの別の実施態様（組み合わせにおいても）を用いることもできる。奥行感知撮像装置及び該装置の奥行画像の使用は、関心物体の（例えば、臓器の）表面に関する知識をもたらし、かくして、腹腔鏡画像及び超音波画像又はビデオストリームを重畳する（即ち、重ね合わせる）結果、当該視野内の１以上の臓器の表面の位置を考慮に入れて非常に直感的な重畳画像を得ることができる。

言い換えると、当該計算装置は、ユーザの重畳画像の空間的知覚（認識）を改善するために、腹腔鏡、腹腔鏡超音波装置及び関心物体の互いに対する及び当該奥行感知撮像装置に対する相対距離に関する知識を利用することができる。この知識は、当該計算装置により前記奥行画像から抽出することができる。

異なる奥行き手掛かり情報（即ち、奥行手掛かり）を、当該計算装置により前記奥行画像から抽出することができ、該計算装置により当該重畳画像の生成のために又は生成の間に使用することができる。例えば、仮想光源による実際の影及び／又は仮想の影を、当該計算装置により計算することができ、当該重畳画像においてユーザの知覚を改善するために使用することができる。代わりに又は加えて、本発明の前後関係において、腹腔鏡画像におけるオクルージョン（即ち、物体の実際の重なり）を奥行手掛かりの例示的実施態様として用いることができる。奥行画像から抽出された奥行手掛かり情報に基づいて、当該計算装置により、当該シーンに追加の物体が存在するか、及びどの物体が当該腹腔鏡までの一層大きな距離を有するかを決定することができる。かくして、当該計算装置は、当該重畳画像において実際的な視覚印象をもたらすためにどの物体がどの他の物体に重なるべきかを計算することができる。代わりに又は加えて、当該計算装置は遠近調節を伴う重畳画像（例えば、異なる距離の物体に対して異なる鮮明度を持つ当該重畳画像のシミュレーションされた被写界深度）を生成することもできる。代わりに又は加えて、輻輳及び両眼視差も、立体カメラが立体表示器との組み合わせで適用される場合に用いることができる奥行手掛かりの実施態様である。代わりに又は加えて、運動視差も、使用することができる他の奥行手掛かりである。腹腔鏡が移動する場合、視差が変化する。この運動視差は、本発明の一実施態様における当該重畳画像において用いることができる。三次元超音波が用いられ、相対的に厚い物体が撮像される場合、線遠近法も当該計算装置により使用することができる奥行手掛かりであり得る。

一実施態様において、前記超音波画像は当該重畳画像に透明モードで表示され、このことはユーザの３Ｄ的知覚を更に向上させる。前記計算装置は超音波画像の斯かる透明モードを計算するように構成することができる。

更に、本発明の前後関係において、“画像”なる用語は単一の個別の画像のみならず、連続するビデオストリームも含むものである。特に、腹腔鏡ビデオストリーム及び超音波ビームストリームを、当該計算装置により奥行手掛かり情報の抽出及び後続の重畳画像の生成のために入力することができる。該奥行手掛かりは、腹腔鏡及び超音波装置に加えて配置される奥行感知装置から到来する。同様に、当該重畳画像は個別の画像とすることができるか、又は複数の画像（例えば、複数の重畳画像からなるビデオストリーム）とすることができる。

更に、本発明の前後関係において、“奥行感知撮像装置”なる用語は、腹腔鏡検査の間において撮像又はスキャンにより１以上の関心物質の表面（特に、内臓の臓器表面）を測定するよう構成された腹腔内深度カメラと理解することができる。一例において、該奥行感知撮像装置は、更に、関連する機器（特に、当該腹腔鏡及び超音波装置）の位置及び向きを決定するように構成することができる。

当業者であれば、奥行感知撮像装置について良く知っているであろう。例えば、奥行感知撮像装置は、赤外線（ＩＲ）構造化光プロジェクタ、ＩＲカメラ及び通常のカラーカメラを含む構造化光システムを有することができる。例えば、Intel（登録商標）RealSense技術によるシステムを用いることができる。

このように、例えば投影されたＩＲ光パターンはＩＲ画像内で歪む。この歪から、当該カメラと臓器表面との間の距離を算出することができ、この結果、奥行画像が得られる。

他の例において、当該奥行感知撮像装置は、Microsoft（登録商標）Kinect v2システムで提供されるような飛行時間（ＴＯＦ）カメラを含むことができる。このようにして、例えば光パルスが当該発光体から臓器表面まで及び当該画像センサに戻るまで進むために掛かった時間が測定される。この測定された飛行時間からも、臓器表面を表す奥行画像を生成することができる。

このような装置により生成される奥行画像は、視点からのシーン物体の表面の距離に関係する情報を含む画像であると理解されるべきである。

本発明の計算装置は、デスクトップ若しくはラップトップ等のコンピュータの一部とすることができるか、又はサーバ等の一層大きな計算主体の一部とすることができる。該計算装置は医療撮像システムの一部とすることもできる。該計算装置は、例えば患者に挿入されたトロカール内に配置することが可能な前記奥行感知撮像装置に接続することができる。

上述した計算装置によれば、腹腔鏡画像及び超音波画像を重畳する方法が提供される。該方法は、腹腔鏡の腹腔鏡画像を供給するステップと、超音波装置の超音波画像を供給するステップと、奥行感知撮像装置の奥行画像を供給するステップと、前記奥行画像から奥行手掛かり情報を抽出するステップと、前記抽出された奥行手掛かり情報を用いて前記腹腔鏡画像及び前記超音波画像を重畳することにより重畳画像を生成するステップと、を有する。

前記計算装置及び該方法の更なる実施態様を以下に示す。当業者であれば、前記計算装置の実施態様が詳細に説明される場合、これにより、対応する方法も同様に開示されるものと理解するであろう。

本発明の例示的実施態様によれば、前記計算装置は、前記重畳画像における影の形状及び位置を前記抽出された奥行手掛かり情報に基づいて決定するよう構成される。該計算装置は、前記超音波画像及び／又は腹腔鏡画像を上記影が当該重畳画像内で視覚化されるように適合させるようにも構成される。

この実施態様に記載される影は、実際の光源（例えば、腹腔鏡に配置された光源等）から生じるものとすることができるが、仮想光源から生じるものとすることもできる。例えば、図７には、人工的影７０１が前記計算装置により計算されると共に、当該重畳画像７００においてユーザに対し表示されるような実施態様が示されている。両方の場合において、当該光源の位置及び拡がり、当該腹腔鏡の位置及び向き並びに当該超音波装置の位置及び向きが前記計算装置に供給される。前記奥行画像に含まれる情報に基づいて、該計算装置は前記奥行手掛かり、実際の及び／又は仮想の光源を用いて、撮像されるシーンが当該腹腔鏡の透視からはどの様に見えるかを計算することができる。同様のことが、例えば重なり／オクルージョン等の他の奥行手掛かりに関しても成り立つ。これらのデータ（即ち、上述した腹腔鏡及び超音波装置の位置及び向き）は、前記奥行感知撮像装置の奥行画像から抽出することができるが、例えば当該腹腔鏡における及び／又は当該超音波装置におけるセンサにより供給することもできる。このことは、これら装置の位置及び向きを上記センサにより追跡することを必要とし得る。この場合、該追跡データは本発明の計算装置に供給することができ、該計算装置は該データを処理して重畳画像を生成する。当該腹腔鏡及び超音波装置の位置及び向きデータが前記奥行感知撮像装置により供給されるべき場合、この撮像装置の視野は、例えば図２に示されているように、該腹腔鏡及び超音波機器の両方を含むのに十分なほど広いものである。

本発明の他の例示的実施態様によれば、前記計算装置は前記重畳画像における重なり／オクルージョンの形状及び位置を前記抽出された奥行手掛かり情報に基づいて決定するように構成される。該計算装置は、更に、前記超音波画像及び／又は前記腹腔鏡画像を斯かる重なり／オクルージョンが当該重畳画像において視覚化されるように適合させるように構成される。このような実際的な重なり／オクルージョンを当該重畳画像においてユーザに対し表示することは、当該計算された重畳画像を腹腔鏡法の間におけるナビゲーション支援として適用する場合、ユーザの三次元的知覚（認識）を改善することもできる。当該奥行画像に示される物体の前記奥行感知装置までの距離に基づいて、当該計算装置はユーザに当該重なりの実際的な印象を与えるために当該重畳画像におけるどの物体がどの他の物体と重ならなければならないかを計算することができる。この情報に基づいて、当該計算装置は、生成される重畳画像において各奥行手掛かりがどの様に示されねばならないかを計算することができる。この例示的実施態様が図１０に示されている。

他の例示的実施態様によれば、前記超音波画像は前記関心物体の断面を超音波面において視覚化する。更に、前記計算装置は前記重畳画像における前記関心物体内の孔の形状及び位置を計算するよう構成される。前記腹腔鏡画像及び／又は超音波画像の対応する適合化（調整）も同様に含めることができる。このような孔を当該重畳画像においてユーザに表示することは、ユーザの三次元的認識を改善することもできる。このような孔は、例えば図８及び図９の前後関係で説明される長方形形状等のように種々の形状を有することができる。当該重畳画像に示される斯かる孔は、当該関心物体の表面から該関心物体の内部へと延びることができる。このことは、当該腹腔鏡画像に重ねられる超音波画像が当該関心物体の内部を表面する背景の前に示されることを容易にする。当該関心物体の該内部も、当該重畳画像により提供される断面視で描かれるので、奥行手掛かりを伴う重畳画像が提供されることになる。

本発明の他の例示的実施態様によれば、前記計算装置は、当該関心物体を前記超音波面に沿って仮想的に切断すると共に、該結果的切断を伴う関心物体を前記重畳画像に表示するよう構成される。この例示的実施態様を、図６及び図７の前後関係において説明する。上記の結果的切断は、当該関心物体の外側表面と同様に該関心物体の内部を示すことができる。このように、一実施態様は、関心物体の表面（即ち、臓器の表面）を測定すると共に、該関心物体を超音波面に沿って仮想的に切断するというものである。このことは、当該関心物体の内部を該関心物体の外側表面のカラーとは異なるカラーで仮想的に着色する可能性を可能にする。このことは、当該重畳画像を用いる場合にユーザの三次元的認識を更に改善することができる。

本発明の他の例示的実施態様によれば、前記計算装置は、仮想光源の位置及び拡がりに関するデータを入力するように構成される。例えば、このデータは当該計算装置に対しユーザにより供給することができる。前記計算装置は、更に、前記重畳画像における仮想的（人工的）影の形状及び位置を前記抽出された奥行手掛かり情報に基づいて且つ前記仮想光源の前記位置及び拡がりに基づいて決定するよう構成される。該計算装置は、前記超音波画像及び／又は前記腹腔鏡画像を、前記人工的影が当該重畳画像において視覚化されるように適合させる。この実施態様は、特に、当該関心物体が前記超音波面に沿って仮想的に切断される前述した実施態様と組み合わせることができる。前記切断の領域において斯様な人工的影を計算及び表示することは（例えば、図７に示される人工的影７０１）、ユーザの三次元的認識を更に改善することができる。

本発明他の例示的実施態様によれば、前記計算装置は、前記腹腔鏡の空間的位置及び向き並びに前記超音波装置の空間的位置及び向きを前記奥行画像のデータから抽出するように構成される。更に、前記計算装置は、前記腹腔鏡の前記抽出された空間的位置及び抽出された向き並びに前記超音波装置の前記抽出された空間的位置及び抽出された向きを共通座標系に変換するよう構成される。座標系を位置合わせする主たる原理は、当業者により一般的に知られている。本発明の計算装置は斯様な位置合わせを、特に、例えば、Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yanivにより編集されたIGSTK Image-Guided Surgery Toolkit - An open Souce C++ Software Library, Insight Software Consortium 2009又はG. Spekowius, T. Wendler, Springerにより編集されたJ. Yanof, C. Bauer, S. Renisch, J. Kt-ticker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, 2006の従来技術から既知のように計算するよう構成することができる。

本発明の他の例示的実施態様によれば、前記計算装置は頭部装着型拡張現実装置の位置に関するデータを入力するように構成される。該計算装置は、更に、前記頭部装着型拡張現実装置の位置を前記共通座標系と位置合わせするよう構成される。該計算装置は前記重畳画像を前記頭部装着型拡張現実装置に伝送するようにも構成される。従って、当該重畳画像は、これら装置の位置が捕捉されると共に前述したように共通座標系と位置合わせされる場合、手術スタッフにより装着される頭部装着型拡張現実装置上にも表示することができる。更なるオプションは、当該重畳画像をユーザの視野内に配置されたタブレットコンピュータ等の装置上に表示するというものである。後者の場合、ユーザの眼の位置及び視線方向並びに当該表示装置の位置及び向きの両方が各装置により又はユーザにより供給され、当該計算装置により前述した共通座標系と位置合わせされる。

本発明の他の態様によれば、腹腔鏡画像及び超音波画像を重畳するためのプログラム要素が提供される。

該コンピュータプログラム要素は、コンピュータプログラムの一部とすることができるが、それ自体が全体のプログラムでもあり得る。例えば、該コンピュータプログラム要素は、本発明の該態様を得るために既存のコンピュータプログラムを更新するために使用することができる。

本発明の他の態様によれば、腹腔鏡画像及び超音波画像を重畳するためのプログラム要素が記憶されたコンピュータ読取可能な媒体が提供される。

該コンピュータ読取可能な媒体は、例えばＵＳＢスティック、ＣＤ、ＤＶＤ、データ記憶装置、ハードディスク等の記憶媒体、又は前述したコンピュータプログラム要素を記憶することができる何らかの他の媒体であると理解することができる。

本発明の他の態様によれば、奥行感知撮像装置を有するトロカールが提供される。当該奥行感知撮像装置は、典型的に腹腔内作業空間に挿入されるトロカールの外側表面に取り付けることができる。他の実施態様において、当該トロカールは自身のハウジング内に奥行感知撮像装置を有する。一実施態様において、当該トロカールは本発明の前記計算装置と一緒にシステム内で組み合わせることができる。奥行感知撮像装置を備えたトロカールに関する本発明の態様は、本明細書に記載される本発明の他の各実施態様と明らかに組み合わせることができる。当該トロカールの奥行感知撮像装置は、有線又は無線で、本発明の前記計算装置と接続することができる。この場合、該計算装置は本明細書に記載される本発明の方法を実行することができる。

腹腔鏡奥行感知撮像装置の奥行画像から得られる奥行情報を超音波画像及び腹腔鏡画像を含む重畳画像を生成するために使用することは、本発明の一態様と見ることができる。このことは、ユーザに示される重畳画像の三次元的認識を向上させることができる。超音波は当該関心物体内からの情報を示す一方、腹腔鏡は該関心物体の表面を示すので、従来技術においてなされたような腹腔鏡画像上への超音波画像の単純な重ね合わせは、奥行手掛かりが考慮に入れられていない故に、不自然に見え得る。これとは対照的に、本発明は、超音波画像を腹腔鏡画像に対して正しい奥行手掛かりにより空間的に正しく位置合わせされて表示することを可能にする。

本発明の上記及び他のフィーチャは、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。

尚、本発明の例示的実施態様は図面に示されており、同一の符号は、これら図に示される同一又は同様の要素に関して使用されている。

図１は、本発明の一態様による腹腔鏡画像及び超音波画像を重畳させる方法のフローチャートを示す。 図２は、腹腔鏡画像及び超音波画像を重畳させる計算装置を備える構成を、腹腔鏡、超音波装置及び奥行感知装置と共に概略的に示す。 図３は、腹腔鏡からの実視界を示す。 図４は、透明モード無しでの位置の正しい重ね合わせによる腹腔鏡画像及び超音波画像の重畳画像を概略的に示す。 図５は、透明オーバーレイ、透明モード及び超音波画像の正しい位置による腹腔鏡画像及び超音波画像の重畳画像を概略的に示す。 図６は、仮想切断面を伴う重畳画像を概略的に示す。 図７は、仮想切断面を伴うと共に人工的影を伴う重畳画像を概略的に示す。 図８は、透明モードでない孔を伴うが人工的影のない重畳画像を概略的に示す。 図９は、透明モードの孔及び人工的影を伴う重畳画像を概略的に示す。 図１０は、シーン内の追加の物体としての把持鉗子及び奥行手掛かり情報としての該把持鉗子と超音波画像との間のオーバーレイを伴う重畳画像を概略的に示す。

図１は、本発明の一態様による腹腔鏡画像及び超音波画像を重畳する方法を概略的に示す。第１ステップＳ１において、腹腔鏡の腹腔鏡画像が形成される。超音波装置の超音波画像の形成は、ステップＳ２に示される。奥行感知装置の奥行画像はステップＳ３において形成される。形成された奥行画像からの奥行手掛かり情報の抽出は、図１においてステップＳ４により示される。抽出された手掛かり情報は、ステップＳ５において、上記腹腔鏡画像及び超音波画像を重畳して、重畳された画像を生成するために使用される。本方法は、先に及び以下に説明する計算ユニットにより実行することができる。図１の該方法には、本発明の幾つかの他の方法実施態様により幾つかの異なる方法ステップを追加することができる。例えば、前述したような影の及び／又は隠蔽（occlusion）の形状及び位置を決定することは、方法実施態様の一部であり得る。また、超音波画像及び／又は腹腔鏡画像を調整する（適合させる）ステップは、可能性のある更なる方法ステップである。他の方法実施態様において、関心物体（対象）を超音波面に沿って仮想的に切断すると共に、結果的切断を伴う該関心物体を重畳画像で表示することも他の方法ステップである。他の実施態様において、関心物体の内部を該関心物体の外側表面のカラーとは異なるカラーにより仮想的に着色するステップは、追加の方法ステップである。

前述した方法の実施態様は、奥行画像から腹腔鏡及び超音波装置の空間的位置及び向きを抽出するステップと組み合わせることができる。更に、腹腔鏡の抽出された空間位置及び抽出された向き並びに超音波装置の抽出された空間位置及び抽出された向きを前記計算ユニットにより共通の座標系に変換することも、図１の方法の補足実施態様の一部であり得る。特に、このような抽出及び変換は、前記計算装置により奥行感知装置からのリアルタイム画像供給（フィード）を処理することにより実施することができる。図１の方法は、図２の前後関係で後述される計算装置を用いて実施することができる。

図２は、本発明の例示的実施態様による計算装置２０７が使用される設備２００を示す。図２は、腹部表面２０１、並びに腹腔鏡２０２、超音波撮像装置２０３及び奥行感知装置２０４を示している。図２には、超音波装置２０３により生成される超音波画像２０５も示されている。この実施態様における奥行感知装置２０４の視角２０６は、当該腹腔鏡及び超音波器具の両方を含むほど十分に広い。従って、装置２０４により生成される奥行画像は、腹腔鏡２０２の及び超音波装置２０３の空間的な位置及び向きに関するデータを有する。このように、計算装置２０７は、各装置の空間位置及び各装置の向きを抽出するように構成することができると共に、抽出された位置及び抽出された向きを共通の座標系に変換するように更に構成することができる。また、計算装置２０７は重畳された画像をディスプレイ２０８に伝送するようにも構成することができる。本発明の本実施態様及び他の各実施態様において、計算装置２０７には、腹腔鏡画像の透視（遠近）図が超音波画像の透視図及び奥行画像の透視図に対してどの様であるかの情報を供給することができる。この情報は、例えば、奥行画像から抽出することができるが、腹腔鏡、超音波装置及び／又は奥行感知装置の位置及び向きを追跡するセンサ等の他の手段を使用することもできる。

計算装置２０７は、超音波画像を腹腔鏡の焦点距離及び画像歪に適合するように歪ませるよう構成することができる。これから生じる技術的効果は、腹腔鏡に使用される光学素子に起因する光学収差（abrasion）又は光学的誤差の補正である。

図３は、腹腔鏡超音波装置３０１が関心物体の（例えば、臓器の）表面３０２上に示された腹腔鏡の実画像３００を概略的に示している。該腹腔鏡には光源が取り付けられているので、影３０３も含まれている。図３に加えて、図４は、重畳された画像４００を、重畳された超音波画像４０１を伴う当該腹腔鏡の透視図で概略的に示している。この重畳画像は、本発明による計算装置により生成することができる。この実施態様の計算装置により該オーバーレイを生成するために前記奥行感知装置の奥行画像からのデータが使用されているので、超音波画像４０１は関心物体の表面３０２に対して及び超音波装置３０１に対して正しい位置に示される。腹腔鏡カメラの校正の後、該カメラのカメラパラメータは既知となる。このことは、腹腔鏡の画像への既知の形状の物体の投影を計算することを可能にする。超音波の校正の後、超音波画像の各ピクセルに関して、当該ピクセルが超音波スキャンヘッドに対して空間内のどの位置から到来したかは分かる。従って、超音波画像のピクセルの腹腔鏡画像への投影を計算することが可能である。このことは、位置が正しく重なることを可能にする。更に、本発明の計算装置は本明細書に記載されるような異なる奥行手掛かり（例えば、図５〜図１０の実施態様において使用される奥行き手掛かり）を計算し、それに応じて図４の画像を修正することができる。

図５は、本発明の一実施態様による計算装置により計算された重畳画像５００を示す。この実施態様において、超音波画像５０１は透明モードで（即ち、腹腔鏡画像上での透明オーバーレイとして）供給され、これにより奥行効果を向上させる。この実施態様は、この重畳画像が使用される場合、ユーザの三次元感覚を更に向上させることができる。このように、透明モードの場合、本発明の計算装置はオリジナルの不透明ＵＳ画像データ（図４参照）が完全な透明（即ち、見えないＵＳ画像）を最大として概ね透明となるように調整することができることが理解できる。加えて、先に及び以下に説明されるように、図５の画像に奥行手掛かりを加えることができる。

他の例示的実施態様により、図６は本発明の計算装置の一実施態様による生成された重畳画像６００を示す。図６の重畳画像６００は、該計算装置により計算された仮想切断面を示している。該切断は、当該奥行感知撮像装置により決定された当該関心物体の表面３０２から延び、暗い表面６０１により視覚化されている。

このように、本発明の対応する実施態様の計算装置は、関心物体をＵＳ画像６０２の超音波面に沿って仮想的に切断するよう構成される。物体表面３０２と当該仮想切断面との間の境界は、当該奥行感知撮像装置からの奥行画像を用いて決定される。

更に、当該計算装置は関心物体の内部を該関心物体の外側表面のカラーとは異なるカラーで仮想的に着色するよう構成される。図６から分かるように、表面３０２は、暗い表面６０１により図形的に表された当該関心物体の内部と比較して異なるカラーにより示されている。この仮想的切断及び当該関心物体の内部の着色を行うことにより、超音波画像６０２は当該腹腔鏡画像上に一層直感的態様で重畳される。

他の例示的実施態様においては、本発明による計算装置により重畳画像７００が生成される。この実施態様において、重畳画像７００は、図６の実施態様に加えて、当該切断が位置する領域に人工的影を有する。このように、当該重畳画像を生成する本発明の該実施態様の計算ユニットは、該重畳画像７００における人工的影７０１の形状及び位置を、抽出された奥行手掛かり情報に基づくと共に人工光源の位置及び拡がりに基づいて決定するように構成される。該人工光源の位置及び拡がりは、ユーザにより供給することもできる。この場合、当該計算装置は超音波画像及び／又は腹腔鏡画像を、人工的影７０１が当該重畳画像７００において視覚化されるように調整する。

図８は、本発明の一実施態様の計算装置により生成された他の重畳画像８００を示す。重畳画像８００は当該関心物体内に孔８０１を示している。本発明の該実施態様の計算装置は、該孔８０１の形状及び位置を計算している。超音波画像８０３は孔８０１と重なっている。該重畳画像８００は、超音波画像８０３を透明モードでは示しておらず、人工的影も有していない。

上記孔の“外周”は、前記計算装置が超音波部に取り付けられた“ブロック”と、奥行感知カメラにより測定された当該関心臓器の表面との交差を計算することにより計算される。当該ブロックの各側壁は、上記孔内に実際的な影効果をもたらすために異なって着色することができる。当該孔の外周内において、オリジナルの腹腔鏡画像の全てのピクセルは当該計算装置により削除される。

図９は、本発明の例示的実施態様による計算装置により生成された他の重畳画像９００を示す。該重畳画像９００において、超音波画像９０２は超音波装置３０１の下及び孔９０５の右側壁９０４に人工的影９０１を示している。超音波画像９０２は、該超音波画像の下部９０３が当該重畳画像９００において依然として見ることができるように透明モードで形成されている。これは図８に非常に類似している。当該孔の内部において、オリジナルの腹腔鏡画像の全てのピクセルは当該計算装置により完全に透明にされ／削除される一方、該孔の外周の外側において、当該腹腔鏡画像は透明にされ、従って該孔の壁を示している。

図１０は、把持鉗子１００１が追加の物体として示された重畳画像１０００を概略的に示している。奥行画像から抽出された奥行情報に基づいて、本発明の一実施態様の計算装置は、把持鉗子１００１が超音波画像１００２の位置と比較して当該腹腔鏡に対し短い距離を有することを計算している。従って、把持鉗子１００１は、ユーザに対し実際的な直感的重畳画像１０００を提供することができるように、超音波画像１００２と重なっている。

Claims (15)

1. 腹腔鏡画像及び超音波画像を重畳する計算装置であって、
   前記計算装置は腹腔鏡の腹腔鏡画像を入力し、
   前記計算装置は超音波装置の超音波画像を入力し、
   前記計算装置は奥行感知撮像装置の奥行画像を入力し、該奥行画像は関心物体の表面を定めるデータを有し、
   前記計算装置は前記奥行画像から奥行手掛かり情報を抽出し、
   前記計算装置は抽出された前記奥行手掛かり情報を用いて前記腹腔鏡画像及び前記超音波画像を重畳することにより重畳画像を生成する、
   計算装置。
2. 前記計算装置が前記重畳画像において視覚化されるべき影の形状及び位置を前記抽出された奥行手掛かり情報に基づいて決定する、請求項１に記載の計算装置。
3. 前記計算装置が前記重畳画像において視覚化されるべきオクルージョンの形状及び位置を前記抽出された奥行手掛かり情報に基づいて決定する、請求項１又は請求項２に記載の計算装置。
4. 前記超音波画像は超音波面において前記関心物体の断面を視覚化し、
   前記計算装置は前記重畳画像において視覚化されるべき前記関心物体内の孔の形状及び位置を計算する、
   請求項１ないし３の何れか一項に記載の計算装置。
5. 前記超音波画像は超音波面において前記関心物体の断面を視覚化し、
   前記計算装置は前記関心物体を前記超音波面に沿って仮想的に切断すると共に、該結果的切断を伴う前記関心物体を前記重畳画像に表示する、
   請求項１ないし４の何れか一項に記載の計算装置。
6. 前記結果的切断を伴う重畳画像は前記関心物体の外側表面及び該関心物体の内部を示し、
   前記計算装置は前記関心物体の前記内部を該関心物体の前記外側表面のカラーとは異なるカラーで仮想的に着色する、
   請求項５に記載の計算装置。
7. 前記計算装置は仮想光源の位置及び拡がりに関するデータを入力し、
   前記計算装置は前記重畳画像における人工的影の形状及び位置を前記抽出された奥行手掛かり情報に基づいて且つ前記仮想光源の前記位置及び拡がりに基づいて決定し、
   前記計算装置は前記超音波画像及び／又は前記腹腔鏡画像を前記人工的影が前記重畳画像において視覚化されるように適合させる、
   請求項１ないし６の何れか一項に記載の計算装置。
8. 前記奥行画像は前記腹腔鏡の空間的位置及び／又は向きに関するデータを有し、
   前記奥行画像は前記超音波装置の空間的位置及び／又は向きに関するデータを有する、
   請求項１ないし７の何れか一項に記載の計算装置。
9. 前記計算装置は前記腹腔鏡の前記空間的位置及び向き並びに前記超音波装置の前記空間的位置及び向きを前記奥行画像のデータから抽出し、
   前記計算装置は抽出された前記腹腔鏡の前記空間的位置及び向き並びに抽出された前記超音波装置の前記空間的位置及び向きを共通座標系に変換する、
   請求項８に記載の計算装置。
10. 前記計算装置は頭部装着型拡張現実装置の位置に関するデータを入力し、
    前記計算装置は前記頭部装着型拡張現実装置の位置を前記共通座標系と位置合わせし、
    前記計算装置は前記重畳画像を前記頭部装着型拡張現実装置に伝送する、
    請求項９に記載の計算装置。
11. 前記計算装置はユーザの眼の位置及び視線方向に関するデータを入力し、
    前記計算装置はコンピュータ配置表示装置の空間的位置及び向きを入力し、
    前記計算装置は捕捉された前記ユーザの眼の位置及び前記視線方向並びに捕捉された前記コンピュータ配置表示装置の空間的位置及び向きを前記共通座標系と位置合わせし、
    前記計算装置は前記重畳画像を前記コンピュータ配置表示装置に伝送する、
    請求項９に記載の計算装置。
12. 前記計算装置は前記超音波画像を前記腹腔鏡の焦点距離及び画像歪に適合するように歪ませる、請求項１ないし１１の何れか一項に記載の計算装置。
13. 腹腔鏡画像及び超音波画像を重畳する方法であって、
    腹腔鏡の腹腔鏡画像を供給するステップと、
    超音波装置の超音波画像を供給するステップと、
    奥行感知撮像装置の奥行画像を供給するステップであって、該奥行画像が関心物体の表面を定めるデータを有するステップと、
    前記奥行画像から奥行手掛かり情報を抽出するステップと、
    前記抽出された奥行手掛かり情報を用いて前記腹腔鏡画像及び前記超音波画像を重畳することにより重畳画像を生成するステップと、
    を有する、方法。
14. 請求項１ないし１２の何れか一項に記載の計算装置に請求項１３に記載の方法を実行させる一群の命令を有する、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを記憶した、コンピュータ読取可能な媒体。

Images