JP2012525190A - 単眼の内視鏡画像からのリアルタイム深度推定 - Google Patents

Abstract

内視鏡外科方法が、体の生体構造領域におけるターゲット位置へと内視鏡２０を進めるステップと、内視鏡２０がターゲット位置へと進められるとき、複数の内視鏡ビデオフレーム２２を生成するステップとを含み、この内視鏡ビデオフレーム２２が、生体構造領域の単眼の内視鏡画像を示す。単眼の内視鏡画像内の対象物の深度、例えば、気管支の単眼の内視鏡画像内の気管支壁の深度のリアルタイム推定のため、この方法は更に、生体構造領域の単眼の内視鏡画像のフレーム時系列における１つ又は複数の画像点の光学フローを決定するステップＳ４１、この画像点の光学フローの関数として、単眼の内視鏡画像における対象物の深度を示す深度場を推定するステップＳ４２とを含む。

Description

本発明は一般に、内視鏡に関する最小侵襲的手術に関する。本発明は特に、内視鏡から得られる画像に示される対象物のリアルタイム深度を推定することに関する。

一般に、最小侵襲的手術は内視鏡を利用する。内視鏡は、撮像能力を持つ長く柔軟な又は堅い管である。自然な開口部又は小さな切開を介して体に挿入されると、内視鏡は、外科医が手術を実行するとき、接眼レンズを通して又はスクリーンで見られることができる関心領域の画像を提供する。手術にとって本質的であるのは、外科医が対象物を回避しつつ、内視鏡を前進させることを可能にする、及び内視鏡のリアルタイムの位置追跡を容易にする、画像内の対象物の深度情報である。

しかしながら、内視鏡画像のフレームは２次元であり、従って外科医は、画像のスクリーンショットで見られる対象物の深度の感覚を失う場合がある。

本発明は、内視鏡ビデオフレームの２次元制約にもかかわらず深度マップを生成するため、単眼の内視鏡画像から内視鏡ビデオフレームを利用する技術を提供する。

本発明の１つの形式は、内視鏡及び内視鏡手術制御ユニットを使用する最小侵襲外科システムである。処理において、内視鏡が、体の生体構造領域内のターゲット位置へと進められるとき、この内視鏡が、複数の内視鏡ビデオフレームを生成する。内視鏡ビデオフレームは、生体構造領域の単眼の内視鏡画像を示す。単眼の内視鏡画像に含まれる対象物（例えば、気管支の単眼の内視鏡画像に含まれる気管支壁の形状）の深度のリアルタイム推定のため、内視鏡がターゲット位置へと進められるとき、内視鏡手術制御ユニットは、生体構造領域の単眼の内視鏡画像のフレーム時系列内の画像点の光学フローの関数として、生体構造領域の単眼の内視鏡画像における対象物の深度を示す深度場を推定するため、内視鏡ビデオフレームを受信する。

本発明の第２の形式は、体の生体構造領域におけるターゲット位置へと内視鏡を進めるステップと、内視鏡がターゲット位置へと進められるとき、複数の内視鏡ビデオフレームを生成するステップとを含む内視鏡外科方法である。ここで、内視鏡ビデオフレームが、生体構造領域の単眼の内視鏡画像を示す。単眼の内視鏡画像における対象物（例えば、気管支の単眼の内視鏡画像内の気管支壁の形）の深度のリアルタイム推定のため、この方法は更に、生体構造領域の単眼の内視鏡画像のフレーム時系列における１つ又は複数の画像点の光学フローを生成するステップと、画像点の光学フローの関数として、単眼の内視鏡画像における画像点の深度を示す深度場を推定するステップとを含む。

本発明による最小侵襲外科システムの例示的な実施形態を示す図である。 本発明による深度推定方法の例示的な実施形態のフローチャートを示す図である。 図２に示される本発明による深度推定方法の第１の例示的な実施形態のフローチャートを示す図である。 図３に示されるフローチャートの例示的な用途を示す図である。 既知の例示的な光学フローを示す図である。 既知の例示的な深度場を示す図である。 既知の例示的な深度マップを示す図である。 図２に示される本発明による深度推定方法の第２の例示的な実施形態のフローチャートを示す図である。

図１に示されるように、本発明の最小侵襲外科システム１０は、内視鏡２０及び内視鏡手術制御ユニット３０を使用する。

本書において内視鏡２０は、光ファィバ、レンズ、小型化された（例えばＣＣＤベースの）撮像システム等を介して、（例えば、人間又は動物の）体の生体構造領域を内部的に撮像するよう構造的に構成される任意のデバイスとして広く規定される。内視鏡２０の例は、以下に限定されるものではないが、任意のタイプのスコープ（例えば、気管支鏡、結腸鏡、腹腔鏡等）及び画像システムに備えられるスコープ（例えば、撮像カニューレ）に類似する任意のデバイスを含む。

本書においてユニット３０の外部撮像デバイス３１は、体の生体構造領域を外部的に撮像するよう構造的に構成される任意のデバイスとして広く規定される。外部撮像デバイス３１の例は、以下に限定されるものではないが、コンピュータ断層撮影デバイス、磁気共鳴撮像デバイス、超音波デバイス及びＸ線デバイスを含む。

本書においてユニット３０の内視鏡経路計画デバイス３２は、内視鏡２０を構成する（例えば、撮像カニューレを構成する）ため、及び／又は（例えば、気管支鏡の制御を処理するため）ターゲット位置に達するよう内視鏡２０を制御するため、体の生体構造領域内のターゲット位置に達する運動学的な経路を事前に計画するよう構造的に構成される任意のデバイスとして広く規定される。内視鏡２０が気管支鏡又は運動学的に同様なスコープであるような文脈において、２００７年４月１７日に公開されたTrovatoらによる「3D Tool Path Planning, Simulation and Control System」というタイトルの国際公開第２００７／０４２９８６Ａ２号により教示される経路計画技術が、外部撮像デバイス３１により取得される生体構造領域の３Ｄデータセットにより示される体の生体構造領域（例えば、肺）内の内視鏡２０に関する運動学的に正確な経路を生成するため、デバイス３２により用いられることができる。内視鏡２０が撮像ネストカニューレ又は運動学的に同様なデバイスである文脈において、２００８年３月２０日に公開されたTrovatoらによる「Active Cannula Configuration For Minimally Invasive Surgery」というタイトルの国際公開第２００８／０３２２３０Ａ１号により教示される経路計画／ネストカニューレ構成技術が、外部撮像デバイス３１により取得される生体構造領域の３Ｄデータセットにより示される体の生体構造領域（例えば、肺）内のターゲット位置に到達するための内視鏡２０に関する運動学的に正確な経路を生成するため、デバイス３２により用いられることができる。

本書においてユニット３０の内視鏡追跡デバイス３３は、体の生体構造領域内の内視鏡２０の位置を追跡するよう構造的に構成される任意のデバイスとして広く規定される。内視鏡追跡デバイス３３の１つの例は、２００８年１０月２０日に出願されたTrovatoらによる「Image-Based Localization Method and System」というタイトルの米国仮出願第６１／１０６，６６９号（出願人整理番号０１０２５９ＵＳ１）により教示される画像ベースの追跡ユニットである。内視鏡追跡デバイス３３の別の例は、２００４年１０月４日に発行されたKonenらによる「Method and System for Image-Guided Interventional Endoscopic Procedures」というタイトルの米国特許第６，１３５，９４６号により教示される光学追跡デバイスである。内視鏡追跡デバイス３３の追加的な例は、例えば、superDimension社からのinReach（登録商標）システムとして市販される電磁追跡ユニットといった任意の市販の電磁追跡ユニットである。

本書においてユニット３０の深度推定デバイス３４は、内視鏡２０により取得されるフレーム時系列（即ち、任意のタイプの時間シーケンスにおける２つ又はこれ以上の画像）における画像点／特徴の実際の運動パターンから深度場を推定するよう構造的に構成される任意のデバイスとして広く規定される。実際、生体構造領域内のターゲット位置に達するよう内視鏡２０の事前構成を生成する際、及び／又はこのターゲット位置に達するよう内視鏡２０を制御するための運動学的な経路の事前計画を生成する際、深度推定デバイス３４は、内視鏡経路計画デバイス３２を容易にするため、深度場を推定するユニット３０により利用されることができる。更に、内視鏡２０からの内視鏡画像とデバイス３１により取得される事前画像との位置合わせを容易にするため、及び／又は、内視鏡２０がターゲット位置へと進められるとき、生体構造領域における内視鏡２０の位置のリアルタイム追跡を強化するため、深度推定デバイス３４は、深度場を推定するユニット３０により実際に利用されることができる。更に、実際、深度推定デバイス３４は、ユニット３０からの他のデバイスとは独立して作動することができるか、又は、ユニット３０の他のデバイスの１つに内部的に組み込まれることができる。

図２に示されるフローチャート４０は、深度推定デバイス３４（図１）により実行される本発明の深度推定方法を表す。この方法に関して、深度推定デバイス３４は、内視鏡２０により取得される単眼の内視鏡画像のフレーム時系列における画像点／特徴の運動の光学フローを決定するフローチャート４０の段階Ｓ４１を始める。段階Ｓ４１の実行に続いて又は同時に、深度推定デバイス３４は、光学フローから深度場を推定するため、フローチャート４０の段階Ｓ４２へ進む。ここで、深度場は、単眼の内視鏡画像における１つ又は複数の対象物の深度を示し、深度場推定は、フローチャート４０の段階Ｓ４３において、深度マップの表示に利用される。

図３に示されるフローチャート５０は、フローチャート４０（図２）の例示的な実施形態を表す。特に、デバイス３４による光学フローの決定は、フローチャート５０の段階Ｓ５０の間、複数のベクトルを含むベクトル場の生成を含む。ここで、各ベクトルは、単眼の内視鏡画像内の（例えば、２つの単眼の内視鏡画像の間の）特定の画像点の運動を表す。例えば、図４に示されるように、内視鏡２０が気管支６１内の内視鏡経路２１を横断するとき、内視鏡２０により取得される患者６０の気管支６１のフレーム時系列２２における各内視鏡ビデオフレームに関する画像点／特徴の運動の光学フローは、単眼の内視鏡画像に含まれる画像点の運動を表すベクトル（例えば、図５に示されるベクトル場７０）により決定されることができる。

更に、２つの内視鏡ビデオフレームの間の内視鏡２０の速度は、内視鏡追跡デバイス３３により追跡される所与のフレームに対して、内視鏡２０の相対的な位置から計算されることができる。このフレームは、連続的、又はフレーム間で内視鏡２０により静止した対象物が観測されると仮定するといくらか遅延するものとすることができる。内視鏡２０の速度が与えられると、内視鏡２０の光学軸が内視鏡の運動と揃えられ、従って、拡張焦点（「ＦＯＥ」）として知られる連続的なスライスにおいて動かない光学フロー上の点が内視鏡２０の運動と揃えられるという事実の観点から、深度場がこの拡張焦点から推定されることができる。各点に関する深度情報は、（１）フローチャート５０の段階Ｓ５２により特定される、ＦＯＥからのすべての点の距離Ｄ、（２）すべての点における光学フローの振幅Ｖ、及び（３）内視鏡２０の速度ｖを知ることにより計算されることができる。特に、深度推定デバイス３４は、以下の式［１］
Ｚ＝ｖ＊Ｄ／Ｖ［１］
に基づき、フローチャート５０の段階Ｓ５３の間、各画像点に関する深度情報を計算する。ここで、Ｚは、画像点の深度である。この場合、Ｘ及びＹ位置は、内視鏡２０の固有のパラメータ（例えば、焦点等）から計算されることができる。

例えば、図４に示されるように、内視鏡追跡デバイス３３は、フレーム時系列２３を生成する際、深度推定デバイス３４が内視鏡２０の速度ｖを決定することを可能にする追跡データ３５を深度推定デバイス３４に提供する。そのようなものとして、ベクトル場における特定されたＦＯＥからのすべての画像点の距離Ｄとすべての点における光学フローの振幅Ｖを知ることに基づき、深度推定デバイス３４は、深度場３６（例えば、図６に示される深度場７１）を推定するため、及び深度マップ３７（例えば、図７に示されるカラーコード化された深度場７２）を生成するため、フレーム時系列２３の計算されたベクトル場内の各点に関するＺ深度を計算する。

図８に示されるフローチャート８０は、フローチャート４０（図２）の別の実施形態を表す。フローチャート８０は、同じシーンの２つの表示（即ち、わずかに異なる時間で撮られる２つの内視鏡ビデオフレーム）の立体視に基づかれる。特に、フローチャート８０の段階Ｓ８１の間ベクトル場が生成され、内視鏡２０がデバイス３３により追跡されるとすると、２つの表示に対する内視鏡２０の相対的位置も知られる。この場合、座標系は、第１の表示を作成するカメラポーズに付けられる。従って、第１の表示に対する第２の表示を生成した既知のポーズは、３ｘ３回転行列Ｒ及び３ｘ１並進ベクトルｔで規定される。更に、（例えば、カメラのデータシートから又は既知の較正方法から）内視鏡２０の固有のカメラパラメータが知られると仮定すると、カメラ固有の３ｘ３行列Ｋが規定されることができる。これらのデータから、フローチャート８０の段階Ｓ８２は、以下の式［２］及び［３］

に基づく、第１の表示Ｐ１及び第２の表示Ｐ２に関する４ｘ４投影行列の計算を含む。

フローチャート８０の段階Ｓ８３は、各画像点の深度を計算するため、投影行列の投影要素のジオメトリックトライアンギュレーション（geometric triangulation）を含む。

内視鏡２０がデバイス３３により追跡されない場合、同様な手順が、投影行列を推定するためベクトル場を用いて実行されることができる。この場合、深度が、スケール係数だけに対して推定され、現実の物理的な深度が知られることはない。

本発明が、例示的な側面、特徴及び実現を参照して説明されたが、開示されたシステム及び方法は、斯かる例示的な側面、特徴及び／又は実現に限定されるものではない。むしろ、本書に提供される記載から当業者には容易に明らかであるように、開示されたシステム及び方法は、本発明の精神又は範囲を逸脱しない範囲で、修正、変形及び拡張を許すものである。従って、本発明は、この範囲に含まれる斯かる修正、変形及び拡張を明示的に含むものである。

Claims (15)

1. 最小侵襲外科システムであって、
   体の生体構造領域内のターゲット位置へと進められるとき、複数の内視鏡ビデオフレームを生成する内視鏡であって、前記内視鏡ビデオフレームが、前記生体構造領域の単眼の内視鏡画像を示す、内視鏡と、
   前記内視鏡が前記ターゲット位置へと進められるとき、前記内視鏡ビデオフレームを受信するため前記内視鏡と通信する内視鏡手術制御ユニットとを有し、
   前記内視鏡手術制御ユニットが、前記生体構造領域の前記単眼の内視鏡画像のフレーム時系列内の少なくとも１つの画像点の光学フローの関数として、前記生体構造領域の前記単眼の内視鏡画像における対象物の深度を示す深度場を推定するよう動作可能である、最小侵襲外科システム。
2. 前記内視鏡手術制御ユニットが更に、深度場推定を表す深度マップ表示を生成するよう動作可能である、請求項１に記載の最小侵襲外科システム。
3. 前記内視鏡手術制御ユニットが更に、前記深度場推定の関数として、前記体の生体構造領域の事前画像と前記単眼の内視鏡画像とを位置合わせするよう動作可能である、請求項１に記載の最小侵襲外科システム。
4. 前記内視鏡手術制御ユニットが更に、前記生体構造領域における前記ターゲット位置に達するための前記内視鏡に関する運動学的な経路を事前に計画するよう動作可能である、請求項１に記載の最小侵襲外科システム。
5. 前記内視鏡手術制御ユニットが更に、前記内視鏡が前記生体構造領域における前記ターゲット位置へと進められるとき、前記生体構造領域における前記内視鏡の位置を追跡するよう動作可能である、請求項１に記載の最小侵襲外科システム。
6. 前記生体構造領域の前記単眼の内視鏡画像の前記フレーム時系列内の前記少なくとも１つの画像点の前記光学フローの生成が、前記生体構造領域における前記内視鏡の位置を追跡することを含む、請求項５に記載の最小侵襲外科システム。
7. 前記内視鏡が、気管支鏡及びネストカニューレを含むグループの１つである、請求項１に記載の最小侵襲外科システム。
8. 内視鏡外科方法において、
   体の生体構造領域におけるターゲット位置へと内視鏡を進めるステップと、
   前記内視鏡が前記ターゲット位置へと進められるとき、複数の内視鏡ビデオフレームを生成するステップであって、前記内視鏡ビデオフレームが、前記生体構造領域の単眼の内視鏡画像を示す、ステップと、
   前記生体構造領域の前記単眼の内視鏡画像のフレーム時系列における少なくとも１つの画像点の光学フローを決定するステップと、
   前記少なくとも１つの画像点の前記光学フローの関数として、前記単眼の内視鏡画像における対象物の深度を示す深度場を推定するステップとを有する、方法。
9. 前記光学フローを決定するステップが、複数のベクトルを含むベクトル場を生成するステップを含み、
   各ベクトルが、前記フレーム時系列における前記画像点の１つの運動を示す、請求項８に記載の内視鏡外科方法。
10. 前記深度場を推定するステップが、
    前記ベクトル場における拡張焦点を特定するステップと、
    前記拡張焦点からの各画像点の距離の関数として、各画像点に関する深度点を計算するステップとを含む、請求項９に記載の内視鏡外科方法。
11. 前記深度場を推定するステップが、前記ベクトル場における各ベクトルの振幅の関数として、各画像点に関する深度点を計算するステップを含む、請求項９に記載の内視鏡外科方法。
12. 前記深度場を推定するステップが、前記ベクトル場における各ベクトルの速度の関数として、画像点に関する深度点を計算するステップを含む、請求項９に記載の内視鏡外科方法。
13. 前記深度場を推定するステップが、前記ベクトルの関数として、投影行列を計算するステップを含む、請求項９に記載の内視鏡外科方法。
14. 前記深度場を推定するステップが、前記投影行列の投影要素のジオメトリックトライアンギュレーションの関数として、各画像点に関する深度点を計算するステップを含む、請求項１３に記載の内視鏡外科方法。
15. 前記深度場推定を表す深度マップを表示するステップを更に有する、請求項８に記載の内視鏡外科方法。

Images