JP2013517909A - 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録 - Google Patents

Abstract

グローバルな登録システム及び方法は、大きな気管支鏡操作、専門家の介入、又は電磁気センサを必要とせずに気管支鏡位置を識別する。気道ツリー内の分岐位置のＶＢビューを含む三次元（３Ｄ）気道ツリーの仮想気管支鏡（ＶＢ）レンダリングが得られる。少なくとも１つの実際の気管支鏡（ＲＢ）ビデオフレームが気道ツリー内に挿入された気管支鏡から受信される。本発明に従うアルゴリズムは、コンピュータ上で受信したＲＢビューに最も近いＶＢビューを最も見込みのありそうな分岐位置の幾つかを識別する演算を行う。気道ツリー内の気管支鏡の３Ｄ位置はＶＢビューで識別された分岐位置に従い決定される。好ましい実施例は、ベストマッチを見つけるために使用する二乗距離行列の重みづけ正規化和を用いてグローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のローカル登録サーチを取り込む。
【選択図】図３

Description

本発明は、全般的には気管支鏡検査法に関連し、特に、画像ベースの気管支鏡検査法ガイダンスシステム及び、他のタイプの内視鏡的な処置を含む他のアプリケーションに有用なグローバル登録システム及び方法に関する。

〔政府支援〕
本発明は、ＮＩＨ国立癌協会が授与した認可番号Ｒ０１−ＣＡ０７４３２５の下で政府支援がされました。

〔関連出願への相互参照〕
本願発明は、２０１０年２月２８日出願の米国仮特許出願第６１／２９９，１９４号、及び２０１０年２月３日出願の米国仮特許出願第６１／３００，９６９号からの優先権を請求するものであり、これらの出願の全内容が引用により組み込まれる。

気管支鏡検査法は、肺癌評価で通常用いられる医療処置である［１］。肺癌評価は、主に次の２つのステージに関連する［２，３，４］。すなわち、（１）三次元（３Ｄ）マルチスライスＣＴ（multi-detector computed-tomography：ＭＤＣＴ）の画像評価、及び（２）生体の気管支鏡検査法、である。ＭＤＣＴ画像評価の間に、医師は患者の二次元（２Ｄ）のＭＤＣＴスキャンから得られる断面スライスを用いて、リンパ節及び疑わしい結節（こぶ）等の診断上の特定の関心領域（ＲＯＩ）を鑑別する［５，６，７］。このステップで、医師は各ＲＯＩに至る最接近ルートを特定し、２Ｄスライスを用いた３Ｄルートを頭の中で計画する。気管支鏡検査の間、医師は事前に頭の中で計画して定義しておいたルートに沿って、各ＲＯＩに向かい、気管支鏡を肺気道に通して操作する。これは、気管支鏡から得られる生内腔ビデオフォード(video feed)上のルートに沿った分岐点を識別することによって行われる。この手作業をベースとしたルート計画処置はチャレンジングであることを示し、早ければ第２の気道生成で気管支鏡検査のエラーを生じさせる［８，９］。

画像をガイドした気管支鏡検査ガイダンスシステムは、多くの正確な気管支鏡検査法を可能にする［４，１０，１１，１２，１３］。これらのシステムは、仮想の気管支鏡検査法（ＶＢ）によって動かさられ、患者の胸部の３ＤのＭＤＣＴ画像は“仮想環境”として役に立つ［１４，１５，１６］。ソフトウェア定義の仮想カメラは仮想環境において肺の中をナビゲートし、そして、ＶＢ画像としても知られる３Ｄデータの内腔レンダリングをあらわす。気管支鏡検査中のガイダンスを容易にするため、あらゆる気管支鏡検査ガイダンスシステムは、３ＤのＭＤＣＴ仮想空間に対して、３Ｄ外科的空間における実際の気管支鏡の登録に関する幾つかの手法に依存する。登録のために用いられるセンサのタイプにより、気管支鏡検査ガイダンスシステムは、電磁気（ＥＭ）型か、画像型の何れか一方となる［３，４，１１，１２，１３，１５，１６，１７，１８］。

電磁気（ＥＭ）型のガイダンスシステムは、１）電磁場ジェネレータ、２）操縦可能なＥＭプローブ、３）ガイダンス・ソフトウェアら構成される［１２，１３，１７］。電磁場ジェネレータは、患者の胸部まわりに電磁場を発生させる。操縦可能なＥＭプローブは、気管支鏡検査の作動チャンネルを通して挿入され、且つ、外部の電磁場において追跡される。気管支鏡検査を開始する前に、操縦可能なＥＭプローブは、外部の電磁場の座標システムとＭＤＣＴ座標システムをキャリブレーション及び同期させるのに用いる。その結果、ＥＭプローブは気管支鏡検査の間で追跡されるので、ＭＤＣＴ座標システムにおけるその位置は名目上、既知になる。このようなシステムは、三次元のＭＤＣＴ座標システム内における気管支鏡の先端のグローバルポジションを直ちに確立することが可能である。しかしながら、付近にある金属物体は、強磁性体のデバイス干渉（妨害）を誘導させ、外部電磁場に歪みを導いてしまう［９］。さらに、患者の呼吸は、登録エラーにつながる胸部の動きを生じさせる［２０］。これらのエラーは周囲の気道内で拡大される。なぜなら、気道の分岐は一層小さくなり、患者の呼吸で動いてしまうからである。さらに、気管支鏡が特定の関心領域（ＲＯＩ）に導かれると、生体検査用の手具がＲＯＩの組織サンプルを収集するのに挿入されるようにするため、操縦可能なプローブは気管支鏡の作動チェンネルから後退されなければならない。その結果、ＥＭ型の気管支鏡ガイダンスシステムは、暗黙のうちにグローバルな登録を提供するのであるが、一方でローカルな登録には悩まされる。これらの問題を軽減する試みとして、ＥＭと画像ベースのガイダンス手法を組み合わせる進行中の研究がある［２１，２２］。

画像ベースの気管支鏡ガイダンスシステムは、気管支鏡の位置を確立するために、３ＤのＭＤＣＴスキャンから気道ツリーのボリュームレンダリング若しくはサーフェースレンダリングされた内腔画像に依存する。これは、一般的には、仮想の気管支鏡検査法（ＶＢ）画像と実際の気管支鏡検査法（ＲＢ）のビデオフレームを比較することによってなされる。誤差の二乗の重みづけされた正規化総計（ＷＮＳＳＤ）［２４］及び正規化された相互情報（ＮＭＩ）［３，４，２６］は、この２つのソース源から得られる画像を比較するために用いられる行列である。Powellの最適化、シンプレックス若しくは勾配方式を用いて登録が実行される。画像ベースの気管支鏡ガイダンス方式は、分岐点でローカルな登録に依存するので、患者の呼吸の動きにあまり影響を受けない。しかしながら、これらの方式は気管支鏡ビデオに頼ることから、患者の咳や粘液性の閉塞症状により生ずる気管支鏡ビデオ内の不自然な結果に影響を受けてしまう。また、利用可能なシステムの殆どは、気管支鏡位置の初期化の際に手作業の登録に依存している。実際の気管支鏡処置の間、グローバルな登録アルゴリズムが存在しないことは、処置時間の増加と気管支鏡の位置における不確かさを導いてします。これは、ひいては、ガイダンスエラーにつながる。その結果、画像ベースの気管支鏡ガイダンス方式は、暗黙のうちに、グローバル登録ではない、秀逸なローカル登録を提供する。

グローバル登録は、イメージ融合［２７，２８］、リモートセンシング［２９，３０］、オブジェクト認識［３１］、及びロボットナビゲーション［３２］などの様々な分野で用いられている。ロボットナビゲーションにおいてグローバル位置を確立することの問題は、画像ベースのコンピュータ誘導気管支鏡法の領域でのグローバル登録と殆ど似ている。ロボットナビゲーションの場合、グローバル登録は、“児童誘拐問題”とも呼ばれている。そこでは、ロボットが任意の姿勢に移動され、どんな動きの予測も利用できないときにその位置を推定しなければならない［３２］。Moreno他は、実際の(生の)センサデータを使用し、且つ再帰的に現在の姿勢を推定する進化ローカリゼーションフィルターと命名された非線形フィルターを提示した［３２］。マルチ仮説カルマンフィルター［３３，３４］、グリッドベース確率フィルター［３５］、及びモンテカルロ・ローカリゼーション［３６］を用いる他の方法もまた、ロボットナビゲーションにおけるグローバル登録の問題を取り組むために使用されてきた。

医療イメージングの領域の場合、グローバル登録は主に、マルチ様式の登録のために用いられてきた。Zhang他は、適合領域強度型超音波及びコンピュータテクノロジー登録を記載している［３７］。Munim他は、複数の患者の磁気共鳴（ＭＲ）画像を登録するのにベクトル距離関数を使用した［３８］。Moghari他は、複雑骨折を、統計に基づく解剖地図モデルに合わせるためのグローバル登録方法を記載した［３９］。重要なコンポーネント解析及び未感知のカルマンフィルターが、ローカル及びグローバルの登録それぞれのために用いられた。Fookes他は、この問題を重みづけ共分散の非線形最少二乗関数の最小化として系統立てることによって、同じ患者から複数のＭＲ画像の登録に関する方法を記載した［４０］。

画像ベースの気管支鏡法ガイダンスの場合、研究者達は、ローカルな登録の問題に焦点をあててきた。しかしながら、グローバルな登録の問題に取り組んできた例は殆ど無い。これによって、気管支鏡の分岐位置が確立される。Bricaul他は、登録に関してマルチレベルの戦略を提案してきた［２３］。この研究では、気管支鏡の分岐位置を識別「するのに、一つの分岐点から隣の分岐点までのサブ区間の壁の関連する位置変化が用いられた。Shinohara他は、固有空間イメージマッチングを用いた分岐識別を記載した［４１］。しかしながら、この方法は、気管支鏡の追跡に取り組むものであり、グローバルな登録のために使用されることができない。さらに、これは相互の初期化を要求している。

本発明は、画像ベース気管支鏡法ガイダンスシステム及び他のタイプの内視鏡処置を含む別の応用例に有用なグローバルな登録システム及び方法である。最新の分岐位置を識別することにより同期が復元され、これにより、電磁気センサなどの他の外部デバイスを必要とせずに、グローバルで専門家に頼らない気管支鏡ガイダンスを容易に実行することができる。

気道ツリー内における分岐位置の仮想ビューを含む、３次元気道ツリーの仮想の気管支鏡法（ＶＢ）レンダリングが得られる。実際の気管支鏡（ＲＢ）ビデオフレームの少なくとも１つは、気道ツリーの中に挿入される気管支鏡から受信される。本発明によるアルゴリズムは、受信されたＲＢビューに最も近いＶＢビューを有する幾つかの類似分岐位置を識別するためにコンピュータ上で実行され、そして気道ツリー内の気管支鏡の３次元位置が、ＶＢビューで識別された分岐位置に従い決定される。

アルゴリズムとして、分岐内の探索（サーチ）の後の分岐相互間のサーチを含むオペレーションを高速化する様々な技術を使用する。特に、グローバルな気道分岐点のサーチ空間におけるすべての分岐にわたり、最適一致を決定するのに用いられる二乗距離行列の重みづけされた正規化総計により、高速サーチが実行される。好ましい実施例において、分岐内部サーチは、高速ローカル登録の改良と結びついた矩形を包含するルーメンの予め計算された領域を使用する。

分岐内部サーチは、以下の式で与えられる。

分岐相互間のサーチは、以下の式で与えられる。

は、分岐内部サーチから得られるビューポイントの集合である。

現時点で、サーチ空間分岐毎に３秒要するアルゴリズムの結果を示す。サーチ空間を減少させながら精度を上げる傾向がみてとれる。このアルゴリズムは、同一分岐点のマルチビューを用いるとき、精度比がほぼ９０％となる。気道の幻像（ファントム）を使用するとき、テストフレームの照射モデルはＶＢフレームのために使用するものとは異なり、８９％のグローバル登録精度が得られる。

気管支鏡法におけるビデオフレームの歪み補正を示す図である。 気管支鏡法におけるビデオフレームの歪み補正を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 三次元気道ツリー及び仮想気管支鏡の例を示す図である。 分岐相互間のサーチに関する事前計算を示す図である。 入力ＲＢ分岐を示す図である。 サーチ空間の５つの異なる分岐において分岐相互間のサーチにより見つけられる気管支鏡位置に関連したＶＢ画像を示す図である。 サーチ空間の５つの異なる分岐において分岐相互間のサーチにより見つけられる気管支鏡位置に関連したＶＢ画像を示す図である。 サーチ空間の５つの異なる分岐において分岐相互間のサーチにより見つけられる気管支鏡位置に関連したＶＢ画像を示す図である。 サーチ空間の５つの異なる分岐において分岐相互間のサーチにより見つけられる気管支鏡位置に関連したＶＢ画像を示す図である。 サーチ空間の５つの異なる分岐において分岐相互間のサーチにより見つけられる気管支鏡位置に関連したＶＢ画像を示す図である。 気道の幻像に関する気管支鏡の入力ビデオフレームを示す図である。 気道の幻像に関する気管支鏡の入力ビデオフレームを示す図である。 気道の幻像に関する気管支鏡の入力ビデオフレームを示す図である。 気道の幻像に関する気管支鏡の入力ビデオフレームを示す図である。 気道の幻像に関する気管支鏡の入力ビデオフレームを示す図である。 気道の幻像に関するアルゴリズムによって推定される気管支鏡位置でのＶＢ画像を示す図である。 気道の幻像に関するアルゴリズムによって推定される気管支鏡位置でのＶＢ画像を示す図である。 気道の幻像に関するアルゴリズムによって推定される気管支鏡位置でのＶＢ画像を示す図である。 気道の幻像に関するアルゴリズムによって推定される気管支鏡位置でのＶＢ画像を示す図である。 気道の幻像に関するアルゴリズムによって推定される気管支鏡位置でのＶＢ画像を示す図である。

気管支鏡法の間、医者は気道ツリーを通して気管支鏡を操作する。画像ベースの気管支鏡法ガイダンスシステムは、分岐点で別個のガイダンスを提供する。マルチ検出コンピュータ・トモグラフィー（ＭＤＣＴ）の座標システムを用いた気管支鏡ビデオに見られるビューを登録するために、我々は三次元ＭＤＣＴデータを用いることによって気管支鏡で見られる画像をモデル化する。

ＶＢビューをモデル化する際に、まず、オフライン手順を用いて気管支鏡カメラがキャリブレートされる［４２］。焦点距離ｆ及びカメラのＦＯＶ角などのパラメータが計算される。また、図１に示すように、ビデオフレームの樽型（バレル）歪みを修正するための係数が見つけられる。図１Ａ及び図１Ｂは、気管支鏡のビデオフレームの歪み補正を示し、図１Ｂは歪み補正後の気管支鏡ビデオフレームを示す。

ＶＢビューを生成するため、ロバストなセグメンテーション・アルゴリズムを用いて気道ツリーを自動的にセグメント化する［４３］。マッチングキューブアルゴリズムが、三次元セグメンテーション上で行われ、気道ツリーのポリゴンサーフェースを得る［４４］。仮想の気管支鏡は、焦点距離ｆと気管支鏡カメラと同じ画像ディメンジョンを有するピンホールカメラモデルとして設計される。内腔の気道サーフェースは、焦点に光源があるランバート（Lambertian）として仮定される。副次的な反射は無視する。これらの仮定を用いると、ＶＢビューは図２Ａ〜２Ｆに示すようなOpenGL［４５］を用いてレンダリングされる。仮想の気管支鏡をビューする。図２Ａ〜２Ｃは、気管内、左主気管支、右主気管支（図２Ｄ−２Ｆ）内にポジショニングされた三次元気道ツリー及び仮想の気管支鏡（黄色の円筒＋グラフィカルな針状葉）と対応するＶＢビューとの例を示す。

＜グローバルな登録の問題＞
三次元気道ツリーにおいて気管支鏡の最新の分岐位置が確立されるとき、グロ−バルな登録が定義される。グロ−バル登録問題を系統立てるため、我々は、気管支鏡が気道内に“盲目的に(blindly)”挿入されるシナリオを考慮する。これにより、気管支鏡は幾つかの分岐点に存在することになる。我々は、気管支鏡からの実際の気管支鏡（ＲＢ）ビデオフレームをＩ_v（ｘ，ｙ）としてあらわす。仮想気管支鏡から得られる仮想気管支鏡（ＶＢ）レンダリングは、Ｉ_CT（ｘ，ｙ）としてあらわす。気管支鏡の現時点で未だ分かっていないビューポイントはθ＝（ｘ，ｙ，ｚ，α、β，γ）であり、（ｘ，ｙ，ｚ）は三次元の空間位置を与え、（α、β，γ）はオイラー角を特定する。グローバルな登録アルゴリズムは、所与のＲＢビューに最も近いＶＢビューをもつビューポイントを含む分岐を見つける。

この問題は、最大事後確率（ＭＡＰ）問題をもたらし得る。その最初の部分は、確率密度推定問題である。我々は、入力気管支鏡ビデオを与えたときに、気管支鏡が使用できる姿勢の空間にわたり事後密度を推定する。この問題はMoreno他によるものと類似する［３２］。その論文においてはグローバルな登録のために反復解法が使用されているが、我々はWeiβ他による方法に類似する単一フレームを用いた登録方法を提供する［４６］。ビューびＭＡＰポイントより、グローバルな登録問題は最適問題でもあり、我々は、気管支鏡が事後確率密度：
を最大にする姿勢を与える分岐を推定する。
ベイズ理論を用いて、
を得る。

その結果、我々は、
を得る。

仮に、類似度関数Ｃ（・，・）が非類似度指標で置換えられる場合、グローバルな登録問題は、
最適分岐は、以下の式（６）で与えられる。

提案したアルゴリズムは、１以上の実際の気管支鏡ビデオフレームを入力として受付け、気道ツリー内の気管支鏡の三次元位置を出力する。このアルゴリズムは、気管支鏡の位置が未知なとき、実際の気管支鏡を行っている間、呼び出される。次ぎに、このアルゴリズムは、気道ツリー内の気管支鏡の位置を決定するだろう。本アルゴリズムを呼び出す前に、気道の分岐点の良好なビューが得られるように医者は気管支鏡をポジショニングする。その結果、図４に示すようなルーメン領域が上手く表示される。本方法の全体精度を向上させるため、同一の分岐点若しくは関連する分岐点（親−娘分岐）の何れか一方でこのアルゴリズムをマルチに実行することが用いられる。本アルゴリズムは、大きくは２つの主なステージ、すなわち、内部分岐サーと分岐相互間サーチとに分けられる。

図３は、分岐内部サーチに関する事前計算を示している。この図は、青線でハイライトされた分岐に関して実行された事前計算をあらわしている。赤の線は、三次元の気道ツリーを通じてあらかじめ定義したセンターライン・ナビゲーション経路である。緑の三角形は、選択された分岐に沿った予め適宜した３つのビューサイト（Ａ，Ｂ，Ｃ）をハイライト化している。このビューサイトの右側にある図は、ＶＢレンダリング（Ａ１，Ｂ１，Ｃ１）、ルーメン閾値画像（Ａ２，Ｂ２，Ｃ２）、及び各ビューサイトに関連する矩形を包含する最小部分（Ａ３，Ｂ３，Ｃ３）である。上記最小の包含矩形の長手方向の長さは、事前計算中に保存され、後に、所与の分岐においてＲＢフレームの位置をローカライジング(localizing)するために使用される。

＜分岐内部サーチ＞
分岐内部サーチは、以下の式（７）であらわされる。

この最適化プロセスは、所与の分岐における可能性のあるすべてのビュー位置におよぶ必要がある。これは、関連する時間が過度となることから、リアルタイムのアルゴリズムにおいては実用的ではない。それゆえ、我々は２つのステップを含む新規な分岐内部サーチを使用する。第１のステップにおいて、分岐内部サーチは、分岐のセンターラインに沿った予め定義されたすべてのビューサイトを通じて高速のスキャンを実行する。第２のステップは、第１のローカル登録を用いながらのレンダー位置調整を含む。気管支鏡のロール角に不確かさがあるので、我々は異なるロール角を用いながら各分岐に対する４つの見込みのある位置のセットを使用する。

ルーメン領域の矩形を包含する最小部分は、図３に示すようにレンダー位置が分岐点に向かったセンターラインに沿って動くとき、その長手寸法において変化がある。これは、センターラインに沿って高速スキャンサーチをすることの基本アイデアとなっている。このサーチの場合、最初に、入力のリアル画像Ｉ_vはルーメン領域をセグメントに分けるために閾値化される。ｐ＝１０の値で閾値化されるｐタイルはルーメン領域をセグメントに分けるための良好な結果を与えるよう経験的に見つけられてきた。ルーメン領域がセグメントに分けられると、セグメント領域の凸状体が見つけ出される。我々は、この目的野ｒために、Bentley-Faust-Preparata（ＢＦＰ）高速近似の２次元凸状体アルゴリズムを使用する［４７］。この凸状体は、図３に示すようなルーメン領域の矩形を包含する最小部分を見つけるのに使用される。この包含矩形の長手寸法は、Dim_Maxとして保存される。同様の特徴抽出ステップが、事前計算ステップで、すべての分岐の予め定義されたセンターラインビューポイントで実行され、そして包含矩形の長手寸法が保存される。生のグローバル登録の間で、分岐内部サーチは、Dim_Maxに最も近い特徴値をもつ各分岐で、最高のセンターラインビューポイントを与える。得られるベストなレンダリング位置は固定のロール角を有する。しかしながら、実画像は可能性のある任意のロール角をもつことだろう。これに取り組むため、９０度のロール角、１８０度、及び２７０度のロール角がこのレンダリング位置に適用され、各分岐に関してベストな４つのレンダリング位置を生じさせる。

実画像は、複数の自由度をもつ気管支鏡から得られる。したがって、前のステップで得られた４つのベストなレンダリング位置は実画像Ｉ_vに類似するレンダリング画像Ｉ_ctを提供しないかもしれない。それゆえ、前のステップから得られる４つのレンダリング位置は、ローカルな登録に関する逆合成方法を用いてさらに調整される［２４］。ローカルな登録は、画像比較のためにＷＮＳＳＤ行列を用いる。

ここで我々は、明らかに重みづけされたケースとして以下を使用する。

パラメータ更新は２００ｍｓで行われ、それは収束するのに十分且つアルゴリズムのトータルランタイムを制限し、各分岐に関して４つの画像レンダリング位置を生じさせる。これらの位置のそれぞれでレンダリングされた画像は、ルーメン領域を得るためにスレッショホールド（閾値）化される。閾値化された画像は、次に、式（１１）に記載される行列Ｃ₁を用いて実画像から得られるルーメン・スレッショホールド画像と比較される。式（７）において、ｓ機器（１１）を代入することにより、分岐のベストレンダリング位置を得る。
ここで、

である。

＜分岐相互間のサーチ＞
分岐相互間のサーチは、以下の式で与えられる。
式（１２）において、我々は式（８）で定義したようなＷＮＳＳＤ非類似度行列を使用する。最適なビューポイントは、式（６）を用いて最新の気管支鏡の分岐位置を見つけるのに使用される。

上述したグローバルな登録方法は、式（１２）で纏められていた。図４Ａ〜４Ｆは、サーチ空間の異なる分岐のためのベストなマッチ（合致）を示し、図４Ｂは分岐内部サーチ後の分岐を正確に識別している。図４Ａは入力のＲＢフレームを示し、図４Ｂ〜４Ｆはサーチ空間の５つの異なる分岐において分岐内部サーチにより発見されたときのベストな気管支鏡の位置に関連するＶＢ画像を示す。分岐内部サーチは、ベスト分岐として図４Ｂに示すようなレンダリングにより分岐を正確に識別する。

＜結果＞
グルーバルな登録アルゴリズムの精度を評価するため、我々は３つのセットのテストを実行する。第１のセットにおいて、我々は仮想ケーススタディを用いながらグローバルな登録アルゴリズムを評価した。第２のセットのテストは、気道幻像の気管支鏡の診断検査から得られるＲＢフレームを用いてグルーバルな登録アルゴリズムの精度を評価した。第３のセットにおいては、我々は複数のテストフレームが用いられたときにアルゴリズムの精度に改善がみられたかを検証した。

＜仮想ケースを用いた評価＞
グルーバルな登録アルゴリズムは、表１に記載するとおり、承諾済みの患者のＣＴデータから派生される３つの仮想ケースを用いて評価された。仮想の気管支鏡を用いる一方で、最初の５つの気道の世代から最小の２８分岐が用いられた。アルゴリズムのサーチ空間を変化させることによって、４つの異なるテストが実行された。すべてのテストにおいて、仮想の気管支鏡の分岐点ビューは、分岐サーチ空間からランダムに選択された。これは、本テストにおいて、未知の“実際の（生の）気管支鏡ビデオ”として提供された。この分岐点ビューは分岐に沿った任意のビューサイトにランダムに移動させることにより得られる。０〜３６０度のランダムなロール角が用いられ、最大±５ｍｍの摂動が仮想気管支鏡の位置に適用され、仮想気管支鏡をセンターラインから離して移動させた。第１のセットにおいて、サーチ空間のためにすべての分岐を用いた。第２のセットにおいて、サーチ空間は、左肺又は右肺の何れか一方のみの分岐を用いることによって２つに分けた。第３のセットにおいて、サーチ空間は肺葉の領域に基づき５つの異なる部分に分けた。第４のセットにおいて、同じ分岐の娘であった分岐のみをサーチ空間で用いた。これらのテストの結果を表２にまとめた。グローバルな登録の精度は７１％〜９２％の範囲であった。２８個の気道分岐からのランダムな選択が３．６％の“精度”を与えたに過ぎないことに留意したい。

表１ テストに使用されたケースのまとめ

表２ 仮想気管支鏡のケースに対し異なる集合セットのグローバルな登録の精度をパーセント表示

＜幻像ケースを用いた評価＞
気道幻像テストは、予め構築した気道ツリー幻像における実際の（生の）気管支鏡に関与した［２５］。幻像は、直径５.９ｍｍの気管支鏡を用いたときのアクセス可能な５個の分岐点より成る。グローバルな登録を実行するしながら、気管支鏡からの各入力ビデオフレームは入力として使用され、グローバルな登録アルゴリズムの出力はサーチ空間からの５個の分岐のうちの一つであった。テストを実行するために、気管支鏡は異なる５つの分岐のそれぞれに移動され、この気管支鏡操作から収集されたビデオがテストに用いられた。収集ビデオから、良好な分岐点を提供したビデオフレームのみがスタディーにおいて使用された。そのようなフレーム総数として８３６が得られた。グローバルな登録アルゴリズムは、８３６個のフレームに対して８９％の精度を与えた（図５Ａ〜５Ｊ参照）。図５Ａ〜５Ｊは、気道幻像に関するグローバルな登録の結果を示す。最上行（図５Ａ〜５Ｅ）は、入力気管支鏡のビデオフレームであり、最行行（図５Ｆ〜５Ｊ）はアルゴリズムによって推定された気管支鏡位置でのＶＢ画像である。

＜マルチフレームを用いた評価＞
マルチフレームを用いてグローバルな登録アルゴリズムの性能を評価するため、表１に記載した仮想ケースを用いた。このテストの設定は、仮想ケースを用いた評価のために使用した設定と同じである。我々は２つのセットのテストを実行した。第１のセットにおいて、同一の分岐点のマルチな“ランダムビュー”がテストのために使用された。本テストの方法論の場合、各フレームはグローバルな登録アルゴリズムによって独立に評価された。最も低いＷＮＳＳＤ行列（式（１２）からのベスト値）を与えたフレームがフレーム群の分岐位置を決定した。第２のセットにおいて、２つの連続する分岐からのテストフレームが使用された。両方分岐は独立に評価された。２つのテストフレームのうち、低いＷＮＳＳＤ行列を与えるフレームが分岐の組を決定した。このセットのテストの結果は、表３にまとめられている。グローバルな登録の精度は８２％〜９９％の範囲である。上記テストのすべてにおいて、グローバルな登録アルゴリズムはサーチ空間分岐毎に２〜３秒の平均時間で実行することがわかった。

表３ 仮想気管支鏡のケースに対しマルチテストフレームを用いたときのグローバルな登録の精度をパーセント表示

Claims (28)

1. 気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録方法であって、
   三次元気道ツリー内の分岐位置の仮想気管支鏡（ＶＢ）ビューを含む仮想気管支鏡レンダリングを取得する処理と、
   前記三次元気道ツリー内に挿入された気管支鏡から、少なくとも１つの実際の気管支鏡（ＲＢ）ビューを受信する処理と、
   前記受信したＲＢビューに最も近いＶＢビューをもつ最適化された分岐位置を識別するためにコンピュータで操作可能なアルゴリズムを提供し実行する処理と、
   前記ＶＢビューで識別された分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を出力する処理と、
   を含む方法。
2. 前記ＲＢビューはビデオフレームより得られる、請求項１に記載の方法。
3. 前記アルゴリズムは、前記受信したＲＢビューに最も近いＶＢビューをもつ複数の可能性のある分岐位置を識別する、請求項１に記載の方法。
4. 前記アルゴリズムは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項１に記載の方法。
5. 前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項４に記載の方法。
6. 前記気管支鏡から複数のＲＢビューを受信する処理と、
   前記複数のＲＢビューに最も近い一つのＶＢビューをもつ最適化された分岐位置を識別する処理とを更に含む、請求項１に記載の方法。
7. 前記複数のＲＢビューは、気道ツリー内の同一又はマルチな分岐位置に関連する、請求項６に記載の方法。
8. 前記アルゴリズムは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する処理を更に含む、請求項１に記載の方法。
9. 前記アルゴリズムは、分岐内部サーチの後に分岐相互間サーチを実行する、請求項１に記載の方法。
10. 前記分岐内部サーチは、以下の式で与えられ、
    分岐内部サーチから得られるビューポイントの集合が
    である、請求項９に記載の方法。
11. 前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項９に記載の方法。
12. 気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録方法であって、
    三次元気道ツリー内の分岐位置の仮想気管支鏡（ＶＢ）ビューを含む仮想気管支鏡レンダリングを取得する処理と、
    前記三次元気道ツリー内に挿入された気管支鏡から、少なくとも１つの実際の気管支鏡（ＲＢ）ビューを受信する処理と、
    前記受信したＲＢビューに最も近いＶＢビューをもつ分岐位置を識別するために、分岐内部サーチの後に分岐相互間サーチが続くアルゴリズムをコンピュータ上に提供し実行する処理と、
    前記ＶＢビューで識別された最も可能性のある分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を出力する処理と、
    を含む方法。
13. 前記アルゴリズムは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項１２に記載の方法。
14. 前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項１３に記載の方法。
15. 前記アルゴリズムは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する処理を更に含む、請求項１２に記載の方法。
16. 前記分岐内部サーチは、以下の式で与えられ、
    分岐内部サーチから得られるビューポイントの集合が
    である、請求項１２に記載の方法。
17. 前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項１２に記載の方法。
18. 気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録システムであって、
    三次元気道ツリー内の分岐位置の仮想気管支鏡（ＶＢ）ビューを含む仮想気管支鏡レンダリングを記憶するメモリと、
    前記三次元気道ツリーの実際の気管支鏡（ＲＢ）ビューを生成する気管支鏡と、
    前記ＲＢビューを使用して、当該ＶＢのレンダリングをサーチ及び解析し、前記ＲＢビューに最もマッチする気管支鏡位置を識別するコンピュータと、
    前記ＶＢビューで識別された分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を表示するディスプレイと、
    を備えたシステム。
19. 前記気管支鏡は、１以上のビデオフレーム形式で前記ＲＢビューを出力する、請求項１８に記載のシステム。
20. 前記コンピュータは、受信した前記ＲＢビューに最も近いＶＢビューをもつ複数の可能性のある分岐位置を識別する、請求項１８に記載のシステム。
21. 前記コンピュータは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項１８に記載のシステム。
22. 前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項２１に記載のシステム。
23. 前記気管支鏡が、複数のＲＢビューを生成し、
    前記コンピュータが、前記複数のＲＢビューに最も近い一つのＶＢビューをもつ最適化された分岐位置を識別する、請求項１８に記載のシステム。
24. 前記複数のＲＢビューは、気道ツリー内の同一又はマルチな分岐位置に関連する、請求項２３に記載のシステム。
25. 前記コンピュータは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する、請求項１８に記載のシステム。
26. 前記コンピュータは、分岐内部サーチの後に分岐相互間サーチを実行する、請求項１８に記載のシステム。
27. 前記分岐内部サーチは、以下の式で与えられ、
    分岐内部サーチから得られるビューポイントの集合が
    である、請求項２６に記載のシステム。
28. 前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項２６に記載のシステム。