JP2016511049A - デュアルデータ同期を用いた解剖学的部位の位置の再特定 - Google Patents

Abstract

本発明は、デュアルデータ同期を用いた解剖学的部位の位置の再特定のための方法およびシステムに関する。第１または「基準探査」中に既に探査されている特定の位置において、１つまたは複数の連続する管腔内もしくは管腔外のその後のまたは「新しい探査」、または同様の処置中に可撓性内視鏡を場合によっては数回、再位置決めするための方法であって、再位置決めは、人間のユーザによって手動で、あるいは１つまたは複数のスクリーン上に２つの異なるウィンドウ上もしくは内に並行して表示される「新しい探査」可撓性内視鏡ビデオと「基準探査」可撓性内視鏡ビデオとの間の同期処理からまたはそれを使ったロボットシステムによって自動的に実現される。

Description

本発明は、被験者の身体に行われる（一部または全摘出後の）連続する管腔内もしくは管腔外の探査、または同様の処置中に、既に探査されている特定の場所に可撓性内視鏡（また同様の医療デバイス）を迅速かつ正確に再位置決めするための方法およびシステムに関する。

術間での生検部位を位置特定し追跡することは、標的化治療を行うための重要な課題を提起する。本発明は、予め標的化された部位に可撓性内視鏡を正確に再位置決めするために、案内ナビゲーションを医療施術者または外科医に提供する。

本発明は、より詳細には、被験者の幾分柔軟な管状器官、またはこのような被験者の身体内の少なくとも管状の長い通路に位置する標的部位に関する。

第一に、しかし限定的ではないが、予想される器官は、食道および結腸である。

第１の好ましい言及された実施についての本発明の分野に関して、食道腺癌（ＯＡＣ）が米国および西欧諸国で急速に頻度増加していることが知られている。胃食道逆流性疾患、慢性的な状態として食道に入る胃酸に起因する良性合併症は、バレット食道（ＢＥ）を引き起こす。これは、下部食道の細胞の変質形成を指し、ほとんどの場合、ＯＡＣの前駆物質である。ＢＥの腺癌への進展は、低度から高度の異形成に進行することが認められている。

医療ガイドラインは、年につき最低２回の生検を用いた異形成の程度に応じて異なるレベルの監視間隔を規定している。通常の監視処置は、食道の遠位端の方へ、かつ被疑領域において２ｃｍごとに４象限生検を採用することを必要とする。生検組織は、評価のために病理に送られる。プローブ式共焦点レーザ内視鏡装置などの装置の導入の場合は、リアルタイム可視化および被疑領域の診断が、手術中に行われ得る。また、高解像度狭帯域画像化が、粘膜および上皮下組織の目視探査によって診断および監視のために使用されている。

これらの場合の各々において、追跡診査中に、胃腸の（ＧＩ）専門家は、予め生検が実施され精査された箇所を特定することが要求される。この問題は文字通り、位置の再特定問題と称されている。通常、ＧＩ専門家は、内視鏡に印刷マーキング（一般に、柔軟な身体に沿って５ｃｍまたは１０ｃｍごとに１つのマーク）を使用し、これは、非常に信頼できない場合があり、かつこれは、内視鏡および光学生検プローブを正確に再位置決めする、したがって疾患を効果的に追跡する彼または彼女の能力を制限する。術間でのこの種の位置の再特定を可能にするための決定論的手段を欠くために、ＧＩ専門家は、罹患食道領域全体を精査しまたは生検を施さなければならず、それにより、標的化治療が妨げられる。

発明者らの知見によれば、手術中に可撓性内視鏡の位置の再特定のこの問題に取り組む以前の努力または提案はない。しかし、手術中に生検箇所を追跡するいくつかのアプローチが存在し、すなわち、Ｂａｐｔｉｓｔｅ Ａｌｌａｉｎら、Ｂｉｏｐｓｙ ｓｉｔｅ ｒｅ−ｌｏｃａｌｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｅｐｉｐｏｌｅｒ ｌｉｎｅｓ ｆｒｏｍ ｔｗｏ ｐｒｅｖｉｏｕｓ ｅｎｄｏｓｃｏｐｅ ｉｍａｇｅｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９１〜４９８頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月；Ｐｅｔｅｒ Ｍｏｕｎｔｎｅｙら、Ｏｐｔｉｃａｌ ｂｉｏｐｓｙ ｍａｐｐｉｎｇ ｆｏｒ ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｃａｎｃｅｒ ｓｃｒｅｅｎｉｎｇ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４８３〜４９０頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月；Ｂａｐｔｉｓｔｅ Ａｌｌａｉｎら、Ａ ｓｙｓｔｅｍ ｆｏｒ ｂｉｏｐｓｙ ｓｉｔｅ ｒｅ−ｔａｒｇｅｔｉｎｇ ｗｉｔｈ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ ａｎｄ ｏｒｏｐｈａｒｙｎｇｅａｌ ｅｘａｍｉｎａｔｉｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１３巻、５１４〜５２１頁、２０１０年１月、である。

これらの各々は、これらが内視鏡フレームの視野の中におよびその中から移動する際に、生検部位をマッピングし追跡するように、解剖学の３Ｄ構造の復元を利用する。これらの知られている解決策は、エピポーラ幾何を用いるか、または同時位置特定およびマッピング（ＳＬＡＭ）に基づく方法を提案している。Ｓｅｌｅｎ Ａｔａｓｏｙら（「Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｒｅｇｉｏｎ ｍａｔｃｈｉｎｇ ｉｎ ｎａｒｒｏｗ−ｂａｎｄ ｅｎｄｏｓｃｏｐｙ ｆｏｒ ｔａｒｇｅｔｅｄ ｏｐｔｉｃａｌ ｂｉｏｐｓｙ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９９〜５０６頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月）は、アフィン変換の不変異方性特徴検出器から得られる特徴一致を用いることによって狭帯域画像における確率的な領域のマッチング法を提案している。

最近になって、Ｓｅｌｅｎ Ａｔａｓｏｙら（「Ｅｎｄｏｓｃｏｐｉｃ ｖｉｄｅｏ ｍａｎｉｆｏｌｄｓ ｆｏｒ ｔａｒｇｅｔｅｄ ｏｐｔｉｃａｌ ｂｉｏｐｓｙ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、３１（３）：６３７〜６５３頁、２０１２年３月）は、画像マニフォールド学習処理として位置の再特定を定式化することを提案している。低次元空間に内視鏡画像を投影することによって、彼らは、管理可能なセグメントの中に多重干渉中に収集される画像を分類しクラスタ化することを提案しており、彼らが主張することは、生検部位の位置の再特定を助けるであろう。しかし、彼らは、術間で抽出されたセグメントのいかなる空間的関係も提供しておらず、したがって、位置の再特定の臨床状況において十分に彼らの結果の使用を明確にしているわけではない。

本発明者らは、特に、非常に変形しやすい内視鏡シーンと結合される多数の処置にわたる組織テクスチャの経時変化により、多重干渉の全域でマッピングされなければならない、情報抽出のための画像ベース情報のみに依拠することは、非常に信頼できない場合もあり、その場合、特徴の抽出、一致、および追跡の再現性が、重要な課題を提起するという見解を持っている。

また、人体内に器具または内視鏡を位置決めするようにしておく追加の方法およびシステムが、たとえば米国特許第７９４５３１０号明細書、米国特許出願公開第２００５／００８５７１８号明細書、および米国特許出願公開第２００７／００５５１２８号明細書によって知られている。

それにもかかわらず、これらの他の知られている解決策は、外部撮像システムによって提供される手術前の仮想２Ｄまたは３Ｄ画像を利用する。

したがって、これらの解決策は、重要な予備データ処理を必要とし、組織テクスチャの変化、あるいは標的シーンのまたは前記シーンの環境の変形を考慮に入れることができない。

米国特許第７９４５３１０号明細書 米国特許出願公開第２００５／００８５７１８号明細書 米国特許出願公開第２００７／００５５１２８号明細書

Ｂａｐｔｉｓｔｅ Ａｌｌａｉｎら、Ｂｉｏｐｓｙ ｓｉｔｅ ｒｅ−ｌｏｃａｌｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｅｐｉｐｏｌｅｒ ｌｉｎｅｓ ｆｒｏｍ ｔｗｏ ｐｒｅｖｉｏｕｓ ｅｎｄｏｓｃｏｐｅ ｉｍａｇｅｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９１〜４９８頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月 Ｐｅｔｅｒ Ｍｏｕｎｔｎｅｙら、Ｏｐｔｉｃａｌ ｂｉｏｐｓｙ ｍａｐｐｉｎｇ ｆｏｒ ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｃａｎｃｅｒ ｓｃｒｅｅｎｉｎｇ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４８３〜４９０頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月 Ｂａｐｔｉｓｔｅ Ａｌｌａｉｎら、Ａ ｓｙｓｔｅｍ ｆｏｒ ｂｉｏｐｓｙ ｓｉｔｅ ｒｅ−ｔａｒｇｅｔｉｎｇ ｗｉｔｈ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ ａｎｄ ｏｒｏｐｈａｒｙｎｇｅａｌ ｅｘａｍｉｎａｔｉｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１３巻、５１４〜５２１頁、２０１０年１月 Ｓｅｌｅｎ Ａｔａｓｏｙら、「Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｒｅｇｉｏｎ ｍａｔｃｈｉｎｇ ｉｎ ｎａｒｒｏｗ−ｂａｎｄ ｅｎｄｏｓｃｏｐｙ ｆｏｒ ｔａｒｇｅｔｅｄ ｏｐｔｉｃａｌ ｂｉｏｐｓｙ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９９〜５０６頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月 Ｓｅｌｅｎ Ａｔａｓｏｙら、「Ｅｎｄｏｓｃｏｐｉｃ ｖｉｄｅｏ ｍａｎｉｆｏｌｄｓ ｆｏｒ ｔａｒｇｅｔｅｄ ｏｐｔｉｃａｌ ｂｉｏｐｓｙ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、３１（３）：６３７〜６５３頁、２０１２年３月

本発明の目的は、前に引用された先行技術の限界を克服することである。

これを受けて、本発明の主な目的は、１つまたは複数の連続する管腔内もしくは管腔外のその後のまたは「新しい探査」あるいは同様の処置中に、可撓性内視鏡を、第１または「基準探査」中に既に探査されている特定の位置に場合によっては数回再位置決めするための方法であって、再位置決めが、人間のユーザによって手動で、あるいは１つまたは複数のスクリーン上に２つの異なるウィンドウ上もしくは内に並行して表示される「新しい探査」可撓性内視鏡ビデオと「基準探査」可撓性内視鏡ビデオとの間の同期処理からまたはそれを使ったロボットシステムによって自動的に実現される、方法である。

本明細書において、探査、インターベンション、または処置に関して、用語「第１の」、「以前の」、または「基準」は、等価な意味を有し、同じタイプの「新しい」、「その後の」、または「現在の」探査、インターベンション、または処置に対して通常、予め（遅れずに）行われている探査、インターベンション、または処置を指し、そのデータは、（全体的に、または部分的にのみ）記録され格納されている。

新しい、その後の、または現在の探査、インターベンション、または処置は、ライブの（リアルタイムの現在の）もの、あるいは記録されたデータにまた基づく探査、インターベンション、または処置であってもよく、したがって、必ずしも後刻実施とは限らない。

好ましくは、同期処理は、第１または基準探査と、電磁気、光ファイバー、または任意の他の同様なタイプの追跡デバイスなどの固定された外部基準フレームに従って内視鏡の前記先端の位置および向きを提供する追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置およびあるいは向きの位置合わせのみに基づいている。

したがって、たとえば可撓性内視鏡の先端に電磁（ＥＭ）センサを取り付けることによって、身体内のその移動は、固定された外部基準フレームに対して追跡され得る。２つの連続するインターベンションについてＥＭセンサ位置の間の一致を計算することによって、ガイデッドビューが、ＧＩ専門家に提供される。このガイデッドビューは、その後の、たとえばライブビューされているインターベンションと最もよく一致する予め記録されたインターベンションから抽出されたマッチング画像から成る。

あるいは、同期処理は、第１または基準探査と、第１または基準探査とその後のまたは新しい探査の両方の間に視認可能な類似の特徴の抽出およびマッチングを行う、リアルタイム内視鏡ビデオ解析によって改善される追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置および向きの位置合わせに基づくことができる。

この実施形態と関連して、人は、同期を改善するように特徴記述子を用いることを考えることができる。

基本的な実施は、ビデオ同期を行うように単一のアルゴリズムを利用することができる。このアルゴリズムは、以前の探査の６ＤＯＦセンサの記録された位置および向き、およびその後の探査中の前記センサのライブ位置および向きのみを使用する。食道または同様な管状器官がいくらかの変形を受ける場合には、または位置合わせステップが不正確な場合には、同期アルゴリズムは、現時点での技術的水準の技術による画像解析を用いて改善され、よりロバストにされ得る。たとえば、特徴記述子は、Ｄａｖｉｄ Ｇ．Ｌｏｗｅ、「Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｕｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、６０巻、Ｎｏ．２、２００４年、９１〜１１０頁、またはＨｅｒｂｅｒｔ Ｂａｙ、Ａｎｄｒｅａｓ Ｅｓｓ、Ｔｉｎｎｅ Ｔｕｙｔｅｌａａｓ、Ｌｕｃ Ｖａｎ Ｇｏｏｌ、「ＳＵＲＦ：Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ（ＣＶＩＵ）、１１０巻、Ｎｏ．３、３４６〜３５９頁、２００８年、に開示されるものなどの、以前の探査の各記録された画像について記録され得る。次いで、その後の探査中に、最良の特徴記述子が、ライブ画像から抽出され、以前の探査から画像の部分集合に一致されることができ、これは、センサ位置および向き情報のみを用いて選択されている画像に（距離的に）近い。明らかに、いかなる種類の特徴記述子もこのために使用され得る。したがって、一致記述子および一致品質の数の解析は、センサ位置および向き情報のみから本来選択されるものよりも類似して見える画像を選択するように使用され得る。

有利なことに、２つの同期化された可撓性内視鏡ビデオは、特定の対象点を示す仮想タグによって向上され、これらの仮想タグは、ユーザによる対話形式での第１または基準探査可撓性内視鏡ビデオに基づいて、および２つの同期化されたビデオの比較に基づく画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される。

あるいは、２つの同期化された可撓性内視鏡ビデオは、特定の対象点を示す仮想タグによって向上され、これらの仮想タグは、たとえば解剖学的、病理学的、または外科的な特定の特徴などの、対象の視認可能な点を抽出する自動ビデオ画像解析による自動的な第１または基準探査可撓性内視鏡ビデオに基づいて、およびその後のまたは新しい探査可撓性内視鏡ビデオにおいて対象の同じ視認可能な点を抽出する自動ビデオ画像解析と２つの同期化されたビデオの比較アルゴリズムを組み合わせる画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される。

たとえば、以前の実施形態に関して、人は、基準探査および新しい探査中に生検部位の自動タグ付けを行うように画像解析および特徴記述子を用いることを考えることができる。

基準探査全体が記録され得るので、これはまた、器具が組織試料を切断し回収するように（または、Ｍａｕｎａｋｅａ Ｔｅｃｈｎｏｌｏｇｙの共焦点顕微鏡装置を用いて光学試料を実行するように）内視鏡動作チャネルの１つに挿入される生検の方法を含む。現時点での技術的水準の画像解析は、Ａｌｌａｎ，Ｍ．、Ｏｕｒｓｅｌｉｎ，Ｓ．，Ｔｈｏｍｐｓｏｎ，Ｓ，、Ｈａｗｋｅｓ，Ｄ．Ｊ．、Ｋｅｌｌｙ，Ｊ．、Ｓｔｏｙａｎｏｖ，Ｄ．（２０１３）、Ｔｏｗａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｉｎｓｔｒｕｍｅｎｔｓ ｉｎ ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｅｒｙ、ＩＥＥＥ Ｔｒａｎｓ Ｂｉｏｍｅｄ Ｅｎｇ６０（４）、１０５０〜１０５８、に開示されるようなビデオ画像において器具位置を追跡することを可能にする。したがって、器具サイズおよびカメラ較正が知られている場合は、カメラフレームに対するその３Ｄ位置もまた知られる。これは、（その先端に取り付けられる）センサ（ＥＭ）フレームに対するカメラフレームの位置が（たとえば、Ｆ．ＤｏｒｎａｉｋａおよびＲ．Ｈｏｒａｕｄ、Ｓｉｍｕｌｔａｎｅｏｕｓ ｒｏｂｏｔ−ｗｏｒｌｄ ａｎｄ ｈａｎｄ−ｅｙｅ ｃａｌｉｂｒａｔｉｏｎ、Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、１４（４）：６１７〜６２２、１９９８年、に説明されている方法を用いて）予め較正されていることを条件として、生検部位は、基準探査ビデオの解析から追跡（ＥＭ）フレームにおいて自動的に計算され得るということを意味する。

いったん生検部位が基準探査においてすべてタグ付けされていると、この場合、新しい探査においてそれらの位置を推定するように特徴記述子を用いることができる。実際、特徴記述子検出の第１のステップは、生検部位を含む基準探査フレームにおいて行われ得る。次いで、画素座標（ｕ、ｖ）を持つ画像において認識される各生検部位について、同じ画像における検出された記述子に対するその相対位置が記録される。その後、記述子は、新しい探査フレームにおいて検出され、基準探査のものに一致される。生検を含むフレームの記述子と一致される少なくとも３つの記述子を含む新しい探査におけるフレームＦ_ｅｘｐすべてについて、位置合わせ手法を用いてＦ_ｅｘｐにおける画素生検部位を推定することができる。この位置合わせステップについて多くの可能性がある。重心座標の使用は、３つの記述子が一致されている場合には標準的な選択肢である。しかし、少なくとも４つの記述子が生検部位の周りに見出されている場合には、同相位置合わせがより関連性のある場合がある（同相は、４つまたそれ以上の点を用いて透視歪みをモデリングすることを可能にする）。

本発明の可能な実施形態によれば、特定の対象点を示す仮想タグによって向上されるかまたはされない、２つの同期化された可撓性内視鏡ビデオは、解剖学的および／または病理学的構造の３Ｄ身体モデルの仮想レンダリングを使った拡張現実技術を用いて融合され、この３Ｄモデルは、被験者の身体のその後のまたは新しい探査前に実現される術前医用画像から抽出される。

拡張現実情報を手術前の３Ｄモデルから新しい探査画像に加えることは、たとえば、下に説明されるように行われ得る。

術前画像または患者（通常、３Ｄ ＣＴスキャンまたはＭＲＩ画像）が利用できる場合には、術前画像フレームＦ_{ｐｒｅｏｐ}と（ＥＭ）追跡システムフレームＦＥＭとの間のリンク（回転＋並進)を計算することができる。この計算は、たとえば、Ｆ_{ｐｒｅｏｐ}における術前画像から手動でまたは自動的に抽出される食道中心線を用いて行われることができ、Ｆ_ＥＭにおいて新しい探査中に評価される食道の軌道に位置合わせされる。これに関連して、食道の軌道は、両フレームにおいて、食道と胃との間の遷移点、および喉の一部を含まなければならない。

２つのＥＭマーカーが患者の胸部に貼り付けられる場合は、Ｆ_{ｐｒｅｏｐ}における術前画像から、２つのＥＭマーカーに自動的に対応する２つの点と食道における１つの点とを手動でまた自動的に抽出することは容易である。この場合、これらの３つの点は、フレームＦ_{ｐｒｅｏｐ}およびＦ_ＥＭを位置合わせするために予め説明されたように使用され得る。

いったんＦ_{ｐｒｅｏｐ}およびＦ_ＥＭの相対位置が知られていると、（その先端に取り付けられる）ＥＭセンサフレームに対するカメラフレームの位置が（たとえば、Ｆ．ＤｏｒｎａｉｋａおよびＲ．Ｈｏｒａｕｄ、Ｓｉｍｕｌｔａｎｅｏｕｓ ｒｏｂｏｔ−ｗｏｒｌｄ ａｎｄ ｈａｎｄ−ｅｙｅ ｃａｌｉｂｒａｔｉｏｎ、Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、１４（４）：６１７〜６２２、１９９８年、に説明されている方法を用いて）予め較正されていることを条件として、内視鏡ビデオフレームにおいて術前画像（３Ｄ表面モデルまたはボリュームレンダリング）から抽出される情報をそのまま重ね合わせる。

本発明の方法の同期処理は、より正確には次の３つのステップ処理、すなわち、
第１のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外の第１または基準探査中に結合されている可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を記録するステップ、
第２のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外のその後のまたは新しい探査中に結合されている可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を処理するステップ、特に位置合わせするステップ、
第３のステップ：リアルタイムのその後の探査と第１の探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップ
から成ることができる。

以前に説明された同期処理の１つまたはいくつかのステップの次の（１から３の）部分的に選択可能な実施形態が予想されることができ、すなわち、
１）同期の第３のステップは、第１の基準探査およびリアルタイムのその後の探査の両方において視認可能な類似の特徴（複数可）を抽出しかつマッチングする、リアルタイム可撓性内視鏡ビデオ解析によって改善される、リアルタイム探査と基準探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップを含む。

２）同期処理は、より正確には、次の４つのステップ処理、すなわち、
第１のステップ；以前に説明されたような、
第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像の対話式の仮想タグ付けを付加するステップであり、この仮想タグ付けが、マウス、パッド、トラックボール、ジョイスティック、または光トラッキングなどの、ビデオの画素または画素のグループを正確に選択するようにしておく任意の相互作用またはヒューマンインターフェース装置を通してビデオの任意の選択された画像にタグを付加するようにしておく特定の第１または基準探査ビデオ読み出しによって実現される、ステップ、
第３のステップ：前に説明された第２のステップと等価なまたは同一のステップ、
第４のステップ：前に説明された第３のステップ（３つのステップ処理）を行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後のまたは新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後のまたは新しい探査ビデオの同じ位置にこれを付加することによって改善される、ステップから成る。

３）同期処理は、より正確には、次の４つのステップ処理、すなわち、
第１のステップ：前に述べたのと同じ、
第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像に自動的な仮想タグ付けを付加するステップであり、この仮想タグ付けが、好ましくは、たとえば色、輝度、コントラスト、および特徴追跡、ならびに解剖学的、病理学的、または外科的な特定の特徴などの、特徴追跡、対象の視認可能な抽出点に基づく、特定のビデオ解析アルゴリズムを通して自動的に実現される、ステップ、
第３のステップ：前に述べた第２のステップ（３つのステップ処理）と等価なまたは同一のステップ、
第４のステップ：前に述べた第３のステップ（３つのステップ処理）を行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後の新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後の新しい探査ビデオの同じ位置にこれを付加することによって改善され、第２のステップに使用される対象の点の検出の同じアルゴリズムが、前に説明された第３のステップ（３つのステップ処理）に規定される他の位置合わせアルゴリズムと場合によっては組み合わされる、ステップから成る。

本発明の典型的な用途として、可撓性内視鏡を使った探査は、食道または結腸などの、ヒト被験体の管状器官に行われる。

本発明による方法は、被験者の姿勢が変化していないままであるかまたは以前の探査とその後の探査との間でほぼ再現され得る場合には、いかなる追加のマーカーの使用もなしに実施され得る。

それにもかかわらず、そうでない場合には、本発明は、その位置が使用される追跡システムまたは他の追跡システムによって記録され得る少なくとも２つのマーカーが、予め被験者の所与の解剖学的場所に配置され、探査される管状器官に依存しかつ好ましくは被験者が姿勢を変え得る場合に顕著な変形または変位を受けない前記場所が、好ましくは、少なくとも１つの他の内部の容易に認識可能な解剖学的特徴点と共に以前のおよびその後の探査の基準点を与えるように使用されることを予測することができる。

再配置の正確さを増加させるために、基準点は、フレームを定義し取り付けるのに使用され、または第１のおよびその後の探査において被験者と関連のあることができる。

必要とされる計算資源を制限し、再配置処理を加速するために、本発明による同期処理は、最終探査段階で、すなわち内視鏡の先端が対象の領域に達した場合に集中され得る。したがって、第１のまたは以前の探査中に、限られた数の画像が記録されまたは選択され、これは、好ましくはマーキングされまたはタグ付けされる関連情報を含み、その後の探査中に、現在のまたはライブ内視鏡位置が関連情報を含む画像と関連する位置に近い場合にのみ、ビデオ画像処理および同期ステップが行われ、ガイダンス情報が提供される。

本発明の他の特徴によれば、管状器官が探査される場合に、画像処理が行われ、この画像処理は、その後の探査中にビデオ画像で管腔位置を解析し、同様の管腔位置によってその後のライブ位置に近い位置と関連する以前の探査から画像を選択する。

有利なことに、探査される器官が結腸である場合は、腹壁に取り付けられることが知られている結腸の３つの点または部分は、固定の基準点または場所として使用され、その後の探査中に標的に達することは、逆方向動きを通じて行われることが好ましい。

また、再配置処理は、必要とされる場合には内視鏡の回転を考慮に入れることができる。したがって、可撓性内視鏡の先端の向きは、記録され、その３Ｄ位置に加えて追跡システムによって利用されて、基準探査とその後の探査との間の内視鏡の向きの回転差を評価する。

実際的な観点から本発明を考える場合には、人は、可撓性内視鏡の先端の正確な再配置は２つの連続する操作ステップ、すなわち、
前に説明されたように、予め行われた処置で決定される生検部位などの基準点または位置に近い可撓性内視鏡の先端の近似位置決めを行うことによる、全体の位置特定ステップ、
その後のまたは現在のインターベンション時にビデオ画像上への以前の処置中に得られる、標的部位または点のマッピングを参照することによる、精密位置決めステップ
を通して行われると考えることができる。

また、本発明は、以前に本明細書において説明された方法を実施することができる医療システムを含んでいる。

本発明は、その非限定的な実施例として与えられる前記発明の実施形態についでの次の説明および図面によってよりよく理解されるであろう。

人の食道の探査中の、本発明の実施形態による可撓性内視鏡および追跡システムを備える医療システムの概略図である。 人の食道の探査中の、本発明の実施形態による可撓性内視鏡および追跡システムを備える医療システムの概略図である。 本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。 本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。 本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。 第１のまたは以前の探査の前進移動中、前記第１のまたは以前の探査の後退移動中、および管状器官たとえば食道の、たとえばライブのその後の探査中に可撓性内視鏡の先端の異なる軌道（連続する位置）を示す１部分の図式表現の図である。その後の探査位置と以前の探査位置との間の点線がユークリッド距離に基づく同期処理に対応し、その後の探査からの位置を考慮すれば、以前の探査から表示されるビデオフレームが以前の探査から最も近い位置と関連するものである図である。 図４によって行われる前進探査中、および後退探査中に得られる管腔の画像を示す図である。 食道および対応する一致の可撓性内視鏡の先端の以前におよびその後のライブ軌道を示す図である。 ライブビュー（左）の、および以前に記録された探査からの最もよく一致する画像（右）の画像を示し、丸で囲んだ部位が内視鏡の熱傷ツールを用いることによって作られるマーキングを示す図である。 列に配置された複数の内視鏡画像を示し、第１の列がライブビデオからのフレームを示し、第２の列が最も近い一致を示し、列３、列４、および列５が、同期処理から得られる２０個の最も良好な一致からランダムに選択されたフレームを示す図である。 （部分的に示される）可撓性内視鏡によって探査を受ける人体の結腸の概略図である。 第１のまたは以前の探査中のロールでの較正および補正を示す、可撓性内視鏡の端部（先端）の部分的な概略図である。 その後のまたは現在の探査（参照のためのｘ、ｙ、ｚがカメラのレンズに付けられ、参照のためのｘ’、ｙ’、ｚ’がセンサに付けられている）中のロールでの較正および補正を示す、可撓性内視鏡の端部（先端）の部分的な概略図である。

図１および図２、および部分的に図９は、被験者７の管状器官に導入されることができ、本発明による方法を実施することができる可撓性内視鏡２を備える、本発明による医療システム１を示している。

より正確には、前記医療システム１は、
ｉ）撮像装置３が少なくとも装備される可撓性内視鏡２、および場合によっては少なくとも１つのツールまたは器具と、
ｉｉ）表示手段３’、および前記内視鏡３と結合された移動制御手段３″と、
ｉｉｉ）電磁追跡デバイスまたは可撓性光学追跡デバイスなどの、内視鏡２の先端２’の位置および向きを提供する追跡デバイスまたはシステム４と、
ｉｉｉｉ）コンピュータ手段（５）および結合された格納手段と
を主として備え、
内視鏡（２）の前端または先端（２’）には、電磁センサ４’または同様な追跡デバイスが設けられ、前記医療システム１は、以前に説明されたような方法を実施することができる手段、特にコンピュータ手段５内のソフトウェア手段をさらに備える。

可撓性内視鏡２の先端２’に固定されまたは取り付けられるセンサ４’および対応する追跡システム４は、少なくとも３Ｄ位置の追跡、好ましくはまた前記先端の向きの追跡を可能にする。

本発明のシステムの第１の実施によれば、かつ図１に示されるように、（たとえば、電磁式または光学式の）いかなる外部マーカーも、以前の探査中のＥＭフレームとその後の探査中のＥＭフレームとの間の位置合わせを行うことが必要とされない。実際、本方法は、喉および食道形状推定に完全に依拠することができ、これは、以前のおよびその後の探査中に行われる。しかし、有効であるべきこの技術の場合、以前のおよびその後の探査中の肩に対する患者の頭の向きがほぼ同じであるべきであり、医療専門家は、胃エントリーポイントに到達しなければならず、これは、（たとえば、食道の中間の大きな腫瘍による食道閉塞の場合は）恐らくは拘束しており、またはある患者に対して実行できない場合がある。

この問題を解決するために、本発明は、後に提示され、図２に示される追加のマーカー６を使用することができる。より正確には、少なくとも２つの補足ＥＭマーカーの使用に基づいていることができ、このマーカーは、容易に後方に見出され得る解剖学的特徴点の上の、好ましくは胸骨に沿って患者の胸部に貼り付けられ、これは、以前のおよびその後の探査中に患者が同じ姿勢を有していない場合に重要な変形を受けない（患者は、仰向けになった姿勢に、かつ次いで横方への臥床姿勢に横になることができる）。頸切痕は、胸骨終端点ばかりでなく、著しく静的な解剖学的特徴点でもあったことが分かっている。

これに関連して、以前の探査中に、２つのマーカー６が、好ましくはインターベンション中に患者７に貼り付けられ、そのうえそれらの位置が記録される。記録される位置は、両方の点について１つのみの取得か、または患者がインターベンション中に動かないはずであることが仮定されているので平均された各マーカーについて取得の集合であり得る。次いで、その後の探査中に、２つのマーカー６は、ほぼ同じ解剖学的な位置において患者７に貼り付けられ、それらの位置は記録される。次いで、位置合わせを行うための第１のアプローチが、各探査中に認識される２つの点のトリプレットを用いて、３Ｄ／３Ｄ点位置合わせ（Ａｒｕｎ ＫＳ、Ｈｕａｎｇ ＴＳ、Ｂｌｏｓｔｅｉｎ ＳＤ．「Ｌｅａｓｔ−ｓｑｕａｒｓ ｆｉｔｔｉｎｇ ｏｆ ｔｗｏ ３−ｄ ｐｏｉｎｔ ｓｅｔｓ」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅを参照されたい）を行うことになる。このトリプレットは、２つのマーカー位置および食道形状推定時の点Ｐ_{ｃｌｏｓｅｓｔ}（これは、ほぼ、患者の喉近傍において湾曲した、ライン形状を持つ点の集合である）であることができ、これは、頸切痕に貼り付けられるマーカーに最も近い。

しかし、本発明者らは、（胸骨に沿って）胸骨終端点を反復して見出す際に、ある不確実性があることに気付いた。そのうえ、本発明者らはまた、頸切痕に最も近い点Ｐ_{ｃｌｏｓｅｓｔ}の相対位置が数ミリメートルという以前の探査とその後の探査との間で変化し得ることを認めた。したがって、３Ｄ／３Ｄ位置合わせは、あまり正確でなく、その代わりとして、以前のおよびその後の探査中に規定され得る次に続くフレームＦを位置合わせすることが提案されている。フレームＦ中心は、頸切痕に貼り付けられるマーカーによって規定され、そのＸ軸は、頸切痕マーカーと胸骨終端点との間のベクトルＭ_ｊＭ_ｓによって規定され、そのＹ軸は、Ｍ_ｊＭ_ｓと、頸切痕マーカーとＰ_{ｃｌｏｓｅｓｔ}との間のベクトルとの間のクロス乗積によって規定され、次いで、そのＺ軸は、Ｘ軸とＹ軸との間のクロス乗積から計算される。その分野の専門家は、２つの点トリプレットの代わりに２つのフレームを位置合わせすることが、胸骨マーカー位置のおよび位置合わせ結果のＰ_{ｃｌｏｓｅｓｔ}の、不確実性の影響を劇的に減少させることを容易に理解するであろう。

本発明は、基本的には、以前の探査からフレームを表示することを目的としており、食道および同様な管状器官のその観点は、ライブの／その後の探査の観点に場合によっては近くにある。最も適応したフレームを見出すことは、計算上コストが高い場合もある。より簡単な実施が可能であり、この実施は、今でも医療専門家のための案内ツールを提供するが、記録された画像フレームの小さいまたは減少した集合を使用するのみである。

以前の探査段階中に、医療専門家は、彼が関連すると考える画像に注釈をつける。彼がその上に（矢印または円が関連情報を示すように画像に重ね合わされ得る）関連情報の位置を示す、ｉが（たとえば、生検情報または病理学情報を含む）範囲［１−５０］に属する、約５０個の関連画像Ｒｉがあると仮定しよう。その後の探査中に、システムは、１つのスクリーンにその後の探査のライブ画像を示し、ライブ内視鏡位置が重ね合わせステップ後に関連画像Ｒｉと関連する位置に近い場合（たとえば、内視鏡位置とＲｉと関連する位置との間の距離が閾値、たとえば３ｍｍの範囲内である場合）にのみ、関連画像Ｒｉを表示することになる。また、システムは、（前進または後進の）その方向において内視鏡がＲｉと関連する点に近づくように移動されるべきであることを示すことができる。この指示は、有向の矢印、文字（たとえば、ＦまたはＢ）、あるいは色インジケータによって与えられ得る。

また、本発明は、記録されたフレームの滑らかでない位置を扱う問題を考えることができる。

明らかに、いくつかの関連画像が点と関連しており、これは、非常に密接であり、したがって閾値より小さい距離によって分離される。この場合は、システムは、スクリーンにモザイク表現で関連画像すべてを表示することができ、または、システムは、医療専門家に、彼が到達することを望んでいるいくつかの関連画像の中のその関連画像を尋ねることができる。

以前の探査中に、システムは、処置中に、対応する画像と関連する（ＥＭ）センサを介した内視鏡位置を反復して同時に記録する。したがって、多くの対 位置＋画像が食道または同様な管状器官における特定の深さについて記録されるが、その結果、前記器官において内視鏡の異なる横方向の位置が生じる。この場合は、かつ本明細書において後ほど説明されるように、その後のライブ探査中に内視鏡の現在の位置に対応する以前の探査からの画像を選択する基本的なアプローチは、医療専門家にとって違和感がある場合がある。実際、時刻ｔにおける表示される画像は、時刻ｔ＋１における画像と非常に異なる場合があり、食道または同様な管状器官における内視鏡の観点は、非常に異なり、この場合、画像流れは、滑らかでない。この現象は、通常、医療専門家が前後探査全体を記録している場合に生じ、図４に示されている。図５で理解できるように、管腔は、同じ探査処置内で、内視鏡の前進運動中にビデオ画像の左側（ｔ_０−ｔ_２００）に、および内視鏡の後退運動中にビデオ画像の右側（ｔ_２００−ｔ_４００）にあり得る。

また、この現象は、複数の生検が同様な深さにおいてであるが器官の反対の側で行われる場合に生じ得る。この問題を解決するために、画像処理アプローチが採用されることができ、これは、時刻ｔにおける画像内の管腔位置を解析し、図５に示されるように、同様な管腔位置を持つライブ位置に近い位置と関連する以前の探査から画像を選択する。

本発明によって扱われ得るもう１つの問題は、内視鏡の回転を考慮に入れることである。

実際、その後の探査中に、医療専門家は、以前の探査中の向きと異なり得るその軸を中心とする向き（通常、ロールと呼ばれる）を持つ内視鏡を導入する。経験を積んだ医療専門家は、通常、内視鏡でいくつかの特定のマークを注視することによって、おおよそ以前の探査とその後の探査との間で同じ向きを有することができる。しかし、これは、時間がかかり、初心者医療専門家にとってそう容易なことではない。内視鏡の向きが同じでない場合は、本方法は、もちろん、２つの探査ビデオを同期させることができるが、画像の向きは、同じでないことになり、したがって、両方のビデオに同じ解剖学的構造を認めることは、医療専門家にとってあまり容易でないであろう。

この点について、本発明の方法は、以前の探査とその後の探査との間のライブの向き誤差を計算するように改善され得る。いったん向き誤差が計算されると、システムは、回転誤差が低減されるように内視鏡が回転されるべきであるその方向に、ライブビデオスクリーン上に矢印で指示を出すことができる。また、度での回転誤差が表示され、更新され得る。

いったん向き誤差が計算されると、システムはまた、以前の探査ビデオに対する、またはその後の探査ビデオに対する誤差を補償する回転を自動的に加えることができる。

以下に、以前の探査とその後の探査との間のライブの向き誤差がいかに計算され得るかが、例示として説明される。食道または同様な管状器官内部の可撓性内視鏡を追跡するために、６ＤＯＦ電磁センサが、内視鏡の先端にセットされる。以前の探査中の記録ステップは、内視鏡先端の３Ｄ位置ばかりでなく、その向き（ロール、ヨー、ピッチ）も含む。また、その後の探査中に、内視鏡先端の向きが取得される。

次の２つの場合が起こり得る。すなわち、
内視鏡先端のカメラと６ＤＯＦセンサとの間の相対的な向きが以前の探査中とその後の探査中とで同じである（すなわち、以前の探査中に使用されている内視鏡がその後の探査中と同じであるか、または各製造された内視鏡が内視鏡先端のカメラと６ＤＯＦセンサとの間で同じ相対的な向きを有することを内視鏡製造業者が保証している）場合には、向き誤差は、ライブ内視鏡位置の６ＤＯＦセンサ向きとライブ内視鏡位置に一致されている以前の探査からの位置における記録された６ＤＯＦセンサ向きとの間のロール差によって与えられ得る。

これに反して、内視鏡先端のカメラと６ＤＯＦセンサとの間の相対的な向きが以前の探査中とその後の探査中とで同じでない場合には、予備較正ステップが、以前の探査中の内視鏡カメラフレーム（そのｚ軸は、通常、カメラ視点に沿って選択される）と６ＤＯＦセンサフレーム（そのｚ軸は、通常、ＥＭセンサコイルに沿っており、したがってこのような状況ではカメラｚ軸にほとんど平行である）との間のロール差Ｒ１、および、その後の探査中の内視鏡カメラフレームと６ＤＯＦセンサフレームとの間のロール差Ｒ２を計算するために必要である（これは、図１０Ａおよび図１０Ｂに示されている）。この場合、Ｒ１とＲ２との差により、カメラと６ＤＯＦセンサとの間の同じ相対位置を持つ同じ内視鏡が以前のおよびその後の探査中に使用されていることを模擬することができる。したがって、前に説明された方法は良好に使用され得る。

本発明の実用的な実施形態が、食道探査に関して、例示としてより正確に説明されることになる。

システム構成１は、おおよそ患者７の胸部の上方に配置され、チタニウムアームを用いて適切な位置に固定される適応した作業範囲を持つＥＭ場発生器４から成る。６ＤＯＦ ＥＭセンサ４’が、可撓性内視鏡２の作業チャネルに挿入され、内視鏡の先端２’に固定される。ＥＭＴＳおよび内視鏡２は、ラップトップ型のまたは同様なコンピュータ関係５に接続され、これは、データを同期的に記録する。インターベンションの記録は、内視鏡２から捕捉される対応する画像フレームを持つ、ＥＭセンサ姿勢のリスト（内視鏡の先端２’の軌道）から成る。可能なライブのその後の処置中に、以前に行われたインターベンションの記録を考慮すれば、対応する画像が、記録に見出されることができ、これは、食道における内視鏡の現在の位置に空間的に一致する。

図３Ａ〜図３Ｃは、本発明の方法のワークフローの概観を与えている。使用される処理は、３つの部分または段階に分割される。すなわち、
取得段階：記録されたデータがタグ付けされ、さらなる処理のために格納される段階、
位置合わせ段階：ライブ処置のＥＭＴＳ基準フレームの位置合わせ、および案内ビューを与えるために選択された以前に記録されたインターベンションを行うための段階、および
同期段階：ライブインターベンションの軌道と以前に位置合わせされた記録との間の空間的同期を行うための段階
である。

取得段階は、図３Ａに概略的に示されている。

この段階中に、ＧＩ専門家は、インターベンションの記録および関連画像のタグ付けを行う。可撓性内視鏡は、食道を通ってゆっくり案内され、同時に、内視鏡から取得されるＥＭセンサ姿勢および対応する画像が、データベースに記録される。記録は、バブル、モーションブラー、スペキュラーハイライト、および焦点外画像のある、多くの情報価値のないフレームを含む。第１に、これらの情報価値のないフレームは検出され、Ｍ Ｋ Ｂａｓｈａｒら、Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｆｒａｍｅｓ ｆｒｏｍ ｗｉｒｅｌｅｓｓ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ ｉｍａｇｅｓ、Ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ、１４（３）：４４９−７０、６月２０１、に説明されている方法を用いてさらなる処理から除外される。ＧＩ専門家は、括約筋が位置合わせ段階においてランドマークとして使用されるので、括約筋を含む画像にタグ付けする。括約筋は、これが安定であり、良好な繰返し精度で到達され得るので解剖学的ランドマークとして使用される。生検処置を含む内視鏡フレームはタグ付けされ、オフラインステップにおいて、専門家は、タグ付けされた生検画像を見直し、処置に最も関連性のある生検画像を選択する。この段階において、専門家は、補足情報を記録の画像に追加するように選択することができ、これは、同期段階中に利用できるであろう。

位置合わせ段階は、図３Ｂに示されている。

ＥＭＴＳの構成は常に術間で変更されることになるので、位置合わせは、ライブインターベンションのＥＭＴＳ基準フレームとガイデッドビューを提供するために選択される以前のインターベンションの記録との間で行われなければならない。好ましくは、オンラインの位置合わせが、手術室に更なる制約を導入することなく使用される。これを達成するために、第１に、ＧＩ専門家が内視鏡を食道に導き、括約筋まで内視鏡を案内している時にＥＭセンサ位置が記録される。食道はかなり直線的であり、非常に最小の横方向移動を示すという関連知識が使用される。したがって、ライブ軌道および以前のインターベンションの軌道の最も大きい主成分が、各軌道についてベクトルＺ＝［００１］^Ｔに沿って３Ｄ方位合わせを得るように使用され得る。次いで、タグ付けされた括約筋位置が、翻訳ｔを取得するように使用されることができ、Ｒに加えて、これは、さらなる位置合わせ改良のためにイテラティブ クローゼスト ポイント（ＩＣＰ）のための初期設定を提供する。

同期段階は、図３Ｃに示されている。

いったん基準フレームが位置合わせされると、現在のインターベンションからのセンサ位置と以前に記録されたインターベンションとの間の空間的一致が計算される。バイナリツリーとして以前のインターベンションの軌道を分割することによって、現在のセンサ位置に対する（ユークリッドの意味における）最も近い隣接点の探索が行われる。ナビゲーション中の食道の局所的な変形により、軌道は、滑らかでなく、（ベクトルｚに沿って、喉を括約筋に接続する）中心食道線からずれを示し（図６）、これは、マーキングされた深さの差との誤一致を引き起こす場合もある。軌道はベクトルｚに沿って位置合わせされるので、探索空間は、Δｚ（およそ２ｍｍ）内にあるように拘束される。最も近い隣接点は、以前の処置中に取得される食道における領域の対応する最良のマッチング画像を与える。特に、生検部位の位置を含むようにタグ付けされた一致した画像は、見直しのためにより局所的な領域をＧＩ専門家に提供する。図７は、同期段階の結果を不満に思っている。ＩＣＰは、ベクトルｚに沿って回転に至るまで変形を見つけ出すが、探索空間はこの方向に沿って拘束されるので、最も近い隣接点の決定は、これによって影響を受けない。

本発明者らは、ＮＤＩ＼ｃｏｐｔｒｉｇｈｔ Ａｕｒｏｒａ ＥＭＴＳ（所与の作業量において０．５ｍｍの精度）を用いて、本発明の方法およびシステムに基づく実験を行った。

本発明の方法は、各組が４つの記録から成る、異なるブタに生体内での配列の３つの組で試験された。事前のマーキングが、生検部位を模擬するように２ｃｍごとにデュアルナイフを用いて食道に対して行われた。異なる時刻に行われる現実的な手術処置を複製するために、ＥＭ場エミッタが、各記録の前にランダムに再位置決めされた。予め説明されたステップは、基準としての第１の記録、および追跡して行う処置を模倣する３つの他の記録を使って行われた。アプローチの品質評価が、同期段階の出力を５人の専門家に提示することによって行われた。

図７に示されるように、２つの画像、すなわちライブストリームをインターベンションから評価するフレームを表示する１つの画像、および対応するマッチングフレームを予め記録されたインターベンションから表示する第２の画像が提示された。デュアルナイフによって行われたマーキングと基準として他の視認可能なランドマークとを用いて、専門家は、本発明者らのアプローチを用いて提示された一致した画像の妥当性および品質を評価した。それらの経験のフィードバックが定量化された。評価実験は、明らかに、本発明のシステムが模擬された生検部位を位置を再特定させるのに非常に有用であることを専門家が見出したことを示している。しかし、一致した画像が必ずしも理想的視点（図８、結果ａ、ｂ、およびｅ）を提供したわけではないことが示唆された。加えられた調査時に、発明者らは、２０個の最良の隣接点を考えることによって、最良の画像の選択が、最良の視点を受け入れるようにさらに精密にし得ることを認めた。図８は、これらのフレームのサンプルを示している。

このアプローチは、ＧＩ専門家に、より進んだガイダンスを既に提供しているが、フレーム選択は、これらの最良の隣接点に対して画像解析を行うことによってさらに改善され得る。

本発明の例示的な実用的な実施形態のこれまでの説明は、より詳細には、食道に対する適用にある。

次に、予め同様に示されているように、本発明の方法およびシステムは、既に探査された特定の場所において、他の管状の幾分変形可能な器官に可撓性内視鏡を迅速かつ正確に再位置決めまたは再配置するように使用され適用され得る。

これは、たとえば、非常に伸張性のあり変形可能であり、また決して形状が真っ直ぐでないことが知られている結腸の場合に当てはまる。

結腸のこの特定の特徴により、本発明の方法は、結腸の解剖について次の情報を考慮に入れる。すなわち、腹壁に取り付けられ、したがって基準ランドマークとして考慮され得る結腸の３つの部分が存在し、すなわち、右および左結腸曲、腸移行の盲腸である。これらの３つの部分は、医療専門家によって容易に認識されることができ、それらの位置は（以前のおよびその後の）探査中に記録されるので、この場合、以前の探査時の各中間軌道のサイズをその後の探査時の対応するものにマッピングすることができる。医療専門家（手術者）は、第１に、現在の探査時の３つの固定点に達し、コンピュータは、以前のおよびその後の探査時の各一致した部分の長さが同じ値を有するように、各部分の長さに対する比率を適用することによって３つの結腸部分を一致させる。次いで、医療専門家は、彼が関連部位に接近していることを本発明の方法が示すまで、内視鏡を僅かに移動することによって以前の探査中に注釈をつけられまたは記録された関連部位に達することができる。医療専門家が結腸において前方に移動させることによって本発明の方法を使用して標的に達しようとする場合に、本システムによって提供される情報は正確であり得ない可能性があることを強調することが重要である。実際、結腸の予測できない弾性変形が、主として、前進運動中に、ほとんど後退運動中ではなく起こることがよく知られている。

これは前述の明細書に由来するように、本発明は、全く単刀直入な方法およびシステムを提案しており、実時間（５０Ｈｚ〜１００Ｈｚでの軌跡マッチング）の作業が、手術室プロトコルに対して最小の変化で使用されることができ、オフラインステップの大半は、容易に自動化され得る。そのうえ、本システムは、時間的にスケーラブルなので、記録が、情報の損失なしでＧＩ専門家の間で共有され得る。最後に、本発明の方法は、画像の品質に依拠していないので、術間での比較について通常の内視鏡画像アーチファクトに対してロバストである。

本発明は、もちろん、本明細書において説明され提示された好ましい実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、変更が行われることができ、または均等物が使用され得る。

Claims (20)

1. １つまたは複数の連続する管腔内もしくは管腔外のその後のまたは「新しい探査」あるいは同様の処置中に、可撓性内視鏡を、第１または「基準探査」中に既に探査されている特定の位置に場合によっては数回再位置決めするための方法であって、再位置決めが、人間のユーザによって手動で、あるいは１つまたは複数のスクリーン上に２つの異なるウィンドウ上もしくは内に並行して表示される「新しい探査」可撓性内視鏡ビデオと「基準探査」可撓性内視鏡ビデオとの間の同期処理からまたはそれを使ったロボットシステムによって自動的に実現される、方法。
2. 同期処理が、第１または基準探査と、電磁気、光ファイバー、または任意の他の同様なタイプの追跡デバイスなどの固定された外部基準フレームに従って内視鏡の前記先端の位置および向きを提供する追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置および向きの位置合わせのみに基づいている、請求項１に記載の方法。
3. 同期処理が、第１または基準探査と、第１または基準探査とその後のまたは新しい探査の両方の間に視認可能な類似の特徴の抽出およびマッチングを行う、リアルタイム内視鏡ビデオ解析によって改善される追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置および向きの位置合わせに基づいている、請求項１または２に記載の方法。
4. ２つの同期化された可撓性内視鏡ビデオが、特定の対象点を示す仮想タグによって向上され、これらの仮想タグが、ユーザによる対話形式での第１または基準探査可撓性内視鏡ビデオに基づいて、および２つの同期化されたビデオの比較に基づく画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される、請求項１から３のいずれか一項に記載の方法。
5. ２つの同期化された可撓性内視鏡ビデオが、特定の対象点を示す仮想タグによって向上され、これらの仮想タグが、たとえば解剖学的、病理学的、または外科的な特定の特徴などの、対象の視認可能な点を抽出する自動ビデオ画像解析による自動的な第１または基準探査可撓性内視鏡ビデオに基づいて、およびその後のまたは新しい探査可撓性内視鏡ビデオにおいて対象の同じ視認可能な点を抽出する自動ビデオ画像解析と２つの同期化されたビデオの比較アルゴリズムを組み合わせる画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される、請求項１から３のいずれか一項に記載の方法。
6. 特定の対象点を示す仮想タグによって向上されるかまたはされない、２つの同期化された可撓性内視鏡ビデオが、解剖学的および／または病理学的構造の３Ｄ身体モデルの仮想レンダリングを使った拡張現実技術を用いて融合され、この３Ｄモデルが、被験者の身体のその後のまたは新しい探査前に実現される術前医用画像から抽出される、請求項１から５のいずれか一項に記載の方法。
7. 同期処理が、次の３つのステップ処理、すなわち、
   第１のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外の第１または基準探査中に結合された可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を記録するステップ、
   第２のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外のその後のまたは新しい探査中に結合された可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を処理するステップ、特に位置合わせするステップ、
   第３のステップ：リアルタイムのその後の探査と第１の探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップ
   から成る、請求項２に記載の方法。
8. 同期の第３のステップが、第１の基準探査およびリアルタイムのその後の探査の両方において視認可能な類似の特徴（複数可）を抽出しかつマッチングする、リアルタイム可撓性内視鏡ビデオ解析によって改善される、リアルタイム探査と基準探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップを含む、請求項７に記載の方法。
9. 同期処理が、より正確には、次の４つのステップ処理、すなわち、
   第１のステップ：請求項７の場合と同様なステップ、
   第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像の対話式の仮想タグ付けを付加するステップであり、この仮想タグ付けが、マウス、パッド、トラックボール、ジョイスティック、または光トラッキングなどの、ビデオの画素または一群の画素を正確に選択するようにしておく任意の相互作用またはヒューマンインターフェース装置を通してビデオの任意の選択された画像にタグを付加するようにしておく特定の第１または基準探査ビデオ読み出しによって実現される、ステップ、
   第３のステップ：請求項７の第２のステップと等価なまたは同一のステップ、
   第４のステップ：請求項７の第３のステップを行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後のまたは新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後のまたは新しい探査ビデオの同じ位置にこれを付加することによって改善される、ステップ
   から成る、請求項７または８に記載の方法。
10. 同期処理が、より正確には、次の４つのステップ処理、すなわち、
    第１のステップ：請求項７の場合と同じステップ、
    第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像に自動的な仮想タグ付けを追加するステップであり、この仮想タグ付けが、好ましくは、たとえば色、輝度、コントラスト、および組織分析、ならびに特徴追跡に基づく、特定のビデオ解析アルゴリズムを通して自動的に実現され、解剖学的、病理学的、または外科的な特定の特徴などの視認可能な対象点を抽出する、ステップ、
    第３のステップ：請求項７の第２のステップと等価なまたは同一のステップ、
    第４のステップ：請求項７の第３のステップを行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後の新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後の新しい探査ビデオの同じ位置にこれを付加することによって改善され、第２のステップに使用される対象点検出の同じアルゴリズムが、請求項７の第３のステップに規定される他の位置合わせアルゴリズムと場合によっては組み合わされる、ステップ
    から成る、請求項７に記載の方法。
11. 可撓性内視鏡を使った探査が、食道または結腸などの、ヒト被験体の管状器官に行われる、請求項１から１０のいずれか一項に記載の方法。
12. 使用される追跡システムまたは他の追跡システムによってその位置が記録され得る少なくとも２つのマーカーが、予め被験者の所与の解剖学的場所に配置され、探査される管状器官に依存しかつ好ましくは被験者が姿勢を変え得る場合に顕著な変形または変位を受けない前記場所が、好ましくは、少なくとも１つの他の内部の容易に認識可能な解剖学特徴点と共に以前のおよびその後の探査の基準点を与えるように使用される、請求項１から１１のいずれか一項に記載の方法。
13. 基準点が、フレームを定義し取り付けるように使用され、または第１のおよびその後の探査において被験者と関連のある、請求項１２に記載の方法。
14. 第１のまたは以前の探査中に、限られた数の画像が記録されまたは選択され、これは、好ましくはマーキングされまたはタグ付けされる関連情報を含み、その後の探査中に、現在のまたはライブ内視鏡位置が関連情報を含む画像と関連する位置に近い場合にのみ、ビデオ画像処理および同期ステップが行われ、ガイダンス情報が提供される、請求項１から１３のいずれか一項に記載の方法。
15. 管状器官が探査される場合に、画像処理が行われ、この画像処理は、その後の探査中に時刻ｔにおけるビデオ画像で管腔位置を解析し、同様の管腔位置によってその後のライブ位置に近い位置と関連する以前のまたは基準探査から画像を選択する、請求項１から１４のいずれか一項に記載の方法。
16. 探査される器官が結腸である場合は、腹壁に取り付けられる結腸の３つの点または部分が、固定の基準点または場所として使用され、その後の探査中に標的に達することが、逆方向動きを通じて行われることが好ましい、請求項１から１５のいずれか一項に記載の方法。
17. 可撓性内視鏡の先端の向きが、記録され、その３Ｄ位置に加えて追跡システムによって利用されて、基準探査とその後の探査との間の内視鏡の向きの回転差を評価する、請求項１から１６のいずれか一項に記載の方法。
18. 可撓性内視鏡の先端の正確な位置の再特定が、２つの連続する操作ステップ、すなわち、
    請求項１から１７のいずれか一項に記載の、予め行われた処置で決定される生検部位などの基準点または位置に近い可撓性内視鏡の先端の近似位置決めを行うことによる、全体の位置特定ステップ、
    その後のまたは現在のインターベンション時にビデオ画像上への以前の処置中に得られる、標的部位または点のマッピングを参照することによる、精密位置決めステップ
    を通して行われる、請求項１から１７のいずれか一項に記載の方法。
19. ｉ）撮像装置（３）が少なくとも装備される可撓性内視鏡（２）、および場合によっては少なくとも１つのツールまたは器具と、
    ｉｉ）表示手段（３’）、および前記内視鏡（３）と結合された移動制御手段（３″）と、
    ｉｉｉ）電磁追跡デバイスまたは可撓性光学追跡デバイスなどの、内視鏡（２）の先端（２’）の位置および向きを提供する追跡デバイスまたはシステム（４）と、
    ｉｉｉｉ）コンピュータ手段（５）および結合された格納手段と
    を主として備える医療システムであって、
    内視鏡（２）の前端または先端（２’）には、電磁センサ（４’）または同様な追跡デバイスが設けられ、前記医療システム（１）が、請求項１から１７のいずれか一項に記載の方法を実施することができる手段、特にコンピュータ手段（５）内のソフトウェア手段をさらに備える、医療システム。
20. 可撓性内視鏡（２）の先端（２’）に固定されまたは取り付けられるセンサ（４’）および対応する追跡システム（４）が、少なくとも３Ｄ位置の追跡、好ましくはまた前記先端の向きの追跡を可能にする、請求項１９に記載のシステム。

Images