JP2017508502A - 光学式形状検知を用いてデバイスを撮像するロボット制御 - Google Patents

Abstract

デバイス画像を追跡するためのシステムが、ある領域に関する画像を生成するように構成されたプローブ１４６を有する術中撮像システム１１０を含む。形状検知対応器具１０２が、一部分が領域に対して位置決め可能であるように構成される。形状検知対応デバイスは、術中撮像システムの座標系と位置合わせされた座標系を有する。ロボットは、形状検知対応器具を画像内に保つために、領域に対する形状検知対応器具の移動によりプローブが移動されるように、プローブと形状検知対応器具との間の移動を調整するように構成される。

Description

本開示は、医療器具に関し、より詳細には、光学式形状検知技術を使用するロボット制御システム及び方法に関する。

リアルタイム撮像デバイス（例えば超音波撮像又は任意の種類の光学撮像）のロボット制御は、外科的処置及び侵襲性処置中に撮像デバイスの位置決めを単純化することを狙いとする。操作者は、デバイスの遠隔制御又は画像ベースの制御の何れかを行うことを許容される。

従来の入力デバイス（例えばジョイスティック）を使用する遠隔制御の欠点は、ロボット座標フレームと、出力画像を含む撮像デバイスのフレームとのマッピングが、操作者には明示的に分からないことである。通常、このマッピングは処置中に学習され、動作時間が延びることとなる。

画像ガイダンスは他の問題を有する。これらの問題は、画像ガイダンスが、撮像デバイスの視野内にあるターゲットしか追跡できず、視野内にない最も難しいターゲットには引き続きアクセス可能でないことを含むことがある。また、画像ガイダンスは、画像処理法を使用してターゲットが追跡されることを必要とするが、画像処理法は、画像の妨害された視野又は低品質により、上手く行かないことがある。例えば、超音波撮像では、カテーテル等のデバイスは、カテーテル先端の視覚化の不良、及び超音波画像内の低い信号対雑音比により、追跡が難しい。更に、２Ｄ超音波では、デバイスが閲覧平面外に移動することがある。例えば内視鏡を用いた光学撮像では、視野は、対象の解剖学的領域よりもかなり小さくなり得る。更に、腹腔鏡手術では、デバイスが視野から出ることがあり、これは、操作者が操作部位の視覚的フィードバックを使用する必要があるときに組織への外傷をもたらし得る。

本発明の原理によれば、デバイス画像を追跡するためのシステムは、ある領域に関する画像を生成するように構成されたプローブを有する術中撮像システムを含む。形状検知対応器具は、一部分が上記の領域に対して位置決め可能であるように構成される。形状検知対応デバイスは、術中撮像システムの座標系と位置合わせされた座標系を有する。ロボットは、形状検知対応器具を画像内に保つために、上記の領域に対する形状検知対応器具の移動によりプローブが移動されるように、プローブと形状検知対応器具との間の移動を調整するように構成される。

デバイス画像を追跡するための別のシステムは、ある領域に関する画像を生成するように構成されたプローブを有する超音波撮像システムを含む。形状検知対応器具は、少なくとも一部分が上記の領域に対して位置決め可能であるように構成される。ロボットは、プローブと形状検知対応器具との間の移動を調整するように構成される。ロボット制御システムが、形状検知対応器具からの形状検知フィードバックを採用する第１のフィードバックループと、前記プローブに関する運動フィードバックとしてロボットエンコーダ情報を採用する第２のフィードバックループとを含むネスト型の制御ループを含み、制御システムは、形状検知対応器具を画像内に保つために上記の領域に対する形状検知対応器具の移動によりプローブが移動されて、形状検知対応器具とプローブとの空間的関係を維持する。

デバイス画像を追跡するための方法は、撮像されるべき内部領域内で形状検知対応器具を位置決めするステップと、上記の領域に関する画像を生成するために、術中撮像システム用のプローブを用いて被験体の内部領域を撮像するステップと、形状検知対応器具の座標系を術中撮像システムの座標系と位置合わせするステップと、形状検知対応器具が画像内で位置決めされるように、ロボット制御によって形状検知対応器具に対してプローブを位置決めするステップと、形状検知対応器具の移動に従って、ロボット制御によってプローブを位置決め変更するステップとを含む。

本開示のこれら及び他の目的、特徴、及び利点は、添付図面に関連付けて読むことができる本発明の例示的実施形態の以下の詳細な説明から明らかになろう。

本開示は、以下の各図を参照して、好ましい実施形態の以下の説明を詳細に提供する。

一実施形態による、ロボットを使用して撮像デバイスを用いて形状検知対応デバイス又は器具を追跡するように構成された画像追跡用のシステムを示すブロック／流れ図である。 被験体の断面図であって、一実施形態による、ボリューム又は平面を撮像するための形状検知対応デバイス又は器具に追従する、被験体内に配設されたトランスデューサを示す図である。 一実施形態による、ロボット制御システムに関するネスト型の制御ループを示す概略図である。 本発明の原理による、プローブが取り得る運動範囲を示すための開始画像を示す図である。 本発明の原理による、プローブが取り得る運動範囲を示すためのターゲット画像を示す図である。 例示的実施形態による、ロボットを使用して撮像プローブを用いて形状検知対応デバイス又は器具を物理的に追跡するための方法を示す流れ図である。

本発明の原理によれば、光学式形状検知技術を使用してロボットの制御を提供するシステム、デバイス、及び方法が述べられる。ロボット制御式の撮像デバイスの画像ガイダンスは、最も直観的なフレーム、即ち画像フレームから操作者がターゲットを選択できるようにすることによって、上述したマッピングの問題を解決する。本発明の原理によれば、光学式形状検知（ＯＳＳ:optical shape sensing）対応カテーテル又は他のデバイスをインテリジェントに追跡するために、超音波プローブのロボット制御が提供される。デバイスの形状を検知し、その形状をロボット座標フレームに位置合わせし、それらのデバイスを撮像デバイスの視野内に入れるようにロボットをガイドすることによって、医療処置中にデバイスを視覚化するためのシステム及び方法が提供される。本発明の原理は、現在のビューでは見ることができないターゲットに達するように撮像デバイスの位置決め変更を可能にする。

ロボット作動式の撮像プローブのフィードバック制御ループを閉じるために、光学式形状検知型の侵襲的デバイスが採用され得る。ロボットは、超音波ボリュームに対する形状検知型デバイスの既知の位置を使用して、形状検知型デバイスを追跡し、処置中にデバイスを視野内に維持する。また、インテリジェントな追跡が、形状検知型デバイスを画像内に示すために最適なスライス又は平面を自動的に選択することができる。更に、追跡は、選択された平面の画像解像度を最適化する方法を考慮することができる。可能な超音波画像源は、経食道心エコー（ＴＥＥ:transesophageal echocardiogram）プローブ、小児科ＴＥＥ、マイクロＴＥＥ、表面撮像プローブ（例えばC5-2）、又は光学撮像プローブ（内視鏡や気管支鏡等）を含んでいてよい。他のデバイス及び処置も、本発明の原理から利益を得ることがある。

一実施形態では、光学式形状検知は、仮想超音波画像を生成するために採用される。仮想超音波画像の生成は、例えば超音波プローブとカテーテル又は形状検知対応デバイスとの間の既知の変換を使用して超音波画像を再フォーマットし、カテーテル又はデバイスにトランスデューサアパーチャがあるかのように画像が現れるようにすることで行われ得る。次いで、仮想アパーチャが超音波データセット内に留まっている限り、光学式形状検知カテーテルは、そのカテーテルの周りで又はカテーテルに対してアパーチャを並進及び回転させることができる。また、超音波ボリューム内のカテーテルの位置に基づいて、仮想超音波画像を最適化するように超音波送信シーケンスが適合され得る。カテーテルを超音波撮像ボリューム内で保つ、又は超音波撮像ボリュームに対してある位置に保つために、超音波撮像プローブは、形状検知カテーテルからの既知の位置を使用してロボット制御され得る。ロボット制御は、撮像ボリュームをデバイスに整合し、仮想ボリュームの生成のためにプローブの位置決め変更を可能にすることによって、仮想画像の生成を改良することができる。

可能な超音波画像源は、内部超音波プローブを含んでいてよく、そのようなプローブは、例えば以下のものである。ＴＥＥ；経直腸超音波（ＴＲＵＳ:transrectal ultrasound）；一面プローブ（例えば、線型、湾曲、セクタ、マトリックス）；多面プローブ（同時、順次、又はそれら両方）等。超音波プローブ（例えばヘッド位置）と形状検知対応デバイス（例えばカテーテル）との間の可能な位置合わせは、以下のものを含んでいてよい。超音波プローブの形状ベースの検知（展開前の形状−形状位置合わせ）；例えばEchoNav（商標）を使用する超音波プローブ（例えばＴＥＥプローブヘッド）の画像ベースの位置合わせ、モデルベースの手法、形状検知型デバイスのＸ線ベースの位置合わせ等；例えばＴＥＥプローブヘッドの電磁追跡（展開前のＥＭ−形状位置合わせ）、ハンドヘルドプローブの光学追跡、超音波画像ベースの識別等の技術を使用するプローブの代替的な追跡。

デバイスの既知の位置及び平面が、（ロボット制御による機械的位置決めにより）超音波送信プロファイルを変更するために使用され得る。代替として、超音波画像は、（例えば血管内超音波（ＩＶＵＳ:intravascular ultrasound）プルバックに関して）視覚化／ターゲットされている方向に向けてデバイスを駆動させるための入力として使用され得る。本発明の原理は、外部超音波プローブの追加によって、任意の形状検知対応デバイスを心腔内心エコー（ＩＣＥ:intracardiac echocardiography）又はＩＶＵＳデバイスに変える。ナビゲーションの目的での光学式形状検知のために既に使用可能にされている任意のデバイスが、標準の超音波撮像プローブの追加によって、仮想ＩＶＵＳを実施するように目的変更され得る。

本発明の原理は、超音波ボリュームに関してアパーチャを画定するために採用され得る光学式形状検知デバイスの位置に対してボリュームを移動させるための外部又は内部プローブ（例えば超音波）のロボット制御に適用される。光学式形状検知デバイスは、ガイドワイヤ又はカテーテルを含んでいてよいが、内視鏡、気管支鏡、及びそのようなデバイス又は用途に拡張され得る。

医療器具に関して本発明を説明するが、本発明の教示ははるかに広範であり、ＯＳＳ対応デバイスを使用する任意のロボット制御式の器具に適用可能であることを理解されたい。幾つかの実施形態では、本発明の原理は、複雑な生物学的又は機械的システムを追跡又は分析する際に採用される。特に、本発明の原理は、生物学的なシステムの内部追跡処置、及び／又は肺、胃腸管、排泄器官、血管、心臓等、身体の全ての領域における処置に適用可能である。図面に示される要素は、ハードウェア及びソフトウェアの様々な組合せで実装されて機能を提供し得る。それらの機能は、単一の要素又は複数の要素に組み合わされ得る。

図面に示される様々な要素の機能は、専用ハードウェアの使用によって、及び適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用によって提供され得る。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は幾つかが共有され得る複数の別々のプロセッサによって提供され得る。更に、用語「プロセッサ」又は「制御装置」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアに排他的に言及するものと解釈されるべきではなく、限定はしないが、デジタル信号処理装置（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶装置等を暗黙的に含むことができる。

更に、本発明の原理、態様、及び実施形態、並びにそれらの特定の例を述べる本明細書における全ての記載は、それらの構造的均等物と機能的均等物とをどちらも包含することを意図されている。更に、そのような均等物は、現在知られている均等物と将来開発される均等物（即ち、構造に関係なく、同じ機能を実施する開発される任意の要素）との両方を含むことが意図される。従って、例えば、本明細書で提示されるブロック図が、本発明の原理を具現化する例示的なシステム構成要素及び／又は回路の概念図を表すことが、当業者によって理解されよう。同様に、任意のフローチャートや流れ図等が様々なプロセスを表し、それらのプロセスは、コンピュータ可読記憶媒体で実質的に表現され得て、従ってコンピュータ又はプロセッサによって実行され得て、そのようなコンピュータ又はプロセッサが明示的に示されているか否かには関わらないことを理解されたい。

更に、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって使用するための又はそれらに関連するプログラムコードを提供するコンピュータ使用可能及び／又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。本説明において、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための又はそれらに関連するプログラムを収納、記憶、通信、伝播、又は輸送することができる任意の装置でよい。そのような媒体は、電子、磁気、光、電磁気、赤外線、若しくは半導体システム（若しくは装置若しくはデバイス）、又は伝播媒体でよい。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、リジッド磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、ＣＤ−ＲＯＭ（コンパクトディスク−読み出し専用メモリ）、ＣＤ−Ｒ／Ｗ（コンパクトディスク−読み出し／書き込み）、Blue-Ray（商標）、及びＤＶＤを含む。

次に図面を参照する。図面中、同様の参照番号は、同一又は同様の要素を表す。まず図１を参照すると、１つ又は複数の形状検知対応デバイスを使用するロボット制御用のシステム１００が、例示的実施形態に従って例示的に示されている。システム１００は、ワークステーション又はコンソール１１２を含み得、コンソール１１２から、処置が監督及び／又は管理される。ワークステーション１１２は、好ましくは、１つ又は複数のプロセッサ１１４と、プログラム及びアプリケーションを記憶するためのメモリ１１６とを含む。メモリ１１６は、光学検知モジュール１１５を記憶していてよく、光学検知モジュール１１５は、形状検知デバイス又はシステム１０４からの光学フィードバック信号を解釈するように構成される。光学検知モジュール１１５は、光学信号フィードバック（及び例えば電磁（ＥＭ）追跡や超音波等、任意の他のフィードバック）を使用して、医療デバイス又は器具１０２（形状検知対応デバイス又は器具、光学式形状検知（ＯＳＳ）デバイス、ＯＳＳカテーテル、カテーテル等とも称される）に関連する変形、偏向、及び他の変化を再構成するように構成される。幾つかの実施形態では、医療器具１０２は、カテーテル、ガイドワイヤ、プローブ、内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス、又は他の医療構成要素等を含んでいてよい。

器具１０２にある形状検知システム又はデバイス１０４は、１つ又は複数の光ファイバ（又はファイバコア若しくはチャネル）１２６を含み、光ファイバ１２６は、１つ又は複数の設定されたパターンで器具１０２に結合される。光ファイバ１２６は、ケーブル配線１２７を介してワークステーション１１２に接続する。ケーブル配線１２７は、必要に応じて、光ファイバ構成、電気接続、他の計装等を含んでいてもよい。

光ファイバ構成を備える形状検知システム１０４は、光ファイバブラッグ回折格子センサに基づいていてよい。光ファイバブラッグ回折格子（ＦＢＧ:fiber optic Bragg grating）は、光の特定の波長を反射し、全ての他の波長を透過する光ファイバの短いセグメントである。これは、ファイバコアに屈折率の周期的な変化を加えることによって実現され、これは波長特定誘電体ミラーを生み出す。従って、ファイバブラッグ回折格子は、特定の波長を阻止するためのインライン光ファイバとして、又は波長特定反射器として使用され得る。

ファイバブラッグ回折格子の動作の背景にある基本原理は、屈折率が変化している各界面でのフレネル反射である。幾つかの波長に関して、様々な周期の反射光が同相であり、それにより、反射に関しては強め合う干渉が存在し、従って透過に関しては弱め合う干渉が存在する。ブラッグ波長は、歪及び温度に対して感受性がある。これは、ブラッグ回折格子が、光ファイバセンサ内の検知素子として（ファイバに沿って離散した又は連続する素子として）使用され得ることを意味する。ＦＢＧセンサにおいて、測定量（例えば歪）が、ブラッグ波長のシフトを引き起こす。

この技法の１つの利点は、ファイバの長さにわたって様々なセンサ要素が分布され得ることである。構造内に埋め込まれたファイバの長さに沿って様々なセンサ（計器）を有する３つ以上のコアを組み込むことにより、そのような構造の３次元形態が、典型的には１ｍｍよりも良い精度で厳密に決定されるようになる。ファイバの長さに沿って様々な位置に、多数のＦＢＧセンサ（例えば３つ以上のファイバ検知コア）が位置され得る。各ＦＢＧの歪測定から、構造の曲率がその位置で推量され得る。多数の測定された位置から、全体の３次元形態が決定される。

光ファイバブラッグ回折格子の代替形態として、従来の光ファイバにおける固有の後方散乱が利用され得る。１つのそのような手法は、標準のシングルモード通信ファイバにおいてレイリー散乱を使用することである。レイリー散乱は、ファイバコアの屈折率のランダムな変動により生じる。これらのランダムな変動は、回折格子長さに沿ってランダムな振幅及び位相変化を有するブラッグ回折格子としてモデル化され得る。１本のマルチコアファイバ内に延びる３つ以上のコアにおいてこの効果を使用することによって、対象の表面の３Ｄ形状及びダイナミクスが追従され得る。

光学式形状検知（ＯＳＳ）は、外科的介入中のデバイスローカライゼーション及びナビゲーションのために、マルチコア光ファイバに沿った光を使用する。関連の原理は、特徴的なレイリー後方散乱又は制御された回折格子パターンを使用した、光ファイバ内での分散された歪の測定を利用する。光ファイバに沿った形状は、センサに沿った特定の点（開始領域１５６又はｚ＝０と称される）で始まり、その後の形状位置及び向きは、その点を基準とするものである。カテーテル及びガイドワイヤ等の医療デバイスに組み込まれる光学式形状検知ファイバは、最小侵襲性処置中のデバイスのライブガイダンスを提供し、器具１０２全体の位置及び向きを提供することができる。

一実施形態では、ワークステーション１１２は、画像生成モジュール１４８を含み、画像生成モジュール１４８は、検知デバイス１０４が至る又は既にある被験体１６０内の場所について、形状検知デバイス１０４からのフィードバック（位置データ）を受信するように構成される。画像ボリューム（又はデータセット）１３１は、超音波撮像システム等の撮像システム１１０を使用して被験体１６０内部で撮像されるが、他の術中撮像システムも採用され得る。データセットの１つ又は複数の画像１３４は、１つ又は複数の内部又は外部プローブ又はトランスデューサ１４６（プローブ、プローブヘッド、超音波プローブヘッド、ＴＥＥプローブヘッド等とも称される）を使用して撮像システム１１０から収集されて、画像ボリューム１３１をマッピングする。画像１３４は、ディスプレイデバイス１１８に表示され得る。画像１３４は、他の術前又は術中画像に重畳されてよく、それらの画像と融合されてもよく、又は他の形でそれらの画像と共に表示されてもよい。

ワークステーション１１２は、被験体（患者又は他の物体）１６０又はボリューム１３１の内部画像を閲覧するためのディスプレイ１１８を含む。また、ディスプレイ１１８は、ワークステーション１１２並びにその構成要素及び機能、又はシステム１００内部の任意の他の要素とユーザが対話できるようにし得る。これは更に、インターフェース１２０によって容易にされ、インターフェース１２０は、キーボード、マウス、ジョイスティック、ハプティックデバイス、又は任意の他の周辺若しくは制御モダリティを含んでいてよく、ユーザがワークステーション１１２からフィードバックを受信すること、及びワークステーション１１２と対話することを可能にする。

本発明の原理によれば、形状検知対応器具１０２及び超音波プローブ又はトランスデューサ１４６は、それらの移動がロボットシステム１０８を使用して調整され得る。超音波プローブ１４６は、超音波撮像システム１１０に結合され得て、超音波撮像システム１１０は、コンソール１１２の一部でも、別個のユニットでもよい。超音波画像１３１は、単一のトランスデューサ、例えば経食道心エコー（ＴＥＥ）トランスデューサ、経鼻ＴＥＥプローブ、又は外面プローブ（C5-2プローブ等）から生成され得て、ボリューム（３Ｄ画像）又は平面若しくはスライス（２Ｄ画像）を含んでいてよい。超音波プローブ１４６は、外部プローブでも内部プローブでもよい。本明細書では超音波撮像を述べるが、他の撮像モードも採用され得る。

特に有用な実施形態では、ＯＳＳ対応器具１０２が、被験体１６０内部で操縦されて、外科的処置中に機能を果たす。ＯＳＳ対応器具１０２が被験体内部に位置決めされるとき、ロボットシステム１０８は、（１つ又は複数の）器具１０２の一部分を追跡する。器具１０２の遠位端部分（又は他の部分）の特徴的な形状又は形態が、撮像プローブ１４６のためのターゲットとして採用され得る。ＯＳＳ対応器具１０２と撮像プローブ１４６とが位置合わせされ得て、従って、ＯＳＳ対応器具１０２の移動により、それに従ってロボットシステム１０８がプローブ１４６を移動させる。プローブ１４６は、被験体１６０の表面に沿って移動され、被験体１６０に対する危害がないこと及び適切な撮像を保証するために被験体に対する圧力及び音響結合を監視する必要がある。ロボットシステム１０８は、制御システム１４０を使用して制御され得る。また、制御システム１４０は、手動ユーザ制御及び／又は画像ベースのガイダンスを可能にし得る。制御システム１４０は、ハードウェア、ソフトウェア、又はそれらの組合せを含んでいてよい。

プローブ１４６とＯＳＳ対応器具１０２との位置合わせは、複数のやり方で実現され得る。システムに関する位置合わせ操作を取り扱うために、位置合わせモジュール１５８が含まれてよい。位置合わせの一方法は、両方のデバイスに関する運動をロボットシステム１０８に制御させることを含んでいてよい。他の方法は、プローブ１４６及びＯＳＳ対応器具１０２の座標フレームを共通の座標フレームに位置合わせすること等を含む。プローブ１４６とＯＳＳ対応器具１０２との位置合わせは、他の位置合わせ法を使用して確立されてもよい。例えば、超音波プローブ１４６（ヘッド位置）とＯＳＳ対応器具１０２（例えば形状検知型カテーテル）とを位置合わせするためのそのような位置合わせ技法は、以下のものを含んでいてよい。プローブヘッドのEchoNav（商標）位置合わせ（形状検知型デバイスのＸ線ベースの位置合わせ）の採用；プローブヘッドの電磁追跡（展開前のＥＭ−形状位置合わせ）、プローブヘッドの光学式形状検知追跡（展開前の形状−形状位置合わせ）等。

別の実施形態では、蛍光透視法ベースの位置合わせが実施され得る。例えば、ＴＥＥプローブヘッド１４６がＸ線画像（例えばEchoNav（商標）におけるもの等）に位置合わせされ得て、ＯＳＳカテーテル１０２もそのＸ線画像に位置合わせされ得て、ＴＥＥプローブヘッド１４６とＯＳＳ対応器具１０２との間の変換を提供する。ＴＥＥプローブヘッド１４６は、（例えばロボットシステム１０８によって）Ｘ線によって動的に追跡される必要があり、一方、ＯＳＳ対応器具１０２は、一度だけＸ線画像に位置合わせされればよい。更に別の実施形態では、交互に追跡されるトランスデューサ１４６と形状検知カテーテル１０２が採用され得る。トランスデューサ又はプローブヘッド１４６は、他の追跡技術（例えば、外部トランスデューサに関しては電磁追跡又は光学追跡）を使用して追跡され得て、光学式形状検知対応器具１０２の開始取付具１５６が、その交互追跡ソリューションに位置合わせされ得る。他の位置合わせ技法及び方法も可能であり、本発明の原理に従って企図される。

一実施形態では、カテーテル又は器具１０２の適正な平面内でのビューの適切な生成を可能にするために、ロボット制御システム１４０の制御スキームは、ＵＳプローブ１４６がカテーテル１０２の近位端の形状によって案内されるように修正され得る。この実施形態では、カテーテル１０２の形状は、平面に当て嵌められる。プローブ作業空間内の点に対するその平面の向きは、物理的な像面内の器具１０２が最大化されるように最適化される。更なる実施形態では、ロボット１０８は、超音波ボリュームを生成するために最適な位置に移動し、次いで何らかの他の特徴部（例えば、別のデバイス又は解剖学的特徴部）を視覚化するために元の位置に戻ることができる。そのような特徴部の位置は、離散した時点に器具１０２の遠位先端の位置（又は他の位置）を保存することによって、超音波ボリューム（従ってプローブ座標系）内で「タグ付け」され得る。次いで、その位置は、形状検知型器具１０２がその位置から離れるようにナビゲートされているときでさえ、プローブ１４６によって再現され得る。

プローブ１４６の最適な位置を決定するために、器具１０２の遠位部分によって最適な平面が決定され得る。この運動は、ロボットエンコーダ及びロボット作業空間から分かるので、空間的関係は既知であり、基準フレーム内で視覚化され得る。新たなプローブ位置で見ることができるボリュームの部分は、物理的ボリュームから更新され得て、「オフライン」ボリューム視覚化の文脈で示され得る。ロボットシステム１０８は、ボリューム全体や、画像間のループを更新するために、２つの異なる位置間で移動され得る。

３次元撮像では、超音波ボリューム１３１は、器具１０２を含むスライス（又はボリューム１３１のサブセット）のみを抽出するように再サンプリングされ得る。具体的には、これは、器具１０２の遠位部分を最も良く示す平面を抽出することによって実施され得る。２次元撮像では、ロボットシステム１０８を移動させるときに、器具１０２の平面を最良に捕捉するように２Ｄスライスが調節され得る。器具１０２の画像の抽出は、画像内で器具１０２を識別するためにパターン認識又は他の画像処理技法を採用する（例えば画像処理装置１４８を使用する）ことによって実施され得る。また、器具１０２の位置は、位置合わせ情報を使用して決定されてもよく、最適なスライス又は位置は、ユーザ嗜好に基づいて決定されてもよい。他の方法も採用及び企図され得る。

一実施形態では、カテーテル１０２の適正な平面内でのビューの適切な生成を可能にするために、制御スキームは、ＵＳプローブ１４６がカテーテル１０２の近位端の形状によって案内されるように修正され得る。この実施形態では、カテーテル１０２の形状は、平面に当て嵌められる。プローブ作業空間内の点に対する平面の向きは、その平面が器具１０２の所望のビューに整合されるように、例えば、器具１０２の形状の平面と物理的な像面との間の角度が最小化され得るように最適化される。更なる実施形態では、ロボットシステム１０８は、超音波ボリュームを生成するために最適な位置に移動し、次いで何らかの他の特徴部（例えば、別のデバイス又は解剖学的特徴部）を視覚化するために元の位置に戻ることができる。プローブヘッド１４６の最適な位置を決定するために、器具１０２の遠位部分によって最適な平面が決定され得る。この運動は、ロボットエンコーダ及びロボット作業空間から分かるので、空間的関係は既知であり、基準フレーム内で視覚化され得る。新たなプローブ位置で見ることができるボリュームの部分は、物理的ボリュームから更新され得て、「オフライン」ボリューム視覚化の文脈で示され得る。ロボットシステム１０８は、ターゲット又はボリューム全体を更新するために２つの異なる位置間で移動され得る。

図２を参照すると、断面図が、ＴＥＥプローブ２０６にあるＴＥＥトランスデューサ２０４を挿入された患者２０２を示す。トランスデューサ２０４は、患者２０２の食道を通過されて、患者２０２内部に超音波撮像ボリューム２０８を作成する。撮像ボリューム２０８は、形状検知対応器具２１４（例えばカテーテル）が光学式形状検知ファイバ２１２を有している１つ又は複数の領域に重畳する。器具２１４は、ポートを通して、又は患者の自然孔を通して提供され得る。撮像ボリューム２０８は、器具２１４に基づいて、選択された位置及び向きで位置決めされる。ＴＥＥプローブ２０６は、ロボット制御され、血管内カテーテルとして図示される形状検知対応器具２１４を視覚化するために使用される。３次元撮像ボリューム２０８の最適な平面２２０は、カテーテル２１４の遠位形状に基づいて選択される。カテーテル２１４の遠位形状は、閲覧平面２２０を画定するためのメカニズムとして採用され得、このメカニズムは、特に有用な実施形態では、閲覧平面２２０内でのツールの視覚化を含む。即ち、血管内形状検知型カテーテル２１４は、ロボット制御式のＴＥＥプローブ２０６を使用して、最適なスライス又は平面２２０を用いて視覚化され、このスライス又は平面２２０は、器具２１４の遠位部分の形状に従った３Ｄ撮像ボリューム２０８内部での表示のために構成される。閲覧平面を画定するために識別され得る予め湾曲された血管内カテーテルの形状の例は、例えば、Cobra（商標）、Berenstein（商標）、SIM2（商標）等によって提供される器具の形状を含んでいてよい。カスタマイズされた形状も採用され得る。

臨床処置中、操作者は、超音波視野（ＦＯＶ）内にあるように器具２１４を維持する必要があり得る。侵襲性処置中、器具２１４は、操作者が関連の臨床ターゲット間をナビゲートするときに常に又は間断的に移動していてよい。複数の位置間のスイッチングの例は、侵襲性心臓手術医がカテーテルを心臓の僧帽弁に向けてナビゲートして、クリップ等のデバイスを展開するときを含むことがある。撮像平面の内外に器具２１４を移動させる心拍又は呼吸による周期的な運動が存在し得る。幾つかの臨床用途では、処置中に複数のターゲットが視覚化される必要があり得る。例えば、弁傍漏れの場合、侵襲性手術医は、漏れ自体と、漏れを閉じるために採用され得る複数のカテーテルとの間でビューをトグルすることを望む。視野が制限され得るので、超音波ボリュームは、領域を全て一度に視覚化することは可能でないことがある。

本発明の原理によれば、形状検知システム２１２は、複数の位置又は領域内で形状を問い合わせるように構成される。処置中に使用される１つ又は複数のツール若しくは器具において又はそれらと共に採用される複数の形状検知システム２１２が存在し得る。これらのツール又は器具は、カテーテル又は任意の他のデバイスを含んでいてよい。形状検知システム２１２は、好ましくは、中に埋め込まれた１つ又は複数の光ファイバを含む。プローブ２０６、例えばＴＥＥプローブ等の超音波プローブが、２Ｄ又は３Ｄ画像を獲得するように構成される。ロボットシステム２２６は、ロボット制御及び／又はユーザ対話システム２２８からのコマンドに従ってプローブを移動させるように構成される。

一実施形態では、ＴＥＥプローブ２０６は、心臓を視覚化するために患者２０２内に挿入される。形状検知対応器具（カテーテル）２１４は、処置を実施するために心臓内に導入される。ユーザは、複数のターゲット（形状検知ファイバが中に組み込まれたカテーテル又は他のデバイス）を選択し、それらのターゲットの座標系２３２がロボット座標フレーム２３０に位置合わせされ、その後、超音波プローブ２０６の視野に入れられる。

処置中、ユーザは、様々なロボット制御モードを選択することができる。これらのモードは連続モードを含むことがあり、連続モードは、ロボットがデバイス２１４を連続的に追跡してデバイス２１４を視野内に保つようにユーザによって選択される。別のモードは静止モードを含み、ユーザは、位置の連続的な更新なしで、特定のターゲットを視覚化するための明示的なコマンドに対してロボットが移動するように、このモードを選択することができる。別のモードはトグルモードを含むことがあり、ユーザは、ロボットが全てのターゲットをループして視覚化する（例えば各ビューを順次に表示する）ように、このモードを選択することができる。このモードは、全てのデバイス及び解剖学的構造の位置及びステータスを検証するために有用となり得る。他のモードも企図され、それらは、上記のモード又は他のモードを含んでいてよい。例えば、複数のターゲットを同時に閲覧するために、トグルモードの代わりに分割画面モードが採用され得る。

図３を参照すると、１つの例示的実施形態に従って、ネスト型の閉ループフィードバック制御システム３００が示されている。制御システム３００は、ロボット（１０８（図１）、２２６（図２））を制御するために採用され得る。この制御システム３００では、高次制御ループ３０２が、低次制御装置３０３への入力として、超音波プローブヘッド３０６に対するカテーテル遠位先端の既知の位置（形状検知フィードバック３０４）を使用する。この低次制御装置３０３は、エンコーダ位置（エンコーダフィードバック）３０８を監視して、それに従ってモータ位置３１０を更新する。図３の制御スキームは、任意のタイプのロボット及び撮像デバイスに関して採用され得る。例示的なネスト型の制御ループ３００は、形状検知フィードバック３０４を利用して、超音波ボリューム（プローブヘッド３０６）をロボット制御して、形状検知型の侵襲的デバイス（１０２（図１）、２１４（図２））に対する固定の関係を維持する。超音波プローブ位置は、カテーテルを超音波視野内に入れるためにロボットによって調節され、これは、何らかの離散した時点に行われても、又は連続するループで行われてもよい。

再び図２を参照すると、調節中、ロボット制御２２８は、フィードバックデータとして複数の因子を同時に考慮する必要がある。例えば、プローブヘッド２０６の運動は、デバイス２１４が視野内に入るように撮像ボリューム２０８又は２Ｄスライス２２０を移動させる必要がある。ロボット制御２２８は、音響結合を保証するのに十分な力を維持しながら、余剰の力が印加されないことを保証するために、プローブヘッド２０６と組織表面との間の接触力を監視する必要がある。超音波プローブ２０６の他の物理的な制約も考慮される必要があり得る（例えば、ＴＥＥプローブ２０６は、取り得る位置の限られた範囲を有していることがある）。ロボット制御式のＴＥＥプローブ２０６の場合、ロボット２２６の制御は、プローブ２０６の湾曲されたプローブ先端の位置を変えるための２つのダイアルの制御を含んでいてよい。

引き続き図２を参照しながら図４Ａ及び図４Ｂも参照すると、図４Ａでの開始位置４０６から図４Ｂでのターゲット位置４０５に向けてプローブヘッド４０４を操舵することによって、ターゲット４０２を撮像するためにＴＥＥプローブ（２０６）の視野が調整され得る様子の一例が示される。球４１０の表面上のテクスチャを付けられた領域４０８は、ダイヤルによって制御されるときのＴＥＥプローブ（２０６）の許容運動範囲を表す。球４１０上のあらゆる点が、プローブヘッド２０６の固有の向き４０７、即ち対応する画像ボリュームを有する。球４１０の各点及びそれらに関連付けられるボリューム向き４０７は、プローブ２０６の特性であり、ロボット制御システム２２８においてルックアップテーブル又は他のデータ記憶構造に記憶され得る。ロボット２２６の座標フレーム２３０内でターゲット４０２が選択されると、ターゲット４０２がＵＳボリューム２０８の中央に来るようにＵＳボリューム２０８の理想的な向きが計算される。この向きは、ルックアップテーブル内での最も近い向きに合致され、これがプローブ位置に合致される。

ロボット２２６は、組織への力を制限しながら例えば２つのダイヤルを制御することによって、その位置に達することを試みる。これらの制約を満たすためのフィードバックとして、圧力センサ若しくは他のセンサ又は測定値（例えばモータ電流）が採用され得る。運動中に余分な力が加えられない場合、ロボット２２６は、ターゲット４０２を閲覧するための最適な位置に達する。力の限度に達した場合、撮像デバイスの視点は最適ではなく、制約の下で最良の視点となる。

撮像デバイスのロボット制御は、超音波プローブを制御するための多数の実装形態を有していてよい。例えば、ＴＥＥプローブのハンドルにあるダイヤルを制御し、操舵可能なプローブ先端の位置をロボット制御するためのシステム、並びに他のロボットシステム及び方法が採用され得る。

臨床ワークフローに対する影響を低減するために、超音波プローブは、超音波データセット内でカテーテル位置を維持するようにロボット制御され得る。超音波トランスデューサヘッドと表面との間の結合又は圧力の欠如（画像処理又は手動の観察によって検出される）により超音波品質が低下する又は失われる場合、ロボットは、これを検出して、（例えば圧力を増加する又は表面にゲルを解放することによって）補償し、次いで引き続き撮像を行うことができる。ロボット制御は、同時に、撮像ボリュームを維持することができ、画像解像度のためにトランスデューサの物理的位置を最適化することができ、臨床用途の物理的制約内で動作することができ、撮像に適した組織との接触を維持すると共に、患者に加わる力を最小限にする。ロボット制御式のＴＥＥプローブの場合、ロボットの制御は、湾曲されたプローブ先端の位置を変えるためのＴＥＥプローブの２つのダイヤルの制御を含んでいてよい。

本発明の原理は、形状検知型器具からの入力を使用した、撮像プローブ（例えば超音波）の任意のロボット制御に適用される。これは、ガイドワイヤやカテーテル（手動及びロボット）等に適用され、他のデバイス及び用途、例えば内視鏡、気管支鏡、及び他のそのような用途に拡張され得る。

図５を参照すると、例示的実施形態に従って、デバイスの画像を物理的に追跡するための方法が示されている。ブロック５０２で、形状検知対応デバイス又は器具が、撮像されるべき内部領域内に位置決めされる。形状検知対応デバイスは、カテーテル又は他の器具を含んでいてよい。ブロック５０４で、被験体の内部領域が、術中撮像システムのプローブ及び／又はトランスデューサを使用して撮像されて、その領域に関する画像を生成する。プローブは、超音波プローブを含んでいてよいが、他の撮像デバイスも採用され得る。画像は、２次元画像を含んでいても、３次元画像を含んでいてもよい。

ブロック５０８で、形状検知対応デバイスの座標系が、術中撮像システムの座標系と位置合わせされる。これは、複数の異なる方法を使用して実施され得る。ブロック５１２で、形状検知対応デバイスが画像内で位置決めされるように、ロボット制御によって形状検知対応デバイスに対してプローブが位置決めされる。ロボットは、形状検知対応デバイスを画像内で中心に合わせるようにプログラムされ得るが、他の幾何学的配置又は関係も採用され得る。

ブロック５１８で、プローブは、ロボット制御によって、形状検知対応デバイスの移動に従って位置決めされる。形状検知対応デバイスが移動するとき、プローブは、この移動を追跡して、表示される視野内に対象の形状検知対応デバイス及び／又は周囲領域が留まることを保証する。ブロック５２０で、術中撮像システムからの画像が、形状検知対応デバイスを含む視野又は他の好ましいビューを提供するように最適化される。最適化は、画像内のデバイスのサイズを最大化すること、画像内のデバイスのサイズを最小化すること、画像内でデバイスを中心に合わせること等を含んでいてよい。

ブロック５２２で、プローブを位置決め又は位置決め変更することは、開始位置とターゲット位置との間で許可される運動範囲に従って、開始位置とターゲット位置との間でプローブを操舵することを含むことがある。ブロック５２４で、上記の運動範囲は、ルックアップテーブル等のデータ構造に記憶され得る。ブロック５２６で、プローブは、ルックアップテーブルに記憶されている、ターゲット位置の最も近くに相当する最近接位置に操舵され得る。

ブロック５２８で、例えばプローブと被験体との音響結合又は他の結合を提供し、患者に対する危害を防止し、ロボットの運動を制限するように、ロボット移動が制約される。ブロック５３０で、ロボットは、プローブを複数の形状検知対応デバイス又は器具間で移動させて、画像間でトグルするように制御され得る。

添付の特許請求の範囲を解釈する際、以下のことを理解されたい。
ａ）用語「備える」は、所与の請求項に列挙されたもの以外の要素又は操作の存在を除外しない。
ｂ）ある要素に先立つ用語「１つの」は、複数のそのような要素の存在を除外しない。
ｃ）特許請求の範囲における任意の参照符号は、その範囲を限定しない。
ｄ）複数の「手段」は、同じ要素、又はハードウェア若しくはソフトウェア実装構造若しくは機能によって表現され得る。
ｅ）別段に示さない限り、操作の特定の順序は必須ではないものと意図される。

光学式形状検知を用いた撮像デバイスのロボット制御（例示であり、限定とは意図されない）に関する好ましい実施形態を述べてきたが、上記の教示に照らして当業者によって修正及び変更が施され得ることに留意されたい。従って、開示される本開示の特定の実施形態に変更が施され得て、それらが、添付の特許請求の範囲によって述べられる本明細書で開示される実施形態の範囲内にあることを理解されたい。以上、特許法によって要求される詳細及び細目を述べてきたが、本願で特許請求され、特許証によって保護されることを望まれるものは、添付の特許請求の範囲に記載されている。

Claims (22)

1. デバイス画像を追跡するためのシステムであって、
   ある領域に関する画像を生成するプローブを有する術中撮像システムと、
   少なくとも一部分が前記領域に対して位置決め可能である形状検知対応器具であって、前記術中撮像システムの座標系と位置合わせされた座標系を有する形状検知対応器具と、
   前記形状検知対応器具を前記画像内に保つために、前記領域に対する前記形状検知対応器具の移動により前記プローブが移動されるように、前記プローブと前記形状検知対応器具との間の移動を調整するロボットと
   を備える、システム。
2. 前記プローブが超音波プローブを含み、前記画像が２次元又は３次元画像を含む、請求項１に記載のシステム。
3. 前記ロボットが、開始位置とターゲット位置との間で許可される運動範囲に従って、前記開始位置と前記ターゲット位置との間で前記プローブを操舵する、請求項２に記載のシステム。
4. ルックアップテーブルに運動範囲の情報を記憶するロボット制御システムを更に備え、前記ロボット制御システムが、前記ルックアップテーブルに記憶されている、前記ターゲット位置に最も近い位置に、前記プローブを操舵する、請求項３に記載のシステム。
5. 前記ロボットが、前記プローブのトランスデューサ結合を提供し、患者に対する危害を防止するように制約される、請求項２に記載のシステム。
6. 更に、ロボット制御システムを備え、前記ロボット制御システムが、前記形状検知対応器具からの形状検知フィードバックを採用する第１のフィードバックループと、前記プローブに関する運動フィードバックとしてロボットエンコーダ情報を採用する第２のフィードバックループとを含むネスト型の制御ループを含むことにより、制御システムが、前記形状検知対応器具と前記プローブとの空間的関係を維持する、請求項１に記載のシステム。
7. 更に複数の形状検知対応器具を備え、更に、前記ロボットが、前記プローブを前記複数の形状検知対応器具間で移動させて、画像間でトグルするロボット制御用のトグルモードを含む、請求項１に記載のシステム。
8. 前記術中撮像システムからの画像が、前記形状検知対応器具を含む視野を提供するように最適化される、請求項１に記載のシステム。
9. デバイス画像を追跡するためのシステムであって、
   ある領域に関する画像を生成するプローブを有する超音波撮像システムと、
   少なくとも一部分が前記領域に対して位置決め可能である形状検知対応器具と、
   前記プローブと前記形状検知対応器具との間の移動を調整するロボットと、
   ロボット制御システムとを備え、前記ロボット制御システムが、前記形状検知対応器具からの形状検知フィードバックを採用する第１のフィードバックループと、前記プローブに関する運動フィードバックとしてロボットエンコーダ情報を採用する第２のフィードバックループとを含むネスト型の制御ループを含み、制御システムは、前記形状検知対応器具を前記画像内に保つために、前記領域に対する前記形状検知対応器具の移動により前記プローブが移動されて、前記形状検知対応器具と前記プローブとの空間的関係を維持する、
   システム。
10. 前記画像が２次元又は３次元画像を含む、請求項９に記載のシステム。
11. 前記ロボットが、開始位置とターゲット位置との間で許可される運動範囲に従って、前記開始位置と前記ターゲット位置との間で前記プローブを操舵する、請求項９に記載のシステム。
12. 前記ロボット制御システムが、ルックアップテーブルに前記運動範囲の情報を記憶し、前記ロボット制御システムが、前記ルックアップテーブルに記憶されている、前記ターゲット位置に最も近い位置に、前記プローブを操舵する、請求項１１に記載のシステム。
13. 前記ロボットが、音響結合を提供し、患者に対する危害を防止するように制約される、請求項９に記載のシステム。
14. 更に複数の形状検知対応器具を備え、更に、前記ロボットが、前記プローブを前記複数の形状検知対応器具間で移動させて、画像間でトグルするロボット制御用のトグルモードを含む、請求項９に記載のシステム。
15. 前記術中撮像システムからの画像が、前記形状検知対応器具を含む視野を提供するように最適化される、請求項９に記載のシステム。
16. デバイス画像を追跡するための方法であって、
    撮像されるべき内部領域に対して形状検知対応器具を位置決めするステップと、
    前記領域に関する画像を生成するために、術中撮像システム用のプローブを用いて被験体の前記内部領域を撮像するステップと、
    前記形状検知対応器具の座標系を前記術中撮像システムの座標系と位置合わせするステップと、
    前記形状検知対応器具が前記画像内で位置決めされるように、ロボット制御によって前記形状検知対応器具に対して前記プローブを位置決めするステップと、
    前記形状検知対応器具の移動に従って、ロボット制御によって前記プローブを位置決め変更するステップと
    を含む、方法。
17. 前記画像が２次元又は３次元画像を含む、請求項１６に記載の方法。
18. 前記形状検知対応器具を含む視野を提供するために、前記術中撮像システムからの前記画像を最適化するステップを更に含む、請求項１６に記載の方法。
19. 開始位置とターゲット位置との間で許可される運動範囲に従って、前記開始位置と前記ターゲット位置との間で前記プローブを操舵するステップを更に含む、請求項１６に記載の方法。
20. ルックアップテーブルに前記運動範囲の情報を記憶するステップと、前記ルックアップテーブルに記憶されている、前記ターゲット位置に最も近い位置に、前記プローブを操舵するステップとを更に含む、請求項１９に記載の方法。
21. エネルギー結合を提供するために、且つ患者に対する危害を防止するために、ロボット移動を制約するステップを更に含む、請求項１６に記載の方法。
22. ロボットが前記プローブを複数の形状検知対応器具間で移動させて画像間でトグルするように、前記ロボットを制御するステップを更に含む、請求項１６に記載の方法。