JP2022552983A - 組織画像の動的更新 - Google Patents

Abstract

コントローラ１２２は、命令を保存するメモリ１２２２０と、命令を実行するプロセッサ１２２１０とを含む。命令を実行すると、コントローラ１２２は、第１のモダリティで組織の術前画像を取得し（Ｓ４０５）、第１のモダリティでの組織の術前画像を、組織に付着されたセンサ１９５～１９９のセットと位置合わせし（Ｓ４２５）、センサ１９５～１９９のセットから、センサ１９５～１９９のセットの位置についての電子信号のセットを受信すること（Ｓ４３５）を含むプロセスを実装する。プロセスはさらに、電子信号のセットのうちの各セットについて、センサ１９５～１９９のセットの位置の幾何学的配置を計算し（Ｓ４４０）、センサ１９５～１９９のセットからの電子信号のセット間の、センサ１９５～１９９のセットの位置の幾何学的配置の変化に基づいて、センサ１９５～１９９のセットの移動を計算すること（Ｓ４５０）を含む。センサ１９５～１９９のセットの移動に基づいて、組織内の変化を反映するために、術前画像が更新される。

Description

[0001] インターベンション医療処置は、患者の身体に対する侵襲的な処置である。外科手術は、インターベンション医療処置の一例であり、ある種のがんを含むいくつかの疾患の治療法として選択される。がん外科手術において、がん組織（腫瘍）を含む臓器は、柔らかくて可撓性があり、また、容易に扱えることが多い。がん組織を含む臓器の術前画像を使用して、がん外科手術におけるがん組織の外科的切除（除去）を計画する。例えば、外科医などの臨床医は、術前画像で臓器上のがん組織の部位を特定し、術前画像に基づいて、がん組織への経路を頭の中で計画できる。外科手術中、臨床医は、臓器を押す、臓器を引っ張る、臓器を切断する、臓器を焼灼する、及び臓器を切開するなどして解剖学的構造を操作して、がん組織への計画された経路をたどり始める。がん組織を含む臓器が非常に柔らかい場合、これらの操作により臓器が歪むため、臓器の解剖学的構造は、臓器の術前画像に比べて異なる。

[0002] さらに、脳や肺などのいくつかの臓器は、身体に穴を開けたときに圧力が変化することにより、形状が大きく偏位又は変化する。脳偏位は頭蓋骨に穴が作成されると起こる。肺外科手術では、胸腔内に穴が作成されると肺が虚脱する。このため、がん組織を含む３次元（３Ｄ）解剖学的構造は、圧力差や解剖学的構造の操作によって変化する可能性がある。

[0003] がん組織を含む３次元解剖学的構造の変化は、臨床医を混乱させる可能性があり、実際に、臨床医は、術前画像や当初の外科手術計画に対する見解を再構築しなければならない場合がある。再構築するには、臨床医は、解剖学的構造を移動、伸縮、反転、及び回転させて既知のランドマークを特定する必要があり、このような追加の操作によって、術前画像に比べて解剖学的構造がさらに変化し、その結果、全体で方向がわからなくなることがある。本明細書で説明する組織画像の動的更新は、これらの課題に対処する。

[0004] 本開示の態様によれば、インターベンション医療処置中に組織の画像を動的に更新するためのコントローラは、命令を保存メモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、命令は、コントローラに、第１のモダリティで組織の術前画像を取得し、第１のモダリティでの組織の術前画像を、インターベンション医療処置のために組織に付着されたセンサのセットと位置合わせすることを含むプロセスを実装させる。プロセッサが命令を実行すると実装されるプロセスはまた、センサのセットから、センサのセットの位置についての電子信号のセットを受信し、電子信号のセットの各セットについて、センサのセットの位置の幾何学的配置を計算することを含む。プロセッサが命令を実行すると実装されるプロセスはさらに、センサのセットからの電子信号のセット間の、センサのセットの位置の幾何学的配置の変化に基づいて、センサのセットの移動を計算し、センサのセットの移動に基づいて、組織内の変化を反映するために、術前画像を更新画像に更新することを含む。

[0005] 本開示の別の態様によれば、インターベンション医療処置中に組織の画像を動的に更新する装置は、命令、及び、第１のモダリティで取得した前記組織の術前画像を保存するメモリを含む。この装置はまた、命令を実行して、第１のモダリティでの組織の術前画像を、インターベンション医療処置のために組織に付着されたセンサのセットと位置合わせするプロセッサを含む。この装置はさらに、入力インターフェースを含み、この入力インターフェースを介して、センサのセットから、センサのセットの位置についての電子信号のセットが受信される。プロセッサは、電子信号のセットのうちの各セットについて、センサのセットの位置の幾何学的配置を計算し、センサのセットからの電子信号のセット間の、センサのセットの位置の幾何学的配置の変化に基づいて、センサのセットの移動を計算する。この装置は、術前画像を、センサのセットの移動に基づいて、組織内の変化を反映する更新画像に更新し、且つ、センサのセットからの電子信号の各セットについて、更新画像を表示するためにディスプレイを制御する。

[0006] 本開示のさらに別の態様によれば、インターベンション医療処置中に組織の画像を動的に更新するためのシステムは、センサと、コントローラとを含む。センサは、組織に付着されており、センサに給電する電源、センサの移動を感知及び処理する慣性電子構成要素、及びセンサの移動を示す電子信号を送信する送信器を含む。コントローラは、命令を保存メモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、コントローラは、第１のモダリティで組織の術前画像を取得し、第１のモダリティでの組織の術前画像をセンサと位置合わせすることを含むプロセスを実装する。プロセッサが命令を実行すると実装されるプロセスはまた、センサから、センサによって感知される移動についての電子信号を受信し、電子信号に基づいて、センサの幾何学的配置を計算することを含む。プロセッサが命令を実行すると実装されるプロセスはさらに、幾何学的配置に基づいて、組織の変化を反映するために、術前画像を更新することを含む。

[0007] 実施形態の例は、以下の詳細な説明を、添付の図面図とともに読むと、最もよく理解される。様々な特徴が、必ずしも縮尺どおりに描画されているわけではないことを強調する。実際には、考察を明確にするために、寸法は任意に増減されている。適用可能及び実用的である場合は、同様の参照符号は、同様の要素を指す。

[0008]図１Ａは、代表的な実施形態による組織画像を動的に更新するためのシステムの簡略化された概略ブロック図である。 [0009]図１Ｂは、代表的な実施形態による組織画像を動的に更新するためのコントローラを示す。 [0010]図１Ｃは、代表的な実施形態による組織画像の動的更新におけるセンサの動作の進行を示す。 [0011]図１Ｄは、代表的な実施形態による図１Ｃのセンサの動作の進行についての組織画像の動的更新の方法を示す。 [0012]図２Ａは、代表的な実施形態による組織画像の動的更新の別の方法を示す。 [0013]図２Ｂは、代表的な実施形態による図２Ａの組織画像の動的更新の方法のためのセンサの移動を示す。 [0014]図３は、代表的な実施形態による組織画像を動的に更新するためのセンサを示す。 [0015]図４は、代表的な実施形態による組織画像の動的更新の別の方法を示す。 [0016]図５は、代表的な実施形態による組織画像の動的更新におけるセンサの別の動作の進行を示す。 [0017]図６は、代表的な実施形態による組織画像の動的更新における組織上のセンサの配置を示す。 [0018]図７は、代表的な実施形態による組織画像の動的更新の別の方法を示す。 [0019]図８は、代表的な実施形態による組織画像の動的更新におけるセンサ配置を示す。 [0020]図９は、代表的な実施形態による組織画像の動的更新におけるセンサの別の動作の進行を示す。 [0021]図１０は、代表的な実施形態による組織画像の動的更新においてセンサをモニタリングする装置用のユーザインターフェースを示す。 [0022]図１１は、別の代表的な実施形態による組織画像の動的更新方法が実装され得る一般的なコンピュータシステムを示す。

[0023] 以下の詳細な説明において、限定ではなく説明のために、特定の詳細を開示する代表的な実施形態を記載して、本教示による実施形態の完全な理解を提供する。代表的な実施形態の説明が不明瞭にならないように、既知のシステム、デバイス、材料、操作方法、及び製造方法の説明は省略され得る。しかしながら、当業者の範囲内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内であり、また、代表的な実施形態に従って使用され得る。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としたものであり、限定であることを意図したものではない。定義された用語は、本教示の技術分野で一般的に理解され、受け入れられている、定義された用語の技術的及び科学的な意味を加えるものである。

[0024] 本明細書では、「第１の」、「第２の」、「第３の」などの用語を使用して、様々な要素又は構成要素を説明しているが、これらの要素又は構成要素は、これらの用語によって限定されないことを理解されたい。これらの用語は、１つの要素又は構成要素を別の要素又は構成要素と区別するためにのみ使用される。したがって、以下で考察される第１の要素又は構成要素は、本開示の教示から逸脱することなく、第２の要素又は構成要素と呼ばれてもよい。

[0025] 本明細書及び添付の特許請求の範囲において使用される場合、単数形の用語は、コンテキストが明確に指示していない限り、単数形及び複数形の両方を含むことを目的としている。さらに、本明細書で使用される場合、用語「含む」、「含んでいる」、及び／又は同様の用語は、規定された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はそのグループの存在又は追加を除外するものではない。本明細書で使用される場合、「及び／又は」という用語には、関連するリスト項目のうちの１つ以上のうちの任意のもの及びすべての組み合わせが含まれる。

[0026] 特に明記されていない限り、要素又は構成要素が、別の要素又は構成要素に「接続される」、「結合される」、又は「隣接する」と言われた場合、その要素又は構成要素は、他の要素又は構成要素に直接接続又は結合されていても、又は、介在する要素又は構成要素が存在していてもよいことを理解されたい。つまり、これらの及び類似した用語は、２つの要素又は構成要素を接続するために、１つ以上の中間要素又は構成要素を使用できる場合を包含する。しかしながら、要素又は構成要素が別の要素又は構成要素に「直接接続」されていると言われた場合、これには、２つの要素又は構成要素が、中間若しくは介在要素又は構成要素なしで、相互に接続される場合のみが包含される。

[0027] 本開示は、その様々な態様、実施形態、及び／又は特定の特徴、サブ構成要素のうち１つ以上を通じて、以下に具体的に示す利点のうちの１つ以上をもたらすことを目的としている。限定ではなく説明のために、特定の詳細を開示する実施形態の例を記載して、本教示による実施形態の完全な理解を提供する。しかしながら、本明細書に開示された特定の詳細から逸脱した本開示に一致する他の実施形態は、添付の特許請求の範囲内にとどまる。

[0028] 本明細書で説明するように、例えば、圧力差や組織の操作による組織の変形を追跡し、この追跡を使用して組織の術前画像を更新して、組織の外科手術状態と整合させることができる。組織の変形は、センサの位置及び／又は移動に関するデータ、並びに組織の対応する場所を提供するセンサを使用して追跡される。センサの位置及び／又は移動の追跡を使用して、組織の術前画像を組織の更新画像にモーフィングする。組織の更新画像は、臨床医がインターベンション医療処置中に、解剖学的構造をより適切に可視化するために使用される。更新画像を通して見る解剖学的構造は、実際の外科手術状態とよりよく一致するため、治療を改善させ得る。

[0029] 図１Ａは、代表的な実施形態による組織画像を動的に更新するためのシステム１００の簡略化された概略ブロック図である。

[0030] 図１Ａに示すように、システム１００は、インターベンション用画像源１１０、コンピュータ１２０、ディスプレイ１３０、第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９を含む。システム１００は、本明細書で説明する組織画像の動的更新システムの一部又はすべての構成要素を含み得る。システム１００は、図１Ｃ、図１Ｄ、図２Ａ、図４、及び図７に関連して以下に説明される代表的な実施形態の方法及びプロセスの一部又はすべての態様を実装し得る。

[0031] インターベンション用画像源１１０は、例えば、細長い形状を有し、且つ病的組織の検査、生検、及び／又は切除（除去）のために、胸腔（心臓を含む）内で使用可能である胸腔鏡などの内視鏡であり得る。本教示の範囲を逸脱することなく、他のタイプの内視鏡が組み込まれていてもよい。また、インターベンション用画像源１１０は、ＣＴシステム、ＣＢＣＴシステム、Ｘ線システム、又は胸腔鏡などの内視鏡の別の代替物でもよい。インターベンション用画像源１１０は、胸膜腔（肺を含む）及び胸腔内のビデオ支援胸部手術（VＡTＳ）において使用されてもよい。インターベンション用画像源１１０は、有線接続を介して、及び／又はブルートゥース（登録商標）又は５Ｇなどのワイヤレス接続を介して、内視鏡ビデオなどのインターベンション用画像をコンピュータ１２０に送る。インターベンション用画像源１１０は、外科手術の対象となる臓器の組織をイメージングするために使用されるが、本明細書で説明する術前画像は、ＣＴイメージングによって術前画像が取得され、インターベンション用画像源１１０が内視鏡である場合など、インターベンション用画像源１１０とは無関係に存在していてもよい。

[0032] コンピュータ１２０は、少なくともコントローラ１２２を含むが、以下に説明する図１１のコンピュータシステム１１００などにおいて見られるように、電子デバイスの任意の又はすべての要素を含んでいてもよい。例えば、コンピュータ１２０は、インターベンション用画像源１１０及びディスプレイ１３０とインターフェースで連結するために、ポート又は他のタイプの通信インターフェースを含む。コントローラ１２２は、少なくとも、ソフトウェア命令を格納するメモリと、本明細書で説明する様々なプロセスの一部又はすべての態様を直接又は間接的に実装するソフトウェア命令を実行するプロセッサとを含む。コンピュータ１２０は、本明細書で説明する組織画像を動的更新するコンピュータの一部又はすべての構成要素を含み得る。コンピュータ１２０は、図１Ｃ、図１Ｄ、図２Ａ、図４、及び図７に関連して以下に説明される代表的な実施形態の方法及びプロセスの一部又はすべての態様を実装し得る。

[0033] コンピュータ１２０は、ブルートゥース（登録商標）などのワイヤレスプロトコルを使用して又は別の適切な通信プロトコルによって、第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９と通信する。第１のセンサ１９５～第５のセンサ１９９は、イメージングする臓器（肺など）に取り付けられる。本明細書のいくつかの実施形態では、５つのセンサを示しているが、組織画像の動的更新は、５つのセンサに限定されない。例えば、センサのセットには、わずか１つのセンサが含まれていても、５つ以上ものセンサが含まれていてもよい。単一のセンサの代表的な例は、以下の図３に示され且つ図３に関して説明され、また、送信器３３０を含む。したがって、コンピュータ１２０は、トランシーバなどのブルートゥース（登録商標）インターフェースを含む場合もあれば、そのようなブルートゥース（登録商標）インターフェースが接続されている場合もある。例えば、ブルートゥース（登録商標）インターフェースをコンピュータ１２０のポートにつなぐことができる。コンピュータ１２０はまた、別のポート又は他のタイプのインターフェースにつながれたワイヤを介してディスプレイ１３０に接続することもできる。コンピュータ１２０はまた、ディスプレイ１３０、及びカメラなどの他の機器に、追加のポート又は他のタイプのインターフェースによって接続することもできる。

[0034] コントローラ１２２は、ソフトウェア命令を保存するメモリと、命令を実行するプロセッサとの組み合わせを含む。コントローラ１２２は、以下の図１Ｂにあるように、コンピュータ１２０又はシステム１００の外部にあるメモリ及びプロセッサを有するスタンドアロン構成要素として実装できる。さらに、コントローラ１２２は、スマートモニタ内若しくはそれとともに、又はＭＲＩシステム若しくはＸ線システムを含む医用イメージング用システムなどの専用医用システム内若しくはそれとともになど、他のデバイス及びシステム内若しくはそれらとともに実装できる。コントローラ１２２は、ソフトウェアを実行することによって、図１Ｃ、図１Ｄ、図２Ａ、図４、及び図７に関連して以下に説明される代表的な実施形態の方法及びプロセスの一部又はすべての態様を実装できる。コンピュータ１２０のコントローラ１２２は、第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９を含む５つのセンサのデータに基づいて、術前画像の更新を実行できる。

[0035] 例えば、コントローラ１２２は、コンピュータ１２０につながれたメモリスティック若しくはドライブ、又はコンピュータ１２０のインターネット接続を介して、組織の術前画像を取得できる。コントローラ１２２は、ブルートゥース（登録商標）接続を介して、第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９から電子信号のセットを受信し、センサに対して組織の術前画像を位置合わせする。コントローラ１２２による位置合わせは、臓器上のセンサ（複数可）からの電子信号の最初のセットに基づいている。その後、コントローラ１２２は、電子信号の後続のセットに反映されているセンサの位置の変化に基づいて術前画像を更新する。コントローラ１２２は、ディスプレイ１３０で、インターベンション用画像源１１０からの内視鏡画像などのインターベンション用画像上に、更新された術前画像を重ね合わせる。或いは、コントローラ１２２は、術前画像と、インターベンション用画像源１１０からのインターベンション用画像との２つの別個の画像表示を生成してもよい。

[0036] ディスプレイ１３０は、インターベンション医療処置が行われる環境にあるインターベンション用画像源１１０及び／又は任意の他のイメージング機器から得られる内視鏡画像又は他のインターベンション用画像を表示するビデオディスプレイである。ディスプレイ１３０は、ビデオをカラー又は白黒で表示するモニタ又はテレビであってもよい。ディスプレイ１３０は、内視鏡画像を表示するための特殊なインターフェースか、又は術前状態から一連の更新を通じて組織の内視鏡画像などのビデオを表示する別のタイプの電子インターフェースであってもよい。ディスプレイ１３０には、オペレータから直接入力を受け付けるタッチスクリーン機能が含まれている場合がある。また、ディスプレイ１３０は、術前画像と術前画像に基づいて更新された画像とを、例えば、セクションで内視鏡画像に術前画像を重ね合わせることによって表示する。或いは、ディスプレイ１３０は、内視鏡画像と、術前画像／更新画像とを並べて表示してもよい。別の実施形態では、ディスプレイ１３０は、コンピュータ１２０に接続された２台以上の別個の物理ディスプレイを含み、内視鏡画像と術前画像／更新画像は、コンピュータ１２０に接続され且つコントローラ１２２によって制御される別個の物理ディスプレイに表示される。

[0037] 第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９は、物理特性及び動作特性の点で実質的に同一である。第１のセンサ１９５～第５のセンサ１９９の各々には、センサデータが送信されるたびに送信される一意の識別情報が提供されている。また、第１のセンサ１９５～第５のセンサ１９９の各々は、ジャイロスコープ、加速度計、コンパス、及び／又は共通の３次元座標系におけるセンサの位置を特定するために使用できる任意の他の構成要素を含む。また、第１のセンサ１９５～第５のセンサ１９９の各々は、ジャイロスコープ、加速度計、コンパス、及び／又は他の構成要素からの示度に基づいてセンサデータを生成するために命令を実行するマイクロプロセッサを含む。図３に、第１のセンサ１９５、第２のセンサ１９６、第３のセンサ１９７、第４のセンサ１９８、及び第５のセンサ１９９を表すセンサの一実施形態を示し、以下に説明する。

[0038] 図１Ｂは、代表的な実施形態による組織画像を動的に更新するためのコントローラを示す。

[0039] コントローラ１２２は、メモリ１２２２０、プロセッサ１２２１０、及びバス１２２０８を含み、バス１２２０８は、メモリ１２２２０とプロセッサ１２２１０とを接続する。コントローラ１２２は、図１Ｃ、図１Ｄ、図２Ａ、図４、及び図７に関連して以下に説明される代表的な実施形態の方法及びプロセスの一部又はすべての態様を実装するための構成要素を含む。コントローラ１２２は、コントローラ１２２が、図１Ａのコンピュータ１２０内の又はそこに接続された構成要素であるとは限らない点で、図１Ｂではスタンドアロンデバイスとして示されている。例えば、コントローラ１２２は、システム・オン・チップ（ＳｏＣ）などのチップセットとして提供される。しかし、コントローラ１２２は、或いは、コンピュータ１２０のポートにつながれたアダプタなどの周辺機器構成要素として、コンピュータ１２０に接続することもできる。また、コントローラ１２２は、図１Ａのディスプレイ１３０、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、タブレットコンピュータ、又は本明細書に説明するインターベンション医療処置中に存在する医用機器などの他の機器内に実装されていても、又は直接接続されていてもよい。

[0040] プロセッサ１２２１０については、以下の図１１のコンピュータシステム１１００のプロセッサの説明によってより詳細に説明する。プロセッサ１２２１０は、図１Ｃ、図１Ｄ、図２Ａ、図４、及び図７に関連して以下に説明される代表的な実施形態の方法及びプロセスの一部又はすべての態様を実装するためにソフトウェア命令を実行する。

[0041] メモリ１２２２０については、以下の図１１のコンピュータシステム１１００のメモリの説明によってより詳細に説明する。メモリ１２２２０には、命令と、第１のモダリティで取得した組織の術前画像とが保存される。メモリ１２２２０には、本明細書で説明する方法及びプロセスの一部又はすべての態様を実装するようにプロセッサ１２２１０が実行するソフトウェア命令が保存される。

[0042] また、メモリ１２２２０には、組織画像の動的更新の対象となる組織の術前画像が保存されていてもよい。組織の術前画像は、ＭＲＩ、ＣＴ、ＣＢＣＴ、又はＸ線画像によってなど、第１のモダリティで取得される。組織の術中画像は、図１Ａのインターベンション用画像源１１０を介してなど、第２のモダリティで取得される。バス１２２０８は、プロセッサ１２２１０とメモリ１２２２０とを接続する。

[0043] また、コントローラ１２２は、臨床医にデータを送り返すためのフィードバックインターフェースなど、１つ以上のインターフェース（図示せず）を含んでいてもよい。更に又は或いは、図１Ａのコンピュータ１２０の別の要素、図１Ａのディスプレイ１３０、又はコントローラ１２２に接続された別の装置が、臨床医にデータを送り返すためのフィードバックインターフェースなど、１つ以上のインターフェース（図示せず）を含んでいてもよい。コントローラ１２２を介して臨床医に提供されるフィードバックの例としては、振動やトーンなどの触覚フィードバックがある。このフィードバックは、組織の移動が所定の閾値を超えたことを臨床医に警告する。移動の閾値は、並進及び／又は回転に関するものである。移動の閾値を超えると、臨床医のための警告がトリガされる。

[0044] 図１Ｃは、代表的な実施形態による組織画像の動的更新におけるセンサの動作の進行を示す。

[0045] 図１Ｃにおけるセンサの動作の進行は、組織画像の動的更新のための臨床ワークフローにおいて、慣性センサがどのように使用されるかを表している。図１Ｃでは、臓器は肺であるが、本明細書で説明する組織画像の動的更新は、適用として肺に限定されない。

[0046] 図１Ｃに示すように、Ｓ１１０において、第１のセンサ１９５～第５のセンサ１９９は、臓器（肺）の軟組織上に配置される。様々な実施形態では、本教示の範囲を逸脱することなく、５つよりも多い又は少ないセンサを使用することができる。５つのセンサを使用して、臓器の組織の変形を追跡する。５つのセンサの各々は、ジャイロスコープ及び／又は加速度計が内蔵された小型の慣性センサである。５つのセンサは、関心領域の周りの場所にある臓器の軟組織に付着されているか、又は他の方法で取り付けられている。

[0047] Ｓ１２０において、５つのセンサは、術前画像に対して位置合わせされる。位置合わせでは、５つのセンサの３次元座標系を術前画像の異なる３次元座標系に整合させて、共通の原点や軸のセットを共有することなどによって、共通の３次元座標系が提供される。位置合わせを行うと、５つのセンサの現在位置が、術前画像の臓器内又は臓器上の対応する部位に整合される。術前画像は、例えば、光学画像、磁気共鳴画像、コンピュータ断層撮影（ＣＴ）画像、又はＸ線画像である。術前画像は、Ｓ１１０で５つのセンサを配置する直前又は直後に撮影されたものであってよい。

[0048] Ｓ１３０において、５つのセンサは、データのストリーミングを開始する。５つのセンサの各々は、個別に信号を発信し、集合的にこれらの信号は、５つのセンサの位置の位置ベクトルを含む電子信号のセットである。５つのセンサは、各セット間の５つのセンサの移動を反映する電子信号のセットを反復的に発信する。位置ベクトルの各々は、Ｓ１２０での位置合わせ後の５つのセンサ及び術前画像の共通の３次元座標系での３つの座標を含む。

[0049] Ｓ１３０でのストリーミングは、ブルートゥース（登録商標）によって行われてもよく、同じ手術室内など、５つのセンサの近くにある受信器（図示せず）で受信される。５つのセンサからストリーミングデータを受信した受信器は、上記の図１Ａのコントローラ１２２に、ストリーミングデータを処理のために直接提供する。或いは、受信器は、コントローラ１２２を含むデバイス又はシステム（図１Ａのコンピュータ１２０、又はシステム１００の別の構成要素など）に、ストリーミングデータを処理のために直接提供してもよい。受信器は、図１Ａのコンピュータ１２０の一構成要素であり得る。或いは、受信器は、コンピュータ１２０に直接又は間接的に接続された周辺機器であってもよい。

[0050] Ｓ１３０で各センサからストリーミングされるデータには、上記のセンサの位置の位置ベクトルと、センサ固有の識別番号などのセンサの識別情報が含まれている。例えば、第１のセンサ１９５～第５のセンサ１９９の各々は、位置ベクトル及び識別番号をストリーミングする。共通の３次元座標系における位置ベクトルの座標は、ジャイロスコープ、加速度計、コンパス、及び／又は各センサの１つ以上の他の構成要素からの示度に基づいている。５つのセンサの各センサからの位置ベクトル及び任意の他のデータは、Ｓ１３０でのストリーミングを介してリアルタイムで送られる。

[0051] Ｓ１４０において、術前画像が更新されて、臓器の組織の現在の状態が反映される。Ｓ１４０での更新は、５つのセンサからのデータに基づいており、５つのセンサからのデータ内の位置ベクトルから認識されるセンサの移動を反映する。Ｓ１４０での更新は、術前画像を、漸進的な一連の更新画像にモーフィングするために反復的に実行される。「更新画像」との用語は、本明細書で使用される場合、元の術前画像から始まる更新の任意の反復を指す。Ｓ１４０で実行される各更新は、更新画像の新しい反復をもたらす。

[0052] Ｓ１５０において、Ｓ１３０でストリーミングされたデータから、５つのセンサの基準位置が取得される。５つのセンサは、Ｓ１２０にて共通の３次元座標系で術前画像に対して位置合わせされているため、Ｓ１５０での基準位置は、Ｓ１４０で更新された更新画像と同じ座標空間で取得される。

[0053] Ｓ１５０で基準位置を取得した後、プロセスはＳ１４０に戻り、再び術前画像を反復的に更新する。つまり、Ｓ１５０で取得した基準位置は、Ｓ１４０の次の反復で使用され、術前画像がさらに更新される。Ｓ１４０及びＳ１５０が実行されている際も、５つのセンサは、Ｓ１３０で継続的にデータをストリーミングする。Ｓ１４０及びＳ１５０のプロセスは、術前画像を更新して更新画像にし、次に術前画像の次の更新のために５つのセンサの基準位置を再び新たに取得することを含むループで実行される。前述のように、Ｓ１３０でのストリーミングは、Ｓ１４０及びＳ１５０のプロセスが最初に実行されて、次にループで実行される間、常に実行される。第１のセンサ１９５～第５のセンサ１９９の位置は、Ｓ１３０で第１のセンサ１９５～第５のセンサ１９９からストリーミングされる新たに受信されるデータに基づいて、毎回、Ｓ１５０で新たに取得され、最新の更新画像の術前画像は、Ｓ１４０で新たに更新される。したがって、臓器の組織が移動すると、各センサの対応する位置ベクトルがリアルタイムで取得され、術前画像がリアルタイムで更新される。

[0054] 図１Ｄは、代表的な実施形態による図１Ｃのセンサの動作の進行についての組織画像の動的更新の方法を示す。

[0055] 図１Ｄの方法のステップは、参照番号で示される図１Ｃのセンサの動作の進行のステップに対応している。Ｓ１１０において、センサは臓器の軟組織上に配置される。Ｓ１２０において、センサはコンピュータ断層撮影（ＣＴ）システム又はＸ線システムからの術前画像など、臓器の術前画像に対して位置合わせされる。Ｓ１３０において、センサからセンサデータがストリーミングされる。後続のステップＳ１４０及びＳ１５０がループで実行されている際も、センサデータは、Ｓ１３０で継続的にストリーミングされる。Ｓ１４０において、術前画像が更新画像に更新されて、組織の現在の状態が反映される。Ｓ１５０において、センサの基準位置が取得される。Ｓ１５０で取得された基準位置は、Ｓ１２０での位置合わせに基づくセンサ及び術前画像の共通の３次元座標系内にある。Ｓ１５０の後、図１Ｄの方法は、Ｓ１３０でセンサデータが継続的にストリーミングされている際に、Ｓ１４０とＳ１５０との間のループで実行される。ループの各反復では、Ｓ１４０での術前画像の更新の以前の反復の結果が、Ｓ１５０での基準位置として示され、センサのセットからの次の電子信号ストリームのセットに基づいて再び更新される。

[0056] 図１Ｃのセンサの動作の進行で示され且つ図１Ｄの方法に関して説明されたように、術前画像と、臓器の組織の現在の状態との不一致は、臓器の術前画像に対して位置合わせされているセンサの移動に基づいて臓器の術前画像を更新することで修正できる。Ｓ１３０でストリーミングされたセンサからの位置ベクトルを使用して、３次元空間におけるセンサのリアルタイムモデルを作成できる。このモデルを使用して、Ｓ１４０で術前画像を更新画像にモーフィングできる。センサ位置の幾何学的配置のリアルタイムモデリングにより、術前画像を更新して臓器の組織の現在の状態を反映できるため、術前画像と、臓器の組織の現在の状態との不一致が解消される。モーフィングの実行方法の例を以下に説明する。

[0057] 図２Ａは、代表的な実施形態による組織画像の動的更新の別の方法を示す。

[0058] 図２Ａの方法は、Ｓ２０１において、各センサ（ｎ）の初期位置を、３つの次元（ｘ、ｙ、ｚ）で決定することから開始する。Ｓ２０１での決定は、各センサ（ｎ）（例えば、第１のセンサ１９５～第５のセンサ１９９）によって実行されるか、及び／又は各センサ（ｎ）からのセンサ情報を処理するプロセッサによって実行される。Ｓ２０２において、各センサ（ｎ）の３つの軸の各々に対する初期方位（Θ、Φ、Ψ）が決定される。Ｓ２０２での決定もまた、各センサ（ｎ）によって実行されるか、及び／又は各センサ（ｎ）からのセンサ情報を処理するプロセッサによって実行される。３つの次元の各々は、他の２つの次元を含む平面に対して垂直となる。例えば、第１の平面は、ｙ方向及びｚ方向を含むように形成され、ｘ方向は第１の平面に垂直となる。第２の平面は、ｘ方向及びｚ方向を含むように形成され、ｙ方向は第２の平面に垂直となる。第３の平面は、ｘ方向及びｙ方向を含むように形成され、ｚ方向は第３の平面に垂直となる。

[0059] Ｓ２０３において、有線接続やワイヤレス接続などの通信接続を介して画像データを受信するなど、画像データが取得される。Ｓ２０３で取得する画像データは、センサがその上に又はそこに配置される軟組織を含む術前画像データである。Ｓ２０３で取得する画像データは、臓器を含む解剖学的構造のもので、ＣＴイメージングによって取得されたものであってもよい。Ｓ２０３は、センサが臓器に又はその上に配置される前、したがって、Ｓ２０１及びＳ２０２の前に実行され得る。Ｓ２０３はまた、センサが臓器に又はその上にすでに配置された状態で、したがって、Ｓ２０１及びＳ２０２の後に実行されてもよい。

[0060] Ｓ２０５において、各センサ（ｎ）の初期位置及び初期方位のデータが、Ｓ２０３で取得した画像データとともに保存される。センサデータ及び画像データは、図１Ｂのメモリ１２２２０などのメモリに一緒に保存され、図１Ｂのプロセッサ１２２１０などのプロセッサで処理される。

[0061] Ｓ２１０において、各センサについて、前のセンサデータと現在のセンサデータとの間での位置及び／又は方位の変化を反映する変換ベクトルが計算される。変換ベクトルには、各センサの３つのすべての次元（ｘ、ｙ、ｚ）及び３つのすべての方位（Θ、Φ、Ψ）の示度差が含まれている。初期位置及び初期方位に基づいて計算される第１の変換は、比較可能な前の示度がないため、移動を示さない。しかしながら、各センサの次元及び方位の後続の各示度は、直前の示度又は他の以前の示度と比較可能になる。Ｓ２１０で計算される変換ベクトルには、例えば、各センサの示度間の各次元及び各方位の変化についての６つの値が含まれている。変換ベクトルは、示度間の各センサの移動を反映する。

[0062] Ｓ２１５において、図２Ａの方法は、センサ位置と、術前画像又は直前の更新画像からの画像位置との間の分布マップを定義することを含む。分布マップは、センサ及び画像の現在の反復の共通の３次元座標系におけるセンサ位置をマップする。第１の分布マップは、術前画像に対する初期センサ位置を示し、後続の分布マップは、更新画像に対する現在のセンサ位置を示す。また、分布マップは、術前画像又は直前の更新画像に対する、各センサ（ｎ）の以前の位置から、センサ（ｎ）の現在の位置への各センサ（ｎ）の移動も示し得る。

[0063] Ｓ２２０において、術前画像又は直前の更新画像からの画像データに、変換ベクトルが適用される。変換ベクトルの適用では、以前のセンサ位置から現在のセンサ位置へのセンサの移動に基づいて、術前画像又は直前の更新画像が調整される。以前のセンサ位置から離れる術前画像及び直前の更新画像の調整は、センサの移動に応じて調整される。しかしながら、術前画像又は直前の更新画像の移動には、術前画像又は直前の更新画像の１ピクセル以上の移動が含まれる場合がある。例えば、変換ベクトルは、術前画像又は直前の更新画像のピクセルのフィールド全体に適用可能である。ピクセルのフィールドは、１つのセンサ（ｎ）のみを使用して移動を追跡する場合など、均一に移動できる。フィールド内のピクセルは、３つの軸に対して最も近い２つ、３つ、又は４つのセンサ（ｎ）の方向（ｘ、ｙ、ｚ）及び方位（Θ、Φ、Ψ）の各々における最も近い２つ、３つ、又は４つのセンサ（ｎ）の各々の移動の平均値に基づいてなど、不均一に移動することもできる。フィールド内のピクセルは、３つの軸に対して最も近い２つ、３つ、又は４つのセンサ（ｎ）の方向（ｘ、ｙ、ｚ）及び方位（Θ、Φ、Ψ）の各々における最も近い２つ、３つ、又は４つのセンサ（ｎ）の各々の移動の加重平均値に基づいてなど、不均一に移動することもできる。例えば、ピクセルの移動を決定するときに、最も近いセンサの移動は、他のセンサの移動と比較して、不均衡に重み付けされる。

[0064] センサへの近接性に基づいて画像内のピクセル位置を調整するコンテキストにおいて理解されるように、センサの数が多いほど、モデルからもたらされる更新画像の空間分解能が高くなる。したがって、使用されるセンサの数は、（ｉ）少ないセンサでは、低空間分解能、低精度、及びより簡素な処理と、（ｉｉ）より多くのセンサを実装するためのコスト及び複雑さとのトレードオフを反映する。例えば、センサの数を最適化して、過剰な計算能力を必要とせずに、また、不必要に遮るように臓器の表面を覆うこと無く、変形全体に関して高いレベルの確実性を提供できる。組織画像の動的更新の処理要件には、センサのセットの移動の識別と、センサのセットによる移動を示す電子信号の各セットについて、術前画像及び更新画像を反復的にモーフィングするためのより複雑な画像処理との両方が含まれる。

[0065] Ｓ２２５において、センサデータから決定されたセンサの移動を反映する、更新画像の新しい画像データが生成される。更新画像は、Ｓ２２０での変換ベクトルの適用に基づいており、術前画像又は直前の更新画像の、Ｓ２２０での変換ベクトルに基づいて移動された各ピクセルのピクセル値を含む。術前画像又は直前の更新画像のほとんどのピクセルでは、Ｓ２２５で生成される新しい画像データは、例えば、最も近いセンサからの示度の平均又は加重平均に基づいているセンサの移動から決定される組織移動の影響を推定するものである。

[0066] Ｓ２３０において、Ｓ２２５からもたらされるモーフィングされた画像データが表示される。Ｓ２３０からのモーフィングされた画像データはまた、Ｓ２０５において保存される。モーフィングされた画像データは、例えば、図１Ａのディスプレイ１３０に、内視鏡ビデオと一緒に又はそれに重ねて表示される。

[0067] Ｓ２４０において、各センサ（ｎ）が新しい信号を発信する。新しい信号には、各センサの位置及び方位に関する新しい情報が含まれている。Ｓ２４１において、Ｓ２４０で発信された新しい信号から、各センサ（ｎ）の各方向（ｘ、ｙ、ｚ）の位置が取得される。Ｓ２４２において、Ｓ２４０で発信された新しい信号に基づいて、３つの軸に対する各センサ（ｎ）の方位（Θ、Φ、Ψ）が取得される。

[0068] Ｓ２５０において、現在のセンサデータが生成される。Ｓ２５０で生成された現在のセンサデータは、Ｓ２０５で保存され、また、Ｓ２１０での変換ベクトルの計算のためにフィードバックされる。Ｓ２５０には、Ｓ２０１及びＳ２０２と同じ決定が含まれるが、センサデータの後続の示度に対するものである。したがって、Ｓ２５０には、各センサ（ｎ）の３次元での位置（ｘ、ｙ、ｚ）の決定、及び各センサ（ｎ）の３つの軸の各々に対する方位（Θ、Φ、Ψ）の決定が含まれる。Ｓ２５０での決定は、各センサ（ｎ）によって実行されるか、及び／又は、各センサ（ｎ）からのセンサ情報を処理するプロセッサによって実行される。Ｓ２５０での現在のセンサデータの各生成は、Ｓ２０１及びＳ２０２で初期位置及び初期方位が生成された後に行われるため、図２Ａの方法がＳ２５０からＳ２１０に戻ると、Ｓ２５０で現在の示度と比較して、変換ベクトルを計算するための各センサの座標及び方位の示度の以前のセットがある。したがって、Ｓ２５０を最初に実行した後、変換ベクトルは、Ｓ２０１及びＳ２０２からの初期位置及び方位と、Ｓ２５０での現在のセンサデータの初期生成との間で計算される。Ｓ２１０で計算された変換ベクトルは、３つの軸に対する位置（ｘ、ｙ、ｚ）及び方位（Θ、Φ、Ψ）の変化を反映する。

[0069] 図２Ｂは、代表的な実施形態による図２Ａの組織画像の動的更新の方法のためのセンサの移動を示す。

[0070] 図２Ｂの「１」とラベル付けされたモデルは、図２ＡのＳ２５０（又はＳ２０１）に対応している。このモデルは、現在のセンサ位置及び方位に基づいて生成された現在のセンサデータに対応している。

[0071] 図２Ｂの「２」とラベル付けされたモデルは、図２ＡのＳ２１０に対応している。このモデルは、前のセンサデータと、Ｓ２５０で生成された現在のセンサデータとの間で計算された変換ベクトルに対応している。このモデルに示すように、各センサは、前の位置から現在の位置にシフトしている。Ｓ２２０において、センサの移動を使用して、術前画像又は更新画像の最後の反復をモーフィングする。

[0072] 図２Ｂの「３」とラベル付けされたモデルは、図２ＡのＳ２１５に対応している。このモデルは、現在のセンサ位置と、術前画像又は更新画像の最後の反復の画像の位置との間に定義された分布マップに対応している。つまり、このモデルは、術前画像又は更新画像の最後の反復の画像に比較して、センサの更新された位置を示す。これは、術前画像又は更新画像の最後の反復が、センサの最近の移動に基づいてまだモーフィングされていないからである。

[0073] 図２Ｂの「４」とラベル付けされたモデルは、図２ＡのＳ２２０に対応している。このモデルは、術前画像又は更新画像の最後の反復の画像の画像データに適用される変換ベクトルに対応している。センサの変換ベクトルを使用して、例えば、３つの方向の各方向及び３つの方位の各方位における最も近いセンサの移動の平均又は加重平均を使用するなどして、術前画像又は更新画像の最後の反復から個々のピクセルを更新する。矢印は、組織の移動方向を大まかに示している。最新バージョンの術前画像又は更新画像からの各ピクセルの移動は、３つの方向の各々（ｘ、ｙ、ｚ）におけるセンサに対するピクセルの近接度によって重み付けされる。その結果、ピクセルが任意のセンサに近いほど、そのセンサの移動はピクセルの移動をより強く反映する。臓器の組織は、個々の点での移動に加えて全体として移動するため、術前画像からの更新の各反復は、臓器の組織の位置のスムーズな変化として現れる。

[0074] 本明細書で説明する実施形態では、主に肺外科手術を使用事例として使用しているが、組織画像の動的更新は、肝臓や腎臓の外科手術など、変形性の高い組織を伴う他の処置にも同様に適用される。さらに、本明細書に示す実施形態では、主に臓器の表面にセンサを配置することを説明しているが、いくつかの実施形態では、ルーメンアクセス又は経皮的針アクセスを介して、センサを臓器内に配置することもできる。例えば、以下に説明する図７の実施形態に示すように、内部センサを、肺の気管支内に使用することができる。別の例として、腎臓の血管の中を通して内部センサを導入することもできる。

[0075] 臓器の表面上のセンサは、画像でより簡単に検出できる一方で、臓器の内部にあるセンサは、センサが腫瘍、血管、及び気道に近接していることから、これらの構造の位置をより適切に特定できる。代わりに、表面上のセンサは、表面特徴に相関させることができる。これは、ＭＲＩ、ＣＴ、ＣＢＣＴ、又はＸ線などの他のモダリティで表面特徴が検出可能である場合に有益で、モダリティ間での位置合わせを容易にする。肺の裂溝は、表面センサの１つの可能な使用を表す。

[0076] 図３は、代表的な実施形態による組織画像を動的に更新するためのセンサを示す。

[0077] 図３に示すように、センサ３００は、粘着性パッド３１０、バッテリ３２０、送信器３３０、及びＡＳＩＣ３４０（特定用途向け集積センサ）を含む。センサ３００は、外科的使用のための慣性センサの一例である。センサ３００は、使い捨てであっても、再利用可能であってもよい。さらに、センサ３００は、生体適合性であり得る滅菌保護ケース（図示せず）で密閉されていてもよい。このような滅菌保護ケースは、バッテリ３２０、送信器３３０、ＡＳＩＣ３４０、及びセンサ３００内に提供される他の構成要素を囲んで密閉する。

[0078] 粘着性パッド３１０は、生体適合性のある接着剤であり、センサ３００を臓器又は他の関心領域に付着させる。粘着性パッド３１０は、センサ３００の他の構成要素を囲んで密閉する滅菌保護ケース（図示せず）の表面に付着される。或いは、粘着性パッド３１０は、滅菌保護ケースの下面を形成してもよい。粘着性パッド３１０は、センサ３００を臓器又は他の関心領域に取り付けるための機構を表している。センサ３００を組織に取り付けるために使用される粘着性パッド３１０に代わるものとして、縫合糸を受けるための通し穴や、ステープルを受けるための機構があり、これは、図３のセンサ３００を組織に直接取り付ける。

[0079] バッテリ３２０は、例えば使い捨てコイン型バッテリなど、センサ３００の電源として機能する。バッテリ３２０は、送信器３３０、ＡＳＩＣ３４０、及び他の構成要素を含むセンサ３００の１つ以上の構成要素に給電する。バッテリ３２０に代わるものとして、外部源から電力を受け取る機構がある。例えば、センサ３００に提供されるフォトダイオードは、インターベンション用画像源１１０からの光など、外部源から給電される。フォトダイオード及びコンデンサなどの蓄電デバイスを含む電源は、インターベンション用画像源１１０からの光によってエネルギー付与され得る。例えば、センサ３００内のフォトダイオードに衝突したインターベンション用画像源１１０からの光を使用して、センサ３００のコンデンサを充電し、コンデンサからの電力を、センサ３００の他の機能に使用できる。センサ３００に給電するさらなる方法としては、外部エネルギー源をセンサ３００の電源に変換する方法がある。例えば、電気メスツールから熱を取り込む方法や、超音波トランスデューサから音波を取り込む方法がある。

[0080] 送信器３３０は、センサ３００の位置及び方位データを送信するためのデータ送信器である。例えば、送信器３３０はブルートゥース（登録商標）送信器である。

[0081] ＡＳＩＣ３４０は、任意の他の位置及び回転機能に必要な任意の他の回路要素とともに回路基板に実装されるジャイロスコープ回路などの回路を含む。ＡＳＩＣ３４０は、センサ３００の絶対位置及び／又は相対位置を決定するためのデータを収集する。ＡＳＩＣ３４０は、ジャイロスコープと電子機器基板とを組み合わせたものであってもよい。センサ３００の絶対位置及び／又は相対位置を決定するためにセンサ３００内で使用され得るさらなる構成要素には、加速度計及びコンパスがあり、これらは、ＡＳＩＣ３４０の電子機器基板上に集積され得る。

[0082] 組織画像の動的更新のいくつかの実施形態において、センサ３００の１つのインスタンス化を使用できる。他の実施形態では、センサ３００の複数のインスタンス化を使用できる。ある構成で一緒に提供されるセンサ３００の複数のインスタンス化は、センサ３００の複数のインスタンス化の各々に提供されるロジックによって、構成の共通座標系の原点及び軸を調整させるなど、自己調整できる。センサ３００の複数のインスタンス化の構成の共通の座標系は、術前画像との位置合わせのために使用できる。センサ３００の複数のインスタンス化の各々に提供されるロジックには、マイクロプロセッサ（図示されず）及びメモリ（図示されず）が含まれていてもよい。他の実施形態では、ある構成で一緒に提供されるセンサ３００の複数のインスタンス化は、単独の図１Ｂのコントローラ１２２によって、又はシステム１００内の図１Ａのコントローラ１２２によってなど、外部から調整できる。

[0083] 図４は、代表的な実施形態による組織画像の動的更新の別の方法を示す。

[0084] 図４の方法は、Ｓ４０５において、第１のモダリティで組織の術前画像を取得することから開始する。組織の術前画像は、組織画像の動的更新が実行される医療インターベンションの直前に取得されても、医療インターベンションよりずっと前に実行されてもよい。術前画像は、例えば、ＣＴ画像であり、したがって、第１のモダリティはＣＴイメージングである。メモリ１２２２０などのメモリには、第１のモダリティで取得した組織の術前画像が、プロセッサ１２２１０で実行するソフトウェア命令などの命令とともに保存されている。或いは、第１のモダリティで取得した組織の術前画像を第１のメモリに保存し、ソフトウェア命令を第２のメモリに保存することもできる。

[0085] Ｓ４１０において、組織画像の分析に基づいて、センサのセットのうちの少なくとも１つのセンサの配置が最適化される。センサのセットには、本明細書で説明する組織画像の動的更新のインスタンス化の全体のための１つ以上のセンサが含まれている。センサが１つしかない場合、センサを配置する場所は、１つのセンサを配置する医療インターベンションの状況に基づいて最適化される。例えば、少量の組織だけを除去する場合は、単一のセンサを組織の隣に配置できる。或いは、複数のセンサがある場合は、Ｓ４１０において、ある構成で複数のセンサの配置が最適化される。複数のセンサを使用することで、更新画像が精緻化されるが、処理要件が大きくなる。例えば、複数のセンサは、臓器から除去する組織塊の周りに配置できる。

[0086] Ｓ４１０での最適化は、医療インターベンションにおけるセンサ配置の以前のインスタンス化に適用された機械学習に基づいている。例えば、機械学習は、センサ配置の以前のインスタンス化が実行された地理的に多様な場所から画像及び詳細を受信する中央サービスにおいて適用されていてもよい。機械学習は、データセンターなど、クラウドでも適用されていてもよい。最適化は、機械学習の結果に基づいて、例えば、Ｓ４１０でのセンサの最適化された配置が使用される医療インターベンションの状況に合わせて具体的に生成又は取得されたアルゴリズムを使用することによって、Ｓ４１０で適用される。Ｓ４１０での最適化のためのアルゴリズムには、医療インターベンションのタイプ、医療インターベンションに関与する医療従事者、医療インターベンションを受ける患者の特性、医療インターベンションに関与する組織の以前の医用画像、及び／又は最適なセンサ配置と見なされるものを変化させ得る他のタイプの詳細に基づくカスタマイズされたルールが含まれ得る。

[0087] Ｓ４１５において、図４の方法は、センサのセットのうちの各センサの３つの軸の各々からの位置情報を記録することを含む。位置情報は、同じ共通の３次元座標系を反映している。センサのセットは、例えば、共通の原点及び３つの軸を設定するために自己調整される。センサのセットのうちの１つ以上のセンサは、他のセンサからの信号から、信号強度を測定して、他のセンサの各方向における相対距離を決定する能力を備えている。或いは、センサのセットは、例えば、単独の図１Ｂのコントローラ１２２によって、又は図１Ａのシステム１００内のコントローラによって、原点及び３つの軸を設定するように外部から調整することもできる。例えば、コントローラ１２２に接続されたアンテナなどによって、信号強度を外部から受信し、各方向の信号成分を使用して、センサのセットのうちの各センサの各方向の相対距離を決定できる。

[0088] センサのセットが自己調整される実施形態では、センサのセットのうちの１つを、共通の３次元座標系の共通原点として設定できる。センサのセットが自己調整される場合、センサには、ソフトウェア命令を保存するメモリや命令を実行するプロセッサ（例えば、マイクロプロセッサ）などのロジックが提供できる。いくつかの実施形態では、センサ自体に、センサの座標系を提供する電磁追跡などを介する位置追跡用の回路が含まれている。この場合、センサのセットは、インターベンション処置の前に、又はインターベンション処置中の位置合わせステップとして、互いに整合される。ある実施形態では、センサのセットは、互いに特定の所定の方位を維持する所定のパターンで配置される。例えば、第１のセンサは常に左上葉に配置され、第２のセンサは常に肺の左下葉に配置され、第３のセンサは移動の影響を受けない領域に配置される。この実施形態では、センサの標準的な配置パターンによって、画像内に既知の位置を有する固定センサを基準にする均一な開始位置が確実にされる。自己調整の場合、各センサは、共通の３次元座標系における位置を認識している。

[0089] コントローラ１２２などによって、外部から調整した場合、センサは、共通の３次元座標系における位置を認識する必要がなく、代わりにコントローラ１２２に位置の並進及び回転変化を報告するだけでよい。コントローラ１２２などによって、外部から調整した場合、センサのセットにおける各センサは、その初期位置をそれ自身の３次元座標系における原点として使用でき、コントローラ１２２は、センサから受信した各センサデータセットを調整して、各センサの元の場所を、センサに設定されている共通の３次元座標系の原点からオフセットする。図１Ｃの動作の進行を例として、図１Ｃの５つのセンサの各々は、加速度計によるＹ方向としての重力、Ｚ方向としてのコンパスによる真北、並びにＹ方向及びＺ方向を含む平面に垂直なＸ方向の導出の示度に基づいてなど、同じタイプの示度から導出されるそれ自体の座標系を有する。したがって、記録された位置情報は、センサのセットのうちの各センサの同等の初期座標を示す場合がある。したがって、センサのセットからのセンサデータは、例えば、単独の図１Ｂのコントローラ１２２によって、又は図１Ａのシステム１００内のコントローラによって、共通の３次元座標系に対して調整される。

[0090] Ｓ４２０において、図４の方法は、センサのセットを含むカメラ画像に基づいて、センサのセットのうちの各センサの初期位置を算出し、カメラ画像をセンサのセットに対して位置合わせすることを含む。各センサの初期位置は、Ｓ４１５での位置情報の記録を補助する又はそれに代わるものであってもよい。カメラ画像を提供するカメラは、２次元（２Ｄ）ビューを有する従来のカメラ、又は３次元ビューを有するステレオカメラであり得る。Ｓ４２０で算出された各センサの初期位置は、カメラのビューから定義された空間内に、センサの共通の３次元座標系の原点として設定される。Ｓ４１５とＳ４２０とが互いを補完する場合、Ｓ４１５で記録された位置情報の共通の３次元座標系を、Ｓ４２０で算出された各センサの初期位置の共通３次元座標系に合わせて調整できる。その結果、Ｓ４２０で算出された各センサの初期位置は、センサの第２の位置セットになり、Ｓ４１５からの記録された位置情報をＳ４２０での画像から算出された位置情報に対して位置合わせするために算出される。Ｓ４１５及びＳ４２０の共通の３次元座標系での位置合わせを向上させるために、又はカメラからセンサが見えない場合に、Ｓ４２０での算出のために２つ以上の画像が撮影される。カメラを別の位置に回すと、センサの位置を検出できる場合がある。２つの２次元カメラビューを逆投影法と合わせて使用すると、２次元画像内のセンサのセットのうちの各センサの３次元位置が特定される。Ｓ４１５に代わるものとして実行される場合、Ｓ４２０でカメラ画像に基づいて算出された初期位置の共通の３次元座標系を、センサのセットの共通の３次元座標系として課すことができる。共通の３次元座標系における座標及び３つの軸がセンサに通知される場合、センサからのセンサデータは、共通の３次元座標系における正確な位置及び回転情報になる。或いは、Ｓ４２０で算出された初期位置について、センサが共通の３次元座標系における座標及び／又は３つの軸を認識していない場合があり、この場合、単独の図１Ｂのコントローラ１２２、又は図１Ａのシステム１００内のコントローラが、センサデータの位置及び回転情報をセンサの共通の３次元座標系に調整できる。

[0091] 組織が移動するにつれて、したがって、センサが移動するにつれて、センサの座標は、各センサからストリーミングされる慣性データを使用して調整される。Ｓ４１５及びＳ４２０の共通の３次元座標系間の位置合わせは、新しいカメラビューを取得することで、処置中に更新される。ステレオカメラを使用して、３Ｄ位置合わせを向上させることもできる。他の実施形態では、Ｓ４２０での初期センサ位置の算出に、電磁感知又はコンパスデータを使用してもよい。

[0092] Ｓ４２５において、図４の方法は、次に、第１のモダリティでの組織の術前画像を、インターベンション医療処置のために組織に付着されたセンサのセットと位置合わせすることを含む。位置合わせには、Ｓ４１５及びＳ４２０で／それらのために生成された共通の３次元座標系の一方又は両方と、術前画像の座標系とが関与する。位置合わせは、術前画像内のランドマークを、Ｓ４１５での論理制御又はＳ４２０でのカメラ画像から導出されたかに関わらず、以前に術前画像の対象となっていた組織内又は上のセンサの配置と整合させることによって実行される。

[0093] Ｓ４２０で各センサの初期位置を算出し、カメラ画像をセンサのセットに対して位置合わせする際に、カメラ画像を術前画像に対して位置合わせすることもできる。Ｓ４１５、Ｓ４２０、及びＳ４２５に基づく位置合わせにさらに代わるものとして、位置合わせは、センサを組織上に配置し、そして術前画像を取得することによって実行できる。センサの位置及び方位は、画像内の解剖学的構造に関して術前画像から抽出できる。これにより、Ｓ４２０のように、臓器上のセンサを直接カメラで見る必要を回避できる。

[0094] Ｓ４２５で位置合わせが行われると、センサの移動をもたらす組織の移動を、Ｓ４１５及び／又はＳ４２０で最初に設定されたセンサの共通の３次元座標系で追跡できる。コントローラ１２２は、各センサからセンサデータを受信している最中に、各センサからのセンサ情報を共通の３次元座標系に対して継続的に調整する。Ｓ４２５の位置合わせは、Ｓ４１５及び／又はＳ４２０でセンサに設定された共通の３次元座標系での初期座標の術前画像への割り当てをもたらす。

[0095] Ｓ４３０において、図４の方法は、第１のモダリティでの組織の術前画像を、第２のモダリティでの組織の画像と位置合わせすることを含む。図１Ｃの動作の進行の例に戻ると、術前画像の座標系は、術前画像内で部分的又は完全に定義され、Ｓ４２５で位置合わせされると、センサのセットの共通の３次元座標系で設定される。例えば、術前画像内のランドマークの各々には、センサのセットの共通の３次元座標系での３つの方向及び３つの軸周りの回転の座標が割り当てられる。したがって、Ｓ４２５での位置合わせに基づいて、術前画像の座標系は、Ｓ４２０で設定されたセンサの共通の３次元座標系の座標系となる。

[0096] Ｓ４３０では、１つ以上のセンサが解剖学的特徴に隣接して配置されたときに、Ｘ線又は内視鏡／胸腔鏡などによる１つ以上の第２のモダリティにおいて解剖学的特徴が検出可能である限り、センサは、１つ以上の第２のモダリティに対して位置合わせされる。第２のモダリティからの画像は、Ｓ４１５及び／又はＳ４２０で設定されたセンサの共通の３次元座標系での位置に位置合わせされる。例えば、気管支内センサが腫瘍に隣接して且つ少なくとも２つの他の気道内に配置されると、気管支内の位置及び他の２つの気道は、セグメントＣＴ画像内で検出され、セグメントＣＴ画像は、センサの共通の３次元座標系に対して位置合わせできる。さらに、Ｓ４２５及びＳ４３０での位置合わせは、センサの配置場所を事前に定義するか、過去の処置のデータを組み込むことによって、３つよりも少ないセンサで可能である。

[0097] Ｓ４３５において、図４の方法は、センサのセットから、センサのセットの位置についての電子信号のセットを受信することを含む。上記のように、電子信号は、共通の３次元座標系ですでに設定されているセンサデータを含むか、又は、例えば、図１Ｂのコントローラ１２２によって、共通の３次元座標系に適合するように調整されてもよい。

[0098] Ｓ４４０において、図４の方法は、電子信号のセットのうちの各セットについて、センサのセットの位置の幾何学的配置を計算することを含む。幾何学的配置には、センサの共通の３次元座標系での個々のセンサ位置だけでなく、異なるセンサの位置間の座標の相対的な相違も含まれている。センサからの電子信号のセットは、コントローラ１２２におけるアルゴリズムに入力される。コントローラ１２２は、臓器の組織に対するセンサの幾何学的配置を継続的に計算する。

[0099] Ｓ４４０で計算された幾何学的配置には、共通の３次元座標系での１つのセンサの位置決めだけでなく、共通の３次元座標系での各センサの経時的な移動も含まれている。また、幾何学的配置には、共通の３次元座標系での複数のセンサの各々の位位置決め、共通の３次元座標系での複数のセンサの相対的な位置決め、並びに複数のセンサの位置決め及び相対的な位置決めの経時的な移動が含まれていてもよい。

[00100] Ｓ４４５において、図４の方法は、センサのセットの幾何学的配置に基づいて、組織の３次元モデルを生成することを含む。図４で生成された３次元モデルは、共通の３次元座標系でのセンサのセットの位置の初期の３次元モデルであり、対応する特徴を有している。例えば、３次元モデルは、センサの幾何学的配置の情報に制限され、術前画像を除外していてもよい。

[00101] Ｓ４５０において、図４の方法は、信号のセットの各セットに第１のアルゴリズムを適用することで、センサのセットからの電子信号のセット間の、センサのセットの位置の幾何学的配置の変化に基づいて、センサのセットの移動を計算することを含む。移動は、３つの方向の各々における移動についての３つの並進データセット、及び各軸周りの移動についての３つの回転データセットを含む変換ベクトルで報告される。センサを配置した後、移動は、医療インターベンション中に継続的に計算される。

[00102] Ｓ４５５において、図４の方法は、移動における振動性の動きの周波数に基づいて、インターベンション医療処置中のアクティビティを特定することを含む。Ｓ４５５で特定されるアクティビティは、パターン認識に基づいて特定され得る。例えば、センサの振動の特定の周波数が、医療処置中に発生する特定のタイプのアクティビティに対応することがわかっている。

[00103] Ｓ４６０において、図４の方法は、センサのセットからの電子信号のセットのうちの各セットに基づいて、組織の３次元モデルを更新することを含む。組織の３次元モデルは、Ｓ４６０で更新され、まず、Ｓ４５０で計算されたセンサの移動を示す。更新されたモデルは、共通の３次元座標系での各センサの現在位置を特定し、且つ各センサの１つ以上の以前の位置を特定して、各センサの経時的な相対的な移動を反映する。

[00104] Ｓ４６５において、術前画像に第２のアルゴリズムを適用することで、術前画像を更新してセンサのセットの移動に基づいた組織の変化を反映することによって、術前画像の更新された仮想レンダリングが作成される。術前画像は、Ｓ４６５で更新されて、各ピクセルを術前画像の以前の反復からセンサの移動に対応する量だけ移動することで、術前画像をモーフィングする。個々のピクセルは、異なる方向に異なる量で移動する様々なセンサとの近接性に基づいて、異なる方向に異なる量だけ移動する。更新された仮想レンダリング内の各ピクセルの移動は、最も近いセンサの各方向における移動の平均又は加重平均に基づいて算出される。

[00105] 図５は、代表的な実施形態による組織画像の動的更新におけるセンサの別の動作の進行を示す。

[00106] 図５では、５つのセンサが肺上に配置されている。５つのセンサには、第１のセンサ５９５、第２のセンサ５９６、第３のセンサ５９７、第４のセンサ５９８、及び第５のセンサ５９９が含まれている。肺は、本明細書に説明する組織画像の動的更新の対象となる臓器又は他の組織塊の一例にすぎない。５つのセンサは、接着、ステープル留め、又は縫合糸などで配置される。例えば、接着によって配置される場合、５つのセンサの各々は、各センサの底部に外科手術的に適合する接着剤を用いて軟組織に取り付けることができる。

[00107] 図５では、５つのセンサは、ＣＴイメージングなどの術前イメージングからの術前画像内で特定された腫瘍又は関心領域の周りに配置されている。変形可能な組織モデルが、センサの数及び場所に応じて異なる入力データのレベルに適応できるため、センサの正確な数及び場所は必ずしも重要ではない。図５では、左側の画像は、虚脱した肺内の腫瘍の周りにある５つのセンサを示し、右側の画像は、肺が臨床医によって反転されたときの５つのセンサの背面を示している。本明細書に説明する組織画像の動的更新では、センサのセットが肺とともに反転するため、センサのモデルから肺の反転を検出できる。図５の例では、第２のセンサ５９６及び第３のセンサ５９７は、左側の画像では見えるが、右側の画像では反転されている肺の組織上に配置されているため、右側の画像では見えない。

[00108] 図６は、代表的な実施形態による組織画像の動的更新における組織上のセンサの配置を示す。

[00109] 図６では、５つのセンサが臓器上に配置されている。５つのセンサには、第１のセンサ６９５、第２のセンサ６９６、第３のセンサ６９７、第４のセンサ６９８、及び第５のセンサ６９９が含まれている。図６の５つのセンサは、臓器の外側に付着されている。図６の５つのセンサの各々の局所座標系を参照のために示している。各センサは、センサの内部位置を局所座標系の原点として使用する。５つのセンサの各々の３つの軸すべてからの位置情報は、例えば、各個別のセンサについて、ジャイロスコープによって記録され、例えば、手術室内の中央受信器にリアルタイムで戻される。

[00110] 図６の５つのセンサの各々の場所はランダムに配置できるが、大量の動き／変形の影響を最も受けやすい組織部位を手動又は自動で特定することで、各センサの正確な場所を最適化することもできる。例えば、肺は、かなりの量のコラーゲンを含むより大きな気道の近くで最も剛性があるが、辺縁部では最も変形性がある。したがって、肺の場合は、５つのセンサのうちの１つ以上を、肺の辺縁部の近くに取り付けることが賢明である。正確な場所は、術前画像に適用されたアルゴリズムから若しくは外科手術的ビュー（眼又はカメラ）から決定できるか、又は両方の何らかの組み合わせである。

[00111] 図７は、代表的な実施形態による組織画像の動的更新の別の方法を示す。

[00112] 図７の方法は、例えば、以下で説明する図８のように、慣性マーカーを気管支内に配置するのに適したワークフローである。このワークフローでは、画像誘導用にセンサの場所を準備する。

[00113] 図７の方法は、Ｓ７１０において、術前のＣＴ、ＭＲ、又はＣＢＣＴスキャンを取ることから開始する。Ｓ７２０において、図７の方法は、解剖学的特徴について術前画像をセグメント化することを含む。セグメント化は、図６の臓器などの解剖学的特徴などの構造の表面を表したもので、例えば、構造の表面上の３次元（３Ｄ）座標の点のセットで構成されており、三角形の平面セグメントが、３つの点の隣接するグループを接続することによって定義され、これにより、構造全体が交差しない三角形の平面のメッシュで覆われる。

[00114] Ｓ７３０において、ターゲットへの経路のための基準として、Ｓ７２０からの解剖学的構造のセグメント化された表現を使用して、センサがターゲットへ気管支内を誘導される。Ｓ７４０において、センサは、ターゲット部位に配置される。Ｓ７５０において、センサの場所がイメージングデータに対して位置合わせされる。上記のように、図７の方法は、例えば、図８のように、慣性センサを気管支内に配置するのに適したワークフローである。

[00115] 図８は、代表的な実施形態による組織画像の動的更新におけるセンサ配置を示す。

[00116] 図８の例では、センサ８９５は単一の慣性センサであり、外科手術前又はその最中に、気道を通じて肺の気管支内に導入される。センサ８９５は、可能な限り腫瘍の近く、又は主要な気道、血管、若しくは他の明白な解剖学的特徴の近くに配置することが有利である。センサ８９５を配置することで、センサ８９５の位置をターゲット解剖学的構造に対して直接特定できる。

[00117] 図８のセンサ８９５の配置手順では、気管支内ナビゲーションに既存の方法を利用でき、また、気管支鏡検査、Ｘ線、ＣＴ、又は電磁（ＥＭ）追跡で誘導される気管支内カテーテルを含む。センサ８９５の初期位置は、センサ８９５の位置の連続追跡に使用するための胸腔鏡又は別のタイプの内視鏡に対して位置合わせされる。センサ８９５は、センサ８９５を所定の位置に置いたままにすることによって（それにより、組織サポートに依存する）、センサ８９５をバーブで固定することによって、センサ８９５を組織にクリップ留めすることによって、及び／又は例えば、接着剤を使用してセンサ８９５を組織に付着させることによって、解剖学的構造に取り付けられる。図８の例では、センサ８９５を配置すると、加速度計など、センサ８９５の構成要素からの方位及び動きなどの示度に基づいて、肺組織の術中状態が解釈される。

[00118] センサ８９５の追跡からのデータには、センサ８９５の方位が含まれている。また、このデータを使用して、センサ８９５を配置した時点での（基準座標系としての）重力に対するセンサ８９５の方位を記録するなどによって、肺モデルをモーフィングする。肺表面の対応する初期方位が保存される。初期方位はまた、胸腔鏡画像から視覚的に測定することも、過去の処置から近似することもできる。その結果、センサ８９５の追跡からのデータを使用して、関連の組織の方位の変化を追跡できる。センサ８９５からの方位測定値はまた、ライブビデオでの肺又は組織の追跡の生物物理モデルなどの他の情報源と組み合わせて、センサ８９５の位置を手術中に決定することもできる。

[00119] また、センサ８９５の追跡からのデータを使用して、肺又は別の臓器がいつ反転されたのかを決定することもできる。この例では、センサ８９５の加速度計の方位を使用して、肺が反転されているかどうか、つまり、肺組織のどの表面が胸腔鏡ビューにおいて可視であるかを決定できる。例えば、センサ８９５の方位を使用して、肺の前部若しくは後部が可視であること、肺の下側若しくは上側が可視であること、及び／又は肺の側面若しくは内側が胸腔鏡ビューにおいて可視であることを決定できる。肺の位置決めを決定する機能は、肺のどの表面が可視であるかを臨床医に知らせる際に有用であり、さらに胸腔鏡上での／胸腔鏡のための画像処理アルゴリズムを補完するために使用できる。

[00120] また、図８のセンサ８９５の追跡からのデータを使用して、速度及び加速度を決定することもできる。センサ８９５の加速度計によって測定された動きプロファイルを使用して、解剖、切開、反転、伸縮、及び操作など、様々な外科手術的イベントに対応する動きパターンを見つけることができる。例えば、約０．５Ｈｚの振動性の動きは、解剖が行われていることを示す。約１０Ｈｚのより高い周波数の動きは、ステープル留めが行われていることを示し得る。これらの動きパターンは、ライブビデオ又は機器追跡などの他の情報源とさらに組み合わせることで、外科手術的イベントの解釈を向上させる。

[00121] 慣性センサのデータは、本明細書で説明するように、リアルタイムで使用される。例えば、加速度計データを慣性追跡のためにさらに解析して、リアルタイムで場所を決定できる。加速度計データは、すでに説明した情報のタイプと類似しており、様々な形態の外科手術誘導に組み込むことができる。例えば、加速度計データを使用して、加速度計の測定値に基づいて実際の肺に応じて変形する肺の仮想モデルを臨床医に示すことができる。腫瘍又は他の解剖学的特徴の部位を、センサ８９５の配置に応じて同時に重ね合わせることができる。別の例では、加速度計データを使用して、臨床医に実際の肺の視覚（ビデオなど）を示すと同時に、追跡対象のセンサ８９５及び／又は関連する解剖学的特徴の仮想表現を重ね合わせる。さらに別の例では、加速度計データを使用して、腫瘍がその初期の場所から移動した距離や、検出された外科手術的イベントのタイプなど、他の形式の情報や統計情報を臨床医に提示できる。この情報を記録して、解剖されたリンパ節の場所及び数を示すために使用できる。

[00122] 上記の加速度計データの使用例では、センサ８９５は、単一の加速度計ベースのセンサであり、肺の外科手術に有利な誘導を作成するために使用される。単一センサソリューションは、導入がより簡単で、マルチセンサレンディションよりもコスト効率が高い。一方、マルチセンサソリューションには、変形可能な組織の忠実度の高い追跡や、複数の独立したセンサを使用する場合など、いくつかの利点がある。或いは、既知の固定構成にある複数のセンサを使用すると、画像ベースのセンサ検出を使用するなど、ユーザが明示的に位置合わせを行うことなく、センサを組織又は胸腔鏡に対して位置合わせすることができ、これにより、ワークフローが簡素化される。

[00123] 図９は、代表的な実施形態による組織画像の動的更新におけるセンサの別の動作の進行を示す。

[00124] 図９では、センサの移動から検出された変形に基づいて、術前画像がモーフィングされる。センサが位置合わせ及び初期化され、センサの位置がリアルタイムで送信されると、センサの位置及び方位がアルゴリズムへの入力として機能する。アルゴリズムは、ターゲット臓器の術前ＣＴボリューム又は３次元ボリュームから開始することによって機能する。これにより、モデルの静的基準又は開始場所が提供される。次に、センサからの入力データは、各センサの個別の位置ベクトルをリアルタイムで提供する。次に、位置ベクトルを使用して、術前モデルを変形し、したがって、３次元空間における組織の現在の状態を予測できる。この新しいモデルは、センサからデータが送信される速度と同じ速度でリフレッシュされる。図９では、画像の変形は、本明細書で説明したアルゴリズムに基づいていてもよい。図９は、ファントムの表面に３つの商用センサが取り付けられている実験の結果を示している。したがって、センサの追跡に基づいて３次元モデルがモーフィングされる。

[00125] 図１０は、代表的な実施形態による組織画像の動的更新においてセンサをモニタリングする装置用のユーザインターフェースを示す。

[00126] 図１０は、グラフィカルユーザインターフェース（ＧＵＩ）などのインターフェースを示している。このインターフェースは、リアルタイムで収集されたセンサデータを、反転され且つ様々な方位に回転されたファントムとして表示している。インターフェースの３つのインスタンス化は、Ｂ、Ｃ、及びＤとラベル付けされ、各々が、３つの方向（ｘ、ｙ、ｚ）における位置の示度、示度のタイムスタンプ、及び３つの軸に対する角度位置を示している。センサの方位は、緑、青、及び黄色などの色が変化する平面として可視化される。次に、これらの方位を使用して、組織の画像を、術前画像から開始し、更新画像の反復を通じてモーフィングする。図１０に、３つのセンサの各々からのデータを示す。これには、組織ファントムを反転した後のデータも含まれている。

[00127] 代替実施形態では、移動が所定の閾値を超えた場合などに、インターフェースを介して触覚フィードバックが適用される。例えば、組織の反転又は回転に関する情報は、コントローラ１２２又はコンピュータ１２０の別の要素からフィードバックインターフェースを介して提供される触覚フィードバックによって臨床医に提供される。触覚フィードバックの例としては、センサが任意の１つの軸の周りの９０度を超える回転を示す場合に、ウェアラブルデバイス又は外科手術ツールを介して臨床医に振動が送られる。フィードバックインターフェースの例としては、データ接続用のポートがある。データ接続を介して送られたデータに基づいて、フィードバックの触覚的な態様が物理的に出力される。閾値は手動又は自動で調整できる。他の形式のフィードバックには、外部特徴として又は胸腔鏡カメラビュー内で可視である光又は音などがある。

[00128] 図１１は、別の代表的な実施形態による組織画像の動的更新方法が実装され得る一般的なコンピュータシステムを示す。

[00129] 図１１の一般的なコンピュータシステムは、通信デバイス又はコンピュータデバイスの構成要素の完全なセットを示している。しかしながら、本明細書で説明する「コントローラ」は、メモリとプロセッサの組み合わせによってなど、図１１の構成要素のセットよりも少ない構成要素で実装することもできる。コンピュータシステム１１００は、本明細書で説明するインタラクティブ内視鏡アノテーションシステムにおける１つ以上の構成要素装置の一部又はすべての要素を含む。しかしながら、このような装置のいずれも、コンピュータシステム１１００について説明する要素のうちの１つ以上を含まなくてもよく、また、説明されていない他の要素を含んでいてもよい。

[00130] コンピュータシステム１１００は、コンピュータシステム１１００に本明細書で開示する方法又はコンピュータベースの機能のうちの任意の１つ以上を実行させるために実行可能なソフトウェア命令のセットを含み得る。コンピュータシステム１１００は、スタンドアロンデバイスとして動作したり、例えば、ネットワーク１１０１を使用して他のコンピュータシステムや周辺デバイスに接続したりすることができる。実施形態では、コンピュータシステム１１００を使用して、実施形態について本明細書で説明したアナログ－デジタルコンバータ経由で受信したデジタル信号に基づいて論理処理を実行できる。

[00131] ネットワーク化された展開では、コンピュータシステム１１００は、サーバクライアントユーザネットワーク環境では、サーバ又はクライアントユーザコンピュータとして、或いは、ピアツーピア（又は分散）ネットワーク環境では、ピアコンピュータシステムとして動作し得る。また、コンピュータシステム１１００は、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、又は、マシンが行う行為を指定する一連のソフトウェア命令（シーケンシャルなど）を実行可能である任意の他のマシンなど、様々なデバイスとして実装又は組み込むこともできる。コンピュータシステム１１００は、追加のデバイスを含む統合システムにあるデバイスとして、又はそのデバイスに組み込むことができる。実施形態では、コンピュータシステム１１００は、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用して実装できる。さらに、コンピュータシステム１１００は単数形で説明されているが、「システム」という用語は、１つ以上のコンピュータ機能を実行するために、１つ以上のソフトウェア命令セットを個別に又は共同で実行するシステム又はサブシステムの集合を含むものとする。

[00132] 図１１に示すように、コンピュータシステム１１００は、プロセッサ１１１０を含む。コンピュータシステム１１００のプロセッサは、有形、且つ非一時的である。本明細書で使用される場合、「非一時的」という用語は、状態の永遠の特性ではなく、一定期間持続する状態の特性として解釈される。「非一時的」という用語は、特に、搬送波又は信号やいつでもどこでも一時的にしか存在しないような他の形式の特性など、一瞬の特性を否定する。プロセッサは、製造品及び／又は機械部品である。コンピュータシステム１１００のプロセッサは、本明細書における様々な実施形態において説明する機能を実行するように、ソフトウェア命令を実行する。コンピュータシステム１１００のプロセッサは、汎用プロセッサであっても、特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。コンピュータシステム１１００のプロセッサはまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、ステートマシン、又はプログラマブルロジックデバイスであってもよい。コンピュータシステム１１００のプロセッサはまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルゲートアレイ（ＰＧＡ）や、ディスクリートゲート及び／又はトランジスタロジックを含む別のタイプの回路などの論理回路であってもよい。コンピュータシステム１１００のプロセッサは、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、又はその両方であってもよい。さらに、本明細書で説明するプロセッサはいずれも、複数のプロセッサ、パラレルプロセッサ、又はその両方を含んでいてもよい。単一のデバイス又は複数のデバイスに、複数のプロセッサが含まれていても、結合されていてもよい。

[00133] 本明細書で使用される「プロセッサ」には、プログラム又はマシン実行可能命令を実行できる電子構成要素が包含されている。「プロセッサ」を含むコンピューティングデバイスへの参照は、複数のプロセッサ又は処理コアを含む可能性があると解釈するべきである。例えば、プロセッサは、マルチコアプロセッサであってもよい。プロセッサはまた、単一のコンピュータシステム内のプロセッサの集合体、又は複数のコンピュータシステムに分散されたプロセッサの集合体を指すこともある。「コンピューティングデバイス」という用語もまた、１つ以上のプロセッサを各々含むコンピューティングデバイスの集合体又はネットワークを指す場合もあると解釈されるべきである。多くのプログラムは、同じコンピューティングデバイス内にあるか、又は複数のコンピュータデバイス間に分散される複数のプロセッサによって実行されるソフトウェア命令を有する。

[00134] さらに、コンピュータシステム１１００は、メインメモリ１１２０とスタティックメモリ１１３０とを含み得る。コンピュータシステム１１００のメモリは、バス１１０８を介して、互いに通信し得る。本明細書で説明するメモリは、データ及び実行可能なソフトウェア命令を保存可能な有形の記憶媒体であり、ソフトウェア命令がそこに保存されている間は非一時的である。本明細書で使用される場合、「非一時的」という用語は、状態の永遠の特性ではなく、一定期間持続する状態の特性として解釈される。「非一時的」という用語は、特に、搬送波又は信号やいつでもどこでも一時的にしか存在しないような他の形式の特性など、一瞬の特性を否定する。本明細書で説明するメモリは、製造品及び／又は機械部品である。本明細書で説明するメモリは、そこからコンピュータがデータ及び実行可能なソフトウェア命令を読み取ることができる、コンピュータ可読媒体である。本明細書で説明するようなメモリは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、又は当技術分野で知られている任意の他の形式の記憶媒体であり得る。メモリは、揮発性又は不揮発性、セキュア及び／又は暗号化、非セキュア及び／又は非暗号化であってもよい。

[00135] メモリは、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサから直接アクセス可能である任意のメモリを含み得る。コンピュータメモリの例としては、ＲＡＭメモリ、レジスタ、及びレジスタファイルが挙げられるが、これらに限定されない。「コンピュータメモリ」又は「メモリ」への参照は、複数のメモリである場合もあると解釈されるべきである。例えば、メモリは、同じコンピュータシステム内の複数のメモリである場合がある。また、メモリは、複数のコンピュータシステム又はコンピュータデバイス間で分散される複数のメモリである場合もある。

[00136] 図示するように、コンピュータシステム１１００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット１１５０をさらに含み得る。さらに、コンピュータシステム１１００は、キーボード／仮想キーボード、タッチ式入力画面、音声認識機能付き音声入力などの入力デバイス１１６０と、マウスやタッチ式入力画面又はパッドなどのカーソル制御デバイス１１７０とを含み得る。また、コンピュータシステム１１００は、ディスクドライブユニット１１８０、スピーカやリモコンなどの信号生成デバイス１１９０、及びネットワークインターフェースデバイス１１４０を含んでいてもよい。

[00137] 実施形態では、図１１に示すように、ディスクドライブユニット１１８０は、コンピュータ可読媒体１１８２を含み得、この媒体に、ソフトウェア命令１１８４（例えばソフトウェア）の１つ以上のセットが埋め込まれていてもよい。ソフトウェア命令１１８４のセットは、コンピュータ可読媒体１１８２から読み込まれることができる。さらに、ソフトウェア命令１１８４は、プロセッサによって実行されると、本明細書で説明する方法及びプロセスのうちの１つ以上を実行するために使用できる。実施形態では、ソフトウェア命令１１８４は、コンピュータシステム１１００による実行中に、メインメモリ１１２０、スタティックメモリ１１３０、及び／又はプロセッサ１１１０内に完全に又は少なくとも部分的に存在していてもよい。

[00138] 実施代替形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ、及び他のハードウェア構成要素などの専用ハードウェア実装態様は、本明細書で説明する方法のうちの１つ以上を実装するように構築され得る。本明細書で説明する１つ以上の実施形態は、モジュール間で通信可能な関連制御信号及びデータ信号とともに、２つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを使用して機能を実装できる。したがって、本開示には、ソフトウェア、ファームウェア、及びハードウェアの実装態様が包含されている。本出願において、有形の非一時的なプロセッサ及び／又はメモリなどのハードウェアではなく、ソフトウェアのみを使用して実装される、又は実装可能であると解釈されるものは何もない。

[00139] 本開示の様々な実施形態に従って、本明細書で説明する方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施できる。さらに、非限定的な模範実施形態では、分散処理、構成要素／オブジェクト分散処理、及び並列処理などの実装が可能である。仮想コンピュータシステム処理を構築して、本明細書で説明する方法又は機能のうちの１つ以上を実装できる。また、本明細書で説明するプロセッサを使用して、仮想処理環境をサポートすることもできる。

[00140] 本開示は、ソフトウェア命令１１８４を含むか、又は、伝播信号に応答してソフトウェア命令１１８４を受信して実行することにより、ネットワーク１１０１に接続されたデバイスがネットワーク１１０１を介して音声、ビデオ、又はデータを通信できるようにするコンピュータ可読媒体１１８２を企図している。さらに、ソフトウェア命令１１８４は、ネットワークインターフェースデバイス１１４０を介してネットワーク１１０１経由で送受信できる。

[00141] したがって、組織画像の動的更新により、最初に生成されたときから基礎となる主題がどのように変化したかを反映するように、更新された術前画像を表すことができる。このようにすると、インターベンション医療処置に携わる外科医などの臨床医は、インターベンション医療処置中に、混乱や再構築の必要性が抑えられるように解剖学的構造を確認することができ、これにより、医療インターベンションのアウトカムが向上される。

[00142] 組織画像の動的更新について、いくつかの模範的実施形態を参照して説明したが、これまで使用した言葉は、限定の言葉ではなく、説明及び例示の言葉であることが理解される。組織画像の動的更新の範囲及び趣旨から逸脱することなく、現在提示されている及び補正されている添付の特許請求の範囲内で、その態様において、変更を行ってもよい。組織画像の動的更新について、特定の手段、材料、及び実施形態を参照して説明したが、組織画像の動的更新は、開示された詳細に限定されることを意図したものではない。むしろ、組織画像の動的更新は、添付の特許請求の範囲にあるようなすべての機能的に同等の構造、方法、及び使用にまで拡張する。

[00143] 例えば、組織画像の動的更新について、肺外科手術のコンテキストで主に説明したが、組織画像の動的更新は、変形性組織を追跡する任意の外科手術に適用できる。組織画像の動的更新は、変形性組織又は臓器を含むあらゆる処置で利用できる。これには、肺外科手術、乳房外科手術、結腸直腸外科手術、皮膚追跡、又は整形外科などの応用が含まれる。

[00144] 本明細書では、特定の規格及びプロトコルを参照して、特定の実施形態で実装され得る構成要素及び機能について説明しているが、本開示は、そのような規格及びプロトコルに限定されない。例えば、ブルートゥース（登録商標）などの規格は、最先端の例を表すものである。このような規格は、基本的に同じ機能を有するより効率的な同等物に定期的に取って代わられる。したがって、同じ又は類似する機能を有する代用規格及びプロトコルは、同等のものと見なされる。

[00145] 本明細書で説明する実施形態の説明図は、様々な実施形態の構造の一般的な理解を提供することを目的としている。説明図は、本明細書で説明する開示のすべての要素及び特徴を完全に説明するものではない。他の多くの実施形態は、本開示を検討した際に、当業者には明らかであろう。本開示の範囲から逸脱することなく、構造的及び論理的な置換や変更を行うことができるなど、他の実施形態を本開示から利用し、派生させることができる。さらに、説明図は、代表的に過ぎず、縮尺どおりではない場合がある。説明図中の特定の割合は誇張されている場合があり、他の割合は最小化されている場合がある。したがって、本開示及び図は、制限的ではなく、例示的なものとみなされるべきである。

[00146] 本開示の１つ以上の実施形態は、「発明」という用語によって、便宜上のためだけに、かつ本出願の範囲を自発的に特定の発明又は発明概念に限定することを意図せずに、個別に及び／又は集合的に本明細書で参照され得る。また、本明細書には、特定の実施形態が例示及び説明されているが、同じ又は類似の目的を達成するように設計された後続の配置を、示されている特定の実施形態と置き換えることができることを理解すべきである。本開示は、様々な実施形態の任意のかつあらゆるその後の適応又は変化を対象とすることを意図している。上記の実施形態と、本明細書には具体的には説明されていない他の実施形態との組み合わせは、説明を検討した際に、当業者には明らかであろう。

[00147] 本開示の要約書は、３７Ｃ．Ｆ．Ｒ§１．７２（ｂ）に準拠するために提供されており、また、特許請求の範囲又は意味を解釈又は限定するために使用されないという理解の下に提出されている。また、上記の「発明を実施するための形態」では、本開示の合理化を目的として、様々な特徴を単一の実施形態にまとめたり、説明している可能性がある。本開示は、請求項に係る実施形態が各請求項で明示的に記載されているものよりも多くの特徴を必要とするという意図を反映しているとして解釈されるものではない。むしろ、以下の特許請求の範囲が示すように、発明の主題は、開示された実施形態のいずれかのすべての特徴よりも少ないものを対象とする可能性がある。したがって、以下の特許請求の範囲は、「発明を実施するための形態」に組み込まれ、各請求項は、請求項に係る個別の主題を定義するものとして自立している。

[00148] 開示された実施形態の前述の説明は、当業者であれば誰でも、本開示で説明する概念を実践できるようにするために提供されている。したがって、上記の開示された主題は、制限的ではなく、例示的とみなされる。また、添付の特許請求の範囲は、本開示の真の趣旨及び範囲に該当する、すべてのそのような修正、増強、及び他の実施を対象とすることを目的としている。したがって、法律で認められる最大限の範囲において、本開示の範囲は、以下の特許請求の範囲及びその同等物の許容される最も広範な解釈によって決定されるものとし、前述の詳細な説明によって制限又は限定されるものではない。

Claims (20)

1. インターベンション医療処置中に組織の画像を動的に更新するためのコントローラであって、
   命令を保存するメモリと、
   前記命令を実行するプロセッサと、
   含み、
   前記命令は、前記プロセッサによって実行されると、前記コントローラに、
   第１のモダリティで前記組織の術前画像を取得し、
   前記第１のモダリティでの前記組織の前記術前画像を、前記インターベンション医療処置のために前記組織に付着されたセンサのセットと位置合わせし、
   前記センサのセットから、前記センサのセットの位置についての電子信号のセットを受信し、
   前記電子信号のセットのうちの各セットについて、前記センサのセットの前記位置の幾何学的配置を計算し、
   前記センサのセットからの前記電子信号のセット間の、前記センサのセットの前記位置の前記幾何学的配置の変化に基づいて、前記センサのセットの移動を計算し、
   前記センサのセットの前記移動に基づいて、前記組織内の変化を反映するために、前記術前画像を更新画像に更新することを含む、
   プロセスを実装させる、コントローラ。
2. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記電子信号のセットのうちの各セットに第１のアルゴリズムを適用して、前記センサのセットの前記移動を計算することを含み、前記センサのセットから受信した前記電子信号のセットは、リアルタイムで送られる前記センサのセットの位置の位置ベクトルを含み、前記センサのセットの各々は、ジャイロスコープ又は加速度計のうちの少なくとも１つが含まれている慣性センサを含む、請求項１に記載のコントローラ。
3. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記術前画像に第２のアルゴリズムを適用して、前記センサのセットの前記移動に基づいて、前記組織内の前記変化を反映するために、前記術前画像を前記更新画像に更新することを含む、請求項２に記載のコントローラ。
4. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記第１のモダリティでの前記術前画像を、第２のモダリティでの前記組織の画像と位置合わせすることを含む、請求項１に記載のコントローラ。
5. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記組織の画像の分析に基づいて、前記センサのセットのうちの少なくとも１つのセンサの配置を最適化することを含む、請求項１に記載のコントローラ。
6. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記センサのセットを含むカメラ画像に基づいて、前記センサのセットのうちの各センサの初期位置を算出し、
   前記カメラ画像を、前記センサのセットに対して位置合わせすることを含む、請求項１に記載のコントローラ。
7. 前記センサのセットからの電子信号のセット間の、前記センサのセットの前記幾何学的配置の変化に基づいて、前記センサのセットの前記移動が計算される前に、前記第１のモダリティでの前記組織の前記術前画像が、前記センサのセットと位置合わせされる、請求項１に記載のコントローラ。
8. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記組織の前記術前画像又は前記組織の前記更新画像のうちの少なくとも１つに関して、前記センサのセットの前記幾何学的配置に基づいて前記組織の３次元モデルを生成し、
   前記センサのセットからの前記電子信号の複数のセットのうちの各々に基づいて、前記組織の前記３次元モデルを更新し、
   前記術前画像を更新することで、前記組織の現在の状態を反映する、前記術前画像の更新された仮想レンダリングを作成することを含む、請求項１に記載のコントローラ。
9. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
   前記センサのセットから前記電子信号のセットを受信する前に、前記センサのセットのうちの各センサの３つの軸の各々からの位置情報を記録することを含む、請求項１に記載のコントローラ。
10. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
    前記移動における振動性の動きの周波数に基づいて、前記インターベンション医療処置中のアクティビティを特定することを含む、請求項１に記載のコントローラ。
11. インターベンション医療処置中に組織の画像を動的に更新する装置であって、
    命令、及び、第１のモダリティで取得した前記組織の術前画像を保存するメモリと、
    前記命令を実行して、前記第１のモダリティでの前記組織の前記術前画像を、前記インターベンション医療処置のために前記組織に付着されたセンサのセットと位置合わせするプロセッサと、
    入力インターフェースと、
    を含み、
    前記入力インターフェースを介して、前記センサのセットから、前記センサのセットの位置についての電子信号のセットが受信され、
    前記プロセッサは、前記電子信号のセットのうちの各セットについて、前記センサのセットの前記位置の幾何学的配置を計算し、且つ、前記センサのセットからの前記電子信号のセット間の、前記センサのセットの前記位置の前記幾何学的配置の変化に基づいて、前記センサのセットの移動を計算し、
    前記装置は、前記術前画像を、前記センサのセットの前記移動に基づいて、前記組織内の変化を反映する更新画像に更新し、且つ、前記センサのセットからの電子信号の各セットについて、前記更新画像を表示するためにディスプレイを制御する、装置。
12. 前記移動が所定の閾値を超えたとの決定に基づいて、触覚フィードバックを提供するフィードバックインターフェースをさらに含む、請求項１１に記載の装置。
13. インターベンション医療処置中に組織の画像を動的に更新するためのシステムであって、前記システムは、
    組織に付着されたセンサであって、前記センサに給電する電源、前記センサの移動を感知する慣性電子構成要素、及び前記センサの前記移動を示す電子信号を送信する送信器を含む、センサと、
    命令を保存するメモリ、及び前記命令を実行するプロセッサを含むコントローラと、
    を含み、
    前記コントローラは、前記プロセッサによって実行されると、
    第１のモダリティで前記組織の術前画像を取得し、
    前記第１のモダリティでの前記組織の前記術前画像を前記センサと位置合わせし、
    前記センサから、前記センサによって感知された移動のついての電子信号を受信し、
    前記電子信号に基づいて、前記センサの幾何学的配置を計算し、
    前記幾何学的配置に基づいて、前記組織の変化を反映するために、前記術画像を更新することを含む、
    プロセスを実装する、システム。
14. 前記センサはさらに、
    前記電源、前記慣性電子構成要素、及び前記送信器を囲む滅菌保護ケースと、
    前記組織に付着するための生体適合性の接着剤と、
    を含む、請求項１３に記載のシステム。
15. 前記電源は、前記インターベンション医療処置中に受け取る光又は音によってエネルギー付与される、請求項１３に記載のシステム。
16. 前記センサは、前記組織内にある、請求項１３に記載のシステム。
17. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
    前記電子信号に第１のアルゴリズムを適用して、前記センサの前記移動を計算することを含み、前記センサから受信した前記電子信号は、リアルタイムで送られる前記センサの位置の位置ベクトルを含み、前記センサは、ジャイロスコープ又は加速度計のうちの少なくとも１つが含まれている慣性センサを含む、請求項１３に記載のシステム。
18. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
    前記術前画像に第２のアルゴリズムを適用して、前記センサの前記移動に基づいて、前記組織内の変化を反映するために、前記術前画像を前記更新画像に更新することを含む、請求項１７に記載のシステム。
19. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
    前記第１のモダリティでの前記術前画像を、第２のモダリティでの前記組織の画像と位置合わせすることを含む、請求項１３に記載のシステム。
20. 前記プロセッサが前記命令を実行すると実装される前記プロセスはさらに、
    前記組織の画像の分析に基づいて、前記センサの配置を最適化することを含む、請求項１３に記載のシステム。

Images