JP2020518937A - 予測融合システムと方法 - Google Patents

Abstract

異なるモダリティの画像間の予測アライメントおよび当該アライメントの同期を提供する画像融合システム。空間トラッカーは、環境内の撮像装置の位置と方向を検出および追跡する。撮像装置の所望位置および方向に関して、以前に取得された画像データに基づき、解剖学的特徴の予測姿勢を判断する。撮像装置が所望位置および方向に移動されると、画像データ内の解剖学的特徴の姿勢と、撮像装置によって撮像された解剖学的特徴の姿勢との間の関係が確立される。処理中に撮像装置が様々な位置に移動されても、空間トラッカーにより提供されるトラッキング情報に基づいて上記関係が維持される。

Description

（関連出願の相互参照）
本願は、２０１７年５月４日に出願された米国仮出願第６２／５０１，３２９号の優先権を主張する。当該出願の全体が参照により本明細書に組み込まれる。

本願は、一般に、画像の登録および融合に関するものであり、より詳細には、撮像装置の空間トラッキングを介して画像の登録および融合を容易にするためのシステムおよび方法に関するものである。

画像融合は、一般に、異なる画像からの情報を単一の合成画像に結合することに関する。医用画像では、例えば、融合は、合成画像を生成するために、何らかの方法で、異なる画像を登録し、結合することを含むことができる。合成画像は、画像品質を改善したり、診断、治療の計画と評価、病状の進行のトラッキングなどのために画像の使いやすさを向上させたりできる。医用画像では、融合された２つ以上の画像は、同一の画像モダリティまたは異なる画像モダリティとすることができる。同一のモダリティにおける複数の画像を融合して、病状の進行または治療の有効性を確認することができる。異なるモダリティの画像は、別のモダリティの利益または利便性を活用するために組み合わせることができる。

例えば、磁気共鳴画像法（ＭＲＩ）は、良好な組織コントラストを提供する。したがって、ＭＲＩは、比較的容易に正常な組織と病変またはその他の異常とを区別することができる。即ち、ＭＲＩは検出と計画作成に良好に機能する。画像ガイド法の場合、撮像装置のコストと非携行性のためにＭＲＩが不便になることがある。例えば、前立腺の生検をとる場合は、携行性があり、高い空間解像度を提供できる超音波によって行われることが多い。しかしながら、ＭＲＩと比較して、超音波の組織識別性は低い。したがって、ＭＲＩと超音波との融合により、それぞれのモダリティからの情報を結合して、画像ガイド法の実行を改善することができる。

ここで、以下の詳細な説明および付属図面における例示的で非限定的な実施形態の様々な態様の基本的または一般的な理解を可能にするために、簡単に概要を説明する。但し、この概要は、広範囲または網羅的な概要としては意図されていない。本概要の目的は、以下の様々な実施形態のより詳細な説明の前提として、いくつかの例示的で非限定的な実施形態に関連するいくつかの概念を簡潔に提示することにある。

種々の非限定的実施形態では、画像を取得すると、異なるモダリティの画像間の予測アライメントと当該アライメントの同期とを提供する。空間トラッカーは、環境内における撮像装置の位置および方向を検出、追跡する。例えば、本撮像装置は、手続き間撮像（intra-procedural imaging）に適した装置である。撮像装置に対する異なるモダリティの画像データに基づき、撮像装置の所望の位置および方向に対する解剖的特徴の予測姿勢を判断できる。撮像装置が所望位置および方向に移動されると、画像データ内の解剖学的特徴の姿勢と撮像装置によって撮像された当該解剖学的特徴の姿勢との関係が確立される。処理中に撮像装置が様々な位置に移動させられても、空間トラッカーにより提供されるトラッキング情報に基づき、当該関係が維持される。

これらおよび他の実施形態は、以下でより詳細に説明される。

種々の非限定的実施形態について、以下の図面を参照してさらに説明する。
図１は、一以上の態様における画像融合システムの例示的な非限定的実施形態のブロック図である。 図２は、図１の画像融合システムに関連する演算装置の例示的な非限定的実施形態の概略ブロック図である。 図３は、一以上の態様による医用画像融合のための例示的な非限定的実施形態の概略ブロック図である。 図４は、少なくとも２つの画像モダリティ間の融合を予測するための例示的な非限定的方法のフロー図である。 図５は、ライブ画像と以前に取得された画像との間の融合を生成するための例示的な非限定的方法のフロー図である。 図６は、撮像装置の所望の位置および方向に対する解剖学的特徴の予測された姿勢を示すためにオーバレイされた輪郭を有する例示的な画像である。 図７は、オペレータが画像化された解剖学的特塗油とオーバレイされた輪郭とが並ぶように撮像装置を配置した後に、撮像装置によって撮影された画像の例である。 図８は、オーバレイされた輪郭線が撮像装置の動きに応じて更新された後に、当該撮像装置の動きに続けて撮影された画像の例である。 図９は、本明細書に記載される様々な実施形態の１つ以上の側面を実現することができる、例示的で非限定的な計算システムまたはオペレーティング環境を表すブロック図である。

背景で説明したように、医用画像融合は、異なる画像モダリティの強みを利用し、広範囲の応用性を有する結合情報を生成することができる。例えば、前立腺のＭＲＩおよび超音波画像の融合は、解剖学的特徴を正確に同定することにより、効果的な手続き間画像（intra-procedural images）を提供することができる。しかしながら、多くの要因のために、ＭＲＩ画像および手続き間超音波画像（intra-procedural ultrasound images）における前立腺のそれぞれの向きは、顕著に変化する可能性がある。これらの顕著な違いは、２つのモダリティ間の計算上の困難性かつ不完全な登録をもたらす。

種々の非限定的な実施形態では、画像融合のためのシステムおよび関連する方法が提供される。空間トラッキングされた撮像装置によって提供されるライブ画像に基づいて、撮像装置が解剖学的特徴に対して所望の位置および方向に整列しているかどうかを判断することができる。特に、所望の位置および方向は、以前に取得された画像データに関連付けられた特徴情報に基づいて指定することができる。当該画像データは、ライブ画像とは異なるモダリティであってもよい。特徴情報は、以前に取得された画像データの中の解剖学的特徴の位置と方向を特定する。この画像データおよび特徴情報は、所望の位置および方向における撮像装置の観点から見た特徴の姿勢を示すように変換することができる。

所望の位置および方向にアライメントされると、ライブ画像と以前に取得された画像データとの間の関係を確立することができる。ロックされると、空間トラッカーからのトラッキング情報により、以前に取得された画像データの処理を把握することができる。具体的には、画像データおよび／または特徴情報は、アライメントを維持するために、撮像装置の移動に応じて変換される。例えば、現在の空間位置と基準空間位置（すなわち、所望の位置と方向）との間の空間変換は、少なくとも部分的に、トラッキング情報に基づいて決定され得る。空間変換に基づき、その後、以前に取得された画像および／または特徴情報に対応する変換処理を適用することができる。

ある実施形態では、コンピュータで実行可能な命令を記憶するメモリに接続されたプロセッサを備えるシステムが提供される。プロセッサによって実行されると、命令は、プロセッサにより、第１モダリティの第１画像内の特徴の姿勢を示す特徴情報を取得し、第２モダリティの画像を生成する手持ち式撮像装置の位置および方向を識別するように構成された空間トラッカーから、少なくとも３自由度のトラッキング情報を取得し、撮像装置の姿勢が、特徴情報またはトラッキング情報の少なくとも１つに基づいて、特徴の基準姿勢と一致する姿勢を有する特徴の第２画像を生成するのに適した所定の姿勢と一致するときを決定する。ある実施例によれば、特徴情報は、撮像装置の所定方向に対する第１画像内の特徴の方向を特定する。例えば、特徴情報は、第１画像の特徴の輪郭を含むことができる。

プロセッサは、さらに、撮像装置の動きに応答して、少なくとも１つのトラッキング情報または特徴情報に基づき、撮像装置によって生成された第２画像における特徴の姿勢指標を更新することができる。プロセッサは、空間における撮像装置の姿勢と撮像装置の撮像面の姿勢との間の関係を取得し、当該関係に基づいて、第２画像における特徴の姿勢の指標を更新することができる。さらに、撮像装置の現在の姿勢と撮像装置の基準姿勢との間の空間的関係も、例えば、トラッキング情報に基づいて決定される。撮像装置の基準姿勢は、例えば、上述した所定の姿勢に対応することができる。特徴の姿勢の指標を更新するために、プロセッサは、仮想撮像面に沿って第１画像を再分割することができる。プロセッサは、トラッキング情報に基づいて仮想撮像面を決定することができる。さらに、プロセッサは、仮想撮像面に対応する第１画像の画像データを補間することができる。さらに別の例では、プロセッサは、第１画像と第２画像との間の変換を識別し、当該変換を特徴情報に適用することができる。

さらに、プロセッサは、撮像装置から取得されたライブ画像を表示することができる。プロセッサは、特徴情報に基づいて、ライブ画像上にオーバレイを表示することもできる。さらに、プロセッサは、撮像装置によって取得されたように、第２画像における特徴の姿勢の指標に基づいて、オーバレイを更新することができる。

他の態様によれば、方法が記載される。この方法は、撮像装置から第１モダリティのライブ画像を取得するステップを含む。さらに、この方法は、撮像装置の位置および方向を示す空間トラッカーからトラッキング情報を取得することを含むことができる。さらに、この方法は、撮像装置が、ライブ画像の特徴に対して所望の姿勢にあるかどうかを判断することによって、撮像装置の姿勢と、第２のモダリティの第２画像の特徴の姿勢との関係を確立することを含み得る。ここで、撮像装置が所望の姿勢にあるかどうかの判断は、第２画像の特徴の姿勢を示すトラッキング情報または特徴情報の少なくとも１つに基づいてされる。

一例によれば、本方法は、トラッキング情報または確立された関係の少なくとも１つに基づいて、撮像装置の動きに応答して、ライブ画像内の特徴の指標を更新することを含むことができる。特徴の指標は、最初に、特徴に対する撮像装置の所望の姿勢に関して、第２画像における特徴の姿勢を示す特徴情報に基づき生成することができる。例えば、特徴情報は輪郭とすることができる。特徴の指標を更新することは、仮想撮像面に沿って第２画像を再分割することを含み、ここで、仮想撮像面は、トラッキング情報に基づいて決定される。画像の再分割は、仮想撮像面に対応する第２画像の画像データを補間することを含むことができる。別の例では、特徴の指標を更新することは、撮像装置の所望の姿勢と、トラッキング情報によって提供される撮像装置の位置および方向との間の変換を決定することと、特徴の指標に変換を適用することとを含むことができる。

さらに別の実施形態では、コンピュータ読取可能記憶媒体が記載される。コンピュータ読取可能記憶媒体は、プロセッサによって実行されると、プロセッサを構成するコンピュータで実行可能な命令を記憶する。プロセッサは、第１モダリティの第１画像の特徴を指標する特徴情報と、第２モダリティの画像を生成するように構成された撮像装置の所望の姿勢に対する第１画像の特徴の姿勢とを取得し、少なくとも３自由度の空間における撮像装置の位置と方向を追跡する空間トラッカーからトラッキング情報を取得し、撮像装置によって生成されたライブ画像、特徴情報、またはトラッキング情報の少なくとも１つに基づいて、撮像装置がいつ所望の姿勢にアライメントされたかを判断する。

一例では、コンピュータ読取可能記憶媒体に記憶されたコンピュータで実行可能な命令は、トラッキング情報または特徴情報の少なくとも１つに基づいて、ライブ画像内の特徴の指標を更新するようにプロセッサをさらに構成する。例えば、媒体は、トラッキング情報に基づいて決定された仮想撮像面に沿って第１画像を再分割するようにプロセッサを構成し、仮想撮像面に沿って特徴情報を補間して、ライブ画像内の特徴の姿勢の更新された指標を生成する命令を含むことができる。別の例では、コンピュータ読取可能記憶媒体に記憶されたコンピュータで実行可能な命令は、更に、所望の姿勢と、トラッキング情報によって提供される撮像装置の位置と方向との間の変換を決定するようにプロセッサを構成し、そして、当該変換を特徴情報に適用して、ライブ画像における特徴の姿勢の指標を更新する。加えて、媒体は、ライブ画像中の特徴の姿勢の初期指標を表示するようにプロセッサを構成する命令を格納する。初期指標は特徴情報に基づいて生成され、撮像装置を所望の姿勢にアライメントさせるためのガイドを提供する。

予測的融合のいくつかの実施形態の概要を、上に示した。次に、ロードマップとして、予測画像融合をより詳細に記述する。その後、上記のような実施形態および／または特徴を実施することができる例示的なコンピュータ装置およびコンピュータ環境について説明する。上述の特徴および実施形態は、図面を参照して説明され、ここで、同様の参照符号は、全体を通して同様の要素を参照するために使用される。

（予測画像登録と融合）
上述したように、種々の実施形態では、異なるモダリティの画像の融合を決定することができ、画像間のアライメントは、ライブ画像を提供し、空間内で自由に動くことが可能な撮像装置によって固定することができる。

図１は、画像融合システム１００の例示的な非限定的実施形態を示すブロック図を示す。図示されるように、画像融合システム１００は、計算装置１１０、撮像装置１２０、および空間トラッカー１３０を含むことができる。計算装置は、プロセッサと、種々のコンピュータ読取可能記憶媒体（例えば、揮発性および不揮発性）とを含むことができる。コンピュータ読取可能記憶媒体は、本明細書に記載される融合エンジン１１２のような機能モジュールの少なくとも一部を実施するコンピュータで実行可能な命令を記憶することができる。コンピュータで実行可能な命令がプロセッサによって実行されると、画像融合システム１００は、本明細書に記載される処理を実行する。

計算装置１１０は、さらに、融合エンジン１１２の一部を実現するために、様々なハードウェア装置（図示せず）を含むことができる。例えば、計算装置１１０は、グラフィックス処理ユニット（ＧＰＵ）、専用メモリ、および／またはグラフィックス装置をディスプレイに接続するハードウェアインターフェースを有するグラフィックス装置を含むことができる。さらに、計算装置１１０は、撮像装置１２０および空間トラッカー１３０のような画像融合システム１００の様々な装置に計算装置１１０を接続するために、物理的なハードウェアポートおよび／または無線インターフェース（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＵＳＢなど）を含むことができる。

図示のように、撮像装置１２０は、撮像プローブ１２２および画像プロセッサ１２４を含むことができる。一態様では、撮像装置１２０は、超音波撮像装置のような手続き間撮像に適した、比較的安価で携帯可能な装置であり得る。但し、本明細書に記載され、主張される特徴および態様は、超音波での適用に限定されず、他の撮像モダリティと共に使用するために容易に適合され得ることが理解されるべきである。

超音波の例では、撮像プローブ１２２は、超音波パルスを発し、エコーを受信するように構成された１つ以上のトランスデューサアレイを含むことができる。エコーは電気信号に変換され、超音波画像を生成するために画像プロセッサ１２４に供給される。画像プロセッサ１２４は、計算装置１１０とは別に示されているが、エコー信号の処理は、計算装置１１０によって行うことができる。例えば、別個のソフトウェアアプリケーションまたは融合エンジン１１２のモジュールは、撮像プローブ１２２からの信号を処理することができる。さらに、撮像装置１２０は、撮像プローブ１２２と画像プロセッサ１２４の両方を含むものとして示されているが、ここで用いる「撮像装置」という用語は、画像を生成するために集合的に補間するすべての構成要素、または文脈に応じて、トランスデューサアレイ（すなわち、プローブ）を収容する部分を指すことができる。例えば、空間トラッキングに関連して記述される場合、「撮像装置」という用語は、最終的に撮像されるものを指図または標的にするために操作することができる全体的な撮像装置を意味すると理解されるべきである。

一態様では、センサ１３２は、撮像プローブ１２２に接続されてもよいし、撮像プローブ１２２と一体化されてもよい。センサ１３２は空間トラッカー１３０と協働して、空間における撮像プローブ１２２の位置および方向を示すトラッキング情報を生成する。一例によれば、空間トラッカー１３０は、３次元の基準座標系を確立するＥＭ場を生成するＥＭ源を含む電磁（ＥＭ）トラッキングシステムであってもよい。この例によれば、センサ１３２は、直角に整列された誘導コイルまたは他の装置を含み、受信したＥＭ場の強度を示す信号を生成することができる。これらの信号は、ＥＭ源によって確立された３次元の基準座標系におけるセンサ１３２の位置および方向の判断を可能にする。信号は、処理および位置の判断のために、有線または無線接続を介して計算装置１１０に送信することができる。例えば、ＥＭトラッキングシステムでは、信号は、典型的には、センサ１３２によって通信される。しかしながら、代わりに、信号を空間トラッカー１３０によって受信し、その後、前処理または生データとして計算装置１１０に転送してもよい。さらに、上記の例はＥＭベースの位置決めシステムを意図しているが、他のトラッカーを利用することもできる。例えば、空間トラッカー１３０は、加速度計／ジャイロ計ベースのトラッカー、赤外線トラッカー、光学トラッカー、音響トラッカー、レーザートラッカー、ＲＦベースのトラッカー、または、限定されるものではないが、機械的空間トラッキング（例えば、プローブステッパーまたはガントリー）のような基準座標系内のセンサの位置および方向を識別可能な、実質的に任意の他のタイプの空間トラッキング・位置決めシステムであってもよい。

さらなる態様において、センサ１３２は、撮像プローブ１２２に接続またはこれと統合され、プローブ１２２の撮像面に対するセンサ１３２の位置の既知の関係を確立する。したがって、この関係に基づいて、空間トラッカー１３０によって提供される基準空間フレーム内の撮像面（および生成された画像）の位置および方向も既知となる。センサ１３２の位置と撮像面との間の関係は、関係を測定することによって（すなわち、プローブ製造業者によって明示的に設計され）、またはキャリブレーションによって決定することができる。例として、空間基準フレーム内のセンサ１３２の位置と撮像面との間の既知の関係をキャリブレーションまたは確立する技術は、制御オブジェクトの撮像を含む。例えば、オブジェクト（例えば、いくつかのスレッドの交点）を、様々な位置および／または方向から、水の入ったバケツに画像化することができる。その後、空間変換が決定され、オブジェクトとして識別された画像内の画素と空間基準フレーム内のセンサの位置との関係が解決される。例えば、空間変換は、幾つかの未知の変数（空間における平行移動と回転）と複数のオブジェクトの画像を含む線形方程式の解とすることができる。線形方程式は、取得された画像の数が未知の数よりも大きくなるように、過剰に決定（overdetermined）され得る。なお、上記の技術は単なる例示的なものであり、他のキャリブレーション技術も利用できる。

融合エンジン１１２は、この関係を利用して、撮像装置１２０によって生成された画像と画像データ１４０との間の融合を容易にする。当該画像データは、例えば、以前に取得された異なるモダリティの画像データを含み得る。例として、前立腺の画像ガイド生検について検討する。画像データ１４０は、撮像装置１２０によって生成されたものとは異なるモダリティでの前立腺の撮像を含み得る。画像データ１４０のモダリティはより良い組織識別能力を有し、その結果、前立腺が容易に識別され、前立腺の正常な組織と異常な組織とを区別できる。

以前に取得した画像の前立腺の位置や姿勢、異常組織の位置や姿勢は、特徴情報によって特定することができる。一実施例では、特徴情報は、前立腺の輪郭と、異常組織を示す別の輪郭とを含むことができる。一般に、用語「特徴情報」は、医用画像内の特徴または物体の姿勢を特定する画像または他のデータに関する。本明細書で用いられるように、用語「姿勢」は、他のオブジェクトに対して定義することができる、所定の基準フレームにおけるオブジェクトの位置および方向を意味する。一例として、画像内の特徴の姿勢は、画像内または画像空間もしくは体積内に示されるような特徴の位置および方向に関する。撮像装置の姿勢は、識別された基準（例えば、特徴、トラッキングボリュームなど）に対する撮像装置の位置および方向に関係し、同じ識別された基準に対する撮像装置の撮像面の方向を参照することもできる。

画像データ１４０内で判断された特徴（例えば前立腺）の姿勢により、融合エンジン１１２は、当該特徴に対する撮像装置１２０の基準位置および方向（または姿勢）を判断することができる。基準位置は、例えば、基準姿勢における撮像装置の視点からの特徴のアウトラインとしてディスプレイ上に示され得る。より詳細には、基準姿勢の撮像装置が撮像面を規定する。画像データ１４０および／または特徴情報は、アウトラインを導出するために画像面に沿って再サンプリングされる。すなわち、撮像面と交差するボクセルデータまたは輪郭データが、特徴のアウトラインまたは他の指標を生成するために利用される。

撮像装置１２０は、計算装置１１０によって表示可能なライブ画像を生成することができる。融合エンジン１１２は、アライメントを容易にするために、ライブ画像上に特徴のアウトラインをオーバレイするように構成される。例えば、図６は、撮像装置１２０によって撮影され、上述したように、融合エンジン１１２によって生成されたアウトラインと共に表示される初期画像の例を示す。オペレータは、ライブ画像上で、特徴がアウトラインと一致するまで、撮像装置１２０を操作する。例えば、図７は、オペレータが撮像装置１２０を操作して、画像化された特徴をアウトラインとアライメントさせた後の例示的な画像を示す。

一旦、特徴が一致すると、融合エンジン１１２は、空間（すなわち、空間トラッカー１３０によって提供される基準フレーム）内の撮像装置１２０の姿勢と画像データ１４０内の特徴の姿勢との間の関係を確立することができる。融合エンジン１１２は、この関係を使用して、ライブ画像と画像データ１４０との間の融合を固定する。特に、融合エンジン１１２は、表示された特徴情報（例えば、アウトライン）とライブ画像における当該特徴の姿勢との間のアライメントを維持する。例えば、オペレータが撮像装置１２０を動かすと、画像データ１４０が処理、変換され、変化するライブ画像上に表示される特徴の更新アウトラインを提供する（すなわち、融合を更新する）。例えば、図８は、オペレータが撮像装置１２０を移動した（例えば傾けた）後に、撮像装置１２０によって撮影された例示的な画像を示す。図８において、特徴のアウトラインは、対応関係を維持するために撮像装置の動きに応じて更新される。

空間トラッカー１３０は、空間内の撮像装置１２０の姿勢を示すトラッキング情報を生成する。融合エンジン１１２は、トラッキング情報に基づいて、対応する撮像面の位置および方向を判断し、この撮像面に沿って画像データ１４０を再分割する。特徴情報（例えば、輪郭線）も、更新アウトラインを生成するために、撮像面に沿って再分割することができる。したがって、オペレータが撮像プローブ１２２を動かしてライブ画像が変化すると、融合エンジン１１２は、これに応じて画像データ１４０から得られた特徴情報を更新し、ライブ画像および画像データ１４０に基づく複合画像を提供する。

撮像装置１２０の移動の有無にかかわらず、患者が場所を移動する場合、撮像面と特徴との間の関係が変化することがある。したがって、関係（すなわち、初期アライメント）を更新する必要があり得る。別の態様では、計算装置１１０は、オペレータが関係を修正するためにアウトラインまたは輪郭を手動で調整することができる。あるいは、融合エンジン１１２は、関係を再び固定することができる。例えば、融合エンジン１１２は、新たな基準姿勢を決定し、撮像装置１２０によって撮像される特徴が新たな基準姿勢に対応するときを識別することができる。

図２は、図１の画像融合システム１００に関連する計算装置１１０の例示的な非限定的実施形態の概略ブロック図を示す。図２に示すように、計算装置１１０は、融合エンジン１１２を構成するコンピュータで実行可能な命令を実行するように構成された１つ以上のプロセッサ２０２を含む。このようなコンピュータで実行可能な命令は、記憶装置２０８のような非一時的でコンピュータ読取可能な記憶媒体を含む１つ以上のコンピュータ読取可能媒体に記憶される。例えば、記憶装置２０８は、融合エンジン１１２および／またはデータ２１２（例えば、画像データ、特徴情報、トラッキング情報、取得画像データ、構成情報、作業データなど）を永続的に記憶するための不揮発性記憶装置を含むことができる。記憶装置２０８はまた、プロセッサ２０２による実行中に、融合エンジン１１２および他のデータ２１２（またはその一部）を記憶する揮発性記憶装置を含むことができる。

計算装置１１０は、計算装置１１０を種々の遠隔システム（例えば、画像データ記憶装置、撮像装置等）に接続する通信インターフェース２０６を含む。通信インターフェース２０６は、有線または無線インターフェースとすることができ、ＷｉＦｉインターフェース、イーサネットインターフェース、光ファイバーインターフェース、携帯無線インターフェース、衛星インターフェースなどが含まれるが、これらに限定されない。また、計算装置２１０を、ディスプレイ、タッチスクリーン、キーボード、マウス、タッチパッド等の様々な入出力装置に接続するＩ／Ｏインターフェース２１０も設けられる。一例として、Ｉ／Ｏインターフェース２１０は、有線または無線インターフェース、例えば、ＵＳＢインターフェース、シリアルインターフェース、ＷｉＦｉインターフェース、短距離ＲＦインターフェース（Ｂｌｕｅｔｏｏｔｈ）、赤外線インターフェース、近距離通信インターフェース（ＮＦＣ）などを含むが、これらに限定されない。また、計算装置１１０を、有線または無線で、融合エンジン１１２によって利用される様々な周辺装置に接続する周辺インターフェース２０４も示されている。例えば、周辺インターフェース２０４は、計算装置１１０をセンサ１３２と接続させて信号を受信したり、撮像装置１２０と接続させてライブ画像を受信したり、撮像プローブ１２２と接続させて処理用の生信号を受信したり、および／または、空間トラッカー１３０と接続させてトラッキング情報を受信したりする。

次に図３を参照すると、例示的な非限定的な融合エンジン１１２のブロック図が示されている。図３に示すように、融合エンジン１１２は、コンピュータで実行可能な命令によって実行される種々の機能モジュールを含むことができる。モジュールは、初期化モジュール３０２、同期モジュール３０４、融合モジュール３０６、および表示モジュール３０８を含むことができる。

初期化モジュール３０２は、本明細書に開示される通り、医用画像融合を実行するように融合エンジン１１２を構成するためのユーザ入力３１４を受信する。例えば、初期化モジュール３０２は、ユーザ入力３１４に含まれる選択に基づいて、ローカルまたはリモートの記憶装置から画像データ３１６をロードする。初期化モジュール３０２はまた、撮像装置の基準姿勢を確立することもでき、これは、デフォルト姿勢であっても、ユーザ入力３１４内に提供される姿勢であってもよい。上述したように、基準姿勢は、本明細書中の１つ以上の態様にしたがって画像融合を達成するための、所望の姿勢であり、撮像装置の初期ターゲット姿勢でも良い。基準姿勢に基づいて、初期化モジュール３０２は、画像データ３１６および特徴情報３１８を処理して、表示ジュール３０８によってライブ画像データ３２２と接続される初期融合情報（例えば、ディスプレイデータなど）を生成し、ディスプレイ上に表示可能な合成画像３２４を生成することができる。

同期モジュール３０４は、撮像装置が基準姿勢とアライメントするときを判断し、空間内の撮像装置の姿勢と特徴情報３１８によって提供される画像３１６内の特徴の位置および方向との関係を固定する。同期モジュール３０４は、ユーザ入力３１４に基づいてアライメントを判断することができる。例えば、ライブ画像データ３２２と合成された初期融合情報が、ライブ画像内の特徴と画像データ３１６からの特徴との間のアライメントを視覚的に示す場合、オペレータは入力を提供することができる。あるいは、登録エンジンまたは他の画像処理モジュールは、合成画像３２４、画像データ３１６、特徴情報３１８、および／またはライブ画像データ３２２を評価して、アライメントを計算的に判断することができる。

関係が確立されると、融合モジュール３０６はアライメントを維持する。例えば、融合モジュール３０６は、空間トラッカーからのトラッキング情報３２０に基づいて撮像装置の姿勢を判断する姿勢判断モジュール３１０を含む。変換モジュール３１２は、画像データ３１６および／または特徴情報３１８を処理して、合成画像３２４を生成するために、ライブ画像データ３２２と接続される融合情報を更新する。上述したように、変換モジュール３１２は、トラッキング情報３２０によって特定された姿勢における撮像装置の撮像面に対応する仮想画像面にしたがって、画像データ３１６および／または特徴情報３１８を再分割することができる。別の例では、トラッキング情報３２０に基づいて変換を決定することができ、決定された変換を、ライブ画像データ３２２と合成された融合情報に直接適用することができる。

図４は、少なくとも２つの画像モダリティ間の融合を予測するための例示的な非限定的方法のフロー図を示す。図４の方法は、例えば、前述したように、画像融合システム１００および／または計算装置１１０上で実行される融合エンジン１１２によって実行することができる。４００において、第１モダリティの第１画像における特徴の位置および方向が識別される。たとえば、第１画像内の特徴を示す輪郭を定義できる。４０２では、第２モダリティの撮像装置の位置および方向を特定するトラッキング情報が得られる。トラッキング情報は、空間トラッキングまたは他の位置決めシステムによって取得することができる。４０４において、撮像装置が特徴に対して所定の姿勢に置かれたか判断される。当該判断は、トラッキング情報、特徴情報（例えば、輪郭）、第１画像の画像データ、またはユーザ入力に基づいて行うことができる。４０６において、第１画像データおよび／または関連する輪郭がトラッキング情報に応じて変換され、第１画像と撮像装置によって生成された画像との間のアライメントを維持する。

次に図５を参照すると、ライブ画像と以前に取得した画像との間の融合を生成するための例示的な非限定的方法のフロー図が示されている。図５の方法は、例えば、上述したように、画像融合システム１００および／または計算装置１１０上で実行される融合エンジン１１２によって実行される。５００において、第１モダリティのライブ画像が撮像装置から取得される。５０２において、異なるモダリティの第２画像から、特徴の指標がライブ画像上に表示される。５０４において、撮像装置が特徴に対して所望の姿勢にあると判断されたときに、ライブ画像と第２画像との間に関係が確立される。５０６において、トラッキング情報が取得される。トラッキング情報は、基準空間における撮像装置の位置および方向を特定する。５０８において、トラッキング情報に基づいて第２画像が処理され、ライブ画像上に表示された特徴の指標、および場合によっては他の特徴を更新する。

上述した例示的な実施形態は、画像融合の説明において提示されている。これらの概念は、画像補正といった他のコンテキストに拡張することができる。例えば、画像の一部を結合または合成する（すなわち、重ね合わせる）のとは対照的に、比較のために、画像、またはそれらの一部を並べて、または別の配置で表示することができる。

（例示的なコンピュータ装置）
前述のように、本明細書に記載される技術は、異なるモダリティの画像の予測融合およびライブトラッキングを提供することが望ましいあらゆる装置に適用することができる。したがって、登録可視化システムの様々な実施形態に関連して、あらゆる種類の手持ち式で携帯可能な他の計算装置、並びに計算オブジェクトでの使用が期待できる。したがって、図９で後述する以下の汎用コンピュータは、コンピュータ装置の一例に過ぎない。

実施形態は、装置またはオブジェクトのサービス開発者による使用のために、オペレーティングシステムを介して部分的に実施することができ、および／または、本明細書に記載される様々な実施形態の１つ以上の機能的態様を実行するアプリケーションソフトウェア内に含めることができる。ソフトウェアは、プログラムモジュールのようなコンピュータで実行可能な命令の一般的な文脈において、クライアントワークステーション、サーバまたは他の装置のような１つ以上のコンピュータによって実行されるように記述することができる。当業者であれば、コンピュータシステムがデータ通信に使用できる様々な構成およびプロトコルを有しており、したがって、特定の構成またはプロトコルは限定要素とはみなされないことが理解できるであろう。

したがって、図９は、本明細書に記載される実施形態の１つまたは複数の態様を実施することができる適切な計算システム環境９００の例を示す。既に明記した如く、計算システム環境９００は、適切な計算環境の１つの例に過ぎず、使用範囲または機能性に関するいかなる制限も提示することを意図していない。さらに、計算システム環境９００は、例示的な計算システム環境９００に示されている構成要素のいずれか１つまたはその組合せに対するいかなる依存関係も持つものとして解釈されるものではない。

図９を参照すると、１つ以上の実施形態を実現するための例示的な装置は、コンピュータ９１０の形態の汎用計算機を含む。コンピュータ９１０の構成要素は、処理ユニット９２０、システムメモリ９３０、およびシステムメモリから処理ユニット９２０を含む種々のシステム構成要素と接続するシステムバス９２２を含むが、これらに限定されない。

コンピュータ９１０は、典型的には、様々なコンピュータ読取可能媒体を含み、コンピュータ９１０によってアクセス可能な任意の利用可能な媒体であり得る。システムメモリ９３０は、Read-Only Memory（ＲＯＭ）および／またはRandom-Access Memory（ＲＡＭ）のような揮発性及び／または不揮発性メモリの様式のコンピュータ記憶媒体を含んでもよい。限定ではなく例として、システムメモリ９３０は、オペレーティングシステム、アプリケーションプログラム、その他プログラムモジュール、およびプログラムデータを含んでもよい。さらなる例によれば、コンピュータ９１０は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、コンパクトディスクＲＯＭ、ディジタル汎用ディスクもしくは他の光ディスク記憶装置、または所望の情報を記憶するために使用できる他の有形および／もしくは非一時的媒体を含むことが可能な、図示しない様々な他の媒体も含むことができる。

使用者は、入力装置９４０を介してコンピュータ９１０にコマンドおよび情報を入力することができる。モニタまたは他のタイプのディスプレイ装置も、出力インターフェース９５０等のインターフェースを介してシステムバス９２２に接続される。モニタに加え、コンピュータは、出力インターフェース９５０を介して接続可能な、スピーカやプリンタといった他の周辺出力装置も含むことができる。

コンピュータ９１０は、リモートコンピュータ９７０のような１つ以上の他のリモートコンピュータと論理接続されたネットワーク環境または分散環境において動作するように、ネットワークインターフェース９６０を含んでもよい。リモートコンピュータ９７０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノード、あるいは他の任意のリモートメディア消費（remote media consumption）または伝送デバイスであってもよく、さらには、コンピュータ９１０に関して上述した要素のいずれかまたはすべてを含んでもよい。図９に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）のようなネットワーク９７１を含むが、他のネットワーク／バスを含んでもよい。このようなネットワーク環境は、家庭、オフィス、企業規模のコンピュータ・ネットワーク、イントラネットおよびインターネットにおいて一般的である。

上述したように、種々のコンピュータ装置およびネットワークアーキテクチャに関連して例示的な実施形態を説明したが、基礎となる概念は、画像融合システムを実施することが望ましいあらゆるネットワークシステムおよびあらゆる計算装置または計算システムに適用することができる。

また、同一または類似の機能を実装する方法は複数ある。例えば、本明細書に提供される技術を利用可能なアプリケーションおよびサービス、すなわち、適切なＡＰＩ、ツールキット、ドライバコード、オペレーティングシステム、制御、独立のまたはダウンロード可能なソフトウェアオブジェクト等である。したがって、本明細書では、ＡＰＩ(または他のソフトウェアオブジェクト）の観点、ならびに、本明細書に記載される１つ以上の実施形態を実施するソフトウェアまたはハードウェアオブジェクトから、実施例が意図される。したがって、本明細書に記載される種々の実施形態は、全体がハードウェアである態様、部分的にハードウェアである態様、部分的にソフトウェアである態様、およびソフトウェアである態様を有することができる。

本明細書で使用されるように、用語「or」は、排他的な「or」ではなく、包括的な「or」を意味することを意図している。すなわち、特に明記されない限り、または文脈から明確でない限り、「Ｘは、ＡまたはＢを使用する」という語句は、通常の包括的な置換すべてを意味することを意図している。すなわち、「Ｘは、ＡまたはＢを使用する」という語句は、次のいずれの事例も満たす：Ｘは、Ａを使用する。Ｘは、Ｂを使用する。Ｘは、ＡおよびＢの両方を使用する。さらに、本願で使用される冠詞「ａ」および「ａｎ」は、特に明記されない限り、または文脈から特定されない限り、単数形に向けられるべき「１つ以上」を意味すると解釈されるべきである。

さらに、本明細書で使用される「例示的」という用語は、「何かの説明または例としての役割を果たす」ことを意味することを意図している。

上記に、例示的な実施形態を説明した。上記の装置および方法は、クレームされた主題の一般的な範囲から逸脱することなく、変更および修正を組み込むことができることは、当業者に明らかであろう。これは、クレームされた主題事項の範囲内で、そのようなすべての修正および置換を含むことが意図されている。さらに、「包含する」という用語は、詳細な説明または請求項のいずれかで使用されている限りにおいて、請求項の移行語（transitional word）として「備える」という用語が用いられる際の解釈と同様に、包括的なものとして意図されている。

Claims (24)

1. コンピュータで実行可能な命令を記憶する記憶装置（２０８）に接続されたプロセッサ（２０２）を備えるシステム（１００）であって、
   前記プロセッサ（２０２）により前記命令が実行されると、前記プロセッサ（２０２）は、
   第１モダリティの第１画像（３１６）内の特徴を示す特徴情報（３１８）を取得し、
   第２モダリティの画像（３２２）を生成する手持ち式撮像装置（１２０）の位置および方向を識別する空間トラッカー（１３０）から、少なくとも３自由度を持つトラッキング情報（３２０）を取得し、かつ、
   前記撮像装置（１２０）の姿勢が、前記特徴情報（３１８）または前記トラッキング情報（３２０）の少なくとも１つに基づいて、前記特徴の基準姿勢と一致する姿勢を有する特徴の第２画像（３２２）を生成するのに適した所定の姿勢と一致するときを判断する、システム。
2. 前記プロセッサ（２０２）は、前記撮像装置（１２０）の移動に応じて、前記トラッキング情報（３２０）または前記特徴情報（３１８）の少なくとも１つに基づいて前記撮像装置（１２０）によって生成された前記第２画像（３２２）内の特徴の姿勢の指標を更新する、請求項１に記載のシステム。
3. 前記プロセッサ（２０２）は、空間における前記撮像装置（１２０）の姿勢と前記撮像装置（１２０）の撮像面の姿勢との間の関係を取得し、前記関係に基づいて、前記第２画像（３２２）における前記特徴の姿勢の指標を更新する、請求項２に記載のシステム。
4. 前記プロセッサ（２０２）は、前記特徴の姿勢の指標を更新するために、仮想撮像面に沿って第１画像（３１６）を再分割する、請求項２に記載のシステム。
5. 前記プロセッサ（２０２）は、前記トラッキング情報（３２０）に基づいて前記仮想撮像面を決定する、請求項４に記載のシステム。
6. 前記プロセッサ（２０２）は、前記仮想撮像面に対応する前記第１画像の画像データ（３１６）を補間する、請求項４に記載のシステム。
7. 前記プロセッサ（２０２）は、前記第１画像（３１６）と前記第２画像（３２２）との間の変換を識別する、請求項１に記載のシステム。
8. 前記プロセッサ（２０２）は、前記識別された特徴の位置を更新するために、前記特徴情報（３１８）に前記変換を適用する、請求項７に記載のシステム。
9. 前記特徴情報（３１８）は、前記第１画像（３１６）内の前記特徴の輪郭を含む、請求項１に記載のシステム。
10. 前記特徴情報（３１８）は、前記撮像装置（１２０）の所定方向に対する前記第１画像（３１６）内の前記特徴の方向を特定する、請求項１に記載のシステム。
11. 前記プロセッサ（２０２）は、前記撮像装置（１２０）から取得したライブ画像（３２２）を表示し、前記特徴情報（３１８）に基づいて前記ライブ画像上にオーバレイを表示する、請求項１に記載のシステム。
12. 前記プロセッサ（２０２）は、前記撮像装置（１２０）から取得したライブ画像（３２２）を表示し、前記特徴情報（３１８）に基づいて前記ライブ画像（３２２）上にオーバレイを表示し、前記撮像装置（１２０）によって取得された前記第２画像（３２２）上の前記特徴の姿勢の指標に基づいて前記オーバレイを更新する、請求項２に記載のシステム。
13. 撮像装置から第１モダリティのライブ画像を取得するステップ（５００）と、
    前記撮像装置の位置および方向を示す空間トラッカーからトラッキング情報を取得するステップ（５０６）と、
    前記ライブ画像において、前記撮像装置が特徴に対して所望の姿勢にあるときを判断し、前記撮像装置の姿勢と第２モダリティの第２画像内の特徴の姿勢との間の関係を確立するステップ（５０４）と、を含む方法であって、
    前記撮像装置が前記所望の姿勢にあることを判断するステップは、前記トラッキング情報と、第２画像内の前記特徴の姿勢を示す特徴情報とのうちの少なくとも１つに基づいて行う、方法。
14. さらに、前記トラッキング情報または前記確立された関係のうちの少なくとも１つに基づき、前記撮像装置の移動に応じて、前記ライブ画像内の前記特徴の指標を更新（５０８）するステップを含む、請求項１３に記載の方法。
15. 前記特徴の指標は、前記特徴に対する前記撮像装置の所望の姿勢に関して、前記第２画像内の前記特徴の姿勢を示す特徴情報に基づいて、最初に生成される、請求項１４に記載の方法。
16. 前記特徴情報は輪郭である、請求項１３に記載の方法。
17. 前記特徴の指標を更新するステップは、仮想撮像面に沿って前記第２画像を再分割するステップ（４０６）をさらに含み、前記仮想撮像面は、前記トラッキング情報に基づいて決定される、請求項１４に記載の方法。
18. 前記再分割するステップは、前記仮想撮像面に対応する前記第２画像の画像データを補間するステップをさらに含む、請求項１７に記載の方法。
19. 前記特徴の指標を更新するステップは、前記撮像装置の所望の姿勢と、前記トラッキング情報により提供される前記撮像装置の位置および方向との間の変換を判断するステップと、前記変換を前記特徴の指標に適用するステップと、をさらに含む、請求項１４に記載の方法。
20. コンピュータで読取可能な命令を記憶するコンピュータ読取可能記憶媒体（２０８）であって、前記命令は、プロセッサ（２０２）により、
    第１モダリティの第１画像の特徴と、第２モダリティの画像を生成する撮像装置の所望の姿勢に対する前記第１画像内の前記特徴の姿勢とを示す特徴情報を取得し、
    少なくとも３自由度を有する空間内の前記撮像装置の位置および方向を追跡する空間トラッカーからトラッキング情報を取得し、
    前記撮像装置により生成されるライブ画像と、前記特徴情報と、または前記トラッキング情報のうちの少なくとも１つに基づいて、前記撮像装置が前記所望の姿勢とアライメントされたときを判断する、コンピュータ読取可能な記憶媒体（２０８）。
21. 前記トラッキング情報または前記特徴情報の少なくとも１つに基づいて、前記ライブ画像内の特徴の指標を更新するように前記プロセッサ（２０２）を構成する命令を記憶する、請求項２０に記載のコンピュータ読取可能記憶媒体（２０８）。
22. 前記ライブ画像内の前記特徴の姿勢の初期指標を表示するように前記プロセッサ（２０２）を構成する命令をさらに記憶し、前記初期指標は、前記特徴情報に基づいて生成され、前記撮像装置を前記所望の姿勢にアライメントするためのガイドを提供する、請求項２０に記載のコンピュータ読取可能記憶媒体（２０８）。
23. 前記トラッキング情報に基づいて決定された仮想撮像面に沿って前記第１画像を再分割すると共に、前記仮想撮像面に沿って前記特徴情報を補間し、前記ライブ画像内に前記特徴の姿勢の更新された指標を生成するように前記プロセッサ（２０２）を構成する命令をさらに記憶する、請求項２１に記載のコンピュータ読取可能記憶媒体（２０８）。
24. 前記所望の姿勢と、前記トラッキング情報により提供される前記撮像装置の位置および方向との間の変換を決定し、前記変換を前記特徴情報に適用して、前記ライブ画像内の前記特徴の姿勢の指標を更新するように前記プロセッサ（２０２）を構成する命令をさらに記憶する、請求項２１に記載のコンピュータ読取可能記憶媒体（２０８）。