JP2014140742A - 動いている器官の目標エリア内のオブジェクトを追跡するための方法および装置 - Google Patents

Abstract

【課題】動いている器官の連続する画像フレームのシーケンスから、前記器官の目標エリア内のオブジェクトを追跡する方法を提供する。
【解決手段】画像が、時間的に、ある時間間隔分離されていて、ａ）少なくともシーケンスの基準画像において、少なくとも第一の特徴および少なくとも第二の特徴を特定するステップ、ｂ）このような特徴の運動パターンを学習するために前記同じまたは他のシーケンスの他の画像において前記第一および第二の特徴の場所を追跡するステップ、ｃ）前記第一および第二の特徴の間に動的な幾何学関係を決定するステップ、ｄ）前記第二の特徴の前記場所および前記第一の特徴が見えない時にステップｃ）において決定された前記動的な幾何的関係を用いることにより、前記同じまたは異なる画像シーケンスの前記同じまたは異なる画像フレーム内において前記第一の特徴の前記場所を決定するステップ、を備える方法。
【選択図】なし

Description

本発明は、医療画像化の技術分野に関し、特に、経カーテル大動脈弁置換術（ＴＡＶＩ, Transcatheter Aortic Valve Implantation）手術のような経皮的インターベンション（Percutaneous Interventions）に関する。

侵襲性を最小にする傾向は、臨床インターベンションにおける画像化の重要性を増大させている。インターベンションのためになされる切開が小さくなるに連れ、臨床医は、彼らのツールを操作するために、もはや直接眼で調べることは出来なくなっている。その代わりに、彼らは、Ｘ線蛍光透視、超音波検査および手術時の磁気共鳴画像化のようなリアルタイム画像化手法により生成される手術時の画像に依存しなければならない。

手術時の画像を目視検査することによって行われる画像に基づく操作は、本質的に、精度が限定され、かつオペレータの主観評価によりバイアスされる。この効果は、胸部エリアのように動いているエリアで操作する場合には、より顕著である。さらに、リアルタイム画像化手法によって生成される手術時の画像は、概して、画質が悪く、かつ臨床手術に関連する解剖学的構造を必ずしも常に正しく表すとは限らない。解剖学的構造を視覚化するために、造影剤を使用することは可能である。しかしながら、手術時の検査における造影剤の投与は、患者への障害を防止するために制限されるべきである。

特徴を自動追跡する機構を採用することにより、これらの問題を解決することができる。この種の機構は、インターベンション・ツールの場所とそれらの目標位置についての定量的情報を提供することができる。操作の間にこの定量的情報を用いることにより、オペレータのバイアスは排除され、かつ潜在的に位置決め精度を向上させることができる。さらに、画像の特徴の場所についての定量的情報は、オプションとして、例えば、非特許文献１または特許文献１に開示される別の画像化手法を使用して取得される他の画像と結合させる参照ポイントとして使用することができる。

典型的な追跡プロセスは、追跡する特徴の初期の場所を示すことによって初期化される。これは、自動的に、またはユーザが手動で行うことができる。この後、特徴の将来の場所が予測される。この予測は、特徴の予期される運動を表す動的モデルに基づいて行われる。特徴の実際の場所を測定することによって、予測される場所は、例えば、非特許文献２または特許文献２で開示されるようなモデル・パラメータと共に更新される。このプロセスは、次の時間ステップについて新規な予測を行うことによって、繰り返され、そしてこの追跡プロセスが停止されるまで、続けられる。

追跡された特徴が不明瞭である場合には、将来の時間ステップに対し、特徴の場所に新規な予測を生成することによって、追跡プロセスを継続することが出来る。しかしながら、何の測定も実行することができないこともある。これは、これらの予測に何の補正もなすことができないことを意味する。予測された運動と実際の運動には不回避な相違があるため、モデル化のエラーは堆積し、そして予測された特徴の場所は、真の場所から離れて行くであろう。さらに、実際の運動は、インターベンション・ツールの挿入に応答する人体の生理的反応により、予測された運動とは異なることもある。従って、特徴が不明瞭である場合には、これらの追跡機構は、限られた時間に対してしか、追跡されたオブジェクトについて正確な場所を提供することができない。

特許文献３は、手術時のＸ線蛍光透視画像においてこのエリアを視覚的に特定することはできないが、デバイスの目標位置の推定場所を与え続けることによって、治療デバイスをその位置に導く方法を開示する。このことは、それがデバイスの目標位置と同じ運動をしていると仮定して、デバイスの目標位置の近くで、Ｘ線蛍光透視の間に見える特徴を追跡することによって達成される。その結果、追跡された特徴とデバイスの目標位置との間の幾何的関係は、いかなる状況においても一定である。手術前の画像においてこの幾何的関係を定めておくことによって、手術時の画像において、Ｘ線蛍光透視の間に追跡された特徴の場所からデバイスの目標位置を導出することができる。

経カテーテル心臓弁置換の場合には、大動脈弁輪が目標位置であるが、これは手術時のＸ線像内で造影剤の投与なしでは見えない。他方、追跡された特徴は、Ｘ線蛍光透視の間、識別可能でかつ大動脈ルートと同じ運動パターンを有するいかなる解剖学的オブジェクトまたは人工オブジェクト（典型的には、弁の近くの石灰化したエリアまたはステントまたは他の配置されたデバイス）とすることができる。

しかしながら、インターベンション・ツールをある位置へ導くこれらの追跡機構を使用することは、追跡された特徴が、ツールの目標位置の近くに存在する場合には、問題を起こすことがある。ツールがその目標位置に接近すると、ツールの存在が、事実、追跡された特徴を変形しまたは閉塞し、追跡機構による正確な局在化を妨げることがある。

インターベンションの間にこの種の特徴を追跡することは、実際には、容易ではない。治療デバイスが目標位置に接近する限り、弁輪およびその石灰化は、治療デバイスの存在に応答するであろう。特に、石灰化は、変形しやすいので、これは、追跡アルゴリズムを失敗させる確率を大きくするのみならず、目標位置を再構築するために使用される幾何的関係を変更させ、インターベンションの成功に対し重要となる精度を結果的に減少させてしまう。石灰化スポットの代わりに他の特徴が使用される場合、ステントまたは他のいかなる金属デバイスも目標位置の運動とは異なる運動をして移動する傾向があるので、これも、同じ問題をもたらし、さらに問題を大きくする場合すらある。特にステントが、冠状心門に対し遠位となるように選択される場合、このステントの運動は、目標位置の運動とは著しく異なることになるであろう。

このため、インターベンションの成功のために重要となる場所決めのエラーを回避するため、追跡プロセスを改良する必要がある。

米国特許第７，７７８，６８８号明細書 米国特許第８，２２３，２０７号明細書 米国特許出願公開第２０１１／００３３０９４号明細書

A. Gueziec外による「外科手術ロボットをガイドするためのＣＴスキャンおよび手術時のＸ線像の解剖学的構造に基づく登録」、IEEE Transactions on Medical Imaging (1998) M. IsardおよびA. Blakeによる「視覚追跡のための圧縮−条件密度伝搬」、International Journal of Computer Vision（1998） J. McNamesおよびM. Aboyによる（「拡張Kalman Smootherによる心臓血管信号の分解および推定」、Proceeding of IEEE（2006） S. Kwak et al.による「視覚追跡に対し可能性がある閉塞の学習」、International Conference on Computer Vision（2011）

従って、本発明の目的は、動いている器官の目標エリアでオブジェクトを追跡する（特に、最小限侵入インターベンションに用いられる）改良された方法を提供することである。

本発明は、この目的を、
動いている器官の連続する画像フレームのシーケンスから、前記器官の目標エリア内のオブジェクトを追跡する方法であって、
前記画像が、時間的に、ある時間間隔分離されていて、
ａ）少なくともシーケンスの基準画像において、少なくとも第一の特徴および少なくとも第二の特徴を特定するステップであって、第一の特徴を、目標エリアそれ自体、または例えば、石灰化されたスポットのような目標エリアと同じ運動をする任意の特徴とすることができる、ステップ、
ｂ）このような特徴の運動パターンを学習するために前記同じまたは他のシーケンスの他の画像において前記第一および第二の特徴の場所を追跡するステップ、
ｃ）前記第一および第二の特徴の間に動的な幾何学関係を決定するステップであって、このような関係が、典型的には、距離、または目的に使用することができる任意のタイプの関係である、ステップ、
ｄ）前記第二の特徴の前記場所、および前記第一の特徴が見えない時に、ステップｃ）において決定された前記動的な幾何的関係を用いることにより、前記同じまたは異なる画像シーケンスの前記同じまたは異なる画像フレーム内において前記第一の特徴の前記場所を決定するステップ、
を備える方法により、達成している。

本発明は、同期している周期運動の特性を用いて、追跡された特徴の場所の間に動的な幾何的関係を確定する。これは、いかなる特有球状運動モデルも仮定すること無く、周期運動が生じている全ての状況に、本発明を、広く適用することを可能にする。本発明者等は、個々の特徴の周期運動を学習することによって、これを実現させた。特徴の１つが不明瞭である場合、両方の特徴の周期運動パターン、特徴の１つの場所および周期運動の位相を知ることによって、不明瞭な特徴の場所を導出することができる。

もし第一の特徴が、デバイスの目標位置自体であるならば、このような位置は直ちに決定される。もし第一の特徴が、目標位置ではないが、目標位置と同じ運動をする特徴であるならば、デバイスの目標位置の場所は、第一の特徴と目標エリアの間の幾何的関係（これは、典型的には、例えば、特許文献３で教示されるように手術前の画像において決定される）を使用することにより、第一の特徴の場所から導出することができる。

ＴＡＶＩ手術の場合、デバイスの目標位置は、大動脈撮影図において視覚化される。大動脈ルートの等高線は造影剤なしではほとんど見えないので、これは、造影剤の注入を必要とする。第一の特徴は、配置されたデバイスまたは石灰化されたエリアのような大動脈の弁輪内、またはその近くに存在する任意のオブジェクトとすることが出来る。第二の特徴は、一般には、大動脈弁輪には位置しない。それは、例えば、第一の特徴の近傍に配置されたデバイスまたは第一の特徴と同じ運動をしない他の任意のオブジェクトとすることが出来る。

特徴の動的関係を決定するために使用されるべき特徴の運動パターンは、典型的には、追跡された期間の特徴の平均運動から抽出される。期間の境界は、例えば、自動自己回帰分析法および／または手動による注記により、および／またはＥＣＧ、血圧等のような外部入力信号を用いて、決定される。これらの外部入力信号は、周期運動の位相に定量的フィードバックを提供することによって、一般の追跡プロセスを補助するためにも用いることが出来る。

動的な幾何的関係を決定する１つの具体例は、周期運動サイクルの位相の全てまたはいくつかに対して、特徴の運動パターンの間の相違を算出し、かつこれらの幾何的関係を対応する位相にマップすることである。学習された幾何的関係のマップされた組の補間によって、周期運動サイクルの全ての位相に対して幾何的関係を、導出することができる。

多数の画像シーケンスを用いて、特徴とデバイスの目標位置との間に幾何的関係を確定する場合には、画像シーケンスは、全て同じ幾何的条件の下で取得することが、好ましい。二次元のＸ線画像の場合には、同一の投影角を、使用することができる。二方向のＸ線設定を使用して追跡された特徴と目標エリアの間に三次元幾何的関係を確定することは、この方法の間に、別のＸ線投影を可能にする。これに代えて、ＣＴ、ＭＲＩ、または超音波のような別の撮像手法を用いて、第一の特徴と目標エリアとの幾何的関係を決定することも可能である。これは、必要な獲得の数を減らすので、放射線と造影剤の患者への照射が減少する。

３つ以上の特徴を、特定することが出来る。この場合、第一の特徴は、目標エリアと同じ運動をする。この運動が、目標エリアと同期している限り、追跡された他の特徴は、いかなる周期運動パターンにも従属させることが可能である。多数の特徴を追跡することによって、全ての特徴が同時に不明瞭になる確率は低下し、この方法全体のロバスト性が増大する。

本発明は、コンピュータのメモリに直接ロード可能であり、かつコンピュータで実行させると、上述した方法を実行するためのソフトウエアコード部分を備えるコンピュータ製品にも関する。

別の態様によれば、本発明は、二次元画像を取得するための一方向、二方向または回転血管造影Ｘ線装置に関する。この装置は、患者の大動脈ルートの連続的な画像フレームの映画を取得するための手段と、例えば、ステントまたは弁を操作するために、患者の大動脈ルートの目標エリアの一つ以上の特徴を追跡するために本発明の方法を実行するようにプログラムされている処理手段とを備える。

この装置は、蛍光透視画像と大動脈撮影図を取り込むように構成することが有利である。大動脈撮影図は、主に、デバイスの目標位置と、追跡された特徴の１つに対する幾何的関係とを決定するために用いられ、蛍光透視画像は、主に、全ての追跡された特徴の場所とそれらの内部幾何的関係を決定するために使用される。

本発明の更なる改良は、従属請求項の主題を形成するであろう。

好ましい実施形態における本発明のメイン・ステップのフローチャートである。 大動脈ルート (上) とその近傍に配置された機器(下)を示し（円は追跡される２つの特徴の場所を示し）、学習段階の間、全ての特徴が追跡されて、右部分に示される特徴の周期運動パターンが学習されることを示す。 個々の特徴の運動パターンから取得される位相の関数としての、特徴の間の幾何的関係を示す。 特徴が不明瞭である場合、学習された周期距離関数および周期運動の現在の位相を使用して、その場所を、どのようにして、別の特徴の場所から導出することが出来るかを示す。

本発明の特性およびそこから導出される利点は、添付の図面において示される限定されない実施態様の以下の概要から、より明らかになるであろう。

本発明は、特に、Ｘ線像の２Ｄ血管造影フィルムに基づく最小限侵襲性の心血管インターベンションの間、画像ガイダンスにおいて有利であり、かつそれは、主に、この分野を参照して開示されるであろう。このようなインターベンションの具体例は、経皮的冠動脈インターベンション(PCI)および経皮大動脈弁置換術(PAVR)である。

これらのインターベンションのための追跡可能な特徴の例には、解剖学的構造、インターベンションのツールおよび配置されたデバイスが挙げられる。このような特徴は、典型的には、心拍動から生じる周期的な運動に従う。両方の特徴の運動が同じソースによって決定されるので、運動の位相は、常に、同期する。心臓は複雑で非線形の変形をするため、剛体運動のアフィン変換のような単純な球状運動モデルは、心臓の変形を正確に記述することは不可能であろう。さらに、追跡された第二の特徴は、常に、見えていなければならないので、それは、関心特徴から有意な距離に存在しなければならない。特徴の間の距離が増大するに連れ、これらの簡略化された運動モデルの誤りも増大するであろう。追跡された全ての特徴の周期運動パターンを別々に学習することは、複雑な運動をモデル化する必要性を克服する方法を提供する。

本発明のフローは、概念的には、学習段階と追跡段階の２つの明白な段階に分割することができる。学習段階の間、両方の特徴の周期運動パターンは、両方の特徴の関係を確定するために、分析されかつ学習される。追跡段階の間、他の１つの特徴が見えて残留している限り、学習された運動パターンは、不明瞭な特徴の場所を導出するために使用される。その運動パターンの関係が知られているので、運動におけるいかなる周波数変化（例えば、インターベンションのツールの挿入に応答する体の生理的反応による周波数変化）も、追跡精度には全く影響しないであろう。

学習段階と追跡段階が概念上分離されているにもかかわらず、両方の段階からの行動は、一つの適合可能な追跡方法に組み合わせることが出来る。これは、この方法が、学習した運動パターンの小さい変化にも適合することを可能にする。

図１のフロー・チャート図により、本発明の一実施例のステップが、記述される。

ステップ１: 同期している周期運動をする多数の特徴の場所を規定する

追跡プロセスを初期化するために、追跡された特徴の初期の場所を規定しなければならない。これらの特徴をシーケンス中で追跡することができるように、これらの場所は、画像シーケンスの一部である画像において規定されなければならない。このシーケンスは、リアルタイム画像ストリーム、または予め記録されている画像シーケンスとすることが出来る。

ユーザは、これらの場所を、例えば、画像の特徴の場所を示すことにより、または特徴周辺に関心部分を描くことによって、規定することができる。これに代えて、もし特徴の視覚特性がすでに知られているならば、このシステムは、特徴の初期位置を自動的に検出することが出来る。

特徴の場所を知ると、このシステムは、特徴の視覚的特徴を取り込むテンプレートを取得することができる。これらのテンプレートは、画像シーケンスで他のフレームの特徴を認識するために用いることが出来る。

ステップ２: 全ての特徴の周期運動パターンを学習する

特徴の場所は初期化されているので、特徴を、画像シーケンスに渡って時間によって追跡することが出来る。追跡機構は、典型的に、特徴の予期された運動を記述する動的なモデルを有する。しかしながら、予期された運動については何の情報も知られていないので、この段階の間、典型的には、単純なモデルが、使用される。

特徴が充分な時間に対して追跡される場合には、代表的な周期運動パターンが、各特徴に対し導出される。このようなパターンを作成するための具体例の一方法は、追跡された全ての期間に渡って特徴の平均運動を算出することである。これを達成するために、期間の境界は、知られていなければならない。これらの境界を見いだすいくつかの具体例は、自動自己回帰方法、ユーザによる手動の注記および心臓運動に対するＥＣＧのような外部入力信号である。

全ての特徴の運動パターンが知られると、全ての特徴の組合せの動的な幾何的関係が、規定される。２つの特徴の運動テンプレートの間の相違を計算することは、周期運動サイクルの全ての段階に対する２つの特徴の間の幾何的関係を記述する周期関数を与える。この周期関数は、例えば、位相を特徴の間の相対的な運動にマップして、ルックアップテーブルによって実行させることが出来る。

特徴の組合せの間の幾何的関係が規定されると、学習段階は完了し、かつ追跡段階を始めることができる。

ステップ３: 追跡の間に特徴の不明瞭性を検出する

追跡段階の間、追跡は、学習段階においてまたは別の画像シーケンスにおいて用いられるものと同じ画像シーケンスで実行される。追跡段階に対して、これは、典型的にリアルタイムの画像フィードである。いずれの場合にも、追跡された特徴の幾何的関係は、知られていなければならない。

学習段階において得られた周期運動パターンは、特徴の運動を予測するために用いることが出来る。加えて、周期運動の周波数および位相に関する情報は、例えば、非特許文献３によって教示されるモデルの状態に、追加される。

特徴の予期される運動からの偏差は、特徴の不明瞭性を示すことができる。加えて、非特許文献４に開示されているように、追跡されたオブジェクトの一部または完全な不明瞭性を自動的に検出する別の方法が、存在する。最後に、ユーザは、特徴が不明瞭である時を、手動で示すことが出来、かつシステムは、間接的な追跡モードに後退しなければならない。

ステップ４: 学習された運動パターンを使用して、不明瞭な特徴の場所を抽出する

特徴の不明瞭性が検出されると、間接的な特徴追跡が使われる。この方法は、第二の特徴、周期運動の位相、および第二の特徴と不明瞭な特徴との動的な幾何的関係の場所を使用する。特徴の不明瞭性が解決されると、システムは特徴の直接の追跡に戻ることが出来る。

Claims (20)

1. 動いている器官の連続する画像フレームのシーケンスから、前記器官の目標エリア内のオブジェクトを追跡する方法であって、
   前記画像が、時間的に、ある時間間隔分離されていて、
   ａ）少なくともシーケンスの基準画像において、少なくとも第一の特徴および少なくとも第二の特徴を特定するステップ、
   ｂ）このような特徴の運動パターンを学習するために前記同じまたは他のシーケンスの他の画像において前記第一および第二の特徴の場所を追跡するステップ、
   ｃ）前記第一および第二の特徴の間に動的な幾何学関係を決定するステップ、
   ｄ）前記第二の特徴の前記場所、および前記第一の特徴が見えない時に、ステップｃ）において決定された前記動的な幾何的関係を用いることにより、前記同じまたは異なる画像シーケンスの前記同じまたは異なる画像フレーム内において前記第一の特徴の前記場所を決定するステップ、
   を備える方法。
2. 前記第一および第二の特徴が、同期する周期運動に従属する、請求項１に記載の方法。
3. 前記動的な幾何的関係が、前記第一の特徴と前記第二の特徴との間の距離である、請求項１または２に記載の方法。
4. 前記第一の特徴が前記目標エリアと同じ運動をする、請求項１〜３の何れか１項に記載の方法。
5. 画像の前記シーケンスが、一つ以上のＸ線ランを備え、前記第一の特徴を示す少なくとも一つの画像が、造影剤によって捕えられ、かつ前記第二の特徴を示す少なくとも一つの画像が、造影剤なしで捕えられる、請求項１〜４の何れか１項に記載の方法。
6. 前記器官が前記大動脈であり、前記第一の特徴が前記大動脈弁輪において特定されている、請求項１〜５の何れか１項に記載の方法。
7. 前記第一の特徴が、治療デバイスの目的位置である、請求項６に記載の方法。
8. 前記治療デバイスが、ステントまたは弁である、請求項７に記載の方法。
9. 前記第一の特徴が、配備されたデバイスまたは石灰化されたエリアである、請求項１〜８の何れか１項に記載の方法。
10. 前記第二の特徴が、前記第一の特徴の近くの配備されたデバイスである、請求項１〜９の何れか１項に記載の方法。
11. 運動パターンを決定する前記ステップが、追跡された期間についての特徴の平均運動を決定するステップを備え、期間の境界は、自動自己回帰分析法および／または手動による注記により、および／またはＥＣＧ、血圧等のような外部入力信号を用いて、決定される、請求項１〜１０の何れか１項に記載の方法。
12. 動的な幾何的関係を決定するステップが、周期運動サイクルの位相の全てまたはいくつかに対する特徴の運動パターンの間の相違を決定するステップを備える、請求項１〜１１の何れか１項に記載の方法。
13. ３つ以上の特徴が、特定され、それらの内の１つが、前記大動脈ルートに対して操作されるステントまたは弁の前記目標の場所に、固く連結されていておよび／またはそれと共に移動し、前記他の特徴が、同期している周期運動に従属する、請求項１〜１２の何れか１項に記載の方法。
14. 複数のＸ線投影を使用して、前記特徴および／または前記目標の場所の間の前記幾何的関係を確定する、請求項１〜１３の何れか１項に記載の方法。
15. ＣＴ、ＭＲＩ、または超音波のような別の撮像手法を用いて、第一の特徴と目標エリアとの幾何的関係を確定する、請求項１〜１４の何れか１項に記載の方法。
16. 前記特徴の全部または一部の前記周期運動パターンが学習されて、前記特徴および／または前記目標場所の間の前記幾何的関係が決定される学習段階、および
    少なくとも目に見えない特徴の前記場所が、少なくとも他の特徴および前記学習段階において決定された前記動的な幾何的関係の前記場所を用いることにより、追跡される追跡段階、
    を備えることを特徴とする請求項１〜１５の何れか１項に記載の方法。
17. 前記学習段階および前記追跡段階が、単一の適応可能な段階で結合される、請求項１６に記載の方法。
18. ディジタル計算機のメモリに直接ロード可能であるコンピュータ製品であって、前記製品がコンピュータで駆動されると、請求項１〜１７の何れか１項に記載の方法を実行するためのソフトウエアコード部分を備える、コンピュータ製品。
19. ２次元の画像を得るためのＸ線装置であって、患者の前記大動脈ルートの連続的な画像フレームの映画を得るための手段を備え、前記患者の前記大動脈ルートの目標エリアの一つ以上の特徴を追跡する請求項１〜１７の何れか１項に記載の方法を実行するようにプログラムされている処理手段を、更に、備えるＸ線装置。
20. 蛍光透視画像および大動脈撮影図を捕え、大動脈撮影図が、主に、前記第一の特徴の前記場所を決定するために用いられるように構成されていて、蛍光透視画像が、主に、前記第二の特徴の前記場所を決定するために使用されること特徴とする請求項１９に記載の装置。