JP2008068086A - ３ｄ心エコー図において心臓構造をリアルタイムでトラッキングするための方法 - Google Patents

Abstract

【課題】ボリュメトリック画像シーケンスにおいて変形可能モデル（１０）の運動及び形状変化をトラッキングするための方法を提供する。
【解決手段】３Ｄ超音波からの心臓構造などの３Ｄ画像から変形可能モデル（１０）の形状及び位置が超音波画像の各フレームごとに予測される。次いで、モデル表面と垂直な変形可能モデル上の各予測点（３４）ごとにエッジ検出が実施される。変形可能モデルに関する予測エッジと計測エッジの間の距離がカルマンフィルタ向けの計測値となる。この計測値はエッジ検出の空間不確定度を指定するノイズ値（４２）と結合させる。これらの計測データは情報空間内で順次足し合わされると共にカルマンフィルタにおける予測と組み合わせられ、変形可能モデルに関する位置及び変形が推定される。次いでこの変形可能モデルを更新し更新表面モデル（５０）を生成させる。
【選択図】図５

Description

本明細書で開示する主題は全般的には、画像データ内部で３Ｄ構造をトラッキングする方法に関する。より具体的には、本明細書で開示する主題は、３Ｄ超音波画像内で心臓の房室などの心臓構造をリアルタイムトラッキングし該構造に関する所望の情報をリアルタイムで算定する方法に関する。

医用撮像の分野においてボリュメトリック画像収集の出現が、近年大きな科学的関心を集めている。ボリュメトリックデータ組に関する変形可能なモデルに対するセグメント分割及びトラッキングについては、３Ｄデータ組に対する新規アルゴリズムと既存アルゴリズムの拡張の両方を含め多くの異なる方式が提唱されている。しかし、ボリュメトリック収集は最新式の３Ｄ超音波テクノロジーによればリアルタイムで実施することができるが、目下の方法の処理要件が広範であるために目下のところ知られている従来の取り組みはオフライン操作に限定される。目下のところ、こうしたデータをリアルタイムでトラッキングまたはセグメント分割するための方法で目下利用可能なものはない。

ボリュメトリックデータ組に関するリアルタイムトラッキングのためのテクノロジーが利用できるようになれば、医用撮像を用いて瞬時にフィードバック及び診断を行う可能性が切り開かれることになる。例えば、侵襲性の処置や集中治療中において心臓機能をリアルタイムで監視することに対する要求が存在する。心臓の主たる房室である左心室（ＬＶ）に関する体積などのパラメータを自動トラッキングすることは、リアルタイムトラッキングの有益な用途の１つとなる。

２Ｄ心エコー図に関する大部分のトラッキング方式は、自由形態変形を容易にさせる従来式の変形可能モデルに基づいてきた。しかしこれらの方法は、リアルタイム適用が低速すぎる傾向があると共に、ＬＶ境界の近傍で初期化することが必要である。しかしこの問題点は、許容できる変形を事前定義のある種のモードに制約することによって対処可能とすることができる。この両者によって問題点を規格化してトラッキングをより頑強なものにすると共に、連続状態推定に基づいたリアルタイムの実現形態が可能となる。

この状態推定方式は先ずＢｌａｋｅらによる「Ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｃｏｎｔｒｏｌ ｉｎ ｔｈｅ ｔｒａｃｋｉｎｇ ｏｆ ｖｉｓｕａｌ ｃｏｎｔｏｕｒｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１１（２）：１２７〜１４５，１９９３）に提示されており、これでは形状空間と呼ばれるモデルサブ空間内部の線形変換によって変形させたＢ−スプラインモデルをトラッキングするためのカルマン（Ｋａｌｍａｎ）フィルタの使用について教示している。後に、長軸２Ｄ心エコー図におけるリアルタイムの左心室トラッキングのためにＪａｃｏｂらによる「Ｑｕａｎｔｉｔａｔｉｖｅ ｒｅｇｉｏｎａｌ ａｎａｌｙｓｉｓ ｏｆ ｍｙｏｃａｒｄｉａｌ ｗａｌｌ ｍｏｔｉｏｎ」（Ｕｌｔｒａｓｏｕｎｄ ｉｎ Ｍｅｄｉｃｉｎｅ ＆ Ｂｉｏｌｏｇｙ、２７（６）：７７３〜７８４，２００１）によってこのフレームワークが利用された。これら以前の方法はすべて、２Ｄデータ組のトレーニング式（ｔｒａｉｎｅｄ）線形主成分分析（ＰＣＡ）変形モデルによって変形させたＢ−スプライン描出を利用している。

幾分か同様の方式（Ｄ．Ｍｅｔａｘａｓ及びＤ．Ｔｅｒｚｏｐｏｕｌｏｓ、「Ｓｈａｐｅ ａｎｄ Ｎｏｎｒｉｇｉｄ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｐｈｙｓｉｃｓ−Ｂａｓｅｄ Ｓｙｎｔｈｅｓｉｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１５（６）：５８０〜５９１，１９９３）を参照）は連続カルマンフィルタを用いて、対象物に取り付けたダイオードマーカーからサンプリングした点の３Ｄ位置を用いた変形可能な超２次（ｓｕｐｅｒｑｕａｄｒｉｃ）モデルのためのパラメータを推定している。これによって、事前定義の既知点で直接に３Ｄ計測値が得られる。しかし本開示はエッジ検出を利用して、予測される輪郭の近傍で一定のサンプリング間隔で変位計測を実施している。
特開２００２−２１２５１４号公報

よってボリュメトリック画像シーケンスにおいて変形可能モデル（１０）の運動及び形状変化をトラッキングするための改良された方法が求められる。

本開示は、ボリュメトリック画像シーケンスにおいてエッジに対して当てはめられる変形可能モデルに関する動き及び形状変化のトラッキング方法に関する。本方法は拡張型（ｅｘｔｅｎｄｅｄ）カルマンフィルタを利用して変形可能モデルの位置、向き及び変形パラメータを推定している。

先ず運動学的モデルを用いて新たな各フレームごとに変形可能モデルの形状及び位置が予測される。次いで、このモデルの近傍でエッジ検出が実施される。このエッジ保護は、該モデル全体にわたる一定間隔の箇所でモデル表面と垂直なエッジを検索することによって実施される。変形可能モデルに関する予測エッジと計測エッジの間で決定された距離はカルマンフィルタなどの最小自乗アルゴリズムに対する計測値として取り扱われる。この距離計測値は、局所的エッジ検出の空間的不確定度を指定する関連する計測ノイズ値と結合させる。このエッジ計測に関するモデルパラメータ感度は各エッジ検出点ごとに算定される。この感度はエッジ計測値と組み合わせられる。

引き続いてすべての計測データが情報空間内で足し合わされると共に、カルマンフィルタ内の予測値と組み合わせられ、その変形可能モデルに関する位置及び変形パラメータが推定される。

添付の図面は本発明を実施するように目下のところ企図される最適モードを表している。

本開示は、ボリュメトリックデータ組内の非線形変形モードにより変形可能輪郭のリアルタイムトラッキングを可能にしたトラッキング方式を提供する。開示した方式は、トラッキングの問題を状態推定の問題として扱うと共に、拡張型カルマンフィルタを用いて状態予測値と計測更新値の組み合わせを用いた変形パラメータの再帰的トラッキングを行っている。

左心室に対する変形可能な輪郭モデルは、３Ｄ心エコー図におけるリアルタイムのボリュメトリックトラッキングに関する例示的な実現形態の役割をする。図面では左心室に関する変形可能輪郭モデルについて図示し説明しているが、本開示の方法は別の心臓構造さらには撮像技法を用いて監視可能な別の内部構造で利用することも可能であることを理解されたい。さらに、本開示は超音波撮像に関する利用に関連させているが、本開示の趣旨の域内で動作させながらＭＲＩやＣＴなど別の様々なタイプの撮像も利用できることが想定される。図面に示したモデルは形状モードと広域的姿勢変形の組み合わせを利用して左心室で予測される変形の範囲を直感的にモデル化している。
［変形可能輪郭モデル］
上述のように、超音波デバイスを利用して患者心臓を監視する間では、左心室などの心臓房室に関する変動する体積をトラッキングすることが望ましいことが多い。本開示の方法の第１の工程では、監視対象の心臓房室を輪郭モデルを利用して先ずモデル化することが必要となる。図示し説明するような実施形態では、輪郭モデル１０は図１のｘ、ｙ及びｚ軸に沿って示すような切頭球体（ｔｒｕｎｃａｔｅｄ ｓｐｈｅｒｅ）である。

本方法は、状態推定アルゴリズムを用いた輪郭トラッキングを利用する。輪郭トラッキングは、映像ストリームにおいて、対象物の内部ではなく傾斜やエッジなどの対象物の境界の特徴に焦点を当てている連続式対象物追跡の一形態である。この方法は、色やテクスチャなど対象物内部の特徴に焦点を当てているブロブ（ｂｌｏｂ）トラッキングとも呼ばれるセグメント分割ベースのトラッキング方式と異なる。

セグメント分割ベースのトラッキングと比較した輪郭トラッキングの利点の１つは、検討を要するのが対象物の内部全体ではなく対象物の境界だけであることにより計算の複雑さが軽減されることである。しかし輪郭トラッキングではその対象物に、対象物の存在検出に利用可能な明瞭なエッジが存在することが必要である。

輪郭モデルは輪郭の描出及びパラメータ化に使用されており、このためトラッキング中の対象物に対するテンプレートの役割をする。例えば多角形、２次及び３次Ｂ−ライン、インプリシット（ｉｍｐｌｉｃｉｔ）カーブ及びパラメータ表面などの多くの形態の輪郭に関するフレームワークがある。唯一の要件は、輪郭モデル上で一定間隔の輪郭点に関してその位置及び法線ベクトルを評価できなければならないことだけである。

このトラッキングフレームワークは、輪郭形状テンプレート
ｐ_ｏ＝［ｐ_ｏ，ｘ Ｐ_ｏ，ｙ Ｐ_ｏ，ｙ］^Ｔ
上の点を変形後の点
ｐ＝［ｐ_ｘ Ｐ_ｙ Ｐ_ｙ］^Ｔ
に変換する輪郭変換モデルＴに基づいており、この際下記の式に従って状態ベクトルｘをパラメータとして使用している。
ｐ＝Ｔ（ｐ_ｏ，ｘ）
上述のパラメータ化は許容可能な変形に関する制約が極めて少ないため、非線形生化学モデルを含む広範囲のパラメータ化変形モデルを使用することが可能である。様々なモデルの使用が可能であるが、その点位置の偏導関数のすべてが変形パラメータの関数として計算可能でなければならない。輪郭法線の変換ではさらに、空間導関数の算定も必要となる。この方式は、その変形のすべてが状態ベクトルにおいて線形でなければならず、したがって偏導関数の算定が全く不要であるような従来の２Ｄ方法で使用される線形形状空間変形と異なる。
［法線ベクトル変換］
変形輪郭モデルの表面上の様々な輪郭点に関する法線ベクトルの算定は、逆空間ヤコビアン行列の転置行列と初期法線ベクトルを乗算し、さらにそのヤコビアン行列の行列式を乗算することにより次式のようにして実施される。

変換モデルの空間ヤコビアン行列は、次式のようにすべてのパラメータに関する変換輪郭点の偏導関数からなる行列である。

［例示的な楕円体モデル］
上述のように、本開示の方法を利用して超音波画像内で左心室を監視しトラッキングする際には、左心室を表すために図１に示すようなものなどの切頭球体輪郭が選択される。切頭球体輪郭を初期輪郭モデルとして選択しているが、左心室の形状及びサイズを全体として再現した別の様々なモデルも利用可能であることを理解されたい。さらに、本発明の方法を監視対象の別の心臓房室や別の臓器の監視に利用する場合、その輪郭モデルは大きく異なる形状を有するように選択される可能性がある。

切頭球体は、円の方程式において切りつめパラメータ（ｔｒｕｎｃａｔｉｏｎ ｐａｒａｍｅｔｅｒ）Ｔを用いてｚを１未満の値まで切りつめることによって規定される点からなる組で表すことが可能である。

楕円体方程式は、頂部−底部運動及び短軸回転のそれぞれに関するパラメータｕ及びｖを用いてパラメータ形式で表現することも可能である。ｕの値はπ／２より小さい値に制限される。すると主輪郭は次式を満足することになる。

この輪郭モデルの有利な特徴は、切りつめ面を除くすべての輪郭法線が関連する点座標と平行となることである。したがって輪郭法線に関して個別のモデルは必要としない。
［楕円体に関する例示的な変換モデル］
切頭球体の輪郭モデルを展開させた後、切頭球体の変換モデルは以下のパラメータからなるように規定される。

Ｔｒａｎｓｌａｔｉｏｎ（ｔｘ，ｔｙ，ｔｚ）
Ｓｃａｌｉｎｇ（ｓｘ，ｓｙ，ｓｚ）
Ｒｏｔａｔｉｏｎ／ｏｒｉｅｎｔａｔｉｏｎ（ｒｘ，ｒｙ）
「Ｂｅｎｄｉｎｇ」（ｃｘ，ｃｙ）
全体としてこれによって、次の１０個のパラメータを包含した状態ベクトルｘが得られる。

したがって提唱する変換モデルは以下のように規定される。

ここで図２を参照すると、変形させた楕円体輪郭１２を表している。図２に示した変形輪郭１２と図１の元の輪郭モデル１０との比較から分かるように、この変形させた輪郭１２は超音波撮像の以前の画像フレームから算定した状態ベクトルに基づいており、変形輪郭モデルが左心室など解析中の心臓房室の実際の物理的構成をより正確に再現するように初期輪郭モデルを変形させている。

上で規定した変換モデルに基づいて、数値評価によるか、コンピュータ代数アプリケーションを用いて閉形式の解を計算することによるかのいずれかによってこの関数から空間及び状態−空間導関数に関するヤコビアン行列を推論することが可能である。
［トラッキングフレームワーク］
本開示で提唱した輪郭トラッキング方式は、幾つかの工程からなるサイクリック処理チェーンに従う。超音波画像の新たな各画像フレームごとに実施される主たる計算工程は以下のように要約することができる。

○ 以前の画像フレームに基づき運動学的モデルを用いて輪郭モデル状態ベクトルを予測する工程
○ この状態ベクトルに基づいて形状テンプレートを変形させて予測輪郭を形成すると共に、関連する法線ベクトル及び状態−空間ヤコビ行列を計算する工程。

○ 変形させた輪郭の予測輪郭点の法線ベクトルに沿って局所的エッジ検出を実施する工程。

○ 情報空間内でエッジ計測値を融合させる工程。

○ 予測輪郭モデル状態ベクトルをエッジ計測値と組み合わせ、更新済み輪郭状態推定値を計算する工程。

図３は、本開示の方法に従って実施される全体的トラッキング分解の概要図である。図３に示すように、予測工程１８では以前の画像フレームに関する状態ベクトル１４及び共分散行列１６を用いて予測状態ベクトル２０及び予測共分散行列２２が生成される。計測工程２４では、この予測状態ベクトル２０及び共分散行列２２を利用して情報ベクトル２６及び情報行列２８が作成される（これについては以下で詳細に説明することにする）。この情報ベクトル２６及び情報行列２８は、更新工程３０において利用される。
［状態予測］
後続する画像フレーム間での輪郭状態を予測するために運動学的モデルが使用される。このモデルは、以前の知見を利用すること、状態ベクトルと共分散行列の予測の両者を得ること、予測の不確定度を指定することによって動作する。次いでこの予測は、より正確な改良値（更新値と呼ぶ）を得るための開始点として用いることが可能であり、この予測は当座フレームからの計測値と組み合わせられてより正確な推定値が形成される。

輪郭トラッキングなど大部分のタイプの映像トラッキングは、形状、整列及び位置のいずれについても非静止状態の移動性で変形可能な対象物を取り扱う。これによって状態予測の複雑さが増大する。というのは以前のフレームからの単純な状態推定値を運動学的モデルに入力するのでは不十分であるためである。その理由は輪郭状態ベクトルには運動すなわち変化率に関する概念が全くないためである。したがって、空間的変化以外に時間的な展開を取り込むための方策が必要である。

トラッキングしている対象物に関する運動の減衰、形状及び姿勢の正規化並びに変形パラメータの許容変化率などの運動学的特徴を取り込むことが可能であることが望ましい。これらの特徴の活用は、検索空間を制約することによってトラッキングをガイドするのに役立てることができ、他方これを用いて輪郭に関して異常値エッジを棄却すると共に時間的コヒーレンスを課すことが可能である。

好都合にも、カルマンフィルタの状態予測段階によればこうしたモデル化に関するフレームワークが提供される。直前の２つの画像フレームからの少なくとも２つの後続の状態推定値を包含するように状態ベクトルを補強すると共に第２次自己回帰モデルを形成することによって、位置に加えて運動のモデル化を実現することが可能である。さらに、平均状態ｘ_０からの偏差に注目しながら時間ステップｋ＋１における状態

を予測する運動学的モデルは次式で表現することが可能である。

上式において

は時間ステップｋからの推定状態である。行列Ａ_１及びＡ_２の係数を調整することによって、すべての変形パラメータに関する平均状態ｘ_０に向けた減衰や正規化などの特徴のチューニングを実施することが可能である。予測不確定度も同様に、関連する共分散更新方程式で使用される処理ノイズ共分散行列Ｂ_０に対する操作によって調整することが可能である。次いでこの後者によってそのパラメータ値の変化が許容される割合が制約を受けることになる。

全体的フレームワークに対して変更を加えることなく、より高次のモデルや非線形モデルを含む別の運動学的モデルを使用することもできる。
［輪郭変形］
以前の画像フレームに基づいて輪郭モデルに関する予測状態ベクトルｘを算定した後、この予測状態ベクトルと連係して変換モデルを使用することにより、本開示の上で示したような予測状態ベクトルに基づいた関連する法線ベクトルｎを伴う輪郭点ｐが生成される。

拡張型カルマンフィルタを用いたエッジ計測値の処理では、輪郭点位置の変化を輪郭状態の変化に関連させるために予測状態ベクトルの位置で状態−空間ヤコビ行列を評価することが必要である。したがってさらに、すべての変換パラメータに関する輪郭点の偏導関数からなるように、各輪郭点に対して個別にヤコビアン行列を算定しなければならない。

［エッジ計測］
上で記載したように輪郭変形が生成された後、図４に示すようにトラッキング中の構造３３の内壁に沿って輪郭点３１の実際位置を決定するためのエッジ検出が実施される。一例として、左心室の内壁に沿って輪郭点を決定するためのエッジ検出が実施される。エッジ検出は、超音波画像などの画像内でエッジの有無及び位置を検出する処理である。エッジは通常、短かい空間スケールにわたって生じる画像強度の任意の大きな変化であると規定される。エッジを検出するための方策は数多くありかつ多様である。最もよく用いられる手順は、画像強度の任意の変化を強調する処理である空間微分フィルタ処理である。次いで後続のしきい値によって存在する任意のエッジの位置が明らかとなる。この方式に関する問題点の１つは、これによりエッジが強調されるだけではなくノイズも強調され、これにより本方法の頑強性が制限されることである。したがって本開示は、様々なタイプのエッジ検出を利用することになる。

さらに、エッジ検出に対する法線方式は通常、画像全体を処理するため、画像が数百万画素を含み得ることから計算上の要求が厳しくなり兼ねない。しかし本開示の輪郭トラッキング方式では、検討するのが輪郭法線だけであるため状況が改善される。したがって、画像全体の処理は不要であり、各エッジごとに検討するのが数画素で済むようなより単純なエッジ検出へ道が開かれる。

本開示によれば、本開示の趣旨の域内の操作をしながらステップエッジ検出かピークエッジ検出モデルのいずれかを利用できることが企図される。さらに、本開示の趣旨の域内にあるような別のエッジ検出方法も企図される。

エッジ計測値は、トラッキング中の対象物の方向に予測輪郭をガイドするために使用される。この操作は、運動学的モデルから推論される予測輪郭３５の表面上の予測点３４と、輪郭表面を基準としてある方向で検索することによって見出された実際の画像エッジ３３との間の距離の計測し、これによって変位計測値ｎを得ることによって実施される。輪郭表面の法線方向で実施されるこのタイプのエッジ検出のことを法線変位（ｎｏｒｍａｌ ｄｉｓｐｌａｃｅｍｅｎｔ）と呼ぶ。しかしエッジ計測は、本発明の趣旨域内に留まりながら法線方向以外の方向で検索することによって実施することも可能である。

関連する法線ベクトルｎを伴う予測輪郭点ｐと計測エッジ点ｐ_ｏｂｓとの間の法線変位は、図４に示すようにこれらの点間の距離の法線投影となるように規定される。

上式はベクトル形式では次式となる。

各変位計測値はそのエッジに関連する不確定度を指定する計測ノイズｒの値と結合させており、この不確定度は、すべてのエッジに対して一定とすることや、エッジ強さや別の不確定度計測値に依存させることがある。

関連する計測ノイズを伴うこの変位計測値の選択によって広範囲の可能なエッジ検出器の利用が可能となる。エッジ検出器に関する唯一の要件は、予測輪郭点に対する各検索法線について最も有望なエッジ候補を特定すると共に、この候補に対して不確定度値を割り当てなければならないことだけである。

カルマンフィルタにおいて各エッジ計測ごとに必要となる線形化計測モデルは、エッジ計測と同じ状態−空間ヤコビ行列に対する変換、すなわちその法線ベクトル投影を取ることによって作成される。

これによってその変位を輪郭状態の変化に関連させる個別の計測ベクトルｈが各変位計測ごとに得られる。
［計測融合］
ここで図５を参照すると、図５はこの点に合わせて記載した本開示の各工程を表している。図５に示したように、輪郭モデル上の点ｐ_０とｎ_０は変形工程３２に示したような予測状態ベクトル２０を用いて初めに変形を受ける。工程３２における輪郭モデルの変形では、輪郭変換モデルＴを利用して予測輪郭点３４及び予測法線ベクトル３６を生成している。同時に、計測モデルの状態−空間ヤコビアンに基づいた計測ベクトル３８が生成される。

計測工程２４において本方法は、エッジ計測技法を用いて当座画像フレーム上で実輪郭点の位置を決定する。図示した本発明の実施形態では、本方法は４００〜６００個のエッジ検出点を利用する。好ましい一実施形態では、本方法は５００個のエッジ検出点を利用する。

計測した実際のエッジ検出点に基づいて、本方法は次いで変位値ｖ（４０）及び計測ノイズ値ｒ（４２）を算定する。

値及び変数が算定されると、本方法は次いで融合工程４４を利用する（これについては以下で詳細に説明することにする）。

計測値の数は典型的には状態次元の数をはるかに超えるため、輪郭トラッキングにより特殊問題構造が生成される。記載した実施形態では、本システムは各画像フレームごとに４００〜６００個の輪郭点を算定しており、またその状態ベクトルは１０個のパラメータを含む。したがって、定常（Ｏｒｄｉｎａｒｙ）カルマン利得算定では、計測値の数（５００×５００）に等しい次元による逆行列生成が必要となるため計算上対処が困難となる。

別のある方式は、カルマンフィルタにおける計測更新工程を、状態更新工程の前に情報空間内で融合させた計測値を受け容れるように変更することによってこの問題を回避している。輪郭トラッキング装置でリアルタイム性の性能を実現するために変位計測値を効率よく処理しなければならないためにこのことが重要となる。

この方式は、計測の情報空間内での効率のよい加算が可能であるような非相関の計測値を前提として構築されている。非相関計測値では対角計測値共分散行列が得られるためこれが可能となる。次いですべての計測情報を加え合わせて、計測値数に対して不変の次元をもつ情報ベクトル及び情報行列にすることが可能である。次いで計測値に対する情報ベクトル及び情報行列の算定は次式のように簡略化される。

［計測値更新］
情報フィルタ形式の計測値ではカルマンフィルタの状態更新工程に対する変更が必要である。このことは、時間ステップｋにおける更新状態推定値

に関してカルマンフィルタの情報フィルタ公式を用いることによって実施することができる。

状態次元より大きい次元をもつ逆行列の生成を回避するために、更新誤差共分散行列

は情報空間内で同様に算定することが可能である。

更新状態推定値

及び共分散行列

が算定された後に、次いでこれらの値を上に記載した方式で利用し輪郭モデルを更新する。ここでこの更新輪郭モデルは当座画像フレームから直接得た計測値に基づいている。

輪郭モデルが更新された後、この更新した輪郭モデルを利用して解析対象領域の体積を決定することが可能である。一例として解析対象領域が左心室であれば、更新輪郭モデルを利用して超音波画像から当座画像フレームの間に左心室の体積を決定することが可能である。

上述のように本開示の処理技法及び方法を使用すると、超音波などの連続撮像技法の各フレームごとに更新輪郭モデルを生成することが可能である。上述した処理技法及び方法は、状態ベクトルを用いて情報空間内で実施されており、これにより次の画像フレームの作成前に個々の各画像フレームごとに更新輪郭モデルを作成することが可能となる。この処理方法は、監視やトラッキングを受ける３Ｄ領域に関する輪郭モデル並びに体積など様々な計測パラメータの生成を可能にする。従来の方法及びシステムでは、左心室などの領域に関する体積計測値の算定において、画像フレームが作成された後に大規模な処理工程が必要であった。したがって本開示の方法によれば、体積などの様々な計測を超音波撮像事象中にリアルタイムで算定することが可能となる。

ここで図６を参照すると、本発明の方法を用いて実施される一例を表している。図６では、左心室の像を含む超音波画像４６を示している。本開示の方法では、超音波画像４６の上に重ね合わせた初期輪郭モデル４８を表している。これから明瞭に理解できるように、輪郭モデル４８の次元は超音波画像内に表された心臓房室と一致していない。

上述した工程に続いて、以前の超音波画像フレームからの情報、並びにエッジ検出方法を含む上述した更新工程を利用して輪郭モデル４８が更新される。この更新工程に続いて、解析対象の心臓房室のサイズ及び形状とより密に一致するように更新輪郭モデル５０を展開させる。

更新輪郭モデル５０を展開させた後、従来のアルゴリズム及び技法を用いて更新輪郭モデルの体積を容易に算定することができる。次いでこの算定された体積は、超音波画像を監視しながらリアルタイムでユーザ／オペレータに対して表示させることができる。

この記載では、本発明（最適の形態を含む）を開示するため、並びに当業者による本発明の製作及び使用を可能にするために例を使用している。本発明の特許性のある範囲は添付の特許請求の範囲によって規定していると共に、当業者により行われる別の例を含むことができる。こうした別の例は、特許請求の範囲の文字表記と異ならない構造要素を有する場合や、特許請求の範囲の文字表記と実質的に差がない等価的な構造要素を有する場合があるが、特許請求の範囲の域内にあるように意図したものである。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。

切頭球体輪郭を表した図である。 本開示の方法に基づいて切頭球体輪郭を変形させる一例を表した図である。 全体的トラッキングフレームワーク分解を表した図である。 予測される輪郭上の点の法線ベクトルに沿った法線変位計測を表した図である。 輪郭モデルの更新及びトラッキングに使用される方法の各工程を表した図である。 変形前における、左心室の超音波画像の上への輪郭モデルの重ね合わせを表した図である。 更新し変形させた輪郭モデルの重ね合わせを表した図６と同様の図である。

符号の説明

１０ 輪郭モデル
１２ 変形させた輪郭
１４ 状態ベクトル
１６ 共分散行列
１８ 予測工程
２０ 予測状態ベクトル
２２ 共分散行列
２４ 計測工程
２６ 情報ベクトル
２８ 情報行列
３０ 更新工程
３１ 実輪郭点
３２ 変形工程
３３ 実際の構造
３４ 予測輪郭点
３５ 予測輪郭
３６ 予測法線ベクトル
３８ 計測ベクトル
４０ 変位値
４２ ノイズ値
４４ 融合工程
４６ 超音波画像
４８ 輪郭モデル
５０ 更新輪郭モデル

Claims (10)

1. 複数の連続画像フレームを含む３Ｄ画像内で３Ｄ構造をリアルタイムトラッキングする方法であって、
   トラッキングを受ける３Ｄ構造を表す輪郭モデル（１０）を選択する工程と、
   以前の画像フレームに基づいて前記輪郭モデル（１０）に関する予測状態ベクトル（２０）を生成する工程と、
   前記予測状態ベクトル（１４）に基づいて前記輪郭モデル（１０）を変形させる工程（３２）と、
   ３Ｄ画像の当座画像フレームから前記３Ｄ構造に関する複数の実輪郭点（３１）を決定する工程と、
   複数の実輪郭点（３１）と複数の予測輪郭点（３４）の差に基づいて変位値（４０）及び計測ベクトル（３８）を決定する工程と、
   最小自乗法を利用して情報空間内で前記変位値（４０）と計測ベクトル（３８）を融合させ（４４）、更新状態ベクトル及び更新共分散行列を作成する工程と、
   前記更新状態ベクトルに基づいて前記当座画像フレームに関する更新輪郭モデル（５０）を作成する工程と、
   を含む方法。
2. 前記３Ｄ画像は超音波によって収集される、請求項１または請求項２のいずれかに記載の方法。
3. 前記３Ｄ構造は心臓房室である、請求項１または請求項２のいずれかに記載の方法。
4. 前記心臓房室は左心室である、請求項３に記載の方法。
5. 左心室に関する前記選択輪郭モデルは非線形変形モードによる切頭球体である、請求項４に記載の方法。
6. 前記複数の予測輪郭点（３４）並びに該予測輪郭点（３４）の各々に関する法線ベクトルを前記変形輪郭モデル（１２）に基づいて作成する工程をさらに含むと共に、前記変位値（４０）は該予測輪郭点（３４）に関する法線ベクトル（３６）に沿った実輪郭点（３１）と予測輪郭点（３４）の間の差に基づいて決定されている、請求項１または請求項３のいずれかに記載の方法。
7. 前記変位値（４０）と計測ベクトル（３８）を情報空間内で融合させ情報ベクトル（２６）及び情報行列（２８）が生成されており、該情報ベクトル（２６）及び情報行列（２８）は更新状態ベクトル及び更新共分散行列を作成するようにカルマンフィルタを用いて処理されている、請求項１または請求項３のいずれかに記載の方法。
8. 次の画像フレームの作成前に前記更新輪郭モデル（５０）に基づいて前記３Ｄ構造の表面を算定する工程をさらに含む請求項１または請求項３のいずれかに記載の方法。
9. 前記予測状態ベクトルは直前の２つの画像フレーム及び運動学的モデルから決定された更新状態ベクトルを利用している、請求項１または請求項３のいずれかに記載の方法。
10. 前記更新輪郭モデル（５０）の表面に基づいて前記３Ｄ構造の体積を算定する工程をさらに含む請求項８に記載の方法。