JP2019534764A - 追跡方法によって取得された動的モデルを補正するための方法及び装置 - Google Patents

Abstract

本発明は、動きのある構造体２の動的モデル４を補正するための方法及び装置に関し、前記動的モデルは追跡方法によって取得される。本方法は、（ａ）時間的に連続的に記録される動きのある構造体２の画像Ｂの時系列を提供するステップと、（ｂ）構造体２の動的モデル４を提供するステップであって、前記動的モデルが追跡方法によって取得される、ステップと、（ｃ）画像Ｂにおける位置時間セクションｈを決定するステップと、（ｄ）少なくとも１つのコンピュータグラフィカルオブジェクト１０として動的モデル４の表現と結合された、画像における位置時間セクションｈの随意に補間された画像値の経時的な位置時間表現６を提供するステップと、（ｅ）特にユーザによって、少なくとも１つのコンピュータグラフィカルオブジェクト１０を周囲画像コンテンツ８と比較するステップと、（ｆ）特にユーザによって、少なくとも１つのコンピュータグラフィカルオブジェクト１０を編集することによって動的モデル４を補正するステップとを有する。

Description

本発明は、複数の画像内にキャプチャされた動きのある構造体（ｓｔｒｕｃｔｕｒｅ）の動的モデルを補正するための方法、装置及びコンピュータプログラムに関し、前記動的モデルは追跡方法によって取得される。

いわゆる追跡方法では、画像シーケンス中の動的構造体が自動的に追跡される。これの一例は、超音波画像の場合のいわゆるスペックル追跡であり、いわゆる「スペックル」は、超音波波長が反射粒子又は細胞のサイズよりも大きいことによって生じる、超音波検査中の解剖学的構造体の特有の干渉パターンである。これらの干渉から超音波画像の特有の粒状外観が生じる。しかしながら、このスペックルパターンは、画像シーケンスの範囲内のある画像から次の画像まで特定の解剖学的構造体を追跡し、その結果として構造体の動的モデルを取得するために使用され得る。知られている一例は、たとえば、超音波画像の時系列（ｔｉｍｅ ｓｅｒｉｅｓ）における心内膜輪郭の追跡である。他のタイプの画像、たとえば、動的磁気共鳴画像化（ＭＲＩ）画像では、追跡方法において、提示された構造体の特有の特徴がスペックルの代わりに使用され得る（これは特徴追跡と呼ばれる）。

３次元リアルタイム（ＲＴ３Ｄ）心エコー検査画像上で心筋の動きを追跡するコンテキストにおける３次元（３Ｄ）スペックル追跡アルゴリズムの原理は、たとえば、Ｌｏｒｓａｋｕｌ，Ａｕｒａｎｕｃｈらの「Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ｏｆ ｒｅａｌ−ｔｉｍｅ ３Ｄ ｓｐｅｃｋｌｅ ｔｒａｃｋｉｎｇ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｃａｒｄｉａｃ ｓｔｒａｉｎ ａｓｓｅｓｓｍｅｎｔ」、Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ、ＥＭＢＣ、２０１１ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ、ＩＥＥＥ、２０１１に記載されている。スペックル追跡によって取得された心内膜輪郭モデルの一例は、Ａｕｇｅｒ，Ｄｏｍｉｎｉｑｕｅらによる論文「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｉｎｇ ｉｎ ｃａｒｄｉａｃ ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｔｈｅｒａｐｙ」、Ｒｅｖｉｓｔａ Ｅｓｐａｎｏｌａ ｄｅ Ｃａｒｄｉｏｌｏｇｉａ（Ｅｎｇｌｉｓｈ Ｅｄｉｔｉｏｎ）２０１１、６４（１１）：１０３５〜１０４４の図２に見られ得る。

スカルプトモデリング又は３Ｄスカルプティングとしても知られる、デジタルスカルプティングでは、デジタルオブジェクトが粘土などの現実の物質から作られたかのように、デジタルオブジェクトを押すか、引くか、滑らかにするか、つかむか、はさむか、又はさもなければ操作するためのツールを提供するソフトウェアを使用する。

最近の多くの追跡方法は自動的に動作し、すなわち、動きのある構造体の動的モデルを完全に自動的に作成することが可能である。しかしながら、追跡方法において起こり得る誤差を見つけることは、大きい困難を伴って初めて可能となる。ユーザが検証することを可能にするために、画像シーケンスとともに動的モデルをオーバーレイして提示することが考えられ、すなわち、動的モデルと追跡されるべき対象構造体とが同期的に動く場合、追跡は正しい。顕著な誤差は、このようにして認識可能であるが、追跡されるべき対象構造体と動的モデルとの両方が動くので、このようにして識別される誤差を補正することは極めて困難である。

したがって、本発明の目的は、単純な様式で、複数の画像内にキャプチャされた動きのある構造体の動的モデルの正確な補正を容易にすることであり、前記動的モデルは追跡方法によって取得される。

本発明は、請求項１に記載の方法、請求項１２に記載のコンピュータプログラム、及び請求項１４に記載の装置によってこの目的を達成する。

本発明による方法では、（画像シーケンスとも呼ばれる）時間的に連続的に記録される画像の時系列が最初に提供され、動きのある構造体は、前記画像内に少なくとも部分的に画像化される。画像シーケンスは、特に、たとえば、２Ｄ、３Ｄ又は４Ｄの超音波、磁気共鳴画像化（ＭＲＩ）、Ｘ線検査、特に透視の、コンピュータ断層撮影（ＣＴ）、ＳＰＥＣＴ（単光子放射コンピュータ断層撮影）、ＰＥＴ（陽電子放射断層撮影）、或いは赤外線画像化など、医療画像化方法によって、直ちに、又は本発明による方法を行ういくらか前に（又はその方法の一部として）収集され得る。ただし、画像シーケンスは、たとえば、動きのある車両のカメラによって記録された、動きのあるシーンの光学ビデオ記録でもあり得る。必要とされる時間分解能は、関心の動きのある構造体の動きに依存し、前記動きのある構造体は、連続して記録される画像の少なくとも大部分中に少なくとも部分的に画像化される。

画像は、２次元（２Ｄ）又は３次元（３Ｄ）画像データ記録、すなわち、デジタル画像データ、特に、画像値をもつ２次元又は３次元行列である。したがって、画像の時系列は、しばしば、たとえばムービーのような、ある時間期間にわたって連続的に記録された２Ｄ又は３Ｄ画像のシーケンスである。画像値はたとえばＢモード超音波で一般に行われているように、グレースケール値であり得るが、光学画像又はビデオの場合、カラー値でもあり得る。したがって、２Ｄ画像は、画像値の、たとえば、０から２５５の間の値を有するグレースケール値の２Ｄ行列である。

本発明は、たとえば、特に経胸壁心超音波によって、人間又は動物の心臓の約１０〜３０個の画像が毎秒収集される、心エコー検査においてとりわけ好ましく適用される。画像は、２Ｄ又は３Ｄ画像のシーケンスであり得る。

次のステップでは、追跡方法によって取得された構造体の動的モデルが提供され（又は生成され）、前記動的モデルは画像にレジストレーションされる。したがって、そのような動的モデルは、いくつかのマーキング（たとえば、スペックル要素）が、時系列の第１の画像上で、特に、自動的に又はユーザによって認識及びマークされることと、これらのマークの動きが画像ごとに追跡されることとによって生成される。その結果、動きのある構造体のいくつかのポイント／マーク／ランドマークを追跡し、各画像内のその位置を決定することが可能である。次いで、各画像上の追跡された点が連結されて輪郭又は表面になり、輪郭又は表面は、その位置又は形状を系列中のある画像から次の画像までに変え、これは動的モデルによって表される。追跡方法は、超音波画像の場合、スペックル追跡方法であり得、それは、他の画像化方法又は光学画像における、いわゆる特徴追跡方法であり得る。好ましくは、動的モデルは、ステップ（ａ）において提供される画像の時系列に適用される追跡方法によって取得され、その場合、動的モデルは画像の時系列に自動的にレジストレーションされる。

好ましくは、これらの位置情報項目は、動的モデルとして記憶される。モデルは、単に座標情報項目を含んでいることがあるが、モデルは、追跡されるデータのある抽出をも含んでいることがある。例として、構造体のある表面要素を、グリッド、ワイヤフレーム、又はメッシュモデルの形態で記憶することが可能であり、グリッド、ワイヤフレーム、又はメッシュモデルでは、ノードのみが記憶され、ノード間のエリアは、三角形又は他の幾何学的表面を用いて補う。たとえば、動きのある構造体は、モデル中で、多角形の相互接続された表面メッシュによって表される。ただし、動的モデルは、数学的関数としても提供され得る。好ましくは、動的モデルは、動きのある構造体のわずかに簡略化された近似である。

動的モデルは、好ましくは、たとえば、経時的に３つの空間的方向においてその位置及び／又は形状を変える、１Ｄ又は２Ｄモデルである。たとえば、２Ｄ画像の時系列の場合、動的モデルは、器官の境界、或いは、心内膜など、心筋と心室又は心房内の血液との間の境界の表現である。動的モデルが展開される元となる画像が２Ｄ画像であるので、動的モデルは、経時的に形状が変化する、場合によっては湾曲した１Ｄ線である。３Ｄ画像の時系列の場合、好ましくは、動的モデルは、たとえば、器官の境界、又は心筋と血液との間の境界を表す湾曲面の２Ｄモデルである。

動きのある構造体は、医療画像の場合、動きのある器官、たとえば、人間又は動物の心臓であるが、血管、肺、胸部などの他の動きのある器官、又はそうでなければ、動きのある外科用器具、たとえば、カテーテルでもあり得る。ただし、本発明は、ビデオシーケンス中の動きのある構造体又は物体の分析にも適用され得、この場合、動きのある構造体は、たとえば、他の道路利用者である。画像シーケンスが記録されるカメラが動く場合、「動きのある構造体」は、随意に静的物体でもあるが、その静的物体はカメラに対して動く。

動的モデルは画像にレジストレーションされ、すなわち、画像座標に対するモデルの位置は、系列中の画像ごとに知られる。したがって、たとえば、モデルを系列の１つ又は複数の画像上にオーバーレイすることが可能である。純粋に理論的観点から、そのようなオーバーレイされた提示でモデルを補正することも可能である。しかしながら、これは、補正が画像系列の各画像内で個々に行われなければならないので、極めて消耗的であるとわかった。

ここで、本発明は、位置時間セクション（ｐｏｓｉｔｉｏｎ ｔｉｍｅ ｓｅｃｔｉｏｎ）、特に１次元位置時間セクションが時系列の画像内で決定されることによって、簡略化された補正オプションを提供する。好ましくは、これは、たとえば、時系列の第１の画像内にユーザによってもたらされるが、これは、自動的に実現されることもある。位置時間セクションは、時系列のすべての画像内で同じ画像座標を有することがある（すなわち、同じ位置時間セクションが、いわば、すべての画像について使用される）が、更に以下でより詳細に説明されるように、位置は、異なる画像について異なることもある。特に、位置時間セクションは、１次元、たとえば、直線又は曲線であり、好ましくは直線であり、これは、たとえば、ユーザによって画像のうちの１つ中にプロットされ得、好ましくは、関心の動きのある構造体と交差する。以下では、位置時間セクションは、したがって、位置時間線又はベクトルｈと呼ばれることがある。

位置時間セクションが画像の各々中に設定された後、位置時間表現がセクションに基づいて生成され、すなわち、位置時間セクションの画像値が、たとえば、画像のピクセル値の補間によって決定される。これは、本発明の有利な構成において、位置時間セクションが、画像の２Ｄ又は３Ｄ画像データ記録を通して任意の配向を仮定するので、必要とされる。この場合、画像値は、いくつかの構成では、それぞれの隣接ピクセルを補間することによって決定される。代わりに、位置時間セクションに最も近いピクセルの画像値を採用することも可能である。

位置時間表現では、次いで、時系列の各画像の位置時間セクションの画像値は連続して提示され、典型的には、この場合、一方の軸（たとえば、ｙ軸）は空間軸であり、他方の軸（たとえば、ｘ軸）は時間軸である。このタイプの提示は、位置時間セクションが、２Ｄ又は３Ｄ画像を通して任意の配向を仮定し、それが、トランスデューサ又は超音波の可能な方向に制限されないことを除いて、Ｍモード超音波画像と同様である。

この位置時間表現は、少なくとも１つのコンピュータグラフィカルオブジェクトとして動的モデルの表現と結合される。例として、コンピュータグラフィカルオブジェクトは、それぞれの位置時間セクション上の動的モデルの位置をマークする、線、点のグループ、又は他のグラフィカル要素である。

この位置時間表現は、特にユーザによる、１つ又は複数のコンピュータグラフィカルオブジェクトと、周囲画像コンテンツとの比較、すなわち、位置時間セクションの（随意に補間された）画像値との比較を可能にする。この比較の結果として、時系列の単一の画像内だけでなく、時系列のすべての画像内でも直ちに、動的モデルの精度を確認することが可能である。

更に、特にユーザによって、少なくとも１つのコンピュータグラフィカルオブジェクトを編集することによって動的モデルを補正するためのオプションが提供される。有利な構成では、ユーザは、たとえば、コンピュータグラフィカルオブジェクトを変位させるか又は曲げるオプション、或いは個々の点の位置を適応させるオプションなどを有する。いくつかの実施形態では、コンピュータグラフィカルオブジェクトは線であり、ユーザは、線中の点を変位させることによって、線中にくぼみを設定することができ、くぼみは、好ましくは自動的に丸められる。いくつかの実施形態では、線又は編集された線は、スプライン関数に対応する。例として、点は、編集に従って変位させられ、残りの点は、スプライン関数に従って「ドラッグ」される。スプライン関数の代替として、できるだけ「滑らか」になる、時間プロファイルの補間、すなわち、位置時間表現において可視である動きパターンの補間を容易にするために、動きのある構造体の予想される動きパターンに適応される他の動きモデル又は関数を使用することも可能である。例として、時系列が、投げられたボールのビデオシーケンスである場合、スプライン補間の代わりに、十分なキネマティックモデルが使用され得る。

好ましくは、補正は、ユーザによって着手されるが、自動補正も考えられ、画像コンテンツとコンピュータグラフィカルオブジェクトとの比較が、たとえば、自己学習アルゴリズムを用いて、コンピュータによって自動的に行われる。

コンピュータグラフィカルオブジェクトが適宜に編集された場合、この変更は動的モデルに伝達され、したがって、動的モデルも、それに応じて変更される。このステップのための好適な技法が、たとえば、「デジタルスカルプティング」での３Ｄコンピュータグラフィックスの領域内で、知られている。デジタルスカルプティングでは、デジタルオブジェクトが粘土などの現実の物質から作られたかのように、デジタルオブジェクトを押すか、引くか、滑らかにするか、つかむか、はさむか、又はさもなければ操作するためのツールを提供するソフトウェアを使用する。したがって、コンピュータグラフィカルオブジェクトは、たとえば、並進ベクトルに沿って１つの点をつかみ、引くことによって、わずかに操作される。この並進ベクトルは、動的モデル上の対応する位置及び時間点に伝達され、動的モデルは、それに応じて、並進ベクトルに沿ってその位置における点及び時間における点を移動することと、たとえば、モデルがゴム又は粘土からできているかのように、ソフト補間を用いて、（時間及び／又は空間に関して隣接する）モデル上の隣接点を同調する（ｅｎｔｒａｉｎ）こととによって操作される。

有利な実施形態では、動的モデルは、特に平面構造体、たとえば、心臓の心室の内面又は外面（心内膜又は心外膜）を追跡することによって作成され、したがって、動的モデルは、少なくとも部分的に、動きのあるモデル表面を示す。例として、動的モデルは、収縮する心室の内面を表すことができる（Ｂｅｕｔｅｌ（登録商標）モデル）。

この場合、少なくとも１つのコンピュータグラフィカルオブジェクトは、好ましくは、経時的にプロットされた、モデル表面との、又は位置時間セクション上へのモデル表面の投影との位置時間セクションの交点に対応する線である。この場合、位置時間セクションは、画像のうちの少なくともいくつかにおけるモデル表面と交差する。

有利な実施形態では、１つの位置時間セクションが設定されるだけでなく、代わりに、たとえばモデル表面の異なる点において、複数の前記位置時間セクションが設定され、次いで、動的モデルの表現と結合された、画像値の複数の位置時間表現が、同じく、連続的に又は同時に実行される。更に、画像内に画像化される異なる動きのある構造体、たとえば、心内膜及び心外膜を追跡する複数の動的モデルを提供することが可能である。このようにして、複数のコンピュータグラフィカルオブジェクトを位置時間表現と結合することも可能である。

例として、結合された表現は、コンピュータグラフィカルオブジェクトが位置時間セクションの画像値上にオーバーレイされるか、又はコンピュータグラフィカルオブジェクトと周囲画像コンテンツ（すなわち、画像値）との間の対応するコントラストが異なるやり方で確立されることを意味する。これは、異なる配色（ｃｏｌｏｒ ｓｃｈｅｍｅ）としても実現される。

有利な構成によれば、動的モデルは位置時間表現上の直線によって表され、位置時間セクションの画像値の位置は、時系列の各画像について、適宜に適応され、特に変位させられる。すなわち、言い方を変えれば、動的モデルの表された点は、位置時間表現中の同じ位置に常にとどまり、したがって、コンピュータグラフィカルオブジェクトは直線である。動的モデルが画像にレジストレーションされるので、対応する画像コンテンツ、すなわち、それぞれの位置時間線又は表現は、時系列中の各画像について対応して変位させられる。これは、追跡方法における誤差が、画像コンテンツが、その場合「間違って」変位させられるので、位置時間表現において、誤差自体を極めて明らかに顕著にし、たとえば、位置時間表現における不連続性によって明らかに識別可能にするという点で有利である。

これは、動的モデルがこの点において緊急に補正されなければならないという指示をユーザに提供する。

本発明の有利な構成では、位置時間セクションは、時系列の個々の画像において異なる位置、方向及び／又は長さを有する。ここで、時系列の個々の画像内の位置時間セクションが、動きのある構造体又は動きのある構造体の動的モデルとともに移動されれば、有利である。これは、位置時間セクションが（絶対座標系中の）空間中の同じセクションを示さないが、位置時間セクションが、動きのある構造体のほぼ同じセクションを常に示すという点で有利である。すなわち、位置時間セクションは、解剖学的構造、たとえば、鼓動している心臓の動きに従う。これは、様々なやり方で実現され得る。

例として、画像シーケンスの第１の画像内の位置時間セクションと、画像シーケンスの最後の画像内の位置時間セクションとの両方を手動で定義し、残りの画像についてこれらの２つの末端位置間の位置、整合又は長さを補間することが可能である。代替的に、位置時間セクションはまた、画像シーケンスの複数の個々の画像内で手動で決定され得る。ここで、ユーザが、ユーザインターフェース、たとえば、スライダー、（スクリーン又は物理的スライダー上の）ノブ、又はタッチスクリーンのスワイプ機能を介して入力要素を提供されれば、有利であり、ユーザインターフェースによって、前記ユーザは、画像シーケンス全体について、及び／又は各場合における個々の画像について、位置時間セクションの位置、配向及び長さを手動で適応させることができる。ユーザが時間的に様々な画像の間にある画像についての位置時間セクションを決定した、それらの画像間の位置時間セクションの位置、配向及び／又は長さの自動補間があれば、好都合である。

位置時間セクションを動きのある構造体に同調することは、追跡される動的モデルを通して実現され得、この場合、位置時間セクションは、それが動的モデルと交差するか又は動的モデルを通る点において、画像シーケンス全体にわたってしっかりと固定されたままであり、すなわち、位置時間セクションは、動的モデルによって効果的に同調される。１つ又は複数の動的モデルとの複数の交点がある場合、位置時間セクションは、両方の交点で固定され得、その結果、位置時間セクションは、その位置に関して、また、その整合及び／又は長さに関しても同調され得る。したがって、有利な実施形態では、位置時間セクションは、並進、回転、変形、及び／又は長さの変化によって、動きのある構造体又は動きのある構造体の動的モデルに同調される。

同調することは、追跡される動的モデルが対象構造体をうまく画像化する場合、位置時間表現が極めて均質に見え、たとえば、時間方向に延在するストライプの定常パターンを呈するという点で有利である。追跡中に誤差が生じ、動的モデルが構造体に適合しない場合、位置時間表現のストライプパターンは非定常であり、及び／又は不連続性を有し、これは、補正の必要を明らかに示す。

有利な構成では、構造体は解剖学的構造体、特に心臓であり、動的モデルは心室の輪郭モデルである。

特に有利な実施形態では、２つの追跡されるモデルが使用され、一方のモデルは心筋層の内側（心内膜）を追跡し、他方は、外側（心外膜）を追跡する。この結果として、心筋層の局所壁肥厚を表し、随意に補正することも可能である。有利な実施形態では、時系列の画像における位置時間セクションの長さは、心腔の時間変動肥厚に適応される。ここで、筋肉の肥厚は、位置時間セクションに沿った空間サンプリングレートの低減によって補償される。心臓壁は、次いで、モデル化された肥厚が、画像信号中で発生する実際の肥厚に対応する場合、位置時間表現において一貫して厚く見える。ここで、２つの動的モデルが使用され、一方の動的モデルが心筋層の内側（心内膜）を追跡し、他方が外側（心外膜）を追跡する場合、モデル化された肥厚からの偏差を認識し、補正することが可能である。

任意の１次元ジオメトリが位置時間セクションに好適である。例として、位置時間表現のための追跡される線、たとえば、心臓の心筋層を通る中心線に沿ったグレースケール値も使用され得る。したがって、モデル及び位置時間セクションｈは同等である。表現は、純粋に水平の構造によって特徴づけられる。ただし、接線方向動き成分が誤っていた場合、これは、上記で説明されたように補正され得る局所波パターンを生じる。次いで、コンピュータグラフィカルオブジェクトの表現が、モデルに沿った任意の点において選択され得る。補正は、追跡される線の接線方向変形において反映される。代替的に、複数の線が、同様に同時に重畳され得る。

本発明はまた、コンピュータプログラムであって、コンピュータプログラムがコンピュータ上で実行されるとき、本発明による方法を行うようにコンピュータに促すソフトウェアコードセクションを含んでいる、コンピュータプログラムを対象とする。このコンピュータプログラムは、インターネットを介してダウンロード可能でもあり、データ媒体、たとえば、ＣＤ−ＲＯＭ、ＵＳＢスティック、ハードディスクドライブ、メモリカードなどに記憶されることもある。

本方法は、この目的で構成された任意の通常のコンピュータ、特に、クラウド内のサーバクライアントシステム、ＰＣ、ワークステーション、又はそうでなければ、ノートブック、ラップトップ、タブレットコンピュータ、スマートフォンなどのモバイルデバイス上で実行されるか、或いはスクリーン及び入力オプションを有する他の電子デバイス上で実行され得る。

本発明はまた、複数の画像内にキャプチャされた動きのある構造体の動的モデルを補正するための装置を対象とし、前記動的モデルは追跡方法によって取得され、前記装置は、本発明による方法を行うように構成される。そのような装置は、データメモリと、ＣＰＵ又は他のコンピュータチップなどの１つ又は複数の計算ユニットとを備える。その上、スクリーン又は他のディスプレイデバイスが存在し、随意に、ユーザが位置時間表現中のコンピュータグラフィカルオブジェクトを編集することを可能にする入力装置が存在する。入力装置は、タッチスクリーン、マウス、キーボードなどであり得る。

以下に、例示的な実施形態に基づいて本発明がより詳細に説明され、添付の図面の参照が行われる。

本発明による方法の概観を示す図である。 心尖部四腔像でのヒトの心臓の概略的超音波画像を示す図である。 経胸壁心エコー検査の場合の動的画像コンテンツの概略図である。 図２中の位置時間線ｈに沿った概略的位置時間表現を示す図である。 （ドットによって示される）右心室の追跡される表面モデルをもつ、図２の場合のような概略図である。 図５中の位置時間線ｈに沿った位置時間表現を示す図である。 （ドットによって示される）追跡されるモデルが、心室の実際の過程から逸脱する、図５の場合のような、四腔像でのヒトの心臓の超音波画像の概略図である。 図７中の位置時間線ｈに沿った位置時間表現を示す図である。 （ドットによって示される）コンピュータグラフィカルオブジェクトと（実線によって示される）補正されたコンピュータグラフィカルオブジェクトとを用いた概略位置時間表現を示す図である。 位置時間線ｈの平行変位させられた同調を示す、四腔像での心臓の超音波画像の概略図である。 回転による位置時間線ｈの同調を示す、四腔像での心臓の概略表現を示す図である。 完全な並進による位置時間線ｈの同調を示す、四腔像での心臓の概略図である。 並進及び（剛体）回転による位置時間線ｈの同調を示す、四腔像での心臓の概略図である。 超音波画像と、心室の壁の肥厚を補正するための対応する位置時間表現との概略図である。 本発明による装置の概略図である。

図１は、鼓動している心臓が、心尖部四腔像における動きのある構造体として見られ得る、タイムラインｔに沿って記録される超音波画像Ｂ１、Ｂ２、Ｂ３、Ｂ４、．．．、ＢＮを概略的に示す。超音波画像のこの時系列は、たとえば、経胸壁心超音波を使用して収集され得る。心臓２は左心室２０と右心室２２とを有する（図２参照）。

追跡される動的モデルは、ドットによってこれらの画像内で概略的にプロットされ、参照符号４を提供される。更に、位置時間セクションｈ、この場合、直線は、時系列の第１の画像Ｂ１及び最後の画像ＢＮ中で見られ得、前記位置時間セクションは、たとえば、これらの２つの画像内にユーザによってプロットされる。この線ｈ１及びｈＮは、それぞれ、点１２においてモデル４と交差する。

位置時間表現は、画像の下側部分において概略的に示される。ここで、時系列の画像の各々からの位置時間セクションｈの画像値が、互いに隣り合って画像化され、すなわち、異なる時間にあるが、同じ空間セクションｈ（又はｈ１、ｈ２、ｈ３、．．．、ｈＮ）からの画像コンテンツをそれぞれ示す線９が一緒に並べられる。動的モデル４との位置時間線ｈの交点は、コンピュータグラフィカルオブジェクト１０として位置時間表現６中の画像コンテンツと結合され、たとえば、画像コンテンツの上にオーバーレイされ、その結果として、（ドットによって示される）線形のコンピュータグラフィカルオブジェクト１０が生じる。残りの画像コンテンツ８は、経時的に一定でないが、代わりに特有の、均一なストライプパターンを生じる。位置時間表現６は、ほぼＭモード超音波のようであるが、２Ｄ又は３Ｄ超音波画像のシーケンスから生成されており、Ｍモードでは記録されなかった。

図２は、点Ｐ１から点Ｐ２に延び、点２５及び２７における心臓の心外膜２６と交差するベクトルｈとしてここで提示される、ロケーション時間セクションｈの厳密な位置を含む、わずかにより高い精度の心臓の概略的超音波画像を示す。更に、左心室２０及び二尖弁２１が、心臓の表現中に見られ得、右心室２２及び三尖弁２３が、これらの隣にある。結果として、位置時間セクションｈは、ＴＡＰＳＥ（ＴＡＰＳＥ＝三尖弁輪収縮期移動距離）分析が可能であるようなやり方で設定された。ＴＡＰＳＥは、右心室機能を推定するための心エコー手段である。それは、拡張末期から収縮末期までの三尖弁輪の動きの距離に対応する。

この動きを解明する目的で、図３は、心周期を通した図２の四腔像を示し、心室２０及び２２のサイズの変化、並びに弁２１、２３の開及び閉のサイズの変化が可視になる。

図４は、位置時間表現における、図２の位置時間線ｈに沿った画像コンテンツの得られた時間プロファイルを示す。心外膜２５との位置時間線ｈの上側交点は、ここで線３５によって表され、下側交点２７は線３７によって表される。線３７の信号プロファイルの振幅が、右心室機能を推定するためのＴＡＰＳＥ分析の範囲内で使用され得る。

図２に示されているように位置時間セクションを配置するためのいくつかのオプションがあり、例として、ユーザは、ユーザが画像シーケンスの画像のうちのどの画像が表示されることを望むのかを選択することができるか、又は第１の画像がスクリーン上に自動的に出力される。次いで、位置時間セクションは、この画像内のランドマークに基づいてすでに自動的に提案されていることがある。他の実施形態では、ユーザは、適切な入力手段を用いて位置時間線をプロットする。多くの実施形態の場合のように、位置時間線が直線である場合、たとえば、開始点Ｐ１及び終了点Ｐ２を設定するだけで十分である。他の例示的な実施形態では、ユーザは、たとえば、２つのランドマーク、たとえば、図２中の点２５及び２７を選択し、コンピュータは、それを通る線を自動的に配置し、その線の長さは自動的に設定される。

図５は、もう一度図２の四腔像を概略的に示し、動的モデル４は、今度は更にドットを使用してプロットされる。ここで、これは、右心室の追跡される輪郭又は表面モデルである。

図６に示されている関連する位置時間表現では、画像コンテンツ８、すなわち、（そのうちの１つが図５に示されている）画像系列のすべての画像におけるベクトルｈに沿った画像値又は振幅信号の走査が、次に示されている。これは、点線４５及び４７によって表される、モデル４との対応する交点２５、２７を用いてオーバーレイされる。図６の例では、解剖学的構造体、すなわち、線３５及び３７によって表される画像コンテンツ８は、動的モデル４との良好な対応、又は交点２５、２７を表すコンピュータグラフィカルオブジェクト４５、４７との良好な対応を有し、補正は必要でない。

図７及び図８は、動的モデル４が、図７に示されている少なくとも１つの画像内の画像コンテンツとの良好な対応を有しない場合を提示する。言い方を変えれば、画像コンテンツと追跡されるモデルとは、互いに同期的に動かない。この場合、動的モデル４との位置時間線ｈの下側交点２７は、２７ａによって示される三尖弁輪に明らかに対応しない。代わりに、モデル４は、矢印２８に沿ってこの画像内で下方へ拡張されなければない。図７を参照されたい。

図８中の位置時間表現から、画像コンテンツと追跡されるモデルとがロケーション３０において同期的に移動しないことを識別することは容易に可能である。交点２７に対応するコンピュータグラフィカルオブジェクト４７が、明らかにロケーション３０においてそれに対応する画像コンテンツ、すなわち、三尖弁輪に沿って進まないので、経時的な相対的偏差のサイズを識別することも容易であり、その時間プロファイルが３７によって示されている。

本発明の基本概念は、次に、追跡される動的モデル４７の表現を、ユーザにとって編集可能にすることにある。変更は、次いで、対応してモデル４に伝達される。結果として、動的モデル４の交点は、ベクトルｈの方向に経時的に変更され得る。このようにして、補正は、位置時間セクションｈの好適な選択、すなわち、位置時間セクションｈの位置、配向及び長さの好適な選択によって、任意の方向において着手され得る。

図８の例では、ユーザは、たとえば、点４９において、たとえば、マウス又は異なる入力手段によって、コンピュータグラフィカルオブジェクト４７を選択し、前記コンピュータグラフィカルオブジェクトを矢印４８に沿って下方へ変位させることができる。有利には、ユーザによって１つの点４９を変位させるだけで十分であり、したがって、前記ユーザは、コンピュータグラフィカルオブジェクト４７の多数の点を個々に変位させる必要はない。例として、動的モデル４、及びしたがってコンピュータグラフィカルオブジェクト４７も、複数のノード又は他の好適な動きモデルを用いたスプライン関数に対応する。１つのノード４９が変位させられる場合、コンピュータグラフィカルオブジェクト４７の周囲線全体がそれに応じて変位させられ、したがって、理想的には、コンピュータグラフィカルオブジェクト４７が、単一のマウスアクションを通してロケーション３０において三尖弁輪３７の実際の動きと対応するようになり得る。

補正は、好ましい実施形態によれば、図９に示されているように、図９中の参照符号１０によってまたしても示されているコンピュータグラフィカルオブジェクトが直線であるように定義される場合、またしても簡略化される。コンピュータグラフィカルオブジェクト１０は、それにもかかわらず、直線に沿って移動しない動的モデル４に対応する。ただし、位置時間表現６では、好ましくは、動的モデル４との位置時間セクションｈのすべての交点（又は対応する点）は、同じレベルに移動され、残りの画像コンテンツ８は、それに応じて変位させられるか、又は複数のモデル４との交点が存在する場合、それらの間の距離は、経時的に変化し、更に圧縮又は拡大される。目的は、コンピュータグラフィカルオブジェクト１０の水平プロファイルからの偏差が目立つという点で、できるだけ直線である画像コンテンツ８のプロファイルを取得することである。そのような場合が図９に示されており、ここで、動的モデル４に対応する構造体８が、明らかに経時的に正確に選択されず、代わりに、上方に逸脱する。本発明によれば、ユーザによって、或いはそうでなければ、自動的に又は半自動的に、点４９を線８の方向において矢印４８に沿って上方に変位させるオプションがあり、その結果として、コンピュータグラフィカルオブジェクト１０が編集される。コンピュータグラフィカルオブジェクト１０の変更は、動的モデル４に伝達され、その結果として動的モデル４を補正する。モデル４のそれぞれの個々の動き軌道とは無関係に、標準化された表現が常にこのようにして取得され、前記表現は、誤差のない場合に水平方向に延在する画像構造体を示すにすぎない。その結果、理想的な形式からの偏差は、より容易に、視覚的に又は自動的に認識及び補正され得る。

動的モデル４との位置時間セクションｈの交点が常に存在するように、いくつかの実施形態では、画像シーケンスにわたって位置時間セクションの位置を変更し、その結果として、それを動的構造体の動きに適応させるか又はそれを前記動きに同調するための準備が行われる。その一例が図１０に示されており、心室は、完全な弛緩（拡張末期）の場合、実線によって表され、対照的に、収縮された状態（収縮末期）では点線で表される。拡張期と収縮期とにおける三尖弁輪の外側点が、それぞれ３３ａ及び３３ｂによって表される。図１０からわかるように、この点は、鼓動中に著しく変位させられる。位置時間線ｈを、動きのある構造体（心臓２）に、又は追跡によって生成された動的モデル４に同調するために、この場合、たとえば、前記線を平行に変位させることが有利である。

実際には、これは、位置時間線が、第１の画像内の交点３３ａにおいて（図１０中にプロットされない）動的モデル４に「固定」され、すなわち、モデル４の点又はノードのうちの１つが位置時間線ｈとの交点としてマークされるように行われ得る。もちろん、動的モデルの点が画像シーケンスにわたって追跡されるので、この点の位置は、時系列の各更なる画像内で知られている。次いで、位置時間セクションは、たとえば、動的モデルのマークされた点の動きに従って、時系列の連続画像上で平行に変位させられ得、配向は維持され、これは、図１０の平行変位を生じる。ベクトルｈの長さは、維持されるか、又は同様に動きに適応され、これは更に、図１４を参照しながらより詳細に説明される。

図１０の例では、位置時間線ｈの長さは、不変のままであり、ベクトルｈに直角な移動方向のみが、位置時間線ｈの開始点と終了点とに伝達される。

図１１は、位置時間線ｈが異なるやり方で同調される別の場合を示し、ここでも、位置時間線ｈは、各場合における動的モデル４の点３３ａ、３３ｂにおいて固定されたままである。ただし、整合は維持されないが、代わりに、固定点４３が設定され、画像シーケンスの各画像の位置時間線ｈは、それを通って延びている。位置時間線ｈは、常に同じ相対的長さにおいて点４３と交差し、それらが点３３をも通って延在するように、各場合において更に回転される。その結果、画像ごとに位置時間線ｈの回転が行われる。

各場合における、図１０及び図１１中のｈによって示されているベクトルは、位置時間セクションに対応し、その位置が、画像シーケンスにわたって変わるにすぎない。それに加えて、複数の位置時間セクションを選択し、連続して、又はそうでなければ同時に、対応する位置時間表現を評価することも可能である。

図１２は、位置時間セクションｈが完全な並進に同調され、すなわち、ベクトルｈが、平行に変位させられるのではなく、両方の空間的方向において（又は３Ｄ画像の場合すべての３つの空間的方向において）変位させられる一例を示す。この一例が図１２に示されており、図１２では、三尖弁輪に最初に固定されるベクトルｈの開始点が、それが常にこの解剖学的位置にとどまるように画像ごとに同調される。時間シーケンスの終わりに、又は、心臓が収縮した時間において、ベクトルの開始点は、点Ｐ１ｂに位置する。この例では、長さが適応されていないが、長さの適応も可能である。図１４を参照されたい。

図１３は、位置時間線ｈが並進及び追加の回転によって同調される場合を示し、ここで、線ｈは、図示された例では剛体のままである。ただし、以下で説明されるように、更に変形が行われることもある。

図１４は、同じく画像シーケンスＢ１、．．．、ＢＮを示し、２次元超音波画像は、このとき左心室２０の断面を表す。検査の目的は、心室壁の動的肥厚を追跡し、その結果として、考えられる筋肉損傷を診断することである。結果として、位置時間線ｈは、それがほぼ直角に心腔壁と交差し、第１の画像Ｂ１では、心室の外側の点Ｐ１から心腔のほぼ中心Ｐ２ａに延在するように配置される。心室壁の更なる点において更なる位置時間線を定義することも可能である。

この例では、複数の追跡される動的モデル、正確に言うと、特に２つの動的モデルを同時に使用することが、有利であり、一方の動的モデルは心筋層の内側（心内膜）を追跡し、他方の動的モデルは外側（心外膜）を追跡する。これは、心筋層の局所壁肥厚を表し、随意にそれを補正することを可能にする。２つの表面モデルとの位置時間線ｈのそれぞれの交点は、第１の画像Ｂ１中の２５ａ及び２７ａと、最後の画像ＢＮ中の２５ｂ及び２７ｂとによって示される。これらの交点は、（ドットを用いてプロットされる）線４５及び４７として位置時間表現６に伝達されるか、又はその上にオーバーレイされる。有利には、これらの交点４５、４７は直線によって表され、位置時間表現６中の位置時間線９の位置は、必要な場合、それに応じて適応又は変位させられる（位置時間ベクトルｈの完全な同調の場合、以下で説明されるように、これは自動的に発生し、したがって、位置時間線９の更なる変位は不要である）。

有利には、位置時間ベクトルｈは、この例では、Ｂ１とＢＮとの比較によって明らかにされるように、並進、回転及び追加の変形によって同調され、画像ＢＮでは、心臓は弛緩され、筋肉又は心臓壁は、したがってより薄い。これは、ベクトルｈに沿った空間サンプリングレートの増加によって補償される。これは、心内膜及び心外膜の追跡されるモデルとの位置時間線ｈの交点２５ｂ及び２７ｂが互いに近づくことによってトリガされる。その結果、位置時間線ｈの終了点、Ｐ１ｂ及びＰ２ｂも、比例して互いに近づき、位置時間線全体が短縮される。有利には、これは、空間走査レートの増加によって補償される。結果として、局所変形（たとえば、心臓壁の肥厚）がモデル化される。心臓壁は、次いで、追跡されるモデル４５、４７、及びしたがってモデル化された肥厚が、画像信号中で発生する実際の肥厚に対応する場合、位置時間表現６中に不変の厚さで現れる。結果として、モデル化された肥厚の偏差を識別し、補正することが可能である。

言い方を変えれば、ベクトルｈについての座標系が表面モデルに完全に同調された場合（完全な並進、剛体変換（並進プラス回転）、及び更に変形も）、位置時間表現中のモデルの軌道は、水平直線になる。厳密な追跡の場合、走査画像コンテンツの振幅信号は、それに平行である。偏差は、それに応じて、湾曲した時間信号プロファイルによって顕著になる。

図１５は装置５０を示し、装置５０によって本方法は行われ得る。前記装置は、図示の例では、コンピュータ５２、メモリユニット５７、たとえば、ハードディスクドライブと、計算ユニット５８とをもつＰＣを本質的に含んでいる。例として、計算ユニットはＣＰＵである。モニタ５４及びキーボード５３は、コンピュータ５２に接続される。更に、マウス５６が、更なる入力デバイスとして提供される。ただし、これは一例にすぎず、本発明は、任意のタイプのコンピュータ上で行われ得る。

図１５の図示の例では、装置５０は同時に超音波デバイスでもあり、超音波デバイスによって画像シーケンスが収集され得る。この目的で、経胸壁心超音波が患者３の心臓２に対して行われ、超音波トランスデューサが適切な専門家スタッフによって誘導される。結果として、一連の２Ｄ又は３Ｄ画像が、画像の下側部分に示されているように収集され得る。ここで、Δｔの時間間隔においてそれぞれ記録される２Ｄ画像Ｂがプロットされ、収集レートは約２０〜２００Ｈｚ、好ましくは５０〜１５０Ｈｚである。

Claims (14)

1. 複数の画像内にキャプチャされた動きのある構造体の動的モデルであって、追跡方法によって取得される当該動的モデルを補正するための方法であって、前記方法は、
   ａ）時間的に連続的に記録される画像の時系列を提供すステップであって、前記動きのある構造体が、前記画像内に少なくとも部分的に画像化されている、提供するステップと、
   ｂ）前記動きのある構造体の動的モデルを提供するステップであって、前記動的モデルが、追跡方法によって取得され、前記画像にレジストレーションされる、提供するステップと、
   ｃ）１次元位置時間セクションを含む前記画像の位置時間セクションを決定するステップと、
   ｄ）経時的にプロットされ、少なくとも１つのコンピュータグラフィカルオブジェクトとして前記動的モデルの表現と結合された、前記時系列の前記画像における前記位置時間セクションの随意に補間された画像値の位置時間表現を提供するステップと、
   ｅ）特にユーザによって、前記少なくとも１つのコンピュータグラフィカルオブジェクトを前記位置時間表現の周囲画像コンテンツと比較するステップと、
   ｆ）特にユーザによって、前記少なくとも１つのコンピュータグラフィカルオブジェクトを編集することによって、前記動的モデルを補正し、前記少なくとも１つのコンピュータグラフィカルオブジェクトに加えられる任意の変更を前記動的モデルに伝達することを行うためのオプションを提供するステップと
   を有する、方法。
2. 前記位置時間セクションが、前記画像を通る若しくは前記画像上の直線の又は湾曲した位置時間線である、請求項１に記載の方法。
3. 前記動的モデルが、モデル表面を少なくとも部分的に表現し、前記少なくとも１つのコンピュータグラフィカルオブジェクトが、経時的にプロットされた、前記モデル表面との、又は前記位置時間セクション上の前記モデル表面の投影との前記位置時間セクションの交点に対応する線である、請求項１又は２に記載の方法。
4. 前記動的モデルが前記位置時間表現における直線によって表され、前記位置時間表現における前記位置時間セクションの前記画像値の位置が、前記時系列の各画像について、適宜に適応、特に変位される、請求項１乃至３のいずれか一項に記載の方法。
5. 前記位置時間セクションが、前記時系列の個々の前記画像において異なる位置、方向及び長さを有する、請求項１乃至４のいずれか一項に記載の方法。
6. 前記時系列の個々の前記画像における前記位置時間セクションが、特に、並進、回転、変形、及び／又は長さの変化として、前記動きのある構造体又は前記動きのある構造体の前記動的モデルに同調される、請求項１乃至５のいずれか一項に記載の方法。
7. 前記ユーザが前記位置時間セクションの位置、配向、及び長さを適応させることができる、請求項１乃至６のいずれか一項に記載の方法。
8. 複数の動的モデルが提供される、請求項１乃至７のいずれか一項に記載の方法。
9. 前記動きのある構造体が解剖学的構造体、すなわち、心臓であり、前記動的モデルが心室の表面モデルである、請求項１乃至８のいずれか一項に記載の方法。
10. 心内膜の動的モデルと心外膜の動的モデルとが提供され、前記位置時間セクションが心室の壁と交差し、前記時系列の前記画像における前記位置時間セクションの前記長さが、心腔壁の時間変動肥厚に適応される、請求項９に記載の方法。
11. 前記位置時間セクションが、心臓の心筋層を通って、追跡される線に沿って延在する、請求項１乃至１０のいずれか一項に記載の方法。
12. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ上で実行されるとき、請求項１乃至１１のいずれか一項に記載の方法のステップを行うように前記コンピュータに促すソフトウェアコードセクションを含んでいる、コンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。
14. 複数の画像内にキャプチャされた動きのある構造体の動的モデルであって、追跡方法によって取得される当該動的モデルを補正するための装置であって、請求項１乃至１１のいずれか一項に記載の方法を行う前記装置は、
    時間的に連続的に記録される画像の少なくとも１つの時系列であって、前記動きのある構造体が、前記画像内に少なくとも部分的に画像化されている、当該画像の少なくとも１つの時系列と、追跡方法によって取得され、前記画像にレジストレーションされる前記構造体の動的モデルとを記憶するデータメモリと、
    請求項１乃至１１のいずれか一項に記載の方法を行う１つ又は複数の計算ユニットと、
    少なくとも１つのコンピュータグラフィカルオブジェクトとして前記動的モデルの表現と結合された、前記画像における位置時間セクションの随意に補間された画像値の経時的な位置時間表現に適したスクリーンと、
    ユーザが前記位置時間表現上の前記少なくとも１つのコンピュータグラフィカルオブジェクトを編集することを可能にする入力装置と
    を備える、装置。

Images