JP2007509642A

JP2007509642A - 局所的に変形する可能性のある動きを分析するための装置および方法

Info

Publication number: JP2007509642A
Application number: JP2006534246A
Authority: JP
Inventors: ゲオルゲシュボグダン; シーンツォウシャン; コマニチドリン; クリシュナンスリラム
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-10-02
Filing date: 2004-10-04
Publication date: 2007-04-19
Anticipated expiration: 2024-10-04
Also published as: US7421101B2; JP4427548B2; DE112004001861T5; WO2005034039A2; WO2005034039A3; DE112004001861B4; JP2009226226A; US20050074154A1; CN101103377B; CN101103377A

Abstract

本発明は、局所的に変形可能な動きを分析するための方法、およびある対象物体の局所的な動きをその全体運動から分離して対象物体の動きを精確に追従するための方法および装置に関する。対象物体はイメージシーケンスとして観察される。この場合、対象物体領域イメージと背景イメージ領域を識別するために、イメージ領域がサンプリングされる。全体運動によって作用の及ぼされる背景イメージ領域を識別するために、識別された背景イメージ領域のうち少なくとも１つの領域の動きが推定される。イメージフレーム中の全体運動を測定するために、複数の背景イメージ領域からの動きが組み合わせられる。対象物体の局所的な動きを測定するために、対象物体イメージ領域において測定された全体運動が補償され、対象物体の局所的な動きが追従される。さらに本発明は、２つのコントロールポイントセット間の相対運動として対象物体の局所的に変形可能な動きを精確に測定するための方法および装置に関する。コントロールポイントセットは、対象物体の内側の輪郭および外側の輪郭として定義される。この場合、コントロールポイントセットの動きが推定され、対象物体の局所的な変形と局所的な動きを表すために相対的な動きが用いられる。

Description

関連出願の相互参照
本出願は、２００３年１０月３日出願のアメリカ合衆国仮出願番号No. 60／508,367、２００３年１０月１３日出願のアメリカ合衆国仮出願番号No. 60／510,856、２００３年１０月２日出願のアメリカ合衆国仮出願番号No. 60／508,210、２００４年４月３０日出願のアメリカ合衆国仮出願番号No. 60／566,833の開示内容を主張するものであり、これらの文献はその内容をそのまま参照するかたちで本出願に組み込まれるものとする。

技術分野
本発明は、局所的に変化する可能性のある動きを分析するための装置および方法に関し、さらに詳しくは、被検体の局所的な動きを被検体の全体的な動きから分離するようにした被検体の動きを精確に追従するための装置および方法に関する。

背景技術
対象物体は、重要なツールとして多くのイメージングソフトウェアアプリケーションにおいて利用されている。対象物体ないしは被検体の動きをトラッキングないしは追従する際に一般に生じる１つの問題点は、被検体の動きを移動する背景から区別することである。この場合、シナリオの一例は、頭部の動き、手の動き、あるいは他の体部の動きといった人間の特徴の動きを認識することである。ターゲットイメージのイメージングにあたり、背景（たとえば木、乗物、人など）もイメージ中で運動することが明らかになった。これによって、たとえば顔面の特徴などの対象物体を追従するのが困難になる。イメージングソフトウェアは、ターゲット（すなわち特定の顔面の特徴）と他のイメージデータとを適切に区別できなければならない。

さらに対象物体追従は、超音波心臓検査など医療イメージングアプリケーションにおいても重要である。心臓超音波イメージにおける心筋層壁の運動の精確な分析は、心機能評価にとって非常に重要である。心筋層壁機能の追従において困難な点の１つは、呼吸、体部あるいは超音波プローブの運動によって引き起こされる付加的な動きを補償することである。これらの動きの作用はイメージ取得中、患者の動きを阻止すること（呼吸抑制、注意深いプローブ配置）により、あるいは事後処理段階においてイメージベースの補正技術により、低減することができる。しかしながら本当の心運動は、外部の動きを補償しなければ得られない。

心運動を、局所運動と全体運動とに分けることができる。局所運動とは、心臓内部の運動のことを指す。換言すれば、これは心収縮中と心拡張中の心筋層の運動である。全体運動とは、局所運動以外の外部運動である。上述のように、これは患者の小さい体部運動または呼吸あるいはイメージング中のイメージング装置または放射線技師の手の運動といった多くの要因によって引き起こされる可能性がある。

全体運動に対し補償が行われないと、誤診のおそれがある。たとえば補償が行われない場合、右区域の収縮が他の区域よりもずっと僅かであるように見えることから、患者は左心室右側の虚血と診断されるかもしれない。このことが起きるおそれがある理由は、右側に対する全体運動によって右壁の運動がずらされてしまい、左壁の運動を増長してしまうからである。補償後であれば各区域における収縮が同等となり、これによって心臓の通常の動きが表される。これと同様に、患者が正常な心臓であると診断されるが、虚血を有している可能性もある。虚血性の左心室は、全体運動が存在している場合に正常であるとみなされる可能性がある。多くの事例において全体運動の存在は、診断が医師によってなられようとインテリジェントマシンによってなされようと、診断精度に影響を及ぼす可能性がある。

全体運動を補償する従来の方法には、長軸法と主軸法が含まれている。主軸は、与えられたすべての横断面の重心からの重み付け最小２乗距離として定義される。心収縮終了時の左心室重心は、並進と回転のファクタを求めるために主軸によって使用される。２つの連続するイメージフレームのために、イメージデータと主軸が取得される。重心は、まえもって規定された所定のフレームによって求められる（たとえば心収縮終了時点）。この場合、重心の運動による並進を判定するために２つのフレームがオーバラップされる。並進後、回転角を求めることができ、並進と回転のファクタによって補償を行うことができる。全体運動の補償のために主軸が広く用いられているわけではない。その理由は、主軸によっても心臓の虚血性領域または同様の分析が適切には識別されないからである。主軸は異常な領域の運動によって影響を受け、本当の動きを求めるために利用することはできない。

他の方法は、正常な心臓の形状は心収縮中、ほとんど維持されると仮定している。虚血性心臓の場合、梗塞領域周囲で動きが著しく変動し、その結果、運動低下、無動症または運動異常症が引き起こされる。心周期中、全体の形状ならびに曲率分布が観察されるとともに、複数のデータポイントについて局所的な形状も観察される（たとえば心尖、前部、小窩）。全体形状、局所形状ならびに各データポイントの曲率分布がいっしょに組み合わせられて正常な心臓と比較され、異常領域を求めることができる。局所領域の追従において、全体運動を補償するために主軸が利用される。異常領域を識別するこの方法による問題は、用いられる最初の仮定に起因している。上述のように、正常な心臓の形状が心収縮中、同じ状態にとどまる、という仮定が用いられてきた。しかしながら、心臓自体は局所的な回転または歪みを有しており、正常な心臓の形状は多くの事例において心収縮中、著しく異なっている。したがって医療診断の精度を向上させる目的で、全体運動を適切に補償する必要がある。

発明の概要
本発明は、局所的に変形する可能性のある運動を分析する装置および方法に関する。本発明の第１の実施形態によれば、対象物体はイメージシーケンスとして観察される。対象物体イメージ領域と背景イメージ領域を識別するために、イメージ領域がサンプリングされる。全体運動によって作用の及ぼされる背景イメージ領域を識別するために、識別された背景イメージ領域のうち少なくとも１つの領域の動きが推定される。イメージフレーム中の全体運動を測定するために、複数の背景イメージ領域からの動きが組み合わせられる。対象物体の局所的な動きを測定するために、対象物体イメージ領域において測定された全体運動が補償され、対象物体の局所的な動きが追従される。対象物体の動きを推定するために、オプティカルフロー技術と情報融合技術が採用される。

本発明の第２の実施形態によれば、背景イメージ領域に含まれる複数のコントロールポイントを識別することにより、対象物体イメージの局所的な動きの変形が測定される。この場合、識別された複数のコントロールポイントに関する不確定性を含む局所的な動きベクトルが測定される。後続のイメージフレーム中の各コントロールポイントが別個にトラッキングされる。共分散行列を用いて、コントロールポイントのロケーションおよびその不確定性が表される。全体運動を推定するために、ロケーションおよび共分散の行列が用いられる。実際の局所的な対象物体の変形を取得するための基準として全体運動が用いられる。

本発明の第３の実施形態によれば、対象物体の外側の輪郭を表す第１の複数のポイントを識別することにより、対象物体イメージの局所的な動きの変形が測定される。さらに対象物体の内側の輪郭を表す第２の複数のポイントが識別される。各イメージフレームがまえもって規定された期間を表すよう、第１の複数のポイントと第２の複数のポイントの動きが複数のイメージフレームにわたって追従される。

本発明の第４の実施形態によれば、対象物体の輪郭を表す複数のコントロールポイントを識別することにより、対象物体イメージの局所的な動きの変形が測定される。この場合、後続のイメージフレーム中のコントロールポイントの動きが追従される。追従されたコントロールポイントを用いて強度分布を表すために、デュアルヒストグラムが用いられる。

本発明の第５の実施形態として、イメージ中に超音波信号を含む領域を求めるための方法が開示されている。この場合、１つのイメージのスタティック領域とダイナミック領域が識別される。ダイナミック領域の境界ポイントが求められる。これらの境界ポイントに対しパラメトリック形状モデルがフィットされる。

図面の簡単な説明
次に、図面を参照しながら本発明の有利な実施形態について以下で詳しく説明する。図中、同じ要素には同じ参照符号が付されている。

図１は、局所的に変形する可能性のある被検体の運動をトラッキングないしは追従するための本発明による方法を実現するシステムの一例を示す図である。

図２は、心収縮中の短軸ビューによる左心室の４つの異なる状態を示す図である。

図３は、本発明による全体運動補償に用いられる短軸ビューおよび尖端の４室ビューならびに個々のサンプルエリアにおける超音波心臓検査の超音波イメージを示す図である。

図４は、左心室エリアのサイズを時間軸上で描いたグラフである。

図５Ａ〜図５Ｄは、左心室の２つのビューならびに対応するそれらのＰＣＡモデルに関する主要な固有形状について示す図である。

図６Ａ〜６Ｃは、複数の輪郭ポイントに対するピラミッドの底部において計算された不確定性を示す図である。

図７Ａおよび図７Ｂは、左心室に関する心内膜壁の輪郭の第１のフレーム初期化について示す図である。

図８は、本発明による超音波心臓検査法イメージの強度および空間分布を示すヒストグラムのペアを示す図である。

図９は、輪郭の内側と外側を求めるための本発明による関心ウィンドウ分割方法について示す図である。

図１０Ａ〜図１０Ｅは、超音波イメージにおけるファンを自動的に検出するための本発明による方法について示す図である。

実施例
本発明は、局所的に変形する可能性のある被検体の運動を追従する方法に関する。本発明による方法が適用される一例は、心臓における局所的壁運動異常を検出するために、心筋層壁の局所運動を追従することである。本発明による方法を、心臓における心内膜壁または心外膜壁の追従に利用することもできる。当業者であれば本発明による方法を他の用途においても利用することができ、限定を意味するものではないが、頭部運動、顔面の特徴、手の動きまたは他の体部運動といった人間の特徴の運動を認識するのに運動追従が有用となる用途においても利用できる。さらに本発明を、時間の経過につれて展開する心臓、肺または腫瘍といった解剖学的構造の２次元、３次元および４次元（３次元＋時間）の医療分析においても利用することができる。

本発明を説明する目的で、左心室の心内膜壁の追従に関して一例を述べていくことにする。図１には、超音波心臓検査システムの構造例が描かれており、このシステムによって左心室心内膜壁の局所運動を追従するための本発明による方法が利用される。患者の検査を実行するために、超音波トランスデューサのような医療センサ１０２が利用される。センサ１０２は、特定の医療検査と密接した医療測定を得るために利用される。たとえば心臓の問題を経験した患者は、特有の心臓疾患の診断に役立てるために実施された心エコー図をもっている場合がある。超音波システムによって、様々な視角から見た心臓の２次元、３次元および４次元（３次元＋時間）のイメージが供給される。

センサ１０２により得られた情報は、ワークステーションまたはパーソナルコンピュータとすることのできるプロセッサ１０４へ伝達される。プロセッサ１０４はセンサデータをイメージに変換し、このイメージはディスプレイ１０８に伝達される。ディスプレイ１０８は、他のグラフィック情報またはイメージに関する情報のテーブルも伝達することができる。本発明によればプロセッサ１０４には、心内膜壁の初期の輪郭を表すデータも供給される。データは医師または音波検査師によって手動で供給することもできるし、あるいはプロセッサ１０４によって自動的に供給することもできる。輪郭は一連の個々のポイントから成り、これらのポイントの動きがプロセッサ１０４により追従され、ディスプレイ１０８において描画される。個々のポイントがどのように追従されるかについての詳細は、あとで詳しく述べることにする。

医療センサ１０２からのデータに加えて、プロセッサ１０４は他のデータ入力を受け取ることもできる。たとえばプロセッサ１０４は、プロセッサ１０４と関連づけられているデータベース１０６からデータを受け取ることができる。そのようなデータには、心内膜壁に対する潜在的な形状を表すサブ空間モデルを含めることができる。このようなサブ空間モデルを、複数の患者を代表する左心室のイメージとすることもできるし、あるいは統計情報に基づきコンピュータにより生成された輪郭形状モデルとすることもできる。プロセッサ１０４は、Bayesian kernel matching法またはオプティカルフロー（optical flow）ベースの方法など公知のアプローチを利用して、輪郭形状の個々の点を追従する。追従中のエラーないしは誤差の累積は、マルチテンプレートアダプティブマッチングフレームワークを利用することによって軽減される。追従の不確定性は、共分散行列のかたちで各ポイントごとに表され、これは次に非直交投影を利用したサブ空間形状制約によって完全に活用される。

本発明の１つの実施形態によれば、心内膜壁の局所運動が全体運動と同様に追従される。全体運動は複数の理由で現れる可能性がある。たとえば、患者の呼吸または技師によるセンサの動きによって全体運動が引き起こされる可能性がある。心内膜壁の局所運動を精確に追従する目的で、全体運動を測定し心臓イメージにおいて補償する必要がある。心臓イメージにおいて全体運動を補償する際に困難であるのは、全体運動と局所運動を区別することである。運動が内部ではなく（局所的）外部（すなわち全体）によるものであるかを区別するのは、非常に難しい。この区別は、左心室の局所運動が心臓疾患の存在に起因して不規則的である場合には、さらに一段と難しくなる。

図２に描かれているように種々のタイプの心臓疾患によって、心内膜壁の動きに対し様々なかたちで影響が与えられる可能性がある。この種の心臓疾患の一例として運動異常症（dyskinesia）、無動症（akinesia）、運動低下症（hypokinesia）が含まれる。この場合、正常な心臓壁は実線２０２，２０４で示されている。運動低下症は、点線２０６によって示されているセグメントに沿った壁運動量の低下に相応する。無動症は、点線２０８により示された無運動に相応する。運動異常症は、点線２１０で示されているように心筋が心収縮期圧に抗することができないときに発生する可能性がある。内部運動は患者の動きと比較して著しく小さいので、データは全体運動に対し非常に敏感である。患者の僅かな動きによっても著しく多様な結果が生じることになる。たとえば正常な左心室が虚血のように見えてしまう。伝統的に、医師はこの種の全体運動を経験あるいは人間の目のメカニズムによって取り除いてきた。ただし全体運動の自動的な除去によって、診断がいっそう簡単かつ精確になるはずである。

本発明によれば、オプティカルフロー（optical flow）ベースの方法を利用して全体運動を補償することができる。この方法がベースとするのは、局所運動と全体運動との間の最も明確な差が左心室周囲の組織運動である、ということである。全体運動がなければ、周囲組織は左心室のように収縮したり膨張したりはしない。しかしながら全体運動が存在していると、ピクセルごとに何らかの並進および／または回転を伴ってイメージ全体が全体運動によって影響を受ける。全体運動を補償する目的で、左心室周囲の組織領域が測定され、これによって補償測定が達成される。

次に、本発明による全体運動補償に利用可能なオプティカルフロー法の例について説明する。この方法には、サンプリング、オプティカルフロー推定、整列ないしは重ね合わせ、補償という４つの構成要素が含まれている。第１の構成要素は、全体運動によってのみ影響を受けるイメージポイントのサンプリングに関する。

図３は、本発明に従い尖端ビューと短軸ビューの両方で全体運動の計算に用いられる領域を描くために使われる心臓の超音波イメージである。図３に示されているような典型的な超音波イメージはファン形状すなわち扇形３０２，３０４を成しており、そこにイメージが表示される。イメージ３０２は短軸ビューにおける心エコー図を表しており、イメージ３０４は尖端の４室ビューにおける心エコー図を表している。左心室境界でサンプリングされたＮ個のポイント（Ｐ1，Ｐ2〜ＰNで表す）が存在するならば、重心点ＣはΣＰi／Ｎとして計算される。ここでＰfはＰi，ｉ∈｛１，Ｎ｝のうちＰに最も遠いポイントを表し、ｒはＣとＰfとの距離を表す。この場合、中心Ｃと半径１．３×πを有する円領域が切り取られている。ここでは定数１．３が選択されているが、任意の定数でよい。この円領域は、左心室と接触し膨張させる心筋層の一部分を取り除くために選択される。この方法によれば心外膜内部の領域３０６，３１０が安全に取り除かれ、全体運動測定のために周囲の領域３０８，３１２が残される。

この方法の次の構成要素は、選択された領域３０８，３１２内における運動の測定である。この場合、心エコー図における各ピクセルの運動を測定するために、オプティカルフロー推定および融合技術が使用される。この種の技術の一例が D. Comaniciu, Nonparametric Information Fusion for Motion Estimation, CVPR 2003に記載されており、この文献全体を本発明の引用文献とする。選択領域において複数のポイントがサンプリングされる。各々２つの連続するフレームごとに、サンプリングされた各ポイントの運動が不確定性ないしは不確実性とともに計算される。次に全体的な回転および並進を取得するために、各ポイントが形状整合される。全体的な回転および並進が得られれば、補償を実現することができる。

このポイントにおいて、２つの連続的なイメージフレームごとに対応するサンプリングポイントセットが存在する。２次元心エコー図の物理的な特性ゆえに、全体運動は並進と回転しか有していない。並進ベクトルｔと回転θを取得する目的で、形状合わせ技術が適用される。２つの連続するフレームにおけるｎ個のポイントｘiとｘi′の２つのセットと並進ｘ′＝Ｔt（ｘ）に関して、パラメータｔを見つけるために最小２乗マッチングが実行され、これにより最小化が行われる：

式（３）のような解法が得られるのは、並進、回転およびスケーリングがすべて許容されているときであるけれども、本発明のように並進と回転のみが許容されているときにこの解を得るのは普通ではない。その理由は、並進と回転だけが許容されているときは、問題は

であるが、この場合には今度は非線形の制約ａ2＋ｂ2＝１が存在するからである。

この問題を解くためには、全体回転θは所定の範囲を超えることができない。最も多い事例では、θは−５°〜５°である。−１０°〜１０°のすべての角度に対しロバストにするためには、並進（ｔx，ｔy）が式（２）に従って計算され、次に式（１）においてＥを最小化するｔが求められる。

ｔがイメージフレームのすべてに対して見つけられると、補償された結果を得ることができる。補償結果を次式に従い特定のイメージｍについて得ることができる：

ただしｆ0〜ｆnはｎ個の連続的なフレームを表し、ｔiはフレームｉからフレームｉ＋１までの並進ベクトルを表し、ＲiはフレームＩからフレームｉ＋１までの並進行列を表す。

オプティカルフローによる全体運動（Global Motion by Optical Flow GMCOF）アルゴリズムは以下のとおりである：

全体運動（global motion）を補償するために、これとは別の方法を使用することができる。心臓運動は周期的であるので、１つの周期Ｐについて、所定のフレームＩと何らかのフレーム（ｉ±ｎＰ）のフィーチャ（すなわち形状）が全体運動なしではほぼ同じものであるとされ、ここでｎは正の整数である。換言すれば、左心室の輪郭に対し所定の角度で並進または回転を引き起こす全体運動が存在するならば、全体的な並進および回転を識別するためにフレームＩとフレーム（ｉ±ｎＰ）間の差について決定を下すことができる。

心臓運動の周期を計算するために、各フレーム内の左心室領域が左心室壁部輪郭におけるポイントに基づき計算される。図４には、心臓運動中の左心室領域のサイズの変化を時間軸上で示したグラフが描かれている。このグラフの縦軸は左心室領域のサイズを表し、横軸は時間を表す。Ｐを同定するために自己相関分析が用いられる。自己相関分析の目的は、データセット内の周期性を探すことである。自己相関分析において、等時間の「ビン bins」の集合が定義される。各ビン（bin）は、サイズ（総時間 total time）／（ビンナンバー # of bins）を有する。これらのビンは、データセット内の各ポイントペア間の時間差に対応する。データセット内のポイントペアごとに、それらの時間値間の差の絶対値が用いられ、これにより対応する特定のビンが同定される。ついで、各ポイントペアの大きさの値ないしは振幅値間の差の絶対値がビンに加算される。最後に、各ポイントペアが考慮された後、各ビンにおける値が大きさないしは振幅の合計の除算により平均化され、この場合、合計はビンをビンに対応するポイントペアの個数で掛けたものである。

Ｐを用いることで、０からの最初のものとフレーム０＋Ｐにおける左心室輪郭をマッチさせて、全体的な並進および回転を取得することができる。各ポイントは、サンプル領域においてではなく輪郭上でマッチされる。フレーム０とフレームＰとの間のフレームにおける回転および並進は、内挿技術によって取得できる。周期による全体運動補償（Global Motion Compensation by Period GMCP）アルゴリズムは以下のとおりである：

本発明の別の実施形態として、ロバストオプティカルフロー計算を複数のアピアランスモデルおよび全体運動パラメータの推定と統合する自動的な手法について説明する。最初に、不確定性を伴う局所運動ベクトルが選択された複数のコントロールポイントにおいて計算される。コントロールポイントのロケーションは、それらが超音波ファンビーム（図３）内におかれ、左心室の心筋壁を含むイメージ領域には対応しないよう、注意深く選定する必要がある。有用な超音波信号と対応づけられたイメージ領域は、動きおよびスペックルノイズに起因して対応するピクセルが時間に関して高い強度の変動をもつということに基づき、自動的に検出される。基準イメージと心筋壁輪郭の対応するロケーションが与えられるならば、コントロールポイントの候補ロケーションに対するマスクが形成される。これらのコントロールポイントは、マスク内部のバンドにおける超音波ファンビームの先端に関して迅速に配置される。このバンドは、（マスクが与えられれば）中心としてファンの先端を有する半径ごとに許可された複数のポジションのヒストグラムを形成することにより決定される。ヒストグラムにおいて最高密度をもつ領域が、バンドロケーションに対応することになる。

次に、複数のアピアランスモデルを伴うロバストオプティカルフロー技術を用い、後続のフレームにおいてコントロールポイントが別個に追従される。追従方法は、超音波イメージングの難しさをうまく対処することができる：信号の欠落、貧弱なＳＮ比、あるいはアピアランスの変更。推定プロセスの結果として、コントロールポイントのロケーションおよびその不確定性を共分散行列によって表すことができる。

全体運動のために、超音波ファンの先端が座標系の原点である場所で２次元の回転モデルが用いられる。このモデルは、心臓に関する超音波プローブのインプレーン回転（in plane rotation）に相応し、小さい並進も近似する。さらにコントロールポイントごとに、基準フレームに関して角度パラメータが決定される。最終的な推定は重み付け最小２乗手順の結果であり、ここで重みは共分散行列の反転によって与えられる。共分散行列により表された測定とそれらの不確定性が与えられている場合、この結果は最尤推定量である。

本発明の別の実施形態によれば、システムダイナミックスにおける不確定性と統計的形状制約が分離され、システムダイナミックスを伴うサブ空間形状モデルと異分散ノイズを伴う測定とを融合させるため、これにより統一フレームワークが提供される。殊に著しくノイズのあるデータのためにいっそう多くの情報を統合できるよう、結合された二重輪郭に対してモデルが構築される。二重輪郭手法によっても、いっそう良好なトポロジーの保全が達成される。固有の形状特性を得るために、このケースについて与えられた情報を利用して汎用形状モデルが堅固に整合される。サブ空間モデルは特有のサブ空間分布の形状をとることができ、たとえばガウス分布をとることができ、あるいはシンプルなサブ空間制約たとえば固有スペースモデルをとることができる。形状追従方法については、２００４年３月５日に出願された懸案中の出願No.10／794,476 "System and Method for Tracking a Global Shape of an Object in Motion" に開示されており、これを本出願の参考文献とする。

上述のように、形状追従の適用にあたりノイズは大きな問題である。医療イメージングの用途では殊に、超音波は磁気共鳴イメージング（ＭＲＩ）やコンピュータトモグラフィ（ＣＴ）など一般的な医療イメージング法のなかでもノイズの最も多いイメージングである。心エコー図（すなわち超音波心臓イメージ）は、心筋の高速運動および呼吸の干渉ゆえにノイズに関してさらにひどい状態である。

本発明によれば、超音波心臓検査イメージにおいて左心室の境界が追従される。左心室の種々のビューを追従することができ、限定するものではないが、尖端の２つまたは４つの室のビュー、胸骨傍の長軸および短軸のビューなどを追従することができる。心尖、乳頭筋、隔膜といった解剖学的特徴をベースとして目標ポイントが割り当てられる。強く整合された主成分分析 Strongly Adapted-Principal Component Analysis SA-PCAの適用ゆえに、目標ポイントのロケーションにおけるある程度の可変性は許容できる。全体的な並進、回転およびスケーリングを排除するために輪郭が整列した状態におかれる。ついでＰＣＡが実行され、各モデルに対し個別にチューニングされてエネルギーの８０〜９７％を保持するため本来の次元が低減される。

図５Ａ〜図５Ｄには、左心室の２つのビューについてスプラインなしの優勢な固有形状が単一の輪郭および二重の輪郭の双方に関するそれらのモデルとともに描かれている。図５Ａには、左心室における心内膜壁の尖端ビューの単一の輪郭に関する優勢な固有形状が描かれている。図５Ｂには、左心室における心内膜壁の短軸ビューの単一の輪郭に関する優勢な固有形状が描かれている。図５Ｃには、左心室における心内膜壁の尖端ビューの二重の輪郭に関する優勢な固有形状が描かれている。図５Ｄには、左心室における心内膜壁の短軸ビューの単一の輪郭に関する優勢な固有形状が描かれている。図５Ａ〜図５Ｄの各々において、実線曲線はモデル平均を表す。二重の輪郭は、高次元における単一のポイントとして扱われる。

コントロールポイント各々の動きを測定するために、フレーム間動き推定アルゴリズムframe-to-frame motion estimation algorithm の整合が用いられる。これについてはComaniciu, D., によるIEEE Conf. on Computer Vision and Pattern Recognition, Madison, Wisconsin, Volume 1, (2003) における"Nonparametric Information Fusion for Motion Estimation" に記載されており、これを本出願の参考文献とする。このアルゴリズムが前提とするのは、所定の近傍領域における動きは（平均ベクトルおよび対応する共分散行列により表される）何らかの初期動き推定の最上位モードmost significant modeとして大まかに推定できる、ということである。最上位モードはスケールにわたり追従するモードとして定義される一方、モード検出のための基礎を成すメカニズムは可変の帯域幅平均シフトによるものである。

各コントロールポイントごとに、１７×１７のウィンドウを用いて初期推定が計算され、その結果がｎ＝５×５の近傍領域に融合される。この場合、複数のレベルにわたる共分散伝播を伴って３つのレベルのピラミッドが採用される。図６Ａ〜６Ｃは、複数の輪郭ポイントに対するピラミッドの底部において計算された不確定性を示す図である。図６Ａには、心内膜の単一の輪郭が描かれている。図６Ｂおよび図６Ｃには、心内膜および心外膜の結合された二重の輪郭が描かれている。

イメージフレーム間の誤差累積を避けるため、シーケンスにおける複数の先行フレーム中のコントロールポイントの近隣領域を参照しながら、動きが計算される（すなわち現在のフレームは先行のフレームから抽出された複数のアピアランスモデルと常に比較される）。モデルのロケーションはフレームごとに更新されるので、動き推定プロセスは良好な初期化により常にスタートし、これによって誤差の累積が排除される。二重の輪郭によるアプローチが有利である理由は、これによっていっそう多くの空間情報が組み込まれるからである。したがって、２つの境界のいっそうロバストな追従を提供することができる。多くの事例において、心外膜は心内膜よりも見えにくい。二重の輪郭イメージによって、心内膜からの情報を伝播させることができ、これにより心外膜の位置特定がガイドされる（あるいはこの逆のことを行える）。さらに二重の輪郭イメージによって、いっそう良好にトポロジーを保持することができ、交差の可能性を低減することができる。

本発明の別の実施形態によれば、エッジなど事前に定義されている構造を仮定することなく、局所的な強度分布の推定により輪郭追従を実行することができる。このアプローチの利点は、強度分布に対しノイズがいっそう僅かな影響しか及ぼさない傾向にあることである。さらにこのアプローチによれば、任意の強度構造を追従することができる。なぜならばこの構造は、複数のフレームにわたり一定に保持される傾向にあるからである。本発明によれば、強度分布を表すためにヒストグラムを使用することができる。輪郭を表すために、コントロールポイントを使用することができる。最初のフレームに対する輪郭を手動で描くことができるし、あるいは自動的に生成することができる。追従は第２のフレームにおいて始まる。

図７Ａおよび図７Ｂには、フレーム初期化の一例が描かれている。図７Ａには、左心室心内膜壁の胸骨傍のビューが描かれている。図７Ｂには、左心室心内膜壁の尖端ビューが描かれている。ここでは各事例において、心内膜壁周囲の輪郭が手動で描かれた。追従中、０次のオーダのダイナミックモデルを仮定し先行の輪郭を用いてサーチロケーションが更新される。択一的に、心臓の周期運動に関する情報を組み入れるために、もっと多くの複合的なダイナミックモデルを使用することができる。初期フレームから得られた分布は基準テンプレートとして保持される。誤差累積に対し補償がなされているならば、代案として先行のフレームからの分布を使用することができる。

コントロールポイント近傍領域の全体的な表示と局所的な表示との間のトレードオフを考慮して、デュアルヒストグラムのアプローチが用いられる。輪郭を追従する目的で、関心領域が２つの矩形に分割され、２つのヒストグラムが得られるようになる。１つめのヒストグラムは輪郭の内側の分布をキャプチャリングするために計算され、２つめのヒストグラムは輪郭の外側の分布をキャプチャリングするために計算される。図８には、本発明による２つのヒストグラムが例示されている。

次に、関心ウィンドウごとに、各ポイントが輪郭の内側にあるのか外側にあるのかについて、ウィンドウ内のポイントごとに判定を下す必要がある。この種の判定を下すのは、特定のイメージフレームについて輪郭に関する詳細が既知でないことから難しい。計算を単純にするために、輪郭に関する仮定を行うことができる。たとえば、イメージが胸骨傍の短軸ビューであるならば、輪郭は円形であると仮定することができ、フレーム内のすべてのコントロールポイントについて円形の区分を用いることができる。本発明によれば、局所的な輪郭配向を見つけ出すために、２つの近傍コントロールポイントが用いられる。この場合、曲率は半径ｄによりコントロールされ、この半径は左心室腔のサイズと形状に基づく領域の知識を利用して経験的に決定される。

図９には、ウィンドウ区分化法をどのように採用するのかについて描かれている。破線９０２により輪郭の境界が表されている。要素Ｐ（ｉ，ｔ）により、フレームｔに関するｉ番目のコントロールポイントが表される。要素Ｏ（ｉ，ｔ）はこれに対応する重心である。要素Ｐ（ｉ＋１，ｔ＋１）は近傍のコントロールポイントである。先行のモデルにより輪郭を調整するために、主成分分析Principal Component Analysisが用いられる。いっそう高速かついっそう多くの精確な追従を達成するため、３レベルのピラミッドが用いられる。第１のレベルは４分の１サイズイメージである。第２のレベルはハーフサイズイメージであり、第３のレベルはフルサイズイメージである。１つのレベルから次のレベルへのロケーションが伝播される。マルチスケールレベルを用いることは計算上効率的であり、トップレベルによって円滑化されたいっそう小さいイメージが提供され、このイメージは局所ノイズによっても僅かにしか妨害を受けない。

本発明の別の実施形態によれば、超音波信号（ファン）の識別が入力イメージにおいて自動的に決定される。ファン内部の情報のみが、心筋壁運動の追従、検出または全体運動の補償のようなイメージ分析アルゴリズムにおいて用いられることになる。ファンの自動検出は、対象物体の運動およびスペックルノイズに起因して対応するピクセルが時間の経過につれて強い強度変動を有するということに基づく。

図１０Ａ〜図１０Ｅには、超音波イメージにおけるファンを検出するための本発明による方法について例示されている。図１０Ａには、心臓エコー検査イメージシーケンスが描かれており、この場合、有効超音波信号と対応づけられたイメージ領域が自動的に検出される。時間軸上でフレーム間強度を計算した結果、図１０Ｂに示されているイメージが得られる。ファン境界で生じ得るロケーションに関する事前の知識を用いて境界ポイントがサーチされ、これは変化イメージの左側と右側でそれぞれ±４５°で配向されたステップフィルタを適用することにより保持される。図１０Ｃには、その結果として保持されたポイントが描かれている。

ファン側方の各々について保持された境界ポイント上にラインをフィットさせるため、ロバスト回帰が適用される。全最小２乗（ＴＬＳ）推定により解が与えられる。全最小２乗ＴＬＳ推定は異常値（すなわち本当のファン境界の内部または外部における誤ったポイント）に関してロバストではないので、ここではバイウェイトＭ推定器biweight M-estimatorを用いる。したがって、バイウェイト損失関数 biweight loss functionにより最小化エラーを処理することにより、推定プロセスのロバストな振る舞いが達成される。この場合、重み付けられた全最小２乗により繰り返し解が得られる。反復をスタートさせるため、まえもって決められた複数の方向に候補ポイントを投影し（図１０Ｃ参照）、ポイントヒストグラムのモードと標準偏差を求めることにより、ラインロケーションと誤差のスケールに対する初期の推定が求められる。生じ得るファン配向に関する事前の知識を利用して、投影方向が決定される。ファンの底部は、一時的な強度変化イメージにおける半径方向のヒストグラムから見つけ出される。ファンの半径は、半径方向のヒストグラムにおける急峻な低下と対応づけられる。図１０Ｄにはヒストグラムが示されており、図１０Ｅには自動的に検出されたファンが描かれている。

ここで付言しておくと、ある対象物体の局所的に変形し得る動きに対する方法についてこれまで述べてきたけれども、当業者であれば上述の説明に基づき種々の変形を施すことができる。したがって、特許請求の範囲に記載された本発明の枠内にある既述の個々の実施形態において変更を行えることは自明である。

局所的に変形する可能性のある被検体の運動をトラッキングないしは追従するための本発明による方法を実現するシステムの一例を示す図心収縮中の短軸ビューによる左心室の４つの異なる状態を示す図本発明による全体運動補償に用いられる短軸ビューおよび尖端の４室ビューならびに個々のサンプルエリアにおける超音波心臓検査の超音波イメージを示す図左心室エリアのサイズを時間軸上で描いたグラフ左心室の２つのビューならびに対応するそれらのＰＣＡモデルに関する主要な固有形状について示す図複数の輪郭ポイントに対するピラミッドの底部において計算された不確定性を示す図左心室に関する心内膜壁の輪郭の第１のフレーム初期化について示す図本発明による超音波心臓検査法イメージの強度および空間分布を示すヒストグラムのペアを示す図輪郭の内側と外側を求めるための本発明による関心ウィンドウ分割方法について示す図超音波イメージにおけるファンを自動的に検出するための本発明による方法について示す図

Claims

イメージシーケンスとして観察される対象物体の局所的に変形可能な動きを追従する方法において、
対象物体イメージ領域と背景イメージ領域を識別するためにイメージ領域をサンプリングするステップと
全体運動により作用の及ぼされた背景イメージ領域を識別するために、識別された背景イメージ領域のうち少なくとも１つの領域の動きを推定するステップと、
イメージフレームにおける全体運動を測定するために、複数の背景イメージ領域から動きを組み合わせるステップと、
対象物体の局所的な動きを測定するために、前記対象物体イメージ領域において測定された全体運動を補償するステップと、
該対象物体の局所的な動きを追従するステップ
を有することを特徴とする、
局所的に変形可能な動きを追従する方法。
請求項１記載の方法において、
前記動きを推定するステップはオプティカルフロー推定技術を使用して実行されることを特徴とする方法。
請求項２記載の方法において、
前記動きを推定するステップは情報融合技術を使用して実行されることを特徴とする方法。
請求項１記載の方法において、
前記全体運動は所定の背景イメージ領域の回転および並進の測定により測定されることを特徴とする方法。
請求項４記載の方法において、
背景イメージ領域の回転および並進を測定するために最小２乗マッチングが使用されることを特徴とする方法。
請求項１記載の方法において、
前記対象物体は心臓の左心室であることを特徴とする方法。
請求項６記載の方法において、
前記全体運動を補償するステップは、左心室の心臓運動周期を計算するステップを有することを特徴とする方法。
請求項７記載の方法において、
心臓運動周期を計算する前記ステップは、
左心室の壁におけるポイントを識別するステップと、
該識別されたポイントの動きを追従することにより時間軸上の左心室のサイズの変化を測定するステップと、
前記心臓運動周期を識別するために測定されたポイントの自己相関分析を使用するステップ
を有することを特徴とする方法。
請求項１記載の方法において、
前記イメージは超音波イメージであることを特徴とする方法。
請求項１記載の方法において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする方法。
請求項１記載の方法において、
前記対象物体は人体の器官であることを特徴とする方法。
対象物体イメージ領域と背景イメージ領域を含む対象物体イメージの局所的な動きの変形を測定する方法において、
背景イメージ領域に含まれている複数のコントロールポイントを識別するステップと、
該識別された複数のコントロールポイントに対し不確定性を含む局所的な動きベクトルを測定するステップと、
後続のイメージフレームにおける各コントロールポイントを別個に追従するステップと、
前記コントロールポイントのロケーションおよびその不確定性を共分散行列を用いて表すステップと、
全体運動を推定するためにロケーションおよび共分散行列を用いるステップと、
実際の局所的な対象物体変形を取得するために該全体運動を基準として用いるステップ
を有することを特徴とする、対象物体イメージの局所的な動きの変形を測定する方法。
請求項１２記載の方法において、
複数のアピアランスモデルを用いたロバストオプティカルフロー技術を利用して前記追従ステップを実行することを特徴とする方法。
請求項１２記載の方法において、
前記対象物体は心臓の左心室であることを特徴とする方法。
請求項１２記載の方法において、
前記イメージは超音波イメージであることを特徴とする方法。
請求項１２記載の方法において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする方法。
請求項１２記載の方法において、
前記対象物体は人体の器官であることを特徴とする方法。
対象物体イメージの局所的な動き変形を測定する方法において、
前記対象物体の外側輪郭を表す第１の複数のポイントを識別するステップと、
前記対象物体の内側輪郭を表す第２の複数のポイントを識別するステップと、
各々規定の期間を表す複数のイメージフレームにわたり前記第１の複数のポイントと前記第２の複数のポイントの動きを追従するステップと、
相対的な局所的動きと局所的変形を測定するために前記第１および第２の複数のポイントの双方を用いるステップ
を有することを特徴とする、対象物体イメージの局所的な動き変形を測定する方法。
請求項１８記載の方法において、
前記対象物体は心臓の左心室であることを特徴とする方法。
請求項１９記載の方法において、
前記第１の複数のポイントは心室の心外膜壁を表すことを特徴とする方法。
請求項１９記載の方法において、
前記第２の複数のポイントは心室の心内膜壁を表すことを特徴とする方法。
請求項１８記載の方法において、
前記イメージは超音波イメージであることを特徴とする方法。
請求項１８記載の方法において、
前記動きを追従するステップは、現在のイメージフレームにおける第１および第２の複数のポイントと、先行のイメージフレームから得られた対応するポイントとを比較するステップを有することを特徴とする方法。
請求項１８記載の方法において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする方法。
請求項１８記載の方法において、
前記対象物体は人体の器官であることを特徴とする方法。
対象物体イメージの局所的な変形を測定する方法において、
前記対象物体の輪郭を表す複数のコントロールポイントを識別するステップと、
後続のイメージフレームにおけるコントロールポイントの動きを追従するステップと、
追従された該コントロールポイント近傍の強度分布を表すためにデュアルヒストグラムを用いるステップ
を有することを特徴とする、対象物体イメージの局所的な変形を測定する方法。
請求項２６記載の方法において、
前記デュアルヒストグラムを用いるステップは、対象物体輪郭の内側における追従されたコントロールポイントの近傍強度の分布を表す第１のヒストグラムを生成するステップを有することを特徴とする方法。
請求項２６記載の方法において、
前記デュアルヒストグラムを用いるステップは、対象物体輪郭の外側における追従されたコントロールポイントの近傍強度の分布を表す第２のヒストグラムを生成するステップを有することを特徴とする方法。
請求項２６記載の方法において、
前記デュアルヒストグラムにおける関心ウィンドウを識別するステップと、
各関心ウィンドウごとに、所定の関心ウィンドウ内の各ポイントについて該ポイントが前記対象物体輪郭の内側にあるのか外側にあるのかを判定するステップ
を有することを特徴とする方法。
請求項２９記載の方法において、
前記判定ステップは、局所的な輪郭配向を求めるために近傍コントロールポイントを用いるステップを有することを特徴とする方法。
請求項２６記載の方法において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする方法。
請求項２６記載の方法において、
前記対象物体は人体の器官であることを特徴とする方法。
イメージ中に超音波信号が含まれる領域を求める方法において、
１つのイメージにおけるスタティック領域とダイナミック領域を識別するステップと、
前記ダイナミック領域の境界ポイントを求めるステップと、
該境界ポイントに合わせてパラメトリック形状モデルをフィットさせるステップ
を有することを特徴とする方法。
請求項３３記載の方法において、
スタティック領域とダイナミック領域を識別する前記ステップは、時間軸上のフレーム間差分を用いた計算により行われることを特徴とする方法。
請求項３３記載の方法において、
ダイナミック領域の境界ポイントを求める前記ステップは、ステップフィルタを用いた計算により行われることを特徴とする方法。
請求項３３記載の方法において、
パラメトリック形状モデルをフィットさせる前記ステップは、ロバストな損失関数を用いた全最小２乗によるロバスト回帰により行われることを特徴とする方法。
請求項３３記載の方法において、
前記イメージは３Ｄボリュームであることを特徴とする方法。
イメージシーケンスとして観察される対象物体の局所的に変形可能な動きを追従する装置において、
対象物体イメージ領域と背景イメージ領域を識別するためにイメージ領域をサンプリングする手段と
全体運動により作用の及ぼされた背景イメージ領域を識別するために、識別された背景イメージ領域のうち少なくとも１つの領域の動きを推定する手段と、
イメージフレームにおける全体運動を測定するために、複数の背景イメージ領域から動きを組み合わせる手段と、
対象物体の局所的な動きを測定するために、前記対象物体イメージ領域において測定された全体運動を補償する手段と、
該対象物体の局所的な動きを追従する手段
が設けられていることを特徴とする、局所的に変形可能な動きを追従する装置。
請求項３８記載の装置において、
前記動きはオプティカルフロー推定技術を使用して推定されることを特徴とする装置。
請求項３９記載の装置において、
前記動きは情報融合技術を使用して推定されることを特徴とする装置。
請求項３８記載の装置において、
前記全体運動は所定の背景イメージ領域の回転および並進の測定により測定されることを特徴とする装置。
請求項４１記載の装置において、
背景イメージ領域の回転および並進を測定するために最小２乗マッチングが使用されることを特徴とする装置。
請求項３８記載の装置において、
前記対象物体は心臓の左心室であることを特徴とする装置。
請求項３８記載の装置において、
前記イメージは超音波イメージであることを特徴とする装置。
請求項３８記載の装置において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする装置。
請求項３８記載の装置において、
前記対象物体は人体の器官であることを特徴とする装置。
対象物体イメージ領域と背景イメージ領域を含む対象物体イメージの局所的な動きの変形を測定する装置において、
背景イメージ領域に含まれている複数のコントロールポイントを識別する手段と、
該識別された複数のコントロールポイントに対し不確定性を含む局所的な動きベクトルを測定する手段と、
後続のイメージフレームにおける各コントロールポイントを別個に追従する手段と、
前記コントロールポイントのロケーションおよびその不確定性を共分散行列を用いて表す手段と、
全体運動を推定するためにロケーションおよび共分散行列を用いる手段と、
実際の局所的な対象物体変形を取得するために該全体運動を基準として用いる手段
が設けられていることを特徴とする、対象物体イメージの局所的な動きの変形を測定する装置。
請求項４７記載の装置において、
前記トラッキングは、複数のアピアランスモデルを用いたロバストオプティカルフロー技術を利用して実行されることを特徴とする装置。
請求項４７記載の装置において、
前記対象物体は心臓の左心室であることを特徴とする装置。
請求項４７記載の装置において、
前記イメージは超音波イメージであることを特徴とする装置。
請求項４７記載の装置において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする装置。
請求項４７記載の装置において、
前記対象物体は人体の器官であることを特徴とする装置。
対象物体イメージの局所的な動き変形を測定する装置において、
前記対象物体の外側輪郭を表す第１の複数のポイントを識別する手段と、
前記対象物体の内側輪郭を表す第２の複数のポイントを識別する手段と、
各々規定の期間を表す複数のイメージフレームにわたり前記第１の複数のポイントと前記第２の複数のポイントの動きを追従する手段と、
相対的な局所的動きと局所的変形を測定するために前記第１および第２の複数のポイントの双方を用いる手段
が設けられていることを特徴とする、対象物体イメージの局所的な動き変形を測定する装置。
請求項５３記載の装置において、
前記対象物体は心臓の左心室であることを特徴とする装置。
請求項５４記載の装置において、
前記第１の複数のポイントは心室の心外膜壁を表すことを特徴とする装置。
請求項５４記載の装置において、
前記第２の複数のポイントは心室の心内膜壁を表すことを特徴とする装置。
請求項５３記載の装置において、
前記イメージは超音波イメージであることを特徴とする装置。
請求項５３記載の装置において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする装置。
請求項５３記載の装置において、
前記対象物体は人体の器官であることを特徴とする装置。
対象物体イメージの局所的な変形を測定する装置において、
前記対象物体の輪郭を表す複数のコントロールポイントを識別する手段と、
後続のイメージフレームにおけるコントロールポイントの動きを追従する手段と、
追従された該コントロールポイント近傍の強度分布を表すためにデュアルヒストグラムを用いる手段
が設けられていることを特徴とする、対象物体イメージの局所的な変形を測定する装置。
請求項６０記載の装置において、
対象物体輪郭の内側における追従されたコントロールポイントの近傍強度の分布を表す第１のヒストグラムが設けられていることを特徴とする装置。
請求項６０記載の装置において、
対象物体輪郭の外側における追従されたコントロールポイントの近傍強度の分布を表す第２のヒストグラムが設けられていることを特徴とする装置。
請求項６０記載の装置において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする装置。
請求項６０記載の装置において、
前記対象物体は人体の器官であることを特徴とする装置。
イメージシーケンスとして観察される対象物体の全体運動を計算する方法において、
対象物体イメージ領域と背景イメージ領域を識別するステップと、
背景イメージ領域に対し相対的な対象物体イメージ領域の動きを推定するステップ
を有することを特徴とする方法。
請求項６５記載の方法において、
前記対象物体は器官であることを特徴とする方法。
請求項６５記載の方法において、
対象物体イメージ中の全体運動を補償して対象物体の局所的な動きを測定するために、対象物体イメージの推定された動きを用いるステップを有することを特徴とする方法。
請求項６５記載の方法において、
前記動きを推定するステップはオプティカルフロー推定技術を使用して実行されることを特徴とする方法。
請求項６８記載の方法において、
前記動きを推定するステップは情報融合技術を使用して実行されることを特徴とする方法。
請求項６５記載の方法において、
前記全体運動は所定の背景イメージ領域の回転および並進の測定により測定されることを特徴とする方法。
請求項７０記載の方法において、
背景イメージ領域の回転および並進を測定するために最小２乗マッチングが使用されることを特徴とする方法。
請求項６５記載の方法において、
前記対象物体は心臓の左心室であることを特徴とする方法。
請求項６５記載の方法において、
前記イメージは超音波イメージであることを特徴とする方法。
請求項６５記載の方法において、
前記イメージは対象物体の３Ｄボリュームであることを特徴とする方法。
請求項６５記載の方法において、
前記対象物体は人体の器官であることを特徴とする方法。