JP2014507166A - 腫瘍を追跡するための方法 - Google Patents

Abstract

二方向画像の対から求められる腫瘍の３Ｄモデル、二方向ジオメトリ、及び腫瘍の以前の位置を用いて１組のセグメンテーション仮説を生成することによって、腫瘍が二方向画像のシーケンス内で追跡される。この１組の仮説に基づいてボリューム事前確率が構築される。ボリューム事前確率を用いてシードピクセルが選択され、輝度勾配及びシードピクセルを用いて二方向二重画像グラフが構築され、画像輝度を用いて腫瘍境界に対応するセグメンテーションマスクが得られ、腫瘍の現在の位置が求められる。

Description

本発明は、包括的には３Ｄ物体を追跡することに関し、より詳細には、粒子線治療の目的で、二方向画像のシーケンスにおいて動いている腫瘍を追跡することに関する。

粒子線治療は、周囲の健康な組織に対する損傷を最小限にしながら荷電粒子を腫瘍に送達する。粒子のエネルギー蓄積プロファイルは、ブラッグピークを有する。このピークは、粒子が停止する直前に生じる。このプロファイルは、粒子の到達範囲の数ミリメートル内で粒子の最大エネルギーを送達するように制御することができる。このため、規定の照射は、ビームの側方散乱及び広がりをほとんど伴うことなく腫瘍に焦点を合わせられる。

しかしながら、ランダムで全身性の運動に起因して、腫瘍は、治療中リアルタイムで連続して追跡されなくてはならない。超音波、Ｘ線、及び磁気共鳴撮像法（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等の幾つかのモダリティを用いて身体の内部構造が追跡される。これらの中でも、超音波撮像は、Ｘ線に対する非侵襲的な代替を提供する。また、３Ｄ撮像機能を有する高周波数超音波システムは、費用及び時間の効率が良く、より良好な解像度、最小の大きさでの腹部転移の識別及び検出を達成し、有利にはＸ線撮像で達成されるものに匹敵する。

超音波撮像は、腫瘍の中心のみでなく、多岐にわたる高コントラストの新生物の全体ボリューム及び境界も描く。超音波撮像は、従来から腫瘍の検出及び病期診断に用いられている。

目に見える腫瘍の場合、腫瘍追跡は、画像セグメンテーションによって行うことができる。ここで、各ピクセルは、前景（腫瘍）又は背景（健常組織）のいずれかとしてラベル付けされる。このタスクは、通常、レベル集合技法及びグラフ分割技法に属する。画像セグメンテーションの場合、レベル集合は、経時的な前部（ｆｒｏｎｔ）の展開を示し、より具体的には、画像セグメンテーションの場合に、２つの別個の閉じた領域間の境界を示す。

時間依存のより高次元の陰関数のゼロレベル集合の埋込みとして前部を間接的にモデリングすることによって、これらの課題は、特殊な事例として扱う必要なく対処される。そして、展開する前部は、その陰関数のゼロレベル集合を追跡することによって、例えば閉曲線から開始して、その曲線が画像から局所的に導出された初期速度から、その曲線自体に対し垂直に動くことを可能にすることによって追従することができる。通常の技法は、離散パラメーター化による曲線の評価を、位置が所与のモデルに従って更新される点の集合として表す。

グラフカットに基づくセグメンテーション技法は、効率的で正確であり、広いエネルギー汎関数群について大域最適を保証する。グラフ理論において、カットとは、グラフの頂点（ノード）を２つの別個のサブセットに分割することである。１組の前景ピクセル及び１組の背景ピクセルを所与とすると、画像はグラフによって表され、二値セグメンテーションの最大事後確率（ＭＡＰ：Ｍａｘｉｍｕｍ ａ Ｐｏｓｔｅｒｉｏｒｉ）推定値は、グラフを通じたフローを最大にすることによって得ることができる。グラフエッジエネルギーは、物体／背景の割り当てについて評価され、データ依存項として設計される。各ピクセルは、グラフ内の頂点とみなされる。

グラフは、２つの追加の頂点、すなわち前景全体を表すソースと背景全体を表すシンクとを含む。データ依存項は、画像内の各ピクセルを、重み付きエッジを用いて物体頂点及び背景頂点の双方に連結することによって実現される。重み付きグラフの最小カットは、背景から前景を最も良好に分離するセグメンテーションを表す。カットに沿った重みの和がいかなる他のカットの和よりも大きくない場合、カットは最小である。この特性に起因して、グラフカット法は、基礎を成す外観が細長い物体を示す場合であっても、コンパクトな領域を生成する傾向にある。

形状事前情報は、プロセスの大域最適性を妥協することなく、グラフカットの枠組みに組み込むことができる。形状事前情報は、この事前情報及び画像が複数のスケールで位置合わせされ、ペアワイズコスト項が近傍ピクセルの形状一致コスト項とともに付加された後、形状の距離変換を用いて符号化することができる。このコスト項は、劣モジュラーである。このため、大域最適解を依然として得ることができる。しかしながら、変更されたプロセスを様々なスケールについて繰り返して最良の適合を求めなくてはならず、これは時間がかかる。

他の技法は、形状事前情報を１変数項（ｕｎａｒｙ ｔｅｒｍ）に組み込む。カーネル主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いてトレーニング形状から生成モデルをトレーニングすることができる。グラフカットは、初期輪郭から開始して反復的に行われる。各反復中、以前の反復からのセグメンテーションに基づき、トレーニングされた形状モデルから原像が生成される。この原像は、事前確率マップとして用いられ、ピクセルごとの負の対数尤度値を用いて１変数項によってコード化された最終的な重みが変更される。画像正規化プロセスを利用して形状のアフィン変換が対処される。この方法は、グラフカットの枠組みにおいて多相レベル集合セグメンテーションを課すことによって、分離した領域をセグメンテーションすることができる。

１つの方法は、３Ｄ超音波画像内の左心室を追跡するためのものである。しかしながら、この方法は複雑度が高く、トレーニングデータセットに対する教師あり学習に依存する。これは全ての事例において利用可能であるわけではない場合がある。

ほとんどのグラフカット方法は、位置並びにソースピクセル及びシンクピクセル数の影響を非常に受けやすい。マルチラベルセグメンテーションは、酔歩問題として課される。等価な連続ディリクレプロセスが、組み合わせ演算子を用いてグラフに対し再定式化される。画像セグメンテーションは、１組のシードピクセル（シード）の所与のラベルに対し制約されたスパースな連立一次方程式を解くことによって得られる。トレーニングデータから得られたガウス混合の形態の色事前確率情報は、酔歩セグメンテーションプロセスに組み込むことができる。

しかしながら、上述した方法を画像シーケンス内の腫瘍を追跡することに拡張することは簡単ではなく、連続画像におけるシンクピクセル及びソースピクセルの精緻な又は手動の選択が必要とされる。

上記の手法の欠点に対処するために、本発明の実施の形態は、腫瘍追跡を、エネルギー最小化の枠組みにおける時間的に進行性の（ｔｉｍｅ−ｗｉｓｅ ｐｒｏｇｒｅｓｓｉｖｅ）３Ｄセグメンテーション問題として定式化する。ここで、腫瘍の３Ｄモデルは、事前情報として課される。本発明は、従来技術におけるような完全な３Ｄ超音波画像又はコンピューター断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）画像ではなく、二方向画像のシーケンスに基づく。

本発明の実施の形態は、事前情報として腫瘍の３Ｄ形状を用いて、二方向画像のシーケンス内の３Ｄ腫瘍を追跡する方法を提供する。二方向画像は、２つの画像平面の同時ビューを提供するように互いに対して回転されたトランスデューサーアレイによって捕捉される。

腫瘍境界は、グラフ伝搬を用いて各画像内でセグメンテーションされる。セグメンテーションシードピクセル（シード）は、組み合わされた二方向二重画像セグメンテーションによって推測される。セグメンテーション仮説が３Ｄ形状から生成され、これを用いて、画像内のシードピクセルの位置が特定され、輝度に基づく前景確率マップがフィルタリングされる。

フィルタリングされた前景確率マップに距離関数が適用され、セグメンテーションのためのラプラシアン行列が構築される。次に、結果としてのセグメンテーションマスクが形状事前情報に照合され、３Ｄ腫瘍が位置を特定される。

本発明の方法は、同じグラフに重ね合わされた推測グラフィックモデルを用いる。腫瘍のボリュームは、推測プロセスにおいて中心的な役割を有する。このボリュームは、腫瘍の３Ｄ位置とともに、境界セグメンテーションを２つのビューにおいて推測する際に用いられる。このボリュームは、推定された境界セグメンテーションとともに、新たな３Ｄ位置を推測する際に用いられる。

本発明では、３Ｄ位置を推測するために粒子フィルタリングを用いる。粒子フィルタリングでは、各粒子は、腫瘍の可能な新たな位置である。ボリュームから、各粒子は、ボリュームと関連付けられたセグメンテーションマスクにマッピングされる。これらのセグメンテーション仮説を、（重なりかみあい率（ｏｖｅｒｌａｐ ｒａｔｉｏ）を用いて）結果としてのセグメンテーションと照合することによって、整合スコアが求められる。最終的に、最大事後（ＭＡＰ）推定を用いて最適整合セグメンテーション仮説を提供する粒子、すなわち、整合スコアが所定のしきい値未満である粒子を用いる。

画像シーケンスの第１のフレームにおける初期位置である腫瘍の現在の位置を所与とすると、新たなフレームの１組のセグメンテーション仮説が生成される。これらの仮説を用いて、事前確率が構築される。この事前確率から、新たなフレームのためのセグメンテーションシードがマーク付けされる。選択されたシードを用いて前景及び背景の輝度分布が学習され、これによって、セグメンテーションのためのデータ駆動の事前確率が得られる。平面ごとに２つのフレームのグラフを組み合わせる単一の結合グラフが構築される。グラフに基づくセグメンテーションが結合グラフに対し実行され、２つのフレームにおける初期セグメンテーション結果が得られる。初期セグメンテーションの成果は、初期セグメンテーション結果を最も適合するセグメンテーション仮説と置き換えることによって精緻化される。

本発明の実施の形態による、腫瘍の３Ｄ形状を事前情報として用いて、二方向画像のシーケンス内の３Ｄ腫瘍を追跡する方法の流れ図である。 本発明の実施の形態による、二重画像グラフの概略図である。 本発明の実施の形態によるグリッドグラフの概略図である。 ボリューム事前分布（ｖｏｌｕｍｅ ｐｒｉｏｒ）と、３Ｄ位置と、２Ｄセグメンテーションマスクとの間の関係の概略図である。

図１は、本発明の実施の形態による、腫瘍の形状の３Ｄモデルを事前情報として用いて、二方向画像のシーケンス内の腫瘍を追跡する方法１００を示している。

本方法への入力１１０は、二方向画像の対の２つのシーケンス１１１と、二方向ジオメトリ１１２と、腫瘍の３Ｄモデル１１３と、初期３Ｄ腫瘍位置１１４とを含む。初期位置は、推定又は概算することができる。本方法の反復によって、腫瘍が追跡されるときに位置１１４が更新される。１つの実施の形態では、二方向画像は、２つの画像平面の同時ビューを提供するように互いに対して回転された２つの超音波トランスデューサーアレイによって捕捉される。このため、各時点において、２つの画像の対が存在する。本発明は、他の撮像様式とともに機能することもできることが理解されよう。

シーケンス１１１内の現在の画像の対ごとに、二方向ジオメトリ１１２、及び以前の画像内の腫瘍の位置１１４を所与として、３Ｄ腫瘍モデル１１３を用いて１組の仮説が生成される（１２０）。仮説を用いて、ボリューム事前分布１３０が構築される。現在の画像内にセグメンテーションシードピクセル（シード）１３１が存在する場合、以前の画像の二方向セグメンテーションが、ボリューム事前確率を課してシード位置を精緻化した後に、それらのセグメンテーションシードピクセルが選択される。

選択されたシードを用いて、前景及び背景の割り当てのための輝度分布が求められ、この分布から輝度事前情報が得られる。２つの画像シーケンスの複数の画像を用いて、二方向二重画像３Ｄグラフが輝度勾配を用いて構築される（１４０）。確率マップにおける距離関数によってラプラシアン行列が構築され、輝度事前情報が組み込まれる。

グラフ伝搬を用いて、各画像内の対応する腫瘍境界（セグメンテーションマスク）１４１が得られる。次に、１組の仮説１２０を用いてセグメンテーションマスクを精緻化し（１４２）、腫瘍の現在の３Ｄ位置１１４を得ることができる。

次に、腫瘍の現在の位置を用いて、放射線治療中に粒子線１７０が腫瘍１７１に向けられることを確実にすることができる。

基準画像及びマスク１５０は維持され、セグメンテーションが前景ピクセルを含む場合に更新される。

上記の方法のステップは、当該技術分野において既知のメモリ及び入力／出力インターフェースに接続されたプロセッサ１６０において実行することができる。

グラフ伝搬
各入力画像１１１を所与とすると、目的は、ラベルｌ∈１，．．．，Ｋを画像内の各ピクセルに割り当てることによって、画像をＫ個のセグメントに分割することである。入力画像ＩがグラフＧ＝（Ｖ，Ｅ，ｗ）によって表されるものとすると、ここでＶ＝｛ｖ_ｉ｜ｉ＝１，．．．，Ｎ｝は、画像内のＮ個のピクセルに対応する１組の頂点であり、Ｅ＝｛ｅ_ｉｊ＝（ｖ_ｉ，ｖ_ｊ）｜ｉ，ｊ＝１，．．．，Ｎ｝は、近傍ピクセル群に対応するグラフ内の１組のエッジであり、ｗは各エッジの２つの頂点間の親和性を測定するグラフエッジの重み関数である。

このグラフにおいて、エッジは、近傍構造を符号化し、エッジ重みは、エッジの各端部における頂点に対応するピクセル間の類似度を示す。輝度画像、例えばＸ線画像及び超音波画像の場合、頂点ｉと頂点ｊとの間のエッジの重み関数ｗ（ｅ_ｉｊ）は、以下のように定式化することができる。

ここで、αは定数であり、ｖ_ｉ及びｖ_ｊは頂点であり、Ｆは入力画像の輝度マップである。

グラフ伝搬の枠組みによって、組み合わせディリクレ積分を最小にする離散的ラベル付け関数ｒが決まる。プロセスがどのように機能するかに関してより良好な洞察を有するために、連続ディリクレ問題から開始する。領域Ωにわたる関数ｒの連続ディリクレ積分は、以下のように定義される。

積分は領域Ωにわたって関数ｒの平滑性を測定する。積分は常に非負であり、ｒが定数のとき、ゼロの最小値を有する。ディリクレ積分を最小にする関数を求めることは、関数の値が幾つかの点において既知である場合、より関心の高いものとなる。関数の既知の値は、境界条件と呼ばれる。境界条件を所与として最小化関数を求める問題は、境界ディリクレ問題と呼ばれる。離散領域において、組み合わせディリクレ積分は、以下の式となる。

ここで、Ｔは転置演算子であり、ＬはグラフのＮ×Ｎの組み合わせのラプラシアン行列である。

ここで、以下である。

このため、ディリクレ積分方程式を最小化する離散関数ｒは以下となる。

ラプラシアン行列Ｌの階数は、高々Ｎ−１である。すなわち、Ｌは非正則である。結果として、関数ｒに関する更なる知識がないと、無限に解が存在し、すなわち任意の定関数が解となる。より関心のある事例は、シードピクセルのうちの幾つかについてｒの値を知っているときである。関数ｒは、ラベル付けされた（マーク付けされた）ピクセルの場合、ｒ_Ｍとして分割され、ラベル付けされていないピクセルの場合、ｒ_Ｕとして分割される。したがって、行列Ｌ内のエントリを再順序付けした後、ディリクレ積分方程式を以下のように書き換えることができる。

ここで、Ｂは左上（Ｌ_Ｍ）の既知のラベル及び右下（Ｌ_Ｕ）の未知のラベルに対応するＬ行列の係数の再構成後に形成された部分行列であり、Ｔは行列転置を示す。

ｒ_Ｕに関してＤ（ｒ_Ｕ）の導関数をとり、次にこれらの導関数をゼロに設定することによって、以下の連立一次方程式が得られる。

ここで、Ｌ_Ｕはグラフが連結されている限り正定値であるか、又は全ての連結成分が、関連付けられたシードピクセルを有する。

上記で説明したように、ディリクレ積分は、ラベル割当ての平滑性を測定する。実際に、ディリクレ問題への解は、平均値定理に従って、近傍ピクセルのラベルの重み付けされた平均値を各ピクセルに割り当てる。

本発明のセグメンテーション問題に関して、ラベルの数値は無意味である。このため、複数のラベル値の重み付けされた平均は有用でない。したがって、ラベル付け関数についてディリクレ境界問題を解く代わりに、ラベルごとに別々に確率関数の問題を解く。ｒ^ｓが、ラベルｓを取得する確率ｒ^ｓ _ｉを頂点ｖ_ｉに割り当てる関数であるとする。ｒ^ｓのラベル付けされた部分ｒ^ｓ _Ｍは、ラベルｓを有するシード頂点の場合、値１をとり、全ての他のシード頂点の場合に値０をとる。

したがって、ラベルｓの解は以下を解くことによって得ることができる。

Ｎ_Ｍ×Ｋの行列ｒ_Ｍを定義する。ここで、Ｎ_Ｍはシード頂点数であり、ｒ_Ｍのｌの列がｒ^ｌ _Ｍであるようになっている。換言すれば、ｒ_Ｍの各行は、以下の形態の長さＫの指標ベクトルである。

同様に、Ｎ_Ｕ×Ｋの行列ｒ_Ｕを定義する。ここで、Ｎ_Ｕはラベル付けされていない頂点の数である。全てのラベルの解は、以下を解くことによって得ることができる。

ｒ^ｓ _ｉは、頂点ｖ_ｉがラベルｓを取得する確率であるので、ｒ_ｉは以下の条件を満たす。

したがって、Ｋ−１個の線形システムのみを解く必要がある。行列Ｌはスパースであるので、これらの線形システムのそれぞれはスパースである。グラフ伝搬という名称は、ピクセルｖ及びラベルｓごとに、式（１１）への解は、ｖから開始してグラフを通って伝搬し、エッジ重みに比例する遷移確率で、ブラウン運動で動く仮説粒子が、ラベルｓを有するシードピクセルに最初に到達する確率であることに由来する。

グラフ構築
本発明のグラフは、新たな現在のフレームと以前の基準フレームとを結合し、複数のビューも結合する。単一の統合したグラフに対するセグメンテーションは、セグメンテーション一貫性を維持することを超えた利点を有する。セグメンテーションによって、腫瘍が１つ又は複数のビューから見えなくなるとき、ピクセルを正しくラベル付けすることが可能になる。以下で詳細に説明される図２を参照されたい。

時間一貫性
３Ｄ腫瘍のモデル及び初期位置を所与とすると、第１のフレームのセグメンテーションを直接推測することができる。フレームは劇的に異なる場合があるので、第１のフレーム後のフレームにおいてシードを割り当てるために、１つのフレームのセグメンテーション結果を次のフレームのシードとして用いることは正確でない。腫瘍が見えなくなった場合、新たなフレームは、前景領域を有しない場合さえある。

誤ったラベル割当てを実施することなくシードの利用可能性を確保するために、２つのフレームを共同でセグメンテーションする。一方のフレームは現在の新たなフレームであり、他方は基準フレームである。新たなフレームのみについて単一グリッドのグラフを構築する代わりに、フレームごとに１つずつ２つの平行なグリッドを有するグラフを構築する。一方のグリッド内の各ピクセルは、他方のグリッド内の対応するピクセルに連結される。基準フレームが先行するフレームであるとみなし、このフレームがそのセグメンテーションにおいて前景ラベル及び背景ラベルの双方を有すると仮定する。

基準フレームのこれらのラベル付けされたピクセルは、組み合わされたグラフ内のシードノードとしての役割を果たす。他のシードノードを加えることができる。このようにして、シードが新たなフレーム内に入ることを強制することなく、常にシードを有することを保証される。

マルチビュー一貫性
本発明の設定における２つの撮像シーケンスは、２つの交差平面に対応するということを用いる。２つの平面に対応する画像は、交差の線に沿って類似した輝度値を有するべきであり、これらの線に沿って一貫してセグメンテーションされるべきである。

本発明では、二方向グラフ構築を用いる。この構築において、各平面は、グリッドグラフとして表され、２つのグリッドが交差線に沿って連結される。２つのグリッド間の連結は、交差の線に沿った一方のグリッド内の各ノードが、他方のグリッド内のその対応するノードの全ての近傍に連結されるように行われる。本発明では、２つの対応するノードを直接連結することを回避する。なぜなら、各２つの対応するノードの３Ｄ点位置は同じであり、これによってこの連結が全ての他の連結に対し優位になるためである。

２つの平面間のセグメンテーション一貫性を維持することに加えて、そのような平面構築は、幾つかの腫瘍運動シナリオにおいて有用である。２つの平面の交差線が腫瘍を通過するとき、２つの平面内の前景領域は、二方向グラフ内の１つの連結成分を構成する。このため、シードが一方の平面内においてのみ利用可能である場合、例えば、腫瘍が或る時間の間一方の平面から見えなくなった後、その平面において見え始めたとき、本方法は、他方の平面内のシードを用いて、より良好なセグメンテーションを生成する。二重フレーム構築は、ここで説明される二方向構築とともに用いられる。しかしながら、基準フレームは異なる時点に対応する場合があるので、二方向連結は、新たなフレームに対応するグリッド間でのみ行われる。

見えなくなりつつある腫瘍の処理
遮蔽処理は、可視領域内の任意の追跡プロセスにおける主要構成要素である。

追跡される物体は、シーン内の遮蔽物体に起因して短い間不可視となる場合がある。追跡プロセスは、そのような事象を検出し、遮蔽事象が終わったとき、追跡を再開しなくてはならない。例えば、超音波撮像において、追跡されている臓器が高反射性の組織界面によって生じた影に入るとき、同等の現象が起こり得る。

別の運動シナリオは、追跡されている臓器がもはや（超音波の）撮像平面に交差しないように動くときである。この場合は、前景領域が或る時間期間にわたって完全に失われるので、特殊な処理が必要となる。

臓器運動の最も大きな要因は、呼吸運動である。好都合には、呼吸運動は、その周期性に起因して高度に予測可能である。呼吸によって誘発された運動は、臓器を閉じた軌跡に沿って概ね動かすことが予期される。臓器が同様の経路に沿って概ね前後に動くとみなす。したがって、追跡されている臓器が撮像平面から離れて動くと、その臓器は再度現れ、臓器が最後に検出されたときに近い位置において平面に交差することが予期される。

本発明では、基準フレームを用いて、二重フレームセグメンテーションを行う。基準フレームは、有用となるには現在のフレームに可能な限り近くなくてはならない。したがって、不可視の腫瘍の場合、ここで説明した運動パターンを所与として、最良の基準フレームは、腫瘍が可視であった最後のフレームである。

腫瘍が可視であるか否かを検出するために、以前のセグメンテーション結果を解析する。腫瘍が不可視になると、前景としてセグメンテーションされるピクセルが一切存在しなくなる。上記の観測結果から、呼吸運動に起因した腫瘍の不可視性は、基準フレームの以下の更新規則を用いて有効に処理することができる。現在のフレームのセグメンテーション結果が空でない前景領域を有する場合、基準フレームが現在のフレームになるように更新する。そうでない場合、基準フレームをそのままにする。１つの実施の形態では、前景領域が特定のしきい値よりも小さいとき、基準フレームの更新を停止する。

グラフ伝搬における事前情報
上記で説明したグラフ伝搬プロセスは、シードピクセルのラベルのみを事前情報として用いる。いくつかの事例では、各ラベル又はラベルのうちの幾つかの事前確率マップを推定することができる。セグメンテーションの枠組みにおけるそのような確率マップの組み込みによって、シード位置及び画像雑音に対する解の感度を低減することができる。

次に、事前情報がグラフ伝搬の枠組みにおいてどのように組み込まれるか、及び事前情報を可視の腫瘍追跡問題においてどのように用いるかを説明する。

事前情報を用いた重み計算
グラフ伝搬プロセスがエネルギー最小化問題を解くとき、エネルギー関数は、ディリクレ積分であり、事前確率マップをエネルギー関数における正則化項として組み込むことが自然である。

ディリクレ積分方程式における元のエネルギーをε_ｄａｔａとして表す。このため、事前情報を組み込むための一般的な正則化の枠組みは、以下のように定式化することができる。

ここで、ｖはデータエネルギー項と比較した以前のエネルギー項の重要度を制御する。この拡張エネルギー汎関数を最小にするものは、スパースな連立一次方程式を解くことによって依然として得ることができる。ｐ^ｓがラベルｓの以前の確率マップであるとする。ラベルｓの拡張連立一次方程式は、以下となる。

ここでＬ_ｕは未知のラベルに対応する行列であり、ｖは先行する項の重要度を制御するブレンドパラメーターであり、ｒ_Ｕ ^Ｓは、ラベル付けされていない頂点に、ラベルｓを取得する確率を割り当てる関数であり、ｐ^ｓはラベルｓの事前確率マップであり、Ｂ^ＴはＬ行列の係数の再構成後に形成される部分行列の転置であり、ｒ_Ｍ ^Ｓは、ラベル付けされた頂点に、ラベルｓを取得する確率を割り当てる関数であり、ＩはＬ_Ｕと同じ次元を有する恒等行列である。

上記の拡張された定式は、行列Ｌ＋ｖＩが常に正則となることに起因して、この定式によって本発明の方法が、シード頂点が存在しないときに機能するので有利である。しかしながら、パラメーターｖの値を設定して所望の挙動を得るのは困難である。高いｖ値によって、解が事前情報による高い影響を受けることになり、低い値によって、事前情報が有効でなくなる。

問題として、上記の定式は、全てのピクセルについて事前情報に均一の重みを設定する一方、本発明者らは、画像内の位置ごとに事前情報の影響を変更したい場合がある。

これらの問題を回避するために、本発明では、式（１）のエッジ重み関数を変更することによって、セグメンテーション内に事前情報を組み込む新規の方法を導入する。着想は、２つのピクセルの事前確率プロファイルが実質的に同じであるとき、それらの２つのピクセルが同じラベルを有する可能性がより高いことである。

したがって、重み関数において事前確率値の差を組み込むことができる。本発明による前景及び背景のセグメンテーション問題において、以前の前景確率マップがｐであるとき、以下の重み付け関数を用いる。

ここで、α_Ｉは輝度に基づく距離であり、α_Ｐは事前分布に基づく（ｐｒｉｏｒ−ｂａｓｅｄ）距離の重みであり、ｖ_ｉ及びｖ_ｊは頂点であり、Ｆは入力画像の輝度マップである。一般的なＫラベルセグメンテーションの場合、式（１４）における絶対値の差は、ｘ^２統計等の別の距離尺度によって置き換えることができる。

式（１５）における重み関数定式化は、いくつかの利点を有する。

第１に、輝度差を有する事前情報を単一の定式に組み込むことによって、相対的な重みを調整して所望のセグメンテーションを得ることがはるかに容易になる。

第２に、輝度画像内の雑音及び事前確率マップ内の雑音が相関していないとき、新たな重み関数は、雑音に対しより耐性が高くなる。なぜなら、例えば輝度の誤差を事前情報によって除去することができ、逆もまた同様であるためである。

第３に、シングルトンポテンシャル（ｓｉｎｇｌｅｔｏｎ ｐｏｔｅｎｔｉａｌ）の代わりにペアワイズ相互作用における事前情報を用いることによって、解がより平滑になる。

第４に、事前情報に与えられた重みに対する解の感度は、ピクセルの同じ事前情報値が複数回、例えば近傍数の２倍用いられ、毎回異なる影響を与えられるので低減する。

３Ｄボリューム事前情報
本発明の方法では、３Ｄ腫瘍モデル１１３を用いて前景セグメンテーションの確率的事前情報を得る。現在の３Ｄ腫瘍位置を知って、次の３Ｄ腫瘍位置の仮説に対応するセグメンテーションマスクの仮説を生成する（１２０）。各セグメンテーション仮説は、二値マスクであり、前景ピクセルに値１が割り当てられ、背景ピクセルに値０が割り当てられる。次に、これらのマスクの平均を求めて、３Ｄ腫瘍モデルに基づいて確率的事前情報を得る。この事前情報をボリューム事前情報と呼ぶ。これは、以下のように表される。

ここで、ｈ_ｉはｉのセグメンテーション仮説であり、ｖは頂点である。

腫瘍の位置に関する不確定性と、セグメンテーション仮説を互いに大幅に異なるものにする、腫瘍の３Ｄ形状における可能性のある大幅な変形とに起因して、ボリューム事前情報のサポートエリアは、セグメンテーションされる目標前景領域に過剰適合する場合がある。これは、ボリューム事前情報が用いられる場合、セグメンテーション精度を低減させる可能性がある。

一方、ボリューム事前情報は、セグメンテーションの精度を高めるのに用いることができる情報を含む。幾つかのピクセルは、ボリューム事前情報内に飽和した確率値（０又は１）を有する。これらは、全ての生成されたセグメンテーション仮説において同じラベルを有するピクセルである。そのようなピクセルは、次の画像をセグメンテーションする際のシードとして用いられる。ボリューム事前情報のための別の使用法も説明する。

外観事前情報（ａｐｐｅａｒａｎｃｅ ｐｒｉｏｒ ｉｎｆｏｒｍａｔｉｏｎ）
ボリューム事前情報から得られたシードピクセルを用いて、前景外観及び背景外観に基づいて他の確率的事前情報を生成する。前景及び背景シードにおける輝度値を用いて、前景輝度値及び背景輝度値の２つの確率分布を求める。これらの分布をｆ_ｆｇ及びｆ_ｂｇとして表す。新たな事前情報を外観事前情報と呼び、以下のように表す。

ここで、ｖは頂点である。外観事前情報は、背景に属するピクセルに、前景分布に対するそれらの類似度に起因して高い前景確率を割り当てることができる。一方、ボリューム事前情報内の情報に基づき、そのようなピクセルのほとんどが前景となることができない。したがって、これらのピクチャは、フィルタリング除去される。本発明で用いる最終的な確率的事前分布（ｐｒｏｂａｂｉｌｉｓｔｉｃ ｐｒｉｏｒ）は、以下となる。

ここで、φ（ｘ）は、ｘ＞０の場合に値１をとり、そうでない場合に０をとるステップ関数である。

共同二方向時間セグメンテーション
グラフ伝搬プロセスは、各シードピクセルをラベル付けせずに機能することはできない。一方、本発明においてボリューム事前情報ｐ_ｖからシードを求める方法は、常にシードを有することを保証するものではない。飽和したｐ_ｖ確率値を有するピクセルが常に存在する保証はない。例えば、腫瘍が、平面のうちの一方が腫瘍の境界の非常に近くを交差するほど動いているとき、いくつかのセグメンテーション仮説は、前景ピクセルを一切含まない場合があり、これは、前景ピクセルである確率１を有するピクセルがないことを意味する。

他方で、腫瘍が不可視となる場合を処理する必要がある。前景シードは、腫瘍が平面のうちの１つから完全に離れて動き、前景が存在しない場合であっても、常に前景セグメンテーション内に挿入される。

時間セグメンテーション
前景ピクセルを有することを強制することなく常にシードピクセルを有することを確実するために、２つの画像を共同でセグメンテーションする。一方の画像は現在の画像であり、他方は基準画像である。現在の画像のためにのみグリッドグラフを構築する代わりに、本発明では、１つは基準画像用、１つは現在の画像用の２つの平行なグリッドを有するグラフを構築する。一方のグリッド内の各ピクセルは、他方のグリッド内の対応するピクセルに連結される。図２を参照されたい。

現在の画像内のシードピクセルの存在を保証することができないので、基準画像は、セグメンテーション後、前景ラベル及び背景ラベルの双方を有するピクセルを含まなくてはならない。基準画像のラベル付けされたピクセルは、結合グラフ内のシード頂点としての役割を果たす。これは、ボリューム事前情報が存在する場合、ボリューム事前情報を用いて得られた、現在の画像内のシード頂点に加えられる。このようにして、シードピクセルが現在の画像内にあることを強制することなく、グラフ内にシード頂点を有することが常に保証される。

図２は、二重画像グラフを示している。プロセスが機能するために、特定のラベルの各連結成分は、そのラベルからのシード頂点を含まなくてはならない。したがって、二重画像構築が有用になるためには、現在の画像２０１内の特定のラベルの任意の連結成分が、基準画像２０２内のそのラベルのシード頂点への少なくとも１つの連結２０３を有する。これが生じるためには、基準画像セグメンテーションのセグメンテーションが現在の画像の所望のセグメンテーションに可能な限り近くなくてはならないことを必要とする。

腫瘍の形状が連結され平滑である場合、基準画像は、現在の画像に時間的に可能な限り近くなるように選択される。この時間関係に起因して、グラフ伝搬プロセスへのこの拡張を時間グラフ伝搬と呼ぶ。腫瘍が常に可視であると仮定すると、前の画像が、基準画像としての役割を果たす最良の候補である。不可視の腫瘍の場合について以下で説明する。

二重画像グラフ構築が、現在の画像内のシードをボリューム事前情報から特定することができないときの問題を解決する。一方、現在の画像内にシードが存在する場合、基準画像が時間的に現在の画像に近い保証がないので、これらのシードに優先度が与えられるべきである。

この問題に対処するために、式（１４）における重み関数を、２つの点間のユークリッド距離を含めるように、以下のように更新する。

ここで、α_Ｉは輝度に基づく距離の重みであり、α_Ｐは事前分布に基づく距離の重みであり、α_Ｄはユークリッド距離の重みであり、ｖ_ｉ及びｖ_ｊは頂点であり、Ｆは入力画像の輝度マップである。

１つの実施の形態では、グラフを構築する間、同じグリッドの連続した行及び列間の距離が１単位となり、２つの平行なグリッド間の距離が５単位となるように点座標を割り当てる。このようにして、同じグリッド内のピクセルに対する類似度が、異なるグリッド内のピクセルに対する類似度よりも優先される。

二方向セグメンテーション
２つの平面に対応する画像は、交差の線に沿って類似した輝度値を有し、これらの線に沿って一貫してセグメンテーションされる。このことを利用するために、二方向グラフ構築１４０を用いる。

この構築において、各平面はグリッドグラフとして表される。２つのグリッド２０１から２０３は、交差線２０３に沿って連結される。２つのグリッド間の連結は、交差線に沿った一方のグリッド内の各頂点が他方のグリッド内の対応する頂点の全ての近傍に連結されるように行われる。本発明では、２つの対応する頂点を直接連結することを回避する。なぜなら、各２つの対応する頂点の３Ｄ点位置は同じであり、これによってこの連結が全ての他の連結に対し優位になるためである。

図３に示すように、正方形のノードは、２つのグリッドの交差線を示し、対応する頂点は対応している。各頂点３０１は、他方のグリッド内の全ての近傍の頂点に連結されている。明確にするために１つしか示されていない。円３００はグリッド位置を示す。

二方向構築は、幾つかの状況において非常に有用である。２つの平面の交差線が腫瘍を通過するとき、２つの平面内の前景領域が二方向グラフ内の１つの連結成分を構成することに留意されたい。このため、シードが一方の平面においてのみ利用可能である場合、プロセスは依然として機能する。二重画像構築が本明細書において説明した二方向構築とともに用いられることにも留意されたい。しかしながら、基準画像は異なる時点に対応する可能性があるので、現在の画像に対応するグリッド間でのみ二方向連結が行われる。

代替的な実施の形態では、セグメンテーションは、二方向グラフ上の領域拡張によって得ることができる。領域拡張において、２つのアクティブな境界がラベル付けされた前景シード頂点及び背景シード頂点から同時に伝搬される。次に、領域拡張の各反復において、アクティブな境界の速度が、境界を構成する頂点の重みによって決まる。伝搬方向は境界の形状によって決まる。最終的に、頂点は、前景（又は背景）シードからのアクティブな境界が最初にその頂点に到達するとき、前景（又は背景）として割り当てられる。

３Ｄ追跡及びセグメンテーション精緻化
セグメンテーションが実行された後、腫瘍の３Ｄ位置１１４が、２つの画像平面内のセグメンテーション境界を、腫瘍の３Ｄボリュームをスライスすることによって得られたセグメンテーション仮説と照合することによって求められる。最も整合するセグメンテーションマスクに対応する３Ｄ位置が、腫瘍の新たな３Ｄ位置として用いられる。腫瘍が２つの平面内で不可視になる場合、腫瘍を不可視であると宣言し、位置を報告しない。なぜなら、位置に関する十分な情報を有しないためである。用いられる整合スコアは、２つのマスク間の重なりかみあい率である。図４は、ボリューム事前分布４０１と３Ｄ位置４２０と２Ｄセグメンテーションマスク４０３との間の関係を示している。

Claims (19)

1. 腫瘍を追跡する方法であって、二方向画像のシーケンスにおける現在の画像の対ごとに、
   二方向画像の各対から求められる前記腫瘍の３Ｄモデル、二方向ジオメトリ、及び前記腫瘍の以前の位置を用いて、１組のセグメンテーション仮説を生成するステップと、
   前記１組の仮説に基づいて、ボリューム事前確率を構築するステップと、
   前記ボリューム事前確率を用いて、前記現在の画像の対におけるシードピクセルを選択するステップと、
   輝度値及び前記シードピクセルを用いて、二方向二重画像グラフを構築するステップと、
   画像輝度を用いて腫瘍境界に対応するセグメンテーションマスクを得るステップであって、前記腫瘍の現在の位置を求める、得るステップと、
   を含み、前記ステップは、プロセッサにおいて実行される、腫瘍を追跡する方法。
2. 前記セグメンテーションマスクは３次元であり、時間的に進行性である、請求項１に記載の方法。
3. 既知のジオメトリを有する３つ以上の画像平面が用いられる、請求項１に記載の方法。
4. 前記画像は２つの超音波トランスデューサーアレイによって取得される、請求項１に記載の方法。
5. 前記画像は、三次元超音波トランスデューサーの超音波ボリュームをスライスすることによって取得される、請求項１に記載の方法。
6. 前記シードピクセルは、前景ピクセル及び背景ピクセルの輝度分布を求めるのに用いられ、前記選択されたシードを用いて割り当てが求められ、前記輝度分布から輝度事前情報が得られる、請求項１に記載の方法。
7. 前記１組の仮説を用いて前記セグメンテーションマスクを精緻化するステップを更に含む、請求項１に記載の方法。
8. 前記セグメンテーションマスクを用いて前景ピクセル及び背景ピクセルを識別する、請求項１に記載の方法。
9. 前記セグメンテーションマスクが前景ピクセルを識別する場合、基準画像及び基準マスクを維持及び更新するステップを更に含む、請求項１に記載の方法。
10. 前記二方向二重画像グラフは、前記画像内のピクセルに対応する頂点を含み、エッジは前記頂点を連結し、各エッジは、前記エッジの各端部における前記頂点に対応する前記ピクセル間の類似度を示す重みと関連付けられる、請求項１に記載の方法。
11. 二方向画像の各対は、共同でセグメンテーションされる、請求項１に記載の方法。
12. 前景及び背景の輝度分布から、各頂点における外観事前確率値を求めるステップと、
    各頂点において、セグメンテーション仮説から３Ｄボリューム事前情報値を求めるステップと、
    前記外観事前確率値及び前記３Ｄボリューム事前情報値に従って、各頂点に重みを割り当てるステップと、
    を更に含む、請求項６に記載の方法。
13. 前記関連付けられた重みから前記二方向二重画像グラフのラプラシアン行列を構築するステップと、
    以下の式に従ってラベルｓについて拡張連立一次方程式を解くステップであって、
    

    

    ここで、Ｌは前記ラプラシアン行列であり、ｖは先行する項の重要度を制御するブレンドパラメーターであり、ｒ^ｓは、頂点に、ラベルｓを取得する確率を割り当てる関数であり、ｐ^ｓはラベルｓの事前確率マップであり、ＩはＬと同じ次元を有する恒等行列である、解くステップと、
    前記ラベルをしきい値処理するステップであって、前景頂点及び背景頂点を求めて前記二方向二重画像のセグメンテーションマスクを得る、しきい値処理するステップと、
    を更に含む、請求項１０に記載の方法。
14. シード頂点の前記関連付けられた重み及びラベルから、前記二方向二重画像グラフのラプラシアン行列を構築するステップと、
    以下の式に従ってラベルｓについて拡張連立一次方程式を解くステップであって、
    

    

    ここで、Ｌ_ｕは未知のラベルに対応する行列であり、ｖは先行する項の重要度を制御するブレンドパラメーターであり、ｒ_Ｕ ^Ｓは、ラベル付けされていない頂点に、ラベルｓを取得する確率を割り当てる関数であり、ｐ^ｓはラベルｓの事前確率マップであり、Ｂ^ＴはＬ行列の係数の再構成後に形成される部分行列の転置であり、ｒ_Ｍ ^Ｓは、ラベル付けされた頂点に、ラベルｓを取得する確率を割り当てる関数であり、ＩはＬ_Ｕと同じ次元を有する恒等行列である、解くステップと、
    前記ラベルをしきい値処理するステップであって、前景頂点及び背景頂点を求めて前記二方向二重画像のセグメンテーションマスクを得る、しきい値処理するステップと、
    を更に含む、請求項１０に記載の方法。
15. ２つのセグメンテーションマスク間の重なりかみあい率として整合スコアを求めるステップと、
    前記整合スコアが所定のしきい値未満である場合、前記腫瘍が前記現在の画像内で不可視であると宣言するステップと、
    を更に含む、請求項９に記載の方法。
16. 前景シード頂点からのラベル付けされていない頂点における前景領域及び背景シード頂点からの背景領域を、前記二方向二重画像グラフの重みを用いて拡張するステップと、
    前記前景領域に最初に含まれる前記頂点を、前記腫瘍に関連付けられているものとして割り当てるステップと、
    を更に含む、請求項１０に記載の方法。
17. 前記グラフに頂点を加えるステップであって、加えられた各頂点ｖ^ｓは、ラベルｓに対応し、加えられた各頂点は、エッジを用いて全てのピクセル頂点に連結され、前記エッジの重みは、各ピクセルが加えられた頂点のラベルを割り当てられる事前確率を反映する、加えるステップを更に含む、請求項１０に記載の方法。
18. ２つの区画間のカットの重みを最小にする、前景頂点セット及び背景頂点セットへの前記頂点の分割を求めるステップを更に含み、ここで以下であり、
    

    

    ここで、Ｆは前記前景セット内の１組の頂点であり、Ｂは前記背景セット内の１組の頂点であり、ｗ_ｉｊは頂点ｉとｊとの間の前記エッジの重みであり、Ｃは前記２つのセット間の前記カットの重みである、請求項１７に記載の方法。
19. シード頂点と前記加えられた頂点との間の前記エッジに可能な限り最大の重み値を割り当てるステップであって、そのようなエッジが保持されることが保証されるようにする、割り当てるステップを更に含む、請求項１８に記載の方法。

Images