JP2018143416A - 生体内運動追跡装置 - Google Patents

Abstract

【課題】生体内を運動する注目部分の追跡の精度及びロバスト性の向上を図る。【解決手段】臓器位置推定部５０は臓器の過去の動きに基づき生体像における臓器の推定位置を求める。臓器輪郭推定部５２は推定位置に対応した領域にて、臓器の輪郭形状を表す複数の制御点それぞれに対応して輪郭点を探索し、輪郭点に基づいて臓器の推定輪郭を求める。患部追跡部５４は、臓器の輪郭と当該臓器に連動する注目部分との位置関係についての予め取得された標本データに基づき、推定輪郭から注目部分の位置を求める。臓器輪郭推定部５２は輪郭形状を基準形状と複数の変形モードの線形結合との和で表す形状モデルにて、制御点のうち明瞭な輪郭点に対応するもののみに基づき線形結合の変形モードの係数を求める処理と、当該処理で与えられる制御点の位置を輪郭形状に関するエネルギー最小化原理に基づくＳＮＡＫＥ法より修正する処理とを繰り返して推定輪郭を求める。【選択図】図１

Description

本発明は生体内を運動する注目部分を追跡する生体内運動追跡装置に関する。

癌や腫瘍などに強力な超音波を集束させてそれらを焼灼して治療する強力集束超音波（High Intensity Focused Ultrasound：ＨＩＦＵ）が知られている（特許文献１参照）。例えば、ＨＩＦＵを採用した結石、前立腺癌、肝臓癌の治療用装置が開発され利用されている。

ＨＩＦＵ治療では、結石、癌、腫瘍などの治療箇所（患部）以外の正常な組織等を傷めないように、治療箇所の位置を把握してその位置に強力な超音波を集束させることが望ましい。そのため、従来から、核磁気共鳴画像（Magnetic Resonance Imaging：ＭＲＩ）や診断用の超音波画像を利用して治療箇所の位置を確認しつつその位置に治療用の超音波を集束させるシステムなどが利用されている。

特開平７−４７０７９号公報

P.Yan et.al., "Discrete Deformable Model Guided by Partial Active Shape Model for TRUS Image Segmentation", IEEE Transactions on Biomedical Engineering, Vol. 57, pp. 1158-1166, 2010

しかし、生体内の器官（臓器）の多くは呼吸や心拍動により移動し得、臓器に連動して注目部分である患部も移動する。特に、肝臓は呼吸に伴い、最大１５〜２０ｍｍ／秒の速度で１０〜２０ｍｍ以上移動することや、深呼吸により１００ｍｍ以上動き得ることが報告されている。また、腎臓は呼吸により平均で５〜９ｍｍ移動すると報告されている。腎臓や肝臓などに発生した結石、癌、腫瘍等のＨＩＦＵ治療ではこの生体内での臓器の運動に追従して正確に超音波を照射することが難しく、治療におけるおおきな障壁となっている。

具体的には、画像にて患部を直接に追従する方法では、例えば、ＨＩＦＵ治療により患部の輝度や形状が変化することが追従を困難なものとし、また患部は画像上の特徴量が少ないことが多いため追従の精度及びロバスト性を確保することが難しいという問題がある。

一方、臓器に連動する患部に関し、臓器を追跡し、当該臓器と患部との位置関係を利用して患部の位置を把握する方法がある。具体的には、画像にて臓器のテンプレートを用いたテンプレートマッチングにより臓器の位置を捉えることが提案されている。

しかし、腎臓や肝臓の運動は当該臓器周りの肋骨、肺、心臓、胆嚢、筋膜との相対位置関係の変化、及び臓器そのものの変形の原因となり、これによって患部が存在する臓器を捉えた像、例えば超音波画像パターンに大きな変化が生じる。当該像の変化は、例えば、テンプレートマッチングによる追跡に際して臓器のテンプレートと当該像との類似度を減少させ、追跡失敗の原因となる。特に、超音波画像ではアーチファクトとして、肋骨や結石等による音響シャドウ（acoustic shadow）や肺による遮蔽等が生じる。テンプレートが臓器のうち音響シャドウ等により遮蔽された部分に重なるとマッチング精度が低下し、臓器の追従精度の低下、ひいては患部に対する追従精度の低下を招く。

また、臓器の運動に伴う臓器の変形・回転によって、臓器と患部との位置関係も変化する。当該位置関係の変化も患部に対する追従精度が低下する原因となる。

なお、生体内での器官の運動はＨＩＦＵ以外の治療法においても問題となっている。例えば、心臓の外科手術や肺癌の放射線治療などである。

本発明は上記問題を解決するためになされたものであり、生体内を運動する注目部分を好適に追跡する生体内運動追跡装置を提供することを目的とする。

（１）本発明に係る生体内運動追跡装置は、生体内における関心臓器の過去の動きに基づいて、生体構造を撮影した生体像における前記関心臓器の推定位置を求める臓器位置推定手段と、前記生体像における前記推定位置に対応した領域にて前記関心臓器の輪郭点を探索し、当該輪郭点に基づいて前記関心臓器の推定輪郭を求める輪郭推定手段と、前記関心臓器の輪郭と当該関心臓器に連動する注目部分との位置関係についての予め取得された標本データに基づき、前記推定輪郭から前記生体像における前記注目部分の位置を求める注目部分追跡手段と、を有し、前記輪郭推定手段は、前記関心臓器の輪郭形状の動的輪郭モデルにおける複数の制御点それぞれに対応する前記輪郭点を探索し、前記輪郭形状を基準形状と互いに線形独立な複数の変形モードの線形結合との和で表す形状モデルにおいて、前記輪郭点のうち予め定めた基準以上の信頼度を有する明瞭輪郭点を初期値として、前記制御点のうち前記明瞭輪郭点に対応するもののみに基づいて前記線形結合における前記各変形モードの係数を求めるＰＡＳＭ処理と、当該ＰＡＳＭ処理により与えられる前記制御点の位置を前記輪郭形状に関するエネルギー最小化原理に基づくＳＮＡＫＥ法より修正する処理とを繰り返して前記推定輪郭を求める。

（２）上記（１）に記載の生体内運動追跡装置において、前記注目部分追跡手段は、前記関心臓器の注目輪郭に対応する前記注目部分の位置を、基準位置と前記変形モードに対応した複数の変位モードの線形結合との和で表す位置モデルにて、前記標本データに基づく前記注目部分の平均位置を前記基準位置とし、前記注目輪郭に対応する前記形状モデルでの前記各変形モードの前記線形結合における前記係数を前記各変位モードの前記線形結合における係数とし、前記標本データに当該位置モデルを適用して得た前記変位モードを設定し、当該位置モデルを用いて前記推定輪郭に対応する前記注目部分の位置を求める構成とすることができる。

（３）上記（１）及び（２）に記載の生体内運動追跡装置において、前記輪郭推定手段は、過去の前記推定輪郭に基づき前記推定位置における前記輪郭を予想し、当該予想した輪郭に直交する方向に沿って前記輪郭点を探索する構成とすることができる。

（４）上記（１）〜（３）に記載の生体内運動追跡装置は、さらに、前記生体像を記憶する生体像記憶手段と、前記生体像に写る前記関心臓器の像のうち所定の基準に基づき画質が鮮明な鮮明領域と不鮮明な不鮮明領域とを判別し、当該不鮮明領域を包含し前記制御点を頂点とする少なくとも１つの多角形からなる補完対象領域を定める補完領域設定手段と、前記生体像記憶手段から、前記鮮明領域のうち前記補完対象領域の前記多角形と共通の前記制御点を頂点とした多角形における前記生体像を読み出し、前記補完対象領域の前記四角形に適合させる線形変換を行って前記補完対象領域に合成する画像合成手段と、を有する構成とすることができる。

本発明によれば、生体内を運動する注目部分を、生体構造を撮影した生体像において好適に追跡することが可能となる。

本発明の実施形態に係る超音波診断治療統合システムの概略の構成を示すブロック図である。 本発明の実施形態に係る超音波診断治療統合システムに用いるエンドエフェクタの模式的な斜視図である。 本発明の実施形態に係る超音波診断治療統合システムの模式図である。 本発明の実施形態に係る超音波診断治療統合システムによる患部の追跡処理の概略のフロー図である。 臓器輪郭推定部による輪郭点の探索を説明する生体像の模式図である。 臓器輪郭推定部による輪郭形状の推定の手法を説明する模式図である。 本発明の実施形態に係る超音波診断治療統合システムによる表示画像生成処理の概略のフロー図である。 補完領域設定部の処理を説明する模式図である。 画像合成部の処理を説明する模式図である。

以下、本発明に係る生体内運動追跡装置の実施の形態（以下実施形態という）について、図面に基づいて説明する。当該生体内運動追跡装置は、生体内を概周期的に運動する臓器と連動する注目部分を、生体構造を撮影した生体像において追跡する装置である。ここでは、観察や追跡の対象として関心を持つ臓器（関心臓器）は例えば腎臓や肝臓であるとする。腎臓や肝臓は既に述べたように、被検者・患者等（以下、被検者）の生体の呼吸に応じて概周期的に運動する。また、注目部分は典型的には患部であり、例えば、結石、癌、腫瘍などである。

図１は実施形態に係る超音波診断治療統合システム１の概略の構成を示すブロック図である。超音波診断治療統合システム１はエンドエフェクタ２、移動機構４及び本体６からなり、また本発明に係る生体内運動追跡装置を含んで構成される。エンドエフェクタ２は超音波プローブ１０とＨＩＦＵトランスデューサ１２とを備え、関心臓器や患部など生体における注目する箇所（注目部位）に向けて配置される。超音波診断治療統合システム１は超音波プローブ１０により生体像として超音波画像をリアルタイムに撮影することができ、本体６は当該超音波画像を用いて注目部分の位置を追跡する。移動機構４は本体６により制御され、注目部分の位置に追従してエンドエフェクタ２を３次元的に移動させる。超音波診断治療統合システム１は、患部の追跡処理を行いつつ、超音波プローブ１０により得られる超音波断層像を用いて表示画像の生成及び表示を行って臓器及びそれに連動する注目部分のモニタリング・診断を可能とし、また、ＨＩＦＵトランスデューサ１２を用いて患部をＨＩＦＵ法により非侵襲に治療することができる。

図２はエンドエフェクタ２の模式的な斜視図である。超音波プローブ１０は超音波パルスの送出及びエコーの受波を行う。具体的には超音波プローブ１０は振動子アレイを有し、振動子アレイにより超音波ビームを形成し被検者の体内へ送出する。超音波ビームは電子的にアレイ方向に走査される。超音波ビームの送出はパルス状に行われ、振動子アレイは超音波ビームの送出後、体内からのエコーを受波する。注目部位の３次元情報を取得し、また体内での注目部位の３次元的な移動に対応できるように、２つの超音波プローブ１０ａ，１０ｂが互いの走査面１３ａ，１３ｂを基本的に直交させてエンドエフェクタ２に配置される。よって、生体の体内の器官等の構造が現れる生体像として超音波のバイプレーン画像が取得される。

ＨＩＦＵトランスデューサ１２はＨＩＦＵ治療のための集束超音波を発生する。例えば、ＨＩＦＵトランスデューサ１２は超音波プローブ１０ａを円環状に取り囲むように配列された振動子アレイを備え、その振動子アレイは超音波の送出方向から見て凹面を形成する。超音波プローブ１０ａ，１０ｂ及びＨＩＦＵトランスデューサ１２の位置関係は基本的には超音波プローブ１０の２つの走査面１３ａ，１３ｂの交線１４と、ＨＩＦＵトランスデューサ１２の振動子アレイの円環の中心軸１５との交点Ｐに集束超音波の焦点が位置するように設定されている。

図３は超音波診断治療統合システム１の模式図であり、被検者の体幹部等の診断・治療を行う装置構成の例を示している。図は模式的な垂直断面図であり、被検者１７が横たわるベッド１８の下に水槽１９が配置される。被検者１７の診断・治療対象の部位の皮膚はベッド１８に設けられた開口部１８ｗにて水槽１９の水面に接し、一方、エンドエフェクタ２は水槽１９の水中内に配置される。これにより被検者１７とエンドエフェクタ２との間が水で音響的にカップリングされる。エンドエフェクタ２は移動機構４により水中内を３次元的に移動可能である。

超音波プローブ１０及びＨＩＦＵトランスデューサ１２は、本体６からの駆動信号に応じて超音波を送出し、また超音波プローブ１０の受信信号は本体６へ送られる。なお、２つの超音波プローブ１０ａ，１０ｂの送受波及びＨＩＦＵトランスデューサ１２の超音波照射は制御部４０により時分割で行われ、これにより互いの超音波の干渉を避けることができる。

本体６は送受波回路２０、フレームメモリ２２、パルス発生回路２４、移動機構制御部２６、演算処理部２８、表示部３０、入力部３２、記憶部３４を含んで構成されている。ちなみに、本体６及びその各部は単一の装置である必要はなく、複数の装置に分かれて構成されていてもよい。

演算処理部２８は例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ及びその周辺回路で構成され、記憶部３４に格納されたプログラム等に基づいて動作し、制御部４０、超音波画像生成部４２、追跡処理部４４、表示画像生成部４６として機能する。追跡処理部４４は臓器位置推定部５０、臓器輪郭推定部５２及び患部追跡部５４としての機能を有し、表示画像生成部４６は補完領域設定部６０及び画像合成部６２としての機能を有する。

送受波回路２０は制御部４０による制御に従って、超音波プローブ１０から体内への超音波の送信、及び超音波プローブ１０が受信したエコー信号の処理を行う。送信時には、送受波回路２０は、振動子アレイの各振動子を励振駆動するための送信パルスを生成し超音波プローブ１０へ出力する。送受波回路２０は、超音波プローブ１０から送信される超音波が所望の方向に送信ビームを形成するように、送信パルスに与える遅延量を振動子ごとに調整して各振動子の励振タイミングを制御する。

一方、受信時には、送受波回路２０は超音波プローブ１０から振動子アレイを構成する複数の振動子ごとの受信信号を入力される。送受波回路２０は各振動子の受信信号を増幅した後、振動子間の受信信号の位相差を調整して互いに加算する整相加算処理を行って受信ビームを形成する。また、送受波回路２０は、受信信号をアナログ信号からデジタル信号に変換し、受信信号を超音波ビームの方向に沿ったエコーデータ列として出力する。

振動子アレイの電子走査によって超音波ビームが電子的に走査されることによって１つの走査面が形成され、この走査面から１フレームのエコーデータが取得される。フレームメモリ２２は送受波回路２０から出力される超音波ビームに沿ったエコーデータ列を格納する。

超音波画像生成部４２は、エコーデータが定義される空間座標系を、超音波ビームの走査方向とビーム方向の深さとで指定される送受波座標系（円座標系）から、断層画像表示を行う表示部３０の走査方式に適合した２次元直交座標系に変換し、これにより超音波プローブ１０ａ，１０ｂそれぞれの走査面に対応した超音波画像として例えばＢモード画像を生成する。なお、超音波画像生成部４２はＭモード画像など他の表現方式の超音波画像を生成してもよい。

パルス発生回路２４は制御部４０の制御に従い、ＨＩＦＵトランスデューサ１２への駆動信号を生成し出力する。

移動機構制御部２６は外部から入力される制御量に基づいて移動機構４を制御することができ、例えば、３次元の位置制御を行う。例えば、超音波画像から得られる追従対象の位置とＨＩＦＵ焦点との誤差情報が移動機構制御部２６に入力される。移動機構制御部２６は移動機構４のモータのエンコーダの値から現在のエンドエフェクタ２の位置を把握し、受け取った誤差情報と併せてモータへの制御量を決定する。当該制御は例えば、比例制御（Ｐ制御）で行うことができる。

制御部４０は本システム１の各部の動作を制御する。例えば、制御部４０は送受波回路２０やパルス発生回路２４を制御する。また制御部４０は、追跡処理部４４により得られる注目部分の位置を移動機構制御部２６に入力し、例えば、患部の運動に応じてエンドエフェクタ２を移動させることができる。

追跡処理部４４は臓器に連動する患部に関し、臓器を追従し、当該臓器と患部との位置関係を利用して患部の位置を把握する。ここで、追跡処理部４４は、生体像において臓器の輪郭を捉え、当該輪郭に基づいて臓器を追跡する。追跡処理部４４は時系列で得られる生体像ごとに臓器の輪郭を探索する。よって、追跡処理部４４による輪郭に基づく臓器追跡は、異なる生体像に対して一定形状のテンプレートを用いたマッチング処理による追跡と比較して、臓器の移動時の変形の影響を受けにくく、安定した追従が可能である。また、基本的に臓器の輪郭全体にわたり探索を行うことで得られる情報量が多くなる。よって、追跡処理部４４による輪郭に基づく臓器追跡は、音響シャドウが臓器の一部に重なる場合であっても、輪郭の非欠損部分に基づいて臓器の位置や回転角を推定することが容易である。

追跡処理部４４における臓器位置推定部５０は、生体内における関心臓器の過去の動きに基づいて、生体構造を撮影した生体像における関心臓器の推定位置を求める。追跡処理部４４での上述した輪郭の探索は例えば、関心臓器内に設定した探索中心点から放射状に設定した複数の方向に沿って輪郭上の点（輪郭点）を探索するという方法で行うことができ、この場合、臓器位置推定部５０は、推定位置として、例えば、次の臓器輪郭推定部５２での輪郭探索にて探索中心点に設定される点を求める。また、過去の輪郭形状を関心臓器の運動（並進・回転）に応じて移動させ、当該輪郭を基準にし当該輪郭に対して垂直方向に新たな輪郭点を探索する方法では、当該輪郭を臓器位置推定部５０により求める構成とすることができる。つまり、この場合、臓器位置推定部５０は、推定位置として、過去の輪郭を移動させた移動先での輪郭又はその輪郭を構成する輪郭点群の配置を決定する。

臓器輪郭推定部５２は、生体像内において、臓器位置推定部５０により推定された位置に対応する領域（例えば、探索中心点を推定位置として求めた場合にはその周囲の領域、また過去の輪郭を移動させた輪郭を推定位置として求めた場合には当該輪郭の近傍領域など）にて関心臓器の輪郭点を探索し、当該輪郭点に基づいて関心臓器の推定輪郭を求める輪郭推定手段である。臓器輪郭推定部５２は、動的輪郭モデルにおける複数の制御点を関心臓器の周方向に離散的に設定し、各制御点の位置を調整して、輪郭上に位置し輪郭形状を表す輪郭点を探索する。ちなみに、制御点それぞれに対応する輪郭点を、臓器の周方向に沿った制御点の順序でつないだ線が輪郭となる。具体的には、生体像にて検出されるエッジの位置に対応して輪郭点が設定される。

動的輪郭モデル（Active Contour Model：ＡＣＭ）は画像の中から物体の輪郭を抽出する方法の１つであり、ＡＣＭ法では、物体の形状となる閉曲線を変形可能な形状モデルで表し、閉曲線が物体の輪郭に一致したときに最小となるように定義されたエネルギーを用いて輪郭を定める。

形状モデルとして、例えば、予め計測した輪郭などを学習データとし、当該学習データに対して主成分分析を適用して得られた基底ベクトルのうち固有値が大きい数個（ｔ個とする）を用いて物体形状を再構成するものを用いる。学習データには被検者から取得される標本データを用いることができる。また、異なる人であっても同じ関心臓器の形状には類似性が存在するので、例えば、多数の人を計測して得た学習データから抽出した基底ベクトルを用いて、人間に一般的に適用可能な平均的な形状モデルを作成することも可能である。

当該形状モデルにより、臓器の輪郭形状は基準形状と、互いに線形独立な複数の変形モードの線形結合との和で表される。ここで、例えば、基準形状は、学習データの平均形状で与えられ、また、線形結合を構成する各変形モードは、固有値が大きい順に選択された基底ベクトルにより表される。具体的には、各制御点は２次元座標で定義されるので、制御点の個数をｎ個とすると輪郭形状は２ｎ個の要素からなるベクトルで表現できる。よって、ξを推定対象の輪郭形状を表す２ｎ次元列ベクトル、ｕを学習データの平均形状を表す２ｎ次元列ベクトルとし、また、Ｖをｔ個の変形モードに対応する変形パターンを表す２ｎ行ｔ列の行列、ｂを変形モードの線形結合における係数からなるｔ次元列ベクトルとすると、輪郭は上述の形状モデルでは次式で表現できる。なお、変形パターンの個数ｔは例えば、累積寄与率が９８％になるように定められる。
ξ＝ｕ＋Ｖｂ ………（１）

このような形状モデルに基づく手法として動的形状モデル（Active Shape Model：ＡＳＭ）法が知られている。さらに、特許文献２には、静止画の超音波画像にて臓器の輪郭の一部が不明瞭となる場合に対応してＡＳＭを修正した手法としてＰＡＳＭ（Partial Active Shape Model）が示されている。ＰＡＳＭでは、臓器の周に沿って複数設定される制御点のうち、探索により明瞭な輪郭点が得られたものだけを用いて輪郭を求める。本実施形態ではＰＡＳＭを用いることで、音響シャドウなどに対して推定輪郭の精度向上を図っている。すなわち、臓器輪郭推定部５２は、上述した基準形状と変形モードの線形結合との和で表される形状モデルにおいて、制御点のうち予め定めた基準以上の信頼度を有する明瞭輪郭点に対応するもののみに基づいて、変形モードの線形結合における係数を求める（ＰＡＳＭ処理）。

ＰＡＳＭでは輪郭は次式で表現できる。
ξ_Ｓ＝ｕ_Ｓ＋Ｖ_Ｓｂ_Ｓ＋ε_Ｓ ………（２）

ここで、ξ_Ｓ，ｕ_Ｓはそれぞれベクトルξ，ｕにおいて不明瞭輪郭点に対応する要素を省略した列ベクトルであり、また、Ｖ_Ｓは行列Ｖにおいて不明瞭輪郭点に対応する行を省略した行列である。ε_Ｓは不明瞭輪郭点を除外したことによる近似誤差である。ｂ_Ｓは変形モードの線形結合における係数からなるｔ次元列ベクトルであり、誤差ε_Ｓを最小化するように定められる。

また、臓器輪郭推定部５２はＡＣＭの１つの手法であるＳＮＡＫＥ法により、ＰＡＳＭ処理で得られた形状モデルを修正する。すなわち、臓器輪郭推定部５２は、（１）式の係数ベクトルｂにＰＡＳＭ処理で決定された係数ベクトルｂ_Ｓを代入して得られる制御点の位置ξを、ＳＮＡＫＥ法を用いて輪郭形状に関するエネルギー最小化原理に基づき修正する。

エネルギーＥは例えば、閉曲線について次式で定義されるエネルギー関数により算出される。
Ｅ＝αＥ_ｃｏｎｔ＋βＥ_ｃｕｒｖ＋γＥ_ｉｍｇ ………（３）

ここで、Ｅ_ｃｏｎｔは曲線長に応じたエネルギー成分であり、Ｅ_ｃｕｒｖは曲線の滑らかさに応じたエネルギー成分であり、Ｅ_ｉｍｇは曲線の位置でのエッジ強度、つまり輝度勾配に応じたエネルギー成分である。

例えば、隣接する３つの制御点に対応する生体像での画素の位置ベクトルをｖ_ｉ−１，ｖ_ｉ，ｖ_ｉ＋１とすると、Ｅ_ｃｏｎｔは隣接する２つの制御点間の距離｜ｖ_ｉ＋１−ｖ_ｉ｜を用いて次式で定義することができる。なお、以下の（４）〜（６）においてΣはｉについての総和、つまり全制御点についての和を意味する。
Ｅ_ｃｏｎｔ＝Σ｜ｖ_ｉ＋１−ｖ_ｉ｜^２ ………（４）

曲線の滑らかさはその曲線の２階微分で表すことができ、２階微分値の絶対値が小さいほど滑らかであると評価できる。よって、Ｅ_ｃｕｒｖは、位置ベクトルがｖ_ｉである画素に対応する制御点での曲線の２階微分の近似値（ｖ_ｉ＋１−２ｖ_ｉ＋ｖ_ｉ−１）を用いて次式で定義することができる。
Ｅ_ｃｕｒｖ＝Σ｜ｖ_ｉ＋１−２ｖ_ｉ＋ｖ_ｉ−１｜^２ ………（５）

また、位置ベクトルがｖ_ｉである画素に対応する制御点の輝度値をＩ(ｖ_ｉ)、ｖ_ｉの近傍８画素での輝度値の最大値、最小値をそれぞれＩ_ｍａｘ，Ｉ_ｍｉｎとすると、Ｅ_ｉｍｇは次式で定義することができる。
Ｅ_ｉｍｇ＝−Σ｛Ｉ(ｖ_ｉ)−Ｉ_ｍｉｎ｝／（Ｉ_ｍａｘ−Ｉ_ｍｉｎ） ………（６）

α，β，γは各エネルギー成分の重みを定める係数であり、経験や実験に基づいて予め設定される。輪郭として好適な曲線では、その長さが短く、曲がり方が滑らかであり、またエッジに一致することにより輝度勾配が大きくなることが期待できる。そこで、その好適な場合にエネルギーＥが小さくなるように、（４）〜（６）式のＥ_ｃｏｎｔ，Ｅ_ｃｕｒｖ，Ｅ_ｉｍｇの定義に対して、α，β，γはα＞０，β＞０，γ＞０とする。

臓器輪郭推定部５２は、臓器位置推定部５０による関心臓器の推定位置にて輪郭点を探索した後、得られた輪郭点のうち予め定めた基準以上の信頼度を有する明瞭輪郭点を初期値として用いて、上述のＰＡＳＭに基づく係数ｂ_Ｓの算出と、当該ｂ_Ｓに対応する輪郭形状のＳＮＡＫＥ法による修正とを行う。ＰＡＳＭに基づく処理とＳＮＡＫＥ法による処理とは、所定の終了条件が満たされるまで交互に繰り返され推定輪郭が決定される。終了条件は例えば、エネルギーが所定値以下になったこと、エネルギーの減少が収束したこと、輪郭の変化が収束したこと、処理を所定回数反復したことなどとすることができる。

患部追跡部５４は、関心臓器の輪郭と当該関心臓器に連動する注目部分との位置関係についての予め取得された標本データに基づき、臓器輪郭推定部５２により推定された推定輪郭から生体像における注目部分として患部の位置を求める注目部分追跡手段である。

関心臓器の生体内での運動に伴い、一般に、臓器の輪郭が変形すると共に、臓器に連動する注目部分の輪郭に対する位置関係も変化する。標本データは、治療等のための注目部分の本追跡に先立って取得される。本実施形態では標本データは超音波プローブ１０を用いた超音波画像により取得されるが、他の画像診断モダリティ（Ｘ線、ＣＴ、ＭＲ、ＰＥＴ等）を用いて取得しても良い。標本データは臓器の輪郭形状と注目部分の位置とを対応付ける。なお、ここでの注目部分の位置は、臓器の移動に伴う注目部分の変位を除去したものであり、基本的に、輪郭に対する位置関係を示すように定められる。例えば、注目部分の位置は、輪郭の重心を原点とした座標で表される。

患部追跡部５４は、輪郭形状ξと注目部分の位置との間に相関があるとの仮定に基づく位置モデルを用いて、臓器輪郭推定部５２にて推定された輪郭から注目部分の位置を算出する。本実施形態で用いる位置モデルは、関心臓器の変形する輪郭のうち或る注目するタイミングでの輪郭（注目輪郭）に対応する注目部分の位置を、基準位置と変形モードに対応した複数の変位モードの線形結合との和で表す。

具体的には、注目輪郭における注目部分の位置ベクトルを記号ρで表すと、（１）式においてベクトルｕ及び行列Ｖは学習データに基づいて定まり定数として扱うことができるので、輪郭ξと位置ρとの相関関係に基づいて、係数ベクトルｂと位置ρとの間に相関関係を仮定することができる。そこで、位置モデルは各変位モードの線形結合における係数として、注目輪郭に対応する形状モデルでの各変形モードの線形結合における係数（ベクトルｂ）を用いて以下のように定式化できる。
ρ＝ｑ＋Ｗｂ ………（７）

ここで、ｑは基準位置を表すベクトルである。また、Ｗは２行ｔ列の行列であり、その各列はｔ個の変形モードそれぞれに対応する変位モードにおける変位ベクトルを表す。

基準位置ｑとして、標本データに基づく注目部分の平均位置を用いることができ、ベクトルｑは定数として扱うことができる。また、推定輪郭に関し係数ベクトルｂは既知であり（７）式では定数として扱うことができる。

変位モードを表す行列Ｗは、複数（ｍ個とする）の標本データに（７）式で表される位置モデルを適用して得ることができる。具体的には、ｍ個の標本データそれぞれについての（７）式は、各標本データについての列ベクトルρをｍ列並べた２行ｍ列の行列Ｐ、列ベクトルｑをｍ列繰り返し並べた２行ｍ列の行列Ｑ、及び各標本データについての列ベクトルｂをｍ列並べたｔ行ｍ列の行列Ｂとを用いて、次式にまとめることができる。なお、次式では誤差ε_Ｐを導入している。また、次式の構成に用いる標本データからは、注目部分の位置が音響シャドウなどの影響で得られなかったものを除去することが好適である。
Ｐ＝Ｑ＋ＷＢ＋ε_Ｐ ………（８）

Ｗは誤差ε_Ｐを最小にするように定められ、患部追跡部５４は（７）式にて当該Ｗを用いて、推定輪郭ξに対する係数ベクトルｂから、当該推定輪郭ξに対応する注目部分の位置ρを算出する。算出されたρは制御部４０へ出力され、ＨＩＦＵ治療におけるエンドエフェクタ２の制御等に用いられる。

表示画像生成部４６は、超音波画像生成部４２により生成された超音波画像に基づいて、表示部３０における医師や検査技師等による関心臓器や患部のモニタリング等に好適な画像である表示画像を生成する。本実施形態では表示画像生成部４６は、超音波断層画像における関心臓器の像に音響シャドウなどにより欠損や不鮮明な部分が存在する場合に、当該部分を補完した画像を生成する。

表示画像生成部４６の補完領域設定部６０は、生体像に写る関心臓器の像のうち所定の基準に基づき画質が鮮明な鮮明領域と不鮮明な不鮮明領域とを判別し、当該不鮮明領域を包含し輪郭探索における制御点を頂点とする少なくとも１つの多角形からなる補完対象領域を定める。本実施形態では当該多角形は四角形とした例を説明する。

画像合成部６２は、注目部分の追跡開始後に取得され記憶部３４に記憶された生体像を用いて不鮮明領域の補完を行う。画像合成部６２は記憶部３４に記憶されている生体像における鮮明領域のうち補完対象領域の四角形と共通の制御点を頂点とした四角形に対応する部分を読み出し、当該部分に対し補完対象領域の四角形に適合させるホモグラフィ変換を行って補完対象領域に合成する。なお、ホモグラフィ変換の代わりにアフィン変換など他の線形変換を用いてもよい。

表示部３０は液晶ディスプレイ等の画像表示装置であり、例えば、超音波画像生成部４２により生成された超音波画像や表示画像生成部４６により生成された表示画像などの生体像を表示する。

入力部３２はキーボード、ポインティングデバイス等の入力装置であり、医師や検査技師等により操作され、超音波診断治療統合システム１に対する動作指示やデータ入力に用いられる。

記憶部３４は各種プログラムや各種データを記憶し、演算処理部２８との間でこれらの情報を入出力する。例えば、記憶部３４は、超音波画像データ７０、標本データ７２、形状モデル７４及び位置モデル７６を記憶する。

超音波画像データ７０は超音波画像生成部４２により生成された生体断層像のデータである。診断等の目的では予め撮影された生体像に対し追跡処理部４４による臓器の輪郭推定や患部位置の推定が行われ得る。この場合に、記憶部３４に超音波画像データ７０が予め格納され、追跡処理部４４の処理に供される。

また、超音波画像データ７０は表示画像生成部４６の処理にて不鮮明領域の補完に利用される。この用途では超音波画像データ７０として基本的に、現時刻から臓器の運動周期の１周期分前までのデータを保存すれば足りる。また、例えば、過去の運動周期での撮影から不鮮明領域となる部分が予め特定されているような場合には、当該部分を鮮明領域をして含むフレームの画像だけを超音波画像データ７０として記録してもよい。

標本データ７２は、治療等に際する事前準備として被検者から取得される。具体的には、医師や検査技師等が被検者から臓器の運動周期における複数のタイミングでの生体像を取得し、当該生体像にて関心臓器の輪郭と当該関心臓器に連動する注目部分との位置関係を求め、標本データ７２として記憶部３４に格納する。

形状モデル７４は臓器輪郭推定部５２の説明で述べた形状モデルである。具体的には、（１）式のベクトルｕ、行列Ｖが学習データに基づいて事前に求められ、形状モデル７４として記憶部３４に格納される。

位置モデル７６は患部追跡部５４の説明で述べた位置モデルである。具体的には、（７）式のベクトルｑ、行列Ｗが標本データに基づいて事前に求められ、位置モデル７６として記憶部３４に格納される。

次に超音波診断治療統合システム１の動作等について説明する。

図４は超音波診断治療統合システム１による患部の追跡処理の概略のフロー図である。超音波診断治療統合システム１は起動されると、生体像として超音波プローブ１０による超音波画像の生成を開始する。例えば、操作者はリアルタイムで得られる超音波画像をモニタしながら、患部の追跡が可能なように被検者の位置、またはエンドエフェクタ２の位置を調整することができる。操作者は超音波画像にて、患部と共に運動する臓器の或るタイミングでの像の位置を追跡開始位置として設定する（ステップＳ５）。例えば、追跡開始位置は生体像の臓器内の一点で定義することができる。

臓器輪郭推定部５２は追跡開始位置を臓器の推定位置として輪郭点を探索する（ステップＳ１０）。既に述べたように、輪郭点の探索方法として、探索中心点から放射状に設定した複数の方向に沿って探索する方法と、輪郭に対し垂直方向に探索する方法とがある。ここでは前者を用いた構成例を説明し、後者については後述する。

図５は輪郭点の探索を説明する生体像の模式図である。例えば、推定位置は生体像における臓器内の点Ｃ_Ｐで定義され、臓器輪郭推定部５２はこれを探索中心点として、等角度間隔の複数方向に放射状に設定した線ｌに沿って輪郭点を探索する。なお、この輪郭点を探索する線（探索線）は制御点と対応付けられており、制御点と同数のｎ本の探索線ｌ_１〜ｌ_ｎが設定され、ｌ_ｉは位置ベクトルｖ_ｉで表される制御点に対応する。ちなみに、探索中心点を臓器内に設定することで、臓器の輪郭は探索中心点を囲む閉曲線となる。

本実施形態では、３２方向（ｌ_１〜ｌ_３２）にて輪郭点の探索を行い、輪郭点としてエッジの位置（エッジ点）を検出する。ここで、エッジの強度に基づいて、上述した輪郭点の信頼度を判断することができる。すなわち、強度が所定の閾値以上であるエッジを明瞭輪郭点として検出することができる。

臓器輪郭推定部５２は例えば、探索中心点から遠ざかる向き（或いは探索中心点に近づく向き）にエッジ探索を進める。例えば、探索線ｌに沿って臓器の内側（或いは外側）から外側（或いは内側）に向けて１ピクセルずつ輝度値を確認し、初めて閾値以上となった点を明瞭輪郭点とする。探索線ｌ上での探索は探索線ｌ上の任意の位置から始めることができる。例えば、探索は探索中心点から始めることができる。一方、当該探索は、探索範囲を輪郭点が存在すると想定される範囲に制限し、当該範囲にて内側（或いは外側）から外側（或いは内側）へ行ってもよい。このように範囲を制限することにより輪郭点の誤検出を減らすことができる。例えば、探索範囲は、臓器として想定されるサイズなどに基づいて設定することができる。

エッジ検出には、エッジにて生体像の輝度勾配が大きくなる特徴が利用され、具体的には、周知のエッジ検出フィルタを用いて検出することができる。図５では明瞭輪郭点を“●”印で示している。一方、音響シャドウなどにより輪郭点が特定されない方向も生じ得る。例えば、図５では、探索線ｌ_６，ｌ_７，ｌ_２７〜ｌ_２９と臓器の輪郭８２とが交差する点（“○”印で示す点）は音響シャドウの領域８０に位置し、当該点はエッジ強度が小さい不明瞭輪郭点となり、臓器輪郭推定部５２により輪郭点として検出されない。

臓器輪郭推定部５２は検出した臓器輪郭点を用いて、上述のＰＡＳＭに基づく臓器の概略輪郭形状の算出と、当該概略輪郭形状のＳＮＡＫＥ法による修正とを行い、臓器の推定輪郭を求める（ステップＳ１５）。図６はステップＳ１５の当該手法を説明する模式図である。

臓器輪郭推定部５２は、検出した輪郭点の座標からなるベクトルξ_Ｓに対応する係数ベクトルｂ_Ｓを算出する（ステップＳ１５Ａ）。ＰＡＳＭによる（２）式の係数ベクトルｂ_Ｓは最小二乗法により誤差ベクトルのノルムの２乗|ε_Ｓ|^２を最小にするように定めることができる。すなわち、ξ_Ｓに対しmin|ξ_Ｓ−ｕ_Ｓ−Ｖ_Ｓｂ_Ｓ|^２を与えるｂ_Ｓを求める。具体的には、当該ｂ_Ｓは次式で算出することができる。
ｂ_Ｓ＝(Ｖ_Ｓ ^ＴＶ_Ｓ)^−１Ｖ_Ｓ ^Ｔ（ξ_Ｓ−ｕ_Ｓ） ………（９）

（８）式で与えられるｂ_Ｓを（１）式に代入することで、臓器の概略輪郭形状として、輪郭形状ξの近似ベクトルξ_Ａが得られる（ステップＳ１５Ｂ）。
ξ_Ａ＝ｕ＋Ｖｂ_Ｓ ………（１０）

ここで、ξ_Ａは全制御点の座標からなる２ｎ次元ベクトルである。つまり、ξ_Ａは音響シャドウなどによりステップＳ１０にて輪郭点が検出されなかった制御点の位置も与える。

臓器輪郭推定部５２は概略輪郭形状ξ_Ａに対して上述したＳＮＡＫＥ法による修正を行った形状ξ_Ｃを求める（ステップＳ１５Ｃ）。そして、臓器輪郭推定部５２はベクトルξ_Ｃにおいて不明瞭輪郭点に対応する要素を省略してベクトルξ_Ｓを生成し直し（ステップＳ１５Ｄ）、（９）式によりｂ_Ｓを求めるステップＳ１５Ａに戻る。臓器輪郭推定部５２はこのステップＳ１５Ａ〜Ｓ１５Ｄからなるサイクルを所定の終了条件が満たされるまで繰り返し、得られたξ_Ｃを推定輪郭ξと定める。

患部追跡部５４は、臓器輪郭推定部５２で定められた推定輪郭ξに対応する係数ベクトルｂ_Ｓを（７）式に代入して、推定輪郭ξに対応する患部の位置ρを算出する（ステップＳ２０）。

ここで、（７）式における行列Ｗは上述したように、標本データに基づく（８）式から定められる。具体的には、Ｗは最小二乗法により誤差行列のノルムの２乗|ε_Ｐ|^２を最小にするように定めることができる。すなわち、標本データに対しmin|Ｐ−Ｑ−ＷＢ|^２を与えるＷを求める。具体的には、Ｗは次式で算出することができる。
Ｗ^Ｔ＝(ＢＢ^Ｔ)^−１Ｂ（Ｐ^Ｔ−Ｑ^Ｔ） ………（１１）

患部追跡部５４により算出された患部位置ρは制御部４０へ出力され、ＨＩＦＵトランスデューサ１２を用いた治療等における制御に利用される。

また、超音波画像生成部４２により生成された超音波画像、又は表示画像生成部４６により生成される表示画像にて患部位置ρにマーカー等を合成して表示部３０に表示させることができる。特に、音響シャドウ領域では患部の像が得られない、又は判別しにくくなるので、算出した位置ρを生体像に示すことで操作者による画像上での患部追跡が容易となる。

一方、臓器輪郭推定部５２は推定輪郭ξに対応する臓器の位置を決定する（ステップＳ２５）。例えば、推定輪郭ξの重心を臓器の位置と定めることができる。

追跡処理部４４は追跡処理の終了の指示を受けていなければ（ステップＳ３０にて「Ｎｏ」の場合）、臓器位置推定部５０により、次に患部位置を求める時刻における臓器の推定位置を算出し（ステップＳ３５）、臓器輪郭推定部５２及び患部追跡部５４によるステップＳ１０〜Ｓ２５の処理を繰り返す。なお、患部位置を求める時刻の間隔は基本的に、生体像のフレーム周期以上で、安定した追跡が可能な範囲にて適宜設定することができる。

臓器位置推定部５０は既に述べたように、臓器の過去の動きに基づいて臓器の推定位置を求める。例えば、ステップ２５にて推定輪郭の重心を臓器位置として算出し、直近２時刻での臓器位置から求めた臓器の速度ベクトルに基づいて、次の時刻での臓器位置として輪郭の重心を予測することができる。また、治療等に際し事前準備での追跡により臓器位置の軌道を求め、臓器の過去の位置、及び速度から軌道上にて新たな位置を予測してもよい。また、位置として、並進運動に係る座標に加え回転運動に係る座標を過去の動きに基づいて予測することもできる。

また、ステップＳ１０では臓器位置に定めた輪郭の予測重心を輪郭点の探索中心点Ｃ_Ｐとして用いることができる。この予測した重心は臓器内から外れにくいので、探索中心点として好適である。このように臓器位置推定部５０により、臓器の運動による変位後の位置を予測し、当該位置に対応した領域にて臓器の輪郭点を探索することで、臓器の速度が大きい場合でも安定した追跡が可能となる。

一方、臓器の速度が小さい場合、又は追跡の時間間隔が短い場合などは、例えば、或る時刻にて決定された輪郭の重心が次の時刻の臓器内に存在することが期待できるので、当該重心を次の時刻にて輪郭点の探索中心点として用いてもよい。また、追跡処理の開始直後には過去の動きに基づく臓器位置の推定ができない場合があり得るが、このような場合にも現在の臓器位置を近似的に次の時刻における臓器の推定位置とすることが行われ得る。

図７は超音波診断治療統合システム１による表示画像生成処理の概略のフロー図である。超音波診断治療統合システム１では超音波画像生成部４２により生体像として超音波断層像が生成され、これを表示部３０に表示することができる。一方、超音波画像生成部４２により得られた超音波断層像における関心臓器の像に音響シャドウなどにより欠損や不鮮明な部分が存在する場合に、表示画像生成部４６が当該部分を補完した画像を生成する。

表示画像生成部４６の補完領域設定部６０は超音波画像生成部４２により生成された超音波画像（後述する画像合成処理をされていない画像という意味で原生体像と称する。）を取得し、その臓器の像のうち画質が不鮮明な不鮮明領域とそれ以外の鮮明領域とを判別する（ステップＳ５０）。

例えば、補完領域設定部６０は、臓器輪郭推定部５２が求めた推定輪郭ξの内側の領域にて不鮮明領域を検出する。例えば、音響シャドウは超音波プローブ１０から見て肋骨等の背後に帯状に形成され、臓器が当該帯状領域に重なると、その部分の輪郭が不鮮明となる。よって、臓器輪郭推定部５２にて不明瞭輪郭点に対応するとされた制御点に基づいて不鮮明領域を検出することができる。例えば、補完領域設定部６０は臓器の輪郭にて不明瞭輪郭点を検出し、輪郭の重心点を基準として、不明瞭輪郭点を超音波プローブ１０に近い上側の点と、超音波プローブ１０から遠い下側の点とに分ける。そして輪郭のうち上側の部分にて、不明瞭輪郭点が存在する区間を挟む明瞭輪郭点の対を決定し、同様に輪郭のうち下側の部分にて、不明瞭輪郭点が存在する区間を挟む明瞭輪郭点の対を決定する。このように決定された上側の明瞭輪郭点の対と下側の明瞭輪郭点の対を構成する４つの明瞭輪郭点を頂点とする四角形を不鮮明領域とする。

図８は補完領域設定部６０による処理を説明する模式図であり、図８（ａ）は上述の輪郭の不鮮明区間に基づく不鮮明区間の推定の具体例を示している。探索線ｌ_ｋにおける輪郭点（制御点）をｖ_ｋと表すと、超音波断層像９０ａにてｖ_６及びｖ_７と、ｖ_２７〜ｖ_２９が不明瞭輪郭点であり、臓器輪郭９２ａにて明瞭輪郭点ｖ_５とｖ_８とに挟まれる区間９４ｕと、明瞭輪郭点ｖ_２６とｖ_３０とに挟まれる区間９４ｄとがそれぞれ輪郭が不鮮明な区間として検出される。そこで、補完領域設定部６０は区間９４ｕと区間９４ｄとに挟まれる領域が不鮮明領域であると推定する。具体的には、区間９４ｕ，９４ｄの両端の輪郭点ｖ_５，ｖ_８，ｖ_２６，ｖ_３０を頂点とする四角形９６を不鮮明領域とする近似を行う。

また、補完領域設定部６０は、臓器の音響シャドウによる不鮮明領域を判断する際に、輪郭の上側にて不明瞭輪郭点が連続する区間と下側にて不明瞭輪郭点が連続する区間とのうち、超音波プローブ１０を通る直線上にある２区間であることを条件とし、当該条件を満たす２区間を臓器の音響シャドウに重なる部分にて互いに向き合う輪郭部分であると推定してもよい。なお、この場合も補完領域設定部６０は、当該２つの輪郭部分それぞれについて上述の明瞭輪郭点の対を求め、その２つの対を構成する４つの明瞭輪郭点を頂点とする四角形の領域を不鮮明領域とする。図８（ａ）の例では、区間９４ｕ，９４ｄは図にて超音波断層像９０ａの上方に位置する超音波プローブ１０（図には現れていない）と一列に並んでいる。よって、図８（ａ）は、上側及び下側それぞれの不明瞭輪郭点の区間と超音波プローブ１０とが直線上に並ぶことを条件とする処理の例にもなっている。

また、上記不鮮明領域は超音波画像装置の視野（Field of View）外の辺縁領域であってもよく、補完領域設定部６０は生体像の画像指標に基づいて不鮮明領域を検出することもできる。例えば、コントラストが予め定めた閾値未満である領域を不鮮明領域とすることができる。図８（ｂ）はこの場合の具体例を示しており、超音波断層像９０ｂの臓器輪郭９２ｂ内にて領域９８がコントラストが低く不鮮明領域と判断されたことを表している。

また、上述の輪郭の不鮮明区間に基づく推定と画像指標に基づく推定とを併用して不鮮明領域を判定してもよい。例えば、図８（ａ）の例で、四角形９６内にコントラストが閾値未満の領域が含まれていることを確認した上で、四角形９６を不鮮明領域と判断することができる。

不鮮明領域が検出された場合（ステップＳ５５にて「Ｙｅｓ」の場合）、補完領域設定部６０は、不鮮明領域を包含し制御点を頂点とする少なくとも１つの四角形からなる補完対象領域を定める（ステップＳ６０）。

例えば、上述の輪郭の不鮮明区間に基づく推定では、不鮮明領域とされた四角形（図８の例では四角形９６）が補完対象領域に定められる。また、図８（ｂ）の不鮮明領域９８に対しては、例えば、図８（ａ）の四角形９６と同じ１つの四角形ｖ_５ｖ_８ｖ_２６ｖ_３０を補完対象領域と定めることもできるし、明瞭輪郭点である制御点ｖ_５〜ｖ_８，ｖ_２６〜ｖ_３０を用いて形成できる３つの四角形、すなわち四角形ｖ_５ｖ_６ｖ_２９ｖ_３０，四角形ｖ_６ｖ_７ｖ_２８ｖ_２９，四角形ｖ_７ｖ_８ｖ_２６ｖ_２９を補完対象領域と定めることもできる。

補完対象領域が決定されると画像合成部６２による画像合成処理が行われる。図９は画像合成部６２による処理を説明する模式図であり、図８（ａ）の例に対応した処理例を示している。

画像合成部６２は生体像記憶手段として機能する記憶部３４の超音波画像データ７０から、鮮明領域のうち補完対象領域の四角形と共通の制御点を頂点とした四角形における生体像を補完用の生体像として読み出す（ステップＳ６５）。

補完に用いる生体像（以下、記号Ｉ_Ｍで表す。）は基本的には、不鮮明領域が検出された生体像（以下、記号Ｉ_Ｔで表す。）に撮影時刻が近いものである方が好適である。そこで、画像合成部６２は例えば、生体像Ｉ_Ｔである超音波画像に先行して超音波画像データ７０に蓄積された超音波画像を新しいものから順に遡って、生体像Ｉ_Ｔである超音波画像の補完対象領域に対応する領域が鮮明領域であるものを探し、最初に見つかったものを生体像Ｉ_Ｍとして選択する。そして、画像合成部６２は１フレームの生体像Ｉ_Ｍのうち補完対象領域に対応する部分を補完用の生体像（以下、記号Ｉ_Ｍ ^＊で表す。）として超音波画像データ７０から読み出す。

図９にて時刻ｔ_０における生体像Ｉ_Ｔとして図８（ａ）の超音波断層像９０ａを示しており、補完対象領域は制御点ｖ_５，ｖ_８，ｖ_２６，ｖ_３０を頂点とする四角形である。画像合成部６２はこの生体像Ｉ_Ｔに対し、その補完対象領域が音響シャドウ領域に入り始める直前の時刻ｔ_−λの超音波断層像９０ｃを生体像Ｉ_Ｍとして選択する。そして、当該画像９０ｃにおける制御点ｖ_５，ｖ_８，ｖ_２６，ｖ_３０を頂点とする四角形内の画像データを補完用の生体像Ｉ_Ｍ ^＊として超音波画像データ７０から読み出す。

画像合成部６２は補完用の生体像Ｉ_Ｍ ^＊に対して、補完対象領域の四角形に適合させるホモグラフィ変換を行う（ステップＳ７０）。すなわち、図９の例では、超音波断層像９０ｃにおける四角形ｖ_５ｖ_８ｖ_２６ｖ_３０の画像を生体像Ｉ_Ｍ ^＊として選択し、超音波断層像９０ａにおける四角形ｖ_５ｖ_８ｖ_２６ｖ_３０に射影変換する。そして、画像合成部６２は、生体像Ｉ_Ｍ ^＊を射影変換して得られた生体像（記号Ｉ_Ｍ ^＊＊で表す。）を生体像Ｉ_Ｔである超音波断層像９０ａの補完対象領域に合成する（ステップＳ７５）。そして、ステップＳ７５にて生成された合成画像が表示部３０へ出力される（ステップＳ８０）。

一方、ステップＳ５０にて不鮮明領域が検出されなかった場合（ステップＳ５５にて「Ｎｏ」の場合）、画像の補完処理は不要とされ、表示画像生成部４６は超音波画像生成部４２から入力された原生体像を表示部３０へ出力する（ステップＳ８５）。

超音波診断治療統合システム１は、患部の追跡処理と共に、表示画像生成処理を繰り返すことができる。

さて既に述べたように、追跡処理における輪郭点の探索方法として、探索中心点から放射状に設定した複数の方向に沿って探索する方法と、輪郭に対し垂直方向に探索する方法とがある。上述の実施形態では主に前者を例にして追跡処理を説明した。次に、後者の方法で追跡処理を行う場合について説明する。

この場合、臓器輪郭推定部５２は、過去の推定輪郭に基づき臓器の推定位置における輪郭を予想し、当該予想した輪郭に直交する方向に沿って輪郭点を探索する。具体的には、図４のステップＳ１０では、臓器輪郭推定部５２は、追跡開始位置にて想定される輪郭を基準輪郭として取得し、当該基準輪郭上に制御点を初期設定する。基準輪郭は、当該位置及び時刻における輪郭の近似となるものであればよい。

追跡処理を開始しステップＳ１０〜Ｓ２５を行った後は、直近の時刻の輪郭が得られているので、これをステップＳ３５における推定位置に配置し基準輪郭として用いることができる。なお、推定位置は既に述べたように、並進運動に係る座標に限られず、回転運動に係る座標を含むものとすることができる。

一方、追跡処理開始の直後においては、標本データなどに基づいて基準輪郭を設定することができる。

臓器輪郭推定部５２は例えば、基準輪郭の重心から放射状に設定した複数の線ｌと基準輪郭との交点を制御点の初期位置とする。この複数の線ｌは、上述の構成例で探索線とした線ｌと同様、等角度間隔に設定する。一方、輪郭点の探索の方向は当該線ｌに沿った方向に代えて、初期設定された制御点を通り基準輪郭に垂直な方向とする。具体的には、初期設定された制御点において基準輪郭の内側から外側に向く法線ベクトルｎ＝（ｎ_ｘ，ｎ_ｙ）を定義する。そして、当該法線ベクトルに沿った直線（記号ｌ_ｎで表す。）上に制御点を移動させて明瞭輪郭点を探索する。例えば、生体像の輝度値を、制御点の内側と外側とにそれぞれｍ画素分ずつ取り出してＮＶＰ（Normal Vector Profile）を定義する。具体的には、生体像にて制御点の座標を（ｘ_Ｃ，ｙ_Ｃ）とし、次式で表す座標（ｘ_ｉ，ｙ_ｉ）（ここでｉは１≦ｉ≦２ｍなる整数である。）に対応する画素の輝度値をｆ_ｉとして、ＮＶＰを２ｍ次元のベクトルｆ＝［ｆ_１，ｆ_２，…，ｆ_２ｍ］^Ｔで定義する。
（ｘ_ｉ，ｙ_ｉ）＝（ｘ_Ｃ＋(ｉ−ｍ)ｎ_ｘ，ｙ_Ｃ＋(ｉ−ｍ)ｎ_ｙ）

ちなみに、内側からｉ番目の画素の輝度値がｆ_ｉである。つまり、ｆ_１〜ｆ_ｍが制御点より内側の画素の輝度値であり、ｆ_ｍ＋１〜ｆ_２ｍが制御点より外側のピクセルの輝度値である。

設定した制御点が明瞭輪郭点かどうかを判断する指標として例えば、ベクトルｐとｆとの内積を用いて次式で定義するｃを計算する。
ｃ＝ｐ^Ｔ・ｆ／２ｍ

ここで、ｐは直線ｌ_ｎ上に沿った明瞭輪郭点の内側と外側とでの輝度値変化の特徴に応じて定義される２ｍ次元のベクトルである。例えば、関心臓器が前立腺である場合の超音波画像では、輪郭近辺では輪郭の内側から外側に輝度が上昇することを前提として、例えば、ｐは制御点より内側の画素に対応する第１〜ｍ要素の値が１であり一方、外側の画素に対応する第（ｍ＋１）〜２ｍ要素の値が−１であるｐ＝［１，…，１，−１，…−１］^Ｔとし、ｃ＜−１であれば明瞭輪郭点と判定する。

例えば、臓器輪郭推定部５２は制御点を直線ｌ_ｎに沿って初期制御点から遠ざかる方向（内側方向及び外側方向）に移動させて、指標値であるｃを随時計算し、明瞭輪郭点の条件を満たす指標値ｃが得られ初期制御点に最も近い制御点を新たな輪郭点と定める。なお、上に説明した探索線ｌに沿った探索に関して述べた処理と同様に、探索範囲、つまり制御点の移動範囲を輪郭点が存在すると想定される範囲に制限し、探索を当該範囲にて内側から外側へ行ってもよい。

基準輪郭に直交する方向に輪郭点を探索する方法は、音響シャドウに臓器が重なる場合に臓器の像と音響シャドウとの境界における輝度変化を輪郭点と誤検出しにくくなる効果を有する。

［変形例］
上記実施形態では生体像が超音波エコーによる２次元の画像である場合を説明したが、生体像はこれに限定されない。例えば、生体像は立体像、つまり３次元像であってもよい。また生体構造を探査し像を形成する手法も各種のものを用いることができ、例えば、Ｘ線透視撮影法、コンピュータ断層撮影法（Computed Tomography：ＣＴ）、ＭＲＩ及び陽電子放出断層撮影法（Positron Emission Tomography：ＰＥＴ）により形成される画像・立体像を生体像として本発明を適用することもできる。

本発明は生体内を概周期的に運動する組織・器官の追跡に特徴があり、この技術をいかなる診断装置、治療装置に用いるかは限定されない。

例えば、上述したＨＩＦＵ治療以外の他の非侵襲性治療法の１つである放射線の外部治療に本発明を適用した場合、患部の運動に追従して放射線を照射する治療システムを構築することができ、患部への限局照射が可能となることで少ない副作用で治療効果を高めることができる。陽子線、重粒子線、並びに中性子線といった、最先端のがん治療においても上記と同様のシステムを構築することができる。

さらに、ＰＥＴなどにおいて生体から検知される信号が微弱である場合、長時間撮像が行われる。このような場合に、本発明による注目部位の追跡技術を用いて、検出器を注目部位に追従して移動させたり、得られた時間的に変化する生体像データの電子的な移動補償を行ったりすることで、ぶれの抑制された生体像を取得することができる。

さて、例えば、患部に追従してＨＩＦＵを照射する場合、患部臓器が肋骨の裏側を通過する際にＨＩＦＵが肋骨に当たると被検者に疼痛が生じるという問題がある。本発明では患部の追従精度が向上するので、患部が肋骨に隠れるタイミングではＨＩＦＵを弱めたり、肋骨を避けるように照射したりする治療制御を好適に行うことが容易となる。また、誤差１ｍｍの照射精度が要求されるような主要血管、横隔膜、消化管に近い場所ではそれら器官の損傷を避けるために、ＨＩＦＵの強度を弱め焦点領域を狭める治療制御が好適である。本発明による患部の追跡では患部が音響シャドウに隠れるタイミングを把握できるのでこれを可能とする。

１ 超音波診断治療統合システム、２ エンドエフェクタ、４ 移動機構、６ 本体、１０ 超音波プローブ、１２ ＨＩＦＵトランスデューサ、２０ 送受波回路、２２ フレームメモリ、２４ パルス発生回路、２６ 移動機構制御部、２８ 演算処理部、３０ 表示部、３２ 入力部、３４ 記憶部、４０ 制御部、４２ 超音波画像生成部、４４ 追跡処理部、４６ 表示画像生成部、５０ 臓器位置推定部、５２ 臓器輪郭推定部、５４ 患部追跡部、６０ 補完領域設定部、６２ 画像合成部、７０ 超音波画像データ、７２ 標本データ、７４ 形状モデル、７６ 位置モデル。

（４）上記（１）〜（３）に記載の生体内運動追跡装置は、さらに、前記生体像を記憶
する生体像記憶手段と、前記生体像に写る前記関心臓器の像のうち所定の基準に基づき画
質が鮮明な鮮明領域と不鮮明な不鮮明領域とを判別し、当該不鮮明領域を包含し前記制御
点を頂点とする少なくとも１つの多角形からなる補完対象領域を定める補完領域設定手段
と、前記生体像記憶手段から、前記鮮明領域のうち前記補完対象領域の前記多角形と共通
の前記制御点を頂点とした多角形における前記生体像を読み出し、前記補完対象領域の前
記多角形に適合させる線形変換を行って前記補完対象領域に合成する画像合成手段と、を
有する構成とすることができる。

Claims (4)

1. 生体内における関心臓器の過去の動きに基づいて、生体構造を撮影した生体像における前記関心臓器の推定位置を求める臓器位置推定手段と、
   前記生体像における前記推定位置に対応した領域にて前記関心臓器の輪郭点を探索し、当該輪郭点に基づいて前記関心臓器の推定輪郭を求める輪郭推定手段と、
   前記関心臓器の輪郭と当該関心臓器に連動する注目部分との位置関係についての予め取得された標本データに基づき、前記推定輪郭から前記生体像における前記注目部分の位置を求める注目部分追跡手段と、を有し、
   前記輪郭推定手段は、
   前記関心臓器の輪郭形状の動的輪郭モデルにおける複数の制御点それぞれに対応する前記輪郭点を探索し、
   前記輪郭形状を基準形状と互いに線形独立な複数の変形モードの線形結合との和で表す形状モデルにおいて、前記輪郭点のうち予め定めた基準以上の信頼度を有する明瞭輪郭点を初期値として、前記制御点のうち前記明瞭輪郭点に対応するもののみに基づいて前記線形結合における前記各変形モードの係数を求めるＰＡＳＭ処理と、当該ＰＡＳＭ処理により与えられる前記制御点の位置を前記輪郭形状に関するエネルギー最小化原理に基づくＳＮＡＫＥ法より修正する処理とを繰り返して前記推定輪郭を求めること、
   を特徴とする生体内運動追跡装置。
2. 請求項１に記載の生体内運動追跡装置において、
   前記注目部分追跡手段は、
   前記関心臓器の注目輪郭に対応する前記注目部分の位置を、基準位置と前記変形モードに対応した複数の変位モードの線形結合との和で表す位置モデルにて、
   前記標本データに基づく前記注目部分の平均位置を前記基準位置とし、
   前記注目輪郭に対応する前記形状モデルでの前記各変形モードの前記線形結合における前記係数を前記各変位モードの前記線形結合における係数とし、
   前記標本データに当該位置モデルを適用して得た前記変位モードを設定し、
   当該位置モデルを用いて前記推定輪郭に対応する前記注目部分の位置を求めること、
   を特徴とする生体内運動追跡装置。
3. 請求項１又は請求項２に記載の生体内運動追跡装置において、
   前記輪郭推定手段は、過去の前記推定輪郭に基づき前記推定位置における前記輪郭を予想し、当該予想した輪郭に直交する方向に沿って前記輪郭点を探索すること、を特徴とする生体内運動追跡装置。
4. 請求項１から請求項３のいずれか１つに記載の生体内運動追跡装置において、さらに、
   前記生体像を記憶する生体像記憶手段と、
   前記生体像に写る前記関心臓器の像のうち所定の基準に基づき画質が鮮明な鮮明領域と不鮮明な不鮮明領域とを判別し、当該不鮮明領域を包含し前記制御点を頂点とする少なくとも１つの多角形からなる補完対象領域を定める補完領域設定手段と、
   前記生体像記憶手段から、前記鮮明領域のうち前記補完対象領域の前記多角形と共通の前記制御点を頂点とした多角形における前記生体像を読み出し、前記補完対象領域の前記四角形に適合させる線形変換を行って前記補完対象領域に合成する画像合成手段と、
   を有することを特徴とする生体内運動追跡装置。

Images