JP2015139476A - 超音波画像処理装置 - Google Patents

Abstract

【課題】超音波の画像データ間における相関演算に係る改良技術を提供する。【解決手段】パターンマッチング処理部３０は、例えば心臓や筋肉などの診断対象に対して設定された注目箇所を、相関演算に基づくパターンマッチング処理により、複数の画像データに亘って各画像データごとに探索する。そのパターンマッチング処理において、パターンマッチング処理部３０は、相関演算の結果に対して方向に応じた重みづけ処理を行い、重みづけ処理された相関演算の結果に基づいて探索を行う。これにより、例えば、注目すべき方向を重視した探索などが可能になる。【選択図】図１

Description

本発明は、超音波画像処理装置に関し、特に、画像データ間において相関演算を行う装置に関する。

超音波の画像データ間において相関演算を行う装置が知られている。例えば、特許文献１には、超音波の画像データ内の注目個所（設定点）にテンプレートを設定し、テンプレートを利用した相関演算に基づくパターンマッチングにより、複数のフレームに亘って注目個所を追跡する画期的な技術が提案されている。特に特許文献１では、相関演算の結果に対して、距離に応じた重みづけ処理を行うことにより、探索の精度を向上させている。

特開２０１３−２７４５２号公報

上述した背景技術に鑑み、本願の発明者は、超音波の画像データ間における相関演算について研究開発を重ねてきた。特に、特許文献１に記載される画期的な発明のさらなる改良に注目した。

本発明は、その研究開発の過程において成されたものであり、その目的は、超音波の画像データ間における相関演算に係る改良技術を提供することにある。

上記目的にかなう好適な超音波画像処理装置は、超音波を送受することにより得られた複数の画像データを記憶する画像記憶部と、複数の画像データに含まれる第１画像データ内の注目箇所と第２画像データ内の画像部分に基づいて相関演算を実行する相関演算部と、注目箇所の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う重みづけ処理部と、を有し、重みづけ処理された相関演算の結果に基づいて、第１画像データ内の注目箇所に対応した画像部分を第２画像データ内において探索することを特徴とする。

上記構成において、注目方向は、注目箇所の動きを診断するにあたって注目すべき方向であり、例えば、医師等のユーザにより指定されてもよいし、画像データ内における組織の構造等に応じて決定されてもよいし、他の注目箇所の位置に応じて決定されてもよい。例えば、心臓の拡張収縮運動を診断する場合には、心臓が拡張収縮する方向を注目方向として、注目方向における重みを重視した重みづけ処理を行うことが望ましい。

心臓の拡張収縮運動を診断するにあたり、心臓の心内膜面を注目箇所として、心内膜面の動き、つまり、拡張収縮運動に伴う心内膜面の垂直方向への動きを相関演算に基づいて追跡すると、心内膜面に沿った横方向に比較的よく似た画像パターンがあることから、誤認識による横方向への滑り（いわゆる横滑り）が懸念される。

これに対し、上記の好適な装置において、例えば、心臓が拡張収縮する方向を注目方向として、注目方向における重みを重視した重みづけ処理を行うことにより、拡張収縮する方向を重視した追跡が行われ、いわゆる横滑りを低減または除去することが可能になる。

望ましい具体例において、前記重みづけ処理部は、前記注目方向を含む複数の方向に対応した複数の重み係数により、相関演算の結果に対して方向に応じた重みづけ処理を行うことを特徴とする。

望ましい具体例において、前記超音波画像処理装置は、前記注目箇所における動きの程度が最大であると予測される方向に前記注目方向を設定する、ことを特徴とする。

望ましい具体例において、前記注目箇所が２つ設定され、前記超音波画像処理装置は、２つの注目箇所を通る直線の方向に前記注目方向を設定する、ことを特徴とする。

望ましい具体例において、前記超音波画像処理装置は、前記２つの注目箇所について、各注目箇所ごとに前記探索を行い、当該探索により追跡される２つの注目箇所の距離を計測する、ことを特徴とする。

また上記目的にかなう好適な超音波診断装置は、超音波を送受するプローブと、プローブを制御することにより受信信号を得る送受信部と、受信信号に基づいて複数の画像データを形成する画像形成部と、複数の画像データに含まれる第１画像データ内の注目箇所と第２画像データ内の画像部分に基づいて相関演算を実行する相関演算部と、注目箇所の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う重みづけ処理部と、を有し、重みづけ処理された相関演算の結果に基づいて、第１画像データ内の注目箇所に対応した画像部分を第２画像データ内において探索することを特徴とする。

また、上記目的にかなう超音波画像処理プログラムが実現されてもよい。例えば、超音波を送受することにより得られた複数の画像データを処理するコンピュータに、複数の画像データに含まれる第１画像データ内の注目箇所と第２画像データ内の画像部分に基づいて相関演算を実行する相関演算機能と、注目箇所の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う重みづけ処理機能と、重みづけ処理された相関演算の結果に基づいて、第１画像データ内の注目箇所に対応した画像部分を第２画像データ内において探索する探索機能と、を実現させることを特徴とする超音波画像処理プログラムである。

上記超音波画像処理プログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネットなどの電気通信回線を介して上記超音波画像処理プログラムがコンピュータに提供されてもよい。

本発明により、超音波の画像データ間における相関演算に係る改良技術が提供される。例えば、本発明の好適な態様において、心臓が拡張収縮する方向を注目方向として、注目方向における重みを重視した重みづけ処理を行うことにより、拡張収縮する方向を重視した追跡が行われ、いわゆる横滑りを低減または除去することが可能になる。

本発明の実施において好適な超音波診断装置の全体構成を示す図である。 画像データ間のパターンマッチングを説明するための図である。 ＦＳ計測におけるテンプレートの設定例を示す図である。 方向に応じた重みづけ処理を説明するための図である。

図１は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。図１の超音波診断装置は、本発明に係る超音波画像処理装置の好適な具体例であり、当該超音波画像処理装置の機能を備えている。

プローブ１０は、例えば心臓や筋肉などの診断対象を含む領域に対して超音波を送受する超音波探触子である。プローブ１０は、各々が超音波を送受する複数の振動素子を備えており、複数の振動素子が送受信部１２により送信制御されて送信ビームが形成される。また、複数の振動素子が診断対象を含む領域内から超音波を受波し、これにより得られた信号が送受信部１２へ出力され、送受信部１２が受信ビームを形成して受信ビームに沿ってエコーデータ（受信信号）が収集される。

プローブ１０は、超音波ビーム（送信ビームと受信ビーム）を二次元平面内において走査する。もちろん、超音波ビームを三次元空間内において立体的に走査する三次元プローブが利用されてもよい。

診断対象を含む領域内で超音波ビームが走査され、送受信部１２によりエコーデータが収集されると、画像形成部２０は、収集されたエコーデータに基づいて超音波の画像データを形成する。画像形成部２０は、例えばＢモード画像の画像データを形成する。また、画像形成部２０は、複数の超音波画像に対応した複数の画像データを形成する。例えば、複数フレームに亘って各フレームごとに各画像データが形成され、診断対象を動的に映し出す複数の画像データが形成される。

画像形成部２０において形成された複数の画像データは、表示部５０に出力され、例えば、診断対象である心臓に係る動画の超音波画像が表示部５０に表示される。また、画像形成部２０において形成された複数の画像データは、画像記憶部２２に記憶される。

パターンマッチング処理部３０は、画像記憶部２２に記憶された複数の画像データを対象として、相関演算に基づいて画像データ間のパターンマッチングを行う。パターンマッチング処理部３０は、画像データ内にテンプレートを設定する機能と、画像データ内に探索領域を設定する機能と、テンプレート内の画像データに基づいて相関演算を実行する機能と、相関演算の結果に重み付け処理を施す機能を備えている。パターンマッチング処理部３０により、例えば心臓や筋肉などの診断対象に対して設定された注目箇所が、複数の画像データに亘って各画像データごとに探索される。

診断情報生成部４０は、パターンマッチング処理部３０における探索結果に基づいて、心臓や筋肉などの診断対象に関する診断情報を生成する。診断情報生成部４０は、心臓の拍出機能の指標であるＦＳ（Fractional Shortening）計測機能と、ＦＳ計測において得られる変位波形を生成する機能を備えている。

そして、表示部５０には、画像形成部２０において形成された画像データに対応した超音波画像や、診断情報生成部４０において得られた診断情報などが表示される。なお、制御部６０は、図１に示す超音波診断装置内を全体的に制御する。

図１に示す構成（各機能ブロック）のうち、送受信部１２と画像形成部２０とパターンマッチング処理部３０と診断情報生成部４０は、それぞれ、例えばプロセッサや電子回路等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。画像記憶部２２は、例えば半導体メモリやハードディスク等のデータ記憶デバイスで実現され、表示部５０の好適な具体例は例えば液晶ディスプレイ等である。そして、制御部６０は、例えば、ＣＰＵやプロセッサやメモリ等のハードウェアと、ＣＰＵやプロセッサの動作を規定するソフトウェア（プログラム）との協働により実現することができる。

また、図１に示す構成のうちの少なくとも一部を例えばコンピュータにより実現してもよい。つまり、コンピュータが備えるＣＰＵやメモリやハードディスク等のハードウェアとＣＰＵ等の動作を規定するソフトウェア（プログラム）との協働により、例えば、図１に示すプローブ１０以外の構成を実現し、コンピュータを超音波画像処理装置として機能させてもよい。

図１の超音波診断装置の全体構成は以上のとおりである。次に、図１の超音波診断装置による実現される機能等について詳述する。なお、図１に示した構成（機能ブロック）については、以下の説明において図１の符号を利用する。

図２は、画像データ間のパターンマッチングを説明するための図であり、画像データ１と画像データ２との間における処理を示している。画像データ１と画像データ２は、例えば同じ診断対象から互いに異なる時刻に得られる画像データである。パターンマッチングにおいては、まず、医師等のユーザにより画像データ１内においてユーザが注目する個所に設定点（黒丸）が設定され、その画像データ１内において、例えば設定点を取り囲むようにテンプレートＴが設定される。さらに、画像データ２内において、テンプレートＴに対応した位置にある画像領域を含むように探索領域ＳＡが設定される。探索領域ＳＡの設定には、公知の様々な手法を利用することができる。もちろん、画像データ２の全体を探索領域ＳＡとしてもよい。

テンプレートＴと探索領域ＳＡが設定されると、画像データ２の探索領域ＳＡ内においてテンプレートＴが移動され、各移動位置において、画像データ１のテンプレートＴ内の複数の画素と、画像データ２のテンプレートＴ内の複数の画素とに基づいて、相関演算が行われる。例えば、画像データ１内のテンプレートＴに対応した位置を初期位置とし、その初期位置からの変位(dx,dy)ごとに相関値が算出され、探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出される。

相関値とは画像データ間の相関関係の程度（類似の程度）を示す数値であり、相関値の算出には相関演算の各手法に応じた公知の数式が用いられる。相関値としては、例えば、ＳＳＤ（Sum of Square Difference：差の二乗和）などが好適であり、ＳＳＤは、類似の度合が大きいほど小さな値を示す。なお、例えば、位相限定相関法や相互相関法等により類似の度合が大きいほど大きな値を示す相関値が利用されてもよい。

探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出されると、複数の変位の中から最も類似の度合が大きい変位が特定され、画像データ１内のテンプレートＴの移動先、つまり設定点（黒丸）の移動先とされる。

また、図２においては二次元平面内における平行移動の変位(dx,dy)を示しているが、さらに回転移動の変位を加えて、回転移動の変位も考慮して相関値が算出されてもよい。また、三次元画像の画像データの場合には、三次元的な平行移動や回転移動の各変位ごとに相関値が算出され、複数の変位の中から最も類似の度合が大きい変位が特定される。

上述した相関演算に基づいたパターンマッチングにより、パターンマッチング処理部３０は、例えば、画像データ内において設定点（黒丸）の移動先を複数の時相に亘って追跡（トラッキング）する。その追跡結果は、心臓の拍出機能の指標であるＦＳ計測に利用される。

図３は、ＦＳ計測におけるテンプレートの設定例を示す図である。図３には、心臓の心筋と心腔の境界におけるテンプレートの設定例が示されている。例えば、ユーザが、表示部５０に表示される心臓Ｈの超音波画像を見ながら、マウス、トラックボール又はタッチパネル等の操作デバイスを操作して、心筋と心腔の境界上または境界付近に、例えば心内膜またはその近傍に設定点（黒丸）を設定する。図３に示す具体例では設定点が２つ設定されている。

設定点が設定されると、パターンマッチング処理部３０は、設定点の位置（座標）を含むように又は設定点の近傍に、テンプレートを設定する。図３に示す具体例では、２つの設定点の各々に対応した２つのテンプレートＴ１，Ｔ２が設定されている。

パターンマッチング処理部３０は、各設定点ごとに、その設定点に対応したテンプレートを利用したパターンマッチング（図２参照）により、各設定点の移動先を複数の時相に亘って追跡（トラッキング）する。これにより、例えば、心臓の拡張収縮運動に伴って動く心筋の境界、つまり２つのテンプレートＴ１，Ｔ２に対応した心筋の境界が複数の時相に亘ってトラッキングされる。

図３の設定例は、心臓の拍出機能の指標であるＦＳ（Fractional Shortening）計測において好適である。ＦＳ計測において診断情報生成部４０は、２つのテンプレートＴ１，Ｔ２を利用して追跡される２つの設定点（黒丸）を結ぶ線分の長さを計測する。例えば、心臓が拡張収縮運動する期間内において、診断情報生成部４０が、複数の時刻（フレーム）に亘って各時刻ごとに線分の長さを計測し、複数の時刻に亘って線分の長さの変化を示す波形等を形成し、その波形等が表示部５０に表示される。これにより、例えば、心臓の長軸に対して設定された２つの設定点により長軸についての波形が形成され、また、心臓の短軸に対して設定された２つの設定点により短軸についての波形が形成される。

なお、心臓の左室に２つのテンプレートＴ１，Ｔ２が設定され、複数の時刻（フレーム）に亘って各時刻ごとに得られる線分の長さに基づいて、次式に示す％ＦＳ（パーセントＦＳ）が算出されてもよい。

図２を利用して説明したように、パターンマッチング処理部３０は、画像データ１内のテンプレートＴに対応した位置を初期位置として、その初期位置からの変位(dx,dy)ごとに、相関値として例えばＳＳＤを算出する。そして、パターンマッチング処理部３０は、探索領域ＳＡ内の全域に亘る複数の変位に対応したＳＳＤを算出し、ＳＳＤが最小となる変位(dx,dy)に対応した画像位置を設定点の移動先とすることにより、複数の時相に亘って設定点の移動先を追跡する。そのパターンマッチング処理において、パターンマッチング処理部３０は、探索領域ＳＡ内の複数の変位に対応した相関演算の結果（ＳＳＤ）に対して、方向に応じた重み付け処理を行う。

図４は、方向に応じた重みづけ処理を説明するための図である。パターンマッチング処理部３０は、設定点の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う。

図４（Ｉ）には、ｘｙ直交座標系内における注目方向が図示されている。図４（Ｉ）において、注目方向は、破線矢印で示されるｄｖの方向である。注目方向は、設定点における動きの程度が最大であると予測される方向に設定されることが望ましい。例えば、ＦＳ計測において、注目方向は、心内膜が最も速く動くと予想される方向に設定されることが望ましい。例えば、心臓の拡張収縮運動において、心内膜は、心内膜面に対する垂直方向に速く動く傾向があるため、心内膜面の垂直方向が注目方向として好適である。具体的には、例えば、ＦＳ計測において設定された２つの設定点（図４において×印）を通る直線の方向に注目方向が設定される。

図４において、θは、ｘ軸に対する注目方向の角度、つまり２つの設定点を通る直線とｘ軸との間の角度である。ｄｖは、注目方向、つまり心内膜面に対する垂直方向の変位であり、ｄｈは、心内膜面に対する水平方向の変位である。なお、垂直方向の変位ｄｖと水平方向のｄｈは、ｘ軸方向の変位ｄｘとｙ軸方向の変位ｄｙに基づいて、次式により算出される。

心臓の拡張収縮運動に伴う心内膜面の垂直方向への動きを相関演算に基づくパターンマッチング処理で追跡する場合、心内膜面に沿った横方向（心内膜面の水平方向）に比較的よく似た画像パターンがあるため、パターンマッチング処理における誤認識による横方向への滑り（いわゆる横滑り）が懸念される。そこで、パターンマッチング処理部３０は、心内膜面が最も大きく動くと予想される心内膜面の垂直方向を注目方向とし、注目方向における重みを重視した重みづけ処理を行うことにより、拡張収縮する方向を重視した追跡を行う。

具体的には、図４に示す２つの設定点（×印）について、各設定点ごとに、その設定点からの変位(dx,dy)ごとにＳＳＤが算出され、数２式に基づいて、ｘｙ直交座標系における変位(dx,dy)が、垂直方向と水平方向の変位(dv,dh)に座標変換され、垂直方向の変位に対する重み係数Ｗｖと、水平方向の変位に対する重み係数Ｗｈとに基づいて、次式により重みづけ処理が行われる。

こうして、２つの設定点（×印）について、各設定点ごとに、探索領域ＳＡ（図２）内の全域に亘る複数の変位において、重み付け処理後の相関値として数３式のＳＳＤＷｖｈが算出され、複数の変位の中から最も類似の度合が大きい変位、つまりＳＳＤＷｖｈが最も小さくなる変位(dv,dh)が特定され、その変位の位置がその設定点の移動先とされる。

そして、パターンマッチングの重みづけ処理において、各設定点ごとに、注目方向である垂直方向（ｄｖの方向）を重視した重み係数とすることにより、垂直方向を重視した追跡が行われ、水平方向へのいわゆる横滑りを低減または除去することが可能になる。

図４（ＩＩ）には、垂直方向を重視した重みづけの具体例が図示されている。図４（ＩＩ）は、数３式において、垂直方向の変位に対する重み係数Ｗｖを０．０１２とし、水平方向の変位に対する重み係数Ｗｈを０．０２４（Ｗｈの２倍）とした場合の具体例を示している。つまり、図４（ＩＩ）に示される楕円の軌跡は、全変位(dv,dh)においてＳＳＤの値を同じとし、重み係数をＷｖ＝０．０１２，Ｗｈ＝０．０２４した場合に、数３式のＳＳＤＷｖｈの値が同一となる複数の変位（位置）を示している。ちなみに、重み係数をＷｖ＝０．０１２，Ｗｈ＝０．０２４とすると、ｄｖ方向の楕円半径はｄｈ方向の楕円半径の√２倍となる。

このように、重みづけ処理後の相関値に関する楕円の軌跡は、水平方向（ｄｈの方向）よりも垂直方向（ｄｖの方向）に伸長されており、水平方向よりも垂直方向を重視した探索が可能となる。なお、図４を利用して説明した重み係数は、あくまでも１つの具体例に過ぎず、例えば、診断対象や診断項目等に応じて、例えば医師等のユーザにより、重み係数が適宜調整されてもよい。

図１の超音波診断装置は、様々な組織等の診断に利用することができ、特に胎児の心臓の診断において好適である。例えば、胎児の心室腔は回転楕円体ではないため、ＦＳ計測による胎児心臓の診断は難しいと言われている。これに対し、2D Speckle-Tracking技術を用いることで、心室中隔と心室壁の両方の動きを見ることが可能になり、胎児の心室収縮能の評価が可能になる。さらに、図１の超音波診断装置により、例えば、２次元的な解析によりＦＳ計測を行うことにより、新たな胎児心機能評価の可能性が期待される。

以上、本発明の実施において好適な超音波診断装置について説明したが、この超音波診断装置によれば、例えば心臓に係る計測において、心臓が拡張収縮する方向を注目方向として、注目方向における重みを重視した重みづけ処理を行うことにより、拡張収縮する方向を重視した追跡が行われ、いわゆる横滑りを低減または除去することが可能になる。

なお、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。

１０ プローブ、１２ 送受信部、２０ 画像形成部、２２ 画像記憶部、３０ パターンマッチング処理部、４０ 診断情報生成部、５０ 表示部、６０ 制御部。

Claims (6)

1. 超音波を送受することにより得られた複数の画像データを記憶する画像記憶部と、
   複数の画像データに含まれる第１画像データ内の注目箇所と第２画像データ内の画像部分に基づいて相関演算を実行する相関演算部と、
   注目箇所の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う重みづけ処理部と、
   を有し、
   重みづけ処理された相関演算の結果に基づいて、第１画像データ内の注目箇所に対応した画像部分を第２画像データ内において探索する、
   ことを特徴とする超音波画像処理装置。
2. 請求項１に記載の超音波画像処理装置において、
   前記重みづけ処理部は、前記注目方向を含む複数の方向に対応した複数の重み係数により、相関演算の結果に対して方向に応じた重みづけ処理を行う、
   ことを特徴とする超音波画像処理装置。
3. 請求項１または２に記載の超音波画像処理装置において、
   前記注目箇所における動きの程度が最大であると予測される方向に前記注目方向を設定する、
   ことを特徴とする超音波画像処理装置。
4. 請求項１から３のいずれか１項に記載の超音波画像処理装置において、
   前記注目箇所が２つ設定され、２つの注目箇所を通る直線の方向に前記注目方向を設定する、
   ことを特徴とする超音波画像処理装置。
5. 請求項４に記載の超音波画像処理装置において、
   前記２つの注目箇所について、各注目箇所ごとに前記探索を行い、当該探索により追跡される２つの注目箇所の距離を計測する、
   ことを特徴とする超音波画像処理装置。
6. 超音波を送受するプローブと、
   プローブを制御することにより受信信号を得る送受信部と、
   受信信号に基づいて複数の画像データを形成する画像形成部と、
   複数の画像データに含まれる第１画像データ内の注目箇所と第２画像データ内の画像部分に基づいて相関演算を実行する相関演算部と、
   注目箇所の動きに関する注目方向に基づいて、相関演算の結果に対して方向に応じた重みづけ処理を行う重みづけ処理部と、
   を有し、
   重みづけ処理された相関演算の結果に基づいて、第１画像データ内の注目箇所に対応した画像部分を第２画像データ内において探索する、
   ことを特徴とする超音波診断装置。

Images