JP2012115387A

JP2012115387A - 超音波画像処理装置

Info

Publication number: JP2012115387A
Application number: JP2010266452A
Authority: JP
Inventors: Eiji Kasahara; 英司笠原
Original assignee: Hitachi Aloka Medical Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-06-21

Abstract

【課題】パターンマッチングの精度を向上させるテンプレートを提供する。
【解決手段】画像データ１の基礎テンプレートＴｂ内の複数の画素と画像データ２の基礎テンプレートＴｂ内の複数の画素とに基づいて相関値が算出される。この際に（Ａ）〜（Ｊ）の各部分テンプレートごとに、相関値（類似の度合）が算出され、類似の度合が最小となる部分テンプレートが取り除かれる。そして、テンプレートＴとして残された（Ｂ）〜（Ｊ）の部分テンプレートから得られる複数の相関値に基づいて、例えばそれら複数の相関値の平均値や中央値がテンプレートＴの相関値とされる。これにより、画像データ１から画像データ２への変化において、部分テンプレート（Ａ）内に予期せぬ組織などが入り込んだ場合においても、部分テンプレート（Ａ）が取り除かれて相関演算への悪影響を抑えることが可能になる。
【選択図】図４

Description

本発明は、超音波画像処理装置に関し、特に、画像データ間において相関演算を実行する装置に関する。

超音波を送受することにより得られる超音波画像の画像データに対して相関演算を行う超音波画像処理装置や超音波診断装置が知られている。例えば、特許文献１，２には、相関演算に基づいたパターンマッチングにより、複数のフレームに亘って心筋の動きを追跡する旨の画期的な技術が提案されている。また、プローブを移動させつつ得られる複数の画像データをパターンマッチングにより部分的に重ね合わせてパノラマ画像を形成する技術なども知られている。

画像データ間のパターンマッチングにおいては、例えば、一方の画像データ内において注目箇所にテンプレートが設定され、他方の画像データ内でテンプレートを移動させつつテンプレート内の画像データ同士が相関演算される。そして、他方の画像データ内で最も類似度の大きいテンプレートの位置が注目箇所に対応した位置とされる。

ところが、例えば、注目箇所に対応した位置であるにも関わらず、その位置におけるテンプレート内に予期せぬ他の組織などが入り込むと、その位置における類似度が低くなり注目箇所に対応した位置として特定されない可能性がある。

特開２００７−１３００６３号公報特開２００７−１４３６０６号公報

上述した背景技術に鑑み、本願の発明者は、パターンマッチングの精度を向上させる技術について研究開発を重ねてきた。特に相関演算に利用されるテンプレートに注目した。

本発明は、その研究開発の過程において成されたものであり、その目的は、パターンマッチングの精度を向上させるテンプレートを提供することにある。

上記目的にかなう好適な超音波画像処理装置は、複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、を有し、前記画像処理部は、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成する、ことを特徴とする。

上記構成によれば、相関演算の結果に基づいて選択された１または複数の部分テンプレートからテンプレートが形成されるため、例えば、処理対象となる画像の状態などに応じてテンプレートの形状や大きさなどが適宜調整される。例えば、予期せぬ他の組織などが入り込んだ部分テンプレートを除いてテンプレートを形成することにより、その組織による悪影響を抑制してパターンマッチングの精度を向上させることが可能になる。なお、上記構成において、各画像データは、例えば、２次元的に収集されたエコーデータから得られる２次元データ、または、３次元的に収集されたエコーデータから得られる３次元データである。

望ましい具体例において、前記画像処理部は、他方の画像データ内における各移動位置ごとに、前記少なくとも１つの部分テンプレートを選択して前記テンプレートを形成することを特徴とする。

望ましい具体例において、前記画像処理部は、基礎テンプレートを分割して得られる複数の部分テンプレートの中から、各部分テンプレートごとに相関演算の結果として得られる類似の度合に基づいて、前記少なくとも１つの部分テンプレートを選択する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、基礎テンプレートから類似の度合が最小となる部分テンプレートを除いたものを前記テンプレートとする、ことを特徴とする。なお、類似の度合が最小となる部分テンプレートに加えて、類似の度合が２番目に小さい部分テンプレートを除くようにしてもよい。

望ましい具体例において、前記画像処理部は、基礎テンプレートから、類似の度合が比較的小さい上記部分テンプレートに加えて、さらに類似の度合が最大となる部分テンプレートを除いたものを前記テンプレートとする、ことを特徴とする。

また、上記目的にかなう好適な超音波診断装置は、超音波を送受するプローブと、プローブを制御することにより受信信号を得る送受信部と、受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、を有し、前記画像処理部は、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成する、ことを特徴とする。

また、上記目的にかなう好適な超音波画像処理プログラムは、複数の超音波画像に対応した複数の画像データを処理するコンピュータに、画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成するテンプレート形成機能と、を実現させることを特徴とする。

上記超音波画像処理プログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネットなどの電気通信回線を介して上記超音波画像処理プログラムがコンピュータに提供されてもよい。

本発明により、パターンマッチングの精度を向上させるテンプレートが提供される。例えば、本発明の好適な態様によれば、相関演算の結果に基づいて選択された１または複数の部分テンプレートからテンプレートを形成する場合に、予期せぬ他の組織などが入り込んだ部分テンプレートを除いてテンプレートを形成することにより、その組織による悪影響を抑制してパターンマッチングの精度を向上させることが可能になる。

本発明の実施において好適な超音波診断装置の全体構成を示す図である。画像データ間のパターンマッチングを説明するための図である。基礎テンプレートＴｂと複数の部分テンプレートを示す図である。テンプレートＴの形成を説明するための図である。本実施形態におけるパターンマッチング処理を示すフローチャートである。

図１は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。図１の超音波診断装置は、本発明に係る超音波画像処理装置の機能を備えている。

プローブ１０は、例えば心臓や筋肉などの対象物を含む領域に対して超音波を送受する超音波探触子である。プローブ１０は、超音波を送受する複数の振動素子を備えており、複数の振動素子が送受信部１２によって送信制御されて送信ビームが形成される。また、複数の振動素子が対象物を含む領域内から得られる超音波を受波し、これにより得られた信号が送受信部１２へ出力され、送受信部１２が受信ビームを形成して受信ビームに沿ってエコーデータが収集される。

プローブ１０は、超音波ビーム（送信ビームと受信ビーム）を二次元平面内において走査してエコーデータを収集する。もちろん、超音波ビームを三次元空間内において立体的に走査する三次元プローブが利用されてもよい。

対象物を含む領域内で超音波ビームが走査され、送受信部１２によりエコーデータが収集されると、画像形成部２０は、収集されたエコーデータに基づいて超音波の画像データを形成する。画像形成部２０は、例えばＢモード画像の画像データを形成する。また、画像形成部２０は、複数の超音波画像に対応した複数の画像データを形成する。例えば、複数の時刻に亘って対象物を映し出した複数の画像データを形成する。なお、プローブ１０を徐々に移動させつつ互いに異なる位置において対象物を映し出した複数の画像データが形成されてもよい。画像形成部２０において形成された複数の画像データは、画像記憶部２２に記憶される。

パターンマッチング処理部３０は、画像データ間のパターンマッチングを行う画像処理部として機能する。パターンマッチング処理部３０は、画像データ内に設定されるテンプレートを形成する機能と、テンプレート内の画像データに基づいて相関演算を実行する機能を備えている。そして、パターンマッチング処理部３０は、画像記憶部２２に記憶された複数の画像データを対象として、相関演算に基づいて画像データ間のパターンマッチングを行う。

図２は、画像データ間のパターンマッチングを説明するための図であり、画像データ１と画像データ２との間における処理を示している。画像データ１と画像データ２は、例えば同じ心臓から互いに異なる時刻に得られる画像データである。パターンマッチングにおいては、まず、検査者などのユーザにより画像データ１内に注目点（黒丸）が設定され、その画像データ１内において、注目点を取り囲むようにテンプレートＴが設定される。さらに、画像データ２内において、テンプレートＴに対応した位置にある画像領域を含むように探索領域ＳＡが設定される。探索領域ＳＡの設定には、公知の様々な手法を利用することができる。もちろん、画像データ２の全体を探索領域ＳＡとしてもよい。

テンプレートＴと探索領域ＳＡが設定されると、画像データ２の探索領域ＳＡ内においてテンプレートＴが移動され、各移動位置において、画像データ１のテンプレートＴ内の複数の画素と、画像データ２のテンプレートＴ内の複数の画素とに基づいて、相関値が算出される。例えば、画像データ１内のテンプレートＴに対応した位置を初期位置とし、その初期位置からの変位(dx,dy)ごとに相関値が算出され、探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出される。

こうして、探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出されると、複数の変位の中から最も類似の度合が大きい変位が特定され、画像データ１内のテンプレートＴの移動先、つまり注目点（黒丸）の移動先とされる。

なお、相関値とは画像データ間の相関関係の程度（類似の程度）を示す数値であり、相関値の算出には相関演算の各手法に応じた公知の数式が用いられる。例えば、位相限定相関法や相互相関法では、類似の度合が大きいほど大きな値を示す相関値が利用され、最小和絶対差法では、類似の度合が大きいほど小さな値を示す相関値が利用される。

また、図２においては二次元平面内における平行移動の変位(dx,dy)を示しているが、さらに回転移動の変位を加えて、回転移動の変位も考慮して相関値が算出されてもよい。また、三次元画像の画像データの場合には、三次元的な平行移動や回転移動の各変位ごとに相関値が算出される。

上述した相関演算に基づいたパターンマッチングにおいて、図１のパターンマッチング処理部３０は、処理対象となる画像の状態などに応じたテンプレートＴを形成する。パターンマッチング処理部３０は、基礎テンプレートを分割して得られる複数の部分テンプレート（サブテンプレート）の中から少なくとも１つの部分テンプレートを選択し、選択した少なくとも１つの部分テンプレートからテンプレートＴを形成する。

図３は、基礎テンプレートＴｂと複数の部分テンプレートを示す図である。基礎テンプレートＴｂは、テンプレートの原型となるものであり、例えば、図３に示すように正方形状に形成される。そして、この基礎テンプレートＴｂを分割することにより、図３に示す正方形状の９つの部分テンプレート（Ａ）〜（Ｊ）が得られる。なお、基礎テンプレートＴｂの形状は正方形に限らず、例えば長方形や円形その他の形状であってもよい。また、部分テンプレートの形状も正方形に限らず、例えば長方形や三角形などでもよく、部分テンプレートの個数も９つに限定されない。

図１のパターンマッチング処理部３０は、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、さらに、選択された少なくとも１つの部分テンプレートから、パターンマッチングに利用するテンプレートを形成する。

図４は、テンプレートＴの形成を説明するための図である。先に説明したように、パターンマッチングにあたって、検査者などのユーザにより画像データ１内に注目点Ｐが設定されると、その画像データ１内において注目点Ｐを取り囲むようにテンプレートＴが設定される。この際に、まず基礎テンプレートＴｂが設定される。

そして、画像データ２の探索領域ＳＡ（図２）内で基礎テンプレートＴｂが移動され、各移動位置において、画像データ１の基礎テンプレートＴｂ内の複数の画素と、画像データ２の基礎テンプレートＴｂ内の複数の画素とに基づいて、相関値が算出される。この際に、（Ａ）〜（Ｊ）の各部分テンプレートごとに、相関値（類似の度合）が算出され、類似の度合が最小となる部分テンプレートが取り除かれる。

例えば、図４に示す例においては、部分テンプレート（Ａ）における類似の度合が最小となり、基礎テンプレートＴｂの中から部分テンプレート（Ａ）が取り除かれてテンプレートＴが形成される。そして、テンプレートＴとして残された（Ｂ）〜（Ｊ）の部分テンプレートから得られる複数の相関値に基づいて、例えばそれら複数の相関値の平均値や中央値がテンプレートＴの相関値とされる。

これにより、例えば、図４に示す例のように、画像データ１内の注目点Ｐが画像データ２内において注目点Ｐ´へ移動した際に、部分テンプレート（Ａ）内に予期せぬ組織などが入り込んだ場合でも、その部分テンプレート（Ａ）を取り除いたテンプレートＴにより相関値が算出されるため、予期せぬ組織などが入り込むことに伴う相関演算への悪影響を抑えることが可能になる。

なお、類似の度合が最小となる部分テンプレートに加えて、類似の度合が２番目に小さい部分テンプレートを取り除くようにしてもよい。さらに類似の度合が最大となる部分テンプレートを取り除くようにしてもよい。例えば、画像データ１から画像データ２への変化において、部分テンプレートが心筋の組織内部で移動している場合には、心筋内の異なる部位に対応しているにも関わらず、部分テンプレート同士の類似の度合が大きくなり、結果的にパターンマッチングの精度に悪影響を及ぼす場合が考えられる。類似の度合が最大となる部分テンプレートを取り除くことにより、このような場合におけるパターンマッチングの精度の低下を抑えることが可能になる。

図５は、本実施形態におけるパターンマッチング処理を示すフローチャートである。まず、ユーザにより画像データ１内に注目点が設定されると（Ｓ５０１：図２参照）、画像データ１内において注目点を取り囲むように基礎テンプレートＴｂが設定され（図４参照）、さらに、画像データ２内において、基礎テンプレートＴｂに対応した位置にある画像領域を含むように探索領域ＳＡが設定される（Ｓ５０２：図２参照）。

次に、基礎テンプレートＴｂが画像データ２内の初期位置に移動され（Ｓ５０３）、各部分テンプレートごとに相関演算が行われて相関値が得られる（Ｓ５０４）。そして、類似の度合が最小となる部分テンプレートと最大となる部分テンプレートが取り除かれてテンプレートＴが設定される（Ｓ５０５：図４参照）。なお、類似の度合が最大となる部分テンプレートに代えて又は当該部分テンプレートに加えて、類似の度合が２番目に小さい部分テンプレートを取り除くようにしてもよい。

こうして、テンプレートＴが設定されると、テンプレートＴとして残された複数の部分テンプレートから得られる複数の相関値に基づいて、例えばそれら複数の相関値の平均値や中央値がテンプレートＴの相関値とされる（Ｓ５０６）。

そして、探索領域ＳＡ内の全域に亘る探索が終了したか否かが確認され（Ｓ５０７）、終了していなければ、Ｓ５０３に戻り基礎テンプレートＴｂが次の位置に移動され、新たな移動位置でＳ５０４からＳ５０６までの処理が実行される。

Ｓ５０３からＳ５０６までの処理が繰り返し実行されて、探索領域ＳＡ内の全域に亘る探索が終了したことが確認されると（Ｓ５０７）、探索領域ＳＡ内の全ての移動位置の中から、テンプレートＴ内の相関値に基づいて、類似の度合が最大となる移動位置が特定され、その移動位置がマッチング位置とされる（Ｓ５０８）。以上により本フローチャートが終了する。

図１に戻り、上述したパターンマッチング処理により、例えば、画像データ１内の注目点が、画像データ２内のマッチング位置に移動したと判断され、さらに、複数の時相に亘って画像データ内で注目点が動的に追跡されることにより、例えば表示部４０にその追跡結果を示した表示画像が表示される。

なお、以上の説明においては、類似の度合が最小となる部分テンプレートと最大となる部分テンプレートを取り除いてテンプレートＴを形成しているが、例えば、類似の度合が比較的小さい閾値に満たない部分テンプレートを取り除くようにしてもよいし、類似の度合が比較的大きい閾値を超える部分テンプレートを取り除くようにしてもよい。また、部分テンプレートを取り除く代わりに、その部分テンプレートに比較的小さい重み付けを施してテンプレートＴ内の相関値を得るようにしてもよい。さらに、上述したパターンマッチング処理を超音波以外の画像データ、例えば、他の医療画像データやコンピュータなどにより処理される一般の映像データなどに適用することも可能である。

以上、本発明の好適な実施形態である超音波診断装置について説明したが、例えば、上述したテンプレート形成と相関演算の処理に対応したプログラムにより、図１に示したパターンマッチング処理部３０の機能をコンピュータで実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。また、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。

１０プローブ、２０画像形成部、３０パターンマッチング処理部。

Claims

複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、
画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、
を有し、
前記画像処理部は、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成する、
ことを特徴とする超音波画像処理装置。
請求項１に記載の超音波画像処理装置において、
前記画像処理部は、他方の画像データ内における各移動位置ごとに、前記少なくとも１つの部分テンプレートを選択して前記テンプレートを形成する、
ことを特徴とする超音波画像処理装置。
請求項１または２に記載の超音波画像処理装置において、
前記画像処理部は、基礎テンプレートを分割して得られる複数の部分テンプレートの中から、各部分テンプレートごとに相関演算の結果として得られる類似の度合に基づいて、前記少なくとも１つの部分テンプレートを選択する、
ことを特徴とする超音波画像処理装置。
請求項３に記載の超音波画像処理装置において、
前記画像処理部は、基礎テンプレートから類似の度合が最小となる部分テンプレートを除いたものを前記テンプレートとする、
ことを特徴とする超音波画像処理装置。
請求項４に記載の超音波画像処理装置において、
前記画像処理部は、基礎テンプレートから類似の度合が最小となる部分テンプレートと類似の度合が２番目に小さい部分テンプレートを除いたものを前記テンプレートとする、
ことを特徴とする超音波画像処理装置。
請求項４または５に記載の超音波画像処理装置において、
前記画像処理部は、さらに類似の度合が最大となる部分テンプレートを除いたものを前記テンプレートとする、
ことを特徴とする超音波画像処理装置。
超音波を送受するプローブと、
プローブを制御することにより受信信号を得る送受信部と、
受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、
画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、
を有し、
前記画像処理部は、複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成する、
ことを特徴とする超音波診断装置。
複数の超音波画像に対応した複数の画像データを処理するコンピュータに、
画像データ間において一方の画像データ内に設定されるテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、
複数の部分テンプレートの中から各部分テンプレートごとに得られる相関演算の結果に基づいて少なくとも１つの部分テンプレートを選択し、選択された少なくとも１つの部分テンプレートから前記テンプレートを形成するテンプレート形成機能と、
を実現させる、
ことを特徴とする超音波画像処理プログラム。