JP4299015B2

JP4299015B2 - Ultrasonic image processing device

Info

Publication number: JP4299015B2
Application number: JP2003023185A
Authority: JP
Inventors: 景文曹; 健二加藤; ビエログロイッチレリア
Original assignee: Aloka Co Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2009-07-22
Anticipated expiration: 2023-01-31
Also published as: JP2004229958A

Description

【０００１】
【発明の属する技術分野】
本発明は、超音波画像処理装置に関し、特にパノラマ画像を形成する超音波画像処理装置に関する。
【０００２】
【従来の技術】
超音波探触子を生体表面上で移動させながら得られる複数の二次元超音波画像を位置合わせして合成することでパノラマ画像を形成する装置が知られている。
【０００３】
従来の装置では、連続する二つのフレームの一つを複数のサブイメージ領域に分割し、このサブイメージ領域の局部移動ベクトルから包括的イメージ移動を推定評価し、この包括的イメージ移動に基づいて二つのフレームを合成することでパノラマ画像を形成している（特許文献１参照）。
【０００４】
また、他の従来の装置では、連続する二つのフレームについて指定領域内の垂直方向の投影分布をそれぞれ求め、両フレームの投影分布のマッチングを行うことでフレーム間の水平方向の移動量を評価している。さらに、指定領域を垂直方向に分割して分割領域ごとに水平方向の移動量を求めて、分割領域間の移動量の差からフレーム間の回転移動量を評価している（特許文献２参照）。
【０００５】
【特許文献１】
特開平８−２８０６８８号公報
【特許文献２】
特開２０００−２１７８１５号公報
【０００６】
【発明が解決しようとする課題】
一般的に、相関法などによる画像間のマッチング演算は、その演算量が膨大であるため処理時間が大きくなる。特許文献１に記載の装置のように、画像を分割して局部の移動ベクトルを求めるには、各局部ごとにマッチング演算を行う必要があるため演算量がさらに膨大になる。従って、パノラマ画像を形成するための演算処理時間が大きくなり、リアルタイムでパノラマ画像を形成するのが困難であった。
【０００７】
また、特許文献２に記載の装置は、フレーム間における水平方向の移動量を評価しているものの垂直方向の移動量を評価していない。従って、超音波探触子の移動が、垂直方向への移動を伴う場合に画像合成精度上の問題があった。
【０００８】
本発明はこのような従来の装置における問題点に鑑みてなされたものであり、本発明の目的は、パノラマ画像形成における画像合成性能を向上させることにある。
【０００９】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１０】
上記構成において、超音波探触子は三次元超音波画像を取得し得る二次元アレイ探触子でもよく、あるいは、二次元超音波画像取得用の探触子でもよい。三次元超音波画像の場合、フレームとは立体的なボリュームを意味する。また、一方フレーム上の参照領域の並進移動や回転移動は、他方フレームに対する相対的な移動である。また、対応領域は、他方フレーム上における参照領域の各移動位置に対応した参照領域と略同一形状の領域である。そして参照領域は、並進移動量演算手段と回転移動量演算手段において同一の領域でもよく、あるいは、異なる領域であってもよい。上記構成によれば、既に演算された並進移動量が考慮された状態で参照領域を逐次回転移動させつつ回転移動量のマッチング演算が行われている。このため、不必要な並進移動位置における回転移動量のマッチング演算が無くなり、回転移動量のマッチング演算の演算量を少なくすることができ、延いては移動量演算の演算量を少なくすることができる。
【００１１】
望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ少なくとも一回実行され、各移動量演算はそれ以前に演算された移動量に基づく合成位置関係にある対応領域において実行されるものとする。さらに望ましくは、前記並進移動量および前記回転移動量の各移動量演算はそれぞれ複数回実行されるものとする。上記構成によれば、各移動量演算がそれぞれ複数回実行されるため、移動量の演算結果がより精度の高いものになる。
【００１２】
望ましくは、前記マッチング演算は、前記参照領域内の複数画素データと前記対応領域内の複数画素データとの相関関係に基づいた演算であるものとする。または、前記マッチング演算は、最小和絶対差（ＭＳＡＤ）法に基づいた演算であるものとする。
【００１３】
望ましくは、前記並進移動量演算手段は、設定されたサーチ領域内において前記参照領域を逐次並進移動させるものとする。上記構成において、サーチ領域は、参照領域の並進移動位置を見越した上で設定される。例えば、参照領域の周辺を取り囲むように設定される。上記構成によれば、サーチ領域内においてマッチング演算が行われるため、演算精度を確保しつつ、フレーム全体を対象とするマッチング演算に比べて演算量を少なくすることができる。
【００１４】
望ましくは、前記サーチ領域は、各移動量演算の回数を重ねるに従って小さい領域に設定されるものとする。さらに望ましくは、複数回実行される前記並進移動量および前記回転移動量の演算終了判定を行う繰り返し終了判定手段をさらに有するものとする。上記構成によれば、繰り返し終了のための判定条件を適宜設定することができるため、演算精度および演算速度のバランスを考慮した演算が可能になる。
【００１５】
望ましくは、前記繰り返し終了判定手段は、前記最小和絶対差（ＭＳＡＤ）法による演算において算出されるＭＳＡＤ値に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記ＭＳＡＤ値の変化率に基づいて前記演算終了判定を行うものとする。さらに望ましくは、前記繰り返し終了判定手段は、前記並進移動量および前記回転移動量の演算回数が所定回数に達した場合に演算終了と判定するものとする。
【００１６】
望ましくは、前記各移動量演算ごとの参照領域の少なくとも一つは矩形領域であるものとする。さらに望ましくは、前記回転移動量演算手段における参照領域は円状領域であるものとする。上記構成において、円状領域は、円中心部が刳り貫かれたドーナツ形状領域や、円周部分のみのリング状領域や部分円状の円弧領域でもよい。
【００１７】
（２）また、上記目的を達成するために、本発明に係る超音波画像処理装置は、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成する超音波画像処理装置であって、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段と、前記二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の前記回転移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段と、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段とを有するものとする。
【００１８】
（３）また、上記目的を達成するために、本発明に係るコンピュータのプログラムは、超音波探触子を移動して得られる複数のフレームを合成することでパノラマ画像を形成するためのコンピュータのプログラムであって、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する手段であって、一方フレーム上の参照領域を逐次並進移動させつつ各並進移動位置で他方フレーム上の対応領域とのマッチング演算を行うことにより前記並進移動量を演算する並進移動量演算手段、前記二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する手段であって、一方フレーム上の参照領域を逐次回転移動させつつ各回転移動位置で他方フレーム上の前記並進移動量に基づく合成位置関係にある対応領域とのマッチング演算を行うことにより前記回転移動量を演算する回転移動量演算手段、前記演算された並進移動量および回転移動量に基づいて、前記二つのフレームを合成することにより前記パノラマ画像を形成するパノラマ画像形成手段としてコンピュータを機能させるものとする。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００２０】
図１には、本発明に係る超音波画像処理装置の好適な実施形態が示されており、図１はその全体構成を示すブロック図である。探触子１０は、生体体表に当接されて目標組織、例えば血管を含む生体内の空間に対して超音波を送受波する。送受信部１２は、探触子１０を介して超音波を送受波することで、生体内からエコーデータを取得する。エコーデータの取得は、探触子１０を生体体表上で例えば血管に沿って移動しながら行われる。従って送受信部１２は探触子１０の生体体表上の位置に対応するフレーム単位でエコーデータを取得する。なお、探触子１０の移動は、ユーザにより手動で行われてもよくあるいは機械的に行われてもよい。
【００２１】
信号処理部１４は、送受信部１２が取得するエコーデータに対してＢモード用信号処理を実行することで、二次元Ｂモード画像をフレーム単位で形成する。信号処理部１４はその他、各種動作モードに応じた所定の処理を実行してもよい。具体的には、ドプラ用信号処理、カラードプラ信号処理などを実行してもよい。移動量演算部２０は、信号処理部１４で形成されたフレーム毎の超音波画像、例えば、フレーム毎の二次元Ｂモード画像に対して、フレーム間における移動量を演算する。移動量演算部２０は、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６で構成される。
【００２２】
並進移動量演算部２２は、二つのフレーム間において一方フレームと他方フレームとの間の並進移動量を演算する。また、回転移動量演算部２４は、二つのフレーム間において一方フレームと他方フレームとの間の回転移動量を演算する。これら並進移動量の演算および回転移動量の演算は、所定の終了条件を満たすまで繰り返し実行される。演算終了判定部２６は、所定の終了条件に基づいて演算終了判定を行い、終了条件を満たした場合に移動量演算を終了させる。なお、並進移動量演算部２２、回転移動量演算部２４および演算終了判定部２６の動作については後に詳述する。
【００２３】
画像合成部３０は、移動量演算部２０において演算された移動量に基づいて、各フレームに対して並進および回転移動を行い、複数フレームの合成によるパノラマ画像を形成する。形成されたパノラマ画像は、表示部３４に表示される。
【００２４】
図２は、図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。図２に示すパノラマ画像は、生体内における血管４０に対するパノラマ画像である。つまり、探触子を生体体表上で血管４０に沿って移動して得られるフレーム毎の超音波画像４２ａ，４２ｂ，４２ｃ，４２ｄが、フレーム毎に演算された移動量に基づいてその位置が補正された上で複数枚重ねられた画像である。図２に示すように、各フレームにおける血管４０の画像は、探触子の位置によって徐々にずれて取得されており、複数のフレームが重ね合わされることで、長い血管４０の画像が一続きの一枚の画像として形成される。
【００２５】
図３は、図１の超音波画像処理装置の移動量演算部２０において実行される移動量演算の演算手法を説明するための図である。図３において、信号処理部（図１の符号１４）で形成されたフレーム毎の超音波画像に対して、その取得時刻に応じた番号ｎを付して画像ｎと表すことにする。つまり、画像ｎ−１は画像ｎより一つ前の時刻におけるフレームに対応する。
【００２６】
並進移動量演算部（図１の符号２２）は、図３の（ａ）に示されるように、画像ｎ−１内において矩形の参照領域５０を設定する。参照領域５０は、例えば、ユーザ操作に基づいて画像ｎ−１の中央部に設定される。参照領域５０は装置により自動設定されてもよい。次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、画像ｎ内においてサーチ領域５２を設定する。サーチ領域５２は、例えば、ユーザ操作に基づいて設定され、画像ｎの中央部に位置する参照領域位置に相当する矩形領域５６を囲むように設定される。サーチ領域５２は装置により自動設定されてもよい。
【００２７】
並進移動量演算部２２は、設定されたサーチ領域５２内において参照領域５０に相当する矩形領域５６を並進移動させ、矩形領域５６の各移動位置において参照領域５０内の画像と矩形領域５６内の画像とのマッチング演算を行い、マッチ領域５４を特定する。マッチング演算としては、ＭＳＡＤ（Ｍｉｎｉｍｕｍ−Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：最小和絶対差）法が用いられる。つまり、図３の（ｂ）に示されるサーチ領域５２内において、矩形領域５６を上下左右に移動させて、各移動位置においてＳＡＤ（Ｓｕｍ−Ａｂｓｏｌｕｔｅ−Ｄｉｆｆｅｒｅｎｃｅ：和絶対差）値を算出し、ＳＡＤ値が最小となる領域をマッチ領域５４として特定する。
【００２８】
ここでＳＡＤ値とは、画像ｎ−１の参照領域５０と画像ｎの矩形領域５６との間において、互いに相当するピクセル同士のピクセル値間の絶対差の和である。ピクセル値とは各ピクセルに対応する値であり、例えば、各ピクセルの輝度値がピクセル値となる。ピクセル値が各ピクセルの輝度値の場合、ＳＡＤ値は、参照領域５０内の各ピクセルの輝度値と、矩形領域５６内の相当するピクセルの輝度値との差の絶対値を、領域内全てのピクセルに対して総和した結果となる。すなわち、参照領域５０内の画像と矩形領域５６内の画像が完全に一致すれば、ＳＡＤ値は０となり、一般的にＳＡＤ値が小さくなるほど両画像の近似度が高いことになる。なお、並進移動量演算部２２において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域５６をマッチ領域５４と判断してもよい。
【００２９】
次に、並進移動量演算部２２は、図３の（ｂ）に示されるように、参照領域位置に相当する並進移動前の矩形領域５６とマッチ領域５４との間の並進移動差ベクトルＶを演算する。つまり、マッチ領域５４の重心点のＸ座標と矩形領域５６の重心点のＸ座標の差であるΔＸと、マッチ領域５４の重心点のＹ座標と矩形領域５６の重心点のＹ座標の差であるΔＹとを演算する。このように、並進移動差ベクトルＶが特定されることで、画像ｎ−１における参照領域５０内の画像が、画像ｎ内においてどの位置に並進移動したのかを特定することができ、従って、画像ｎ−１と画像ｎとの並進移動関係が特定される。
【００３０】
並進移動量演算部２２において並進移動差ベクトルＶが演算されると、回転移動量演算部（図１の符号２４）は、図３の（ｃ）に示されるように、画像ｎ内において、参照領域が並進移動差ベクトルＶだけ並進移動した矩形領域５８を回転移動させ、矩形領域５８の各回転移動位置において参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行い、マッチ領域６０を特定する。回転移動量演算部２４は、矩形領域５８を、その重心点Ｐを回転中心点として＋θ方向および−θ方向に所定単位角度、例えば、＋３°から−３°のサーチ範囲内に０．１°単位で回転させ、各回転位置において、参照領域５０内の画像と矩形領域５８内の画像とのマッチング演算を行う。
【００３１】
マッチング演算としては、前述のＭＳＡＤ法が用いられる。つまり、図３の（ｃ）に示される矩形領域５８を所定角度単位で回転移動させて、各回転移動位置においてＳＡＤ値を算出し、ＳＡＤ値が最小となる領域をマッチ領域６０として特定する。なお、回転移動量演算部２４において行われるマッチング演算は、ＭＳＡＤ法に限定されるものではなく、一般的に画像のマッチングに利用される相関法を利用して最も相関の高い矩形領域をマッチ領域６０と判断してもよい。マッチ領域６０が特定されると、図３の（ｃ）に示されるように、回転移動前の矩形領域５８とマッチ領域６０との回転移動差Δθが決定し、画像ｎ−１と画像ｎとの回転移動関係が特定される。（後に図７および図８で説明するように、回転移動関係が特定された後、さらに並進移動関係を演算することも可能である。）
【００３２】
なお、上記説明では並進移動量演算部２２が並進移動差ベクトルＶを演算した後、この演算結果に基づいて回転移動量演算部２４が回転移動差Δθを決定したが、回転移動量演算部２４が回転移動差Δθを演算した後、この演算結果に基づいて並進移動量演算部２２が並進移動差ベクトルＶを決定する構成でもよい。
【００３３】
また、上記説明において、回転移動量演算部２４は矩形領域５８を回転移動させることで回転移動差Δθを決定したが、矩形領域５８の代わりに回転移動に特有の領域を設定することも可能である。
【００３４】
図４は、図１の超音波画像処理装置の回転移動量演算部２４において実行される回転移動量演算の別の演算手法を説明するための図である。回転移動量演算部２４は、図４の（ａ）に示されるように、画像ｎ−１内において参照領域としてリング状領域７０を設定する。リング状領域７０は、任意に設定可能な半径ｒの円周上のピクセル集合である。さらに、回転移動量演算部２４は並進移動量演算部２２で演算された並進移動差ベクトルＶに基づいて、画像ｎ内においてリング状領域７０が並進移動差ベクトルＶだけ並進移動した位置にリング状の対応領域７２を設定する（図４の（ｂ）参照）。そして、回転移動量演算部２４はリング状領域７０および対応領域７２のそれぞれの円周に沿って、円周上のピクセルのピクセル値である輝度値を抽出する。
【００３５】
図５は、図４のリング状領域７０および対応領域７２のそれぞれの円周上のピクセルの輝度値を示す図である。図５において、横軸は図４における角度θを、縦軸は輝度値をそれぞれ示している。また、上段（ａ）の輝度値はリング状領域７０に対応し、下段（ｂ）の輝度値は対応領域７２に対応する。図５に示すように、上段（ａ）のリング状領域７０の輝度値と、下段（ｂ）の対応領域７２の輝度値との間には角度Δθのずれが存在する。したがって、マッチング演算により図５におけるΔθを算出することで、リング状領域７０と対応領域７２のずれであるΔθが決定される。このように、リング状領域７０を利用することで、回転移動におけるマッチング演算を、図５に示す一次元のデータに対するマッチング演算に簡略化することが可能になる。
【００３６】
図６は、図１の超音波画像処理装置の回転移動量演算部２４において利用される参照領域の別の形状を示す図である。図６の（Ａ）はドーナツ形状の参照領域であり、回転移動量演算部２４は、ドーナツ形状領域において、中心点から放射状の投影データを求める。投影データとしては、例えば、同一半径方向のピクセルの輝度値を全て加算した値である。回転移動量演算部２４は、図４のリング状領域７０および対応領域７２の輝度値を、ドーナツ形状領域の投影データに置き換えて、マッチング演算を実施する。つまり、図５の縦軸が投影データに相当することになる。また、図６の（Ｂ）は円形状の参照領域であり、やはり、中心点から放射状の投影データを求めて、ドーナツ形状領域の場合と同様な手法でマッチング演算を実施する。
【００３７】
参照領域はこの他にも様々な設定位置や形状が考えられる。例えば、参照領域内に生体組織のエッジや輪郭などの特徴部位を含めることで、参照領域を小さくして処理時間を低減させることができる。つまり、超音波画像内において、局所画像の分散や差分などの統計値を評価し、例えば、分散が大きい局所領域に参照領域を設定することで、演算処理時間の短縮を目的とした参照領域の設定が可能になる。
【００３８】
図７は、図１の超音波画像処理装置によるパノラマ画像形成の処理動作を示すフローチャートである。図７を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００３９】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４０】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定の基準として、ステップ３の移動量演算におけるマッチング演算としてＭＳＡＤ法を利用した場合、規格化ＭＳＡＤ値を利用する。つまり、規格化ＭＳＡＤ値が所定閾値よりも大きければ繰り返し演算が必要と判定し、規格化ＭＳＡＤ値が所定閾値以下であれば繰り返し演算が不要と判定する。ここで規格化ＭＳＡＤ値は、（ＭＳＡＤ／参照領域のピクセル値の平均値）として算出される。また、マッチング演算に相関法を利用した場合、相関係数が所定閾値よりも小さければ繰り返し演算が必要と判定し、相関係数が所定閾値以上であれば繰り返し演算が不要と判定してもよい。
【００４１】
この他、繰り返し演算を重ねることにより、ＭＳＡＤ値や相関係数が一定値に落ち着いてくることを利用して、ＭＳＡＤ値や相関係数の変化率に基づいて繰り返し演算の要否を判定してもよい。さらに、繰り返し回数に上限値を設けることで繰り返し回数に基づいて、例えば、繰り返し回数が３回で演算終了と判定してもよい。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ６へ進む。
【００４２】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。また、再設定のサーチ領域を前回設定したサーチ領域より小さく設定することもできる。そして、ステップ３に戻り、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹ，Δθを演算する。このように、ステップ３からステップ５を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４３】
ステップ４において、繰り返し演算が不要と判定された場合、ステップ６に進み、ステップ６において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。なお、ステップ６においてパノラマ画像の形成終了を判定する場合、ユーザの終了ボタンの指示により終了を判定してもよく、また、探触子１０が生体体表から離れた時に終了と判定してもよい。つまり、探触子１０が生体体表から離れ超音波が空中放射されると超音波画像が真っ暗になるため、参照領域の平均輝度値が０に近い値と判断される場合に、探触子１０が生体体表から離れたと自動判定する。
【００４４】
図８は、図１の超音波画像処理装置によるパノラマ画像形成の別の処理動作を示すフローチャートである。図８を利用してパノラマ画像形成の処理動作を説明する。なお、図１に記載した構成については図１の符号を付して説明する。
【００４５】
ステップ１において、制御部３２は送受信部１２および信号処理部１４を制御してフレームごとに超音波画像を取得する。この際、探触子１０は移動しながら各移動位置に対応するフレームを取得する。ステップ２において、移動量演算部２０は、超音波画像に対してサーチ領域を設定する（図３参照）。この際、サーチ領域は参照領域の周辺を取り囲むように設定される。ステップ３において、移動量演算部２０は移動量ΔＸ，ΔＹ，Δθを演算する（図３参照）。
【００４６】
次に、ステップ４において、演算終了判定部２６は、移動量演算の繰り返しの要否を判定する。繰り返し判定は、図７のステップ４と同様に、規格化ＭＳＡＤ値、相関係数、繰り返し回数に基づいて行われる。演算終了判定部２６において、繰り返し演算が必要と判定されれば、ステップ５に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４７】
ステップ５において、移動量演算部２０は、次の移動量演算のためのサーチ領域を設定する。ステップ３においてマッチ領域が決定しているため、サーチ領域はマッチ領域の周辺を取り囲むように設定される。そして、ステップ６に進み、再設定されたサーチ領域内で新たにマッチ領域を決定して移動量ΔＸ，ΔＹを演算する。さらに、ステップ７において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ８に進み、繰り返し演算が不要と判定されればステップ１０へ進む。
【００４８】
ステップ８において、ステップ５で再設定されたサーチ領域内で新たにマッチ領域を決定して移動量Δθを演算する。そして、ステップ９において、ステップ４と同様に、演算終了判定部２６が移動量演算の繰り返しの要否を判定する。ここで、繰り返し演算が必要と判定されれば、ステップ５に戻り、繰り返し演算が不要と判定されればステップ１０へ進む。このように、ステップ５からステップ９を繰り返すことで、移動量演算が重ねられ、より精度の高い移動量演算結果が得られることになる。
【００４９】
ステップ４、ステップ７またはステップ９において、繰り返し演算が不要と判定された場合、ステップ１０に進み、ステップ１０において、画像合成部３０は移動量ΔＸ，ΔＹ，Δθの演算結果に基づいて画像の合成を行い、合成によって得られたパノラマ画像が表示部３４に表示される（図２参照）。そして、パノラマ画像形成に必要な全てのフレームについての合成が終了したか否かを判定し、合成が終了していないと判定した場合には、ステップ１に戻り、次のフレームについての移動量演算が再び実施される。全てのフレームについての合成が終了したと判定した場合にはフローを終了する。
【００５０】
なお、ステップ３では、並進移動量ΔＸ，ΔＹおよび回転移動量Δθが一度に演算されているが、並進移動量ΔＸ，ΔＹのみ、あるいは、回転移動量Δθのみを演算してもよい。
【００５１】
以上のようにして、図１の超音波画像処理装置によりパノラマ画像が形成される。なお、図１の超音波画像処理装置は超音波診断装置内に形成されてもよく、あるいは、図１の構成の一部がコンピュータ内に形成されてもよい。例えば、移動量演算部２０および画像合成部３０をコンピュータ内で機能させ、超音波診断装置から得られるフレーム毎のＢモード画像に対して合成処理を実施してパノラマ画像を形成し、超音波診断装置の表示部に表示させてもよい。
【００５２】
また、パノラマ画像の形成に利用されるフレーム毎の超音波画像は、通常のＢモード画像に限定されるものではなく、ハーモニック画像やカラードップラ画像や造影剤による超音波造影画像であってもよい。
【００５３】
【発明の効果】
以上説明したように、本発明に係る超音波画像処理装置により、パノラマ画像形成における画像合成性能を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明に係る超音波画像処理装置の全体構成を示すブロック図である。
【図２】図１の超音波画像処理装置で形成されるパノラマ画像を示す図である。
【図３】移動量演算部において実行される移動量演算の演算手法を説明するための図である。
【図４】回転移動量演算部において実行される回転移動量演算の別の演算手法を説明するための図である。
【図５】図４のリング状領域および対応領域それぞれの円周上のピクセルの輝度値を示す図である。
【図６】回転移動量演算部において利用される参照領域の別の形状を示す図である。
【図７】図１の超音波画像処理装置の処理動作を示すフローチャートである。
【図８】図１の超音波画像処理装置の別の処理動作を示すフローチャートである。
【符号の説明】
２２並進移動量演算部、２４回転移動量演算部、２６演算終了判定部、３０画像合成部、５０参照領域、５２サーチ領域。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ultrasonic image processing apparatus, and more particularly to an ultrasonic image processing apparatus that forms a panoramic image.
[0002]
[Prior art]
There is known an apparatus that forms a panoramic image by aligning and synthesizing a plurality of two-dimensional ultrasonic images obtained by moving an ultrasonic probe on the surface of a living body.
[0003]
In the conventional apparatus, one of two consecutive frames is divided into a plurality of sub-image regions, and the comprehensive image movement is estimated and evaluated from the local movement vector of the sub-image region. A panoramic image is formed by combining two frames (see Patent Document 1).
[0004]
In another conventional apparatus, the vertical projection distribution in the designated area is obtained for two consecutive frames, and the horizontal movement amount between the frames is evaluated by matching the projection distributions of both frames. ing. Further, the designated area is divided in the vertical direction, the horizontal movement amount is obtained for each divided area, and the rotational movement amount between the frames is evaluated from the difference in the movement amount between the divided areas (see Patent Document 2). .
[0005]
[Patent Document 1]
JP-A-8-280688
[Patent Document 2]
JP 2000-217815 A
[0006]
[Problems to be solved by the invention]
In general, the matching calculation between images by the correlation method or the like requires a large processing amount, and therefore requires a long processing time. As in the apparatus described in Patent Document 1, in order to divide an image and obtain a local movement vector, it is necessary to perform a matching operation for each local area, which further increases the amount of calculation. Therefore, the calculation processing time for forming the panoramic image is long, and it is difficult to form the panoramic image in real time.
[0007]
The device described in Patent Document 2 evaluates the amount of movement in the horizontal direction between frames, but does not evaluate the amount of movement in the vertical direction. Therefore, there has been a problem in image synthesis accuracy when the movement of the ultrasonic probe is accompanied by movement in the vertical direction.
[0008]
The present invention has been made in view of such problems in the conventional apparatus, and an object of the present invention is to improve image composition performance in panoramic image formation.
[0009]
[Means for Solving the Problems]
(1) In order to achieve the above object, an ultrasonic image processing apparatus according to the present invention forms an panoramic image by combining a plurality of frames obtained by moving an ultrasonic probe. A device for calculating a translation amount between one frame and the other frame between two frames, wherein the reference region on the one frame is sequentially translated and moved on the other frame at each translation position. A translational movement amount calculating means for calculating the translational movement amount by performing a matching calculation with a corresponding area of the frame, and a means for calculating a rotational movement amount between one frame and the other frame between the two frames. , Matching the corresponding region in the combined positional relationship based on the translation amount on the other frame at each rotational movement position while sequentially rotating the reference region on one frame The panoramic image is formed by synthesizing the two frames based on the calculated translational movement amount and the rotational movement amount based on the calculated translational movement amount and the rotational movement amount. A panoramic image forming unit;
[0010]
In the above configuration, the ultrasonic probe may be a two-dimensional array probe capable of acquiring a three-dimensional ultrasonic image, or may be a probe for acquiring a two-dimensional ultrasonic image. In the case of a three-dimensional ultrasonic image, the frame means a three-dimensional volume. Further, the translational movement and the rotational movement of the reference area on one frame are relative movements with respect to the other frame. The corresponding area is an area having substantially the same shape as the reference area corresponding to each movement position of the reference area on the other frame. The reference area may be the same area in the translational movement amount calculating means and the rotational movement amount calculating means, or may be different areas. According to the above configuration, the rotational movement amount matching calculation is performed while sequentially rotating the reference region in a state in which the already calculated translational movement amount is taken into consideration. For this reason, the amount of rotational movement matching calculation at the unnecessary translational movement position is eliminated, the amount of rotational movement amount matching calculation can be reduced, and the amount of movement amount calculation can be reduced. .
[0011]
Preferably, each movement amount calculation of the translation movement amount and the rotation movement amount is executed at least once, and each movement amount calculation is executed in a corresponding region having a combined positional relationship based on the movement amount calculated before. Shall be. More preferably, each movement amount calculation of the translational movement amount and the rotational movement amount is executed a plurality of times. According to the above configuration, each movement amount calculation is executed a plurality of times, so that the movement amount calculation result becomes more accurate.
[0012]
Preferably, the matching calculation is an operation based on a correlation between a plurality of pixel data in the reference area and a plurality of pixel data in the corresponding area. Alternatively, the matching operation is an operation based on the minimum sum absolute difference (MSAD) method.
[0013]
Desirably, the translation amount calculation means sequentially translates the reference region within the set search region. In the above configuration, the search area is set in anticipation of the translational position of the reference area. For example, it is set so as to surround the periphery of the reference area. According to the above configuration, since the matching calculation is performed in the search region, it is possible to reduce the calculation amount as compared with the matching calculation for the entire frame while ensuring the calculation accuracy.
[0014]
Preferably, the search area is set to a smaller area as the number of movement amount calculations is increased. More preferably, it further includes a repeat end determination means for performing a calculation end determination of the translational movement amount and the rotational movement amount executed a plurality of times. According to the above configuration, the determination condition for the end of repetition can be set as appropriate, so that the calculation considering the balance between the calculation accuracy and the calculation speed becomes possible.
[0015]
Preferably, the repetition end determination means performs the calculation end determination based on an MSAD value calculated in the calculation by the minimum sum absolute difference (MSAD) method. More preferably, the repeat end determination means performs the calculation end determination based on a change rate of the MSAD value. More preferably, the repetition end determination means determines that the calculation is ended when the number of calculations of the translational movement amount and the rotational movement amount reaches a predetermined number.
[0016]
Preferably, at least one of the reference areas for each movement amount calculation is a rectangular area. More preferably, the reference area in the rotational movement amount calculation means is a circular area. In the above configuration, the circular region may be a donut-shaped region in which the center of the circle is perforated, a ring-shaped region having only a circumferential portion, or a partial circular arc region.
[0017]
(2) Moreover, in order to achieve the said objective, the ultrasonic image processing apparatus which concerns on this invention forms the panoramic image by synthesize | combining the some flame | frame obtained by moving an ultrasonic probe. An image processing apparatus for calculating a rotational movement amount between one frame and the other frame between two frames, wherein the reference area on the one frame is sequentially rotated and moved while the other at each rotational movement position. A rotational movement amount calculating means for calculating the rotational movement amount by performing a matching calculation with a corresponding region on the frame; and a means for calculating a translational movement amount between one frame and the other frame between the two frames. The reference region on one frame is sequentially translated and moved at each translation position with the corresponding region in the combined positional relationship based on the amount of rotational movement on the other frame. A panoramic image is formed by combining the two frames based on the calculated translational movement amount and the rotational movement amount based on the translational movement amount calculation means for calculating the translational movement amount by performing a stitching calculation. A panoramic image forming unit;
[0018]
(3) In order to achieve the above object, a computer program according to the present invention provides a computer program for forming a panoramic image by synthesizing a plurality of frames obtained by moving an ultrasonic probe. A program that calculates a translation amount between one frame and the other frame between two frames, and sequentially translates a reference area on one frame while moving on the other frame at each translation position. A translational movement amount calculating means for calculating the translational movement amount by performing a matching calculation with a corresponding region of the above, a means for calculating a rotational movement amount between one frame and the other frame between the two frames, While the reference area on the one frame is sequentially rotated and moved, the combined position relation based on the amount of translation on the other frame at each rotational movement position A rotational movement amount calculating means for calculating the rotational movement amount by performing a matching calculation with a corresponding region, and combining the two frames based on the calculated translational movement amount and rotational movement amount. Assume that the computer functions as panoramic image forming means for forming an image.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.
[0020]
FIG. 1 shows a preferred embodiment of an ultrasonic image processing apparatus according to the present invention, and FIG. 1 is a block diagram showing the overall configuration thereof. The probe 10 is brought into contact with the surface of the living body and transmits / receives ultrasonic waves to / from a space in the living body including a target tissue such as a blood vessel. The transmission / reception unit 12 acquires echo data from the living body by transmitting and receiving ultrasonic waves via the probe 10. The acquisition of the echo data is performed while moving the probe 10 along the blood vessel on the living body surface, for example. Therefore, the transmission / reception unit 12 acquires echo data in frame units corresponding to the position of the probe 10 on the body surface. Note that the probe 10 may be moved manually by a user or mechanically.
[0021]
The signal processing unit 14 performs B-mode signal processing on the echo data acquired by the transmission / reception unit 12 to form a two-dimensional B-mode image in units of frames. In addition, the signal processing unit 14 may perform predetermined processing according to various operation modes. Specifically, Doppler signal processing, color Doppler signal processing, and the like may be executed. The movement amount calculation unit 20 calculates the movement amount between frames for the ultrasonic image for each frame formed by the signal processing unit 14, for example, the two-dimensional B-mode image for each frame. The movement amount calculation unit 20 includes a translation movement amount calculation unit 22, a rotation movement amount calculation unit 24, and a calculation end determination unit 26.
[0022]
The translational movement amount calculation unit 22 calculates the translational movement amount between one frame and the other frame between two frames. Further, the rotational movement amount calculation unit 24 calculates the rotational movement amount between one frame and the other frame between two frames. The calculation of the translational movement amount and the calculation of the rotational movement amount are repeatedly executed until a predetermined end condition is satisfied. The calculation end determination unit 26 performs calculation end determination based on a predetermined end condition, and ends the movement amount calculation when the end condition is satisfied. The operations of the translational movement amount calculation unit 22, the rotational movement amount calculation unit 24, and the calculation end determination unit 26 will be described in detail later.
[0023]
The image compositing unit 30 performs translation and rotational movement on each frame based on the movement amount calculated by the movement amount calculating unit 20, and forms a panoramic image by combining a plurality of frames. The formed panoramic image is displayed on the display unit 34.
[0024]
FIG. 2 is a view showing a panoramic image formed by the ultrasonic image processing apparatus of FIG. The panoramic image shown in FIG. 2 is a panoramic image for the blood vessel 40 in the living body. That is, the positions of the ultrasonic images 42a, 42b, 42c, and 42d for each frame obtained by moving the probe along the blood vessel 40 on the body surface are based on the movement amount calculated for each frame. It is an image in which a plurality of images are superimposed after being corrected. As shown in FIG. 2, the image of the blood vessel 40 in each frame is acquired by gradually shifting depending on the position of the probe, and by overlapping a plurality of frames, a continuous image of the long blood vessel 40 is obtained. It is formed as a single image.
[0025]
FIG. 3 is a diagram for explaining a calculation method of the movement amount calculation executed in the movement amount calculation unit 20 of the ultrasonic image processing apparatus of FIG. In FIG. 3, an ultrasonic image for each frame formed by the signal processing unit (reference numeral 14 in FIG. 1) is denoted as an image n with a number n corresponding to the acquisition time. That is, the image n-1 corresponds to the frame at the time immediately before the image n.
[0026]
The translational movement amount calculation unit (reference numeral 22 in FIG. 1) sets a rectangular reference region 50 in the image n−1 as shown in FIG. For example, the reference area 50 is set at the center of the image n−1 based on a user operation. The reference area 50 may be automatically set by the apparatus. Next, the translational movement amount calculation unit 22 sets a search area 52 in the image n as shown in FIG. The search area 52 is set based on a user operation, for example, and is set so as to surround a rectangular area 56 corresponding to a reference area position located at the center of the image n. The search area 52 may be automatically set by the apparatus.
[0027]
The translation amount calculator 22 translates the rectangular area 56 corresponding to the reference area 50 in the set search area 52, and the image in the reference area 50 and the rectangular area 56 in each movement position of the rectangular area 56. A matching operation with the image is performed to identify the match area 54. As a matching operation, an MSAD (Minimum-Sum-Absolute-Difference) method is used. That is, in the search area 52 shown in FIG. 3B, the rectangular area 56 is moved up, down, left, and right, and SAD (Sum-Absolute-Difference: sum absolute difference) values are calculated at the respective movement positions. The region having the minimum value is specified as the match region 54.
[0028]
Here, the SAD value is a sum of absolute differences between pixel values of pixels corresponding to each other between the reference region 50 of the image n−1 and the rectangular region 56 of the image n. The pixel value is a value corresponding to each pixel. For example, the luminance value of each pixel is the pixel value. When the pixel value is the luminance value of each pixel, the SAD value is the absolute value of the difference between the luminance value of each pixel in the reference area 50 and the luminance value of the corresponding pixel in the rectangular area 56. The result is a summation over the pixels. That is, if the image in the reference area 50 and the image in the rectangular area 56 are completely coincident with each other, the SAD value becomes 0. Generally, the smaller the SAD value, the higher the degree of approximation between both images. Note that the matching calculation performed in the translation amount calculation unit 22 is not limited to the MSAD method, and generally matches the rectangular region 56 having the highest correlation using a correlation method used for image matching. The region 54 may be determined.
[0029]
Next, as shown in FIG. 3B, the translational movement amount calculation unit 22 calculates a translational movement difference vector V between the rectangular area 56 before translation corresponding to the reference area position and the match area 54. Calculate. That is, ΔX, which is the difference between the X coordinate of the centroid of the match area 54 and the X coordinate of the centroid of the rectangular area 56, and the difference between the Y coordinate of the centroid of the match area 54 and the Y coordinate of the centroid of the rectangular area 56 A certain ΔY is calculated. Thus, by specifying the translation difference vector V, it is possible to specify to which position the image in the reference region 50 in the image n−1 has been translated in the image n. A translational relationship between n-1 and image n is specified.
[0030]
When the translational movement difference vector V is calculated in the translational movement amount calculation unit 22, the rotational movement amount calculation unit (reference numeral 24 in FIG. 1) is referred to in the image n as shown in (c) of FIG. The rectangular region 58 that is translated by the translational movement difference vector V is rotated and the matching operation is performed between the image in the reference region 50 and the image in the rectangular region 58 at each rotational movement position of the rectangular region 58. 60 is specified. The rotational movement amount calculation unit 24 sets the rectangular area 58 within a search range of a predetermined unit angle in the + θ direction and the −θ direction, for example, + 3 ° to −3 °, with the center of gravity P as the rotation center point. The image is rotated in units, and a matching operation between the image in the reference area 50 and the image in the rectangular area 58 is performed at each rotation position.
[0031]
As the matching operation, the aforementioned MSAD method is used. That is, the rectangular area 58 shown in FIG. 3C is rotated by a predetermined angle unit, the SAD value is calculated at each rotational movement position, and the area where the SAD value is minimum is specified as the match area 60. Note that the matching calculation performed in the rotational movement amount calculation unit 24 is not limited to the MSAD method, and a rectangular region having the highest correlation is generally determined using a correlation method used for image matching. 60 may be determined. When the match region 60 is specified, as shown in FIG. 3C, the rotational movement difference Δθ between the rectangular region 58 before the rotational movement and the match region 60 is determined, and the image n−1, the image n, The rotational movement relationship is specified. (As will be described later with reference to FIGS. 7 and 8, after the rotational movement relationship is specified, the translational movement relationship can be further calculated.)
[0032]
In the above description, after the translational movement amount calculation unit 22 calculates the translational movement difference vector V, the rotational movement amount calculation unit 24 determines the rotational movement difference Δθ based on the calculation result. After calculating the rotational movement difference Δθ, the translation movement amount calculation unit 22 may determine the translation movement difference vector V based on the calculation result.
[0033]
In the above description, the rotational movement amount calculation unit 24 determines the rotational movement difference Δθ by rotationally moving the rectangular area 58. However, instead of the rectangular area 58, an area specific to rotational movement can be set. is there.
[0034]
FIG. 4 is a diagram for explaining another calculation method of the rotational movement amount calculation executed in the rotational movement amount calculation unit 24 of the ultrasonic image processing apparatus of FIG. The rotational movement amount calculation unit 24 sets a ring-shaped region 70 as a reference region in the image n−1 as shown in FIG. The ring-shaped region 70 is a set of pixels on the circumference of a radius r that can be arbitrarily set. Further, based on the translational movement difference vector V calculated by the translational movement amount computing unit 22, the rotational movement amount calculation unit 24 is ring-shaped at a position where the ring-shaped region 70 has been translated by the translational movement difference vector V in the image n. Corresponding area 72 is set (see FIG. 4B). Then, the rotational movement amount calculation unit 24 extracts luminance values that are pixel values of pixels on the circumference along the circumferences of the ring-shaped region 70 and the corresponding region 72.
[0035]
FIG. 5 is a diagram illustrating luminance values of pixels on the circumferences of the ring-shaped region 70 and the corresponding region 72 in FIG. 4. In FIG. 5, the horizontal axis indicates the angle θ in FIG. 4, and the vertical axis indicates the luminance value. Further, the luminance value in the upper stage (a) corresponds to the ring-shaped area 70, and the luminance value in the lower stage (b) corresponds to the corresponding area 72. As shown in FIG. 5, there is a deviation of the angle Δθ between the luminance value of the ring-shaped area 70 in the upper stage (a) and the luminance value of the corresponding area 72 in the lower stage (b). Therefore, by calculating Δθ in FIG. 5 by the matching calculation, Δθ that is a deviation between the ring-shaped region 70 and the corresponding region 72 is determined. Thus, by using the ring-shaped region 70, the matching calculation in the rotational movement can be simplified to the matching calculation for the one-dimensional data shown in FIG.
[0036]
FIG. 6 is a diagram showing another shape of the reference region used in the rotational movement amount calculation unit 24 of the ultrasonic image processing apparatus of FIG. FIG. 6A illustrates a donut-shaped reference area, and the rotational movement amount calculation unit 24 obtains radial projection data from the center point in the donut-shaped area. The projection data is, for example, a value obtained by adding all the luminance values of pixels in the same radial direction. The rotational movement amount calculation unit 24 performs matching calculation by replacing the luminance values of the ring-shaped region 70 and the corresponding region 72 in FIG. 4 with the projection data of the donut-shaped region. That is, the vertical axis in FIG. 5 corresponds to projection data. FIG. 6B shows a circular reference area. Radial projection data is also obtained from the center point, and matching calculation is performed in the same manner as in the case of the donut-shaped area.
[0037]
In addition to this, various setting positions and shapes can be considered for the reference region. For example, by including a characteristic part such as an edge or contour of a living tissue in the reference area, the reference area can be made smaller and the processing time can be reduced. In other words, in the ultrasound image, the statistical values such as variance and difference of the local image are evaluated, and for example, by setting the reference region in the local region having a large variance, the reference region for the purpose of shortening the processing time is calculated. Setting is possible.
[0038]
FIG. 7 is a flowchart showing a panorama image forming processing operation by the ultrasonic image processing apparatus of FIG. A processing operation for forming a panoramic image will be described with reference to FIG. The configuration described in FIG. 1 will be described with the reference numerals in FIG.
[0039]
In step 1, the control unit 32 controls the transmission / reception unit 12 and the signal processing unit 14 to acquire an ultrasonic image for each frame. At this time, the probe 10 acquires a frame corresponding to each moving position while moving. In step 2, the movement amount calculation unit 20 sets a search area for the ultrasonic image (see FIG. 3). At this time, the search area is set so as to surround the periphery of the reference area. In step 3, the movement amount calculation unit 20 calculates movement amounts ΔX, ΔY, Δθ (see FIG. 3).
[0040]
Next, in step 4, the calculation end determination unit 26 determines whether it is necessary to repeat the movement amount calculation. When the MSAD method is used as a matching calculation in the movement amount calculation in Step 3 as a criterion for repeated determination, a normalized MSAD value is used. That is, if the normalized MSAD value is larger than the predetermined threshold, it is determined that iterative calculation is necessary, and if the normalized MSAD value is equal to or less than the predetermined threshold, it is determined that iterative calculation is unnecessary. Here, the normalized MSAD value is calculated as (MSAD / average value of pixel values in the reference area). Further, when the correlation method is used for the matching calculation, it may be determined that iterative calculation is necessary if the correlation coefficient is smaller than a predetermined threshold, and it may be determined that iterative calculation is unnecessary if the correlation coefficient is equal to or greater than the predetermined threshold. .
[0041]
In addition, it is possible to determine whether or not iterative calculation is necessary based on the change rate of the MSAD value and the correlation coefficient by using the fact that the MSAD value and the correlation coefficient are settled to a constant value by repeating the repetition calculation. Also good. Furthermore, by setting an upper limit value for the number of repetitions, for example, the number of repetitions may be determined to be 3 when the calculation is completed based on the number of repetitions. If the calculation end determination unit 26 determines that iterative calculation is necessary, the process proceeds to step 5, and if it is determined that iterative calculation is not necessary, the process proceeds to step 6.
[0042]
In step 5, the movement amount calculation unit 20 sets a search area for the next movement amount calculation. Since the match area is determined in step 3, the search area is set so as to surround the periphery of the match area. Also, the reset search area can be set smaller than the previously set search area. Then, returning to step 3, a new match area is determined within the reset search area, and the movement amounts ΔX, ΔY, Δθ are calculated. Thus, by repeating Step 3 to Step 5, the movement amount calculation is repeated, and a more accurate movement amount calculation result is obtained.
[0043]
If it is determined in step 4 that iterative calculation is unnecessary, the process proceeds to step 6, and in step 6, the image synthesis unit 30 synthesizes an image based on the calculation results of the movement amounts ΔX, ΔY, Δθ, and obtains it by synthesis. The obtained panoramic image is displayed on the display unit 34 (see FIG. 2). Then, it is determined whether or not the synthesis for all the frames necessary for forming the panoramic image has been completed. If it is determined that the synthesis has not been completed, the process returns to step 1 to calculate the movement amount for the next frame. Will be implemented again. If it is determined that the synthesis for all frames has been completed, the flow ends. When determining the end of the formation of the panoramic image in step 6, the end may be determined by an instruction from the user's end button, or the end may be determined when the probe 10 is separated from the living body surface. Good. That is, when the probe 10 moves away from the body surface and ultrasonic waves are emitted in the air, the ultrasonic image becomes dark, and therefore, when the average luminance value of the reference region is determined to be a value close to 0, the probe It is automatically determined that 10 is away from the body surface.
[0044]
FIG. 8 is a flowchart showing another processing operation of panoramic image formation by the ultrasonic image processing apparatus of FIG. A processing operation for forming a panoramic image will be described with reference to FIG. The configuration described in FIG. 1 will be described with the reference numerals in FIG.
[0045]
In step 1, the control unit 32 controls the transmission / reception unit 12 and the signal processing unit 14 to acquire an ultrasonic image for each frame. At this time, the probe 10 acquires a frame corresponding to each moving position while moving. In step 2, the movement amount calculation unit 20 sets a search area for the ultrasonic image (see FIG. 3). At this time, the search area is set so as to surround the periphery of the reference area. In step 3, the movement amount calculation unit 20 calculates movement amounts ΔX, ΔY, Δθ (see FIG. 3).
[0046]
Next, in step 4, the calculation end determination unit 26 determines whether it is necessary to repeat the movement amount calculation. The repetition determination is performed based on the normalized MSAD value, the correlation coefficient, and the number of repetitions, as in Step 4 of FIG. If the calculation end determination unit 26 determines that iterative calculation is necessary, the process proceeds to step 5, and if it is determined that iterative calculation is not necessary, the process proceeds to step 10.
[0047]
In step 5, the movement amount calculation unit 20 sets a search area for the next movement amount calculation. Since the match area is determined in step 3, the search area is set so as to surround the periphery of the match area. Then, the process proceeds to step 6 where a new match area is determined within the reset search area and the movement amounts ΔX and ΔY are calculated. Further, in step 7, as in step 4, the calculation end determination unit 26 determines whether it is necessary to repeat the movement amount calculation. If it is determined that iterative calculation is necessary, the process proceeds to step 8, and if it is determined that iterative calculation is not necessary, the process proceeds to step 10.
[0048]
In step 8, a new match area is determined within the search area reset in step 5, and a movement amount Δθ is calculated. In step 9, as in step 4, the calculation end determination unit 26 determines whether it is necessary to repeat the movement amount calculation. If it is determined that iterative calculation is necessary, the process returns to step 5, and if it is determined that iterative calculation is not necessary, the process proceeds to step 10. In this way, by repeating Step 5 to Step 9, the movement amount calculation is repeated, and a more accurate movement amount calculation result is obtained.
[0049]
If it is determined in step 4, step 7 or step 9 that iterative calculation is unnecessary, the process proceeds to step 10, where the image composition unit 30 synthesizes an image based on the calculation results of the movement amounts ΔX, ΔY, Δθ. And a panoramic image obtained by the synthesis is displayed on the display unit 34 (see FIG. 2). Then, it is determined whether or not the synthesis for all the frames necessary for forming the panoramic image has been completed. If it is determined that the synthesis has not been completed, the process returns to step 1 to calculate the movement amount for the next frame. Will be implemented again. If it is determined that the synthesis for all frames has been completed, the flow ends.
[0050]
In Step 3, the translational movement amounts ΔX and ΔY and the rotational movement amount Δθ are calculated at a time, but only the translational movement amounts ΔX and ΔY or only the rotational movement amount Δθ may be calculated.
[0051]
As described above, a panoramic image is formed by the ultrasonic image processing apparatus of FIG. The ultrasonic image processing apparatus of FIG. 1 may be formed in the ultrasonic diagnostic apparatus, or a part of the configuration of FIG. 1 may be formed in the computer. For example, the movement amount calculation unit 20 and the image synthesis unit 30 are caused to function in the computer, and a panorama image is formed by performing synthesis processing on the B-mode image for each frame obtained from the ultrasonic diagnostic apparatus, and ultrasonic diagnosis You may display on the display part of an apparatus.
[0052]
Further, the ultrasonic image for each frame used for forming the panoramic image is not limited to a normal B-mode image, and may be a harmonic image, a color Doppler image, or an ultrasonic contrast image using a contrast agent. .
[0053]
【The invention's effect】
As described above, the ultrasonic image processing apparatus according to the present invention can improve the image composition performance in panoramic image formation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an ultrasonic image processing apparatus according to the present invention.
2 is a view showing a panoramic image formed by the ultrasonic image processing apparatus of FIG. 1; FIG.
FIG. 3 is a diagram for explaining a calculation method of a movement amount calculation executed in a movement amount calculation unit.
FIG. 4 is a diagram for explaining another calculation method of the rotational movement amount calculation executed in the rotational movement amount calculation unit.
5 is a diagram illustrating luminance values of pixels on the circumference of each of the ring-shaped region and the corresponding region in FIG. 4;
FIG. 6 is a diagram showing another shape of the reference region used in the rotational movement amount calculation unit.
7 is a flowchart showing a processing operation of the ultrasonic image processing apparatus of FIG.
FIG. 8 is a flowchart showing another processing operation of the ultrasonic image processing apparatus of FIG. 1;
[Explanation of symbols]
22 translational movement amount calculation unit, 24 rotational movement amount calculation unit, 26 calculation end determination unit, 30 image composition unit, 50 reference area, 52 search area.

Claims

An ultrasonic image processing apparatus that forms a panoramic image by combining a plurality of frames obtained by moving an ultrasonic probe,
A means for calculating a translation amount between one frame and the other frame between two frames, wherein the reference region on the one frame is sequentially translated and moved to the corresponding region on the other frame at each translation position. A translational movement amount calculating means for calculating the translational movement amount by performing a matching calculation;
A means for calculating a rotational movement amount between one frame and the other frame between the two frames, wherein the translational movement on the other frame at each rotational movement position while sequentially rotating the reference area on the one frame. A rotational movement amount calculating means for calculating the rotational movement amount by performing a matching calculation with a corresponding region having a composite positional relationship based on a quantity;
Panorama image forming means for forming the panorama image by combining the two frames based on the calculated translational movement amount and rotational movement amount;
Have
Each movement amount calculation of the translational movement amount and the rotational movement amount is executed a plurality of times,
Repetitive end determination means for determining the end of calculation of the translational movement amount and the rotational movement amount executed a plurality of times;
The matching operation is an operation based on the minimum sum absolute difference (MSAD) method,
The ultrasonic image processing apparatus, wherein the repetition end determination unit performs the calculation end determination based on a change rate of an MSAD value calculated in the calculation by the minimum sum absolute difference (MSAD) method .

An ultrasonic image processing apparatus that forms a panoramic image by combining a plurality of frames obtained by moving an ultrasonic probe,
A means for calculating a translation amount between one frame and the other frame between two frames, wherein the reference region on the one frame is sequentially translated and moved to the corresponding region on the other frame at each translation position. A translational movement amount calculating means for calculating the translational movement amount by performing a matching calculation;
A means for calculating a rotational movement amount between one frame and the other frame between the two frames, wherein the translational movement on the other frame at each rotational movement position while sequentially rotating the reference region on the one frame. A rotational movement amount calculating means for calculating the rotational movement amount by performing a matching operation with a corresponding region in a composite positional relationship based on the amount;
Panorama image forming means for forming the panorama image by combining the two frames based on the calculated translational movement amount and rotational movement amount;
Have
The ultrasonic image processing apparatus, wherein the reference area in the rotational movement amount calculation means is a circular area.

An ultrasonic image processing apparatus that forms a panoramic image by combining a plurality of frames obtained by moving an ultrasonic probe,
A means for calculating a translation amount between one frame and the other frame between two frames, wherein the reference region on the one frame is sequentially translated and moved to the corresponding region on the other frame at each translation position. A translational movement amount calculating means for calculating the translational movement amount by performing a matching calculation;
A means for calculating a rotational movement amount between one frame and the other frame between the two frames, wherein the ring-shaped or donut-shaped reference region on the one frame is sequentially rotated and moved at each rotational movement position. A rotational movement amount calculating means for calculating the rotational movement amount by performing a matching operation with a corresponding region having a composite positional relationship based on the translational movement amount on a frame;
Panorama image forming means for forming the panorama image by combining the two frames based on the calculated translational movement amount and rotational movement amount;
An ultrasonic image processing apparatus.