JP2007007426A - 階層的な動き推定方法及びこれを適用した超音波映像装置 - Google Patents

Abstract

【課題】連続超音波映像を処理するための計算量を減らして全域動きの誤差を減らすことによって、リアルタイムでさらに正確で連続的な超音波映像をディスプレイする階層的な動き推定方法及び階層的な動き推定方法を適用した超音波映像装置を提供する。
【解決手段】本発明は階層的な動き推定方法及びこれを適用した超音波映像装置に関するもので、第１及び第２入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する段階と、前記第２入力映像から分解された前記映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する段階と、前記抽出された特徴点を中心に所定サイズのブロックを配置する段階と、前記第１入力映像と第２入力映像を整合して前記ブロックの局所動きをそれぞれ推定して前記動き推定領域の全域動きを推定する段階を含む階層的な動き推定方法を提供する。
【選択図】図２

Description

本発明は階層的な動き推定方法及びこれを適用した超音波映像装置に関するもので、特に連続超音波映像からリアルタイムでさらに正確な動きを推定するための階層的な動き推定方法及びこれを適用した超音波映像装置に関する。

超音波映像技法は身体内部器官を非侵入によって診断する技術である。超音波映像は超音波を人体に送信した後、反射されてきた超音波を受信してリアルタイムで示す映像である。従って、超音波映像は血流だけでなく、内部組織及び臓器の運動も示すことができる。

超音波映像が多様な医療分野に用いられることによって、連続超音波映像から広い視野の映像即ち、パノラマ映像の獲得に対する要求が増えている。このようなパノラマ映像は一つの映像に内部器官及びそれと隣接した組織を示すので、医師らが全体的に解剖学的な構造を理解するのに役に立つ。

パノラマ映像を得るためには、連続的な映像の正確な動き推定が重要である。このような動き推定のための技法としてはグラジェントテクニック（Ｇｒａｄｉｅｎｔ Ｔｅｃｈｎｉｑｕｅ）、ペル−リカーシブテクニック（Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ Ｔｅｃｈｎｉｑｕｅ）、ブロック整合法（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｔｅｃｈｎｉｑｕｅ）などがある。グラジェントテクニック及びペルーリカーシブテクニックは複雑で動き情報のために全てのピクセルに対して動きを推定しなければならないので、計算量が多く、ブロック整合法が最も多く使われる。ブロック整合法で動きを推定する時、ブロック配置とブロックのサイズが性能に重要な影響を与える。ブロックの配置は全域動き要素の推定分散に影響を与え、ブロックのサイズは計算量に多くの影響を与える。全域動きを推定するために動き領域内にブロックを分散配置することが重要ではある。

しかし、ブロック整合法を用いて超音波パノラマ映像を得る場合、特徴領域が含まれるようにブロックを大きくしなければならないので、計算量が増加するようになる問題がある。また、反射される超音波は反射される媒質とその他の理由のため、位相変化が起きて獲得した映像はスペックルノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）が示される。このスペックルノイズは映像の画質を落とすだけでなく、見ようとする身体器官と背景の境界などの区別を難しくさせる。従って、超音波パノラマ映像を得るのに時間が長くかかり、正確性も落ちる。

本発明は前記のような問題を解決するために案出されたもので、連続超音波映像を処理するための計算量を減らして全域動きの誤差を減らすことによって、リアルタイムでさらに正確で連続的な超音波映像をディスプレイする階層的な動き推定方法及び階層的な動き推定方法を適用した超音波映像装置を提供することにある。

上述した目的を達成するための本発明の一実施例による階層的な動き推定方法は、第１及び第２入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する段階と、前記第２入力映像から分解された前記映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する段階と、前記抽出された特徴点を中心に所定サイズのブロックを配置する段階と、前記第第１入力映像と第２入力映像を整合して前記ブロックの局所動きをそれぞれ推定して前記動き推定領域の全域動きを推定する段階を含む。

本発明の他の実施例による超音波映像装置は第１及び第２超音波入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する映像分解手段と、前記第２入力映像から分解された前記映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する特徴点抽出手段と、前記抽出された特徴点を中心に所定サイズのブロックを配置するブロック配置手段と、前記第１入力映像と第２入力映像を整合して前記ブロックの局所動きをそれぞれ推定して前記動き推定領域の全域動きを推定する動き推定手段を備える。望ましくは、前記ブロックは所定の距離にそれぞれ離隔されて配置される。

本発明の他の実施例による超音波映像装置で階層的な動き推定方法を用いて連続映像からパノラマ映像を生成する方法は、連続的な第1及び第2入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する段階と、前記第2入力映像から分解された前記映像のうち、最も低いレベルの解像度を有する映像を少なくとも二つの動き推定領域に分割して特徴点をそれぞれ抽出する段階と、前記抽出された特徴点を中心に所定サイズのブロックを配置する段階と、前記第1入力映像から分解された前記映像のうち、最も低いレベルの解像度を有する映像に検索ウィンドーを設定する段階と、前記ブロックと前記第1入力映像の最も低いレベルの解像度を有する映像を整合して前記ブロックの局所動きを推定する段階と、前記推定された局所動きを用いて動き推定領域の全域動きを推定する段階と、前記推定された全域動きに基づいて前記第1及び第2入力映像を合成してパノラマ映像を生成する段階を含む。

本発明によれば、動き推定領域を多くの区間に分けて各区間内で特徴点を中心にブロック配置することによって、小さなサイズのブロックでも特徴領域が含まれて精度は維持しながら、処理時間を短縮できる効果がある。また、多解像度映像を用いて特徴点を抽出することによって、スペックルノイズによる誤りと、抽出処理速度を減らして動き推定処理で低解像度の動き推定を用いて近似過程を通じ、処理時間を減らすことができる効果がある。

以下、添付された図面を参照して本発明の望ましい実施例について詳細に説明する。

図１は本発明による超音波映像装置の構成を概略的に示したものである。

図１を参照すれば、超音波映像装置４００は映像分解手段４１０、特徴点抽出手段４２０、ブロック配置手段４３０、動き推定手段４４０、映像合成手段４５０及びディスプレイ手段４６０を含む。

映像分解手段４１０は第１及び第２超音波入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する。特徴点抽出手段４２０は第２入力映像から分解された映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する。望ましくは分解された映像中、最も低い解像度を有する映像から特徴点を抽出する。ブロック配置手段４３０は動き推定領域内で抽出された特徴点を中心に所定サイズのブロックを配置する。望ましくはブロックの配置は相互間に重畳しない。動き推定手段４４０は第１入力映像と第２入力映像を整合してブロックの局所動きをそれぞれ推定して動き推定領域の全域動きを推定する。映像合成手段４５０は全域動きを推定した後、映像を連続的に合成して一つのパノラマ映像を生成する。映像合成は連続映像の重畳部分におけるピクセルの明るさ情報を調節するように失行され、映像がシ―ムレス（ｓｅａｍｌｅｓｓ）に連結されるようにする。ディスプレイ手段４６０は一般的な超音波診断機器のディスプレイを用いることができ、具体的にはフレームバッファに合成された映像を伝達してモニタに表示する。

以下、本発明の一実施例による階層的な動き推定方法について詳細に説明する。

図２は本発明による階層的な動き推定方法を概略的に示すフローチャートとして、超音波入力映像分解段階Ｓ１１０と、特徴点抽出段階Ｓ１２０と、ブロック配置段階Ｓ１３０、局所動きの推定段階Ｓ１４０と、全域動きの推定段階Ｓ１５０と、映像合成段階Ｓ１６０を含む。

超音波入力映像分解段階Ｓ１１０では映像分解手段４１０が時間的に隣接する第１及び第２入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する。第１入力映像は過去映像であり、第２入力映像は現在映像である。

数式１によって入力映像を多重レベルの解像度を有する映像に階層分解する。
［数式１］

数式１による多解像度映像分解構造が図３ａに例示されている。２^ｋ×２^ｋ（ｋ＝０，．．，ｎ−１）の解像度を有する映像の中で、構造的に最下位映像である２^ｎ×２^ｎの解像度を有する映像は階層的に多重レベルの解像度を有するように分解する映像分解の基礎になる原映像であり、以後、原映像に基づいて上向式方式（ｂｏｔｔｏｍ−ｕｐ）で映像を生成する。図３ｂに示されているように、ｋレベルのピクセルｆ_ｋ（ｉ，ｊ）は、ｋ＋１レベルで隣接する四つのピクセル ｆ_ｋ＋１（２ｉ，２ｊ）、ｆ_ｋ＋１（２ｉ，２ｊ＋１）、ｆ_ｋ＋１（２ｉ＋１，２ｊ）及びｆ_ｋ＋１（２ｉ＋１，２ｊ＋１）によって生成される。この時、以前レベルから次のレベルへのマッピング関数がロウパス（ｌｏｗ−ｐａｓｓ）演算であるので、高周波成分は抑制され、低い解像度の映像を得るようになる。

特徴点抽出段階Ｓ１２０では、特徴点抽出手段４２０が第２入力映像から分解された映像中の任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する。

望ましくは、第２入力映像から分解された映像のうち、最も低い解像度を有する映像から特徴点を抽出する。このよって超音波入力映像からスペックルノイズを縮めてさらに正確に特徴点を抽出することができ、計算時間を減らすことができる。

ハリス−ステファンコーナー検出方法（Ｈａｒｒｉｓ−Ｓｔｅｐｈｅｎ ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ）、即ち、次の数式２によって動き推定領域から特徴点を抽出する。
［数式２］

それぞれの動き推定領域で、各ピクセルにおいてx軸及びy軸方向への傾きの大きさＩ_ｘ及びＩ_ｙを９×９カーネル（ｋｅｒｎｅｌ）マトリクス、即ち、x軸及びy軸方向へのエッジ演算子（図４ａ及び４ｂに示されている）を用いて計算する。そうしてから、数式2によりx軸及びy軸方向への傾きの大きさ(エッジ強度)がいずれも大きいコーナーを抽出して、各動き推定領域の特徴点を抽出する。

ブロック配置段階Ｓ１３０では、ブロック配置手段４３０が抽出された特徴点を中心に所定サイズのブロックを配置する。

図５ａは階層的な動き推定方法においてブロック配置を示す。図５ａを参照すれば、ブロック５３０は動き推定領域５１０内の特徴点５２０を含むようにそれぞれ配置される。この時、特徴点が互いに近接すれば、ブロック同士重畳して、全域動き推定に誤差が発生することができる。従って、望ましくは、図５ｂに示されているように、段階Ｓ１２０で動き推定領域５１０が互いに離隔されるように位置させ、ブロックの重畳を防止する。

局所動きの推定段階Ｓ１４０では、動き推定手段４４０がブロック整合法（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ）によって、第１入力映像と第２入力映像を整合してブロックの局所動きをそれぞれ推定する。即ち、現在映像のブロックを過去映像のどこに位置するか推定してブロックの動きを推定する。

局所動き推定において、現在映像のブロックと最もよく整合する基準ブロックを過去映像から探すようにブロックマッチングを実施する。現在映像の各ブロックと基準ブロック間の対応ピクセルの差の絶対値の和であるＳＡＤ（Ｓｕｍ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を過去映像での検索ウィンドー（ｓｅａｒｃｈ ｗｉｎｄｏｗ）内で調査して、ＳＡＤ値が最小である位置で整合するとみなす。

一般に連続超音波映像では特性上、横軸の動きが大きいため、縦軸範囲より相対的に横軸範囲を大きく設定し、連続的な映像間の動きを十分に収容することができる程度に十分に大きく検索ウィンドーの範囲を定めることが望ましい。しかし、検索ウィンドー大きくなるほど計算量が多くなる。

本実施例では、上述した通り、最も低い解像度を有する映像を用いることによって、映像分解の基礎になった原映像より相対的に小さな検索ウィンドーにも精度を維持することができ、計算量を減らすことができる。

全域動きの推定段階Ｓ１５０では、先に推定された局所動きを用いて動き推定領域の全域動きを推定する。

映像合成段階Ｓ１６０では、 映像合成手段４５０が全域動きを推定した後に映像を連続的に付けて一つのパノラマイメージを生成する。

映像合成にはイメージグローイング（Ｉｍａｇｅ Ｇｒｏｗｉｎｇ）方法、循環空間合成（Ｒｅｃｕｒｓｉｖｅ Ｓｐａｔｉａｌ Ｃｏｍｐｏｕｎｄｉｎｇ）方法及びランプ合成（Ｒａｍｐ Ｃｏｍｐｏｕｎｄｉｎｇ）方法などがある。周知のように、イメージグローイング方法では、単に、重畳しない領域での新たなピクセルデータをパノラマ映像バッファに入力する。循環空間合成方法では、新たな映像フレームと中間パノラマ映像を循環的に平均する。ランプ合成方法では、重畳領域で新たな映像フレームと中間パノラマ映像に対して重み係数ランプを付与する。

イメージグローイング方法を用いる場合、合成された映像の連続性が劣下するので、連続性を高めるために次の数式３によって重なる領域でフレームを平均して連続性を高めることができる。
［数式３］

本実施例では、回転角度を推定して合成領域の回転中心を修正し、新たな映像と中間パノラマ映像との不連続性を減らすためにフレーム平均方法を用いる。

図６ａ及び６ｂは本発明による階層的な動き推定方法で映像合成段階の映像を例示したスキン部分を示す超音波映像である。

映像合成段階において映像を合成する時に各映像全体を組み合わせず、各映像の狭い部分のみを組み合わせる。図６ａに示されているように、回転の中心を重畳領域の中心６１０からスキン部分６２０に修正する。次いで、図６ｂに示されているように、修正される回転の中心(スキン部分６２０)を推定されたｘ軸の動きだけ移動した後（Ｂ１）、この位置でスキン部分の位置を見出してｙ軸の動きだけ移動した後（Ｂ２）、この位置で回転して以前映像または中間パノラマ映像と合成する（Ｂ３）。

本発明は前記実施例に限定されておらず、多くの変形が本発明の思想内で当分野において通常の知識を有する者によって可能であることはもちろんである。

本発明の実施例による超音波映像装置の構成を示す概略図。 本発明の実施例による階層的な動き推定方法を概略的に示すフローチャート。 多重解像度映像ピラミッド及びマッピング処理を示す図。 多重解像度映像ピラミッド及びマッピング処理を示す図。 ９×９カーネルマトリクスを示す図。 ９×９カーネルマトリクスを示す図。 本発明の実施例による階層的な動き推定方法でブロック配置段階を例示した超音波映像。 ブロック配置の変形例を示す超音波映像。 本発明の実施例による階層的な動き推定方法で映像合成段階を例示した超音波映像。 本発明の実施例による階層的な動き推定方法で映像合成段階を例示した超音波映像。

符号の説明

４００ 超音波映像装置
４１０ 映像分解手段
４２０ 特徴点抽出手段
４３０ ブロック配置手段
４４０ 動き推定手段
４５０ 映像合成手段
４６０ ディスプレイ手段

Claims (10)

1. 第１及び第２入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する段階と、
   前記第２入力映像から分解された前記映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する段階と、
   前記抽出された特徴点を中心に所定サイズのブロックを配置する段階と、
   前記第１入力映像と第２入力映像を整合して前記ブロックの局所動きをそれぞれ推定して前記動き推定領域の全域動きを推定する段階を含む階層的な動き推定方法。
2. 前記ブロックは所定の距離にそれぞれ離隔されて配置されることを特徴とする請求項１に記載の階層的な動き推定方法。
3. 
4. 前記特徴点を最も低い解像度を有する映像から抽出することを特徴とする請求項１に記載の階層的な動き推定方法。
5. 
6. 前記入力映像は超音波映像であることを特徴とする請求項１に記載の階層的な動き推定方法。
7. 前記第１及び第２入力映像は時間的に隣接する映像であることを特徴とする請求項１に記載の階層的な動き推定方法。
8. 第１及び第２超音波入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する映像分解手段と、
   前記第２入力映像から分解された前記映像のうち、任意のレベルの解像度を有する任意の映像を少なくとも二つの動き推定領域に分割して特徴点を抽出する特徴点抽出手段と、
   前記抽出された特徴点を中心に所定サイズのブロックを配置するブロック配置手段と、
   前記第１入力映像と第２入力映像を整合して前記ブロックの局所動きをそれぞれ推定して前記動き推定領域の全域動きを推定する動き推定手段を備えることを特徴とする超音波映像装置。
9. 前記ブロックは所定の距離にそれぞれ離隔されて配置されることを特徴とする請求項８に記載の超音波映像装置。
10. 超音波映像装置で階層的な動き推定方法を用いて連続映像からパノラマ映像を生成する方法において、
    連続的な第1及び第2入力映像を少なくとも二つの階層的な多重レベルの解像度を有する映像にそれぞれ分解する段階と、
    前記第2入力映像から分解された前記映像のうち、最も低いレベルの解像度を有する映像を少なくとも二つの動き推定領域に分割して特徴点をそれぞれ抽出する段階と、
    前記抽出された特徴点を中心に所定サイズのブロックを配置する段階と、
    前記第1入力映像から分解された前記映像のうち、最も低いレベルの解像度を有する映像に検索ウィンドーを設定する段階と、
    前記ブロックと前記第1入力映像の最も低いレベルの解像度を有する映像を整合して前記ブロックの局所動きを推定する段階と、
    前記推定された局所動きを用いて動き推定領域の全域動きを推定する段階と、
    前記推定された全域動きに基づいて前記第1及び第2入力映像を合成してパノラマ映像を生成する段階を含む方法。

Images