JP2003163934A

JP2003163934A - 動きベクトル検出方法及び動きベクトル検出プログラム

Info

Publication number: JP2003163934A
Application number: JP2001358698A
Authority: JP
Inventors: Yoshiharu Kamiya; 義治上谷; Tomoya Kodama; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-11-26
Filing date: 2001-11-26
Publication date: 2003-06-06

Abstract

(57)【要約】【課題】本発明は、縮小画面での動きベクトル候補探
索において、動きベクトル探索処理に必要な命令数を削
減して従来より高速な動きベクトル検出方法を提供す
る。【解決手段】本発明の動きベクトル検出方法は、第１
のマクロブロック及びこれに隣接する第２のマクロブロ
ックに対する探索中心点設定に用いる参照動きベクトル
の差が所定の範囲内である場合は探索モードを２マクロ
ブロック同時探索モードに設定し、所定範囲外の場合は
探索モードを２探索点同時探索モードに設定することに
より、ＳＳＥ２のＰＳＡＤＢＷ命令を１回実行するのに
必要となる前処理に要する命令数を大幅に削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の記録・通信
・伝送及び放送等における動画像信号の符号化装置に係
り、特に動きベクトル情報の検出方法に関する。

【０００２】

【従来の技術】動画像の膨大な情報を圧縮符号化する動
画像符号化方式として、動き補償予測符号化方式が知ら
れており、ＭＰＥＧ２（Moving Picture Expert Group
phase2）やＭＰＥＧ４等で用いられている。これらの符
号化方式では、入力画面の部分領域に対して、参照画面
から最も相関度の高い部分領域を検出して、入力画面の
部分領域が参照画面のどの位置から動いたものかを示す
動きベクトル情報を求め、その動きベクトル情報により
示される参照画面の部分領域と入力画面の部分領域との
差分を符号化する。

【０００３】この動きベクトル情報の探索は１６画素×
１６ラインで構成されるマクロブロックに対して、各画
素毎の差分絶対値和（ブロックマッチング誤差）が最小
となる位置を探索するブロックマッチング方法が利用さ
れる。

【０００４】このブロックマッチングの誤差算出は、In
tel社のPentiumIIIプロセッサ以降に実装されたＳＳＥ
２（ストリーミングＳＩＭＤ拡張命令２）のＰＳＡＤＢ
Ｗ命令を用いることで効率的に実行できる。このＰＳＡ
ＤＢＷ命令では、図６に示すように１６画素に対する差
分の絶対値を計算し、上位８画素の差分絶対値の合計と
下位８画素の差分絶対値の合計をそれぞれ計算する処理
を１つの命令で実行できる。すなわち、この処理で得ら
れる２つの結果をマクロブロックを構成する１６ライン
について合計することで、１つの探索点に対するブロッ
クマッチング誤差を求められる。

【０００５】しかし、広い探索範囲から短時間で動きベ
クトル情報を探索するためには、現画面及び参照画面を
水平垂直共に１／２に間引いて縮小した画面を作成し、
１マクロブロックを８画素×８ラインのサイズにして演
算量を減らし、２画素精度動きベクトル候補を探索する
のが望ましい。これにより、マッチングサイズ及び探索
面積共に１／４になるので、演算量は１／１６になる。
１画素精度の正確な動きベクトル候補を検出するために
は、これにより求めた２画素精度動きベクトル候補の近
傍−１画素から＋１画素の範囲について、元の画像サイ
ズの現画面と参照画面で探索する必要があるが、これを
含めても大幅な演算量の削減となる。

【０００６】従来、上述のような縮小画面でSSE2のＰＳ
ＡＤＢＷ命令を使用したブロックマッチングを行う場
合、図５のように同一マクロブロック内の８画素×２ラ
インに対する差分絶対値和計算を１回のＰＳＡＤＢＷ命
令で実行し、この処理を４回繰り返して該差分絶対値和
の総和を求めることで、１探索点に対するブロックマッ
チング誤差を算出していた。

【０００７】しかしながらこの方法においては、図５に
示されているように、１回のＰＳＡＤＢＷ命令の前に、
参照画面及び現画面からそれぞれ８画素×２ラインを１
ラインずつ２回に分けて読み出し、それぞれ８画素×２
ラインのデータを結合して１６画素×１ラインの形式に
してから、ＸＭＭレジスタに一時記憶させる前処理が必
要である。

【０００８】図５の方法による１探索点の探索を行うプ
ログラムの実装例を図９に示す。

【０００９】まず、ステップＢ０１に示すように、現画
面及び参照画面の左上端のアドレス及びループ回数のレ
ジスタへのセットと差分絶対値和の累算値を格納するレ
ジスタの初期化に４命令を要する。

【００１０】ループ内の処理はステップＢ０２からステ
ップＢ０６まである。ステップＢ０２では、現画面から
８画素×２ラインのデータを読み出して１６画素×１ラ
イン形式に結合させるのに４命令要する。ステップＢ０
３では、参照画面から８画素×２ラインの読み出して１
６画素×１ライン形式に結合させるのに４命令要する。
ステップＢ０４では、差分絶対値和を計算するためにＰ
ＳＡＤＢＷ命令を実行するので１命令要する。ステップ
Ｂ０５では、求めた２ライン分の差分絶対値和の累算を
行うのに１命令要する。ステップＢ０６では、ループ関
連処理を行うのに（差分絶対値和計算対象ラインのシフ
ト及びループそのものの処理）３命令要する。よって、
ループ内処理で要する命令数は、合計４＋４＋１＋１＋
３＝１３命令である。差分絶対値和の計算は２ラインず
つ行うのでループは４回必要であるから、この４倍の命
令数が必要となる。

【００１１】ステップＢ０７では、ループ内で累算した
差分絶対値和の合計を求める（ＸＭＭレジスタの上位と
下位の和を計算する）のに２命令要する。これは、ＰＳ
ＡＤＢＷ命令ではＸＭＭレジスタの上位と下位とで別々
に差分絶対値和を求めているため、ＸＭＭレジスタの上
位（下位）には１ラインおきの差分絶対値和の累計が格
納されているために必要な処理である。

【００１２】以上より、１マクロブロックの１探索点に
ついてブロックマッチングを行うためには４＋１３＊４
＋２＝５８命令必要となる。

【００１３】

【発明が解決しようとする課題】従来の技術ではＰＳＡ
ＤＢＷ命令に係る前処理に要する命令数が多いため、縮
小画面にしたことによる演算量の削減効果が十分に得ら
れなかった。

【００１４】本発明は、縮小画面での動きベクトル候補
探索において、隣接する２つのマクロブロックの探索中
心点設定用参照動きベクトルに基づいて、探索処理方法
を適応的に切り替えることにより動きベクトル探索処理
に必要な命令数を削減し、高速な動きベクトル検出方法
及びプログラムを提供することを目的とする。

【００１５】

【課題を解決するための手段】前述の課題を解決するた
めに本発明の動きベクトル検出方法は、水平方向に縮小
した画面を用いて動画像の第１の画面のマクロブロック
である現マクロブロックが第２の画面のどの領域から動
いたものかを表す動きベクトルをブロックマッチング法
を用いて計算する方法であって、第１の現マクロブロッ
クとこれと水平方向に隣接する第２の現マクロブロック
をマッチング単位として第２の画面との間でブロックマ
ッチングを行い、第１及び第２の現マクロブロックに対
する動きベクトル算出を行うことを特徴とする。

【００１６】また、本発明の動きベクトル検出方法は、
水平方向に縮小した画面を用いて動画像の第１の画面の
マクロブロックである現マクロブロックが第２の画面の
どの領域から動いたものかを表す動きベクトルをブロッ
クマッチング法を用いて計算する方法であって、第１の
現マクロブロックを水平方向に２つ並べたものをマッチ
ング単位として第２の画面との間でブロックマッチング
を行い、第２の画面上の２つのマクロブロックサイズの
領域である参照領域に対する２つの動きベクトル候補を
評価することで、第１の現マクロブロックに対する動き
ベクトル算出を行うことを特徴とする。

【００１７】また、本発明の動きベクトル検出方法は、
水平方向に縮小した画面を用いて動画像の第１の画面の
マクロブロックである現マクロブロックが第２の画面の
どの領域から動いたものかを表す動きベクトルを、時間
的に第１の画面の直前に入力された第３の画面上にあっ
て前記マクロブロックと同位置にあるマクロブロックで
ある直前マクロブロックの有する第２の画面に対する動
きベクトルである参照動きベクトルを用いてブロックマ
ッチング法による探索領域を決定してから計算する方法
であって、第１の現マクロブロックと画面上同位置であ
る第１の直前マクロブロックの第１の参照動きベクトル
と、第１の現マクロブロックの水平方向に隣接する第２
の現マクロブロックに対する第２の直前マクロブロック
の第２の参照動きベクトルとの差を算出し、前記第１及
び第２の参照動きベクトルの差が所定の範囲内ならば、
第１の現マクロブロックとこれと水平方向に隣接する第
２の現マクロブロックをマッチング単位として第２の画
面との間でブロックマッチングを行い、第１及び第２の
現マクロブロックに対する動きベクトル算出を行い、前
記参照動きベクトルの差が所定の範囲外ならば、第１の
現マクロブロックを水平方向に２つ並べたものをマッチ
ング単位として第２の画面との間でブロックマッチング
を行い、第２の画面上の２つのマクロブロックサイズの
領域である参照領域に対する２つの動きベクトル候補を
評価することで、第１の現マクロブロックに対する動き
ベクトル算出を行うことを特徴とする。

【００１８】本発明の動きベクトル検出プログラムは、
コンピューターに水平垂直方向共に１／２に縮小した画
面を用いて入力画面のマクロブロックが参照画面のどの
領域から動いたものかを表す動きベクトルを計算させる
ために、入力画面の第１の現マクロブロックと画面上の
位置が同じである参照画面の第１の参照マクロブロック
の動きベクトルである第１の参照動きベクトルと、第２
の現マクロブロックに対する第２の参照マクロブロック
の第２の参照動きベクトルとの差を計算する参照ベクト
ル差検出手段と、前記第１、第２の参照動きベクトルの
差が所定の範囲内である場合には２マクロブロック同時
探索モードを、所定の範囲外である場合には２探索点同
時探索モードを選択する探索モード選択手段と、２マク
ロブロック同時探索モードが選択された場合に探索中心
点を前記第１、第２の参照動きベクトルに基づいて設定
し、２探索点同時探索モードが選択された場合に探索中
心点を前記第１の参照動きベクトルに基づいて設定する
探索中心点設定手段と、２マクロブロック同時探索モー
ドの場合に２つのマクロブロックに対して同時にブロッ
クマッチング誤差を計算する２マクロブロック同時ブロ
ックマッチング誤差計算手段と、２探索点同時探索モー
ドの場合に第１の現マクロブロックに対する２つの探索
点のブロックマッチング誤差を同時に計算する２探索点
同時ブロックマッチング誤差計算手段と、２マクロブロ
ック同時探索モードの場合に第１、第２の現マクロブロ
ックに対してそれぞれ最小ブロックマッチング誤差とな
る探索点から動きベクトルを算出する２マクロブロック
同時動きベクトル計算手段と、２探索点同時探索モード
の場合に第１の現マクロブロックに対して最小ブロック
マッチング誤差となる探索点から動きベクトルを算出す
る２探索点同時動きベクトル計算手段とを有する。

【００１９】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態を説明する。

【００２０】（第１の実施形態）図７は本発明の実施形
態に係る動きベクトル検出方法において用いられるテレ
スコピックサーチの概略を説明する図である。

【００２１】テレスコピックサーチとは、動きベクトル
検出を動きベクトル検出対象マクロブロックと参照画面
との間でのブロックマッチング法を用いて行う際に、動
きベクトル検出対象マクロブロックの所属する画面の直
前に入力された画面に関して同一の参照画面に対して検
出された動きベクトルを参照して、動きベクトルの探索
領域を限定する手法である。通常のフルサーチの場合、
画面間の時間的距離の２乗に比例して動きベクトルの探
索領域が広くなるが、テレスコピックサーチの場合、探
索領域は時間的距離に関係なく一定の範囲に限定され
る。

【００２２】本実施形態の動きベクトル検出方法では、
テレスコピックサーチを用いて動きベクトルの探索領域
を限定する。よって、動きベクトル検出では動きベクト
ルを検出しようとしている現画面８１と、ブロックマッ
チングの際の参照画面８２の他に、現画面の直前に入力
された直前画面８３の３枚の画面を用いる。

【００２３】この３枚の画像はＭＰＥＧ１、２、４でフ
レーム予測を行っている場合でいうと現画面８１はＰフ
レーム、参照画面８２はＩまたはＰフレーム、直前画面
８３はＢフレームに対応すると考えればよい。ただし、
図８のように参照画面８２と直前画面８３が同一の画面
になる場合もある。図８の場合に関しては後述する。

【００２４】尚、インターレース走査の画像では１フレ
ームは２フィールドから構成され、フィールド単位で動
きベクトル検出を行うことがあるが、この場合もテレス
コピックサーチは適用可能である。以下は、フレーム単
位で動きベクトルを検出する場合について述べる。

【００２５】また、テレスコピックサーチを行うので、
前方向動きベクトルの検出であれば、現画面の動きベク
トル検出を行う前に、現画面以前に入力されたＰまたは
Ｂフレームで符号化される画面に関する前方向動き検出
が完了している（Ｉフレームで符号化される画面を除
く）必要があり、後方向動きベクトルであれば、現画面
から時間的に直後のＩまたはＰフレームで符号化される
画面までの間に存在する全てのＢフレームで符号化され
る画面に関して後方向動きベクトルの検出が完了してい
る必要がある。例えば、図７の場合、符号化は「Ｉ１・
Ｐ４・Ｂ２・Ｂ３」の順で行われるが、前方向動きベク
トル検出に関しては「Ｂ２・Ｂ３・Ｐ４」の順で行うの
で、Ｐ４の符号化前にＢ２、Ｂ３、Ｐ４の前方動きベク
トル検出を完了させておく。尚、後方向動きベクトル検
出は「Ｂ３・Ｂ２」の順で行うので、Ｂ２の符号化まで
に「Ｂ３・Ｂ２」の動きベクトル検出が完了させてお
く。

【００２６】以下、動きベクトル検出処理開始時からブ
ロックマッチングを行うまでのテレスコピックサーチに
よる動きベクトル探索範囲限定処理を説明する。

【００２７】まず、現画面８１の動き検出対象マクロブ
ロックである現マクロブロック８４と画面上の位置が同
じである直前画面８３上の直前マクロブロック８５に着
目する。直前マクロブロック８５に関して既に検出済み
の動きベクトルである参照動きベクトル８６の示す参照
画面８２上の点を探索中心点として、探索範囲はこの探
索中心点を中心にから水平垂直共に−１６〜１５画素の
範囲（水平３２画素×垂直３２画素）に設定する。移動
距離は時間に比例して増大すると予測されるので、フレ
ーム間の時間的距離の二乗に比例して探索範囲が拡大す
るが、テレスコピックサーチでは直前のフレームの動き
ベクトルが示す参照画面上の点から探索領域を設定して
いるので、参照画面と現画面が時間的にどれだけ離れて
いても水平３２画素×垂直３２画素の範囲を探索すれば
よい。

【００２８】本発明では縮小画面を用いており、本実施
形態では水平垂直共に１／２に縮小した画面の水平１６
画素×垂直１６画素の領域で動きベクトル探索を行う。
縮小画面においても探索範囲の限定は上記と同様な方針
で行うので探索領域は現画面と参照画面間の時間的距離
に関わらず参照画面上の水平１６画素×垂直１６画素の
領域となる。

【００２９】尚、図８のように参照画面８２と直前画面
８３が同一の画面になる場合は、図７の参照動きベクト
ル８６がゼロベクトルであるものとして扱えばよく、探
索中心点は直前マクロブロック９５の中心点（もしくは
マクロブロックの起算点）になる。

【００３０】以下、本実施形態の動きベクトル検出につ
いて詳細に説明する。

【００３１】図１は、本発明の実施形態に係る動きベク
トル検出方法を示すフローチャートである。

【００３２】まず、探索モード及び探索中心点設定ステ
ップＳ０１において、参照画面と現画面との間に動きベ
クトル検出済み画面が存在しない場合は（例えば、参照
画面がイントラ符号化対象の画面の場合）、前述の通り
参照動きベクトルをゼロベクトルに設定し、参照画面と
現画面との間に動きベクトル検出済み画面が存在する場
合は、現画面のマクロブロック（以下、現マクロブロッ
ク）と画面上の位置が同じ前記動きベクトル検出済み画
面のマクロブロック（以下、参照マクロブロック）に対
する動きベクトルを参照動きベクトルに設定する。

【００３３】次に現マクロブロック及びこれの右隣のマ
クロブロックに対する参照動きベクトルの差を計算す
る。画面左上端を原点とし、水平方向右が正、垂直方向
下が正となる座標系で、現マクロブロックの右隣のマク
ロブロックに対する参照動きベクトルから現マクロブロ
ックに対する参照動きベクトルを引いた差（以下、特に
指定しない限り、参照動きベクトルの差はこれと同じ座
標系でこれと同じ計算法で求めるものとする）が所定の
範囲内であるかどうかを判定する。なお、本実施形態で
は所定の範囲を「水平成分の差が−１から＋１の範囲」
かつ「垂直成分の差は０」とするが、範囲の設定はこれ
に限らず例えば「水平成分の差も垂直成分の差も−１か
ら＋１の範囲」としても良い。

【００３４】所定の範囲内である場合は探索モードを２
マクロブロック同時探索モードに設定し、探索中心点は
現マクロブロック及び右隣のマクロブロックのそれぞれ
に対する参照動きベクトルの平均ベクトルが示す点に設
定する。つまり、現画面上の現マクロブロックの起算点
（例えば左上端の点）から平均参照ベクトル分だけ移動
した点の座標と同じである、参照画面上の点を探索中心
点に設定する。なお、水平垂直方向共に１／２に間引い
て縮小した参照画面（以下、縮小参照画面）上で画素値
を調べる時は、探索中心点の座標成分はそれぞれ半分の
値に換算し、小数点以下は切り捨て、切り上げ、四捨五
入などの方法で適宜丸めて整数値にしたものを用いる。

【００３５】一方、所定の範囲外の場合は、探索モード
を２探索点同時探索モードに設定し、探索中心点を現マ
クロブロックに対する参照動きベクトルが示す点に設定
する。つまり、現画面上の現マクロブロックの起算点か
ら参照ベクトル分だけ移動した点の座標と同じである、
参照画面上の点を探索中心点に設定する。なお、縮小参
照画面上で画素値を調べる時は、前述所定の範囲内の場
合と同様、探索中心点の座標成分はそれぞれ半分の値に
換算して小数点以下を丸めて整数値にする。

【００３６】なお、現マクロブロックの右隣に動きベク
トルが未検出のマクロブロックが存在しない場合（例え
ば、画面端のマクロブロック）も探索モードを２探索点
同時探索モードに設定しする。

【００３７】探索モード及び探索中心点設定ステップ０
１において、２探索点同時探索モードが設定された場合
は、探索モード判定ステップＳ０２を介して、２探索点
マッチング誤差算出ステップＳ２１に進む。

【００３８】２探索点マッチング誤差算出ステップＳ２
１では、図２に示すように、マクロブロックのライン単
位でのマッチング誤差算出（差分絶対値和を求めるライ
ンマッチング誤差算出）を繰り返して１探索点に対する
ブロックマッチング誤差算出を行う。

【００３９】縮小現画面から、現マクロブロック（縮小
現画面は水平垂直方向共に１／２に縮小されているから
８画素×８ライン）の水平方向に連続する８画素（以
下、現探索ライン）を第１のＸＭＭレジスタの下位に読
み込んで、その８画素データを第１のＸＭＭレジスタ
（ＸＭＭｎ）の上位にコピーする。

【００４０】あとは第２のＸＭＭレジスタ（ＸＭＭｍ）
の上位及び下位に、第１、第２の探索点各々の探索点を
左上端とする探索マクロブロック（厳密には２つのマク
ロブロックサイズの領域）を考えて、そこから１ライン
ずつ読み込んで第２のＸＭＭレジスタへ格納すればＰＳ
ＡＤＢＷ命令の前処理が完了する。

【００４１】しかし、探索点を適当に選んだ場合、ＸＭ
Ｍレジスタへ格納する前に連続した１６画素の形式に結
合処理を施しておく必要があるので、結合処理を省略す
るために第１と第２の探索点を「縮小参照画面上で、第
１の探索点から水平方向右に８画素移動した点」を第２
の探索点として選択する。

【００４２】このように選択することで結合処理を施さ
なくとも、第１の探索点を起点とする連続した１６画素
の形式になるので、ＰＳＡＤＢＷ命令の前処理を省略で
きる。

【００４３】２つのＸＭＭレジスタ（ＸＭＭｎ、ＸＭＭ
ｍ）への値の読み込みが完了したら、ＳＳＥ２のＰＳＡ
ＤＢＷ命令を実行して、マクロブロックの１ライン分の
マッチング誤差（差分絶対値和）を２探索点について同
時に算出する。

【００４４】今、１マクロブロックは縮小されて８ライ
ンあるから、上記ラインマッチング誤差算出を８回繰り
返し、２探索点各々について個別に１ライン分のマッチ
ング誤差の和を求めることで２探索点のブロックマッチ
ング誤差を同時に算出する。

【００４５】ここで、２探索点マッチング誤差算出ステ
ップＳ２１を実装したプログラムの例を図１０に示し、
これを参照して１探索点のブロックマッチング誤差を算
出するのに必要な命令数を求める。

【００４６】まず、ステップＢ１１では、現画面及び参
照画面の左上端のアドレス及びループ回数のレジスタへ
のセットと差分絶対値和を累算するレジスタの初期化に
４命令要する。ステップＢ１２からステップＢ１６まで
の処理をループ内で行う。ステップＢ１２では、現マク
ロブロックから第１のＸＭＭレジスタに８画素分のデー
タを読み込んで、第１のＸＭＭレジスタの上位と下位を
同じ内容にするのに２命令要する。ステップＢ１３で
は、参照画面から連続する１６画素（２探索点にわたる
合計２ライン）を第２のＸＭＭレジスタに読み込むのに
１命令要する。ステップＢ１４では、ＰＳＡＤＢＷ命令
で差分絶対値和を計算するのに１命令要し、ステップＢ
１５では、求めた差分絶対値和を累算するのに１命令要
する。最後にステップＢ１６では、ループ関連処理を行
うのに（差分絶対値和計算対象ラインのシフト及びルー
プそのものの処理）３命令要する。よって、ループ内で
要する命令数は、合計２＋１＋１＋１＋３＝８命令であ
る。縮小参照画面では、マクロブロックは８画素×８ラ
インであり、２探索点同時探索モードではラインマッチ
ングは１ラインずつ行っているからループを８回実行す
るので、必要な命令数はこの８倍になる。

【００４７】以上より、ブロックマッチングに必要な命
令数は４＋８×８＝６８命令である。しかし、６８命令
で行っている処理は１つのマクロブロックに関して２探
索点分のマッチング誤差算出であるから、１マクロブロ
ック１探索点あたりに換算すると半分の３４命令とな
る。従来は５８命令要していたので、２４命令も削減で
きた。

【００４８】最小マッチング誤差更新ステップＳ２２で
は、第１、第２の探索点それぞれについて求めたブロッ
クマッチング誤差とこれまでに現マクロブロックについ
て計算したブロックマッチング誤差のうち最小のもの
（最小マッチング誤差）とを比較し、第１あるいは第２
の探索点に対するブロックマッチング誤差が最小マッチ
ング誤差を下回った場合は、当該マッチング誤差の値を
最小マッチング誤差に更新するとともに、最小マッチン
グ誤差に対する動きベクトル候補も更新する。

【００４９】なお、本実施形態では各マクロブロックの
動きベクトル情報を記憶するための配列をメモリ上に確
保しておき、最小マッチング誤差に対応する動きベクト
ル候補の情報は配列上で逐次更新されるようにするの
で、探索が終了した時点で記憶されている動きベクトル
情報がそのマクロブロックに対する動きベクトル検出結
果となる。

【００５０】探索範囲終了判定ステップＳ２３では、現
マクロブロックに対する探索範囲（本実施形態では、探
索中心点から−８画素から＋７画素の範囲とするが、こ
れに限定されない）の探索処理が終了したか否かを判定
し、探索範囲の探索処理が終了していなければ、探索位
置更新ステップＳ２４による探索位置更新処理を介し
て、２探索点マッチング誤差算出ステップＳ２１へ戻
し、終了していれば１画面終了判定ステップＳ０３へ処
理を移す。

【００５１】なお、この２探索点同時探索モードでは、
２探索点の距離が縮小参照画面で８画素である為、水平
方向に８回の探索処理を行うことで、図３に示すように
水平方向の１６点の探索が行え、縮小前の元画像サイズ
で表現すると、例えば−１６画素から＋１４画素の探索
になる。

【００５２】探索モード及び探索中心点設定ステップＳ
０１において、２マクロブロック同時探索モードが設定
された場合は、探索モード判定ステップＳ０２を介し
て、２マクロブロックマッチング誤差算出ステップＳ１
１に進む。

【００５３】２マクロブロックマッチング誤差算出ステ
ップＳ１１が選択された場合は、参照動きベクトルの平
均から探索中心点を決定する。現マクロブロックとこれ
に隣接するマクロブロックに対する探索中心点を同じ動
きベクトル（前述の参照動きベクトルの平均）で決定し
ているので、隣接するマクロブロックの探索中心点は現
マクロブロックの探索中心点から丁度マクロブロックサ
イズの画素数だけシフトする。

【００５４】つまり、図４に示すように隣接する２マク
ロブロックに対して、縮小現画面及び縮小参照画面から
それぞれ水平方向に連続する１６画素を第１、第２の２
つのＸＭＭレジスタ（ＸＭＭｎ、ＸＭＭｍ）に読み込ん
でそのままＰＳＡＤＢＷ命令を実行するだけで、２マク
ロブロックに対する１ライン分のマッチング誤差を同時
に算出できる。

【００５５】現画面、参照画面ともに縮小されているか
ら１マクロブロックは８画素×８ラインである。よっ
て、ＰＳＡＤＢＷ命令を８回繰り返して、それぞれの差
分絶対値の和を計算すれば２マクロブロックのブロック
マッチング誤差を算出できる。

【００５６】ここで、２マクロブロックマッチング誤差
算出ステップＳ１１を実装したプログラムの例を図１１
に示し、これを参照して１探索点のブロックマッチング
誤差を算出するのに必要な命令数を求める。

【００５７】まず、ステップＢ２１では、現画面及び参
照画面の左上端のアドレス及びループ回数のレジスタへ
のセットと差分絶対値和の累算に用いるレジスタの初期
化に４命令要する。ステップＢ２２からステップＢ２６
までの処理をループ内で行う。ステップＢ２２では、現
マクロブロックから第１のＸＭＭレジスタに連続する１
６画素分のデータを読み込むのに１命令要する。ステッ
プＢ２３では、参照画面から連続する１６画素（２探索
点にわたる合計２ライン）を第２のＸＭＭレジスタに読
み込むのに１命令要する。ステップＢ２４では、ＰＳＡ
ＤＢＷ命令で差分絶対値和を計算するのに１命令要す
る。ステップＢ２５では、求めた差分絶対値和の累算に
１命令要する。最後にステップＢ２６では、ループ関連
処理を行うのに（差分絶対値和計算対象ラインのシフト
及びループそのものの処理）３命令要する。以上、ルー
プ内では合計１＋１＋１＋１＋３＝７命令を要する。縮
小参照画面では、マクロブロックは８画素×８ラインで
あり、２探索点同時探索モードではラインマッチングは
１ラインずつ行っているので、ループを８回実行するか
ら、この８倍の命令数を必要とする。

【００５８】以上より、ブロックマッチングに必要な命
令数は４＋７×８＝６０命令である。しかし、６０命令
で行っている処理は２つのマクロブロックに関して１探
索点ずつのマッチング誤差算出であるから、１マクロブ
ロック１探索点あたりに換算すると半分の３０命令とな
る。従来は５８命令要していたので、２８命令も削減で
きた。

【００５９】最小マッチング誤差更新ステップＳ１２で
は、それぞれのマクロブロックについて個別に、求めた
ブロックマッチング誤差をこれまでに現マクロブロック
について計算したブロックマッチング誤差のうち最小の
もの（最小マッチング誤差）とを比較し、現マクロブロ
ックの方がブロックマッチング誤差が小さい場合は最小
マッチング誤差を現マクロブロックのブロックマッチン
グ誤差の値に更新するとともに、最小マッチング誤差に
対する動きベクトル候補も更新する。

【００６０】探索範囲終了判定ステップＳ１３では、現
マクロブロックに対する探索範囲の探索処理が終了した
かどうかを判定し、探索範囲の探索処理が終了していな
ければ、探索位置更新ステップＳ１４による探索位置更
新処理を介して、前記２マクロブロックマッチング誤差
算出ステップＳ１１へ戻し、終了していれば１画面終了
判定ステップＳ０３へ処理を移す。

【００６１】１画面終了判定ステップＳ０３では、現画
面の全マクロブロックに対する動きベクトル候補の探索
処理が終了したか否かを判定する。探索処理が終了して
いなければ、マクロブロック更新ステップＳ０４による
マクロブロック更新処理を介して探索モード及び探索中
心点設定ステップＳ０１に戻す。探索処理が終了してい
れば、前述の通り動きベクトル情報を記憶する配列には
検出結果が記憶されていることになるので、この配列を
出力して（例えば、Ｃ言語なら配列の先頭へのポイン
タ）、現画面の全マクロブロックに対する縮小画面での
動きベクトル候補の探索処理を終了する。

【００６２】なお、本実施形態では、各マクロブロック
の動きベクトル情報を記憶する配列を用意して直接配列
の値を更新するようにしたが、これに限定しない。例え
ば、動きベクトル候補を格納する一時変数を用意して、
１マクロブロックに対する探索処理が完了してから動き
ベクトル情報を記憶する配列の値を更新しても良い。

【００６３】以上、本実施形態によれば、１回のＰＳＡ
ＤＢＷ命令毎に必要となる前処理において従来行われて
いた画素データの結合処理を不要化ないし簡略化するこ
とができるので、１回のブロックマッチング誤差算出に
要する命令を削減でき、結果として高速処理が可能とな
る。

【００６４】

【発明の効果】以上、本発明によれば動きベクトル検出
に用いられるブロックマッチング誤差算出において、１
回毎のＳＳＥ２のＰＳＡＤＢＷ命令実行前に必要な前処
理が従来に比べて不要化・簡略化できるので命令数が削
減でき、高速な動きベクトル検出を行う事ができる。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出処理のフローチャ
ート。

【図２】本発明の２探索点同時探索モードにおける差
分絶対値和計算時のＸＭＭレジスタの設定方法を説明す
る図。

【図３】本発明の２探索点同時探索モードにおける探
索点及び探索範囲の例を示す図。

【図４】本発明の２マクロブロック同時探索モードに
おける差分絶対値和計算時のＸＭＭレジスタの設定方法
を説明する図。

【図５】従来のブロックマッチング誤差計算における
差分絶対値和計算時のＸＭＭレジスタの設定方法を説明
する図。

【図６】ＳＳＥ２のＰＳＡＤＢＷ命令を説明するため
の図。

【図７】本発明の一実施形態で用いられるテレスコピ
ックサーチを説明する図。

【図８】本発明の一実施形態において、参照画面の直
後の画面の動きベクトル検出を行う場合を説明する図。

【図９】従来のＳＳＥ２を用いた１ブロック毎のブロ
ックマッチングを実装したプログラムの例。

【図１０】本発明の２探索点同時探索モードにおける
ブロックマッチングステップを実装したプログラムの
例。

【図１１】本発明の２マクロブロック同時探索モード
におけるブロックマッチングステップを実装したプログ
ラムの例。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK15 KK19 LB05 MA00 NN03 NN10 NN28 PP05 PP06 PP07 UA39 5J064 AA02 BB01 BB03 BC04 BC14 BC29

Claims

【特許請求の範囲】

【請求項１】水平方向に縮小した画面を用いて動画像の
第１の画面のマクロブロックである現マクロブロックが
第２の画面のどの領域から動いたものかを表す動きベク
トルをブロックマッチング法を用いて計算する方法であ
って、第１の現マクロブロックとこれと水平方向に隣接
する第２の現マクロブロックをマッチング単位として第
２の画面との間でブロックマッチングを行い、第１及び
第２の現マクロブロックに対する動きベクトル算出を行
うことを特徴とする動きベクトル検出方法。
【請求項２】水平方向に縮小した画面を用いて動画像の
第１の画面のマクロブロックである現マクロブロックが
第２の画面のどの領域から動いたものかを表す動きベク
トルをブロックマッチング法を用いて計算する方法であ
って、第１の現マクロブロックを水平方向に２つ並べた
ものをマッチング単位として第２の画面との間でブロッ
クマッチングを行い、第２の画面上の、マクロブロック
を水平方向に２つ並べた形状の領域である参照領域に対
する２つの動きベクトル候補を評価することで、第１の
現マクロブロックに対する動きベクトル算出を行うこと
を特徴とする動きベクトル検出方法。
【請求項３】水平方向に縮小した画面を用いて動画像の
第１の画面のマクロブロックである現マクロブロックが
第２の画面のどの領域から動いたものかを表す動きベク
トルを、時間的に第１の画面の直前に入力された第３の
画面上にあって前記マクロブロックと同位置にあるマク
ロブロックである直前マクロブロックの有する第２の画
面に対する動きベクトルである参照動きベクトルを用い
てブロックマッチング法による探索領域を決定してから
計算する方法であって、第１の現マクロブロックと画面
上同位置である第１の直前マクロブロックの第１の参照
動きベクトルと、第１の現マクロブロックの水平方向に
隣接する第２の現マクロブロックに対する第２の直前マ
クロブロックの第２の参照動きベクトルとの差を算出
し、前記第１及び第２の参照動きベクトルの差が所定の
範囲内ならば、第１の現マクロブロックとこれと水平方
向に隣接する第２の現マクロブロックをマッチング単位
として第２の画面との間でブロックマッチングを行い、
第１及び第２の現マクロブロックに対する動きベクトル
算出を行い、前記参照動きベクトルの差が所定の範囲外
ならば、第１の現マクロブロックを水平方向に２つ並べ
たものをマッチング単位として第２の画面との間でブロ
ックマッチングを行い、第２の画面上の、マクロブロッ
クを水平方向に２つ並べた形状の領域である参照領域に
対する２つの動きベクトル候補を評価することで、第１
の現マクロブロックに対する動きベクトル算出を行うこ
とを特徴とする動きベクトル検出方法。
【請求項４】水平方向に１／２に縮小した画面で第１の
現マクロブロックと、これの右隣の第２の現マクロブロ
ックに対する動きベクトルを求める場合の前記ブロック
マッチングは、１６画素の画素情報を格納可能な第１、
第２のレジスタ間で１命令で第１、第２のレジスタ間の
上位８画素の差分絶対値和と第１、第２のレジスタ間の
下位８画素の差分絶対値和を独立して計算する命令を用
いたラインマッチングを繰り返すことでブロック全体の
差分絶対値和を求めて行い、前記ラインマッチングの実
行にあたっては、現画面の第１のマクロブロックの左端
から連続する１６画素を第１のレジスタに読み込むこと
で、第１の現マクロブロックの１ライン分の８画素を第
１のレジスタの上位に、第２の現マクロブロックの１ラ
イン分の８画素を第１のレジスタの下位にセットし、第
２の画面のマッチング領域から連続する１６画素を第２
のレジスタに読み込むことで、第１の現マクロブロック
の１ラインに対応する参照領域の１ライン分の画素を第
２のレジスタの上位に、第２の現マクロブロックに対応
する参照領域の１ライン分の画素を第２のレジスタの下
位にセットして前記命令を実行することを特徴とする請
求項１または請求項３記載の動きベクトル検出方法。
【請求項５】水平方向に１／２に縮小した画面で第１の
現マクロブロックに対する動きベクトルを求める場合の
前記ブロックマッチングは、１６画素の画素情報を格納
可能な第１、第２のレジスタ間で１命令で第１、第２の
レジスタ間の上位８画素の差分絶対値和と第１、第２の
レジスタ間の下位８画素の差分絶対値和を独立して計算
する命令を用いたラインマッチングを繰り返すことでブ
ロック全体の差分絶対値和を求めて行い、前記ラインマ
ッチングの実行にあたっては、現画面の第１のマクロブ
ロックの１ライン分の画素を第１のレジスタの下位にセ
ットして、これを第１のレジスタの上位にコピーし、第
２の画面のマッチング領域から連続する１６画素を第２
のレジスタに読み込むことで、第２の画面の第１の参照
領域の１ライン分の画素を第２のレジスタの上位に、前
記第１の参照領域から８画素右にシフトした位置にあ
る、第２の参照領域の１ライン分の画素を第２のレジス
タの下位にセットして前記命令を実行することを特徴と
する請求項２または請求項３記載の動きベクトル検出方
法。
【請求項６】水平方向に縮小した画面を用いて動画像の
第１の画面のマクロブロックである現マクロブロックが
第２の画面のどの領域から動いたものかを表す動きベク
トルを、時間的に第１の画面の直前に入力された第３の
画面上にあって、前記マクロブロックと同位置にあるマ
クロブロックである直前マクロブロックの有する第２の
画面に対する動きベクトルである参照動きベクトルを用
いてブロックマッチング法による探索領域を決定してか
ら計算する方法であって、第１の現マクロブロックと画
面上同位置である第１の直前マクロブロックの第１の参
照動きベクトルと、第１の現マクロブロックの水平方向
に隣接する第２の現マクロブロックに対する第２の直前
マクロブロックの第２の参照動きベクトルとの差が、所
定の範囲内ならば動きベクトル探索モードを２マクロブ
ロック同時探索モードに設定して探索中心点を第１及び
第２の参照動きベクトルに基づいて設定し、差が所定の
範囲外ならば動きベクトル探索モードを２探索点同時探
索モードに設定して探索中心点を第１の参照動きベクト
ルに基づいて設定する探索モード及び探索中心点設定ス
テップと、動きベクトル探索モードが２マクロブロック
同時探索モードの場合に、第１及び第２の現マクロブロ
ックと、探索中心点から所定の領域で第２の画面から抽
出したマクロブロックと同じ形状・面積の第１、第２の
参照領域との間でブロックマッチング誤差を一括して算
出する２マクロブロック同時マッチング誤差算出ステッ
プと、動きベクトル探索モードが２探索点同時探索モー
ドの場合に、第１の現マクロブロックと、探索中心点か
ら所定の領域で第２の画面から抽出したマクロブロック
と同じ形状・面積の第１の参照領域及び隣接する第２の
参照領域との間の２つのブロックマッチング誤差を一括
して算出する２探索点同時マッチング誤差算出ステップ
と、動きベクトル探索モードが２マクロブロック同時探
索モードの場合には第１、第２それぞれの現マクロブロ
ックに対して個別に最小ブロックマッチング誤差となる
探索点の座標から動きベクトルをそれぞれ求め、動きベ
クトル探索モードが２探索点同時探索モードの場合に第
１の現マクロブロックに対して最小ブロックマッチング
誤差となる探索点の座標から動きベクトルを算出する動
きベクトル算出ステップと有することを特徴とする動き
ベクトル検出方法。
【請求項７】前記第１、第２の参照動きベクトルの差が
所定の範囲内である場合は、前記動きベクトル探索モー
ドを２マクロブロック同時探索モードに設定し、前記探
索中心点が第１、第２の参照動きベクトルの平均ベクト
ルで設定されることを特徴とする、請求項６記載の動き
ベクトル検出方法。
【請求項８】第１の現マクロブロックに隣接し、動きベ
クトルが未検出の第２の現マクロブロックが存在しない
場合は、動きベクトル探索モードを２探索点同時探索モ
ードに設定すると共に探索中心点を第１の現マクロブロ
ックに対する第１の参照動きベクトルにより設定するこ
とを特徴とする請求項６または請求項７記載の動きベク
トル検出方法。
【請求項９】前記動きベクトルの算出は、ブロックマッ
チング誤差を計算して行い、前記ブロックマッチング誤
差は、１命令で８画素間の差分絶対値の和を２つ計算さ
せることのできる特定の命令を使用することを特徴とす
る請求項６乃至請求項８記載の動きベクトル検出方法。
【請求項１０】請求項１乃至９記載の方法で動きベクト
ルを検出した後で、縮小前の現画面である元現画面のマ
クロブロックと縮小前の参照画面である元参照画面との
間で前記動きベクトルが示す元参照画面上の点を中心と
する所定の領域を探索点とするブロックマッチングを行
い、最小マッチング誤差となる点の座標から動きベクト
ルを求めることを特徴とする動きベクトル検出方法。
【請求項１１】水平方向に縮小した画面を用いて入力画
面のマクロブロックが参照画面のどの領域から動いたも
のかを表す動きベクトルを計算するために、コンピュー
ターを入力画面の第１の現マクロブロックと画面上の位
置が同じである参照画面の第１の参照マクロブロックの
動きベクトルである第１の参照動きベクトルと、第２の
現マクロブロックに対する第２の参照マクロブロックの
第２の参照動きベクトルとの差を計算する参照ベクトル
差検出手段と、前記第１、第２の参照動きベクトルの差
が所定の範囲内である場合には２マクロブロック同時探
索モードを、所定の範囲外である場合には２探索点同時
探索モードを選択する探索モード選択手段と、２マクロ
ブロック同時探索モードが選択された場合に探索中心点
を前記第１、第２の参照動きベクトルに基づいて設定
し、２探索点同時探索モードが選択された場合に探索中
心点を前記第１の参照動きベクトルに基づいて設定する
探索中心点設定手段と、２マクロブロック同時探索モー
ドの場合に２つのマクロブロックに対して同時にブロッ
クマッチング誤差を計算する２マクロブロック同時ブロ
ックマッチング誤差計算手段と、２探索点同時探索モー
ドの場合に第１の現マクロブロックに対する２つの探索
点のブロックマッチング誤差を同時に計算する２探索点
同時ブロックマッチング誤差計算手段と、２マクロブロ
ック同時探索モードの場合に第１、第２の現マクロブロ
ックに対してそれぞれ最小ブロックマッチング誤差とな
る探索点から動きベクトルを算出する２マクロブロック
同時探索モード動きベクトル計算手段と、２探索点同時
探索モードの場合に第１の現マクロブロックに対して最
小ブロックマッチング誤差となる探索点から動きベクト
ルを算出する２探索点同時探索モード動きベクトル計算
手段と、２マクロブロック同時探索モード動きベクトル
計算手段及び２探索点同時探索モード動きベクトル計算
手段で計算された動きベクトルを検出結果として出力す
る動きベクトル検出結果出力手段として機能させるプロ
グラム。