JP2000032471A - 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ブロックマッチングにより動きベクトルを求
める際に、演算量を削減でき、高速処理を可能とする。 【解決手段】 処理の対象となる現画面において分割さ
れた現画面のブロックに対して、参照画面内における同
位置を基点としてそのブロックと大きさの等しい参照画
面のブロックを抽出し、所定の探索範囲内で参照画面の
ブロックを動かしながら、現画面のブロックと参照画面
のブロックとの間の残差を求め、この残差が最小となる
参照画面のブロックを検出して動きベクトルを算出す
る。このとき、参照画面のブロックの輪郭画素と現画面
のブロックの輪郭画素とを比較して、現画面のブロック
と参照画面のブロックとの間の残差を求める。これによ
り、演算量が削減され、高速処理が可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、ＭＰＥ
Ｇ（Moving Picture Experts Group）２方式のエンコー
ド処理をソフトウェアで行なう場合に用いて好適な動き
ベクトル算出方法及び動きベクトル算出プログラムを記
録した記録媒体に関する。

【０００２】

【従来の技術】画像の高能率圧縮方式としてＭＰＥＧ２
方式が普及している。ＭＰＥＧ２方式は、動き補償予測
符号化とＤＣＴ（Discrete Cosine Transform ）とによ
りビデオ信号を圧縮符号化するものである。

【０００３】ＭＰＥＧ２方式では、Ｉ（Intra ）ピクチ
ャと、Ｐ（Predicti）ピクチャと、Ｂ（Bidirectionall
y Predictive）ピクチャと呼ばれる３種類の画面が送ら
れる。Ｉピクチャでは、同一のフレームの画素を使って
ＤＣＴ符号化が行なわれる。Ｐピクチャでは、既に符号
化されたＩピクチャ又はＰピクチャを参照して、動き補
償予測を用いたＤＣＴ符号化が行なわれる。Ｂピクチャ
では、その前後のＩピクチャ又はＰピクチャを参照し
て、動き予測を用いたＤＣＴ符号化が行なわれる。

【０００４】なお、Ｐピクチャ及びＢピクチャでは、マ
クロブロックの単位では、イントラ符号化を含む場合も
ある。すなわち、直流分を多く含むような画面では、画
面内のイントラ符号化による方が効率的に圧縮できる。
このような画面の場合には、イントラ符号化が行なわれ
る。

【０００５】図５は、従来のＭＰＥＧ２方式のエンコー
ダの構成の一例を示すものである。図５において、入力
端子１０１に、例えば、輝度信号Ｙと、色差信号Ｃｂ、
Ｃｒからなるコンポーネントディジタルビデオ信号が供
給される。入力端子１０１からのディジタルビデオ信号
は、動きベクトル検出回路１０３を介してフレームメモ
リ１０２に一旦蓄積される。このフレームメモリ１０２
は、少なくとも、現画面と、過去の参照画面と、未来の
参照画面との３フレーム分の画像を蓄積できる容量を有
している。

【０００６】フレームメモリ１０２に蓄積されたデータ
を用いて、動きベクトル検出回路１０３で、参照画面と
現画面との間の動きベクトルが求められる。動きベクト
ルは、例えば、（１６×１６）画素からなるマクロブロ
ックを単位として求められる。求められた動きベクトル
ＭＶは、可変長符号化回路１０８、動き補償回路１１５
に供給される。また、動きベクトル検出回路１０３で動
きベクトルを求める際に得られる残差情報ｅは、モード
設定回路１０４に供給される。

【０００７】フレームメモリ１０２の出力は、動きベク
トル検出回路１０３を介して、スイッチ回路１０５の端
子１０５Ａに供給されると共に、減算回路１０６及び減
算回路１０７に供給される。減算回路１０６の出力がス
イッチ回路１０５の端子１０５Ｂに供給される。減算回
路１０７の出力がスイッチ回路１０５の端子１０５Ｃに
供給される。

【０００８】スイッチ回路１０５は、モード設定回路１
０４からのモード設定信号により、符号化モードに応じ
て切り換えられる。すなわち、スイッチ回路１０５は、
フレーム内符号化モードのときには、端子１０５Ａ側に
設定され、順方向予測符号化モードのときには、端子１
０５Ｂ側に設定され、双方向予測符号化モードのときに
は、端子１０５Ｃ側に設定される。

【０００９】Ｉピクチャを伝送するときには、フレーム
内予測符号化が行なわれる。このときには、スイッチ回
路１０５は、端子１０５Ａ側に設定される。そして、フ
レームメモリ１０２からは、現フレームの画像データが
出力される。この現フレームの画像データは、スイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。

【００１０】ＤＣＴ回路１０６により、（８×８）を１
ブロックとして、時間領域のビデオ信号がＤＣＴ変換さ
れ、周波数領域のスペクトラムデータに変換される。こ
のスペクトラムデータは、所謂ジグザグスキャンによ
り、直流分の成分から順に読み出される。ＤＣＴ変換回
路１０６の出力が量子化回路１０７に供給される。

【００１１】量子化回路１０７には、送信バッファ１０
９から送られてくる出力ビットレートの情報に応じて、
量子化スケールが設定される。量子化回路１０７で、こ
の量子化スケールにより、ＤＣＴ変化回路１０６からの
スペクトラムデータが量子化される。これにより、出力
されるビットストリームのビットレートが一定に保たれ
る。

【００１２】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００１３】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００１４】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｉピクチャの場合
には、フレーム内の画素でＤＣＴ変換が行なわれるた
め、逆量子化回路１１０及びＩＤＣＴ回路１１２によ
り、元の画面が形成される。この１画面分のディジタル
ビデオデータは、加算回路１１３を介して、画像フレー
ムメモリ１１４に供給される。このフレームメモリ１１
４に蓄積されたデータが次のＰピクチャ又はＢピクチャ
での参照フレームのデータとされる。

【００１５】Ｐピクチャを伝送するときには、参照フレ
ームとの間で順方向予測符号化が行なわれる。このとき
には、スイッチ回路１０５は、端子１０５Ｂ側に設定さ
れる。フレームメモリ１０２からは、現フレームのディ
ジタルビデオ信号が出力される。このフレームメモリ１
０２の出力は、減算回路１０６に供給される。

【００１６】フレームメモリ１１４には、参照フレーム
のデータが蓄積されている。この参照フレームのデータ
は、動き補償回路１１５により、動き補償され、減算回
路１０６に供給される。減算回路１０６で、現フレーム
のデータと、動き補償された参照フレームのデータとの
差分が求められる。この現フレームのデータと、参照フ
レームのデータとの差分データがスイッチ回路１０５を
介して、ＤＣＴ回路１０６に供給される。

【００１７】ＤＣＴ回路１０６により、参照フレームの
データと現フレームのデータとの差分データがＤＣＴ変
換され、スペクトラムデータに変換される。ＤＣＴ変換
回路１０６の出力が量子化回路１０７に供給される。量
子化回路１０７で、ＤＣＴ変化回路１０６からのスペク
トラムデータが量子化される。

【００１８】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００１９】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００２０】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｐピクチャの場合
には、参照フレームのデータと現画面のデータとの差分
がＤＣＴ変換されるため、逆量子化回路１１０及びＩＤ
ＣＴ回路１１２により、参照フレームのデータと現画面
のデータとの差分が得られる。この差分データが加算回
路１１３に供給される。

【００２１】加算回路１１３には、フレームメモリ１１
４から、動き補償回路１１５を介して、それまでの参照
画面のデータが供給される。加算回路１１３で、それま
での参照画面のデータに差分データが加算される。この
加算回路１１３の出力が次の参照フレームのデータとし
てフレームメモリ１１４に蓄積される。

【００２２】Ｂピクチャを伝送するときには、過去の参
照フレームと、未来の参照フレームとを使って、両方向
予測符号化が行なわれる。このときには、スイッチ回路
１０５は、端子１０５Ｃ側に設定される。フレームメモ
リ１０２からは、現フレームのディジタルビデオ信号が
出力される。このバッファメモリ１０２の出力は、減算
回路１０７に供給される。

【００２３】フレームメモリ１１４には、過去参照フレ
ームと、未来の参照フレームのデータが蓄積されてい
る。この両方の参照フレームのデータは、動き補償回路
１１５により、動き補償され、減算回路１０７に供給さ
れる。減算回路１０７で、現フレームのデータと、動き
補償された過去及び未来の参照フレームのデータとの差
分が求められる。この現フレームのデータと、過去及び
未来の参照フレームのデータとの差分データがスイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。

【００２４】ＤＣＴ回路１０６により、過去及び未来の
参照フレームのデータと、現フレームのデータとの差分
データがＤＣＴ変換され、スペクトラムデータに変換さ
れる。ＤＣＴ変換回路１０６の出力が量子化回路１０７
に供給される。量子化回路１０７で、ＤＣＴ変化回路１
０６からのスペクトラムデータが量子化される。

【００２５】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００２６】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００２７】

【発明が解決しようとする課題】近年、ＣＰＵの処理速
度が飛躍的に向上され、大容量のメモリが安価に入手で
きるようになってきている。そこで、上述のようなＭＰ
ＥＧ２のエンコード処理をソフトウェアで行なうことが
考えられている。

【００２８】ところが、ＭＰＥＧ２のエンコードには、
動きベクトルを算出する処理が必要である。動きベクト
ルは、処理の対象となる現フレームにおいて分割された
ブロックに対して、参照フレーム画面内における同位置
を基点としてそのブロックと大きさの等しいブロックを
抽出し、所定の探索範囲内でこのブロックを動かしなが
ら、参照フレームのブロックの各画素と現フレームのブ
ロックの各画素との差分の絶対値和から残差を求め、こ
の残差が最小となる参照フレームのブロックを求めるよ
うなブロックマッチングにより求められる。このブロッ
クマッチングの処理は、多くの演算が必要であり、この
ことがＭＰＥＧ２のエンコード処理をソフトウェアで行
なわせる場合に問題となる。

【００２９】つまり、図６において、現フレーム２０１
にブロックＣＢＬＫでの動きベクトルを求める場合に
は、このブロックＣＢＬＫの位置を基点とする参照フレ
ーム２０２の周囲が探索範囲ＳＡとされる。この探索範
囲ＳＡ内の参照フレームのブロックＲＢＬＫが取り出さ
れ、このブロックＲＢＬＫの（１６×１６）の各画素
と、現フレームのブロックＣＢＬＫの（１６×１６）の
各画素との間の差分が求められ、この差分の絶対値和か
ら、残差が求められる。参照フレーム２０３のブロック
ＲＢＬＫは、所定の探索範囲ＳＡ内で動かされ、所定の
探索範囲ＳＡ内のブロックＲＢＬＫ内の各位置におい
て、同様に、ブロックＲＢＬＫの各画素と、現フレーム
２０１のブロックＣＢＬＫの各画素との間の差分が求め
られ、この差分の絶対値和から、残差が求められる。こ
れら各位置で求められた参照フレームのブロックＲＢＬ
Ｋの各画素と、現フレームのブロックＣＢＬＫの各画素
との間の差分の絶対値和が比較され、残差が最小となる
ブロックがマッチングブロックとされる。このマッチン
グブロックから動きベクトルが求められる。

【００３０】このようなブロックマッチングから動きベ
クトルを検出する場合、ブロックとして例えば（１６×
１６）を用いると、各画素の差分を求めるのに、 １６×１６＝２５６ 回の減算が必要であり、これらの各画素の差分の絶対値
和を求めるのに、２５６の数の総和を求める加算が必要
である。これらの演算を所定の探索範囲内で参照ブロッ
クを動かして各位置で行なうため、演算量は膨大にな
る。

【００３１】したがって、この発明の目的は、演算量を
削減でき、高速処理を可能とした動きベクトル演算方法
を提供することにある。

【００３２】

【課題を解決するための手段】この発明は、処理の対象
となる現画面において分割された現画面のブロックに対
して、参照画面内における同位置を基点としてそのブロ
ックと大きさの等しい参照画面のブロックを抽出し、所
定の探索範囲内で参照画面のブロックを動かしながら、
現画面のブロックと参照画面のブロックとの間の残差を
求め、この残差が最小となる参照画面のブロックを検出
して動きベクトルを算出する動きベクトル算出方法にお
いて、参照画面のブロックの輪郭画素と現画面のブロッ
クの輪郭画素とを比較して、現画面のブロックと参照画
面のブロックとの間の残差を求めるようにしたことを特
徴とする動きベクトル算出方法である。

【００３３】ブロックマッチングにより動きベクトルを
求める際に、参照画面の輪郭画素と現画面のブロックの
輪郭画素との差分の絶対値和から現画面のブロックと参
照フレームのブロックとの間の残差を求めるようにして
いる。これにより、演算量が削減され、高速処理が可能
になると共に、輪郭の画素については全ての画素につい
ての差分絶対値和が求められているので、動きベクトル
の精度は保たれる。

【００３４】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。図１は、この発明が適用
できるデータ処理装置の構成を示すものである。

【００３５】図１において、１はＣＰＵ（Central Proc
essing Unit ）、２はＲＯＭ（ReadOnly Memory）、３
はＲＡＭ（Random Access Memory）である。ＣＰＵ１、
ＲＯＭ２、ＲＡＭ３は、プロセッサバス４に接続され
る。

【００３６】ＣＰＵ１としては、例えば、ＭＭＸ機能を
有するプロセッサが用いられる。ＭＭＸ機能は、動画の
再生や、画像の加工、音声合成のような処理を高速で行
なえるように、１回の命令で連続したデータに対して同
じ処理を繰り返し行なえる命令を追加したものである。
なお、ＣＰＵ１は、このようなプロセッサに限定される
ものではない。

【００３７】ＲＯＭ２には、ブートストラップのプログ
ラムが格納されている。ＲＡＭ３は、作業用のメインメ
モリで、ＲＡＭ３の容量としては、例えば、６４Ｍｂｉ
ｔ以上のものを搭載することが望まれる。

【００３８】ＣＰＵ１は、ブリッジ回路５に接続されて
おり、ブリッジ回路５からプロセッサバス４が導出され
る。ブリッジ回路５は、例えばＰＣＩ（Peripherala Co
mponent Interconnect）バス６に接続される。ブリッジ
回路５は、ＣＰＵ１と、プロセッサバス４及びバス６と
を繋ぐと共に、メモリコントロールを行うものである。

【００３９】バス６には、ＩＤＥ（Integrated Device
Electronics ）コントローラ７、ＳＣＳＩ（Small Comp
uter System Interface ）コントローラ８、グラフィッ
クアクセレータ９、ＩＥＥＥ（Institute Of Electrica
l and Electronics Engineers ）１３９４コントローラ
１０が接続される。

【００４０】ＩＤＥコントローラ７には、ハードディス
クドライブやＣＤドライブ等のストレージデバイス１１
が接続される。ＳＣＳＩコントローラ８には、ハードデ
ィスクドライブやＣＤドライブ等のストレージデバイス
１２が接続される。また、ＳＣＳＩコントローラ８に
は、ストレージデバイスの他、イメージスキャナ等、種
々の周辺機器を取り付けることができる。グラフィック
スアクセレータ９には、ディスプレイ１３が取り付けら
れる。ＩＥＥＥ１３９４コントローラ１０には、ディジ
タルＶＣＲ（Video Cassette Recoder）等のオーディオ
ビデオ機器を接続することができる。

【００４１】バス６は、ブリッジ回路１４を介して、例
えばＩＳＡ（Industrial StandardArchitecture）バス
１５に接続される。ブリッジ回路１４は、バス６とバス
１５とを繋ぐものである。バス１５には、入力デバイス
コントローラ１６、フロッピディスクコントローラ１
７、パラレルコトローラ１８、ＲＳ２３２Ｃコントロー
ラ１９が接続される。

【００４２】入力デバイスコントローラ１６には、キー
ボードやマウス等の入力デバイス２０が接続される。フ
ロッピディスクコントローラ１７には、フロッピディス
クドライブ２１が接続される。パラレルコントローラ１
８には、プリンタ等を取り付けることができる。ＲＳ２
３２Ｃコントローラ１９には、モデム等を取り付けるこ
とができる。

【００４３】初期状態では、先ず、ＲＯＭ２に格納され
ているブートストラップのプログラムが走り、初期設定
が行なわれる。そして、ストレージデバイス１１又は１
２がアクセスされ、ストレージデバイス１１又は１２に
インストールされているオペレーティングシステムが読
み込まれ、プログラムの常駐部がメインメモリとされた
ＲＡＭ３に常駐される。これにより、オペレーティング
システムが起動され、このオペレーティングシステムの
管理の基に、種々の処理が実行される。

【００４４】なお、上述の例では、ＰＣＩバスとＩＳＡ
バスとを用いた構成とされているが、このような構成に
限定されるものではない。ＵＳＢ（Universal Serial B
us）を設け、このＵＳＢバスにキーボードやマウス等の
種々の機器を接続するようにしても良い。

【００４５】上述のようなデータ処理装置でＭＰＥＧ２
のエンコード処理を行なう場合には、ＭＰＥＧ２のエン
コード処理を行なうアプリケーションプログラムが実行
される。このアプリケーションプログラムは、ＩＤＥの
ハードディスク等のストレージデバイス１１又はＳＣＳ
Ｉのハードディスク等のストレージデバイス１２に実行
可能なプログラムとして格納されており、このアプリケ
ーションプログラムは、実行時にはＲＡＭ３に読み込ま
れ、ＣＰＵ１により逐次実行される。

【００４６】なお、このＭＰＥＧ２のエンコード処理を
行なうアプリケーションプログラムは、ＩＤＥのハード
ディスク等のストレージデバイス１１又はＳＣＳＩのハ
ードディスク等のストレージデバイス１２にプリインス
トールしておいても良いし、ＣＤ−ＲＯＭやフロッピー
ディスクに実行可能な形式又は圧縮された形式で提供
し、このＣＤ−ＲＯＭやフロッピーディスクに記録され
ているプログラムをユーザがＩＤＥのハードディスク等
のストレージデバイス１１又はＳＣＳＩのハードディス
ク等のストレージデバイス１２にインストールするよう
にしても良い。更に、このアプリケーションプログラム
を、通信でダウンロードできるようにしても良い。

【００４７】このＭＰＥＧ２のエンコード処理を行なう
アプリケーションプログラムが実行されると、ディジタ
ルビデオデータに対して、予測モードに応じて、動きベ
クトルの算出処理、ＤＣＴ演算処理、量子化処理、可変
長符号化処理が行なわれ、ディジタルビデオデータがＭ
ＰＥＧ２方式により圧縮される。このとき、作業用とし
て、ＲＡＭ３が用いられ、演算は、ＣＰＵ１の演算機能
を用いて行なわれる。ディジタルビデオデータは、例え
ば、ＩＥＥＥ１３９４コントローラ１０に接続された外
部のディジタルＶＣＲ等から入力される。そして、出力
データは、例えば、ＳＣＳＩコントローラ８やＩＤＥコ
ントローラ７に接続されたハードディスクドライブ等に
記録される。

【００４８】図２は、このようなＭＰＥＧ２のエンコー
ド処理プログラムの概要を示すフローチャートである。

【００４９】図２に示すように、先ず、複数フレームの
ディジタルビデオデータが取り込まれ、このディジタル
ビデオデータがＲＡＭ３上にバッファされる（ステップ
Ｓ１）。そして、ブロックマッチングにより、動きベク
トルが算出される（ステップＳ２）。なお、このブロッ
クマッチングは、後に説明するように、ブロックの輪郭
画素を用いて行なわれる。

【００５０】予測モードがＩピクチャか、Ｐピクチャ
か、Ｂピクチャかが判断される（ステップＳ３）。ステ
ップＳ３でＩピクチャであると判断されたら、同一フレ
ーム内での（８×８）画素を１ブロックとしてＤＣＴ演
算が行なわれる（ステップＳ４）。そして、求められた
係数データは量子化され（ステップＳ５）、可変長符号
化される（ステップＳ６）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ７）。

【００５１】ステップＳ３でＰピクチャであると判断さ
れたら、順方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ８）、この参照画像に対して、ステ
ップＳ２で算出された動きベクトルに基づいて動き補償
がなされ（ステップＳ９）、現画像のデータと、動き補
償された参照画像ののデータとの差分が求められ、この
現画像のデータと、参照画像のデータとの差分データが
ＤＣＴ演算される（ステップＳ１０）。そして、求めら
れたデータは量子化され（ステップＳ１１）、可変長符
号化される（ステップＳ１２）。また、このときのデー
タは、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ１３）。

【００５２】ステップＳ３でＢピクチャであると判断さ
れたら、両方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ１４）、この参照画像に対して、ス
テップＳ２で算出された動きベクトルに基づいて動き補
償がなされ（ステップＳ１５）、現画像のデータと、動
き補償された参照画像のデータとの差分が求められ、こ
の現画像のデータと、参照画像のデータとの差分データ
がＤＣＴ演算される（ステップＳ１６）。そして、求め
られたデータは量子化され（ステップＳ１７）、可変長
符号化される（ステップＳ１８）。

【００５３】上述のステップＳ２で示す動きベクトルの
算出処理は、ブロックマッチングにより行なわれる。ブ
ロックマッチングは、従来、処理の対象となる現フレー
ムにおいて分割されたブロックに対して、参照フレーム
画面内における同位置を基点としてそのブロックと大き
さの等しいブロックを抽出し、所定の探索範囲内でこの
ブロックを動かしながら、現フレームのブロックの各画
素と参照フレームのブロックの各画素との差分の絶対値
和から残差を求め、この残差が最小となる参照フレーム
のブロックを求めるようにして行なわれている。このよ
うに、従来では、現フレームのブロックの各画素と参照
フレームのブロックの各画素との差分の絶対値和から残
差を求めていたが、これでは、演算量が膨大になり、高
速処理を行なうことが困難である。

【００５４】そこで、この発明では、ブロックの輪郭の
画素についてのみ差分絶対値和を求めて、残差を算出す
るようにしている。

【００５５】すなわち、図３において、参照フレーム及
び現フレームのブロックは（１６×１６）画素からな
り、参照フレームの画素の値をＰ（Ｈｒ，Ｖｒ）で示
し、現フレームの画素の値をＰ（Ｈｃ，Ｖｃ）で示すと
する。参照フレームのブロックの上縁の輪郭画素Ｐ（Ｈ
ｒ，Ｖｒ）〜Ｐ（Ｈｒ＋１５，Ｖｒ）と、現フレームの
ブロックの上縁の輪郭画素Ｐ（Ｈｃ，Ｖｃ）〜Ｐ（Ｈｃ
＋１５，Ｖｃ）との差分の絶対値和と、参照フレームの
ブロックの左縁の輪郭画素Ｐ（Ｈｒ，Ｖｒ＋１）〜Ｐ
（Ｈｒ，Ｖｒ＋１４）と、現フレームのブロックの左縁
の輪郭画素Ｐ（Ｈｃ，Ｖｃ＋１）〜Ｐ（Ｈｃ，Ｖｃ＋１
４）との差分の絶対値和と、参照フレームのブロックの
右縁の輪郭画素Ｐ（Ｈｒ＋１５，Ｖｒ＋１）〜Ｐ（Ｈｒ
＋１５，Ｖｒ＋１４）と、現フレームのブロックの右縁
の輪郭画素Ｐ（Ｈｃ＋１５，Ｖｃ＋１）〜Ｐ（Ｈｃ＋１
５，Ｖｃ＋１４）との差分の絶対値和と、参照フレーム
のブロックの下縁の輪郭画素Ｐ（Ｈｒ，Ｖｒ＋１５）〜
Ｐ（Ｈｒ＋１５，Ｖｒ＋１５）と、現フレームのブロッ
クの下縁の輪郭画素Ｐ（Ｈｃ，Ｖｃ＋１５）〜Ｐ（Ｈｃ
＋１５，Ｖｃ＋１５）との差分の絶対値和とが求められ
る。この輪郭画素の差分の絶対値和が残差とされる。

【００５６】図４は、上述のように、ブロックの輪郭の
画素についてのみ差分絶対値和を求めることにより残差
を求めるようにした場合の処理を示すフローチャートで
ある。

【００５７】先ず、累積値ＡＤの値が「０」に初期化さ
れ（ステップＳ２１）、現フレームの画素の水平位置Ｈ
ｃ及び垂直位置Ｖｃ、参照フレームの水平位置Ｈｒ及び
垂直位置Ｖｒが初期化される（ステップＳ２２）。そし
て、オフセットＯが「０」に初期化される（ステップＳ
２３）。

【００５８】参照フレームの画素Ｐ（Ｈｒ＋Ｏ，Ｖｒ）
の値と、現フレームの画素Ｐ（Ｈｃ＋Ｏ，Ｖｃ）の現画
素の値との差分の絶対値が求められ、これが累積値ＡＤ
とされる（ステップＳ２４）。そして、オフセットＯが
インクリメントされ（ステップＳ２５）、このオフセッ
トＯが１６になったか否かが判断される（ステップＳ２
６）。オフセットＯが１６未満なら、ステップＳ２４に
戻される。

【００５９】このステップＳ２４からＳ２６のループに
より、参照フレームのブロックの上縁の輪郭画素Ｐ（Ｈ
ｒ，Ｖｒ）〜Ｐ（Ｈｒ＋１５，Ｖｒ）と、現フレームの
ブロックの上縁の輪郭画素Ｐ（Ｈｃ，Ｖｃ）〜Ｐ（Ｈｃ
＋１５，Ｖｃ）との差分の絶対値和が求められる。

【００６０】つまり、オフセットＯは、ステップＳ２３
で「０」に初期化されている。このため、先ず、参照フ
レームのブロックの左上の画素Ｐ（Ｈｒ，Ｖｒ）の値
と、これに対応する現フレームのブロックの左上の画素
Ｐ（Ｈｃ，Ｖｃ）の値との差分の絶対値が求められ、こ
れが累積値ＡＤとされる。

【００６１】次に、ステップＳ２５で、オフセットＯが
インクリメントされる。したがって、その右隣の画素の
値との差分の絶対値が求められ、この値がそれまでの累
積値ＡＤに加算され、これが新たな累積値ＡＤとされ
る。オフセットＯが「１５」となるまで上述のステップ
を繰り返していくことにより、参照フレームのブロック
の上縁の輪郭画素Ｐ（Ｈｒ，Ｖｒ）〜Ｐ（Ｈｒ＋１５，
Ｖｒ）と、現フレームのブロックの上縁の輪郭画素Ｐ
（Ｈｃ，Ｖｃ）〜Ｐ（Ｈｃ＋１５，Ｖｃ）との差分絶対
値和が求められる。

【００６２】このように、ステップＳ２４からＳ２６の
ループにより、ブロックの上縁の輪郭画素の差分の絶対
値和が求められる。そして、ステップＳ２６で、オフセ
ットＯが「１６」になったか否かが判断され、オフセッ
トＯが「１６」になったら、ブロックの右端に達したと
して、オフセットＯが「１」に初期化される（ステップ
Ｓ２７）。

【００６３】次に、参照フレームのブロックの画素Ｐ
（Ｈｒ，Ｖｒ＋Ｏ）の値と、現フレームのブロックの画
素Ｐ（Ｈｃ，Ｖｃ＋Ｏ）の値との差分の絶対値と、参照
フレームのブロックの画素Ｐ（Ｈｒ＋１５，Ｖｒ＋Ｏ）
の値と現フレームのブロックの画素Ｐ（Ｈｃ＋１５，Ｖ
ｃ＋Ｏ）の値との差分の絶対値が求められ、これらの和
が累積値ＡＤとされる（ステップＳ２８）。そして、オ
フセットＯがインクリメントされ（ステップＳ２９）、
このオフセットＯが「１５」未満か否かが判断される
（ステップＳ３０）。オフセットＯが「１５」未満な
ら、ステップＳ２８に戻される。

【００６４】このステップＳ２８からＳ３０のループに
より、参照フレームのブロックの左縁の輪郭画素Ｐ（Ｈ
ｒ，Ｖｒ＋１）〜Ｐ（Ｈｒ，Ｖｒ＋１４）と、現フレー
ムのブロックの左縁の輪郭画素Ｐ（Ｈｃ，Ｖｃ＋１）〜
Ｐ（Ｈｃ，Ｖｃ＋１４）との差分の絶対値和と、参照フ
レームのブロックの右縁の輪郭画素Ｐ（Ｈｒ＋１５，Ｖ
ｒ＋１）〜Ｐ（Ｈｒ＋１５，Ｖｒ＋１４）と、現フレー
ムのブロックの右縁の輪郭画素Ｐ（Ｈｃ＋１５，Ｖｃ＋
１）〜Ｐ（Ｈｃ＋１５，Ｖｃ＋１４）との差分の絶対値
和とが求められる。

【００６５】そして、ステップＳ３０で、オフセットＯ
が「１５」になったか否かが判断され、オフセットＯが
「１５」になったら、ブロックの下端に達したとして、
オフセットＯが「０」に初期化される（ステップＳ３
１）。

【００６６】次に、参照フレームのブロックの画素Ｐ
（Ｈｒ＋Ｏ，Ｖｒ＋１５）の値と現フレームのブロック
の画素Ｐ（Ｈｃ＋Ｏ，Ｖｃ＋１５）の値との差分の絶対
値和が求められ、これが累積値ＡＤとされる（ステップ
Ｓ３２）。そして、オフセットＯがインクリメントされ
（ステップＳ３３）、このオフセットＯが「１６」未満
か否かが判断される（ステップＳ３４）。オフセットＯ
が「１６」未満なら、ステップＳ３２に戻される。

【００６７】ステップＳ３２からＳ３４のループによ
り、参照フレームのブロックの下縁の輪郭画素Ｐ（Ｈ
ｒ，Ｖｒ＋１５）〜Ｐ（Ｈｒ＋１５，Ｖｒ＋１５）と、
現フレームのブロックの下縁の輪郭画素Ｐ（Ｈｃ，Ｖｃ
＋１５）〜Ｐ（Ｈｃ＋１５，Ｖｃ＋１５）との差分の絶
対値和が求められる。オフセットＯが「１６」になった
ら、ブロックの右端に達したとして、処理が終了され
る。

【００６８】このように、ステップＳ２４からＳ２６の
ループにより、ブロックの上縁の輪郭画素の差分絶対値
和が求められ、ステップＳ２８からＳ３０のループによ
り、ブロックの左縁の輪郭画素の差分絶対値和と、ブロ
ックの右縁の輪郭画素の差分絶対値和とが求められ、ス
テップＳ３２からＳ３４のループにより、ブロックの下
縁の輪郭画素の差分絶対値和が求められる。したがっ
て、これらの処理により、ブロックの４辺の輪郭画素の
差分絶対値和が求められることになる。

【００６９】このように、ブロックの輪郭の画素につい
てのみ差分絶対値和を求めるようにした場合には、残差
を求めるための演算量が大幅に削減でき、高速にブロッ
クマッチングを行なえるようになる。すなわち、ブロッ
クの大きさを（１６×１６）としたときには、全画素を
使って差分演算を行なうと、２５６回の差分演算が必要
であるが、輪郭画素についてのみ差分演算を行なうと、
６０回の差分演算だけで終了することになる。また、輪
郭の画素については、間引きをせずに全ての画素につい
ての差分絶対値和が求められているので、１画素精度で
の動きベクトルの精度は保たれる。

【００７０】

【発明の効果】この発明によれば、ブロックマッチング
により動きベクトルを求める際に、参照画面のブロック
の輪郭画素と、現画面のブロックの輪郭画素との差分の
絶対値和を伝って残差を求めるようにしている。これに
より、演算量が削減され、高速処理が可能になると共
に、輪郭の画素については全ての画素についての差分絶
対値和が求められているので、動きベクトルの精度は保
たれる。

【図面の簡単な説明】

【図１】データ処理装置の一例のブロック図である。

【図２】ＭＰＥＧ２のエンコード処理の説明に用いるフ
ローチャートである。

【図３】この発明の実施の一形態の説明に用いる略線図
である。

【図４】この発明の実施の一形態の説明に用いるフロー
チャートである。

【図５】従来のＭＰＥＧ２方式のエンコーダの一例のブ
ロック図である。

【図６】ブロックマッチングの説明に用いる略線図であ
る。

【符号の説明】

１・・・ＣＰＵ，２・・・ＲＯＭ，３・・・ＲＡＭ，７
・・・ＩＤＥコントローラ，８・・・ＳＣＳＩコントロ
ーラ，１０・・・ＩＥＥＥ１３９４コントローラ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 処理の対象となる現画面において分割さ
   れた現画面のブロックに対して、参照画面内における同
   位置を基点としてそのブロックと大きさの等しい参照画
   面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
   がら、上記現画面のブロックと上記参照画面のブロック
   との間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
   きベクトルを算出する動きベクトル算出方法において、 上記参照画面のブロックの輪郭画素と上記現画面のブロ
   ックの輪郭画素とを比較して、上記現画面のブロックと
   参照画面のブロックとの間の残差を求めるようにしたこ
   とを特徴とする動きベクトル算出方法。
2. 【請求項２】 上記参照画面のブロックの輪郭画素と上
   記現画面のブロックの輪郭画素とを比較して上記現画面
   のブロックと参照画面のブロックとの間の残差を求める
   ステップは、 上記現画面のブロックの上縁の画素と上記参照画面の上
   縁の画素との差分の絶対値を累積しながら順次水平方向
   にスキャンさせて上記参照画面の上縁の輪郭画素と上記
   現画面のブロックの上縁の輪郭画素との差分の絶対値和
   を求めるステップと、 上記現画面のブロックの左右両縁の画素と上記参照画面
   の左右両縁の画素との差分の絶対値を累積しながら順次
   垂直方向にスキャンさせて上記参照画面のブロックの左
   右両縁の輪郭画素と上記現画面のブロックの左右両縁の
   輪郭画素との差分の絶対値和を求めるステップと、 上記現画面のブロックの下縁の画素と上記参照画面の下
   縁画素との差分の絶対値を累積しながら順次水平方向に
   スキャンさせて上記参照画面のブロックの下縁の輪郭画
   素と上記現画面のブロックの下縁の輪郭画素との差分の
   絶対値和を求めるステップとを含むようにした請求項１
   に記載の動きベクトル算出方法。
3. 【請求項３】 処理の対象となる現画面において分割さ
   れた現画面のブロックに対して、参照画面内における同
   位置を基点としてそのブロックと大きさの等しい参照画
   面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
   がら、上記現画面のブロックと上記参照画面のブロック
   との間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
   きベクトルを算出する動きベクトル算出プログラムであ
   って、 上記参照画面のブロックの輪郭画素と上記現画面のブロ
   ックの輪郭画素とを比較して、上記現画面のブロックと
   参照画面のブロックとの間の残差を求めるようにしたこ
   とを動きベクトル算出プログラムを記録した記録媒体。
4. 【請求項４】 上記参照画面のブロックの輪郭画素と上
   記現画面のブロックの輪郭画素とを比較して上記現画面
   のブロックと参照画面のブロックとの間の残差を求める
   ステップは、 上記現画面のブロックの上縁の画素と上記参照画面の上
   縁の画素との差分の絶対値を累積しながら順次水平方向
   にスキャンさせて上記参照画面の上縁の輪郭画素と上記
   現画面のブロックの上縁の輪郭画素との差分の絶対値和
   を求めるステップと、 上記現画面のブロックの左右両縁の画素と上記参照画面
   の左右両縁の画素との差分の絶対値を累積しながら順次
   垂直方向にスキャンさせて上記参照画面のブロックの左
   右両縁の輪郭画素と上記現画面のブロックの左右両縁の
   輪郭画素との差分の絶対値和を求めるステップと、 上記現画面のブロックの下縁の画素と上記参照画面の下
   縁画素との差分の絶対値を累積しながら順次水平方向に
   スキャンさせて上記参照画面のブロックの下縁の輪郭画
   素と上記現画面のブロックの下縁の輪郭画素との差分の
   絶対値和を求めるステップとを含むようにした請求項３
   に記載の動きベクトル算出プログラムを記録した記録媒
   体。