JP2000078589A - 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動きベクトルを求める際のブロックマッチン
グの計算量を削減でき、動きベクトルを高速で求めるこ
とができるようにして、ソフトウェアでＭＰＥＧ２のエ
ンコードを行えるようにする。 【解決手段】 参照画面のブロックの画素データを直交
変換すると共に、現画面のブロックの画素データを直交
変換し、直交変換された参照画面のブロックのデータ
と、直交変換された現画面のブロックのデータとから残
差を求めるようにする。このように画像データを周波数
データに変換して参照フレームのブロックと現フレーム
のブロックとの間の残差を求めるようにすると、残差を
求めるための演算量が大幅に減少される。これにより、
高速処理が可能となり、ソフトウェアでも十分に処理す
ることができるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、ＭＰＥ
Ｇ（Moving Picture Experts Group）２方式のエンコー
ド処理をソフトウェアで行なう場合に用いて好適な動き
ベクトル算出方法及び動きベクトル算出プログラムを記
録した記録媒体に関する。

【０００２】

【従来の技術】画像の高能率圧縮方式としてＭＰＥＧ２
方式が普及している。ＭＰＥＧ２方式は、動き補償予測
符号化とＤＣＴ（Discrete Cosine Transform ）とによ
りビデオ信号を圧縮符号化するものである。

【０００３】ＭＰＥＧ２方式では、Ｉ（Intra ）ピクチ
ャと、Ｐ（Predicti）ピクチャと、Ｂ（Bidirectionall
y Predictive）ピクチャと呼ばれる３種類の画面が送ら
れる。Ｉピクチャでは、同一のフレームの画素を使って
ＤＣＴ符号化が行なわれる。Ｐピクチャでは、既に符号
化されたＩピクチャ又はＰピクチャを参照して、動き補
償予測を用いたＤＣＴ符号化が行なわれる。Ｂピクチャ
では、その前後のＩピクチャ又はＰピクチャを参照し
て、動き予測を用いたＤＣＴ符号化が行なわれる。

【０００４】なお、Ｐピクチャ及びＢピクチャでは、マ
クロブロックの単位では、イントラ符号化を含む場合も
ある。すなわち、直流分を多く含むような画面では、画
面内のイントラ符号化による方が効率的に圧縮できる。
このような画面の場合には、イントラ符号化が行なわれ
る。

【０００５】図１０は、従来のＭＰＥＧ２方式のエンコ
ーダの構成の一例を示すものである。図１０において、
入力端子１０１に、例えば、輝度信号Ｙと、色差信号Ｃ
ｂ、Ｃｒからなるコンポーネントディジタルビデオ信号
が供給される。入力端子１０１からのディジタルビデオ
信号は、動きベクトル検出回路１０３を介してフレーム
メモリ１０２に一旦蓄積される。このフレームメモリ１
０２は、少なくとも、現画面と、過去の参照画面と、未
来の参照画面との３フレーム分の画像を蓄積できる容量
を有している。

【０００６】フレームメモリ１０２に蓄積されたデータ
を用いて、動きベクトル検出回路１０３で、参照画面と
現画面との間の動きベクトルが求められる。動きベクト
ルＭＶは、例えば、（１６×１６）画素からなるマクロ
ブロックを単位として求められる。求められた動きベク
トルＭＶは、可変長符号化回路１０８、動き補償回路１
１５に供給される。また、動きベクトル検出回路１０３
で動きベクトルを求める際に得られる残差情報ｅは、モ
ード設定回路１０４に供給される。

【０００７】フレームメモリ１０２の出力は、動きベク
トル検出回路１０３を介して、スイッチ回路１０５の端
子１０５Ａに供給されると共に、減算回路１０６及び減
算回路１０７に供給される。減算回路１０６の出力がス
イッチ回路１０５の端子１０５Ｂに供給される。減算回
路１０７の出力がスイッチ回路１０５の端子１０５Ｃに
供給される。

【０００８】スイッチ回路１０５は、モード設定回路１
０４からのモード設定信号により、符号化モードに応じ
て切り換えられる。すなわち、スイッチ回路１０５は、
フレーム内符号化モードのときには、端子１０５Ａ側に
設定され、順方向予測符号化モードのときには、端子１
０５Ｂ側に設定され、双方向予測符号化モードのときに
は、端子１０５Ｃ側に設定される。

【０００９】Ｉピクチャを伝送するときには、フレーム
内予測符号化が行なわれる。このときには、スイッチ回
路１０５は、端子１０５Ａ側に設定される。そして、フ
レームメモリ１０２からは、現フレームの画像データが
出力される。この現フレームの画像データは、スイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。

【００１０】ＤＣＴ回路１０６により、（８×８）を１
ブロックとして、時間領域のビデオ信号がＤＣＴ変換さ
れ、周波数領域のスペクトラムデータに変換される。こ
のスペクトラムデータは、所謂ジグザグスキャンによ
り、直流分の成分から順に読み出される。ＤＣＴ変換回
路１０６の出力が量子化回路１０７に供給される。

【００１１】量子化回路１０７には、送信バッファ１０
９から送られてくる出力ビットレートの情報に応じて、
量子化スケールが設定される。量子化回路１０７で、こ
の量子化スケールにより、ＤＣＴ変化回路１０６からの
スペクトラムデータが量子化される。これにより、出力
されるビットストリームのビットレートが一定に保たれ
る。

【００１２】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００１３】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００１４】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｉピクチャの場合
には、フレーム内の画素でＤＣＴ変換が行なわれるた
め、逆量子化回路１１０及びＩＤＣＴ回路１１２によ
り、元の画面が形成される。この１画面分のディジタル
ビデオデータは、加算回路１１３を介して、画像フレー
ムメモリ１１４に供給される。このフレームメモリ１１
４に蓄積されたデータが次のＰピクチャ又はＢピクチャ
での参照フレームのデータとされる。

【００１５】Ｐピクチャを伝送するときには、参照フレ
ームとの間で順方向予測符号化が行なわれる。このとき
には、スイッチ回路１０５は、端子１０５Ｂ側に設定さ
れる。フレームメモリ１０２からは、現フレームのディ
ジタルビデオ信号が出力される。このフレームメモリ１
０２の出力は、減算回路１０６に供給される。

【００１６】フレームメモリ１１４には、参照フレーム
のデータが蓄積されている。この参照フレームのデータ
は、動き補償回路１１５により、動き補償され、減算回
路１０６に供給される。減算回路１０６で、現フレーム
のデータと、動き補償された参照フレームのデータとの
差分が求められる。この現フレームのデータと、参照フ
レームのデータとの差分データがスイッチ回路１０５を
介して、ＤＣＴ回路１０６に供給される。

【００１７】ＤＣＴ回路１０６により、参照フレームの
データと現フレームのデータとの差分データがＤＣＴ変
換され、スペクトラムデータに変換される。ＤＣＴ変換
回路１０６の出力が量子化回路１０７に供給される。量
子化回路１０７で、ＤＣＴ変化回路１０６からのスペク
トラムデータが量子化される。

【００１８】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００１９】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００２０】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｐピクチャの場合
には、参照フレームのデータと現画面のデータとの差分
がＤＣＴ変換されるため、逆量子化回路１１０及びＩＤ
ＣＴ回路１１２により、参照フレームのデータと現画面
のデータとの差分が得られる。この差分データが加算回
路１１３に供給される。

【００２１】加算回路１１３には、フレームメモリ１１
４から、動き補償回路１１５を介して、それまでの参照
画面のデータが供給される。加算回路１１３で、それま
での参照画面のデータに差分データが加算される。この
加算回路１１３の出力が次の参照フレームのデータとし
てフレームメモリ１１４に蓄積される。

【００２２】Ｂピクチャを伝送するときには、過去の参
照フレームと、未来の参照フレームとを使って、両方向
予測符号化が行なわれる。このときには、スイッチ回路
１０５は、端子１０５Ｃ側に設定される。フレームメモ
リ１０２からは、現フレームのディジタルビデオ信号が
出力される。このバッファメモリ１０２の出力は、減算
回路１０７に供給される。

【００２３】フレームメモリ１１４には、過去参照フレ
ームと，未来の参照フレームのデータが蓄積されてい
る。この両方の参照フレームのデータは、動き補償回路
１１５により、動き補償され、減算回路１０７に供給さ
れる。減算回路１０７で、現フレームのデータと、動き
補償された過去及び未来の参照フレームのデータとの差
分が求められる。この現フレームのデータと、過去及び
未来の参照フレームのデータとの差分データがスイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。

【００２４】ＤＣＴ回路１０６により、過去及び未来の
参照フレームのデータと、現フレームのデータとの差分
データがＤＣＴ変換され、スペクトラムデータに変換さ
れる。ＤＣＴ変換回路１０６の出力が量子化回路１０７
に供給される。量子化回路１０７で、ＤＣＴ変化回路１
０６からのスペクトラムデータが量子化される。

【００２５】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。

【００２６】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。

【００２７】

【発明が解決しようとする課題】近年、ＣＰＵ（Centra
l Processing Unit ）の処理速度が飛躍的に向上される
とともに、大容量のメモリが安価に入手できるようにな
ってきている。そこで、上述のようなＭＰＥＧ２のエン
コード処理をソフトウェアで行なうことが考えられてい
る。

【００２８】ところが、ＭＰＥＧ２のエンコードには、
動きベクトルを算出する処理が必要である。動きベクト
ルは、処理の対象となる現フレームにおいて分割された
ブロックに対して、参照フレーム画面内における同位置
を基点としてそのブロックと大きさの等しいブロックを
抽出し、所定の探索範囲内でこのブロックを動かしなが
ら、参照フレームのブロックの各画素と現フレームのブ
ロックの各画素との差分の絶対値和から残差を求め、こ
の残差が最小となる参照フレームのブロックを求めるよ
うなブロックマッチングにより求められる。このブロッ
クマッチングの処理は、多くの演算が必要であり、この
ことがＭＰＥＧ２のエンコード処理をソフトウェアで行
なわせる場合に問題となる。

【００２９】つまり、図１１において、現フレーム２０
１のブロックＣＢＬＫでの動きベクトルを求める場合に
は、このブロックＣＢＬＫの位置を基点とする参照フレ
ーム２０２の周囲が探索範囲ＳＡとされる。この探索範
囲ＳＡ内の参照フレームのブロックＲＢＬＫが取り出さ
れ、このブロックＲＢＬＫの（１６×１６）の各画素
と、現フレームのブロックＣＢＬＫの（１６×１６）の
各画素との間の差分が求められ、この差分の絶対値和か
ら、残差が求められる。参照フレーム２０３のブロック
ＲＢＬＫは、所定の探索範囲ＳＡ内で動かされ、所定の
探索範囲ＳＡ内のブロックＲＢＬＫ内の各位置におい
て、同様に、ブロックＲＢＬＫの各画素と、現フレーム
２０１のブロックＣＢＬＫの各画素との間の差分が求め
られ、この差分の絶対値和から、残差が求められる。こ
れら各位置で求められた参照フレームのブロックＲＢＬ
Ｋの各画素と、現フレームのブロックＣＢＬＫの各画素
との間の差分の絶対値和が比較され、残差が最小となる
ブロックがマッチングブロックとされる。このマッチン
グブロックから動きベクトルが求められる。

【００３０】このようなブロックマッチングから動きベ
クトルを検出する場合、ブロックとして例えば（１６×
１６）を用いると、各画素の差分を求めるのに、１６×
１６＝２５６回の減算が必要であり、これらの各画素の
差分の絶対値和を求めるのに、２５６の数の総和を求め
る加算が必要である。

【００３１】更に、１画素ステップで所定の探索範囲内
で参照ブロックを動かしながら動きベクトルを検出する
と、その探索範囲の画素に相当する回数だけ残差を求め
る処理が必要になる。したがって、１画素ステップで所
定の探索範囲内でブロックを動かしながら残差を求め、
この残差が最小になるブロックの位置から動きベクトル
を検出するようにすると、その演算量は膨大となり、ソ
フトウェアで処理するには難しくなる。

【００３２】したがって、この発明の目的は、動きベク
トルを求める際のブロックマッチングの計算量を削減で
き、動きベクトルを高速で求めることができるようにし
たものである。

【００３３】

【課題を解決するための手段】この発明は、処理の対象
となる現画面において分割された現画面のブロックに対
して、参照画面内における同位置を基点としてそのブロ
ックと大きさの等しい参照画面のブロックを抽出し、所
定の探索範囲内で参照画面のブロックを動かしながら、
現画面のブロックと参照画面のブロックとの間の残差を
求め、残差が最小となる参照画面のブロックを検出して
動きベクトルを算出する動きベクトル算出方法におい
て、参照画面のブロックの画素データを直交変換すると
共に、現画面のブロックの画素データを直交変換し、直
交変換された参照画面のブロックのデータと、直交変換
された現画面のブロックのデータとから残差を求めるよ
うにしたことを特徴とする動きベクトル算出方法、及び
このような動きベクトル算出プログラムを記録した記録
媒体である。

【００３４】動きベクトルを求める際に、参照フレーム
のブロック及び現フレームのブロックが直交変換され、
周波数データに変換される。このように画像データを周
波数データに変換して参照フレームのブロックと現フレ
ームのブロックとの間の残差を求めるようにすると、残
差を求めるための演算量が大幅に減少される。これによ
り、高速処理が可能となり、ソフトウェアでも十分に処
理することができるようになる。

【００３５】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。図１は、この発明が適用
できるデータ処理装置の構成を示すものである。

【００３６】図１において、１はＣＰＵ（Central Proc
essing Unit ）、２はＲＯＭ（ReadOnly Memory）、３
はＲＡＭ（Random Access Memory）である。ＣＰＵ１、
ＲＯＭ２、ＲＡＭ３は、プロセッサバス４に接続され
る。

【００３７】ＣＰＵ１としては、例えば、ＭＭＸ機能を
有するプロセッサが用いられる。ＭＭＸ機能は、動画の
再生や、画像の加工、音声合成のような処理を高速で行
なえるようにしたものである。すなわち、ＭＭＸ命令で
は、ＳＩＭＤ（Single Instruction Multiple Data）と
呼ばれる技術を用いることにより、１回の命令で連続し
たデータに対して同じ処理を繰り返し行なえる。

【００３８】ＲＯＭ２には、ブートストラップのプログ
ラムが格納されている。ＲＡＭ３は、作業用のメインメ
モリで、ＲＡＭ３の容量としては、例えば、６４ＭＢ以
上のものを搭載することが望まれる。

【００３９】ＣＰＵ１は、ブリッジ回路５に接続されて
おり、ブリッジ回路５からプロセッサバス４が導出され
る。ブリッジ回路５は、ＰＣＩ（Peripherala Componen
t Interconnect）バス６に接続される。ブリッジ回路５
は、ＣＰＵ１と、プロセッサバス４及びＰＣＩバス６と
を繋ぐものである。

【００４０】ＰＣＩバス６には、ＩＤＥ（Integrated D
evice Electronics ）コントローラ７、ＳＣＳＩ（Smal
l Computer System Interface ）コントローラ８、グラ
フィックアクセレータ９、ＩＥＥＥ（Institute Of Ele
ctrical and Electronics Engineers ）１３９４コント
ローラ１０が接続される。

【００４１】ＩＤＥコントローラ７には、ハードディス
クドライブやＣＤドライブ等のストレージデバイス１１
が接続される。ＳＣＳＩコントローラ８には、ハードデ
ィスクドライブやＣＤドライブ等のストレージデバイス
１２が接続される。また、ＳＣＳＩコントローラ８に
は、ストレージデバイスの他、イメージスキャナ等、種
々の周辺機器を取り付けることができる。グラフィック
スアクセレータ９には、ディスプレイ１３が取り付けら
れる。ＩＥＥＥ１３９４コントローラ１０には、ディジ
タルＶＣＲ（Video Cassette Recoder）等のディジタル
オーディオビデオ機器を接続することができる。

【００４２】ＰＣＩバス６は、ブリッジ回路１４を介し
て、ＩＳＡ（Industrial StandardArchitecture）バス
１５に接続される。ブリッジ回路１４は、ＰＣＩバス６
とＩＳＡバス１５とを繋ぐものである。ＩＳＡバス１５
には、入力デバイスコントローラ１６、フロッピディス
クコントローラ１７、パラレルコトローラ１８、ＲＳ２
３２Ｃコントローラ１９が接続される。

【００４３】入力デバイスコントローラ１６には、キー
ボードやマウス等の入力デバイス２０が接続される。フ
ロッピディスクコントローラ１７には、フロッピディス
クドライブ２１が接続される。パラレルコントローラ１
８には、プリンタ等を取り付けることができる。ＲＳ２
３２Ｃコントローラ１９には、モデム等を取り付けるこ
とができる。

【００４４】初期状態では、先ず、ＲＯＭ２に格納され
ているブートストラップのプログラムが走り、初期設定
が行なわれる。そして、ストレージデバイス１１又は１
２がアクセスされ、ストレージデバイス１１又は１２に
インストールされているオペレーティングシステムが読
み込まれ、プログラムの常駐部がメインメモリとされた
ＲＡＭ３に常駐される。これにより、オペレーティング
システムが起動され、このオペレーティングシステムの
管理の基に、種々の処理が実行される。

【００４５】なお、上述の例では、ＰＣＩバスとＩＳＡ
バスとを用いた構成とされているが、このような構成に
限定されるものではない。ＵＳＢ（Universal Serial B
us）を設け、このＵＳＢバスにキーボードやマウス等の
種々の機器を接続するようにしても良い。

【００４６】上述のようなデータ処理装置でＭＰＥＧ２
のエンコード処理を行なう場合には、ＭＰＥＧ２のエン
コード処理を行なうアプリケーションプログラムが実行
される。このアプリケーションプログラムは、ＩＤＥの
ハードディスク等のストレージデバイス１１又はＳＣＳ
Ｉのハードディスク等のストレージデバイス１２に実行
可能なプログラムとして格納されており、このアプリケ
ーションプログラムは、実行時にはＲＡＭ３に読み込ま
れ、ＣＰＵ１により逐次実行される。

【００４７】なお、このＭＰＥＧ２のエンコード処理を
行なうアプリケーションプログラムは、ＩＤＥのハード
ディスク等のストレージデバイス１１又はＳＣＳＩのハ
ードディスク等のストレージデバイス１２に予めインス
トールしておくようにしても良いし、ＣＤ−ＲＯＭやフ
ロッピディスクにより提供するようにしても良い。更
に、通信で提供するようにしても良い。

【００４８】このＭＰＥＧ２のエンコード処理を行なう
アプリケーションプログラムが実行されると、ディジタ
ルビデオデータに対して、予測モードに応じて、動きベ
クトルの算出処理、ＤＣＴ演算処理、量子化処理、可変
長符号化処理が行なわれ、ディジタルビデオデータがＭ
ＰＥＧ２方式により圧縮される。このとき、作業用とし
て、ＲＡＭ３が用いられ、演算は、ＣＰＵ１の演算機能
を用いて行なわれる。ディジタルビデオデータは、例え
ば、ＩＥＥＥ１３９４コントローラ１０に接続された外
部のディジタルＶＣＲ等から入力される。そして、出力
データは、例えば、ＳＣＳＩコントローラ８やＩＤＥコ
ントローラ７に接続されたハードディスクドライブ等に
記録される。

【００４９】図２は、このようなＭＰＥＧ２のエンコー
ド処理プログラムの概要を示すフローチャートである。

【００５０】図２に示すように、先ず、複数フレームの
ディジタルビデオデータが取り込まれ、このディジタル
ビデオデータがＲＡＭ３上にバッファされる（ステップ
Ｓ１）。そして、ブロックマッチングにより、動きベク
トルが算出される（ステップＳ２）。

【００５１】予測モードがＩピクチャか、Ｐピクチャ
か、Ｂピクチャかが判断される（ステップＳ３）。ステ
ップＳ３でＩピクチャであると判断されたら、同一フレ
ーム内での（８×８）画素を１ブロックとしてＤＣＴ演
算が行なわれる（ステップＳ４）。そして、求められた
係数データは量子化され（ステップＳ５）、可変長符号
化される（ステップＳ６）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ７）。

【００５２】ステップＳ３でＰピクチャであると判断さ
れたら、順方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ８）、この参照画像に対して、ステ
ップＳ２で算出された動きベクトルに基づいて動き補償
がなされ（ステップＳ９）、現画像のデータと、動き補
償された参照画像のデータとの差分が求められ、この現
画像のデータと、参照画像のデータとの差分データがＤ
ＣＴ演算される（ステップＳ１０）。そして、求められ
たデータは量子化され（ステップＳ１１）、可変長符号
化される（ステップＳ１２）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ１３）。

【００５３】ステップＳ３でＢピクチャであると判断さ
れたら、両方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ１４）、この参照画像に対して、ス
テップＳ２で算出された動きベクトルに基づいて動き補
償がなされ（ステップＳ１５）、現画像のデータと、動
き補償された参照画像のデータとの差分が求められ、こ
の現画像のデータと、参照画像のデータとの差分データ
がＤＣＴ演算される（ステップＳ１６）。そして、求め
られたデータは量子化され（ステップＳ１７）、可変長
符号化される（ステップＳ１８）。

【００５４】図３におけるステップＳ２で示す動きベク
トルの算出処理は、従来は、処理の対象となる現フレー
ムにおいて分割されたブロックに対して、参照フレーム
の画面内における同位置を基点としてそのブロックと大
きさの等しいブロックを抽出し、所定の探索範囲内でこ
のブロックを動かしながら、現フレームのブロックの画
素と参照フレームのブロックの各画素との差分の絶対値
和から残差を求め、この残差が最小となるブロックを検
出するようなブロックマッチングにより行なわれる。と
ころが、このようなブロックマッチングにより動きベク
トルを求めると、その演算量は膨大となる。

【００５５】そこで、この発明では、ブロックのデータ
を直交変換し、この直交変換したブロックを比較してブ
ロックマッチングを行なうようにしている。直交変換と
しては、例えば、アダマール変換が用いられる。

【００５６】すなわち、図３に示すように、（１６×１
６）画素からなる現フレームのブロックＣＢＬＫのデー
タＣＤ１、ＣＤ２、…、ＣＤ２５６が取り出される。こ
の（１６×１６）画素からなる現フレームのブロックＣ
ＢＬＫが、図４に示すように、夫々、（８×８）画素か
らなる４つの直交変換ブロックＴＢＬＫ＿Ｃ１〜ＴＢＬ
Ｋ＿Ｃ４に分割される。そして、図５に示すように、直
交変換ブロックＴＢＬＫ＿Ｃ１〜ＴＢＬＫ＿Ｃ４毎に、
画像データが直交変換され、スペクトラムデータＴＣＤ
１−１〜ＴＣＤ１−６４、ＴＣＤ２−１〜ＴＣＤ２−６
４、ＴＣＤ３−１〜ＴＣＤ３−６４、ＴＣＤ４−１〜Ｔ
ＣＤ４−６４に変換される。そして、直交変換された４
つのブロックＴＢＬＫ＿Ｃ１〜ＴＢＬＫ＿Ｃ４のデータ
は、図６に示すようなジグザグスキャンにより、空間周
波数の低いデータから順に取り出される。

【００５７】同様に、図７に示すように、（１６×１
６）画素からなる参照フレームのブロックＲＢＬＫのデ
ータＲＤ１、ＲＤ２、…、ＲＤ２５６が取り出され、こ
の（１６×１６）画素からなる参照フレームのブロック
ＲＢＬＫが、図８に示すように、（８×８）画素からな
る４つの直交変換ブロックＴＢＬＫ＿Ｒ１〜ＴＢＬＫ＿
Ｒ４に分割される。そして、図９に示すように、各直交
変換ブロックＴＢＬＫ＿Ｒ１〜ＴＢＬＫ＿Ｒ４毎に、画
像データが直交変換され、スペクトラムデータＴＲＤ１
−１〜ＴＲＤ１−６４、ＴＲＤ２−１〜ＴＲＤ２−６
４、ＴＲＤ３−１〜ＴＲＤ３−６４、ＴＲＤ４−１〜Ｔ
ＲＤ４−６４に変換される。そして、直交変換された４
つのブロックＴＢＬＫ＿Ｒ１〜ＴＢＬＫ＿Ｒ４のデータ
は、図６に示すようなジグザグスキャンにより、空間周
波数の低いデータから順に取り出される。

【００５８】ビデオ信号を直交変換すると、エネルギー
は低域周波数のデータに集中し、高域周波数のデータは
殆どなくなる。そこで、現フレームの直交変換された４
つのブロックＴＢＬＫ＿Ｃ１〜ＴＢＬＫ＿Ｃ４のデータ
をジグザグスキャンにより取り出す際に、所定のデータ
数（例えば１０個であるが、これに限定されるものでは
ない）にデータの読み出しが制限される。同様に、参照
フレームの直交変換された４つのブロックＴＢＬＫ＿Ｒ
１〜ＴＢＬＫ＿Ｒ４のデータをジグザグスキャンにより
取り出す際に、所定のデータ数（例えば、１０個）にデ
ータの読み出しが制限される。

【００５９】すなわち、現フレームの直交変換された４
つのブロックＴＢＬＫ＿Ｃ１〜ＴＢＬＫ＿Ｃ４のデータ
から、夫々、例えば１０個のデータ（図５で黒丸で示
す）が取り出される。また、参照フレームの直交変換さ
れた４つのブロックＴＢＬＫ＿Ｒ１〜ＴＢＬＫ＿Ｒ４の
データから、夫々、例えば１０個のデータ（図９で黒丸
で示す）が取り出される。そして、これら現フレームの
直交変換された４つのブロックＴＢＬＫ＿Ｃ１〜ＴＢＬ
Ｋ＿Ｃ４から取り出されたデータと、これと対応する参
照フレームの直交変換された４つのブロックＴＢＬＫ＿
Ｒ１〜ＴＢＬＫ＿Ｒ４から取り出されたデータとの差分
の絶対値和が求められる。この周波数データの差分の絶
対値和により残差が求められる。

【００６０】このように、１ブロックのデータを直交変
換し、所定数のデータに制限してブロックマッチングを
行なうと、ブロックマッチングの演算量が著しく減少
し、演算速度の向上が図れる。

【００６１】すなわち、上述のように、１ブロックを４
つの変換ブロックに分け、各変換ブロック毎に直交変換
（例えばアダマール変換）を行い、各変換ブロックのデ
ータを１０個に制限して、ブロックマッチングを行なう
とする。この場合、各変換ブロックのデータ数は１０個
であり、ブロックマッチングを行なう際の１ブロックは
４つの変換ブロックに分けられているから、ブロックマ
ッチングを行なう際の残差を求めるのに、１ブロックに
ついて、４０個のデータ分の演算を行なえば良いことに
なる。これに対して、（１６×１６）画素からなるブロ
ックを使ってブロックマッチングを行なう際には、（１
６×１６＝２５６）データ分の演算が必要である。この
ように、１ブロックを直交変換して残差を求めると、大
幅な演算量の減少となる。

【００６２】なお、この場合、アダマール変換等の直交
演算を行なう必要があるが、アダマール変換は、和と差
のみの簡単な演算で行なえるので、殆ど演算量の増加と
ならない。

【００６３】また、ＭＰＥＧ２のエンコード処理におい
ては、現フレームの画像が次に参照フレームの画像とな
る。したがって、現フレームの画像のブロックで直交変
換したデータを保存しておけば、このフレームの画像が
参照フレームとなったときに、そのまま利用することが
できる。

【００６４】更に、動きベトクルの探索を行なう際に、
夫々の探索領域が重り合う。探索領域が重なる部分で
は、同じ直交変換されたデータが必要になる。そこで、
参照フレームのブロックについては、１画素ずつずらし
ながら、直交変換されたデータを記憶しておく。このよ
うにすると、探索領域が重なる部分については、記憶さ
れているデータをそのまま利用することができる。

【００６５】なお、上述の例では、直交変換としてアダ
マール変換を用いているが、アダマール変換以外にも、
ＤＣＴ変換や、ＦＦＴ（Fast Fourier Transform）等を
用いるようにしても良い。

【００６６】また、上述の例では、（１６×１６）画素
からなるのブロックを（８×８）画素からなる４つの直
交変換ブロックに分割して直交変換しているが、（１６
×１６）画素からなるのブロックをそのまま直交変換す
るようにしても良い。（８×８）画素に分割して直交変
換を行なうと、変換アルゴリズムが簡単化すると共に、
汎用の直交変換回路やアルゴリズムがそのまま使用でき
る。

【００６７】

【発明の効果】この発明によれば、動きベクトルを求め
る際に、参照フレームのブロック及び現フレームのブロ
ックが直交変換され、周波数データに変換される。この
ように画像データを周波数データに変換して参照フレー
ムのブロックと現フレームのブロックとの間の残差を求
めるようにすると、残差を求めるための演算量が大幅に
減少される。これにより、高速処理が可能となり、ソフ
トウェアでも十分に処理することができるようになる。

【図面の簡単な説明】

【図１】データ処理装置の一例のブロック図である。

【図２】ＭＰＥＧ２のエンコード処理の説明に用いるフ
ローチャートである。

【図３】この発明が適用された動きベクトル算出処理に
おける現フレームのブロックの処理の説明に用いる略線
図である。

【図４】この発明が適用された動きベクトル算出処理に
おける現フレームのブロックの処理の説明に用いる略線
図である。

【図５】この発明が適用された動きベクトル算出処理に
おける現フレームのブロックの処理の説明に用いる略線
図である。

【図６】ジグザグスキャンの説明に用いる略線図であ
る。

【図７】この発明が適用された動きベクトル算出処理に
おける参照フレームのブロックの処理の説明に用いる略
線図である。

【図８】この発明が適用された動きベクトル算出処理に
おける参照フレームのブロックの処理の説明に用いる略
線図である。

【図９】この発明が適用された動きベクトル算出処理に
おける参照現フレームのブロックの処理の説明に用いる
略線図である。

【図１０】従来のＭＰＥＧ２エンコーダの構成を示すブ
ロック図である。

【図１１】ブロックマッチングの説明に用いる略線図で
ある。

【符号の説明】

１・・・ＣＰＵ，２・・・ＲＯＭ，３・・・ＲＡＭ，７
・・・ＩＤＥコントローラ，８・・・ＳＣＳＩコントロ
ーラ，１０・・・ＩＥＥＥ１３９４コントローラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C057 AA03 BA01 CA01 EG08 EL01 EM04 EM08 EM09 EM13 EM16 GG03 GG04 5C059 KK10 MA00 MA05 MA14 MA22 MA23 MC11 ME01 NN01 NN28 NN37 PP05 PP06 PP07 SS20 UA02 UA33 UA38 UA39

Claims (6)

【特許請求の範囲】
1. 【請求項１】 処理の対象となる現画面において分割さ
   れた現画面のブロックに対して、参照画面内における同
   位置を基点としてそのブロックと大きさの等しい参照画
   面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
   がら、上記現画面のブロックと参照画面のブロックとの
   間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
   きベクトルを算出する動きベクトル算出方法において、 上記参照画面のブロックの画素データを直交変換すると
   共に、上記現画面のブロックの画素データを直交変換
   し、 上記直交変換された参照画面のブロックのデータと、上
   記直交変換された現画面のブロックのデータとから残差
   を求めるようにしたことを特徴とする動きベクトル算出
   方法。
2. 【請求項２】 上記直交変換は、アダマール変換である
   請求項１に記載の動きベクトル算出方法。
3. 【請求項３】 上記参照画面のブロック及び上記現画面
   のブロックを更に複数の直交変換ブロックに分割し、上
   記各直交変換ブロック毎に画素データの直交変換を行な
   うようにした請求項１に記載の動きベクトル算出方法。
4. 【請求項４】 処理の対象となる現画面において分割さ
   れた現画面のブロックに対して、参照画面内における同
   位置を基点としてそのブロックと大きさの等しい参照画
   面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
   がら、上記現画面のブロックと参照画面のブロックとの
   間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
   きベクトルを算出する動きベクトル算出プログラムの記
   録媒体において、 上記参照画面のブロックの画素データを直交変換すると
   共に、上記現画面のブロックの画素データを直交変換
   し、 上記直交変換された参照画面のブロックのデータと、上
   記直交変換された現画面のブロックのデータとから残差
   を求めるようにしたことを特徴とする動きベクトル算出
   プログラムを記録した記録媒体。
5. 【請求項５】 上記直交変換は、アダマール変換である
   請求項４に記載の動きベクトル算出プログラムを記録し
   た記録媒体。
6. 【請求項６】 上記参照画面のブロック及び上記現画面
   のブロックを更に複数の直交変換ブロックに分割し、上
   記各直交変換ブロック毎に画素データの直交変換を行な
   うようにした請求項４に記載の動きベクトル算出プログ
   ラムを記録した記録媒体。