JP2000069484A - 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 - Google Patents
動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体Info
- Publication number
- JP2000069484A JP2000069484A JP23555198A JP23555198A JP2000069484A JP 2000069484 A JP2000069484 A JP 2000069484A JP 23555198 A JP23555198 A JP 23555198A JP 23555198 A JP23555198 A JP 23555198A JP 2000069484 A JP2000069484 A JP 2000069484A
- Authority
- JP
- Japan
- Prior art keywords
- block
- value
- pixel
- motion vector
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 ＭＰＥＧ２方式のエンコードのために動きベ
クトルを求める際のブロックマッチングの計算量を削減
でき動きベクトルを高速で求めることができるようにす
る。 【解決手段】 参照画面のブロックの画素と現画面のブ
ロックの画素との残差を求める演算途中に、それまでに
求められた参照画面のブロックの画素と現画面のブロッ
クの画素との残差と閾値とを比較し、それまでに求めら
れた参照画面のブロックの画素と現画面のブロックの画
素との残差が閾値より大きくなったら、そこで演算を打
ち切る。このときの閾値の初期値を、平均値分離絶対値
和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基づい
て設定する。このようにすると、フレーム間符号化とな
るようなときには、閾値が下がり、確実に動きベクトル
が検出され、フレーム内符号化となるときには、演算を
打ち切る可能性が高くなり、効率的にブロックマッチン
グが行なえる。
クトルを求める際のブロックマッチングの計算量を削減
でき動きベクトルを高速で求めることができるようにす
る。 【解決手段】 参照画面のブロックの画素と現画面のブ
ロックの画素との残差を求める演算途中に、それまでに
求められた参照画面のブロックの画素と現画面のブロッ
クの画素との残差と閾値とを比較し、それまでに求めら
れた参照画面のブロックの画素と現画面のブロックの画
素との残差が閾値より大きくなったら、そこで演算を打
ち切る。このときの閾値の初期値を、平均値分離絶対値
和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基づい
て設定する。このようにすると、フレーム間符号化とな
るようなときには、閾値が下がり、確実に動きベクトル
が検出され、フレーム内符号化となるときには、演算を
打ち切る可能性が高くなり、効率的にブロックマッチン
グが行なえる。
Description
【０００１】
【発明の属する技術分野】この発明は、例えば、ＭＰＥ
Ｇ（Moving Picture Experts Group）２方式のエンコー
ド処理をソフトウェアで行なう場合に用いて好適な動き
ベクトル算出方法及び動きベクトル算出プログラムを記
録した記録媒体関する。
Ｇ（Moving Picture Experts Group）２方式のエンコー
ド処理をソフトウェアで行なう場合に用いて好適な動き
ベクトル算出方法及び動きベクトル算出プログラムを記
録した記録媒体関する。
【０００２】
【従来の技術】画像の高能率圧縮方式としてＭＰＥＧ２
方式が普及している。ＭＰＥＧ２方式は、動き補償予測
符号化とＤＣＴ（Discrete Cosine Transform ）とによ
りビデオ信号を圧縮符号化するものである。
方式が普及している。ＭＰＥＧ２方式は、動き補償予測
符号化とＤＣＴ（Discrete Cosine Transform ）とによ
りビデオ信号を圧縮符号化するものである。
【０００３】ＭＰＥＧ２方式では、Ｉ（Intra ）ピクチ
ャと、Ｐ（Predicti）ピクチャと、Ｂ（Bidirectionall
y Predictive）ピクチャと呼ばれる３種類の画面が送ら
れる。Ｉピクチャでは、同一のフレームの画素を使って
ＤＣＴ符号化が行なわれる。Ｐピクチャでは、既に符号
化されたＩピクチャ又はＰピクチャを参照して、動き補
償予測を用いたＤＣＴ符号化が行なわれる。Ｂピクチャ
では、その前後のＩピクチャ又はＰピクチャを参照し
て、動き予測を用いたＤＣＴ符号化が行なわれる。
ャと、Ｐ（Predicti）ピクチャと、Ｂ（Bidirectionall
y Predictive）ピクチャと呼ばれる３種類の画面が送ら
れる。Ｉピクチャでは、同一のフレームの画素を使って
ＤＣＴ符号化が行なわれる。Ｐピクチャでは、既に符号
化されたＩピクチャ又はＰピクチャを参照して、動き補
償予測を用いたＤＣＴ符号化が行なわれる。Ｂピクチャ
では、その前後のＩピクチャ又はＰピクチャを参照し
て、動き予測を用いたＤＣＴ符号化が行なわれる。
【０００４】なお、Ｐピクチャ及びＢピクチャでは、マ
クロブロックの単位では、イントラ符号化（フレーム内
符号化）を含む場合もある。すなわち、直流分を多く含
むような画面では、画面内のイントラ符号化による方が
効率的に圧縮できる。このような画面の場合には、イン
トラ符号化が行なわれる。
クロブロックの単位では、イントラ符号化（フレーム内
符号化）を含む場合もある。すなわち、直流分を多く含
むような画面では、画面内のイントラ符号化による方が
効率的に圧縮できる。このような画面の場合には、イン
トラ符号化が行なわれる。
【０００５】図６は、従来のＭＰＥＧ２方式のエンコー
ダの構成の一例を示すものである。図６において、入力
端子１０１に、例えば、輝度信号Ｙと、色差信号Ｃｂ、
Ｃｒからなるコンポーネントディジタルビデオ信号が供
給される。入力端子１０１からのディジタルビデオ信号
は、動きベクトル検出回路１０３を介してフレームメモ
リ１０２に一旦蓄積される。このフレームメモリ１０２
は、少なくとも、現画面と、過去の参照画面と、未来の
参照画面との３フレーム分の画像を蓄積できる容量を有
している。
ダの構成の一例を示すものである。図６において、入力
端子１０１に、例えば、輝度信号Ｙと、色差信号Ｃｂ、
Ｃｒからなるコンポーネントディジタルビデオ信号が供
給される。入力端子１０１からのディジタルビデオ信号
は、動きベクトル検出回路１０３を介してフレームメモ
リ１０２に一旦蓄積される。このフレームメモリ１０２
は、少なくとも、現画面と、過去の参照画面と、未来の
参照画面との３フレーム分の画像を蓄積できる容量を有
している。
【０００６】フレームメモリ１０２に蓄積されたデータ
を用いて、動きベクトル検出回路１０３で、参照画面と
現画面との間の動きベクトルが求められる。動きベクト
ルＭＶは、例えば、（１６×１６）画素からなるマクロ
ブロックを単位として求められる。求められた動きベク
トルＭＶは、可変長符号化回路１０８、動き補償回路１
１５に供給される。また、動きベクトル検出回路１０３
で動きベクトルを求める際に得られる残差情報ｅは、モ
ード設定回路１０４に供給される。
を用いて、動きベクトル検出回路１０３で、参照画面と
現画面との間の動きベクトルが求められる。動きベクト
ルＭＶは、例えば、（１６×１６）画素からなるマクロ
ブロックを単位として求められる。求められた動きベク
トルＭＶは、可変長符号化回路１０８、動き補償回路１
１５に供給される。また、動きベクトル検出回路１０３
で動きベクトルを求める際に得られる残差情報ｅは、モ
ード設定回路１０４に供給される。
【０００７】フレームメモリ１０２の出力は、動きベク
トル検出回路１０３を介して、スイッチ回路１０５の端
子１０５Ａに供給されると共に、減算回路１０６及び減
算回路１０７に供給される。減算回路１０６の出力がス
イッチ回路１０５の端子１０５Ｂに供給される。減算回
路１０７の出力がスイッチ回路１０５の端子１０５Ｃに
供給される。
トル検出回路１０３を介して、スイッチ回路１０５の端
子１０５Ａに供給されると共に、減算回路１０６及び減
算回路１０７に供給される。減算回路１０６の出力がス
イッチ回路１０５の端子１０５Ｂに供給される。減算回
路１０７の出力がスイッチ回路１０５の端子１０５Ｃに
供給される。
【０００８】スイッチ回路１０５は、モード設定回路１
０４からのモード設定信号により、符号化モードに応じ
て切り換えられる。すなわち、スイッチ回路１０５は、
フレーム内符号化モードのときには、端子１０５Ａ側に
設定され、順方向予測符号化モードのときには、端子１
０５Ｂ側に設定され、双方向予測符号化モードのときに
は、端子１０５Ｃ側に設定される。
０４からのモード設定信号により、符号化モードに応じ
て切り換えられる。すなわち、スイッチ回路１０５は、
フレーム内符号化モードのときには、端子１０５Ａ側に
設定され、順方向予測符号化モードのときには、端子１
０５Ｂ側に設定され、双方向予測符号化モードのときに
は、端子１０５Ｃ側に設定される。
【０００９】Ｉピクチャを伝送するときには、フレーム
内予測符号化が行なわれる。このときには、スイッチ回
路１０５は、端子１０５Ａ側に設定される。そして、フ
レームメモリ１０２からは、現フレームの画像データが
出力される。この現フレームの画像データは、スイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。
内予測符号化が行なわれる。このときには、スイッチ回
路１０５は、端子１０５Ａ側に設定される。そして、フ
レームメモリ１０２からは、現フレームの画像データが
出力される。この現フレームの画像データは、スイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。
【００１０】ＤＣＴ回路１０６により、（８×８）を１
ブロックとして、時間領域のビデオ信号がＤＣＴ変換さ
れ、周波数領域のスペクトラムデータに変換される。こ
のスペクトラムデータは、所謂ジグザグスキャンによ
り、直流分の成分から順に読み出される。ＤＣＴ変換回
路１０６の出力が量子化回路１０７に供給される。
ブロックとして、時間領域のビデオ信号がＤＣＴ変換さ
れ、周波数領域のスペクトラムデータに変換される。こ
のスペクトラムデータは、所謂ジグザグスキャンによ
り、直流分の成分から順に読み出される。ＤＣＴ変換回
路１０６の出力が量子化回路１０７に供給される。
【００１１】量子化回路１０７には、送信バッファ１０
９から送られてくる出力ビットレートの情報に応じて、
量子化スケールが設定される。量子化回路１０７で、こ
の量子化スケールにより、ＤＣＴ変化回路１０６からの
スペクトラムデータが量子化される。これにより、出力
されるビットストリームのビットレートが一定に保たれ
る。
９から送られてくる出力ビットレートの情報に応じて、
量子化スケールが設定される。量子化回路１０７で、こ
の量子化スケールにより、ＤＣＴ変化回路１０６からの
スペクトラムデータが量子化される。これにより、出力
されるビットストリームのビットレートが一定に保たれ
る。
【００１２】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
【００１３】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
【００１４】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｉピクチャの場合
には、フレーム内の画素でＤＣＴ変換が行なわれるた
め、逆量子化回路１１０及びＩＤＣＴ回路１１２によ
り、元の画面が形成される。この１画面分のディジタル
ビデオデータは、加算回路１１３を介して、画像フレー
ムメモリ１１４に供給される。このフレームメモリ１１
４に蓄積されたデータが次のＰピクチャ又はＢピクチャ
での参照フレームのデータとされる。
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｉピクチャの場合
には、フレーム内の画素でＤＣＴ変換が行なわれるた
め、逆量子化回路１１０及びＩＤＣＴ回路１１２によ
り、元の画面が形成される。この１画面分のディジタル
ビデオデータは、加算回路１１３を介して、画像フレー
ムメモリ１１４に供給される。このフレームメモリ１１
４に蓄積されたデータが次のＰピクチャ又はＢピクチャ
での参照フレームのデータとされる。
【００１５】Ｐピクチャを伝送するときには、参照フレ
ームとの間で順方向予測符号化が行なわれる。このとき
には、スイッチ回路１０５は、端子１０５Ｂ側に設定さ
れる。フレームメモリ１０２からは、現フレームのディ
ジタルビデオ信号が出力される。このフレームメモリ１
０２の出力は、減算回路１０６に供給される。
ームとの間で順方向予測符号化が行なわれる。このとき
には、スイッチ回路１０５は、端子１０５Ｂ側に設定さ
れる。フレームメモリ１０２からは、現フレームのディ
ジタルビデオ信号が出力される。このフレームメモリ１
０２の出力は、減算回路１０６に供給される。
【００１６】フレームメモリ１１４には、参照フレーム
のデータが蓄積されている。この参照フレームのデータ
は、動き補償回路１１５により、動き補償され、減算回
路１０６に供給される。減算回路１０６で、現フレーム
のデータと、動き補償された参照フレームのデータとの
差分が求められる。この現フレームのデータと、参照フ
レームのデータとの差分データがスイッチ回路１０５を
介して、ＤＣＴ回路１０６に供給される。
のデータが蓄積されている。この参照フレームのデータ
は、動き補償回路１１５により、動き補償され、減算回
路１０６に供給される。減算回路１０６で、現フレーム
のデータと、動き補償された参照フレームのデータとの
差分が求められる。この現フレームのデータと、参照フ
レームのデータとの差分データがスイッチ回路１０５を
介して、ＤＣＴ回路１０６に供給される。
【００１７】ＤＣＴ回路１０６により、参照フレームの
データと現フレームのデータとの差分データがＤＣＴ変
換され、スペクトラムデータに変換される。ＤＣＴ変換
回路１０６の出力が量子化回路１０７に供給される。量
子化回路１０７で、ＤＣＴ変化回路１０６からのスペク
トラムデータが量子化される。
データと現フレームのデータとの差分データがＤＣＴ変
換され、スペクトラムデータに変換される。ＤＣＴ変換
回路１０６の出力が量子化回路１０７に供給される。量
子化回路１０７で、ＤＣＴ変化回路１０６からのスペク
トラムデータが量子化される。
【００１８】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
【００１９】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
【００２０】また、量子化回路１０７の出力が逆量子化
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｐピクチャの場合
には、参照フレームのデータと現画面のデータとの差分
がＤＣＴ変換されるため、逆量子化回路１１０及びＩＤ
ＣＴ回路１１２により、参照フレームのデータと現画面
のデータとの差分が得られる。この差分データが加算回
路１１３に供給される。
回路１１０に供給される。逆量子化化回路１１０の出力
がＩＤＣＴ回路１１２に供給される。Ｐピクチャの場合
には、参照フレームのデータと現画面のデータとの差分
がＤＣＴ変換されるため、逆量子化回路１１０及びＩＤ
ＣＴ回路１１２により、参照フレームのデータと現画面
のデータとの差分が得られる。この差分データが加算回
路１１３に供給される。
【００２１】加算回路１１３には、フレームメモリ１１
４から、動き補償回路１１５を介して、それまでの参照
画面のデータが供給される。加算回路１１３で、それま
での参照画面のデータに差分データが加算される。この
加算回路１１３の出力が次の参照フレームのデータとし
てフレームメモリ１１４に蓄積される。
４から、動き補償回路１１５を介して、それまでの参照
画面のデータが供給される。加算回路１１３で、それま
での参照画面のデータに差分データが加算される。この
加算回路１１３の出力が次の参照フレームのデータとし
てフレームメモリ１１４に蓄積される。
【００２２】Ｂピクチャを伝送するときには、過去の参
照フレームと、未来の参照フレームとを使って、両方向
予測符号化が行なわれる。このときには、スイッチ回路
１０５は、端子１０５Ｃ側に設定される。フレームメモ
リ１０２からは、現フレームのディジタルビデオ信号が
出力される。このバッファメモリ１０２の出力は、減算
回路１０７に供給される。
照フレームと、未来の参照フレームとを使って、両方向
予測符号化が行なわれる。このときには、スイッチ回路
１０５は、端子１０５Ｃ側に設定される。フレームメモ
リ１０２からは、現フレームのディジタルビデオ信号が
出力される。このバッファメモリ１０２の出力は、減算
回路１０７に供給される。
【００２３】フレームメモリ１１４には、過去参照フレ
ームと，未来の参照フレームのデータが蓄積されてい
る。この両方の参照フレームのデータは、動き補償回路
１１５により、動き補償され、減算回路１０７に供給さ
れる。減算回路１０７で、現フレームのデータと、動き
補償された過去及び未来の参照フレームのデータとの差
分が求められる。この現フレームのデータと、過去及び
未来の参照フレームのデータとの差分データがスイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。
ームと，未来の参照フレームのデータが蓄積されてい
る。この両方の参照フレームのデータは、動き補償回路
１１５により、動き補償され、減算回路１０７に供給さ
れる。減算回路１０７で、現フレームのデータと、動き
補償された過去及び未来の参照フレームのデータとの差
分が求められる。この現フレームのデータと、過去及び
未来の参照フレームのデータとの差分データがスイッチ
回路１０５を介して、ＤＣＴ回路１０６に供給される。
【００２４】ＤＣＴ回路１０６により、過去及び未来の
参照フレームのデータと、現フレームのデータとの差分
データがＤＣＴ変換され、スペクトラムデータに変換さ
れる。ＤＣＴ変換回路１０６の出力が量子化回路１０７
に供給される。量子化回路１０７で、ＤＣＴ変化回路１
０６からのスペクトラムデータが量子化される。
参照フレームのデータと、現フレームのデータとの差分
データがＤＣＴ変換され、スペクトラムデータに変換さ
れる。ＤＣＴ変換回路１０６の出力が量子化回路１０７
に供給される。量子化回路１０７で、ＤＣＴ変化回路１
０６からのスペクトラムデータが量子化される。
【００２５】量子化回路１０７の出力は、可変長符号化
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
回路１０８に供給されると共に、逆量子化回路１１０に
供給される。可変長符号化回路１０８で、量子化回路１
０７からのスペクトラムデータは、動きベクトルと、量
子化スケールと、予測モードと共に、可変長符号化され
る。
【００２６】可変長符号化回路１０８からは、符号化さ
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
れたビットストリームか出力される。このビットストリ
ームは、送信バッファ１０９に一旦蓄積される。送信バ
ッファ１０９からは、要求されるビットレートに応じて
データストリームが読み出され、出力端子１１１から、
ビットストリームが出力される。
【００２７】
【発明が解決しようとする課題】近年、ＣＰＵ（Centra
l Processing Unit ）の処理速度が飛躍的に向上される
とともに、大容量のメモリが安価に入手できるようにな
ってきている。そこで、上述のようなＭＰＥＧ２のエン
コード処理をソフトウェアで行なうことが考えられてい
る。
l Processing Unit ）の処理速度が飛躍的に向上される
とともに、大容量のメモリが安価に入手できるようにな
ってきている。そこで、上述のようなＭＰＥＧ２のエン
コード処理をソフトウェアで行なうことが考えられてい
る。
【００２８】ところが、ＭＰＥＧ２のエンコードには、
動きベクトルを算出する処理が必要である。動きベクト
ルは、処理の対象となる現フレームにおいて分割された
ブロックに対して、参照フレーム画面内における同位置
を基点としてそのブロックと大きさの等しいブロックを
抽出し、所定の探索範囲内でこのブロックを動かしなが
ら、参照フレームのブロックの各画素と現フレームのブ
ロックの各画素との差分の絶対値和から残差を求め、こ
の残差が最小となる参照フレームのブロックを求めるよ
うなブロックマッチングにより求められる。このブロッ
クマッチングの処理は、多くの演算が必要であり、この
ことがＭＰＥＧ２のエンコード処理をソフトウェアで行
なわせる場合に問題となる。
動きベクトルを算出する処理が必要である。動きベクト
ルは、処理の対象となる現フレームにおいて分割された
ブロックに対して、参照フレーム画面内における同位置
を基点としてそのブロックと大きさの等しいブロックを
抽出し、所定の探索範囲内でこのブロックを動かしなが
ら、参照フレームのブロックの各画素と現フレームのブ
ロックの各画素との差分の絶対値和から残差を求め、こ
の残差が最小となる参照フレームのブロックを求めるよ
うなブロックマッチングにより求められる。このブロッ
クマッチングの処理は、多くの演算が必要であり、この
ことがＭＰＥＧ２のエンコード処理をソフトウェアで行
なわせる場合に問題となる。
【００２９】つまり、図７において、現フレーム２０１
のブロックＣＢＬＫでの動きベクトルを求める場合に
は、このブロックＣＢＬＫの位置を基点とする参照フレ
ーム２０２の周囲が探索範囲ＳＡとされる。この探索範
囲ＳＡ内の参照フレームのブロックＲＢＬＫが取り出さ
れ、このブロックＲＢＬＫの（１６×１６）の各画素
と、現フレームのブロックＣＢＬＫの（１６×１６）の
各画素との間の差分が求められ、この差分の絶対値和か
ら、残差が求められる。参照フレーム２０３のブロック
ＲＢＬＫは、所定の探索範囲ＳＡ内で動かされ、所定の
探索範囲ＳＡ内のブロックＲＢＬＫ内の各位置におい
て、同様に、ブロックＲＢＬＫの各画素と、現フレーム
２０１のブロックＣＢＬＫの各画素との間の差分が求め
られ、この差分の絶対値和から、残差が求められる。こ
れら各位置で求められた参照フレームのブロックＲＢＬ
Ｋの各画素と、現フレームのブロックＣＢＬＫの各画素
との間の差分の絶対値和が比較され、残差が最小となる
ブロックがマッチングブロックとされる。このマッチン
グブロックから動きベクトルが求められる。
のブロックＣＢＬＫでの動きベクトルを求める場合に
は、このブロックＣＢＬＫの位置を基点とする参照フレ
ーム２０２の周囲が探索範囲ＳＡとされる。この探索範
囲ＳＡ内の参照フレームのブロックＲＢＬＫが取り出さ
れ、このブロックＲＢＬＫの（１６×１６）の各画素
と、現フレームのブロックＣＢＬＫの（１６×１６）の
各画素との間の差分が求められ、この差分の絶対値和か
ら、残差が求められる。参照フレーム２０３のブロック
ＲＢＬＫは、所定の探索範囲ＳＡ内で動かされ、所定の
探索範囲ＳＡ内のブロックＲＢＬＫ内の各位置におい
て、同様に、ブロックＲＢＬＫの各画素と、現フレーム
２０１のブロックＣＢＬＫの各画素との間の差分が求め
られ、この差分の絶対値和から、残差が求められる。こ
れら各位置で求められた参照フレームのブロックＲＢＬ
Ｋの各画素と、現フレームのブロックＣＢＬＫの各画素
との間の差分の絶対値和が比較され、残差が最小となる
ブロックがマッチングブロックとされる。このマッチン
グブロックから動きベクトルが求められる。
【００３０】このようなブロックマッチングから動きベ
クトルを検出する場合、ブロックとして例えば（１６×
１６）を用いると、各画素の差分を求めるのに、 １６×１６＝２５６ 回の減算が必要であり、これらの各画素の差分の絶対値
和を求めるのに、２５６の数の総和を求める加算が必要
である。
クトルを検出する場合、ブロックとして例えば（１６×
１６）を用いると、各画素の差分を求めるのに、 １６×１６＝２５６ 回の減算が必要であり、これらの各画素の差分の絶対値
和を求めるのに、２５６の数の総和を求める加算が必要
である。
【００３１】更に、１画素ステップで所定の探索範囲内
で参照ブロックを動かしながら動きベクトルを検出する
と、その探索範囲の画素に相当する回数だけ残差を求め
る処理が必要になる。したがって、１画素ステップで所
定の探索範囲内でブロックを動かしながら残差を求め、
この残差が最小になるブロックの位置から動きベクトル
を検出するようにすると、その演算量は膨大となり、ソ
フトウェアで処理するには難しくなる。
で参照ブロックを動かしながら動きベクトルを検出する
と、その探索範囲の画素に相当する回数だけ残差を求め
る処理が必要になる。したがって、１画素ステップで所
定の探索範囲内でブロックを動かしながら残差を求め、
この残差が最小になるブロックの位置から動きベクトル
を検出するようにすると、その演算量は膨大となり、ソ
フトウェアで処理するには難しくなる。
【００３２】このような動きベクトルの探索を高速化す
るためには、二つのアプローチが考えられる。一つは、
１回のブロックマッチングの計算量を削減することであ
り、他の一つは、探索領域内でのブロックマッチングの
回数を減らすことである。
るためには、二つのアプローチが考えられる。一つは、
１回のブロックマッチングの計算量を削減することであ
り、他の一つは、探索領域内でのブロックマッチングの
回数を減らすことである。
【００３３】前者の手法の一つに、参照フレームのブロ
ックの画素と現フレームのブロックの画素との差分の絶
対値和の演算途中に、参照フレームのブロックの画素と
現フレームのブロックの画素との差分の絶対値和と所定
の閾値とを比較し、参照フレームのブロックの画素と現
フレームのブロックの画素との差分の絶対値和が閾値よ
り大きくなったら、そこで演算を打ち切るようにしたも
のがある。
ックの画素と現フレームのブロックの画素との差分の絶
対値和の演算途中に、参照フレームのブロックの画素と
現フレームのブロックの画素との差分の絶対値和と所定
の閾値とを比較し、参照フレームのブロックの画素と現
フレームのブロックの画素との差分の絶対値和が閾値よ
り大きくなったら、そこで演算を打ち切るようにしたも
のがある。
【００３４】動きベクトルは、参照フレームのブロック
の画素と現フレームのブロックの画素との差分の絶対値
和の最小値を求めるものであるから、ブロックマッチン
グの途中結果で参照フレームのブロックの画素と現フレ
ームのブロックの画素との差分の絶対値和が所定の閾値
以上になれば、これが最小値となることはない。したが
って、このまま演算を続けるのは無駄である。このよう
に、参照フレームのブロックの画素と現フレームのブロ
ックの画素との差分の絶対値和が閾値より大きくなった
ら、そこで演算を打ち切るようにすれば、演算量が削減
され、動きベクトルの探索が高速化できる。
の画素と現フレームのブロックの画素との差分の絶対値
和の最小値を求めるものであるから、ブロックマッチン
グの途中結果で参照フレームのブロックの画素と現フレ
ームのブロックの画素との差分の絶対値和が所定の閾値
以上になれば、これが最小値となることはない。したが
って、このまま演算を続けるのは無駄である。このよう
に、参照フレームのブロックの画素と現フレームのブロ
ックの画素との差分の絶対値和が閾値より大きくなった
ら、そこで演算を打ち切るようにすれば、演算量が削減
され、動きベクトルの探索が高速化できる。
【００３５】ところが、参照フレームのブロックの画素
と現フレームのブロックの画素との差分の絶対値和が閾
値より大きくなったら、そこで演算を打ち切るようにし
た場合、この差分の絶対値和と比較する閾値をどのよう
な値に設定するかが難しい。閾値を小さく設定しすぎる
と全ての点で演算が打ち切られ、動きベクトルが正しく
検出できない。また、閾値を大きく設定しすぎると、演
算が打ち切られることがなくなり、演算効率が上がらな
い。
と現フレームのブロックの画素との差分の絶対値和が閾
値より大きくなったら、そこで演算を打ち切るようにし
た場合、この差分の絶対値和と比較する閾値をどのよう
な値に設定するかが難しい。閾値を小さく設定しすぎる
と全ての点で演算が打ち切られ、動きベクトルが正しく
検出できない。また、閾値を大きく設定しすぎると、演
算が打ち切られることがなくなり、演算効率が上がらな
い。
【００３６】したがって、この発明の目的は、動きベク
トルを求める際のブロックマッチングの計算量を削減で
き、動きベクトルを高速で求めることができるようにし
たものである。
トルを求める際のブロックマッチングの計算量を削減で
き、動きベクトルを高速で求めることができるようにし
たものである。
【００３７】
【課題を解決するための手段】この発明は、処理の対象
となる現画面において分割された現画面のブロックに対
して、参照画面内における同位置を基点としてそのブロ
ックと大きさの等しい参照画面のブロックを抽出し、所
定の探索範囲内で参照画面のブロックを動かしながら、
現画面のブロックと参照画面のブロックとの間の残差を
求め、残差が最小となる参照画面のブロックを検出して
動きベクトルを算出する動きベクトル算出方法におい
て、参照画面のブロックの画素と現画面のブロックの画
素との残差を求める演算途中に、それまでに求められた
参照画面のブロックの画素と現画面のブロックの画素と
の残差と閾値とを比較し、それまでに求められた参照画
面のブロックの画素と現画面のブロックの画素との残差
が閾値より大きくなったら、そこで演算を打ち切るよう
に制御し、閾値の初期値を、画面の特性に応じて設定す
るようにしたことを特徴とする動きベクトル算出方法、
及びそのような動きベクトル算出プログラムを記録した
記録媒体である。
となる現画面において分割された現画面のブロックに対
して、参照画面内における同位置を基点としてそのブロ
ックと大きさの等しい参照画面のブロックを抽出し、所
定の探索範囲内で参照画面のブロックを動かしながら、
現画面のブロックと参照画面のブロックとの間の残差を
求め、残差が最小となる参照画面のブロックを検出して
動きベクトルを算出する動きベクトル算出方法におい
て、参照画面のブロックの画素と現画面のブロックの画
素との残差を求める演算途中に、それまでに求められた
参照画面のブロックの画素と現画面のブロックの画素と
の残差と閾値とを比較し、それまでに求められた参照画
面のブロックの画素と現画面のブロックの画素との残差
が閾値より大きくなったら、そこで演算を打ち切るよう
に制御し、閾値の初期値を、画面の特性に応じて設定す
るようにしたことを特徴とする動きベクトル算出方法、
及びそのような動きベクトル算出プログラムを記録した
記録媒体である。
【００３８】この発明では、閾値の初期値を、同一画面
内の各画素の値と各画素の平均値との差分の絶対値和に
基づく値により設定するようにしている。
内の各画素の値と各画素の平均値との差分の絶対値和に
基づく値により設定するようにしている。
【００３９】この発明では、閾値の初期値を、原点での
残差に基づく値により設定するようにしている。
残差に基づく値により設定するようにしている。
【００４０】この発明では、閾値は、それまでの残差の
最小値とするようにしている。
最小値とするようにしている。
【００４１】ブロックマッチング演算のループの中で、
現フレームのブロックの画素と参照フレームのブロック
の画素との差分の絶対値和の途中結果と閾値とを比較
し、現フレームのブロックの画素と参照フレームのブロ
ックの画素との差分の絶対値和が閾値以上になったら、
そこで演算を打ち切るような処理が行なわれている。こ
れにより、演算量が削減され、動きベクトルの探索が高
速化できる。
現フレームのブロックの画素と参照フレームのブロック
の画素との差分の絶対値和の途中結果と閾値とを比較
し、現フレームのブロックの画素と参照フレームのブロ
ックの画素との差分の絶対値和が閾値以上になったら、
そこで演算を打ち切るような処理が行なわれている。こ
れにより、演算量が削減され、動きベクトルの探索が高
速化できる。
【００４２】そして、このときの閾値の初期値は、平均
値分離絶対値和ＭＡＤの値と、原点での残差ＡＤ（０，
０）に基づいて設定される。このように、平均値分離絶
対値和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基
づいて閾値を設定すると、フレーム間符号化となるよう
なときには、閾値が下がり、確実に動きベクトルが検出
され、フレーム内符号化となるときには、演算を打ち切
る可能性が高くなり、効率的にブロックマッチングが行
なえる。
値分離絶対値和ＭＡＤの値と、原点での残差ＡＤ（０，
０）に基づいて設定される。このように、平均値分離絶
対値和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基
づいて閾値を設定すると、フレーム間符号化となるよう
なときには、閾値が下がり、確実に動きベクトルが検出
され、フレーム内符号化となるときには、演算を打ち切
る可能性が高くなり、効率的にブロックマッチングが行
なえる。
【００４３】更に、１回目の動きベクトルの探索では、
平均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ
（０，０）の値から求められた閾値を用い、同じブロッ
クに対する次のブロックマッチングの閾値には、元の閾
値又は検出された絶対値和の何れか小さい方を用いるこ
とで、効率の向上が図られる。
平均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ
（０，０）の値から求められた閾値を用い、同じブロッ
クに対する次のブロックマッチングの閾値には、元の閾
値又は検出された絶対値和の何れか小さい方を用いるこ
とで、効率の向上が図られる。
【００４４】
【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。図１は、この発明が適用
できるデータ処理装置の構成を示すものである。
いて図面を参照して説明する。図１は、この発明が適用
できるデータ処理装置の構成を示すものである。
【００４５】図１において、１はＣＰＵ（Central Proc
essing Unit ）、２はＲＯＭ（ReadOnly Memory）、３
はＲＡＭ（Random Access Memory）である。ＣＰＵ１、
ＲＯＭ２、ＲＡＭ３は、プロセッサバス４に接続され
る。
essing Unit ）、２はＲＯＭ（ReadOnly Memory）、３
はＲＡＭ（Random Access Memory）である。ＣＰＵ１、
ＲＯＭ２、ＲＡＭ３は、プロセッサバス４に接続され
る。
【００４６】ＣＰＵ１としては、例えば、ＭＭＸ機能を
有するプロセッサが用いられる。ＭＭＸ機能は、動画の
再生や、画像の加工、音声合成のような処理を高速で行
なえるようにしたものである。すなわち、ＭＭＸ命令で
は、ＳＩＭＤ（Single Instruction Multiple Data）と
呼ばれる技術を用いることにより、１回の命令で連続し
たデータに対して同じ処理を繰り返し行なえる。
有するプロセッサが用いられる。ＭＭＸ機能は、動画の
再生や、画像の加工、音声合成のような処理を高速で行
なえるようにしたものである。すなわち、ＭＭＸ命令で
は、ＳＩＭＤ（Single Instruction Multiple Data）と
呼ばれる技術を用いることにより、１回の命令で連続し
たデータに対して同じ処理を繰り返し行なえる。
【００４７】ＲＯＭ２には、ブートストラップのプログ
ラムが格納されている。ＲＡＭ３は、作業用のメインメ
モリで、ＲＡＭ３の容量としては、例えば、６４ＭＢ以
上のものを搭載することが望まれる。
ラムが格納されている。ＲＡＭ３は、作業用のメインメ
モリで、ＲＡＭ３の容量としては、例えば、６４ＭＢ以
上のものを搭載することが望まれる。
【００４８】ＣＰＵ１は、ブリッジ回路５に接続されて
おり、ブリッジ回路５からプロセッサバス４が導出され
る。ブリッジ回路５は、ＰＣＩ（Peripherala Componen
t Interconnect）バス６に接続される。ブリッジ回路５
は、ＣＰＵ１と、プロセッサバス４及びＰＣＩバス６と
を繋ぐものである。
おり、ブリッジ回路５からプロセッサバス４が導出され
る。ブリッジ回路５は、ＰＣＩ（Peripherala Componen
t Interconnect）バス６に接続される。ブリッジ回路５
は、ＣＰＵ１と、プロセッサバス４及びＰＣＩバス６と
を繋ぐものである。
【００４９】ＰＣＩバス６には、ＩＤＥ（Integrated D
evice Electronics ）コントローラ７、ＳＣＳＩ（Smal
l Computer System Interface ）コントローラ８、グラ
フィックアクセレータ９、ＩＥＥＥ（Institute Of Ele
ctrical and Electronics Engineers ）１３９４コント
ローラ１０が接続される。
evice Electronics ）コントローラ７、ＳＣＳＩ（Smal
l Computer System Interface ）コントローラ８、グラ
フィックアクセレータ９、ＩＥＥＥ（Institute Of Ele
ctrical and Electronics Engineers ）１３９４コント
ローラ１０が接続される。
【００５０】ＩＤＥコントローラ７には、ハードディス
クドライブやＣＤドライブ等のストレージデバイス１１
が接続される。ＳＣＳＩコントローラ８には、ハードデ
ィスクドライブやＣＤドライブ等のストレージデバイス
１２が接続される。また、ＳＣＳＩコントローラ８に
は、ストレージデバイスの他、イメージスキャナ等、種
々の周辺機器を取り付けることができる。グラフィック
スアクセレータ９には、ディスプレイ１３が取り付けら
れる。ＩＥＥＥ１３９４コントローラ１０には、ディジ
タルＶＣＲ（Video Cassette Recoder）等のディジタル
オーディオビデオ機器を接続することができる。
クドライブやＣＤドライブ等のストレージデバイス１１
が接続される。ＳＣＳＩコントローラ８には、ハードデ
ィスクドライブやＣＤドライブ等のストレージデバイス
１２が接続される。また、ＳＣＳＩコントローラ８に
は、ストレージデバイスの他、イメージスキャナ等、種
々の周辺機器を取り付けることができる。グラフィック
スアクセレータ９には、ディスプレイ１３が取り付けら
れる。ＩＥＥＥ１３９４コントローラ１０には、ディジ
タルＶＣＲ（Video Cassette Recoder）等のディジタル
オーディオビデオ機器を接続することができる。
【００５１】ＰＣＩバス６は、ブリッジ回路１４を介し
て、ＩＳＡ（Industrial StandardArchitecture）バス
１５に接続される。ブリッジ回路１４は、ＰＣＩバス６
とＩＳＡバス１５とを繋ぐものである。ＩＳＡバス１５
には、入力デバイスコントローラ１６、フロッピディス
クコントローラ１７、パラレルコトローラ１８、ＲＳ２
３２Ｃコントローラ１９が接続される。
て、ＩＳＡ（Industrial StandardArchitecture）バス
１５に接続される。ブリッジ回路１４は、ＰＣＩバス６
とＩＳＡバス１５とを繋ぐものである。ＩＳＡバス１５
には、入力デバイスコントローラ１６、フロッピディス
クコントローラ１７、パラレルコトローラ１８、ＲＳ２
３２Ｃコントローラ１９が接続される。
【００５２】入力デバイスコントローラ１６には、キー
ボードやマウス等の入力デバイス２０が接続される。フ
ロッピディスクコントローラ１７には、フロッピディス
クドライブ２１が接続される。パラレルコントローラ１
８には、プリンタ等を取り付けることができる。ＲＳ２
３２Ｃコントローラ１９には、モデム等を取り付けるこ
とができる。
ボードやマウス等の入力デバイス２０が接続される。フ
ロッピディスクコントローラ１７には、フロッピディス
クドライブ２１が接続される。パラレルコントローラ１
８には、プリンタ等を取り付けることができる。ＲＳ２
３２Ｃコントローラ１９には、モデム等を取り付けるこ
とができる。
【００５３】初期状態では、先ず、ＲＯＭ２に格納され
ているブートストラップのプログラムが走り、初期設定
が行なわれる。そして、ストレージデバイス１１又は１
２がアクセスされ、ストレージデバイス１１又は１２に
インストールされているオペレーティングシステムが読
み込まれ、プログラムの常駐部がメインメモリとされた
ＲＡＭ３に常駐される。これにより、オペレーティング
システムが起動され、このオペレーティングシステムの
管理の基に、種々の処理が実行される。
ているブートストラップのプログラムが走り、初期設定
が行なわれる。そして、ストレージデバイス１１又は１
２がアクセスされ、ストレージデバイス１１又は１２に
インストールされているオペレーティングシステムが読
み込まれ、プログラムの常駐部がメインメモリとされた
ＲＡＭ３に常駐される。これにより、オペレーティング
システムが起動され、このオペレーティングシステムの
管理の基に、種々の処理が実行される。
【００５４】なお、上述の例では、ＰＣＩバスとＩＳＡ
バスとを用いた構成とされているが、このような構成に
限定されるものではない。ＵＳＢ（Universal Serial B
us）を設け、このＵＳＢバスにキーボードやマウス等の
種々の機器を接続するようにしても良い。
バスとを用いた構成とされているが、このような構成に
限定されるものではない。ＵＳＢ（Universal Serial B
us）を設け、このＵＳＢバスにキーボードやマウス等の
種々の機器を接続するようにしても良い。
【００５５】上述のようなデータ処理装置でＭＰＥＧ２
のエンコード処理を行なう場合には、ＭＰＥＧ２のエン
コード処理を行なうアプリケーションプログラムが実行
される。このアプリケーションプログラムは、ＩＤＥの
ハードディスク等のストレージデバイス１１又はＳＣＳ
Ｉのハードディスク等のストレージデバイス１２に実行
可能なプログラムとして格納されており、このアプリケ
ーションプログラムは、実行時にはＲＡＭ３に読み込ま
れ、ＣＰＵ１により逐次実行される。
のエンコード処理を行なう場合には、ＭＰＥＧ２のエン
コード処理を行なうアプリケーションプログラムが実行
される。このアプリケーションプログラムは、ＩＤＥの
ハードディスク等のストレージデバイス１１又はＳＣＳ
Ｉのハードディスク等のストレージデバイス１２に実行
可能なプログラムとして格納されており、このアプリケ
ーションプログラムは、実行時にはＲＡＭ３に読み込ま
れ、ＣＰＵ１により逐次実行される。
【００５６】なお、このＭＰＥＧ２のエンコード処理を
行なうアプリケーションプログラムは、ＩＤＥのハード
ディスク等のストレージデバイス１１又はＳＣＳＩのハ
ードディスク等のストレージデバイス１２に予めインス
トールしておくようにしても良いし、ＣＤ−ＲＯＭやフ
ロッピディスクにより提供するようにしても良い。更
に、通信で提供するようにしても良い。
行なうアプリケーションプログラムは、ＩＤＥのハード
ディスク等のストレージデバイス１１又はＳＣＳＩのハ
ードディスク等のストレージデバイス１２に予めインス
トールしておくようにしても良いし、ＣＤ−ＲＯＭやフ
ロッピディスクにより提供するようにしても良い。更
に、通信で提供するようにしても良い。
【００５７】このＭＰＥＧ２のエンコード処理を行なう
アプリケーションプログラムが実行されると、ディジタ
ルビデオデータに対して、予測モードに応じて、動きベ
クトルの算出処理、ＤＣＴ演算処理、量子化処理、可変
長符号化処理が行なわれ、ディジタルビデオデータがＭ
ＰＥＧ２方式により圧縮される。このとき、作業用とし
て、ＲＡＭ３が用いられ、演算は、ＣＰＵ１の演算機能
を用いて行なわれる。ディジタルビデオデータは、例え
ば、ＩＥＥＥ１３９４コントローラ１０に接続された外
部のディジタルＶＣＲ等から入力される。そして、出力
データは、例えば、ＳＣＳＩコントローラ８やＩＤＥコ
ントローラ７に接続されたハードディスクドライブ等に
記録される。
アプリケーションプログラムが実行されると、ディジタ
ルビデオデータに対して、予測モードに応じて、動きベ
クトルの算出処理、ＤＣＴ演算処理、量子化処理、可変
長符号化処理が行なわれ、ディジタルビデオデータがＭ
ＰＥＧ２方式により圧縮される。このとき、作業用とし
て、ＲＡＭ３が用いられ、演算は、ＣＰＵ１の演算機能
を用いて行なわれる。ディジタルビデオデータは、例え
ば、ＩＥＥＥ１３９４コントローラ１０に接続された外
部のディジタルＶＣＲ等から入力される。そして、出力
データは、例えば、ＳＣＳＩコントローラ８やＩＤＥコ
ントローラ７に接続されたハードディスクドライブ等に
記録される。
【００５８】図２は、このようなＭＰＥＧ２のエンコー
ド処理プログラムの概要を示すフローチャートである。
ド処理プログラムの概要を示すフローチャートである。
【００５９】図２に示すように、先ず、複数フレームの
ディジタルビデオデータが取り込まれ、このディジタル
ビデオデータがＲＡＭ３上にバッファされる（ステップ
Ｓ１）。そして、ブロックマッチングにより、動きベク
トルが算出される（ステップＳ２）。
ディジタルビデオデータが取り込まれ、このディジタル
ビデオデータがＲＡＭ３上にバッファされる（ステップ
Ｓ１）。そして、ブロックマッチングにより、動きベク
トルが算出される（ステップＳ２）。
【００６０】予測モードがＩピクチャか、Ｐピクチャ
か、Ｂピクチャかが判断される（ステップＳ３）。ステ
ップＳ３でＩピクチャであると判断されたら、同一フレ
ーム内での（８×８）画素を１ブロックとしてＤＣＴ演
算が行なわれる（ステップＳ４）。そして、求められた
係数データは量子化され（ステップＳ５）、可変長符号
化される（ステップＳ６）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ７）。
か、Ｂピクチャかが判断される（ステップＳ３）。ステ
ップＳ３でＩピクチャであると判断されたら、同一フレ
ーム内での（８×８）画素を１ブロックとしてＤＣＴ演
算が行なわれる（ステップＳ４）。そして、求められた
係数データは量子化され（ステップＳ５）、可変長符号
化される（ステップＳ６）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ７）。
【００６１】ステップＳ３でＰピクチャであると判断さ
れたら、順方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ８）、この参照画像に対して、ステ
ップＳ２で算出された動きベクトルに基づいて動き補償
がなされ（ステップＳ９）、現画像のデータと、動き補
償された参照画像のデータとの差分が求められ、この現
画像のデータと、参照画像のデータとの差分データがＤ
ＣＴ演算される（ステップＳ１０）。そして、求められ
たデータは量子化され（ステップＳ１１）、可変長符号
化される（ステップＳ１２）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ１３）。
れたら、順方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ８）、この参照画像に対して、ステ
ップＳ２で算出された動きベクトルに基づいて動き補償
がなされ（ステップＳ９）、現画像のデータと、動き補
償された参照画像のデータとの差分が求められ、この現
画像のデータと、参照画像のデータとの差分データがＤ
ＣＴ演算される（ステップＳ１０）。そして、求められ
たデータは量子化され（ステップＳ１１）、可変長符号
化される（ステップＳ１２）。また、このときのデータ
は、参照画像のデータとしてＲＡＭ３上に保存される
（ステップＳ１３）。
【００６２】ステップＳ３でＢピクチャであると判断さ
れたら、両方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ１４）、この参照画像に対して、ス
テップＳ２で算出された動きベクトルに基づいて動き補
償がなされ（ステップＳ１５）、現画像のデータと、動
き補償された参照画像のデータとの差分が求められ、こ
の現画像のデータと、参照画像のデータとの差分データ
がＤＣＴ演算される（ステップＳ１６）。そして、求め
られたデータは量子化され（ステップＳ１７）、可変長
符号化される（ステップＳ１８）。
れたら、両方向の参照画像のデータがＲＡＭ３から読み
出され（ステップＳ１４）、この参照画像に対して、ス
テップＳ２で算出された動きベクトルに基づいて動き補
償がなされ（ステップＳ１５）、現画像のデータと、動
き補償された参照画像のデータとの差分が求められ、こ
の現画像のデータと、参照画像のデータとの差分データ
がＤＣＴ演算される（ステップＳ１６）。そして、求め
られたデータは量子化され（ステップＳ１７）、可変長
符号化される（ステップＳ１８）。
【００６３】図３におけるステップＳ２で示す動きベク
トルの算出処理は、処理の対象となる現フレームにおい
て分割されたブロックに対して、参照フレームの画面内
における同位置を基点としてそのブロックと大きさの等
しいブロックを抽出し、所定の探索範囲内でこのブロッ
クを動かしながら、現フレームのブロックの画素と参照
フレームのブロックの各画素との差分の絶対値和から残
差を求め、この残差が最小となるブロックを検出するよ
うなブロックマッチングにより行なわれる。ところが、
このようなブロックマッチングにより動きベクトルを求
めると、その演算量は膨大となる。
トルの算出処理は、処理の対象となる現フレームにおい
て分割されたブロックに対して、参照フレームの画面内
における同位置を基点としてそのブロックと大きさの等
しいブロックを抽出し、所定の探索範囲内でこのブロッ
クを動かしながら、現フレームのブロックの画素と参照
フレームのブロックの各画素との差分の絶対値和から残
差を求め、この残差が最小となるブロックを検出するよ
うなブロックマッチングにより行なわれる。ところが、
このようなブロックマッチングにより動きベクトルを求
めると、その演算量は膨大となる。
【００６４】そこで、この発明では、ブロックマッチン
グ演算のループの中で、現フレームのブロックの画素と
参照フレームのブロックの画素との差分の絶対値和の途
中結果と所定の閾値とを比較し、現フレームのブロック
の画素と参照フレームのブロックの画素との差分の絶対
値和が所定の閾値以上になったら、そこで演算を打ち切
るような処理が行なわれている。これにより、演算量が
削減され、動きベクトルの探索が高速化できる。
グ演算のループの中で、現フレームのブロックの画素と
参照フレームのブロックの画素との差分の絶対値和の途
中結果と所定の閾値とを比較し、現フレームのブロック
の画素と参照フレームのブロックの画素との差分の絶対
値和が所定の閾値以上になったら、そこで演算を打ち切
るような処理が行なわれている。これにより、演算量が
削減され、動きベクトルの探索が高速化できる。
【００６５】更に、この発明では、平均値分離絶対値和
ＭＡＤの値と原点での残差ＡＤ（０，０）に基づいてこ
のときの閾値が設定される。このように、平均値分離絶
対値和ＭＡＤの値と原点での残差ＡＤ（０，０）に基づ
いて閾値を動的に設定することで、演算の無駄がなくな
る。
ＭＡＤの値と原点での残差ＡＤ（０，０）に基づいてこ
のときの閾値が設定される。このように、平均値分離絶
対値和ＭＡＤの値と原点での残差ＡＤ（０，０）に基づ
いて閾値を動的に設定することで、演算の無駄がなくな
る。
【００６６】つまり、Ｐピクチャ及びＢピクチャでは、
マクロブロックの単位で、フレーム内符号化を行なう場
合もある（なお、図２の例では、説明を簡単とするため
に、Ｐピクチャ及びＢピクチャでは、参照フレームを使
ってフレーム間符号化を行なうとしている）。すなわ
ち、一般的には、フレーム間符号化の方がフレーム内符
号化よりも効率的に圧縮できるが、直流分を多く含むよ
うな画面や、動きが激しく現フレームと参照フレームと
の間の差分の絶対値和が大きくなるような画面では、フ
レーム内符号化による方が効率的に圧縮できる。フレー
ム内符号化となる場合には、動きベクトルの算出処理は
不要であるため、動きベクトルの誤りは許容できる。
マクロブロックの単位で、フレーム内符号化を行なう場
合もある（なお、図２の例では、説明を簡単とするため
に、Ｐピクチャ及びＢピクチャでは、参照フレームを使
ってフレーム間符号化を行なうとしている）。すなわ
ち、一般的には、フレーム間符号化の方がフレーム内符
号化よりも効率的に圧縮できるが、直流分を多く含むよ
うな画面や、動きが激しく現フレームと参照フレームと
の間の差分の絶対値和が大きくなるような画面では、フ
レーム内符号化による方が効率的に圧縮できる。フレー
ム内符号化となる場合には、動きベクトルの算出処理は
不要であるため、動きベクトルの誤りは許容できる。
【００６７】現フレームのブロックの画素と参照フレー
ムのブロックの画素との差分の絶対値和の途中結果と所
定の閾値とを比較し、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和が所定
の閾値以上になったら、そこで演算を打ち切るような処
理を行なうようにした場合、閾値を低くすると、演算が
途中で打ち切られる可能性が高くなり、演算は効率的に
なる。ところが、閾値を低くすると、動きベクトルを誤
検出する可能性が高い。しかしながら、フレーム内符号
化となる場合には、動きベクトルの算出処理は不要にな
るため、動きベクトルの誤検出は許容できる。このた
め、フレーム内符号化となる場合には、閾値を下げて、
演算効率の向上を図ることができる。
ムのブロックの画素との差分の絶対値和の途中結果と所
定の閾値とを比較し、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和が所定
の閾値以上になったら、そこで演算を打ち切るような処
理を行なうようにした場合、閾値を低くすると、演算が
途中で打ち切られる可能性が高くなり、演算は効率的に
なる。ところが、閾値を低くすると、動きベクトルを誤
検出する可能性が高い。しかしながら、フレーム内符号
化となる場合には、動きベクトルの算出処理は不要にな
るため、動きベクトルの誤検出は許容できる。このた
め、フレーム内符号化となる場合には、閾値を下げて、
演算効率の向上を図ることができる。
【００６８】Ｐピクチャ及びＢピクチャのエンコード処
理を行なう際に、フレーム内符号化になるか否かは、平
均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ（０，
０）に基づいて判断される。
理を行なう際に、フレーム内符号化になるか否かは、平
均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ（０，
０）に基づいて判断される。
【００６９】平均値分離絶対値和ＭＡＤは、１フレーム
内の各画素の値と画素の平均値との差分の絶対値であ
り、
内の各画素の値と画素の平均値との差分の絶対値であ
り、
【００７０】
【数１】
【００７１】として求められる。この平均値分離絶対値
和ＭＡＤは、１フレームの画面の絵柄の変化を反映して
おり、絵柄の変化が少なければ平均値分離絶対値和ＭＡ
Ｄが小さな値となり、絵柄の変化が大きければ平均値分
離絶対値和ＭＡＤが大きな値となる。
和ＭＡＤは、１フレームの画面の絵柄の変化を反映して
おり、絵柄の変化が少なければ平均値分離絶対値和ＭＡ
Ｄが小さな値となり、絵柄の変化が大きければ平均値分
離絶対値和ＭＡＤが大きな値となる。
【００７２】原点での残差ＡＤ（０，０）は、参照フレ
ームの原点でのブロックの各画素と、現フレームの原点
でのブロックの各画素との間の差分の絶対値和であり、
これは、画面の動きが大きいか否かを示している。画面
の動きが大きければ、原点での残差ＡＤ（０，０）は大
きな値となり、画面の動きが小さければ、原点での残差
ＡＤ（０，０）は小さな値となる。
ームの原点でのブロックの各画素と、現フレームの原点
でのブロックの各画素との間の差分の絶対値和であり、
これは、画面の動きが大きいか否かを示している。画面
の動きが大きければ、原点での残差ＡＤ（０，０）は大
きな値となり、画面の動きが小さければ、原点での残差
ＡＤ（０，０）は小さな値となる。
【００７３】このことから、図３に示すような関数によ
り、フレーム内符号化になるかフレーム間符号化になる
かを判断できる。図３において、横軸は原点での残差Ａ
Ｄ（０，０）の値を示し、縦軸は平均値分離絶対値和Ｍ
ＡＤを示している。この図において、平均値分離絶対値
和ＭＡＤの値と、原点での残差ＡＤ（０，０）の値が領
域ＡＲ１に入ったときには、フレーム内符号化処理にな
り、領域ＡＲ２に入ったときには、フレーム間符号化処
理になる。この関数は、平均値分離絶対値和ＭＡＤが小
さければ、１フレームの画面の絵柄の変化が少ないの
で、フレーム内符号化となるが、原点での残差ＡＤ
（０，０）が小さければ、これに優先して、常に、フレ
ーム間符号化となることを示している。
り、フレーム内符号化になるかフレーム間符号化になる
かを判断できる。図３において、横軸は原点での残差Ａ
Ｄ（０，０）の値を示し、縦軸は平均値分離絶対値和Ｍ
ＡＤを示している。この図において、平均値分離絶対値
和ＭＡＤの値と、原点での残差ＡＤ（０，０）の値が領
域ＡＲ１に入ったときには、フレーム内符号化処理にな
り、領域ＡＲ２に入ったときには、フレーム間符号化処
理になる。この関数は、平均値分離絶対値和ＭＡＤが小
さければ、１フレームの画面の絵柄の変化が少ないの
で、フレーム内符号化となるが、原点での残差ＡＤ
（０，０）が小さければ、これに優先して、常に、フレ
ーム間符号化となることを示している。
【００７４】図４は、このように、ブロックマッチング
演算のループの中で、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和の途中
結果と所定の閾値とを比較し、途中結果の差分の絶対値
和が所定の閾値以上になったら、演算を打ち切るような
処理を行なうと共に、平均値分離絶対値和ＭＡＤの値と
原点での残差ＡＤ（０，０）の値とから、フレーム内符
号化になるか否かを判断して、閾値の初期値を設定し、
動きベクトルの演算を効率的に行なうようにした例を示
すものである。
演算のループの中で、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和の途中
結果と所定の閾値とを比較し、途中結果の差分の絶対値
和が所定の閾値以上になったら、演算を打ち切るような
処理を行なうと共に、平均値分離絶対値和ＭＡＤの値と
原点での残差ＡＤ（０，０）の値とから、フレーム内符
号化になるか否かを判断して、閾値の初期値を設定し、
動きベクトルの演算を効率的に行なうようにした例を示
すものである。
【００７５】なお、最初のブロックマッチングで設定さ
れる閾値は必ずしも小さな値とならないので、１回目の
動きベクトルの探索では、平均値分離絶対値和ＭＡＤの
値と原点での残差ＡＤ（０，０）の値から求められたも
のを用い、同じブロックに対する次のブロックマッチン
グの閾値には、元の閾値又は検出された絶対値和の何れ
か小さい方を用いることで、効率の向上が図られてい
る。
れる閾値は必ずしも小さな値とならないので、１回目の
動きベクトルの探索では、平均値分離絶対値和ＭＡＤの
値と原点での残差ＡＤ（０，０）の値から求められたも
のを用い、同じブロックに対する次のブロックマッチン
グの閾値には、元の閾値又は検出された絶対値和の何れ
か小さい方を用いることで、効率の向上が図られてい
る。
【００７６】図４において、参照フレームのブロックの
探索範囲が初期設定される（ステップＳ２１）。そし
て、平均値分離絶対値和ＭＡＤが求められ（ステップＳ
２２）、原点での残差ＡＤ（０，０）が求められる（ス
テップＳ２３）。この平均値分離絶対値和ＭＡＤと、原
点での残差ＡＤ（０，０）とに応じて、ＡＤｍｉｎの初
期値が設定される（ステップＳ２４）。
探索範囲が初期設定される（ステップＳ２１）。そし
て、平均値分離絶対値和ＭＡＤが求められ（ステップＳ
２２）、原点での残差ＡＤ（０，０）が求められる（ス
テップＳ２３）。この平均値分離絶対値和ＭＡＤと、原
点での残差ＡＤ（０，０）とに応じて、ＡＤｍｉｎの初
期値が設定される（ステップＳ２４）。
【００７７】このＡＤｍｉｎの値は、これまでの残差の
最小値を示すものであるが、ＡＤｍｉｎの初期値は、現
フレームのブロックの画素と参照フレームのブロックの
画素との差分の絶対値和と比較する閾値の初期値とな
る。この閾値の初期値として用いられるＡＤｍｉｎは、
図３に示す関数から、フレーム内符号化になるかフレー
ム間符号化になるかに応じて動的に設定される。
最小値を示すものであるが、ＡＤｍｉｎの初期値は、現
フレームのブロックの画素と参照フレームのブロックの
画素との差分の絶対値和と比較する閾値の初期値とな
る。この閾値の初期値として用いられるＡＤｍｉｎは、
図３に示す関数から、フレーム内符号化になるかフレー
ム間符号化になるかに応じて動的に設定される。
【００７８】つまり、図３に示す関数から、フレーム間
符号化が行なわれるであろうと判断された場合（図３に
おいて領域ＡＲ２になる場合）には、動きベクトルを正
確に求める必要があるから、閾値の初期値として用いら
れるＡＤｍｉｎは大きな値に設定され、演算が途中で打
ち切られる可能性が低くなるようにされる。これに対し
て、フレーム内符号化が行なわれるであろうと判断され
た場合（図３において領域ＡＲ１になる場合）には、動
きベクトルを使われなくなる可能性が高いため、閾値の
初期値として用いられるＡＤｍｉｎの値は小さく設定さ
れ、演算が打ち切られる可能性が高くして、演算の効率
化が図られる。
符号化が行なわれるであろうと判断された場合（図３に
おいて領域ＡＲ２になる場合）には、動きベクトルを正
確に求める必要があるから、閾値の初期値として用いら
れるＡＤｍｉｎは大きな値に設定され、演算が途中で打
ち切られる可能性が低くなるようにされる。これに対し
て、フレーム内符号化が行なわれるであろうと判断され
た場合（図３において領域ＡＲ１になる場合）には、動
きベクトルを使われなくなる可能性が高いため、閾値の
初期値として用いられるＡＤｍｉｎの値は小さく設定さ
れ、演算が打ち切られる可能性が高くして、演算の効率
化が図られる。
【００７９】ステップＳ２４で、ＡＤｍｉｎの初期値が
設定されたら、最初のブロックマッチングを行なう位置
が探索範囲の右上に設定される（ステップＳ２５）。そ
して、この初期位置のブロックで、ブロックマッチング
の処理が行なわれる（ステップＳ２６）。
設定されたら、最初のブロックマッチングを行なう位置
が探索範囲の右上に設定される（ステップＳ２５）。そ
して、この初期位置のブロックで、ブロックマッチング
の処理が行なわれる（ステップＳ２６）。
【００８０】ブロックマッチング処理は、図５に示すよ
うに、現フレームのブロックの画素と参照フレームのブ
ロックの画素との差分の絶対値和の途中結果と所定の閾
値とを比較し、途中結果の差分の絶対値和が所定の閾値
以上になったら、演算を打ち切るような処理により行な
われる。そして、このとき、最初のブロックマッチング
では、閾値として、ステップ２４で求められたＡＤｍｉ
ｎの初期値が用いられる。
うに、現フレームのブロックの画素と参照フレームのブ
ロックの画素との差分の絶対値和の途中結果と所定の閾
値とを比較し、途中結果の差分の絶対値和が所定の閾値
以上になったら、演算を打ち切るような処理により行な
われる。そして、このとき、最初のブロックマッチング
では、閾値として、ステップ２４で求められたＡＤｍｉ
ｎの初期値が用いられる。
【００８１】つまり、図５に示すように、ブロックマッ
チング処理（ステップＳ２６）では、画素位置が初期設
定され（ステップＳ４１）、残差ＡＤが初期設定される
（ステップＳ４２）。そして、参照フレームの画素とこ
れと対応する現フレームの画素との差分の絶対値和から
残差が求められる（ステップＳ４３）。この参照フレー
ムの画素と現フレームの画素との差分の絶対値和を求め
ている最中に、これまでの参照フレームの画素と現フレ
ームの画素との差分の絶対値和ＡＤが、ＡＤｍｉｎの値
を越えたか否かが判断される（ステップＳ４４）。これ
までの参照フレームの画素と現フレームの画素との差分
の絶対値和ＡＤがＡＤｍｉｎの値を越えたら、ブロック
マッチング処理は終了され、メインルーチンに復帰され
る。これまでの参照フレームの画素と現フレームの画素
との差分の絶対値和ＡＤがＡＤｍｉｎの値を越えていな
ければ、全ての画素についての演算が終了したか否かが
判断される（ステップＳ４５）。全ての画素についての
演算が終了したと判断されていなければ、ステップＳ４
３に戻され、参照フレームの画素と現フレームの画素と
の差分の絶対値和ＡＤを求める処理が続けられる。ステ
ップＳ４５で、全ての画素についての演算が終了したと
判断されたら、ブロックマッチング処理は終了され、メ
インルーチンに復帰される。
チング処理（ステップＳ２６）では、画素位置が初期設
定され（ステップＳ４１）、残差ＡＤが初期設定される
（ステップＳ４２）。そして、参照フレームの画素とこ
れと対応する現フレームの画素との差分の絶対値和から
残差が求められる（ステップＳ４３）。この参照フレー
ムの画素と現フレームの画素との差分の絶対値和を求め
ている最中に、これまでの参照フレームの画素と現フレ
ームの画素との差分の絶対値和ＡＤが、ＡＤｍｉｎの値
を越えたか否かが判断される（ステップＳ４４）。これ
までの参照フレームの画素と現フレームの画素との差分
の絶対値和ＡＤがＡＤｍｉｎの値を越えたら、ブロック
マッチング処理は終了され、メインルーチンに復帰され
る。これまでの参照フレームの画素と現フレームの画素
との差分の絶対値和ＡＤがＡＤｍｉｎの値を越えていな
ければ、全ての画素についての演算が終了したか否かが
判断される（ステップＳ４５）。全ての画素についての
演算が終了したと判断されていなければ、ステップＳ４
３に戻され、参照フレームの画素と現フレームの画素と
の差分の絶対値和ＡＤを求める処理が続けられる。ステ
ップＳ４５で、全ての画素についての演算が終了したと
判断されたら、ブロックマッチング処理は終了され、メ
インルーチンに復帰される。
【００８２】上述のように、ブロックマッチング処理で
は、ステップＳ４４で、参照フレームのブロックと現フ
レームのブロックとの差分の絶対値和ＡＤがＡＤｍｉｎ
の値を越えたか否かが判断され、この差分の絶対値和Ａ
ＤがＡＤｍｉｎを越えていたら、メインルーチンに復帰
終了される。したがって、ＡＤｍｉｎの値が閾値とな
り、ブロックマッチング演算のループの中で、現フレー
ムのブロックの画素と参照フレームのブロックの画素と
の差分の絶対値和の途中結果と閾値とを比較し、現フレ
ームのブロックの画素と参照フレームのブロックの画素
との差分の絶対値和が所定の閾値以上になったら、そこ
で演算を打ち切るような処理が実現されている。これに
より、演算量が削減され、動きベクトルの探索が高速化
できる。
は、ステップＳ４４で、参照フレームのブロックと現フ
レームのブロックとの差分の絶対値和ＡＤがＡＤｍｉｎ
の値を越えたか否かが判断され、この差分の絶対値和Ａ
ＤがＡＤｍｉｎを越えていたら、メインルーチンに復帰
終了される。したがって、ＡＤｍｉｎの値が閾値とな
り、ブロックマッチング演算のループの中で、現フレー
ムのブロックの画素と参照フレームのブロックの画素と
の差分の絶対値和の途中結果と閾値とを比較し、現フレ
ームのブロックの画素と参照フレームのブロックの画素
との差分の絶対値和が所定の閾値以上になったら、そこ
で演算を打ち切るような処理が実現されている。これに
より、演算量が削減され、動きベクトルの探索が高速化
できる。
【００８３】更に、閾値の初期値として用いられるＡＤ
ｍｉｎは、ステップＳ２４で、平均値分離絶対値和ＭＡ
Ｄと原点での残差ＡＤ（０，０）から設定される。フレ
ーム内符号化が行なわれるときには、動きベクトルは不
要となるため、動きベクトルの誤検出は許容できる。し
たがって、平均値分離絶対値和ＭＡＤと原点での残差Ａ
Ｄ（０，０）から、フレーム内符号化が行なわれると判
断された場合には、閾値として用いられるＡＤｍｉｎの
初期値が低く設定される。このように閾値を動的に変化
させることにより、動きベクトルが不要になるをフレー
ム内符号化になるときには、ブロックマッチングが打ち
切れられる可能性が高くなり、演算量が更に削減され
る。
ｍｉｎは、ステップＳ２４で、平均値分離絶対値和ＭＡ
Ｄと原点での残差ＡＤ（０，０）から設定される。フレ
ーム内符号化が行なわれるときには、動きベクトルは不
要となるため、動きベクトルの誤検出は許容できる。し
たがって、平均値分離絶対値和ＭＡＤと原点での残差Ａ
Ｄ（０，０）から、フレーム内符号化が行なわれると判
断された場合には、閾値として用いられるＡＤｍｉｎの
初期値が低く設定される。このように閾値を動的に変化
させることにより、動きベクトルが不要になるをフレー
ム内符号化になるときには、ブロックマッチングが打ち
切れられる可能性が高くなり、演算量が更に削減され
る。
【００８４】図４において、ブロックマッチングで求め
られた差分の絶対値和ＡＤと、これまでの最小値ＡＤｍ
ｉｎとが比較される（ステップＳ２７）。求められた差
分の絶対値和ＡＤがこれまでの最小値ＡＤｍｉｎより小
さければ、今回の値ＡＤがそれまでの最小値ＡＤｍｉｎ
とされる（ステップＳ２８）。そして、このときの値が
動きベクトルＭＶとして記録され（ステップＳ２９）、
次のブロック移動される（ステップ３０）。そして、最
後の位置まで終了したか否かが判断され（ステップＳ３
１）、最後の位置まで終了していなければ、ステップ２
６に行き、次の位置でのブロックマッチングの処理が行
なわれる。
られた差分の絶対値和ＡＤと、これまでの最小値ＡＤｍ
ｉｎとが比較される（ステップＳ２７）。求められた差
分の絶対値和ＡＤがこれまでの最小値ＡＤｍｉｎより小
さければ、今回の値ＡＤがそれまでの最小値ＡＤｍｉｎ
とされる（ステップＳ２８）。そして、このときの値が
動きベクトルＭＶとして記録され（ステップＳ２９）、
次のブロック移動される（ステップ３０）。そして、最
後の位置まで終了したか否かが判断され（ステップＳ３
１）、最後の位置まで終了していなければ、ステップ２
６に行き、次の位置でのブロックマッチングの処理が行
なわれる。
【００８５】図５に示したように、ブロックマッチング
処理は、現フレームのブロックの画素と参照フレームの
ブロックの画素との差分の絶対値和の途中結果と所定の
閾値とを比較し、途中結果の差分の絶対値和が所定の閾
値以上になったら、演算を打ち切るような処理により行
なわれる。そして、閾値として、ＡＤｍｉｎの値が用い
られる。
処理は、現フレームのブロックの画素と参照フレームの
ブロックの画素との差分の絶対値和の途中結果と所定の
閾値とを比較し、途中結果の差分の絶対値和が所定の閾
値以上になったら、演算を打ち切るような処理により行
なわれる。そして、閾値として、ＡＤｍｉｎの値が用い
られる。
【００８６】ステップＳ２７で、ブロックマッチングで
求められた差分の絶対値和ＡＤと、これまでの最小値Ａ
Ｄｍｉｎとが比較され、ステップＳ２８で、求められた
差分の絶対値和ＡＤがこれまでの最小値ＡＤｍｉｎより
小さければ、今回の値ＡＤがそれまでの最小値ＡＤｍｉ
ｎとされる。したがって、求められた差分の絶対値和が
これまでの最小値ＡＤｍｉｎより大きければ、次の閾値
は元の閾値と同じになり、求められた差分の絶対値和が
これまでの最小値ＡＤｍｉｎより小さくなると、次の閾
値はそれまでの差分の絶対値和の最小値となる。したが
って、図５に示すブロックマッチングでは、残差がそれ
までの最小値ＡＤｍｉｎを越えると、演算が終了され
る。
求められた差分の絶対値和ＡＤと、これまでの最小値Ａ
Ｄｍｉｎとが比較され、ステップＳ２８で、求められた
差分の絶対値和ＡＤがこれまでの最小値ＡＤｍｉｎより
小さければ、今回の値ＡＤがそれまでの最小値ＡＤｍｉ
ｎとされる。したがって、求められた差分の絶対値和が
これまでの最小値ＡＤｍｉｎより大きければ、次の閾値
は元の閾値と同じになり、求められた差分の絶対値和が
これまでの最小値ＡＤｍｉｎより小さくなると、次の閾
値はそれまでの差分の絶対値和の最小値となる。したが
って、図５に示すブロックマッチングでは、残差がそれ
までの最小値ＡＤｍｉｎを越えると、演算が終了され
る。
【００８７】以下、ステップＳ２６からステップＳ３１
が繰り返され、現フレームのブロックの画素と参照フレ
ームのブロックの画素との差分の絶対値和の最小値が求
められる。ステップＳ３１で、最後の位置まで終了した
か否かが判断されると、それまでの現フレームのブロッ
クの画素と参照フレームのブロックの画素との差分の絶
対値和の最小値ＡＤｍｉｎが動きベクトルＭＶとされ、
この結果が格納される（ステップＳ３２）。
が繰り返され、現フレームのブロックの画素と参照フレ
ームのブロックの画素との差分の絶対値和の最小値が求
められる。ステップＳ３１で、最後の位置まで終了した
か否かが判断されると、それまでの現フレームのブロッ
クの画素と参照フレームのブロックの画素との差分の絶
対値和の最小値ＡＤｍｉｎが動きベクトルＭＶとされ、
この結果が格納される（ステップＳ３２）。
【００８８】なお、上述の例では、平均値分離絶対値和
ＭＡＤと原点での残差ＡＤ（０，０）から、閾値の初期
値を設定しているが、平均値分離絶対値和ＭＡＤ又は原
点での残差ＡＤ（０，０）の１つから閾値を設定するよ
うにしても良い。
ＭＡＤと原点での残差ＡＤ（０，０）から、閾値の初期
値を設定しているが、平均値分離絶対値和ＭＡＤ又は原
点での残差ＡＤ（０，０）の１つから閾値を設定するよ
うにしても良い。
【００８９】
【発明の効果】この発明によれば、ブロックマッチング
演算のループの中で、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和の途中
結果と閾値とを比較し、現フレームのブロックの画素と
参照フレームのブロックの画素との差分の絶対値和が所
定の閾値以上になったら、そこで演算を打ち切るような
処理が行なわれている。これにより、演算量が削減さ
れ、動きベクトルの探索が高速化できる。
演算のループの中で、現フレームのブロックの画素と参
照フレームのブロックの画素との差分の絶対値和の途中
結果と閾値とを比較し、現フレームのブロックの画素と
参照フレームのブロックの画素との差分の絶対値和が所
定の閾値以上になったら、そこで演算を打ち切るような
処理が行なわれている。これにより、演算量が削減さ
れ、動きベクトルの探索が高速化できる。
【００９０】そして、このときの閾値の初期値は、平均
値分離絶対値和ＭＡＤの値と、原点での残差ＡＤ（０，
０）に基づいて設定される。このように、平均値分離絶
対値和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基
づいて閾値を設定すると、フレーム間符号化となるよう
なときには、閾値が下がり、確実に動きベクトルが検出
され、フレーム内符号化となるときには、閾値が上が
り、演算を打ち切る可能性が高くなり、効率的にブロッ
クマッチングが行なえる。
値分離絶対値和ＭＡＤの値と、原点での残差ＡＤ（０，
０）に基づいて設定される。このように、平均値分離絶
対値和ＭＡＤの値と、原点での残差ＡＤ（０，０）に基
づいて閾値を設定すると、フレーム間符号化となるよう
なときには、閾値が下がり、確実に動きベクトルが検出
され、フレーム内符号化となるときには、閾値が上が
り、演算を打ち切る可能性が高くなり、効率的にブロッ
クマッチングが行なえる。
【００９１】更に、１回目の動きベクトルの探索では、
平均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ
（０，０）の値から求められた閾値を用い、同じブロッ
クに対する次のブロックマッチングの閾値には、元の閾
値又は検出された絶対値和の何れか小さい方を用いるこ
とで、すなわち閾値をこれまでの最小値とすることで、
効率の向上が図られる。
平均値分離絶対値和ＭＡＤの値と原点での残差ＡＤ
（０，０）の値から求められた閾値を用い、同じブロッ
クに対する次のブロックマッチングの閾値には、元の閾
値又は検出された絶対値和の何れか小さい方を用いるこ
とで、すなわち閾値をこれまでの最小値とすることで、
効率の向上が図られる。
【図１】データ処理装置の一例のブロック図である。
【図２】ＭＰＥＧ２のエンコード処理の説明に用いるフ
ローチャートである。
ローチャートである。
【図３】フレーム内符号化を行なうかフレーム間符号化
を行なうかを決定する関数の一例のグラフである。
を行なうかを決定する関数の一例のグラフである。
【図４】この発明が適用された動きベクトル算出処理の
説明に用いるフローチャートである。
説明に用いるフローチャートである。
【図５】この発明が適用された動きベクトル算出処理の
説明に用いるフローチャートである。
説明に用いるフローチャートである。
【図６】従来のＭＰＥＧ２エンコーダの構成を示すブロ
ック図である。
ック図である。
【図７】ブロックマッチングの説明に用いる略線図であ
る。
る。
１・・・ＣＰＵ，２・・・ＲＯＭ，３・・・ＲＡＭ，７
・・・ＩＤＥコントローラ，８・・・ＳＣＳＩコントロ
ーラ，１０・・・ＩＥＥＥ１３９４コントローラ
・・・ＩＤＥコントローラ，８・・・ＳＣＳＩコントロ
ーラ，１０・・・ＩＥＥＥ１３９４コントローラ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C057 BA00 EG06 EL01 EM04 EM09 EM13 5C059 KK15 KK19 MA00 MA23 NN01 NN09 NN28 NN29 PP05 PP06 PP07 SS20 TA62 TB10 TC02 TC12 TD01 TD02 TD12 UA02 UA29
Claims (10)
- 【請求項１】 処理の対象となる現画面において分割さ
れた現画面のブロックに対して、参照画面内における同
位置を基点としてそのブロックと大きさの等しい参照画
面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
がら、上記現画面のブロックと参照画面のブロックとの
間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
きベクトルを算出する動きベクトル算出方法において、 上記参照画面のブロックの画素と現画面のブロックの画
素との残差を求める演算途中に、それまでに求められた
参照画面のブロックの画素と現画面のブロックの画素と
の残差と閾値とを比較し、 上記それまでに求められた参照画面のブロックの画素と
現画面のブロックの画素との残差が上記閾値より大きく
なったら、そこで演算を打ち切るように制御し、 上記閾値の初期値を、画面の特性に応じて設定するよう
にしたことを特徴とする動きベクトル算出方法。 - 【請求項２】 上記閾値の初期値を、同一画面内の各画
素の値と各画素の平均値との差分の絶対値和に基づく値
により設定するようにしたことを特徴とする請求項１に
記載の動きベクトル算出方法。 - 【請求項３】 上記閾値の初期値を、原点での残差に基
づく値により設定するようにしたことを特徴とする請求
項１に記載の動きベクトル算出方法。 - 【請求項４】 上記閾値の初期値を、同一画面内の各画
素の値と各画素の平均値との差分の絶対値和に基づく値
と、原点での残差に基づく値とにより設定するようにし
たことを特徴とする請求項１に記載の動きベクトル算出
方法。 - 【請求項５】 上記閾値は、それまでの残差の最小値と
するようにした請求項１に記載の動きベクトル算出方
法。 - 【請求項６】 処理の対象となる現画面において分割さ
れた現画面のブロックに対して、参照画面内における同
位置を基点としてそのブロックと大きさの等しい参照画
面のブロックを抽出し、 所定の探索範囲内で上記参照画面のブロックを動かしな
がら、上記現画面のブロックと参照画面のブロックとの
間の残差を求め、 上記残差が最小となる参照画面のブロックを検出して動
きベクトルを算出する動きベクトル算出プログラムを記
録した記録媒体において、 上記参照画面のブロックの画素と現画面のブロックの画
素との残差を求める演算途中に、それまでに求められた
参照画面のブロックの画素と現画面のブロックの画素と
の残差と閾値とを比較し、 上記それまでに求められた参照画面のブロックの画素と
現画面のブロックの画素との残差が上記閾値より大きく
なったら、そこで演算を打ち切るように制御し、 上記閾値の初期値を、画面の特性に応じて設定するよう
にしたことを特徴とする動きベクトル算出プログラムを
記録した記録媒体。 - 【請求項７】 上記閾値の初期値を、同一画面内の各画
素の値と各画素の平均値との差分の絶対値和に基づく値
により設定するようにしたことを特徴とする請求項６に
記載の動きベクトル算出プログラムを記録した記録媒
体。 - 【請求項８】 上記閾値の初期値を、原点での残差に基
づく値により設定するようにしたことを特徴とする請求
項６に記載の動きベクトル算出プログラムを記録した記
録媒体。 - 【請求項９】 上記閾値の初期値を、同一画面内の各画
素の値と各画素の平均値との差分の絶対値和に基づく値
と、原点での残差に基づく値とにより設定するようにし
たことを特徴とする請求項６に記載の動きベクトル算出
プログラムを記録した記録媒体。 - 【請求項１０】 上記閾値は、それまでの残差の最小値
とするようにした請求項６に記載の動きベクトル算出プ
ログラムを記録した記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23555198A JP2000069484A (ja) | 1998-08-21 | 1998-08-21 | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
| KR1019990028615A KR20000011728A (ko) | 1998-07-15 | 1999-07-15 | 움직임 벡터 검출 방법, 움직임 벡터 산출 프로그램이 기록된 기록 매체, 움직임 검출 장치, 움직임 검출 방법, 화상 엔코딩 장치, 화상 엔코딩 방법, 움직임 벡터 산출 방법, 움직임 벡터 산출 프로그램이 기록된 기록 매체 |
| US09/910,065 US20020015513A1 (en) | 1998-07-15 | 2001-07-23 | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23555198A JP2000069484A (ja) | 1998-08-21 | 1998-08-21 | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000069484A true JP2000069484A (ja) | 2000-03-03 |
Family
ID=16987669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23555198A Pending JP2000069484A (ja) | 1998-07-15 | 1998-08-21 | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000069484A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000106674A (ja) * | 1998-09-29 | 2000-04-11 | Mitsubishi Electric Corp | 動き検出方法および装置 |
| WO2001095636A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimum distortion calculation in image correlation |
| WO2001095635A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimum distortion calculation in image correlation |
| WO2001095634A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimun distortion calculation in image correlation |
| WO2002037860A1 (en) * | 2000-10-27 | 2002-05-10 | Mitsubishi Denki Kabushiki Kaisha | Moving vector detector |
| JP2007183901A (ja) * | 2005-12-30 | 2007-07-19 | Altek Corp | 動画の処理方法 |
| JP2009017155A (ja) * | 2007-07-04 | 2009-01-22 | Nikon Corp | 画像認識装置、焦点調節装置および撮像装置 |
-
1998
- 1998-08-21 JP JP23555198A patent/JP2000069484A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000106674A (ja) * | 1998-09-29 | 2000-04-11 | Mitsubishi Electric Corp | 動き検出方法および装置 |
| US6700996B1 (en) | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
| WO2001095635A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimum distortion calculation in image correlation |
| WO2001095634A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimun distortion calculation in image correlation |
| US6654502B1 (en) | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
| WO2001095636A1 (en) * | 2000-06-07 | 2001-12-13 | Intel Corporation | Adaptive early exit techniques for minimum distortion calculation in image correlation |
| US6907080B1 (en) | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US7031498B2 (en) | 2000-06-07 | 2006-04-18 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US7154950B2 (en) | 2000-06-07 | 2006-12-26 | Intel Corporation | Adaptive early exit techniques in image correlation |
| CN100421472C (zh) * | 2000-06-07 | 2008-09-24 | 英特尔公司 | 用于图像相关性最小失真计算的自适应尽快退出技术 |
| US8804844B2 (en) | 2000-06-07 | 2014-08-12 | Analog Devices, Inc. | Adaptive early exit techniques in image correlation |
| WO2002037860A1 (en) * | 2000-10-27 | 2002-05-10 | Mitsubishi Denki Kabushiki Kaisha | Moving vector detector |
| JP2007183901A (ja) * | 2005-12-30 | 2007-07-19 | Altek Corp | 動画の処理方法 |
| JP2009017155A (ja) * | 2007-07-04 | 2009-01-22 | Nikon Corp | 画像認識装置、焦点調節装置および撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6798977B2 (en) | Image data encoding and decoding using plural different encoding circuits | |
| JP4536325B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| EP1107613B1 (en) | Picture recording apparatus and methods | |
| US20020015513A1 (en) | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded | |
| US6501794B1 (en) | System and related methods for analyzing compressed media content | |
| JPH0955945A (ja) | 動きベクトル特定方法及び装置 | |
| JP2001258038A (ja) | ビデオシーケンスのキーフレーム抽出方法、ビデオシーケンスのキーフレーム抽出装置、記憶媒体及びプログラムソフトウェア | |
| JP2001346216A (ja) | 動画像圧縮方法および情報処理装置 | |
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| JP3667105B2 (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
| JPH0955941A (ja) | 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置 | |
| US20050100099A1 (en) | Image decoding method, image decoding apparatus, and data storage medium | |
| JP2000069484A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JPH0937263A (ja) | 動画圧縮装置 | |
| US20020131503A1 (en) | Moving image compression apparatus, and cut detection data generation method for the apparatus | |
| JP3812808B2 (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| JP2000078589A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JP2776284B2 (ja) | 画像符号化装置 | |
| JP2000050278A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JP2000032471A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JP3141149B2 (ja) | 画像符号化装置 | |
| JP2001145011A (ja) | 映像信号符号化装置 | |
| JP2008199521A (ja) | 画像処理装置およびその方法 | |
| JP5247210B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4359273B2 (ja) | 符号化モード選択方法 |