JP2001218215A

JP2001218215A - 動き推定器

Info

Publication number: JP2001218215A
Application number: JP2001016271A
Authority: JP
Inventors: Seikei Sai; 成圭崔
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2000-01-27
Filing date: 2001-01-24
Publication date: 2001-08-10
Anticipated expiration: 2021-01-24
Also published as: KR20010076707A; EP1120747A3; US20010028681A1; JP3863376B2; CN1316856A; EP1120747A2; KR100677082B1; CN1157956C; US6690730B2

Abstract

(57)【要約】【課題】動映像の圧縮過程での動き推定を高速で行う
動き推定器を提供する。【解決手段】第１メモリ部２００は、以前の探索領域
のデータをライン別に貯蔵する複数個のメモリ領域を有
する以前の探索領域メモリと現在の処理領域のデータを
ライン別に貯蔵する現在の処理領域メモリを有し、以前
の探索領域データ供給部３０は、複数個のメモリ領域か
らの以前の探索領域のデータをシフトさせ、第１スイッ
チング部は、以前の探索領域データ供給部からの以前の
探索領域のデータを選択し、第２スイッチング部は、現
在の処理領域メモリからの現在の処理領域のデータを行
別に選択し、計算部３２には、以前の処理領域のデータ
と現在の処理領域データとのＳＡＤを計算する複数個の
ＳＡＤ計算部が並列で接続され、シフトレジスタ部３４
は、計算部の一段のＳＡＤデータを入力してシフトし、
シフトデータと次段のＳＡＤ値を和して部分ＳＡＤ値を
出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動き推定器に係り、
より詳細には、動映像の圧縮中に用いられる動き推定を
高速で行える動き推定器に関する。

【０００２】

【従来の技術】動き推定は、ビデオコーダにおいて、入
力されるビデオデータの時間的な重複を除去して圧縮効
率を高めるために用いられる。ほとんどの一般の動映像
圧縮標準はブロック基盤のコーダであり、このようなブ
ロック基盤のコーダではブロック整合アルゴリズムが用
いられる。ブロック整合アルゴリズムとは、ブロック単
位で動き推定を行うアルゴリズムを言う。ブロック整合
アルゴリズムによれば、以前のフレームの探索領域内に
位置する候補ブロックのうち現在のフレームのブロック
と最も類似したブロックを探す。このとき、得られる現
在のフレームの処理ブロックと以前のフレームの最も類
似した候補ブロックとの相対的な位置の差は動きベクト
ル（ＭＶ）と呼ばれる。動き推定のためには、ＳＡＤ
（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃ
ｅｓ）値を計算することが一般的である。１６×１６ブ
ロックを単位として動き推定を行う場合、ＳＡＤ値及び
動きベクトル（ＭＶ）は各々、

【数１】

【数２】のように計算される。ここで、C(i,j)は現在のフレーム
のブロックデータであり、P(i+u,j+v)は以前のフレーム
の候補ブロックのデータであり、(u,v)は動きベクトル
候補である。

【０００３】このような計算に基づいて実際に動き推定
器を設計するときには、動き推定の性能及び演算量を考
慮しなければならない。動き推定において、演算量のほ
とんどはＳＡＤ値を計算することである。つまり、一つ
のＳＡＤ値を計算するためには引き算、絶対値、及び累
積演算を行う必要があり、特に、このような計算量は処
理ブロックの大きさに比例する。したがって、従来の動
き推定方法によれば、演算量が多いため、動き推定に長
時間がかかるという問題点がある。

【０００４】前記問題点を解決するために、従来の他の
動き推定方法として、階層的な動き推定方法が提案され
ている。図１は、前記階層的な動き推定方法を説明する
ための図である。図１に示された階層的な動き推定方法
によれば、下位階層のイメージをサブサンプリングする
ことにより中間階層、及び上位階層のサブサンプリング
されたイメージを生成する。次に、サブサンプリングさ
れた上位階層のイメージに対してＳＡＤ値を計算するこ
とにより中間階層のイメージに対する初期探索領域の候
補を選択し、周辺のマクロブロックとの相関関係を用い
て探索領域の候補をさらに選択する。そして、選択され
た初期探索領域の候補に対してＳＡＤ値を計算すること
により、下位階層のイメージに対するそのＳＡＤ値が最
小となる地点の最終的な動きベクトル（ＭＶ）を求め
る。

【０００５】このような方法は、全域にわたっての探索
方法に比べて性能の低下は極めて小さく、しかも処理速
度は速い。しかし、動き推定をより高速で行えるような
方法への要求は依然として存在する。

【０００６】

【発明が解決しようとする課題】本発明は上記事情に鑑
みて成されたものであり、その目的は、動き推定を高速
で行える動き推定器を提供するところにある。

【０００７】

【課題を解決するための手段】前記目的を達成するため
に、本発明による動き推定器は、映像データフレームを
圧縮するために動き推定を行う動き推定器において、以
前の探索領域のデータをライン別に貯蔵する複数個のメ
モリ領域を具備する以前の探索領域メモリと、現在の処
理領域のデータをライン別に貯蔵する現在の処理領域メ
モリを具備する第１メモリ部と、複数個のメモリ領域か
ら循環的に出力される以前の探索領域のデータをシフト
させて出力する以前の探索領域データ供給部と、以前の
探索領域データ供給部から出力された以前の探索領域の
データを選択する第１スイッチング部と、現在の処理領
域メモリから出力される現在の処理領域のデータを行別
に選択する第２スイッチング部と、選択された以前の処
理領域のデータと現在の処理領域データとの絶対差和
（ＳＡＤ）を計算する複数個のＳＡＤ計算部が並列で接
続された計算部と、計算部の一段のＳＡＤ計算部から出
力されたＳＡＤデータを入力してシフトを行い、シフト
されたデータと次段のＳＡＤ計算部から出力されたＳＡ
Ｄ値を和して部分ＳＡＤ値を出力するシフトレジスタ部
と、を含むことを特徴とする。

【０００８】さらに、好ましくは、前記計算部は、探索
領域の大きさをｐとしたとき、ｐ個のＳＡＤ計算部が並
列で接続され、前記シフトレジスタ部は２ｐ＋１個のシ
フトレジスタを具備する。

【０００９】さらに、好ましくは、前記動き推定器は、
入力データをバッファリングするバッファと、バッファ
から出力されたデータを２５シフトする２５シフトレジ
スタと、部分ＳＡＤ値に２５シフトレジスタから出力さ
れたデータを加えてＳＡＤ値を出力する加算器と、加算
器から出力されたＳＡＤ値に基づき動きベクトルを生成
するＳＡＤ比較及び動きベクトル生成部と、動きベクト
ル値を２０シフトさせてＳＡＤ比較及び動きベクトル生
成部に出力する２０シフトレジスタと、をさらに含む。

【００１０】さらに、好ましくは、前記動き推定器は、
３階層で階層的動き推定を行うとき、中間階層で周辺マ
クロブロックがもつ動きベクトルの相関関係を用いて初
期探索点をさらに得るために２２シフト動作を行う２２
シフトレジスタをさらに含む。

【００１１】さらに、好ましくは、前記動き推定器は、
動き推定を行うために現在のデータ及び以前の探索領域
データを区分して第１メモリに貯蔵されるように制御
し、動き推定制御部の処理状況に応じて部分ＳＡＤ計算
部にデータを供給するように制御するＤＭＡ制御部と、
ＤＭＡ制御部から出力された制御信号に応答して動き推
定動作を制御する動き推定制御部と、計算された部分Ｓ
ＡＤ値を貯蔵する第２メモリ部と、をさらに含む。

【００１２】さらに、好ましくは、前記第１メモリは、
三つの領域をもつ以前の探索領域メモリと現在の処理領
域メモリとに区分され、前記計算部は、以前の探索領域
のデータ及び現在の処理領域のデータに基づきＳＡＤを
計算する第１のＳＡＤ計算部、第２のＳＡＤ計算部、第
３のＳＡＤ計算部及び第４のＳＡＤ計算部を具備し、前
記シフトレジスタ部は、前記第１ＳＡＤ計算部から出力
されたＳＡＤデータを９シフトさせて出力する第１の９
シフトレジスタと、前記第１の９シフトレジスタの出力
データに前記第２のＳＡＤ計算部の出力データを加える
第１加算器と、前記第２のＳＡＤ計算部から出力された
ＳＡＤデータを９シフトさせて出力する第２の９シフト
レジスタと、前記第２の９シフトレジスタの出力データ
に前記第３のＳＡＤ計算部の出力データを加える第２加
算器と、第３計算部から出力されたＳＡＤデータを９シ
フトさせて出力する第３の９シフトレジスタと、前記第
３の９シフトレジスタの出力データに前記第４のＳＡＤ
計算部の出力データを加える第３加算器と、を具備す
る。

【００１３】さらに、好ましくは、前記第１のＳＡＤ計
算部は、複数のレジスタＣＲ０、ＣＲ１、ＣＲ２、ＣＲ
３と、一方の入力端は前記レジスタＣＲ０、ＣＲ１、Ｃ
Ｒ２、ＣＲ３の出力端に接続され、他方の入力端はスイ
ッチに接続された減算器（ＳＵＢ）を具備し、前記第２
のＳＡＤ計算部は複数のレジスタＣＲ４、ＣＲ５、ＣＲ
６、ＣＲ７と、一方の入力端は前記レジスタＣＲ４、Ｃ
Ｒ５、ＣＲ６、ＣＲ７の出力端に接続され、他方の入力
端はスイッチに接続された減算器（ＳＵＢ）を具備し、
前記第３のＳＡＤ計算部は複数のレジスタＣＲ８、ＣＲ
９、ＣＲ１０、ＣＲ１１と、一方の入力端は前記レジス
タＣＲ８、ＣＲ９、ＣＲ１０、ＣＲ１１の出力端に接続
され、他方の入力端はスイッチに接続された減算器（Ｓ
ＵＢ）を具備し、前記第４のＳＡＤ計算部は複数のレジ
スタＣＲ１２、ＣＲ１３、ＣＲ１４、ＣＲ１５と、一方
の入力端は前記レジスタＣＲ１２、ＣＲ１３、ＣＲ１
４、ＣＲ１５の出力端に接続され、他方の入力端はスイ
ッチに接続された減算器（ＳＵＢ）を具備する。

【００１４】さらに、好ましくは、前記動き推定器は、
以前の探索領域のデータを補間して補間されたデータを
出力する補間部をさらに含む。

【００１５】さらに、好ましくは、前記動き推定器は、
以前の探索領域に該当するデータと現在の処理ブロック
に該当するデータとを区分する動作を行い、処理状況に
よって前記以前の探索領域データ供給部及び前記計算部
にデータを供給するように制御するＤＭＡ制御部をさら
に含む。

【００１６】

【発明の実施の形態】以下、添付した図面に基づき、本
発明の望ましい実施形態について詳細に説明する。

【００１７】図２は、本発明の実施形態による動き推定
器の構造を示したブロック図である。この実施形態の動
き推定器は、３階層の階層的な動き推定方法に基づく。
下位階層では１６×１６ブロック、中間階層では８×８
ブロック、及び上位階層では４×４ブロックに対してＳ
ＡＤ計算が行われる。つまり、中間階層は下位階層を１
／２だけデシメ―ションした階層であり、上位階層は中
間階層を１／２だけデシメ―ションした階層である。さ
らに、上位階層では±４画素単位の探索が行われ、中間
階層及び下位階層では±２画素単位の探索が行われる。
また、この実施形態の動き推定器は、下位階層の正画素
単位の推定が完了した後に、前記下位階層に対して半画
素単位の推定を行う。また、この実施形態では、例え
ば、本出願人により出願され、かつ本明細書に参照とし
て引用された韓国特許出願第９８-６７１８号に開示さ
れた、改善された動き推定方法を用いる。前記特許出願
に開示された動き推定方法によれば、中間階層で選択さ
れたマクロブロック候補に加えて、下位階層で周辺マク
ロブロックとの相関関係に基づき少なくとも１つ以上の
マクロブロック候補をさらに選択する。

【００１８】図２を参照すると、本発明の実施形態によ
る動き推定器は、第１メモリ２００、部分ＳＡＤ計算部
２１０、補間部２１２、加算器２２０、及びバッファ２
２２を具備する。また、前記動き推定器は、２５シフト
レジスタ２３０、ＳＡＤ比較及び動きベクトル生成部２
４０、２２シフトレジスタ２５０、ＤＭＡ制御部２６
０、動き推定制御部２７０、及び第２メモリ２８０を具
備する。第１メモリは、以前の探索領域メモリ２０２と
現在の処理領域メモリ２０４とに分けられる。

【００１９】これらの動作について述べると、ＤＭＡ制
御部２６０は、動き推定を行うために現在のデータと以
前の探索領域データとを区分してこれらが第１メモリ２
００に貯蔵されるように制御する。また、ＤＭＡ制御部
２６０は、動き推定制御部２７０の処理状況によって部
分ＳＡＤ計算部２１０にデータを供給するように制御す
る。

【００２０】部分ＳＡＤ計算部２１０は、現在の処理ブ
ロックデータ及び以前の探索領域データを入力して部分
ＳＡＤ値を計算する。また、前記動き推定器は２２シフ
トレジスタ２５０を具備することにより、３階層で階層
的な動き推定を行うとき、中間階層で周辺マクロブロッ
クがもつ動きベクトルの相関関係に基づき初期の探索点
を得る。

【００２１】図３Ａは、図２の動き推定器の第１メモリ
２００、部分ＳＡＤ計算部２１０、及び補間部２１２の
詳細図である。これを参照すると、第１メモリ２００
は、三つの領域をもつ以前の探索領域メモリ（以前の探
索領域メモリ_Ａ、以前の探索領域メモリ_Ｂ、以前の探
索領域メモリ_Ｃ）と、現在の処理領域メモリとに分け
られる。また、部分ＳＡＤ計算部２１０は、以前の探索
領域データ供給部３０、計算部３２、及びシフトレジス
タ部３４を具備する。また、図３Ｂを参照すると、以前
の探索領域データ供給部３０と計算部との間にはスイッ
チング部３８２、３８６が具備される。また、補間部２
１２の出力端と計算部３２との間にはスイッチ３８４が
具備される。また、現在の処理領域メモリの出力端と計
算部３２との間にはスイッチング部３８８が具備され
る。この実施形態において、前記スイッチは制御信号Ｃ
ｔｒｌ_Ａ、Ｃｔｒｌ_Ｂ、Ｃｔｒｌ_Ｃ、Ｃｔｒｌ_Ｄを
出力するスイッチング制御部３６により制御され、前記
スイッチング制御部３６は動き推定制御部２７０内に具
備できる。

【００２２】以前の探索領域データ供給部３０は、第１
以前の探索領域データ供給部３０ａ、第２以前の探索領
域データ供給部３０ｂ、及び第３以前の探索領域データ
供給部３０ｃを具備する。計算部３２は、第１のＳＡＤ
計算部３２２、第２のＳＡＤ計算部３２４、第３のＳＡ
Ｄ計算部３２６、及び第４のＳＡＤ計算部３２８を具備
する。シフトレジスタ部３４は、第１の９シフトレジス
タ３４０、第２の９シフトレジスタ３４４、第３の９シ
フトレジスタ３４８、及び複数の加算器３４２、３４
６、３５０を具備する。

【００２３】これらの動作について述べると、スイッチ
ング部３８２は、制御信号Ｃｔｒｌ_Ａに応答して以前
の探索領域データ供給部３０から出力された以前の探索
領域のデータを選択する。また、スイッチ３８８は、制
御信号Ｃｔｒｌ_Ｄに応答して現在の処理領域メモリか
ら出力される現在の処理領域のデータを行別に選択す
る。部分ＳＡＤ計算部２１０は、以前の探索領域メモリ
及び現在の処理領域メモリから以前の探索領域に該当す
るデータ及び現在の処理ブロックに該当するデータを入
力して部分ＳＡＤ値を計算する。ＤＭＡ制御部２６０
は、以前の探索領域に該当するデータ及び現在の処理ブ
ロックに該当するデータを区分する動作を行う。部分Ｓ
ＡＤ計算部２１０は、４×４ブロックに対し−４〜＋４
探索領域に限って演算できるので、この実施形態による
動き推定器は加算器２２０、バッファ２２２、及び２５
シフトレジスタ２３０を具備して４×４ブロックよりも
大きいブロックに対してＳＡＤ値を得る。

【００２４】部分ＳＡＤ計算部２１０は、以前の探索領
域メモリ（以前の探索領域メモリ_Ａ、以前の探索領域
メモリ_Ｂ、以前の探索領域メモリ_Ｃ）による三つのチ
ャンネルと、現在の処理領域メモリによる一つのチャン
ネルを通じて各々以前の探索領域データ及び現在の処理
領域データを入力される。

【００２５】図４は、以前の探索領域のデータがメモリ
に配置される順序を示したものである。これを参照する
と、以前の探索領域の第１ラインのデータは以前の探索
領域メモリ_Ａ、第２ラインのデータは以前の探索領域
メモリ_Ｂ、第３ラインのデータは以前の探索領域メモ
リ_Ｃから各々出力される。次に、以前の探索領域の第
４ラインのデータは再び以前の探索領域メモリ_Ａから
出力される。図４において、以前の探索領域メモリ_Ａ
から出力されるデータは○、以前の探索領域メモリ_Ｂ
から出力されるデータは◇、以前の探索領域メモリ_Ｃ
から出力されるデータは□で各々示されている。

【００２６】また、部分ＳＡＤ計算部２１０には、現在
の処理領域メモリから現在の処理領域データが入力され
る。図５は、４×４画素よりなる現在の処理領域のデー
タが図３Ａの計算部内のレジスタに配置される順序を示
したものである。４×４画素よりなる現在の処理領域の
データは、図５に示されたように、図３ＡのレジスタＣ
Ｒ０，ＣＲ１，．．．，ＣＲ１５にロードされる。この
ように現在の処理領域データが各レジスタＣＲ０，ＣＲ
１，．．．，ＣＲ１５に貯蔵中に、以前の探索領域のデ
ータもレジスタＰＡＲ０，ＰＡＲ１，．．．，ＰＡＲ
４，ＰＢＲ１，．．．，ＰＢＲ４，ＰＣＲ０，．．．，
ＰＣＲ４にロードされる。

【００２７】レジスタへのデータのロードが完了する
と、部分ＳＡＤ計算部２１０の減算器（ＳＵＢ）は以前
の探索領域データと現在の処理領域データとの差値を計
算する。次に、絶対差計算部（図示せず）は、前記差値
を入力して前記差値の絶対値を出力する。各絶対差計算
部の出力は各画素に該当する演算値であり、これらの演
算値は現在の処理領域データの水平成分同士で和され
る。これにより、以前の探索領域データが一度入力され
るとき、現在の処理領域の各ラインに対し差の絶対値が
計算される。

【００２８】以降の説明のために、図４に示された以前
の探索領域において、最左上部のデータをP(0,0)、P
(0,0)から右側に１画素分シフトした位置の画素データ
をP(0,1)、P(0,0)から右側に２画素分シフトした位置の
画素データをP(0,2)と定義する。また、P(0,0)から下方
に１画素分シフトした位置の画素データをP(1,0)、P(0,
0)から下方に２画素分シフトした位置の画素データをP
(2,0)と定義する。

【００２９】これと同様に、図５に示された現在の処
理領域において、最左上部のデータをc(0,0)、c(0,0)か
ら右側に１画素分シフトした位置の画素データをc(0,
1)、c(0,0)から右側に２画素分シフトした位置の画素デ
ータをc(0,2)と定義する。また、c(0,0)から下方に１画
素分シフトした位置の画素データをc(1,0)、c(0,0)から
下方に２画素分シフトした位置の画素データをc(2,0)と
定義する。

【００３０】このように定義すると、レジスタＣＲ０に
はc(0,0)データがロードされ、レジスタＣＲ１にはデー
タc(0,1)がロードされる。また、レジスタＣＲ４にはデ
ータc(1,0)がロードされ、レジスタＣＲ５にはデータc
(1,1)がロードされ、レジスタＣＲ１５にはデータc(3,
3)がロードされる。

【００３１】部分ＳＡＤ計算部２１０は、現在の処理領
域内において１ラインずつに対して演算を行うため、第
１計算部３２２、第２計算部３２４、第３計算部３２
６、及び第４計算部３２８の加算器から出力される演算
結果値L0(0,0)、L1(0,0)、L2(0,0)及びL3(0,0)は各々、

【数３】になる。演算結果値L0(0,0)、L1(0,0)、L2(0,0)及びL3
(0,0)は現在の処理領域データの第１、第２、第３及び
第４ラインに対する演算結果に該当する。iを行、jを列
を表わす正の数としたとき、以前の探索領域データをP
(i,j)で表わすと、以前の探索領域データP(i,j)及び現
在の処理領域データの第１、第２、第３及び第４ライン
に対する演算結果は各々L0(i,j)、L1(i,j)、L2(i,j)及
びL3(i,j)となる。この表現によると、探索領域の最左
上部に対するＳＡＤ値は、

【数４】のように表される。以前の探索領域データは部分ＳＡＤ
計算部２１０に１ラインずつ入力されるので、前記数式
４から得られるＳＡＤ値が最初に得られるＳＡＤ値とな
る。

【００３２】L0(0,0)は第１ラインに対する演算によっ
て得られる。しかし、L1(1,0)は以前の探索領域データ
の第２ラインが入力されてこそ得られ、L2(2,0)は第３
ライン、そしてL3(3,0)は第４ラインが入力されてこそ
得られる。つまり、L0(0,0)及びL1(1,0)は探索領域を-
ｐ〜＋ｐとしたとき、２ｐ＋１に該当する時間差が発生
する。したがって、L0(0,0)にL1(1,0)を加えるために２
ｐ＋１クロック分の遅延が必要になる。この実施形態で
は、探索領域を-４〜＋４とするため９クロック分の遅
延が必要になり、シフトレジスタ部３４の９シフトレジ
スタ３４０、３４４、３４８がこのような遅延動作を行
う。図３Ａを戻って詳細に述べると、第１の９シフトレ
ジスタ３４０は第１のＳＡＤ計算部３２２から出力され
たＳＡＤデータを９シフトさせて出力する。第１加算器
３４２は、第１の９シフトレジスタ３４０の出力データ
に第２のＳＡＤ計算部３２４の出力データを加える。第
２の９シフトレジスタ３４４は、第２のＳＡＤ計算部３
２４から出力されたＳＡＤデータを９シフトさせて出力
する。第２加算器３４６は、第２の９シフトレジスタ３
４４の出力データに第３のＳＡＤ計算部３２６の出力デ
ータを加える。第３の９シフトレジスタ３４８は、第３
のＳＡＤ計算部３２６から出力されたＳＡＤデータを９
シフトさせて出力する。第３加算器３５０は、第３の９
シフトレジスタ３４８の出力データに第４のＳＡＤ計算
部３２８の出力データを加える。第３加算器３５０から
出力されたデータは、与えられた探索領域に対する部分
ＳＡＤ値である。

【００３３】図６を参照すると、この実施形態による動
き推定器では、L0(0,0)にL1(1,0)を加えるために９クロ
ック分の遅延が必要になる。また、この実施形態による
動き推定器では、第１ラインをレジスタ部３４にロード
するのに必要な９クロック分の処理遅延を除いた他の処
理遅延は発生しない。つまり、斜線部分のL0(0,0)、L1
(1,0)、L2(2,0)及びL3(3,0)がクロック毎に順次得ら
れ、次に、網がけ部分のL0(0,1)、L1(1,1)、L2(2,1)及
びL3(3,1)がクロック毎に順次得られる。したがって、
４×４画素の探索領域の各々のＳＡＤ値を全域探索によ
り求めるのに必要な総時間は、初期のデータロード時間
を除いたとき、９×１２クロック、つまり１０８クロッ
クとなる。

【００３４】また、本発明による動き推定器は、正画素
単位の探索を完了すると、正画素探索を通じて得た動き
ベクトル地点を基準として半画素単位の探索を行う。

【００３５】補間部２１２は、３個の以前の探索領域メ
モリ（以前の探索領域メモリ_Ａ、以前の探索領域メモ
リ_Ｂ、以前の探索領域メモリ_Ｃ）からデータを受け入
れる。

【００３６】以下、図７を参照し、本発明の実施形態に
よる動き推定器で適用される半画素単位の探索過程につ
いて述べる。半画素単位の探索を行うためには、探索点
を決める必要がある。半画素単位の探索点を各々alpha
(i,j)、beta(i,j)及びgamma(i,j)としたとき、これらの
探索点は各々、

【数５】

【００３７】のように定義される。例えば、alpha(0,0)
に該当する探索点は７０、beta(0,1)に該当する探索点
は７２、gamma(1,0)に該当する探索点は７４と参照され
る。また、alpha(0,4)に該当する探索点は７６、gamma
(1,4)に該当する探索点は７８と参照される。

【００３８】図８は、前記動き推定器の補間部２１２の
一例を参考として示したものである。これを参照する
と、例えば、補間部２１２は、レジスタＰＡＲ０、ＰＢ
Ｒ０、ＰＣＲ０、またはレジスタＰＡＲ１、ＰＢＲ１、
ＰＣＲ１、レジスタＰＡＲ２、ＰＢＲ２、ＰＣＲ２、レ
ジスタＰＡＲ３、ＰＢＲ３、ＰＣＲ３、及びレジスタＰ
ＡＲ４、ＰＢＲ４、ＰＣＲ４のうち各々両レジスタから
以前の探索領域データを選択して入力し、前記数式５
ａ、５ｂ及び５ｃに示された等式に従い補間を行うこと
により、alpha、beta及びgamma画素値を求め、出力端子
に順次出力する。

【００３９】これにより、補間部２１２は、最上位ビッ
ト（ＭＳＢ）及び最下位ビット（ＬＳＢ）を含んで４ビ
ットの補間されたデータを出力する。スイッチ３８４
は、制御信号Ｃｔｒｌ_Ｂに応答して補間部２１２の出
力端子のいずれか一方の端子に順次切り換えられること
により計算部３２の入力データの選択を行う。また、ス
イッチング部３８６は、制御信号Ｃｔｒｌ_Ｃに応答し
て補間されたデータを選択して計算部３２に入力する。
これにより、計算部３２及びシフトレジスタ部３４によ
って補間されたデータに対する部分ＳＡＤ値が得られ
る。

【００４０】すなわち、本発明による動き推定器は、以
前のフレーム領域のデータを一度読み出すことにより、
alpha、beta及びgammaに該当する探索点の画素値を同時
に生成できる。その結果、本発明による動き推定器は従
来の技術のそれに比べて処理速度が速い。

【００４１】また、ある４×４領域に対する動き推定が
完了してから、次の４×４領域で動き推定をする場合、
alpha(0,4)に該当する探索点７６、beta(1,4)に該当す
る探索点７８の画素値は、すでに読み出していた以前の
探索領域のデータをシフトして書き込むことにより得ら
れる。したがって、本発明による動き推定器は、特に半
画素単位の探索を高速で、しかも効率良く行える。

【００４２】図９は、図２の示された動き推定器に半画
素単位の探索を適用した場合のデータ流れを示したもの
である。これを参照すると、前記動き推定器では、一つ
の４×４ブロックに対する半画素単位の探索が２４クロ
ック中に完了する。

【００４３】一方、本実施形態による動き推定器に具備
された部分ＳＡＤ計算部２１０の処理単位は４×４ブロ
ックである。このような動き推定器を３階層の階層的探
索に用いるとき、上位階層の場合には４×４ブロック内
で-４〜＋４画素の探索領域に対して全域探索を行い、
中間階層の場合には８×８ブロック内で-２〜+２画素の
探索領域に対して探索を行い、下位階層の場合には１６
×１６ブロック内で-２〜+２画素の探索領域に対して探
索を行う。

【００４４】本実施形態による動き推定器の部分ＳＡＤ
計算部２１０は、４×４ブロックを計算できる。したが
って、８×８ブロックの中間階層及び１６×１６ブロッ
クの下位階層に対して動き推定を行うためには、階層を
各々４個及び１６個のブロックらに分けて計算した後
に、結果値を加え合わせることが必要である。しかし、
中間階層及び下位階層では探索領域が、図１０に示され
たように、-２〜+２画素に該当するので、探索を一回行
うと、２５ポイントに対する部分ＳＡＤ値を求めること
ができる。このために、図２を参照すると、本発明によ
る動き推定器は、２５シフトレジスタ２３０を具備す
る。前記動き推定器は部分ＳＡＤ値を２５シフトレジス
タ２３０に入力させ、次の部分ＳＡＤ値が出力されると
き毎に２５シフトレジスタ２３０に貯蔵されたデータを
シフトさせて次の４×４ブロックの部分ＳＡＤ値に加え
ることにより、中間階層及び下位階層の探索作業を行え
る。

【００４５】一方、この実施形態による動き推定器は、
３個の初期探索点のうちいずれか一つを周辺マクロブロ
ックとの相関関係に基づき選択する。周辺マクロブロッ
クの位置は、図１１のように定めることができる。入力
映像フレームの左上部の左方から水平方向に動きベクト
ルを求めるため、現在の処理ブロックとこの上に位置し
たマクロブロックとの距離は、入力映像フレームの水平
方向のマクロブロック数に等しい。したがって、入力映
像フレームが３５２×２８８画素のＣＩＦ形式のもので
あるとしたとき、入力映像フレームの最大のサイズは水
平方向に２２個のマクロブロックに該当する。したがっ
て、本発明の他の実施形態によれば、動き推定器は、２
２シフトレジスタアレイ１１００及び中間値計算部１１
０２をさらに具備する。２２シフトレジスタアレイ１１
００は周辺マクロブロックに対する動きベクトル値を入
力し、中間値計算部１１０２はこれらの中間値を動きベ
クトル候補として出力することにより、周辺マクロブロ
ックとの相関関係に基づき動きベクトル候補をさらに選
択する。選択された動きベクトル候補は、中間階層の初
期探索点として用いられる。

【００４６】本発明の実施形態による動き推定器に適用
される３階層の階層的探索において、上位階層データは
元のデータを４：１デシメ―ションした値よりなる。こ
の実施形態において、デシメ―ションに際しては、元の
データを４サンプルおきに一つずつ取る方法を用いる。
現在の処理領域のデータは一つの現在の処理領域メモリ
に貯蔵されているため、水平及び垂直方向に４サンプル
おきに一つずつ取る。以前の探索領域のデータは三つの
以前の探索領域メモリに分かれて貯蔵されているため、
水平方向のデシメ―ションは現在の処理領域のデータの
場合と同様に、４サンプルおきに一つずつ取るが、垂直
方向のデシメ―ションは図１２のように行われる。すな
わち、この実施形態によれば、以前の探索領域メモリ
は、探索領域データの第１ラインが以前の探索領域メモ
リ_Ａに、第２ラインが以前の探索領域メモリ_Ｂに、第
３ラインが以前の探索領域メモリ_Ｃに、のように貯蔵
されているため、図２のＤＭＡ制御部２６０はアドレス
を４ずつインクリメントし、以前の探索領域メモリ_
Ａ、以前の探索領域メモリ_Ｂ、及び以前の探索領域メ
モリ_Ｃの順番に読み出すように制御することが要され
る。

【００４７】メモリから読み出したデータは部分ＳＡＤ
計算部２１０の各レジスタに貯蔵され、-４〜+４ブロッ
クの探索領域に対して全域探索を行うことにより、最小
のＳＡＤ値をもつ両位置を中間階層の初期探索点として
選択する。上位階層でのデータ処理の流れは、図１３に
示されている。図１３は基本的に図６と同一であるた
め、これ以上の説明はしない。

【００４８】中間階層のデータは下位階層のデータを
２：１デシメ―ションすることにより得られる。したが
って、現在の処理領域メモリ及び以前の探索領域メモリ
から水平及び垂直方向にアドレスを２ずつインクリメン
トすることにより、図１４に示されたように、メモリの
読み出し及びスキップを行う。以前の探索領域データは
３つのメモリに分かれて貯蔵されているため、垂直方向
には以前の探索領域メモリ_Ａ、以前の探索領域メモリ_
Ｂ、以前の探索領域メモリ_Ｃの順番でデータを読み出
す。これにより、以前の探索領域のデータに対する垂直
方向への２：１デシメ―ションがなされる。

【００４９】中間階層では、上位階層で探した２個の初
期探索点と、２２シフトレジスタ２５０で得られる動き
ベクトル候補に該当する一つの初期探索点を中心点とし
て決定される８×８ブロックに対して-２〜＋２探索領
域の全域探索を行い、これにより部分ＳＡＤ値を求め
る。部分ＳＡＤ計算部２１０は、４×４ブロック単位に
探索を行うように設計されているため、８×８ブロック
の中間階層に対して探索を行うためには、図１５に示さ
れたように、現在のフレームの８×８ブロックを４個の
４×４ブロックに分けて探索を行う。すなわち、最初の
４×４ブロックに対して-２〜＋２探索領域にわたって
２５ポイントの部分ＳＡＤ値を求め、前記部分ＳＡＤ値
を２５シフトレジスタ２３０に貯蔵する。それから、加
算器２２０により、前記部分ＳＡＤ値に次の４×４ブロ
ックに対する部分ＳＡＤ値を加える。このような過程を
４回繰り返すことにより、８×８ブロックに対するＳＡ
Ｄ値を求める。このように３個の初期探索点に対する-
２〜＋２探索領域によって最小のＳＡＤ値をもつ位置を
下位階層の初期探索点として用いる。中間階層でのデー
タ処理の流れは、図１６に示されている。これを参照す
ると、中間階層では、L0(0,0)にL1(1,0)を加えるために
５クロックの遅延が必要である。すなわち、斜線部分の
L0(0,0)、L1(1,0)、L2(2,0)及びL3(3,0)がクロック毎に
順次求められ、次に網がけ部分のL0(0,1)、L1(1,1)、L2
(2,1)及びL3(3,1)がクロック毎に順次求められる。

【００５０】下位階層のデータは、元のデータよりな
る。中間階層で探した初期探索点を中心点として１６×
１６ブロックに対して-２〜＋２探索領域にわたって全
域探索を行い、最小のＳＡＤ値をもつ位置を求める。前
記位置から、正画素単位の探索による最終的な動きベク
トルが求められる。下位階層に対する動き推定は、図１
７に示されたように、１６×１６ブロックに対して行わ
れ、部分ＳＡＤ計算部２１０は４×４ブロックを基準と
して処理を行うため、４×４ブロック単位の探索を１６
回繰り返すことにより１６×１６ブロックに対するＳＡ
Ｄ値を求める。下位階層でのデータ処理の流れは、図１
８に示されている。図１８に示された下位階層でのデー
タ処理の流れは、±２画素の探索を行う中間階層でのデ
ータ流れを示した図１６と同一であるため、これ以上の
説明は省く。

【００５１】

【発明の効果】以上述べたように、本発明による動き推
定器は処理速度が速く、特に半画素単位の探索を高速
で、しかも効率良く行える。

【図面の簡単な説明】

【図１】従来の階層的動き推定方法を説明するための
図である。

【図２】本発明の実施形態による動き推定器の構造を
示したブロック図である。

【図３】図３Ａは、図２の動き推定器の第１メモリ、
部分ＳＡＤ計算部、及び補間部の詳細図であり、図３Ｂ
は、図２の動き推定器のスイッチ及びスイッチング制御
部の詳細図である。

【図４】以前の探索領域のデータがメモリに配置され
る順序を説明するための図である。

【図５】４×４画素よりなる現在の処理ブロックのデ
ータが図３Ａの計算部内のレジスタに配置される順序を
示した図である。

【図６】図２の動き推定器でのデータ流れを説明する
ための図である。

【図７】本発明による動き推定器で適用される半画素
単位の探索過程を説明するための図である。

【図８】図２に示された動き推定器の補間部の一例を
示したブロック図である。

【図９】図２の本発明による動き推定器で半画素単位
の探索を適用した場合の動き推定器でのデータ流れを説
明するための図である。

【図１０】本発明の実施形態による動き推定器で適用
される階層的探索に用いられた中間階層及び下位階層で
の探索領域を説明するための図である。

【図１１】図２に示された動き推定器において、周辺
マクロブロックの相関関係に基づき初期探索点を一つ
さらに選択するための２２シフトレジスタの構成例を示
した図である。

【図１２】以前の探索領域のデータを垂直方向に４：
１デシメ―ションする過程を説明するための図である。

【図１３】上位階層でのデータ処理の流れを説明する
ための図である。

【図１４】以前の探索領域のデータを垂直方向に２：
１デシメ―ションする過程を説明するための図である。

【図１５】中間階層でのデータ処理を説明するための
図である。

【図１６】中間階層でのデータ処理の流れを説明する
ための図である。

【図１７】下位階層でのデータ処理を説明するための
図である。

【図１８】下位階層でのデータ処理の流れを説明する
ための図である。

【符号の説明】

３０，３０ａ，３０ｂ，３０ｃ以前の探索領域データ
供給部３２計算部３４シフトレジスタ部３６スイッチング制御部２００第１メモリ２０２以前の探索領域メモリ２０４現在の処理領域メモリ２１０部分ＳＡＤ計算部２１２補間部２２０加算器２２２バッファ２３０２５シフトレジスタ２４０ＳＡＤ比較及び動きベクトル生成部２５０２２シフトレジスタ２６０ＤＭＡ制御部２７０動き推定制御部２８０第２メモリ３２２，３２４，３２６，３２８ＳＡＤ計算部３４０，３４４，３４８９シフトレジスタ３４２，３４６，３５０加算器３８２，３８６スイッチング部３８４スイッチ３８８スイッチング部１１００２２シフトレジスタアレイ１１０２中間値計算部

Claims

【特許請求の範囲】

【請求項１】映像データフレームを圧縮するために動
き推定を行う動き推定器において、以前の探索領域のデータをライン別に貯蔵する複数個の
メモリ領域を具備する以前の探索領域メモリと、現在の
処理領域のデータをライン別に貯蔵する現在の処理領域
メモリを具備する第１メモリ部と、複数個のメモリ領域から循環的に出力される以前の探索
領域のデータをシフトさせて出力する以前の探索領域デ
ータ供給部と、以前の探索領域データ供給部から出力された以前の探索
領域のデータを選択する第１スイッチング部と、現在の処理領域メモリから出力される現在の処理領域の
データを行別に選択する第２スイッチング部と、選択された以前の処理領域のデータと現在の処理領域デ
ータとの絶対差和（ＳＡＤ）を計算する複数個のＳＡＤ
計算部が並列で接続された計算部と、計算部の一段のＳＡＤ計算部から出力されたＳＡＤデー
タを入力してシフトを行い、シフトされたデータと次段
のＳＡＤ計算部から出力されたＳＡＤ値を和して部分Ｓ
ＡＤ値を出力するシフトレジスタ部と、を含むことを特
徴とする動き推定器。
【請求項２】前記計算部は探索領域の大きさをｐとし
たとき、ｐ個のＳＡＤ計算部が並列で接続され、前記シ
フトレジスタ部は２ｐ＋１個のシフトレジスタを具備す
ることを特徴とする請求項１に記載の動き推定器。
【請求項３】入力データをバッファリングするバッフ
ァと、バッファから出力されたデータを２５シフトする２５シ
フトレジスタと、部分ＳＡＤ値に２５シフトレジスタから出力されたデー
タを加えてＳＡＤ値を出力する加算器と、加算器から出力されたＳＡＤ値に基づき動きベクトルを
生成するＳＡＤ比較及び動きベクトル生成部と、動きベクトル値を２０シフトさせてＳＡＤ比較及び動き
ベクトル生成部に出力する２０シフトレジスタと、をさ
らに含むことを特徴とする請求項１又は請求項２に記載
の動き推定器。
【請求項４】３階層で階層的動き推定を行うとき、中
間階層で周辺マクロブロックがもつ動きベクトルの相関
関係を用いて初期探索点をさらに得るために２２シフト
動作を行う２２シフトレジスタをさらに含むことを特徴
とする請求項１に記載の動き推定器。
【請求項５】動き推定を行うために現在のデータ及び
以前の探索領域データを区分して第１メモリに貯蔵され
るように制御し、動き推定制御部の処理状況に応じて部
分ＳＡＤ計算部にデータを供給するように制御するＤＭ
Ａ制御部と、ＤＭＡ制御部から出力された制御信号に応答して動き推
定動作を制御する動き推定制御部と、計算された部分ＳＡＤ値を貯蔵する第２メモリ部と、を
さらに含むことを特徴とする請求項１に記載の動き推定
器。
【請求項６】前記第１メモリは、三つの領域をもつ以前の探索領域メモリと現在の処理領
域メモリとに区分され、前記計算部は、以前の探索領域のデータ及び現在の処理領域のデータに
基づきＳＡＤを計算する第１のＳＡＤ計算部、第２のＳ
ＡＤ計算部、第３のＳＡＤ計算部及び第４のＳＡＤ計算
部を具備し、前記シフトレジスタ部は、前記第１ＳＡＤ計算部から出力されたＳＡＤデータを９
シフトさせて出力する第１の９シフトレジスタと、前記
第１の９シフトレジスタの出力データに前記第２のＳＡ
Ｄ計算部の出力データを加える第１加算器と、前記第２
のＳＡＤ計算部から出力されたＳＡＤデータを９シフト
させて出力する第２の９シフトレジスタと、前記第２の
９シフトレジスタの出力データに前記第３のＳＡＤ計算
部の出力データを加える第２加算器と、第３計算部から
出力されたＳＡＤデータを９シフトさせて出力する第３
の９シフトレジスタと、前記第３の９シフトレジスタの
出力データに前記第４のＳＡＤ計算部の出力データを加
える第３加算器と、を具備することを特徴とする請求項
１に記載の動き推定器。
【請求項７】前記第１のＳＡＤ計算部は、複数のレジ
スタＣＲ０、ＣＲ１、ＣＲ２、ＣＲ３と、一方の入力端
は前記レジスタＣＲ０、ＣＲ１、ＣＲ２、ＣＲ３の出力
端に接続され、他方の入力端はスイッチに接続された減
算器（ＳＵＢ）を具備し、前記第２のＳＡＤ計算部は複
数のレジスタＣＲ４、ＣＲ５、ＣＲ６、ＣＲ７と、一方
の入力端は前記レジスタＣＲ４、ＣＲ５、ＣＲ６、ＣＲ
７の出力端に接続され、他方の入力端はスイッチに接続
された減算器（ＳＵＢ）を具備し、前記第３のＳＡＤ計
算部は複数のレジスタＣＲ８、ＣＲ９、ＣＲ１０、ＣＲ
１１と、一方の入力端は前記レジスタＣＲ８、ＣＲ９、
ＣＲ１０、ＣＲ１１の出力端に接続され、他方の入力端
はスイッチに接続された減算器（ＳＵＢ）を具備し、前
記第４のＳＡＤ計算部は複数のレジスタＣＲ１２、ＣＲ
１３、ＣＲ１４、ＣＲ１５と、一方の入力端は前記レジ
スタＣＲ１２、ＣＲ１３、ＣＲ１４、ＣＲ１５の出力端
に接続され、他方の入力端はスイッチに接続された減算
器（ＳＵＢ）を具備することを特徴とする請求項６記載
の動き推定器。
【請求項８】以前の探索領域のデータを補間して補間
されたデータを出力する補間部をさらに含むことを特徴
とする請求項１に記載の動き推定器。
【請求項９】以前の探索領域に該当するデータと現在
の処理ブロックに該当するデータとを区分する動作を行
い、処理状況によって前記以前の探索領域データ供給部
及び前記計算部にデータを供給するように制御するＤＭ
Ａ制御部をさらに含むことを特徴とする請求項１に記載
の動き推定器。