JP2007336590A - ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 - Google Patents

Abstract

【課題】ビデオ符号化時の動き予測を行う際に、不要なSAD計算を省く動き予測方法を提供する。
【解決手段】現フレームFR1中のビデオブロックＸ^(c,r)と参照フレームFR2中の探索範囲Ｓ^(c)内のビデオブロックＹ^(c,r)とのSAD算出手段1、SAD計算中に中間SAD値がある閾値を越えたらあるＹ^(c,r)についてのSAD計算を中断する割込信号17、SAD計算中に中間SAD値がそれまで計算したSAD最小値を越えたらあるＹ^(c,r)についてのSAD計算を中断する割込信号18および計算したSAD値が他の閾値より小さければ、その探索範囲Ｓ^(c)内の他のビデオブロックに対するSAD計算を省く割込信号19を備えて構成した。
【選択図】図１

Description

本発明は、ビデオ符号化時にビデオの動き予測を実行する方法に関し、その場合、ブロックを含むフレームからビデオ信号を構成し、符号化対象フレームの現在のビデオ・ブロックと、別のフレームの少なくとも１つの別のビデオ・ブロックとを用いることにより、組み合わされた比較値を形成し、上記符号化対象フレームの前記現在のビデオ・ブロックは第１のデータ値のセットを含み、別のフレームの前記少なくとも１つの別のビデオ・ブロックは第２のデータ値のセットを含み、前記１組の第１のデータ値から得られるデータ値と、前記第２のデータ値のセットから得られる等しい数の対応するデータ値とからデータ値対を形成し、比較値を定めることにより前記組み合わされた比較値を形成し、これら比較値の各々は、前記データ値対の１つのデータ値対のデータ値を用いることにより定められ、少なくとも１つの閾値を定め、さらに、前記組み合わされた比較値を定める処理の終了が可能どうかが判定される。また本発明は、ビデオ符号化時にビデオの動き予測を実行するビデオ符号化システムにも関し、ブロックを含むフレームから上記ビデオ信号を構成し、上記システムは、符号化対象フレームの現在のビデオ・ブロックと、別のフレームの少なくとも１つの別のビデオ・ブロックとを利用することにより、組み合わされた比較値を形成する手段を具備し、上記符号化対象フレームの前記現在のビデオ・ブロックは第１のデータ値のセットを含み、前記別のフレームの少なくとも１つの別のビデオ・ブロックは第２のデータ値のセットを含む。組み合わされた比較値を形成する前記手段には、各々が、前記第１のデータ値のセットから得られる等しい数のデータ値及び前記第２のデータ値のセットから得られる等しい数の対応するデータ値のデータ値のデータ値対からなる、一連の少なくとも２つのサブセットを入力する入力手段と、前記データ値対の１つのデータ値対のデータ値を用いることにより定められる各比較値を定める手段と、少なくとも１つの第１の閾値を定める手段と、前記組み合わされた比較値を定める処理の終了が可能かどうかを判定する手段とが含まれる。本発明はさらにビデオ符号化装置に関し、上記ビデオ符号化装置は、ブロックを含むフレームから成るビデオ信号を符号化する手段と、ビデオの動き予測を実行する手段と、符号化対象のフレームの現在のビデオ・ブロックと、別のフレームの少なくとも１つの別のビデオ・ブロックとの間で、組み合わされた比較値を計算する手段であって、上記符号化対象フレームの前記現在のビデオ・ブロックは第１のデータ値のセットを含み、前記別のフレームの少なくとも１つの別のビデオ・ブロックは第２のデータ値のセットを含み、前記第１のデータ値のセットと、前記第２のデータ値のセットの値の対の間で比較値を定めることにより前記組み合わされた比較値を形成するように為す上記計算手段と、少なくとも１つの閾値を定める手段と、前記組み合わされた比較値を定める処理の終了が可能かどうかを判定する手段とを具備する。

符号化対象画像がビデオ・ブロックを含むビデオ符号化システムが知られている。次いで、これらのブロックは符号化され、復号化装置へ伝送されたり、記憶媒体の中へ記憶されたりする。伝送対象の情報量を減らすために、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のような様々な圧縮方法が開発されてきた。ビデオ画像の伝送時に、フレーム間圧縮、フレーム内圧縮、あるいはこれらの圧縮の組み合わせとして画像圧縮の実行が可能である。フレーム間圧縮では、その目的として、連続する画像フレーム内の冗長な情報の除去が意図される。一般に、画像には、例えば動きのない背景などを示す上記のような多量の変化しない情報や、被写体がゆっくりと動くときにゆっくりと変化する情報が含まれる。フレーム間圧縮では動き補償の利用も可能である。動き補償を利用する目的は、画像内での、動きのある大きな要素の検出である。その場合、エンティティ全体を表す画素を伝送する代わりに、このエンティティの動きベクトル及びある種の差分情報の伝送が行われる。このようにして、当該エンティティの動きの方向と速度とが定義され、この動きベクトルが確定される。圧縮を行うために、送信用及び受信用ビデオ端末装置では、リアルタイムでの圧縮及び解凍ができるような非常に高い処理レートが要求される。

一般に、画像ブロックは一緒にグループ化されて、複数のブロックが形成される。この各ブロックには通常、１６行×１６画素の輝度サンプルと、モード情報と、生じる可能性のある動きベクトルとが含まれる。このブロックは４つの８×８の輝度ブロックと２つの８×８の色差ブロックへ分割される。通常、走査（及び符号化／復号化）は、フレームの最上部左側から最下部右側コーナーへ１ブロックずつ進行する。１ブロックの内部では、走査（及び符号化／復号化）の順序はブロックの最上部左側から最下部右側コーナーへの方向となる。

ＭＰＥＧ２の圧縮では画像に対するブロック内での離散余弦変換（ＤＣＴ）符号化が行われるため、ブロック・サイズは８×８画素となる。変換される輝度レベルは最大解像度のレベルである。双方の色差信号がサブサンプル化される。例えば１６×１６の画素フィールドが８×８の画素フィールドにサブサンプル化される。ブロック・サイズの差は、人間の目が輝度の変化ほどには良好に色差の変化を識別できないという事実に主に起因する。この場合、２×２の画素フィールドが同じ色差の値で符号化される。

ＭＰＥＧ２では３つのフレーム・タイプすなわちＩフレーム（フレーム内）、Ｐフレーム（予測フレーム）、Ｂフレーム（双方向フレーム）が定義される。Ｉフレームは専ら画像自体に含まれる情報に基づいて生成され、受信端で、このＩフレームを用いて画像全体の形成が可能となる。Ｐフレームは先行するＩフレームまたはＰフレームに基づいて形成され、受信段で、この先行するＩフレームまたはＰフレームは、受信されたＰフレームと共に対応して利用される。Ｐフレームの構成では、例えば動き補償を利用して情報量の圧縮が行われる。Ｂフレームは、先行するＩフレーム及び次のＰフレームまたは次のＩフレームに基づいて形成される。同様に、受信段において、対応するＩフレーム及びＰフレームまたはＩフレームの受信が完了するまでは、Ｂフレームを構成することはできない。さらに、送信段において、これらのＰフレームとＢフレームの順序の変更が行われる。その場合Ｂフレームに後続するＰフレームが最初に受信され、受信装置での画像の再構成が高速化される。

これら３つの画像タイプの中で、Ｂフレームの圧縮時に最も高い効率が達成される。所定時に使用されるアプリケーションにおいて、Ｉフレーム、Ｐフレーム、Ｂフレームの数の変更が可能であることは言及しておくべきである。但し、この場合、受信装置の表示装置で正しい画像の再構成が可能となるためには、受信端で少なくとも１つのＩフレームの受信が必要であることに注意しなければならない。

動き予測の目的は、ビデオ・シーケンス内のある参照フレームの探索領域の範囲内で、現在のフレーム（チェック中のブロック）の範囲内の所定ブロックに最も類似しているようなブロック（参照ブロック）を見つけることである。多様な動き予測アルゴリズムの中で、最もポピュラーなものはブロック・マッチングに基づくアルゴリズムであり、フレーム・ブロック間の類似度の基準として絶対差の合計（ＳＡＤ）が利用される。順に並べられたデータ２つのセットＸ＝｛ｘ₁,…,ｘ_K｝とＹ＝｛ｙ₁,…,ｙ_K｝とが与えられたとすると、ＳＡＤの値は以下のように定義される：

いくつかの文献では、ＳＡＤは、合計ＳＡＤ（Ｘ，Ｙ）をその加数Ｋで除したものとして定義されている。その場合、ＳＡＤを平均絶対誤差（ＭＡＥ）と呼ぶこともある。ほとんどの場合Ｋは２のべき乗であるため、上記２つの定義は実施構成から見た場合実質的に同値である。なぜなら、後者の定義は単に或るビット数だけ前者の定義の値をシフトすることにより得ることができるからである。

ビデオ符号化コンテキスト（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ ｃｏｎｔｅｘｔ）では、ＳＡＤは、すべての現在のフレーム間の各１６×１６ブロックＸ^(c)（実際にはビデオ・シーケンスのほとんどすべてのフレーム）と、１以上の参照フレームの探索領域Ｓ^(c)（図５を参照）の範囲内の複数１６×１６のブロックＹ^(c,r)、Ｙ^(c,r’)との間で計算される。Ｘ^(c)と、探索領域Ｓ^(c)の範囲内のブロックＹ^(c,r)、Ｙ^(c,r’)との間のＳＡＤの中の最小ＳＡＤ値に対応するブロックＹ^(c,r)を利用して動き情報が形成される。このようにして、ＳＡＤが何回も適用されるため、ＳＡＤの１回の演算処理の実行時間を最小限向上するだけでも総ビデオ処理時間のかなりの節減につながる。その一方で、当然のことながら、特に携帯用／無線ビデオ処理用アプリケーションで、ＳＡＤの計算に利用されるハードウェアが大きすぎたり、電力を消費するものであってはならない。

符号化されたビデオ品質の低下の少ないＳＡＤの演算処理回数及び／又はサイズを少なくするための様々な探索方法を利用する様々な動き予測アルゴリズムが数多く存在する。これらの動き予測アルゴリズムは、次の対のＸブロックとＹブロックの選択肢が前回のステップで得られたＳＡＤ値に依存しないデータ非依存型探索と、データ依存型探索との２つのカテゴリに大まかにグループ化することができる。通常、データ依存型探索方法は、より少ない回数のＳＡＤの演算処理の実行を必要とする。しかし、データ非依存型動き予測アルゴリズムに典型的な規則的データ移動を単純に組織できることに起因して、ハードウェアの実施構成のほとんどはデータ非依存型動き予測アルゴリズムに基づいている。データ依存型方法に共通のものとして、次の対のＸブロックとＹブロックを選択するいくつかのオプションが存在するという点が挙げられ、この次の対は現在のＳＡＤ値に対応して選択される。

最近の調査によれば、汎用プロセッサ（ＧＰＰ）で実行する場合、様々な動き予測アルゴリズムによって総ビデオ符号化時間のほぼ４０％〜８０％が費やされている。ブロック・マッチング動き予測アルゴリズムにおける基本演算処理はＳＡＤであり、このＳＡＤはビデオ符号化処理中何回も適用される。典型的高速動き予測アルゴリズムでは、ビデオ・シーケンスの範囲内で（１６×１６のサイズの）ほとんどすべてのブロックについておよそ３０回のＳＡＤ計算が繰り返される。ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）解像度のビデオ・シーケンスで毎秒１５フレームの場合でさえ、毎秒少なくとも２５６個の点に対してＳＡＤ計算が４４５５０回行われることを意味する。組込み型システムにおける典型的マイクロプロセッサであるＡＲＭＥ９Ｅマイクロプロセッサ上の全くのソフトウェアによる実施構成では、２５６個の点に対する１回のＳＡＤの計算は数千クロック・サイクルを要する。これは、ビデオ符号化のソフトウェアによる実施構成における動き予測だけのために毎秒数億サイクルが費やされることを意味する。

この問題の重要性に起因して、最近多くの動き予測装置が文献に報告されている。このような装置に関わるＳＡＤ計算用アーキテクチャの１つの種類としてカスケード接続型アーキテクチャがある（例えば特許文献１）。

別のタイプのアーキテクチャとして、一般に、図６に従って記述できるような、“並列／反復型累積ＳＡＤアーキテクチャ”と呼べるようなタイプのアーキテクチャがある（例えば特許文献２，３または非特許文献１）。これらのアーキテクチャでは、すべての対のデータ値（現在のブロックから得られる１つの値と、参照ブロックから得られる別の値）の間の絶対差を示す代表値であるいくつかの比較値が計算ユニットの１ブロックの範囲内のすべてのステップで計算される。次いで、これらの値は、内部フィードバックを持ちうる合計ブロックの範囲内で１つずつまたは１部分ずつ（反復して）あるいは全て同時に（並列に）累積される。所定の２つのブロックについてのすべての対の比較値を累積した後、これら２つのブロック間のＳＡＤが得られる。次いで、所定の１ブロックＸ^(c)と探索領域Ｓ^(c)の範囲内の複数のブロックＹ^(c,r)との間で得られたＳＡＤが最小値評価装置内で分析され、最小のＳＡＤを生成するブロックが選択されて、動き予測情報が形成される。

ビデオ符号化時の動き補償の場合、実際の利用ではＳＡＤ値が大きすぎればそのブロックは問題とはならない。したがって、ＳＡＤアーキテクチャ内の累積手段は、ＳＡＤ値が最も悪いケースの正確なＳＡＤ値に必要な精度よりも低い精度（ビット幅）を用いて実現されるものであってもよい。この場合、大きい方のＳＡＤ値が不正確に計算されるようなことがあっても、これが動き予測の結果に影響を与えることはない。

ＳＡＤ計算手段と関連して利用されるいくつかの割込みメカニズムが例えば特許文献１（米国特許６，１５４，４９２）の中に記載されている。この特許公報には、カスケード接続型プロセッサ・エレメントを具備する動きベクトル検出装置が開示されている。これらのプロセッサ・エレメントにより、１画像を構成する複数の画素の各々と、１ブロック中に含まれる同数の画素の対応する１画素との差の絶対値が計算され、さらに、上記ブロック内の差の絶対値の累積加算が行われる。これらの演算処理が所定の探索領域の範囲内のブロックの各々について行われる。比較装置によって、最終段階でプロセッサ・エレメントの中にシーケンシャルに取得された２つのブロックの累積加算値が繰り返し比較され、累積加算値のうちより小さい累積加算値が選択される。減算器はより小さい累積加算値を設定値と比較する。より小さい累積加算値が設定値よりも小さい場合、制御回路は、装置の動作全体を停止するために、プロセッサ・エレメントと比較装置へのクロック信号の供給を停止する。動きベクトルの判定にとっては小さい方のＳＡＤ値のみが重要であるため、大きい方のＳＡＤ値は不正確に計算されたものであってもよい。これは、装置内の機能ユニットの精度が最もＳＡＤ値が悪い場合の正確なＳＡＤ計算に必要な精度よりも小さな精度を持つものであってもよいことを意味する。このことがシリコン領域と電力消費量との節減につながることは明らかである。しかし、この解決方法では、アーキテクチャの一部分しか停止されず、したがって、部分的な電力の節減とはなるが、実行時間の節減とはならない。事実、特許文献１（米国特許６，１５４，４９２）のアーキテクチャは、各々が３つの加算器から成るＫ＝２５６の処理用エレメントから構成されている。このようなアーキテクチャは現在の技術の状態で実現可能であるようには思われない。あるいは、少なくとも移動通信用ビデオ符号化システムの中へ組み込むには大きすぎるように思われる。さらに、このアーキテクチャは動き予測用の通常のデータ非依存型探索方法しかサポートしていない。それは、アーキテクチャの完全な中断がパイプライン（２５６個のパイプライン段）の完全な再ロードを意味することになるからである。

所定の２つのブロックＸ^(c)とＹ^(c,r)との間のＳＡＤの計算を計算完了前に終了させ、次いで、Ｘ^(c)と、探索領域Ｓ^(c)から得られる別のブロックＹ^(c,r’)との間の絶対差の合計の新しい計算を上記早期終了のほぼ直後に開始することができるいくつかの状況が動き予測のＳＡＤ計算には存在する。このような状況を示す例として、Ｘ^(c)とＹ^(c,r)との間のＳＡＤの計算の途中で、所定の閾値、または、Ｘ^(c)と探索領域Ｓ^(c)の範囲内の或るブロックＹ^(c,r”)との間のＳＡＤで前に得られた値をすでに上回る一時的ＳＡＤ値が得られる場合が挙げられる。いくつかのある別の状況では、所定の探索領域Ｓ^(c)の範囲内の参照ブロックの探索を終了させ、通常の方法でこの処理を完了させる前にＸ^(c)の動き補償情報を形成するようにしてもよい。このような状況を示す一例として、２つのブロックＸ^(c)とＹ^(c,R)（図示せず）間のＳＡＤ値が別の所定の閾値よりも小さいケースがある。したがって、いくつかの割込みメカニズムを、ＳＡＤ計算及び／又は参照ブロック探索の早期終了を可能にする動き予測用装置へ一体化する方がかなりの利点を提供するものとなる。

米国特許第６１５４４９２号明細書 米国特許第５８６４３７２号明細書 米国特許第５６５２６２５号明細書 Ｓ Ｖａｓｓｉｌｉａｄｉｓ、Ｅ．Ａ．Ｈａｋｋｅｎｎｅｓ、Ｊ．Ｓ．Ｓ．Ｍ．Ｗｏｎｇ、Ｇ．Ｇ．Ｐｅｃｈａｎｅｋ著、"合計絶対誤差動き予測アクセラレータ（Ｔｈｅ ｓｕｍ−ａｂｓｏｌｕｔｅ−ｄｉｆｆｅｒｅｎｃｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）"Ｅｕｒｏｍｉｃｒｏ会議会報、１９９８年、ｐ．５５９−５６６

ビデオ符号化時に動き予測を実行するための改善された方法、システム及び装置を提供することが本発明の目的である。本発明は、反復／並列累積型ＳＡＤアーキテクチャの中へ割込みメカニズムを組み込み、それによって、さらなる計算が無用または望ましくないある環境において絶対差の合計計算及び／又は参照ブロックの探索の終了を可能にするという着想に基づくものである。ある状況では、所定のブロックＸ^(c)と、探索領域Ｓ^(c)から得られる新しいブロックＹ^(c,r’)との間の絶対差の合計の新しい計算が早期終了のほぼ直後に開始される。いくつかの別の状況では、所定の探索領域Ｓ^(c)の範囲内の参照ブロックの探索が終了され、所定のブロックＸ^(c)のための動き補償情報が形成される。これは、中間ＳＡＤ値がすでに高くなりすぎて前記現在のブロックＸ^(c)と前記別のブロックＹ^(c,r’)との間のＳＡＤ計算の割込みができないかどうかを判定するための中間ＳＡＤ値のチェックにより、並びに、最終ＳＡＤ値がすでに十分低いために所定の探索領域Ｓ^(c)の範囲内の所定のブロックＸ^(c)の探索を終了できるかどうかを判定するための最終ＳＡＤ値のチェックにより達成される。

本発明による方法は、少なくとも以下のステップを有することを主たる特徴とするものである：
各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算ステップと、
上記計算ステップで得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積ステップと、
少なくとも１つの信号を少なくとも１つの閾値と比較することにより、処理の終了が可能かどうかの判定を行う判定ステップと、
上記判定ステップで行われた判定に従って、終了し、及び、前記組み合わされる比較値を定める新規処理の初期化を行うステップ。

本発明によるビデオ符号化システムは少なくとも以下の手段を具備することを主たる特徴とするものである：
各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算手段と、
上記計算手段で得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積手段と、
少なくとも１つの信号を少なくとも１つの閾値と比較する手段を含む、計算処理の終了が可能かどうかを判定する判定手段と、
上記判定ステップで行われた判定に従って、現在の処理を終了させ、前記組み合わされた比較値を定める新規処理を初期化する手段。

本発明によるビデオ符号化装置は少なくとも以下の手段を有することを主たる特徴とするものである：
各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算手段と、
上記計算手段で得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積手段と、
少なくとも１つの信号を少なくとも１つの閾値と比較する手段を含む、計算処理の終了が可能かどうかを判定する判定手段と、
上記判定ステップで行われた判定に従って、現在の処理を終了させ、前記組み合わされる比較値を定める新規処理を初期化する手段。

本発明は、早期終了メカニズムが提供されない及び／又は可能最大ＳＡＤ値に必要なビット幅よりも低いビット幅の反復累積手段が用いられない従来技術のハードウェアによる解決方法と比較したとき、著しい利点を提供する。参照ブロックが動き予測に適していないことに判明したときほとんど即座に、現在のブロックと１つの参照ブロックとの間のＳＡＤ値の計算を早期に終了させることができ、次のブロックのチェックの開始が可能となるため、探索領域の範囲内のブロックのチェックをより高速に行うことが可能となる。さらに、現在のブロックＸ^(c)と所定の参照ブロックＹ^(c,R0)との間のＳＡＤ値をテストして適度に十分小さな値であれば、所定の現在のブロック（例えばＸ^(c)）と、複数の参照ブロック（例えばＹ^(c,R)）との間のＳＡＤ値の計算を予め終了させることが可能となる。したがって無用の計算処理を回避することが可能となる。ほとんどの動き予測アルゴリズムでは無用な計算の存在が判定されるケースがきわめて頻繁に生じるので、これらの変更は、実行時間と電力消費量の節減の主要な改善につながることになる。低精度の累積手段が使用される可能性によって、本発明で提案されたアーキテクチャのサイズと、実行時間の大幅な減少がもたらされる。累算器のサイズの減少は、さらに多くの並列計算ユニットを備えたより高速のアーキテクチャが実際に実行可能となりつつあることをも意味する。

ＳＡＤ計算手段の改善を図るために特許文献１（米国特許６，１５４，４９２）で用いられている利点と比較すると、提案された本終了メカニズムの利点として以下の点が挙げられる：

本発明の好適な実施例では、不要な計算の存在が判定されると次の対のブロックのＳＡＤの計算が開始され、それによって実行時間と電力消費量の双方が節減される。特許文献１（米国特許６，１５４，４９２）の割込みメカニズムはアーキテクチャの一部分だけを停止させるものにすぎず、不要なＳＡＤの計算が実行できてから停止を行うにすぎない。

本発明は、採用される限定されたパイプライニングのみによって、動き予測時の規則的並びに不規則的データ依存型探索方法をサポートすることもできる。ある好適実施例では、終了後、（４つの中から）２つのパイプライン段の再ロードを必ず行う必要がある。特許文献１（米国特許６，１５４，４９２）のアーキテクチャは通常の、データ非依存型動き予測アルゴリズム向けのものである。

以下、添付図面を参照してより詳細に本発明について説明する。以下、Ｋ対のｎビット入力データが仮定される一般的ケースについて本発明の説明を行う。但し、ビデオ符号化コンテキストにおいて、Ｋ＝２５６、ｎ＝８は最も一般的なケースである。ビデオ符号化だけでなく、医療用画像処理システムやレーダー画像処理システムのような他のアプリケーションにおいても、また、パターン認識がリアルタイムで実行される他の信号処理タスク（心電図（ＥＣＧ）装置、心臓機能を記録する植え込み型電気的除細動器−細動除去器（ＩＣＤ）装置、音声処理など）においても、絶対差の合計が利用できる可能性があることに留意されたい。

図５は、ビデオ符号化時にビデオの動き予測を実行する方法の原理を示す。図５には、図を明瞭にするために２つのフレームＦＲ１、ＦＲ２のみを示す。符号化対象フレームＦＲ１には、画素値Ｘ_i,jを含む１以上のブロックＸ^(c)が含まれる。これらの画素値Ｘ_i,jのうちの２、３のみ図に示す。参照フレームＦＲ２の中に探索領域Ｓ^(c)が定義される。符号化対象フレームＦＲ１の現在のブロックＸ^(c)と、参照フレームＦＲ２の参照ブロックＹ^(c,r)との間の比較実行領域が探索領域Ｓ^(c)により定義される。しかし、実施例によっては、探索領域Ｓ^(c)として参照フレームＦＲ２の全領域の利用が可能であることは明らかである。本方法では、現在のブロックＸ^(c)との比較を行うために参照ブロックＹ^(c,r)、Ｙ^(c,r’)が１ブロックずつ選択される。この探索処理は、全探索領域Ｓ^(c)がチェックされるまで継続されるか、探索終了のための他に設定しうる条件が満たされるまで継続される。以下、この探索についてさらに詳細に説明する。

図７は、本発明の好適な実施例による組込み型割込みメカニズムを備えた、図６の反復／並列累積型ＳＡＤアーキテクチャの一般的構造を示す。このアーキテクチャの構造には、例えば、画像データを記憶する記憶手段２５と、ＳＡＤ計算手段１と、制御回路構成などが含まれる。ＳＡＤ計算手段１には、比較値を形成する手段Ｐ１と、該比較値を用いることにより、累積値と、組み合わされた比較値とを形成する手段Ｐ２、Ｐ３と、最小ＳＡＤ値を評価し、動き予測情報ＭＥＩを形成する手段Ｐ４とが含まれる。

しかし、詳細な記述を行うために、図７の反復／並列累積型ＳＡＤアーキテクチャの一般的構造のさらに詳細な例である図１を用いて本発明を説明する。本例は、本願出願人による並列出願に開示されているアーキテクチャの中に事前終了メカニズムを組み込むことにより本発明の方法を例示するものである。図１は、簡略化したブロック図で、本発明の好適な実施例による動き予測ブロック１６を示し、図２は、簡略化したブロック図で、図１の動き予測ブロック１６のＳＡＤ計算手段１の好適な実施例を示すものである。ＳＡＤ計算手段１は、４つのパイプライン段Ｐ１、Ｐ２、Ｐ３、Ｐ４と、第１のパイプライン段Ｐ１の入力のバッファ７と、連続するパイプライン段Ｐ１とＰ２；Ｐ２とＰ３及びＰ３とＰ４の間のバッファ８、１１、１５とを具備する。本発明の上記好適な実施例では、３つの異なる割込み信号が存在し、これらの割込み信号はＳＡＤの計算を終了させるために生成される。第１の割込み信号１７は第２のパイプライン段Ｐ２により生成され、この割込み信号１７は単に第２のパイプライン段Ｐ２の合計回路の桁上げ出力を構成する信号にすぎない。第２の割込み信号１８と第３の割込み信号１９とは第４のパイプライン段Ｐ４により生成される。第２の割込み信号１８は、最小値評価装置１３内の比較手段の出力信号であり、この最小値評価装置１３は中間ＳＡＤ値が現在の最小値を上回ったときハイにセットされる。第３の割込み信号１９は最小値評価装置１３内の別の比較手段の出力信号であり、この最小値評価装置１３は完全な中間ＳＡＤ値が所定の閾値未満のときハイにセットされる。しかし、本発明は、３つの割込みをすべて使用するであるアプリケーションだけに限定されるのではなく、ただ１つまたは２つの割込みを用いて本発明を適用することができることに留意されたい。また、本発明を適用する装置において３以上の異なる割込みの使用も可能である。

制御回路構成は、例えば、ＯＲゲート２０、２１、２２、Ｘデータ・アドレス・ジェネレータ２３、Ｙデータ・アドレス・ジェネレータ２４及び動き予測ブロック１６の動作を制御するクロック回路構成を具備する。第１の割込み信号１７は第１のＯＲゲート２０を介してＹデータ・アドレス・ジェネレータ２４の第１の制御入力と結合される。また第１の割込み信号１７は、第２のＯＲゲート２１と第３のＯＲゲート２２を介して結合され、ＳＡＤ計算手段１へのリセット信号が生成される。第２の割込み信号１８は、第１のＯＲゲート２０を介してＹデータ・アドレス・ジェネレータ２４の第１の制御入力と結合される。また第２の割込み信号１８は第２のＯＲゲート２１と第３のＯＲゲート２２を介して結合され、ＳＡＤ計算手段１へのリセット信号が生成される。第３の割込み信号は、第２のＯＲゲート２１を介してＸデータ・アドレス・ジェネレータ２３の制御入力部と、Ｙデータ・アドレス・ジェネレータ２４の第２の制御入力部とに結合される。

以下、図１の動き予測ブロック１６の動作についてさらに詳細に説明する。第１に、ブロックデータ・セットＸ＝｛ｘ₁,…,ｘ_K｝とＹ＝｛ｙ₁,…,ｙ_K｝が１部分ずつ記憶装置２５などから第１のパイプライン段Ｐ１の中へ入力される。本発明のこの好適な実施例では、第１のパイプライン段は計算ユニット２の４つのグループ３を具備し、各グループは４つの計算ユニット２を具備する。さらに一般的なケースでは、第１のパイプライン段Ｐ１はｓ個のグループ３を具備し、各グループはｐ個の計算ユニット２を具備する。パラメータｓとｐは、ｍ＝ｓｐ、双方のパラメータｓ、ｐが正の整数、すなわちｓ、ｐ≧１となるように選択されるグループ３の各計算ユニット２は同じ入力Ｘ１，Ｙ１；Ｘ２，Ｙ２；Ｘ３，Ｙ３；Ｘ４，Ｙ４を異なるクロック・サイクル時において共有する。ＳＡＤ計算手段１の入力対（Ｘ_i，Ｙ_i）（ｉ＝１，…，４）は、ｉ番目のグループのすべての計算ユニットＤＳ_i,j（ｊ＝１，…，４）の入力対（Ｘ_i,j，Ｙ_i,j）と入力レジスタ７を介して接続される。第１のパイプライン段のこれらの入力レジスタ７のすべては、ＳＡＤ計算手段１の４動作サイクルに１回の動作サイクル中開かれている。このようにして、すべての処理ステップにおいて、ＳＡＤ計算手段１の各入力対（Ｘ_i，Ｙ_i）（ｉ＝１，…，４）は、唯一の計算ユニットの入力（Ｘ_i,j，Ｙ_i,j）の対と実際に接続され、その間、その他の接続部は活動しなくなる。これは、第１のパイプライン段の対応する入力レジスタ７が書込みに対して閉じられることに起因する。すべてのグループ（ｉ＝１，…，４）の第１の計算ユニットＤＳ_i,1の入力部における第１のパイプライン段の入力レジスタ７は、４処理ステップ毎の第１のステップの間開かれ、すべてのグループの第２の計算ユニットＤＳ_i,2の入力部におけるパイプライン段の入力レジスタは４処理ステップ毎の第２のステップの間開かれ、以下ｊ＝３，４の場合も同様である。グループ３の計算ユニット２の出力部は２つのマルチプレクサ４、５の入力部と接続されるため、計算ユニット２のｎビット出力部が第１のマルチプレクサ４のｎビット入力部の中の１つと接続され、計算ユニット２の１ビット出力部が第２のマルチプレクサ５の１ビット入力部の中の１つと接続されるようになる。第１のマルチプレクサ４はｐ個のｎビット入力部と１つのｎビット出力部とを具備する。それぞれ、第２のマルチプレクサ５はｐ個の１ビット入力部と１個のｎビット出力部とを具備する。１つのグループ３の計算ユニット２はほぼ１回分の処理ステップの時間オフセットで動作し、この場合この処理ステップは圧縮アレイ６の遅延にほぼ等しい持続時間Ｔ_pを有することになる。それぞれ、やはりほぼ１回分の処理ステップの時間オフセットを用いて、符号データと差分データとが計算ユニット２の出力部で形成される。１つのグループ３のすべての計算ユニット２の出力部の対は、マルチプレクサ４、５を介して圧縮アレイ６の単一対の入力部と接続されるため、処理ステップ毎に、符号データと差分データとを計算したばかりの計算ユニット２が、マルチプレクサ４、５と出力バッファ８とを介して圧縮アレイ６と接続されることになる。したがって、圧縮アレイ６は、処理ステップ毎に、すべてのグループ３の異なる計算ユニット２間で交番する新しい符号データと差分データ部分の受信と累積を行う。

第２のパイプライン段Ｐ２は圧縮アレイ６であり、この圧縮アレイ６は、第１のパイプライン段Ｐ１からのｓ個の入力信号と、第１のパイプライン段Ｐ１の合計出力９と桁上げ出力１０からの２つのフィードバック信号とを有する。圧縮アレイ６は、すべての差分データと符号データとを受信し、これらのデータは一緒に加算されて、圧縮された差分データと符号データの（合計項と桁上げ項の）２つの列が生成される。圧縮アレイ６は、バッファ８の出力部に符号データと差分データとを累積することにより、処理ステップ毎に圧縮アレイ６の合計項と桁上げ項の値を更新する。すべての値の対について符号データと差分データの累積が実行された後、圧縮アレイ６の出力部は圧縮された最終差分データと符号データとを有し、これらのデータは、第３のパイプライン段Ｐ３を構成する加算器１２により累積される。

第２のパイプライン段Ｐ２の圧縮アレイ６には、好適には、公知の全加算器（ＦＡ）もしくは４／２比圧縮装置のいずれかから構成される桁上げ保存加算器のツリーである。このツリーの様々な構成が可能である。最もＳＡＤ値が悪いケースで正しいＳＡＤ計算を行うためには、上記ツリーのビット幅（精度）は（ｎ＋ｌｏｇ２Ｋ−１）ビットでなければならない。但し、ｎは入力データ内でのビット数であり、Ｋは１ブロックの範囲内の入力データのサンプル数である。例えば、８ビット入力値が用いられ、ブロック・サイズが２５６である場合、可能最大ＳＡＤ値の合計項と桁上げ項とを正確に取得するために、圧縮アレイ６のビット幅は１５ビットであることが望ましい。

第２のパイプライン段Ｐ２も、圧縮アレイ６により計算された合計項と桁上げ項の値を一時的に記憶する出力レジスタ１１を有する。この一時的記憶は適切な同期パイプライン・クロック・タイミングの制御に必要である。出力レジスタ１１も使用されて、合計項と桁上げ項が記憶され、これらの項は圧縮アレイ６の入力部へ返送されて、後続する処理ステップで合計される。

上述のように、第３のパイプライン段Ｐ３は加算器１２を具備し、この加算器１２により、計算された合計項と桁上げ項とが加算され、現在のブロックと現在の参照ブロックとの間の絶対差の合計が生成される。本解説で前述したように、絶対誤差ＳＡＤ（Ｘ，Ｙ）の合計を加算器１２の加数Ｋで除することにより、加算器１２によって例えば平均絶対誤差（ＭＡＥ）の計算を行うことも可能である。

第４のパイプライン段は最小値評価装置１３であり、この最小値評価装置１３は比較手段（図示せず）と、最小ＳＡＤ値の記憶手段１４とを具備する。所定の現在のブロックＸ^(c)に対する動き予測の開始時に、最小ＳＡＤ値が初期値（通常、大きな値、例えば最小ＳＡＤ値のとり得る最大値）にセットされる。次いで、最小値評価装置１３の比較手段によって、第３のパイプライン段の加算器１２で形成された最新のＳＡＤ値が、記憶された最小ＳＡＤ値と比較され、この最新のＳＡＤ値の方が小さかった場合、それまでに得られた最小ＳＡＤ値は上記最新の最小ＳＡＤ値と置き換えられる。所定の現在のブロックＸ^(c)に対するすべてのＳＡＤ計算を行った後、最小ＳＡＤ値を用いてＸ^(c)の動き予測情報ＭＥＩが形成される。

同一出願人による同時継続出願の全体を参照して、さらに詳細にＳＡＤ計算ユニット１の上記実施例について説明する。

本発明の以下の２つの実施例は、動き予測処理では十分に小さなＳＡＤ値だけが重要であるという観察に基づくものである。ビデオ符号化時の動き補償を行うために実際に使用されるとき、ＳＡＤ値が大きすぎれば、この値は問題とはならない。したがって、所定の閾値よりも大きなＳＡＤ値を正確に計算する必要はない。この事実は、２重の目的のために、すなわち、合計手段と比較手段とのビット幅の縮小を行うため、並びに、所定の閾値よりもＳＡＤが大きくなりそうな場合、ＳＡＤの計算を終了させるために利用することができる。

本発明の好適な実施例では、ＳＡＤ計算手段１の第２のパイプライン段Ｐ２の圧縮アレイ６と、第３のパイプライン段Ｐ３の加算器１２と、第４のパイプライン段Ｐ４の最小値評価装置とは、可能最大ＳＡＤ値を正確に取得するために必要な精度よりも低い精度で実現することが可能である。すなわち、最悪のＳＡＤ値のケースにおける正しいＳＡＤ計算に必要な（ｎ＋ｌｏｇ２Ｋ−１）ビットの精度より低い精度で圧縮アレイ６を実現することも可能であり、さらに、加算器１２と、最小値評価装置１３の比較手段とを（ｎ＋ｌｏｇ２Ｋ）ビットの精度よりも低い精度で実現することも可能である。この場合、前述の場合と同様に、ｎは入力データ内のビット数であり、Ｋは、１ブロックの範囲内の入力データのサンプル数である。例えば、８ビット入力値が使用され、ブロック・サイズが２５６である場合、圧縮アレイ６のビット幅を例えば７ビットなどの１５ビットよりも低いビット幅にしてもよい。さらに加算器１２と最小値評価装置１３内の比較手段のビット幅を例えば８ビットなどの１６ビットよりも低いビット幅にしてもよい。その場合、大きいほうのＳＡＤ値が不正確に計算されても、通常、このＳＡＤ値は動き予測の結果に影響を与えることはない。本実施例はＳＡＤ計算手段１のサイズ及び電力消費量の著しい削減をもたらす可能性がある。サイズの削減は、第１のパイプライン段の中にさらに多くの計算ユニットを含むさらに高速な手段が実際に実行可能となることを意味する場合もある。

本発明の別の好適な実施例では、圧縮アレイ６により形成されたすでに処理済みのデータの差の一時的合計の桁上げ項がチェックされて、この桁上げ項が所定の第１の閾値を上回っているかどうかの判定が行われる。本好適な実施例では、上記チェックは、第２のパイプライン段Ｐ２の桁上げ出力１０の状態のチェックにより行うことができる。事実、桁上げ出力１０の最上位ビットは、第１のＯＲゲート２０と結合され、その場合この第１のＯＲゲート２０は第１の割込み信号１７として機能する。したがって、桁上げ出力１０の最上位ビットが論理“１”状態にある場合、第１の割込み信号１７が生成され、中間ＳＡＤ値が所定の第１の閾値を上回っているという情報がＳＡＤ計算手段１に与えられ、その場合、現在のブロックと参照ブロックとの間でＳＡＤ値の計算を継続する必要はなくなる。第１の割込み信号（論理“１”状態など）のアクティブ状態により、第１のＯＲゲート２０の出力部はアクティブ状態にセットされる。本解説で前に述べたように、このアクティブ状態へのセットはＹデータ・アドレス・ジェネレータ２４の第１の制御入力部と、第２のＯＲゲート２１の入力部とに結合される。次いで、Ｙデータ・アドレス・ジェネレータ２４によってＹデータ・アドレス・ジェネレータの第１の制御入力の論理状態のアクティブ状態への変化が検出され、次いで、Ｙデータ・アドレスを変更して別の参照フレームの（未チェックの）ブロックが参照される。またＳＡＤ計算手段１のパイプライン段Ｐ１、Ｐ２、Ｐ３、Ｐ４はその初期状態にリセットされる。次いで、動き予測ブロック１６は参照フレームの現在のブロックと次の参照ブロックとの間のＳＡＤ値の計算を開始する。

上記実施例では、第１の閾値は圧縮アレイのビット幅（計算精度）により判定される。圧縮アレイ６の絶対差の値の一時的合計が、ある累積ステップで所定の第１の閾値の値を上回った場合、ブロックＸ^(c)とＹ^(c,r)の所定の対に対するＳＡＤ計算処理は終了させられる。例えば、８ビット入力値を使用し、ブロック・サイズが２５６である場合、可能最大ＳＡＤ値を正確に取得するためには圧縮アレイ６のビット幅を１５ビットにする必要がある。しかし、本推奨実施例では幅

が用いられる。但しＴＨ１は第１の閾値である。これは、この差の値が

以上である場合、桁上げ出力の最上位ビットがハイにセットされることを意味する。本実施例には特別な比較手段を必要としないという利点がある。いくつかの別の好適な実施例では、例えば比較器（図示せず）などの比較手段を用いて絶対差の一時的合計を第１の閾値と比較し、この差分データの絶対値が第１の閾値よりも大きい場合、第１の割込み信号１７を生成することが可能である。

この場合、図１に描かれている記憶装置２５とＸとＹデータ・アドレス・ジェネレータ２３、２４は、動き予測ブロック１６内部のみならず外部にも存在してもよいことに留意されたい。本解説に記載の割込みメカニズムは上記内部、外部双方の場合機能することができる。

図２に記載のＳＡＤ計算手段１は１つの非制限的な、ＳＡＤ計算手段の実施例であるが、例えば図６に一般的に描かれているような別の種類のＳＡＤ計算手段１を本発明と共に使用することが可能である。特に、第１のパイプライン段Ｐ１の構造は様々な実施例で変更可能である。

本発明のさらに別の好適な実施例は、現在のＳＡＤ値の一時的な値が現在のＸデータについてそれまでに得られた最小ＳＡＤ値をすでに上回っている場合、現在のＳＡＤの計算を完了する必要はないという観察に基づいている。第１の割込み信号１７と同様に機能する別の割込み信号１８が利用される。

第２の割込み信号を生成するために、第３のＰ３と第４のＰ４のパイプライン段が、第１のＰ１と第２のＰ２のパイプライン段と並列に作動する。但し、おそらく、異なるクロック周波数Ｃ１、Ｃ２が使用される。なぜなら、最後の２つのパイプライン段Ｐ３、Ｐ４は速度の遅いものであってもよく、すべての処理ステップで作動する必要はないからである。これらの変更に伴い、Ｔ回の（第１の２つのパイプライン段Ｐ１、Ｐ２のクロック周波数Ｃ１に対応する）基本処理ステップ毎に、第３のパイプライン段Ｐ３の加算器１２の出力部で部分的なＳＡＤ値が形成される。但し、Ｔは、最初の２つのパイプライン段Ｐ１、Ｐ２のクロック周波数Ｃ１と、最後の２つのパイプライン段Ｐ３、Ｐ４のクロック周波数Ｃ２との間の比である。最小値評価装置１３は、Ｔ回の基本処理ステップ毎に、部分的ＳＡＤ値を現在の最小ＳＡＤ値と比較する。その基本処理ステップにおいて、現在の部分的ＳＡＤ値が実際に最終ＳＡＤ値であることが認知された場合、最小ＳＡＤ値の方が現在のＳＡＤ値よりも大きければ、最小ＳＡＤ値は置き換えられる。たとえ部分的ＳＡＤ値の方がこの最小値より小さくても、上記置き換えが行われる前に最小ＳＡＤ値が置き換えられることはない。しかし、部分的ＳＡＤ値の方が現在の最小ＳＡＤ値よりも大きければ、第２の割込み信号１８がアクティブにセットされる。第１の割込み信号１７の場合と同様、第２の割込み信号１８はＳＡＤ計算手段１をリセットし、次のＹデータを用いて現在のＸデータの計算を開始するためにＹデータ・アドレス・ジェネレータ２４を起動させる。

この場合、実行時間の明らかな向上に加えて、上記実施例を利用する場合、遅いクロック周波数での最後の２つのパイプライン段の動作に起因して電力／エネルギーの節減という利点が生じることに留意されたい。

本発明のさらに別の好適な実施例では、第３の割込み信号１９を利用して、現在の探索領域に対するＳＡＤ計算処理の中断を行うことも可能である。本実施例は、現在のＸブロックとＹブロック間のＳＡＤ値が十分に小さい（所定の第２の閾値ＴＨ２よりも小さい）場合、現在のＸブロックと残りのＹブロック間のＳＡＤ値の計算が不要であるという観察に基づくものである。このような状況を処理するために、別の割込み信号（第３の割込み信号１９）が第４のパイプライン段Ｐ４により形成される。第３の割込み信号１９を生成するために、第４のパイプライン段Ｐ４は、第２の閾値ＴＨ２用レジスタ（図示せず）と、現在のＳＡＤ値（最終ＳＡＤ値）を第２の閾値と比較する比較器（図示せず）とを好適に具備する。（最終）ＳＡＤ値の方が第２の閾値よりも小さくなった場合、第３の割込み信号１９がアクティブになる。この第３の割込み信号１９は、新しいリセット信号の形成のために、第２のＯＲゲート２１で第１の割込み信号１７と、第１のＯＲゲート２０で第２の割込み信号１８と、第３のＯＲゲート２２で原リセット信号４１と結合される。第３の割込み信号１９は、Ｘ及びＹデータ・アドレス・ジェネレータ２３、２４の双方に新しいデータを送らせるために、これら双方とも結合される。この新しいデータは、例えば、

とすると、データ値（ロ）、を含む現在のビデオ・ブロック（図示せず）として選択される、符号化対象の前記フレームＦＲ１の新しい（未チェック）ブロック（イ）と、データ値（ニ）を含む別のビデオ・フレーム（図示せず）のブロック（ハ）とを含むものであってもよい。これらのブロック（イ），（ハ）の一例も図５に示されている。

本発明が、ゲート・カウント、電力消費量及び実行時間の著しい改善につながることは明らかである。しかし、これらの節減はビデオ・シーケンスと、動き予測アルゴリズムと、本発明の実現構成とに左右されるため節減の量的評価を行うことは困難である。

この比較の後、割込み信号が生成されなかった場合、全ての参照ブロックが現在のブロックＸ^(c)のＳＡＤ値の計算に使用されたかどうかのチェックが行われる。現在のブロックについてのＳＡＤ値の計算時にまだ使用されていない少なくとも１つの参照ブロックＹ^(c,r)、Ｙ^(c,r’)が依然として存在する場合、上述の処理手順が反復される。使用されていない参照ブロックが存在しない場合、得られた最小ＳＡＤ値がビデオ符号化処理の後の段階で使用され、現在のブロックをそのまま符号化するか、動き補償を行うかの判定が行われる。最小値評価装置１３は、現在のブロックの最小ＳＡＤ値を生成したブロックの座標を判定し、制御ユニット２６などの判定手段へ最小ＳＡＤ値と共に座標情報を好適に転送する。上記判定手段では、最小ＳＡＤ値がチェックされて、現在のブロックをそのまま符号化するか、動き補償を行うかの判定が行われる。この判定手段は、例えば、ブロックの転送に必要な情報量の評価や、動き補償情報の転送に必要な情報量の評価を行うことが可能である。次いで、情報転送容量の少ない方の選択肢が判定手段により好適に選択される。

ブロック自体の代わりに、動き補償情報を伝送することを選択した状況で、伝送対象情報の中には少なくとも座標情報と動きエラー情報とが好適に含まれる。座標情報を利用して、以前に受信され、復号化されたどの参照ブロックが動きベクトルの形成に利用されたかについての情報が復号器に与えられる。この動き誤差情報とは現在のブロックと参照ブロックのそれぞれの画素値間の差分である。次いで、動き誤差情報により訂正された前記参照ブロックを用いることにより、復号器は現在のブロックの画像情報の形成が可能となる。

次に、図３のブロック図を参照しながら、好適な実施例によるビデオ伝送システムについて説明する。伝送対象のビデオ信号はビデオカメラ２７などにより得られるか、あるいは、例えば、ビデオ録画装置、デジタル多用途ディスク（ＤＶＤ）などのビデオ記憶手段（図示せず）から取り出されたものであってもよい。ビデオ信号は符号器２８へ転送され、符号器２８は本発明による動き予測を含むビデオ信号の符号化を実行する。次いで、符号化されたビデオ信号は、必要に応じてチャネル符号器２９でチャネル符号化される。チャネル符号化の目的は伝送チャネル３０を介する伝送に適した形に符号化されたビデオ信号の変換を行うことである。チャネル符号化の細部はビデオ符号化システムの様々な実施構成で変更が可能であり、これらの細部について当業者は周知である。

受信装置では、チャネル復号器３１でチャネル符号化ビデオ信号のチャネル復号化が行われ、符号化されたビデオ信号の取出しが行われる。その後、復号器３２によりビデオ信号が復号化され、原信号とほぼ一致することが予想されるビデオ信号が生成される。しかし、実際問題として、いくつかの潜在的誤差の源が存在し、これらの誤差の源は転送されたビデオ信号に影響を与える可能性があり、復号化されたビデオ信号が原ビデオ信号とは異なるものとなる可能性がある。このような伝送エラーの影響を最小限にするための誤差訂正メカニズムが開発されている。

ビデオ・モニタ３３上に復号化されたビデオ信号の表示を行うこと及び／又は記憶手段３４の中へ該ビデオ信号を記憶することが可能である。

図４は、本発明の好適な実施例によるビデオ符号化装置３５を簡略に示すものである。当該端末装置は送信及び受信の双方に適したものであるが、本発明は単純な端末装置と接続して利用することも可能である。ビデオ符号化装置３５では、図４のブロック図に提示されているすべての機能特性は必ずしも必要ではないが、本発明の範囲内で、例えばキーボード３６とオーディオ手段３７とが設けられていないさらに単純なビデオ符号化装置３５を利用することも可能である。前記キーボード３６とオーディオ手段３７とに加えて、ビデオ端末装置は、ビデオ・モニタ３３、ビデオカメラ２７またはその類のビデオ手段も具備する。

ビデオ符号化装置３５の機能を制御するために、ビデオ符号化装置３５は制御ユニット２６を具備し、この制御ユニット２６は、例えば、マイクロ制御用ユニット（ＭＣＵ）、マイクロ処理用ユニット（ＭＰＵ）、デジタル信号プロセッサ及び／又はその類のものを具備する。さらに、制御ユニット２６には、例えばアプリケーション・プログラムとデータとを記憶する記憶手段２５と、制御ユニット２６と別の機能ブロックとの間で信号を伝送するためのバス・インターフェース手段Ｉ／Ｏとが含まれる。ビデオ符号化装置３５は、ビデオ情報の符号化／復号化及び圧縮／伸長を行うビデオ・コーデック３８も具備する。圧縮はＤＣＴ変換と量子化などに基づいて行われ、その場合、伸長段階で、公知のように受信情報が逆量子化され、逆ＤＣＴ変換が行われる。チャネル・コーデック３９により伝送対象情報のチャネル符号化と、受信情報のチャネル復号化とが行われる。移動通信手段４０などによりチャネル符号化ビデオ信号の伝送を行うことが可能である。

上記実施例の各々は、そのパフォーマンスの向上を図るために独立してＳＡＤ計算ユニット１に適用することが可能であるため、改善効果の向上を図るために実施例のいずれの組み合わせも可能である。早期終了メカニズムを組み込む提示された本方法が、例えば、図６に記載の一般的に提示されたアーキテクチャなどの、他の反復累積ＳＡＤアーキテクチャに適用可能であることは当業者には明らかである。

割込み信号を生成するために比較の際に用いる閾値を予め定める必要はなく、動的に定めることができる（ＳＡＤ計算装置１の作動中に変更が可能である）点に留意されたい。例えば、現在のＳＡＤ値の一時的な値が、現在のＸデータについてそれまでに得られた最小ＳＡＤ値をすでに上回っている場合、第２の割込み信号が生成される。したがって、第２の割込み用の閾値として用いられたそれまでに得られた最小ＳＡＤ値が装置１の作動中変わる場合もある。

本発明が、単に前記の実施例のみに限定されるものではなく、特許請求の範囲内で修正が可能であることは言うまでもない。

本発明の好適な実施例による動き予測ブロックを示す簡略化なブロック図である。 本発明の好適な実施例による動き予測ブロックのＳＡＤ計算手段を示す簡略化なブロック図である。 本発明の好適な実施例によるビデオ伝送システムを示す簡略化なブロック図である。 本発明の好適な実施例による通信装置を示す簡略化なブロック図である。 ビデオ符号化時にビデオの動き予測を実行する方法を示す図である。 従来技術の反復／並列累積型ＳＡＤアーキテクチャの一般的構造を示す図である。 本発明の好適な実施例による組込み型割込みメカニズムを備えた反復／並列累積型ＳＡＤアーキテクチャの一般的構造を示す図である。

符号の説明

１ ＳＡＤ計算手段
７ 第１のパイプライン段Ｐ１内のバッファ
８，１１，１５ バッファ
１６ 動き予測ブロック
１７ 第１の割込み信号
１８ 第２の割込み信号
１９ 第３の割込み信号
２０ 第１のＯＲゲート
２１ 第２のＯＲゲート
２２ 第３のＯＲゲート
２３ Ｘデータ・アドレス・ジェネレータ
２４ Ｙデータ・アドレス・ジェネレータ
２５ 記憶手段
２６ 制御ユニット
４１ リセット信号
Ｐ１ 比較値形成手段
Ｐ２，Ｐ３ 組み合わされた比較値の形成手段
Ｐ４ 最小ＳＡＤ値評価手段及び動き予測情報ＭＥＩ形成手段

Claims (15)

1. ビデオ符号化時にビデオの動き予測を実行する方法であって、ブロック（Ｘ^(c)、Ｙ^(c,r)、Ｙ^(c,r’)）を含むフレーム（ＦＲ１、ＦＲ２）からビデオ信号を構成し、符号化対象フレーム（ＦＲ１）の現在のビデオ・ブロック（Ｘ^(c)）と、別のフレーム（ＦＲ２）の少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）とを用いることにより、組み合わされた比較値を形成し、符号化対象フレーム（ＦＲ１）の前記現在のビデオ・ブロック（Ｘ^(c)）が第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）を含み、別のフレーム（ＦＲ２）の前記少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）が第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝を含み、前記第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）から得られるデータ値と、前記第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）から得られる等しい数の対応するデータ値とからデータ値対を形成し、各々が前記データ値対の１つのデータ値対のデータ値を用いることにより定められる比較値を定めることにより前記組み合わされた比較値を形成し、少なくとも１つの閾値（ＴＨ１、ＴＨ２）を定め、さらに、前記組み合わされた比較値を定める上記処理の終了が可能かどうかを判定する方法において、少なくとも、
   各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算ステップと、
   上記計算ステップで得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積ステップと、
   少なくとも１つの信号を少なくとも１つの閾値（ＴＨ１、ＴＨ２）と比較することにより処理の終了が可能かどうかの判定を行う判定ステップと、
   上記判定ステップで行われた判定に従う、終了ステップと、前記組み合わされた比較値を定める新規処理の初期化ステップと、を有することを特徴とする方法。
2. 請求項１に記載の方法において、第１の閾値（ＴＨ１）を定め、さらに、各累積ステップ後に、上記信号が上記第１の閾値（ＴＨ１）を上回っているかどうかを判定する判定ステップを実行し、上記信号が上記第１の閾値（ＴＨ１）を上回った場合、上記計算処理を終了し、新しい絶対差の合計（ＳＡＤ）計算処理を初期化することを特徴とする方法。
3. 請求項１または２に記載の方法において、データ値対の第１の値と第２の値との間の差分を計算することにより比較値を定めることを特徴とする方法。
4. 請求項１、２または３のいずれか一項に記載の方法において、上記累積比較値が、合計項と桁上げ項とから成り、前記信号が上記桁上げ項を示すことを特徴とする方法。
5. 請求項１乃至４のいずれか一項に記載の方法において、少なくとも２つの比較値を加算することにより前記累積比較値を形成し、さらに、上記累積比較値を、上記現在のブロック（Ｘ^(c)）と別のブロック（Ｙ^(c,r”)）との間で前に得た組み合わされた比較値、または、所定の数と比較して、上記計算処理の終了が可能かどうかを判定することを特徴とする方法。
6. 請求項５に記載の方法において、前記累積比較値が前記前に得た組み合わされた比較値または前記所定数より大きい場合、上記計算処理を終了させることを特徴とする方法。
7. 請求項１乃至６のいずれか一項に記載の方法において、上記計算処理の終了が可能であると判定された場合、前記現在のビデオ・ブロック（Ｘ^(c)）のデータ値（｛ｘ₁,…,ｘ_K｝）と、前記新しいビデオ・ブロック（Ｙ^(c,r’)）のデータ値（｛ｙ'₁,…,ｙ'_K｝）とを用いる比較値の計算を行うために前記別のフレーム（ＦＲ２）の新しいブロック（Ｙ^(c,r’)）を選択し、次いで、前記現在のビデオ・ブロック（Ｘ^(c)）のデータ値（｛ｘ₁,…,ｘ_K｝）と、前記新しいビデオ・ブロック（Ｙ^(c,r’)）のデータ値（｛ｙ₁,…,ｙ_K｝）とを用いる比較値の計算を開始することを特徴とする方法。
8. 請求項１乃至７のいずれか一項に記載の方法において、第２の閾値（ＴＨ２）を判定し、前記第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）と、前記第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）とのすべての値の対のすべての比較値の組み合わされた比較値を用いることにより１つの信号を形成し、前記１つの信号を前記第３の閾値と比較して、上記計算処理の終了が可能かどうかを判定することを特徴とする方法。
9. 請求項８に記載の方法において、上記組み合わされた比較値が前記第２の閾値未満である場合、上記計算処理を終了することを特徴とする方法。
10. 請求項７、８または９のいずれか一項に記載の方法において、上記計算処理の終了が可能であると判定された場合、別のフレームの前記ブロック（Ｙ^(c,r)）を選択して、前記現在のブロック（Ｘ^(c)）に対する動き予測情報の形成時に使用し、その場合、上記現在のビデオ・ブロックに対する比較値の計算を停止することを特徴とする方法。
11. 請求項７に記載の方法において、上記計算処理の終了が可能であると判定された場合、符号化対象の前記フレームの新しいブロック（イ）を上記現在のビデオ・ブロックとして選択し、さらに、前記現在のビデオ・ブロックのデータ値（ロ）と別のビデオ・フレームのブロック（ハ）のデータ値（ニ）との間の差分の計算を開始し、ここに
    

    

    とすることを特徴とする方法。
12. ビデオ符号化時にビデオの動き予測を実行するためのビデオ符号化システムであって、上記ビデオ信号が、ブロック（Ｘ^(c)、Ｙ^(c,r)、Ｙ^(c,r’)）を含むフレーム（ＦＲ１、ＦＲ２）から構成されるシステムにおいて、符号化対象フレーム（ＦＲ１）の現在のビデオ・ブロック（Ｘ^(c)）と、別のフレーム（ＦＲ２）の少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）とを利用することにより、組み合わされた比較値を形成する手段（１）を具備し、符号化対象の上記フレーム（ＦＲ１）の前記現在のビデオ・ブロック（Ｘ^(c)）には第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）が含まれ、別のフレーム（ＦＲ２）の前記少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）には第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）が含まれ、組み合わされた比較値を形成する前記手段（１）には、各々が、前記第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）及び前記第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）から得られる等しい数の対応するデータ値から得られるデータ値の等しい数のデータ値対からなる、一連の少なくとも２つのサブセット（ｘ_(t-1)s+1,…,ｘ_ts，ｙ_(t-1)s+1,…,ｙ_ts）を入力する入力手段と、前記データ値対の１つのデータ値対のデータ値を用いることにより定められる各比較値を定める手段（２）と、少なくとも１つの第１の閾値（ＴＨ１、ＴＨ２）を定める手段（９）と、前記組み合わされた比較値を定める処理の終了が可能かどうかを判定する手段（１７、２０）とが含まれるシステムにおいて、少なくとも、
    各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算手段（２）と、
    上記計算手段で得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積手段（６）と、
    少なくとも１つの信号を少なくとも１つの閾値（ＴＨ１、ＴＨ２）と比較する手段（１７）を含む、計算処理の終了が可能かどうかを判定する判定手段（１７、２０）と、
    上記判定手段で行われた判定に従って現在の処理を終了させ、前記組み合わされた比較値を定める新規処理を初期化する手段と、を具備することを特徴とするシステム。
13. 請求項１２に記載のシステムにおいて、前記累積手段（６）と前記判定手段（１７、２０）の計算精度が、可能最大ＳＡＤ値を正確に取得するために必要な精度よりも低いことを特徴とするシステム。
14. ビデオ符号化装置であって、ブロック（Ｘ^(c)、Ｙ^(c,r)、Ｙ^(c,r’)）を含むフレーム（ＦＲ１、ＦＲ２）から成るビデオ信号を符号化する手段（３８）と、ビデオの動き予測を実行する手段（３８）と、符号化対象のフレーム（ＦＲ１）の現在のビデオ・ブロック（Ｘ^(c)）と、別のフレーム（ＦＲ２）の少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）との間で、組み合わされた比較値を計算する手段（１）であって、上記符号化対象フレーム（ＦＲ１）の前記現在のビデオ・ブロック（Ｘ^(c)）は第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）を含み、前記別のフレーム（ＦＲ２）の少なくとも１つの別のビデオ・ブロック（Ｙ^(c,r)、Ｙ^(c,r’)）は第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）を含み、前記第１のデータ値のセット（｛ｘ₁,…,ｘ_K｝）と、前記第２のデータ値のセット（｛ｙ₁,…,ｙ_K｝）との数値対の間で比較値を定めることにより前記組み合わされた比較値を形成するように為す上記計算手段と、少なくとも１つの閾値（ＴＨ１、ＴＨ２）を定める手段（９）と、前記組み合わされた比較値を定める処理の終了が可能かどうかを判定する手段（１７、２０）とを具備するビデオ符号化装置において、少なくとも、
    各々が少なくとも１つの比較値からなる少なくとも１つの比較値のサブセットを形成するための計算手段（２）と、
    上記計算手段で得られた前記少なくとも１つの比較値のサブセットを用いて反復して更新される現在の累積比較値を示す信号を形成するための累積手段（６）と、
    少なくとも１つの信号を少なくとも１つの閾値（ＴＨ１、ＴＨ２）と比較する手段（１７）を含む、計算処理の終了が可能かどうかを判定する判定手段（１７、２０）と、
    上記判定手段で行われた判定に従って現在の処理を終了させ、前記組み合わされた比較値を定める新規処理を初期化する手段と、を具備することを特徴とするビデオ符号化装置。
15. 請求項１４に記載の装置において、移動通信を実行する手段（４０）を具備することを特徴とする装置。

Images