JP2000165884A - フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング - Google Patents

フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング

Info

Publication number
JP2000165884A
JP2000165884A JP11319144A JP31914499A JP2000165884A JP 2000165884 A JP2000165884 A JP 2000165884A JP 11319144 A JP11319144 A JP 11319144A JP 31914499 A JP31914499 A JP 31914499A JP 2000165884 A JP2000165884 A JP 2000165884A
Authority
JP
Japan
Prior art keywords
macroblock
field
block
mode
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11319144A
Other languages
English (en)
Inventor
Piccinelli Emiliano
ピッチネッリ エミリアーノ
Pezzoni Luca
ペッツォーニ ルカ
Pou Danilo
ポウ ダニロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SRL
Original Assignee
STMicroelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics SRL filed Critical STMicroelectronics SRL
Publication of JP2000165884A publication Critical patent/JP2000165884A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 より簡単なハードウエアで実現することの可
能なビデオデータのコーディング技術を提供する。 【解決手段】 本発明によれば、複雑性インデックスを
識別する隣接するピクセルの間の差の評価及び平均絶対
予測エラーの広がりインデックスの処理に基づいて予測
方法及びDCTモードの選択を行う。本発明によれば、
従来技術におけるように分散及び相関インデックスの計
算に基づくものではないので処理が極めて効率的であ
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオピクチャ圧
縮技術に関するものであって、更に詳細には、運動推定
及び圧縮及びコーディングフェーズにおけるビデオデー
タの離散余弦変換のシステムの性能を最適化させるため
のハードウエアによって実現されるアルゴリズムに関す
るものである。
【0002】
【従来の技術】ピクチャのフィールドの1組のピクセル
は先行するものを移動させることによって得られる後の
ピクチャの位置に配置させることが可能である。勿論、
これらのオブジェクトの移動は、前に見えなかった部分
及びそれらの輪郭の変化(例えば、ズーミング等)をビ
デオカメラに対して露呈する場合がある。
【0003】これらのイメージの部分を識別し且つ関連
付けるのに適した一群のアルゴリズムは、通常、「運動
推定」と呼ばれる。このような関連付けは冗長な時間的
情報を除去することによって差分イメージの部分を計算
することを可能とし、離散余弦変換(DCT)、量子化
及びエントロピィコーディングによる爾後の圧縮プロセ
スをより効果的なものとさせる。
【0004】このような方法は典型例であるスタンダー
ドのMPEG2において見られ、且つこのように広く適
用されているスタンダードの重要性に鑑み且つ例示とし
て、以下の説明においてはMPEG2スタンダードを参
照して説明する。勿論、以下に行われる基本的な考察は
その他のスタンダードに対しても完全に有効なものであ
って、且つ本発明のアーキテクチュア及び運動推定シス
テムは、MPEG2以外のプロトコルに従ってデジタル
化したピクチャを処理するシステムに対して適用可能で
あり且つ有益的に使用することが可能である。
【0005】ビデオMPEG2コーダの典型的なブロッ
ク図を図1に示してある。このようなシステムは次のよ
うな機能的ブロックから構成されている。
【0006】(1)フィールド順番付け器 このブロックはMPEGスタンダードによって必要とさ
れるコーディング順にフィールドを出力する1つ又は幾
つかのフィールドメモリから構成されている。例えば、
入力シーケンスがIBBPBBP等である場合には、そ
の出力の順番はIPBBPBB...である。
【0007】※I(イントラコード化ピクチャ)は時間
的冗長性を包含するフィールド及び/又はセミフィール
ドである。
【0008】※P(予測ピクチャ)は、それから先行す
るI又はP(前にコード化/デコード化されている)に
関して時間的冗長性が除去されているフィールド及び/
又はセミフィールドである。
【0009】※B(双方向予測ピクチャ)は、先行する
I及び後続のP(又は先行するP及び後続のP)に関し
て時間的冗長性が除去されているフィールド及び/又は
セミフィールドである(両方の場合にも、I及びPピク
チャは既にコード化/デコード化されているものと考え
ねばならない)。
【0010】4:2:0のフォーマットにおける各フレ
ームバッファは以下のメモリ空間を占有する。
【0011】 ※スタンダードPAL ルミナンス(Y)に対し720×576×8 =3,317,760ビット クロミナンス(U)に対し360×288×8 = 829,440ビット クロミナンス(V)に対し360×288×8 = 829,440ビット −−−−−−−−−−−− 全Y+U+V =4,976,640ビット ※スタンダードNTSC ルミナンス(Y)に対し720×480×8 =2,764,800ビット クロミナンス(U)に対し360×240×8 = 619,200ビット クロミナンス(V)に対し360×240×8 = 619,200ビット −−−−−−−−−−−− 全Y+U+V =4,147,200ビット (2)運動推定器 これはP及びBピクチャから時間的冗長性を除去するブ
ロックである。注意すべきことであるが、この機能的ブ
ロックは、例えばルミナンス成分等のコード化されるべ
きシーケンスの最もエネルギの高い成分、従ってピクチ
ャ情報が最も豊富である成分に関してのみ動作する。
【0012】(3)DCT これはMPEG2スタンダードに従って離散余弦変換を
実施するブロックである。Iピクチャ及びエラーピクチ
ャP及びBは8×8ブロックのピクセルY,U,Vに分
割され、それに関してDCT変換が実施される。
【0013】(4)量子化器Q 次いで、DCT変換から得られる8×8ブロックはDC
T係数の大きさを多かれ少なかれ劇的に減少させるため
に量子化用マトリクスによって割算する。このような場
合には、人間の視力にとって感度が低い最も高い周波数
に関連する情報が除去される傾向となる。その結果は順
番が付け直され且つ次のブロックへ送られる。
【0014】(5)可変長コーディング(VLC) 量子化器から出力されるコード化ワードは多かれ少なか
れ多数のヌル係数を有する傾向があり、その後に非ヌル
値が続く。最初の非ヌル値に先行するヌル値はカウント
され且つそのカウント値はコード化ワードの第一部分を
構成しその第二部分は非ヌル係数を表わす。
【0015】これらの対構成とされた値は他のものより
も蓋然性の高い値をとる傾向がある。最も蓋然性の高い
ものは比較的短いワード(2,3又は4ビットから構成
される)でコード化され、一方最も蓋然性の低いものは
より長いワードで高度化される。統計的には、出力ビッ
ト数はこのような方法が実施されない場合よりも少な
い。
【0016】(6)マルチプレクサ及びバッファ 可変長コーダ、量子化用マトリクス、運動ベクトル及び
その他の構文的要素によって発生されるデータはMPE
G2スタンダードによって意図される最終的なシンタッ
クス即ち構文を構成するために組立てられる。その結果
得られるビットストリームはメモリバッファ内に格納さ
れ、該バッファの限界寸法はMPEG2スタンダードに
よって画定され且つオーバーフローすることは不可能で
ある。量子化器ブロックQは、このようなメモリバッフ
ァの充填限界に対してシステムがどれ程離れているか及
び運動推定及びDCT変換プロセスの上流側においてと
られる8×8ソースブロックのエネルギに依存してDC
T8×8ブロックの分割を多かれ少なかれ劇的なものと
することによってこのような限界の観点を取扱う。 (7)逆可変長コーディング(I−VLC) 上述した可変長コーディング機能が逆の順番で実行され
る。
【0017】(8)逆量子化(IQ) I−VLCブロックによって出力されるワードは8×8
ブロック構造で順番が付け直され、それはその先行コー
ディングに対して使用されたものと同一の量子化用マト
リクスによって乗算される。
【0018】(9)逆DCT(I−DCT) DCT変換関数が反転され且つ逆量子化処理によって出
力される8×8ブロックへ適用される。このことは空間
周波数のドメインからピクセルドメインへ通過すること
を許容する。
【0019】(10)運動補償及び格納 I−DCTブロックの出力端においては、−後のP及び
Bピクチャからそれに関して時間的冗長性を取り除くた
めに夫々のメモリバッファ内に格納されねばならないデ
コード済Iピクチャ(又はセミピクチャ)、−運動推定
フェーズ期間中に以前に除去した情報へ加算されねばな
らないデコード済予測エラーピクチャ(セミピクチャP
又はB)、が二者択一的に存在する場合がある。Pピク
チャの場合には、専用のメモリバッファ内に格納されて
いるこのような結果的に得られる和は相次ぐPピクチャ
及びBピクチャに対する運動推定プロセス期間中に使用
される。
【0020】これらのフィールドメモリは、通常、ブロ
ックを並べ替えるために使用されるフィールドメモリと
は別個のものである。
【0021】(11)ディスプレイユニット このユニットはピクチャを4:2:0フォーマットから
4:2:2フォーマットへ変換し且つイメージを表示す
るためにインターレースしたフォーマットを発生する。
【0022】例えばルミナンス等の最もエネルギの高
い、従って、最も情報が豊富な成分をNラインとM列の
マトリクスとして表わすことが可能であるとする。各フ
ィールドを各々がR個のラインとS個の列であるマクロ
ブロックと呼ばれる部分に分割する。
【0023】N/R及びM/Sの分割の結果は、2つの
整数でなければならないが、必ずしも互いに等しいもの
である必要はない。
【0024】図2を参照すると、図1に示した(推定器
ブロック)を有する2つのシステムを識別することが可
能である。
【0025】(a)運動推定器 この最初のサブブロックはある推定アルゴリズムに従っ
て各マクロブロックの予測子をサーチし、且つスタンダ
ードによって記述される異なる予測オプションの中で、
最良の結果を発生するものを決定し、それは相次ぐブロ
ック及び最終的なバッファに運動ベクトル及び選択した
予測のタイプを供給する。
【0026】異なるタイプのフィールドに対する予測の
態様は以下のようにすることが可能である。
【0027】イントラフィールド ・イントラPフィールド ・前方フィールド ・フレームフィールド ・二重プライムBフィールド ・フィールド前方 ・フィールド後方 ・フィールド補間 ・フレーム前方 ・フレーム後方 ・フレーム補間 (b)決定器 このサブブロックは単一マクロブロックのコーディング
モード及びそれらの各々に対する予測エラーの周波数の
ドメインにおける変換モードを選択する推定器の部分で
ある。異なるコーディングモードは以下の通りである。
【0028】イントラフィールド: ・イントラPフィールド: ・イントラ ・前方予測 ・運動補償なしBフィールド: ・イントラ ・前方予測 ・後方予測 ・補間予測 然しながら、DCTブロックに関する限り(図1参
照)、これは異なるマクロブロックを8×8ピクセルの
より小さな部分へ分解すると言われている。然しなが
ら、マクロブロックのブロックへの分解は2つの異なる
モード、即ちフィールド又はフレームにおいて実施する
ことが可能である。
【0029】図2bから且つ16×16ピクセルのマク
ロブロック及び2つの相次ぐセミフィールドに属する行
は同一のピクチャを構成するものであると仮定すると、
マクロブロックを4個のブロックに分割することが可能
であり、それに関して離散余弦変換を2つの異なるモー
ドで適用することが可能である。
【0030】・フレーム: 4個のマクロブロックは両
方のセミフィールドに属する行から構成される。
【0031】・フィールド: 4個のブロックは同一の
セミフィールドに属する行から構成される。
【0032】然しながら、MPEG2ビデオスタンダー
ドによれば、既に上に説明したように、各シーケンス:
「イントラ」(即ちI)、「P」、「B」内に存在する
フィールドに対して3つの可能なコーディングモードが
存在している。
【0033】イントラフィールドの場合には、各マクロ
ブロックは「イントラ」モードに従ってコード化され
る。
【0034】「非イントラ」フィールドの場合に対して
は、以下の如くにして各マクロブロックを独立的にコー
ド化することが可能である。
【0035】現在のフィールドがPフィールドである場
合には、受付けられるコーディングモードは、イント
ラ、運動補償なし、運動補償;Bピクチャの場合には、
受付けられるコーディングモードは、イントラ、前方予
測、後方予測、補間である。
【0036】従って、イントラフィールドの場合には、
DCT変換をどのようにして異なるブロックに対して適
用するかを決定することが必要であるに過ぎず(フィー
ルド又はフレームモードにおいて)、一方非イントラフ
ィールド(P及びB)の場合には、考慮中の単一のマク
ロブロックをどのように予測するかを確立することも必
要である。
【0037】決定アルゴリズム(TM5) 公知の技術によれば、使用すべきDCT変換のタイプに
関する決定に関する限り、その手順は全てのタイプのフ
ィールド及びマクロブロックに対して同一である。この
手順は、以下の説明においてより良く理解されるよう
に、検知した予測エラーのサンプルの間の分散及び相関
の推定に基づくものである。予測のタイプに関する決定
に関する限り、その手順は分散推定に基づくものであ
り、予測モードの選択は分散推定を考慮する。
【0038】予測方法の選択 第一に、このアルゴリズムは、選択されたタイプの予測
に対して平均二乗エラー(MSE)を以下の如くに計算
する。
【0039】
【数1】 尚、εi,j=p* i,j−pi,jであり、「p*」は予測子を
構成するピクセルを表わしており、且つ「p」は位置
(i,j)における現在のマクロブロックを構成するピ
クセルを表わしている。
【0040】処理中の現在のマクロブロックは以下の条
件が満足される場合に運動推定(「イントラ」)なしで
コード化される。
【0041】MSE>VAR MSE≧9・256 尚、「MSE」は平均二乗エラーであり、一方「VA
R」は基準マクロブロックのサンプリング分散であり、
即ち、
【数2】 尚、pi,jは現在のマクロブロックのピクセルの値であ
る。
【0042】このことは以下のことを意味している。即
ち、※イントラとしてコード化されるべき現在のマクロ
ブロックtpの場合には、予測用の平均二乗エラーはこ
のようなマクロブロックを構成するピクセルの分散より
も大きなものでなければならず且つ、更に、ヒューリス
ティック即ち発見的に配置されたスレッシュホールドよ
りも大きなものでなければならない。このような場合に
は、最早予測用のエラーの形態でマクロブロックをコー
ド化することは便利なものではない。何故ならば、それ
に関連するエントロピィはそれを構成する単一ピクセル
と関連するものよりも一層大きいからであり、従って圧
縮効率を劣化させるからである。
【0043】※非イントラとしてコード化すべき現在の
マクロブロックの場合には、上述した2つの条件のうち
の少なくとも1つが検証されないことで充分である。
【0044】いずれの場合においても、現在のマクロブ
ロックを「イントラ」としてコード化することが決定さ
れる場合には、コーダはその単一ピクセルの値を後に変
換され且つ量子化されるサンプルとして直接的に考慮す
ることはなく、変異フィールドの中間における値「12
8」をそれらから減算することによって該ピクセルから
得られるサンプルに関してこれらの操作を実施する。
【0045】対照的に、「非イントラ」コーディングが
決定される場合には、それから基準マクロブロックが発
生する現在のピクチャが「B」又は「P」ピクチャのい
ずれかであるかに依存して2つの異なる場合の間で区別
を行うことが可能である。
【0046】最初の場合には、システムは、そのように
して見つけ出され且つ選択された値を有する運動ベクト
ルを包含すべく予め処理された構造を単にアップデート
する。2番目の場合においては、その代わりに、コーダ
は「運動補償」と共に又はなしでマクロブロックをコー
ド化することを決定する場合がある(MC/no−M
C)。これを行うために、基準マクロブロックと最初の
もの(V0として呼称する)の同一の絶対的座標での予
測に基づくフィールド上に配置されているものとの間の
平均二乗エラーを計算し且つそれを前に見つけた平均二
乗エラー(MSE)と比較する。コーダは以下の2つの
条件が同時に検証される場合にのみ運動推定結果を使用
することを決定する。
【0047】V0>(5/4)・MSE V0≧9・256 図2cは公知の技術に基づく決定アルゴリズムの手法を
示している。
【0048】DCTフィールド又はフレーム 最初に、この手順は別々に2つのフィールドの予測エラ
ーの分散推定の積の計算を行う。
【0049】
【数3】 尚、εTopは「トップフィールド(Top fiel
d)」(フィールドの偶数ラインから構成されており、
即ち0,2,4,...)の予測エラーであり、εBot
は「ボトムフィールド(Bottom field)」
(フィールドの奇数ラインから構成されており、即ち
1,3,5,...)の予測エラーである。注意すべき
ことであるが、「イントラ」フィールドの場合には、予
測エラーはピクセル値の変異範囲(0−255)の中心
においてそのピクセルが全て同一の値(128に等し
い)を有している仮想的なブロックに関して計算され
る。「d」がヌル(即ち0)である場合には、2つのフ
ィールドのうちの少なくとも1つに関連する予測エラー
は一様であり、従って、それはDCTフィールド(DC
1の後の1個の係数のみ)を計算するのに便利である。
正に、2つのフィールドのうちの少なくとも1つはヌル
分散を有しており、従ってこれら2つのフィールドは相
関しておらず、従ってDCTは「フィールド」モードで
計算され、それはY,U,Vブロックを構成する2つの
セミフィールドに関して独立的である。対照的に「d」
が正である場合には、2つのフィールドに関する予測エ
ラーの間で相関インデックスを計算すべきであり、即
ち、
【数4】 このようなインデックスが高い場合には(即ち、予め定
めたスレッシュホールドよりも大きい場合)、DCTは
「フレーム」モードで計算される。対照的に、それが小
さい場合には(予め定めたスレッシュホールドよりも小
さい場合)、2つのフィールドの間の予測エラーは相関
しておらず、従ってDCTは「フィールド」モードで計
算される。
【0050】上述したことから理解されるように、公知
の技術によれば、予測方法及び離散余弦変換モード(フ
ィールド又はフレーム)の選択は、著しく複雑な処理を
必要とするアルゴリズムを介して実施され、それは乗
算、平方根、割算演算等の実行を介して分散及び相関イ
ンデックスの計算を行うことを必要とする。これらの理
由により、そのアルゴリズムを実現するハードウエアは
複雑且つコスト高である。
【0051】
【発明が解決しようとする課題】本発明は、以上の点に
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、公知の技術よりもより簡単なハードウエア
でもってビデオデータをコーディングする技術を提供す
ることを主要な目的とする。本発明の別の目的とすると
ころは、従来技術のアルゴリズムよりも簡単であり且つ
ハードウエアによって実現する場合に困難性がより少な
い予測方法及びDCTモードの選択アルゴリズムを提供
することである。
【0052】
【課題を解決するための手段】本発明によれば、実施す
ることが必要な演算は2の羃による乗算であり、実際
上、何等著しい付加的なハードウエアコストなしで実現
することが可能である。本発明方法は分散及び相関イン
デックスの計算に基づくものではなく、複雑性インデッ
クスを識別する隣接するピクセル間の差の評価及び平均
絶対予測エラーの広がりインデックスの処理に基づくも
のである。
【0053】
【発明の実施の形態】別個のオプションの間で選択を行
う本発明の新規なアルゴリズムは以下のとおりである。
【0054】予測方法の選択 第一に、以下の態様で平均に関し計算した「平均絶対広
がり」を定義することが必要であり、「pi,j」はマク
ロブロックのピクセルの値を表わす。
【0055】
【数5】 この値MSApはその予測を求めるべき推定中のマクロ
ブロックに関して計算される。E演算子は平均演算を表
わしており且つμはピクセルの平均値を表わしている。
【0056】特定のピクセルに対する予測エラーをε
i,jで表わし(εi,j=pi,j−p* i,j)且つこのような
エラーの平均値をμεを表わすことにより、それらの平
均値に関する予測エラーの絶対的平均広がりは次式によ
って与えられる。
【0057】
【数6】 最初に、このインデックスSMAを使用してイントラコ
ーディングと非イントラコーディングとの間の選択を行
う。以下の条件が同時的に満足される場合にはマクロブ
ロックはイントラとしてコード化される。
【0058】SMAε>SMAp SMAε≧スレッシュホールド1 そのマクロブロックが属するフィールドがBフィールド
であり、且つ上述した2つの条件が満足されない場合に
は、更なる制御が行われることはなく、且つ得られた予
測子は、それを特性付ける運動ベクトル、予測方法
(「前方」、「後方」、又は「補間」)及び量子化予測
エラーと共にビットストリーム内に挿入される。
【0059】同一の基準がPフィールドに属するマクロ
ブロックに対しても使用され、この場合には、然しなが
ら、イントラコーディングと非イントラコーディングと
の間の選択を行った後に、運動補償を使用するか否かを
選択するために更なる区別を行うことが必要である
(「MC」又は「No−MC」モード)。以下の条件が
満足される場合には使用するか否か(且つ、それによ
り、予測エラー及び選択された予測モードと共に運動ベ
クトルをビットストリーム内に挿入すること)の決定が
行われる。
【0060】MSAε0 >SMAε MSAε0 ≧スレッシュホールド2 尚、SMAε0 はヌルベクトルによって識別されたマク
ロブロックに関して計算された絶対的平均広がりであ
る。
【0061】対照的に、運動補償を使用しないことが選
択される場合には、見つけだされたものの代わりにヌル
運動ベクトルが挿入される。
【0062】図3は上述した方法のフローチャートを示
しており且つ図4は「絶対的平均広がり」を計算するた
めの可能なハードウエアアーキテクチュアを示してい
る。
【0063】フレームのDCTフィールド 図5の手法を参照することにより、最初に、現在のマク
ロブロックを構成する単一ブロックの複雑性インデック
スを「フィールド」及び「フレーム」態様の両方に対し
て計算する。「ブロック複雑性」という用語によって、
2つの水平方向の隣接するピクセル(同一のラインに属
する)及び垂直方向の隣接するピクセルの間の絶対的な
差の全ての中で最大のものを意味している。あるマクロ
ブロックを構成する全てのブロックに対して計算された
差の最大値を加算することによって、全体的なマクロブ
ロック複雑性が得られる。
【0064】この計算は二度繰返され、即ち相次ぐDC
T変換が「フレーム」モードで行われた場合に得られる
ブロックに関して、従って異なるセミフィールドに対す
るブロックのラインでもって一度行われ、且つDCT変
換が「フィールド」モードで行われることを仮定するこ
とにより、従って同一のセミフィールドに属するブロッ
クのラインに関して一度行われる。そのように計算され
た2つの複雑性の値が得られると、最も低いものが選択
され且つDCT変換は、実際には、このような選択に従
って実施される。
【0065】注意すべきことであるが、この手順は現在
のマクロブロックがイントラであるであるか非イントラ
であるかに拘らず同一であるが、複雑性の計算は第一の
場合においてはオリジナルのマクロブロックに関して実
施され、且つ第二の場合においてはエラーマクロブロッ
クに関して実施される。
【0066】本発明方法は、特に、DVD記録、カムコ
ーダ(camcorder)等に使用されるコーダ等の
適用例において特に有用である。
【0067】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
【図面の簡単な説明】
【図1】 本発明の目的を構成する「推定器」と呼ばれ
る機能的ブロックを包含するMPEG2 MP@MLコ
ーダの基本的構成を示した概略図。
【図2】 「決定器」と呼ばれるサブブロック内におい
てそれ自身を識別する本発明の目的をハイライトした図
1の推定器の内部機能的アーキテクチュアを示した概略
図。
【図2b】 複数個のブロック内の1個のマクロブロッ
クの分解の2つの択一的な手法、即ちフレーム及びフィ
ールドを示した概略図。
【図2c】 本発明のアルゴリズムによって追従される
相関手法を示した概略図。
【図3】 異なるオプション「イントラ/非イントラ」
及び「運動補償/非運動補償」の間での選択に関する本
発明の決定ステップを示した機能的ブロック図。
【図4】 「イントラ」「非イントラ」の選択の基礎と
なる平均値に関する「平均絶対広がり」の計算ブロック
のアーキテクチュアを示した概略図。
【図5】 フィールドの各マクロブロックに対する「フ
ィールド−DCT/フレーム−DCT」に関して本発明
の選択方法を示した概略ブロック図。
【図6】 マクロブロックの全体的な複雑性を計算する
「複雑性フィールド」及び「複雑性フレーム」と呼ばれ
る図5のブロックのアーキテクチュアを示した概略図。
【図7】 1つの方向(水平又は垂直)におけるブロッ
クの複雑性を計算する「COMP」と呼ばれる図6の機
能的ブロックのアーキテクチュアを示した概略図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ルカ ペッツォーニ イタリア国, 20032 コルマーノ, ビ ア クレリチ 2 (72)発明者 ダニロ ポウ イタリア国, 20099 セスト サン ジ オバーニ, ビア ダンテ 131

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 スタンダードに従ってビデオデータをコ
    ーディングする方法において、基準即ちイントラ(I)
    フィールド以外の幾つかのタイプのフィールド(P,
    B)を識別し且つ非イントラフィールド(P,B)の異
    なるタイプの夫々の予測モードの間で選択可能な予測モ
    ードに従って最良の近似を与え、フレーム分解モードに
    従ってデータのマクロブロックからなるデータのブロッ
    クであって、偶数線セミフィールド及び奇数線セミフィ
    ールドに属するデータの線からなるブロックか又はフィ
    ールド分解モードにおいては同一のセミフィールドに属
    するデータの線からなるブロックに対して離散余弦変換
    (DCT)を計算し、格納されるべきデータのブロック
    によって実施される前記離散余弦変換(DCT)から発
    生するデータを量子化し且つコーディングして、予測子
    マクロブロックの識別及び運動推定のアルゴリズムによ
    って非イントラフィールド(P,B)から時間的冗長性
    を除去することを包含している種々のコーディングオプ
    ションが前記非イントラフィールド(P,B)に対して
    存在している方法において、 (a)平均値(SMAp)に関する絶対平均広がりを現
    在のマクロブロックのピクセルに対して計算し且つ前記
    予測子マクロブロックの相同ピクセルに関し現在のマク
    ロブロックの各ピクセルの予測エラーの絶対平均広がり
    (SMAε)を計算し、 (b)以下の条件が満足されるか否かに依存してイント
    ラ又は非イントラフィールドの場合におけるように現在
    のマクロブロックのデータに対するコーディングオプシ
    ョンを選択し、 SMAε>SMAp SMAε≧スレッシュホールド1 (c)上の2つの条件のうちの少なくとも1つを満足し
    ない場合には、先行するフィールド(I,P)及び/又
    は後続のフィールド(P)に関してその時間的な冗長性
    が除去されているフィールド(B)に前記マクロブロッ
    クが属するか否かを確立し、 (d)時間的冗長性が除去されている場合には、前方モ
    ード、後方モード、又は補間モードの間で選択されてい
    る予測モードに従ってそれを特性付ける運動ベクトル及
    び量子化予測エラーと共に前記データストリーム内に挿
    入し、 (e)時間的冗長性が除去されておらず且つ前記マクロ
    ブロックが時間的冗長性を包含しているフィールド
    (P)に属するものとして認識される場合には、以下の
    条件が満足されるか否かをテストし、 SMAε0>SMAε SMAε0≧スレッシュホールド2 尚、SAMε0はヌル運動ベクトルによって識別される
    マクロブロックを現在のマクロブロックの予測子として
    使用することによる予測エラーの絶対平均広がりであ
    り、 (f)上の(e)の両方の条件が満足される場合には、
    運動補償(MC)を実施し、前方モードと二重プライム
    モードとの間で選択された予測モードに従ってそれを特
    性付ける運動ベクトル及び量子化予測エラーと共に前記
    相対的予測子を前記データストリーム内に挿入し、 (g)上の(e)の条件が満足されない場合には、運動
    補償を行わず(No−MC)、ヌル運動ベクトルと共に
    前記データストリーム内に前記ヌル運動ベクトルによっ
    て識別されるマクロブロックを現在のマクロブロックの
    予測子として使用することによって予測エラーを挿入
    し、 (h)前記ブロックの同一の列上及び同一のライン上の
    任意の2つの隣接するピクセルの間の最大絶対差の最大
    値として現在のマクロブロックが非イントラタイプのも
    のである場合にはエラーマクロブロックの又はイントラ
    タイプのものである場合にはフィールドモード及びフレ
    ームモードに基づく現在のマクロブロックの分解ノード
    単一のブロックの複雑性インデックスを計算し且つ相対
    的なマクロブロックの全複雑性インデックスを画定する
    全部のブロックの最大絶対差を加算し、 (i)フレームモードにおいて及びフィールドモードに
    おいて計算された同一のマクロブロックに対する前記複
    雑性インデックスの最小値を識別し、且つ複雑性インデ
    ックスの最小値が識別されている分解モード(フレー
    ム、フィールド)において離散余弦変換(DCT)を計
    算する、ことを特徴とする方法。
  2. 【請求項2】 MPEG2スタンダードに従ってビデオ
    データを圧縮し且つコーディングするシステムにおい
    て、運動推定の第一ステージ及び運動推定を適用するか
    否かを決定し且つ離散余弦変換(フレームDCT/フィ
    ールドDCT)を実施するブロック内のフィールド
    (I,P,B)のピクセルのマクロブロックの分解モー
    ドを選択する第二ステージから構成されており非イント
    ラフィールド(P,B)から時間的冗長性を除去する運
    動推定の機能的ブロックを有するシステムにおいて、前
    記第二ステージが、 予測用のマクロブロックの相同ピクセルと比較して基準
    マクロブロックに属する各ピクセルの予測エラーの絶対
    平均広がり(SMAε)の第一計算ライン、及び、 第二計算ラインであって、 (a)基準マクロブロックのピクセルと現在のマクロブ
    ロックのピクセルとの間の差からなるエラーマクロブロ
    ックのピクセルを格納する入力バッファと、 (b)並列に動作する一対の比較ラインであって、各々
    が入力マルチプレクサ(MUX,CTRL)及び現在の
    マクロブロックが非イントラフィールドに属する場合に
    は予測エラーブロックの又はそれがイントラフィールド
    に属する場合には現在のマクロブロックのそれぞれ同一
    のライン上且つ同一の列上の任意の2つの隣接するピク
    セルの間の最大差を識別する比較器ブロック(COM
    P)を具備している一対の比較ラインと、 (c)前記マクロブロックの垂直複雑性に対し且つ水平
    複雑性に対して隣接するピクセルの間の2つの最大差の
    最も高いものを出力する比較器(>)と、 (d)前記比較器(>)によるデータ出力の和として前
    記マクロブロックの全複雑性インデックスを計算する処
    理ブロックと、から構成されている垂直及び水平複雑性
    インデックスの第二計算ライン、を有していることを特
    徴とするシステム。
JP11319144A 1998-11-17 1999-11-10 フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング Pending JP2000165884A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP98830689.0 1998-11-17
EP98830689A EP1003336A1 (en) 1998-11-17 1998-11-17 Video pictures compression and coding with decision step for field/frame and motion vectors DCT

Publications (1)

Publication Number Publication Date
JP2000165884A true JP2000165884A (ja) 2000-06-16

Family

ID=8236886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11319144A Pending JP2000165884A (ja) 1998-11-17 1999-11-10 フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング

Country Status (3)

Country Link
US (1) US6556718B1 (ja)
EP (1) EP1003336A1 (ja)
JP (1) JP2000165884A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016985A (ja) * 2006-07-04 2008-01-24 Victor Co Of Japan Ltd 動画像符号化装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760378B1 (en) 1999-06-30 2004-07-06 Realnetworks, Inc. System and method for generating video frames and correcting motion
JP3662171B2 (ja) * 2000-06-05 2005-06-22 三菱電機株式会社 符号化装置及び符号化方法
US20030058942A1 (en) * 2001-06-01 2003-03-27 Christian Hentschel Method of running an algorithm and a scalable programmable processing device
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
JP3548765B1 (ja) * 2003-03-11 2004-07-28 オムロン株式会社 最大電力追従制御装置
EP1585061A1 (en) * 2004-04-07 2005-10-12 Deutsche Thomson-Brandt Gmbh Block adaptive predictive coding
US8687710B2 (en) * 2005-05-17 2014-04-01 Broadcom Corporation Input filtering in a video encoder
GB2454240A (en) * 2007-11-01 2009-05-06 Tandberg Television Asa Picture adaptive frame or field (PAFF) coding for MPEG2 using temporal displacement and distortion thresholds
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN101867816A (zh) * 2010-05-10 2010-10-20 南京邮电大学 一种基于人眼视觉特性的立体视频非对称压缩编码方法
US8811756B2 (en) 2011-07-11 2014-08-19 International Business Machines Corporation Image compression
WO2020145805A1 (ko) * 2019-01-12 2020-07-16 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101313A (en) * 1992-06-29 2000-08-08 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016985A (ja) * 2006-07-04 2008-01-24 Victor Co Of Japan Ltd 動画像符号化装置
JP4561701B2 (ja) * 2006-07-04 2010-10-13 日本ビクター株式会社 動画像符号化装置

Also Published As

Publication number Publication date
EP1003336A1 (en) 2000-05-24
US6556718B1 (en) 2003-04-29

Similar Documents

Publication Publication Date Title
JP4082525B2 (ja) Dct領域で効率性を改善した動き予測を実行するシステムと方法
US8665960B2 (en) Real-time video coding/decoding
AU2015213340B2 (en) Video decoder, video encoder, video decoding method, and video encoding method
EP1262073B1 (en) Methods and apparatus for motion estimation using neighboring macroblocks
KR100391027B1 (ko) 비디오정보를예측부호화하는방법및장치
JP4122130B2 (ja) マルチコンポーネント圧縮エンコーダのモーションサーチ方法及び装置
JP4198206B2 (ja) 動き依存予測を使用したビデオ情報の圧縮方法と装置
US6639942B1 (en) Method and apparatus for estimating and controlling the number of bits
JP2000165884A (ja) フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング
US20070098067A1 (en) Method and apparatus for video encoding/decoding
CA2114401C (en) Motion vector processor for compressing video signal
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
WO1996041482A1 (en) Hybrid hierarchical/full-search mpeg encoder motion estimation
KR20060090749A (ko) 인터 또는 인트라 모드에서 비디오 화상을 코딩하기 위한방법 및 디바이스
US20060239347A1 (en) Method and system for scene change detection in a video encoder
JPH0974565A (ja) 映像信号符号化システム用コントローラ
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
EP1134981A1 (en) Automatic setting of optimal search window dimensions for motion estimation
JP2000083257A (ja) ビデオエンコ―ダの運動推定器における場面の変化の検知
JP4518599B2 (ja) 運動推定フェーズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコーダ
US6545727B1 (en) Method for recognizing a progressive or an interlaced content in a video sequence
JP2001036908A (ja) 動画像圧縮装置
JP3355964B2 (ja) 適応直交変換モード判定方法
JP2004072732A (ja) 符号化装置、コンピュータ読取可能なプログラム、符号化方法。
KR20000018311A (ko) 영상 시스템의 움직임 추정방법 및 장치