JP2004521533A - ビット・バジェットを使用してビデオ符号化のレート制御を行う方法 - Google Patents

ビット・バジェットを使用してビデオ符号化のレート制御を行う方法 Download PDF

Info

Publication number
JP2004521533A
JP2004521533A JP2002555533A JP2002555533A JP2004521533A JP 2004521533 A JP2004521533 A JP 2004521533A JP 2002555533 A JP2002555533 A JP 2002555533A JP 2002555533 A JP2002555533 A JP 2002555533A JP 2004521533 A JP2004521533 A JP 2004521533A
Authority
JP
Japan
Prior art keywords
video
used during
adjusting
video coding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002555533A
Other languages
English (en)
Other versions
JP2004521533A5 (ja
Inventor
アチャリャ,ティンク
キム,ヒュン・エム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2004521533A publication Critical patent/JP2004521533A/ja
Publication of JP2004521533A5 publication Critical patent/JP2004521533A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

ビット・バジェットを使用したビデオ符号化のレート制御の方法の実施形態を開示する。

Description

【関連出願】
【0001】
本特許出願は、Kimらにより 日に同時出願された「Method of Performing Video Encoding Rate Control」(弁理士整理番号第042390.P10264)という名称の米国特許出願第 号、およびKimらにより 日に同時出願された「Method of Performing Video Encoding Rate Control Using Motion Estimation」(弁理士整理番号第042390.P10265)という名称の米国特許出願第 号に関係する。これらはいずれも本発明の譲受人に譲渡され、参照により本明細書に組み込む。
【技術分野】
【0002】
本開示は、ビデオ画像の符号化のレート制御に関する。
【背景技術】
【0003】
よく知られているように、ビデオ符号化は、いくつかのあるいは様々な技術のいずれかによって行うことができる。しばしば使用される一般的な技術は、「MPEG」(Moving Pictures Expert Group)や「H.26x」の標準など、確立されているいくつかの標準に準拠している。これらにはITU−T「Video coding for low bit−rate communications」、ITU−T勧告H.263、バージョン1、1995年11月およびバージョン2、1998年1月、「Generic Coding of Moving Pictures and Associated Audio Information:Video」、ISO/IEC 13818−2:International Standard 1995、および「Coding of audio−visual Objects−Part 2:Visual Amendment 1;Visual extensions」、ISO/IEC 14496−2:Draft of January 6,2000などがある。それぞれ具体的にはH.263、H.263+、MPEG−2、およびMPEG−4と呼ばれており、以下一般的にMPEGおよびH.26xと呼ぶ。しかしこうした標準はビット・ストリームのシンタックスを決めており、したがって何らかの標準に準拠したデコーダを使用して、符号化されたビデオを復号することができる。これは、実施の観点から見て、エンコーダに比較的大きな柔軟性をもたらす。
【0004】
ビット・レート制御などのレート制御は、一般にビデオ・エンコーダに対して特定されていない問題の1つであり、したがって異なる様々な技術を使用する能力を提供することが可能となる。さらに、レート制御を適用することによって、いくつかの点でビデオの処理に影響を与えることができる。ある点では、レート制御を使用してバッファ制約を維持し、それによって、符号化中に、特にリアルタイムの用途に関連して、オーバーフローおよび/またはアンダーフローを防ぐことができる。同様に、別の点では、レート制御がピクチャの質に影響を与えることもある。
【0005】
レート制御に加えて、符号化中に様々なレベルの画像歪をもたらし、したがって性能に影響を与える可能性のある、符号化によって異なる他のパラメータがいくつかある。したがって時として、例えば総ビット・バジェット、適切な量の遅延を要することなど、様々な所望の制約も満たしながら許容可能なレベルまで画質を向上させるのが難しいことがある。
【発明の開示】
【発明が開示しようとする課題】
【0006】
許容できる、または好ましい解決法を提供するために、これらの問題のバランスをとるための技術がある。その例として、ラグランジュ最適化や動的プログラミングの使用などがある。しかし残念なことに、こうした技術は、しばしばまたは一般的に計算が複雑であり、したがってこうした手法によって消費される処理リソースの量の点から見て費用がかかる。さらに、ビデオの処理において一般に画像間または画像フレーム間に存在する依存性によって、時としてこうした問題への対処がさらに複雑になることがある。例えば、現在のフレームの歪みが、例えば直前のフレームの量子化パラメータの選択に少なくとも部分的に依存する可能性がある。したがって、以前または最新の手法ほど計算が複雑ではなく、しかし上記の複雑な問題の少なくとも一部のバランスをとる、ビデオ符号化時にレート制御を行う技術が望まれている。
【発明を実施するための最良の形態】
【0007】
本発明と見なされる主題は、本明細書の結びの部分で特に指摘し、別個に特許請求している。しかし本発明は、以下の詳細な説明を添付の図面と併せ読むことによって、構成およびオペレーションの方法に関して、その目的、特徴、および利点とともに最適に理解することができよう。
【0008】
以下の詳細な説明では、本発明を完全に理解できるようにするために数多くの特定の詳細を記載している。しかし、本発明をこれらの特定の詳細無しに実施できることは、当分野の技術者であれば理解されよう。他の場合では、本発明をわかりにくくしないために、よく知られている方法、手順、構成要素、および回路については詳しく説明していない。
【0009】
上述したように、ビデオ符号化のレート制御は、ビデオ・エンコーダの1つの特徴となり得る。本発明の範囲はこの点に関して限定されるものではないが、本発明によるビット・バジェットを使用してビデオ符号化のレート制御を行う方法の一実施形態では、ビデオ符号化中に使用するビデオ・ビット・レートは、少なくとも部分的に、符号化されるビデオ画像の選択部分のピクセル信号レベル値の変動の測定値に基づいて異なる。こうした手法を使用する1つの根本的理由は、ピクセル信号レベル値の範囲または変動が大きくなればそれだけ、異なるピクセル信号値レベルを表したり区別したりするために使用するビット数が大きくなり、この逆もまたそうであるためである。
【0010】
したがってこの特定の実施形態の場合、もちろん本発明の範囲はこの点に関して限定されるものではないが、マクロブロックのピクセル信号値レベルの変動と、ビデオ・エンコーダによって適用される関連するビデオ符号化のレート制御の間の関係を使用する。さらに、変動の測定に使用できる様々な技術があるが、また本発明の範囲は特定の技術に限定されるものではないが、この特定の実施形態では、動き推定に使用される絶対差の和(SAD)を使用して変動を測定することができる。
【0011】
【数1】
Figure 2004521533
式中、
(xo,yo)は現在のマクロブロックの左上隅の座標
C[x,y]は現在のマクロブロックの輝度の例
R[x,y]は再構築された前のフレームの輝度の例
Sは検索範囲:{(x,y):−16≦x,y<16}である。
よく知られているように、SAD値は、検索区域(S)内のすべてまたは一部の選択された検索ポイントで計算される。動きベクトル(MVx,MVy)は、検索区域内のすべてのSAD値の中の最小SADを導き出す検索ポイントの変位に基づいて選択される。当然、他の可能な変動の測定は本質的にSADの代用であることに注意されたい。例えば、SADの代わりに平均絶対差(mean absolute difference:MAD)を使用することができ、まったく同じでないにしてもほぼ同じ結果をもたらすはずである。したがってこうした他の代用の方策は、明らかに本発明の範囲内にある。
【0012】
この状況で、SADはいくつかの利点を提供する。SADは動き推定の一部としてすでに計算されており、したがって処理リソースの消費の観点から見て、オーバーヘッドがほどんどあるいはまったくない。さらに動き推定によって、ビデオ符号化のレート制御の観点から見て有用となり得る情報が提供される。例えば、動き推定は、予測モード決定(prediction mode decision)、動きベクトル選択、および変位したフレームの差分符号化忠実度(displaced frame difference coding fidelity)に関する情報を提供する。
【0013】
この状況で、量子化ステップ・サイズの変更の結果、具体的にはビデオ符号化レート、ここではビデオ符号化ビット・レートの調整が行われることに注意されたい。したがって、この場合も本発明の範囲はこの点に関して限定されるものではないが、この実施形態の場合、量子化ステップ・サイズの調整は、ビデオ符号化レートの変更または調整に使用するメカニズムである。このことは、少なくとも部分的に、量子化ステップ・サイズが大きいことで比較的粗い量子化が提供されるという観察から得られる。したがって使用する量子化ステップ・サイズが大きい場合、デコーダに送られる情報量は低減される。
【0014】
この状況で、少なくともこの特定の実施形態の場合、マクロブロックの符号化に使用するビット・カウントとマクロブロックのSADの間の関係を適切に特徴付けることが好ましい。したがって様々な値の量子化ステップ・サイズ・パラメータがある場合、ここでは1から31のこれらの特定のパラメータが様々な画像に関して計算される。当然、これは考えられる方法の1つにすぎず、いくつかの方法のうちのどれでも使用することができる。本発明の範囲は特定の方法を使用することに限定されない。したがって、さらに、この特定の実施形態では、以下でより詳しく説明するように、マイクロブロック(MB)をインター、イントラ、B、および4MVなどのタイプで分類する。この状況で、「イントラ」とは動きベクトル無しでコード化されたMB、「インター」とは順方向動きベクトルを使用するMB、「4MV」とは4つの順方向動きベクトルを使用するMB、およびBとは時間的冗長性を低減するために順方向動きベクトルおよび逆方向動きベクトルを使用するMBを指すが、この場合も本発明の範囲はこの点に関して限定されるものではない。また、これらのモードは、ビデオ符号化のレート制御に有用となり得る動き推定に基づいて情報を提供することに注意されたい。
【0015】
この特定の実施形態では、この場合も本発明の範囲はこの特定の方法を使用することに限定されないが、当然イントラ・マイクロブロックの場合を除いて、SADは、図1のブロック図に示す時点など、動き推定が行われた後に得られる。この特定の実施形態の場合、動き推定の結果を使用する各マイクロブロックのモードが得られるように図1のこの時点が選択される。
【0016】
この方法または手法を使用して、マイクロブロックSADとカウントの間の関係を各量子化パラメータまたはステップ・サイズごとに生成することができる。この特定の態様では、したがって量子化パラメータまたはステップサイズに基づいて31個の数字が生成されることになるが、このことは本発明の範囲内の代替の手法に対して制限を加えるものではない。次いでここでは、異なる量子化ステップごとに、SADを有するいくつかのマイクロブロックからビットの総数が決定される。同様に、上述したように、異なるマイクロブロックのタイプを使用することもできる。SADとビット・カウントの間の関係は、少なくともこの特定の態様では、少なくとも部分的にマイクロブロックのSADに依存するのに加えて、少なくとも部分的にマイクロブロックのタイプに依存するよう示すことができるが、上述したように、本発明の範囲はこの特定の態様に限定されるものではない。
【0017】
ビデオ符号化のレート制御での使用に適するようにデータを生成するために、もちろんこの場合も本発明の範囲はこの点に関して限定されるものではないが、マイクロブロックSADを量子化することが好ましい。例えば、他の実施形態の中には、量子化を適用することなくSADに関する上記の手法を使用できるものもある。それにもかかわらず、この特定の実施形態では、以下の量子化技術を使用する。当然、代わりに他のいくつかの適した技術であればとれでも使用することができ、こうした他の量子化技術のすべては、本発明の範囲内に含まれる。適用される特定の技術は重要ではないからである。しかし、この特定の実施形態または方法では、以下の量子化技術を使用する。
index=SAD/bin_size [2]
式中、bin_size=range/no_binsである。
式[2]で、「SAD」とはもちろんマイクロブロックSADである。同様に、「no_bins」は8である。所与の量子化ステップサイズの場合、この実施形態では、次いで特定の指数に基づいてビット・カウントを平均することが好ましい。これを、図2のプロットで、使用されるピクチャのタイプ、つまりこの態様ではタイプI、P、Bに応じて示している。こうしたピクチャのタイプは、MPEG準拠ビデオ・エンコーダとともに使用されるが、この場合も本発明の範囲はMPEGまたはMPEGへの準拠に限定されるものではないことに注意されたい。
【0018】
図2に示すプロットでは、SADとビット・カウントの間の関係を1つのグラフに示している。この図で、量子化ステップサイズは、それぞれのプロットに示す個別の曲線では一定に保たれているが、曲線群にわたって変化している。したがってこのデータをビデオ・エンコーダに使用して、マイクロブロックのSAD、および/またはマイクロブロックのタイプを考慮に入れるように、使用すべきビデオ・ビット・レートを変えることができる。より詳細には、ビットの総数およびマイクロブロックSADを量子化することによって、図2に示すプロットを、ビデオ符号化のレート制御を適用するためにビデオの符号化のプロセス中にビデオ・エンコーダによって格納され使用される参照テーブル(LUT)に変換することができる。もちろん本発明の範囲はこの点に関して限定されるものではないが、これらのプロットの場合、ピクチャ・タイプごとにビット・カウントに40ビンが使用されている。
【0019】
この場合も本発明の範囲はこの点に関して限定されるものではないが、こうした実施形態の場合、以下の方法を使用することができる。画像またはフレームに、最大許容量子化ステップサイズが使用される。次いで、参照テーブルから指数、ここでは量子化されたSAD、および量子化ステップサイズを使用して、フレームまたは画像についてレートあるいはビット・カウントが計算される。もちろん本発明の範囲はこの点に関して限定されるものではないが、ここでは、これはマイクロブロック・ベースで行われ、次いで画像またはフレームにわたって合計される。フレームについて計算されるレートまたはビット・カウントがビット・バジェットによって示されるレートよりも小さい場合は、量子化ステップサイズを低減して、バジェットを超過することなくよりよい性能を提供できることを示す。したがって、ビット・バジェットまたはレートを超過するまで、量子化ステップを低減し、上記のプロセスを繰り返す。ビット・バジェットまたはレートの超過は、量子化ステップサイズの低減が限界に到達したことを示す。
【0020】
この特定の実施形態では、IおよびPタイプのピクチャの場合は最大許容ステップサイズが20、Bタイプのピクチャの場合は28である。したがってこの実施形態の場合、以下の擬似コードを使用してこの実施形態を実現することができる。
Figure 2004521533
NおよびMは16で割った画像の高さおよび幅である。N×Mは、フレーム当りのマイクロブロックの数を表す。Sum_rateは、指数およびQp関係を使用して費やされた推定ビットを表す。Budgetとは現在のフレームに割り当てられたビットである。
【0021】
ビデオ・ビット・レートを調整するための最新の手法と比較して、本発明による一実施形態にはいくつかの利点がある。例えば、Q2と呼ばれる手法がMPEG−4とともに使用される。目的のビット・レートは、使用可能なビットと最後に符号化されたフレームとに基づいて計算される。最後のフレームが複雑で過度のビットを使用する場合、より多くのビットがこのフレームに割り当てられることになる。しかし、符号化用にはよりわずかのビットしかない場合、ビット・バジェットのためにより少ないビットが割り当てられることになる。したがって、加重平均によってこれら2つの要因の間の折り合いがつく。
【0022】
このフレームの目的のビット・レートが決定した後、それに合う量子化ステップサイズが選択される。これは、最小二乗統計モデリング技術(least squares statistical modeling technique)を使用して達成される。エンコーダ・レート歪み関数(encoder rate distortion function)は次のようにモデル化される。
【0023】
【数2】
Figure 2004521533
符号化ビット・カウントをRで示している。符号化の複雑度はSで示し、平均絶対差(MAD)を使用して測定される。量子化ステップサイズはパラメータQである。モデリング・パラメータX1およびX2は、前のデータから最小二乗を使用して推定される。次いで上記の式がQについて解かれる。この技術を使用して式を解くには、一般にデータの最高20までの前フレームを使用する。これは計算の複雑さを意味するとともに、重要なメモリが使用されることになる。さらに、シミュレーションの結果は、すべての画像に関して、Q2技術がビット・バジェットに合わない、つまり目的のレートに準拠していないことを示す。
【0024】
したがってこの特定の実施形態の1つの利点は、計算の複雑さが低減することである。この特定の実施形態の場合、例えば、1つのパラメータ、ビット・バジェット、またはレートが使用される。同様に、この場合も本発明の範囲はこの点に関して限定されるものではないが、この実施形態では、マクロブロックSADを使用する。上述したように、Iフレームを除いて、マクロブロック・モードを決定するのにSADが計算されるため、計算の複雑さの観点から見て、このことでかなりの量の追加のオーバーヘッドが生成されることはない。さらに、Iフレームの場合、この計算によって多少の追加のオーバーヘッドは生成されるが、消費される処理リソースの観点から見て重大ではない。同様に、以下の結果が示すように、すべての画像についてビット・バジェットに合う。
【0025】
図3は、本発明による一実施形態およびQ2の場合の様々な性能パラメータの間の比較を示す表である。このデータは、6つの画像シーケンスから生成されている。それぞれから150個のフレームが毎秒当り15フレームのフレーム・レートで使用されている。PまたはIフレーム間のBフレームの数は2、イントラ期間は15フレームである。表のデータは、性能品質の低下がわずかであり、よりよい場合もあることを示している。さらに、この実施形態は、より良い圧縮効率でバジェット内に留まっている。
【0026】
上記の実施形態は、いくつかの望ましい利点および特徴を提供する。例えば、上述したように、上記のレート制御メカニズムなどの態様によって計算の複雑さが低減する。したがって、結果は様々な要因に応じて異なることはあるが、こうした実施形態は、しばしば望まれている低電力の応用分野に適している。同様に、上記の実施形態は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組合せで実施することができる。さらに、本発明による実施形態によって、MPEGやH.26xなど、既知のビデオ標準との互換性が提供される。
【0027】
特定の実施形態について説明してきたが、本発明の範囲は特定の実施形態または実装形態に限定されないことは当然理解されよう。例えば、一実施形態がハードウェアに、別の実施形態がソフトウェアにあってもよい。同様に、一実施形態が例えばファームウェア、またはハードウェア、ソフトウェア、ファームウェアの任意の組合せにあってもよい。同様に、本発明の範囲はこの点に関して限定されるものではないが、一実施形態は、記憶媒体などの物品を備えていてもよい。例えばCD−ROM、ディスクなどのこうした記憶媒体に、例えば上述した参照テーブルを格納することができる。同様に、記憶媒体に、コンピュータ・システムやプラットフォーム、画像システムなどのシステムによって実行されたときに、例えば上述したように、ビット・バジェットを使用してビデオ符号化のレート制御を行う方法の一実施形態など、本発明による方法の一実施形態を実行することができる命令を格納することができる。例えば、ビデオ処理プラットフォームや画像システムは、ビデオ・エンコーダ、ビデオ入力デバイス、およびメモリを含むことができる。ビデオ・エンコーダは、例えば上記の実施形態の1つを使用することによって、ビデオ符号化中に使用されるビデオ符号化レートを調整するメカニズムを含むことができる。さらに、本発明の実施形態は、ビデオ・エンコーダまたはビデオ符号化に限定されない。例えば、これもまた上述したように、ビデオが本発明による一実施形態を使用して符号化されたビデオを復号することもできる。
【0028】
本発明のいくつかの特徴を本明細書で示し説明してきたが、当分野の技術者であれば多くの修正、代用、変更、および均等物を思い付くであろう。したがって、頭記の特許請求の範囲は、本発明の真の意図内にある限り、こうしたすべての修正、および変更をカバーするものであると理解されたい。
【図面の簡単な説明】
【0029】
【図1】本発明によるビット・バジェットを使用してビデオ符号化のレート制御を行う方法の一実施形態を使用できるビデオ・エンコーダを示すブロック図である。
【図2】特定の数の量子化ビンに関する様々なピクチャ・タイプのマイクロブロックSADとビット・カウントの間の関係を示す一連のプロットしたグラフである。
【図3】Q2制御手法と、本発明によるビット・バジェットを使用してビデオ符号化のレート制御を行う方法の一実施形態との間の性能パラメータの比較を示す表である。

Claims (46)

  1. ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整すること
    を含むビデオ符号化を行う方法。
  2. ビデオ画像の選択された部分がマイクロブロックを備える請求項1に記載の方法。
  3. ビデオ符号化レートが、少なくとも部分的にマイクロブロックのタイプにも基づいて調整される請求項2に記載の方法。
  4. タイプがイントラ、インター、4MV、およびBの少なくとも1つを含む請求項3に記載の方法。
  5. 変動の測定値が絶対差の和(SAD)を含む請求項1に記載の方法。
  6. ビデオ符号化中に使用される量子化ステップ・サイズを調整することによってビデオ符号化レートが調整される請求項1に記載の方法。
  7. ビデオ画像の選択された部分がマイクロブロックを備える請求項6に記載の方法。
  8. ビデオ符号化レートが、少なくとも部分的にマイクロブロックのタイプにも基づいてさらに調整される請求項7に記載の方法。
  9. タイプがイントラ、インター、4MV、およびBの少なくとも1つを含む請求項8に記載の方法。
  10. 実行されるビデオ符号化が実質的にMPEGまたはH.26x準拠である請求項1に記載の方法。
  11. ビデオ・エンコーダ内に実装され、ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整するメカニズム
    を備えるビデオ符号化を行う機能を有するデバイス。
  12. 前記ビデオ・エンコーダが、少なくとも1つの集積回路のシリコンに実装されている請求項11に記載のデバイス。
  13. 前記ビデオ・エンコーダのシリコン実装がマイクロコードを備える請求項12に記載のデバイス。
  14. 前記ビデオ・エンコーダのシリコン実装がファームウェアを備える請求項12に記載のデバイス。
  15. 前記ビデオ・エンコーダがプロセッサ上で実行可能なソフトウェアで実装されている請求項11に記載のデバイス。
  16. 前記プロセッサがマイクロプロセッサを備える請求項15に記載のデバイス。
  17. 実行されたときに、
    ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整することによって
    ビデオ符号化を実行する命令を格納した記憶媒体を備える物品。
  18. 前記媒体が、実行されたときに、マイクロブロックを備えるビデオ画像の選択された部分を符号化する命令をさらに格納している請求項17に記載の物品。
  19. 前記媒体が、実行されたときに、やはり少なくとも部分的にマイクロブロックのタイプに基づいてビデオ符号化レートを調整する命令をさらに格納している請求項18に記載の物品。
  20. 前記媒体が、実行されたときに、SADを含む変動の測定値をもたらす命令をさらに格納している請求項17に記載の物品。
  21. 前記媒体が、実行されたときに、ビデオ符号化中に使用される量子化ステップ・サイズを調整することによってビデオ符号化レートを調整する命令をさらに格納している請求項17に記載の物品。
  22. ビデオ・エンコーダと、
    前記ビデオ・エンコーダに結合されているビデオ入力デバイスと、
    メモリと
    を備え、
    前記メモリが前記ビデオ・エンコーダによって符号化されるビデオを格納するために前記ビデオ・エンコーダに結合されており、
    前記ビデオ・エンコーダが、ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整するメカニズムを含む
    ビデオ処理プラットフォーム。
  23. ビデオ画像の選択された部分がマイクロブロックを備える請求項22に記載のシステム。
  24. ビデオ符号化中に使用されるビデオ符号化レートを調整するメカニズムが、少なくとも部分的にマイクロブロックのタイプにも基づく請求項23に記載のシステム。
  25. 変動の測定値がSADを含む請求項22に記載のシステム。
  26. ビデオ符号化中に使用されるビデオ符号化レートを調整するメカニズムが、ビデオ符号化中に使用される量子化ステップ・サイズを調整することによって調整される請求項22に記載のシステム。
  27. ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整することによって符号化されたビデオを復号すること
    を含むビデオ復号を行う方法。
  28. ビデオ画像の選択された部分がマイクロブロックを備える請求項27に記載の方法。
  29. ビデオ符号化レートが、少なくとも部分的にマイクロブロックのタイプにも基づいて調整される請求項28に記載の方法。
  30. 変動の測定値がSADを含む請求項27に記載の方法。
  31. ビデオ符号化中に使用される量子化ステップ・サイズを調整することによってビデオ符号化レートが調整される請求項27に記載の方法。
  32. ビデオ画像の選択された部分がマイクロブロックを備える請求項31に記載の方法。
  33. ビデオ符号化レートが、少なくとも部分的にマイクロブロックのタイプにも基づいてさらに調整される請求項32に記載の方法。
  34. ビデオ・デコーダと、
    前記ビデオ・デコーダに結合されているビデオ出力デバイスと、
    メモリと
    を備え、
    前記メモリがビデオ・エンコーダによってすでに符号化されているビデオを格納するために前記ビデオ・デコーダに結合されており、前記ビデオ・エンコーダが、ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整するメカニズムを含んでいる
    ビデオ処理プラットフォーム。
  35. ビデオ画像の選択された部分がマイクロブロックを備える請求項34に記載のシステム。
  36. ビデオ符号化中に使用されるビデオ符号化レートを調整するメカニズムが、少なくとも部分的にマイクロブロックのタイプにも基づく請求項34に記載のシステム。
  37. 変動の測定値がSADを含む請求項34に記載のシステム。
  38. ビデオ符号化中に使用されるビデオ符号化レートを調整するメカニズムが、ビデオ符号化中に使用される量子化ステップ・サイズを調整することによって調整される請求項34に記載のシステム。
  39. 実行されたときに、
    ビデオ符号化中に使用されるビデオ符号化レートを、少なくとも部分的に、符号化されるビデオ画像の選択された部分のピクセル値の変動の測定値とビット・バジェットに基づいて調整することによって符号化されたビデオを復号することによって
    ビデオ復号を実行する命令を格納している記憶媒体を備える物品。
  40. 前記媒体が、実行されたときに、マイクロブロックを備えるビデオ画像の選択された部分を符号化する命令をさらに格納している請求項39に記載の物品。
  41. 前記媒体が、実行されたときに、やはり少なくとも部分的にマイクロブロックのタイプに基づいてビデオ符号化レートを調整する命令をさらに格納している請求項40に記載の物品。
  42. 前記媒体が、実行されたときに、SADを含む変動の測定値をもたらす命令をさらに格納している請求項39に記載の物品。
  43. 前記媒体が、実行されたときに、ビデオ符号化中に使用される量子化ステップ・サイズを調整することによってビデオ符号化レートを調整する命令をさらに格納している請求項39に記載の物品。
  44. ビット数と、様々な量子化ステップ・サイズの場合の複数のビデオ画像のピクセル信号値の変動の間の関係を含む参照テーブルを格納している記憶媒体を備え、
    前記記憶媒体が、参照テーブルおよびビット・バジェットを使用してビデオ符号化のレート制御を行う命令をさらに格納している
    物品。
  45. 命令がプロセッサによって実行されたときにビデオ符号化のレート制御の実行に参照テーブルが使用される請求項44に記載の物品。
  46. ピクセル信号値の変動がSADを含む請求項45に記載の物品。
JP2002555533A 2001-01-03 2001-12-27 ビット・バジェットを使用してビデオ符号化のレート制御を行う方法 Pending JP2004521533A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/754,682 US20020122482A1 (en) 2001-01-03 2001-01-03 Method of performing video encoding rate control using bit budget
PCT/US2001/049497 WO2002054772A2 (en) 2001-01-03 2001-12-27 Method of performing video encoding rate control using bit budget

Publications (2)

Publication Number Publication Date
JP2004521533A true JP2004521533A (ja) 2004-07-15
JP2004521533A5 JP2004521533A5 (ja) 2005-12-22

Family

ID=25035853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002555533A Pending JP2004521533A (ja) 2001-01-03 2001-12-27 ビット・バジェットを使用してビデオ符号化のレート制御を行う方法

Country Status (8)

Country Link
US (1) US20020122482A1 (ja)
EP (1) EP1350394A2 (ja)
JP (1) JP2004521533A (ja)
KR (1) KR100544219B1 (ja)
CN (1) CN1223199C (ja)
AU (1) AU2002239668A1 (ja)
TW (1) TW571589B (ja)
WO (1) WO2002054772A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636167B1 (en) * 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US6563439B1 (en) * 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US20030152151A1 (en) * 2002-02-14 2003-08-14 Chao-Ho Hsieh Rate control method for real-time video communication by using a dynamic rate table
JP2005184419A (ja) * 2003-12-19 2005-07-07 Hitachi Ltd 映像信号符号化装置および映像信号記録装置
US7697608B2 (en) * 2004-02-03 2010-04-13 Sony Corporation Scalable MPEG video/macro block rate control
US20050169369A1 (en) * 2004-02-03 2005-08-04 Sony Corporation Scalable MPEG video/macro block rate control
US7606427B2 (en) * 2004-07-08 2009-10-20 Qualcomm Incorporated Efficient rate control techniques for video encoding
US9479794B2 (en) 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
EP1830573A1 (en) * 2006-03-02 2007-09-05 Thomson Licensing Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
US8077775B2 (en) * 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
WO2007143876A1 (en) * 2006-06-09 2007-12-21 Thomson Licensing Method and apparatus for adaptively determining a bit budget for encoding video pictures
US9883202B2 (en) * 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
KR101074870B1 (ko) * 2007-03-14 2011-10-19 니폰덴신뎅와 가부시키가이샤 부호량 추정 방법, 장치, 그 프로그램 및 기록매체
EP2124455A4 (en) * 2007-03-14 2010-08-11 Nippon Telegraph & Telephone METHOD AND DEVICE FOR MOTION VEHICLE SEARCH, PROGRAM THEREFOR AND RECORDING MEDIUM WITH THIS PROGRAM
KR101083383B1 (ko) * 2007-03-14 2011-11-14 니폰덴신뎅와 가부시키가이샤 부호화 비트 레이트 제어 방법 및 장치, 그 프로그램 및 프로그램을 기록한 기록매체
EP3264772B1 (en) * 2007-03-14 2022-09-07 Nippon Telegraph And Telephone Corporation Quantization control method and apparatus, program therefor, and storage medium which stores the program
US9497241B2 (en) 2011-12-23 2016-11-15 Intel Corporation Content adaptive high precision macroblock rate control
US9398302B2 (en) 2013-03-08 2016-07-19 Mediatek Inc. Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus
US10027968B2 (en) * 2015-06-12 2018-07-17 Sony Corporation Data-charge phase data compression tool
EP3396954A1 (en) 2017-04-24 2018-10-31 Axis AB Video camera and method for controlling output bitrate of a video encoder
EP3396961A1 (en) 2017-04-24 2018-10-31 Axis AB Method and rate controller for controlling output bitrate of a video encoder

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06502285A (ja) * 1990-11-16 1994-03-10 シーメンス アクチエンゲゼルシャフト ディジタル画像伝送におけるデータ圧縮のための適応形量子化方法
US5926208A (en) * 1992-02-19 1999-07-20 Noonen; Michael Video compression and decompression arrangement having reconfigurable camera and low-bandwidth transmission capability
DE4221259A1 (de) * 1992-06-26 1994-01-05 Hertz Inst Heinrich Verfahren zur Aufbereitung von digitalen Farbfernsehsignalen für die Magnetband-Aufzeichnung
US5610657A (en) * 1993-09-14 1997-03-11 Envistech Inc. Video compression using an iterative error data coding method
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US5596376A (en) * 1995-02-16 1997-01-21 C-Cube Microsystems, Inc. Structure and method for a multistandard video encoder including an addressing scheme supporting two banks of memory
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US5926222A (en) * 1995-09-28 1999-07-20 Intel Corporation Bitrate estimator for selecting quantization levels for image encoding
US5832234A (en) * 1995-09-29 1998-11-03 Intel Corporation Encoding images using block-based macroblock-level statistics
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
US6259739B1 (en) * 1996-11-26 2001-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture variable bit rate coding apparatus, moving picture variable bit rate coding method, and recording medium for moving picture variable bit rate coding program
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6097757A (en) * 1998-01-16 2000-08-01 International Business Machines Corporation Real-time variable bit rate encoding of video sequence employing statistics

Also Published As

Publication number Publication date
EP1350394A2 (en) 2003-10-08
KR100544219B1 (ko) 2006-01-23
CN1502207A (zh) 2004-06-02
WO2002054772A2 (en) 2002-07-11
WO2002054772A3 (en) 2002-09-06
KR20030065588A (ko) 2003-08-06
US20020122482A1 (en) 2002-09-05
AU2002239668A1 (en) 2002-07-16
CN1223199C (zh) 2005-10-12
TW571589B (en) 2004-01-11

Similar Documents

Publication Publication Date Title
JP2004521533A (ja) ビット・バジェットを使用してビデオ符号化のレート制御を行う方法
US6192081B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
EP1372113B1 (en) Variable bit rate video encoding method and device
CN1910934B (zh) 自适应速率控制编码器
US5969764A (en) Adaptive video coding method
US7133447B2 (en) Motion estimation method using adaptive mode decision
US20060140267A1 (en) Method and apparatus for providing intra coding frame bit budget
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
EP2027727A1 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
CN103402099A (zh) 视频编码的图片级速率控制
JP4221655B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
AU4875899A (en) Encoding apparatus and method
US20020085633A1 (en) Method of performing video encoding rate control
JP2000197049A (ja) 動画像可変ビットレート符号化装置および方法
US7965768B2 (en) Video signal encoding apparatus and computer readable medium with quantization control
US20030123539A1 (en) Method and apparatus for video bit-rate control
JP4532607B2 (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
WO2004070950A2 (en) Device for encoding a video data stream
JP2004328150A (ja) 動画像符号化装置及び方法
Li et al. An improved ROI-based rate control algorithm for H. 264/AVC
US20020118746A1 (en) Method of performing video encoding rate control using motion estimation
JP3211778B2 (ja) 改良された適応性のあるビデオ符号化方法
JP4325536B2 (ja) 動画像符号化装置及び方法
JP2004072143A (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP4273385B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070213