JP2010541469A - ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置 - Google Patents

ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置 Download PDF

Info

Publication number
JP2010541469A
JP2010541469A JP2010527934A JP2010527934A JP2010541469A JP 2010541469 A JP2010541469 A JP 2010541469A JP 2010527934 A JP2010527934 A JP 2010527934A JP 2010527934 A JP2010527934 A JP 2010527934A JP 2010541469 A JP2010541469 A JP 2010541469A
Authority
JP
Japan
Prior art keywords
rate control
rate
bitstream
rounding offset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010527934A
Other languages
English (en)
Other versions
JP5411144B2 (ja
Inventor
リウ,ヤリ
ルー,シャオアン
ゴミラ,クリスティーナ
シュイ,チエヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010541469A publication Critical patent/JP2010541469A/ja
Application granted granted Critical
Publication of JP5411144B2 publication Critical patent/JP5411144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置が提供される。装置はレート制御を使って画像データをエンコードするビデオ・エンコーダを含む。前記レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含む。前記丸めオフセットは、エンコードの間、非一定であることができる。

Description

〈関連出願への相互参照〉
本願は、2007年10月5日に出願され、ここにその全体において参照によって組み込まれる米国仮出願第60/977,926号の利益を主張するものである。
〈技術分野〉
本願の原理は、概括的にはビデオ・エンコードに、より詳細には、ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置に関する。
たいていのビデオ符号化アプリケーションは、所与の目標ビットレートで入力ビデオを圧縮するようエンコーダを制約する。これを達成するために、エンコーダはレート制御システムを使う。レート制御システムは、入力ビデオ源内の各ピクチャーに対してある数のビットを割り当て、割り当てられたビット数に合うようエンコード・パラメータを調整する。レート制御システムのパフォーマンスは、目標ビットレートを満たす精度および圧縮されたビデオの視覚的品質によって測られる。国際標準化機関/国際電気標準会議(ISO/IEC)動画像専門家グループ2規格(以下、「MPEG-2規格」)、ISO/IEC動画像専門家グループ4(MPEG-4)パート10の先進ビデオ符号化(AVC)規格/国際電気通信連合・電気通信部門(ITU-T)H.264勧告(以下、「MPEG-4 AVC規格」)および映画テレビ技術者協会(SMPTE)ビデオ・コーデック1規格(以下、「VC-1規格」)のようなビデオ符号化規格においては、量子化きざみサイズ(quantization step size)、丸めオフセット(rounding offset)および量子化行列(quantization matrix)といった、ビットレートに影響するいくつかの量子化パラメータがある。
例示的な目的のため、MPEG-4 AVC規格の量子化プロセスについてここで論じる。数学的には、エンコーダにおいて、変換された変数は次のように量子化される:
Figure 2010541469
ここで、Wは変換された係数であり、量子化レベルZに量子化される。ここで、qは量子化きざみサイズであり、sは丸めオフセットである。関数└・┘は値を直近の整数に丸め、sgn(・)は信号の符号を返す。上記量子化行列が適用されるとき、係数は、エンコーダにおける量子化プロセスの前にまずスケーリングされる。0に量子化されるWの範囲は不感帯〔デッドゾーン〕と称される。この特定の場合には、不感帯はΔ=2×(1−s)×qである。デコーダでは、量子化レベルZは信号W′に再構成される。これは逆量子化と呼ばれ、数学的には
W′=q・Z (2)
と記述される。
レート制御アルゴリズムは、目標ビット数を得るために量子化パラメータを調整する。レート制御アルゴリズムは一般に、何らかの時間区間について使われるビット数がこの時間区間についての割り当てられたビット数に近いか実質的に等しいときに精確であると考えられる。レート制御精度を測定するために使われる特定の時間区間は、アプリケーションに依存して定義される。いくつかのアプリケーションでは、ビットレートはピクチャー・レベルで精確であることが好ましい。放送のような他のアプリケーションでは、ビットレートは、チャンネル帯域幅制約のため、数フレームで精確であることが好ましい。DVDオーサリングのような他のいくつかのアプリケーションでは、ビットレート精度はしばしば、シーケンス全体について測定され、ムービー全体によって消費されるビット数が要求を満たすときに精確であると考えられる。
既存のレート制御アルゴリズムは、丸めオフセットおよび量子化行列が一定であることを前提にしており、量子化きざみサイズのみを調節する。量子化きざみサイズは有限個の選択肢しかない。それらの選択肢は量子化インデックスによって表され、量子化インデックスはエンコードされたビットストリームに埋め込まれてビデオを再構成するためにデコーダに伝達される。限られた個数の量子化きざみサイズの選択肢では、既存のレート制御アルゴリズムは品質の損失なくしては非常に精確な制御を達成することはほとんどできない。レート制御アルゴリズムに起因する品質の損失はしばしば、ピクチャー内でのまたは二枚以上のピクチャーにわたる品質の非一貫性として見られる。より低品質のピクチャーは、表示されるピクチャーの一部を歪ませる目に見えるアーチファクトを含むことがありうる。
ピクチャーのためのレート制御精度を改善するために、既存のアルゴリズムにおける一般的なアプローチは、マクロブロック・レベル(MBレベル)のレート制御を適用することである。従来技術では、ρ領域レート制御法がこのアプローチを例示するために使われてきた。ρ領域レート制御法は、ρをエンコードされた領域についての量子化された変換された係数の間での0係数の割合、Rをその領域をエンコードするために使われるビット数として、ρとRの間の線形関係を想定する。数学的には、このことは次の線形レート・モデルによって表されうる。
R(ρ)=θ(1−ρ)+Rc (3)
ここで、Rcは領域をエンコードするために使われる非テクスチャ・ビットの数であり、θは定数である。
ρが量子化きざみサイズqとともに単調に増加することを注意しておく。このことは、両者の間に一対一の対応があることを含意する。したがって、目標ビット数R、推定されるパラメータθおよびRcが与えられると、ρ領域レート制御法はρの値を得、したがって、一対一のρ‐qマッピングに基づいて量子化きざみサイズqを得る。
しばしば、上のようにして計算された量子化きざみサイズqは、エンコーダにおける量子化インデックスによって表せる限られた数の量子化きざみサイズのうちにはいらないことがありうる。一つのアプローチは、ピクチャー内のマクロブロックにq′のまわりの量子化きざみサイズ、qに最も近く量子化インデックスによって表せる量子化きざみサイズを使わせることである。さらに、ピクチャーによって使用される平均量子化きざみサイズは約qである。ある実施形態では、マクロブロックは量子化きざみサイズ{q′−Δ1,q′,q′+Δ2}のうちから選択できる。もう一つのアプローチは、各マクロブロックがエンコードされたあとでθおよびRcを更新し、各マクロブロックについてqを計算することである。
TMN8と称されるもう一つのポピュラーなレート制御アルゴリズムでは、量子化きざみサイズqはまずあるピクチャーについて計算される。エンコーダはqを用いて諸マクロブロックをエンコードすることを始める。その際、より多くのマクロブロックがエンコードされていくにつれ、レート制御モデル・パラメータは更新され、量子化きざみサイズはマクロブロック・ベースで更新される。
MBレベルの調整の一つの問題は、量子化きざみサイズがマクロブロック(macroblock)間で変動するというこである。場合によっては、量子化パラメータ間の差が、ピクチャー内での品質の非一貫性を引き起こしうる。
図1に目を転じると、ビデオ・エンコードのためのレート制御方法が、参照符号100によって概括的に示されている。
方法100は、機能ブロック110に制御を渡す開始ブロック105を含む。機能ブロック110はエンコード・セットアップを実行するおよび/または他の仕方でこれに関わり、機能ブロック115に制御を渡す。機能ブロック115はレート制御パラメータを初期化し、制御をループ境界ブロック120に渡す。ループ境界ブロック120は、変数iを使って、処理されている現在ピクチャー内の各ブロックにわたるループを実行し、ここで、i=1,…,ピクチャー内のマクロブロック数(#)であり、制御を機能ブロック125に渡す。機能ブロック125はマクロブロックiについての量子化きざみサイズqiを計算し、制御を機能ブロック130に渡す。機能ブロック130は量子化きざみサイズqiでマクロブロックiをエンコードし、制御を機能ブロック135に渡す。機能ブロック135はレート制御モデル・パラメータを更新し(たとえば前にエンコードされたマクロブロックに基づいて)、制御をループ境界ブロック140に渡す。該ループ境界ブロックはループを終わらせ、制御を終了ブロック199に渡す。
図1の方法100では、方法100を適用する対象となるエンコード・プロセスを通じて丸めオフセット・パラメータが一定であることは認識しておくべきである。
さらに、機能ブロック110が任意的にオペレーターの介助を含んでいてもよいことも認識しておくべきである。さらに、機能ブロック110に対応するエンコーダ・セットアップは、目標ビットレートのセットアップおよびエンコード・プロセスに関わるパラメータの任意の集合の指定を含んでもよい。
さらに、機能ブロック125によって実行されるマクロブロックiについての量子化きざみサイズqiのの計算は、たとえばρ領域レート・モデルまたはTMN8レート・モデルに基づいていてもよいことは認識しておくべきである。
全マクロブロックによって使用される量子化きざみサイズ{qii=1,…,MB数は、有意に変動することがありえ、ピクチャー内での品質の非一貫性を引き起こしうる。ピクチャー内でのより一貫した品質を得るために、エンコーダは量子化きざみサイズのダイナミックレンジを制限することを選ぶことができる。結果として、ピクチャーが実際に使うビット数は、目標ビット数から有意に異なることがありうる。
こうして、上記のように、従来技術のレート制御方法は、レート制御の精確さを欠くか、品質の非一貫性を作り出すものであった。
従来技術のこれらおよびその他の欠点および不都合な点が、本願の原理によって対処される。本願の原理は、ビデオ・エンコードおよびデコードにおけるレート制御の精確さのための方法および装置に向けられる。
本願の原理のある側面によれば、装置が提供される。本装置は、レート制御を使って画像データをエンコードするためのビデオ・エンコーダを含む。レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含む。丸めオフセットは、エンコードの間、非一定であることができる。
本願の原理の別の側面によれば、方法が提供される。本方法は、レート制御を使って画像データをエンコードすることを含み、ここで、レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含む。丸めオフセットは、エンコードの間、非一定であることができる。
本願の原理のさらに別の側面によれば、装置が提供される。本装置は、レート制御を使ってビットストリーム中の画像データをデコードするためのビデオ・デコーダを含む。レート制御は、量子化きざみサイズおよび丸めオフセットに関わる。丸めオフセットは、デコードの間、非一定であることができ、ビットストリーム中およびビットストリームに関するのうちの少なくとも一方である情報に基づいて推定されるか、ビットストリームから抽出されるかの一方である。
本願の原理のさらに別の側面によれば、方法が提供される。本方法は、レート制御を使ってビットストリーム中の画像データをデコードすることを含む。レート制御は、量子化きざみサイズおよび丸めオフセットに関わる。丸めオフセットは、デコード段階の間、非一定であることができ、ビットストリーム中およびビットストリームに関するのうちの少なくとも一方である情報に基づいて推定されるか、ビットストリームから抽出されるかの一方である。
本願の原理のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき例示的な実施形態の以下の詳細な記述から明白となるであろう。
本願の原理は、以下の例示的な図面に従ってよりよく理解されうる。
従来技術に基づく、ビデオ・エンコーダにおけるレート制御方法の流れ図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・エンコーダのブロック図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・デコーダのブロック図である。 本願の原理のある実施形態に基づく、マルチパス・ビデオ・エンコーダにおける、非一定な丸めオフセットを含む例示的なレート制御方法の流れ図である。 本願の原理のある実施形態に基づく、マルチパス・ビデオ・エンコーダにおける、非一定な丸めオフセットを含むもう一つの例示的なレート制御方法の流れ図である。 本願の原理のある実施形態に基づく、シングルパス・ビデオ・エンコーダにおける、非一定な丸めオフセットを含む例示的なレート制御方法の流れ図である。 本願の原理のある実施形態に基づく、トランスコーダにおける例示的なレート制御方法の流れ図である。 本願の原理のある実施形態に基づく、画像データをデコードするための例示的な方法の流れ図である。 本願の原理のある実施形態に基づく、画像データをデコードするためのもう一つの例示的な方法の流れ図である。
本願の原理は、ビデオ・エンコードおよびデコードにおけるレート制御の精確さのための方法および装置に向けられている。
本記述は、本願の原理を例解する。よって、本稿に明示的に記述または図示されていなくても本願の原理を具現し、その精神および範囲内に含まれるさまざまな構成を当業者が考案できるであろうことは理解されるであろう。
本稿で記載されるあらゆる例および条件付きの言辞は、読者が、本願の原理および当該技術を進歩させる発明者によって寄与される概念を理解するのを支援するという教育目的のために意図されているのであって、そのような個別的に記載されている例および条件に限定することなく解釈されるものである。
さらに、本願の原理の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。
よって、たとえば、当業者は、本稿に呈示されるブロック図が本願の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。
図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)および不揮発性記憶装置を含みうる。
通常のものおよび/またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。
本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばa)その機能を実行する回路素子の組み合わせまたはb)任意の形の、したがってファームウェア、マイクロコードなどを含む、当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本願の原理は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本稿で示されている手段と等価であると見なされる。
明細書における本願の原理の「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。
本稿での用法では、画像データという句は、静止画像データならびにフレーム、フィールド、ピクチャー、画像ブロック、画像サブブロックなどを含む動画像データのうちの任意のものを指しうる。
たとえば「Aおよび/またはB」や「AおよびBのうちの少なくとも一つ」という場合における、「および/または」や「少なくとも一つ」という用語の使用は、最初に挙げられたオプション(A)のみの選択、または二番目に挙げられたオプション(B)のみの選択、または両方のオプション(AおよびB)の選択を包含することが意図されていることは理解しておくべきである。さらなる例として、「A、Bおよび/またはC」や「A、BおよびCのうちの少なくとも一つ」の場合において、そのような表現は、最初に挙げられたオプション(A)のみの選択、または二番目に挙げられたオプション(B)のみの選択、または三番目に挙げられたオプション(C)のみの選択、または最初および二番目に挙げられたオプション(AおよびB)のみの選択、または最初および三番目に挙げられたオプション(AおよびC)のみの選択、または二番目および三番目に挙げられたオプション(BおよびC)のみの選択、または三つすべてのオプション(AおよびBおよびC)の選択を包含することが意図されている。当技術分野および関連する技術分野の当業者には容易に明白となるように、このことは列挙される項目がいくつの場合についても拡張できる。
さらに、本願の原理の一つまたは複数の実施形態が本項ではMPEG-4 AVC規格に関して記述されているが、本願の原理はこの規格のみに限定されるものではなく、本願の原理の精神を維持しながら、MPEG-4 AVC規格の拡張を含め、他のビデオ符号化規格、勧告およびその拡張に関して利用されうることは理解しておくべきである。たとえば、本願の原理は、これに限られないが、ITU-T H.263勧告(以下では「H.263勧告」)、MPEG-2規格、MPEG-4 AVC規格、VC-1規格などに関して使用されうる。
上述したように、本願の原理は、ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置に向けられている。
図2に目を転じると、本願の原理が適用されうる例示的なビデオ・エンコーダが、参照符号200によって概括的に示されている。
エンコーダ200は、組み合わせ器285の第一の非反転入力と信号通信上接続されている出力をもつフレーム順序付けバッファ210を含む。組み合わせ器285の出力は、変換および量子化器225の入力と信号通信上接続されている。変換および量子化器225の出力は、エントロピー符号化器245の第一の入力および逆変換および量子化器250の入力と信号通信上接続されている。エントロピー符号化器245の出力は組み合わせ器290の第一の非反転入力と信号通信上接続されている。組み合わせ器の出力は、出力バッファ235の入力と信号通信上接続されている。出力バッファ235の第一の出力は、レート制御器205の入力と信号通信上接続されている。
補足向上情報(SEI: Supplemental Enhancement Information)挿入器230の出力は、組み合わせ器290の第二の入力と信号通信上接続されている。
逆変換および量子化器250の出力は、組み合わせ器227の第一の非反転入力と信号通信上接続されている。組み合わせ器227の出力は、イントラ予測器260の入力およびブロック解除(deblocking)フィルタ265の入力と信号通信上接続されている。
ブロック解除フィルタ265の出力は、参照ピクチャー・バッファ280の入力と信号通信上接続されている。参照ピクチャー・バッファ280の出力は、動き推定器275の入力および動き補償器270の第一の入力と信号通信上接続されている。
動き推定器275の第一の出力は、動き補償器270の第二の入力と信号通信上接続されている。動き推定器275の第二の出力は、エントロピー符号化器245の第二の入力と信号通信上接続されている。
動き補償器270の出力は、スイッチ297の第一の入力と信号通信上接続されている。イントラ予測器260の出力は、スイッチ297の第二の入力と信号通信上接続されている。マクロブロック型判定モジュール220の出力は、スイッチ297の第三の入力と信号通信上接続されている。スイッチ297の出力は、組み合わせ器285の第二の非反転入力および組み合わせ器227の第二の非反転入力と信号通信上接続されている。
レート制御器205の出力は、ピクチャー型判定モジュール215の第一の入力およびシーケンス・パラメータ・セット(SPS: sequence parameter set)およびピクチャー・パラメータ・セット(PPS: picture parameter set)挿入器240の入力と信号通信上接続されている。SPSおよびPPS挿入器240の出力は、組み合わせ器290の第三の入力と信号通信上接続されている。
ピクチャー型判定モジュール215の第一の出力は、マクロブロック型判定モジュール220の入力と信号通信上接続されている。ピクチャー型判定モジュール215の第二の出力は、フレーム順序付けバッファ210の第二の入力と信号通信上接続されている。
フレーム順序付けバッファ210の第一の入力は、入力ピクチャー201を受け取るために、エンコーダ200の入力として利用可能である。出力バッファ235の第一の出力は、ビットストリームを出力するために、エンコーダ200の出力として利用可能である。
図3に目を転じると、本願の原理が適用されうる例示的なビデオ・デコーダが参照符号300によって概括的に示されている。
ビデオ・デコーダ300は、エントロピー・デコーダ345の第一の入力と信号通信上接続されている出力をもつ入力バッファ310を含む。エントロピー・デコーダ345の第一の出力は、逆変換および逆量子化器350の第一の入力と信号通信上接続されている。逆変換および逆量子化器350の出力は、組み合わせ器325の第二の非反転入力と信号通信上接続されている。組み合わせ器325の出力は、ブロック解除フィルタ365の第二の入力およびイントラ予測モジュール360の第一の入力と信号通信上接続されている。ブロック解除フィルタ365の第二の出力は、参照ピクチャー・バッファ380の第一の入力と信号通信上接続されている。参照ピクチャー・バッファ380の出力は、動き補償器370の第二の入力と信号通信上接続されている。
エントロピー・デコーダ345の第二の出力は、動き補償器370の第三の入力およびブロック解除フィルタ365の第一の入力と信号通信上接続されている。エントロピー・デコーダ345の第三の出力は、デコーダ制御器305の入力と信号通信上接続されている。デコーダ制御器305の第一の出力は、エントロピー・デコーダ345の第二の入力と信号通信上接続されている。デコーダ制御器305の第二の出力は、逆変換および逆量子化器350の第二の入力と信号通信上接続されている。デコーダ制御器305の第三の出力は、ブロック解除フィルタ365の第三の入力と信号通信上接続されている。デコーダ制御器305の第四の出力は、イントラ予測モジュール360の第二の入力と、動き補償器370の第一の入力と、および参照ピクチャー・バッファ380の第二の入力と信号通信上接続されている。
動き補償器370の出力は、スイッチ397の第一の入力と信号通信上接続されている。イントラ予測モジュール360の出力は、スイッチ397の第二の入力と信号通信上接続されている。スイッチ397の出力は、組み合わせ器325の第一の非反転入力と信号通信上接続されている。
入力バッファ310の入力は、入力ビットストリームを受け取るために、デコーダ300の入力として利用可能である。ブロック解除フィルタ365の第一の出力は、出力ピクチャーを出力するために、デコーダ300の出力として利用可能である。
本願の原理の一つまたは複数の実施形態は、ピクチャー・レベルでの、ビデオ・エンコードのための精確なレート制御に向けられている。もちろん、本願の原理はピクチャー・レベルのレート制御のみに限定されるのではなく、本稿に提供される本願の原理の教示を与えられれば、本願の原理の精神を維持しながらビデオ・エンコードに関係する他のレベルに容易に拡張されうる。にもかかわらず、レート制御方法がピクチャー・レベルでのビットレート精確さを得るとき、該レート制御方法はより長い時間区間のためのビットレート精確さを簡単に達成できることは理解しておくべきである。
本願の原理の諸実施形態は、ビデオ・エンコーダにおけるレート制御の精確さを改善する。上述したように、従来技術のレート制御アルゴリズムは典型的には、ビットレート精度を制御するために量子化きざみサイズ・パラメータの調節に依拠する。しかしながら、本願の原理の一つまたは複数の実施形態によれば、ビットレート制御精度を改善するために、丸めオフセットが使われる。
すなわち、本願の原理の一つまたは複数の実施形態は、有利にも、ビデオ・エンコーダにおいて使用されるレート制御方法に、もう一つの次元、丸めオフセットを導入し、各ピクチャーについての非常に精確なレート制御を、ピクチャー内で均一な品質とともに、達成する。本願の原理のある実施形態に基づくレート制御方法が、ビットレート精度がピクチャーよりも長い区間において測定される他の用途に適用されるとき、そのようなレート制御方法は、簡単に、そのようなより長い区間で精確なレート制御を達成できる。
こうして、本願の原理の一つまたは複数の実施形態によれば、我々は、ピクチャー・レベルでレート制御精度を改善するために、別の量子化パラメータ、丸めオフセットsを含めることを提案する。量子化きざみサイズおよび丸めオフセットの両方はエンコーダによって使用されるビット数Rに影響する。これは、数学的には次のように記述できる。
R(q,s)=f(q,s) (4)
ここで、関数f(・)は、量子化きざみサイズおよび丸めオフセットがどのようにビット数に影響するかを記述する。その関数の一例は次のようなものである。
ln(R(q,s))=ks×s+kq×q+c (5)
ここで、ks、kqおよびcは定数である。
図4〜図7は、レート制御方法において量子化きざみサイズに加えて丸めオフセットを含める本願の原理のいくつかの例示的な実施形態を示している。ビット数が割り当てられる仕方に依存して、本願の原理の諸実施形態は、可変ビットレート(VBR: variable-bit-rate)または一定ビットレート(CBR: constant-bit-rate)用途のいずれにも役立てられる。本願の原理の諸実施形態はまた、マルチパス(multi-pass)・エンコーダの一部であって、他のパス(pass)のための情報を提供してもよい。
図4に目を転じると、マルチパス・ビデオ・エンコーダにおける例示的なレート制御方法であって、非一定の丸めオフセットを含むものが、参照符号400によって概括的に示されている。方法400は、第一のパス466および一つまたは複数のその後のパス(まとめて参照符号477で示す)に関わる。
方法400は、機能ブロック410に制御を渡す開始ブロック405を含む。機能ブロック410はエンコード・セットアップを実行するおよび/または他の仕方でこれに関わり、機能ブロック415に制御を渡す。機能ブロック415は変数nを1に初期化し、制御を機能ブロック420に渡す。機能ブロック420はパス1についてレート制御モデル・パラメータを初期化し、制御をループ境界ブロック425に渡す。ループ境界ブロック425は、変数iを使って、処理されている現在ビデオ・シーケンス内の各ピクチャーにわたるループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック430に渡す。機能ブロック430はピクチャーiについての量子化きざみサイズq1,iを計算し(たとえば丸めオフセットs1が与えられて)、制御を機能ブロック435に渡す。機能ブロック435はq1,iおよび初期丸めオフセットs1,iでピクチャーiをエンコードし、制御をループ境界ブロック440に渡す。該ループ境界ブロック440は第一のループを終わらせ、制御を機能ブロック445に渡す。
機能ブロック445は、変数nを1インクリメントし(すなわち、n=n+1)、制御をループ境界ブロック450に渡す。
ループ境界ブロック450は、変数iを使って、処理されている現在ビデオ・シーケンス内の各ピクチャーにわたるn番目のループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック455に渡す。機能ブロック455はピクチャーiについての丸めオフセット{sn,i}を計算し(任意的に以前の単数または複数のパスからの情報を使って)、制御を機能ブロック460に渡す。機能ブロック460はq1,iおよびsn,iでピクチャーiをエンコードし、制御をループ境界ブロック465に渡す。該ループ境界ブロック465はn番目のループを終わらせ、制御を機能ブロック470に渡す。機能ブロック470は、パスnについてのレート制御モデル・パラメータを更新し(たとえば以前のパスからの情報に基づいて)、制御を判定ブロック475に渡す。
判定ブロック475は、ビットレートが精確であるか(たとえば、一つまたは複数の閾値に基づいて)、またはパスの数nが最大パス数に達したかどうかを判定する。もしそうであれば、制御は終了ブロック499に渡される。そうでなければ、制御は機能ブロック445に返される。
このように、方法400において、第一パス466は、あるピクチャーについて、q1ですべてのマクロブロックをエンコードする。これに限られないがTM5、TMN8、ρ領域レート制御アルゴリズムなどを含む、目標ビットレートを満たすためにqを調節する既存のレート制御アルゴリズムが使われてもよい。第一パスでは、n=1と設定する。初期丸めオフセットs1が使われ、ks,1は、この段階ではks,1について何の事前知識もないのでデフォルト値に、たとえばks,1=1に設定される。q1については限られた選択肢しかないので、第一パスにおける得られたビット数R1は目標(target)ビット数RTの周辺であるがしばしば用途の要求を満たすのに十分近くはないであろう。いくつかのパラメータはあらかじめ定義されており、第一パスでは不精確でありうる。その後のパスでは、R(q,s)のモデルを使って、丸めオフセットsを調節して精度を改善する。
各パス後、nを1インクリメントする。すなわち、n=n+1。n番目のパスの間、RTとRn-1との間のギャップを閉じるため、次のような式(5)における例示的な関数を使って、新しい丸めオフセットが計算される。
Figure 2010541469
量子化きざみサイズq1およびsnは、n番目のパスのエンコードのために使われる。n番目のパスのエンコードの結果として得られるビット数がRnである。すべてのピクチャーのエンコード後、以前のパスからの情報を使って次のようにksを更新する。
Figure 2010541469
1パスでエンコードされる複数のピクチャーがあるときは、それらのピクチャーのいくつかまたは全部からの全情報が、集合{ln(Rn/Rn-1)}と{sn−sn-1}の間の線形回帰としてksを更新するために使われることができる。
ビットレート精度を改善するために新しい丸めオフセットsを計算し、ksを更新するプロセスは、指定されたビットレート精度が満たされるまたは最大パス数に達するまで続くことができる。
図1の従来技術のレート制御方法100に対する方法400の利点は、ピクチャー内の全マクロブロックが同じ量子化きざみサイズおよび丸めオフセットでエンコードされ、よって全マクロブロックの品質が一貫しているということである。
図5に目を転じると、マルチパス・ビデオ・エンコーダにおけるもう一つの例示的なレート制御方法であって、非一定の丸めオフセットを含むものが、参照符号500によって概括的に示されている。方法500は、第一のパス566および第二のパス577に関わる。
方法500は、機能ブロック510に制御を渡す開始ブロック505を含む。機能ブロック510はエンコード・セットアップを実行するおよび/または他の仕方でこれに関わり、機能ブロック515に制御を渡す。機能ブロック515はパス1についてレート制御モデル・パラメータを初期化し、制御をループ境界ブロック520に渡す。ループ境界ブロック520は、変数iを使って、処理されている現在ビデオ・シーケンス内の各ピクチャーにわたるループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック525に渡す。機能ブロック525はピクチャーiについての量子化きざみサイズq1,iを計算し(たとえば丸めオフセットs1が与えられて)、制御を機能ブロック530に渡す。機能ブロック530はq1,iおよび初期丸めオフセットs1,iでピクチャーiをエンコードし、制御をループ境界ブロック535に渡す。該ループ境界ブロック535は第一のループを終わらせ、制御を機能ブロック540に渡す。
機能ブロック540は、パス2のためにレート制御モデル・パラメータを初期化し、制御をループ境界ブロック545に渡す。ループ境界ブロック545は、変数iを使って、処理されている現在ビデオ・シーケンス内の各ピクチャーにわたる第二のループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック550に渡す。機能ブロック550はピクチャーiについての丸めオフセット{s2,i}を計算し(任意的に前のパスからの情報を使って)、制御を機能ブロック555に渡す。機能ブロック555はq1,iおよびs2,iでピクチャーiをエンコードし、制御を機能ブロック560に渡す。機能ブロック560は第二のパスについてのレート制御モデル・パラメータを更新し(たとえば、第一のパスからの情報および第二のパスにおいて前にエンコードされたピクチャーに基づいて)、制御をループ境界ブロック565に渡す。該ループ境界ブロック565は第二のループを終わらせ、制御を終了ブロック599に渡す。
方法500が方法400の変形であることは理解しておくべきである。
この実施形態では、第一のパス566からの情報および第二のパス577において前にエンコードされたピクチャーを使って第二のパス内でレート制御モデル・パラメータを更新する(機能ブロック560)。ある実施形態では、第一のパス566からの情報および第二のパス577における前にエンコードされたピクチャーすべてを、現在ピクチャーのためのパラメータを更新するために使うことができる。別の実施形態では、第一のパス566からの情報および第二のパス577におけるn枚の前にエンコードされたピクチャーを、現在ピクチャーのためのパラメータを更新するために使うことができる。
図4の方法400に対する方法500の一つの利点は、レート制御モデル・パラメータが第二のパス577内で更新されるということである。第三および/またはさらなるパスを完全になくすことによって、プロセスが高速化される。
図6に目を転じると、シングルパス・ビデオ・エンコーダにおける例示的なレート制御方法であって、非一定の丸めオフセットを含むものが、参照符号600によって概括的に示されている。単一のパスは参照符号666によって示される。
方法600は、機能ブロック610に制御を渡す開始ブロック605を含む。機能ブロック610はエンコード・セットアップを実行するおよび/または他の仕方でこれに関わり、機能ブロック620に制御を渡す。機能ブロック620はレート制御モデル・パラメータを初期化し、制御をループ境界ブロック625に渡す。ループ境界ブロック625は、変数iを使って、処理されている現在ビデオ・シーケンス内の各ピクチャーにわたるループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック630に渡す。機能ブロック630はピクチャーiについての量子化きざみサイズq1,iおよび丸めオフセットs1,iを計算し、制御を機能ブロック635に渡す。機能ブロック635はq1,iおよび丸めオフセットs1,iでピクチャーiをエンコードし、制御を機能ブロック637に渡す。機能ブロック637はレート制御モデル・パラメータを更新し、制御をループ境界ブロック640に渡す。該ループ境界ブロック640はループを終わらせ、制御を終了ブロック699に渡す。
方法600が方法500の変形であることを理解しておくべきである。方法600では、レート制御モデル・パラメータは最初のパス内で更新される(ブロック637)。諸ピクチャーを一度エンコードすることにより、プロセスがさらに高速化される。
図7に目を転じると、トランスコーダにおける例示的なレート制御方法が参照符号700によって概括的に示されている。
方法700は、機能ブロック710に制御を渡す開始ブロック705を含む。機能ブロック710はエンコード・セットアップを実行するおよび/または他の仕方でこれに関わり、機能ブロック715に制御を渡す。機能ブロック715はビットストリームを読み、構文解析し、制御をループ境界ブロック720に渡す。ループ境界ブロック720は、変数iを使って、ビットストリーム中の各ピクチャーにわたるループを実行し、ここで、i=1,…,ピクチャー数(#)であり、制御を機能ブロック725に渡す。機能ブロック725はピクチャーiについての量子化きざみサイズqiおよび丸めオフセットsiを計算し、制御を機能ブロック730に渡す。機能ブロック730はqiおよびsiでピクチャーiをエンコードし、制御をループ境界ブロック735に渡す。該ループ境界ブロック735はループを終わらせ、制御を終了ブロック799に渡す。
機能ブロック710が、トランスコード後の目標ビットレートおよび他の任意のエンコード・パラメータの集合をセットアップすることに関わりうることは理解しておくべきである。さらに、機能ブロック715は、トランスコードするために入力されるビットストリームからの情報を構文解析することを理解しておくべきである。構文解析されるべき情報は、これに限られないが、各ピクチャーのために使われるビット数、ビットストリーム中の諸ピクチャー内のマクロブロックのための量子化パラメータ、動きベクトルなどを含みうる。後述するように、構文解析されるべき情報が、丸めオフセット情報を含んでいてもよいことを理解しておくべきである。ビットストリームからの構文解析された情報およびトランスコード要件に基づいて、機能ブロック725は、ピクチャーについての量子化きざみサイズq、丸めオフセットsを計算する。
(機能ブロック715により)前記情報を構文解析するとき、量子化きざみサイズは、ビットストリームに埋め込まれているので簡単にアクセスできる。丸めオフセットを得るために、ビットストリームに基づいて丸めオフセットを推定することが必要であることがありうる。別のアプローチは、簡単なパラメータ抽出を可能にするためにビットストリーム中に丸めオフセット情報を埋め込むことである。本稿に与えられる本願の原理の教示を与えられれば、本願の原理の精神を維持しながら、本願の原理のこれらおよびその他の変形および実装は、当技術分野および関係する技術分野の当業者によって容易に判別される。
図8に目を転じると、画像データをデコードするための例示的な方法が参照符号800によって概括的に示されている。
方法800は、機能ブロック820に制御を渡す開始ブロック810を含む。機能ブロック820はビットストリームを読み、構文解析し、制御をループ境界ブロック830に渡す。ループ境界ブロック830は、変数iを使って、ビットストリーム中の各ピクチャーにわたって開始し、ここで、i=1,…,ビットストリーム中のピクチャー数(#)であり、制御を機能ブロック840に渡す。機能ブロック840はピクチャーiについての量子化きざみサイズqiを計算し、制御を機能ブロック850に渡す。機能ブロック850は量子化きざみサイズqiでピクチャーiを再構成し、制御をループ境界ブロック860に渡す。該ループ境界ブロック860はループを終わらせ、制御を終了ブロック899に渡す。
図9に目を転じると、画像データをデコードするためのもう一つの例示的な方法が参照符号900によって概括的に示されている。
方法900は、機能ブロック920に制御を渡す開始ブロック910を含む。機能ブロック920はビットストリームを読み、構文解析し、制御をループ境界ブロック930に渡す。ループ境界ブロック930は、変数iを使って、ビットストリーム中の各ピクチャーにわたるループを開始し、ここで、i=1,…,ビットストリーム中のピクチャー数(#)であり、制御を機能ブロック940に渡す。機能ブロック940はピクチャーiについての量子化きざみサイズqiおよび丸めオフセットsiを計算し、制御を機能ブロック950に渡す。機能ブロック950は量子化きざみサイズqiおよび丸めオフセットsiでピクチャーiを再構成し、制御をループ境界ブロック960に渡す。該ループ境界ブロック960はループを終わらせ、制御を終了ブロック999に渡す。
ここで、本願発明の多くの付随的な利点/特徴のいくつかについて述べておく。そのいくつかは上述してある。たとえば、ある利点/特徴は、レート制御を使って画像データをエンコードするビデオ・エンコーダを有する装置である。前記レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含む。前記丸めオフセットは、エンコードの間、非一定であることができる。
もう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記レート制御が、一定ビットレート・アプリケーション、可変ビットレート・アプリケーションおよびトランスコード・アプリケーションのうちの少なくとも一つに適用される装置である。
さらにもう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記レート制御のためのレート制御パラメータが、ρ領域レート・モデル、TM5レート・モデルおよびTMN8レート・モデルのうちの少なくとも一つに基づく装置である。
さらに、もう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記ビデオ・エンコーダが、前記画像データを、国際標準化機関/国際電気標準会議動画像専門家グループ4パート10の先進ビデオ符号化規格/国際電気通信連合・電気通信部門H.264勧告に準拠する結果ビットストリームにエンコードする装置である。
さらに、もう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記ビデオ・エンコーダがマルチパス・ビデオ・エンコーダであり、前記レート制御のためのレート制御モデル・パラメータが、前のエンコード・パスおよび現在のパスの前にエンコードされたピクチャーのうちの少なくとも一つからの情報に基づいて更新される装置である。
また、もう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記レート制御のためのレート制御モデル・パラメータが、前にエンコードされたピクチャーからの情報に基づいて更新される装置である。
さらに、もう一つの利点/特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記ビデオ・エンコーダが、前記画像データを、結果ビットストリームにエンコードし、前記結果ビットストリーム中に前記丸めオフセットおよび丸めオフセット情報のうちの少なくとも一つを埋め込む装置である。
本願の原理のこれらおよびその他の特徴および利点は、本願の教示に基づいて当業者によって容易に認識されうる。本願の原理の教示がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解されるものである。
最も好ましくは、本願の原理の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入出力(「I/O」)インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。
付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本願の原理がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本願の原理のこれらおよび同様の実装または構成を考えることができるであろう。
本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本願の原理はそうした厳密な実施形態に限定されるものではなく、当業者は本願の原理の範囲や精神から外れることなくそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本発明の範囲内に含まれることが意図されている。

Claims (23)

  1. レート制御を使って画像データをエンコードするビデオ・エンコーダを有する装置であって、前記レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含み、前記丸めオフセットは、エンコードの間、非一定であることができる、装置。
  2. 前記レート制御が、一定ビットレート・アプリケーション、可変ビットレート・アプリケーションおよびトランスコード・アプリケーションのうちの少なくとも一つに適用される、請求項1記載の装置。
  3. 前記レート制御のためのレート制御パラメータが、ρ領域レート・モデル、TM5レート・モデルおよびTMN8レート・モデルのうちの少なくとも一つに基づく、請求項1記載の装置。
  4. 前記ビデオ・エンコーダが、前記画像データを、国際標準化機関/国際電気標準会議動画像専門家グループ4パート10の先進ビデオ符号化規格/国際電気通信連合・電気通信部門H.264勧告に準拠する結果ビットストリームにエンコードする、請求項1記載の装置。
  5. 前記ビデオ・エンコーダがマルチパス・ビデオ・エンコーダであり、前記レート制御のためのレート制御モデル・パラメータが、前のエンコード・パスおよび現在のパスの前にエンコードされたピクチャーのうちの少なくとも一つからの情報に基づいて更新される、請求項1記載の装置。
  6. 前記レート制御のためのレート制御モデル・パラメータが、前にエンコードされたピクチャーからの情報に基づいて更新される、請求項1記載の装置。
  7. 前記ビデオ・エンコーダが、前記画像データを、結果ビットストリームにエンコードし、前記結果ビットストリーム中に前記丸めオフセットおよび丸めオフセット情報のうちの少なくとも一つを埋め込む、請求項1記載の装置。
  8. レート制御を使って画像データをエンコードするステップを含む方法であって、前記レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含み、前記丸めオフセットは、エンコードの間、非一定であることができる、方法。
  9. 前記レート制御が、一定ビットレート・アプリケーション、可変ビットレート・アプリケーションおよびトランスコード・アプリケーションのうちの少なくとも一つに適用される、請求項8記載の方法。
  10. 前記レート制御のためのレート制御パラメータが、ρ領域レート・モデル、TM5レート・モデルおよびTMN8レート・モデルのうちの少なくとも一つに基づく、請求項8記載の方法。
  11. 前記エンコードするステップが、前記画像データを、国際標準化機関/国際電気標準会議動画像専門家グループ4パート10の先進ビデオ符号化規格/国際電気通信連合・電気通信部門H.264勧告に準拠する結果ビットストリームにエンコードする、請求項8記載の方法。
  12. 前記エンコードするステップがマルチパス・ビデオ・エンコーダにおいて実行され、前記レート制御のためのレート制御モデル・パラメータが、前のエンコード・パスおよび現在のパスの前にエンコードされたピクチャーのうちの少なくとも一つからの情報に基づいて更新される、請求項8記載の方法。
  13. 前記レート制御のためのレート制御モデル・パラメータが、前にエンコードされたピクチャーからの情報に基づいて更新される、請求項8記載の方法。
  14. 前記エンコードするステップが、前記画像データを、結果ビットストリームにエンコードし、前記結果ビットストリーム中に前記丸めオフセットおよび丸めオフセット情報のうちの少なくとも一つを埋め込む、請求項8記載の方法。
  15. レート制御を使ってビットストリーム中の画像データをデコードするためのビデオ・デコーダを有する装置であって、前記レート制御は、量子化きざみサイズおよび丸めオフセットに関わり、前記丸めオフセットは、デコードの間、非一定であることができ、ビットストリーム中にあるおよび前記ビットストリームに関するのうちの少なくとも一方である情報に基づいて推定されるか、前記ビットストリームから抽出されるかの一方である、装置。
  16. 前記レート制御が、一定ビットレート・アプリケーション、可変ビットレート・アプリケーションおよびトランスコード・アプリケーションのうちの少なくとも一つに適用される、請求項15記載の装置。
  17. 前記レート制御のためのレート制御パラメータが、ρ領域レート・モデル、TM5レート・モデルおよびTMN8レート・モデルのうちの少なくとも一つに基づく、請求項15記載の装置。
  18. 前記ビットストリームが、国際標準化機関/国際電気標準会議動画像専門家グループ4パート10の先進ビデオ符号化規格/国際電気通信連合・電気通信部門H.264勧告に準拠する、請求項15記載の装置。
  19. レート制御を使ってビットストリーム中の画像データをデコードする段階を含む方法であって、前記レート制御は、量子化きざみサイズおよび丸めオフセットに関わり、前記丸めオフセットは、デコード段階の間、非一定であることができ、前記ビットストリーム中にあるおよび前記ビットストリームに関するのうちの少なくとも一方である情報に基づいて推定されるか、前記ビットストリームから抽出されるかの一方である、方法。
  20. 前記レート制御が、一定ビットレート・アプリケーション、可変ビットレート・アプリケーションおよびトランスコード・アプリケーションのうちの少なくとも一つに適用される、請求項19記載の方法。
  21. 前記レート制御のためのレート制御パラメータが、ρ領域レート・モデル、TM5レート・モデルおよびTMN8レート・モデルのうちの少なくとも一つに基づく、請求項19記載の方法。
  22. 前記ビットストリームが、国際標準化機関/国際電気標準会議動画像専門家グループ4パート10の先進ビデオ符号化規格/国際電気通信連合・電気通信部門H.264勧告に準拠する、請求項19記載の方法。
  23. ビデオ信号データがエンコードされたコンピュータ可読記憶媒体であって:
    レート制御を使ってエンコードされた画像データを有し、ここで、前記レート制御は、量子化きざみサイズを推定し、丸めオフセットを調整することを含み、
    前記丸めオフセットは、前記エンコードの間、非一定であった、
    コンピュータ可読記憶媒体。
JP2010527934A 2007-10-05 2008-09-15 ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置 Active JP5411144B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97792607P 2007-10-05 2007-10-05
US60/977,926 2007-10-05
PCT/US2008/010733 WO2009048501A2 (en) 2007-10-05 2008-09-15 Method and apparatus for rate control accuracy in video encoding and decoding

Publications (2)

Publication Number Publication Date
JP2010541469A true JP2010541469A (ja) 2010-12-24
JP5411144B2 JP5411144B2 (ja) 2014-02-12

Family

ID=40469853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010527934A Active JP5411144B2 (ja) 2007-10-05 2008-09-15 ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置

Country Status (7)

Country Link
US (1) US9979972B2 (ja)
EP (1) EP2206348B1 (ja)
JP (1) JP5411144B2 (ja)
KR (1) KR101599561B1 (ja)
CN (2) CN105898312A (ja)
BR (1) BRPI0817655A2 (ja)
WO (1) WO2009048501A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510563A (ja) * 2008-01-17 2011-03-31 トムソン ライセンシング ビデオ符号化に於いてレート制御を正確にする方法及び装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848788B2 (en) * 2009-05-16 2014-09-30 Thomson Licensing Method and apparatus for joint quantization parameter adjustment
WO2010134963A1 (en) * 2009-05-16 2010-11-25 Thomson Licensing Methods and apparatus for improved quantization rounding offset adjustment for video encoding and decoding
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) * 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US10033779B2 (en) 2009-07-08 2018-07-24 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
KR102390162B1 (ko) 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
CN109660825B (zh) * 2017-10-10 2021-02-09 腾讯科技(深圳)有限公司 视频转码方法、装置、计算机设备及存储介质
US11979449B2 (en) * 2021-10-07 2024-05-07 Google Llc QP range specification for external video rate control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
JP2004201298A (ja) * 2002-12-19 2004-07-15 Mitsubishi Electric Research Laboratories Inc 画像のシーケンスを適応的に符号化するシステムおよび方法
JP2006067302A (ja) * 2004-08-27 2006-03-09 Toshiba Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2006094081A (ja) * 2004-09-24 2006-04-06 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006157881A (ja) * 2004-11-08 2006-06-15 Toshiba Corp 可変長符号化装置及びその方法
JP2007053788A (ja) * 2006-10-02 2007-03-01 Sony Corp 映像データ圧縮装置およびその方法
WO2007099039A1 (en) * 2006-03-02 2007-09-07 Thomson Licensing Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141447A (en) * 1996-11-21 2000-10-31 C-Cube Microsystems, Inc. Compressed video transcoder
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
US6738423B1 (en) * 2000-01-21 2004-05-18 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US7346106B1 (en) * 2003-12-30 2008-03-18 Apple Inc. Robust multi-pass variable bit rate encoding
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US20060098733A1 (en) * 2004-11-08 2006-05-11 Kabushiki Kaisha Toshiba Variable-length coding device and method of the same
CN100405848C (zh) * 2005-09-16 2008-07-23 宁波大学 一种用于视频图像编码过程中的量化方法
US7889790B2 (en) * 2005-12-20 2011-02-15 Sharp Laboratories Of America, Inc. Method and apparatus for dynamically adjusting quantization offset values
WO2007135626A2 (en) 2006-05-18 2007-11-29 Nxp B.V. Method of video coding
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
JP5524063B2 (ja) * 2007-09-28 2014-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ情報処理
US9445110B2 (en) * 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
JP2004201298A (ja) * 2002-12-19 2004-07-15 Mitsubishi Electric Research Laboratories Inc 画像のシーケンスを適応的に符号化するシステムおよび方法
JP2006067302A (ja) * 2004-08-27 2006-03-09 Toshiba Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2006094081A (ja) * 2004-09-24 2006-04-06 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006157881A (ja) * 2004-11-08 2006-06-15 Toshiba Corp 可変長符号化装置及びその方法
WO2007099039A1 (en) * 2006-03-02 2007-09-07 Thomson Licensing Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
JP2007053788A (ja) * 2006-10-02 2007-03-01 Sony Corp 映像データ圧縮装置およびその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510563A (ja) * 2008-01-17 2011-03-31 トムソン ライセンシング ビデオ符号化に於いてレート制御を正確にする方法及び装置
US9516328B2 (en) 2008-01-17 2016-12-06 Thomson Licensing Method and apparatus for rate control accuracy in video encoding

Also Published As

Publication number Publication date
WO2009048501A2 (en) 2009-04-16
EP2206348A2 (en) 2010-07-14
JP5411144B2 (ja) 2014-02-12
WO2009048501A3 (en) 2009-06-18
KR101599561B1 (ko) 2016-03-03
CN105898312A (zh) 2016-08-24
CN101816181A (zh) 2010-08-25
EP2206348B1 (en) 2016-08-17
US20100232498A1 (en) 2010-09-16
BRPI0817655A2 (pt) 2015-03-31
KR20100058679A (ko) 2010-06-03
US9979972B2 (en) 2018-05-22

Similar Documents

Publication Publication Date Title
JP5411144B2 (ja) ビデオ・エンコードおよびデコードにおけるレート制御の精度のための方法および装置
JP5770476B2 (ja) ビデオ符号化に於いてレート制御を正確にする方法及び装置
US9282329B2 (en) Methods and devices for data compression using offset-based adaptive reconstruction levels
KR101873356B1 (ko) 비디오 인코딩 및 디코딩에서 삽입된 양자화 파라미터 조정을 위한 방법 및 장치
KR101702156B1 (ko) 비디오 인코딩 및 디코딩에 대한 개선된 양자화 라운딩 오프셋 조정을 위한 방법들 및 장치
EP1745653B1 (en) Encoder with adaptive rate control for h.264
US9025664B2 (en) Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program
US20100135386A1 (en) Image processing apparatus and method
JPWO2009157577A1 (ja) 画像処理装置及び画像処理方法
JP2006295535A (ja) 動画像符号化装置および方法
JP7125594B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
Wan et al. Frame-layer rate control for JVT video coding using improved quadratic rate distortion model
US10264260B2 (en) Moving picture encoding in which base quantization is based on corrected macroblock complexity
Wu et al. A content-adaptive distortion-quantization model for intra coding in H. 264/AVC

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131107

R150 Certificate of patent or registration of utility model

Ref document number: 5411144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250