JP6357542B2 - マルチパス適応量子化のための方法及び装置 - Google Patents

マルチパス適応量子化のための方法及び装置 Download PDF

Info

Publication number
JP6357542B2
JP6357542B2 JP2016552421A JP2016552421A JP6357542B2 JP 6357542 B2 JP6357542 B2 JP 6357542B2 JP 2016552421 A JP2016552421 A JP 2016552421A JP 2016552421 A JP2016552421 A JP 2016552421A JP 6357542 B2 JP6357542 B2 JP 6357542B2
Authority
JP
Japan
Prior art keywords
trial
code unit
encoded
bit size
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016552421A
Other languages
English (en)
Other versions
JP2017500830A (ja
Inventor
パヴェル ノヴォトニー
パヴェル ノヴォトニー
エリック シー ピアソン
エリック シー ピアソン
Original Assignee
インテグレイテッド・デバイス・テクノロジー・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテグレイテッド・デバイス・テクノロジー・インコーポレイテッド filed Critical インテグレイテッド・デバイス・テクノロジー・インコーポレイテッド
Publication of JP2017500830A publication Critical patent/JP2017500830A/ja
Application granted granted Critical
Publication of JP6357542B2 publication Critical patent/JP6357542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

(関連出願への相互参照)
本出願は、2013年11月4日付けで出願された米国非予備特許出願第14/071,341号への優先権を主張し、その出願は、任意の目的のために、その全体が参照によってここに援用される。
本発明の実施形態は、一般的にビデオ符号化に関しており、符号化のための適応量子化の例がここに記述される。例は、適切なビジュアルクオリティを確保するためにフィードバックを利用する適応量子化のための方法及び装置を含む。
ビデオ符号化は、ベースバンドビデオデータを符号化するためにしばしば使用される。それによって、ビデオを記憶及び送信するために使用されるビット数を低減する。大抵の場合、ビデオデータは全体のベースバンドビデオデータの一部を表す符号単位、例えば、フレーム、スライス、又はマクロブロック(MB)に、配列されている。典型的なビデオ符号化器は、マクロブロックに基づくブロック符号化器を含み得て、圧縮されたビットストリームを出力する。この符号化器は、MPEG−2、MPEG−4、又はH.264のような多くの標準コーデックに基づき得る。そのような例示的なビデオ符号化器における主なビットレート及びビジュアルクオリティ(VQ)ドライビングファクタは、典型的にはMBレベル量子化パラメータ(QP)である。多くの標準的な技法が、各MBに対するQPを選択するために使用され得る。
例示的なビデオ符号化器では、QPは、ビデオデータを符号化するためのスケールを決定する。一般的に、より小さなQPは、量子化過程の間により大量のデータが保持されることをもたらし、より大きなQPは、量子化過程の間により少量のデータが保持されることをもたらす。
ベースバンドビデオデータのストリームを符号化する例示的な方法の例が、ここに開示される。ある例示的な方法は、ベースバンドビデオデータのストリームを複数の符号単位として受け取るステップと、複数の符号単位における各符号単位に対して、符号単位の統計値を収集するステップと、符号単位に対する量子化パラメータ(QP)を対応する統計値から決定するステップと、QPを使用して符号単位を試行符号化して、試行符号化された符号単位を生成するステップと、試行符号化された符号単位に基づいてQPをアップデートするステップと、試行符号化された符号単位が所定の基準を満たすまで符号単位を試行符号化し且つQPをアップデートするステップを繰り返すステップと、アップデートされたQPを使用して符号単位を最終符号化し、最終符号化された符号単位を生成するステップと、を含み得る。
例示的なビデオ符号化器が、ここに開示される。例示的なビデオ符号化器は、ベースバンドビデオデータのストリームを、一度に一つの符号単位で受け取る入力バッファを含み得る。例示的なビデオ符号化器はさらに、入力バッファに結合された第1のプロセッサモジュールを含み得る。第1のプロセッサモジュールは、受け取った符号単位の統計値を収集し且つ収集した統計値から、受け取った符号単位に対する量子化パラメータ(QP)を決定するように構成され得る。例示的なビデオ符号化器はさらに、入力バッファ及び第1のプロセッサモジュールに結合された試行符号化モジュールを含み得る。試行符号化モジュールは、QPを使用して符号単位を符号化し、試行符号化された符号単位を生成するように適合され得る。例示的なビデオ符号化器はさらに、第1のプロセッサモジュール及び試行符号化モジュールに結合された第2のプロセッサモジュールを含み得る。第2のプロセッサモジュールは、試行符号化された符号単位が所定の基準を満たすかどうかを判定し、試行符号化された符号単位が所定の基準を満たしていたら最終QPを現在のQPに等しく設定し、そうでなければ、試行符号化された符号単位に基づいてQPをアップデートし、試行符号化モジュールにアップデートされたQPを使用して符号単位の試行符号化を繰り返すことを指令するように、適合され得る。例示的なビデオ符号化器はさらに、入力バッファ及び第2のプロセッサモジュールに結合された最終符号化モジュールを含み得る。最終符号化モジュールは、アップデートされたQPを使用して符号単位を最終符号化し、最終符号化された符号単位を生成するように適合され得る。
ベースバンドビデオデータのマクロブロック(MB)を符号化する例示的なビデオ符号化方法が、ここに開示される。例示的な方法は、MBを受け取るステップと、MBのMB統計値を収集するステップと、MB統計値に基づいてMBに対する第1の量子化パラメータ(QP)を決定するステップと、第1のQPを使用してMBを試行符号化し、第1の符号化されたMBを生成するステップと、第1の符号化されたMBの第1のビジュアルクオリティ(VQ)を決定するステップと、第1のQP及び第1のVQからMBに対する第2のQPを決定するステップと、第2のQPを使用してMBを試行符号化し、第2の符号化されたMBを生成するステップと、第2の符号化されたMBの第2のVQを決定するステップと、もし第1のVQが第2のVQよりも良ければ最終QPを第1のQPに等しく設定し、そうでなければ、第2のQP及び第2のVQからMBに対する最終QPを決定するステップと、最終QPを使用してMBを最終符号化し、最終符号化されたMBを生成するステップと、を含み得る。
本開示にしたがったマルチパス適応量子化過程の一例を含む例示的なビデオ符号化方法の流れ図である。 本開示にしたがったマルチパス適応量子化モジュールを組み込んだ例示的なビデオ符号化システムの模式的なブロック図である。 本開示にしたがった例示的なマルチパス適応量子化モジュールの模式的なブロック図である。 本開示にしたがったマルチパス適応量子化過程を含む例示的なビデオ符号化方法の流れ図である。 本開示にしたがった媒体送達システムの模式図である。 ここで記述されたビデオ符号化システムを使用し得るビデオ分配システムの模式図である。
ここに記述される様々な例示的な実施形態は、マルチパス適応量子化技法を含む。ここに記述されるマルチパス適応量子化技法の例は、より一様なビジュアルクオリティを有する符号化されたビットストリームの付与(例えば生成)を、有益にサポートし得る。例示的なマルチパス適応量子化技法は、符号化器の任意の動作状態において適応量子化を校正し得る適応量子化過程へのフィードバックを提供することによって、コデック(例えば符号化器)の特性が符号化手順の間に考慮されることを、有益に許容し得る。これは、符号化されたビデオデータの全体で期待されるVQを送達するロバストな方法をもたらす結果となり得る。このようにして、各符号単位(例えばマクロブロック)を適切なビット数で符号化することによって、一様なVQが達成され得る。
ベースバンドビデオストリームは、典型的には、ビデオデータの複数のピクチャ(例えば、フィールド、フレーム)を含む。ビデオ符号化システムはしばしば、これらの符号単位をさらに、マクロブロックのような、より小さな符号単位に分ける。符号単位は、シーケンス、スライス、マクロブロック、ピクチャ、ピクチャのグループ、及びブロックを含み得るが、これらに限られるものではない。
ビデオ符号化器は、一般的にビット分配を実行する(例えば、ビデオストリームの各々の部分を符号化するために使用されるビット数を決定する)。ビット分配は、均整のとれたビジュアルクオリティを達成するように設計され得る。ビット分配に対する典型的なアプローチは、符号化器それ自身の特性は考慮しないが、ビデオから抽出された統計値に対して動作する適応量子化方法を利用し得る。典型的には、ベースバンドビデオが分析されて、そのビデオについての統計値が収集される。これらの統計値は、各符号単位(例えばMB)に対するQPを計算するために使用され得る。ひとたび各MBに対するQPが決定されると、そのMBが符号化され得る。しかし、このアプローチは、信頼度の低いVQをもたらす結果となり得る。例えば、顔のように高テクスチュア又は見る者に対して特に顕著な領域は、符号化の際の情報量が少なすぎて、所望のVQレベルを満たさないことがある。
ここで開示される例示的な方法及びビデオ符号化器は、例示的な適応量子化手順におけるフィードバックを含む。このフィードバックは、有益にVQを改善し、且つ/又は、ビットストリームの全て又は一部において、より均一なVQを生成し得る。
図1は、ここで記述される例示的なビデオ符号化方法を描く流れ図である。この例示的な方法では、ベースバンドビデオデータのストリームが行為100で受け取られる。ベースバンドビデオデータのストリームはビデオソース(例えばビデオカメラなど)から直接受け取られてもよく、あるいは、データストレジユニットからアクセスされても、又はインターネットのようなネットワークからストリームされてもよい。上述のように、ベースバンドビデオデータのストリームは、ビデオデータの複数のフレームを表すベースバンドビデオデータを含み得て、これらのフレームの各々は、マクロブロックのような多数の符号単位を含み得る。
各符号単位に対して、符号単位の統計値が行為102で収集され、その符号単位に対する初期量子化パラメータ(QP)が、行為104にて、対応する統計値から決定される。要素102及び104は、当該技術で既知の数多くの方法を使用して実行され得る。
符号単位は、行為106にて、初期QPを使用して試行符号化され、試行符号化された符号単位を提供(例えば生成)する。この試行符号化単位は、MPEG−2、MPEG−4、又はH.264のような任意の標準的なビデオ符号化コーデックを使用して実行され得る。符号単位の最終符号化のために使用されるものと同じコーデックを符号単位の試行符号化に対しても使用することが有益であり得るが、このことは全ての例において必要ではない可能性がある。例えば、例示的なビデオ符号化方法のスループットを増すために、試行符号化過程ではプロセッサ集約的なコーデックを使用することが有益であり得る。
結果として得られる試行符号化された符号単位は、行為108にて、QPをアップデートするために分析される。QPのアップデートは、復号化、及び、102にてベースバンド符号化単位に対して収集された統計値と同様の試行符号化された符号単位の試行統計値の収集を含み得る。これらの統計値は、試行符号化された符号単位がベースバンド符号単位に対してどれだけよくマッチしているかを決定するために、ベースバンドビデオデータ統計値と比較され得る。QPはそれから、試行符号化された符号単位からの統計値がベースバンド符号単位からの統計値に、十分に密にマッチしているかどうかに依存して、アップデートされ得る。VQが試行符号化過程によって著しく劣化されやすいことを統計値が示すと、そのときには、その符号単位に対するビット数を増やすために、その符号単位に対するQPが減らされ得る。
他の例示的な実施形態は、符号化されたビデオデータ内の各符号単位のビット数に基づく。上述のように、ビット数は、QPに反比例し得る。しかし、多くのビデオ符号化コーデックについて、ビット数が、QPだけではなく、符号化された符号単位によって表されているイメージの複雑さにもまた依存していることに、留意すべきである。このことは、多くのコーデックに対して、同様のビットレートで符号化された符号単位が同様に知覚されたVQを有し得るという事態を生じさせ得る。これより、適当なVQを確保するための他の例示的なアプローチは、符号化されたビデオデータの1フレーム又は他の符号単位内の各符号単位に対して、ビット数をおよそ正規化することを試みることを含み得る。
例示的な実施形態では、試行符号化された符号単位の試行統計値の収集は、試行符号化された符号単位のビットサイズをターゲットビットサイズと比較することを含み得る。そして、それから、アップデートされたQPが、そのビットサイズがターゲットビットサイズよりも少ないときにはQPを減らし、ビットサイズがターゲットビットサイズよりも多いときにはQPを増やすことによって、決定され得る。
試行符号化された符号単位に対するターゲットビットサイズは、数多くの方法で決定され得る。ターゲットビットサイズを決定するためのうちの一つの例示的なアプローチは、フレーム内の試行符号化された符号単位の全てについて、同じターゲットビットサイズを使用することであり得る。この共通のターゲットビットサイズは、経験に基づいて、あらかじめ選択された数であり得て、あるいは、1フレーム内又は他の符号単位内の試行符号化された符号単位の全てについての平均ビットサイズであり得る。
あるいは、ターゲットビットサイズは、各々の試行符号化された符号単位に対して、変わり得る。これらの可変のターゲットビットサイズは、重み付け因子を使用してスケーリングされた共通のターゲットビットサイズ(例えばフレーム平均ビットサイズ)のような、対応するベースバンド符号単位のうちの一つ又はそれ以上の特性に基づいて、あらかじめ選択され得る。重み付け因子は、対応するベースバンド符号単位の特性に基づいて計算され得て、あるいは、対応するベースバンド符号単位及び試行符号化された符号単位によって生成された各々のイメージの比較に基づき得る。この比較を実行する一例は、ベースバンド符号単位と試行符号化された符号単位との間の歪みを決定することである。当該技術で既知の数多くの方法が歪みを計算するために使用され得て、これらは、絶対差(SAD)の合計の計算、二乗差(SSD)の合計の計算、構造的類似性インデックスベースバンド(SSIM)の決定、又はそれらの組み合わせを含み得るが、これらに限られるものではない。
試行符号化された符号単位は、110にて、所定の基準を満たすかどうかを判定するために評価され得る。この評価は図1では、行為108でのQPのアップデートに引き続いて生じるものとして描かれている。この順序は描写的なものに過ぎず、所定の基準がQPのアップデートの間に収集された情報に基づいており、且つ、アップデートされたQPが、所定の基準が満たされていても、結果として得られる最終符号化されたビデオの知覚されるVQを改善するために有用であり得るという例に基づいている。しかし、行為110が、いくつかの例ではQPがアップデートされる前に発生し、そのような実施形態では、ひとたび所定の基準が満たされるとQPはアップデートされないことがあるということが、企図されている。図1に示されるように、試行符号化された符号単位が所定の基準を満たすならば、符号単位は、行為112にて最終符号化され、行為114にて決定されるように、もし他の符号単位があれば、例示的な過程がその符号単位に対して繰り返される。この過程は、所定の基準が満たされるまで反復され得る。
所定の基準は、歪み計算が所定の値よりも小さいというような、ベースバンド符号単位と試行符号化された符号単位との間の比較を伴い得る。あるいは、所定の基準は、試行符号化された符号単位のビットサイズと試行符号化された符号単位のターゲットビットサイズとの間の比較を伴い得て、それらの間の絶対差が所定の値よりも小さい、あるいはそれらの間の絶対差が所定の範囲内であるというようなものであり得る。所定の基準はまた、あるいは代わりに、符号単位のQPが所定の回数だけアップデートされるということを含み得る。さらに、単一の所定の基準の代わりに、いくつかの基準が存在し得て、それらのうちの任意のものが、試行符号化及びQPのアップデートのサイクル(行為106、108、及び110)を終了させて、符号単位を、直近でアップデートされたQP、例えば最終QPを使って最終的に符号化させ得ることが企図される。例えば、一つの例示的な実施形態では、試行符号化された符号単位のビットサイズがターゲットビットサイズに十分に接近するか、又はQPが所定の回数だけ(例えば4回)更新されるまで、符号単位は試行符号化され且つQPはアップデートされ得る。
アップデートされたQPを使った符号単位の最終符号化は、行為112にて、最終符号化された符号単位を生成する。この最終符号単位は、MPEG−2、MPEG−4、又はH.264のような、任意の符号化標準を利用し得る。
多くのコーデックが、符号化されたビデオデータのサイズを(ベースバンドビデオデータに比べて)減らすためにビデオデータの1フレーム内の情報を利用するだけではなく、ビデオデータをさらに圧縮するために現在のフレームの時間的に前又は後に到来する複数のフレーム(又は他の符号単位)、又は、現在の符号単位に対して特定の空間的な関係を有する複数のフレーム(又は他の符号単位)についての情報も、利用し得る。そのようなコーデックを使用するビデオ符号化器では、ビデオデータの符号化されたフレームは、フレーム間(I)、予測フレーム(P)、又は双方向予測フレーム(B)であり得る。しかし、フレームの知覚されるVQは、フレームそれ自身の中の情報によって、より影響され得る。加えて、Iフレーム符号化はしばしば、B−又はP−フレーム符号化よりも、プロセッサ集約的ではない。したがって、行為106にて、符号単位の反復的な試行符号化をI−フレーム符号化に限定することが、有用であり得る。それから、Iフレーム、B−フレーム、又はP−フレーム符号化のいずれも、行為112にて、符号単位の最終符号化のために使用され得る。
図2A及び図2Bは、例示的なビデオ符号化システムを描いている。図2Aに描かれているように、この例示的なビデオ符号化器は、ベースバンドビデオデータのストリーム200を受け取る入力バッファ202、入力バッファ202に結合された第1のプロセッサモジュール204、入力バッファ202及び第1のプロセッサモジュール204に結合されたマルチパス適応量子化モジュール206、ならびに、入力バッファ202及びマルチパス適応量子化モジュール206に結合された最終符号化モジュール208を含む。図2Bは、マルチパス適応量子化モジュール206を、より詳細に描いている。これらの図の中の様々な矢印は、構成要素間のデータの移送を示している。
図2A及び図2Bの例示的なビデオ符号化器の様々な構成要素が電子回路要素から構築され得て、一つ又はそれ以上の特定用途集積回路(ASIC)を含み得ることに、留意されたい。あるいは、これらの構成要素のうちの一つ又はそれ以上が、その構成要素の機能を実行するようにプログラムされた一つ又はそれ以上の計算システムを使用して、具現化され得る。計算システムは、一つ又はそれ以上の構成要素の機能を実行するための実行可能な命令を有して符号化された一つ又はそれ以上の処理ユニット(例えばプロセッサ)及び電子媒体を含み得る。
入力バッファ202はベースバンドビデオデータ200を受け取り、それを、第1のプロセッサモジュール204、マルチパス適応量子化モジュール206、及び最終符号化モジュール208に移送する。この移送は、いくつかの例では、一度に一つの符号単位で先行し得る。様々な例示的な実施形態では、これらの符号単位は、ビデオデータのフレーム、スライス、又はMBであり得る。いくつかの例示的な実施形態では、入力バッファ202がフレームグラバであり得て、ベースバンドビデオデータを一度に1フレームずつ受け取ることに、留意されたい。例示的なフレームグラバは、第1のプロセッサモジュール204及びマルチパス適応量子化モジュール206にはベースバンドビデオデータを一度に1フレームずつ移送するが、最終符号化モジュール208には、一度に1スライス又はMBずつのみ移送する。このことは、第1のプロセッサモジュールがフレーム単位の統計値を決定し、マルチパス適応量子化モジュールが、符号化が1スライス又はMBレベルで行われても、これらのフレーム単位の統計値を使用し且つ/又は符号化後のフレーム単位の統計値を生成することを可能にし得る。
第1のプロセッサモジュール204は、受け取られた符号単位の統計値を収集し、受け取られた符号単位に対するQPを、収集された統計値から決定するように、適合されている。収集され得る統計値の例、及び、受け取られた符号単位に対するQPを収集された統計値から決定する方法の例は、図1の例示的な方法を参照して先に詳細に記述されている。
マルチパス適応量子化モジュール206は、入力バッファ202及び第1のプロセッサモジュール204に結合された試行符号化モジュール212、ならびに、第1のプロセッサモジュール204及び試行符号化モジュール212に結合された第2のプロセッサモジュール214を含み得る。第1のプロセッサモジュール204から試行符号化モジュール212及び第2のプロセッサモジュール214の両方へのベースバンド符号単位の統計値及び初期QPのようなデータの移送は、データ矢印204によって描かれている。データ矢印206は、マルチパス適応量子化モジュール206から最終符号化モジュール208への最終QPの移送を描いている。
試行符号化モジュール212は、入力バッファ202から移送された符号単位を、現在のQP(第1のプロセッサモジュール204から移送された初期QP、又は第2のプロセッサモジュール214から移送されたアップデートされたQPのいずれか)を使用して符号化して、試行符号化された符号単位を生成し得る。図1の例示的な方法を参照して上記で詳細に述べたように、試行符号化モジュール212は、MPEG−2、MPEG−4、又はH.264のような任意の標準的なコーデックを含み得る。必ず必要という訳ではないが、試行符号化モジュール212がI−フレームビデオ符号化を実行するようにのみ適合されていることが、有用であり得る。
試行符号化された符号単位は第2のプロセッサモジュール214に渡され、これは、試行符号化された符号単位が所定の基準を満たしているかどうかを判定するように適合されている。試行符号化された符号単位が所定の基準を満たしていれば、第2のプロセッサモジュール214は、最終QPを現在のQPに等しく設定し、そうでなければ、第2のプロセッサモジュール214は、試行符号化された符号単位に基づいてQPをアップデートする。所定の基準が満たされたら、第2のプロセッサモジュール214は最終QPを最終符号化モジュール208に移送する。所定の基準が満たされていなかったら、第2のプロセッサモジュール214は、アップデートされたQPを試行符号化モジュール212に移送し、このアップデートされたQPを使用して符号単位の試行符号化を繰り返すように指令する。第2のプロセッサモジュール214によって実行され得るこれらの動作の例もまた、図1の例示的な方法を参照して上記で詳細に述べられている。
最終符号化モジュール208は、アップデートされたQPを使用して符号単位を符号化して、最終符号化された符号単位を生成し得る。この符号化モジュールは、MPEG−2、MPEG−4、又はH.264符号化モジュールのような任意の標準的な符号化モジュールを使用して具現化され得る。上述のように、いくつかの例では、試行符号化モジュール212がI−フレーム符号化モジュールであることが有用であり得るが、最終符号化モジュール208は、I−フレーム、P−フレーム、及び/又はB−フレーム符号化モジュールであり得る。
図3は、ベースバンドビデオデータのマクロブロック(MB)を符号化するための例示的なビデオ符号化方法を描いた流れ図である。図3では、マクロブロックが例示的な符号単位として使用されているが、他の例では、他の符号単位が使用され得る。この例示的な方法の多くの部分は、図1、図2A、及び図2Bの例示的な実施形態のものと同様である。この例示的な方法は、MBを符号化するために2パス適応量子化方法を適用しており、これは、結果として得られる符号化されたビデオストリームに対して適当なVQを保証するために、ストリームライン化されたアプローチを提供し得る。この例示的な方法がMBの符号化に関して記述されているが、当業者は、ビデオデータの他のサイズの又は構造化された符号単位に対しても同様に使用され得ること、ならびに、この例示的な方法が、適応量子化手順を通してより多くの数のパスに対して一般化され得ることを、理解するであろう。
MBが行為300で受け取られて、そのMBの統計値が行為302で収集される。これらの統計値は、行為304で、このMBに対する第1のQPを決定するために使用され、行為306で、MBが第1のQPを使用して試行符号化される。この例示的な方法のこれらの行為は、図1、図2A、及び図2Bの実施形態を参照してここで記述された例示的な手順のいずれかを使用して達成され得る。
第1の符号化されたMBの第1のVQが、行為308で決定される。ここで記述されるように、歪み計算のような数多くのアプローチが、第1のVQを決定するために使用され得る。
第1のVQを決定するためのうちの一つの例示的なアプローチは、第1の符号化されたMBのビットサイズを決定し、それから第1の符号化されたMBのビットサイズに対するターゲットビットサイズの比を計算することである。この比が、第1のVQである。MBに対するターゲットビットサイズは、図1、図2A、及び図2Bの例示的な実施形態を参照してここで記述された手順のいずれかを使用して決定され得る。この例示的な実施形態では、第1のVQが1に近いほど、第1の符号化されたMBのビットサイズはターゲットビットサイズに近く、これより、第1のVQがより良い。
MBに対する第2のQPは、行為310にて、第1のQP及び第1のVQから決定される。上述のように、QPを増やすと、MBを符号化するために使用されるビット数が減り、これにより典型的には、結果として得られるVQが下がる。同様に、QPを減らすと、MBを符号化するために使用されるビット数が増え、典型的には結果として得られるVQが増す。上記の行為308における第1のVQを計算する例示的なアプローチに引き続いて、行為310でMBに対する第2のQPを決定するステップは第1のデルタQPを計算するステップを含み得て、第1のデルタQPは、第1のVQ(例えば第1の符号化されたMBのビットサイズに対するターゲットビットサイズの比)の対数に比例する。対数の底及び比例定数は、使用される特定のコーデックに依存しており、例えば、H.264コーデックが使用されると、対数の底は2で比例定数は6である。この第1のデルタQPがそれから第1のQPから減算されて、第2のQPを計算する。
この例示的なアプローチでは、第1のデルタQPはときどき、人工的に大きな絶対値を有し得ることに留意されたい。それゆえ、第1のデルタQPの範囲を限定することが有用であり得る。これは、第1のデルタQPを第1のデルタQPの範囲と比較することによって、達成され得る。第1のデルタQPが第1のデルタQPの範囲よりも小さければ、第1のデルタQPは、最小の第1のデルタQPの値に設定され得る。第1のデルタQPが第1のデルタQPの範囲よりも大きければ、第1のデルタQPは、最大の第1のデルタQPの値に設定され得る。
ひとたび第2のQPが計算されると、MBが、行為312にて、第2のQPを使用して再び試行符号化され、第2の符号化されたMBを生成する。第1の試行符号化のときのように、行為306で、この第2の試行符号化がI−フレーム符号化であることが有用であり得る。
第2の符号化されたMBの第2のVQが、行為314にて決定される。第2のVQの決定は、行為308における第1のVQの決定と同じ方法で実行され得る。第2のVQはそれから、行為316で第1のVQと比較される。もし第1のVQが第2のVQよりも良ければ、これは、MBの符号化が良好に行われていないことを示す。この場合には、行為318にて、最終QPを第1のQPに等しく設定することが有用であり得る。もし第1のVQが第2のVQよりも良くなければ(これが最も可能性がある場合であり得る)、行為320にて、MBに対する最終QPが、第2のQP及び第2のVPから決定され得る。
行為308における第1のVQの計算及び行為310におけるMBに対する第2のQPの決定に対する例示的なアプローチに引き続いて、行為314で、第2の符号化されたMBの第2のVQを決定するステップは、第2の符号化されたMBのビットサイズを決定するステップと、第2の符号化されたMBのビットサイズに対するターゲットビットサイズの比、例えば第2のVQを計算するステップと、を含み得る。そして、行為320におけるMBに対する最終QPを決定するステップ(第1のVQが第2のVQより良くないとき)は、第2のVQの対数に比例する第2のデルタQPを計算するステップと、第2のデルタQPを第2のQPから減算して最終QPを計算するステップと、を含み得る。
第1のデルタQPを参照して上述したように、第2のデルタQPは、いくつかの例では、人工的に大きな絶対値を有し得る。それゆえ、第2のデルタQPの範囲を定めることが、同様に有用であり得る。これは、第2のデルタQPを第2のデルタQPの範囲と比較することによって、達成され得る(いくつかの例で、第2の試行符号化されたMBのビットサイズが第1の試行符号化されたMBのビットサイズよりもターゲットビットサイズに近いことが期待されるので、第2のデルタQPの範囲は第1のデルタQPの範囲よりも小さい)。第2のデルタQPが第2のデルタQPの範囲よりも小さければ、第2のデルタQPは、最小の第2のデルタQPの値に設定され得る。第2のデルタQPが第2のデルタQPの範囲よりも大きければ、第2のデルタQPは、最大の第2のデルタQPの値に設定され得る。
ひとたび最終QPが行為318又は320のいずれかで決定されると、MBが、行為322にて、最終QPを使用して最終符号化され、最終符号化されたMBを生成する。図1、図2A、及び図2Bの例示的な実施形態を参照してここで述べられたように、この最終符号化は、I−フレーム、P−フレーム、又はB−フレーム符号化を利用し得る。
以下は、H.264コーデックに基づくビデオ符号化器を使用して図3の例示的な実施形態を実行するために使用され得る疑似符号を含む特定の例示的な実施形態である。この特定の例はデモンストレーション目的で提供されており、限定的であることは意図されていない。
第1の試行符号化の後に、MB符号サイズが収集され得る。MBターゲットビットは、フレーム全体のMB符号サイズを平均することによって計算され得る。ここで記述される例示的な過程の残りは、ターゲットビットバジェットが達成され得るように、個別のMBに対してQPを調整することを伴う。
Pass 1 QP adjustment:
dqp1N = 6*log2(mb_target_size/mb_coded_size_P1N);
if(mb_coded_size_P1N < mb_target_size/4)
dqp_limit = 9;
else
dqp_limit = 6;
dqplN = CLIP(dqp_limit, dqp1N);
qp_pass1N = qp_inilialN - dqp1N; (式1)
式1に示されるように、開始点として初期適応量子化からの初期QP値を使用する符号単位(例えばフレーム)内の全てのMBに対して、符号MBサイズがターゲットビットサイズと比較され、デルタQPが導かれる(dqplN)。これは、所与の符号化フォーマットに対して推定されるように、標準量子化曲線を推定する。H.264に対しては、符号化されたMBのビットサイズは、QPが6だけ増える毎に半分に落ちることが期待される。次に、最大のデルタQP限界が設定され(dqp_limit)、もし符号化されたMBビットサイズがターゲットの1/4よりも小さければQP限界は9に設定され、そうでなければ6に設定される。デルタQPは、正負の両範囲でQP限界を使用してクリップされる。QPデルタがそれから開始QP値に適用され、次の試行符号化(qp_passlN)のもとになる。他の例では、Pass1に記述される閾値及び設定点の値が他の値であり得ることが理解されるであろう。
Pass 2 QP adjustment:
s1 = mb_coded_size_P1N;
s2 = mb_coded_size_P2N;
if((s2>s1 && dqp1N<0) || (s2<s1 && dqp1N>0))
{if (abs(s2 - mb_target_size)<abs(s1 - mb_target_size))
dqp2 = 0;
else
dqp2 = - dqp1N;}
else
{gain = dqp1N/log2(s2/s1);
gain = max(2, min(6, G));
dqp2 = (gain*log2(mb_target_size/s2);
if(s2< mb_target_size/2)
dqp_limit = 4;
else
dqp_limit = 6;
dqp2 = CLIP(dqp_limit, dqp2);}
qp_pass2N = qp_inilialN - dqp1N - dqp2; (式2)
第2の試行符号化の後に、量子化曲線上の2つの点[qp_pass1N, mb_coded_size_P1N]及び[qp_pass2N, mb_coded_size_P2N]が既知となる。いくつかの場合には、符号化過程内のいくらかの非線形性のために、曲線状の点が、期待されるのとは反対方向に動く。この場合、第1又は第2の試行符号化のQPは、ターゲットビットサイズにより近い符号化されたMBのビットサイズを生成するのはどのパスであるかに依存して、使用され得る。全ての他の場合について、それら2つの点が、量子化曲線の傾き(ゲイン)を計算するために使用され得る。
ひとたび傾きが既知になると、最終パスに対するQPを調整するために使用され得る。第2の試行符号化(pass2)の後のMB符号サイズがターゲットの半分よりも小さければ、pass2の後の最大デルタQP(dqp_limit)が4に設定され、そうでなければ6に設定される。デルタQPは、正負の両範囲でQP限界を使用してクリップされる。
最終QP(qp_pass2N)がそれから、最終符号化されたビデオを作るために適用される。再び、Pass2に対して疑似符号にて使用される閾値及び設定点の値が、他の例では他の値であり得ることが理解されるであろう。
図4は、本発明の実施形態に従った媒体送達システム400の模式図である。媒体送達システム400は、一つ又はそれ以上の様々な媒体出力404に、媒体ソース402を送達するための機構を提供し得る。図4には一つの媒体ソース402及び媒体出力404しか描かれていないが、任意の数が使用され得て、本発明の例は、媒体コンテンツを任意の数の媒体出力に放送し、及び/又は、その他の方法で送達するために使用され得ることが理解されるであろう。
媒体ソース402は任意の媒体コンテンツのソースであり得て、ビデオ、オーディオ、データ、又はそれらの組み合わせを含むが、それらに限定されるものではない。媒体ソースデータ402は、例えば、カメラ、マイク、及び/又は、その他の獲得装置によって獲得され得るか、あるいは、処理装置によって生成又は提供され得るオーディオ及び/又はビデオデータであり得る。媒体ソースデータ402は、アナログ及び/又はデジタルであり得る。媒体ソースデータ402がアナログデータのとき、媒体ソースデータ402は、例えばアナログ・デジタル変換器(ADC)を使用してデジタルデータに変換され得る。典型的には、媒体ソースデータ402を送信するために、圧縮及び/又は暗号化のための何らかのメカニズムが所望され得る。したがって、ビデオ符号化システム410が提供され得て、それは、当該技術で現在又は将来において既知の任意の方法論を使用して媒体ソースデータ402をフィルタリング及び/又は符号化し得て、これはH.264、HEVC、VC−1、VP8、又はこれらの組み合わせ、あるいはその他の符号化標準の様なビデオ標準に従った符号化方法を含むが、これらに限定されるものではない。ビデオ符号化システム410は、ここで記述された本発明の実施形態を使って具現化され得る。例えば、ビデオ符号化システム410は、図2Aのビデオ符号化システム200を使用して具現化され得る。
符号化されたデータ412は、衛星414、アンテナ416、及び/又はネットワーク418のような通信リンクに提供され得る。ネットワーク418は有線又は無線であり得て、さらに電気的及び/又は光学的な送信を使用して通信し得る。アンテナ416は地上アンテナであり得て、例えば、従来のAM及びFM信号、衛星信号、又は当該技術で既知の他の信号を送受信し得る。通信リンクは符号化されたデータ412を放送し得て、いくつかの例では、符号化されたデータ412を変更し、(例えば、符号化されたデータ412からの再符号化、それへの追加、又はそこからの減算によって)変更された符号化データ412を放送し得る。通信リンクから提供される符号化されたデータ420は、復号化器を含み得るか又はそれに結合され得る受信機422によって受信され得る。復号化器は、符号化されたデータ420を復号して、図4に示される媒体出力404を有する一つ又はそれ以上の媒体出力を提供し得る。受信機422は、任意の数の装置に含まれ得るか又はそれらと通信し得て、それらは、ルータ、サーバ、セットトップボックス、ラップトップ、デスクトップ、コンピュータ、タブレット、携帯電話などを含むが、これらに限定されるものではない。
図4の媒体送達システム400及び/又はビデオ符号化システム410は、コンテンツ分配産業の様々なセグメントで利用され得る。
図5は、ここに記述されたビデオ符号化システムを使用し得るビデオ分配システム500の模式図である。ビデオ分配システム500はビデオコントリビュータ505を含む。ビデオコントリビュータ505は、デジタル衛星ニュース収集システム506、イベント放送507、及び遠隔スタジオ508を含むが、これらに限定されるものではない。これらのビデオコントリビュータ505の各々又はいずれかは、図2Aのビデオ符号化システム200のようなここで記述されたビデオ符号化システムを使用し得て、媒体ソースデータを符号化して、符号化されたデータを通信リンクに提供し得る。デジタル衛星ニュース収集システム506は、符号化されたデータを衛星502に提供し得る。イベント放送507は、符号化されたデータをアンテナ501に提供し得る。遠隔スタジオ508は、符号化されたデータをネットワーク503に提供し得る。
プロダクションセグメント510は、コンテンツオリジネータ512を含み得る。コンテンツオリジネータ512は、ビデオコントリビュータ505のいずれか又は組み合わせから、符号化されたデータを受け取り得る。コンテンツオリジネータ512は、受け取ったコンテンツを利用可能にし、且つ、受け取ったコンテンツの任意のものを編集、合成、及び/又は操作して、コンテンツを利用可能にする。コンテンツオリジネータ512は、図2Aのビデオ符号化システム200のようなここで記述されたビデオ符号化システムを使用し得て、符号化されたデータを衛星514(又はその他の通信リンク)に提供し得る。コンテンツオリジネータ512は、符号化されたデータを、ネットワーク又はその他の通信リンクを介してデジタル地上テレビシステム516に提供し得る。いくつかの例では、コンテンツオリジネータ512は、復号化器を使用して、コントリビュータ505から受け取ったコンテンツを復号し得る。コンテンツオリジネータ512はそれから、データを再符号化し、その符号化されたデータを衛星514に提供し得る。他の例では、コンテンツオリジネータ512は、受け取ったデータを復号せず、トランスコーダを使用して、受け取ったデータの符号フォーマットを変え得る。
一次分配セグメント520は、デジタル放送システム521、デジタル地上テレビシステム516、及び/又はケーブルシステム523を含み得る。デジタル放送システム521は、図4を参照して記述した受信機422のような受信機を含み得て、符号化されたデータを衛星514から受け取る。デジタル地上テレビシステム516は、図4を参照して記述した受信機422のような受信機を含み得て、符号化されたデータをコンテンツオリジネータ512から受け取る。ケーブルシステム523は、それ自身のコンテンツをホストし得て、これは、プロダクションセグメント510及び/又はコントリビュータセグメント505から受け取られても受け取られなくてもよい。例えば、ケーブルシステム523は、図4を参照して記述されたもののような、それ自身の媒体ソースデータ402を提供し得る。
デジタル放送システム521は、図2Aのビデオ符号化システム200のようなビデオ符号化システムを含み得て、符号化されたデータを衛星525に提供する。ケーブルシステム523は、図2Aのビデオ符号化システム200のようなビデオ符号化システムを含み得て、符号化されたデータをネットワーク又はその他の通信リンクを介してケーブルローカルヘッドエンド532に提供する。二次分配セグメント530は、例えば衛星525及び/又はケーブルローカルヘッドエンド532を含み得る。
ケーブルローカルヘッドエンド532は、図2Aのビデオ符号化システム200のようなビデオ符号化システムを含み得て、符号化されたデータをネットワーク又はその他の通信リンクを介してクライアントセグメント440のクライアントに提供する。衛星525は、信号をクライアントセグメント540のクライアントに放送し得る。クライアントセグメント540は、図4を参照して記述された受信機422及び関連した復号化器のような受信機を含み得て、コンテンツを復号し、最終的にはコンテンツをユーザに利用可能にする。クライアントセグメント540は、セットトップボックス、タブレット、コンピュータ、サーバ、ラップトップ、デスクトップ、携帯電話などの装置を含み得る。
したがって、フィルタリング、符号化、及び/又は復号化が、ビデオ分配システムの数多くの点のどこでも、利用され得る。本発明の実施形態は、これらのセグメントのいずれか、あるいはいくつかの例では全てにおいて、使用例を見出し得る。
本発明が様々な実施形態を参照して記述されてきたが、これらの実施形態が描写的であり、本開示の範囲がそれらに限定されるものではないことが理解されるべきである。多くの変更、改変、付加、及び改良が可能である。より一般的には、本開示に従った実施形態は、特定の実施形態の文脈で記述されてきている。機能性は、開示の様々な実施形態では分離され又は異なる手順で組み合され得て、あるいは、異なる用語で記述され得る。これらの及びその他の変更、改変、付加、及び改良は、以下の請求項に規定される本開示の範囲内に含まれ得る。

Claims (17)

  1. ベースバンドビデオデータのストリームを符号化するビデオ符号化方法であって、
    前記ベースバンドビデオデータのストリームを複数の符号単位として受け取るステップと、
    前記複数の符号単位における各符号単位に対して、
    前記符号単位の統計値を収集するステップと、
    前記符号単位に対する量子化パラメータ(QP)を、対応する統計値から決定するステップと、
    前記QP、第1のコーデック、及びフレーム内符号化を使用して前記符号単位を試行符号化して、試行符号化された符号単位を生成するステップと、
    前記試行符号化された符号単位に基づいて前記QPをアップデートするステップと、
    前記試行符号化された符号単位が、前記試行符号化された符号単位のビットサイズの前記試行符号化された符号単位のターゲットビットサイズに対する比が所定の範囲内であるという所定の基準を満たすまで、前記符号単位の試行符号化及び前記QPのアップデートを繰り返すステップと、
    前記アップデートされたQP、前記第1のコーデックよりもプロセッサの負荷が小さい第2のコーデック、及びフレーム間符号化を使用して前記符号単位を最終符号化し、最終符号化された符号単位を生成するステップと、
    を含む、
    ことを特徴とする方法。
  2. 前記複数の符号単位の各符号単位が、前記ベースバンドビデオデータのストリームのフレーム、前記ベースバンドビデオデータのストリームのスライス、あるいは、前記ベースバンドビデオデータのストリームのマクロブロック、のうちの一つである、請求項1に記載の方法。
  3. 前記ベースバンドビデオデータのストリームが複数のフレームを含むベースバンドビデオデータを含み、
    ベースバンドビデオデータの各フレームが複数の符号単位を含む、請求項1に記載の方法。
  4. 前記複数の符号単位における各符号単位に対して、前記符号単位の最終符号化が、
    前記アップデートされたQPを使用して前記符号単位を予測フレーム符号化し、最終符号化された符号単位を生成するステップ、又は、
    前記アップデートされたQPを使用して前記符号単位を双方向予測フレーム符号化し、最終符号化された符号単位を生成するステップ、
    のうちの一つである、請求項3に記載の方法。
  5. 前記複数の符号単位における各符号単位に対して、
    前記符号単位の試行符号化は、
    前記QPを使用して前記符号単位をMPEG−2符号化し、試行符号化された符号単位を生成するステップ、
    前記QPを使用して前記符号単位をMPEG−4符号化し、試行符号化された符号単位を生成するステップ、又は、
    前記QPを使用して前記符号単位をH.264符号化し、試行符号化された符号単位を生成するステップ、
    のうちの一つを含み、
    前記符号単位の最終符号化は、
    前記アップデートされたQPを使用して前記符号単位をMPEG−2符号化し、最終符号化された符号単位を生成するステップ、
    前記アップデートされたQPを使用して前記符号単位をMPEG−4符号化し、最終符号化された符号単位を生成するステップ、又は、
    前記アップデートされたQPを使用して前記符号単位をH.264符号化し、最終符号化された符号単位を生成するステップ、
    のうちの一つを含む、請求項3に記載の方法。
  6. 前記複数の符号単位における各符号単位に対して、
    前記QPをアップデートするステップが、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の平均ビットサイズを計算するステップと、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の前記平均ビットサイズに基づいて、前記複数の試行符号化された符号単位のターゲットビットサイズを決定するステップと、
    前記試行符号化された符号単位のビットサイズを前記試行符号化された符号単位のターゲットビットサイズと比較するステップと、
    前記符号単位に対する前記アップデートされたQPを、対応する試行統計値及びQPに基づいて、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも少ないときには前記QPを減らし、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも多いときには前記QPを増やすことによって、決定するステップと、
    を含む、請求項3に記載の方法。
  7. 前記複数の符号単位における各符号単位に対して、
    前記QPをアップデートするステップが、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の平均ビットサイズを計算するステップと、
    前記試行符号化された符号単位とベースバンドビデオデータのストリームの対応する符号化単位との間の歪みを計算するステップと、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の前記平均ビットサイズと、前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応するデータパケットとの間の前記歪みと、に基づいて、前記複数の試行符号化された符号単位のターゲットビットサイズを決定するステップと、
    前記試行符号化された符号単位のビットサイズを前記試行符号化された符号単位のターゲットビットサイズと比較するステップと、
    前記符号単位に対する前記アップデートされたQPを、対応する試行統計値及びQPに基づいて、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも少ないときには前記QPを減らし、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも多いときには前記QPを増やすことによって、決定するステップと、
    を含む、請求項3に記載の方法。
  8. 前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の前記歪みを計算するステップが、
    前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の絶対的な差の合計、
    前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の二乗差の合計、または、
    前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の構造的類似性インデックス、
    の少なくとも一つを使用する、請求項7に記載の方法。
  9. 前記複数の符号単位における各符号単位に対して、
    前記QPをアップデートするステップが、
    前記試行符号化された符号単位の試行統計値を収集するステップと、
    前記符号単位に対する更新されたQPを、対応する試行統計値及びQPに基づいて決定するステップと、
    を含む、請求項1に記載の方法。
  10. 前記複数の符号単位における各符号単位に対して、
    前記試行符号化された符号単位の試行統計値を、前記試行符号化された符号単位をターゲットビットサイズと比較して収集するステップと、
    前記符号単位に対する前記アップデートされたQPを、対応する試行統計値及びQPに基づいて、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも少ないときには前記QPを減らし、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも多いときには前記QPを増やすことによって、決定するステップと、
    を含む、請求項9に記載の方法。
  11. 前記所定の基準が、
    前記試行符号化された符号単位のQPが所定の回数だけアップデートされていることである、請求項1に記載の方法。
  12. ベースバンドビデオデータのストリームを、一度に一つの符号単位で受け取る入力バッファと、
    前記入力バッファに結合され、前記受け取った符号単位の統計値を収集し且つ前記収集した統計値から前記受け取った符号単位に対する量子化パラメータ(QP)を決定するように構成された、第1のプロセッサモジュールと、
    前記入力バッファ及び前記第1のプロセッサモジュールに結合され、前記QP、第1のコーデック、及びフレーム内符号化を使用して前記符号単位を符号化して試行符号化された符号単位を生成するように適合された、試行符号化モジュールと、
    前記第1のプロセッサモジュール及び前記試行符号化モジュールに結合され、前記試行符号化された符号単位が、前記試行符号化された符号単位のビットサイズの前記試行符号化された符号単位のターゲットビットサイズに対する比が所定の範囲内であるという所定の基準を満たすかどうかを判定し、前記試行符号化された符号単位が前記所定の基準を満たしていたら最終QPをQPに等しく設定し、そうでなければ、前記試行符号化された符号単位に基づいて前記QPをアップデートし、前記試行符号化モジュールに前記アップデートされたQPを使用して前記符号単位の試行符号化を繰り返すように指令するように適合された、第2のプロセッサモジュールと、
    前記入力バッファ及び前記第2のプロセッサモジュールに結合され、前記アップデートされたQP、前記第1のコーデックよりもプロセッサの負荷が小さい第2のコーデック、及びフレーム間符号化を使用して前記符号単位を符号化し、最終符号化された符号単位を生成するように適合された、最終符号化モジュールと、
    を備え
    ことを特徴とするビデオ符号化器。
  13. 前記ベースバンドビデオデータのストリームが、複数のフレームを含むベースバンドビデオデータを含み、前記複数のフレームの各フレームが複数の符号単位を含む、請求項12に記載のビデオ符号化器。
  14. 前記最終符号化モジュールが、
    予測フレーム符号化モジュール、又は、双方向予測フレーム符号化モジュール、のうちの一つを含む、請求項13に記載のビデオ符号化器。
  15. 前記試行符号化モジュールは、MPEG−4符号化モジュール、又は、H.264符号化モジュール、のうちの一つを含み、
    前記最終符号化モジュールは、MPEG−4符号化モジュール、又は、H.264符号化モジュール、のうちの一つを含む、請求項13に記載のビデオ符号化器。
  16. 前記第2のプロセッサモジュールがさらに、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の平均ビットサイズを計算し、
    前記試行符号化された符号単位のターゲットビットサイズを、前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の前記平均ビットサイズに基づいて決定し、
    前記試行符号化された符号単位のビットサイズを前記試行符号化された符号単位のターゲットビットサイズと比較する、
    ように適合されており、
    前記QPのアップデートが、
    前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも少ないときには前記QPを減らし、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも多いときには前記QPを増やす、請求項13に記載のビデオ符号化器。
  17. 前記第2のプロセッサモジュールがさらに、
    前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の平均ビットサイズを計算し、
    前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の歪みを計算し、
    前記複数の試行符号化された符号単位のターゲットビットサイズを、前記試行符号化された符号単位を含む試行符号化されたフレームの前記複数の試行符号化された符号単位の前記平均ビットサイズ、及び、前記試行符号化された符号単位と前記ベースバンドビデオデータのストリームの対応する符号化単位との間の前記歪み、に基づいて決定し、
    前記試行符号化された符号単位のビットサイズを前記試行符号化された符号単位のターゲットビットサイズと比較する、
    ように適合されており、
    前記QPのアップデートが、
    前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも少ないときには前記QPを減らし、前記試行符号化された符号単位のビットサイズが前記ターゲットビットサイズよりも多いときには前記QPを増やす、請求項13に記載のビデオ符号化器。
JP2016552421A 2013-11-04 2014-10-08 マルチパス適応量子化のための方法及び装置 Active JP6357542B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/071,341 2013-11-04
US14/071,341 US10356405B2 (en) 2013-11-04 2013-11-04 Methods and apparatuses for multi-pass adaptive quantization
PCT/US2014/059661 WO2015065669A1 (en) 2013-11-04 2014-10-08 Methods and apparatuses for multi-pass adaptive quantization

Publications (2)

Publication Number Publication Date
JP2017500830A JP2017500830A (ja) 2017-01-05
JP6357542B2 true JP6357542B2 (ja) 2018-07-11

Family

ID=53004935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552421A Active JP6357542B2 (ja) 2013-11-04 2014-10-08 マルチパス適応量子化のための方法及び装置

Country Status (5)

Country Link
US (1) US10356405B2 (ja)
EP (1) EP3066831A1 (ja)
JP (1) JP6357542B2 (ja)
CA (1) CA2928404C (ja)
WO (1) WO2015065669A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
KR20240036644A (ko) * 2021-09-03 2024-03-20 구글 엘엘씨 스트리밍 애플리케이션을 위한 다중 시도 인코딩 오퍼레이션

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2534914Y2 (ja) * 1991-06-14 1997-05-07 日本電気ホームエレクトロニクス株式会社 画像データの圧縮符号化装置
JPH05167998A (ja) 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
JPH09191458A (ja) * 1996-01-10 1997-07-22 Nippon Columbia Co Ltd 動画像圧縮符号化方法及びその装置
JPH10108184A (ja) * 1996-10-02 1998-04-24 Sony Corp 画像データ処理装置およびその方法
KR100667607B1 (ko) * 1997-07-29 2007-01-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더
JP2000350211A (ja) * 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2001223593A (ja) * 2000-02-10 2001-08-17 Fuji Photo Film Co Ltd データ符号化方法および装置並びに記録媒体
US7027655B2 (en) 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
JP4148041B2 (ja) 2003-06-27 2008-09-10 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7675970B2 (en) 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
JP2007522724A (ja) 2004-01-30 2007-08-09 トムソン ライセンシング アダプティブレートコントロールによるエンコーダ
JP2007043495A (ja) * 2005-08-03 2007-02-15 Fujitsu Ltd 画像処理装置及び画像処理方法
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8135062B1 (en) * 2006-01-16 2012-03-13 Maxim Integrated Products, Inc. Method and apparatus for QP modulation based on perceptual models for picture encoding
JP4695016B2 (ja) * 2006-05-11 2011-06-08 日本電信電話株式会社 動画像符号化方法,装置,プログラムおよびその記録媒体
US8077775B2 (en) 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
KR100790149B1 (ko) * 2006-07-27 2008-01-02 삼성전자주식회사 비디오 인코딩 데이터율 제어 방법
JP2008252225A (ja) * 2007-03-29 2008-10-16 Pioneer Electronic Corp 動画像符号化装置及び方法
US8582647B2 (en) 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
JP4709187B2 (ja) * 2007-07-10 2011-06-22 日本電信電話株式会社 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9445110B2 (en) 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
EP2059049A1 (en) 2007-11-07 2009-05-13 British Telecmmunications public limited campany Video coding
JP4911053B2 (ja) * 2008-01-31 2012-04-04 日本電気株式会社 画像データ量子化装置、画像データ量子化方法および画像データ量子化プログラム
US8902972B2 (en) 2008-04-11 2014-12-02 Qualcomm Incorporated Rate-distortion quantization for context-adaptive variable length coding (CAVLC)
JP4979655B2 (ja) * 2008-08-07 2012-07-18 キヤノン株式会社 画像符号化装置及びその制御方法
JP5042978B2 (ja) * 2008-12-12 2012-10-03 Kddi株式会社 データ符号化装置及びデータ符号化方法
KR101060495B1 (ko) 2009-03-19 2011-08-30 주식회사 코아로직 인코딩 장치와 방법 및 그 인코딩 장치를 포함한 멀티미디어 장치
EP2422505B1 (en) 2009-04-21 2018-05-23 Marvell International Ltd. Automatic adjustments for video post-processor based on estimated quality of internet video content
US20120039389A1 (en) 2009-04-28 2012-02-16 Telefonaktiebolaget L M Ericsson Distortion weighing
WO2010127692A1 (en) * 2009-05-05 2010-11-11 Telefonaktiebolaget Lm Ericsson (Publ) Scalable video coding method, encoder and computer program
US8848788B2 (en) 2009-05-16 2014-09-30 Thomson Licensing Method and apparatus for joint quantization parameter adjustment
US8582645B2 (en) 2009-06-11 2013-11-12 Texas Instruments Incorporated Reducing flicker in the display of video streams
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
JP5618128B2 (ja) 2010-02-22 2014-11-05 ソニー株式会社 符号化装置、符号化方法、およびプログラム
US20120026394A1 (en) 2010-07-30 2012-02-02 Emi Maruyama Video Decoder, Decoding Method, and Video Encoder
US8483272B2 (en) 2010-09-24 2013-07-09 Intel Corporation System and method for frame level bit rate control without pre-analysis
US8644383B2 (en) 2011-03-10 2014-02-04 Microsoft Corporation Mean absolute difference prediction for video encoding rate control
WO2012170910A1 (en) 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization
US9426494B2 (en) 2011-07-18 2016-08-23 Ziilabs Inc., Ltd. Systems and methods with early variance measure used to optimize video encoding
JP5873290B2 (ja) * 2011-10-26 2016-03-01 キヤノン株式会社 符号化装置
KR20130101900A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 전자 장치 및 인코딩 방법
US8848061B2 (en) 2012-06-27 2014-09-30 Apple Inc. Image and video quality assessment
BR112015013768A2 (pt) * 2012-12-18 2017-07-11 Sony Corp dispositivo, e, método de processamento de imagem
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20150063461A1 (en) 2013-08-27 2015-03-05 Magnum Semiconductor, Inc. Methods and apparatuses for adjusting macroblock quantization parameters to improve visual quality for lossy video encoding
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
US20150208069A1 (en) 2014-01-23 2015-07-23 Magnum Semiconductor, Inc. Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding

Also Published As

Publication number Publication date
CA2928404C (en) 2018-11-13
US20150124870A1 (en) 2015-05-07
JP2017500830A (ja) 2017-01-05
EP3066831A1 (en) 2016-09-14
WO2015065669A1 (en) 2015-05-07
CA2928404A1 (en) 2015-05-07
US10356405B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
US8718135B2 (en) Method and system for transcoding based robust streaming of compressed video
US8194729B2 (en) Apparatus and method for matching compressed video data under wireless fading environment
US20140269901A1 (en) Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
US10230956B2 (en) Apparatuses and methods for optimizing rate-distortion of syntax elements
EP1549074A1 (en) A bit-rate control method and device combined with rate-distortion optimization
US20140219331A1 (en) Apparatuses and methods for performing joint rate-distortion optimization of prediction mode
US20090080518A1 (en) Rate control and video denoising for noisy video data
US10432931B2 (en) Method for time-dependent visual quality encoding for broadcast services
US20150172660A1 (en) Apparatuses and methods for providing optimized quantization weight matrices
WO2015195409A1 (en) Apparatuses and methods for parameter selection during rate-distortion optimization
US20150071343A1 (en) Methods and apparatuses including an encoding system with temporally adaptive quantization
US10264261B2 (en) Entropy encoding initialization for a block dependent upon an unencoded block
WO2015038510A1 (en) Apparatuses and methods for adjusting coefficients using dead zones
US20140294072A1 (en) Apparatuses and methods for staggered-field intra-refresh
JP6357542B2 (ja) マルチパス適応量子化のための方法及び装置
US20070098064A1 (en) Effective rate control for video encoding and transcoding
US20150256832A1 (en) Apparatuses and methods for performing video quantization rate distortion calculations
US20150016509A1 (en) Apparatuses and methods for adjusting a quantization parameter to improve subjective quality
US20150085922A1 (en) Apparatuses and methods for reducing rate and distortion costs during encoding by modulating a lagrangian parameter
US9392286B2 (en) Apparatuses and methods for providing quantized coefficients for video encoding
US20150208069A1 (en) Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding
Khan et al. Rate Control Methods Evaluation and Analysis for H. 263 and MPEG-4 Video Codec

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6357542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250