JP2013251903A - 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム - Google Patents
多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム Download PDFInfo
- Publication number
- JP2013251903A JP2013251903A JP2013116321A JP2013116321A JP2013251903A JP 2013251903 A JP2013251903 A JP 2013251903A JP 2013116321 A JP2013116321 A JP 2013116321A JP 2013116321 A JP2013116321 A JP 2013116321A JP 2013251903 A JP2013251903 A JP 2013251903A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- encoding
- region
- macroblock
- bit amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 170
- 238000013139 quantization Methods 0.000 claims description 244
- 230000008569 process Effects 0.000 claims description 117
- 238000001514 detection method Methods 0.000 claims description 22
- 239000010410 layer Substances 0.000 description 724
- 238000010586 diagram Methods 0.000 description 37
- 230000006872 improvement Effects 0.000 description 22
- 210000000707 wrist Anatomy 0.000 description 16
- 230000003247 decreasing effect Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】第1階層で入力ビデオデータをエンコードする段階と、入力ビデオデータについての、第1階層でのエンコード結果に基づいたエンコード統計情報を生成させる段階と、エンコード統計情報を用いて、第2階層での領域別に割り当てられるターゲットビット量を定める段階と、ターゲットビット量に基づいて、入力ビデオデータについての第2階層でのエンコード処理を行う段階と、を含む多階層ビデオコーディングのためのレート制御方法。
【選択図】 図25
Description
ネットワーク環境が多様になり、帯域幅が変化するネックワーク環境に適用されるビデオデータを圧縮するためには、新たな圧縮技術が必要となる。このような必要に応じて開発された圧縮技術が、多階層ビデオコーデック技術である。このような、多階層ビデオエンコード時に画質の劣化を防止するためにビットレートを制御する技術が必要となる。
本発明の他の目的は、下位階層でのエンコード結果に基づいて生成されたエンコード統計情報及び/または関心領域情報を用いて、上位階層でのビットレートを制御するビデオエンコーダを提供することにある。
本発明のさらに他の目的は、本発明の実施形態による多階層ビデオコーディングのためのレート制御方法をコンピュータで行わせるためのプログラムを記録した、コンピュータで読み取り可能な保存媒体を提供することにある。
本発明の実施形態によれば、前記領域は、ピクチャグループ、フレームまたはマクロブロックのうち少なくとも一つ以上を備える。
本発明の実施形態によれば、前記エンコード統計情報は、前記第1階層のエンコード実行過程で領域別に計算された現在フレームと予測フレームとのピクセルの絶対差の和に関する情報を含む。
本発明の実施形態によれば、前記エンコード統計情報は、前記第1階層で計算された領域別複雑度情報を含む。
本発明の実施形態によれば、前記第1階層及び第2階層でエンコードされるビデオデータの空間的解像度が異なる場合に空間的解像度を一致させるために、アップスケーリングまたはダウンスケーリング処理されたエンコード統計情報に基づいて前記第2階層での領域別に割り当てられるターゲットビット量を定める。
本発明の実施形態によれば、前記第2階層でのマクロブロック別に割り当てられるターゲットビット量は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和に基づいて定められる。
本発明の実施形態によれば、前記第2階層のフレーム別に割り当てられるターゲットビット量は、前記第1階層での領域別複雑度情報、及び第1階層でのピクチャグループでのフレームビット占有情報のうち少なくとも一つの情報に基づいて定められる。
本発明の実施形態によれば、前記領域別に割り当てられたターゲットビット量と、第2階層のエンコード過程で発生したビット量の差に連動して、領域別に割り当てられたパラメータ値を調節する方式で前記量子化パラメータ値を定める。
本発明の実施形態によれば、前記入力ビデオデータに関する関心領域情報を生成させる段階と、前記関心領域情報に基づいて、前記入力ビデオデータについての第2階層での領域別に割り当てられる量子化パラメータ値を定める段階と、をさらに含む。
本発明の実施形態によれば、前記量子化パラメータ値を定める段階は、前記関心領域情報に基づいて、関心領域での第1量子化パラメータを定め、非関心領域情報に基づいて、非関心領域での第2量子化パラメータを定め、前記第1パラメータと前記第2パラメータとは異なる。
本発明の技術的思想の他の面によるビデオエンコード装置は、入力ビデオデータについての第1階層でのエンコード結果に基づいたエンコード統計情報を生成させるように構成される第1階層で、入力ビデオデータをエンコードするための第1エンコード処理部と、前記エンコード統計情報に基づいて、前記第2階層でのエンコード処理時に適用する第2量子化パラメータ値を生成する第2レート制御部と、前記第2量子化パラメータ値を適用して、前記入力ビデオデータについての第2階層でのエンコード処理を行う第2エンコード処理部と、を備える。
本発明の実施形態によれば、前記第2レート制御部は、前記エンコード統計情報に基づいて、第2階層での領域別に割り当てられるターゲットビット量を定めるビット量決定器と、前記ターゲットビット量及び前記第2エンコード処理部で発生したビット量の差に基づいて、量子化パラメータ値を生成する量子化パラメータ生成器と、を備える。
本発明の実施形態によれば、前記ビット量決定器は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和に基づいて、前記第2階層でのマクロブロック別に割り当てられるターゲットビット量を定める。
本発明の実施形態によれば、前記ビット量決定器は、前記第1階層で計算された領域別複雑度情報、及び第1階層でのピクチャグループでフレームビット占有情報のうち少なくとも一つの情報に基づいて、前記第2階層のフレーム別に割り当てられるターゲットビット量を定める。
本発明の技術的思想のさらに他の面によるビデオ信号処理システムは、ソースビデオデータを、基本階層及び少なくとも一つ以上の向上階層でそれぞれエンコード処理する多階層エンコーダと、前記多階層エンコーダでエンコード処理されたビデオデータを、有線または無線ネットワークを通じてターゲットデバイスに送信する送信器と、を備え、前記多階層エンコーダは、前記基本階層でのエンコード結果に基づいたエンコード統計情報に基づいて、前記向上階層で領域別に割り当てられるターゲットビット量を定める。
本発明の実施形態によれば、前記多階層エンコーダは、前記ソースビデオデータに関する関心領域情報に基づいて、前記向上階層で領域別に割り当てられる量子化パラメータ値を定める。
本発明の実施形態によれば、前記第2量子化パラメータ値を用いて、第2階層からビデオデータをエンコードするための第2エンコードプロセッサをさらに備える。
本発明の実施形態によれば、前記第1階層でエンコードするために、第1量子化パラメータ値を生成するための第1レートコントローラをさらに備える。
異なって定義されない限り、技術的や科学的な用語を含んでここで使われるあらゆる用語は、当業者によって一般的に理解されるものと同じ意味を持つ。一般的に使われる予め定義されている用語は、関連技術の文脈上持つ意味と一致する意味を持つと解釈されなければならず、本出願で明らかに定義しない限り、理想的または過度に形式的な意味には解釈されない。
図1に示したように、ビデオ信号処理システム1000は、ソースデバイス100及び腕先デバイス200を備える。
図1で、腕先デバイス200は、説明の便宜のために単一の腕先デバイスとして表示したが、複数の腕先デバイスで構成されてもよい。
ソースデバイス100は、一つ以上のビデオソースからデジタルビデオコンテンツを獲得し、獲得されたデジタルビデオコンテンツを腕先デバイス200に送信するために、エンコード処理を行う。デジタルビデオコンテンツは、例えば、リアルタイムでキャプチャリングされることがあり、またプレキャプチャリングされてもよい。
ソースデバイス100は、スケーラビリティを持つように多階層エンコード機能を支援する。多階層エンコードは一例であり、スケーラブルエンコードなどが含まれる。
スケーラビリティとは、一つのビデオシーケンスを圧縮して得たストリームから、解像度とフレームレート及び画質を異ならせる多様なビデオシーケンスを復元できる特性を意味する。すなわち、一つのビデオデータを複数のビットストリームにコーディングしてチャネル特性に合わせて伝送することである。例えば、3つのビットストリームにコーディングしたならば、チャネル特性が悪い時は最低品質レベルの最初のビットストリームのみを伝送し、チャネル特性がさらに良好になれば、最初のビットストリームと、最初のビットストリームより上位品質レベルの第2のビットストリームを伝送する。そして、チャネル特性がさらに優秀になれば、品質レベルの最も高い第3のビットストリームを最初のビットストリーム及び第2のビットストリームと共に伝送する。
例えば、ソースデバイス100は、ITU−T H.264/MPEG−4、Part 10 AVC標準のSVC方式によってソースビデオデータを基本階層としてエンコード処理し、向上階層では、本発明で説明する方式によってエンコード処理できる。
腕先デバイス200は、前述したような多様なビデオ圧縮標準のうち一つの標準によって動作する。
図2に示したように、ソースデバイス100は、ビデオソース110、ビデオエンコーダ120及び送信器130を備える。そして、腕先デバイス200は、受信器210、ビデオデコーダ220及びディスプレイデバイス230を備える。
ビデオソース110は、ビデオキャプチャーデバイスであり、例えば、ビデオカメラ、ビデオコンテンツ供給装置、カメラフォン、ビデオフォン、カメラ付き携帯電話などが含まれる。
ビデオエンコーダ120は、ビデオソース110からビデオデータを受信し、受信されたビデオデータを、基本階層ビットストリーム及び一つ以上の向上階層ビットストリームとしてエンコード処理する。ビデオエンコーダ120は、多階層エンコード機能を支援する。
基本階層エンコーダ121及び向上階層エンコーダ122は、ビデオソース110から共通のビデオデータを受信する。
基本階層エンコーダ121は、ビデオデータを第1ビットレートにエンコードし、第1品質レベルのビデオの基本階層ビットストリームを生成する。そして、基本階層エンコーダ121は、基本階層でのエンコード結果に基づいたエンコード統計情報を生成する。例えば、エンコード統計情報は、基本階層での基準サイズ別にエンコード処理のために生成されたビット量に関する情報、基本階層のエンコード実行過程で基準サイズ別に計算される現在フレームと予測フレームとのピクセルの絶対差の和に関する情報、基本階層で計算された基準サイズに関する複雑度情報のうち一つ以上の情報が含まれる。ここで、基準サイズは、ピクチャグループ(GOP;Group of Picture)、フレーム(frame)またはマクロブロック(macroblock)サイズのうち少なくとも一つ以上を含む。
フレームバッファ123には、基本階層エンコーダ121でエンコード結果に基づいて生成されたエンコード統計情報が保存される。そして、基本階層エンコーダ121で生成された関心領域情報も保存される。また、H.264標準によって、向上階層エンコーダ122でエンコード処理時に用いられる基本階層エンコーダ121で生成された情報も保存される。例えば、フレームバッファ123には、基本階層エンコーダ121でエンコード処理過程で生成されたフレーム間(inter)またはフレーム内(intra)の予測情報、動き情報、レジデュアル(residual)情報が保存される。
空間的スケーラビリティは、入力されるフレームデータをアップサンプリングまたはダウンサンプリング処理により実現する。
イントラコーディングは、空間的予測によってフレームまたはマクロブロック内のビデオデータでの空間的冗長を低減または除去する。イントラコーディングは、現在コーディングされているマクロブロックと同じフレーム内の一つ以上の予めエンコードされたマクロブロックに基づいて、空間的予測マクロブロックを形成する。
基本階層エンコーダ121は、イントラコーディングの例であり、現在フレームの基本階層内の一つ以上の予めエンコードされたマクロブロックのピクセル値を用いて補間を行うことで、フレーム内の一つ以上の予めエンコードされたマクロブロックに基づいて予測ブロックを生成する。
例えば、向上階層エンコーダ122は、現在のマクロブロックを、基本階層及び/または向上階層での一つ以上の隣接しているフレーム内のマクロブロックと比べてもよい。
基本階層エンコーダ121及び向上階層エンコーダ122は、変換、量子化及びエントロピコーディング処理によってレジデュアルマクロブロックのビットレートを低減させる。離散コサイン変換(DCT)、整数変換、ウェーブレット変換、方向性変換または他の変換演算を含む変換技術は、ピクセル差値のセットを、周波数ドメインでピクセル差値のエネルギを示すレジデュアル変換係数に変換する。
基本階層エンコーダ121は、フレームまたはマクロブロック別に初期設定されたターゲットビット量と、基本階層のエントロピコーディング処理で生成されたビット量とに基づいて量子化パラメータ値を定める。
品質スケーラビリティは、レジデュアル量子化によって実現される。例えば、最小品質レベルでビデオデータをエンコードする基本階層エンコーダ121は、向上階層の係数を量子化するために、向上階層エンコーダ122によって用いられた量子化パラメータQP値よりさらに大きい量子化パラメータQP値を用いて、基本階層の係数を量子化する。
基本階層エンコーダ121及び向上階層エンコーダ122は、2次元レジデュアルマクロブロックをスキャニングして係数の1次元ベクトルを生成し、係数ベクトルをエントロピコーディングしてレジデュアル係数をさらに圧縮する。エントロピコーディングは、例えば、可変長コーティング(VLC)、算術コーディング、固定長コーディング、CAVLC(Context−Adaptive VLC)、CABAC(Context−Adaptive Binary Arithmetic Coding)、または他のエントロピコーディング技術を含んでもよい。
基本階層エンコーダ121は、例えば、係数ベクトルの最初から始めて、ノンゼロ(non−zero)係数それぞれを単一のエンコードパスで一つずつエンコードする。
基本階層エンコーダ121は、ラン・レングスそれぞれを個別的にエンコードするためにVLCテーブルを選択する。基本階層エンコーダ121は、ラン・シンボルの和及びこれまでコーディングされたランの和に基づいて、現在のラン値をエンコードするためにVLCテーブルを選択する。例えば、係数ベクトルが8のランの和を持ち、エンコードされた最後のノンゼロ係数前にエンコードされたランが6ならば、すべての残りのランは0、1または2でなければならない。可能なラン長は、それぞれの付加的なランがエンコードされるにつれて段々短くなるため、基本階層エンコーダ30は、効率的なVLCテーブルを選択してランを示すのに用いられるビットの数を低減させる。
向上階層エンコーダ122は、基本階層のエンコード結果に基づいたエンコード統計情報を用いて、基準サイズ別に割り当てられるターゲットビット量を割り当てる方式でレートを制御することで、向上階層でのエンコード中に係数ベクトルの量子化レジデュアル係数のうち一つ以上を廃棄してもよい。
ソースデバイス100は、このようにビデオエンコーダ120でエンコードされたビデオデータを、送信器130を通じて腕先デバイス200に送信する。
腕先デバイス200は、受信器210、ビデオデコーダ220及びディスプレイデバイス230を備える。
受信器210は、チャネル300を通じてソースデバイス100からエンコードされたビデオビットストリームを受信する。前述したように、エンコードされたビデオビットストリームは、基本階層ビットストリーム及び一つ以上の向上階層ビットストリームを含む。そして、チャネル300は、有線または無線通信チャネルで具現される。
腕先デバイス200によって受信される向上階層の数はチャネル状態に依存する。
基本階層デコーダ221は、基本階層でエンコードされたビデオビットストリームをデコードし、基本階層の量子化されたレジデュアル係数のベクトルを示すシンボルを獲得する。
基本階層デコーダ221及び向上階層デコーダ222は、それぞれデコードされた、量子化されたレジデュアル係数を用いて復元された基本階層ビデオデータ、及び復元された向上階層ビデオデータを生成する。すなわち、量子化されたレジデュアル係数を逆量子化し、逆量子化されたレジデュアル係数を逆変換処理し、ピクセル値のレジデュアルマクロブロックを生成する。そして、ピクセル値のレジデュアルマクロブロックに予測マクロブロックを加えてビデオデータを復元する。
復元されたビデオデータは、ディスプレイデバイス230を通じてディスプレイされる。ディスプレイデバイス230は、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、有機LEDディスプレイなどの多様なデバイスが適用される。
まず、図3に示した本発明の一実施形態による多階層エンコーダについて説明する。
図3は、本発明の一実施形態による空間スケーラビリティを支援する多階層エンコーダの構成図である。
図3に示したように、多階層エンコーダ120Aは、基本階層エンコーダ121A、向上階層エンコーダ122A及びフレームバッファ123Aを備える。
具体的に、基本階層エンコーダ121Aは、第1エンコード処理部10A及び第1レート制御部20Aを備え、向上階層エンコーダ122Aは、第2エンコード処理部30A、第2レート制御部40A及びアップサンプリング部50を備える。
多階層エンコーダ120Aに、オリジナル映像の解像度を持つビデオデータが入力されれば、基本階層エンコーダ121Aは、オリジナルビデオデータを直接エンコード処理し、向上階層エンコーダ122Aは、オリジナルビデオデータを、アップサンプリング部50によってアップサンプリング処理して高い解像度を持つビデオデータに変換した後、エンコード処理を行う。
基本階層エンコーダ121Aの第1エンコード処理部10Aは、入力されるフレームデータを、第1レート制御部20Aから印加される量子化パラメータ値QP1に基づいて定められたビットレートにエンコードして、第1解像度を持つ基本階層ビットストリームを生成する。
第1エンコード処理部10Aで生成されたエンコード統計情報は、フレームバッファ123Aに保存される。
第1レート制御部20Aは、第1ターゲットビットレートによって、第1階層の領域別に割り当てられるターゲットビット量及び量子化パラメータ値を定める。
向上階層エンコーダ122Aの第2エンコード処理部30Aは、アップサンプリング処理されたフレームデータを、第2レート制御部40Aから印加される量子化パラメータ値QP2に基づいて定められたビットレートにエンコードし、第2解像度を持つ向上階層ビットストリームを生成する。
第2レート制御部40Aは、第2階層の領域別に割り当てられる量子化パラメータ値を定める。例えば、第2ターゲットビットレートによって第2階層での領域別に割り当てられる量子化パラメータ値が定められる。他の例として、関心領域情報によって、第2階層での領域別に割り当てられる量子化パラメータ値が定められてもよい。
図17Aないし図17Cは、向上階層でエンコードされるビデオデータによる解像度が、基本階層でエンコードされるビデオデータによる解像度に比べて高い例を示す。
図17A及び図17Bを参照すれば、基本階層でフレーム別にエンコードを行いつつ生成されたエンコード統計情報を、向上階層に対応するフレームについてのエンコードを行うのに用いるように向上階層に伝送する。エンコード統計情報は、ピクチャまたはマクロブロック単位のSAD値、ピクチャまたはマクロブロック単位で実際に生成されたビット量である。図17Aは、Iピクチャ及びPピクチャで構成されたGOPでのエンコード実行過程の例を示したものであり、図17Bは、Iピクチャ、Bピクチャ及びPピクチャで構成されたGOPでのエンコード実行過程の例を示したものである。
次いで、図4に示した本発明の他の実施形態による多階層エンコーダについて説明する。
図4に示したように、多階層エンコーダ120Bは、基本階層エンコーダ121B、向上階層エンコーダ122B及びフレームバッファ123Bを備える。
具体的に、基本階層エンコーダ121Bは、第1エンコード処理部10B、第1レート制御部20B及びダウンサンプリング部60を備え、向上階層エンコーダ122Bは、第2エンコード処理部30B及び第2レート制御部40Bを備える。
多階層エンコーダ120Bにオリジナル映像の解像度を持つビデオデータが入力されれば、向上階層エンコーダ122Bは、オリジナルビデオデータを直接エンコード処理し、基本階層エンコーダ121Bは、オリジナルビデオデータをダウンサンプリング処理し、オリジナル映像の解像度より低い解像度を持つビデオデータで変換した後でエンコード処理を行う。
基本階層エンコーダ121Bのダウンサンプリング部60は、入力されるフレームデータを、基本階層の解像度に好適にダウンサンプリングする。ダウンサンプリング部60でダウンサンプリング処理されたフレームデータは、第1エンコード処理部10Bに印加される。
基本階層エンコーダ121Bの第1エンコード処理部10Bは、エンコード結果に基づいたエンコード統計情報を生成する。基本階層エンコーダ121Bで生成されるエンコード統計情報は、図3に示したエンコード統計情報と同一である。
基本階層エンコーダ121Bで生成されたエンコード統計情報は、フレームバッファ123Bに保存される。
向上階層エンコーダ122Bの入力されるフレームデータを、第2レート制御部40Bから印加される量子化パラメータ値QP2に基づいて定められたビットレートにエンコードして、第2解像度の向上階層ビットストリームを生成する。
第2レート制御部40Bは、第2階層の領域別に割り当てられる量子化パラメータ値を定める。例えば、第2ターゲットビットレートによって第2階層での領域別に割り当てられる量子化パラメータ値が定められる。他の例として、関心領域情報によって第2階層での領域別に割り当てられる量子化パラメータ値を定めてもよい。
図5に示したように、多階層エンコーダ120Cは、基本階層エンコーダ121C、向上階層エンコーダ122C及びフレームバッファ123Cを備える。
具体的に、基本階層エンコーダ121Cは、第1エンコード処理部10C及び第1レート制御部20Cを備え、向上階層エンコーダ122Cは、第2エンコード処理部30C、第2レート制御部40Cを備える。
品質スケーラビリティを支援する多階層エンコーダで、基本階層と向上階層とでエンコードするビデオデータの解像度が同一であれば、向上階層でのアップ/ダウンサンプリング処理が不要になる。
基本階層エンコーダ121Cは、エンコード結果に基づいたエンコード統計情報を生成する。基本階層エンコーダ121Cで生成されるエンコード統計情報は、図3に示したエンコード統計情報と同一である。
基本階層エンコーダ121Cで生成されたエンコード統計情報は、フレームバッファ123Cに保存される。
第2レート制御部40Cは、向上階層でエンコード処理するマクロブロックの位置に対応する基本階層のエンコード統計情報をフレームバッファ123Bから読み出し、読み出した基本階層のエンコード統計情報に基づいてマクロブロック及び/またはフレームについてのターゲットビット量を定め、定められたマクロブロック及び/またはフレームについてのターゲットビット量と、向上階層のエントロピコーディング処理で実際に生成されたビット量Bits_INF2との差に連動して、領域別に割り当てられた量子化パラメータ値を調整し、第2エンコード処理部30Cに印加する量子化パラメータ値QP2を定める。
図18Aないし図18Dは例として、MGS(Medium Grained Scalability)とCGS(Coarse Grained Scalability)基盤などの多様な多階層ビデオコーディング事例を示す。
図18Aないし図18Cを参照すれば、基本階層でフレーム別にエンコードを行いつつ生成されたエンコード統計情報を、向上階層に対応するフレームについてのエンコードを行うのに用いるように向上階層に伝送する。エンコード統計情報は、ピクチャまたはマクロブロック単位のSAD値及び/または実際に生成されたビット量になる。例えば、基本階層は、MGS quality layer_0に当たり、向上階層は、周波数領域に変換された係数が分割されたMGS quality layerの組み合わせで形成される。
図18Dを参照すれば、基本階層で生成されたエンコード統計情報であるマクロブロック単位のSAD値ME_MB_SAD及び/またはピクチャ単位のSAD値ME_PIC_SADに基づいて、向上階層についてのマクロブロックのターゲットビート値MB_target_bitを定める。
図6に示したように、多階層エンコーダ120Dは、基本階層エンコーダ121D、向上階層エンコーダ122D及びフレームバッファ123Dを備える。
具体的に、基本階層エンコーダ121Dは、第1エンコード処理部10A、第1レート制御部20A及び関心領域ROI検出部70を備え、向上階層エンコーダ122Dは、第2エンコード処理部30D、第2レート制御部40D及びアップサンプリング部50を備える。
関心領域検出部70は、フレームデータを分析し、映像の複雑度情報、映像の動き量情報または映像の画素分布度情報のうち一つ以上の情報を用いて関心領域ROI情報を算出する。例えば、映像の変化程度または映像の動き量または画素分布度が第1しきい値以上である領域を関心領域と定め、映像の変化程度または映像の動き量または画素分布度が第2しきい値以下である領域を非関心領域と定める。ここで第1しきい値は、第2しきい値より大きい値に設定される。関心領域情報を算出する具体的な方式については、下記の図9ないし図11で後述する。
これによって、基本階層エンコーダ121Dは、エンコード結果に基づいたエンコード統計情報を生成する。
フレームバッファ123Dには、基本階層エンコーダ121Dで生成されたエンコード統計情報及び関心領域ROI情報が保存される。
向上階層エンコーダ122Dの第2エンコード処理部30Dは、アップサンプリング処理されたビデオデータを、第2レート制御部40Dから印加される量子化パラメータ値QP2に基づいて定められたビットレートにエンコードし、第2解像度の向上階層ビットストリームを生成する。
他の例として、第2レート制御部40Dは、向上階層の解像度に相応する第2ターゲットビットレートに基づいてマクロブロックについてのターゲットビット量を定めてもよい。
そして、第2レート制御部40Dは、基本階層でエンコーダで生成された関心領域ROI情報に基づいて、向上階層で領域別に割り当てられる量子化パラメータ値を定める。例えば、関心領域内での量子化パラメータ値を、非関心領域内の量子化パラメータ値に比べて相対的に小さな値に定める。
図20A及び図20Bを参照すれば、基本階層でフレーム別エンコードを行いつつ生成された関心領域ROI情報を、向上階層に対応するフレームについての量子化パラメータ値を割り当てるのに用いるように向上階層に伝送する。
図20Aは、Iピクチャ及びPピクチャで構成されたGOPでのエンコード実行過程の例を示すものであり、図20Bは、Iピクチャ、Bピクチャ及びPピクチャで構成されたGOPでのエンコード実行過程の例を示すものである。
例えば、図20Cには、向上階層での一つのピクチャに含まれたマクロブロックの数は、基本階層での一つのピクチャに含まれたマクロブロックの数の4倍に当たる場合を示す。図20Cでは、基本階層の一つのマクロブロックで生成された関心領域情報を用いて、向上階層についての4個のマクロブロックについての量子化パラメータ値を割り当てる。
図22を参照すれば、関心領域で、量子化パラメータ値は29に割り当てられ、非関心領域では、量子化パラメータ値が51に割り当てられ、関心領域でも非関心領域でもない一般領域では、量子化パラメータ値が40に割り当てられる。
図7に示したように、多階層エンコーダ120Eは、基本階層エンコーダ121E、向上階層エンコーダ122E及びフレームバッファ123Eを備える。
具体的に、基本階層エンコーダ121Eは、第1エンコード処理部10B、第1レート制御部20B、ダウンサンプリング部60及び関心領域ROI検出部70を備え、向上階層エンコーダ122Eは、第2エンコード処理部30E及び第2レート制御部40Eを備える。
関心領域検出部70は、図6で前述したように、入力される映像データを分析して関心領域ROI情報を算出する。
基本階層エンコーダ121Eのダウンサンプリング部60は、入力されるオリジナルビデオデータを基本階層の解像度に好適にダウンサンプリングする。ダウンサンプリング部60でダウンサンプリング処理されたビデオデータは、第1エンコード処理部10Bに印加される。
フレームバッファ123Eには、基本階層エンコーダ121Eで生成されたエンコード統計情報及び関心領域ROI情報が保存される。
一例として、第2レート制御部40Eは、向上階層でエンコード処理するマクロブロックの位置に対応する基本階層のエンコード統計情報をフレームバッファ123Eから読み出し、読み出した基本階層のエンコード統計情報に基づいてマクロブロック及び/またはフレームについてのターゲットビット量を定める。
そして、第2レート制御部40Eは、基本階層でエンコーダで生成された関心領域ROI情報に基づいて、向上階層で領域別に割り当てられる量子化パラメータ値を定める。例えば、関心領域内の量子化パラメータ値を、非関心領域内の量子化パラメータ値に比べて相対的に小さな値に定める。
第2レート制御部40Eは、現在マクロブロックに割り当てられたターゲットビット量と、現在マクロブロックのエントロピコーディング処理で実際に生成されたビット量Bits_INF2との差に連動して、次のマクロブロックに割り当てられている量子化パラメータ値を調整する。例えば、ターゲットビット量が実際に生成されたビット量Bits_INF2より大きい場合には、次いで処理するマクロブロックについて割り当てられた量子化パラメータ値を減少させ、ターゲットビット量が実際に生成されたビット量Bits_INF2より小さな場合には、次いで処理するマクロブロックについて割り当てられた量子化パラメータ値を増加させる。そして、ターゲットビット量が実際に生成されたビット量Bits_INF2と同じ場合には、次いで処理するマクロブロックに割り当てられている量子化パラメータQP2値をそのまま維持する。そして、フレーム別最初のマクロブロックについてのエンコード処理時には、関心領域情報によって割り当てられている量子化パラメータ値を適用する。
図8に示したように、多階層エンコーダ120Fは、基本階層エンコーダ121F、向上階層エンコーダ122F及びフレームバッファ123Fを備える。
具体的に、基本階層エンコーダ121Fは、第1エンコード処理部10C、第1レート制御部20C及び関心領域ROI検出部70を備え、向上階層エンコーダ122Eは、第2エンコード処理部30F及び第2レート制御部40Fを備える。
関心領域検出部70は、図6で前述したように、入力される映像データを分析して関心領域ROI情報を算出する。
フレームバッファ123Fには、基本階層エンコーダ121Fで生成されたエンコード統計情報及び関心領域ROI情報が保存される。
向上階層エンコーダ122Fは、入力されるオリジナルフレームデータを、第2レート制御部40Fから印加される量子化パラメータQP2値に基づいて定められたビットレートにエンコードし、第2解像度の向上階層ビットストリームを生成する。
他の例として、第2レート制御部40Fは、向上階層の解像度に相応する第2ターゲットビットレートによってマクロブロックについてのターゲットビット量を定めてもよい。
そして、第2レート制御部40Fは、基本階層でエンコーダで生成された関心領域ROI情報に基づいて、向上階層についての量子化パラメータ値を割り当てる。例えば、関心領域内での量子化パラメータ値を、非関心領域内の量子化パラメータ値に比べて相対的に小さな値に定める。
図21Aないし図21Dは、例えば、MGSとCGS基盤などの多様な多階層ビデオコーディング事例を示す。
そして、図21B及び図21Cを参照すれば、基本階層Quality layer_0でフレーム別にエンコードを行いつつ生成された関心領域ROI情報を、向上階層Quality layer_1に対応するフレームについての量子化パラメータ値を割り当てるのに用いるように向上階層に伝送する。
第2レート制御部40Fは、現在マクロブロックに割り当てられたターゲットビット量と、現在マクロブロックのエントロピコーディング処理で実際に生成されたビット量との差に連動して、次のマクロブロックに割り当てられている量子化パラメータ値を調整し、第2エンコード処理部40Fに印加する量子化パラメータ値QP2を定める。
図6ないし図8に示した関心領域ROI検出部についての構成の例を、図9ないし図11に示した。
映像複雑度計算部71Aは、入力フレームデータのマクロブロックごとに境界面(interface)と検出される画素の数を、映像複雑度として計算する。ここで、映像複雑度とは、映像の変化が大きいかどうかを示す尺度を意味する。このために映像複雑度計算部71Aは、キャニーエッジ検出器(Canny Edge Detector)などの境界面検出方法を用いて映像の複雑度を算出する。
領域決定部72Aは、マクロブロックごとに境界面と検出される画素の数が初期設定された第1しきい値より大きい領域、または境界面周辺の画素の画素値が初期設定された第2しきい値より大きい領域を関心領域と定める。
動き量計算部71Bは、入力フレームデータのマクロブロック別に動きベクトルを検出し、検出されたマクロブロック別動きベクトルの水平方向成分と垂直方向成分それぞれを二乗して加えた値の平方根で動き量を求める。
領域決定部72Bは、マクロブロック別に計算された動き量が初期設定された第3しきい値より大きい領域、または周辺領域の動き量が初期設定された第4しきい値より大きいか、または同じ領域を関心領域と定める。
画素分布度計算部71Cは、入力フレームデータについてヒストグラムインターセクションを適用して各画素値の累積個数を求め、画素分布度を求める。
領域決定部72Cは、マクロブロック別に計算された画素分布度が初期設定された第5しきい値より大きい領域、または周辺領域の画素分布度が初期設定された第6しきい値より大きいか、または同じ画素分布度を持つ領域を関心領域と定める。
次いで、図12ないし図14は、本発明の実施形態による向上階層エンコーダ122Aないし122Fの第2レート制御部40Aないし40Fの詳細的な構成例を示す。
図12を参照すれば、本発明の一実施形態による第2レート制御部40Aないし40Fは、ビット量決定器41A及び量子化パラメータ決定器を備える。
ビット量決定器41Aは、基本階層で生成されたエンコード統計情報に基づいて向上階層の領域別ターゲットビット量を定める。
詳細には、向上階層の解像度が基本階層の解像度より高い場合には、基本階層でマクロブロック別に生成されたビット量を向上階層の解像度に好適にアップスケーリングした結果として、向上階層のマクロブロックについてのターゲットビット量を定める。そして、向上階層の解像度が基本階層の解像度より低い場合には、基本階層でマクロブロック別に生成されたビット量を向上階層の解像度に好適にダウンサンプリングした結果として、向上階層のマクロブロックについてのターゲットビット量を定める。
ビット量決定器41Aは、数式1を用いて向上階層のi番目(iは、1以上の整数)のマクロブロックに割り当てられるターゲットビット量Tmb(i)を算出する。
他の例として、ビット量決定器41Aは、基本階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和SADに基づいて、向上階層のマクロブロックについてのターゲットビット量を定める。
詳細には、ビット量決定器41Aは、数式2を用いて向上階層のi番目(iは、1以上の整数)のマクロブロックに割り当てられるターゲットビット量Tmb(i)を算出する。
詳細には、ビット量決定器41Aは、数式3を用いて向上階層のi番目(iは、1以上の整数)のマクロブロックに割り当てられるターゲットビット量Tmb(i)を算出する。
図19A及び図19Bは、本発明の実施形態による多階層エンコーダでの基本階層のエンコード統計情報を用いて、向上階層のフレームについてのターゲットビット量を定める方法を示す概念図である。
図19A及び図19Bを参照すれば、基本階層でエンコードを行いつつ算出されたフレーム複雑度及びピクチャグループでのフレームビット占有情報を、向上階層のフレーム別に割り当てられるターゲットビット量の決定に用いるために向上階層に伝送する。
詳細には、ビット量決定器41Aは、数式4を用いて向上階層のi番目(iは、1以上の整数)のフレームに割り当てられるターゲットビット量TENH_frame[i]を算出する。
数式4を参照すれば、例えば、ピクチャグループのうちIピクチャがPピクチャに比べて分母値が小くなり、基本階層のフレームについての複雑度が高くなるほど分母値が小くなるようにFRAME_WEIGHT関数を定める。
向上階層のターゲットビットレートに基づいて、向上階層でのマクロブロック別に量子化パラメータを初期値に割り当てる。例えば、向上階層のすべてのマクロブロックについて、同じ量子化パラメータ値を初期値に割り当てる。
ビット量決定器41Bは、向上階層のピクチャまたはピクチャグループ別に割り当てられたターゲットビット量に基づいて、該ピクチャのマクロブロック別ターゲットビット量を定める。この場合には、基本階層で生成されたエンコード統計情報を用いなくてもよい。
ビット量決定器41Aは、図12に示したビット量決定器41Aと同じ構成手段に当たり、量子化パラメータ決定器42Bは、図13に示した量子化パラメータ決定器42Bと同じ構成手段に当たる。
これによって、ビット量決定器41Aは、基本階層で生成されたエンコード統計情報に基づいて、向上階層の基準サイズ別にターゲットビット量を定める。例えば、数式1ないし数式3のうち一つの数式を用いて、向上階層のi番目のマクロブロックに割り当てられるターゲットビット量Tmb(i)を算出する。
そして、量子化パラメータ決定器42Bは、基本階層でエンコード処理したビデオフレームで生成された関心領域情報に基づいて、向上階層のマクロブロックについての量子化パラメータ値を割り当てる。
図15を参照すれば、本発明の一実施形態による多階層エンコーダは、基本階層エンコーダ300、向上階層エンコーダ400A、フレームバッファ500及び第1、2メモリ600、700を備える。
例えば、オリジナルビデオデータの解像度がCIFならば、基本階層エンコーダ300は、CIF解像度のオリジナルビデオデータをエンコード処理する。そして、向上階層エンコーダ400Aは、アップサンプリングによって解像度を高めたSDまたはHDのビデオデータをエンコード処理する。
関心領域ROI検出部301は、入力されるフレームデータから関心領域を検出し、これを示す関心領域情報を算出する。例えば、図9ないし図11に示した関心領域検出部70Aないし70Cの回路構成で具現される。
第1インタ予測部302は、現在フレームのブロックと、一つ以上の隣接フレームでのブロックとを比較して動き情報を生成させ、生成された動き情報に基づいて現在フレームでエンコードするブロックについての予測ブロックを生成する。ここで、一つ以上の隣接フレームは、以前にエンコードされたブロックから復元されたデータを保存する第1メモリ600から提供される。
第1モード選択部304は、エンコードされているブロックが含まれたフレームのピクチャタイプがIタイプである場合に、第1イントラ予測部303で生成された予測ブロックを選択して出力し、エンコードされているブロックが含まれたフレームのピクチャタイプがPタイプまたはBタイプである場合に、第1インタ予測部302で生成された予測ブロックを選択して出力する。
第1逆変換部312は、第1逆量子化部311で復元されたレジデュアル変換係数を逆変換処理してレジデュアルブロックを復元する。
第1加算部306は、復元されたレジデュアルブロックと、第1モード選択部304で出力される予測ブロックとを加えてビデオブロックを復元する。
第1エントロピコーディング部309は、量子化されたレジデュアル変化係数を、可変長コーディング(VLC)、算術コーディング、または他のエントロピコーディング技術を用いてエントロピコーディング処理し、ビットストリームに出力する。第1エントロピコーディング部309は、エントロピコーディング処理でビット発生情報を出力する。ビット発生情報は、例えば、領域別に発生したビット量に関する情報でありうる。
基本階層エンコーダ300で生成されたエンコード統計情報は、フレームバッファ500に保存される。また、基本階層エンコーダ300は、階層間予測のために基本階層のエンコード処理過程で生成されるイントラピクチャ情報、動き情報、レジデュアル情報もフレームバッファ500に保存される。
向上階層エンコーダ400Aは、階層間予測のために基本階層で生成された参照情報であるイントラピクチャ情報、動き情報、レジデュアル情報を用いてエンコード処理を行う。
また、向上階層エンコーダ400Aは、基本階層エンコード結果に基づいて生成されたエンコード統計情報及び/または関心領域情報を用いてビットレートを制御する。
アップサンプリング部401Aは、ビデオフレームデータを、向上階層で規定する解像度を持つビデオフレームデータに変換させるようにアップサンプリング処理する。
第2イントラ予測部403は、現在コーディングされているブロックと同じフレーム内の基本階層及び向上階層の一つ以上のエンコードされたブロックに基づいて予測ブロックを生成する。
第2逆変換部412は、第2逆量子化部411で復元されたレジデュアル変換係数を逆変換処理してレジデュアルブロックを復元する。
第2加算部406は、復元されたレジデュアルブロックと、第2モード選択部404で出力される予測ブロックとを加えてビデオブロックを復元する。
第2エントロピコーディング部409は、量子化されたレジデュアル変化係数を、可変長コーディング(VLC)、算術コーディング、または他のエントロピコーディング技術を用いてエントロピコーディング処理し、ビットストリームに出力する。第2エントロピコーディング部409は、エントロピコーディング処理で生成されたビット量を示すビット発生情報(Bit generation information)を生成し、第2レート制御部410に出力する。
第2レート制御部410は、フレームバッファ500から読み出した基本階層のエンコード統計情報を用いて、マクロブロック及び/またはフレームについてのターゲットビット量を定める。例えば、数式1ないし数式3を用いて、向上階層のi番目のマクロブロックに割り当てられるターゲットビット量Tmb(i)を定める。また、第2レート制御部410は、数式4を用いて、向上階層のi番目のフレームに割り当てられるターゲットビット量TENH_frame[i]を定める。
そして、第2レート制御部410は、現在マクロブロックに割り当てられたターゲットビット量と、現在マクロブロックのエントロピコーディング処理で実際に生成されたビット量との差に連動して、次のマクロブロックに割り当てられている量子化パラメータ値を調整する。エントロピコーディング処理で実際に生成されたビット量は、エントロピコーディング部409で生成されたビート生成情報から分かる。
図16を参照すれば、本発明の実施形態による多階層エンコーダは、基本階層エンコーダ300、向上階層エンコーダ400B、フレームバッファ500及び第1、2メモリ600、700を含む。
基本階層エンコーダ300は関心領域ROI検出部301、第1インタ予測部302、第1イントラ予測部303、第1モード選択部304、第1減算部305、第1加算部306、第1変換部307、第1量子化部308、第1エントロピコーディング部309、第1レート制御部310、第1逆量子化部311、第1逆変換部312及び第1フィルタ313を備える。
例えば、オリジナルビデオデータの解像度がHDならば、基本階層エンコーダ300は、HD解像度のオリジナルビデオデータをエンコード処理する。そして、向上階層エンコーダ400Bは、ダウンサンプリングによって解像度を低下させたSDまたはCIFのビデオデータをエンコード処理する。
図15に示した多階層エンコーダの向上階層エンコーダ400Aは、フレームデータをアップサンプリング部401Aでアップサンプリング処理して高い解像度を持つフレームデータに変換させた後、エンコード処理を行う。
これによって、図16に示した多階層エンコーダの基本階層エンコーダ300は、図15に示した基本階層エンコーダ300と構成及び動作が同一である。そして、図16に示した多階層エンコーダの向上階層エンコーダ400Bは、図15に示した向上階層エンコーダ400Aに適用されたアップサンプリング部401Aの代りにダウンサンプリング部401Bを適用する構成以外の残りの構成及び動作は同一であるので、重なる説明は略する。
参照までに、図15の多階層エンコーダの向上階層エンコーダ400A構成でアップサンプリング部401Aを削除し、現在フレームデータを第2インタ予測部402、第2イントラ予測部403及び第2減算部405にそれぞれ印加すれば、品質スケーラビリティを支援する多階層エンコーダを具現する。
まず、多階層エンコーダは、第1階層でのエンコード結果に基づいたエンコード統計情報を生成させる(S110)。第1階層は、ITU−T H.264/MPEG−4、Part 10 AVC標準で規定する基本階層になりうる。また、第1階層は、ITU−T H.264/MPEG−4、Part 10 AVC標準で規定する向上階層のうちの一つの階層になりうる。第1階層は、第2階層に比べて低い階層でなければならない。よって、第1階層を下位階層と称し、第2階層を上位階層と称してもよい。
次いで、多階層エンコーダは、段階120(S120)で定められたターゲットビット量を適用し、第2階層でのエンコード処理を行う(S130)。多階層エンコーダは、第2階層で領域別に定められたターゲットビット量に基づいて、ビットレートを調節しつつ第2階層でのエンコード処理を行う。
図24を参照すれば、多階層エンコーダは、第2階層について定められた領域別ターゲットビット量と、第2階層のエンコード過程で領域別に発生したビット量との差に連動して、第2階層のエンコード処理に適用される量子化パラメータ値を定める(S210)。多階層エンコーダは、第2階層について定められたマクロブロック及び/またはフレームについてのターゲットビット量と、第2階層のエントロピコーディング処理で実際に生成されたビット量との差に連動して、量子化パラメータ値を定める。例えば、基本階層のエンコード統計情報に基づいて定められたターゲットビット量が実際に生成されたビット量より大きい場合には、次いで処理するマクロブロックについての量子化パラメータ値を減少させ、基本階層のエンコード統計情報に基づいて定められたターゲットビット量が実際に生成されたビット量より小さな場合には、次いで処理するマクロブロックについての量子化パラメータ値を増加させる。そして、ターゲットビット量が実際に生成されたビット量と同じ場合には、次いで処理するマクロブロックについての量子化パラメータ値をそのまま維持する。
次いで、本発明の他の実施形態によるビデオエンコード装置での多階層ビデオコーディングのためのレート制御方法についても、図25のフローチャートを参照して説明する。
多階層エンコーダは、段階310(S310)で生成された関心領域情報に基づいて、第2階層での量子化パラメータ値を割り当てる(S320)。多階層エンコーダは、第1階層で生成された関心領域情報に基づいて、第2階層で領域別に割り当てられるパラメータ値を定める。例えば、第2階層でエンコードするマクロブロック位置に対応する第1階層のマクロブロックを探し出し、探し出した第1階層のマクロブロックに関する関心領域情報を用いて、第2階層についてのマクロブロックの量子化パラメータ値を割り当てる。図24に示したように、関心領域内での量子化パラメータ値を、非関心領域内の量子化パラメータ値に比べて相対的に小さな値に定める。
まず、多階層エンコーダは、第1階層でのエンコード結果に基づいたエンコード統計情報及び関心領域ROI情報を生成する(S410)。第1階層でのエンコード結果に基づいたエンコード統計情報及び関心領域ROI情報を生成するプロセスについては上述したので、重なる説明は略する。
図27を参照すれば、本発明の実施形態によるビデオ供給装置2000は、プロセッサ(CPU)810、多階層エンコーダ820、ネットワークインターフェース(I/F)830、ユーザインターフェース(UI)840、ビデオソース850及びバス860を備える。
ビデオソース850は、ビデオキャプチャーデバイスであり、例えば、ビデオカメラ、ビデオコンテンツ供給装置、カメラフォン、ビデオフォン、カメラ付き携帯電話などが含まれる。
多階層エンコーダ820には、図2に示したようなビデオエンコーダ120が適用される。
ユーザインターフェース840は、プロセッサ810の動作を制御するための制御信号またはプロセッサ810によって処理されるデータを入力できる装置であり、タッチパッド、マウス、キーパッドまたはキーボードで具現される。
図28を参照すれば、図28は、本発明の実施形態によるビデオサービスシステム3000は、ネットワーク900、ビデオ供給装置910及びネットワーク900に接続された一つ以上の腕先デバイス911ないし917を備える。
ネットワーク900は、有線または無線通信網で具現される。
腕先デバイス911ないし917は、テレビ(TV)911、パソコン(PC)912、個人携帯情報端末(PDA)913、携帯電話914、ナビゲーション915、ビデオゲームデバイス916、ノート型パソコン917などが含まれる。腕先デバイスは、これに限定されず、デジタルビデオデータを受信してデコードできる多様なデバイスを含む。
100 ソースデバイス
110 ビデオソース
120 ビデオエンコーダ
130 送信器
2000 ビデオ供給装置
200 腕先デバイス
210 受信器
220 ビデオデコーダ
230 ディスプレイデバイス
810 プロセッサ(CPU)
820 多階層エンコーダ
830 ネットワークインターフェース(I/F)
840 ユーザインターフェース(UI)
850 ビデオソース
860 バス
3000 ビデオサービスシステム
900 ネットワーク
910 ビデオ供給装置
911ないし917 腕先デバイス
Claims (29)
- 第1階層で入力ビデオデータをエンコードする段階と、
前記入力ビデオデータについての、第1階層でのエンコード結果に基づいたエンコード統計情報を生成させる段階と、
前記エンコード統計情報を用いて、第2階層での領域別に割り当てられるターゲットビット量を定める段階と、
前記ターゲットビット量に基づいて、前記入力ビデオデータについての第2階層でのエンコード処理を行う段階と、を含むことを特徴とする多階層ビデオコーディングのためのレート制御方法。 - 前記領域は、ピクチャグループ、フレームまたはマクロブロックのうち少なくとも一つ以上を備えることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記エンコード統計情報は、前記第1階層での領域別エンコード実行過程で生成されたビット量に関する情報を含むことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記エンコード統計情報は、前記第1階層のエンコード実行過程で領域別に計算された現在フレームと予測フレームとのピクセルの絶対差の和に関する情報を含むことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記エンコード統計情報は、前記第1階層で計算された領域別複雑度情報を含むことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記エンコード統計情報は、前記第1階層でのエンコード処理過程で生成された領域別ビット量に関する情報、領域別に現在フレームと予測フレームとのピクセルの絶対差の和に関する情報、領域別複雑度情報のうち少なくとも2つ以上の情報を含むことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記第1階層及び第2階層でエンコードされるビデオデータの空間的解像度が異なる場合に空間的解像度を一致させるために、アップスケーリングまたはダウンスケーリング処理されたエンコード統計情報に基づいて前記第2階層での領域別に割り当てられるターゲットビット量を定めることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記第2階層でのマクロブロック別に割り当てられるターゲットビット量は、前記第2階層のマクロブロック位置にマッチングされる第1階層のマクロブロックについてのエンコード過程で生成されたビット量に基づいて定められることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記第2階層でのマクロブロック別に割り当てられるターゲットビット量は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和に基づいて定められることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記第2階層でのマクロブロック別に割り当てられるターゲットビット量は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックについてのエンコード時に生成されたビット量、及び前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和に基づいて定められることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記第2階層のフレーム別に割り当てられるターゲットビット量は、前記第1階層での領域別複雑度情報、及び第1階層でのピクチャグループでのフレームビット占有情報のうち少なくとも一つの情報に基づいて定められることを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記エンコード処理を行う段階は、前記ターゲットビット量に基づいて量子化パラメータ値を定め、前記量子化パラメータ値を適用して、前記入力ビデオデータについての第2階層のエンコード過程での量子化処理を行うことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記領域別に割り当てられたターゲットビット量と、第2階層のエンコード過程で発生したビット量の差に連動して、領域別に割り当てられたパラメータ値を調節する方式で前記量子化パラメータ値を定めることを特徴とする請求項12に記載の多階層ビデオコーディングのためのレート制御方法。
- 前記入力ビデオデータに関する関心領域情報を生成させる段階と、
前記関心領域情報に基づいて、前記入力ビデオデータについての第2階層での領域別に割り当てられる量子化パラメータ値を定める段階と、をさらに含むことを特徴とする請求項1に記載の多階層ビデオコーディングのためのレート制御方法。 - 入力ビデオデータに関する関心領域情報を生成する段階と、
前記関心領域情報に基づいて、向上階層の一つのフレームの複数の領域別に割り当てられる量子化パラメータ値を定める段階と、を含むことを特徴とする多階層ビデオコーディングのためのレート制御方法。 - 前記量子化パラメータ値を定める段階は、
前記関心領域情報に基づいて、関心領域での第1量子化パラメータを定め、非関心領域情報に基づいて、非関心領域での第2量子化パラメータを定め、前記第1パラメータと前記第2パラメータとは異なることを特徴とする請求項15に記載の多階層ビデオコーディングのためのレート制御方法。 - 前記関心領域情報は、映像の動き量、映像の複雑度、画素分布度のうち少なくとも一つ以上を用いて算出することを特徴とする請求項15に記載の多階層ビデオコーディングのためのレート制御方法。
- 入力ビデオデータについての第1階層でのエンコード結果に基づいたエンコード統計情報を生成させるように構成される第1階層で、入力ビデオデータをエンコードするための第1エンコード処理部と、
前記エンコード統計情報に基づいて、前記第2階層でのエンコード処理時に適用する第2量子化パラメータ値を生成する第2レート制御部と、
前記第2量子化パラメータ値を適用して、前記入力ビデオデータについての第2階層でのエンコード処理を行う第2エンコード処理部と、を備えることを特徴とするビデオエンコード装置。 - 前記エンコード統計情報は、前記第1階層での領域別にエンコード過程で生成されたビット量に関する情報、領域別現在フレームと予測フレームとのピクセルの絶対差の和に関する情報、領域別複雑度情報のうち少なくとも一つ以上の情報を含むことを特徴とする請求項18に記載のビデオエンコード装置。
- 前記第2レート制御部は、
前記エンコード統計情報に基づいて、第2階層での領域別に割り当てられるターゲットビット量を定めるビット量決定器と、
前記ターゲットビット量及び前記第2エンコード処理部で発生したビット量の差に基づいて、量子化パラメータ値を生成する量子化パラメータ生成器と、を備えることを特徴とする請求項18に記載のビデオエンコード装置。 - 前記ビット量決定器は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックについてのエンコード時に生成されたビット量に基づいて、前記第2階層でのマクロブロック別に割り当てられるターゲットビット量を定めることを特徴とする請求項20に記載のビデオエンコード装置。
- 前記ビット量決定器は、前記第2階層のマクロブロックにマッチングされる第1階層のマクロブロックで計算された現在フレームと予測フレームとのピクセルの絶対差の和に基づいて、前記第2階層でのマクロブロック別に割り当てられるターゲットビット量を定めることを特徴とする請求項20に記載のビデオエンコード装置。
- 前記ビット量決定器は、前記第1階層で計算された領域別複雑度情報、及び第1階層でのピクチャグループでフレームビット占有情報のうち少なくとも一つの情報に基づいて、前記第2階層のフレーム別に割り当てられるターゲットビット量を定めることを特徴とする請求項20に記載のビデオエンコード装置。
- 前記入力ビデオデータについての関心領域を検出し、前記検出された関心領域を示す関心領域情報を生成する関心領域検出部をさらに備え、前記レート制御部は、前記関心領域情報に基づいて第2階層での領域別に割り当てられる量子化パラメータ値を定めることを特徴とする請求項18に記載のビデオエンコード装置。
- ソースビデオデータを、基本階層及び少なくとも一つ以上の向上階層でそれぞれエンコード処理する多階層エンコーダと、
前記多階層エンコーダでエンコード処理されたビデオデータを、有線または無線ネットワークを通じてターゲットデバイスに送信する送信器と、を備え、前記多階層エンコーダは、前記基本階層でのエンコード結果に基づいたエンコード統計情報に基づいて、前記向上階層で領域別に割り当てられるターゲットビット量を定めることを特徴とするビデオ信号処理システム。 - 前記多階層エンコーダは、前記ソースビデオデータに関する関心領域情報に基づいて、前記向上階層で領域別に割り当てられる量子化パラメータ値を定めることを特徴とする請求項25に記載のビデオ信号処理システム。
- 第1階層で入力ビデオデータをエンコードし、前記第1階層で入力ビデオデータをエンコードした結果に基づいて、エンコード統計情報を生成させるように構成された第1エンコードプロセッサと、
前記エンコード統計情報を保存するバッファと、
第1階層でエンコードするために、前記エンコード統計情報に基づいて現在マクロブロックそれぞれについて第2量子化パラメータ値を生成させるための第2レートコントローラと、を備えることを特徴とするビデオエンコード装置。 - 前記第2量子化パラメータ値を用いて、第2階層からビデオデータをエンコードするための第2エンコードプロセッサをさらに備えることを特徴とする請求項27に記載のビデオエンコード装置。
- 前記第1階層でエンコードするために、第1量子化パラメータ値を生成するための第1レートコントローラをさらに備えることを特徴とする請求項27に記載のビデオエンコード装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0059428 | 2012-06-01 | ||
KR1020120059428A KR102001415B1 (ko) | 2012-06-01 | 2012-06-01 | 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013251903A true JP2013251903A (ja) | 2013-12-12 |
JP6291172B2 JP6291172B2 (ja) | 2018-03-14 |
Family
ID=49579609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013116321A Active JP6291172B2 (ja) | 2012-06-01 | 2013-05-31 | 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9420279B2 (ja) |
JP (1) | JP6291172B2 (ja) |
KR (1) | KR102001415B1 (ja) |
CN (1) | CN103458241B (ja) |
DE (1) | DE102013105461A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10579904B2 (en) | 2012-04-24 | 2020-03-03 | Stmicroelectronics S.R.L. | Keypoint unwarping for machine vision applications |
GB2504068B (en) * | 2012-07-11 | 2015-03-11 | Canon Kk | Methods and devices for controlling spatial access granularity in compressed video streams |
CN105075271A (zh) * | 2013-04-08 | 2015-11-18 | 索尼公司 | 利用shvc的关注区域可伸缩性 |
US20140321533A1 (en) * | 2013-04-29 | 2014-10-30 | Ati Technologies Ulc | Single-path variable bit rate video compression |
WO2015093920A1 (ko) * | 2013-12-20 | 2015-06-25 | 삼성전자 주식회사 | 휘도 보상을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US20150373341A1 (en) * | 2014-06-23 | 2015-12-24 | Cisco Technology, Inc. | Techniques for Interactive Region-Based Scalability |
US9813654B2 (en) * | 2014-08-19 | 2017-11-07 | Sony Corporation | Method and system for transmitting data |
KR102212762B1 (ko) * | 2014-09-17 | 2021-02-05 | 삼성전자주식회사 | 코덱과 이를 포함하는 장치들 |
US10091504B2 (en) * | 2015-01-08 | 2018-10-02 | Microsoft Technology Licensing, Llc | Variations of rho-domain rate control |
KR102511705B1 (ko) * | 2015-11-16 | 2023-03-20 | 삼성전자주식회사 | 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템 |
GB2544800A (en) * | 2015-11-27 | 2017-05-31 | V-Nova Ltd | Adaptive bit rate ratio control |
CN106856571B (zh) * | 2015-12-09 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种转码方法及装置 |
US10638047B2 (en) * | 2015-12-16 | 2020-04-28 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
KR20180053028A (ko) | 2016-11-11 | 2018-05-21 | 삼성전자주식회사 | 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치 |
FR3064145A1 (fr) * | 2017-03-16 | 2018-09-21 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
CN109151470B (zh) * | 2017-06-28 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 编码分辨率控制方法及终端 |
KR102543444B1 (ko) | 2017-08-29 | 2023-06-13 | 삼성전자주식회사 | 영상 부호화 장치 |
EP3721633A1 (en) * | 2017-12-06 | 2020-10-14 | V-Nova International Limited | Hierarchical data structure |
CN110049321B (zh) * | 2018-01-16 | 2022-09-06 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、设备及存储介质 |
CN112237002A (zh) * | 2018-06-29 | 2021-01-15 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
US11546611B2 (en) * | 2018-08-01 | 2023-01-03 | Samsung Display Co., Ltd. | Rate control for fixed rate foveated display compression |
WO2020036502A1 (en) * | 2018-08-14 | 2020-02-20 | Huawei Technologies Co., Ltd | Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection |
US20200068197A1 (en) * | 2018-08-27 | 2020-02-27 | Ati Technologies Ulc | Benefit-based bitrate distribution for video encoding |
CN111263192A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 视频处理方法及相关设备 |
KR20220003511A (ko) * | 2019-03-20 | 2022-01-10 | 브이-노바 인터내셔널 리미티드 | 낮은 복잡도 향상 비디오 코딩 |
MX2021011338A (es) * | 2019-03-20 | 2021-12-10 | V Nova Int Ltd | Procesamiento de residuos en codificacion de video. |
KR102640664B1 (ko) * | 2019-08-16 | 2024-02-26 | 엘지전자 주식회사 | Vr 디바이스 및 vr 디바이스 제어 방법 |
CN111491167B (zh) * | 2019-10-28 | 2022-08-26 | 华为技术有限公司 | 图像编码方法、转码方法、装置、设备以及存储介质 |
CN111541899A (zh) * | 2019-12-16 | 2020-08-14 | 北京中盾安全技术开发公司 | 时空域-质量融合的可分级视频编码装置及其编码方法 |
KR20220084574A (ko) | 2020-12-14 | 2022-06-21 | 엘지전자 주식회사 | 모터 제어 장치 및 모터 제어 방법 |
KR20220084590A (ko) | 2020-12-14 | 2022-06-21 | 엘지전자 주식회사 | 모터 제어 장치 및 모터 제어 방법 |
CN112866696A (zh) * | 2021-01-15 | 2021-05-28 | 北京锐马视讯科技有限公司 | 4k、8k、16k超高清视频编码优化控制方法和装置 |
CN113630619A (zh) * | 2021-08-12 | 2021-11-09 | 三星电子(中国)研发中心 | 节目录制方法和装置 |
GB2611131B (en) * | 2022-03-31 | 2023-11-22 | V Nova Int Ltd | Pre-analysis for video encoding |
US20240121395A1 (en) * | 2022-10-10 | 2024-04-11 | Alibaba Damo (Hangzhou) Technology Co., Ltd. | Methods and non-transitory computer readable storage medium for pre-analysis based resampling compression for machine vision |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013826A (ja) * | 1996-06-21 | 1998-01-16 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 |
JP2004336254A (ja) * | 2003-05-02 | 2004-11-25 | Sony Corp | 画像符号化装置及び方法 |
JP2004343451A (ja) * | 2003-05-15 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
WO2006038607A1 (ja) * | 2004-10-06 | 2006-04-13 | Nippon Telegraph And Telephone Corporation | スケーラブル符号化方法および装置,スケーラブル復号方法および装置,それらのプログラムおよびそれらプログラムを記録した記録媒体 |
JP2006319868A (ja) * | 2005-05-16 | 2006-11-24 | Kddi Corp | 画像圧縮符号化装置 |
JP2008541570A (ja) * | 2005-05-03 | 2008-11-20 | クゥアルコム・インコーポレイテッド | 多層ビデオ設計のためのレート制御 |
JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
JP2009182442A (ja) * | 2008-01-29 | 2009-08-13 | Univ Of Fukui | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
JP3132456B2 (ja) | 1998-03-05 | 2001-02-05 | 日本電気株式会社 | 階層的画像符号化方式、及び階層的画像復号方式 |
CN1186933C (zh) * | 2002-12-26 | 2005-01-26 | 上海交通大学 | 数字电视视频编码器并行图象序列码率控制方法 |
JP2007509525A (ja) | 2003-10-20 | 2007-04-12 | サムスン エレクトロニクス カンパニー リミテッド | 視覚的画質を均一にするビットレートコントロール方法及び装置 |
DE102004059978B4 (de) | 2004-10-15 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium |
US8619860B2 (en) | 2005-05-03 | 2013-12-31 | Qualcomm Incorporated | System and method for scalable encoding and decoding of multimedia data using multiple layers |
US8031777B2 (en) * | 2005-11-18 | 2011-10-04 | Apple Inc. | Multipass video encoding and rate control using subsampling of frames |
KR100825752B1 (ko) | 2005-11-21 | 2008-04-29 | 한국전자통신연구원 | Svc에서 효율적인 비트율 제어 방법 및 장치 |
KR100790986B1 (ko) | 2006-03-25 | 2008-01-03 | 삼성전자주식회사 | 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법 |
US8565314B2 (en) | 2006-10-12 | 2013-10-22 | Qualcomm Incorporated | Variable length coding table selection based on block type statistics for refinement coefficient coding |
US8199812B2 (en) | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
KR101210578B1 (ko) | 2008-12-23 | 2012-12-11 | 한국전자통신연구원 | 스케일러블 비디오 코딩에서의 비트율-왜곡값을 이용한 상위 계층의 빠른 부호화 방법 및 그 부호화 장치 |
JP5038367B2 (ja) | 2009-07-27 | 2012-10-03 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム |
WO2011084918A1 (en) * | 2010-01-06 | 2011-07-14 | Dolby Laboratories Licensing Corporation | High performance rate control for multi-layered video coding applications |
EP2622859B1 (en) * | 2010-09-29 | 2016-08-31 | Dolby Laboratories Licensing Corporation | Region based asymmetric coding for 3d video compression |
KR101333496B1 (ko) | 2010-11-30 | 2013-11-28 | 주식회사 유진로봇 | 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법 |
-
2012
- 2012-06-01 KR KR1020120059428A patent/KR102001415B1/ko active IP Right Grant
-
2013
- 2013-03-13 US US13/798,371 patent/US9420279B2/en active Active
- 2013-05-28 DE DE102013105461A patent/DE102013105461A1/de active Pending
- 2013-05-31 JP JP2013116321A patent/JP6291172B2/ja active Active
- 2013-06-03 CN CN201310217285.XA patent/CN103458241B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013826A (ja) * | 1996-06-21 | 1998-01-16 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 |
JP2004336254A (ja) * | 2003-05-02 | 2004-11-25 | Sony Corp | 画像符号化装置及び方法 |
JP2004343451A (ja) * | 2003-05-15 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
WO2006038607A1 (ja) * | 2004-10-06 | 2006-04-13 | Nippon Telegraph And Telephone Corporation | スケーラブル符号化方法および装置,スケーラブル復号方法および装置,それらのプログラムおよびそれらプログラムを記録した記録媒体 |
JP2008541570A (ja) * | 2005-05-03 | 2008-11-20 | クゥアルコム・インコーポレイテッド | 多層ビデオ設計のためのレート制御 |
JP2006319868A (ja) * | 2005-05-16 | 2006-11-24 | Kddi Corp | 画像圧縮符号化装置 |
JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
JP2009182442A (ja) * | 2008-01-29 | 2009-08-13 | Univ Of Fukui | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 |
Non-Patent Citations (1)
Title |
---|
宮林 正樹他3名: "TCPデータ通信との公平性を考慮した輻輳適応型レート制御によるMPEG−4動画像通信", 電子情報通信学会技術研究報告, vol. 100, no. 672, JPN6017004276, 2 March 2001 (2001-03-02), pages 193 - 200, ISSN: 0003637110 * |
Also Published As
Publication number | Publication date |
---|---|
CN103458241A (zh) | 2013-12-18 |
KR102001415B1 (ko) | 2019-07-18 |
US9420279B2 (en) | 2016-08-16 |
KR20130135659A (ko) | 2013-12-11 |
US20130322524A1 (en) | 2013-12-05 |
DE102013105461A1 (de) | 2013-12-05 |
JP6291172B2 (ja) | 2018-03-14 |
CN103458241B (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6291172B2 (ja) | 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム | |
CN101529911B (zh) | 用于对多层比特流数据进行信号指示的方法和系统 | |
JP4891234B2 (ja) | グリッド動き推定/補償を用いたスケーラブルビデオ符号化 | |
JP6055555B2 (ja) | 次世代ビデオのためのビデオコーデックアーキテクチャ | |
US8351502B2 (en) | Method and apparatus for adaptively selecting context model for entropy coding | |
CN108293138B (zh) | 有效和可缩放帧内视频/图像编码 | |
JP5590133B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
US20170155905A1 (en) | Efficient intra video/image coding using wavelets and variable size transform coding | |
US20060120450A1 (en) | Method and apparatus for multi-layered video encoding and decoding | |
WO2006112642A1 (en) | Method and apparatus for adaptively selecting context model for entropy coding | |
US20050074177A1 (en) | Video coding method | |
KR20140110221A (ko) | 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법 | |
US8395991B2 (en) | Non-scalable to scalable video converter | |
US20160360231A1 (en) | Efficient still image coding with video compression techniques | |
US20080013624A1 (en) | Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients | |
JP2012151894A (ja) | 画像シーケンスを符号化する方法または復号する方法および装置 | |
JP2018524916A (ja) | 拡張レイヤの現在ブロックの予測を求める方法および装置 | |
JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
Richter et al. | High speed, low-complexity image coding for IP-transport with JPEG XS | |
JP6528635B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP2007096540A (ja) | 符号化方法 | |
JP2018525901A (ja) | ディスプレイストリーム圧縮における変換モード用ブロックサイズの変更 | |
JP6265414B2 (ja) | 映像符号化装置及び映像復号装置 | |
JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
JP2001238220A (ja) | 動画像符号化装置および動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160531 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20161222 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6291172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |