JP2014520410A - ビットストリームの形をとるピクチャーを復号する方法 - Google Patents

Abstract

方法が、ビットストリームの形をとるピクチャーを復号する。ピクチャーは符号化され、係数のベクトルによって表される。各係数は、量子化された形をとる。ベクトルの走査順に基づいて各ベクトル内の特定の係数が選択される。その後、特定の係数の特性に基づいて１組のモードが推測される。その後、１組のモードに従ってビットストリームが復号される。

Description

本発明は、包括的にはピクチャーを符号化することに関し、より詳細には、変更された係数の特性に基づいて復号の演算を推測できるように、量子化された変換係数を変更することを用いてピクチャーを復号することに関する。

ピクチャー、ビデオ、画像または他の類似のデータが異なるモードを用いてビットストリームに圧縮されるとき、後続のデータを復号中に復号器がモードを適用する前に、復号器がどのモードを使用するかがわかるように、通常、ビットストリームのヘッダーフィールド内にモード情報が記憶される。

通常のビデオまたは画像圧縮システムにおいて、復号器は、エントロピー復号器によって構文解析された量子化済み変換係数を受信する。これらの量子化済み変換係数は、その後、逆変換に渡される。逆変換されたデータは、その後、元の信号を再構成するように種々の方法において用いられる。量子化器、変換部および後続の復号演算は、量子化済み変換係数を復号する前に、エントロピー復号器から同じく構文解析されたヘッダーデータにおいて受信された種々のモード指示子に基づいて行われる場合がある。

符号化システムにおいて更なるモード信号が望まれるとき、それらの信号によって、符号化された信号を表すのに用いられるビットストリームのサイズが大きくなる可能性がある。また、その符号化システムが、以前に合意された標準規格または仕様書に従う場合には、それらの仕様は、更なる指示子に対応するために変更される必要がある。

モードが明示的にシグナリングされた場合よりも、ビットストリームのサイズを低減するようにしてモード情報を暗黙的にシグナリングする方法が必要とされている。

また、結果として生成されたビットストリームを予め定義されたビットストリーム構文を用いて復号できるように、モード情報をシグナリングする方法も必要とされている。この方法を実用化するのに、符号化器または復号器においてビットストリームを使用することに関連して複雑さが増すのを制限する必要もある。一般的に、当該技術分野において、符号化器および復号器は「コーデック」として知られている。

符号化器：データのブロックまたはベクトルが変換部に入力される。変換部の出力は、変換係数のブロックまたはベクトルである。これらの変換係数は、その後、量子化器に通され、量子化器は、特定の順序において係数を量子化する。量子化済み変換係数は、その後、エントロピー符号化器に入力され、エントロピー符号化器は、それらの変換係数を伝送または記憶するのに２値ビットストリームに変換する。このプロセス中に種々のモードを用いて、変換タイプ、量子化器タイプまたは他のモードを選択することができる。

復号器：２値ビットストリームが復号され、結果として、種々のモードデータ、および変換係数のブロックまたはベクトルが生成される。それらの係数は、逆変換部に渡され、逆変換部の出力は、ビデオ、画像または他のデータを再構成するように種々の方法において用いられる。復号されたモードデータは、復号プロセスの種々の態様を制御するのに用いられる。

透かしおよびデータ隠蔽
幾つかのビデオアプリケーションにおいて、ピクチャーまたはビデオに、可視または不可視のデジタル透かしがデジタルデータとして追加される。透かしは、通常、記録された媒体を認証するのに用いられる。そのような透かしは、一般的には、ピクチャーまたはビデオから検出または除去するのが難しいように設計される。透かしは、本発明によって望まれるように、ビデオコーデックの符号化効率を高めるものではなく、ビデオの符号化効率を改善する目的で従来技術の透かし技法をそのまま適用できるかは明らかではない。符号化モードデータを埋め込む従来技術が存在する。通常、その従来技術は、２つ以上のモードのうちのいずれのモードを使用すべきかを決定するのに、復号された変換係数の絶対値の和のパリティ（奇数または偶数）を使用する。

方法が、ビットストリームの形をとるピクチャーを復号する。そのピクチャーは、符号化され、係数のベクトルによって表現される。各係数は、量子化された形をとる。

ベクトルの走査順に基づいて、各ベクトル内の特定の係数が選択される。その後、その特定の係数の特性に基づいて、１組のモードが推測される。その後、その１組のモードに従って、ビットストリームが復号される。

１つの実施の形態では、その１組のモードは、最後に走査された非０係数から推測される。

本発明の実施の形態を使用するコーデックの復号器のブロック図である。 本発明の実施の形態によるモード推測モジュールのブロック図である。 一例の走査順を示す図である。 一例の走査順を示す図である。 一例の走査順を示す図である。 一例の走査順を示す図である。

本発明の実施の形態は、ビットストリーム１０９の形をとるピクチャーを復号する。そのピクチャーは、ブロックに分割され、符号化される。各ブロックは、係数のベクトルによって表される。ブロック内の係数は、量子化された形をとる。

コーデックの復号器１００において、エントロピー復号器２０１がビットストリーム１０９を構文解析し、Ｎ個の（予め量子化された）変換係数１０１のベクトルまたはブロックを出力する。また、ビットストリームは、インター／イントラ予測データ１０５も含む。ベクトルの走査順に基づいて、各ベクトル内の特定の係数が選択される。走査順は、後に記述される。

ブロック２１０は、その特定の係数に基づいて１組の（２つ以上の）モードを推測し、推測されたモード１０２を用いて、後に記述されるように、調整済み係数２１４を決定する。一般的に、調整済み係数は、可能であれば、０に向かって調整される。調整済み係数は、逆量子化され（２０３）、その後、逆変換２０４にかけられる。

推測された１組のモードに応じて、復号器１００の種々のモジュールにおいて、推測されたモード１０２を利用することができる。例えば、推測されたモード１０２は、逆量子化２０３および／または逆変換２０４において用いることができる。

逆変換部の出力は、イントラ／インター予測モジュール２０７の出力に加算され（２０５）、バッファー２０６に記憶され、最終的にはブロック２０８を出力する。

ベクトルまたはブロック１０１は［ｘ_０，ｘ_１，・・・ｘ_Ｎ−１］である。通常の圧縮システムでは、符号化器は、変換係数の多くを０に量子化する。それゆえ、本発明の焦点は、これらの非０係数の中の特定の係数を選択し、その特定の係数の特性に基づいて、ブロック２１０においてモードまたは１組のモードを推測することである。

それらの係数は、特定の順序、例えば、ラスター走査、ジグザグ、垂直、斜め上がり等において横断または走査され、その後、構文解析される。図３Ａ〜図３Ｄは、種々の走査例を示す。

通常、その走査順は、最初に非０係数にアクセスするように選択され、その後、そのベクトル内の量子化済み変換係数の残りを０にすることができる。エントロピー復号器から受信された変換係数を構文解析するとき、例えば、受信されたベクトルは、［５ −３ −４ ２ ０ １ ０ ０ ０ ０ ０ ０］とすることができる。この場合、要素ｘ_５は、最後の非０係数である。

最後の非０係数の場所を示すことに加えて、他の非０係数の場所も示すことができる。さらに、非０係数の場所を示すマップを導出することもできる。上記で与えられたベクトル例の場合、非０係数の２値マップは［１ １ １ １ ０ １ ０ ０ ０ ０ ０ ０］とすることができる。正負符号情報を示す代替的な３値マップ、例えば、［１ −１ −１ １ ０ １ ０ ０ ０ ０ ０ ０］も導出することができる。

復号された係数のベクトルが構文解析された後に、ベクトル内に埋め込まれたモード情報を抽出し、推測することができる。２つのモード「Ａ」および「Ｂ」について考える。例えば、復号器は、２つの異なる種類の量子化器、２つの異なる種類の変換部を使用することができるか、または２つの状態を有する他のモードを有することができる。モード情報が抽出された後に、復号器は、その後、例えば、モードＡが選択された場合には、逆量子化器（２３０）Ａを用いることができ、モードＢが選択された場合には、逆量子化器Ｂを用いることができる。埋め込まれたモード情報を抽出する幾つかの実施の形態がここで記述される。

Ｎ個の係数からなるベクトル［ｘ_０，ｘ_１，・・・ｘ_Ｎ−１］において、ｘ_０は、最初の係数であり、ｘ_Ｎ−１は、最後の係数である。ベクトル内に埋め込まれたモードＭを特定することが望まれる。２つの取り得るモードは、例えば、モードＡおよびモードＢである。

従来技術との比較
従来技術では、モードは、一般的に各ブロック内の全ての係数の和のパリティに基づく。これは、計算するのに時間がかかり、移動電話ビデオ交換のような、数多くの最新のリアルタイムアプリケーションにおいて実用的でない場合がある。

本発明の復号器の好ましい実施の形態は、単一の係数、そして、場合によっては、それに続く係数に基づいてモードを決定する。これは、明らかに従来技術よりも有利である。

推測モジュール
図２は、モード推測モジュール２１０の実施の形態を示す。モードセレクター２１２によって１組のモード、例えば、ＡまたはＢを推測できるように、復号された係数は、非０係数ロケーターモジュール２１１に渡される。オプションでは、組内のモードのうちの１つが、その後、係数調整器モジュール２１３によって使用され、調整済み係数２１４が生成される。調整済み係数は、逆量子化器２０３に渡され、逆量子化器は、オプションで、選択されたモードに応じて制御される場合がある。モード決定を用いて、逆変換部２０４およびイントラ／インター予測部２０７のような、復号器の他の部分を制御することもできる。

推測モジュールの実施の形態
実施の形態１：
この実施の形態では、最後の非０係数２１５の位置が特定されるまで、係数が走査される。その係数が奇数である場合には、モードＡが推測される。その係数が偶数である場合には、モードＢが推測される。それらの係数が順に調べられ、最後の非０係数ｘ_ｋが特定される。ただし、ｋは０〜Ｎ−１の間に存在することができる。
Ｉｆ ｘ_ｋが奇数である ｔｈｅｎ モードＭ←Ａ
Ｉｆ ｘ_ｋが偶数である ｔｈｅｎ モードＭ←Ｂ

他の実施の形態では、上記の偶数および奇数は、入れ替えることができる。

実施の形態２：
この実施の形態では、選択された走査順において、最後の係数が非０であり、かつ奇数である場合には、モードＡが推測され、偶数である場合には、モードＢが推測される。最後の係数が０である場合には、最後の非０係数の位置が特定される。その値は、モードタイプを示すフラグであると見なされる。そのフラグが１である場合には、そのモードは、Ａである。そのフラグが−１である場合には、そのモードは、Ｂである。その後、その係数を０に設定することによって、フラグが除去される。このようにしてフラグが用いられるとき、符号化器は、その場所にフラグを挿入するので、復号器は、符号化器によって用いられたのと同じ１組の係数を再生することができる（すなわち、可逆的である）。フラグが用いられない場合には、正確なモード決定が行われるのを確実にするように、符号化器において最後の係数が調整されたので、その変化は、不可逆的である。復号器の実施の形態は、以下の通りである。

Ｉｆ 最後の係数ｘ_Ｎ−１が非０である ｔｈｅｎ：
｛
Ｉｆ ｘ_ｋが奇数である ｔｈｅｎ モードＭ←Ａ
Ｉｆ ｘ_ｋが偶数である ｔｈｅｎ モードＭ←Ｂ
｝
ｅｌｓｅ
｛
Ｉｆ 最後の係数ｘ_Ｎ−１が０である ｔｈｅｎ 係数を順に調べて、最後の非０係数ｘ_ｋを特定する
Ｉｆ ｘ_ｋ＝１ ｔｈｅｎ モードＭ←Ａ ａｎｄ ｔｈｅｎ ｘ_ｋ←０
Ｉｆ ｘ_ｋ＝−１ ｔｈｅｎ モードＭ←Ｂ ａｎｄ ｔｈｅｎ ｘ_ｋ←０
｝

実施の形態３：
実施の形態２は、上記の１または１フラグに対する位置として最後の係数を用いることもできるように変更することができる。
Ｉｆ 最後の係数ｘ_Ｎ−１が非０であり、かつ１または１と等しくない ｔｈｅｎ：
｛
Ｉｆ ｘ_ｋが奇数である ｔｈｅｎ モードＭ←Ａ
Ｉｆ ｘ_ｋが偶数である ｔｈｅｎ モードＭ←Ｂ
｝
ｅｌｓｅ
｛
Ｉｆ 最後の係数ｘ_Ｎ−１が０または１または１である ｔｈｅｎ 係数を順に調べて、最後の非０係数ｘ_ｋを特定する
Ｉｆ ｘ_ｋ＝１ ｔｈｅｎ モードＭ←Ａ ａｎｄ ｔｈｅｎ ｘ_ｋ←０
Ｉｆ ｘ_ｋ＝−１ ｔｈｅｎ モードＭ←Ｂ ａｎｄ ｔｈｅｎ ｘ_ｋ←０
｝

実施の形態４：
符号化器において最後の非０係数として１または１が頻繁に生じるとき、他の実施の形態の場合に記述されるように、それらの係数をフラグとして取り扱わないことが望ましい場合がある。しかしながら、モードＡが、偶数係数が存在することを予想する場合には、変更が必要とされる。

この場合、それらの係数が順に調べられ、最後の非０係数ｘ_ｋが特定される。
Ｉｆ ｘ_ｋが１、−１または偶数である ｔｈｅｎ モードＭ←Ａ
Ｉｆ ｘ_ｋが奇数である ｔｈｅｎ モードＭ←Ｂ

符号化器の実施の形態
符号化器では、量子化器が係数のブロックまたはベクトルを出力する。上記の実施の形態のうちの１つを用いる復号器が、それらの係数を用いて正確なモード決定を行う場合には、特に何も行う必要はない。しかしながら、これらの係数の値が、復号器が誤った決定を行うような値である場合には、符号化器は、エントロピー符号化器に係数を渡す前に、それらの係数を変更しなければならない。

モードデータを埋め込む２つの方法がある：可逆的方法、すなわち、復号器において変更が検出され、除去され、その結果、復号器における係数のベクトルが符号化器の係数のベクトルと一致する；および不可逆的方法、その場合、モード決定を抽出した後に、復号器は、厳密なベクトルを厳密に再生することはできない。符号化器および復号器の実施の形態に応じて、可逆的方法および不可逆的方法の一方または両方を利用することができる。符号化器内の係数のベクトルは［ｖ_０，ｖ_１，・・・ｖ_Ｎ−１］である。

符号化器の実施の形態１：
係数が順に調べられ、最後の非０係数ｖ_ｋが特定される。

Ｉｆ モードＭ＝Ａ かつ ｖ_ｋが偶数である ｔｈｅｎ：
｛
Ｉｆ ｖ_ｋ＞０ ｔｈｅｎ ｖ_ｋ←ｖ_ｋ−１ これはｖ_ｋを奇数にする
Ｉｆ ｖ_ｋ＜０ ｔｈｅｎ ｖ_ｋ←ｖ_ｋ＋１ これはｖ_ｋを奇数にする
｝
Ｉｆ モードＭ＝Ｂ かつ ｖ_ｋが奇数である ｔｈｅｎ：
｛
Ｉｆ ｖ_ｋ＝１ ｔｈｅｎ ｖ_ｋ←２ これはｖ_ｋを偶数にするが、０にはしない
Ｉｆ ｖ_ｋ＝−１ ｔｈｅｎ ｖ_ｋ←−２ これはｖ_ｋを偶数にするが、０にはしない
Ｉｆ ｖ_ｋが１でも−１でもない ｔｈｅｎ：
｛
Ｉｆ ｖ_ｋ＞０ ｔｈｅｎ ｖ_ｋ←ｖ_ｋ−１ これはｖ_ｋを偶数にする
Ｉｆ ｖ_ｋ＜０ ｔｈｅｎ ｖ_ｋ←ｖ_ｋ＋１ これはｖ_ｋを偶数にする
｝
｝

符号化器の実施の形態２：
Ｉｆ 最後の係数ｖ_Ｎ−１が非０である ｔｈｅｎ ｖ_ｋ←ｖ_Ｎ−１ ａｎｄ ｔｈｅｎ 符号化器の実施の形態１において記述された演算がｖ_ｋに関して実行される
ｅｌｓｅ
｛
Ｉｆ 最後の係数ｖ_Ｎ−１が０である ｔｈｅｎ 係数が順に調べられ、最後の非０係数ｖ_ｋが特定される ａｎｄ
｛
Ｉｆ モードＭ＝Ａ（ｖ_ｋ＋１←１）
Ｉｆ モードＭ＝Ｂ（ｖ_ｋ＋１←−１）
｝

符号化器の実施の形態３：
Ｉｆ 最後の係数ｖ_Ｎ−１が非０である ｔｈｅｎ ｖ_ｋ←ｖ_Ｎ−１ ａｎｄ：
｛
Ｉｆ モードＭ＝Ａ ｔｈｅｎ
｛
ｉｆ ｖ_ｋ＝−１ ｔｈｅｎ ｖ_ｋ←１；ｅｌｓｅ
ｉｆ ｖ_ｋが偶数である ｔｈｅｎ この調整がｖ_ｋ＝−１にしない限り、０に向かって１だけｖ_ｋを調整することによって、ｖ_ｋが奇数にされる その場合、ｖ_ｋは０から離れるように調整される、すなわち、ｖ_ｋ＝３である
｝
Ｉｆ モードＭ＝Ｂ ｔｈｅｎ
｛
ｉｆ ｖ_ｋ＝１ ｔｈｅｎ ｖ_ｋ←−１；ｅｌｓｅ
ｉｆ ｖ_ｋが奇数である ｔｈｅｎ ０に向かって１だけｖ_ｋを調整することによって、ｖ_ｋが偶数にされる
｝
｝

符号化器の実施の形態４：
最後の非０係数ｖ_ｋの位置を特定する。

モードＭ＝Ｂであり、かつｖ_ｋが奇数である場合には、０に向かって１だけｖ_ｋを調整する。この調整がｖ_ｋ＝０にする場合には、代わりに、０から離れるように１だけｖ_ｋを調整する。

モードＭ＝Ａであり、かつｖ_ｋが偶数である場合には、０に向かって１だけｖ_ｋを調整する。

更なる実施の形態
最後の非０係数を用いる代わりに、最大の大きさ（絶対値）を有する係数を使用する。２つ以上の係数が最大の大きさを有する場合には、最も高いベクトルインデックスを有する係数（すなわち、最大の大きさを有する最後の係数）を使用する。

奇数／偶数を用いて決定を行う代わりに、２つの（隣接する）係数間の差を使用する。差が正である場合には、モードＡを推測する。負である場合には、モードＢを推測する。

所与の係数の正負符号（正または負）を用いて、モードを推定することもできる。符号化器は、係数の正負符号を変更することができ、復号器は、その正負符号を用いて、モードを特定することができる。モードを推測した後に、それらの係数内の他の情報を用いて、復号器内の調整済み係数が符号化器内の元の係数と一致するように、再び正負符号を変更するか否かを決定することができる。

量子化器がレート歪み最適化量子化（ＲＤＯ−Ｑ）を用いる場合には、モードフラグまたはモード情報の埋込みをＲＤＯ−Ｑプロセスの一部として行うことができる。どの係数が０に設定されるかを決定する間、ＲＤＯ−Ｑプロセスは、係数のコストに加えて、モードフラグのコストを組み込むことができる。

３つ以上のモードをシグナリングすることができる。例えば、３つのモードＡ、ＢおよびＣをシグナリングすることができる。さらに、複数組のモードをシグナリングすることができる。例えば、セット１は、モードＡ、ＢおよびＣを含み、セット２は、モードＷ、Ｘ、Ｙ、Ｚを含む。１組の係数ごとに、セット１からの１つのモードおよびセット２からの１つのモードをシグナリングすることができる。

最後の非０係数を用いてモードをシグナリングする代わりに、最大係数または最小係数のような別の特性を用いることができる。２つ以上の係数が指定された判定基準を満たす場合には、二次決定プロセスが、情報を埋め込む場所を選択することができる。例えば、指定された判定基準が最大係数を使用することであり、係数のうちの２つが同じ最大値を有する場合には、これらの２つの係数のうちの最後の係数を用いることができる。

別の実施の形態は、連続的な、すなわち、隣接する非０係数群の数を特定することができる。上記の実施の形態のいずれかを用いてモード情報を埋め込むように、最も多くの非０係数を有する群を用いることができる。

また、上記のように、復号された係数から２値または３値マップを導出することができる。１つのブロックに対するモードを、これらのマップの関数に基づいて、またはマップ内のパターンに基づいて推測することもできる。例えば、モードは、非０係数の数に基づいて推測することができる。符号化器において、これらのマップ内に２値コードワードを埋め込み、種々のモードをシグナリングすることもできる。

Claims (21)

1. ビットストリームの形をとるピクチャーを復号する方法であって、前記ピクチャーは、符号化され、係数のベクトルによって表され、各係数は、量子化された形をとり、該方法は、
   各ベクトルの走査順に基づいて該ベクトル内の特定の係数を選択するステップと、
   前記特定の係数の特性に基づいて１組の符号化モードを推測するステップと、
   前記１組の符号化モードに従って前記ビットストリームを復号するステップと、を含み、前記ステップは、復号器において実行される、ビットストリームの形をとるピクチャーを復号する方法。
2. 前記１組の符号化モードは、最後に走査された非０係数から推測される、請求項１に記載の方法。
3. 前記最後に走査された非０係数の値は、１または−１である、請求項２に記載の方法。
4. 前記推測後に前記値を０に設定するステップを更に含む、請求項３に記載の方法。
5. 前記最後に走査された非０係数の値が１、−１または偶数である場合、第１の符号化モードを推測し、それ以外の場合には、第２の符号化モードを推測する、請求項２に記載の方法。
6. 前記推測後に前記値を０に向かって調整するステップを更に含む、請求項２に記載の方法。
7. 前記推測前に、前記最後に走査された係数値が１または−１である場合には、前記値を０から離れるように調整するステップを更に含む、請求項２に記載の方法。
8. 前記最後に走査された係数の値は、２または−２であり、奇数値への調整が必要とされる場合には、前記値を０から離れるように調整する、請求項２に記載の方法。
9. 前記特定の係数は、前記係数のベクトルの中で最大の大きさを有する、請求項１に記載の方法。
10. 前記最大の大きさは、２つ以上の係数において生じる、請求項９に記載の方法。
11. 前記１組の符号化モードは、２つの係数間の差の正負符号から推測される、請求項１に記載の方法。
12. 前記正負符号は、前記推測後に調整される、請求項１１に記載の方法。
13. 前記１組の符号化モードは、レート歪み最適化量子化プロセスを併用して推測される、請求項１に記載の方法。
14. コストを用いて、前記係数内の情報の埋込みを特定する、請求項１に記載の方法。
15. 前記１組の符号化モードは、連続的な非０係数の数から推測される、請求項１に記載の方法。
16. 前記１組の符号化モードは、前記係数に適用される関数を用いて推測される、請求項１に記載の方法。
17. 前記関数は、擬似ランダムである、請求項１６に記載の方法。
18. 前記１組の符号化モードは、符号化器によって決定される、請求項１に記載の方法。
19. 前記非０係数の場所をマップ内で示すステップを更に含む、請求項１に記載の方法。
20. 各非０係数の前記正負符号をマップ内で示すステップを更に含む、請求項１に記載の方法。
21. 前記推測後に前記特定の係数の値を０から離れるように調整するステップを更に含む、請求項２に記載の方法。

Images