JP2007522742A - 非線形量子化に基づくビデオ画像の符号化及び復号化 - Google Patents

Abstract

本発明は、発生するビットレートを増やさず符号化効率を維持しながら量子化処理をフィルム粒子情報によりよく適合させるために、ビデオデータを符号化するための量子化区間を状況に応じて変形できるようにする。

Description

本発明は、動画ビデオデータの符号化及び復号化に関する。特に、本発明は、適応量子化を用いることで、ビデオデータを、フィルム粒子情報を含めて符号化及び復号化する方法及び装置に関する。

動画フィルムはフィルムの写真乳剤中に分散するハロゲン化銀結晶から成る。写真フィルムに記録される各画像は、ハロゲン化銀結晶を感光させ現像することによって生成される。発色像において、銀は現像後に化学的に除去されている。しかしながら、銀結晶の構造は、現像後にも小さな着色粒子の形で残る。乳剤中の銀結晶の形状はランダムであるために、粒子は画像中にランダムに形成され分布する。粒子構造の図示例が、図１に示されている。知覚可能な粒子構造は、フィルム粒子と呼ばれる。

動画の再生を見ている視聴者は、大きさが０．００２ミリメートルからその１０分の１を超える個々の粒子を知覚することはない。しかしながら、視聴者は、粒子群を知覚してそれをフィルム粒子だと識別する。

画像の解像度を高めると、フィルム粒子が知覚される度合いもそれだけ高くなる。フィルム粒子は、特に、映画館での上映や高解像度ビデオ映像の中ではっきりと知覚される。他方、標準テレビ画像や、より小さなテレビ表示フォーマットでは、フィルム粒子はそれほど重要ではない。

動画は、テレビ電話やテレビ会議からＤＶＤ及びデジタルテレビジョンに至るまで、ますます多くのアプリケーションで用いられている。動画を伝送し、また記録するときには、利用可能な周波数帯域が限られている従来の送信チャネルを通してかなりの量のデータを送り、またデータ容量が限られている従来の記憶媒体に蓄積しなくてはならない。従来のチャネル及び媒体でデジタルデータを伝送し蓄積するためには、デジタルデータの圧縮又は減量が不可避である。

ビデオデータの圧縮のために、複数のビデオ符号化規格が開発されている。そのようなビデオ規格は、例えば、Ｈ．２６ｘと称されるＩＴＵ−Ｔの規格であり、またＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣの規格である。現在、最新かつ先進のビデオ符号化規格は、Ｈ．２６４／ＡＶＣ又はＭＰＥＧ４／ＡＶＣと称される規格である。

これらの規格の基礎となっているほとんどの符号化方法は、次の主要な段階から成る。
（ａ）各ビデオフレームをブロックレベルでデータ圧縮するために、個々のフレームを画素のブロックに分割する。
（ｂ）ビデオデータの各ブロックを空間領域から時間領域へ変換することにより、ビデオフレーム内で空間的な冗長性を減らす。
（ｃ）その結果である変換係数を量子化する。
（ｄ）量子化された変換係数をエントロピー符号化する。
（ｅ）続くフレーム間の変化のみを伝送するために、続くフレームのブロック間の時間的な依存性を利用する。これは、動き推定及び補償技術を用いて実現される。

様々なビデオ圧縮技術の中で、いわゆるハイブリッド符号化技術が最も効果的であると知られている。このハイブリッド符号化技術では、時間及び空間圧縮技術に統計的な符号化を組み合わせる。ほとんどのハイブリッド技術は、動き補償された差分パルス符号変調（ＤＰＣＭ）、二次元離散コサイン変換（ＤＣＴ）、ＤＣＴ係数の量子化、及び可変長符号化（ＶＬＣ）を用いる。

動き補償されたＤＰＣＭとは、対象フレームと先行フレームとの間での画像オブジェクトの動きを特定し、特定された動きに従って対象フレームを予測して、対象フレームとその予測との差分を表す差分信号を生成する処理である。

現行のビデオ符号化規格は、異なるビデオコンテンツに対処するために、複数の異なる処理手順を用いるものの、これらの規格はフィルム粒子を考慮に入れていない。そのため、これらの規格はフィルム粒子情報を符号化しない。フィルム粒子情報を残すには、符号化効率をかなり下げるしかない。

そこで、本発明は、ビデオデータを、符号化効率を落とさずに、フィルム粒子情報を含めて符号化及び復号化する改良された方法及び装置を提供することを目的とする。

この目的は、独立請求項の主題によって実現される。

好ましい実施の形態は、従属請求項の主題である。

本発明の最初の態様によれば、ビデオデータを符号化するための方法が提供される。この方法は、画像を、各々が複数の画素を含む複数のブロックに分割するステップと、１ブロック分の前記画素を変換係数に変換するステップと、予め定められた量子化区間に従って各々の係数値を量子化係数値に写像することによって、前記係数を量子化するステップとから成る。前記量子化区間は、予め定められた量子化曲線に従って設定される。前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線である。

本発明のさらなる態様によれば、ビデオデータを画像ブロックに基づいて符号化する符号化装置が提供される。各々の画像ブロックは、複数の画素を含んでいる。この符号化器は、変換部と量子化器とから成る。前記変換部は、１ブロック分の画素を変換係数に変換する。前記量子化器は、予め定められた量子化区間に従って各々の係数値を量子化係数値に写像することによって、前記変換係数を量子化する。前記量子化区間は、予め定められた量子化曲線に従って設定される。前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線である。

本発明の別の態様によれば、ビデオデータをブロックごとに復号化するための方法が提供される。前記符号化されたビデオデータは、量子化された係数を含んでいる。この方法は、予め定められた量子化区間に従って各々の量子化係数値を逆量子化係数値に写像することによって、前記符号化されたビデオデータの量子化係数を逆量子化するステップと、逆量子化された係数のブロックを画素のブロックに変換するステップとから成る。前記量子化区間は、予め定められた量子化曲線に従って設定される。前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線である。

本発明のさらに別の態様によれば、符号化されたビデオデータをブロックごとに復号化するための復号化装置が提供される。前記符号化されたビデオデータは、量子化された係数を含んでいる。この復号化器は、逆量子化器と逆変換部とから成る。前記逆量子化器は、予め定められた量子化区間に従って各々の量子化係数値を逆量子化係数値に写像することにより、前記符号化されたビデオデータの量子化係数のブロックを逆量子化する。前記逆変換部は、逆量子化係数のブロックを画素のブロックに変換する。前記量子化区間は、予め定められた量子化曲線に従って設定される。前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線である。

本発明に従って非線形の量子化曲線を用いることにより、フィルム粒子情報に合わせて量子化区間を正確に変化させること、つまり係数精度の意図した損失を正確に調整することが可能になる。より小さな係数値に対する量子化区間をより小さくすることにより、符号化ビットレートの増大、つまり符号化効率の低下を招くことなく、フィルム粒子情報を残すことが可能となる。

ビデオを符号化するための、符号化係数に量子化行列をかける非線形量子化が、米国特許第６３４７１１６号及び米国特許第６６５４４１８号から周知である。この周知の量子化における非線形性は、係数値には依存せず、個々の変換係数の変換行列の中での位置に依存する。これに対し、本発明は、係数値の大きさに依存する非線形量子化を用いる。さらに、量子化処理の際に非線形な特性曲線を適用することも知られていない。

予め定められた量子化曲線の量子化区間の１ステップの大きさは、係数値が大きくなるに従って大きくなることが望ましい。そのような量子化曲線は、量子化の際に係数の精度に割かれるデータ量を、より大きな係数値からより小さな係数値へと移動させることによって、符号化効率の維持を可能にする。

好ましい実施の形態によれば、量子化区間は、例えば区分的に線形な曲線、ルート曲線、又は対数曲線といった特別な曲線の性質に従って変化する。

量子化曲線は、パラメータによって定義され、そのパラメータは前記符号化されたビデオデータに含まれていることが望ましい。そうすれば、量子化曲線を固定して、符号化されるべきビデオデータの種類に依らずに用いなくても済むだけでなく、量子化処理の際に、例えばフィルム粒子が存在するといった画像の内容に合わせて変化させることができる。さらに、その曲線を定義するパラメータを符号化データに含めることによって、符号化及び復号化の際に同一の曲線を用いることができる。

好ましい実施の形態によれば、量子化ステップは、予め定められた量子化曲線に従って係数値を重み付けするステップと、固定された量子化区間を適用することによって重み付けされた係数値を量子化するステップとから成る。前記量子化曲線に従って係数値をその大きさに応じて重み付けすることにより、量子化が行われる前に前記曲線の性質に従って係数値が変換されるので、固定された量子化区間を用いる既存の量子化処理をそのまま利用することができる。それ故、係数値を変換する前処理のための追加のステップを挿入し、かつ復号化器の側では逆量子化された係数を後処理するだけの簡単なやり方で、既存の符号化及び復号化装置を拡張してもよい。

さらにまた好ましい実施の形態によれば、量子化曲線は、符号化されるべきビデオデータ中のフィルム粒子の存在又は存在の度合いを検出することによって選択される。そのような適応的な方法は、現在符号化されている画像の内容に応じて、常に適切な量子化曲線を選ぶことを可能にする。あるいは、前記検出を、符号化されるべきビデオデータ中のフィルム粒子の存在についてのみ行ってもよい。

本発明の上記及びその他の対象及び特徴は、添付の図面と関連付けて示される以下の説明及び好ましい実施の形態から、より明確になる。

図２を参照して、ハイブリッドビデオ符号化器の一例を説明する。このビデオ符号化器は、全体を通して参照符号１００で示され、対象ビデオ画像（入力信号）と、先に符号化された画像に基づくその対象画像の予測信号との差分を決定する減算器１００とを含む。変換及び量子化部１２０は、得られた予測誤差を空間領域から周波数領域へと変換し、得られた変換係数を量子化する。エントロピー符号化部１９０は、量子化された変換係数をエントロピー符号化する。

図２のビデオ符号化器の動作は、次の通りである。この符号化器は、入力されるビデオシーケンスの続く画像間の差分だけを伝送する差分パルスコード変調（ＤＰＣＭ）法を用いる。これらの差分は、符号化されるべきビデオ画像を受け取って、そこから対象画像の予測分を差し引く減算器１１０で決定される。

その予測は、先に符号化された画像の符号化器の側での復号化結果（“局所復号化画像”）に基づく。これは、ビデオ符号化器１００に組み込まれる復号化部によって実現される。その復号化部は、符号化のステップを逆順に実行する。逆量子化及び逆変換部１３０は、量子化された係数を逆量子化し、逆量子化された係数に逆変換を適用する。加算器１３５で、復号化された差分が予測信号に加えられる。

図２のビデオ符号化器によって行われる動き補償されたＤＰＣＭは、対応する先行フィールド又はフレームのデータから、対象フィールド又はフレームを予測する。この予測は、対象及び先行フィールド又はフレーム間での動き推定に基づく。この動き推定は、対象及び先行フレーム間での画素のずれを表す二次元の動きベクトルとして決定される。通常、動き推定はブロックごとに行われ、対象フレームの一つのブロックが、最良の合致が見つかるまで、先行フレームのブロックと比較される。比較の結果に基づいて、対象フレームの各々のブロックについて変位ベクトルが推定される。

これは、対象入力信号と局所復号化画像とを受け取る動き推定部１７０によって実現される。

この動き推定の結果に基づいて、動き補償予測部１６０で行われる動き補償は、決定された動きベクトルを使った予測を行う。予測誤差ブロックに含まれる、対象ブロック及び予測されたブロック間の差分を表す情報は、変換部１２０によって変換係数に変換される。そのために、一般に二次元離散コサイン変換（ＤＣＴ）が用いられる。

Ｈ．２６４／ＡＶＣ規格に従って、入力画像はマクロブロックに分割される。マクロブロックは、“画像内”又は“画像間”符号化モードを適用して符号化される。画像間モードでは、マクロブロックは、前述したように動き補償を用いて予測される。画像内モードでは、予測信号はゼロに設定されるが、ビデオ符号化規格Ｈ．２６４／ＡＶＣは、後続するマクロブロックを予測するために、さらに、同じ画像の既に符号化されたマクロブロックに基づく予測の仕組みを用いる。

画像内符号化画像（Ｉタイプ画像）だけは、復号化済みのどの画像も参照することなく符号化することができる。このＩタイプ画像は、符号化されたビデオシーケンスの誤差を回復する。さらに、このＩタイプ画像は、ランダムアクセス、つまり符号化されたビデオ画像の列の中のＩタイプ画像へのアクセスを可能にするために、符号化されたビットストリームへのエントリ点を提供する。画像内モード、つまり画像内予測部１５０による処理と、画像間モード、つまり動き補償予測部１６０による処理との切り替えは、画像内及び画像間スイッチ１８０によって制御される。

さらに、局所復号化画像におけるブロック化の影響を低減するために、デブロッキングフィルタ１３７を設けてもよい。

符号化された画像を復号化器の側で復元するために、符号化処理が逆順に行われる。図３に、全体を通して参照符号２００で示される対応する復号化器の構成を示す概念ブロック図が示される。まず、エントロピー復号化部２１０で、エントロピー符号を元に戻す。エントロピー復号化された係数は、逆量子化器及び逆変換器２２０へ渡され、動きデータは、動き補償予測部２７０へ渡される。量子化係数データは、逆量子化及び逆変換器２２０にかけられる。予測差分を含む復元された画像ブロックは、加算器２３０によって予測信号に加算される。この予測信号は、画像間モードでは動き補償予測部２７０から生じ、画像内モードでは画像内予測部２６０から生じる。得られた画像は、デブロッキングフィルタ２４０にかけられるとしてもよく、復号化された信号は、メモリ２５０に蓄積され、予測部２６０、２７０にかけられる。

図４を参照して、一様な量子化器について入力係数値Ｗと量子化出力係数値Ｗ’との関係の一例を示す。入力係数値Ｗが、図２に示される量子化部１２０へ渡される係数値を表すと共に、Ｗ’が、図２及び図３の逆量子化部１３０、２２０から出力される逆量子化係数値を表す。この図４に示される例によれば、−Δ／２＜Ｗ≦Δ／２の範囲内の全ての入力係数値は、出力係数値Ｗ’＝０に量子化される。同様にして、Δ／２＜Ｗ≦３Δ／２の間の入力係数値は、係数値Ｗ’＝Δに量子化される。この一様な量子化、つまり、一様な量子化区間を適用する量子化は、次の式（１）で表すことができる。

式（１）に従って、入力係数値Ｗは量子化レベルＺに写像される。Δは量子化の１ステップの大きさ、又は区間の大きさを表し、ｆは丸め制御パラメータを表す。丸め制御パラメータｆは、隣接するステップ間の遷移位置を移動させることによって、区間の位置を確率分布に応じて調整することを可能にする。これは、図５を参照して、後でより詳細に説明される。

丸め制御パラメータｆは、図４の量子化曲線についてｆ＝Δ／２に設定される。式（１）の関数“ｆｌｏｏｒ（．．．）”は、ゼロの方へ最も近い整数への丸めを行い、関数“ｓｇｎ（．．．）”は、入力係数値Ｗの符号を返す。

量子化レベルＺの量子化係数値Ｗ’への写像は、式（２）で表される。

式（２）の演算は、“逆量子化”と呼ばれる。

図５に、量子化曲線の別の例が示される。丸め制御パラメータｆを変更することで、量子化演算の丸め動作を制御できる。図４に示される例では、丸め制御パラメータｆ＝Δ／２を用いることによって、量子化係数値Ｗ’はそれぞれ入力係数値Ｗの量子化区間のちょうど中央に来ている。例えば、Δ／２＜Ｗ≦３Δ／２の間の全ての入力係数値は、出力係数値Ｗ’＝Δに量子化される。

丸め制御パラメータに小さな値を用いると、量子化係数値Ｗ’は、入力係数値Ｗの区間の中央の値よりも小さくなる傾向がある。図５に、丸め制御パラメータｆ＝０の一例が示される。そこから分かるように、入力係数値Ｗの各々の量子化区間は、出力係数値Ｗ’として、区間の最も小さな値に写像される。

丸め制御パラメータｆ＝０を導入することは、次の２つの作用を及ぼす。
１．係数値０のまわりの量子化区間が大きくなる。これにより、−Δ＜Ｗ≦Δの間の全ての入力係数値が出力係数値Ｗ’＝０に量子化される。
２．Ｗ’≠０である量子化係数値が、量子化区間の中央に来ない。例えば、入力係数値Δ＜Ｗ≦２Δの範囲が、Ｗ’＝Δに量子化される。

Ｈ．２６４／ＡＶＣのようなビデオ符号化規格は、画像内モードではｆ＝Δ／３、画像間モードではｆ＝Δ／６なる値を持つ丸め制御パラメータを用いる。図４に示される量子化区間と比べてこのように量子化範囲を変更することは、入力係数値の一様でない確率分布によりよく適合することを目的としている。ビデオ符号化における変換係数の一様でない確率分布は、ラプラシアン確率分布によって近似できる。図６に、ラプラシアン確率分布の一例が示される。変換係数のこのような確率分布のために、各々の量子化区間においてより小さな量子化値が現れやすくなる。そのため、量子化係数値Ｗ’がより小さな値になる丸め制御パラメータｆ＜Δ／２が用いられる。従って、量子化係数値は量子化区間の中央には来ない。

ラプラシアン分布のパラメータは画像内及び画像間符号化モードで変わるため、それぞれの符号化モードで異なる丸め制御パラメータが用いられる。

動画に存在しているフィルム粒子の符号化に関して、フィルム粒子は、時間的に相関のない、動き補償では予測できない構造である。そのため、フィルム粒子は、予測誤差として、つまり各画像ブロックで個別に、符号化するしかない。図１４ａに、予測誤差を表す係数ブロックの一例が示される。

フィルム粒子情報は、特に、小さな変換係数値が順に反映された小さな予測誤差値によって表される。ビデオ符号化の際の量子化段は、ゼロのまわりの全ての係数値を０に量子化するように設計されるので、フィルム粒子情報は不可逆的に失われる。フィルム粒子情報を再生できないような、より小さな表示サイズが用いられる限り、この量子化の損失は、符号化効率を高めるために容認され意図的に行われる。図１４ｂに、変換係数の一例が示される。そこから分かるように、最も小さな係数値に対応する量子化区間は、全ての小さな係数値をゼロに量子化するように作用する。

より多くの量子化区間が設けられるように量子化区間の大きさを縮小すれば、符号化されたビデオデータの中にフィルム粒子情報を残すことは可能である。しかしながら、そのような変更を行えば、符号化結果のビットレートはかなり増加し、それと対応して符号化効率は低下する。

別の方法に従って、例えば図４及び図５に示されるように、丸め制御パラメータｆを修正してもよい。ただし、丸め制御パラメータを修正しても、最も小さな係数値に対する量子化区間の大きさを修正することしかできず、隣接する異なる量子化レベルに係数値Ｗを量子化する境界は、全てのしきい値について一斉に移動する。各々のしきい値のこの移動は、ラプラシアン分布への量子化の適合を損なう。その結果、量子化誤差が増加し、符号化効率が低下する。

これらの欠点を克服するため、本発明は、量子化区間の配置をパラメータで表すことを提案する。本発明に従って量子化曲線又は特性曲線を用いることによって、より小さな係数値に対して量子化区間をより小さく設定することができると共に、より大きな係数値をより大きな量子化区間を用いて量子化することができる。

この方法は、他の量子化区間の大きさに影響を及ぼさずに、ゼロに近い係数に対する量子化区間の大きさを修正することを可能にする。ビデオデータに残存するフィルム粒子の強さに直接依存して、この小さい量子化区間の大きさを修正してもよい。そうすれば、符号化されたビデオデータの所要ビットレートを増やさずに、復号化器の側で復元されるフィルム粒子情報を改善できる。

図７に、本発明の量子化曲線に従って形成される量子化区間の一例が示される。そこから分かるように、各々の量子化区間の大きさは異なる。

本発明によれば、各々の変換係数値に対する量子化区間の大きさを、ビデオ内容、つまり、符号化されるべきビデオデータに存在するフィルム粒子情報、及び利用可能なビットレートに合わせて変化させることができる。従って、本発明は、符号化ビットレートを増加させずにより良い符号化の結果が得られる、より適応性が高い量子化処理を可能にする。

好ましい実施の形態によれば、量子化曲線は、復号化器の側へ送信されるパラメータによって定義される。そのため、量子化曲線と量子化区間とを、符号化及び復号化の処理の際に更新できる。予め定められた時間間隔又は事象に応じて、更新された量子化曲線のパラメータの組が量子化器に適用され、さらに復号化器の側へ送信される。この方法で、画像の内容、特にフィルム粒子情報の存在及び程度の一方又は両方に合わせて、符号化処理を変形することができる。

第１の実施の形態によれば、量子化曲線又は特性曲線を量子化区間の調整に用いたが、第２の実施の形態では、既存の量子化区間をそのまま用いる代わりに、符号化器の側では量子化の前、及び復号化器の側では逆量子化の後に、それぞれ係数値を訂正する。図８に、本発明による非線形量子化の構成を表すブロック図が示される。

図８に示される非線形量子化方法によれば、“コア量子化処理”を行う前に入力変換係数Ｗがそのまま量子化されることはない。コア量子化処理が、予め定められた量子化区間に従って入力係数値を量子化レベルに写像するときに、前処理段において入力係数値を重み付けすることによって、量子化区間を調整する効果が得られる。これと対応して、復号化器の側における逆量子化器から出力される係数値は、後処理段によって、逆のやり方で重み付けされる。この重み付け処理は、式（３）で表される。

ここで、Ｖは重み付けされた係数値を表し、“ｓ（．．）”は入力係数値Ｗから重み付けされた入力係数値Ｖへの写像を表す。

式（１）と式（３）とを組み合わせると、本発明の第２の実施の形態に従って適用される量子化を、次の式（４）で表すことができる。

復号化器の側での係数値の復元は、次の式で定義される。ここで、式（５）は逆コア量子化を定義し、式（６）は特性曲線の逆適用を定義し、式（７）は復号化器の側での変換係数の復元を定義する。

図８に従う第２の実施の形態の実装は、次のように動作する。入力係数値Ｗが予め定められた特性曲線によって重み付けされる。特性曲線を定義するパラメータは、固定されていてもよく、また図８に示されるように、状況に応じて変化し、かつ符号化されたビデオデータと共に復号化器の側の逆量子化部３３０へ提供されてもよい。特性曲線の例が、図９から図１１に関連付けて説明される。入力係数値Ｗは、特性曲線に従って、重み付けされた入力係数値Ｖに写像される。部３１０によって適用される演算は、式（３）で定義される。

重み付けされた係数値Ｖは量子化部３２０に渡される。量子化部３２０は、コア量子化部３２４とコア逆量子化部２３６とを含む。部３２４によって適用されるコア量子化は、式（４）で定義される。重み付けされた入力係数値Ｖは、固定された量子化区間の仕組みに従って、量子化レベルＺに写像される。

コア逆量子化部３２６は、その逆の方法を適用する、すなわち、量子化レベルＺを重み付けされた係数の量子化値Ｖ’に写像する。この演算は、式（５）で定義される。部３３０は、係数の量子化値Ｗ’を復元するために、符号化器の側の部３１０からパラメータ３１５によって知らされた適用可能な特性曲線に従って、重み付けされた係数の量子化値Ｖ’に逆の重み付けをする。

第２の実施の形態の特有の利点は、既存のコア量子化及び逆量子化処理を修正しなくてよいことである。コア量子化に前処理段を追加すると共に、対応する後処理段を逆量子化処理に追加するだけでよい。

第１及び第２の実施の形態で適用される量子化曲線の例が、図９から図１１に関連付けて説明される。なお、本発明は説明される曲線の適用に限定されない。当業者は、この点において適切な他のいかなる曲線を用いてもよい。

図９は、区分的に線形な曲線を説明する。第２の実施の形態に従って行われる対応する写像処理は式（８）によって定義されてもよい。

ここで、α１，２，３は、各々の区分的に線形な部分の傾きを表す。

量子化曲線の別の例が、図１０に示される。ここで示される量子化曲線は式（９）によって定義されるようなルート曲線であり、第２の実施の形態で適用される。

ここで、αが倍率パラメータを表し、“ｓｇｎ（Ｗ）”は入力係数値Ｗの符号を返す。

復号化器の側では、特に後処理段３３０で、それぞれの逆演算が適用される。

図１２及び図１３に、本発明の第２の実施の形態における符号化器及び復号化器の構成を示す概念ブロック図が示される。図１２及び図１３のブロック図は、図２及び図３のブロック要素と同じブロック要素を、同じ参照符号で示す。

図１２に示され、全体を通して参照符号４００で示される符号化器は、図２で既に示されているブロック要素に加えて、さらに、変換部１２０によって出力される変換係数を前処理し、重み付けされた変換係数Ｖを量子化部１２０へ転送する処理段４１０を備えている。

後処理部４２０は、局部復号化された画像を提供する復号化段に挿入される。後処理段４２０は、前処理段４１０で係数値に施された重み付けを元に戻す。

量子化曲線を状況に応じて適用できるようにするため、曲線のパラメータ３１５が、符号化されたビデオデータに含められる。符号化された曲線パラメータを符号化されたビデオデータに挿入するために、量子化曲線のパラメータは符号化部４３０によって圧縮されることが望ましい。

図１３は、図１２の符号化器に対応する復号化器の構成を示す。この復号化器は、全体を通して参照符号５００で示される。図３のブロック要素に加えて、後処理部５１０が挿入される。後処理部５１０は、図１２の符号化装置の前処理部４１０で適用される操作の逆の操作を行う。量子化曲線パラメータは、符号化された形式で受信されてもよい。このために、パラメータは復号化部５２０によって復号化される。

図１４ｃは、図１４ａに示されるブロックに対応する、４つの変換係数値ブロックを示すと共に、図１４ｄは、本発明に従って予め定義された量子化曲線を適用した場合の４つの量子化変換係数ブロックを示している。

次に、図１２及び図１３の符号化器及び復号化器の動作を、図１５及び図１６に関連付けて説明する。

図１５は、本発明に係る符号化器の動作を示すフローチャートである。符号化されるべきビデオ画像を複数のブロックに分割した後（ステップＳ１０）、１ブロック分の画素を変換係数のブロックに変換する（ステップＳ２０）。ＤＣＴのような直交変換を適用するのが望ましい。得られた変換係数Ｗを、予め定められた量子化曲線に従って重み付けする（ステップＳ３０）。この前処理ステップは、本発明の第２の実施の形態の実装に対応する。量子化曲線は、固定された曲線でもよく、また状況に応じて変更可能な曲線でもよい。変更可能な曲線を用いるときは、復号化器が逆の操作を行えるよう、適用可能な曲線を定義するパラメータが符号化されたビデオデータに含められる。

重み付けされた変換係数Ｖを量子化する（ステップＳ４０）。ステップＳ４０は、図８のコア量子化部３２４によって行われるコア量子化操作を表している。

符号化されたビデオデータは、量子化係数と量子化曲線を定義するパラメータとを含んでいる。これらのデータは、メモリ装置に蓄積されてもよく、また、圧縮された画像を直ちに復元するために復号化器へ送信されてもよい。

次に、復号化処理を、図１６に関連付けて説明する。まず、受信された係数を、固定された量子化区間に従って逆量子化する（ステップＳ５０）。逆量子化操作は、図８の逆量子化部３２６で行われる。逆量子化された係数を、逆の重み付け操作にかける（ステップＳ６０）。この逆の重み付け操作は、符号化処理の際にステップＳ３０で行われる重み付け操作と対応している。調整可能な量子化曲線を用いるときは、その曲線のパラメータを符号化されたビデオデータから取得する。

重み付けされた係数の逆量子化値Ｗ’を、画素のブロックに変換し（ステップＳ７０）、続くブロックを結合して復号化されたビデオ画像を形成する（ステップＳ８０）。

最新のビデオ符号化規格Ｈ．２６４／ＡＶＣは、式（１１）に従って変換係数を量子化する。

ここで、項“Ｗ_ij・ＭＦ”は量子化されるべき変換係数を表す。“ＭＦ”は、変換操作の際に倍率を適用する代わりに、量子化操作の際に適用されるべき倍率を表す。指標“ij”は変換行列における個々の変換係数の位置を表す。丸め制御パラメータｆが、量子化操作を変換係数の確率分布に適合させるために用いられる。係数の確率分布が画像内符号化モードと画像間符号化モードとでは異なるために、画像内及び画像間モードで異なるｆの値が用いられる。

＞＞演算は右シフトを表す。このような右シフト演算は、除算演算を避けて、より簡素なハードウェア実装を可能にする。この右シフト演算は、２^qbitsによる除算と等価である。略号“qbits”は式（１２）で与えられる。

ここで、“qbits”は量子化パラメータを表す。

式（１１）の関数“ｓｇｎ（．．）”は入力係数値の符号を返す。

と置くことにより、式（１１）は、式（１３）に変形できる。

量子化曲線を導入することで、式（１３）は、さらに式（１４）に変形され、

そして、さらに式（１５）に変形される。

ビデオ符号化規格Ｈ．２６４／ＡＶＣにおける逆量子化は、式（１６）を用いて行われる。

式（１６）の最後の項

は、１量子化ステップの大きさΔと倍率とを含んでいる。倍率は、逆量子化に由来するものであって、コア量子化の仕組みの一部ではない。逆変換の式（１６）に非線形曲線を導入するために、倍率を１量子化ステップの大きさΔから分離しなくてはならない。式（１２）を考慮して、その分離は次の式

によって計算される。

式（１７）を用いると、式（１６）を

のように表すことができる。

式（１８）の項

は、逆変換に由来する倍率を表している。式（６）に従って、量子化曲線を逆変換に統合し、式（１８）を式（１９）に変形することができる。

２^-15による乗算の代わりにシフト演算を用いることで、式（１９）を式（２０）の形に書き直すことができる。

要約すれば、本発明は、発生するビットレートを増やさず符号化効率を維持しながら量子化処理をフィルム粒子情報によりよく適合させるために、ビデオデータを符号化するための量子化区間を状況に応じて変形可能にする。最も小さな係数値に対して量子化区間の大きさを小さくする形を選択することによって、符号化されるビデオデータの中にフィルム粒子情報を残すことができる。その逆に、最も小さな係数値の区間を広げる性質の曲線は、符号化されるビデオデータの中のフィルム粒子情報を減少させる。

図１は、フィルム粒子構造の拡大された一例を示す。 図２は、従来のハイブリッドビデオ符号化器の構成をブロック図の形式で概念的に示す。 図３は、従来のハイブリッドビデオ復号化器の構成をブロック図の形式で概念的に示す。 図４は、入力係数値Ｗと量子化出力係数値Ｗ’との関係の一例を、１ステップの大きさがΔであり、かつ丸め制御値がｆ＝Δ／２である一様な量子化器について示す。 図５は、入力係数値Ｗと量子化出力係数値Ｗ’との関係の一例を、１ステップの大きさがΔであり、かつ丸め制御値がｆ＝０である量子化器について示す。 図６は、ラプラシアン確率分布を概念的に示す。 図７は、本発明による非一様な量子化器の入力係数値Ｗと量子化出力係数値Ｗ’との関係の一例を示す。 図８は、非線形量子化曲線を適用する量子化の仕組みをブロック図の形式で概念的に示す。 図９は、区分的に線形な非線形量子化曲線の一例を示す。 図１０は、非線形なルート量子化曲線の一例を示す。 図１１は、非線形な対数量子化曲線の一例を示す。 図１２は、本発明によるハイブリッドビデオ符号化器の好ましい変形をブロック図の形式で概念的に示す。 図１３は、本発明によるハイブリッドビデオ復号化器の変形例をブロック図の形式で概念的に示す。 図１４ａは、量子化前の変換係数ブロックの一例を示す。 図１４ｂは、量子化後の変換係数ブロックの一例を示す。 図１４ｃは、量子化前の変換係数ブロックの、図１４ａの例に対応する一例を示す。 図１４ｄは、本発明による量子化後の変換係数ブロックの一例を示す。 図１５は、本発明の好ましい実施の形態によるビデオデータの符号化処理を示すフローチャートである。 図１６は、本発明の好ましい実施の形態による符号化されたビデオデータの復号化処理を示すフローチャートである。

Claims (36)

1. ビデオデータを符号化するための、
   画像を、各々が複数の画素を含む複数のブロックに分割するステップと、
   １ブロック分の前記画素を変換係数に変換するステップと、
   予め定められた量子化区間に従って各々の係数値を量子化係数値に写像することによって、前記係数を量子化するステップと
   を含む方法であって、
   前記量子化区間は、予め定められた量子化曲線に従って設定され、前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線であることを特徴とする。
2. 請求項１に記載の方法であって、
   前記予め定められた量子化曲線による前記量子化区間の１ステップの大きさは、係数値が大きくなるに従って大きくなる。
3. 請求項１に記載の方法であって、
   前記量子化区間は、より大きな係数値に対して、区分的に線形な曲線、ルート曲線、又は対数曲線に従って大きくなる。
4. 請求項１乃至３の何れかに記載の方法であって、
   前記予め定められた量子化曲線はパラメータで定義され、前記量子化係数値は、前記予め定められたパラメータと共に、前記符号化されたビデオデータを表す。
5. 請求項１乃至４の何れかに記載の方法であって、
   前記量子化ステップは、
   前記予め定められた量子化曲線に従って前記係数値を重み付けするステップと、
   固定された量子化区間を適用して、前記重み付けされた係数値を量子化するステップとを含む。
6. 請求項５に記載の方法であって、
   前記固定された量子化区間は、区間の大きさが均一な量子化区間である。
7. 請求項５又は６に記載の方法であって、
   前記量子化曲線は、区分的に線形な曲線、ルート曲線、又は対数曲線である。
8. 請求項１乃至７の何れかに記載の方法であって、さらに、
   符号化されるべきビデオデータ中のフィルム粒子の存在の度合いを検出するステップと、
   前記検出の結果に従って、前記予め定められた量子化曲線のパラメータを調整するステップとを含む。
9. 請求項１乃至７の何れかに記載の方法であって、さらに、
   符号化されるべきビデオデータ中のフィルム粒子の存在を検出するステップと、
   フィルム粒子が検出された場合のみ、前記量子化曲線の適用を可能にするステップとを含む。
10. 請求項１乃至９の何れかに記載の方法であって、さらに、
    符号化されるべきブロックを、先に符号化されたブロックに基づいて予測するステップを含み、
    前記予測ステップは、
    前記符号化された係数に、前記予め定められた量子化曲線を逆のやり方で適用する逆量子化ステップを含む。
11. 複数の画素を含む画像ブロックに基づいてビデオデータを符号化するための、
    １ブロック分の前記画素を変換係数に変換する変換手段と、
    予め定められた量子化区間に従って各々の係数値を量子化係数値に写像することによって、前記変換係数を量子化する量子化器と
    を備える符号化器であって、
    前記量子化区間は、予め定められた量子化曲線に従って設定され、前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線であることを特徴とする。
12. 請求項１１に記載の符号化器であって、
    前記予め定められた量子化曲線による前記量子化区間の１ステップの大きさは、係数値が大きくなるに従って大きくなる。
13. 請求項１１に記載の符号化器であって、
    前記量子化区間は、より大きな係数値に対して、区分的に線形な曲線、ルート曲線、又は対数曲線に従って大きくなる。
14. 請求項１１乃至１３の何れかに記載の符号化器であって、
    前記予め定められた量子化曲線はパラメータで定義され、前記量子化係数値は、前記パラメータと共に、前記符号化されたビデオデータを表す。
15. 請求項１１乃至１４の何れかに記載の符号化器であって、
    前記量子化器は、
    前記予め定められた特性曲線に従って前記係数値を重み付けする重み付け手段と、
    固定された量子化区間を適用して、前記重み付けされた係数値を量子化するコア量子化手段とを備える。
16. 請求項１５に記載の符号化器であって、
    前記固定された量子化区間は、区間の大きさが均一な量子化区間である。
17. 請求項１５又は１６に記載の符号化器であって、
    前記量子化曲線は、区分的に線形な曲線、ルート曲線、又は対数曲線である。
18. 請求項１１乃至１７の何れかに記載の符号化器であって、さらに、
    符号化されるべきビデオデータ中のフィルム粒子の存在の度合いを検出する検出手段と、
    前記検出の結果に従って、前記予め定められた量子化曲線のパラメータを調整する設定手段とを備える。
19. 請求項１１乃至１７の何れかに記載の符号化器であって、さらに、
    符号化されるべきビデオデータ中のフィルム粒子の存在を検出する検出手段と、
    フィルム粒子が検出された場合のみ、前記量子化曲線の適用を可能にする可能化手段とを備える。
20. 請求項１１乃至１９の何れかに記載の符号化器であって、
    前記符号化器は予測符号化器であり、さらに、
    前記符号化されたビデオデータを復号化する復号化器を備え、
    前記復号化器は、前記予め定められた量子化曲線を逆のやり方で適用する逆量子化器を含む。
21. 量子化係数を含む符号化されたビデオデータをブロックごとに復号化するための、
    予め定められた量子化区間に従って各々の量子化係数値を逆量子化係数値に写像することによって、前記符号化されたビデオデータの量子化係数のブロックを逆量子化するステップと、
    逆量子化された係数のブロックを画素のブロックに変換するステップと
    を含む方法であって、
    前記量子化区間は、予め定められた量子化曲線に従って設定され、前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線であることを特徴とする。
22. 請求項２１に記載の方法であって、
    前記予め定められた量子化曲線による前記量子化区間の１ステップの大きさは、係数値が大きくなるに従って大きくなる。
23. 請求項２１に記載の方法であって、
    前記量子化区間は、より大きな係数値に対して、区分的に線形な曲線、ルート曲線、又は対数曲線に従って大きくなる。
24. 請求項２１乃至２３の何れかに記載の方法であって、
    前記予め定められた量子化曲線はパラメータで定義され、前記量子化係数値は、前記パラメータと共に、前記符号化されたビデオデータを表す。
25. 請求項２４に記載の方法であって、
    前記パラメータは、符号化の際に前記量子化係数値に適用された前記量子化曲線を定義する。
26. 請求項２１乃至２５の何れかに記載の方法であって、
    前記逆量子化ステップは、
    固定された量子化区間を用いる逆量子化を行うことにより、前記量子化された係数を逆量子化するステップと、
    前記量子化曲線に従って前記逆量子化された係数を重み付けするステップとを含む。
27. 請求項２６に記載の方法であって、
    前記固定された量子化区間は、区間の大きさが均一な量子化区間である。
28. 請求項２６又は２７に記載の方法であって、
    前記量子化曲線は、区分的に線形な曲線、ルート曲線、又は対数曲線である。
29. 量子化係数を含む符号化されたビデオデータをブロックごとに復号化するための、
    予め定められた量子化区間に従って各々の量子化係数値を逆量子化係数値に写像することによって、前記符号化されたビデオデータの量子化係数のブロックを逆量子化する逆量子化器と、
    逆量子化された係数のブロックを画素のブロックに変換する逆変換器と
    を備える復号化器であって、
    前記量子化区間は、予め定められた量子化曲線に従って設定され、前記量子化曲線は、係数値が小さくなるに従って小さくなる量子化区間を持つ非線形曲線であることを特徴とする。
30. 請求項２９に記載の復号化器であって、
    前記予め定められた量子化曲線による前記量子化区間の１ステップの大きさは、係数値が大きくなるに従って大きくなる。
31. 請求項２９に記載の復号化器であって、
    前記量子化区間は、より大きな係数値に対して、区分的に線形な曲線、ルート曲線、又は対数曲線に従って大きくなる。
32. 請求項２９乃至３１の何れかに記載の復号化器であって、
    前記予め定められた量子化曲線はパラメータで定義され、前記量子化係数値は、前記パラメータと共に、前記符号化されたビデオデータを表す。
33. 請求項３２に記載の復号化器であって、
    前記パラメータは、符号化の際に前記量子化係数値に適用された前記量子化曲線を定義する。
34. 請求項２９乃至３０の何れかに記載の復号化器であって、
    前記逆量子化器は、
    固定された量子化区間を用いる逆量子化を行うことにより、前記量子化された係数を逆量子化するコア逆量子化手段と、
    前記量子化曲線に従って前記逆量子化された係数を重み付けする重み付け手段とを備える。
35. 請求項３４に記載の復号化器であって、
    前記固定された量子化区間は、区間の大きさが均一な量子化区間である。
36. 請求項３４又は３５に記載の復号化器であって、
    前記量子化曲線は、区分的に線形な曲線、ルート曲線、又は対数曲線である。

Images