JP2005354307A - 逆量子化器及びこれを用いた画像復号化装置 - Google Patents

Abstract

【課題】従来の逆量子化器との互換性を取りつつ、効率が高く視覚特性も考慮した逆量子化器を提供する。
【解決手段】量子化マトリクスＷＭから逆量子化スケールＱＳを計算する逆量子化スケール計算器３０１、量子化直交変換係数Ｘに逆量子化スケールＱＳを乗じる逆量子化スケール乗算器３０２、量子化スケール乗算器３０２の出力値に量子化パラメータＱＰの値に応じて変化するオフセット値を加算するオフセット加算器３０４、及び量子化パラメータＱＰの値に応じて選択される量子化スケール乗算器３０２の出力値あるいはオフセット加算器３０４の出力値に対して量子化パラメータＱＰに応じたシフト方向及びシフト量のシフト演算を行って逆量子化直交変換係数Ｙを得るシフト演算器３０５を有する。
【選択図】 図３

Description

本発明は、逆量子化器及びこれを用いた動画像または静止画像のための画像復号化装置に関する。

近年、符号化効率を大幅に向上させた動画像符号化技術がITU-TとISO/IECとの共同でITU-T Rec.H.264及びISO/IEC 14496-10（以下、H.264という）として勧告されている（非特許文献１参照）。

ISO/IEC MPEG-1,2,4，ITU-T H.261，H.263といった従来からの動画像符号化技術では、予測誤差信号の直交変換に８×８ブロックの２次元ＤＣＴ（離散コサイン変換）を用いているのに対して、H.264では４×４ブロックの２次元整数直交変換を用いる。２次元整数直交変換を用いると、ＩＤＣＴ（逆離散コサイン変換）のミスマッチを考慮する必要がなく、16ビットレジスタによる演算が可能である。また、H.264は直交変換（２次元整数直交変換）処理及び量子化処理を加算及びビットシフトにより実現することが可能であり、さらに逆量子化処理及び逆直交変換（２次元整数逆直交変換）処理も加算及びビットシフトにより実現することが可能となっている。

動画像符号化における予測モードには、イントラ予測とインター予測がある。H.264のイントラ予測モードでは、４×４ブロック毎に直交変換を行ったときのＤＣ成分の値を用いて４×４ＤＣマトリクスを作成し、このマトリクスに４×４のアダマール変換及び量子化を行う。このようにＤＣ項とＡＣ項を別々に分けて変換することにより、符号化効率の向上を図っている。

輝度信号においては、４×４のアダマール変換も全て整数演算で実現するため、量子化された直交変換係数の値は全て４倍される。動画像復号化時には、このように直交変換係数が整数倍されていることを考慮して逆量子化を行う必要がある。この結果、量子化パラメータがある値、例えば１２より小さい場合に右シフトが生じるため、「四捨五入」を用いて逆量子化を行う。

一方、色差信号についても輝度信号と同様に４×４ブロック毎に直交変換を行ったときのＤＣ成分の値を用いて２×２ＤＣマトリクスを作成し、このマトリクスに２×２のアダマール変換及び量子化処理を行う。色差信号においては、２×２のアダマール変換も全て整数演算で実現するために、量子化された直交変換係数の値が全て２倍されていることを考慮して逆量子化する。この場合には、量子化パラメータが６より小さい場合に右シフトが生じる。

ここで注目すべき一つの点は、色差信号のＤＣ成分においては右シフトに対して「切り捨て」によって逆量子化を行っているということであり、輝度信号のＤＣ成分の逆量子化時に四捨五入を用いるのと比較して扱いが異なっている。これは輝度信号のＤＣ成分で生じる右シフトは１ビットであるため、切り捨てよる誤差はごく小さいと判断したための仕様と考えられる。

一方、視覚特性を考慮した量子化手法として従来、MPEG-2などに導入されている量子化マトリクスの技術が知られている（非特許文献２参照）。これは空間的な高周波ほど粗く量子化できるという人間の視覚特性に基づいて、量子化された変換係数行列の値を重み付けして逆量子化を行う手法であり、重み付けに量子化マトリクスが導入される。H.264に量子化マトリクスの手法を適用するとした場合、レベルスケールの値に量子化マトリクスを乗じた値を量子化スケールとして定義すればよい。
ISO/IEC 14496-10:2003 Information technology Coding of audio-visual objects Part 10: Advanced Video Coding ISO/IEC 13818-2:2000 Information technology Generic coding of moving pictures and associated audio information: Video

H.264対応の逆量子化器に量子化マトリクスの手法を適用する場合、量子化マトリクスを用いない従来のH.264対応の逆量子化器との互換性を考慮すると、量子化スケールはMPEG-2の量子化マトリクスに準じて２^r 倍されているとすれば、量子化パラメータが第一の規定値６×（ｒ＋１）より小さい場合の右シフトのとき切り捨てを行う必要がある。しかし、この切り捨ては最大（ｒ＋１）ビットの右シフトを含むので、量子化パラメータが小さい場合に四捨五入と比較して正確に逆量子化が行われないという問題が生じる。

そこで、右シフトのとき四捨五入を行う手法が考えられるが、そうすると量子化マトリクスを用いないH.264対応の従来の逆量子化器との互換性がなくなってしまい、量子化マトリクスによって重み付けを行わない場合に、H.264のストリームが正しく復号できなくなる。

本発明の目的は、量子化マトリクス技術によってH.264の逆量子化器の拡張を行った場合に、特に色差信号の逆量子化において拡張を行わない逆量子化器との互換性を維持して良好な逆量子化を行うことにある。

また、本発明のさらなる目的は、演算精度や量子化マトリクスによる重み付けの自由度を確保することを可能とすることにある。

上記課題を解決するため、本発明の一つの観点によると、量子化直交変換係数、量子化の重み付けの値を示す量子化マトリクス及び量子化パラメータの情報を受け、前記量子化直交変換係数に対して整数演算処理によって逆量子化を行い、逆量子化直交変換係数を得る逆量子化器において、前記量子化マトリクスから逆量子化スケールを計算する逆量子化スケール計算器と、前記量子化直交変換係数に前記逆量子化スケールを乗じる逆量子化スケール乗算器と、前記量子化スケール乗算器の出力値に前記量子化パラメータの値に応じて変化するオフセット値を加算するオフセット加算器と、前記量子化パラメータの値に応じて選択される前記量子化スケール乗算器の出力値あるいは前記オフセット加算器の出力値に対して前記量子化パラメータに応じたシフト方向及びシフト量のシフト演算を行って前記逆量子化直交変換係数を得るシフト演算器とを具備する逆量子化器を提供する。

本発明の他の観点によると、量子化直交変換係数、量子化の重み付けの値を示す量子化マトリクス及び量子化パラメータの情報を受け、前記量子化直交変換係数に対して整数演算処理によって逆量子化を行い、逆量子化直交変換係数を得る逆量子化器において、前記量子化マトリクスから逆量子化スケールを計算する逆量子化スケール計算器と、前記量子化直交変換係数に前記逆量子化スケールを乗じる逆量子化スケール乗算器と、前記量子化スケール乗算器の出力値に前記量子化マトリクスの値に応じて変化するオフセット値を加算するオフセット加算器と、前記量子化パラメータの値に応じて選択される前記量子化スケール乗算器の出力値あるいは前記オフセット加算器の出力値に対して前記量子化パラメータに応じたシフト方向及びシフト量のシフト演算を行って前記逆量子化直交変換係数を得るシフト演算器とを具備する逆量子化器を提供する。

さらに、本発明の別の観点によれば、逆量子化器を含む画像復号化装置を提供する。例えば、動画像のための画像復号化装置は、動画像に関する画像符号化データを復号して前記量子化直交変換係数、量子化マトリクス、量子化パラメータの情報、符号化モードがイントラ符号化モードかインター符号化モードかを示すモード情報及び動きベクトル情報を再生する復号化器と、前記逆量子化器から出力される前記逆量子化直交変換係数を逆直交変換することにより、前記モード情報がイントラ符号化モードを示している場合には再生画像信号を出力し、前記モード情報がインター符号化モードを示している場合には予測誤差信号を出力する逆直交変換器と、前記動きベクトル情報を用いて動き補償を行うことにより予測画像信号を作成する予測画像生成器と、前記予測誤差信号及び予測画像信号を加算して再生画像信号を得る加算器とを具備することによって実現される。

静止画像のための画像復号化装置は、画像符号化データを復号して前記量子化直交変換係数、量子化マトリクス及び量子化パラメータの情報を再生する復号化器と、逆量子化器と、前記逆量子化器から出力される前記逆量子化直交変換係数を逆直交変換して再生画像信号を得る逆直交変換器とを具備することよって実現される。

本発明によれば、量子化パラメータや量子化マトリクスの値を用いて逆量子化処理におけるオフセットの値を調整することにより、従来のH.264対応の逆量子化器との互換性を取りつつ、十分に視覚特性等も考慮した逆量子化器を実現できる。

以下、図面を参照して本発明の一実施形態について説明する。

まず、図１を用いて本発明の一実施形態に係る動画像復号化装置について述べる。図示しない動画像符号化装置から送出され、伝送系または蓄積系を経て送られてきた画像符号化データ１０は、入力バッファ１０１に一旦蓄えられる。入力バッファ１０１から読み出される画像符号化データは、多重化分離器１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化器１０３に入力される。

可変長復号化器１０３では、画像符号化データ１０の各シンタクスの可変長符号が復号され、量子化直交変換係数１１、量子化マトリクス１２、量子化パラメータ１３、モード情報１４及び動きベクトル情報１５が再生される。ここで、量子化直交変換係数１１は画像信号または予測誤差信号を直交変換して得られる直交変換係数を量子化した値である。量子化マトリクス１２及び量子化パラメータ１３については、後に詳しく説明する。モード情報１４は、符号化モードを表す。

量子化直交変換係数１１は、量子化の重み付けの値（重み）を示す量子化マトリクス１２、量子化パラメータ１３及びモード情報１４に従って逆量子化器１０４により逆量子化される。逆量子化器１０４から出力される逆量子化直交変換係数は、さらに逆直交変換器１０５により逆直交変換されることによって、再生画像信号または予測誤差信号が生成される。

すなわち、モード情報１４がイントラ符号化モードを示している場合には、逆直交変換器１０５から再生画像信号が出力され、これが加算器１０６を介して最終的な再生画像信号１８として出力される。モード情報１４がインター符号化モードを示している場合は、逆直交変換器１０５から予測誤差信号１６が出力され、さらにモード選択スイッチ１０９がオンとされることにより、予測誤差信号１６は加算器１０６に入力される。

予測誤差信号１６とフレームメモリ／予測画像生成器１０８から出力される予測画像信号１７は加算器１０６で加算され、これによって再生画像信号１８が生成される。再生画像信号１８は、後段に出力されると共にフレームメモリ／予測画像作成器１０８に参照画像信号として蓄積される。

モード情報１４及び動きベクトル情報１５は、フレームメモリ／予測画像作成器１０８に入力される。フレームメモリ／予測画像作成器１０８では、モード情報１４及び動きベクトル情報１５に従って、蓄積している参照画像信号に対し動き補償を行うことにより予測画像信号１７を生成する。モード情報１４はモード選択スイッチ１０９にも入力され、モード選択スイッチ１０９をイントラ符号化モードの場合にはオフ、インター符号化モードの場合にはオンとする。

次に、逆量子化器１０４について説明するが、その前に従来技術に基づく逆量子化処理につき、改めて数式を用いて説明する。
画像符号化における一般的な逆量子化処理は、数式（１）に基づいて行われる。

ここで、Ｘ_ij は量子化された直交変換係数行列、Ｑ_step は量子化ステップ、Ｙ_ij は逆量子化された直交変換係数行列を表している。H.264では、少ない演算で１６ビットでの演算精度を実現するために、数式（２）のような逆量子化を行う。

ここで、ＱＰは０から５１までの値をとる量子化パラメータであり、直交変換係数Ｘ_ijのスケーリング率を表す値である。ＬＳ(m,i,j)は数式（３）（４）で定義されるレベルスケールであり、量子化パラメータＱによって変化する値である。記号“＜＜”は左シフト演算を表し、続く数値がシフト量を示している。左シフト演算とは、数値を２進数で表現した時に、各ビットを左にずらす演算である。例えば、1101を左に2ビットシフトすると110100である。

H.264のイントラ１６×１６予測では、図２のように４×４ブロック毎に直交変換を行ったときのＤＣ（直流）値を用いて１６要素を持つ４×４ＤＣマトリクスを作成し、このマトリクスに４×４のアダマール変換及び量子化を行う。このようにＤＣ（直流）項とＡＣ（交流）項を別々に分けて変換することにより、符号化効率の向上を図っている。図２（ａ）に示す輝度（Ｙ）信号のＤＣマトリクスの逆量子化処理は、数式（５）で与えられる。

ここで、記号“％”は整数同士の除算の余りを求める演算子である。例えば、８％３は２である。また、記号“／”は整数同士の除算を表し、少数値は切り捨てられる。例えば、１１／４は２である。また、記号“＞＞”は右シフト演算を表し、続く数値がシフト量を示している。右シフト演算とは、数値を2進数で表現した時に、各ビットを右にずらす演算である。例えば、10010を右に1ビットシフトすると1001である。

ここで、４×４のアダマール変換も全て整数演算で実現するため、Ｘ_ij の値が全て４倍されていることを考慮して逆量子化を行っている。そのため、ＱＰが１２より小さい場合は数式（５）の右辺下段に示されるように右シフトが生じ、このとき四捨五入を用いて逆量子化を行っている。

一方、色差（Ｃｂ，Ｃｒ）信号についても輝度信号と同様に、図２（ｂ）（ｃ）に示すように４×４ブロック毎に直交変換を行ったときのＤＣ値を用いて、２×２ＤＣマトリクスを作成し、このマトリクスに２×２のアダマール変換及び量子化処理を施す。色差信号（Ｃｂ信号あるいはＣｒ信号）のＤＣマトリクスの逆量子化は、数式（６）で与えられる。

色差信号においては２×２のアダマール変換も全て整数演算で実現するため、X_ij の値が全て２倍されていることを考慮して逆量子化を行っている。そのため、量子化パラメータＱＰが第二の規定値６より小さい場合、数式（６）の右辺下段に示されるように１ビットの右シフトが生じる。ここで注目すべき点は、色差信号のＤＣ成分の逆量子化においては、「切り捨て」によって逆量子化を行っているということであり、輝度信号のＤＣ成分の逆量子化において「四捨五入」を行うこととは扱いが異なっている。これは１ビットの右シフトのため、切り捨てよる誤差はごく小さいと判断したための仕様と考えられる。

ところで、人間の視覚特性を考慮した量子化手法として、従来よりMPEG-2などに導入されている量子化方法は、空間的な高周波ほど粗く量子化してよいという視覚特性に基づいて量子化された変換係数行列Ｘ_ijの値を重み付けして量子化を行う手法であり、数式（７）のように量子化マトリクスＷＭ_ij が導入される。数式（７）は、量子化時に量子化マトリクスＷＭ_ij を導入したときの逆量子化処理を表している

数式（７）においては、量子化マトリクスＷＭ_ijは値が１６のとき数式（１）と同じになるように正規化されている。H.264では量子化マトリクスは適用されていないが、もし適用することを考えた場合、レベルスケールＬＳの値に量子化マトリクスＷＭ_ij が予め乗算されていると考えればよい。その場合、数式（８）のような量子化スケールＱＳを定義することができる。

ここで、量子化マトリクスＷＭ_ij は、重み１のときに２^r になるように設定しておく。例えば数式（７）の例の場合、ｒは４である。従って、量子化スケールＱＳはレベルスケールＬＳに対して２^r 倍されていると考えて逆量子化処理を行う必要がある。具体的に、色差信号のＤＣ成分に適用した場合、逆量子化処理は次のようになる。

これまでのH.264の逆量子化器との互換性を考慮すると、ＱＰが第一の規定値６×（ｒ＋１）より小さい場合の右シフトのとき、切り捨てを行う必要がある。しかし、この切り捨ては最大（ｒ＋１）ビットの右シフトを含むので、量子化パラメータＱＰが小さい場合には四捨五入を行う方法と比較して正確に逆量子化が行われないという問題が生じる。そこで、次の数式（１０）のようにＱＰが第一の規定値６×（ｒ＋１）より小さい場合、四捨五入を行うという手法が考えられる。数式（１０）の右辺下段の２^(r-QP/6) の項が四捨五入を表す。

しかし、こうするとＱＰが第一の規定値６×（ｒ＋１）より小さい場合に切り捨てを行う従来のH.264の逆量子化器との互換性がなくなってしまうため、量子化マトリクスによって重み付けを行わない場合、従来のH.264のストリームが正しく復号できなくなってしまう問題が生じる。

本発明によると、量子化パラメータや量子化マトリクスの値を用いて逆量子化処理におけるオフセットの値を調整することにより上述のような問題点を解決し、従来のH.264対応の逆量子化器との互換性を確保しつつ、量子化マトリクスの技術を取り入れて視覚特性も十分に考慮した逆量子化器を実現することができる。以下、図３及び図４を参照して図１中の逆量子化器１０４に関する第１及び第２の実施形態について説明する。

［逆量子化器１０４の第１の実施形態］
まず、図３を用いて逆量子化器１０４の第１の実施形態を説明する。図３の逆量子化器１０４は逆量子化スケール計算器３０１、逆量子化スケール乗算器３０２、選択器３０３、オフセット加算器３０４及びシフト演算器３０５を有する。図１中の可変長復号化器１０３から逆量子化器１０４に入力される量子化された直交変換係数（以下、量子化直交変換係数という）１１をＸ、量子化マトリクス情報１２によって示される量子化マトリクスをＷＭ、量子化パラメータ情報１３によって示される量子化パラメータをＱＰ、逆量子化器１０４から出力される逆量子化された直交変換係数をＹとおいて、図３の各部を説明する。

逆量子化スケール計算器３０１は、量子化マトリクスＷＭによってレベルスケールＬＳに対して重み付けを行い、逆量子化スケールＱＳを求める。逆量子化スケール乗算器３０２は、量子化パラメータＱＰに応じた逆量子化スケールQＳを量子化直交変換係数Ｘに乗じる。

逆量子化スケール乗算器３０２からの出力は、量子化パラメータＱＰの値に応じて切り替わる選択器３０３を介してオフセット加算器３０４及びシフト演算器３０５のいずれかに入力される。オフセット加算器３０４は、量子化パラメータＱＰに応じたオフセット値を入力値に加算した値を出力する。

オフセット加算器３０４からの出力は、シフト演算器３０５に入力される。シフト演算器３０５は、量子パラメータＱＰに応じたシフト方向とシフト量（ｎビットとする）のシフト演算を行い、逆量子化直交変換係数Ｙを出力する。ここでシフト演算としては、量子パラメータＱＰが第一の規定値（例えば、６×（ｒ＋１））未満ならば右シフト演算、第一の規定値以上ならば左シフト演算が行われる。

次に、図２の逆量子化器１０４において、入力である量子化直交変換係数Ｘが色差信号のＤＣ成分である場合の逆量子化処理について第１乃至第５の具体例を説明する。

（逆量子化処理の第１の具体例）
第１の具体例では、次の数式（１１）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値（この例では６×（ｒ＋１））以上の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力され、数式（１１）の右辺上段に示されるようにシフト量ｎ＝（ｒ＋１）−ＱＰ／６の左シフトが行われることにより、数式（１０）と同様の逆量子化が行われる。

一方、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）未満の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、数式（１２）の右辺下段に示されるように逆量子化スケール乗算器３０２の出力値にオフセット値として２^(r-QP/6)−１が加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。シフト演算器３０５では、シフト量ｎ＝（ｒ＋１）−ＱＰ／６の右シフトが行われる。

数式（１１）と先の数式（１０）との違いは、ＱＰが第一の規定値６×（ｒ＋１）未満のときのオフセット値が−１シフトされている点である。すなわち、数式（１１）は量子化マトリクスＷＭを導入しかつ量子化パラメータＱＰが小さい場合に四捨五入を行う量子化処理を示す数式（１０）と実質上ほとんど同じであるため、視覚特性も考慮した逆量子化が可能となり、また右シフト時の係数切り捨て誤差を抑えることができる。さらに、数式（１２）によると量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは、従来のH.264対応の逆量子化器による量子化処理を示す数式（６）と同一となり、従来のH.264対応の逆量子化器との互換性を保つことができる。

（逆量子化処理の第２の具体例）
第２の具体例では、次の数式（１２）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力され、数式（１０）（１２）と同様の量子化処理が行われる。

一方、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）未満の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、量子化パラメータＱＰが特に第二の規定値６未満の場合には２^r −１が、それ以外の場合には２^(r-QP/6) が逆量子化スケール乗算器３０２の出力値にそれぞれオフセット値として加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。シフト演算器３０５では、量子化パラメータＱＰが第二の規定値６未満の場合にはシフト量ｎ＝（ｒ＋１）の右シフトが行われ、それ以外の場合にはシフト量ｎ＝（ｒ＋１）−ＱＰ／６の右シフトが行われる。

数式（１２）と第１の具体例の数式（１１）との違いは、量子化パラメータによる場合分けをより細分化した点である。このようにすることにより、実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第２の具体例によっても第１の具体例と同様の効果が得られる。

（逆量子化処理の第３の具体例）
第３の具体例においては、次の数式（１３）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上または第二の規定値６未満の場合は、これまでと同様に逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力される。一方、量子化パラメータＱＰが第二の規定値６以上第一の規定値６×（ｒ＋１）未満の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、逆量子化スケール乗算器３０２の出力値にオフセット値として２^(r-QP/6) が加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。ここで、量子化パラメータＱＰが第二の規定値６未満の場合、オフセット加算器３０４ではオフセット値は０とされる、すなわち切り捨て処理が行われる。

数式（１３）と第２の具体例の数式（１２）との違いは、量子化パラメータＱＰが第二の規定値６未満のとき切り捨ての処理を行うようにした点である。このようにすることによって、実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第１の具体例と同様の効果が得られる。

（逆量子化処理の第４の具体例）
第４の具体例においては、次の数式（１４）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上の場合は、これまでと同様に逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力される。一方、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）未満の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、量子化パラメータＱＰが特に１または２の場合には２^r −１が、それ以外の場合には２^(r-QP/6) がオフセット値として逆量子化スケール乗算器３０２の出力値にそれぞれ加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。シフト演算器３０５では、量子化パラメータＱＰが１または２の場合にはシフト量ｎ＝（ｒ＋１）の右シフトが行われ、それ以外の場合にはシフト量ｎ＝（ｒ＋１）−ＱＰ／６の右シフトが行われる。

数式（１４）と第３の具体例の数式（１３）との違いは、量子化パラメータＱＰの値が１と２の場合のみオフセット値を−１シフトした点である。これはＱＰが第二の規定値６未満でレベルスケールＬＳの値が奇数になるのは、数式（４）よりＱＰが１または２のときだけであり、数式（６）において値の切り捨てが生じるのは、ＱＰが１または２のときに限定されるためである。このようにすることによって、実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第１の具体例と同様の効果が得られる。

（逆量子化処理の第５の具体例）
第５の具体例においては、次の数式（１５）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上、あるいは１または２の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力される。これ以外の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４で２^(r-QP/6) が加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。ここで、量子化パラメータＱＰが１または２の場合、オフセット加算器３０４ではオフセット値は０とされる、すなわち切り捨て処理が行われる。シフト演算器３０５では、量子化パラメータＱＰが第二の規定値６未満の場合にはシフト量ｎ＝（ｒ＋１）の右シフトが行われ、それ以外の場合にはシフト量ｎ＝（ｒ＋１）−ＱＰ／６の右シフトが行われる。

第４の具体例の数式（１４）との違いは、量子化パラメータＱＰの値が１と２の場合に切り捨てを行う点にある。このようにすることによって、第４の具体例と同様に実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスWMの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第１の具体例と同様の効果が得られる。

［逆量子化器１０４の第２の実施形態］
次に、図４を用いて逆量子化器１０４の第２の実施形態を説明する。図４の逆量子化器１０４は、量子化マトリクスＷＭが選択器３０３とオフセット加算器３０４にも入力されている点が図３と異なる。

逆量子化スケール計算器３０１は、量子化マトリクスＷＭによってレベルスケールＬＳに対して重み付けを行い、逆量子化スケールＱＳを求める。逆量子化スケール乗算器３０２は、量子化パラメータＱＰに応じた逆量子化スケールQＳを量子化係数Ｘに乗じる。

逆量子化スケール乗算器３０２からの出力値は、量子化パラメータＱＰの値及び量子化マトリクスWMの値に応じて切り替わる選択器３０３を介してオフセット加算器３０４及びシフト演算器３０５のいずれかに入力される。オフセット加算器３０４は、量子化パラメータＱＰ及び量子化マトリクスＷＭに応じた値を入力値に加算した値を出力する。オフセット加算器３０４からの出力値は、シフト演算器３０５に入力される。

シフト演算器３０５は、量子パラメータＱＰに応じたシフト量（ｎビットとする）だけ入力値に対してシフト演算を行い、逆量子化直交変換係数Ｙを出力する。ここでｎビットのシフト演算としては、量子パラメータＱＰが第一の規定値未満ならば右シフト演算、第一の規定値以上の場合は左シフト演算が行われる。

次に、図３の逆量子化器１０４において、入力である量子化された直交変換係数Ｘが色差信号のＤＣ成分である場合の逆量子化処理の具体例として、第６及び第７の具体例を説明する。

（逆量子化処理の第６の具体例）
第６の具体例においては、次の数式（１６）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上の場合は、逆量子化スケール乗算器３０２の出力値は選択器４０３を経てシフト演算器３０５に入力される。一方、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）未満の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、量子化マトリクスWMの00成分が２^r （重みが１）の場合には２^(r-QP/6) −１が、それ以外の場合には２^(r-QP/6) がオフセット値として逆量子化スケール乗算器３０２の出力値にそれぞれ加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。シフト演算器３０５では、シフト量ｎ＝（ｒ＋１）−ＱＰ／６の右シフトが行われる。

数式（１６）と第１の具体例の数式（１１）との違いは、量子化マトリクスＷＭの値によって場合分けを行った点であり、ＷＭ₀₀＝２^r 、つまり重みが１のときはオフセット値を−１シフトする。このようにすることによって、実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第１の実施形態と同様の効果が得られる。

（逆量子化処理の第７の具体例）
第７の具体例においては、次の数式（１７）に従って逆量子化を行う。

すなわち、量子化パラメータＱＰが第一の規定値６×（ｒ＋１）以上、あるいは量子化マトリクスWMの00成分が２^r （重みが１）の場合は、逆量子化スケール乗算器３０２の出力値は選択器３０３を経てシフト演算器３０５に入力され、それ以外の場合は逆量子化スケール乗算器３０２の出力値は選択器３０３を経てオフセット加算器３０４に入力される。オフセット加算器３０４では、逆量子化スケール乗算器３０２の出力値に２^(r-QP/6) が加算され、オフセット加算器３０４の出力値がシフト演算器３０５に入力される。ここで、量子化マトリクスWMの00成分が２^r （重みが１）の場合、オフセット加算器３０４ではオフセット値は０とされる、すなわち切り捨て処理が行われる。

数式（１７）と第６の具体例の数式（１６）との違いは、量子化マトリクスＷＭの値によって場合分けを行った点であり、ＷＭ₀₀＝２^r 、つまり重みが１のときは切り捨てを行うようにした点である。このようにすることによって、実質上ほとんど数式（１０）と同じで、かつ量子化マトリクスＷＭの値が２^r 、つまり重みがかからなかった場合の逆量子化直交変換係数Ｙは数式（６）と同一になる。従って、第１の実施形態と同様の効果が得られる。

上述の実施形態においては本発明に基づく逆量子化器を動画像復号化装置に適用した例について説明したが、静止画像復号化装置における逆量子化器にも本発明を適用することができる。静止画像復号化装置では、例えば図１中に示す加算器１０６、フレームメモリ／予測画像作成器１０８及びモード選択スイッチ１０９は不要である。

その他、本発明は実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に従う動画像符号化装置のブロック図 H.264のイントラ符号化における直交変換を説明する図 本発明の第１の実施形態に係る逆量子化器のブロック図 本発明の第２の実施形態に係る逆量子化器のブロック図

符号の説明

１０…画像符号化データ；
１１…直交変換係数情報；
１２…量子化マトリクス情報；
１３…量子化パラメータ情報；
１４…モード情報；
１５…動きベクトル情報；
１６…予測誤差信号；
１７…予測画像信号；
１８…再生画像信号；
１０１…入力バッファ；
１０２…多重化分離器；
１０３…可変長復号化器；
１０４…逆量子化器；
１０５…逆直交変換器；
１０６…加算器；
１０７…フレームメモリ／予測画像作成器；
１０８…加算器；
１０９…モード切替選択器；
３０１…逆量子化スケール計算器；
３０２…逆量子化スケール乗算器；
３０３…選択器；
３０４…オフセット加算器；
３０５…シフト演算器

Claims (11)

1. 量子化直交変換係数、量子化の重み付けの値を示す量子化マトリクス及び量子化パラメータの情報を受け、前記量子化直交変換係数に対して整数演算処理によって逆量子化を行い、逆量子化直交変換係数を得る逆量子化器において、
   前記量子化マトリクスから逆量子化スケールを計算する逆量子化スケール計算器と、
   前記量子化直交変換係数に前記逆量子化スケールを乗じる逆量子化スケール乗算器と、
   前記量子化スケール乗算器の出力値に前記量子化パラメータの値に応じて変化するオフセット値を加算するオフセット加算器と、
   前記量子化パラメータの値に応じて選択される前記量子化スケール乗算器の出力値あるいは前記オフセット加算器の出力値に対して前記量子化パラメータに応じたシフト方向及びシフト量のシフト演算を行って前記逆量子化直交変換係数を得るシフト演算器とを具備する逆量子化器。
2. 前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満の場合に２n-1−１を前記オフセット値とする請求項１記載の逆量子化器。
3. 前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満の場合に前記量子化パラメータの値に応じて２^n-1 または２^n-1−１を前記オフセット値とする請求項１記載の逆量子化器。
4. 前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満の場合に前記量子化パラメータの値に応じて２^n-1 または０を前記オフセット値とする請求項１記載の逆量子化器。
5. 前記逆量子化スケール計算器は、前記量子化マトリクスの値に前記量子化パラメータによって定義されるレベルスケールの値を乗算することによって前記逆量子化スケールを計算し、
   前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満の第二の規定値未満でかつ前記レベルスケールの値が奇数の場合に２^n-1−１を前記オフセット値とし、前記量子化パラメータの値が前記第一の規定値未満かつ第二の規定値以上である場合或いは前記レベルスケールの値が奇数でない場合に２^n-1 を前記オフセット値とする請求項１記載の逆量子化器。
6. 前記逆量子化スケール計算器は、前記量子化マトリクスの値に前記量子化パラメータによって定義されるレベルスケールの値を乗算することによって前記逆量子化スケールを計算し、
   前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満かつ前期第一の規定値未満の第二の規定値以上である場合或いは前記レベルスケールの値が奇数でない場合に２n-1を前記オフセット値とし、前記量子化パラメータの値が前記第二の規定値未満でかつ前記レベルスケールの値が奇数の場合は０を前記オフセット値とする請求項１記載の逆量子化器。
7. 量子化直交変換係数、量子化の重み付けの値を示す量子化マトリクス及び量子化パラメータの情報を受け、前記量子化直交変換係数に対して整数演算処理によって逆量子化を行い、逆量子化直交変換係数を得る逆量子化器において、
   前記量子化マトリクスから逆量子化スケールを計算する逆量子化スケール計算器と、
   前記量子化直交変換係数に前記逆量子化スケールを乗じる逆量子化スケール乗算器と、
   前記量子化スケール乗算器の出力値に前記量子化マトリクスの値に応じて変化するオフセット値を加算するオフセット加算器と、
   前記量子化パラメータの値に応じて選択される前記量子化スケール乗算器の出力値あるいは前記オフセット加算器の出力値に対して前記量子化パラメータに応じたシフト方向及びシフト量のシフト演算を行って前記逆量子化直交変換係数を得るシフト演算器とを具備する逆量子化器。
8. 前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満でかつ前記量子化マトリクスによって示される前記量子化の重み付けの値が１の場合に２n-1−１を前記オフセット値とし、前記量子化パラメータの値が前記第一の規定値未満でかつ前記量子化マトリクスによって示される前記量子化の重み付けの値が１以外の場合に２n-1 を前記オフセット値とする請求項７記載の逆量子化器。
9. 前記シフト演算器は、前記量子化パラメータの値が第一の規定値未満の場合にシフト量ｎの右シフト演算を行い、
   前記オフセット加算器は、前記量子化パラメータの値が前記第一の規定値未満でかつ前記量子化マトリクスによって示される前記量子化の重み付けの値が１の場合に０を前記オフセット値とし、前記量子化パラメータの値が前記第一の規定値未満でかつ前記量子化マトリクスによって示される前記量子化の重み付けの値が１以外の場合に２n-1 を前記オフセット値とする請求項７記載の逆量子化器。
10. 動画像に関する画像符号化データを復号して前記量子化直交変換係数、量子化マトリクス、量子化パラメータの情報、符号化モードがイントラ符号化モードかインター符号化モードかを示すモード情報及び動きベクトル情報を再生する復号化器と、
    請求項１乃至９のいずれか１項記載の逆量子化器と、
    前記逆量子化器から出力される前記逆量子化直交変換係数を逆直交変換することにより、前記モード情報がイントラ符号化モードを示している場合には再生画像信号を出力し、前記モード情報がインター符号化モードを示している場合には予測誤差信号を出力する逆直交変換器と、
    前記動きベクトル情報を用いて動き補償を行うことにより予測画像信号を作成する予測画像生成器と、
    前記予測誤差信号及び予測画像信号を加算して再生画像信号を得る加算器とを具備する画像復号化装置。
11. 画像符号化データを復号して前記量子化直交変換係数、量子化マトリクス及び量子化パラメータの情報を再生する復号化器と、
    請求項１乃至９のいずれか１項記載の逆量子化器と、
    前記逆量子化器から出力される前記逆量子化直交変換係数を逆直交変換して再生画像信号を得る逆直交変換器とを具備する画像復号化装置。

Images