JP2010063161A - 動画像復号方法 - Google Patents

Abstract

【課題】画像信号の特性に合わせて最適な符号化処理が行えるように変換方式を選択する。
【解決手段】符号化制御部３０は、過去に選択された変換方式の履歴を記憶しておき、同じ変換方式を選択するように制御する信号２０３を変換方式制御部３１に出力し、逆変換部Ａ９１もしくは逆変換部Ｂ９２のいずれかに逆量子化部８１にて逆量子化された変換係数信号が入力してそれぞれの変換方式で逆変換され、逆変換された変換係数信号が出力される。
【選択図】図３

Description

この発明は、動画像信号を圧縮・伸張する動画像符号化装置および動画像復号装置に関するものである。

図１は、例えば、国際標準ＩＳＯ／ＩＥＣ １３８１８−２（通称ＭＰＥＧ−２ ビデオパート）に示された従来の動画像符号化装置のブロック図である。１０は符号化制御部、１１は符号化モード判定部、１２はＤＣＴ部、１３は量子化部、１４は逆量子化部、１５は逆ＤＣＴ部、１６はビデオメモリ、１７は動き補償部、１８は動き検出部、１９は可変長符号化部である。

次に動作について説明する。入力される動画像信号１０１は、後述する動き補償予測信号と差分がとられ、予測差分信号１０２が符号化モード判定部１１に入力される。符号化モード判定部１１では、入力動画像信号１０１を符号化処理するイントラ符号化モードか、予測差分信号１０２を符号化処理するインター符号化モードのいずれかを選択し、一方の信号を出力する。出力された信号は直交変換の一種であるＤＣＴを用いて空間領域から周波数領域に変換される。変換係数は量子化部１３で量子化され、量子化係数１０３が出力される。

量子化係数１０３は逆量子化部１４で逆量子化され、逆ＤＣＴ部１５で逆ＤＣＴされ、空間領域の信号に再変換される。変換された信号はインター符号化モードが選択されている場合には動き補償予測信号と加算され、局部復号画像信号がビデオメモリ１６に蓄積される。動き検出部１８は、ビデオメモリ１６に蓄積された局部復号画像信号と入力画像信号１０１を入力し、動きベクトル１０４を検出する。動き補償部１７は動きベクトル１０４と局部復号画像信号から動き補償予測信号を生成する。

符号化制御部１０は、符号化モード判定信号１０５を用いて符号化モード判定部１１を制御する。制御の方法としては、例えば過去の符号化処理の状況（例えば発生符号量）や入力される画像信号の信号特性に応じて、イントラ符号化モードとインター符号化モードの発生割合を制御する。また、符号化制御部１０は、量子化パラメータ１０６を用いて量子化部１３で行われる量子化処理の精度を制御する。
可変長符号化部１９は、量子化係数１０３、動きベクトル１０４、符号化制御部１０が生成する上記符号化モードや量子化パラメータなどの各種情報１０７などを符号化・多重化して出力する。

図２は、図１が出力する符号化データを入力し、復号画像信号を得る動画像復号装置のブロック図である。８０は可変長復号部、８１は逆量子化部、８２は逆ＤＣＴ部、８３はビデオメモリ、８４は動き補償予測部である。

次に動作について説明する。入力される符号化データ１５１は可変長復号部８０で可変長復号される。これは符号化器の可変長符号化部１９の逆の動作を行うものである。復号された量子化係数１５２は逆量子化部８１で逆量子化され、逆ＤＣＴ部８２で逆ＤＣＴされ、空間領域の信号に変換される。変換された信号が、インター符号化モードの場合には動きベクトル１５３を用いて動き補償予測された動き補償予測信号と加算され、復号画像信号１５４が得られる。復号画像信号１５４はビデオメモリ８３に蓄積される。

国際標準ＩＳＯ／ＩＥＣ １３８１８−２（通称ＭＰＥＧ−２ ビデオパート）

従来の動画像符号化方式は、画像信号の周波数領域への変換方式として常にＤＣＴを用いていたため、ＤＣＴの変換特性に合わない信号が入力された場合には、十分な圧縮特性が得られないという課題があった。

また、従来のＤＣＴと量子化の組み合わせでは、符号化誤差をゼロにするロスレス符号化処理が事実上不可能に近い、という課題もある。

この発明は、上記のような問題点を解決するためになされたもので、画像信号の特性に合わせて最適な符号化処理が行えるように変換方式を選択でき、さらには変換方式を選択する際に、連動して量子化処理や可変長符号化処理の処理方式を変更できる画像符号化装置、または画像信号を圧縮・伸張した際に、完全にもとの画像信号に復号可能なロスレス符号化処理も適応的に可能とする画像符号化装置、およびこのような画像符号化装置の符号化出力を正しく復号処理することのできる動画像復号装置を提供することを目的とする。

上記課題を解決するため、本発明では、動画像信号を圧縮した符号化データを生成する動画像符号化装置において、変換方式の異なる複数の変換部と、前記複数の変換部の中からいずれか一つを選択する変換方式制御部と、選択された変換方式を示すフラグを符号化データに含める可変長符号化部と、を有することを特徴とする。

また、圧縮された符号化データから動画像信号を復号する動画像復号装置において、符号化データから変換方式を選択するフラグを取り出す可変長復号部と、変換方式の異なる複数の逆変換部と、前記フラグに応じて前記複数の逆変換部の中からいずれか一つを選択する逆変換方式制御部と、を有することを特徴とする。

また、動画像信号を圧縮した符号化データを生成する動画像符号化装置において、変換方式の異なる複数の変換部と、前記複数の変換部の中からいずれか一つを、符号化データの一部の情報を使用して選択する変換方式制御部と、を有することを特徴とする。

また、圧縮された符号化データから動画像信号を復号する動画像復号装置において、変換方式の異なる複数の逆変換部と、符号化データの一部の情報を使用して、前記複数の逆変換部の中からいずれか一つを選択する逆変換方式制御部と、を有することを特徴とする。

特に、符号化データの一部の情報として、量子化パラメータ情報を使用することを特徴とする。

また、符号化データの一部の情報として、マクロブロックの符号化モードがイントラ符号化モードであるかインター符号化モードであるかの情報を使用することを特徴とする。

また、符号化データの一部の情報として、マクロブロックの動き補償予測を行う動きベクトルの個数情報を使用することを特徴とする。

また、動画像信号を圧縮した符号化データを生成する動画像符号化装置において、変換方式の異なる複数の変換部と、過去に選択された変換方式の履歴を記憶しておいて、その履歴に応じて前記複数の変換部の中からいずれか一つを選択する変換方式制御部と、を有することを特徴とする。

また、圧縮された符号化データから動画像信号を復号する動画像復号装置において、変換方式の異なる複数の逆変換部と、過去に選択された変換方式の履歴を記憶しておいて、その履歴に応じて前記複数の逆変換部の中からいずれか一つを選択する逆変換方式制御部と、を有することを特徴とする。

また、動画像信号を圧縮した符号化データを生成する動画像符号化装置において、変換方式の異なる複数の変換部と、前記複数の変換部の中からいずれか一つを選択する変換方式制御部と、前記選択された変換部に対応した量子化処理を行う量子化部と、選択された変換方式を示すフラグを符号化データに含める可変長符号化部と、
を有することを特徴とする。

また、圧縮された符号化データから動画像信号を復号する動画像復号装置において、符号化データから変換方式を選択するフラグを取り出す可変長復号部と、複数の異なる逆量子化部と、変換方式の異なる複数の逆変換部と、前記フラグに応じて前記複数の異なる逆量子化部の中からいずれか一つを選択する逆変換方式制御部と、を有することを特徴とする。

また、動画像信号を圧縮した符号化データを生成する動画像符号化装置において、変換方式の異なる複数の変換部と、前記複数の変換部の中からいずれか一つを選択する変換方式制御部と、選択された変換方式を示すフラグを符号化データに含めるとともに、選択された変換方式に応じた可変長符号化処理を行う可変長符号化部と、を有することを特徴とする。

また、圧縮された符号化データから動画像信号を復号する動画像復号装置において、符号化データから変換方式を選択するフラグを取り出すとともに、取り出されたフラグに応じた可変長復号処理を行う可変長復号部と、変換方式の異なる複数の逆変換部と、前記フラグに応じて前記複数の逆変換部の中からいずれか一つを選択する逆変換方式制御部と、を有することを特徴とする。

また、可変長復号処理の方式として、変換係数の連続するゼロの個数を示すゼロランと非ゼロの係数の値を示すレベルとを組み合わせた二次元可変長符号語を複数備え、変換方式を選択するフラグに応じて二次元可変長符号語を切り替えて復号処理を行うことを特徴とする。

以上説明したように、本発明によれば、複数の異なる変換部を用意しておき、いずれか一つの変換部を選択して符号化を行うようにしたので、画像信号の特性に合わせて変換部を選択することにより、画像信号の特性に合わせた最適な符号化処理を行うことができる。

特に、異なる複数の変換方式として、例えば、従来のＤＣＴ変換方式と、アダマール変換方式等の可逆符号化（ロスレス符号化）とを設けた場合には、可逆符号化が要求されるようなときにはアダマール変換方式を選択する一方、それ以外のときには従来のＤＣＴ変換方式を選択して用いることにより、弾力的かつ高能率な符号化・復号処理が可能となる。

また、変換処理を選択する際に、連動して量子化処理や可変長符号化処理等の処理方式も変更するようにしたので、さらに、画像信号の特性に合わせた最適な符号化処理を行うことができる。

また、選択された変換方式を示すフラグや、符号化データの一部により、符号化装置側で選択した変換方式を復号側に通知するようにしたので、復号装置側では、画像信号の特性に合わせて選択された変換方式により符号化された符号化データでも、正しく復号処理を行うことができる。

従来の動画像符号化装置のブロック図である。 従来の動画像復号装置のブロック図である。 実施の形態１の画像符号化装置のブロック図である。 実施の形態２の画像符号化装置のブロック図である。 実施の形態３の画像符号化装置のブロック図である。 可変長符号化の際のスキャン順等の処理の一例を示す。 実施の形態５の動画像復号装置のブロック図である。 実施の形態６の動画像復号装置のブロック図である。

実施の形態１．
図３は、この発明の実施の形態１の画像符号化装置のブロック図である。
図において、２１は変換方式制御部、２２は第一の変換部Ａ、２３は第二の変換部Ｂ、２４は第一の逆変換部Ａ、２５は第二の逆変換部Ｂ、２６，２７はそれぞれ二つの変換部Ａ２２，Ｂ２３、逆変換部Ａ２４，Ｂ２５のいずれかを選択するためのスイッチである。他の構成要素は、図１に示す従来例と同じで、同じ番号のブロックは同じ機能であり、同じ動作を行う。

次に動作について説明する。
変換方式制御部２１は、符号化モード判定部１１より出力される信号を空間領域から周波数領域に変換する処理として、２つ用意されている変換部Ａ２２と変換部Ｂ２３のいずれかを用いて変換するように信号２０２を用いてスイッチ２６を制御する。

また、変換方式制御部２１は、逆量子化された係数を逆変換する際に、選択された変換処理の逆変換を行うように、スイッチ２７を制御する。

さらに、変換方式制御部２１は、変換部Ａ２２と変換部Ｂ２３のいずれを選択して符号化処理を行ったかを示すための変換方式選択フラグ２０１を可変長符号化部１９に出力する。変換方式選択フラグ２０１は量子化係数１０３や動きベクトル１０４などの符号化データと共に符号化・多重化されて出力される。

次に、変換方式制御部２１の制御方法について以下に説明する。
本実施の形態１では、いずれの方式が選択されているかを示す変換方式選択フラグ２０１を符号化データとして出力するため、任意のタイミングまたは単位で変換方式を切り替えることが可能である。例えばＭＰＥＧ−２ビデオのビットストリームシンタックスのような階層構造をもった形式の符号化データを出力する場合、シーケンスヘッダに変換方式選択フラグ２０１を多重すれば、シーケンス単位に変換方式を切り替えることが可能となる。同様にＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）ヘッダに多重すればＧＯＰ単位に、ピクチャヘッダに多重すればピクチャ単位に、スライスヘッダに多重すればスライス単位に、マクロブロックタイプの一部に多重すればマクロブロック単位に変換方式を切り替えることが可能となる。

このような制御により、動画像のシーケンス、またはＧＯＰ、ピクチャ、スライス、マクロブロック等といった所定の単位ごとに変換方式を選択することが可能となり、画像信号の状態に応じた最適な符号化処理を行うことができる。

このように、本実施の形態１の動画像符号化装置によれば、変換方式制御部２１の制御によって変換部Ａ２２と変換部Ｂ２３のいずれかを用いて変換するようにしたため、画像信号の特性に合わせて最適な符号化処理が行えるように変換方式を選択できる。

また、変換方式制御部２１は、変換部Ａ２２と変換部Ｂ２３のいずれを選択して符号化処理を行ったかを示すための変換方式選択フラグ２０１を可変長符号化部１９に出力して、変換方式選択フラグ２０１を量子化係数１０３や動きベクトル１０４などの符号化データと共に符号化・多重化して出力するようにしたため、この符号化データを入力して復号する復号装置側では、変換方式選択フラグ２０１を基にその符号化データを正しく復号することが可能となる。

なお、変換方式制御部２１は、変換方式選択フラグ２０１を量子化係数１０３や動きベクトル１０４などの符号化データと共に符号化・多重化して出力するのではなく、別のレイヤでこの変換方式選択フラグ２０１を送受信することにより同様の効果を得るようにしても良い。例えば、通信を開始する際に通常行われる通信端末能力情報の交換作業（例えばＩＴＵ−Ｔの勧告Ｈ．２４２やＨ．２４５などのプロトコルが国際標準として定められている）のときに、このフラグのやりとりを行い、変換方式を設定することも可能である。あるいは、蓄積メディア（テープやディスクなどの媒体）に記録されている符号化データを再生する場合には、媒体の一部に変換方式を記録しておき、再生開始時に手動で操作して変換方式を切り替えたり、あるいは記録されている方式を読み取って変換方式を切り替える、という方法でも可能である。このことは、以降説明する他の実施の形態でも同様である。

実施の形態２．
図４は、この発明の実施の形態２の画像符号化装置のブロック図である。図において、変換方式制御部３１は符号化制御部３０からの信号に応じて動作する点が実施の形態１と異なる点である。これにより、実施の形態１では必要であった変換方式選択フラグ２０１の復号装置側への送信を不要、あるいは送信回数を減らしたことを特徴とする。

次に、本実施の形態２の符号化制御部３０と変換方式制御部３１の動作について詳しく説明する。
変換方式制御部３１は、符号化制御部３０からの信号２０３に応じてスイッチ２６，２７の切替え動作を行う。このような符号化制御部３０からの信号２０３に基づく変換方式制御部３１の動作制御として、以下の場合が挙げられる。

（１）量子化パラメータ１０６に基づく制御
例えば、符号化制御部３０は、量子化部１３を制御する量子化パラメータ１０６が所定の閾値よりも小さい場合には変換方式Ａを選択する一方、量子化パラメータ１０６が閾値よりも大きい場合には変換方式Ｂを選択するように信号２０３を用いて変換方式制御部３１に対して指示を与え、変換方式制御部３１は信号２０２を用いてスイッチ２６を制御する、という動作をとる。

このような制御により、量子化の精度に応じた変換処理を選択することができるとともに、可変長符号化部１９にて符号化される各種情報１０７中の量子化パラメータ１０６自体が変換方式選択フラグとしての役目を果たすので、実施の形態１の場合とは異なり変換方式制御部３１から可変長符号化部１９に対し変換方式選択フラグ２０１を出力する必要がなくなり、変換方式選択フラグ２０１に要する符号量を削減することができる。

（２）符号化モード信号１０５に基づく制御
また、符号化制御部３０は、符号化モード信号１０５の情報に応じて、イントラ符号化モードが選択されたときには変換方式Ａを、インター符号化モードが選択された場合には変換方式Ｂを選択するように制御する信号２０３を変換方式制御部３１に出力するようにしても良い。

このような制御により、符号化モードに応じた変換処理を選択することができるとともに、量子化パラメータ１０６の場合と同様に各種情報１０７に含まれる符号化モード信号１０５自体が変換方式選択フラグとしての役目を果たすので、（１）の量子化パラメータ１０６に基づく制御の場合と同様に変換方式制御部３１から可変長符号化部１９に対し変換方式選択フラグ２０１を出力する必要がなくなり、変換方式選択フラグ２０１に要する符号量を削減することができる。

（３）過去に選択された変換方式に基づく制御
また、符号化制御部３０は、過去に選択された変換方式の履歴を記憶しておき、前フレームの同じ位置のマクロブロックの変換方式や、同一フレームの隣接するマクロブロック、例えば真上のマクロブロックや左隣のマクロブロックの変換方式と同じ変換方式を選択するように制御する信号２０３を変換方式制御部３１に出力するようにしても良い。

このような制御により、同じ変換方式が選択されるマクロブロックが連続して配置されるため、変換方式が異なるために生じる不連続な画像信号の発生を避けることが可能となると共に、同じ変換方式が続く場合には、変換方式が変更された時のみ変換方式制御部３１から可変長符号化部１９に対し変更された変換方式を示す変換方式選択フラグ２０１を出力することにより、変換方式選択フラグ２０１を復号装置側へ送信する回数が大幅に減少することにより、変換方式選択フラグ２０１に要する符号量を減少させることができる。

（４）動きベクトル１０４に基づく制御
また、符号化制御部３０は、動き検出部１８で検出された動きベクトル１０４に応じて変換方式制御部３１を制御する信号２０３を変換方式制御部３１に出力するようにしても良い。例えば、動きベクトル１０４の大きさが閾値以上の場合には変換方式Ａを、閾値以下の場合には変換方式Ｂを選択する動作をとるように制御する。

このような制御により、動きの特性に応じた変換方式を選択することが可能となるため、より効率のよい符号化処理を行うことが可能となると共に、各種情報１０７の場合と同様に可変長符号化部１９にて符号化される動きベクトル１０４自体が変換方式選択フラグとしての役目を果たすので、変換方式選択フラグ２０１に要する符号量を削減することができる。

（５）ブロックの大きさに基づく制御
また、マクロブロック（１６画素×１６ライン）に一つの動きベクトルが与えられるインターモードと、８画素×８ラインのブロックごとに動きベクトルが与えられ一つのマクロブロックに合計４つの動きベクトルをとるインター４ｖモードが用意されているＭＰＥＧ−４ビジュアル符号化方式（ＩＳＯ／ＩＥＣ １４４９６−２）を用いるような場合には、符号化制御部３０は、インターモードとインター４ｖモードに連動して変換方式を選択するように制御する信号２０３を変換方式制御部３１に出力するようにしても良い。

このような制御により、動き補償予測を行うブロックの大きさに応じて変換方式を選択することが可能となるため、より効率の良い符号化変換処理を行うことが可能となると共に、各種情報１０７に含まれる符号化モード信号１０５自体が変換方式選択フラグとしての役目を果たすので、変換方式選択フラグに要する符号量を削減することができる。

尚、上記実施の形態２では、量子化パラメータの大きさや、イントラ符号化モード／インター符号化モード、過去の変換方式や隣接するマクロブロックで選択された変換方式、動きベクトルの大きさ、インターモード／インター４ｖモード等の他の符号化情報と、変換方式の選択とを連動することにより、変換方式選択フラグ１０３を符号化しない、あるいは符号化回数を削減することを特徴としたが、上記実施の形態１と実施の形態２とを組み合わせて、例えば、通常は上述のような他の符号化情報と変換方式の選択とを連動させるが、任意に上述のような他の符号化情報と変換方式の選択とを連動させないようにしても良い。このようにすれば、通常は、実施の形態２の動作を実行して他の符号化情報と変換方式の選択とを連動させるので、全て変換方式選択フラグを符号化する実施の形態１の場合より符号量の発生を削減できると共に、シーンチェンジ等があってフレーム間に関連性がなくなった場合等の符号化情報と変換方式の選択とを連動させない方が符号化効率が高められる場合には、変換方式選択フラグを符号化することによりさらに符号化効率を高めることが可能となる。

実施の形態３．
図５は、この発明の実施の形態３の画像符号化装置のブロック図である。図において、符号化制御部４０、２つの異なる量子化部４２，４３、２つの異なる逆量子化部４４、４５と、スイッチ２７を削除した以外は、図３に示す実施の形態１と同じである。

次に動作について説明する。
例えば、変換方式制御部２１からの信号２０２によりスイッチ２６が第一の変換部Ａ２２を選択した場合、第一の変換部Ａ２２の変換方式にて変換された信号は、その変換方式に適した、すなわちその変換方式の場合に符号化効率の良くなる量子化特性をもつ量子化部Ａ４２で量子化され、量子化係数２１１として可変長符号化部１９へ出力されて符号化されると共に、その量子化係数２１１は量子化部Ａ４２とは逆の処理を行う逆量子化部Ａ４４で逆量子化され、さらに第一の変換部Ａ２２とは逆の処理を行う逆変換部Ａ２４で逆変換される。

一方、変換方式制御部２１からの信号２０２によりスイッチ２６が第二の変換部Ｂ２３を選択した場合、第二の変換部Ｂ２３の変換方式にて変換された信号は、その変換方式に適した量子化部Ｂ４３で量子化され、量子化係数２１２として可変長符号化部１９へ出力されて符号化されると共に、その量子化係数２１２は量子化部Ｂ４３とは逆の処理を行う逆量子化部Ｂ４５で逆量子化され、さらに第一の変換部Ｂ２３とは逆の処理を行う逆変換部Ｂ２５で逆変換される。

このように、本実施の形態３の動画像符号化装置によれば、変換方式を選択するだけでなく、変換方式に応じた量子化処理を行うことにより、符号化の効率をさらに高めることが可能となる。

なお、本実施の形態３では、図３に示す実施の形態１において２つの変換部Ａ２２，Ｂ２３に応じた２つの異なる量子化部Ａ４２，Ｂ４３等を設けて説明したが、本発明では、これに限らず、図４に示す実施の形態２において２つの変換部Ａ２２，Ｂ２３に応じた２つの異なる量子化部Ａ４２，Ｂ４３等を設けるようにしても勿論良い。つまり、この場合には、図４に示す実施の形態２の変換方式制御部３１の場合と同様に、図５に示す本実施の形態３の変換方式制御部２１から可変長符号化部１９は変換方式選択フラグ２０１は出力されず、図４に示す実施の形態２の場合と同様に、符号化制御部１０が生成する符号化モードや量子化パラメータ等の各種情報１０７や、動き検出部１８にて検出された動きベクトル１０４自体が変換方式選択フラグ２０１として機能して、変換方式とそれに対応した量子化処理の選択を示すことになる。また、この実施の形態３を、実施の形態２の尚書き部分のところで説明した、実施の形態１と実施の形態２との組み合わせに採用するようにしても勿論良い。

実施の形態４．
次に説明する実施の形態４は、実施の形態１〜３（実施の形態２，３の尚下記部分でそれぞれ説明した実施の形態同士の組み合わせも含む。）おいて、選択された変換方式に応じて可変長符号化部１９における動作も連動させたことを特徴とする。

例えば、ＭＰＥＧ−２で採用されている符号化方式では、ブロック単位に入力された画像信号は二次元ＤＣＴを施され、水平・垂直の方向性を持った二次元のＤＣＴ係数に変換され、さらに量子化され、可変長符号化される。

図６に、可変長符号化の際のスキャン順等の処理の一例を示す。
図６に示すように、可変長符号化方式は、二次元の量子化係数１０３に対して、例えば図６にて矢印で示すジグザグスキャンのような所定の順序でスキャンを行って一次元に配列し、連続するゼロの個数（ゼロラン）と、非ゼロの係数値（レベル）を組み合わせた二次元ＶＬＣで可変長符号化を行う。

本実施の形態４の可変長符号化部１９は、このような二次元ＶＬＣを用いて可変長符号化処理を行う際に、変換方式制御部２１からの変換方式選択フラグ２０１、または符号化制御部３０からの各種情報１０７や動きベクトル１０４等に基づいて、選択された変換方式に応じスキャンの順序をジグザグスキャンから水平方向や、垂直方向等というように変更する動作をとるようにする。

また、可変長符号化部１９は、選択される変換方式に基づいて、二次元ＶＬＣの符号語テーブルを切り替える、という動作をとるようにしても勿論よい。

また、可変長符号化部１９は、選択される変換方式に基づいて、図６に示すようにＭＰＥＧ−４で採用されているラスト（この係数以降に非ゼロの係数がないことを示すシンボル）とを組み合わせた三次元ＶＬＣと、ＭＰＥＧ−２で採用されている二次元ＶＬＣとを切り替えるという動作をとるようにしても良い。

さらに、可変長符号化部１９は、選択される変換方式に基づいて、全てのレベルを符号化する単純な符号化処理と、二次元ＶＬＣとを切り替える、という動作をとるようにしても良い。

このように、本実施の形態４の動画像符号化装置によれば、変換方式を選択するだけでなく、変換方式に応じた可変長符号化方式を選択して動作させることにより、符号化効率をより一層高めることができる。

なお、上記実施の形態１〜４では、２組の変換部Ａ２２，Ｂ２３を用いて２組の変換方式からいずれか一方を選択する動作により説明を行ったが、本発明では、これに限らず、３組以上の複数の変換方式から選択する動作をとることももちろん可能である。

実施の形態５．
次に、上記実施の形態１および実施の形態２（実施の形態２の尚下記部分で説明した実施の形態１，２の組み合わせも含む。）により生成された符号化データを入力し復号する実施の形態５の動画像復号装置について説明する。

図７は、実施の形態５の動画像復号装置のブロック図である。図において、９０は逆変換方式制御部、９１は第１の逆変換部Ａ、９２は第２の逆変換部Ｂ、９３は２つの逆変換部のいずれかを選択するためのスイッチである。他の構成要素は、図２に示す従来例と同じで、同じ番号のブロックは同じ機能であり、同じ動作を行う。

次に動作について説明する。
可変長復号部８０は、上記実施の形態１の動画像符号化装置により生成された符号化データ１５１を入力すると、それと共に変換方式選択フラグ１５５が送られてきている場合に変換方式選択フラグ１５５を復号して、逆変換方式制御部９０へ出力する。

逆変換方式制御部９０は、復号された変換方式選択フラグ１５５に基づき上記実施の形態１の動画像符号化装置における変換方式を認識して、上記実施の形態１の動画像符号化装置において採用された変換方式に対応する逆変換方式を選択するようスイッチ９３に対し選択指令を出力する。

スイッチ９３は、逆変換方式制御部９０からの選択指令に応じて逆変換部Ａ９１，Ｂ９２の一方の逆変換方式を選択する。すると、スイッチ９３の切替動作に応じて、逆変換部Ａ９１もしくは逆変換部Ｂ９２のいずれかに逆量子化部８１にて逆量子化された変換係数信号が入力してそれぞれの変換方式で逆変換され、逆変換された変換係数信号が出力されることになる。

このように、本実施の形態５の動画像復号装置によれば、符号化データ１５１に含まれている変換方式選択フラグ１５５に応じて逆変換方式を切り替えることにより、図３に示す実施の形態１の動画像符号化装置が出力する符号化データを正しく復号することが可能となる。

なお、実施の形態２の動画像符号化装置から出力された符号化データを復号する場合には、変換方式選択フラグ１５５がなく、量子化パラメータを示す信号であったり、インター符号化モード／イントラ符号化モードを示す信号、動きベクトルデータ、インターモード／インター４ｖモードを示す信号が変換方式も示すので、符号化データ１５１の中に変換方式選択フラグ１５５が含まれていない場合には、入力した符号化データ１５１は実施の形態２の動画像符号化装置から出力された符号化データであると判断して、その符号化データ１５１に含まれるインター符号化モード／イントラ符号化モードを示す信号、動きベクトルデータ、インターモード／インター４ｖモードを示す信号を信号１５５として逆変換方式制御部９０へ出力し、逆変換方式制御部９０はこの信号１５５に基づき、スイッチ９３の切替を制御するようにしても、同様にして画像信号を復号することが可能である。

また、逆変換方式制御部９０において、過去に処理された変換方式の履歴を記憶しておき、前フレームの同じ位置のマクロブロックの変換方式や、同一フレームの隣接するマクロブロックの変換方式に応じて変換方式を選択するように動作させれば、画像信号を復号することが可能である。

実施の形態６．
図８は、実施の形態３（実施の形態３の尚下記部分で説明した実施の形態同士の組み合わせも含む。）の動画像符号化装置により生成された符号化データを入力し復号する実施の形態６の動画像復号装置のブロック図である。図において、９４は第１の逆量子化部Ａ、９５は第２の逆量子化部Ｂであり、他は図７に示す実施の形態５の動画像復号装置のものと同じである。

次に動作について説明する。
可変長復号部８０は、上記実施の形態３の動画像符号化装置により生成された符号化データ１５１を入力すると、変換方式選択フラグ１５５がある場合には、変換方式選択フラグ１５５を復号して、逆変換方式制御部９０へ出力する。

逆変換方式制御部９０は、復号された変換方式選択フラグ１５５に基づき上記実施の形態３の動画像符号化装置における変換方式を認識して、上記実施の形態３の動画像符号化装置において採用された変換方式に対応する逆変換方式を選択するようスイッチ９３に対し選択指令を出力する。

スイッチ９３は、逆変換方式制御部９０からの選択指令に応じて逆変換部Ａ９１，Ｂ９２の一方の逆変換方式を選択する。すると、スイッチ９３の切替動作に応じて、可変長復号部８０にて復号された量子化係数１５２は、逆量子化部Ａ９４にて逆量子化され、さらに逆変換部Ａ９１にて逆変換されるか、あるいは逆量子化部Ｂ９５にて逆量子化され、さらに逆変換部Ｂ９２にて逆変換されて出力されることになる。

このように、本実施の形態６の動画像復号装置によれば、逆変換の方式だけではなく、逆変換方式に応じ逆量子化の方式まで切り替えるようにしたので、実施の形態３の動画像符号化装置が出力する符号化データを正しく復号することが可能となる。

また、実施の形態５のところでも説明したように、実施の形態２の動画像符号化装置から出力された符号化データを復号する場合には、変換方式選択フラグ１５５がなく、量子化パラメータを示す信号等が変換方式も示すので、符号化データ１５１の中に変換方式選択フラグ１５５が含まれていない場合には、入力した符号化データ１５１は実施の形態２の動画像符号化装置から出力された符号化データであると判断して、その符号化データ１５１に含まれる量子化パラメータ等を信号１５５として逆変換方式制御部９０へ出力し、逆変換方式制御部９０はこの信号１５５に基づき、スイッチ９３の切替を制御するようにしても、同様にして画像信号を復号することが可能であるし、逆変換方式制御部９０において、過去に処理された変換方式の履歴を記憶しておき、前フレームの同じ位置のマクロブロックの変換方式や、同一フレームの隣接するマクロブロックの変換方式に応じて変換方式を選択するように動作させれば、画像信号を復号することが可能である。

実施の形態７．
次に、実施の形態４の動画像符号化装置が出力する符号化データを復号する実施の形態７の動画像復号装置について説明する。実施の形態７の動画像復号装置では、可変長復号部８０における動作を変換方式の選択と連動させることにより、実施の形態４の動画像符号化装置が出力する符号化データを正しく復号することを特徴とする。なお、実施の形態４のところで最初に説明したが、実施の形態４の動画像符号化装置とは、実施の形態１〜３（実施の形態２，３の尚下記部分でそれぞれ説明した実施の形態同士の組み合わせも含む。）おいて、選択された変換方式に応じて可変長符号化部１９における動作も連動させたことを特徴とするものである。

つまり、実施の形態４の動画像符号化装置では、変換方式制御部２１からの変換方式選択フラグ２０１、または符号化制御部３０からの各種情報１０７、動きベクトル１０４等に基づいて、選択された変換方式に応じ、スキャンの順序を切り替えたり、可変長復号テーブルを切り替えたり、二次元ＶＬＣと三次元ＶＬＣを切り替えたりして量子化係数を可変長符号化して出力する。

このため、この実施の形態７の動画像復号装置では、実施の形態４の動画像符号化装置にて符号化された符号化データを入力すると、変換方式制御部２１からの変換方式選択フラグ２０１、または符号化制御部３０からの各種情報１０７等から、実施の形態４の動画像符号化装置において選択された変換方式、および可変長符号化部１９における可変長符号化方式を認識して、それとは逆の可変長復号および逆変換を行うようにする。

このように、本実施の形態７の動画像復号装置によれば、逆変換の方式だけではなく、可変長復号方式まで切り替えようにしたので、実施の形態４の動画像符号化装置が出力する符号化データを正しく復号することが可能となる。

上記実施の形態１〜７についての補足事項．
なお、以上の実施の形態１〜７の説明では、２組の変換部Ａ２２，Ｂ２３により第１の変換方式、第２の変換方式として説明したが、本発明では、変換方式は３組以上合っても勿論良い。ここで、変換方式の組み合わせの一例を示す。なお、上記実施の形態１〜４の動画像符号化装置において下記に示すような変換方式等を採用した場合には、それに対応する上記実施の形態５〜７の動画像復号装置では、動画像符号化装置側の変換方式等とは逆の変換方式等を採用するようにする。

ＭＰＥＧでも採用されているＤＣＴ変換方式は、実数演算を必要とするため演算処理負荷が大きく、また演算誤差の発生する可能性が含まれるが、一般的な画像信号の特性に合っているため効率的な符号化処理が可能である。

アダマール変換方式は、＋１と−１の係数のみから構成されるため、整数演算のみで処理が可能であり演算処理負荷を大幅に軽減できると共に、演算誤差が発生しないために復号画像が完全に復元できる可逆符号化（ロスレス符号化）が可能となる。

このため、可逆符号化が要求されるような高ビットレートのときにはアダマール変換方式を選択する一方、可逆符号化は要求されない低ビットレートのときには従来のＤＣＴ変換方式を選択して用いることにより、ビットレートに応じた符号化処理を実現することにより、弾力的かつ高能率な符号化・復号処理が可能となる。

また、スラント変換方式は、低周波の信号を１次元関数で表記できるため、画面の一部が緩やかに変化している領域に対してはスラント変換方式を選択することにより、擬似輪郭のような符号化雑音の発生を抑制でき、符号化効率を高めることが可能となる。

このように、画像信号の特性に応じて変換方式を切り替えることにより符号化効率を高められる、という効果が得られるが、その他にも実数演算や掛け算などの比較的複雑な演算処理が必要となる変換方式と、足し算・引き算のような単純な演算処理で構成可能な変換方式とを組み合わせることにより、動画像符号化装置や動画像復号装置の演算処理能力に応じて変換方式を切り替える、という効果も得られる。

また、処理能力の低い端末を使用する場合や、リアルタイム処理が強く要求される場合には、単純な演算処理を用いた変換方式を選択する一方、処理能力の高い端末を使用する場合や非リアルタイムで処理が可能な場合には、複雑な演算処理を用いた変換方式を選択するようにしても良い。

また、画像信号を階層的に符号化する場合には、各階層ごとに変換方式を切り替えることも有効である。例えば、イントラ符号化モードの変換係数のＤＣ（直流）成分のみを取り出すと、小さなサイズの画像を形成することが可能であるので、このような小さな画像に対してもう一度変換を行うことにより、さらなる符号化効率を得る構成が階層符号化と呼ばれる方式である。このようなイントラ符号化モードの変換係数のＤＣ成分のみを集めてブロック化し、再度変換・量子化を行う場合には、変換方式や量子化手法に対して初段と二段目とでは異なる方式を用いて符号化処理を行うようにする。このように各階層ごとに組み合わせて動作させることにより、符号化効率を一層高めることができる。

また、上記実施の形態１〜４の動画像符号化装置では、変換部Ａ２２，Ｂ２３に入力される信号が入力画像信号１０１か予測差分信号１０２のいずれかとして説明を行ったが、入力画像信号や予測差分信号に対して事前に画素単位に予測を行うＤＰＣＭのような予測処理を行った画像信号を用いたり、平均値成分（ＤＣ成分）を除去したのちの画像信号を用いたりすることも可能である。

また、上記実施の形態１〜４の動画像符号化装置では、変換方式を切り替えると共に変換方式の基底のサイズ（変換処理を行うブロックサイズ）を合わせて切り替えることにより、更なる効果を得ることが可能である。例えばＤＣＴは８×８ブロックサイズや１６×１６ブロックサイズのときに高い効率が得られるので、ＤＣＴを選択したときにはこのような大きなブロックサイズを使用して変換処理を行い、他の変換方式、例えばアダマール変換を選択したときには４×４のような小さなブロックサイズを選択する。

また、上記実施の形態３の動画像符号化装置や、実施の形態６の動画像復号装置では、変換部と量子化部、逆量子化部と逆変換部とをそれぞれ分けた形態の符号化装置、復号装置を用いて説明を行ったが、これを一つの処理として扱うことができるベクトル量子化、ベクトル逆量子化を用いても、同様な効果を得ることが可能である。例えば第１の変換方式と量子化方式としてＤＣＴと線形量子化を使用し、第２の変換方式と量子化方式としてベクトル量子化を使用する、というような形態である。

１０ 符号化制御部、１１ 符号化モード判定部、１３ 量子化部、１４ 逆量子化部、１６ ビデオメモリ、１７ 動き補償部、１８ 動き検出部、１９ 可変長符号化部、２１ 変換方式制御部、２２ 第一の変換部Ａ、２３ 第二の変換部Ｂ、２４ 第一の逆変換部Ａ、２５ 第二の逆変換部Ｂ、２６，２７ スイッチ。

Claims (1)

1. 圧縮された符号化データから動画像信号を復号する動画像復号方法において、
   前記符号化データのマクロブロックヘッダから過去に選択された変換方式の履歴に応じて選択された変換方式を示すフラグを分離する分離ステップと、
   前記符号化データから変換係数を可変長復号する可変長復号ステップと、
   前記分離ステップにより分離されたフラグに示された変換方式に基づいて、前記可変長復号ステップにより可変長復号された変換係数について逆量子化処理を行う逆量子化ステップと、
   前記分離ステップにより分離されたフラグに示された変換方式に基づいて、前記逆量子化ステップにより逆量子化された変換係数を出力信号に変換する逆変換ステップと、
   を有することを特徴とする動画像復号方法。

Images