JP2004134916A - 動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

【課題】ＭＰＥＧ−４　ＦＧＳにおいて、細かい空間スケーラビリティを実現すること。
【解決手段】量子化マトリクス算出部１２０は、低解像度表示に必要な周波数情報（低周波成分）のみを基本レイヤとして符号化するために、低周波成分以外が最大値（２５５）となるように量子化マトリクスの値を制御する。一方、周波数重み付けマトリクス算出部１３８は、解像度を向上させる際に必要な周波数情報（解像度に合わせた周波数成分）を段階的に符号化するために、低周波成分から段階的に値が小さくなるように周波数重み付けマトリクスの値を制御する。そして、レイヤ分割部１４２は、周波数重み付けマトリクスの値に応じて、表示解像度毎にデータが分かれるように拡張レイヤのデータ分割位置を制御する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置および動画像復号化装置に関する。
【０００２】
【従来の技術】
近年のネットワークの多様化に伴い、複数の帯域に見合った品質の映像を伝送できる映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる（つまり、伝送帯域に合わせて映像品質を変更できる）階層符号化方式が規格化されている。
【０００３】
このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４　ＦＧＳ（Ｆｉｎｅ　Ｇｒａｎｕｌａｒｉｔｙ　Ｓｃａｌａｂｉｌｉｔｙ）は、粒度の高いスケーラビリティ（Ｓｃａｌａｂｉｌｉｔｙ）を実現する映像符号化方式として現在標準化されている。ＭＰＥＧ−４　ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤ（Ｂａｓｅ　Ｌａｙｅｒ）と、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤ（Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）とで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。つまり、ＭＰＥＧ−４　ＦＧＳは、１ストリームで複数帯域に適用可能で、自由度が高く（フレーム毎の帯域変動に対応でき、かつ、細かい帯域制御も可能）、無数の伝送帯域に合わせて滑らかに映像品質（画質、動き）を変えることができるという特徴を有している。
【０００４】
このようなＭＰＥＧ−４　ＦＧＳにより実現可能なスケーラビリティには、伝送帯域の向上に合わせてフレームレートが向上する時間スケーラビリティ（Ｔｅｍｐｏｒａｌ　Ｓｃａｌａｂｉｌｉｔｙ）と、伝送帯域の向上に合わせて画質が向上するＳＮＲ（Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ：信号対雑音比）スケーラビリティ（ＳＮＲ　Ｓｃａｌａｂｉｌｉｔｙ）との２種類がある（例えば、非特許文献１参照）。
【０００５】
【非特許文献１】
ＩＳＯ／ＩＥＣ　１４４９６−２　Ａｍｅｎｄｍｅｎｔ　４，　ＩＳＯ／ＩＥＣ　ＪＴＣ／ＳＣ２９　ＷＧ１１　Ｎ３９０４　（１８ｔｈ　Ｊａｎｕａｒｙ　２００１），　”ＡＭＥＮＤＭＥＮＴ　４：Ｓｔｒｅａｍｉｎｇ　Ｖｉｄｅｏ　Ｐｒｏｆｉｌｅ”
【０００６】
【発明が解決しようとする課題】
しかしながら、現在標準化されているＭＰＥＧ−４　ＦＧＳにおいては、空間解像度を向上する空間スケーラビリティ（Ｓｐａｔｉａｌ　Ｓｃａｌａｂｉｌｉｔｙ）が存在しないため、伝送帯域の向上に合わせて空間解像度を向上することができない。すなわち、ビットレートが上がっても映像の解像度を高くすることができない。そのため、ＭＰＥＧ−４　ＦＧＳにおいて空間スケーラビリティを実現すること、しかも、帯域変動への柔軟な対応を可能にすべく、細かい空間スケーラビリティを実現することが今日強く望まれている。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、たとえば、ＭＰＥＧ−４　ＦＧＳにおいて、細かい空間スケーラビリティを実現することができる動画像符号化装置および動画像復号化装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
（１）本発明の動画像符号化装置は、動画像を一の基本レイヤと少なくとも一の拡張レイヤとに分割して符号化する動画像符号化装置であって、低解像度表示に必要な情報のみを基本レイヤに符号化する基本レイヤ符号化手段と、高解像度表示に必要な情報を段階的に拡張レイヤに符号化する拡張レイヤ符号化手段と、を有する構成を採る。
【０００９】
この構成によれば、基本レイヤのみを用いて低解像度映像を表示することができ、また、基本レイヤに加える拡張レイヤの数を増やして行くほど高解像度での表示を行うことができ、たとえば、ＭＰＥＧ−４　ＦＧＳにおいて、細かい空間スケーラビリティを実現することができる。
【００１０】
（２）本発明の動画像符号化装置は、上記の構成において、前記基本レイヤ符号化手段は、基本レイヤにおける低解像度表示用の低周波成分以外の成分が最大値を有する量子化マトリクスを算出する量子化マトリクス算出手段を有し、算出された量子化マトリクスを用いて基本レイヤの符号化を行う、構成を採る。
【００１１】
この構成によれば、低解像度表示に必要な情報のみを基本レイヤで符号化することができる。
【００１２】
（３）本発明の動画像符号化装置は、上記の構成において、前記量子化マトリクス算出手段は、要求された表示解像度に応じて量子化マトリクスを変更する構成を採る。
【００１３】
この構成によれば、たとえば、ユーザの要求に対応して基本レイヤの解像度を変更することができる。
【００１４】
（４）本発明の動画像符号化装置は、上記の構成において、前記基本レイヤ符号化手段は、入力画像と時間的に１つ前の参照画像とを用いて動き予測を行い、動きベクトルを算出する動き予測手段を有し、前記動き予測手段は、入力画像および参照画像を基本レイヤにおける表示解像度に縮小し、縮小された入力画像および参照画像を用いて動き予測を行う、構成を採る。
【００１５】
この構成によれば、動き予測の際に動き探索処理量を削減することができ、予測誤差を低減することができる。
【００１６】
（５）本発明の動画像符号化装置は、上記の構成において、前記基本レイヤ符号化手段は、高解像度の画像を入力画像として用いる構成を採る。
【００１７】
この構成によれば、拡張レイヤにおいて高解像度化を実現することができる。
【００１８】
（６）本発明の動画像符号化装置は、上記の構成において、前記拡張レイヤ符号化手段は、低周波成分から高周波成分に向かって段階的に値が小さくなる周波数重み付けマトリクスを算出する周波数重み付けマトリクス算出手段と、算出された周波数重み付けマトリクスを用いて上位方向へビットシフトを行うビットシフト手段とを有し、周波数重み付けマトリクスを用いたビットシフト処理結果を用いて拡張レイヤの符号化を行う、構成を採る。
【００１９】
この構成によれば、高解像度化に必要な情報ほど上位のビット平面に配置することができる。
【００２０】
（７）本発明の動画像符号化装置は、上記の構成において、前記拡張レイヤ符号化手段は、算出された周波数重み付けマトリクスを用いて、ビットシフト後のビット平面に対するレイヤ分割を行うレイヤ分割手段、をさらに有する構成を採る。
【００２１】
この構成によれば、高解像度化に必要な情報を別レイヤに分割することができる。
【００２２】
（８）本発明の動画像符号化装置は、上記の構成において、前記周波数重み付けマトリクス算出手段は、要求された表示解像度に応じて周波数重み付けマトリクスを変更する構成を採る。
【００２３】
この構成によれば、たとえば、ユーザの要求に対応して解像度を変更することができる。
【００２４】
（９）本発明の動画像復号化装置は、上記（２）記載の動画像符号化装置によって符号化された動画像を復号化する動画像復号化装置であって、基本レイヤを受信する基本レイヤ受信手段と、受信された基本レイヤの量子化マトリクスの形状に応じて表示解像度を変換する解像度変換手段と、を有する構成を採る。
【００２５】
この構成によれば、基本レイヤの受信時に適切な表示解像度で画像を表示することができる。
【００２６】
（１０）本発明の動画像復号化装置は、上記の構成において、前記解像度変換手段は、量子化マトリクスにおいて非最大値の成分が（１／Ａ）×（１／Ａ）個の場合、縮小率をＡに設定する、構成を採る。
【００２７】
この構成によれば、基本レイヤの受信時に適切な表示解像度を自動的に判別することができる。
【００２８】
（１１）本発明の動画像復号化装置は、上記（７）記載の動画像符号化装置によって符号化された動画像を復号化する動画像復号化装置であって、帯域に応じて拡張レイヤを受信する拡張レイヤ受信手段と、受信された拡張レイヤの数および周波数重み付けマトリクスの形状に応じて表示解像度を変換する解像度変換手段と、を有する構成を採る。
【００２９】
この構成によれば、基本レイヤに加えて拡張レイヤを受信した場合に適切な表示解像度で画像を表示することができる。
【００３０】
（１２）本発明の動画像復号化装置は、上記の構成において、前記解像度変換手段は、受信された拡張レイヤに含まれる成分が周波数重み付けマトリクスにおいて（１／Ｂ）×（１／Ｂ）個の場合、縮小率をＢに設定する、構成を採る。
【００３１】
この構成によれば、基本レイヤに加えて拡張レイヤを受信した場合に適切な表示解像度を自動的に判別することができる。
【００３２】
【発明の実施の形態】
本発明の骨子は、動画像符号化装置としての映像符号化装置（エンコーダ）において、量子化マトリクスを制御して、低解像度表示に必要な情報のみ基本レイヤ符号化し、また、周波数重み付けマトリクスを制御して、高解像度化に必要な成分を段階的に拡張レイヤ符号化することである。
【００３３】
一方、動画像復号化装置としての映像復号化装置（デコーダ）において、受信基本レイヤを量子化マトリクス形状に応じて解像度変換して、低解像度高画質表示を行い、また、受信拡張レイヤを周波数重み付けマトリクス形状／受信レイヤ数に応じて縮小率を調整して、高解像度高画質表示を行うことである。
【００３４】
これにより、伝送帯域／端末の特性に応じて解像度を滑らかに向上することができる（適切な解像度の算出）。たとえば、端末の表示面積／帯域が大きい場合は、高解像度の映像を表示し、端末の表示面積／帯域が小さい場合は、低解像度の映像を表示することができる。また、基本レイヤの解像度を変更することができる。
【００３５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３６】
図１は、本発明の一実施の形態に係る映像符号化装置（エンコーダ）の構成を示すブロック図である。
【００３７】
図１に示す映像符号化装置１００は、基本レイヤを生成する基本レイヤエンコーダ１１０と、拡張レイヤを生成する拡張レイヤエンコーダ１３０とを有する。
【００３８】
基本レイヤエンコーダ１１０は、画像入力部１１２、動き予測・差分抽出部１１４、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）部１１６、量子化部１１８、量子化マトリクス算出部１２０、可変長符号化部１２２、逆量子化部１２４、逆ＤＣＴ部１２６、および動き補償部１２８を有する。
【００３９】
拡張レイヤエンコーダ１３０は、差分抽出部１３２、ＤＣＴ部１３４、ビットシフト部１３６、周波数重み付けマトリクス算出部１３８、ビット平面ＶＬＣ部１４０、およびレイヤ分割部１４２を有する。
【００４０】
以下、上記各部の機能について順に説明する。
【００４１】
画像入力部１１２は、映像信号（原画像）を１画面毎に入力し、入力した映像信号を１画面毎に動き予測・差分抽出部１１４および差分抽出部１３２に出力する。
【００４２】
動き予測・差分抽出部１１４は、画像入力部１１２から入力した原画像と動き補償部１２８から入力した時間的に１つ前の復号化画像である参照画像とにおいて、１６×１６画素のマクロブロック毎に相関の高い領域を探索して、原画像から最も相関の高い領域への動きベクトルを算出し（動き予測処理）、相関の高い領域から参照画像を減算することによって差分画像を抽出し（差分抽出処理）、抽出した差分画像をＤＣＴ部１１６に出力する。動き予測の結果得られた動きベクトルは、可変長符号化部１２２および動き補償部１２８に出力される。ただし、符号化の始まりでは、１フレーム前の復号化画像は存在しないので、動き予測は行わない。
【００４３】
ＤＣＴ部１１６は、動き予測・差分抽出部１１４から入力した画像に対して、８×８画素のブロック単位で離散コサイン変換（ＤＣＴ）を行い、得られたＤＣＴ係数を量子化部１１８に出力する。図２は、入力画像とブロック内のＤＣＴ係数との関係の一例を示す図である。
【００４４】
量子化部１１８は、ＤＣＴ部１１６から入力したＤＣＴ係数に対して、ブロック単位で各ＤＣＴ係数を量子化マトリクスに示される量子化値で割り算し、余りを切り捨て、商を量子化後のＤＣＴ係数として可変長符号化部１２２および逆量子化部１２４に出力する。量子化マトリクスは、量子化マトリクス算出部１２０によって提供される。
【００４５】
図３は、量子化処理の一例を示す概念図であって、図３（Ａ）は標準的な量子化マトリクスの一例を示し、図３（Ｂ）はＤＣＴ係数の一例を示し、図３（Ｃ）は量子化後のＤＣＴ係数の一例を示している。ここで、量子化マトリクスは、８×８個の量子化値を持つマトリクスであり（図３（Ａ）参照）、マトリクス内の各値は８×８個のＤＣＴ係数（図３（Ｂ）参照）を量子化する際に用いられる。ＤＣＴ係数の量子化は、量子化マトリクスの対応する座標の量子化値を用いて行われる。たとえば、量子化マトリクス内の座標を（ｘ，ｙ）、ＤＣＴ係数をｃｏｅｆ（ｘ，ｙ）、量子化マトリクスの値をｍａｔｒｉｘ（ｘ，ｙ）とすると、量子化後のＤＣＴ係数ｑｃｏｅｆ（ｘ，ｙ）は、次の（式１）
ｑｃｏｅｆ（ｘ，ｙ）＝ｃｏｅｆ（ｘ，ｙ）／ｍａｔｒｉｘ（ｘ，ｙ）　　　　　　…（式１）
で表される。
【００４６】
量子化マトリクス算出部１２０は、基本レイヤにおける表示解像度と入力画像の解像度との比率Ａ（＝表示解像度／入力解像度）を求め、低周波成分である左上から（８＊Ａ）×（８＊Ａ）の正方領域の量子化値をＱとし、それ以外の量子化値が「２５５」（最大値）である、本発明に特有の独自の量子化マトリクスを算出する。Ｑの値は伝送帯域に応じて決定される。算出された量子化マトリクスは、量子化部１１８および可変長符号化部１２２に出力される。
【００４７】
図４は、本実施の形態に対応する独自の量子化マトリクス算出処理の一例を示す概念図であって、図４（Ａ）は算出された量子化マトリクスの一例を示し、図４（Ｂ）は入力画像の解像度を示し、図４（Ｃ）は基本レイヤの表示解像度を示している。図４（Ａ）に示す量子化マトリクスの算出に当たっては、入力画像の幅をＸ＿ｉｎ（図４（Ｂ）参照）、基本レイヤの表示幅をＸ＿Ｂａｓｅｏｕｔとして（図４（Ｃ）参照）、基本レイヤの縮小率Ａを、次の（式２）
Ａ＝Ｘ＿Ｂａｓｅｏｕｔ／Ｘ＿ｉｎ　　　　　　…（式２）
によって求め、左上から（８＊Ａ）×（８＊Ａ）個の量子化値をＱとし、それ以外の量子化値を「２５５」（最大値）とする（図４（Ａ）参照）。たとえば、一例として、Ｘ＿ｉｎ＝８００、Ｘ＿Ｂａｓｅｏｕｔ＝１００の場合、上記（式２）により、Ａ＝１００／８００＝１／８となるので、（８／８）×（８／８）＝１×１個の領域をＱとする。
【００４８】
可変長符号化部１２２は、量子化部１１８から入力した量子化後のＤＣＴ係数と、量子化マトリクス算出部１２０から入力した量子化マトリクスと、動き予測・差分抽出部１１４から入力した動きベクトルとを可変長符号化した後に多重化し、基本レイヤストリームとして外部に出力する。
【００４９】
逆量子化部１２４は、量子化部１１８から入力した量子化後のＤＣＴ係数に対して、量子化部１１８における量子化の際に用いられた量子化マトリクスに示される量子化値により掛け算を行って（逆量子化）、逆量子化後のＤＣＴ係数を算出する。算出されたＤＣＴ係数は、逆ＤＣＴ部１２６に出力される。
【００５０】
逆ＤＣＴ部１２６は、逆量子化部１２４から入力したＤＣＴ係数に対して、逆ＤＣＴを施し、復号化差分画像を生成する。生成された復号化差分画像は、動き補償部１２８に出力される。
【００５１】
動き補償部１２８は、動き予測・差分抽出部１１４から入力した動きベクトルを用いて、内部メモリに記憶されている参照フレームから参照領域を算出し、この参照領域と逆ＤＣＴ部１２６から入力した復号化差分画像とを加算処理して、現在の復号化画像を算出する。算出された現在の復号化画像は、動き予測・差分抽出部１１４および差分抽出部１３２に出力される。
【００５２】
差分抽出部１３２は、画像入力部１１２から入力した原画像と動き補償部１２８から入力した基本レイヤの復号化画像とを差分処理して差分画像を生成し、生成した差分画像をＤＣＴ部１３４に出力する。
【００５３】
ＤＣＴ部１３４は、差分抽出部１３２から入力した差分画像に対して、８×８画素のブロック単位で離散コサイン変換（ＤＣＴ）を行い、得られたＤＣＴ係数をビットシフト部１３６に出力する。
【００５４】
ビットシフト部１３６は、ＤＣＴ部１３４から入力したＤＣＴ係数に対して、各係数を２進数で表し、周波数重み付けマトリクスに示されるシフト値で上位ビット方向へのビットシフトを行う。ビットシフト後のＤＣＴ係数は、ビット平面ＶＬＣ部１４０に出力される。なお、周波数重み付けマトリクスは、周波数重み付けマトリクス算出部１３８によって提供される。
【００５５】
図５および図６は、ビットシフト処理の一例を示す概念図であって、図５（Ａ）は周波数重み付けマトリクスの一例を示し、図５（Ｂ）は２進数で表記されたＤＣＴ係数１の一例を示し、図６（Ｃ）はビットシフト前のビット平面の概念図を示し、図６（Ｄ）はビットシフト後のビット平面の概念図を示している。図６（Ｃ）の概念図は、ＤＣＴ係数１〜３に含まれる全ＤＣＴ係数に対して、縦軸をビット平面とし、横軸をＤＣＴ係数の位置として並べて図示したものである。また、図６（Ｄ）の概念図は、周波数重み付けマトリクスに示されたシフト値に基づいてＤＣＴ係数毎に上位方向へビットシフトを行った後のＤＣＴ係数を示す図である。
【００５６】
周波数重み付けマトリクス算出部１３８は、ＤＣＴ係数に対するシフト値を示す周波数重み付けマトリクスを算出する。周波数重み付けマトリクスは、低周波成分の正方領域が最も値が高く、右下の高周波成分に領域を拡大するにつれて段階的にシフト値を下げることを特徴としている。周波数重み付けマトリクスの一例は、図５（Ａ）に示すとおりである。算出された周波数重み付けマトリクスは、ビットシフト部１３６、ビット平面ＶＬＣ部１４０、およびレイヤ分割部１４２に出力される。
【００５７】
ビット平面ＶＬＣ部１４０は、ビットシフト部１３６から入力したビットシフト後のＤＣＴ係数に対してビット平面毎に可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ）を行うとともに、周波数重み付けマトリクス算出部１３８から入力した周波数重み付けマトリクスを可変長符号化する。可変長符号化された両データは、レイヤ分割部１４２に出力される。
【００５８】
図７は、ビット平面ＶＬＣ処理の一例を示す概念図であって、図６（Ｄ）に示すビットシフト後のビット平面概念図に対応している。ただし、図７において、第１ビット平面は、画面内の全ＤＣＴ係数をビット平面順に並べた際に、最上位ビット（ＭＳＢ：Ｍｏｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ）の位置に存在するビットを集めた平面であり、第２ビット平面は、ＭＳＢの次の上位ビット位置に存在するビットを集めた平面であり、第３ビット平面は、第２ビット平面の次の上位ビット位置に存在するビットを集めた平面であり、第Ｎビット平面は、最下位ビット（ＬＳＢ：Ｌｅａｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ）の位置に存在するビットを集めた平面である。
【００５９】
図８は、拡張レイヤビットストリームの構成図である。図８に示す拡張レイヤビットストリームは、各ビット平面を可変長符号化して生成したビットストリームを、第１ビット平面（ｂｐ１）、第２ビット平面（ｂｐ２）、…、第Ｎビット平面（ｂｐＮ）の順に格納した構成となっている。
【００６０】
ビット平面ＶＬＣ部１４０では、まず、全画像中で第１ビット平面に存在するビット列に対して可変長符号化を行い、生成したビットストリームを拡張レイヤの先頭位置に配置する（ｂｐ１）。次に、第２ビット平面に対して可変長符号化を行い、第１ビット平面のビットストリームに続く位置に配置する（ｂｐ２）。そして、第３ビット平面以降のビット平面に対して同様の処理を繰り返し、最後に、第Ｎビット平面に対して可変長符号化を行い、ビットストリームの最後の位置に配置する（ｂｐＮ）。また、ビットシフトにより発生した下位ビットはすべて「０」として扱うものとする。このように、大きい値でビットシフトされたＤＣＴ係数ほど上位のビット平面にて可変長符号化され、拡張レイヤとなる動画像ストリーム内では先頭に近い場所に格納されることになる。
【００６１】
レイヤ分割部１４２は、ビット平面ＶＬＣ部１４０から入力した拡張レイヤのビットストリームに対して、周波数重み付けマトリクス算出部１３８で算出された周波数重み付けマトリクスに示されるシフト値毎に周波数領域が分かれるようにビット平面を区切ってレイヤ分割を行う。たとえば、図７および図８において、第１ビット平面、第２ビット平面、…、第Ｎビット平面の各ストリームは、それぞれ、拡張レイヤ１（ｂｐ１）、拡張レイヤ２（ｂｐ２）、…、拡張レイヤＮ（ｂｐＮ）のようにレイヤ分割される。レイヤ分割された複数の拡張レイヤのストリームは、外部に出力される。
【００６２】
図９は、本発明の一実施の形態に係る映像復号化装置（デコーダ）の構成を示すブロック図である。
【００６３】
図９に示す映像復号化装置２００は、基本レイヤを復号化する基本レイヤデコーダ２１０と、拡張レイヤを復号化する拡張レイヤデコーダ２３０とを有する。
【００６４】
基本レイヤデコーダ２１０は、基本レイヤストリーム入力部２１２、可変長復号化部２１４、逆量子化部２１６、逆ＤＣＴ部２１８、動き補償部２２０、および第１の縮小率算出部２２２を有する。
【００６５】
拡張レイヤデコーダ２３０は、拡張レイヤストリーム入力部２３２、レイヤ合成部２３４、ビット平面ＶＬＤ部２３６、ビットシフト部２３８、逆ＤＣＴ部２４０、画像加算部２４２、第２の縮小率算出部２４４、および解像度変換部２４６を有する。
【００６６】
以下、上記各部の機能について順に説明する。
【００６７】
基本レイヤストリーム入力部２１２は、１画面単位で基本レイヤストリームを入力し、入力した基本レイヤストリームを可変長復号化部２１４に出力する。
【００６８】
可変長復号化部２１４は、基本レイヤストリーム入力部２１２から入力した基本レイヤストリームを可変長復号化して、基本レイヤストリームに含まれていた量子化マトリクス、動きベクトル、および量子化後のＤＣＴ係数を求める。得られた量子化マトリクスは、逆量子化部２１６および第１の縮小率算出部２２２に出力され、動きベクトルは、動き補償部２２０に出力され、量子化後のＤＣＴ係数は、逆量子化部２１６に出力される。
【００６９】
逆量子化部２１６は、可変長復号化部２１４から入力した量子化後のＤＣＴ係数に対して、その量子化の際に用いられた量子化マトリクスに示される量子化値により掛け算を行って（逆量子化）、逆量子化後のＤＣＴ係数を算出する。算出されたＤＣＴ係数は、逆ＤＣＴ部２１８に出力される。
【００７０】
逆ＤＣＴ部２１８は、逆量子化部２１６から入力したＤＣＴ係数に対して、逆ＤＣＴを施し、復号化差分画像を生成する。生成された復号化差分画像は、動き補償部２２０に出力される。
【００７１】
動き補償部２２０は、逆ＤＣＴ部２１８から入力した復号化差分画像と、時間的に１つ前の復号化画像とに対して加算処理を行って、基本レイヤの復号化画像を生成する。具体的には、可変長復号化部２１４から入力した動きベクトルを用いて、内部メモリに記憶されている参照フレームから参照領域を算出し、この参照領域と逆ＤＣＴ部２１８から入力した復号化差分画像とを加算処理して、現在の基本レイヤ復号化画像を算出する。算出された現在の基本レイヤ復号化画像は、画像加算部２４２に出力される。
【００７２】
第１の縮小率算出部２２２は、可変長復号化部２１４から入力した量子化マトリクスの形状から縮小率Ａを算出する。具体的には、量子化マトリクスにおいて、値が「２５５」でない個数が全体の（１／Ａ）×（１／Ａ）の場合は、縮小率をＡとする。算出された縮小率Ａは、解像度変換部２４６に出力される。
【００７３】
図１０は、縮小率Ａの算出方法の一例を示す概念図であって（図４参照）、図１０（Ａ）は量子化マトリクスの一例を示し、図１０（Ｂ）は入力画像の解像度を示し、図１０（Ｃ）は基本レイヤの表示解像度を示している。ここでは、値が「２５５」でない横幅をｘ、量子化マトリクスの横幅をＭＡＸとして、基本レイヤの縮小率Ａを、次の（式３）
Ａ＝ｘ／ＭＡＸ　　　…（式３）
によって求める。たとえば、一例として、ｘ＝１、ＭＡＸ＝８の場合、上記（式３）により、Ａ＝１／８となるので、基本レイヤの縮小率を１／８とする。
【００７４】
拡張レイヤストリーム入力部２３２は、１画面毎に複数の拡張レイヤストリームを入力し、入力した複数の拡張レイヤストリームをレイヤ合成部２３４に出力するとともに、受信したレイヤ数を第２の縮小率算出部２４４に出力する。
【００７５】
レイヤ合成部２３４は、拡張レイヤストリーム入力部２３２から入力した複数の拡張レイヤストリームを１つに合成して、ビット平面ＶＬＤ部２３６に出力する。
【００７６】
ビット平面ＶＬＤ部２３６は、レイヤ合成部２３４から入力した拡張レイヤストリームに対して、可変長復号化（ＶＬＤ：Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｄｅｃｏｄｉｎｇ）を行って周波数重み付けマトリクスを生成し、生成した周波数重み付けマトリクスをビットシフト部２３８および第２の縮小率算出部２４４に出力するとともに、ビット平面毎に可変長復号化（ＶＬＤ）を行ってＤＣＴ係数を生成し、生成したＤＣＴ係数をビットシフト部２３８に出力する。
【００７７】
ビットシフト部２３８は、ビット平面ＶＬＤ部２３６から入力したＤＣＴ係数のおのおのに対して、周波数重み付けマトリクスに示されるシフト値で下位ビット方向へのビットシフトを行う。ビットシフト後のＤＣＴ係数は、逆ＤＣＴ部２４０に出力される。
【００７８】
逆ＤＣＴ部２４０は、ビットシフト部２３８から入力したＤＣＴ係数に対して逆ＤＣＴを行って、拡張レイヤの復号化画像を生成する。生成された拡張レイヤ復号化画像は、画像加算部２４２に出力される。
【００７９】
画像加算部２４２は、基本レイヤデコーダ２１０内の動き補償部２２０から入力した基本レイヤの復号化画像と、逆ＤＣＴ部２４０から入力した拡張レイヤの復号化画像とを画素毎に加算処理して、復号化画像を生成し、生成した復号化画像を解像度変換部２４６に出力する。ただし、拡張レイヤの復号化画像が入力されない場合は、基本レイヤの復号化画像をそのまま出力する。
【００８０】
第２の縮小率算出部２４４は、ビット平面ＶＬＤ部２３６から入力した周波数重み付けマトリクスの形状および拡張レイヤストリーム入力部２３２から入力した受信レイヤ数を用いて、復号化画像の縮小率Ｂを算出し、算出した縮小率Ｂを解像度変換部２４６に出力する。具体的には、周波数重み付けマトリクスにおいて、同一値を持つ領域を左上から順に受信レイヤの数だけ拡大して行き、領域に含まれる個数が全体の（１／Ｂ）×（１／Ｂ）の場合は、縮小率をＢとする。
【００８１】
図１１は、縮小率Ｂの算出方法の一例を示す概念図である。ここでは、総受信レイヤに含まれるマトリクス値の横幅をｘ、量子化マトリクスの横幅をＭＡＸとして、拡張レイヤの縮小率Ｂを、次の（式４）
Ｂ＝ｘ／ＭＡＸ　　　…（式４）
によって求める。たとえば、一例として、受信レイヤ数＝３、ＭＡＸ＝８の場合、ｘ＝４であり、上記（式４）により、Ｂ＝４／８＝１／２となるので、拡張レイヤの縮小率を１／２とする。
【００８２】
解像度変換部２４６は、縮小率算出部２２２、２４４によって算出された縮小率を用いて、画像加算部２４２から入力した復号化画像を縮小して、適切な解像度の映像を取得し、外部に出力する。具体的には、たとえば、第２の縮小率算出部２４４から縮小率Ｂを入力した場合は、優先的に縮小率Ｂを用いて、復号化画像の縮小処理を行う。これに対し、第２の縮小率算出部２４４から縮小率Ｂを入力しない場合は、第１の縮小率算出部２２２から入力した縮小率Ａを用いて、復号化画像の縮小処理を行う。このとき、画像の縮小に関して、たとえば、縮小率Ａで縮小する場合において（１／Ａ）×（１／Ａ）個の画素を１画素として置き換える方法としては、周辺（１／Ａ）×（１／Ａ）画素値の平均値で置き換える方法や、単純に（１／Ａ）×（１／Ａ）画素の左上の画素値で置き換える方法など、いずれの方法も使用可能である。
【００８３】
図１２は、解像度変換処理の一例を示す概念図である。図１２に示すように、拡張レイヤの受信数に応じて、縮小率を変えることにより、高精細な映像を適切な解像度で表示することが可能である。たとえば、基本レイヤのみ受信した場合は（拡張レイヤ受信数＝０）、高解像度・低画質の基本レイヤ（ＢＬ）復号化画像を、量子化マトリクスから算出される縮小率Ａで解像度変換することにより、低解像度・高画質の縮小復号化画像を得ることができる。また、基本レイヤと拡張レイヤ１を受信した場合は（拡張レイヤ受信数＝１）、高解像度・中画質の復号化画像を、周波数重み付けマトリクスと受信レイヤ数から算出される縮小率Ｂで解像度変換することにより、中解像度・高画質の縮小復号化画像を得ることができる。そして、基本レイヤとすべての拡張レイヤ１〜Ｎを受信した場合は（拡張レイヤ受信数＝Ｎ）、高解像度・高画質の復号化画像を縮小しないでそのまま表示することにより、高解像度・高画質の復号化画像を得ることができる。
【００８４】
要するに、本実施の形態の特徴は、映像符号化装置１００において、図１に示すように、低解像度表示に必要な周波数情報（低周波成分）のみを基本レイヤとして符号化するために、低周波成分以外が最大値（２５５）となるように量子化マトリクスの値を制御する量子化マトリクス算出部１２０と、解像度を向上させる際に必要な周波数情報（解像度に合わせた周波数成分）を段階的に符号化するために、低周波成分から段階的に値が小さくなるように周波数重み付けマトリクスの値を制御する周波数重み付けマトリクス算出部１３８と、周波数重み付けマトリクスの値に応じて、表示解像度毎にデータが分かれるように拡張レイヤのデータ分割位置を制御するレイヤ分割部１４２とを有することである。
【００８５】
また、映像復号化装置２００において、図９に示すように、量子化マトリクスの値を用いて、値が「２５５」でない周波数成分の割合から、適切な解像度を求め、縮小率Ａを算出する第１の縮小率算出部２２２と、受信した拡張レイヤの数と周波数重み付けマトリクスにより有効周波数成分の割合を算出し、適切な解像度を求め、縮小率Ｂを算出する第２の縮小率算出部２４４と、算出された縮小率Ａ、Ｂを用いて復号化画像を縮小し、適切な解像度の映像を得る解像度変換部２４６とを有することである。
【００８６】
これにより、伝送帯域に合わせて受信する拡張レイヤの数を増やし、拡張レイヤの数が増えるにつれ、復号化画像の空間解像度を向上することが可能となる。
【００８７】
次いで、図１に示す構成を有する映像符号化装置１００の動作について、つまり、映像符号化装置１００における映像信号に対する処理の手順について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像符号化装置１００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００８８】
まず、ステップＳ１０００では、映像信号（原画像）を入力する画像入力処理を行う。具体的には、画像入力部１１２で、入力した映像信号から同期信号を検出して、映像信号を構成する原画像を１画面毎に動き予測・差分抽出部１１４および拡張レイヤエンコーダ１３０内の差分抽出部１３２に出力する。
【００８９】
そして、ステップＳ１１００では、映像信号を基本レイヤとして符号化／復号化する基本レイヤ符号化復号化処理を行う。ここでは、画像入力部１１２から入力した原画像に対して、動き予測・差分抽出処理、ＤＣＴ処理、量子化処理、および可変長符号化処理を行って基本レイヤストリームを生成し、生成した基本レイヤストリームを外部に出力するとともに、量子化後のＤＣＴ係数に対して、逆量子化処理、逆ＤＣＴ処理、および動き補償処理を行って復号化画像を生成し、生成した復号化画像を拡張レイヤエンコーダ１３０内の差分抽出部１３２に出力する。
【００９０】
図１４は、図１３に示す基本レイヤ符号化復号化処理の内容を示すフローチャートである。
【００９１】
まず、ステップＳ１１１０では、動き予測・差分抽出部１１４で、上述したように、画像入力部１１２から入力した原画像および動き補償部１２８から入力した時間的に１つ前の参照画像（復号化画像）を用いて、動きベクトルを算出するとともに、差分画像を抽出する。抽出された差分画像は、ＤＣＴ部１１６に出力され、算出された動きベクトルは、可変長符号化部１２２および動き補償部１２８に出力される。ただし、符号化の始まりでは、１フレーム前の復号化画像は存在しないので、動き予測は行わない。
【００９２】
そして、ステップＳ１１２０では、量子化マトリクス算出部１２０で、上述したように、基本レイヤにおける表示解像度と入力画像の解像度との比率Ａ（＝表示解像度／入力解像度）を求め、低周波成分である左上から（８＊Ａ）×（８＊Ａ）の正方領域の量子化値をＱとし、それ以外の量子化値が２５５（最大値）である、本発明に特有の独自の量子化マトリクスを算出する（図４参照）。Ｑの値は伝送帯域に応じて決定される。算出された量子化マトリクスは、量子化部１１８および可変長符号化部１２２に出力される。
【００９３】
そして、ステップＳ１１３０では、ＤＣＴ部１１６で、上述したように、動き予測・差分抽出部１１４から入力した画像に対して、８×８画素のブロック単位で離散コサイン変換（ＤＣＴ）を行い、得られたＤＣＴ係数を量子化部１１８に出力する。
【００９４】
なお、ステップＳ１１２０とステップＳ１１３０の処理は、順番が逆であってもよく、また、並列に処理されてもよい。
【００９５】
そして、ステップＳ１１４０では、量子化部１１８で、上述したように、ＤＣＴ部１１６から入力したＤＣＴ係数に対して、ブロック単位で各ＤＣＴ係数をステップＳ１１２０で算出した量子化マトリクスに示される量子化値で量子化を行い（図３参照）、量子化後のＤＣＴ係数を可変長符号化部１２２および逆量子化部１２４に出力する。
【００９６】
そして、ステップＳ１１５０では、可変長符号化部１２２で、上述したように、量子化部１１８から入力した量子化後のＤＣＴ係数と、量子化マトリクス算出部１２０から入力した量子化マトリクスと、動き予測・差分抽出部１１４から入力した動きベクトルとを可変長符号化した後に多重化して、基本レイヤストリームを生成する。生成された基本レイヤストリームは、外部に出力される。
【００９７】
一方、ステップＳ１１６０では、逆量子化部１２４で、上述したように、量子化部１１８から入力した量子化後のＤＣＴ係数に対して、ステップＳ１１４０における量子化処理の際に用いた量子化マトリクスに示される量子化値で逆量子化を行い、逆量子化後のＤＣＴ係数を算出する。算出されたＤＣＴ係数は、逆ＤＣＴ部１２６に出力される。
【００９８】
そして、ステップＳ１１７０では、逆ＤＣＴ部１２６で、上述したように、逆量子化部１２４から入力したＤＣＴ係数に対して、逆ＤＣＴを施して、復号化差分画像を生成する。生成された復号化差分画像は、動き補償部１２８に出力される。
【００９９】
そして、ステップＳ１１８０では、動き補償部１２８で、上述したように、動き予測・差分抽出部１１４から入力した動きベクトルを用いて、内部メモリに記憶されている参照フレームから参照領域を算出し、この参照領域と逆ＤＣＴ部１２６から入力した復号化差分画像とを加算処理して、現在の復号化画像を算出し、算出した復号化画像を差分抽出部１３２に出力した後、図１３のフローチャートにリターンする。なお、算出された復号化画像は、動き予測・差分抽出部１１４にも出力される。
【０１００】
そして、ステップＳ１２００では、拡張レイヤの符号化処理を行う。ここでは、画像入力部１１２から入力した原画像と動き補償部１２８から入力した基本レイヤ符号化復号化の復号化画像とに対して、差分抽出処理、ＤＣＴ処理、ビットシフト処理、ビット平面ＶＬＣ処理、およびレイヤ分割処理を行って複数の拡張レイヤストリームを生成し、生成した複数の拡張レイヤストリームを外部に出力する。
【０１０１】
図１５は、図１３に示す拡張レイヤ符号化処理の内容を示すフローチャートである。
【０１０２】
まず、ステップＳ１２１０では、差分抽出部１３２で、上述したように、画像入力部１１２から入力した原画像と動き補償部１２８から入力した基本レイヤの復号化画像とを差分処理して差分画像を生成し、生成した差分画像をＤＣＴ部１３４に出力する。
【０１０３】
そして、ステップＳ１２２０では、周波数重み付けマトリクス算出部１３８で、上述したように、ＤＣＴ係数に対するシフト値を示す周波数重み付けマトリクスを算出する（図５（Ａ）参照）。周波数重み付けマトリクスは、低周波成分の正方領域が最も値が高く、右下の高周波成分に領域を拡大するにつれて段階的にシフト値が下がっている。算出された周波数重み付けマトリクスは、ビットシフト部１３６、ビット平面ＶＬＣ部１４０、およびレイヤ分割部１４２に出力される。
【０１０４】
そして、ステップＳ１２３０では、ＤＣＴ部１３４で、上述したように、差分抽出部１３２から入力した差分画像に対して、８×８画素のブロック単位で離散コサイン変換（ＤＣＴ）を行い、得られたＤＣＴ係数をビットシフト部１３６に出力する。
【０１０５】
なお、ステップＳ１２２０とステップＳ１２３０の処理は、順番が逆であってもよく、また、並列に処理されてもよい。
【０１０６】
そして、ステップＳ１２４０では、ビットシフト部１３６で、上述したように、ＤＣＴ部１３４から入力したＤＣＴ係数に対して、各係数を２進数で表し、ステップＳ１２２０で算出した周波数重み付けマトリクスに示されるシフト値で上位ビット方向へのビットシフトを行う（図５および図６参照）。ビットシフト後のＤＣＴ係数は、ビット平面ＶＬＣ部１４０に出力される。
【０１０７】
そして、ステップＳ１２５０では、ビット平面ＶＬＣ部１４０で、上述したように、ビットシフト部１３６から入力したビットシフト後のＤＣＴ係数に対してビット平面毎に可変長符号化（ＶＬＣ）を行うとともに（図７参照）、周波数重み付けマトリクス算出部１３８から入力した周波数重み付けマトリクスを可変長符号化し、可変長符号化した両データをレイヤ分割部１４２に出力する。なお、各ビット平面を可変長符号化して生成された拡張レイヤビットストリームは、図８に示す構成を有している。
【０１０８】
そして、ステップＳ１２６０では、レイヤ分割部１４２で、上述したように、ビット平面ＶＬＣ部１４０から入力した拡張レイヤビットストリームに対して、ステップＳ１２２０で算出した周波数重み付けマトリクスに示されるシフト値毎に周波数領域が分かれるようにビット平面を区切ってレイヤ分割を行い（図７および図８参照）、レイヤ分割した複数の拡張レイヤストリームを外部に出力した後、図１３のフローチャートにリターンする。
【０１０９】
そして、ステップＳ１３００では、終了判定処理を行う。具体的には、画像入力部１１２において映像信号の入力が停止したか否かを判断する。この判断の結果として画像入力部１１２において映像信号の入力が停止した場合は（Ｓ１３００：ＹＥＳ）、符号化終了と判定して、一連の符号化処理を終了するが、画像入力部１１２において映像信号の入力が停止していない場合は（Ｓ１３００：ＮＯ）、ステップＳ１０００に戻る。すなわち、画像入力部１１２において映像信号の入力が停止するまでステップＳ１０００〜ステップＳ１２００の一連の処理を繰り返す。
【０１１０】
このように、本実施の形態では、基本レイヤの符号化方法として、入力した原画像のサイズを最大解像度として符号化するとともに、たとえば図１６（Ａ）に示すような独自の量子化マトリクスを使用して、（１／Ａ）×（１／Ａ）のＤＣＴ係数のみを符号化することを特徴とする。ここで、Ａは縮小率（＝表示解像度／入力解像度）であり、図１６（Ａ）は図４（Ａ）に対応する概略図である。
【０１１１】
また、拡張レイヤの符号化方法として、たとえば図１６（Ｂ）に示すような、左上の低周波成分から右下の高周波成分に向かって順に段階的に値を下げた周波数重み付けマトリクスを使用して、ビットシフトを行うことを特徴とする。このビットシフトにより、たとえば、図１７（Ｃ）に示すビット平面は、図１７（Ｄ）に示すビット平面に変更される。また、拡張レイヤの分割に際して、図１７（Ｄ）に示すように、上記周波数重み付けマトリクスの値による分割を行い、同一の重み付け値（シフト値）を持つビット平面が同一のレイヤとなるようにすることを特徴とする。ここで、図１６（Ｂ）、図１７（Ｃ）、図１７（Ｄ）は、それぞれ、図５（Ａ）、図６（Ｃ）、図６（Ｄ）に対応する概略図である（ただし、図中の数値は異なる）。
【０１１２】
次いで、図９に示す構成を有する映像復号化装置２００の動作について、つまり、映像復号化装置２００におけるビットストリームに対する処理の手順について、図１８に示すフローチャートを用いて説明する。なお、図１８に示すフローチャートは、映像復号化装置２００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１１３】
まず、ステップＳ２０００では、画像毎にストリームを入力するストリーム入力処理を行う。なお、この処理を通じて拡張レイヤの有無がわかる。
【０１１４】
そして、ステップＳ２１００では、基本レイヤを復号化する基本レイヤ復号化処理を行う。ここでは、基本レイヤストリームを入力した後、可変長復号化処理、逆量子化処理、逆ＤＣＴ処理、および動き補償処理を行って基本レイヤ復号化画像を生成するとともに、量子化マトリクスの形状に応じて縮小率Ａの算出処理を行う。
【０１１５】
図１９は、図１８に示す基本レイヤ復号化処理の内容を示すフローチャートである。
【０１１６】
まず、ステップＳ２１１０では、基本レイヤストリーム入力部２１２で、上述したように、１画面単位で基本レイヤストリームを入力し、入力した基本レイヤストリームを可変長復号化部２１４に出力する。
【０１１７】
そして、ステップＳ２１２０では、可変長復号化部２１４で、上述したように、基本レイヤストリーム入力部２１２から入力した基本レイヤストリームを可変長復号化して、基本レイヤストリームに含まれていた量子化マトリクス、動きベクトル、および量子化後のＤＣＴ係数を求める。得られた量子化マトリクスは、逆量子化部２１６および第１の縮小率算出部２２２に出力され、動きベクトルは、動き補償部２２０に出力され、量子化後のＤＣＴ係数は、逆量子化部２１６に出力される。
【０１１８】
そして、ステップＳ２１３０では、第１の縮小率算出部２２２で、上述したように、可変長復号化部２１４から入力した量子化マトリクスの形状から縮小率Ａを算出する（図１０参照）。具体的には、量子化マトリクスにおいて、値が「２５５」でない個数が全体の（１／Ａ）×（１／Ａ）の場合は、縮小率をＡとする。算出された縮小率Ａは、拡張レイヤデコーダ２３０内の解像度変換部２４６に出力される。
【０１１９】
一方、ステップＳ２１４０では、逆量子化部２１６で、上述したように、可変長復号化部２１４から入力した量子化後のＤＣＴ係数に対して、その量子化の際に用いられた量子化マトリクスに示される量子化値で逆量子化を行って、逆量子化後のＤＣＴ係数を算出する。算出されたＤＣＴ係数は、逆ＤＣＴ部２１８に出力される。
【０１２０】
そして、ステップＳ２１５０では、逆ＤＣＴ部２１８で、上述したように、逆量子化部２１６から入力したＤＣＴ係数に対して、逆ＤＣＴを施し、復号化差分画像を生成し、生成した復号化差分画像を動き補償部２２０に出力する。
【０１２１】
そして、ステップＳ２１６０では、動き補償部２２０で、上述したように、逆ＤＣＴ部２１８から入力した復号化差分画像と、時間的に１つ前の復号化画像とに対して加算処理を行って、基本レイヤの復号化画像を生成し、生成した基本レイヤ復号化画像を拡張レイヤデコーダ２３０内の画像加算部２４２に出力した後、図１８のフローチャートにリターンする。
【０１２２】
そして、ステップＳ２２００では、ステップＳ２０００のストリーム入力処理の結果に基づいて、拡張レイヤがあるか否かを判断する。この判断の結果として拡張レイヤがある場合は（Ｓ２２００：ＹＥＳ）、ステップＳ２３００に進み、拡張レイヤがない場合、つまり、基本レイヤのみの場合は（Ｓ２２００：ＮＯ）、ただちにステップＳ２４００に進む。
【０１２３】
ステップＳ２３００では、拡張レイヤを復号化する拡張レイヤ復号化処理を行う。ここでは、複数の拡張レイヤストリームを入力した後、レイヤ合成処理、ビット平面ＶＬＤ処理、ビットシフト処理、逆ＤＣＴ処理、および画像加算処理を行って復号化画像を生成するとともに、周波数重み付けマトリクスの形状と受信レイヤ数に応じて縮小率Ｂの算出処理を行う。
【０１２４】
図２０は、図１８に示す拡張レイヤ復号化処理の内容を示すフローチャートである。
【０１２５】
まず、ステップＳ２３１０では、拡張レイヤストリーム入力部２３２で、上述したように、１画面毎に複数の拡張レイヤストリームを入力し、入力した複数の拡張レイヤストリームをレイヤ合成部２３４に出力するとともに、受信したレイヤ数を第２の縮小率算出部２４４に出力する。
【０１２６】
そして、ステップＳ２３２０では、レイヤ合成部２３４で、上述したように、拡張レイヤストリーム入力部２３２から入力した複数の拡張レイヤストリームを１つに合成して、ビット平面ＶＬＤ部２３６に出力する。
【０１２７】
そして、ステップＳ２３３０では、ビット平面ＶＬＤ部２３６で、上述したように、レイヤ合成部２３４から入力した拡張レイヤストリームに対して、可変長復号化（ＶＬＤ）を行って周波数重み付けマトリクスを生成し、生成した周波数重み付けマトリクスをビットシフト部２３８および第２の縮小率算出部２４４に出力するとともに、ビット平面毎に可変長復号化（ＶＬＤ）を行ってＤＣＴ係数を生成し、生成したＤＣＴ係数をビットシフト部２３８に出力する。
【０１２８】
そして、ステップＳ２３４０では、第２の縮小率算出部２４４で、上述したように、ビット平面ＶＬＤ部２３６から入力した周波数重み付けマトリクスの形状および拡張レイヤストリーム入力部２３２から入力した受信レイヤ数を用いて、復号化画像の縮小率Ｂを算出する（図１１参照）。具体的には、周波数重み付けマトリクスにおいて、同一値を持つ領域を左上から順に受信レイヤの数だけ拡大して行き、領域に含まれる個数が全体の（１／Ｂ）×（１／Ｂ）の場合は、縮小率をＢとする。算出された縮小率Ｂは、解像度変換部２４６に出力される。
【０１２９】
一方、ステップＳ２３５０では、ビットシフト部２３８で、上述したように、ビット平面ＶＬＤ部２３６から入力したＤＣＴ係数のおのおのに対して、周波数重み付けマトリクスに示されるシフト値で下位ビット方向へのビットシフトを行う。ビットシフト後のＤＣＴ係数は、逆ＤＣＴ部２４０に出力される。
【０１３０】
そして、ステップＳ２３６０では、逆ＤＣＴ部２４０で、上述したように、ビットシフト部２３８から入力したＤＣＴ係数に対して逆ＤＣＴを行って、拡張レイヤの復号化画像を生成する。生成された拡張レイヤ復号化画像は、画像加算部２４２に出力される。
【０１３１】
そして、ステップＳ２３７０では、画像加算部２４２で、上述したように、基本レイヤデコーダ２１０内の動き補償部２２０から入力した基本レイヤの復号化画像と、逆ＤＣＴ部２４０から入力した拡張レイヤの復号化画像とを画素毎に加算処理して、復号化画像を生成し、生成した復号化画像を解像度変換部２４６に出力した後、図１８のフローチャートにリターンする。ただし、拡張レイヤの復号化画像が入力されない場合は、基本レイヤの復号化画像をそのまま出力する。
【０１３２】
そして、ステップＳ２４００では、解像度変換部２４６で、解像度変換処理を行う。具体的には、上述したように、縮小率算出部２２２、２４４によって算出された縮小率Ａ、Ｂを用いて、画像加算部２４２から入力した復号化画像を縮小して、適切な解像度の映像を取得し、外部に出力する。
【０１３３】
図２１は、図１８に示す解像度変換処理の内容を示すフローチャートである。
【０１３４】
まず、ステップＳ２４１０では、縮小率算出部２４４からの入力信号（縮小率Ｂ）の有無に基づいて、拡張レイヤがあるか否かを判断する。この判断の結果として拡張レイヤがある場合は（Ｓ２４１０：ＹＥＳ）、ステップＳ２４２０に進み、拡張レイヤがない場合は（Ｓ２４１０：ＮＯ）、ステップＳ２４３０に進む。
【０１３５】
ステップＳ２４２０では、拡張レイヤがある場合であるため、第２の縮小率算出部２４４から入力した縮小率Ｂを用いて、画像加算部２４２から入力した復号化画像に対する解像度変換処理（縮小処理）を行った後、図１８のフローチャートにリターンする。
【０１３６】
一方、ステップＳ２４３０では、拡張レイヤがない場合、つまり、基本レイヤのみの場合であるため、第１の縮小率算出部２２２から入力した縮小率Ａを用いて、画像加算部２４２から入力した復号化画像（この場合は、基本レイヤの復号化画像）に対する解像度変換処理（縮小処理）を行った後、図１８のフローチャートにリターンする。
【０１３７】
そして、ステップＳ２５００では、終了判定処理を行う。具体的には、たとえば、基本レイヤストリーム入力部２１２において基本レイヤストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤストリーム入力部２１２において基本レイヤストリームの入力が停止した場合は（Ｓ２５００：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤストリーム入力部２１２において基本レイヤストリームの入力が停止していない場合は（Ｓ２５００：ＮＯ）、ステップＳ２０００に戻る。すなわち、基本レイヤストリーム入力部２１２において基本レイヤストリームの入力が停止するまでステップＳ２０００〜ステップＳ２４００の一連の処理を繰り返す。
【０１３８】
このように、本実施の形態では、復号化方法として、図１２に示すように、拡張レイヤの受信数に応じて、縮小率を変えることにより、高精細な映像を適切な解像度で表示することができる。
【０１３９】
図２２は、本実施の形態を適用したＭＰＥＧ−４　ＦＧＳによる映像ストリーミングシステムの一例を示す構成図である。
【０１４０】
映像サーバ３００は、基本レイヤと複数（Ｎ個）の拡張レイヤとで構成される映像ストリームをネットワークに伝送して各種の端末４００、５００、６００に送る。たとえば、端末４００は、高帯域の端末（たとえば、高品位のパソコンやデジタルテレビなど）であり、端末５００は、中帯域の端末（たとえば、中品位のパソコンなど）であり、端末６００は、低帯域の端末（たとえば、携帯電話やＰＤＡなど）である。高帯域の端末４００は、高帯域のＬＡＮ４５０に接続され、中帯域の端末５００は、中帯域のインターネット５５０に接続され、低帯域の端末６００は、低帯域のモバイル網６５０に接続されている。
【０１４１】
このとき、高帯域のＬＡＮ４５０、中帯域のインターネット５５０、および低帯域のモバイル網６５０にそれぞれ接続された各端末４００、５００、６００は、各自の受信帯域に合わせて、受信するストリームを選択し、帯域に応じた品質の映像を受信することができる。たとえば、高帯域の端末４００は、基本レイヤとすべての拡張レイヤ１〜Ｎを受信して、高品質の映像を得ることができる。また、中帯域の端末５００は、基本レイヤと２つの拡張レイヤ１〜２を受信して、中品質の映像を得ることができる。また、低帯域の端末６００は、基本レイヤと１つの拡張レイヤ１を受信して、低品質の映像を得ることができる。
【０１４２】
以下では、さらに、本実施の形態の適用例およびバリエーションについて説明する。
【０１４３】
まず、本実施の形態によれば、端末能力に応じた空間スケーラビリティを実現することができる。具体的には、各受信端末の表示面積に応じて受信拡張レイヤ数を変えることにより、それぞれ適切な解像度を得ることができる。たとえば、一般に表示面積が比較的小さい携帯電話は、基本レイヤのみを受信して低解像度の表示を行い、一般に表示面積が比較的大きいパソコンは、基本レイヤに加えて複数の拡張レイヤを受信して高解像度の表示を行うことができる。
【０１４４】
また、本実施の形態によれば、帯域変動に応じた空間スケーラビリティを実現することができる。具体的には、帯域変動に合わせて可能な限りの拡張レイヤを受信することにより、解像度を向上することができる。たとえば、ビットレートが低いときは、基本レイヤのみを受信して低解像度の表示を行い、ビットレートが高いときは、基本レイヤに加えて複数の拡張レイヤを受信して高解像度の表示を行うことができる。
【０１４５】
また、本実施の形態によれば、ユーザの嗜好に応じた空間スケーラビリティを実現することができる。具体的には、ユーザの好みに応じて受信拡張レイヤ数を選択することにより、好みの解像度で映像再生を行うことができる。受信拡張レイヤ数の選択方法としては、たとえば、レイヤ分割情報を用いて選択したり、また、まず拡張レイヤを受信してビット平面情報を得てから選択したりすることができる。
【０１４６】
また、本実施の形態の追加機能として、解像度の要求を行ってインタラクティブ性を持たせることができる。具体的には、受信端末から要求された基本レイヤ解像度に合わせて、たとえば、ユーザの要求やフィードバック情報（端末情報）などに応じて、サーバは、量子化マトリクスの形状を制御することにより、基本レイヤの解像度を変更することができる。この結果、サーバは、必要な拡張レイヤのみを送ることができ、帯域を節約することができる。
【０１４７】
また、本実施の形態の追加機能として、基本レイヤの動き予測を１／Ａの解像度で行い、予測誤差を低減することにより、符号化効率の向上と処理量の低減を図ることができる。
【０１４８】
図２３は、この追加機能を有する映像符号化装置における動き予測・差分抽出部の動作の一例を示すフローチャートである。なお、この映像符号化装置の構成および動作は、動き予測・差分抽出部を除いて図１に示す映像符号化装置１００と同様であるため、その説明を省略する。ここでは、基本レイヤの縮小率Ａを用いて、動き予測を縮小率Ａで縮小した画像同士で行うことにより、処理量の低減と予測誤差の低減を図っている。
【０１４９】
まず、ステップＳ３０００では、原画像の縮小処理を行う。具体的には、入力した原画像を基本レイヤの縮小率Ａで縮小して、縮小原画像を生成する。
【０１５０】
そして、ステップＳ３１００では、参照画像の縮小処理を行う。具体的には、時間的に１つ前の基本レイヤ復号化画像を基本レイヤの縮小率Ａで縮小して、縮小参照画像を生成する。
【０１５１】
そして、ステップＳ３２００では、動き予測処理を行う。具体的には、マクロブロックを基本レイヤの縮小率Ａで縮小して、縮小マクロブロックを算出した後、ステップＳ３０００で生成した縮小原画像とステップＳ３１００で生成した縮小参照画像において、縮小マクロブロック毎に相関の高い領域を探索し、原画像から最も相関の高い領域への動きベクトルを算出する。
【０１５２】
そして、ステップＳ３３００では、差分抽出処理を行う。具体的には、ステップＳ３２００で縮小画像から算出した動きベクトルに対して縮小率Ａの逆数（１／Ａ）で掛け算を行い、マクロブロック単位で原画像と相関の高い領域の参照画像を減算することによって差分画像を抽出し、抽出した差分画像をＤＣＴ部１１６に出力する。動き予測の結果得られた動きベクトルは、可変長符号化部１２２および動き補償部１２８に出力される。ただし、上述したように、符号化の始まりでは、１フレーム前の復号化画像は存在しないので、動き予測は行わない。
【０１５３】
ここで、上記の動き予測・差分抽出処理を概念的に示すと、図２４に示すとおりである。
【０１５４】
なお、本実施の形態では、本発明をＭＰＥＧ−４　ＦＧＳ方式に適用した場合について説明したが、本発明の適用対象となる映像符号化方式は、ＭＰＥＧ−４ＦＧＳ方式に限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の階層符号化方式であってもよい。
【０１５５】
【発明の効果】
以上説明したように、本発明によれば、たとえば、ＭＰＥＧ−４　ＦＧＳのような階層符号化方式において、細かい空間スケーラビリティを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像符号化装置の構成を示すブロック図
【図２】入力画像とブロック内のＤＣＴ係数との関係の一例を示す図
【図３】量子化処理の一例を示す概念図
【図４】本実施の形態に対応する独自の量子化マトリクス算出処理の一例を示す概念図
【図５】ビットシフト処理の一例を示す概念図
【図６】同じくビットシフト処理の一例を示す概念図
【図７】ビット平面ＶＬＣ処理の一例を示す概念図
【図８】拡張レイヤビットストリームの構成図
【図９】本発明の一実施の形態に係る映像復号化装置の構成を示すブロック図
【図１０】縮小率Ａの算出方法の一例を示す概念図
【図１１】縮小率Ｂの算出方法の一例を示す概念図
【図１２】解像度変換処理の一例を示す概念図
【図１３】本実施の形態に対応する映像符号化装置の動作を示すフローチャート
【図１４】図１３に示す基本レイヤ符号化復号化処理の内容を示すフローチャート
【図１５】図１３に示す拡張レイヤ符号化処理の内容を示すフローチャート
【図１６】本実施の形態の特徴を説明するための概念図
【図１７】同じく本実施の形態の特徴を説明するための概念図
【図１８】本実施の形態に対応する映像復号化装置の動作を示すフローチャート
【図１９】図１８に示す基本レイヤ復号化処理の内容を示すフローチャート
【図２０】図１８に示す拡張レイヤ復号化処理の内容を示すフローチャート
【図２１】図１８に示す解像度変換処理の内容を示すフローチャート
【図２２】本実施の形態を適用したＭＰＥＧ−４　ＦＧＳによる映像ストリーミングシステムの一例を示す構成図
【図２３】本実施の形態に対応する映像符号化装置において符号化効率の向上を図るための動き予測・差分抽出部の動作の一例を示すフローチャート
【図２４】図２３に示す動き予測・差分抽出処理の概念図
【符号の説明】
１００　映像符号化装置
１１０　基本レイヤエンコーダ
１１２　画像入力部
１１４　動き予測・差分抽出部
１１６、１３４　ＤＣＴ部
１１８　量子化部
１２０　量子化マトリクス算出部
１２２　可変長符号化部
１２４、２１６　逆量子化部
１２６、２１８、２４０　逆ＤＣＴ部
１２８、２２０　動き補償部
１３０　拡張レイヤエンコーダ
１３２　差分抽出部
１３６、２３８　ビットシフト部
１３８　周波数重み付けマトリクス算出部
１４０　ビット平面ＶＬＣ部
１４２　レイヤ分割部
２００　映像復号化装置
２１０　基本レイヤデコーダ
２１２　基本レイヤストリーム入力部
２１４　可変長復号化部
２２２、２４４　縮小率算出部
２３０　拡張レイヤデコーダ
２３２　拡張ストリーム入力部
２３４　レイヤ合成部
２３６　ビット平面ＶＬＤ部
２４２　画像加算部
２４６　解像度変換部

Claims (12)

1. 動画像を一の基本レイヤと少なくとも一の拡張レイヤとに分割して符号化する動画像符号化装置であって、
   低解像度表示に必要な情報のみを基本レイヤに符号化する基本レイヤ符号化手段と、
   高解像度表示に必要な情報を段階的に拡張レイヤに符号化する拡張レイヤ符号化手段と、
   を有することを特徴とする動画像符号化装置。
2. 前記基本レイヤ符号化手段は、
   基本レイヤにおける低解像度表示用の低周波成分以外の成分が最大値を有する量子化マトリクスを算出する量子化マトリクス算出手段を有し、
   算出された量子化マトリクスを用いて基本レイヤの符号化を行う、
   ことを特徴とする請求項１記載の動画像符号化装置。
3. 前記量子化マトリクス算出手段は、要求された表示解像度に応じて量子化マトリクスを変更することを特徴とする請求項２記載の動画像符号化装置。
4. 前記基本レイヤ符号化手段は、
   入力画像と時間的に１つ前の参照画像とを用いて動き予測を行い、動きベクトルを算出する動き予測手段を有し、
   前記動き予測手段は、
   入力画像および参照画像を基本レイヤにおける表示解像度に縮小し、縮小された入力画像および参照画像を用いて動き予測を行う、
   ことを特徴とする請求項１記載の動画像符号化装置。
5. 前記基本レイヤ符号化手段は、高解像度の画像を入力画像として用いることを特徴とする請求項１記載の動画像符号化装置。
6. 前記拡張レイヤ符号化手段は、
   低周波成分から高周波成分に向かって段階的に値が小さくなる周波数重み付けマトリクスを算出する周波数重み付けマトリクス算出手段と、
   算出された周波数重み付けマトリクスを用いて上位方向へビットシフトを行うビットシフト手段とを有し、
   周波数重み付けマトリクスを用いたビットシフト処理結果を用いて拡張レイヤの符号化を行う、
   ことを特徴とする請求項１記載の動画像符号化装置。
7. 前記拡張レイヤ符号化手段は、
   算出された周波数重み付けマトリクスを用いて、ビットシフト後のビット平面に対するレイヤ分割を行うレイヤ分割手段、
   をさらに有することを特徴とする請求項６記載の動画像符号化装置。
8. 前記周波数重み付けマトリクス算出手段は、要求された表示解像度に応じて周波数重み付けマトリクスを変更することを特徴とする請求項６記載の動画像符号化装置。
9. 請求項２記載の動画像符号化装置によって符号化された動画像を復号化する動画像復号化装置であって、
   基本レイヤを受信する基本レイヤ受信手段と、
   受信された基本レイヤの量子化マトリクスの形状に応じて表示解像度を変換する解像度変換手段と、
   を有することを特徴とする動画像復号化装置。
10. 前記解像度変換手段は、
    量子化マトリクスにおいて非最大値の成分が（１／Ａ）×（１／Ａ）個の場合、縮小率をＡに設定する、
    ことを特徴とする請求項９記載の動画像復号化装置。
11. 請求項７記載の動画像符号化装置によって符号化された動画像を復号化する動画像復号化装置であって、
    帯域に応じて拡張レイヤを受信する拡張レイヤ受信手段と、
    受信された拡張レイヤの数および周波数重み付けマトリクスの形状に応じて表示解像度を変換する解像度変換手段と、
    を有することを特徴とする動画像復号化装置。
12. 前記解像度変換手段は、
    受信された拡張レイヤに含まれる成分が周波数重み付けマトリクスにおいて（１／Ｂ）×（１／Ｂ）個の場合、縮小率をＢに設定する、
    ことを特徴とする請求項１１記載の動画像復号化装置。

Images