JP2007266749A - 符号化方法 - Google Patents

Abstract

【課題】カラー深度毎に動画像の符号化ストリームを用意すると、符号量が増える。
【解決手段】符号化装置２００は、動画像にピクセル深度スケーラビリティをもたせて階層的に符号化する。上位ビット取得部１５０は、ピクチャの色に関する情報を与える複数のビットプレーンの内、所定ビット数の上位ビットプレーンを基本レイヤに、全ビットプレーンを拡張レイヤに割り当てる。基本レイヤ符号化部１００は、基本となる上位ビットプレーンの動き予測符号化を行う。ビットシフト部１０２は、基本レイヤの量子化後の画像データを左ビットシフトした上で、拡張レイヤ符号化部１１０に与える。拡張レイヤ符号化部１１０は、拡張レイヤの量子化後の画像データと左ビットシフトされた基本レイヤの量子化後の画像データとの差分をとった後、差分データを可変長符号化して拡張レイヤの符号化データを生成する。
【選択図】図１

Description

本発明は、動画像にスケーラビリティをもたせて符号化する符号化方法に関する。

ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、ＤＶＤなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、ＭＰＥＧ４の規格やＨ．２６４／ＡＶＣ規格がある。また、１つのストリームで、符号量に応じて、異なる画質（たとえば高画質と低画質）、異なる解像度（たとえば高解像度と低解像度）、異なるフレームレート（たとえば高フレームレートと低フレームレート）の画像の圧縮および伸長を実現することのできる、Ｈ．２６４／ＡＶＣの拡張として規格化が進められているＳＶＣ（Scalable Video Coding）のような次世代画像圧縮技術がある。

次世代画像圧縮技術であるＳＶＣでは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるように、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティなどの各種スケーラビリティをもたせて動画像を符号化する。これらのスケーラビリティを任意に組み合わせて符号化することも可能であり、ＳＶＣのスケーラビリティ機能は柔軟性に富んでいる。

最近の高品質の液晶カラーテレビの中には表示可能色数が５０億色を超えるものもあり、テレビの表示可能色数を考慮して動画像の色数を増やして高画質で符号化することが求められている。ＳＶＣでは、色数のスケーラビリティの導入が検討されている（たとえば、非特許文献１参照）。
"SVC Requirements Specified by MPEG",JVT-N026,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2005

従来の動画像符号化方式では、カラー深度（color depth）は動画像の符号化ストリーム単位で一定の値に決められる。たとえば、標準テレビで映像を再生するには、カラー深度は８ビットで十分とされており、色数は８ビット固定である。色数の異なる動画像を再生したいというニーズに応えるためには、カラー深度毎に別々の符号化ストリームを用意してユーザに提供する必要があり、全体の符号量が増え、通信帯域や記憶領域を圧迫するという問題があった。

本発明はこうした状況に鑑みてなされたもので、その目的は、動画像に異なるピクセル深度をもたせて効率良く符号化するための符号化技術を提供することにある。

上記課題を解決するために、本発明のある態様の符号化方法は、動画像を階層的に符号化する際、画像データを与える複数のビットプレーンの内、上位ビットプレーン群を基本レイヤに、前記上位ビットプレーン群を含むより多いビット数のビットプレーン群を拡張レイヤに割り当て、前記拡張レイヤでは、前記拡張レイヤにおける予測による差分ピクチャと前記基本レイヤにおける予測による差分ピクチャのレイヤ間での差分を符号化して前記拡張レイヤの符号化データを生成する。画素データは、輝度データ、色差データ、ＲＧＢデータのいずれであってもよい。

ここでピクチャは符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む。

「予測による差分ピクチャ」には、ＰピクチャやＢピクチャなどに対する動き予測による差分ピクチャや、Ｉピクチャなどに対するフレーム内予測による差分ピクチャを含む。

この態様によると、動画像にピクセル深度スケーラビリティをもたせて符号化することができる。また、動き予測符号化によって動画像の時間方向の冗長性が取り除かれたり、あるいはフレーム内予測符号化によって画像内の冗長性が取り除かれたりしているため、動画像の符号化ストリームの符号量を抑えることができる。

前記基本レイヤと前記拡張レイヤの間で量子化処理に用いる量子化パラメータを共通にし、その共通の量子化パラメータに関する情報を前記動画像の符号化ストリームに含めてもよい。前記基本レイヤと前記拡張レイヤの間で動き補償に用いる動きベクトル情報を共通にし、その共通の動きベクトル情報を前記動画像の符号化ストリームに含めてもよい。量子化や動き補償などをレイヤ間で共通にすることで、符号化と復号の両面で効率を高めることができ、また、量子化パラメータや動き情報の符号量を減らすこともできる。

前記動画像の符号化ストリーム内で前記拡張レイヤに割り当てるビット数を動的に調整し、前記拡張レイヤに割り当てられたビット数に関する情報を前記符号化ストリームに含めてもよい。これにより、必要に応じてピクセル深度を増減することができるため、符号化効率が良くなるとともに、必要に応じて柔軟に画質を調整することができる。ピクセル深度を動的に変更する領域の単位は、フレーム、スライス、マクロブロック、ＲＯＩ（Region Of Interest）領域のいずれであってもよい。画像内の領域を選択してピクセル深度を変えることができる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、異なるピクセル深度をもつ動画像を効率的に階層符号化することができる。

図１は、実施の形態に係る符号化装置２００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

本実施の形態の符号化装置２００は、次世代画像圧縮技術であるＳＶＣ（Scalable Video Coding）に準拠して、動画像にピクセル深度（pixel depth）スケーラビリティをもたせて符号化する「スケーラブル符号化」を行う。ピクセル深度スケーラビリティは、１ピクセルにもたせる色や輝度などのピクセル値のビット数に関するスケーラビリティのことであり、狭義の意味でカラー深度（color depth）スケーラビリティと呼ばれることもある。

符号化装置２００は、動画像にピクセル深度スケーラビリティ以外に空間（spatial）スケーラビリティ、時間（temporal）スケーラビリティ、ＳＮＲ（signal to noise ratio）スケーラビリティなどをもたせて符号化してもよい。

ＳＶＣでは、スケーラビリティを階層符号化により実現しており、ピクセル深度の異なる画像データをレイヤに分けて符号化し、ピクセル深度がそれぞれ異なる複数のレイヤからなる符号化ストリームを生成する。このようにしてスケーラブル階層符号化された動画像は、任意のピクセル深度を選択して復号することができるというスケーラビリティをもつ。たとえば下位層の符号化データだけを復号すると、ピクセル深度が浅い、すなわち色数の少ない動画像が再生され、上位層の符号化データを含めて復号すると、ピクセル深度が深い、すなわち色数の多い動画像が再生される。

符号化装置２００は、基本レイヤの符号化データを生成する基本レイヤ符号化部１００と、拡張レイヤの符号化データを生成する拡張レイヤ符号化部１１０とをもち、基本レイヤでは基本となるビット数分の画像データが符号化され、拡張レイヤでは全ビット数分の画像データと基本レイヤの画像データとの差分が符号化される。

上位ビット取得部１５０は、入力画像の最上位ビットから数えて所定ビット数の上位ビットプレーンを取得し、基本レイヤ符号化部１００の入力として与える。一方、拡張レイヤ符号化部１１０には、入力画像の全ビットプレーンが入力される。基本レイヤには、画像の全ビットプレーンの内、画像を基礎づけている上位の基本となるビット数分のビットプレーン群が割り当てられる。一例として、１０ビットのピクセル深度をもつ入力画像について、上位８ビットの画像データが基本レイヤ符号化部１００に入力され、全１０ビットの画像データが拡張レイヤ符号化部１１０に入力される。

基本レイヤ符号化部１００は、上位ビットの画像データに対して動き補償、直交変換、および量子化の各処理を施し、拡張レイヤ符号化部１１０は、全ビットプレーンの画像データに対して動き補償、直交変換および量子化の各処理を施す。拡張レイヤの動き補償には、基本レイヤの動き補償で用いた動きベクトルが用いられ、拡張レイヤの量子化には、基本レイヤの量子化で用いた量子化スケールなどの量子化パラメータが用いられる。

基本レイヤ符号化部１００は、量子化後の上位ビットの画像データを可変長符号化して基本レイヤの符号化データを生成し、ストリーム結合部１６０に供給する。ビットシフト部１０２は、基本レイヤの量子化後の画像データを左ビットシフトした上で、拡張レイヤ符号化部１１０に与える。ここで、ビットシフト部１０２による左ビットシフト量は、基本レイヤの画像のビット数と拡張レイヤの画像のビット数の差であり、ビットシフト部１０２による左ビットシフトにより、基本レイヤの画像データの下位ビットに０が補填され、基本レイヤの画像データと拡張レイヤの画像データのビット数が揃い、差分をとることが可能となる。

拡張レイヤ符号化部１１０は、拡張レイヤの量子化後の画像データとビットシフト部１０２により左ビットシフトされた基本レイヤの量子化後の画像データとの差分をとった後、差分データを可変長符号化して拡張レイヤの符号化データを生成する。拡張レイヤ符号化部１１０は、拡張レイヤの符号化データをストリーム結合部１６０に供給する。

ストリーム結合部１６０は、基本レイヤの符号化データと拡張レイヤの符号化データを結合して動画像の符号化ストリームを出力する。

図１では、基本レイヤと拡張レイヤの２つのレイヤを符号化する場合を例に挙げて構成と動作を説明するが、拡張レイヤの個数は任意である。たとえば、拡張レイヤを２つ設けて、１０ビットのピクセル深度をもつ入力画像について、上位８ビットの画像データが基本レイヤで符号化され、上位９ビットの画像データが第１の拡張レイヤで符号化され、全１０ビットの画像データが第２の拡張レイヤで符号化されてもよい。この場合、第２の拡張レイヤでは、第２の拡張レイヤの量子化後の画像データと、第１の拡張レイヤの量子化後の画像データであって基本レイヤとの差分をとる前のデータとの差分が符号化されることになる。拡張レイヤが３つ以上ある場合も同様で、拡張レイヤでは１つ下のレイヤの量子化後のデータとの差分をとって符号化する。

次に基本レイヤ符号化部１００の構成と動作を詳しく説明する。

本実施の形態の基本レイヤ符号化部１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行うフレームをＩ（Intra）フレーム、過去のフレームを参照フレームとして順方向のフレーム間予測符号化を行うフレームをＰ（Predictive）フレーム、過去と未来のフレームを参照フレームとして双方向のフレーム間予測符号化を行うフレームをＢフレームという。

一方、Ｈ．２６４／ＡＶＣでは、参照フレームとして利用できるフレームは、時間の先後を問わず、過去の２枚のフレームを参照フレームとしてもよく、未来の２枚のフレームを参照フレームとしてもよい。また、参照フレームとして利用できるフレームの枚数も問わず、３枚以上のフレームを参照フレームとして用いることもできる。したがって、ＭＰＥＧ−１／２／４では、Ｂフレームは双方向予測（Bi-directional prediction）フレームのことを指していたが、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、参照フレームの時間の先後は問わないため、双予測（Bi-predictive prediction）フレームのことを指すことに留意する。

なお、実施の形態では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

基本レイヤ符号化部１００は、フレーム単位で動画像の入力を受け取り、動画像を符号化し、符号化ストリームを出力する。基本レイヤ符号化部１００に入力される動画像のフレームは、上位ビット取得部１５０により上位ビットが取り出されたものであり、最下位ビットから数えた所定のビット数はあらかじめ落とされている。

ブロック生成部１０ａは、入力された動画像のフレームをマクロブロックに分割する。フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１０ａは生成したマクロブロックを差分器１２ａと動き予測部６０ａに供給する。

差分器１２ａは、ブロック生成部１０ａから供給されるフレームがＩフレームであれば、そのままＤＣＴ部２０ａに出力するが、ＰフレームまたはＢフレームであれば、動き予測部６０ａから供給される予測フレームとの差分を計算してＤＣＴ部２０ａに供給する。

動き予測部６０ａは、フレームバッファ８０ａに格納されている過去または未来のフレームを参照フレームとして利用し、ブロック生成部１０ａから入力されたＰフレームまたはＢフレームのマクロブロック毎に動き補償を行い、動きベクトルと予測フレームを生成する。動き予測部６０ａは、生成した動きベクトルを可変長符号化部９０ａに供給し、予測フレームを差分器１２ａと加算器１４ａに供給する。

差分器１２ａは、ブロック生成部１０ａから出力される現在の符号化対象フレームと、動き予測部６０ａから出力される予測フレームとの差分を求め、ＤＣＴ部２０ａに出力する。ＤＣＴ部２０ａは、差分器１２ａから与えられた差分フレームを離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部３０ａに与える。

量子化部３０ａは、ＤＣＴ係数を量子化し、可変長符号化部９０ａに与える。可変長符号化部９０ａは、動き予測部６０ａから与えられた動きベクトルとともに差分フレームの量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームを生成する。可変長符号化部９０ａは、符号化ストリームを生成する際、符号化されたフレームを時間順序に並べ替える処理を行う。

量子化部３０ａは、フレームの量子化されたＤＣＴ係数を逆量子化部４０ａに供給する。逆量子化部４０ａは、与えられた量子化データを逆量子化し、逆ＤＣＴ部５０ａに与え、逆ＤＣＴ部５０ａは、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化されたフレームが復元される。復元されたフレームは加算器１４ａに入力される。

加算器１４ａは、逆ＤＣＴ部５０ａから供給されるフレームがＩフレームであれば、そのままフレームバッファ８０ａに格納する。加算器１４ａは、逆ＤＣＴ部５０ａから供給されるフレームがＰフレームまたはＢフレームであれば、それは差分フレームであるため、逆ＤＣＴ部５０ａから供給された差分フレームと動き予測部６０ａから供給される予測フレームとを加算することにより、元のフレームを再構築し、フレームバッファ８０ａに格納する。

フレームバッファ８０ａに格納された再構築フレームは、動き予測部６０ａによる動き補償の参照フレームとして利用される。

ＰフレームもしくはＢフレームの符号化処理の場合は、上述のように動き予測部６０ａが動作するが、Ｉフレームの符号化処理の場合は、動き予測部６０ａは動作せず、ここでは図示しないが、フレーム内予測が行われる。

動き予測部６０ａは、ブロック生成部１０ａから与えられた符号化対象フレームのマクロブロック（「対象マクロブロック」という）に対して、フレームバッファ８０ａに格納された再構築フレームを参照フレームとして、参照フレーム内を探索し、対象マクロブロックとの差分が最も小さくなる領域を特定する。これにより、対象マクロブロック毎に符号化対象フレームから参照フレームへの動きを示す動きベクトルが定まる。

ビットシフト部１０２には、基本レイヤ符号化部１００の量子化部３０ａによる量子化後の基本レイヤの画像データが入力される。ビットシフト部１０２は、拡張レイヤの画像データのビット数に揃えるために、基本レイヤの量子化後の画像データを左ビットシフトし、左シフトで空いた下位ビットに０を補填する。ビットシフト部１０２は、左ビットシフトされた基本レイヤの量子化後の画像データを拡張レイヤ符号化部１１０に与える。

次に拡張レイヤ符号化部１１０の構成と動作を説明するが、基本レイヤ符号化部１００と共通する構成については対応する符号を付して説明を省略する。なお、同図では、基本レイヤ符号化部１００の各構成の符号の後には「ａ」を付し、拡張レイヤ符号化部１１０の各構成の符号の後には「ｂ」を付すことで区別している。

拡張レイヤ符号化部１１０の動き予測部６０ｂは、基本レイヤ符号化部１００の動き予測部６０ａから基本レイヤの動き補償で用いた動きベクトルＭＶの情報を受け取り、拡張レイヤの動き補償で用いる。基本レイヤと拡張レイヤとではピクセル値のビット数が異なるだけであるから、基本レイヤの動きベクトルは拡張レイヤの動き補償でも利用することができる。

拡張レイヤ符号化部１１０の量子化部３０ｂは、基本レイヤ符号化部１００の量子化部３０ａから基本レイヤの量子化で用いた量子化スケールＱの情報を受け取り、拡張レイヤでも基本レイヤと同じ量子化スケールＱで量子化を行う。基本レイヤと拡張レイヤの量子化パラメータの統一は、復号の際、基本レイヤの復号データと拡張レイヤの復号データを合成して逆量子化することを可能にするために必要である。量子化スケール以外の量子化処理に必要なパラメータについても同様に基本レイヤと拡張レイヤ間で共通にする。共通化された量子化パラメータに関する情報は、動画像の符号化ストリームのヘッダなどに格納される。

拡張レイヤ符号化部１１０の差分器１６ｂは、拡張レイヤ符号化部１１０の量子化部３０ｂによる拡張レイヤの量子化後の画像データと、ビットシフト部１０２により左ビットシフトされた基本レイヤの量子化後の画像データとの差分を求め、可変長符号化部９０ｂに与える。ここで、差分器１６ｂに入力される拡張レイヤと基本レイヤの画像データは、ＰフレームまたはＢフレームの場合は、動き予測により得られた差分フレームが直交変換され、量子化されたものであり、Ｉフレームの場合は、フレーム内予測により得られた差分フレームが直交変換され、量子化されたものである。

拡張レイヤ符号化部１１０の可変長符号化部９０ｂは、差分器１６ｂから基本レイヤと拡張レイヤの量子化後の画像データの差分の入力を受けて、差分データを可変長符号化し、ストリーム結合部１６０に与える。ここで、拡張レイヤ符号化部１１０では、基本レイヤの動きベクトル情報を利用しているため、動きベクトル情報を可変長符号化する必要はないことに留意する。

図１では、基本レイヤと拡張レイヤのそれぞれに対して、ＤＣＴ部、量子化部、動き予測部、逆量子化部、逆ＤＣＴ部、可変長符号化部などの各構成を図示したが、これらは機能上の構成であるから、実装では時間的に処理を分割するなどして基本レイヤと拡張レイヤとで各構成を物理的に共有し、回路規模を小さくすることも可能である。

上記の説明では、動画ストリームのピクセル深度は一定であるとしたが、ピクセル深度を動的に変更できるようにしてもよい。その場合、ピクセル深度の増減に伴って、拡張レイヤに割り当てられるビット数を同一ストリーム内で可変にする。たとえば、基本レイヤに８ビットを割り当て、拡張レイヤには２〜４ビットの間で割り当てるビット数を変える。拡張レイヤに割り当てられたビット数の情報は動画ストリームのヘッダなどに含める。これにより、１つの動画ストリーム内でもフレーム単位もしくはフレームの集合単位で色数を増減させることができる。たとえば、シーンに応じて色数を増減したり、重要でないフレームでは色数を落とすことができる。

なお、ＳＶＣ非対応の復号装置でも基本レイヤのみで動画像を復号できるように、基本レイヤに割り当てられるビット数は可変にせず、固定にしておくことが好ましい。また、本実施の形態では、拡張レイヤにおいて動き予測によってフレーム間の差分を符号化するため、拡張レイヤのビット割り当ては、フレーム間の予測符号化をしている間は一定にする必要がある。したがって、符号化ストリーム内でピクセル深度を変更可能なタイミングは、Ｉフレームのような基準フレームの位置になることに留意する。

本実施の形態の符号化装置２００によれば、動画像にピクセル深度スケーラビリティをもたせて階層的に符号化することができる。よって、復号の際、ピクセル深度の異なる動画を選択して再生することができる。

また、符号化装置２００によれば、動き補償により参照フレームとの差分をとり、時間方向の冗長性が落とされた画像や、フレーム内予測によりフレーム内の冗長性が落とされた画像について、基本レイヤと拡張レイヤ間で差分をとって符号化していることから、原画像もしくは再構築画像のレベルで差分をとる場合に比べて、基本レイヤと拡張レイヤのデータ間の冗長度を極めて小さくすることができ、階層符号化された動画ストリーム全体の符号量を小さく抑えることができる。

また、符号化装置２００では、基本レイヤと拡張レイヤの間で差分を符号化する際、直交変換し、量子化した後のデータの差分をとる。一般に、量子化前のデータについてレイヤ間の差分をとってしまうと、後の量子化により誤差が生じる。本実施の形態では、量子化後のデータのについてレイヤ間の差分をとるため、レイヤ間の差分符号化が量子化による影響を受けることがなく、動画像の再生品質を維持することができる。

図２は、実施の形態に係るＳＶＣ非対応の復号装置４００の構成図である。これらの機能ブロックもハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現することができる。

復号装置４００には、図１の符号化装置２００によりピクセル深度スケーラビリティをもたせて階層符号化された動画像の符号化ストリームが入力される。しかし、復号装置４００はＳＶＣに対応していないため、入力された符号化ストリームから基本レイヤのストリームのみを取り出して復号する。

ストリーム分離部３０２は、入力された符号化ストリームから基本レイヤの符号化ストリームを分離して取り出し、可変長復号部３１０に与える。

可変長復号部３１０は、基本レイヤの符号化ストリームを可変長復号し、復号された画像データを逆量子化部３２０に供給し、動きベクトル情報を動き補償部３６０に供給する。

逆量子化部３２０は、可変長復号部３１０により復号された画像データを逆量子化し、逆ＤＣＴ部３３０に供給する。逆量子化部３２０により逆量子化された画像データはＤＣＴ係数である。逆ＤＣＴ部３３０は、逆量子化部３２０により逆量子化されたＤＣＴ係数を逆離散コサイン変換（ＩＤＣＴ）することにより、元の画像データを復元する。逆ＤＣＴ部３３０により復元された画像データは、加算器３１２に供給される。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データが、Ｉフレームである場合、そのＩフレームの画像データをそのまま出力するとともに、ＰフレームやＢフレームの予測フレームを生成するための参照フレームとして、フレームバッファ３８０に格納する。

加算器３１２は、逆ＤＣＴ部３３０から供給された画像データが、Ｐフレームである場合、その画像データは差分フレームであるから、逆ＤＣＴ部３３０から供給された差分フレームと動き補償部３６０から供給される予測フレームを加算することにより、元の画像データを復元し、出力する。

動き補償部３６０は、可変長復号部３１０から供給される動きベクトル情報と、フレームバッファ３８０に格納された参照フレームを用いて、ＰフレームまたはＢフレームの予測フレームを生成し、加算器３１２に供給する。

動き補償部３６０は、可変長復号部３１０から復号対象フレームの動きベクトルを取得し、復号対象フレームの対象マクロブロックに対して、動きベクトルが参照する領域を特定し、その領域の画素データを用いて、動き補償された予測フレームを生成し、加算器３１２に与える。

図３は、実施の形態に係るＳＶＣ対応の復号装置５００の構成図である。これらの機能ブロックもハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現することができる。復号装置５００は、ＳＶＣに準拠して、動画像にピクセル深度スケーラビリティをもたせて復号する「スケーラブル復号」を行う。

復号装置５００には、図１の符号化装置２００によりピクセル深度スケーラビリティをもたせて階層符号化された動画像の符号化ストリームが入力される。復号装置５００は、ＳＶＣに対応しており、入力された符号化ストリームから基本レイヤと拡張レイヤのストリームを取り出して復号する。

復号装置５００は、図１の符号化装置２００に対応して、基本レイヤと拡張レイヤの２つのレイヤで動画像を復号する構成であるが、拡張レイヤの個数は任意である。

復号装置５００は、動画像の符号化ストリームの入力を受け取り、基本レイヤと拡張レイヤの符号化ストリームをそれぞれ可変長復号し、基本レイヤの可変長復号後のデータを出力画像のビット数に合わせてビットシフトした上で、基本レイヤの可変長復号後のデータと拡張レイヤの可変長復号後のデータを足し合わせて合成する。復号装置５００は、合成されたデータに対して逆量子化、逆直交変換、および動き補償を施して、出力画像を生成する。

複数の拡張レイヤがある場合は、各拡張レイヤの符号化ストリームが可変長復号され、最上位の拡張レイヤ以外は、可変長復号後のデータが出力画像のビット数に合わせてビットシフトされた上で、他のレイヤの可変長復号後のデータに足し合わされる。

同図を参照しながら、復号装置５００の構成と動作を詳しく説明する。ストリーム分離部３０２は、入力された符号化ストリームから基本レイヤと拡張レイヤの符号化データを分離して取り出し、基本レイヤの符号化データは基本レイヤ用の可変長復号部３１０ａに、拡張レイヤの符号化データは拡張レイヤ用の可変長復号部３１０ｂに与える。

基本レイヤ用の可変長復号部３１０ａは、基本レイヤの符号化ストリームを可変長復号し、可変長復号後のデータをビットシフト部３１６に供給し、動きベクトル情報を動き補償部３６０に供給する。

ビットシフト部３１６は、基本レイヤの画像のビット数と出力画像のビット数の差の分だけ、基本レイヤの可変長復号後のデータを左ビットシフトし、最下位ビットから数えて左シフト分の下位ビットに０を補填する。ビットシフト部３１６は、左ビットシフトされた基本レイヤの可変長復号後のデータを加算器３１４に与える。

拡張レイヤ用の可変長復号部３１０ｂは、拡張レイヤの符号化ストリームを可変長復号し、可変長復号後のデータを加算器３１４に供給する。拡張レイヤについては、基本レイヤの画像との差分データが可変長復号される。

加算器３１４は、左ビットシフトされた基本レイヤの可変長復号後のデータと、拡張レイヤの可変長復号後のデータとを加算することで基本レイヤと拡張レイヤのデータを合成し、合成後のデータを逆量子化部３２０に与える。

以降、逆量子化部３２０、逆ＤＣＴ部３３０、およぶ動き補償部３６０により、基本レイヤと拡張レイヤを合成したデータに対して逆量子化、逆直交変換、および動き補償が施され、元の画像データが復元され、出力される。

復号装置５００において、拡張レイヤを選択しないで基本レイヤだけを選択してピクセル深度の浅い、すなわち色数の少ない動画像を復号する場合は、拡張レイヤ用の可変長復号部３１０ｂは動作しない。

本実施の形態の復号装置５００によれば、ピクセル深度スケーラビリティをもたせて符号化された動画像の符号化ストリームにおいて、基本レイヤの他に拡張レイヤを適宜選択することでピクセル深度の異なる動画像を復号することができる。これにより、ディスプレイの表示可能色数やユーザの画質要求レベルに応じて最適なピクセル深度を選択して動画像を再生することができる。

また、図１の符号化装置２００において、基本レイヤと拡張レイヤで量子化スケールなどの量子化パラメータを共通にしたことにより、図３の復号装置５００において、基本レイヤと拡張レイヤのデータを合成した後、一括して逆量子化と逆直交変換を行うことができるようになる。また、符号化装置２００において、基本レイヤの動きベクトルを用いて拡張レイヤの動き補償を行っていることから、復号装置５００において、基本レイヤと拡張レイヤを合成した後の画像データについて、動き補償を行うことができる。これにより、復号装置５００の逆量子化部３２０、逆ＤＣＴ部３３０、および動き補償部３６０の各構成を基本レイヤと拡張レイヤに分けて別々に用意する必要がなくなり、復号装置５００の回路規模を小さくすることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態に係る符号化装置の構成図である。 実施の形態に係るＳＶＣ非対応の復号装置の構成図である。 実施の形態に係るＳＶＣ対応の復号装置の構成図である。

符号の説明

１０ａ、１０ｂ ブロック生成部、 ２０ａ、２０ｂ ＤＣＴ部、 ３０ａ、３０ｂ 量子化部、 ４０ａ、４０ｂ 逆量子化部、 ５０ａ、５０ｂ 逆ＤＣＴ部、 ６０ａ、６０ｂ 動き予測部、 ８０ａ、８０ｂ フレームバッファ、 ９０ａ、９０ｂ 可変長符号化部、 １００ 基本レイヤ符号化部、 １０２ ビットシフト部、 １１０ 拡張レイヤ符号化部、 １５０ 上位ビット取得部、 １６０ ストリーム結合部、 ２００ 符号化装置、 ３０２ ストリーム分離部、 ３１０ａ、３１０ｂ 可変長復号部、 ３１６ ビットシフト部、 ３２０ 逆量子化部、 ３３０ 逆ＤＣＴ部、 ３６０ 動き補償部、 ３８０ フレームバッファ、５００ 復号装置。

Claims (5)

1. 動画像を階層的に符号化する際、画素データを与える複数のビットプレーンの内、上位ビットプレーン群を基本レイヤに、前記上位ビットプレーン群を含むより多いビット数のビットプレーン群を拡張レイヤに割り当て、前記拡張レイヤでは、前記拡張レイヤにおける予測による差分ピクチャと前記基本レイヤにおける予測による差分ピクチャのレイヤ間での差分を符号化して前記拡張レイヤの符号化データを生成することを特徴とする符号化方法。
2. 前記基本レイヤにおける前記予測による前記差分ピクチャと前記拡張レイヤにおける前記予測による前記差分ピクチャはそれぞれ量子化された後、レイヤ間での差分がとられることを特徴とする請求項１に記載の符号化方法。
3. 前記基本レイヤと前記拡張レイヤの間で量子化処理に用いる量子化パラメータを共通にし、その共通の量子化パラメータに関する情報を前記動画像の符号化ストリームに含めることを特徴とする請求項１または２に記載の符号化方法。
4. 前記基本レイヤと前記拡張レイヤの間で動き補償に用いる動きベクトル情報を共通にし、その共通の動きベクトル情報を前記動画像の符号化ストリームに含めることを特徴とする請求項１から３のいずれかに記載の符号化方法。
5. 前記動画像の符号化ストリーム内で前記拡張レイヤに割り当てるビット数を動的に調整し、前記拡張レイヤに割り当てられたビット数に関する情報を前記符号化ストリームに含めることを特徴とする請求項１から４のいずれかに記載の符号化方法。

Images