(実施の形態1)
本実施の形態の画像符号化装置は、画像及び映像データを符号化する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジに基づいてイントラ予測をするエッジ予測モードと、周囲に位置する画素の平均値に基づいてイントラ予測をするDC予測モードとを同じ信号(DC・エッジ予測モード)で表現する場合に、複数の推定予測モードを決定し、モード信号を符号化することを特徴とする。
つまり、本実施の形態では、複数の推定予測モードを決定し、符号化する際にDC・エッジ予測モードを短い符号で表現することにより、DC・エッジ予測モードに対する符号量を抑制することができる。
まず、本実施の形態の画像符号化装置の構成について説明する。
図4は、本実施の形態の画像符号化装置100の構成の一例を示すブロック図である。
画像符号化装置100は、入力される画像及び映像データをブロック毎に符号化する。図4に示すように、画像符号化装置100は、符号化部110と、復号部120と、出力部130と、設定部140とを備える。
符号化部110は、画像及び映像データを構成する複数のブロックの1つである対象ブロックを、複数の予測モード候補から選択された選択予測モードを用いた予測に従って符号化する。
複数の予測モード候補は、予測を行う際に選択されうる全ての予測モードであり、例えば、予め定義された8つの方向予測モード(図1B参照)、参照画素の平均値を利用するDC予測モード、周囲ブロック内に検出されたエッジの方向を示すエッジ予測モードなどを含んでいる。予測モードとは、予測画像を参照するための画像の参照先を示す情報である。
なお、複数の予測モード候補は上記の例に限定されない。例えば、最大33個の方向予測モードと、DC予測モードと、プラーナモードとを含んでもよい。なお、方向予測モードの数は、対象ブロックのブロックサイズに応じて可変にすることができる。例えば、対象ブロックが4画素×4画素の場合には18方向、8画素×8画素〜32画素×32画素の場合は33方向、64画素×64画素の場合は2方向としてもよい。
また、プラーナモードとは、周辺画素の各画素値に予測画素までの距離に応じた重みを乗じて加算することにより、対象ブロックの各画素を予測するモードである。例えば、図1Aにおいて、ブロック30の右上の画素と、ブロック40の右下の画素とでブロック10の右上の画素の画素値を予測する場合、ブロック40の右下の画素の画素値に乗じる重みを、ブロック30の右上の画素の画素値に乗じる重みより大きくする。
復号部120は、符号化部110によって符号化された対象ブロックを復号することで、復号ブロックを生成する。
出力部130は、符号化部110によって用いられた選択予測モードを復元するためのモード情報を、符号化部110によって符号化された対象ブロックとともに、ビットストリームとして出力する。
設定部140は、複数の推定予測モードを決定し、決められた複数の推定予測モードを用いて対象ブロックの符号化に用いられる予測モードである選択予測モードに対するモード情報を生成する。ここでは、2つの推定予測モードに基づいてモード情報を生成する場合について説明する。図4に示すように、設定部140は、第1の予測モード推定部141と、第2の予測モード推定部142と、モード情報生成部143とを備える。
第1の予測モード推定部141は、既に符号化されている周囲ブロックの予測モードから推定予測モードを決定する。例えば、式1に示す方法を利用してもよい。
第2の予測モード推定部142は、第1の予測モード推定部141で決められたもの以外の推定予測モードを決定する。
モード情報生成部143は、第1の予測モード推定部141および第2の予測モード推定部142によって設定された推定予測モードと、符号化部110によって選択された選択予測モードとに基づいてモード情報を生成する。以上の構成により、本実施の形態の画像符号化装置100は、推定予測モードを決定し、符号化する際に推定予測モードによって、DC・エッジ予測モードを短い符号で表現するように更新することを特徴とする。
以下では、本実施の形態の画像符号化装置100が備える各処理部の詳細な構成及び動作について説明する。
図5は、本実施の形態の画像符号化装置100の詳細な構成の一例を示すブロック図である。画像符号化装置100は、ハイブリッド符号化を行う画像符号化装置である。
図5に示すように、画像符号化装置100は、符号化部110と、復号部120と、出力部130と、設定部140と、フレームメモリ150と、参照ピクチャメモリ160と、制御部170とを備える。なお、図4と同じ構成については、同じ参照符号を付している。
また、図5に示すように、符号化部110は、減算部111と、周波数変換部112と、量子化部113と、イントラ予測モード決定部114と、動き検出部115と、イントラ予測部116と、動き補償部117と、スイッチ118、119とを備える。復号部120は、逆量子化部121と、逆周波数変換部122と、加算部123とを備える。出力部130は、可変長符号化部131を備える。
なお、設定部140の詳細な構成については、図6A及び図6Bを用いて後で説明する。
以下では、画像符号化装置100が複数のフレームから構成される入力映像データを符号化するときの動作に沿って、各処理部の処理について説明する。
入力映像データの各ピクチャは、フレームメモリ150に格納される。各ピクチャは、複数のブロックに分割され、フレームメモリ150からブロック単位で(例えば、水平16画素、垂直16画素のマクロブロック単位で)出力される。なお、入力映像データは、プログレッシブ形式及びインターレース形式のいずれでもよい。
各マクロブロックは、イントラ予測モード又はインター予測モードのいずれかで符号化される。まず、対象マクロブロックがイントラ予測モードで符号化される場合について説明する。
イントラ予測モード(イントラフレーム予測)の場合、フレームメモリ150から出力されたマクロブロックは、イントラ予測モード決定部114に入力される(このとき、スイッチ118は、制御部170によって端子“a”に接続される)。イントラ予測モード決定部114は、入力されたマクロブロックにどのようにイントラ予測を実行するかを決定する。
具体的には、イントラ予測モード決定部114は、イントラ予測モード(IPM:Intra−Prediction Mode)として、イントラ予測ブロックサイズ(以下のサイズの1つ:水平4画素×垂直4画素、水平8画素×垂直8画素、水平16画素×垂直16画素)と、イントラ予測方向とを決定する必要がある。例えば、イントラ予測モード決定部114は、対象ブロックを符号化することで発生する符号量が所定の閾値より小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。より好ましくは、イントラ予測モード決定部114は、発生する符号量が最も小さくなるような、イントラ予測ブロックサイズ及びイントラ予測方向を決定する。
例えば、図1Aに示す対象ブロック10(水平4画素×垂直4画素)は、参照画素20を用いて、8つの予め定義されたイントラ予測方向のいずれか1つに従って、予測されてもよい。ここで、イントラ予測に用いられる参照画素20(図1Aで対角方向の網掛けされた四角)は、既に符号化及び復号され、参照ピクチャメモリ160に格納されている。決定されたイントラ予測モードIPMを示す情報は、イントラ予測部116と設定部140とに出力される。
イントラ予測部116は、イントラ予測モード決定部114によって決定されたイントラ予測モードIPMに基づいて、参照ピクチャメモリ160からイントラ予測に用いられる参照画素(イントラ参照画素)を取得する。そして、イントラ予測部116は、参照画素の画素値からイントラ予測された画像IPを生成し、生成したイントラ予測画像IPを減算部111に出力する(このとき、スイッチ119は、制御部170によって端子“a”に接続される)。
減算部111は、フレームメモリ150から入力映像データに含まれるピクチャのマクロブロック(対象マクロブロック)と、イントラ予測部116によって生成されたイントラ予測画像IPとを受け取る。そして、減算部111は、対象マクロブロックとイントラ予測画像IPとの差分(予測残差とも記載)を算出することで差分画像を生成し、生成した差分画像を周波数変換部112に出力する。
周波数変換部112は、減算部111によって生成された差分画像に、離散コサイン変換などの周波数変換を実行することで周波数変換係数を生成し、生成した周波数変換係数を出力する。
量子化部113は、周波数変換部112によって生成された周波数変換係数の量子化を行い、量子化された周波数変換係数QTを出力する。ここで、量子化は、予め定められた値(量子化ステップ)によって周波数変換係数を割り算する処理である。この量子化ステップは、制御部170によって与えられるものとする(量子化ステップは、制御部170に入力される制御信号CTLに含まれてもよい)。量子化周波数変換係数QTは、可変長符号化部131と逆量子化部121とに出力される。
逆量子化部121は、量子化周波数変換係数QTを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部122に出力する。このとき、量子化部113による量子化時に用いられた量子化ステップと同じ量子化ステップが、制御部170から逆量子化部121に入力される。
逆周波数変換部122は、逆量子化された周波数変換係数を逆周波数変換することで復号された差分画像LDDを生成する。逆周波数変換部122は、生成した復号差分画像LDDを加算部123に出力する。
加算部123は、復号差分画像LDDをイントラ予測画像IP(又は、インター予測モードの場合は、後述するインター予測画像)MPに加算することで、復号画像LDを生成する。加算部123は、生成した復号画像LDを参照ピクチャメモリ160に格納する。参照ピクチャメモリ160に格納された復号画像LDは、参照画像として後の符号化に用いられる。
可変長符号化部131は、量子化部113から入力される量子化周波数変換係数QTに可変長符号化を実行し、かつ、イントラ予測モード決定部114から設定部140を介して入力されるイントラ予測モードIPMを示す情報を同様に処理し、符号化シーケンスとしても参照されるビットストリームを出力する。前述の通り、設定部140の詳細な構成については、図6A及び図6Bを用いて後で説明する。
ここで、可変長符号化部131が用いる可変長符号化方法の1つの方法として、動画像を符号化する国際規格H.264で採用されるコンテキスト適応型算術符号化方法がある。コンテキスト適応型算術符号化方法は、可変長符号化の対象データと、既に可変長符号化(コンテキスト適応型)が実行されたデータとに従って、算術符号化するために用いられる確率テーブルを切り替える方法である。この場合、可変長符号化部131は確率テーブルを保持するメモリを備える。
なお、可変長符号化部131は、コンテキスト適応型可変長符号化方法を用いて、量子化周波数変換係数QTを可変長符号化してもよい。
次に、対象マクロブロックがインター予測モードで符号化される場合について説明する。
インター予測モード(インターフレーム予測)の場合、フレームメモリ150から出力されるマクロブロックは、動き検出部115に入力される(このとき、スイッチ118は、制御部170によって端子“b”に接続される)。動き検出部115は、入力されたマクロブロックの、参照ピクチャ(参照ピクチャメモリ160に保持された再構成されたピクチャで、符号化されるピクチャとは異なるピクチャ)に対する動き情報(位置情報(動きベクトル))を検出する。
なお、動き検出では、以下に示す位置情報(動きベクトル)が一般的には動き情報として検出される。すなわち、符号化される対象ブロックと予測画像との最小差分値と、位置情報(動きベクトル)の符号量の重みの最小和とを有する位置情報(動きベクトル)である。検出された位置情報(動きベクトル)は、対象ブロックに対する動き情報として、動き補償部117と設定部140とに出力される。
動き補償部117は、動き検出部115によって検出された動き情報(位置情報(動きベクトル))に基づいて、インター予測に用いられる参照画素(インター参照画素)を参照ピクチャメモリ160から取得する。そして、動き補償部117は、インター予測画像MPを生成し、生成したインター予測画像MPを減算部111に出力する(このとき、スイッチ119は、制御部170によって端子“b”に接続される)。
減算部111と、周波数変換部112と、量子化部113と、逆量子化部121と、逆周波数変換部122と、加算部123とによって実行される処理は、イントラ予測の場合に説明した処理と同じである。それゆえに、これらの処理についての説明はここでは省略する。
可変長符号化部131は、量子化部113から入力される量子化周波数変換係数QTに可変長符号化を実行し、かつ、設定部140から出力される符号化モードMDを示す情報とイントラ予測モードIPM又は動き情報(位置情報(動きベクトル))MVを示す情報とを含むモード情報とに可変長符号化を実行し、ビットストリームを出力する。前述の通り、設定部140の詳細な構成については、図6A及び図6Bを用いて後で説明する。
ここで、可変長符号化部131が、コンテキスト適応型算術符号化を用いて動き情報(位置情報(動きベクトル))MVを符号化する場合、可変長符号化部131は確率テーブルを保持するメモリを備える。
モード情報は、映像データを符号化する処理において符号化器(画像符号化装置100)側で実行された予測を復号器(例えば、後述する画像復号装置300(図9参照))側で再現するために、復号器によって必要とされる情報のフルセットを含む。それゆえに、モード情報は、マクロブロック毎に符号化モード、すなわち、イントラ予測及びインター予測のいずれが適用されたかを定義する。さらに、モード情報は、マクロブロックがどのようにサブ分割されたかについての情報を含む。H.264/AVCによると、16×16画素からなるマクロブロックは、例えば、イントラ予測の場合に、さらに、8×8又は4×4画素のブロックにサブ分割されてもよい。
符号化モードに依存して、モード情報は、さらに、動き補償に用いられる位置情報(位置情報(動きベクトル))のセット、又は、対象ブロックをイントラ予測するのに適用されたイントラ予測モードを特定する情報を含んでいる。
なお、符号化モード(イントラ予測モード又はインター予測モード)の選択は、制御部170が行っている。
例えば、制御部170は、イントラ予測モードIPMと復号画像LDとに基づいて生成されるインター予測画像IP、又は、位置情報(動きベクトル)MVと復号画像LDとに基づいて生成されるインター予測画像MPと、対象ブロック画像IMGとをそれぞれ比較することで、符号化モードを選択する。制御部170は、一般的に、生成されるビット量と符号化歪みとの重み和が最も小さくなる値を有する符号化モードを選択する。
例えば、制御部170は、H.264規格のビットレートと符号化歪みとを用いたコスト関数が、対象ブロックを符号化するための最良の予測モードを決定するために用いられてもよい。それぞれの予測モードに対して、差分画像が、直交変換され、量子化され、可変長符号化される。そして、それぞれの予測モードに対して、ビットレートと符号化歪みとが計算される。なお、コスト関数として、例えば、式4で示されるラグランジュコスト関数Jが用いられる。
J=D+λ・R・・・・・(式4)
式4において、Rは、差分画像(予測残差とも記載)と予測モード情報とを符号化するのに用いられるビットレートである。Dは、符号化歪みである。λは、符号化するのに選択される量子化パラメータQPに応じて算出されるラグランジュ乗数である。制御部170は、コスト関数Jが最も低くなる予測モードを、対象ブロックを予測する際の予測モードとして選択する。
なお、制御部170は、最適な予測モードを選択するためにコスト関数Jを一時的に格納するメモリを備える。
図6A及び図6Bは、本実施の形態の設定部140の詳細な構成の一例を示す図である。同図に示すように、設定部140は、第1の予測モード推定部141と、第2の予測モード推定部142と、モード情報生成部143とを備える。なお、図4と同じ構成については、同じ参照符号を付している。
図6Aに示される第1の予測モード推定部141は、予測モード格納メモリ211と、第1の予測モード推定導出部212とを備える。
なお、設定部140には、制御部170によって選択された符号化モード(イントラ予測モード又はインター予測モード)を示す符号化モード情報SMDが入力される。例えば、イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報SMDは、イントラ予測モードIPMを示す情報(イントラ予測ブロックサイズ、イントラ予測方向など)である。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード情報SMDは、位置情報(動きベクトル)MVである。
予測モード格納メモリ211は、入力された符号化モード情報SMDを格納するメモリである。第1の予測モード推定導出部212は、予測モード格納メモリ211から、既に符号化された符号化モード情報の中から、予め決められた手段で予測モードを推定した結果である第1の推定予測モードMPMを導出し、モード情報生成部143に対して出力する。
ここで、第1の推定予測モードMPMの導出方法としては、例えば前述の式1で示すように、符号化対象ブロックの上部に隣接する既に符号化されたブロックの予測モードと、符号化対象ブロックの左部に隣接する既に符号化されたブロックの予測モードとのうち、予測モードに対応するインデックス番号が小さいものを第1の推定予測モードMPMとして用いても良い。また、符号化対象ブロックの左上や右上に隣接するブロックの予測モードをさらに参照し、出現頻度の高いものを第1の推定予測モードMPMとして導出してもよい。第1の推定予測モードMPMの導出としては、最も発生されると推測される予測モードの導出方法であれば、前述の方法に限らない。
なお、ブロックサイズに応じて方向予測モードのモード数が異なる場合には、符号化対象ブロックで選択し得る方向予測モードのうち、上記の方法で選ばれた推定予測モードに最も近い方向予測モードを、第1の推定予測モードMPMとすればよい。
第2の予測モード推定部142は、モード情報生成部143から制御信号を取得し、予め決められた方法で設定した第2の予測モードの推定値である第2の推定予測モードSPMをモード情報生成部143に対して出力する。
ここで第2の推定予測モードSPMをDC・エッジ予測とすることにより、複数の予測モードを意味する1つのモード情報を効率よく符号化及び復号することを可能とする。
モード情報生成部143は、第1の推定予測モードMPMと、第2の推定予測モードSPMと、符号化部110によって選択された選択予測モードSMDとに基づいてモード情報を生成し、符号化予測モード関連信号SSMDとして可変長符号化部131に対して出力する。可変長符号化部131は、符号化予測モード関連信号SSMDを可変長符号化処理し、ビットストリームとして出力する。
図7Aは、図6Aで示した第1の予測モード推定部141、第2の予測モード推定部142、およびモード情報生成部143の動作の一例を示すフローチャートである。モード情報生成部143でのモード情報の生成について図7Aを用いてさらに詳しく説明する。
まず、モード情報生成部143は、第1の予測モード推定部141で導出される第1の推定予測モードMPMを取得する(ステップS701)。選択予測モードSMDが第1の推定予測モードMPMと一致する場合(ステップS702でYES)、第1の推定予測モード指定フラグに「1(一致することを示す)」を設定し(ステップS703)、第1の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS704)。
一方、選択予測モードSMDが第1の推定予測モードMPMと一致しない場合(ステップS702でNO)、第1の推定予測モード指定フラグに「0(一致しないことを示す)」を設定し(ステップS705)、第1の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS706)。
次に、第1の推定予測モードMPMがDC・エッジ予測であった場合(ステップS707でYES)、選択予測モードSMDを選択モード符号化情報として設定し、フラグ情報に加えて符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS708)。
また、第1の推定予測モードMPMがDC・エッジ予測であった場合(ステップS707でNO)、モード情報生成部143は制御信号を第2の予測モード推定部142に対して出力する。これにより、第2の予測モード推定部142は、DC・エッジ予測モードを第2の推定予測モードSPMとして設定し、モード情報生成部143に対して出力する(ステップS709)。
次に、選択予測モードSMDが第2の推定予測モードSPMと一致する場合(ステップS710でYES)、第2の推定予測モード指定フラグに「1(一致することを示す)」を設定し(ステップS711)、第2の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS712)。
一方、選択予測モードSMDが第2の推定予測モードSPMと一致しない場合(ステップS710でNO)、第2の推定予測モード指定フラグに「0(一致しないことを示す)」を設定し(ステップS713)、第2の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS714)。
また、選択予測モードSMDを選択モード符号化情報として設定し、フラグ情報に加えて符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS715)。
なお、ここでは、第1の推定予測モードMPMおよび第2の推定予測モードSPMと一致しない場合、選択予測モードSMDをそのまま選択モード符号化情報として符号化すると説明したが、これに限らない。例えば、式2で示すように推定予測モードと一致する番号が無いため、選択予測モードSMDのインデックス番号が推定予測モードのインデックス番号を超える場合には、推定予測モードの数(図6A及び図7Aの例では最大2)を引いた値を選択モード符号化情報として符号化してもよい。これにより、さらに符号量を削減することができる。
第1の推定予測モードのMPMインデックス番号をMPM、選択予測モードSMDのインデックス番号をSMD、第1の推定予測モード指定フラグをMPMF、第2の推定予測モード指定フラグをSPMF、DC・エッジ予測のインデックス番号をDCEDGE、選択モード符号化情報をREMとした場合、前述の流れは例えば式5のように表すことができる。
なお、DC・予測モードに対応するインデックス番号を「0」としてもよい。この場合、常に第2の推定予測モードSPMのインデックス番号が「0」となるため、選択予測モードSMDのインデックス番号を符号化する際には、最低でも1を引いた値を符号化すればよくなり、さらに符号量を削減することができる。式5と同様に表記した例を式6に示す。
また、図6Aとは異なり、第1の予測モード推定部141と第2の予測モード推定部142との機能を入れ替えた構成をとってもよい。この構成を図6Bに示す。
図6Bに示される第2の予測モード推定部142は、予測モード格納メモリ211と、第2の予測モード推定導出部213とを備える。
なお、特に説明しない部分は、図6Aと同じように動作するものとする。
第1の予測モード推定部141は、予め決められた方法で設定した第1の予測モードの推定値である第1の推定予測モードMPMをモード情報生成部143に対して出力する。
ここで第1の推定予測モードMPMをDC・エッジ予測とすることにより、複数の予測モードを意味する1つのモード情報を効率よく符号化・復号することを可能とする。
第2の予測モード推定部142は、モード情報生成部143より制御信号を受け取り、予測モード格納メモリ211から、既に符号化された符号化モード情報の中から、予め決められた手段で予測モードを推定した結果である第2の推定予測モードSPMを導出し、モード情報生成部143に対して出力する。
ここで、第2の推定予測モードSPMの導出方法としては、図6Aの第1の推定予測モードMPMの導出方法と同じであるが、第1の推定予測モードMPMを取得し、第2の推定予測モードSPMと第1の推定予測モードMPMとが重ならないように決めてもよい。例えば、候補とするモードの中から第1の推定モードMPMを除外した後、予め決められた手法で第2の推定予測モードSPMを決めることにより、第1及び第2の推定予測モードに異なる候補を設定することが可能となり、符号量を削減することができる。
モード情報生成部143は、第1の推定予測モードMPMと、第2の推定予測モードSPMと、符号化部110によって選択された選択予測モードSMDとに基づいてモード情報を生成し、符号化予測モード関連信号SSMDとして可変長符号化部131に対して出力する。可変長符号化部131は、符号化予測モード関連信号SSMDを可変長符号化処理し、ビットストリームとして出力する。
図7Bは、図6Bで示した第1の予測モード推定部141、第2の予測モード推定部142、およびモード情報生成部143の動作の一例を示すフローチャートである。
まず、モード情報生成部143は、第1の予測モード推定部141においてDC・エッジ予測モードが第1の推定予測モードMPMと設定され、設定された第1の推定予測モードMPMを取得する(ステップS801)。選択予測モードSMDが第1の推定予測モードMPMと一致する場合(ステップS802でYES)、第1の推定予測モード指定フラグに「1(一致することを示す)」を設定し(ステップS803)、第1の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS804)。
一方、選択予測モードSMDが第1の推定予測モードMPMと一致しない場合(ステップS802でNO)、第1の推定予測モード指定フラグに「0(一致しないことを示す)」を設定し(ステップS805)、第1の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS806)。
次に、モード情報生成部143は、制御信号を第2の予測モード推定部142に対して出力する。これにより、第2の予測モード推定部142は、予め決められた方法で第2の推定予測モードSPMを導出し、モード情報生成部143に対して出力する(ステップS807)。
次に、選択予測モードSMDが第2の推定予測モードSPMと一致する場合(ステップS808でYES)、第2の推定予測モード指定フラグに「1(一致することを示す)」を設定し(ステップS7809)、第2の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS810)。
一方、選択予測モードSMDが第2の推定予測モードSPMと一致しない場合(ステップS808でNO)、第2の推定予測モード指定フラグに「0(一致しないことを示す)」を設定し(ステップS811)、第2の推定予測モード指定フラグを符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS812)。
また、選択予測モードSMDを選択モード符号化情報として設定し、フラグ情報に加えて符号化予測モード関連信号SSMDとして可変長符号化部131で符号化する(ステップS813)。
なお、ここでは、第1の推定予測モードMPMおよび第2の推定予測モードSPMと一致しない場合、選択予測モードSMDをそのまま選択モード符号化情報として符号化すると説明したが、これに限らない。例えば、式2で示すように推定予測モードと一致する番号が無いため、選択予測モードSMDのインデックス番号が推定予測モードのインデックス番号を超える場合には、推定予測モードの数(図6B及び図7Bの例では最大2)を引いた値を選択モード符号化情報として符号化してもよい。これにより、さらに符号量を削減することができる。式5、6と同様に表記した例を式7に示す。
なお、図7Aの場合と同様に、DC・予測モードに対応するインデックス番号を「0」としてもよい。この場合、常に第1の推定予測モードSPMのインデックス番号が「0」となるため、選択予測モードSMDのインデックス番号を符号化する際には、最低でも1引いた値を符号化すればよくなり、さらに符号量を削減することができる。式7と同様に表記した例を式8に示す。
上記のような構成をとることにより、平坦な部分の予測モードであるDCモードとエッジを含む部分の予測モードであるエッジ予測モードとのモード情報の符号化を効率よくすることが可能となる。その結果、予測モード符号量の削減だけでなく、予測性能の向上によって画質を向上させることができる。
次に、図8を参照して、図7A及び図7Bの変形例を説明する。図8は、実施形態1の変形例に係るフローチャートである。なお、以降の説明は、図6Aに示される設定部140が図8の処理を実行する例であるが、これに限定されない。
なお、図8のフローチャートに登場する「モード一致フラグ」とは、選択予測モードが第1及び第2の推定予測モードのいずれかと一致する(「1」が設定される)こと、又はどちらとも一致しない(「0」が設定される)ことを示す1ビットのフラグである。また、「予測モード特定フラグ」とは、選択予測モードが第1の推定予測モードと一致する(「0」が設定される)こと、又は選択予測モードが第2の推定予測モードと一致する(「1」が設定される)ことを示す1ビットのフラグである。そして、モード一致フラグ及び予測モード特定フラグは、符号化予測モード関連信号SSMDとして符号化される。
まず、第1の予測モード推定部141は、第1の推定予測モードを決定する(S901)。第1の推定予測モードの決定方法は、既に説明した方法を用いることができる。ここでは、符号化対象ブロックに隣接し、且つ既に符号化された複数のブロックの予測モードのうち、インデックス番号の最も小さい予測モードを第1の予測モードとして決定するものとする。
次に、第2の予測モード推定部142は、第2の推定予測モードを決定する(S902)。第2の推定予測モードが第1の推定予測モードと異なることは、既に述べた通りである。また、第2の推定予測モードの決定方法は特に限定されないが、例えば、以下のような方法で決定することができる。
まず、第2の予測モード推定部142は、第1の推定予測モードがプラーナモードであるか否かを判断する。そして、第1の推定予測モードがプラーナモードであれば、第2の予測モード推定部142は、第2の推定予測モードをDCモードと決定する。一方、第1の推定予測モードがプラーナモードでなければ、第2の予測モード推定部142は、第2の推定予測モードをプラーナモードと決定する。
次に、モード情報生成部143は、選択予測モードが第1及び第2の推定予測モードのいずれかと一致するか否かを判断する(S903)。そして、どちらかと一致する場合(S903でYes)、モード情報生成部143は、モード一致フラグに「1(どちらかと一致することを示す)」を設定する(S904)。
次に、モード情報生成部143は、選択予測モードが第1の推定予測モードと一致するか否かを判断する(S905)。なお、ステップS905で選択予測モードと第2の推定予測モードとが一致するか否かを判断してもよいことは言うまでもない。
そして、選択予測モードと第1の推定予測モードとが一致する場合(S905でYes)、モード情報生成部143は、予測モード特定フラグに「0(第1の推定予測モードと一致することを示す)」を設定する(S906)。一方、一致しない場合(S905でNo)、モード情報生成部143は、予測モード特定フラグに「1(第2の推定予測モードと一致することを示す)」を設定する(S907)。
そして、ステップS904〜ステップ907で設定されたモード一致フラグ及び予測モード特定フラグは、符号化予測モード関連信号SSMDとして、可変長符号化部131で符号化される(S908)。
一方、ステップS903において、選択予測モードが第1及び第2の推定予測モードのどちらとも一致しない場合(S903でNo)、モード情報生成部143は、モード一致フラグに「0(どちらとも一致しないことを示す)」を設定する(S909)。そして、S909で設定されたモード一致フラグ及び選択予測モードを特定する情報は、符号化予測モード関連信号SSMDとして、可変長符号化部131で符号化される(S910)。
なお、選択予測モードを特定する情報は、例えば、式5で決定することができる選択モード符号化情報に相当するが、復号側で選択予測モードを特定することのできる情報であれば、これに限定されない。
図8に示されるフローチャートは、図7A及び図7Bに示されるフローチャートと比較すると、各フラグの示す意味内容や比較処理等の処理順序が相違するものの、2つの推定予測モードを使用してモード情報の符号量を削減する点で共通する。
すなわち、図7A、図7B、及び図8に示される処理では、いずれも、選択予測モードが第1及び第2の推定予測モードのいずれかと一致する場合に、どちらと一致するのかを示すフラグ情報がモード情報として生成される。一方、選択予測モードが第1及び第2の推定予測モードのどちらとも一致しない場合に、どちらとも一致しないことを示すフラグ情報と、選択予測モードを特定する情報とがモード情報として生成される。
以上、本発明の画像符号化装置、画像復号装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、選択予測モードSMDのインデックス番号の符号化において、インデックス番号順に符号化するのではなく、第1の推定予測モードMPMもしくは第2の推定予測モードSPMに近い方向ベクトルから、順番に小さい番号を付与して符号化してもよい。これにより、より小さい番号を符号化することになり、符号量を削減することができる。また、予測モードの出現頻度に応じて、各予測モードに割り当てるモード番号を動的に変更してもよい。具体的には、出現頻度の高い予測モードほど小さいモード番号が割り当てられるようにしてもよい。
また、本発明は、H.264映像符号化規格に限定されず、非特許文献2のエッジ方向を利用したイントラ予測モード(エッジ予測モード)など、上述の従来のイントラ予測モード予測値、位置情報(動きベクトル)予測値に限定されない。事実、発明の予測モード推定方法は、いかなるブロックベースの映像符号化器に用いられてもよい。
また、本発明の予測モード推定方法におけるエッジ検出部は、映像符号化方式の一部の機能と共有してもよい。例えば、エッジ予測モードを含む映像符号化方式に、本発明を適用することで、エッジ検出部を共に用いることができ、リソースを有効利用できる。
また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。
また、本発明は、上述したように、画像符号化装置およびこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データおよび信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
以上、本発明の画像符号化装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、本実施の形態によれば、DC予測とエッジ予測とを同じ予測インデックス番号として扱っている例を挙げた。しかしながら、本発明は、この点には限定されない。代わりに、エッジ予測と逐次的に予測画素を生成していく、方向予測と異なる方法で予測画素を生成する予測モードとエッジ予測とを同じ予測インデックスとして扱う場合であったとしても、同様の処理を行うことで、効率的に予測モードを符号化及び復号することが可能となる。
(実施の形態2)
次に、本実施の形態の画像復号装置300の構成について説明する。
図9は、本実施の形態の画像復号装置300の構成の一例を示すブロック図である。
画像復号装置300は、予測モードを用いた予測に従って画像データをブロック毎に符号化することで生成された符号化画像データを復号する。図9に示すように、画像復号装置300は、復号部310と、復元部320とを備える。
復号部310は、復元部320によって復元された選択予測モードを用いた予測に従って、符号化画像データを構成する複数のブロックの1つである対象ブロックを復号することで、復号ブロックを生成する。生成された復号ブロックは、画像および映像データとして出力される。なお、複数の予測モード候補は、符号化器側と同様に、予測を行う際に選択されうる全ての予測モードであり、例えば、8個の方向予測モード、DC予測モードおよびエッジ予測モードなどを含んでいる。または、既に説明した最大33個の方向予測モードと、DC予測モードと、プラーナモードとを含んでもよい。
復元部320は、符号化時に選択された予測モードを復元するためのモード情報に基づいて、複数の予測モード候補から選択予測モードを復元する。なお、モード情報は、符号化時に実行された予測モードの選択結果を示す情報である。図9に示すように、復元部320は、第1の予測モード推定部321と、第2の予測モード推定部322と、信号判定部323とを備える。
第1の予測モード推定部321および第2の予測モード推定部322は、本発明に係る予測モード復元部の一例であって、DC・エッジ予測モードをどちらかが推定予測モードとして設定され、DC・エッジ予測モードに対する符号量が削減されたビットストリームの復元することができる。
以上の構成により、本実施の形態の画像復号装置300は、複数の予測モードを推定することで、予測モードの符号量を少なくしたビットストリームを復号することを特徴とする。すなわち、本実施の形態の画像復号装置300は、少なくとも2以上の予測モードを推定することで、予測モードを復元することを特徴とする。
以下では、本実施の形態の画像復号装置300が備える各処理部の詳細な構成及び動作について説明する。
図10は、本実施の形態の画像復号装置300の詳細な構成の一例を示すブロック図である。同図に示すように、画像復号装置300は、復号部310と、復元部320と、可変長復号部330と、制御部340とを備える。
また、図10に示すように、復号部310は、逆量子化部311と、逆周波数変換部312と、加算部313と、フレームメモリ314と、スイッチ315と、イントラ予測部316と、動き補償部317と、スイッチ318とを備える。なお、復元部320の詳細な構成については、図11A及び図11Bを用いて後で説明する。
以下では、画像復号装置300が、ビットストリーム(符号化された映像データ)を復号するときの動作に沿って、各処理部の処理について説明する。本実施の形態の画像復号装置300は、予測残差を含む符号化映像データをブロック毎にイントラ又はインターフレーム予測符号化ブロックのいずれかとして復号し、映像データ又は画像データとして出力する。
可変長復号部330は、ビットストリームを予め決められた手段に基づき可変長復号し、量子化周波数変換係数QTと、符号化予測モード関連信号SSMDとを出力する。復元部320には、符号化予測モード関連信号SSMDと既に復号された画像信号LDとが入力され、符号化モードMDと、イントラ予測モードIPM又は位置情報(動きベクトル)MVとを示す情報を出力する。なお、前述の通り、復元部320の詳細な構成については、図11A及び図11Bを用いて後で説明する。
符号化モードMDは、制御部340に入力される。イントラ予測モードIPM又は位置情報(動きベクトル)MVを示す情報は、スイッチ315に入力される。量子化周波数変換係数QTは、逆量子化部311に入力される。
制御部340は、符号化モードMDに基づいてスイッチ315、318を制御する。符号化モードMDがイントラ予測符号化を示す場合、スイッチ315は、端子“a”に接続され、イントラ予測モードIPMを示す情報がイントラ予測部316に入力される。符号化モードMDがインター予測符号化を示す場合、スイッチ315は、端子“b”に接続され、位置情報(動きベクトル)MVが動き補償部317に入力される。
対象ブロックがイントラ予測符号化ブロックの場合、スイッチ315、318は、端子“a”に接続される。そして、イントラ予測モードIPMを示す情報は、イントラ予測部316に入力され、量子化周波数変換係数QTは、逆量子化部311に入力される。なお、量子化周波数変換係数QTが、符号化器(例えば、画像符号化装置100)によって符号化された予測残差に相当する。
イントラ予測部316は、入力されたイントラ予測モードに基づいて、イントラ予測参照画素をフレームメモリ314から取得し、イントラ予測された画像(予測ブロック)を生成し、加算部313にイントラ予測画像を出力する。
逆量子化部311は、量子化周波数変換係数QTを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部312に出力する。そして、逆周波数変換部312は、逆量子化された周波数変換係数を逆周波数変換することで、復号された復号差分画像LDDを生成する。逆周波数変換部312は、生成した復号差分画像LDDを加算部313に出力する。
加算部313は、復号差分画像LDDとイントラ予測画像IPとを加算することで、復号画像LDを生成する。生成した復号画像LDは、フレームメモリ314に格納される。なお、フレームメモリ314に格納された復号画像LDは、後の復号で参照ピクチャとして用いられる。また、復号画像LDは、復号映像データを成すように出力される。
対象ブロックがインター予測ブロックの場合、スイッチ315、316は、端子“b”に接続される。そして、位置情報(動きベクトル)MVを示す情報が動き補償部317に入力され、量子化周波数変換係数QTが逆量子化部311に入力される。
動き補償部317は、入力された位置情報(動きベクトル)MVに基づいて、参照画素をフレームメモリ314から取得し、予測されたピクチャを生成し、加算部313に予測ピクチャを出力する。
逆量子化部311、逆周波数変換部312及び加算部313の処理は、イントラ予測ブロックの場合に説明した処理と同じである。復号画像LDは、フレームメモリ314に格納される。フレームメモリ314に格納された復号画像LDは、後の復号で参照ピクチャとして用いられる。また、復号画像LDは、復号映像データを成すように出力される。
続いて、本実施の形態の復元部320の詳細な構成について図11A及び図11Bを用いて説明する。
図11Aは、本実施の形態の復元部320の詳細な構成の一例を示す図である。同図及び図9に示すように、復元部320は、第1の予測モード推定部321と、第2の予測モード推定部322と、信号判定部323とを備える。
また、第1の予測モード推定部321は、予測モード格納メモリ411と、第1の予測モード推定導出部412とを備える。
復元部320には、符号化予測モード関連信号SSMDが入力され、符号化モードMDと、イントラ予測モードIPM又は位置情報(動きベクトル)MVとを示す情報を符号化モード情報SMDとして出力する。
予測モード格納メモリ411は、入力された既に復号された符号化モード情報SMDを格納するメモリである。第1の予測モード推定導出部412は、予測モード格納メモリ411から、既に復号された符号化モード情報SMDの中から、予め決められた手段で予測モードを推定した結果である第1の推定予測モードMPMを導出し、信号判定部323に対して出力する。
ここで第1の推定予測モードMPMの導出方法としては、例えば前述の式1で示すように、復号対象ブロックの上部に隣接する既に復号されたブロックの予測モードと、復号対象ブロックの左部に隣接する既に復号されたブロックの予測モードとのうち、予測モードと対応するインデックス番号が小さいものを第1の推定予測モードMPMとして用いても良い。また、復号対象ブロックの左上や右上に隣接するブロックの予測モードをさらに参照し、出現頻度の高いものを第1の推定予測モードMPMとして導出してもよい。第1の推定予測モードMPMの導出としては、最も発生されると推測される予測モードの導出方法であれば、前述の方法に限らない。また、この推定方法はビットストリームの符号化時と同じ方式を用いることとする。
なお、ブロックサイズに応じて方向予測モードのモード数が異なる場合、復号対象ブロックで選択し得る方向予測モードのうち、上記の方法で選ばれた推定予測モードに最も近い方向予測モードを、第1の推定予測モードMPMとすればよい。
第2の予測モード推定部322は、信号判定部323から制御信号を取得し、予め決められた方法で設定した第2の予測モードの推定値である第2の推定予測モードSPMを信号判定部323に対して出力する。
信号判定部323は、第1の推定予測モードMPMと、第2の推定予測モードSPMと、可変長復号部330からビットストリームを可変長復号することによって得られる符号化予測モード関連信号SSMDとに基づいて符号化モード情報SMDを生成し、出力する。
ここで第2の推定予測モードSPMをDC・エッジ予測とすることにより、複数の予測モードを意味する1つのモード情報を効率よく符号化・復号することを可能とする。
図12Aは、図11Aで示した第1の予測モード推定部321、第2の予測モード推定部322、および信号判定部323の動作の一例を示すフローチャートである。信号判定部323での符号化モード情報の復号について、図12Aを用いてさらに詳しく説明する。
まず、信号判定部323は、第1の予測モード推定部321で導出される第1の推定予測モードMPMを取得する(ステップS1201)。次に、信号判定部323は、符号化予測モード関連情報SSMDを取得し、第1の推定予測モード指定フラグを復号する(ステップS1202)。第1の推定予測モード指定フラグが「1」である場合(ステップS1203でYES)、選択予測モードSMDを第1の推定予測モードMPMとして設定し(ステップS1204)、出力する。
一方、第1の推定予測モード指定フラグが「0」である場合(ステップS1203でNO)で、且つ第1の推定予測モードMPMがDC・エッジ予測モードである場合(ステップS1205でYES)には、続いて選択予測モード符号化情報を復号する(ステップS1206)。復号することにより得られる選択予測モード番号で示されるモードを選択予測モードSMDとして設定し(ステップS1207)、出力する。
また、第1の推定予測モードMPMがDC・エッジ予測モードではない場合(ステップS1205でNO)、第2の推定予測モード指定フラグを復号する(ステップS1208)。第2の推定予測モード指定フラグが「1」である場合(ステップS1209でYES)、選択予測モードSMDを第2の推定予測モードSPMとして設定し(ステップS1210)、出力する。第2の推定予測モード指定フラグが「0」である場合(ステップS1209でNO)、選択予測モード符号化情報を復号する(ステップS1211)。復号することにより得られる選択予測モード番号で示されるモードを選択予測モードSMDとして設定し(ステップS1212)、出力する。
なお、ここでは、第1の推定予測モードMPMおよび第2の推定予測モードSPMと一致しない場合、選択予測モードSMDをそのまま選択モード符号化情報として符号化されている場合について説明したが、これに限らない。例えば、式3で示すように推定予測モードと一致する番号が無いため、選択予測モードSMDのインデックス番号が推定予測モードのインデックス番号を超える場合には、推定予測モードの数(図6A及び図7Aの例では最大2)を減じて符号化することができる。そのため、復号時には、推定予測モードの数(図11A及び図12A最大2)を加えた値を選択モード符号化情報として復号する。これにより、さらに符号量を削減したビットストリームを復号することができる。
parse()は、符号化予測モード関連信号SSMDから()内のデータを復号することを示し、第1の推定予測モードMPMのインデックス番号をMPM、選択予測モードSMDのインデックス番号をSMD、第1の推定予測モード指定フラグをMPMF、第2の推定予測モード指定フラグをSPMF、DC・エッジ予測のインデックス番号をDCEDGE、選択モード符号化情報をREMとした場合、前述の流れは例えば式9のように表すことができる。
なお、DC・予測モードに対応するインデックス番号を「0」としてもよい。この場合、常に第2の推定予測モードSPMのインデックス番号が「0」となるため、選択予測モードSMDのインデックス番号を符号化する際には、最低でも1を引いた値を符号化すればよくなる。そして、復号時には最低でも1を加えた値として復号することにより、さらに符号量を削減したビットストリームを復号することができる。式9と同様に表記した例を式10に示す。
また、図11Aとは異なり、第1の予測モード推定部321と第2の予測モード推定部322との機能を入れ替えた構成をとってもよい。この構成を図11Bに示す。図11Bに示すように、第2の予測モード推定部322は、予測モード格納メモリ411と、第2の予測モード推定導出部413とを備える。
復元部320には、符号化予測モード関連信号SSMDが入力され、符号化モードMDと、イントラ予測モードIPM又は位置情報(動きベクトル)MVとを示す情報を符号化モード情報SMDとして出力する。
予測モード格納メモリ411は、入力された既に復号された符号化モード情報SMDを格納するメモリである。第2の予測モード推定導出部413は、予測モード格納メモリ411から、既に復号された符号化モード情報SMDの中から、予め決められた手段で予測モードを推定した結果である第2の推定予測モードSPMを導出し、信号判定部323に対して出力する。
ここで第2の推定予測モードSPMの導出方法としては、図11Aの第1の推定予測モードMPMの導出方法と同じであるが、第1の推定予測モードMPMを取得し、第2の推定予測モードSPMと第1の推定予測モードMPMとが重ならないように決めてもよい。例えば、候補とするモードの中から第1の推定予測モードMPMを除外した後、予め決められた手法で第2の推定予測モードSPMを決めることにより、第1及び第2の推定予測モードに異なる候補を設定することが可能となり、符号量を削減したビットストリームを復号することができる。また、この推定方法はビットストリームを符号化時と同じ方式を用いることとする。
第1の予測モード推定部321は、信号判定部323に対し、予め決められた方法で設定した第1の予測モードの推定値である第1の推定予測モードMPMを信号判定部323に対して出力する。
ここで第1の推定予測モードMPMをDC・エッジ予測とすることにより、複数の予測モードを意味する1つのモード情報を効率よく符号化及び復号することを可能とする。
信号判定部323は、第1の推定予測モードMPMと、第2の推定予測モードSPMと、可変長復号部330からビットストリームを可変長復号することによって得られる符号化予測モード関連信号SSMDとに基づいて符号化モード情報SMDを生成し、出力する。
図12Bは、図11Bで示した第1の予測モード推定部321、第2の予測モード推定部322、および信号判定部323の動作の一例を示すフローチャートである。信号判定部323での符号化モード情報SMDの復号について図12Bを用いてさらに詳しく説明する。
まず、信号判定部323は、符号化予測モード関連情報SSMDを取得し、第1の推定予測モード指定フラグを復号する(ステップS1301)。第1の推定予測モード指定フラグが1である場合(ステップS1302でYES)、選択予測モードSMDを第1の推定予測モードMPMとして設定し(ステップS1303)、出力する。
一方、第1の推定予測モード指定フラグが0である場合(ステップS1302でNO)、信号判定部323は、第2の予測モード推定部322で導出される第2の推定予測モードSPMを取得する(ステップS1304)。続いて、信号判定部323は、符号化予測モード関連情報SSMDから、第2の推定予測モード指定フラグを復号する(ステップS1305)。
第2の推定予測モード指定フラグが「1」である場合(ステップS1306でYES)、選択予測モードSMDを第2の推定予測モードSPMとして設定し(ステップS1307)、出力する。第2の推定予測モード指定フラグが「0」である場合(ステップS1306でNO)、選択予測モード符号化情報を復号する(ステップS1308)。復号することにより得られる選択予測モード番号で示されるモードを選択予測モードSMDとして設定し(ステップS1309)、出力する。
なお、ここでは、第1の推定予測モードMPMおよび第2の推定予測モードSPMと一致しない場合、選択予測モードSMDをそのまま選択モード符号化情報として符号化されている場合について説明したが、これに限らない。例えば、式3で示すように推定予測モードと一致する番号が無いため、選択予測モードSMDのインデックス番号が推定予測モードのインデックス番号を超える場合には、推定予測モードの数(図6B及び図7Bの例では最大2)を減じて符号化することができるため、復号時には、推定予測モードの数(図11B及び図12Bの例では最大2)を加えた値を選択モード符号化情報として復号する。これにより、さらに符号量を削減したビットストリームを復号することができる。式9、10と同様に表記した例を式11に示す。
なお、図12Aの場合と同様に、DC・予測モードに対応するインデックス番号を「0」としてもよい。この場合、常に第2の推定予測モードSPMのインデックス番号が「0」となるため、選択予測モードSMDのインデックス番号を符号化する際には、最低でも1引いた値を符号化すればよくなる。そして、復号時には最低でも1加えた値として復号することにより、さらに符号量を削減したビットストリームを復号することができる。式11と同様に表記した例を式12に示す。
上記のような構成をとることにより、平坦な部分の予測モードであるDCモードとエッジを含む部分の予測モードであるエッジ予測モードのモード情報を効率よく符号化したビットストリームの復号が可能となる。その結果、予測モード符号量の削減だけでなく、予測性能の向上によって画質を向上させることができる。
次に、図13を参照して、図12A及び図12Bの変形例を説明する。図13は、実施形態2の変形例に係るフローチャートである。なお、以降の説明は、図11Aに示される復元部320が図13の処理を実行する例であるが、これに限定されない。また、図13に示されるフローチャートは、典型的には、図8の方法で符号化されたビットストリームを復号する際に用いられる。
まず、第1の予測モード推定部321は、第1の推定予測モードを決定する(S1401)。第1の推定予測モードの決定方法は、既に説明した方法を用いることができる。ここでは、復号対象ブロックに隣接し、且つ既に復号された複数のブロックの予測モードのうち、インデックス番号の最も小さい予測モードを第1の予測モードとして決定するものとする。
次に、第2の予測モード推定部322は、第2の推定予測モードを決定する(S1402)。第2の推定予測モードが第1の推定予測モードと異なることは、既に述べた通りである。また、第2の推定予測モードの決定方法は特に限定されないが、例えば、以下のような方法で決定することができる。
まず、第2の予測モード推定部322は、第1の推定予測モードがプラーナモードであるか否かを判断する。そして、第1の推定予測モードがプラーナモードであれば、第2の予測モード推定部322は、第2の推定予測モードをDCモードと決定する。一方、第1の推定予測モードがプラーナモードでなければ、第2の予測モード推定部322は、第2の推定予測モードをプラーナモードと決定する。
次に、信号判定部323は、可変長復号部330から取得した符号化予測モード関連信号SSMDに含まれるモード一致フラグに設定されている値を判断する(S1403)。そして、モード一致フラグに「1」が設定されている場合(S1403でYes)、信号判定部323は、符号化予測モード関連信号SSMDに含まれる予測モード特定フラグに設定されている値を判断する(S1404)。
予測モード特定フラグに「0」が設定されている場合(S1404でYes)、信号判定部323は、選択予測モードを第1の推定予測モードに設定する(S1405)。一方、予測モード特定フラグに「1」が設定されている場合(S1404でNo)、信号判定部323は、選択予測モードを第2の推定予測モードに設定する(S1406)。
一方、ステップS1403において、モード一致フラグに「0」が設定されている場合(S1403でNo)、信号判定部323は、選択予測モード符号化情報を復号する(S1407)。そして、信号判定部323は、復号することにより得られる選択予測モード番号で示される予測モードを、選択予測モードSMDとして設定する(ステップS1408)。
図13に示されるフローチャートは、図12A及び図12Bに示されるフローチャートと比較すると、各フラグの示す意味内容や比較処理等の処理順序が相違するものの、2つの推定予測モードを使用して選択予測モードを復元する点で共通する。
すなわち、図12A、図12B、及び図13に示される処理では、いずれも、フラグ情報が選択予測モードと第1の推定予測モードとが一致していることを示す場合に、第1の推定予測モードが選択予測モードと決定される。また、フラグ情報が選択予測モードと第2の推定予測モードとが一致していることを示す場合に、第2の推定予測モードが前記選択予測モードと決定される。そして、フラグ情報が選択予測モードと第1及び第2の推定予測モードとが一致していないことを示す場合に、モード情報にさらに含まれる選択予測モードを特定する情報に基づいて、選択予測モードが復元される。
以上、本発明の画像復号装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、選択予測モードSMDのインデックス番号の符号化において、インデックス番号順に符号化するのではなく、第1の推定予測モードMPMもしくは第2の推定予測モードSPMに近い方向ベクトルから、順番に小さい番号を付与して符号化されているとして復号してもよい。これにより、より小さい番号を符号化したビットストリームを復号することになり、符号量を削減することができる。
また、本発明は、H.264映像符号化規格に限定されず、非特許文献2のエッジ方向を利用したイントラ予測モード(エッジ予測モード)など、上述の従来のイントラ予測モード予測値、位置情報(動きベクトル)予測値に限定されない。事実、発明の予測モード推定方法は、いかなるブロックベースの映像符号化器に用いられてもよい。
また、本発明の予測モード推定方法におけるエッジ検出部は、映像符号化方式の一部の機能と共有してもよい。例えば、エッジ予測モードを含む映像符号化方式に、本発明を適用することで、エッジ検出部を共に用いることができ、リソースを有効利用できる。
また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。
また、本発明は、上述したように、画像復号装置およびこれらの方法として実現できるだけではなく、本実施の形態の画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
以上、本発明の画像復号装置及び対応する方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、本実施の形態によれば、DC予測とエッジ予測を同じ予測インデックス番号として扱っている例を挙げた。しかしながら、本発明は、この点には限定されない。代わりに、エッジ予測と逐次的に予測画素を生成していく、方向予測と異なる方法で予測画素を生成する予測モードとエッジ予測とを同じ予測インデックスとして扱う場合であったとしても、同様の処理を行うことで、効率的に予測モードを符号化・復号することが可能となる。
(実施の形態3)
ここでは、前述の画像符号化装置100が備える設定部140、画像復号装置300が備える復元部320にそれぞれエッジ検出器を含むエッジベクトル判定部1401、1501を備える場合について説明する。
図14は、実施の形態1で説明した画像符号化装置100の一部である設定部140がエッジベクトル判定部1401を含む構成の一例を示す図である。同図に示すように、設定部140は、第1の予測モード推定部141と、第2の予測モード推定部142と、モード情報生成部143と、エッジベクトル判定部1401とを備える。なお、図4、図6A、及び図6Bと同じ構成については、同じ参照符号を付している。
設定部140は、選択予測モードSMDと、既に符号化され復号された画像信号LDとを取得し、対象ブロックに対する選択予測モードの符号化信号として、符号化予測モード関連信号SSMDを可変長符号化部131に対して出力する。
エッジベクトル判定部1401は、前述の既に符号化され復号された周囲に位置する画像信号LDを取得し、エッジ検出処理を施し、周囲にエッジが存在するかどうかを判定する。この動作について、図18を用いて詳しく説明する。図18は、エッジの検出対象の一例を示す概略図である。一例として、符号化対象として4×4画素の処理対象ブロック1801に対するエッジ検出を行う例を示す。この処理単位は一例であり、予測ブロックの単位であれば、これに限らない。処理対象ブロック1801の周囲の符号化、復号済みの領域(対象ブロックの左、左上、上、右上の隣接領域とする)のうち斜線で示す領域1802に対して、エッジ検出処理を行う。1マスは1画素を示し、斜線で示す領域の1画素に対し、隣接する8画素を含む9画素に対して処理を行う。エッジ検出処理としては、式13で示すソーベル演算子を用いる。ソーベル演算子を用いて、水平、垂直方向に対するエッジの強度が得られる。この強度と方向を示すベクトルをエッジベクトルと呼ぶ。
例えば、一定以上の強度を有するベクトル1803、1804を検出し、その中でもっとも大きさの強いベクトルをエッジベクトルとして検出する。
ここで、エッジベクトル判定部1401は、前述の検出されたエッジベクトルに従い、DC・エッジ予測において、DC予測を行うかエッジ予測を行うかの判定を行い、モード情報生成部143に対して出力する。ここで判定の条件としては、最大強度のベクトルの大きさを用いて、例えば一定以上の大きさを有する場合には、エッジ予測を用いることとしてもよい。
この構成での設定部140の動作について、図16を用いてさらに詳細に説明する。図16は、設定部140の動作の一例を示す図である。
モード情報生成部143は、エッジベクトル判定部1401よりDC予測を行うかエッジ予測を行うかの判定の情報を取得する(ステップS1601)。エッジ予測を使用する条件である場合(ステップS1602でYES)、DC・エッジ予測モードを第1の推定予測モードMPMとして設定し(ステップS1603)、以降は図7Bと同じ流れ(ステップS801からS813)で符号化情報を決定し、決定した符号化予測モード関連信号SSMDを可変長符号化部131に対して出力する(ステップS1604)。
一方、エッジ予測を使用しない条件である場合(ステップS1602でNO)、第1の予測モード推定部141によって導出された第1の推定予測モードMPMを取得する(ステップS1605)。以降、例えば非特許文献1で示す方法で、符号化情報を決定し、決定した符号化予測モード関連信号SSMDを可変長符号化部131に対して出力する(ステップS1606)。
なお、上記の動作は一例であり、本発明はこれに限るものではない。例えばステップS1606で従来の方式で符号化するとしたが、第2の推定予測モードSPMを用いて符号化を行っても良い。このときの第2の推定予測モードSPMの導出方法としては、第1の推定予測モードMPMと重複しないもので、既に符号化されたブロックで使用頻度の高いモードを設定してもよい。これにより、さらに符号化効率を向上させることができる。
なお、ステップS1604で図7Bと同じ動作を行う例について説明したが、この場合の第2の推定予測モードSPMを、エッジ検出で検出されたエッジの方向によって導出しても良い。この場合エッジベクトル判定部1401は、検出したエッジベクトルの方向の情報を第2の予測モード推定部142に対して出力する。
エッジベクトルの方向から第2の推定予測モードSPMを決定する例としては、予測モード候補が、8個の方向予測モードとDC予測モードとエッジ予測モードのどちらかを示すDC・エッジ予測との計9個である場合において、9個の予測モード候補を、検出されたエッジの方向に近い方向予測モードを第2の推定予測モードSPMとしてもよい。
このようにすることで、周囲で選択された予測モードの分布によって決めるより、さらに画像の特徴に合った予測モードを導出することができ、さらに符号量の削減をすることが可能となる。
図15は、実施の形態2で説明した画像復号装置300の一部である復元部320がエッジベクトル判定部1501を含む構成の一例を示す図である。同図に示すように、復元部320は、第1の予測モード推定部321と、第2の予測モード推定部322と、信号判定部323と、エッジベクトル判定部1501とを備える。なお、図9、図11A及び図11Bと同じ構成については、同じ参照符号を付している。
復元部320は、可変長復号された符号化予測モード関連信号SSMDと、既に符号化され復号された画像信号LDとを取得し、対象ブロックに対する選択予測モードの符号化信号として、選択予測モードSMDを出力する。
エッジベクトル判定部1501は、前述の既に符号化され復号された周囲に位置する画像信号LDを取得し、エッジ検出処理を施し、周囲にエッジが存在するかどうかを判定する。動作については、符号化時の動作を同じ動作を行うものとする。
この構成での復元部320の動作について、図17を用いてさらに詳細に説明する。図17は、復元部320の動作の一例を示す図である。
信号判定部323は、エッジベクトル判定部1501よりDC予測を行うかエッジ予測を行うかの判定の情報を取得する(ステップS1701)。エッジ予測を使用する条件である場合(ステップS1702でYES)、第1の推定予測モードMPMをDC・エッジ予測モードと設定し(ステップS1703)、以降は図12Bと同じ流れ(ステップS1301からS1309)で復号処理を行い、選択予測モードSMDを出力する(ステップS1704)。
一方、エッジ予測を使用しない条件である場合(ステップS1702でNO)、第1の予測モード推定部321によって導出された第1の推定予測モードMPMを取得する(ステップS1705)。以降、例えば非特許文献1で示す方法で、選択予測モードSMDを出力する(ステップS1706)。
なお、上記の動作は一例であり、本発明はこれに限るものではなく、符号化方法と同じように変更が可能である。例えばステップS1706で従来の方式で符号化するとしたが、第2の推定予測モードSPMを用いて符号化を行った場合、復号側も同様することができる。このときの第2の推定予測モードSPMの導出方法としては、第1の推定予測モードMPMと重複しないもので、既に符号化されたブロックで使用頻度の高いモードを設定してもよい。これにより、さらに符号化効率を向上させることができる。
なお、ステップS1704で図12Bと同じ動作を行う例について説明したが、この場合の第2の推定予測モードSPMを、エッジ検出で検出されたエッジの方向によって導出しても良い。この場合エッジベクトル判定部1501は、検出したエッジベクトルの方向の情報を第2の予測モード推定部322に対して出力する。
エッジベクトルの方向から第2の推定予測モードSPMを決定する例としては、予測モード候補が、8個の方向予測モードとDC予測モードとエッジ予測モードのどちらかを示すDC・エッジ予測との計9個である場合において、9個の予測モード候補を、検出されたエッジの方向に近い方向予測モードを第2の推定予測モードSPMとしてもよい。
このようにすることで、周囲で選択された予測モードの分布によって決めるより、さらに画像の特徴に合った予測モードを導出することができ、さらに符号量の削減をしたビットストリームを復号することが可能となる。
なお、例えば、選択予測モードSMDのインデックス番号の符号化において、インデックス番号順に符号化するのではなく、検出したエッジベクトルに近い方向ベクトルから、順番に小さい番号を付与して符号化及び復号してもよい。これにより、より小さい番号を符号化及び復号することになり、符号量を削減することができる。
例えば、本実施の形態によれば、ソーベル演算子を用いて勾配を算出することで、エッジの検出を行った。しかしながら、本発明は、この点には限定されない。代わりに、検出されたエッジの方向性が算出されれば、どのようなエッジ検出ツールが用いられてもよい。ソーベル演算子は、可能なエッジ検出技術の一例に過ぎない。例えば、式14に示すプレウィット演算子を用いてもよい。
なお、本実施の形態の画像符号化装置100及び画像復号装置300では、エッジ検出処理を行うために、図1Aに示す参照画素20だけではなく、参照画素20を含むブロックに含まれる全画素のデータを、参照ピクチャメモリ160及びフレームメモリ314に格納する必要がある。これに対して、周囲のブロックを復号すると同時に、すなわち、勾配の算出に必要な参照画素の画素値が得られると同時に、勾配の算出処理を行い、勾配の算出処理結果だけを参照ピクチャメモリ160及びフレームメモリ314、又は、他のメモリに格納してもよい。
このとき、例えば、閾値を超えたノルム(又は、勾配値)のみを格納することで、よりメモリ資源を節約することができる。あるいは、各ブロックの最大のノルムとその画素位置のみを格納してもよい。この場合、算出したノルム(又は、勾配値)を参照ピクチャメモリ160及びフレームメモリ314などに格納する。
これにより、画像符号化装置100及び画像復号装置300が備えるメモリ資源を有効に利用することができる。
また、本発明は、H.264映像符号化規格に限定されず、非特許文献2のエッジ方向を利用したイントラ予測モード(エッジ予測モード)など、上述の従来のイントラ予測モード予測値、位置情報(動きベクトル)予測値に限定されない。事実、発明の予測モード推定方法は、いかなるブロックベースの映像符号化器に用いられてもよい。
また、本発明の予測モード推定方法におけるエッジ検出部は、映像符号化方式の一部の機能と共有してもよい。例えば、エッジ予測モードを含む映像符号化方式に、本発明を適用することで、エッジ検出部を共に用いることができ、リソースを有効利用できる。
また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。
また、本発明は、上述したように、画像符号化装置、画像復号装置及びこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法及び画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
(実施の形態4)
上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ICカード、半導体メモリ等、プログラムを記録できるものであればよい。
さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図19は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
このコンテンツ供給システムex100は、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex106からex110を介して、コンピュータex111、PDA(Personal Digital Assistant)ex112、カメラex113、携帯電話ex114、ゲーム機ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図19のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex106からex110を介さずに、各機器が電話網ex104に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex116はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex114は、GSM(登録商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはLTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
コンテンツ供給システムex100では、カメラex113等が基地局ex109、電話網ex104を通じてストリーミングサーバex103に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex113を用いて撮影するコンテンツ(例えば、音楽ライブの映像等)に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバex103に送信する。一方、ストリーミングサーバex103は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114、ゲーム機ex115等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
なお、撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするストリーミングサーバex103で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex103で行ってもよいし、互いに分担して行ってもよい。また、カメラex113に限らず、カメラex116で撮影した静止画像および/または動画像データを、コンピュータex111を介してストリーミングサーバex103に送信してもよい。この場合の符号化処理はカメラex116、コンピュータex111、ストリーミングサーバex103のいずれで行ってもよいし、互いに分担して行ってもよい。
また、これら符号化・復号化処理は、一般的にコンピュータex111や各機器が有するLSIex500において処理する。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex114がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex114が有するLSIex500で符号化処理されたデータである。
また、ストリーミングサーバex103は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
以上のようにして、コンテンツ供給システムex100では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex100では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
なお、コンテンツ供給システムex100の例に限らず、図20に示すように、デジタル放送用システムex200にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex201では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex202に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ex202は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex204が受信する。受信した多重化データを、テレビ(受信機)ex300またはセットトップボックス(STB)ex217等の装置が復号化して再生する。
また、DVD、BD等の記録メディアex215に記録した多重化データを読み取り復号化する、または記録メディアex215に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ/レコーダex218にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex219に表示され、多重化データが記録された記録メディアex215により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex203または衛星/地上波放送のアンテナex204に接続されたセットトップボックスex217内に動画像復号化装置を実装し、これをテレビのモニタex219で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
図21は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ(受信機)ex300を示す図である。テレビex300は、上記放送を受信するアンテナex204またはケーブルex203等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex301と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調/復調部ex302と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex306で符号化された映像データ、音声データを多重化する多重/分離部ex303を備える。
また、テレビex300は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex304、映像信号処理部ex305を有する信号処理部ex306と、復号化した音声信号を出力するスピーカex307、復号化した映像信号を表示するディスプレイ等の表示部ex308を有する出力部ex309とを有する。さらに、テレビex300は、ユーザ操作の入力を受け付ける操作入力部ex312等を有するインタフェース部ex317を有する。さらに、テレビex300は、各部を統括的に制御する制御部ex310、各部に電力を供給する電源回路部ex311を有する。インタフェース部ex317は、操作入力部ex312以外に、リーダ/レコーダex218等の外部機器と接続されるブリッジex313、SDカード等の記録メディアex216を装着可能とするためのスロット部ex314、ハードディスク等の外部記録メディアと接続するためのドライバex315、電話網と接続するモデムex316等を有していてもよい。なお記録メディアex216は、格納する不揮発性/揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex300の各部は同期バスを介して互いに接続されている。
まず、テレビex300がアンテナex204等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex300は、リモートコントローラex220等からのユーザ操作を受け、CPU等を有する制御部ex310の制御に基づいて、変調/復調部ex302で復調した多重化データを多重/分離部ex303で分離する。さらにテレビex300は、分離した音声データを音声信号処理部ex304で復号化し、分離した映像データを映像信号処理部ex305で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex309から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex318、ex319等に一旦これらの信号を蓄積するとよい。また、テレビex300は、放送等からではなく、磁気/光ディスク、SDカード等の記録メディアex215、ex216から多重化データを読み出してもよい。次に、テレビex300が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex300は、リモートコントローラex220等からのユーザ操作を受け、制御部ex310の制御に基づいて、音声信号処理部ex304で音声信号を符号化し、映像信号処理部ex305で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重/分離部ex303で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex320、ex321等に一旦これらの信号を蓄積するとよい。なお、バッファex318、ex319、ex320、ex321は図示しているように複数備えていてもよいし、1つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調/復調部ex302や多重/分離部ex303の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
また、テレビex300は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのAV入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex300は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
また、リーダ/レコーダex218で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex300、リーダ/レコーダex218のいずれで行ってもよいし、テレビex300とリーダ/レコーダex218が互いに分担して行ってもよい。
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生/記録部ex400の構成を図22に示す。情報再生/記録部ex400は、以下に説明する要素ex401、ex402、ex403、ex404、ex405、ex406、ex407を備える。光ヘッドex401は、光ディスクである記録メディアex215の記録面にレーザスポットを照射して情報を書き込み、記録メディアex215の記録面からの反射光を検出して情報を読み込む。変調記録部ex402は、光ヘッドex401に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex403は、光ヘッドex401に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex215に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex404は、記録メディアex215に記録するための情報および記録メディアex215から再生した情報を一時的に保持する。ディスクモータex405は記録メディアex215を回転させる。サーボ制御部ex406は、ディスクモータex405の回転駆動を制御しながら光ヘッドex401を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex407は、情報再生/記録部ex400全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex407が、バッファex404に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex402、再生復調部ex403、サーボ制御部ex406を協調動作させながら、光ヘッドex401を通して、情報の記録再生を行うことにより実現される。システム制御部ex407は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
以上では、光ヘッドex401はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
図23に光ディスクである記録メディアex215の模式図を示す。記録メディアex215の記録面には案内溝(グルーブ)がスパイラル状に形成され、情報トラックex230には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex231の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex230を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex215は、データ記録領域ex233、内周領域ex232、外周領域ex234を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex233であり、データ記録領域ex233より内周または外周に配置されている内周領域ex232と外周領域ex234は、ユーザデータの記録以外の特定用途に用いられる。情報再生/記録部ex400は、このような記録メディアex215のデータ記録領域ex233に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
以上では、1層のDVD、BD等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録/再生を行う構造の光ディスクであってもよい。
また、デジタル放送用システムex200において、アンテナex205を有する車ex210で衛星ex202等からデータを受信し、車ex210が有するカーナビゲーションex211等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex211の構成は例えば図21に示す構成のうち、GPS受信部を加えた構成が考えられ、同様なことがコンピュータex111や携帯電話ex114等でも考えられる。また、上記携帯電話ex114等の端末は、テレビex300と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という3通りの実装形式が考えられる。さらに、デジタル放送用システムex200において、映像データに音楽データなどが多重化された多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
(実施の形態5)
上記各実施の形態で示した動画像符号化方法または装置と、MPEG−2、MPEG4−AVC、VC−1など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、MPEG−2トランスポートストリーム形式のデジタルストリームである。
図24は、多重化データの構成を示す図である。図24に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム(PG)、インタラクティブグラファイックスストリームのうち、1つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム(IG)は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にGUI部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーAC−3、Dolby Digital Plus、MLP、DTS、DTS−HD、または、リニアPCMのなどの方式で符号化されている。
多重化データに含まれる各ストリームはPIDによって識別される。例えば、映画の映像に利用するビデオストリームには0x1011が、オーディオストリームには0x1100から0x111Fまでが、プレゼンテーショングラフィックスには0x1200から0x121Fまでが、インタラクティブグラフィックスストリームには0x1400から0x141Fまでが、映画の副映像に利用するビデオストリームには0x1B00から0x1B1Fまで、主音声とミキシングする副音声に利用するオーディオストリームには0x1A00から0x1A1Fが、それぞれ割り当てられている。
図25は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex235、複数のオーディオフレームからなるオーディオストリームex238を、それぞれPESパケット列ex236およびex239に変換し、TSパケットex237およびex240に変換する。同じくプレゼンテーショングラフィックスストリームex241およびインタラクティブグラフィックスex244のデータをそれぞれPESパケット列ex242およびex245に変換し、さらにTSパケットex243およびex246に変換する。多重化データex247はこれらのTSパケットを1本のストリームに多重化することで構成される。
図26は、PESパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図26における第1段目はビデオストリームのビデオフレーム列を示す。第2段目は、PESパケット列を示す。図26の矢印yy1,yy2,yy3,yy4に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS(Presentation Time−Stamp)やピクチャの復号時刻であるDTS(Decoding Time−Stamp)が格納される。
図27は、多重化データに最終的に書き込まれるTSパケットの形式を示している。TSパケットは、ストリームを識別するPIDなどの情報を持つ4ByteのTSヘッダとデータを格納する184ByteのTSペイロードから構成される188Byte固定長のパケットであり、上記PESパケットは分割されTSペイロードに格納される。BD−ROMの場合、TSパケットには、4ByteのTP_Extra_Headerが付与され、192Byteのソースパケットを構成し、多重化データに書き込まれる。TP_Extra_HeaderにはATS(Arrival_Time_Stamp)などの情報が記載される。ATSは当該TSパケットのデコーダのPIDフィルタへの転送開始時刻を示す。多重化データには図27下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はSPN(ソースパケットナンバー)と呼ばれる。
また、多重化データに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)などがある。PATは多重化データ中に利用されるPMTのPIDが何であるかを示し、PAT自身のPIDは0で登録される。PMTは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、ATSの時間軸であるATC(Arrival Time Clock)とPTS・DTSの時間軸であるSTC(System Time Clock)の同期を取るために、そのPCRパケットがデコーダに転送されるATSに対応するSTC時間の情報を持つ。
図28はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報(フレームレート、アスペクト比など)が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
多重化データ情報ファイルは、図29に示すように多重化データの管理情報であり、多重化データと1対1に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
多重化データ情報は図29に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのPIDフィルタへの最大転送レートを示す。多重化データ中に含まれるATSの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのPTSであり、再生終了時刻は多重化データの終端のビデオフレームのPTSに1フレーム分の再生間隔を足したものが設定される。
ストリーム属性情報は図30に示すように、多重化データに含まれる各ストリームについての属性情報が、PID毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
本実施の形態においては、上記多重化データのうち、PMTに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、PMTに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
また、本実施の形態における動画像復号化方法のステップを図31に示す。ステップexS100において、多重化データからPMTに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexS101において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexS102において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠するものであることを示している場合には、ステップexS103において、従来の規格に準拠した動画像復号方法により復号を行う。
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
(実施の形態6)
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるLSIで実現される。一例として、図32に1チップ化されたLSIex500の構成を示す。LSIex500は、以下に説明する要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509を備え、各要素はバスex510を介して接続している。電源回路部ex505は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
例えば符号化処理を行う場合には、LSIex500は、CPUex502、メモリコントローラex503、ストリームコントローラex504、駆動周波数制御部ex512等を有する制御部ex501の制御に基づいて、AV I/Oex509によりマイクex117やカメラex113等からAV信号を入力する。入力されたAV信号は、一旦SDRAM等の外部のメモリex511に蓄積される。制御部ex501の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex507に送られ、信号処理部ex507において音声信号の符号化および/または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex507ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームI/Oex506から外部に出力する。この出力された多重化データは、基地局ex107に向けて送信されたり、または記録メディアex215に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex508にデータを蓄積するとよい。
なお、上記では、メモリex511がLSIex500の外部の構成として説明したが、LSIex500の内部に含まれる構成であってもよい。バッファex508も1つに限ったものではなく、複数のバッファを備えていてもよい。また、LSIex500は1チップ化されてもよいし、複数チップ化されてもよい。
また、上記では、制御部ex510が、CPUex502、メモリコントローラex503、ストリームコントローラex504、駆動周波数制御部ex512等を有するとしているが、制御部ex510の構成は、この構成に限らない。例えば、信号処理部ex507がさらにCPUを備える構成であってもよい。信号処理部ex507の内部にもCPUを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、CPUex502が信号処理部ex507、または信号処理部ex507の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex501は、信号処理部ex507、またはその一部を有するCPUex502を備える構成となる。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(実施の形態7)
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、LSIex500において、従来の規格に準拠する映像データを復号する際のCPUex502の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
この課題を解決するために、テレビex300、LSIex500などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図33は、本実施の形態における構成ex800を示している。駆動周波数切替え部ex803は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex801に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex802に対し、映像データを復号するよう指示する。
より具体的には、駆動周波数切替え部ex803は、図32のCPUex502と駆動周波数制御部ex512から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex801、および、従来の規格に準拠する復号処理部ex802は、図32の信号処理部ex507に該当する。CPUex502は、映像データがどの規格に準拠するものであるかを識別する。そして、CPUex502からの信号に基づいて、駆動周波数制御部ex512は、駆動周波数を設定する。また、CPUex502からの信号に基づいて、信号処理部ex507は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態5で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態5で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、CPUex502における駆動周波数の選択は、例えば、図35のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex508や、LSIの内部メモリに格納しておき、CPUex502がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
図34は、本実施の形態の方法を実施するステップを示している。まず、ステップexS200では、信号処理部ex507において、多重化データから識別情報を取得する。次に、ステップexS201では、CPUex502において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexS202において、駆動周波数を高く設定する信号を、CPUex502が駆動周波数制御部ex512に送る。そして、駆動周波数制御部ex512において、高い駆動周波数に設定される。一方、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する映像データであることを示している場合には、ステップexS203において、駆動周波数を低く設定する信号を、CPUex502が駆動周波数制御部ex512に送る。そして、駆動周波数制御部ex512において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
さらに、駆動周波数の切替えに連動して、LSIex500またはLSIex500を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、LSIex500またはLSIex500を含む装置に与える電圧を低く設定することが考えられる。
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、MPEG4−AVC規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、LSIex500またはLSIex500を含む装置に与える電圧を高く設定し、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する映像データであることを示している場合には、LSIex500またはLSIex500を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、CPUex502の駆動を停止させることなく、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、CPUex502の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、CPUex502の駆動を一時停止させることも考えられる。この場合は、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてLSIex500またはLSIex500を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
(実施の形態8)
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、LSIex500の信号処理部ex507が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex507を個別に用いると、LSIex500の回路規模が大きくなり、また、コストが増加するという課題が生じる。
この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のMPEG−2、MPEG4−AVC、VC−1などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図36(a)のex900に示す。例えば、上記各実施の形態で示した動画像復号方法と、MPEG4−AVC規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、MPEG4−AVC規格に対応する復号処理部ex902を共有し、MPEG4−AVC規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ex901を用いるという構成が考えられる。特に、本発明は、分割領域の境界におけるフィルタ処理に特徴を有していることから、例えば、分割領域の境界におけるフィルタ処理については専用の復号処理部ex901を用い、それ以外のエントロピー符号化、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、MPEG4−AVC規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
また、処理を一部共有化する他の例を図36(b)のex1000に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ex1001と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex1002と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex1003とを用いる構成としている。ここで、専用の復号処理部ex1001、ex1002は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、LSIex500で実装することも可能である。
このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、LSIの回路規模を小さくし、かつ、コストを低減することが可能である。