JP2004201345A - 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置 - Google Patents

Abstract

【課題】 符号化モードを増やしても符号化モード情報の量は増えることはなく、効率の良い符号化を行う画像符号化方法及び装置と正確に復号することができ、与えられた条件のもとで効率の良い復号が行える画像復号化方法および装置を提供する。
【解決手段】 符号化を実施する複数の符号化モード群を登録した複数の符号化モードテーブルを有する符号化判定部から、外部より設定した所定の符号化モードテーブル選択情報に基づき上記符号化モードテーブルを選択し、該選択した符号化モードテーブルに登録された全ての符号化モードに対応して上記入力画像を各領域ごとに符号化して符号化ビットストリームを生成し、該符号化ビットストリームに上記符号化モードテーブル選択情報を付加して出力する。
【選択図】 図３

Description

この発明は、符号化ビットストリームを送信する際のビットレート等の条件に応じて、予め登録しておいた複数の符号化モードのうちから、符号化及び復号化する被符号化画像信号又は被復号化画像信号（以下、被符号化画像信号という）の最適な符号化モードを選択して、符号化及び復号化する画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置に関するものである。

まず、一般の画像符号化装置及び画像復号化装置におけるこの発明に係る背景技術とその課題について説明する。
図１は、画像符号化装置と画像復号化装置との間で一般に送受信される符号化ビットストリームの構造を示す図である。
符号化ビットストリームは、例えば各時間の１フレーム（１画面）毎に作成されるもので、図１に示すように、被符号化画像ヘッダ情報と、１フレームを例えばＮ個の領域に分けた場合の各領域１〜Ｎ毎の符号化データとから構成されている。
被符号化画像ヘッダ情報には、例えば、符号化および復号化側で量子化方法を切替える方式を採用する場合は、量子化方法選択情報等が含まれている。

各領域１〜Ｎ毎の符号化データは、符号化データ毎に、圧縮画像データと、例えば各量子化モードに対応した符号化モード情報や、量子化ステップ情報、動き情報等からなるオーバヘッド情報とから構成されている。このため、符号化モードの種類が少ない場合には、符号化データ中の符号化モード情報の量が少なくなり、オーバヘッド情報の量が少なくて済むが、被符号化画像信号によっては最適な符号化モードがなく、効率良く符号化できず画質が低下するという課題があった。

その一方、復号した際の画質を向上させるために各種被符号化画像信号に合わせて多数の符号化モードを登録しておくようにすると、符号化データ中の符号化モード情報の量が増え、オーバヘッド情報の量が増えることになるので、固定長や可変長により符号化データの大きさが決められている場合、圧縮画像データ側の量が小さくなり、かえって画質が低下して、符号化効率が低下するという課題があった。特にこの課題は、符号化データの大きさを小さくしかとれない低ビットレートの場合に顕著となる。

次に、画像符号化装置及び画像復号化装置を、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１にて、現在標準化作業中のＭＰＥＧ−４に特化した場合における上記課題を具体的に説明する。
ビデオＶＭ８．０（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１７９６）では、Ｂ−ＶＯＰ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ−Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）の各マクロブロックを、４つのマクロブロック符号化モード（以下、ＭＢＴＹＰＥ）のうちの一つを選択して符号化することが提案されている。

図２はここで提案されているＶＭ８．０におけるＢ−ＶＯＰ符号化用ＭＢＴＹＰＥテーブル（ＭＢＴＹＰＥ−０）を示す図である。ここでは、ＭＢＴＹＰＥ０〜４で指定される４つの符号化モードのうちの一つを選択して符号化することが提案されている。選択の基準は標準化範囲ではないが、予測誤差電力を用いることが推奨されている。図において、×印は各符号化モードで使用されるデータ（ＤＱＵＡＮＴ，ＭＶＤｆ，ＭＶＤｂ，ＭＶＤＢ）を示している。なお詳細はＶＭ８．０のｐｐ．７７、３．５．５項に記載されている。
このようにこのＶＭ８．０の提案では、符号化モードが４種類しかないため、上述の理由により、マクロブロックによっては効率良く符号化できない場合が生じ、画質が低下するという課題があった。

このように上記提案されたＢ−ＶＯＰ符号化方法は、低ビットレート対応に偏り過ぎていると共に、符号化モードが４種類と少ないため、柔軟性が低い。この対策として、Ｂ−ＶＯＰの各マクロブロック用に符号化モードを１０種類以上設ける方法も考えられる。しかしこのようにした場合、符号化時の柔軟性は向上するが、各符号化モードを表現するための符号語のビット数が増大してしまい、低ビットレート符号化時には、オーバヘッド情報の増加の影響が大きくなり、符号化効率が低下することになる。特に、予測にも使用されず一瞬の表示だけで事足りるＢ−ＶＯＰにおいて、ＤＣＴ係数の占める割合はＩ−ＶＯＰ （Ｉｎｔｒａ−Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）又はＰ−ＶＯＰ（Ｐｒｅｄｉｃｔｉｖｅ−Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）に比べると低くなるはずであり、Ｂ−ＶＯＰの場合、その分だけオーバヘッド情報の比重は高くなり、符号化効率が低下することになる。

この発明は上記のような課題を解決するためになされたもので、ビットレート等の条件が変わった場合でも、その画像信号中のオーバヘッド情報の負荷を低減して、符号化効率を低下、すなわち画質を低下させることなく、予め登録しておいた複数の符号化モードのうち最適な符号化モードを選択して、符号化及び復号化を行なうことのできる画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置を得ることを目的とする。

またこの発明は、ＭＰＥＧ−４の画像符号化装置及び画像復号化装置に特化した場合、Ｂ−ＶＯＰ画像信号を送信する際のビットレート等の条件が変わった場合でも、オーバヘッド情報の負荷を低減して符号効率すなわち画質を低下させることなく、予め登録しておいた複数の符号化モードのうち最適な符号化モードを選択して、符号化及び復号化を行なうことのできる画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置を得ることを目的とする。

この発明に係る画像符号化方法は、符号化を実施する複数の符号化モード群を登録した複数の符号化モードテーブルを有する符号化判定部から、外部より設定した所定の符号化モードテーブル選択情報に基づき上記符号化モードテーブルを選択し、該選択した符号化モードテーブルに登録された全ての符号化モードに対応して上記入力画像を各領域ごとに符号化して符号化ビットストリームを生成し、該符号化ビットストリームに上記符号化モードテーブル選択情報を付加して出力するものである。

この発明に係る画像符号化装置は、符号化を実施する複数の符号化モード群を登録した複数の符号化モードテーブルと、外部より設定した所定の符号化モードテーブル選択情報に基づき符号化処理に使用する符号化モードテーブルを選択する符号化モードテーブル選択手段と、該選択された符号化モードテーブルに登録された符号化モードの中から上記各領域ごとに符号化モードを選択する符号化モード選択手段と、該選択された符号化モードに基づき上記各領域ごとに符号化して符号化データを出力する符号化手段と、上記符号化モードテーブル選択情報、符号化モード及び上記符号化データを多重化して符号化ビットストリームとして出力する多重化手段とを備えたものである。

この発明に係る画像復号化方法は、符号化ビットストリームから符号化モードテーブル選択情報を復号し、上記各領域の符号化の際に選択可能な符号化モードを登録した複数の符号化モードテーブルのうちから上記符号化モードテーブル選択情報で指示される符号化モードテーブルを選択し、該選択した符号化モードテーブルに登録された符号化モードに基づいて上記符号化ビットストリームから各領域ごとの符号化データを復号するものである。

この発明に係る画像復号化装置は、各領域の符号化の際に選択可能な符号化モードを登録した複数の符号化モードテーブルと、上記符号化ビットストリームから符号化モードテーブル選択情報を復号する符号化モードテーブル選択情報復号手段と、複数の符号化モードテーブルのなかから上記符号化モードテーブル選択情報で指示される符号化モードテーブルを選択する符号化モードテーブル選択手段と、該選択した符号化モードテーブルに登録された符号化モードを用いて上記符号化ビットストリームから上記各領域ごとに符号化時に使用された符号化モードを復号する符号化モード復号手段と、該復号した符号化モードに基づいて上記符号化ビットストリームから各領域ごとの符号化データを復号する復号化手段とを備えたものである。

この発明によれば、符号化モードを増やしても符号化モード情報の量は増えることはなく、効率の良い符号化を行う画像符号化方法を実現できるという効果がある。

この発明によれば、、符号化モードを増やしても符号化モード情報の量は増えることはなく、効率の良い符号化を行う画像符号化装置を実現できるという効果を奏する。

この発明によれば、符号化モード情報の量を小さくした符号化ビットストリームの場合でも、正確に復号することができ、与えられた条件のもとで効率の良い復号が行える画像復号化方法を実現できるという効果を奏する。

この発明によれば、符号化モード情報の量を小さくした符号化ビットストリームの場合でも、正確に復号することができ、与えられた条件のもとで効率の良い復号が行える復号化装置を実現できるという効果を奏する。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
実施の形態１の画像符号化装置は、被符号化画像領域ごとに複数の符号化モードから最適な符号化モードを選択して符号化する従来の符号化装置に対して、さらに、被符号化画像ごとに所定の条件に応じて被符号化画像領域で選択可能な符号化モード群をテーブルにより切替えることができるようにしたことを特徴とするものである。

なお、この発明に係る画像符号化装置は、ディジタル動画像等の画像シーケンスを構成する各時刻の画像を単位として符号化を実施し、各画像をさらに小さい画像領域に分割して符号化するもので、最小の符号化単位となる画像領域を“被符号化画像領域”と呼び、その被符号化画像領域の集まりによって構成される各時刻の画像を“被符号化画像”と呼ぶものとする。被符号化画像領域の例としては、例えば、ＩＳＯ／ＩＥＣ １３８１８−２で開示されるマクロブロックがあり、被符号化画像の例としては、例えばテレビ信号における画像フレーム、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１７９６で開示されるビデオオブジェクトプレーン（ＶＯＰ）などがある。

図３はこの発明の実施の形態１による画像符号化装置の構成を示すブロック図である。図において、１は減算部、２は符号化モード判定部、３は直交変換部、４は量子化部、５は可変長符号化・多重化部、６は逆量子化部、７は逆直交変換部、８は加算部、９はメモリ、１０は動き検出部、１１は動き補償部、１２は切替部である。

図４は図３に示す符号化モード判定部２の構成を示すブロック図である。図において、２１は判定処理部、２２は符号化モードテーブルＡ、２３は符号化モードテーブルＢ、２４は切替部である。
符号化モード判定部２は、可変長符号化された符号語等の当該被符号化画像においてとりうる符号化モードの識別子もしくは識別番号等を含んだ２つの符号化モードテーブルＡ２２，Ｂ２３を有している。
この実施の形態１では、一方の符号化モードテーブルＡ２２は、例えば所定の基準ビットレートより低ビットレートで符号化を実施する場合に用いる複数の符号化モードからなる例えば従来の図２に示すような符号化モード群を含み、もう一方の符号化モードテーブルＢ２３は所定の基準ビットレートより高ビットレートで符号化を実施する場合に用いる符号化モード群を含むものとする。

図５はこの実施の形態１による画像符号化装置が符号化して出力する符号化信号である符号化ビットストリームの構造を示す図である。この符号化ビットストリーム２１３は、図１に示す従来の符号化ビットストリームと同様に、例えば各時間の１フレーム（１画面）毎に作成されるもので、被符号化画像ヘッダ情報と、１フレームを例えばＮ個の領域に分けた場合の各領域１〜Ｎ毎の符号化データとから構成されている。

しかし、図１に示す従来の符号化ビットストリームとは異なり、被符号化画像ヘッダ情報には、符号化モード群選択情報として符号化モードテーブル選択情報２００という１ビットの情報を新たに追加している。１ビットで十分なのは、符号化モードテーブルＡ２２，Ｂ２３が２つだけであり、符号化モードテーブルをそれより多く設ける場合には、符号化モードテーブル選択情報２００のビット数もそれだけのテーブルを選択できるようテーブルの数に合わせて増やす必要がある。各領域１〜Ｎ毎の符号化データは、図１に示す従来の符号化ビットストリームと同様に、符号化データ毎に、圧縮画像データ２０５と、例えば各量子化モードに対応した符号化モード情報２０６や、量子化ステップ情報２０７、動き情報２０８等からなるオーバヘッド情報とから構成されている。

次に、動作について説明する。
図６はこの実施の形態１による画像符号化装置の動作を示すフローチャートである。

（１）符号化モードの選択・決定等
まず最初のステップＳＴ１において、この符号化装置を起動する際、ユーザはこの装置が使用するビットレート等の条件に応じて、使用すべき符号化モードテーブルＡ２２、Ｂ２３を選択するための符号化モードテーブル選択情報２００をスイッチやプログラム等により設定して、符号化モード判定部２及び可変長符号化・多重化部５に出力する。つまり、この符号化装置は装置駆動に際して目標となるビットレートをユーザが設定できるものとし、該設定されたビットレートをある閾値をもって低ビットレート／高ビットレートに区別し、これを符号化モードテーブル選択情報２００とする。
次にステップＳＴ２において、符号化モード判定部２の切替部２４は、符号化モードテーブル選択情報２００に基づいて、低ビットレート符号化時には低ビットレート対応の符号化モードテーブルＡ２２を、高ビットレート符号化時には高ビットレート対応の符号化モードテーブルＢ２３を選択して決定する。

（２）被符号化画像信号の生成および符号化モードの選択
次に、符号化モード判定部２の判定処理部２１は、入力された被符号化画像領域の入力画像信号２０１に対して、次のステップＳＴ３〜ステップＳＴ１４の処理により、とりうるすべての符号化モードに対応する被符号化画像信号を生成して符号化効率の最も良い符号化モードを選択する。
ここで符号化モードについて説明すると、入力画像信号そのものを被符号化画像信号とするモードも符号化モードの１つであり、通常、イントラモードと呼ばれる。また、動き補償予測によって予測画像を生成し、予測誤差信号を求めてこれを被符号化画像信号とするインターモードがある。インターモードの場合は、用いる予測方式に伴って符号化モードが設定される。例えば、ＩＳＯ／ＩＥＣ １３８１８−２に開示されるＢピクチャでは、時間的に前の符号化済み画像から動き補償予測を行う前方向予測、時間的に後の符号化済み画像から動き補償予測を行う後方向予測、前方向予測および後方向予測によって得られた予測画像を加算平均したものを予測画像とする両方向予測などの複数の予測方式をとることが可能であり、これらに対応してそれぞれ符号化モードが設定される。このように複数の符号化モードの中からもっとも符号化効率の良いモードを選択して得た被符号化画像信号が圧縮符号化の対象となる。このため、イントラモードの符号化モードの場合、入力画像信号２０１をそのまま被符号化画像信号として使用するので生成する必要はないが、インターモードの符号化モードの場合、インターモードに対応する選択可能な各種予測方式ごとの予測誤差信号は、図３の動き検出部１０、動き補償部１１及び減算部１によって、次のようにして生成される。

まずステップＳＴ３において、動き検出部１０はメモリ９中の参照画像信号２１１から予測方式に対応した動き情報２０８を求める。
次にステップＳＴ４において、動き補償部１１は動き情報２０８に基づいてメモリ９から参照画像データ２１１を読み出し、必要に応じて演算を行って予測画像２１２を生成する。そしてこの予測画像２１２は減算部１において入力画像信号２０１と減算され、予測誤差信号２０２すなわち被符号化画像信号２０３となる。以上の処理を、選択した一方の符号化モードテーブルに登録された全ての符号化モードについて行なう。

そしてステップＳＴ５において、選択した符号化テーブルに登録された全ての符号化モードについて、被符号化画像信号の生成が行なわれて処理が終了したかをチェックする。
そして終了した場合、次のステップＳＴ６において、判定処理部２１は、その選択された符号化モードテーブルに含まれる各符号化モードに対応する被符号化画像信号２０３を評価して判定し、最も符号化効率の良い被符号化画像信号２０３を選択すると共に、これに対応する符号化モードを該被符号化画像領域の符号化モードとして選択して、それぞれ、被符号化画像信号２０３、その識別子を符号化モード情報２０６として出力する。

（３）圧縮符号化処理
次のステップＳＴ７において、直交変換部３は符号化モード判定部２から出力された被符号化画像信号２０３を、ＤＣＴ（離散コサイン変換）などの変換を行い直交変換係数２０４に変換する。そして次のステップＳＴ８において、量子化部４は直交変換係数２０４を所定の量子化ステップで量子化し、圧縮画像データ２０５として出力すると共に、その量子化ステップを示す量子化ステップ情報２０７を出力する。

（４）可変長符号化および多重化
そしてステップＳＴ９において、量子化部４からの圧縮画像データ２０５、符号化モードテーブル選択情報２００、符号化モード判定部２からの符号化モード情報２０６、動き検出部１０からの動き情報２０８などのオーバヘッド情報は、可変長符号化・多重化部５によりビット列に変換され、所定のシンタックスにしたがって多重化され、図５に示すように１ビットの符号化モードテーブル選択情報２００のみが被符号化ヘッダ情報に設定された構造の符号化ビットストリーム２１３として出力される。なお、量子化部４における量子化ステップを示す量子化ステップ情報２０７は、予め可変長符号化・多重化部５側で分かっており登録されても良い。

（５）局所復号処理
なお圧縮画像データは、ステップＳＴ１０，ＳＴ１１において、逆量子化部６、逆直交変換部７を経て、被符号化画像信号の状態へ局所復号され局所復号予測誤差信号２０９を得る。
そして次のステップＳＴ１２において、切替部１２が符号化モード情報２０６にしたがって必要に応じて予測画像２１２を加算部８に送り、加算部８は局所復号予測誤差信号２０９と予測画像２１２との加算を行ない、局所復号画像信号２１０を得る。そして次のステップＳＴ１３により、局所復号画像信号２１０は以降の符号化のためにメモリ９に格納される。

最後のステップＳＴ１４において、このようなステップＳＴ３〜ステップＳＴ１３までの一連の処理が、すべての被符号化画像領域について完了したかをチェックし、すべての被符号画像領域について完了した場合、以上の符号化処理を終了する。
以上のように、この実施の形態１によれば、目標ビットレートなどの条件に応じて適切な符号化モード群毎に予め分けた符号化モードテーブルを複数用意しておき、本装置を起動する際にその条件に応じて符号化モードテーブル選択情報を設定して適切な符号化モードテーブルを選択し、さらにその選択した符号化モードテーブルのうちから最適な符号化モードを選択すると共に、その符号化モードテーブル選択情報を各領域毎の符号化データ中ではなく、被符号化画像ヘッダ情報に設定するようにしたので、符号化モードテーブルを複数設けることによって符号化モードを増やしても符号化データにおけるオーバヘッド情報中の符号化モード情報の量は増えることはなく、効率の良い符号化を行う画像符号化装置を実現できるという効果が得られる。
より具体的に説明すると、例えば、高ビットレートの場合は符号化ビットストリーム全体の情報量に余裕があるので、ある程度符号化モードを多く用意して適応的に符号化できるようにしておけば、多少符号化モード情報分のオーバヘッド情報が多くなっても、全体として符号化効率を向上できることが多くなる。しかし、低ビットレートの場合は、符号化ビットストリーム全体のデータ量を抑えなければならないため、圧縮画像データの情報量に対する符号化モード情報などを含むオーバヘッド情報の情報量の割合が大きくなる。そのため多くの符号化モードを使用すると、圧縮画像データの符号化効率があまり向上しないのに、符号化モード情報等のオーバヘッド情報の負荷が大きくなるということが発生し、符号化効率が低下してしまう。これは、符号化モードテーブルを固定的に１つしか持たない符号化装置では、ビットレート等が変わった場合、符号化効率を低下させないように適応性を持たせることが難しいからである。

なお、この実施の形態１では、ビットレートの通信条件に対応した符号化モードテーブルの切替の例を示したが、この発明ではこれに限定されず、他の条件、例えば画像の時間解像度（例えばフレームレート）や、被符号化画像のサイズ（例えばビデオオブジェクトプレーンの縦横サイズ）などに応じて符号化モードを切替えるようにしても良い。つまり、フレームレートが低くなれば被符号化画像と参照画像との距離が大きくなるので、画像間距離に応じて異なる予測方式を適用することで符号化効率を向上させることができる。また、被符号化画像のサイズは符号化対象の動画像シーケンスの空間解像度を示しており、これは直接、目標ビットレートに反映される量であり、本実施の形態に示した例と同様に符号化モードテーブルの切り替えが有効になるからである。なおこのことは、他の実施の形態でも同様である。

またこの実施の形態１では、低ビットレート、高ビットレート対応の２つの符号化モード群毎に別々の符号化モードテーブルＡ，Ｂを設けて説明したが、この発明では、ビットレート等の条件に応じて符号化モード群が２つより多くても良い。また、複数の符号化モード群を１つの符号化モードテーブルに登録するようにしても良く、この場合、符号化モード判定部２の切替部２４は、符号化モードテーブル選択情報により、複数の符号化モード群から１つの符号化モード群を選択するように切替えを行なうことになる。なおこのことは、他の実施の形態でも同様である。

また、この実施の形態１では、画像フレーム等の被符号化画像ごとに符号化モードテーブル選択情報を被符号化画像ヘッダ情報に設定するように説明したが、本発明では、被符号化画像ごとに限らず、被符号化画像を幾つかまとめた所定の被符号化画像ごとに符号化モードテーブル選択情報を被符号化画像ヘッダ情報に設定して、新たに被符号化画像ヘッダ情報が現れるまでは先に検出された被符号化画像ヘッダ情報の符号化モードテーブル選択情報により符号化モードテーブルを選択したり、あるいは被符号化画像ヘッダ情報の上位階層となる全ての被符号化画像に対するヘッダ情報に符号化モードテーブル選択情報を設定して、全ての被符号化画像（例えばＭＰＥＧ−４のＶＯＬヘッダ情報等）に１つの符号化モードテーブルを選択するようにしても良い。なおこのことは、他の実施の形態でも同様である。

またこの実施の形態１では、選択した一方の符号化テーブルに登録された全ての符号化モードについて動き補償を行って予測誤差信号を得て被符号化画像信号を生成し、その被符号化画像信号を評価、判定して効率の良い符号化モードを選択するようにしたが、この発明ではそのような評価、判定を行わず、他の方法により複数の符号化モードの中から効率の良い符号化モードを選択するようにしても良い。
実施の形態２．

この実施の形態２の画像符号化装置は、図３に示す実施の形態１の画像符号化装置を、ＭＰＥＧ−４の規格対応に改良したものである。
図７は実施の形態２による画像符号化装置の構成を示すブロック図である。図において、３１はＭＢＴＹＰＥ（マクロブロック符号化タイプ）判定部、３２はＤＣＴ部、３３は逆ＤＣＴ部、３４は形状符号化部であり、他の同一番号を付したものは、実施の形態１の図３に示す構成と同一のものである。

図３における実施の形態１の符号化装置との違いを述べれば、この実施の形態２では、符号化モード判定部２としてＭＢＴＹＰＥ判定部３１、直交変換部３としてＤＣＴ部３２、逆直交変換部７として逆ＤＣＴ部３３を設けると共に、新たにＭＰＥＧ−４特有の形状符号化部３４を設け、その圧縮形状データ３０１が可変長符号化・多重化部５で可変長符号化・多重化され、形状符号化部３４からの局所復号形状データ３０３が、ＭＢＴＹＰＥ判定部３１、ＤＣＴ部３２、逆ＤＣＴ部３３、動き補償部１１及び動き検出部１０に入力されるように構成されている。しかしＭＰＥＧ−４でも、被符号化画像として例えばテレビ信号等における矩形の画像フレームを使用する場合には、形状データは矩形で一定となるので、この場合には形状符号化部３４は不要である。

図８は、図７におけるＭＢＴＹＰＥ判定部３１の構成を示すブロック図である。図において、４１は判定処理部、４２はＭＢＴＹＰＥ−１（マクロブロック符号化タイプ１）テーブル、４３はＭＢＴＹＰＥ−２（マクロブロック符号化タイプ２）テーブル、４４はＭＢＴＹＰＥテーブル選択情報３０２により切り替えられる切替部である。

図９は、図８におけるＭＢＴＹＰＥ−１テーブル４２の内容を示す図である。図において、このＭＢＴＹＰＥ−１テーブル４２には、モード番号０〜３（ＭＢＴＹＰＥの値）までのダイレクト予測、後方向予測＋量子化切替、前方向予測＋量子化切替及びスタッフィングの４種類の符号化モード毎に、それぞれの符号化モードによる符号化の際に使用される×印で示されたデータである量子化ステップ差分値（ＤＱＵＡＮＴ）、前方向予測用動きベクトル差分値（ＭＶＤｆ）、後方向予測用動きベクトル差分値（ＭＶＤｂ）、ダイレクト予測用デルタベクトル（ＭＶＤＢ）と、それぞれの符号化モードを示す符号語とが登録されている。

このＭＢＴＹＰＥ−１テーブル４２は、図２に示すＭＢＴＹＰＥ−０テーブルの両方向予測＋量子化切替モードの代わりに、ビットレート合わせのためのスタッフィングを加えたテーブルである。スタッフィングとは、ビットレート合わせのためのダミービットであるスタッフィングビットを加える符号化のことをいい、スタッフィングビット等のスタッフィングに相当する符号語を復号した場合は、スタッフィングの符号語は復号時はただ読み捨てるだけで、その後のマクロブロックデータは存在しない。これにより、マクロブロック単位で細かくビットレートの合わせ込みが可能となる。このため、スタッフィングの符号化モードの場合には、ＭＢＴＹＰＥ−１テーブル４２に示すように、使用すべきデータがない。また各符号化モードの符号語は、各符号化モードの発生確率に基づいて決定されるもので、現時点では最良の符号語は未定である。

図１０は、図８におけるＭＢＴＹＰＥ−２テーブル４３の内容を示す図である。図において、ＭＢＴＹＰＥ−２テーブル４３には、モード番号０〜８までの９種類の符号化モード、すなわちイントラ符号化、イントラ符号化＋量子化切替、両方向予測、両方向予測＋量子化切替、後方向予測、後方向予測＋量子化切替え、前方向予測、前方向予測＋量子化切替え、スタッフィングの符号化モード毎に、それぞれの符号化モードによる符号化の際に使用されるデータである量子化ステップ差分値（ＤＱＵＡＮＴ）、前方向予測用動きベクトル差分値（ＭＶＤｆ）、後方向予測用動きベクトル差分値（ＭＶＤｂ）と、それぞれの符号化モードを示す符号語とが登録されている。

次に動作について説明する。
図１１はこの実施の形態２による画像符号化装置の動作を示すフローチャートである。ここでは実施の形態１の動作フローと異なる点を中心に説明する。
ステップＳＴ２２−１を除き、ステップＳＴ２１〜ＳＴ３４までの処理は、それぞれ実施の形態１における図６のステップＳＴ１〜ＳＴ１４までの処理に相当し、単に処理の名称が異なるのみで実質的には対応するステップと同様の処理が行われる。

そしてこの実施の形態２では、ステップＳＴ２２とＳＴ２３との間に、ステップＳＴ２２−１として形状符号化部３４によるマクロブロック単位の形状符号化処理が入っており、この処理により圧縮形状データ３０１及び局所復号形状データ３０３等が出力される。

図１２は、実施の形態２の画像符号化装置が符号化して出力する符号化ビットストリーム３１６の構造を示す図である。ここでＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ）は、時間軸を含めた動画像オブジェクトであるＶＯ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ）の構成要素であり、複数のＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）からなる。ＶＯＰはＶＯの各時刻の状態を表している。

図５に示す実施の形態１の符号化ビットストリームとの違いを説明すると、この実施の形態２では、ＭＰＥＧ−４に特化しているため、被符号化画像ヘッダ情報がＶＯＰヘッダ情報となり、そのＶＯＰヘッダ情報、またはそれより上位階層であるビデオオブジェクトレイヤのＶＯＬヘッダ情報中に、符号化モード群選択情報としてのＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２が設定される。また各被符号化画像領域１〜Ｎの符号化データのオーバヘッド情報として、さらに圧縮形状データ３０１が設定されている。

なお、ＶＯＬヘッダ情報中にＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２を設定したほうが、ＶＯＰ毎に設けられるＶＯＰヘッダ情報中にＭＢＴＹＰＥテーブル選択情報３０２を設定するより、ＭＢＴＹＰＥテーブル選択情報３０２の設定量が減少し、符号化効率は向上するが、この場合には、ＶＯＰ毎に符号化モードテーブルを選択できなくなる。

なお、オーバヘッド情報の中の符号化モード情報（ＭＢＴＹＰＥ）３０８には、 ＭＢＴＹＰＥテーブル毎に全てのＭＢＴＹＰＥである符号化モードについて対応する符号語が設定される。一方、オーバヘッド情報の中の量子化ステップ情報３０９はＤＱＵＡＮＴを使用する場合のみ設定される。これは例えば、図９におけるＭＢＴＹＰＥ−１テーブルの場合、後方向予測＋量子化切替、前方向予測＋量子化切替の符号化モードの場合である。さらにオーバヘッド情報の中の動き情報は、ＭＶＤｆ、ＭＶＤｂ、ＭＶＤＢを使用する場合のみ設定される。

以上のように、このＭＰＥＧ−４に特化した実施の形態２によれば、実施の形態１に対し実質的に形状符号化部３４が追加され、その圧縮形状データ３０１が可変長符号化や多重化されると共に、局所復号形状データがＤＣＴや、逆ＤＣＴ、動き検出、動き補償の際に使用され、符号化モードテーブルであるＭＢＴＹＰＥテーブルの選択は、実施の形態１の場合と同様に実行されるので、実施の形態１の場合と同様に、符号化モードテーブルを複数設けることによって符号化モードを増やしても、符号化データにおけるオーバヘッド情報の中の符号化モード情報３０８の量は増えることはなく、効率の良い符号化が行える画像符号化装置を実現できるという効果が得られる。
また、この実施の形態２では、２つのＭＢＴＹＰＥテーブル４２、４３の双方にスタッフィングという符号化モードを登録したので、このスタッフィングの符号化モードがない場合と比べて、マクロブロック単位で細かくビットレートの合わせ込みができるという効果が得られる。

また、図１０のＭＢＴＹＰＥ−２テーブル４３は、スタッフィングだけでなく、図２に示す従来提案されているＭＢＴＹＰＥ−０テーブルのダイレクト予測をイントラ符号化に変更すると共に、イントラ符号化、両方向予測、後方向予測、前方向予測の各符号化モードに対し各符号化モードに対し量子化ステップ切替ＯＮ／ＯＦＦのモードを両方分用意したことになるので、これにより、ＭＢＴＹＰＥ−０テーブルと比べて、いずれのモードで符号化を行う場合でも量子化ステップを変更することができ、かつ直前のマクロブロックから量子化ステップの値が変化しない場合は量子化ステップ情報（ＤＱＵＡＮＴ）３０９をビットストリームに多重化する必要がなくなり、効率良く符号化を行うことができるという効果が得られる。

なおこの実施の形態２では、符号化モードテーブルであるＭＢＴＹＰＥテーブルの例として、図９および図１０に示すＭＢＴＹＰＥ−１テーブル及びＭＢＴＹＰＥ−２テーブルを挙げて説明したが、この発明では、これらのテーブルに限定されるものではなく、例えば、ＭＢＴＹＰＥ−１テーブル及びＭＢＴＹＰＥ−２テーブルからスタッフィングの符号化モードを除いたテーブルを使用するようにしたり、あるいはＭＢＴＹＰＥ−２テーブルからスタッフィングの符号化モードを除き、さらにそのテーブル上のイントラ符号化、イントラ符号化＋量子化切替をそれぞれダイレクト予測、ダイレクト予測＋量子化切替に置き換えたダイレクト予測、両方向予測、後方向予測、前方向予測の各符号化モードに対し量子化ステップ切替ＯＮ／ＯＦＦのモードを両方分用意したテーブルを使用するようにしても良い。

また、符号化モードテーブルとして、例えば、図１３に示す内容のＭＢＴＹＰＥ−３テーブルと、図１４に示す内容のＭＢＴＹＰＥ−４テーブルとの２つを選択して使用するようにしても良い。このようにすれば、上記実施の形態１，２の場合と同様に、符号化モードテーブルが複数となるので、符号化モードを増やしても符号化データにおけるオーバへッド情報の中の符号化モード情報の量が増えることがなくなり、与えられた条件のもとで効率の良い符号化を実施することができる。また、ダイレクト予測と両方向予測とが同じような予測効果を狙っていること、符号化ビットレートの条件によっては動きベクトル符号量が少なくてすむダイレクト予測と、より広い探索範囲での予測効率の向上を図る両方向予測とを住み分けて用いる効果が期待できることから、ダイレクト予測と両方向予測とを、ＶＯＬヘッダ情報又はＶＯＰヘッダ情報の中のＭＢＴＹＰＥテーブル選択情報（Ｂ
ＶＯＰ ｍｏｄｅ ｔｙｐｅ）によって適応的に切り替えることにより、量子化切替えをすべてのモードに付加しても、ＭＢＴＹＰＥを表す符号語のビット数を節約できる。

またそれ以外に、上述の図１０に示すＭＢＴＹＰＥ−２テーブルと、例えば図１５に示すＭＢＴＹＰＥ−５テーブルとの２つを選択して使用するようにしても良い。このようにすれば、上記の場合と同様に、符号化モードテーブルが複数となるので、符号化モードを増やしても符号化データにおけるオーバへッド情報の中の符号化モード情報の量が増えることがなくなり、与えられた条件のもとで効率の良い符号化を実施することができる。また、特にこのＭＢＴＹＰＥ−５テーブルは、図１３に示すＭＢＴＹＰＥ−３テーブルに対し、ビットレート合わせのためのスタッフィングを加えたテーブルである。スタッフィングに相当する符号語を復号した場合は、その後のマクロブロックデータは存在しない。これにより、マクロブロック単位で細かくビットレートの合わせ込みが可能となる。スタッフィングの符号語は復号時はただ読み捨てるだけである。

またさらに、上述の図１０に示すＭＢＴＹＰＥ−２テーブルと、例えば図１６に示すＭＢＴＹＰＥ−６テーブルとの２つを選択して使用するようにしても良い。このようにすれば、同様に符号化モードを増やしても符号化データにおけるオーバヘッド情報の中の符号化モード情報の量が増えることがなくなり、与えられた条件のもとで効率の良い符号化を実施することができる。特にＭＢＴＹＰＥ−６テーブルは、図９に示すＭＢＴＹＰＥ−１テーブルのダイレクト予測モードをダイレクト予測用デルタベクトル（ＭＶＤＢ）を使用しない修正ダイレクト予測モードとするテーブルであるため、この修正ダイレクト予測モードを用いることにより、マクロブロック復号の過程では、ダイレクト予測用デルタベクトル（ＭＶＤＢ）の復号過程が全く必要なくなり、オーバヘッド情報の量が減ることになるので、この点でも符号化効率が向上する。

なお、修正ダイレクト予測とは、図１７に示すように、ダイレクト予測とは異なり、ダイレクト予測用デルタベクトル（ＭＶＤＢ）が常に０、すなわちダイレクト予測用デルタベクトル（ＭＶＤＢ）を使用せず、動きベクトル（ＭＶ）のみを使用して、前方向予測用動きベクトル（ＭＶｆ）、後方向予測用動きベクトル（ＭＶｂ）を求める予測方式である。

またさらに、上述の図１０に示すＭＢＴＹＰＥ−２テーブルと、例えば図１８に示すＭＢＴＹＰＥ−７テーブルとの２つを選択して使用するようにしても良い。このようにすれば、同様に符号化モードを増やしても符号化データにおけるオーバヘッド情報の中の符号化モード情報３０８の量が増えることがなくなり、与えられた条件のもとで効率の良い符号化を実施することができる。特に、ＭＢＴＹＰＥ−７テーブルは、図１５に示すＭＢＴＹＰＥ−５テーブルのダイレクト予測モードをデルタベクトル（ＭＶＤＢ）を使用しない修正ダイレクト予測モードに変更したテーブルであるため、修正ダイレクト予測モードを用いることにより、マクロブロック復号の過程では、ダイレクト予測用デルタベクトル（ＭＶＤＢ）の復号過程が全く必要なくなり、オーバヘッド情報の量が減ることになるので、この点でも符号化効率が向上する。

実施の形態３．
図１９は実施の形態３による画像符号化装置の構成を示すブロック図である。図において、５１は量子化方法選択情報４０２により動作するＭＢＴＹＰＥ判定部、５２は量子化方法選択情報４０２により切り替えられる切替部、５３はＨ．２６３タイプ量子化部、５４はＭＰＥＧ−２タイプ量子化部、５５はＨ．２６３タイプ逆量子化部、５６はＭＰＥＧ−２タイプ逆量子化部であり、他の同一番号を付したものは、実施の形態２の図７に示す構成と同一のものである。

つまりこの実施の形態３の画像符号化装置は、図７に示すＭＰＥＧ−４の規格対応の実施の形態２の画像符号化装置の量子化部の構成をより詳細に記載したもので、低ビットレートを使用するＨ．２６３規格対応のＨ．２６３タイプ量子化部５３及びＨ．２６３タイプ逆量子化部５５と、高ビットレートのビットレートを使用するＭＰＥＧ−２対応のＭＰＥＧ−２タイプ量子化部５４及びＭＰＥＧ−２タイプ逆量子化部５６と、それらの両タイプの量子化部を既存の量子化方法選択情報（ｖｉｄｅｏ ｏｂｊｅｃｔ ｌａｙｅｒ ｑｕａｎｔ ｔｙｐｅ）４０２によって切り替わる切替部５２とを設けたことを特徴とするものである。

図２０は、図１９に示す実施の形態３のＭＢＴＹＰＥ判定部５１の構成を示すブロック図である。
この実施の形態３の画像符号化装置のＭＢＴＹＰＥ判定部５１は、基本的には図８に示す実施の形態２のＭＢＴＹＰＥ判定部３１と同じであり、異なる点は、同図に示すように、切替部６１が、ＭＢＴＹＰＥテーブル選択情報３０２の代わりに、既存の量子化方法選択情報４０２によってＭＢＴＹＰＥ−１テーブル４２とＭＢＴＹＰＥ−２テーブル４３を切替えるように動作する点である。なおその他の構成は、実施の形態２の画像符号化装置の構成と同じなので、同一符号を付してその説明は省略する。

次に、動作について説明する。
この実施の形態３の動作は、基本的には、図１１に示す実施の形態２の動作と同じである。ただし、この実施の形態３では、Ｈ．２６３タイプ量子化部５３とＭＰＥＧ−２タイプ量子化部５４とにより量子化方法の切替を行なっているので、以下の処理が異なる。

図２１は図１１のステップＳＴ２８の量子化処理の動作を示すフローチャートである。図２１のステップＳＴ４１において、図１９の切替部５２は、既存の量子化方法選択情報４０２に基づき量子化方法がＨ．２６３方式であるか否かを判断する。
ここで量子化方法選択情報４０２がＨ．２６３の場合は、次のステップＳＴ４２において、Ｈ．２６３タイプ量子化部５３が低ビットレート対応のＭＢＴＹＰＥ−５テーブルにより量子化する。一方、量子化方法選択情報４０２がＭＰＥＧ−２の場合は、ステップＳＴ４３において、ＭＰＥＧ−２タイプ量子化部５４が高ビットレート対応のＭＢＴＹＰＥ−２テーブルにより量子化する。

また、この実施の形態３では、図１１のステップＳＴ３０の逆量子化処理において、切替部５２が図２１のステップＳＴ４１で、量子化方法選択情報４０２がＨ．２６３と判断した場合には、Ｈ．２６３タイプ逆量子化部５５が低ビットレート対応のＭＢＴＹＰＥ−１テーブルにより逆量子化する。一方、量子化方法選択情報４０２がＭＰＥＧ−２と判断した場合には、ＭＰＥＧ−２タイプ逆量子化部５６が高ビットレート対応のＭＢＴＹＰＥ−２テーブルにより逆量子化する。

図２２は、この実施の形態３の画像符号化装置が符号化して出力する符号化ビットストリームの構造を示す図である。図１２に示す実施の形態２の符号化ビットストリームとの違いを説明すると、この実施の形態３では、ＶＯＬヘッダ情報に格納される既存の量子化方法選択情報（ｖｉｄｅｏ ｏｂｊｅｃｔ ｌａｙｅｒ ｑｕａｎｔ ｔｙｐｅ）４０２を、符号化モード群選択情報であるＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２として使用しており、ＶＯＬヘッダ情報、あるいはＶＯＰヘッダ情報に新たにＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２を設けていない点である。
このため、新たにＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２を設けない分だけ、符号化ビットストリーム４１６中のＶＯＬヘッダ情報あるいはＶＯＰヘッダ情報の量が増加せず、符号化ビットストリーム４１６の現状のシンタックスに何のオーバヘッド情報も付け加える必要がなく、符号化効率を向上させることが可能になる。

以上のように、この実施の形態３によれば、量子化方法の切替を行なう点以外は上記実施の形態２の装置と同じであるので、上記実施の形態２の場合と同様に、符号化モードを増やしても符号化データにおけるオーバへッド情報の中の符号化モード情報の量が増えることがなくなり、与えられた条件のもとで効率の良い符号化を実施することができると共に、ＶＯＬヘッダ情報中の既存の量子化方法選択情報４０２をＭＢＴＹＰＥテーブル選択情報３０２として使用するので、符号化ビットストリーム４１６の現状のシンタックスに何のオーバヘッド情報も付け加える必要がなく、符号化効率を向上させた画像符号化装置を実現できるという効果が得られる。

また低ビットレートを使用するＨ．２６３規格と、高ビットレートのビットレートを使用するＭＰＥＧ−２対応にすることによって、低ビットレートから高ビットレートの広範囲のビットレートに対応可能な画像符号化装置を実現できるという効果を奏する。
なお、この実施の形態３では、ＭＢＴＹＰＥ−１テーブル、およびＭＢＴＹＰＥ−２テーブルを例に説明したが、上記実施の形態２で説明したように、その他、低ビットレート対応のＭＢＴＹＰＥテーブルとして、例えばＭＢＴＹＰＥ−０、ＭＢＴＹＰＥ−３、ＭＢＴＹＰＥ−５、ＭＢＴＹＰＥ−６、ＭＢＴＹＰＥ−７等を使用し、高ビットレート対応のＭＢＴＹＰＥテーブルとして、例えばＭＢＴＹＰＥ−４などの符号モードテーブルを用いるようにしても良い。

実施の形態４．
この実施の形態４における画像復号化装置は、ディジタル動画像等の画像シーケンスを構成する各時刻の画像を単位として復号を実施し、各画像は、さらに小さい画像領域に分割した単位で復号するもので、最小の復号単位となる画像領域を符号化装置側の被符号画像領域に対応する“被復号画像領域”と呼び、被復号画像領域の集まりによって構成される各時刻の画像を符号化装置側の被符号化画像に対応する“被復号画像”と呼ぶ。被復号画像領域の例としては、ＩＳＯ／ＩＥＣ １３８１８−２で開示されるマクロブロックがあり、被復号画像の例としては、例えばテレビ信号における画像フレーム、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１７９６で開示されるビデオオブジェクトプレーンなどがある。

この実施の形態４の画像復号装置は、被復号画像領域ごとに決定された符号化モードに基づいて復号を実施する従来の復号化装置に対して、被復号画像ごとに付加された符号化モードテーブル選択情報２００に従って使用する符号化モード群のテーブルを特定し、その特定したテーブル上の符号化モード群の中から各被復号画像領域の符号化モードを特定して復号する機構を備えることを特徴とするもので、上記実施の形態１の画像符号化装置に対応する復号化装置である。

図２３は実施の形態４による圧縮符号化されたディジタル画像を伸張再生する画像復号化装置の構成を示すブロック図である。図において、７１はシンタックス解析・可変長復号部、７２は逆量子化部、７３は逆直交変換部、７４は動き補償部、７５はメモリ、７６は切替部、７７は加算部である。

図２４は、図２３に示すシンタックス解析・可変長復号部７１の構成を示すブロック図である。図において、８１は符号化モードテーブル選択情報復号部、８２は切替部、８３は符号化モードテーブルＡ復号部、８４は符号化モードテーブルＢ復号部、８５は量子化ステップ復号部、８６は動き情報復号部、８７は圧縮画像データ復号部である。

図２５は、図２３に示す動き補償部７４の構成を示すブロック図である。図において、９１は切替部、９２は予測方式１実施部、９３は予測方式２実施部、９４は予測方式３実施部、９５は予測方式４実施部である。

次に動作について説明する。
図２６は、実施の形態４の画像復号化装置における復号化処理の動作を示すフローチャートである。
まずステップＳＴ５１において、図２３のシンタックス解析・可変長復号部７１は、例えば図５に示す構造の符号化ビットストリーム２１３を解析して、圧縮画像データ２０５、量子化ステップ情報２０７、動き情報２０８等の個々の符号化データに切り分けて出力する。その際、マクロブロックなどの被符号化画像領域毎に被予測画像領域画面内位置情報２１４をカウンタなどによりカウントアップしながら出力する。このシンタックス解析処理では、通常は、フレームの集合、フレーム等の単位毎に区切りとなるスタートコードを検出して、それにしたがって該当階層の復号を行なうが、ここでのシンタックス解析処理は、マクロブロック等の被復号画像領域のデータを解析する段階の処理だけを対象とする。また、符号化モード情報２０６は、被復号画像領域よりも上位の被復号画像等のレベルのデータとして復号される。

次にステップＳＴ５２において、逆量子化部７２は圧縮画像データ２０５を量子化ステップ情報２０７を用いて逆量子化を行って直交変換係数２１５を出力する。そしてステップＳＴ５３において、逆直交変換部７３は直交変換係数２１５を逆直交変換し復号予測誤差信号２１６を出力する。直交変換はＤＣＴ（離散コサイン変換）など、符号化装置側で用いるものと同じものを用いる。

次のステップＳＴ５４において、インターモードで符号化されている被復号画像領域の復号の場合、動き補償部７４は、シンタックス解析・可変長復号部７１で符号化ビットストリーム２１３から復号された動き情報２０８、被予測画像領域画面内位置情報２１４を入力して動き補償を行い、メモリ７５中の参照画像２１８から予測画像２１９を取り出して切替部７６に送出する。

なお、ステップＳＴ５２，ＳＴ５３の逆量子化処理及び逆直交変換処理と、ステップＳＴ５４の動き補償処理は、必ずしもこの順のシーケンスでなくても良く、この逆のシーケンスでもあるいは同時に行なうようにしても勿論良い。
次いでステップＳＴ５５において、切替部７６がシンタックス解析・可変長復号部７１で符号化ビットストリーム２１３から復号された符号化モード情報２０６に基づいてインターモードで符号化されたか否かを判断する。そして、インターモードで符号化された被復号画像領域の場合には、ステップＳＴ５６において、切替部７６が加算部７７に予測画像２１９を出力して、加算部７７が逆直交変換部７３からの復号予測誤差信号２１６に予測画像２１９を加算して復号画像信号２１７として出力する。一方イントラモードで符号化された被復号画像領域の場合には、ステップＳＴ５７において、切替部７６が加算部７７に０を出力して、加算部７７は逆直交変換部７３からの復号予測誤差信号２１６をそのまま復号画像信号２１７として出力する。

そして、最後のステップＳＴ５８において、シンタックス解析・可変長復号部７１は、例えば図５に示す被符号化画像ヘッダ情報の検出等に基づいて被復号画像毎の復号処理が終了したか否かを判断し、被符号化画像領域の符号化データの検出等ができた場合には、まだ復号すべき符号化データが残っているので、最初のステップＳＴ５１に戻って以上の処理を繰り返す。一方、被符号化画像領域の符号化データの検出等ができなかった場合には、復号すべき符号化データがないので復号処理を終了する。なおこの復号画像信号２１７は、表示制御部等（図示せず）に送られて、表示デバイス等（図示せず）に出力されるとともに、以降の復号処理において参照画像２１８として用いるためにメモリ７５に書き込まれる。

図２７はシンタックス解析・可変長復号部７１の動作、すなわち図２６のステップＳＴ５１の処理を示すフローチャートである。
まずステップＳＴ６１において、図２４の符号化モードテーブル選択情報復号部８１は、符号化ビットストリーム２１３中の符号化モードテーブル選択情報２００を復号する。
そしてステップＳＴ６２において、切替部８２は復号された符号化モードテーブル選択情報２００に基づいて、例えばその符号化モードテーブル選択情報２００に０がセットされているか否かを判断して出力を切り替える。ここで例えば、切替部８２が符号化モードテーブル選択情報２００に０がセットされていると判断した場合には、符号化ビットストリーム２１３を符号化モードテーブルＡ復号部８３に出力し、次のステップＳＴ６３において、符号化モードテーブルＡ復号部８３は、符号化モードテーブルＡを用いて符号化モード情報２０６を復号する。一方、切替部８２が符号化モードテーブル選択情報２００に１がセットされていると判断した場合には、符号化ビットストリーム２１３を符号化モードテーブルＢ復号部８４に出力し、次のステップＳＴ６４において、符号化モードテーブルＢ復号部８４は、符号化モードテーブルＢを用いて符号化モード情報２０６を復号する。

そしてステップＳＴ６５において、量子化ステップ復号部８５は、符号化ビットストリーム２１３と、復号された符号化モード情報２０６を入力し、符号化モード情報２０６が量子化ステップの変更を指示しているか否かを判断する。そして量子化ステップの変更を指示している場合には、ステップＳＴ６６において、量子化ステップ復号部８５は量子化ステップ情報２０７を復号する。一方、量子化ステップの変更を指示してない場合には、ステップＳＴ６７において、量子化ステップ復号部８５は量子化ステップ情報２０７を０に設定する。そしてステップＳＴ６８において、量子化ステップ復号部８５は、ステップＳＴ６６又はステップＳＴ６７で求めた値に量子化ステップを決定して出力する。

次にステップＳＴ６９において、動き情報復号部８６は、符号化ビットストリーム２１３と、復号された符号化モード情報２０６とを入力し、符号化モード情報２０６が動き情報ありを指示しているか否かを判断する。そして動き情報ありを指示している場合のみ、次のステップＳＴ７０において、動き情報復号部８６は動き情報２０８を復号する。
最後にステップＳＴ７１において、圧縮画像データ復号部８７は、符号化ビットストリーム２１３を入力し圧縮画像データ２０５を復号して出力する。

図２８は、動き補償部７４の動作、すなわち図２６のステップＳＴ５４の動き補償処理を示すフローチャートである。
ステップＳＴ８１、ＳＴ８３、ＳＴ８５において、図２５の切替部９１は、符号化モード情報２０６が予測方式１〜４のいずれを指示しているかを判断する。
ステップＳＴ８１において、符号化モード情報２０６が予測方式１を指示していると判断した場合には、動き情報２０８を予測方式１実施部９２に送り、ステップＳＴ８２において、予測方式１実施部９２は、動き情報２０８及び被予測画像領域画面内位置情報２１４を入力し、予測方式１による予測画像２１７を生成する。

また同様にしてステップＳＴ８３において、符号化モード情報２０６が予測方式２を指示していると判断した場合には、ステップＳＴ８４において、予測方式２実施部９３が予測方式２による予測画像２１７を生成する。

さらにステップＳＴ８５において、符号化モード情報２０６が予測方式３を指示していると判断した場合には、ステップＳＴ８６において、予測方式３実施部９４は予測方式３による予測画像２１７を生成する。そしてステップＳＴ８５において、符号化モード情報２０６が予測方式３を指示していないと判断した場合には、ステップＳＴ８７において、予測方式４実施部９５は予測方式４による予測画像２１７を生成する。

以上のように、この実施の形態４の画像復号化装置によれば、符号化モードテーブル選択情報と符号化モード情報が多重化された符号化ビットストリームを受信し、符号化モードテーブル選択情報に基づき、符号化モードテーブル復号部を選択し、符号化モード情報に基づき予測方式を切り替えて復号するので、オーバヘッド情報の中の符号化モード情報の量を小さくした符号化ビットストリームの場合でも、正確に復号することができ、与えられた条件のもとで効率の良い復号が行える復号化装置を実現できるという効果が得られる。

実施の形態５．
この実施の形態５の画像復号化装置は、図２３に示す実施の形態４の画像復号化装置を、ＭＰＥＧ−４の規格に対応するように改良したもので、実施の形態２のＭＰＥＧ−４の規格対応の画像符号化装置に対応する復号化装置である。
図２９はこの実施の形態５による画像復号化装置の構成を示すブロック図である。図において、１０１はシンタックス解析・可変長復号部、１０２は形状復号部、１０３は逆ＤＣＴ部、１０４は動き補償部であり、他の同一番号を付したものは、実施の形態４の図２３に示す構成と同一のものである。

図２３に示す実施の形態４の復号化装置との違いを述べれば、この実施の形態５では、逆直交変換部として逆ＤＣＴ部１０３を設け、シンタックス解析・可変長復号部１０１が符号化ビットストリーム３１６から符号化モード情報としてＭＢＴＹＰＥ３０８、圧縮画像データとしてブロックデータ３０７、さらに圧縮形状データ３０１を復号する。そして新たにＭＰＥＧ−４特有の形状復号化部１０２を設け、形状復号化部１０２が圧縮形状データ３０１を復号し、復号形状データ３１８を求めるようにしたものである。なお、この復号形状データ３１８は、逆ＤＣＴ部１０３、動き補償部１０４に反映されるように構成されている。またＭＰＥＧ−４でも、被符号化画像として例えばテレビ信号等における矩形の画像フレームを使用する場合には、形状データは矩形で一定となるので、この場合には形状復号部１０２は不要になる。

図３０は、図２９に示す実施の形態５によるシンタックス解析・可変長復号部１０１の構成を示すブロック図である。図において、１１１はＭＢＴＹＰＥテーブル選択情報復号部、１１２は形状データ復号部、１１３はＭＯＤＢ復号部、１１４は切替部、１１５はスキップ時データ設定部、１１６は切替部、１１７はＭＢＴＹＰＥ−１復号部、１１８はＭＢＴＹＰＥ−２復号部、１１９は切替部、１２０はＣＢＰＢ復号部、１２１はＣＢＰＢ零設定部、１２２はスタッフィング読み飛ばし部、１２３は切替部、１２４はＤＱＵＡＮＴ復号部、１２５はＤＱＵＡＮＴ零設定部、１２６は加算部、１２７は動き情報復号部、１２８は加算部、１２９は切替部、１３０はブロックデータ復号部、１３１はブロックデータ零設定部である。
なお、ＭＢＴＹＰＥ−１復号部１１７のＭＢＴＹＰＥ−１テーブル、およびＭＢＴＹＰ−２復号部１１８のＭＢＴＹＰＥ−２テーブルは、各々、実施の形態２の符号化装置で説明した図９および図１０に示す内容である。

図３１は、図２９に示す実施の形態５による動き補償部１０４の構成を示すブロック図である。図において、１４１は切替部、１４２はダイレクト予測部、１４３は前方向予測部、１４４は後方向予測部、１４５は両方向予測部である。

次に動作について説明する。
図３２はこの実施の形態５による復号化装置の動作を示すフローチャートである。図２６に示す実施の形態４の復号化装置の動作を示すフローチャートと異なる点を説明すると、この実施の形態５は、図２９に示すように形状復号部１０２を有するＭＰＥＧ−４対応の復号化装置を構成しているので、ステップＳＴ５１とＳＴ５２との間に、ステップＳＴ５１−１として形状符号化部１０２によるマクロブロック単位の形状復号処理が入り、また、ステップＳＴ５３、ＳＴ５５の処理がそれぞれ逆ＤＣＴ処理、ＭＢＴＹＰＥがインター符号化を指示しているか否かの判断処理に名称が変わるだけで、それらの各ステップでは実質的には図２６に示す対応するステップＳＴ５３、ＳＴ５５と同様の処理が行われる。

なお、ステップＳＴ５３の逆ＤＣＴ処理、ステップＳＴ５４の動き補償処理は、ステップＳＴ５１−１の形状復号処理の際に、形状復号部１０２から出力される復号形状データ３１８を反映して各々の処理を行なう。
また、図２６に示す実施の形態４の場合と同様に、ステップＳＴ５２，ＳＴ５３の逆量子化処理及び逆ＤＣＴ処理と、ステップＳＴ５４の動き補償処理は、必ずしもこの順のシーケンスでなくても良く、この逆のシーケンスでも、あるいは同時に行なうようにしても勿論良い。さらに、ステップＳＴ５１のシンタックス解析処理は、通常、ＶＯ（ビデオオブジェクト）、ＶＯＬ（ビデオオブジェクトレイヤ）、ＶＯＰ（ビデオオブジェクトプレーン）等の単位毎に区切りとなるスタートコードを検出して、それに従って該当階層の復号を行なうが、ここでのシンタックス解析処理は、マクロブロックのデータ、特にＢ−ＶＯＰのデータを解析する段階の処理だけを対象とする。また、図３０におけるＭＢＴＹＰＥテーブル選択情報３０２は、マクロブロックよりも上位のＶＯＰ，ＶＯＬ等のレベルのデータとして復号される。

図３３は、シンタックス解析・可変長復号部１０１の動作、すなわち図３２に示すステップＳＴ５１のシンタックス解析・符号化データ復号処理を示すフローチャートである。
まずステップＳＴ９１において、ＭＢＴＹＰＥテーブル選択情報復号部１１１は、図１２に示す符号化ビットストリーム３１６からＢ−ＶＯＰのＭＢＴＹＰＥテーブル選択情報（Ｂ−ＶＯＰ ｍｏｄｅ ｔｙｐｅ）３０２を復号する。続くステップＳＴ９２において、ＭＯＤＢ復号部１１３は、符号化ビットストリーム３１６のオーバヘッド情報として多重化されているＭＯＤＢ（スキップ判定情報、図１２に図示せず）を復号する。さらに次のステップＳＴ９３において、切替部１１４はその復号したＭＯＤＢ（スキップ判定情報）が０でないか否かを判断する。

ここで、ＭＯＤＢが０であると判断された場合（ステップＳＴ９３で“ＮＯ”）、このマクロブロックはスキップする場合であるため、ステップＳＴ９４において、スキップ時データ設定部１１５は、スキップ時設定処理として以下の１）〜３）の設定を行う。
１）ＭＢＴＹＰＥ＝０（ダイレクト予測）とする。また、ＭＶＤＢ（ダイレクト予測用デルタベクトル）を零にセット。
２）ＣＢＰＢ（マクロブロック内のＤＣＴ実施単位となる８×８ブロックであるサブブロックの符号化すべきＤＣＴ係数の有無を示す情報）を全て零とする。すなわち、ＤＣＴ係数データを全て零にする。
３）以上２つの条件から、ＭＶＤＢ零の条件で得たダイレクト予測による予測画像がそのまま復号画像となる。

これに対し、ＭＯＤＢが０でないと判断された場合（ステップＳＴ９３で“ＹＥＳ”）は、このマクロブロックはスキップしない場合であるため、ステップＳＴ９５において、切替部１１６は上記ステップＳＴ９１で復号したＭＢＴＹＰＥテーブル選択情報３０２が０であるか否かを判断する。そして、ＭＢＴＹＰＥテーブル選択情報３０２が０の場合には（ステップＳＴ９５で“ＹＥＳ”）、ステップＳＴ９６において、ＭＢＴＹＰＥ−１復号部１１７は、ＭＢＴＹＰＥ−１テーブルを選択してＭＢＴＹＰＥの復号を行なう。そしてステップＳＴ９７において、以下に示す復号手順Ｉを行う。一方、ＭＢＴＹＰＥテーブル選択情報３０２が０でない場合には（ステップＳＴ９５で“ＮＯ”）、ステップＳＴ９８において、ＭＢＴＹＰＥ−２復号部１１８は、ＭＢＴＹＰＥ−２テーブルを選択してＭＢＴＹＰＥの復号を行なう。
そしてステップＳＴ９９において、以下に示す復号手順ＩＩを行う。
最後にステップＳＴ１００において、ブロックデータ復号部１３０は、圧縮画像データであるブロックデータ３０７を復号して出力する。

図３４は、図３３に示すステップＳＴ９７の復号手順Ｉを示すフローチャートである。
この処理では、まずステップＳＴ１０１において、図３０の切替部１１９は、ＭＢＴＹＰＥ−１判定（１）処理、すなわち符号化ビットストリーム中の符号化モード情報（ＭＢＴＹＰＥ）３０８に設定された符号語を検出し、図９に示すＭＢＴＹＰＥ−１テーブルを参照して、その検出した符号語に対応したモード番号（ＭＢＴＹＰＥの値）が３であるか否かを判断する。

ここで、モード番号が３である場合には、図９に示すＭＢＴＹＰＥ−１テーブルを参照すると、スタッフィングの符号化モードの場合となるため、ステップＳＴ１０１で“ＹＥＳ”となり、次のステップＳＴ１０２において、スタッフィング読み飛ばし部１２２は、その符号化モードの圧縮画像データをスタッフィングビットとして読み飛ばす処理を行い、図３３のステップＳＴ９２のＭＯＤＢ（スキップ判定情報）の復号処理に戻る。

一方、符号化モードが３でない場合には、図９に示すＭＢＴＹＰＥ−１テーブルを参照すると、スタッフィングモードの符号化モードの場合ではないため、このステップＳＴ１０１では“ＮＯ”となり、次のステップＳＴ１０３において、切替部１１９はＭＯＤＢ（スキップ判定情報）が２であるか否かを判断する。
ここで、ＭＯＤＢが例えば１の場合には、ステップＳＴ１０４において、ＣＢＰＢ零設定部１２１は、マクロブロック内のＤＣＴ実施単位となる８×８ブロックであるサブブロックの符号化すべきＤＣＴ係数の有無を示す情報であるＣＢＰＢを全て零にセットする。

一方、ＭＯＤＢが２の場合には、ステップＳＴ１０５において、ＣＢＰＢ復号部１２０は、ＣＢＰＢを符号化ビットストリーム３１６から復号する。
次のステップＳＴ１０６において、切替部１２３は、ＭＢＴＹＰＥ−１判定（２）処理、すなわち図９に示すＭＢＴＹＰＥ−１テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号（ＭＢＴＹＰＥの値）が１，２であるか否かを判断する。ＭＢＴＹＰＥが１，２である場合のみ、ステップＳＴ１０７において、ＤＱＵＡＮＴ復号部１２４は、ＤＱＵＡＮＴ（量子化ステップ差分値）をビットストリームから復号する。またＭＢＴＹＰＥが１，２でない場合、ステップＳＴ１０８において、ＤＱＵＡＮＴ零設定部１２５は、ＤＱＵＡＮＴを零に設定する。

そしてステップＳＴ１０９において、加算部１２６はＤＱＵＡＮＴ復号部１２４又はＤＱＵＡＮＴ零設定部１２５からの出力と直前のマクロブロックの量子化ステップ情報とを加算し、量子化ステップ情報３０９を出力する。
次のステップＳＴ１１０において、動き情報復号部１２７は、ＭＢＴＹＰＥ−１判定（３）処理、すなわちＭＢＴＹＰＥ−１テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号（ＭＢＴＹＰＥの値）が２であるか否かを判断する。そして、ＭＢＴＹＰＥが２である場合のみ、ステップＳＴ１１１において、動き情報復号部１２７は、ＭＶＤｆ（前方向予測用動きベクトル差分値）をビットストリームから復号し、加算部１２８は、そのＭＶＤｆと直前のマクロブロックの動き情報とを加算し、前方向予測用動き情報３１０として出力する。

次のステップＳＴ１１２において、動き情報復号部１２７は、ＭＢＴＹＰＥ−１判定（４）処理、すなわちＭＢＴＹＰＥ−１テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号が１であるか否かを判断する。そしてＭＢＴＹＰＥが１である場合のみ、ステップＳＴ１１３において、動き情報復号部１２７は、ＭＶＤｂ（後方向予測用動きベクトル差分値）をビットストリームから復号し、加算部１２８は、そのＭＶＤｂと直前のマクロブロックの動き情報とを加算し、後方向予測用動き情報３１０として出力する。

次のステップＳＴ１１４において、動き情報復号部１２７は、ＭＢＴＹＰＥ−１判定（５）処理、すなわちＭＢＴＹＰＥ−１テーブルを参照して、符号化ビットストリーム中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号が０であるか否かを判断する。そしてＭＢＴＹＰＥが０である場合のみ、ステップＳＴ１１５において、動き情報復号部１２７は、ＭＶＤＢ（ダイレクト予測用デルタベクトル）をビットストリームから復号し、ダイレクト予測ベクトル等のダイレクト予測用の動き情報３１０を復元する。以上でこの図３４に示す復号処理は終了する。

なおステップＳＴ１０９は、ステップＳＴ１０７、ステップＳＴ１０８の後であれば、ステップＳＴ１１５の後でも良い。またステップＳＴ１１１、ステップＳＴ１１３における加算部１２８の処理は、ステップＳＴ１０９と同時又は以前でも良く、図３３のステップＳＴ１００と同時又は後でも良い。

そしてステップＳＴ１１５の処理を終了すると、図３３における最後のステップＳＴ１００において、切替部１２９はＣＢＰＢ復号部１２０又はＣＢＰＢ零設定部１２１から出力されたＣＢＰＢ（マクロブロック内のＤＣＴ実施単位となる８×８ブロックであるサブブロックの符号化すべきＤＣＴ係数の有無を示す情報）の内容を判断する。そしてＣＢＰＢが零のブロックの場合は、ブロックデータ零設定部１３１は、ブロックデータ（ＤＣＴ係数データ）を全て零として出力する。一方、ＣＢＰＢが零でないブロックの場合は、ブロックデータ復号部１３０は可変長復号されたブロックデータを出力する。

図３５は、図３３に示すステップＳＴ９９の復号手順ＩＩの処理を示すフローチャートである。
まずステップＳＴ１２１において、切替部１２０はＭＢＴＹＰＥ−２判定（１）処理、すなわち符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）情報に設定された符号語を検出し、図１０に示すＭＢＴＹＰＥ−２テーブルを参照して、その検出した符号語に対応したモード番号が８であるか否かを判断する。
ここでモード番号が８である場合には、図１０に示すＭＢＴＹＰＥ−２テーブルを参照すると、スタッフィングモードの符号化モードの場合となるため、ステップＳＴ１２１で“ＹＥＳ”となり、次のステップ１２２において、スタッフィング読み飛ばし部１２２は、その符号化モードの圧縮画像データをスタッフィングビットとして読み飛ばす処理を行い、図３３のステップＳＴ９２のＭＯＤＢ（スキップ判定情報）の復号処理に戻る。

一方、符号化モードが８でない場合には、図１０に示すＭＢＴＹＰＥ−２テーブルを参照すると、スタッフィングの符号化モードの場合ではないため、このステップＳＴ１２１では“ＮＯ”となり、次のステップ１２３において、切替部１１９はＭＯＤＢ（スキップ判定情報）が２であるか否かを判断する。
ここでＭＯＤＢが例えば１の場合には、図３４に示す場合と同様に、ステップ１２４において、ＣＢＰＢ零設定部１２１は、マクロブロック内のＤＣＴ実施単位となる８×８ブロックであるサブブロックの符号化すべきＤＣＴ係数の有無を示す情報であるＣＢＰＢを全て零にセットする。一方、ＭＯＤＢが２の場合には、ステップＳＴ１２５において、ＣＢＰＢ復号部１２０は、ＣＢＰＢを符号化ビットストリーム３１６から復号する。

次のステップＳＴ１２６において、切替部１２３は、ＭＢＴＹＰＥ−２判定（２）処理、すなわち図１０に示すＭＢＴＹＰＥ−２テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号が１，３，５，７であるか否かを判断する。そしてＭＢＴＹＰＥが１，３，５，７である場合のみ、ステップ１２７において、ＤＱＵＡＮＴ復号部１２４は、ＤＱＵＡＮＴ（量子化ステップ差分値）をビットストリームから復号する。一方ＭＢＴＹＰＥ３０８が１，３，５，７でない場合、ステップＳＴ１２８において、ＤＱＵＡＮＴ零設定部１２５はＤＱＵＡＮＴを零に設定する。

そしてステップ１２９において、加算部１２６はＤＱＵＡＮＴ復号部１２４又はＤＱＵＡＮＴ零設定部１２５からの出力と直前のマクロブロックの量子化ステップ情報とを加算し、量子化ステップ情報３０９を出力する。
次のステップＳＴ１３０において、動き情報復号部１２７は、ＭＢＴＹＰＥ−２判定（３）処理、すなわちＭＢＴＹＰＥ−２テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号が２，３，６，７であるか否かを判断する。そして、ＭＢＴＹＰＥが２，３，６，７である場合のみ、ステップ１３１において、動き情報復号部１２７は、ＭＶＤｆ（前方向予測用動きベクトル差分値）をビットストリームから復号し、加算部１２８はそのＭＶＤｆと直前のマクロブロックの動き情報とを加算し、前方向予測用動き情報３１０として出力する。

次のステップＳＴ１３２において、動き情報復号部１２７は、ＭＢＴＹＰＥ−２判定（４）処理、すなわちＭＢＴＹＰＥ−２テーブルを参照して、符号化ビットストリーム３１６中の符号化モード情報（ＭＢＴＹＰＥ３０８）に設定された符号語に対応したモード番号が２，３，４，５であるか否かを判断する。そしてＭＢＴＹＰＥが２，３，４，５である場合のみ、ステップＳＴ１３３において、動きベクトル復号部１２７は、ＭＶＤｂ（後方向予測用動きベクトル差分値）を符号化ビットストリームから復号し、加算部１２８はそのＭＶＤｂと直前のマクロブロックの動き情報とを加算し、後方向予測用動き情報３１０として出力する。以上でこの図３４に示す復号処理は終了する。

そしてステップＳＴ１３３の処理を終了すると、図３３における最後のステップＳＴ１００において、切替部１２９はＣＢＰＢ復号部１２０又はＣＢＰＢ零設定部１２１から出力されたＣＢＰＢ（マクロブロック内のＤＣＴ実施単位となる８×８ブロックであるサブブロックの符号化すべきＤＣＴ係数の有無を示す情報）の内容を判断する。そしてＣＢＰＢが零のブロックの場合は、ブロックデータ零設定部１３１は、ブロックデータ（ＤＣＴ係数データ）３０７を全て零として出力する。一方、ＣＢＰＢが零でないブロックの場合は、ブロックデータ復号部１３０は可変長復号されたブロックデータ３０７を出力する。

図３６は、動き補償部１０４の動作、すなわち図３２に示すステップＳＴ５４の動き補償処理を示すフローチャートである。なお、この図３６に示す実施の形態５の動き補償処理は、図２８に示す実施の形態４の動き補償処理の予測方式１〜４を具体化したものである。
動き補償部１０４の切替部１４１は、ステップＳＴ１４１，ＳＴ１４３，ＳＴ１４５において、符号化モード情報（ＭＢＴＹＰＥ３０８）に基づいて、その符号化モードがダイレクト予測、前方向予測、後方向予測、両方向予測のいずれかを指示しているか否かを判断する。
まずステップＳＴ１４１において、切替部１４１が符号化モードがダイレクト予測を指示していると判断した場合には、動き情報３１０をダイレクト予測部１４２に送り、ステップＳＴ１４２において、ダイレクト予測部１４２が動き情報３１０及び被予測画像領域画面内位置情報３１７を入力してダイレクト予測による予測画像３２２を生成する。

次にステップＳＴ１４３において、切替部１４１が符号化モードが前方向予測を指示していると判断した場合には、同様にしてステップＳＴ１４４において、前方向予測部１４３が前方向予測による予測画像３２２を生成する。さらにステップＳＴ１４５において、切替部１４１が符号化モードが後方向予測を指示していると判断した場合には、ステップＳＴ１４６において、後方向予測部１４４が後方向予測による予測画像３２２を生成し、符号化モードが後方向予測を指示していないと判断した場合には、ステップＳＴ１４７において、両方向予測部１４５が両方向予測による予測画像３２２を生成する。

以上のように、この実施の形態５によれば、符号化装置側において、目標ビットレート等の条件に応じて適切な符号化モードの組み合わせを定義したＭＢＴＹＰＥ−１テーブルやＭＢＴＹＰＥ−２テーブルの複数の符号化モードテーブルから最適な符号化モードテーブルを選択して、そのテーブルの中から最適な符号化モードを選択して符号化して符号化データを送信してくる場合でも、その複数の符号化モードテーブルの各々に対応して復号を行なうＭＢＴＹＰＥ−１復号部１１７，ＭＢＴＹＰＥ−２復号部１１８を設け、符号化装置側からの符号化ビットストリーム３１６中の符号化モード選択情報であるＭＢＴＹＰＥテーブル選択情報３０２及び符号化モード情報（ＭＢＴＹＰＥ３０８）に基づいて、ＭＢＴＹＰＥ−１復号部１１７，ＭＢＴＹＰＥ−２復号部１１８を選択して、符号化された際の符号化モードにより復号するようにしたので、符号化装置側で複数の符号化モードテーブルにより符号化データにおけるオーバヘッド情報の中の符号化モード情報の量を小さくした場合でも、正確に復号することができ、与えられた条件のもとで効率の良い復号が行える復号化装置を実現できるという効果が得られる。

実施の形態６．
図３７は実施の形態６による画像復号化装置の構成を示すブロック図である。この実施の形態６の画像復号化装置は、図２９に示すＭＰＥＧ−４の規格対応の実施の形態５の画像復号化装置の逆量子化部の構成をより詳細に記載したもので、図１９に示す実施の形態３の画像符号化装置に対応する復号化装置である。図において、１５１はシンタックス解析・可変長復号部、１５２は符号化ビットストリーム４１６から復号した既存の量子化方法選択情報（ｖｉｄｅｏ ｏｂｊｅｃｔ ｌａｙｅｒ ｑｕａｎｔ ｔｙｐｅ）４０２によって切替えられる切替部、１５３は低ビットレートを使用するＨ．２６３規格対応のＨ．２６３タイプ逆量子化部、１５４は高ビットレートのビットレートを使用するＭＰＥＧ−２対応のＭＰＥＧ−２タイプ逆量子化部である。なお、それ以外の構成は、図２９に示す実施の形態５のものと同じなので、同一符号を付して説明は省略する。

図３８は、図３７に示す実施の形態６のシンタックス解析・可変長復号部１５１の構成を示すブロック図である。このシンタックス解析・可変長復号部１５１は、基本的には図３０に示す実施の形態５のシンタックス解析・可変長復号部１０１と同じであり、異なる点は、同図に示すように、量子化方法選択情報復号部１６１が図２２に示す符号化ビットストリーム４１６から既存の量子化方法選択情報（ｖｉｄｅｏ ｏｂｊｅｃｔ ｌａｙｅｒ ｑｕａｎｔ ｔｙｐｅ）４０２を復号し、切替部１６２が、ＭＢＴＹＰＥ選択情報の代わりにその量子化方法選択情報４０２によってＭＢＴＹＰＥ−１復号部１１７とＭＢＴＹＰＥ−２復号部１１８を切替えるように動作するだけである。なお、復号された量子化方法選択情報４０２はシンタックス解析・可変長復号部１５１から図３７の切替部１５２にも出力される。その他の構成は、図３０に示す実施の形態５のシンタックス解析・可変長復号部１０１の構成と同じなので、同一符号を付してその説明は省略する。

次に動作について説明する。
図３９は実施の形態６による画像復号化装置の動作を示すフローチャートである。
この実施の形態６の動作は、ステップＳＴ１５１におけるシンタックス解析・符号化データ復号の処理と、量子化方法を選択して逆量子化するステップＳＴ１５２〜ＳＴ１５４以外の処理は、基本的に図３２に示す実施の形態５の動作と同じであるので異なる点のみを説明する。

つまりこのこの実施の形態６では、量子化方法の切替を行なっているので、ステップＳＴ１５２において、図３７の切替部１５２が符号化ビットストリーム４１６から復号した既存の量子化方法選択情報４０２に基づいて量子化方法がＨ．２６３方式であるか否かを判断する。
量子化方法選択情報４０２がＨ．２６３の場合は、次のステップＳＴ１５３に進み、Ｈ．２６３タイプ逆量子化部１５３が低ビットレート対応のＭＢＴＹＰＥ−１テーブルにより逆量子化する。一方、量子化方法選択情報４０２がＭＰＥＧ−２の場合は、次のステップＳＴ１５４に進み、ＭＰＥＧ−２タイプ逆量子化部１５４が高ビットレート対応のＭＢＴＹＰＥ−２テーブルにより逆量子化する。

図４０は、シンタックス解析・可変長復号部１５１の動作、すなわち図３９に示すステップＳＴ１５１のシンタックス解析・符号化データ復号処理を示すフローチャートである。
この図４０に示す処理は、ＭＢＴＹＰＥテーブル選択情報として量子化方法選択情報４０２を使用している以外は、基本的には図３３に示す実施の形態５の処理と同じであり異なる動作のみを説明する。
まず最初のステップＳＴ１６１において、量子化方法選択情報復号部１６１は、符号化ビットストリーム４１６の中から量子化方法選択情報４０２を復号する。そしてステップＳＴ１６２において、切替部１６２がその量子化方法選択情報４０２に基づいて、符号化の際の量子化がＨ．２６３タイプ量子化であるか否かを判断し、Ｈ．２６３タイプ量子化の場合には、ステップＳＴ９６において、ＭＢＴＹＰＥ−１復号部１１７がＭＢＴＹＰＥ−１の符号化モードテーブルを選択して復号を行なう。一方、Ｈ．２６３タイプ量子化でなく、ＭＰＥＧ−２タイプ量子化の場合には、ステップＳＴ９８において、ＭＢＴＹＰＥ−２復号部１１８がＭＢＴＹＰＥ−２の符号化モードテーブルを選択して復号を行なう。

以上のように、この実施の形態６によれば、量子化方法の切替を行なう点以外は上記実施の形態５の画像復号化装置と同じであるので、上記実施の形態５の場合と同様に、符号化装置側で複数の符号化モードテーブルにより符号化データにおけるオーバヘッド情報の中の符号化モード情報の量を小さくした場合でも、正確に復号することができると共に、ＶＯＬヘッダ情報の中の既存の量子化方法選択情報４０２を符号化モード群選択情報であるＭＢＴＹＰＥテーブル選択情報（Ｂ ＶＯＰ ｍｏｄｅ ｔｙｐｅ）として使用するので、符号化ビットストリーム４１６の現状のシンタックスに何のオーバヘッド情報も付け加える必要がなく、与えられた条件のもとで効率の良い復号が行える復号化装置を実現できるという効果が得られる。

なお、この実施の形態６では、ＭＢＴＹＰＥ−１テーブル、およびＭＢＴＹＰＥ−２テーブルを例に説明したが、上記実施の形態２で説明したように、その他、低ビットレート対応のＭＢＴＹＰＥテーブルとして、例えばＭＢＴＹＰＥ−０、ＭＢＴＹＰＥ−３、ＭＢＴＹＰＥ−５、ＭＢＴＹＰＥ−６、ＭＢＴＹＰＥ−７などを使用する一方、高ビットレート対応のＭＢＴＹＰＥテーブルとして、例えばＭＢＴＹＰＥ−４などの符号モードテーブルを用いるようにしても勿論良い。

画像符号化装置と画像復号化装置との間で一般に送受信される従来の符号化ビットストリームの構造を示す図である。 ＶＭ８．０におけるＢ−ＶＯＰ符号化用ＭＢＴＹＰＥテーブル（ＭＢＴＹＰＥ−０）を示す図である。 この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態１による符号化モード判定部の構成を示すブロック図である。 この発明の実施の形態１による符号化ビットストリームの構造を示す図である。 この発明の実施の形態１による画像符号化装置の動作を示すフローチャートである。 この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態２によるＭＢＴＹＰＥ判定部の構成を示すブロック図である。 この発明の実施の形態２によるＭＢＴＹＰＥ−１テーブルの内容を示す図である。 この発明の実施の形態２によるＭＢＴＹＰＥ−２テーブルの内容を示す図である。 この発明の実施の形態２による画像符号化装置の動作を示すフローチャートである。 この発明の実施の形態２よる符号化ビットストリームの構造を示す図である。 ＭＢＴＹＰＥ−３テーブルの内容を示す図である。 ＭＢＴＹＰＥ−４テーブルの内容を示す図である。 ＭＢＴＹＰＥ−５テーブルの内容を示す図である。 ＭＢＴＹＰＥ−６テーブルの内容を示す図である。 修正ダイレクト予測を説明する図である。 ＭＢＴＹＰＥ−７テーブルの内容を示す図である。 この発明の実施の形態３による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態３によるＭＢＴＹＰＥ判定部の構成を示すブロック図である。 この発明の実施の形態３による量子化処理の動作を示すフローチャートである。 この発明の実施の形態３よる符号化ビットストリームの構造を示す図である。 この発明の実施の形態４による画像復号化装置の構成を示すブロック図である。 この発明の実施の形態４によるシンタックス解析・可変長復号部の構成を示すブロック図である。 この発明の実施の形態４による動き補償部の構成を示すブロック図である。 この発明の実施の形態４による画像復号化装置の動作を示すフローチャートである。 この発明の実施の形態４によるシンタックス解析・可変長復号部の動作を示すフローチャートである。 この発明の実施の形態４による動き補償部の動作を示すフローチャートである。 この発明の実施の形態５による画像復号化装置の構成を示すブロック図である。 この発明の実施の形態５によるシンタックス解析・可変長復号部の構成を示すブロック図である。 この発明の実施の形態５による動き補償部の構成を示すブロック図である。 この発明の実施の形態５による復号化装置の動作を示すフローチャートである。 この発明の実施の形態５によるシンタックス解析・可変長復号部の動作を示すフローチャートである。 この発明の実施の形態５によるＭＢＴＹＰＥ−５テーブルに基づく復号手順Ｉを示すフローチャートである。 この発明の実施の形態５によるＭＢＴＹＰＥ−６テーブルに基づく復号手順ＩＩを示すフローチャートである。 この発明の実施の形態５による動き補償部の動作を示すフローチャートである。 この発明の実施の形態６による画像復号化装置の構成を示すブロック図である。 この発明の実施の形態６によるシンタックス解析・可変長復号部の構成を示すブロック図である。 この発明の実施の形態６による画像復号化装置の動作を示すフローチャートである。 この発明の実施の形態６によるシンタックス解析・可変長復号部の動作を示すフローチャートである。

符号の説明

２ 符号化モード判定部、２２，２３ 符号化モードテーブル、２１３ 符号化ビットストリーム。

Claims (9)

1. 入力画像を所定の領域ごとに符号化モードを切替えながら符号化する画像符号化方法において、符号化を実施する複数の符号化モード群を登録した複数の符号化モードテーブルを有する符号化判定部から、外部より設定した所定の符号化モードテーブル選択情報に基づき上記符号化モードテーブルを選択し、該選択した符号化モードテーブルに登録された全ての符号化モードに対応して上記入力画像を各領域ごとに符号化して符号化ビットストリームを生成し、該符号化ビットストリームに上記符号化モードテーブル選択情報を付加して出力することを特徴とする画像符号化方法。
2. 入力画像を所定の領域ごとに符号化モードを切替えながら符号化する画像符号化装置において、符号化を実施する複数の符号化モード群を登録した複数の符号化モードテーブルと、外部より設定した所定の符号化モードテーブル選択情報に基づき符号化処理に使用する符号化モードテーブルを選択する符号化モードテーブル選択手段と、該選択された符号化モードテーブルに登録された符号化モードの中から上記各領域ごとに符号化モードを選択する符号化モード選択手段と、該選択された符号化モードに基づき上記各領域ごとに符号化して符号化データを出力する符号化手段と、上記符号化モードテーブル選択情報、符号化モード及び上記符号化データを多重化して符号化ビットストリームとして出力する多重化手段とを備えたことを特徴とする画像符号化装置。
3. 複数の符号化モードテーブルは、被符号化画像単位であるマクロブロックごとに選択可能な複数の符号化モードを登録しており、符号化モードテーブル選択手段は、ビデオオブジェクトの各時刻の状態を表す画像であって複数の上記マクロブロックから構成されるビデオオブジェクトプレーンごとに、外部から入力された符号化モードテーブル選択情報に基づいて上記複数の符号化モードテーブルから符号化に使用する符号化モードテーブルを選択することを特徴とする請求項２記載の画像符号化装置。
4. 符号化手段は、複数の異なる量子化手段と、外部から与えられた量子化方法選択情報に基づいて上記複数の量子化手段のうちいずれかを選択する量子化選択手段とを備え、符号化の際、上記選択した量子化手段を用いて量子化を行う一方、符号化モードテーブル選択手段は符号化モードテーブル選択情報として上記量子化方法選択情報を使用することを特徴とする請求項２または請求項３記載の画像符号化装置。
5. 画像を圧縮符号化した符号化ビットストリームを入力して所定の領域ごとに画像を復号する画像復号化方法において、上記符号化ビットストリームから符号化モードテーブル選択情報を復号し、上記各領域の符号化の際に選択可能な符号化モードを登録した複数の符号化モードテーブルのうちから上記符号化モードテーブル選択情報で指示される符号化モードテーブルを選択し、該選択した符号化モードテーブルに登録された符号化モードに基づいて上記符号化ビットストリームから各領域ごとの符号化データを復号することを特徴とする画像復号化方法。
6. 画像を圧縮符号化した符号化ビットストリームを入力して所定の領域ごとに画像を復号する画像復号化装置において、上記各領域の符号化の際に選択可能な符号化モードを登録した複数の符号化モードテーブルと、上記符号化ビットストリームから符号化モードテーブル選択情報を復号する符号化モードテーブル選択情報復号手段と、複数の符号化モードテーブルのなかから上記符号化モードテーブル選択情報で指示される符号化モードテーブルを選択する符号化モードテーブル選択手段と、該選択した符号化モードテーブルに登録された符号化モードを用いて上記符号化ビットストリームから上記各領域ごとに符号化時に使用された符号化モードを復号する符号化モード復号手段と、該復号した符号化モードに基づいて上記符号化ビットストリームから各領域ごとの符号化データを復号する復号化手段とを備えたことを特徴とする画像復号化装置。
7. 複数の符号化モードテーブルは、被符号化画像単位であるマクロブロックごとに選択可能な符号化モードを登録しており、符号化モードテーブル選択手段は、符号化モードテーブル選択情報復号手段で復号された符号化モードテーブル選択情報に基づいて、ビデオオブジェクトの各時刻の状態を表す画像であって複数の上記マクロブロックから構成されるビデオオブジェクトプレーンごとに、複数の符号化モードテーブルのうちから復号に使用する符号化モードテーブルを選択することを特徴とする請求項６記載の画像復号化装置。
8. 復号化手段は、複数の異なる逆量子化手段と、入力した符号化ビットストリームから復号した量子化方法選択情報に基づいて上記複数の逆量子化手段のうちのいずれかを選択する逆量子化選択手段とを備え、復号の際、上記選択した逆量子化手段を用いて逆量子化を行う一方、符号化モードテーブル選択手段は符号化モードテーブル選択情報として上記量子化方法選択情報を使用することを特徴とする請求項６または請求項７記載の画像復号化装置。
9. 複数の符号化モードテーブルは、所定の基準ビットレートより低ビットレート対応の符号化モードが登録された低ビットレート対応符号化モードテーブルと、上記基準ビットレートより高ビットレート対応の符号化モードが登録された高ビットレート対応符号化モードテーブルとから構成されることを特徴とする請求項６から請求項８のうちのいずれか１項記載の画像復号化装置。

Images