JP2020017972A - 動画像復号装置、動画像復号方法、動画像符号化装置、および、動画像符号化方法 - Google Patents

Abstract

【課題】変換ブロックサイズを適応的に切り替えて圧縮符号化および復号する装置、および方法を提供する。【解決手段】動画像の画像を複数のブロックに分割し圧縮符号化することにより生成されたビットストリームを復号して、動画像を取得する動画像復号装置であって、動き補償予測部７０と、逆変換および逆量子化を行い復号予測差分信号を生成する変換部６６と、動画像を生成する加算部７３と、圧縮パラメータと、予測パラメータと、第１、第２の２値化テーブルを特定する第１、第２の識別情報と、を可変長復号する可変長復号部６１を備える。可変長復号部６１は、第１の識別情報に基づいて、予め記憶された第１の２値化テーブルを特定した２値化テーブルを用いて可変長復号された圧縮パラメータを取得し、第２の識別情報に基づいて、予め記憶された第２の２値化テーブルを特定した２値化テーブルを用いて可変長復号された予測パラメータを取得する。【選択図】図８

Description

この発明は、動画像を所定領域に分割して、領域単位で符号化を行う動画像符号化装置および動画像符号化方法と、符号化された動画像を所定領域単位で復号する動画像復号装置および動画像復号方法と、それに用いられる符号化データに関するものである。

従来、ＭＰＥＧおよびＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、映像信号の各フレームを、輝度信号１６×１６画素と対応する色差信号８×８画素分をまとめたブロックデータ（マクロブロックと呼ぶ）を単位として、動き補償技術および直交変換・変換係数量子化技術に基づいて圧縮する方法が採用されている。

動き補償技術とは、ビデオフレーム間に存在する高い相関を利用してマクロブロック毎に時間方向の信号の冗長度を削減する技術であり、過去に符号化済みのフレームを参照画像としてメモリ内に蓄積しておき、参照画像中の所定の探索範囲内から、動き補償予測の対象となっている現マクロブロックと最も差分電力の小さいブロック領域を探索して、現マクロブロックの空間位置と参照画像中の探索結果ブロックの空間位置とのずれを動きベクトルとして符号化する技術である。

また、直交変換・変換係数量子化技術では、上述の動き補償予測の結果得られた予測信号を現マクロブロックから差し引いて得た差分信号を直交変換および量子化することによって、情報量の圧縮を実現している。

ＭＰＥＧ−４ Ｖｉｓｕａｌでは、動き補償予測の単位となるブロックサイズの最小値は８×８画素であり、直交変換にも８×８画素サイズのＤＣＴ（離散コサイン変換）が用いられている。これに対し、ＭＰＥＧ−４ ＡＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＩＴＵ−Ｔ Ｈ．２６４）では、オブジェクトの境界等、空間方向の画素間相関が小さい領域でも効率よく符号化を行うために、８×８画素より小さいブロックサイズでの動き補償予測が用意され、また、直交変換は８×８画素と４×４画素の整数精度のＤＣＴをマクロブロック単位に適応的に切り替えて圧縮符号化することができるようになっている。

このような従来の国際標準映像符号化方式では、マクロブロックサイズが固定されていることに起因して、特に画像の解像度が高くなった場合に、固定のマクロブロックサイズではマクロブロックがカバーする領域が局所化しやすい。すると、周辺マクロブロックで同じ符号化モードになったり、同じ動きベクトルが割り当てられたりするケースが発生する。このようなケースでは、予測効率が上がらないにもかかわらず符号化される符号化モード情報および動きベクトル情報等のオーバーヘッドが増えるため、符号化器全体としては符号化効率が低下する。

そのような問題に対して、画像の解像度または内容によってマクロブロックサイズを切り替えるようにした装置があった（例えば、特許文献１参照）。特許文献１に係る動画像符号化装置では、マクロブロックサイズに応じて選択可能な直交変換ブロックサイズまたは直交変換ブロックサイズのセットを切り替えて圧縮符号化することができるようになっている。

国際公開ＷＯ２００７／０３４９１８号

しかしながら、従来の国際標準映像符号化方式および特許文献１に係る発明では、マクロブロック内で複数の直交変換ブロックサイズを切り替えて変換することができないため、特にマクロブロック内に動きまたは絵柄の異なるオブジェクトが存在する場合に符号化効率が低下するという課題があった。

この発明は、上記のような課題を解決するためになされたもので、マクロブロック内の動き補償予測の単位となる領域毎に、直交変換ブロックサイズを適応的に切り替えて圧縮符号化することのできる動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法および符号化データを得ることを目的とする。

この発明に係る動画像復号装置は、動画像の画像を複数のブロックに分割し圧縮符号化することにより生成されたビットストリームを復号して、動画像を取得する動画像復号装置であって、ブロックに対してインター予測処理を行ってブロックのインター予測画像を生成する動き補償予測部と、ブロックに対する変換ブロックサイズを示す圧縮パラメータに基づいて、ブロックの圧縮データに対して逆変換および逆量子化を行い、復号予測差分信号を生成する変換部と、復号予測差分信号にインター予測画像を加算して動画像を生成する加算部と、圧縮パラメータと、予測パラメータと、圧縮パラメータに２値文字列を割り当てる第１の複数の２値化テーブルから１つの２値化テーブルを特定する第１の識別情報と、予測パラメータに２値文字列を割り当てる第２の複数の２値化テーブルから１つの２値化テーブルを特定する第２の識別情報と、を可変長復号する可変長復号部を備え、可変長復号部は、第１の識別情報に基づいて、予め記憶された第１の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された圧縮パラメータを取得し、第２の識別情報に基づいて、予め記憶された第２の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された予測パラメータを取得することを特徴とするものである。

この発明によれば、動画像の画像を複数のブロックに分割し圧縮符号化することにより生成されたビットストリームを復号して、動画像を取得する動画像復号装置であって、ブロックに対してインター予測処理を行ってブロックのインター予測画像を生成する動き補償予測部と、ブロックに対する変換ブロックサイズを示す圧縮パラメータに基づいて、ブロックの圧縮データに対して逆変換および逆量子化を行い、復号予測差分信号を生成する変換部と、復号予測差分信号にインター予測画像を加算して動画像を生成する加算部と、圧縮パラメータと、予測パラメータと、圧縮パラメータに２値文字列を割り当てる第１の複数の２値化テーブルから１つの２値化テーブルを特定する第１の識別情報と、予測パラメータに２値文字列を割り当てる第２の複数の２値化テーブルから１つの２値化テーブルを特定する第２の識別情報と、を可変長復号する可変長復号部を備え、可変長復号部は、第１の識別情報に基づいて、予め記憶された第１の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された圧縮パラメータを取得し、第２の識別情報に基づいて、予め記憶された第２の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された予測パラメータを取得するようにしたので、マクロブロック内の動き補償予測の単位となる領域毎に、変換ブロックサイズを適応的に切り替えて圧縮符号化することのできる動画像復号装置を得ることができる。

この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。 時間方向の予測符号化を行うピクチャの符号化モードの一例を示す図である。 時間方向の予測符号化を行うピクチャの符号化モードの別の例を示す図である。 実施の形態１に係る動画像符号化装置の動き補償予測部の内部構成を示すブロック図である。 符号化モードに応じた動きベクトルの予測値の決定方法を説明する図である。 符号化モードに応じた変換ブロックサイズの適応化の一例を示す図である。 符号化モードに応じた変換ブロックサイズの適応化の別の例を示す図である。 実施の形態１に係る動画像符号化装置の変換・量子化部の内部構成を示すブロック図である。 この発明の実施の形態１に係る動画像復号装置の構成を示すブロック図である。 この発明の実施の形態２に係る動画像符号化装置の可変長符号化部の内部構成を示すブロック図である。 ２値化テーブルの一例を示す図であり、更新前の状態を示す。 確率テーブルの一例を示す図である。 状態遷移テーブルの一例を示す図である。 コンテキスト識別情報の生成手順を説明する図であり、図１３（ａ）は２値化テーブルを二分木表現で表した図、図１３（ｂ）は符号化対象マクロブロックと周辺ブロックの位置関係を示す図である。 ２値化テーブルの一例を示す図であり、更新後の状態を示す。 この発明の実施の形態２に係る動画像復号装置の可変長復号部の内部構成を示すブロック図である。 この発明の実施の形態３に係る動画像符号化装置の動き補償予測部が備える補間画像生成部の内部構成を示すブロック図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
本実施の形態１では、映像の各フレーム画像を入力として用いて、近接フレーム間で動き補償予測を行い、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施した後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、そのビットストリームを復号する動画像復号装置について説明する。

図１は、この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。図１に示す動画像符号化装置は、入力映像信号１の各フレーム画像をマクロブロックサイズ４の複数ブロックに分割したマクロブロック画像を、符号化モード７に応じて１以上のサブブロックに分割したマクロ／サブブロック画像５を出力するブロック分割部２と、マクロ／サブブロック画像５が入力されると、当該マクロ／サブブロック画像５に対し、イントラ予測用メモリ２８の画像信号を用いてフレーム内予測して予測画像１１を生成するイントラ予測部８と、マクロ／サブブロック画像５が入力されると、当該マクロ／サブブロック画像５に対し、動き補償予測フレームメモリ１４の参照画像１５を用いて動き補償予測を行って予測画像１７を生成する動き補償予測部９と、符号化モード７に応じてマクロ／サブブロック画像５をイントラ予測部８または動き補償予測部９のいずれか一方に入力する切替部６と、ブロック分割部２が出力するマクロ／サブブロック画像５から、イントラ予測部８または動き補償予測部９のいずれか一方が出力する予測画像１１，１７を差し引いて、予測差分信号１３を生成する減算部１２と、予測差分信号１３に対し、変換および量子化処理を行って圧縮データ２１を生成する変換・量子化部１９と、圧縮データ２１をエントロピ符号化してビットストリーム３０へ多重化する可変長符号化部２３と、圧縮データ２１を逆量子化および逆変換処理して局所復号予測差分信号２４を生成する逆量子化・逆変換部２２と、逆量子化・逆変換部２２にイントラ予測部８または動き補償予測部９のいずれか一方が出力する予測画像１１，１７を加算して局所復号画像信号２６を生成する加算部２５と、局所復号画像信号２６を格納するイントラ予測用メモリ２８と、局所復号画像信号２６をフィルタ処理して局所復号画像２９を生成するループフィルタ部２７と、局所復号画像２９を格納する動き補償予測フレームメモリ１４とを含む。

符号化制御部３は、各部の処理に必要な情報（マクロブロックサイズ４、符号化モード７、最適符号化モード７ａ、予測パラメータ１０、最適予測パラメータ１０ａ，１８ａ、圧縮パラメータ２０、最適圧縮パラメータ２０ａ）を出力する。以下、マクロブロックサイズ４および符号化モード７の詳細を説明する。その他の情報の詳細は後述する。

符号化制御部３は、ブロック分割部２へ、入力映像信号１の各フレーム画像のマクロブロックサイズ４を指定すると共に、符号化対象のマクロブロック毎に、ピクチャタイプに応じて選択可能なすべての符号化モード７を指示する。
なお、符号化制御部３は符号化モードのセットの中から所定の符号化モードを選択可能であるが、この符号化モードのセットは任意であり、例えば以下に示す図２Ａまたは図２Ｂのセットの中から所定の符号化モードを選択可能とする。

図２Ａは、時間方向の予測符号化を行うＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャの符号化モードの例を示す図である。図２Ａにおいて、ｍｂ＿ｍｏｄｅ０〜２は、マクロブロック（Ｍ×Ｌ画素ブロック）をフレーム間予測により符号化するモード（ｉｎｔｅｒ）である。ｍｂ＿ｍｏｄｅ０はマクロブロック全体に対して１つの動きベクトルを割り当てるモードであり、ｍｂ＿ｍｏｄｅ１，２はそれぞれマクロブロックを水平または垂直に等分し、分割された各サブブロックにそれぞれ異なる動きベクトルを割り当てるモードである。
ｍｂ＿ｍｏｄｅ３は、マクロブロックを４分割し、分割された各サブブロックに異なる符号化モード（ｓｕｂ＿ｍｂ＿ｍｏｄｅ）を割り当てるモードである。

ｓｕｂ＿ｍｂ＿ｍｏｄｅ０〜４は、マクロブロックの符号化モードでｍｂ＿ｍｏｄｅ３が選ばれたときに、当該マクロブロックを４分割した各サブブロック（ｍ×ｌ画素ブロック）に対してそれぞれ割り当てられる符号化モードであり、ｓｕｂ＿ｍｂ＿ｍｏｄｅ０はサブブロックをフレーム内予測により符号化するモード（ｉｎｔｒａ）である。それ以外はフレーム間予測により符号化するモード（ｉｎｔｅｒ）であり、ｓｕｂ＿ｍｂ＿ｍｏｄｅ１はサブブロック全体に対して１つの動きベクトルを割り当てるモード、ｓｕｂ＿ｍｂ＿ｍｏｄｅ２，３はそれぞれサブブロックを水平または垂直に等分し、分割された各サブブロックにそれぞれ異なる動きベクトルを割り当てるモード、ｓｕｂ＿ｍｂ＿ｍｏｄｅ４はサブブロックを４分割し、分割された各サブブロックに異なる動きベクトルを割り当てるモードである。

また、図２Ｂは、時間方向の予測符号化を行うＰピクチャの符号化モードの別の例を示す図である。図２Ｂにおいて、ｍｂ＿ｍｏｄｅ０〜６は、マクロブロック（Ｍ×Ｌ画素ブロック）をフレーム間予測により符号化するモード（ｉｎｔｅｒ）である。ｍｂ＿ｍｏｄｅ０はマクロブロック全体に対して１つの動きベクトルを割り当てるモードであり、ｍｂ＿ｍｏｄｅ１〜６はそれぞれマクロブロックを水平、垂直または対角方向に分割し、分割された各サブブロックにそれぞれ異なる動きベクトルを割り当てるモードである。
ｍｂ＿ｍｏｄｅ７は、マクロブロックを４分割し、分割された各サブブロックに異なる符号化モード（ｓｕｂ＿ｍｂ＿ｍｏｄｅ）を割り当てるモードである。

ｓｕｂ＿ｍｂ＿ｍｏｄｅ０〜８は、マクロブロックの符号化モードでｍｂ＿ｍｏｄｅ７が選ばれたときに、当該マクロブロックを４分割した各サブブロック（ｍ×ｌ画素ブロック）に対してそれぞれ割り当てられる符号化モードであり、ｓｕｂ＿ｍｂ＿ｍｏｄｅ０はサブブロックをフレーム内予測により符号化するモード（ｉｎｔｒａ）である。それ以外はフレーム間予測により符号化するモード（ｉｎｔｅｒ）であり、ｓｕｂ＿ｍｂ＿ｍｏｄｅ１はサブブロック全体に対して１つの動きベクトルを割り当てるモード、ｓｕｂ＿ｍｂ＿ｍｏｄｅ２〜７はそれぞれサブブロックを水平、垂直または対角方向に分割し、分割された各サブブロックにそれぞれ異なる動きベクトルを割り当てるモード、ｓｕｂ＿ｍｂ＿ｍｏｄｅ８はサブブロックを４分割し、分割された各サブブロックに異なる動きベクトルを割り当てるモードである。

ブロック分割部２は、動画像符号化装置に入力された入力映像信号１の各フレーム画像を、符号化制御部３から指定されるマクロブロックサイズ４のマクロブロック画像に分割する。さらにブロック分割部２は、符号化制御部３から指定される符号化モード７がマクロブロックを分割したサブブロックに対して異なる符号化モードを割り当てるモード（図２Ａのｓｕｂ＿ｍｂ＿ｍｏｄｅ１〜４または図２Ｂのｓｕｂ＿ｍｂ＿ｍｏｄｅ１〜８）を含む場合には、マクロブロック画像を符号化モード７が示すサブブロック画像に分割する。よって、ブロック分割部２から出力するブロック画像は、符号化モード７に応じてマクロブロック画像またはサブブロック画像のいずれか一方となる。以下、このブロック画像をマクロ／サブブロック画像５と呼ぶ。

なお、入力映像信号１の各フレームの水平または垂直サイズがマクロブロックサイズ４のそれぞれ水平サイズまたは垂直サイズの整数倍ではないときには、入力映像信号１の各フレームに対し、フレームサイズがマクロブロックサイズの整数倍になるまで水平方向または垂直方向に画素を拡張したフレーム（拡張フレーム）を生成する。拡張領域の画素の生成方法として例えば、垂直方向に画素を拡張する場合には元のフレームの下端の画素を繰り返して埋める、あるいは、固定の画素値（グレー、黒、白など）をもつ画素で埋める、などの方法がある。水平方向に画素を拡張する場合も同様に、元のフレームの右端の画素を繰り返して埋める、あるいは、固定の画素値（グレー、黒、白など）をもつ画素で埋める、などの方法がある。入力映像信号１の各フレームに対し生成されたフレームサイズがマクロブロックサイズの整数倍である拡張フレームは、入力映像信号１の各フレーム画像に代わってブロック分割部２へ入力される。

なお、マクロブロックサイズ４および入力映像信号１の各フレームのフレームサイズ（水平サイズおよび垂直サイズ）は、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にビットストリームに多重化するため、可変長符号化部２３へ出力される。

なお、マクロブロックサイズの値を直接ビットストリームに多重化せずに、プロファイル等で規定するようにしてもよい。この場合にはシーケンス単位にプロファイルを識別するための識別情報がビットストリームに多重化される。

切替部６は、符号化モード７に応じてマクロ／サブブロック画像５の入力先を切り替えるスイッチである。この切替部６は、符号化モード７がフレーム内予測により符号化するモード（以下、フレーム内予測モードと呼ぶ）である場合には、マクロ／サブブロック画像５をイントラ予測部８へ入力し、符号化モード７がフレーム間予測により符号化するモード（以下、フレーム間予測モードと呼ぶ）である場合にはマクロ／サブブロック画像５を動き補償予測部９へ入力する。

イントラ予測部８は、入力されたマクロ／サブブロック画像５について、マクロブロックサイズ４で指定される符号化対象のマクロブロックまたは符号化モード７で指定されるサブブロックの単位でフレーム内予測を行う。なお、イントラ予測部８は、符号化制御部３から指示される予測パラメータ１０に含まれるすべてのイントラ予測モードについて、イントラ予測用メモリ２８内に格納されているフレーム内の画像信号を用いて、それぞれ予測画像１１を生成する。

ここで、予測パラメータ１０の詳細を説明する。符号化モード７がフレーム内予測モードの場合は、符号化制御部３が、その符号化モード７に対応する予測パラメータ１０としてイントラ予測モードを指定する。このイントラ予測モードには、例えばマクロブロックまたはサブブロック内を４×４画素ブロック単位にして、イントラ予測用メモリ２８内の画像信号の単位ブロック周囲の画素を用いて予測画像を生成するモード、マクロブロックまたはサブブロック内を８×８画素ブロック単位にして、イントラ予測用メモリ２８内の画像信号の単位ブロック周辺の画素を用いて予測画像を生成するモード、マクロブロックまたはサブブロック内を１６×１６画素ブロック単位にして、イントラ予測用メモリ２８内の画像信号の単位ブロック周辺の画素を用いて予測画像を生成するモード、マクロブロックまたはサブブロック内を縮小した画像から予測画像を生成するモード等がある。

動き補償予測部９は、動き補償予測フレームメモリ１４に格納されている１フレーム以上の参照画像データの中から予測画像生成に用いる参照画像１５を指定して、この参照画像１５とマクロ／サブブロック画像５とを用いて、符号化制御部３から指示される符号化モード７に応じた動き補償予測を行い、予測パラメータ１８と予測画像１７を生成する。

ここで、予測パラメータ１８の詳細を説明する。符号化モード７がフレーム間予測モードの場合は、動き補償予測部９が、その符号化モード７に対応する予測パラメータ１８として動きベクトル、各動きベクトルが指す参照画像の識別番号（参照画像インデックス）等を求める。予測パラメータ１８の生成方法の詳細は後述する。

減算部１２は、予測画像１１または予測画像１７のいずれか一方をマクロ／サブブロック画像５から差し引いて、予測差分信号１３を得る。なお、予測差分信号１３は、予測パラメータ１０が指定するすべてのイントラ予測モードに応じてイントラ予測部８が生成する予測画像１１すべてに対して、各々生成される。

予測パラメータ１０が指定するすべてのイントラ予測モードに応じて各々生成された予測差分信号１３は符号化制御部３にて評価され、最適なイントラ予測モードを含む最適予測パラメータ１０ａが決定される。評価方法として例えば、予測差分信号１３を変換・量子化して得られる圧縮データ２１を用いて後述の符号化コストＪ₂を計算し、符号化コストＪ₂を最小にするイントラ予測モードを選択する。

符号化制御部３は、イントラ予測部８または動き補償予測部９において符号化モード７に含まれるすべてのモードに対し各々生成された予測差分信号１３を評価し、評価結果に基づいて、符号化モード７のうちから最適な符号化効率が得られる最適符号化モード７ａを決定する。また、符号化制御部３は、予測パラメータ１０，１８および圧縮パラメータ２０のうちから最適符号化モード７ａに対応する最適予測パラメータ１０ａ，１８ａおよび最適圧縮パラメータ２０ａを決定する。それぞれの決定手順については後述する。
なお、上述したように、フレーム内予測モードの場合、予測パラメータ１０および最適予測パラメータ１０ａにはイントラ予測モードが含まれる。一方、フレーム間予測モードの場合、予測パラメータ１８および最適予測パラメータ１８ａには動きベクトル、各動きベクトルが指す参照画像の識別番号（参照画像インデックス）等が含まれる。
また、圧縮パラメータ２０および最適圧縮パラメータ２０ａには、変換ブロックサイズ、量子化ステップサイズ等が含まれる。

この決定手順の結果、符号化制御部３は、符号化対象のマクロブロックまたはサブブロックに対する最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａを可変長符号化部２３へ出力する。また、符号化制御部３は、圧縮パラメータ２０のうちの最適圧縮パラメータ２０ａを変換・量子化部１９および逆量子化・逆変換部２２へ出力する。

変換・量子化部１９は、符号化モード７に含まれるすべてのモードに対応して生成された複数の予測差分信号１３のうち、符号化制御部３が決定した最適符号化モード７ａと最適予測パラメータ１０ａ，１８ａとに基づいて生成された予測画像１１，１７に対応する予測差分信号１３（以下、最適予測差分信号１３ａと呼ぶ）を選択し、この最適予測差分信号１３ａに対して、符号化制御部３にて決定された最適圧縮パラメータ２０ａの変換ブロックサイズに基づいてＤＣＴ等の変換処理を実施することで変換係数を算出すると共に、その変換係数を符号化制御部３から指示される最適圧縮パラメータ２０ａの量子化ステップサイズに基づいて量子化し、量子化後の変換係数である圧縮データ２１を逆量子化・逆変換部２２および可変長符号化部２３へ出力する。

逆量子化・逆変換部２２は、変換・量子化部１９から入力された圧縮データ２１を、最適圧縮パラメータ２０ａを用いて逆量子化して、逆ＤＣＴ等の逆変換処理を実施することで予測差分信号１３ａの局所復号予測差分信号２４を生成し、加算部２５へ出力する。

加算部２５は、局所復号予測差分信号２４と、予測画像１１または予測画像１７とを加算して局所復号画像信号２６を生成し、この局所復号画像信号２６をループフィルタ部２７へ出力すると共にイントラ予測用メモリ２８に格納する。この局所復号画像信号２６が、フレーム内予測用の画像信号となる。

ループフィルタ部２７は、加算部２５から入力された局所復号画像信号２６に対し、所定のフィルタリング処理を行い、フィルタリング処理後の局所復号画像２９を動き補償予測フレームメモリ１４に格納する。この局所復号画像２９が動き補償予測用の参照画像１５となる。ループフィルタ部２７によるフィルタリング処理は、入力される局所復号画像信号２６のマクロブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号２６が入力された後に１画面分まとめて行ってもよい。

可変長符号化部２３は、変換・量子化部１９から出力された圧縮データ２１と、符号化制御部３から出力される最適符号化モード７ａと、最適予測パラメータ１０ａ，１８ａと、最適圧縮パラメータ２０ａとをエントロピ符号化して、それらの符号化結果を示すビットストリーム３０を生成する。なお、最適予測パラメータ１０ａ，１８ａと最適圧縮パラメータ２０ａは、最適符号化モード７ａが指す符号化モードに応じた単位に符号化される。

上述したように、本実施の形態１に係る動画像符号化装置は、符号化制御部３と連携して動き補償予測部９および変換・量子化部１９がそれぞれ動作することによって、最適な符号化効率が得られる符号化モード、予測パラメータ、圧縮パラメータ（即ち、最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａ）が決定される。

ここで、符号化制御部３による最適な符号化効率が得られる符号化モード、予測パラメータ、圧縮パラメータの決定手順について、１．予測パラメータ、２．圧縮パラメータ、３．符号化モードの順に説明する。

１．予測パラメータの決定手順
ここでは、符号化モード７がフレーム間予測モードのときに、そのフレーム間予測に係わる動きベクトル、各動きベクトルが指す参照画像の識別番号（参照画像インデックス）等を含む予測パラメータ１８を決定する手順を説明する。

動き補償予測部９では、符号化制御部３と連携して、符号化制御部３から動き補償予測部９へ指示されるすべての符号化モード７（例えば図２Ａまたは図２Ｂに示す符号化モードのセット）に対してそれぞれ予測パラメータ１８を決定する。以下、その詳細な手順について説明する。

図３は、動き補償予測部９の内部構成を示すブロック図である。図３に示す動き補償予測部９は、動き補償領域分割部４０と、動き検出部４２と、補間画像生成部４３とを含む。また、入力データとしては、符号化制御部３から入力される符号化モード７と、切替部６から入力されるマクロ／サブブロック画像５と、動き補償予測フレームメモリ１４から入力される参照画像１５とがある。

動き補償領域分割部４０は、符号化制御部３から指示される符号化モード７に応じて、切替部６から入力されるマクロ／サブブロック画像５を動き補償の単位となるブロックに分割し、この動き補償領域ブロック画像４１を動き検出部４２へ出力する。

補間画像生成部４３は、動き補償予測フレームメモリ１４に格納されている１フレーム以上の参照画像データの中から予測画像生成に用いる参照画像１５を指定し、動き検出部４２が指定された参照画像１５上の所定の動き探索範囲内で動きベクトル４４を検出する。なお、動きベクトルの検出は、ＭＰＥＧ−４ ＡＶＣ規格等と同様に、仮想サンプル精度の動きベクトルによって行う。この検出方法は、参照画像の持つ画素情報（整数画素と呼ぶ）に対し、整数画素の間に内挿演算によって仮想的なサンプル（画素）を作り出し、それを予測画像として利用するものであり、ＭＰＥＧ−４ ＡＶＣ規格では１／８画素精度の仮想サンプルを生成して利用できる。なお、ＭＰＥＧ−４ ＡＶＣ規格では、１／２画素精度の仮想サンプルは、垂直方向または水平方向に６つの整数画素を用いた６タップのフィルタによる内挿演算によって生成される。１／４画素精度の仮想サンプルは、隣接する１／２画素または整数画素の平均値フィルタを用いた内挿演算によって生成される。

本実施の形態１における動き補償予測部９においても、補間画像生成部４３が、動き検出部４２から指示される動きベクトル４４の精度に応じた仮想画素の予測画像４５を生成する。以下、仮想画素精度の動きベクトル検出手順の一例を示す。

動きベクトル検出手順Ｉ
補間画像生成部４３は、動き補償領域ブロック画像４１の所定の動き探索範囲内にある整数画素精度の動きベクトル４４に対する予測画像４５を生成する。整数画素精度で生成された予測画像４５（予測画像１７）は、減算部１２へ出力され、減算部１２により動き補償領域ブロック画像４１（マクロ／サブブロック画像５）から差し引かれて予測差分信号１３になる。符号化制御部３は、予測差分信号１３と整数画素精度の動きベクトル４４（予測パラメータ１８）とに対して予測効率の評価を行う。予測効率の評価は、例えば下式（１）より予測コストＪ₁を計算し、所定の動き探索範囲内で予測コストＪ₁を最小にする整数画素精度の動きベクトル４４を決定する。
Ｊ₁＝Ｄ₁＋λＲ₁ （１）
ここでは評価値としてＤ₁，Ｒ₁を用いることとする。Ｄ₁は予測差分信号のマクロブロック内またはサブブロック内の絶対値和（ＳＡＤ）、Ｒ₁は動きベクトルおよびこの動きベクトルが指す参照画像の識別番号の推定符号量、λは正数である。

なお、評価値Ｒ₁を求めるにあたって、動きベクトルの符号量は、図２Ａまたは図２Ｂの各モードにおける動きベクトルの値を近傍の動きベクトルの値を用いて予測し、予測差分値を確率分布に基づいてエントロピ符号化することで求めるか、それに相当する符号量推定を行って求める。

図４は、図２Ｂに示す各符号化モード７の動きベクトルの予測値（以下、予測ベクトルと呼ぶ）の決定方法を説明する図である。図４においてｍｂ＿ｍｏｄｅ０，ｓｕｂ＿ｍｂ＿ｍｏｄｅ１等の矩形ブロックでは、その左横（位置Ａ）、上（位置Ｂ）、右上（位置Ｃ）に位置するそれぞれ符号化済みの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃを用いて、当該矩形ブロックの予測ベクトルＰＭＶを下式（２）より算出する。ｍｅｄｉａｎ（）はメディアンフィルタ処理に対応し、動きベクトルＭＶａ，ＭＶｂ，ＭＶｃの中央値を出力する関数である。
ＰＭＶ＝ｍｅｄｉａｎ（ＭＶａ，ＭＶｂ，ＭＶｃ） （２）

一方、対角形状を持つ対角ブロックｍｂ＿ｍｏｄｅ１，ｓｕｂ＿ｍｂ＿ｍｏｄｅ２，ｍｂ＿ｍｏｄｅ２，ｓｕｂ＿ｍｂ＿ｍｏｄｅ３，ｍｂ＿ｍｏｄｅ３，ｓｕｂ＿ｍｂ＿ｍｏｄｅ４，ｍｂ＿ｍｏｄｅ４，ｓｕｂ＿ｍｂ＿ｍｏｄｅ５の場合は、矩形ブロックと同様の処理を適用できるようにするため、対角形状に応じてメディアン値をとる位置Ａ，Ｂ，Ｃの位置を変更する。これにより、予測ベクトルＰＭＶを算出する方法自体は変更することなく、各動きベクトル割り当て領域の形状に応じて算出することができ、評価値Ｒ₁のコストを小さく抑えることができる。

動きベクトル検出手順ＩＩ
補間画像生成部４３は、上記「動きベクトル検出手順Ｉ」で決定した整数画素精度の動きベクトルの周囲に位置する１以上の１／２画素精度の動きベクトル４４に対し、予測画像４５を生成する。以下、上記「動きベクトル検出手順Ｉ」と同様に、１／２画素精度で生成された予測画像４５（予測画像１７）が、減算部１２により動き補償領域ブロック画像４１（マクロ／サブブロック画像５）から差し引かれ、予測差分信号１３を得る。続いて符号化制御部３が、この予測差分信号１３と１／２画素精度の動きベクトル４４（予測パラメータ１８）とに対して予測効率の評価を行い、整数画素精度の動きベクトルの周囲に位置する１以上の１／２画素精度の動きベクトルの中から予測コストＪ₁を最小にする１／２画素精度の動きベクトル４４を決定する。

動きベクトル検出手順ＩＩＩ
符号化制御部３と動き補償予測部９とは、１／４画素精度の動きベクトルに対しても同様に、上記「動きベクトル検出手順ＩＩ」で決定した１／２画素精度の動きベクトルの周囲に位置する１以上の１／４画素精度の動きベクトルの中から予測コストＪ₁を最小にする１／４画素精度の動きベクトル４４を決定する。

動きベクトル検出手順ＩＶ
以下同様に、符号化制御部３と動き補償予測部９とが、所定の精度になるまで仮想画素精度の動きベクトルの検出を行う。

なお、本実施の形態では、所定の精度になるまで仮想画素精度の動きベクトルの検出を行うようにしたが、例えば予測コストに対する閾値を決めておいて、予測コストＪ₁が所定の閾値より小さくなった場合には、所定の精度になる前に仮想画素精度の動きベクトルの検出を打ち切るようにしてもよい。

なお、動きベクトルは、参照フレームサイズで規定されるフレームの外の画素を参照するようにしてもよい。その場合にはフレーム外の画素を生成する必要がある。フレーム外の画素の生成方法の一つとして、画面端の画素で埋めるなどの方法がある。

なお、入力映像信号１の各フレームのフレームサイズがマクロブロックサイズの整数倍ではないときで入力映像信号１の各フレームに代わって拡張フレームが入力された場合には、マクロブロックサイズの整数倍に拡張されたサイズ（拡張フレームのサイズ）が参照フレームのフレームサイズとなる。一方、拡張領域の局所復号部分を参照せず、元のフレームに対する局所復号部分のみをフレーム内の画素として参照する場合には、参照フレームのフレームサイズは元の入力映像信号のフレームサイズになる。

このように、動き補償予測部９は、マクロ／サブブロック画像５内を符号化モード７が示す動き補償の単位となるブロック単位に分割した動き補償領域ブロック画像４１に対し、各々決定された所定精度の仮想画素精度の動きベクトルとその動きベクトルが指す参照画像の識別番号を予測パラメータ１８として出力する。また、動き補償予測部９は、その予測パラメータ１８によって生成される予測画像４５（予測画像１７）を減算部１２へ出力し、減算部１２によってマクロ／サブブロック画像５から差し引かれ予測差分信号１３を得る。減算部１２から出力される予測差分信号１３は変換・量子化部１９へ出力される。

２．圧縮パラメータの決定手順
ここでは、上記「１．予測パラメータの決定手順」にて符号化モード７毎に決定された予測パラメータ１８に基づいて生成される予測差分信号１３を、変換・量子化処理する際に用いる圧縮パラメータ２０（変換ブロックサイズ）を決定する手順を説明する。

図５は、図２Ｂに示す符号化モード７に応じた変換ブロックサイズの適応化の一例を示す図である。図５では、Ｍ×Ｌ画素ブロックとして３２×３２画素ブロックを例に用いる。符号化モード７の指定するモードがｍｂ＿ｍｏｄｅ０〜６のとき、変換ブロックサイズは１６×１６または８×８画素のいずれか一方を適応的に選択可能である。符号化モード７がｍｂ＿ｍｏｄｅ７のとき、変換ブロックサイズはマクロブロックを４分割した１６×１６画素サブブロック毎に、８×８または４×４画素の中から適応的に選択可能である。
なお、それぞれの符号化モードごとに選択可能な変換ブロックサイズのセットは、符号化モードによって均等分割されるサブブロックサイズ以下の任意の矩形ブロックサイズの中から定義することができる。

図６は、図２Ｂに示す符号化モード７に応じた変換ブロックサイズの適応化の別の例を示す図である。図６の例では、符号化モード７の指定するモードが前述のｍｂ＿ｍｏｄｅ０，５，６のとき、選択可能な変換ブロックサイズとして１６×１６、８×８画素に加え、動き補償の単位であるサブブロックの形状に応じた変換ブロックサイズを選択可能である。ｍｂ＿ｍｏｄｅ０の場合には、１６×１６、８×８、３２×３２画素の中から適応的に選択可能である。ｍｂ＿ｍｏｄｅ５の場合には、１６×１６、８×８、１６×３２画素の中から適応的に選択可能である。ｍｂ＿ｍｏｄｅ６の場合には、１６×１６、８×８、３２×１６画素の中から適応的に選択可能である。また、図示は省略するが、ｍｂ＿ｍｏｄｅ７の場合には１６×１６、８×８、１６×３２画素の中から適応的に選択可能であり、ｍｂ＿ｍｏｄｅ１〜４の場合には、矩形でない領域に対しては１６×１６、８×８画素の中から選択し、矩形の領域に対しては８×８、４×４画素の中から選択するというような適応化を行ってもよい。

符号化制御部３は、図５および図６に例示した符号化モード７に応じた変換ブロックサイズのセットを圧縮パラメータ２０とする。
なお、図５および図６の例では、マクロブロックの符号化モード７に応じて選択可能な変換ブロックサイズのセットを予め決めておき、マクロブロック単位またはサブブロック単位に適応的に選択できるようにしたが、同様にマクロブロックを分割したサブブロックの符号化モード７（図２Ｂのｓｕｂ＿ｍｂ＿ｍｏｄｅ１〜８等）に応じて、選択可能な変換ブロックサイズのセットを予め決めておき、サブブロック単位またはサブブロックをさらに分割したブロック単位に適応的に選択できるようにしてもよい。
同様に、符号化制御部３は、図２Ａに示す符号化モード７を用いる場合にはその符号化モード７に応じた変換ブロックサイズのセットを予め決めておき、適応的に選択できるようにしておけばよい。

変換・量子化部１９は、符号化制御部３と連携して、マクロブロックサイズ４で指定されるマクロブロック単位に、または当該マクロブロック単位を符号化モード７に応じてさらに分割したサブブロック単位に、変換ブロックサイズの中から最適な変換ブロックサイズを決定する。以下、その詳細な手順について説明する。

図７は、変換・量子化部１９の内部構成を示すブロック図である。図７に示す変換・量子化部１９は、変換ブロックサイズ分割部５０と、変換部５２と、量子化部５４とを含む。また、入力データとしては、符号化制御部３から入力される圧縮パラメータ２０（変換ブロックサイズおよび量子化ステップサイズ等）と、符号化制御部３から入力される予測差分信号１３とがある。

変換ブロックサイズ分割部５０は、変換ブロックサイズを決定する対象であるマクロブロックまたはサブブロック毎の予測差分信号１３を、圧縮パラメータ２０の変換ブロックサイズに応じたブロックに変換し、変換対象ブロック５１として変換部５２へ出力する。
なお、圧縮パラメータ２０で１つのマクロブロックまたはサブブロックに対して複数の変換ブロックサイズが選択指定されている場合は、各変換ブロックサイズの変換対象ブロック５１を順次、変換部５２へ出力する。

変換部５２は、入力された変換対象ブロック５１に対し、ＤＣＴ、ＤＣＴの変換係数を整数で近似した整数変換、アダマール変換等の変換方式に従って変換処理を実施し、生成した変換係数５３を量子化部５４へ出力する。

量子化部５４は、入力された変換係数５３を、符号化制御部３から指示される圧縮パラメータ２０の量子化ステップサイズに従って量子化し、量子化後の変換係数である圧縮データ２１を逆量子化・逆変換部２２および符号化制御部３へ出力する。
なお、変換部５２および量子化部５４は、圧縮パラメータ２０で１つのマクロブロックまたはサブブロックに対して複数の変換ブロックサイズが選択指定されている場合にはそれらすべての変換ブロックサイズに対して上述の変換・量子化処理を行って、各々の圧縮データ２１を出力する。

量子化部５４から出力された圧縮データ２１は符号化制御部３に入力され、圧縮パラメータ２０の変換ブロックサイズに対する符号化効率の評価に用いられる。符号化制御部３は、符号化モード７に含まれる符号化モードそれぞれについて選択可能なすべての変換ブロックサイズそれぞれに対して得られた圧縮データ２１を用いて、例えば下式（３）より符号化コストＪ₂を計算し、符号化コストＪ₂を最小にする変換ブロックサイズを選択する。
Ｊ₂＝Ｄ₂＋λＲ₂ （３）
ここでは評価値としてＤ₂，Ｒ₂を用いることとする。Ｄ₂として、変換ブロックサイズに対して得られた圧縮データ２１を逆量子化・逆変換部２２へ入力して、圧縮データ２１を逆変換・逆量子化処理して得られる局所復号予測差分信号２４に予測画像１７を加算して得られる局所復号画像信号２６と、マクロ／サブブロック画像５との間の二乗ひずみ和等を用いる。Ｒ₂として、変換ブロックサイズに対して得られた圧縮データ２１と、圧縮データ２１に係わる符号化モード７および予測パラメータ１０，１８とを可変長符号化部２３で実際に符号化して得られる符号量（または推定符号量）を用いる。

符号化制御部３は、後述する「３．符号化モードの決定手順」による最適符号化モード７ａ決定の後、決定された最適符号化モード７ａに対応する変換ブロックサイズを選択して最適圧縮パラメータ２０ａに含め、可変長符号化部２３へ出力する。可変長符号化部２３はこの最適圧縮パラメータ２０ａをエントロピ符号化したのちビットストリーム３０へ多重化する。

ここで、変換ブロックサイズは、マクロブロックまたはサブブロックの最適符号化モード７ａに応じて予め定義された変換ブロックサイズセット（図５および図６に例示する）の中から選択されるので、変換ブロックサイズセット毎にそのセット中に含まれる変換ブロックサイズに対してＩＤ等の識別情報を割り当てておき、その識別情報を変換ブロックサイズの情報としてエントロピ符号化し、ビットストリーム３０へ多重化すればよい。この場合、復号装置側にも変換ブロックサイズセットの識別情報を設定しておく。ただし、変換ブロックサイズセットに含まれる変換ブロックサイズが１つの場合には、復号装置側でセット中から変換ブロックサイズを自動的に決定可能なので、符号化装置側で変換ブロックサイズの識別情報をビットストリーム３０へ多重化する必要はない。

３．符号化モードの決定手順
上記「１．予測パラメータの決定手順」および「２．圧縮パラメータの決定手順」によって、符号化制御部３が指示したすべての符号化モード７に対してそれぞれ予測パラメータ１０，１８および圧縮パラメータ２０が決定すると、符号化制御部３は、それぞれの符号化モード７とそのときの予測パラメータ１０，１８および圧縮パラメータ２０を用いて得られる予測差分信号１３をさらに変換・量子化して得られる圧縮データ２１を用いて、符号化コストＪ₂が小さくなる符号化モード７を上式（３）より求め、その符号化モード７を当該マクロブロックの最適符号化モード７ａとして選択する。

なお、図２Ａまたは図２Ｂに示す符号化モードに、マクロブロックまたはサブブロックのモードとしてスキップモードを加えたすべての符号化モードの中から、最適符号化モード７ａを決定するようにしてもよい。スキップモードとは、符号化装置側で隣接するマクロブロックまたはサブブロックの動きベクトルを使って動き補償された予測画像を局所復号画像信号とするモードであり、符号化モード以外の予測パラメータや圧縮パラメータを算出してビットストリームへ多重化する必要がないため、符号量を抑えて符号化することができる。復号装置側では、符号化装置側と同様の手順で隣接するマクロブロックまたはサブブロックの動きベクトルを使って動き補償された予測画像を復号画像信号として出力する。

なお、入力映像信号１の各フレームのフレームサイズがマクロブロックサイズの整数倍ではないときで入力映像信号１の各フレームに代わって拡張フレームが入力された場合には、拡張領域を含むマクロブロックまたはサブブロックに対しては、スキップモードのみを選択するように制御して、拡張領域に費やす符号量を抑えるように、符号化モードを決定してもよい。

符号化制御部３は、以上の「１．予測パラメータの決定手順」、「２．圧縮パラメータの決定手順」、「３．符号化モードの決定手順」により決定された最適な符号化効率が得られる最適符号化モード７ａを可変長符号化部２３に出力すると共に、その最適符号化モード７ａに対応する予測パラメータ１０，１８を最適予測パラメータ１０ａ，１８ａとして選択し、同じく最適符号化モード７ａに対応する圧縮パラメータ２０を最適圧縮パラメータ２０ａとして選択して、可変長符号化部２３へ出力する。可変長符号化部２３は、最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａおよび最適圧縮パラメータ２０ａをエントロピ符号化して、ビットストリーム３０に多重化する。

また、決定された最適符号化モード７ａと最適予測パラメータ１０ａ，１８ａと最適圧縮パラメータ２０ａとに基づく予測画像１１，１７から得られる最適予測差分信号１３ａは、上述の通り、変換・量子化部１９で変換・量子化されて圧縮データ２１となり、この圧縮データ２１は可変長符号化部２３にてエントロピ符号化され、ビットストリーム３０に多重化される。また、この圧縮データ２１は逆量子化・逆変換部２２、加算部２５を経て局所復号画像信号２６となり、ループフィルタ部２７へ入力される。

次に、本実施の形態１に係る動画像復号装置を説明する。
図８は、この発明の実施の形態１に係る動画像復号装置の構成を示すブロック図である。図８に示す動画像復号装置は、ビットストリーム６０から、マクロブロック単位に最適符号化モード６２をエントロピ復号すると共に、当該復号された最適符号化モード６２に応じて分割されたマクロブロックまたはサブブロック単位に最適予測パラメータ６３、圧縮データ６４、最適圧縮パラメータ６５をエントロピ復号する可変長復号部６１と、最適予測パラメータ６３が入力されると、当該最適予測パラメータ６３に含まれるイントラ予測モードとイントラ予測用メモリ７７に格納された復号画像７４ａとを用いて予測画像７１を生成するイントラ予測部６９と、最適予測パラメータ６３が入力されると、当該最適予測パラメータ６３に含まれる動きベクトルと、当該最適予測パラメータ６３に含まれる参照画像インデックスで特定される動き補償予測フレームメモリ７５内の参照画像７６とを用いて動き補償予測を行って予測画像７２を生成する動き補償予測部７０と、復号された最適符号化モード６２に応じて、可変長復号部６１が復号した最適予測パラメータ６３をイントラ予測部６９または動き補償予測部７０のいずれか一方に入力する切替部６８と、最適圧縮パラメータ６５を用いて、圧縮データ６４に対して逆量子化および逆変換処理を行い、予測差分信号復号値６７を生成する逆量子化・逆変換部６６と、予測差分信号復号値６７に、イントラ予測部６９または動き補償予測部７０のいずれか一方が出力する予測画像７１，７２を加算して復号画像７４を生成する加算部７３と、復号画像７４を格納するイントラ予測用メモリ７７と、復号画像７４をフィルタ処理して再生画像７９を生成するループフィルタ部７８と、再生画像７９を格納する動き補償予測フレームメモリ７５とを含む。

可変長復号部６１は、本実施の形態１に係る動画像復号装置がビットストリーム６０を受け取ると、そのビットストリーム６０をエントロピ復号処理して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にマクロブロックサイズおよびフレームサイズを復号する。なお、マクロブロックサイズがビットストリームに直接多重化されずにプロファイル等で規定されている場合には、シーケンス単位にビットストリームから復号されるプロファイルの識別情報に基づいて、マクロブロックサイズが決定される。各フレームの復号マクロブロックサイズおよび復号フレームサイズをもとに、各フレームに含まれるマクロブロック数が決定され、フレームに含まれる各マクロブロックの最適符号化モード６２、最適予測パラメータ６３、圧縮データ６４（即ち、量子化変換係数データ）、最適圧縮パラメータ６５（変換ブロックサイズ情報、量子化ステップサイズ）等を復号する。
なお、復号装置側で復号した最適符号化モード６２、最適予測パラメータ６３、圧縮データ６４、最適圧縮パラメータ６５は、符号化装置側で符号化した最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａ、圧縮データ２１、最適圧縮パラメータ２０ａに対応するものである。

ここで、最適圧縮パラメータ６５の変換ブロックサイズ情報は、符号化装置側にて符号化モード７に応じてマクロブロックまたはサブブロック単位に予め定義された変換ブロックサイズセットの中から選択された変換ブロックサイズを特定する識別情報であり、復号装置側では最適符号化モード６２と最適圧縮パラメータ６５の変換ブロックサイズ情報とからマクロブロックまたはサブブロックの変換ブロックサイズを特定することになる。

逆量子化・逆変換部６６は、可変長復号部６１から入力される圧縮データ６４および最適圧縮パラメータ６５を用いて、変換ブロックサイズ情報より特定されるブロック単位で逆量子化・逆変換処理を行い、予測差分信号復号値６７を算出する。

また、可変長復号部６１は、動きベクトルの復号に際して、すでに復号済みの周辺ブロックの動きベクトルを参照して図４に示す処理により予測ベクトルを決定し、ビットストリーム６０から復号した予測差分値を加算することによって動きベクトルの復号値を得る。可変長復号部６１は、この動きベクトルの復号値を最適予測パラメータ６３に含めて切替部６８へ出力する。

切替部６８は、最適符号化モード６２に応じて最適予測パラメータ６３の入力先を切り替えるスイッチである。この切替部６８は、可変長復号部６１から入力される最適符号化モード６２がフレーム内予測モードを示す場合には、同じく可変長復号部６１から入力される最適予測パラメータ６３（イントラ予測モード）をイントラ予測部６９へ出力し、最適符号化モード６２がフレーム間予測モードを示す場合には、最適予測パラメータ６３（動きベクトル、各動きベクトルが指す参照画像の識別番号（参照画像インデックス）等）を動き補償予測部７０へ出力する。

イントラ予測部６９は、イントラ予測用メモリ７７に格納されているフレーム内の復号画像（フレーム内の復号済み画像信号）７４ａを参照して、最適予測パラメータ６３で指示されるイントラ予測モードに対応する予測画像７１を生成して出力する。

なお、イントラ予測部６９による予測画像７１の生成方法は符号化装置側におけるイントラ予測部８の動作と同じであるが、イントラ予測部８が符号化モード７で指示されるすべてのイントラ予測モードに対応する予測画像１１を生成するのに対し、このイントラ予測部６９は最適符号化モード６２で指示されるイントラ予測モードに対応する予測画像７１のみを生成する点で異なる。

動き補償予測部７０は、入力された最適予測パラメータ６３で指示される動きベクトル、参照画像インデックス等に基づいて、動き補償予測フレームメモリ７５に格納されている１フレーム以上の参照画像７６から予測画像７２を生成して出力する。

なお、動き補償予測部７０による予測画像７２の生成方法は符号化装置側における動き補償予測部９の動作のうち、複数の参照画像から動きベクトルを探索する処理（図３に示す動き検出部４２および補間画像生成部４３の動作に相当する）を除外したものであり、可変長復号部６１から与えられる最適予測パラメータ６３に従って、予測画像７２を生成する処理のみを行う。動き補償予測部７０は、符号化装置と同様に、動きベクトルが参照フレームサイズで規定されるフレームの外の画素を参照する場合には、フレーム外の画素を画面端の画素で埋めるなどの方法で予測画像７２を生成する。なお、参照フレームサイズは、復号フレームサイズを復号マクロブロックサイズの整数倍になるまで拡張したサイズで規定される場合と、復号フレームサイズで規定される場合とがあり、符号化装置と同様の手順で参照フレームサイズを決定する。

加算部７３は、予測画像７１または予測画像７２のいずれか一方と、逆量子化・逆変換部６６から出力される予測差分信号復号値６７とを加算して復号画像７４を生成する。

この復号画像７４は、以降のマクロブロックのイントラ予測画像生成のための参照画像（復号画像７４ａ）として用いるため、イントラ予測用メモリ７７に格納されると共に、ループフィルタ部７８に入力される。

ループフィルタ部７８は、符号化装置側のループフィルタ部２７と同じ動作を行って、再生画像７９を生成し、この動画像復号装置から出力する。また、この再生画像７９は、以降の予測画像生成のための参照画像７６として用いるため、動き補償予測フレームメモリ７５に格納される。なお、フレーム内のすべてのマクロブロックを復号後に得られる再生画像のサイズは、マクロブロックサイズの整数倍のサイズである。符号化装置に入力された映像信号の各フレームのフレームサイズに対応する復号フレームサイズより再生画像のサイズが大きい場合には、再生画像には水平方向または垂直方向に拡張領域が含まれる。この場合、再生画像から拡張領域部分の復号画像が取り除かれた復号画像が復号装置から出力される。

なお、参照フレームサイズが、復号フレームサイズで規定される場合には、動き補償予測フレームメモリ７５に格納された再生画像の拡張領域部分の復号画像は以降の予測画像生成において参照されない。従って、再生画像から拡張領域部分の復号画像を取り除いた復号画像を動き補償予測フレームメモリ７５に格納するようにしてもよい。

以上より、実施の形態１に係る動画像符号化装置によれば、マクロブロックの符号化モード７に応じて分割したマクロ／サブブロック画像５に対して、マクロブロックまたはサブブロックのサイズに応じて複数の変換ブロックサイズを含む変換ブロックのセットを予め定めておき、符号化制御部３が、変換ブロックサイズのセットの中から、符号化効率が最適となる１つの変換ブロックサイズを最適圧縮パラメータ２０ａに含めて変換・量子化部１９へ指示し、変換・量子化部１９が、最適予測差分信号１３ａを、最適圧縮パラメータ２０ａに含まれる変換ブロックサイズのブロックに分割して変換および量子化処理を行い、圧縮データ２１を生成するように構成したので、変換ブロックサイズのセットがマクロブロックまたはサブブロックのサイズに拘らず固定された従来の方法に比べ、同等の符号量で、符号化映像の品質を向上させることが可能になる。

また、可変長符号化部２３が、変換ブロックサイズのセットの中から符号化モード７に応じて適応的に選択された変換ブロックサイズをビットストリーム３０に多重化するように構成したので、これに対応して、実施の形態１に係る動画像復号装置を、可変長復号部６１が、マクロブロックまたはサブブロック単位にビットストリーム６０から最適圧縮パラメータ６５を復号し、逆量子化・逆変換部６６が、この最適圧縮パラメータ６５に含まれる変換ブロックサイズ情報に基づいて変換ブロックサイズを決定して、圧縮データ６４を当該変換ブロックサイズのブロック単位に逆変換および逆量子化処理するように構成した。そのため、動画像復号装置が動画像符号化装置と同様に定義された変換ブロックサイズのセットの中から符号化装置側で用いた変換ブロックサイズを選択して圧縮データを復号することができるので、実施の形態１に係る動画像符号化装置にて符号化されたビットストリームを正しく復号することが可能になる。

実施の形態２．
本実施の形態２では、上記実施の形態１に係る動画像符号化装置の可変長符号化部２３の変形例と、同じく上記実施の形態１に係る動画像復号装置の可変長復号部６１の変形例を説明する。

先ず、本実施の形態２に係る動画像符号化装置の可変長符号化部２３を説明する。
図９は、この発明の実施の形態２に係る動画像符号化装置の可変長符号化部２３の内部構成を示すブロック図である。なお、図９において図１と同一または相当の部分については同一の符号を付し説明を省略する。また、本実施の形態２に係る動画像符号化装置の構成は上記実施の形態１と同じであり、可変長符号化部２３を除く各構成要素の動作も上記実施の形態１と同じであるため、図１〜図８を援用する。また、説明の便宜上、本実施の形態２では図２Ａに示す符号化モードのセットを用いることを前提とした装置構成および処理方法にするが、図２Ｂに示す符号化モードのセットを用いることを前提とした装置構成および処理方法にも適用可能であることは言うまでもない。

図９に示す可変長符号化部２３は、符号化モード７（または最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａ）を表す多値信号のインデックス値と２値信号との対応関係を指定した２値化テーブルを格納する２値化テーブルメモリ１０５と、この２値化テーブルを用いて、符号化制御部３が選択した多値信号の最適符号化モード７ａ（または最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａ）の多値信号のインデックス値を２値信号１０３に変換する２値化部９２と、コンテキスト生成部９９の生成するコンテキスト識別情報１０２、コンテキスト情報メモリ９６、確率テーブルメモリ９７および状態遷移テーブルメモリ９８を参照して２値化部９２が変換した２値信号１０３を算術符号化して符号化ビット列１１１を出力し、当該符号化ビット列１１１をビットストリーム３０へ多重化させる算術符号化処理演算部１０４と、最適符号化モード７ａ（または最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａ）の発生頻度をカウントして頻度情報９４を生成する頻度情報生成部９３と、頻度情報９４に基づいて２値化テーブルメモリ１０５の２値化テーブルの多値信号と２値信号との対応関係を更新する２値化テーブル更新部９５とを含む。

以下では、エントロピ符号化されるパラメータとして、符号化制御部３から出力されるマクロブロックの最適符号化モード７ａを例に、可変長符号化部２３の可変長符号化手順を説明する。同じく符号化対象のパラメータである最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａについは、最適符号化モード７ａと同様の手順で可変長符号化すればよいため説明を省略する。

なお、本実施の形態２の符号化制御部３は、コンテキスト情報初期化フラグ９１、種別信号１００、周辺ブロック情報１０１、２値化テーブル更新フラグ１１３を出力するものとする。各情報の詳細は後述する。

初期化部９０は、符号化制御部３から指示されるコンテキスト情報初期化フラグ９１に応じて、コンテキスト情報メモリ９６に格納されているコンテキスト情報１０６の初期化を行って初期状態にする。初期化部９０による初期化処理の詳細は後述する。

２値化部９２は、２値化テーブルメモリ１０５に格納されている２値化テーブルを参照して、符号化制御部３から入力される最適符号化モード７ａの種類を表す多値信号のインデックス値を２値信号１０３へ変換し、算術符号化処理演算部１０４へ出力する。

図１０は、２値化テーブルメモリ１０５が保持する２値化テーブルの一例を示す図である。図１０に示す「符号化モード」は、図２Ａに示した符号化モード（ｍｂ＿ｍｏｄｅ０〜３）にスキップモード（ｍｂ＿ｓｋｉｐ：符号化装置側で隣接するマクロブロックの動きベクトルを使って動き補償された予測画像を復号装置側で復号画像に用いるモード）を加えた５種類の符号化モード７であり、各符号化モードに対応する「インデックス」値が格納されている。また、これら符号化モードのインデックス値はそれぞれ１〜３ビットで２値化され、「２値信号」として格納されている。ここでは、２値信号の各ビットを「ビン」番号と呼ぶ。
なお、詳細は後述するが、図１０の例では、発生頻度の高い符号化モードに小さいインデックス値が割り当てられており、また、２値信号も１ビットと短く設定されている。

符号化制御部３が出力する最適符号化モード７ａは、２値化部９２へ入力されると共に頻度情報生成部９３へも入力される。

頻度情報生成部９３は、この最適符号化モード７ａに含まれる符号化モードのインデックス値の発生頻度（符号化制御部が選択する符号化モードの選択頻度）をカウントして頻度情報９４を作成し、後述の２値化テーブル更新部９５へ出力する。

確率テーブルメモリ９７は、２値信号１０３に含まれる各ビンのシンボル値「０」または「１」のうち発生確率が高いいずれかのシンボル（ＭＰＳ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）とその発生確率の組み合わせを複数組格納したテーブルを保持するメモリである。

図１１は、確率テーブルメモリ９７が保持する確率テーブルの一例を示す図である。図１１では、０．５〜１．０の間の離散的な確率値（「発生確率」）に対し、各々「確率テーブル番号」を割り当てている。

状態遷移テーブルメモリ９８は、確率テーブルメモリ９７に格納された「確率テーブル番号」と、その確率テーブル番号が示す「０」または「１」のうちのＭＰＳの符号化前の確率状態から符号化後の確率状態への状態遷移の組み合わせを複数組格納したテーブルを保持するメモリである。

図１２は、状態遷移テーブルメモリ９８が保持する状態遷移テーブルの一例を示す図である。図１２の「確率テーブル番号」、「ＬＰＳ符号化後の確率遷移」、「ＭＰＳ符号化後の確率遷移」はそれぞれ図１１に示す確率テーブル番号に対応する。
例えば、図１２中に枠で囲った「確率テーブル番号１」の確率状態（図１１よりＭＰＳの発生確率０．５２７）のときに、「０」または「１」のうち発生確率が低いいずれかのシンボル（ＬＰＳ：Ｌｅａｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）を符号化したことによって、確率状態は「ＬＰＳ符号化後の確率遷移」より確率テーブル番号０（図１１よりＭＰＳの発生確率０．５００）へ遷移することを表す。即ち、ＬＰＳが発生したことによって、ＭＰＳの発生確率は小さくなっている。
逆に、ＭＰＳを符号化すると、確率状態は「ＭＰＳ符号化後の確率遷移」より確率テーブル番号２（図１１よりＭＰＳの発生確率０．５５０）へ遷移することを表す。即ち、ＭＰＳが発生したことによって、ＭＰＳの発生確率は大きくなっている。

コンテキスト生成部９９は、符号化制御部３から入力される符号化対象のパラメータ（最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａ）の種別を示す種別信号１００と周辺ブロック情報１０１とを参照して、符号化対象のパラメータを２値化して得られる２値信号１０３のビン毎にコンテキスト識別情報１０２を生成する。この説明中では、種別信号１００は、符号化対象マクロブロックの最適符号化モード７ａである。また、周辺ブロック情報１０１は、符号化対象マクロブロックに隣接するマクロブロックの最適符号化モード７ａである。
以下、コンテキスト生成部９９によるコンテキスト識別情報の生成手順を説明する。

図１３（ａ）は、図１０に示す２値化テーブルを二分木表現で表した図である。ここでは、図１３（ｂ）に示す太枠の符号化対象マクロブロックと、この符号化対象マクロブロックに隣接する周辺ブロックＡ，Ｂとを例に用いて説明する。
図１３（ａ）において、黒丸をノード、ノード間を結ぶ線をパスと呼ぶ。二分木の終端ノードには、２値化対象の多値信号のインデックスが割り当てられている。また、紙面上の上から下へ向って、二分木の深さがビン番号に対応し、ルートノードから終端ノードまでの各パスに割り当てられたシンボル（０または１）を結合したビット列が、各終端ノードに割り当てられた多値信号のインデックスに対応する２値信号１０３になる。二分木の各親ノード（終端ではないノード）に対し、周辺ブロックＡ，Ｂの情報に応じて１以上のコンテキスト識別情報が用意されている。

例えば、図１３（ａ）において、ルートノードに対してＣ０，Ｃ１，Ｃ２の３つのコンテキスト識別情報が用意されている場合に、コンテキスト生成部９９は、隣接する周辺ブロックＡ，Ｂの周辺ブロック情報１０１を参照して、下式（４）よりＣ０，Ｃ１，Ｃ２の３つのコンテキスト識別情報のうちいずれか１つを選択する。コンテキスト生成部９９は、選択したコンテキスト識別情報をコンテキスト識別情報１０２として出力する。

上式（４）は、周辺ブロックＡ，ＢをマクロブロックＸとした場合に、周辺ブロックＡ，Ｂの符号化モードが“０”（ｍｂ＿ｓｋｉｐ）ならば符号化対象マクロブロックの符号化モードも“０”（ｍｂ＿ｓｋｉｐ）になる確率が高いという仮定のもとに用意された式である。よって、上式（４）より選択したコンテキスト識別情報１０２も同様の仮定に基づくものである。

なお、ルートノード以外の親ノードには、それぞれ１つのコンテキスト識別情報（Ｃ３，Ｃ４，Ｃ５）が割り当てられている。

コンテキスト識別情報１０２で識別されるコンテキスト情報には、ＭＰＳの値（０または１）と、その発生確率を近似する確率テーブル番号とが保持されており、今、初期状態にある。このコンテキスト情報はコンテキスト情報メモリ９６が格納している。

算術符号化処理演算部１０４は、２値化部９２から入力される１〜３ビットの２値信号１０３を、ビン毎に算術符号化して符号化ビット列１１１を生成し、ビットストリーム３０に多重化させる。以下、コンテキスト情報に基づく算術符号化手順を説明する。

算術符号化処理演算部１０４は、先ず、コンテキスト情報メモリ９６を参照して、２値信号１０３のビン０に対応するコンテキスト識別情報１０２に基づくコンテキスト情報１０６を得る。続いて、算術符号化処理演算部１０４は、確率テーブルメモリ９７を参照して、コンテキスト情報１０６に保持されている確率テーブル番号１０７に対応するビン０のＭＰＳ発生確率１０８を特定する。

続いて算術符号化処理演算部１０４は、コンテキスト情報１０６に保持されているＭＰＳの値（０または１）と、特定されたＭＰＳ発生確率１０８とに基づいて、ビン０のシンボル値１０９（０または１）を算術符号化する。続いて、算術符号化処理演算部１０４は、状態遷移テーブルメモリ９８を参照して、コンテキスト情報１０６に保持されている確率テーブル番号１０７と、先に算術符号化したビン０のシンボル値１０９とに基づいて、ビン０のシンボル符号化後の確率テーブル番号１１０を得る。

続いて算術符号化処理演算部１０４は、コンテキスト情報メモリ９６に格納されているビン０のコンテキスト情報１０６の確率テーブル番号（即ち、確率テーブル番号１０７）の値を、状態遷移後の確率テーブル番号（即ち、先に状態遷移テーブルメモリ９８から取得した、ビン０のシンボル符号化後の確率テーブル番号１１０）へ更新する。

算術符号化処理演算部１０４は、ビン１，２についてもビン０と同様に、各々のコンテキスト識別情報１０２で識別されるコンテキスト情報１０６に基づく算術符号化を行い、各ビンのシンボル符号化後にコンテキスト情報１０６の更新を行う。
算術符号化処理演算部１０４は、すべてのビンのシンボルを算術符号化して得られる符号化ビット列１１１を出力し、可変長符号化部２３がビットストリーム３０に多重化する。

上述の通り、コンテキスト識別情報１０２で識別されるコンテキスト情報１０６は、シンボルを算術符号化する毎に更新される。即ち、それは各ノードの確率状態がシンボル符号化毎に遷移していくことを意味する。そして、コンテキスト情報１０６の初期化、即ち、確率状態のリセットは前述の初期化部９０により行われる。
初期化部９０は、符号化制御部３のコンテキスト情報初期化フラグ９１による指示に応じて初期化するが、この初期化はスライスの先頭等で行われる。各コンテキスト情報１０６の初期状態（ＭＰＳの値とその発生確率を近似する確率テーブル番号の初期値）については、予め複数のセットを用意しておき、いずれの初期状態を選択するかどうかを符号化制御部３がコンテキスト情報初期化フラグ９１に含めて、初期化部９０へ指示するようにしてもよい。

２値化テーブル更新部９５は、符号化制御部３から指示される２値化テーブル更新フラグ１１３に基づき、頻度情報生成部９３により生成された、符号化対象パラメータ（ここでは最適符号化モード７ａ）のインデックス値の発生頻度を表す頻度情報９４を参照し、２値化テーブルメモリ１０５を更新する。以下、２値化テーブル更新部９５による２値化テーブルを更新する手順を説明する。

この例では、符号化対象パラメータである最適符号化モード７ａが指定する符号化モードの発生頻度に応じて、発生頻度が最も高い符号化モードを短い符号語で２値化できるように２値化テーブルの符号化モードとインデックスの対応関係を更新し、符号量の低減を図る。

図１４は、更新後の２値化テーブルの一例を示す図であり、更新前の２値化テーブルの状態が図１０に示す状態であると仮定した場合の更新後状態である。２値化テーブル更新部９５は、頻度情報９４に従って、例えばｍｂ＿ｍｏｄｅ３の発生頻度が最も高い場合、そのｍｂ＿ｍｏｄｅ３に短い符号語の２値信号が割り当てられるように最も小さいインデックス値を割り当てる。

また、２値化テーブル更新部９５は、２値化テーブルを更新した場合に、更新した２値化テーブルを復号装置側で識別できるようにするための２値化テーブル更新識別情報１１２を生成して、ビットストリーム３０に多重化させる必要がある。例えば、符号化対象パラメータ毎に複数の２値化テーブルがある場合、各符号化対象パラメータを識別できるＩＤを符号化装置側および復号装置側にそれぞれ予め付与しておき、２値化テーブル更新部９５は、更新後の２値化テーブルのＩＤを２値化テーブル更新識別情報１１２として出力し、ビットストリーム３０に多重化させるようにしてもよい。

更新タイミングの制御は、符号化制御部３が、スライスの先頭で符号化対象パラメータの頻度情報９４を参照して、符号化対象パラメータの発生頻度分布が所定の許容範囲以上に大きく変わったと判定した場合に、２値化テーブル更新フラグ１１３を出力して行う。
可変長符号化部２３は、２値化テーブル更新フラグ１１３をビットストリーム３０のスライスヘッダに多重化すればよい。また、可変長符号化部２３は、２値化テーブル更新フラグ１１３が「２値化テーブルの更新あり」を示している場合には、符号化モード、圧縮パラメータ、予測パラメータの２値化テーブルのうち、どの２値化テーブルを更新したかを示す２値化テーブル更新識別情報１１２をビットストリーム３０へ多重化する。

また、符号化制御部３は、スライスの先頭以外のタイミングで２値化テーブルの更新を指示してもよく、例えば任意のマクロブロックの先頭で２値化テーブル更新フラグ１１３を出力して更新指示してもよい。この場合には、２値化テーブル更新部９５が、２値化テーブルの更新を行ったマクロブロック位置を特定する情報を出力し、可変長符号化部２３がその情報もビットストリーム３０に多重化する必要がある。

なお、符号化制御部３は、２値化テーブル更新部９５へ２値化テーブル更新フラグ１１３を出力して２値化テーブルを更新させた場合には、初期化部９０へコンテキスト情報初期化フラグ９１を出力して、コンテキスト情報メモリ９６の初期化を行う必要がある。

次に、本実施の形態２に係る動画像復号装置の可変長復号部６１を説明する。
図１５は、この発明の実施の形態２に係る動画像復号装置の可変長復号部６１の内部構成を示すブロック図である。なお、本実施の形態２に係る動画像復号装置の構成は上記実施の形態１と同じであり、可変長復号部６１を除く各構成要素の動作も上記実施の形態１と同じであるため、図１〜図８を援用する。

図１５に示す可変長復号部６１は、コンテキスト生成部１２２が生成するコンテキスト識別情報１２６、コンテキスト情報メモリ１２８、確率テーブルメモリ１３１、および状態遷移テーブルメモリ１３５を参照してビットストリーム６０に多重化された最適符号化モード６２（または最適予測パラメータ６３、最適圧縮パラメータ６５）を表す符号化ビット列１３３を算術復号して２値信号１３７を生成する算術復号処理演算部１２７と、２値信号で表された最適符号化モード６２（または最適予測パラメータ６３、最適圧縮パラメータ６５）と多値信号との対応関係を指定した２値化テーブル１３９を格納する２値化テーブルメモリ１４３と、２値化テーブル１３９を用いて、算術復号処理演算部１２７が生成した２値信号１３７を多値信号の復号値１４０へ変換する逆２値化部１３８とを含む。

以下では、エントロピ復号されるパラメータとして、ビットストリーム６０に含まれるマクロブロックの最適符号化モード６２を例に、可変長復号部６１の可変長復号手順を説明する。同じく復号対象のパラメータである最適予測パラメータ６３、最適圧縮パラメータ６５については、最適符号化モード６２と同様の手順で可変長復号すればよいため説明を省略する。

なお、本実施の形態２のビットストリーム６０には、符号化装置側にて多重化されたコンテキスト初期化情報１２１、符号化ビット列１３３、２値化テーブル更新フラグ１４２、２値化テーブル更新識別情報１４４が含まれている。各情報の詳細は後述する。

初期化部１２０は、スライスの先頭等でコンテキスト情報メモリ１２８に格納されているコンテキスト情報の初期化を行う。あるいは、初期化部１２０に、コンテキスト情報の初期状態（ＭＰＳの値とその発生確率を近似する確率テーブル番号の初期値）について予め複数のセットを用意しておき、コンテキスト初期化情報１２１の復号値に対応する初期状態をセット中から選択するようにしてもよい。

コンテキスト生成部１２２は、復号対象のパラメータ（最適符号化モード６２、最適予測パラメータ６３、最適圧縮パラメータ６５）の種別を示す種別信号１２３と周辺ブロック情報１２４とを参照して、コンテキスト識別情報１２６を生成する。

種別信号１２３は、復号対象のパラメータの種別を表す信号であり、復号対象のパラメータが何であるかは、可変長復号部６１内に保持しているシンタックスに従って判定する。従って、符号化装置側と復号装置側とで同じシンタックスを保持している必要があり、ここでは符号化装置側の符号化制御部３がそのシンタックスを保持していることとする。
符号化装置側では、符号化制御部３が保持しているシンタックスに従って、次に符号化すべきパラメータの種別とそのパラメータの値（インデックス値）、即ち種別信号１００を可変長符号化部２３へ順次出力していくこととなる。

また、周辺ブロック情報１２４は、マクロブロックまたはサブブロックを復号して得られる符号化モード等の情報であり、以降のマクロブロックまたはサブブロックの復号のための周辺ブロック情報１２４として用いるために可変長復号部６１内のメモリ（不図示）に格納しておき、必要に応じてコンテキスト生成部１２２へ出力される。

なお、コンテキスト生成部１２２によるコンテキスト識別情報１２６の生成手順は符号化装置側におけるコンテキスト生成部９９の動作と同じである。復号装置側のコンテキスト生成部１２２においても、逆２値化部１３８にて参照される２値化テーブル１３９のビン毎にコンテキスト識別情報１２６を生成する。

各ビンのコンテキスト情報には、そのビンを算術復号するための確率情報として、ＭＰＳの値（０または１）とそのＭＰＳの発生確率を特定する確率テーブル番号とが保持されている。
また、確率テーブルメモリ１３１および状態遷移テーブルメモリ１３５は、符号化装置側の確率テーブルメモリ９７および状態遷移テーブルメモリ９８と同じ確率テーブル（図１１）および状態遷移テーブル（図１２）を格納している。

算術復号処理演算部１２７は、ビットストリーム６０に多重化された符号化ビット列１３３をビン毎に算術復号して２値信号１３７を生成し、逆２値化部１３８へ出力する。

算術復号処理演算部１２７は、先ず、コンテキスト情報メモリ１２８を参照して、符号化ビット列１３３の各ビンに対応するコンテキスト識別情報１２６に基づくコンテキスト情報１２９を得る。続いて、算術復号処理演算部１２７は、確率テーブルメモリ１３１を参照して、コンテキスト情報１２９に保持されている確率テーブル番号１３０に対応する各ビンのＭＰＳ発生確率１３２を特定する。

続いて算術復号処理演算部１２７は、コンテキスト情報１２９に保持されているＭＰＳの値（０または１）と、特定されたＭＰＳ発生確率１３２とに基づいて、算術復号処理演算部１２７へ入力された符号化ビット列１３３を算術復号し、各ビンのシンボル値１３４（０または１）を得る。各ビンのシンボル値を復号後、算術復号処理演算部１２７は、状態遷移テーブルメモリ１３５を参照して、符号化装置側の算術符号化処理演算部１０４と同様の手順で、復号された各ビンのシンボル値１３４とコンテキスト情報１２９に保持されている確率テーブル番号１３０とに基づいて、各ビンのシンボル復号後（状態遷移後）の確率テーブル番号１３６を得る。

続いて算術復号処理演算部１２７は、コンテキスト情報メモリ１２８に格納されている各ビンのコンテキスト情報１２９の確率テーブル番号（即ち、確率テーブル番号１３０）の値を、状態遷移後の確率テーブル番号（即ち、先に状態遷移テーブルメモリ１３５から取得した、各ビンのシンボル復号後の確率テーブル番号１３６）へ更新する。
算術復号処理演算部１２７は、上記算術復号の結果得られた各ビンのシンボルを結合した２値信号１３７を、逆２値化部１３８へ出力する。

逆２値化部１３８は、２値化テーブルメモリ１４３に格納されている復号対象パラメータの種別毎に用意された２値化テーブルの中から、符号化時と同じ２値化テーブル１３９を選択して参照し、算術復号処理演算部１２７から入力された２値信号１３７から復号対象パラメータの復号値１４０を出力する。
なお、復号対象パラメータの種別がマクロブロックの符号化モード（最適符号化モード６２）のとき、２値化テーブル１３９は図１０に示した符号化装置側の２値化テーブルと同じである。

２値化テーブル更新部１４１は、ビットストリーム６０から復号された２値化テーブル更新フラグ１４２および２値化テーブル更新識別情報１４４に基づき、２値化テーブルメモリ１４３に格納されている２値化テーブルの更新を行う。

２値化テーブル更新フラグ１４２は、符号化装置側の２値化テーブル更新フラグ１１３に対応する情報であり、ビットストリーム６０のヘッダ情報等に含まれ、２値化テーブルの更新の有無を示す情報である。２値化テーブル更新フラグ１４２の復号値が「２値化テーブルの更新あり」を示す場合には、ビットストリーム６０からさらに２値化テーブル更新識別情報１４４が復号されることとなる。

２値化テーブル更新識別情報１４４は、符号化装置側の２値化テーブル更新識別情報１１２に対応する情報であり、符号化装置側で更新したパラメータの２値化テーブルを識別するための情報である。例えば、上述したように、符号化対象パラメータ毎に予め複数の２値化テーブルがある場合、各符号化対象パラメータを識別できるＩＤおよび２値化テーブルのＩＤを符号化装置側および復号装置側にそれぞれ予め付与しておき、２値化テーブル更新部１４１はビットストリーム６０から復号された２値化テーブル更新識別情報１４４中のＩＤ値に対応した２値化テーブルを更新する。この例では、２値化テーブルメモリ１４３に図１０と図１４の２種類の２値化テーブルとそのＩＤが予め用意され、更新前の２値化テーブルの状態が図１０に示す状態であると仮定した場合、２値化テーブル更新部１４１が２値化テーブル更新フラグ１４２および２値化テーブル更新識別情報１４４に従って更新処理を実施すれば、２値化テーブル更新識別情報１４４に含まれるＩＤに対応した２値化テーブルを選択することになるので、更新後の２値化テーブルの状態が図１４に示す状態になり、符号化装置側の更新後の２値化テーブルと同じになる。

以上より、実施の形態２に係る動画像符号化装置によれば、符号化制御部３が、符号化効率が最適となる最適符号化モード７ａ、最適予測パラメータ１０ａ，１８ａ、最適圧縮パラメータ２０ａといった符号化対象パラメータを選択して出力し、可変長符号化部２３の２値化部９２は、２値化テーブルメモリ１０５の２値化テーブルを用いて、多値信号で表される符号化対象パラメータを２値信号１０３へ変換し、算術符号化処理演算部１０４が２値信号１０３を算術符号化して符号化ビット列１１１を出力し、頻度情報生成部９３が符号化対象パラメータの頻度情報９４を生成して、２値化テーブル更新部９５が頻度情報９４に基づいて２値化テーブルの多値信号と２値信号との対応関係を更新するように構成にしたので、２値化テーブルが常に固定である従来の方法に比べ、同等の符号化映像の品質で、符号量を削減することができる。

また、２値化テーブル更新部９５が、２値化テーブルの更新の有無を示す２値化テーブル更新識別情報１１２および更新後の２値化テーブルを識別するための２値化テーブル更新識別情報１１２をビットストリーム３０へ多重化させるように構成したので、これに対応して、実施の形態２に係る動画像復号装置を、可変長復号部６１の算術復号処理演算部１２７が、ビットストリーム６０に多重化された符号化ビット列１３３を算術復号して２値信号１３７を生成し、逆２値化部１３８が、２値化テーブルメモリ１４３の２値化テーブル１３９を用いて、２値信号１３７を多値信号に変換して復号値１４０を取得し、２値化テーブル更新部１４１が、ビットストリーム６０に多重化されたヘッダ情報から復号される２値化テーブル更新フラグ１４２および２値化テーブル更新識別情報１４４に基づいて２値化テーブルメモリ１４３のうちの所定の２値化テーブルを更新するように構成した。そのため、動画像復号装置が動画像符号化装置と同様の手順で２値化テーブルの更新を行って符号化対象パラメータを逆２値化することができるので、実施の形態２に係る動画符号化装置にて符号化されたビットストリームを正しく復号することが可能になる。

実施の形態３．
本実施の形態３では、上記実施の形態１，２に係る動画像符号化装置および動画像復号装置において、動き補償予測部９の動き補償予測による予測画像の生成処理の変形例を説明する。

先ず、本実施の形態３に係る動画像符号化装置の動き補償予測部９を説明する。なお、本実施の形態３に係る動画符号化装置の構成は上記実施の形態１または実施の形態２と同じであり、動き補償予測部９を除く各構成要素の動作も同じであるため、図１〜図１５を援用する。

本実施の形態３に係る動き補償予測部９は、仮想サンプル精度の予測画像生成処理に係る構成および動作が、上記実施の形態１，２とは異なる以外は同じ構成および動作である。即ち、上記実施の形態１，２では、図３に示すように、動き補償予測部９の補間画像生成部４３が半画素または１／４画素等の仮想画素精度の参照画像データを生成し、この仮想画素精度の参照画像データに基づいて予測画像４５を生成する際に、ＭＰＥＧ−４ ＡＶＣ規格のように垂直方向または水平方向に６つの整数画素を用いた６タップフィルタによる内挿演算等によって仮想画素を作り出して予測画像を生成したのに対して、本実施の形態３に係る動き補償予測部９では、動き補償予測フレームメモリ１４に格納される整数画素精度の参照画像１５を超解像処理によって拡大することにより、仮想画素精度の参照画像２０７を生成し、この仮想画素精度の参照画像２０７に基づいて予測画像を生成する。

次に、本実施の形態３に係る動き補償予測部９を、図３を援用して説明する。
上記実施の形態１，２と同様に、本実施の形態３の補間画像生成部４３も、動き補償予測フレームメモリ１４から１フレーム以上の参照画像１５を指定し、動き検出部４２が指定された参照画像１５上の所定の動き探索範囲内で動きベクトル４４を検出する。動きベクトルの検出は、ＭＰＥＧ−４ ＡＶＣ規格等と同様に、仮想画素精度の動きベクトルによって行う。この検出方法は、参照画像の持つ画素情報（整数画素と呼ぶ）に対し、整数画素の間に内挿演算によって仮想的なサンプル（画素）を作り出し、それを参照画像として利用するものである。

仮想画素精度の参照画像を生成するためには、整数画素精度の参照画像を拡大（高精細化）して仮想画素からなるサンプルプレーンを生成する必要がある。そこで、本実施の形態３の補間画像生成部４３では、仮想画素精度の動き探索用参照画像が必要な場合、「Ｗ．Ｔ．Ｆｒｅｅｍａｎ，Ｅ．Ｃ．Ｐａｓｚｔｏｒ ａｎｄ Ｏ．Ｔ．Ｃａｒｍｉｃｈａｅｌ，“Ｌｅａｒｎｉｎｇ Ｌｏｗ−Ｌｅｖｅｌ Ｖｉｓｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．４０，ｎｏ．１，２０００」に開示された超解像技術を利用して、仮想画素精度の参照画像を生成する。以下の説明では、動き補償予測部９において、動き補償予測フレームメモリ１４に格納される参照画像データから仮想画素精度の参照画像２０７を超解像生成し、それを用いて動き検出部４２が動きベクトル探索処理を行う構成について述べる。

図１６は、この発明の実施の形態３に係る動画像符号化装置の動き補償予測部９の補間画像生成部４３の内部構成を示すブロック図である。図１６に示す補間画像生成部４３は、動き補償予測フレームメモリ１４中の参照画像１５を拡大処理する画像拡大処理部２０５と、参照画像１５を縮小処理する画像縮小処理部２００と、画像縮小処理部２００から高周波領域成分の特徴量を抽出する高周波特徴抽出部２０１ａと、参照画像１５から高周波領域成分の特徴量を抽出する高周波特徴抽出部２０１ｂと、特徴量間の相関値を計算する相関計算部２０２と、相関値と高周波成分パターンメモリ２０４の事前学習データから高周波成分を推定する高周波成分推定部２０３と、推定した高周波成分を用いて拡大画像の高周波成分を補正して、仮想画素精度の参照画像２０７を生成する加算部２０６とを含む。

図１６において、動き補償予測フレームメモリ１４に格納されている参照画像データのうちから、動き探索処理に用いる範囲の参照画像１５が補間画像生成部４３に入力されると、この参照画像１５が画像縮小処理部２００、高周波特徴抽出部２０１ｂおよび画像拡大処理部２０５にそれぞれに入力される。

画像縮小処理部２００は、参照画像１５から縦横１／Ｎ（Ｎは２，４等、２のべき乗値）サイズの縮小画像を生成して、高周波特徴抽出部２０１ａへ出力する。この縮小処理は、一般的な画像縮小フィルタによって実現する。

高周波特徴抽出部２０１ａは、画像縮小処理部２００が生成した縮小画像から、エッジ成分等の高周波成分に関する第１の特徴量を抽出する。第１の特徴量として、例えば局所ブロック内のＤＣＴまたはＷａｖｅｌｅｔ変換係数分布を示すパラメータ等が利用できる。

高周波特徴抽出部２０１ｂは、高周波特徴抽出部２０１ａと同様の高周波特徴抽出を行い、参照画像１５から、第１の特徴量とは周波数成分領域の異なる、第２の特徴量を抽出する。第２の特徴量は相関計算部２０２へ出力されると共に、高周波成分推定部２０３へも出力される。

相関計算部２０２は、高周波特徴抽出部２０１ａから第１の特徴量が入力され、高周波特徴抽出部２０１ｂから第２の特徴量が入力されると、参照画像１５とその縮小画像との間の局所ブロック単位における、特徴量ベースでの高周波成分領域の相関値を計算する。
この相関値としては、例えば第１の特徴量と第２の特徴量の間の距離がある。

高周波成分推定部２０３は、高周波特徴抽出部２０１ｂから入力される第２の特徴量と、相関計算部２０２から入力される相関値とに基づいて、高周波成分パターンメモリ２０４から高周波成分の事前学習パターンを特定し、仮想画素精度の参照画像２０７が備えるべき高周波成分を推定して生成する。生成した高周波成分は、加算部２０６へ出力される。

画像拡大処理部２０５は、入力された参照画像１５に対して、ＭＰＥＧ−４ ＡＶＣ規格による半画素精度サンプルの生成処理と同様に、垂直方向または水平方向に６つの整数画素を用いた６タップのフィルタによる内挿演算、または双線形フィルタ等の拡大フィルタ処理を施して、参照画像１５を縦横Ｎ倍サイズに拡大した拡大画像を生成する。

加算部２０６は、画像拡大処理部２０５から入力される拡大画像に、高周波成分推定部２０３から入力される高周波成分を加算して、即ち拡大画像の高周波成分を補正して、縦横Ｎ倍サイズに拡大された拡大参照画像を生成する。補間画像生成部４３は、この拡大参照画像データを、１／Ｎを１とする仮想画素精度の参照画像２０７として用いる。

なお、補間画像生成部４３は、Ｎ＝２として半画素（１／２画素）精度の参照画像２０７を生成した後、１／４画素精度の仮想サンプル（画素）を、隣接する１／２画素または整数画素の平均値フィルタを用いた内挿演算によって生成するように構成してもよい。

また、補間画像生成部４３は、図１６に示す構成に加えて、画像拡大処理部２０５の出力する拡大画像に高周波成分推定部２０３の出力する高周波成分を加算するかしないかを切り替えて、仮想画素精度の参照画像２０７の生成結果を制御するように構成してもよい。この構成の場合には、画像パターンが特異である等、何らかの理由で高周波成分推定部２０３による推定精度が悪いときに、その符号化効率への悪影響を抑制する効果がある。
なお、高周波成分推定部２０３が出力する高周波成分を加算部２０６において加算するかしないかを選択的に定める場合は、加算した場合と加算しない場合の両ケースの予測画像４５を生成して動き補償予測を行い、その結果を符号化して効率のよいほうを決定する。そして、加算したか否かを示す加算処理の情報は、制御情報としてビットストリーム３０へ多重化する。

あるいは、補間画像生成部４３が、ビットストリーム３０へ多重化する他のパラメータから一意に決定して、加算部２０６の加算処理を制御してもよい。他のパラメータから決定する例としては、例えば図２Ａまたは図２Ｂに示す符号化モード７の種別を用いることが考えられる。マクロブロック内の動き補償領域ブロック分割が細かいことを示す符号化モードが選択された場合は、動きの激しい絵柄である確率が高い。よって、補間画像生成部４３は超解像の効果が低いとみなし、高周波成分推定部２０３の出力した高周波成分を加算部２０６において加算しないように制御する。一方、マクロブロック内の動き補償領域ブロックのサイズが大きいことを示す符号化モードまたはブロックサイズの大きいイントラ予測モードが選択された場合は、比較的静止した画像領域である確率が高い。よって、補間画像生成部４３は超解像の効果が高いとみなし、高周波成分推定部２０３の出力した高周波成分を加算部２０６において加算するように制御する。

他のパラメータとして符号化モード７を利用する以外にも、動きベクトルの大きさ、周辺領域を考慮した動きベクトル場のばらつき、といったパラメータを利用してもよい。動き補償予測部９の補間画像生成部４３が、パラメータの種類を復号装置側と共有して判断することにより、直接ビットストリーム３０に加算処理の制御情報を多重化しなくてもよく、圧縮効率を高めることができる。

なお、動き補償予測フレームメモリ１４に格納される参照画像１５を、動き補償予測フレームメモリ１４へ格納する前に上述の超解像処理によって仮想画素精度の参照画像２０７にしてからその後に格納するように構成してもよい。この構成の場合、動き補償予測フレームメモリ１４として必要になるメモリサイズは増加するが、動きベクトル探索および予測画像生成の最中にシーケンシャルに超解像処理を行う必要が無くなり、動き補償予測処理そのものの処理負荷が低減でき、かつ、フレーム符号化処理と仮想画素精度の参照画像２０７の生成処理とを並列処理させることが可能となり、処理を高速化できる。

以下、図３を援用して、仮想画素精度の参照画像２０７を用いた仮想画素精度の動きベクトル検出手順の一例を示す。

動きベクトル検出手順Ｉ’
補間画像生成部４３は、動き補償領域ブロック画像４１の所定の動き探索範囲内にある整数画素精度の動きベクトル４４に対する予測画像４５を生成する。整数画素精度で生成された予測画像４５（予測画像１７）は、減算部１２へ出力され、減算部１２により動き補償領域ブロック画像４１（マクロ／サブブロック画像５）から差し引かれて予測差分信号１３になる。符号化制御部３は、予測差分信号１３と整数画素精度の動きベクトル４４（予測パラメータ１８）とに対して予測効率の評価を行う。この予測効率の評価は上記実施の形態１で説明した上式（１）により行えばよいので、説明は省略する。

動きベクトル検出手順ＩＩ’
補間画像生成部４３は、上記「動きベクトル検出手順Ｉ」で決定した整数画素精度の動きベクトルの周囲に位置する１／２画素精度の動きベクトル４４に対し、図１６に示す補間画像生成部４３内部で生成される仮想画素精度の参照画像２０７を用いて予測画像４５を生成する。以下、上記「動きベクトル検出手順Ｉ」と同様に、１／２画素精度で生成された予測画像４５（予測画像１７）が、減算部１２により動き補償領域ブロック画像４１（マクロ／サブブロック画像５）から差し引かれ、予測差分信号１３を得る。続いて符号化制御部３が、この予測差分信号１３と１／２画素精度の動きベクトル４４（予測パラメータ１８）とに対して予測効率の評価を行い、整数画素精度の動きベクトルの周囲に位置する１以上の１／２画素精度の動きベクトルの中から予測コストＪ₁を最小にする１／２画素精度の動きベクトル４４を決定する。

動きベクトル検出手順ＩＩＩ’
符号化制御部３と動き補償予測部９とは、１／４画素精度の動きベクトルに対しても同様に、上記「動きベクトル検出手順ＩＩ」で決定した１／２画素精度の動きベクトルの周囲に位置する１以上の１／４画素精度の動きベクトルの中から予測コストＪ₁を最小にする１／４画素精度の動きベクトル４４を決定する。

動きベクトル検出手順ＩＶ’
以下同様に、符号化制御部３と動き補償予測部９とが、所定の精度になるまで仮想画素精度の動きベクトルの検出を行う。

このように、動き補償予測部９は、マクロ／サブブロック画像５内を符号化モード７が示す動き補償の単位となるブロック単位に分割した動き補償領域ブロック画像４１に対し、各々決定された所定精度の仮想画素精度の動きベクトルとその動きベクトルが指す参照画像の識別番号を予測パラメータ１８として出力する。また、動き補償予測部９は、その予測パラメータ１８によって生成される予測画像４５（予測画像１７）を減算部１２へ出力し、減算部１２によってマクロ／サブブロック画像５から差し引かれ予測差分信号１３を得る。減算部１２から出力される予測差分信号１３は変換・量子化部１９へ出力される。これ以降は、上記実施の形態１において説明した処理と同じであるため、説明を省略する。

次に、本実施の形態３に係る動画像復号装置を説明する。
本実施の形態３に係る動画像復号装置の構成は、上記実施の形態１，２の動き補償予測部７０における仮想画素精度の予測画像生成処理に係る構成および動作が異なる以外は、上記実施の形態１，２の動画像復号装置と同じであるため、図１〜図１６を援用する。

上記実施の形態１，２では、動き補償予測部７０において半画素または１／４画素等の仮想画素精度の参照画像に基づいて予測画像を生成する際にＭＰＥＧ−４ ＡＶＣ規格のように、垂直方向または水平方向に６つの整数画素を用いた６タップのフィルタによる内挿演算等によって仮想画素を作り出して予測画像を生成したのに対して、本実施の形態３の動き補償予測部７０では、動き補償予測フレームメモリ７５に格納される整数画素精度の参照画像７６を超解像処理によって拡大することにより、仮想画素精度の参照画像を生成する。

本実施の形態３の動き補償予測部７０は、上記実施の形態１，２と同様に、入力された最適予測パラメータ６３に含まれる動きベクトル、各動きベクトルが指す参照画像の識別番号（参照画像インデックス）等に基づいて、動き補償予測フレームメモリ７５に格納された参照画像７６から予測画像７２を生成して出力する。
加算部７３は、動き補償予測部７０から入力された予測画像７２を、逆量子化・逆変換部６６から入力される予測差分信号復号値６７に加算して、復号画像７４を生成する。

なお、動き補償予測部７０による予測画像７２の生成方法は符号化装置側における動き補償予測部９の動作のうち、複数の参照画像から動きベクトルを探索する処理（図３に示す動き検出部４２および補間画像生成部４３の動作に相当する）を除外したものであり、可変長復号部６１から与えられる最適予測パラメータ６３に従って、予測画像７２を生成する処理のみを行う。

ここで、予測画像７２を仮想画素精度で生成する場合は、動き補償予測フレームメモリ７５上の、参照画像の識別番号（参照画像インデックス）で指定される参照画像７６に対して、動き補償予測部７０が図１６に示した処理と同様の処理を行って仮想画素精度の参照画像を生成し、復号した動きベクトルを用いて予測画像７２を生成する。この際、符号化装置側において、図１６に示す高周波成分推定部２０３が出力する高周波成分を拡大画像に加算するかしないかを選択的に定めた場合には、復号装置側にて、加算処理の有無を示す制御情報をビットストリーム６０から抽出するか、または他のパラメータから一意に決定するかして、動き補償予測部７０内部での加算処理を制御する。他のパラメータから決定する場合には、上述の符号化装置側と同様に符号化モード７、動きベクトルの大きさ、周辺領域を考慮した動きベクトル場のばらつき等を利用することができ、動き補償予測部７０がパラメータの種類を符号装置側と共有して判断することにより、符号装置側で直接ビットストリーム３０に加算処理の制御情報を多重化しなくてもよくなり、圧縮効率を高めることができる。

なお、動き補償予測部７０において仮想画素精度の参照画像を生成する処理は、符号化装置側から出力された最適予測パラメータ１８ａ（即ち復号装置側の最適予測パラメータ６３）に含まれる動きベクトルが仮想画素精度を指し示す場合にのみ実施してもよい。この構成の場合には、動き補償予測部９が動きベクトルに応じて、動き補償予測フレームメモリ１４の参照画像１５を用いるかまたは補間画像生成部４３で仮想画素精度の参照画像２０７を生成して用いるかを切り替えて、参照画像１５または仮想画素精度の参照画像２０７から予測画像１７を生成する。

あるいは、動き補償予測フレームメモリ７５に格納する前の参照画像に対して図１６に示す処理を実施して、拡大処理および高周波成分を補正した仮想画素精度の参照画像を動き補償予測フレームメモリ７５に格納するように構成してもよい。この構成の場合は、動き補償予測フレームメモリ７５として用意すべきメモリサイズが増加するが、動きベクトルが同じ仮想サンプル位置の画素を指し示す回数が多い場合に図１６に示す処理を重複して実施する必要がないため、演算量を削減できる。また、動きベクトルの指す変位の範囲が予め復号装置側に既知であれば、動き補償予測部７０がその範囲だけに限定して図１６に示す処理を行うように構成してもよい。動きベクトルの指す変位の範囲は、例えばビットストリーム６０に動きベクトルの指す変位の範囲を示す値域を多重して伝送したり、運用上、符号化装置側と復号装置側とで相互に取り決めて設定したりして、復号装置側に既知にすればよい。

以上より、実施の形態３に係る動画像符号化装置によれば、動き補償予測部９が、動き補償予測フレームメモリ１４中の参照画像１５を拡大処理すると共にその高周波成分を補正して、仮想画素精度の参照画像２０７を生成する補間画像生成部４３を有して、動きベクトルに応じて参照画像１５を用いるかまたは仮想画素精度の参照画像２０７を生成して用いるかを切り替えて予測画像１７を生成するように構成したので、細かいエッジ等の高周波成分を多く含む入力映像信号１を高圧縮するような場合であっても、動き補償予測により生成する予測画像１７を、高周波成分を多く含む参照画像から生成することができるようになり、効率よく圧縮符号化することが可能になる。

また、実施の形態３に係る動画像復号装置も、動き補償予測部７０が、動画像符号化装置と同様の手順で仮想画素精度の参照画像を生成する補間画像生成部を有して、ビットストリーム６０に多重化された動きベクトルに応じて動き補償予測フレームメモリ７５の参照画像７６を用いるかまたは仮想画素精度の参照画像を生成して用いるかを切り替えて予測画像７２を生成するように構成したので、実施の形態３に係る動画像符号化装置にて符号化されたビットストリームを正しく復号することが可能になる。

なお、上記実施の形態３における補間画像生成部４３では、上述のＷ．Ｔ．Ｆｒｅｅｍａｎ ｅｔ ａｌ．（２０００）に開示された技術を基にした超解像処理によって仮想画素精度の参照画像２０７を生成したが、超解像処理自体は同技術に限定するものではなく、他の任意の超解像技術を適用して仮想画素精度の参照画像２０７を生成するように構成してもよい。

また、上記実施の形態１〜３に係る動画像符号化装置をコンピュータで構成する場合、ブロック分割部２、符号化制御部３、切替部６、イントラ予測部８、動き補償予測部９、動き補償予測フレームメモリ１４、変換・量子化部１９、逆量子化・逆変換部２２、可変長符号化部２３、ループフィルタ部２７、イントラ予測用メモリ２８の処理内容を記述している動画像符号化プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている動画像符号化プログラムを実行するようにしてもよい。
同様に、実施の形態１〜３に係る動画像復号装置をコンピュータで構成する場合、可変長復号部６１、逆量子化・逆変換部６６、切替部６８、イントラ予測部６９、動き補償予測部７０、動き補償予測フレームメモリ７５、イントラ予測用メモリ７７、ループフィルタ部７８の処理内容を記述している動画像復号プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている動画像復号プログラムを実行するようにしてもよい。

この発明に係る動画像符号化装置および動画像復号装置は、マクロブロック内の動き補償予測の単位となる領域毎に、変換ブロックサイズを適応的に切り替えて圧縮符号化することのできる動画像符号化装置および動画像復号装置を得ることができるため、動画像を所定領域に分割して、領域単位で符号化を行う動画像符号化装置と、符号化された動画像を所定領域単位で復号する動画像復号装置に用いるのに適している。

１ 入力映像信号、２ ブロック分割部、３ 符号化制御部、４ マクロブロックサイズ、５ マクロ／サブブロック画像、６ 切替部、７ 符号化モード、７ａ 最適符号化モード、８ イントラ予測部、９ 動き補償予測部、１０ 予測パラメータ、１０ａ 最適予測パラメータ、１１ 予測画像、１２ 減算部、１３ 予測差分信号、１３ａ 最適予測差分信号、１４ 動き補償予測フレームメモリ、１５ 参照画像、１７ 予測画像、１８ 予測パラメータ、１８ａ 最適予測パラメータ、１９ 変換・量子化部、２０ 圧縮パラメータ、２０ａ 最適圧縮パラメータ、２１ 圧縮データ、２２ 逆量子化・逆変換部、２３ 可変長符号化部、２４ 局所復号予測差分信号、２５ 加算部、２６ 局所復号画像信号、２７ ループフィルタ部、２８ イントラ予測用メモリ、２９ 局所復号画像、３０ ビットストリーム、４０ 動き補償領域分割部、４１ 動き補償領域ブロック画像、４２ 動き検出部、４３ 補間画像生成部、４４ 動きベクトル、４５ 予測画像、５０ 変換ブロックサイズ分割部、５１ 変換対象ブロック、５２ 変換部、５３ 変換係数、５４ 量子化部、６０ ビットストリーム、６１ 可変長復号部、６２ 最適符号化モード、６３ 最適予測パラメータ、６４ 圧縮データ、６５ 最適圧縮パラメータ、６６ 逆量子化・逆変換部、６７ 予測差分信号復号値、６８ 切替部、６９ イントラ予測部、７０ 動き補償予測部、７１ 予測画像、７２ 予測画像、７３ 加算部、７４，７４ａ 復号画像、７５ 動き補償予測フレームメモリ、７６ 参照画像、７７ イントラ予測用メモリ、７８ ループフィルタ部、７９ 再生画像、９０ 初期化部、９１ コンテキスト情報初期化フラグ、９２ ２値化部、９３ 頻度情報生成部、９４ 頻度情報、９５ ２値化テーブル更新部、９６ コンテキスト情報メモリ、９７ 確率テーブルメモリ、９８ 状態遷移テーブルメモリ、９９ コンテキスト生成部、１００ 種別信号、１０１ 周辺ブロック情報、１０２ コンテキスト識別情報、１０３ ２値信号、１０４ 算術符号化処理演算部、１０５ ２値化テーブルメモリ、１０６ コンテキスト情報、１０７ 確率テーブル番号、１０８ ＭＰＳ発生確率、１０９ シンボル値、１１０ 確率テーブル番号、１１１ 符号化ビット列、１１２ ２値化テーブル更新識別情報、１１３ ２値化テーブル更新フラグ、１２０ 初期化部、１２１ コンテキスト初期化情報、１２２ コンテキスト生成部、１２３ 種別信号、１２４ 周辺ブロック情報、１２６ コンテキスト識別情報、１２７ 算術復号処理演算部、１２８ コンテキスト情報メモリ、１２９ コンテキスト情報、１３０ 確率テーブル番号、１３１ 確率テーブルメモリ、１３２ ＭＰＳ発生確率、１３３ 符号化ビット列、１３４ シンボル値、１３５ 状態遷移テーブルメモリ、１３６ 確率テーブル番号、１３７ ２値信号、１３８ 逆２値化部、１３９ ２値化テーブル、１４０ 復号値、１４１ ２値化テーブル更新部、１４２ ２値化テーブル更新フラグ、１４３ ２値化テーブルメモリ、１４４ ２値化テーブル更新識別情報、２００ 画像縮小処理部、２０１ａ，２０１ｂ 高周波特徴抽出部、２０２ 相関計算部、２０３ 高周波成分推定部、２０４ 高周波成分パターンメモリ、２０５ 画像拡大処理部、２０６ 加算部、２０７ 仮想画素精度の参照画像。

Claims (4)

1. 動画像の画像を複数のブロックに分割し圧縮符号化することにより生成されたビットストリームを復号して、前記動画像を取得する動画像復号装置であって、
   前記ブロックに対してインター予測処理を行って前記ブロックのインター予測画像を生成する動き補償予測部と、
   前記ブロックに対する変換ブロックサイズを示す圧縮パラメータに基づいて、前記ブロックの圧縮データに対して逆変換および逆量子化を行い、復号予測差分信号を生成する変換部と、
   前記復号予測差分信号に前記インター予測画像を加算して動画像を生成する加算部と、
   前記圧縮パラメータと、予測パラメータと、前記圧縮パラメータに２値文字列を割り当てる第１の複数の２値化テーブルから１つの２値化テーブルを特定する第１の識別情報と、前記予測パラメータに２値文字列を割り当てる第２の複数の２値化テーブルから１つの２値化テーブルを特定する第２の識別情報と、を可変長復号する可変長復号部を備え、
   前記可変長復号部は、前記第１の識別情報に基づいて、予め記憶された前記第１の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された前記圧縮パラメータを取得し、前記第２の識別情報に基づいて、予め記憶された前記第２の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された前記予測パラメータを取得することを特徴とする動画像復号装置。
2. 動画像の画像を複数のブロックに分割し圧縮符号化することにより生成されたビットストリームを復号して、前記動画像を取得する動画像復号方法であって、
   前記ビットストリームを可変長復号することにより第１の識別情報を取得し、
   前記第１の識別情報に基づいて、予め記憶された第１の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された、前記ブロックに対する変換ブロックサイズを示す圧縮パラメータを取得し、
   前記ビットストリームを可変長復号することにより第２の識別情報を取得し、
   前記第２の識別情報に基づいて、予め記憶された第２の複数の２値化テーブルを参照して特定した１つの２値化テーブルを用いて可変長復号された予測パラメータを取得し、
   前記ブロックに対してインター予測処理を行って前記ブロックのインター予測画像を生成し、
   前記ブロックに対する変換ブロックサイズを示す前記圧縮パラメータに基づいて、前記ブロックの圧縮データに対して逆変換および逆量子化を行い、復号予測差分信号を生成し、
   前記復号予測差分信号に前記インター予測画像を加算して動画像を生成することを特徴とする動画像復号方法。
3. 動画像の画像を複数のブロックに分割し圧縮符号化することによりビットストリームを生成する動画像符号化装置であって、
   前記ブロックに対してインター予測処理を行って前記ブロックのインター予測画像を生成する動き補償予測部と、
   前記ブロックから、前記インター予測画像を減算して生成された予測差分信号を、前記ブロックに対する変換ブロックサイズを示す圧縮パラメータに基づいて変換および量子化して圧縮データを生成する変換部と、
   前記圧縮パラメータと、予測パラメータと、前記圧縮パラメータに２値文字列を割り当てる第１の複数の２値化テーブルから１つの２値化テーブルを特定する第１の識別情報と、前記予測パラメータに２値文字列を割り当てる第２の複数の２値化テーブルから１つの２値化テーブルを特定する第２の識別情報と、を符号化する可変長符号化部とを備え、
   前記可変長符号化部は、予め記憶された前記第１の複数の２値化テーブルから特定した１つの２値化テーブルを用いて、前記圧縮パラメータを可変長符号化し、予め記憶された前記第２の複数の２値化テーブルから特定した１つの２値化テーブルを用いて、前記予測パラメータを可変長符号化することを特徴とする動画像符号化装置。
4. 動画像の画像を複数のブロックに分割し圧縮符号化することによりビットストリームを生成する動画像符号化方法であって、
   前記ブロックに対してインター予測処理を行って前記ブロックのインター予測画像を生成し、
   前記ブロックから、前記インター予測画像を減算して生成された予測差分信号を、前記ブロックに対する変換ブロックサイズを示す圧縮パラメータに基づいて変換および量子化して圧縮データを生成し、
   前記圧縮パラメータと、予測パラメータと、前記圧縮パラメータに２値文字列を割り当てる第１の複数の２値化テーブルから１つの２値化テーブルを特定する第１の識別情報と、前記予測パラメータに２値文字列を割り当てる第２の複数の２値化テーブルから１つの２値化テーブルを特定する第２の識別情報と、を符号化し、
   前記符号化の処理において、予め記憶された前記第１の複数の２値化テーブルから特定した１つの２値化テーブルを用いて、前記圧縮パラメータを可変長符号化し、予め記憶された前記第２の複数の２値化テーブルから特定した１つの２値化テーブルを用いて、前記予測パラメータを可変長符号化することを特徴とする動画像符号化方法。

Images