JP2004350307A - 画像符号化装置および画像復号化装置 - Google Patents

画像符号化装置および画像復号化装置 Download PDF

Info

Publication number
JP2004350307A
JP2004350307A JP2004180820A JP2004180820A JP2004350307A JP 2004350307 A JP2004350307 A JP 2004350307A JP 2004180820 A JP2004180820 A JP 2004180820A JP 2004180820 A JP2004180820 A JP 2004180820A JP 2004350307 A JP2004350307 A JP 2004350307A
Authority
JP
Japan
Prior art keywords
circuit
frame
block
encoding
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004180820A
Other languages
English (en)
Inventor
Noboru Yamaguchi
昇 山口
Takashi Ida
孝 井田
Yoshihiro Kikuchi
義浩 菊池
Toshiaki Watanabe
敏明 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004180820A priority Critical patent/JP2004350307A/ja
Publication of JP2004350307A publication Critical patent/JP2004350307A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】オブジェクトの形状情報を効率よく符号化する装置を提供すること。
【解決手段】時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト(Ob)毎に符号化する動画像符号化装置におけるObの形状を表すアルファマップの符号化回路であって、Obを含む方形領域をＭ×Ｎ画素で構成されるブロック(BL)毎に分割する手段と、BLを前記方形領域内において一定規則により順次符号化する手段 220とを有し、BLの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置おいて、BL近傍の再生値を蓄える手段と、すでに符号化されたフレーム(FM)の再生信号を蓄える再生信号保持手段FMと、該保持手段内の再生信号を用い動き補償予測値を生成する予測手段 250と、BL近傍の再生値も含めて変化画素を検出する手段とを有する構成とし、相対アドレス符号化の参照変化画素をBL内の画素値でなく動き補償予測信号から求める。
【選択図】 図１２

Description

本発明は、画像信号を高能率に符号化し、伝送・蓄積すると共に、復号するための画像符号化装置および画像復号化装置に関する。
画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。そして、画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））でブロックに分割し、その分割した各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。
ところで、画像符号化の一つとして、『J.Y.A.Wang et.al.“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”,M.I.T.Media Lab.Tech.Report No.263,Feb.1994,』において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。
この方式では、例えば、図１６（ａ）のような背景と被写体（以後、被写体をオブジェクトと呼ぶ）からなる画像があったとして、この背景とオブジェクトを図１６の（ｂ），（ｃ）のように分けて符号化している。
このように、背景（図１６（ｃ））やオブジェクト（図１６（ｂ））を別々に符号化するためには、オブジェクトの形状や画面内の位置を表す例えば２値の副画像情報であるアルファマップ信号（図１６（ｄ）参照、図中、白画素がオブジェクトの画素を示す）が必要となる。なお、背景のアルファマップ信号（図１６（ｅ））は、オブジェクトのアルファマップ信号から一意に求められる。
ところで、このアルファマップ信号を効率的に符号化する方法として、２値画像の符号化法（例えば、ＭＭＲ(Modified Modified READ)符号化等）や、線図形の符号化法（チェイン符号化等）が用いられている。
また、更にアルファマップの符号量を低減するために、形状の輪郭線をポリゴン近似してスプライン曲線でスムーシングする方法(J.Ostermann,“Object-based analysis-synthesis coding based on the souece model of moving rigid 3D objects”,Signal Process.:Image Comm.Vol.6 No.2 pp.143-161,1994)や、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法（特願平５‐２９７１３３号参照）などがある。
ここで、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法の例を説明する。
＜ＭＭＲ符号化回路の具体例＞
（ブロックベース符号化の具体例）
図１８（ａ）は、ブロック単位（例えば、Ｍ×Ｎ画素構成のブロック単位（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））で符号化する場合の変化画素の関係を表す図である。また、図１８（ｂ）は、参照変化画素ｂ１を検出するための参照領域を表す図である。
ブロックベース符号化においては、以下のように変化画素の符号化を単純化して符号化しても良い。なお、以下の処理は、スキャンの順序を切り換えても良いし、縮小されたブロックに適用しても良い。
単純化した変化画素の符号化は、次のようにして行う。
今、変化画素ａｉ (i=0 〜1)、参照変化画素ｂ１それぞれについての、画面左上からラスタ順に求めた際のアドレス（または画素順序）を各々、abs_ａi (i=0 〜1)、abs_ｂ1 と表記し、変化画素ａ0 の属するラインをａ0_lineと表記すると、ａ0_lineおよびｒ_ ａi (i=0 〜1)、ｒ_ ｂ1 の値は、以下の式で求められる。
ａ0_line ＝ (int)((abs_ ａ0 ＋WIDTH)／WIDTH)−1
ｒ_ ａ0 ＝ abs_ａ0 − ａ0_line＊WIDTH
ｒ_ ａ1 ＝ abs_ａ1 − ａ0_line＊WIDTH
ｒ_ ｂ1 ＝ abs_ｂ1 − (ａ0_line−1)＊WIDTH
上記式において、＊は乗算を、(int)(Ｘ) はＸの小数点以下切り捨てを意味しており、WIDTH はブロックの水平方向の画素数を示している。
そして、変化画素の相対アドレス“ｒ＿ａ１−ｒ＿ｂ１”あるいは、“ｒ＿ａ１−ｒ＿ａ０”の値を符号化することで、再生値が得られる。これが、上述の “単純化した変化画素の符号化”である。
図１９は、２値画像の符号化法であるＭＭＲ符号化を、ブロックベースで実施する場合の処理の流れを示すフローチャートである。以後、フローチャートに従って符号化処理を説明する。ここでの処理は、まず、起点変化画素の位置を初期化し（Ｓ５０１）、初期位置（ブロックの左上画素）での画素値を１ビットで符号化する（Ｓ５０２）、次に初期位置において参照変化画素ｂ１を検出する（Ｓ５０３）。
ここで、参照変化画素ｂ１が検出されなかった場合には、参照領域に変化画素が存在しないことから垂直モードが使えないため、垂直パスモードの状態を“ＴＲＵＥ”（真）とし、ｂ１が検出された場合は垂直モードが使えるため、垂直パスモードの状態を“ＦＡＬＳＥ”（偽）とする。
以上で初期状態のセッティングを終了し、符号化ループの処理に移る。
まず、変化画素ａ１を検出し（Ｓ５０５）、変化画素ａ１が検出されたか否かを判定し（Ｓ５０６）、変化画素ａ１が検出されなかった場合には、以後、変化画素が無いため、符号化の終了を示す符号化処理終了符号（ＥＯＭＢ;End of MB）を符号化する（Ｓ５０７）。
また、Ｓ５０６での判定の結果、変化画素ａ１が検出された場合には、垂直パスモード（Vertical pass mode）の状態を判定する（Ｓ５０８）。ここで、垂直パスモードの状態が“ＴＲＵＥ”ならば、垂直パスモードの符号化処理（Ｓ５１６）を行い、垂直パスモードの状態が“ＦＡＬＳＥ”ならば、ｂ１を検出する （Ｓ５０９）。
次に、ｂ１が検出されたか否かを判定し（Ｓ５１０）、参照変化画素ｂ１が検出されなかった場合には、水平モードのステップ（Ｓ５１３）に進み、参照変化画素ｂ１が検出された場合には、”ｒ＿ａ１−ｒ＿ｂ１”の絶対値がしきい値 （ＶＴＨ）よりも大きいか否かを判定し（Ｓ５１１）、その結果、しきい値（ＶＴＨ）以下の場合には、垂直モードのステップ（Ｓ５１２）に進み、しきい値 （ＶＴＨ）よりも大きい場合には、水平モードのステップ（Ｓ５１３）に進む。
水平モードのステップ（Ｓ５１３）では、“ｒ＿ａ１−ｒ＿ａ０”の値が符号化される。ここで、“ｒ＿ａ１−ｒ＿ａ０”の値が“ＷＩＤＴＨ”よりも小さいか否かを判定し（Ｓ５１４）、その結果、“ＷＩＤＴＨ”以上の場合には、垂直パスモードの状態を“ＴＲＵＥ”（真）として（Ｓ５１５）、垂直パスモードのステップ（Ｓ５１６）に進み、垂直パスモードのステップ（Ｓ５１６）が終了したら、垂直パスモードの状態を“ＦＡＬＳＥ”（偽）とする。
以上、垂直モード、水平モード、垂直パスモードの何れかが終了した後（ａｌまでの符号化が終了した後）、ａ１の位置を新たなａ０の位置として（Ｓ５１８）、Ｓ５０５の処理に戻る。
図１７は、ＶＬＣテーブル（可変長符号テーブル）の例である。
ここで、垂直パスモードの状態が“ＴＲＵＥ”の場合には、符号の種類はＶ０（モードＶ０）、Ｈ（水平モード）、ＥＯＭＢ（符号化処理終了符号）の３種類しか生起しないため、垂直パスモードの状態に応じて、ＶＬＣを切り換えることができる。なお、垂直パスモードの状態が“ＴＲＵＥ”の場合、ＥＯＭＢはａ０がブロックの左上の位置（初期位置）にある場合のみ生起する。従って、この場合には、図１７の“０”内の符号が用いられる。
J. Y. A. Wang et. al. "Applying Mid-level Vision Techniques for Video Data Compression and Manipulation" ,M. I. T. Media Lab. Tech. Report No. 263, Feb. 1994 J. Ostermann, "Object-based analysis-synthesis coding based on the souece model of moving rigid 3D objects", Signal Process. :Image Comm. Vol. 6 No. 2 pp. 143-161,1994
画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式があるが、この場合、背景とオブジェクトを分けるために、オブジェクトの形状や画面内の位置を表すアルファマップ信号が必要となる。そして、画像の符号化情報と共に、このアルファマップの情報も符号化してビットストリーム化し、伝送や蓄積に供する。
しかし、画面内を背景とオブジェクトに分割して符号化する方式の場合、従来の符号化法のように画面内を一括して符号化するのに比べ、アルファマップがある分、符号量増加が問題となり、このアルファマップの符号量増加による符号化効率の低下が問題となる。
そこでこの発明の目的とするところは、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置を提供することにある。
上記目的を達成するため、本発明は次のように構成する。
第１には、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化し、前記アルファマップは相対アドレス符号化を用いて符号化する画像符号化装置において、
既に符号化した変化画素を参照変化画素とし、この参照変化画素と、次に符号化する変化画素の相対的な位置を表すシンボルを可変長符号化テーブルを用いて符号化する手段と、前記可変長符号化テーブルを２つ以上保持し、既に符号化した前記アルファマップのパターンによって、前記可変長符号化テーブルを切り替える手段とを備えることを特徴とする。
第２には、この符号化装置により符号化されて得られた符号化ビットストリームを復号する復号化装置であって、
前記シンボルを可変長符号化テーブルを用いて復号する手段と、前記可変長符号化テーブルを２つ以上保持し、既に復号した前記アルファマップのパターンによって、前記可変長符号化テーブルを切り替える手段とを備えることを特徴とする。
さらには、前記可変長符号化テーブルを切り替える手段は、参照変化画素の近くのパターンによって切り替えることを特徴とする。
このような構成の本装置は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化することにより符号量を少なくするようにした符号化／復号化において、複数種の可変長符号化テーブルを用意しておき、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものであり、このような本発明によれば、アルファマップの符号量をいっそう低減できる効果が得られる。
また、第２には本発明は、時系列データとして得られる複数フレーム（画像フレーム）の動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置における、オブジェクトの形状を表すアルファマップを符号化する符号化回路であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割する手段と、この分割されて得られた上記ブロックを、前記方形領域内において一定規則により順次、符号化する手段とを有し、ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置において、
ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、前記再生値蓄積手段を参照し、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
これにより、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようになる。
また、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム （画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段と、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段とを有し、相対アドレス符号化情報を、切り替え情報と共に符号化するものである。
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段を有し、切り替え情報にしたがって参照変化画素を求めるようにしたものである。
この場合、相対アドレス符号化にあたり、参照変化画素ｂ１を現在処理中の画像のブロックである“current block ”内より検出するか、前回処理した画像のブロックである“ compensated block”内より検出するかを、ブロック単位で切り替えて処理することができ、符号化側ではこの切り替え用の情報も併せて符号化し、復号化側ではこれを復号して、復号化処理の際に当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えるようにすることができ、このようにすることによって、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
また本発明は、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置において、
オブジェクトの形状を表すアルファマップ信号について、ブロック近傍の再生信号を含む該フレームの再生信号と、符号化が終了したフレームの再生信号を蓄えるフレームメモリと、
ブロック内の画素値を２値の何れか一方の値で全て置き換える手段と、
フレームメモリ内のすでに符号化が終了したフレームの再生信号を用いて、動き補償予測値を生成する動き補償予測手段と、
ブロック毎に２値画像を縮小・拡大する手段と、
その縮小・拡大率をサイド情報として符号化する手段と、
ブロック毎に縮小された２値画像を符号化する２値画像符号化手段とからなるアルファマップ符号化手段を備えて構成した。
そして、前記アルファマップ符号化手段は前記ブロックの再生画像を、ブロック内を２値の何れか一方の値で全て置き換えた再生値と、動き補償予測値と、ブロック毎に縮小・拡大する事で得られた再生値とのうちの何れかから選択するようにした。従って、アルファマップ信号の符号化を、高品位で効率の良い形態で実施でき、高品位の画質を維持し、かつ、高圧縮率で符号化することができるようになる。
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置において、
ブロック近傍の再生信号を含む該フレームの再生信号と、符号化済みフレームの再生信号を蓄えるフレームメモリと、
ブロック内の画素値を２値の何れか一方の値で全て置き換える手段と、
フレームメモリ内のすでに符号化が終了したフレームの再生信号を用いて、動き補償予測値を生成する動き補償予測手段と、
ブロック毎に２値画像を縮小・拡大する手段と、
ブロック毎に縮小された２値画像を復号化する２値画像復号化手段とからなるアルファマップ復号化手段を備えて構成した。
そして、前記アルファマップ復号化手段は、前記ブロックの再生画像を、ブロック内を２値の何れか一方の値で全て置き換えた再生値と、動き補償予測値と、ブロック毎に縮小・拡大することで得られた再生値のうちの何れかから選択するようにした。従って、高品位の画像を再生できるようになる。
また、アルファマップをブロック毎に符号化する際に、ブロック毎の属性を符号化する方式であって、オブジェクトを含む、ブロックサイズの倍数で表される符号化領域を設定する手段と、
この領域内をブロックに分割する手段と、
各ブロックに対して、各々の属性に固有のラベルを割り当てるラベル付け手段と、上記ラベルをフレーム毎に保持する記億手段と、
現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する決定手段と、
少なくとも上記記憶手段に保持された前フレームのラベルと上記参照ブロックによって予測値を決定する予測手段と、
上記符号化ブロックのラベル情報を、上記予測値を用いて符号化する符号化手段とを有して構成するようにした。
また、アルファマップのブロック毎の属性を再生する復号化装置として、
復号化したラベルをフレーム毎に保持する記憶手段と、
現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する決定手段と、
少なくとも上記記億手段に保持された前フレームのラベルと上記参照ブロックによつて予測値を決定する予測手段と、
上記復号ブロックのラベル情報を、上記予測値を用いて復号化する復号化手段を備えて構成するようにした。
これらにより、アルファマップをマクロブロック（画像を例えば、１６×１６画素といった所定の複数画素構成に分割した場合のその分割した単位画像ブロック）毎に符号化する際に、各ブロックの属性に固有のラベルを付してこれを符号化するようにし、このラベルを再生して元のアルファマップのデータを再生することにより、効率の良い符号化できるようになる。
また、本発明は、画像を、その画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化するに当たり、アルファマップをブロック毎に符号化する際に、ブロック毎の属性を符号化するようにした方式の画像符号化装置であって、
オブジェクトを含む、ブロックサイズの倍数で表される符号化領域を設定する手段と、この領域内をブロックに分割する手段と、各ブロックに対して、各々の属性に固有のラベルを割り当てるラベル付け手段と、上記ラベルあるいは上記アルファマップをフレーム毎に保持する記億手段と、現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する決定手段と、少なくとも上記記憶手段に保持された前フレームのラベルあるいはアルファマップと、上記参照ブロックによって予測値を決定する予測手段と、上記符号化ブロックのラベル情報を、上記予測値を用いて符号化する符号化手段とを有する構成とする。
さらには、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化する手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備えるようにする。
あるいは、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化する手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備え、また、上記予測手段は、参照ブロックが複数ある場合には、上記複数の参照ブロックのラベルのうち、数が多いラベルを予測値とする手段を備えるようにする。
あるいは、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、 上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化するものであって、前フレームあるいは現フレームあるいはその両方の縮小・拡大率に応じて、複数種のうちから選択した一つの可変長符号化テーブルを用いて符号化ブロックの符号化処理をする手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備える。
また、アルファマップのブロック毎の属性を再生する復号化装置において、
復号化したラベルあるいはアルファマップをフレーム毎に保持する記憶手段と、現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する決定手段と、少なくとも上記記億手段に保持された前フレームのラベルあるいはアルファマップと上記参照ブロックによつて予測値を決定する予測手段と、上記復号ブロックのラベル情報を、上記予測値を用いて復号化する復号化手段を有することを特徴とする。
そして、さらには、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
上記縮小・拡大情報を保持する記憶手段とを有し、
上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備えるものであることを特徴とする。
あるいは、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
上記縮小・拡大情報を保持する記憶手段とを有し、
上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、上記予測手段は、参照ブロックが複数ある場合には、複数の参照ブロックのラベルのうち、数が多いラベルを予測値とするものであることを特徴とする。
また、水平・垂直方向共に１／２N （Ｎ＝１，２，３，…）に縮小された２値画像のブロックを拡大する拡大回路として、
該ブロック近傍再生値を保持するメモリと、該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、水平・垂直共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大する手段とを備え、上記拡大手段においては、常に１／２N に縮小された参照画素値を用いることを特徴とする。
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置であって、
上記フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域を設定する設定手段と、この設定手段により設定された領域内をブロックに分割する分割手段と、分割された上記ブロック内を動き補償予測するために必要な動きベクトルを予測符号化する手段とを有する画像符号化装置において、
参照フレーム内の領域のフレーム内における位置を表す第１の位置べクトルを保持するメモリと、該参照フレーム内領域のフレーム内での位置を表す第２の位置ベクトルを符号化する符号化手段と、符号化対象ブロック近傍の再生済みのブロックの動きベクトルを保持する動きべクトルメモリと、上記動きベクトルメモリに蓄えられている動きべクトルを用いて、符号化対象ブロックの動きベクトルを予測する手段とを備えてなり、
上記予測手段において使用する動きベクトルが、前記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置べクトルとの差分べクトルと、ゼロベクトルを切り換えて用いるようにすることを特徴とする。
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置であって、該フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域をブロック毎に再生する画像復号化装置において、
上記ブロック内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、参照フレーム内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、参照フレーム内の領域のフレーム内での位置を表す第１の位置ベクトルを保持するメモリと、該フレーム内の領域のフレーム内での位置を表す第２の位置ベクトルを復号化する手段と、復号化対象ブロック近傍の補正済みのブロックの動きベクトルを保持する動きベクトルメモリと、上記動きベクトルメモリに保持された動きベクトルを用いて、復号化対象ブロックの動きベクトルを予測する予測手段とを有し、
上記予測手段で使用するための動きべクトルが、上記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルのいずれかとすることを特徴とする。
本発明によれば、アルファマップの符号量を低減することができるため、フレーム単位で符号化する従来の符号化法と比べて、大幅な符号化効率の低下なしにオブジェクト毎に別々に符号化することができるようになる。
以下、本発明の具体例について、図面を参照して説明する。初めに、本発明が適用される画像符号化および画像復号化装置について概略を説明しておく。
（本発明が適用される画像符号化および画像復号化装置）
図１は、画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式であって本発明を適用した画像符号化装置のブロック図である。本発明における画像符号化装置は、図１に示すように、差分回路１００、動き補償予測回路（ＭＣ）１１０、直交変換回路１２０、量子化回路１３０、可変長符号化回路（ＶＬＣ）１４０、逆量子化回路（ＩＱ）１５０、逆直交変換回路１６０、加算回路１７０、多重化回路１８０、アルファマップ符号化回路２００とから構成される。
アルファマップ符号化回路２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。
特に、本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。
差分回路１００は、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１２０は、差分回路１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。
量子化回路１３０はこの直交変換回路１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１４０はこの量子化回路１３０の出力を符号化して出力するものである。多重化回路１８０はこの可変長符号化回路１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化多重化してビットストリームとして出力するものである。
逆量子化回路１５０は量子化回路１３０の出力を逆量子化するものであり、逆直交変換回路１６０はこの逆量子化回路１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１７０はこの逆直交変換回路１６０の出力と動き補償予測回路１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１００に出力するものである。
動き補償予測回路１１０は、フレームメモリを有し、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。
このような構成の本装置の作用を説明する。本装置には、画像信号とその画像信号のアルファマップが入力される。
そして、これらのうち、画像信号はフレーム毎にそれぞれ所定画素サイズ（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））のブロックに分割された後、ブロック位置順に信号線１０を介して差分回路１００に供給される。そして、差分回路１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１２０に供給される。
直交変換回路１２０では、供給された差分信号を、信号線４０を介してアルファマップ符号化回路２００から供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、ここで量子化される。量子化回路１３０にて量子化されて得られた変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。
逆量子化回路１５０に供給された変換係数は、ここで逆量子化された後、逆直交変換回路１６０において逆変換される。そして、加算回路１７０において動き補償予測回路１１０より供給される動き補償予測値と加算され、局部復号画像として出力されて、再び動き補償予測回路１１０に入力される。
そして、この加算回路１７０の出力である局部復号画像は、動き補償予測回路１１０内のフレームメモリに蓄えられる。
一方、この動き補償予測回路１１０は、アルファマップ復号化回路２００から与えられる局部復号信号に基づいてオブジェクトの領域のブロックの処理のタイミングでは“オブジェクトの動き補償予測値”を、また、それ以外のタイミングでは“背景部分の動き補償予測値”を出力して差分回路１００に与える。
すなわち、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１００に与える。
差分回路１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、その結果、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１２０に供給される。
直交変換回路１２０では、供給された差分信号を信号線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、直交変換係数はこの量子化回路１３０にて量子化される。
量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。そして、逆量子化回路１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１６０において逆変換されて加算回路１７０に供給される。そして、予測値切り換え回路５００を介して加算回路１７０に供給される予測値と加算されることになる。
加算回路１７０の出力である局部復号画像の信号は、動き補償予測回路１１０に供給される。そして、この動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、加算回路１７０からオブジェクトのブロック対応の信号が出力されているのか、あるいは背景部分のブロック対応の信号が出力されているのかを知り、その結果、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、また、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄える。
そして、これにより、オブジェクト用のフレームメモリにはオブジェクト画像のみが、また、背景用のメモリには背景画像のみの画像が得られることになる。これにより、動き補償予測回路１１０はオブジェクト画像を利用してオブジェクト画像の予測値を求めることができ、また、背景部分の画像を利用して背景画像の予測値を求めることができる。
上述したように、アルファマップ符号化回路２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を信号線３０を介して多重化回路１８０に供給している。
また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、信号線５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。
以上が符号化装置の構成と作用であり、画像の誤差信号を得るにあたって、オブジェクト用および背景用の画像により動き補償予測を行うべく、アルファマップにしたがって処理中の画像の現在ブロック位置がオブジェクト領域位置であるのか、背景領域位置であるのかを判別しながら、処理中の画像の現在ブロック位置がオブジェクト領域位置であればオブジェクト用の画像から求めた予測値を用い、背景領域位置であれば背景用の画像から求めた予測値を用いて差分を求めるようにした。
そして、オブジェクト用および背景用の予測には動き補償予測回路に、この差分から得た画像について、アルファマップにしたがってそれぞれ対応の領域部分の画像を保持させ、予測に供するようにした。これにより、オブジェクトおよび背景それぞれで最適な動き補償予測を行うことができるようになり、質の良い画像圧縮符号化と復号化を可能にする。
一方、図２は本発明が用いられる復号化装置のブロック図である。復号化装置は、図２に示すように、分離化回路３００、可変長復号化回路３１０、逆量子化回路３２０、逆直交変換回路３３０、加算回路３４０、動き補償予測回路３５０、アルファマップ復号化回路４００とより構成される。
分離化回路３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路４００はこの分離化回路３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。
可変長復号化回路３１０は、分離化回路３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路３４０は、この予測誤差信号に動き補償予測回路３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。
動き補償予測回路３５０は、加算回路３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。
このような構成の復号化装置においては、符号化ビットストリームは、線７０を介して分離化回路３００に供給され、分離化回路３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。
そして、アルファマップ信号に関する符号は、信号線８０を介してアルファマップ復号化回路４００に供給され、また、画像信号の可変長符号は可変長復号化回路３１０にそれぞれ供給される。
アルファマップ信号に関する符号はアルファマップ復号化回路４００においてアルファマップ信号に再生され、信号線９０を介して逆直交変換回路３３０と動き補償予測回路３５０に出力される。
一方、可変長復号化回路３１０では、分離化回路３００から供給される符号を復号し、逆量子化回路３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線９０を介して供給されるアルファマップにしたがって逆直交変換回路３３０により逆変換され、加算回路３４０に供給される。加算回路３４０では、逆直交変換回路３３０からの逆直交変換された信号と、動き補償予測回路３５０より供給される動き補償予測信号とを加算し、再生画像を得る。
以上が本発明を適用する画像符号化装置および画像復号化装置の概要である。 本発明は、図１に示す符号化装置の構成要素であるアルファマップ符号化回路２００および図２に示す復号化装置の構成要素であるアルファマップ復号化回路４００に関わるものであり、具体的な実施形態を示すものである。
本発明の要部詳細の説明に入る前に、先行技術としてのアルファマップ符号化回路２００に触れておく。図３は、先行技術（特願平８−２３７０５３号）におけるアルファマップ符号化回路２００の構成を示すブロック図である。図に示すように、先行技術におけるアルファマップ符号化回路２００は、解像度変換回路（縮小回路）２１０、（拡大回路）２３０、２値画像符号化回路（block-based MMR encoder ）２２０、多重化回路２４０とから構成されている。
これらのうち、解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる拡大率に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。
解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。
２値画像符号化回路２２０は解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであり、多重化回路２４０は２値画像符号化出力と前記信号線６０を介して与えられる拡大率の情報とを多重化して出力するものである。
このような構成のアルファマップ符号化回路２００においては、アルファマップ信号入力線２０を介して入力されるアルファマップを、解像度変換回路２１０により指定の拡大率で縮小符号化し、この符号化されたアルファマップ信号を信号線３０を介して出力し、また、縮小符号化されたアルファマップ信号を解像度変換回路２３０により元の解像度に復号して得た局部復号信号を信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。
すなわち、信号線６０を介してアルファマップ符号化回路２００に所望とする縮小・拡大率の設定情報を供給することで、上記トレードオフを図ることが可能となる。
信号線６０を介して供給された縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０、２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することが可能となる。また、信号線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、信号線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である多重化回路１８０に与えられることになる。
次に先行技術としてのアルファマップ復号化回路４００に触れておく。図４は先行技術（特願平８−２３７０５３号）における具体的なアルファマップ復号化回路４００である。
図に示すように、アルファマップ復号化回路４００は、２値画像復号化回路４１０（block-based MMR decoder ）、解像度変換回路４２０、分離化回路４３０にて構成される。
分離化回路４３０は、図２に示す画像復号化装置内の分離化回路３００で分離されて当該アルファマップ復号化回路４００に入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号（縮小・拡大率の設定情報信号）に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離化回路４３０から分離して与えられる縮小・拡大率の符号にしたがって２値画像に戻す回路であり、解像度変換回路４２０はこの２値画像を、分離化回路４３０から分離して与えられる縮小・拡大率の符号にしたがって解像度拡大変換して出力するものである。
図４において、信号線８０を介してアルファマップ復号化回路４００に供給された符号は、分離化回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々信号線８１および信号線８２を介して出力される。
２値画像復号化回路４１０では、信号線８１を介して供給されるアルファマップ信号の符号と信号線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を再生し、信号線８３を介して解像度変換回路４２０に供給する。解像度変換回路４２０では、信号線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を元のサイズに拡大してアルファマップ信号を再生した後、信号線９０を介して出力する。
以上が、本発明を適用する前提となる符号化回路および復号化回路の概要である。
次に、このような符号化回路および復号化回路に適用する本発明の詳細を説明する。はじめに、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化するにあたり、出現頻度の多いシンボルには短い符号を割り当てるように可変長符号化テーブル（ＶＬＣテーブル）を作っておくことにより、総符号量を少なくする場合に、既に符号化／復号化されたアルファマップの画素パターンによって、可変長符号化テーブル（ＶＬＣテーブル）を適応的に切り替えることで、さらに符号量を削減するようにした具体例を説明する。
（第１の具体例）
第１の具体例に示す本発明は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化し、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものである。
本発明の第１の具体例を説明する。
図３の２値画像符号化回路２２０では、図１７で示した可変長符号化テーブル（ＶＬＣテーブル）を用いて、変化画素の位置を表すシンボル（Mode）が符号化される。例えば、垂直パスモードが“ＦＡＬＳＥ”で、“Ｖ０（垂直モードでｒ＿ａ１−ｒ＿ｂ１＝０）”であった時には符号として“１”を出力する。あるいは、“Ｖ１（垂直モードで｜ｒ＿ａ１−ｒ＿ｂ１｜＝１）”の時は“０１ｓ” （ｓ：ｒ＿ａ１−ｒ＿ｂ１の正負によって“０”あるいは“１”）を出力し、 “ＥＯＭＢ（符号化終了）”の時は“０００１”を出力する。
一方、図４の２値画像復号化回路４１０では、符号化に利用したもの同じ図１７のＶＬＣテーブルを用いて、例えば、入力された符号が“１”である場合には“Ｖ０を再”生し、入力された符号が“０００１”である場合には“ＥＯＭＢ”を再生する。
この場合に、出現頻度の多いシンボルには短い符号を割り当てるように可変長符号化テーブル（ＶＬＣテーブル）を作っておけば、総符号量を少なくできる。
本発明は、既に符号化／復号化されたアルファマップの画素パターンによって、可変長符号化テーブル（ＶＬＣテーブル）を適応的に切り替えることで、さらに符号量を削減するものである。
＜第１の具体例の符号化回路の構成＞
図５は、図１のアルファマップ符号化回路２００あるいは、図３の２値画像符号化回路２２０をより詳細に表した、本発明の一具体例を示すブロック図である。
アルファマップ信号１は、ａ１検出回路２、及び符号化済みのアルファマップを保持するメモリ３に入力される。ａ１検出回路２では、図１８等を用いて説明した変化画素ａ１の位置４が検出され、モード決定回路５に送られる。同時にまた、メモリ３からは参照変化画素ｂ１の位置６がモード決定回路５に送られる。
モード決定回路５では、図１９を用いて説明したアルゴリズムにより、モードが決定され、そのモードが、符号化されるシンボル７として符号化回路８に送られる。
メモリ３からは、符号化済みの参照変化画素ｂ１の周囲のパターン９が、テーブル決定回路１−１０に送られる。テーブル決定回路１−１０では、複数の可変長符号化テーブルのうちの一つが選択されて出力される。
ここで、例えば、図７に示すように、参照変化画素ｂ１の上方において、右上から左下向きのエッジがある場合は、参照変化画素ｂ１の下方にも同じエッジが直線的に延びる場合が多いので、画素ｘ１、ｘ２、ｘ３の中ではｘ１にａ１がある確率が高い。
そこで、参照変化画素ｂ１の上方がこのようなパターンの時には、ＶＬ１（ｒ＿ａ１−ｒ＿ｂ１＝−１）に短い符号を割り当てたテーブルを用いる。
＜テーブル決定方法のより詳細な具体例＞
テーブル決定方法のより詳細な具体例を図８と図９に示す。ここでは、図８に示した参照変化画素ｂ１の上２ラインのｃ０〜ｃ５に着目する。これらの画素が参照変化画素ｂ１と同じ値なら“１”、異なる値なら“０”として、図９に示したように、ｃ０〜ｃ５の順序で“０”と“１”を並べる。
この２進数を１０進数に変換したものをコンテキスト番号と呼ぶ。
そして、各々のコンテキスト番号に対応させて、例えば、
［コンテキスト番号＝０の時］
Ｖ０ １
ＶＬ１ ０１０
ＶＲ１ ０１１
ＶＬ２ ００００１０
ＶＲ２ ００００１１
ＥＯＭＢ ０００１
Ｈ ００１
［コンテキスト番号＝１の時］
Ｖ０ ０１０
ＶＬ１ １
ＶＲ１ ００００１０
ＶＬ２ ０１１
ＶＲ２ ００００１１
ＥＯＭＢ ０００１
Ｈ ００１
［コンテキスト番号＝２の時］
以下省略
といったように可変長符号化テーブルを用意しておく。
このテーブルで、
ＶＬ１は、ｒ＿ａ１−ｒ＿ｂ１＝−１を表し、
ＶＬ２は、ｒ＿ａ１−ｒ＿ｂ１＝−２、
ＶＲ１は、ｒ＿ａ１−ｒ＿ｂ１＝１、
ＶＲ２は、ｒ＿ａ１−ｒ＿ｂ１＝２を表す。
図７はコンテキスト番号＝１となるので、上のＶＬ１が１ビットで符号化できるテーブルが選択される。
再び図５に戻り、説明を続ける。符号化回路８ではテーブル決定回路１−１０から送られてくる選択されたテーブル１１を用いて符号１２が決定される。そして、その決定した符号１２を出力する。
図６に、図２に示した復号化装置の構成要素としてのアルファマップ復号化回路４００あるいは、図４に示した復号化装置の構成要素としての２値画像復号化回路４１０を、より詳細に表したブロック構成図を示す。これは、図５の具体例で生成される符号１２を復号するものである。
符号１２は復号化回路１３に入力される。
メモリ１４にはそれまでに復号されたアルファマップが保持されており、参照変化画素ｂ１の周囲のパターン１５がテーブル決定回路１６に送られる。
テーブル決定回路１６では、複数の可変長符号化テーブルのうちの一つが選択されたテーブル１７として、復号化回路１３に送られる。テーブル決定のアルゴリズムは図５のテーブル決定回路１−１０と同じである。
テーブル１７によって、シンボル１８が復号され、ａ１再生回路１９に送られる。ａ１再生回路１９ではシンボル１８とメモリ１４から送られてくるｂ１の位置１−２０によってａ１の位置を求め、ａ１までのアルファマップ１−２１を再生する。
再生されたアルファマップ１−２１は出力され、また、今後の復号のためにメモリ１４に保持される。
以上、第１の具体例は、複数の所定の可変長符号化テーブルを切り替えるものであるが、図１０に、実際に生起したシンボルの頻度によって、テーブルをダイナミックに修正していく具体例を次に第２の具体例として示す。
（第２の具体例）
＜第２の具体例の符号化装置の構成＞
以上の第１の具体例は、複数の所定の可変長符号化テーブルを切り替えるものであるが、図１０に、実際に生起したシンボルの頻度によって、テーブルをダイナミックに修正していく具体例を示す。これは第１の具体例の構成である図５の構成に、カウンタ２２とハフマンテーブル生成回路２３を加えた構成である。
カウンタ２２にはモード決定回路５からのシンボル７と、テーブル決定回路１−１０からのコンテキスト番号２４が入力される。カウンタ２２では、各シンボルの発生回数をコンテキスト番号別に保持する。
そして、一定の時間が経過した後にコンテキスト番号別に各シンボルの発生回数２５がハフマンテーブル生成回路２３に送られる。
ハフマンテーブル生成回路２３では、ハフマン符号化（藤田「基礎情報理論」（昭晃堂）ｐｐ．５２−５３、１９８７年）によって符号化テーブル２６が
生成される。そのテーブル２６がテーブル決定回路１−１０に送られて、該当するコンテキスト番号のテーブルがテーブル２６で置き換えられる。このハフマンテーブルの生成と置き換えを全てのコンテキスト番号について行う。
＜第２の具体例の復号化装置の構成＞
図１０の具体例で生成される符号を復号するための復号化装置を図１１に示す。図１１に示す第１の具体例としての復号化装置も、やはり、図６ににカウンタ２７とハフマンテーブル生成回路２８を加えた構成である。
カウンタ２７とハフマンテーブル生成回路２８の動作は図１０と同じである。 以上述べたように、第１および第２の具体例は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化することにより符号量を少なくするようにした符号化／復号化において、複数種の可変長符号化テーブルを用意しておき、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものであり、このような本発明によれば、アルファマップの符号量をいっそう低減できる効果が得られる。
次に、相対アドレス符号化の参照変化画素を、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）構成のブロック内の画素値からでなく、動き補償予測信号から求めるようにした具体例を第３の具体例として説明する。
（第３の具体例）
第３の具体例は、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からだけでなく、動き補償予測信号からも求められることを特徴とするものである。
図１２は、第３の具体例としてのアルファマップ符号化回路を説明するブロック図である。また、図１３は、第３の具体例としてのアルファマップ復号化回路を説明するブロック図である。
図１２、図１３および図１４を用いて本発明のアルファマップ符号化回路２００およびアルファマップ復号化回路４００を説明する。
第３の具体例においては、図３に示すアルファマップ符号化回路２００を、図１２の如く構成し、また、図４に示すアルファマップ復号化回路４００を、図１３の如く構成する。
図１２に示すように、本具体例のアルファマップ符号化回路２００は、解像度変換回路（縮小処理用回路）２１０、解像度変換回路（拡大処理用回路）２３０、２値画像符号化回路（block-based MMR encoder ）２２０、多重化回路２４０、そして、さらに動き補償予測回路２５０および縮小回路２６０とから構成されている。
これらのうち、解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる縮小・拡大率の設定情報信号に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。
解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。
２値画像符号化回路２２０は、解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであって、詳細は後述するが、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化するものである。また、多重化回路２４０は２値画像符号化出力と前記与えられる拡大率の情報とを多重化して出力するものである。
第３の具体例における符号化回路の構成は、動き補償予測回路２５０および縮小処理用の解像度変換回路２６０を備えている点が、上述した先行技術の構成（図３の回路）と異なるものであり、動き補償予測回路２５０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されていて、拡大回路２３０より供給される再生信号が蓄えることができる構成であると共に、更に、動き補償予測回路２５０には、動きベクトル信号（図示せず）が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線４１を介して縮小処理用の解像度変換回路２６０に供給する構成としてある。
縮小処理用の解像度変換回路２６０は、信号線４１を介して供給される動き補償予測回路２５０からの動き補償信号を、信号線６０を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線４２を介して２値画像符号化回路２２０に出力する。
なお、２値画像符号化回路２２０として構成する場合では、信号線２１を介して供給される解像度変換回路２１０からの解像度縮小変換されたアルファマップ信号を２値画像符号化して出力する。
このような構成のアルファマップ符号化回路２００においては、信号線６０を介して供給される縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０，２６０、および２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することを可能とする。また、信号線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、信号線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である図１の多重化回路１８０に与えられることになる。
本装置では、アルファマップ信号入力線２０を介して入力されるアルファマップを、信号線６０を介して与えられる所望の縮小・拡大率の設定情報に従って解像度変換回路２１０は縮小符号化し、２値画像符号化回路２２０に与える。
２値画像符号化回路２２０は、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化し、２値画像符号化出力として多重化回路２４０と解像度変換回路２３０とに与える。そして、多重化回路２４０はこの２値画像符号化出力である符号化されたアルファマップ信号と、前記信号線６０を介して与えられる拡大率の情報とを多重化して信号線３０に出力する。
一方、解像度変換回路２３０では、この２値画像符号化回路２２０から与えられたこの縮小符号化されたアルファマップ信号（２値画像符号化出力）を、信号線６０を介して得た縮小・拡大率の設定情報信号に従って元の解像度に復号し、局部復号信号として得て、この得た局部復号信号を信号線４０を介して動き補償予測回路２５０および図１の直交変換回路１２０，逆直交変換回路１６０に出力する。
一方、動き補償予測回路２５０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大処理用の解像度変換回路２３０より供給される再生信号が蓄えられる。そして、動き補償予測回路２５０は、別途供給される動きベクトル信号にしたがってアルファマップの動き補償予測信号を生成し、信号線４１を介して縮小処理用の解像度変換回路２６０に供給する。解像度変換回路２６０はこの供給された動き補償予測信号を、信号線６０を介して得た縮小・拡大率の設定情報信号に従って解像度縮小変換し、２値画像符号化回路２２０に与える。
２値画像符号化回路２２０は、縮小処理用の解像度変換回路２６０から与えられた解像度縮小変換されたアルファマップの動き補償予測信号を利用し、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を符号化する。
以上が、第３の具体例のアルファマップ符号化回路の概要である。アルファマップ復号化回路は次のようになる。
図１３に示すように、本具体例のアルファマップ復号化回路４００は、２値画像復号化回路４１０（block-based MMR decoder ）、解像度変換回路（拡大処理用回路）４２０、分離化回路４３０、そして、さらに動き補償予測回路４４０、および解像度変換回路（縮小処理用回路）４５０にて構成されている。
これらのうち、分離化回路４３０は、図２に示す画像復号化装置内の分離化回路３００で分離され、当該アルファマップ復号化回路４００に入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離化回路４３０から分離して与えられる縮小・拡大率の符号（縮小・拡大率の設定情報信号）にしたがって２値画像に戻す回路であり、詳細は後述するが、縮小処理用の解像度変換回路４５０から信号線９２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して復号化するものである。
拡大処理用の解像度変換回路４２０はこの２値画像復号化回路４１０からのアルファマップ信号の符号である２値画像を、分離化回路４３０から分離して与えられる縮小・拡大率の符号（縮小・拡大率の設定情報信号）にしたがって解像度拡大変換して出力するものである。
第３の具体例における復号化回路の構成は、動き補償予測回路４４０および縮小処理用の解像度変換回路４５０を備えている点が、上述した先行技術の構成 （図４の回路）と異なるものである。そして、動き補償予測回路４４０は、先に符号化されたフレームの再生画像を蓄積するフレームメモリを有しており、拡大処理用の解像度変換回路４２０より供給される再生信号を蓄えると共に、動きベクトル信号（図示せず）が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線９１を介して縮小処理用の解像度変換回路４５０に供給する構成となっている。
解像度変換回路４５０はこの動き補償予測信号を、信号線８２を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線９２を介して２値画像復号化回路４１０に出力する。
このような構成のアルファマップ復号化回路４００においては、信号線８０を介してアルファマップ復号化回路４００に供給された符号は、分離化回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々信号線８１および信号線８２を介して出力される。
２値画像復号化回路４１０では、詳細は後述するが、縮小処理用の解像度変換回路４５０から信号線９２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用し、信号線８１を介して供給されるアルファマップ信号の符号と信号線８２を介して供給される縮小・拡大率の符号（縮小・拡大率の設定情報信号）に従って２値画像に戻す復号化処理を施すことにより、縮小されているアルファマップ信号を再生し、信号線８３を介して解像度変換回路４２０に供給する。
解像度変換回路４２０では、２値画像復号化回路４１０の再生した縮小されているアルファマップ信号を、信号線８２を介して供給される縮小・拡大率の符号に基づいて元のサイズに拡大してアルファマップ信号を再生した後、信号線９０を介して出力する。
２値画像符号化回路２２０は、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化し、２値画像符号化出力として多重化回路２４０と解像度変換回路２３０とに与える。そして、多重化回路２４０はこの２値画像符号化出力である符号化されたアルファマップ信号と、前記信号線６０を介して与えられる拡大率の情報とを多重化して信号線３０に出力する。
一方、解像度変換回路４２０では、この２値画像復号化回路４１０から与えられたこの縮小符号化されたアルファマップ信号（２値画像符号化出力）を、信号線８２を介して得た縮小・拡大率の設定情報信号に従って元の解像度に復号し、局部復号信号として得て、この得た局部復号信号を動き補償予測回路４４０に出力する。
一方、動き補償予測回路４４０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大処理用の解像度変換回路４２０より供給される再生信号が蓄えられる。そして、動き補償予測回路４２０は、別途供給される動きベクトル信号にしたがってアルファマップの動き補償予測信号を生成し、信号線９１を介して縮小処理用の解像度変換回路４５０に供給する。解像度変換回路４５０はこの供給された動き補償予測信号を、信号線８２を介して得た縮小・拡大率の設定情報信号に従って解像度縮小変換し、２値画像復号化回路４１０に与える。
２値画像復号化回路４１０は、縮小処理用の解像度変換回路４５０から与えられた解像度縮小変換されたアルファマップの動き補償予測信号を利用し、分離化回路４３０からの縮小・拡大率の設定情報信号に従って、分離化回路４３０からのアルファマップ信号を復号化する。
以上が、本発明を適用した復号化回路の概要である。
既に説明しているように、本発明を適用した第３の具体例における符号化回路の構成は、動き補償予測回路２５０および縮小回路２６０を備えている点が先行技術の構成（図３の回路）と異なり、また、復号化回路の構成は、動き補償予測回路４４０および縮小回路４５０を備えている点が先行技術の構成（図４の回路）と異なる。
動き補償予測回路２５０または４４０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大回路２３０または４２０より供給される再生信号が蓄えられる。更に、動き補償予測回路２５０または４４０には、ここには図示していない動きベクトル信号が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線４１および信号線９１を介して縮小回路２６０または４５０に供給する。
ここで、動きベクトル信号は、図１および図２の装置に具備されている、動き補償予測回路１１０または３５０で用いられる動きベクトル信号を利用しても良いし、アルファマップ符号化回路２００において、アルファマップ用の動きベクトル検出回路を具備することにより、アルファマップ用の動きベクトル信号を求めても良い。
すなわち、動き補償予測回路２５０または４４０に供給される動きベクトル信号の求め方は種々知られており、本発明に関わるものではないため、ここではこれ以上言及しない。
縮小回路２６０または４５０においては、信号線４１および信号線９１を介して供給される動き補償信号を、信号線６０および信号線８２を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線４２および信号線９２を介して出力する。
なお、２値画像符号化回路２２０として構成する場合では、信号線２１を介して供給される解像度縮小変換されたアルファマップ信号を２値画像符号化して出力する。
ここで、本具体例にかかる２値画像符号化回路２２０が上述した先行技術と根本的に異なる点は、信号線４２を介して供給される、解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化する機能を具備していることである。
このことについて、詳しく説明する。
図１４は、動き補償予測信号を利用して符号化する方法を説明する図であり、フレーム画像単位の画像における分割されたＮ×Ｍ画素構成の画像ブロックのうちの一つを示している。
図１４において、“current block ”は処理対象ブロックであり、入力された現在の処理画像のブロックである。また、“compensated block ”は補償ブロックであり、前回処理対象となった画像のブロックである。
本発明の適用前提となる先行技術では、現在の処理対象画像のブロックに対応するアルファマップの該当ブロック上での参照変化画素ｂ１を変化画素ａ０、ａ１と同じ“current block ”内で検出していた。
一方、本発明では、参照変化画素ｂ１を動き補償予測信号である“compensated block ”内から検出しており、この点が新しい概念である。すなわち、現在の処理対象画像のブロックに対応するアルファマップの該当ブロック上での参照変化画素ｂ１を、動き補償予測信号である“compensated block ”内から検出している。
なお、本発明は、参照変化画素ｂ１の検出手段が異なるだけで、ａ0 、ａ１およびｂ１の相対アドレスを用いて符号化・復号化を行う点は、先行技術と同一である。
図１４において、ａ0 は起点変化画素であり、すでに起点変化画素ａ0 までは符号化が済んでいる。また、ａ1 は、起点変化画素ａ0 の次の変化画素であり、ｂ0 は、“ compensated block”内において、ａ0 と同じ位置の画素（変化画素とは限らない）である。また、ａ0 （ｂ0 ）が属するラインを“ａ0 - line”と表記すると、参照変化画素ｂ１は次のように定義される。
ここで、ａｂｓ＿Ｘをブロック左上の画素からブロック内をラスタ順にスキャンした際の、画素Ｘのアドレスとする。なお、ブロック左上の画素のアドレスは“０”とする。
ａｂｓ＿ｂ0 ＜ａｂｓ＿ｂ1 であり、符号“×”を付して示す画素は変化画素であって、変化画素×が“ａ0 - line”上にある場合には、“ａ0 ”と反対色の最初の変加画素を参照変化画素ｂ１とし、変化画素が“ａ0 - line”上にない場合は、該ライン上の最初の変加画素を参照変化画素ｂ1 とする。
図１４（ａ）は変化画素が“ａ0_line”上にない場合であり、この場合、次のラインの最初の変化画素を“ｂ1 ”としている。
また、図１４（ｂ）は、変化画素が“ａ0 - line”上にある場合であるが、この変化画素×は、“ａ”と反対色ではないので“ｂ１”とはせずに、次のラインの最初の変化画素を“ｂ１”としている。
なお、“ａ0 - line”および“ｒ＿ａi (i=0 〜1)”、“ｒ＿ｂ1 ”の値は、以下の式で求められる。
ａ0 - line＝ (int)((abs- ａ0 ＋WIDTH)／WIDTH)−1
ｒ- ａ0 ＝ abs - ａ0 − ａ0 - line＊WIDTH
ｒ- ａ1 ＝ abs - ａ1 − ａ0 - line＊WIDTH
ｒ- ｂ1 ＝ abs - ｂ1 − ａ0 - line＊WIDTH
上記式において、＊は乗算を、また、(int)(Ｘ) はＸの小数点以下切り捨てを意味しており、WIDTH はブロックの水平方向の画素数を示している。
本発明では、参照変化画素ｂ１の定義が先行技術とは変わったため、“ｒ_ ｂ1 ”の定義も、上式のように変更される。
図１４を用いて説明した例は、“ compensated block”内から参照変化画素ｂ１を求める手段の一例であり、参照変化画素ｂ１の検出については種々変形が可能である。
また、２値画像復号化回路においては、信号線９２を介して供給される解像度縮小変換されたアルファマップの動き補償予測信号（“ compensated block”）を利用して、２値画像符号化回路２２０と同一の手順で参照変化画素ｂ１を検出する。
更に、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、たとえばブロック単位で切り替えるようにすることもできる。この際、２値画像符号化回路２２０では切り替え用の情報も併せて符号化し、２値画像復号化回路４１０では当該切り替え用の情報も復号化して、復号化処理の際には当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、たとえばブロック単位で切り替えるようにする。
このようにすると、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
また、先行技術と同様、スキャン順序を切り替える手段を具備して図１５（ａ）に示すように、スキャン順序を横方向スキャンに切り替えたり、図１５（ｂ）に示すように、縦方向スキャンに切り替えるようにすることで、変化画素の数が減り、更に符号量が削減されて、これも一層、効率の良い符号化につながる。
以上、第３の具体例は、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置における、オブジェクトの形状を表すアルファマップを符号化する符号化回路であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割する手段と、この分割されて得られた上記ブロックを、前記方形領域内において一定規則により順次、符号化する手段とを有し、ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置において、
ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
これにより、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようになる。
また、ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、前記再生値蓄積手段の蓄積再生値の情報を参照し、ブロック近傍の再生値も含めて変化画素を検出する手段と、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段とを有し、相対アドレス符号化情報を、切り替え情報と共に符号化するものである。
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段を有し、切り替え情報にしたがって参照変化画素を求めるようにしたものである。
この場合、相対アドレス符号化にあたり、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えて処理することができ、符号化側ではこの切り替え用の情報も併せて符号化し、復号化側ではこれを復号化して、符号化されたアルファマップの復号化処理の際に当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えるようにすることができ、このようにすることによって、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
以上、本発明によれば、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置が得られる。
以上の具体例は、アルファマップ符号化回路２００の構成において、ＭＭＲ(Modified Modified READ)符号化を用いた場合の例を説明したものであった。しかし、本発明はＭＭＲ符号化に限定されるものではなく、他の任意の２値画像符号化回路を用いても実現可能である。そこで、そのような例を以下説明する。
（第４の具体例）
図２１、図２２および図２０を用いてアルファマップ符号化回路２００およびアルファマップ復号化回路４００の具体的な構成を説明する。
図２０は、アルファマップの画面内を例えば、１６×１６画素といった所定の複数画素構成によるマクロブロック（ＭＢ）単位に分割した図であり、正方形の升目で示したものが分割の境界線であって、升目一つ一つがマクロブロック（ＭＢ）である。
２値で表現されたアルファマップの場合（オブジェクトを合成する際の重み係数も含めて多値で表現される場合もある）、オブジェクトの形状情報は画素毎に白か黒かのいずれかで表される。従って、図２０に示されるように、アルファマップの画面における各マクロブロック（ＭＢ）の中身の状態は、“ａｌｌＷ”（全て白）、“ａｌｌＢ”（全て黒）、“Ｍｕｌｔｉ”（その他）の３種類のいずれかに分類される。
人物像のアルファマップである図２０のような画面の場合、背景は“白”、人物部分は“黒”であるから、“Ｍｕｌｔｉ”に分類されるオブジェクトの境界部分が含まれるマクロブロック（ＭＢ）のみ、２値画像符号化すればよい。また、“Ｍｕｌｔｉ”に分類されるブロック（ＭＢ）の中でも、動き補償予測誤差値が設定値（しきい値）以下の場合には、該ブロック（ＭＢ）を動き補償予測値でコピーする。このように、コピーされるマクロブロック（ＭＢ）のモードを“ｃｏｐｙ”、２値面像符号化されるマクロブロック（ＭＢ）のモードを“ｃｏｄｅｄ”と表記すると、該マクロブロック（ＭＢ）の符号化モードは次の４通りとなる。
（１）“ａｌｌＷ”
（２）“ａｌｌＢ”
（３）“ｃｏｐｙ”
（４）“ｃｏｄｅｄ”
それぞれのモードの符号化法あるいは復号化法については、アルファマップ符号化回路２００、アルファマップ復号化回路４００の中で説明する。
＜第４の具体例におけるアルファマップ符号化回路の構成例＞
図２１は、アルファマップ符号化回路２００の詳細な構成図である。図２１の構成においては、モード判定回路１１００、ＣＲ（縮小・拡大率）判定回路１１１０、セレクタ１２００、ブロック内画素値設定回路１４００，１５００、動き補償予測回路１６００、２値画像符号化回路１７００、縮小回路１７１０，１７３０，１７４０、拡大回路１７２０、フレームメモリ１３００、転置回路１７５０，１７６０、スキャンタイプ（ＳＴ）判定回路１７７０、動きベクトル検出回路（ＭＶＥ）１７８０、ＭＶ符号化回路１７９０、ＶＬＣ（可変長符号化）・多重化回路１８００からなる。
これらのうち、ブロック内画素値設定回路１４００はマクロブロック内の画素値を全て白とする画素データを発生する回路であり、ブロック内画素値設定回路１５００はマクロブロック内の画素値を全て黒とする画素データを発生する回路である。
ＣＲ（縮小・拡大率）判定回路１１１０は、アルファマップ信号入力線２０を介して供給されるアルファマップ信号を解析し、１フレーム分のアルファマップ画像をどの程度の縮小・拡大率で処理すべきかを判定すると共にその判定結果を縮小・拡大率情報ｂ２として出力するものである。また、縮小回路１７１０はアルファマップ信号入力線２０を介して供給されるアルファマップ信号をフレーム全体について、前記スキャンタイプ（ＳＴ）判定回路１７７０は２値画像符号化回路１７００からの出力符号化出力を基にスキャン方向を判定してスキャン方向情報ｂ４を出力するものである。
また、転置回路１７５０はこのスキャンタイプ（ＳＴ）判定回路１７７０の出力するスキャン方向情報ｂ４を基に、前記縮小回路１７１０の縮小処理した１フレーム分のアルファマップ信号について各マクロブロックの位置を、転置処理する回路であり、転置回路１７６０はスキャンタイプ判定回路１７７０の出力するスキャン方向情報ｂ４を基に、前記縮小回路１７１０，１７２０，１７３０の出力を転置処理して出力する回路であり、２値画像符号化回路１７００はこれらの転置回路１７５０、１７６０を介して与えられた縮小アルファマップ信号を符号化処理して出力するものである。
また、拡大回路１７２０は縮小回路１７１０を介して与えられるアルファマップ信号を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で拡大処理する回路であり、動き補償予測回路１６００はフレームメモリ１３００に蓄積されている参照フレームの再生画像を用いて動き補償予測信号を生成し、モード判定回路１１００および縮小回路１７４０に出力するものであり、縮小回路１７４０は前記動き補償予測信号を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で縮小処理する回路であり、縮小回路１７３０は前記フレームメモリ１３００に蓄積されている参照フレームの再生画像を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で縮小処理する回路である。
また、セレクタ１２００はモード判定回路１１００の出力する分類情報に従ってブロック内画素値設定回路１４００からの再生信号ｍ０，ブロック内画素値設定回路１５００からの再生信号ｍ１，動き補償予測回路１６００からの動き補償予測信号ｍ２，拡大回路１７２０からの再生信号ｍ３のうち、所要のものを選択して出力する回路であり、フレームメモリ１３００はこのセレクタ１２００の出力をフレーム単位で記憶するメモリである。
また、モード判定回路１１００は、動き補償予測回路１６００からの動き補償予測信号と２値画像符号化回路１７００からの符号化信号ｂ４を参照して、アルファマップ信号入力線２０を介して供給されるアルファマップ信号を解析し、マクロブロック毎に“ａｌｌＷ”、“ａｌｌＢ”、“ｃｏｐｙ”、“ｃｏｄｅｄ”の何れに分類されるかを判定すると共に判定結果をモード情報ｂ０として出力するものである。
動きベクトル検出回路（ＭＶＥ）１７８０は、アルファマップ信号入力線２０を介して供給されるアルファマップ信号から動きベクトルを検出するものであり、ＭＶ符号化回路１７９０は、動きベクトル検出回路（ＭＶＥ）１７８０で検出された動きベクトルを符号化し、その符号化結果を動きベクトル情報ｂ１として出力するものである。例えば、ＭＶ符号化回路１９７０に予測符号化を適用した場合にはその予測誤差信号が動きベクトル情報ｂ１として出力されることになる。
ＶＬＣ（可変長符号化）・多重化回路１８００は、モード判定回路１１００からのモード情報ｂ０およびＭＶ符号化回路１７９０からの動きベクトル情報ｂ１およびＣＲ（縮小・拡大率）判定回路１１１０からの縮小・拡大率情報ｂ２およびスキャンタイプ（ＳＴ）判定回路１７７０からのスキャン方向情報ｂ３および２値画像符号化回路１７００からの２値符号化情報ｂ４を受けてこれらを可変長符号化し、多重化して信号線３０へと出力するものである。
このような構成において、符号化対象であるアルファマップ信号は、アルファマップ信号入力線２０を介してアルファマップ符号化回路２００に供給される。そして、これを受けたアルファマップ符号化回路２００では、そのモード判定回路１１００においてアルファマップ信号を解析し、マクロブロック毎に“ａｌｌＷ”、“ａｌｌＢ”、“ｃｏｐｙ”、“ｃｏｄｅｄ”の何れに分類されるかを判定する。ここで、分類の評・価基準としては、例えば、ミスマッチ画素数を用いる。
具体的には次の通りである。
モード判定回路１１００は、まず、入力されたマクロブロック内の信号を全て白に置き換えた場合のミスマッチ画素数を計算し、この数がしきい値以下となるマクロブロックを“ａｌｌＷ”に分類する。同様に、モード判定回路１１００は、マクロブロック内を全て黒に置き換えた場合“ａｌｌＷ”に分類する。同様に、マクロブロック内を全て黒に置き換えた場合のミスマッチ画素数がしきい値以下となるマクロブロックを“ａｌｌＢ”に分類する。
次に、モード判定回路１１００は、“ａｌｌＷ”にも“ａｌｌＢ”にも分類されないマクロブロックに対して、信号線１０１０を介して供給される動き補償予測値とのミスマッチ画素数を計算し、この数がしきい値以下となるブロックを“ｃｏｐｙ”に分類する。
ここで、“ａｌｌＷ”“ａｌｌＢ”あるいは“ｃｏｐｙ”にも分類されなかったマクロブロックは、“ｃｏｄｅｄ”に分類される。
モード判定回路１１００によるこの分類情報ｂ０は、信号線１０２０を介してセレクタ１２００に供給され、セレクタ１２００では該ブロックのモードが“ａｌｌＷ”の場合は、ブロック内画素値設定回路１４００においてブロック内画素値が全て白にされた再生信号ｍ０を選択し、信号線４０を介してフレームメモリ１３００に供給し、該フレームの記憶領域に蓄えると共に、アルファマップ符号化回路２００の出力として出力する。
同様に、該マクロブロックのモードが“ａｌｌＢ”の場合は、セレクタ１２００はマクロブロック内画素値設定回路１５００においてマクロブロック内画素値が全て黒にされた再生信号ｍ１を選択し、また、該マクロブロックのモードが“ｃｏｐｙ”の場合は、信号線１０１０を介して供給される動き補償予測回路１６００により生成された動き補償予測信号ｍ２を選択し、また、該マクロブロックのモードが“ｃｏｄｅｄ”の場合には、縮小回路１７１０、拡大回路１７２０を経て供給される再生信号ｍ３を選択して、これを信号線４０を介してフレームメモリ１３００に供給し、該フレームの記憶領域に蓄えると共に、アルファマップ符号化回路２００の出力信号として出力する。
また、モード判定回路１１１０において“ｃｏｄｅｄ”に分類されたマクロブロックの画素値は、縮小回路１７１０において縮小された後、２値画像符号化回路１７００において符号化される。ここで、縮小回路１７１０で用いられる縮小・拡大率（ＣＲ（Conversion Ratio)）の設定情報は、ＣＲ判定回路１１１０において求められる。例えば、縮小率を“１（縮小しない）”、“１／２（水平・垂直共に１／２）”、“１／４（水平・垂直共に１／４）”の３通りに定めた場合、ＣＲ判定回路１１１０では、次のステップでＣＲ（縮小・拡大率）が求められる。
（１） 該マクロブロックを“１／４”に縮小した際の再生信号と、該マクロブロックとのミスマッチ数を計算し、この数がしきい値以下の場合には、縮小率を“１／４”とする。
（２） 上記（１）でミスマッチ数がしきい値よりも大きい場合には、該マクロブロックを“１／２”に縮小した際の再生信号と、該マクロブロックとのミスマッチ数を計算し、この数がしきい値以下の楊合には、縮小率を“１／２”とする。
（３） 上記（２）でミスマッチ数がしきい値よりも大きい場合には、該マクロブロックの縮小率を“１”とする。
このようにして求められたＣＲ（縮小・拡大率）の値は、信号線１０３０を介して縮小回路１７１０，１７３０，１７４０、拡大回路１７２０および２値画像符号化回路１７００に供給されると共に、ＶＬＣ（可変長符号化）・多重化回路１８００に供給され符号化された後、他の符号と多重化される。また、転置回路１７５０では、縮小回路１７１０より供給される、縮小された該ブロックの信号の位置が転置される（水平方向のアドレスと垂直方向のアドレスが入れ替えられる）。
このことにより、符号化の順序を水平方向のスキャン順に行うか、垂直方向のスキャン順に行うかが切り換えられる。また、転置回路１７６０では、縮小回路１７３０により縮小された該マクロブロック近傍の再生画素値と、縮小回路１７４０により縮小された動き補償予測信号とで、それぞれの信号の位置が転置される。
転置回路１７５０，１７６０において、転置処理するか否かの判定は、例えば、２値画像符号化回路１７００において水平スキャンと垂直スキャンとでそれぞれ符号化を行い、信号線１０４０を介して出力される符号化情報ｂ４をＳＴ（Scan Type）判定回路１７７０に供給することによって、このＳＴ判定回路１７７０が、符号量の少なくなるスキャン方向を選択することで決まる。
２値画像符号化回路１７００では、転置回路１７５０より供給される該マクロブロックの信号を、転置回路１７６０より供給される参照信号を用いて符号化する。
なお、具体的な２値画像符号化法の一例として、上述の第３の具体例で用いた手法が挙げられるが、これに限らず、第４の具体例でのこの２値画像符号化回路１７００では他の２値画像符号化を適用することができる。
“ｃｏｄｅｄ”に分類されたブロックの中には、フレーム内の参照画素を用いる“ｉｎｔｒａ”符号化モードと、動き補償予測信号を参照する“ｉｎｔｅｒ”符号化モードとがある。ここで、ｉｎｔｒａ／ｉｎｔｅｒの切り替えは、例えば、線１０４０を介して供給される２値画像符号化回路１７００からの符号化情報をモード判定回路１１００に供給し、符号量の少なくなるモードを選択すればよい。ここで、選択された符号化モード（ｉｎｔｒａ／ｉｎｔｅｒ）の情報は、信号線１０５０を介して２値画像符号化回路１７００に供給される。
以上の手段により選択された最適なモードにて符号化された、２値画像符号化回路１７００の符号化情報は、信号線１０４０を介してＶＬＣ・多重化回路１８００に供給され、他の符号と共に多重化される。また、モード判定回路１１００からは最適なモードの情報が信号線１０６０を介してＶＬＣ・多重化回路１８００に供給され、符号化された後、他の符号と共に多重化される。また、動きベクトル検出回路（ＭＶＥ）１７８０では、最適な動きベクトルが検出される。ここで、動きベクトルの検出方法については、種々存在しており、また、動きべクトルの検出法そのものは、本発明の要部ではないため、ここでは省略する。検出された動きベクトルは、信号線１０７０を介して動き補償予測回路１６００に供給されると共に、ＭＶ符号化回路１７９０にて符号化された後、ＶＬＣ・多重化回路１８００に供給され、符号化された後、他の符号と共に多重化される。
多重化された符号は、信号線３０を介して出力される。動き補償予測回路１６００では、信号線１０７０を介して供給される動きベクトル信号に基づいてフレームメモリ１３００に蓄積されている参照フレームの再生画像を用いて動き補償予測信号を生成し、信号線１０１０を介してモード判定回路１１００および縮小回路１７４０に出力する。
以上の処理の結果、画質の良い、しかも、高圧縮率での画像符号化をすることができる。
次に復号化について説明する。
＜アルファマップ復号化回路の構成例＞
図２２は、アルファマップ復号化回路４００の詳細な構成図である。
図に示すように、アルファマップ復号化回路４００は、ＶＬＣ（可変長符号化）・分離化回路２１００、モード再生回路２２００、セレクタ２３００、マクロブロック内画素値設定回路２４００，２５００、動き補償予測回路２６００、フレームメモリ２７００、２値画像復号化回路２８００、拡大回路２８１０、転置回路２８２０，２８５０、縮小回路２８３０，２８４０、２値画像復号化回路２８００、動きベクトル再生回路２９００より構成される。
これらのうち、ＶＬＣ（可変長符号化）・分離化回路２１００は、多重化されて送られてきたアルファマップの符号化ビットストリームを復号し、モード情報ｂ０、動きベクトル情報ｂ１、縮小・拡大率情報ｂ２、スキャン方向情報ｂ３、２値画像符号化情報ｂ４に分離する回路であり、モード再生回路２２００はこの分離されたモード情報ｂ０を受けて、“ａｌｌＷ”，“ａｌｌＢ”，“ｃｏｐｙ”，“ｃｏｄｅｄ”の４種のモードのうちのいずれのモードであるかを再生する回路である。
２値画像復号化回路２８００は前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離された２値画像符号化情報ｂ４を、前記分離された縮小・拡大率情報ｂ２およびモード再生回路２２００からの再生されたモード情報および転置回路２８５０の情報とを用いて２値画像に復号化して出力する回路であり、拡大回路２８１０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記復号された２値画像を拡大処理する回路であり、転置回路２８２０はこの拡大処理された画像を、前記分離されたスキャン方向情報ｂ３に従って転置処理し、再生信号ｍ３として出力する回路である。
また、マクロブロック内画素値設定回路２４００は，マクロブロック内画素値が全て白にされた再生信号ｍ０を発生する回路であり、マクロブロック内画素値設定回路２５００は，マクロブロック内画素値が全て黒にされた再生信号ｍ１を発生する回路である。
動きベクトル再生回路２９００は、前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離された動きベクトル情報ｂ１を用いてマクロブロックの動きベクトルを再生する回路であり、動き補償予測回路２６００はこの再生された動きベクトルを用いてフレームメモリ２７００の蓄積参照フレームを再生画像から動き補償予測値ｍ２を生成する回路であり、縮小回路２８４０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記動き補償予測値ｍ２を縮小処理するものであり、縮小回路２８３０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記フレームメモリ２７００の蓄積参照フレームの画像を縮小処理するものであり、転置回路２８５０は前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離されたスキャン方向情報ｂ３を基に、縮小回路２８３０，２８４０の出力する縮小画像を転置処理して２値画像復号化回路２８００に出力する回路である。
また、セレクタ２３００は、モード再生回路２２００の出力するモード情報に応じて、マクロブロック内画素値設定回路２４００，２５００の再生信号ｍ０，ｍ１、動き補償予測回路２６００の動き補償予測値ｍ２、転置回路２８２０の再生信号ｍ３のうち、いずれかを選択して出力するものであり、フレームメモリ２７００はこのセレクタ２３００の出力した画像信号をフレーム単位で保持するメモリである。
このような構成のアルファマップ復号化回路４００は、信号線８０を介してアルファマップの符号化ビットストリームが供給される。そして、このビットストリームはＶＬＤ（可変長復号化）・分離化回路２１００に供給される。
すると、ＶＬＤ（可変長復号化）・分離化回路２１００では、このビットストリームを復号し、かつ、モード情報ｂ０、動きベクトル情報ｂ１、縮小・拡大率情報ｂ２、スキャン方向情報ｂ３、２値画像符号化情報ｂ４に分離する。これら分離された情報はマクロブロック単位で管理される。
そして、この分離された情報のうち、モード情報ｂ０は、モード再生回跨２２００に供給され、該マクロブロックが以下のモードの何れに属するかを分類する。
（１）“ａｌｌＷ”
（２）“ａｌｌＢ”
（３）“ｃｏｐｙ”
（４）“ｃｏｄｅｄ”
ここで、“ｃｏｄｅｄ”には、図２１の符号化回路の具体例で述べたとおり“ｉｎｔｒａ”のモードと“ｉｎｔｅｒ”のモードとがある。すなわち、フレーム内の参照画素を用いるのが“ｉｎｔｒａ”符号化モードであり、動き補償予測信号を参照するのが“ｉｎｔｅｒ”符号化モードである。
セレクタ２３００では、信号線２０１０を介して供給される上記の符号化モードに応じて、該マクロブロックのモードが“ａｌｌＷ”の場合は、ブロック内画素値設定回路２４００においてマクロブロック内画素値が全て白にされた再生信号ｍ０が選択され、信号線９０を介してフレームメモリ２７００に供給され、該フレームメモリ２７００の当該マクロブロックが属する画像フレームの記憶領域に蓄えられると共に、アルファマップ復号化回路４００から復号化されたアルファマップの画像として出力される。
同様に、該マクロブロックのモードが“ａｌｌＢ”の場合は、マクロブロック内画素値設定回路２５００において、ブロック内画素値が全て黒にされた再生信号ｍ１が選択され、また、該ブロックのモードが“ｃｏｐｙ”の場合は、信号線２０２０を介して供給される動き補償予測回路２６００において生成された動き補償予測信号ｍ２が選択され、また、該ブロックのモードが゛“ｃｏｄｅｄ”の場合には、拡大回路２８１０、転置回路２８２０を経て供給される再生信号ｍ３が選択され、信号線９０を介してフレームメモリ２７００に供給され、該フレームメモリ２７００の当該マクロブロックが属する画像フレームの記憶領域に蓄えられると共に、アルファマップ復号化回路４００から復号化されたアルファマップの画像として出力される。
一方、分離された動きベクトル情報ｂ１は、動きベクトル再生回路２９００に供給され、該マクロブロックの動きベクトルが再生される。ここで、再生された動きベクトルは、信号線２０３０を介して動き補償予測回路２６００に供給され、動き補償予測回路２６００ではこの動きベクトルに基づいて、フレームメモリ２７００に蓄積されている参照フレームの再生面像から動き補償予測値を生成する。そして、信号線２０２０を介して縮小回路２８４０とセレクタ２３００とに出力する。
また、分離された縮小・拡大率情報ｂ２は、縮小回路２８３０および拡大回路２８１０に供給されると共に、２値画像復号化回路２８００に供給され、スキャン方向情報ｂ３は、転置回路２８２０，２８５０に供給される。
そして、スキャン方向情報ｂ３を受けた転置回路２８２０では、拡大回路２８１０より供給される、元のサイズに戻された該マクロブロックの再生信号の位置が転置される（水平方向のアドレスと垂直方向のアドレスが入れ替えられる）。また、スキャン方向情報ｂ３を受けた転置回路２８５０では、縮小回路２８３０により縮小された該ブロック近傍の再生画素値と、縮小回路２８４０により縮小された動き補償予測信号とで、それぞれの信号の位置が転置される。
縮小・拡大率情報ｂ２を受けた２値画像復号化回路２８００では、分離化回路２１００により分離された該マクロブロックの２値画像符号化情報ｂ４を、転置回路２８５０より供給される参照信号を用いて復号化する。
ところで、先行技術として本発明者らが提案した特願平８−２３７０５３号の第４の具体例に記載したように、拡大回路１７２０，２８１０の出力には斜め方向の不連続性に起因する画質劣化が発生する場合があるが、この問題を解決するために拡大回路１７２０，２８１０には、斜め方向の不連続性を抑えるフィルタを備えるようにしても良い。
なお、２値画像符号化回路１７００と同様に、用いる２値画像復号化回路２８００の構成は上述の第３の具体例に示した構成例に限らない。
＜複数の２値画像符号化法を切り換える具体例＞
上記の具体例の中で、２値画像符号化回路１７００および２値画像復号化回路２８００の具体例は、上述の第３の具体例に限らないと記述した。そこで、これ以外の例を示しておく。
別の２値画像符号化法として、例えば、マルコフモデル符号化法がある（参照：テレビジョン学会編、“画像情報圧縮”、pp．171 〜176 ）。図２３がマルコフモデル符号化法の一例を説明する図である。図中の画素ｘが符号化の対象となる着目画素であり、画素ａ〜ｆが画素ｘを符号化する際に参照される参照画素である。
ここで、画素ａ〜ｆは画素ｘを符号化する際に既に符号化が終了している画素とする。着目画素ｘは、参照画素ａ〜ｆの状態によって、ＶＬＣ（可変長符号化）を使用する場合には可変長符号テーブルが、そして、算術符号を使用する場合には確率テーブルが、適応的に切り換えられて符号化される。
この具体例を本発明に適用する場合、“ｉｎｔｒａ”符号化は、現在処理しようとしているマクロブロック内で、着目画素より先に符号化された画素を参照画素とし、“ｉｎｔｅｒ”符号化は現在処理しようとしているマクロブロック内で、着目画素より先に符号化された画素だけでなく、動き補償予測誤差信号内の画素も参照画素として用いればよい。
本具体例では、例えば、
［方式１］第３の具体例の方式（ＭＭＲに基づいた符号化方式）
と、
［方式２］マルコフモデル符号化を適応的に切り換えて符号化する方式
の両方式を備え、これらを適応的に選択して使用する形態を採用することを特徴としている。
図２４（ａ）は、本具体例で用いられる、２値画像符号化回路１７００のブロック図である。図に示すように、２値画像符号化回路１７００は、一対のセレクタ４１１０，４１４０と、一対の２値画像符号化回路から構成されている。これらのうち、セレクタ４１０１は入力側の選択回路であり、セレクタ４１０２は出力側の選択回路である。２値画像符号化回路４１２０は上記［方式１］で符号化する第１の２値画像符号化回路であり、２値画像符号化回路４１３０は上記［方式２］で符号化する第２の２値画像符号化回路である。
２値画像符号化回路１７００では、信号線４１０１を介して転置回路１７５０から供給される処理対象マクロブロックの信号を、信号線４１０３を介して供給される切り換え信号に応じて選択切換えするセレクタ４１１０，４１４０により、第１の２値画像符号化回路４１２０と第２の２値画像符号化回路４１３０に適応的に振り分け、この振り分けられたマクロブロックの信号を符号化する。
符号化された情報は、信号線４１０２を介して出力される。なお、図２４（ａ）では２値画像符号化回路１７００に供給される信号の信号線１０３０，１０５０、転置回路１７６０からの信号線は、省略されている。
ここで、信号線４１０３を介して供給される切り換え情報は、予め設定されたデフォルト値でも良いし、画像内容に基づいて適切な切り換え情報を求めて、サイド情報として別途符号化し、復号側に伝送するようにしてもよい。
これにより、画像内容に基づいた最適処理が可能になり、また、アプリケーションに応じて複数の符号化方式の中から適切なものを選択して使用することも可能になる。
同様に、図２４（ｂ）は、本具体例で用いられる２値画像復号化回路２８００のブロック図である。図に示すように、２値画像復号化回路２８００は一対のセレクタ４２１０，４２４０、一対の２値画像復号化回路４２２０，４２３０とから構成されている。これらのうち、セレクタ４２１０は入力側の選択回路であり、セレクタ４２４０は出力側の選択回路である。また、２値画像復号化回路４２２０は上記［方式１］で符号化した画像を復号化する第１の２値画像復号化回路であり、２値画像復号化回路４２３０は上記［方式２］符号化した画像を復号する第２の２値画像復号化回路である。
このような構成の２値画像復号化回路２８００では、信号線４２０１を介して供絵される処理対象マクロブロックの２値画像符号化情報ｂ４を、信号線４２０３を介して供給される切り換え信号に応じてセレクタ４２１０，４２４０により、第１の２値画像復号化回路４２２０と第２の２値画像復号化回路４２３０に適応的に振り分けて復号化する。
復号化された信号は、信号線４２０２を介して出力される。なお、図２４（ｂ）では２値画像復号化回路２８００に対する分離化回路２１００からの信号供給用の信号線，モード再生回路２２００からの信号線，転置回路２８５０からの信号線は省略されている。
ここで、信号線４２０３を介して供給される切り換え情報は、デフォルト値でも良いし、符号化されて送られてきたビットストリームから当該切換情報を得るエンコーダから送られてきた情報でも良い。
次に縮小・拡大を行うための回路例を具体的に示す。
＜＜縮小・拡大回路に関わる具体例＞＞
［拡大処理の例］
本発明は、符号化領域単位あるいはブロック単位（マクロブロック単位）で縮小・拡大処理を施すことでレート制御を行っている。この縮小・拡大処理に利用する技術の例として、本願発明者等が特願平８−２３７０５３号に開示した“双一次内挿”がある。この技術について触れておく。当該双一次内挿は、参考文献“尾上編：画像処理ハンドブック，ｐ．６３０，昭晃堂”を基に説明すると図３５の如きである。
図３５（ａ）において、Ｐexは変換後の画素位置であり、当該Ｐexは図３５（ａ）のように実数画素位置を指し示す。
そこで、入力信号の整数画素位置Ａ，Ｂ，Ｃ，Ｄとの距離関係から、８つの領域に分けて図３５（ｂ）に示す論理式により、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを求める。
このようなものが“双一次内挿”という処理であり、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを簡易に求めることができるものである。
ところで、この双一次内挿処理は周囲の４画素のみを用いて処理を行っているため、広い範囲での変化が反映されず、特に斜め方向の不連続性が発生し易くなっている。この問題を解決するための一例として、拡大処理を行った後にスムーシングフィルタ処理（平滑化処理）を施す例を、先願の発明（特願平８−２３７０５３号）に提示している。
具体的に説明する。図３６は、スムーシング処理（平滑化処理）を説明するための図である。ここで、図３６の（ａ）は元のサイズの２値画像、図３６の（ｂ）はこれを縮小して得た２値画像である。図３６においては、オブジェクト領域は黒丸印で、また、バックグラウンド（背景）領域は白丸印で示してある。
この例では、サンプリング変換（拡大・縮小変換）がなされることにより発生する斜め方向の不連続性を滑らかにするために、バックグラウンド領域の画素（白丸）一つ一つについて、それを中心にして、その上下左右の画素、つまり、隣接画素を調べ、そのうち、２画素以上がオブジェクト領域の画素（黒丸）であったときは、そのバックグラウンド領域の画素を、オブジェクト領域に含める処理を行う。
すなわち、今、バックグラウンド領域にある一つの画素である検査対象画素が図３６（ｂ）における二重丸印で示す位置の画素である場合のように、その隣接画素に、２画素以上、オブジェクト領域の画素（黒丸）があったときは、その二重丸印で示す位置の画素（つまり、検査対象画素）を黒丸印の画素にしてオブジェクト領域の画素にする。黒丸印の画素が例えば、“１”、白丸印が“０”であるとすると、二重丸印で示す位置の画素（画素値“０”）を、画素値“１”に置き換える処理をする。このような処理により、斜め方向の不連続性を解消できるようになる。
図３７は、スムーシングフィルタ（平滑化処理フィルタ）の別の例である。図３７に示される、３×３画素のマスクの中心の画素をＣとして、Ｃに対して左上の画素をＴＬ、右上の画素をＴＲ、左下の画素をＢＬ、右下の画素をＢＲとすると、下記の式により、画素Ｃのフィルタリングされた値が求められる。ここで、オブジェクトの値を“１”、背景の値を“０”で表わしている。
Figure 2004350307
すなわち、このフィルタ演算処理は、もし画素Ｃが“０”であれば、画素ＴＬ，ＴＲ，ＢＬ，ＢＲを加算した値が“２”より大きいか否かを調べ、大きい場合は画素Ｃの値を“１”とし、大きくない場合は画素Ｃを“０”とし、また、もし画素Ｃが“０”でなければ、画素ＴＬ，ＴＲ，ＢＬ，ＢＲを加算した値が“２”より小さいか否かを調べ、小さい場合は画素Ｃの値を“１”とし、大きくない場合は画素Ｃを“０”とするというものである。
このフィルタによれば、対象となる画素Ｃに対して斜め方向に位置する画素値の変化を考慮して画素Ｃの値を修正するため、斜め方向の不連続性が解消される。なお、スムーシングフィルタの構成は上記例に限ったものではなく、メディアンフィルタ等の非線形フィルタを用いても良い。
図５８（ａ）は、双一次内挿により水平・垂直共に２倍に拡大する処理を表す図である。図５８（ａ）において、縮小ブロックの画素は白丸印すなわち“Ｏ”印で表され、内挿される画素はバツ印すなわち、“×”印で表されており、それぞれの画素値は“０”あるいは“１”の何れかである。
この場合、図３５（ｂ）の論理式で内挿される画素（再生画素）の値を求めると、
Ｉｐ１＝Ｉａ，Ｉｐ２＝Ｉｂ，Ｉｐ３＝Ｉｃ，Ｉｐ４＝Ｉｄ
となる。
従って、画素Ａの周りの４つの内挿画素の画素値は全てＩａとなるために、拡大画像は２×２画素が同じ値となり、滑らかさが失われる。そこで、双一次内挿の重み付けを以下の様に変更することで、上記の問題は解決される。
Ｉp1：if（２＊Ｉa ＋Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”
Ｉp2：if（Ｉa ＋２＊Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”
Ｉp3：if（Ｉa ＋Ｉb ＋２＊Ｉｃ＋Ｉd ＞２）then“１”else“０”
Ｉp4：if（Ｉa ＋Ｉb ＋Ｉc ＋２＊Ｉd ＞２）then“１”else“０”
ここで、Ｐｉ（ｉ＝１，２，３，４）は、図５８（ａ）に示される“×”位置に対応した内挿される画素であり、Ｉｐｉ（ｉ＝ｌ，２，３，４）は画素Ｐｉ（ｉ＝１，２，３，４）の画素値（“１”または“０”）である。また、Ａ，Ｂ，Ｃ，Ｄは縮小ブロックの画素、Ｉa ，Ｉb ，Ｉc ，Ｉd はこれら画素Ａ，Ｂ，Ｃ，Ｄの画素値である。
『Ｉp1：if（２＊Ｉa ＋Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”』の意味は、画素ｐ１の画素値Ｉp1は、もし、Ｉa の２倍値と、Ｉｂと、Ｉc と、Ｉd との和が２より大きければ“１”とし、そうでなければ“０”とするということを示しており、
『Ｉp2：if（Ｉa ＋２＊Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ２の画素値Ｉp2は、もし、Ｉb の２倍値と、Ｉa と、Ｉc と、Ｉd との和が２より大きければ、“１”とし、そうでなければ“０”とすると云うことを示しており、
『Ｉp3：if（Ｉa ＋Ｉb ＋２＊Ｉｃ＋Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ３の画素値Ｉp3は、もし、Ｉc の２倍値と、Ｉa と、Ｉb と、Ｉd との和が２より大きければ、“１”とし、そうでなければ“０”とすると云うことを示しており、
『Ｉp4：if（Ｉa ＋Ｉb ＋Ｉc ＋２＊Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ４の画素値Ｉp4は、もし、Ｉd の２倍値と、Ｉa と、Ｉb と、Ｉc との和が２以上ならば、“１”とし、そうでなければ“０”とすると云うことを示している。
なお、水平・垂直共に４倍に拡大する場合は、上記の処理を２回繰り返せばよい。
以上は、演算により拡大処理する例であるが、演算によらずとも拡大処理することはできる。その例を次に説明する。
＜演算によらない拡大処理の例＞
ここでは、テーブルを用意してこれをメモリに保持させ、このテーブルに従って一義的に画素を置き換えるようにするものである。
具体的に説明する。まず、例えばメモリのアドレスを４ビットとし、Ｉａ，Ｉｂ，Ｉｃ，Ｉｄを並べて得られるアドレスに、その、Ｉａ，Ｉｂ，Ｉｃ，Ｉｄのパターンによって得られるＩp1，Ｉp2，Ｉp3，Ｉp4を下表の様に予め記録しておく。
Figure 2004350307
この例は、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，０，０”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，０，０”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，０，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，０，０”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，１，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，１，１”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，１，０，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，１，０，１”であることを、そして、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，１，１，０”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，１，１，０”であることを、…と云う具合にＩａ，Ｉｂ，Ｉｃ，Ｉｄの内容の組み合わせが決まれば、Ｉp1，Ｉp2，Ｉp3，Ｉp4が一義的に定まるテーブルを表している。
このようなテーブルをＩａ，Ｉｂ，Ｉｃ，Ｉｄの内容がアドレス、そのアドレスの格納データがＩp1，Ｉp2，Ｉp3，Ｉp4となるようにメモリに設定保持させ手おくと、内挿処理を行う時には、メモリにＩａ，Ｉｂ，Ｉｃ，Ｉｄのアドレスを入力して、それに対応するＩp1，Ｉp2，Ｉp3，Ｉp4を読み出すだけで、内挿値を求めることができる。ここで、Ｉp1，Ｉp2，Ｉp3，Ｉp4の並びは２進数であるが、これを１０進数に変換した数値をコンテキストと呼ぶこととすると、この手法は、Ｉp1，Ｉp2，Ｉp3，Ｉp4によって求まるコンテキストによって、内挿値Ｉp1，Ｉp2，Ｉp3，Ｉp4を決める実施例と言える。
なお、コンテキストは
コンテキスト＝２＊２＊２＊Ｉａ＋２＊２＊Ｉｂ＋２＊Ｉｃ＋Ｉｄ
で求まる。
コンテキストによって内挿値を求める手法は、上述の例の場合、参照する画素数を４つとしたが、これに限らず、以下で説明する１２個等、いくつの場合でも実現できる。
また、参照画素と内挿画素の配置についても、例えば、図６４（ａ）のように内挿画素Ｐ１に対しては点線で囲んだ領域の９画素分を参照画素としてコンテキスト（＝０〜５１１）を求め、そのコンテキストによって、内挿画素Ｐ１を“０”か“１”かに決定する方法もある。
内挿画素Ｐ２、Ｐ３、Ｐ４についても、それぞれの内挿位置とその位置を囲む直近の４個の参照画素の位置関係に応じて、図６４（ｂ），（ｃ），（ｄ）の点線で囲んだ画素を参照画素とする。
この際、図のように参照画素Ａ〜Ｉの、内挿画素Ｐに対する相対的な位置が同じになるように配置（例えば、（ｂ）は（ａ）を時計回りに９０度回転した配置になっている）しておけば、同じ画素パターンを回転しただけのものは、同じコンデキストになるので、内挿画素Ｐ１〜Ｐ４で共通の内容のテーブルとしたメモリを用いることができる。
次に、４×４画素のマクロブロックを１６×１６画素に拡大する場合の例を説明する。
４×４画素のマクロブロックを１６×１６画素に拡大するには、まず、４×４のサイズのマクロブロックＭＢを８×８のサイズに拡大し、次に８×８のサイズのマクロブロックＭＢから１６×１６のサイズのマクロブロックＭＢに拡大すると云う手順を踏むことになる。
この４×４のサイズのマクロブロックＭＢから８×８のサイズに拡大する時の外部参照画素ＡＴとＡＬを図６５（ａ）に示し、８×８のサイズのマクロブロックＭＢから拡大する時の外部参照画素ＢＴとＢＬを図６５（ｂ）に示す。
外部参照画素ＡＴは２行８列、外部参照画素ＡＬは４行２列、外部参照画素ＢＴは２行１２列、外部参照画素ＢＬは８行２列の配列である。
これらの外部参照画素の値は図４２を用いて説明したように、既に再生したマクロブロックの所定の位置の画素の平均値として求める必要がある。しかし、２値画像符号化回路１７００と２値画像復号化回路２８００では、４×４画素のサイズで符号化する際には、外部参照画素ＡＴとＡＬを参照し、８×８画素のサイズで符号化する際には、外部参照画素ＢＴとＢＬを参照するため、これを転用すれば拡大処理のためだけにわざわざ外部参照画素を求めると云った無駄は回避できる。
ここで、外部参照ＢＴとＢＬについては、平均値を求めずに、外部参照画素ＡＴとＡＬから、コンピュータプログラミング用の言語であるＣ言語で記述すれば、
Figure 2004350307
という処理によって求めると、平均値を求める場合と多少結果は異なるが、平均値演算を省くことができる。
上述の処理は、図６５の例えば、画素ｐ１を画素ｐ２と画素ｐ３にコピーし、画素ｐ４を画素ｐ５と画素ｐ６にコピーするというように、ＡＴやＡＬの値を繰り返して画素を追加処理していくことで、ＢＴやＢＬを生成するものである。なお、Ｃ言語プログラム中の“[ ][ ]”は配列を示し、[ ]中の数字は１０進数を示す。
以上は、拡大処理の具体的手法を説明した。次に、縮小処理の具体的手法を説明する。
［縮小処理］
図３８は、ブロック（マクロブロック）を縦横“１／２”のサイズに縮小する縮小処理の一例である。この例では、点線枠内領域一つ一つを単位縮小ブロック領域とすると、当該単位縮小ブロック領域内の２×２画素（各点線枠内における“Ｏ”で示した計４画素）毎の平均値（図３８の“×”）を、その単位縮小ブロック領域での画素値としている。つまり、マクロブロックを縦横“１／４”のサイズに縮小する場合には、単位縮小ブロック領域毎に、その領域内の４×４画素毎の平均値を求めて、当該単位縮小ブロック領域での画素値とすればよいわけである。
また図３９のように、画素Ａ，Ｂ，Ｃ，Ｄからなる、ある単位縮小ブロック領域を考えた場合、当該単位縮小ブロック領域の画素Ｘの値を求めて当該単位縮小ブロック領域の値とするにあたり、画素Ａ〜Ｄの平均値を求めるのではなく、これよりも広い範囲の画素位置の画素Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｏ，Ｐを含めて、これらＡ〜Ｐの平均値を求めるようにしてもよい。つまり、隣接の単位縮小ブロック領域の画素のうち、画素Ａ〜Ｄに隣接する画素を含めてこれらの平均値を採用する方式とするわけである。
以上は、現存する画素の値の平均値を単位縮小ブロック領域の画素値とすることで、その単位縮小ブロック領域の画素数を減らすようにし、マクロブロックのサイズ縮小を図るようにした例であった。このような、計算を伴わずに、機械的な間引き処理でもマクロブロックを縮小処理することができる。
その例を次に説明する。はじめに、マクロブロック内で閉じた処理を説明する。
図４０は、画素間引きによる縮小処理の例である。１６×１６画素構成のマクロブロックＭＢは画素間引きによる縮小処理を施した結果、８×８画素構成のブロックに縮小された様子を示している。すなわち、図中で点線の白丸印で示された画素が間引かれた画素であり、実線の白丸印で示された画素が単位縮小ブロック領域の画素値（図４０の“×”）となる。この場合、縮小率（ＣＲ）は間引かれる画素の割合を表すことになる。なお、画素間引きの方法は図４０で説明した方法に限らず、例えば、五の目格子状に画素を間引いても良い。また、この場合、拡大処理とは、間引かれた画素を内挿することに相当する。
以上、種々の縮小処理の具体的手法を説明した。次に拡大処理について説明する。
図４１は、拡大処理を表す図である。図において、実線方形枠はマクロブロックを示しており、点線枠表示された部分の升目一つ一つが単位縮小ブロック領域を示している。単位縮小ブロック領域内の白丸印は現存画素を表わしており、内挿により画素数を増やしてマクロブロックの拡大を図るようにする。内挿される画素は“×”で表されており、内挿後は“Ｏ”の画素は不要画素となる。
マクロブロック境界部の画素を内挿する際に、マクロブロック外の画素値が必要になる。この場合、図の矢印で示されているように、マクロブロック内の最も近くの画素値を割り当てればよい。
すなわち、ある単位縮小ブロック領域の画素内挿をする場合、自己及び自己と隣接する各単位縮小ブロック領域である周囲８ブロックの画素値の計９画素分の画素値が、処理に必要である。しかし、マクロブロック内における当該ある単位縮小ブロック領域が、マクロブロック境界部に位置していると、前記の周囲８ブロックのいくつかは自己の所属外のマクロブロック所属のものとなることから、当該自己所属マクロブロック外の画素値を別途、もらってくる必要があるということになる。この場合は、図の矢印で示されているように、自己の所属マクロブロック内の最も近くの画素値をそれぞれ割り当てて便宜的にその処理に必要な近隣の単位縮小ブロック領域での画素値とし、利用すればよい。
なお、マクロブロック毎の縮小・拡大処理は、そのマクロブロック内で閉じている必要はなく、図４２に示されるように、該ブロック近傍の再生値（左・上・左上・右上に隣接するブロック内の画素値）を用いるようにしても良い。
このことを具体的に説明する。
図４２において、実線方形枠はあるブロック（マクロブロック）を示し、“×”印は倍率１倍のときの画像（標準倍率画像）の各画素を示している。マクロブロックは通常、１６×１６画素構成であり、フレームを１／２に圧縮した場合にブロック内の画素は８×８画素構成になり、先の１６×１６画素構成はそれぞれ２×２画素分の画像が１画素で表現されることになるので、この場合の２×２画素分の画像を代表点の情報を１画素表現形式にして表したのが図４２における“Ｏ”印である。点線で示した枠内が、単位縮小ブロック領域であって、標準倍率画像での４画素構成（２×２）の領域を示しており、１／２縮小の場合はこの点線枠内領域毎に１画素で表現される。
１／２縮小画像を元の画像サイズに復元する場合（標準倍率画像に復元する場合）、１／２縮小画像の１画素の領域は４画素構成に戻すが、それをマクロブロック内で閉じずに内挿により行うには次のようにする。
例えば、図４２において、あるマクロブロックの、ある単位縮小ブロック領域（点線枠内領域）の画素１や画素２を内挿により再生する場合を考えてみる。この場合、その処理時点で現存するのは“Ｏ”印の画素情報である。従って、内挿しようとする画素１や画素２の周囲にある現存画素は画素３，４，５，６であるから、これら画素３，４，５，６を用いて双一次内挿を行う。ただし、“画素３”や“画素４”は隣接ブロック（隣接するマクロブロック）に所属する画素で、しかも、拡大前の画素（１／２縮小画像の画素）であり、当該隣接ブロックは時間的に前の時点で処理される位置にあるブロックであるので、このマクロブロックの拡大処理後には、不要となるデータであるから、メモリリソースの節約の観点から、既に廃棄してしまっていることがある。
そのようなシステムの場合には、例えば、“画素３”で云えばそのマクロブロックでの内挿済みで現存する隣接画素である画素７，８，９，１０の平均値を求めて、前記廃棄してしまった“画素３”の値とするのも一つの方法であるが、その平均値を求める演算を少なくしたい場合には、画素７，８，９，１０の計４画素のうち、内挿しようとする画素１，２に近い、画素９，１０の平均値を、前記廃棄してしまった“画素３”の値として用いるようにしてもよい。
また、画素１０をそのまま流用して“画素３”の値とするようにすると、さらに演算を省ける。“画素４”についても、同様に、その近くの画素値で代用する。また、同様なケースで、“画素１１”の内挿には、例えば、“画素１２”の代わりに画素１４と画素１５の平均値、“画素１３”の代わりに画素１６、画素１８の代わりに画素１７を用いる。
フレーム画像Ｐｆは通常、オブジェクト部分を主体とした最小の矩形範囲、例えば、図５９（ａ）に示される符号化領域ＣＡ内をブロック（マクロブロック）に分割して符号化するため、符号化領域の境界部に位置するブロックでは、該ブロックの左・上・左上・右上に隣接するブロックが、符号化領域ＣＡの外部に位置することとなってしまう場合がある。
この場合、図４２のように、該ブロック近傍の再生画素値（再生した画素の値）を利用する場合でも、符号化領域ＣＡの外部に位置するマクロブロックである場合には再生両素値を参照せずに、図４１のように自己所属マクロブロック内の最も近くの画素値を便宜的に割り当てて用いればよい。
更に、誤りの影響を受ける伝送路でデータの授受を行う場合には、誤りの影響を受け難くするために、前記の符号化領域ＣＡよりも小さい単位（これを“同期回復単位”呼ぶ）で符号化処理を閉じる場合がある。
これにより、誤りの影響をこの“同期回復単位”で断ち切ることが可能となり、誤りの影響を受け難くなる。ここで、“同期回復単位”とは、図５９（ｂ）にＵｎなる符号を付して示した点線で囲まれる各領域を指す。“同期回復単位”は符号化領域ＣＡを小さく区切った領域であるが、複数のマクロブロックで構成されることは変わりない。
この方式の場合、“同期回復単位”内で符号化処理を閉じるため、ある“同期回復単位”で使用するデータに伝送誤りがあるものが含まれていたとしても、その誤りのあるデータを参照して処理するのは当該ある“同期回復単位”内だけであり、隣接の“同期回復単位”は当該誤りのあるデータを参照して処理することはないから、伝送誤りが波及しにくい処理方式となる訳である。
この場合でも、図４２のように、該ブロック近傍の再生画素値を利用する際に、該ブロックが含まれる“同期回復単位”以外の同期回復単位に属するマクロブロックの再生画素値を参照せずに、図４１の様にマクロブロック内の最も近くの画素値を割り当てる。
上述したような、“マクロブロックや同期回復単位の外側を参照するか、しないか”は、符号に切り換えビットを用意し、これを用いて切り換えるようにすると伝送エラーの頻度や、許容される演算量、メモリ量などの様々な状況に対応することができる。
ところで、先に述べたように双一次内挿では、周囲の４画素のみを用いて処理を行っている。そのため、再生された画素による画像には、特に斜め方向の不連続性が発生し、視覚的劣化が起き易い傾向が避けられない。これを回避するには例えば、図４１の内挿対象画素を内挿する例を取り上げてみると、その内挿の際に、双一次内挿の参照範囲よりも広い拡大参照範囲に含まれる画素を用いて内挿する。
すなわち、双一次内挿の参照範囲よりも広い拡大参照範囲に含まれる画素を用いて内挿することで、より広い範囲の画素の傾向が反映されることになり、不連続性の問題が回避される。また、内挿に用いる画素の数が“４画素”のように偶数個であるよりも、“９画素”のように奇数個の方が、多数決効果が得られ、不連続性の回避効果がより一層顕著に得られる場合がある。
図５８（ｂ）に、１２個の画素を用いて内挿を行う例を示す。先に図５８（ａ）を用いて説明した実施例の表記を用いると、あるマクロブロックの１／２縮小画像におけるマクロブロック内ある位置での再生画素をｐ１，ｐ２，ｐ３，ｐ４、そして、それらの値（画素値）をＩp1，Ｉp2，Ｉp3，Ｉp4とした場合に、これらＩp1，Ｉp2，Ｉp3，Ｉp4は、
Ｉp1：if（４＊Ｉa ＋２＊（Ｉb ＋Ｉc ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp2：if（４＊Ｉb ＋２＊（Ｉa ＋Ｉc ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp3：if（４＊Ｉc ＋２＊（Ｉb ＋Ｉa ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp4：if（４＊Ｉd ＋２＊（Ｉb ＋Ｉc ＋Ｉa ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
で表せる。ただし、ａは画素Ａ、ｂは画素Ｂ、ｃは画素Ｃ、ｄは画素Ｄ、ｅは画素Ｅ、ｆは画素Ｆ、ｇは画素Ｇ、ｈは画素Ｈ、ｉは画素Ｉ、ｊは画素Ｊ、ｋは画素Ｋ、ｌは画素Ｌを示す。
また、“１／４”サイズの縮小拡大処理は、“ｌ／２”サイズの縮小拡大処理を２回施すことで実現しても良い。
次に、フレーム単位の拡大・縮小処理との組み合わせの例を、第５の具体例として説明する。
（第５の具体例）
本発明者らが特願平８−２３７０５３号で示した先行技術には、フレーム単位（実際にはオブジェクトを含む方形領域）で縮小・拡大を施すことでレート制御する実施例と、ブロックのような小領域単位で縮小・拡大を施すことでレート制御する実施例とを提示している。また、上述の第１乃至第３の具体例には、さらに具体的な小領域単位で縮小・拡大を施すことにより、レート制御するようにした例を示した。
ここに説明する本具体例においては、フレーム単位での縮小・拡大処理と、小領域単位での縮小・拡大処理を組み合わせて使用する例を示すものである。
＜アルファマップ符号化装置＞
図２５は、本具体例のアルファマップ符号化装置を説明する図である。この装置は縮小回路５３００，５２１０，５２６０、２値画像符号化回路５２２０、拡大回路５２３０，５４００、動き補償予測回路５２５０、多重化回路５２４０，５５００とより構成される。
このような構成において、アルファマップ信号入力線２０を介して供給される２値化されたアルファマップ画像は、縮小回路５３００において縮小・拡大率ＣＲに基づいてフレーム単位に縮小される。フレーム単位に縮小された信号は、信号線５０２０を介してアルファマップ符号化回路５２００に供給され、小領域に分割された後、符号化される。
ここで、アルファマップ符号化回路５２００は、図１２のアルファマップ符号化回路２００と等価であり、アルファマップ符号化回路５２００の構成要素５２１０〜５２６０は、それぞれ図１２のアルファマップ符号化回路２００の構成要素２１０〜２６０と同じ機能を有するので、アルファマップ符号化回路５２００の説明はここでは省略する。また、図１２のアルファマップ符号化回路２００の構成は、図１のアルファマップ符号化回路２００の構成を簡略化して表現したものであるため、アルファマップ符号化回路５２００の構成は、図１のアルファマップ符号化回路２００と等価な構成でも良い。
アルファマップ符号化回路５２００で符号化された符号化情報には、小領域毎の縮小・拡大率ＣＲｂが多重化されており、信号線５０３０を介して多重化回路５５００に供給され、フレーム単位の縮小・拡大率ＣＲの符号化情報と多重化され、信号線３０を介して出力される。
また、アルファマップ符号化回路５２００の再生画像は信号線５０４０を介して拡大回路５４００に供給され、フレーム単位の縮小・拡大率ＣＲに基づいて拡大された後、信号線４０を介して出力される。
＜アルファマップ復号化装置＞
図２６は、本具体例の復号化装置を説明する図である。このアルファマップ復号化装置は、分離化回路６５００，６４３０、２値画像復号化回路６４１０、縮小回路６４５０、動き補償予測回路６４４０、拡大回路６４２０，６６００とから構成されている。
このような構成において、信号線８０を介して供給される符号化情報は、分離化回路６５００でフレーム単位の縮小・拡大率ＣＲと、小領域単位の符号化情報に分離される。そして、小領域単位の符号化情報は、信号線６０８０を介してアルファマップ復号化回路６４００に供給され、小領域単位の再生信号が信号線６０９０を介して拡大回路６６００に供給される。
アルファマップ復号化回路６４００は、図１３のアルファマップ復号化回路４００と等価なため、ここでは説明を省略する。また、図１３のアルファマップ復号化回路４００の構成は、図２のアルファマップ復号化回路４００の構成を簡略化して表現したものであるため、アルファマップ復号化回路６４００の構成は、図２のアルファマップ復号化回路４００と等価な構成でも良い。
拡大回路６６００では、フレーム単位の縮小率ＣＲの情報に基づいて、信号線６０９０を介して供給される再生信号を拡大処理して、信号線９０より出力させる。
このように、ここではアルファマップ信号をフレーム単位で縮小・拡大処理し、かつ、小領域単位で縮小・拡大処理するようにした。このフレーム単位での縮小・拡大と、小領域単位での縮小・拡大とを組み合わせることで、縮小・拡大率情報のようなサイド情報が削減されるため、特に、低い符号化レートで符号化する場合に効果的となる。
次にフレームメモリについて、触れておく。
図２５、図２６には明示していないが、符号化装置と復号化装置にはいずれも再生画像を蓄積するためのフレームメモリが必要である。図５２は、フレーム毎の解像度の例を表した図である。本発明では、動き補償予測を用いているため、例えば、時刻ｎのフレームを符号化する際には、時刻ｎ−１のフレームの解像度を時刻ｎのフレームでの解像度（この場合、縮小・拡大率）に一致させなければならない。ここで、フレームメモリに蓄積する再生画像が、アルファマップ符号化回路５２００によって図５２に示されるようにフレーム単位の解像度（この例の場合、時刻ｎのフレームならばＣＲ＝１／２（図５２の（ａ））、時刻ｎのフレームならばＣＲ＝１（図５２の（ｃ）））で蓄積される場合と、元の解像度（時刻に関わらず、常に縮小・拡大率ＣＲ＝１）で蓄積される場合の２通りが考えられる。
前者においては、フレームメモリは信号線５０４０および信号線６０９０を介して供給されるフレーム単位の解像度の再生画像を蓄積することになり、後者におけるフレームメモリは、信号線４０および信号線９０を介して供給される元の解像度の再生画像を蓄積することになる。
従って、図２５の符号化装置および図２６の復号化装置においてフレームメモリを明示すると、前者のフレームメモリ（これをＦＭ１（符号化装置用）、ＦＭ３（復号化装置用）と表すこととする）の場合は、図５３および図５４のようになり、後者のフレームメモリ（これをＦＭ２（符号化装置用）、ＦＭ４（復号化装置用）と表すこととする）の場合は、図５５および図５６のようになる。
つまり、図５３の符号化装置は、縮小・拡大率ＣＲの情報と拡大回路５２３０の出力情報をＦＭ１なるフレームメモリに保持し、この保持情報をＭＣ（動き補償予測回路）５２５０に与えるように構成したものであり、図５４の復号化装置は、ＣＲの情報と拡大回路６４２０からの出力をＦＭ３なるフレームメモリに保存し、この保存出力を動き補償予測回路６４４０に与えるように構成したものである。
また、図５５の符号化装置は、縮小・拡大率ＣＲの情報と拡大回路５４００の出力情報をＦＭ２なるフレームメモリに保持し、この保持情報をＭＣ（動き補償予測回路）５２５０に与えるように構成したものであり、図５６の復号化装置は、ＣＲの情報と拡大回路６６００からの出力を保存し、この保存出力を動き補償予測回路６４４０に与えるように構成したものである。
フレームメモリＦＭ１，ＦＭ３の具体的な構成例は、図５７（ａ）に示した如きものとなり、フレームメモリＦＭ２，ＦＭ４の具体的な構成例は、図５７（ｂ）に示した如きのものとなる。
フレームメモリＦＭ１，ＦＭ３は、図５７（ａ）に示すように、現フレームの画像を保存するフレームメモリｍ１１と、このフレームメモリｍ１１の保持画像を別途与えられる拡大・縮小率ＣＲの情報対応に縮小・拡大処理する縮小・拡大回路ｍ１２、この縮小・拡大回路ｍ１２で縮小・拡大処理された出力を保存するフレームメモリｍ１３とからなり、また、フレームメモリＦＭ２，ＦＭ４は、図５７（ｂ）に示すように、現フレームの画像を保存するフレームメモリｍ２１と、このフレームメモリｍ２１の保持画像を、別途与えられる拡大・縮小率ＣＲの情報対応に縮小処理する縮小回路ｍ２２、この縮小回路ｍ２２で縮小処理された出力を保存するフレームメモリｍ１２とからなる。
このような構成のフレームメモリにおける動作を説明する。
まずフレームメモリＦＭ１，ＦＭ３の場合、これらには信号線５０４０および信号線６０９０を介してフレーム単位でそのフレームの対応する解像度の再生画像が供給され、現フレーム保存用のフレームメモリｍ１１に蓄積される。フレームメモリｍ１１は、現フレームの符号化（例えば、時刻ｎ）が終了した時点で現フレームの再生画像が全て蓄積されている。
次に、縮小・拡大回路ｍ１２では、時刻ｎ＋１におけるフレームの符号化が開始される時点で、時刻ｎにおけるフレームの再生画像をフレームメモリｍ１１から読み込み、時刻ｎ＋１におけるフレームのフレーム単位での縮小・拡大率ＣＲと一致するように、縮小・拡大処理（解像度変換）を行う。
図５２の例において、（ａ）に示すように時刻ｎにおけるフレームの縮小・拡大率ＣＲは“１／２”であり、また、（ｂ）に示すようにその次フレームである時刻ｎ＋１におけるフレームの縮小・拡大率ＣＲは“１”であるので、この場合、縮小・拡大回路ｍ１２では縮小・拡大率ＣＲを“１／２”から“１”に変換する処理を行うことになる。
縮小・拡大回路ｍ１２で解像度変換された時刻ｎにおける再生画像は、前フレームのフレームメモリｍ１３に蓄積され、時刻ｎ＋１におけるフレームの動き補償予測の参照画像となる。
フレームメモリＦＭ２，ＦＭ４の場合、これらには信号線４０および信号線９０を介して元の解像度（ＣＲ＝１）の再生画像が供給され、現フレームのフレームメモリｍ２１に蓄積される。フレームメモリｍ２１には、現フレームの符号化（例えば、時刻ｎ）が終了した時点で現フレームの再生画像が全て蓄積されている。
次に、縮小回路ｍ２２では、時刻ｎ＋１におけるフレームの符号化が開始される時点で、時刻ｎにおけるフレームの再生画像をフレームメモリｍ２１から銃み込み、時刻ｎ＋１におけるフレームのフレーム単位での縮小・拡大率ＣＲと一致するように、縮小処理（解像度変換）を行う。
フレームメモリｍ２１に蓄積される再生画像は常に縮小・拡大率ＣＲ＝１であるので、図５２の例では、時刻ｎ＋１における縮小・拡大率ＣＲは“１”であるから、この場合、縮小回路ｍ２２では解像度変換処理を行わない。なお、図５２の例の場合、現フレームが時刻ｎ＋１の場合、時刻ｎ＋２におけるフレームの解像度は“１／２”であるから、縮小回路ｍ２２では縮小・拡大率ＣＲを“ｌ”から“１／２”にする解像度変換処理を行うことになる。
縮小回路ｍ２２で解像度変換された時刻ｎにおけるフレームの再生画像は、前フレームのフレームメモリｍ３３に蓄積され、時刻ｎ＋１におけるフレームの動き捕償予測の参照画像となる。
以上、フレームメモリＦＭ１，ＦＭ２，ＦＭ３，ＦＭ４の具体的な構成と作用を述べたが、フレームメモリＦＭ１，ＦＭ３は、信号線５０４０および信号線６０９０を介して供給されるフレーム単位の解像度の再生画像が蓄積されることが特徴であり、また、フレームメモリＦＭ２，ＦＭ４は、信号線４０および信号線９０を介して供給されるフレーム単位での解像度の再生画像が蓄積されることが特徴であるため、それぞれ、他に種々の構成が考えられる。
（第６の具体例）
次に、マクロブロックの属性情報を符号化する方式の例を第６の具体例として説明する。まず、先行技術である特願平８−２３７０５３号にて、提案した方式の説明をする。
図２９は、時刻ｎと時刻ｎ−１におけるあるマクロブロックの属性情報の一例を表している。但し、ここで云う属性情報とは、“ａｌｌＷ”（そのマクロブロックの構成画素全てが白）、“ａｌｌＢ”（そのマクロブロックの構成画素全てが黒）、“Ｍｕｌｔｉ”（そのマクロブロックの構成画素は白黒混在）といったマクロブロックの中味の状態を示した情報である。
そして、例えば、“ａｌｌＷ”を符号“０”で、“ａｌｌＢ”を符号“３”で、そして、“Ｍｕｌｔｉ”を符号“１”でラベル付けして示した例である。
フレームにおけるオブジェクト部分を含む最小矩形領域に着目し、その左上を、領域の境界部に接するように、方形領域を設定すると、当該設定した方形領域に含まれる各マクロブロックの属性情報の分布（ラベルの分布）は、例えば、図２９の如きとなる。
そして、図２９における（ａ）に示した時刻ｎのフレームでのマクロブロックの構成画素属性情報の分布例と、（ｂ）に示した時刻ｎ−１のフレームでのマクロブロックの構成画素属性情報の分布例のように、時間的に近いフレームのアルファマップ間では、非常に似たラベル付けが行われる。
従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率が改善されることになる。
また、一般に、時刻ｎのフレームにおける符号化領域（オブジェクト部分を主体とした最小の矩形範囲、例えば、図５９（ａ）に示される符号化領域ＣＡ）と、時刻ｎ−１のフレームにおける符号化領域のサイズが異なる場合がある。この場合、一例として、図３０に示す手順で、時刻ｎ−１のフレームでの符号化領域サイズを時刻ｎのフレームでのサイズに合わせる。例えば、時刻ｎのフレームにおける符号化領域サイズが、時刻ｎ−１のフレームにおける符号化領域サイズに比べて行が１行分長く、列が１列分短い場合は、図３０（ａ）のように、行の短い時刻ｎ−１のフレームにおける符号化領域について、その領域内右端の１列分のマクロブロック列をカットし、その後、下部の１行分のマクロブロック列をその下にコピーして行を増やす。
この状態が図４６（ｂ）である。
また、時刻ｎ−１のフレームにおける符号化領域サイズが、時刻ｎのフレームにおける符号化領域サイズより列については１列分短く、行については１行分長い場合は、符号化領域内の下端の１行分のマクロブロック列をカットし、その後、その符号化領域内の右端の１列分のマクロブロック列をその隣りにコピーして１列増やす。
サイズが合わないときは、このようにしてサイズを合わせる。なお、サイズの合わせ方は前記の方法に限ったものではない。そして、最終的に、図３０（ｂ）の様に、時刻ｎのフレームでのサイズに合わせられた、時刻ｎ−１のフレームでのラベルを、ここでは便宜上、時刻ｎ−１’のラベルと表記して以下の説明に用いることにする。
図３１（ａ）は、時刻ｎでの上述のマクロブロックの属性情報と、時刻ｎ−１’での上述のマクロブロックの属性情報の差分、つまり各マクロブロック位置での各ラベルの差分を、同一位置のもの同士でとった結果を示している。
ここで、“Ｓ”は“ラベルが一致している”ことを示し、“Ｄ”は“ラベルが不一致である”ことを示す。
一方、図３１（ｂ）は、時刻ｎでの上述のマクロブロックの属性情報における隣接画素位置のラベルの差分をとった結果を示している。ここで、左端のラベルは、１ライン上の右端の画素位置でのラベルとの差を取り、左上端の画素位量でのラベルは、“０”との差を取ることにしている。以後、便宜的に図３１（ａ）をフレーム間符号化、図３１（ｂ）をフレーム内符号化と呼ぶことにする。
図３１より、フレーム間符号化の方がフレーム内符号化に比べて“Ｓ”の割合が多く、フレーム間符号化の方が予測が当たるため、符号量の削減を図ることができる。
なお、フレーム間での相関が極端に小さい場合、フレーム内符号化に比べて符号化効率が低下するおそれがある。この場合は、１ビットの符号でフレーム内符号化を行うか、フレーム間符号化を行うかを切り換えられるようにしておき、フレーム内符号化で符号化できるようにする。当然のことながら、最初に符号化するフレームは、参照するラベルが無いため、フレーム内符号化を行う。この際、フレーム間／フレーム内を切り換える符号は必要ない。
幾種類かの予測の方法を切り替える例を、さらに具体的に説明する。
上述の例では、フレーム間の相関が小さい場合に、フレーム内符号化を行う場合を示した。しかし、この他にも、例えば本発明を画像伝送に用いる場合などで、伝送誤りが問題となる時にも、フレーム内符号化は有効である。
例えば、伝送誤りが発生し、前のフレームが正しく再生されていない場合に、フレーム間符号化を用いると、現フレームも正しく再生されないが、フレーム内符号化を用いると、正しく再生することができる。
また、フレーム内符号化であっても、多くのマクロブロックを参照していると、伝送誤りには弱くなる。つまり、参照するマクロブロックを多くすると、符号量は少なくできるが、参照したマクロブロックの数が多くなれば、それだけ伝送誤りを含んだマクロブロックを参照する可能性が高くなり、その参照したマクロブロックに含まれる誤りが取り込まれて処理結果に反映されてしまうことになるから、伝送誤りには弱くなると云え、逆に参照するマクロブロックを少なくすると、符号量は多くなるが、上記理由から伝送誤りには強くなると云える。
そこで、伝送誤りに強く、符号量も少なくする工夫が必要なる。それには次のようすると良い。
一例として、伝送誤りに強く、符号量も少なくするためには、幾つかの予測モードを用意しておき、それらを切り替えて用いる方法が有効である。
予測モードとしては、例えば、
（Ａ）フレーム間符号化モード
（Ｂ）フレーム内符号化モード
（Ｃ）同期回復単位内符号化モード
（Ｄ）予測なしのモード
がある。
ここで、“同期回復単位”とは、既に説明したように、オブジェクトの矩形領域をさらに分割したもの、すなわち、矩形の符号化領域ＣＡをさらに所要のマクロブロック単位で分割したものを意味し、例えば、各同期回復単位の符号量が等しくなるように分割したり、あるいは、所定の数のマクロブロックをまとめて同期回復単位としたりする。
“同期回復単位内符号化モード”では、参照ブロック（参照するマクロブロックのことで、自己の所属マクロブロックの隣接マクロブロック）が、たとえフレーム内であっても、“同期回復単位”の外側にある場合は、参照せずに、例えば予め定めるラベルを予測値とする。
これにより、フレーム内で伝送誤りが発生したとしても、それが、“同期回復単位”の外であれば、その“同期回復単位”は正しく再生することができる。
また、予測なしとは、他のマクロブロックは全く参照せずに、該マクロブロックのラベルを符号化するものであり、誤りにはこのモードが最も強い。
これら複数種のモードを用意して、誤りが発生する頻度によっていずれか最適な一つを選択切り替えして使用する。そして、その切り替えは、“同期回復単位”毎に行っても良いし、フレーム毎に行っても良いし、シーケンス毎に行っても良い。どのモードで符号化されたかという情報は符号化装置から復号化装置に送られるようにする。
また、別のモードとして、符号化しようとしている対象の領域の、フレーム内における占有位置如何によって、符号化テーブルを切り替える方法もある。
すなわち、画像は一般的な傾向として、例えば、図２０のようにフレームの中心部分では、オブジェクトが存在する確率が高く、フレームの端ではオブジェクトが存在しない確率が高い。
このことに着目して、フレームの端に接するマクロブロックでは“ａｌｌＷ”に短い符号を割り当てたテーブルを用い、それ以外のマクロブロックでは、“ａｌｌＢ”に短い符号を割り当てたテーブルを用いるようにすると、予測を用いなくても、符号量を減らすことができる。これが予測なしモードである。
また、より単純に、複数の符号化テーブルを用意し、その符号化テーブルを切り替えて用いる方法もある。これの切り替え情報は、例えば、“同期回復単位”毎、あるいは、フレーム毎、シーケンス毎に符号化する。
図３２は、上述した処理を実現するための本具体例のシステム構成を示すブロック図であり、このブロック図を参照して処理の流れを説明する。
この図３２の構成において、破線で囲まれた部分が前述した処理を実現する本具体例に係わる部分である。図３２（ａ）はアルファマップ符号化装置であり、オブジェクト領域検出回路３１００、ブロック化回路３１１０、ラベル付け回路３１２０、ブロック符号化回路３１３０、ラベルメモリ３１４０、サイズ変更回路３１５０、ラベル符号化回路３１６０、多重化回路（ＭＵＸ）３１７０とより構成されている。
これらのうち、オブジェクト領域検出回路３１００は、入力されたアルファマップ信号を元に、そのアルファマップ信号においてオブジェクトを含んでいる部分についての方形領域を検出して、その方形領域のサイズに関する情報と共に当該方形領域のアルファマップ信号を出力するものである。ブロック化回路３１１０は、この方形領域のアルファマップ信号をマクロブロック化する回路であり、ラベル付け回路３１２０は、このマクロブロック化されたアルファマップ信号に，ついてそのブロック毎に、そのマクロブロックでのアルファマップ信号内容の属性（ａｌｌＷ（白のみ）、Ｍｕｌｔｉ（白と黒の混合）、ａｌｌＢ（黒のみ））を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる回路である。
ブロック符号化回路３１３０は、ラベルが“１”（Ｍｕｌｔｉ）のもののマクロブロックについて、そのマクロブロック内のアルファマップ信号を符号化する回路であり、ラベルメモリ３１４０は、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介してオブジェクト領域検出回路３１００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３１５０に供給するためのメモリである。
サイズ変更回路３１５０は、ラベルメモリ３１４０より供給される、時刻ｎ−１のフレームのラベル情報とサイズ情報と、オブジェクト領域検出回路３１００から与えられる、時刻ｎのフレームのサイズ情報とから、時刻ｎ−１のラベル情報を時刻ｎのサイズに相当する様にサイズを変吏する回路であり、ラベル符号化回路３１６０は、このサイズ変更されたラベル情報を予測値として、ラベル付け回路３１２０より供給されるラベル情報を符号化する回路である。
また、多重化回路３１７０は、ラベル符号化回路３１６０の得た符号化情報と、ブロック符号化回路３１３０より供給される符号化情報と、オブジェクト領域検出回路３１００から与えられるサイズ情報とを多重化して出力する回路である。
このような構成の符号化装置において、信号線３０１０を介して供給されるアルファマップ信号は、オブジェクト領域検出回路３１００に与えられ、このオブジェクト領域検出回路３１００は、このアルファマップ信号からオブジェクトを含む方形領域を検出する。この方形領域のサイズに関する情報は信号線３０２０を介して出力され、領域内部のアルファマップ信号は、ブロック化回路３１１０に供給される。
ブロック化回路３１１０は、この領域内部のアルファマップ信号についてマクロブロック化する。マクロブロック化されたアルファマップ信号はラベル付け回路３１２０とブロック符号化回路３１３０に供給される。
ラベル付け回路３１２０では、マクロブロック毎の属性（“ａｌｌＷ”、“Ｍｕｔｉ”、“ａｌｌＢ”）を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる。そして、この割り当てられたラベル情報は、ブロック符号化回路３１３０、ラベルメモリ３１４０、ラベル符号化回路３１６０に供給される。
ブロック符号化回路３１３０では、ラベルが“１”（Ｍｕｌｔｉ）のとき、マクロブロック内のアルファマップ信号が符号化され、その符号化情報は多重化回路３１７０に供給される。ラベルメモリ３１４０には、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介する領域のサイズ情報が蓄積され、ラベル情報とサイズ情報を併せてラベルメモリ出力線３０３０よりサイズ変更回路３１５０へと供給される。
サイズ変更回路３１５０では、ラベルメモリ出力線３０３０を介して供給される、時刻ｎ−１のフレームのラベル情報とサイズ情報と、信号線３０２０を介して供給される時刻ｎのサイズ情報とから、時刻ｎ−１のラベル情報を時刻ｎのサイズに相当する様にサイズを変更したラベル情報をラベル符号化回路３１６０に供給する。
ラベル符号化回路３１６０では、サイズ変更回路３１５０より供給されるラベル情報を予測値として、ラベル付け回路３１２０に供給されるラベル情報を符号化し、その符号化情報は多重回路３１７０に供給される。多重化回路３１７０では、ブロック符号化回路３１３０とラベル符号化回路３１３０とラベル符号化回路３１６０より供給される符号化情報と、ラベルメモリ出力線３０２０を介して供給されるサイズ情報とを多重化した後、信号線３０４０を介して出力する。
以上が符号化装置の構成と作用である。次に復号化装置の構成と作用を説明する。
図３２（ｂ）に示すアルファマップ符号化装置は、分離化回路（ＤＭＵＸ）３２００、ラベル複合化回路３２１０、サイズ変更回路３２２０、ラベルメモリ３２３０、ブロック複合化回路３２４０より構成される。
これらのうち、分離化回路３２００は、信号線３０５０を介して供給される符号化情報を分離する回路であり、ラベル複合化回路３２１０は、サイズ変更回路３２２０より供給される、時刻ｎ−１のラベル情報のサイズを変更した情報を予測値として、時刻ｎのラベル情報を再生する回路である。
また、サイズ変更回路３２２０は、サイズ変更回路３１５０と同様の働きをする回路であって、ラベルメモリ３２３０より供給される、時刻ｎ−１のフレームでのラベル情報とサイズ情報と、分離化回路３２００から分離して与えられる、時刻ｎのフレームのサイズ情報とから、時刻ｎ−１のフレームでのラベル情報を時刻ｎのサイズに相当する様にサイズを変更する回路であり、ラベルメモリ３２３０は、ラベルメモリ３１４０と同様の働きをする回路であって、ラベル複合化回路３２１０より復号化されて供給されるラベル情報と、分離化回路３２００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３２２０に供給するためのメモリである。
また、ブロック復号化回路３２４０は、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する回路である。
このような構成の復号化装置の作用を説明する。
分離化回路３２００では、信号線３０５０を介して供給される符号化情報を分離して、ブロック複合化回路３２４０とラベル復号化回路３２１０に供給すると共に、信号線３０６０を介してサイズ情報を出力する。ラベル復号化回路３２１０では、サイズ変更回路３２２０より供給される時刻ｎ−１のフレームでのラベル情報のサイズを変更した情報を予測値として、時刻ｎのフレームでのラベル情報を再生する。
再生されたラベル情報はブロック復号化回路３２４０とラベルメモリ３２３０に供給される。ブロック復号化回路３２４０では、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する。なお、サイズ変更回路３２２０はサイズ変更回路３１５０と、ラベルメモリ３２３０は、ラベルメモリ３１４０と、各々同一の動作をするため、ここでは深く説明しない。
以上、マクロブロック単位にしたアルファマップをラベル付けし、既に符号化済みのフレームのマクロブロックのラベルを利用して、現フレームのマクロブロックのラベルを符号化するようにした符号化装置と複合化装置の例を説明した。時間的に近いフレームのアルファマップ間では、そのマクロブロックは非常に似たラベル付けが行われる。従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率を図ることができるようになる。
ところで、このような先行技術としての発明では、フレーム内あるいはフレーム間において隣接する１ブロック（１マクロブロック）を参照してＶＬＣ（可変長符号化）テーブルを切り換えていた。この場合、フレーム間相関が高い場合には、“フレーム間の隣接ブロック”を参照し、フレーム間相関が低い場合には、“フレーム内の隣接ブロック”を参照して、ＶＬＣテーブルを切り換えていた。しかし、実際の応用では、フレーム間相関とフレーム内相関両方を利用した方が良い場合が多い。
そこで、ある画素位置のモードを“Ｍ（ｈ、ｖ、ｔ）”（ｈ、ｖ、ｔは各々、水平、垂直、時間方向の座標軸を表す）とすると、モード“Ｍ（ｘ、ｙ、ｎ）”を符号化する際に、例えば、“Ｍ（ｘ−１、ｙ、ｎ）”、“Ｍ（ｘ、ｙ−１、ｎ）”、“Ｍ（ｘ、ｙ、ｎ−１）”を参照してＶＬＣテーブルを選択することにする。ここで、図２９のようにモードの数が３通りの場合、参照ブロック数が３ブロック（３マクロブロック）ならば、ＶＬＣテーブルの数は３の３乗（＝２７）個となる。また、参照ブロック数をこれ以上多くすることも可能である（例えば、“Ｍ（ｘ−１、ｙ−１、ｎ）”、“Ｍ（ｘ、ｙ、ｎ−２）”）。
この場合、ＶＬＣテーブルの数が多くなるだけでなく、新たに追加する参照ブロック間とのブロック間相関も低下するため、参照ブロック数を増やしても符号化効率はあまり向上しない。従って、ＶＬＣテーブルの数と、符号化効率とのトレードオフを図る必要がある。
次に、ブロックの属性情報を符号化する別方式の具体例を説明する。
ここでは、前のフレームのラベルを予測に用いてブロックの属性情報を符号化する方式を説明する。
＜前のフレームのラベルを予測に用いる符号化装置の具体例＞
図４３は本発明の一具体例としての符号化回路のブロック図である。図に示すように、この符号化回路はオブジェクト領域検出回路５０２、ブロック化回路５０４、ラベル付け回路５０６、ラベル符号化回路５０８、ラベルメモリ５０９、参照ブロック決定回路５１０、予測回路５１２とから構成される。
これらのうち、オブジェクト領域検出回路５０２は、アルファマップの信号５０１からオブジェクトを含む、ブロックサイズの倍数で表される領域を符号化領域として設定すると共に、当該符号化領域のアルファマップ信号５０３を切り出す回路であり、ブロック化回路５０４は、この切り出されたアルファマップ信号５０３を１６×１６画素構成のブロック単位（マクロブロック単位）に分割（ブロック化）して出力するものであり、ラベル付け回路５０６は、ブロック化されたアルファマップ信号５０５について、オブジェクトの含み具合に応じた所定のラベルを付与し、ラベル情報５０７として出力するものである。
ラベル符号化回路５０８は、与えられる予測値５１４によって符号化テーブルを切り替えてラベル情報５０７を符号化し、出力するものであり、ラベルメモリ５０９は、ラベル付け回路５０６によってブロック毎に付与された上記のラベル情報５０７を記憶するものであり、参照ブロック決定回路５１０は、前フレームにおいて符号化ブロックと同じ位置にあるブロックを参照ブロック５１１として決定するといった処理を行うものであり、予測回路５１２はラベルメモリ５０９に保持されている前フレームのラベル５１３を参照し、参照ブロック５１１の位置のラベルを予測してこれを予測値５１４としてラベル符号化回路５０８に送るものである。
このような構成の符号化装置において、アルファマップの信号５０１は、オブジェクト領域検出回路５０２に入力される。オブジェクト領域検出回路５０２では、オブジェクトを含む、ブロックサイズの倍数で表される領域が符号化領域として設定され、符号化領域で切り出されたアルファマップ５０３がブロック化回路５０４に送られる。ブロック化回路５０４では、アルファマップ５０３が１６×１６画素構成のブロック単位（マクロブロック単位）に分割され、ブロック化されたアルファマップ５０５は、ラベル付け回路５０６に送られる。ラベル付け回路５０６では、例えば、
・ブロック内にオブジェクトが含まれない ：“ラベル０”
・ブロック内の一部にオブジェクトが含まれる：“ラベル１”
・ブロック内の全てがオブジェクトである ：“ラベル３”
といったラベル情報５０７（モード情報）がブロック毎に付与される。ラベル情報５０７はラベル符号化回路５０８に送られ、またラベルメモリ５０９に記憶される。このラベルメモリ５０９にはそれまでに符号化されたラベルが記憶されている。
一方、参照ブロック決定回路５１０では、例えば前フレームにおいて符号化ブロックと同じ位置にあるブロックが参照ブロック５１１として決定され、予測回路５１２に送られる。予測回路５１２には、ラベルメモリ５０９から前フレームのラベル５１３も入力され、そのうちの参照ブロック５１１の位置のラベルが予測値５１４としてラベル符号化回路５０８に送られる。ラベル符号化回路５０８では、予測値５１４によって符号化テーブルを切り替えてラベル情報５０７を符号化し、符号５１５が出力される。
ここで、符号化領域が常にフレームと等しい時は、参照ブロックは一つに決まる。しかし、符号化領域がフレームよりも小さく、かつ、前フレームと現フレームでその符号化額域の位置が異なる場合は、フレームの角を原点とする座標軸を用いるか、符号化領域の角を原点とする座標軸を用いるかで参照ブロックは異なってくる。
この座標軸の取り扱いについて詳しく説明する。
図４４（ａ），（ｂ）は、時刻ｎ−１と時刻ｎにおけるフレーム画像Ｆn-1 ，ＦｎとそれぞれのフレームＦn-1 ，Ｆｎにおける符号化領域ＣＡの各マクロブロックのモード情報ＭＤの例である。
先願の発明（特願平８−２３７０５３号）では、一例として、現フレーム（時刻ｎ）内の符号化領域の原点Ｖｃ０と、前フレーム（時刻ｎ−１）内の符号化領域の原点Ｖｐ０を一致させて、該ブロックのモード情報を符号化する際に参照とするブロックを決定する具体例を提示した。これは、符号化領域の座標軸に基づいてブロックの対応付けを行うものである。
この場合、図４５（ａ）のように、前フレームの符号化領域の右端あるいは下端を“ｃｕｔ”または“ｃｏｐｙ”することで、現フレームの符号化領域のサイズに一致させている。
図４４の例では、符号化領域の左端および上端が変化している。このような場合、現フレームのモード情報に対応するブロックは、図４５（ａ）に示されるように斜線部のブロック（２１個）が一致していないため、この値を用いて符号化すると符号化効率が低下する恐れがある。
図４４のような例では、現フレームの原点Ｆｃ０と前フレームの原点Ｆｐ０を一致させて、フレームの座標軸上で最も近いブロック位置のブロックを参照ブロックとした方がよい。
図４４の場合、フレームの座標軸に基づいて参照ブロックを求めると図４５ （ｂ）の様になる。つまり、図４４の例では、左端と上端で変化があるため、図４５（ｂ）のように左端と上端を“ｃｕｔ”または“ｃｏｐｙ”することで、現フレームの符号化領域のサイズに一致させることになる。この場合、現フレームのモード情報に対応するブロックは、図４５（ｂ）に示されるように、一致していないブロックは、斜線部のブロック（３個）だけになる。
即ち、状況に応じて前フレームのラベルを、符号化領域の座標軸に基づいて変更するか、フレームの座標軸に基づいて変更するかを切り替えることにより、符号化効率の改善が図れる。座標軸の決定法は、符号化装置側で最適な方を選択して切り替え情報を送つても良いし、符号化装置と復号化装置とで共に既知の情報を用いて決定してもよい。
図４６は、符号化領域の座標軸を用いた方が良い例である。この例はカメラを右方向に振った場合のように、（ａ）のフレームＦn-1 から（ｂ）のフレームＦｎのようにフレームが大きく移り変わったことを示している。この例の場合、図から明らかなように、フレーム内での符号化領域の位置が大きくずれているため、フレームの座標軸に基づいて参照ブロックを決定するのは得策ではない。
即ち、現フレーム（時刻ｎ時点のフレームＦｎ）と前フレーム（時刻ｎ−１時点のフレームＦn-1 ）とでフレーム内での符号化領域ＣＡの位置が大きくずれている場合には符号化領域の座標軸を用いた方がよく、フレーム内での符号化領域の位置があまりずれていない場合にはフレームの座標軸を用いた方がよい。
現フレームＦn と前フレームＦn-1 とでフレーム内での符号化領域の位置が大きくずれでいるか否かは、フレーム内における符号化領域の位置を表す情報（ベクトル）ｐｒｅｖ＿ｒｅｆｓｃｕｒｒ＿ｒｅｆと符号化領域の大きさから判断できる。
すなわち、アルファマップを併用する動画像符号化装置における符号化データ構成は規格により図４７に示す如きとなっている。すなわち、符号化データは符号化領域のレイヤ、マクロブロックＭＢのレイヤ、２値形状のレイヤを含み、符号化領域のレイヤは符号化領域サイズ情報、符号化領域位置情報、符号化領域縮小・拡大率情報などを含む。そして、ＭＢのレイヤは、２値形状情報，ｔｅｘｔｕｒｅ ＭＶ情報、多値形状情報、ｔｅｘｔｕｒｅ情報からなり、２値形状情報はモード情報、動きベクトル情報、縮小・拡大率情報、スキャン方向情報、２値符号化情報を含む。
これらのうち、符号化領域サイズ情報は符号化領域のサイズ（縦横の大きさ）を表す情報を指し、符号化領域位置情報は符号化領域の位置（Ｖp0、Ｖc0の位置）を表す情報を指し、符号化領域縮小・拡大率情報は符号化領域単位での２値画像の縮小・拡大率（ＣＲ）情報を指す。
また、ＭＢ符号化情報はＭＢ内のオブジェクトを再生するための情報を指す。 ＭＢのレイヤにおける２値形状情報はＭＢ内の各画素がオブジェクト内部か否かを表す情報を指し、ｔｅｘｔｕｒｅ ＭＶ情報はＭＢ内の輝度信号や色差信号を動き捕償予測するための動きベクトル情報を指し、多値形状情報はオブジェクトを他のオブジェクトと合成する際の重みづけ情報を指し、ｔｅｘｔｕｒｅ情報はＭＢ内の輝度信号や色差信号の符号化情報を指す。
また、２値形状のレイヤにおけるモード情報はＭＢ内の２値画像の属性を表す情報を指し、動きベクトル情報はＭＢ内の２値の画像を動き補償予測するための動きベクトル情報を指し、縮小・拡大率情報はＭＢ単位での２値画像の縮小・拡大率（ＣＲ）情報を指し、スキャン方向情報は符号化の順序が水平方向か垂直方向かを示す情報を指し、２値符号化情報は２値画像の符号化情報を指す。
符号化領域の位置（Ｖp0、Ｖc0の位置）を表す情報は、符号化領域位置情報に納められており、従って、この情報を用いることで符号化領域の位置（Ｖp0、Ｖc0の位置）を知ることができる。この情報を用いてフレームＦn-1 とフレームＦｎを比較する。この比較はフレームのホームポジションから符号化領域のホームポジション位置までのベクトルをそれぞれ求めてこのベクトルによって行う。
その結果、例えば、図４６の様に“ｐｒｅｖ＿ｒｅｆとｃｕｒｒ＿ｒｅｆ”の差が大きく、現フレームと前フレームとで符号化領域の大きさがほとんど変化がない場合には、符号化領域の座標軸に基づいてた方が良いことが分かる。ここで、“ｐｒｅｖ＿ｒｅｆとｃｕｒｒ＿ｒｅｆ”および符号化領域の大きさの情報は、符号化領域の符号化に先立って符号化されており、復号装置側でも既知の情報であるため、どちらの座標軸を用いたかを識別する付加情報は必要ない。
また、図４８（ａ）に示すようにフレーム５３０の一部分として符号化領域５３１が設定された場合、符号化領域５３１の外側はラベルが決まらない。しかし、次のフレームの符号化の際には、符号化領域５３１の外側が参照ブロックとなる事があるので、何らかのラベルを挿入しておく必要がある。
図４８（ｄ）は、図４８（ａ）におけるラベル未定の部分に所定の値、この場合は“０”を挿入した例である。図４８（ｃ）は、図４８（ａ）におけるラベル未定部分について、符号化領域から外挿した例であり、これは、オブジェクトの動きが大きかったり、形状が激しく変化するなどして、前フレームではオブジェクトが無かった部分に次のフレームではオブジェクトが現れる確率が高い場合に有効である。
図４８（ｂ）は、図４８（ａ）のラベル未定部分について、ラベルメモリ５０９のメモリ空間のうち、次のフレームの符号化領域５３２の部分だけを外挿し、その他の部分は上書きしない例であり、このようにすると、２フレーム以上前のフレームのラベルを予測に用いることができる。
以前のフレームのラベルを予測に用いたい場合は、他に、例えば外挿や所定値の挿入は全く行わずに、メモリ空間のうち、符号化領域だけを更新していく方法もある。
次に、図５２を用いて説明した、フレームの縮小・拡大率（ＣＲ）がフレーム毎に切り替わる場合のラベルの予測方法について説明する。
図６０は、縮小処理の例であって、前フレームが“ＣＲ＝１”で現フレームが“ＣＲ＝１／２”の例であり、この場合、縮小して得ようとする現フレームの対象ブロックである例えばマクロブロックＭＢ１に対応する前フレームのブロックは、図に示したように、ＭＢ２〜ＭＢ５の４つある（図６１参照）。つまり、前フレームのマクロブロックＭＢ２，ＭＢ３，ＭＢ４，ＭＢ５が縮小後のマクロブロックＭＢ１になる。
今、現フレームのマクロブロックＭＢ１のアドレスを（ｘ，ｙ）とすると、前フレームのブロックＭＢ２〜ＭＢ５のアドレスは（２ｘ，２ｙ）、（２ｘ＋１，２ｙ）、（２ｘ，２ｙ＋１）、（２ｘ＋１、２ｙ＋１）で得られる。
ここでの係数“２”は、前フレームと現フレームの縮小・拡大率ＣＲの値の比として与えられる。
ブロックＭＢ１のラベルの符号化の予測には、ブロックＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５のいずれかのラベルを用いるのが適当であるが、その決め方にはいくつか方法がある。
まず、最も簡単で演算量が少ないのは、４つのうちの所定の位置（例えば左上）にあるブロックのラベルを用いる方法である。あるいは、４つのラベルに同じものがある時は、その数が最も多いラベルを予測値として用いるようにすれば、予測が当たる確率は高くなる。
同じ内容を持つラベルの数が等しい場合、つまり、二組ずつに分かれてしまった場合には、出現頻度が高い順に予めラベルに順序を付けておき、その順序で上位のラベルを予測値として選択する。フレーム内に矩形の符号化領域ＣＡを設定する場合、符号化領域ＣＡの角を原点とする座標軸を用いると、図６１のように、現フレームのブロック（符号化対象のマクロブロック）の境界は参照フレームのマクロブロックの境界に重なる。
しかし、符号化対象の領域はマクロブロックの幅よりも小さなステップで位置設定可能とし、フレームの角を原点とする座標軸を用いると、図６２のように、一般にブロックの境界は重ならず、ＭＢ６〜ＭＢ１４の計９つのマクロブロックが参照される。
この場合は、全体が参照されているマクロブロックＭＢ１０のラベルを用いる。
図６３は、前フレームが縮小・拡大率ＣＲ＝１／２で現フレームが縮小・拡大率ＣＲ＝１の例であり、この場合、マクロブロックＭＢ１９は縮小フレーム中のマクロブロックＭＢ１５の右下の部分を参照することになる。この時は、ブロックＭＢ１５のラベルを予測値とするか、あるいは、参照部分がブロックＭＢ１６〜ＭＢ１８とも近いことから、これらのブロックのラベルを考慮に入れて、例えば前述したように多数決などで予測値を決めてもよい。
＜ラベルを予測に用いる復号化装置の構成例＞
図４９にラベルを予測に用いるようにした本発明の復号化装置の構成例をブロック図で示す。
この復号化装置は、ラベル復号化回路５１６、ラベルメモリ５１７、参照ブロック決定回路５１８、予測回路５２０とから構成される。
これらのうち、ラベル復号化回路５１６は、入力された復号対象の符号データからラベルのデータを復号化するものであり、ラベルメモリ５１７は、この復号化されたラベルのデータを記憶するものであり、参照ブロック決定回路５１８は、前フレームにおいて符号化ブロックと同じ位置にあるブロックを参照ブロック５１９として決定するといった処理を行うものである。
また、予測回路５２０は前フレームのラベル５２１と参照ブロック５１９から予測値５２２を求め、ラベル復号化回路５１６に与える機能を有する。
このような構成の復号化装置において、復号対象である符号化データのストリーム５１５はラベル復号化回路５１６に入力され、ラベルが復号化される。
一方、ラベルメモリ５１７には、それまでに復号化されたラベルが記憶されている。また、参照ブロック決定回路５１８では、符号化装置で説明したものと同じように参照ブロック５１９が決定され予測回路５２０に送られる。予測回路５２０でも符号化装置と同様に前フレームのラベル５２１と参照ブロック５１９から予測値５２２が求められ、ラベル復号化回路５１６に送られる。ラベル復号化回路５１６では、予測値５２２によって復号化テーブルを切り替えてラベル５２３を復号化し出力する。
また、あるブロックのモード“Ｍ（ｈ、ｖ、ｔ）”（ｈ、ｖ、ｔは各々、水平、垂直、時間方向の座標軸を表す）を符号化する際に、例えば、“Ｍ（ｘ−１、ｙ、ｎ）”、“Ｍ（ｘ、ｙ−１、ｎ）”、“Ｍ（ｘ、ｙ、ｎ−１）”などを参照して符号化テーブルを切り替えるのであるが、ここで用いるモードに、動き補償に用いる動きベクトルの情報の一部を含め、以下に示すモードの集合（これをモード集合Ａと呼ぶことにする。）を用いることもできる。
［モード集合Ａ］
（１） “ａ１１Ｗ”
（２） “ａ１１Ｂ”
（３） “ｃｏｐｙ（動きベクトル＝＝０）”
（４） “ｃｏｐｙ（動きベクトル！＝０）”
（５） “ｃｏｄｅｄ”
ここで、モード集合Ａの（３）と（４）はいずれもｃｏｐｙモードであるが、モード集合Ａの（３）は、動きベクトルがゼロであることを意味し、モード集合Ａの（４）は、動きベクトルがゼロ以外であることを意味する。モード集合Ａの（４）の場合は動きベクトルの値を別途符号化する必要があるが、モード集合Ａの（３）の場合は、動きベクトルを符号化する必要はない。動きベクトルがゼロである確率が高い場合に、モード集合Ａを用いると、モードの符号量と動きベクトルの符号量の合計を削減できる。
この例において、“ｃｏｐｙ（動きベクトル＝＝０）”として得られるブロックの全ての画素が例えば黒の場合、上記（２）と（３）はどちらのモードでも同じ再生画像が得られる。つまり、これら２つのモードを分ける必要はない。同様に、“ｃｏｐｙ（動きベクトル＝＝０）”として得られるブロックの全ての画素が白の場合、上記（１）と（３）は分ける必要はない。そこで、
［モード集合Ｂ」
（１） “ａ１１Ｗ”
（２） “ａ１１Ｂ”
（３） “ｃｏｐｙ（動きベクトル！＝０）”
（４） “ｃｏｄｅｄ”
として、
ステップＡ１：“ｃｏｐｙ（動きベクトル＝＝０）″”とした時に得られる動き補償予測画像が全て黒である場合は、ステップＡ３へ、そうでない場合は、ステップＡ２へ進む。
ステップＡ２： “ｃｏｐｙ（動きベクトル＝＝０）”とした時に得られる動き補償予測画像が全て白である場合は、ステップＡ４へ、そうでない場合は、ステップＡ５へ進む。
ステップＡ３： 参照する““Ｍ（＊、＊、＊）”が、“ｃｏｐｙ（動きベクトル＝＝０）”の場合には“Ｍ（＊、＊、＊）”を““ａ１１Ｂ”に置き換える。ステップＡ６に進む。
ステップＡ４： 参照する“Ｍ（＊、＊、＊）”が、“ｃｏｐｙ（動きベクトル＝＝０）”の場合には“Ｍ（＊、＊、＊）゛”を“ａ１１Ｗ”に置き換える。ステップＡ６に進む。
ステップＡ５： “Ｍ（ｘ、ｙ、ｎ）”をモード集合Ａの符号化テーブルを用いて符号化する。符号化終了。
ステップＡ６： “Ｍ（ｘ、ｙｓｎ）”をモード集合Ａの符号化テーブルを用いて符号化する。符号化終了。
以上のＡ０からＡ６の手順を踏むアルゴリズム（図５０）を用いれば、同じ結果となるものに複数のモードが用意されるという無駄が無くなり、ブロックの属性情報の符号量を削減できる。なぜなら、４つのモード（モード集合Ｂ）を切り替える符号の平均符号長は、５つのモード（モード集合Ａ）を切り替える符号の平均符号長よりも短くできるからである。但し、モード集合Ａのみをブロック毎に切り替える方式は、モード集合Ａのみを用いる場合と比較して、演算量とメモリ量が多少増加するので、この増加が問題にならない場合に用いる。
復号化処理は図５０のフローチャートと全く同じアルゴリズムで符号化テーブルをモード集合Ａ用あるいはモード集合Ｂ用のいずれかに決定し、そのテーブルを用いて復号化する。
上述のアルゴリズムと同じ効果が得られる別のアルゴリズムを図５１に示す。ここで、
［モード集合Ｃ］
（１） “ａ１１Ｗ”
（２） “ｃｏｐｙ（動きベクトル＝＝０）”
（３） “ｃｏｐｙ（動きベクトル！＝０）”
（４） “ｃｏｄｅｄ”
［モード集合Ｄ］
（１） “ａ１１Ｂ”
（２） “ｃｏｐｙ（動きベクトル＝＝０）”
（３） “ｃｏｐｙ（動きベクトル！＝０）”
（４） “ｃｏｄｅｄ”
である。
図５１のフローチャートを説明する。
ステップＢ１：“ｃｏｐｙ（動きベクトル＝＝０）”とした時に得られる動き補償予測画像が全て黒である場合は、ステップＢ３へ、そうでない場合は、ステップＢ２へ進む。
ステップＢ２：“ｃｏｐｙ（動きベクトル＝＝０）”とした時に得られる動き補償予測画像が全て白である場合は、ステップＢ４へ、そうでない場合は、ステップＢ５へ進む。
ステップＢ３：参照する“Ｍ（＊、＊、＊）””が、“ａｌｌＢ”の場合には“Ｍ（＊、＊、＊）”を“ｃｏｐｙ（動きベクトル＝＝０）”に置き換える。ステップＢ６に進む。
ステップＢ４：参照する“Ｍ（＊、＊、＊）”が、“ａ１１Ｗ”の場合には “Ｍ（＊、＊、＊）”を““ｃｏｐｙ（動きベクトル＝＝０）”に置き換える。ｓｔｅｐｂ７に進む。
ステップＢ５：“Ｍ（ｘ．ｙ．ｎ）”をモード集合Ａの符号化テーブルを用いて符号化する。符号化終了。
ステップＢ６：“Ｍ（ｘｓｙｓｎ）”をモード集合Ｃの符号化テーブルを用いて符号化する。符号化終了。
ステップＢ７：“Ｍ（ｘ．ｙ．ｎ）”をモード集合Ｄの符号化テーブルを用いて符号化する。符号化終了。
また、ブロックの属性としては、符号化のパラメータ、例えばブロックサイズやブロックの縮小率、符号化スキャンの方向、動きベクトルの値なども必要に応じて含めることもできる。スキャン方向を含めた例を示す。
［モード集合Ｅ］
（１） “ａ１１Ｗ”
（２） “ａ１１Ｂ”
（３） “ｃｏｐｙ（動きベクトル＝＝０）”
（４） “ｃｏｐｙ（動きベクトル！＝０）”
（５） “ｃｏｄｅｄかつ水平スキャン”
（６） “ｃｏｄｅｄかつ垂直スキャン”
なお、“＝＝”は左辺は右辺の値と等しい、“！＝”は左辺は右辺の値と等しくないことを示す。
以上、述べてきたように、本発明では、前のフレームの参照ブロックを予測に用いるのであるが、この参照ブロックのラベルではなく、アルファマップそのものを予測に用いても構わない。すなわち、アルファマップをメモリに記億しておき、各ブロックの属性を符号化する度に、その参照ブロックの属性（“ａｌｌＷ”、“Ｍｕｌｔｉ”、“ａｌｌＢ”など）を判定し、その属性によって符号化テーブルを切り替える。
このようにすると、前のフレームを符号化した時に用いたブロックとは、位置が数画素ずれたものも参照ブロックとすることができる。つまり、参照ブロックが前のフレームを符号化した時に用いたブロックとピッタリと重ならなくてもかまわなくなり、より精度の高い予測が可能となる。
また、参照ブロックのアルファマップを用いた予測と、ラベルを用いた予測を組み合わせることも可能である。
例えば、まず、参照ブロックのアルファマップを用いて、“ａｌｌＷ”、“Ｍｕｌｔｉ”、“ａｌｌＢ”によって符号化テーブルを切り替え、さらに、“Ｍｕｌｔｉ”のものについては、参照ブロックのラベルを用いて符号化テーブルを切り替えるようにする。
前のフレームの参照する部分については、ブロック毎に与えられる動きベクトルを利用する方法もある。つまり、既に符号化の終わった、符号化ブロックに隣接するマクロブロックの動きベクトルによって指し示される部分を前のフレームから切り出し、それが、“ａｌｌＷ″か、“Ｍｕｌｔｉ”か、“ａｌｌＢ”かによって符号化テーブルを切り替える。
（第７の具体例）
本発明は画像を符号化する場合に、画面内を背景とオブジェクトとに分割して符号化する方式において、背景とオブジェクトを分けるために、オブジェクト形状や画面内の位置を表すアルファマップ信号を使用する。そして、このアルファマップ信号を画像の符号化情報と共に符号化してビットストリーム化し、伝送するようにしたり蓄積したりするが、前者は放送やパソコン通信に、そして、後者はミュージックＣＤなどのように、コンテンツを納めた商品として取り引きされることになる。
そして、商品として記憶媒体に記録した動画像コンテンツを提供する場合に、蓄積媒体に画像の符号化情報とこのアルファマップ信号の圧縮符号化したものとを合わせたビットストリームで蓄積して、一つの媒体で長時間に亘るコンテンツを納めて映画などを鑑賞できるようにするが、このようなアルファマップの画像を含む圧縮符号化したビットストリームを格納した蓄積媒体を対象とする再生システムの例を次に第７の具体例として説明する。
＜本発明による情報を蓄積する媒体に関する具体例＞
図２７、図２８を用いて本具体例を説明する。図２７は、図２１のＶＬＣ・多重化回路１８００において多重化された、モード情報ｂ０、動きベクトル情報ｂ１、縮小・拡大率情報ｂ２、スキャン方向情報ｂ３、２値画像符号化情報ｂ４の符号列のフォーマット例を示している。本発明では、２値画像符号化情報ｂ４を復号する際に、ｂ０〜ｂ３までの情報が復号されている必要がある。また、モード情報ｂ０は他の全ての情報ｂｌ〜ｂ４に先だって復号されていないと、他の情報を復号することは出来ない。従って、各情報ｂ０〜ｂ４は、図２７のように、先頭にモード情報、最後に２値面像符号化情報が配置される構成でなければならない。
図２８は、図２７で示される符号列が蓄積される記録媒体８１００を用いて画像信号を再生するシステムを示す図である。記録媒体８１００には、図２７で示された符号列を含む符号列が蓄積されている。８２００はこの蓄積媒体８１００に蓄積されている符号列から、画像信号を再生するデコーダであり、８３００は再生画像を出力する画像情報出力装置である。
このような構成の本システムは、蓄積媒体８１００に図２７に示す如きのフォーマットの符号列を蓄積してある。デコーダ８３００はこの蓄積媒体８１００に蓄積されている符号列から、画像信号を再生する。すなわち、デコーダ８２００は、蓄積媒体８１００より信号線８０１０を介して符号列を読み込み、図３３および図３４に示す手順により再生画像を生成する。ここで、図３４は図３３の“２値画像再生”のステップ（Ｓ５）のフローチャートである。
図３３，図３４に従って、デコーダ８２００での処理を内容を説明する。すなわち、まずはじめにモード情報が復号され（ステップＳ１）、その復号されたモード情報が“ａｌｌＷ”，“ａｌｌＢ”，“ｃｏｐｙ”のいずれかに該当するか否かを調べる（ステップＳ２，Ｓ３，Ｓ４）。
その結果、“ａｌｌＷ”であればマクロブロック内の画素値を全て白にして処理を終え（ステップＳ６）、また、“ａｌｌＷ”でなく、“ａｌｌＢ”であればマクロブロック内の画素値を全て黒にして処理を終え（ステップＳ７）、また、“ａｌｌＷ”でもなく、“ａｌｌＢ”でもなく、“ｃｏｐｙ”であったとすれば動きベクトルを情報を復号し（ステップＳ８）、動き補償予測し（ステップＳ９）、マクロブロック内をこの求めた動き補償予測値でコピーする（ステップＳ１０）。そして、処理を終了する。
一方、ステップＳ２，Ｓ３，Ｓ４において“ａｌｌＷ”でもなく、“ａｌｌＢ”でもなく、“ｃｏｐｙ”でもなかった場合には２値画像再生の処理に移る（ステップＳ５）。
このＳ５での処理は図３４に示す如きであり、まずはじめに“ｉｎｔｅｒ”符号化であるか否かを調べる（ステップＳ２１）。その結果、“ｉｎｔｅｒ”符号化であれば動きベクトル情報を復号し（ステップＳ２５）、動き補償予測し（ステップＳ２６）、次に縮小・拡大率情報を復号し（ステップＳ２２）、スキャン方向情報を復号する（ステップＳ２３）。そして、２値符号化情報を復号し（ステップＳ２４）、処理を終了する。
一方、ステップＳ２１での判断の結果、“ｉｎｔｅｒ”符号化でなかったときは縮小・拡大率情報を復号し（ステップＳ２２）、スキャン方向情報を復号する（ステップＳ２３）。そして、２値符号化情報を復号し（ステップＳ２４）、処理を終了する。
このようにしてデコーダ８２００では画像を再生し、この再生した面像を信号線８０２０を介して画像情報出力装置８３００に供給することにより、当該再生面像がこの画像情報出力装置８３００に表示される。
ここで、画像情報出力装置とは、例えばディスプレイやプリンタ等を指す。なお、先の具体例にあるように、フレーム単位の縮小・拡大と、小領域単位の縮小・拡大を組み合わせた符号化・復号化装置の場合、フレーム単位縮小・拡大率の情報は、図２７に示される小領域単位の符号列に先だって再生されていなければならないため、フレーム単位縮小・拡大率の符号は該フレームにおける全ての小領域単位の符号列の前に位置する。
このように、蓄積媒体にコンテンツとしての動画像とアルファマップ信号とを、圧縮符号化してビットストリームとして格納した場合に、その蓄積媒体の再生システムを提供できる。
（第８の具体例）
動きベクトルの予測符号化に関する具体例を第８の具体例として説明する。
図２１、図２２は、本発明のフレームワークを表す図である。図２１において、動きべクトル検出回路１７８０で検出された動きベクトルは、信号線１０７０を介してＭＶ符号化回路１７９０に供給され、符号化された後、ＶＬＣ・多重化回路１８００に供給され、他の符号化情報と多重化されて線３０を介して出力される。
図２２において、ＶＬＤ・分離化回路２１００によって、信号線８０を介して供給された符号化情報から分離された動きベクトル情報ｂ１は、動きベクトル再生回路２９００にて動きべクトル信号に再生される。
本具体例は、上記のＭＶ符号化回路１７９０および動きベクトル再生回路２９００に関わるものである。
一般的に、動きベクトル信号の相関が隣接ブロック間で強いため、この相関を除去するために予測符号化により動きべクトルは符号化される。
図６６は、動きベクトルの予測符号化の一例を説明するための図である。
図６６において、方形の各枠はマクロブロックを示しており、下地がドットパターンで示された方形枠は、符号化対象ブロックである。この符号化対象ブロックの動きベクトルをＭＶｓとすると、当該符号化対象ブロックのＭＶｓに対する予測ベクトルＭＶＰｓを求めるには、当該符号化対象ブロックの直前のマクロブロック（図６６における符号化対象ブロックの左隣）のブロックの動きベクトルＭＶｓ１と、当該符号化対象ブロックの直上のマクロブロック（図６６における符号化対象ブロックの上隣）のブロックの動きベクトルＭＶｓ２、そして、当該直上のマクロブロックの右隣のブロックの動きベクトルＭＶｓを用いる。
このように、符号化対象ブロックの動きベクトルＭＶｓに対する予測べクトルＭＶＰｓは、一般的に、符号化対象ブロック周辺のブロックの動きベクトルＭＶｓ１、ＭＶｓ２、ＭＶｓ３を用いて求められる。
例えば、ＭＶＰｓの水平・垂直成分ＭＶＰｓ＿ｈおよびＭＶＰｓ＿ｖは、以下のように求められる。
ＭＶＰｓ＿ｈ＝Median（ＭＶｓ１＿ｈ、ＭＶｓ２＿ｈ、ＭＶｓ３＿ｈ）
ＭＶＰｓ＿ｖ＝Median（ＭＶｓ１＿v 、ＭＶｓ２＿v 、ＭＶｓ３＿v ）
ここで、“Median（）”とは“（）”内の値の中央値を求める処理であり、動きベクトルＭＶｓｎ（ｎ＝１，２，３）の水平・垂直成分をそれぞれ、
ＭＶｓｎ＿ｈ、ＭＶｓｎ＿ｖ
と表記している。
また、予測ベクトルＭＶＰｓを求める別の例として、ＭＶｓ１、ＭＶｓ２、ＭＶｓ３の順にそれぞれのブロックに動きベクトルが存在するか否かをチェックし、最初に動きベクトルが存在するブロックの動きベクトルをＭＶＰｓとする方法もある。
図６７（ａ），（ｂ）は、時刻ｎ−１と時刻ｎにおけるフレーム画像Ｆｎ−１、Ｆｎとそれぞれのフレームにおける符号化領域ＣＡｎ−１、ＣＡｎの例である。ここで、符号化対象ブロック周辺のブロックがオブジェクトを含まないブロックの場合、そのブロックには動きべクトルが存在しない。また、フレーム内符号化されたブロックの場合にも、そのブロックには動きべクトルが存在しない。
例えば、ＭＶｓ１，ＭＶｓ２，ＭＶｓ３の全てが存在しない場合、予測ベクトルＭＶＰｓにはデフォルト値（べクトル）を用いることになる。
オブジェクトの動きが小さい場合は、このデフォルト値を零なる動きベクトルである“ゼロベクトル”としても問題ないが、図６７（ａ）のフレームから図６７（ｂ）のフレームへの遷移のように、フレーム内でのオブジェクトの位置の動きが大きい場合には、動きべクトルの予測が当たらなくなり、符号化効率が低下する。
本発明ではこのデフォルト値として、図６７（ａ）に示されたベクトル“ｐｒｅｖ＿ｒｅｆ”と図６７（ｂ）に示されたベクトル“ｃｕｒｒ＿ｒｅｆ”との差分ベクトル“ｏｆｆｓｅｔ”と、“ゼロベクトル”とを適応的に切り換えて用いることを特徴とする。
ここで、“ｏｆｆｓｅｔ”は以下の式で求められる。
ｏｆｆｓｅｔ＝ｐｒｅｖ＿ｒｅｆ−ｃｕｒｒ＿ｒｅｆ
デフォルト値“ｏｆｆｓｅｔ”と“ゼロベクトル”の切り替えは、例えば、フレームの座標軸に基づいて求められた時刻ｎのオブジェクトと時刻ｎ−１のオプジェクトの誤差値と、符号化領域の座標軸に基づいて求められた時刻ｎ時点でのオブジェクトと時刻ｎ−１時点でのオブジェクトの誤差値を比較して、前者が大きい場合は“ｏｆｆｓｅｔ”を、また、後者が大きい場合は“ゼロベクトル”を、デフォルト値として用いるようにすればよい。
この場合、切り替え情報として１ビットのサイド情報を送る必要がある。また、このような動きベクトルの予測値のデフォルト値として、“ｏｆｆｓｅｔ”と“ゼロベクトル”を切り替えることは、テクスチャ情報の動きベクトルの予測符号化にも同様に適用できる。
次に、図２１に示したＭＶ符号化回路１７９０の具体的構成例と、図２２に示すＭＶ再生回路２９００の具体的構成例を、第９の具体例として説明する。
（第９の具体例）
［ＭＶ符号化回路１７９０の構成］
図６８は、図２１に示したシステムにおけるＭＶ符号化回路１７９０及びその付帯回路の具体例を示すブロック図であり、（ａ）は付帯回路としてのデフォルト値演算回路、（ｂ）はＭＶ符号化回路１７９０である。
図６８（ａ）に示す付帯回路としてのデフォルト値演算回路は、オブジェクト領域について、現時点での処理フレームと、前時点での処理フレームとから、前時点から見た現時点でのフレームのオブジェクトの位置移動を、フレーム間での動きベクトル値として求めるためのものであり、図６８（ａ）において、ｅ１０は符号化領域検出回路、ｅ１１はデフォルト値決定回路、ｅ１２は領域情報メモリ、ｅ１３はオフセット算出回路、ｅ１４はセレクタである。
また、ｅ１は現時点でのフレームデータを入力するための信号線であり、図２１におけるシステムの信号線２０に該当するもので、当該信号線２０から入力される現時点のフレームデータを入力として受けるためのものである。また、図６８（ａ）におけるｅ２は、フレームメモリ１３００に保持された前時点フレームデータを供給するための信号線であり、この信号線ｅ２を介して、フレームメモリ１３００から前時点のフレームデータの供給を受ける。また、ｅ３はデフォルト値決定回路ｅ１１からのフラグの情報を出力する信号線であり、ｅ４は符号化領域検出回路ｅ１０からの符号化領域ＣＡｎの情報を供給する信号線であり、ｅ６は領域情報メモリｅ１２から読み出される符号化領域ＣＡｎ−１の位置情報を供給する信号線である。
また、前記符号化領域検出回路ｅ１０は、信号線ｅ１を介して供給される現時点フレームＦｎ−１の画像信号をもとに、符号化領域ＣＡｎのサイズおよび位置情報ＶＣ0 を検出するものであり、その検出結果は信号線ｅ４を介して、デフォルト値決定回路ｅ１１、領域情報メモリｅ１２およびオフセット算出回路ｅ１３に供給するようにしてある。
また、領域情報メモリｅ１２は、符号化領域ＣＡｎ−１のサイズおよび位置の情報を蓄積するメモリであり、時刻ｎの時点でのフレームの符号化が終了後、符号化領域ＣＡｎのサイズおよび位置情報を蓄積することになる。
オフセット算出回路ｅ１３は、信号線ｅ４を介して供給される符号化領域ＣＡｎと、信号線ｅ６を介して供給される符号化領域ＣＡｎ−１の位置情報を用いて、ベクトル値“ｏｆｆｓｅｔ”を求め、それをセレクタｅ１４に与えるものである。
また、セレクタｅ１４は、零の動きベクトル値である“ゼロベクトル”とオフセット算出回路ｅ１３から与えられる“ｏｆｆｓｅｔ”とを入力とし、これらのいずれか一方を信号線ｅ３を介してデフォルト値決定回路ｅ１１から供給されるフラグに従って選択する回路であり、このセレクタｅ１４の選択したベクトル値をデフォルト値として信号線ｅ５を介してＭＶ符号化回路１７９０のセレクタ１７９３に出力する回路である。
以上が、デフォルト値演算回路の構成である。
次に、ＭＶ符号化回路１７９０の構成を説明する。
ＭＶ符号化回路１７９０は、図６８（ｂ）に示すように、ＭＶメモリ１７９１、ＭＶ予測回路１７９２、セレクタ１７９３、差分回路１７９４より構成される。
これらのうち、ＭＶメモリ１７９１は図２１における信号線１０７０を介して供給される動きベクトル検出回路１７８０からの動きベクトル情報を保存するメモリであり、符号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ−１，２，３）がこのＭＶメモリ１７９０に保持される。
ＭＶ予測回路１７９２は、ＭＶメモリ１７９１から供給される符号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ−１，２，３）をもとに、予測べクトルＭＶＰｓを求める回路である。ここで、ＭＶｓｎ（ｎ−１，２，３）が存在しない場合は、予測ベクトルＭＶＰｓが正常に求められないため、当該ＭＶ予測回路１７９２は、予測ベクトルＭＶＰｓが正常に求められたか否かを識別する信号を出力する機能を備えており、この識別信号を信号線１７９５を介してセレクタ１７９３に供給する仕組みとしてある。
セレクタ１７９３は、ＭＶ予測回路１７９２より供給されるＭＶＰｓと、信号線ｅ５を介して与えられるデフォルト値とを入力とし、前記信号線１７９５を介して供給される信号に従って、両者のうちの一方を選択して、差分回路１７９４に供給するものである。
差分回路１７９４は、動きベクトルの予測誤差信号を求める回路であって、信号線１０７０を介して供給される動きベクトル検出回路１７８０からの動きベクトル情報と、セレクタ１７９３を介して与えられるＭＶＰｓまたはデフォルト値との差を求めて、その結果を動きべクトル情報ｂ１としてＭＶ符号化回路１７９０から出力するものである。
次にこのような構成の符号化回路の作用を説明する。
図６８（ａ）において、信号線ｅ１にはフレームメモリ１３００に保存された前時点での画像信号（前時点でのフレームのフレームデータ）であるフレームＦｎの画像信号が供給され、信号線ｅ２には現時点での画像信号（現時点でのフレームのフレームデータ）であるフレームＦｎ−１の画像信号が供給される。
そして、フレームＦｎの画像信号はデフォルト値決定回路ｅ１１に入力され、フレームＦｎ−１の画像信号はデフォルト値決定回路ｅ１１と符号化領域検出回路ｅ１０に入力される。
符号化領域検出回路ｅ１０では、フレームＦｎ−１の画像信号をもとに、符号化領域ＣＡｎのサイズおよび位置情報ＶＣ0 が検出され、その検出結果は信号線ｅ４を介して、デフォルト値決定回路ｅ１１、領域情報メモリｅ１２およびオフセット算出回路ｅ１３に供給される。
一方、デフォルト値決定回路ｅ１１では、信号線ｅ４を介して供給される符号化領域検出回路ｅ１０からの符号化領域ＣＡｎの情報と、信号線ｅ６を介して領域情報メモリｅ１２から供給される符号化領域ＣＡｎ−１のサイズおよび位置情報を用いて、フレームＦｎとフレームＦｎ−１との誤差量と、符号化領域ＣＡｎとＣＡｎ−１との誤差量との比較を行う。そして、その比較の結果、前者が大きい場合にはデフォルト値として“ｏｆｆｓｅｔ”を用い、それ以外の場合はデフォルト値としてゼロベクトルを用いるように決定し、デフォルト値として“ｏｆｆｓｅｔ”を用いるか、ゼロベクトルを用いるか、を識別するフラグの情報を信号線ｅ３を介して出力する。
信号線ｅ３を介してデフォルト値決定回路ｅ１１から出力されたフラグの情報は、信号線ｅ４を介して符号化領域検出回路ｅ１０から出力された符号化領域ＣＡｎのサイズおよび位置の情報と共に、図４７のデータフォーマットにおける符号化領域のレイヤに多重化される。そして、伝送あるいは記録媒体への保存に供される。
一方、領域情報メモリｅ１２は、符号化領域ＣＡｎ−１のサイズおよび位置情報を蓄積するメモリであり、時刻ｎの符号化が終了後、符号化領域ＣＡｎのサイズおよび位置情報を蓄積することになる。
オフセット算出回路ｅ１３では、信号線ｅ４を介して供給される符号化領域ＣＡｎと、信号線ｅ６を介して供給される符号化領域ＣＡｎ−１の位置情報を用いて、ベクトル値“ｏｆｆｓｅｔ”を求めた後、セレクタｅ１４に供給する。
セレクタｅ１４では、信号線ｅ３を介してデフォルト値決定回路ｅ１１から供給されるフラグに従って、“ｏｆｆｓｅｔ”とゼロベクトルとの何れかが選択され、これをデフォルト値とする。そして、このデフォルト値は信号線ｅ５を介してＭＶ符号化回路１７９０のセレクタ１７９３に出力される。
図６８（ｂ）のＭＶ符号化回路１７９０には、符号化対象ブロックの動きベクトルＭＶｓが信号線１０７０を介して供給され、ＭＶメモリ１７９１および差分回路１７９４に供給される。
ＭＶ予測回路１７９２には、ＭＶメモリ１７９１から符号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ−１，２，３）が供給され、予測べクトルＭＶＰｓが求められる。ここで、ＭＶｓｎ（ｎ−１，２，３）が存在しない場合は、予測ベクトルＭＶＰｓが正常に求められないため、予測ベクトルＭＶＰｓが正常に求められたか否かを識別する信号を生成してこれを信号線１７９５を介し、セレクタ１７９３に供給する。
セレクタ１７９３では、信号線１７９５を介して供給される識別信号に従って、ＭＶ予測回路１７９２より供給されるＭＶＰｓか、または、信号線ｅ５の出力であるデフォルト値かが選択され、差分回路１７９４に供給される。
差分回路１７９４では、動きベクトルの予測誤差信号が計算され、その計算結果は動きべクトル情報ｂ１としてＭＶ符号化回路１７９０から出力される。
以上は動きベクトル符号化の処理内容であった。次にこのようにして符号化された動きベクトルの復号化処理について説明する。
［復号化回路］
図６９は、本発明を実現するための復号化回路の具体例を示すブロック図であり、ＭＶ符号化されたデータの再生をするための要部構成を示したブロック図であって、図２２に示したシステムにおけるＭＶ再生回路２９００及びその付帯回路の具体例を示すブロック図である。図６９における（ａ）は付帯回路としてのデフォルト値演算回路、（ｂ）はＭＶ再生回路２９００である。
図６９（ａ）に示す付帯回路としてのデフォルト値演算回路は、領域情報メモリｄ１０、オフセット算出回路ｄ１１、セレクタｄ１２とから構成される。また、ｄ１は符号化されて伝送されてきたデータあるいは記憶媒体に記憶されて読み出されたデータの上位レイヤに含まれているデフォルト値選択識別用のフラグの情報を与える信号線、ｄ２は符号化されて伝送されてきたデータの上位レイヤに含まれている領域ＣＡｎの位置情報を与える信号線であり、これらは符号化回路側におけるｅ３，ｅ４に対応する。
また、ｄ３は領域ＣＡｎ−１の位置情報を与える信号線、ｄ４はデフォルト値を出力する信号線である。
上記領域情報メモリｄ１０は、領域ＣＡｎ−１の位置情報を蓄積するメモリであり、オフセット算出回路ｄ１１は、信号線ｄ２を介して供給される領域ＣＡｎの位置情報と、信号線ｄ３を介して供給される領域ＣＡｎ−１の位置情報とを用いてベクトル値“ｏｆｆｓｅｔ”を求めるものであって、この求めたベクトル値“ｏｆｆｓｅｔ”はセレクタｄ１２に供給する構成としてある。
また、セレクタｄ１２は予め与えられた零の動きベクトル値と、オフセット算出回路ｄ１１から与えられるベクトル値“ｏｆｆｓｅｔ”とのうちの一方を、信号線ｅ１を介して与えられるデフォルト値選択識別用のフラグの情報対応に選択して出力するものであり、このセレクタｄ１２の出力がデフォルト値として信号線ｄ４に出力され、ＭＶ再生回路２９００に与えられる構成である。
以上が復号側におけるデフォルト値演算回路の構成である。
次にＭＶ再生回路２９００の構成を説明する。
ＭＶ再生回路２９００は、図６９（ｂ）に示すように、加算回路２９０１、セレクタ２９０２、ＭＶ予測回路２９０３、ＭＶメモリ２９０４とからなる。
これらのうち、加算回路２９０１は、復号化対象ブロックの動きベクトルの予測誤差信号である動きベクトル情報ｂ１とセレクタ２９０２を介して与えられるデフォルト値とを受けて、両者を加算して出力する回路であり、この加算出力はＭＶメモリ２９０４並びに図２２の構成における信号線２０３０に出力される構成である。
また、ＭＶメモリ２９０４は、前記加算回路２９１０の加算出力を保持して復号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ＝１，２，３）を供給するためのものであり、また、ＭＶ予測回路２９０３は、ＭＶメモリ２９０４から供給される復号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ＝１，２，３）から予測ベクトルＭＶＰｓを求め、セレクタ２９０２に与えるものである。なお、ＭＶｓｎ（ｎ＝１，２，３）が存在しない場合は、予測ベクトルＭＶＰｓが正常に求められないため、ＭＶ予測回路２９０３には、予測ベクトルＭＶＰｓが正常に求められたか否かを識別する信号を発生する機能を持たせてあり、この識別信号は、信号線２９０５を介してセレクタ２９０２に供給する構成としてある。
セレクタ２９０２は、信号線ｅ４を介して与えられるデフォルト値と、ＭＶ予測回路２９０３から与えられる予測ベクトルＭＶＰｓを入力とし、これらの一方を、信号線２９０５を介して供給される識別信号に従って、選択して加算回路２９０１に与える回路である。
次に、このような構成の復号化側システムの作用を説明する。
図６９（ａ）において、信号線ｄ１にはデフォルト値として“ｏｆｆｓｅｔ”を用いるか、ゼロベクトルを用いるかを識別するフラグが供給され、信号線ｄ２には領域ＣＡｎの位置情報が供給される。
信号線ｄ２を介して供給された領域ＣＡｎの位置情報は、領域情報メモリｄ１０とオフセット算出回路ｄ１１に供給される。領域情報メモリｄ１０は、領域ＣＡｎ−１の位置情報を蓄積するメモリであり、時刻ｎの復号化が終了後、領域ＣＡｎの位置情報を蓄積することになる。
オフセット算出回路ｄ１１では、信号線ｄ２を介して供給される領域ＣＡｎの位置情報と、信号線ｄ３を介して供給される領域ＣＡｎ−１の位置情報とを用いてベクトル値“ｏｆｆｓｅｔ”を求めた後、ベクトル値“ｏｆｆｓｅｔ”をセレクタｄ１２に供給する。
セレクタｅ１２では、信号線ｄ１を介して供給されるフラグに従って、“ｏｆｆｓｅｔ”と“ゼロベクトル”のうちの何れか一方が選択され、デフォルト値として信号線ｅ４を介してＭＶ再生回路２９００へと出力する。
次に図６９（ｂ）のＭＶ再生回路２９００においては、復号化対象ブロックの動きベクトルの予測誤差信号である“動きベクトル情報ｂ１”が供給され、加算回路２９０１に供給される。
また、ＭＶ予測回路２９０３には、ＭＶメモリ２９０４から復号化対象ブロックの周囲の動きベクトルＭＶｓｎ（ｎ＝１，２，３）が供給され、予測ベクトルＭＶＰｓが求められる。ここで、ＭＶｓｎ（ｎ＝１，２，３）が存在しない場合は、予測ベクトルＭＶＰｓが正常に求められないため、予測ベクトルＭＶＰｓが正常に求められたか否かを識別する信号を信号線２９０５を介してセレクタ２９０２に供給する。
セレクタ２９０２では、信号線２９０５を介して供給される当該識別信号に従って、ＭＶ予測回路２９０３より供給されるＭＶＰｓか、または信号線ｄ４の出力であるデフォルト値のいずれかが選択され、加算回路２９０１に供給される。
加算回路２９０１では、動きベクトルの予測誤差信号（“動きベクトル情報ｂ１”）と予測信号ＭＶＰｓとが加算され、これによって復号化対象ブロックの動きベクトルＭＶｓが再生される。そして、この復号化対象ブロックの動きベクトルＭＶｓは信号線２０３０を介してＭＶ再生回路２９００から出力されると共に、ＭＶメモリ２９０４に蓄積される。
このようにして、図２１に示す構成での必要なＭＶ符号化処理と、図２２に示す構成での必要なＭＶ再生処理が実現できる。
以上、種々の実施例を説明したが、本発明によれば、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率よく符号化できると共に、その復号を行うことができるようにした画像符号化装置および復号化装置が得られる。
また、本発明によれば、アルファマップの符号量を低減することができるため、フレーム単位で符号化する従来の符号化法と比べて、大幅な符号化効率の低下なしにオブジェクト毎に別々に符号化することができるようになる。
なお、本発明は上述した具体例に限定することなく種々変形して実施し得る。
本発明を適用する前提となる符号化装置の全体の概略的な構成を示すブロック図。 本発明を適用する前提となる復号化装置の全体の概略的な構成を示すブロック図。 本発明を適用する前提となる符号化装置におけるアルファマップ符号化回路の構成を示すブロック図。 本発明を適用する前提となるアルファマップ復号化回路の構成を示すブロック図。 本発明の第１の具体例にかかる符号化回路の一具体例を示すブロック図。 本発明の第１の具体例にかかる復号化回路の一具体例を示すブロック図。 本発明の第１の具体例を説明するための図であって、変化画素ｂ１の周囲の様子の例を示す図。 本発明の第１の具体例を説明するための図であって、参照画素の例を示す図。 本発明の第１の具体例を説明するための図であって、コンテキスト番号の決定方法を説明するための図。 本発明の第２の具体例にかかる符号化回路例を示すブロック図。 本発明の第２の具体例にかかる復号化回路の具体例を示すブロック図。 本発明の第３の具体例にかかる符号化回路の具体例を示すブロック図。 本発明の第３の具体例にかかる復号化回路の具体例を示すブロック図。 本発明の第３の具体例を説明するための図であって、フレーム間符号化における変化画素の検出手段を説明する図。 スキャン方向切り替えを説明する図。 アルファマップを説明する図。 先行技術を説明するための図であって、ＶＬＣテーブル（可変長符号化テーブル）の例を示す図。 先行技術を説明するための図であって、ブロック単位で符号化する場合の変化画素の関係を表す図およびｂ１を検出する為の参照領域を表す図（ブロックベース符号化の変化画素の関係と参照領域を表す図）。 先行技術を説明するための図であって、ＭＭＲをブロックベースで符号化する場合のフローチャート。 本発明で用いるアルファマップの画面内を所定の複数画素構成によるマクロブロック（ＭＢ）単位に分割した様子を示す図。 本発明の第４の具体例におけるアルファマップ符号化回路の構成例を示すブロック図。 本発明の第４の具体例におけるアルファマップ復号化回路の構成例を示すブロック図。 マルコフモデル符号化を説明するための図。 複数の２値面像符号化法を切り換えて使用する２値画像符号化回路および２値画像復号化回路の構成例を示すブロック図。 本発明の第５の具体例におけるフレーム単位の縮小・拡大と、小領域単位の縮小・拡大を組み合わせたアルファマップ符号化回路の構成を示すブロツク図。 本発明の第５の具体例におけるフレーム単位の縮小・拡大と、小領域単位の縮小・拡大を組み合わせたアルファマップ復号化回路の構成を示すブロック図。 本発明のアルファマップ符号化回路から出力されるビット列の並び順を説明する図。 本発明の第６の具体例のシステム構成例を示すブロック図。 本発明の第６の具体例における先行技術の説明をするための図。 本発明の第６の具体例における先行技術の説明をするための図。 本発明の第６の具体例における先行技術の説明をするための図。 本発明の第６の具体例における先行技術の説明をするための図。 本発明の第６の具体例における処理手順を説明をするためのフローチャート。 本発明の第６の具体例における処理手順を説明をするためのフローチャート。 縮小・拡大処理に利用する双一次内挿を説明するための図。 スムーシング処理（平滑化処理）を説明するための図。 本発明で用いるスムーシングフィルタ（平滑化処理フィルタ）の別の例を説明するための図。 ブロック（マクロブロック）を縦横“１／２”のサイズに縮小する縮小処理の一例を説明するための図。 縮小ブロックの画素値を求める手法の例を説明するための図。 画素間引きによる縮小処理の例を説明するための図。 本発明で用いる拡大処理の例を説明するための図。 ブロック毎の縮小・拡大処理の別の例を説明するための図。 本発明の第６の具体例における符号化回路の構成例を示すブロック図。 時刻ｎ−１と時刻ｎにおけるフレーム画像Ｆn-1 ，ＦｎとそれぞれのフレームＦn-1 ，Ｆｎにおける符号化領域ＣＡの各マクロブロックのモード情報ＭＤの例を説明するための図。 符号化領域の変化とモード情報の対応するブロックの位置の変化の様子を説明するための図。 本発明の時刻ｎ−１と時刻ｎにおけるフレーム画像Ｆn-1 ，ＦｎとそれぞれのフレームＦn-1 ，Ｆｎにおける符号化領域ＣＡの各マクロブロックのモード情報ＭＤの例を説明するための図。 アルファマップを併用する動画像符号化装置における符号化データ構成を説明するための図。 符号化領域が占める対象部分がフレームの一部分である場合に生じるラベル未定部分の対処法を説明するための図。 ラベルを予測に用いるようにした本発明の復号化装置の構成例を示すブロック図。 本発明の符号化装置で用いる符号化処理手順の例を示すフローチャート。 本発明の符号化装置で用いる符号化処理手順の別の例を示すフローチャート。 フレーム毎の解像度の例を表した図。 図２５の符号化装置に必要なフレームメモリを明示的に含めて表した場合の符号化装置の構成例を示すブロック図。 図２６の復号化装置に必要なフレームメモリを明示的に含めて表した場合の復号化装置の構成例を示すブロック図。 図２５の符号化装置に必要なフレームメモリを明示的に含めて表した場合の符号化装置の別の構成例を示すブロック図。 図２６の復号化装置に必要なフレームメモリを明示的に含めて表した場合の別の復号化装置の構成例を示すブロック図。 本発明の符号化装置および復号化装置で用いるフレームメモリの構成例を示すブロック図。 双一次内挿により水平・垂直共に２倍に拡大する処理の例を説明するための図。 本発明で使用する双一次内挿処理により水平・垂直共に２倍に拡大する処理内容を説明するための図。 本発明で使用する縮小処理の例を説明するための図。 本発明で使用する縮小処理を説明するための図。 本発明で用いるラベル予測方法を説明するための図。 本発明で使用する縮小フレームから拡大処理によりフレームを復元する処理の説明をするための図。 本発明で適用する拡大処理における内挿画素位置と参照画素の利用範囲を説明する図。 本発明で適用する拡大処理における参照画素の追加処理の例を説明する図。 本発明にて用いる動きベクトルの予測符号化の一例を説明するための図。 フレーム内でのオブジェクトの位置の動きが大きい場合での、動きべクトルの予測の不都合を説明するための図。 本発明システムにおけるＭＶ符号化回路１７９０とその周辺回路の具体的構成例を示すブロック図。 本発明システムにおけるＭＶ再生回路２９００とその周辺回路の具体的構成例を示すブロック図。
符号の説明
２…ａ１検出回路
３，１４…メモリ
５…モード決定回路
８…符号化回路
１−１０…テーブル決定回路
１３…復号化回路
１６…テーブル決定回路
１７，２６…テーブル
１９…ａ１再生回路
２２，２７…カウンタ
２３，２８…ハフマンテーブル生成回路
１００…差分回路
１１０，３５０…動き補償予測回路
１２０…直交変換回路
１３０…量子化回路
１４０…可変長符号化回路
１５０，３２０…逆量子化回路
１６０，３３０…逆直交変換回路
１７０，３４０…加算回路
１８０，２４０…多重化回路
２００…アルファマップ符号化回路
２１０，２３０，２６０，４２０…解像度変換回路
２２０…２値画像符号化回路
３００，４３０，５２０…分離化回路
３１０…可変長復号化回路
４００…アルファマップ復号化回路
４１０…２値画像復号化回路
５０２…オブジェクト領域検出回路
５０４…ブロック化回路
５０６…ラベル付け回路
５０８…ラベル符号化回路
５０９…ラベルメモリ
５１０…参照ブロック決定回路
５１２…予測回路
５１６…ラベル復号化回路
５１７…ラベルメモリ
５１８…参照ブロック決定回路
５２０…予測回路
１１００…モード判定回路
１１１０…ＣＲ（縮小・拡大率）判定回路
１２００，２３００…セレクタ
１３００…フレームメモリ
１４００，１５００…ブロック内画素値設定回路
１６００…動き補償予測回路
１７００…２値画像符号化回路
１７１０，１７３０，１７４０，２８３０，２８４０…縮小回路
１７２０…拡大回路
１７５０，１７６０，２８２０，２８５０…転置回路
１７７０…スキャンタイプ（ＳＴ）判定回路
１７８０…動きベクトル検出回路（ＭＶＥ）
１７９１…ＭＶメモリ
１７９２…ＭＶ予測回路
１７９３…セレクタ
１７９４…差分回路
１８００…ＶＬＣ（可変長符号化）・多重化回路
１９００…動きベクトル再生回路
２１００…ＶＬＣ（可変長符号化）・分離化回路
２４００，２５００…マクロブロック内画素値設定回路
２６００…動き補償予測回路
２７００…フレームメモリ
２８００…２値画像復号化回路
２８１０…拡大回路
２８００…２値画像復号化回路
２９０１…加算回路
２９０２…セレクタ
２９０３…ＭＶ予測回路
２９０４…ＭＶメモリ
８１００…蓄積媒体
８２００…デコーダ
８３００…画像情報出力装置
ｅ１０…符号化領域検出回路
ｅ１１…デフォルト値決定回路
ｅ１２…領域情報メモリ
ｅ１３…オフセット算出回路
ｅ１４…セレクタ
ｄ１０…領域情報メモリ
ｄ１１…オフセット算出回路
ｄ１２…セレクタ。

Claims (22)

  1. アルファマップのブロック毎の属性を再生する復号化装置において、
    復号化したラベルあるいはアルファマップをフレーム毎に保持する記憶手段と、
    現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する決定手段と、
    少なくとも上記記億手段に保持された前フレームのラベルあるいはアルファマップと上記参照ブロックによつて予測値を決定する予測手段と、
    上記復号ブロックのラベル情報を、上記予測値を用いて復号化する復号化手段を有することを特徴とする画像復号化装置。
  2. 請求項１記載の画像復号化装置において、
    符号化領域はフレーム内の一部分であり、
    上記記憶手段は、符号化領域以外のラベルとしては符号化領域のラベルから外挿して得られるものを保持する構成とすることを特徴とする画像復号化装置。
  3. 請求項１記載の画像復号化装置において、
    上記符号化領域はフレーム内の一部分であり、
    上記記憶手段は、保持対象を符号化領域のラベルとすると共に、上記予測手段は上記参照ブロックが、前フレームの符号化領域の外側となった時には、その近傍の符号化領域のラベルを予測値として用いる構成とすることを特徴とする画像復号化装置。
  4. 請求項１〜請求項３いずれか記載の画像復号化装置において、
    上記符号化領域はフレーム内の一部分であり、
    上記決定手段は、上記符号化領域の座標軸に基づいて上記参照ブロックを決定する構成とすることを特徴とする画像復号化装置。
  5. 請求項１〜請求項３いずれか記載の画像復号化装置において、
    上記符号化領域はフレーム内の一部分であり、
    上記決定手段は、上記符号化領域の座標軸に基づいて求まる第１の参照ブロックと、上記フレームの座標軸に基づいて求まる第２の参照ブロックのいずれか一方を選択して上記参照ブロックとする構成とすることを特徴とする画像復号化装置。
  6. 請求項５記載の画像復号化装置において、
    上記決定手段は、上記第１の参照ブロックと上記第２の参照ブロックのうち、いずれか一方を選択結果を識別する情報によって選択する構成とすることを特徴とする画像復号化装置。
  7. 請求項５記載の画像復号化装置において、
    上記決定手段は、前フレームの符号化領域の位置と現フレームの符号化領域の位置によって、上記第１の参照ブロックと上記第２の参照ブロックのうち、いずれか一方を選択する構成とすることを特徴とする画像復号化装置。
  8. 請求項１〜請求項５いずれか記載の画像復号化装置において、
    複数の復号化テーブルを用意し、
    上記予測手段は、どの復号化テーブルを用いるかを表すインデックスが上記予測値として用いられる構成とすることを特徴とする画像復号化装置。
  9. 請求項１〜請求項８いずれか記載の画像復号化装置において、
    上記予測手段は、既に復号化した現フレームのブロックのラベルも用いて予測値を決定する構成とすることを特徴とする画像復号化装置。
  10. 請求項１〜請求項９いずれか記載の画像復号化装置において、
    上記符号化ブロックの属性として、
    少なくとも、
    そのブロックはオブジェクトの内側にあることを意味する第１の属性と、
    そのブロックはオブジェクトの外側にあることを意味する第２の属性と、
    そのブロックは２値画像符号化されることを意味する第３の属性と、
    そのブロックは前のフレームのアルファマップの所定の部分をそのままコピーすることを意味する第４の属性を有し、
    上記前のフレームのアルファマップの所定の部分が前のフレームのオブジェクトの内側と外側をまたぐ場合は、上記第１から第４の属性を区別して復号化し、
    上記前のフレームのアルファマップの所定の部分が前のフレームのオブジェクトの内側にある場合は、上記第１の属性と第４の属性を同一視して復号化し、
    上記前のフレームのアルファマップの所定の部分が前のフレームのオブジェクトの外側にある場合は、上記第２の属性と第４の属性を同一視して復号化する構成とすることを特徴とする画像復号化装置。
  11. 請求項１記載の画像復号化装置において、
    フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
    上記縮小・拡大情報を保持する記憶手段とを有し、
    上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備えるものであることを特徴とする画像復号化装置。
  12. 請求項１記載の画像復号化装置において、
    フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
    上記縮小・拡大情報を保持する記憶手段とを有し、
    上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、
    上記予測手段は、参照ブロックが複数ある場合には、複数の参照ブロックのラベルのうち、数が多いラベルを予測値とするものであることを特徴とする画像復号化装置。
  13. 請求項１記載の画像復号化装置において、
    フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
    上記縮小・拡大情報を保持する記憶手段とを有し、
    上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、
    上記予測手段は、参照ブロックが複数ある場合には、複数の参照ブロックのうち、予め定める位置にあるブロックのラベルを予測値とする手段を備えることを特徴とする画像復号化装置。
  14. 請求項１記載の画像復号化装置において、
    フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
    上記縮小・拡大情報を保持する記憶手段とを有し、
    上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、
    上記予測手段は、予めラベルに優先順位をつけておき、参照ブロックが複数ある場合には、複数の参照ブロックのラベルうち、上記優先順位の高いラベルを予測値とするものであることを特徴とする画像復号化装置。
  15. 請求項１記載の画像復号化装置において、
    フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
    上記縮小・拡大情報を保持する記憶手段とを有し、
    上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、
    上記復号化手段は、複数種の可変長符号化テーブルを持ち、前フレームあるいは現フレームあるいはその両方の縮小・拡大率に応じて選択した一つの可変長符号化テーブルを用いて復号化するものであることを特徴とする画像復号化装置。
  16. 請求項１記載の画像復号化装置において、
    ブロック毎に動きベクトルが与えられ、上記動きベクトルを保持する手段と、既に符号化したブロックの動きベクトルを用いて、前のフレームの第２の参照ブロックを決定する手段と、
    複数種の符号化テーブルを持ち、上記第２の参照ブロックによって符号化テーブルの一つを選択して上記復号化手段の復号処理に供する手段と、
    を有することを特徴とする画像復号化装置。
  17. 請求項１記載の画像復号化装置において、
    上記予測手段は、予め定める複数種類の予測の方法のうち、いずれかを選択して用いるものであることを特徴とする画像復号化装置。
  18. 請求項１７記載の画像復号化装置において、
    上記予測手段は、その予測の方法として少なくとも、フレーム内符号化とフレーム間符号化を含むものであることを特徴とする画像復号化装置。
  19. 時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置であり、
    オブジェクトの形状を表す２値画像であるアルファマップ信号について、上記各ブロックをそのブロックの水平・垂直方向共に１／２N （Ｎ＝１，２，３，…）に縮小処理する手段と、この縮小処理されたブロックを拡大処理する拡大回路とを有し、符号化にあたってはレート制御のために上記縮小処理されたブロックと拡大処理されたブロックとを選択的に利用するようにした画像符号化装置において、
    上記拡大回路は、
    上記ブロックの近傍再生値を保持するメモリと、
    該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、
    水平・垂直方向共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大する拡大処理手段と、
    を備えて構成し、
    上記拡大処理手段においては、常に１／２N に縮小された参照画素値を用いるようにすることを特徴とする画像符号化装置。
  20. 水平・垂直共に１／２N （Ｎ＝１，２，３，…）に縮小された２値画像のブロックを拡大する拡大回路であって、
    該ブロック近傍再生値を保持するメモリと、
    該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、
    水平・垂直共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大すると共に、この拡大処理においては、常に１／２N に縮小された参照画素値を用いる拡大処理手段と、
    を具備することを特徴とする画像符号化装置。
  21. 時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置であって、
    上記フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域を設定する設定手段と、この設定手段により設定された領域内をブロックに分割する分割手段と、分割された上記ブロック内を動き補償予測するために必要な動きベクトルを予測符号化する手段とを有する画像符号化装置において、
    参照フレーム内の領域のフレーム内における位置を表す第１の位置べクトルを保持するメモリと、
    該参照フレーム内領域のフレーム内での位置を表す第２の位置ベクトルを符号化する符号化手段と、
    符号化対象ブロック近傍の再生済みのブロックの動きベクトルを保持する動きべクトルメモリと、
    上記動きベクトルメモリに蓄えられている動きべクトルを用いて、符号化対象ブロックの動きベクトルを予測する手段とを備えてなり、
    上記予測手段において使用する動きベクトルが、前記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置べクトルとの差分べクトルと、ゼロベクトルを切り換えて用いるようにすることを特徴とする画像符号化装置。
  22. 時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置であって、該フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域をブロック毎に再生する画像復号化装置において、
    上記ブロック内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、
    参照フレーム内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、
    参照フレーム内の領域のフレーム内での位置を表す第１の位置ベクトルを保持するメモリと、
    該フレーム内の領域のフレーム内での位置を表す第２の位置ベクトルを復号化する手段と、
    復号化対象ブロック近傍の補正済みのブロックの動きベクトルを保持する動きベクトルメモリと、
    上記動きベクトルメモリに保持された動きベクトルを用いて、復号化対象ブロックの動きベクトルを予測する予測手段とを有し、
    上記予測手段で使用するための動きべクトルが、上記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルのいずれかとすることを特徴とする画像復号化装置。
JP2004180820A 1996-10-31 2004-06-18 画像符号化装置および画像復号化装置 Withdrawn JP2004350307A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004180820A JP2004350307A (ja) 1996-10-31 2004-06-18 画像符号化装置および画像復号化装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP29003396 1996-10-31
JP9243297 1997-04-10
JP11615797 1997-04-18
JP14423997 1997-06-02
JP2004180820A JP2004350307A (ja) 1996-10-31 2004-06-18 画像符号化装置および画像復号化装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP17777397A Division JP4034380B2 (ja) 1996-10-31 1997-06-18 画像符号化／復号化方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007220412A Division JP2008011564A (ja) 1996-10-31 2007-08-27 画像符号化装置および画像復号化装置

Publications (1)

Publication Number Publication Date
JP2004350307A true JP2004350307A (ja) 2004-12-09

Family

ID=33545588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004180820A Withdrawn JP2004350307A (ja) 1996-10-31 2004-06-18 画像符号化装置および画像復号化装置

Country Status (1)

Country Link
JP (1) JP2004350307A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214998A (ja) * 2006-02-10 2007-08-23 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214998A (ja) * 2006-02-10 2007-08-23 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP4034380B2 (ja) 画像符号化／復号化方法及び装置
US7184600B2 (en) Video coding and video decoding apparatus
US6259738B1 (en) Video encoding apparatus and video decoding apparatus
JP2008228336A (ja) 画像符号化方法及び装置
JP2004350307A (ja) 画像符号化装置および画像復号化装置
JP2004343788A (ja) 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体
JP2007202169A (ja) 画像復号化方法及び装置
JP2004320808A (ja) 画像符号化装置
JP2004320807A (ja) 画像符号化装置および画像復号化装置
JPH104549A (ja) 画像符号化装置および画像復号化装置
JP2008011564A (ja) 画像符号化装置および画像復号化装置
JP2007195209A (ja) 画像符号化方法及び装置
JP2007166664A (ja) 画像符号化方法及び装置
JP2007195210A (ja) 画像復号化方法及び装置
JP2007166663A (ja) 画像復号化方法及び装置
JP2007166665A (ja) 画像復号化方法及び装置
JP2007166662A (ja) 画像符号化方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080430