JP2007166665A - 画像復号化方法及び装置 - Google Patents

Abstract

【課題】オブジェクトの形状情報を効率良く符号化／復号化すること。
【解決手段】画像のオブジェクトを含む方形領域を分割したＭ×Ｎ画素で構成されるブロックを符号化した符号化データとブロック内のスキャン順序である符号化順序の切り換え情報を示す符号とが多重化された多重化符号化データを入力するステップと、符号化データから前記符号を復号して切り換え情報を得るステップと、当該切り換え情報を基にブロック内のスキャン順序である復号化順序を切り換えるステップと、復号化順序を切り換えながら多重化符号化データ中のブロックの符号化データを復号してブロックを再生するステップとを有する。
【選択図】 図３８

Description

本発明は、画像信号を高能率に符号化し、伝送・蓄積するための画像復号化方法及び装置に関する。

画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位でブロック分けし、その各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。

ところで、画像符号化の一つとして、『J.Y.A. Wang et al. “Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”, M. I. T. Media Lab. Tech. Report No.263, Feb.1994, 』において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。

この方式では、例えば、図３１（ａ）のような背景と被写体（以後、オブジェクトと呼ぶ）からなる画像があったとして、この背景とオブジェクトを図２８（ｂ），（ｃ）のように分けて符号化している。

このように、背景（図３１（ｃ））やオブジェクト（図３１（ｂ））を別々に符号化するためには、オブジェクトの形状や画面内の位置を表す副画像情報であるアルファマップ信号（図３１（ｄ）白画素がオブジェクトの画素を示す）が必要となる。なお、背景のアルファマップ信号（図３１（ｅ））は、オブジェクトのアルファマップ信号から一意に求められる。

ところで、このアルファマップ信号を効率的に符号化する方法として、２値画像の符号化法（例えば、ＭＭＲ(Modified Modified READ)符号化等）や、線図形の符号化法（チェイン符号化等）が用いられている。

また、更にアルファマップの符号量を低減するために、形状の輪郭線をポリゴン近似してスプライン曲線でスムーシングする方法(J. Ostermann, “Object-based analysis-synthesis coding based on the source model of moving rigid 3D objects”, Signal Process.: Image Comm.Vol.6 No.2 pp.143-161, 1994)や、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法（特開平０７−１５２９１５号公報参照）などがある。
J.Y.A. Wang et al. "Applying Mid-level Vision Techniques for Video Data Compression and Manipulation", M. I. T. Media Lab. Tech. Report No.263, Feb.1994. J. Ostermann, "Object-based analysis-synthesis coding based on the source model of moving rigid 3D objects", Signal Process.: Image Comm.Vol.6 No.2 pp.143-161, 1994. 特開平０７−１５２９１５号公報

画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式があるが、この場合、背景とオブジェクトを分けるために、オブジェクトの形状や画面内の位置を表すアルファマップ信号が必要となる。そして、画像の符号化情報と共に、このアルファマップの情報も符号化してビットストリーム化し、伝送や蓄積に供する。

しかし、画面内を背景とオブジェクトに分割して符号化する方式の場合、従来の符号化法のように画面内を一括して符号化するのに比べ、アルファマップがある分、符号量増加が問題となり、このアルファマップの符号量増加による符号化効率の低下が問題となる。

そこでこの発明の目的とするところは、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置を提供することにある。

本発明は、上記目的を達成するため、２値画像を拡大・縮小する解像度変換手段と、縮小された２値画像を符号化する手段と、解像度変換手段の拡大・縮小率を符号化して上記２値画像の符号化データと併せて伝送する手段を有し、解像度変換手段の拡大縮小率を変えることで、符号化手段の発生符号量を制御する構成とする。

また、本発明は、上記目的を達成するため、画像をその画像のオブジェクト領域と背景領域に区別するための副画像情報であるアルファマップと共に符号化して出力するようにした画像符号化装置において、前記アルファマップを解像度変換して縮小する解像度変換手段と、縮小されたアルファマップを符号化する手段と、前記解像度変換手段の縮小率を符号化して前記縮小されたアルファマップの符号化データと併せて伝送する手段を有し、解像度変換手段の縮小率を変えることで、符号化手段の発生符号量を制御する構成とすることを特徴とする。

また、本発明は、上記目的を達成するため、ＭＭＲ(Modified Modified READ)符号化で用いられる２次元符号化において、垂直モードが適用される範囲を変える手段と、拡大した垂直モードの範囲に応じて、符号表を拡張する手段を有し、垂直モードが適用される範囲を表す情報を、上記２次元符号化データと併せて伝送することを特徴とする。

また、本発明は、上記目的を達成するため、画面内のオブジェクトを含む小領域を設定する手段と、小領域内のアルファマップ信号を符号化する手段を有し、画面内における小領域の位置および大きさの情報を、上記アルファマップ信号の符号化データと併せて伝送する手段を有する構成の２値画像符号化装置とする。

本発明ではアルファマップの縮小画像を符号化することで、符号量の増加を抑える。さらに、縮小率の情報を送ることで、所望のサイズでアルファマップを符号化することができ、アルファマップの発生符号量と形状の精度のトレードオフを図ることが可能となる。

また、本発明ではＧ４−ＦＡＸ（Ｇ４規格のファクシミリ）の符号化方式である、ＭＭＲの垂直モードの範囲を拡大することが可能となり、水平方向のみではなく、垂直方向にも高い相関を有するアルファマップの性質を利用して、符号化効率を向上させることが可能となる。

また、本発明では、オブジェクトに対して必要最小限の領域のアルファマップを符号化することで、オブジェクトの大きさが画面に比較して小さい場合に符号化効率を向上させることができる。

また、本発明は、ＭＭＲ符号化のような、相対アドレス符号化（垂直モード）とランレングス符号化（水平モード）を適応的に切り換える符号化法を適用した画像符号化装置において、画面の横幅より大きいかまたは画面の横幅と等しい長さとした最大ラン長を設定すると共に、この最大ラン長までのランレングス符号を備える手段と、前記ランレングス符号を用い、２値画像を、表示のラスタ走査順に符号化すると共に、また、最大ラン長を越えるラン長を符号化する場合には、ラスタ走査の走査線を飛び越える指示である垂直方向パスモードの符号に置き換える符号化手段とを備えたことを特徴とする。

さらに、ＭＭＲ符号化のような、相対アドレス符号化とランレングス符号化を適応的に切り換える符号化法を適用して符号化された符号化情報を復号する復号化装置において、与えられた符号化情報をラスタ順に復号する復号手段と、画面幅より大きいかまたは画面幅と等しい長さとした最大ラン長を設定すると共に、復号手段により垂直方向のパスモード情報が復号されると垂直スキップモードにより上記最大ラン長対応の情報に復号する復号化手段を設けたことを特徴とする。

本発明においては、ランレングス符号を用い、２値画像を、表示のラスタ走査順に符号化すると共に、また、最大ラン長を越えるラン長を符号化する場合には、ラスタ走査の走査線を飛び越える指示である垂直方向パスモードの符号に置き換える符号化を行って符号量を少なくする。そして、復号化は、与えられた符号化情報をラスタ順に復号し、復号手段により垂直方向のパスモード情報が復号されると垂直スキップモードにより、上記画面幅より大きいかまたは画面幅と等しい長さとした最大ラン長対応の情報に復号する。これにより、垂直方向パスモードの符号を用いて符号化したものであっても復号化できて、最大ラン長を越えるラン長を短い符号量で符号化および復号化することが可能になる。

以上は、いずれも画面単位で、かつ、ライン方向を主体に圧縮符号化し、あるいは復号化するようにしたものであるが、ＭＰＥＧ等においては、画面を複数のブロック（マクロブロック）に区分し、このブロック（マクロブロック）単位で処理する方式を採用している。そのため、マクロブロック単位で圧縮符号化処理し、また、復号化処理する技術が必要である。

そのために本発明は、２値画像を所定の小領域毎に拡大・縮小する解像度変換手段と、前記小領域毎に２値化像を符号化する手段と、前記小領域毎に解像度変換手段の適用した拡大・縮小率の情報を符号化して前記２値画像の符号化データと併せて伝送する手段を有し、小領域毎に解像度変換手段の拡大・縮小率を変えることで、符号化手段の発生符号量を制御することを特徴とする２値画像符号化装置を提供する。さらにまた本発明は、前記解像度変換手段の適用した拡大・縮小率にしたがって可変長符号を切り替える。

また本発明は、所定の小領域毎に解像度変換手段の情報を復号する手段と、前記解像度変換手段の適用した拡大・縮小率の情報にしたがって小領域毎に２値画像を復号化する手段と、前記解像度変換手段の適用した拡大・縮小率の情報にしたがって２値画像を拡大する解像度変換手段を有する２値画像復号化装置を提供する。

また本発明は、解像度変換手段の適用した拡大・縮小率の情報にしたがって可変長符号を切り換えることを特徴とする。

また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数．Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段と、上記方形ブロックを長方形領域の左上あるいは右下から順次符号化する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロックに接する再生値を蓄える手段と、変化画素を検出する手段を有し、方形ブロックに接する再生値も含めて変化画素を検出することで、変化画素数を削減することを可能とする画像符号化装置を提供する。

また本発明は、Ｍ×Ｎ画素で構或される方形ブロック毎に長方形領域の左上あるいは右下から順次復号化する２値画像復号化装置であって、方形ブロックに接する再生値を蓄える手段と、変化画素を検出する手段と、変化画素との相対アドレスを復号する手段を有し，方形ブロックに接する再生値も含めて変化画素を検出することを特徴とする画像復号化装置を提供する。

また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロック内の符号化順序（スキャン順序）を適応的に切り換える手段と、上記切り換え情報を併せて符号化する手段を有することを特徴とする画像符号化装置を提供する。

また本発明は、Ｍ×Ｎ画素で構成される方形ブロック毎に復号化する２値画像復号化装置であって、方形ブロック内の復号化順序（スキャン順序）を切り換える手段と、復号化順序の切り換え情報を復号する手段を有し、上記切り換え情報に応じてＭ×Ｎ画素の方形ブロックを再生することを特徴とする画像復号化装置を提供する。

また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロック内のラインを交互にスキャンすることで、ラスタスキャンされた（２Ｍ）×（Ｎ／２）画素のブロックに変換する手段と、上記変換手段を適応的に用いる手段を有し、方形ブロックに上記変換手段を用いたか否かを識別する情報も併せて符号化することを特徴とする画像信号化装置を提供する。

また本発明は、Ｍ×Ｎ画素あるいは（２Ｍ）×（Ｎ／２）画素で構成される方形ブロック毎に相対アドレスを復号化する２値画像復号化装置であって、ブロックの変換手段を用いたか否かを識別する符号を復号する手段と、ラスタスキャンされた（２Ｍ）×（Ｎ／２）画素のブロックをＭ×Ｎ画素のブロックに逆変換する手段を有し、前記識別情報に応じてＭ×Ｎ画素の方形ブロックを再生することを特徴とする画像復号化装置を提供する。

また本発明は、オブジェクトの画像信号と、このオブジェクトの画像に対応し、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップとを分けて符号化する画像符号化装置において、オブジェクトの画像信号とおよびそのオブジェクトに対応するアルファマップの動き補償予測を行うと共に、動き補償予測されたアルファマップの予測誤差がしきい値よりも小さい場合には、オブジェクトの画像信号の動き補償予測値をコピーする符号化方式であって、画像信号で既に符号化されている動きベクトル（ＭＶY ）と、アルファマップの動きベクトル（ＭＶA ）との差分ベクトル（ＭＶＤA ）を符号化する符号化手段と、上記差分ベクトル（ＭＶＤA ）を検出する際に、上記動きベクトル（ＭＶY ）を中心として、差分ベクトル（ＭＶＤA ）を小さい順から、大きい順へと検出する検出手段と、アルファマップの動き補償予測誤差がしきい値よりも小さくなった時点で、動きベクトルの検出を終了し、その時点での動きベクトルを上記差分ベクトル（ＭＶＤA ）とする動きベクトル検出回路とを有することを特徴とする画像符号化装置を提供する。

また本発明は、オブジェクトの画像信号と、そのオブジェクトに対応するアルファマップを分けて符号化する画像符号化装置において、オブジェクトの画像信号とおよびそのオブジェクトに対応するアルファマップの動き補償予測を行うと共に、動き補償予測されたアルファマップの予測誤差がしきい値よりも小さい場合には、オブジェクトの画像信号の動き補償予測値をコピーする符号化方式であって、動きベクトル（ＭＶY ）は符号表に従って符号化すると共に、画像信号で既に符号化されている動きベクトル（ＭＶY ）とアルファマップの動きベクトル（ＭＶA ）との差分ベクトル（ＭＶＤA ）を当該差分ベクトル（ＭＶＤA ）用符号表に従って符号化する手段を有し、差分ベクトル（ＭＶＤA ）のダイナミックレンジが動きベクトル（ＭＶY ）を符号化する際の上記符号表のダイナミックレンジよりも小さくなるように制限することを特徴とする画像符号化装置を提供する。

またこの符号化装置によって符号化されたデータを復号するために本発明は、画像信号で既に再生されている動きベクトル（ＭＶY ）と差分ベクトル（ＭＶＤA ）より符号表に従って画像を復号する手段と、アルファマップの動きベクトル（ＭＶA ）を生成する手段とを有し、上記符号表は、動きベクトル（ＭＶY ）用と差分ベクトル（ＭＶＤA ）用をそれぞれ設けると共に、差分ベクトル（ＭＶＤA ）用符号表は上記動きベクトル（ＭＶY ）を復号化する際の符号表のダイナミックレンジよりも小さいダイナミックレンジとすることを特徴とする画像復号化装置を提供する。

また本発明は、アルファマップをブロックに区分し、そのブロック毎に符号化すると共に、その符号化はそのブロック毎のアルファマップの情報状況対応に属性を与え、その属性を符号化するようにした方式であって、各ブロックに対して、各々の属性に固有のラベルを少なくとも２ビット表現で割り当てると共に、そのラベルを割り当てたプレーンをブロックタイプのプレーンとして得る手段と、上記ラベルで構成されるブロックタイプのプレーンを、桁位置別に分解してビットプレーンに分解する手段と、各々のビットプレーンを個別に２値画像符号化する手段とを有する画像符号化装置を提供する。

またこの画像符号化装置により符号化されたデータを復号化して、アルファマップのブロック毎の属性を再生するために本発明は、各ビットプレーンを個別に２値画像復号化する手段と、ビットプレーンを合成してブロックタイプのプレーンを再生する手段とを有する画像復号化装置を提供する。

また、本発明は、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化して出力するようにした画像符号化装置において、前記アルファマップをブロックに分割して、そのブロック毎に符号化を行い、既に符号化したブロックの一部分から切りだした参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成するテーブル生成手段と、前記インデックステーブルを用いてアルファマップをベクトル量子化によって符号化する手段とを有するオブジェクト画像の画像符号化装置を提供する。

また、この符号化装置により符号化されて得られた符号化ビットストリームを復号化する復号化装置として本発明は、前記ブロック毎に復号化を行い、既に復号したブロックの一部分から切りだした参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成するテーブル生成手段と、前記インデックステーブルを用いてアルファマップをベクトル量子化によって復号する手段とを有するオブジェクト画像の画像復号装置を提供する。

本発明によれば、アルファマップの符号量を低減することができるため、従来の符号化法と比べて大幅な符号化効率の低下なしに、背景とオブジェクトを別々に符号化することができるようになる。

以下、図面を参照して本発明の具体例を説明する。

（第１の具体例）本発明は、図１の画像伝送システムにおける送受信装置（図１のＡ，Ｂ）内の、画像符号化・復号化装置に関するものであり、アルファマップ信号の高能率圧縮符号化・復号化を図ることができるようにしたものである。

本発明では、符号化装置側において、アルファマップ信号について、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報とともに多重化して伝送や蓄積用のアルファマップ信号とすることで、アルファマップ信号を効率良く符号化できるようにする。

また、本発明では、復号化装置側において、このような高能率符号化されたアルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにし、これによって元のサイズのアルファマップ信号を復元できるようにして、アルファマップを用いた符号化画像の復号も支障なく行えるようにする。

図２は、このような本発明における画像符号化装置のブロック図である。本発明における画像符号化装置は、図２に示すように、差分回路１００、動き補償予測回路１１０、直交変換回路１２０、量子化回路１３０、可変長符号化回路１４０、逆量子化回路１５０、逆直交変換回路１６０、加算回路１７０、多重化回路１８０、アルファマップ符号化回路２００とから構成される。

アルファマップ符号化回路２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。

特に、本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。

差分回路１００は、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１２０は、差分回路１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。

量子化回路１３０はこの直交変換回路１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１４０はこの量子化回路１３０の出力を符号化して出力するものである。多重化回路１８０はこの可変長符号化回路１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化してビットストリームとして出力するものである。

逆量子化回路１５０は量子化回路１３０の出力を逆量子化するものであり、逆直交変換回路１６０はこの逆量子化回路１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１７０はこの逆直交変換回路１６０の出力と動き補償予測回路１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１００に出力するものである。

動き補償予測回路１１０は、フレームメモリを有し、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。

このような構成の本装置は、画像信号とその画像信号のアルファマップが入力される。

アルファマップ符号化回路２００では、線２０を介して入力されるアルファマップを、指示された解像度縮小率（倍率）で縮小して符号化し、この符号化されたアルファマップ信号を前記解像度縮小率情報（倍率情報）とともに多重化してから線３０を介して出力し、また、符号化されたアルファマップ信号を元の解像度に戻すかたちで復号して得た局部復号信号を線４０を介して直交変換回路１２０，逆直交変換回路１６０及び動き補償予測回路１１０に出力する。

本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する。これにより、アルファマップ信号を高効率で符号化することを可能にする。

そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用い、これを線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。これにより、直交変換回路１２０，逆直交変換回路１６０での処理を元のサイズのアルファマップで行うことができるようにする。

画像信号は、所定画素サイズ（Ｎ×Ｎ画素）のブロックに分割された後、ブロック位置順に線１０を介して差分回路１００に供給される。そして、差分回路１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１２０に供給される。

直交変換回路１２０では、供給された差分信号を線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、ここで量子化される。量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。

逆量子化回路１５０に供給された変換係数は、逆量子化された後、逆直交変換回路１６０において逆変換される。そして、加算回路１７０において動き補償予測回路１１０より供給される動き補償予測値と加算される。加算回路１７０の出力である局部復号画像は、動き補償予測回路１１０内のフレームメモリに蓄えられる。

そして、動き補償予測回路１１０は、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいてオブジェクトの領域のブロックの処理のタイミングではオブジェクトの動き補償予測値を、それ以外のタイミングでは背景部分の動き補償予測値を出力して差分回路１００に与える。

すなわち、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１００に与える。

その結果、差分回路１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１２０に供給される。

直交変換回路１２０では、供給された差分信号を線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そしてここで量子化される。

量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。そして、逆量子化回路１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１６０において逆変換されて加算回路１７０に供給される。そして、予測値切り換え回路５００を介して加算回路１７０に供給される予測値と加算されることになる。

加算回路１７０の出力である局部復号画像の信号は、動き補償予測回路１１０に供給され、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応の信号が加算回路１７０から出力されているのか、あるいは背景部分のブロック対応の信号が加算回路１７０から出力されているのかを知り、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、そして、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄えさせる。

そして、これにより、オブジェクト画像のみ、背景画像のみの画像がそれぞれメモリ上に得られることになる。そして、動き補償予測回路１１０はオブジェクト画像を利用して予測値を求め、また、背景部分の画像を利用して背景画像の予測値を求めることができる。

上述したように、アルファマップ符号化回路２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を線３０を介して多重化回路１８０に供給している。

また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、線５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。

以上が符号化装置の構成と作用であり、画像の誤差信号を得るにあたって、オブジェクト用および背景用の画像により動き補償予測を行うべく、アルファマップにしたがって処理中の画像の現在ブロック位置がオブジェクト領域位置であるのか、背景領域位置であるのかを判別しながら、処理中の画像の現在ブロック位置がオブジェクト領域位置であればオブジェクト用の画像から求めた予測値を用い、背景領域位置であれば背景用の画像から求めた予測値を用いて差分を求めるようにした。

そして、オブジェクト用および背景用の予測には動き補償予測回路に、この差分から得た画像について、アルファマップにしたがってそれぞれ対応の領域部分の画像を保持させ、予測に供するようにした。これにより、オブジェクトおよび背景それぞれで最適な動き補償予測を行うことができるようになり、質の良い画像圧縮符号化と復号化を可能にする。

また、本発明では、アルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報と共に多重化して伝送や蓄積用のアルファマップ信号とするようにした。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。

また、アルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。

一方、図３は本発明が用いられる復号化装置のブロック図である。復号化装置は、図３に示すように、分離回路３００、可変長復号化回路３１０、逆量子化回路３２０、逆直交変換回路３３０、加算回路３４０、動き補償予測回路３５０、アルファマップ復号化回路４００とより構成される。

分離化回路３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路４００はこの分離化回路３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。ここでは、アルファマップ復号化回路４００は、供給されたアルファマップ信号からアルファマップの成分と、縮小率の情報（倍率情報）を分離し、アルファマップの成分を復号すると共に、これを縮小率の情報に基づいて解像度拡大し、元の解像度のアルファマップに復元する機能を有する。

可変長復号化回路３１０は、分離化回路３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路３４０は、この予測誤差信号に動き補償予測回路３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。

動き補償予測回路３５０は、加算回路３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。

このような構成の復号化装置においては、符号化ビットストリームは、線７０を介して分離化回路３００に供給され、分離化回路３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。

そして、アルファマップ信号に関する符号は、線８０を介してアルファマップ復号化回路４００に供給され、また、画像信号の可変長符号は可変長復号化回路３１０にそれぞれ供給される。

アルファマップ信号に関する符号はアルファマップ復号化回路４００においてアルファマップ信号に再生され、線９０を介して逆直交変換回路３３０と動き補償予測回路３５０に出力される。

すなわち、アルファマップ復号化回路４００は、供給されたアルファマップ信号からアルファマップの成分と、縮小率の情報を分離し、アルファマップの成分を復号すると共に、これを縮小率の情報に基づいて解像度拡大し、元の解像度のアルファマップに復元して逆直交変換回路３３０と動き補償予測回路３５０に出力する。

一方、可変長復号化回路３１０では、分離化回路３００から供給される符号を復号し、逆量子化回路３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線９０を介して供給されるアルファマップにしたがって逆直交変換回路３３０により逆変換され、加算回路３４０に供給される。加算回路３４０では、逆直交変換回路３３０からの逆直交変換された信号と、動き補償予測回路３５０より供給される動き補償予測信号とを加算し、再生画像を得る。

本発明では、符号化装置側において、アルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報とともに多重化して伝送や蓄積用のアルファマップ信号とするようにした。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。

また、本発明では、復号化装置側において、このような高能率圧縮符号化されたアルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。

本発明で重要なものは、符号化装置におけるアルファマップ符号化回路２００と、復号化装置におけるアルファマップ復号化回路４００であり、所望の倍率で解像度縮小・拡大変換を行える機能を持たせた点に特徴がある。従って、これについて以下詳述する。

すなわち、本発明の主体は、アルファマップ符号化回路２００およびアルファマップ復号化回路４００であり、その他の構成に関しては、本発明者等がすでに出願した特願平７−９７０７３号に記載の任意形状画像の符号化方式の技術を用いれば良いので、ここでは深くは立ち入らない。

図４、図５および図６を用いて、本発明の主体的要素であるアルファマップ符号化回路２００の具体例の説明を、また、図７および図８を用いてアルファマップ復号化回路４００の具体例の説明をする。

図４は、特開平０７−１５２９１５号公報にて提案されている方法である。アルファマップ符号化回路２００内では、線２０を介して供給されるアルファマップ信号を、解像度変換を行う手段である解像度変換回路２１０にて縮小し、符号化対象となるサンプリング数を減らした後、線２１を介して２値画像符号化回路２２０に供給してここでＭＭＲやチェイン符号化等で符号化した後、線３０を介して多重化回路１８０に供給する。

さらに、解像度変換回路２１０にて縮小されたアルファマップ信号は、線２１を介して解像度変換回路２３０に供給され、線２０を介してアルファマップ符号化回路２００に供給された元信号のサンプル数まで拡大された後、線４０を介して出力される。

図５は、解像度変換回路２１０，２３０における縮小・拡大変換の例である。この変換の説明を、参考文献“尾上編：画像処理ハンドブック，ｐ．６３０，昭晃堂”を基に説明する。

図５（ａ）において、Ｐexは変換後の画素位置であり、当該Ｐexは図５（ａ）のように実数画素位置を指し示す。

そこで、入力信号の整数画素位置Ａ，Ｂ，Ｃ，Ｄとの距離関係から、８つの領域に分けて図５（ｂ）に示す論理式により、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを求める。

図４の発明ではアルファマップを縮小・拡大する際の誤差を許容する代わりに、符号量を低減することを目的としている。しかし、縮小・拡大率が固定になっていると、アルファマップ信号の誤差と符号量とのトレードオフを図ることは不可能である。

図６は本発明のアルファマップ符号化回路２００の構成を示す図である。図に示すように、本発明のアルファマップ符号化回路２００は、解像度変換回路２１０，２３０、２値画像符号化回路２２０、多重化回路２４０とから構成されている。

解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる拡大率に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。

解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。

２値画像符号化回路２２０は解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであり、多重化回路２４０は２値画像符号化出力と前記与えられる拡大率の情報とを多重化して出力するものである。

このような構成のアルファマップ符号化回路２００においては、線２０を介して入力されるアルファマップを、解像度変換回路２１０により指定の拡大率で縮小符号化し、この符号化されたアルファマップ信号を線３０を介して出力し、また、縮小符号化されたアルファマップ信号を解像度変換回路２３０により元の解像度に復号して得た局部復号信号を線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。

すなわち、線６０を介してアルファマップ符号化回路２００に所望とする縮小・拡大率の設定情報を供給することで、上記トレードオフを図ることが可能となる。

線６０を介して供給された縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０、２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することが可能となる。また、線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である多重化回路１８０に与えられることになる。

一方、図７は図４のアルファマップ符号化回路に対するアルファマップ復号化回路の概念であり、図８は本発明の具体的なアルファマップ復号化回路４００である。

図に示すように、アルファマップ復号化回路４００は、２値画像復号化回路４１０、解像度変換回路４２０、分離回路４３０にて構成される。分離回路４３０は、画像復号化装置の分離回路３００で分離されて入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離回路４３０から分離して与えられる縮小・拡大率の符号にしたがって２値画像に戻す回路であり、解像度変換回路４２０はこの２値画像を、分離回路４３０から分離して与えられる縮小・拡大率の符号にしたがって解像度拡大変換して出力するものである。

図８において、線８０を介してアルファマップ復号化回路４００に供給された符号は、分離回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々線８１および線８２を介して出力される。

２値画像復号化回路４１０では、線８１を介して供給されるアルファマップ信号の符号と線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を再生し、線８３を介して解像度変換回路４２０に供給する。解像度変換回路４２０では、線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を元のサイズに拡大してアルファマップ信号を再生した後、線９０を介して出力する。

（第２の具体例）本発明ではアルファマップ信号の圧縮符号化に２値画像符号化を用いるが、次に、本発明の第２の具体例としてその２値画像符号化の詳細を図９および図１０を用いて説明する。本具体例は、第１の具体例における２値画像符号化回路２２０に関するものである。

図１０は本発明で用いる可変長符号の符号化コード例と、公知のＭＭＲ符号化での符号化コード例を対比して示す図であり、特定の状態情報をＭＭＲ符号化と本発明で用いられる可変長符号化ではどのようになるかを対比して示したものである。例えば、Ｐはパスモードを示し、これがＭＭＲ符号化では“０００１”、本発明では“００００ ００１”と表し、また、Ｖ0 ，Ｖ1 ，Ｖ2 ，Ｖ3 ，Ｖ4，Ｖ5 はそれぞれ垂直モードを示しており、Ｖ0 は１ラインの同一位置、Ｖ1 は１ライン下の１画素分のずれ、Ｖ2 は１ライン下の２画素分のずれ、Ｖ3 は１ライン下の３画素分のずれ、Ｖ4 は１ライン下の４画素分のずれ、Ｖ5 は１ライン下の５画素分のずれという意味を持ち、これらをＭＭＲ符号化では“１”、“０１Ｓ”、“００００ １Ｓ”、“００００ ０１Ｓ”、該当なし、該当なし、そして、本発明では“０１”、“１Ｓ”、“００１Ｓ”、“０００１ Ｓ”、“００００ １Ｓ”、“００００ ０１Ｓ”、“００００ ０００１Ｓ”と表し、Ｈは水平モードでＭＭＲ符号化では“００１”、本発明では“００００ １”と表し、さらに本発明ではＥＳＣ符号を追加してこれを“００００ ００００１”と表し、といった具合であることを示している。

なお、図１０での符号中の“Ｓ”は、ａ１とｂ１の位置関係が左か右かを示すためのｓｉｇｎ ｂｉｔである。

また、図９は、ＭＭＲ符号化で用いられている２値画像の２次元符号化を説明する図である。

この第２の具体例における２次元符号化では、例えば、図９（ａ）に示したように、参照ラインと符号化ライン上の５つの変化画素の位置関係を符号化するケースを例に説明する。但し、ａ１とｂ１の距離が３画素以内のときは垂直モード（Ｖ）とし、その距離を符号化し、それ以外の場合には水平モード（Ｈ）とすることにする。

ここで図９において、“ａ０”は符号化ライン上の起点変化画素であり、“ａ１”は符号化ライン上で“ａ０”よりも右にある最初の変化画素であり、“ａ２”は符号化ライン上で“ａ１”の次の変化画素であり、“ｂ１”は参照ライン上で“ａ０”よりも右側にあって、しかも、“ａ０”と反対色の最初の変化画素である。

また、“ｂ２”は参照ライン上で“ｂ１”の次の変化画素を示している。

この場合でのＭＭＲ符号化の手順は、つぎのようになる。

[1] 図９（ｂ）に示すように、は参照ライン上での上記変化画素ｂ２が、符号化ライン上での上記最初の変化画素ａ１よりも左側にあるときには、１ライン分の画素数分、飛ぶことを意味するパスモード（Ｐ）とし、符号化ライン上での上記起点変化画素ａ０の位置をｂ２の直下に移す。

[2] 図９（ｃ）に示すような関係の場合には、変化画素ｂ２がａ１よりも左側にないのでパスモードとはならず、しかも、ａ１とｂ１の距離が３画素以内であるので、このときは垂直モード（Ｖ）とし、その距離を符号化し、ａ０をａ１の位置に移す。

[3] 図９（ｄ）に示すように、それ以外の場合には、水平モード（Ｈ）とし、ａ０〜ａ１の長さとａ１〜ａ２までの長さを符号化し、ａ０をａ２の位置に移す。

以上の各々のモード情報は、図１０の可変長符号で符号化され、水平モードにおけるラン長はＭＨ(Modified Huffman)にて符号化される（テレビジョン学会編：画像情報圧縮，オーム社，参照）。これがＭＭＲ符号化を用いた場合の符号化例である。

一方、本具体例の手法の場合、図９に示す如き参照ラインと符号化ラインとの関係において、ａ１とｂ１の距離がＭ（：整数）画素以内のときは垂直モード（Ｖ）とする。ここで、ａ１とｂ１の距離がＮ（：整数，Ｍ≧Ｎ）画素以内のときは可変長符号化し、Ｎ画素よりも大きな場合はＥＳＣ符号（エスケープ符号）と固定長符号で符号化するようにする。

なお、この固定長符号は、（Ｍ−Ｎ＋１）の値を２のベキ乗にしておけば、ｌｏｇ₂ （Ｍ−Ｎ＋１）ビットの固定長符号となる。図１０は、Ｎ＝５とした場合の可変長符号の例である。

さらに、２値画像符号化回路２２０で符号化されるアルファマップ信号の縮小画像の水平方向の画素数は分かっているので、例えばこの水平方向の画素数が“１２８”画素であった場合、ｌｏｇ₂ （Ｍ−Ｎ＋１）の最大値は７ビットとなるため、３ビットの付加情報を付けることでＭの値を変えることもできる。

また、ＭＭＲ符号化では水平モードにおいてラン長をＭＨで符号化しているが、ラン長の発生頻度分布がアルファマップ信号の水平方向の画素数によって変動する。従って、ラン長をアルファマップ信号の水平方向の画素数に応じて固定長符号化しても良い（水平方向の画素数が“１２８”画素の場合には、ラン長は７ビットで固定長符号化される）。

さらに、動画像符号化の場合には、フレーム間の相関が高い場合に、図２８のように、２値画像符号化回路２２０は、２次元符号化回路２２１、ラインメモリ２２２、フレームメモリ２２３とより構成し、ラインメモリ２２２に前ラインの画像を保持させるようにし、このラインメモリ２２２に蓄積されている前ラインを参照するだけでなく、さらに前フレームで符号化したアルファマップ信号をフレームメモリ２２３に蓄積しておくようにし、前フレームのラインを参照して２次元符号化回路２２１において符号化するようにした方が符号化効率が高くなる場合がある。

また、図２および図３の動き補償予測回路１１０，３５０で用いる動きベクトルを用いて、前フレームの参照ラインを動き補償しても良い。

このように、本具体例の手法の場合、図９に示す如き参照ラインと符号化ラインとの関係において、ａ１とｂ１の距離がＭ（：整数）画素以内のときは垂直モード（Ｖ）とし、かつ、ａ１とｂ１の距離がＮ（：整数，Ｍ≧Ｎ）画素以内のときは可変長符号化し、Ｎ画素よりも大きな場合はＥＳＣ符号（エスケープ符号）と固定長符号で符号化する方式としたことにより、ＭＭＲ符号化を用いる場合に比べて高い圧縮率で符号化できるようになる。

具体的手法を、次に説明する。

［第２の具体例のその１］さらに高能率圧縮符号化を図ることができるようにした別の例を説明する。

＜方式１＞図１１は２値画像の符号化法である公知のＭＭＲの符号化手順を表すフローチャートである。すなわち、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ１０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１を検出し（Ｓ１０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２を検出し（Ｓ１０３）、次にｂ２とａ１の画素位置関係がｂ２＜ａ１であるか否かを調べ（Ｓ１０４）、ｂ２＜ａ１であれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ１０５，Ｓ１０６）、Ｓ１０３の処理に戻る。

Ｓ１０４での判断の結果、ｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦Ｎ（Ｎはある閾値）であるか否かを判断し（Ｓ１０７）、その結果、｜ａ１−ｂ１｜≦Ｎであれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ１０８，Ｓ１０９）、Ｓ１１０の処理に入る。Ｓ１１０ではａ０が“WIDTH ”（画像の横幅方向の画素数）対応の位置であるか否かを判断し、そうでなければＳ１０２の処理に戻る。Ｓ１１０での判定の結果、ａ０が“WIDTH ”対応の位置であれば、画像の最後であるか否かを調べ（Ｓ１１１）、画像の最後で無ければＳ１０１の処理に戻る。Ｓ１１０での判定の結果、画像の最後であったならば、処理を終了する。

Ｓ１０７での判定の結果、｜ａ１−ｂ１｜≦Ｎでなければａ２を検出し（Ｓ１１２）、水平モード（Ｈ）にして“ａ０”の画素位置を“ａ２”の画素位置にし（Ｓ１１３，Ｓ１１４）、Ｓ１１０の処理に入る。Ｓ１１０では“ａ０”が“WIDTH ”であるかを判断し、そうでなければＳ１０２の処理に戻る。

なお、“WIDTH ”は図１２に示すように、１画面の水平方向１ラインの画素数（ラスタ走査の１ラインの画素数）である。

すなわち、ＭＭＲの符号化は１ライン単位で処理を進めるもので、ラスタ走査の１ライン毎に符号化処理を行って符号化してゆく方式である。

ここで、本発明での符号化処理の適用対象となるアルファマップ信号、すなわち、オブジェクトと背景とを区別するための２値画像は、図１２（ａ）に例示される様な、ラスタ走査１ライン毎に変化点が２点程度の単純図形の揚合が殆どである。そして、図１１に示したＭＭＲの符号化のように、ラスタ走査の１ライン毎に符号化処理を行うと、符号化すベき変化画素はオブジェクトと背景の境界部のみであるにもかかわらず、画面の右端も変化画素として符号化しなくてはならないため、圧縮符号量の点から考えて効率的でない。

従って、ここで説明する本発明方式においては、ライン内で“ａ１”や“ｂ１”を検出するのではなく、図１３に示すように、ラスタスキャン順で“ａ１”や“ｂ１”を検出するようにし、これによって境界部の変化画素のみを符号化できるようにする。

ＭＭＲ符号化のように、ライン毎に符号化処理を行う場合には、“ａ１”や“ｂ１”は、当該ライン左端からのアドレスであったが、本発明方式においては、ラスタ走査順に“ａ１”や“ｂ１”を検出して符号化処理するために、“ａ１”および“ｂ１”は以下のように定義される。

a1＝ abs＿a1−(int)(abs ＿a0／WIDTH)*WIDTHb1＝ abs＿b1−((int)(abs＿a0／WIDTH)−１)*WIDTH
ここで、 abs＿a1(abs＿b1,abs＿a0）は画面左上端からのラスタ順のアドレスである。なお、“＊”は乗算を、また、“(int)(x)”はｘの小数点以下切り捨てを意味する。

この際の参照ラインは、図１３（ｃ），（ｄ）のクロスハッチ掛け領域で表されるように、ａ０位置の画素から“WIDTH ”相当分の画素数遡った位置までの領域である。ここで、図１３（ｃ）は図１３（ａ）の、図１３（ｄ）は図１３（ｂ）の参照ラインである。

そのため、本発明方式では、パスモードの符号Ｐ、水平モードの符号Ｈ、そして白画素及び黒画素のランレングス符号を使用して図１４に示す如きに符号化する。

ここで、Ｐはパスモード符号であって、２次元符号化のテーブルに含まれる符号であり、また、Ｈは水平モード符号であって、これも２次元符号化のテーブルに含まれる符号であり、これらに続く白及び斜線の長方形は、白画素及び黒画素のランレングス符号を表している。

しかし、上記のようにラスタ順で符号化処理を行うようにすると、図１４（ａ）の画像の場合では複数ラインに亙って変化画素が無いので、この場合には、図１４（ｂ）のように画像の水平方向の構成画素数（WIDTH ）を越えるラン長が発生することとなってしまう。

そのため、本発明方式ではこれに対処するために、垂直方向にラインをパスするための符号として、垂直パスモード符号Ｖをさらに用意した。

そして、最大ラン長が画像の水平方向の構成画素数 WIDTHを越える場合には、垂直パスモード（Ｖ）を適用する。垂直パスモード符号Ｖは 垂直方向にラインをパスする指示であるため、ラン長がこの“ WIDTH”相当の値以上であっても次のライン内に出現する場合には表現できなくなるので、その場合のための符号として水平モード（ランレングス符号化）からのエスケープ符号を用意した。

この垂直パスモードでは、水平モードで使用されるラン長の最大値は水平方向の画素数 WIDTHとし、ラン長がこの WIDTH相当の値となる場合では、これを表す符号として水平モード（ランレングス符号化）からのエスケープ符号を用いるようにする。

図１５は、垂直パスモードの例である。図１５（ａ）の例では、ランレングス符号化からのエスケープ符号と垂直モード符号を用いて垂直パスモードを形成する例である。なお、ａ０からまるまる１ラインを飛び越えてその次のラインにａ１が表れる図１５（ｂ）の如きの例の場合には、白ランの長さが画像の水平方向の構成画素数“WIDTH ”より大きくても、パスモードを使用して表現することができるので、垂直パスモードで符号化する必要はない。

さらに、図１５（ｃ）の例では、ａ０からまるまる３ラインを飛び越えてその次のラインにａ１が表れているが、この場合にそのライン数分を飛び越える（つまり、パスさせる）ことを指示するための垂直パスモードの符号（ＶＰ）を可変長符号テーブル内に用意し、この垂直パスモードの符号ＶＰを使用して対処する例である。この場合の表現はパスさせるライン数を垂直モードで表現するもので、この符号ＶＰの表す情報は、“水平モード（Ｈ）＋最大ラン長”と等価である。

なお、図１５（ｃ）のように、パスさせるライン数を垂直モードで表現するのではなく、次の変化画素のアドレス（ＳＰ（ａ１））を符号化してもよい。

本発明の符号化手法が適用されるアルファマップ信号、すなわち、オブジェクトと背景とを区別するための２値画像では、図１６（ａ）のように最初の数ラインには変化画素が無い場合が多い。本発明では垂直パスモードＶＰを使用することができることから、図１６（ａ）のような画像の場合に、図１６（ｂ）、（ｃ）のように画面の先頭から垂直パスモードを適用することで、符号量の縮減が図れるようになる。

図１６（ｂ）の例は、垂直モード符号Ｖ0 を使用してパスさせるライン数を表現する方法である。この例の場合は、パスさせるライン数が４ライン分であるので、垂直モード符号Ｖ0 を４つ並べる。そして、ａ１が表れるラインについては、そのラインの先頭からａ１までの白ラン長と水平モード符号Ｈを用いて“Ｈ＋白ラン長”で表し、さらにａ１からａ２までの間の黒画素数を並べて“Ｖ0 ”＋“Ｖ0 ”＋“Ｖ0 ”＋“Ｖ0 ”＋“Ｈ”＋“白画素数を示すランレングス符号”＋“黒画素数を示すランレングス符号”なるかたちで表現する。

また、図１６（ｃ）の例は、画面内の最初の変化画素のアドレス（ＳＰ（ａ１））を符号化するようにした方法であり、“ＳＰ（ａ１）＋黒画素数を示すランレングス符号”なるかたちで表現する。

従って、このような手法を、アルファマップ信号の符号化に適用することで、高能率の圧縮符号化が可能になる。

＜方式２＞以上の例では、水平モードでは、（ａ１−ａ０）、（ａ２−ａ１）をランレングス符号化しているが、これはＭＭＲの水平モードの表現法を継承しているだけである。そこで、ここでは、水平モードでは（ａ１−ａ０）だけをランレングス符号化し、ａ２が他のモード（例えば、垂直モード）で符号化できる場合には、当該ａ２を他のモードで符号化するような符号化方式を提案する。

図１７は、このような方式を適用する場合の符号化手順を説明するフローチャートである。ここでの処理は、まず、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ２０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１の検出処理をし（Ｓ２０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２の検出処理をし（Ｓ２０３）、次にｂ１が検出されたか否かをチェックする（Ｓ２０４）。その結果、ｂ１が検出されていれば次にａ０からａ１までの間の画素数が２＊WIDTHより小さいか調べ（Ｓ２０５）、小さければｂ２＜ａ１であるか否かを調べる（Ｓ２０６）。

その結果、ｂ２＜ａ１の関係にあれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ２０７，Ｓ２０８）、Ｓ２０３の処理に戻る。

一方、Ｓ２０６において、ｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦９であるか否かを判断し（Ｓ２０９）、その結果、｜ａ１−ｂ１｜≦９であれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ２１０，Ｓ２１１）、Ｓ２１２の処理に入る。Ｓ２１２では画像の最後か否かを判断し、最後であれば処理を終了し、最後でなければＳ２０２の処理に戻る。

また、Ｓ２０９での判断の結果、｜ａ１−ｂ１｜≦９でなかったときには、ａ２の検出処理をし、ａ１とａ２との間の画素数が画像の水平方向構成画素数“WIDTH ”以下であるかを判断し（Ｓ２１４）、そうであれば垂直モードとし（Ｓ２１５）、ａ０をａ２にセットする（Ｓ２１６）。そして、Ｓ２１２の判断処理に移る。

Ｓ２１４での判断の結果、ａ１とａ２との間の画素数が画像の水平方向構成画素数“WIDTH ”以下でなければ、垂直パスモードとし（Ｓ２１７）、ａ０をａ２にセットする（Ｓ２１８）。そして、Ｓ２１２の判断処理に移る。

また、Ｓ２０５での判断の結果、ａ０からａ１までの間の画素数が２＊WIDTHより小さくなればａ２の検出処理を行い（Ｓ２１９）、次に垂直パスモードとし（Ｓ２１７）、ａ０をａ２にセットする（Ｓ２１８）。そして、Ｓ２１２の判断処理に移る。

これにより、水平モードでは（ａ１−ａ０）だけをランレングス符号化し、ａ２が他のモード（例えば、垂直モード）で符号化できる場合には、当該ａ２を他のモードで符号化するといった符号化方式が実現できることになる。

［第２の具体例のその２］ここでは、前フレームのラインを参照ラインとすることで、フレーム間の相関を利用して符号化処理効率を向上させるようにする具体例を説明する。図１８は、本発明を適用した符号化／復号化装置のブロック構成図である。図中、２０００は符号化／復号化回路であり、画像データを符号化処理して出力し、また、入力された符号化画像データを復号化して出力する回路である。２１００はラスタ走査に対応するライン単位の画像情報を保持するラインメモリであり、フレーム内の参照ラインとフレーム間の参照ラインの画像情報を保持するものである。また、２２００はセレクタ、２３００ａ，２３００ｂはそれぞれフレーム画像を保持するフレームメモリ、２４００は動き補償予測回路である。

フレームメモリ２３００ａおよび２３００ｂは現フレームの画像データをそれぞれ保持するメモリであり、動き補償予測回路２４００はフレームメモリ２３００ｂの画像データから動き補償予測を行ってその動き補償予測済みの画像データを出力するものである。

また、セレクタ２２００は符号化／復号化回路２０００の出力するモード切り替え信号により、動き補償予測回路２４００の出力する画像データまたはフレームメモリ２３００ａからの画像データのいずれか一方を選択してラインメモリ２１００に出力する回路である。また、ラインメモリ２１００はこのセレクタ２２００を介して得られた画像データをライン単位で保持し、符号化／復号化回路２０００に渡し、符号化／復号化回路２０００はこのライン単位の画像データを用いて符号化もしくは復号化処理する回路である。

このような構成の本システムにおいて、符号化／復号化回路２０００は入力される画像情報をラインメモリ２１００の内容を参照しながらラスタ走査の順に従って符号化して出力ＯＵＴより出力し、また、この符号化した内容は復号化してフレームメモリ２３００ａ，２３００ｂに入力して蓄える。フレームメモリ２３００ａ，２３００ｂ内の復号化された画像の情報は読み出されてセレクタ２２００に、あるいは動き補償予測回路２４００を介して動き補償予測処理され、セレクタ２２００に与えられる。

セレクタ２２００は、符号化／復号化回路２０００より線１０を介して供給されるモード切り換え信号（フレーム内／フレーム間）に従って、入力切り替えされ、ラインメモリ２１００はこのセレクタ２２００を介してフレームメモリ２３００ａ，２３００ｂからの画像情報が与えられることにより、ラインメモリ２１００には、モード切り換え信号（フレーム内／フレーム間）に応じて、選択入力されることになるフレーム内の参照ラインとフレーム間の参照ラインのいずれかが逐次蓄えられる。

ここで、フレームメモリ２３００ａ，２３００ｂには符号化／復号化回路２０００により符号化／復号化処理されることにより得られた当該フレームの復号済みの画素値と、復号済みの参照フレームの画素値が蓄えられている。なお、フレーム間の参照ラインは、動き補償予測回路２４００にて動き補償した信号を用いても良い。

また図１９（ａ），（ｂ）のクロスハッチ部は、ラスタ順に符号化する場合のフレーム内とフレーム間の参照ラインの例である。図１９（ａ）はフレーム内の参照ラインであり、以後、これを“ABOVE LINE”と呼ぶことにする。図１９（ｂ）はフレーム間の参照ラインであり、参照フレーム内のａ０と同じ、あるいは動き補償後のアドレスａ０´に対して図のように設定されるもので、以後、これを“PREVIOUS LINE ”と呼ぶことにする。

参照ラインを切り換えるためのモード情報は、符号化／復号化回路２０００により、例えば、複数のラインで構成されるブロックライン毎に別途符号化される。

図２０は、本具体例の符号化手順を表すフローチャートであり、符号化／復号化回路２０００は、まず、初めに符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ３０１）、次に起点画素ａ０が属するラインのモードがフレーム内（INTRA)であるか否かを調べる（Ｓ３０２）。その結果、フレーム内（INTRA)であれば“ABOVE LINE”をラインメモリ２１００に読み込む（Ｓ３０２）が、フレーム内（INTRA)でなければ“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込むように制御する（Ｓ３０９）。

そして、次にａ１の検出処理をし（Ｓ３０４）、さらにｂ１，ｂ２の検出処理をし（Ｓ３０５）、次にｂ２とａ１の画素位置関係がｂ２＜ａ１であるか否かを調べ（Ｓ３０６）、ｂ２＜ａ１であれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ３０７，Ｓ３０８）、Ｓ３０４の処理に戻る。

Ｓ３０６の処理において、ｂ２とａ１の画素位置関係がｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦Ｎ（Ｎはある閾値）であるか否かを判断し（Ｓ３１０）、その結果、｜ａ１−ｂ１｜≦Ｎであれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ３１１，Ｓ３１２）、Ｓ３１３の処理に入る。Ｓ３１３ではａ０が“WIDETH”（画像の横幅方向の画素数）対応の位置であるか否かを判断し、そうでなければＳ３０４の処理に戻る。Ｓ３１３での判定の結果、ａ０が“WIDETH”対応の位置であれば、画像の最後であるか否かを調べ（Ｓ３１４）、画像の最後で無ければＳ３０１の処理に戻る。Ｓ３１４での判定の結果、画像の最後であったならば、処理を終了する。

Ｓ３１０での判定の結果、｜ａ１−ｂ１｜≦Ｎでなければａ２を検出し（Ｓ３１５）、水平モード（Ｈ）にして“ａ０”の画素位置を“ａ２”の画素位置にし（Ｓ３１６，Ｓ３１７）、Ｓ３１３の処理に入る。

すなわち、以上の手順は、起点画素ａ０が属するラインのモードがフレーム内（INTRA)の場合には“ABOVE LINE”を、また、フレーム間“（INTRA)”の場合には“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込む。“PREVIOUSLINE ”を参照ラインとするとき、符号化ラインと全く同じか、あるいは誤差が非常に小さい場合には、“NOT CODED ”すなわち、符号化ラインを符号化せずに参照ラインの信号をそのままコピーするというものであり、“PREVIOUS LINE ”を参照ラインとするとき、符号化ラインと全く同じか、あるいは誤差が非常に小さい場合には、符号化ラインを符号化せずに参照ラインの信号をそのままコピーすることで、発生符号量を削減することができる。

図２１は、この方式を使用した場合での人物像アルファマップに対するブロックライン毎の、モードの切り換えの例である。ブロックラインとは、隣接する複数のライン単位で構成したブロックを示しており、頭頂部近傍に相当する部分が占める第０および第１ブロックラインではそれぞれ“INTRA ”、顔部分に相当する部分が占める第２〜第４ブロックラインでは互いの違いが少ないのでそれぞれ“NOT CODED ”、肩部胸部近傍に相当する部分が占める第５〜第８ブロックラインではそれぞれ“INTRA ”のラインモードとなっていることを示している。

また図２２は、ラスタ順に符号化する場合に、“NOT CODED ”となるブロックラインの符号化をスキップする際の具体例を説明するものである。本発明では、起点画素ａ０が属するラインの属性（“INTRA ”／“INTER ”／“NOT CODED ”により、モード切り換えを行っている。しかし、ラスタ順に符号化する場合には、ａ１がａ０と同じライン上にあるとは限らない。したがって、復号時にａ１がａ０と同じライン上か否かは不明である。

そこで、図２２のように、ａ０が当該ブロックライン上での最後の変化画素であり、かつ、次のブロックラインのモードが“ NOT CODED”（非符号化）である場合には、スキップ符号ＳＫにより次の“CODED ”（符号化）となるブロックラインにスキップし、このスキップ先のブロックラインの先頭画素を新たなａ０（ｎｅｗ ａ０）とすると共に、このスキップされるブロックラインの領域についてはすべて符号化する。

つまり、ａ０が存在するブロックラインＢ１があり、そのブロックラインＢ１のモードが“INTER ”であるとし、当該ブロックラインＢ１の次に、モードが“NOT CODED”のブロックラインが３つ繋がり（Ｂ２〜Ｂ４）、その次にモードが“INTER ”であるブロックラインＢ５が繋がっているので、当該Ｂ５のブロックラインの先頭にａ０を移してｎｅｗ ａ０とし、符号ＳＫを用いてａ０からｎｅｗ ａ０にスキップし、ブロックラインＢ１からＢ４までについてはすべて“CODED ”、すなわち、符号化することになる。また、この符号ＳＫの可変長符号は“垂直モード”／“水平モード”／“パスモード”の可変長符号と共に設計される。

図２３は以上の符号化手順を表すフローチャートであり、図１７の点線で囲まれた部分を変更したものである。符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ２０１）、次に起点画素ａ０が属するラインのモードがフレーム内（INTRA)であるか否かを調べる（Ｓ１２０１）。その結果、フレーム内（INTRA)であれば“ABOVE LINE”をラインメモリ１００に読み込む（Ｓ１２０２）が、フレーム内（INTRA)でなければ“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込む（Ｓ１２０３）。さらにａ０が属するラインのモードが“NOT CODED LINE”、つまり、符号化しないラインでないかを調べ（Ｓ１２０３）、符号化しないラインであればＳ２０１の処理に移り、符号化しないラインであれば、次にａ１の検出処理をし（Ｓ２０２）、さらにｂ１，ｂ２の検出処理をし（Ｓ２０３）、Ｓ２０４の処理に入るといった処理形態である。

以上、前フレームの符号化済みの信号を復号化して蓄え、かつ、当該前フレームの信号を参照することで、画像の符号化中の領域が符号化済みの領域の画像状態に近似しているか否かを調べ、近似しているとき、その領域の画像の符号化をせずに、代わりに、上記復号済みフレーム内の信号を上記符号化中のフレームにコピーすると共に、コピーされた部分をスキップして、次の符号化すべき領域の符号化をするよう符号化処理するようにしたことにより、コピーされた部分を符号化しないで処理能率を向上させることができるようになる。

［第２の具体例のその３］ここでは、参照ラインを複数用いて予測の性能を向上させることで、発生符号量を縮減する具体例を説明する。

図２４は、本発明の符号化ラインと参照ラインの関係を説明する図である。ここで、新たにｃ１とｃ２の定義を行う。

ｃ１：ａ０よりも右側で、ａ０と反対色の最初の変化画素ｃ２：ｃ１の次の変化画素本発明は、ａ１を符号化する際に、ｃ１とｂ１の変位から、ｂ１とａ１の変位を予測するものであり、以下の式で得られるdiffを垂直モードで符号化する。

diff=b1-a1+f{b1-c1)ここで、ｆ（ｘ）はｂ１とａ１との変位を推定する予測関数である。また、次式は微小ノイズによる予測効率の低下を防止するために、ｃ１とｂ１の変位の絶対値がしきい値ｔｈよりも小さい場合に予測値を０とする予測関数の例である。

ｆ（ｘ）＝０ （ａｂｓ（ｘ）＜ｔｈ）
ｆ（ｘ）＝ｓｉｇｎ（ｘ） （ａｂｓ（ｘ）≧ｔｈ）
ｓｉｇｎ｛ｘ）＝−１ （ｘ＜０）
ｓｉｇｎ｛ｘ）＝ ０ （ｘ＝０）
ｓｉｇｎ｛ｘ）＝ １ （ｘ＞０）
但し、ｃ２がｂ１より左端にある時、あるいはabs(b1-c1)が、あるしきい値よりも大きい場合は、通常の垂直モードで符号化する。

図２５は、本具体例の符号化手順を表すフローチャートであり、第１の垂直モードは従来の垂直モードであり、第２の垂直モードは、参照ラインを２ラインとする垂直モードで、本発明で採用した新しいモードである。

ここでの処理は、まず、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ４０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１の検出処理をし（Ｓ４０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２の検出処理をし（Ｓ４０３）、次にｂ１がａ１より小さいか判断する（Ｓ４０４）。その結果、ｂ１がａ１より小さい場合はパスモード（Ｐ）にし（Ｓ４０５）、次にａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ４０６）、Ｓ４０３の処理に戻る。

Ｓ４０５の判断において、ｂ１がａ１より小さくなかったときはｃ１，ｃ２の検出処理をし（Ｓ４０７）、ｃ２がｂ１より小さいか判断する（Ｓ４０８）。その結果、ｃ２がｂ１より小さかったときは｜ａ１−ｂ１｜≦Ｎであるか判断し（Ｓ４０９）、｜ａ１−ｂ１｜≦Ｎであったときは、第１の垂直モード（Ｖ）とし（Ｓ４１０）、ａ０の画素位置をａ１の画素位置にし（Ｓ４１１）、Ｓ４１２の処理に入る。

Ｓ４１２では、ａ０の位置が水平方向の画素数であるWIDTH の値対応の位置であるか判断し、そうでなければＳ４０２の処理に戻り、そうであればＳ４１３に移り画像の終りであるか判断し、終りであれば処理を終了し、終りでなければＳ４０１の処理に戻る。

一方、Ｓ４０８の判断において、ｃ２＜ｂ１でなければ｜ｄｉｆｆ｜≦Ｎであるか調べ（Ｓ４１８）、その結果、そうでなければａ２を検出処理し（Ｓ４１４）、水平モードとし（Ｓ４１５）、ａ０をａ２にセットする（Ｓ４１７）。そして、Ｓ４１２の処理に入る。Ｓ４１８の判断の結果、｜ｄｉｆｆ｜≦Ｎであれば、第２の垂直モードとし（Ｓ４１９）、ａ０をａ２にセットする（Ｓ４２０）。そして、Ｓ４１２の処理に入る。

一方、Ｓ４０９の判断において、｜ａ１−ｂ１｜≦Ｎでなかったときには、ａ２を検出処理し（Ｓ４１４）、水平モードとし（Ｓ４１５）、ａ０をａ２にセットする（Ｓ４１７）。そして、Ｓ４１２の処理に入る。

以上の処理により、参照ラインを複数用いて予測の性能を向上させることができるようにし、この予測の性能向上により、発生符号量を縮減することができるようになる。

［応用例］次に本発明の手法による高能率圧縮符号化の応用例として、上述のように２値ではなく、多値のアルファマップを符号化する場合の具体例を説明する。図２６は、多値のアルファマップを説明する図である。図２６（ａ）、はオブジェクトと背景を合成する際に境界部での不連続性を防止するために、合成の重み付けを多値で表現したものの例である。また図２６（ｂ）は、キャプションの一部を半透明に合成する際の例である（半透明重ね合わせ）。

ここで、オブジェクトの信号をＳｏ、背景の信号をＳｂ、重み付けの値（Alpha Value)をａとすると、合成信号Ｓｃは次式で表される。ここで、Alpha Valueは８ビットで表現されている。

Sc=((255-a)*Sb+a*So)/255このような、アルファマップを符号化する場合には、図２７（ａ）のように、アルファマップの値が０か否かを表すシェープ情報（Shape ）と、アルファマップにおける画素のグレースケール情報（階調情報）であるアルファバリュー情報（Alpha Value ）とに分離して符号化する。すなわち、図２７（ｂ）のように、シェープ情報Shape を本発明の２値画像符号化法を実施するためのシェープコーディング部２５００に与え、ここで本発明の２値画像符号化法により、シェープ情報Shape を符号化し、Shape 情報の再生信号にしたがって、多値画像用の符号化を行うアルファバリューコーディング部２６００により、アルファバリュー情報Alpha Value を符号化すれば良い。

このようにすると、２値ではなく、多値のアルファマップを符号化することができるようになる。

（第３の具体例）次に、本発明の第３の具体例として、画面全体に占めるオブジェクト部分の領域がかなり小さい場合での符号量低減技術を、図２９と図３０を用いて説明する。

図２９（ａ）に示されるような画面全体に占めるオブジェクト部分の領域がかなり小さい場合において、画面全体のアルファマップ信号を符号化するのではなく、図２９（ｂ）のようなオブジェクトを含む小領域のアルファマップ信号を符号化した方が符号量が低減される場合がある。

そして、この場合、小領域の大きさと、画面内での位置関係がわからなければならない。

そこで、小領域の位置を表すための小領域左上端Ｓの位置アドレスと、小領域の（水平，垂直）方向の大きさ（ｈ，ｖ）とを付加情報として別途符号化する。さらに、前記Ｓや前記（ｈ，ｖ）の符号量を低減するために、図２９（ａ）において破線で区切られた、符号化の処理単位であるブロックの整数倍となる様に小領域を設定することで、Ｓや（ｈ，ｖ）をブロックのアドレスで表現することもできる。

図３０は、上記の処理の流れを説明するブロック図であり、図３０（ａ），（ｂ）は各々送信側、受信側のブロック図である。

送信側は、オブジェクト領域検出回路５００、アルファマップ符号化回路２００、多重化回路５１０とから構成されている。オブジェクト領域検出回路５００は、アルファマップからオブジェクト部分の領域を検出する回路であり、小領域のアルファマップ信号と、Ｓや（ｈ，ｖ）の値とを検出するものである。

また、アルファマップ符号化回路２００は小領域のアルファマップを符号化する回路であり、既に詳述した如きのものである。多重化回路５１０はこの符号化されたアルファマップと、オブジェクト領域検出回路５００の出力するＳや（ｈ，ｖ）の値とを多重化して出力する回路である。

また、受信側は、分離化回路５２０、アルファマップ復号化回路４００、アルファマップ復元回路５３０から構成されている。分離化回路５２０は、ビットストリームから、小領域のアルファマップ信号と、Ｓや（ｈ，ｖ）の値の符号化成分とを分離するものであり、アルファマップ復号化回路４００は小領域のアルファマップ信号を復号して元のサイズのアルファマップを得る回路であり、アルファマップ復元回路５３０はＳや（ｈ，ｖ）の値の符号化成分からＳや（ｈ，ｖ）の値を復元する回路である。

このような構成において、線２０を介して画面全体のアルファマップ信号が供給されたオブジェクト領域検出回路５００では、図２９（ｂ）のような小領域のアルファマップ信号を線２２を介してアルファマップ符号化回路２００に供給すると共に、Ｓや（ｈ，ｖ）の値を符号化して、線２３を介してアルファマップ符号化回路２００と多重化回路５１０に供給する。

多重化回路５１０では、線２４を介して供給される符号化された小領域のアルファマップ信号と、線２３を介して供給される符号化されたＳや（ｈ，ｖ）の値を多重化した後、線３０を介して出力する。

一方、線８０を介して分離化回路５２０に供給された符号は、小領域のアルファマップ信号に関する符号と、Ｓや（ｈ，ｖ）に関する符号に分離され、各々線８４と線８６を介して出力される。アルファマップ復元回路５３０では、線８５を介して供給される再生された小領域のアルファマップ信号と、線８６を介して供給されるＳや（ｈ，ｖ）の値から、画面全体のアルファマップ信号を復元し、線９０を介して出力する。

この結果、図２９（ａ）に示されるような画面全体に占めるオブジェクト部分の領域がかなり小さい場合において、画面全体のアルファマップ信号を符号化するのではなく、図２９（ｂ）のようなオブジェクトを含む小領域のアルファマップ信号を符号化して符号量低減を図ることができるようになる。

（第４の具体例）次に、第４の具体例として、図４のサンプリング変換（拡大・縮小変換）により発生する斜め方向の不連続性を滑らかにする技術を、図４と図３３および図３４を用いて説明する。

２値画像の縮小拡大を繰り返すと、斜めの線あるいは、曲線の滑らかさが失われ易い。アルファマップ信号は２値画像の情報であるから、縮小拡大を繰り返すと、このような現象を起こし易く、しかも、画面内の目的の部分を抽出したり、認識するために用いるのがアルファマップ信号であるから、このような滑らかさが失われることは、画質の劣化に繋がる。そこで、この滑らかさを失うという問題を解消する技術が必要となる。

本具体例は、図４の構成においてサンプリング変換（拡大・縮小変換）により発生する斜め方向の不連続性を滑らかにする２値画像の処理方法に関するものである。

図３３は、スムーシング処理（平滑化処理）を説明するための図である。ここで、図３３の（ａ）は元のサイズの２値画像、図３３の（ｂ）はこれを縮小して得た２値画像である。図３３においては、オブジェクト領域は黒丸印で、また、バックグラウンド（背景）領域は白丸印で示してある。

本具体例では、図４の構成において解像度変換回路２１０や解像度変換回路２３０によるサンプリング変換（拡大・縮小変換）がなされることにより発生する斜め方向の不連続性を滑らかにするために、バックグラウンド領域の画素（白丸）一つ一つについて、それを中心にして、その上下左右の画素、つまり、隣接画素を調べ、そのうち、２画素以上がオブジェクト領域の画素（黒丸）であったときは、そのバックグラウンド領域の画素を、オブジェクト領域に含める処理を行う。

すなわち、今、バックグラウンド領域にある一つの画素である検査対象画素が図３３（ｂ）における二重丸印で示す位置の画素である場合のように、その隣接画素に、２画素以上、オブジェクト領域の画素（黒丸）があったときは、その二重丸印で示す位置の画素（つまり、検査対象画素）を黒丸印の画素にしてオブジェクト領域の画素にする。黒丸印の画素が例えば、“１”、白丸印が“０”であるとすると、二重丸印で示す位置の画素（画素値“０”）を、画素値“１”に置き換える処理をする。

具体的にはつぎのようにする。図３４に示すように、上記画像処理を行う装置としては、２フレーム分のメモリ６２１，６２２を用意し、スムーシング処理を行う対象の２値画像データを、それぞれのフレームメモリ６２１，６２２に保持させるようにする。そして、そのうちの一方のフレームメモリを検査用画像の保持メモリとし、他方を作業用メモリとする。そして、制御手段６２３により、これらフレームメモリ６２１，６２２をつぎのように制御し、また、これらフレームメモリ６２１，６２２の保持内容を用いてつぎのように演算処理する。

２値画像データが入力されると、制御手段６２３はこの２値画像データを、検査用画像の保持メモリと作業用メモリとに格納するように制御する（Ｓ１）。

つぎに制御手段６２３は、検査用画像の保持メモリに保持された画像の画素一つずつについて、その画素を検査対象画素としたときに、それに隣接する４方の画素の値を調べる（Ｓ２）。そして、検査対象画素の値が“０”であって、それに隣接する４方の画素のうち、値が“１”を持つ画素が２画素分以上あるかを調べ（Ｓ３）、２画素分以上ある場合には、その検査対象画素の画素の値を“１”に書き替える（Ｓ４）。この書き替えは作業用メモリに対して該当の画素位置のものを“１”にすることで行う。

全ての画素についてこの処理が済むと、制御手段６２３はこの作業用メモリにある修正済みの２値画像データを読出し（Ｓ５）、スムーシング処理済みの２値画像データとして出力する。

この処理の結果、滑らかさが失われた２値画像データは、輪郭部の滑らかさが回復することになる。

滑らかさが大きく失われている２値画像データの場合は、上記処理を複数回繰り返す。すなわち、作業用メモリにある修正済みの２値画像データを検査用画像の保持メモリにコピーし（Ｓ６）、再び、Ｓ２以降の処理を行う。圧縮と拡大の率や回数が決まれば、そのシステムの場合、滑らかさ喪失の度合いがどの程度であるかは分かるので、状況対応に適宜な繰り返し回数を定めて、上記の処理を繰り返した後、処理済みの２値画像データとして作業用メモリの２値画像データを読出して最終処理済み出力とするよう、制御手段６２３に制御させる。

この結果、滑らかさが大きく損なわれた２値画像データであっても、滑らかな輪郭に修正することができるようになる。そのため、この図３４の画像処理手段を図４の構成における解像度変換回路２１０の出力段に設けておけば、輪郭の滑らかな２値画像データを後段に与えることができるようになる。

以上、種々の例を説明したが、以上の具体例は要するにオブジェクトスケーラビリティを実現するに当たって必要となるアルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報と共に多重化して伝送や蓄積用のアルファマップ信号とするようにしたことを特徴としている。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。

また、アルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。

また、本発明はブロックライン毎に処理が可能であるため、図３２に示すように、ブロックライン毎にそのブロックライン対応部分のアルファマップの符号を伝送し、受信側ではブロックライン毎に復号することも可能である。

すなわち、一般的なＭＭＲでは画像をその水平方向ライン内でのみ変化画素を検出するのに対して、第１ないし第４の具体例ではＭＭＲを用いてはいるが、画像をラスタスキャン順に複数ラインにまたがって変化画素を検出している。そのため、ブロックライン毎に処理が可能であるから、図３２に示すように、ブロックライン毎にそのブロックライン対応部分のアルファマップの符号を伝送し、受信側ではブロックライン毎に復号することも可能である。

＜マクロブロック単位での符号化、復号化処理＞以上の各具体例は、任意形状の部分画像像毎に再生可能な符号化方式の機能であるオブジェクトスケーラビリティを実現する際に必要となるアルファマップの符号化において、一画面全体あるいは、ブロックライン単位で符号化を行う方法であり、２値画像で表現されたアルファマップを、ＦＡＸの符号化方式であるＭＭＲ（Modified Modified READ）に基づいた符号化方法にて符号化する手法であった。そして、ＭＭＲは基本的にライン単位での符号化法である。

一方、動画像の標準符号化方式であるＭＰＥＧ等の既存の画像符号化方式は、一般に画面全体を１６×１６画素で構成されるマクロブロックＭＢに分割した上で、各マクロブロックＭＢ単位で符号化処理が行われている。従って、このような場合にはアルファマップの符号化法もマクロブロックＭＢ単位での符号化を可能にすることが望ましい。しかし、マクロブロックＭＢは画面の一部分であるために、ライン単位での符号化法であるＭＭＲに基づいて一つ一つのマクロブロックＭＢを符号化すると符号化効率が低下するおそれがある。

そこで、マクロブロック単位で効率的に符号化処理し、また、復号化処理することのできるようにした符号化技術を次に説明する。

（第５の具体例）本発明にかかるマクロブロック単位での符号化、復号化処理の第１の手法を第５の具体例として、図３５、図３６および図３７を参照しながら説明する。この具体例において必要なシステム構成は基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。

図３５は、アルファマップの画面内を例えば、画素サイズが１６×１６画素といった所定の複数画素構成によるマクロブロックＭＢ単位に分割した図であり、正方形の升目で示したものが分割の境界線であり、升目一つ一つがマクロブロックＭＢである。

アルファマップはオブジェクトの情報を画素毎に２値で示すものであるから、画素は白か黒のいずれかであり、従って、図３５に示されるように、アルファマップの画面における各マクロブロックＭＢはその中身の状態は“ａｌｌ＿ｗｈｉｔｅ”（全て白）、“ａｌｌ＿ｂｌａｃｋ”（全て黒）、“ｏｔｈｅｒｓ”（その他）の３つの種類のいずれかに分類される。

人物像のアルファマップである図３５のような画面の場合、背景は“白”、人物部分は“黒”であるから、マクロブロックＭＢは符号（ＭＢwh）を付して示す背景部分のみのものと、符号（ＭＢbk）を付して示す人物部分のみのもの、そして、符号（ＭＢot）を付して示す背景部分と人物部分両方を含むものとに分けることができる。そして、この場合、符号化の必要な部分は（ＭＢot）なる部分であり、図３５より明かなように、（ＭＢot）なる部分はオブジェクトＯＪにおける輪郭部分の入ったマクロブロック、すなわち、図３６に示す如き部分のマクロブロックのみにＭＭＲベースの符号化法を適用すれば良いことが分かる。（ＭＢot）なる部分のマクロブロックは、人物の輪郭領域に位置するマクロブロックであり、背景部分と人物部分両方を含む部分である。

ところで、図３７のようなマクロブロックＭＢに、第１から第４の具体例の手法を適用すると、検出される変化画素は図３７（ａ）において黒丸で示した位置になる。なお、以後の図では簡単のため、マクロブロックＭＢのサイズを８×８画素で構成されるブロックとして例示している。

一方、マクロブロックＭＢを画面左上からラスタスキャン順に符号化して送信し、ラスタスキャン順に受信して復号化を行うとすると、今、符号化あるいは復号化処理しようとしている対象のマクロブロックＭＢの上辺に接する画素群（“top referece”）と、当該マクロブロックＭＢの左辺に接する画素群（“left reference”）は、図３７（ｂ）に示されるように送受信両端において既知の値となる。すなわち、ラスタスキャン順に処理してゆくので、top refereceとleft referenceは既に処理した隣接のマクロブロックＭＢの情報であるから既知の値である。

マクロブロックＭＢ単位で考えた場合、ラスタスキャン順に処理してゆく方式ではそのマクロブロックＭＢでの左辺に接する画素においては、それが図３７（ａ）に黒丸印を付して示すように変化画素であった場合にはそれは変化画素として符号化しなければならないから、画面単位で符号化する場合に比べて極めて冗長な情報となる。

そこで、このような冗長さを解消するために、本発明では、マクロブロックＭＢの左端の画素に関しては同じライン上の“left reference”の値との変化を検出すると共に、参照領域内で“pred＿color ”と反対色となる最初の変化画素を”ｂ１”と定義する。すると、変化画素は図３７（ｂ）の黒丸印の位置となり、図３７（ａ）に比べて冗長な変化画素が大幅に削減される。

ここで、“pred＿color ”に該当するのは“a0＿color ”（previous line ）と“ ref＿color ”（current line）となる。なお、“current line”とは、起点変化画素“ａ０”が属するラインのことであり、“previous line ”とは、“current line”の１ライン上のラインのことであり、“a0＿color ”とは起点変化画素“ａ０”の値（ｂｌａｃｋ ｏｒ ｗｈｉｔｅ（白値または黒値））であり、“ ref＿color ”とは“current line”と同じラインの“left refeence ”の値である。

ここで、“top reference ”は、図３７（ｂ）に示されるマクロブロックＭＢの上辺に接する画素群を指し、“left reference”は、図３７（ｂ）に示されるマクロブロックＭＢの左辺に接する画素群を指す。

なお、オブジェクトを含む方形領域を符号化対象としている場合に、マクロブロックＭＢの上辺あるいは左辺が方形領域の上端あるいは左端に接しているときは、“top reference ”および“left reference”の値は全て、“white ”（白）とする。

また、第１ないし第４の具体例に示した発明では、複数ラインの再生値を用いて相対アドレスの変化量を予測する方法が記載されている。このような場合には、前記の“top reference ”および“left reference”を複数ライン蓄えておく必要がある。また、マクロブロックＭＢ毎に符号化する順序を右下から順次符号化するようにしてもよい。この場合、マクロブロックＭＢの下辺に接する再生値と右辺に接する再生値を用いる。

また、動き補償予測が適用される場合には、図２と図３の構成における動き補償予測回路１１０および３５０において、画像信号と同様にアルファマップ信号の動き補償予測も生成することができる。上記の“top reference ”および“left reference”は、送信側および受信側とも同じ信号が得られれば良いため、“top reference ”および“left reference”には，動き補償予測値を用いても良い。また、第１ないし第４の具体例に示したように、動き補償予測値との相対アドレス符号化を適用しても良い。

以上は、マクロブロックＭＢ単位でラスタスキャン順に圧縮符号化し、ラスタスキャン順（ｘｙスキャンにおけるｘ方向スキャンのスキャン順）に復号化処理する場合の例であった。しかし、マクロブロックＭＢ単位で圧縮符号化し、復号化する場合に、画像の状態によってはラスタスキャン順に行うよりも垂直方向（ｘｙ方向におけるｙ方向スキャン順）に処理するようにした方が効率の良い圧縮処理ができる場合があり、従って、ラスタスキャン順にしたり、垂直方向にスキャンを切り換えたりして、画像の状況対応に種々切り換えて処理することができるようにした方式も実現できれば有用である。そこで、このような方式を次に第６の具体例として説明する。

（第６の具体例）図３８を用いて本発明の第６の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。

図３８（ｂ）は第１ないし第５の具体例におけるスキャン順序（左から右ヘスキャンする（水平スキャンＳh ））であり、図３８（ａ）はこのスキャン順序によってスキャンされることにより、検出された変化画素（黒丸で示した画素）の例である。

この場合、第５の具体例における変化画素の検出方法を用いても、変化画素は１２個検出される。そこで、この具体例では図３８（ｄ）に示すように、マクロブロックＭＢの行のアドレスと列のアドレスを入れ換えることによって、縦方向のスキャン順序（上から下にスキャンする（垂直スキャンＳv ））で変化画素を検出する。このようにすると、図３８（ｂ）のスキャン方法で１２個検出された変化画素は、図３８（ｃ）に示すように８個に減る。このように、画像の状態によってはスキャン方向を変えることで変化画素の数を減らすことができる。

本発明では、変化画素間の変化量が同じ場合、変化画素の数が少ない方が発生符号量が少なくなるため、図３８の例では、（ｂ）に比べて（ｄ）のスキャン順の方が発生符号量が少なくなる。

従って、図３８（ｂ）のスキャン順序と図３８（ｄ）のスキャン順序を適応的に切り換えることによって、符号量の削減ができる場合がある。この場合、復号化処理側で再生できるようにするために、スキャン順序を識別する情報を別途符号化してデータに付加しておく必要がある。そして、このスキャン順序を識別する情報に基づき、方向を切り換えながら復号するようにする。

以上は、マクロブロックＭＢ単位で圧縮符号化し、復号化する場合に、画像の状態によってはラスタスキャン順に行うよりも垂直方向（ｘｙ方向におけるｙ方向スキャン順）に処理するようにした方が効率の良い圧縮符号化処理ができる場合があり、従って、ラスタスキャン順にしたり、垂直方向にスキャンを切り換えて処理をしたりするといった具合に、画像の状況対応に方向を種々切り換えて処理することができるようにした方式を実現するものであった。

しかし、正方ブロックであるマクロブロックＭＢを、正方ブロックのまま、処理する方式にかえて、正方ブロックを横長の長方形ブロックに並び替えるかたちにしてから処理すると、符号量を少なくすることができる場合もあるのでそれを次に第７の具体例として説明する。

（第７の具体例）図３９を用いて本発明の第７の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。

本具体例は、マクロブロックＭＢ毎に独立に符号化するため、第５の具体例における“top reference ”および“left reference”の値を用いない例である。図３９（ａ）は、本具体例のスキャン順序を説明する図である。図３９（ａ）における左側の図のように、マクロブロックＭＢを構成するｎ×ｎ画素構成の正方ブロックを、図３９（ａ）における右側の図のようにライン毎に交互にスキャン方向を切り換えることで、ラスタスキャンされた長方形ブロックを作成する。すなわち、正方ブロックにおいて左上の画素よりラインに沿って水平に右側へスキャンし（Ｓ１）、右端に達すると次にその下のラインの画素に移り、右端から左端にラインに沿って水平に左側へスキャンし（Ｓ２）、左端に達すると次にその下のラインの画素に移り、左端から右端にラインに沿って水平に右側へスキャンし（Ｓ３）といった具合に、ジグザグにスキャンを進める。そして、スキャンの２ライン分をスキャン順に繋いで１ラインを倍にし、垂直方向（縦方向）にはライン数を少なくするかたちとして長方形ブロックを作成する。つまり、方形ブロックにおけるジグザグスキャンのＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，…を、Ｓ１の次にＳ２を繋いで最上位置の１ラインとし、その下のラインはＳ３とＳ４を繋いだものとし、さらにその下のラインはＳ５とＳ６とを繋いだものとする，…といった具合である。

このように、正方ブロックを横長の長方形ブロックに並び替えるかたちにスキャンすることで、図３９（ｂ）の場合には変化画素の数が正方ブロックでは１０個あったものが長方形ブロックでは５個に低減される。

但し、このようにすると変化画素間の相関は低下するため、符号化にあたり、正方ブロックに対して設計された可変長符号を用いると、逆に符号量が増加してしまう場合もある。しかし、この場合、長方形ブロックに対しては、長方形ブロック用の可変長符号を新たに設計してテーブルとして用意し、この長方形ブロック用可変長符号テーブルを用いて符号化するようにすればよい。

また、この具体例を適用しても図３９（ｃ）のような場合には、図からも分かるように変化画素の数は変わらず、逆に変化画素間の相関が低下しているために、長方形ブロックに変換するとむしろ発生符号量が増加してしまう。

画像の状態は様々であり、従って、正方ブロックと長方形ブロックとを適応的に切り換えることで、発生符号量の削減を図ることができる場合があることから、手法としてこの具体例のようなものも、十分に意義がある。

ところで、マクロブロックＭＢ単位の処理とはいっても、いつでもマクロブロックＭＢのサイズそのままに、圧縮処理するというのは能率的でない場合も多い。例えば、縦の垂直な帯線のみが入っている場合のように、マクロブロックＭＢ内においてどのラインも同じ画像の状況を呈しているような時は、ラインを間引くかたちで圧縮しても解像度を落とすことなく高い忠実度で再生することが可能である。このような画像に対して最適な手法を次に第８の具体例として説明する。

（第８の実施例）図６および図８および図４０を用いて本発明の第８の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。

本具体例は、第１の具体例において用いた２値画像を縮小した後に符号化する方法を、マクロブロックＭＢ単位での処理に適用した場合の問題点を解決するものである。

上述したように、符号化回路および復号化回路は基本的には第１の具体例で用いたものを採用することができ、ここではアルファマップ符号化回路２００は既に説明した図６の構成を、また、アルファマップ復号化回路４００は既に説明した図８の構成を採用する。従って、各構成要素の動作および信号の流れは既に第１の具体例で詳細に説明したので、ここでは深く立ち入らない。

図４０は２値画像を縮小する例を示す図である。図４０の（ａ）は、第１の具体例で説明した手法による縮小例であり、縮小フィルタにより縮小した例である。図４０の（ａ）においては、変換比率ＣＲが“１”のもの（縮小なしの状態のもの）、変換比率ＣＲが“１／２”のもの（１／２縮小の状態のもの）、変換比率ＣＲが“１／４”のもの（１／４縮小の状態のもの）を示しており、いずれも方形のブロックの状態のまま間引き処理した結果を示している。

また、図４０の（ｂ）は第７の具体例で説明したライン間引きにより垂直方向に縮小した例である。図４０の（ｂ）においては、変換比率ＣＲが“１”のものが縮小なしの状態のもの、変換比率ＣＲが“１／２”のもの（１／２縮小の状態のもの）、変換比率ＣＲが“１／４”のもの（１／４縮小の状態のもの）を示しており、いずれも方形のブロックから間引き処理を行ってかつ長方形ブロックへの変換を行った状態に処理した結果を示している。

ここで、変換比率ＣＲ（“Conversion Ratio”）は、図６のアルファマップ符号化回路２００における線６０を介して供給される縮小率である。第１の具体例あるいはＭＭＲでは、変化画素“ｂ１”と変化画素“ａ１”のアドレスの差分（ｂ１−ａ１）の値がしきい値以下ならば、長さ（ａ１−ａ０）のランと長さ（ａ２−ａ１）のランを符号化している（水平モード）。

また、符号化をマクロブロックＭＢ毎に行うため、生起し得るラン長の種類は、各ＣＲの値に対して一意に定まる。ここで、図４０（ａ）のように、方形形状のブロックのまま、水平，垂直方向共に間引いて縮小した場合には、変換比率ＣＲが変わることによってラン長の頻度分布が大きく変わる。従って、各ＣＲ対応にランレングス用の可変長符号を各々用意しておくことで、各ＣＲ対応に可変長符号化を行うようすれば、符号化効率の改善が図れる。

なお、第１の具体例のように、最大ラン長を画面（マクロブロックＭＢ）の水平画素数とすれば、ラン長の種類は最大でも１７（０〜１６）であるから、複数の可変長符号を用意しても可変長符号表を蓄えるメモリの負担は小さい。

また，図４０（ｂ）の例では，変換比率ＣＲを小さくすると変化画素間の相関が低下するため、変換比率ＣＲが異なれば、相対アドレスの頻度分布の偏りが大きく異なる。従って、各ＣＲに対して各々最適な可変長符号を切り換えることで、発生符号量の削減が図れる。なお、相対アドレスの絶対値の種類は最大でも１６種類（０〜１５）であるため、複数の可変長符号表を用意してもメモリの負担は少ない。

また、図４０（ａ）の例では、生起し得る相対アドレスの絶対値の最大値が異なるため、上記の水平モードヘ切り換えるしきい値を、各ＣＲの対して切り換えても良い。また、マクロブロックＭＢ毎に変換比率ＣＲあるいは縮小方法（例えば、図４０（ａ）や図４０（ｂ）に示す如きの形式等）を画像の状態に合わせて適応的に切り換えることで、符号量制御を行うことができる。

以上、第５ないし第８の具体例によれば、マクロブロックＭＢ単位でのアルファマップ符号化においても大幅な符号量の増加を招くことなく符号化が可能となり、また、復号することができるようになる。

なお、本発明は上述した各種の具体例に限定されるものではなく、種々変形して実施可能である。

（応用例）最後に、本発明の応用例として本発明の動画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図４１を用いて説明する。

図４１（ａ）に示すように、このシステムは、パーソナルコンピュータ（ＰＣ）１００１に備え付けられたカメラ１００２より入力された動画像信号は、ＰＣ１００１に組み込まれた動画像符号化装置によって符号化される。この動画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。

無線機１００４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた動画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。

一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された動画像信号は、ＥＷＳ１００６に組み込まれた動画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはＰＣ１００１に組み込まれた動画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。

図４１（ｂ）は、図４１（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像符号化装置の、そして、図４１（ｃ）は、図４１（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像復号化装置の構成を概略的に示すブロック図である。

図４１（ｂ）に示す動画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。情報源符号化部１１０１における処理や、伝送路符号化部１１０４における可変長符号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。

一方、図４１（ｃ）に示す動画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。

これらでの復号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。

（第９の具体例）
＜アルファマップ用の動きベクトル（ＭＶ）を符号化する方式の具体例＞上述の［第２の具体例その２］は、フレーム間の相関を利用して符号化する方法であって、前フレームのラインを参照ラインとすることで、フレーム間の相関を利用して符号化処理効率を向上させるようにする具体例であった。この方法は、ＭＢライン単位（マクロブロックにおけるライン方向の１ライン単位）での処理であるが、当然、ＭＢ単位で処理するようにしても、一般性は失われない。

そこで、フレーム間の相関を利用して符号化するにあたり、マクロブロック単位で符号化することで、符号化処理効率向上を計るようにする具体例を次に説明する。

本具体例では、ＭＢ単位（マクロブロック単位）で、アルファマップの動き補償予測（ＭＣ）信号と、当該ＭＢ（マクロブロック）の信号との相関を評価し、その評価値が予め設定されたしきい値よりも小さい場合には、当該ＭＢにＭＣ信号をコピーし（以後、コピー符号化と呼ぶ）、しきい値よりも大きかった場合には、当該ＭＢを本発明で提供するような２値画像符号化法により符号化するシステムである。

コピー符号化を実施するにあたり、“アルファマップのＭＶ（動きベクトル）”と、“Ｙ（輝度）信号のＭＶ（動きベクトル）”との相関が非常に高い場合には、Ｙ信号で求めたＭＶをそのまま使用することで、“アルファマップのＭＶ”についての符号量を用いることなしに、コピー符号化が可能となる。

特願平８−１１６５４２号には、アルファマップとＹ信号とをブレンドした信号（この処理は、一般にアルファブレンディングと呼ばれる）を用いてＭＶ（動きベクトル）を検出することで、アルファマップとＹ信号との共通のＭＶ（このＭＶ（動きベクトル）をＭＶYAと表記する）を検出する発明が記載されている。即ち、アルファマップとＹ信号との共通の動きベクトルである“ＭＶYA”を利用してアルファマップをＭＣ（動き補償予測）すれば、アルファマップのコピー符号化でのＭＶの情報は必要ない。つまり、アルファマップのコピー符号化にあたっては、アルファマップの動きベクトルの情報は無くて良い。

しかし、この場合、アルファマップの符号量は削減されるものの、反面、Ｙ信号においては最適なＭＶが検出されないため、Ｙ信号のＭＣ誤差値（アルファマップの動き補償予測信号の誤差値）が大きくなり、符号化システム全体での符号化効率が低下するおそれがある。

例えば、Ｙ信号に対しての最適な動きベクトルＭＶY を検出した場合や、アルファマップに対しての最適な動きベクトルＭＶA を検出した場合がこれに該当し、このような場合には符号化効率の低下が避けられない。

具体的には、図４２における（ａ）や（ｂ）のような場合が、符号化効率の低下するおそれがある例である。これらのうち、図４２（ａ）に示すケースは、Ｙ信号に対しての最適な動きベクトルＭＶY を検出した場合を示しており、ある時点でのあるマクロブロックの部分画像に着目して説明すると、前フレームで検出したＹ信号に対しての動きベクトルＭＶY の指し示す位置が、後フレームでの当該部分画像の出現位置に一致している様子を示している。ここで用いられる誤差評価値は、例えば、オブジェクトに含まれる画素値における誤差値である。

また、図４２（ｂ）はアルファマップに対して最適な動きベクトルＭＶA を検出した場合を示しており、ある時点でのあるマクロブロック部分でのアルファマップ内容に着目して説明すると、前フレームで検出したマクロブロック部分でのアルファマップ内容に対する動きベクトルＭＶA の指し示す位置が、後フレームでの当該アルファマップ内容部分の出現位置に一致している様子を示している。ここで用いられる誤差値は、例えば、アルファマップのミスマッチ画素数である。

なお、ＭＶYAは、ＭＶY よりもＭＶA と類似なＭＶ（動きベクトル）となるため、アルファマップ符号化の符号量は、最適な値ＭＶA を用いた場合と比較してもほとんど増加しない。

一方、“ＭＶY ”を共通のＭＶとして用いても、アルファマップのＭＣ誤差（動き補償予測誤差）が大きくなるため、コピー符号化が選択されず、アルファマップ符号化の効率が向上しない。

そこで、これを打開するためには、図４２（ｃ）に一例を示すように、アルファマップに対しての最適な動きベクトルであるＭＶA と輝度信号に対しての最適な動きベクトルであるＭＶY の差分であるＭＶＤA を求め、この求めたＭＶＤAを効率よく符号化するようにする。このようにＭＶA とＭＶY の差分を求めて、これを符号化することで、Ｙ信号（輝度信号）の符号化効率を低下させずに、アルファマップの符号化効率を向上させることが可能となる。

ところで、ＭＶA とＭＶY の差分であるＭＶＤA が大きな値となった場合には、動きベクトルの符号量よりも、当該ブロックを２値画像符号化する際の符号量の方が小さくなる場合がある。また、ＭＶＤA はＭＶY からの差分ベクトルであるから、そのダイナミックレンジは小さい。

そこで、ＭＶＤA の探索範囲の最大値をＭＶY の探索範囲よりも小さくなるように制限することで、ＭＶＤA の符号量と、２値画像符号化における符号量とのトレードオフを図るようにすると良い。また、ＭＶＤA の探索範囲を制限することで、ＭＶＤA 用の符号表は、ＭＶY を符号化する（実際に符号化されるのは、ＭＶY の予測誤差であり、この予測誤差のダイナミックレンジは、ＭＶY のダイナミックレンジの２倍となる）符号表よりも小さくなる。従って、ＭＶＤA 用に小さな可変長符号表を設計することで、より符号化効率が改善される。

＜ＭＶA を検出する具体例＞つぎに、第９の具体例を実施するにあたり、アルファマップに対しての最適な動きベクトルＭＶA を検出する必要があるが、その具体例を説明する。

既に、Ｙ信号の方でＭＶY （Ｙ信号に対しての最適な動きベクトル）は送られているものとすると、ＭＶY で指し示される位置を中心として、ＭＶA とＭＶYの差分であるＭＶＤA は検出される。前述した通り、アルファマップのコピー符号化は、アルファマップのＭＣ誤差（動き補償予測誤差）が、あるしきい値よりも小さくなった時に実行される。そこで、中心位置から外側への順序で誤差を評価し、最初に誤差がしきい値よりも小さくなった位置のＭＶＤA を用いることにする。

これにより、最も小さなＭＶＤA が検出されて、これが使用されることになり、一般に、ＭＶＤA の大きさが小さければ小さいほど、短い符号が割り当てられることになるために、ＭＶＤA は効率よく符号化されることとなる。

以上は動きベクトルの符号化であったが、マクロブロックの属性情報をフレーム単位で符号化する方式も考えられる。従って、次にこれを第１０の具体例として説明する。

（第１０の具体例）第１０の具体例として、各マクロブロックの属性情報をフレーム単位で符号化する方式の具体例を説明する。

第６の具体例における図３８には、本発明で提供するようなブロックベースで２値画像符号化する場合の各ブロック（マクロブロックＭＢ）の属性が表されている。また、このブロック（ＭＢ）の属性情報は、２値画像符号化情報とは別途に符号化する必要がある。

図４３（ａ）は、上述した図３８を書き直したものである。この図においては、“白”部分のみのマクロブロックをＭＢwhとし、背景部分と人物部分両方を含むマクロブロックをＭＢotとし、“黒”部分のみのマクロブロックをＭＢbkとしてある。そして、“白”部分のみのマクロブロックであるＭＢwhを“０”、背景部分と人物部分両方を含むマクロブロックであるＭＢotを“１”、“黒”部分のみのマクロブロックであるＭＢbkを“３”とラベル付けしたとすると、図４３の（ａ）は、図４３（ｂ）のようなblock typeの情報となり、このblock typeの情報がＭＢの属性情報である。

ラベルは“１”，“２”，“３”の三種であり、これらは２ビットあれば表現できる。つまり、十進数の“１”は２進表現で“０１”、十進数の“２”は２進表現で“１０”、十進数の“３”は２進表現で“１１”であり、２ビットあれば表現できる。

このようにblock type情報は、２ビットで表現できるため、その上位ビット（MSB ）と下位ビット（LSB ）をビットプレーンに分解すると、図４３（ｃ）の様になる。なお、図４３（ｃ）において、Ｂpoは元のblock typeの情報が（ＭＢの属性情報）であり、ＢplはＢpoをビットプレーンに分解して得た下位ビット（LSB ）のビットプレーンであり、ＢpmはＢpoを分解して得た上位ビット（MSB ）のビットプレーンである。

一般に、図４３（ａ）のように、オブジェクトか否かを表す、アルファマップのブロック属性情報を、図４３（ｂ）の様にラベル付けすることで、図４３（ｃ）におけるＢpl，Ｂpmの様に上位および下位のビットのプレーンに分解したときに、何れのビットプレーンにおいても“０”と“１”は、かたまり易くなる。即ち、ＭＳＢにおいても、ＬＳＢにおいても、相関が保てることになる。

図４４は、図４３（ｃ）の各ビットプレーンを、本発明で提供するブロックベースのＭＭＲで符号化する例である。この図に示すように、ビットプレーンに分解し、各ビットプレーンを高能率な２値画像符号化方式により符号化する事で、ブロックの属性情報の符号量をブロック毎に符号化する場合に比べて、大幅に削減することができるようになる。

また、ブロックの属性を符号化する２値画像符号化と、各ブロックを符号化する２値画像符号化の符号化法を同一のものとする事で、符号化システム全体の複雑さを緩和することができる。

以上が、ブロックの属性情報を符号化する方式の具体例であるが、ブロックの属性情報の符号化方式には別の方法もあるので、これを次に説明する。

図４５は、時刻 n と時刻 n-1 におけるあるマクロブロックの属性情報の一例を表している。図２（ａ）の様に、オブジェクトの左上を領域の境界部に接するように、方形領域を設定すると、図４５における（ａ）に示した時刻 n でのブロックの属性情報の例と（ｂ）に示した時刻 n-1 でのブロックの属性情報の例のように、時間的に近いフレームのアルファマップ間では、非常に似たラベル付けが行われる。従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率が改善されることになる。

また、一般に、時刻 n と、時刻 n-1 の領域のサイズが異なる場合がある。この場合、一例として、図４６に示す手順で、時刻 n-1 での領域を 時刻 nのサイズに合わせる。例えば、時刻 n におけるマクロブロックが、時刻 n-1におけるマクロブロックの行より１行長く、１列短い場合は、図４６（ａ）のように、行の短い時刻 n-1 におけるマクロブロックの右端の１列をカットし、その後、下部の１行分をその下にコピーして行を増やす。この状態が図４６（ｂ）である。

また、時刻 n-1 におけるマクロブロックが、時刻 n のマクロブロックより列が１列短く、１行長い場合は、下端の１行をカットし、その後、そのマクロブロック右端の１列をその隣りにコピーして１列増やす。

サイズが合わないときは、このようにしてサイズを合わせる。なお、サイズの合わせ方は前記の方法に限ったものではない。そして、最終的に、図４６（ｂ）の様に、時刻 n のサイズに合わせられた、時刻 n-1 のラベルを、ここでは便宜上、時刻 n-1' のラベルと表記して以下の説明に用いることにする。

図４７（ａ）は、時刻 n での上述のマクロブロックの属性情報と、時刻 n-1' での上述のマクロブロックの属性情報の差分、つまり各画素位置での各ラベルの差分を、同一画素位置のもの同士で取った結果を示している。ここで、Ｓは“ラベルが一致している”ことを示し、Ｄは“ラベルが不一致である”ことを示す。

一方、図４７（ｂ）は、時刻 n での上述のマクロブロックの属性情報における隣接画素位置のラベルの差分をとった結果を示している。ここで、左端のラベルは、１ライン上の右端の画素位置でのラベルとの差を取り、左上端の画素位置でのラベルは、“０”との差を取ることにしている。以後、便宜的に図４７（ａ）をフレーム間符号化、図４７（ｂ）をフレーム内符号化と呼ぶことにする。

図４７より、フレーム間符号化の方がフレーム内符号化に比べてＳの割合が多く、フレーム間符号化の方が予測が当たるため、符号量の削減を図ることができる。

図４９は、各ラベルを符号化するための可変長符号表の例である。ここでは符号化対象となるラベルが、その予測値（フレーム間：前フレームのラベル、フレーム内：隣のラベル）と一致している場合（Ｓの場合）には１ビットで符号化し、一致していない場合（Ｄの場合）には、２ビットで符号化することにする。このようにすると、符号量を少なくすることができる。

また、フレーム間符号化の場合には、Ｓの割合が多いため、複数のラベルをまとめて符号化することで、更に符号化効率の向上が図られる。

図４８は、ライン毎にライン内のラベルの差分が全てＳか否かを、１ビットの符号で示す例である。これにより、ライン内が全てＳでないラインのみラベルを符号化すれば良いため、符号量が大幅に削減されることが分かる。

なお、フレーム間での相関が極端に小さい場合、フレーム内符号化に比べて符号化効率が低下する恐れがある。この場合は、１ビットの符号でフレーム内符号化を行うか、フレーム間符号化を行うかを切り換えられるようにしておき、フレーム内符号化で符号化できるようにする。当然のことながら、最初に符号化するフレームは、参照するラベルが無いため、フレーム内符号化を行う。この際、フレーム間／フレーム内を切り換える符号は必要ない。

図５０は、前述した本具体例のシステムのブロック図であり、このブロック図を参照して処理の流れを説明する。この図５０の構成において、破線で囲まれた部分が前述した本具体例に係わる部分である。図５０（ａ）は符号化装置であり、オブジェクト領域検出回路３１００、ブロック化回路３１１０、ラベル付け回路３１２０、ブロック符号化回路３１３０、ラベルメモリ３１４０、サイズ変更回路３１５０、ラベル符号化回路３１６０、多重化回路（ＭＵＸ）３１７０とより構成されている。

これらのうち、オブジェクト領域検出回路３１００は、入力されたアルファマップ信号を元に、そのアルファマップ信号においてオブジェクトを含んでいる部分についての方形領域を検出して、その方形領域のサイズに関する情報と共に当該方形領域のアルファマップ信号を出力するものである。ブロック化回路３１１０は、この方形領域のアルファマップ信号をマクロブロック化する回路であり、ラベル付け回路３１２０は、このマクロブロック化されたアルファマップ信号についてそのブロック毎に、そのマクロブロックでのアルファマップ信号内容の属性（ＭＢwh（白のみ）、ＭＢot（白と黒の混合）、ＭＢbk（黒のみ））を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる回路である。

ブロック符号化回路３１３０は、ラベルが“１”（ＭＢot）のもののマクロブロックについて、そのマクロブロック内のアルファマップ信号を符号化する回路であり、ラベルメモリ３１４０は、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介してオブジェクト領域検出回路３１００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３１５０に供給するためのメモリである。サイズ変更回路３１５０は、ラベルメモリ３１４０より供給される、時刻 n-1のフレームのラベル情報とサイズ情報と、オブジェクト領域検出回路３１００から与えられる、時刻 n のフレームのサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更する回路であり、ラベル符号化回路３１６０は、このサイズ変更されたラベル情報を予測値として、ラベル付け回路３１２０より供給されるラベル情報を符号化する回路である。

また、多重化回路３１７０は、ラベル符号化回路３１６０の得た符号化情報と、ブロック符号化回路３１３０より供給される符号化情報と、オブジェクト領域検出回路３１００から与えられるサイズ情報とを多重化して出力する回路である。

このような構成の符号化装置は、線３０１０を介して供給されるアルファマップ信号は、オブジェクト領域検出回路３１００により、オブジェクトを含む方形領域を検出する。この方形領域のサイズに関する情報は線３０２０を介して出力され、領域内部のアルファマップ信号は、ブロック化回路３１１０に供給される。ブロック化回路３１１０は、この領域内部のアルファマップ信号についてマクロブロック化する。マクロブロック化されたアルファマップ信号は、ラベル付け回路３１２０とブロック符号化回路３１３０に供給される。

ラベル付け回路３１２０では、マクロブロック毎の属性（ＭＢwh、ＭＢot、ＭＢbk）を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる。このラベル情報は、ブロック符号化回路３１３０、ラベルメモリ３１４０、ラベル符号化回路３１６０に供給される。

ブロック符号化回路３１３０では、ラベルが“１”（ＭＢot）のとき、ブロック内のアルファマップ信号が符号化され、その符号化情報は多重化回路３１７０に供給される。ラベルメモリ３１４０には、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介する領域のサイズ情報が蓄積され、ラベル情報とサイズ情報を併せてラベルメモリ出力線３０３０を介して、サイズ変更回路３１５０に供給される。

サイズ変更回路３１５０では、ラベルメモリ出力線３０３０を介して供給される、時刻 n-1 のフレームのラベル情報とサイズ情報と、線３０２０を介して供給される、時刻 n のサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更したラベル情報をラベル符号化回路３１６０に供給する。ラベル符号化回路３１６０では、サイズ変更回路３１５０より供給されるラベル情報を予測値として、ラベル付け回路３１２０より供給されるラベル情報を符号化し、その符号化情報は多重回路３１７０に供給される。多重化回路３１７０では、ブロック符号化回路３１３０とラベル符号化回路３１６０より供給される符号化情報と、線３０２０を介して供給されるサイズ情報とを多重化した後、線３０４０を介して出力する。

以上が符号化装置の構成と作用である。次に復号化装置の構成と作用を説明する。

図５０（ｂ）に示す符号化装置は、分離化回路（ＤＭＵＸ）３２００、ラベル復号化回路３２１０、サイズ変更回路３２２０、ラベルメモリ３２３０、ブロック復号化回路３２４０より構成される。これらのうち、分離化回路３２００は、線３０５０を介して供給される符号化情報を分離する回路であり、ラベル復号化回路３２１０は、サイズ変更回路３２２０より供給される、時刻 n-1 のラベル情報のサイズを変更した情報を予測値として、時刻 n のラベル情報を再生する回路である。

また、サイズ変更回路３２２０は、サイズ変更回路３１５０と同様の働きをする回路であって、ラベルメモリ３２３０より供給される、時刻 n-1 のフレームのラベル情報とサイズ情報と、分離化回路３２００から分離して与えられる、時刻 n のフレームのサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更する回路であり、ラベルメモリ３２３０は、ラベルメモリ３１４０と同様の働きをする回路であって、ラベル復号化回路３２１０より復号化されて供給されるラベル情報と、分離化回路３２００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３２２０に供給するためのメモリである。

また、ブロック復号化回路３２４０は、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する回路である。

このような構成の復号化装置の作用を説明する。分離化回路３２００では、線３０５０を介して供給される符号化情報を分離して、ブロック復号化回路３２４０とラベル復号化回路３２１０に供給すると共に、線３０６０を介してサイズ情報を出力する。ラベル復号化回路３２１０では、サイズ変更回路３２２０より供給される、時刻 n-1 のラベル情報のサイズを変更した情報を予測値として、時刻 n のラベル情報を再生する。

再生されたラベル情報はブロック復号化回路３２４０とラベルメモリ３２３０に供給される。ブロック復号化回路３２４０では、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する。なお、サイズ変更回路３２２０はサイズ変更回路３１５０と、ラベルメモリ３２３０は、ラベルメモリ３１４０と、各々同一の動作をするため、ここでは深く説明しない。

以上、マクロブロック単位にしたアルファマップをラベル付けし、既に符号化済みのフレームのマクロブロックのラベルを利用して、現フレームのマクロブロックのラベルを符号化するようにした符号化装置と復号化装置の例を説明した。時間的に近いフレームのアルファマップ間では、そのマクロブロックは非常に似たラベル付けが行われる。従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率を図ることができるようになる。

次にベクトル量子化による符号化システムを説明する。

（第１１の具体例）アルファマップを効率よく符号化するために、第１１の具体例として、アルファマップを矩形のブロックに分割して、そのブロック毎に符号化を行い、既に符号化したブロックの一部分から切り出した参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成し、そのインデックステーブルを用いてアルファマップをベクトル量子化によって符号化する方式の具体例を説明する。

以下、本発明の具体例を図面を用いて説明する。

＜ベクトル量子化を用いた符号化回路の構成＞図５１は、ベクトル量子化を用いた本発明の符号化回路の一具体例を示すブロック図である。本符号化回路はメモリ１６０５、ベクトル量子化器１６０７、インデックステーブル生成器１６０９、ベクトル逆量子化器１６１３とより構成される。

メモリ１６０５は、符号化が終わった部分を復号したアルファマップを保持するためのメモリである。また、インデックステーブル生成器１６０９は、このメモリ１６０５の保持情報を元に各種画素パターンのインデックステーブル１６１２を生成する装置であって、複数のマクロブロック各々の画素パターンと個別のインデックス番号を対応づけるテーブルを生成するものである。ベクトル量子化器１６０７は、入力されたアルファマップ信号１６０６とインデックステーブル生成器１６０９からのインデックステーブル１６１２とを元に、インデックステーブル１６１２にある画素パターンのうちでアルファマップ信号１６０６との誤差が小さなもののインデックス１６１４を求め、そのインデックス１６１４を出力するものである。

ベクトル逆量子化器１６１３は、ベクトル量子化器１６０７の出力するインデックス１６１４と、インデックステーブル生成器１６０９の出力するインデックステーブル１６１２とを用い、インデックス１６１４に対応する画素パターンを求めると共に、その求めた画素パターンを、復号したアルファマップ１６１５としてメモリ１６０５に与える装置である。

本具体例におけるこのような構成の符号化回路は、図２に示した画像符号化装置全体の中では、アルファマップ符号化回路２００の部分に配置される。また、本符号化回路にはアルファマップ信号が入力され、このアルファマップ信号をベクトル量子化して得たインデクッス１６１４を回路出力とする。アルファマップの画面は、図５９に示したようにブロックに分割され、左上のブロックから順に符号化される。ここで、横線を引いた領域５−１がオブジェクト領域、それ以外が背景領域５−２である。

図６０に、画面の途中まで符号化が終わった様子を示す。図６０においては、太線で囲った部分５−３が既に符号化が終わった部分を示しており、現在はブロック５−４を符号化している様子を示している。そして、図６１に示すように、現の符号化ブロック５−４の符号化には、それに隣接する画素列が上部参照パターン５−１０及び左部参照パターン５−１１として用いられる。

なお、上部参照パターン５−１０の画素値を左からT1,T2,...,TBと呼び、左部参照パターン５−１１の画素値を上からL1,L2,...,LBと呼ぶこととする。Ｂはブロックの一辺の画素数（ブロックサイズ）である。

図５１に戻り、説明を続ける。本発明の符号化回路はメモリ１６０５、ベクトル量子化器１６０７、インデックステーブル生成器１６０９、ベクトル逆量子化器１６１３とより構成されるが、これらのうち、メモリ１６０５には既に符号化が終わった部分を復号したアルファマップが保持されている。アルファマップ信号１６０６は、ベクトル量子化器１６０７に入力される。また、メモリ１６０５からは、既に符号化が終わった部分から上部と左部の参照パターン１６０８が読み出され、インデックステーブル生成器１６０９に送られる。

インデックステーブル生成器１６０９では、参照パターン１６０８に応じてベクトル量子化（吹抜「ＴＶ画像の多次元信号処理」日刊工業新聞社、昭和６３年、ｐｐ．２６１−２６２）で用いるインデックステーブル１６１２が生成され、ベクトル量子化器１６０７とベクトル逆量子化器１６１３に送られる。

ここで、インデックステーブルとは、複数のマクロブロック各々の画素パターンと個別のインデックス番号を対応づけるものである。

ベクトル量子化器１６０７では、インデックステーブル生成器１６０９から出力されたインデックステーブル１６１２にある画素パターンのうちでアルファマップ信号１６０６との誤差が小さなもののインデックス１６１４が求められ、そのインデックス１６１４は出力され、また、ベクトル逆量子化器１６１３にも送られる。

ベクトル逆量子化器１６１３では、インデックステーブル１６１２を用いてインデックス１６１４に対応する画素パターンが求められる。そして、その求められた画素パターンは、復号したアルファマップ１６１５としてベクトル逆量子化器１６１３からメモリ１６０５に送られることになる。

ここで、インデックステーブル生成器１６０９の具体例について触れておく。

＜インデックステーブル生成器１６０９の具体例＞図５３、図５４、図５５に示すブロック図はそれぞれインデックステーブル生成器１６０９の具体例である。

まず、図５３に示す構成のインデックステーブル生成器１６０９の場合は、幾つか用意されたタイプのうちのいずれかを指定すると、その指定されたもののインデックステーブルを生成する方式であって、使用するタイプを指定するためのタイプ決定器１６１６、インデックステーブルを生成する生成器１６１９、生成したインデックステーブルを保持するメモリ１６２１とを備えている。

このような構成のインデックステーブル生成器１６０９では、参照パターン１６０８はタイプ決定器１６１６に送られる。

画素パターンは傾向を変えて幾つ化のタイプが選べるようになっており、所望のものを指定すると、タイプ決定器１６１６は、幾つか用意されたタイプのうちの当該指定のものを、使用決定して、そのタイプ１６１７の情報とパラメータ１６１８の情報が生成器１６１９に送る。生成器１６１９ではこれらの情報を受けて指定のタイプのインデックステーブル１６２０を生成し、この生成されたインデックステーブル１６２０をメモリ１６２１に一時的に保持させる。インデックステーブル１６２２は符号化の過程で適宜出力される。

タイプ決定器１６１６での処理アルゴリズムを示したフローチャートを図６８に示す。タイプ決定器１６１６は、まず初めに、Ｓ１： 図６１で説明した上部参照パターン５−１０の画素値T1と左部参照パターン５−１１の画素値L1が等しいか否かを判断し、その結果、等しい場合はＳ２に進み、等しくない場合はＳ４に進む。

Ｓ２： マクロブロックの行方向画素列のうち、左から順にみた場合に、画素値が前の画素値と異なった値を示した最初の画素位置をＲＴとし、列方向に上から順にみた場合に、画素値が前の画素値と異なった値を示した最初の画素位置をＲＬとすると、前記ＲＴがＢ（マクロブロックの一辺の画素数（ブロックサイズ））に等しく、かつ、ＲＬがＢに等しい場合はＳ５に進み、そうでない場合はＳ３に進む。なお、もう少しＲＴ、ＲＬについて詳しく触れておくと、ＲＴは、Ｔ１からＴ２、Ｔ３、．．．と順に見ていった時、Ｔｋで初めてＴ１と違う値になった時のｋ−１である。但し、マクロブロックの行方向最後の画素位置ＴＢまで、全てがＴ１と等しい場合はＲＬ＝Ｂとする（Ｂは図６１で説明したブロックサイズである）。例えば、図６３（Ｂ＝１６）の場合はＲＴ＝１０である。

同様ににＲＬはＬ１，Ｌ２，．．．に関するもので、図６３の場合はＲＬ＝６である。

Ｓ３：ＲＴがＢに等しいか、あるいは、ＲＬがＢに等しい場合はＳ６に進み、そうでない場合はＳ７に進む。

Ｓ４：ＲＴがＢに等しく、かつ、ＲＬがＢに等しい場合はＳ８に進み、そうでない場合はＳ９に進む。

Ｓ５： タイプＭ＝１とする。Ｓ１０に進む。

Ｓ６： タイプＭ＝２とする。Ｓ１０に進む。

Ｓ７： タイプＭ＝３とする。Ｓ１０に進む。

Ｓ８： タイプＭ＝４とする。Ｓ１０に進む。

Ｓ９： タイプＭ＝５とする。Ｓ１０に進む。

Ｓ１０： ＭとＲＴ、ＲＬに応じてインデックステーブルを作成する。

このアルゴリズムを用いる場合は、図５３のタイプ決定器１６１６が出力するパラメータ１６１８はＲＴとＲＬである。また、タイプ決定器１６１６は図５６に示すように構成される。図５６に示す構成は、判定器１６２３、ＲＴ，ＲＬ検出器１６２４からなり、参照パターン１６０８は判定器１６２３と、ＲＴ，ＲＬ検出器１６２４に入力される。ＲＴ，ＲＬ検出器ではＲＴとＲＬが検出され、パラメータ１６１８として出力されるとともに判定器１６２３にも送られる。判定器１６２３では、図６８のアルゴリズムでタイプ１６１７を決定し、出力する。

次にタイプＭとＲＴ、ＲＬを用いたインデックステーブルの構成例を図７０に示す。まずＭ＝１は、上部参照パターンと左部参照パターンのアルファマップの画素値が全て等しい場合であるから、図７０（ａ）に示したような、上辺と左辺をよぎる境界線が無い画素パターンのうちから、予め決める幾つかを生成する。

この図で斜線はＴ１と等しい値を表す。つまり、Ｔ１がオブジェクト領域にある場合は斜線がオブジェクトで白が背景、Ｔ１が背景領域にある場合はその逆である。

次にＭ＝２は、上部参照パターンと左部参照パターンのいずれかを境界線がよぎり、他方は画素値が全て等しい場合である。

図７０（ｂ）は左部参照パターンを境界線がよぎる（ＲＬ＜Ｂ）場合の例で、左辺の上からＲＬの点を起点に境界線の角度を様々に変えたものなどである。上部参照パターンを境界線がよぎる場合は上辺の左からＲＴの点を起点に境界線をひく。

また、Ｍ＝３では図７０（ｃ）に示したように上辺のＲＴと左辺のＲＬで境界線がよぎるようにする。

最後にＭ＝４ではＴ１とＬ１の間に境界線があるので図７０（ｄ）のように左上の頂点を起点に境界線をひく。また、参照パターンとして図６４（ｂ）に示すように上部、左部とも複数ラインを用いるようにすると図６４（ａ）に点線で示したように境界線の向きも推定できるので、その推定した境界線を用いて画素パターンを生成することができる。

以上でインデックステーブル生成器１６０９の第１の具体例である図５３の詳細な説明を終えて、インデックステーブル生成器１６０９の第２の具体例を図５４に示す。

［インデックステーブル生成器１６０９の第２の具体例］図５４に示す構成のインデックステーブル生成器１６０９は、タイプ決定器１６１６、メモリ１６２５，１６２６，１６２７、スイッチ１６２８を備えている。このインデックステーブル生成器１６０９では、符号化に先だって各タイプに応じたインデックステーブルが作られるようにしてあり、それぞれタイプ別にメモリ１６２５，１６２６，１６２７のうちの専用のものに格納させる。従って、メモリ１６２５，１６２６，１６２７はいずれか一つのタイプのものを専用に格納してある。

スイッチ１６２８はこれらのメモリ１６２５，１６２６，１６２７のいずれかを選択してその選択したメモリに格納されているインデックステーブルを利用できるようにするためのものである。

このようなインデックステーブル生成器１６０９において、参照パターン１６０８によって、タイプ決定器１６１６でタイプ１６１７が決まるのは図５３に示した具体例と同じである。但し、この具体例ではパラメータ１６１８はタイプ決定器１６１６から出力されない。また、符号化に先だって作られる、各タイプに応じたインデックステーブルが、それぞれ異なるメモリ１６２５、１６２６、１６２７に保持されている。

そして、タイプ１６１７によってスイッチ１６２８が切り替えられ、そのタイプ１６１７に応じたインデックステーブル１６２２が出力される。

この具体例は図５３の例と比較してメモリが多く必要であるが、インデックスを生成する演算が不要であるという利点がある。

インデックステーブル生成器１６０９のさらに別の構成例を示す。

＜インデックステーブル生成器１６０９の第３の具体例＞インデックステーブル生成器の第３の具体例を図５５に示す。図５５では、評価器１６２９、メモリ１６３０、スイッチ１６３２、メモリ１６３４から構成している。

この例では先の例と異なってタイプ判定は行わず、参照パターンと予め用意する画素パターンの境界線が連続的につながる度合いを表す評価値を求めて利用する。

この評価値は図６５（ｂ）に示すように、上部参照パターンT1,T2,..と画素パターンの上端の画素列H1,H2,..、及び、左部参照パターンL1,L2,..と左端の画素列V1,V2,... を比較して、Ti=Hi となるi={1,2,3,..,B}の数と、Lj=Vj となるj={1,2,3,..,B}の数の和である。

従って、図６５（ａ）の場合は、i=1,2,3, j=1,2,3,6,7,8において等しくなるので、評価値は“９”となる。

図５５に戻り、説明を続ける。上記メモリ１６３０には図７０に示したものなど、様々な画素パターンが予め保持されており、評価器１６２９は、参照パターンと予め用意した画素パターン（メモリ１６３０から与えられる）の境界線が連続的につながる度合いを表す評価値を求める装置である。スイッチ１６３２はメモリ１６３０の出力を開閉するためのスイッチであり、メモリ１６３４は、このスイッチ１６３２を介して与えられる情報を保持するものである。スイッチ１６３２は評価値対応に評価器１６２９が出力する開閉信号により開閉制御される。

符号化装置の構成要素であるメモリ１６０５から読み出される参照パターン１６０８は、この評価器１６２９に送られる。また、メモリ１６３０からは図７０に示したものなど、予め保持された様々な画素パターン１６３１が、逐次、評価器１６２９とスイッチ１６３２に送られる。

評価器１６２９では先に説明した参照パターン１６０８と画素パターン１６３１の評価値を求める。そして、その評価値が所定値よりも小さい場合には評価器１６２９はスイッチ１６３２を接続するような切替え信号１６３３をスイッチ１６３２に送る。

この場合は、画素パターン１６３１はメモリ１６３４に記録されてインデックステーブルに載る。逆に評価値が所定値よりも大きい場合には接続を切るような切替え信号１６３３がスイッチ１６３２に送られて、画素パターン１６３１はメモリ１６３４に送られない。

メモリ１６３０に用意された画素パターンのうちの所定の個数の評価が終ったら、メモリ１６３４に記録された画素パターンに順にインデックスを付加して、インデックステーブル１６２２として出力する。この評価は、メモリ１６３４に所定の個数の画素パターンが記録された時に終了する方法もある。

また、メモリ１６３０にある画素パターンのうち評価値の大きいものから順に所定の数の画素パターンを選択する方法もある。この場合はメモリ１６３４に所定の数の画素パターン１６３１とその評価値を記録するようにする。

そして、記録されている評価値のうちで最も小さなものよりも、現在評価中の画素パターンの評価値が大きい場合にそれらを入れ替えればよい。

以上の図５５の具体例は比較的大規模なメモリ１６３０が必要であるが、タイプ決定の演算が不要となる利点がある。

なお、図５３、図５４、図５５の具体例は、応用システムで許容される演算量とメモリ量によってそれぞれ適当なものを採用すればよい。

以上で図５１のインデックステーブル生成器１６０９の説明を終る。

＜ベクトル量子化器１６０７のアルゴリズム＞次に図５１のベクトル量子化器１６０７でのアルゴリズムを図６９に示す。ここでＣ（ｉ）は入力されたアルファマップの原画像と画素パターンの誤差の許容条件で、例えば、Ｂ×Ｂ画素のブロックの場合、「１６個の（Ｂ／４）×（Ｂ／４）画素ブロックに分割し（図６６参照）、そのいずれのブロックにおいても、原画像と画素パターンｉの各画素の誤差の絶対値和がαを超えない。」というものである。但し、αはしきい値である。また、各画素の誤差の絶対値和とは、具体的にはミスマッチ画素数のことであり、具体的にはαは０画素，１画素，２画素，…，Ｂ² ／１６画素といった具合に定めるものである。

最低限、この条件をクリアしないと、その画素パターンは選択されない。また、ＥはＢ×Ｂ画素全体での誤差の絶対値和である。図６９に示すフローチャートを説明する。

Ｓ１１： インデックスi=0 とする。Ｓ１２に進む。

Ｓ１２： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１５に進む。そうでない場合はＳ１３に進む。

Ｓ１３： i=1 とする。

Ｓ１４： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１５に進む。そうでない場合はＳ１６に進む。

Ｓ１５： Mini=iとする。そして、Ｓ２３に進む。

Ｓ１６： MinEに十分大きな値を代入し、Mini=-1 とする。Ｓ１７に進む。

Ｓ１７： i にi+1 を代入する。そして、Ｓ１８に進む。

Ｓ１８： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１９に進む。そうでない場合はＳ２１に進む。

Ｓ１９： ＥがMinEよりも小さい場合はＳ２０に進む。そうでない場合はＳ２１に進む。

Ｓ２０： MinEにＥを代入し、Mini=iとする。そして、Ｓ２１に進む。

Ｓ２１： i がインデックスの最後の値Ｎと等しい場合はＳ２２に進む。そうでない場合はＳ１７に進む。

Ｓ２２： Mini=-1 である場合は該当ブロックにはインデックスは決定せずに終了する。そうでない場合はＳ２３に進む。

Ｓ２３： Miniを該当ブロックのインデックスとして出力して終了する。

本アルゴリズムでは、画素パターン“０”と画素パターン“１”は、Ｅを計算せずにＣ（ｉ）さえ満たせば直ちにそれに決定している。

このようにすると、“０”と“１”のインデックスに、他のインデックスよりも短い符号を割り当てている場合に、符号量を少なくできるという効果が期待できる。例えば、ブロック内が全てオブジェクト領域とか、逆に全て背景領域といった画素パターンを、“０”や“１”に割り当てる。

また、インデックスが決定されなかったブロックについては、図６７のフローチャートに示すように、ベクトル量子化（ＶＱ）とは別の符号化手法を用いて符号化するといった方法がある。

すなわち、図６７のフローチャートは、インデックスが決定されなかったブロックについての符号化は、まず、ベクトル量子化（ＶＱ）で符号化する（Ｓ２４）。そして、インデックスが決定されれば終了し（Ｓ２５）。そうでなければＳ２６に進む。Ｓ２６では、ＭＭＲで符号化して終了する。

このような処理をする符号化装置を図７１に示す。図７１に示す符号化装置は、ベクトル量子化回路１６４２、ＭＭＲ符号化回路１６４３、切り替え器１６４４、合成器１６４６とから構成されている。

アルファマップ信号１６０６はベクトル量子化回路１６４２とＭＭＲ符号化回路１６４３に入力される。

ベクトル量子化回路１６４２は図５１に示した構成のものを採用しており、このベクトル量子化回路１６４２からの出力であるインデックス１６１４が、切り替え器１６４４に送られる。同時に、切り替え信号１６４５も切り替え器１６４４と合成器１６４６に送られる。

また、ＭＭＲ符号化回路１６４３では、アルファマップ信号１６０６がＭＭＲによって符号化され、ＭＭＲ符号１６４７が切り替え器１６４４に送られる。切り替え器１６４４はＭＭＲ符号化回路１６４３からの出力であるＭＭＲ符号１６４７と、ベクトル量子化回路１６４２からの出力であるインデックス１６１４とが入力されており、切り替え器１６４４は切り替え信号１６４５に応じてこれらのうちの一方を選択して通すように、回路切り替えをする。

切り替え器１６４４に与えられる切り替え信号１６４５は、ＭＭＲ符号化回路１６４３が出力するものであり、インデックス１６１４が決定された場合にはインデックス１６１４が、インデックスが決定されなかった場合にはＭＭＲ符号１６４７がアルファマップの符号１６４８として選択されるようにＭＭＲ符号化回路１６４３は決定すべく動作する。

このようにして切り替え器１６４４にて選択されて出力されたインデックス１６１４または、アルファマップの符号１６４８は信号を多重化する合成器１６４６に送られ、この合成器１６４６でベクトル量子化回路１４６２から得られる上述のような切り替え信号１６４５と多重化され、符号１６４９として出力される。

なおこの具体例で、ＭＭＲが選択された場合、そのブロックの復号したアルファマップ１６１５はＭＭＲ符号化回路１６４３からベクトル量子化回路の内部のメモリ１６０５に送られる。ここで、ＭＭＲ符号化回路１６４３の具体例を示す。

＜ＭＭＲ符号化回路１６４３の具体例＞（ブロックベース符号化の具体例）図７４（ａ）は、ブロック単位で符号化する場合の変化画素の関係を表す図である。また、図７４（ｂ）は、ｂ１を検出する為の参照領域を表す図である。ブロックベース符号化においては、以下のように変化画素の符号化を単純化して符号化しても良い。なお、以下の処理は、第６の具体例にあるように、スキャンの順序を切り換えても良いし、第８の具体例にあるように、縮小されたブロックに適用しても良い。

単純化した変化画素の符号化は次のようにして行う。今、変化画素ａｉ（ｉ＝０〜１）、ｂ１の画面左上からのアドレスを各々、ａｂｓ＿ａｉ（ｉ＝０〜１）、ａｂｓ＿ｂ１と表記すると、ｒ＿ａｉ（ｉ＝０〜１）およびｒ＿ｂ１の値は、以下の式で求められる。

r_- a0＝ abs_- a0−(int) （ abs_- a0／WIDTH ）＊WIDTHr_- a1＝ abs_- a0−(int) （ abs_- a0／WIDTH ）＊WIDTH ＊WIDTHr_- b1＝ abs_- b1−(int) ((int)(abs_- a0／WIDTH)−１）＊WIDTH上記式において、＊は乗算を、（ｉｎｔ）（ｘ）はｘの小数点以下切り捨てを意味しており、ＷＩＤＴＨはブロックの水平方向の画素数を示している。

“ｒ＿ａ１−ｒ＿ｂ１”あるいは、“ｒ＿ａ１−ｒ＿ａ０”の値を符号化することで、再生値が得られる。

図７５は、ＭＭＲをブロックベースで符号化する場合のフローチャートである。以後、フローチャートに従って符号化処理を説明する。ここでの処理は、まず、起点変化画素の位置を初期化し（Ｓ５０１）、初期位置（ブロックの左上画素）での画素値を１ビットで符号化する（Ｓ５０２）、次に初期位置において参照変化画素ｂ１を検出する（Ｓ５０３）。

ここで、ｂ１が検出されなかった場合には、参照領域に変化画素が存在しないことから垂直モードが使えないため、垂直パスモードの状態を“ＴＲＵＥ”とし、ｂ１が検出された場合は垂直モードが使えるため、垂直パスモードの状態を“ＦＡＬＳＥ”とする。

以上で初期状態のセッティングを終了し、符号化ループの処理に移る。まず、変化画素ａ１を検出し（Ｓ５０５）、変化画素ａ１が検出されたか否かを判定し（Ｓ５０６）、変化画素ａ１が検出されなかった場合には、以後、変化画素が無いため、符号化の終了を示す符号化処理の終了符号（ＥＯＭＢ）を符号化する（Ｓ５０７）。

また、Ｓ５０６での判定の結果、変化画素ａ１が検出された場合には、垂直パスモードの状態を判定する（Ｓ５０８）。ここで、垂直パスモードの状態が“ＴＲＵＥ”ならば、垂直パスモードの符号化処理（Ｓ５１６）を行い、垂直パスモードの状態が“ＦＡＬＳＥ”ならば、ｂ１を検出する（Ｓ５０９）。

次に、ｂ１が検出されたか否かを判定し（Ｓ５１０）。ｂ１が検出されなかった場合には。水平モードのステップ（Ｓ５１３）に進み。ｂ１が検出された場合には、”ｒ＿ａ１−ｒ＿ｂ１”の絶対値がしきい値（ＶＴＨ）よりも大きいか否かを判定し（Ｓ５１１）、その結果、しきい値以下の場合には、垂直モードのステップ（Ｓ５１２）に進み、しきい値よりも大きい場合には、水平モードのステップ（Ｓ５１３）に進む。

水平モードのステップ（Ｓ５１３）では、“ｒ＿ａ１−ｒ＿ａ０”の値が符号化される。ここで、“ｒ＿ａ１一ｒ＿ａ０”の値が“ＷＩＤＴＨ”よりも小さいか否かを判定し（Ｓ５１４）、その結果、“ＷＩＤＴＨ”以上の場合には、垂直パスモードの状態を“ＴＲＵＥ”として（Ｓ５１５）、垂直パスモードのステップ（Ｓ５１６）に進み、垂直パスモードのステップ（Ｓ５１６）が終了したら、垂直パスモードの状態を“ＦＡＬＳＥ”とする。

以上、垂直モード、水平モード、垂直パスモードの何れかが終了した後（ａｌまでの符号化が終了した後）、ａ１の位置を新たなａ０の位置として（Ｓ５１８）。Ｓ５０５の処理に戻る。

図７３は、ＶＬＣテーブルの例である。ここで、垂直パスモードの状態が“ＴＲＵＥ”の場合には、符号の種類はＶＯ、Ｈ、ＥＯＭＢの３種類しか生起しないため、垂直パスモードの状態に応じて、ＶＬＣを切り換える事ができる。なお、垂直パスモードの状態が“ＴＲＵＥ”の場合、ＥＯＭＢはａ０がブロックの左上の位置（初期位置）にある場合のみ生起する。従って、この場合には、図７３の“０”うちの符号が用いられる。

なお、ベクトル量子化は用いずにＭＭＲ符号化のみを用いる場合は、上述の具体例を、直接、図２のアルファマップ符号化回路２００に用いればよい。

インデックスが決定されなかったブロックについての符号化は、ＭＭＲなど他の符号化方法を用いる以外に、図６２のように、マクロブロックをさらに小さなブロックに再分割して、ベクトル量子化をやり直す方法もある。図では標準的なサイズのマクロブロックを、さらに小さなブロックに再分割するにあたり、当該小さなブロックのサイズｂはｂ＝Ｂ／２とした。

この場合は各ブロックの参照部分が既に符号化しているように、“Ａ→Ｂ→Ｃ→Ｄ”か、“Ａ→Ｃ→Ｂ→Ｄ”の順で符号化する。

ブロックの再分割は、誤差が許容範囲に収まるようになるまで行う。こうすればインデックスの数が増えて符号量が増加するが、誤差を許容量以下に抑えられる。

以上で符号化装置の具体例の説明を終わるが、最後に図５７にこの符号化装置全体のフローチャートを示す。

Ｓ２７： 参照パターンによってインデックステーブルを生成する。

Ｓ２８：生成したインデックステーブルを用いてベクトル量子化を行い終了する。このような処理を行う。

＜復号装置の具体例＞次に、復号装置の具体例を図５２に示す。図５２に示した回路は、ベクトル逆量子化を行うベクトル逆量子化器１６３６、ベクトル逆量子化されて得られた情報を保持するメモリ１６３７、インデックステーブルを生成するインデックステーブル生成器１６３９とから構成されており、これを図３に示した画像復号装置全体の中ではアルファマップ復号化回路４００の部分に配置する。

ベクトル逆量子化器１６３６にはインデックス１６３５が入力される。メモリ１６３７には既に復号したアルファマップが保持されており、そこから、参照パターン１６３８がインデックステーブル生成器１６３９に送られる。このインデックステーブル生成器１６３９は符号化装置のそれと同じものである。

生成されたインデックステーブル１６４０はベクトル逆量子化器１６３６に送られる。ベクトル逆量子化器１６３６からメモリ１６３７には復号したアルファマップ１６４１が送られる。

図５８が図５２に示した復号装置の処理の流れを示すフローチャートである。このフローチャートを説明すると、まず、インデックステーブル生成器１６３９は、参照パターンによってインデックステーブルを生成する（Ｓ２９）。そして、生成したインデックステーブルを用いてベクトル逆量子化器１６３６はインデックス１６３５のベクトル逆量子化を行い（Ｓ３０）、終了する。

図７２には図７１に示した符号化装置で生成される符号の復号を行う復号装置を示す。この復号装置は、切り替え信号１６５２とアルファマップの符号１６５３が多重化された信号を分離する分離器１６５１、この分離器１６５１で分離された切り替え信号１６５２により回路切り替えしてベクトル逆量子化器１６５４またはＭＭＲ復号器１６５７のうちの一方に与える切り替え器１６５５、切り替え器１６５５を介して与えられる分離器１６５１からの分離されたアルファマップの符号１６５３をベクトル逆量子化するベクトル逆量子化器１６５４、切り替え信号１６５２により回路切り替えしてベクトル逆量子化器１６５４またはＭＭＲ復号器１６５７のうちの一方を出力する切り替え器１６５６からなる。

このような構成において、切り替え信号１６５２とアルファマップの符号１６５３の多重化信号である符号１６５０は、分離器１６５１に入力される。分離器１６５１では符号１６５０が切り替え信号１６５２とアルファマップの符号１６５３に分割され、切り替え信号１６５２は切り替え器１６５５と切り替え器１６５６に、アルファマップの符号１６５３は切り替え器１６５６にそれぞれ送られる。

切り替え器１６５６では切り替え信号１６５２によって、アルファマップの符号１６５３がベクトル逆量子化器１６５４かＭＭＲ復号器１６５７のいずれかに送られる。ベクトル逆量子化器１６５４とＭＭＲ復号器１６５７では、アルファマップの符号１６５３が入力された時にはアルファマップ１６５８を再生し、切り替え器１６５５を通って出力される。

以上で第１１の具体例としての復号装置の具体例の説明を終わる。

以上述べてきたように、本発明によればアルファマップを効率良く符号化することが可能となり、従って、アルファマップの符号量を低減することができるために、大幅な符号化効率の低下なしに、背景とオブジェクトを別々に符号化することができるようになる。

なお、種々の具体例について説明したが、本発明はこれらに限定されることなく、変形して実施可能である。

本発明を説明するための図であって、本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を示す図。 本発明を説明するための図であって、本発明による符号化装置の全体の概略的な構成を示すブロック図。 本発明を説明するための図であって、本発明による復号化装置の全体の概略的な構成を示すブロック図。 従来のアルファマップ符号化回路の構成を示すブロック図。 ２値画像の解像度変換回路の例。 本発明を説明するための図であって、本発明による第１の具体例の符号化回路を説明する図。 従来の復号化回路を説明する図。 本発明を説明するための図であって、本発明による第１の具体例の復号化回路を説明する図。 ＭＭＲの２次元符号化を説明する図。 本発明で用いられる可変長符号の符号化例とＭＭＲ符号化での符号化例を示す図。 ＭＭＲの符号化手順を説明するフローチャート。 ＭＭＲの符号化手順を説明する図、 本発明を説明するための図であって、本発明方式におけるラスタ順に符号化する手順を説明する図。 本発明を説明するための図であって、本発明方式における垂直パスモードが必要となる例を表す図。 本発明を説明するための図であって、垂直パスモードの第１の例を説明する図。 本発明を説明するための図であって、垂直パスモードの第２の例を説明する図。 本発明を説明するための図であって、ラスタ順に符号化する場合の符号化手順を説明するためのフローチャート。 本発明を説明するための図であって、フレーム間の参照ラインを用いる符号化／復号化装置のブロック図。 本発明を説明するための図であって、フレーム内とフレーム間の参照ラインを説明するための図。 本発明を説明するための図であって、フレーム間の参照ラインを用いる符号化手順を説明するためのフローチャート。 本発明を説明するための図であって、本発明での符号化モードの切り換えを説明するための図。 本発明を説明するための図であって、本発明でのブロックラインのスキップを説明するための図。 本発明を説明するための図であって、本発明でのNOT CODED モードを用いる場合の符号化手順を説明するためのフローチャート。 本発明を説明するための図であって、本発明における複数の参照ラインを用いる場合を説明するための図。 本発明を説明するための図であって、本発明における２つの参照ラインを用いる場合での符号化手順のフローチャート。 本発明を説明するための図であって、適用対象とする一例としての多値のアルファマップを説明する図。 本発明を説明するための図であって、本発明での多値のアルファマップの符号化法を適用するための構成例を説明するためのブロック図。 本発明を説明するための図であって、本発明における第２の具体例を説明する図。 本発明を説明するための図であって、本発明における第３の具体例を説明する図。 本発明を説明するための図であって、本発明における第３の具体例を説明するブロック図。 アルファマップを説明する図。 本発明の他の例を説明するための図。 本発明を説明するための図であって、本発明における第４の具体例を説明する図。 本発明を説明するための図であって、本発明における第４の具体例を実現する装置構成例を示すブロック図。 本発明を説明するための図であって、マクロブロックＭＢを説明するための図。 本発明における第５の具体例を説明するための図。 本発明を説明するための図であって、本発明における第５の具体例を説明するための図。 本発明を説明するための図であって、本発明における第６の具体例を説明するための図。 本発明を説明するための図であって、本発明における第７の具体例を説明するための図。 本発明を説明するための図であって、本発明における第８の具体例を説明するための図。 本発明の応用例を説明するための図。 本発明の第８の具体例を説明するための図であって、アルファマップのＭＶ検出及び符号化を表す図。 本発明の第９の具体例を説明するための図であって、アルファマップのブロック属性をビットプレーンに分解する図。 本発明の第９の具体例を説明するための図であって、アルファマップのブロック属性のビットプレーンを符号化する例。 本発明の第１０の具体例を説明するための図であって、時刻 n と時刻 n-1におけるあるマクロブロックの属性情報の一例を表した図（アルファマップのブロック属性のフレーム間相関を示す図）。 本発明の第１０の具体例を説明するための図であって、時刻 n-1 のラベルのサイズを、時刻 n のラベルのサイズに合わせる手順の例を示す図。 本発明の第１０の具体例を説明するための図であって、フレーム間符号化と、フレーム内符号化を表す図。 本発明の第１０の具体例を説明するための図であって、ライン毎にまとめて符号化する例を表す図。 本発明の第１０の具体例を説明するための図であって、各ラベルを符号化するための可変長符号表の例。 本発明の第１０の具体例を説明するための図であって、本発明の復号化装置および符号装置の構成例を示すブロック図である。 本発明の第１１の具体例を説明するための図であって、ベクトル量子化を用いた本発明の符号化装置の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、ベクトル量子化を用いた本発明の復号装置の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本発明システムに用いるインデックステーブル生成器１６０９の例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本発明システムに用いるインデックステーブル生成器の第２の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本発明システムに用いるインデックステーブル生成器の第３の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本発明システムに用いるタイプ決定器１６１６の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本具体例における符号化装置全体の処理の流れを示すフローチャート。 本発明の第１１の具体例を説明するための図であって、図５２に示した本具体例における復号装置の処理の流れを示すフローチャート。 本発明の第１１の具体例を説明するための図であって、アルファマップの例を示す図。 本発明の第１１の具体例を説明するための図であって、途中まで符号化、復号されたアルファマップの例を示す図。 本発明の第１１の具体例を説明するための図であって、参照部分を示す図。 本発明の第１１の具体例を説明するための図であって、ブロックを再分割した時の参照部分を説明する図。 本発明の第１１の具体例を説明するための図であって、ＲＴとＲＬを説明するための図。 本発明の第１１の具体例を説明するための図であって、境界線の向きの推定を説明するための図。 本発明の第１１の具体例を説明するための図であって、本発明で使用する評価値の計算例を説明するための図。 本発明の第１１の具体例を説明するための図であって、許容誤差条件を判定するためのブロックを説明する図。 本発明の第１１の具体例を説明するための図であって、本発明の具体例を示すフローチャート。 本発明の第１１の具体例を説明するための図であって、本発明で用いるタイプ決定器１６１６での処理アルゴリズムを示すフローチャート。 本発明の第１１の具体例を説明するための図であって、図５１のベクトル量子化器１６０７において用いるアルゴリズムを説明するフローチャート。 本発明の第１１の具体例を説明するための図であって、本発明に用いるタイプＭとＲＴ、ＲＬを用いたインデックステーブルの構成例を示す図。 本発明の第１１の具体例を説明するための図であって、本発明の符号化装置の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、図７１に示した符号化装置で生成される符号の復号を行う復号装置の具体例を示すブロック図。 本発明の第１１の具体例を説明するための図であって、本発明に用いるＶＬＣテーブルの例を示す図。 本発明の第１１の具体例を説明するための図であって、ブロック単位で符号化する場合の変化画素の関係を表す図およびｂ１を検出する為の参照領域を表す図（ブロックベース符号化の変化画素の関係と参照領域を表す図）。 本発明の第１１の具体例を説明するための図であって、ＭＭＲをブロックベースで符号化する場合のフローチャート。

符号の説明

１００…差分回路
１１０，３５０…動き補償予測回路
１２０…直交変換回路
１３０…量子化回路
１４０…可変長符号化回路
１５０，３２０…逆量子化回路
１６０，３３０…逆直交変換回路
１７０，３４０…加算回路
１８０，２４０，５１０…多重化回路
２００…アルファマップ符号化回路
２１０，２３０，４２０…解像度変換回路
２２０…２値画像符号化回路
２２１…２次元符号化回路
２２２…ラインメモリ
２２３…フレームメモリ
３００，４３０，５２０…分離化回路
３１０…可変長復号化回路
４００…アルファマップ復号化回路
４１０…２値画像復号化回路
５００…オブジェクト領域検出回路
５３０…アルファマップ復元回路
６２１，６２２…フレームメモリ
６２３…制御手段
１６１３…ベクトル逆量子化器
１６０５…メモリ
１６０７…ベクトル量子化器
１６０９，１６３９…インデックステーブル生成器
１６３６…逆量子化器
１６３７…メモリ
２０００…符号化／復号化回路
２１００…ラインメモリ
２２００…セレクタ
２３００…フレームメモリ
２４００…動き補償予測回路
２５００…シェープコーディング部（２値画像符号化回路）
２６００…アルファバリューコーディング部（多値画像符号化回路）。

Claims (2)

1. 画像のオブジェクトを含む方形領域を分割したＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成されるブロックを符号化した符号化データと前記ブロック内のスキャン順序である符号化順序の切り換え情報を示す符号とが多重化された多重化符号化データを入力するステップと、
   前記符号化データから前記符号を復号して前記切り換え情報を得る復号ステップと、
   前記復号ステップにより得られた切り換え情報を基にブロック内のスキャン順序である復号化順序を切り換える切換ステップと、
   前記切換ステップにより前記復号化順序を切り換えながら前記多重化符号化データ中のブロックの符号化データを復号して前記ブロックを再生するブロック復号ステップとを具備することを特徴とする画像復号化方法。
2. 画像のオブジェクトを含む方形領域を分割したＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成されるブロックを符号化した符号化データと前記ブロック内のスキャン順序である符号化順序の切り換え情報を示す符号とが多重化された多重化符号化データを入力する手段と、
   前記符号化データから前記符号を復号して前記切り換え情報を得る復号手段と、
   前記復号手段により得られた切り換え情報を基にブロック内のスキャン順序である復号化順序を切り換える切換手段と、
   前記切換手段により前記復号化順序を切り換えながら前記多重化符号化データ中のブロックの符号化データを復号して前記ブロックを再生するブロック復号手段とを具備することを特徴とする画像復号化装置。

Images