JP2001160971A - デジタル画像符号化方法及びデジタル画像符号化装置，デジタル画像復号化方法及びデジタル画像復号化装置，並びにデータ記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 任意形状を有する物体に対応する高解像度テ
キスチャー信号を、該物体に対応する低解像度テキスチ
ャー信号から得られる予測信号を用いて単位領域毎に差
分符号化する階層符号化処理を行う際、物体の境界部に
位置する単位領域に対応する高解像度テキスチャー信号
を符号化効率の劣化を抑えつつ圧縮する。 【解決手段】 高解像度テキスチャー信号の差分符号化
を行う符号化部１１００ａと、低解像度テキスチャー信
号の差分符号化を行う符号化部１１００ｂとを備え、上
記符号化部１１００ｂにおける補填器１３８により、該
符号化器１１００ｂで再生した低解像度テキスチャー信
号の有意でないサンプル値を、その有意なサンプル値か
ら得られた擬似サンプル値により補填する処理を行い、
該補填処理を施した再生低解像度テキスチャー信号を上
記予測信号として用いるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像信号
を符号化する方法及び装置、符号化されたデジタル画像
信号を復号化する方法及び装置、並びにデジタル画像信
号の符号化及び復号化処理をコンピュータにより行わせ
るためのプログラムを格納したデータ記憶媒体に関し、
特に、任意形状を有する物体の画像に対する時空間階層
符号化処理及びこれに対応する時空間階層復号化処理に
関するものである。

【０００２】

【従来の技術】デジタル画像情報を効率よく蓄積もしく
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、ＪＰＥＧ(Joint Photographic Co
ding Experts Group）やＭＰＥＧ(Moving Picture Expe
rts Group)に代表される離散コサイン変換（ＤＣＴ）の
他に、サブバンド、ウェアブレット、フラクタル等の波
形符号化方法がある。

【０００３】また、隣接するフレーム等の画面の間にお
ける冗長な画像情報を取り除く方法としては、動き補償
を用いた画面間予測を行い、つまり現画面の画素の画素
値を、これと前画面の画素の画素値との差分を用いて表
し、この差分信号を波形符号化する方法がある。

【０００４】最近では、圧縮効率を向上させると同時
に、１画面を構成する、個々の物体に対応した領域（以
下、画像空間という。）毎に画像信号を再生できるよ
う、画像信号を物体毎に別々に圧縮符号化して伝送する
方式が実用化されている。この方式では、再生側で、そ
れぞれの物体に対応する、符号化された画像信号を復号
化し、この復号化により再生した個々の物体の画像を合
成して、１画面に相当する画像の表示を行っている。こ
のように物体単位で画像信号を符号化することにより、
表示すべき物体の画像を自由に組み合わせて合成するこ
とが可能となり、これにより動画像を簡単に再編集でき
るようになる。また、この方式では、通信路の混み具合
や再生装置の性能、さらに視聴者の好みに応じて、比較
的に重要でない物体の画像については再生を行わずに、
動画像の表示を行うことができる。

【０００５】具体的には、任意の形状を有する物体の画
像（以下、物体画像と略記する。）を含む画像空間を形
成するための画像信号を符号化する方法としては、従来
から、その形状に適した変換方法（たとえば形状適応離
散コサイン変換）を用いる符号化方法や、画像空間の無
効領域（つまり物体画像の外側領域）を構成する画素の
画素値を所定の方法により補填した後、該画像空間に対
応する複数の画素値からなる画像信号を、該画像空間を
区分する単位領域（８×８画素からなるブロック）毎に
コサイン変換するといった符号化方法がある。

【０００６】また、フレーム等の画面の間での冗長な信
号を取り除く具体的な方法としては、１６×１６画素か
らなるマクロブロックを単位領域として、符号化処理の
対象となる対象マクロブロックに対応する画像信号と、
その予測信号との差分をとる方法がある。ここで、上記
予測信号は、動き補償により得られる予測領域に対応す
る画像信号である。なお、動き補償は、既に符号化処理
あるいは復号化処理が施された画面内における、対象マ
クロブロックの画像信号との差分が最も小さくなる画像
信号を与える１６×１６画素からなる領域を予測領域と
して検出する処理である。

【０００７】ところが、この予測領域も、これが画像空
間における物体画像の境界に位置するものである場合に
は、有意でない（定義されていない）サンプル値（画素
値）を有する画素を含むこととなる。そこで、このよう
な予測領域については、これに対応する画像信号に対し
て、その有意でないサンプル値を有意な擬似的なサンプ
ル値で置換する補填処理を施した後、補填処理を施した
予測信号と対象マクロブロックの画像信号との差分を予
測誤差信号（差分信号）として求め、該差分信号に対す
る符号化のための変換処理を施すようにしている。ここ
で、予測領域に対する補填処理を行うのは、差分信号を
抑圧するため、言い換えると、差分信号を符号化する際
の符号量を削減するためである。

【０００８】また、各物体に対応する画像信号，つまり
物体画像を含む画像空間を形成するための画像信号とし
て、解像度が異なる複数の階層に対応した画像信号を用
い、各階層の画像信号を符号化し復号化する、スケーラ
ビリティと呼ばれる階層的な処理方法がある。

【０００９】このような階層的な処理方法では、伝送さ
れるデータ（符号化ビットストリーム）から取り出した
一部のビット列を復号化することにより、解像度の低い
物体画像を再生でき、また、すべてのデータを復号化す
ることにより、解像度の高い物体画像を再生することが
できる。

【００１０】ところで、上記階層的な符号化（スケーラ
ビリティ符号化）処理では、解像度の高い画像に対応す
る画像信号（高解像度画像信号）を、解像度の低い画像
に対応する画像信号（低解像度画像信号）に基づいて符
号化している。つまり、符号化処理の対象となる対象ブ
ロックに対応する高解像度画像信号を、これに対応する
低解像度画像信号を用いて予測して予測画像信号を生成
し、該対象ブロックの高解像度画像信号から該予測画像
信号を引き算して得られる差分信号を符号化するように
している。

【００１１】また、画像信号を物体単位で符号化する場
合、画像信号として、物体の任意の形状を示す形状信号
も、物体画像を階調カラー表示するための、輝度信号及
び色差信号を含むテキスチャー信号とともに符号化する
ため、各物体に対応する画像信号に対してスケーラビリ
ティ符号化を行う際には、上記テキスチャー信号だけで
なく、上記形状信号も、高解像度信号と低解像度信号と
に分けて階層的に符号化する必要がある。

【００１２】

【発明が解決しようとする課題】このような物体単位の
スケーラビリティ符号化においては、低解像度テキスチ
ャー信号から効率よく高解像度テキスチャー信号を予測
することが要求される。特に物体の境界に位置するマク
ロブロックに対応する低解像度テキスチャー信号には、
有意でない（定義されていない）サンプル値（画素値）
が含まれるため、この低解像度テキスチャー信号をその
まま用いて予測信号を生成し、該予測信号を、符号化処
理の対象となる対象マクロブロックの高解像度テキスチ
ャー信号から引き算すると、差分信号における、物体の
境界部に位置する画素に対応する差分画素値は大きな値
となり、効率よく高解像度テキスチャー信号を符号化す
ることができない。

【００１３】また、形状信号を、解像度が異なる複数の
階層，具体的には高解像度階層と低解像度階層に対応す
るよう分けるため、低解像度形状信号から得られる物体
形状と高解像度形状信号から得られる物体形状との間
で、物体の内部か外部を示す境界（物体の輪郭）のずれ
が生じてしまう。これは、高解像度形状信号から低解像
度形状信号を生成する時に、ダウンサンプル処理により
低解像度形状信号による物体画像の形状が、高解像度形
状信号による物体画像の形状に対して変形することとな
り、また、高解像度形状信号及び低解像度形状信号に対
する圧縮処理によっても、該両形状信号による物体形状
が変形するからである。

【００１４】この場合、高解像度テキスチャー信号によ
り形成される画像空間における特定のマクロブロック領
域が物体画像の内部に含まれているにも拘わらず、低解
像度テキスチャー信号により形成される画像空間では、
該特定のマクロブロック領域が完全に物体画像の外部に
位置するといった状況が生じる。このような状況では、
低解像度テキスチャー信号に基づく、高解像度テキスチ
ャー信号の予測信号を用いても、高解像度テキスチャー
信号とその予測信号との差分信号を効率よく抑圧するこ
とができない。

【００１５】本発明は、上記のような問題点を解決する
ためになされたもので、任意形状を有する物体画像を含
む画像空間を形成するための画像信号に基づいて、解像
度の異なる複数の階層に対応する画像信号を生成し、高
解像度画像信号を低解像度画像信号を用いて単位領域毎
に差分符号化する階層符号化処理を行う際、物体の境界
部に位置する単位領域の画像信号を符号化効率よく圧縮
することができるデジタル画像符号化方法及びデジタル
画像符号化装置を得ることを目的とする。

【００１６】また、本発明は、物体画像を含む画像空間
を形成するための画像信号を符号化効率よく圧縮可能な
階層符号化処理により得られた画像符号化信号を、対応
する階層復号化処理により正しく再生することができる
デジタル画像復号化方法及びデジタル画像復号化装置を
得ることを目的とする。

【００１７】さらに、本発明は、上記デジタル画像符号
化方法による階層符号化処理及びデジタル画像復号化方
法による階層復号化処理をコンピュータにより実現する
ためのプログラムを格納したデータ記録媒体を得ること
を目的とする。

【００１８】

【課題を解決するための手段】この発明（請求項１）に
係るデジタル画像符号化方法は、任意形状を有する画像
を含む複数の画素からなる画像空間を形成するための、
解像度が異なる第１及び第２の入力画像信号を符号化す
るデジタル画像符号化方法であって、上記第１の入力画
像信号を圧縮し符号化して第１の符号化画像信号を生成
し、かつ該圧縮された第１の入力画像信号を伸長して第
１の再生画像信号を生成する符号化処理を、上記画像空
間を区分する単位領域毎に行い、また、上記各単位領域
に対応する第１の再生画像信号に対して、その有意でな
い画素値を所定の方法により得られた擬似画素値と置き
換える補填処理を施し、該補填処理が施された第１の再
生画像信号に基づいて、該各単位領域に対応する第２の
入力画像信号を予測して予測信号を生成し、さらに、該
各単位領域に対応する第２の入力画像信号とその予測信
号との差分である差分信号を圧縮し符号化して符号化差
分信号を生成し、かつ該圧縮された差分信号を伸長し、
該伸長された差分信号に上記予測信号を加算して第２の
再生画像信号を生成する差分符号化処理を、上記単位領
域毎に行うものである。

【００１９】この発明（請求項２）は、請求項１記載の
デジタル画像符号化方法において、上記各単位領域に対
応する第１の再生画像信号に対する補填処理として、該
第１の再生画像信号における有意でない画素値を、該第
１の再生画像信号における有意な画素値に基づいて得ら
れた擬似画素値と置き換える処理を行うものである。

【００２０】この発明（請求項３）に係るデジタル画像
符号化装置は、任意形状を有する画像を含む複数の画素
からなる画像空間を形成するための第１の入力画像信号
を符号化する第１の符号化処理部と、上記画像を含む複
数の画素からなる画像空間を形成するための、解像度が
第１の入力画像信号とは異なる第２の入力画像信号を符
号化する第２の符号化処理部とを備え、上記第１の符号
化処理部を、上記第１の入力画像信号を圧縮し符号化し
て第１の符号化画像信号を生成し、かつ該圧縮された第
１の入力画像信号を伸長して第１の再生画像信号を生成
する符号化処理を、上記画像空間を区分する単位領域毎
に行う第１の符号化手段と、上記各単位領域に対応する
第１の再生画像信号に対して、その有意でない画素値を
所定の方法により得られた擬似画素値と置き換える補填
処理を施す補填手段とを有する構成とし、上記第２の符
号化処理部を、上記補填処理が施された第１の再生画像
信号に基づいて、上記各単位領域に対応する第２の入力
画像信号を予測して予測信号を生成する予測信号生成手
段と、上記各単位領域に対応する第２の入力画像信号と
その予測信号の差分信号を圧縮し符号化して符号化差分
信号を生成し、かつ、該圧縮された差分信号を伸長し、
該伸長された差分信号に上記予測信号を加算して第２の
再生画像信号を生成する差分符号化処理を、上記単位領
域毎に行う第２の符号化手段とを有する構成としたもの
である。

【００２１】この発明（請求項４）は、請求項３記載の
デジタル画像符号化装置において、上記補填処理が施さ
れた第１の再生画像信号を、その解像度が上記第２の入
力画像信号の解像度と一致するよう変換して解像度変換
信号を出力する解像度変換手段を備え、上記予測信号生
成手段を、上記第２の再生画像信号に基づいて各単位領
域に対応する第２の入力画像信号を予測して補助予測信
号を生成する予測手段と、該補助予測信号と上記解像度
変換信号とを、上記第２の入力画像信号に含まれる制御
情報に基づいて切り替えるスイッチ手段とを有し、該ス
イッチ手段の出力を上記各単位領域に対応する第２の入
力画像信号の予測信号として出力する構成としたもので
ある。

【００２２】この発明（請求項５）は、請求項３記載の
デジタル画像符号化装置において、上記補填処理が施さ
れた第１の再生画像信号を、その解像度が上記第２の入
力画像信号の解像度と一致するよう変換して解像度変換
信号を出力する解像度変換手段を備え、上記予測信号生
成手段を、上記第２の再生画像信号に基づいて各単位領
域に対応する第２の入力画像信号を予測して補助予測信
号を生成する予測手段と、該補助予測信号と上記解像度
変換信号とを重み付けして平均化する平均化手段とを有
し、該平均化手段の出力を上記各単位領域に対応する第
２の入力画像信号の予測信号として出力する構成とした
ものである。

【００２３】この発明（請求項６）は、請求項５記載の
デジタル画像符号化装置において、上記補填手段を、上
記第１の再生画像信号における有意でない画素値を、該
第１の再生画像信号における有意な画素値に基づいて得
られた擬似画素値と置き換える補填処理を行う構成とし
たものである。

【００２４】この発明（請求項７）は、請求項３記載の
デジタル画像符号化装置において、上記第１の符号化手
段を、上記各単位領域に対応する第１の入力画像信号と
その予測信号との差分を求めて差分信号を出力する演算
器と、該差分信号を圧縮する圧縮器と、該圧縮された差
分信号を符号化する符号化器と、上記圧縮された差分信
号を伸長する伸長器と、該伸長器の出力と上記第１の入
力画像信号の予測信号とを加算して第１の再生画像信号
を上記補填手段に出力する加算器と、上記補填手段の出
力を記憶するフレームメモリと、該フレームメモリに記
憶されている補填処理が施された第１の再生画像信号に
基づいて、上記各単位領域に対応する上記第１の入力画
像信号の予測信号を生成する予測信号生成器とを有する
構成としたものである。

【００２５】この発明（請求項８）に係るデジタル画像
復号化方法は、任意形状を有する画像を含む複数の画素
からなる画像空間を形成するための解像度が異なる第
１，第２の画像信号に、符号化処理を施して得られる第
１，第２の符号化画像信号を復号化して第１，第２の再
生画像信号を生成するデジタル画像復号化方法であっ
て、上記第１の符号化画像信号から第１の再生画像信号
を生成する復号化処理を、上記画像空間を区分する単位
領域毎に行い、また、上記各単位領域に対応する第１の
再生画像信号に対して、その有意でない画素値を所定の
方法により得られた擬似画素値と置き換える補填処理を
施し、該補填処理が施された第１の再生画像信号から、
該各単位領域に対応する第２の再生画像信号を予測して
再生予測信号を生成し、さらに、該各単位領域に対応す
る第２の符号化画像信号を復号化して、第２の画像信号
とその予測信号との差分信号を再生し、該差分信号に上
記再生予測信号を加算して第２の再生画像信号を生成す
る差分復号化処理を、上記単位領域毎に行うものであ
る。

【００２６】この発明（請求項９）は、請求項８記載の
デジタル画像復号化方法において、上記各単位領域に対
応する第１の再生画像信号に対する補填処理として、上
記第１の再生画像信号における有意でない画素値を、該
第１の再生画像信号における有意な画素値に基づいて得
られた擬似画素値と置き換える処理を行うものである。

【００２７】この発明（請求項１０）に係るデジタル画
像復号化装置は、任意形状を有する画像を含む複数の画
素からなる画像空間を形成するための第１の画像信号
に、符号化処理を施して得られる第１の符号化画像信号
を復号化して第１の再生画像信号を生成する第１の復号
化処理部と、上記画像を含む複数の画素からなる画像空
間を形成するための、解像度が上記第１の画像信号とは
異なる第２の画像信号に、符号化処理を施して得られる
第２の符号化画像信号を復号化して第２の再生画像信号
を生成する第２の復号化処理部とを備え、上記第１の復
号化処理部を、上記第１の符号化画像信号から第１の再
生画像信号を生成する復号化処理を、上記画像空間を区
分する単位領域毎に行う第１の復号化手段と、上記各単
位領域に対応する第１の再生画像信号に対して、その有
意でない画素値を所定の方法により得られた擬似画素値
と置き換える補填処理を施す補填手段とを有する構成と
し、上記第２の復号化処理部を、上記補填処理が施され
た第１の再生画像信号から、上記各単位領域に対応する
第２の再生画像信号を予測して再生予測信号を生成する
予測信号生成手段と、上記各単位領域に対応する第２の
符号化画像信号を復号化して、上記第２の画像信号とそ
の予測信号との差分信号を再生し、該差分信号に上記再
生予測信号を加算して第２の再生画像信号を生成する差
分復号化処理を、上記単位領域毎に行う第２の復号化手
段とを有する構成としたものである。

【００２８】この発明（請求項１１）は、請求項１０記
載のデジタル画像復号化装置において、上記補填処理が
施された第１の再生画像信号を、その解像度が上記第２
の再生画像信号の解像度と一致するよう変換して解像度
変換信号を出力する解像度変換手段を備え、上記予測信
号生成手段を、上記第２の再生画像信号に基づいて各単
位領域に対応する第２の再生画像信号を予測して補助予
測信号を生成する予測手段と、該補助予測信号と上記解
像度変換信号とを、上記第２の符号化画像信号に含まれ
る制御情報に基づいて切り替えるスイッチ手段とを有
し、該スイッチ手段の出力を上記各単位領域に対応する
第２の再生画像信号の予測信号として出力する構成とし
たものである。

【００２９】この発明（請求項１２）は、請求項１０記
載のデジタル画像復号化装置において、上記補填処理が
施された第１の再生画像信号を、その解像度が上記第２
の再生画像信号の解像度と一致するよう変換して解像度
変換信号を出力する解像度変換手段を備え、上記予測信
号生成手段を、上記第２の再生画像信号に基づいて各単
位領域に対応する第２の再生画像信号を予測して補助予
測信号を生成する予測手段と、該補助予測信号と上記解
像度変換信号とを重み付けして平均化する平均化手段と
を有し、該平均化手段の出力を上記各単位領域に対応す
る第２の再生画像信号の再生予測信号として出力する構
成としたものである。

【００３０】この発明（請求項１３）は、請求項１２記
載のデジタル画像復号化装置において、上記補填手段
を、上記第１の再生画像信号における有意でない画素値
を、該第１の再生画像信号における有意な画素値に基づ
いて得られた擬似画素値と置き換える補填処理を行う構
成としたものである。

【００３１】この発明（請求項１４）は、請求項１０記
載のデジタル画像復号化装置において、上記第１の符号
化画像信号を、各単位領域に対応する第１の画像信号と
その予測信号との差分である差分信号を圧縮し符号化し
てなる差分符号化信号とし、上記第１の復号化手段を、
上記差分符号化信号を復号化する復号化器と、該復号化
器の出力を伸長して再生差分信号を生成する伸長器と、
該伸長器の出力である再生差分信号と上記第１の再生画
像信号の再生予測信号とを加算して第１の再生画像信号
を上記補填手段に出力する加算器と、上記補填手段の出
力を記憶するフレームメモリと、該フレームメモリに記
憶されている補填処理が施された第１の再生画像信号に
基づいて、各単位領域に対応する上記第１の再生画像信
号の再生予測信号を生成する予測信号生成器とを有する
構成としたものである。

【００３２】この発明（請求項１５）に係るデータ記憶
媒体は、コンピュータにより、任意形状を有する画像を
含む複数の画素からなる画像空間を形成するための、解
像度が異なる第１及び第２の入力画像信号を符号化する
処理を行わせるためのプログラムを格納したデータ記憶
媒体であって、上記プログラムとして、コンピュータ
に、上記第１の入力画像信号を圧縮し符号化して第１の
符号化画像信号を生成し、かつ該圧縮された第１の入力
画像信号を伸長して第１の再生画像信号を生成する符号
化処理を、上記画像空間を区分する単位領域毎に行う処
理、上記各単位領域に対応する第１の再生画像信号に対
して、その有意でない画素値を所定の方法により得られ
た擬似画素値と置き換える補填処理を施し、該補填処理
が施された第１の再生画像信号に基づいて、該各単位領
域に対応する第２の入力画像信号を予測して予測信号を
生成する処理、及び該各単位領域に対応する第２の入力
画像信号とその予測信号との差分である差分信号を圧縮
し符号化して符号化差分信号を生成し、かつ、該圧縮さ
れた差分信号を伸長し、該伸長された差分信号に上記予
測信号を加算して第２の再生画像信号を生成する差分圧
縮符号化を、上記単位領域毎に行う処理を、行わせるプ
ログラムを格納したものである。

【００３３】この発明（請求項１６）に係るデータ記憶
媒体は、コンピュータに、任意形状を有する画像を含む
複数の画素からなる画像空間を再生するための解像度が
異なる第１，第２の画像信号に、符号化処理を施して得
られる第１，第２の符号化画像信号を復号化して第１，
第２の再生画像信号を生成する処理を行わせるためのプ
ログラムを格納したデータ記憶媒体であって、上記プロ
グラムとして、コンピュータに、上記第１の符号化画像
信号から第１の再生画像信号を生成する復号化処理を、
上記画像空間を区分する単位領域毎に行う処理、上記各
単位領域に対応する第１の再生画像信号に対して、その
有意でない画素値を所定の方法により得られた擬似画素
値と置き換える補填処理を施し、該補填処理が施された
第１の再生画像信号から、該各単位領域に対応する第２
の再生画像信号を予測して再生予測信号を生成する処
理、及び該各単位領域に対応する第２の符号化画像信号
を復号化して、第２の画像信号とその予測信号との差分
信号を再生し、該差分信号に上記再生予測信号を加算し
て第２の再生画像信号を生成する差分復号化処理を、上
記単位領域毎に行う処理を、行わせるプログラムを格納
したものである。

【００３４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１から図１２を用いて説明する。 実施の形態１．図１は本発明の実施の形態１によるデジ
タル画像符号化装置１０００を説明するためのブロック
図である。

【００３５】このデジタル画像符号化装置１０００は、
画像信号のスケーラビリティ符号化を物体単位で行うも
のであり、上記画像信号を構成する、物体をカラー表示
するためのテキスチャー信号に対するスケーラビリティ
符号化処理を行うテキスチャー符号化部１１００と、上
記画像信号を構成する、物体の形状を示す形状信号に対
するスケーラビリティ符号化処理を行う形状符号化部１
２００とを有している。

【００３６】上記テキスチャー符号化部１１００は、テ
キスチャー信号を受け、解像度が高い階層に対応するテ
キスチャー信号（以下、高解像度テキスチャー信号とい
う。）と、解像度が低い階層に対応するテキスチャー信
号（以下、低解像度テキスチャー信号という。）とを生
成するテキスチャー前処理器１１００ｃと、高解像度テ
キスチャー信号を、符号化処理の単位となるブロックに
対応するよう分割するブロック化器１１２０ａと、低解
像度テキスチャー信号を、符号化処理の単位となるブロ
ックに対応するよう分割するブロック化器１１２０ｂと
を有している。

【００３７】上記前処理器１１００ｃは、図３(a)に示
すように、その入力端子２０３に受けた上記テキスチャ
ー信号Ｓｔに対するフィルタ処理を行うローパスフィル
タ（ＬＰＦ）２０１と、該フィルタ２０１の出力をダウ
ンサンプルにより間引く間引き器２０２とを有し、上記
テキスチャー信号Ｓｔをそのまま第１の出力端子２１６
に高解像度テキスチャー信号Ｓｔｈとして出力し、かつ
上記間引き器２０２により間引かれたテキスチャー信号
を低解像度テキスチャー信号Ｓｔｄとして第２の出力端
子２０４に出力する構成となっている。

【００３８】また、上記テキスチャー符号化部１１００
は、上記低解像度テキスチャー信号に対して、所定の物
体の表示領域（つまり任意形状を有する物体の画像を含
む画像空間）を区分する単位処理領域（ブロック）毎に
差分符号化処理を施して低解像度テキスチャー差分符号
化信号（以下、ＬＴ差分符号化信号という。）Ｅｔｄを
出力する符号化器１１００ｂと、該低解像度テキスチャ
ー信号Ｓｔｄの差分符号化処理に用いる再生信号を、高
解像度テキスチャー信号Ｓｔｈの差分符号化処理に利用
できるよう、その解像度の変換を行うテキスチャー変換
器１１２５と、該テキスチャー変換器１１２５の出力に
基づいて、上記高解像度テキスチャー信号Ｓｔｈに対し
て上記単位処理領域（ブロック）毎に差分符号化処理を
施して高解像度テキスチャー差分符号化信号（以下、Ｈ
Ｔ差分符号化信号という。）Ｅｔｈを出力する符号化器
１１００ａとを有している。

【００３９】上記形状符号化部１２００は、上記形状信
号Ｓｋを受け、解像度が高い階層に対応する形状信号
（以下、高解像度形状信号という。）Ｓｋｈと、解像度
が低い階層に対応する形状信号（以下、低解像度形状信
号という。）Ｓｋｄとを生成する形状前処理器１２００
ｃを有している。この形状前処理器１２００ｃも上記テ
キスチャー前処理器１１００ｃと全く同様な構成となっ
ている。また、上記形状符号化部１２００は、上記低解
像度形状信号Ｓｋｄに対して、所定の物体の表示領域
（任意形状を有する物体の画像を含む画像空間）を区分
する単位処理領域（ブロック）毎に差分符号化処理を施
して低解像度形状差分符号化信号（以下、ＬＳ差分符号
化信号という。）Ｅｋｄを出力する符号化器１２００ｂ
と、該低解像度形状信号Ｓｋｄの差分符号化処理に用い
る再生信号を、高解像度形状信号Ｓｋｈの差分符号化処
理に利用できるよう、その解像度の変換を行う形状変換
器１２２５と、該形状変換器１２２５の出力に基づい
て、上記高解像度形状信号Ｓｋｈに対して上記単位処理
領域（ブロック）毎に差分符号化処理を施して高解像度
形状差分符号化信号（以下、ＨＳ差分符号化信号）Ｅｋ
ｈを出力する符号化器１２００ａとを有している。

【００４０】なお、図示していないが、上記各符号化器
はそれぞれ、入力されるテキスチャー信号あるいは形状
信号に基づいて各処理単位領域（ブロック）毎に行われ
る符号化処理のモードを判定するモード判定器を有する
構成となっている。

【００４１】次に、図２を用いて、上記テキスチャー符
号化部１１００における各符号化器１１００ａ及び１１
００ｂの詳細な構成について説明する。

【００４２】上記低解像度テキスチャー符号化器１１０
０ｂは、符号化処理の対象となる対象ブロックの低解像
度テキスチャー信号と、その予測信号との差分信号を生
成する第１の加算器１３２と、該加算器１３２の出力で
ある差分信号を圧縮する第１の情報圧縮器（ＥＮＣ）１
３３と、該情報圧縮器１３３の出力を可変長符号化する
第１の可変長符号化器（ＶＬＣ）１３４と、上記予測信
号を生成する予測信号生成部１１１０ｂとから構成され
ている。

【００４３】ここで、上記第１の情報圧縮器１３３は、
図４(a)に示すように、対象ブロックの低解像度テキス
チャー信号とその予測信号との差分信号３０４に対し
て、周波数変換処理の一種であるＤＣＴ（離散コサイン
変換）処理を施すＤＣＴ変換器３０２と、該周波数変換
により得られる差分信号の周波数成分３０５を量子化し
て量子化信号３０６を出力する量子化器３０３とから構
成されている。

【００４４】上記予測信号生成部１１１０ｂは、上記第
１の情報圧縮器１３３の出力（差分圧縮信号）を伸長し
て上記差分信号を再生する第１の情報伸長器（ＤＥＣ）
１３６と、上記予測信号と該情報伸長器１３６からの再
生差分信号とを加算して低解像度テキスチャー信号を再
生する第２の加算器１３７とを有している。

【００４５】ここで、上記第１の情報伸長器１３６は、
図４(b)に示すように、上記圧縮差分信号３１０を逆量
子化する逆量子化器３０８と、逆量子化された圧縮差分
信号３１１に対し、周波数領域のデータから空間領域の
データに変換するＩＤＣＴ処理を施して伸長差分信号３
１２を出力するＩＤＣＴ器３０９とから構成されてい
る。

【００４６】また、上記予測信号生成部１１１０ｂは、
該加算器１３７の出力を受け、再生低解像度テキスチャ
ー信号における有意でないサンプル値（画素値）を、上
記低解像度形状符号化器１２００ｂにて再生された低解
像度形状信号に基づいて補填する第１の補填器１３８
と、該補填器１３８の出力である、補填された再生低解
像度テキスチャー信号を格納する第１のフレームメモリ
１３９とを有しており、この補填器１３８の出力は、上
記テキスチャー変換器１１２５にも出力されるようにな
っている。

【００４７】さらに、上記予測信号生成部１１１０ｂ
は、該第１のフレームメモリ１３９の出力と、入力され
る低解像度テキスチャー信号Ｓｔｄとに基づいて、対象
ブロックの低解像度テキスチャー信号との誤差が最も小
さい予測信号を与える、該対象ブロックと同一サイズの
予測領域を示す動き変位情報（動きベクトル）を求めて
出力する第１の動き検出器（ＭＥ）１４１と、該動き検
出器１４１からの動きベクトルに基づいてフレームメモ
リ１３９のアドレスＡｄｄ１を発生し、上記フレームメ
モリ１３９から予測領域に対応する再生低解像度テキス
チャー信号を予測信号として読み出し、上記第１，第２
の加算器１３２，１３７に出力する第１の動き補償器
（ＭＣ）１４０とを有している。

【００４８】一方、上記高解像度テキスチャー符号化器
１１００ａも上記低解像度テキスチャー符号化器１１０
０ｂとほぼ同様な構成となっている。

【００４９】すなわち、上記高解像度テキスチャー符号
化器１１００ａは、符号化処理の対象となる対象ブロッ
クの高解像度テキスチャー信号と、その予測信号との差
分信号を生成する第３の加算器１０２と、該加算器１０
２の出力である差分信号を圧縮する第２の情報圧縮器
（ＥＮＣ）１０３と、該情報圧縮器１０３の出力を可変
長符号化する第２の可変長符号化器（ＶＬＣ）１０４
と、上記予測信号を生成する予測信号生成部１１１０ａ
とから構成されている。

【００５０】ここで、上記第２の情報圧縮器１０３は、
上記第１の情報圧縮器１３３と同様、対象ブロックの高
解像度テキスチャー信号とその予測信号との差分信号に
対して、周波数変換処理の一種であるＤＣＴ（離散コサ
イン変換）処理を施すＤＣＴ変換器３０２と、該周波数
変換により得られる差分信号の周波数成分を量子化する
量子化器３０３とから構成されている（図４(a)参
照）。

【００５１】上記予測信号生成部１１１０ａは、上記第
２の情報圧縮器１０３の出力（差分圧縮信号）を伸長し
て上記差分信号を再生する第２の情報伸長器（ＤＥＣ）
１０６と、上記予測信号と該情報伸長器１０６からの再
生差分信号とを加算して高解像度テキスチャー信号を再
生する第４の加算器１０７とを有している。

【００５２】また、上記予測信号生成部１１１０ａは、
該加算器１０７の出力を受け、再生高解像度テキスチャ
ー信号における有意でないサンプル値（画素値）を、上
記高解像度形状符号化器１２００ａにて再生された高解
像度形状信号に基づいて補填する第２の補填器１０８
と、該補填器１０８の出力である、補填された再生高解
像度テキスチャー信号を格納する第２のフレームメモリ
１０９とを有している。

【００５３】さらに、上記予測信号生成部１１１０ａ
は、該第２のフレームメモリ１０９の出力と、入力され
る高解像度テキスチャー信号とに基づいて、対象ブロッ
クの高解像度テキスチャー信号との誤差が最も小さい予
測信号を与える、対象ブロックと同一サイズの予測領域
を示す動き変位情報（動きベクトル）を求めて出力する
第２の動き検出器（ＭＥ）１１１と、該動き検出器１１
１からの動きベクトルに基づいて上記フレームメモリ１
０９のアドレスＡｄｄ２を発生し、上記フレームメモリ
１０９から予測領域に対応する再生高解像度テキスチャ
ー信号を予測信号として読み出す第２の動き補償器（Ｍ
Ｃ）１１０と、該第２の動き補償器（ＭＣ）１１０の出
力と上記テキスチャー変換器１１２５の出力とを平均化
して上記第３の加算器１０２に出力する平均化器（ＡＶ
Ｅ）１２４とを有している。

【００５４】ここでは、この平均化器１２４は、上記モ
ード判定器（図示せず）の出力に基づいて、該第２の動
き補償器（ＭＣ）１１０の出力と上記テキスチャー変換
器１１２５の出力とを一定比率の重み付けをして平均化
する構成となっている。

【００５５】なお、重み付け平均処理を行う平均化器１
２４に代えて、上記モード判定器の出力に基づいて第２
の動き補償器（ＭＣ）１１０の出力と上記テキスチャー
変換器１１２５の出力との一方を選択し、選択した出力
を高解像度テキスチャー信号の予測信号として上記第３
の加算器１０２に出力するようにしてもよい。

【００５６】次に、上記低解像度形状符号化器１２００
ｂ及び高解像度形状符号化器１２００ａの具体的な構成
について説明する。ただしこれらの符号化器は、基本的
に上記低解像度テキスチャー符号化器１１００ｂ及び高
解像度テキスチャー符号化器１１００ａの構成と同一で
あるので、図面を用いた詳細な説明は省略し、各テキス
チャー符号化器と各形状符号化器の構成上に相違点のみ
を簡単に説明する。

【００５７】つまり、上記低解像度形状符号化器１２０
０ｂは、上記低解像度テキスチャー符号化器１１００ｂ
における補填器１３８を有しておらず、その加算器１３
７の出力を直接第１のフレームメモリ１３９に入力する
構成となっている点でのみ上記低解像度テキスチャー符
号化器１１００ｂと異なっている。また、上記高解像度
形状符号化器１２００ａは、上記高解像度テキスチャー
符号化器１１００ａにおける補填器１０８を有しておら
ず、その加算器１０７の出力を直接第２のフレームメモ
リ１０９に入力する構成となっている点でのみ上記高解
像度テキスチャー符号化器１１００ａと異なっている。

【００５８】次に動作について説明する。画像信号とし
て、所定の物体に対応するテキスチャー信号Ｓｔ及び形
状信号Ｓｋがそれぞれテキスチャー入力端子１１１１及
び形状入力端子１２１１に入力されると、上記テキスチ
ャー符号化部１１００ではテキスチャー信号Ｓｔに対す
るスケーラビリティ符号化処理が、上記形状符号化部１
２００では形状信号Ｓｋに対するスケーラビリティ符号
化処理が行われる。

【００５９】すなわち、上記テキスチャー符号化部１１
００では、前処理器１１００ｃによりテキスチャー信号
Ｓｔから高解像度テキスチャー信号Ｓｔｈと低解像度テ
キスチャー信号Ｓｔｄとが生成される。具体的には、図
３(a)に示すように、上記前処理器１１００ｃでは、入
力されたテキスチャー信号（画像系列）Ｓｔはそのまま
高解像度テキスチャー信号Ｓｔｈとして第１の出力端子
２１６に出力される一方で、該テキスチャー信号Ｓｔ
は、ローパスフィルタ２０１により高帯域成分を除去さ
れ、さらに間引き器２０２によってダウンサンプルされ
て低解像度テキスチャー信号Ｓｔｄとして第２の出力端
子２０４に出力される。

【００６０】ここで、上記高解像度テキスチャー信号Ｓ
ｔｈからは、（Ｋ×Ｌ）個のサンプル（画素）からな
る、上記物体の画像を含む画像空間（画像表示画面）２
０５が得られるのに対し、上記低解像度テキスチャー信
号Ｓｔｄからは、（Ｋ／２×Ｌ／２）個のサンプル（画
素）からなる、上記物体の画像を含む画像空間（画像表
示画面）２０６が得られる。なおここでＫ，Ｌは整数で
ある。つまり、上記間引き器２０２では、ダウンサンプ
ル処理として、フィルタ出力を１サンプルおきに間引く
処理が行われている。ただし、この間引き器の構成は一
例であり、上記テキスチャー信号Ｓｔには、１／２以外
の比率でダウンサンプリング処理を施してもよい。

【００６１】またこのとき、上記形状符号化部１２００
では、上記テキスチャー符号化部１１００におけるテキ
スチャー信号の前処理と同様に、前処理器１２００ｃに
より物体の形状信号の前処理が行われている。

【００６２】次に、上記高解像度テキスチャー信号Ｓｔ
ｈ及び低解像度テキスチャー信号Ｓｔｄは、それぞれブ
ロック化器１１２０ａ，１１２０ｂにて、画像が表示さ
れる１画面（画像空間）を区分する、所定サイズのブロ
ック領域に対応するよう分割され、高解像度テキスチャ
ー符号化器１１００ａ，低解像度テキスチャー符号化器
１１００ｂに入力される。

【００６３】ここでは、上記各テキスチャー信号Ｓｔｈ
及びＳｔｄは、（８×８）個または（１６×１６）個の
サンプルからなる矩形形状のブロック領域に対応するよ
う分割されるが、上記各テキスチャー信号は、任意の形
状のブロック領域に対応するよう分割してもよい。

【００６４】このとき、形状符号化部１２００では、ブ
ロック器１２２０ａ，１２２０ｂにより、高解像度形状
信号Ｓｋｈ及び低解像度形状信号Ｓｋｄに対して、上記
各テキスチャー信号に対するブロック化処理と同様なブ
ロック処理が施されている。

【００６５】そして、符号化処理の対象となるブロック
（以下、対象ブロックという。）に対応する低解像度及
び高解像度テキスチャー信号がそれぞれ、低解像度符号
化器１１００ｂ及び高解像度符号化器１１００ａに入力
されると、各符号化器では、これらの信号に対する差分
符号化処理が行われる。

【００６６】なお、低解像度及び高解像度形状信号につ
いても、対応する符号化器１２００ａ，１２００ｂにて
各ブロック単位で符号化処理が行われるが、形状信号に
ついての符号化処理は、テキスチャー信号の符号化処理
における補填処理を行わない点で異なるだけであるの
で、詳しい説明は、テキスチャー信号についてのみ行
う。

【００６７】以下、まず、低解像度符号化器１１００ｂ
における低解像度テキスチャー信号Ｓｔｄに対する差分
符号化処理について説明する。上記対象ブロックの低解
像度テキスチャー信号Ｓｔｄが第１の動き検出器１４１
に入力されると同時に、第１フレームメモリ１３９か
ら、圧縮処理済のテキスチャー信号を伸長して得られる
伸長テキスチャー信号が、参照画面のテキスチャー信号
として第１の動き検出器１４１に読み出される。

【００６８】この第１の動き検出器１４１では、ブロッ
クマッチングなどの方法により、対象ブロックの低解像
度テキスチャー信号に対し誤差の最も小さい予測信号を
与える、参照画面における予測ブロックが検出され、対
象ブロックを基準とする該予測領域の位置を示す動き変
位情報（以下、動きベクトルという。）が出力される。

【００６９】この動きベクトルは第1の動き補償器１４
０に送られ、そこで参照画面に対応する参照用低解像度
テキスチャー信号から予測ブロックに対応する低解像度
テキスチャー信号が予測信号として生成される。このと
き上記対象ブロックに対する動きベクトルは可変長符号
化器１３４に供給され、対応する可変長符号に変換され
る。

【００７０】また、対象ブロックの低解像度テキスチャ
ー信号と予測ブロックの低解像度テキスチャー信号は上
記第１の加算器１３２に供給され、上記第１の加算器１
３２では両者の差分信号が生成され、この差分信号は、
第１の情報圧縮器１３３により圧縮される。

【００７１】この第１の情報圧縮器１３３における差分
信号の圧縮処理は、図４(a)に示すように、ＤＣＴ器３
０２での周波数変換および量子化器３０３での量子化に
よって行われるが、上記差分信号の圧縮処理には、サブ
バンド変換やベクトル量子化などの方法を用いてもよ
い。ここでは、量子化された差分信号（圧縮差分信号）
が可変長符号化器１３４に供給されて可変長符号化され
る。

【００７２】そして、可変長符号化された圧縮差分信号
Ｅｔｄは、可変長符号化された動きベクトルを含むその
他のサイド情報と共に出力端子１３５に出力される。こ
のとき、低解像度予測信号生成部１１１０ｂでは、上記
情報圧縮器１３３の出力である圧縮差分信号に基づいて
予測信号が生成される。

【００７３】すなわち、上記圧縮差分信号が予測信号生
成部１１１０ｂに入力されると、この圧縮差分信号は情
報伸長器１３６にて伸長処理が施され、伸長差分信号が
出力される。本実施の形態では図４(b)に示すように、
上記圧縮差分信号が逆量子化器３０８にて逆量子化さ
れ、逆量子化された圧縮差分信号がＩＤＣＴ器３０９に
て、周波数領域のデータから空間領域のデータに変換さ
れる。

【００７４】上記情報伸長器１３６からの伸長差分信号
は、第２の加算器１３７にて対応する予測ブロックの低
解像度テキスチャー信号に加算され、該加算により得ら
れる信号が、対象ブロックに対応する再生低解像度テキ
スチャー信号として出力される。この再生低解像度テキ
スチャー信号は第１の補填器（ＰＡＤ）１３８に入力さ
れ、該補填器１３８にて、該再生低解像度テキスチャー
信号に対する補填処理が施される。そして補填処理が施
された再生低解像度テキスチャー信号が第１のフレーム
メモリ１３９に参照用低解像度テキスチャー信号として
格納される。ここで、上記補填処理は、各ブロックに対
応する再生低解像度テキスチャー信号を構成する複数の
サンプル値（画素値）のうちの有意でないサンプル値
を、有意なサンプル値に置き換える処理であり、サンプ
ル値が有意であるか否かの判定は、低解像度形状符号化
器１２００ｂにて、圧縮差分信号に伸長処理等を施して
得られる再生低解像度形状信号を参照して行われる。

【００７５】図６は上記第１の補填器１３８による補填
処理を説明するための模式図である。なお、図６では説
明を簡略化するために、再生低解像度テキスチャー信号
により形成される画像空間を区分する各ブロック５０１
は、（４×４）個のサンプルからなるものとし、該ブロ
ック５０１における各矩形領域は１つのサンプル（画
素）を示している。また、複数の矩形領域のうち、点々
を付して示した矩形領域は、物体内部に位置する有意な
サンプルを示し、それ以外の矩形領域（点々を付してい
ない領域）は、物体の外側に位置する有意でないサンプ
ルを示している。

【００７６】有意でないサンプルのサンプル値に対する
補填処理には、物体の境界（周縁）上に位置するサンプ
ルのサンプル値を用いる。図６ではサンプル５０２，５
０３，５０４，５０５が境界上に位置するサンプルであ
り、これらの有意サンプルのサンプル値を、有意でない
サンプルのサンプル値と置き換えることにより、物体の
外側領域に位置するサンプルのサンプル値を補填する。
たとえば、サンプル５０６のサンプル値をサンプル５０
５のサンプル値で置換する。またサンプル５０７のよう
に、有意サンプル５０３と有意サンプル５０４の両方に
隣接する、物体外のサンプルについては、そのサンプル
値を、両有意サンプルのサンプル値の平均値と補填す
る。

【００７７】なお、上記説明では、補填処理として、有
意でないサンプルのサンプル値を、有意でないサンプル
と隣接する有意なサンプルのサンプル値と置換する処理
について示したが、補填処理は、有意でないサンプルの
サンプル値を、物体の境界上にあるすべての有意なサン
プルのサンプル値の平均値と置換する処理でもよく、ま
た、有意でないサンプルと隣接する有意なサンプルが複
数ある場合、有意でないサンプルのサンプルを、該複数
の有意なサンプルのサンプル値のうちで最大もしくは最
小のサンプル値と置換する処理でもよい。

【００７８】また、このとき上記第１の動き検出器１４
１では、上述したようにブロックマッチングなどの方法
により、入力される低解像度テキスチャー信号とフレー
ムメモリに格納されている参照用の再生低解像度テキス
チャー信号とに基づいて、動きベクトルが生成されてお
り、第１の動き補償器１４０では、この動きベクトルに
基づいて、予測ブロックに対応する低解像度テキスチャ
ー信号が生成されて、これが予測信号として上記第１の
加算器１３２に出力される。

【００７９】次に、高解像度符号化器１１００ａにおけ
る高解像度テキスチャー信号Ｓｔｈに対する差分符号化
処理について説明する。この高解像度テキスチャー信号
Ｓｔｈに対する差分符号化処理は、上記低解像度テキス
チャー信号Ｓｔｄに対する差分符号化処理と基本的には
同一であり、対象ブロックに対応する予測信号を生成す
る処理が上記低解像度テキスチャー信号に対するものと
は若干異なっている。

【００８０】つまり、高解像度テキスチャー符号化器１
１００ａの予測信号生成部１１１０ａでは、第２の動き
補償器１１０にて動き補償により得られる時間予測信号
に加えて、低解像度テキスチャー符号化器１１００ｂの
第１の補填器１３８にて補填処理を施した再生低解像度
テキスチャー信号（空間予測信号）が用いられる。

【００８１】図３(a)に示したように、低解像度画像空
間２０６を形成するための低解像度テキスチャー信号
は、高解像度画像空間２０５を形成するための高解像度
テキスチャー信号をダウンサンプリングして得られるも
のであるため、上記再生低解像度テキスチャー信号を高
解像度テキスチャー符号化器１１００ａにて空間予測信
号として利用するには、該再生低解像度テキスチャー信
号をアップサンプリング等により補間する必要がある。

【００８２】このため、上記空間予測信号はテキスチャ
ー変換器１１２５にてアップサンプリングにより補間さ
れ、補間された空間予測信号が上記高解像度テキスチャ
ー符号化器１１００ａの予測信号生成部１１１０ａに供
給される。

【００８３】具体的には、図７に示す上記テキスチャー
変換器１１２５を構成する補間器６０２では、偶数タッ
プのフィルタを用いて補間値が生成され、この補間値に
より上記空間予測信号を構成するサンプル値が補間され
る。

【００８４】このようなアップサンプリング処理が施さ
れた空間予測信号は、上記時間予測信号とともに平均化
器１２４に入力される。この平均化器１２４では、上述
したモード判定器（図示せず）からのモード判定出力に
基づいて、時間予測信号と空間予測信号とを重み付き平
均化して得られる、高解像度テキスチャー信号に対する
予測信号が生成され、この予測信号が第３，第４の加算
器１０２，１０７に供給される。

【００８５】なお、本実施の形態では、上記平均化器１
２４における、空間予測信号と時間予測信号の重み付け
の比率として、１：０、０：１、１／２：１／２の３つ
の比率を用いるようにしているが、これ以外の比率で重
みつけしてもよい。また、この重み付けの比率は、モー
ド判定出力に基づいて調整するのではなく、予め所定の
比率を設定しておくようにしてもよい。また、空間予測
信号は第１の補填器１３８から出力するようにしている
が、これは第１のフレームメモリ１３９から出力するよ
うにしてもよい。

【００８６】図５は、上記再生低解像度テキスチャー信
号から高解像度テキスチャー信号に対する予測信号を生
成する処理を説明するための模式図である。図中、４０
１ａは、高解像度テキスチャー信号から得られる、任意
形状の物体画像を含む高解像度画像空間であり、４０１
ｂは再生低解像度テキスチャー信号から得られる、上記
任意形状の物体画像を含む再生低解像度画像空間であ
る。各画像空間は複数のブロック（単位処理領域）から
構成されており、該複数のブロックのうちの点々を付し
て表示したものは、物体の内部に位置する有意なサンプ
ルを含むものである。

【００８７】具体的には、画像空間４０１ａを区分する
ブロックは、符号化処理が行われる被処理ブロックを示
し、画像空間４０１ｂを区分するブロックは、画像空間
４０１ａの各被処理ブロックに対応する空間予測ブロッ
クを示す。ここで各被処理ブロックとこれに対応する各
空間予測ブロックとは、それぞれの画像空間における同
一位置に位置している。

【００８８】例えば、被処理ブロック４０４ａと対応す
る空間予測ブロック４０４ｂはそれぞれ画像空間４０１
ａと画像空間４０１ｂでは、水平方向の配列において左
端から６番目に位置し、かつ垂直方向の配列において上
端から４番目に位置するブロックとなっている。また、
画像空間４０１ａにおける被処理ブロック４０３ａは物
体の境界上に位置し、これに対応する画像空間４０１ｂ
における空間予測ブロック４０３ｂも物体の境界上に位
置している。

【００８９】また、物体の境界上にある空間予測ブロッ
ク４０３ｂに対応する低解像度テキスチャー信号は、こ
れを構成する有意でないサンプル値を上述した方法で置
換した後に、テキスチャー変換器１１２５でアップサン
プリングされ、該アップサンプルされた低解像度テキス
チャー信号が、上記空間予測ブロックに対応する被処理
ブロック４０３ａの高解像度テキスチャー信号から引き
算される。

【００９０】一般には、空間予測ブロックに対応する低
解像度テキスチャー信号をアップサンプリングしても、
これによって得られる空間予測ブロックにおける物体の
境界と、対応する被処理ブロックにおける物体の境界と
が一致しない場合がほとんどである。このため、上記の
ように空間予測ブロックに対応する低解像度テキスチャ
ー信号を補填した後アップサンプルすることにより、両
ブロックの境界の不一致による残差の増加を抑圧するこ
とができる。

【００９１】また、図５における被処理ブロック４０５
ａ，４０６ａ，４０７ａと、これらに対応する空間予測
ブロック４０５ｂ，４０６ｂ，４０７ｂに見られるよう
に、画像空間４０１ａにおける被処理ブロックが物体の
境界上に位置しているのに対し、画像空間４０１ｂにお
ける空間予測ブロックが完全に物体外部に位置すること
となる場合がある。

【００９２】これは、画像空間４０１ｂに対応する低解
像度テキスチャー信号を生成するためのダウンサンプリ
ングや、低解像度テキスチャー信号の圧縮符号化によっ
て、低解像度テキスチャー信号の持つ物体形状情報が歪
んでしまったからである。この場合、たとえば、被処理
ブロック４０７ａに対応する空間予測ブロック４０７ｂ
を構成するサンプルのサンプル値は定義されておらず、
このため空間予測ブロック４０７ｂに対応する低解像度
テキスチャー信号をそのまま用いて、被処理ブロック４
０７ａに対応する高解像度テキスチャー信号から引き算
すると、両信号の残差が大きくなる。

【００９３】そこで、本発明の実施の形態１では、この
ような物体外の空間予測ブロックについては、そのサン
プル値を、該物体外空間ブロックに隣接する物体内空間
ブロックの有意なサンプル値で補填するようにしてい
る。

【００９４】すなわち、空間予測ブロック４０７ｂつい
ては、そのサンプル値を、そのすぐ上にある空間予測ブ
ロック４０２ｂの有意なサンプル値と置換するようにし
ている。

【００９５】この場合、空間予測ブロック４０２ｂのよ
うな物体の境界上に位置するブロックについては、図６
に示す方法でその有意でないサンプルのサンプル値が補
填してあるので、上記物体外空間予測ブロック４０７ｂ
のサンプル値を、空間予測ブロック４０２ｂの、境界上
に位置するサンプルのサンプル値で補填してもよい。

【００９６】図９(a)及び図９(b)は、このような補填処
理の例を示す。ブロック８０１、８０２、８０３、８０
４はそれぞれ４×４のサンプルから構成される。ブロッ
ク８０１とブロック８０３が境界ブロックであり、補填
処理により、すべてのサンプル値が有意な値となってい
る。そのため、サンプル８０５〜８１２はすべて有意な
サンプル値を有している。またブロック８０２とブロッ
ク８０４は物体外ブロックである。

【００９７】そこで、ブロック８０２に対する補填処理
では、サンプル８０５、８０６、８０７、８０８を水平
に順次繰り返して当てはめて、これらのサンプルをブロ
ック８０２のサンプルとして補填し、また、ブロック８
０４に対する補填処理では、サンプル８０９、８１０、
８１１、８１２を垂直に順次繰り返して当てはめて、こ
れらのサンプルをブロック８０４のサンプルとして補填
する。

【００９８】なお、補填処理が施されるブロックに水平
方向にも垂直方向にも隣接した境界ブロックが存在する
場合には、これらの境界ブロックにおけるすべての候補
サンプル値の平均を、置換すべき擬似サンプル値として
用いたり、すべての候補サンプル値のうちの最大値を、
置換すべき擬似サンプル値として用いたりすることがで
きる。

【００９９】このように、物体外に位置する空間予測ブ
ロックに対して、これに隣接する境界ブロックのサンプ
ル値を用いて補填処理を施すことにより、空間予測ブロ
ックが完全に物体外部にあっても、その有意でないサン
プル値は、物体内部のサンプル値で置換されることとな
るため、空間予測ブロックに対応する低解像度テキスチ
ャー信号をアップサンプルした信号と、被処理ブロック
に対応する高解像度テキスチャー信号との残差信号を抑
圧することができる。

【０１００】図８は、上述した補填処理を考慮した、補
填器及びテキスチャー変換器による動作をフローチャー
トにより説明するための図である。まず、空間予測ブロ
ックに対応する再生低解像度テクスチャー信号とその空
間予測ブロックが物体の内部にあるかどうかを示す識別
信号ＬＤｋｄが補填器１３８に入力される（ステップＳ
１）。上記空間予測ブロックが物体の内部にあるかどう
かを示す識別信号ＬＤｋｄは、形状符号化部１２００の
低解像度形状符号化器１２００ｂにて生成された伸長形
状信号（物体の形状情報）である。

【０１０１】次に、その識別信号を用いて空間予測ブロ
ックが物体の内部にあるか否かが上記補填器１３８にて
判別される（ステップＳ２）。もし、該空間予測ブロッ
クが物体の内部にあれば、空間予測ブロックが補填処理
が施されずにそのまま出力されて、テキスチャー変換器
１１２５にてアップサンプリングされる（ステップＳ
４）。一方、上記空間予測ブロックが物体の内部にない
場合、空間予測ブロックに対して、隣接するブロックの
有意なサンプルのサンプル値を用いた補填処理が施され
（ステップＳ３）、その後、該空間予測ブロックに対応
する低解像度テキスチャー信号が、上記テキスチャー変
換器１１２５にてアップサンプリングされる（ステップ
Ｓ４）。なお、境界ブロックに隣接する物体外部にある
ブロックの補填は上述した補填器で行ってもよい。

【０１０２】なお、上記実施の形態１では、テキスチャ
ー信号を階層化するのに図３(a)に示す前処理器１１０
０ｃを用いたが、上記階層化処理には、この前処理器１
１００ｃの代わりに、図３(b)に示す前処理器２０７を
用いてもよい。

【０１０３】この前処理器２０７は、入力端子２０８
と、第１，第２の出力端子２０９，２１０とを有し、入
力端子２０８と第１の出力端子２０９との接続状態と、
入力端子２０８と第２の出力端子２１０との接続状態と
が一定の時間間隔でもって切り換わる構成となってい
る。

【０１０４】例えば、テキスチャー信号が入力端子２０
８に入力されると、入力端子２０８と第１の出力端子２
０９との接続状態と、入力端子２０８と第２の出力端子
２１０との接続状態とがスイッチ２０７ａにより所定の
時間間隔で切り換わることとなる。

【０１０５】ここでは、時間ｔ（ｔは整数）、ｔ＋Ｎ、
ｔ＋２Ｎの間隔で、入力端子２０８と第２の出力端子２
１０が接続状態となり、入力されたテキスチャー信号が
第２の出力端子に出力される。この第２の出力端子２１
０から出力されるテキスチャー信号を低解像度テキスチ
ャー信号として、図２の第１の入力端子１３１に供給す
る。

【０１０６】また、時間ｔとｔ＋Ｎとの間にあるテキス
チャー信号（画像データ）は、第１の出力端子２０９に
出力され、該第１の出力端子２０９から出力されるテキ
スチャー信号を、高解像度テキスチャー信号として図２
の第２入力端子１０１に供給する。ここで、Ｎは任意の
整数であるが、本実施の形態ではＮ＝３としている。

【０１０７】この場合、図７の変換器には、補間器の代
わりに、動き補償器を用い、第１のフレームメモリ１３
９から動き補償により得られた予測信号を読み出して、
上記予測信号（低解像度テキスチャー信号から得られた
予測信号）を、時間解像度が高解像度テキスチャー信号
に合致するよう処理する。この場合、図示していない
が、そのための動きベクトルを上記動き補償器に伝送す
る必要がある。いずれにしても、階層符号化処理では、
ある階層のテキスチャー信号を、別の階層，つまり解像
度の異なる階層から得られる再生信号を用いて差分符号
化する場合には、該再生信号の補填処理を行わなければ
ならない。

【０１０８】このように本実施の形態１では、図２に示
すように、低解像度テキスチャー信号Ｓｔｄを差分符号
化する符号化器１１００ｂと、高解像度テキスチャー信
号Ｓｔｈを差分符号化する符号化器１１００ａとを有
し、高解像度テキスチャー信号Ｓｔｈをその予測信号を
用いて差分符号化する際、上記符号化器１１００ｂにお
ける補填器１３８により、上記符号化器１１００ｂで再
生した低解像度テキスチャー信号の有意でないサンプル
値を、その有意なサンプル値から得られた擬似サンプル
値と置き換える補填処理を行い、上記該補填処理を施し
た再生低解像度テキスチャー信号に基づいて上記高解像
度テキスチャー信号Ｓｔｈに対する予測信号を生成する
ようにしたので、補填処理が施された再生低解像度テキ
スチャー信号に基づいて高解像度テキスチャー信号Ｓｔ
ｈの予測信号が生成されることとなる。このため、符号
化処理の対象となるブロック（単位処理領域）の高解像
度テキスチャー信号とその予測信号との差分である差分
信号が抑圧されることとなり、物体の境界部に位置する
ブロックに対応する高解像度テキスチャー信号を、符号
化効率の劣化を抑えつつ差分符号化することができる。

【０１０９】また、符号化処理の対象となる対象単位領
域の高解像度テキスチャー信号Ｓｔｈの符号化処理で
は、その予測信号として、上記対象単位領域の再生され
た低解像度テキスチャー信号に基づいて生成される信号
を用いるので、高解像度テキスチャー信号Ｓｔｈの符号
化処理は低解像度テキスチャー信号Ｓｔｄの符号化処理
と比べて、上記単位領域を処理するための時間だけしか
遅延しない。このため、復号化側では、低解像度テキス
チャー信号Ｓｔｄ，高解像度テキスチャー信号Ｓｔｈの
符号化により得られるＬＴ差分符号化信号Ｅｔｄ，ＨＴ
差分符号化信号Ｅｔｈに基づいて、高解像度画像と低解
像度画像とをほとんど時間のずれなく再生することがで
きる。

【０１１０】また、各単位領域に対応する再生低解像度
テキスチャー信号の補填処理を、該再生低解像度テキス
チャー信号における有意な画素値に基づいて行うので、
低解像度テキスチャー信号から得られる高解像度テキス
チャー信号の予測信号と、高解像度テキスチャー信号と
の差分を効果的に抑圧することができる。

【０１１１】また、補填処理を施した再生低解像度テキ
スチャー信号をフレームメモリ１３９に、補填処理を施
した再生高解像度テキスチャー信号をフレームメモリ１
０９に格納するようにしたので、動き検出や動き補償を
より精度よく行うことができる。

【０１１２】なお、上記実施の形態１では、形状符号化
部１２００を構成する各符号化器１２００ａ，１２００
ｂでは、低解像度再生形状信号ＬＤｋｄ及び高解像度再
生形状信号ＬＤｋｈをそのまま予測信号の生成に用いて
いるが、低解像度再生形状信号ＬＤｋｄ及び高解像度再
生形状信号ＬＤｋｈに補填処理を施したものを予測信号
の生成に用いるようにしてもよい。

【０１１３】実施の形態２．図１０は本発明の実施の形
態２によるデジタル画像復号化装置２０００を説明する
ためのブロック図である。このデジタル画像復号化装置
２０００は、実施の形態１のデジタル画像符号化装置１
０００により画像信号にスケーラビリティ符号化処理を
施して得られる画像符号化信号を物体単位で復号化可能
に構成したものであり、上記画像符号化信号を構成する
符号化テキスチャー信号に対するスケーラビリティ復号
化処理を行うテキスチャー復号化部２１００と、上記画
像符号化信号を構成する符号化形状信号に対するスケー
ラビリティ復号化処理を行う形状復号化部２２００とを
有している。

【０１１４】上記テキスチャー復号化部２１００は、高
解像度テキスチャー差分符号化信号（ＨＴ差分符号化信
号）Ｅｔｈに対して差分復号化処理を各ブロック毎に施
して、高解像度テキスチャー復号化信号（以下、再生高
解像度テクスチャー信号ともいう。）Ｄｔｈを出力する
高解像度テキスチャー復号化器２１００ａと、該各ブロ
ックに対応する高解像度テキスチャー復号化信号Ｄｔｈ
を統合して走査線構造の高解像度テキスチャー再生信号
Ｒｔｈを出力する逆ブロック化器２１２０ａと、低解像
度テキスチャー差分符号化信号（ＬＴ差分符号化信号）
Ｅｔｄに対して差分復号化処理を各ブロック毎に施し
て、低解像度テキスチャー復号化信号（以下、再生低解
像度テクスチャー信号ともいう。）Ｄｔｄを出力する低
解像度テキスチャー復号化器２１００ｂと、該各ブロッ
クに対応する低解像度テキスチャー復号化信号Ｄｔｄを
統合して走査線構造の低解像度テキスチャー再生信号Ｒ
ｔｄを出力する逆ブロック化器２１２０ｂとを有してい
る。

【０１１５】また、上記テキスチャー復号化部２１００
は、該ＬＴ差分符号化信号の差分復号化処理に用いる再
生信号を、ＨＴ差分符号化信号の差分復号化処理に利用
できるよう変換して、上記高解像度テキスチャー復号化
器２１００ａに出力するテキスチャー変換器２１２５を
有している。

【０１１６】また、上記形状復号化部２２００は、高解
像度形状差分符号化信号（ＨＳ差分符号化信号）Ｅｋｈ
に対して差分復号化処理を各ブロック毎に施して、高解
像度形状復号化信号Ｄｋｈを出力する高解像度形状復号
化器２２００ａと、該各ブロックに対応する高解像度形
状復号化信号Ｄｋｈを統合して走査線構造の高解像度形
状再生信号Ｒｋｈを出力する逆ブロック化器２２２０ａ
と、低解像度形状差分符号化信号（ＬＳ差分符号化信
号）Ｅｋｄに対して差分復号化処理を各ブロック毎に施
して、低解像度形状復号化信号Ｄｋｄを出力する低解像
度形状復号化器２２００ｂと、該各ブロックに対応する
低解像度形状復号化信号Ｄｋｄを統合して走査線構造の
低解像度形状再生信号Ｒｋｄを出力する逆ブロック器２
２２０ｂとを有している。

【０１１７】また、上記形状復号化部２２００は、該Ｌ
Ｓ差分符号化信号の差分復号化処理に用いる再生信号
を、ＨＳ差分符号化信号の差分復号化処理に利用できる
よう変換して、上記高解像度形状復号化器２２００ａに
出力する形状変換器２２２５を有している。

【０１１８】次に、図１１を用いて、上記テキスチャー
復号化部２１００における各復号化器２１００ａ及び２
１００ｂの詳細な構成について説明する。上記低解像度
テキスチャー復号化器２１００ｂは、復号化処理の対象
となる対象領域（対象ブロック）のＬＴ符号化差分信号
を解析して可変長復号化する第１のデータ解析器９２２
と、該データ解析器９２２の出力に対して伸長処理を施
して伸長差分信号を出力する第１の情報伸長器（ＤＥ
Ｃ）９２３と、該伸長差分信号と、対象ブロックに対応
する予測信号とを加算して低解像度テキスチャー復号化
信号を出力する第１の加算器９２４と、上記各ブロック
に対応する予測信号を生成する予測信号生成部２１１０
ｂとから構成されている。

【０１１９】ここで、上記第１の情報伸長器９２３は、
図４(b)に示すように、上記データ解析器９２２の出力
に逆量子化処理を施す逆量子化器３０８と、該逆量子化
器３０８の出力に対して逆周波数変換処理の一種である
ＩＤＣＴ（逆離散コサイン変換）処理を施すＩＤＣＴ変
換器３０９とから構成されている。

【０１２０】上記予測信号生成部２１１０ｂは、上記加
算器９２４の出力を受け、再生された低解像度テキスチ
ャー信号における有意でないサンプル値（画素値）を、
上記低解像度形状復号化器２２００ｂにて復号化された
低解像度形状信号Ｄｋｄに基づいて補填する第１の補填
器９２６と、該補填器９２６の出力である、補填された
再生低解像度テキスチャー信号（低解像度テクスチャー
復号化信号）を格納する第１のフレームメモリ９２７と
を有しており、上記補填器９２６の出力は、上記テキス
チャー変換器２１２５にも出力されるようになってい
る。

【０１２１】さらに、上記予測信号生成部２１１０ｂ
は、該第１のフレームメモリ９２７の出力と、上記デー
タ解析器９２２にて復号化された対象ブロックに対応す
る動きベクトルとに基づいて、上記フレームメモリ９２
７から、対象ブロックの再生低解像度テキスチャー信号
との誤差が最も小さい再生低解像度テキスチャー信号を
持つ予測領域を検出し、該予測領域に対応する再生低解
像度テキスチャー信号を予測信号として読み出し、上記
第１の加算器９２４に出力する第１の動き補償器９２８
を有している。

【０１２２】一方、上記高解像度テキスチャー復号化器
２１００ａも上記低解像度テキスチャー復号化器２１０
０ｂとほぼ同様な構成となっている。すなわち、上記高
解像度テキスチャー復号化器２１００ａは、復号化処理
の対象となる対象領域（対象ブロック）のＨＴ符号化差
分信号を解析して可変長復号化する第２のデータ解析器
９０２と、該データ解析器９０２の出力に対して伸長処
理を施して伸長差分信号を出力する第２の情報伸長器
（ＤＥＣ）９０３と、該伸長差分信号と、対象ブロック
に対応する予測信号とを加算して高解像度テキスチャー
復号化信号を出力する第２の加算器９０４と、上記各ブ
ロックに対応する予測信号を生成する予測信号生成部２
１１０ａとから構成されている。

【０１２３】ここで、上記第２の情報伸長器９０３は、
第４(b) 図に示すように、上記データ解析器９０２の出
力に逆量子化処理を施す逆量子化器３０８と、該逆量子
化器３０８の出力に対して逆周波数変換処理の一種であ
るＩＤＣＴ（逆離散コサイン変換）処理を施すＩＤＣＴ
変換器３０９とから構成されている。

【０１２４】上記予測信号生成部２１１０ａは、上記第
２の加算器９０４の出力を受け、再生された高解像度テ
キスチャー信号における有意でないサンプル値（画素
値）を、上記高解像度形状復号化器２２００ａにて復号
化された高解像度形状信号Ｄｋｈに基づいて補填する第
２の補填器９０６と、該補填器９０６の出力である、補
填された再生高解像度テクスチャー信号（高解像度テキ
スチャー復号化信号）を格納する第２のフレームメモリ
９０７とを有している。

【０１２５】さらに、上記予測信号生成部２１１０ａ
は、該第２のフレームメモリ９０７の出力と、上記デー
タ解析器９０２にて復号化された対象ブロックに対応す
る動きベクトルとに基づいて、上記フレームメモリ９０
７から、対象ブロックの再生高解像度テキスチャー信号
との誤差が最も小さい再生高解像度テキスチャー信号を
与える予測領域を検出し、該予測領域に対応する再生高
解像度テキスチャー信号を予測信号として読み出す第２
の動き補償器９０８と、該第２の動き補償器９０８の出
力と上記テキスチャー変換器２１２５の出力とを動きベ
クトルに基づいて平均化して、上記第２の加算器９０４
に出力する平均化器（ＡＶＥ）９１８とを有している。

【０１２６】次に、上記低解像度形状復号化器２２００
ｂ及び高解像度形状復号化器２２００ａの具体的な構成
について説明する。ただしこれらの復号化器は、基本的
に上記低解像度テキスチャー復号化器２１００ｂ及び高
解像度テキスチャー復号化器２１００ａの構成と同一で
あるので、図面を用いた詳細な説明は省略し、各テキス
チャー復号化器と各形状復号化器の構成上に相違点のみ
を簡単に説明する。

【０１２７】つまり、上記低解像度形状復号化器２２０
０ｂは、上記低解像度テキスチャー復号化器２１００ｂ
における補填器９２６を有しておらず、その加算器９２
４の出力を直接第１のフレームメモリ９２７に入力する
構成となっている点でのみ、上記低解像度テキスチャー
復号化器２１００ｂと異なっている。また上記高解像度
形状復号化器２２００ａは、上記高解像度テキスチャー
復号化器２１００ａにおける補填器９０６を有しておら
ず、その加算器９０４の出力を直接第２のフレームメモ
リ９０７に入力する構成となっている点でのみ、上記高
解像度テキスチャー復号化器２１００ａと異なってい
る。

【０１２８】次に動作について説明する。本画像復号化
装置２０００に入力される所定の物体に対応する多重化
された画像符号化信号は、本画像復号化装置２０００の
前段にて、ＨＴ差分符号化信号Ｅｔｈ，ＬＴ差分符号化
信号Ｅｔｄ，ＨＳ差分符号化信号Ｅｋｈ，ＬＳ差分符号
化信号Ｅｋｄ，及びその他の制御信号に分離され、上記
ＨＴ及びＬＴ差分符号化信号がテキスチャー復号化部２
１００に、上記ＨＳ及びＬＳ差分符号化信号が形状復号
化部２２００に入力される。

【０１２９】すると、上記テキスチャー復号化部２１０
０では、上記両テキスチャー差分符号化信号に対するス
ケーラビリティ復号化処理が、上記形状復号化部２２０
０では上記両形状信号に対するスケーラビリティ復号化
処理が行われる。

【０１３０】すなわち、上記テキスチャー復号化部２１
００では、ＬＴ差分符号化信号Ｅｔｄが第１入力端子２
１３１を介して第１のデータ解析器９２２に入力され、
該解析器９２２にてそのデータ解析が行われ、可変長復
号化されたＬＴ符号化差分信号が上記第１の情報伸長器
９２３に出力される。またこのとき、上記データ解析器
９２２からは、復号化処理の対象となる対象ブロックの
動きベクトルが予測信号生成部２１１０ｂの第１の動き
補償器９２８に出力される。

【０１３１】上記第１の情報伸長器９２３では、可変長
復号化されたＬＴ符号化差分信号に対して伸長処理が施
され、低解像度テキスチャー差分信号が低解像度テキス
チャー伸長差分信号として復元される。

【０１３２】本実施の形態では、図４(b)に示されるよ
うに、上記可変長復号化されたＬＴ符号化差分信号は逆
量子化器３０８にて逆量子化処理が施され、さらに逆離
散コサイン変換３０９にて、周波数領域信号を空間領域
信号に変換する逆周波数変換処理が施される。

【０１３３】このとき上記第１の動き補償器９２８で
は、動きベクトルに基づいて、第１のフレームメモリ９
２７をアクセスするためのアドレスＡｄｄ１が生成さ
れ、第１のフレームメモリ９２７に参照用低解像度テキ
スチャー信号として格納されている再生低解像度テキス
チャー信号から、対象ブロックに対する再生低解像度テ
キスチャー信号の予測信号が読み出される。この読み出
された予測信号と、上記情報伸長器９２３の出力とが加
算器９２４に入力され、該加算器９２４からは、これら
の信号の加算値として、低解像度テキスチャー復号化信
号（再生低解像度テクスチャー信号）Ｄｔｄが第１の出
力端子９２５に出力される。

【０１３４】このとき上記再生低解像度テキスチャー信
号Ｄｔｄは、第１の補填器９２６にも入力され、この信
号に対して、図６で説明したように物体の有意なサンプ
ル値を用いて物体の有意でないサンプル値を置換する補
填処理が施される。このように補填した再生低解像度テ
キスチャー信号Ｄｔｄが第１のフレームメモリ９２７に
格納される。

【０１３５】一方、上記テクスチャー復号化部２１００
では、ＨＴ符号化差分信号Ｅｔｈが第２入力端子２１０
１を介して第２のデータ解析器９０２に入力され、該解
析器９０２にてそのデータ解析が行われ、可変長復号化
されたＨＴ符号化差分信号が上記第２の情報伸長器９０
３に出力される。またこのとき、上記データ解析器９０
２からは、復号化処理の対象となる対象ブロックの動き
ベクトルが予測信号生成部２１１０ａの第２の動き補償
器９０８に出力される。

【０１３６】上記第２の情報伸長器９０３では、可変長
復号化されたＨＴ符号化差分信号に対して伸長処理が施
され、高解像度テキスチャー差分信号が高解像度テキス
チャー伸長差分信号として復元される。

【０１３７】本実施の形態では、図４(b)に示されるよ
うに、上記可変長復号化されたＨＴ符号化差分信号は逆
量子化器３０８にて逆量子化処理が施され、さらに逆離
散コサイン変換３０９にて、周波数領域信号を空間領域
信号に変換する逆周波数変換処理が施される。

【０１３８】このとき上記第２の動き補償器９０８で
は、動きベクトルに基づいて、第２のフレームメモリ９
０７をアクセスするためのアドレスＡｄｄ２が生成さ
れ、第２のフレームメモリ９０７に参照用高解像度テキ
スチャー信号として格納されている再生高解像度テキス
チャー信号から、対象ブロックに対する予測信号が時間
予測信号として読み出される。

【０１３９】また、上記テキスチャー変換器２１２５で
は、図７及び図８で説明したものと同じアップサンプル
処理が行われ、このようにアップサンプリングした空間
予測信号が平均化器９１８に出力される。該平均化器９
１８では、第２の動き補償器９０８からの時間予測信号
と該空間予測信号とを、上記データ解析器からのモード
信号に基づいて重み付き平均化して再生高解像度テキス
チャー信号の予測信号が生成される。重み付けの比率は
送受信側であらかじめ決めてもよいが、本実施の形態で
は、重み付けの情報が上記高解像度テキスチャー符号化
信号とともに伝送され、第２のデータ解析器９０２から
抽出されて平均化器９１８に入力されるようになってい
る。

【０１４０】そして上記平均化器９１８の出力と、上記
情報伸長器９０３の出力である高解像度テキスチャー伸
長差分信号とが加算器９０４に入力される。すると、該
加算器９０４からは、これらの信号の加算値として、再
生高解像度テキスチャー信号Ｄｔｈが第２の出力端子９
０５に出力される。

【０１４１】このとき上記再生高解像度テキスチャー信
号Ｄｔｈは、第２の補填器９０６にも入力され、図６で
説明したように物体の有意なサンプル値を用いて物体の
有意でないサンプル値を置換する補填処理が施される。
このように補填した再生高解像度テキスチャー信号Ｄｔ
ｈが第２のフレームメモリ９０７に格納される。

【０１４２】このように本実施の形態２では、図１１に
示すように、低解像度テキスチャー符号化差分信号Ｅｔ
ｄを差分復号化する復号化器２１００ｂと、高解像度テ
キスチャー符号化差分信号Ｅｔｈを差分復号化する復号
化器２１００ａとを有し、高解像度テキスチャー符号化
差分信号Ｅｔｈをその予測信号を用いて差分復号化する
際、上記復号化器２１００ｂにおける補填器９２６によ
り、上記復号化器２１００ｂで再生した低解像度テキス
チャー信号の有意でないサンプル値を、その有意なサン
プル値から得られた擬似サンプル値と置き換える補填処
理を行い、上記該補填処理を施した再生低解像度テキス
チャー信号に基づいて上記予測信号を生成するようにし
たので、補填処理が施された再生低解像度テキスチャー
信号に基づいて再生高解像度テキスチャー信号Ｄｔｈの
予測信号が生成されることとなる。このため、符号化処
理の対象となるブロック（単位処理領域）の再生高解像
度テキスチャー信号とその予測信号との差分である差分
信号を抑圧した階層符号化処理に対応した階層復号化処
理を実現することができる。

【０１４３】また、復号化処理の対象となる対象単位領
域に対応するＨＴ符号化差分信号の復号化処理では、そ
の予測信号として、上記対象単位領域に対応する再生低
解像度テキスチャー画像信号に基づいて生成される信号
を用いるので、ＨＴ符号化差分信号Ｅｔｈの復号化処理
はＬＴ符号化差分信号Ｅｔｄの復号化処理と比べて、上
記単位領域を処理するための時間だけしか遅延しない。
このため、画像信号の階層符号化処理により得られるＨ
Ｔ，ＬＴ符号化差分信号に基づいて、高解像度画像と低
解像度画像とをほとんど時間のずれなく再生することが
できる。

【０１４４】また、各単位領域（ブロック）に対応する
再生低解像度テキスチャー信号の補填処理を、該再生低
解像度テキスチャー信号における有意な画素値に基づい
て行うので、低解像度テキスチャー信号から得られる高
解像度テキスチャー信号の予測信号と、高解像度テキス
チャー信号との差分を効果的に抑圧しつつ符号化して得
られる符号化差分信号を正しく復号化することができ
る。

【０１４５】また、補填処理を施した再生低解像度テキ
スチャー信号をフレームメモリ９２７に、補填処理を施
した再生高解像度テキスチャー信号をフレームメモリ９
０７に格納するようにしたので、階層復号化処理におけ
る動き補償をより精度よく行うことができる。

【０１４６】なお、上記実施の形態２では、空間予測信
号は補填器９２６から伝送されるとして示したが、この
空間予測信号は、第１のフレームメモリ９２７から平均
化器に供給するようにしてもよい。

【０１４７】また、低解像度テキスチャー符号化信号と
高解像度テキスチャー符号化信号が同じサイズの画像空
間に対応し、しかも時間的にずれた画像情報を有してい
る場合（図３(b)）、変換器２１２５には、補間器の代
わりに、動き補償器を用い、第１のフレームメモリ９２
７から動き補償により得られた予測信号を読み出して、
この予測信号を時間解像度が高解像度テキスチャー信号
と合致するように処理する。この場合、図示していない
が、そのための動きベクトルを上記動き補償器に伝送す
る必要がある。いずれにしても、階層復号化処理では、
ある階層のテキスチャー符号化差分信号を、別の階層，
つまり解像度の異なる階層から得られる再生信号を用い
て差分復号化する場合には、該再生信号の補填処理を行
わなければならない。

【０１４８】また、上記実施の形態２では、形状復号化
部２２００を構成する各復号化器２２００ａ，２２００
ｂでは、再生低解像度形状信号Ｄｋｄ及び再生高解像度
形状信号Ｄｋｈをそのまま予測信号の生成に用いている
が、再生低解像度形状信号Ｄｋｄ及び再生高解像度形状
信号Ｄｋｈに補填処理を施したものを予測信号の生成に
用いるようにしてもよい。

【０１４９】また、上記実施の形態２では、階層符号化
処理及び階層復号化処理として、階層が２つであるもの
について説明したが、階層が３つ以上である階層符号
化，復号化処理についても、下の階層（解像度の低い階
層）の画像信号から上の階層（解像度の高い階層）の画
像信号を予測する時には、同じように下の階層の画像信
号を補填するようにすればよい。

【０１５０】さらに、上記各実施の形態で示した符号化
処理あるいは復号化処理の構成を実現するための符号化
あるいは復号化プログラムを、フロッピー（登録商標）
ディスク等のデータ記憶媒体に記録するようにすること
により、上記各実施の形態で示した処理を、独立したコ
ンピュータシステムにおいて簡単に実施することが可能
となる。

【０１５１】図１２は、上記実施の形態の符号化あるい
は復号化処理を、上記符号化あるいは復号化プログラム
を格納したフロッピーディスクを用いて、コンピュータ
システムにより実施する場合を説明するための図であ
る。

【０１５２】図１２(b)は、フロッピーディスクの正面
からみた外観、断面構造、及びフロッピーディスクを示
し、図１２(a)は、記録媒体本体であるフロッピーディ
スクの物理フォーマットの例を示している。フロッピー
ディスクＦＤはケースＦ内に内蔵され、該ディスクの表
面には、同心円状に外周からは内周に向かって複数のト
ラックＴｒが形成され、各トラックは角度方向に１６の
セクタＳｅに分割されている。従って、上記プログラム
を格納したフロッピーディスクでは、上記フロッピーデ
ィスクＦＤ上に割り当てられた領域に、上記プログラム
としてのデータが記録されている。

【０１５３】また、図１２(c)は、フロッピーディスク
ＦＤに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブＦDDを
介して書き込む。また、フロッピーディスク内のプログ
ラムにより上記符号化あるいは復号化装置をコンピュー
タシステムＣｓ中に構築する場合は、フロッピーディス
クドライブＦDDによりプログラムをフロッピーディスク
ＦＤから読み出し、コンピュータシステムＣｓに転送す
る。

【０１５４】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても同様に行うことができる。また、記録媒
体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プ
ログラムを記録できるものであれば同様に実施すること
ができる。

【０１５５】

【発明の効果】以上のようにこの発明（請求項１）に係
るデジタル画像符号化方法によれば、補填処理が施され
た第１の再生画像信号に基づいて第２の入力画像信号の
予測信号が生成されることとなるので、解像度が第１の
入力画像信号とは異なる第２の入力画像信号とその予測
信号との差分である差分信号が抑圧されることとなり、
物体の境界部に位置する単位領域に対応する第２の入力
画像信号を、符号化効率の劣化を抑えつつ圧縮すること
ができる。

【０１５６】また、符号化処理の対象となる対象単位領
域の第２の入力画像信号の符号化処理では、その予測信
号として、上記対象単位領域の第１の再生画像信号に基
づいて生成される信号を用いるので、第２の入力画像信
号の符号化処理は第１の入力画像信号の符号化処理と比
べて、上記単位領域を処理するための時間だけしか遅延
しない。このため、復号化側では、第１，第２の入力画
像信号の符号化により得られる第１，第２の符号化画像
信号に基づいて、高解像度画像と低解像度画像とをほと
んど時間のずれなく再生することができる。

【０１５７】この発明（請求項２）によれば、請求項１
記載のデジタル画像符号化方法において、各単位領域に
対応する第１の再生画像信号の補填処理を、該第１の再
生画像信号における有意な画素値に基づいて行うので、
第１の入力画像信号から得られる第２の入力画像信号の
予測信号と、第２の入力画像信号との差分を効果的に抑
圧することができる。

【０１５８】この発明（請求項３）に係るデジタル画像
符号化装置によれば、補填処理が施された第１の再生画
像信号に基づいて第２の入力画像信号の予測信号が生成
されることとなるので、解像度が第１の入力画像信号と
は異なる第２の入力画像信号とその予測信号との差分で
ある差分信号が抑圧されることとなり、物体の境界部に
位置する単位領域に対応する第２の入力画像信号を、符
号化効率の劣化を抑えつつ圧縮することができる。

【０１５９】また、符号化処理の対象となる対象単位領
域の第２の入力画像信号の符号化処理では、その予測信
号として、上記対象単位領域の第１の再生画像信号に基
づいて生成される信号を用いるので、第２の入力画像信
号の符号化処理は第１の入力画像信号の符号化処理と比
べて、上記単位領域を処理するための時間だけしか遅延
しない。このため、復号化側では、第１，第２の入力画
像信号の符号化により得られる第１，第２の符号化画像
信号に基づいて、高解像度画像と低解像度画像とをほと
んど時間のずれなく再生することができる。

【０１６０】この発明（請求項４）によれば、請求項３
記載のデジタル画像符号化装置において、第２の入力画
像信号から得られる補助予測信号と、第１の入力画像信
号から得られる解像度変換信号との一方を、上記第２の
入力画像信号に含まれる制御情報に基づいて選択し、該
選択した信号を各単位領域に対応する第２の入力画像信
号の予測信号として出力するので、簡単な構成により、
予測信号を適応的に切り替えることができ、階層符号化
処理における符号化効率をより高めることができる。

【０１６１】この発明（請求項５）によれば、請求項３
記載のデジタル画像符号化装置において、第２の入力画
像信号から得られる補助予測信号と、第１の入力画像信
号から得られる解像度変換信号とを重み付けを行って平
均化し、該平均化した信号を各単位領域に対応する第２
の入力画像信号の予測信号として出力するので、第１の
再生画像信号から得られる第２の入力画像信号の予測信
号と、第２の入力画像信号との差分値の大きさをきめ細
かく制御することができ、階層符号化処理における符号
化効率の向上を図ることが可能となる。

【０１６２】この発明（請求項６）によれば、請求項５
記載のデジタル画像符号化装置において、各単位領域に
対応する第１の再生画像信号の補填処理を、該第１の再
生画像信号における有意な画素値に基づいて行うので、
第１の入力画像信号から得られる第２の入力画像信号の
予測信号と、第２の入力画像信号との差分を効果的に抑
圧することができる。

【０１６３】この発明（請求項７）によれば、請求項３
記載のデジタル画像符号化装置において、補填処理を施
した第１の再生画像信号をフレームメモリに格納するよ
うにしたので、動き検出や動き補償をより精度よく行う
ことができる。

【０１６４】この発明（請求項８）に係るデジタル画像
復号化方法によれば、補填処理が施された第１の再生画
像信号に基づいて第２の再生画像信号の再生予測信号が
生成されることとなるので、第１の画像信号に基づいて
第２の画像信号を階層符号化して得られる第２の符号化
画像信号を、第１の再生画像信号を用いて正しく階層復
号化することができる。

【０１６５】また、復号化処理の対象となる対象単位領
域に対応する第２の符号化画像信号の復号化処理では、
その予測信号として、上記対象単位領域に対応する第１
の再生画像信号に基づいて生成される信号を用いるの
で、第２の符号化画像信号の復号化処理は第１の符号化
画像信号の復号化処理と比べて、上記単位領域を処理す
るための時間だけしか遅延しない。このため、画像信号
の階層符号化処理により得られる第１，第２の符号化画
像信号に基づいて、高解像度画像と低解像度画像とをほ
とんど時間のずれなく再生することができる。

【０１６６】この発明（請求項９）によれば、請求項８
記載のデジタル画像復号化方法において、各単位領域に
対応する第１の再生画像信号の補填処理を、該第１の再
生画像信号における有意な画素値に基づいて行うので、
第１の画像信号から得られる第２の画像信号の予測信号
と、第２の画像信号との差分を効果的に抑圧しつつ符号
化して得られる符号化差分信号を正しく復号化すること
ができる。

【０１６７】この発明（請求項１０）に係るデジタル画
像復号化装置によれば、補填処理が施された第１の再生
画像信号に基づいて第２の再生画像信号の再生予測信号
が生成されることとなるので、第１の画像信号に基づい
て第２の画像信号を階層符号化して得られる第２の符号
化画像信号を、第１の再生画像信号を用いて正しく階層
復号化することができる。

【０１６８】また、復号化処理の対象となる対象単位領
域に対応する第２の符号化画像信号の復号化処理では、
その予測信号として、上記対象単位領域に対応する第１
の再生画像信号に基づいて生成される信号を用いるの
で、第２の符号化画像信号の復号化処理は第１の符号化
画像信号の復号化処理と比べて、上記単位領域を処理す
るための時間だけしか遅延しない。このため、画像信号
の階層符号化処理により得られる第１，第２の符号化画
像信号に基づいて、高解像度画像と低解像度画像とをほ
とんど時間のずれなく再生することができる。

【０１６９】この発明（請求項１１）によれば、請求項
１０記載のデジタル画像復号化装置において、第２の再
生画像信号から得られる補助予測信号と、第１の再生画
像信号から得られる解像度変換信号との一方を、上記第
２の符号化画像信号に含まれる制御情報に基づいて選択
し、該選択した信号を各単位領域に対応する第２の再生
画像信号の再生予測信号として出力するので、簡単な構
成により再生予測信号を適応的に切り替えることがで
き、符号化効率をより高めた階層符号化処理に対応する
階層復号化処理を簡単に実現できる。

【０１７０】この発明（請求項１２）によれば、請求項
１０記載のデジタル画像復号化装置において、第２の再
生画像信号から得られる補助予測信号と、第１の再生画
像信号から得られる解像度変換信号とを重み付けを行っ
て平均化し、該平均化した信号を各単位領域に対応する
第２の再生画像信号の再生予測信号として出力するの
で、第１の画像信号から得られる第２の画像信号の予測
信号と、第２の画像信号との差分の大きさをきめ細かく
制御する階層符号化処理に対応した階層復号化処理を実
現できる。

【０１７１】この発明（請求項１３）によれば、請求項
１２記載のデジタル画像復号化装置において、各単位領
域に対応する第１の再生画像信号の補填処理を、該第１
の再生画像信号における有意な画素値に基づいて行うの
で、第１の画像信号から得られる第２の画像信号の予測
信号と、第２の画像信号との差分を効果的に抑圧しつつ
符号化して得られる符号化差分信号を正しく復号化する
ことができる。

【０１７２】この発明（請求項１４）によれば、請求項
１０記載のデジタル画像復号化装置において、補填処理
を施した第１の再生画像信号をフレームメモリに格納す
るようにしたので、復号化処理における動き補償をより
精度よく行うことができる。

【０１７３】この発明（請求項１５）に係るデータ記憶
媒体によれば、コンピュータにより、任意形状を有する
画像を含む複数の画素からなる画像空間を形成するため
の、解像度が異なる第１及び第２の入力画像信号を予測
符号化する処理を、上記画像空間を区分する単位領域毎
に行うためのプログラムとして、予測符号化処理の際、
上記各単位領域に対応する第１の再生画像信号に対し
て、その有意でない画素値を所定の方法により得られた
擬似画素値と置き換える補填処理を施し、該補填処理が
施された第１の再生画像信号に基づいて、該各単位領域
に対応する第２の入力画像信号を予測して予測信号を生
成するプログラムを格納したので、解像度が第１の入力
画像信号とは異なる第２の入力画像信号とその予測信号
との差分である差分信号が抑圧されることとなり、物体
の境界部に位置する単位領域に対応する第２の入力画像
信号を、符号化効率の劣化を抑えつつ圧縮する処理を、
コンピュータにより実現することができる。

【０１７４】この発明（請求項１６）に係るデータ記憶
媒体によれば、コンピュータに、任意形状を有する画像
を含む複数の画素からなる画像空間を再生するための解
像度が異なる第１，第２の画像信号に、符号化処理を施
して得られる第１，第２の符号化画像信号を復号化して
第１，第２の再生画像信号を生成する予測復号化処理を
上記画像空間を区分する単位領域毎に行うためのプログ
ラムとして、予測復号化処理の際、上記各単位領域に対
応する第１の再生画像信号に対して、その有意でない画
素値を所定の方法により得られた擬似画素値と置き換え
る補填処理を施し、該補填処理が施された第１の再生画
像信号から、該各単位領域に対応する第２の再生画像信
号を予測して再生予測信号を生成するプログラムを格納
したので、補填処理が施された第１の再生画像信号に基
づいて第２の再生画像信号の再生予測信号が生成される
こととなるので、解像度が第１の入力画像信号とは異な
る第２の入力画像信号とその予測信号との差分を抑圧し
て符号化して得られる符号化差分信号を正しく復号化す
る処理をコンピュータにより実現することができる。

【０１７５】このように本発明に係るデジタル画像符号
化方法及びデジタル画像符号化装置，デジタル画像復号
化方法及びデジタル画像復号化装置，並びにデータ記憶
媒体は、画像信号の圧縮処理における符号化効率の向上
を図ることができ、画像信号の伝送や記憶を行うシステ
ムにおける画像符号化処理や画像復号化処理を実現する
ものとして極めて有用であり、特に、ＭＰＥＧ４等の規
格に準拠した動画像の圧縮，伸長処理に適している。

【図面の簡単な説明】

【図１】 本発明の実施の形態１によるデジタル画像符
号化装置の全体構成を説明するためのブロック図であ
る。

【図２】 上記実施の形態１のデジタル画像符号化装置
を構成するテキスチャー符号化部の詳細な構成を示すブ
ロック図である。

【図３】 図(a),及び図(b)は、それぞれ上記実施の形
態１のデジタル画像符号化装置を構成する前処理器の具
体的な構成を示すブロック図である。

【図４】 図(a)は、上記実施の形態１のテキスチャー
符号化部における情報圧縮器の具体的構成を、図(b)は
該テキスチャー符号化部における情報伸長器の具体的構
成を示すブロック図である。

【図５】 上記実施の形態１のデジタル画像符号化装置
による、低解像度テキスチャー信号に基づいて高解像度
テキスチャー信号を予測する処理を説明するための模式
図であり、図５(a)、図５(b)はそれぞれ高解像度画像空
間、低解像度画像空間を示している。

【図６】 上記実施の形態１のデジタル画像符号化装置
による画像補填処理を説明するための模式図である。

【図７】 上記実施の形態１のデジタル画像符号化装置
を構成するテキスチャー変換器の構成を示す図である。

【図８】 上記実施の形態１のデジタル画像符号化装置
による補填処理及び補間処理をフローチャートにより示
す図である。

【図９】 図(a)及び(b)は、上記実施の形態１のデジ
タル画像符号化装置による画像補填処理を説明するため
の模式図である。

【図１０】 本発明の実施の形態２によるデジタル画像
復号化装置の全体構成を示すブロック図である。

【図１１】 上記実施の形態２のデジタル画像復号化装
置を構成するテキスチャー復号化部の詳細な構成を示す
ブロック図である。

【図１２】 上記各実施の形態のデジタル画像符号化装
置あるいはデジタル画像復号化装置をコンピュータシス
テムにより実現するためのプログラムを格納したデータ
記憶媒体を説明するための図であり、フロッピーディス
ク（図(a)），フロッピーディスクケース（図(b)），コ
ンピュータシステム（図(c)）を示している。

【符号の説明】

４０１ａ 高解像度画像空間 ４０１ｂ 低解像度画像空間 ４０２ａ〜４０７ａ，４０２ｂ〜４０７ｂ，５０１，８
０１〜８０４ ブロック ５０２〜５０７，８０５〜８１２ サンプル １０００ デジタル画像符号化装置 １１００ テキスチャー符号化部 １１１０ａ，１１１０ｂ，２１１０ａ，２１１０ｂ 予
測信号生成部 １１２５ テキスチャー変換器 １２００ 形状符号化部 １２２５ 形状変換器 ２０００ デジタル画像復号化装置 ２１００ テキスチャー復号化部 ２２００ 形状復号化部 Ｄｋｄ 低解像度形状復号化信号 Ｄｋｈ 高解像度形状復号化信号 Ｄｔｄ 低解像度テキスチャー復号化信号 Ｄｔｈ 高解像度テキスチャー復号化信号 Ｅｋｄ 低解像度形状差分符号化信号 Ｅｋｈ 高解像度形状差分符号化信号 Ｅｔｄ 低解像度テキスチャー差分符号化信号 Ｅｔｈ 高解像度テキスチャー差分符号化信号 ＬＤｋｄ 低解像度再生形状信号 ＬＤｋｈ 高解像度再生形状信号 Ｓｋ 形状信号 Ｓｋｄ 低解像度形状信号 Ｓｋｈ 高解像度形状信号 Ｓｔ テキスチャー信号 Ｓｔｄ 低解像度テキスチャー信号 Ｓｔｈ 高解像度テキスチャー信号 Ｒｋｄ 低解像度形状再生信号 Ｒｋｈ 高解像度形状再生信号 Ｒｔｄ 低解像度テキスチャー再生信号 Ｒｔｈ 高解像度テキスチャー再生信号

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 MA01 MA23 MA34 MB14 MB16 ME01 NN02 NN28 PP04 PP22 PP26 PP28 PP29 SS02 SS03 SS05 TA26 TB08 TC02 TC06 TD18 UA02 UA05 UA12 UA34 5J064 AA02 BA16 BB03 BB12 BC08 BC11 BC21 BC26 BD03

Claims (16)

【特許請求の範囲】
1. 【請求項１】 任意形状を有する画像を含む複数の画素
   からなる画像空間を形成するための、解像度が異なる第
   １及び第２の入力画像信号を符号化するデジタル画像符
   号化方法であって、 上記第１の入力画像信号を圧縮し符号化して第１の符号
   化画像信号を生成し、かつ該圧縮された第１の入力画像
   信号を伸長して第１の再生画像信号を生成する符号化処
   理を、上記画像空間を区分する単位領域毎に行い、 上記各単位領域に対応する第１の再生画像信号に対し
   て、その有意でない画素値を所定の方法により得られた
   擬似画素値と置き換える補填処理を施し、該補填処理が
   施された第１の再生画像信号に基づいて、該各単位領域
   に対応する第２の入力画像信号を予測して予測信号を生
   成し、 該各単位領域に対応する第２の入力画像信号とその予測
   信号との差分である差分信号を圧縮し符号化して符号化
   差分信号を生成し、かつ該圧縮された差分信号を伸長
   し、該伸長された差分信号に上記予測信号を加算して第
   ２の再生画像信号を生成する差分符号化処理を、上記単
   位領域毎に行うことを特徴とするデジタル画像符号化方
   法。
2. 【請求項２】 請求項１に記載のデジタル画像符号化方
   法において、 上記各単位領域に対応する第１の再生画像信号に対する
   補填処理は、該第１の再生画像信号における有意でない
   画素値を、該第１の再生画像信号における有意な画素値
   に基づいて得られた擬似画素値と置き換えるものである
   ことを特徴とするデジタル画像符号化方法。
3. 【請求項３】 任意形状を有する画像を含む複数の画素
   からなる画像空間を形成するための第１の入力画像信号
   を符号化する第１の符号化処理部と、 上記画像を含む複数の画素からなる画像空間を形成する
   ための、解像度が第１の入力画像信号とは異なる第２の
   入力画像信号を符号化する第２の符号化処理部とを備
   え、 上記第１の符号化処理部は、 上記第１の入力画像信号を圧縮し符号化して第１の符号
   化画像信号を生成し、かつ該圧縮された第１の入力画像
   信号を伸長して第１の再生画像信号を生成する符号化処
   理を、上記画像空間を区分する単位領域毎に行う第１の
   符号化手段と、 上記各単位領域に対応する第１の再生画像信号に対し
   て、その有意でない画素値を所定の方法により得られた
   擬似画素値と置き換える補填処理を施す補填手段とを有
   し、 上記第２の符号化処理部は、 上記補填処理が施された第１の再生画像信号に基づい
   て、上記各単位領域に対応する第２の入力画像信号を予
   測して予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第２の入力画像信号とその予
   測信号の差分信号を圧縮し符号化して符号化差分信号を
   生成し、かつ、該圧縮された差分信号を伸長し、該伸長
   された差分信号に上記予測信号を加算して第２の再生画
   像信号を生成する差分符号化処理を、上記単位領域毎に
   行う第２の符号化手段とを有することを特徴とするデジ
   タル画像符号化装置。
4. 【請求項４】 請求項３に記載のデジタル画像符号化装
   置において、 上記補填処理が施された第１の再生画像信号を、その解
   像度が上記第２の入力画像信号の解像度と一致するよう
   変換して解像度変換信号を出力する解像度変換手段を備
   え、 上記予測信号生成手段を、 上記第２の再生画像信号に基づいて各単位領域に対応す
   る第２の入力画像信号を予測して補助予測信号を生成す
   る予測手段と、 該補助予測信号と上記解像度変換信号とを、上記第２の
   入力画像信号に含まれる制御情報に基づいて切り替える
   スイッチ手段とを有し、 該スイッチ手段の出力を上記各単位領域に対応する第２
   の入力画像信号の予測信号として出力する構成としたこ
   とを特徴とするデジタル画像符号化装置。
5. 【請求項５】 請求項３に記載のデジタル画像符号化装
   置において、 上記補填処理が施された第１の再生画像信号を、その解
   像度が上記第２の入力画像信号の解像度と一致するよう
   変換して解像度変換信号を出力する解像度変換手段を備
   え、 上記予測信号生成手段を、 上記第２の再生画像信号に基づいて各単位領域に対応す
   る第２の入力画像信号を予測して補助予測信号を生成す
   る予測手段と、 該補助予測信号と上記解像度変換信号とを重み付けして
   平均化する平均化手段とを有し、 該平均化手段の出力を上記各単位領域に対応する第２の
   入力画像信号の予測信号として出力する構成としたこと
   を特徴とするデジタル画像符号化装置。
6. 【請求項６】 請求項５に記載のデジタル画像符号化装
   置において、 上記補填手段は、上記第１の再生画像信号における有意
   でない画素値を、該第１の再生画像信号における有意な
   画素値に基づいて得られた擬似画素値と置き換える補填
   処理を行うものであることを特徴とするデジタル画像符
   号化装置。
7. 【請求項７】 請求項３に記載のデジタル画像符号化装
   置において、 上記第１の符号化手段は、 上記各単位領域に対応する第１の入力画像信号とその予
   測信号との差分を求めて差分信号を出力する演算器と、 該差分信号を圧縮する圧縮器と、 該圧縮された差分信号を符号化する符号化器と、 上記圧縮された差分信号を伸長する伸長器と、 該伸長器の出力と上記第１の入力画像信号の予測信号と
   を加算して第１の再生画像信号を上記補填手段に出力す
   る加算器と、 上記補填手段の出力を記憶するフレームメモリと、 該フレームメモリに記憶されている補填処理が施された
   第１の再生画像信号に基づいて、上記各単位領域に対応
   する上記第１の入力画像信号の予測信号を生成する予測
   信号生成器とを有するものであることを特徴とするデジ
   タル画像符号化装置。
8. 【請求項８】 任意形状を有する画像を含む複数の画素
   からなる画像空間を形成するための解像度が異なる第
   １，第２の画像信号に、符号化処理を施して得られる第
   １，第２の符号化画像信号を復号化して第１，第２の再
   生画像信号を生成するデジタル画像復号化方法であっ
   て、 上記第１の符号化画像信号から第１の再生画像信号を生
   成する復号化処理を、上記画像空間を区分する単位領域
   毎に行い、 上記各単位領域に対応する第１の再生画像信号に対し
   て、その有意でない画素値を所定の方法により得られた
   擬似画素値と置き換える補填処理を施し、該補填処理が
   施された第１の再生画像信号から、該各単位領域に対応
   する第２の再生画像信号を予測して再生予測信号を生成
   し、 該各単位領域に対応する第２の符号化画像信号を復号化
   して、第２の画像信号とその予測信号との差分信号を再
   生し、該差分信号に上記再生予測信号を加算して第２の
   再生画像信号を生成する差分復号化処理を、上記単位領
   域毎に行うことを特徴とするデジタル画像復号化方法。
9. 【請求項９】 請求項８に記載のデジタル画像復号化方
   法において、 上記各単位領域に対応する第１の再生画像信号に対する
   補填処理は、上記第１の再生画像信号における有意でな
   い画素値を、該第１の再生画像信号における有意な画素
   値に基づいて得られた擬似画素値と置き換えるものであ
   ることを特徴とするデジタル画像復号化方法。
10. 【請求項１０】 任意形状を有する画像を含む複数の画
    素からなる画像空間を形成するための第１の画像信号
    に、符号化処理を施して得られる第１の符号化画像信号
    を復号化して第１の再生画像信号を生成する第１の復号
    化処理部と、 上記画像を含む複数の画素からなる画像空間を形成する
    ための、解像度が上記第１の画像信号とは異なる第２の
    画像信号に、符号化処理を施して得られる第２の符号化
    画像信号を復号化して第２の再生画像信号を生成する第
    ２の復号化処理部とを備え、 上記第１の復号化処理部は、 上記第１の符号化画像信号から第１の再生画像信号を生
    成する復号化処理を、上記画像空間を区分する単位領域
    毎に行う第１の復号化手段と、 上記各単位領域に対応する第１の再生画像信号に対し
    て、その有意でない画素値を所定の方法により得られた
    擬似画素値と置き換える補填処理を施す補填手段とを有
    し、 上記第２の復号化処理部は、 上記補填処理が施された第１の再生画像信号から、上記
    各単位領域に対応する第２の再生画像信号を予測して再
    生予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第２の符号化画像信号を復号
    化して、上記第２の画像信号とその予測信号との差分信
    号を再生し、該差分信号に上記再生予測信号を加算して
    第２の再生画像信号を生成する差分復号化処理を、上記
    単位領域毎に行う第２の復号化手段とを有することを特
    徴とするデジタル画像復号化装置。
11. 【請求項１１】 請求項１０に記載のデジタル画像復号
    化装置において、 上記補填処理が施された第１の再生画像信号を、その解
    像度が上記第２の再生画像信号の解像度と一致するよう
    変換して解像度変換信号を出力する解像度変換手段を備
    え、 上記予測信号生成手段を、 上記第２の再生画像信号に基づいて各単位領域に対応す
    る第２の再生画像信号を予測して補助予測信号を生成す
    る予測手段と、 該補助予測信号と上記解像度変換信号とを、上記第２の
    符号化画像信号に含まれる制御情報に基づいて切り替え
    るスイッチ手段とを有し、 該スイッチ手段の出力を上記各単位領域に対応する第２
    の再生画像信号の予測信号として出力する構成としたこ
    とを特徴とするデジタル画像復号化装置。
12. 【請求項１２】 請求項１０に記載のデジタル画像復号
    化装置において、 上記補填処理が施された第１の再生画像信号を、その解
    像度が上記第２の再生画像信号の解像度と一致するよう
    変換して解像度変換信号を出力する解像度変換手段を備
    え、 上記予測信号生成手段を、 上記第２の再生画像信号に基づいて各単位領域に対応す
    る第２の再生画像信号を予測して補助予測信号を生成す
    る予測手段と、 該補助予測信号と上記解像度変換信号とを重み付けして
    平均化する平均化手段とを有し、 該平均化手段の出力を上記各単位領域に対応する第２の
    再生画像信号の再生予測信号として出力する構成とした
    ことを特徴とするデジタル画像復号化装置。
13. 【請求項１３】 請求項１２に記載のデジタル画像復号
    化装置において、 上記補填手段は、上記第１の再生画像信号における有意
    でない画素値を、該第１の再生画像信号における有意な
    画素値に基づいて得られた擬似画素値と置き換える補填
    処理を行うものであることを特徴とするデジタル画像復
    号化装置。
14. 【請求項１４】 請求項１０に記載のデジタル画像復号
    化装置において、 上記第１の符号化画像信号は、各単位領域に対応する第
    １の画像信号とその予測信号との差分である差分信号を
    圧縮し符号化してなる差分符号化信号であり、 上記第１の復号化手段は、 上記差分符号化信号を復号化する復号化器と、 該復号化器の出力を伸長して再生差分信号を生成する伸
    長器と、 該伸長器の出力である再生差分信号と上記第１の再生画
    像信号の再生予測信号とを加算して第１の再生画像信号
    を上記補填手段に出力する加算器と、 上記補填手段の出力を記憶するフレームメモリと、 該フレームメモリに記憶されている補填処理が施された
    第１の再生画像信号に基づいて、各単位領域に対応する
    上記第１の再生画像信号の再生予測信号を生成する予測
    信号生成器とを有するものであることを特徴とするデジ
    タル画像復号化装置。
15. 【請求項１５】 コンピュータにより、任意形状を有す
    る画像を含む複数の画素からなる画像空間を形成するた
    めの、解像度が異なる第１及び第２の入力画像信号を符
    号化する処理を行わせるためのプログラムを格納したデ
    ータ記憶媒体であって、 上記プログラムは、コンピュータに、 上記第１の入力画像信号を圧縮し符号化して第１の符号
    化画像信号を生成し、かつ該圧縮された第１の入力画像
    信号を伸長して第１の再生画像信号を生成する符号化処
    理を、上記画像空間を区分する単位領域毎に行う処理、 上記各単位領域に対応する第１の再生画像信号に対し
    て、その有意でない画素値を所定の方法により得られた
    擬似画素値と置き換える補填処理を施し、該補填処理が
    施された第１の再生画像信号に基づいて、該各単位領域
    に対応する第２の入力画像信号を予測して予測信号を生
    成する処理、及び該各単位領域に対応する第２の入力画
    像信号とその予測信号との差分である差分信号を圧縮し
    符号化して符号化差分信号を生成し、かつ、該圧縮され
    た差分信号を伸長し、該伸長された差分信号に上記予測
    信号を加算して第２の再生画像信号を生成する差分圧縮
    符号化を、上記単位領域毎に行う処理を、 行わせるものであることを特徴とするデータ記憶媒体。
16. 【請求項１６】 コンピュータに、任意形状を有する画
    像を含む複数の画素からなる画像空間を再生するための
    解像度が異なる第１，第２の画像信号に、符号化処理を
    施して得られる第１，第２の符号化画像信号を復号化し
    て第１，第２の再生画像信号を生成する処理を行わせる
    ためのプログラムを格納したデータ記憶媒体であって、 上記プログラムは、コンピュータに、 上記第１の符号化画像信号から第１の再生画像信号を生
    成する復号化処理を、上記画像空間を区分する単位領域
    毎に行う処理、 上記各単位領域に対応する第１の再生画像信号に対し
    て、その有意でない画素値を所定の方法により得られた
    擬似画素値と置き換える補填処理を施し、該補填処理が
    施された第１の再生画像信号から、該各単位領域に対応
    する第２の再生画像信号を予測して再生予測信号を生成
    する処理、及び該各単位領域に対応する第２の符号化画
    像信号を復号化して、第２の画像信号とその予測信号と
    の差分信号を再生し、該差分信号に上記再生予測信号を
    加算して第２の再生画像信号を生成する差分復号化処理
    を、上記単位領域毎に行う処理を、 行わせるものであることを特徴とするデータ記憶媒体。