JP2001268581A - 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像サイズ可変の画像を符号化する際に、参
照画像のサイズがゼロの場合、フレーム内符号化を行う
ことにより、符号量が増え、圧縮率が低下する。 【解決手段】 画像サイズ可変な画像を、所定の方法で
圧縮符号化した画像データを入力し、復号化の対象とな
る画像より以前に再生された少なくとも一つの参照画像
から、予測画像を生成し、復号化の対象となる画像を、
予測復号化する復号化方法において、サイズがゼロでな
い，最近に再生された少なくとも一つの参照画像を用い
て、予測画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の予測復号
化，符号化処理に関するもので、特に画像サイズが可変
な場合における画像予測復号化方法，画像予測復号化装
置，画像予測符号化方法，画像予測符号化装置，及びデ
ータ記憶媒体に関するものである。

【０００２】

【従来の技術】デジタル画像を効率よく蓄積もしくは伝
送するには、圧縮符号化する必要がある。デジタル画像
を圧縮符号化するための方法として、ＪＰＥＧやＭＰＥ
Ｇに代表される離散コサイン変換（ＤＣＴ）のほかに、
サブバンドやウェアブレット、フラクタルなどの波形符
号化方法がある。また、画像間の冗長な信号を取り除く
には、動き補償を用いた画像間予測を行い、差分信号を
波形符号化する。

【０００３】ここでは、動き補償ＤＣＴに基づくＭＰＥ
Ｇ方式について説明する。まず、符号化しようとする１
フレームの入力画像を、複数の１６×１６画素の大きさ
のマクロブロックに分割して処理する。一つのマクロブ
ロックを、さらに８×８画素の大きさの４つのブロック
に分割し、８×８画素の大きさのブロックに対するＤＣ
Ｔを施してから、量子化する。これはフレーム内符号化
と呼ばれる。

【０００４】一方、ブロックマッチングをはじめとする
動き検出方法で、量子化しようとする対象マクロブロッ
クを含む当該フレームに対して時間的に隣接する別のフ
レームの中から、対象マクロブロックに対する誤差の最
も小さい予測マクロブロックを検出し、該検出された動
きに基づいて、過去の画像からの動き補償を行い、最適
な予測ブロックを取得する。誤差の最も小さい予測マク
ロブロックへの動きを示す信号が動きベクトルである。
予測マクロブロックを生成するために参照する画像を、
以後、参照画像と呼ぶ。次に対象となるブロックと対応
する予測ブロックとの差分を求め、該差分に対してＤＣ
Ｔを施し、該ＤＣＴ変換係数を量子化し、該量子化出力
を動き情報とともに伝送もしくは蓄積する。これをフレ
ーム間符号化と呼ぶ。

【０００５】また、このフレーム間符号化には、表示順
で前にある画像からのみ予測するモードと、前にある画
像と後ろにある画像の両方から予測するモードがある。
前者を前方予測、後者を双方向予測と呼ぶ。

【０００６】受信側では、量子化された変換係数をもと
の差分信号に復元した後に、該差分信号をもとに動きベ
クトルに基づいて予測ブロックを取得し、該予測ブロッ
クと差分信号とを加算し、画像を再生する。なお、この
従来の技術では、参照画像（予測画像を生成するために
参照する画像）と、対象画像のサイズとが同じであるこ
とを前提にしている。

【０００７】最近、圧縮効率を向上させると同時に、画
像を構成する物体単位の再生ができるように、画像を構
成する物体を、任意形状の画像として、別々に圧縮符号
化して伝送するようにしている。このような任意形状の
画像の符号化，復号化では、画像のサイズが変化するこ
とがよくある。その一例としては、ボールがだんだん小
さくなり，消えてしまう例が考えられる。また、場合に
よっては、画像（物体）のサイズがゼロになることもあ
る。

【０００８】

【発明が解決しようとする課題】通常の場合には、参照
画像は対象画像の直前にある再生画像である。参照画像
のサイズがゼロの場合、参照画像には何も定義されない
ために、即ち予測符号化に用いる有意な画像データがな
いために、予測符号化することができなくなる。

【０００９】この場合にも、従来の技術を適用しようと
すると、フレーム内符号化を行うしか方法はない。しか
るに、フレーム内符号化を行うと、一般的に符号量が増
え、圧縮率が低下してしまう。動画像のシーケンスの中
で、画像が頻繁に消えたり（この場合、画像サイズはゼ
ロになる）、現れたりする場合は、符号化効率が非常に
悪くなる。たとえば、スポットライトがフラッシングす
る画像では、ライトが画像単位で消えたり，現れたりす
ると、すべてのライトの画像を、フレーム内符号化する
ことになる。

【００１０】本発明は、上記のような問題点に鑑みてな
されたもので、サイズ可変な画像に対し、参照画像のサ
イズがゼロになった場合、あるいは参照画像が完全に透
過する場合でも、効率よく予測符号化を行うことのでき
る，画像予測復号化方法，画像予測復号化装置，画像予
測符号化方法，画像予測符号化装置，及びデータ記憶媒
体を提供することを目的としている。

【００１１】

【課題を解決するための手段】本発明の請求項１に係る
画像予測復号化方法は、画像サイズ可変な画像を所定の
方法で圧縮符号化した画像データを入力し、復号化の対
象となる画像より以前に再生された少なくとも一つの再
生画像を参照画像として用いて予測画像を生成し、上記
復号化の対象となる画像を、予測復号化する画像予測復
号化方法において、上記参照画像として、参照されるべ
き有意な画像データが存在する最近に再生された少なく
とも一つの再生画像を用いて、上記予測画像を生成する
ものである。

【００１２】請求項２にかかる画像予測復号化方法は、
画像サイズ可変な画像を所定の方法で圧縮符号化した画
像データを入力し、復号化の対象となる画像より以前に
再生された所定の再生画像を参照画像として用いて予測
画像を生成し、上記復号化の対象となる画像を、予測復
号化する画像予測復号化方法において、上記予測画像を
生成する際に参照画像として用いる所定の再生画像に、
参照されるべき有意な画像データが存在しないとき、所
定値をその画像データとした画像を予測画像とするもの
である。

【００１３】請求項３にかかる画像予測復号化方法は、
請求項１または２に記載の画像予測復号化方法におい
て、上記圧縮符号化した各フレーム毎の画像データは、
復号化処理の対象となる対象フレームの直前のフレーム
に、参照されるべき有意な画像データが存在するか否か
を示すフラグを有するものとしたものである。

【００１４】請求項４にかかる画像予測復号化方法は、
画像サイズ可変な画像を所定の方法で圧縮符号化した画
像データを入力し、参照画像を用いて予測画像を生成
し、上記復号化の対象となる画像を、予測復号化する画
像予測復号化方法において、上記参照画像として、最近
に再生された２つの再生画像のうちの、少なくとも参照
されるべき有意な画像データが存在するものを用いて、
上記予測画像を生成するものである。

【００１５】請求項５にかかる画像予測復号化方法は、
請求項４に記載の画像予測復号化方法において、上記圧
縮符号化した各フレーム毎の画像データは、復号化処理
の対象となる対象フレームの直前の所定の２つのフレー
ムに、参照されるべき有意な画像データが存在するか否
かを示すフラグを有するものとしたものである。

【００１６】請求項６にかかる画像予測復号化装置は、
入力手段と、データ解析器と、復号化器と、予測画像生
成器と、加算器と、フレームメモリとを具備し、上記入
力手段に、画像サイズ可変な画像を所定の方法で圧縮符
号化した画像データを入力し、上記データ解析器にて、
上記画像データを分析して、画像サイズと画像変換係数
を出力し、上記復号化器にて、上記画像変換係数を、所
定の方法で伸長差分画像に復元し、上記予測画像生成器
にて、上記フレームメモリに格納された再生画像を参照
画像として用いて予測画像を生成し、上記加算器にて、
上記伸長差分画像と、上記予測画像とを加算して、再生
画像を生成し出力すると同時に、該再生画像を、上記フ
レームメモリに格納する画像予測復号化装置であって、
上記予測画像生成器は、上記再生画像に、参照されるべ
き有意な画像データが存在するか否かを調べ、有意な画
像データが存在する最近に再生された少なくとも一つの
再生画像を参照画像とし用いて、上記予測画像を生成す
るものとしたものである。

【００１７】請求項７にかかる画像予測復号化装置は、
入力手段と、データ解析器と、復号化器と、予測画像生
成器と、加算器と、フレームメモリとを具備し、上記入
力手段に、画像サイズ可変な入力画像を所定の方法で圧
縮符号化した画像データを入力し、上記データ解析器に
て、上記画像データを分析して、画像サイズと画像変換
係数を出力し、上記復号化器にて、上記画像変換係数
を、所定の方法で伸長差分画像に復元し、上記予測画像
生成器にて、上記フレームメモリに格納された、上記入
力画像に対応する所定の再生画像を参照画像として用い
て予測画像を生成し、上記加算器にて、上記伸長差分画
像と、上記予測画像とを加算し、再生画像を生成し出力
すると同時に、該再生画像を、上記フレームメモリに格
納する画像予測復号化装置であって、上記予測画像生成
器は、上記所定の再生画像に、参照されるべき有意な画
像データが存在するか否かを調べ、該所定の再生画像
に、有意な画像データが存在しないとき、所定値をその
画像データとした画像を上記予測画像とするものとした
ものである。

【００１８】請求項８にかかる画像予測復号化装置は、
請求項６または７に記載の画像予測復号化装置におい
て、上記圧縮符号化した各フレーム毎の画像データは、
復号化処理の対象となる対象フレームの直前のフレーム
に、参照されるべき有意な画像データが存在するか否か
を示すフラグを有するものとしたものである。

【００１９】請求項９にかかる画像予測復号化装置は、
入力手段と、データ解析器と、復号化器と、予測画像生
成器と、加算器と、フレームメモリとを具備し、上記入
力手段に、画像サイズ可変な画像を所定の方法で圧縮符
号化した画像データを入力し、上記データ解析器にて、
上記画像データを分析して、画像サイズと画像変換係数
を出力し、上記復号化器にて、上記画像変換係数を、所
定の方法で伸長差分画像に復元し、上記予測画像生成器
にて、上記フレームメモリに格納された再生画像を参照
画像として用いて予測画像を生成し、上記加算器にて、
上記伸長差分画像と、上記予測画像とを加算し、再生画
像を生成し出力すると同時に、該再生画像を、上記フレ
ームメモリに格納する画像予測復号化装置であって、上
記予測画像生成器は、上記参照画像として、最近に再生
された２つの再生画像のうちの、少なくとも参照される
べき有意な画像データが存在するものを用いて、上記予
測画像を生成するものとしたものである。

【００２０】請求項１０にかかる画像予測復号化装置
は、請求項９に記載の画像予測復号化装置において、上
記圧縮符号化した各フレーム毎の画像データは、復号化
処理の対象となる対象フレームの直前の所定の２つのフ
レームに、参照されるべき有意な画像データが存在する
か否かを示すフラグを有するものとしたものである。

【００２１】請求項１１にかかる画像予測符号化方法
は、画像サイズ可変な画像を入力し、符号化の対象とな
る画像より以前に再生された少なくとも一つの再生画像
を参照画像として用いて予測画像を生成し、上記予測画
像から上記対象画像を引き算し、その差分を、所定の方
法で圧縮符号化する画像予測符号化方法において、上記
予測画像を生成する際には、参照されるべき有意な画像
データが存在する最近に再生された少なくとも一つの再
生画像を参照画像として用いて上記予測画像を生成する
ものである。

【００２２】請求項１２にかかる画像予測符号化方法
は、画像サイズ可変な画像を入力し、符号化の対象とな
る画像より以前に再生された所定の再生画像を参照画像
として用いて予測画像を生成し、上記予測画像から上記
対象画像を引き算し、その差分を、所定の方法で圧縮符
号化する画像予測符号化方法において、上記予測画像を
生成する際に参照画像として用いる所定の再生画像に、
参照されるべき有意な画像データが存在しないとき、所
定値をその画像データとした画像を上記予測画像とする
ものである。

【００２３】請求項１３にかかる画像予測符号化方法
は、請求項１１または１２に記載の画像予測符号化方法
において、上記圧縮符号化した各フレーム毎の画像デー
タは、符号化処理の対象となる対象フレームの直前のフ
レームに、参照されるべき有意な画像データが存在する
か否かを示すフラグを有するものとしたものである。

【００２４】請求項１４にかかる画像予測符号化方法
は、画像サイズ可変な画像を入力し、参照画像を用いて
予測画像を生成し、上記予測画像から上記符号化の対象
となる対象画像を引き算し、その差分を、所定の方法で
圧縮符号化する画像予測符号化方法において、上記参照
画像として、最近に再生された２つの再生画像のうち
の、少なくとも参照されるべき有意な画像データが存在
するものを用いて上記予測画像を生成するものである。

【００２５】請求項１５にかかる画像予測符号化方法
は、請求項１４に記載の画像予測符号化方法において、
上記圧縮符号化した各フレーム毎の画像データは、符号
化処理の対象となる対象フレームの直前の所定の２つの
フレームに、参照されるべき有意な画像データが存在す
るか否かを示すフラグを有するものとしたものである。
請求項１６にかかる画像予測符号化装置は、入力手段
と、減算器と、圧縮符号化器と、可変長符号化器と、伸
長復号化器と、予測画像生成器と、加算器と、フレーム
メモリとを具備し、上記入力手段に、画像サイズ可変な
画像データを符号化処理の単位毎に区分して入力し、上
記減算器にて、符号化処理の対象となる対象画像と、こ
の対象画像に対応する予測画像との差分画像を求め、上
記圧縮符号化器にて、上記差分画像を所定の圧縮符号化
処理により圧縮データに変換し、上記可変長符号化器に
て、上記圧縮データを可変長符号化して符号化データを
出力し、上記伸長復号化器にて、上記圧縮データを所定
の伸長復号化処理により伸長差分画像に復元し、上記予
測画像生成器にて、上記フレームメモリに格納された再
生画像を参照画像として用いて予測画像を生成し、上記
加算器にて、上記伸長差分画像と、上記予測画像とを加
算して、再生画像を生成し出力すると同時に、該再生画
像を、上記フレームメモリに格納する画像予測符号化装
置であって、上記予測画像生成器は、上記再生画像に、
参照されるべき有意な画像データが存在するか否かを調
べ、有意な画像データが存在する最近に再生された少な
くとも一つの再生画像を参照画像として用いて、上記予
測画像を生成するものとしたものである。

【００２６】請求項１７にかかる画像予測符号化装置
は、入力手段と、減算器と、圧縮符号化器と、可変長符
号化器と、伸長復号化器と、予測画像生成器と、加算器
と、フレームメモリとを具備し、上記入力手段に、画像
サイズ可変な画像データを符号化処理の単位毎に区分し
て入力し、上記減算器にて、符号化処理の対象となる対
象画像と、この対象画像に対応する予測画像との差分画
像を求め、上記圧縮符号化器にて、上記差分画像を所定
の圧縮符号化処理により圧縮データに変換し、上記可変
長符号化器にて、上記圧縮データを可変長符号化して符
号化データを出力し、上記伸長復号化器にて、上記圧縮
データを所定の伸長復号化処理により伸長差分画像に復
元し、上記予測画像生成器にて、上記フレームメモリに
格納された、上記入力画像に対応する所定の再生画像を
参照画像として用いて予測画像を生成し、上記加算器に
て、上記伸長差分画像と、上記予測画像とを加算して、
再生画像を生成し出力すると同時に、該再生画像を、上
記フレームメモリに格納する画像予測符号化装置であっ
て、上記予測画像生成器は、上記所定の再生画像に、参
照されるべき有意な画像データが存在するか否かを調
べ、有意な画像データが存在しないとき、所定値をその
画像データとした画像を上記予測画像とするものとした
ものである。

【００２７】請求項１８にかかる画像予測符号化装置
は、請求項１６または１７に記載の画像予測符号化装置
において、各フレーム毎の符号化データは、符号化処理
の対象となる対象フレームの直前のフレームに、参照さ
れるべき有意な画像データが存在するか否かを示すフラ
グを有するものとしたものである。

【００２８】請求項１９にかかる画像予測符号化装置
は、入力手段と、減算器と、圧縮符号化器と、可変長符
号化器と、伸長復号化器と、予測画像生成器と、加算器
と、フレームメモリとを具備し、上記入力手段に、画像
サイズ可変な画像データを符号化処理の単位毎に区分し
て入力し、上記減算器にて、符号化処理の対象となる対
象画像と、この対象画像に対応する予測画像との差分画
像を求め、上記圧縮符号化器にて、上記差分画像を所定
の圧縮符号化処理により圧縮データに変換し、上記可変
長符号化器にて、上記圧縮データを可変長符号化して符
号化データを出力し、上記伸長復号化器にて、上記圧縮
データを所定の伸長復号化処理により伸長差分画像に復
元し、上記予測画像生成器にて、上記フレームメモリに
格納された再生画像を参照画像として用いて予測画像を
生成し、上記加算器にて、上記伸長差分画像と、上記予
測画像とを加算して、再生画像を生成し出力すると同時
に、該再生画像を、上記フレームメモリに格納する画像
予測復号化装置であって、上記予測画像生成器は、上記
参照画像として、最近に再生された２つの再生画像のう
ちの、少なくとも参照されるべき有意な画像データが存
在するものを用いて上記予測画像を生成するものとした
ものである。

【００２９】請求項２０にかかる画像予測符号化装置
は、請求項１９に記載の画像予測符号化装置において、
各フレーム毎の符号化データは、符号化処理の対象とな
る画像データを含む対象フレームの直前の所定の２つの
フレームに、有意な画像データが存在するか否かを示す
フラグを有するものとしたものである。

【００３０】請求項２１にかかる画像予測符号化装置
は、入力手段と、減算器と、圧縮符号化器と、可変長符
号化器と、伸長復号化器と、予測画像生成器と、加算器
と、フレームメモリとを具備し、上記入力手段に、画像
サイズ可変な画像データを符号化処理の単位毎に区分し
て入力し、上記減算器にて、符号化処理の対象となる対
象画像と、この対象画像に対応する予測画像との差分画
像を求め、上記圧縮符号化器にて、上記差分画像を所定
の圧縮符号化処理により圧縮データに変換し、上記可変
長符号化器にて、上記圧縮データを可変長符号化して符
号化データを出力し、上記伸長復号化器にて、上記圧縮
データを所定の伸長復号化処理により伸長差分画像に復
元し、上記予測画像生成器にて、上記フレームメモリに
格納された再生画像を参照画像として用いて予測画像を
生成し、上記加算器にて、上記伸長差分画像と、上記予
測画像とを加算して、再生画像を生成し出力すると同時
に、該再生画像を、上記フレームメモリに格納する画像
予測符号化装置であって、上記画像サイズ可変な画像デ
ータに含まれる、物体の形状を示す形状データに基づい
て、上記再生画像に、参照されるべき有意な画像データ
が存在するか否かを検出する形状検出器を備え、上記予
測画像生成器を、形状検出器の出力に基づいて、上記再
生画像が有意な画像データを有しない場合は、有意な画
像データが存在する最近に再生された少なくとも一つの
再生画像を参照画像として用いて上記予測画像を生成す
る構成としたものである。

【００３１】請求項２２にかかるデータ記憶媒体は、コ
ンピュータに画像の予測復号化処理を行わせるためのプ
ログラムを格納したデータ記録媒体であって、上記プロ
グラムを、請求項６，７，９のいずれかに記載の画像予
測復号化装置による画像の予測符号化処理をコンピュー
タが行うよう構成したものである。

【００３２】請求項２３にかかるデータ記憶媒体は、コ
ンピュータに画像の予測符号化処理を行わせるためのプ
ログラムを格納したデータ記録媒体であって、上記プロ
グラムを、請求項１６，１７，１９，２１記載の画像予
測符号化装置による画像の予測符号化処理をコンピュー
タが行うよう構成したものである。

【００３３】請求項２４にかかるデータ記憶媒体は、画
像を圧縮符号化して得られる符号化データを格納したデ
ータ記録媒体であって、上記符号化データを、請求項１
６，１７，１９，２１のいずれかに記載の画像予測符号
化装置における画像の予測符号化処理により得られた符
号化データとしたものである。

【００３４】

【発明の実態の形態】以下、本発明の実施の形態につい
て、図１ないし図７を用いて説明する。 （実施の形態１）図１は本発明の実施の形態１による画
像予測復号化方法における，予測画像生成方法の流れ図
を示す。図１を説明する前に、図２を用いて、本発明に
よる画像予測復号化における画像予測の方法について説
明する。本実施の形態１の画像予測復号化方法において
用いる入力画像の画像サイズは、可変であり、場合によ
っては、サイズがゼロになることもある。

【００３５】図２(a) は、表示順に並んだ動画像の各画
像２０１〜２１０を示す。画像２０１が最初の画面で、
その次が、画像２０２, ……と、順に表示される。この
順序を＃１〜＃１０で示している。画像＃１（２０１）
は、最初の画像であり、フレーム内符号化を行う。本実
施の形態１では、画像（１フレーム）を、複数の８×８
画素の大きさのブロックに分割し、各８×８画素の大き
さのブロックのＤＣＴを施し、量子化する。量子化した
係数を、可変長符号化する。復号化する場合は、該可変
長符号化により得られた符号化データを可変長復号化
し、該復号化により得られた量子化係数を逆量子化して
から、逆ＤＣＴ変換することにより、画像を再生する。
次に、画像＃２（２０２）を、すでに再生された画像＃
１（２０１）を参照して、フレーム間予測符号化する。

【００３６】本実施の形態１では、ブロックマッチング
の動き検出方法で、画像＃１（２０１）の中から対象ブ
ロックに対し誤差の最も小さい予測ブロックを検出す
る。検出された、対象ブロックから予測ブロックへの動
きに基づいて、再生された画像＃１（２０１）から、対
象ブロックの動き補償により、最適な予測ブロックを取
得する。次に、対象となるブロックと、対応する予測ブ
ロックとの差分を求め、該差分に対しＤＣＴを施し、該
ＤＣＴ変換係数を量子化し、該量子化出力を、動き情報
とともに、伝送もしくは蓄積する。ここで、再生された
画像＃１（２０１）は、画像＃２（２０２）の参照画像
となる。これを前方予測と呼ぶ。復号化する際には、逆
量子化，及び逆ＤＣＴした差分に予測ブロックを加算
し、画像を再生する。

【００３７】同様に、画像＃３（２０３）と、画像＃４
（２０４）とは、矢印が示す参照画像から予測符号化を
行う。また、画像＃６（２０６），画像＃８（２０
８），画像＃１０（２１０）のように、２枚前の画像か
ら予測することができる。また、画像＃５（２０５），
画像＃７（２０７），画像＃９（２０９）のように、前
方予測のほかに、当該画像より後に表示される画像を
も、参照することができる。

【００３８】このように当該画像より後に表示される画
像を参照して予測を行うのを後方予測と呼ぶ。前方予測
と後方予測をともにする場合は、これを双方向予測と呼
ぶ。双方向予測では、前方予測モードと，後方予測モー
ドと，前方後方予測を平均化する補間モードとがある。

【００３９】図２(b) は、図２(a) で予測した画像の伝
送順序、すなわち復号化順序を示す。画像＃１（２１
１）が、最初に復号化し、再生される。それを参照し、
画像＃２（２１２）を復号化する。画像＃５（２１６）
のような，双方向予測画像に対しては、予測に用いる参
照画像を、先に復号化し、再生する必要がある。そのた
めに、画像＃６（２１５）は、画像＃５（２１６）より
先にある。同様に、画像＃８（２１７）は、画像＃７
（２１８）より先に、画像＃１０（２１９）は、画像＃
９（２２０）より先に、伝送され、復号化され、再生さ
れる。

【００４０】画像サイズ可変の画像を伝送する場合に
は、各画像に対して、サイズを伝送しなければならな
い。本実施の形態１では、画像のサイズを、画像の符号
化データの先頭に記述し、水平，垂直のサイズＨｍ，Ｖ
ｍを、夫々２０ビットで表す。図７は、本実施の形態１
における画像の符号化データを示し、ここで、この符号
化データ（ＶＤ）内には、上記画像サイズのデータを示
す水平，垂直のサイズＨｍ，Ｖｍの他に、動きベクト
ル、量子化幅、及び、ＤＣＴ係数等が含まれる。

【００４１】次に、図１の流れ図を用いて、本発明の実
施の形態１による画像予測復号化方法における，予測画
像生成方法について説明する。予測画像を生成する際に
は、まず、ステップ１０２で、直前の参照画像のサイズ
を入力し、ステップ１０３で、参照画像のサイズがゼロ
かどうかを調べる。

【００４２】ここで、参照画像は、図２(a) に示す復号
化順序において、常に、復号化の対象（符号化する場合
は、符号化の対象）となる画像の前にある。該参照画像
は、本実施の形態１による画像予測復号化方法において
は、直前に再生される画像である。たとえば、図２(b)
の画像＃４（２１４）の参照画像は、その直前の画像＃
３（２１３）になる。但し、双方向予測で再生する画像
は、予測に用いられないために、参照画像としては使わ
ない。したがって、例えば、画像＃８（２１７）の参照
画像は、画像＃６（２１５）になる。

【００４３】上記図１における，ステップ１０３の判定
において、参照画像のサイズがゼロでなければ、ステッ
プ１０４に進み、該ステップ１０４で、該直前の参照画
像を用いて、予測画像を生成する。一方、上記ステップ
１０３の判定において、参照画像のサイズがゼロであれ
ば、ステップ１０５に進み、該ステップ１０５で、画像
サイズがゼロでない最近に再生された画像を、参照画像
として用いて、予測画像を生成する。ここでの，画像サ
イズがゼロでない最近に再生された画像の見つけ方につ
いては、図２(b) を用いて以下に説明する。

【００４４】画像＃４（２１４）の予測画像を生成する
場合において、画像＃４（２１４）の前の画像＃３（２
１３）のサイズが、ゼロであるとし、画像＃２（２１
２）のサイズが、ゼロでないとする。この場合、画像＃
２（２１２）を参照して、画像＃４（２１４）の予測画
像を生成する。同様に、画像＃６（２１５）の予測画像
を生成する場合において、画像＃３（２１３）と、画像
＃４（２１４）のサイズがゼロであるとすると、画像＃
２（２１２）を参照して、予測画像を生成する。

【００４５】ここで、予測画像の生成方法として、本実
施の形態１では、ＭＰＥＧ１と同様に、ブロック単位の
動き補償方法を用いる。

【００４６】図３は、本発明の実施の形態１による画像
予測復号化装置のブロック図を示す。本実施の形態１の
画像予測復号化装置３００は、画像サイズ可変な画像を
所定の方法で圧縮符号化した画像データを受け、該画像
データに対する予測復号化処理を施す構成となってい
る。すなわち、この画像予測復号化装置３００は、上記
圧縮符号化した画像データを解析して、量子化幅やＤＣ
Ｔ係数をライン３１２に、動きベクトルをライン３１８
に、画像サイズをライン３２１に出力するデータ解析器
３０２と、該データ解析器３０２からの圧縮されたブロ
ックのデータ（圧縮ブロック）を伸長処理により伸長ブ
ロックに変換する復号化器３０３と、伸長ブロックと予
測ブロックとを加算して再生ブロックを生成する加算器
３０６とを有している。

【００４７】また、上記画像予測復号化装置３００は、
上記再生ブロックを格納するフレームメモリ部３０９
と、上記動きベクトルに基づいてフレームメモリへのア
クセスのためのアドレスを発生し、フレームメモリ内の
画像から該アドレスに対応したブロックを上記予測ブロ
ックとして求める予測画像生成器３１０とを有してい
る。ここでは、この予測画像生成器３１０は、データ解
析器３０２からの画像サイズに基づいて、参照されるべ
き有意な画像データが存在する最近に再生された１つの
再生画像を参照画像として決定する動作も行うようにな
っている。なお、この参照画像の決定は、図３に点線で
示すように、データ解析器３０２からの画像サイズに基
づいてフレームメモリ部３０９を制御する制御器３２０
を設け、該制御器３２０により、参照されるべき有意な
画像データが存在する最近に再生された１つの再生画像
が参照画像として選択されるようフレームメモリ部３０
９を制御する構成としてもよい。

【００４８】また、ここでは、上記復号化器３０３は、
上記データ解析器３０２からの圧縮ブロックに逆量子化
処理を施す逆量子化器３０４と、ライン３１３からの該
逆量子化器３０４の出力に対して、周波数領域信号を空
間領域信号に変換する処理を施す逆離散コサイン変換器
（ＩＤＣＴ）３０５とから構成されている。また、図中
３０１及び３０７はそれぞれ、本画像予測復号化装置３
００の入力端子及び出力端子である。

【００４９】以上のように構成された本実施の形態１に
よる画像予測復号化装置について、以下、その動作を述
べる。画像サイズ可変な画像を、所定の方法で圧縮符号
化した画像データ（符号化データ）を、入力端子３０１
に入力する。本実施の形態１では、ＭＰＥＧ１と同じ動
き補償ＤＣＴ方法で圧縮符号化を行っており、上記符号
化データには、上述したように、動きベクトル、量子化
幅、ＤＣＴ係数、及び、画像サイズのデータ，が含まれ
る。

【００５０】次に、データ解析器３０２にて、上記圧縮
符号化した画像データを解析し、圧縮されたブロックの
データとして、量子化幅や、ＤＣＴ係数を、ライン３１
２を経由して、復号化器３０３に出力する。また、上記
データ解析器３０２で解析した動きベクトルを、ライン
３１８を経由して、予測画像生成器３１０に送り、同じ
く上記データ解析器３０２で解析した画像サイズを、ラ
イン３２１を経由して、制御器３２０に出力する。

【００５１】復号化器３０３では、逆量子化器３０４
と、逆離散コサイン変換器（逆ＤＣＴ変換器）３０５に
より、上記圧縮されたブロックのデータ、即ち圧縮ブロ
ックを伸長し、伸長ブロックに復元する。本実施の形態
１では、逆量子化器３０４で、上記圧縮ブロックを逆量
子化し、逆離散コサイン変換（ＩＤＣＴ）３０５で周波
数領域信号を空間領域信号に変換し、伸長ブロック３１
４を得る。予測画像生成器３１０では、ライン３１８を
経由して送られた動きベクトルをもとに、フレームメモ
リ部３０９をアクセスするためのアドレス３２１を生成
してこれをフレームメモリ部３０９に入力し、フレーム
メモリ部３０９に格納された画像の中から予測ブロック
３１７を生成し、出力させる。該予測ブロック３１７，
即ち３１９と、上記伸長したブロック３１４とを、加算
器３０６に入力し、加算することにより、再生ブロック
３１５を生成する。そして、該再生ブロック３１５を、
出力端子３０７から出力させると同時に、ライン３１６
を介して、フレームメモリ部３０９に格納する。なお、
ここで、フレーム内符号化を行う場合には、予測ブロッ
クのサンプル値は、すべてゼロになるものである。

【００５２】上記予測画像生成器３１０の動作は、図１
の流れ図を用いて説明したものと同じである。即ち、ま
ず、参照画像のサイズが予測画像生成器３１０に入力さ
れ、該予測画像生成器３１０において、参照画像が決定
される。なお、この参照画像の決定は、制御器３２０を
介して、ライン３２２を経由しての，参照画像のサイズ
がゼロであるかどうかの情報により、フレームメモリ部
３０９を制御することにより行うことも可能である。

【００５３】図４は、本発明の実施の形態１による画像
予測復号化装置におけるフレームメモリ部の一例であ
る，フレームメモリバンク４０６のブロック図を示す。
フレームメモリバンク４０６内には、３つのフレームメ
モリ４０１〜４０３が設けられている。再生された画像
は、これらのフレームメモリ４０１〜４０３のうちのい
ずれかに格納される。また、予測画像を生成する時に、
これらのフレームメモリ４０１〜４０３をアクセスす
る。

【００５４】本実施の形態１では、切り替えスイッチ４
０４と、４０５とを具備している。

【００５５】スイッチ４０５は、ライン４０８（図３の
ライン３１６に相当）を介して入力される，再生された
画像を、いずれのフレームメモリに格納するかを決める
ためのもので、制御器３２０によって制御されて、即ち
制御信号３２２に応じて、フレームメモリ４０１〜４０
３を、順番に切り替える。すなわち、１番目の再生画像
がフレームメモリ４０１に格納されたあとには、２番目
の再生画像をフレームメモリ４０２に格納する。以下同
様であるが、３番目の再生画像がフレームメモリ４０３
に格納されたあとには、フレームメモリ４０１に切り替
える。スイッチ４０４は、ライン４０７（図３のライン
３１７に相当）を介して、予測画像生成器３１０に接続
する。このスイッチ４０４も、制御器３２０によって、
即ち制御信号３２２に応じて、所定の順番で切り替えら
れる。但し、その切り替え順序は、参照画像のサイズに
よって、変更される。たとえば、所定の順番に従えば、
フレームメモリ４０２に接続し、予測画像を生成すると
ころであっても、フレームメモリ４０２の画像サイズが
ゼロの場合、制御器３２０は一つ前のフレームメモリ４
０１（これは、その画像サイズがゼロでないものとす
る）に接続するように、スイッチ４０４を制御する。こ
のようにして、画像サイズがゼロでない参照画像から、
予測画像を生成するようにすることができる。なお、ス
イッチ４０４は、同時に、複数のフレームメモリに接続
してもよい。また、１枚の画像を再生するたびに、フレ
ームメモリをリセットする装置では、再生される画像の
サイズがゼロのときにはフレームメモリをリセットしな
いように、制御器３２０が管理することにより、サイズ
がゼロでない，最近に再生された画像を、フレームメモ
リに残すことができる。すなわち、フレームメモリを更
新しないようにすることができる。

【００５６】なお、上記実施の形態１においては、ブロ
ック動き補償離散コサイン変換方式を用いた場合につい
て説明したが、本発明は、それ以外の予測方法（グロー
バル動き補償、任意格子状ブロック動き補償などを用い
た予測方法）においても、適用可能である。また、参照
画像として用いられる再生画像が１枚の場合について説
明したが、複数枚の参照画像から、予測画像を生成する
場合にも、同様に適用することができる。

【００５７】以上のような、本実施の形態１によれば、
入力された直前の参照画像のサイズを検出し、該直前の
参照画像のサイズが０でないときは、該直前の参照画像
を用いて予測画像を生成し、該直前の参照画像のサイズ
が０のときは、サイズが０でない最近に再生された画像
を用いて、予測画像を生成するようにしたので、圧縮効
率の向上のため、画像を構成する物体を、物体単位で、
別々に圧縮符号化して伝送する場合に、画像サイズが変
化し、画像が消えてしまうような画像を、画像の予測復
号化，予測符号化において参照画像として用いてしまう
ということがなくなり、残差信号（差分信号）を抑圧で
きる適正な予測復号化，予測符号化を行うことができ
る、という効果が得られる。

【００５８】（実施の形態２）なお、上記実施の形態１
では、参照画像のサイズが、ゼロかどうかを検出し、こ
の検出した情報を用いて、参照画像を決定するようにし
た場合について述べたが、画像サイズがゼロであること
が、別の指標（例えば、１ビットのフラグＦ，等）で示
される場合には、その指標を用いて、制御を行うように
することもでき、本実施の形態２は、このようにしたも
のである。

【００５９】即ち、本実施の形態２においては、対象画
像の符号化データは、図９に示すように、画像サイズが
ゼロであること、即ち対応する参照画像が完全に透過す
るもので符号化データが存在しないこと，を示す１ビッ
トのフラグＦを、画像データの前の方，すなわち、画像
サイズのデータを示す水平，垂直のサイズＨｍ，Ｖｍよ
りも前の方に設けたもので（ここで、画像サイズがゼロ
であれば、フラグＦは“０”とする）、このような場合
に、予測画像の生成方法を、図８に示すように、このフ
ラグＦを用いて、その制御を行うようにしたものであ
る。

【００６０】次に、図８の流れ図を用いて、本発明の実
施の形態２による画像予測復号化方法における，予測画
像生成方法について説明する。予測画像を生成する際に
は、まず、ステップ８０２で、直前の参照画像を入力
し、ステップ８０３で、該参照画像のフラグＦが“１”
かどうかを調べる。ステップ８０３の判定において、該
参照画像のフラグＦが“１”であれば、これは、画像サ
イズがゼロではなく、言い換えれば、参照画像が完全に
透過するものでなく、符号化データが存在するものであ
るので、ステップ８０４で、該直前の参照画像を用い
て、予測画像を生成する。

【００６１】図８における，ステップ８０３の判定にお
いて、該参照画像のフラグＦが“１”でなければ、ステ
ップ８０５に進み、該ステップ８０５で、フラグＦが
“０”でない最近に再生された画像を、参照画像として
用いて、予測画像を生成する。このような本実施の形態
２によれば、上記実施の形態１におけると同様に、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、対象画像の符号化データが、その先頭に、直前の再
生画像に、参照されるべき有意な符号化データが存在す
るか否かを示すフラグをもつものとし、このフラグを検
出して参照画像を決定するようにしたので、参照画像を
決定する演算を、簡易に行うことができる効果が得られ
る。

【００６２】（実施の形態３）図５は本発明の実施の形
態３による画像予測復号化装置における，予測画像生成
方法の流れ図を示す。本実施の形態３における予測画像
生成方法は、図１に示す実施の形態１におけるとほとん
ど同じであり、異なる処理は、図１のステップ１０５に
代わる、図５のステップ５０５である。ステップ５０５
では、参照画像がゼロのとき、あるいは参照画像が完全
に透過するときに、（あるいは画像のフラグＦが“０”
であるときに）、予測画像として、所定の値を代入して
なるもの，即ち所定の値を有する予測画像を生成する。

【００６３】本実施の形態３では、これを灰色，即ち輝
度信号と色差信号の値がともに１２８，とする。その結
果、本実施の形態３では、符号化する時には、符号化の
対象となるブロックから、灰色のブロックを引き算し、
復号化する時には、復号化の対象となるブロックに、灰
色のブロックを加算する。なお、上記所定の値は、可変
の値とし、これを符号化部から復号化部に伝送し、これ
を用いて、予測画像を生成するようにしてもよい。

【００６４】このような本実施の形態３によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、参照画像のサイズが０であることを検出したとき、
即ち参照画像が完全に透過するときに、予測画像とし
て、所定の値を有する予測画像を生成するようにしたの
で、上記実施の形態１におけると同様の効果を得ること
ができ、さらに、予測画像を容易に生成することができ
る効果が得られる。

【００６５】（実施の形態４）図１０は本発明の実施の
形態４による画像予測復号化装置における，予測画像生
成方法の流れ図を示す。本実施の形態４における予測画
像生成方法は、図８に示す実施の形態２におけるとほと
んど同じであり、異なる処理は、図８のステップ８０５
に代わる、図１０のステップ１００５である。ステップ
１００５では、参照画像の画像のフラグＦが“０”であ
るときに、予測画像として、所定の値を代入してなるも
の，即ち所定の値を有する予測画像を生成する。

【００６６】このような本実施の形態４によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合に、画像サイズが変化し、画像が消えてし
まうような画像を、参照画像として用いてしまうという
ことがなくなり、残差信号（差分信号）を抑圧できる適
正な予測復号化，予測符号化を行うことができるととも
に、対象画像の符号化データが、その先頭に、直前の再
生画像に参照されるべき有意な符号化データが存在する
か否かを示すフラグをもつものとし、このフラグが
“０”であることを検出したときに、予測画像として、
所定の値を有する予測画像を生成するようにしたので、
上記実施の形態２におけると同様の効果を得ることがで
き、さらに、予測画像を容易に生成することができる効
果が得られる。

【００６７】（実施の形態５）図６は、本発明の実施の
形態５による双方向予測を用いた、画像予測復号化方法
における，予測画像生成方法の流れ図を示す。以下、本
実施の形態５の特徴である双方向予測の場合について、
参照画像サイズがゼロの場合、即ち参照画像が完全に透
過する場合の処理について説明する。

【００６８】即ち、図６に示されるように、まず、ステ
ップ６０２において、前方，後方の参照画像（両方向の
参照画像）のサイズを入力する。図２(a) の画像＃５
（２０５）は、双方向予測画像で、前方参照画像は、画
像＃４（２０４）であり、後方参照画像は、画像＃６
（２０６）である。

【００６９】そして、ステップ６０３とステップ６０４
によって、前方，及び後方の参照画像のサイズがともに
ゼロの場合、ステップ６０５において、所定の値を代入
してなる画像，即ち所定の値を有する画像を、予測画像
とする。ステップ６０３とステップ６０４によって、前
方参照画像のサイズがゼロで、後方参照画像のサイズが
ゼロでない場合、ステップ６０６において、後方参照画
像のみを用いて、予測画像を生成する。

【００７０】次に、ステップ６０３とステップ６０７に
よって、前方参照画像のサイズがゼロでなくて、後方参
照画像のサイズがゼロである場合、ステップ６０８にお
いて、前方参照画像のみを用いて、予測画像を生成す
る。ステップ６０３とステップ６０７によって、前方後
方参照画像のサイズがともにゼロでない場合、ステップ
６０９において、両方向の参照画像を用いて、予測画像
を生成する。

【００７１】そして、ステップ６１０で、生成した予測
画像を出力し、符号化部では、該予測画像を、対象画像
から引き算し、復号化部では、該予測画像を、対象画像
の差分に、加算する。このようにして、残差信号（差分
信号）を抑圧することができる。

【００７２】このような本実施の形態５によれば、画像
を構成する物体を、物体単位で、別々に圧縮符号化して
伝送する場合において、両方向参照画像を用いて予測画
像を生成する場合に、画像サイズが変化し、画像が消え
てしまうような画像を、参照画像として用いてしまうと
いうことがなくなり、残差信号（差分信号）を抑圧でき
る適正な予測復号化，予測符号化を行うことができると
ともに、予測画像として、所定の値を有する予測画像を
生成するようにしたので、予測画像を容易に生成するこ
とができる効果が得られる。

【００７３】（実施の形態６）図１１は本発明の実施の
形態６による両方向予測を用いた、画像予測復号化方法
における，予測画像生成方法の流れ図を示す。以下、本
実施の形態６は、上記実施の形態２，４の、上記実施の
形態１，３に対する関係と同じである。即ち、本実施の
形態６は、図６に示す実施の形態５における、図６のス
テップ６０３，６０４，６０７における「サイズがゼロ
か？」を、「のフラグＦが“０”か？」に変更して、そ
れぞれ図１１のステップ１１０３，１１０４，１１０７
としたものである。

【００７４】従って、このような本実施の形態６によれ
ば、画像を構成する物体を、物体単位で、別々に圧縮符
号化して伝送する場合において、両方向参照画像を用い
て予測画像を生成する場合に、画像サイズが変化し、画
像が消えてしまうような画像を、参照画像として用いて
しまうということがなくなり、残差信号（差分信号）を
抑圧できる適正な予測復号化，予測符号化を行うことが
できるとともに、前方，後方の両参照画像のフラグＦが
０であることを検出したときに、所定の値を有する予測
画像を生成するようにしたので、画像サイズが変化し、
画像が消えてしまうような画像の検出を容易に行うこと
ができ、さらには、予測画像を容易に生成することがで
きる効果が得られる。以下、さらなる本発明の実施の形
態７，８として画像予測符号化装置について説明する。

【００７５】（実施の形態７）図１２は本発明の実施の
形態７による画像予測符号化装置のブロック図を示す。
この画像予測符号化装置１０００は、輝度信号及び色差
信号からなるテクスチャー信号に対する予測符号化を行
うテクスチャー符号化部１１００と、形状信号に対する
予測符号化を行う形状符号化部１２００とを有してい
る。

【００７６】上記テクスチャー符号化部１１００は、１
フレームのテクスチャー信号を、符号化処理の単位であ
る１６×１６画素の大きさのマクロブロック毎に分割し
て出力するブロック化器１１１０と、符号化処理の対象
となる対象ブロックと、これに対応する予測ブロックと
の差分を求める減算器１１６０と、該差分を圧縮符号化
する圧縮符号化器１１２０と、該圧縮符号化器１１２０
の出力を伸長復号する局所復号化器１１３０とを有して
いる。ここで、上記圧縮符号化器１１２０は、上記差分
に対してＤＣＴを施す離散コサイン変換器１１２１と、
ＤＣＴ変換係数を量子化する量子化器１１２２とから構
成されている。また上記局所復号化器１１３０は、上記
量子化器１１２２の出力を逆量子化する逆量子化器１１
３１と、該逆量子化器１１３１の出力に対して、周波数
領域信号を空間領域信号に変換する逆ＤＣＴを施す逆離
散コサイン変換器１１３２とから構成されている。

【００７７】また、上記テクスチャー符号化部１１００
は、上記逆離散コサイン変換器１１３２の出力である伸
長ブロックと上記予測ブロックとを加算して再生ブロッ
クを生成する加算器１１７０と、該再生ブロックを格納
するフレームメモリ部（ＦＭ１）１１４０と、所定の動
き検出法により検出された動き情報に基づいて、該フレ
ームメモリ部１１４０に格納された画像から動き補償に
より対象ブロックに対応する予測ブロックを取得する予
測画像生成器１１５０とを有している。

【００７８】この予測画像生成器１１５０は、ブロック
化器１１１０の出力から得られる画像サイズに基づい
て、フレームメモリブロック１１４０に格納されている
再生画像から、予測ブロック（予測画像）を生成する際
に参照する参照画像を設定する動作をも行うようになっ
ている。

【００７９】一方、上記形状符号化部１２００は、１フ
レームの形状信号を、符号化処理の単位である１６×１
６画素の大きさのマクロブロック毎に分割して出力する
ブロック化器１２１０と、符号化処理の対象となる対象
ブロックと、これに対応する予測ブロックとの差分を求
める減算器１２６０と、該差分を所定の符号化方法によ
り符号化する形状符号化器１２２０と、該形状符号化器
１２２０の出力を上記所定の符号化方法に対応する復号
化方法により復号する形状復号化器１２３０とを有して
いる。ここで、上記形状符号化器１１２０は、、四分木
やチェイン符号化方法等により上記減算器１２６０の出
力を符号化する構成となっている。

【００８０】また、上記形状符号化部１２００は、上記
形状復号化器１２３０の出力である復号ブロックと上記
予測ブロックとを加算して再生ブロックを生成する加算
器１２７０と、該加算器１２７０から出力される復号ブ
ロックを格納するフレームメモリ部（ＦＭ２）１２４０
と、所定の動き検出法により検出された動き情報に基づ
いて、該フレームメモリ部１２４０に格納された形状情
報から動き補償により対象ブロックに対応する予測ブロ
ックを取得する予測画像生成器１２５０とを有してい
る。ここでは、該予測画像生成器１２５０は、上記ブロ
ック化器１２１０の出力から得られる画像サイズに基づ
いて、フレームメモリブロック１２４０に格納されてい
る再生画像から、予測ブロック（予測画像）を生成する
際に参照する参照画像を決定する動作をも行うようにな
っている。

【００８１】なお、上記各符号化部１１００及び１２０
０での参照画像の決定は、図１２に点線で示すように、
上記再生ブロックに基づいて形状検出を行う形状検出器
１２８０を設け、この形状検出器１２８０から出力され
る形状検出出力により上記各フレームメモリ部（ＦＭ
１，ＦＭ２）１１４０，１２４０を制御することにより
行うようにしてもよい。この場合における形状検出出力
によるフレームメモリ部の制御は、上記実施の形態１に
おける制御器３２０によるフレームメモリ部３０９の制
御と全く同様に行われる。また、この場合には、上記形
状検出出力は、可変長符号化器１０１０に供給され、テ
クスチャー信号及び形状信号の符号化データとともに伝
送されることとなる。

【００８２】また、上記画像予測符号化装置１０００
は、上記テクスチャー符号化部１１００の出力である符
号化テクスチャー信号、上記形状符号化部１２００の出
力である符号化形状信号及び形状検出出力を可変長符号
化し、多重化して出力する可変長符号化器１０１０を有
している。なお、図中、１００１はテクスチャー信号の
入力端子、１００２は形状信号の入力端子、１００３は
符号化データの出力端子である。

【００８３】次に動作について説明する。この画像予測
符号化装置１０００にテクスチャー信号（輝度・色差信
号）及び形状信号が入力されると、上記テクスチャー信
号及び形状信号はそれぞれ対応する符号化部１１００，
１２００おけるブロック器１１１０，１２１０にて符号
化処理の単位となるマクロブロックに分割され、各マク
ロブロック毎に予測符号化処理が行われる。

【００８４】テクスチャー信号符号化部１１００では、
対象ブロックと予測ブロックとの差分が減算器１１６０
により求められ、ＤＣＴ器１１２１にてこの差分がＤＣ
Ｔ係数に変換され、さらにこのＤＣＴ係数が量子化器１
１２２にて量子化係数に変換される。そしてこの量子化
係数は可変長符号化器１０１０に出力される。

【００８５】上記量子化係数は逆量子化器１１３１にて
ＤＣＴ係数に逆変換され、さらにこのＤＣＴ係数は、Ｉ
ＤＣＴ器１１３０での周波数領域のデータを空間領域の
データに変換する処理により、上記対象ブロックに対応
する伸長ブロックに変換される。さらにこの伸長ブロッ
クと上記予測ブロックとが加算器１１７０により加算さ
れて再生ブロックが生成される。そしてこの再生ブロッ
クは、フレームメモリ部１１４０に格納される。このと
き、上記予測画像生成器１１５０では、所定の動き検出
法により検出された動き情報に基づいて、該フレームメ
モリ部１１４０に格納された画像から動き補償により対
象ブロックに対応する予測ブロックが生成する処理が行
われている。また、この予測画像生成器１１５０では、
ブロック化器１１１０の出力から得られる画像サイズに
基づいて、フレームメモリブロック１１４０に格納され
ている再生画像から、参照されるべき有意な画像データ
が存在する最近に再生された１つの再生画像を参照画像
として決定する。なお、この参照画像の決定は、形状検
出器１２８０が設けられている場合には、その出力であ
る形状検出出力，つまり通常参照されるべき再生画像の
サイズがゼロであるかどうかの情報により、フレームメ
モリ部１１４０を制御することにより行うことも可能で
ある。

【００８６】また、上記テクスチャー符号化部１１００
の処理と並行して、形状符号化部１２００では、形状信
号に対する予測符号化処理が、上記テクスチャー信号の
予測符号化処理とほぼ同様に行われる。つまり、対象ブ
ロックと予測ブロックとの差分が減算器１２６０により
求められ、形状符号化器１２２０にてこの差分が四分木
やチェイン符号化方法等の方法で符号化されて上記可変
長符号化器１０１０に出力される。また上記形状符号化
器１２２０からの形状符号化信号は形状復号化器１２３
０により復元され、復元ブロックと予測ブロックが加算
器１２７０により加算されて再生ブロックが生成され
る。

【００８７】この加算器１２７０から出力される再生ブ
ロックはフレームメモリ部１２４０に格納され、上記予
測画像生成器１２５０では、所定の動き検出法により検
出された動き情報に基づいて、該フレームメモリ部１２
４０に格納された形状情報から動き補償により対象ブロ
ックに対応する予測ブロックが生成される。また、この
予測画像生成器１２５０では、ブロック化器１２１０の
出力から得られる画像サイズに基づいて、フレームメモ
リブロック１２４０に格納されている再生画像から、参
照されるべき有意な画像データが存在する最近に再生さ
れた１つの再生画像を参照画像として決定する。

【００８８】なお、この参照画像の決定は、形状検出器
１２８０が設けられている場合には、その出力である形
状検出出力，つまり通常参照されるべき再生画像のサイ
ズがゼロであるかどうかの情報により、フレームメモリ
部１２４０を制御することにより行うことも可能であ
る。また、この場合、上記再生ブロックは形状検出器１
２８０に入力され、ここで形状検出が行われる。例え
ば、形状信号が２値信号である場合には、形状データと
しての白データ及び黒データのうちの黒データしかない
場合には、再生形状はなにもないこととなる。このと
き、このブロックの形状信号に対応するテクスチャー信
号も存在しないこととなる。この場合には、上述したよ
うに、形状検出器１２８０からは、符号化データなしを
示すフラグあるいは画像サイズゼロのデータが形状検出
出力として、上記各フレームメモリ部１１４０，１２４
０及び上記可変長符号化器１０１０に出力される。各フ
レームメモリ部１１４０，１２４０では、上記形状検出
出力により、上記実施の形態１における制御器３２０に
よるフレームメモリ３０９の制御と同様の制御が行われ
る。

【００８９】このように本実施の形態７では、各符号化
部１１００及び１２００にて、ブロック化器１１１０，
１２１０の出力から得られる画像サイズに基づいて、フ
レームメモリブロック１１４０，１２１０に格納されて
いる再生画像から、参照されるべき有意な画像データが
存在する最近に再生された１つの再生画像を参照画像と
して決定するので、画像を構成する物体を、物体単位で
別々に圧縮符号化して伝送する場合に、画像サイズが変
化し、画像がきえてしまうような画像を、画像の予測符
号化において参照画像として用いてしまうということが
なくなり、適正な予測符号化を行うことができるという
効果が得られる。また、この実施の形態７の画像予測符
号化装置により予測符号化された符号化データは、実施
の形態２の画像予測復号化装置により正しく復号化する
ことができる。

【００９０】また、形状検出器１２８０を有する場合に
は、形状符号化部１２００にて、入力された対象ブロッ
クに対応する参照画像が存在するか否かの判定を、形状
信号の再生ブロックの形状を検出することにより行い、
再生ブロックの形状がないときには、テクスチャー符号
化部及び形状符号化部では、対象ブロックに対応する再
生ブロックに代えて、最近に再生された形状を有する再
生ブロックを用いて予測ブロックを生成するので、画像
を構成する物体を、物体単位で別々に圧縮符号化して伝
送する場合に、画像サイズが変化し、画像がきえてしま
うような画像を、画像の予測符号化において参照画像と
して用いてしまうということがなくなり、残差信号（差
分信号）を抑圧できる適正な予測符号化を行うことがで
きるという効果が得られる。この場合には、実施の形態
７の画像予測符号化装置により予測符号化された符号化
データは、実施の形態２の画像予測復号化装置により正
しく復号化することができる。つまり、該画像予測復号
化装置では、データ解析器３０２が上記形状検出出力に
基づいてフレームメモリブロック３０９を制御すること
となり、これにより、物体単位で予測符号化された符号
化データを復号する際、画像サイズが変化し、画像がき
えてしまうような画像を、画像の予測復号化において参
照画像として用いてしまうということがなくなり、適正
な予測復号化を行うことができる。

【００９１】なお、上記実施の形態７では、予測画像生
成器１１５０，１２５０による参照画像としての再生画
像の選択、あるいは形状検出出力によるフレームメモリ
部１１４０及び１２４０の制御は、上記実施の形態１に
おける予測画像生成器１１５０，１２５０による参照画
像としての再生画像の選択、あるいは制御器３２０によ
るフレームメモリ部３０９の制御と全く同様に行われる
場合について示したが、これに限るものではない。

【００９２】例えば、対象フレームの直前のフレームに
参照されるべき画像データが存在しない場合には、実施
の形態３のように、予測画像として、所定の値を有する
予測画像を生成するものでもよく、この場合は、画像予
測符号化装置に対応する画像予測復号化装置として、上
記実施の形態３の画像予測復号化処理を行う装置を用い
ることができる。

【００９３】また、上記実施の形態７における予測処理
は、実施の形態５のように、双方向予測処理でもよく、
この場合は、画像予測符号化装置に対応する画像予測復
号化装置として、上記実施の形態５の画像予測復号化処
理を行う装置を用いることができる。

【００９４】（実施の形態８）図１３は本発明の実施の
形態８による画像予測符号化装置のブロック図を示す。
この画像予測復号化装置１０００ａは、輝度信号及び色
差信号からなるテクスチャー信号に対する予測符号化を
行うテクスチャー符号化部１１００ａと、形状信号に対
する予測符号化を行う形状符号化部１２００ａとを有し
ている。

【００９５】ここで、上記テクスチャー符号化部１１０
０ａは、上記実施の形態７のテクスチャー符号化部１１
００の構成に加えて、ブロック化器１１１０の前段に、
テクスチャー信号を制御信号によりブロック化器１１１
０と接地との間で切り替えてその一方に供給する切替ス
イッチ１１９０を有する構成となっている。

【００９６】また、上記形状符号化部１２００ａは、上
記実施の形態７の形状符号化部１２００における形状検
出器１２８０は有しておらず、ブロック化器１２１０の
前段に、形状信号を制御信号によりブロック化器１２１
０と接地との間で切り替えてその一方に供給する切替ス
イッチ１２９０を有している点で、上記実施の形態７の
ものと異なっている。

【００９７】また、上記画像予測復号化装置１０００ａ
は、形状信号を受け、その形状検出出力を上記制御信号
として各切替スイッチ１１９０，１２９０に出力する形
状検出器１０２０を有している。ここで、上記各切替ス
イッチは、形状検出器１０２０での形状検出の結果、入
力される形状信号が形状を有しないものであるときに
は、その形状検出出力により、入力されるテクスチャー
信号及び形状信号が接地側に入力され、一方対入力され
る形状信号が形状を有するものであるときには、テクス
チャー信号及び形状信号が各ブロック化器１１１０，１
２１０に入力されるようこれらの信号の切替を行うよう
になっている。なお、上記形状検出出力は、可変長符号
化器１０１０にて、各符号化部１１００ａ，１２００ａ
からの符号化データとともに可変長符号化処理が施され
るようになっている。

【００９８】次にこの実施の形態８の画像予測復号化装
置の動作について簡単に説明する。このような構成の実
施の形態８の画像予測復号化装置１０００ａでは、上記
形状検出器１０２０による切替スイッチの制御以外は、
上記実施の形態７と同様な予測復号化動作が行われる。

【００９９】つまり、この画像予測復号化装置１０００
ａでは、テクスチャー信号及び形状信号が入力される
と、形状検出器１０２０にて、入力される形状信号が形
状を有するものであるか否かの検出が行われる。この検
出の結果、形状信号が形状を有しないものであるときに
は、上記形状検出器１０２０の出力により切替スイッチ
１１９０及び１２９０が制御され、入力されるテクスチ
ャー信号及び形状信号が接地側に供給される。つまりこ
のときには、形状信号及びテクスチャー信号に対する予
測符号化処理は行われず、形状検出出力が可変長符号化
器１０１０に供給される。

【０１００】一方、上記検出の結果、入力される形状信
号が形状を有するものであるときには、上記形状検出器
１０２０の出力により切替スイッチ１１９０及び１２９
０が制御され、テクスチャー信号及び形状信号が各ブロ
ック化器１１１０，１２１０に入力され、それぞれ予測
符号化処理が施される。そして、各符号化部１１００ａ
及び１２００ａの出力とともに上記形状検出出力が可変
長符号化器１０１０に出力される。

【０１０１】このように本実施の形態８では、入力され
た形状信号が形状を有するものであるか否かを判定する
形状検出器１０２０を備え、形状信号が形状を有するも
のである場合には、テクスチャー信号及び形状信号に対
する予測符号化を行い、形状信号が形状を有するもので
ない場合には、テクスチャー信号及び形状信号に対する
予測符号化を行わないようにしたので、画像を構成する
物体を、物体単位で別々に圧縮符号化して伝送する場合
に、画像サイズが変化し、画像がきえてしまうような画
像を、画像の予測符号化において参照画像として用いて
しまうということがなくなり、残差信号（差分信号）を
抑圧できる適正な予測符号化を行うことができる。

【０１０２】また、上記形状検出器での検出出力を符号
化して伝送するようにしたので、画像予測復号化装置で
は、この検出出力を同期信号して用いて、つまり、画像
サイズが小さくなって画像が消えている間は、この画像
に対応する符号化データの再生を停止するようにして、
画像サイズが変化し、画像がきえてしまうような画像に
対する予測復号化処理を適正に行うことができる。

【０１０３】さらに、上記各実施の形態で示した画像予
測復号化方法あるいは装置，及び画像予測符号化方法あ
るいは装置の構成を実現するためのプログラムを、フロ
ッピー（登録商標）ディスク等のデータ記録媒体に記録
するようにすることにより、上記各実施の形態で示した
処理を、独立したコンピュータシステムにおいて簡単に
実施することが可能となる。

【０１０４】図１４は、上記各実施の形態における予測
復号化処理あるいは予測符号化処理を、これらの信号処
理に対応したプログラムを格納したフロッピーディスク
を用いて、コンピュータシステムにより実施する場合を
説明するための図である。図１４(a) は、フロッピーデ
ィスクＦＤの正面からみた外観、断面構造、及び記録媒
体であるフロッピーディスク本体を示し、図１４(b)
は、フロッピーディスク本体Ｄの物理フォーマットの例
を示している。フロッピーディスク本体ＤはケースＦＣ
内に内蔵され、該ディスク本体Ｄの表面には、同心円状
に外周から内周に向かって複数のトラックＴｒが形成さ
れ、各トラックは角度方向に１６のセクタＳｅに分割さ
れている。従って、上記プログラムを格納したフロッピ
ーディスク本体Ｄでは、上記フロッピーディスク本体Ｄ
上に割り当てられた領域に、上記プログラムとしてのデ
ータが記録されている。

【０１０５】また、図１４(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録再生を行うための構
成を示す。上記プログラムをフロッピーディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしてのデータをフロッピーディスクドライブ
ＦDDを介してフロッピディスクＦＤに書き込む。また、
フロッピーディスクＦＤ内のプログラムにより、上記画
像伝送方法あるいは画像復号化装置をコンピュータシス
テムＣｓ中に構築する場合は、フロッピーディスクドラ
イブＦDDによりプログラムをフロッピーディスクＦＤか
ら読み出し、コンピュータシステムＣｓに転送する。

【０１０６】なお、上記説明では、データ記録媒体とし
て、上記各実施の形態における予測復号化処理あるいは
予測符号化処理を行うためのプログラムを格納したもの
を挙げたが、データ記録媒体としては、上記各実施の形
態における画像の符号化データを格納したものも挙げら
れる。

【０１０７】また、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に上記画像処
理を実施することができる。

【０１０８】

【発明の効果】以上のように本発明にかかる画像予測復
号化方法，画像予測復号化装置，画像予測符号化方法，
及び画像予測符号化装置によれば、参照画像のサイズが
ゼロのとき、あるいは参照画像が完全に透過するとき、
あるいは、参照画像のサイズがゼロであることを示す画
像データ中のフラグを検出したときに、画像サイズがゼ
ロでないほかの再生画像を用いて、予測復号化を行うよ
うにしたので、圧縮効率の向上のため、画像を構成する
物体を、物体単位で、別々に圧縮符号化して伝送する場
合に、画像サイズが変化し、画像が消えてしまうような
画像を、画像の復号化，符号化において参照画像として
用いてしまうということがなくなり、適正な復号化，符
号化を行うことができ、したがって符号量を抑圧し、効
率よく、圧縮符号化を行うことができるという顕著な効
果が得られる。

【０１０９】本発明にかかる画像予測復号化方法，画像
予測復号化装置，画像予測符号化方法，及び画像予測符
号化装置によれば、参照画像のサイズがゼロであるか否
か、即ち参照画像が完全に透過するであるか否かを、符
号化データが存在するか否かを示す画像データ中のフラ
グを検出することにより検出するようにしたので、上記
の効果に加えて、参照画像を決定する演算を、簡易に行
うことができる効果が得られる。

【０１１０】本発明にかかる画像予測復号化方法，画像
予測復号化装置，画像予測符号化方法，及び画像予測符
号化装置によれば、画像を構成する物体を、物体単位
で、別々に圧縮符号化して伝送する場合において、両方
向参照画像を用いて予測画像を生成する場合に、画像サ
イズが変化し、画像が消えてしまうような画像を、参照
画像として用いてしまうということがなくなり、適正な
復号化，符号化を行うことができるとともに、予測画像
として、所定の値を有する予測画像を生成するようにし
たので、予測画像を容易に生成することができる効果が
得られる。

【０１１１】本発明にかかる画像予測符号化装置によれ
ば、入力された形状信号が形状を有するものであるか否
かを判定する形状検出器を備え、形状信号が形状を有す
るものである場合には、テクスチャー信号及び形状信号
に対する予測符号化を行い、形状信号が形状を有するも
のでない場合には、テクスチャー信号及び形状信号に対
する予測符号化を行わないようにしたので、画像を構成
する物体を、物体単位で別々に圧縮符号化して伝送する
場合に、画像サイズが変化し、画像がきえてしまうよう
な画像を、画像の予測符号化において参照画像として用
いてしまうということがなくなり、適正な予測符号化を
行うことができる。

【０１１２】本発明にかかるデータ記憶媒体によれば、
コンピュータに、参照画像のサイズがゼロのとき、ある
いは参照画像が完全に透過するとき、あるいは、参照画
像のサイズがゼロであることを示す画像データ中のフラ
グを検出したときに、画像サイズがゼロでないほかの再
生画像を用いて、予測復号化を行う予測復号化処理ある
いは予測符号化処理を行わせるプログラムを格納したの
で、上記のような符号量を抑圧し、効率よく、圧縮符号
化を行うことができる予測復号化処理あるいは予測符号
化処理をソフトウェアにより実現できる。

【０１１３】本発明にかかるデータ記憶媒体によれば、
コンピュータに、参照画像のサイズがゼロであるか否
か、即ち参照画像が完全に透過するであるか否かを、符
号化データが存在するか否かを示す画像データ中のフラ
グを検出することにより検出する予測復号化処理あるい
は予測符号化処理を行わせるプログラムを格納したの
で、符号量を抑圧し、効率よく、圧縮符号化を行うこと
ができるという効果に加えて、参照画像を決定する演算
を、簡易に行うことができる予測復号化処理あるいは予
測符号化処理をソフトウェアにより実現できる。

【０１１４】本発明にかかるデータ記憶媒体によれば、
画像を構成する物体を、物体単位で、別々に圧縮符号化
して伝送する場合において、両方向参照画像を用いて予
測画像を生成する場合に、画像サイズが変化し、画像が
消えてしまうような画像を、参照画像として用いてしま
うということがなくなり、適正な復号化，符号化を行う
ことができるとともに、予測画像として、所定の値を有
する予測画像を生成する予測復号化処理あるいは予測符
号化処理をコンピュータに行わせるプログラムを格納し
たので、予測画像を容易に生成することができる予測復
号化処理あるいは予測符号化処理をソフトウェアにより
実現できる。

【０１１５】本発明にかかるデータ記憶媒体によれば、
入力された形状信号が形状を有するものであるか否かを
判定し、形状信号が形状を有するものである場合には、
テクスチャー信号及び形状信号に対する予測符号化を行
い、形状信号が形状を有するものでない場合には、テク
スチャー信号及び形状信号に対する予測符号化を行わな
い予測符号化処理をコンピュータに行わせるプログラム
を格納したので、画像を構成する物体を、物体単位で別
々に圧縮符号化して伝送する場合に、画像サイズが変化
し、画像がきえてしまうような画像を、画像の予測符号
化において参照画像として用いてしまうということがな
くなり、適正な予測符号化を行うことができる画像予測
符号化装置をソフトウェアにより実現できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図２】本発明による，画像予測復号化における画像予
測の構造を示す模式図。

【図３】本発明の実施の形態１における画像予測復号化
装置を示すブロック図。

【図４】本発明の実施の形態１における画像予測復号化
装置に用いるフレームメモリを示すブロック図。

【図５】本発明の実施の形態３による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図６】本発明の実施の形態４による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図７】本発明の実施の形態１における画像データを示
す図。

【図８】本発明の実施の形態２による画像予測復号化方
法における予測画像生成方法を示す流れ図。

【図９】本発明の実施の形態２における画像データを示
す図。

【図１０】本発明の実施の形態５による画像予測復号化
方法における予測画像生成方法を示す流れ図。

【図１１】本発明の実施の形態６における画像予測復号
化方法における予測画像生成方法を示す流れ図。

【図１２】本発明の実施の形態７による画像予測符号化
装置を示すブロック図。

【図１３】本発明の実施の形態８による画像予測符号化
装置を示すブロック図。

【図１４】図１４(a) 〜図１４(c) は、本発明の各実施
の形態における符号化データを格納した、あるいは画像
予測復号化方法，画像予測復号化装置，画像予測符号化
方法，または画像予測符号化装置による画像処理をコン
ピュータにより実現するためのプログラムを格納するた
めのデータ記録媒体を説明するための図。

【符号の説明】

３０１，１００１，１００２ 入力端子 ３０２ データ解析器 ３０３，１１３０，１２３０ 復号化器 ３０４，１１３１ 逆量子化器 ３０５，１１３２ 逆離散コサイン変換器（ＩＤＣＴ） ３０６，１１７０，１２７０ 加算器 ３０７ 出力端子 ３０９，１１４０，１２４０ フレームメモリ部 ３１０，１１５０，１２５０ 予測画像生成器 ３２０ 制御器 ４０６ フレームメモリバンク ４０１〜４０３ フレームメモリ ４０４，４０５ スイッチ ４０７，４０８ ライン １０００，１０００ａ 画像予測符号化装置 １００３ 出力端子 １０１０ 可変長符号化器 １０２０，１２８０ 形状検出器 １１００，１１００ａ テクスチャー符号化部 １２００，１２００ａ 形状符号化部 １１１０，１２１０ ブロック化器 １１２０，１２２０ 符号化器 １１２１ 離散コサイン変換器（ＤＣＴ） １１２２ 量子化器 １１６０，１２６０ 減算器 １１７０，１２７０ 加算器 １１９０，１２９０ 切替スイッチ ＃１（２０１）〜＃１０（２１０） 画像 ＃１（２１１）〜＃９（２２０） 画像 Ｃｓ コンピュータシステム Ｄ フロッピーディスク本体 Ｆ フラグ ＦＣ フロッピーディスクケース ＦＤ フロッピーディスク ＦDD フロッピーディスクドライブ Ｈｍ，Ｖｍ 垂直，水平データサイズ

Claims (24)

【特許請求の範囲】
1. 【請求項１】 画像サイズ可変な画像を所定の方法で圧
   縮符号化した画像データを入力し、復号化の対象となる
   画像より以前に再生された少なくとも一つの再生画像を
   参照画像として用いて予測画像を生成し、上記復号化の
   対象となる画像を、予測復号化する画像予測復号化方法
   において、 上記参照画像として、参照されるべき有意な画像データ
   が存在する最近に再生された少なくとも一つの再生画像
   を用いて、上記予測画像を生成することを特徴とする画
   像予測復号化方法。
2. 【請求項２】 画像サイズ可変な画像を所定の方法で圧
   縮符号化した画像データを入力し、復号化の対象となる
   画像より以前に再生された所定の再生画像を参照画像と
   して用いて予測画像を生成し、上記復号化の対象となる
   画像を、予測復号化する画像予測復号化方法において、 上記予測画像を生成する際に参照画像として用いる所定
   の再生画像に、参照されるべき有意な画像データが存在
   しないとき、所定値をその画像データとした画像を予測
   画像とすることを特徴とする画像予測復号化方法。
3. 【請求項３】 請求項１または２に記載の画像予測復号
   化方法において、 上記圧縮符号化した各フレーム毎の画像データは、復号
   化処理の対象となる対象フレームの直前のフレームに、
   参照されるべき有意な画像データが存在するか否かを示
   すフラグを有するものであることを特徴とする画像予測
   復号化方法。
4. 【請求項４】 画像サイズ可変な画像を所定の方法で圧
   縮符号化した画像データを入力し、参照画像を用いて予
   測画像を生成し、上記復号化の対象となる画像を、予測
   復号化する画像予測復号化方法において、 上記参照画像として、最近に再生された２つの再生画像
   のうちの、少なくとも参照されるべき有意な画像データ
   が存在するものを用いて、上記予測画像を生成すること
   を特徴とする画像予測復号化方法。
5. 【請求項５】 請求項４に記載の画像予測復号化方法に
   おいて、 上記圧縮符号化した各フレーム毎の画像データは、復号
   化処理の対象となる対象フレームの直前の所定の２つの
   フレームに、参照されるべき有意な画像データが存在す
   るか否かを示すフラグを有するものであることを特徴と
   する画像予測復号化方法。
6. 【請求項６】 入力手段と、データ解析器と、復号化器
   と、予測画像生成器と、加算器と、フレームメモリとを
   具備し、 上記入力手段に、画像サイズ可変な画像を所定の方法で
   圧縮符号化した画像データを入力し、 上記データ解析器にて、上記画像データを分析して、画
   像サイズと画像変換係数を出力し、 上記復号化器にて、上記画像変換係数を、所定の方法で
   伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
   れた再生画像を参照画像として用いて予測画像を生成
   し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
   を加算して、再生画像を生成し出力すると同時に、該再
   生画像を、上記フレームメモリに格納する画像予測復号
   化装置であって、 上記予測画像生成器は、上記再生画像に、参照されるべ
   き有意な画像データが存在するか否かを調べ、有意な画
   像データが存在する最近に再生された少なくとも一つの
   再生画像を参照画像として用いて、上記予測画像を生成
   することを特徴とする画像予測復号化装置。
7. 【請求項７】 入力手段と、データ解析器と、復号化器
   と、予測画像生成器と、加算器と、フレームメモリとを
   具備し、 上記入力手段に、画像サイズ可変な入力画像を所定の方
   法で圧縮符号化した画像データを入力し、 上記データ解析器にて、上記画像データを分析して、画
   像サイズと画像変換係数を出力し、 上記復号化器にて、上記画像変換係数を、所定の方法で
   伸長差分画像に復元し、上記予測画像生成器にて、上記
   フレームメモリに格納された、上記入力画像に対応する
   所定の再生画像を参照画像として用いて予測画像を生成
   し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
   を加算し、再生画像を生成し出力すると同時に、該再生
   画像を、上記フレームメモリに格納する画像予測復号化
   装置であって、 上記予測画像生成器は、上記所定の再生画像に、参照さ
   れるべき有意な画像データが存在するか否かを調べ、該
   所定の再生画像に、有意な画像データが存在しないと
   き、所定値をその画像データとした画像を上記予測画像
   とすることを特徴とする画像予測復号化装置。
8. 【請求項８】 請求項６または７に記載の画像予測復号
   化装置において、 上記圧縮符号化した各フレーム毎の画像データは、復号
   化処理の対象となる対象フレームの直前のフレームに、
   参照されるべき有意な画像データが存在するか否かを示
   すフラグを有するものであることを特徴とする画像予測
   復号化装置。
9. 【請求項９】 入力手段と、データ解析器と、復号化器
   と、予測画像生成器と、加算器と、フレームメモリとを
   具備し、 上記入力手段に、画像サイズ可変な画像を所定の方法で
   圧縮符号化した画像データを入力し、 上記データ解析器にて、上記画像データを分析して、画
   像サイズと画像変換係数を出力し、 上記復号化器にて、上記画像変換係数を、所定の方法で
   伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
   れた再生画像を参照画像として用いて予測画像を生成
   し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
   を加算し、再生画像を生成し出力すると同時に、該再生
   画像を、上記フレームメモリに格納する画像予測復号化
   装置であって、 上記予測画像生成器は、上記参照画像として、最近に再
   生された２つの再生画像のうちの、少なくとも参照され
   るべき有意な画像データが存在するものを用いて、上記
   予測画像を生成することを特徴とする画像予測復号化装
   置。
10. 【請求項１０】 請求項９に記載の画像予測復号化装置
    において、 上記圧縮符号化した各フレーム毎の画像データは、復号
    化処理の対象となる対象フレームの直前の所定の２つの
    フレームに、参照されるべき有意な画像データが存在す
    るか否かを示すフラグを有するものであることを特徴と
    する画像予測復号化装置。
11. 【請求項１１】 画像サイズ可変な画像を入力し、符号
    化の対象となる画像より以前に再生された少なくとも一
    つの再生画像を参照画像として用いて予測画像を生成
    し、上記予測画像から上記対象画像を引き算し、その差
    分を、所定の方法で圧縮符号化する画像予測符号化方法
    において、 上記予測画像を生成する際には、参照されるべき有意な
    画像データが存在する最近に再生された少なくとも一つ
    の再生画像を参照画像として用いて上記予測画像を生成
    することを特徴とする画像予測符号化方法。
12. 【請求項１２】 画像サイズ可変な画像を入力し、符号
    化の対象となる画像より以前に再生された所定の再生画
    像を参照画像として用いて予測画像を生成し、上記予測
    画像から上記対象画像を引き算し、その差分を、所定の
    方法で圧縮符号化する画像予測符号化方法において、 上記予測画像を生成する際に参照画像として用いる所定
    の再生画像に、参照されるべき有意な画像データが存在
    しないとき、所定値をその画像データとした画像を上記
    予測画像とすることを特徴とする画像予測符号化方法。
13. 【請求項１３】 請求項１１または１２に記載の画像予
    測符号化方法において、 上記圧縮符号化した各フレーム毎の画像データは、符号
    化処理の対象となる対象フレームの直前のフレームに、
    参照されるべき有意な画像データが存在するか否かを示
    すフラグを有するものであることを特徴とする画像予測
    符号化方法。
14. 【請求項１４】 画像サイズ可変な画像を入力し、参照
    画像を用いて予測画像を生成し、上記予測画像から上記
    符号化の対象となる対象画像を引き算し、その差分を、
    所定の方法で圧縮符号化する画像予測符号化方法におい
    て、 上記参照画像として、最近に再生された２つの再生画像
    のうちの、少なくとも参照されるべき有意な画像データ
    が存在するものを用いて上記予測画像を生成することを
    特徴とする画像予測符号化方法。
15. 【請求項１５】 請求項１４に記載の画像予測符号化方
    法において、 上記圧縮符号化した各フレーム毎の画像データは、符号
    化処理の対象となる対象フレームの直前の所定の２つの
    フレームに、参照されるべき有意な画像データが存在す
    るか否かを示すフラグを有するものであることを特徴と
    する画像予測符号化方法。
16. 【請求項１６】 入力手段と、減算器と、圧縮符号化器
    と、可変長符号化器と、伸長復号化器と、予測画像生成
    器と、加算器と、フレームメモリとを具備し、 上記入力手段に、画像サイズ可変な画像データを符号化
    処理の単位毎に区分して入力し、 上記減算器にて、符号化処理の対象となる対象画像と、
    この対象画像に対応する予測画像との差分画像を求め、 上記圧縮符号化器にて、上記差分画像を所定の圧縮符号
    化処理により圧縮データに変換し、 上記可変長符号化器にて、上記圧縮データを可変長符号
    化して符号化データを出力し、 上記伸長復号化器にて、上記圧縮データを所定の伸長復
    号化処理により伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
    れた再生画像を参照画像として用いて予測画像を生成
    し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
    を加算して、再生画像を生成し出力すると同時に、該再
    生画像を、上記フレームメモリに格納する画像予測符号
    化装置であって、 上記予測画像生成器は、上記再生画像に、参照されるべ
    き有意な画像データが存在するか否かを調べ、有意な画
    像データが存在する最近に再生された少なくとも一つの
    再生画像を参照画像として用いて、上記予測画像を生成
    することを特徴とする画像予測符号化装置。
17. 【請求項１７】 入力手段と、減算器と、圧縮符号化器
    と、可変長符号化器と、伸長復号化器と、予測画像生成
    器と、加算器と、フレームメモリとを具備し、 上記入力手段に、画像サイズ可変な画像データを符号化
    処理の単位毎に区分して入力し、 上記減算器にて、符号化処理の対象となる対象画像と、
    この対象画像に対応する予測画像との差分画像を求め、 上記圧縮符号化器にて、上記差分画像を所定の圧縮符号
    化処理により圧縮データに変換し、 上記可変長符号化器にて、上記圧縮データを可変長符号
    化して符号化データを出力し、 上記伸長復号化器にて、上記圧縮データを所定の伸長復
    号化処理により伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
    れた、上記入力画像に対応する所定の再生画像を参照画
    像として用いて予測画像を生成し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
    を加算して、再生画像を生成し出力すると同時に、該再
    生画像を、上記フレームメモリに格納する画像予測符号
    化装置であって、 上記予測画像生成器は、上記所定の再生画像に、参照さ
    れるべき有意な画像データが存在するか否かを調べ、有
    意な画像データが存在しないとき、所定値をその画像デ
    ータとした画像を上記予測画像とすることを特徴とする
    画像予測符号化装置。
18. 【請求項１８】 請求項１６または１７に記載の画像予
    測符号化装置において、 各フレーム毎の符号化データは、符号化処理の対象とな
    る対象フレームの直前のフレームに、参照されるべき有
    意な画像データが存在するか否かを示すフラグを有する
    ものであることを特徴とする画像予測符号化装置。
19. 【請求項１９】 入力手段と、減算器と、圧縮符号化器
    と、可変長符号化器と、伸長復号化器と、予測画像生成
    器と、加算器と、フレームメモリとを具備し、 上記入力手段に、画像サイズ可変な画像データを符号化
    処理の単位毎に区分して入力し、 上記減算器にて、符号化処理の対象となる対象画像と、
    この対象画像に対応する予測画像との差分画像を求め、 上記圧縮符号化器にて、上記差分画像を所定の圧縮符号
    化処理により圧縮データに変換し、 上記可変長符号化器にて、上記圧縮データを可変長符号
    化して符号化データを出力し、 上記伸長復号化器にて、上記圧縮データを所定の伸長復
    号化処理により伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
    れた再生画像を参照画像として用いて予測画像を生成
    し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
    を加算して、再生画像を生成し出力すると同時に、該再
    生画像を、上記フレームメモリに格納する画像予測復号
    化装置であって、 上記予測画像生成器は、上記参照画像として、最近に再
    生された２つの再生画像のうちの、少なくとも参照され
    るべき有意な画像データが存在するものを用いて上記予
    測画像を生成することを特徴とする画像予測符号化装
    置。
20. 【請求項２０】 請求項１９に記載の画像予測符号化装
    置において、 各フレーム毎の符号化データは、符号化処理の対象とな
    る画像データを含む対象フレームの直前の所定の２つの
    フレームに、有意な画像データが存在するか否かを示す
    フラグを有するものであることを特徴とする画像予測符
    号化装置。
21. 【請求項２１】 入力手段と、減算器と、圧縮符号化器
    と、可変長符号化器と、伸長復号化器と、予測画像生成
    器と、加算器と、フレームメモリとを具備し、 上記入力手段に、画像サイズ可変な画像データを符号化
    処理の単位毎に区分して入力し、 上記減算器にて、符号化処理の対象となる対象画像と、
    この対象画像に対応する予測画像との差分画像を求め、 上記圧縮符号化器にて、上記差分画像を所定の圧縮符号
    化処理により圧縮データに変換し、 上記可変長符号化器にて、上記圧縮データを可変長符号
    化して符号化データを出力し、 上記伸長復号化器にて、上記圧縮データを所定の伸長復
    号化処理により伸長差分画像に復元し、 上記予測画像生成器にて、上記フレームメモリに格納さ
    れた再生画像を参照画像として用いて予測画像を生成
    し、 上記加算器にて、上記伸長差分画像と、上記予測画像と
    を加算して、再生画像を生成し出力すると同時に、該再
    生画像を、上記フレームメモリに格納する画像予測符号
    化装置であって、 上記画像サイズ可変な画像データに含まれる、物体の形
    状を示す形状データに基づいて、上記再生画像に、参照
    されるべき有意な画像データが存在するか否かを検出す
    る形状検出器を備え、 上記予測画像生成器を、形状検出器の出力に基づいて、
    上記再生画像が有意な画像データを有しない場合は、有
    意な画像データが存在する最近に再生された少なくとも
    一つの再生画像を参照画像として用いて上記予測画像を
    生成する構成としたことを特徴とする画像予測符号化装
    置。
22. 【請求項２２】 コンピュータに画像の予測復号化処理
    を行わせるためのプログラムを格納したデータ記録媒体
    であって、 上記プログラムは、請求項６，７，９のいずれかに記載
    の画像予測復号化装置による画像の予測復号化処理をコ
    ンピュータが行うよう構成されていることを特徴とする
    データ記録媒体。
23. 【請求項２３】 コンピュータに画像の予測符号化処理
    を行わせるためのプログラムを格納したデータ記録媒体
    であって、 上記プログラムは、請求項１６，１７，１９，２１のい
    ずれかに記載の画像予測符号化装置による画像の予測符
    号化処理をコンピュータが行うよう構成されていること
    を特徴とするデータ記録媒体。
24. 【請求項２４】 画像を圧縮符号化して得られる符号化
    データを格納したデータ記録媒体であって、 上記符号化データは、請求項１６，１７，１９，２１の
    いずれかに記載の画像予測符号化装置における画像の予
    測符号化処理により得られた符号化データであることを
    特徴とするデータ記録媒体。