JP2002058032A - 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化対象の画像データを複数の階層の画像
データに分割し、分割した複数の階層の画像データの中
の所定の階層の画像データをイントラピクチャとして符
号化する場合に、この所定の階層の画像データの符号化
効率を向上させることが可能な画像符号化装置および方
法、画像復号装置および方法、ならびに画像処理装置を
提供する。 【解決手段】 入力された画像データを複数の階層の画
像データに分割して符号化する階層符号化方式の画像符
号化装置において、高位階層画像データをイントラピク
チャとして符号化する場合、制御回路２９は所定値を示
す参照用データが減算回路１１に供給されるようにスイ
ッチ２３を切り換える。減算回路１１は、前処理回路１
１から出力された高位階層画像データからこの参照用デ
ータを減じる。そして、減算回路１１の減算結果である
差分画像データに関して符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データの圧縮
符号化を行う画像符号化装置および方法、圧縮符号化し
た画像データの復号を行う画像復号装置および方法、な
らびに画像符号化装置および画像復号装置を備えた画像
処理装置に関する。

【０００２】

【従来の技術】従来、画像データを圧縮符号化するため
の画像符号化方式として、ＭＰＥＧ（Moving Picture E
xperts Group）規格において採用されている双方向予測
符号化方式がある。この双方向予測符号化方式では、フ
レーム内符号化、フレーム間順方向予測符号化、および
双方向予測符号化の３つのタイプの符号化が行われてお
り、これらの符号化に対応して、Ｉ（Intra ；イント
ラ）ピクチャ、Ｐ（Predictive）ピクチャ、およびＢ
（Bidirectionally predictive）ピクチャの３種類の画
像タイプがそれぞれ規定されている。なお、Ｐピクチャ
およびＢピクチャは、ノンイントラ（Non-intra ）ピク
チャまたはインター（Inter ）ピクチャとも呼ばれてい
る。

【０００３】符号化対象の画像データをイントラピクチ
ャとして符号化する場合には、例えば同一フレーム（ま
たはフィールド）内でその画像データに関して符号化が
行われる。一方、符号化対象の画像データをノンイント
ラピクチャとして符号化する場合には、過去のフレーム
や未来のフレームを参照して得られる差分画像データに
関して符号化が行われる。

【０００４】また、例えば画像の品質を段階的に向上さ
せるための符号化方式として、階層符号化方式がある。
この階層符号化方式では、符号化対象の画像データが複
数の階層の画像データに分割され、分割された各階層の
画像データに関して符号化が行われている。ここで、各
階層の画像データとは、例えば、異なる周波数成分ごと
に分けられた画像データのことである。

【０００５】図１１はこのような階層符号化方式の画像
符号化装置の構成を示すものである。この画像符号化装
置は、分割回路１７０と、符号化回路１７１、１７２と
を備えている。分割回路１７０は、符号化対象の画像デ
ータとしての入力画像データＸＸを複数（ここでは２
つ）の階層の画像データ（基本階層画像データＸ１およ
び高位階層画像データＸ２）に分割するためのものであ
る。符号化回路１７１は、分割回路１７０から出力され
た基本階層画像データＸ１を符号化するためのものであ
る。符号化回路１７２は、分割回路１７０から出力され
た高位階層画像データＸ２を符号化するためのものであ
る。符号化回路１７１、１７２は、後述するように、互
いに同一の構成を有し、同様に動作するようになってい
る。

【０００６】分割回路１７０は、画像処理回路１７０ａ
と、減算回路１７０ｂとを含んでいる。画像処理回路１
７０ａは、入力画像データＸＸから、基本的な特徴を有
する画像データである基本階層画像データＸ１を抽出す
るためのものである。減算回路１７０ｂは、入力画像デ
ータＸＸから基本階層画像データＸ１を減じるためのも
のである。ここで、基本階層画像データとは、通常の画
像として見ることができるような画像データであり、例
えば、画像の空間周波数に関していえば、低い周波数成
分を有する画像データのことである。また、高位階層画
像データとは、例えば高画質の画像を得るための画像デ
ータのことであり、高い周波数成分を有する画像データ
のことである。入力画像データＸＸを空間周波数に関し
て分割する場合、画像処理回路１７０ａは、例えばＬＰ
Ｆ（Low Pass Filter ）回路によって構成される。

【０００７】入力画像データＸＸは、分割回路１７０内
の画像処理回路１７０ａおよび減算回路１７０ｂにそれ
ぞれ供給されるようになっている。画像処理回路１７０
ａは、入力画像データＸＸから基本階層画像データＸ１
を抽出し、抽出した基本階層画像データＸ１を、符号化
回路１７１および減算回路１７０ｂにそれぞれ出力する
ようになっている。

【０００８】減算回路１７０ｂは、入力画像データＸＸ
から、画像処理回路１７０ａから出力された基本階層画
像データＸ１を減じ、その減算結果である差分画像デー
タを、高位階層画像データＸ２として符号化回路１７２
に出力するようになっている。

【０００９】図１２は図１１に示した符号化回路１７
１、１７２の構成を示すものである。符号化回路１７
１、１７２は、入力される符号化対象の画像データが異
なっており、基本階層画像データＸ１または高位階層画
像データＸ２であるという点を除いて、上述したよう
に、互いに同一の構成を有しており、同様に動作するよ
うになっている。

【００１０】図１２に示した符号化回路は、前処理回路
１５１と、減算回路１５２と、ＤＣＴ（Discrete Cosin
e Transform ；離散コサイン変換）回路１５３と、量子
化回路１５４とを含んでいる。前処理回路１５１は、例
えばラスタースキャン形式の画像データを所定の符号化
処理の順序に並び換え、並び換えた画像データごとにブ
ロックスキャン形式に変換して複数のマクロブロックの
画像データ（以下、ブロックデータと呼ぶ）を得るため
のものである。減算回路１５２は、前処理回路１５１か
ら出力される画像データ（ブロックデータ）から例えば
後述する予測画像データを減じるためのものである。Ｄ
ＣＴ回路１５３は、画像データを周波数成分に変換する
ためのものであり、減算回路１５１から出力される減算
結果に関してＤＣＴを行うことによりＤＣＴ係数を取得
するためのものである。量子化回路１５４は、ＤＣＴ回
路１５３から出力されたＤＣＴ係数を所定の量子化値に
基づいて量子化するためのものである。

【００１１】また、この符号化回路は、逆量子化回路１
５８と、逆ＤＣＴ回路１５９と、加算回路１６０と、フ
レームメモリ１６１とを含んでいる。逆量子化回路１５
８は、量子化回路１５４の出力データを逆量子化するた
めのものである。逆ＤＣＴ回路１５９は、逆量子化回路
１５８の出力データ（復元されたＤＣＴ係数）に関して
逆ＤＣＴを行うためのものである。加算回路１６０は、
逆ＤＣＴ回路１５９の出力データ（画像データ）と予測
画像データとを加算するためのものである。フレームメ
モリ１６１は、加算回路１６０の加算結果を参照画像デ
ータとして記憶するためのものである。

【００１２】さらに、この符号化回路は、動き補償回路
１６２と、動きベクトル検出回路１６３と、スイッチ１
６４と、制御回路１６６とを含んでいる。動きベクトル
検出回路１６３は、前処理回路１５１から出力された画
像データと、フレームメモリ１６１に記憶されている参
照画像データとに基づいて、動きベクトルを検出するた
めのものである。動き補償回路１６２は、動きベクトル
検出回路１６３によって検出された動きベクトルに基づ
いて、フレームメモリ１６１に記憶されている参照画像
データに関して動き補償を行い、動き補償のための参照
画像データを予測画像データとして発生するためのもの
である。

【００１３】制御回路１６６は、前処理回路１５１から
出力された画像データをイントラピクチャとして符号化
するかどうかを決定し、この決定結果に応じてスイッチ
１６４を切り換えるためのものである。

【００１４】前処理回路１５１から出力された画像デー
タをイントラピクチャとして符号化すると制御回路１６
６が決定した場合、スイッチ１６４は、制御回路１６６
から出力される切り換え信号に応じて、データ「０」が
減算回路１５２および加算回路１６０にそれぞれ出力さ
れるように切り換えられるようになっている。また、前
処理回路１５１から出力された画像データをノンイント
ラピクチャとして符号化すると制御回路１６６が決定し
た場合、スイッチ１６４は、制御回路１６６から出力さ
れる切り換え信号に応じて、動き補償回路１６２におい
て発生した予測画像データが減算回路１５２および加算
回路１６０にそれぞれ出力されるように切り換えられる
ようになっている。

【００１５】これにより、減算回路１５２から出力され
る減算結果は、画像データをイントラピクチャとして符
号化する場合には、その画像データそのものである。ま
た、その減算結果は、画像データをノンイントラピクチ
ャとして符号化する場合には、予測画像データを用いる
ことにより得られる差分画像データである。

【００１６】また、この符号化回路は、可変長符号化回
路１５５と、多重化回路１５６と、バッファ１５７と、
レート制御回路１６５とを含んでいる。可変長符号化回
路１５５は、量子化回路１５４の出力データに関して可
変長符号化を行うためのものである。多重化回路１５６
は、可変長符号化回路１５５から出力された符号化デー
タ（ＤＣＴ係数、量子化回路１５４の量子化値、および
ピクチャタイプなど）や動きベクトルなどを多重化する
ためのものである。バッファ１５７は、多重化回路１５
６の出力データを一旦保持し、所定のビットレートでス
トリームとして出力するためのものである。レート制御
回路１６５は、バッファ１５７におけるデータ占有状態
を監視し、そのデータ占有状態に応じて量子化回路１５
４の量子化値を制御するためのものである。

【００１７】図１３は図１２に示した可変長符号化回路
１５５における符号化処理を示すフローチャートであ
る。図１３に示したように、ステップＡ１において、可
変長符号化回路１５５に入力されるデータ（ブロックデ
ータであり、量子化されたＤＣＴ係数）に関するピクチ
ャタイプを判定する。この入力データがノンイントラピ
クチャに関するものであると判定した場合には、ステッ
プＡ２において、予め設定されたノンイントラピクチャ
用符号化テーブルを用いて符号化処理を行う（符号化処
理３）。

【００１８】一方、ステップＡ１において入力データが
イントラピクチャに関するものであると判定した場合、
ステップＡ３において、この入力データにおけるＤＣＴ
係数タイプを判定する。これは、各ブロックデータにお
けるＤＣＴ係数には、ブロックデータ内で変化しないＤ
Ｃ（Direct Current；直流）係数と、このブロックデー
タ内で変化するＡＣ（Alternate Current ；交流）係数
とが含まれており、それぞれ独立して符号化処理を行う
からである。

【００１９】ステップＡ３において、ＤＣＴ係数タイプ
がＤＣ係数であると判定した場合、ステップＡ４におい
て、隣接するブロックデータとの間のＤＣ係数の差分値
に関して予め設定されたＤＣ係数用符号化テーブルを用
いて符号化処理を行う（符号化処理１）。一方、ＤＣＴ
係数タイプがＡＣ係数であると判定した場合、ステップ
Ａ５において、予め設定されたＡＣ係数用符号化テーブ
ルを用いて符号化処理を行う（符号化処理２）。

【００２０】以上のように構成されている階層符号化方
式の画像符号化装置において、符号化回路１７１、１７
２に入力される画像データをイントラピクチャとして符
号化する場合に、このような画像データに関して例えば
動き補償は行われていなかった。これは、画像データを
ノンイントラピクチャとして符号化する場合とイントラ
ピクチャとして符号化する場合とでその画像の性質が大
きく異なっているからである。そのため、データ成分が
少ない差分画像データを符号化するノンイントラピクチ
ャの場合と異なり、イントラピクチャの場合には、入力
された画像データそのものを符号化していた。

【００２１】

【発明が解決しようとする課題】ところで、符号化回路
１７１、１７２では、入力される画像データ（基本階層
画像データおよび高位階層画像データ）に関してはそれ
ぞれ区別して符号化が行われていなかった。しかし、高
位階層画像データは入力される画像データと基本階層画
像データとの差を示す差分画像データであるため、画像
の性質に関していえば、イントラピクチャの高位階層画
像データはノンイントラピクチャの高位階層画像データ
と非常に良く似ている。従って、例えば動き補償によっ
て差分画像データを取得することなく、高位階層画像デ
ータをイントラピクチャとして符号化しようとすると、
高位階層画像データではそのデータ成分が基本階層画像
データと比較して少ないにもかかわらず、高位階層画像
データの符号量が多くなってしまい、その符号化効率が
低下してしまうという問題があった。

【００２２】本発明はかかる問題点に鑑みてなされたも
のであり、その目的は、符号化対象の画像データを複数
の階層の画像データに分割し、分割した複数の階層の画
像データの中の所定の階層の画像データをイントラピク
チャとして符号化する場合に、この所定の階層の画像デ
ータの符号化効率を向上させることが可能な画像符号化
装置および方法、画像復号装置および方法、ならびに画
像処理装置を提供することにある。

【００２３】

【課題を解決するための手段】本発明による画像符号化
装置は、符号化対象の画像データを複数の階層の画像デ
ータに分割する分割手段と、この分割手段によって分割
された複数の階層の画像データの中の所定の階層の画像
データをイントラピクチャとして符号化する場合、零以
外の参照用データを用いて所定の階層の画像データを符
号化する符号化手段とを備えている。

【００２４】また、本発明による画像符号化方法は、符
号化対象の画像データを複数の階層の画像データに分割
するステップと、この符号化対象の画像データから分割
された複数の階層の画像データの中の所定の階層の画像
データをイントラピクチャとして符号化する場合、零以
外の参照用データを用いて所定の階層の画像データを符
号化するステップとを含んでいる。

【００２５】本発明による画像復号装置は、第１の符号
化データを復号する第１の復号手段と、この第１の符号
化データとは異なる第２の符号化データが零以外の参照
用データを用いて符号化されたイントラピクチャの画像
データである場合、この参照用データを用いて第２の符
号化データを復号する第２の復号手段とを備えている。

【００２６】また、本発明による画像復号方法は、第１
の符号化データを復号するステップと、この第１の符号
化データとは異なる第２の符号化データが零以外の参照
用データを用いて符号化されたイントラピクチャの画像
データである場合、この参照用データを用いて第２の符
号化データを復号するステップとを含んでいる。

【００２７】本発明による画像処理装置は、符号化対象
の画像データを複数の階層の画像データに分割し、分割
した複数の階層の画像データの中の所定の階層の画像デ
ータをイントラピクチャとして符号化する場合、零以外
の参照用データを用いてこの所定の階層の画像データを
符号化する符号化手段と、この符号化手段によって符号
化された所定の階層の画像データを参照用データを用い
て復号する復号手段とを備えている。

【００２８】本発明による画像符号化装置または画像符
号化方法では、符号化対象の画像データが複数の階層の
画像データに分割され、分割された複数の階層の画像デ
ータの中の所定の階層の画像データをイントラピクチャ
として符号化する場合、零以外の参照用データを用いて
所定の階層の画像データが符号化される。

【００２９】本発明による画像復号装置または画像復号
方法では、第１の符号化データが復号され、この第１の
符号化データとは異なる第２の符号化データが零以外の
参照用データを用いて符号化されたイントラピクチャの
画像データである場合、この参照用データを用いて第２
の符号化データが復号される。

【００３０】本発明による画像処理装置では、符号化対
象の画像データを複数の階層の画像データに分割され、
分割された複数の階層の画像データの中の所定の階層の
画像データをイントラピクチャとして符号化する場合、
零以外の参照用データを用いてこの所定の階層の画像デ
ータが符号化される。そして、符号化されたこの所定の
階層の画像データが参照用データを用いて復号される。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００３２】（第１の実施の形態）図１は本実施の形態
に係る画像符号化装置の構成を示し、図２は本実施の形
態に係る画像復号装置の構成を示したものである。な
お、本実施の形態に係る画像符号化方法および画像復号
方法は、本実施の形態に係る画像符号化装置および画像
復号装置によって具現化されるので、以下、併せて説明
する。

【００３３】本実施の形態の画像処理装置は、図１に示
した画像符号化装置と、図２に示した画像復号装置とに
よって構成される。

【００３４】まず、図１に示した画像符号化装置につい
て説明する。この画像符号化装置は、分割回路１と、符
号化回路２、３とを備えている。

【００３５】分割回路１は、画像処理回路１ａと、減算
回路１ｂとを含み、符号化対象の画像データとしての入
力画像データＹＹを複数（ここでは２つ）の階層の画像
データ（基本階層画像データＹ１および高位階層画像デ
ータＹ２）に分割するようになっている。この入力画像
データＹＹを空間周波数に関して分割する場合、画像処
理回路１ａは、例えばＬＰＦ回路によって構成される。

【００３６】入力画像データＹＹは、分割回路１内の画
像処理回路１ａおよび減算回路１ｂにそれぞれ供給され
るようになっている。画像処理回路１ａは、入力画像デ
ータＹＹから、基本的な特徴を有する画像データである
基本階層画像データＹ１を抽出し、抽出した基本階層画
像データＹ１を符号化回路２および減算回路１ｂにそれ
ぞれ出力するようになっている。

【００３７】減算回路１ｂは、入力画像データＹＹか
ら、画像処理回路１ａから出力された基本階層画像デー
タＹ１を減じ、この減算結果である差分画像データを高
位階層画像データＹ２として符号化回路３に出力するよ
うになっている。

【００３８】符号化回路２は、基本階層画像データＹ１
に関して符号化を行うためのものであり、符号化回路１
７１、１７２と同様に構成され、同様に動作するように
なっている。

【００３９】図３は図１に示した符号化回路３の構成を
示したものである。符号化回路３は、高位階層画像デー
タＹ２に関して符号化を行うためのものであり、前処理
回路１０と、減算回路１１と、ＤＣＴ回路１２と、量子
化回路１３とを含んでいる。前処理回路１０は、例えば
ラスタースキャン形式の画像データを所定の符号化処理
の順序に並び換え、並び換えた画像データごとにブロッ
クスキャン形式に変換して複数のブロックデータを得る
ようになっている。減算回路１１は、前処理回路１０か
ら出力される画像データ（ブロックデータ）から、例え
ば後述する予測画像データを減じるようになっている。
ＤＣＴ回路１２は、減算回路１１から出力される減算結
果に関してＤＣＴを行うことによりＤＣＴ係数を取得す
るようになっている。量子化回路１３は、ＤＣＴ回路１
２から出力されるＤＣＴ係数を所定の量子化値に基づい
て量子化するようになっている。

【００４０】また、符号化回路３は、逆量子化回路１７
と、逆ＤＣＴ回路１８と、加算回路１９と、フレームメ
モリ２０とを含んでいる。逆量子化回路１７は、量子化
回路１３の出力データに関して逆量子化を行うようにな
っている。逆ＤＣＴ回路１８は、逆量子化回路１７の出
力データ（復元されたＤＣＴ係数）に関して逆ＤＣＴを
行うようになっている。加算回路１９は、逆ＤＣＴ回路
１８の出力データ（画像データ）と予測画像データとを
加算するようになっている。フレームメモリ２０は、加
算回路１９の加算結果を参照画像データとして記憶する
ようになっている。

【００４１】さらに、符号化回路３は、動きベクトル検
出回路２１と、動き補償回路２２と、スイッチ２３と、
制御回路２９とを含んでいる。動きベクトル検出回路２
１は、前処理回路１０から出力される画像データとフレ
ームメモリ２０に記憶されている参照画像データとに基
づいて、動きベクトルを検出するようになっている。動
き補償回路２２は、動きベクトル検出回路２１によって
検出された動きベクトルに基づいて、フレームメモリ２
０に記憶されている参照画像データに関して動き補償を
行い、動き補償のための参照画像データを予測画像デー
タとして発生するようになっている。

【００４２】制御回路２９は、前処理回路１０から出力
された画像データをイントラピクチャとして符号化する
かどうかを決定し、この決定結果に応じてスイッチ２３
を切り換えるようになっている。

【００４３】前処理回路１０から出力された画像データ
をイントラピクチャとして符号化すると制御回路２９が
決定した場合、スイッチ２３は、制御回路２９から出力
される切り換え信号に応じて、外部から供給される所定
値（零（０）ではない）を示す参照用データが減算回路
１１および加算回路１９にそれぞれ出力されるように切
り換えられようになっている。この所定値は、画像デー
タの符号化の際にその符号量が最小となるような値であ
る。また、前処理回路１０から出力された画像データを
ノンイントラピクチャとして符号化すると制御回路２９
が決定した場合、スイッチ２３は、制御回路２９から出
力される切り換え信号に応じて、動き補償回路２２にお
いて発生した予測画像データが減算回路１１および加算
回路１９にそれぞれ出力されるように切り換えられるよ
うになっている。

【００４４】これにより、減算回路１１から出力される
減算結果は、画像データをイントラピクチャとして符号
化する場合には、参照用データを用いることにより得ら
れる差分画像データとなる。また、この減算結果は、画
像データをノンイントラピクチャとして符号化する場合
には、予測画像データを用いることにより得られる差分
画像データとなる。

【００４５】また、符号化回路３は、可変長符号化回路
１４と、多重化回路１５と、バッファ１６と、レート制
御回路２４とを備えている。可変長符号化回路１４は、
前処理回路１０に入力される画像データのピクチャタイ
プに応じて区別することなく、すなわち入力される画像
データをイントラピクチャとして符号化する場合とノン
イントラピクチャとして符号化する場合とで区別するこ
となく、量子化回路１３の出力データに関して同一の可
変長符号化処理を行うようになっている。

【００４６】多重化回路１５は、可変長符号化回路１４
から出力された符号化データ（ＤＣＴ係数、量子化回路
１３の量子化値、およびピクチャタイプなど）、動きベ
クトル、および所定値を示す参照用データなどを多重化
するようになっている。バッファ１６は、多重化回路１
５の出力データを一旦保持し、所定のビットレートでス
トリームとして出力するようになっている。レート制御
回路２４は、バッファ１６におけるデータ占有状態を監
視し、そのデータ占有状態に応じて量子化回路１３の量
子化値を制御するようになっている。

【００４７】次に、以上のように構成されている画像符
号化装置の作用について説明する。

【００４８】図４は図１に示した画像符号化装置による
符号化処理を示すフローチャートである。符号化対象の
画像データである入力画像データＹＹが分割回路１に入
力されると、ステップＢ１において、分割回路１は、入
力画像データＹＹを基本階層画像データＹ１と高位階層
画像データＹ２とに分割する。そして、分割回路１は、
基本階層画像データＹ１を符号化回路２に出力し、高位
階層画像データＹ２を符号化回路３に出力する。

【００４９】ステップＢ２において、符号化回路２は、
従来の符号化回路１７１、１７２と同様に動作し、基本
階層画像データＹ１に関して符号化を行う。すなわち、
分割回路１から出力された基本階層画像データＹ１をイ
ントラピクチャとして符号化する場合、符号化回路２
は、この基本階層画像データＹ１に関して符号化を行
う。一方、基本階層画像データＹ１をノンイントラピク
チャとして符号化する場合、符号化回路２は、この基本
階層画像データＹ１および予測画像データを用いること
により得られる差分画像データに関して符号化を行う。

【００５０】一方、ステップＢ３において、符号化回路
３は、以下のようにして、分割回路１から出力された高
位階層画像データＹ２に関して符号化を行う。

【００５１】前処理回路１０は、入力された高位階層画
像データＹ２を所定の符号化順序に並び換え、並び換え
た高位階層画像データＹ２ごとに複数のブロックデータ
に変換する。動きベクトル検出回路２１は、前処理回路
１０から出力された高位階層画像データＹ２とフレーム
メモリ２０に記憶されている参照画像データとに基づい
て動きベクトルを検出する。動き補償回路２２は、動き
ベクトル検出回路２１によって検出された動きベクトル
に基づいて、参照画像データに関して動き補償を行う。

【００５２】高位階層画像データＹ２をノンイントラピ
クチャとして符号化すると決定した場合、制御回路２９
は、動き補償回路２２において発生した参照画像データ
が予測画像データとして減算回路１１に供給されるよう
にスイッチ２３を切り換える。

【００５３】一方、高位階層画像データＹ２をイントラ
ピクチャとして符号化すると決定した場合、制御回路２
９は、外部から供給された所定値を示す参照用データが
減算回路１１に供給されるようにスイッチ２３を切り換
える。

【００５４】減算回路１１は、高位階層画像データＹ２
から予測画像データまたは参照用データのいずれか一方
を減じ、その減算結果（差分画像データ）をＤＣＴ回路
１２に出力する。ＤＣＴ回路１２は、この減算回路１１
からの減算結果に関してＤＣＴを行うことによってＤＣ
Ｔ係数を取得する。量子化回路１３は、ＤＣＴ回路１２
によって取得されたＤＣＴ係数の量子化を行い、量子化
したＤＣＴ係数を可変長符号化回路１４および逆量子化
回路１７にそれぞれ出力する。レート制御回路２４は、
バッファ１６におけるデータ占有状態を監視し、そのデ
ータ占有状態に応じて量子化回路１３の量子化値を制御
する。

【００５５】逆量子化回路１７は、量子化回路１３によ
って量子化されたＤＣＴ係数に関して逆量子化を行う。
逆ＤＣＴ回路１８は、逆量子化回路１７によって逆量子
化されたＤＣＴ係数に関して逆ＤＣＴを行い、これによ
り画像データを復元する。加算回路１９は、この復元し
た画像データと、予測画像データまたは参照用データの
いずれか一方とを加算する。フレームメモリ２０は加算
回路１９の加算結果を参照画像データとして記憶する。

【００５６】可変長符号化回路１４は、高位階層画像デ
ータＹ２のピクチャタイプによることなく、量子化回路
１３によって量子化されたＤＣＴ係数を所定の符号化処
理に基づいて符号化する。多重化回路１５は、可変長符
号化回路１４から出力された符号化データ（ＤＣＴ係
数、量子化回路１３の量子化値、およびピクチャタイプ
など）、動きベクトル、および所定値を示す参照用デー
タなどを多重化する。多重化されたこれらのデータは、
バッファ１６に一旦保持された後、所定のビットレート
でストリームとして出力される。

【００５７】次に、以上のようにして符号化された画像
データを復号する画像復号装置について説明する。

【００５８】図２に示した画像復号装置は、復号回路
５、６と、加算回路７とを備えている。復号回路５は、
符号化された基本階層画像データＹ１に関するストリー
ムを復号するようになっている。復号回路６は、符号化
された高位階層画像データＹ２に関するストリームを復
号するようになっている。加算回路７は、復号回路５に
よって復号された基本階層画像データＹ１と、復号回路
６によって復号された高位階層画像データＹ２とを加算
し、この加算結果を入力画像データＹＹとして復元する
ようになっている。

【００５９】図５は図２に示した復号回路５の構成を示
したものである。復号回路５は、バッファ４０と、分離
回路４１と、可変長復号回路４２と、逆量子化回路４３
と、逆ＤＣＴ回路４４とを含んでいる。バッファ４０
は、符号化された基本階層画像データＹ１に関するスト
リームを一旦保持するようになっている。このストリー
ムには、符号化データ（ＤＣＴ係数、量子化値、および
ピクチャタイプ）や動きベクトルなどが含まれている。
分離回路４１は、バッファ４０に保持されているストリ
ームの分離を行うようになっている。可変長復号回路４
２は、分離回路４１によって分離された符号化データに
関して可変長復号を行うようになっている。逆量子化回
路４３は、可変長復号回路４２の出力データに関して逆
量子化を行うようになっている。逆ＤＣＴ回路４４は、
逆量子化回路４３の出力データに関して逆ＤＣＴを行う
ようになっている。

【００６０】また、復号回路５は、加算回路４５と、フ
レームメモリ４７と、動き補償回路４８と、スイッチ４
９と、判定回路５４とを含んでいる。加算回路４５は、
逆ＤＣＴ回路４４の出力データと予測画像データとを加
算するようになっている。フレームメモリ４７は、加算
回路４５の加算結果を参照画像データとして記憶するよ
うになっている。動き補償回路４８は、分離回路４１に
よって分離された動きベクトルに基づいて、フレームメ
モリ４７に記憶されている参照画像データに関して動き
補償を行い、動き補償のための参照画像データを予測画
像データとして発生するようになっている。判定回路５
４は、分離回路４１によって分離されたピクチャタイプ
（イントラピクチャまたはノンイントラピクチャ）を判
定し、この判定結果に応じてスイッチ４９を切り換える
ようになっている。

【００６１】符号化されている基本階層画像データＹ１
がイントラピクチャであると判定回路５４が判定した場
合、スイッチ４９は、判定回路５４から出力される切り
換え信号に応じて、データ「０」が加算回路４５に出力
されるように切り換えられるようになっている。また、
符号化されている基本階層画像データＹ１がノンイント
ラピクチャであると判定回路５４が判定した場合、スイ
ッチ４９は、判定回路５４から出力される切り換え信号
に応じて、動き補償回路４８において発生した予測画像
データが加算回路４５に出力されるように切り換えられ
るようになっている。

【００６２】さらに、復号回路５は、加算回路４５から
供給されたその加算結果であるブロックスキャン形式の
ブロックデータをラスタースキャン形式の画像データに
変換し、変換した画像データを所定の順序に並び換えて
出力する後処理回路４６を含んでいる。

【００６３】図６は図２に示した復号回路６の構成を示
したものである。復号回路６は、符号化されている高位
階層画像データＹ２がイントラピクチャである場合に、
バッファ４０に保持されるストリームに含まれている所
定値を示す参照用データを用いて復号処理を行っている
点を除いて、図５に示した復号回路５と同様に構成され
ており、同様に動作するようになっている。

【００６４】すなわち、符号化されている高位階層画像
データＹ２がイントラピクチャである場合、バッファ４
０に一旦保持されるストリームには所定値を示す参照用
データも含まれている。そこで、分離回路４１は、この
ストリームから参照用データを分離し、分離した参照用
データをスイッチ５０に供給するようになっている。そ
して、符号化されている高位階層画像データＹ２がイン
トラピクチャであると判定回路５４が判定した場合、ス
イッチ５０は、判定回路５４から出力される切り換え信
号に応じて、分離回路４１によって分離された参照用デ
ータが加算回路４５に出力されるように切り換えられる
ようになっている。

【００６５】ここで、復号回路５が本発明の「第１の復
号手段」の一具体例に対応し、復号回路６が本発明の
「第２の復号手段」の一具体例に対応している。

【００６６】次に、以上のように構成されている画像復
号装置の作用について説明する。

【００６７】図７は図２に示した画像復号装置による復
号処理を示すフローチャートである。符号化されている
基本階層画像データＹ１に関するストリームが供給され
ると、ステップＣ１において、復号回路５は、このスト
リームを復号して基本階層画像データを復元する。すな
わち、符号化されている基本階層画像データＹ１に関す
るストリームをバッファ４０に一旦保持させる。分離回
路４１は、バッファ４０に保持されているストリームの
分離を行う。そして、分離回路４１は、このストリーム
から分離した動きベクトルを動き補償回路４８に供給す
るとともに、このストリームから分離した符号化データ
を可変長復号回路４２に供給する。

【００６８】可変長復号回路４２は、分離回路４１によ
って分離された符号化データに関して可変長復号を行
う。逆量子化回路４３は、可変長復号回路４２の出力デ
ータに関して逆量子化を行う。逆ＤＣＴ回路４４は、逆
量子化回路４３の出力データに関して逆ＤＣＴを行う。

【００６９】符号化されている基本階層画像データＹ１
がイントラピクチャであると判定した場合、判定回路５
４は、データ「０」が加算回路４５に供給されるように
スイッチ４９を切り換える。加算回路４５は、このデー
タ「０」と逆ＤＣＴ回路４４の出力データとを加算し、
その加算結果を後処理回路４６およびフレームメモリ４
７にそれぞれ供給する。

【００７０】一方、符号化されている基本階層画像デー
タＹ１がノンイントラピクチャであると判定回路５４が
判定した場合、動き補償回路４８は、分離回路４１によ
って分離された動きベクトルに基づいてフレームメモリ
４７に記憶されている参照画像データに関して動き補償
を行い、動き補償のための参照画像データを予測画像デ
ータとして発生する。判定回路５４は、動き補償回路４
８から出力される予測画像データが加算回路４５に供給
されるようにスイッチ４９を切り換える。加算回路４５
は、動き補償回路４８から出力された予測画像データと
逆ＤＣＴ回路４４の出力データとを加算し、その加算結
果を後処理回路４６およびフレームメモリ４７にそれぞ
れ供給する。

【００７１】後処理回路４６は、加算回路４５から供給
されたその加算結果であるブロックスキャン形式のブロ
ックデータをラスタースキャン形式の画像データに変換
し、変換した画像データを所定の順序に並び換えて出力
する。この出力画像データが復元された基本階層画像デ
ータとなる。この基本階層画像データは加算回路７にも
供給される。

【００７２】一方、符号化されている高位階層画像デー
タＹ２に関するストリームが供給されると、ステップＣ
２において、復号回路６は、このストリームを復号して
高位階層画像データを復元する。すなわち、符号化され
ている高位階層画像データＹ２に関するストリームをバ
ッファ４０に一旦保持させる。符号化されている高位階
層画像データＹ２がイントラピクチャである場合、バッ
ファ４０に保持されるストリームには所定値を示す参照
用データも含まれている。そこで、分離回路４１は、こ
の参照用データをストリームから分離し、スイッチ５０
に供給する。

【００７３】ここで、符号化されている高位階層画像デ
ータＹ２がイントラピクチャであると判定した場合、判
定回路５４は、参照用データが加算回路４５に供給され
るようにスイッチ５０を切り換える。加算回路４５は、
この参照用データと逆ＤＣＴ回路の出力データとを加算
する。その他については、復号回路６は、復号回路５と
同様に動作して高位階層画像データを復元し、この高位
階層画像データを加算回路７に出力する。

【００７４】ステップＣ３において、加算回路７は、復
号回路５から出力された基本階層画像データと復号回路
６から出力された高位階層画像データとを加算し、この
加算結果を入力画像データとして復元する。

【００７５】以上のように、本実施の形態では、階層符
号化方式において分割された複数の階層の画像データの
中で例えば高位階層画像データをイントラピクチャとし
て符号化する場合においても、零以外の参照用データを
用いた減算により得られる、データ成分の少ない差分画
像データに関して符号化を行っている。従って、高位階
層画像データの符号量を削減してその符号化効率を向上
でき、これにより、入力画像データ全体の符号化効率を
向上させることが可能となる。そして、このようにして
符号化されている高位階層画像データに関して、この参
照用データに基づいて復号を行っているので、再現性が
よい高位階層画像データを得ることができる。

【００７６】（第２の実施の形態）図８は本実施の形態
に係る画像符号化装置の符号化回路の構成を示し、図９
は本実施の形態に係る画像復号装置の復号回路の構成を
示したものである。本実施の形態の画像符号化装置は、
高位階層画像データをイントラピクチャとして符号化す
る場合に用いる参照用データを予め記憶するようになっ
ている。また、本実施の形態の画像復号装置は、符号化
されている高位階層画像データがイントラピクチャであ
る場合において、復号の際に用いる参照用データを予め
記憶するようになっている。その他に関しては、第１の
実施の形態の場合と同様に構成され、同様に動作するよ
うになっている。

【００７７】なお、本実施の形態に係る画像符号化方法
および画像復号方法は、本実施の形態に係る画像符号化
装置および画像復号装置によって具現化されるので、以
下、併せて説明する。ここで、第１の実施の形態の場合
と同一の構成要素には同一の符号を付しており、ここで
は、その詳細な説明を省略する。

【００７８】図８に示した符号化回路は、図１に示した
符号化回路３に対応するものであり、イントラピクチャ
用フレームメモリ２５をさらに含み、高位階層画像デー
タに関して符号化を行うようになっている。イントラピ
クチャ用フレームメモリ２５は、高位階層画像データの
符号化の際にその符号量が最小となるような値を示す参
照用データを予め記憶するようになっている。また、こ
の符号化回路には、スイッチ２３の代わりにスイッチ２
６が設けられている。

【００７９】図８に示した符号化回路において、高位階
層画像データをイントラピクチャとして符号化すると決
定した場合、制御回路２９は、イントラピクチャ用フレ
ームメモリ２５に予め記憶されている参照用データが減
算回路１１に供給されるようにスイッチ２６を切り換え
る。減算回路１１は、前処理回路１０の出力データ（高
位階層画像データ）からこの参照用データを減じること
により差分画像データを取得する。その後、第１の実施
の形態の場合と同様にして、この差分画像データに関し
て符号化を行う。

【００８０】また、図９に示した復号回路は、図１に示
した復号回路６に対応するものであり、図５に示した復
号回路と比較して、イントラピクチャ用フレームメモリ
５１をさらに含み、符号化されている高位階層画像デー
タに関して復号を行うようになっている。イントラピク
チャ用フレームメモリ５１は、図８に示した符号化回路
内のイントラピクチャ用フレームメモリ２５に記憶され
ている参照用データと同じ内容の参照用データを予め記
憶するようになっている。また、この復号回路には、ス
イッチ５０の代わりにスイッチ５２が設けられている。

【００８１】図９に示した復号回路において、符号化さ
れている高位階層画像データがイントラピクチャである
と判定した場合、判定回路５４は、イントラピクチャ用
フレームメモリ５１に予め記憶されている参照用データ
が加算回路４５に供給されるようにスイッチ５２を切り
換える。加算回路４５は、この参照用データと逆ＤＣＴ
回路４４の出力データとを加算し、その加算結果を後処
理回路４６およびフレームメモリ４７に出力する。後処
理回路４６は、加算回路４５からの加算結果に基づいて
イントラピクチャの高位階層画像データを復元する。

【００８２】以上のように、本実施の形態では、高位階
層画像データをイントラピクチャとして符号化する場
合、符号化回路および復号回路においてそれぞれ予め記
憶されている参照用データを用いて高位階層画像データ
に関する符号化および復号を行っているので、参照用デ
ータ自身を符号化回路から復号回路に伝送する手間を省
くことができる。

【００８３】本実施の形態では、参照用データを符号化
回路および復号回路にそれぞれ予め記憶させるようにし
ているが、例えば、高位階層画像データを符号化する際
に最初にこの参照用データを符号化しておき、符号化さ
れている高位階層画像データを復号する際には符号化さ
れた参照用データを最初に復号して復号回路内のイント
ラピクチャ用フレームメモリに記憶させるようにしても
よい。

【００８４】（第３の実施の形態）図１０は本実施の形
態に係る画像符号化装置の符号化回路の構成を示したも
のである。本実施の形態の画像符号化装置は、高位階層
画像データをイントラピクチャとして符号化する場合に
おいて、参照用データとして高位階層画像データの平均
画素値を計算するようになっている。その他に関して
は、第１の実施の形態の場合と同様に構成され、同様に
動作するようになっている。

【００８５】なお、本実施の形態に係る画像符号化方法
は、本実施の形態に係る画像符号化装置によって具現化
されるので、以下、併せて説明する。ここで、第１の実
施の形態の場合と同一の構成要素には同一の符号を付し
ており、ここでは、その詳細な説明を省略する。

【００８６】図１０に示した符号化回路は、図１に示し
た符号化回路３に対応するものであり、図３に示した符
号化回路と比較して、前処理回路１０の出力データの平
均画素値（高位階層画像データの全画素の平均値）を参
照用データとして計算する平均画素値計算回路２７をさ
らに含み、高位階層画像データに関して符号化を行うよ
うになっている。また、この符号化回路には、スイッチ
２３の代わりにスイッチ２８が設けられている。

【００８７】図１０に示した符号化回路において、高位
階層画像データをイントラピクチャとして符号化する場
合、平均画素値計算回路２７は、前処理回路１０の出力
データ（高位階層画像データ）の平均画素値を計算す
る。制御回路２９は、平均画素値計算回路２７によって
計算された平均画素値が減算回路１１に供給されるよう
にスイッチ２８を切り換える。減算回路１１は、前処理
回路１０の出力データからこの平均画素値を減じること
により、差分画像データを取得する。そして、第１の実
施の形態の場合と同様に、この差分画像データに関して
符号化を行う。

【００８８】また、平均画素値計算回路２７は、計算し
た平均画素値を多重化回路１５に出力する。多重化回路
１５は、高位階層画像データの符号化データなどととも
に、この平均画素値を多重化して出力する。

【００８９】このようにして符号化されている高位階層
画像データに関しては、図６に示した復号回路によって
復号を行う。この場合、分離回路５３は、バッファ４０
に保持されているストリームから平均画素値を分離し、
分離した平均画素値をスイッチ５０に供給する。これに
より、符号化されているイントラピクチャの高位階層画
像データの復号の際にこの平均画素値を用いることがで
きる。

【００９０】以上のように、本実施の形態では、高位階
層画像データをイントラピクチャとして符号化する場
合、その平均画素値を計算して用いるとともに、計算し
た画素平均値を多重化して出力している。従って、画像
データの性質に応じて、最適にそのデータ量を少なくし
て符号化を行うことができる。そして、符号化されてい
る高位階層画像データがイントラピクチャである場合、
多重化して出力された平均画素値を用いてこの高位階層
画像データに関する復号を行っている。従って、平均画
素値を参照用データとして予め準備しておく手間を省く
ことができる。

【００９１】以上、本発明のいくつかの実施の形態につ
いて説明したが、本発明は上記の実施の形態に限定され
ることなく、種々の変形が可能である。

【００９２】例えば、本発明では、階層符号化方式にお
いて、符号化対象の画像データを複数の階層の画像デー
タ（基本階層画像データおよび高位階層画像データ）に
分割し、高位階層画像データをイントラピクチャとして
符号化する場合には、参照用データを用いて高位階層画
像データに関して符号化を行っている。しかし、データ
成分が少ない画像データをイントラピクチャとして符号
化する場合にも、このような参照用データを用いれば、
その符号化効率を向上させることが可能となる。

【００９３】また、本発明では、符号化対象の画像デー
タを異なる周波数成分ごとに分けた階層の画像データに
関して符号化を行っているが、例えば、色成分ごとに分
けた階層の画像データに関して符号化を行うようにして
もよい。

【００９４】

【発明の効果】以上説明したように、請求項１から５の
いずれか１項に記載の画像符号化装置、または請求項６
もしくは７に記載の画像符号化方法によれば、符号化対
象の画像データを複数の階層の画像データに分割し、分
割した複数の階層の画像データの中の所定の階層の画像
データをイントラピクチャとして符号化する場合、零以
外の参照用データを用いて所定の階層の画像データを符
号化するようにしたので、この所定の階層の画像データ
の符号化効率を向上させることができるという効果を奏
する。

【００９５】また、請求項８に記載の画像復号装置また
は請求項９に記載の画像復号方法によれば、符号化対象
の画像データが複数の階層の画像データに分割して符号
化されている場合、第１の符号化データを復号するとと
もに、この第１の符号化データとは異なる第２の符号化
データが零以外の参照用データを用いて符号化されたイ
ントラピクチャの画像データである場合にはこの参照用
データを用いて第２の符号化データを復号するようにし
たので、この第２の符号データから再現性のよい画像デ
ータを得ることができるという効果を奏する。

【００９６】また、請求項１０に記載の画像処理装置に
よれば、符号化対象の画像データを複数の階層の画像デ
ータに分割し、分割した複数の階層の画像データの中の
所定の階層の画像データをイントラピクチャとして符号
化する場合には零以外の参照用データを用いてこの所定
の階層の画像データを符号化するとともに、参照用デー
タを用いて符号化した所定の階層の画像データに関して
はこの参照用データを用いて復号を行うようにしたの
で、所定の階層の画像データの符号化効率を向上させる
ことができるとともに、再現性のよい所定の階層の画像
データを得ることができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る階層符号化方
式の画像符号化装置の構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係る階層符号化方
式の画像復号装置の構成を示すブロック図である。

【図３】図１に示した符号化回路の構成を示すブロック
図である。

【図４】図１に示した画像符号化装置による符号化処理
を示すフローチャートである。

【図５】図２に示した復号回路の構成を示すブロック図
である。

【図６】図２に示した復号回路の構成を示すブロック図
である。

【図７】図２に示した画像復号装置による復号処理を示
すフローチャートである。

【図８】本発明の第２の実施の形態に係る画像符号化装
置の符号化回路の構成を示すブロック図である。

【図９】本発明の第２の実施の形態に係る画像復号装置
の復号回路の構成を示すブロック図である。

【図１０】本発明の第３の実施の形態に係る画像符号化
装置の符号化回路の構成を示すブロック図である。

【図１１】従来の階層符号化方式の画像符号化装置の構
成を示すブロック図である。

【図１２】図１１に示した符号化回路の構成を示すブロ
ック図である。

【図１３】図１２に示した可変長符号化回路による符号
化処理を示すフローチャートである。

【符号の説明】 １…分割回路、１ａ…画像処理回路、１ｂ，１１…減算
回路、２，３…符号化回路、５，６…復号回路、７，１
９，４５…加算回路、１０…前処理回路、１２…ＤＣＴ
回路、１３…量子化回路、１４…可変長符号化回路、１
５…多重化回路、１６，４０…バッファ、１７，４３…
逆量子化回路、１８，４４…逆ＤＣＴ回路、２０，４７
…フレームメモリ、２１…動きベクトル検出回路、２
２，４８…動き補償回路、２３，２６，２８，４９，５
０，５２…スイッチ、２４…レート制御回路、２５，５
１…イントラピクチャ用フレームメモリ、２７…平均画
素値計算回路、２９…制御回路、４１、５３…分離回
路、４２…可変長復号回路、４６…後処理回路、５４…
判定回路。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 符号化対象の画像データを複数の階層の
   画像データに分割する分割手段と、 前記分割手段によって分割された複数の階層の画像デー
   タの中の所定の階層の画像データをイントラピクチャと
   して符号化する場合、零以外の参照用データを用いて前
   記所定の階層の画像データに関して符号化を行う符号化
   手段とを備えたことを特徴とする画像符号化装置。
2. 【請求項２】 前記符号化手段は、前記所定の階層の画
   像データから前記参照用データを減じて得られる差分画
   像データを符号化することを特徴とする請求項１記載の
   画像符号化装置。
3. 【請求項３】 さらに、 前記参照用データを記憶する記憶手段を備えたことを特
   徴とする請求項１記載の画像符号化装置。
4. 【請求項４】 さらに、 前記符号化対象の画像データの平均画素値を前記参照用
   データとして計算する計算手段を備えたことを特徴とす
   る請求項１記載の画像符号化装置。
5. 【請求項５】 前記複数の階層の画像データは、基本階
   層画像データと、前記符号化対象の画像データから前記
   基本階層画像データを減じて得られる高位階層画像デー
   タとを含み、前記所定の階層の画像データは、前記高位
   階層画像データであることを特徴とする請求項１記載の
   画像符号化装置。
6. 【請求項６】 符号化対象の画像データを複数の階層の
   画像データに分割するステップと、 前記符号化対象の画像データから分割された複数の階層
   の画像データの中の所定の階層の画像データをイントラ
   ピクチャとして符号化する場合、零以外の参照用データ
   を用いて前記所定の階層の画像データに関して符号化を
   行うステップとを含むことを特徴とする画像符号化方
   法。
7. 【請求項７】 前記所定の階層の画像データに関して符
   号化を行うステップは、 前記所定の階層の画像データから前記参照用データを減
   じて得られる差分画像データを符号化するステップを含
   むことを特徴とする請求項６記載の画像符号化方法。
8. 【請求項８】 符号化対象の画像データを複数の階層の
   画像データに分割して符号化することにより得られた符
   号化データを復号する装置であって、 第１の符号化データを復号する第１の復号手段と、 前記第１の符号化データとは異なる第２の符号化データ
   が零以外の参照用データを用いて符号化されたイントラ
   ピクチャの画像データである場合、前記参照用データを
   用いて前記第２の符号化データを復号する第２の復号手
   段とを備えたことを特徴とする画像復号装置。
9. 【請求項９】 符号化対象の画像データを複数の階層の
   画像データに分割して符号化することにより得られた符
   号化データを復号する方法であって、 第１の符号化データを復号するステップと、 前記第１の符号化データとは異なる第２の符号化データ
   が零以外の参照用データを用いて符号化されたイントラ
   ピクチャの画像データである場合、前記参照用データを
   用いて前記第２の符号化データを復号するステップとを
   含むことを特徴とする画像復号方法。
10. 【請求項１０】 符号化対象の画像データを複数の階層
    の画像データに分割し、分割した複数の階層の画像デー
    タの中の所定の階層の画像データをイントラピクチャと
    して符号化する場合、零以外の参照用データを用いて前
    記所定の階層の画像データを符号化する符号化手段と、 前記符号化手段によって符号化された前記所定の階層の
    画像データを前記参照用データを用いて復号する復号手
    段とを備えたことを特徴とする画像処理装置。