JP2003023634A - 画像符号化／復号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】コンテントの境界部を含むブロックについて解
像度変換を行うことができる画像符号化方法を提供す
る。 【解決手段】符号化すべき画像信号の方形状のブロック
毎に入力される画面内のコンテントの位置および形状を
表すマップ信号を符号化し、該マップ信号に従って画像
信号のうちコンテントの境界部を含むブロックについて
はコンテントの内部の画素値の平均値でコンテントの外
部の画素値を置き換える平均値挿入を行い、平均値挿入
により生成されたブロック内の平均値の信号を２次元直
交変換して直交変換係数を出力し、該直交変換係数を符
号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を高能率
に符号化して伝送または蓄積する画像符号化／復号化方
法及び装置に関する。

【０００２】

【従来の技術】従来の画像符号化装置、例えばＭＰＥＧ
で規定された動画像符号化装置では、図３２に示すよう
に入力された画像信号を８×８画素の正方ブロックに分
割した後、２次元離散コサイン変換（ＤＣＴ）を施して
符号化している。

【０００３】一方、J.Y.A.Wang et.al“Applying Mid-l
evel Vision Techniques for VideoData Compression a
nd Manipulation”，M.I.T.MediaLab.Tech.Report No.2
63,Feb.1994（文献１）には、図３３に示すように背景
と被写体（以後、コンテントと呼ぶ）を分けて符号化す
る技術が開示されている。このように背景やコンテント
を別々に符号化するために、コンテントの形状や画面内
の位置を表すアルファマップと呼ばれるマップ信号が用
意される。この符号化法によると、コンテント毎に画質
を変えたり、特定のコンテントのみを再生したりするこ
とができる。ただし、図３２に示したように画面内を正
方ブロックに分割して符号化する場合には、図３４に示
すようにコンテントの境界部を含むブロック、すなわち
コンテントの内部と外部にまたがるエッジブロックにつ
いては別個に処理を行う必要がある。

【０００４】また、画面内の統計的性質や被写体の形状
に合わせて、画面内を任意形状のブロックに分割して符
号化する方法が提案されている。このような任意形状の
直交変換方法は、“松田他、「ＤＣＴを用いた画像の可
変ブロックサイズ形状変換符号化の検討」、信学秋季全
大D-146,1992”（文献２）に記載されている。本明細書
では、この変換法をＡＳ−ＤＣＴと呼ぶことにする。Ａ
Ｓ−ＤＣＴでは、まず図３５（ａ）に示すように水平
（または垂直）方向に１次元のＤＣＴを施し、次に図３
５（ｂ）に示すように低域のＤＣＴ係数から順に並べ換
えた後、垂直（または水平）方向に１次元ＤＣＴを施し
ている。

【０００５】また、“松田他、「ＤＣＴを用いた画像の
可変ブロック形状変換符号化の性能評価」、PCSJ92,7-1
0,1992”（文献３）では、水平方向と垂直方向の変換の
順序として、実際に符号化を行ってみて符号化効率の高
い方の変換順序を選択することで符号化効率の改善を図
っている。

【０００６】さらに、“K.R.Rao/P.Yip 共著、安田浩／
藤原洋共訳「画像符号化技術−ＤＣＴとその国際標準
−」，7.3,pp.164〜165,オーム社”（文献４）には、２
次元ＤＣＴを利用して画像信号の解像度変換を実現する
方法が記載されている。すなわち、図３６に示すよう
に、２次元ＤＣＴによって得られたＤＣＴ係数の一部を
取り出し、次数の異なるＤＣＴで逆変換することで解像
度の変換が実現できる。

【０００７】

【発明が解決しようとする課題】グラフィックディスプ
レイのような画像システムにおいては、多様な画像効果
を実現するために、画面内のコンテントを解像度変換し
て縮小や拡大を行うことが望まれる。コンテントの形状
は種々のものがあり、これら任意形状のコンテントにつ
いて解像度変換を行う必要がある。しかし、例えば文献
２に記載された任意形状の直交変換法であるＡＳ−ＤＣ
Ｔでは、変換対象のブロックがエッジブロック、つまり
コンテントの境界部を含むブロックである場合には、解
像度変換を実現することができない。

【０００８】本発明の目的は、コンテントの境界部を含
むブロックについて解像度変換を行うことができる画像
符号化／復号化方法及び装置を提供することにある。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明では符号化側において符号化すべき画像信号
の方形状のブロック毎に入力される画面内のコンテント
の位置および形状を表すマップ信号を符号化し（第１の
符号化）、マップ信号に従って画像信号のうちコンテン
トの境界部を含むブロックについてはコンテントの内部
の画素値の平均値でコンテントの外部の画素値を置き換
える平均値挿入を行い、この平均値挿入により生成され
たブロック内の平均値の信号を２次元直交変換して直交
変換係数を出力し、この直交変換により出力された直交
変換係数を符号化する（第２の符号化）。

【００１０】この場合、平均値挿入において、コンテン
トの外部の画素値をコンテントの外部の画素値の平均値
がコンテントの内部の画素値の平均値と一致する条件の
下で予測するようにしてもよい。

【００１１】一方、復号化においては画像信号の方形状
のブロック毎に入力される画面内のコンテントの位置お
よび形状を表す符号化されたマップ信号を復号し（第１
の復号化）、この第１の復号化により復号されたマップ
信号を解像度変換し、符号化された直交変換係数を復号
し（第２の復号化）、この第２の復号化により復号され
た直交変換係数から前記解像度変換手段により解像度変
換されたマップ信号に基づいて所定解像度の画像を再生
するために必要な直交変換係数を選択し、選択された直
交変換係数を２次元逆直交変換し、解像度変換されたマ
ップ信号に基づいて、コンテントの境界部を含むブロッ
クについてはコンテントの内部の画素値を取り出すこと
により解像度変換された再生画像信号を得る。

【００１２】このように本発明では、符号化側において
マップ信号を符号化すると共に、マップ信号に従って画
像信号のうちコンテントの境界部を含むブロックについ
てはコンテントの内部の画素値の平均値でコンテントの
外部の画素値を置き換えて出力し、このブロック内の平
均値の信号を２次元直交変換してその直交変換係数を符
号化し、復号化側においては復号し解像度変換したマッ
プ信号に基づいて、復号された直交変換係数から所定解
像度の画像を再生するために必要な直交変換係数を選択
すると共に、その２次元逆直交変換結果からエッジブロ
ックについてはコンテントの内部の画素値を取り出して
解像度変換された再生画像信号を得ることにより、任意
形状のコンテントを含むエッジブロックについても解像
度変換を行うことができる。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。 （第１の実施形態）図１は、第１の実施形態に係る画像
符号化装置の構成を示すブロック図である。入力の画像
信号１０は、図示しないブロック化回路により複数の正
方ブロックに分割された後、減算回路１００に供給され
る。減算回路１００では、動き補償予測回路１１０より
供給される動き補償予測信号と入力画像信号１０との差
分である予測誤差信号３０が求められ、直交変換回路２
００に供給される。

【００１４】直交変換回路２００では、予測誤差信号３
０をブロック毎に供給されるアルファマップ信号２０に
従って直交変換係数に変換した後、量子化回路１２０に
供給する。量子化回路１２０で量子化された変換係数
は、可変長符号化回路１４０により符号化されると共
に、逆量子化回路１３０によって逆量子化される。逆量
子化された変換係数４０は、逆直交変換回路３００によ
って逆変換された後、加算回路１５０において動き補償
予測回路１１０より供給される動き補償予測信号と加算
される。

【００１５】加算回路１５０の出力である局部復号画像
信号は、動き補償予測回路１１０内のフレームメモリに
蓄えられる。可変長符号化回路１４０で符号化された変
換係数と、アルファマップ符号化回路１６０により符号
化されたアルファマップ信号は、多重化回路１７０にお
いて動きベクトル情報等のサイド情報と共に多重化さ
れ、符号化ビットストリーム５０として出力される。な
お、アルファマップ信号は二値画像の符号化法、例えば
ＭＭＲ（Modified Modified Read）により符号化され
る。

【００１６】次に、図１における直交変換回路２００お
よび逆直交変換回路３００について詳細に説明する。図
２および図３は、それぞれ直交変換回路２００および逆
直交変換回路３００の詳細な構成を示すブロック図であ
る。

【００１７】図２に示す直交変換回路２００はスイッチ
回路２１０、ＡＳ−ＤＣＴ回路２２０およびＤＣＴ回路
２３０からなり、アルファマップ信号２０はスイッチ回
路２１０とＡＳ−ＤＣＴ回路２２０に供給される。スイ
ッチ回路２１０では、入力される予測誤差信号３０のブ
ロックが図３４中に示した外部ブロック、内部ブロッ
ク、エッジブロックのいずれかであるかを判定し、内部
ブロックである場合には予測誤差信号３０をＤＣＴ回路
２３０に供給し、エッジブロックつまりコンテントの境
界部を含むブロックである場合には予測誤差信号３０を
ＡＳ−ＤＣＴ回路２２０に供給する。なお、該ブロック
が外部ブロックである場合には符号化しないか、または
他の方法で符号化するものとする。

【００１８】図４はＡＳ−ＤＣＴ回路２２０の構成を示
す図であり、図６はＡＳ−ＤＣＴの変換手順の例であ
る。図６に示すように、入力されたエッジブロック中で
斜線で示されるコンテントの内部に含まれる画素を最初
に並べ換え回路２２１により左端に寄せ集める。次に、
ＤＣＴ回路２２２において斜線で示される画素について
水平方向に１次元ＤＣＴを行う。次に、並べ換え回路２
２３において網線で示される変換係数を上端に寄せ集め
る。最後に、ＤＣＴ回路２２４において網線で示される
変換係数について垂直方向に１次元ＤＣＴを行う。な
お、並べ換えおよびＤＣＴの順序を入れ替えて処理する
ことも可能である。

【００１９】図３に示す逆直交変換回路３００は、スイ
ッチ回路３１０、ＡＳ−ＩＤＣＴ回路３２０およびＩＤ
ＣＴ回路３３０からなり、アルファマップ信号２０はス
イッチ回路３１０とＡＳ−ＩＤＣＴ回路３２０に供給さ
れる。

【００２０】図５は、ＡＳ−ＩＤＣＴ回路３２０の構成
を示す図であり、ＩＤＣＴ回路３２１、並べ換え回路３
２２、ＩＤＣＴ回路３２３および並べ換え回路３２４か
らなる。このように、逆直交変換回路３００では直交変
換回路２００と逆の操作が行われる。

【００２１】次に、本実施形態における画像復号化装置
について説明する。図７は、図１の画像符号化装置に対
応する解像度変換機能を有する画像復号化装置の構成を
示すブロック図である。入力される符号化ビットストリ
ーム６０は、分離化回路４００において変換係数やアル
ファマップ信号の成分に分離される。変換係数の符号は
可変長復号回路４１０により復号された後、逆量子化回
路４２０により逆量子化される。一方、アルファマップ
信号はアルファマップ復号化回路４３０により復号され
た後、解像度変換回路４４０によって所望の解像度に変
換される。

【００２２】解像度変換回路４４０は、二値画像信号で
あるアルファマップ信号を解像度変換する。このような
２値画像の解像度変換法としては、例えば、“画像処理
ハンドブック、ｐ．６３０、昭晃堂”（文献５）に記載
されている拡大縮小法を用いることができる。係数選択
回路４５０では、解像度変換回路４４０で解像度が変換
されたアルファマップ信号を前述したＡＳ−ＤＣＴの変
換手順と同様に、図８に示すように水平方向に並べ換え
た後、垂直方向に並べ換えることで、該解像度の再生画
像を得るのに必要な変換係数の帯域を求める。なお、図
８は解像度を水平・垂直共に５／８に解像度変換した例
である。

【００２３】次に、逆量子化回路４２０より供給される
変換係数から必要な帯域の係数を選択し、逆直交変換回
路４６０に供給する。逆直交変換回路４６０では、内部
ブロックの変換係数については５×５の２次元ＩＤＣＴ
を施し、エッジブロックの変換係数については解像度変
換回路４４０より供給される解像度変換されたアルファ
マップ信号に従ってＡＳ−ＩＤＣＴを施し、逆変換した
信号を加算回路７４０に供給する。加算回路４７０で
は、動き補償回路４８０より供給される動き補償予測信
号と逆直交変換回路４６０から供給される信号とを加算
して得られた再生画像信号７０を出力する。

【００２４】（第２の実施形態）次に、図９〜図１５を
用いて第２の実施形態を説明する。図９は、本実施形態
に係る画像符号化装置の構成を示すブロック図である。
本実施形態において、直交変換回路２５０および逆直交
変換回路３５０は、図２中のＡＳ−ＤＣＴ回路２２０お
よび図３中のＡＳ−ＩＤＣＴ回路３２０の変換の順序を
切り換えられるようにしたＡＳ−ＤＣＴ回路およびＡＳ
−ＩＤＣＴ回路を構成要素として有する。そして、予測
誤差信号３０の水平および垂直方向のそれぞれの相関を
相関検出回路１８０により検出し、相関の高い方向を表
す信号（切り換え信号）２１を直交変換回路２５０、逆
直交変換回路３５０および多重化回路１７０に供給す
る。相関検出回路１８０において相関を検出する手段と
しては、例えば水平方向と垂直方向とで各々隣接画素間
の２乗誤差を計算する方法がある。

【００２５】図１０および図１１は、それぞれ直交変換
回路２５０および逆直交変換回路３５０の詳細な構成を
示すブロック図である。図１０に示す直交変換回路２５
０は図２と同様に、スイッチ回路２１０、ＡＳ−ＤＣＴ
回路２６０およびＤＣＴ回路２３０からなり、アルファ
マップ信号２０はスイッチ回路２１０とＡＳ−ＤＣＴ回
路２６０に供給され、切り換え信号２１はＡＳ−ＤＣＴ
回路２６０に供給される。図１１に示す逆直交変換回路
３５０はスイッチ回路３１０、ＡＳ−ＩＤＣＴ回路３６
０およびＩＤＣＴ回路３３０からなり、アルファマップ
信号２０はスイッチ回路３１０とＡＳ−ＩＤＣＴ回路３
６０に供給され、切り換え信号２１はＩＤＣＴ回路３３
０に供給される。

【００２６】図１２および図１３は、それぞれ図１０中
のＡＳ−ＤＣＴ回路２６０および図１１中のＡＳ−ＩＤ
ＣＴ回路３６０の構成を示すブロック図であり、図１４
はＡＳ−ＤＣＴ回路２６０およびＡＳ−ＩＤＣＴ回路３
６０において、変換の順序を切り換える方法を詳細に説
明する図である。変換の順序は、図１２および図１３内
の第１のスイッチ回路２６１，３６１および第２のスイ
ッチ回路２６２，３６２を図１４図（ａ）および（ｂ）
のように切り換えることで変更される。具体的には、ス
イッチ回路２６１，２６２および３６１，３６２は切り
換え信号２１により水平方向の相関が高い場合には図１
４（ａ）のように切り換えられ、垂直方向の相関が高い
場合には図１４（ｂ）のように切り換えられる。なお、
切り換え信号２１はブロック毎に１ビットで符号化して
変更してもよいし、フレーム毎に１ビットで符号化して
変更しても良い。

【００２７】次に、本実施形態における画像復号化装置
について説明する。図１５は、図９の画像符号化装置に
対応する解像度変換機能を有する画像復号化装置の構成
を示すブロック図である。図７に示した第１の実施形態
の画像復号化装置と異なる点は、入力される符号化ビッ
トストリーム６０から分離化回路４００において分離さ
れた変換順序の切り換え信号６１を逆直交変換回路４６
１に供給しているところである。逆直交変換回路４６１
は、図１１に示す画像符号化装置内の逆直交変換回路３
５０と同様に構成され、切り換え信号６１により図１４
で説明したように逆変換の順序を切り換えている。

【００２８】次に、図１６および図１７を用いてＡＳ−
ＤＣＴの変換係数のスキャン法の具体例を説明する。一
般に、正方ブロックのＤＣＴ係数を符号化する場合に
は、ジグザグスキャンした後、係数の大きさとゼロラン
レングスの合成事象を２次元可変長符号化を用いて符号
化している（「画像符号化技術−ＤＣＴとその国際標準
−」、pp.288〜290 参照）。一方、ＡＳ−ＤＣＴではブ
ロックの形状により、図１６に示すように変換係数の分
布が水平方向ｈや垂直方向ｖに偏在する場合がある。従
って、本実施形態ではアルファマップ信号により特定で
きる変換係数の分布に適合させてスキャンの順序を画像
符号化装置および画像復号化装置双方においてそれぞれ
決定している。

【００２９】図１６は、スキャン順序決定手順の例であ
る。まず、アルファマップ信号２０（０：コンテント外
部、１：コンテント内部）を水平方向ｈおよび垂直方向
ｖに並べ換え、変換係数の分布（ｍａｐ［ｖ］［ｈ］：
ｖ、ｈ＝０〜ｓｉｚｅ−１）を得る。次に、以下にＣ言
語で記述する手順により、スキャン順序（ｏｒｄｅｒ
［ｖ］［ｈ］：ｖ、ｈ＝０〜ｓｉｚｅ−１）を決定す
る。

【００３０】 ｃｎｔ＝０； ｆｏｒ（ｓ＝０； ｓ＜２＊ｓｉｚｅ−１； ｓ^＋＋){ ｆｏｒ（ｖ＝０； ｖ＜ｓｉｚｅ； ｖ^＋＋） ｆｏｒ（ｈ＝０； ｈ＜ｓｉｚｅ； ｈ^＋＋){ ｓｅｑ＝ ｉ ＋ ｊ； ｉｆ（ｓ ＝＝ ｓｅｑ ＆＆ ｍａｐ［ｖ］［ｈ］）｛ ｃｎｔ^＋＋； ｏｒｄｅｒ［ｖ］［ｈ］ ＝ ｃｎｔ； } ｝ ｝ 更に、符号化データにスケーラブル機能を実現するため
に数々のスキャン方法が提案されている（「画像符号化
技術−ＤＣＴとその国際標準−」、図7.144 参照）。

【００３１】図１７は、ＡＳ−ＤＣＴにおけるスケーラ
ブル機能を実現するためのスキャン方法決定回路のブロ
ック図である。解像度変換回路４４０においては、アル
ファマップ信号８０を解像度変換し（例えば、水平・垂
直方向共に１／２）、第１の水平・垂直並べ換え回路４
４１に供給する。また、第２の水平・垂直並べ換え回路
４４２には解像度変換されないアルファマップ信号８０
が供給される。水平・垂直並べ換え回路４４１，４４２
では、図１６に示されているような並べ換えが行われ、
その結果（ｍａｐ［ｖ］［ｈ］）が各々第１のスキャン
順序決定回路４４４および排他的論理和計算回路４４３
に供給される。

【００３２】第１のスキャン順序決定回路４４４では、
図１６に示した手順で解像度変換されたアルファマップ
信号のスキャン順序（低域成分の順序）を決定し、その
スキャン順序の情報８１を第２のスキャン順序決定回路
４４５に供給する。排他的論理和計算回路４４３では、
第１の水平・垂直並べ換え回路４４１より供給される低
解像度のｍａｐ［ｖ］［ｈ］と、第２の水平・垂直並べ
換え回路４４２より供給される高解像度のｍａｐ［ｖ］
［ｈ］との差分がとられ、この差分８２が第２のスキャ
ン順序決定回路４４５に供給される。

【００３３】第２のスキャン順序決定回路４４５では、
第１のスキャン順序決定回路４４４で決定された低域成
分のスキャン順序に引き続いて、高域成分スキャン順序
が決定され、低域と高域成分を合わせたスキャン順序を
示す情報８３が出力される。このアルゴリズムは、更に
多段階に分割してスキャン順序を決定する場合にも適用
可能である。

【００３４】（第３の実施形態）次に、図１８〜図２１
を用いて第３の実施形態を説明する。図１８は、本実施
形態に係る画像符号化装置の構成を示すブロック図であ
る。平均値分離回路５００では、アルファマップ信号２
０に従って予測誤差信号３０がエッジブロックの信号で
あれば、平均値分離回路５００でコンテントの内部の信
号（図１９の斜線部）の平均値を算出して分離し、コン
テントの外部の信号は全て０にする。この処理により、
図１９の中央の正方ブロックのブロック内平均値は０と
なる。このブロック内平均値０の信号３２をＤＣＴ回路
２３０に供給して２次元ＤＣＴを施すと、図１９の右側
の正方ブロックのようにＤＣ成分は０となる。この際、
コンテント外部の信号を平均値が０となる条件の下で、
外挿した信号に置き換えてもよい。

【００３５】平均値分離回路５００において算出された
平均値３１は、ＤＣＴ回路２３０より供給されるＤＣＴ
の交流変換係数と共に量子化回路１２１に供給され、量
子化された後に逆量子化回路１３１および可変長符号化
回路１４０に供給される。逆量子化回路１３１では、平
均値および交流変換係数を逆量子化する。量子化された
平均値４１は平均値合成回路５１０に、また量子化され
た交流変換係数４２は逆ＤＣＴ回路３３０にそれぞれ供
給される。

【００３６】平均値合成回路５１０では、逆ＤＣＴ回路
３３０において逆変換された信号をアルファマップ信号
２０に従って、コンテントの内部の信号に平均値４１を
合成することで再生画像信号を得る。この際、コンテン
トの外部の信号は、例えば０にリセットしておく。

【００３７】次に、本実施形態における画像復号化装置
について説明する。図２０は、図１８の画像符号化装置
に対応する解像度変換機能を有する画像復号化装置の構
成を示すブロック図であり、図２１は解像度変換された
信号を再生する手順を示す図である。図２０において、
逆量子化回路４２１では平均値および交流変換係数を逆
量子化し、平均値６２を介して平均値合成回路５１１
に、交流変換係数６３を係数選択回路４５１へそれぞれ
供給する。逆ＤＣＴ回路４６２では、係数選択回路４５
１において選択された所望の解像度を得るのに必要な帯
域の変換係数に対してＤＣＴを施す（図２１の例では、
５×５の２次元ＩＤＣＴ）。

【００３８】平均値合成回路５１１では、逆ＤＣＴ回路
４６２によって逆変換された信号を解像度変換回路４４
０より供給される解像度変換されたアルファマップ信号
に従って、コンテント内部の信号に平均値６２を合成す
ることで、再生画像信号を得る。

【００３９】（第４の実施形態）次に、図２２〜図２５
を用いて第４の実施形態を説明する。図２２は、本実施
形態に係る画像符号化装置の構成を示すブロック図であ
る。平均値算出回路５０１では、アルファマップ信号２
０に従って予測誤差信号３０がエッジブロックの信号で
あれば、コンテントの内部の画素（図２３の斜線部）の
平均値ａを算出してし、平均値挿入回路５０２に供給す
る。この平均値挿入回路５０２では、図２３に示すよう
にコンテントの外部の画素値を全てコンテントの内部の
画素値の平均値ａにする処理を行う（平均値挿入）。こ
の処理により、図２３の中央の正方ブロックのブロック
内平均値はａとなる。このブロック内平均値ａの信号を
ＤＣＴ回路２３０に供給して２次元ＤＣＴを施すと、図
２３の右側の正方ブロックのようにＤＣ成分はＡ（＝８
×ａ）となる。この際、コンテント外部の信号を平均値
がａとなる条件の下で、外挿した信号に置き換えてもよ
い。

【００４０】平均値挿入回路５０２の出力はＤＣＴ回路
２３０に供給され、ＤＣＴ係数に変換された後、量子化
回路１２０に供給され、量子化される。量子化された変
換係数は、逆量子化回路１３０および可変長符号化回路
１４０に供給される。逆量子化回路１３０では、量子化
回路１２０より供給される変換係数を逆量子化し、逆Ｄ
ＣＴ回路３３０に供給する。

【００４１】画素分離回路５１２では、逆ＤＣＴ回路３
３０において逆変換された信号をアルファマップ信号２
０に従って、コンテントの内部の画素信号を分離するこ
とで再生画像信号を得る。この際、コンテントの外部の
信号は、例えば０にリセットしておく。

【００４２】次に、本実施形態における画像復号化装置
について説明する。図２４は、図２２の画像符号化装置
に対応する解像度変換機能を有する画像復号化装置の構
成を示すブロック図であり、図２５は解像度変換された
信号を再生する手順を示す図である。図２４において、
逆量子化回路４２０では変換係数を逆量子化して係数選
択回路４５１へ供給する。逆ＤＣＴ回路４６２では、係
数選択回路４５１において選択された所望の解像度を得
るのに必要な帯域の変換係数に対してＤＣＴを施す（図
２５の例では、５×５の２次元ＩＤＣＴ）。

【００４３】画素分離回路５１３では、逆ＤＣＴ回路４
６２によって逆変換された信号を解像度変換回路４４０
より供給される解像度変換されたアルファマップ信号に
従って、コンテント内部の画素の信号を分離すること
で、再生画像信号を得る。

【００４４】（第５の実施形態）次に、図２６〜図３０
を用いて第５の実施形態を説明する。本実施形態は、ベ
クトル量子化（ＶＱ）による任意形状ブロックの符号化
法を用いた例である。図２２は、本実施形態に係る画像
符号化装置の構成を示すブロック図であり、図２３はエ
ッジブロックにおける符号化手順を示す図である。

【００４５】図２６において、ベクトル量子化器６００
は予測誤差信号３０とコードブックに蓄えられているコ
ードベクトルとをマッチングして、予測誤差信号３０と
最も相関の高いコードベクトルを選択する。この際、図
２７に示したようにエッジブロックに関しては、アルフ
ァマップ信号２０に従ってコンテントの内部の信号（図
の斜線部）のみでコードベクトルとのマッチングを行
い、最も相関の高いコードベクトルのインデックス（図
２７の例では、“２”）を出力する。

【００４６】符号化回路１４１では、ベクトル量子化器
６００より供給されるインデックスを可変長あるいは固
定長で符号化して、多重化回路１７０に出力する。逆ベ
クトル量子化器６１０においては、図２８に示すように
ベクトル量子化器６００より供給されるインデックスに
対応するコードベクトルから、アルファマップ信号２０
に従ってコンテントの内部の信号（図の斜線部）を切り
出して再生画像信号を出力する。

【００４７】次に、本実施形態における画像復号化装置
について説明する。図２９は、図２６の画像符号化装置
に対応する解像度変換機能を有する画像復号化装置の構
成を示すブロック図であり、図３０は逆ベクトル量子化
器６２０に設けられるコードブックである。入力される
符号化ビットストリーム６０から分離回路４００により
分離されたアルファマップ信号は、アルファマップ復号
化回路４３０により復号され、解像度変換回路４４０に
より各サブバンド画像信号の解像度に解像度変換され
る。一方、分離回路４００により分離されたインデック
スは復号化回路４１１により復号され、逆ベクトル量子
化器６２０に供給される。

【００４８】逆ベクトル量子化器６２０では、図３０に
示すようにインデックスに対応する多重解像度表現され
たコードベクトルの中から所望の解像度のコードベクト
ルを選択し、解像度変換回路４４０より供給される解像
度変換されたアルファマップ信号に従って、コンテント
の内部の信号（図の斜線部）を切り出す。この信号に基
づいて、加算回路４７０および動き補償回路４８０によ
り再生画像信号７０が得られる。

【００４９】（第６の実施形態）次に、図３１〜図３４
を用いて第６の実施形態を説明する。図３１および図３
２は、画像信号のサブバンド分割を説明する図である。
入力画像信号は、帯域分割とダウンサンプリングにより
サブバンド分割される。図３１は、入力画像を４帯域
（ＬＬ，ＬＨ，ＨＬ，ＨＨ）や、帯域ＬＬを更に４帯域
に分割して７帯域にサブバンド分割した例である。ま
た、図３２は４帯域にサブバンド分割した際の各成分の
空間周波数軸上における配置である。ここでは、入力画
像信号を４帯域にサブバンド分割した例について述べ
る。

【００５０】図３３は、本実施形態に係る画像符号化装
置の構成を示すブロック図であり、入力画像信号１０は
サブバンド分割回路７００において複数のサブバンド画
像信号に分割された後、任意形状符号化回路７１０，７
１１，７１２，７１３に入力される。任意形状符号化回
路７１０においてはサブバンド画像信号ＬＬ、任意形状
符号化回路７１１においてはサブバンド画像信号ＬＨ、
任意形状符号化回路７１２においてはサブバンド画像信
号ＨＬ、任意形状符号化回路７１３においてはサブバン
ド画像信号ＨＨをそれぞれ第１〜第４の実施形態のいず
れかで説明した任意形状の符号化法により符号化する。
この際、アルファマップ信号は解像度変換回路４４６に
より各サブバンド画像の解像度に変換され、任意形状符
号化回路７１０，７１１，７１２，７１３にそれぞれ供
給される。符号化されたアルファマップ信号およびサブ
バンド画像信号は多重化回路１７０を介して符号化ビッ
トストリーム５０として出力される。

【００５１】図３４は、図３３の画像符号化装置に対応
する本実施形態に係る画像復号化装置の構成を示すブロ
ック図である。入力される符号化ビットストリーム６０
から分離回路４００により分離されたアルファマップ信
号は、アルファマップ復号化回路４３０により復号さ
れ、解像度変換回路４４６により各サブバンド画像信号
の解像度に解像度変換される。

【００５２】一方、分離回路４００により分離されたサ
ブバンド画像信号は任意形状復号化回路７２０，７２
１，７２２，７２３に入力され、解像度変換回路４４６
から供給されるアルファマップ信号に従って、任意形状
復号化回路７２０においてはサブバンド画像信号ＬＬ、
任意形状復号化回路７２１においてはサブバンド画像信
号ＬＨ、任意形状復号化回路７２２においてはサブバン
ド画像信号ＨＬ、任意形状復号化回路７２３においては
サブバンド画像信号ＨＨがそれぞれ第１〜第４の実施形
態で説明した任意形状の復号化法により再生される。す
なわち、例えばエッジブロックについては、サブバンド
画像信号のうちコンテントの内部の信号のみが復号化さ
れる。

【００５３】再生された各サブバンド画像信号は、サブ
バンド合成回路７３０において所定解像度を得るために
必要なサブバンド画像信号のみが合成され、再生画像信
号７０として出力される。ここで、例えば再生画像信号
７０としてサブバンド画像ＬＬのみを出力すれば、低解
像度の画像が再生される。

【００５４】次に、本発明の応用例として、本発明によ
る画像符号化／復号化装置を適用した画像伝送システム
の実施形態を図３５を用いて説明する。パーソナルコン
ピュータ（ＰＣ）１００１に備えら付けられたカメラ１
００２より入力された画像信号は、ＰＣ１００１に組み
込まれた画像符号化装置によって符号化される。この画
像符号化装置から出力される符号化データは、他の音声
やデータの情報と多重化された後、無線機１００３によ
り無線で送信され、他の無線機１００４によって受信さ
れる。無線機１００４で受信された信号は、画像信号の
符号化データおよび音声やデータの情報に分解される。
これらのうち、画像信号の符号化データはワークステー
ション（ＥＷＳ）１００５に組み込まれた画像復号化装
置によって復号され、ＥＷＳ１００５のディスプレイに
表示される。

【００５５】一方、ＥＷＳ１００５に備え付けられたカ
メラ１００６より入力された画像信号は、ＥＷＳ１００
６に組み込まれた画像符号化装置を用いて上記と同様に
符号化される。符号化データは、他の音声やデータの情
報と多重化され、無線機１００４により無線で送信さ
れ、無線機１００３によって受信される。無線機１００
３によって受信された信号は、画像信号の符号化データ
および音声やデータの情報に分解される。これらのう
ち、画像信号の符号化データはＰＣ１００１に組み込ま
れた画像復号化装置によって復号され、ＰＣ１００１の
ディスプレイに表示される。なお、データの送受信は無
線でなく、有線伝送系を用いても構わない。

【００５６】

【発明の効果】以上説明したように、本発明によれば任
意形状のコンテントを含むエッジブロックについて解像
度変換を行うことができる。

【図面の簡単な説明】

【図１】第１の実施形態に係る画像符号化装置の構成を
示すブロック図

【図２】図１における直交変換回路の構成を示すブロッ
ク図

【図３】図１における逆直交変換回路の構成を示すブロ
ック図

【図４】図２におけるＡＳ−ＤＣＴ回路の構成を示すブ
ロック図

【図５】図２におけるＡＳ−ＩＤＣＴ回路の構成を示す
ブロック図

【図６】ＡＳ−ＤＣＴの変換手順を示す図

【図７】同実施形態に係る画像復号化装置の構成を示す
ブロック図

【図８】同実施形態における解像度変換手順を示す図

【図９】第２の実施形態に係る画像符号化装置の構成を
示すブロック図

【図１０】図９における直交変換回路の構成を示すブロ
ック図

【図１１】図９における逆直交変換回路の構成を示すブ
ロック図

【図１２】図１０におけるＡＳ−ＤＣＴ回路の構成を示
すブロック図

【図１３】図１１におけるＡＳ−ＩＤＣＴ回路の構成を
示すブロック図

【図１４】同実施形態におけるＡＳ−ＤＣＴの変換順序
切り換え動作を示す図

【図１５】同実施形態に係る画像復号化装置の構成を示
すブロック図

【図１６】第１および第２の実施形態におけるスキャン
順序決定手順の例を示す図

【図１７】ＡＳ−ＤＣＴにおけるスケーラブル機能を実
現するためのスキャン方法決定回路のブロック図

【図１８】第３の実施形態に係る画像符号化装置の構成
を示すブロック図

【図１９】同実施形態に係る画像符号化装置における平
均値分離手順を示す図

【図２０】同実施形態に係る画像復号化装置の構成を示
すブロック図

【図２１】同実施形態に係る画像復号化装置における平
均値合成手順を示す図

【図２２】第４の実施形態に係る画像符号化装置の構成
を示すブロック図

【図２３】同実施形態に係る画像符号化装置における平
均値挿入手順を示す図

【図２４】同実施形態に係る画像復号化装置の構成を示
すブロック図

【図２５】同実施形態に係る画像復号化装置における画
素分離手順を示す図

【図２６】第４の実施形態に係る画像符号化装置の構成
を示すブロック図

【図２７】図２６におけるベクトル量子化器での任意形
状ブロックのベクトル量子化法を説明するための図

【図２８】図２６における逆ベクトル量子化器での任意
形状ブロックの逆ベクトル量子化法を説明するための図

【図２９】同実施形態に係る画像復号化装置の構成を示
すブロック図

【図３０】図２９における逆ベクトル量子化器に設けら
れるコードブックを示す図

【図３１】第５の実施形態に係る画像信号のサブバンド
分割を説明する図

【図３２】同実施形態において画像信号を４帯域にサブ
バンド分割した際の各成分の空間周波数軸上における配
置を示す図

【図３３】同実施形態に係る画像符号化装置の構成を示
すブロック図

【図３４】同実施形態に係る画像復号化装置の構成を示
すブロック図

【図３５】本発明による画像符号化装置および画像復号
化装置が適用される画像伝送システムの一例を示す図

【図３６】従来の画像符号化装置の原理説明図

【図３７】従来の背景とコンテントを分けて符号化する
方法を説明するための図

【図３８】従来のコンテントベース符号化を説明する図

【図３９】従来の任意形状直交変換法を説明する図

【図４０】直交変換を用いて解像度変換を実現する方法
を説明する図

【符号の説明】

１，１００…減算回路 ２，１１０，４８０…動き補償予測回路 ３，２２２，２２４，２３０…離散コサイン変換回路 ４，１２０，１２１…量子化回路 ５，１３０，１３１，４２０，４２１…逆量子化回路 ６，３２１，３２３，３３０，４６２…逆離散コサイン
変換回路 ７，１４０…可変長符号化回路 ８，１５０，４７０…加算回路 ９，１７０…多重化回路 １０…画像信号 ２０…アルファマップ信号 ３０…予測誤差信号 ４０…変換係数 ５０…符号化ビットストリーム ６０…符号化ビットストリーム ７０…再生画像信号 ８０…アルファマップ信号 １４１…符号化回路 １６０…アルファマップ符号化回路 ２００，２５０…直交変換回路 ２１０，３１０…スイッチ回路 ２２０，２６０…ＡＳ−ＤＣＴ回路 ３００，３５０…逆直交変換回路 ３２０，３６０…逆ＡＳ−ＤＣＴ回路 ４００…分離化回路 ４１０…可変長復号化回路 ４３０…アルファマップ復号化回路 ４４０…解像度変換回路 ４４１，４４２…水平・垂直並べ換え回路， ４４３…排他的論理和計算回路 ４４４，４４５…スキャン順序決定回路 ４５０，４５１…係数選択回路 ５００…平均値分離回路 ５１０，５１１…平均値合成回路 ５０１…平均値算出回路 ５０２…平均値挿入回路 ５１２，５１３…画素分離回路 ６００…ベクトル量子化回路 ６１０，６２０…逆ベクトル量子化回路 ７００…サブバンド分割回路 ７１０，７１１，７１２，７１３…任意形状符号化回路 ７２０，７２１，７２２，７２３…任意形状復号化回路 ７３０…サブバンド合成回路

フロントページの続き Ｆターム(参考） 5B057 CA08 CA12 CA18 CB08 CB12 CB16 CD05 CG02 CG05 CH09 5C059 KK38 LB05 MA00 MA23 MA24 MA32 MB16 MC11 MC23 MC30 MC32 MC38 MD04 ME01 PP28 TA01 TA30 TA41 TB08 TB14 TB15 TC02 TC34 TC42 TD03 UA02 UA05 5C078 AA04 BA57 CA12 CA34 DA01 DB04 5J064 AA01 BA16 BB03 BB04 BC21 BC23 BC25 BD01

Claims (6)

【特許請求の範囲】
1. 【請求項１】符号化すべき画像信号の方形状のブロック
   毎に入力される画面内のコンテントの位置および形状を
   表すマップ信号を符号化する第１の符号化ステップと、 前記マップ信号に従って前記画像信号のうちコンテント
   の境界部を含むブロックについてはコンテントの内部の
   画素値の平均値でコンテントの外部の画素値を置き換え
   る平均値挿入ステップと、 前記平均値挿入ステップにより生成されたブロック内の
   平均値の信号を２次元直交変換して直交変換係数を出力
   する直交変換ステップと、 前記直交変換ステップにより出力された直交変換係数を
   符号化する第２の符号化ステップとを備えたことを特徴
   とする画像符号化方法。
2. 【請求項２】前記平均値挿入ステップは、前記コンテン
   トの外部の画素値を前記コンテントの外部の画素値の平
   均値が前記コンテントの内部の画素値の平均値と一致す
   る条件の下で予測する請求項１記載の画像符号化方法。
3. 【請求項３】画像信号の方形状のブロック毎に入力され
   る画面内のコンテントの位置および形状を表す符号化さ
   れたマップ信号を復号する第１の復号化ステップと、 前記第１の復号化ステップにより復号されたマップ信号
   を解像度変換する解像度変換ステップと、 符号化された直交変換係数を復号する第２の復号化ステ
   ップと、 前記第２の復号化ステップにより復号された直交変換係
   数から前記解像度変換ステップにより解像度変換された
   マップ信号に基づいて所定解像度の画像を再生するため
   に必要な直交変換係数を選択する係数選択ステップと、 前記係数選択ステップにより選択された直交変換係数を
   ２次元逆直交変換する逆直交変換ステップと、 前記解像度変換ステップにより解像度変換されたマップ
   信号に基づいて、コンテントの境界部を含むブロックに
   ついては前記逆直交変換ステップによる２次元逆直交変
   換結果からコンテントの内部の画素値を取り出すことに
   より解像度変換された再生画像信号を得る再生ステップ
   とを備えたことを特徴とする画像復号化方法。
4. 【請求項４】符号化すべき画像信号の方形状のブロック
   毎に入力される画面内のコンテントの位置および形状を
   表すマップ信号を符号化する第１の符号化手段と、 前記マップ信号に従って前記画像信号のうちコンテント
   の境界部を含むブロックについてはコンテントの内部の
   画素値の平均値でコンテントの外部の画素値を置き換え
   る平均値挿入手段と、 前記平均値挿入手段により生成されたブロック内の平均
   値の信号を２次元直交変換して直交変換係数を出力する
   直交変換手段と、 前記直交変換手段から出力される直交変換係数を符号化
   する第２の符号化手段とを備えたことを特徴とする画像
   符号化装置。
5. 【請求項５】前記平均値挿入手段は、前記コンテントの
   外部の画素値を前記コンテントの外部の画素値の平均値
   が前記コンテントの内部の画素値の平均値と一致する条
   件の下で予測する請求項４記載の画像符号化装置。
6. 【請求項６】画像信号の方形状のブロック毎に入力され
   る画面内のコンテントの位置および形状を表す符号化さ
   れたマップ信号を復号する第１の復号化手段と、 前記第１の復号化手段により復号されたマップ信号を解
   像度変換する解像度変換手段と、 符号化された直交変換係数を復号する第２の復号化手段
   と、 前記第２の復号化手段により復号された直交変換係数か
   ら前記解像度変換手段により解像度変換されたマップ信
   号に基づいて所定解像度の画像を再生するために必要な
   直交変換係数を選択する係数選択手段と、 前記係数選択手段により選択された直交変換係数を２次
   元逆直交変換する逆直交変換手段と、 前記解像度変換手段により解像度変換されたマップ信号
   に基づいて、コンテントの境界部を含むブロックについ
   ては前記逆直交変換手段による２次元逆直交変換結果か
   らコンテントの内部の画素値を取り出すことにより解像
   度変換された再生画像信号を得る再生手段とを備えたこ
   とを特徴とする画像復号化装置。