JP2006060656A - 画像信号符号化方法及び画像信号符号化装置 - Google Patents

Abstract

【課題】 隣接する画素間で相関の低い成分を多く含む画像に対してもＤＣＴで用いられると同様な基底画像を用いて高圧縮率の符号化を行う画像信号符号化装置を実現する。
【解決手段】 入力画像信号をＤＣＴ変換してマトリクス状の係数を出力する２次元ＤＣＴ手段１１と、マトリクス状の量子化値を出力する量子化手段１２と、マトリクス状の量子化値を行又は列方向に順次走査して、行又は列に１以上の量子化値があるかないかを調べて、１未満の量子化値の次に１以上の量子化値があった場合に、１未満の量子化値が検出された行又は列を１以上の量子化値が検出された行又は列と入れ替えることを決定する組替え順決定手段１３と、入れ替え決定された行又は列に従って行又は列を入れ替える係数行列組替え手段１４と、入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化するようにした画像信号符号化装置を実現した。
【選択図】 図１

Description

本発明は、画像信号を直交変換して集中されるエネルギー成分を可変長符号化して圧縮符号化信号を得る画像信号符号化方法及び画像信号符号化装置に関する。

従来から画像信号の高能率符号化において、信号の適応予測、直交変換および量子化などを行い符号量を削減する方法が実現されている。その直交変換により電力集中のなされた係数データが得られること、及びその変換係数を視覚特性を利用して量子化するなどにより高能率符号化が実現されている。直交変換にＤＣＴ（discrete cosine transform）を用いる方法では、風景や人物など自然画像に対して変換係数の電力集中を平均的に良好に得られるため、汎用的な直交変換方式として用いられている。例えば、現在の高能率画像信号符号化国際標準では、静止画像を対象としたＪＰＥＧ（Joint Photographic Coding Experts Group；ＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）１０９１８−１）や動画像を対象としたＭＰＥＧ（moving picture experts group）−４（ＩＳＯ／ＩＥＣ１４４９６−２）などで、ＤＣＴが広く用いられている。ＤＣＴが広く用いられる理由は、簡便で高速な変換アルゴリズムが存在し、低廉な符号化器／復号化器を提供できることにある。
しかし、ＤＣＴを用いて直交変換する方法はあらゆる種類の画像に対して、よい変換特性を示すとは限らなく、コンピュータグラフィックスなど隣接する画素間で相関の低い成分を多く含む画像や、高域成分を多く含む画像の場合では良好な変換方法であるとは言えない場合がある。

非特許文献１には、この直交変換の方法のひとつである、対象となる画像毎に固有の直交変換基底を求めるカルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve Transform）と呼ばれる直交変換法が述べられている。ＫＬＴは理論的に最適な電力集中が実現できる方法として知られている。しかし、ＫＬＴで求められる直交変換基底は、対象とする画像に固有のものであるため、画像毎に直交変換基底を付加情報として符号化する必要があり、変換係数の符号量は減少するももの、反対に付加情報を加えた全符号量は増加するという問題があった。
非特許文献２には、ＫＬＴを用いるときの付加情報の削減方法が開示されている。即ち、予め幾つかの直交変換基底を作成し、符号化器と復号化器の間で共通のコードブックを用いることで、予め用意された直交変換基底の中から符号化時に用いるものを適応的に選択するようにして全符号量の増加を抑えている。
また、特許文献１には、直交変換基底を符号化する代わりに自己相関行列を符号化する方法により、付加情報を量子化して符号量削減の最適点を探索する方法が開示されている。
特開２００１−３０９３８０号公報 監訳：尾上守夫「パターン識別」（ISBN4-915851-24-9）（株）新技術コミュニケーションズ発行、pp.111−113の主成分分析の項 大関「ＫＬ変換を用いた適応線形変換符号化方式」PCSJ'86, pp.43−44, 1986

しかしながら、非特許文献２の方法では、予め直交変換基底を作成する作業が符号化の前に発生するため、リアルタイムでの符号化が困難である又は圧縮符号化装置の規模が大きくなるなどの問題があった。
また特許文献１の方法では、符号量の削減は可能であるものの、直交変換基底を求めるための複雑な固有値演算を復号化器側でも行う必要があり、ＤＣＴを用いる方法のような簡便な復号化器の実現が困難である。さらに、自己相関行列の量子化は、画素間の距離が離れるほど相関が弱まるという前提に基づいているため、従来のＤＣＴによる方法と同様に一般的な自然画には適しているが、自然画以外の画像圧縮を効率的に行うことができないという問題があった。

そこで、本発明は、上記のような問題点を解消するためになされたもので、コンピュータグラフィックスなど隣接する画素間で相関の低い成分を多く含む画像や、高域成分を多く含む画像に対しても高圧縮率の符号化が行えると共に、符号化方法はＤＣＴを用いると同様に簡便であり、且つ符号化された画像の復号時にも特別の基底画像を生成する必要がなく従来のＤＣＴを用いる場合と同様の方法で復号を行うことができる画像信号符号化方法及び画像信号符号化装置を提供することを目的とする。

本願発明における第１の発明は、予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得、前記係数からマトリクス状の量子化値を出力し、前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定し、前記入れ替え決定された前記行又は列に従って、前記行又は列を入れ替え、前記入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力することにより高域周波数成分を多く含む前記入力画像信号の高圧縮率符号化を行うことを特徴とする画像信号符号化方法を提供する。
第２の発明は、予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得る２次元ＤＣＴ手段と、前記２次元ＤＣＴ手段で求められた前記係数からマトリクス状の量子化値を出力する量子化手段と、前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定する組替え順決定手段と、前記組替え順決定手段によって入れ替え決定された前記行又は列に従って、前記行又は列を入れ替える係数行列組替え手段と、前記係数行列組替え手段で入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力する符号化手段と、からなり、高域周波数成分を多く含む前記入力画像信号から高圧縮率の符号化を行うことを特徴とする画像信号符号化装置を提供する。

本発明によれば、予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得る２次元ＤＣＴ手段と、前記２次元ＤＣＴ手段で求められた前記係数からマトリクス状の量子化値を出力する量子化手段と、前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定する組替え順決定手段と、前記組替え順決定手段によって入れ替え決定された前記行又は列に従って、前記行又は列を入れ替える係数行列組替え手段と、前記係数行列組替え手段で入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力する符号化手段との格別な構成があるので、コンピュータグラフィックスなど隣接する画素間で相関の低い成分を多く含む画像や、高域成分を多く含む画像に対しても高圧縮率の符号化が行えると共に、符号化方法はＤＣＴを用いると同様に簡便であり、且つ符号化された画像の復号時にも特別の基底画像を生成する必要がなく従来のＤＣＴを用いる場合と同様の方法で復号を行うことが可能である画像信号符号化方法及び画像信号符号化装置を提供することができる。

以下に本発明の各実施例に係る画像信号符号化方法及び画像信号符号化装置について図１〜図１１を用いて説明する。
図１は、本発明の実施に係る画像信号符号化装置の構成例を示すブロック図である。
図２は、本発明の実施に係る画像信号復号化装置の構成例を示すブロック図である。
図３は、２次元ＤＣＴを説明するための図である。
図４は、本発明の実施に係る画像信号符号化装置の要部の構成例を示すブロック図である。
図５は、ＤＣＴ係数の２次元配列を示す図である。
図６は、本発明の実施に係る２次元ＤＣＴ係数の組替え例を示す図である。
図７は、本発明の実施に係る２次元配列の行と列の組替え情報の記述例を示す図である。
図８は、本発明の実施に係る２次元ＤＣＴ基底の配列例を示す図である。
図９は、本発明の実施に係る組替えられた２次元ＤＣＴ基底例を示す図である。
図１０は、本発明の実施に係る画像信号符号化装置の動作をフローチャートにより示す図である。
図１１は、本発明の実施に係る画像信号復号化装置の動作をフローチャートにより示す図である。

本実施例で述べる画像信号符号化装置は、高域成分を多く含む画像の符号化を簡便に且つ高圧縮率の符号化を行うという目的を持って符号化するための変換基底を、理論的に最適な電力集中が実現できる直交変換法に係るカルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve Transform）で用いる、対象となる画像毎に固有の直交変換基底を用いる代わりに、ＤＣＴ（discrete cosine transform）を行うときに使用するＤＣＴ変換基底の順序を入れ替えて近似した固有の直交変換基底を用いて直交変換を行うようにして実現したものである。

画像信号復号化装置の構成について述べる。
図１に示す画像信号符号化装置１は２次元ＤＣＴ（discrete cosine transform）器１１、量子化器１２、組替え順決定器１３、係数行列組替え器１４、ＤＰＣＭ（differential pulse code modulation )器１６、ジグザグスキャン器１７、及び可変長符号化器１８より構成される。２次元ＤＣＴ器１１には画像信号が入力される。可変長符号化器１８から符号化信号が出力される。
図２に示す画像信号復号化装置２は、可変長復号化器２１、ＤＰＣＭ復号化器２３、逆ジグザグＡＣ係数器２４、逆量子化器２５、係数行列逆組替え器２６、及び２次元ＩＤＣＴ（Inverse Discrete Cosine transform）器２７より構成される。可変長復号化器２１には符号化信号が入力される。２次元ＩＤＣＴ器２７からは画像信号が出力される。
図４に示す組替え順決定器１３は、垂直方向ＫＬＴ器１３１、垂直方向ＤＣＴ基底組替え決定器１３２、水平方向ＫＬＴ器１３３、及び水平方向ＤＣＴ基底組替え決定器１３４より構成される。垂直方向ＫＬＴ器１３１には画像信号が入力される。垂直方向ＤＣＴ基底組替え決定器１３２及び水平方向ＤＣＴ基底組替え決定器１３４から出力される信号のそれぞれは、係数行列組替え器１４及び可変長符号化器１８のそれぞれに供給されている。

画像信号符号化装置１の動作について図１を参照して述べる。
まず、コンピューグラフィクスなどで作成された高域成分を多く含む符号化対象の画像信号は２次元ＤＣＴ器１１に入力される。２次元ＤＣＴ器１１では８画素×８画素のブロックに分割され、ＤＣＴ基底を用いて入力された画像信号の直交変換が行われマトリクス上に配置される係数が得られる。それらの係数値は量子化器１２で量子化されマトリックス配置された量子化値が得られる。次にマトリックス配置された量子化値の行方向に１以上の量子化値が存在するかをそれぞれの行について順次検出する。通常は周波数の低い基底に係る量子化値は多くあるのに比し、周波数の高い基底に係る量子化値は全て０である。しかしコンピュータグラフィクス画像のように特定の高周波成分を多く含む画像の場合では特定の周波数の行に係る量子化値が大きくなる。そこで、組替え順決定器１３では特定周波数に係る行と、それよりも低い周波数でありながら量子化値が全て０である行とを入替えることを決定する。列についても同様に列の入替え方法を決定する。

係数行列組替え器１４では、決定された方法に従って量子化値テーブルの行及び／又は列を入替える。即ち、係数行列組替え器１４からはＫＬＴ変換基底に近似させた特別変換基底を用いて直交変換したと等価な係数配列された信号が出力される。
ＤＰＣＭ器１６では、量子化された係数データのうち直流成分は、ラスタ順で隣接する左隣のブロックのＤＣ係数との差分が出力されるようにＤＰＣＭした信号を生成する。ジグザグスキャン器１７では、量子化された係数データの交流成分をＪＰＥＧで用いられると同様の方法でジグザグにスキャンした順の係数データを得る。可変長符号化器１８では、ＤＰＣＭ器１６及びジグザグスキャン器１７から出力される信号をＪＰＥＧで用いられると同様の方法で、ハフマン符号化あるいは算術符号化などによるランレングス符号化がなされる。組替え順決定器１３から出力される組替え情報もここで符号化される。符号化された符号化信号は画像信号符号化装置１から出力される。

図２に示す画像信号復号化装置２は、符号化信号の復号化を行う。
画像信号符号化装置１で符号化された符号化信号は可変長復号化器２１に入力される。そこでは可変長符号化器１８で行われたと相補的な動作によるランレングス復号化がなされる。復号化して得られた組替え情報は逆量子化器２５及び係数行列逆組替え器２６に入力される。ＤＰＣＭ復号化器２３からは直流の係数データが得られる。逆ジグザグＡＣ係数器２４からは交流の係数データが得られる。逆量子化器２５では直流及び交流の係数データが変換係数に戻される。係数行列逆組替え器２６では組替え情報を基に係数行列の逆組替えが行われ、２次元ＤＣＴ器１１で直交変換されたと同様の係数データが得られる。２次元ＩＤＣＴ器２７では、係数データが基にされて再生画像が得られる。ここで、２次元ＩＤＣＴ器２７で用いられる変換基底はＪＰＥＧなどで用いられる変換基底をそのまま用いてＩＤＣＴ演算を行う。画像信号復号化装置２は、高域成分を多く含み符号化された画像データの復号化を容易に行う。例えばＫＬＴ復号器が復号時に必要である、煩雑なＫＬＴ変換基底の生成などを必要としていない。

次に、詳細に説明する。
最初にＤＣＴについて述べ、次にＫＬＴについて述べる。
図３の（ａ）は、水平方向にＮ画素、垂直方向にＮ画素を有す２次元画像ブロックを示す。その２次元画像ブロックに対するＤＣＴは、最初に垂直方向にＮ点１次元のＤＣＴ演算を（ｂ）のようにＮ列分行う。Ｎ点ＤＣＴの変換係数Ｘ(k)は、n番目の画素値をx(n)とするとき、

で表現される。この変換を、kの値を０から１ずつ増やしながらＮ−１まで行い、Ｎ×Ｎの変換係数列が得られる。この変換係数列を（ｃ）のように水平方向のＮ点１次元ＤＣＴをＮ行分行う操作をkの値を０から１ずつ増やしながらＮ−１まで行う。この操作を行列で表すと、

となる。

ところで、ＤＣＴは画素間での相関が低い画像の場合では、変換して得られる係数に電力集中が起こらないため、十分な符号化効率が得られない。自然画の場合であっても高周波成分を多く含む場合は同様である。それは、ＤＣＴの変換基底が低周波から高周波へと順番に並んでいるために生じる。（数１）でkの値を０から１ずつ増やしつつＮ−１まで演算して係数を求めることによる。

ＫＬＴについて簡単に説明する。
８×８画素の画像ブロックを対象とするとき、水平または垂直の８画素の値で構成される８つのベクトルによる自己相関行列Ａが逆行列を持つ場合は、自己相関行列Ａを対角化する変換行列Ｐが存在する。

この変換行列Ｐから固有値と固有ベクトルを求め、固有値の大きい順に固有ベクトルを並べたものがＫＬＴ基底である。この自己相関行列Ａは、画像ブロックに含まれる８つのベクトルの相関を表現しており、共分散行列とも呼ばれる。この自己相関行列Ａを対角化することは、自乗誤差を最小にする、または分散を最大化する操作に相当する。ＫＬＴにおける演算量の大部分は、この固有値の解法に関する。

ＫＬＴ基底は画像ブロックに含まれる画像成分を基に生成されるため、画像が高域成分を多く含む画像の場合は次数の低い基底であっても高域成分を多く含むため、係数に対する電力の集中が大きくなる。生成されたＫＬＴ基底を基にして行う特別変換基底の決定は、ＫＬＴ基底とＤＣＴ基底の組替えを行って作成した複数の変換基底との相関を求め、相関の強い変換基底を特別変換基底とする。変換基底同士の相関を求める方法は、基底ベクトル間の内積が最小となる変換基底を選択する。その結果、ＫＬＴ基底は組替えを行ったＤＣＴ基底、即ち特別変換基底に置き換えられる。複数のＫＬＴ基底が同じ特別変換基底に置き換えられないように、１対１の対応で置き換える。

そこで、高域成分を多く含む画像に対して電力を集中させるＤＣＴの変換基底を実現する。kに代入する値の順番を組替えることにより、変換係数の電力を集中させるようにする。即ち、２次元ＤＣＴ器１１で変換して得られるＤＣＴの変換基底を、組替え順決定器１３により電力集中させるための組替え順を決定し、決定された順になるように係数行列組替え器１４で係数の順番を組替える。

図４に示す組替え順決定器１３の垂直方向ＫＬＴ器１３１では、入力された画像を８×８画素のブロックに分解し、各ブロックに対して垂直方向の画素列のＫＬＴ基底を求める。求められた垂直方向のＫＬＴ基底は水平方向ＫＬＴ器１３３及び垂直方向ＤＣＴ基底組替え決定器１３２に供給され、ＫＬＴ基底が有する周波数分布に従って垂直方向ＤＣＴ基底の組替え順を決定する。決定された垂直方向の組替え順情報は係数行列組替え器１４及び可変長符号化器１８に供給される。水平方向ＫＬＴ器１３３では入力される垂直方向のＫＬＴ基底を水平方向に演算する。演算して得られたＫＬＴ基底は水平方向ＤＣＴ基底組替え決定器１３４に入力される。そこでは得られた水平方向のＫＬＴ基底の周波数分布を基に水平方向ＤＣＴ基底の組替え順を決定し、水平方向の組替え順情報は係数行列組替え器１４及び可変長符号化器１８に供給される。各ＫＬＴ基底と組替えられたＤＣＴ基底との相関が求められ、相関の大きな組替えられたＤＣＴ基底（特別変換基底）でＫＬＴ基底を置き換える。

特別の変換基底を用いて直交変換を行う場合には、並び順の組替えに係る情報を画像信号復号化装置２に送る必要がある。そのときに送る付加情報はＤＣＴ基底の並び順（ｋの値の代入順）を示すラベルのみでよい。例えば、８×８画素のブロックを単位として２次元ＤＣＴを行う場合には、水平方向８個と垂直方向８個の１６個の選択フラグを符号化すればよい。
また、ＤＣＴ基底の並び順の組替えに伴う量子化テーブルの変更は、並び順を示す選択フラグ情報から、各変換係数に対応する空間周波数が判別できるので、この空間周波数に従って量子化テーブルを組替える操作を行った後に量子化を行うようにしても良い。

図５は、高域成分が多い画像ブロックをＤＣＴ変換して得られる係数出力例である。左上において３９と示される部分が画像の直流（ＤＣ）レベルを示している。他の個所は交流（ＡＣ）レベルを示している。水平及び垂直方向に１〜７と示す個所には周波数成分が１／２〜７／２サイクルの基底に対応した係数であるレベルが記されている。この画像ブロックのＫＬＴ変換を行った結果、垂直方向に４／２サイクルの成分を多く含むＫＬＴ基底が検出された。ＤＣＴ係数出力においても（垂直、水平）＝（４、１）のレベルが−１とされている。

図６は、垂直の第３基底と第４基底を入替えた係数出力例である。（４、１）の個所が（３、１）の個所に移動している。即ち、ＤＣＴの垂直基底を０、１、２、４、３、５、６、７の順である特別の変換基底を用いて直交変換を行った方が電力の集中が大きくなっていることを示している。この係数出力を一般的な方法でジグザグスキャンして得られる係数列は、図５の場合は（39,-3,2,1,-1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,-1,EOB）であるのに比し、図６の場合では（39,-3,2,1,-1,1,0,0,0,0,0,-1,EOB）となる。ここで、EOBは符号化データの終端を示し、それ以後に零以外の有意なデータがないことを示すシンボルである。これをランレングス符号化した場合に図６の方が少ないビット数で表現できるため、符号量が削減されることになる。ジグザグスキャンには垂直優先スキャンや水平優先スキャンなどの方法もあり、それらを組み合わせることによりさらに電力集中の偏りを補った符号化を行うことができる。

図７は組替えられたＤＣＴ変換基底により直交変換を行うためのテーブルの記述例である。（ａ）は垂直基底であり、（ｂ）は水平基底である。テーブル（ａ）を用いる直交変換は、垂直基底No.０〜７の連番で直交基底を掛ける順番を示し、垂直ＤＣＴ基底No.はＤＣＴ基底の番号を示している。（ｂ）の水平基底No.と水平ＤＣＴ基底No.も同様である。例えば、垂直基底No.＝３は４番目の直交基底として垂直ＤＣＴ基底No.＝７、すなわち前述の（数１）でｋ＝７のＤＣＴ基底を用いて演算することを示している。図７の情報に従って、図８の２次元ＤＣＴの変換基底の順番を組替えると、図９の特別変換基底が得られる。例えば、図８中に円で示した（垂直、水平）＝（３，６）のＤＣＴ基底は、図９の（垂直、水平）＝（７，１）の位置に移動する。

図１０に従って画像信号符号化装置１の動作の流れを説明する。
まず、Ｓ（ステップ）７１で入力されるブロック画像に対するＫＬＴ基底を演算する。Ｓ７２で順番の組替えられたＤＣＴ基底との相関性が演算される。Ｓ７３で有効な組替えられたＤＣＴ基底が存在するとして検出されたときにはＳ７４でその組替えられた基底を特別ＤＣＴ基底として用いて直交変換するものとし、特別ＤＣＴ基底を用いて直交変換を行うことを示すフラグを立てる。Ｓ７５で標準のＤＣＴ基底テーブルを用いて演算して得られたＤＣＴ係数のデータを、特別ＤＣＴ基底の配列に基づいて組替える。特別量子化テーブルにより量子化を行う。

Ｓ７３で有効な組替えられたＤＣＴ基底が存在しないとして検出されたときは、通常のＤＣＴ基底を用いた演算であることを示すフラグを立てる。Ｓ７７では、ブロック画像を通常のＤＣＴ基底を用いて演算した結果をそのまま用いることとする。通常の量子化テーブルを用いて量子化を行う。Ｓ７８ではＳ７５で得られた係数出力又はＳ７７で得られた係数出力をジグザグスキャンする。Ｓ７９で可変長符号化を行い圧縮符号化信号を生成する。Ｓ８１で画像入力信号がまだあるとして検出されるときにはＳ７１からの動作を実行し、画像入力がないとして検出されたときに符号化動作を終了する。

図１１に従って画像信号復号化装置２のフローを説明する。
Ｓ９１において入力される符号化信号の可変長復号化を行う。Ｓ９２で、ＤＣＴ基底組替え（特別ＤＣＴ基底）に係るフラグを取得する。Ｓ９３で、特別ＤＣＴ基底を使用しているとして検出されたときはＳ９４でＤＣＴ係数の逆組替えを行い、Ｓ９５で特別量子化テーブルを用いた逆量子化を行う。
Ｓ９３で特別ＤＣＴ基底を使用していないとして検出されたときにはＳ９６で通常の量子化テーブルを用いた逆量子化を行う。Ｓ９７ではＳ９５又はＳ９６で逆量子化して得られた係数値を用いて逆ＤＣＴを行いブロック画像が復号化される。Ｓ９８で符号化信号の入力がまだあるかを検出し、まだあるときにはＳ９１からの動作を繰り返す。入力符号化信号が検出されないときに復号化動作を終了する。

画像ブロックに対しＫＬＴ変換を行い、ＫＬＴ変換基底が有する周波数スペクトラムを基にしてＤＣＴ基底の組替えを行い、組替えられたＤＣＴ基底を用いて行う画像信号符号化及び画像信号復号化の方法について述べた。上述のＤＣＴ基底の組替えは、通常のＤＣＴ演算によりＤＣＴ係数を求めた後に２次元配列されるＤＣＴ係数の行または列を入替えても同様な結果が得られる。画像信号符号化装置は、ＫＬＴ変換を基にしたＤＣＴ基底の並び順を決定するための機能と、ＤＣＴ係数の行または列を入れ換える機能を具備すれば良い。また、ＤＣＴ係数の量子化およびスキャン順を工夫することで一層の符号化効率の向上が図れるものである。

以上のように、本画像信号符号化装置１によれば、画像ブロックに対して、垂直方向のＫＬＴ基底を算出する。算出されたＫＬＴ基底の並び順はエネルギーの強い順に並んでいるので、各ＫＬＴ基底と相関の強い組替えたＤＣＴ基底を求めることで、垂直方向のＤＣＴ基底の並び順を決定できる。この垂直方向の並び換えられたＤＣＴ基底で変換を行う。次に、変換結果として出力された係数列に対して、水平方向のＫＬＴ基底を求める。垂直方向と同様にＫＬＴ基底と組替えたＤＣＴ基底との相関を求め、水平方向のＤＣＴ基底の順番を入替える。このようにして求められた垂直方向と水平方向の入替え順を基に２次元配列されたＤＣＴ係数の行または列を入替える。２次元変換係数列が求められる。

ＤＣＴ基底の入替え情報をもとに作成された量子化テーブルによって空間周波数依存型の非線形量子化を行う、または一様量子化する。量子化して得られた２次元の変換係数配列を相関の大きな方向にスキャンして１次元の係数列を生成し、可変長符号化する。同時に水平、垂直のＤＣＴ基底の入替え順を示す情報も可変長符号化する。符号化信号を出力する。
画像信号復号化装置２は、符号化器の逆の操作により再生画像を復号化して得る。
ＫＬＴはＤＣＴに比し符号量の削減が可能であり、且つコンピュータグラフィクス画像など自然画以外でも好適な符号化性能が得られる。

一方、入力画像信号からＫＬＴ変換基底を得るための演算量が多く、煩雑である。本画像信号符号化装置１は、ＤＣＴの簡便さを用いながら、ＫＬＴにより近い性質での符号化方法を提供し、自然画以外の画像においても符号化効率が高く、且つ良好な符号化品質を得ることのできる直交変換方法を実現した。
なお、コンピュータグラフィクス画像などでは、１フレームの画像中に同様な電力分布を有するブロックが複数存在しているため、代表的なブロックの画像についてＫＬＴ変換を基にして行うＤＣＴ基底組替え動作を予め行っておくようにしても良い。

本実施例に拠れば、ＤＣＴ係数が集中せず不連続になる高周波領域を、連続的に並べ換えることが簡単にできるため、付加情報の増加はあるものの全符号量の削減が可能となる。さらに、符号量の増加を防止する目的で荒く量子化されていた高周波領域の量子化ステップを、細かく量子化しても符号量の増加を抑えられるため、符号量を削減しながら高画質化が図れる。

本実施例によれば、予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得る２次元ＤＣＴ手段１１と、前記２次元ＤＣＴ手段で求められた前記係数からマトリクス状の量子化値を出力する量子化手段１２と、前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定する組替え順決定手段１３と、前記組替え順決定手段によって入れ替え決定された前記行又は列に従って、前記行又は列を入れ替える係数行列組替え手段１４と、前記係数行列組替え手段で入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力する符号化手段１７、１８との構成があるので、コンピュータグラフィックスなど隣接する画素間で相関の低い成分を多く含む画像や、高域成分を多く含む画像に対しても高圧縮率の符号化が行えると共に、符号化方法はＤＣＴを用いると同様に簡便であり、且つ符号化された画像の復号時にも特別の基底画像を生成する必要がなく従来のＤＣＴを用いる場合と同様の方法で復号を行うことが可能である画像信号符号化方法及び画像信号符号化装置を実現できる。

画像信号を直交変換してエネルギー成分を集中させて後にそのエネルギー成分を可変長符号化して圧縮符号化信号を生成する画像信号符号化装置、及び生成された圧縮符号化信号を復号化する画像信号復号化装置に適用できる。

本発明の実施に係る画像信号符号化装置の構成例を示すブロック図である。 本発明の実施に係る画像信号復号化装置の構成例を示すブロック図である。 ２次元ＤＣＴを説明するための図である。 本発明の実施に係る画像信号符号化装置の要部の構成例を示すブロック図である。 ＤＣＴ係数の２次元配列を示す図である。 本発明の実施に係る２次元ＤＣＴ係数の組替え例を示す図である。 本発明の実施に係る２次元配列の行と列の組替え情報の記述例を示す図である。 本発明の実施に係る２次元ＤＣＴ基底の配列例を示す図である。 本発明の実施に係る組替えられた２次元ＤＣＴ基底例を示す図である。 本発明の実施に係る画像信号符号化装置の動作をフローチャートにより示す図である。 本発明の実施に係る画像信号復号化装置の動作をフローチャートにより示す図である。

符号の説明

１ 画像信号符号化装置
２ 画像信号復号化装置
１１ ２次元ＤＣＴ器
１２ 量子化器
１３ 組替え順決定器
１４ 係数行列組替え器
１６ ＤＰＣＭ器
１７ ジグザグスキャン器
１８ 可変長符号化器
２１ 可変長復号化器
２３ ＤＰＣＭ復号化器
２４ 逆ジグザグＡＣ係数器
２５ 逆量子化器
２６ 係数行列逆組替え器
２７ ２次元ＩＤＣＴ器
１３１ 垂直方向ＫＬＴ器
１３２ 垂直方向ＤＣＴ基底組替え決定器
１３３ 水平方向ＫＬＴ器
１３４ 水平方向ＤＣＴ基底組替え決定器

Claims (2)

1. 予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得、
   前記係数からマトリクス状の量子化値を出力し、
   前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定し、
   前記入れ替え決定された前記行又は列に従って、前記行又は列を入れ替え、
   前記入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力することにより高域周波数成分を多く含む前記入力画像信号の高圧縮率符号化を行うことを特徴とする画像信号符号化方法。
2. 予め複数の画素ブロックに分割した入力画像信号をＤＣＴ基底を用いて直交変換を行って、前記ＤＣＴ基底に係るマトリクス状に求められた係数を得る２次元ＤＣＴ手段と、
   前記２次元ＤＣＴ手段で求められた前記係数からマトリクス状の量子化値を出力する量子化手段と、
   前記マトリクス状の量子化値を行又は列方向に順次走査して、前記行又は列に絶対値が１以上の前記量子化値があるかないかを調べて、前記行又は列の中に０の前記量子化値の直後に絶対値が１以上の前記量子化値があった場合に、前記行又は列を順次操作した際に最初の行又は列に前記０の前記量子化値が検出された行又は列を前記絶対値が１以上の前記量子化値が検出された前記行又は列と入れ替えることを決定する組替え順決定手段と、
   前記組替え順決定手段によって入れ替え決定された前記行又は列に従って、前記行又は列を入れ替える係数行列組替え手段と、
   前記係数行列組替え手段で入れ替えられたマトリクス状の量子化値をジグザクスキャン及び可変長符号化して出力する符号化手段と、
   からなり、高域周波数成分を多く含む前記入力画像信号から高圧縮率の符号化を行うことを特徴とする画像信号符号化装置。
   

Images