JP2010183273A - 復号信号再構成装置、復号装置及びプログラム - Google Patents

Abstract

【課題】所定の符号化方式における符号化信号を復号して得られる復号信号について再構成する復号信号再構成装置、復号装置及びプログラムを提供する。
【解決手段】本発明の復号信号再構成装置４は、逆量子化後の信号が定められた範囲外の信号を含む場合に飽和処理を施すサチレーション処理部４０と、飽和処理を施した信号について直交変換処理を施した再直交変換係数を生成する再直交変換処理部４１と、逆量子化した際に得られる前直交変換係数と再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には再直交変換係数値を選択し、それ以外は前直交変換係数を選択して送出する直交変換係数比較部４２と、選択された直交変換係数に対して逆直交変換を施して復号信号を生成する逆直交変換部４３とを備える。
【選択図】図１

Description

本発明は、直交変換と量子化を伴う符号化方式における復号信号再構成装置、復号装置及びプログラムに関する。

従来の劣化を伴う非可逆な符号化方式では、図５に示すように、主に、入力されるデータ信号に対して直交変換を施す直交変換処理装置１１と、その直交変換係数を量子化する量子化処理装置１２からなる符号化装置１０によって符号化を行う。

一方、符号化装置１０によって符号化された符号化信号を復号する復号装置２１は、図６に示すように、逆量子化を施す逆量子化処理装置２２と、得られる直交変換係数について逆直交変換を施す逆直交変換処理装置２３と、復号信号がダイナミックレンジを超える場合に飽和処理を施すサチレーション処理装置２４とを備える。通常、逆直交変換処理によって信号の再構成を行うことができる。本来、直交変換は劣化を伴わない変換処理であり、符号化装置１０側では、入力された信号のダイナミックレンジ内に忠実に信号を直交変換することができる。

しかしながら、直交変換後の量子化によって、一部の情報を失う信号が発生しうる。この場合、復号装置２１は、ダイナミックレンジ外の信号が観測されたかのような信号として復号する場合がある。このような本来存在しない信号が再生された場合、復号装置２１は、サチレーション処理装置２４によって、信号をダイナミックレンジ内に丸める飽和処理を行う。

多くのシステムでは、この飽和処理として、ダイナミックレンジ外の信号をその最大値又は最小値に制限して再生するようにする。このような飽和処理は、クリップ処理又はサチレーション処理と称される。クリップ処理は、例えばＭＰＥＧ−２又はＨ．２６４の符号化方式でも採用されている。

前記サチュレーション処理は、失われた情報が復号装置によって復元不可能であるため、伝達された信号を忠実に再現し、且つ復号装置２１の許容可能範囲内に信号を制限する処理である。しかしながら、本来このような信号は、符号化装置１０の入力信号としてダイナミックレンジ内に必ず制限されていた信号であり、復号装置２１においてダイナミックレンジ外の信号が復号されるということは必ずその符号化単位の信号が劣化（情報欠損）を含んでいることを裏付ける現象である。

つまり、ダイナミックレンジ外に再現された信号のみならず、ダイナミックレンジ内に再現された信号も劣化を含んでいることを示している。そこで、復号装置２１において、本来の信号のダイナミックレンジ内に信号が復元されなければならないことを考慮し、その符号化単位のダイナミックレンジ内に再生された信号もより真の信号値に近づけ、サチュレーション処理のみならず、劣化を減じる効果を実現する復元方法がある。

このような制限された信号の復元方法として、Ｇｅｒｃｈｂｅｒｇ−Ｐａｐｏｕｌｉｓの反復アルゴリズムが知られている（例えば、非特許文献１参照）。また、このＧ−Ｐ反復法の原理を利用した画像の高解像度化技術が知られている（例えば、非特許文献２参照）。

新編 画像解析ハンドブック 機能編 第Ｉ部 射影 ２．８超解像 新堀 英二， 高木 幹雄"ＤＣＴを用いたＧｅｒｃｈｂｅｒｇ−Ｐａｐｏｕｌｉｓの反復法を適用した高画質画像拡大"，電子情報通信学会論文誌、 Ｄ−ＩＩ, 情報・システム, ＩＩ−情報処理、Ｖｏｌ．Ｊ７６−Ｄ−２, Ｎｏ．９、１９９３年９月２５日、ｐｐ．１９３２−１９４０

前述したように、一般的に非可逆な符号化技術では、直交変換処理装置１１と直交変換係数の量子化処理装置１２の組み合わせによって効率的な圧縮効果を実現する。復号装置２１では逆量子化処理装置２２によって復元した直交変換係数を逆直交変換処理装置２３によって信号を復元する。この非可逆な量子化処理により情報の劣化が行われ、復元する際に本来の信号の存在範囲（ダイナミックレンジ）外の信号値が再現されることがある。

このため、復号装置２１ではダイナミックレンジ外に復元される信号をダイナミックレンジ内に制限するサチュレーション（飽和）処理装置２４を備えている。一般的にこのサチュレーション処理装置２４では、ダイナミックレンジ外の信号を最低値又は最大値に値を置き換える処理を行い、ダイナミックレンジ内に復元された信号は、そのまま保持することになる。

更に、Ｇｅｒｃｈｂｅｒｇ−Ｐａｐｏｕｌｉｓの反復アルゴリズムでは、逆量子化処理を施した際に、観測系の測定可能な周波数成分外の信号について、測定可能な周波数範囲と無劣化の信号値を信号領域−直交変換領域で反復させ、互いの値を既知の制限内に収まるように値を置き換えることによって表現し、実質的に、測定可能範囲外の信号を作り出すようにするものである。

この場合、一部の信号の真（又は極めて真）の値が既知であるという条件が必要である。このような処理は、原理的に測定可能範囲外の信号を復元することから超解像と呼ばれる処理である。

しかしながら、逆量子化処理を施した際に、単に、Ｇ−Ｐ反復法と同じように信号領域−直交変換領域で交互に信号を制限し、劣化した信号を測定可能範囲外の信号を復元するのではなく、直交変換後の信号に多くの符号化方式で使用している直交変換、例えばＤＣＴやＤＦＴ、ＤＳＴなどの波形解析と量子化を併用する符号化方式は、非可逆の符号化方式である故に、全ての信号（直交変換係数）が誤差を含んでいることから、この誤差をも低減させて、復号信号の改善を行うことが望まれる。

そこで、本発明の目的は、非可逆の符号化方式における全ての信号の直交変換係数の誤差を低減させる復号信号再構成装置、復号装置及びプログラムを提供することにある。

本発明は、この飽和処理を改善し、ダイナミックレンジ外に復元された信号をダイナミックレンジ内に制限を加えるだけでなく、信号の制限量を元にダイナミックレンジ内に復元された信号も処理することにより符号化信号の失われた情報を復元する効果も併せ持つ復号信号再構成装置、復号装置及びプログラムを提供する。

本発明の復号信号再構成装置は、直交変換と量子化を伴う符号化方式における符号化信号を入力して、逆量子化及び逆直交変換を施して得られる復号信号を再構成する復号信号再構成装置であって、逆量子化後の信号が定められた範囲外の信号を含む場合に、飽和処理を施す飽和処理手段と、飽和処理を施した信号について直交変換処理を施し、再直交変換係数を送出する再直交変換手段と、前記符号化信号を入力して逆量子化した際に得られる前直交変換係数と、前記再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には、再直交変換係数値を選択し、それ以外は前直交変換係数を選択して送出する直交変換係数比較手段と、前記直交変換係数比較手段から送出される直交変換係数に対して逆直交変換を施して、復号信号を生成する逆直交変換手段とを備えることを特徴とする。

また、本発明の復号信号再構成装置において、前記所定の制限値は、量子化値に変換した場合のダイナミックレンジ内となる値に対応していることを特徴とする。

また、本発明の復号信号再構成装置において、前記逆直交変換手段の出力を、前記飽和処理手段に再入力して、所定回数繰り返すように構成したことを特徴とする。

また、本発明の復号信号再構成装置において、前記所定の制限値は、直交変換係数のエネルギー分布に対応する重み付けで変化する制限値であることを特徴とする。

また、本発明は、本発明の復号信号再構成装置を備える復号装置としても特徴付けられる。

また、本発明は、直交変換と量子化を伴う符号化方式における符号化信号を入力して、逆量子化及び逆直交変換を施して得られる復号信号を再構成する復号信号再構成装置として構成するコンピュータに、逆量子化後の信号が定められた範囲外の信号を含む場合に、飽和処理を施すステップと、飽和処理を施した信号について直交変換処理を施し、再直交変換係数を送出するステップと、前記符号化信号を入力して逆量子化した際に得られる前直交変換係数と、前記再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には、再直交変換係数値を選択し、それ以外は前直交変換係数を選択して送出するステップと、前記直交変換係数比較手段から送出される直交変換係数に対して逆直交変換を施して、復号信号を生成するステップとを実行させるための復号信号再構成プログラムとしても特徴付けられる。

本発明によれば、量子化による劣化を伴う符号化方式において、より原信号に忠実な符号化信号の再現を行うことができる。

特に、本発明によれば、信号をダイナミックレンジ内に制限するだけでなく、ダイナミックレンジ内の信号に含まれる符号化歪みを同時に減じる効果がある。特に、ダイナミックレンジ外の復号信号が再構成される現象は、急激なレベル変化が入力信号に含まれる場合に発生する。このような例として、映像信号の場合、字幕の文字フォント周辺、あるいは映像中に含まれる物体の輪郭周辺の部に多く、非可逆な符号化ではそのような部分の信号劣化が顕著に現れる。本発明を使用することによってこのような劣化を低減することができる。

本発明による実施例の復号装置を示す図である。 本発明による実施例の復号信号再構成装置を示す図である。 本発明による実施例の復号装置の一例の動作フロー図である。 本発明による実施例の復号装置の効果を概略的に示す図である。 従来からの符号化装置の概略図である。 従来からの復号装置の概略図である。

以下、本発明による実施例の復号信号再構成装置、復号装置及びプログラムを説明する。

図１に本発明による実施例の復号装置を示す。本実施例の復号装置１は、図５に示すような既存の非可逆な符号化方式に基づく符号化装置によって符号化された信号を復号する装置であり、符号化信号を入力して逆量子化を施す逆量子化処理装置２と、得られる直交変換係数について逆直交変換を施す逆直交変換処理装置３と、復号信号再構成装置４とを備える。

図２に、本発明による実施例の復号信号再構成装置を示す。本実施例の復号信号再構成装置４は、サチレーション処理部４０と、直交変換処理部４１と、直交変換係数比較部４２と、逆直交変換処理部４３とを備える。

サチレーション処理部４０は、逆直交変換処理装置３から供給される量子化信号について、従来と同様の飽和処理、即ち、逆量子化後の信号が定められた範囲外の信号を含む場合に、飽和処理を施し、その結果の量子化信号を直交変換処理部４１に送出する。

直交変換処理部４１は、飽和処理を施した信号について直交変換処理を施した再直交変換係数を生成する。

直交変換係数比較部４２は、符号化信号を入力して逆量子化した際に得られる直交変換係数列（以下、前直交変換係数列と称する）と、前記再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には、再直交変換係数値を選択し、それ以外は前直交変換係数を選択して逆直交変換処理部４３に送出する。この所定の制限値は、量子化値に変換した場合のダイナミックレンジ内となる値に対応している。また、この所定の制限値は、直交変換係数のエネルギー分布に対応して変化する重み付けした制限値とするのが好適である。

逆直交変換処理部４３は、入力される再直交変換係数列又は前直交変換係数列（即ち、前記直交変換係数比較部から送出される直交変換係数）に対して逆直交変換を施し、復号データ信号を送出する。尚、復号装置１は、逆直交変換手段４３の出力を、サチレーション処理部４０に再入力して、所定回数繰り返すように構成することもできる。

また、本発明の一態様として、復号装置１をコンピュータとして構成することができ、各機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部（図示せず）に記憶される。また、復号装置１が入力するデータ信号は、この記憶部に記憶しておくことができる。このような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、コンピュータ上で各装置を実現することができる。ここで、いずれかの手段の機能をハードウェアの全部又は一部で実現しても良い。

上述した実施例において、復号装置１の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。

また、入力データ信号は、ＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体を介して入力しても良いし、映像入力専用のインターフェースを介して入力するようにしてもよい。

次に、図３を参照して、復号装置１の一例の動作を説明する。

ステップＳ１にて、復号装置１は、或る画素ブロックについての符号化データ信号を入力する。

ステップＳ２にて、逆量子化処理装置２により、逆量子化を施してＤＣＴ系列Ｊ[ｋ]を生成する。

ステップＳ３にて、逆直交変換処理装置３によりＤＣＴ系列J[ｋ]に逆直交変換を施した後、サチレーション処理部４０により、サチレーション処理を実行する。

ステップＳ４にて、直交変換処理部４１によりサチレーション処理を実行した信号に再度直交変換を施して得られる再直交変換係数列（ＤＣＴ系列ｊ[ｋ]）と、逆量子化処理後の前直交変換係数列（ＤＣＴ系列Ｊ[ｋ]）について、直交変換係数比較部４２により、これらの差分の絶対値を算出する。

ステップＳ５にて、直交変換係数比較部４２により、算出した差分値が量子化の範囲内であるか否かを判定する。

ステップＳ６にて、直交変換係数比較部４２により、算出した差分値が量子化の範囲内でない場合に、サチレーション処理して得られるＤＣＴ系列ｊ[ｋ]を選択し、新たなＤＣＴ系列ｊ[ｋ]として置き換える。

ステップＳ７にて、直交変換係数比較部４２により、算出した差分値が量子化の範囲内である場合に、逆量子化処理後のＤＣＴ系列Ｊ[ｋ]を選択し、新たなＤＣＴ系列ｊ[ｋ]として保持する。

ステップＳ８にて、逆直交変換処理部４３により、新たなＤＣＴ系列ｊ[ｋ]に逆ＤＣＴ変換を施し、復号データ信号列iに格納する。

ステップＳ９にて、復号装置１は、全ての画素ブロックについて終了したか否かを判定し、終了していない場合には、ステップＳ１から別の画素ブロックについて処理を繰り返し、全ての画素ブロックについて終了した場合に復号処理を終了する。また、ステップＳ９は、ステップＳ４〜Ｓ８まで所定回数繰り返し行った後、他の画素ブロックについて処理するようにしてもよい。

以下、Ｃ言語による記述例を参照して、上記のプログラム例を説明する。

まず、飽和処理手順を説明する。８ｂｉｔ精度（ダイナミックレンジ：０〜２５５）で符号化する場合、その信号のダイナミックレンジは０〜２５５範囲に信号値が制限される。逆直交変換された信号は、この範囲内に制限するために以下の処理手順を復号信号に施す。

[Ｃ言語による記述例]
i=idct(J); //DCT係数列Jを逆DCT変換し、復号信号列iに値を格納する関数
for(k=0;k<N;k++)
i[k]=(i[k]<0 ? 0 : ( i[k]>255 ? 255 : i[k] ) ); //i[k]：復号信号

上記処理は、ダイナミックレンジ内に復号された信号はそのまま復号信号を用い、ダイナミックレンジ外に復号された信号をその最小値、最大値に制限する処理である。つまりｉ<０であれば信号を最小値０に制限し、ｉ>２５５であれば信号を最大値２５５に制限し、２５５≧ｉ≧０であればｉのままとする処理である。

復号信号再構成装置４の最もシンプルな記述例は以下のとおりである。

[Ｃ言語による記述例]
void reconstruct(int i[]){
int j[64];
int k;
j=fdct(i); //信号列iをＤＣＴ変換し、ＤＣＴ変換係数列ｊに値を格納する関数
for(k=0;k<N;k++){
j[k]=fabs(j[k]-J[k])<q[k]? j[k] : J[k];
//クリップ処理された信号のＤＣＴ係数（再ＤＣＴ係数値）列ｊ[ｋ]と、
//受信された保存されたＤＣＴ係数列Ｊ[ｋ]と、
//を比較し、その差分が量子化の範囲内であるならば
//再ＤＣＴ係数値を選択
}
i=idct(j); //ＤＣＴ係数列ｊを逆ＤＣＴ変換し、復号信号列iに値を格納する関数
for(k=0;k<N;k++){
i[k]=(i[k]<0 ? 0 : ( i[k]>255 ? 255 : i [k]) );
}
}

また、復号装置１の最もシンプルな記述例は以下のとおりである。

上記の反復処理（reconstruct関数内）において、直交変換係数を、量子化範囲内で下記のように
j[k]=fabs(j[k]-J[k])<q[k]? j[k] : J[k];
として制限しているが、この様態に限るものではない。

例えば符号化処理を映像に対して行う場合、一般的に人間の視覚特性に応じて高周波成分を粗く量子化するため式中のｑ[ｋ]は低周波成分の値に比べて大きな値が用いられる。

このような場合、修正されるＤＣＴ係数値の幅が大きくなり、誤差が大きくなる。そこでそのようなシステムでは以下のように
j[k]=fabs(j[k]-J[k])<w[k]*q[k]? j[k] : J[k];
制限条件に重み付け係数を乗じるとより効果を発揮する。ここで、w[k]は成分に応じた重み付け係数である。

このwは、符号化装置側の入力信号に応じた系で設計するパラメータである。以下、このwを設定する方法例を説明する。

映像信号の符号化の場合、一般的に符号化には直交変換としてＤＣＴを用い、一般的な映像の信号性質としてＤＣＴ係数のエネルギー分布がラプラス分布状（指数関数分布状）に存在する性質がある。そこで、このwもまた信号のエネルギー分布に従うように設計するのが好適である。

例えば８×８の二次元ＤＣＴを用いる場合、線形的に重み付けを行う場合には、
w[8*l+n]=(1.0-l/7)* (1.0-n/7)
とし、指数関数的に重み付けを行う場合には、
w[8*l+n]=exp(-(l²+n²))
とする。尚、l，nは、８×８の二次元ＤＣＴにおける行列の各インデックスである。

図４に、上述の記述で得られる効果を概略的に示す。例えば信号列方向にＡ１の振幅を有するデータ信号を符号化して、復号する場合を考える。従来のサチレーション処理で得られる復号データ信号は、急進に変化する振幅部分のうちのＳｄ部分をダイナミックレンジ内にクリップするか、又はＳｄ部分のダイナミックレンジ外の信号を作り出すことになるが、他のダイナミックレンジ内の領域におけるリップルＲ１に対して何ら効果を発揮しない。一方、本実施例の復号装置１によれば、サチレーション処理に基づくＤＣＴ係数の置換を伴うので、他のダイナミックレンジ内の領域における低減したリップルＲ２（＜Ｒ１）を得ることができる。これは、非可逆の符号化方式における全ての信号の直交変換係数の誤差を低減させることを意味している。

上述の実施例の復号装置１は、ＤＣＴについて処理する代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、ＤＣＴの代わりにＤＳＴ等を用いることもできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、信号の制限量を元にダイナミックレンジ内に復元された信号も処理することにより符号化信号の失われた情報を復元する効果も有するので、非可逆な符号化方式にてサチレーション処理を要する用途に有用である。

１ 復号装置
２ 逆量子化処理装置
３ 逆直交変換処理装置
４ 復号信号再構成装置
１０ 符号化装置
１１ 直交変換処理装置
１２ 量子化処理装置
２１ 復号装置
２２ 逆量子化処理装置
２３ 逆直交変換処理装置
２４ サチレーション処理装置
４０ サチレーション処理部
４１ 直交変換処理部
４２ 直交変換係数比較部
４３ 逆直交変換処理部

Claims (6)

1. 直交変換と量子化を伴う符号化方式における符号化信号を入力して、逆量子化及び逆直交変換を施して得られる復号信号を再構成する復号信号再構成装置であって、
   逆量子化後の信号が定められた範囲外の信号を含む場合に、飽和処理を施す飽和処理手段と、
   飽和処理を施した信号について直交変換処理を施した再直交変換係数を生成する再直交変換手段と、
   前記符号化信号を入力して逆量子化した際に得られる前直交変換係数と、前記再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には、再直交変換係数値を選択し、それ以外は前直交変換係数を選択して送出する直交変換係数比較手段と、
   前記直交変換係数比較手段から送出される直交変換係数に対して逆直交変換を施して、復号信号を生成する逆直交変換手段と、
   を備えることを特徴とする、復号信号再構成装置。
2. 前記所定の制限値は、量子化値に変換した場合のダイナミックレンジ内となる値に対応していることを特徴とする、請求項１に記載の復号信号再構成装置。
3. 前記逆直交変換手段の出力を、前記飽和処理手段に再入力して、所定回数繰り返すように構成したことを特徴とする、請求項２に記載の復号信号再構成装置。
4. 前記所定の制限値は、直交変換係数のエネルギー分布に対応して変化する重み付けした制限値であることを特徴とする、請求項１〜３のいずれか一項に記載の復号信号再構成装置。
5. 請求項１〜４のいずれか一項に記載の復号信号再構成装置を備える復号装置。
6. 直交変換と量子化を伴う符号化方式における符号化信号を入力して、逆量子化及び逆直交変換を施して得られる復号信号を再構成する復号信号再構成装置として構成するコンピュータに、
   逆量子化後の信号が定められた範囲外の信号を含む場合に、飽和処理を施すステップと、
   飽和処理を施した信号について直交変換処理を施し、再直交変換係数を送出するステップと、
   前記符号化信号を入力して逆量子化した際に得られる前直交変換係数と、前記再直交変換係数とを比較して、これらの差分値の絶対値が所定の制限値内である場合には、再直交変換係数値を選択し、それ以外は前直交変換係数を選択して送出するステップと、
   前記直交変換係数比較手段から送出される直交変換係数に対して逆直交変換を施して、復号信号を生成するステップと、
   を実行させるための復号信号再構成プログラム。