JP2009302777A - 復号化装置及びその制御方法 - Google Patents

Abstract

【課題】 従来は、ノイズ軽減処理による画像の破綻を避けるために、フィルタ強度を弱めにしたノイズ軽減処理に留まっていたため、十分なノイズ除去が行えない場合があった。
【解決手段】 復号された情報を逆量子化する逆量子化部１０２と、逆量子化部１０２から得られる信号を逆直交変換して復号画像を得る第一逆直交変換部１０３と、符号化による誤差を推定する量子化誤差推定部１０５で得られる情報を逆直交変換した結果と復号画像から、復号された画像を高画質化する信号を生成する高画質信号生成部１０７と、高画質信号生成部１０７で得られる高画質信号と復号画像とを合成する画像合成部１０８とを有する。
【選択図】 図１

Description

本発明は、符号化された画像を復号する復号化装置及びその制御方法に関するものである。

符号化された画像を復号する際のモスキートノイズやブロックノイズを軽減する技術として特許文献１に記載された技術がある。この特許文献１の技術では、画像を領域分割し、その分割した領域に応じてフィルタの強度を適応的に変化させてノイズを除去している。
特開平０９−１８６９９３号公報

しかしながら、従来このフィルタの強度範囲は経験的に決定したもので、そのフィルタ強度により最悪どのような画像になるかを定量的に計測することは困難である。その結果、ノイズ軽減処理による画像の破綻を避けるために、フィルタ強度を弱めにしたノイズ軽減処理に留まることが多かった。

本発明は、上記従来技術の問題点を解決することを目的とする。

本願発明の一態様に係る復号化装置及びその制御方法によれば、画素単位に高精細な高画質化処理を施すことができる。

上記目的を達成するために本発明の一態様に係る復号化装置は以下のような構成を備える。即ち、
符号化された画像を復号する復号化装置であって、
前記符号化された画像をエントロピー復号するエントロピー復号手段と、
前記エントロピー復号手段で復号された情報を逆量子化する逆量子化手段と、
前記逆量子化手段から得られる信号を逆直交変換して復号画像を得る第一逆直交変換手段と、
前記逆量子化手段から得られる信号から符号化による誤差を推定する量子化誤差推定手段と、
前記量子化誤差推定手段で得られる情報を逆直交変換する第二逆直交変換手段と、
前記復号画像と前記第二逆直交変換手段の出力とから、復号された画像を高画質化する信号を生成する高画質信号生成手段と、
前記高画質信号生成手段で得られる高画質信号と前記復号画像とを合成する画像合成手段と、
を有することを特徴とする。

上記目的を達成するために本発明の一態様に係る復号化装置の制御方法は以下のような工程を備える。即ち、
符号化された画像を復号する復号化装置の制御方法であって、
前記符号化された画像をエントロピー復号するエントロピー復号工程と、
前記エントロピー復号工程で復号された情報を逆量子化する逆量子化工程と、
前記逆量子化工程で得られる信号を逆直交変換して復号画像を得る第一逆直交変換工程と、
前記逆量子化工程で得られる信号から符号化による誤差を推定する量子化誤差推定工程と、
前記量子化誤差推定工程で得られる情報を逆直交変換する第二逆直交変換工程と、
前記復号画像と前記第二逆直交変換工程の出力とから、復号された画像を高画質化する信号を生成する高画質信号生成工程と、
前記高画質信号生成工程で得られる高画質信号と前記復号画像とを合成する画像合成工程と、を有することを特徴とする。

本発明によれば、画素単位に高精細な高画質化処理を施すことができる。

以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図１は、本発明の実施形態に係る復号化装置の機能構成を示す機能ブロック図である。

尚、本実施形態では、直交変換、量子化、エントロピー符号化を利用するＪＰＥＧに似た圧縮符号化画像を復号して再生する際の高画質化について説明する。しかし、直交変換と量子化のプロセスを含む符号化画像であれば他の符号化方式で符号化された画像でも構わない。例えば、ＭＰＥＧ２やＭＰＥＧ４などで符号化された動画であってもよく、或はインター符号化された画像でも良い。

図１において、符号化ストリーム入力部１００は、上述の符号化方法により符号化された画像の符号化ストリームを入力する。エントロピー復号部１０１は、入力した符号化ストリームをエントロピー復号して量子化情報を生成する。逆量子化部１０２は、その量子化情報を基に逆量子化する。第一逆直交変換部１０３は、逆量子化部１０２から出力される情報に逆直交変換を施して復号画像を生成する。量子化誤差推定部１０５は、逆量子化部１０２から得られる量子化情報から周波数空間上の最大二乗誤差をスペクトル毎に推定する。第二逆直交変換部１０６は、量子化誤差推定部１０５から出力される情報を逆直交変換する。高画質信号生成部１０７は、第二逆直交変換部１０６から供給される情報と、第一逆直交変換部１０３から供給される復号画像とを用いて高画質化信号を生成する。画像合成部１０８は、第一逆直交変換部１０３からの信号に高画質信号生成部１０７からの信号を加算して高画質信号を生成する。画像出力部１０４は、画像合成部１０８から出力される高画質画像を外部に出力する。

次に図２を参照して、高画質信号生成部１０７の詳細について説明する。

図２は、本実施形態に係る高画質信号生成部１０７の機能構成を説明する機能ブロック図で、前述の図１と共通する部分は同じ記号で示している。

第一高画質信号生成部２００は、第一逆直交変換部１０３から出力される復号画像に含まれるエッジを抽出する。第二高画質信号生成部２０１は、第二逆直交変換部１０６からの情報を用いて、第一高画質信号生成部２００からの信号に閾値処理を施した信号を出力する。

次に量子化誤差推定部１０５の内部の詳細について説明する。

図３は、本実施形態に係る量子化誤差推定部１０５の機能構成を説明する機能ブロック図で、前述の図１と共通する部分は同じ記号で示している。

スペクトル選択部３０１は、逆量子化部１０２から得られる量子化情報から周波数空間上の最大二乗誤差を推定するスペクトルを選択する。誤差推定部３０２は、スペクトル選択部３０１で選択されたスペクトルの量子化情報を入力して、その周波数空間上の最大二乗誤差を推定する。

次に図４のフローチャートを参照して、本実施形態に係る復号化装置による処理の流れを説明する。

図４は、本発明の実施形態１に係る復号化装置による復号処理を説明するフローチャートである。この処理は図１に示す機能ブロック図に従って実行される。

入力画像は８×８の小矩形単位で符号化され、その小矩形を構成する各画素はＳi＝１，...，６４でインデックス化される。本実施形態では、入力画像の解像度を８×８とする。また本実施形態では、１つの小矩形で構成されている８×８の画像を入力とするが、複数の小矩形で構成されている画像で構わない。また、小矩形の単位も８×８に限定されず、どのような単位でも構わない。また本実施形態では、エッジを強調する高画質化処理を説明するが、これに限らず、復号画像に何等かの符号付信号を加算する処理であれば、どのような高画質化処理でも構わない。例えば、エッジ強調処理、符号化ノイズ除去処理、動き補正処理、ＩＰ変換処理、フレームレート変換処理、色変換処理のいずれか、或いは２つ以上の処理の組合せを含んでも構わない。

高画質化処理を開始するとステップＳ１に進み、符号化ストリーム入力部１００から符号化ストリームが入力され、エントロピー復号部１０１でエントロピー復号される。次にステップＳ２に進み、逆量子化部１０２で逆量子化が施される。次にステップＳ３に進み、第一逆直交変換部１０３で逆直交変換が施され、その結果、復号画像（Ｘq_si）が生成される。次にステップＳ４に進み、量子化誤差推定部１０５が、量子化時にスペクトルを実際に割った量子化マトリックスＱ_fiを逆量子化部１０２から取得する。そして、各周波数スペクトルの量子化最大誤差の二乗ＹqEmax_fi_2を算出する。次にステップＳ５に進み、第二逆直交変換部１０６は、量子化最大誤差の二乗ＹqEmax_fi_2を逆直交変換し、実空間上の量子化最大誤差ＸqEmax_siを算出する。次にステップＳ６に進み、高画質信号生成部１０７は、実空間上の量子化最大誤差ＸqEmax_siと復号画像Ｘq_siとから高画質化信号Ｄiff_siを生成する。そしてステップＳ７に進み、画像合成部１０８は、復号画像Ｘq_siと、高画質化信号Ｄiff_siとを加算して高画質画像ＸqHigh_siを生成する。こうして高画質化処理が終了する。以上が復号処理の詳細な説明である。

さらに、図５のフローチャートを参照して量子化誤差推定部１０５の処理（図２のステップＳ４の処理）の詳細を説明する。

図５は、本発明の実施形態１に係る量子化誤差推定部１０５による処理を説明するフローチャートである。

量子化誤差の推定処理が開始されると、先ずステップＳ１１で、スペクトルのインデックスｆiを「０」に初期化する。次にステップＳ１２に進み、着目スペクトルＹq_fiの値と「０」とを比較する。ここで着目スペクトルＹq_fiの値が「０」以上であればステップＳ１４に進み、量子化最大二乗誤差ＹqEmax_fi_2を（Ｑ_fi）の２乗としてステップＳ１５に進む。また、着目スペクトルＹq_fiの値が「０」以下であればステップＳ１３に進み、量子化最大二乗誤差ＹqEmax_fi_2を「０」としてステップＳ１５に進む。ステップＳ１５では、インデックスｆiと処理対象画像の画素数である「６４」とを比較し、６４以下であればステップＳ１６に進み、ｆi＝ｆi＋１としてステップＳ１２に戻る。一方、ステップＳ１５で、インデックスｆiの値が「６４」以上であれば処理を終了する。

以上が、量子化誤差推定部１０５の処理の詳細な説明である。

次に図６のフローチャートを参照して図４のステップＳ６の詳細を説明する。

図６は、本実施形態１に係る図４のステップＳ６の処理を説明するフローチャートである。この処理は図２の機能ブロック図により実行される。

高画質化信号高速生成が開始されると、先ずステップＳ２１で、第一高画質信号生成部２００が、復号画像Ｘq_siのエッジをSobelフィルタで検出し、そのエッジ情報Ｅdge_siを取得する。次にステップＳ２２に進み、第一高画質信号生成部２００は、そのエッジ情報Ｅdge_siを正規化し、それに強度パラメータＦ(Amp_si)を乗算して、各画素ごとの第一高画質化信号Ｐre_Diff_siを生成する。この強度パラメータＦ(Amp_si)は、Amp_siを変数とした単調増加関数である。次にステップＳ２３に進み、第二高画質信号生成部２０１は、第一高画質化信号Ｐre_Diff_siの各要素の値を±√(ＸqEmax_si)の各要素でクリッピングして高画質化信号Ｄiff_siを生成する。

本実施形態では、強度パラメータＦ(Amp_si)を単調増加関数としたが、復号画像Ｘq_siの統計情報、着目スペクトルＹq_fiの情報等を変数として持つ多変数関数でも構わない。また復号画像Ｘq_siの統計情報の統計情報だけでも構わない。

また量子化最大二乗誤差ＹqEmax_fi_2の各要素は、着目スペクトルＹq_fiの統計情報などで生成されたマスクによりマスキングしても構わない。更に、量子化最大二乗誤差ＹqEmax_fi_2は、復号画像の統計情報も参照して変更しても構わない。この場合、第一逆直交変換部１０３から量子化誤差推定部１０５へ統計情報などが流れる経路を用意する。

以上が本実施形態１の流れである。尚、本実施形態１は、高画質信号生成部１０７からの情報で第一高画質信号生成部２００から情報をクリッピングしたが、第一高画質信号生成部２００からの情報を高画質信号生成部１０７からの最大値からスケーリングする処理でも構わない。また第一、第二逆直交変換部１０３，１０６を共通化しても構わない。

また第一高画質信号生成部２００は、符号化ノイズ除去処理、動き補正処理、ＩＰ変換処理、フレームレート変換処理、色変換処理のいずれか、或いは２つ以上の組み合わせでも構わない。

以上説明したように本実施形態１によれば、画素単位に高精細な高画質化処理を施すことができる。また、高画質化処理の強度の上限を規定したことにより、高画質化による画像の破綻を回避できる。また、復号画像に加算される信号を予め求めているので、高速に高画質化信号を生成できるという効果がある。

＜実施形態２＞
本実施形態２は、前述の実施形態１の高画質信号生成部１０７が汎用高画質化信号生成部１０７ａとなっている。従って、前述の実施形態１とは、高画質信号生成部１０７以外は同じ構成なので、汎用高画質信号生成部１０７ａの構成について、図７を参照して説明し、他の部分の説明を省略する。

図７は、本発明の実施形態２に係る汎用高画質信号生成部１０７ａの構成を説明する機能ブロック図である。

ポスト処理部７０１は、第一逆直交変換部１０３で生成した復号画像にエッジ強調を施す。差分検出部７０２は、第一逆直交変換部１０３で生成した復号画像と、ポスト処理部７０１でエッジ強調した第一高画質信号との差分を検出する。第二高画質信号生成部２０１は、前述の実施形態１と同じ機能である。尚、ポスト処理部７０１による処理は、エッジ強調処理以外に、例えば、符号化ノイズ除去処理、動き補正処理、ＩＰ変換処理、フレームレート変換処理、色変換処理のいずれか、或いは２つ以上の処理の組合せを含んでも構わない。

図７の機能ブロック図における処理の流れを図８のフローチャートを参照して説明する。

図８は、本発明の実施形態２に係る汎用高画質信号生成部１０７ａによる処理を説明するフローチャートである。

汎用高画質化信号生成が開始すると先ずステップＳ３１で、第一逆直交変換部１０３で生成された復号画像Ｘq_siにエッジ強調を施して復号画像Ｘp_siを生成する。次にステップＳ３２に進み、差分検出部７０２は、復号画像Ｘq_siと復号画像Ｘp_siとの差分Ｅdge_siを検出する。次にステップＳ３３に進み、差分検出部７０２は、エッジ情報Ｅdge_siが正規化され、強度パラメータＦ(Amp_si)を掛け合わして各画素の第一高画質化信号Ｐre_Diff_siを生成する。ここで強度パラメータＦ(Amp_si)は、Amp_siを変数とした単調増加関数である。次にステップＳ３４に進み、第二高画質信号生成部２０１は、第一高画質化信号Ｐre_Diff_siの各要素の値を±√(ＸqEmax_si)の各要素でクリッピングして高画質化信号Ｄiff_siを生成する。こうして汎用高画質化信号生成が終了する。

本実施形態２では、強度パラメータＦ(Amp_si)を単調増加関数としたが、復号画像Ｘq_siの統計情報、着目スペクトルＹq_fiの情報などを変数として持つ多変数関数でも構わない。また復号画像Ｘq_siの統計情報の統計情報だけでも構わない。また量子化最大二乗誤差ＹqEmax_fi_2の各要素は、着目スペクトルＹq_fiの統計情報などで生成されたマスクでマスキングしても構わない。更に、量子化最大二乗誤差ＹqEmax_fi_2は、復号画像の統計情報も参照して変更しても構わない。この場合、第一逆直交変換部１０３から量子化誤差推定部１０５へ統計情報などが流れる経路を用意する。

以上が実施形態２の流れである。尚、第一、第二逆直交変換部１０３，１０６を共通化しても構わない。

本実施形態２では、画素単位に高精細な高画質化処理を施すことができる。また、高画質化処理の強度の上限を規定したことにより、高画質化による画像破綻を回避可能となる。更に、実施形態２では符号化画像に信号を付加する高画質化処理のみを対象としていたが、それ以外の高画質化処理にも適用できる。

＜実施形態３＞
本実施形態３は、前述の実施形態１の高画質信号生成部１０７が最適画質化信号生成部１０７ｂとなる。従って、最適高画質化信号生成部１０７ｂ以外は前述の実施の形態１と同じ構成であるため、最適高画質化信号生成部１０７ｂの構成を説明して、他の部分の説明を省略する。

図９は、本発明の実施形態３に係る最適高画質信号生成部１０７ｂの構成を説明する機能ブロック図である。

信号生成制御部９００は、第二高画質信号生成部２０１からの信号を予め用意したモデルと比較して類似度を判定し、類似度が所定値よりも高い場合は、画像合成部１０８へその信号を送信する。一方、類似度が所定値よりも低いと判定した場合は、第一高画質信号生成部２００ａへ第一高画質化信号を再度生成するように再処理命令を発行する。第一高画質信号生成部２００ａは、前述の実施形態１の第一高画質信号生成部２００に、この再処理命令に応じた再生成機能が設けられた信号生成部である。また第二高画質信号生成部２０１は実施形態１と同じ機能である。

図９の機能ブロック図における流れを図１０のフローチャートを参照して説明する。

図１０は、本発明の実施形態３に係る最適高画質信号生成部１０７ｂによる処理を説明するフローチャートである。

最適高画質信号生成処理が開始されると先ずステップＳ４１で、復号画像Ｘq_siのエッジをSobelフィルタで検出し、そのエッジ情報Ｅdge_siを取得する。次にステップＳ４２に進み、エッジ情報Ｅdge_siを正規化し、強度パラメータＦ(Amp_si)を掛け合わし、各画素の第一高画質化信号Ｐre_Diff_siを生成する。この強度パラメータＦ(Amp_si)は、Amp_siを変数とした単調増加関数である。次にステップＳ４３に進み、第二高画質信号生成部２０１は、第一高画質化信号Ｐre_Diff_siの各要素の値を±√(ＸqEmax_si)の各要素でクリッピングし、高画質化信号Ｄiff_siを生成する。次にステップＳ４４に進み、信号生成制御部９００は、予め用意したモデルＭの各要素と、高画質化信号Ｄiff_siとを比較する。そして、その相関が閾値TH以下であればステップＳ４１に戻り、相関が閾値TH以上であれば画像合成部１０８に高画質化信号Ｄiff_siを供給する。

本実施形態３では、強度パラメータＦ(Amp_si)を単調増加関数としたが、復号画像Ｘq_siの統計情報、着目スペクトルＹq_fiの情報などを変数として持つ多変数関数でも構わない。また、復号画像Ｘq_siの統計情報の統計情報だけでも構わない。

量子化最大二乗誤差ＹqEmax_fi_2の各要素は、着目スペクトルＹq_fiの統計情報などで生成されたマスクでマスキングしても構わない。

更に、量子化最大二乗誤差ＹqEmax_fi_2は、復号画像の統計情報も参照して変更しても構わない。この場合、第一逆直交変換部１０３から量子化誤差推定部１０５へ統計情報などが流れる経路を用意する。

以上が実施形態３の流れである。尚、本実施形態３は、最適高画質信号生成部１０７ｂからの情報で第一高画質信号生成部２００ａから情報をクリッピングしたが、第一高画質信号生成部２００ａからの情報を高画質信号生成部１０７ｂからスケーリングする処理でも構わない。また第一、第二の逆直交変換部１０３，１０６を共通化しても構わない。

更に前述の実施形態２に対して、本実施形態３のような司令部を設けても良い。

図１１は、本発明の実施形態３の変形例（実施形態２＋実施形態３）である汎用高画質信号生成部１０７ｃの構成を説明する機能ブロック図である。ここで図７と図９とに共通する部分は同じ記号で示し、それらの説明を省略する。

本実施形態３では、画素単位に高精細な高画質化処理を施すことができる。

また高画質化処理の強度の上限を規定したことにより、高画質化による画像破綻を回避可能となる。更に、予め設けたモデルに最も近いポスト処理が可能となる。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

本発明の実施形態に係る復号化装置の機能構成を示す機能ブロック図である。 本実施形態に係る高画質信号生成部の機能構成を説明する機能ブロック図である。 本実施形態に係る量子化誤差推定部の機能構成を説明する機能ブロック図である。 本発明の実施形態１に係る復号処理を説明するフローチャートである。 本発明の実施形態１に係る量子化誤差推定部による処理を説明するフローチャートである。 本発明の実施形態１に係る高画質信号生成部による処理を説明するフローチャートである。 本発明の実施形態２に係る汎用高画質信号生成部の構成を説明する機能ブロック図である。 本発明の実施形態２に係る汎用高画質信号生成部による処理を説明するフローチャートである。 本発明の実施形態３に係る汎用高画質信号生成部の構成を説明する機能ブロック図である。 本発明の実施形態３に係る汎用高画質信号生成部による処理を説明するフローチャートである。 本発明の実施形態３の変形例（実施形態２＋実施形態３）である汎用高画質信号生成部の構成を説明する機能ブロック図である。

Claims (20)

1. 符号化された画像を復号する復号化装置であって、
   前記符号化された画像をエントロピー復号するエントロピー復号手段と、
   前記エントロピー復号手段で復号された情報を逆量子化する逆量子化手段と、
   前記逆量子化手段から得られる信号を逆直交変換して復号画像を得る第一逆直交変換手段と、
   前記逆量子化手段から得られる信号から符号化による誤差を推定する量子化誤差推定手段と、
   前記量子化誤差推定手段で得られる情報を逆直交変換する第二逆直交変換手段と、
   前記復号画像と前記第二逆直交変換手段の出力とから、復号された画像を高画質化する信号を生成する高画質信号生成手段と、
   前記高画質信号生成手段で得られる高画質信号と前記復号画像とを合成する画像合成手段と、
   を有することを特徴とする復号化装置。
2. 前記高画質信号生成手段は、
   前記第一逆直交変換手段から出力される前記復号画像に符号付信号を加算する高画質化処理を施す第一高画質信号生成手段と、
   前記第二逆直交変換手段からの情報を用いて、前記第一高画質信号生成手段からの信号に閾値処理を施した信号を出力する第二高画質信号生成手段とを有することを特徴とする請求項１に記載の復号化装置。
3. 前記高画質信号生成手段は、
   前記第一逆直交変換手段から出力される前記復号画像に符号付信号を加算する高画質化処理を施すポスト処理手段と、
   前記復号画像と、前記ポスト処理手段でエッジ強調した第一高画質信号との差分を検出する差分検出手段と、
   前記第二逆直交変換手段からの情報と、前記差分検出手段で検出した前記差分とを用いて、前記差分検出手段からの信号に閾値処理を施した信号を出力する第二高画質信号生成手段とを有することを特徴とする請求項１に記載の復号化装置。
4. 前記高画質信号生成手段は、
   前記第一逆直交変換手段から出力される前記復号画像に符号付信号を加算する高画質化処理を施す第一高画質信号生成手段と、
   前記第二逆直交変換手段からの情報を用いて、前記第一高画質信号生成手段からの信号に閾値処理を施した信号を出力する第二高画質信号生成手段と、
   前記第二高画質信号生成手段からの信号と、予め用意したモデルとを比較して類似度を判定し、当該類似度が所定値に等しいか或はそれよりも大きいときは前記第二高画質信号生成手段からの信号を出力し、当該類似度が前記所定値よりも小さいときは前記第一高画質信号生成手段に対して再処理を行うように指示する信号生成制御手段と、
   を有することを特徴とする請求項１に記載の復号化装置。
5. 前記高画質信号生成手段は、
   前記第一逆直交変換手段から出力される前記復号画像に符号付信号を加算する高画質化処理を施すポスト処理手段と、
   前記復号画像と、前記ポスト処理手段から出力される信号と第一高画質信号との差分を検出する差分検出手段と、
   前記第二逆直交変換手段からの情報と、前記差分検出手段で検出した前記差分とを用いて、前記差分検出手段からの信号に閾値処理を施した信号を出力する第二高画質信号生成手段と、
   前記第二高画質信号生成手段からの信号と、予め用意したモデルとを比較して類似度を判定し、当該類似度が所定値に等しいか或はそれよりも大きいときは前記第二高画質信号生成手段からの信号を出力し、当該類似度が前記所定値よりも小さいときは前記ポスト処理手段に対して再処理を行うように指示する信号生成制御手段と、
   を有することを特徴とする請求項１に記載の復号化装置。
6. 前記高画質化処理は、エッジ強調処理、符号化ノイズ除去処理、動き補正処理、ＩＰ変換処理、フレームレート変換処理、色変換処理、のいずれか、或いは２つ以上の処理の組み合せを含むことを特徴とする請求項２乃至５のいずれか１項に記載の復号化装置。
7. 前記第二高画質信号生成手段は、前記第二逆直交変換手段から得られる信号の最大値で前記第一逆直交変換手段から得られる信号をスケーリングし直すことを特徴とする請求項６に記載の復号化装置。
8. 前記量子化誤差推定手段は、
   前記逆量子化手段から得られる量子化情報から周波数空間上の最大二乗誤差を推定するスペクトルを選択するスペクトル選択手段と、
   前記スペクトル選択手段で選択されたスペクトルの量子化情報をの周波数空間上の最大二乗誤差を推定する誤差推定手段と、
   を有することを特徴とする請求項１に記載の復号化装置。
9. 前記第二逆直交変換手段は、前記第一逆直交変換手段に入力される信号の二乗の信号を逆直交変換することを特徴とする請求項１に記載の復号化装置。
10. 前記画像合成手段は、前記高画質信号と前記復号画像とを加算して合成することを特徴とする請求項１に記載の復号化装置。
11. 符号化された画像を復号する復号化装置の制御方法であって、
    前記符号化された画像をエントロピー復号するエントロピー復号工程と、
    前記エントロピー復号工程で復号された情報を逆量子化する逆量子化工程と、
    前記逆量子化工程で得られる信号を逆直交変換して復号画像を得る第一逆直交変換工程と、
    前記逆量子化工程で得られる信号から符号化による誤差を推定する量子化誤差推定工程と、
    前記量子化誤差推定工程で得られる情報を逆直交変換する第二逆直交変換工程と、
    前記復号画像と前記第二逆直交変換工程の出力とから、復号された画像を高画質化する信号を生成する高画質信号生成工程と、
    前記高画質信号生成工程で得られる高画質信号と前記復号画像とを合成する画像合成工程と、
    を有することを特徴とする復号化装置の制御方法。
12. 前記高画質信号生成工程は、
    前記第一逆直交変換工程から出力される前記復号画像に符号付信号を加算する高画質化処理を施す第一高画質信号生成工程と、
    前記第二逆直交変換工程で得られる情報を用いて、前記第一高画質信号生成工程で得られる信号に閾値処理を施した信号を出力する第二高画質信号生成工程とを有することを特徴とする請求項１１に記載の復号化装置の制御方法。
13. 前記高画質信号生成工程は、
    前記第一逆直交変換工程で出力される前記復号画像に符号付信号を加算する高画質化処理を施すポスト処理工程と、
    前記復号画像と、前記ポスト処理工程でエッジ強調した第一高画質信号との差分を検出する差分検出工程と、
    前記第二逆直交変換工程で得られた情報と、前記差分検出工程で検出した前記差分とを用いて、前記差分検出工程で得られた信号に閾値処理を施した信号を出力する第二高画質信号生成工程とを有することを特徴とする請求項１１に記載の復号化装置の制御方法。
14. 前記高画質信号生成工程は、
    前記第一逆直交変換工程で出力される前記復号画像に符号付信号を加算する高画質化処理を施す第一高画質信号生成工程と、
    前記第二逆直交変換工程で得られた情報を用いて、前記第一高画質信号生成工程からの信号に閾値処理を施した信号を出力する第二高画質信号生成工程と、
    前記第二高画質信号生成工程で得られた信号と、予め用意したモデルとを比較して類似度を判定し、当該類似度が所定値に等しいか或はそれよりも大きいときは前記第二高画質信号生成工程からの信号を出力し、当該類似度が前記所定値よりも小さいときは前記第一高画質信号生成工程に対して再処理を行うように指示する信号生成制御工程と、
    を有することを特徴とする請求項１１に記載の復号化装置の制御方法。
15. 前記高画質信号生成工程は、
    前記第一逆直交変換工程で出力される前記復号画像に符号付信号を加算する高画質化処理を施すポスト処理工程と、
    前記復号画像と、前記ポスト処理工程で出力される信号と第一高画質信号との差分を検出する差分検出工程と、
    前記第二逆直交変換工程で得られた情報と、前記差分検出工程で検出した前記差分とを用いて、前記差分検出工程で得られた信号に閾値処理を施した信号を出力する第二高画質信号生成工程と、
    前記第二高画質信号生成工程で得られた信号と、予め用意したモデルとを比較して類似度を判定し、当該類似度が所定値に等しいか或はそれよりも大きいときは前記第二高画質信号生成工程で得られた信号を出力し、当該類似度が前記所定値よりも小さいときは前記ポスト処理工程に対して再処理を行うように指示する信号生成制御工程と、
    を有することを特徴とする請求項１１に記載の復号化装置の制御方法。
16. 前記高画質化処理は、エッジ強調処理、符号化ノイズ除去処理、動き補正処理、ＩＰ変換処理、フレームレート変換処理、色変換処理、のいずれか、或いは２つ以上の処理の組み合せを含むことを特徴とする請求項１２乃至１５のいずれか１項に記載の復号化装置の制御方法。
17. 前記第二高画質信号生成工程は、前記第二逆直交変換工程から得られる信号の最大値で前記第一逆直交変換工程から得られる信号をスケーリングし直すことを特徴とする請求項１６に記載の復号化装置の制御方法。
18. 前記量子化誤差推定工程は、
    前記逆量子化工程で得られる量子化情報から周波数空間上の最大二乗誤差を推定するスペクトルを選択するスペクトル選択工程と、
    前記スペクトル選択工程で選択されたスペクトルの量子化情報をの周波数空間上の最大二乗誤差を推定する誤差推定工程と、
    を有することを特徴とする請求項１１に記載の復号化装置の制御方法。
19. 前記第二逆直交変換工程は、前記第一逆直交変換工程に入力される信号の二乗の信号を逆直交変換することを特徴とする請求項１１に記載の復号化装置の制御方法。
20. 前記画像合成工程は、前記高画質信号と前記復号画像とを加算して合成することを特徴とする請求項１１に記載の復号化装置の制御方法。

Images