以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としてのデジタル放送受信機100の構成を示している。
このデジタル放送受信機100は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ101と、リモートコントロール信号を受信するリモコン信号受信回路102とを有している。リモコン信号受信回路102は、システムコントローラ101に接続され、リモコン送信機200よりユーザの操作に応じて出力されるリモートコントロール信号RMを受信し、その信号RMに対応する操作信号をシステムコントローラ101に供給するように構成されている。
また、デジタル放送受信機100は、受信アンテナ105と、この受信アンテナ105で捕らえられた放送信号(RF変調信号)が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのMPEG2ストリームを得るチューナ部106とを有している。
また、デジタル放送受信機100は、チューナ部106より出力されるMPEG2ストリームを復号化して画像信号Vaを得るMPEG2復号化器107と、このMPEG2復号化器107より出力される画像信号を一時的に格納するバッファメモリ108とを有している。
また、デジタル放送受信機100は、バッファメモリ108に記憶されている画像信号Vaを、ユーザ所望の画質を提示する画像信号Vbに変換する画像信号処理部110と、この画像信号処理部110より出力される画像信号による画像を表示するディスプレイ部111とを有している。ディスプレイ部111は、例えばCRT(cathode-ray tube)ディスプレイ、あるいはLCD(liquid crystal display)等の表示器で構成されている。
図1に示すデジタル放送受信機100の動作を説明する。
チューナ部106より出力されるMPEG2ストリームはMPEG2復号化器107に供給されて復号化される。そして、この復号化器107より出力される画像信号Vaは、バッファメモリ108に供給されて一時的に格納される。
このようにバッファメモリ108に記憶されている画像信号Vaは画像信号処理部110に供給され、ユーザ所望の画質を提示する画像信号Vbに変換される。この画像信号処理部110では、画像信号Vaを構成する画素データから、画像信号Vbを構成する画素データが得られる。
画像信号処理部110より出力される画像信号Vbはディスプレイ部111に供給され、このディスプレイ部111の画面上にはその画像信号Vbによる画像が表示される。
ユーザは、リモコン送信機200の操作によって、上述したようにディスプレイ部111の画面上に表示される画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を調整できる。画像信号処理部110では、後述するように、画像信号Vbの画素データが推定式によって算出される。この推定式の係数データとして、ユーザのリモコン送信機200の操作によって変更されたパラメータpの値に対応したものが、このパラメータpを含む生成式によって生成されて使用される。これにより、画像信号処理部110より出力される画像信号Vbによる画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度は、変更されたパラメータpの値に対応したものとなる。
次に、画像信号処理部110の詳細を説明する。
画像信号処理部110は、バッファメモリ108に記憶されている画像信号Vaより、画像信号Vbにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第1、第2のタップ選択回路121,122を有している。
第1のタップ選択回路121は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。第2のタップ選択回路122は、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。予測タップおよびクラスタップの画素データは、それぞれ画像信号Vbにおける注目位置の周辺に位置する画素データである。
ここで、注目位置の周辺とは、注目位置に対して空間的(水平方向、垂直方向)および時間的(フレーム方向)に近い位置であることを意味している。
図2Aは予測タップの配置の一例を示し、図2Bはクラスタップの配置の一例を示している。これらの図2A,Bにおいて、「○」はタップの位置を示し、「×」は注目位置を示している。本実施の形態においては、現フィールド(実線図示)と前フィールド(破線図示)における7個の画素データが、予測タップの画素データとして取り出され、また現フィールド(実線図示)と前フィールド(破線図示)における13個の画素データが、クラスタップの画素データとして取り出される。
図1に戻って、また、画像信号処理部110は、第2のタップ選択回路122で選択的に取り出されるクラスタップの画素データから特徴量を抽出する特徴量抽出部123を有している。特徴量抽出部123では、クラスタップの画素データに1ビットのADRC(Adaptive Dynamic Range Coding)等の処理を施すことによって、空間クラスを示す第1のクラス情報としてのADRCコードを生成する。
ADRCは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。1ビットのADRCの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が1ビットに変換される。ADRC処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ADRCに限らず、VQ(ベクトル量子化)等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
また、画像信号処理部110は、付加情報クラス生成部124を有している。この付加情報クラス生成部124は、MPEG2ストリームを復号化する際に用いられる付加情報に基づいて、付加情報クラスを示す第2のクラス情報を生成する。本実施の形態において、この付加情報は、MPEG2復号化器107でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)である。
また、画像信号処理部110は、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成部125を有している。
また、画像信号処理部110は、係数メモリ126を有している。この係数メモリ126は、後述する推定予測演算回路127で使用される推定式で用いられる複数の係数データWi(i=1〜n)を、クラス毎に、格納するものである。この係数データWiは、画像信号Vaを画像信号Vbに変換するための情報である。係数メモリ126には上述したクラスコード生成部125より出力されるクラスコードCLが読み出しアドレス情報として供給され、この係数メモリ126からはクラスコードCLに対応した推定式の係数データWiが読み出されて、推定予測演算回路127に供給される。
また、画像信号処理部110は、情報メモリバンク128を有している。推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとから、(1)式の推定式によって、作成すべき画像信号Vbにおける注目位置の画素データyが演算される。(1)式のnは、第1のタップ選択回路121で選択される予測タップの数を表している。
この推定式の係数データWiは、(2)式に示すように、パラメータpを含む生成式によって生成される。情報メモリバンク128には、この生成式における係数データである係数種データwi0〜wi3が、クラス毎に、格納されている。
Wi=wi0+wi1p+wi2p2+wi3p3 ・・・(2)
また、画像信号処理部110は、各クラスの係数種データwi0〜wi3およびパラメータpの値とを用い、(2)式によって、クラス毎に、パラメータpの値に対応した推定式の係数データWi(i=1〜n)を生成する係数生成回路129を有している。この係数生成回路129には、情報メモリバンク128より、上述した各クラスの係数種データwi0〜wi3がロードされる。また、この係数生成回路129には、システムコントローラ101より、パラメータpの値が供給される。
この係数生成回路129で生成される各クラスの係数データWi(i=1〜n)は、上述した係数メモリ126に格納される。この係数生成回路129における各クラスの係数データWiの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機200の操作によってパラメータpの値が変更されても、係数メモリ126に格納される各クラスの係数データWiを、そのパラメータpの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
ここで、上述したように情報メモリバンク128に格納されている係数種データwi0〜wi3についてさらに説明する。この係数種データwi0〜wi3は、上述したMPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化された、MPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成される。
すなわち、この係数種データwi0〜wi3は、それぞれパラメータpの複数の値に応じて生成され、画像信号Vaに対応した複数の生徒信号と、画像信号Vbに対応した教師信号とを用いて予め生成される。この場合、生徒信号は、教師信号をMPEG2符号化して得られたMPEG2ストリームを復号化することで得られ、この復号化の過程でパラメータpの値に応じて信号を変化させることで、当該パラメータpの値に対応した生徒信号が得られる。本実施の形態においては、パラメータpの値に応じて、逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vbによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vbによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vbによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能となる。
また例えば、少なくともDCT係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vbによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能となる。
また、画像信号処理部110は、第1のタップ選択回路121で選択的に取り出される予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとから、(1)式の推定式によって、作成すべき画像信号Vbにおける注目位置の画素データyを演算する推定予測演算回路127を有している。
次に、画像信号処理部110の動作を説明する。
バッファメモリ108に記憶されている画像信号Vaより、第2のタップ選択回路122で、作成すべき画像信号Vbにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器107でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部124に供給される。この付加情報クラス生成部124では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報はクラスコード生成部125に供給される。このクラスコード生成部125では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。
このクラスコードCLは、画像信号Vbにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードCLは、係数メモリ126に読み出しアドレス情報として供給される。係数メモリ126には、例えば各垂直ブランキング期間に、係数生成回路129で、ユーザによって調整されたパラメータpの値に対応して、クラス毎に、係数種データwi0〜wi3を用いて推定式の係数データWi(i=1〜n)が求められて格納される((2)式参照)。
係数メモリ126に上述したようにクラスコードCLが読み出しアドレス情報として供給されることで、この係数メモリ126からクラスコードCLに対応した係数データWiが読み出されて、推定予測演算回路127に供給される。また、バッファメモリ108に記憶されている画像信号Vaより、第1のタップ選択回路121で、画像信号Vbにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとを用いて、推定式((1)式参照)に基づいて、作成すべき画像信号Vbにおける注目位置の画素データyが求められる。
このように、画像信号処理部110では、パラメータpの値に対応した推定式の係数データWi(i=1〜n)が使用されて、画素データyが演算される。したがって、ユーザは、パラメータpの値を変更することで、画像信号Vbによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
また、係数データWiを生成するための係数種データwi0〜wi3は、上述したMPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Vbによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
次に、係数種データwの生成方法の一例について説明する。この例においては、上述した(2)式の生成式における係数データである係数種データwi0〜wi3を求める例を示すものとする。
ここで、以下の説明のため、(3)式のように、tj(j=0〜3)を定義する。
t0=1,t1=p,t2=p2,t3=p3 ・・・(3)
この(3)式を用いると、(2)式は、(4)式のように書き換えられる。
最終的に、学習によって未定係数wijを求める。すなわち、クラス毎に、画像信号Vaに対応する生徒信号の画素データと、画像信号Vbに対応する教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、(1)式および(2)式を用いて、Eは(5)式で表される。ここで、xikは生徒信号のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応するk番目の教師信号の画素データを表している。
最小二乗法による解法では、(5)式のwijによる偏微分が0になるようなwijを求める。これは、(6)式で示される。
以下、(7)式、(8)式のように、Xipjq、Yipを定義すると、(6)式は、(9)式のように行列を用いて書き換えられる。
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wijについて解かれ、係数種データが算出される。
図3は、上述した係数種データの生成方法の一例の概念を示している。画像信号Vbに対応した教師信号から、画像信号Vaに対応した複数の生徒信号を生成する。例えば、パラメータpを9段階に可変して、9種類の生徒信号を生成する。このようにして生成された複数の生徒信号と教師信号との間で学習を行って係数種データを生成する。
図4は、上述したデジタル放送受信機100の情報メモリバンク128に格納される係数種データwi0〜wi3を生成するための係数種データ生成装置150の構成を示している。
この係数種データ生成装置150は、画像信号Vbに対応した教師信号STが入力される入力端子151と、この教師信号に対して符号化を行ってMPEG2ストリームを得るMPEG2符号化器152と、このMPEG2ストリームに対して復号化を行って生徒信号SSを得るMPEG2復号化器153とを有している。このMPEG2復号化器153には、パラメータpの値が入力される。
この復号化器153では、復号化の過程で、パラメータpの値に応じて信号が変化するようにされ、当該パラメータpの値に対応した生徒信号が得られる。本実施の形態では、逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。
ここで、DCTでは、画素値f(i,j)に対するDCT係数(周波数係数)F(u,v)は、(10)式で与えられる。一方、逆DCTでは、DCT係数(周波数係数)F(u,v)に対する画素値f(i,j)は、(11)式で与えられる。ここで、C(w)=1/√2(w=0)、C(w)=1(w≠0)である。このように、逆DCTにおいて、画素値f(i,j)は、DCT係数(周波数係数)と逆変換基底との積和演算で求められる。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。ここで、元のAC係数をAC[m]、ゲインをgainとすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]*gainとなる。この場合、各AC係数の間の相関関係は保持できることから、このようにして得られる複数の生徒信号を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vbによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。ここで、元のDC係数をDC[m]、元の量子化ステップをQst、新たな量子化ステップをnewQstとすると、新たなDC係数をnewDC[m]は、newDC[m]={DC[m]*Qst/newQst}となる。{}は整数演算を表している。この場合、DC係数の変動を操作可能となり、このようにして得られる複数の生徒信号を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vbによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。ここで、元のAC係数をAC[m]、ゲインをgain[m]とすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]*gain[m]となる。この場合、各AC係数の間の相関関係を段階的に崩すものであり、このようにして得られる複数の生徒信号を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vbによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、少なくともDCT係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。元のAC係数をAC[m]、ランダムノイズをrdmNとすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]+rdmNとなる。同様に、元のDC係数をDC[m]、ランダムノイズをrdmNとすると、新たなDC係数newDC[m]は、newDC[m]=DC[m]+rdmNとなる。また同様に、元の基底をREF[m]、ランダムノイズをrdmNとすると、新たな基底newREF[m]は、newREF=REF[m]+rdmNとなる。この場合、ランダムノイズのレベルを段階的に切り換えることにより、それによって得られる複数の生徒信号を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vbによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能なものとなる。
図6は、MPEG2復号化器153の構成を示している。
この復号化器153は、MPEG2ストリームが入力される入力端子181と、この入力端子181に入力されたMPEG2ストリームを一時的に格納するストリームバッファ182とを有している。
また、この復号化器153は、ストリームバッファ182に格納されているMPEG2ストリームより周波数係数としてのDCT(Discrete Cosine Transform:離散コサイン変換)係数を抽出する抽出回路183と、この抽出回路183で抽出された可変長符号化、例えばハフマン符号化されているDCT係数に対して可変長復号化を行う可変長復号化回路184とを有している。
また、この復号化器153は、ストリームバッファ182に格納されているMPEG2ストリームより量子化特性指定情報を抽出する抽出回路185と、この抽出回路185で抽出される量子化特性指定情報に基づいて、可変長復号化回路184より出力される量子化DCT係数に対して逆量子化を行う逆量子化回路186と、逆量子化回路186より出力されるDCT係数に対して逆DCTを行う逆DCT回路187とを有している。
また、復号化器153は、Iピクチャ(Intra-Picture)およびPピクチャ(Predictive-Picture)の画像信号をメモリ(図示せず)に記憶すると共に、これらの画像信号を用いて逆DCT回路187からPピクチャまたはBピクチャ(Bidirectionally predictive-Picture)の画像信号が出力されるとき、対応する参照画像信号Vrefを生成して出力する予測メモリ回路188を有している。
また、復号化器153は、逆DCT回路187からPピクチャまたはBピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路188で生成された参照画像信号Vrefを加算する加算回路189を有している。なお、逆DCT回路187からIピクチャの画像信号が出力されるとき、予測メモリ回路188から加算回路189に参照画像信号Vrefは供給されず、従って加算回路189からは逆DCT回路187より出力されるIピクチャの画像信号がそのまま出力される。
また、復号化器153は、加算回路189より出力されるIピクチャおよびPピクチャの画像信号を予測メモリ回路188に供給してメモリに記憶させると共に、この加算回路189より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路190と、このピクチャ選択回路190より出力される画像信号を出力する出力端子191とを有している。
また、復号化器153は、ストリームバッファ182に格納されているMPEG2ストリームより符号化制御情報、すなわちピクチャ情報PI、動きベクトル情報MIを抽出する抽出回路192と、この符号化制御情報を出力する出力端子193とを有している。この抽出回路192で抽出される動きベクトル情報MIは予測メモリ回路188に供給され、予測メモリ回路188ではこの動きベクトル情報MIを用いて参照画像信号Vrefを生成する際に動き補償が行われる。また、抽出回路192で抽出されるピクチャ情報PIは予測メモリ回路188、ピクチャ選択回路190に供給され、これら予測メモリ回路188、ピクチャ選択回路190ではこのピクチャ情報PIに基づいてピクチャの識別が行われる。
図6に示すMPEG2復号化器153の動作を説明する。
ストリームバッファ182に記憶されているMPEG2ストリームが抽出回路183に供給されて周波数係数としてのDCT係数が抽出される。このDCT係数は可変長符号化されており、このDCT係数は可変長復号化回路184に供給されて復号化される。そして、この可変長復号化回路184より出力される量子化DCT係数が逆量子化回路186に供給されて逆量子化が施される。
逆量子化回路186より出力されるDCT係数に対して逆DCT回路187で逆DCTが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路189を介してピクチャ選択回路190に供給される。この場合、PピクチャおよびBピクチャの画像信号に対しては、加算回路189で予測メモリ回路188より出力される参照画像信号Vrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路190で正しい順に並べ直されて出力端子191に出力される。
図4に戻って、また、係数種データ生成装置150は、MPEG2復号化器153より出力される生徒信号SSより、教師信号STにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第1のタップ選択回路154および第2のタップ選択回路155を有している。これら第1、第2のタップ選択回路154,155は、それぞれ上述した画像信号処理部110の第1,第2のタップ選択回路121,122と同様に構成される。
また、係数種データ生成装置150は、第2のタップ選択回路155で選択的に取り出されるクラスタップの画素データから特徴量を抽出する特徴量抽出部156を有している。この特徴量抽出部156は、上述した画像信号処理部110の特徴量抽出部123と同様に構成され、空間クラスを示す第1のクラス情報としてのADRCコードを生成する。
また、係数種データ生成装置150は、MPEG2復号化器153でMPEG2ストリームより抽出される符号化情報(ピクチャ情報PI、動きベクトル情報MI)に基づいて、付加情報クラスを示す第2のクラス情報を生成する付加情報クラス生成部157を有している。この付加情報クラス生成部157は、上述した画像信号処理部110の付加情報クラス生成部124と同様に構成される。
また、係数種データ生成装置150は、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部157で生成される第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成部158を有している。このクラスコード生成部158は、上述した画像信号処理部110のクラスコード生成部125と同様に構成される。このクラスコードCLは、教師信号STにおける注目位置の画素データyの属するクラスを示すものである。
また、係数種データ生成装置150は、入力端子151に供給される教師信号STの時間調整を行うための遅延回路159と、この遅延回路159で時間調整された教師信号STから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路154で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとから、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((9)式参照)を生成する正規方程式生成部160を有している。
この場合、1個の画素データyとそれに対応するn個の予測タップの画素データxiとの組み合わせで1個の学習データが生成されるが、パラメータpの値に応じてMPEG2復号化器153で複数の生徒信号SSが順次生成されていき、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部160では、パラメータpの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データwi0〜wi3を求めることが可能となる。
また、係数種データ生成装置150は、正規方程式生成部160で、クラス毎に生成された正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、係数種データwi0〜wi3を求める係数種データ決定部161と、この求められた係数種データを格納する係数種メモリ162とを有している。係数種データ決定部161では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
図4に示す係数種データ生成装置150の動作を説明する。
入力端子151には画像信号Vbに対応した教師信号STが供給され、そしてこの教師信号STに対してMPEG2符号化器152で、符号化が施されてMPEG2ストリームが生成される。このMPEG2ストリームは、MPEG2復号化器153に供給される。
このMPEG2復号化器153には、パラメータpの値が入力され、復号化の過程で、当該パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じて逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。これにより、パラメータpの値に対応した生徒信号SSが得られる。
また、MPEG2復号化器153より出力される生徒信号SSより、第2のタップ選択回路155で、教師信号STにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップの画素データに基づいて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
また、MPEG2復号化器153でMPEG2ストリームより抽出される符号化情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部157に供給される。この付加情報クラス生成部157では、符号化情報に基づいて付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)と、付加情報クラス生成部157で生成される第2のクラス情報は、それぞれクラスコード生成部158に供給される。このクラスコード生成部158では、第1のクラス情報および第2のクラス情報に基づいて、教師信号STにおける注目位置の画素データyが属するクラス(クラス分類の結果)を示すクラスコードCLが生成される。
また、MPEG2復号化器153より出力される生徒信号SSより、第1のタップ選択回路154で、教師信号STにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
そして、遅延回路159で時間調整された教師信号STから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路154で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとを用いて、正規方程式生成部160では、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((9)式参照)が生成される。
そして、係数種データ決定部161で各正規方程式が解かれ、クラス毎の係数種データwi0〜wi3が求められ、それらの係数種データwi0〜wi3は係数種メモリ162に格納される。
このように、図4に示す係数種データ生成装置150においては、図1の画像信号処理部110の情報メモリバンク128に格納される、クラス毎の、推定式((1)式参照)で用いられる係数データWiを求めるための生成式((2)式参照)における係数データである係数種データwi0〜wi3を生成することができる。
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した(2)式の生成式における係数データである係数種データwi0〜wi3を求める例を示すものとする。
図7は、この例の概念を示している。教師信号から複数の生徒信号を生成する。例えば、パラメータpの値を9段階に可変して、9種類の生徒信号を生成する。このようにして生成された各生徒信号と教師信号との間で学習を行って、(1)式の推定式の係数データWiを生成する。そして、各生徒信号に対応して生成された係数データWiを使用して、(2)式の生成式における係数データである係数種データwi0〜wi3を生成する。
まず、推定式の係数データの求め方を説明する。ここでは、(1)式の推定式の係数データWi(i=1〜n)を最小二乗法により求める例を示すものとする。
上述の、(1)式において、学習前は係数データW1 ,W2,‥‥,Wn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がmの場合、(1)式に従って、以下に示す(12)式が設定される。nは予測タップの数を示している。
yk =W1 ×xk1+W2 ×xk2+‥‥+Wn ×xkn ・・・(12)
(k=1,2,‥‥,m)
m>nの場合、係数データW1 ,W2,‥‥,Wnは、一意に決まらないので、誤差ベクトルeの要素ekを、以下の式(13)で定義して、(14)式のe2を最小にする係数データを求める。いわゆる最小2乗法によって係数データを一意に定める。
ek=yk−{w1×xk1+w2×xk2+‥‥+wn×xkn} ・・・(13)
(k=1,2,‥‥m)
(14)式のe2を最小とする係数データを求めるための実際的な計算方法としては、まず、(15)式に示すように、e2を係数データWi(i=1,2,・・・,n)で偏微分し、iの各値について偏微分値が0となるように係数データWiを求めればよい。
(15)式から係数データWiを求める具体的な手順について説明する。(16)式、(17)式のようにXji,Yi を定義すると、(15)式は、(18)式の行列式の形に書くことができる。
(18)式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法(Gauss-Jordanの消去法)等の一般解法で解くことにより、係数データWi(i=1,2,・・・,n)を求めることができる。
次に、各生徒信号に対応して生成された係数データWiを使用した、係数種データの求め方を説明する。
パラメータpの値に対応した生徒信号を用いた学習による、あるクラスの係数データが、kpiになったとする。ここで、iは予測タップの番号である。このkpiから、このクラスの係数種データを求める。
係数データWi(i=1〜n)は、係数種データwi0〜wi3を使って、上述した(2)式で表現される。ここで、係数データWiに対して最小二乗法を使用することを考えると、残差は、(19)式で表される。
ここで、tjは、上述の(3)式に示されている。(19)式に最小二乗法を作用させると、(20)式が得られる。
ここで、Xjk,Yjをそれぞれ(21)式、(22)式のように定義すると、(20)式は(23)式のように書き換えられる。この(23)式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データwi0〜wi3を算出することができる。
図8は、図7に示す概念に基づいて係数種データを生成する係数種データ生成装置150Aの構成を示している。この図8において、図4と対応する部分には同一符号を付し、その詳細説明は省略する。
係数種データ生成装置150Aは、遅延回路159で時間調整された教師信号STより得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路154で選択的に取り出される予測タップの画素データxiと、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとから、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式((18)式参照)を生成する正規方程式生成部163を有している。
この場合、1個の画素データyとそれに対応するn個の予測タップの画素データxiとの組み合わせで1個の学習データが生成されるが、パラメータpの値に応じてMPEG2復号化器153で複数の生徒信号SSが順次生成されていき、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部163では、各生徒信号のそれぞれに対応して、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式が生成される。
また、係数種データ生成装置150Aは、正規方程式生成部163で生成された正規方程式のデータが供給され、その正規方程式を解いて、各生徒信号にそれぞれ対応した、各クラスの係数データWiを求める係数データ決定部164と、パラメータpの値および各生徒信号にそれぞれ対応した係数データWiとを使用して、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((23)式参照)を生成する正規方程式生成部165とを有している。
また、係数種データ生成装置150Aは、正規方程式生成部165でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データwi0〜wi3を求める係数種データ決定部166と、この求められた係数種データwi0〜wi3を格納する係数種メモリ162とを有している。
図8に示す係数種データ生成装置150Aのその他は、図4に示す係数種データ生成装置150と同様に構成される。
次に、図8に示す係数種データ生成装置150Aの動作を説明する。
入力端子151には画像信号Vbに対応した教師信号STが供給され、そしてこの教師信号STに対してMPEG2符号化器152で、符号化が施されてMPEG2ストリームが生成される。このMPEG2ストリームは、MPEG2復号化器153に供給される。
このMPEG2復号化器153には、パラメータpの値が入力され、復号化の過程で、当該パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じて逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。これにより、パラメータpの値に対応した生徒信号SSが得られる。
また、MPEG2復号化器153より出力される生徒信号SSより、第2のタップ選択回路155で、教師信号STにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップの画素データに基づいて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
また、MPEG2復号化器153でMPEG2ストリームより抽出される符号化情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部157に供給される。この付加情報クラス生成部157では、符号化情報に基づいて付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)と、付加情報クラス生成部157で生成される第2のクラス情報は、それぞれクラスコード生成部158に供給される。このクラスコード生成部158では、第1のクラス情報および第2のクラス情報に基づいて、教師信号STにおける注目位置の画素データyが属するクラス(クラス分類の結果)を示すクラスコードCLが生成される。
また、MPEG2復号化器153より出力される生徒信号SSより、第1のタップ選択回路154で、教師信号STにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
そして、遅延回路159で時間調整された教師信号STから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路154で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとを用いて、正規方程式生成部163では、MPEG2復号化器153より出力される、パラメータpの複数の値にそれぞれ対応した複数の生徒信号SSについて、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式((18)式参照)が生成される。
そして、係数データ決定部164でその正規方程式が解かれ、複数の生徒信号SSのそれぞれ対応した、各クラスの係数データWiが求められる。正規方程式生成部165では、この複数の生徒信号SSのそれぞれ対応した各クラスの係数データWiを用いて、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((23)式参照)が生成される。
そして、係数種データ決定部166でその正規方程式が解かれ、各クラスの係数種データwi0〜wi3が求められ、その係数種データwi0〜wi3は係数種メモリ162に格納される。
このように、図8に示す係数種データ生成装置150Aにおいても、図1の画像信号処理部110の情報メモリバンク128に格納される、各クラスの係数種データwi0〜wi3を生成することができる。
図1の画像信号処理部110では、係数データWi(i=1〜n)を生成するために(2)式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
また、図1の画像信号処理部110では、特徴量抽出部123より出力される空間クラスを示す第1のクラス情報(ADRCコード)の他に、付加情報クラス生成部124で生成された付加情報クラスを示す第2のクラス情報にも基づいて、クラスコード生成部125ではクラスコードCLを生成するものであるが、第1のクラス情報のみを用いてクラスコードCLを生成してもよい。ただし、第2のクラス情報をも加味してクラスコードCLを生成することで、より細かなクラス分けを行うことができ、画像信号Vbの画素データの生成精度を高めることができる。
なお、図1の画像信号処理部110における処理を、例えば図9に示すような画像信号処理装置300によって、ソフトウェアで実現することも可能である。
まず、図9に示す画像信号処理装置300について説明する。この画像信号処理装置300は、装置全体の動作を制御するCPU301と、このCPU301の動作プログラムや係数種データ等が格納されたROM(read only memory)302と、CPU301の作業領域を構成するRAM(random access memory)303とを有している。これらCPU301、ROM302およびRAM303は、それぞれバス304に接続されている。
また、画像信号処理装置300は、外部記憶装置としてのハードディスクドライブ(HDD)305と、フロッピー(登録商標)ディスク306をドライブするドライブ(FDD)307とを有している。これらドライブ305,307は、それぞれバス304に接続されている。
また、画像信号処理装置300は、インターネット等の通信網400に有線または無線で接続する通信部308を有している。この通信部308は、インタフェース309を介してバス304に接続されている。
また、画像信号処理装置300は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機200からのリモコン信号RMを受信するリモコン信号受信回路310と、LCD(liquid crystal display)等からなるディスプレイ311とを有している。受信回路310はインタフェース312を介してバス304に接続され、同様にディスプレイ311はインタフェース313を介してバス304に接続されている。
また、画像信号処理装置300は、画像信号Vaを入力するための入力端子314と、画像信号Vbを出力するための出力端子315とを有している。入力端子314はインタフェース316を介してバス304に接続され、同様に出力端子315はインタフェース317を介してバス304に接続される。
ここで、上述したようにROM302に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網400より通信部308を介してダウンロードし、ハードディスクやRAM303に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー(登録商標)ディスク306で提供するようにしてもよい。
また、処理すべき画像信号Vaを入力端子314より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網400より通信部308を介してダウンロードしてもよい。また、処理後の画像信号Vbを出力端子315に出力する代わり、あるいはそれと並行してディスプレイ311に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部308を介してインターネットなどの通信網400に送出するようにしてもよい。
図10のフローチャートを参照して、図9に示す画像信号処理装置300における、画像信号Vaより画像信号Vbを得るため処理手順を説明する。
まず、ステップST1で、処理を開始し、ステップST2で、例えば入力端子314より装置内に1フレーム分または1フィールド分の画像信号Vaを入力する。このように入力端子314より入力される画像信号Vaを構成する画素データはRAM303に一時的に格納される。なお、この画像信号Vaが装置内のハードディスクドライブ307に予め記録されている場合には、このドライブ307からこの画像信号Vaを読み出し、この画像信号Vaを構成する画素データをRAM303に一時的に格納する。
そして、ステップST3で、画像信号Vaの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップST4で、処理を終了する。一方、処理が終わっていないときは、ステップST5に進む。
このステップST5では、ユーザのリモコン送信機200の操作によって入力された画質指定値であるパラメータpの値を、例えばRAM303より取得する。そして、ステップST6で、パラメータPの値、各クラスの係数種データを用いて、生成式(例えば(2)式)によって、各クラスの推定式((1)式参照)の係数データWiを生成する。
次に、ステップST7で、ステップST2で入力された画像信号Vaより、画像信号Vbにおける注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップST8で、ステップST2で入力された1フレーム分または1フィールド分の画像信号Vaの画素データの全領域において画像信号Vbの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップST2に戻り、次の1フレーム分または1フィールド分の画像信号Vaの入力処理に移る。一方、処理が終了していないときは、ステップST9に進む。
このステップST9では、ステップST7で取得されたクラスタップの画素データからクラスコードCLを生成する。そして、ステップST10で、そのクラスコードCLに対応した係数データWiと予測タップの画素データを使用して、推定式により、画像信号Vbにおける注目位置の画素データを生成し、その後にステップST7に戻って、上述したと同様の処理を繰り返す。
このように、図10に示すフローチャートに沿って処理をすることで、入力された画像信号Vaの画素データを処理して、画像信号Vbの画素データを得ることができる。上述したように、このように処理して得られた画像信号Vbは出力端子315に出力されたり、ディスプレイ311に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ305に供給されてハードディスクに記録されたりする。
なお、ステップST9では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、入力端子314からは画像信号Vaの他に、この画像信号Vaに関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)も入力されるようにし、図1の画像信号処理部110におけると同様に、この符号化制御情報をも用いてクラスコードCLを生成するようにしてもよい。
また、処理装置の図示は省略するが、図4の係数種データ生成装置150における処理を、ソフトウェアで実現することも可能である。
図11のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップST21で、処理を開始し、ステップST22で、学習に使われる、画質パターン(パラメータpの値で特定される)を選択する。そして、ステップST23で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップST24に進む。
このステップST24では、教師信号を1フレーム分または1フィールド分だけ入力する。そして、ステップST25で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了したときは、ステップST22に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップST26に進む。
このステップST26では、ステップST24で入力された教師信号より、ステップST22で選択された画質パターンに基づいて、生徒信号を生成する。そして、ステップST27で、ステップST26で生成された生徒信号より、ステップST24で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップST28で、ステップST24で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップST24に戻って、次の1フレーム分または1フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップST29に進む。
このステップST29では、ステップST27で取得されたクラスタップの画素データからクラスコードCLを生成する。そして、ステップST30で、正規方程式((9)式参照)を生成する。その後に、ステップST27に戻る。
また、ステップST23で、全ての画質パターンに対して学習が終わったときは、ステップST31に進む。このステップST31では、正規方程式を掃き出し法等で解くことによって、各クラスの係数種データを算出し、ステップST32で、その係数種データをメモリに保存し、その後にステップST33で、処理を終了する。
このように、図11に示すフローチャートに沿って処理をすることで、図4に示す係数種データ生成装置150と同様の手法によって、係数種データを得ることができる。
なお、ステップST29では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、図4の係数種データ生成装置150と同様に、生徒信号に関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)をも用いてクラスコードCLを生成するようにしてもよい。
また、処理装置の図示は省略するが、図8の係数種データ生成装置150Aにおける処理も、ソフトウェアで実現可能である。
図12のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップST41で、処理を開始し、ステップST42で、学習に使われる、画質パターン(パラメータpの値で特定される)を選択する。そして、ステップST43で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップST44に進む。
このステップST44では、教師信号を1フレーム分または1フィールド分だけ入力する。そして、ステップST45で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップST46で、ステップST44で入力された教師信号より、ステップST42で選択された画質パターンに基づいて、生徒信号を生成する。
そして、ステップST47で、ステップST46で生成された生徒信号より、ステップST44で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップST48で、ステップST44で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップST44に戻って、次の1フレーム分または1フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップST49に進む。
このステップST49では、ステップST47で取得されたクラスタップの画素データからクラスコードCLを生成する。そして、ステップST50で、係数データを得るための正規方程式((18)式参照)を生成する。その後に、ステップST47に戻る。
上述したステップST45で、処理が終了したときは、ステップST51で、ステップST50で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップST42に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
また、上述のステップST43で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップST52に進む。このステップST52では、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式((23)式参照)を生成する。
そして、ステップST53で、ステップST52で生成された正規方程式を掃き出し法等で解くことによって、各クラスの係数種データを算出し、ステップST54で、その係数種データをメモリに保存し、その後にステップST55で、処理を終了する。
このように、図12に示すフローチャートに沿って処理をすることで、図8に示す係数種データ生成装置150Aと同様の手法によって、係数種データを得ることができる。
なお、ステップST49では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、図8の係数種データ生成装置150Aと同様に、生徒信号に関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)をも用いてクラスコードCLを生成するようにしてもよい。
次に、この発明の他の実施の形態について説明する。
図13は、他の実施の形態としてのデジタル放送受信機100Aの構成を示している。この図13において、図1と対応する部分には同一符号を付して示している。
デジタル放送受信機100Aは、図1に示すデジタル放送受信機100の画像信号処理部110が画像信号処理部110Aに置き換えられたものであって、デジタル放送受信機100と同様の動作をする。
画像信号処理部110Aの詳細を説明する。この画像信号処理部110Aにおいて、図1に示す画像信号処理部110と対応する部分には同一符号を付し、その詳細説明は省略する。
この画像信号処理部110Aは、情報メモリバンク128Aを有している。この情報メモリバンク128Aには、クラスおよびパラメータpの値の組み合わせ毎に、係数データWi(i=1〜n)が予め格納されている。この係数データWiの生成方法については後述する。
このように情報メモリバンク128Aに格納されている係数データWiも、上述した図1の画像信号処理部110の情報メモリバンク128に格納されている係数種データwi0〜wi3と同様に、MPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化された、MPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成される。
すなわち、この係数データWiは、それぞれパラメータpの複数の値に応じて生成され、画像信号Vaに対応した複数の生徒信号と、画像信号Vbに対応した教師信号とを用いて予め生成される。
この場合、生徒信号は、教師信号をMPEG2符号化して得られたMPEG2ストリームを復号化することで得られ、この復号化の過程でパラメータpの値に応じて信号を変化させることで、当該パラメータpの値に対応した生徒信号が得られる。この場合、パラメータpの値に応じて、逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128Aに、このようにして得られる複数の生徒信号を用いて予め生成された係数データWiが格納されている場合には、上述の画像信号Vbによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128Aに、このようにして得られる複数の生徒信号を用いて予め生成された係数データWiが格納されている場合には、上述の画像信号Vbによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128Aに、このようにして得られる複数の生徒信号を用いて予め生成された係数データWiが格納されている場合には、上述の画像信号Vbによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能となる。
また例えば、少なくともDCT係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128Aに、このようにして得られる複数の生徒信号を用いて予め生成された係数種データWiが格納されている場合には、上述の画像信号Vbによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能となる。
この画像信号処理部110Aの動作を説明する。
バッファメモリ108に記憶されている画像信号Vaより、第2のタップ選択回路122で、作成すべき画像信号Vbにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器107でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部124に供給される。この付加情報クラス生成部124では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報はクラスコード生成部125に供給される。このクラスコード生成部125では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。
このクラスコードCLは、画像信号Vbにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードCLは、係数メモリ126に読み出しアドレス情報として供給される。
係数メモリ126には、例えば垂直ブランキング期間に、ユーザによって調整されたパラメータpの値に対応した、各クラスの係数データWiが、システムコントローラ101の制御によって、情報メモリバンク128Aよりロードされて格納される。
なお、情報メモリバンク128Aに、調整されたパラメータpの値に対応した係数データWiが蓄えられていない場合には、その調整されたパラメータpの値の前後の値に対応した係数データWiを情報メモリバンク128Aより読み出し、それらを用いた補間演算処理によって、調整されたパラメータpの値に対応した係数データを得るようにしてもよい。
係数メモリ126に上述したようにクラスコードCLが読み出しアドレス情報として供給されることで、この係数メモリ126からクラスコードCLに対応した係数データWiが読み出されて、推定予測演算回路127に供給される。また、バッファメモリ108に記憶されている画像信号Vaより、第1のタップ選択回路121で、画像信号Vbにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとを用いて、推定式((1)式参照)に基づいて、作成すべき画像信号Vbにおける注目位置の画素データyが求められる。
このように、画像信号処理部110Aでは、パラメータpの値に対応した推定式の係数データWi(i=1〜n)が使用されて、画素データyが演算される。したがって、ユーザは、パラメータpの値を変更することで、画像信号Vbによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
また、この係数データWiは、上述したMPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化された、MPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Vbによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
次に、係数データWi(i=1〜n)の生成方法について説明する。
上述では、係数種データの生成方法の他の例として、まずパラメータpの値を段階的に可変して得られる生徒信号毎に、それを用いた学習によって各クラスの係数データWiを生成し、次に生徒信号毎の係数データWiを使用して、各クラスの係数種データw10〜wn9を求めるものを説明した。情報メモリバンク128Aに予め蓄えられる、クラスおよびパラメータpの値の組み合わせ毎の係数データWiは、この係数種データの生成方法における、前半部分と同様の方法で生成することができる。
図14は、係数データ生成装置170を示している。この係数データ生成装置170において、図8に示す係数種データ生成装置150Aと対応する部分には同一符号を付し、その詳細説明は省略する。
この係数データ生成装置170では、係数メモリ167を有している。この係数メモリ167には、係数データ決定部164で決定された、パラメータpの各値に対応した、各クラスの係数データWiが記憶される。この係数データ生成装置170のその他は、図8に示す係数種データ生成装置150Aと同様に構成され、同様に動作する。
このように、図14に示す係数データ生成装置170においては、図13の画像信号処理部110Aの情報メモリバンク128Aに格納される、クラスおよびパラメータpの値の組み合わせ毎の係数データWiを生成することができる。
また、図13の画像信号処理部110Aにおける処理を、図1の画像信号処理部110における処理と同様に、例えば図9に示す画像信号処理装置300によって、ソフトウェアで実現することも可能である。この場合、ROM302等に、係数データが予め格納されて使用される。
図15のフローチャートを参照して、図9に示す画像信号処理装置300における、画像信号Vaより画像信号Vbを得るため処理手順を説明する。
まず、ステップST61で、処理を開始し、ステップS62で、例えば入力端子314より装置内に1フレーム分または1フィールド分の画像信号Vaを入力する。このように入力端子314より入力される画像信号Vaを構成する画素データはRAM303に一時的に格納される。なお、この画像信号Vaが装置内のハードディスクドライブ307に予め記録されている場合には、このドライブ307からこの画像信号Vaを読み出し、この画像信号Vaを構成する画素データをRAM303に一時的に格納する。
そして、ステップST63で、画像信号Vaの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップST64で、処理を終了する。一方、処理が終わっていないときは、ステップST65に進む。
このステップST65では、ユーザのリモコン送信機200の操作によって入力された画質指定値であるパラメータpの値を、例えばRAM303より取得する。そして、ステップST66で、取得されたパラメータpの値に基づいて、ROM302等からそのパラメータpの値に対応した、各クラスの係数データWiを読み出し、RAM303に一時的に格納する。
次に、ステップST67で、ステップST62で入力された画像信号Vaより、画像信号Vbにおける注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップST68で、ステップST62で入力された1フレームまたは1フィールド分の画像信号Vaの画素データの全領域において画像信号Vbの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップST62に戻り、次の1フレーム分または1フィールド分の画像信号Vaの入力処理に移る。一方、処理が終了していないときは、ステップST69に進む。
このステップST69では、ステップST67で取得されたクラスタップの画素データからクラスコードCLを生成する。そして、ステップST70で、そのクラスコードCLに対応した係数データWiと予測タップの画素データを使用して、推定式により、画像信号Vbにおける注目位置の画素データを生成し、その後にステップST67に戻って、上述したと同様の処理を繰り返す。
このように、図15に示すフローチャートに沿って処理をすることで、入力された画像信号Vaの画素データを処理して、画像信号Vbの画素データを得ることができる。上述したように、このように処理して得られた画像信号Vbは出力端子315に出力されたり、ディスプレイ311に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ305に供給されてハードディスクに記録されたりする。
なお、ステップST69では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、入力端子314からは画像信号Vaの他に、この画像信号Vaに関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)も入力されるようにし、図13の画像信号処理部110Aにおけると同様に、この符号化制御情報をも用いてクラスコードCLを生成するようにしてもよい。
また、処理装置の図示は省略するが、図14の係数データ生成装置170における処理も、ソフトウェアで実現可能である。
図16のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップST81で、処理を開始し、ステップST82で、学習に使われる、画質パターン(パラメータpの値で特定される)を選択する。そして、ステップST83で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップST84に進む。
このステップST84では、教師信号を1フレーム分または1フィールド分だけ入力する。そして、ステップST85で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップST86で、ステップST84で入力された教師信号より、ステップST82で選択された画質パターンに基づいて、生徒信号を生成する。
そして、ステップST87で、ステップST86で生成された生徒信号より、ステップST84で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップST88で、ステップST84で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップST84に戻って、次の1フレーム分または1フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップST89に進む。
このステップST89では、ステップST87で取得されたクラスタップの画素データからクラスコードCLを生成する。そして、ステップST90で、係数データを得るための正規方程式((18)式参照)を生成する。その後に、ステップST87に戻る。
上述したステップST85で、処理が終了したときは、ステップST91で、ステップST90で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップST82に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
また、上述のステップST83で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップST92で、全ての画質パターンに対する各クラスの係数データをメモリに保存し、その後にステップST93で、処理を終了する。
このように、図16に示すフローチャートに沿って処理をすることで、図14に示す係数データ生成装置170と同様の手法によって、係数データを得ることができる。なお、ステップST89では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、図14の係数データ生成装置170と同様に、生徒信号に関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)をも用いてクラスコードCLを生成するようにしてもよい。
次に、この発明のさらに他の実施の形態について説明する。
図17は、他の実施の形態としてのデジタル放送受信機100Bの構成を示している。この図17において、図1と対応する部分には同一符号を付して示している。
デジタル放送受信機100Bは、図1に示すデジタル放送受信機100の画像信号処理部110が画像信号処理部110Bに置き換えられたものであって、デジタル放送受信機100と同様の動作をする。
画像信号処理部110Bの詳細を説明する。この画像信号処理部110Bにおいて、図1に示す画像信号処理部110と対応する部分には同一符号を付し、その詳細説明は省略する。
この画像信号処理部110Bは、蓄積テーブル131を有している。この蓄積テーブル131には、クラスおよびパラメータpの値の組み合わせ毎に、差分データDFが予め格納されている。この差分データDFは、画素値の差分データあるいはDCT処理により得られるDCT係数(周波数係数)の差分データである。蓄積テーブル131には、クラスコード生成部125より出力されるクラスコードCLおよびシステムコントローラ101より出力されるパラメータpの値が読み出しアドレス情報として供給される。この蓄積テーブル131からは、クラスコードCLおよびパラメータpの値に対応した差分データDFが読み出されて、後述する加算部134に供給される。
この蓄積テーブル131に格納されている差分データDFも、上述した図1の画像信号処理部110の情報メモリバンク128に格納されている係数種データwi0〜wi3と同様に、MPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化された、MPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成される。
すなわち、この差分データDFは、それぞれパラメータpの複数の値に応じて生成され、画像信号Vaに対応した複数の生徒信号と、画像信号Vbに対応した教師信号とを用いて予め生成される。
この場合、生徒信号は、教師信号をMPEG2符号化して得られたMPEG2ストリームを復号化することで得られ、この復号化の過程でパラメータpの値に応じて信号を変化させることで、当該パラメータpの値に対応した生徒信号が得られる。この場合、パラメータpの値に応じて、逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。蓄積テーブル131に、このようにして得られる複数の生徒信号を用いて予め生成された差分データDFが格納されている場合には、上述の画像信号Vbによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル131に、このようにして得られる複数の生徒信号を用いて予め生成された差分データDFが格納されている場合には、上述の画像信号Vbによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル131に、このようにして得られる複数の生徒信号を用いて予め生成された差分データDFが格納されている場合には、上述の画像信号Vbによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能となる。
また例えば、少なくともDCT係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル131に、このようにして得られる複数の生徒信号を用いて予め生成された差分データDFが格納されている場合には、上述の画像信号Vbによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能となる。
また、デジタル放送受信機100Bは、バッファメモリ108に記憶されている画像信号Vaに対してDCT処理を施してDCT係数を得るDCT回路132と、このDCT回路132より出力されるDCT係数がa側の固定端子に入力されると共に、そのb側の固定端子にバッファメモリ108より出力される画像信号Vaが入力される切換スイッチ133を有している。この切換スイッチ133は、蓄積テーブル131に格納されている差分データDFが、画素値の差分データであるときはb側に接続され、DCT処理により得られるDCT係数の差分データであるときはa側に接続される。
また、画像信号処理部110Bは、切換スイッチ133の可動端子より出力される、画像信号Vbにおける注目位置に対応した画素データ(画素値あるいはDCT係数)xに、蓄積テーブル131より読み出される差分データDFを加算して、画像信号Vbにおける注目位置の画素データyを生成する加算部134を有している。
また、画像信号処理部110Bは、加算部134の出力信号に対して逆DCT処理を施す逆DCT回路135と、この逆DCT回路135の出力信号がa側の固定端子に入力されると共に、そのb側の固定端子に加算部134の出力信号が入力される切換スイッチ136とを有している。この切換スイッチ136は、蓄積テーブル131に格納されている差分データDFが、画素値の差分データであるときはb側に接続され、DCT処理により得られるDCT係数の差分データであるときはa側に接続される。この切換スイッチ136の可動端子より出力される信号は画像信号Vbとしてディスプレイ部111に供給される。
また、画像信号処理部110Bは、図1に示す画像信号処理部110における第2のタップ選択回路122に相当するタップ選択回路122Bを有している。このタップ選択回路122Bは、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
ここで、蓄積テーブル131に格納されている差分データDFが画素値の差分データであるときは、このタップ選択回路122Bでは、画像信号Vbにおける注目位置の周辺に位置する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部125からは、当該画像信号Vbにおける注目位置の画素データ(1個)が属するクラスを示すクラスコードCLが生成される。そして、蓄積テーブル131からは、このクラスコードCLに基づいて、画像信号Vbにおける注目位置に対応した1個の差分データDFが読み出されて加算部134に供給される。
一方、蓄積テーブル131に格納されている差分データDFがDCT処理により得られるDCT係数の差分データであるときは、このタップ選択回路122Bでは、画像信号Vaから、例えば画像信号Vbにおける注目画素ブロック(DCT処理の単位となるDCTブロックに対応)に対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部125からは、当該画像信号Vbにおける注目画素ブロックが属するクラスを示すクラスコードCLが生成される。そして、蓄積テーブル131からは、このクラスコードCLに基づいて、画素ブロック内の画素データ数に対応した複数個の差分データDFが読み出されて加算部134に供給される。
この画像信号処理部110Bの動作を説明する。
まず、蓄積テーブル131に格納されている差分データDFが画素値の差分データである場合について説明する。この場合、切換スイッチ133,136はそれぞれb側に接続されている。
バッファメモリ108に記憶されている画像信号Vaより、タップ選択回路122Bで、作成すべき画像信号Vbにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器107でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部124に供給される。この付加情報クラス生成部124では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報はクラスコード生成部125に供給される。このクラスコード生成部125では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。このクラスコードCLは、画像信号Vbにおける注目位置の画素データ(1個)が属するクラスを示すものとなる。
このクラスコードCLは、蓄積テーブル131に読み出しアドレス情報として供給される。蓄積テーブル131からは、このクラスコードCLに基づいて、画像信号Vbにおける注目位置に対応した1個の差分データDFが読み出されて加算部134に供給される。
また、バッファメモリ108に記憶されている画像信号Vaのうち、画像信号Vbにおける注目位置に対応した画素データxが切換スイッチ133のb側を介して加算部134に供給される。加算部134では、この画素データxに、蓄積テーブルより読み出される差分データDFが加算されて、画像信号Vbにおける注目位置の画素データyが生成される。そして、この画素データyが切換スイッチ136のb側を介して画像信号処理部110Bの出力信号として出力される。
次に、蓄積テーブル131に格納されている差分データDFがDCT処理により得られるDCT係数の差分データである場合について説明する。この場合、切換スイッチ133,136はそれぞれa側に接続されている。
バッファメモリ108に記憶されている画像信号Vaより、タップ選択回路122Bで、作成すべき画像信号Vbにおける注目画素ブロックに対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。このクラスタップの画素データは特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器107でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部124に供給される。この付加情報クラス生成部124では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報はクラスコード生成部125に供給される。このクラスコード生成部125では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。このクラスコードCLは、画像信号Vbにおける注目画素ブロックが属するクラスを示すものとなる。
このクラスコードCLは、蓄積テーブル131に読み出しアドレス情報として供給される。蓄積テーブル131からは、このクラスコードCLに基づいて、複数個の差分データDFが読み出されて加算部134に供給される。
また、DCT回路132より得られる、画像信号Vbにおける注目画素ブロック(このブロック内の全ての画素データが注目位置の画素データとなる)に対応した、画像信号Vaの複数の画素データに対してDCT処理を施して得られたDCTブロックを構成する複数個のDCT係数xが切換スイッチ133のa側を介して加算部134に供給される。加算部134では、この複数個のDCT係数xに、蓄積テーブルより読み出される複数の差分データDFがそれぞれ加算されて、画像信号Vbにおける注目画素ブロックに対応したDCTブロックのDCT係数yが生成される。
そして、画像信号Vbにおける各注目ブロックに対応して加算部134より順次出力される各DCTブロックの複数個のDCT係数yは逆DCT回路135に供給される。この逆DCT回路135では、各DCTブロックの複数のDCT係数yに対して逆DCT処理が施されてそれぞれ画素ブロックの画素データ(画素値)が得られる。このように逆DCT回路135より出力される画素データが切換スイッチ136のa側を介して画像信号処理部110Bの出力信号として出力される。
このように、画像信号処理部110Bでは、パラメータpの値に対応した差分データDFが使用されて、画素データ(DCT係数)yが演算される。したがって、ユーザは、パラメータpの値を変更することで、画像信号Vbによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
また、この差分データDFは、上述したMPEG2復号化器107に入力されるMPEG2ストリームと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Vbによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
図18は、図17の画像信号処理部110Bの蓄積テーブル131に格納すべき差分データDFを生成する差分データ生成装置210の構成を示している。この図18において、図4と対応する部分には同一符号を付し、その詳細説明は省略する。
この差分データ生成装置210は、MPEG2復号化器153より出力される生徒信号SSに対してDCT処理を施してDCT係数を得るDCT回路171と、このDCT回路171より出力されるDCT係数がa側の固定端子に入力されると共に、そのb側の固定端子にMPEG2復号化器153より出力される生徒信号SSが入力される切換スイッチ172を有している。この切換スイッチ172は、後述する蓄積テーブル177に蓄積する差分データDFが、画素値の差分データであるときはb側に接続され、DCT処理により得られるDCT係数の差分データであるときはa側に接続される。
また、差分データ生成装置210は、遅延回路159で時間調整された教師信号STに対してDCT処理を施して周波数係数を得るDCT回路173と、このDCT回路173より出力される周波数係数がa側の固定端子に入力されると共に、そのb側の固定端子に遅延回路159で時間調整された教師信号STが入力される切換スイッチ174を有している。この切換スイッチ174は、後述する蓄積テーブル177に蓄積する差分データDFが、画素値の差分データであるときはb側に接続され、DCT処理により得られるDCT係数の差分データであるときはa側に接続される。
また、差分データ生成装置210は、切換スイッチ174の可動端子より出力される、教師信号STの注目位置の画素データ(画素値あるいはDCT係数)yから、切換スイッチ174の可動端子より出力される、当該教師信号STの注目位置に対応した画素データ(画素値あるいはDCT係数)xを差し引いて差分データdfを得る減算部175を有している。
また、差分データ生成装置210は、減算部175より順次出力される差分データdfに対して、クラスコード生成部158より出力されるクラスコードCLおよびMPEG2復号化器153に入力されるパラメータpの値に基づいて、クラスおよびパラメータpの値の組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル177に差分データDFとして格納する蓄積制御部176を有している。
また、差分データ生成装置210は、図4に示す係数種データ生成装置150における第2のタップ選択回路155に相当するタップ選択回路155Aを有している。このタップ選択回路155Aは、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
ここで、蓄積テーブル177に格納する差分データDFが画素値の差分データであるときは、このタップ選択回路155Aでは、教師信号STにおける注目位置の周辺に位置する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部158からは、当該教師信号STにおける注目位置の画素データ(1個)が属するクラスを示すクラスコードCLが生成される。
一方、蓄積テーブル177に格納する差分データDFがDCT処理により得られるDCT係数の差分データであるときは、このタップ選択回路155Aでは、生徒信号SSから、例えば教師信号STにおける注目画素ブロック(DCT処理の単位となるDCTブロックに対応)に対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部158からは、当該教師信号STにおける注目画素ブロックが属するクラスを示すクラスコードCLが生成される。
なお、図18に示す差分データ生成装置210のその他は、図4に示す係数種データ生成装置150と同様に構成される。
次に、図18に示す差分データ生成装置210の動作を説明する。
まず、蓄積テーブル177に格納する差分データDFが画素値の差分データである場合について説明する。この場合、切換スイッチ172,174はそれぞれb側に接続されている。
入力端子151には画像信号Vbに対応した教師信号STが供給され、そしてこの教師信号STに対してMPEG2符号化器152で、符号化が施されてMPEG2ストリームが生成される。このMPEG2ストリームは、MPEG2復号化器153に供給される。
このMPEG2復号化器153には、パラメータpの値が入力され、復号化の過程で、当該パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じて逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。これにより、パラメータpの値に対応した生徒信号SSが得られる。
遅延回路159で時間調整された教師信号STのうち、注目位置の画素データyは切換スイッチ174のb側を介して減算部175に供給される。この減算部175には、MPEG2復号化器153より出力される生徒信号SSのうち、教師信号STにおける注目位置に対応した画素データxが切換スイッチ172のb側を介して供給される。そして、減算部175では、画素データyから画素データxが差し引かれて差分データdfが生成される。この減算部175より順次出力される教師信号STにおける各注目位置に対応した差分データdfは、蓄積制御部176に供給される。
また、MPEG2復号化器153で得られる生徒信号SSより、タップ選択回路155Aで、教師信号STにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器153でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部157に供給される。この付加情報クラス生成部157では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部157で生成される第2のクラス情報はクラスコード生成部158に供給される。このクラスコード生成部158では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。このクラスコードCLは、教師信号STにおける注目位置の画素データ(1個)が属するクラスを示すものとなる。
このクラスコードCLは、蓄積制御部176に供給される。また、この蓄積制御部176には、MPEG2復号化器153に入力されるパラメータpの値も供給される。蓄積制御部176は、減算部175より順次出力される差分データdfに対して、クラスコードCLおよびパラメータpの値に基づいて、クラスおよびパラメータpの組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル177に差分データDFとして格納する。
次に、蓄積テーブル177に格納する差分データDFがDCT処理により得られるDCT係数の差分データである場合について説明する。この場合、切換スイッチ172,174はそれぞれa側に接続されている。
入力端子151には画像信号Vbに対応した教師信号STが供給され、そしてこの教師信号STに対してMPEG2符号化器152で、符号化が施されてMPEG2ストリームが生成される。このMPEG2ストリームは、MPEG2復号化器153に供給される。
このMPEG2復号化器153には、パラメータpの値が入力され、復号化の過程で、当該パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じて逆離散コサイン変換(逆DCT)を行う際に用いられる少なくともDCT係数(周波数係数)または逆変換基底のいずれかが変更される。これにより、パラメータpの値に対応した生徒信号SSが得られる。
DCT回路173より得られる、教師信号STにおける注目画素ブロック(このブロック内の全ての画素データが注目位置の画素データとなる)の複数の画素データに対してDCT処理を施して得られたDCTブロックの複数個のDCT係数yは切換スイッチ174のa側を介して減算部175に供給される。
また、この減算部175には、DCT回路171より得られる、教師信号STにおける注目画素ブロックに対応した、生徒信号SSの複数の画素データに対してDCT処理を施して得られたDCTブロックの複数個のDCT係数xが切換スイッチ172のa側を介して供給される。そして、減算部175では、複数個のDCT係数yから複数個のDCT係数xがそれぞれ差し引かれて複数の差分データdfが生成される。この減算部175より順次出力される教師信号STにおける各注目画素ブロックに対応した複数の差分データdfは、蓄積制御部176に供給される。
また、MPEG2復号化器153で得られる生徒信号SSより、タップ選択回路155Aで、教師信号STにおける注目画素ブロックに対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。このクラスタップの画素データは特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
MPEG2復号化器153でMPEG2ストリームより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部157に供給される。この付加情報クラス生成部157では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部157で生成される第2のクラス情報はクラスコード生成部158に供給される。このクラスコード生成部158では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。このクラスコードCLは、教師信号STにおける注目位置画素ブロックが属するクラスを示すものとなる。
このクラスコードCLは、蓄積制御部176に供給される。また、この蓄積制御部176には、MPEG2復号化器153に入力されるパラメータpの値も供給される。蓄積制御部176は、減算部175より順次出力される複数の差分データdfのそれぞれに対して、クラスコードCLおよびパラメータpの値に基づいて、クラスおよびパラメータpの組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル177に複数の差分データDFとして格納する。
このように、図18に示す差分データ生成装置210においては、図17の画像信号処理部110Bの蓄積テーブル131に格納される、クラスおよびパラメータpの値の組み合わせ毎の差分データDFを生成することができる。
なお、図17の画像信号処理部110Bにおける処理も、例えば図9に示すような画像信号処理装置300によって、ソフトウェアで実現することも可能である。この場合、ROM302等に、差分データが予め格納されて使用される。
図19のフローチャートを参照して、図9に示す画像信号処理装置300における、画像信号Vaより画像信号Vbを得るため処理手順を説明する。
まず、ステップST101で、処理を開始し、ステップS102で、例えば入力端子314より装置内に1フレーム分または1フィールド分の画像信号Vaを入力する。このように入力端子314より入力される画像信号Vaを構成する画素データはRAM303に一時的に格納される。なお、この画像信号Vaが装置内のハードディスクドライブ307に予め記録されている場合には、このドライブ307からこの画像信号Vaを読み出し、この画像信号Vaを構成する画素データをRAM303に一時的に格納する。
そして、ステップST103で、画像信号Vaの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップST104で、処理を終了する。一方、処理が終わっていないときは、ステップST105に進む。
このステップST105では、ユーザのリモコン送信機200の操作によって入力された画質指定値であるパラメータpの値を、例えばRAM303より取得する。そして、ステップST106で、ステップST102で入力された画像信号Vaより、画像信号Vbにおける注目位置に対応して、クラスタップの画素データを取得する。そして、ステップST107で、クラスタップの画素データからクラスコードCLを生成する。
次に、ステップST108で、ステップST105で取得されたパラメータpの値およびステップST107で生成されたクラスコードCLに基づいて、ROM302等からそのパラメータpの値およびクラスコードCLに対応した差分データDFを読み出し、RAM303に一時的に格納する。
次に、ステップST109で、画像信号Vaのうち、画像信号Vbにおける注目位置に対応した画素データxに、ステップST108で読み出された差分データDFを加算して、画像信号Vbにおける注目位置の画素データyを生成する。
ここで、ROM302等に格納されている差分データDFがDCT処理により得られるDCT係数の差分データであるときは、加算結果である画素データyはDCT係数であるから、ステップST109では、さらに逆DCT処理を行う。また、その場合には、上述のステップST102で入力された画像信号Vaに対してDCT処理を施し、画像信号Vbにおける注目位置に対応した画素データxをDCT係数とする。
次に、ステップST110で、ステップST102で入力された1フレーム分または1フィールド分の画像信号Vaの画素データの全領域において画像信号Vbの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップST102に戻り、次の1フレーム分または1フィールド分の画像信号Vaの入力処理に移る。一方、処理が終了していないときは、ステップST106に戻り、上述したと同様の処理を繰り返す。
このように、図19に示すフローチャートに沿って処理をすることで、入力された画像信号Vaの画素データを処理して、画像信号Vbの画素データを得ることができる。上述したように、このように処理して得られた画像信号Vbは出力端子315に出力されたり、ディスプレイ311に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ305に供給されてハードディスクに記録されたりする。
なお、ステップST107では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、入力端子314からは画像信号Vaの他に、この画像信号Vaに関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)も入力されるようにし、図17の画像信号処理部110Bにおけると同様に、この符号化制御情報をも用いてクラスコードCLを生成するようにしてもよい。
また、処理装置の図示は省略するが、図18の差分データ生成装置210における処理も、ソフトウェアで実現可能である。
図20のフローチャートを参照して、差分データを生成するための処理手順を説明する。
まず、ステップST121で、処理を開始し、ステップST122で、画質パターン(パラメータpの値で特定される)を選択する。そして、ステップST123で、全ての画質パターンに対し差分データDFの生成処理が終わったか否かを判定する。全ての画質パターンに対して差分データDFの生成処理が終わっていないときは、ステップST124に進む。
このステップST124では、教師信号を1フレーム分または1フィールド分だけ入力する。そして、ステップST125で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップST126で、ステップST124で入力された教師信号より、ステップST122で選択された画質パターンに基づいて、生徒信号を生成する。
そして、ステップST127で、ステップST126で生成された生徒信号より、ステップST124で入力された教師信号における注目位置に対応して、クラスタップの画素データを取得する。そして、ステップST128で、クラスタップの画素データからクラスコードCLを生成する。
次に、ステップST129で、教師信号の注目位置の画素データyから、この教師信号の注目位置に対応した、生徒信号の画素データxを差し引いて差分データdfを求める。さらに、このステップST129では、ステップST128で生成されたクラスコードCLに基づいて、クラス毎に、平均化処理を施し、差分データDFを生成する。
次に、ステップST130で、ステップST124で入力された教師信号の全領域において差分データDFの生成処理を終了しているか否かを判定する。差分データDFの生成処理を終了しているときは、ステップST124に戻って、次の1フレーム分または1フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、差分データの生成処理を終了していないときは、ステップST127に戻って、上述したと同様の処理を繰り返す。
上述したステップST125で、処理が終了したときは、ステップST122に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの差分データDFを求める。
ここで、差分データDFとしてDCT処理により得られるDCT係数の差分データを生成するときは、減算結果である差分データdfをDCT係数とする必要がある。その場合、上述のステップST124で入力された教師信号に対してDCT処理を施し、教師信号における注目位置に対応した画素データyをDCT係数とする。また、上述のステップST126で生成された生徒信号に対してDCT処理を施し、教師信号における注目位置に対応した、生徒信号の画素データxをDCT係数とする。
また、上述のステップST123で、全ての画質パターンに対する差分データDFの算出処理が終了したときは、ステップST131で、全ての画質パターンに対する各クラスの差分データDFをメモリに保存し、その後にステップST132で、処理を終了する。
このように、図20に示すフローチャートに沿って処理をすることで、図18に示す差分データ生成装置210と同様の手法によって、差分データDFを得ることができる。なお、ステップST128では、クラスタップの画素データからクラスコードCLを生成するように説明した。しかし、図18の差分データ生成装置210と同様に、生徒信号に関連した符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)をも用いてクラスコードCLを生成するようにしてもよい。
次に、この発明の別の実施の形態について説明する。
図21は、別の実施の形態としてのデジタル放送受信機100Cの構成を示している。この図21において、図1と対応する部分には同一符号を付して示している。
このデジタル放送受信機100Cは、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ101と、リモートコントロール信号を受信するリモコン信号受信回路102とを有している。リモコン信号受信回路102は、システムコントローラ101に接続され、リモコン送信機200よりユーザの操作に応じて出力されるリモートコントロール信号RMを受信し、その信号RMに対応する操作信号をシステムコントローラ101に供給するように構成されている。
また、デジタル放送受信機100Cは、受信アンテナ105と、この受信アンテナ105で捕らえられた放送信号(RF変調信号)が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのMPEG2ストリームを得るチューナ部106と、このチューナ部106より出力されるMPEG2ストリームVcを一時的に格納するストリームバッファ109とを有している。
また、デジタル放送受信機100Cは、ストリームバッファ109に記憶されているMPEG2ストリームVcを、ユーザ所望の画質を提示する、復号化された画像信号Vdに変換する画像信号処理部110Cと、この画像信号処理部110Cより出力される画像信号Vdによる画像を表示するディスプレイ部111とを有している。
図21に示すデジタル放送受信機100Cの動作を説明する。
チューナ部106より出力されるMPEG2ストリームVcはストリームバッファ109に供給されて一時的に格納される。
このようにストリームバッファ109に記憶されているMPEG2ストリームVcは画像信号処理部110Cに供給され、ユーザ所望の画質を提示する、復号化された画像信号Vdに変換される。この画像信号処理部110Cでは、MPEG2ストリームVcを構成するDCT係数から、画像信号Vdを構成する画素データが得られる。
画像信号処理部110Cより出力される画像信号Vdはディスプレイ部111に供給され、このディスプレイ部111の画面上にはその画像信号Vdによる画像が表示される。
ユーザは、リモコン送信機200の操作によって、上述したようにディスプレイ部111の画面上に表示される画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を調整できる。画像信号処理部110Cでは、後述するように、画像信号Vdの画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機200の操作によって変更されたパラメータpの値に対応したものが、このパラメータpを含む生成式によって生成されて使用される。これにより、画像信号処理部110Cより出力される画像信号Vdによる画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度は、変更されたパラメータpの値に対応したものとなる。
画像信号処理部110Cの詳細を説明する。この画像信号処理部110Cにおいて、図1に示す画像信号処理部110と対応する部分には同一符号を付し、その詳細説明は省略する。
画像信号処理部110Cは、ストリームバッファ109に記憶されているMPEG2ストリームVcより周波数係数としてのDCT係数を抽出するDCT係数抽出回路221と、この抽出回路221で抽出された可変長符号化、例えばハフマン符号化されているDCT係数に対して可変長復号化を行う可変長復号化回路222とを有している。
また、画像信号処理部110Cは、ストリームバッファ109に格納されているMPEG2ストリームVcより量子化特性指定情報を抽出する量子化特性指定情報抽出回路223と、この抽出回路223で抽出される量子化特性指定情報に基づいて、可変長復号化回路222より出力される量子化DCT係数に対して逆量子化を行う逆量子化回路224とを有している。
また、画像信号処理部110Cは、逆量子化回路224より出力されるDCT係数より、画像信号Vdにおける注目位置に対応したDCT係数を選択的に取り出し、また後述する参照画像信号Vrefより、画像信号Vdにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第1、第2のタップ選択回路225,226を有している。
第1のタップ選択回路225は、予測に使用する予測タップの複数の画素データ(DCT係数も含む)を選択的に取り出すものである。図2Aは、第1のタップ選択回路225において、参照画像信号Vrefより選択的に取り出す予測タップの画素データの配置の一例を示している。この図において、「○」は予測タップのタップ位置を示しており、「×」は注目位置を示している。本実施の形態においては、現フィールド(実線図示)と前フィールド(破線図示)における7個の画素データが、予測タップの画素データとして取り出される。
また、図22Aは、第1のタップ選択回路225において、逆量子化回路224より出力されるDCT係数より選択的に取り出す予測タップのDCT係数の一例を示している。本実施の形態においては、画像信号Vdにおける注目位置が属する画素ブロック(DCT処理の単位となる8×8の小ブロックに対応)を注目画素ブロックとし、この注目画素ブロックに対応するDCT係数のブロック(以下、「DCTブロック」という)の全てのDCT係数、即ち64(8×8)個のDCT係数が、予測タップのDCT係数として取り出される。
また、第2のタップ選択回路226は、クラス分類に使用するクラスタップの複数の画素データ(DCT係数も含む)を選択的に取り出すものである。図2Bは、第2のタップ選択回路226において、参照画像信号Vrefより選択的に取り出すクラスタップの画素データの配置の一例を示している。この図において、「○」は予測タップのタップ位置を示しており、「×」は注目位置を示している。本実施の形態においては、現フィールド(実線図示)と前フィールド(破線図示)における13個の画素データが、クラスタップの画素データとして取り出される。
また、図22Bは、第2のタップ選択回路226において、逆量子化回路224より出力されるDCT係数より選択的に取り出すクラスタップのDCT係数の一例を示している。本実施の形態においては、注目画素ブロックに対応するDCTブロックと、その上下左右に隣接する4個のDCTブロックとの、合計で5個のDCTブロックの320(8×8×5)個のDCT係数が、クラスタップのDCT係数として取り出される。
また、画像信号処理部110Cは、第2のタップ選択回路226で選択的に取り出されるクラスタップの画素データ(DCT係数も含む)から特徴量を抽出する特徴量抽出部123を有している。特徴量抽出部123では、クラスタップの画素データに1ビットのADRC(Adaptive Dynamic Range Coding)等の処理を施すことによって、空間クラスを示す第1のクラス情報としてのADRCコードを生成する。
また、画像信号処理部110Cは、ストリームバッファ109に格納されているMPEG2ストリームVcより付加情報としての符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)を抽出する符号化制御情報抽出回路227と、この抽出回路227で抽出される符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報を生成する付加情報クラス生成部124とを有している。
また、画像信号処理部110Cは、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成部125を有している。このクラスコードCLは、画像信号Vdにおける注目位置の画素データが属するクラスを示すものとなる。
また、画像信号処理部110Cは、係数メモリ126を有している。この係数メモリ126は、後述する推定予測演算回路127で使用される推定式で用いられる複数の係数データWi(i=1〜n)を、クラス毎に、格納するものである。この係数データWiは、MPEG2ストリームVcを画像信号Vdに変換するための情報である。係数メモリ126には上述したクラスコード生成部125より出力されるクラスコードCLが読み出しアドレス情報として供給され、この係数メモリ126からはクラスコードCLに対応した推定式の係数データWiが読み出されて、推定予測演算回路127に供給される。
また、画像信号処理部110Cは、情報メモリバンク128を有している。後述する推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとから、上述した(1)式の推定式によって、作成すべき画像信号Vdにおける注目位置の画素データyが演算される。(1)式のnは、第1のタップ選択回路225で選択される予測タップの数を表している。
この推定式の係数データWiは、上述した(2)式に示すように、パラメータpを含む生成式によって生成される。情報メモリバンク128には、この生成式における係数データである係数種データwi0〜wi3が、クラス毎に、格納されている。
また、画像信号処理部110Cは、各クラスの係数種データwi0〜wi3およびパラメータpの値とを用い、(2)式によって、クラス毎に、パラメータpの値に対応した推定式の係数データWi(i=1〜n)を生成する係数生成回路129を有している。この係数生成回路129には、情報メモリバンク128より、上述した各クラスの係数種データwi0〜wi3がロードされる。また、この係数生成回路129には、システムコントローラ101より、パラメータpの値が供給される。
この係数生成回路129で生成される各クラスの係数データWi(i=1〜n)は、上述した係数メモリ126に格納される。この係数生成回路129における各クラスの係数データWiの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機200の操作によってパラメータpの値が変更されても、係数メモリ126に格納される各クラスの係数データWiを、そのパラメータpの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
ここで、上述したように情報メモリバンク128に格納されている係数種データwi0〜wi3についてさらに説明する。この係数種データwi0〜wi3は、上述したストリームバッファ109に格納されるMPEG2ストリームVcと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた生徒信号に基づいて予め生成される。
すなわち、この係数種データwi0〜wi3は、それぞれパラメータpの複数の値に応じて生成され、MPEG2ストリームVcに対応した複数の生徒信号と、画像信号Vdに対応した教師信号とを用いて予め生成される。この場合、生徒信号は、教師信号をMPEG2符号化して得られたMPEG2ストリームを、パラメータpの値に応じて処理することで、当該パラメータpの値に対応した生徒信号が得られる。この場合、パラメータpの値に応じて、DCT係数(周波数係数)が変更される。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られる生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vdによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vdによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vdによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能となる。
また例えば、DCT係数にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク128に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データwi0〜wi3が格納されている場合には、上述の画像信号Vdによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能となる。
また、画像信号処理部110Cは、第1のタップ選択回路225で選択的に取り出される予測タップの画素データ(DCT係数を含む)xiと、係数メモリ126より読み出される係数データWiとから、(1)式の推定式によって、作成すべき画像信号Vdにおける注目位置の画素データyを演算する推定予測演算回路127を有している。
また、画像信号処理部110Cは、予測メモリ回路228を有している。この予測メモリ回路228は、Iピクチャ(Intra-Picture)およびPピクチャ(Predictive-Picture)の画像信号をメモリ(図示せず)に記憶すると共に、これらの画像信号を用いて、逆量子化回路224からPピクチャまたはBピクチャ(Bidirectionally predictive-Picture)に係るDCT係数が出力されるとき、対応する参照画像信号Vrefを生成して第1、第2のタップ選択回路225,226に供給する。因みに、逆量子化回路224からIピクチャに係るDCT係数が出力されるとき、第1、第2のタップ選択回路225,226には参照画像信号Vrefは供給されない。
また、画像信号処理部110Cは、ピクチャ選択回路229を有している。このピクチャ選択回路229は、推定予測演算回路127から出力されるIピクチャおよびPピクチャの画像信号を予測メモリ回路228に供給してメモリに記憶させると共に、この推定予測演算回路127から出力される各ピクチャの画像信号を正しい順に並べ直して出力する。
上述した抽出回路227で抽出される動きベクトル情報MIは予測メモリ回路228に供給され、予測メモリ回路228ではこの動きベクトル情報MIを用いて参照画像信号を生成する際に動き補償が行われる。また、抽出回路227で抽出されるピクチャ情報PIは予測メモリ回路228、ピクチャ選択回路229に供給され、これら予測メモリ回路228、ピクチャ選択回路229ではこのピクチャ情報PIに基づいてピクチャの識別が行われる。
次に、画像信号処理部110Cの動作を説明する。
ストリームバッファ109に記憶されているMPEG2ストリームVcが抽出回路221に供給されて周波数係数としてのDCT係数が抽出される。このDCT係数は可変長符号化されており、このDCT係数は可変長復号化回路222に供給されて復号化される。そして、この可変長復号化回路222より出力される量子化DCT係数が逆量子化回路224に供給されて逆量子化が施される。
第2のタップ選択回路226では、クラスタップの複数の画素データ(DCT係数も含む)が選択的に取り出される。すなわち、逆量子化回路224より出力されるDCT係数より、画像信号Vdにおける注目位置に対応したDCT係数が選択的に取り出されると共に、予測メモリ回路228より供給される参照画像信号Vrefより、画像信号Vdにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
このように第2のタップ選択回路226で取り出されるクラスタップの画素データは、特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
また、抽出回路227でMPEG2ストリームVcより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部124に供給される。この付加情報クラス生成部124では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部123で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部124で生成される第2のクラス情報はクラスコード生成部125に供給される。このクラスコード生成部125では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。
このクラスコードCLは、画像信号Vdにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードCLは、係数メモリ126に読み出しアドレス情報として供給される。係数メモリ126には、例えば各垂直ブランキング期間に、係数生成回路129で、ユーザによって調整されたパラメータpの値に対応して、クラス毎に、係数種データwi0〜wi3を用いて推定式の係数データWi(i=1〜n)が求められて格納される((2)式参照)。
係数メモリ126に上述したようにクラスコードCLが読み出しアドレス情報として供給されることで、この係数メモリ126からクラスコードCLに対応した係数データWiが読み出されて、推定予測演算回路127に供給される。
また、第1のタップ選択回路225では、予測タップの複数の画素データ(DCT係数も含む)が選択的に取り出される。すなわち、逆量子化回路224より出力されるDCT係数より、画像信号Vdにおける注目位置に対応したDCT係数が選択的に取り出されると共に、予測メモリ回路228より供給される参照画像信号Vrefより、画像信号Vdにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。このように第1のタップ選択回路265で取り出される予測タップの画素データは、推定予測演算回路127に供給される。
推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとを用いて、推定式((1)式参照)に基づいて、作成すべき画像信号Vdにおける注目位置の画素データyが求められる。推定予測演算回路127より出力される各ピクチャの画像信号はピクチャ選択回路229で正しい順に並べ直され、画像信号Vdとして出力される。
このように、画像信号処理部110Cでは、パラメータpの値に対応した推定式の係数データWi(i=1〜n)が使用されて、画素データyが演算される。したがって、ユーザは、パラメータpの値を変更することで、画像信号Vdによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
また、この係数データWiを生成するための係数種データwi0〜wi3は、上述したストリームバッファ109に格納されるMPEG2ストリームVcと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた生徒信号に基づいて予め生成されたものであり、画像信号Vdによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
図21の画像信号処理部110Cの情報メモリバンク128に格納される係数種データwi0〜wi3も、図1の画像信号処理部110の情報メモリバンク128に格納される係数種データwi0〜wi3と同様に、複数の生徒信号と教師信号との間で学習を行うことによって生成される(図3参照)。
図23は、上述した画像信号処理部110Cの情報メモリバンク128に格納される係数種データwi0〜wi3を生成するための係数種データ生成装置150Cの構成を示している。この図23において、図4と対応する部分には同一符号を付して示している。
この係数種データ生成装置150Cは、画像信号Vdに対応した教師信号STが入力される入力端子151と、この教師信号STに対して符号化を行って生徒信号SSであるMPEG2ストリームを得るMPEG2符号化器152とを有している。
また、係数種データ生成装置150Cは、MPEG2符号化器152で得られる生徒信号SSより周波数係数としてのDCT係数を抽出するDCT係数抽出回路231と、この抽出回路231で抽出された可変長符号化、例えばハフマン符号化されているDCT係数に対して可変長復号化を行う可変長復号化回路232とを有している。
また、係数種データ生成装置150Cは、MPEG2符号化器152で得られる生徒信号SSより量子化特性指定情報を抽出する量子化特性指定情報抽出回路233と、この抽出回路233で抽出される量子化特性指定情報に基づいて、可変長復号化回路232より出力される量子化DCT係数に対して逆量子化を行う逆量子化回路234とを有している。
この逆量子化回路234には、パラメータpの値が入力される。この逆量子化回路234では、逆量子化の信号処理の過程で、パラメータpの値に応じて信号が変化するようにされ、当該パラメータpの値に対応した、生徒信号に係るDCT係数が得られる。本実施の形態では、DCT係数(周波数係数)が変更される。
例えば、DCT係数のうち全てのAC係数のゲインを同じ値として、パラメータpの値に応じてゲインを変更することにより、複数の生徒信号に係るDCT係数を得ることができる。ここで、元のAC係数をAC[m]、ゲインをgainとすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]*gainとなる。この場合、各AC係数の間の相関関係は保持できることから、このようにして得られる複数の生徒信号に係るDCT係数を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vdによって得られる画像の解像度をパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、DCT係数のうちDC係数の量子化ステップをパラメータpの値に応じて変更することにより、複数の生徒信号に係るDCT係数を得ることができる。ここで、元のDC係数をDC[m]、元の量子化ステップをQst、新たな量子化ステップをnewQstとすると、新たなDC係数をnewDC[m]は、newDC[m]={DC[m]*Qst/newQst}となる。{}は整数演算を表している。この場合、DC係数の変動を操作可能となり、このようにして得られる複数の生徒信号に係るDCT係数を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vdによって得られる画像のブロック歪みをパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、DCT係数のうちAC係数のゲインを高域程小さくすると共に、このAC係数の高域のゲインの低下の度合いをパラメータpの値に応じて変更することにより、複数の生徒信号に係るDCT係数を得ることができる。ここで、元のAC係数をAC[m]、ゲインをgain[m]とすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]*gain[m]となる。この場合、各AC係数の間の相関関係を段階的に崩すものであり、このようにして得られる複数の生徒信号に係るDCT係数を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vdによって得られる画像のモスキートノイズをパラメータpの値に応じて段階的に調整可能なものとなる。
また例えば、DCT係数にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータpの値に応じて変更することにより、複数の生徒信号に係るDCT係数を得ることができる。元のAC係数をAC[m]、ランダムノイズをrdmNとすると、新たなAC係数newAC[m]は、newAC[m]=AC[m]+rdmNとなる。同様に、元のDC係数をDC[m]、ランダムノイズをrdmNとすると、新たなDC係数newDC[m]は、newDC[m]=DC[m]+rdmNとなる。この場合、ランダムノイズのレベルを段階的に切り換えることにより、それによって得られる複数の生徒信号に係るDCT係数を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vdによって得られる画像のノイズ抑圧度をパラメータpの値に応じて段階的に調整可能なものとなる。
また、係数種データ生成装置150Cは、逆量子化回路234より出力されるDCT係数より、画像信号Vdにおける注目位置に対応したDCT係数を選択的に取り出し、また後述する参照画像信号Vrefより、画像信号Vdにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第1、第2のタップ選択回路235,236を有している。これら第1、第2のタップ選択回路235,236は、それぞれ上記した画像信号処理部110Cの第1、第2のタップ選択回路225,226と同様に構成される。
また、係数種データ生成装置150Cは、第2のタップ選択回路236で選択的に取り出されるクラスタップの画素データから特徴量を抽出する特徴量抽出部156を有している。この特徴量抽出部156は、上述した画像信号処理部110Cの特徴量抽出部123と同様に構成され、空間クラスを示す第1のクラス情報としてのADRCコードを生成する。
また、係数種データ生成装置150Cは、MPEG2符号化器152で得られる生徒信号SSより付加情報としての符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)を抽出する符号化制御情報抽出回路237と、この抽出回路237で抽出される符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報を生成する付加情報クラス生成部157とを有している。この付加情報クラス生成部157は、上述した画像信号処理部110Cの付加情報クラス生成部124と同様に構成される。
また、係数種データ生成装置150Cは、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部157で生成される第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成部158を有している。このクラスコード生成部158は、上述した画像信号処理部110Cのクラスコード生成部125と同様に構成される。
また、係数種データ生成装置150Cは、入力端子151に供給される教師信号STの時間調整を行うための遅延回路159と、この遅延回路159で時間調整された教師信号STから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路235で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとから、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((9)式参照)を生成する正規方程式生成部160を有している。
この場合、1個の画素データyとそれに対応するn個の予測タップの画素データxiとの組み合わせで1個の学習データが生成されるが、パラメータpの値に応じて、逆量子化回路234からは複数の生徒信号に係るDCT係数が順次得られ、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部160では、パラメータpの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データwi0〜wi3を求めることが可能となる。
また、係数種データ生成装置150Cは、正規方程式生成部160で、クラス毎に生成された正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、係数種データwi0〜wi3を求める係数種データ決定部161と、この求められた係数種データを格納する係数種メモリ162とを有している。係数種データ決定部161では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
また、係数種データ生成装置150Cは、予測メモリ回路238を有している。この予測メモリ回路228は、遅延回路159で時間調整された教師信号STのうち、生徒信号SSのIピクチャおよびPピクチャの画像信号をメモリ(図示せず)に記憶すると共に、これらの画像信号を用いて、逆量子化回路234からPピクチャまたはBピクチャに係るDCT係数が出力されるとき、対応する参照画像信号Vrefを生成して第1、第2のタップ選択回路235,236に供給する。因みに、逆量子化回路234からIピクチャに係るDCT係数が出力されるとき、第1、第2のタップ選択回路235,236には参照画像信号Vrefは供給されない。
また、係数種データ生成装置150Cは、ピクチャ選択回路239を有している。このピクチャ選択回路239は、遅延回路159で時間調整された教師信号STのうち、IピクチャおよびPピクチャの画像信号を予測メモリ回路238に供給してメモリに記憶させる。
上述した抽出回路237で抽出される動きベクトル情報MIは予測メモリ回路238に供給され、予測メモリ回路238ではこの動きベクトル情報MIを用いて参照画像信号Vrefを生成する際に動き補償が行われる。また、抽出回路237で抽出されるピクチャ情報PIは予測メモリ回路238、ピクチャ選択回路239に供給され、これら予測メモリ回路238、ピクチャ選択回路239ではこのピクチャ情報PIに基づいてピクチャの識別が行われる。
図23に示す係数種データ生成装置150Cの動作を説明する。
入力端子151には画像信号Vdに対応した教師信号STが供給され、そしてこの教師信号STに対してMPEG2符号化器152で、符号化が施されて生徒信号SSとしてのMPEG2ストリームが生成される。
MPEG2符号化器152で得られる生徒信号SSは抽出回路231に供給されて周波数係数としてのDCT係数が抽出される。このDCT係数は可変長符号化されており、このDCT係数は可変長復号化回路232に供給されて復号化される。そして、この可変長復号化回路232より出力される量子化DCT係数が逆量子化回路234に供給されて逆量子化が施される。
この逆量子化回路234には、パラメータpの値が入力される。この逆量子化回路234では、逆量子化の信号処理の過程で、パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じてDCT係数が変更される。これにより、パラメータpの値に対応した、生徒信号に係るDCT係数が得られる。
また、第2のタップ選択回路236では、クラスタップの複数の画素データ(DCT係数も含む)が選択的に取り出される。すなわち、逆量子化回路234より出力されるDCT係数より、教師信号STにおける注目位置に対応したDCT係数が選択的に取り出されると共に、予測メモリ回路228より供給される参照画像信号Vrefより、教師信号STにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
このように第2のタップ選択回路236で取り出されるクラスタップの画素データは、特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラスを示す第1のクラス情報としてのADRCコードが生成される。
また、抽出回路237で生徒信号SSより抽出される符号化制御情報(ピクチャ情報PI、動きベクトル情報MI)が付加情報クラス生成部157に供給される。この付加情報クラス生成部157では、この符号化制御情報に基づいて、付加情報クラスを示す第2のクラス情報が生成される。
そして、特徴量抽出部156で生成される第1のクラス情報(ADRCコード)および付加情報クラス生成部157で生成される第2のクラス情報はクラスコード生成部158に供給される。このクラスコード生成部158では、これら第1のクラス情報および第2のクラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。
また、第1のタップ選択回路235では、予測タップの複数の画素データ(DCT係数も含む)が選択的に取り出される。すなわち、逆量子化回路234より出力されるDCT係数より、教師信号STにおける注目位置に対応したDCT係数が選択的に取り出されると共に、予測メモリ回路238より供給される参照画像信号Vrefより、教師信号STにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
そして、遅延回路159で時間調整された教師信号STから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路235で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、各注目位置の画素データyにそれぞれ対応してクラスコード生成部158で生成されるクラスコードCLとを用いて、正規方程式生成部160では、クラス毎に、係数種データwi0〜wi3を得るための正規方程式((9)式参照)が生成される。
そして、係数種データ決定部161で各正規方程式が解かれ、クラス毎の係数種データwi0〜wi3が求められ、それらの係数種データwi0〜wi3は係数種メモリ162に格納される。
このように、図23に示す係数種データ生成装置150Cにおいては、図21の画像信号処理部110Cの情報メモリバンク128に格納される、クラス毎の、推定式((1)式参照)で用いられる係数データWiを求めるための生成式((2)式参照)における係数データである係数種データwi0〜wi3を生成することができる。
なお、図23に示す係数種データ生成装置150Cにおいては、時間調整された教師信号STに基づいて参照画像信号Vrefを生成するものを示したが、これに限定されるものではない。図24に示すように、演算回路239Aを設け、この演算回路239Aで生成される画像信号に基づいて参照画像信号Vrefを生成するようにしてもよい。
この演算回路239Aには、第1のタップ選択回路235で選択的に取り出される予測タップの画素データxiと、パラメータpの値と、クラスコード生成部158で生成されるクラスコードCLとが供給される。詳細説明は省略するが、この演算回路239Aは、図21に示す画像信号処理部110Cにおける推定予測演算回路127、係数メモリ126、係数生成回路129、情報メモリバンク128の部分と同様に構成されている。なお、情報メモリバンク128には、図23に示す係数種データ生成装置150Cとは別の系で予め生成された係数種データwi0〜wi3が格納されているものとする。
図21の画像信号処理部110Cでは、係数データWi(i=1〜n)を生成するために(2)式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
また、図21の画像信号処理部110Cでは、特徴量抽出部123より出力される空間クラスを示す第1のクラス情報(ADRCコード)の他に、付加情報クラス生成部124で生成された付加情報クラスを示す第2のクラス情報にも基づいて、クラスコード生成部125ではクラスコードCLを生成するものであるが、第1のクラス情報のみを用いてクラスコードCLを生成してもよい。ただし、第2のクラス情報をも加味してクラスコードCLを生成することで、より細かなクラス分けを行うことができ、画像信号Vdの画素データの生成精度を高めることができる。
なお、詳細説明は省略するが、図21の画像信号処理部110Cにおける処理を、例えば図9に示す画像信号処理装置300によって、図1の画像信号処理部110における処理と同様に、ソフトウェアで実現することも可能である(図10のフローチャート参照)。また、詳細説明は省略するが、図23、図24の係数種データ生成装置150Cにおける処理も、図4の係数種データ生成装置150における処理と同様に、ソフトウェアで実現することも可能である(図11のフローチャート参照)。
また、図23、図24に示す係数種データ生成装置150Cは、図4に示す係数種データ生成装置150に対応したものであるが、図8に示す係数種データ生成装置150Aに対応したものとすることもできる。すなわち、パラメータpの各値に対応した各クラスの係数データWiを求め、その後にパラメータpの各値に対応した各クラスの係数データWiを用いて、各クラスの係数種データwi0〜wi3を求めるものである。
また、図21に示す画像信号処理部110Cでは、情報メモリバンク128に格納されている係数種データwi0〜wi3に基づいて、係数生成回路129でパラメータpの値に対応した各クラスの係数データWiを生成し、この各クラスの係数データWiを係数メモリ126に格納して使用するものである。しかし、図13の画像信号処理部110Aと同様に、情報メモリバンク128Aにクラスおよびパラメータpの値の各組み合わせの係数データWiを格納しておき、パラメータpの値に対応した各クラスの係数データWiを情報メモリバンク128Aより係数メモリ126にロードして使用するように構成してもよい。
次に、この発明のさらに別の実施の形態について説明する。
図25は、さらに別の実施の形態としてのデジタル放送受信機100Dの構成を示している。この図25において、図1、図21と対応する部分には同一符号を付して示している。
このデジタル放送受信機100Dは、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ101と、リモートコントロール信号を受信するリモコン信号受信回路102とを有している。リモコン信号受信回路102は、システムコントローラ101に接続され、リモコン送信機200よりユーザの操作に応じて出力されるリモートコントロール信号RMを受信し、その信号RMに対応する操作信号をシステムコントローラ101に供給するように構成されている。
また、デジタル放送受信機100Dは、受信アンテナ105と、この受信アンテナ105で捕らえられた放送信号(RF変調信号)が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのMPEG2ストリームを得るチューナ部106と、このチューナ部106より出力されるMPEG2ストリームVcを一時的に格納するストリームバッファ109とを有している。
また、デジタル放送受信機100Dは、ストリームバッファ109に記憶されているMPEG2ストリームVcを、ユーザ所望の画質を提示する、復号化された画像信号Vdに変換する画像信号処理部110Dと、この画像信号処理部110Dより出力される画像信号Vdによる画像を表示するディスプレイ部111とを有している。
図25に示すデジタル放送受信機100Dの動作を説明する。
チューナ部106より出力されるMPEG2ストリームVcはストリームバッファ109に供給されて一時的に格納される。
このようにストリームバッファ109に記憶されているMPEG2ストリームVcは画像信号処理部110Dに供給され、ユーザ所望の画質を提示する、復号化された画像信号Vdに変換される。この画像信号処理部110Dでは、MPEG2ストリームVcを構成するDCT係数から画像信号Vdを得るための新たなDCT係数が得られ、この新たなDCT係数に対して逆DCTを施して画像信号Vdが得られる。
画像信号処理部110Dより出力される画像信号Vdはディスプレイ部111に供給され、このディスプレイ部111の画面上にはその画像信号Vdによる画像が表示される。
ユーザは、リモコン送信機200の操作によって、上述したようにディスプレイ部111の画面上に表示される画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を調整できる。画像信号処理部110Dでは、後述するように、画像信号Vdを得るためのDCT係数が推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機200の操作によって変更されたパラメータpの値に対応したものが、このパラメータpを含む生成式によって生成されて使用される。これにより、画像信号処理部110Dより出力される画像信号Vdによる画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度は、変更されたパラメータpの値に対応したものとなる。
画像信号処理部110Dの詳細を説明する。この画像信号処理部110Dにおいて、図1に示す画像信号処理部110、図21に示す画像信号処理部110Cと対応する部分には同一符号を付し、その詳細説明は省略する。
画像信号処理部110Dは、ストリームバッファ109に記憶されているMPEG2ストリームVcより周波数係数としてのDCT係数を抽出する抽出回路221と、この抽出回路221で抽出された可変長符号化、例えばハフマン符号化されているDCT係数に対して可変長復号化を行う可変長復号化回路222とを有している。
また、画像信号処理部110Dは、ストリームバッファ109に格納されているMPEG2ストリームVcより量子化特性指定情報を抽出する量子化特性指定情報抽出回路223と、この抽出回路223で抽出される量子化特性指定情報に基づいて、可変長復号化回路222より出力される量子化DCT係数に対して逆量子化を行う逆量子化回路224とを有している。
また、画像信号処理部110Dは、逆量子化回路224より出力されるDCT係数より、画像信号Vdにおける注目位置に対応したDCT係数を選択的に取り出して出力する第1、第2のタップ選択回路241,242を有している。
第1のタップ選択回路241は、予測に使用する予測タップの複数個のDCT係数を選択的に取り出すものである。図22Aは、第1のタップ選択回路241において、逆量子化回路224より出力されるDCT係数より選択的に取り出す予測タップのDCT係数の一例を示している。本実施の形態においては、画像信号Vdの注目画素ブロックを得るためのDCTブロックを注目DCTブロックとし、この注目DCTブロックに対応するDCTブロックの全てのDCT係数、即ち64(8×8)個のDCT係数が、予測タップのDCT係数として取り出される。
また、第2のタップ選択回路242は、クラス分類に使用するクラスタップの複数個のDCT係数を選択的に取り出すものである。図22Bは、第2のタップ選択回路242において、逆量子化回路224より出力されるDCT係数より選択的に取り出すクラスタップのDCT係数の一例を示している。本実施の形態においては、注目DCTブロックに対応するDCTブロックと、その上下左右に隣接する4個のDCTブロックとの、合計で5個のDCTブロックの320(8×8×5)個のDCT係数が、クラスタップのDCT係数として取り出される。
また、画像信号処理部110Dは、第2のタップ選択回路242で選択的に取り出されるクラスタップのDCT係数から特徴量を抽出する特徴量抽出部123を有している。特徴量抽出部123では、クラスタップのDCT係数に1ビットのADRC等の処理を施すことによって、クラスコードCLとしてのADRCコードを生成する。このクラスコードCLは、注目DCTブロックが属するクラスを示すものとなる。
また、画像信号処理部110Dは、係数メモリ126を有している。この係数メモリ126は、後述する推定予測演算回路127で使用される推定式で用いられる複数の係数データWi(i=1〜n)を、クラス毎に、格納するものである。この係数データWiは、MPEG2ストリームVcのDCT係数を、画像信号Vdを得るための新たなDCT係数に変換するための情報である。
係数メモリ126には上述した特徴量抽出部123より出力されるクラスコードCLが読み出しアドレス情報として供給される。この係数メモリ126からは、クラスコードCLに対応した推定式の係数データWiが読み出されて、推定予測演算回路127に供給される。この場合、注目DCTブロックを構成する全てのDCT係数を算出するために、この注目DCTブロック内のDCT係数の個数分の係数データWiが推定予測演算回路127に供給される。
また、画像信号処理部110Dは、情報メモリバンク128を有している。推定予測演算回路127では、予測タップの画素データxiと、係数メモリ126より読み出される係数データWiとから、上述した(1)式の推定式によって、注目DCTブロックを構成するDCT係数yが演算される。(1)式のnは、第1のタップ選択回路241で選択される予測タップの数を表している。
この推定式の係数データWiは、上述した(2)式に示すように、パラメータpを含む生成式によって生成される。情報メモリバンク128には、この生成式における係数データである係数種データwi0〜wi3が、クラス毎に、格納されている。この場合、各クラスの係数種データwi0〜wi3は、それぞれ注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3からなっている。
また、画像信号処理部110Dは、各クラスの係数種データwi0〜wi3およびパラメータpの値とを用い、(2)式によって、クラス毎に、パラメータpの値に対応した推定式の係数データWi(i=1〜n)を生成する係数生成回路129を有している。この係数生成回路129には、情報メモリバンク128より、上述した各クラスの係数種データwi0〜wi3がロードされる。また、この係数生成回路129には、システムコントローラ101より、パラメータpの値が供給される。
この係数生成回路129で生成される各クラスの係数データWi(i=1〜n)は、上述した係数メモリ126に格納される。この係数生成回路129における各クラスの係数データWiの生成は、例えば各垂直ブランキング期間で行われる。これにより、リモコン送信機200の操作によってパラメータpの値が変更されても、係数メモリ126に格納される各クラスの係数データWiを、そのパラメータpの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
ここで、情報メモリバンク128に格納されている係数種データwi0〜wi3は、図21の画像信号処理部110Cの情報メモリバンク128に格納されている係数種データwi0〜wi3と同様に、上述したストリームバッファ109に格納されるMPEG2ストリームVcと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた生徒信号に基づいて予め生成される。これにより、画像信号Vdによって得られる画像の解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等をパラメータpの値に応じて段階的に調整可能となる。
また、画像信号処理部110Dは、推定予測演算回路127より出力されるDCT係数に対して逆DCTを行う逆DCT回路243と、IピクチャおよびPピクチャの画像信号をメモリ(図示せず)に記憶すると共に、これらの画像信号を用いて逆DCT回路243からPピクチャまたはBピクチャの画像信号が出力されるとき、対応する参照画像信号Vrefを生成して出力する予測メモリ回路244とを有している。
また、画像信号処理部110Dは、逆DCT回路243からPピクチャまたはBピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路244で生成された参照画像信号Vrefを加算する加算回路245を有している。なお、逆DCT回路243からIピクチャの画像信号が出力されるとき、予測メモリ回路244から加算回路245に参照画像信号Vrefは供給されず、従って加算回路245からは逆DCT回路243より出力されるIピクチャの画像信号がそのまま出力される。
また、画像信号処理部110Dは、加算回路245より出力されるIピクチャおよびPピクチャの画像信号を予測メモリ回路244に供給してメモリに記憶させると共に、この加算回路245より出力される各ピクチャの画像信号を正しい順に並べ直して画像信号Vdとして出力するピクチャ選択回路246とを有している。
また、画像信号処理部110Dは、ストリームバッファ109に格納されているMPEG2ストリームより符号化制御情報、すなわちピクチャ情報PI、動きベクトル情報MIを抽出する抽出回路227を有している。この抽出回路227で抽出される動きベクトル情報MIは予測メモリ回路244に供給され、予測メモリ回路244ではこの動きベクトル情報MIを用いて参照画像信号Vrefを生成する際に動き補償が行われる。また、抽出回路227で抽出されるピクチャ情報PIは予測メモリ回路244、ピクチャ選択回路246に供給され、これら予測メモリ回路244、ピクチャ選択回路246ではこのピクチャ情報PIに基づいてピクチャの識別が行われる。
次に、画像信号処理部110Dの動作を説明する。
ストリームバッファ109に記憶されているMPEG2ストリームVcが抽出回路221に供給されて周波数係数としてのDCT係数が抽出される。このDCT係数は可変長符号化されており、このDCT係数は可変長復号化回路222に供給されて復号化される。そして、この可変長復号化回路222より出力される量子化DCT係数が逆量子化回路224に供給されて逆量子化が施される。
第2のタップ選択回路242では、逆量子化回路224より出力されるDCT係数より、クラスタップの複数個のDCT係数が選択的に取り出される。このクラスタップの複数個のDCT係数は、特徴量抽出部123に供給される。この特徴量抽出部123では、クラスタップのDCT係数に1ビットのADRC等の処理が施されて、クラスコードCLとしてのADRCコードが生成される。このクラスコードCLは、画像信号Vdの注目画素ブロックを得るためのDCTブロックが属するクラスを示すものとなる。
このクラスコードCLは、係数メモリ126に読み出しアドレス情報として供給される。係数メモリ126には、例えば各垂直ブランキング期間に、係数生成回路129で、ユーザによって調整されたパラメータpの値に対応して、クラス毎に、注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3を用いて、注目DCTブロックの各DCT係数に対応した推定式の係数データWi(i=1〜n)が求められて格納される((2)式参照)。
係数メモリ126に上述したようにクラスコードCLが読み出しアドレス情報として供給されることで、この係数メモリ126からクラスコードCLに対応した係数データWiが読み出されて、推定予測演算回路127に供給される。この場合、注目DCTブロックを構成する全てのDCT係数を算出するために、この注目DCTブロック内のDCT係数の個数分の係数データWiが推定予測演算回路127に供給される。
また、第1のタップ選択回路225では、逆量子化回路224より出力されるDCT係数より、予測タップの複数個のDCT係数が選択的に取り出される。この予測タップの複数個のDCT係数xiは、推定予測演算回路127に供給される。推定予測演算回路127では、予測タップの複数個のDCT係数xiと、係数メモリ126より読み出される係数データWiとを用いて、推定式((1)式参照)に基づいて、注目DCTブロックを構成する複数個のDCT係数yがそれぞれ求められる。
また、推定予測演算回路127より出力されるDCT係数に対して逆DCT回路243で逆DCTが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路245を介してピクチャ選択回路246に供給される。この場合、PピクチャおよびBピクチャの画像信号に対しては、加算回路245で予測メモリ回路244より出力される参照画像信号Vrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路229で正しい順に並べ直されて画像信号Vdとして出力される。
このように、画像信号処理部110Dでは、パラメータpの値に対応した推定式の係数データWi(i=1〜n)が使用されて、画像信号Vdを得るためのDCT係数yが演算される。したがって、ユーザは、パラメータpの値を変更することで、画像信号Vdによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
また、係数データWiを生成するための係数種データwi0〜wi3は、上述したストリームバッファ109に格納されるMPEG2ストリームVcと同様に符号化されたMPEG2ストリームを、パラメータpの値に応じて処理して得られた生徒信号に基づいて予め生成されたものであり、画像信号Vdによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
図25の画像信号処理部110Dの情報メモリバンク128に格納される係数種データwi0〜wi3も、図1の画像信号処理部110の情報メモリバンク128に格納される係数種データwi0〜wi3と同様に、複数の生徒信号と教師信号との間で学習を行うことによって生成される(図3参照)。
図26は、上述したデジタル放送受信機100Dの情報メモリバンク128に格納される係数種データwi0〜wi3を生成するための係数種データ生成装置150Dの構成を示している。この図26において、図4、図23と対応する部分には同一符号を付して示している。
この係数種データ生成装置150Dは、画像信号Vdに対応した画像信号Vd′が入力される入力端子151と、この画像信号Vd′に対して符号化を行って生徒信号SSであるMPEG2ストリームを得るMPEG2符号化器152とを有している。なお、このMPEG2符号化器152からは、画像信号Vd′より生成されたMPEG2ストリームを構成するDCT係数が教師信号STとして出力される。
また、係数種データ生成装置150Dは、MPEG2符号化器152で得られる生徒信号SSより周波数係数としてのDCT係数を抽出するDCT係数抽出回路231と、この抽出回路231で抽出された可変長符号化、例えばハフマン符号化されているDCT係数に対して可変長復号化を行う可変長復号化回路232とを有している。
また、係数種データ生成装置150Dは、MPEG2符号化器152で得られる生徒信号SSより量子化特性指定情報を抽出する量子化特性指定情報抽出回路233と、この抽出回路233で抽出される量子化特性指定情報に基づいて、可変長復号化回路232より出力される量子化DCT係数に対して逆量子化を行う逆量子化回路234とを有している。
この逆量子化回路234には、パラメータpの値が入力される。この逆量子化回路234では、図23の係数種データ生成装置150Cで説明したと同様に逆量子化の信号処理の過程で、パラメータpの値に応じてDCT係数が変化するようにされ、当該パラメータpの値に対応した、生徒信号に係るDCT係数が得られる。これにより、複数の生徒信号に係るDCT係数を用いて生成される係数種データwi0〜wi3は、上述の画像信号Vdによって得られる画像の解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等をパラメータpの値に応じて段階的に調整可能なものとなる。
また、係数種データ生成装置150Dは、逆量子化回路234より出力されるDCT係数より、教師信号STにおける注目位置に対応したDCT係数を選択的に取り出して出力する第1、第2のタップ選択回路251,252を有している。これら第1、第2のタップ選択回路251,252は、それぞれ上記した画像信号処理部110Dの第1、第2のタップ選択回路241,242と同様に構成される。
第1のタップ選択回路251は、予測に使用する予測タップの複数個のDCT係数を選択的に取り出すものである。図22Aは、第1のタップ選択回路251において、逆量子化回路234より出力されるDCT係数より選択的に取り出す予測タップのDCT係数の一例を示している。本実施の形態においては、教師信号STの注目DCTブロックに対応するDCTブロックの全てのDCT係数、即ち64(8×8)個のDCT係数が、予測タップのDCT係数として取り出される。
また、第2のタップ選択回路252は、クラス分類に使用するクラスタップの複数個のDCT係数を選択的に取り出すものである。図22Bは、第2のタップ選択回路252において、逆量子化回路234より出力されるDCT係数より選択的に取り出すクラスタップのDCT係数の一例を示している。本実施の形態においては、注目DCTブロックに対応するDCTブロックと、その上下左右に隣接する4個のDCTブロックとの、合計で5個のDCTブロックの320(8×8×5)個のDCT係数が、クラスタップのDCT係数として取り出される。
また、係数種データ生成装置150Dは、第2のタップ選択回路252で選択的に取り出されるクラスタップのDCT係数から特徴量を抽出する特徴量抽出部156を有している。この特徴量抽出部156は、上述した画像信号処理部110Dの特徴量抽出部123と同様に構成される。この特徴量抽出部156では、クラスタップのDCT係数に1ビットのADRC等の処理を施すことによって、クラスコードCLとしてのADRCコードを生成する。このクラスコードCLは、教師信号STにおける注目DCTブロックが属するクラスを示すものとなる。
また、係数種データ生成装置150Dは、MPEG2符号化器152より出力される教師信号(DCT係数)STの時間調整を行うための遅延回路159と、この遅延回路159で時間調整された教師信号STの各注目DCTブロックのDCT係数yと、この各注目DCTブロックにそれぞれ対応して第1のタップ選択回路251で選択的に取り出される予測タップのDCT係数xiと、パラメータpの値と、各注目DCTブロックにそれぞれ対応して特徴量抽出部156で生成されるクラスコードCLとから、クラス毎に、注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3をそれぞれ得るための正規方程式((9)式参照)を生成する正規方程式生成部160を有している。
この場合、1個のDCT係数yとそれに対応するn個の予測タップのDCT係数xiとの組み合わせで1個の学習データが生成される。パラメータpの値に応じて、逆量子化回路234からは複数の生徒信号に係るDCT係数が順次得られ、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部160では、パラメータpの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データwi0〜wi3を求めることが可能となる。
また、係数種データ生成装置150Dは、正規方程式生成部160で、クラス毎に生成された、注目DCTブロックの各DCT係数にそれぞれ対応した正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3を求める係数種データ決定部161と、この求められた係数種データを格納する係数種メモリ162とを有している。係数種データ決定部161では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
図26に示す係数種データ生成装置150Dの動作を説明する。
入力端子151には画像信号Vdに対応した画像信号Vd′が供給され、そしてこの画像信号Vd′に対してMPEG2符号化器152で符号化が施されて生徒信号SSとしてのMPEG2ストリームが生成される。
MPEG2符号化器152で得られる生徒信号SSは抽出回路231に供給されて周波数係数としてのDCT係数が抽出される。このDCT係数は可変長符号化されており、このDCT係数は可変長復号化回路232に供給されて復号化される。そして、この可変長復号化回路232より出力される量子化DCT係数が逆量子化回路234に供給されて逆量子化が施される。
この逆量子化回路234には、パラメータpの値が入力される。この逆量子化回路234では、逆量子化の信号処理の過程で、パラメータpの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータpの値に応じてDCT係数が変更される。これにより、パラメータpの値に対応した、生徒信号に係るDCT係数が得られる。
また、第2のタップ選択回路252では、逆量子化回路234より出力されるDCT係数より、クラスタップの複数個のDCT係数が選択的に取り出される。このクラスタップの複数個のDCT係数は、特徴量抽出部156に供給される。この特徴量抽出部156では、クラスタップのDCT係数に1ビットのADRC等の処理が施されて、クラスコードCLとしてのADRCコードが生成される。このクラスコードCLは、教師信号STの注目DCTブロックが属するクラスを示すものとなる。
また、第1のタップ選択回路251では、逆量子化回路234より出力されるDCT係数より、教師信号STの注目DCTブロックに対応する、予測タップの複数個のDCT係数が選択的に取り出される。
そして、遅延回路159で時間調整された教師信号STの各注目DCTブロックのDCT係数yと、この各注目DCTブロックにそれぞれ対応して第1のタップ選択回路251で選択的に取り出される予測タップのDCT係数xiと、パラメータpの値と、各注目DCTブロックにそれぞれ対応して特徴量抽出部156で生成されるクラスコードCLとを用いて、正規方程式生成部160では、クラス毎に、注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3をそれぞれ得るための正規方程式((9)式参照)が生成される。
そして、係数種データ決定部161で各正規方程式が解かれ、クラス毎に、注目DCTブロックの各DCT係数にそれぞれ対応した複数組の係数種データwi0〜wi3を求められ、それらの係数種データwi0〜wi3は係数種メモリ162に格納される。
このように、図26に示す係数種データ生成装置150Dにおいては、図25の画像信号処理部110Dの情報メモリバンク128に格納される、クラス毎の、推定式((1)式参照)で用いられる係数データWiを求めるための生成式((2)式参照)における係数データである係数種データwi0〜wi3を生成することができる。
なお、図25の画像信号処理部110Dでは、係数データWi(i=1〜n)を生成するために(2)式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
また、詳細説明は省略するが、図25の画像信号処理部110Dにおける処理を、例えば図9に示す画像信号処理装置300によって、図1の画像信号処理部110における処理と同様に、ソフトウェアで実現することも可能である(図10のフローチャート参照)。また、詳細説明は省略するが、図26の係数種データ生成装置150Dにおける処理も、図4の係数種データ生成装置150における処理と同様に、ソフトウェアで実現することも可能である(図11のフローチャート参照)。
また、図26に示す係数種データ生成装置150Dは、図4に示す係数種データ生成装置150に対応したものであるが、図8に示す係数種データ生成装置150Aに対応したものとすることもできる。すなわち、パラメータpの各値に対応した各クラスの係数データWiを求め、その後にパラメータpの各値に対応した各クラスの係数データWiを用いて、各クラスの係数種データwi0〜wi3を求めるものである。
また、図25に示す画像信号処理部110Dでは、情報メモリバンク128に格納されている係数種データwi0〜wi3に基づいて、係数生成回路129でパラメータpの値に対応した各クラスの係数データWiを生成し、この各クラスの係数データWiを係数メモリ126に格納して使用するものである。しかし、図13の画像信号処理部110Aと同様に、情報メモリバンク128Aにクラスおよびパラメータpの値の各組み合わせの係数データWiを格納しておき、パラメータpの値に対応した各クラスの係数データWiを情報メモリバンク128Aより係数メモリ126にロードして使用するように構成してもよい。
なお、上述実施の形態においては、DCTを伴うMPEG2ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル情報信号を取り扱うものにも同様に適用することができる。また、DCTの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
また、図4に示す係数種データ生成装置150、図8に示す係数種データ生成装置150A、図14に示す係数データ生成装置170、図18に示す差分データ生成装置210、図23に示す係数種データ生成装置150C、図26に示す係数種データ生成装置150Dのいずれにおいても、MPEG2符号化器152を設け、このMPEG2符号化器152によりMPEG2ストリームを得る構成としているが、このMPEG2ストリームを外部から入力する構成としてもよい。
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
100,100A,100B,100C,100D・・・デジタル放送受信機、101・・・システムコントローラ、102・・・リモコン信号受信回路、105・・・受信アンテナ、106・・・チューナ部、107・・・MPEG2復号化器、108・・・バッファメモリ、109・・・ストリームバッファ、110,110A,110B,110C・・・画像信号処理部、111・・・ディスプレイ部、121,225,241・・・第1のタップ選択回路、122,226,242・・・第2のタップ選択回路、122B・・・タップ選択回路、123・・・特徴量抽出部、124・・・付加情報クラス生成部、125・・・クラスコード生成部、126・・・係数メモリ、127・・・推定予測演算回路、128,128A・・・情報メモリバンク、129・・・係数生成回路、131・・・蓄積テーブル、132・・・DCT回路、133,136・・・切換スイッチ、134・・・加算部、135,243・・・逆DCT回路、150・・・係数種データ生成装置、151・・・入力端子、152・・・MPEG2符号化器、153・・・MPEG2復号化器、154,235,251・・・第1のタップ選択回路、155,236,252・・・第2のタップ選択回路、156・・・特徴量抽出部、157・・・付加情報クラス生成部、158・・・クラスコード生成部、159・・・遅延回路、160,163,165・・・正規方程式生成部、161,166・・・係数種データ決定部、162・・・係数メモリ、164・・・係数データ決定部、167・・・係数メモリ、170・・・係数データ生成装置、171,173・・・DCT回路、172,174・・・切換スイッチ、175・・・減算部、176・・・蓄積制御部、177・・・蓄積テーブル、210・・・差分データ生成装置、221,231・・・DCT係数抽出回路、222,232・・・可変長復号化回路、223,233・・・量子化特性指定情報抽出回路、224,234・・・逆量子化回路、227,237・・・符号化制御情報抽出回路、228,238,244・・・予測メモリ回路、229,239,246・・・ピクチャ選択回路、239A・・・演算回路、245・・・加算回路、300・・・画像信号処理装置