JP2004056461A - 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 - Google Patents
画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 Download PDFInfo
- Publication number
- JP2004056461A JP2004056461A JP2002210997A JP2002210997A JP2004056461A JP 2004056461 A JP2004056461 A JP 2004056461A JP 2002210997 A JP2002210997 A JP 2002210997A JP 2002210997 A JP2002210997 A JP 2002210997A JP 2004056461 A JP2004056461 A JP 2004056461A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel data
- class
- motion compensation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音（符号化歪み）を良好に軽減する。
【解決手段】クラス分類部１２２は、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に格納されている動き補償用ベクトルの情報ｍｉ等を用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを得る。推定予測演算回路１２７は、予測タップの画素データｘｉと、係数メモリ１２３より読み出される係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを求める。係数データＷｉは、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって予め得られたものである。
【選択図】 図１
【解決手段】クラス分類部１２２は、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に格納されている動き補償用ベクトルの情報ｍｉ等を用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを得る。推定予測演算回路１２７は、予測タップの画素データｘｉと、係数メモリ１２３より読み出される係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを求める。係数データＷｉは、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって予め得られたものである。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、この発明は、少なくとも出力画像信号における注目位置に対応した入力画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、出力画像信号における注目位置の画素データが属するクラスを検出し、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成することによって、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）による符号化方式がある。
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データに対して可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像データは直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００４】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮した上で重要である低周波データに関しては、細かく量子化を施し、人間の視覚特性を考慮した上で重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００５】
従来のＤＣＴを用いた復号は、各周波数成分毎の、量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｃｅ ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
また、ＭＰＥＧ２による符号化方式では、動き補償予測符号化が行われる。
【０００６】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００７】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００８】
このような符号化雑音（符号化歪み）は、ＭＰＥＧ２による符号化方式だけでなく、その他の符号化方式によっても発生することがある。
【０００９】
なお、ＭＰＥＧ２による符号化方式では、動き補償予測符号化が行われる。ＭＰＥＧ２の符号化データは、周知のように階層構造で表現される。上位層から順に、シーケンス層、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）層、ピクチャ層、スライス層、マクロブロック層、ブロック層という階層がある。
【００１０】
ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）層は、ＧＯＰヘッダに始まり、通常は１０〜１５個のピクチャからなり、先頭のピクチャは必ずＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）になる。ＭＰＥＧ２の符号化構造には、ピクチャには、Ｉピクチャの他に、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）がある。
【００１１】
Ｉピクチャは、フレーム内／フィールド内符号化した画像であり、他のフレーム／フィールドとは独立に符号化する。Ｐピクチャは、時間的に過去のＩピクチャやＰピクチャから前方予測してフレーム間／フィールド間符号化する画像である。Ｂピクチャは、双方向予測してフレーム間／フィールド間符号化する画像である。
【００１２】
また、ＭＰＥＧ２の予測符号化の単位には、フレーム構造（ｆｒａｍｅ ｐｉｃｔｕｒｅ）とフィールド構造（ｆｉｅｌｄ ｐｉｃｔｕｒｅ）の２種類がある。フレーム構造を選ぶと、インタレース方式の画像から作成したフレームをピクチャ単位として動き補償予測符号化する。フィールド構造を選ぶと、直前に符号化した二つのフィールドをピクチャ単位として動き補償予測符号化する。
【００１３】
そして、フレーム構造の動き補償予測には、▲１▼フレーム動き補償予測、▲２▼フィールド動き補償予測、▲３▼デュアルプライム予測、という３つの予測モードを用いることができる。フィールド構造の動き補償予測には、▲１▼フィールド動き補償予測、▲２▼デュアルプライム予測、▲３▼１６×８動き補償予測、という３つの予測モードを用いることができる。
【００１４】
動き補書予測符号化では、入力画像ブロックを構成する各画素データから、動きベクトルに基づいて動き補償された参照ブロックの各画素データを減算し、この減算後の残差データに対してＤＣＴが施される構成となっている。この場合、動きベクトルは１／２画素の精度を持っている。
【００１５】
そのため、動きベクトルが１／２画素の成分を持っている場合には、整数精度の各画素間を平均化して１／２整数精度の画素を得て参照ブロックを得ている。したがって、動きベクトルが１／２画素の成分を持っている場合には、参照ブロックの各画素データの高域成分は減少しており、残差データとしては、それを補うための情報が付加されたものとなる。これに対して、動きベクトルが１／２画素の成分を持っていない場合には、残差データには、そのような高域成分の減少を補うような情報は付加されていない。
【００１６】
この発明の目的は、動き補償予測符号化されたデジタル画像信号を復号化することによって得られた画像信号の符号化雑音（符号化歪み）を良好に軽減することにある。
【００１７】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、少なくとも第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１８】
例えば、画素データ生成手段は、クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の画素データとを用いて、推定式に基づいて第２の画像信号における注目位置の画素データを算出して得る演算手段とを有するものである。
【００１９】
また、この発明に係る画像信号処理方法は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、少なくとも上記第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、この検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成するステップとを備えるものである。
【００２０】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２１】
また、この発明に係る画像表示装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、この画像信号入力手段に入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなるものである。画像信号処理手段は、上述した画像信号処理装置と同様の構成である。
【００２２】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成されたものである。少なくとも第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。
【００２３】
ここで、動き補償予測情報は、例えば１／２画素精度の動き補償用ベクトルであり、動き補償用ベクトルが１／２画素成分を持つか否かによって、クラス検出手段で検出されるクラスが異なったものとなる。
【００２４】
また、その他の動き補償予測情報としては、例えば動き補償予測符号化がＭＰＥＧ２の符号化であるときは、ＭＰＥＧ２の符号化構造（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報、予測符号化の単位（フレーム構造、フィールド構造）の情報、動き補補償予測の情報（フレーム動き補償予測、フィールド動き補償予測等）等が考えられる。
【００２５】
上述したように検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。例えば、クラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２６】
このように、少なくとも第２の画像信号（出力画像信号）における注目位置に対応した第１の画像信号（入力画像信号）の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出され、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成するものであり、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００２７】
この発明に係る係数データ生成装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、復号化手段より出力される生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、クラス検出手段で検出されたクラス、データ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める演算手段とを備えるものである。
【００２８】
また、この発明に係る係数データ生成方法は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスを検出する第２のステップと、第１のステップで得られた生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、第２のステップで検出されたクラス、第３のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める第４のステップとを備えるものである。
【００２９】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００３０】
この発明において、複数の画素データからなる第１の画素信号は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００３１】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスが検出される。
【００３２】
また、この生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００３３】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３４】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３６】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３７】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３８】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データを得る際に使用された動き補償用ベクトルの情報ｍｉおよびその画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。バッファメモリ１０８には、各画素データと対にしてこれらの情報ｍｉ，ｐｉも格納される。
【００３９】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子１８１と、この入力端子１８１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ１８２とを有している。
【００４０】
また、この復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路１８３と、この抽出回路１８３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路１８４とを有している。
【００４１】
また、この復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報を抽出する抽出回路１８５と、この抽出回路１８５で抽出される量子化特性指定情報に基づいて、可変長復号化回路１８４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路１８６と、逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路１８７とを有している。
【００４２】
また、復号化器１０７は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）およびＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の画像信号が出力されるとき、対応する参照画像信号Ｖｒｅｆを生成して出力する予測メモリ回路１８８を有している。
【００４３】
また、復号化器１０７は、逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路１８８で生成された参照画像信号Ｖｒｅｆを加算する加算回路１８９を有している。なお、逆ＤＣＴ回路１８７からＩピクチャの画像信号が出力されるとき、予測メモリ回路１８８から加算回路１８９に参照画像信号Ｖｒｅｆは供給されず、従って加算回路１８９からは逆ＤＣＴ回路１８７より出力されるＩピクチャの画像信号がそのまま出力される。
【００４４】
また、復号化器１０７は、加算回路１８９より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路１８８に供給してメモリに記憶させると共に、この加算回路１８９より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路１９０と、このピクチャ選択回路１９０より出力される画像信号Ｖａを出力する出力端子１９１とを有している。
【００４５】
また、復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路１９２を有している。抽出回路１９２で抽出される動き補償用ベクトルの情報ＭＩは予測メモリ回路１８８に供給され、予測メモリ回路１８８ではこの動き補償用ベクトルの情報ＭＩを用いて参照画像信号Ｖｒｅｆを生成する際に動き補償が行われる。抽出回路１９２で抽出されるピクチャの情報ＰＩは予測メモリ回路１８８、ピクチャ選択回路１９０に供給され、これら予測メモリ回路１８８、ピクチャ選択回路１９０ではこのピクチャの情報ＰＩに基づいてピクチャの識別が行われる。
【００４６】
なお、ピクチャ選択回路１９０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データを得る際に使用された動き補償用ベクトルの情報ｍｉおよびその画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。
【００４７】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ１８２に記憶されているＭＰＥＧ２ストリームが抽出回路１８３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路１８４に供給されて復号化される。そして、この可変長復号化回路１８４より出力される量子化ＤＣＴ係数が逆量子化回路１８６に供給されて逆量子化が施される。
【００４８】
逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴ回路１８３で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路１８９を介してピクチャ選択回路１９０に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路１８９で予測メモリ回路１８８より出力される参照画像信号Ｖｒｅｆが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路１９０で正しい順に並べ直されて出力端子１９１に出力される。
【００４９】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００５０】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５１】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。
【００５２】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５３】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としてのタップ選択回路１２１を有している。タップ選択回路１２１は、予測に使用する予測タップの複数の画素データを選択的に取り出すものであって、例えば画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データが含まれる、ＤＣＴ処理の単位となるＤＣＴブロックに対応した複数の画素データを取り出す。この場合、ＤＣＴブロックが８×８のブロックであるとき、６４個の画素データが取り出される。
【００５４】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを検出するクラス検出手段としてのクラス分類部１２２を有している。
【００５５】
このクラス分類部１２２は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、およびバッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを生成する。
【００５６】
図３は、クラス分類部１２２の構成を示している。
このクラス分類部１２２は、画像信号Ｖａを入力する入力端子１３０Ａと、この入力端子１３０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データｙが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路１３０Ｂ１〜１３０Ｂｎと、このタップ選択回路１３０Ｂ１〜１３０Ｂｎで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路１３０Ｃ１〜１３０Ｃｎとを有している。
【００５７】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００５８】
▲１▼空間波形クラスを説明する。タップ選択回路１３０Ｂ１およびクラス生成回路１３０Ｃ１は、この空間波形クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ１は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。クラス生成回路１３０Ｃ１は、注目ブロックの８×８個の画素データを４分割し、各分割領域の画素平均値を求めて２×２個の上位階層の画素データを得、この２×２個の画素データのそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）等の処理を施し、空間波形クラスを示す４ビットのクラスコードＣＬ１を生成する。
【００５９】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【００６０】
▲２▼時間変動クラスを説明する。タップ選択回路１３０Ｂ２およびクラス生成回路１３０Ｃ２は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ２は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図４に示す過去ブロック）の画素データを取り出す。
【００６１】
クラス生成回路１３０Ｃ２は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示す２ビットのクラスコードＣＬ２を生成する。
【００６２】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路１３０Ｂ３およびクラス生成回路１３０Ｃ３は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ３は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図４に示す過去ブロック）の画素データを取り出す。
【００６３】
クラス生成回路１３０Ｃ３は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路１３０Ｃ３は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ１と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ２を求め、ｍ１／ｍ２を閾値判定して、ＡＣ変動クラスを示す２ビットのクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【００６４】
▲４▼フラットクラスを説明する。タップ選択回路１３０Ｂ４およびクラス生成回路１３０Ｃ４は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ４は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。クラス生成回路１３０Ｃ４は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示す１ビットのクラスコードＣＬ４を生成する。
【００６５】
▲５▼ライン相関クラスについて説明する。タップ選択回路１３０Ｂ５およびクラス生成回路１３０Ｃ５は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ５は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。
【００６６】
クラス生成回路１３０Ｃ５は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示す１ビットのクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【００６７】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路１３０Ｂ６およびクラス生成回路１３０Ｃ６は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ６は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図４に示す隣接ブロック）の画素データを取り出す。
【００６８】
クラス生成回路１３０Ｃ６は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示す４ビットのクラスコードＣＬ６を生成する。
【００６９】
また、クラス分類部１２２は、動き補償用ベクトルの情報ｍｉを入力する入力端子１３０Ｄと、この入力端子１３０Ｄに入力される動き補償用ベクトルの情報ｍｉに基づいて、画像信号Ｖｂにおける注目位置の画素データｙが属するサブピクセルクラスを示すクラスコードＣＬｍを生成するクラス生成回路１３０Ｅとを有している。
【００７０】
このクラス生成回路１３０Ｅは、動き補償用ベクトルの情報ｍｉに基づいて、動き補償用ベクトルが使用されたか、動き補償用ベクトルが使用されたとすれば、その動き補償用ベクトルが１／２画素成分を持っているか否かを判定して３つのクラスにクラス分けし、サブピクセルクラスを示す２ビットのクラスコードＣＬｍを生成する。
【００７１】
また、クラス分類部１２２は、画素位置モードの情報ｐｉを入力する入力端子１３０Ｆを有している。この画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬｐとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬｐは６ビットのコードとなる。
【００７２】
また、クラス分類部１２２は、クラス生成回路１３０Ｃ１〜１３０Ｃｎ，１３０Ｅで生成されるクラスコードＣＬ１〜ＣＬｎ，ＣＬｍおよびクラスコードＣＬｐを統合して１個のクラスコードＣＬとするクラス統合回路１３０Ｇと、このクラスコードＣＬを出力する出力端子１３０Ｈとを有している。
【００７３】
本実施の形態において、クラス統合回路１３０Ｇは、クラス生成回路１３０Ｃ１〜１３０Ｃ６，１３０Ｅで生成されたクラスコードＣＬ１〜ＣＬ６，ＣＬｍ、さらにはクラスコードＣＬｐを統合して、１つのクラスコードＣＬとする。
【００７４】
ここで、ＣＬ１〜ＣＬ６，ＣＬｍ，ＣＬｐを単に統合すると、クラスコードＣＬは、１６クラス（空間波形クラス）×４クラス（時間変動クラス）×４クラス（ＡＣ変動クラス）×２クラス（フラットクラス）×２クラス（ライン相関クラス）×１６クラス（ブロックエッジクラス）×３クラス（サブピクセルクラス）×６４クラス（画素位置モードクラス）＝３１４５７２８クラスを示すものとなる。
【００７５】
しかし、本実施の形態においては、時間変動クラスにＡＣ変動クラスを木構造として統合する。すなわち、時間変動が少ない場合は、静止部分である可能性が高い。そのため、時間変動クラス化を行い、時間変動が少ない場合は木構造としてＡＣ変動クラス化を行う。これにより、時間変動クラスおよびＡＣ変動クラスの統合後のクラス数は、７（＝４＋４−１）となる。
【００７６】
また、本実施の形態においては、フラットクラスにライン相関クラスを木構造として統合する。すなわち、フラットクラス化を行い、フラットでない場合は木構造としてライン相関クラス化を行う、これにより、フラットクラスおよびライン相関クラスの統合後のクラス数は、３（＝２＋２−１）となる。
【００７７】
このように木構造によるクラス統合を行うことで、クラスコードＣＬは、１６クラス（空間波形クラス）×７クラス（時間変動クラスおよびＡＣ変動クラス）×１６クラス（ブロックエッジクラス）×３クラス（フラットクラスおよびライン相関クラス）×３クラス（サブピクセルクラス）×６４クラス（画素位置モードクラス）＝１０３２１９２クラスを示すものとなり、クラス数を大幅に縮小できる。
【００７８】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２３を有している。この係数メモリ１２３は、後述する推定予測演算回路１２７で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。係数メモリ１２３には上述したクラス分類部１２２より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２３からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。係数データＷｉの生成方法については後述する。
【００７９】
また、画像信号処理部１１０は、タップ選択回路１２１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２３より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２７を有している。
【００８０】
【数１】
【００８１】
この画像信号処理部１１０の動作を説明する。
クラス分類部１２２では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、およびバッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬが生成される。
【００８２】
すなわち、クラス分類部１２２では、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを用いて、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスをそれぞれ示すクラスコードＣＬ１〜ＣＬ６が生成され、動き補償用ベクトルの情報ｍｉからサブピクセルクラスを示すクラスコードＣＬｍが生成され、画素位置モードの情報ｐｉから画素位置モードクラスを示すクラスコードＣＬｐが生成され、最終的にこれらのクラスコードＣＬ１〜ＣＬ６，ＣＬｍ，ＣＬｐを統合したクラスコードＣＬが得られる。
【００８３】
このようにクラス分類部１２２で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２３に供給される。これにより、係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【００８４】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、タップ選択回路１２１で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データが含まれる、ＤＣＴ処理の単位となるＤＣＴブロックに対応した複数の画素データが取り出される。
【００８５】
推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【００８６】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、この係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを得ることができる。
【００８７】
また、画像信号処理部１１０のクラス分類部１２２では、動き補償情報としての動き補償用ベクトルの情報ｍｉからサブピクセルクラスを示すクラスコードＣＬｍを生成し、このクラスコードＣＬｍを統合したクラスコードＣＬを得るようにしている。
【００８８】
そのため、このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データを得るのに動き補償用ベクトルが使用されていないときと、使用されているが動き補償用ベクトルが１／２画素成分を持っていないときと、使用されているが動き補償用ベクトルが１／２画素成分を持っているときとでは、異なったクラスを示すものとなる。
【００８９】
動き補償用ベクトルが使用されるのはＰピクチャやＢピクチャの画像信号を復号する場合であり、一方動き補償用ベクトルが使用されないのはＩピクチャの画像信号を復号する場合である。そして、動き補償用ベクトルが使用されるＰピクチャやＢピクチャの画像信号を復号する場合には、参照画像信号Ｖｒｅｆがこの動き補償用ベクトルで動き補償されて用いられる。そのため、動き補償用ベクトルが使用されているか否かによって、画像信号Ｖａの状態が異なるものとなる。
【００９０】
また、上述したように、ＭＰＥＧ２符号化器において、動き補償用ベクトルが１／２画素の成分を持っている場合には、整数精度の各画素間を平均化して１／２整数精度の画素を得て参照ブロックを得ている。したがって、動き補償ベクトルが１／２画素の成分を持っている場合には、参照画像信号Ｖｒｅｆの各画素データの高域成分は減少しており、残差データとしては、それを補うための情報が付加されたものとなる。これに対して、動き補償用ベクトルが１／２画素の成分を持っていない場合には、残差データには、そのような高域成分の減少を補うような情報は付加されていない。そのため、動き補償用ベクトルが１／２画素の成分を持っているか否かによって、画像信号Ｖａの状態が異なるものとなる。
【００９１】
係数メモリ１２３からは、クラスコードＣＬに基づいて、動き補償用ベクトルが使用されているか否か、さらには動き補償用ベクトルが１／２画素の成分を持っているか否かに応じて異なる係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【００９２】
したがって、画像信号処理部１１０では、動き補償用ベクトルが使用されているか否か、さらには動き補償用ベクトルが１／２画素の成分を持っているか否かに応じて、画像信号Ｖｂにおける注目位置の画素データｙを、的確に求めることができる。そのため、画像信号Ｖａの符号化雑音を良好に軽減した画像信号Ｖｂを得ることができる。
【００９３】
次に、係数メモリ１２３に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１ ，Ｗ２，‥‥，Ｗｎ は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙｋ ＝Ｗ１ ×ｘｋ１＋Ｗ２ ×ｘｋ２＋‥‥＋Ｗｎ ×ｘｋｎ ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【００９４】
ｍ＞ｎの場合、係数データＷ１ ，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【００９５】
【数２】
【００９６】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００９７】
【数３】
【００９８】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉ を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【００９９】
【数４】
【０１００】
【数５】
【０１０１】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１０２】
図５は、図１の画像信号処理部１１０の係数メモリ１２３に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１０３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するタップ選択回路１５４を有している。このタップ選択回路１５４は、上述した画像信号処理部１１０のタップ選択回路１２１と同様に構成される。
【０１０４】
また、係数データ生成装置１５０は、教師信号Ｖｂにおける注目位置の画素データｙが属するクラスを検出するクラス検出手段としてのクラス分類部１５５を有している。
【０１０５】
このクラス分類部１５５は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データのうち、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ、およびＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該教師信号ＳＴにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを生成する。このクラス分類部１５５は、上述した画像信号処理部１１０のクラス分類部１２２と同様に構成される。
【０１０６】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５９と、この遅延回路１５９で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５５で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１６３を有している。
【０１０７】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１６３では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１０８】
また、係数データ生成装置１５０は、正規方程式生成部１６３で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１６４と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６５とを有している。
【０１０９】
次に、図５に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１１０】
クラス分類部１５５では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データのうち、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ、およびＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該教師信号ＳＴにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬが生成される。
【０１１１】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、タップ選択回路１５４で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１１２】
そして、遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５５で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６３では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。
【０１１３】
そして、係数データ決定部１６４でその正規方程式が解かれ、各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６５に格納される。
【０１１４】
このように、図５に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２３に格納される各クラスの係数データＷｉを生成することができる。
【０１１５】
この係数データＷｉは、生徒信号ＳＳとして、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１１６】
なお、図１の画像信号処理部１１０における処理を、例えば図６に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１１７】
まず、図６に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１１８】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１１９】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１２０】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１２１】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１２２】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１２３】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１２４】
図７のフローチャートを参照して、図６に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ６１で、処理を開始し、ステップＳ６２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号Ｖａを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａを読み出し、この画像信号Ｖａを構成する画素データをＲＡＭ３０３に一時的に格納する。
【０１２５】
そして、ステップＳＴ６３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ６４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ６５に進む。
【０１２６】
このステップＳＴ６５では、ステップＳＴ６２で入力された画像信号Ｖａのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、さらには、上述せずも、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって入力された動き補償ベクトルの情報ｍｉおよび画素位置モードの情報ｐｉに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１２７】
次に、ステップＳＴ６６で、ステップＳＴ６２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ６７で、ステップＳＴ６２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ６２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ６８に進む。
【０１２８】
このステップＳＴ６８では、ステップＳＴ６５で生成されたクラスコードＣＬに対応した係数データＷｉと予測タップの画素データを使用して、推定式により、画像信号Ｖｂにおける注目位置の画素データを生成し、その後にステップＳＴ６５に戻って、次の注目位置についての処理に移る。
【０１２９】
このように、図７に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
また、処理装置の図示は省略するが、図５の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１３０】
図８のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ８３で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ８４で、ステップＳＴ８２で入力された教師信号から生徒信号を生成する。
【０１３１】
そして、ステップＳＴ８５で、ステップＳＴ８４で生成された生徒信号のうち、教師信号における注目位置の周辺に位置する複数の画素データ、さらには、上述せずも、教師信号における注目位置の画素データに対応した生徒信号の画素データに対応して得られた動き補償ベクトルの情報ｍｉおよび画素位置モードの情報ｐｉに基づいて、教師信号における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１３２】
また、ステップＳＴ８６で、ステップＳＴ８４で生成された生徒信号より、教師信号における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ８７で、ステップＳＴ８２で入力された１フレームまたは１フィールド分の教師信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ８２に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ８８に進む。
【０１３３】
このステップＳＴ８８では、ステップＳＴ８５で生成されたクラスコードＣＬ、ステップＳＴ８６で取得された複数の画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、係数データＷｉを得るための正規方程式（（８）式参照）を生成する。その後に、ステップＳＴ８５に戻って、次の注目位置についての処理に移る。
【０１３４】
上述したステップＳＴ８３で、処理が終了したときは、ステップＳＴ８９で、上述のステップＳＴ８８で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。そして、ステップＳＴ９０で、各クラスの係数データをメモリに保存し、その後にステップＳＴ９１で、処理を終了する。
【０１３５】
このように、図８に示すフローチャートに沿って処理をすることで、図５に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１３６】
なお、上述実施の形態においては、クラス分類に際して動き補償用ベクトルの情報ｍｉを用いたものを示したが、その他の動き補償予測情報、例えば動き補償予測符号化がＭＰＥＧ２の符号化であるときは、ＭＰＥＧ２の符号化構造（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報、予測符号化の単位（フレーム構造、フィールド構造）の情報、動き補補償予測の情報（フレーム動き補償予測、フィールド動き補償予測等）等を用いることもできる。これによっても、画像信号の符号化雑音を良好に軽減できるようになる。
【０１３７】
また、上述実施の形態においては、ＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の動き補償予測符号化されてなるデジタル画像信号を取り扱うものにも同様に適用することができる。
【０１３８】
【発明の効果】
この発明によれば、少なくとも出力画像信号における注目位置に対応した入力画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、出力画像信号における注目位置の画素データが属するクラスを検出し、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成するものであり、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス分類部の構成を示すブロック図である。
【図４】タップ選択用ブロックを示す図である。
【図５】係数データ生成装置の構成を示すブロック図である。
【図６】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図７】画像信号処理を示すフローチャートである。
【図８】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・タップ選択回路、１２２・・・クラス分類部、１２３・・・係数メモリ、１２７・・・推定予測演算回路、１３０Ａ，１３０Ｄ，１３０Ｆ・・・入力端子、１３０Ｂ１〜１３０Ｂｎ・・・タップ選択回路、１３０Ｃ１〜１３０Ｃｎ，１３０Ｅ・・・クラス生成回路、１３０Ｇ・・・クラス統合回路、１３０Ｈ・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・ＭＰＥＧ２符号化器、１５３・・・ＭＰＥＧ２復号化器、１５４・・・タップ選択回路、１５５・・・クラス分類部、１５９・・・遅延回路、１６３・・・正規方程式生成部、１６４・・・係数データ決定部、１６５・・・係数メモリ
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、この発明は、少なくとも出力画像信号における注目位置に対応した入力画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、出力画像信号における注目位置の画素データが属するクラスを検出し、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成することによって、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）による符号化方式がある。
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データに対して可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像データは直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００４】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮した上で重要である低周波データに関しては、細かく量子化を施し、人間の視覚特性を考慮した上で重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００５】
従来のＤＣＴを用いた復号は、各周波数成分毎の、量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｃｅ ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
また、ＭＰＥＧ２による符号化方式では、動き補償予測符号化が行われる。
【０００６】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００７】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００８】
このような符号化雑音（符号化歪み）は、ＭＰＥＧ２による符号化方式だけでなく、その他の符号化方式によっても発生することがある。
【０００９】
なお、ＭＰＥＧ２による符号化方式では、動き補償予測符号化が行われる。ＭＰＥＧ２の符号化データは、周知のように階層構造で表現される。上位層から順に、シーケンス層、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）層、ピクチャ層、スライス層、マクロブロック層、ブロック層という階層がある。
【００１０】
ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）層は、ＧＯＰヘッダに始まり、通常は１０〜１５個のピクチャからなり、先頭のピクチャは必ずＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）になる。ＭＰＥＧ２の符号化構造には、ピクチャには、Ｉピクチャの他に、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）がある。
【００１１】
Ｉピクチャは、フレーム内／フィールド内符号化した画像であり、他のフレーム／フィールドとは独立に符号化する。Ｐピクチャは、時間的に過去のＩピクチャやＰピクチャから前方予測してフレーム間／フィールド間符号化する画像である。Ｂピクチャは、双方向予測してフレーム間／フィールド間符号化する画像である。
【００１２】
また、ＭＰＥＧ２の予測符号化の単位には、フレーム構造（ｆｒａｍｅ ｐｉｃｔｕｒｅ）とフィールド構造（ｆｉｅｌｄ ｐｉｃｔｕｒｅ）の２種類がある。フレーム構造を選ぶと、インタレース方式の画像から作成したフレームをピクチャ単位として動き補償予測符号化する。フィールド構造を選ぶと、直前に符号化した二つのフィールドをピクチャ単位として動き補償予測符号化する。
【００１３】
そして、フレーム構造の動き補償予測には、▲１▼フレーム動き補償予測、▲２▼フィールド動き補償予測、▲３▼デュアルプライム予測、という３つの予測モードを用いることができる。フィールド構造の動き補償予測には、▲１▼フィールド動き補償予測、▲２▼デュアルプライム予測、▲３▼１６×８動き補償予測、という３つの予測モードを用いることができる。
【００１４】
動き補書予測符号化では、入力画像ブロックを構成する各画素データから、動きベクトルに基づいて動き補償された参照ブロックの各画素データを減算し、この減算後の残差データに対してＤＣＴが施される構成となっている。この場合、動きベクトルは１／２画素の精度を持っている。
【００１５】
そのため、動きベクトルが１／２画素の成分を持っている場合には、整数精度の各画素間を平均化して１／２整数精度の画素を得て参照ブロックを得ている。したがって、動きベクトルが１／２画素の成分を持っている場合には、参照ブロックの各画素データの高域成分は減少しており、残差データとしては、それを補うための情報が付加されたものとなる。これに対して、動きベクトルが１／２画素の成分を持っていない場合には、残差データには、そのような高域成分の減少を補うような情報は付加されていない。
【００１６】
この発明の目的は、動き補償予測符号化されたデジタル画像信号を復号化することによって得られた画像信号の符号化雑音（符号化歪み）を良好に軽減することにある。
【００１７】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、少なくとも第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１８】
例えば、画素データ生成手段は、クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の画素データとを用いて、推定式に基づいて第２の画像信号における注目位置の画素データを算出して得る演算手段とを有するものである。
【００１９】
また、この発明に係る画像信号処理方法は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、少なくとも上記第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、この検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成するステップとを備えるものである。
【００２０】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２１】
また、この発明に係る画像表示装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、この画像信号入力手段に入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなるものである。画像信号処理手段は、上述した画像信号処理装置と同様の構成である。
【００２２】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成されたものである。少なくとも第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。
【００２３】
ここで、動き補償予測情報は、例えば１／２画素精度の動き補償用ベクトルであり、動き補償用ベクトルが１／２画素成分を持つか否かによって、クラス検出手段で検出されるクラスが異なったものとなる。
【００２４】
また、その他の動き補償予測情報としては、例えば動き補償予測符号化がＭＰＥＧ２の符号化であるときは、ＭＰＥＧ２の符号化構造（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報、予測符号化の単位（フレーム構造、フィールド構造）の情報、動き補補償予測の情報（フレーム動き補償予測、フィールド動き補償予測等）等が考えられる。
【００２５】
上述したように検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。例えば、クラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２６】
このように、少なくとも第２の画像信号（出力画像信号）における注目位置に対応した第１の画像信号（入力画像信号）の画素データを得る際に使用された動き補償予測情報に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出され、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成するものであり、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００２７】
この発明に係る係数データ生成装置は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、復号化手段より出力される生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、クラス検出手段で検出されたクラス、データ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める演算手段とを備えるものである。
【００２８】
また、この発明に係る係数データ生成方法は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスを検出する第２のステップと、第１のステップで得られた生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、第２のステップで検出されたクラス、第３のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める第４のステップとを備えるものである。
【００２９】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００３０】
この発明において、複数の画素データからなる第１の画素信号は、動き補償予測符号化されたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００３１】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。少なくとも教師信号における注目位置に対応した生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、教師信号における注目位置の画素データが属するクラスが検出される。
【００３２】
また、この生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００３３】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３４】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３６】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３７】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３８】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データを得る際に使用された動き補償用ベクトルの情報ｍｉおよびその画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。バッファメモリ１０８には、各画素データと対にしてこれらの情報ｍｉ，ｐｉも格納される。
【００３９】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子１８１と、この入力端子１８１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ１８２とを有している。
【００４０】
また、この復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路１８３と、この抽出回路１８３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路１８４とを有している。
【００４１】
また、この復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報を抽出する抽出回路１８５と、この抽出回路１８５で抽出される量子化特性指定情報に基づいて、可変長復号化回路１８４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路１８６と、逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路１８７とを有している。
【００４２】
また、復号化器１０７は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）およびＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の画像信号が出力されるとき、対応する参照画像信号Ｖｒｅｆを生成して出力する予測メモリ回路１８８を有している。
【００４３】
また、復号化器１０７は、逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路１８８で生成された参照画像信号Ｖｒｅｆを加算する加算回路１８９を有している。なお、逆ＤＣＴ回路１８７からＩピクチャの画像信号が出力されるとき、予測メモリ回路１８８から加算回路１８９に参照画像信号Ｖｒｅｆは供給されず、従って加算回路１８９からは逆ＤＣＴ回路１８７より出力されるＩピクチャの画像信号がそのまま出力される。
【００４４】
また、復号化器１０７は、加算回路１８９より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路１８８に供給してメモリに記憶させると共に、この加算回路１８９より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路１９０と、このピクチャ選択回路１９０より出力される画像信号Ｖａを出力する出力端子１９１とを有している。
【００４５】
また、復号化器１０７は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路１９２を有している。抽出回路１９２で抽出される動き補償用ベクトルの情報ＭＩは予測メモリ回路１８８に供給され、予測メモリ回路１８８ではこの動き補償用ベクトルの情報ＭＩを用いて参照画像信号Ｖｒｅｆを生成する際に動き補償が行われる。抽出回路１９２で抽出されるピクチャの情報ＰＩは予測メモリ回路１８８、ピクチャ選択回路１９０に供給され、これら予測メモリ回路１８８、ピクチャ選択回路１９０ではこのピクチャの情報ＰＩに基づいてピクチャの識別が行われる。
【００４６】
なお、ピクチャ選択回路１９０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データを得る際に使用された動き補償用ベクトルの情報ｍｉおよびその画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。
【００４７】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ１８２に記憶されているＭＰＥＧ２ストリームが抽出回路１８３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路１８４に供給されて復号化される。そして、この可変長復号化回路１８４より出力される量子化ＤＣＴ係数が逆量子化回路１８６に供給されて逆量子化が施される。
【００４８】
逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴ回路１８３で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路１８９を介してピクチャ選択回路１９０に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路１８９で予測メモリ回路１８８より出力される参照画像信号Ｖｒｅｆが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路１９０で正しい順に並べ直されて出力端子１９１に出力される。
【００４９】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００５０】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５１】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。
【００５２】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５３】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としてのタップ選択回路１２１を有している。タップ選択回路１２１は、予測に使用する予測タップの複数の画素データを選択的に取り出すものであって、例えば画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データが含まれる、ＤＣＴ処理の単位となるＤＣＴブロックに対応した複数の画素データを取り出す。この場合、ＤＣＴブロックが８×８のブロックであるとき、６４個の画素データが取り出される。
【００５４】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを検出するクラス検出手段としてのクラス分類部１２２を有している。
【００５５】
このクラス分類部１２２は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、およびバッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを生成する。
【００５６】
図３は、クラス分類部１２２の構成を示している。
このクラス分類部１２２は、画像信号Ｖａを入力する入力端子１３０Ａと、この入力端子１３０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データｙが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路１３０Ｂ１〜１３０Ｂｎと、このタップ選択回路１３０Ｂ１〜１３０Ｂｎで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路１３０Ｃ１〜１３０Ｃｎとを有している。
【００５７】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００５８】
▲１▼空間波形クラスを説明する。タップ選択回路１３０Ｂ１およびクラス生成回路１３０Ｃ１は、この空間波形クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ１は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。クラス生成回路１３０Ｃ１は、注目ブロックの８×８個の画素データを４分割し、各分割領域の画素平均値を求めて２×２個の上位階層の画素データを得、この２×２個の画素データのそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）等の処理を施し、空間波形クラスを示す４ビットのクラスコードＣＬ１を生成する。
【００５９】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【００６０】
▲２▼時間変動クラスを説明する。タップ選択回路１３０Ｂ２およびクラス生成回路１３０Ｃ２は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ２は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図４に示す過去ブロック）の画素データを取り出す。
【００６１】
クラス生成回路１３０Ｃ２は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示す２ビットのクラスコードＣＬ２を生成する。
【００６２】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路１３０Ｂ３およびクラス生成回路１３０Ｃ３は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ３は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図４に示す過去ブロック）の画素データを取り出す。
【００６３】
クラス生成回路１３０Ｃ３は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路１３０Ｃ３は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ１と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ２を求め、ｍ１／ｍ２を閾値判定して、ＡＣ変動クラスを示す２ビットのクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【００６４】
▲４▼フラットクラスを説明する。タップ選択回路１３０Ｂ４およびクラス生成回路１３０Ｃ４は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ４は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。クラス生成回路１３０Ｃ４は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示す１ビットのクラスコードＣＬ４を生成する。
【００６５】
▲５▼ライン相関クラスについて説明する。タップ選択回路１３０Ｂ５およびクラス生成回路１３０Ｃ５は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ５は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出す。
【００６６】
クラス生成回路１３０Ｃ５は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示す１ビットのクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【００６７】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路１３０Ｂ６およびクラス生成回路１３０Ｃ６は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路１３０Ｂ６は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データｙに対応したブロック（図４に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図４に示す隣接ブロック）の画素データを取り出す。
【００６８】
クラス生成回路１３０Ｃ６は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示す４ビットのクラスコードＣＬ６を生成する。
【００６９】
また、クラス分類部１２２は、動き補償用ベクトルの情報ｍｉを入力する入力端子１３０Ｄと、この入力端子１３０Ｄに入力される動き補償用ベクトルの情報ｍｉに基づいて、画像信号Ｖｂにおける注目位置の画素データｙが属するサブピクセルクラスを示すクラスコードＣＬｍを生成するクラス生成回路１３０Ｅとを有している。
【００７０】
このクラス生成回路１３０Ｅは、動き補償用ベクトルの情報ｍｉに基づいて、動き補償用ベクトルが使用されたか、動き補償用ベクトルが使用されたとすれば、その動き補償用ベクトルが１／２画素成分を持っているか否かを判定して３つのクラスにクラス分けし、サブピクセルクラスを示す２ビットのクラスコードＣＬｍを生成する。
【００７１】
また、クラス分類部１２２は、画素位置モードの情報ｐｉを入力する入力端子１３０Ｆを有している。この画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬｐとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬｐは６ビットのコードとなる。
【００７２】
また、クラス分類部１２２は、クラス生成回路１３０Ｃ１〜１３０Ｃｎ，１３０Ｅで生成されるクラスコードＣＬ１〜ＣＬｎ，ＣＬｍおよびクラスコードＣＬｐを統合して１個のクラスコードＣＬとするクラス統合回路１３０Ｇと、このクラスコードＣＬを出力する出力端子１３０Ｈとを有している。
【００７３】
本実施の形態において、クラス統合回路１３０Ｇは、クラス生成回路１３０Ｃ１〜１３０Ｃ６，１３０Ｅで生成されたクラスコードＣＬ１〜ＣＬ６，ＣＬｍ、さらにはクラスコードＣＬｐを統合して、１つのクラスコードＣＬとする。
【００７４】
ここで、ＣＬ１〜ＣＬ６，ＣＬｍ，ＣＬｐを単に統合すると、クラスコードＣＬは、１６クラス（空間波形クラス）×４クラス（時間変動クラス）×４クラス（ＡＣ変動クラス）×２クラス（フラットクラス）×２クラス（ライン相関クラス）×１６クラス（ブロックエッジクラス）×３クラス（サブピクセルクラス）×６４クラス（画素位置モードクラス）＝３１４５７２８クラスを示すものとなる。
【００７５】
しかし、本実施の形態においては、時間変動クラスにＡＣ変動クラスを木構造として統合する。すなわち、時間変動が少ない場合は、静止部分である可能性が高い。そのため、時間変動クラス化を行い、時間変動が少ない場合は木構造としてＡＣ変動クラス化を行う。これにより、時間変動クラスおよびＡＣ変動クラスの統合後のクラス数は、７（＝４＋４−１）となる。
【００７６】
また、本実施の形態においては、フラットクラスにライン相関クラスを木構造として統合する。すなわち、フラットクラス化を行い、フラットでない場合は木構造としてライン相関クラス化を行う、これにより、フラットクラスおよびライン相関クラスの統合後のクラス数は、３（＝２＋２−１）となる。
【００７７】
このように木構造によるクラス統合を行うことで、クラスコードＣＬは、１６クラス（空間波形クラス）×７クラス（時間変動クラスおよびＡＣ変動クラス）×１６クラス（ブロックエッジクラス）×３クラス（フラットクラスおよびライン相関クラス）×３クラス（サブピクセルクラス）×６４クラス（画素位置モードクラス）＝１０３２１９２クラスを示すものとなり、クラス数を大幅に縮小できる。
【００７８】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２３を有している。この係数メモリ１２３は、後述する推定予測演算回路１２７で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。係数メモリ１２３には上述したクラス分類部１２２より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２３からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。係数データＷｉの生成方法については後述する。
【００７９】
また、画像信号処理部１１０は、タップ選択回路１２１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２３より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２７を有している。
【００８０】
【数１】
この画像信号処理部１１０の動作を説明する。
クラス分類部１２２では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、およびバッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該画像信号Ｖｂにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬが生成される。
【００８２】
すなわち、クラス分類部１２２では、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを用いて、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスをそれぞれ示すクラスコードＣＬ１〜ＣＬ６が生成され、動き補償用ベクトルの情報ｍｉからサブピクセルクラスを示すクラスコードＣＬｍが生成され、画素位置モードの情報ｐｉから画素位置モードクラスを示すクラスコードＣＬｐが生成され、最終的にこれらのクラスコードＣＬ１〜ＣＬ６，ＣＬｍ，ＣＬｐを統合したクラスコードＣＬが得られる。
【００８３】
このようにクラス分類部１２２で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２３に供給される。これにより、係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【００８４】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、タップ選択回路１２１で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データが含まれる、ＤＣＴ処理の単位となるＤＣＴブロックに対応した複数の画素データが取り出される。
【００８５】
推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【００８６】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、この係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを得ることができる。
【００８７】
また、画像信号処理部１１０のクラス分類部１２２では、動き補償情報としての動き補償用ベクトルの情報ｍｉからサブピクセルクラスを示すクラスコードＣＬｍを生成し、このクラスコードＣＬｍを統合したクラスコードＣＬを得るようにしている。
【００８８】
そのため、このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データを得るのに動き補償用ベクトルが使用されていないときと、使用されているが動き補償用ベクトルが１／２画素成分を持っていないときと、使用されているが動き補償用ベクトルが１／２画素成分を持っているときとでは、異なったクラスを示すものとなる。
【００８９】
動き補償用ベクトルが使用されるのはＰピクチャやＢピクチャの画像信号を復号する場合であり、一方動き補償用ベクトルが使用されないのはＩピクチャの画像信号を復号する場合である。そして、動き補償用ベクトルが使用されるＰピクチャやＢピクチャの画像信号を復号する場合には、参照画像信号Ｖｒｅｆがこの動き補償用ベクトルで動き補償されて用いられる。そのため、動き補償用ベクトルが使用されているか否かによって、画像信号Ｖａの状態が異なるものとなる。
【００９０】
また、上述したように、ＭＰＥＧ２符号化器において、動き補償用ベクトルが１／２画素の成分を持っている場合には、整数精度の各画素間を平均化して１／２整数精度の画素を得て参照ブロックを得ている。したがって、動き補償ベクトルが１／２画素の成分を持っている場合には、参照画像信号Ｖｒｅｆの各画素データの高域成分は減少しており、残差データとしては、それを補うための情報が付加されたものとなる。これに対して、動き補償用ベクトルが１／２画素の成分を持っていない場合には、残差データには、そのような高域成分の減少を補うような情報は付加されていない。そのため、動き補償用ベクトルが１／２画素の成分を持っているか否かによって、画像信号Ｖａの状態が異なるものとなる。
【００９１】
係数メモリ１２３からは、クラスコードＣＬに基づいて、動き補償用ベクトルが使用されているか否か、さらには動き補償用ベクトルが１／２画素の成分を持っているか否かに応じて異なる係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【００９２】
したがって、画像信号処理部１１０では、動き補償用ベクトルが使用されているか否か、さらには動き補償用ベクトルが１／２画素の成分を持っているか否かに応じて、画像信号Ｖｂにおける注目位置の画素データｙを、的確に求めることができる。そのため、画像信号Ｖａの符号化雑音を良好に軽減した画像信号Ｖｂを得ることができる。
【００９３】
次に、係数メモリ１２３に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１ ，Ｗ２，‥‥，Ｗｎ は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙｋ ＝Ｗ１ ×ｘｋ１＋Ｗ２ ×ｘｋ２＋‥‥＋Ｗｎ ×ｘｋｎ ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【００９４】
ｍ＞ｎの場合、係数データＷ１ ，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【００９５】
【数２】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００９７】
【数３】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉ を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【００９９】
【数４】
【数５】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１０２】
図５は、図１の画像信号処理部１１０の係数メモリ１２３に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１０３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するタップ選択回路１５４を有している。このタップ選択回路１５４は、上述した画像信号処理部１１０のタップ選択回路１２１と同様に構成される。
【０１０４】
また、係数データ生成装置１５０は、教師信号Ｖｂにおける注目位置の画素データｙが属するクラスを検出するクラス検出手段としてのクラス分類部１５５を有している。
【０１０５】
このクラス分類部１５５は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データのうち、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ、およびＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該教師信号ＳＴにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬを生成する。このクラス分類部１５５は、上述した画像信号処理部１１０のクラス分類部１２２と同様に構成される。
【０１０６】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５９と、この遅延回路１５９で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５５で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１６３を有している。
【０１０７】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１６３では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１０８】
また、係数データ生成装置１５０は、正規方程式生成部１６３で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１６４と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６５とを有している。
【０１０９】
次に、図５に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１１０】
クラス分類部１５５では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データのうち、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ、およびＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトルの情報ｍｉ、画素位置モードの情報ｐｉを用いて、当該教師信号ＳＴにおける注目位置の画素データｙが属するクラスを示すクラスコードＣＬが生成される。
【０１１１】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、タップ選択回路１５４で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１１２】
そして、遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５５で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６３では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。
【０１１３】
そして、係数データ決定部１６４でその正規方程式が解かれ、各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６５に格納される。
【０１１４】
このように、図５に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２３に格納される各クラスの係数データＷｉを生成することができる。
【０１１５】
この係数データＷｉは、生徒信号ＳＳとして、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１１６】
なお、図１の画像信号処理部１１０における処理を、例えば図６に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１１７】
まず、図６に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１１８】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１１９】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１２０】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１２１】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１２２】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１２３】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１２４】
図７のフローチャートを参照して、図６に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ６１で、処理を開始し、ステップＳ６２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号Ｖａを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａを読み出し、この画像信号Ｖａを構成する画素データをＲＡＭ３０３に一時的に格納する。
【０１２５】
そして、ステップＳＴ６３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ６４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ６５に進む。
【０１２６】
このステップＳＴ６５では、ステップＳＴ６２で入力された画像信号Ｖａのうち、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ、さらには、上述せずも、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって入力された動き補償ベクトルの情報ｍｉおよび画素位置モードの情報ｐｉに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１２７】
次に、ステップＳＴ６６で、ステップＳＴ６２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ６７で、ステップＳＴ６２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ６２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ６８に進む。
【０１２８】
このステップＳＴ６８では、ステップＳＴ６５で生成されたクラスコードＣＬに対応した係数データＷｉと予測タップの画素データを使用して、推定式により、画像信号Ｖｂにおける注目位置の画素データを生成し、その後にステップＳＴ６５に戻って、次の注目位置についての処理に移る。
【０１２９】
このように、図７に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
また、処理装置の図示は省略するが、図５の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１３０】
図８のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ８３で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ８４で、ステップＳＴ８２で入力された教師信号から生徒信号を生成する。
【０１３１】
そして、ステップＳＴ８５で、ステップＳＴ８４で生成された生徒信号のうち、教師信号における注目位置の周辺に位置する複数の画素データ、さらには、上述せずも、教師信号における注目位置の画素データに対応した生徒信号の画素データに対応して得られた動き補償ベクトルの情報ｍｉおよび画素位置モードの情報ｐｉに基づいて、教師信号における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１３２】
また、ステップＳＴ８６で、ステップＳＴ８４で生成された生徒信号より、教師信号における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ８７で、ステップＳＴ８２で入力された１フレームまたは１フィールド分の教師信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ８２に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ８８に進む。
【０１３３】
このステップＳＴ８８では、ステップＳＴ８５で生成されたクラスコードＣＬ、ステップＳＴ８６で取得された複数の画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、係数データＷｉを得るための正規方程式（（８）式参照）を生成する。その後に、ステップＳＴ８５に戻って、次の注目位置についての処理に移る。
【０１３４】
上述したステップＳＴ８３で、処理が終了したときは、ステップＳＴ８９で、上述のステップＳＴ８８で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。そして、ステップＳＴ９０で、各クラスの係数データをメモリに保存し、その後にステップＳＴ９１で、処理を終了する。
【０１３５】
このように、図８に示すフローチャートに沿って処理をすることで、図５に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１３６】
なお、上述実施の形態においては、クラス分類に際して動き補償用ベクトルの情報ｍｉを用いたものを示したが、その他の動き補償予測情報、例えば動き補償予測符号化がＭＰＥＧ２の符号化であるときは、ＭＰＥＧ２の符号化構造（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報、予測符号化の単位（フレーム構造、フィールド構造）の情報、動き補補償予測の情報（フレーム動き補償予測、フィールド動き補償予測等）等を用いることもできる。これによっても、画像信号の符号化雑音を良好に軽減できるようになる。
【０１３７】
また、上述実施の形態においては、ＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の動き補償予測符号化されてなるデジタル画像信号を取り扱うものにも同様に適用することができる。
【０１３８】
【発明の効果】
この発明によれば、少なくとも出力画像信号における注目位置に対応した入力画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、出力画像信号における注目位置の画素データが属するクラスを検出し、この検出されたクラスに対応して出力画像信号における注目位置の画素データを生成するものであり、動き補償予測符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス分類部の構成を示すブロック図である。
【図４】タップ選択用ブロックを示す図である。
【図５】係数データ生成装置の構成を示すブロック図である。
【図６】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図７】画像信号処理を示すフローチャートである。
【図８】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・タップ選択回路、１２２・・・クラス分類部、１２３・・・係数メモリ、１２７・・・推定予測演算回路、１３０Ａ，１３０Ｄ，１３０Ｆ・・・入力端子、１３０Ｂ１〜１３０Ｂｎ・・・タップ選択回路、１３０Ｃ１〜１３０Ｃｎ，１３０Ｅ・・・クラス生成回路、１３０Ｇ・・・クラス統合回路、１３０Ｈ・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・ＭＰＥＧ２符号化器、１５３・・・ＭＰＥＧ２復号化器、１５４・・・タップ選択回路、１５５・・・クラス分類部、１５９・・・遅延回路、１６３・・・正規方程式生成部、１６４・・・係数データ決定部、１６５・・・係数メモリ
Claims (12)
- 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
少なくとも上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号処理装置。 - 上記画素データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データと上記データ選択手段で選択された複数の画素データとを用いて、上記推定式に基づいて上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項１に記載の画像信号処理装置。 - 上記動き補償予測情報は、１／２画素精度の動き補償用ベクトルの情報であり、
上記クラス検出手段は、上記動き補償用ベクトルが１／２画素成分を持つか否かによって検出されるクラスを異なったものとする
ことを特徴とする請求項１に記載の画像信号処理装置。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
少なくとも上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記注目位置の画素データが属するクラスを検出するステップと、
上記検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成するステップと
を備えることを特徴とする画像信号処理方法。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
少なくとも上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、
上記検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成するステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
少なくとも上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記注目位置の画素データが属するクラスを検出するステップと、
上記検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成するステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラム。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、
上記画像信号入力手段に入力された上記第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、
上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなり、
上記画像信号処理手段は、
少なくとも上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備える
ことを特徴とする画像表示装置。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、
少なくとも上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記復号化手段より出力される生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、上記クラス毎に、上記係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。 - 上記動き補償予測情報は、１／２画素精度の動き補償用ベクトルの情報であり、
上記クラス検出手段は、上記動き補償用ベクトルが１／２画素成分を持つか否かによって検出されるクラスを異なったものとする
ことを特徴とする請求項８記載の係数データ生成装置。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
少なくとも上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記教師信号における注目位置の画素データが属するクラスを検出する第２のステップと、
上記第１のステップで得られた生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、
上記第２のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、上記クラス毎に、上記係数データを求める第４のステップと
を備えることを特徴とする係数データ生成方法。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
少なくとも上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記教師信号における注目位置の画素データが属するクラスを検出する第２のステップと、
上記第１のステップで得られた生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、
上記第２のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、上記クラス毎に、上記係数データを求める第４のステップとを備える係数データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 動き補償予測符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
少なくとも上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に使用された動き補償予測情報に基づいて、上記教師信号における注目位置の画素データが属するクラスを検出する第２のステップと、
上記第１のステップで得られた生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、
上記第２のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、上記クラス毎に、上記係数データを求める第４のステップとを備える係数データ生成方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002210997A JP4078906B2 (ja) | 2002-07-19 | 2002-07-19 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| US10/622,659 US7336832B2 (en) | 2002-07-19 | 2003-07-18 | Processor and processing method for an image signal, image display apparatus, generation apparatus and generation method for coefficient data used therein, program for executing each of these methods, and computer-readable medium recording the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002210997A JP4078906B2 (ja) | 2002-07-19 | 2002-07-19 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004056461A true JP2004056461A (ja) | 2004-02-19 |
| JP4078906B2 JP4078906B2 (ja) | 2008-04-23 |
Family
ID=31934355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002210997A Expired - Fee Related JP4078906B2 (ja) | 2002-07-19 | 2002-07-19 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7336832B2 (ja) |
| JP (1) | JP4078906B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008124641A (ja) * | 2006-11-09 | 2008-05-29 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2008124955A (ja) * | 2006-11-15 | 2008-05-29 | Sony Corp | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2009284090A (ja) * | 2008-05-20 | 2009-12-03 | Sony Corp | 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969537B (zh) * | 2002-01-30 | 2012-10-10 | 索尼公司 | 数据处理设备、数据处理方法 |
| JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| KR20070046852A (ko) * | 2004-08-13 | 2007-05-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 혼합된 그래픽 및 비디오 소스의 압축을 위한 시스템 및방법 |
| US8204128B2 (en) * | 2007-08-01 | 2012-06-19 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Learning filters for enhancing the quality of block coded still and video images |
| CN113033603B (zh) * | 2021-02-05 | 2022-11-15 | 浙江大学 | 一种基于元学习的弱监督图像多标签分类方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5398078A (en) * | 1991-10-31 | 1995-03-14 | Kabushiki Kaisha Toshiba | Method of detecting a motion vector in an image coding apparatus |
| JP3627256B2 (ja) | 1994-06-28 | 2005-03-09 | ソニー株式会社 | ディジタル画像信号の受信／再生装置および方法 |
| US5920352A (en) * | 1994-10-28 | 1999-07-06 | Matsushita Electric Industrial Co., Ltd. | Image memory storage system and method for a block oriented image processing system |
| KR970014399A (ko) * | 1995-08-25 | 1997-03-29 | 구자홍 | 하프 픽셀 예측 필터링 처리 회로 |
| US5768429A (en) * | 1995-11-27 | 1998-06-16 | Sun Microsystems, Inc. | Apparatus and method for accelerating digital video decompression by performing operations in parallel |
| US5768537A (en) * | 1996-02-22 | 1998-06-16 | International Business Machines Corporation | Scalable MPEG2 compliant video encoder |
| JP3760517B2 (ja) | 1996-04-11 | 2006-03-29 | ソニー株式会社 | 画像信号処理装置および方法 |
| DE69737852T2 (de) * | 1996-08-29 | 2007-10-18 | Matsushita Electric Industrial Co., Ltd., Kadoma | Durch verbessertes speicher- und auslesesystem verschiedene arten von durch bildspeicherspezifischen hardwarespezifikationen verursachte verzögerungsfaktoren überwindender bilddekoder und bildspeicher |
| ES2545109T3 (es) * | 1997-06-09 | 2015-09-08 | Hitachi, Ltd. | Procedimiento de decodificación de imágenes |
| US6122400A (en) * | 1997-09-26 | 2000-09-19 | Sarnoff Corporation | Compression encoder bit allocation utilizing colormetric-adaptive weighting as in flesh-tone weighting |
| US6061400A (en) * | 1997-11-20 | 2000-05-09 | Hitachi America Ltd. | Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information |
| US6560371B1 (en) * | 1997-12-31 | 2003-05-06 | Sarnoff Corporation | Apparatus and method for employing M-ary pyramids with N-scale tiling |
| US6430317B1 (en) * | 1997-12-31 | 2002-08-06 | Sarnoff Corporation | Method and apparatus for estimating motion using block features obtained from an M-ary pyramid |
| US6408101B1 (en) * | 1997-12-31 | 2002-06-18 | Sarnoff Corporation | Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation |
| US6249549B1 (en) * | 1998-10-09 | 2001-06-19 | Matsushita Electric Industrial Co., Ltd. | Down conversion system using a pre-decimation filter |
| JP3855522B2 (ja) * | 1999-02-23 | 2006-12-13 | 松下電器産業株式会社 | 動画変換装置 |
| IT1313382B1 (it) * | 1999-03-18 | 2002-07-23 | St Microelectronics Srl | Stima del moto ricorsiva spazio temporale con sottocampionamento ad 1/2 di macroblocco e ad 1/4 di pixel |
| JP4552262B2 (ja) | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ノイズ低減装置および方法 |
-
2002
- 2002-07-19 JP JP2002210997A patent/JP4078906B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-18 US US10/622,659 patent/US7336832B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008124641A (ja) * | 2006-11-09 | 2008-05-29 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2008124955A (ja) * | 2006-11-15 | 2008-05-29 | Sony Corp | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2009284090A (ja) * | 2008-05-20 | 2009-12-03 | Sony Corp | 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム |
| JP4656452B2 (ja) * | 2008-05-20 | 2011-03-23 | ソニー株式会社 | 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム |
| US8358862B2 (en) | 2008-05-20 | 2013-01-22 | Sony Corporation | Image signal processing apparatus, image signal processing method, prediction coefficient generating apparatus, prediction coefficient generating method, and programs for causing computer to execute the methods |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040120586A1 (en) | 2004-06-24 |
| US7336832B2 (en) | 2008-02-26 |
| JP4078906B2 (ja) | 2008-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7747094B2 (en) | Image encoder, image decoder, image encoding method, and image decoding method | |
| KR100584495B1 (ko) | 비디오 화상 코딩 장치 및 방법 | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| EP1044566A1 (en) | Improved video coding using adaptive coding of block parameters for coded/uncoded blocks | |
| US7729558B2 (en) | Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| US7711046B2 (en) | Encoding circuit | |
| US20090016623A1 (en) | Image processing device, image processing method and program | |
| JP4078906B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2000350212A (ja) | 映像信号復号装置並びに映像信号表示システム | |
| US7991054B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program | |
| JP4140259B2 (ja) | 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体 | |
| JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP3991800B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4158476B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2004173013A (ja) | 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP3991801B2 (ja) | 情報信号処理装置、情報信号処理方法および画像信号処理装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| WO2006084419A1 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| JP2005294967A (ja) | 映像符号化装置 | |
| JP2002142222A (ja) | 圧縮画像の画面サイズ変更装置 | |
| JPH08181997A (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040406 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |