JP2004173012A - 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム - Google Patents
画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム Download PDFInfo
- Publication number
- JP2004173012A JP2004173012A JP2002337197A JP2002337197A JP2004173012A JP 2004173012 A JP2004173012 A JP 2004173012A JP 2002337197 A JP2002337197 A JP 2002337197A JP 2002337197 A JP2002337197 A JP 2002337197A JP 2004173012 A JP2004173012 A JP 2004173012A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel data
- class
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】クラス分類の精度を上げ、変換後の画像信号の品質の向上を図る。
【解決手段】クラス生成部１２１は、リファレンスデータおよび残差データのエッジ成分を抽出し、このエッジ成分から復号時に用いられた動き補償用ベクトル情報の不正確さを示す情報としての動きベクトル情報を検出し、この動きベクトル情報に基づいてクラスコードＣＬ０を生成する。クラス分類部１２３は、クラスコードＣＬ０等を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを得る。タップ選択回路１２２は、予測タップの画素データｘｉを選択的に取り出す。演算回路１２５は、画素データｘｉと、係数メモリ１２４よりクラスコードＣＬに対応して読み出される係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを求める。
【選択図】 図１
【解決手段】クラス生成部１２１は、リファレンスデータおよび残差データのエッジ成分を抽出し、このエッジ成分から復号時に用いられた動き補償用ベクトル情報の不正確さを示す情報としての動きベクトル情報を検出し、この動きベクトル情報に基づいてクラスコードＣＬ０を生成する。クラス分類部１２３は、クラスコードＣＬ０等を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを得る。タップ選択回路１２２は、予測タップの画素データｘｉを選択的に取り出す。演算回路１２５は、画素データｘｉと、係数メモリ１２４よりクラスコードＣＬに対応して読み出される係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを求める。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる符号化雑音が軽減された第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成することによって、クラス分類の精度を上げ、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｃｅ ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって軽減することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が軽減された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。この場合、第２の画像信号の品質の向上を図るには、クラス分類の精度を上げる必要がある。
【００１０】
なお、第２の画像信号における注目位置に対応した第１の画像信号の画素データのうち、Ｐピクチャ、Ｂピクチャに係る画素データは、ＤＣＴ変換を施して得られた残差データに、動き補償用ベクトル情報で動き補償されたリファレンスデータを加算することで生成される。
【００１１】
そのため、このＰピクチャ、Ｂピクチャに係る画素データは、動き補償用ベクトル情報の不正確さにより影響を受けたものとなっている。したがって、この動き補償用ベクトル情報の不正確さの情報に基づいてクラス分類を行えば、クラス分類の精度が上がるものと考えられる。
【００１２】
この発明は、クラス分類の精度を上げ、第２の画像信号の品質の向上を図ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、少なくとも情報取得手段で取得された不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１４】
また、この発明に係る画像信号処理方法は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する第１のステップと、少なくとも第１のステップで取得された不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、この第２のステップで検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する第３のステップとを備えるものである。
【００１５】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１６】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１７】
第２の画像信号における注目位置に対応した第１の画像信号の画素データは、その注目位置に対応した残差データに、第１の動きベクトル情報で動き補償されたリファレンスデータを加算することで生成される。この第１の動きベクトル情報の不正確さを示す情報が取得される。
【００１８】
例えば、この不正確さを示す情報は、以下のようにして取得される。すなわち、第１の画像信号の画素データを得る際に用いられた残差データからエッジ成分が抽出され、このエッジ成分からなるフレームが第１のフレームとされる。また、第１の画像信号の画素データを得る際に用いられたリファレンスデータからエッジ成分が抽出され、このエッジ成分からなるフレームが第２のフレームとされる。そして、これら第１、第２のフレームが用いられて、第２の画像信号における注目位置に対応した第２の動きベクトル情報が検出され、これが不正確さを示す情報とされる。
【００１９】
この場合、第２の動きベクトル情報は、例えば以下のようにして得られる。すなわち、第１または第２のフレームが参照フレームとされ、第２または第１のフレームが探索フレームとされる。そして、参照フレームの第２の画像信号における注目位置に対応したエッジ成分を含む参照ブロックと、探索フレームの第２の画像信号における注目位置を中心とした所定の探索範囲内の複数の候補ブロックとの間の相関情報が検出される。そして、検出された複数の候補ブロックに対応した相関情報に基づき、参照ブロックと最も相関の高い候補ブロックの位置情報が、第２の動きベクトル情報として出力される。
【００２０】
少なくとも、この第１の動きベクトル情報の不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。なお、この不正確さを示す情報として、上述したように第２の動きベクトル情報を出力するものにあっては、例えば最も相関の高い候補ブロックの相関情報で示される相関レベルが予め設定された閾値より小さいときは、その旨を示す所定情報を出力するようにされる。その場合には、第２の動きベクトル情報に代わって、この所定情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。この場合には、この第２の動きベクトル情報自体の不正確さが大きいことから、これを用いたクラス分類をすることによって、逆にクラス分類の精度の低下を招くからである。
【００２１】
このように検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。例えば、以下のようにして、画素データが生成される。すなわち、クラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２２】
このように、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、クラス分類の精度を上げることができ、第２の画像信号の品質の向上を図ることができる。
【００２３】
この発明に係る係数データ生成装置は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、少なくとも情報取得手段で取得された不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、クラス検出手段で検出されたクラス、データ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める演算手段とを備えるものである。
【００２４】
また、この発明に係る係数データ生成方法は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する第２のステップと、少なくとも第２のステップで取得された不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、第３のステップで検出されたクラス、第４のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める第５のステップとを備えるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
教師信号における注目位置に対応した生徒信号の画素データは、その注目位置に対応した残差データに、第１の動きベクトル情報で動き補償されたリファレンスデータを加算することで生成される。この第１の動きベクトル情報の不正確さを示す情報が取得される。そして、少なくとも、この不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２８】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００２９】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３０】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、クラス分類の精度を向上させることができ、第２の画像信号の品質の向上を図ることができる。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
【００３２】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３４】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３５】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、ピクチャ情報ＰＩも出力される。バッファメモリ１０８には、各画素データと対にしてピクチャ情報ＰＩも格納される。ピクチャ情報ＰＩは、出力される画素データがＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）のいずれのピクチャに係るものであったかを示す情報である。
【００３６】
さらに、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する画素データのうちＰピクチャ、Ｂピクチャに係る画素データに対応して、その画素データを得る際に使用された残差データおよびリファレンスデータも出力される。この場合、リファレンスデータは、動き補償用ベクトル情報ＭＩに基づいて、動き補償されたものである。バッファメモリ１０８には、Ｐピクチャ、Ｂピクチャの画素データと対にして、残差データおよびリファレンスデータも格納される。
【００３７】
ここで、Ｐピクチャの場合には前方向からの予測符号化であるので、１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には両方向からの予測符号化であるので、１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。因に、Ｂピクチャの場合には、これらそれぞれの方向についてのリファレンスデータの加算平均値が、残差データに加算すべきリファレンスデータＶｒｅｆとなる。
【００３８】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３９】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００４０】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００４１】
また、復号化器１０７は、ＩピクチャおよびＰピクチャの画素データをメモリ（図示せず）に記憶すると共に、これらの画素データを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、対応するリファレンスデータＶｒｅｆを生成して出力する予測メモリ回路７８を有している。
【００４２】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、その残差データに予測メモリ回路７８で生成されたリファレンスデータＶｒｅｆを加算する加算回路７９と、この加算回路７９より出力される各ピクチャの画素データを画像信号Ｖａとして出力する出力端子８１とを有している。なお、逆ＤＣＴ回路７７からＩピクチャの画素データが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータＶｒｅｆは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画素データがそのまま出力される。
【００４３】
ここで、ＭＰＥＧ方式の符号化では、従来周知のように、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化される。出力端子８１には、その符号化の順番で各ピクチャの画像信号Ｖａが出力される。なお、本実施の形態においては、上述したバッファメモリ１０８から画像信号Ｖａを読み出す際に、各ピクチャの画像信号が符号化の順番から実際のフレーム／フィールドの順番に並べ直される。
【００４４】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２と、この抽出回路８２で抽出されたピクチャ情報ＰＩを出力する出力端子８３とを有している。
【００４５】
抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータＶｒｅｆを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩも予測メモリ回路７８に供給される。予測メモリ回路７８ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４６】
また、復号化器１０７は、逆ＤＣＴ回路７７から出力されるＰピクチャ、Ｂピクチャに係る残差データを出力する出力端子８４と、予測メモリ回路７８より出力されるＰピクチャ、Ｂピクチャに係るリファレンスデータを出力する出力端子８５とを有している。
【００４７】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４８】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータが得られる。この各ピクチャのデータは加算回路７９を介して出力端子８１に出力される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータＶｒｅｆが加算される。
【００４９】
なお、出力端子８１より出力される画像信号Ｖａを構成する各画素データと対となって、出力端子８３に、ピクチャ情報ＰＩが出力される。また、出力端子８１より出力される画像信号Ｖａを構成する画素データのうちＰピクチャ、Ｂピクチャに係る画素データと対となって、出力端子８４および出力端子８５に、それぞれ、その画素データを得る際に使用された残差データおよびリファレンスデータも出力される。
【００５０】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００５１】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５２】
この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、ピクチャ情報ＰＩが出力される。また、符号化器１０７からは、Ｐピクチャ、Ｂピクチャに係る画素データと対となって、残差データおよびリファレンスデータも出力される。これらの情報およびデーターもバッファメモリ１０８に一時的に格納される。
【００５３】
このようにバッファメモリ１０８に一時的に格納された画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０では、バッファメモリ１０８に格納されているピクチャ情報ＰＩ、さらには残差データおよびリファレンスデータが用いられて、後述するように変換処理が行われる。
【００５４】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成するクラス生成部１２１を有している。クラス生成部１２１では、バッファメモリ１０８に格納されている、ピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、クラスコードＣＬ０が生成される。
【００５６】
図３は、クラス生成部１２１の具体的な構成を示している。
このクラス生成部１２１は、上述したバッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されているリファレンスデータが入力される入力端子３１と、この入力端子３１に入力されたリファレンスデータからエッジ成分を抽出するエッジ成分抽出回路３２と、この抽出回路３２で抽出されたリファレンスデータのエッジ成分を一時的に格納するバッファメモリ３３とを有している。
【００５７】
エッジ成分抽出回路３２は、２次元微分フィルタ、例えば３×３のラプラシアンフィルタで構成される。図４は、３×３のラプラシアンフィルタの係数比の一例を示している。上述したように、Ｐピクチャの場合には１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。そのため、エッジ成分抽出回路３２は、Ｐピクチャの場合には前方向のリファレンスデータからエッジ成分を検出するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれからエッジ成分を検出する。
【００５８】
また、クラス生成部１２１は、上述したバッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されている残差データが入力される入力端子３４と、この入力端子３４に入力された残差データからエッジ成分を抽出するエッジ成分抽出回路３５と、この抽出回路３５で抽出されたリファレンスデータのエッジ成分を一時的に格納するバッファメモリ３６とを有している。
【００５９】
エッジ成分抽出回路３５も、上述したエッジ成分抽出回路３２と同様に、２次元微分フィルタ、例えば３×３のラプラシアンフィルタで構成される。この場合、残差データは負の値も採るので、残差データの全ての値が正の値となるようにオフセットした上で、エッジ成分の抽出処理をする。例えば、残差データが−１２８〜＋１２８の値を採る場合、残差データに＋１２８を加算した後に、エッジ成分の抽出処理をする。
【００６０】
また、クラス生成部１２１は、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報（第２の動きベクトル情報）を、動き補償用ベクトル情報ＭＩ（第１の動きベクトル情報）の不正確さを示す情報として得る、動きベクトル取得手段としての相関判定部３７を有している。相関判定部３７は、第１のフレームおよび第２のフレームを用いて、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報を取得する。
【００６１】
ここで、第１のフレームは、バッファメモリ３６に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係る残差データのエッジ成分を含むフレームである。第２のフレームは、バッファメモリ３３に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係るリファレンスデータのエッジ成分を含むフレームである。
【００６２】
相関判定部３７は、例えばブロックマッチング法によって、動きベクトル情報を取得する。この場合、画素毎またはブロック毎に、動きベクトル情報を取得する。
【００６３】
図５を参照して、画素毎に、動きベクトル情報（Δｘ，Δｙ）を取得する場合について説明する。
この場合、例えば、図示のように、第１のフレームを参照フレームとし、第２のフレームを探索フレームとする。なお、第２のフレームを参照フレームとし、第１のフレームを探索フレームとしてもよい。そして、参照フレームに、画像信号Ｖｂにおける注目位置に対応した注目画素を中心とした参照ブロックを考える。また、探索フレームに、画像信号Ｖｂにおける注目位置を中心とした探索範囲を考える。探索範囲は、例えば垂直、水平のそれぞれの方向に±２程度とする。
【００６４】
そして、参照ブロックと探索範囲内の複数の候補ブロックとの間の相関情報を検出する。相関情報は、例えば参照ブロックと候補ブロックとの間の対応するエッジ成分同士の差分絶対値を加算した差分絶対値和とされる。この差分絶対値和は、参照ブロックと候補ブロックとの相関レベルが高いほど小さくなる。
【００６５】
そして、このように検出された複数の候補ブロックに対応した相関情報に基づき、最も相関の高い候補ブロックの位置情報を、動きベクトル情報（Δｘ，Δｙ）として出力する。この場合、相関情報が上述の差分絶対値和であるときは、その差分絶対値和が最も小さい候補ブロックが最も相関の高い候補ブロックとなる。
【００６６】
図６を参照して、ブロック毎に、動きベクトル情報を取得する場合について説明する。
この場合、例えば、図示のように、第１のフレームを参照フレームとし、第２のフレームを探索フレームとする。なお、第２のフレームを参照フレームとし、第１のフレームを探索フレームとしてもよい。そして、参照フレームに、画像信号Ｖｂにおける注目位置に対応した注目画素を含む参照ブロックを考える。この参照ブロックは、例えば画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データを得る際に用いられたＤＣＴブロックに対応したブロックである。また、探索フレームに、画像信号Ｖｂにおける注目位置を中心とした探索範囲を考える。例えば、探索範囲は、例えば垂直、水平のそれぞれの方向に±２程度とする。
【００６７】
そして、参照ブロックと探索範囲内の複数の候補ブロックとの間の相関情報を検出する。相関情報は、例えば参照ブロックと候補ブロックとの間の対応するエッジ成分同士の差分絶対値を加算した差分絶対値和とされる。この差分絶対値和は、参照ブロックと候補ブロックとの相関レベルが高いほど小さくなる。
【００６８】
そして、このように検出された複数の候補ブロックに対応した相関情報に基づき、最も相関の高い候補ブロックの位置情報を、動きベクトル情報（Δｘ，Δｙ）として出力する。この場合、相関情報が上述の差分絶対値和であるときは、その差分絶対値和が最も小さい候補ブロックが最も相関の高い候補ブロックとなる。
【００６９】
このように、相関判定部３７は、相関情報を検出する相関検出手段および動きベクトル情報を出力する情報出力手段として機能し、動きベクトル情報（Δｘ，Δｙ）を出力する。上述したように、リファレンスデータは、復号化器１０７（図２参照）において、動き補償用ベクトル情報ＭＩに基づいて動き補償されたものである。そのため、本来、第２のフレームにおけるリファレンスデータから抽出されたエッジ成分と第１のフレームにおける残差データから抽出されたエッジ成分とは対応しており、動きベクトル情報（Δｘ，Δｙ）＝（０，０）となるはずである。
【００７０】
しかし、動き補償用ベクトル情報ＭＩが不正確である場合には、動きベクトル情報（Δｘ，Δｙ）＝（０，０）とはならず、不正確の度合いが高くなるほどΔｘ，Δｙの値（絶対値）は大きくなる。したがって、この動きベクトル情報（Δｘ，Δｙ）は、動き補償用ベクトル情報ＭＩの不正確さを示す情報と言える。
【００７１】
なお、上述したように、Ｐピクチャの場合には１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。そのため、相関判定部３７は、Ｐピクチャの場合には前方向のリファレンスデータに係る動きベクトル情報（Δｘ，Δｙ）のみを取得するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれに係る動きベクトル情報（Δｘ，Δｙ）を取得する。
【００７２】
また、相関判定部３７は、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいとき、例えば最も相関の高い候補ブロックに係る差分絶対値和が閾値より大きいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。これは、不正確な動きベクトル情報（Δｘ，Δｙ）によるクラス分類を回避し、クラス分類の精度が低下を防止するためである。
【００７３】
また、クラス生成部３７は、クラス生成回路３８と、このクラス生成回路３８で生成されたクラスコードＣＬ０を出力する出力端子３９とを有している。クラス生成回路３８には、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データと対となっているピクチャ情報ＰＩが、動作制御情報として供給される。
【００７４】
クラス生成回路３８は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。また、クラス生成回路３８は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、相関判定部３７より出力される動きベクトル情報（Δｘ，Δｙ）または情報ＮＧに基づいて、クラスコードＣＬ０を生成する。
【００７５】
図３に示す残差クラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成するための動作を説明する。
【００７６】
入力端子３１には、バッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されているリファレンスデータが入力され、このリファレンスデータはエッジ成分抽出回路３２に供給される。エッジ成分抽出回路３２はリファレンスデータからエッジ成分を抽出する。この抽出回路３２で抽出されたエッジ成分はバッファメモリ３３に供給されて一時的に格納される。
【００７７】
また、入力端子３４には、バッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されている残差データが入力され、この残差データはエッジ成分抽出回路３５に供給される。エッジ成分抽出回路３５は残差データからエッジ成分を抽出する。この抽出回路３５で抽出されたエッジ成分はバッファメモリ３６に供給されて一時的に格納される。
【００７８】
相関判定部３７は、バッファメモリ３６に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係る残差データのエッジ成分を含むフレームを第１のフレームとし、またバッファメモリ３３に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係るリファレンスデータのエッジ成分を含むフレームを第２のフレームとする。そして、相関判定部３７は、これら第１のフレームおよび第２のフレームを用いて、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報（Δｘ，Δｙ）を、例えばブロックマッチング法によって取得する。この動きベクトル情報（Δｘ，Δｙ）は、動き補償用ベクトル情報ＭＩの不正確さを示す情報となる。
【００７９】
この場合、相関判定部３７は、Ｐピクチャの場合には前方向のリファレンスデータに係る動きベクトル情報（Δｘ，Δｙ）のみを取得するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれに係る動きベクトル情報（Δｘ，Δｙ）を取得する。また、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。
【００８０】
相関判定部３７より出力される動きベクトル情報（Δｘ，Δｙ）または情報ＮＧは、クラス生成回路３８に供給される。クラス生成回路３８は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。また、クラス生成回路３８は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、動きベクトル情報（Δｘ，Δｙ）または情報ＮＧに基づいて、クラスコードＣＬ０を生成する。このように生成されたクラスコードＣＬ０は出力端子３９に出力される。
【００８１】
このように図３に示すクラス生成部１２１では、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。
【００８２】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００８３】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００８４】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データおよびクラス生成部１２１で生成されクラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００８５】
図６は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子５０Ａと、この入力端子５０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路５０Ｂ１〜５０Ｂｎと、このタップ選択回路５０Ｂ１〜５０Ｂｎで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路５０Ｃ１〜５０Ｃｎとを有している。
【００８６】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００８７】
▲１▼空間波形クラスを説明する。タップ選択回路５０Ｂ１およびクラス生成回路５０Ｃ１は、この空間波形クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ１は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。クラス生成回路５０Ｃ１は、タップ選択回路５０Ｂ１で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）等の処理を施し、空間波形クラスを示すクラスコードＣＬ１を生成する。
【００８８】
▲２▼時間変動クラスを説明する。タップ選択回路５０Ｂ２およびクラス生成回路５０Ｃ２は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ２は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【００８９】
クラス生成回路５０Ｃ２は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ２を生成する。
【００９０】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路５０Ｂ３およびクラス生成回路５０Ｃ３は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ３は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【００９１】
クラス生成回路５０Ｃ３は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路５０Ｃ３は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ１と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ２を求め、ｍ１／ｍ２を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【００９２】
▲４▼フラットクラスを説明する。タップ選択回路５０Ｂ４およびクラス生成回路５０Ｃ４は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ４は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。クラス生成回路５０Ｃ４は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ４を生成する。
【００９３】
▲５▼ライン相関クラスについて説明する。タップ選択回路５０Ｂ５およびクラス生成回路５０Ｃ５は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ５は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。
【００９４】
クラス生成回路５０Ｃ５は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【００９５】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路５０Ｂ６およびクラス生成回路５０Ｃ６は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ６は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図８に示す隣接ブロック）の画素データを取り出す。
【００９６】
クラス生成回路５０Ｃ６は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ６を生成する。
【００９７】
また、クラス分類部１２３は、クラスコードＣＬ０を入力する入力端子５０Ｄと、クラス生成回路５０Ｃ１〜５０Ｃｎで生成されるクラスコードＣＬ１〜ＣＬｎ、入力端子５０Ｄに入力されるクラスコードＣＬ０を統合して１個のクラスコードＣＬとするクラス統合回路５０Ｅと、このクラスコードＣＬを出力する出力端子５０Ｆとを有している。本実施の形態において、クラス統合回路５０Ｅは、クラス生成回路５０Ｃ１〜５０Ｃ６で生成されたクラスコードＣＬ１〜ＣＬ６、さらにはクラスコードＣＬ０を統合して、１つのクラスコードＣＬとする。
【００９８】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００９９】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１００】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１０１】
【数１】
【０１０２】
この画像信号処理部１１０の動作を説明する。
クラス生成部１２１では、バッファメモリ１０８に格納されている、ピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成される。
【０１０３】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データおよびクラス生成部１２１で生成されるクラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１０４】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１０５】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１０６】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１０７】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１０８】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１０９】
また、クラス生成部１２１では、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。そして、クラス分類部１２３では、このクラスコードＣＬ０が他のクラスコードと統合されて、クラスコードＣＬが生成される。そのため、画像信号処理部１１０では、動き補償用ベクトル情報ＭＩの不正確さの情報に基づいてクラス分類が行われることとなり、画像信号Ｖｂの品質の向上を図ることができる。
【０１１０】
また、クラス生成部１２１の相関判定部３７は、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。そして、クラス生成回路３８は、クラスコードＣＬ０としてその情報ＮＧに対応したものを出力する。したがって、クラス生成部１２１から不正確な動きベクトル情報（Δｘ，Δｙ）によるクラスコードＣＬ０が出力されることがなく、クラス分類の精度が低下することを防止できる。
【０１１１】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１１２】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗｎは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙｋ＝Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１１３】
ｍ＞ｎの場合、係数データＷ１，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１１４】
【数２】
【０１１５】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１１６】
【数３】
【０１１７】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉを定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１１８】
【数４】
【０１１９】
【数５】
【０１２０】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１２１】
図９は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１２２】
また、係数データ生成装置１５０は、クラス生成部１５４を有している。このクラス生成部１５４は、上述した画像信号処理部１１０のクラス生成部１２１と同様に構成され、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成する。このクラス生成部１５４では、復号化器１５３より出力されるピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、クラスコードＣＬ０が生成される。
【０１２３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成される。
【０１２４】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１２５】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データおよびクラス生成部１５４で生成されるクラスコードＣＬ０を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１２６】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１２７】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１２８】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１２９】
次に、図９に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１３０】
クラス生成部１５４では、復号化器１５３より出力されるピクチャ情報ＰＩ、残差データおよびリファレンスデータを用いて、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。
【０１３１】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データおよびクラス生成部１５４で生成されたクラスコードＣＬ０が用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１３２】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、予測タップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１３３】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１３４】
このように、図９に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１３５】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１３６】
なお、図１の画像信号処理部１１０における処理を、例えば図１０に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１３７】
まず、図１０に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３８】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３９】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１４０】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１４１】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１４２】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１４３】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４４】
図１１のフローチャートを参照して、図１０に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各画素データと対となっているピクチャ情報ＰＩも入力する。ピクチャ情報ＰＩは、画素データがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれのピクチャに係るものであったかを示す情報である。またこの場合、画像信号Ｖａの各画素データと対となっている、その画素データを得る際に使用された残差データおよびリファレンスデータも入力する。
【０１４５】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１４６】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１４７】
ステップＳＴ２５では、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データと対となっているピクチャ情報ＰＩ、残差データおよびリファレンスデータを用いて、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成し、さらにこのクラスコードＣＬ０および画像信号Ｖａを構成する複数の画素データを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４８】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１４９】
次に、ステップＳＴ２８で、ステップＳＴ２２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１５０】
このように、図１１に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１５１】
また、処理装置の図示は省略するが、図９の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１５２】
図１２のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０１５３】
この場合、生徒信号ＳＳの各画素データと対となっているピクチャ情報ＰＩ、さらには各画素データと対となっているその画素データを得る際に使用された残差データおよびリファレンスデータも得るようにする。
【０１５４】
そして、ステップＳＴ３５で、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっているピクチャ情報ＰＩと、残差データおよびリファレンスデータを用いて、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成し、さらにこのクラスコードＣＬ０および生徒信号ＳＳを構成する複数の画素データを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１５５】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１５６】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１５７】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１５８】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１５９】
このように、図１２に示すフローチャートに沿って処理をすることで、図９に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１６０】
なお、上述実施の形態においては、リファレンスデータから抽出されたエッジ成分と残差データから抽出されたエッジ成分とを用いて動きベクトル情報（Δｘ，Δｙ）を検出し、これを復号時に使用した動き補償用ベクトル情報ＭＩの不正確さを示す情報としたものである。
【０１６１】
しかし、動き補償用ベクトル情報ＭＩの不正確さを示す情報はこの動きベクトル情報（Δｘ，Δｙ）に限定されるものではない。例えば、画像信号Ｖａからブロックマッチング法、勾配法等の方法によって動きベクトル情報を新たに検出し、これと復号時に使用した動き補償用ベクトル情報ＭＩとを比較することで、動き補償用ベクトル情報ＭＩの不正確さを示す情報を得るようにしてもよい。
【０１６２】
また、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、動き補償予測符号化が行われたその他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１６３】
【発明の効果】
この発明によれば、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる符号化雑音が軽減された第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、クラス分類の精度を上げることができ、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス生成部の構成を示すブロック図である。
【図４】３×３のラプラシアンフィルタの係数比の一例を示す図である。
【図５】相関判定のためのブロックマッチングの一例を説明するための図である。
【図６】相関判定のためのブロックマッチングの他の例を説明するための図である。
【図７】クラス分類部の構成を示すブロック図である。
【図８】タップ選択用ブロックを示す図である。
【図９】係数データ生成装置の構成を示すブロック図である。
【図１０】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号処理を示すフローチャートである。
【図１２】係数データ生成処理を示すフローチャートである。
【符号の説明】
３１，３２・・・入力端子、３２，３５・・・エッジ成分抽出回路、３３，３６・・・バッファメモリ、３７・・・相関判定部、３８・・・クラス生成回路、３９・・・出力端子、１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・クラス生成部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる符号化雑音が軽減された第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成することによって、クラス分類の精度を上げ、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｃｅ ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって軽減することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が軽減された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。この場合、第２の画像信号の品質の向上を図るには、クラス分類の精度を上げる必要がある。
【００１０】
なお、第２の画像信号における注目位置に対応した第１の画像信号の画素データのうち、Ｐピクチャ、Ｂピクチャに係る画素データは、ＤＣＴ変換を施して得られた残差データに、動き補償用ベクトル情報で動き補償されたリファレンスデータを加算することで生成される。
【００１１】
そのため、このＰピクチャ、Ｂピクチャに係る画素データは、動き補償用ベクトル情報の不正確さにより影響を受けたものとなっている。したがって、この動き補償用ベクトル情報の不正確さの情報に基づいてクラス分類を行えば、クラス分類の精度が上がるものと考えられる。
【００１２】
この発明は、クラス分類の精度を上げ、第２の画像信号の品質の向上を図ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、少なくとも情報取得手段で取得された不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１４】
また、この発明に係る画像信号処理方法は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する第１のステップと、少なくとも第１のステップで取得された不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、この第２のステップで検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する第３のステップとを備えるものである。
【００１５】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１６】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１７】
第２の画像信号における注目位置に対応した第１の画像信号の画素データは、その注目位置に対応した残差データに、第１の動きベクトル情報で動き補償されたリファレンスデータを加算することで生成される。この第１の動きベクトル情報の不正確さを示す情報が取得される。
【００１８】
例えば、この不正確さを示す情報は、以下のようにして取得される。すなわち、第１の画像信号の画素データを得る際に用いられた残差データからエッジ成分が抽出され、このエッジ成分からなるフレームが第１のフレームとされる。また、第１の画像信号の画素データを得る際に用いられたリファレンスデータからエッジ成分が抽出され、このエッジ成分からなるフレームが第２のフレームとされる。そして、これら第１、第２のフレームが用いられて、第２の画像信号における注目位置に対応した第２の動きベクトル情報が検出され、これが不正確さを示す情報とされる。
【００１９】
この場合、第２の動きベクトル情報は、例えば以下のようにして得られる。すなわち、第１または第２のフレームが参照フレームとされ、第２または第１のフレームが探索フレームとされる。そして、参照フレームの第２の画像信号における注目位置に対応したエッジ成分を含む参照ブロックと、探索フレームの第２の画像信号における注目位置を中心とした所定の探索範囲内の複数の候補ブロックとの間の相関情報が検出される。そして、検出された複数の候補ブロックに対応した相関情報に基づき、参照ブロックと最も相関の高い候補ブロックの位置情報が、第２の動きベクトル情報として出力される。
【００２０】
少なくとも、この第１の動きベクトル情報の不正確さを示す情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。なお、この不正確さを示す情報として、上述したように第２の動きベクトル情報を出力するものにあっては、例えば最も相関の高い候補ブロックの相関情報で示される相関レベルが予め設定された閾値より小さいときは、その旨を示す所定情報を出力するようにされる。その場合には、第２の動きベクトル情報に代わって、この所定情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。この場合には、この第２の動きベクトル情報自体の不正確さが大きいことから、これを用いたクラス分類をすることによって、逆にクラス分類の精度の低下を招くからである。
【００２１】
このように検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。例えば、以下のようにして、画素データが生成される。すなわち、クラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２２】
このように、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、クラス分類の精度を上げることができ、第２の画像信号の品質の向上を図ることができる。
【００２３】
この発明に係る係数データ生成装置は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、少なくとも情報取得手段で取得された不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、クラス検出手段で検出されたクラス、データ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める演算手段とを備えるものである。
【００２４】
また、この発明に係る係数データ生成方法は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する第２のステップと、少なくとも第２のステップで取得された不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、第３のステップで検出されたクラス、第４のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める第５のステップとを備えるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
教師信号における注目位置に対応した生徒信号の画素データは、その注目位置に対応した残差データに、第１の動きベクトル情報で動き補償されたリファレンスデータを加算することで生成される。この第１の動きベクトル情報の不正確さを示す情報が取得される。そして、少なくとも、この不正確さを示す情報を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２８】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００２９】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３０】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、クラス分類の精度を向上させることができ、第２の画像信号の品質の向上を図ることができる。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
【００３２】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３４】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３５】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、ピクチャ情報ＰＩも出力される。バッファメモリ１０８には、各画素データと対にしてピクチャ情報ＰＩも格納される。ピクチャ情報ＰＩは、出力される画素データがＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）のいずれのピクチャに係るものであったかを示す情報である。
【００３６】
さらに、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する画素データのうちＰピクチャ、Ｂピクチャに係る画素データに対応して、その画素データを得る際に使用された残差データおよびリファレンスデータも出力される。この場合、リファレンスデータは、動き補償用ベクトル情報ＭＩに基づいて、動き補償されたものである。バッファメモリ１０８には、Ｐピクチャ、Ｂピクチャの画素データと対にして、残差データおよびリファレンスデータも格納される。
【００３７】
ここで、Ｐピクチャの場合には前方向からの予測符号化であるので、１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には両方向からの予測符号化であるので、１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。因に、Ｂピクチャの場合には、これらそれぞれの方向についてのリファレンスデータの加算平均値が、残差データに加算すべきリファレンスデータＶｒｅｆとなる。
【００３８】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３９】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００４０】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００４１】
また、復号化器１０７は、ＩピクチャおよびＰピクチャの画素データをメモリ（図示せず）に記憶すると共に、これらの画素データを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、対応するリファレンスデータＶｒｅｆを生成して出力する予測メモリ回路７８を有している。
【００４２】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、その残差データに予測メモリ回路７８で生成されたリファレンスデータＶｒｅｆを加算する加算回路７９と、この加算回路７９より出力される各ピクチャの画素データを画像信号Ｖａとして出力する出力端子８１とを有している。なお、逆ＤＣＴ回路７７からＩピクチャの画素データが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータＶｒｅｆは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画素データがそのまま出力される。
【００４３】
ここで、ＭＰＥＧ方式の符号化では、従来周知のように、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化される。出力端子８１には、その符号化の順番で各ピクチャの画像信号Ｖａが出力される。なお、本実施の形態においては、上述したバッファメモリ１０８から画像信号Ｖａを読み出す際に、各ピクチャの画像信号が符号化の順番から実際のフレーム／フィールドの順番に並べ直される。
【００４４】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２と、この抽出回路８２で抽出されたピクチャ情報ＰＩを出力する出力端子８３とを有している。
【００４５】
抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータＶｒｅｆを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩも予測メモリ回路７８に供給される。予測メモリ回路７８ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４６】
また、復号化器１０７は、逆ＤＣＴ回路７７から出力されるＰピクチャ、Ｂピクチャに係る残差データを出力する出力端子８４と、予測メモリ回路７８より出力されるＰピクチャ、Ｂピクチャに係るリファレンスデータを出力する出力端子８５とを有している。
【００４７】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４８】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータが得られる。この各ピクチャのデータは加算回路７９を介して出力端子８１に出力される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータＶｒｅｆが加算される。
【００４９】
なお、出力端子８１より出力される画像信号Ｖａを構成する各画素データと対となって、出力端子８３に、ピクチャ情報ＰＩが出力される。また、出力端子８１より出力される画像信号Ｖａを構成する画素データのうちＰピクチャ、Ｂピクチャに係る画素データと対となって、出力端子８４および出力端子８５に、それぞれ、その画素データを得る際に使用された残差データおよびリファレンスデータも出力される。
【００５０】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００５１】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５２】
この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、ピクチャ情報ＰＩが出力される。また、符号化器１０７からは、Ｐピクチャ、Ｂピクチャに係る画素データと対となって、残差データおよびリファレンスデータも出力される。これらの情報およびデーターもバッファメモリ１０８に一時的に格納される。
【００５３】
このようにバッファメモリ１０８に一時的に格納された画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０では、バッファメモリ１０８に格納されているピクチャ情報ＰＩ、さらには残差データおよびリファレンスデータが用いられて、後述するように変換処理が行われる。
【００５４】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成するクラス生成部１２１を有している。クラス生成部１２１では、バッファメモリ１０８に格納されている、ピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、クラスコードＣＬ０が生成される。
【００５６】
図３は、クラス生成部１２１の具体的な構成を示している。
このクラス生成部１２１は、上述したバッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されているリファレンスデータが入力される入力端子３１と、この入力端子３１に入力されたリファレンスデータからエッジ成分を抽出するエッジ成分抽出回路３２と、この抽出回路３２で抽出されたリファレンスデータのエッジ成分を一時的に格納するバッファメモリ３３とを有している。
【００５７】
エッジ成分抽出回路３２は、２次元微分フィルタ、例えば３×３のラプラシアンフィルタで構成される。図４は、３×３のラプラシアンフィルタの係数比の一例を示している。上述したように、Ｐピクチャの場合には１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。そのため、エッジ成分抽出回路３２は、Ｐピクチャの場合には前方向のリファレンスデータからエッジ成分を検出するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれからエッジ成分を検出する。
【００５８】
また、クラス生成部１２１は、上述したバッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されている残差データが入力される入力端子３４と、この入力端子３４に入力された残差データからエッジ成分を抽出するエッジ成分抽出回路３５と、この抽出回路３５で抽出されたリファレンスデータのエッジ成分を一時的に格納するバッファメモリ３６とを有している。
【００５９】
エッジ成分抽出回路３５も、上述したエッジ成分抽出回路３２と同様に、２次元微分フィルタ、例えば３×３のラプラシアンフィルタで構成される。この場合、残差データは負の値も採るので、残差データの全ての値が正の値となるようにオフセットした上で、エッジ成分の抽出処理をする。例えば、残差データが−１２８〜＋１２８の値を採る場合、残差データに＋１２８を加算した後に、エッジ成分の抽出処理をする。
【００６０】
また、クラス生成部１２１は、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報（第２の動きベクトル情報）を、動き補償用ベクトル情報ＭＩ（第１の動きベクトル情報）の不正確さを示す情報として得る、動きベクトル取得手段としての相関判定部３７を有している。相関判定部３７は、第１のフレームおよび第２のフレームを用いて、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報を取得する。
【００６１】
ここで、第１のフレームは、バッファメモリ３６に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係る残差データのエッジ成分を含むフレームである。第２のフレームは、バッファメモリ３３に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係るリファレンスデータのエッジ成分を含むフレームである。
【００６２】
相関判定部３７は、例えばブロックマッチング法によって、動きベクトル情報を取得する。この場合、画素毎またはブロック毎に、動きベクトル情報を取得する。
【００６３】
図５を参照して、画素毎に、動きベクトル情報（Δｘ，Δｙ）を取得する場合について説明する。
この場合、例えば、図示のように、第１のフレームを参照フレームとし、第２のフレームを探索フレームとする。なお、第２のフレームを参照フレームとし、第１のフレームを探索フレームとしてもよい。そして、参照フレームに、画像信号Ｖｂにおける注目位置に対応した注目画素を中心とした参照ブロックを考える。また、探索フレームに、画像信号Ｖｂにおける注目位置を中心とした探索範囲を考える。探索範囲は、例えば垂直、水平のそれぞれの方向に±２程度とする。
【００６４】
そして、参照ブロックと探索範囲内の複数の候補ブロックとの間の相関情報を検出する。相関情報は、例えば参照ブロックと候補ブロックとの間の対応するエッジ成分同士の差分絶対値を加算した差分絶対値和とされる。この差分絶対値和は、参照ブロックと候補ブロックとの相関レベルが高いほど小さくなる。
【００６５】
そして、このように検出された複数の候補ブロックに対応した相関情報に基づき、最も相関の高い候補ブロックの位置情報を、動きベクトル情報（Δｘ，Δｙ）として出力する。この場合、相関情報が上述の差分絶対値和であるときは、その差分絶対値和が最も小さい候補ブロックが最も相関の高い候補ブロックとなる。
【００６６】
図６を参照して、ブロック毎に、動きベクトル情報を取得する場合について説明する。
この場合、例えば、図示のように、第１のフレームを参照フレームとし、第２のフレームを探索フレームとする。なお、第２のフレームを参照フレームとし、第１のフレームを探索フレームとしてもよい。そして、参照フレームに、画像信号Ｖｂにおける注目位置に対応した注目画素を含む参照ブロックを考える。この参照ブロックは、例えば画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データを得る際に用いられたＤＣＴブロックに対応したブロックである。また、探索フレームに、画像信号Ｖｂにおける注目位置を中心とした探索範囲を考える。例えば、探索範囲は、例えば垂直、水平のそれぞれの方向に±２程度とする。
【００６７】
そして、参照ブロックと探索範囲内の複数の候補ブロックとの間の相関情報を検出する。相関情報は、例えば参照ブロックと候補ブロックとの間の対応するエッジ成分同士の差分絶対値を加算した差分絶対値和とされる。この差分絶対値和は、参照ブロックと候補ブロックとの相関レベルが高いほど小さくなる。
【００６８】
そして、このように検出された複数の候補ブロックに対応した相関情報に基づき、最も相関の高い候補ブロックの位置情報を、動きベクトル情報（Δｘ，Δｙ）として出力する。この場合、相関情報が上述の差分絶対値和であるときは、その差分絶対値和が最も小さい候補ブロックが最も相関の高い候補ブロックとなる。
【００６９】
このように、相関判定部３７は、相関情報を検出する相関検出手段および動きベクトル情報を出力する情報出力手段として機能し、動きベクトル情報（Δｘ，Δｙ）を出力する。上述したように、リファレンスデータは、復号化器１０７（図２参照）において、動き補償用ベクトル情報ＭＩに基づいて動き補償されたものである。そのため、本来、第２のフレームにおけるリファレンスデータから抽出されたエッジ成分と第１のフレームにおける残差データから抽出されたエッジ成分とは対応しており、動きベクトル情報（Δｘ，Δｙ）＝（０，０）となるはずである。
【００７０】
しかし、動き補償用ベクトル情報ＭＩが不正確である場合には、動きベクトル情報（Δｘ，Δｙ）＝（０，０）とはならず、不正確の度合いが高くなるほどΔｘ，Δｙの値（絶対値）は大きくなる。したがって、この動きベクトル情報（Δｘ，Δｙ）は、動き補償用ベクトル情報ＭＩの不正確さを示す情報と言える。
【００７１】
なお、上述したように、Ｐピクチャの場合には１個の画素データに対応してリファレンスデータは前方向についてのみ存在するが、Ｂピクチャの場合には１個の画素データに対応してリファレンスデータはそれぞれの方向について存在する。そのため、相関判定部３７は、Ｐピクチャの場合には前方向のリファレンスデータに係る動きベクトル情報（Δｘ，Δｙ）のみを取得するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれに係る動きベクトル情報（Δｘ，Δｙ）を取得する。
【００７２】
また、相関判定部３７は、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいとき、例えば最も相関の高い候補ブロックに係る差分絶対値和が閾値より大きいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。これは、不正確な動きベクトル情報（Δｘ，Δｙ）によるクラス分類を回避し、クラス分類の精度が低下を防止するためである。
【００７３】
また、クラス生成部３７は、クラス生成回路３８と、このクラス生成回路３８で生成されたクラスコードＣＬ０を出力する出力端子３９とを有している。クラス生成回路３８には、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データと対となっているピクチャ情報ＰＩが、動作制御情報として供給される。
【００７４】
クラス生成回路３８は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。また、クラス生成回路３８は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、相関判定部３７より出力される動きベクトル情報（Δｘ，Δｙ）または情報ＮＧに基づいて、クラスコードＣＬ０を生成する。
【００７５】
図３に示す残差クラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成するための動作を説明する。
【００７６】
入力端子３１には、バッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されているリファレンスデータが入力され、このリファレンスデータはエッジ成分抽出回路３２に供給される。エッジ成分抽出回路３２はリファレンスデータからエッジ成分を抽出する。この抽出回路３２で抽出されたエッジ成分はバッファメモリ３３に供給されて一時的に格納される。
【００７７】
また、入力端子３４には、バッファメモリ１０８にＰピクチャ、Ｂピクチャに係る画素データと対となって格納されている残差データが入力され、この残差データはエッジ成分抽出回路３５に供給される。エッジ成分抽出回路３５は残差データからエッジ成分を抽出する。この抽出回路３５で抽出されたエッジ成分はバッファメモリ３６に供給されて一時的に格納される。
【００７８】
相関判定部３７は、バッファメモリ３６に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係る残差データのエッジ成分を含むフレームを第１のフレームとし、またバッファメモリ３３に格納された、画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データに係るリファレンスデータのエッジ成分を含むフレームを第２のフレームとする。そして、相関判定部３７は、これら第１のフレームおよび第２のフレームを用いて、画像信号Ｖｂにおける注目位置に対応した動きベクトル情報（Δｘ，Δｙ）を、例えばブロックマッチング法によって取得する。この動きベクトル情報（Δｘ，Δｙ）は、動き補償用ベクトル情報ＭＩの不正確さを示す情報となる。
【００７９】
この場合、相関判定部３７は、Ｐピクチャの場合には前方向のリファレンスデータに係る動きベクトル情報（Δｘ，Δｙ）のみを取得するが、Ｂピクチャの場合には前方向および後方向のリファレンスデータのそれぞれに係る動きベクトル情報（Δｘ，Δｙ）を取得する。また、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。
【００８０】
相関判定部３７より出力される動きベクトル情報（Δｘ，Δｙ）または情報ＮＧは、クラス生成回路３８に供給される。クラス生成回路３８は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。また、クラス生成回路３８は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、動きベクトル情報（Δｘ，Δｙ）または情報ＮＧに基づいて、クラスコードＣＬ０を生成する。このように生成されたクラスコードＣＬ０は出力端子３９に出力される。
【００８１】
このように図３に示すクラス生成部１２１では、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。
【００８２】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００８３】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００８４】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データおよびクラス生成部１２１で生成されクラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００８５】
図６は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子５０Ａと、この入力端子５０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路５０Ｂ１〜５０Ｂｎと、このタップ選択回路５０Ｂ１〜５０Ｂｎで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路５０Ｃ１〜５０Ｃｎとを有している。
【００８６】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００８７】
▲１▼空間波形クラスを説明する。タップ選択回路５０Ｂ１およびクラス生成回路５０Ｃ１は、この空間波形クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ１は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。クラス生成回路５０Ｃ１は、タップ選択回路５０Ｂ１で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）等の処理を施し、空間波形クラスを示すクラスコードＣＬ１を生成する。
【００８８】
▲２▼時間変動クラスを説明する。タップ選択回路５０Ｂ２およびクラス生成回路５０Ｃ２は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ２は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【００８９】
クラス生成回路５０Ｃ２は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ２を生成する。
【００９０】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路５０Ｂ３およびクラス生成回路５０Ｃ３は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ３は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【００９１】
クラス生成回路５０Ｃ３は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路５０Ｃ３は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ１と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ２を求め、ｍ１／ｍ２を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【００９２】
▲４▼フラットクラスを説明する。タップ選択回路５０Ｂ４およびクラス生成回路５０Ｃ４は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ４は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。クラス生成回路５０Ｃ４は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ４を生成する。
【００９３】
▲５▼ライン相関クラスについて説明する。タップ選択回路５０Ｂ５およびクラス生成回路５０Ｃ５は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ５は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。
【００９４】
クラス生成回路５０Ｃ５は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【００９５】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路５０Ｂ６およびクラス生成回路５０Ｃ６は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ６は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図８に示す隣接ブロック）の画素データを取り出す。
【００９６】
クラス生成回路５０Ｃ６は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ６を生成する。
【００９７】
また、クラス分類部１２３は、クラスコードＣＬ０を入力する入力端子５０Ｄと、クラス生成回路５０Ｃ１〜５０Ｃｎで生成されるクラスコードＣＬ１〜ＣＬｎ、入力端子５０Ｄに入力されるクラスコードＣＬ０を統合して１個のクラスコードＣＬとするクラス統合回路５０Ｅと、このクラスコードＣＬを出力する出力端子５０Ｆとを有している。本実施の形態において、クラス統合回路５０Ｅは、クラス生成回路５０Ｃ１〜５０Ｃ６で生成されたクラスコードＣＬ１〜ＣＬ６、さらにはクラスコードＣＬ０を統合して、１つのクラスコードＣＬとする。
【００９８】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００９９】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１００】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１０１】
【数１】
この画像信号処理部１１０の動作を説明する。
クラス生成部１２１では、バッファメモリ１０８に格納されている、ピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成される。
【０１０３】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データおよびクラス生成部１２１で生成されるクラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１０４】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１０５】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１０６】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１０７】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１０８】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１０９】
また、クラス生成部１２１では、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。そして、クラス分類部１２３では、このクラスコードＣＬ０が他のクラスコードと統合されて、クラスコードＣＬが生成される。そのため、画像信号処理部１１０では、動き補償用ベクトル情報ＭＩの不正確さの情報に基づいてクラス分類が行われることとなり、画像信号Ｖｂの品質の向上を図ることができる。
【０１１０】
また、クラス生成部１２１の相関判定部３７は、最も相関の高い候補ブロックの相関レベルが予め設定された閾値より小さいときは、動きベクトル情報に代えてその旨を示す情報ＮＧを出力する。そして、クラス生成回路３８は、クラスコードＣＬ０としてその情報ＮＧに対応したものを出力する。したがって、クラス生成部１２１から不正確な動きベクトル情報（Δｘ，Δｙ）によるクラスコードＣＬ０が出力されることがなく、クラス分類の精度が低下することを防止できる。
【０１１１】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１１２】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗｎは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙｋ＝Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１１３】
ｍ＞ｎの場合、係数データＷ１，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１１４】
【数２】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１１６】
【数３】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉを定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１１８】
【数４】
【数５】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１２１】
図９は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１２２】
また、係数データ生成装置１５０は、クラス生成部１５４を有している。このクラス生成部１５４は、上述した画像信号処理部１１０のクラス生成部１２１と同様に構成され、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成する。このクラス生成部１５４では、復号化器１５３より出力されるピクチャ情報ＰＩ、残差データおよびリファレンスデータが用いられて、クラスコードＣＬ０が生成される。
【０１２３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成される。
【０１２４】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１２５】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データおよびクラス生成部１５４で生成されるクラスコードＣＬ０を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１２６】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１２７】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１２８】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１２９】
次に、図９に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１３０】
クラス生成部１５４では、復号化器１５３より出力されるピクチャ情報ＰＩ、残差データおよびリファレンスデータを用いて、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０が生成される。
【０１３１】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データおよびクラス生成部１５４で生成されたクラスコードＣＬ０が用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１３２】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、予測タップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１３３】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１３４】
このように、図９に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１３５】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１３６】
なお、図１の画像信号処理部１１０における処理を、例えば図１０に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１３７】
まず、図１０に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３８】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３９】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１４０】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１４１】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１４２】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１４３】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４４】
図１１のフローチャートを参照して、図１０に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各画素データと対となっているピクチャ情報ＰＩも入力する。ピクチャ情報ＰＩは、画素データがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれのピクチャに係るものであったかを示す情報である。またこの場合、画像信号Ｖａの各画素データと対となっている、その画素データを得る際に使用された残差データおよびリファレンスデータも入力する。
【０１４５】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１４６】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１４７】
ステップＳＴ２５では、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データと対となっているピクチャ情報ＰＩ、残差データおよびリファレンスデータを用いて、画像信号Ｖｂにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成し、さらにこのクラスコードＣＬ０および画像信号Ｖａを構成する複数の画素データを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４８】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１４９】
次に、ステップＳＴ２８で、ステップＳＴ２２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１５０】
このように、図１１に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１５１】
また、処理装置の図示は省略するが、図９の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１５２】
図１２のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０１５３】
この場合、生徒信号ＳＳの各画素データと対となっているピクチャ情報ＰＩ、さらには各画素データと対となっているその画素データを得る際に使用された残差データおよびリファレンスデータも得るようにする。
【０１５４】
そして、ステップＳＴ３５で、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっているピクチャ情報ＰＩと、残差データおよびリファレンスデータを用いて、教師信号ＳＴにおける注目位置の画素データが属する、動き補償用ベクトル情報ＭＩの不正確さに基づくクラスを示すクラスコードＣＬ０を生成し、さらにこのクラスコードＣＬ０および生徒信号ＳＳを構成する複数の画素データを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１５５】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１５６】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１５７】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１５８】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１５９】
このように、図１２に示すフローチャートに沿って処理をすることで、図９に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１６０】
なお、上述実施の形態においては、リファレンスデータから抽出されたエッジ成分と残差データから抽出されたエッジ成分とを用いて動きベクトル情報（Δｘ，Δｙ）を検出し、これを復号時に使用した動き補償用ベクトル情報ＭＩの不正確さを示す情報としたものである。
【０１６１】
しかし、動き補償用ベクトル情報ＭＩの不正確さを示す情報はこの動きベクトル情報（Δｘ，Δｙ）に限定されるものではない。例えば、画像信号Ｖａからブロックマッチング法、勾配法等の方法によって動きベクトル情報を新たに検出し、これと復号時に使用した動き補償用ベクトル情報ＭＩとを比較することで、動き補償用ベクトル情報ＭＩの不正確さを示す情報を得るようにしてもよい。
【０１６２】
また、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、動き補償予測符号化が行われたその他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１６３】
【発明の効果】
この発明によれば、動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる符号化雑音が軽減された第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得し、少なくともこの不正確さを示す情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、クラス分類の精度を上げることができ、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス生成部の構成を示すブロック図である。
【図４】３×３のラプラシアンフィルタの係数比の一例を示す図である。
【図５】相関判定のためのブロックマッチングの一例を説明するための図である。
【図６】相関判定のためのブロックマッチングの他の例を説明するための図である。
【図７】クラス分類部の構成を示すブロック図である。
【図８】タップ選択用ブロックを示す図である。
【図９】係数データ生成装置の構成を示すブロック図である。
【図１０】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号処理を示すフローチャートである。
【図１２】係数データ生成処理を示すフローチャートである。
【符号の説明】
３１，３２・・・入力端子、３２，３５・・・エッジ成分抽出回路、３３，３６・・・バッファメモリ、３７・・・相関判定部、３８・・・クラス生成回路、３９・・・出力端子、１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・クラス生成部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
Claims (11)
- 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、
少なくとも上記情報取得手段で取得された不正確さを示す情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号処理装置。 - 上記画素データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項１に記載の画像信号処理装置。 - 上記情報取得手段は、
上記第１の画像信号の画素データを得る際に用いられた残差データからエッジ成分を抽出する第１の抽出手段と、
上記第１の画像信号の画素データを得る際に用いられたリファレンスデータからエッジ成分を抽出する第２の抽出手段と、
上記第１の抽出手段で抽出されたエッジ成分からなるフレームを第１のフレームとし、上記第２の抽出手段で抽出されたエッジ成分からなるフレームを第２のフレームとし、上記第１のフレームおよび上記第２のフレームを用いて、上記第２の画像信号における注目位置に対応した第２の動きベクトル情報を、上記不正確さを示す情報として取得する動きベクトル取得手段とを有する
ことを特徴とする請求項１に記載の画像信号処理装置。 - 上記動きベクトル取得手段は、
上記第１のフレームまたは上記第２のフレームを参照フレームとし、上記第２のフレームまたは上記第１のフレームを探索フレームとし、上記参照フレームの上記第２の画像信号における注目位置に対応したエッジ成分を含む参照ブロックと上記探索フレームの上記第２の画像信号における注目位置を中心とした所定の探索範囲内の複数の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基づき、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記第２の動きベクトル情報として出力する情報出力手段とを有する
ことを特徴とする請求項３に記載の画像信号処理装置。 - 上記情報出力手段は、上記最も相関の高い候補ブロックの相関情報で示される相関レベルが予め設定された閾値より小さいときは、その旨を示す所定情報を出力し、
上記クラス検出手段は、上記情報出力手段が上記所定情報を出力するとき、上記第２の動きベクトル情報に代わって、該所定情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する
ことを特徴とする請求項４に記載の画像信号処理装置。 - 上記デジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、
上記参照ブロックは、上記第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられたＤＣＴブロックに対応したブロックである
ことを特徴とする請求項４に記載の画像信号処理装置。 - 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する第１のステップと、
少なくとも上記第１のステップで取得された不正確さを示す情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、
上記第２のステップで検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する第３のステップと
を備えることを特徴とする画像信号処理方法。 - 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された第１の動きベクトル情報の不正確さを示す情報を取得する第１のステップと、
少なくとも上記第１のステップで取得された不正確さを示す情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、
上記第２のステップで検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する第３のステップと
を備える画像信号処理方法をコンピュータに実行させるためのプログラム。 - 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する情報取得手段と、
少なくとも上記情報取得手段で取得された不正確さを示す情報を用いて、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。 - 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する第２のステップと、
少なくとも上記第２のステップで取得された不正確さを示す情報を用いて、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める第５のステップと
を備えることを特徴とする係数データ生成方法。 - 動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられたリファレンスデータの動き補償に使用された動きベクトル情報の不正確さを示す情報を取得する第２のステップと、
少なくとも上記第２のステップで取得された不正確さを示す情報を用いて、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める第５のステップと
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337197A JP4206730B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337197A JP4206730B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004173012A true JP2004173012A (ja) | 2004-06-17 |
| JP4206730B2 JP4206730B2 (ja) | 2009-01-14 |
Family
ID=32700810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002337197A Expired - Fee Related JP4206730B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4206730B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010103683A (ja) * | 2008-10-22 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体 |
| US8482619B2 (en) | 2005-12-26 | 2013-07-09 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device for image stabilization |
-
2002
- 2002-11-20 JP JP2002337197A patent/JP4206730B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8482619B2 (en) | 2005-12-26 | 2013-07-09 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device for image stabilization |
| JP2010103683A (ja) * | 2008-10-22 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4206730B2 (ja) | 2009-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6466624B1 (en) | Video decoder with bit stream based enhancements | |
| US8718143B2 (en) | Optical flow based motion vector estimation systems and methods | |
| US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US6208760B1 (en) | Method and apparatus for motion vector processing | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| US7711046B2 (en) | Encoding circuit | |
| JP4197695B2 (ja) | 動画像符号化方法、装置及びプログラム | |
| JP2004518337A (ja) | ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法 | |
| JP2010062792A (ja) | 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム | |
| JP4078906B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US7991054B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program | |
| JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158476B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2001346208A (ja) | 画像信号復号化装置および方法 | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2004173013A (ja) | 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2004056459A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| KR100657714B1 (ko) | 3차원 스캐닝을 이용한 영상데이터 부호화 방법 | |
| US7920757B2 (en) | Method for processing a macro block of image data | |
| JP2005294967A (ja) | 映像符号化装置 | |
| KR19990086000A (ko) | 엠펙 디코더의 기준 매크로 블록 검출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051110 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081007 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |