JP2011166205A - 画像処理装置、符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】動画像のコンポーネント信号を修正する画像処理装置、符号化装置、復号装置及びプログラムを提供する。
【解決手段】本発明の画像処理装置１は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号について修正するために、第２のコンポーネント信号及び／又は第３のコンポーネント信号を正規化して前記第１のコンポーネント信号の教師信号を生成する教師信号生成手段（３−８）と、前記第１のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第１のコンポーネント信号を修正する修正手段（９）とを備える。
【選択図】図１

Description

本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正する画像処理装置、符号化装置、復号装置及びプログラムに関する。

画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。

また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６ 杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。

非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）にて、画像を小領域単位で符号化する場合、例えばＭＰＥＧ−２では、４：２：０フォーマットであれば、輝度信号の画素ブロック１６×１６画素に対応する色差信号は８×８画素であり、信号間でサンプリング周波数が異なる。例えば、ＭＰＥＧ−２に代表される画像符号化処理では、このようにサンプリング周波数が異なる信号を共通のサイズ８×８画素ブロックで処理を行う。つまり、輝度信号を４つの８×８画素ブロックに分割し、色差信号も８×８画素ブロックで符号化を行うため、符号化処理を施す８×８画素ブロックの占める範囲が輝度信号と色差信号で異なることになる。

本発明の目的は、上述のような問題に鑑みて、例えばサンプリング周波数の異なる色空間の信号成分であっても、画像信号を修正することが可能な画像処理装置、符号化装置、復号装置及びプログラムを提供することにある。

本発明の第１態様の画像処理装置は、動画像のコンポーネント信号（例えば、ＹＵＶ信号）を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号（例えば、Ｙ信号）について修正するために、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）を正規化して第１のコンポーネント信号の教師信号を生成する教師信号生成手段と、前記第１のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第１のコンポーネント信号を修正する修正手段と、を備えることを特徴とする。尚、コンポーネント信号は、ＲＧＢ，ＹＣｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。

本発明の第２態様の画像処理装置は、動画像のコンポーネント信号（例えば、ＹＵＶ信号）を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）について修正するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び／又は第３のコンポーネント信号の教師信号を生成する教師信号生成手段と、前記第２のコンポーネント信号及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第２のコンポーネント信号及び／又は第３のコンポーネント信号を修正する修正手段と、を備えることを特徴とする。

本発明の第１態様又は第２態様の画像処理装置において、前記動画像のコンポーネント信号が、異なるサンプリングレートのコンポーネント信号を含む場合に、前記教師信号生成手段は、画像信号における輝度信号（例えば、Ｙ信号）のコンポーネント信号を、該輝度信号に対応する色差信号（例えば、Ｕ信号，Ｖ信号）のサンプリングレートまでダウンコンバートして色差信号の教師信号を生成する輝度信号ダウンコンバート手段と、前記画像信号における色差信号のコンポーネント信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートして輝度信号の教師信号を生成する色差信号アップコンバート手段と、を有することを特徴とする。

本発明の第１態様又は第２態様の画像処理装置において、前記動画像のコンポーネント信号は、所定の色空間の各コンポーネント信号、該コンポーネント信号の直交変換係数、及びこれらの信号を併合した組合せを含むことを特徴とする。

また、本発明の第３態様の画像処理装置は、サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号の直交変換係数について、前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートする輝度信号ダウンコンバート部と、前記輝度信号ダウンコンバート部から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、色差信号の教師信号として生成する第１正規化処理部と、前記画像信号の直交変換係数について、前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートする色差信号アップコンバート部と、前記色差信号アップコンバート部から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、輝度信号の教師信号として生成する第２正規化処理部と、色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する修正部と、前記修正部から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部と、を備えることを特徴とする。

また、本発明の第４態様の画像処理装置は、サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び色差信号のそれぞれの直交変換係数を生成する第１直交変換部と、前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートする輝度信号ダウンコンバート部と、前記輝度信号ダウンコンバート部によって生成したダウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成する第２直交変換部と、前記第２直交変換部から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成する第１正規化処理部と、前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートする色差信号アップコンバート部と、前記色差信号アップコンバート部から得られるアップコンバートした色差信号に対して直交変換を施し、アップコンバート後の色差信号の直交変換係数を生成する第３直交変換部と、前記第３直交変換部から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の直交変換係数に基づく係数を、前記第１直交変換部から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成する第２正規化処理部と、色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する修正部と、前記修正部から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部と、を備えることを特徴とする。

また、本発明の第４態様の画像処理装置において、前記第１直交変換部、第２直交変換部、及び第３直交変換部は、同一種類の直交変換処理からなることを特徴とする。

また、本発明の第４態様の画像処理装置において、前記修正部は、色差信号については、前記第１正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号の直交変換係数を修正し、修正された色差信号の直交変換係数を生成するとともに、輝度信号については、前記第２正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの輝度信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて輝度信号の直交変換係数を修正し、修正された輝度信号の直交変換係数を生成することを特徴とする。

また、本発明の第４態様の画像処理装置において、前記第１正規化処理部は、前記第１直交変換部から出力される各色差信号の直交変換係数のうち直流成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した各色差信号の直交変換係数の成分座標に対応する、前記第２直交変換部から得られる輝度信号の直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係数の値に対する前記特定した色差信号の直交変換係数の値の比を前記第２直交変換部から得られる輝度信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力された各色差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第２直交変換部から出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平均値の比を前記第２直交変換部から出力される輝度信号の直交変換係数に乗じて正規化することを特徴とする。

また、本発明の第４態様の画像処理装置において、前記第２正規化処理部は、前記第１直交変換部から出力される輝度信号の直交変換係数のうち直流成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した輝度信号の直交変換係数の成分座標に対応する、前記第３直交変換部から得られる各色差信号の直交変換係数の成分座標を特定し、この特定した色差信号の直交変換係数の値に対する前記特定した輝度信号の直交変換係数の値の比を前記第３直交変換部から得られる各色差信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力された輝度信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第３直交変換部から出力される各色差信号の直交変換係数の絶対値の平均値又は二乗平均値の比を前記第３直交変換部から出力される各色差信号の直交変換係数に乗じて正規化することを特徴とする。

また、本発明の符号化装置は、本発明の第１態様〜第４態様のいずれかの画像処理装置を備えることを特徴とする。

また、本発明の復号装置は、本発明の第１態様〜第４態様のいずれかの画像処理装置を備えることを特徴とする。

また、本発明は、動画像のコンポーネント信号（例えば、ＹＵＶ信号）を修正する画像処理装置として構成するコンピュータに、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号（例えば、Ｙ信号）について修正するために、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）を正規化して前記第１のコンポーネント信号の教師信号を生成するステップと、前記第１のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、この教師信号に基づいて前記第１のコンポーネント信号を修正するステップと、を実行させるためのプログラムとしても特徴付けられる。
さらに、本発明は、動画像のコンポーネント信号を修正する画像処理装置として構成するコンピュータに、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号及び／又は第３のコンポーネント信号について修正するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び／又は第３のコンポーネント信号の教師信号を生成するステップと、前記第２のコンポーネント信号及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、この教師信号に基づいて該第２のコンポーネント信号及び／又は第３のコンポーネント信号を修正するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置として構成するコンピュータに、（ａ）非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び色差信号のそれぞれの直交変換係数を生成するステップと、（ｂ）前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートするステップと、（ｃ）前記ステップ（ｂ）によって生成したダウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成するステップと、（ｄ）前記ステップ（ｃ）を経て得られる輝度信号の直交変換係数の各成分を、該輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成するステップと、（ｅ）前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートするステップと、（ｆ）前記ステップ（ｅ）を経て得られるアップコンバートした色差信号に対して直交変換を施し、アップコンバート後の色差信号の直交変換係数を生成するステップと、（ｇ）前記ステップ（ｆ）を経て得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の直交変換係数に基づく係数を、前記第１直交変換部から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成するステップと、（ｈ）色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の各直交変換係数を修正するステップと、（ｉ）前記ステップ（ｈ）を経て得られる、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修正することができ、この修正した画像を例えば表示装置に表示すると、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。

本発明による実施例１の画像処理装置のブロック図である。 本発明による実施例１の画像処理装置の動作を示す図である。 本発明による実施例１の画像処理装置における動作として、（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示す図である。 本発明による実施例１の画像処理装置における動作として、（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示す図である。 本発明による実施例１の画像処理装置を、動画像用の復号装置（例としてＨ．２６４復号装置）に適用した場合における例を示す図である。 本発明による実施例１の画像処理装置の詳細なブロック図である。 本発明に係る実施例２における動画像用の符号化装置（例としてＨ．２６４復号装置）を示す図である。 本発明に係る実施例２における動画像用の復号装置（例としてＨ．２６４復号装置）を示す図である。 本発明による実施例１の画像処理装置の変形例を示すブロック図である。 従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を示す図である。 （ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。

以下、本発明による実施例１の画像処理装置について説明する。

実施例１の画像処理装置１は、従来からの動画像用の符号化装置によって符号化された画像信号を復号した後、復号した画像信号を修正する装置である。まず、本発明の理解のために、従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を図１０に示す。

［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包している。

従来からの符号化装置１１１は、並べ替え部１２と、減算部１３と、直交変換部１４と、量子化部１５と、可変長符号化部１６と、逆量子化部１７と、逆直交変換部１８と、切替スイッチ１９と、フレーム内予測部２０と、フレームメモリ２１と、動き補償予測部２２と、加算部２３とを備える。尚、フレーム内予測部２０は、いわゆるイントラ予測を行う機能を有するが本願の主題ではないので、その説明は割愛する。以下、動き補償予測を行う例について説明する。

並べ替え部１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメージセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する入力画像信号を減算部１３及び動き補償予測部２２に送出する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレームメモリ２１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を切替スイッチ１９を介して減算部１３及び加算部２３に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２からの予測画像との差分信号を生成して直交変換部１４に送出する。

直交変換部１４は、減算部１３から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５に送出する。

量子化部１５は、直交変換部１４から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部１６及び逆量子化部１７に送出する。

可変長符号化部１６は、量子化部１５から供給される量子化信号についてスキャニングを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７は、量子化部１５から供給される量子化信号について逆量子化処理を行って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部２３に出力する。

加算部２３では、逆直交変換部１８から得られる逆直交変換した信号と、動き補償予測部２２を経て画像処理装置１から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ２１に格納する。

尚、切替スイッチ１９は、画面内予測と画面間予測の切り替えに用いられる。

次に、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォーマットとして、図１１（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）や、図１１（ｂ）に示すように、フレーム画像Ｆにおける画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。

このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。

輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。

本発明による一実施例の画像処理装置は、このサンプリング周波数の違いを利用して、輝度信号及び色差信号の符号化劣化の性質の違いによって生じる信号劣化を低減する装置である。

図１に、本発明による一実施例の画像処理装置のブロック図を示す。画像処理装置１は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から出力される所定の画像フォーマットのＹＵＶ信号（例えば、サンプリング周波数が異なる輝度信号及び色差信号からなる）を入力し、このサンプリング周波数の違いを利用して、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たなＹＵＶ信号（修正された輝度信号及び色差信号）を生成する。

前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（８×８画素）と１つの色差信号の画素ブロック（８×８画素）は、輝度信号と色差信号のサンプリング数の違いから表現される画像範囲は異なる。量子化による劣化は、８×８画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。

しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。

以下、図１を参照して、本実施例の画像処理装置１について詳細に説明する。

［画像処理装置の構成］
画像処理装置１は、第１直交変換部２と、輝度信号ダウンコンバート部３と、第２直交変換部４と、第１正規化処理部５と、色差信号アップコンバート部６と、第３直交変換部７と、第２正規化処理部８と、修正部９と、逆直交変換部１０とを備える。

第１直交変換部２は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号（前述したデコーダ出力）における輝度信号及び色差信号のそれぞれに対して直交変換を施し、得られた輝度信号及び色差信号のそれぞれの直交変換係数を修正部９に送出するとともに、色差信号の直交変換係数については第１正規化処理部５に送出し、輝度信号の直交変換係数については第２正規化処理部８に送出する。この直交変換処理は、当該非可逆な符号化方式の符号化手順における直交変換処理とすることができる。例えば、この直交変換処理は、ＭＰＥＧ−２，Ｈ．２６４等の符号化方式のＤＣＴ（離散コサイン変換）や整数精度ＤＣＴとすることができるが、画像処理装置１内で共通に用いるものであればよく、予め規定した任意の符号化方式の同一種類の直交変換処理を用いることができる。

輝度信号ダウンコンバート部３は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号（前述したデコーダ出力）における輝度信号を、この輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部４に送出する。例えば、入力される画像信号が４：２：２フォーマットのＹＵＶ信号である場合に、輝度信号ダウンコンバート部３は、入力される輝度信号を、水平方向について１／２倍にダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出する。或いは又、入力される画像信号が、４：２：０フォーマットのＹＵＶ信号である場合に、輝度信号ダウンコンバート部３は、入力される輝度信号を、水平及び垂直方向について１／２倍にダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出する。ダウンコンバートに用いるフィルタ処理は、入力される輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートするものであれば、既知のダウンコンバータフィルタを用いることができるが、位相遅れを生じさせず周波数特性だけを変更する高次のフィルタ係数を有するフィルタが望ましい。輝度信号ダウンコンバート部３内に遅延調整機能を設けてもよい。

第２直交変換部４は、輝度信号ダウンコンバート部３から入力されるダウンコンバートした輝度信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を第１正規化処理部５に送出する。

第１正規化処理部５は、第２直交変換部４から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、第１直交変換部２から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成する。より具体的には、第１正規化処理部５は、第１直交変換部２から出力される各色差信号の直交変換係数のうち直流成分である（０，０）成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した各色差信号の直交変換係数の成分座標に対応する、第２直交変換部４から得られる輝度信号の直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係数の値に対する前記特定した色差信号の直交変換係数の値の比を第２直交変換部４から得られる輝度信号の直交変換係数の各成分に乗じて正規化するか、又は第１直交変換部２から出力された各色差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する第２直交変換部４から出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平均値の比を第２直交変換部４から出力される輝度信号の直交変換係数に乗じて正規化し、正規化した２種類の輝度信号の直交変換係数を、第１直交変換部２から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として修正部９に送出する。正規化処理の具体例は後述する。

色差信号アップコンバート部６は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号（前述したデコーダ出力）における色差信号を、この色差信号に対応する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部７に送出する。例えば、入力される画像信号が４：２：２フォーマットのＹＵＶ信号である場合に、色差信号アップコンバート部６は、入力される色差信号を、水平方向について２倍にアップコンバートし、アップコンバートした色差信号を第３直交変換部７に送出する。また、入力される画像信号が、４：２：０フォーマットのＹＵＶ信号である場合に、色差信号アップコンバート部６は、入力される色差信号を、水平及び垂直方向について２倍にアップコンバートし、アップコンバートした色差信号を第３直交変換部７に送出する。アップコンバートに用いるフィルタ処理は、入力される色差信号を対応する輝度信号のサンプリングレートまでアップコンバートするものであれば、既知のアップコンバータフィルタを用いることができるが、位相遅れを生じさせず周波数特性だけを変更する高次のフィルタ係数を有するフィルタが望ましい。色差信号アップコンバート部６内に遅延調整機能を設けてもよい。

第３直交変換部７は、色差信号アップコンバート部６から入力されるアップコンバートした色差信号に対して、対応する輝度信号の画素ブロックに分割し、それぞれの画素ブロックを順次第１直交変換部２で用いる直交変換処理と同様の直交変換を施し、得られたアップコンバート後の色差信号の直交変換係数を第２正規化処理部８に送出する。これにより、輝度信号と色差信号との間で同一サイズの直交変換ブロックを処理することができるようになる。

第２正規化処理部８は、第３直交変換部７から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の直交変換係数に基づく係数を、第１直交変換部２から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成する。より具体的には、第２正規化処理部８は、第１直交変換部２から出力される輝度信号の直交変換係数のうち直流成分である（０，０）成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した輝度信号の直交変換係数の成分座標に対応する、第３直交変換部７から得られる各色差信号の直交変換係数の成分座標を特定し、この特定した色差信号の直交変換係数の値に対する前記特定した輝度信号の直交変換係数の値の比を第３直交変換部７から得られる各色差信号の直交変換係数の各成分に乗じて正規化するか、又は第１直交変換部２から出力された輝度信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する第３直交変換部７から出力される各色差信号の直交変換係数の絶対値の平均値又は二乗平均値の比を第３直交変換部７から出力される各色差信号の直交変換係数に乗じて正規化し、正規化した各色差信号の直交変換係数に基づく係数を、第１直交変換部２から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として修正部９に送出する。正規化処理の具体例は後述する。尚、各色差信号の直交変換係数に基づく係数とは、各色差信号の直交変換係数のいずれか一方の大きいほうを選択するか、又は各色差信号の直交変換係数の絶対値の平均値又は二乗平均値とするなど、正規化して得られる各色差信号の直交変換係数に相関するように生成される直交変換係数とすることができることを意味する。

修正部９は、色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて修正する修正処理を行う。より具体的には、修正部９は、色差信号については、第１正規化処理部５によって生成された教師信号（輝度信号についてダウンコンバートした直交変換係数）の絶対値と第１直交変換部２からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ][ｕ]以下である場合に、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいてこれら色差信号の直交変換係数を修正し、修正された色差信号の直交変換係数を逆直交変換部１０に送出するとともに、輝度信号については、第２正規化処理部８によって生成された教師信号（色差信号についてアップコンバートした直交変換係数）の絶対値と第１直交変換部２からの輝度信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めたＹ信号用の閾値α_Ｙ[ｖ][ｕ]以下である場合に、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて輝度信号の直交変換係数を修正し、修正された輝度信号の直交変換係数を逆直交変換部１０に送出する。尚、この教師信号の直交変換係数に基づく修正処理は、直交変換係数の直流成分である（０，０）成分に対しては行わない。また、この教師信号の直交変換係数に基づく修正処理は、教師信号の直交変換係数への置き換えや、教師信号の直交変換係数の重み付け平均した値への振幅調整などを含む。

逆直交変換部１０は、修正部９から供給される修正処理後の輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号（ＹＵＶ信号）を生成する。修正した画像信号（ＹＵＶ信号）を表示装置（図示せず）に表示させることで、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修正されていることが確認できる。

以下、図２〜図４を参照して、本実施例の画像処理装置１の動作を説明する。

［画像処理装置の動作］
図２に、本発明による一実施例の画像処理装置の動作を示す。以下、所定の画像フォーマットのＹＵＶ信号（サンプリング周波数が異なる輝度信号及び色差信号のコンポーネント信号）が入力される場合について説明する。

ステップＳ１にて、画像処理装置１には、非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から出力される所定の画像フォーマットのＹＵＶ信号（サンプリング周波数が異なる輝度信号及び色差信号のコンポーネント信号）が入力される。

まず、輝度信号ダウンコンバート部３によって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における輝度信号を、この輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートするとともに（ステップＳ２）、色差信号アップコンバート部６によって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における色差信号を、この色差信号に対応する輝度信号のサンプリングレートまでアップコンバートする（ステップＳ３）。

次に、第１直交変換部２によって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における元の輝度信号及び色差信号のそれぞれに対して直交変換を施し、輝度信号及び色差信号のそれぞれの直交変換係数を生成するとともに（ステップＳ４）、第２直交変換部４によって、輝度信号ダウンコンバート部３から入力されるダウンコンバートした輝度信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成し（ステップＳ５）、第３直交変換部７によって、色差信号アップコンバート部６から入力されるアップコンバートした色差信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施し、アップコンバート後の色差信号の直交変換係数を生成する（ステップＳ６）。

つまり、第２直交変換部４及び第３直交変換部７によって、例えば、４：２：２フォーマットのＹＵＶ信号の場合には、輝度信号に対して１つの８×８画素ブロックのＤＣＴ係数と、色差信号に対して４つの８×８画素ブロックのＤＣＴ係数の組が得られる。

次に、第１正規化処理部５によって、第２直交変換部４から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化処理を施し、正規化した２種類の輝度信号の直交変換係数を、第１直交変換部２から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成するとともに（ステップＳ７）、第２正規化処理部８によって、第３直交変換部７から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化処理を施し、正規化した各色差信号の直交変換係数に基づく係数を、第１直交変換部２から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成する（ステップＳ８）。

ここで、例えば色差信号に対する輝度信号からの教師信号の生成手順として、二通りを説明する。

（第１の例）
以下の式に示すとおり、各色差信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、Ｕ信号に対する教師信号Ｔ＿Ｕ[ｖ][ｕ]，Ｖ信号に対する教師信号Ｔ＿Ｖ[ｖ][ｕ]は、各色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）に対応する成分座標の輝度信号の直交変換係数Ｙ[ｂ][ａ]を基準にした比によって、ダウンコンバートした輝度信号の直交変換係数Ｙ[ｖ][ｕ]の各成分を正規化することにより得ることができる。
Ｔ＿Ｕ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]
Ｔ＿Ｖ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｖ[ｂ][ａ]／Ｙ[ｂ][ａ]
ここで、ｕ，ｖは、８×８画素ブロックであれば０〜７。ここでの正規化係数は、Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]又はＶ[ｂ][ａ]／Ｙ[ｂ][ａ]で与えられる。

輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]も同様のやり方で得ることができる。例えば、以下の式に示すとおり、輝度信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、輝度信号用の教師信号Ｔ＿Ｙ[ｖ][ｕ]は、この輝度信号の直交変換係数Ｙ[ｂ][ａ]に対応する成分座標の色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）を基準にした比によって、アップコンバートした色差信号の直交変換係数Ｕ[ｖ][ｕ]（又はＶ[ｖ][ｕ]）の各成分を正規化することにより得ることができる。
Ｔ＿Ｙ[ｖ][ｕ]＝Ｕ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]、又は
＝Ｖ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｖ[ｂ][ａ]
ここでの正規化係数は、Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]又はＹ[ｂ][ａ]／Ｖ[ｂ][ａ]で与えられる。
尚、輝度信号は、色差信号に対し複数の直交変換ブロックで構成されるので、例えば４：２：０フォーマットの場合、アップコンバートされた色差信号を４つに分割し、輝度信号の直交変換ブロックに対するブロックごとに正規化を行う。

尚、或る輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]としては２つ得られるため、これらの２つの教師信号のうちの絶対値の大きいほうを教師信号とするか、又は絶対値の平均値（又は二乗平均値）の大きいほうを教師信号とするか、又は２つの教師信号のうち相関の高いほうを教師信号とするか、又は事前に予め定められた選択基準で選択したものと教師信号とすることができるが、画像処理装置１の利用目的に応じて随意適したやり方で教師信号を算出することができる。

（第２の例）
第１の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して正規化する例について説明したが、直交変換係数の絶対値の平均値（又は二乗平均値）に基づいて正規化する例は、以下のとおりである。

例えば、輝度信号の直交変換係数の二乗平均値によって、色差信号に対する教師信号を生成する場合、この輝度信号の直交変換係数Ｙ[ｖ][ｕ]を、色差信号の直交変換係数をＵ[ｖ][ｕ]，Ｖ[ｖ][ｕ]として、以下に示すＣ言語による記述例のようにして正規化係数を求めて教師信号を生成することができる。
＜Ｃ言語による記述例＞
Tmp[Y]=0; //Ｙ信号の交流エネルギー保存用バッファ
Tmp[U]=0; //Ｕ信号の交流エネルギー保存用バッファ
Tmp[V]=0; //Ｖ信号の交流エネルギー保存用バッファ
for(v=0; v<8; v++){
for(u=0; u<8; u++){
tmp[U]+=(U[v][u]* U [v][u]);
tmp[V]+=(V[v][u]* V [v][u]);
tmp[Y]+=(Y[v][u]* Y [v][u]);
}
}
N_U=pow (tmp[U]/tmp[Y], 0.5); //Ｕ信号用の正規化係数N_U
N_V=pow (tmp[V]/tmp[Y], 0.5); //Ｖ信号用の正規化係数N_V

尚、輝度信号は、複数の直交変換ブロックで構成されるので、教師信号も対応するブロック（例えば、４：２：０フォーマットの場合、アップコンバートされた色差信号で生成される教師信号を４つに分割した４つの直交変換ブロック）で生成される。

再び図２を参照するに、修正部９によって、輝度信号については、第２正規化処理部８によって生成された教師信号（色差信号についてアップコンバートした直交変換係数）の絶対値と第１直交変換部２からの輝度信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めたＹ信号用の閾値α_Ｙ[ｖ][ｕ]以下であれば、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づく修正処理を行うとともに（ステップＳ９，Ｓ１０）、色差信号については、第１正規化処理部５によって生成された教師信号（輝度信号についてダウンコンバートした直交変換係数）の絶対値と第１直交変換部２からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ][ｕ]以下であれば、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づく修正処理を行う（ステップＳ１１，Ｓ１２）。ただし、この教師信号の直交変換係数に基づく修正処理は、直交変換係数の直流成分である（０，０）成分に対しては行わない。また、この教師信号の直交変換係数に基づく修正処理は、教師信号の直交変換係数への置き換えや、教師信号の直交変換係数の重み付け平均した値への振幅調整などを含む。

例えば、修正部９におけるＵ信号についての修正処理のＣ言語による記述例は以下に示すとおりである。尚、Ｙ信号及びＶ信号についても同様な記述とすることができる。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U[v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>α_U[v][u]? U[v][u]: m*tmp) // U[v][u]の絶対値とtmpの差がα_U[v][u]より大きければU [v][u]は変更しない。U [v][u]の絶対値とtmpの差がα_U[v][u]以下であれば正負符号を保持して修正（本例では置き換え）。
}
}
}

次に、逆直交変換部１０によって、修正部９から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号（ＹＵＶ信号）を生成する（ステップＳ１３）。尚、このようにして修正された輝度信号は、サンプリングレートの低い色差信号によって修正されるため、全体的にぼけた信号となることがある。そこで、修正された輝度信号を全て書き換えるのではなく、劣化が顕著に現れやすい各画素ブロックの最外周の画素（例えば、予め規定した画素位置の１ないし２画素）を置き換えるようにして、デブロッキングフィルタとして動作するように構成することもできる。

図３及び図４は、この画像処理装置１における一連の処理動作を模式的に示した図である。図３（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、図３（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示している。図４（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、図４（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示している。

これにより、本実施例の画像処理装置１によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。

尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直交変換としてＤＣＴが用いられているが、本実施例の画像処理装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。

以下、本実施例の画像処理装置１を、動画像用の復号装置に適用した場合について説明する。

本実施例の画像処理装置１を、動画像用の復号装置３１ａに適用した場合における例を図５に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。

本実施例に係る復号装置３１ａは、可変長復号部３２と、逆量子化部３３と、逆直交変換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３９とを備える。尚、本実施例に係る復号装置３１ａは、既知の復号装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の復号装置）に対して、本実施例の画像処理装置１が追加されたものである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３７に送出する。また、可変長復号部３２は、この量子化情報を画像処理装置１内の修正部９に送出する。

逆量子化部３３は、可変長復号部３２から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４に送出する。

逆直交変換部３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５に送出する。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２から得られる動きベクトルとを用いて予測画像を生成し、切替スイッチ３９を介して加算部３５に出力する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、動き補償予測部３７から供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係る復号装置３１ａにおける画像処理装置１に送出する。

復号装置３１ａにおける画像処理装置１は、加算部３５から得られる画像信号を上述したように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ３６に格納するとともに、並べ替え部３８に送出する。

並べ替え部３８は、画像処理装置１から得られる修正後の画像信号を表示信号として並べ替えを行う。

ここで、図５における画像処理装置１の構成例を図６に示す。図６に示す画像処理装置１の構成は、図１に示す画像処理装置１と同様であり、更なる詳細な説明は省略するが、修正部９が、修正処理に用いるＹ信号用の閾値α_Ｙ[ｖ][ｕ]（又はＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ][ｕ]）として、量子化部１５から得られる量子化範囲内の値である、量子化値ｑ[ｖ][ｕ]の半値（＝ｑ[ｖ][ｕ]／２）を用いた例であるが、量子化値ｑ[ｖ][ｕ]の値以下の任意の値を設定することができる。

即ち、復号装置３１ａに適用した画像処理装置１における修正部９では、例えば色差信号の場合、生成された教師信号と色差信号の元の直交変換係数の絶対値とを比較し、符号化方式に依存する量子化範囲内に差分量が収まる場合は、色差信号の元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて元の直交変換係数を修正する。輝度信号の場合も同様に、修正部９は、生成された教師信号と輝度信号の元の直交変換係数の絶対値とを比較し、符号化方式に依存する量子化範囲内に教師信号が収まる場合は、輝度信号の元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて元の直交変換係数を修正する。

本例における修正部９におけるＵ信号についての修正処理を、Ｃ言語による記述例として以下のように示すことができる。尚、Ｙ信号及びＶ信号についても同様である。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U [v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_ U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>q[v][u]/2? U[v][u]: m*tmp) // U[v][u]の絶対値とtmpの差がq[v][u]/2より大きければU[v][u]は変更しない。U[v][u]の絶対値とtmpの差がq[v][u]/2以下であれば正負符号を保持して修正（例えば、置き換え）。
}
}
}

このように、本実施例の画像処理装置１を復号装置に適用すれば、既存の符号化装置によって符号化された、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号を復号した場合であっても、その画像信号の劣化を低減するように修正することができる。

次に、図７を参照して、実施例１の画像処理装置１を動画像用の符号化装置に適用した場合について、実施例２として説明する。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。

［符号化装置］
実施例２の符号化装置１１は、図１に示す画像処理装置１と、並べ替え部１２と、減算部１３と、直交変換部１４と、量子化部１５と、可変長符号化部１６と、逆量子化部１７と、逆直交変換部１８と、切替スイッチ１９と、フレーム内予測部２０と、フレームメモリ２１と、動き補償予測部２２と、加算部２３とを備える。尚、本実施例に係る符号化装置１１は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対して、図１に示す画像処理装置１が追加されたものである。フレーム内予測部２０は、いわゆるイントラ予測を行う機能を有するが本願の主題ではないので、その説明は割愛する。以下、動き補償予測を行う例について説明する。

並べ替え部１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメージセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する入力画像信号を減算部１３及び動き補償予測部２２に送出する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレームメモリ２１から画像処理装置１を経て取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を画像処理装置１に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２を経て得られる画像処理装置１からの予測画像との差分信号を生成して直交変換部１４に送出する。

直交変換部１４は、減算部１３から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５に送出する。

量子化部１５は、直交変換部１４から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部１６及び逆量子化部１７に送出する。

可変長符号化部１６は、量子化部１５から供給される量子化信号についてスキャニングを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７は、量子化部１５から供給される量子化信号について逆量子化処理を行って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部２３に出力する。

加算部２３では、逆直交変換部１８から得られる逆直交変換した信号と、動き補償予測部２２を経て画像処理装置１から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ２１に格納する。

尚、切替スイッチ１９は、画面内予測と画面間予測の切り替えに用いられる。

続いて、図８を参照して、図１に示す画像処理装置１を、動画像用の復号装置に適用した場合について説明する。

［復号装置］
実施例２に係る復号装置３１ｂは、可変長復号部３２と、逆量子化部３３と、逆直交変換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３９とを備える。尚、本実施例に係る復号装置３１ｂは、既知の復号装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の復号装置）に対して、そのフィードバックループ内に本実施例の画像処理装置１が追加されたものである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３７に送出する。また、可変長復号部３２は、量子化情報を画像処理装置１内の修正部９に送出する。

逆量子化部３３は、可変長復号部３２から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４に送出する。

逆直交変換部３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５に送出する。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２から得られる動きベクトルとを用いて予測画像を生成し、画像処理装置１に出力する。

復号装置３１ｂにおける画像処理装置１は、動き補償予測部３７から得られる予測画像の信号から、上述したように符号化劣化を抑制した修正後の画像信号を生成し、切替スイッチ３９を介して加算部３５に送出する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、画像処理装置１から供給される予測画像の信号とを加算して画像信号を復元し、復元した画像信号を並べ替え部３８に送出する。

並べ替え部３８は、加算部３５から得られる画像信号を表示信号として並べ替えを行う。

このように、実施例２の符号化装置１１や復号装置３１ｂに示すように、図１に示す画像処理装置１をＭＰＥＧ符号化方式に適用することができる。尚、実施例２の符号化装置１１や復号装置３１ｂにおいても、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号を復号した場合であっても、その画像信号の劣化を低減するように修正することができる。

以上のように、本発明に係る画像処理装置１は、動画像のコンポーネント信号を修正する装置として、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号（例えば、Ｙ信号）について修正するために、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）を正規化して第１のコンポーネント信号（例えば、Ｙ信号）の教師信号を生成する教師信号生成機能と、第１のコンポーネント信号（例えば、Ｙ信号）とこの生成した教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、当該教師信号に基づいて第１のコンポーネント信号（例えば、Ｙ信号）を修正する修正処理機能とを有する。

更に、本発明に係る画像処理装置１は、動画像のコンポーネント信号を修正する装置として、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）について修正するために、第１のコンポーネント信号（例えば、Ｙ信号）を正規化して第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）の教師信号を生成する教師信号生成機能と、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）とこの生成した教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、当該教師信号に基づいて第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）を修正する修正処理機能とを有する。

更に、本発明の一態様として、各実施例の画像処理装置１をコンピュータとして構成させることができる。コンピュータに、前述した画像処理装置１の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。特に、正規化部における正規化処理は、教師信号による修正処理における信号間の相関をとるためのレベル調整を行うものであればよい。

例えば、仮に画像処理装置に入力される信号のサンプリングレートが同一であれば、輝度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる。

また、本発明の画像処理装置は、図９に示すように、直交変換処理を用いることなく構成することも可能である。更に、本発明の画像処理装置は、第１〜第３のコンポーネント信号は、それぞれＹＵＶ信号に限定するものではなく、直交変換係数を入力して、直交変換処理を省略した構成とすることもできる。また、コンポーネント信号は、ＲＧＢ，ＹＣｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。従って、画像処理装置に入力される動画像のコンポーネント信号は、所定の色空間の各コンポーネント信号、該コンポーネント信号の直交変換係数、及びこれらの信号を併合した組合せを含む。

更に、修正部９を、画像信号における各コンポーネント信号、及び／又は、これらの直交変換係数の信号を比較して修正する修正手段として構成すればよく、各コンポーネント信号が入力されてサンプリングレートを変換した信号について修正処理を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について修正処理を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に修正処理を行うことや、これらの併用の構成とするなどの様々な変形例が可能である。

本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。

１ 画像処理装置
２ 第１直交変換部
３ 輝度信号ダウンコンバート部
４ 第２直交変換部
５ 第１正規化処理部
６ 色差信号アップコンバート部
７ 第３直交変換部
８ 第２正規化処理部
９ 修正部
１０ 逆直交変換部
１１ 符号化装置
１２ 並べ替え部
１３ 減算部
１４ 直交変換部
１５ 量子化部
１６ 可変長符号化部
１７ 逆量子化部
１８ 逆直交変換部
１９ 切替スイッチ
２０ フレーム内予測部
２１ フレームメモリ
２２ 動き補償予測部
２３ 加算部
３１ａ，３１ｂ 復号装置
３２ 可変長復号部
３３ 逆量子化部
３４ 逆直交変換部
３５ 加算部
３６ フレームメモリ
３７ 動き補償予測部
３８ 並べ替え部
３９ 切替スイッチ
１１１ 符号化装置
１３１ 輝度信号ダウンコンバート部
１６１ 色差信号アップコンバート部

Claims (15)

1. 動画像のコンポーネント信号を修正する画像処理装置であって、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号について修正するために、第２のコンポーネント信号及び／又は第３のコンポーネント信号を正規化して第１のコンポーネント信号の教師信号を生成する教師信号生成手段と、
   前記第１のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第１のコンポーネント信号を修正する修正手段と、
   を備えることを特徴とする画像処理装置。
2. 動画像のコンポーネント信号を修正する画像処理装置であって、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号及び／又は第３のコンポーネント信号について修正するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び／又は第３のコンポーネント信号の教師信号を生成する教師信号生成手段と、
   前記第２のコンポーネント信号及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第２のコンポーネント信号及び／又は第３のコンポーネント信号を修正する修正手段と、
   を備えることを特徴とする画像処理装置。
3. 前記動画像のコンポーネント信号が、異なるサンプリングレートのコンポーネント信号を含む場合に、
   前記教師信号生成手段は、
   画像信号における輝度信号のコンポーネント信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートして色差信号の教師信号を生成する輝度信号ダウンコンバート手段と、
   前記画像信号における色差信号のコンポーネント信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートして輝度信号の教師信号を生成する色差信号アップコンバート手段と、
   を有することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記動画像のコンポーネント信号は、所定の色空間の各コンポーネント信号、該コンポーネント信号の直交変換係数、及びこれらの信号を併合した組合せを含むことを特徴とする、請求項１〜３のいずれか一項に記載の画像処理装置。
5. サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置であって、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号の直交変換係数について、前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートする輝度信号ダウンコンバート部と、
   前記輝度信号ダウンコンバート部から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、色差信号の教師信号として生成する第１正規化処理部と、
   前記画像信号の直交変換係数について、前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートする色差信号アップコンバート部と、
   前記色差信号アップコンバート部から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、輝度信号の教師信号として生成する第２正規化処理部と、
   色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する修正部と、
   前記修正部から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部と、
   を備えることを特徴とする画像処理装置。
6. サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置であって、
   非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び色差信号のそれぞれの直交変換係数を生成する第１直交変換部と、
   前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートする輝度信号ダウンコンバート部と、
   前記輝度信号ダウンコンバート部によって生成したダウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成する第２直交変換部と、
   前記第２直交変換部から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成する第１正規化処理部と、
   前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートする色差信号アップコンバート部と、
   前記色差信号アップコンバート部から得られるアップコンバートした色差信号に対して直交変換を施し、アップコンバート後の色差信号の直交変換係数を生成する第３直交変換部と、
   前記第３直交変換部から得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の直交変換係数に基づく係数を、前記第１直交変換部から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成する第２正規化処理部と、
   色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する修正部と、
   前記修正部から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部と、
   を備えることを特徴とする画像処理装置。
7. 前記第１直交変換部、第２直交変換部、及び第３直交変換部は、同一種類の直交変換処理からなることを特徴とする、請求項６に記載の画像処理装置。
8. 前記修正部は、色差信号については、前記第１正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号の直交変換係数を修正し、修正された色差信号の直交変換係数を生成するとともに、輝度信号については、前記第２正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの輝度信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて輝度信号の直交変換係数を修正し、修正された輝度信号の直交変換係数を生成することを特徴とする、請求項６又は７に記載の画像処理装置。
9. 前記第１正規化処理部は、前記第１直交変換部から出力される各色差信号の直交変換係数のうち直流成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した各色差信号の直交変換係数の成分座標に対応する、前記第２直交変換部から得られる輝度信号の直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係数の値に対する前記特定した色差信号の直交変換係数の値の比を前記第２直交変換部から得られる輝度信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力された各色差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第２直交変換部から出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平均値の比を前記第２直交変換部から出力される輝度信号の直交変換係数に乗じて正規化することを特徴とする、請求項６〜８のいずれか一項に記載の画像処理装置。
10. 前記第２正規化処理部は、前記第１直交変換部から出力される輝度信号の直交変換係数のうち直流成分を除く各成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した輝度信号の直交変換係数の成分座標に対応する、前記第３直交変換部から得られる各色差信号の直交変換係数の成分座標を特定し、この特定した色差信号の直交変換係数の値に対する前記特定した輝度信号の直交変換係数の値の比を前記第３直交変換部から得られる各色差信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力された輝度信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第３直交変換部から出力される各色差信号の直交変換係数の絶対値の平均値又は二乗平均値の比を前記第３直交変換部から出力される各色差信号の直交変換係数に乗じて正規化することを特徴とする、請求項６〜８のいずれか一項に記載の画像処理装置。
11. 請求項１〜１０のいずれか一項に記載の画像処理装置を備えることを特徴とする、符号化装置。
12. 請求項１〜１０のいずれか一項に記載の画像処理装置を備えることを特徴とする、復号装置。
13. 動画像のコンポーネント信号を修正する画像処理装置として構成するコンピュータに、
    非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第１のコンポーネント信号について修正するために、第２のコンポーネント信号及び／又は第３のコンポーネント信号を正規化して前記第１のコンポーネント信号の教師信号を生成するステップと、
    前記第１のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、この教師信号に基づいて前記第１のコンポーネント信号を修正するステップと、
    を実行させるためのプログラム。
14. 動画像のコンポーネント信号を修正する画像処理装置として構成するコンピュータに、
    非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号及び／又は第３のコンポーネント信号について修正するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び／又は第３のコンポーネント信号の教師信号を生成するステップと、
    前記第２のコンポーネント信号及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、この教師信号に基づいて該第２のコンポーネント信号及び／又は第３のコンポーネント信号を修正するステップと、
    を実行させるためのプログラム。
15. サンプリング周波数の異なる色空間の信号成分からなる画像信号を相互に修正する画像処理装置として構成するコンピュータに、
    （ａ）非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び色差信号のそれぞれの直交変換係数を生成するステップと、
    （ｂ）前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートするステップと、
    （ｃ）前記ステップ（ｂ）によって生成したダウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成するステップと、
    （ｄ）前記ステップ（ｃ）を経て得られる輝度信号の直交変換係数の各成分を、該輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成するステップと、
    （ｅ）前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレートまでアップコンバートするステップと、
    （ｆ）前記ステップ（ｅ）を経て得られるアップコンバートした色差信号に対して直交変換を施し、アップコンバート後の色差信号の直交変換係数を生成するステップと、
    （ｇ）前記ステップ（ｆ）を経て得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の直交変換係数に基づく係数を、前記第１直交変換部から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成するステップと、
    （ｈ）色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及び輝度信号の各直交変換係数を修正するステップと、
    （ｉ）前記ステップ（ｈ）を経て得られる、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修正した画像信号を生成するステップと、
    を実行させるためのプログラム。

Images