JP2013102523A - 画像処理装置、符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】動画像のコンポーネント信号を修正する画像処理装置、符号化装置、復号装置及
びプログラムを提供する。
【解決手段】本発明の画像処理装置１は、非可逆な符号化方式を経て得られる所定の画像
フォーマットの画像信号における第１のコンポーネント信号について修正するために、第
２のコンポーネント信号及び／又は第３のコンポーネント信号を正規化して前記第１のコ
ンポーネント信号の教師信号を生成する教師信号生成手段（３−８）と、前記第１のコン
ポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である
場合に、前記教師信号に基づいて該第１のコンポーネント信号を修正する修正手段（９）
とを備える。
【選択図】図１

Description

本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号
化劣化を生じた画像信号を修正する画像処理装置、符号化装置、復号装置及びプログラム
に関する。

画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単
板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば
、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧ
Ｂ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目
的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補
間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、
非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用
して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高
精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補
間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定
されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等
）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適して
いるが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処
理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色
差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、
輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない
。

また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、
Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィ
ルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するも
のであり、元の画像信号に対する符号化後の劣化を低減させることはできない。

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６ 杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化として
ブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごと
の劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨
害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネ
ント信号間の相関を利用することで更にブロック歪みを改善する余地がある。

非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）にて、画像を小領域単位
で符号化する場合、例えばＭＰＥＧ−２では、４：２：０フォーマットであれば、輝度信
号の画素ブロック１６×１６画素に対応する色差信号は８×８画素であり、信号間でサン
プリング周波数が異なる。例えば、ＭＰＥＧ−２に代表される画像符号化処理では、この
ようにサンプリング周波数が異なる信号を共通のサイズ８×８画素ブロックで処理を行う
。つまり、輝度信号を４つの８×８画素ブロックに分割し、色差信号も８×８画素ブロッ
クで符号化を行うため、符号化処理を施す８×８画素ブロックの占める範囲が輝度信号と
色差信号で異なることになる。

本発明の目的は、上述のような問題に鑑みて、例えばサンプリング周波数の異なる又は同一の色空間の信号成分であっても、画像信号を修正することが可能な画像処理装置、符号化装置、復号装置及びプログラムを提供することにある。

本発明の第１態様の画像処理装置は、動画像のコンポーネント信号（例えば、ＹＵＶ信
号）を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フ
ォーマットの画像信号における第１のコンポーネント信号（例えば、Ｙ信号）について修
正するために、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポー
ネント信号（例えば、Ｖ信号）を正規化して第１のコンポーネント信号の教師信号を生成
する教師信号生成手段と、前記第１のコンポーネント信号と前記教師信号とを比較して得
られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第１のコン
ポーネント信号を修正する修正手段と、を備えることを特徴とする。尚、コンポーネント
信号は、ＲＧＢ，ＹＣｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでも
よい。

本発明の第２態様の画像処理装置は、動画像のコンポーネント信号（例えば、ＹＵＶ信
号）を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フ
ォーマットの画像信号における第２のコンポーネント信号（例えば、Ｕ信号）及び／又は
第３のコンポーネント信号（例えば、Ｖ信号）について修正するために、第１のコンポー
ネント信号を正規化して第２のコンポーネント信号及び／又は第３のコンポーネント信号
の教師信号を生成する教師信号生成手段と、前記第２のコンポーネント信号及び／又は第
３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以
下である場合に、前記教師信号に基づいて該第２のコンポーネント信号及び／又は第３の
コンポーネント信号を修正する修正手段と、を備えることを特徴とする。

本発明の第１態様又は第２態様の画像処理装置において、前記動画像のコンポーネント
信号が、異なるサンプリングレートのコンポーネント信号を含む場合に、前記教師信号生
成手段は、画像信号における輝度信号（例えば、Ｙ信号）のコンポーネント信号を、該輝
度信号に対応する色差信号（例えば、Ｕ信号，Ｖ信号）のサンプリングレートまでダウン
コンバートして色差信号の教師信号を生成する輝度信号ダウンコンバート手段と、前記画
像信号における色差信号のコンポーネント信号を、該色差信号に対応する輝度信号のサン
プリングレートまでアップコンバートして輝度信号の教師信号を生成する色差信号アップ
コンバート手段と、を有することを特徴とする。

本発明の第１態様又は第２態様の画像処理装置において、前記動画像のコンポーネント
信号は、所定の色空間の各コンポーネント信号、該コンポーネント信号の直交変換係数、
及びこれらの信号を併合した組合せを含むことを特徴とする。

また、本発明の第３態様の画像処理装置は、サンプリング周波数の異なる色空間の信号
成分からなる画像信号を相互に修正する画像処理装置であって、非可逆な符号化方式を経
て得られる所定の画像フォーマットの画像信号の直交変換係数について、前記画像信号に
おける輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコン
バートする輝度信号ダウンコンバート部と、前記輝度信号ダウンコンバート部から得られ
る輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係
数の値を基準にして正規化し、色差信号の教師信号として生成する第１正規化処理部と、
前記画像信号の直交変換係数について、前記画像信号における色差信号を、該色差信号に
対応する輝度信号のサンプリングレートまでアップコンバートする色差信号アップコンバ
ート部と、前記色差信号アップコンバート部から得られる各色差信号の直交変換係数の各
成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、輝度
信号の教師信号として生成する第２正規化処理部と、色差信号及び輝度信号の各直交変換
係数について、それぞれの前記教師信号と比較し、比較して得られる差分値が予め定めた
閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直
交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する修正部と、前記修
正部から供給される、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変
換を施し、修正した画像信号を生成する逆直交変換部と、を備えることを特徴とする。

また、本発明の第４態様の画像処理装置は、サンプリング周波数の異なる色空間の信号
成分からなる画像信号を相互に修正する画像処理装置であって、非可逆な符号化方式を経
て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び色
差信号のそれぞれの直交変換係数を生成する第１直交変換部と、前記画像信号における輝
度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバートす
る輝度信号ダウンコンバート部と、前記輝度信号ダウンコンバート部によって生成したダ
ウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の
直交変換係数を生成する第２直交変換部と、前記第２直交変換部から得られる輝度信号の
直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準
にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部か
ら出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生
成する第１正規化処理部と、前記画像信号における色差信号を、該色差信号に対応する輝
度信号のサンプリングレートまでアップコンバートする色差信号アップコンバート部と、
前記色差信号アップコンバート部から得られるアップコンバートした色差信号に対して直
交変換を施し、アップコンバート後の色差信号の直交変換係数を生成する第３直交変換部
と、前記第３直交変換部から得られる各色差信号の直交変換係数の各成分を、各色差信号
に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規化した各色差信号の
直交変換係数に基づく係数を、前記第１直交変換部から出力される、当該色差信号にそれ
ぞれ対応する輝度信号の教師信号として生成する第２正規化処理部と、色差信号及び輝度
信号の各直交変換係数について、それぞれの前記教師信号と比較し、比較して得られる差
分値が予め定めた閾値以下である場合に、元の直交変換係数の値の正負符号を保持して、
この教師信号の直交変換係数に基づいて色差信号及び輝度信号の直交変換係数を修正する
修正部と、前記修正部から供給される、輝度信号及び色差信号の修正された直交変換係数
に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部と、を備えること
を特徴とする。

また、本発明の第４態様の画像処理装置において、前記第１直交変換部、第２直交変換
部、及び第３直交変換部は、同一種類の直交変換処理からなることを特徴とする。

また、本発明の第４態様の画像処理装置において、前記修正部は、色差信号については
、前記第１正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部から
の色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定
めた閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号
を保持して、この教師信号の直交変換係数に基づいて色差信号の直交変換係数を修正し、
修正された色差信号の直交変換係数を生成するとともに、輝度信号については、前記第２
正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの輝度信号
の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた閾値以
下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保持して
、この教師信号の直交変換係数に基づいて輝度信号の直交変換係数を修正し、修正された
輝度信号の直交変換係数を生成することを特徴とする。

また、本発明の第４態様の画像処理装置において、前記第１正規化処理部は、前記第１
直交変換部から出力される各色差信号の直交変換係数のうち直流成分を除く各成分の絶対
値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した
各色差信号の直交変換係数の成分座標に対応する、前記第２直交変換部から得られる輝度
信号の直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係数の値に対
する前記特定した色差信号の直交変換係数の値の比を前記第２直交変換部から得られる輝
度信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力
された各色差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第２直
交変換部から出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平均値の比を
前記第２直交変換部から出力される輝度信号の直交変換係数に乗じて正規化することを特
徴とする。

また、本発明の第４態様の画像処理装置において、前記第２正規化処理部は、前記第１
直交変換部から出力される輝度信号の直交変換係数のうち直流成分を除く各成分の絶対値
の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した輝
度信号の直交変換係数の成分座標に対応する、前記第３直交変換部から得られる各色差信
号の直交変換係数の成分座標を特定し、この特定した色差信号の直交変換係数の値に対す
る前記特定した輝度信号の直交変換係数の値の比を前記第３直交変換部から得られる各色
差信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換部から出力
された輝度信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する前記第３直交
変換部から出力される各色差信号の直交変換係数の絶対値の平均値又は二乗平均値の比を
前記第３直交変換部から出力される各色差信号の直交変換係数に乗じて正規化することを
特徴とする。

また、本発明の符号化装置は、本発明の第１態様〜第４態様のいずれかの画像処理装置
を備えることを特徴とする。

また、本発明の復号装置は、本発明の第１態様〜第４態様のいずれかの画像処理装置を
備えることを特徴とする。

また、本発明は、動画像のコンポーネント信号（例えば、ＹＵＶ信号）を修正する画像
処理装置として構成するコンピュータに、非可逆な符号化方式を経て得られる所定の画像
フォーマットの画像信号における第１のコンポーネント信号（例えば、Ｙ信号）について
修正するために、第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポ
ーネント信号（例えば、Ｖ信号）を正規化して前記第１のコンポーネント信号の教師信号
を生成するステップと、前記第１のコンポーネント信号と前記教師信号とを比較して得ら
れる差分値が予め定めた閾値以下である場合に、この教師信号に基づいて前記第１のコン
ポーネント信号を修正するステップと、を実行させるためのプログラムとしても特徴付け
られる。
さらに、本発明は、動画像のコンポーネント信号を修正する画像処理装置として構成す
るコンピュータに、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信
号における第２のコンポーネント信号及び／又は第３のコンポーネント信号について修正
するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び／又
は第３のコンポーネント信号の教師信号を生成するステップと、前記第２のコンポーネン
ト信号及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値
が予め定めた閾値以下である場合に、この教師信号に基づいて該第２のコンポーネント信
号及び／又は第３のコンポーネント信号を修正するステップと、を実行させるためのプロ
グラムとしても特徴付けられる。

また、本発明は、サンプリング周波数の異なる色空間の信号成分からなる画像信号を相
互に修正する画像処理装置として構成するコンピュータに、（ａ）非可逆な符号化方式を
経て得られる所定の画像フォーマットの画像信号に対して直交変換を施し、輝度信号及び
色差信号のそれぞれの直交変換係数を生成するステップと、（ｂ）前記画像信号における
輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウンコンバート
するステップと、（ｃ）前記ステップ（ｂ）によって生成したダウンコンバート後の輝度
信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成する
ステップと、（ｄ）前記ステップ（ｃ）を経て得られる輝度信号の直交変換係数の各成分
を、該輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化
した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力される、当該２種
類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成するステップと、（ｅ
）前記画像信号における色差信号を、該色差信号に対応する輝度信号のサンプリングレー
トまでアップコンバートするステップと、（ｆ）前記ステップ（ｅ）を経て得られるアッ
プコンバートした色差信号に対して直交変換を施し、アップコンバート後の色差信号の直
交変換係数を生成するステップと、（ｇ）前記ステップ（ｆ）を経て得られる各色差信号
の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準に
して正規化し、正規化した各色差信号の直交変換係数に基づく係数を、前記第１直交変換
部から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号として生成する
ステップと、（ｈ）色差信号及び輝度信号の各直交変換係数について、それぞれの前記教
師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交
変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号及
び輝度信号の各直交変換係数を修正するステップと、（ｉ）前記ステップ（ｈ）を経て得
られる、輝度信号及び色差信号の修正された直交変換係数に対して逆直交変換を施し、修
正した画像信号を生成するステップと、を実行させるためのプログラムとしても特徴付け
られる。

本発明によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の
少ない画像として修正することができ、この修正した画像を例えば表示装置に表示すると
、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる
。

本発明による実施例１の画像処理装置のブロック図である。 本発明による実施例１の画像処理装置の動作を示す図である。 本発明による実施例１の画像処理装置における動作として、（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示す図である。 本発明による実施例１の画像処理装置における動作として、（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示す図である。 本発明による実施例１の画像処理装置を、動画像用の復号装置（例としてＨ．２６４復号装置）に適用した場合における例を示す図である。 本発明による実施例１の画像処理装置の詳細なブロック図である。 本発明に係る実施例２における動画像用の符号化装置（例としてＨ．２６４復号装置）を示す図である。 本発明に係る実施例２における動画像用の復号装置（例としてＨ．２６４復号装置）を示す図である。 本発明による実施例１の画像処理装置の変形例を示すブロック図である。 従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を示す図である。 （ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。

以下、本発明による実施例１の画像処理装置について説明する。

実施例１の画像処理装置１は、従来からの動画像用の符号化装置によって符号化された
画像信号を復号した後、復号した画像信号を修正する装置である。まず、本発明の理解の
ために、従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を
図１０に示す。

［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって
画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用
いるため符号化装置内に復号装置を内包している。

従来からの符号化装置１１１は、並べ替え部１２と、減算部１３と、直交変換部１４と
、量子化部１５と、可変長符号化部１６と、逆量子化部１７と、逆直交変換部１８と、切
替スイッチ１９と、フレーム内予測部２０と、フレームメモリ２１と、動き補償予測部２
２と、加算部２３とを備える。尚、フレーム内予測部２０は、いわゆるイントラ予測を行
う機能を有するが本願の主題ではないので、その説明は割愛する。以下、動き補償予測を
行う例について説明する。

並べ替え部１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメー
ジセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する
入力画像信号を減算部１３及び動き補償予測部２２に送出する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレー
ムメモリ２１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベク
トルを用いて動き補償を行い、その結果得られた予測画像を切替スイッチ１９を介して減
算部１３及び加算部２３に出力する。動きベクトルの情報は、可変長符号化部１６に送出
される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２からの予測
画像との差分信号を生成して直交変換部１４に送出する。

直交変換部１４は、減算部１３から供給される差分信号に対して小領域の画素ブロック
ごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５に送出する。

量子化部１５は、直交変換部１４から供給される小領域の画素ブロックに対応する量子
化テーブルを選択して量子化処理を行い、可変長符号化部１６及び逆量子化部１７に送出
する。

可変長符号化部１６は、量子化部１５から供給される量子化信号についてスキャニング
を行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部
２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７は、量子化部１５から供給される量子化信号について逆量子化処理を行
って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換
（例えば、ＩＤＣＴ）を施し、加算部２３に出力する。

加算部２３では、逆直交変換部１８から得られる逆直交変換した信号と、動き補償予測
部２２を経て画像処理装置１から得られる予測画像とを加算処理して復号画像を生成し、
フレームメモリ２１に格納する。

尚、切替スイッチ１９は、画面内予測と画面間予測の切り替えに用いられる。

次に、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、
画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素
サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォ
ーマットとして、図１１（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について
、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及
びＶ信号のそれぞれの画素数が１／２）や、図１１（ｂ）に示すように、フレーム画像Ｆ
における画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号
の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。

このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差
信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符
号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なるこ
とになる。

輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサ
ンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１
６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ
信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合
、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に
、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号の
サンプリング周波数は半分になる。

本発明による一実施例の画像処理装置は、このサンプリング周波数の違いを利用して、
輝度信号及び色差信号の符号化劣化の性質の違いによって生じる信号劣化を低減する装置
である。

図１に、本発明による一実施例の画像処理装置のブロック図を示す。画像処理装置１は
、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）か
ら出力される所定の画像フォーマットのＹＵＶ信号（例えば、サンプリング周波数が異な
る輝度信号及び色差信号からなる）を入力し、このサンプリング周波数の違いを利用して
、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う
新たなＹＵＶ信号（修正された輝度信号及び色差信号）を生成する。

前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（８×８
画素）と１つの色差信号の画素ブロック（８×８画素）は、輝度信号と色差信号のサンプ
リング数の違いから表現される画像範囲は異なる。量子化による劣化は、８×８画素の画
素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画
素ブロックの境界において視覚的に顕著な劣化が生じうる。

しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（
又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する
輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサン
プリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を
色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減
させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことがで
きる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信
号のサンプリングレートを同一にするのが好適である。

以下、図１を参照して、本実施例の画像処理装置１について詳細に説明する。

［画像処理装置の構成］
画像処理装置１は、第１直交変換部２と、輝度信号ダウンコンバート部３と、第２直交
変換部４と、第１正規化処理部５と、色差信号アップコンバート部６と、第３直交変換部
７と、第２正規化処理部８と、修正部９と、逆直交変換部１０とを備える。

第１直交変換部２は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画
像信号（前述したデコーダ出力）における輝度信号及び色差信号のそれぞれに対して直交
変換を施し、得られた輝度信号及び色差信号のそれぞれの直交変換係数を修正部９に送出
するとともに、色差信号の直交変換係数については第１正規化処理部５に送出し、輝度信
号の直交変換係数については第２正規化処理部８に送出する。この直交変換処理は、当該
非可逆な符号化方式の符号化手順における直交変換処理とすることができる。例えば、こ
の直交変換処理は、ＭＰＥＧ−２，Ｈ．２６４等の符号化方式のＤＣＴ（離散コサイン変
換）や整数精度ＤＣＴとすることができるが、画像処理装置１内で共通に用いるものであ
ればよく、予め規定した任意の符号化方式の同一種類の直交変換処理を用いることができ
る。

輝度信号ダウンコンバート部３は、非可逆な符号化方式を経て得られる所定の画像フォ
ーマットの画像信号（前述したデコーダ出力）における輝度信号を、この輝度信号に対応
する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部４に送出す
る。例えば、入力される画像信号が４：２：２フォーマットのＹＵＶ信号である場合に、
輝度信号ダウンコンバート部３は、入力される輝度信号を、水平方向について１／２倍に
ダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出する。或
いは又、入力される画像信号が、４：２：０フォーマットのＹＵＶ信号である場合に、輝
度信号ダウンコンバート部３は、入力される輝度信号を、水平及び垂直方向について１／
２倍にダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出す
る。ダウンコンバートに用いるフィルタ処理は、入力される輝度信号を対応する色差信号
のサンプリングレートまでダウンコンバートするものであれば、既知のダウンコンバータ
フィルタを用いることができるが、位相遅れを生じさせず周波数特性だけを変更する高次
のフィルタ係数を有するフィルタが望ましい。輝度信号ダウンコンバート部３内に遅延調
整機能を設けてもよい。

第２直交変換部４は、輝度信号ダウンコンバート部３から入力されるダウンコンバート
した輝度信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施し
、得られたダウンコンバート後の輝度信号の直交変換係数を第１正規化処理部５に送出す
る。

第１正規化処理部５は、第２直交変換部４から得られる輝度信号の直交変換係数の各成
分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正
規化した２種類の輝度信号の直交変換係数を、第１直交変換部２から出力される、当該２
種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成する。より具体的に
は、第１正規化処理部５は、第１直交変換部２から出力される各色差信号の直交変換係数
のうち直流成分である（０，０）成分を除く各成分の絶対値の最大値を検出するとともに
、検出したこの最大値の成分座標を特定し、この特定した各色差信号の直交変換係数の成
分座標に対応する、第２直交変換部４から得られる輝度信号の直交変換係数の成分座標を
特定し、この特定した輝度信号の直交変換係数の値に対する前記特定した色差信号の直交
変換係数の値の比を第２直交変換部４から得られる輝度信号の直交変換係数の各成分に乗
じて正規化するか、又は第１直交変換部２から出力された各色差信号の直交変換係数の絶
対値の平均値又は二乗平均値と対応する第２直交変換部４から出力される輝度信号の直交
変換係数の絶対値の平均値又は二乗平均値の比を第２直交変換部４から出力される輝度信
号の直交変換係数に乗じて正規化し、正規化した２種類の輝度信号の直交変換係数を、第
１直交変換部２から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の
教師信号として修正部９に送出する。正規化処理の具体例は後述する。

色差信号アップコンバート部６は、非可逆な符号化方式を経て得られる所定の画像フォ
ーマットの画像信号（前述したデコーダ出力）における色差信号を、この色差信号に対応
する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部７に送出す
る。例えば、入力される画像信号が４：２：２フォーマットのＹＵＶ信号である場合に、
色差信号アップコンバート部６は、入力される色差信号を、水平方向について２倍にアッ
プコンバートし、アップコンバートした色差信号を第３直交変換部７に送出する。また、
入力される画像信号が、４：２：０フォーマットのＹＵＶ信号である場合に、色差信号ア
ップコンバート部６は、入力される色差信号を、水平及び垂直方向について２倍にアップ
コンバートし、アップコンバートした色差信号を第３直交変換部７に送出する。アップコ
ンバートに用いるフィルタ処理は、入力される色差信号を対応する輝度信号のサンプリン
グレートまでアップコンバートするものであれば、既知のアップコンバータフィルタを用
いることができるが、位相遅れを生じさせず周波数特性だけを変更する高次のフィルタ係
数を有するフィルタが望ましい。色差信号アップコンバート部６内に遅延調整機能を設け
てもよい。

第３直交変換部７は、色差信号アップコンバート部６から入力されるアップコンバート
した色差信号に対して、対応する輝度信号の画素ブロックに分割し、それぞれの画素ブロ
ックを順次第１直交変換部２で用いる直交変換処理と同様の直交変換を施し、得られたア
ップコンバート後の色差信号の直交変換係数を第２正規化処理部８に送出する。これによ
り、輝度信号と色差信号との間で同一サイズの直交変換ブロックを処理することができる
ようになる。

第２正規化処理部８は、第３直交変換部７から得られる各色差信号の直交変換係数の各
成分を、各色差信号に対応する輝度信号の直交変換係数の値を基準にして正規化し、正規
化した各色差信号の直交変換係数に基づく係数を、第１直交変換部２から出力される、当
該色差信号にそれぞれ対応する輝度信号の教師信号として生成する。より具体的には、第
２正規化処理部８は、第１直交変換部２から出力される輝度信号の直交変換係数のうち直
流成分である（０，０）成分を除く各成分の絶対値の最大値を検出するとともに、検出し
たこの最大値の成分座標を特定し、この特定した輝度信号の直交変換係数の成分座標に対
応する、第３直交変換部７から得られる各色差信号の直交変換係数の成分座標を特定し、
この特定した色差信号の直交変換係数の値に対する前記特定した輝度信号の直交変換係数
の値の比を第３直交変換部７から得られる各色差信号の直交変換係数の各成分に乗じて正
規化するか、又は第１直交変換部２から出力された輝度信号の直交変換係数の絶対値の平
均値又は二乗平均値と対応する第３直交変換部７から出力される各色差信号の直交変換係
数の絶対値の平均値又は二乗平均値の比を第３直交変換部７から出力される各色差信号の
直交変換係数に乗じて正規化し、正規化した各色差信号の直交変換係数に基づく係数を、
第１直交変換部２から出力される、当該色差信号にそれぞれ対応する輝度信号の教師信号
として修正部９に送出する。正規化処理の具体例は後述する。尚、各色差信号の直交変換
係数に基づく係数とは、各色差信号の直交変換係数のいずれか一方の大きいほうを選択す
るか、又は各色差信号の直交変換係数の絶対値の平均値又は二乗平均値とするなど、正規
化して得られる各色差信号の直交変換係数に相関するように生成される直交変換係数とす
ることができることを意味する。

修正部９は、色差信号及び輝度信号の各直交変換係数について、それぞれの前記教師信
号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換
係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて修正する修正処
理を行う。より具体的には、修正部９は、色差信号については、第１正規化処理部５によ
って生成された教師信号（輝度信号についてダウンコンバートした直交変換係数）の絶対
値と第１直交変換部２からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、
この差分の絶対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ]
[ｕ]以下である場合に、第１直交変換部２からの元の直交変換係数の値の正負符号を保持
して、この教師信号の直交変換係数に基づいてこれら色差信号の直交変換係数を修正し、
修正された色差信号の直交変換係数を逆直交変換部１０に送出するとともに、輝度信号に
ついては、第２正規化処理部８によって生成された教師信号（色差信号についてアップコ
ンバートした直交変換係数）の絶対値と第１直交変換部２からの輝度信号の直交変換係数
の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めたＹ信号用の閾値α_Ｙ[
ｖ][ｕ]以下である場合に、第１直交変換部２からの元の直交変換係数の値の正負符号を
保持して、この教師信号の直交変換係数に基づいて輝度信号の直交変換係数を修正し、修
正された輝度信号の直交変換係数を逆直交変換部１０に送出する。尚、この教師信号の直
交変換係数に基づく修正処理は、直交変換係数の直流成分である（０，０）成分に対して
は行わない。また、この教師信号の直交変換係数に基づく修正処理は、教師信号の直交変
換係数への置き換えや、教師信号の直交変換係数の重み付け平均した値への振幅調整など
を含む。

逆直交変換部１０は、修正部９から供給される修正処理後の輝度信号及び色差信号の修
正された直交変換係数に対して逆直交変換を施し、修正した画像信号（ＹＵＶ信号）を生
成する。修正した画像信号（ＹＵＶ信号）を表示装置（図示せず）に表示させることで、
非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修
正されていることが確認できる。

以下、図２〜図４を参照して、本実施例の画像処理装置１の動作を説明する。

［画像処理装置の動作］
図２に、本発明による一実施例の画像処理装置の動作を示す。以下、所定の画像フォー
マットのＹＵＶ信号（サンプリング周波数が異なる輝度信号及び色差信号のコンポーネン
ト信号）が入力される場合について説明する。

ステップＳ１にて、画像処理装置１には、非可逆な符号化方式で符号化された画像信号
を復号するデコーダ（図示せず）から出力される所定の画像フォーマットのＹＵＶ信号（
サンプリング周波数が異なる輝度信号及び色差信号のコンポーネント信号）が入力される
。

まず、輝度信号ダウンコンバート部３によって、非可逆な符号化方式を経て得られる所
定の画像フォーマットの画像信号における輝度信号を、この輝度信号に対応する色差信号
のサンプリングレートまでダウンコンバートするとともに（ステップＳ２）、色差信号ア
ップコンバート部６によって、非可逆な符号化方式を経て得られる所定の画像フォーマッ
トの画像信号における色差信号を、この色差信号に対応する輝度信号のサンプリングレー
トまでアップコンバートする（ステップＳ３）。

次に、第１直交変換部２によって、非可逆な符号化方式を経て得られる所定の画像フォ
ーマットの画像信号における元の輝度信号及び色差信号のそれぞれに対して直交変換を施
し、輝度信号及び色差信号のそれぞれの直交変換係数を生成するとともに（ステップＳ４
）、第２直交変換部４によって、輝度信号ダウンコンバート部３から入力されるダウンコ
ンバートした輝度信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変
換を施し、ダウンコンバート後の輝度信号の直交変換係数を生成し（ステップＳ５）、第
３直交変換部７によって、色差信号アップコンバート部６から入力されるアップコンバー
トした色差信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施
し、アップコンバート後の色差信号の直交変換係数を生成する（ステップＳ６）。

つまり、第２直交変換部４及び第３直交変換部７によって、例えば、４：２：２フォー
マットのＹＵＶ信号の場合には、輝度信号に対して１つの８×８画素ブロックのＤＣＴ係
数と、色差信号に対して４つの８×８画素ブロックのＤＣＴ係数の組が得られる。

次に、第１正規化処理部５によって、第２直交変換部４から得られる輝度信号の直交変
換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして
正規化処理を施し、正規化した２種類の輝度信号の直交変換係数を、第１直交変換部２か
ら出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生
成するとともに（ステップＳ７）、第２正規化処理部８によって、第３直交変換部７から
得られる各色差信号の直交変換係数の各成分を、各色差信号に対応する輝度信号の直交変
換係数の値を基準にして正規化処理を施し、正規化した各色差信号の直交変換係数に基づ
く係数を、第１直交変換部２から出力される、当該色差信号にそれぞれ対応する輝度信号
の教師信号として生成する（ステップＳ８）。

ここで、例えば色差信号に対する輝度信号からの教師信号の生成手順として、二通りを
説明する。

（第１の例）
以下の式に示すとおり、各色差信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、
直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標
が（ａ，ｂ）で与えられる場合に、Ｕ信号に対する教師信号Ｔ＿Ｕ[ｖ][ｕ]，Ｖ信号に対
する教師信号Ｔ＿Ｖ[ｖ][ｕ]は、各色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]
）に対応する成分座標の輝度信号の直交変換係数Ｙ[ｂ][ａ]を基準にした比によって、ダ
ウンコンバートした輝度信号の直交変換係数Ｙ[ｖ][ｕ]の各成分を正規化することにより
得ることができる。
Ｔ＿Ｕ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]
Ｔ＿Ｖ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｖ[ｂ][ａ]／Ｙ[ｂ][ａ]
ここで、ｕ，ｖは、８×８画素ブロックであれば０〜７。ここでの正規化係数は、Ｕ[
ｂ][ａ]／Ｙ[ｂ][ａ]又はＶ[ｂ][ａ]／Ｙ[ｂ][ａ]で与えられる。

輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]も同様のやり方で得ることができる。例えば
、以下の式に示すとおり、輝度信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直
流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が
（ａ，ｂ）で与えられる場合に、輝度信号用の教師信号Ｔ＿Ｙ[ｖ][ｕ]は、この輝度信号
の直交変換係数Ｙ[ｂ][ａ]に対応する成分座標の色差信号の直交変換係数Ｕ[ｂ][ａ]（又
はＶ[ｂ][ａ]）を基準にした比によって、アップコンバートした色差信号の直交変換係数
Ｕ[ｖ][ｕ]（又はＶ[ｖ][ｕ]）の各成分を正規化することにより得ることができる。
Ｔ＿Ｙ[ｖ][ｕ]＝Ｕ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]、又は
＝Ｖ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｖ[ｂ][ａ]
ここでの正規化係数は、Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]又はＹ[ｂ][ａ]／Ｖ[ｂ][ａ]で与えられ
る。
尚、輝度信号は、色差信号に対し複数の直交変換ブロックで構成されるので、例えば４
：２：０フォーマットの場合、アップコンバートされた色差信号を４つに分割し、輝度信
号の直交変換ブロックに対するブロックごとに正規化を行う。

尚、或る輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]としては２つ得られるため、これら
の２つの教師信号のうちの絶対値の大きいほうを教師信号とするか、又は絶対値の平均値
（又は二乗平均値）の大きいほうを教師信号とするか、又は２つの教師信号のうち相関の
高いほうを教師信号とするか、又は事前に予め定められた選択基準で選択したものと教師
信号とすることができるが、画像処理装置１の利用目的に応じて随意適したやり方で教師
信号を算出することができる。

（第２の例）
第１の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して
正規化する例について説明したが、直交変換係数の絶対値の平均値（又は二乗平均値）に
基づいて正規化する例は、以下のとおりである。

例えば、輝度信号の直交変換係数の二乗平均値によって、色差信号に対する教師信号を
生成する場合、この輝度信号の直交変換係数Ｙ[ｖ][ｕ]を、色差信号の直交変換係数をＵ
[ｖ][ｕ]，Ｖ[ｖ][ｕ]として、以下に示すＣ言語による記述例のようにして正規化係数を
求めて教師信号を生成することができる。
＜Ｃ言語による記述例＞
Tmp[Y]=0; //Ｙ信号の交流エネルギー保存用バッファ
Tmp[U]=0; //Ｕ信号の交流エネルギー保存用バッファ
Tmp[V]=0; //Ｖ信号の交流エネルギー保存用バッファ
for(v=0; v<8; v++){
for(u=0; u<8; u++){
tmp[U]+=(U[v][u]* U [v][u]);
tmp[V]+=(V[v][u]* V [v][u]);
tmp[Y]+=(Y[v][u]* Y [v][u]);
}
}
N_U=pow (tmp[U]/tmp[Y], 0.5); //Ｕ信号用の正規化係数N_U
N_V=pow (tmp[V]/tmp[Y], 0.5); //Ｖ信号用の正規化係数N_V

尚、輝度信号は、複数の直交変換ブロックで構成されるので、教師信号も対応するブロ
ック（例えば、４：２：０フォーマットの場合、アップコンバートされた色差信号で生成
される教師信号を４つに分割した４つの直交変換ブロック）で生成される。

再び図２を参照するに、修正部９によって、輝度信号については、第２正規化処理部８
によって生成された教師信号（色差信号についてアップコンバートした直交変換係数）の
絶対値と第１直交変換部２からの輝度信号の直交変換係数の絶対値の差分の絶対値を計算
し、この差分の絶対値が予め定めたＹ信号用の閾値α_Ｙ[ｖ][ｕ]以下であれば、第１直交
変換部２からの元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換係
数に基づく修正処理を行うとともに（ステップＳ９，Ｓ１０）、色差信号については、第
１正規化処理部５によって生成された教師信号（輝度信号についてダウンコンバートした
直交変換係数）の絶対値と第１直交変換部２からの色差信号の直交変換係数の絶対値の差
分の絶対値を計算し、この差分の絶対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ
信号用の閾値α_Ｖ[ｖ][ｕ]以下であれば、第１直交変換部２からの元の直交変換係数の値
の正負符号を保持して、この教師信号の直交変換係数に基づく修正処理を行う（ステップ
Ｓ１１，Ｓ１２）。ただし、この教師信号の直交変換係数に基づく修正処理は、直交変換
係数の直流成分である（０，０）成分に対しては行わない。また、この教師信号の直交変
換係数に基づく修正処理は、教師信号の直交変換係数への置き換えや、教師信号の直交変
換係数の重み付け平均した値への振幅調整などを含む。

例えば、修正部９におけるＵ信号についての修正処理のＣ言語による記述例は以下に示
すとおりである。尚、Ｙ信号及びＶ信号についても同様な記述とすることができる。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U[v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>α_U[v][u]? U[v][u]: m*tmp) // U[v][u]の
絶対値とtmpの差がα_U[v][u]より大きければU [v][u]は変更しない。U [v][u]の絶対値と
tmpの差がα_U[v][u]以下であれば正負符号を保持して修正（本例では置き換え）。
}
}
}

次に、逆直交変換部１０によって、修正部９から供給される、輝度信号及び色差信号の
修正された直交変換係数に対して逆直交変換を施し、修正した画像信号（ＹＵＶ信号）を
生成する（ステップＳ１３）。尚、このようにして修正された輝度信号は、サンプリング
レートの低い色差信号によって修正されるため、全体的にぼけた信号となることがある。
そこで、修正された輝度信号を全て書き換えるのではなく、劣化が顕著に現れやすい各画
素ブロックの最外周の画素（例えば、予め規定した画素位置の１ないし２画素）を置き換
えるようにして、デブロッキングフィルタとして動作するように構成することもできる。

図３及び図４は、この画像処理装置１における一連の処理動作を模式的に示した図であ
る。図３（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダ
ウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、図３（ｂ）は、４
：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又
はＶ信号に基づいて修正する様子を示している。図４（ａ）は、４：２：２フォーマット
における色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修
正する様子を示しており、図４（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを
、アップコンバートした色差信号のＵ信号又はＶ信号に基づいて修正する様子を示してい
る。

これにより、本実施例の画像処理装置１によれば、非可逆な符号化方式で符号化された
画像信号であっても、画像劣化の少ない画像として修正することができ、符号化に起因し
て生じていた画像劣化をより低減させることができるようになる。

尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直
交変換としてＤＣＴが用いられているが、本実施例の画像処理装置によれば、一般的に用
いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するもの
であるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によ
って劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする
場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減
の効果を発揮することになる。

以下、本実施例の画像処理装置１を、動画像用の復号装置に適用した場合について説明
する。

本実施例の画像処理装置１を、動画像用の復号装置３１ａに適用した場合における例を
図５に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明す
る。

本実施例に係る復号装置３１ａは、可変長復号部３２と、逆量子化部３３と、逆直交変
換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部
３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３
９とを備える。尚、本実施例に係る復号装置３１ａは、既知の復号装置（例えば、ＭＰＥ
Ｇ−２，Ｈ．２６４用の復号装置）に対して、本実施例の画像処理装置１が追加されたも
のである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施
し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３
７に送出する。また、可変長復号部３２は、この量子化情報を画像処理装置１内の修正部
９に送出する。

逆量子化部３３は、可変長復号部３２から供給される量子化信号に対して逆量子化処理
を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４に送出する。

逆直交変換部３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して
、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５に送出す
る。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２
から得られる動きベクトルとを用いて予測画像を生成し、切替スイッチ３９を介して加算
部３５に出力する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、動き補償予測部３７か
ら供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係
る復号装置３１ａにおける画像処理装置１に送出する。

復号装置３１ａにおける画像処理装置１は、加算部３５から得られる画像信号を上述し
たように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ３６に格納す
るとともに、並べ替え部３８に送出する。

並べ替え部３８は、画像処理装置１から得られる修正後の画像信号を表示信号として並
べ替えを行う。

ここで、図５における画像処理装置１の構成例を図６に示す。図６に示す画像処理装置
１の構成は、図１に示す画像処理装置１と同様であり、更なる詳細な説明は省略するが、
修正部９が、修正処理に用いるＹ信号用の閾値α_Ｙ[ｖ][ｕ]（又はＵ信号用の閾値α_Ｕ[
ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ][ｕ]）として、量子化部１５から得られる量子化範
囲内の値である、量子化値ｑ[ｖ][ｕ]の半値（＝ｑ[ｖ][ｕ]／２）を用いた例であるが、
量子化値ｑ[ｖ][ｕ]の値以下の任意の値を設定することができる。

即ち、復号装置３１ａに適用した画像処理装置１における修正部９では、例えば色差信
号の場合、生成された教師信号と色差信号の元の直交変換係数の絶対値とを比較し、符号
化方式に依存する量子化範囲内に差分量が収まる場合は、色差信号の元の直交変換係数の
値の正負符号を保持して、この教師信号の直交変換係数に基づいて元の直交変換係数を修
正する。輝度信号の場合も同様に、修正部９は、生成された教師信号と輝度信号の元の直
交変換係数の絶対値とを比較し、符号化方式に依存する量子化範囲内に教師信号が収まる
場合は、輝度信号の元の直交変換係数の値の正負符号を保持して、この教師信号の直交変
換係数に基づいて元の直交変換係数を修正する。

本例における修正部９におけるＵ信号についての修正処理を、Ｃ言語による記述例とし
て以下のように示すことができる。尚、Ｙ信号及びＶ信号についても同様である。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U [v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_ U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>q[v][u]/2? U[v][u]: m*tmp) // U[v][u]の
絶対値とtmpの差がq[v][u]/2より大きければU[v][u]は変更しない。U[v][u]の絶対値とtm
pの差がq[v][u]/2以下であれば正負符号を保持して修正（例えば、置き換え）。
}
}
}

このように、本実施例の画像処理装置１を復号装置に適用すれば、既存の符号化装置に
よって符号化された、例えばサンプリング周波数の異なる色空間の信号成分からなる画像
信号を復号した場合であっても、その画像信号の劣化を低減するように修正することがで
きる。

次に、図７を参照して、実施例１の画像処理装置１を動画像用の符号化装置に適用した
場合について、実施例２として説明する。尚、以下の説明において同様な構成要素には同
一の参照番号を付して説明する。

［符号化装置］
実施例２の符号化装置１１は、図１に示す画像処理装置１と、並べ替え部１２と、減算
部１３と、直交変換部１４と、量子化部１５と、可変長符号化部１６と、逆量子化部１７
と、逆直交変換部１８と、切替スイッチ１９と、フレーム内予測部２０と、フレームメモ
リ２１と、動き補償予測部２２と、加算部２３とを備える。尚、本実施例に係る符号化装
置１１は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対
して、図１に示す画像処理装置１が追加されたものである。フレーム内予測部２０は、い
わゆるイントラ予測を行う機能を有するが本願の主題ではないので、その説明は割愛する
。以下、動き補償予測を行う例について説明する。

並べ替え部１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメー
ジセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する
入力画像信号を減算部１３及び動き補償予測部２２に送出する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレー
ムメモリ２１から画像処理装置１を経て取得する参照画像を用いて動きベクトル検出を行
い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を画像処
理装置１に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２を経て得ら
れる画像処理装置１からの予測画像との差分信号を生成して直交変換部１４に送出する。

直交変換部１４は、減算部１３から供給される差分信号に対して小領域の画素ブロック
ごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５に送出する。

量子化部１５は、直交変換部１４から供給される小領域の画素ブロックに対応する量子
化テーブルを選択して量子化処理を行い、可変長符号化部１６及び逆量子化部１７に送出
する。

可変長符号化部１６は、量子化部１５から供給される量子化信号についてスキャニング
を行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部
２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７は、量子化部１５から供給される量子化信号について逆量子化処理を行
って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換
（例えば、ＩＤＣＴ）を施し、加算部２３に出力する。

加算部２３では、逆直交変換部１８から得られる逆直交変換した信号と、動き補償予測
部２２を経て画像処理装置１から得られる予測画像とを加算処理して復号画像を生成し、
フレームメモリ２１に格納する。

尚、切替スイッチ１９は、画面内予測と画面間予測の切り替えに用いられる。

続いて、図８を参照して、図１に示す画像処理装置１を、動画像用の復号装置に適用し
た場合について説明する。

［復号装置］
実施例２に係る復号装置３１ｂは、可変長復号部３２と、逆量子化部３３と、逆直交変
換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部
３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３
９とを備える。尚、本実施例に係る復号装置３１ｂは、既知の復号装置（例えば、ＭＰＥ
Ｇ−２，Ｈ．２６４用の復号装置）に対して、そのフィードバックループ内に本実施例の
画像処理装置１が追加されたものである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施
し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３
７に送出する。また、可変長復号部３２は、量子化情報を画像処理装置１内の修正部９に
送出する。

逆量子化部３３は、可変長復号部３２から供給される量子化信号に対して逆量子化処理
を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４に送出する。

逆直交変換部３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して
、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５に送出す
る。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２
から得られる動きベクトルとを用いて予測画像を生成し、画像処理装置１に出力する。

復号装置３１ｂにおける画像処理装置１は、動き補償予測部３７から得られる予測画像
の信号から、上述したように符号化劣化を抑制した修正後の画像信号を生成し、切替スイ
ッチ３９を介して加算部３５に送出する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、画像処理装置１から供
給される予測画像の信号とを加算して画像信号を復元し、復元した画像信号を並べ替え部
３８に送出する。

並べ替え部３８は、加算部３５から得られる画像信号を表示信号として並べ替えを行う
。

このように、実施例２の符号化装置１１や復号装置３１ｂに示すように、図１に示す画
像処理装置１をＭＰＥＧ符号化方式に適用することができる。尚、実施例２の符号化装置
１１や復号装置３１ｂにおいても、例えばサンプリング周波数の異なる色空間の信号成分
からなる画像信号を復号した場合であっても、その画像信号の劣化を低減するように修正
することができる。

以上のように、本発明に係る画像処理装置１は、動画像のコンポーネント信号を修正す
る装置として、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に
おける第１のコンポーネント信号（例えば、Ｙ信号）について修正するために、第２のコ
ンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ
信号）を正規化して第１のコンポーネント信号（例えば、Ｙ信号）の教師信号を生成する
教師信号生成機能と、第１のコンポーネント信号（例えば、Ｙ信号）とこの生成した教師
信号とを比較して得られる差分値が予め定めた閾値以下である場合に、当該教師信号に基
づいて第１のコンポーネント信号（例えば、Ｙ信号）を修正する修正処理機能とを有する
。

更に、本発明に係る画像処理装置１は、動画像のコンポーネント信号を修正する装置と
して、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第
２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例え
ば、Ｖ信号）について修正するために、第１のコンポーネント信号（例えば、Ｙ信号）を
正規化して第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３のコンポーネン
ト信号（例えば、Ｖ信号）の教師信号を生成する教師信号生成機能と、第２のコンポーネ
ント信号（例えば、Ｕ信号）及び／又は第３のコンポーネント信号（例えば、Ｖ信号）と
この生成した教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、
当該教師信号に基づいて第２のコンポーネント信号（例えば、Ｕ信号）及び／又は第３の
コンポーネント信号（例えば、Ｖ信号）を修正する修正処理機能とを有する。

更に、本発明の一態様として、各実施例の画像処理装置１をコンピュータとして構成さ
せることができる。コンピュータに、前述した画像処理装置１の各構成要素を実現させる
ためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そ
のような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭ
などの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央
演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要
素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込
んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要
素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可
搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプロ
グラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを
介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させる
ことができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記
録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶
することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型
記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することと
してもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、
受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲か
ら逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかであ
る。特に、正規化部における正規化処理は、教師信号による修正処理における信号間の相
関をとるためのレベル調整を行うものであればよい。

例えば、仮に画像処理装置に入力される信号のサンプリングレートが同一であれば、輝
度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる
。

また、本発明の画像処理装置は、図９に示すように、直交変換処理を用いることなく構
成することも可能である。更に、本発明の画像処理装置は、第１〜第３のコンポーネント
信号は、それぞれＹＵＶ信号に限定するものではなく、直交変換係数を入力して、直交変
換処理を省略した構成とすることもできる。また、コンポーネント信号は、ＲＧＢ，ＹＣ
ｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。従って、画像処
理装置に入力される動画像のコンポーネント信号は、所定の色空間の各コンポーネント信
号、該コンポーネント信号の直交変換係数、及びこれらの信号を併合した組合せを含む。

更に、修正部９を、画像信号における各コンポーネント信号、及び／又は、これらの直
交変換係数の信号を比較して修正する修正手段として構成すればよく、各コンポーネント
信号が入力されてサンプリングレートを変換した信号について修正処理を行うことや、各
コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数につ
いて修正処理を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサ
ンプリングレートを変換した信号について量子化した後に修正処理を行うことや、これら
の併用の構成とするなどの様々な変形例が可能である。

本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信
号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので
、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用であ
る。

１ 画像処理装置
２ 第１直交変換部
３ 輝度信号ダウンコンバート部
４ 第２直交変換部
５ 第１正規化処理部
６ 色差信号アップコンバート部
７ 第３直交変換部
８ 第２正規化処理部
９ 修正部
１０ 逆直交変換部
１１ 符号化装置
１２ 並べ替え部
１３ 減算部
１４ 直交変換部
１５ 量子化部
１６ 可変長符号化部
１７ 逆量子化部
１８ 逆直交変換部
１９ 切替スイッチ
２０ フレーム内予測部
２１ フレームメモリ
２２ 動き補償予測部
２３ 加算部
３１ａ，３１ｂ 復号装置
３２ 可変長復号部
３３ 逆量子化部
３４ 逆直交変換部
３５ 加算部
３６ フレームメモリ
３７ 動き補償予測部
３８ 並べ替え部
３９ 切替スイッチ
１１１ 符号化装置
１３１ 輝度信号ダウンコンバート部
１６１ 色差信号アップコンバート部

Claims (4)

1. 第１コンポーネント信号のサンプリング周波数と、第２コンポーネント信号のサンプリング周波数とが同一である画像信号を処理する画像処理装置であって、
   前記第２コンポーネント信号から、前記第１コンポーネント信号の教師信号を取得する取得手段と、
   前記第１コンポーネント信号と前記第２コンポーネント信号との差分を用いて前記第２コンポーネント信号を符号化して符号化第２コンポーネント信号を生成する、
   或いは、前記教師信号を用いて、符号化第２コンポーネント信号を復号化して前記第１コンポーネント信号を生成する生成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置を備えることを特徴とする、符号化装置。
3. 請求項１に記載の画像処理装置を備えることを特徴とする、復号装置。
4. 第１コンポーネント信号のサンプリング周波数と、第２コンポーネント信号のサンプリング周波数とが同一である画像信号を処理する画像処理装置として構成するコンピュータに、
   前記第２コンポーネント信号から、前記第１コンポーネント信号の教師信号を取得するステップと、
   前記第１コンポーネント信号と前記第２コンポーネント信号との差分を用いて前記第２コンポーネント信号を符号化して符号化第２コンポーネント信号を生成する、
   或いは、前記教師信号を用いて、符号化第２コンポーネント信号を復号化して前記第１コンポーネント信号を生成するステップと、を実行させるためのプログラム。

Images