JP2013118675A

JP2013118675A - 画像処理装置、符号化装置、復号装置及びプログラム

Info

Publication number: JP2013118675A
Application number: JP2013012471A
Authority: JP
Inventors: Atsuro Ichigaya; 敦郎市ヶ谷
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-01-25
Filing date: 2013-01-25
Publication date: 2013-06-13

Abstract

【課題】動画像のコンポーネント信号を修正する画像処理装置、符号化装置、復号装置及びプログラムを提供する。
【解決手段】画像処理装置１は、動画像のコンポーネント信号を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における第２のコンポーネント信号及び第３のコンポーネント信号について修正するために、第１のコンポーネント信号を正規化して第２のコンポーネント信号及び第３のコンポーネント信号の教師信号を生成する教師信号生成手段３−５と、前記第２のコンポーネント信号及び第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、前記教師信号に基づいて該第２のコンポーネント信号及び第３のコンポーネント信号を修正する修正手段９とを備える。
【選択図】図１

Description

本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号
化劣化を生じた画像信号を修正する画像処理装置、符号化装置、復号装置及びプログラム
に関する。

画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単
板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば
、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧ
Ｂ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目
的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補
間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、
非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用
して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高
精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補
間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定
されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等
）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適して
いるが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処
理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色
差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、
輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない
。

また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、
Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィ
ルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するも
のであり、元の画像信号に対する符号化後の劣化を低減させることはできない。

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化として
ブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごと
の劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨
害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネ
ント信号間の相関を利用することで更にブロック歪みを改善する余地がある。

非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）にて、画像を小領域単位
で符号化する場合、例えばＭＰＥＧ−２では、４：２：０フォーマットであれば、輝度信
号の画素ブロック１６×１６画素に対応する色差信号は８×８画素であり、信号間でサン
プリング周波数が異なる。例えば、ＭＰＥＧ−２に代表される画像符号化処理では、この
ようにサンプリング周波数が異なる信号を共通のサイズ８×８画素ブロックで処理を行う
。つまり、輝度信号を４つの８×８画素ブロックに分割し、色差信号も８×８画素ブロッ
クで符号化を行うため、符号化処理を施す８×８画素ブロックの占める範囲が輝度信号と
色差信号で異なることになる。

本発明の目的は、上述のような問題に鑑みて、例えばサンプリング周波数の異なる色空
間の信号成分であっても、画像信号を修正することが可能な画像処理装置、符号化装置、
復号装置及びプログラムを提供することにある。

本発明の第１態様の画像処理装置は、動画像のコンポーネント信号（例えば、ＹＵＶ信
号）を修正する画像処理装置であって、非可逆な符号化方式を経て得られる所定の画像フ
ォーマットの画像信号における第２のコンポーネント信号（例えば、Ｕ信号）及び第３の
コンポーネント信号（例えば、Ｖ信号）について修正するために、第１のコンポーネント
信号（例えば、Ｙ信号）を正規化して第２のコンポーネント信号及び第３のコンポーネン
ト信号の教師信号を生成する教師信号生成手段と、前記第２のコンポーネント信号及び第
３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め定めた閾値以
下である場合に、前記教師信号に基づいて該第２のコンポーネント信号及び第３のコンポ
ーネント信号を修正する（例えば、教師信号による置き換えを行う）修正手段と、を備え
ることを特徴とする。尚、コンポーネント信号は、ＲＧＢ，ＹＣｂＣｒ，ＬＵＶ，Ｌａｂ
，ＸＹＺなどの如何なる色空間のものでもよい。

また、本発明の第１態様の画像処理装置において、前記動画像のコンポーネント信号が
、異なるサンプリングレートのコンポーネント信号を含む場合に、前記教師信号生成手段
は、画像信号における輝度信号（例えば、Ｙ信号）のコンポーネント信号を、該輝度信号
に対応する色差信号（例えば、Ｕ信号，Ｖ信号）のサンプリングレートまでダウンコンバ
ートして色差信号の教師信号を生成する輝度信号ダウンコンバート手段を有することを特
徴とする。

また、本発明の第１態様の画像処理装置において、前記動画像のコンポーネント信号は
、所定の色空間の各コンポーネント信号、該コンポーネント信号の直交変換係数、及びこ
れらの信号を併合した組合せを含むことを特徴とする。

また、本発明の第２態様の画像処理装置は、サンプリング周波数の異なる色空間の信号
成分からなる画像信号について、サンプリングレートの高いコンポーネント信号に基づい
てサンプリングレートの低いコンポーネント信号を修正する画像処理装置であって、非可
逆な符号化方式を経て得られる所定の画像フォーマットの画像信号の直交変換係数につい
て、前記画像信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレ
ートまでダウンコンバートする輝度信号ダウンコンバート部と、前記輝度信号ダウンコン
バート部から得られる輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色
差信号の直交変換係数の値を基準にして正規化し、色差信号の教師信号として生成する正
規化処理部と、前記画像信号における色差信号の直交変換係数について、前記教師信号と
比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の直交変換係数
の値の正負符号を保持して、この教師信号の直交変換係数に基づいて色差信号の直交変換
係数を修正する（例えば、教師信号による置き換えを行う）修正部と、色差信号の修正さ
れた直交変換係数に対して逆直交変換を施し、修正した画像信号を生成する逆直交変換部
と、を備えることを特徴とする。

また、本発明の第３態様の画像処理装置は、サンプリング周波数の異なる色空間の信号
成分からなる画像信号について、サンプリングレートの高いコンポーネント信号に基づい
てサンプリングレートの低いコンポーネント信号を修正する画像処理装置であって、非可
逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における色差信号に対
して直交変換を施し、色差信号の直交変換係数を生成する第１直交変換部と、前記画像信
号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウン
コンバートする輝度信号ダウンコンバート部と、前記輝度信号ダウンコンバート部によっ
て生成したダウンコンバート後の輝度信号に対して直交変換を施し、ダウンコンバート後
の輝度信号の直交変換係数を生成する第２直交変換部と、前記第２直交変換部から得られ
る輝度信号の直交変換係数の各成分を、この輝度信号に対応する各色差信号の直交変換係
数の値を基準にして正規化し、正規化した２種類の輝度信号の直交変換係数を、前記第１
直交変換部から出力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師
信号として生成する正規化処理部と、前記第１直交変換部から得られる各色差信号の直交
変換係数について、前記教師信号と比較し、比較して得られる差分値が予め定めた閾値以
下である場合に、元の直交変換係数の値の正負符号を保持して、この教師信号の直交変換
係数に基づいて色差信号の直交変換係数を修正する（例えば、教師信号による置き換えを
行う）修正部と、色差信号の修正された直交変換係数に対して逆直交変換を施し、修正し
た画像信号を生成する逆直交変換部と、を備えることを特徴とする。

また、本発明の第３態様の画像処理装置において、前記第１直交変換部及び前記第２直
交変換部は、同一種類の直交変換処理からなることを特徴とする。

また、本発明の第３態様の画像処理装置において、前記修正部は、色差信号については
、前記正規化処理部によって生成された教師信号の絶対値と前記第１直交変換部からの色
差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶対値が予め定めた
閾値以下である場合に、前記第１直交変換部からの元の直交変換係数の値の正負符号を保
持して、この教師信号の直交変換係数に基づいて色差信号の直交変換係数を修正し（例え
ば、教師信号による置き換え）、修正された色差信号の直交変換係数を生成することを特
徴とする。

また、本発明の第３態様の画像処理装置において、前記正規化処理部は、前記第１直交
変換部から出力される各色差信号の直交変換係数の直交変換係数のうち直流成分を除く各
成分の絶対値の最大値を検出するとともに、検出したこの最大値の成分座標を特定し、こ
の特定した各色差信号の直交変換係数の成分座標に対応する、前記第２直交変換部から得
られる輝度信号の直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係
数の値に対する前記特定した色差信号の直交変換係数の値の比を前記第２直交変換部から
得られる輝度信号の直交変換係数の各成分に乗じて正規化するか、又は前記第１直交変換
部から出力された各色差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する
前記第２直交変換部から出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平
均値の比を前記第２直交変換部から出力される輝度信号の直交変換係数に乗じて正規化す
ることを特徴とする。

また、本発明の符号化装置は、本発明の第１態様〜第３態様のいずれかの画像処理装置
を備えることを特徴とする。

また、本発明の復号装置は、本発明の第１態様〜第３態様のいずれかの画像処理装置を
備えることを特徴とする。

また、本発明は、動画像のコンポーネント信号（例えば、ＹＵＶ信号）を修正する画像
処理装置として構成するコンピュータに、非可逆な符号化方式を経て得られる所定の画像
フォーマットの画像信号における第２のコンポーネント信号（例えば、Ｕ信号）及び／又
は第３のコンポーネント信号（例えば、Ｖ信号）について修正するために、第１のコンポ
ーネント信号（例えば、Ｙ信号）を正規化して第２のコンポーネント信号及び／又は第３
のコンポーネント信号の教師信号を生成するステップと、前記第２のコンポーネント信号
及び／又は第３のコンポーネント信号と前記教師信号とを比較して得られる差分値が予め
定めた閾値以下である場合に、この教師信号に基づいて該第２のコンポーネント信号及び
／又は第３のコンポーネント信号を修正するステップと、を実行させるためのプログラム
としても特徴付けられる。

また、本発明は、サンプリング周波数の異なる色空間の信号成分からなる画像信号につ
いて、サンプリングレートの高いコンポーネント信号に基づいてサンプリングレートの低
いコンポーネント信号を修正する画像処理装置として構成するコンピュータに、（ａ）非
可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における色差信号に
対して直交変換を施し、色差信号の直交変換係数を生成するステップと、（ｂ）前記画像
信号における輝度信号を、該輝度信号に対応する色差信号のサンプリングレートまでダウ
ンコンバートするステップと、（ｃ）前記ステップ（ｂ）によって生成したダウンコンバ
ート後の輝度信号に対して直交変換を施し、ダウンコンバート後の輝度信号の直交変換係
数を生成するステップと、（ｄ）前記ステップ（ｃ）を経て得られる輝度信号の直交変換
係数の各成分を、該輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規
化し、正規化した２種類の輝度信号の直交変換係数を、前記第１直交変換部から出力され
る、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成するステ
ップと、（ｅ）前記第１直交変換部から得られる各色差信号の直交変換係数について、前
記教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の
直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて修正す
るステップと、（ｆ）前記ステップ（ｅ）を経て得られる、色差信号の修正された直交変
換係数に対して逆直交変換を施し、修正した画像信号を生成するステップと、を実行させ
るためのプログラムとしても特徴付けられる。

本発明によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の
少ない画像として修正することができ、この修正した画像を例えば表示装置に表示すると
、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる
。

本発明による実施例１の画像処理装置のブロック図である。本発明による実施例１の画像処理装置の動作を示す図である。本発明による実施例１の画像処理装置における動作として、（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示しており、（ｂ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙに基づいて修正する様子を示す図である。本発明による実施例１の画像処理装置を、動画像用の復号装置（例としてＨ．２６４復号装置）に適用した場合における例を示す図である。本発明による実施例１の画像処理装置の詳細なブロック図である。本発明に係る実施例２における動画像用の符号化装置（例としてＨ．２６４復号装置）を示す図である。本発明に係る実施例２における動画像用の復号装置（例としてＨ．２６４復号装置）を示す図である。本発明による実施例１の画像処理装置の変形例を示すブロック図である。従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を示す図である。（ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。

以下、本発明による実施例１の画像処理装置について説明する。

実施例１の画像処理装置１は、従来からの動画像用の符号化装置によって符号化された
画像信号を復号した後、復号した画像信号を修正する装置である。まず、本発明の理解の
ために、従来からの動画像用の符号化装置（例としてＨ．２６４符号化装置）の構成例を
図９に示す。

［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって
画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用
いるため符号化装置内に復号装置を内包している。

従来からの符号化装置１１１は、並べ替え部１２と、減算部１３と、直交変換部１４と
、量子化部１５と、可変長符号化部１６と、逆量子化部１７と、逆直交変換部１８と、切
替スイッチ１９と、フレーム内予測部２０と、フレームメモリ２１と、動き補償予測部２
２と、加算部２３とを備える。尚、フレーム内予測部２０は、いわゆるイントラ予測を行
う機能を有するが本願の主題ではないので、その説明は割愛する。以下、動き補償予測を
行う例について説明する。

並べ替え部１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメー
ジセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する
入力画像信号を減算部１３及び動き補償予測部２２に送出する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレー
ムメモリ２１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベク
トルを用いて動き補償を行い、その結果得られた予測画像を切替スイッチ１９を介して減
算部１３及び加算部２３に出力する。動きベクトルの情報は、可変長符号化部１６に送出
される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２からの予測
画像との差分信号を生成して直交変換部１４に送出する。

直交変換部１４は、減算部１３から供給される差分信号に対して小領域の画素ブロック
ごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５に送出する。

量子化部１５は、直交変換部１４から供給される小領域の画素ブロックに対応する量子
化テーブルを選択して量子化処理を行い、可変長符号化部１６及び逆量子化部１７に送出
する。

可変長符号化部１６は、量子化部１５から供給される量子化信号についてスキャニング
を行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部
２２から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７は、量子化部１５から供給される量子化信号について逆量子化処理を行
って逆直交変換部１８に出力する。

逆直交変換部１８は、逆量子化部１７から供給される直交変換係数に対して逆直交変換
（例えば、ＩＤＣＴ）を施し、加算部２３に出力する。

加算部２３では、逆直交変換部１８から得られる逆直交変換した信号と、動き補償予測
部２２を経て画像処理装置１から得られる予測画像とを加算処理して復号画像を生成し、
フレームメモリ２１に格納する。

尚、切替スイッチ１９は、画面内予測と画面間予測の切り替えに用いられる。

次に、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、
画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素
サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォ
ーマットとして、図１０（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について
、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及
びＶ信号のそれぞれの画素数が１／２）や、図１０（ｂ）に示すように、フレーム画像Ｆ
における画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号
の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。

このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差
信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符
号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なるこ
とになる。

輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサ
ンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１
６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ
信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合
、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に
、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号の
サンプリング周波数は半分になる。

本発明による一実施例の画像処理装置は、このサンプリング周波数の違いを利用して、
輝度信号及び色差信号の符号化劣化の性質の違いによって生じる信号劣化を低減する装置
である。

図１に、本発明による一実施例の画像処理装置のブロック図を示す。画像処理装置１は
、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）か
ら出力される所定の画像フォーマットのＹＵＶ信号（サンプリング周波数が異なる輝度信
号及び色差信号からなる）を入力し、このサンプリング周波数の違いを利用して、色差信
号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たな色差信号を生成
する。

前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（８×８
画素）と１つの色差信号の画素ブロック（８×８画素）は、輝度信号と色差信号のサンプ
リング数の違いから表現される画像範囲は異なる。量子化による劣化は、８×８画素の画
素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画
素ブロックの境界において視覚的に顕著な劣化が生じうる。

しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（
又は水平及び垂直）に２倍の面積であることを考慮すれば、輝度信号のサンプリング数は
色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサ
ンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信
号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って
、輝度信号及び色差信号のサンプリングレートを同一にして色差信号を修正するのが好適
となる。

以下、図１を参照して、本実施例の画像処理装置１について詳細に説明する。

［画像処理装置の構成］
画像処理装置１は、第１直交変換部２と、輝度信号ダウンコンバート部３と、第２直交
変換部４と、正規化処理部５と、修正部９と、逆直交変換部１０とを備える。

第１直交変換部２は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画
像信号（前述したデコーダ出力）における色差信号に対して直交変換を施し、得られた色
差信号の直交変換係数を修正部９に送出する。この直交変換処理は、当該非可逆な符号化
方式の符号化手順における直交変換処理とすることができる。例えば、この直交変換処理
は、ＭＰＥＧ−２，Ｈ．２６４等の符号化方式のＤＣＴ（離散コサイン変換）や整数精度
ＤＣＴとすることができるが、画像処理装置１内で共通に用いるものであればよく、予め
規定した任意の符号化方式の同一種類の直交変換処理を用いることができる。

輝度信号ダウンコンバート部３は、非可逆な符号化方式を経て得られる所定の画像フォ
ーマットの画像信号（前述したデコーダ出力）における輝度信号を、この輝度信号に対応
する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部４に送出す
る。例えば、入力される画像信号が４：２：２フォーマットのＹＵＶ信号である場合に、
輝度信号ダウンコンバート部３は、入力される輝度信号を、水平方向について１／２倍に
ダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出する。或
いは又、入力される画像信号が、４：２：０フォーマットのＹＵＶ信号である場合に、輝
度信号ダウンコンバート部３は、入力される輝度信号を、水平及び垂直方向について１／
２倍にダウンコンバートし、ダウンコンバートした輝度信号を第２直交変換部４に送出す
る。ダウンコンバートに用いるフィルタ処理は、入力される輝度信号を対応する色差信号
のサンプリングレートまでダウンコンバートするものであれば、既知のダウンコンバータ
フィルタを用いることができるが、位相遅れを生じさせず周波数特性だけを変更する高次
のフィルタ係数を有するフィルタが望ましい。輝度信号ダウンコンバート部３内に遅延調
整機能を設けてもよい。

第２直交変換部４は、輝度信号ダウンコンバート部３から入力されるダウンコンバート
した輝度信号に対して、第１直交変換部２で用いる直交変換処理と同様の直交変換を施し
、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部５に送出する。

正規化処理部５は、第２直交変換部４から得られる輝度信号の直交変換係数の各成分を
、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規化し、正規化
した２種類の輝度信号の直交変換係数を、第１直交変換部２から出力される、当該２種類
の輝度信号にそれぞれ対応する各色差信号の教師信号として生成する。

より具体的には、正規化処理部５は、第１直交変換部２から出力される各色差信号の直
交変換係数の直交変換係数のうち直流成分である（０，０）成分を除く各成分の絶対値の
最大値を検出するとともに、検出したこの最大値の成分座標を特定し、この特定した各色
差信号の直交変換係数の成分座標に対応する、第２直交変換部４から得られる輝度信号の
直交変換係数の成分座標を特定し、この特定した輝度信号の直交変換係数の値に対する前
記特定した色差信号の直交変換係数の値の比を第２直交変換部４から得られる輝度信号の
直交変換係数の各成分に乗じて正規化するか、又は第１直交変換部２から出力された各色
差信号の直交変換係数の絶対値の平均値又は二乗平均値と対応する第２直交変換部４から
出力される輝度信号の直交変換係数の絶対値の平均値又は二乗平均値の比を第２直交変換
部４から出力される輝度信号の直交変換係数に乗じて正規化し、正規化した２種類の輝度
信号の直交変換係数を、第１直交変換部２から出力される、当該２種類の輝度信号にそれ
ぞれ対応する各色差信号の教師信号として修正部９に送出する。正規化処理の具体例は後
述する。

修正部９は、第１直交変換部２から出力される各色差信号の直交変換係数について、当
該教師信号と比較し、比較して得られる差分値が予め定めた閾値以下である場合に、元の
直交変換係数の値の正負符号を保持して、この教師信号の直交変換係数に基づいて修正す
る修正処理を行う。

より具体的には、修正部９は、色差信号については、正規化処理部５によって生成され
た教師信号（輝度信号についてダウンコンバートした直交変換係数）の絶対値と第１直交
変換部２からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、この差分の絶
対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ][ｕ]以下であ
る場合に、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して、この教
師信号の直交変換係数に基づいてこれら色差信号の直交変換係数を修正し、この修正され
た色差信号の直交変換係数を逆直交変換部１０に送出する。尚、この教師信号の直交変換
係数に基づく修正処理は、直交変換係数の直流成分である（０，０）成分に対しては行わ
ない。また、この教師信号の直交変換係数に基づく修正処理は、教師信号の直交変換係数
への置き換えや、教師信号の直交変換係数の重み付け平均した値への振幅調整などを含む
。

逆直交変換部１０は、修正部９から供給される修正処理後の色差信号の修正された直交
変換係数に対して逆直交変換を施し、修正した色差信号を生成する。修正した色差信号と
元の輝度信号からなる画像信号（ＹＵＶ信号）を表示装置（図示せず）に表示させること
で、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像とし
て修正されていることが確認できる。

以下、図２及び図３を参照して、本実施例の画像処理装置１の動作を説明する。

［画像処理装置の動作］
図２に、本発明による一実施例の画像処理装置の動作を示す。

ステップＳ１にて、画像処理装置１には、非可逆な符号化方式で符号化された画像信号
を復号するデコーダ（図示せず）から出力される所定の画像フォーマットのＹＵＶ信号（
サンプリング周波数が異なる輝度信号及び色差信号のコンポーネント信号）が入力される
。

まず、輝度信号ダウンコンバート部３によって、非可逆な符号化方式を経て得られる所
定の画像フォーマットの画像信号における輝度信号を、この輝度信号に対応する色差信号
のサンプリングレートまでダウンコンバートする（ステップＳ２）。

次に、第１直交変換部２によって、非可逆な符号化方式を経て得られる所定の画像フォ
ーマットの画像信号における元の色差信号に対して直交変換を施し、色差信号の直交変換
係数を生成するとともに（ステップＳ３）、第２直交変換部４によって、輝度信号ダウン
コンバート部３から入力されるダウンコンバートした輝度信号に対して、第１直交変換部
２で用いる直交変換処理と同様の直交変換を施し、ダウンコンバート後の輝度信号の直交
変換係数を生成する（ステップＳ４）。

つまり、第２直交変換部４によって、例えば、４：２：２フォーマットのＹＵＶ信号の
場合には、１６×１６画素の輝度信号を入力とすると、８×１６（２つの８×８画素ブロ
ック）のＤＣＴ係数が得られる。

次に、正規化処理部５によって、第２直交変換部４から得られる輝度信号の直交変換係
数の各成分を、この輝度信号に対応する各色差信号の直交変換係数の値を基準にして正規
化処理を施し、正規化した２種類の輝度信号の直交変換係数を、第１直交変換部２から出
力される、当該２種類の輝度信号にそれぞれ対応する各色差信号の教師信号として生成す
る（ステップＳ５）。

ここで、例えば色差信号に対する輝度信号からの教師信号の生成手順として、二通りを
説明する。

（第１の例）
以下の式に示すとおり、各色差信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、
直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標
が（ａ，ｂ）で与えられる場合に、Ｕ信号に対する教師信号Ｔ＿Ｕ[ｖ][ｕ]，Ｖ信号に対
する教師信号Ｔ＿Ｖ[ｖ][ｕ]は、各色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]
）に対応する成分座標の輝度信号の直交変換係数Ｙ[ｂ][ａ]を基準にした比によって、ダ
ウンコンバートした輝度信号の直交変換係数Ｙ[ｖ][ｕ]の各成分を正規化することにより
得ることができる。
Ｔ＿Ｕ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]
Ｔ＿Ｖ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｖ[ｂ][ａ]／Ｙ[ｂ][ａ]
ここで、ｕ，ｖは、８×８画素ブロックであれば０〜７。ここでの正規化係数は、Ｕ[
ｂ][ａ]／Ｙ[ｂ][ａ]又はＶ[ｂ][ａ]／Ｙ[ｂ][ａ]で与えられる。

（第２の例）
第１の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して
正規化する例について説明したが、直交変換係数の絶対値の平均値（又は二乗平均値）に
基づいて正規化する例は、以下のとおりである。

例えば、輝度信号の直交変換係数の二乗平均値によって、色差信号に対する教師信号を
生成する場合、この輝度信号の直交変換係数Ｙ[ｖ][ｕ]を、色差信号の直交変換係数をＵ
[ｖ][ｕ]，Ｖ[ｖ][ｕ]として、以下に示すＣ言語による記述例のようにして正規化係数を
求めて教師信号を生成することができる。

＜Ｃ言語による記述例＞
Tmp[Y]=0; //Ｙ信号の交流エネルギー保存用バッファ
Tmp[U]=0; //Ｕ信号の交流エネルギー保存用バッファ
Tmp[V]=0; //Ｖ信号の交流エネルギー保存用バッファ
for(v=0; v<8; v++){
for(u=0; u<8; u++){
tmp[U]+=(U[v][u]* U [v][u]);
tmp[V]+=(V[v][u]* V [v][u]);
tmp[Y]+=(Y[v][u]* Y [v][u]);
}
}
N_U=pow (tmp[U]/tmp[Y], 0.5); //Ｕ信号用の正規化係数N_U
N_V=pow (tmp[V]/tmp[Y], 0.5); //Ｖ信号用の正規化係数N_V

再び図２を参照するに、修正部９によって、色差信号については、正規化処理部５によ
って生成された教師信号（輝度信号についてダウンコンバートした直交変換係数）の絶対
値と第１直交変換部２からの色差信号の直交変換係数の絶対値の差分の絶対値を計算し、
この差分の絶対値が予め定めたＵ信号用の閾値α_Ｕ[ｖ][ｕ]又はＶ信号用の閾値α_Ｖ[ｖ]
[ｕ]以下であれば、第１直交変換部２からの元の直交変換係数の値の正負符号を保持して
、この教師信号の直交変換係数に基づく修正処理を行う（ステップＳ６，Ｓ７）。ただし
、この教師信号の直交変換係数に基づく修正処理は、直交変換係数の直流成分である（０
，０）成分に対しては行わない。また、この教師信号の直交変換係数に基づく修正処理は
、教師信号の直交変換係数への置き換えや、教師信号の直交変換係数の重み付け平均した
値への振幅調整などを含む。

例えば、修正部９におけるＵ信号についての修正処理のＣ言語による記述例は以下に示
すとおりである。尚、Ｖ信号についても同様な記述とすることができる。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U[v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>α_U[v][u]? U[v][u]: m*tmp) // U[v][u]の
絶対値とtmpの差がα_U[v][u]より大きければU [v][u]は変更しない。U [v][u]の絶対値と
tmpの差がα_U[v][u]以下であれば正負符号を保持して修正（本例では置き換え）。
}
}
}

次に、逆直交変換部１０によって、修正部９から供給される色差信号の修正された直交
変換係数に対して逆直交変換を施し、修正した色差信号を生成する（ステップＳ８）。

図３は、この画像処理装置１における一連の処理動作を模式的に示した図である。図３
（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコン
バートした輝度信号Ｙに基づいて修正する様子を示しており、図３（ｂ）は、４：２：２
フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙ
に基づいて修正する様子を示している。

これにより、本実施例の画像処理装置１によれば、非可逆な符号化方式で符号化された
画像信号であっても、画像劣化の少ない画像として修正することができ、符号化に起因し
て生じていた画像劣化をより低減させることができるようになる。

尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直
交変換としてＤＣＴが用いられているが、本実施例の画像処理装置によれば、一般的に用
いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するもの
であるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によ
って劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする
場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減
の効果を発揮することになる。

以下、本実施例の画像処理装置１を、動画像用の復号装置に適用した場合について説明
する。

本実施例の画像処理装置１を、動画像用の復号装置３１ａに適用した場合における例を
図４に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明す
る。

本実施例に係る復号装置３１ａは、可変長復号部３２と、逆量子化部３３と、逆直交変
換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部
３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３
９とを備える。尚、本実施例に係る復号装置３１ａは、既知の復号装置（例えば、ＭＰＥ
Ｇ−２，Ｈ．２６４用の復号装置）に対して、本実施例の画像処理装置１が追加されたも
のである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施
し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３
７に送出する。また、可変長復号部３２は、この量子化情報を画像処理装置１内の修正部
９に送出する。

逆量子化部３３は、可変長復号部３２から供給される量子化信号に対して逆量子化処理
を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４に送出する。

逆直交変換部３４は、逆量子化部３３から供給される差分信号の直交変換係数に対して
、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５に送出す
る。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２
から得られる動きベクトルとを用いて予測画像を生成し、切替スイッチ３９を介して加算
部３５に出力する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、動き補償予測部３７か
ら供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係
る復号装置３１ａにおける画像処理装置１に送出する。

復号装置３１ａにおける画像処理装置１は、加算部３５から得られる画像信号を上述し
たように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ３６に格納す
るとともに、並べ替え部３８に送出する。

並べ替え部３８は、画像処理装置１から得られる修正後の画像信号を表示信号として並
べ替えを行う。

ここで、図４における画像処理装置１の構成例を図５に示す。図５に示す画像処理装置
１の構成は、図１に示す画像処理装置１と同様であり、更なる詳細な説明は省略するが、
修正部９が、修正処理の比較に用いる閾値α_ｕ[ｖ][ｕ]又はα_Ｖ[ｖ][ｕ]として、量子化
部１５から得られる量子化範囲内の値である、量子化値ｑ[ｖ][ｕ]の半値（＝ｑ[ｖ][ｕ]
／２）を用いた例であるが、量子化値ｑ[ｖ][ｕ]の値以下の任意の値を設定することがで
きる。

即ち、符号化装置１１に適用した画像処理装置１における修正部９では、色差信号の場
合に、生成された教師信号と色差信号の元の直交変換係数の絶対値とを比較し、符号化方
式に依存する量子化範囲内に差分量が収まる場合は、色差信号の元の直交変換係数の値の
正負符号を保持して、この元の直交変換係数を教師信号の直交変換係数に基づいて修正す
る。

本例における修正部９におけるＵ信号についての修正処理を、Ｃ言語による記述例とし
て以下のように示すことができる。尚、Ｖ信号についても同様である。

＜修正処理のＣ言語による記述例＞
for(v=0; v<8; v++){
for(u=0; u<8; u++){
if(!(v==0&&u==0)){//v=0且つu=0の場合は処理しない。
m=(U[v][u]<0? -1: 1);// U [v][u]が正ならばｍ＝１、負ならばｍ＝−１。
tmp=fabs(T_ U[v][u]); //教師信号の絶対値をtmpに保存。
U[v][u]= (fabs(U[v][u]*m-tmp)>q[v][u]/2? U[v][u]: m*tmp) // U[v][u]の
絶対値とtmpの差がq[v][u]/2より大きければU[v][u]は変更しない。U[v][u]の絶対値とtm
pの差がq[v][u]/2以下であれば正負符号を保持して修正（例えば、置き換え）。
}
}
}

このように、本実施例の画像処理装置１を復号装置に適用すれば、既存の符号化装置に
よって符号化された、例えばサンプリング周波数の異なる色空間の信号成分からなる画像
信号を復号した場合であっても、その画像信号の劣化を低減するように修正することがで
きる。

次に、図６を参照して、実施例１の画像処理装置１を動画像用の符号化装置に適用した
場合について、実施例２として説明する。尚、以下の説明において同様な構成要素には同
一の参照番号を付して説明する。

［符号化装置］
実施例２の符号化装置１１は、図１に示す画像処理装置１と、並べ替え部１２と、減算
部１３と、直交変換部１４と、量子化部１５と、可変長符号化部１６と、逆量子化部１７
と、逆直交変換部１８と、切替スイッチ１９と、フレーム内予測部２０と、フレームメモ
リ２１と、動き補償予測部２２と、加算部２３とを備える。尚、本実施例に係る符号化装
置１１は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対
して、図１に示す画像処理装置１が追加されたものである。フレーム内予測部２０は、い
わゆるイントラ予測を行う機能を有するが本願の主題ではないので、その説明は割愛する
。以下、動き補償予測を行う例について説明する。

動き補償予測部２２は、並べ替え部１２から供給される入力画像信号に対して、フレー
ムメモリ２１から画像処理装置１を経て取得する参照画像を用いて動きベクトル検出を行
い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を画像処
理装置１に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。

減算部１３は、並べ替え部１２からの入力画像信号と、動き補償予測部２２を経て得ら
れる画像処理装置１からの予測画像との差分信号を生成して直交変換部１４に送出する。

続いて、図７を参照して、図１に示す画像処理装置１を、動画像用の復号装置に適用し
た場合について説明する。

［復号装置］
実施例２に係る復号装置３１ｂは、可変長復号部３２と、逆量子化部３３と、逆直交変
換部３４と、加算部３５と、画像処理装置１と、フレームメモリ３６と、動き補償予測部
３７と、並べ替え部３８と、画面内予測と画面間予測の切り替えに用いる切替スイッチ３
９とを備える。尚、本実施例に係る復号装置３１ｂは、既知の復号装置（例えば、ＭＰＥ
Ｇ−２，Ｈ．２６４用の復号装置）に対して、そのフィードバックループ内に本実施例の
画像処理装置１が追加されたものである。

可変長復号部３２は、符号化されたビットストリームを入力して、可変長復号処理を施
し逆量子化部３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３
７に送出する。また、可変長復号部３２は、量子化情報を画像処理装置１内の修正部９に
送出する。

動き補償予測部３７は、フレームメモリ３６から得られる参照画像と可変長復号部３２
から得られる動きベクトルとを用いて予測画像を生成し、画像処理装置１に出力する。

復号装置３１ｂにおける画像処理装置１は、動き補償予測部３７から得られる予測画像
の信号から、上述したように符号化劣化を抑制した修正後の画像信号を生成し、切替スイ
ッチ３９を介して加算部３５に送出する。

加算部３５は、逆直交変換部３４から得られる当該差分信号と、画像処理装置１から供
給される予測画像の信号とを加算して画像信号を復元し、復元した画像信号を並べ替え部
３８に送出する。

並べ替え部３８は、加算部３５から得られる画像信号を表示信号として並べ替えを行う
。

このように、実施例２の符号化装置１１や復号装置３１ｂに示すように、図１に示す画
像処理装置１をＭＰＥＧ符号化方式に適用することができる。尚、実施例２の符号化装置
１１や復号装置３１ｂにおいても、例えばサンプリング周波数の異なる色空間の信号成分
からなる画像信号を復号した場合であっても、その画像信号の劣化を低減するように修正
することができる。

以上のように、本発明に係る画像処理装置１は、動画像のコンポーネント信号を修正す
る装置として、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号に
おける第２のコンポーネント信号（例えば、Ｕ信号）及び第３のコンポーネント信号（例
えば、Ｖ信号）について修正するために、第１のコンポーネント信号（例えば、Ｙ信号）
を正規化して第２のコンポーネント信号（例えば、Ｕ信号）及び第３のコンポーネント信
号（例えば、Ｖ信号）の教師信号を生成する教師信号生成機能と、第２のコンポーネント
信号（例えば、Ｕ信号）及び第３のコンポーネント信号（例えば、Ｖ信号）とこの生成し
た教師信号とを比較して得られる差分値が予め定めた閾値以下である場合に、当該教師信
号に基づいて第２のコンポーネント信号（例えば、Ｕ信号）及び第３のコンポーネント信
号（例えば、Ｖ信号）を修正する修正処理機能とを有する。

更に、本発明の一態様として、各実施例の画像処理装置１をコンピュータとして構成さ
せることができる。コンピュータに、前述した画像処理装置１の各構成要素を実現させる
ためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そ
のような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭ
などの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央
演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要
素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込
んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要
素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可
搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプロ
グラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを
介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させる
ことができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記
録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶
することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型
記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することと
してもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、
受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲か
ら逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかであ
る。特に、正規化部における正規化処理は、教師信号による修正処理の比較における信号
間の相関をとるためのレベル調整を行うものであればよい。

例えば、仮に画像処理装置に入力される信号のサンプリングレートが同一であれば、輝
度信号ダウンコンバート部をバイパスすることもできる。

また、本発明の画像処理装置は、図８に示すように、直交変換処理を用いることなく構
成することも可能である。更に、本発明の画像処理装置は、第１〜第３のコンポーネント
信号は、それぞれＹＵＶ信号に限定するものではなく、直交変換係数を入力して、直交変
換処理を省略した構成とすることもできる。また、コンポーネント信号は、ＲＧＢ，ＹＣ
ｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。従って、画像処
理装置に入力される動画像のコンポーネント信号は、所定の色空間の各コンポーネント信
号、該コンポーネント信号の直交変換係数、及びこれらの信号を併合した組合せを含む。

更に、修正部９を、画像信号における各コンポーネント信号、及び／又は、これらの直
交変換係数の信号を比較して修正する修正手段として構成すればよく、各コンポーネント
信号が入力されてサンプリングレートを変換した信号について修正処理を行うことや、各
コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数につ
いて修正処理を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサ
ンプリングレートを変換した信号について量子化した後に修正処理を行うことや、これら
の併用した構成とするなどの様々な変形例が可能である。

本発明によれば、サンプリング周波数の異なる色空間の信号成分からなる画像信号にお
ける劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方
式による符号化処理を扱う画像信号を利用する任意の用途に有用である。

１画像処理装置
２第１直交変換部
３輝度信号ダウンコンバート部
４第２直交変換部
５正規化処理部
９修正部
１０逆直交変換部
１１符号化装置
１２並べ替え部
１３減算部
１４直交変換部
１５量子化部
１６可変長符号化部
１７逆量子化部
１８逆直交変換部
１９切替スイッチ
２０フレーム内予測部
２１フレームメモリ
２２動き補償予測部
２３加算部
３１ａ，３１ｂ復号装置
３２可変長復号部
３３逆量子化部
３４逆直交変換部
３５加算部
３６フレームメモリ
３７動き補償予測部
３８並べ替え部
３９切替スイッチ
１１１符号化装置
１３１輝度信号ダウンコンバート部

Claims

色差信号のサンプリング周波数より大きいサンプリング周波数を有する輝度信号から前記色差信号を処理する画像処理装置であって、
前記輝度信号の前記サンプリング周波数を、前記色差信号のサンプリング周波数までダウンコンバートして、前記色差信号の教師信号を取得する取得手段と、
前記色差信号と前記教師信号との差分を用いて前記色差信号を符号化して符号化色差信号を生成する、
或いは、前記教師信号を用いて、符号化色差信号を復号化して前記色差信号を生成する生成手段とを備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置を備えることを特徴とする、符号化装置。
請求項１に記載の画像処理装置を備えることを特徴とする、復号装置。
色差信号のサンプリング周波数より大きいサンプリング周波数を有する輝度信号から前記色差信号を処理する画像処理装置として構成するコンピュータに、
前記輝度信号の前記サンプリング周波数を、前記色差信号のサンプリング周波数までダウンコンバートして、前記色差信号の教師信号を取得するステップと、
前記色差信号と前記教師信号との差分を用いて前記色差信号を符号化して符号化色差信号を生成する、
或いは、前記教師信号を用いて、符号化色差信号を復号化して前記色差信号を生成するステップと、を実行させるためのプログラム。