JP2014158270A - 符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】 所定の画像フォーマットの原信号における輝度と色差を表す少なくとも２つのコンポーネント信号を符号化する符号化装置、復号装置、プログラムを提供する。
【解決手段】 符号化装置は、少なくとも２つのコンポーネント信号のうちの第２コンポーネント信号の局部復号信号を生成する局部復号手段と、符号化前の第１コンポーネント信号の原信号と、該局部復号信号とを比較して、前記第２コンポーネント信号の正規化パラメータを生成するとともに、正規化パラメータによって、該局部復号信号を修正して原信号を予測するための輝度色差間予測手段と、第１コンポーネント信号について、画面内予測、又は、画面間予測の予測信号を生成する予測信号生成手段と、該予測信号と前記輝度色差間予測信号とを重み付け加算して合成し、第１コンポーネント信号の修正予測信号を生成する合成手段と、修正予測信号と原信号との差分信号を符号化を施す符号化手段とを備える。
【選択図】 図４

Description

本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正して符号化する符号化装置、画像信号を修正して復号する復号装置及びプログラムに関する。

画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。

また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。

これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。

また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を必ずしも低減させることはできない。

また、従来の非可逆な符号化方式（例えば、Ｈ．２６４等）では、輝度信号画面内予測（画面内予測）方式として既符号化ブロックの信号予測として近接する既符号化ブロックを復号した画素情報により外挿によって原信号を予測して予測信号を生成し、原信号と予測信号の差分信号を符号化する。この予測処理は３つのコンポーネント信号の相関の低さから相互に相関がないものとして各コンポーネントの信号系統を別個に行われる。しかしながら、局所的に信号を見た場合、それぞれのコンポーネント信号間で信号の変動に相関があり、相互に信号を予測できる。従来の符号化方式はこの相関を使用していない。

例えば、図９に示すように、従来の符号化装置１００（例えば、Ｈ．２６４用の符号化装置）は、第１コンポーネント信号（Ｕ信号又はＶ信号）の符号化信号系統と、第２コンポーネント信号（Ｙ信号）の符号化信号系統とに分けられる。これらの符号化信号系統は、並べ替え部１２−１，１２−２と、減算部１３−１，１３−２と、直交変換部１４−１，１４−２と、量子化部１５−１，１５−２と、可変長符号化部１６−１，１６−２と、逆量子化部１７−１，１７−２と、逆直交変換部１８−１，１８−２と、メモリ２１−１，２１−２と、画面間・画面内予測部２２−１，２２−２と、加算部２３−１，２３−２と、各符号化信号系統の符号化信号を外部に送出するビットストリームへと再構成するビットストリーム構成部２５とを備える。

図９に示す例は、直交変換及び量子化処理をコンポーネント信号別に並列処理する例を示しているが、符号化処理は、各コンポーネント信号を順次読み出して処理するように構成することもできる。コンポーネント信号がＹＵＶ信号からなる場合、直交変換及び量子化処理を施すにあたり、Ｕ信号又はＶ信号については、直交変換部１４−１及び量子化部１５−１を介してそれぞれ直交変換及び量子化が施される。同様に、Ｙ信号については、直交変換部１４−２及び量子化部１５−２を介してそれぞれ直交変換及び量子化が施される。また、局部復号処理は、各コンポーネント信号を順次読み出して処理することが可能なように、直交変換部１４−１，１４−２と、量子化部１５−１，１５−２との切り替えを行なう信号系統切替部（図示せず）を設けることができる。以下、代表的に、第１コンポーネント信号（Ｕ信号又はＶ信号）の符号化信号系統の画面間予測動作と画面内予測動作を順に説明する。

［画面間予測］
並べ替え部１２−１は、第１コンポーネント信号を小領域の画素ブロック単位で符号化するための並べ替えを行い、減算部１３−１及び画面間・画面内予測部２２−１に送出する。

画面間・画面内予測部２２−１は、並べ替え部１２−１から供給される第１コンポーネント信号の原信号に対して、メモリ２１−１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測信号を、加算部２３−１及び減算部１３−１に出力する。動きベクトルの情報は、可変長符号化部１６−１に送出される。

減算部１３−１は、並べ替え部１２−１からの原信号と、画面間・画面内予測部２２−１からの予測信号との間の差分信号を生成して、直交変換部１４−１に送出する。

直交変換部１４−１は、減算部１３−１から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１５−１に送出する。

量子化部１５−１は、直交変換部１４−１から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、この量子化信号を可変長符号化部１６−１に送出するとともに逆量子化部１７−１に送出する。

可変長符号化部１６−１は、量子化部１５−１から供給される量子化信号についてスキャニングを行って可変長符号化処理を施しビットストリームを生成するとともに、画面間・画面内予測部２２−１から供給される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部１７−１は、量子化部１５−１から供給される量子化信号について逆量子化処理を行って逆直交変換部１８−１に出力する。

逆直交変換部１８−１は、逆量子化部１７−１から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部２３−１に出力する。

加算部２３−１では、逆直交変換部１８−１から得られる逆直交変換した信号と、画面間・画面内予測部２２−１から得られる予測信号とを加算処理して局部復号信号を生成し、メモリ２１−１に格納する。

尚、画面間・画面内予測部２２−１は、画面内予測と画面間予測の切り替えに切り換えスイッチ（図示せず）を設けることができる。

［画面内予測］
画面間・画面内予測部２２−１は、第１コンポーネント信号について復号済の隣接画素情報により外挿によって原信号を予測して予測信号を生成し、減算部１３−１及び加算部２３−１に送出する。他の構成要素の動作は、画面間予測の場合と同様と考えてよい。例えばＨ．２６４の符号化方式では、画面内予測方法として、復号済の隣接画素情報を基準信号として用い、外挿によって該当コンポーネント信号を予測する（例えば、特許文献１参照）。

特許公開２００５−１８４２４１号公報

久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６ 杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０

量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。

非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）にて、画像を小領域単位で符号化する場合、例えばＭＰＥＧ−２では、４：２：０フォーマットであれば、輝度信号の画素ブロック１６×１６画素に対応する色差信号は８×８画素であり、信号間でサンプリング周波数が異なる。例えば、ＭＰＥＧ−２に代表される画像符号化処理では、このようにサンプリング周波数が異なる信号を共通のサイズ８×８画素ブロックで処理を行う。つまり、輝度信号を４つの８×８画素ブロックに分割し、色差信号を８×８画素ブロックで符号化を行うため、符号化処理を施す８×８画素ブロックの占める範囲が輝度信号と色差信号で異なることになる。

また、従来の符号化方式で使用されるような画面内符号化方式では、隣接する既符号化ブロックを復号した画素情報を基準信号として用い、外挿によって該当コンポーネント信号を予測するものであるが、この外挿処理は基準信号からの距離が遠い画素ほど予測性能が低下し、残差信号が増大する。

本発明の目的は、上述のような問題に鑑みて、画像信号の相関を用いて符号化対象となる残差信号をさらに低減し、符号化効率を高めるために、所定の画像フォーマットの原信号における輝度と色差を表す少なくとも２つのコンポーネント信号を符号化する符号化装置、及びその符号化されたコンポーネント信号を復号する復号装置、並びにこれらのプログラムを提供することにある。

本発明に係る符号化装置は、画像信号を処理する符号化装置であって、輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする。

本発明に係る復号装置は、画像信号を処理する復号装置であって、輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする。

本発明に係るプログラムは、コンピュータを、画像信号を処理する符号化装置として動作させるプログラムであって、輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする。

本発明に係るプログラムは、コンピュータを、画像信号を処理する復号装置として動作させるプログラムであって、輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする。

また、本発明は、例えば画面内予測時の外挿処理による予測性能の低下を、符号化前の原信号における第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）と、局部復号済の第２コンポーネント信号（例えば、Ｙ信号）との間の信号変動の相関を用いて予測する。これは、画面間の予測を行う画面間予測の場合も同様である。尚、コンポーネント信号は、ＲＧＢ，ＹＣｂＣｒ，ＬＵＶ，Ｌａｂ，ＸＹＺなど複数のコンポーネント信号で構成される信号であれば如何なる色空間のものでもよい。

例えば、外挿処理による画面内予測時のＹＵＶ信号における各コンポーネント信号は、コンポーネント信号ごとのフレーム内で符号化される。そこで本発明では、符号化前の原信号における第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）と、局部復号済の第２コンポーネント信号（例えば、Ｙ信号）との間における各ブロック内の信号エネルギーを比較して、この比較によって得られる正規化パラメータを外部に伝送するとともに、この正規化パラメータによって生成した局部復号済の第２コンポーネント信号（例えば、Ｙ信号）から第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）を予測する信号（以下、「輝度色差間予測信号」と称する）と、従来からの外挿処理による画面内予測の予測信号とを合成し、修正予測信号を生成する。この修正予測信号は、従来からの予測信号と輝度色差間予測信号との間で重み付けを行って構成することができ、この重み付け係数は、符号化装置側及び復号装置側で共通に用いることができるように予め規定するか、又は補助情報として符号化装置側から復号装置側へと伝送するように構成することもできる。

即ち、本発明による一態様の符号化装置は、所定の画像フォーマットの原信号における輝度と色差を表す少なくとも２つのコンポーネント信号を符号化する符号化装置であって、前記少なくとも２つのコンポーネント信号のうちの第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を生成する局部復号手段と、符号化前の第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の原信号と、第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号とを比較して、前記第２コンポーネント信号（例えば、Ｙ信号）の正規化パラメータを生成する比較手段と、前記正規化パラメータによって、前記第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を修正して前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の原信号を予測するための輝度色差間予測信号を生成する輝度色差間予測手段と、前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）について、外挿による画面内予測の予測信号、又は、動き補償による画面間予測の予測信号を生成する予測信号生成手段と、該予測信号と前記輝度色差間予測信号とを重み付け加算して合成し、前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の修正予測信号を生成する合成手段と、前記修正予測信号と前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の原信号との差分信号を生成して符号化を施す符号化手段と、を備えることを特徴とする。

また、本発明による一態様の符号化装置において、前記正規化パラメータを生成するための比較の際に、前記第２コンポーネント信号のサンプリングレートを、前記第１コンポーネント信号のサンプリングレートと一致するように変換するサンプリングレート変換手段を有するように構成することができる。

つまり、例えば、第２コンポーネント信号がＹ信号で、第１コンポーネント信号がＵ信号又はＶ信号であれば、Ｙ信号をＵ信号又はＶ信号のサンプリングレートまでダウンコンバートする。逆に、例えば、第２コンポーネント信号がＵ信号又はＶ信号で、第１コンポーネント信号がＹ信号であれば、Ｕ信号又はＶ信号をＹ信号のサンプリングレートまでアップコンバートする。正規化するコンポーネント間でサンプリングレートが同一の場合には、このサンプリングレート変換手段は必要ない。

更に、本発明による一態様の復号装置は、所定の画像フォーマットの符号化された輝度と色差を表す少なくとも２つのコンポーネント信号を復号する復号装置であって、前記少なくとも２つのコンポーネント信号における第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の符号化された原信号と予測信号との差分信号を復号する復号手段と、前記少なくとも２つのコンポーネント信号のうちの第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を生成する局部復号手段と、当該符号化前の第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の原信号と、第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号とを比較して予め生成されていた、前記第２コンポーネント信号（例えば、Ｙ信号）の正規化パラメータを取得し、前記正規化パラメータによって、前記第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を修正して前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）を予測するための輝度色差間予測信号を生成する輝度色差間予測手段と、前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）について、外挿による画面内予測の予測信号、又は、動き補償による画面間予測の予測信号を生成する予測信号生成手段と、該予測信号と前記輝度色差間予測信号とを重み付け加算して合成し、前記第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の修正予測信号を生成する合成手段と、該修正予測信号と当該復号した差分信号とを加算して当該第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）を復元する復号手段と、を備えることを特徴とする。

また、本発明による一態様の復号装置において、符号化側と同様に、前記正規化パラメータを生成するための比較の際に、前記第２コンポーネント信号のサンプリングレートを、前記第１コンポーネント信号のサンプリングレートと一致するように変換するサンプリングレート変換手段を有するように構成することができる。

また、本発明による一態様の符号化装置及び復号装置は、コンピュータとして構成することができ、各処理を実行させるためのプログラムとして構成することができる。

本発明の符号化装置及び復号装置の各々は、コンピュータとして構成することができ、本発明は、符号化装置及び復号装置の各々の処理を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修正することができ、この修正した画像を例えば表示装置に表示すると、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。

本発明による一実施例の符号化装置における画像処理装置のブロック図である。 本発明による一実施例の符号化装置における画像処理装置の動作として、（ａ）は、４：２：０フォーマットにおける局部復号後の色差信号のＵ信号及びＶ信号を、ダウンコンバートした原信号の輝度信号Ｙを用いて修正する様子を示しており、（ｂ）は、４：２：０フォーマットにおける局部復号後の輝度信号Ｙを、アップコンバートした原信号の色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。 本発明による一実施例の符号化装置における画像処理装置の動作として、（ａ）は、４：２：２フォーマットにおける局部復号後の色差信号のＵ信号及びＶ信号を、ダウンコンバートした原信号の輝度信号Ｙを用いて修正する様子を示しており、（ｂ）は、４：２：２フォーマットにおける局部復号後の輝度信号Ｙを、アップコンバートした原信号の色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。 本発明による一実施例の符号化装置のブロック図である。 （ａ）（ｂ）は、Ｈ．２６４などの従来からの画面内予測方式の信号予測モードの一例を示す図である。 本発明による一実施例の復号装置における画像処理装置のブロック図である。 本発明による一実施例の復号装置のブロック図である。 （ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。 従来からの符号化装置を示すブロック図である。

以下、本発明による一実施例の符号化装置及び復号装置について説明する。

まず、本発明の理解のために、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォーマットとして、図８（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）や、図８（ｂ）に示すように、フレーム画像Ｆにおける画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。

このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。

輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。

本発明による一実施例の符号化装置及び復号装置は、このサンプリング周波数の違いを利用して、輝度信号及び色差信号の符号化劣化の性質の違いによって生じる信号劣化を低減する装置である。

包括的には、図４を参照して詳述するように、本発明による一実施例の符号化装置１０は、少なくとも２つのコンポーネント信号のうちの第２コンポーネント信号の局部復号信号を生成する局部復号手段（１７−１，１７−２，１８−１，１８−２，２３−１，２３−２）と、符号化前の第１コンポーネント信号の原信号と、第２コンポーネント信号の局部復号信号とを比較して、前記第２コンポーネント信号の局部復号信号を修正するための修正量を表す正規化パラメータを生成するとともに、正規化パラメータによって、第２コンポーネント信号の局部復号信号を修正して第１コンポーネント信号の原信号を予測するための輝度色差間予測信号を生成する輝度色差間予測手段（４）と、第１コンポーネント信号について、外挿による画面内予測の予測信号、又は、動き補償による画面間予測の予測信号を生成する予測信号生成手段(２２−１)と、該予測信号と前記輝度色差間予測信号とを重み付け加算して合成し、第１コンポーネント信号の修正予測信号を生成する合成手段（２）と、修正予測信号と第１コンポーネント信号の原信号との差分信号を生成して符号化を施す符号化手段(１３−１，１４−１，１５−１，１６−１)とを備える装置である。

尚、本発明による一実施例の符号化装置は、本発明による一態様の符号化装置において、前記正規化パラメータを生成するための比較の際に、第２コンポーネント信号（例えば、Ｙ信号）のサンプリングレートを、第１コンポーネント信号（例えば、Ｕ信号）のサンプリングレートと一致するように変換するように構成することができる。以下、代表的に、第１コンポーネント信号（Ｕ信号又はＶ信号）の原信号を、第２コンポーネント信号（Ｙ信号）の局部復号信号から予測するために比較し、その比較結果から第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を修正するための修正量を表す正規化パラメータを生成する例について、詳細に説明する。

まず、図１に、本発明による一実施例の符号化装置に係る画像処理装置のブロック図を示す。画像処理装置１は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から順次出力される所定の画像フォーマットのコンポーネント信号を処理する装置であり、符号化前の第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の原信号と、第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号との間における各ブロック内の信号エネルギーを比較して、この比較によって得られる正規化パラメータを外部に伝送するとともに、この正規化パラメータによって生成した輝度色差間予測信号と、従来からの画面内又は画面間予測の予測信号とを合成し、修正予測信号を生成する。

より具体的には、画像処理装置１は、合成部２と、サンプリングレート変換部３と、輝度色差間予測部４と備える。尚、輝度色差間予測部４は、比較部４１と、輝度色差間予測信号生成部４２とを備える。

サンプリングレート変換部３は、局部復号後に得られる第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号を入力し、予測対象の第１コンポーネント信号（例えば、Ｕ信号）のサンプリングレートに合わせるようにダウン又はアップコンバートを実行する（図２及び図３参照）。

比較部４１は、第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素（例えばブロック単位の各画素値）と、第１コンポーネント信号（例えば、Ｕ信号）の原信号の信号要素をエネルギー（例えば、画素値の２乗の和とするか、または画素当たりの平均エネルギー）で比較して正規化するための修正量を表す正規化パラメータを生成して外部に送出するとともに、輝度色差間予測信号生成部４２に送出する。

別例として、比較する信号要素が直交変換係数の場合には、その成分からエネルギーを算出して比較することで正規化パラメータを得ることができる。また、正規化パラメータを決定するにあたり、比較する各コンポーネント信号の直流成分を除去した信号に対して正規化した値を決定する。尚、この直流成分の除去は、例えば、ブロック内の全画素の平均値で符号化ブロック内の各画素値を減算すればよい。このように、比較部４１は、同一のサンプリングレートに変換した上で各コンポーネント信号の対応する信号要素のエネルギーを比較して（即ち、直流成分を除いた信号エネルギーを比較して）、正規化パラメータを生成することで、修正精度が向上する。尚、比較対象のコンポーネント信号間のサンプリングレートが同一である場合には、サンプリングレート変換部３をバイパスすることができる。

輝度色差間予測信号生成部４２は、当該第２コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素を、上記の正規化パラメータによって修正し、第１コンポーネント信号を予測するための輝度色差間予測信号を生成して合成部２に送出する。

本実施例では、第２コンポーネント信号（Ｙ信号）の局部復号信号から第１コンポーネント信号（Ｕ信号又はＶ信号）の原信号を予測する例を説明しているが、第２コンポーネント信号をＵ信号又はＶ信号とし、この局部復号信号から第１コンポーネント信号となるＹ信号の原信号を予測することも同様に実現することができる。

コンポーネント信号間のサンプリングレートに関して、前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（８×８画素）と１つの色差信号の画素ブロック（８×８画素）は、輝度信号と色差信号のサンプリング数の違いから表現される画像範囲は異なる。量子化による劣化は、８×８画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。これは、１６×１６画素の画素ブロックや３２×３２画素の画素ブロックなどの場合も同様であることは勿論である。

しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号変動の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。上記の２倍の面積に関してＹＵＶの４：２：０フォーマット又は４：２：２フォーマットを例に説明しているが、本発明はこれに限定されるものではく、２つ以上のコンポーネント信号を扱う任意の他の色空間のコンポーネント信号に適用できることは勿論である。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。

図２及び図３は、この画像処理装置１における一連の処理動作を模式的に示した図である。図２（ａ）は、４：２：０フォーマットにおける局部復号後の色差信号のＵ信号及びＶ信号を、ダウンコンバートした原信号の輝度信号Ｙを用いて修正する様子を示しており、図２（ｂ）は、４：２：０フォーマットにおける局部復号後の輝度信号Ｙを、アップコンバートした原信号の色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。図３（ａ）は、４：２：２フォーマットにおける局部復号後の色差信号のＵ信号及びＶ信号を、ダウンコンバートした原信号の輝度信号Ｙを用いて修正する様子を示しており、図３（ｂ）は、４：２：２フォーマットにおける局部復号後の輝度信号Ｙを、アップコンバートした原信号の色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。

図４に、本発明による一実施例の符号化装置のブロック図を示す。本実施例の符号化装置１０（例えば、Ｈ．２６４用の符号化装置）は、図９に示す従来の符号化装置１００と比較して、第１コンポーネント信号の処理系統内にて、特に予測信号の生成に関する画像処理装置１（図１参照）が組み入れられている点で相違する。

本実施例の符号化装置１０は、図９に示す従来の符号化装置１００と比較して、他の構成要素の動作は同様であり、本発明に係る部分について詳細に説明する。

尚、本実施例においても、直交変換及び量子化処理をコンポーネント信号別に並列処理する一方で、局部復号処理は、各コンポーネント信号を順次読み出して処理するように構成することができることは勿論である。

画像処理装置１は、図１を参照して説明したように、並べ替え部１２−１から入力される第１コンポーネント信号の原信号と、第２コンポーネント信号の符号化信号系統内のメモリ２１−２から入力される第２コンポーネント信号の局部復号信号とを当該画像フレームを構成する対応画素位置で各要素を比較し、第２コンポーネント信号の局部復号信号から第１コンポーネント信号を予測する輝度色差間予測信号を生成するとともに、この修正量を表す正規化パラメータを可変長符号化部１６−１に送出する。

画像処理装置１における合成部２は、画面間・画面内予測部２２−１から供給される既存の予測処理によって得られる予測信号と、輝度色差間予測部４から供給される輝度色差間予測信号とを重み付け加算して合成することにより修正予測信号を生成し、加算部２３−１及び減算部１３−１に出力する。既存の予測処理によって得られる予測パラメータの情報は、可変長符号化部１６−１に送出される。重み付け加算については詳細に後述する。

合成部２の動作について説明する。合成部２は、画面内予測又は画面間予測部で得られる予測信号と、輝度色差間予測部４から入力される輝度色差間予測信号とを重み付け加算して修正予測信号を生成する。例えば、画面内予測の場合では、合成部２は、隣接の既符号化ブロックの基準信号からの距離に比例した配分で、この予測信号と輝度色差間予測信号とを重み付け加算して修正予測信号を生成する。

Ｈ．２６４などの従来からの画面内予測方式の信号予測モードには、例えば符号化ブロックが４×４画素で水平予測モードの場合（図５（ａ）参照）や垂直予測モードの場合（図５（ｂ）参照）などがある。

例えば、合成部２における予測信号と輝度色差間予測信号との間の重み付け加算は、次式のように表すことができる。

修正予測信号C[j][i]＝（ｋ_１／Ｋ）・A[j][i]＋（ｋ_２／Ｋ）・B[j][i]

ここに、ｉ，ｊは、それぞれ水平方向及び垂直方向の画素位置を表し、ｋ_１，ｋ_２は、予測信号A[j][i]及び輝度色差間予測信号B[j][i]の各々に対する重み係数である。尚、Ｋ＝ｋ_１＋ｋ_２である。

重み係数ｋ_１，ｋ_２は、予め定めた固定値とすることができるし、輝度色差間予測信号B[j][i]又は予測信号A[j][i]の大きさによって可変にする予め定めた変数とすることができるし、輝度色差間予測信号B[j][i]の生成時に用いた比較動作の量子化レベルに応じたランクを表すフラグに応じて可変にする予め定めた変数とすることができる。例えば、一例として、予測信号A[j][i]及び輝度色差間予測信号B[j][i]の比較の結果、直流レベルの差が大きいときは重み係数ｋ_２を小さくすることができる。これらの重み係数ｋ_１，ｋ_２は、符号化装置と復号装置の間で共通の計算方法や固定値を保持するか、又は符号化装置が補助情報を生成して復号装置に伝送するように構成することができる。

例えば、図５（ａ）の例では、修正予測信号C[j][i]は、従来からの予測信号A[j][i]と輝度色差間予測部４からの輝度色差間予測信号B[j][i]の加算合成として、
C[j][i]＝(3-i)／3・A[j][i]＋i／3・B[j][i]
によって得られる。

例えば、図５（ｂ）の例では、修正予測信号C[j][i]は、従来からの予測信号A[j][i]と輝度色差間予測部４からの輝度色差間予測信号B[j][i]の加算合成として、
C[j][i]＝(3-j)／3・A[j][i]＋j/3・B[j][i]
によって得られる。

他の例の合成部２の動作として、予測信号と複数の輝度色差間予測信号とを重み付け加算して修正予測信号を生成するように構成することもできる。例えば、Ｕ信号からＹ信号を予測する輝度色差間予測信号と、Ｖ信号からＹ信号を予測する輝度色差間予測信号などが考えられる。

例えば、予測信号と複数の輝度色差間予測信号との間の重み付け加算は、次式のように表すことができる。

C[j][i]＝（ｋ_１／Ｋ）・A[j][i]＋（ｋ_２／Ｋ）・B_１[j][i] ＋（ｋ_３／Ｋ）・B_２[j][i]

ここに、ｉ，ｊは、それぞれ水平方向及び垂直方向の画素位置を表し、ｋ_１，ｋ_２，ｋ_３は、予測信号A[j][i]及び複数の輝度色差間予測信号B_１[j][i]及びB_２[j][i]の各々に対する重み係数である。この場合、Ｋ＝ｋ_１＋ｋ_２＋ｋ_３である。

これらの重み係数ｋ_１，ｋ_２，ｋ_３についても、符号化装置と復号装置の間で共通の計算方法や固定値を保持するか、又は符号化装置が補助情報を生成して復号装置に伝送するように構成することができる。

上記は、合成部２における画面内予測の場合について説明したが、合成部２における画面間予測の場合も同様である。

次に、本実施例の復号装置３１について説明する。

［復号装置］
図６に、本実施例の復号装置３１が備える画像処理装置１ｄを示す。また、図７に、本実施例に係る復号装置３１のブロック図を示す。図６及び図７を参照するに、従来からの復号装置と比較すると、画像処理装置１ｄが復号装置に新たに追加されている点で相違する。画像処理装置１ｄは、合成部２ｄと、サンプリングレート変換部３ｄと、輝度色差間予測部４ｄと備える。合成部２ｄ、サンプリングレート変換部３ｄ、及び輝度色差間予測部４ｄは、符号化側の合成部２、サンプリングレート変換部３、及び輝度色差間予測部４にそれぞれ対応しており同様に動作するが、輝度色差間予測部４は外部に正規化パラメータを送出するものであったのに対し、輝度色差間予測部４ｄは外部から正規化パラメータを取得して、輝度色差間予測信号を生成する輝度色差間予測信号生成部４２ｄを備えるように構成される。

本実施例に係る復号装置３１は、従来から知られる復号装置と同様に、少なくとも輝度信号と色差信号の処理として、第１コンポーネント信号（例えば、Ｕ信号又はＶ信号）の符号化信号を復号する復号処理系統と、第２コンポーネント信号（例えば、Ｙ信号）の符号化信号を復号する復号処理系統からなるように構成することができる。

より具体的には、本実施例に係る復号装置３１は、２つの復号処理系統として、可変長復号部３２−１，３２−２と、逆量子化部３３−１，３３−２と、逆直交変換部３４−１，３４−２と、加算部３５−１，３５−２と、画像処理装置１ｄと、メモリ３６−１，３６−２と、画面間・画面内予測部３７−１，３７−２と、並べ替え部３８とを備える。図７に示す例では、第２コンポーネント信号（例えば、Ｙ信号）の符号化信号を復号する復号処理は従来技術における構成と同一と考えてよいため、代表的に、第２コンポーネント信号（例えば、Ｙ信号）の符号化信号を復号する復号処理について説明する。

図６を参照するに、画像処理装置１ｄにおいて、サンプリングレート変換部３ｄは、第２コンポーネント信号（例えば、Ｙ信号）の復号信号に対して前述と同様にサンプリングレート変換を施し、輝度色差間予測部４ｄは、符号化装置１０から伝送される正規化パラメータによって修正することで輝度色差間予測信号を生成し、合成部２ｄは、この輝度色差間予測信号と、第２コンポーネント信号（例えば、Ｕ信号）について画面間・画面内予測部３７−１で従来と同じ技法で生成される予測信号（外挿による画面内予測の予測信号、又は、動き補償による画面間予測の予測信号）とを重み付け加算で合成し、修正予測信号を生成する。この正規化パラメータは、符号化装置１０によって、第１コンポーネント信号の原信号の信号要素に基づいて、第２コンポーネント信号の局部復号信号の信号要素を修正するための修正量を表すものとして生成されたものであるため、合成部２ｄから得られる修正予測信号が、符号化装置１０側の合成部２から得られる修正予測信号と同等になるように加算合成を行なうことができ、原信号に極めて近い値に復元することができる。

［画面間予測動作時］
図７を参照するに、可変長復号部３２−１は、画面間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部３３−１に送出するとともに、動きベクトルの情報を復号して画面間・画面内予測部３７−１に送出するとともに、正規化パラメータを復号して画像処理装置１ｄに送出する。

逆量子化部３３−１は、可変長復号部３２−１から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４−１に送出する。

逆直交変換部３４−１は、逆量子化部３３−１から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５−１に送出する。

画像処理装置１ｄは、図７を参照して説明したように、可変長復号部３２−１から入力される正規化パラメータによって、メモリ３６−２から得られる第２コンポーネント信号の復号信号を修正し、第１コンポーネント信号を予測するための輝度色差間予測信号を生成し、この輝度色差間予測信号と画面間・画面内予測部３７−１から既存の動き補償で得られる予測信号とを加算合成して修正予測信号を生成し、加算部３５−１に送出する。

尚、合成部２ｄは、符号化側の合成部２と同様に重み付け加算して合成することにより修正予測信号を生成することができる。

加算部３５−１は、逆直交変換部３４−１から得られる当該差分信号と、合成部２ｄから供給される修正予測信号とを加算して第１コンポーネント信号（例えば、Ｕ信号）を復元し、並べ替え部３８に送出する。

並べ替え部３８は、復元した第１コンポーネント信号（例えば、Ｕ信号）を表示信号として並べ替えを行う。

［画面内予測動作時］
可変長復号部３２−１は、画面内予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部３３−１に送出する。また、可変長復号部３２−１は、従来からの外挿に用いる予測パラメータを画面間・画面内予測部３７−１に送出するとともに、正規化パラメータを画像処理装置１ｄに送出する。

逆量子化部３３−１は、可変長復号部３２−１から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部３４−１に送出する。

逆直交変換部３４−１は、逆量子化部３３−１から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部３５−１に送出する。

画像処理装置１ｄは、図７を参照して説明したように、可変長復号部３２−１から入力される正規化パラメータによって、メモリ３６−２から得られる第２コンポーネント信号の復号信号を修正し、第１コンポーネント信号を予測するための輝度色差間予測信号を生成し、この輝度色差間予測信号と画面間・画面内予測部３７−１から既存の外挿処理で得られる予測信号とを加算合成して修正予測信号を生成し、加算部３５−１に送出する。

従って、合成部２ｄの動作は、符号化装置１０における合成部２と同様である。

加算部３５−１は、逆直交変換部３４−１から得られる当該差分信号と、画面間・画面内予測部３７−１から供給される修正予測信号とを加算して第１コンポーネント信号（例えば、Ｕ信号）を復元し、並べ替え部３８に送出する。

並べ替え部３８は、復元した第１コンポーネント信号（例えば、Ｕ信号）を表示信号として並べ替えを行う。

本実施例の復号装置３１によれば、正規化パラメータを用いて復号するため、符号化前の原信号に近いコンポーネント信号を復元することができるようになる。

これにより、本実施例の符号化装置及び復号装置によれば、非可逆な符号化方式で符号化された画像信号であっても、画像劣化の少ない画像として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。

尚、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直交変換としてＤＣＴが用いられているが、本実施例の符号化装置及び復号装置における画像処理装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。

更に、本発明の一態様として、本発明の符号化装置又は復号装置をコンピュータとして構成させることができる。コンピュータに、前述した符号化装置又は復号装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

例えば、各コンポーネント信号が入力されてサンプリングレートを変換した信号について比較動作を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について比較動作を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に比較動作を行うことなどの様々な変形例が可能である。また、例えば輝度と色差を表す少なくとも２つのコンポーネント信号を符号化又は復号するにあたり、例えば、符号化又は復号処理の初めや画像フレームのエッジ部など、局部復号済みのコンポーネント信号を用いて別のコンポーネント信号を予測することができない場合には、従来どおりの処理を行なって、局部復号済みのコンポーネント信号がメモリに格納され、対応する画素位置のコンポーネント信号比較が可能となった時点で動作するように構成すればよい。

本発明によれば、サンプリング周波数の異なる色空間の信号成分からなる画像信号における劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。

１，１ｄ 画像処理装置
２，２ｄ 合成部
３，３ｄ サンプリングレート変換部
４，４ｄ 輝度色差間予測部
１０ 符号化装置
１２−１，１２−２ 並べ替え部
１３−１，１３−２ 減算部
１４−１，１４−２ 直交変換部
１５−１，１５−２ 量子化部
１６−１，１６−２ 可変長符号化部
１７−１，１７−２ 逆量子化部
１８−１，１８−２ 逆直交変換部
２１−１，２１−２ メモリ
２２−１，２２−２ 画面間・画面内予測部
２３−１，２３−２ 加算部
２５ ビットストリーム構成部
３１ 復号装置
３２−１，３２−２ 可変長復号部
３３−１，３３−２ 逆量子化部
３４−１，３４−２ 逆直交変換部
３５−１，３５−２ 加算部
３６−１，３６−２ メモリ
３７−１，３７−２ 画面間・画面内予測部
３８ 並べ替え部
４１ 比較部
４２，４２ｄ 輝度色差間予測信号生成部
１００ 符号化装置

Claims (6)

1. 画像信号を処理する符号化装置であって、
   輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、
   前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする符号化装置。
2. 前記輝度信号のサンプリング周波数と、前記色差信号のサンプリング周波数とが、同一となるように変換した前記画像信号を処理することを特徴とする、請求項１に記載の符号化装置。
3. 画像信号を処理する復号装置であって、
   輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、
   前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とする復号装置。
4. 前記輝度信号のサンプリング周波数と、前記色差信号のサンプリング周波数とが、同一となるように変換した前記画像信号を処理することを特徴とする、請求項３に記載の復号装置。
5. コンピュータを、画像信号を処理する符号化装置として動作させるプログラムであって、
   輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、
   前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とするプログラム。
6. コンピュータを、画像信号を処理する復号装置として動作させるプログラムであって、
   輝度信号の局部復号信号の信号要素に基づき色差信号の予測に用いる信号を生成する手段と、
   前記色差信号の予測に用いる信号に重み付けを行うことにより、前記色差信号の予測信号を生成する手段とを備えることを特徴とするプログラム。

Images