JP2012142886A - 画像符号化装置及び画像復号装置 - Google Patents

Abstract

【課題】符号化効率の高い画像符号化装置及び画像復号装置を提供する。
【解決手段】符号化済みの信号を基準にして、画素間の各種相関を利用した利用複数の予測方式を適応的に適用する。入力画素に対して、画面内予測などを行う第一の予測手段１０等により第一の残差及び予測情報を求め、直列的追加処理として第一の残差を予測する第二の予測手段２０等により第二の残差及び予測情報を求める一方、入力画素に対する並列的な追加処理として符号化対象画素を直接予測する第三の予測手段３０等により第三の残差および予測情報を求める。符号化コストに基づいて、第二の残差と第三の残差のいずれを符号化するかを決定し、第一の切替４０等にて信号を切り替える。
【選択図】図１

Description

本発明は、画像符号化装置及び画像復号装置に関し、特に、相関のある情報に対して複数の異なる予測方式を適応的に適用することで符号対象を予測し、予測残差を符号化する画像符号化装置及び画像復号装置に関する。

従来の画像符号化において符号化効率を向上させる方式として、空間冗長性を削減する方法がある。H.264における画面内予測符号化では、符号化済みの隣接画素を利用して対象ブロックの予測を行う。H.264に関しては、以下の非特許文献１等で開示されている。

以下の特許文献１は、符号化済みの隣接画素をテンプレートとして符号化済みの領域から類似する箇所を探索し、対象ブロックと同じ位置関係にある隣接領域を対象ブロックの予測値として利用することを提案している。

また、以下の特許文献２は、対象ブロックを複数に分割し、分割したブロックの一部を符号化および復号することで、残りの画素に対する予測に前記ブロックの一部を復号した画素を利用することを提案している。

さらに、以下の特許文献３は、隣接する画素間の高い相関を利用するため、ブロック間の隣接画素だけでなく対象ブロック内の隣接画素も予測値として利用することを提案している。

特開２００７−０４３６５１号公報 特開２００７−０７４７２５号公報 特開２００９−０４９９６９号公報

角野他，「Ｈ．２６４／ＡＶＣ教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年

H.264のIntra予測は符号化済みの近接する画素を基準として対象ブロックの予測値を生成するので、予測の基準となる画素から離れるほど大きな予測誤差が生じるという問題
が指摘されている。

特許文献１に開示された技術では、対象ブロックの予測に用いるブロックを指示するための場所を表す情報を格納する必要はないが、テンプレートとなる隣接画素同士が類似していたとしても、ブロック同士も類似するとは限らないため、予測精度が十分ではない恐れがある。

特許文献２に開示された技術では、分割した対象ブロックを予測する場合、最初に符号化するブロックの一部はH.264と同じ問題を抱える。

特許文献３に開示された技術では、隣接する画素が符号化されていない状態がある場合、原画像における隣接画素との差分値を符号化するため、量子化誤差が伝播する恐れがある。

本発明の目的は前述した従来技術の課題を解消し、符号化効率の高い画像符号化装置を提供することにある。

上記した従来技術の課題を解決するため、本発明は、予測を用いて符号化の単位ブロック毎に入力画像の符号化を行う画像符号化装置において、符号化済み信号を用いて再構成された再構成画素信号を用いて符号化対象ブロックを予測する第一の予測情報を決定する第一の予測手段と、前記第一の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第一の予測信号を求める第一の補償手段と、前記符号化対象ブロックの信号と前記第一の予測信号との差分を第一の残差信号として求める第一の差分手段と、符号化済み信号を用いて再構成された再構成残差信号を用いて前記第一の残差信号を予測する予測係数として第二の予測情報を決定する第二の予測手段と、前記第二の予測情報と前記再構成残差信号とにより前記第一の残差信号を予測する第二の予測信号を求める第二の補償手段と、前記第一の残差信号と前記第二の予測信号との差分を第二の残差信号として求める第二の差分手段と、前記再構成画素信号を用いて前記符号化対象ブロックを予測する予測係数として第三の予測情報を決定する第三の予測手段と、前記第三の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第三の予測信号を求める第三の補償手段と、前記符号化対象ブロックの信号と前記第三の予測信号との差分を第三の残差信号として求める第三の差分手段と、前記第二の残差信号と前記第三の残差信号との一方を単位ブロック毎に切り替えて選択する切替手段とを備え、当該選択された残差に直交変換、量子化、符号化を行うと共に、当該選択された残差に対応する予測情報を用いて前記再構成残差信号及び前記再構成画素信号を求め、当該予測情報を符号化することを特徴とする。

本発明の画像符号化装置によれば、符号化済みの信号を基準にして、画素間の各種相関を利用した利用複数の予測方式を適応的に適用することで、高い符号化効率が得られる。

本発明の画像符号化装置の機能ブロック図である。 図１の画像符号化装置に対応する画像復号装置の機能ブロック図である。 第二の予測手段等を適用するに際して利用される予測基準信号と被予測信号とを関係の例を説明する図である。 第二の予測手段等を適用するに際して利用される代表値と予測される信号と、当該代表値を算出するための小領域との関係の例を説明する図である。 第三の予測手段等を適用するに際して利用される代表値、予測される信号及び符号化済近傍領域など関係の例を説明する図である。

以下に、図面を参照して本発明を詳細に説明する。図１に本発明による画像符号化装置の機能ブロック図を示す。本発明の画像符号化装置は、複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた残差信号について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロック内の残差信号を符号化済の残差信号から予測する機能を並列的かつ直列的に付加した上で、適宜選択できる構成を特徴とするものである。

なお、入力画像信号（符号化されていない画素信号）の側から見た場合、並列的な付加とは図１に示す機能ブロック群１００（第一の予測手段１０、補償手段１１、蓄積手段１２、差分手段１３及び加算手段１４）と３００（第三の予測手段３０、補償手段３１、蓄積手段３２、差分手段３３及び加算手段３４）との関係であり、直列的な付加とは機能ブロック群１００と２００（第二の予測手段２０、補償手段２１、蓄積手段２２、差分手段２３及び加算手段２４）との関係である。本発明はこれらの機能ブロック群の連係に特徴を有する。

すなわち、本発明の画像符号化装置は、その機能の主要部分を担う構成として、図１に示すように、残差信号を直交変換で周波数領域に変換し直交変換係数を算出する変換手段１と、直交変換係数を量子化して量子化値とする量子化手段２と、量子化値及び適用された予測情報を可変長符号化し符号情報を算出する符号化手段５と、量子化値を逆量子化し直交変換係数を算出する逆量子化手段３と、逆量子化された直交変換係数を逆変換し残差信号を算出する逆変換手段４と、画素信号から冗長性を削減する予測情報を決定する第一の予測手段１０と、予測情報から予測信号を再構成する第一の補償手段１１とを備えた画像符号化装置に対して、画素信号又は残差信号から当該信号を予測する第二・第三の予測手段２０，３０と、予測信号を得る第二・第三の補償手段２１，３１と、両者および対応・付随する情報を適宜切り替える第一、第二、第三の切替手段４０，４１，４２とを備えて構成されている。

一方、本発明の画像復号装置は、その機能の主要部分を担う構成として、図２に示すように、符号情報を可変長復号し量子化値を算出する復号手段６と、量子化値を逆量子化し直交変換係数を算出する逆量子化手段７と、逆量子化された直交変換係数を逆変換し残差信号を算出する逆変換手段８と、格納された第一の予測情報及び復号した画素信号から予測信号を再構成する第一の補償手段５１とを備えた画像復号装置に対して、画素信号から当該信号を予測する第三の予測手段７０及び予測信号を得る第二・第三の補償手段６１，７１と、両者および対応・付随する情報を適宜切り替える第一、第二、第三の切替手段８０，８１及び８２を備えて構成されている。

以下、図１に示す本発明の画像符号化装置の各機能ブロックを説明する。

第一の差分手段１３は、入力画像信号（画素信号）と、第一の補償手段１１から送られる符号化済画素から予測された第一の予測信号との差分を計算する。差分して得られた第一の残差信号は、第二の予測手段２０及び第二の差分手段２３にそれぞれ送られる。

第二の差分手段２３は、第一の差分手段１３から送られる第一の残差信号と、第二の補償手段２１から送られる符号化済残差信号から予測された予測信号との差分を計算する。差分して得られた第二の残差信号は、第一の切替手段４０にて後述のように選択されると、変換手段１に送られる。

第三の差分手段３３は、入力画像信号（画素信号）と、第三の補償手段３１から送られる符号化済画素から予測された第三の予測信号との差分を計算する。差分して得られた第三の残差信号は、第一の切替手段４０にて後述のように選択されると、変換手段１に送られる。

第一の加算手段１４は、第二の加算手段２４から送られる残差信号と、第一の補償手段１１から送られる予測信号との合計を計算することで符号化済画素を再構成する。加算して得られた符号化済画素信号（再構成画素信号）は、第一の予測手段１０及び第一の補償手段１１にて参照して利用するために、第一の蓄積手段１２に保存される。

第二の加算手段２４は、第二の切替手段４１を介して逆変換手段４から送られる復号された残差信号と、第二の補償手段２１から送られる予測信号との合計を計算することで第一の残差信号を再構成する。加算して得られた第一の残差信号は、第二の蓄積手段２２と第一の加算器１４とに送られる。第二の蓄積手段２２では第一の残差信号を保存して、第二の予測手段２０と第二の補償手段２１とで参照利用できるようにする。

第三の加算手段３４は、第二の切替手段４１を介して逆変換手段４から送られる復号された残差信号と、第三の補償手段３１から送られる第三の予測信号との合計を計算することで符号化済画素を再構成する。加算して得られた符号化済画素信号（再構成画素信号）は、第三の蓄積手段３２へ送られて保存される。当該保存された符号化済画素信号を、第三の予測手段３０及び第三の補償手段３１が参照して利用する。

変換手段１へは、第二の差分手段２３または第三の差分手段３３から送られる第二または第三の残差信号のうちいずれかが第一の切替手段４０によって選択されて入力される。当該選択された残差信号は直交変換によって周波数領域に変換され、直交変換によって得られた変換係数を量子化手段２に出力する。直交変換としてはＤＣＴ乃至ＤＣＴの近似変換またはＤＷＴなどを利用することができる。

なお、本発明の画像符号化装置においては、入力画像の各ピクチャ（フレーム）は、予め規定された数の画素（例えば、３２×３２画素、１６×１６画素、８×８画素、４×４画素あるいはそれらの組み合わせ）から構成される単位ブロックに分割され、単位ブロック毎に符号化が行われる。

量子化手段２は、変換手段１から送られた変換係数を量子化する。量子化によって得られた量子化値は、符号化手段５及び逆量子化手段３に出力される。量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。

あるいは、量子化手段２における量子化パラメータの一実施形態として、予測の基準となる信号（チャネル）に関して量子化誤差が小さくなるように制御することで、全体としての性能を向上させることも可能である。当該予測の基準となる信号については、後述する。

符号化手段５は、量子化手段２から送られた量子化された変換係数、および第一乃至第三の予測手段から送られた第一乃至第三の予測情報を符号化し、符号情報として出力する。符号化には、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。

逆量子化手段３は、量子化手段２における量子化処理の逆の手順を行うことで、量子化手段２から送られた量子化された変換係数を逆量子化する。逆量子化によって得られた量子化誤差を含む変換係数は逆変換手段４に送られる。

逆変換手段４は、変換手段１における直交変換の逆の手順を行うことで、逆量子化手段から送られた量子化誤差を含む変換係数を逆直交変換する。逆変換によって得られた量子化誤差を含む残差信号は第二の切替手段４を介して第二の加算器２４又は第三の加算器３４のいずれかに送られる。

第二の切替手段４１では、逆変換手段４より送られてきた残差信号が機能ブロック群１００及び２００の処理を経た第二の残差信号に由来するものであれば第二の加算手段２４へ送り、当該残差信号が機能ブロック群３００の処理を経た第三の残差信号に由来するものであれば第三の加算手段３４へと送る選択処理を行う。

このような選択処理は第一の切替手段４０及び第三の切替手段４２と連動して行われ、図１に不図示の符号化装置の機能ブロック全体を制御する制御部などにより行われる。当該連動によって後述のように、第一・第二の切替手段４０，４１にて第二の残差信号を通過させた場合には第三の切替手段４２にて第一及び第二の予測情報を通過させ、第二の残差信号と第一及び第二の予測情報とがセットで符号化される。また、第一・第二の切替手段４０，４１にて第三の残差信号を通過させた場合には第三の切替手段４２にて第三の予測情報を通過させ、第三の残差信号と第三の予測情報とがセットで符号化される。このように、第一、第二、第三の切替手段４０，４１，４２は対応する信号と情報とが符号化されるように連動して切り替えを行う。デコーダ側の第一、第二、第三の切替手段８０，８１及び８２でも同様である。

第一の予測手段１０は、入力画素の冗長性を削減する予測情報を決定するものであり、第一の蓄積手段１２に保存された量子化誤差を含む符号化済画素（再構成画素）をもとに、入力信号を予測して近似するための第一の予測情報を決定する。決定された第一の予測情報は第一の補償手段１１へと、また第三の切替手段４２を介して符号化手段５へと送られる。第一の予測については、従来から利用されている各種方法を適用できる。

一例として、国際標準規格Ｈ．２６４のIntra予測を利用する場合は、各Intra予測モードで個別に符号化し、符号量と歪量とから重み和などとして算出される符号化コストを最小化するIntra予測モードを選択し、第一の予測情報とする。符号化コストを最小化する方式の詳細については、非特許文献１に記載されている。

第一の補償手段１１は、冗長性を予測して第一の予測信号を再構成するものであり、第一の予測手段１０から送られる第一の予測情報と第一の蓄積手段１２に保存された符号化済画素信号とから当該領域の予測信号を生成する。第一の予測信号は、エンコーダにおいては第一の差分手段１３及び第一の加算手段１４へ、デコーダにおいては第一の加算手段５４のみへ送られる。

次に、本発明の画像符号化装置の特徴的構成である機能ブロック群２００及び３００を経て変換手段１に入力される残差信号（第二及び第三の残差信号）の算出について、図１における関連する機能ブロックと共に説明する。

当該残差信号の算出にあたり、第二の予測信号及び第三の予測信号の算出が必要となる。第二の予測信号の算出は、機能ブロック群１００内における第一の予測手段１０及び第一の補償手段１１等に対応して、機能ブロック群２００内において第二の予測手段２０及び第二の補償手段２１等を設けることで行われる。第三の予測信号の算出は、機能ブロック群３００内において第三の予測手段３０及び第三の補償手段３１等を設けることで行われる。

第二の残差信号及び第三の残差信号はそれぞれに対応する符号化コストが比較され、符号化コストの少ない方を第一の切替手段４０が排他的に選択する。第二の残差信号に対応する符号化コストは第二の残差信号、第一の予測情報及び第二の予測情報の符号化コストであり、第三の残差信号に対応する符号化コストは第三の残差信号及び第三の予測情報に対応する符号化コストである。

本発明においては、予測手段の拡充により予測精度が高くなっているため、予測残差は小さくなる傾向があることを利用して、符号化コスト算出においては残差信号を強制的に無くした場合（残差信号の値をゼロとした場合）も含めて評価する実施形態も望ましい。すなわち、当該実施形態では上記第二、第三の残差信号に対応する符号化コスト（２種類）と、当該第二、第三の残差信号をゼロとした場合の残差信号に対応する符号化コスト（２種類）の計４種類の値を比較して最小コストのものを採用して変換・量子化・符号化を行う。当該処理は第一の切替手段４０などにおいて追加処理として行うことができる。

当該実施形態では既に充分小さい予測残差を符号化してわずかに歪量を抑えてわずかに画質を向上させるよりも、残差をゼロとして歪量はわずかに増えたとしても符号量が大きく減少できるような場合に、トータルの符号化コストとして有利な残差ゼロでの符号化を採用できるようになる。

以下、第二の予測手段２０、第二の補償手段２１、第三の予測手段３０及び第三の補償手段３１等の各機能について説明する。

第二の予測手段２０は、単位ブロック内の前記第一の残差信号に残存する冗長性を削減する第二の予測情報を決定するものである。第二の予測手段２０は、第二の蓄積手段２２に保存された量子化誤差を含む第一の残差信号から、第一の差分手段１３から送られた第一の残差信号を後述する方法で近似して予測する予測係数を算出する。算出された予測係数は、第二の予測情報として第二の補償手段２１へと、また第三の切替手段４２を経て符号化手段５に送られる。

ただし、入力された第一の残差信号が平坦であれば、第二の予測手段２０及び第二の補償手段２１は省略される。平坦であるかは、第一の残差信号の単位ブロック内の各値のばらつき（分散値など）が所定値未満又は以下など所定基準を満たすかによって判定する。平坦であると判定された場合、上記省略により第一の切替手段４０へと送る第二の残差信号として第一の残差信号の値のままの信号が用いられる。当該判定および省略の処理は前記不図示の制御部により行う。またこの場合、第二の予測情報としては当該省略を行った旨のフラグ情報を用いることで、復号側などでも第二の予測及び補償の処理を省略するよう制御させることができる。

上記以外の場合すなわち入力された第一の残差信号が平坦でない場合について、第二の予測手段２０による予測係数の算出、第二の補償手段２１による第二の予測信号の生成手順について以下に説明する。

まず前提として、第二の予測信号を生成するために用いる第二の蓄積手段２２に保存された第一の残差信号とは、図３に概念的に示すように当該符号化対象のブロックと同一時間のフレームにおける同一位置のブロックであって、且つ既に符号化済みの別チャネルの信号における第一の残差信号である。各信号チャネルとしては、RGB信号、YUV信号又はYCbCr信号などの任意の色空間に写像された信号における各空間軸を利用することができる。図３にはRGB信号の例を示してあり、(a1)に示すG信号フレームにおいて既に符号化されているブロック(a2)は、そのG信号の第一の残差信号を再構成したものを第二の蓄積手段２２にて参照できるようになっている。一方、符号化対象ブロック(b2)は当該(a2)と同一時刻フレーム内のR信号のフレーム(b1)内における同一位置のブロックである。そしてR信号ブロック(b1)の符号化に際して、第二の蓄積手段２２において参照する再構成された第一の残差信号とは、符号化済みG信号ブロック(a2)における第一の残差信号となる。

なおまた、前述の量子化手段２における、量子化誤差が小さくなるように量子化パラメータを制御する、予測の基準となる信号（チャネル）とは、図３に例を示したG信号のような、符号化対象ブロックの符号化対象チャネルよりも先に符号化されている信号（チャネル）である。本発明においてはこのような予測基準信号における残差信号を利用して別チャネルの被予測信号を符号化するので、予測基準信号を量子化誤差を小さくなるようにして高画質にしておけば、被予測信号も高精度で予測でき、トータルでの符号化コスト低減につながるという効果がある。図３の例におけるG信号のような信号を一般に予測基準信号、R信号のような信号を被予測信号と呼ぶ。

第二の予測手段２０において、予測係数による補正の一例として，第二の予測手段がアフィン予測で補正する場合、アフィン係数a_j(1≦j≦2)を第二の予測係数とすると、符号化済の第一の残差信号から後述のようにブロック内部の小領域ごとに、各画素位置に対する代表値g_iを算出し、当該ブロックの残差信号r_iを（数１）で予測する。

ここで、nはブロックの画素数を表す。

なお、代表値g_iには、当該画素位置における第一の残差信号の値をそのまま用いてもよいが、後述のようにノイズ耐性の観点からは、各小領域内での第一の残差信号の値より算出される値としての代表値を用いるのがよい。

代表値g_iと予測される残差信号r_i との例を図４に示す。図４において(a2)、(b2)は図３と同一であり、それぞれ符号化済みG信号のブロックと符号化対象R信号ブロックを示している。図４ではさらに、(a2)における符号化済み第一の残差信号が、機能ブロック群１００においてH.264の4×4画面内予測の予測モード０〜８のうち垂直方向に予測する予測モード０による残差信号である例を示している。すなわちA1（g₁〜g₄）、A2(g₅〜g₈)、A3(g₉〜g₁₂)及びA4(g₁₃〜g₁₆)はそれぞれ同一の(a2)上端隣接画素により予測された縦方向の４画素位置における、第一の残差信号の代表値g_iを示している。またこの例ではA1乃至A4を小領域として設定している。これら各画素位置に定義される代表値を用いて同位置の残差信号B1（r₁〜r₄）、B2(r₅〜r₈)、B3(r₉〜r₁₂)及びB4(r₁₃〜r₁₆)を予測する。

代表値の算出は、三板式カメラのように入力信号の相関が独立である場合（例えばRGB信号なら、R、G、B信号間で独立）には、ガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。あるいは、第一の予測情報に応じたノイズ特性に合わせたフィルタを適用することもできる。すなわち、図４の例であれば、垂直方向に予測しているので、例えばg₆の位置にある画素の第一の残差信号にノイズが乗っている場合、垂直方向の予測モード０により算出された第一の残差信号に対して、フィルタ処理により当該ノイズの影響が水平方向（例えばg₂の位置やg₁₀の位置）に及ぶのは好ましくない。よって当該(a2)の例であれば、フィルタ処理を各垂直方向の各小領域A1乃至A4内の画素毎に個別に行うようにする。小領域A1内であれば、g₁〜g₄の位置の残差信号につきフィルタ処理を施す。

なお、上記の第一の予測情報に応じたノイズ特性に合わせたフィルタ適用は、H.264の4×4画面内予測の予測モード０の例で説明したが、その他の例であっても同様に予測情報の方向に応じた領域毎にフィルタ処理を適用すればよいことは明らかである。例えばH.264の4×4画面内予測のその他の予測モードであれば、予測モード１なら水平方向の各領域に、予測モード２なら領域区別4×4単位ブロック全体を１つの領域としてフィルタを適用する。また予測モード３乃至８であれば斜めの予測方向に対応する各領域にフィルタを適用する。

予測係数a_jは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数a_jについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは（数２）で表される。

このとき、係数a_jによる2 乗誤差Eの偏微分は（数３）で表される。

2乗誤差Eを最小化するには（数３）が0になることが必要なので、係数a_jは（数４）で求められる。ただし、スペースの都合上、添え字iの表記は省略している。

あるいは、第二の予測手段が比例で補正する場合、比例係数a_j(j=1)を第二の予測係数とすると、アフィン予測の場合と同様に符号化済の第一の残差信号からブロック内部の小領域ごとに代表値g_iを算出し、当該ブロックの残差信号r_iを（数５）で予測する。代表値の算出には、上記説明と同様にガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。

ここで、nはブロックの画素数を表す。予測係数a_jは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数a_jについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは（数６）で表される。

このとき、係数a_jによる2乗誤差Eの偏微分は（数７）で表される。

2乗誤差Eを最小化するには（数７）が0になることが必要なので、乗数a_jは（数８）で求められる。ただし、スペースの都合上、添え字iの表記は省略している。

また、第二の予測手段２０は２次以上の多項式を予測式としてもよい。あるいは、第二の予測手段２０は複数の予測式を具備し、予測式を適宜切り替えることもできる。それぞれの予測式を適用したとき、最も符号化コストを小さくする組み合わせを選択する。この場合、選択した予測式を表す情報と予測係数とが第二の予測情報として符号化手段５へ送られる。

いずれの場合においても、重み係数w_iは任意に設定できる。ただし、第一の予測手段及び第一の補償手段において、ブロックの下端及び右端（図４の(b2)の例であれば、下端はr₄、r₈、r₁₂及びr₁₆の位置、右端はr₁₃、r₁₄、r₁₅及びr₁₆の位置）は、当該符号化対象ブロックよりも後の時点で符号化される近傍ブロックの予測と補償に用いられるため、画質をより高く維持しておくことが望ましい。すなわち、ブロックの下端及び右端の重み係数を相対的に高くすることで、当該箇所の画質を高く維持することができる。

なお、予測係数は単位ブロック全体につき一組だけ求めても、またフィルタ処理を施した各小領域毎に求めてもよい。図４の例であれば、ブロック(a2)全体からブロック(b2)全体を予測する一組の予測係数を求めてもよいし、小領域A1、A2、A3及びA4からそれぞれ対応する領域B1、B2、B3及びB4を予測する４組の予測係数を求めてもよい。符号量の観点からは、単位ブロック全体につき一組だけ予測係数を求めるように設定しておくのが好ましい。

第二の補償手段は、第二の予測信号を再構成するもので、第二の予測手段からの第二の予測情報と、第二の加算器からの第一の残差信号とから第二の予測信号を得る。生成された第二の予測信号は、第二の加算器及び第二の差分器に出力される。

上述の例で、第二の予測手段２０が予測関数としてアフィン予測を利用し、第二の予測情報が予測係数a_jから構成されている場合は、予測信号は（数９）で生成される。

第二の予測信号は、エンコーダにおいては第二の差分手段２３及び第二の加算手段２４へ、デコーダにおいては第二の加算手段６４のみへ送られる。

第三の予測手段３０は、前記単位ブロック内の入力画素に存在する冗長性を削減する第三の予測情報を決定するものである。

第三の予測手段３０は、まず第三の蓄積手段３２に保存された量子化誤差を含む第三の残差信号から、画素信号を後述する方法で近似する予測係数を算出する。算出された予測係数は、第三の予測情報として第三の補償手段３１及び符号化手段５に送られる。

以下、第三の予測手段３０による予測係数の算出、第三の補償手段による第三の予測信号の生成手順について説明する。なお前提として、第三の予測手段３０においても、第二の予測手段２０において図３を用いて説明したように、符号化対象ブロック(b2)の符号化に際して前もって同時刻フレーム同位置のブロックで別チャネルにて符号化済みのブロック(a2)があるものとする。

第三の予測手段３０において、予測係数による補正の一例として，第三の予測手段が符号化済近傍画素から画素信号を予測する場合を図５を用いて説明する。図５では、図３の例で用いたのと同様の、符号化済みブロック(a2)を有するG信号フレーム(a1)と、(a2)と時刻及び位置が共通で信号チャネルの異なる符号化対象ブロック(b2)を有するR信号フレーム(b1)とを示している。

第三の予測手段３０では符号化対象ブロック(b2)に隣接する近傍に存在し且つ符号化済みの符号化済近傍画素(b3)と、当該(b3)のフレーム(a1)における同位置の符号化済近傍画素(a3)とを利用する。そして、符号化済近傍画素(a3)と(b3)との対応関係が当該ブロック(a2)と(a3)の対応関係に相当すると仮定して、第二の予測手段２０と同様の予測係数を符号化済近傍画素(a3)と(b3)とから算出し、当該ブロック(a2)と(a3)とに適用する。

すなわち、図５(c)の(c1)に示すように、領域(a3)の各画素信号値に基づいて（数１）乃至（数８）における代表値g_iを算出する。また当該(a3)の各画素位置に対して算出された代表値g_iを用いて、同位置にある(b3)の信号r_iを予測することにより予測係数を求める。そして、(c2)に示すように、当該符号化済近傍画素領域(a3)より(b3)を予測する予測係数を用いて、符号化済ブロック(a2)から符号化対象ブロック(b2)を予測する。

第二の予測手段２０との相違点は、処理対象領域が符号化対象ブロックの位置かその近傍符号化済画素領域かと、処理対象が第一の残差信号か画素信号かという点と、予測係数を保持するか否かにある。すなわち、第三の予測手段３０は、(c2)に示したように画素信号を直接予測することから、また(c1)に示したように符号化済領域である(a3)と(b3)とから予測係数が算出できるので復号処理でも同様にすることで予測係数を保持する必要がないことから、予測情報の符号量を低減できる。

また、第三の予測手段３０は、予測係数を保持しないことから、予測係数の符号量を増加させずに、画素信号ごとに異なる予測係数を適用することができる。例えば、処理対象ブロックの各画素信号ごと、当該ブロック内の小領域ごと又は当該ブロックごとの予測係数を算出する際に、当該画素から近傍画素までの距離や当該画素値と近傍画素との差分に応じて重み係数を設定することで予測係数を変化させることが可能となる。近傍画素の領域と符号化対象ブロックとのいずれか又は両者を小領域に区切って適宜対応づけを行い、当該対応づけごとに予測係数を設定することができる。また符号化対象ブロックの各小領域に対して予測係数を求めるよう設定し、ブロック全体で複数組の予測係数を求めることとなっても、第二の予測手段２０の場合と異なり、符号量の増加が生ずることはない。

さらに、第三の予測手段３０は、予測係数を保持しないことから、予測係数に量子化誤差が発生せず予測精度を高く保つことができる。第三の予測手段３０は予測係数を符号化する必要がないため、より高次の多項式を利用しても符号量が比較的増加しないことを利用して、精度を向上させることができる。例えば、予測係数による補正の一例として、第三の予測手段３０が2次式で補正する場合、係数a_j(1≦j≦3)を第三の予測係数とすると、符号化対象ブロックの近傍に位置する符号化済の画素信号から第二の予測手段２０と同様に小領域ごとに、又は近傍画素の領域全体で代表値g_iを算出し、当該ブロックの近傍に位置する符号化済の画素信号r_iを（数１０）で予測する。代表値の算出には、当該小領域又は近傍画素領域全体でガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。

ここで、nはブロックの画素数を表す。予測係数a_jは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数a_jについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは（数１１）で表される。

このとき、係数a_jによる2乗誤差和Eの偏微分は（数１２）で表される。

2乗誤差Eを最小化するには（数１２）の各式が0になることが必要なので、乗数a_jは（数１３）で求められる。ただし、スペースの都合上、添え字iの表記は省略している。

あるいは、第三の予測手段３０がアフィン予測または比例で補正する場合、（数１）、（数５）のr及びgを、当該ブロックの近傍に位置する符号化済の画素信号と、符号化対象ブロックの近傍に位置する符号化済の画素信号から小領域ごと等に算出した代表値と置き換えることで同様に処理できる。

なお、第三の予測手段３０における符号化済近傍画素の領域は、図５の(a3)や(b3)のような、対象ブロックの左側の所定数の列と、上側の所定数の行と、当該行列の交差箇所に相当し対象ブロックに対して対角部分となる箇所、を合わせた所定領域としてもよいし、当該領域の一部分のみであってもよい。対象ブロックに左側で又は上側で接するブロックまたはその一部であってもよい。フレーム端部の位置で参照できない箇所がある場合は参照箇所を適宜切り替えるようにする、又は参照できる部分のみ利用するようにしてもよい。また、当該領域の設定に、以下の非特許文献２に開示された技術を用いてもよい。

（非特許文献２）Y.-H. Kim, B. Choi and J. Paik: "High-fidelity RGB Video Coding using Adaptive Inter-plane Weighted Prediction", IEEE Transactions on Circuits and Systems for Video Technology, 19, 7, pp. 1051--1056 (2009).

第三の補償手段３１は、第三の予測信号を再構成するもので、第三の予測手段３０からの第三の予測情報と、第三の蓄積手段３２に保存された符号化済画素信号（再構成画素信号）とから第三の予測信号を得る。生成された第三の予測信号は、第三の加算手段３４及び第三の差分手段３３に出力される。

上述の例で、第三の予測手段３０が予測関数として2次式を利用し、第三の予測情報が予測係数a_jから構成されている場合は、予測信号は（数１０）で生成される。

第三の予測信号は、エンコーダにおいては第三の差分手段３３及び第三の加算手段３４へ、デコーダにおいては第三の加算手段７４のみへ送られる。

以上、図１に示す画像符号化装置の各機能ブロックについて説明した。ここで、図３や図５で例としてG信号とR信号とを用いて説明したような、本発明における予測基準信号と被予測信号との処理の流れにつき説明する。ある単位ブロックに対して、信号を構成する各チャネルのうちまず最初に予測基準信号が符号化される。当該予測基準信号の符号化に際しては、当該処理対象の単位ブロックにおいて別チャネルの信号は符号化されていない状態であるので、入力画像信号に対して第二の予測手段２０と第三の予測手段３０とは適用できない。よって、機能ブロック群１００のみでの符号化が行われ、機能ブロック群２００及び３００での処理は省略される。

当該省略のためのスキップ処理には、前述の、入力された第一の残差信号が平坦である際の、第二の予測手段２０及び第二の補償手段２１が省略される場合の処理と同様な処理を利用できる。すなわち、第一の残差信号がそのままの値で（形式上は第二の残差信号として）符号化され、同時に、第一の予測情報と、第一の残差信号の値がそのまま第二の残差信号となっている旨の情報としての第二の予測情報とが符号化される。代わりに第一又は第二の予測情報に追加して予測基準信号であり第一の残差信号となる旨の情報を加えてもよい。これによってデコーダ側でも対応した処理が行える。

当該予測基準信号の符号化により、当該ブロックの再構成画素信号が第一の蓄積手段１２及び第三の蓄積手段３２へ、また当該ブロックの再構成残差信号が第二の蓄積手段２２へと保存される。

このような状態になってから、当該ブロックの被予測信号のチャネルの符号化が行われる。被予測信号に対する符号化処理は図１に関して説明してきた通りであるが、特に第一の蓄積手段１２では（予測基準信号も利用できるが）被予測信号自身の再構成画素信号が保存されて利用される。また第二及び第三の蓄積手段２２及び３２では前述のように当該ブロックで既に符号化済みの予測基準信号における再構成残差信号及び再構成画素信号が利用される。なお、各蓄積手段１２、２２、３２では、各時点において予測に必要な画素ブロック分を保持しておけばよい。

上述した構成の画像符号化装置によれば、変換手段１で各単位ブロックの符号化対象領域の画素についての変換を行うに際して、第二の差分手段２３または第三の差分手段３３から入力される第二または第三の残差信号に基づいて空間的に対応する各画素の差分値を変換し、量子化手段２及び符号化手段５により符号化される。

ここで、変換手段１に入力される残差信号は、第一の予測・補償を経て得られた残差信号か、第一の予測・補償及び第二の予測・補償を経て得られた残差信号か、若しくは第三の予測・補償を経て得られた残差信号の中から適宜選択される。すなわち、異なる予測・補償手段を適応的に選択することによって、符号化済画素信号から当該ブロックの信号を予測して情報量を削減する信号予測を採用することで、高い符号化効率が可能となる。

一方、以上の図１の説明と対応付けて、図２に示す本発明の画像復号装置の各機能ブロックを説明する。復号手段６は画像符号装置の符号化手段５により符号化された符号情報を復号して量子化値を得る。当該量子化値に対して、逆量子化手段７及び逆変換手段８を施すことで、前記第一ないし第三の予測情報と前記第二または第三の残差が得られる。逆量子化手段７及び逆変換手段８は符号化装置の逆量子化手段３及び逆変換手段４と同様の機能である。

その他、第一の補償手段５１、第一の蓄積手段５２及び第一の加算手段５４は符号化装置における第一の補償手段１１、第一の蓄積手段１２及び第一の加算手段１４と同じ機能である。第二の補償手段６１、第二の蓄積手段６２及び第二の加算手段６４は符号化装置における第二の補償手段２１、第二の蓄積手段２２及び第二の加算手段２４と同じ機能である。第三の補償手段７１、第三の蓄積手段７２及び第三の加算手段７４は符号化装置の第三の補償手段３１、第三の蓄積手段３２及び第三の加算手段３４と同じ機能である。なお図１の説明にて述べたように各補償手段の出力は符号化装置では加算手段および差分手段に送られるが、復号装置では加算手段にのみ送られる。

また、第一、第二、第三の切替手段８０，８１，８２も符号化装置における第一、第二、第三の切替手段４０，４１，４２と同様に機能するが、第一の切替手段は符号化装置におけるような第二残差信号と第三残差信号との切替を行う代わりに、対応する補償手段及び加算手段より送られてきた画素信号を出力する役割を果たす。なお、符号化装置において説明したように、復号装置では予測手段としては予測係数が符号化されていない第三の予測手段７０のみが必要となり、第一、第二の予測手段は必要ない。

１…変換手段、２…量子化手段、３…逆量子化手段、４…逆変換手段、５…符号化手段、１０…第一の予測手段、１１…第一の補償手段、２０…第二の予測手段、２１…第二の補償手段、３０…第三の予測手段、３１…第三の補償手段

Claims (12)

1. 予測を用いて符号化の単位ブロック毎に入力画像の符号化を行う画像符号化装置において、
   符号化済み信号を用いて再構成された再構成画素信号を用いて符号化対象ブロックを予測する第一の予測情報を決定する第一の予測手段と、
   前記第一の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第一の予測信号を求める第一の補償手段と、
   前記符号化対象ブロックの信号と前記第一の予測信号との差分を第一の残差信号として求める第一の差分手段と、
   符号化済み信号を用いて再構成された再構成残差信号を用いて前記第一の残差信号を予測する予測係数として第二の予測情報を決定する第二の予測手段と、
   前記第二の予測情報と前記再構成残差信号とにより前記第一の残差信号の第二の予測信号を求める第二の補償手段と、
   前記第一の残差信号と前記第二の予測信号との差分を第二の残差信号として求める第二の差分手段と、
   前記再構成画素信号を用いて前記符号化対象ブロックを予測する予測係数として第三の予測情報を決定する第三の予測手段と、
   前記第三の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第三の予測信号を求める第三の補償手段と、
   前記符号化対象ブロックの信号と前記第三の予測信号との差分を第三の残差信号として求める第三の差分手段と、
   前記第二の残差信号と前記第三の残差信号との一方を単位ブロック毎に切り替えて選択する切替手段とを備え、当該選択された残差に直交変換、量子化、符号化を行うと共に、当該選択された残差に対応する予測情報を用いて前記再構成残差信号及び前記再構成画素信号を求め、さらに当該予測情報を符号化することを特徴とする画像符号化装置。
2. 前記切替手段は、前記第二の残差信号と前記第三の残差信号との一方を選択するに際して、それぞれ前記第一の予測情報、前記第二の予測情報及び前記第二の残差の符号化コストと、前記第三の予測情報及び前記第三の残差の符号化コストとを比較し、当該符号化コストの低い方を選択することを特徴とする請求項１に記載の画像符号化装置。
3. 前記切替手段は、前記符号化コストを比較するに際して、前記第二の残差及び前記第三の残差の値をゼロとした場合も含めて比較を行い、当該ゼロとした場合の符号化コストが最も低いときは、対応する残差信号の値をゼロとして符号化を行うことを特徴とする請求項２に記載の画像符号化装置。
4. 前記第二の予測手段及び前記第二の補償手段で用いられる再構成残差信号と、前記第三の予測手段及び前記第三の補償手段で用いられる再構成画素信号とが、前記符号化対象ブロックにおける符号化対象の第一のチャネル信号とは別に、当該符号化対象ブロックにおいて既に符号化されている第二のチャネル信号に基づいて再構成された信号であることを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
5. 前記第一の予測手段が画面内予測を用いて画面内予測モードの情報として前記第一の予測情報を決定することを特徴とする請求項１ないし４のいずれかに記載の画像符号化装置。
6. 前記第二の予測手段及び前記第三の予測手段は、それぞれ、前記再構成残差信号及び前記再構成画素信号に対して符号化の単位ブロック内の小領域毎に代表値を求めてから、符号化対象ブロックの前記第二の予測情報および前記第三の予測情報を決定することを特徴とする請求項１ないし５のいずれかに記載の画像符号化装置。
7. 前記代表値が、前記小領域毎での前記再構成残差信号及び前記再構成画素信号に対するフィルタ処理に基づく代表値であることを特徴とする請求項６に記載の画像符号化装置。
8. 前記第二の予測手段及び前記第三の予測手段は、それぞれ、前記第二の残差信号及び前記第三の残差信号の各画素位置における重み付き二乗和を最小とするように、前記第二の予測情報及び前記第三の予測情報を決定し、当該二乗和の重み係数を、以降符号化される単位ブロックの予測で参照される画素位置について相対的に高く設定することを特徴とする請求項１ないし７のいずれかに記載の画像符号化装置。
9. 前記第二の予測手段及び前記第二の補償手段は、前記第一の残差信号が平坦である場合は省略されることで、前記第二の残差信号として前記第一の残差信号と同じ値の信号が採用され、当該省略を適用した旨の情報を前記第二の予測情報とすることを特徴とする請求項１ないし８のいずれかに記載の画像符号化装置。
10. 前記第二の予測手段及び前記第三の予測手段が多項式予測における係数として前記第二の予測情報および前記第三の予測情報を求めることを特徴とする請求項１ないし９のいずれかに記載の画像符号化装置。
11. 前記第三の予測手段は、前記符号化対象ブロックの近傍にあり且つ符号化済みである符号化済近傍領域を用いて前記第三の予測係数を求め、前記第三の予測情報の符号化に際しては、当該第三の予測手段が適用された旨の情報のみが符号化され、前記第三の予測係数は符号化されないことを特徴とする請求項１ないし１０のいずれかに記載の画像符号化装置。
12. 請求項１ないし１１のいずれかに記載の画像符号化装置により符号化された符号情報を復号する画像復号装置であって、
    前記符号情報を前記第一ないし第三の予測情報と前記第二または第三の残差とに復号する復号手段と、
    復号済画素信号と前記第一の予測情報とを用いて前記第一の予測信号を再構成する第一の復号側補償手段と、
    復号済残差信号と前記第二の予測情報とを用いて前記第二の予測信号を再構成する第二の復号側補償手段と、
    前記復号済画素信号と前記第三の予測情報とを用いて前記第三の予測係数を再構成する第三の復号側予測手段と、
    前記第三の予測係数と前記復号済画素とを用いて前記第三の予測信号を再構成する第三の復号側補償手段とを備え、
    前記復号手段にて前記第一および第二の予測情報と前記第二の残差が復号された場合に、前記第二の予測信号と前記第二の残差とを加算して前記第一の残差を再構成し、当該第一の残差と前記第一の予測信号とを加算して画素信号を復号し、
    前記復号手段にて前記第三の予測情報と前記第三の残差が復号された場合に、前記第三の残差と前記第三の予測信号とを加算して画素信号を復号することを特徴とする画像復号装置。

Images