JP2013009241A - 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム - Google Patents

Abstract

【課題】動き補償画面間予測における予測誤差エネルギーを低減させ，符号化効率の改善を図る。
【解決手段】小数精度の動き補償において，小数精度画素位置の補間位置グループごとに複数のフィルタ係数の重み付き和を計算して，予測誤差エネルギーを最小化する最適な重み付きフィルタ係数を求める。その重み付きフィルタ係数を用いて参照画像に補間フィルタを適用することにより動き補償を実施する。重み付きフィルタ係数と補間フィルタ係数とを符号化して符号化ビットストリームに加える。
【選択図】図４

Description

本発明は，映像符号化における補間フィルタの性能改善を図り，符号化効率を改善する映像符号化／復号技術に関するものである。

映像符号化において，異なる画面間で予測を実行する画面間予測（動き補償）符号化では，すでに復号されたフレームを参照して，予測誤差エネルギーを最小にする動きベクトルが求められ，その予測誤差信号（残差信号とも呼ばれる）が直交変換される。その後，量子化が施され，エントロピー符号化を経て，最終的にバイナリーデータ，すなわちビットストリームとなる。符号化効率を高めるためには予測誤差エネルギーの低減が不可欠であり，予測精度の高い予測方式が求められる。

映像符号化標準方式には，数多くの画面間予測の精度を高めるためのツールが導入されている。例えばＨ．２６４／ＡＶＣでは，直近のフレームにオクルージョンが存在する場合には，時間的に少し離れたフレームを参照したほうが予測誤差エネルギーを低減できるため，複数のフレームを参照可能としている。本ツールを複数参照フレーム予測と呼ぶ。また，複雑な形状の動きにも対応可能とするために，１６×１６および８×８に加えて，１６×８，８×１６，８×４，４×８，４×４のように，ブロックサイズを細かく分割可能としている。本ツールを可変ブロックサイズ予測と呼ぶ。

これらと同様に，参照フレームの整数精度画素から６タップのフィルタを用いて１／２精度の画素を補間し，さらにその画素を利用して１／４精度の画素を線形補間で生成する。これにより，小数精度の動きに対して予測が当たるようになる。本ツールを１／４画素精度予測と呼ぶ。

Ｈ．２６４／ＡＶＣよりも符号化効率の高い次世代映像符号化標準方式の策定に向け，国際標準化組織ＩＳＯ／ＩＥＣ“ＭＰＥＧ”およびＩＴＵ−Ｔ“ＶＣＥＧ”が共同で検討チーム（Joint Collaborative Team for Video Coding:ＪＣＴ−ＶＣ）を設立した。次世代標準方式は，高能率映像符号化方式（High Efficiency Video Coding: ＨＥＶＣ）と呼ばれ，現在世界各国から様々な新規符号化技術が集められ，ＪＣＴ−ＶＣ会合にて審議されている。

その中で，特に画面間予測（動き補償）に関連する提案は多くなされており，ＨＥＶＣ用参照ソフトウェア（HEVC test Model:ＨＭ）には，動きベクトルの予測効率を改善するツールや，ブロックサイズを１６×１６以上に拡張するツールが採用されている。

また，小数精度画素の補間精度を高めるツールも提案されており，補間フィルタ係数をＤＣＴ係数の基底から導出したＤＣＴベース補間フィルタ（DCT-based Interpolation Filter: ＤＣＴ−ＩＦ）は効果が高く，ＨＭに採用されている。さらに補間精度を上げるため，補間フィルタ係数をフレーム単位で適応的に変化させる補間フィルタも提案されており，適応補間フィルタ（Adaptive Interpolation Filter:ＡＩＦ）と呼ばれる。適応補間フィルタは符号化効率改善の効果が高く，ＶＣＥＧ主導で作成された次世代映像符号化向け参照ソフトウェア（Key Technical Area: ＫＴＡ）にも採用されている。符号化効率向上の寄与が高いため，補間フィルタの性能改善は非常に期待される領域である。

従来の補間フィルタについて，さらに詳しく説明する。

〔固定的補間〕
図８は，Ｈ．２６４／ＡＶＣにおける小数精度の画素補間方法を示す図である。Ｈ．２６４／ＡＶＣにおいては，図８に示すように１／２画素位置の補間時は，対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。垂直方向については上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は，それぞれ［（１，−５，２０，２０，−５，１）／３２］となっている。１／２画素位置が補間された後，１／４画素位置は［１／２，１／２］の平均値フィルタを用いて補間を行う。一度，１／２画素位置をすべて補間して求める必要があるため，計算複雑度は高いものの，性能の高い補間が可能となり，符号化効率向上を導いている。以上の固定フィルタによる補間の技術は，非特許文献１等に示されている。

Ｈ．２６４／ＡＶＣの１次元６タップフィルタのように，係数値が全入力画像および全フレームに対して同じ値を用いるフィルタは，固定補間フィルタ（Fixed Interpolation Filter）と呼ばれる。

Ｈ．２６４／ＡＶＣに採用されている補間フィルタの性能をさらに改善する方式として，ＨＥＶＣ用参照ソフトウェアＨＭでは，ＤＣＴベース補間フィルタ（ＤＣＴ−ＩＦ）が採用されている。このＤＣＴベース補間フィルタの小数精度の画素補間方法を，図９に示す。図９のように，小数精度位置における補間対象画素をｐ，整数位置画素をｐ_x ，ｐの位置を示す整数位置画素間パラメータをα（０≦α≦１）とする。このとき，補間に使用する整数位置の画素数，すなわちタップ長を２Ｍ（Ｍは１以上の整数値）とする。ＤＣＴ変換の定義式より，式(1) が成立する。

また，逆ＤＣＴ変換の定義式より，式(2) が成立する。

ｘを位置とみなすことにより，小数位置αにおける画素補間式は以下の式(3) となる。

式(3) より，補間に用いるタップ長２Ｍおよび補間対象位置αが定まれば，一意に係数を導出することができる。以上の議論から得られる補間フィルタの事例を表１および表２にまとめる。以上の詳細については，非特許文献２に示されている。

このＤＣＴベース補間フィルタは，任意のフィルタ長および補間精度に対応でき，性能の高い補間フィルタであるため，ＨＥＶＣ用テストモデルＨＭに採用されている。

〔適応的補間〕
Ｈ．２６４／ＡＶＣでは，入力画像条件（シーケンス種類／画像サイズ／フレームレート）や符号化条件（ブロックサイズ／ＧＯＰ構造／ＱＰ）に関わらず，フィルタ係数値は一定である。フィルタ係数値が固定である場合，例えば，エイリアシング，量子化誤差，動き推定による誤差，カメラノイズといった時間的に変化する効果が考慮されていない。したがって，符号化効率の点で性能向上に限界があると考えられる。そこで，補間フィルタ係数を適応的に変化させる方式が非特許文献３では提案されており，非分離型の適応補間フィルタと呼ばれている。

本方式では，２次元の補間フィルタ（６×６の計３６フィルタ係数）を考えており，予測誤差エネルギーを最小にするようにフィルタ係数が決定される。Ｈ．２６４／ＡＶＣに用いられている１次元６タップの固定補間フィルタを用いるよりも高い符号化効率が実現できたが，フィルタ係数を求める上での計算複雑度が非常に高いため，その計算複雑度を低減するための提案が非特許文献４で紹介されている。

非特許文献４で紹介されている手法は分離型適応補間フィルタ（ＳＡＩＦ：Separable Adaptive Interpolation Filter ）と呼ばれ，２次元の補間フィルタを用いるのではなく，１次元の６タップ補間フィルタを用いる。

図１０は，分離型適応補間フィルタ（ＳＡＩＦ）における小数精度の画素補間方法を示す図である。手順としては，図１０（Ｂ）のＳｔｅｐ１に示すように，まず水平方向の画素（ａ，ｂ，ｃ）を補間する。フィルタ係数の決定には整数精度画素Ｃ１からＣ６が用いられる。式(4) の予測誤差エネルギー関数Ｅ_h ² を最小化するような水平方向フィルタ係数が，一般に知られた最小二乗法（非特許文献３参照）により，解析的に決定される。

ここで，Ｓは原画像，Ｐは復号済参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ（〜はｘの上に付く記号；他も同様）は，
〜ｘ＝ｘ＋ＭＶ_x −FilterOffset
であり，ＭＶ_x は事前に得られた動きベクトルの水平成分， FilterOffset は調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y となり，ＭＶ_y は動きベクトルの垂直成分を示す。ｗ_ciは求めるべき水平方向フィルタ係数群ｃ_i （０≦ｃ_i ＜６）を示す。

式(4) を求めるフィルタ係数と同じ数の一次方程式が得られることになり，最小化処理は，水平方向の各小数画素位置ごとに独立に実施される。この最小化処理を経て，３種類の６タップフィルタ係数群が求まり，そのフィルタ係数を用いて小数画素ａ，ｂ，ｃが補間される。

水平方向の画素補間が完了した後，垂直方向の補間処理を実施する。水平方向と同様の線形問題を解くことで垂直方向のフィルタ係数を決定する。具体的には，式(5) の予測誤差エネルギー関数Ｅ_V ² を最小化するような垂直方向フィルタ係数が，解析的に決定される。

ここで，Ｓは原画像，＾Ｐ（＾はＰの上に付く記号）は復号後に水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶ_x ）で表現され，ＭＶ_x は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y −FilterOffset で表現され，ＭＶ_y は動きベクトルの垂直成分， FilterOffset は調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗ_cjは求めるべき垂直方向フィルタ係数群ｃ_j （０≦ｃ_j ＜６）を示す。

最小化処理は各小数精度画素ごとに独立に実施され，１２種類の６タップフィルタが得られる。このフィルタ係数を用いて，残りの小数精度画素が補間される。

以上より，合計９０（＝６×１５）のフィルタ係数を符号化して復号側に伝送する必要がある。特に低解像度の符号化については，このオーバーヘッドが大きくなるため，フィルタの対称性を用いて，伝送すべきフィルタ係数を削減している。例えば，図１０では，ｂ，ｈ，ｉ，ｊ，ｋの位置は，補間方向に関して各整数精度画素から中心に位置しており，水平方向であれば，左３点に用いる係数を反転させて右３点に適用できる。同様に，垂直方向であれば，上３点に用いる係数を反転させて下３点に適用できる（ｃ₁ ＝ｃ₆ ，ｃ₂ ＝ｃ₅ ，ｃ₃ ＝ｃ₄ ）。

他にもｄとｌの関係はｈを挟んで対称となっているため，フィルタ係数もそれぞれ反転して利用できる。すなわち，ｄの６係数を伝送すれば，その値をｌにも適用できる。ｃ（ｄ）₁ ＝ｃ（ｌ）₆ ，ｃ（ｄ）₂ ＝ｃ（ｌ）₅ ，ｃ（ｄ）₃ ＝ｃ（ｌ）₄ ，ｃ（ｄ）₄ ＝ｃ（ｌ）₃ ，ｃ（ｄ）₅ ＝ｃ（ｌ）₂ ，ｃ（ｄ）₆ ＝ｃ（ｌ）₁ となる。この対称性は，ｅとｍ，ｆとｎ，そしてｇとｏにも利用可能となる。ａとｃについても同様の理論が成立するが，水平方向は垂直方向の補間にも結果が影響を及ぼすため，対称性は用いずに，ａとｃはそれぞれ別々に伝送を行う。以上の対称性を利用した結果，フレームごとに伝送すべきフィルタ係数は５１（水平方向が１５，垂直方向が３６）となる。

以上，非特許文献４の適応補間フィルタは，予測誤差エネルギーの最小化処理の単位がフレームで固定されていた。１枚のフレームに対して，５１のフィルタ係数が決定される。符号化対象フレームが仮に大きな２種類（もしくは複数種類の）テクスチャ領域Ａ，Ｂに分けられる場合，最適なフィルタ係数はその両者（すべてのテクスチャ）を考慮した係数群になる。Ａの領域では本来垂直方向のみ特徴的なフィルタ係数が出ていたとして，Ｂの領域で水平方向のみフィルタ係数が得られるような状況では，その両方が平均化された形でフィルタ係数が導出される。

１枚のフレームにつき１つのフィルタ係数群（５１係数）に限定されずに，画像の局所的性質に応じて，領域分割を行い，分割された領域ごとに補間フィルタ係数を生成して，予測誤差エネルギーの低減を達成し，符号化効率の改善を実現する方法が，非特許文献５にて提案されている。

また，非特許文献４の適応補間フィルタの性能改善を目的として，補間位置ごとにグルーピングを行い，予測誤差エネルギーを低減できるように，そのグループ単位で固定補間フィルタと適応補間フィルタの選択をして補間画像を生成する技術が提案されている（非特許文献６参照）。

特開２０１１−８２７２５号公報

大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦："Ｈ．２６４／ＡＶＣ教科書改訂三版"，インプレス, pp.119-123，2009 Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A124 r2, pp. 12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010 Y. Vatis, B. Edler, D. T. Nguyen , J. Ostermann: "Moiton-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter", Proc. ICIP2005, IEEE International Conference on Image Processing, pp. II 894-897, Genova, Italy, Sep. 2005 S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp. 2500-2503, San Diego, California, USA, Oct. 2008 Shohei Matsuo, Yukihiro Bandoh, Seishi Takamura, Hirohisa Jozawa: "Enhanced region-based adaptive interpolation filter" , Proc. PCS2010, IEEE Picture Coding Symposium, pp. 526-529, Nagoya, Japan, Dec. 2010 Faouzi Kossentini, Nader Mahdi, Hsan Guermazi, Mohammed Ali Ben Ayed: "An Adaptive Interpolation Filtering Technique", JCTVC-E284, 5th JCT-VC Meeting, Geneva,Mar. 2011

非特許文献４や非特許文献５に記載の補間フィルタでは，補間位置ごとに補間フィルタを切り替える機能がなく，動き補償の性能向上に改善の余地がある。

非特許文献６に記載の補間位置適応性を有する補間フィルタは，補間する位置ごとに事前に定義された固定補間フィルタを用いるか，フレーム単位で導出した適応補間フィルタを用いるかを判断する。フィルタ選択は予測誤差エネルギー最小化の観点で選択され，どちらかを必ず選択する方式となっている。

複数の補間フィルタから選択することで符号化効率の向上を狙うには，補間フィルタの選択に幅があるほうが，より予測誤差エネルギーを最小化できると考えられる。しかしながら，非特許文献６に記載の方法は，二者択一の選択となっており，性能向上には限界があると考えられる。複数の補間フィルタの重み付き和を選択範囲に入れることで，より予測誤差エネルギーの低減を実現する補間フィルタを設計できれば，符号化効率の改善が実現可能である。

本発明は，上記課題の解決を図り，補間フィルタの選択に幅を持たせることにより，動き補償画面間予測における予測誤差エネルギーを従来技術よりも低減させ，符号化効率を改善させる新しい方式を提供することを目的とする。

上記目的を達成するための方法として，本発明は，複数の補間フィルタの重み付き和が，より予測誤差エネルギーを低減できるという想定に基づき，重み付き補間フィルタを補間画像生成の選択に加える。重み付き補間フィルタが予測誤差エネルギーを最小化すると判断された場合には，重み係数を伝送する。本手段を用いることで，より柔軟に補間予測画像を生成することが可能となり，予測誤差エネルギーの低減によって，符号化効率の改善が実現される。

本発明では，小数精度の動き補償を用いる映像符号化において，例えば以下の処理を行う。
・小数精度画素の補間位置をあらかじめ指定された方法または他の何らかの方法により複数にグループに分ける。
・補間位置のグループごとに，複数の補間フィルタセットから複数のパラメータを用いて重み付きフィルタ係数を導出する。
・重み付きフィルタ係数の中で，予測誤差エネルギーを最小化する重み付きフィルタ係数を選択する。
・重み付きフィルタ係数による補間フィルタの適用により，参照画像に対する小数精度画素の補間を行い，小数精度の動き補償により入力画像を符号化する。
・選択された重み付きフィルタ係数の重み値を指定する重みパラメータと動き補償に用いた補間フィルタ係数とを符号化し，符号化ビットストリームに加える。

また，本発明では，小数精度の動き補償を用いる映像復号において，例えば以下の処理を行う。
・補間位置のグループごとに，補間フィルタ係数の重み値を指定する重みパラメータと小数精度画素生成のための補間フィルタ係数を復号する。
・復号された重みパラメータを用いて復号された補間フィルタ係数の重み和により定まる重み付きフィルタ係数を生成する。
・生成された重み付きフィルタ係数を用いて予測信号を生成する。
・残差信号を復号し，その残差信号および前記予測信号を用いて復号画像を生成する。

本発明の作用は以下のとおりである。従来の補間位置適応性を有する補間フィルタでは，補間フィルタを切り替える単位として，二者択一の方式となっており，性能改善には限界があった。一方，本発明では，例えば補間位置グループごとに複数のフィルタ係数の重み付き和を計算して最適な重み係数を求め，その重み係数を用いて補間フィルタを適用することにより動き補償を実施する。これにより，補間フィルタをより柔軟に表現でき，予測誤差エネルギーを低減するフィルタを生成することで動き補償の性能改善を達成し，符号化効率を改善することができる。

本発明によれば，従来の補間位置適応性を有する補間フィルタでは考慮できなかった補間フィルタの重み付き和の表現が可能となり，補間フィルタの選択範囲に幅を持たせ，予測誤差エネルギーの低減による符号化効率の改善が達成できる。

本発明の一実施形態である映像符号化装置の構成例を示す図である。 補間フィルタ係数判定部の構成例１を示す図である。 補間フィルタ係数判定部の構成例２を示す図である。 本発明の一実施形態である符号化処理のフローチャートである。 本発明の一実施形態である映像復号装置の構成例を示す図である。 本発明の一実施形態である復号処理のフローチャートである。 本発明をコンピュータとソフトウェアプログラムとを用いて実施する場合のシステムの構成例を示す図である。 映像符号化標準方式（Ｈ．２６４／ＡＶＣ）の小数精度の画素補間方法を示す図である。 ＤＣＴベース補間フィルタ（ＤＣＴ−ＩＦ）の小数精度の画素補間方法を示す図である。 分離型適応補間フィルタ（ＳＡＩＦ）における小数精度の画素補間方法を示す図である。

以下，図面を用いながら，本発明の一実施形態について説明する。

〔映像符号化装置の構成例〕
図１は，本発明の一実施形態である映像符号化装置の構成例を示す図である。

映像符号化装置１０において，補間フィルタ係数算出部１１は，予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を算出する。補間フィルタ係数判定部１２は，動き検出部１３２が検出した動きベクトルを用いて複数のフィルタ係数の重み付き和を計算して最適な重み係数を求め，その重みパラメータと補間フィルタ係数とを出力する。また，重み付きフィルタ係数を切り替える単位となる補間位置グループを動的に決定した場合には，補間位置グループ情報を出力する。

予測信号生成部１３は，参照画像補間部１３１と動き検出部１３２とを備える。参照画像補間部１３１は，参照画像メモリ１７に格納された復号済み参照画像に，補間フィルタ係数判定部１２が選択した補間フィルタ係数による補間フィルタを適用し，動き検出部１３２は，補間後の参照画像に対して動き探索を行うことにより，動きベクトルを算出する。予測信号生成部１３は，動き検出部１３２によって算出された小数精度の動きベクトルによる動き補償により予測信号を生成する。

予測符号化部１４は，入力映像信号と予測信号との残差信号を算出し，それを直交変換し，変換係数の量子化などによって予測符号化を行う。また，復号部１６は，予測符号化の結果を復号し，復号画像を後の予測符号化のために参照画像メモリ１７に格納する。このとき，デブロッキングフィルタやＡＬＦ（Adaptive Loop Filter）などの符号化ノイズ除去のためのインループフィルタを施してから，格納してもよい。

可変長符号化部１５は，量子化された変換係数，動きベクトルを可変長符号化するとともに，補間フィルタ係数判定部１２の出力である重みパラメータ，補間フィルタ係数を可変長符号化し，これらを符号化ビットストリームとして出力する。また，重み付きフィルタ係数を切り替える単位となる小数精度画素の補間位置グループを動的に決定した場合には，その補間位置グループの情報についても符号化して符号化ビットストリームに加える。

〔補間フィルタ係数判定部の構成例１〕
図２は，補間フィルタ係数判定部の第１の構成例を示す図である。補間フィルタ係数判定部１２の部分が従来技術と顕著に異なる部分である。

補間フィルタ係数判定部１２において，補間フィルタ情報取得部１２１は，符号化時に予め用意されている固定補間フィルタ係数値を，重み付きフィルタ係数生成部１２３に出力する。例えば，Ｈ．２６４／ＡＶＣに定義されている６タップの係数や，ＤＣＴ−ＩＦの８タップもしくは１２タップの係数を用いてもよい。

重みパラメータ指定部１２２は，重みパラメータを設定し，そのパラメータを重み付きフィルタ係数生成部１２３に出力する。重みパラメータは，例えば２種類のフィルタ係数の重みを取る場合，αを与える（α＋β＝１の制約から１つ与えればよい。αとβの２種を送ることもできるが，オーバヘッド削減のため１種を送る) 。同様に３種類のフィルタの重みを計算する場合，α＋β＋γ＝１の制約からα，βを与える。ｍ（４以上の整数）種類の場合も同様である。

重み付きフィルタ係数生成部１２３は，
(a) フレーム単位または領域単位で生成される適応補間フィルタ係数値：ｆ_A （ｘ），
(b) 重みパラメータ指定部１２２から出力される重みパラメータ：α，
(c) 補間フィルタ情報取得部１２１から出力される固定補間フィルタ係数値：ｆ_B （ｘ），を入力とし，以下の計算を行う。

α×ｆ_A （ｘ）＋β×ｆ_B （ｘ）
（ただし，０≦ｘ＜ｔ；ｔはタップ長，β＝１−α）
ここでは２種類のフィルタ係数の重み付き和を想定しているが，３種類以上でも同様に設定することができる。得られる重み付きフィルタ係数を，後述するＭＳＥ算出部１２４へ出力する。

ＭＳＥ算出部１２４では，入力を
(a) 動き探索処理によって得られる動きベクトルＭＶ，
(b) 復号信号（ローカルデコード画像) ，
(c) 重み付きフィルタ係数生成部１２３から出力される重み付きフィルタ係数，
とし，動きベクトルＭＶが指し示す位置における補間画像を，復号画像の整数位置画素と重み付きフィルタ係数とによって生成し，原画像とのＭＳＥ（Mean Square Error ：平均二乗誤差) ，すわなち予測残差エネルギーを計算する。

ＭＳＥには，例として以下のような式を用いることができる。

ＭＳＥ＝｛（原信号−予測信号）² の総和｝／画素数
計算されたＭＳＥは，最小ＭＳＥ記憶部１２５に出力される。

最小ＭＳＥ記憶部１２５は，入力をＭＳＥ算出部１２４で得られるＭＳＥとし，その値を保存する。事前に保存ないしは定義されている最小値と，入力のＭＳＥとを比較し，
(a) 保存済みの最小値よりも入力ＭＳＥ値が小さい場合：入力ＭＳＥ値，
(b) 保存済みの最小値の方が入力ＭＳＥ値よりも小さい場合：保存済みの最小値，
というように，最小となるＭＳＥを判定して，最小値の保存と更新を行う。また，その最小値を保存する際には，そのＭＳＥ値を実現する重みパラメータを保存する。

補間フィルタ係数判定部１２は，ＭＳＥ算出部１２４において補間フィルタに関わる取り得る組み合わせを処理した後，最小ＭＳＥを実現する組み合わせ，すなわち，(1) 重みパラメータ，(2) 補間フィルタ係数，を出力する。

〔補間フィルタ係数判定部の構成例２〕
図３は，補間フィルタ係数判定部の第２の構成例を示す図である。図３に示す補間フィルタ係数判定部１２′が図２に示す補間フィルタ係数部１２と異なるのは，補間対象位置グルーピング部１２６が備わっており，前述した重みパラメータの設定を小数画素位置である補間位置のグループごとに行い，補間位置のグループごとに補間フィルタ係数を切り替える点である。

前述した構成例１では，例えば全画素補間位置に対して重み付きフィルタを用いるが，構成例２では，指定された補間位置グループまたは何らかの方法により算出された補間位置グループごとに補間フィルタによる補間処理に用いる重み付きフィルタ係数を設定する。ある補間位置グループに対して，フィルタ係数の重み付き和をとるかとらないかを選択することもできる。例えば，重要な補間位置，選択確率が高い補間位置には重み付きフィルタを用い，それ以外の位置は重み付きではないフィルタを用いるなど，補間位置グループに対して適応的な処理が可能である。

補間フィルタ情報取得部１２１，重みパラメータ指定部１２２，重み付きフィルタ係数生成部１２３の機能は，前述した構成例１と同様である。

補間対象位置グルーピング部１２６は，小数画素位置である補間位置ごとにグループ分けを実施し，その補間位置ごとのグループ情報を出力する。この補間位置グループは，小数画素位置に対してあらかじめ定められているものでもよく，また，例えば動きベクトルの確率分布などを用いて，動的に定められるものでもよい。

ＭＳＥ算出部１２４は，補間対象位置グルーピング部１２６が出力する補間位置グループ情報によって指定される補間位置グループごとに，重み付きフィルタ係数生成部１２３から出力される重み付きフィルタ係数を用いて，動きベクトルＭＶが指し示す位置における補間画像を，復号画像の整数位置画素と重み付きフィルタ係数とによって生成し，原画像とのＭＳＥ，すわなち予測残差エネルギーを計算する。計算されたＭＳＥは，最小ＭＳＥ記憶部１２５に出力される。また，その最小値を保存する際には，そのＭＳＥ値を実現する重みパラメータ，補間位置グループ情報を保存する。

補間フィルタ係数判定部１２は，補間フィルタに関わる取り得る組み合わせを施行した後，最小ＭＳＥを実現する組み合わせ，すなわち，(1) 重みパラメータ，(2) 補間位置グループ情報，(3) 補間フィルタ係数，を出力する。なお，補間位置グループが固定であり，符号化側と復号側とで補間位置グループ情報を共有できる場合には，補間位置グループ情報の出力は不要である。

〔符号化の処理フロー〕
図４は，図１に示す映像符号化装置の処理フローチャートである。以下，図４に従って，映像符号化装置が１枚のフレームを符号化する場合の処理の流れを説明する。ここでは，補間フィルタ係数判定部が構成例２で構成される場合の処理の例を説明するが，構成例１の場合の処理もほぼ同様である。以下では，特に断りがない限り，輝度信号での処理を仮定する。

まず，ステップＳ１０１にて，符号化処理に必要となる原画像のフレームを入力する。続いて，ステップＳ１０２にて，例えば，Ｈ．２６４／ＡＶＣに採用されている１次元６タップフィルタやＤＣＴベース補間フィルタの１次元８タップ／１２タップフィルタなど，符号化器に備わっている固定補間フィルタを事前定義補間フィルタとして，その補間フィルタを用いてフレーム全体の動きベクトル（ＭＶ）を導出する。ここで，固定補間フィルタに限らず，前フレームなどで算出された適応補間フィルタのフィルタを採用してもよい。

続いて，ステップＳ１０３にて，ステップＳ１０２にて得られた動きベクトルを用いて，符号化対象フレームにおける適応補間フィルタの係数値を算出する。本ステップにおける補間フィルタの係数算出には，一般に知られている予測誤差エネルギー最小化方法（線形回帰）を用いる。

続いて，ステップＳ１０４にて，補間フィルタを適用する補間対象画素のグループ分けを行う。具体的には，予め定めたテーブルに従い，補間位置に応じて複数のグループに分ける。なお，何らかの方法により補間位置グループを動的に決定してもよい。補間位置グループを動的に決定した場合には，補間位置グループ情報を符号化して，復号側に伝送する必要がある。

続いて，ステップＳ１０５にて，ステップＳ１０４にて分けられた補間位置グループごとに重み付きフィルタ係数を生成する。重みパラメータをテーブルから読み込んで設定し，各重みパラメータから以下の式(6) に示されるように重み付き補間フィルタ係数を生成する。

α×ｆ_A （ｘ）＋β×ｆ_B （ｘ） (6)
ここで，αおよびβは重みパラメータ（α＋β＝１），ｆ_A （ｘ）は事前定義された補間フィルタ係数，ｆ_B （ｘ）は当該フレームにて求まった補間フィルタ係数である。ｘは係数番号を示し，０≦ｘ＜ｎの範囲を取る（ｎはタップ長を示す）。ここでは，２種類のフィルタ係数の重み付きフィルタ係数を想定しているが，ｍ（＞２）種類の補間フィルタの場合でも，同様の形式で表現できる。

続いて，ステップＳ１０６にて，ステップＳ１０４にて定められたグループごとに，ステップＳ１０５にて生成された重み付きフィルタ係数を用いて，実際に符号化に適用する補間フィルタを決定する。例えば，評価基準（コスト関数）として予測誤差エネルギーを設定し，原画像とステップＳ１０５にて選んだ重みパラメータでの補間フィルタを用いた予測画像を生成し，その二乗誤差和を最小化する重みパラメータを算出する。重みパラメータは，例えば，０．１刻みや０．０１刻みでαの値を変更し，一番低いコスト値を実現するαを算出する。

続いて，ステップＳ１０７にて，ステップＳ１０６で決定された重み付きフィルタ係数により定まる補間フィルタを用いて補間処理を行う。

続いて，ステップＳ１０８にて，ステップＳ１０６で算出した重みパラメータを符号化する。続いて，ステップＳ１０９にて，ステップＳ１０３で算出した補間フィルタ係数などの補間フィルタ情報を符号化する。補間位置グループ情報を伝送する場合は，ステップＳ１０９で符号化する。続いて，ステップＳ１１０にて，残りの符号化すべき情報，例えば予測誤差信号（テクスチャ成分情報）や動きベクトルなどをすべて符号化する。

続いて，ステップＳ１１１にて，符号化フレームが最終フレームに到達しているかどうかの判定を行う。もし処理フレームが最終フレームでなければ，次のフレームを処理するためにステップＳ１０１に戻る。もし処理フレームが最終フレームであった場合，符号化処理を終了する。

なお，本実施例で述べている補間位置グループ単位で補間フィルタの重みパラメータを最適化させて，符号化処理を実施する機能は，輝度信号だけでなく，色差信号にも同様に適用可能である。

〔映像復号装置の構成例〕
図５は，本発明の一実施形態である映像復号装置の構成例を示す図である。

映像復号装置２０において，可変長復号部２１は，符号化されたビットストリームを入力して，量子化変換係数，動きベクトル，重みパラメータ，補間フィルタ係数などの復号を行う。また，補間位置グループ情報が符号化されている場合には，補間位置グループ情報についても復号する。

重み付きフィルタ係数生成部２２は，可変長復号部２１で復号された重みパラメータ，補間フィルタ係数から，重み付きフィルタ係数を生成する。補間フィルタ係数判定部２３は，重み付きフィルタ係数生成部２２が生成した重み付きフィルタ係数を用いて，グループ分けされた各補間位置に用いる補間フィルタ係数を決定する。

予測信号生成部２４における参照画像補間部２４１は，参照画像メモリ２６に格納された復号済み参照画像に，補間フィルタ係数判定部２３から受け取った補間フィルタ係数による補間フィルタを適用し，参照画像の小数精度画素の復元を行う。予測信号生成部２４は，小数精度画素の復元が行われた参照画像から，復号対象ブロックの予測信号を生成する。

予測復号部２５は，可変長復号部２１で復号した量子化係数の逆量子化，逆直交変換などを行い，それにより算出された予測誤差信号と，予測信号生成部２４が生成した予測信号とを足し合わせて復号画像を生成し，出力画像として出力する。また，予測復号部２５が復号した復号画像は，後の予測復号のために，参照画像メモリ２６に格納する。このとき，デブロッキングフィルタやＡＬＦ（Adaptive Loop Filter）などの符号化ノイズ除去のためのインループフィルタを施してから，格納してもよい。

〔復号の処理フロー〕
図６は，図５に示す映像復号装置の処理フローチャートである。以下，図６に従って，映像復号装置が１枚のフレームを復号する場合の処理の流れを説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ２０１にて，フレームヘッダ（ないしはスライスヘッダ）の情報を取得する。続いて，ステップＳ２０２にて，重みパラメータを復号し，その情報を格納する。続いて，ステップＳ２０３にて，補間フィルタ係数の情報を復号する。補間位置グループ情報が符号化されている場合には，補間位置グループ情報についても復号する。続いて，ステップＳ２０４にて，復号に必要なその他の情報（例えば動きベクトルや予測誤差信号など）をすべて復号する。

続いて，ステップＳ２０５にて，ステップＳ２０２で復号した重みパラメータとステップＳ２０３で復号した補間フィルタ係数から各補間位置グループの補間に必要な重み付きフィルタ係数を生成する。

続いて，ステップＳ２０６にて，ステップＳ２０４にて復号された動きベクトルとステップＳ２０５で得られた重み付きフィルタ係数を用いて，補間処理を実施して予測信号を生成する。

続いて，ステップＳ２０７にて，ステップＳ２０４にて復号された予測誤差信号とステップＳ２０６にて求まった予測信号を合成し，復号信号を復元する。

続いて，ステップＳ２０８にて，復号するフレームがすべて復号されたかの判定を行い，すべて復号されていない場合には，ステップＳ２０１へ戻って次のフレームの復号に移り，復号されている場合には復号処理を終了する。

輝度信号での説明を行ったが，本フローは色差信号にも同様に適用できる。

〔ソフトウェアプログラムを用いた場合の構成例〕
以上の映像符号化，復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

図７は，本発明をコンピュータとソフトウェアプログラムとを用いて実施する場合のシステムの構成例を示している。

本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，符号化対象の映像信号，または復号画像の映像信号を記憶する映像信号記憶部５２と，本発明の実施形態で説明した処理をＣＰＵ５０に実行させるためのプログラムが格納されたプログラム記憶装置５３と，符号化結果のビットストリームまたは復号対象のビットストリームを記憶する符号化ストリーム記憶部５４とがバスで接続された構成になっている。

プログラム記憶装置５３は，本発明を用いて映像信号を符号化するための映像符号化プログラム５３１，本発明を用いて符号化ビットストリームを復号するための映像復号プログラム５３２のいずれかを格納している。これらのプログラムの双方を格納していてもよい。

また，本システムが映像符号化装置として用いられる場合，映像符号化プログラム５３１がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像符号化プログラム５３１の命令を逐次フェッチして実行し，映像信号記憶部５２に格納されている映像信号を，本発明の実施形態で説明した手法により符号化して，符号化結果のビットストリームを符号化ストリーム記憶部５４に格納する。または，ネットワークアダプタ等のインタフェースを介して，ビットストリームを外部装置に出力してもよい。

また，本システムが映像復号装置として用いられる場合，映像復号プログラム５３２がメモリ５１にロードされ，ＣＰＵ５０は，メモリ５１にロードされた映像復号プログラム５３２の命令を逐次フェッチして実行し，符号化ストリーム記憶部５４に格納されているビットストリームを，本発明の実施形態で説明した手法により復号して，復号結果の映像信号を映像信号記憶部５２に格納する。または，外部の再生装置に復号結果の映像信号を出力する。

１０ 映像符号化装置
１１ 補間フィルタ係数算出部
１２，１２′，２３ 補間フィルタ係数判定部
１２１ 補間フィルタ情報取得部
１２２ 重みパラメータ指定部
１２３，２２ 重み付きフィルタ係数生成部
１２４ 補間対象位置グルーピング部
１２４ ＭＳＥ算出部
１２５ 最小ＭＳＥ記憶部
１３，２４ 予測信号生成部
１３１，２４１ 参照画像補間部
１３２ 動き検出部
１４ 予測符号化部
１５ 可変長符号化部
１６ 復号部
１７，２６ 参照画像メモリ
２０ 映像復号装置
２１ 可変長復号部
２５ 予測復号部

Claims (10)

1. 小数精度の動き補償を用いる映像符号化方法であって，
   複数の補間フィルタセットから補間フィルタ係数の重み値を指定する重みパラメータを用いて複数の重み付きフィルタ係数を生成するステップと，
   前記重み付きフィルタ係数の中で，小数精度の動き補償における予測誤差エネルギーを最小化する重み付きフィルタ係数を選択するステップと，
   前記選択された重み付きフィルタ係数による補間フィルタの適用により，参照画像に対する小数精度画素の補間を行い，小数精度の動き補償により入力画像を符号化するステップと，
   前記選択された重み付きフィルタ係数の生成に用いた重みパラメータと，前記補間フィルタ係数とを符号化し，符号化ビットストリームに加えるステップとを有する
   ことを特徴とする映像符号化方法。
2. 請求項１記載の映像符号化方法において，
   前記重み付きフィルタ係数の選択を，あらかじめ定められた方法により算出された，または指定された小数精度画素の補間位置グループごとに行い，
   前記重み付きフィルタ係数による補間フィルタを，前記小数精度画素の補間位置グループごとに切り替える
   ことを特徴とする映像符号化方法。
3. 小数精度の動き補償を用いる映像符号化装置であって，
   複数の補間フィルタセットから補間フィルタ係数の重み値を指定する重みパラメータを用いて複数の重み付きフィルタ係数を生成する手段と，
   前記重み付きフィルタ係数の中で，小数精度の動き補償における予測誤差エネルギーを最小化する重み付きフィルタ係数を選択する手段と，
   前記選択された重み付きフィルタ係数による補間フィルタの適用により，参照画像に対する小数精度画素の補間を行い，小数精度の動き補償により入力画像を符号化する手段と，
   前記選択された重み付きフィルタ係数の生成に用いた重みパラメータと，前記補間フィルタ係数とを符号化し，符号化ビットストリームに加える手段とを備える
   ことを特徴とする映像符号化装置。
4. 請求項３記載の映像符号化装置において，
   前記重み付きフィルタ係数の選択を，あらかじめ定められた方法により算出された，または指定された小数精度画素の補間位置グループごとに行い，
   前記重み付きフィルタ係数による補間フィルタを，前記小数精度画素の補間位置グループごとに切り替える
   ことを特徴とする映像符号化装置。
5. 小数精度の動き補償を用いる映像復号方法であって，
   小数精度画素生成のための補間フィルタ係数と，補間フィルタ係数の重み値を指定する重みパラメータとを復号するステップと，
   復号された重みパラメータを用いて復号された補間フィルタ係数の重み和により定まる重み付きフィルタ係数を生成するステップと，
   生成された重み付きフィルタ係数により定まる補間フィルタを用いて予測信号を生成するステップと，
   残差信号を復号するステップと，
   復号した残差信号および生成された予測信号を用いて復号画像を生成するステップとを有する
   ことを特徴とする映像復号方法。
6. 請求項５記載の映像復号方法において，
   前記小数精度画素生成のための補間フィルタ係数と，前記補間フィルタ係数の重み値を指定する重みパラメータの復号を，符号化側から指定された補間位置グループまたは所定の補間位置グループごとに行い，
   前記重み付きフィルタ係数により定まる補間フィルタを，前記補間位置グループごとに切り替える
   ことを特徴とする映像復号方法。
7. 小数精度の動き補償を用いる映像復号装置であって，
   小数精度画素生成のための補間フィルタ係数と，補間フィルタ係数の重み値を指定する重みパラメータとを復号する手段と，
   復号された重みパラメータを用いて復号された補間フィルタ係数の重み和により定まる重み付きフィルタ係数を生成する手段と，
   生成された重み付きフィルタ係数により定まる補間フィルタを用いて予測信号を生成する手段と，
   残差信号を復号する手段と，
   復号した残差信号および生成された予測信号を用いて復号画像を生成する手段とを備える
   ことを特徴とする映像復号装置。
8. 請求項７記載の映像復号装置において，
   前記小数精度画素生成のための補間フィルタ係数と，前記補間フィルタ係数の重み値を指定する重みパラメータの復号を，符号化側から指定された補間位置グループまたは所定の補間位置グループごとに行い，
   前記重み付きフィルタ係数により定まる補間フィルタを，前記補間位置グループごとに切り替える
   ことを特徴とする映像復号装置。
9. 請求項１または請求項２記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。
10. 請求項５または請求項６記載の映像復号方法を，コンピュータに実行させるための映像復号プログラム。

Images