JP2013232974A - 動画像符号化装置および復号装置 - Google Patents

Abstract

【課題】参照画像の高域成分減少による予測効率低下を防止する。
【解決手段】局所復号画像信号にフィルタ処理を行う際の制御情報であるループフィルタ情報を得る符号化制御部１１３と、ループフィルタ情報に基づき局所復号画像信号にフィルタ処理を行い再生画像信号を得るループフィルタ処理部１０７と、再生画像信号が表す画像の整数画素から水平方向または垂直方向に４分の１画素ずれた小数画素の画素値を整数画素のみを用いて算出し、整数画素と小数画素とを含む参照画像を得る補間フィルタ処理部１１０と、参照画像に対して動き補償予測を行い予測画像信号を生成する予測画像生成部１１１と、入力画像信号と予測画像信号との差分を示す残差信号を変換し変換係数情報を得る変換部１０２と、変換係数情報を量子化して量子化変換係数情報を得る量子化部１０３と、量子化変換係数情報とループフィルタ情報とを符号化する符号化部１１２と、を具備する。
【選択図】図１

Description

本実施形態は、動画像を符号化または復号するために用いる動画像符号化装置および復号装置に関する。

小数画素精度の動き補償に用いる参照画像を生成するための補間フィルタの技術は、動画像符号化技術として広く使われており、動画像符号化の国際標準規格の一つであるＨ．２６４／ＭＰＥＧ−４ＡＶＣ（以下、Ｈ．２６４という）でも用いられている。Ｈ．２６４の補間フィルタは、はじめに２分の１画素を算出し、算出された２分の１画素と整数画素の平均により、水平方向に４分の１画素ずれた画素及び垂直方向に４分の１画素ずれた画素を算出する。このため、高域成分が大きく減少することとなる。また、この補間フィルタを適応的に変更してより動き補償の効率の改善を図ったＡＩＦ（Adaptive Interpolation Filter）と呼ばれる技術がある（例えば、非特許文献１参照）。ＡＩＦは符号化側で補間フィルタの係数を含む情報を設定して伝送し、復号側ではその情報を用いて補間フィルタを適用する。

動き補償による予測効率の改善する別の手法としては、符号化側でフィルタ係数を含むフィルタ情報を設定して伝送し、復号側で用いて画質を向上させるループフィルタとしてＡＬＦ（Adaptive Loop Filter）が存在する（例えば、非特許文献２参照）。

Y. Vatis, B. Edler, D. T. Nguyen, J. Ostermann, "Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC", ITU-T SGI 6/Q.6 VCEG-Z17, Busan, South Korea, April 2005. T. Chujoh, N. Wada, G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T Q.6/SG16 Doc., C181, Geneva, January 2009.

しかし、Ｈ．２６４の補間フィルタとＡＬＦとを同時に用いた場合、ＡＬＦは基本的にＬＰＦ（Low Pass Filter）であるので、ＡＬＦが適用された参照画像に対して高域成分を大きく減少させる補間フィルタが適用されることになり、補間された参照画像の高域成分が過度に減少してしまう問題がある。
また、ＡＩＦとＡＬＦとを同時に用いた場合は予測効率は向上するが、適応型のフィルタを２種類併用するため、フィルタ係数の符号量が増加する問題があり、さらに、ＡＩＦは補間フィルタを乗算器で構成する必要があるため、ＬＳＩの回路規模が増加する問題がある。

本発明の目的は、動き補償予測における予測効率を向上することができる動画像符号化装置および復号装置を提供することにある。

上述の課題を解決するため、本実施形態に係る動画像符号化装置は、処理ブロック単位内で画素ごとに復号した画像信号を示す局所復号画像信号にフィルタ処理を行う際の制御情報であるループフィルタ情報を生成する符号化制御部と、前記ループフィルタ情報に基づいて前記局所復号画像信号にフィルタ処理を行い再生画像信号を生成するループフィルタ処理部と、前記再生画像信号が表す画像の整数画素から水平方向または垂直方向に４分の１画素ずれた小数画素の画素値を整数画素のみを用いて算出し、整数画素と小数画素とを含む参照画像を生成する補間フィルタ処理部と、前記参照画像に対して動き補償予測を行い、予測画像を示す予測画像信号を生成する予測画像生成部と、入力された画像信号である入力画像信号と前記予測画像信号との差分を示す残差信号を変換して画素の周波数成分値を示す変換係数情報を生成する変換部と、前記変換係数情報を量子化して量子化変換係数情報を生成する量子化部と、前記量子化変換係数情報と前記ループフィルタ情報とを符号化する符号化部と、を具備することを特徴とする。

また、本実施形態に係る動画像復号装置は、符号化されたデータから、画素ごとに復号した画像信号を示す復号画像信号にフィルタ処理を行う際の制御情報であるループフィルタ情報と、残差信号を変換して量子化した信号である量子化変換係数情報とを復号する復号部と、前記量子化変換係数情報を逆量子化して再生された変換係数情報である再生変換係数情報を生成する逆量子化部と、前記再生変換係数情報を逆変換して再生された残差信号を生成する再生残差信号を生成する逆変換部と、再生画像信号が表す画像の整数画素から水平方向または垂直方向に４分の１画素ずれた小数画素の画素値を整数画素のみを用いて算出し、整数画素と小数画素とを含む参照画像を生成する補間フィルタ処理部と、前記参照画像に対して動き補償予測を行い、予測画像を表す予測画像信号を生成する予測画像生成部と、前記ループフィルタ情報に基づいて、前記再生残差信号と前記予測画像信号とを加算し画素ごとに復号した画像信号を示す復号画像信号にフィルタ処理を行うループフィルタ処理部と、を具備することを特徴とする。

第１の実施形態に係る動画像符号化装置を示すブロック図。 第１の実施形態に係る補間フィルタ処理部のフィルタ処理の一例を示す図。 補間フィルタ処理部のフィルタ処理の動作を示すフローチャート。 第１の実施形態に係るループフィルタ処理部のフィルタ処理の一例を示す図。 第２の実施形態に係る動画像復号装置を示すブロック図。 第３の実施形態に係るループフィルタ処理部を示すブロック図。 第３の実施形態に係るループフィルタ処理部の動作を示すフローチャート。 フィルタ部に含まれるフィルタの一例を示す図。 フィルタ部に含まれるフィルタの第１の変形例を示す図。 フィルタ部に含まれるフィルタの第２の変形例を示す図。 フィルタ部に含まれるフィルタの第３の変形例を示す図。 フィルタ部に含まれるフィルタの第４の変形例を示す図。 シンタクス構造の一例を示す図。 ループフィルタデータシンタクスのシンタクス構造の一例を示す図。 ループフィルタデータシンタクスの一例を示す図。 第５および第６の実施形態に係る補間フィルタ処理部のフィルタ処理の一例を示す図。

以下、図面を参照しながら本実施形態に係る動画像符号化装置および復号装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

（第１の実施形態）
第１の実施形態に係る動画像符号化装置について図１を参照して詳細に説明する。
第１の実施形態に係る動画像符号化装置１００は、減算器１０１、変換部１０２、量子化部１０３、逆量子化部１０４、逆変換部１０５、加算器１０６、ループフィルタ処理部１０７、フレームメモリ１０８、補間フィルタ処理部１１０、予測画像生成部１１１、可変長符号化部１１２、および符号化制御部１１３を含む。また、補間フィルタ処理部１１０および予測画像生成部１１１をまとめて動き補償予測部１０９とも呼ぶ。

減算器１０１は、外部から入力画像信号を、後述する予測画像生成部１１１から予測画像信号をそれぞれ受け取り、入力画像信号と予測画像信号との差分を残差信号として出力する。

変換部１０２は、減算器１０１から残差信号を受け取り、残差信号を変換し、周波数成分値である変換係数情報を生成する。

量子化部１０３は、変換部１０２から変換係数情報を受け取り、変換係数情報を量子化し、量子化変換係数情報として得る。

逆量子化部１０４は、量子化部１０３から量子化変換係数情報を受け取り、量子化変換係数情報を逆量子化し、再生された変換係数情報である再生変換係数情報を生成する。

逆変換部１０５は、逆量子化部１０４から再生変換係数情報を受け取り、再生変換係数情報を逆変換し、再生された残差信号である再生残差信号を生成する。

加算器１０６は、逆変換部１０５から再生残差信号を、後述する予測画像生成部１１１から予測画像信号をそれぞれ受け取る。そして加算器１０６は、再生残差信号と予測画像信号とを加算し、局所復号画像信号を生成する。局所復号画像信号は、処理ブロック単位内の画素の画素値を復号した画像信号である。

ループフィルタ処理部１０７は、加算器１０６から局所復号画像信号を、後述する符号化制御部１１３からループフィルタ情報をそれぞれ受け取り、ループフィルタ情報に基づいて局所復号画像信号にフィルタ処理を行い、再生画像信号を生成する。ループフィルタ情報は、フィルタ処理を制御するための情報であり、フィルタ係数情報を含み、例えばスライス単位に生成される。フィルタ係数情報は、フィルタ処理において整数画素に用いるフィルタ係数を示す情報である。また、フィルタ係数情報は、符号化制御部１１３において局所復号画像と入力画像とから画像復元で一般的に用いられるWiener filterを設計することにより予め算出しておく。

フレームメモリ１０８は、ループフィルタ処理部１０７から再生画像信号を受け取り、再生画像信号を蓄積する。

補間フィルタ処理部１１０は、フレームメモリ１０８から再生画像信号を読み出し、再生画像信号に対してフィルタ処理を行い、小数画素精度の参照画像を生成する。なお、以下で記述される整数画素および小数画素は、画素の位置に加えおよび画素の画素値も意味する。

予測画像生成部１１１は、補間フィルタ処理部１１０から参照画像を受け取り、参照画像を用いて小数画素精度の動き補償予測を行い、予測画像信号を生成する。

可変長符号化部１１２は、量子化部１０３から量子化変換係数情報を、後述する符号化制御部１１３からループフィルタ情報をそれぞれ受け取る。そして可変長符号化部１１２は、量子化変換係数情報とループフィルタ情報とを符号化し、符号化データを生成する。

符号化制御部１１３は、動き補償予測に用いる動きベクトルの生成や予測モードなどの決定を行うが、特にループフィルタ処理部１０７で用いるフィルタを設計してループフィルタ情報を生成する。

次に、補間フィルタ処理部１１０のフィルタ処理の一例について図２と図３とを参照して詳細に説明する。
図２はフレームメモリ１０８に蓄積される画像のある領域を示し、Ａ１からＡ８、Ｂ１からＢ８、Ｃ１からＣ８、Ｄ１からＤ８、Ｅ１からＥ８、Ｆ１からＦ８、Ｇ１からＧ８、およびＨ１からＨ８は整数画素を表す。また、ａからｏ、ａａ１からａａ３、ｂｂ１からｂｂ３、ｃｃ１からｃｃ３、ｄｄ１からｄｄ３、ｅｅ１からｅｅ３、ｆｆ１からｆｆ３、ｇｇ１からｇｇ３は小数画素を表す。

図３は補間フィルタ処理部１１０の動作を示すフローチャートである。
ステップＳ３０１では、補間フィルタ処理部１１０が、動き補償予測で用いられる動きベクトルが指す画素を判定する。そして、判定した動きベクトルが小数画素を指している場合、ステップＳ３０２−１からステップＳ３０２−１５までのうち対応するステップに進む。例えば、動きベクトルの指す画素が小数画素ａである場合はステップＳ３０２−１へ進み、動きベクトルの指す画素が小数画素ｎである場合はステップＳ３０２−２へ進む。なお、動きベクトルの指す画素が整数画素である場合は終了する。

ステップＳ３０２では、ステップＳ３０２−１からステップＳ３０２−１５までの各ステップにおいて、小数画素ａからｏまでをそれぞれ生成する。

ここで具体的に、ステップＳ３０２における小数画素ａからｏまでの生成方法を説明する。
まず、小数画素ａ、ｃ、ｄ、ｌの生成方法について説明すると、図２の例では、補間フィルタ処理部１１０は、整数画素Ｄ４に対して水平方向に右へ４分の１画素ずれた小数画素ａと、Ｄ５に対して水平方向に左へ４分の１画素ずれた小数画素ｃとを、水平方向に同列の整数画素から直接算出する。すなわち図２では、Ｄ４およびＤ５と水平方向に同列にあるＤ１からＤ８までの整数画素のみを用いて小数画素ａ、ｃを算出する。小数画素ａ、ｃの算出には、小数画素ｂを用いない。
同様に、整数画素Ｄ４に対して垂直方向に下へ４分の１画素ずれた小数画素ｄと、Ｅ４に対して垂直方向に上へ４分の１画素ずれた小数画素ｌとを、垂直方向に同列の整数画素から直接算出する。すなわち図２では、Ｄ４およびＥ４と垂直方向に同列にあるＡ４、Ｂ４、Ｃ４、Ｄ４、Ｅ４、Ｆ４、Ｇ４、およびＨ４までの整数画素のみを用いて小数画素ｄ、ｌを算出する。小数画素ｄ、ｌの算出には、小数画素ｈを用いない。

具体的に、小数画素ａ、ｃ、ｄ、ｌについては、それぞれ式（１−１）および式（１−２）、式（２−１）および式（２−２）、式（３−１）および式（３−２）、式（４−１）および式（４−２）を用いて算出する。

ここで、式（１−２）、式（２−２）、式（３−２）、および式（４−２）中にある式（５）に示す各整数画素の係数は、それぞれ小数画素ａ，ｃ，ｄ，ｌを算出するための補間フィルタ係数を示す。

また、ｎｕｍ＿ｓｈｉｆｔは画素のビットシフト数を示し、ｒ＿ｏｆｓｔはビットの丸めを調整する値を示す。ｒ＿ｏｆｓｔは、例えば２^{ｎｕｍ_ｓｈｉｆｔ}の半分の値に設定される。「＞＞」はビットシフト演算を示す演算子であり、この演算子の左辺の値をｎｕｍ＿ｓｈｉｆｔビット右へビットシフトすることで割り算を行う。これは、１０進数で左辺の値を表した場合に、左辺の値を２^{ｎｕｍ＿ｓｈｉｆｔ}で割り算することと同様の演算となる。
具体的に、式（６−１）から式（８）に示すパラメータを与えた場合を仮定する。

この場合、補間フィルタ処理部１１０において、小数画素ａ，ｃ，ｄ，ｌはそれぞれ、式（９−１）および式（９−２）、式（１０−１）および式（１０−２）、式（１１−１）および式（１１−２）、式（１２−１）および式（１２−２）に示すように算出される。

次に、小数画素ｂ、ｈの生成方法について説明する。具体的には、小数画素ｂはＤ４およびＤ５の２分の１画素であり、小数画素ｈはＤ４およびＥ４の２分の１画素であるので、上述した小数画素ａ、ｃ、ｄ、ｌと同様の手法で小数ｂ、ｈを算出することができる。式（１３−１）および式（１３−２）、式（１４−１）および式（１４−２）に小数画素ｂ、ｈの算出結果を示す。

次に、小数画素ｅ、ｉ、ｍ、ｆ、ｊ、ｎ、ｇ、ｋ、ｏの生成方法について説明する。
小数画素ｅ、ｉ、ｍの算出の前に、小数画素ａａ１、ｂｂ１、ｃｃ１、ｄｄ１、ｅｅ１、ｆｆ１、ｇｇ１に対して、それぞれ式（９−２）と同様にａａ１’、ｂｂ１’、ｃｃ１’、ｄｄ１’、ｅｅ１’、ｆｆ１’、ｇｇ１’を予め算出しておく。そして、小数画素ｅ、ｉ、ｍを式（１５）、式（１６）、式（１７）のように算出すればよい。

小数画素ｆ、ｊ、ｎについても同様に、小数画素ａａ２、ｂｂ２、ｃｃ２、ｄｄ２、ｅｅ２、ｆｆ２、ｇｇ２に対して、式（１３−２）と同様にａａ２’、ｂｂ２’、ｃｃ２’、ｄｄ２’、ｅｅ２’、ｆｆ２’、ｇｇ２’を予め算出しておき、ステップＳ３０１およびステップＳ３０２と同様に、小数画素ｆ、ｊ、ｎを式（１８）、式（１９）、式（２０）により算出すればよい。

小数画素ｇ、ｋ、ｏについても同様に、小数画素ａａ３、ｂｂ３、ｃｃ３、ｄｄ３、ｅｅ３、ｆｆ３、ｇｇ３に対して、式（１０−２）と同様にａａ３’、ｂｂ３’、ｃｃ３’、ｄｄ３’、ｅｅ３’、ｆｆ３’、ｇｇ３’を予め算出しておき、ステップＳ３０１およびステップＳ３０２と同様に、小数画素ｇ、ｋ、ｏを式（２１）、式（２２）、式（２３）により算出すればよい。

以上のステップＳ３０１およびステップＳ３０２を各小数画素に適応することにより、補間フィルタ処理対象となるブロック内の小数画素を算出した小数画素精度の参照画像を生成することができる。
なお、図２では小数画素ｅ、ｉ、ｍ、ｆ、ｊ、ｎ、ｇ、ｋ、ｏについて垂直方向の小数画素を用いて算出したが、水平方向の小数画素を用いて算出してもよい。例えば、小数画素ｅ、ｆ、ｇを算出する場合、予め水平方向同列の小数画素（図２では、例えば整数画素Ｄ４の垂直方向下に４分の１画素ずれたところの小数画素ｄ）を先に算出し、水平方向同列の小数画素を用いることで小数画素ｅ、ｆ、ｇを算出することができる。

次に、ループフィルタ処理部１０７におけるフィルタ処理について図４を参照して詳細に説明する。図４は、一例として９×９のタップで表される２次元フィルタを用いる場合を示す。Ｘ１からＸ８１までは整数画素を表す。

ループフィルタ処理部１０７は、符号化制御部１１３からループフィルタ情報として、式（２４）に示す９×９のタップで表される２次元フィルタの係数情報が入力される。

ここで、整数画素Ｘ４１をフィルタ処理の対象とするとき、式（２５）を用いてフィルタ処理を行う。

ループフィルタ処理部１０７は、式（２４）の演算を局所復号画像信号の各画素に対して行うことで、フィルタ処理の行われた再生画像信号を生成することができる。

以上に示した第１の実施形態によれば、整数画素から水平方向または垂直方向のいずれか一方向に４分の１画素ずれたところの小数画素を整数画素から直接算出することにより、補間された参照画像の高域成分が過度に減少することを防止できるので動き補償予測における予測効率を向上することができる。

（第２の実施形態）
第２の実施形態に係る動画像復号装置について図５を参照して詳細に説明する。
第２の実施形態に係る動画像復号装置５００は、可変長復号部５０１、逆量子化部５０２、逆変換部５０３、加算器５０４、ループフィルタ処理部５０５、フレームメモリ５０６、補間フィルタ処理部５０８、予測画像生成部５０９、および復号制御部５１０を含む。なお、補間フィルタ処理部５０８および予測画像生成部５０９をまとめて動き補償予測部５０７とも呼ぶ。

可変長復号部５０１は、第１の実施形態に係る動画像符号化装置１００において生成された符号化データを受け取り、符号化データから符号化された量子化変換係数情報と符号化されたループフィルタ情報を復号し、量子化変換係数情報およびループフィルタ情報を生成する。

逆量子化部５０２は、可変長復号部５０１から量子化変換係数情報を受け取り、量子化変換係数情報を逆量子化し、再生された変換係数情報である再生変換係数情報を生成する。

逆変換部５０３は、逆量子化部５０２から再生変換係数情報を受け取り、再生変換係数情報を逆変換し、再生された残差信号である再生残差信号を生成する。

加算器５０４は、逆変換部５０３から再生残差信号を、後述する予測画像生成部５０９から予測画像信号をそれぞれ受け取る。そして加算器５０４は、再生残差信号と予測画像信号とを加算し、復号画像信号を生成する。

ループフィルタ処理部５０５は、第１の実施形態に係るループフィルタ処理部１０７と同様の動作を行う。具体的には、可変長復号部５０１からループフィルタ情報を、加算器５０４から復号画像信号をそれぞれ受け取り、ループフィルタ情報に基づいて復号画像信号にフィルタ処理を行い、再生画像信号を生成する。また、ループフィルタ処理部５０５は、生成した再生画像信号を外部へ出力する。

フレームメモリ５０６は、ループフィルタ処理部５０５から再生画像信号を受け取り、再生画像信号を蓄積する。

補間フィルタ処理部５０８は、第１の実施形態に係る補間フィルタ処理部１１０と同様の動作を行う。具体的には、フレームメモリ５０６から再生画像信号を読み出し、再生画像信号に対して補間フィルタ処理を行い、小数画素精度の参照画像を生成する。参照画像の生成においては，整数画素及び図２の小数画素ａからｏまでのうち動き補償予測で用いられる動きベクトルによって、参照される画素が生成される。

予測画像生成部５０９は、補間フィルタ処理部５０８から参照画像を受け取り、参照画像を用いて小数画素精度の動き補償予測を行い、予測画像信号を生成する。

復号制御部５１０は、復号装置５００の全体の制御、例えば、フレームメモリ５０６の再生画像信号の蓄積量の制御、補間フィルタ処理部５０８の補間フィルタ係数の制御を行う。

以上に示した第２の実施形態によれば、整数画素から４分の１画素ずれた小数画素を整数画素から算出することにより、補間された参照画像の高域成分が過度に減少しないように符号化された信号を復号することができ、動き補償予測における予測効率を向上することができる。

（第３の実施形態）
第３の実施形態に係る動画像符号化装置では、ループフィルタ処理部が複数のフィルタを有する点と、ループフィルタ情報がフィルタ係数情報に加え、さらにフィルタ適用情報およびフィルタ指定情報を含む点とが第１の実施形態と異なる。フィルタ適用情報は、画面内の領域に対してフィルタを適用するかどうかを指定する情報である。フィルタ指定情報は、適用するフィルタを指定する情報である。このループフィルタ情報に基づいて、ループフィルタ処理部はフィルタを適用するかどうかを決定することができ、さらに適用するフィルタを選択して切り替えることができる。

第３の実施形態に係る動画像符号化装置のループフィルタ処理部について図６を参照して詳細に説明する。
ループフィルタ処理部６００は、切替器６０１および６０２、フィルタ部６０３を含む。
切替器６０１は、加算器１０６から局所復号画像信号を、符号化制御部１０２からループフィルタ情報をそれぞれ受け取り、ループフィルタ情報に含まれるフィルタ適用情報を参照して局所復号画像信号の出力先を切り替える。

切替器６０２は、符号化制御部１０２からループフィルタ情報を受け取り、ループフィルタ情報に含まれるフィルタ指定情報を参照して局所復号画像信号を後述するフィルタ部６０３中の指定されたフィルタへ送る。

フィルタ部６０３は、１以上のフィルタ（図６では、フィルタＦ_１、フィルタＦ_２、…、フィルタＦ_ｎ（ｎは自然数））を含み、符号化制御部１０２からループフィルタ情報を受け取る。そしてフィルタ部５０３は、ループフィルタ情報に含まれるフィルタ係数情報を参照して、指定されたフィルタにフィルタ係数を設定して局所復号画像信号に対してフィルタ処理を行い、再生画像信号を生成する。

次に、ループフィルタ処理部６００の動作について図７のフローチャートを参照して詳細に説明する。
ステップＳ７０１では、ループフィルタ処理部６００がループフィルタ情報と局所復号画像信号とを受けとる。
ステップＳ７０２では、切替器６０１がフィルタ適用情報に基づいてフィルタ処理を行うかどうかを決定する。フィルタ適用情報が画面内の領域に対してフィルタを適用するという情報であった場合、切替器６０１は切替器６０２へ局所復号画像信号を送る。一方、フィルタ適用情報が画面内の領域に対してフィルタを適用しないという情報であった場合、切替器６０１は局所復号画像信号に対してフィルタ処理を行わずに終了する。なお、この場合、切替器６０１はフレームメモリ１０８へ局所復号画像信号を送る。

ステップＳ７０３では、切替器６０１から局所復号画像信号が送られた場合に、切替器６０２がフィルタ指定情報に基づいて適用するフィルタを決定する。

ステップＳ７０４では、切替器６０２から指定されたフィルタに局所復号画像信号が送られたときに、フィルタ係数情報に基づいて指定されたフィルタに対しフィルタ係数を設定してフィルタ処理を行う。以上により、ループフィルタ処理部６００の動作を終了する。

なお、切替器６０１および６０２、フィルタ部６０３のそれぞれにループフィルタ情報を送る代わりに、切替器６０１および６０２、フィルタ部６０３が必要とする情報を送ってもよい。具体的には、ループフィルタ処理部６００がループフィルタ情報を受け取ったときに、ループフィルタ処理部６００はループフィルタ情報に含まれるフィルタ適用情報、フィルタ指定情報、およびフィルタ係数情報をそれぞれ分離し、フィルタ適用情報を切替器６０１、フィルタ指定情報を切替器６０２、フィルタ係数情報をフィルタ部６０３へそれぞれ送ればよい。

ここで、フィルタ部６０３に含まれるフィルタの一例について図８から図１２までを参照して詳細に説明する。
図８から図１２までに示されるＸ１からＸ８１までは、９×９の正方形で表される局所復号画像の整数画素である。また、Ｘ４１はフィルタ処理対象画素とする。また、図８にはフィルタＦ_１、図９にはフィルタＦ_２、図１０にはフィルタＦ_３、図１１にはフィルタＦ_４、図１２にはフィルタＦ_５をそれぞれ示す。なお、具体例として、図８に示すフィルタＦ_１を用いたフィルタ処理を説明するが、他のフィルタについても同様の手法を適用することができる。

各フィルタは、フィルタ処理対象画素からのユークリッド距離によって、フィルタ処理に用いる整数画素の数が異なる。言い換えると、フィルタ処理対象画素から水平方向または垂直方向にある整数画素までの整数画素の数を半径として、その半径により描かれる画素領域を示す円に含まれる整数画素をフィルタ処理に用いる。例えば、フィルタＦ_１は、フィルタ処理対象画素であるＸ４１からＸ４３までの２画素分を半径として円を描き、その円内に含まれる整数画素をフィルタ処理に用いる。図８の場合は、斜線で示される整数画素Ｘ２３、Ｘ３１、Ｘ３２、Ｘ３３、Ｘ３９、Ｘ４０、Ｘ４１、Ｘ４２、Ｘ４３、Ｘ４９、Ｘ５０、Ｘ５１、およびＸ５９の合計１３個がフィルタ処理に用いられる。なおここでは、フィルタ処理対象画素から２画素分の距離を、フィルタＦ_１のユークリッド距離Ｒ（Ｆ_１）が２であるという。他のフィルタも同様に、図９のフィルタＦ_２、図１０のフィルタＦ_３、図１１のフィルタＦ_４、および図１２のフィルタＦ_５のユークリッド距離Ｒ（Ｆ_２）、Ｒ（Ｆ_３）、Ｒ（Ｆ_４）、Ｒ（Ｆ_５）は、以下の通りである。

補間フィルタ処理部１１０は、式（２６）を用いてフィルタ処理を行う。

ここで、フィルタ処理に用いる画素のインデクスをＩ（Ｆ_１）＝｛２３，３１，３２，３３，３９，４０，４１，４２，４３，４９，５０，５１，５９}とする。また、式（２７）はフィルタ係数を示す。

フィルタＦ_１のフィルタ処理は、第１の実施形態に係るループフィルタ処理部１０７のフィルタ処理と比較すると演算回数が少なくなる。具体的には、第１の実施形態に係るループフィルタ処理部１０７でのフィルタ処理において、式（２５）に示すように加算および乗算の回数が８１回に対して、第２の実施形態に係るループフィルタ処理部５０５でのフィルタ処理では、式（２６）に示すように１３回で済む。また、フィルタ係数の個数については、式（２５）が８１個に対して式（２６）が１３個であり、フィルタ係数に関する符号量を削減することができる。
フィルタＦ_１のフィルタ処理に関する式（２６）は、フィルタ処理対象画素からの距離が近く、フィルタ処理対象画素と相関が高い画素を利用する。そのため、フィルタ係数の個数を減らしても、第１の実施形態に係るループフィルタ処理部１０７のフィルタ処理の符号化ひずみを除去する効果に比べて大きく低下するのを防止しつつ、演算の処理量を減らせる点で有効である。

なお、フィルタ処理に用いる整数画素全てにフィルタ係数を設定せずに、フィルタ処理対象画素を中心とした対称性を用いてフィルタ係数を設定してもよい。例えば、フィルタＦ_１では、フィルタ処理対象画素Ｘ４１を中心として、式（２８）、式（２９）、式（３０）に示すように点対称となる位置にある整数画素同士のフィルタ係数を同一に設定してもよい。

よって、ループフィルタ処理部１０７に送られるフィルタ係数として、式（３１）に示すフィルタ係数が設定されればよい。

符号化制御部１０２はこれらの含むループフィルタ情報を生成し、可変長符号化部１１２がこのループフィルタ情報を符号化する。このような対称性を利用することにより、対称性を利用しない場合と比較して乗算回数およびフィルタ係数の符号量を削減することができる。

次に、第３の実施形態で用いられるシンタクス構造の一例について図１３および図１４を参照して説明する。
シンタクスは主に３つの部分からなり、ハイレベルシンタクス１３００は、スライス以上の上位レイヤのシンタクス情報が記述される。スライスレベルシンタクス１３０３は、スライスごとに必要な情報が記述される。マクロブロックレベルシンタクス１３０７は、マクロブロックごとに必要とされる変換係数データや予測モード、動きベクトルなどが記述される。

それぞれのシンタクスは、さらに詳細なシンタクスを含み、ハイレベルシンタクス１３００は、シーケンスパラメータセットシンタクス１３０１とピクチャパラメータセットシンタクス１３０２といった、シーケンスまたはピクチャレベルのシンタクスを含む。スライスレベルシンタクス１３０３は、スライスヘッダーシンタクス１３０４、スライスデータシンタクス１３０５、およびループフィルタデータシンタクス１３０６を含む。さらに、マクロブロックレベルシンタクス１３０７は、マクロブロックレイヤーシンタクス１３０８、マクロブロックプレディクションシンタクス１３０９を含む。
さらに、図１４に示すようにループフィルタデータシンタクス１３０６は、ループフィルタに関するパラメータであるループフィルタ情報が記述される。ループフィルタデータシンタクス１３０６は、フィルタ指定情報１４０１、フィルタ係数情報１４０２、およびフィルタ適用情報１４０３を含む。

次に、ループフィルタデータシンタクス１３０６の一例について図１５を参照して詳細に説明する。
ｆｉｌｔｅｒ＿ｉｄｘはフィルタ指定情報を示す。例えば、フィルタ部５０３が既に説明した５つのフィルタを備える場合、フィルタＦ_１からフィルタＦ_５までの中からフィルタを指定するために数値０、１、２、３、および４を用いればよい。すなわち、ｆｉｌｔｅｒ＿ｉｄｘは、フィルタＦ_１からフィルタＦ_５までのフィルタ処理に用いる画素領域を示す円の半径となるユークリッド距離Ｒ（Ｆ₁）、Ｒ（Ｆ_２）、Ｒ（Ｆ_３）、Ｒ（Ｆ_４）およびＲ（Ｆ_５）のそれぞれに対応するインデクスとなる。よって、ループフィルタ処理部１０７は、ｆｉｌｔｅｒ＿ｉｄｘのインデクスを参照することによりフィルタを選択することができる。
ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｆｉｌｔｅｒ＿ｉｄｘ］は、ｆｉｌｔｅｒ＿ｉｄｘで指定されたフィルタの係数の数を示し、この値で指定された数のフィルタ係数がループフィルタ処理部１０７へ送られる。例えば、ｆｉｌｔｅｒ＿ｉｄｘでフィルタＦ_１が指定された場合、ｎｕｍ＿ｏｆ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｆｉｌｔｅｒ＿ｉｄｘ］の値は１３となる。

ｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｉｄｘ］は、指定されたフィルタのｉｄｘ番目の係数を示す。ｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｉｄｘ］については、符号化済みのスライスで用いたフィルタ係数を用いて予測したフィルタ係数と実際にスライスに対して設計されたフィルタ係数との差分情報を用いてもよい。
ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅは、画面の領域を分割する単位となるブロック（以下、分割単位ブロック）のサイズを示す。ＮｕｍＯｆＢｌｏｃｋはスライス内に含まれる分割単位ブロックの個数を示し、この値で指定された数の領域に対するフィルタ適用情報がループフィルタ処理部１０７へ送られる。例えば、３２０×２４０のスライスにおいて分割単位ブロックのサイズとして１６×１６が指定された場合、ＮｕｍＯｆＢｌｏｃｋの値は３００となる。
ｆｉｌｔｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目の分割単位ブロックに対してのフィルタ適用情報を示す。例えば、ｆｉｌｔｅｒ＿ｆｌａｇ［ｉ］が１であればｉ番目の分割単位ブロックにフィルタを適用し、０であればフィルタを適用しない。

以上に示した第３の実施形態によれば、ループフィルタ処理部は、ループフィルタ情報に基づいてフィルタを適用するかどうかを決定することができ、さらに適用するフィルタを選択して切り替えることができる。また、フィルタ処理対象画素と相関の強い整数画素を選択してフィルタ処理に適用することによりフィルタ係数の数を減らすことができ、フィルタ係数に関する符号量を削減することができる。また、フィルタ処理対象画素について対称性を利用することによりさらにフィルタ係数の数を減らして符号量を削減することができる。
（第４の実施形態）
第４の実施形態に係る動画像復号装置は、図５に示す第２の実施形態に係る動画像復号装置とほぼ同様であるが、ループフィルタ処理部５０５が、第３の実施形態に係るループフィルタ処理部６００と同様の動作を行う点が異なる。第４の実施形態の動画像復号装置には、第３の実施形態の動画像符号化装置で出力された符号化データが入力される。

可変長復号部５０１は、図１３に示されるシンタクス構造に従って、ハイレベルシンタクス１３００、スライスレベルシンタクス１３０３、マクロブロックレベルシンタクス１３０７のそれぞれに対して、順次符号化データの各シンタクスの符号列を処理し、量子化変換係数情報、ループフィルタ情報などを復号する。第３の実施形態と同様のループフィルタデータシンタクス１３０６であった場合、ｆｉｌｔｅｒ＿ｉｄｘのインデクスを参照することにより、適用するフィルタが指定され、フィルタ処理に用いる画素領域を示す円の半径を特定することができる。

以上に示した第４の実施形態によれば、ループフィルタ情報に含まれるフィルタ適用情報、フィルタ指定情報、およびフィルタ係数情報に基づいて第３の実施形態に係る動画像符号化装置によりフィルタ処理された符号化データを復号することができる。

（第５の実施形態）
一般に動画像符号化技術では、動き補償予測において小数精度の画素補間を行う目的は２つある。第１の目的は、画像内の物体の動きの精度をより正確に表現するために、整数単位よりも細かい精度で予測画像を生成するためである。第２の目的は、補間フィルタとしてローパスフィルタを用いることによる符号化歪の除去効果である。
例えば、Ｈ．２６４／ＡＶＣにおいては、４分の１画素精度までの補間フィルタ処理を行うが、４分の１画素精度の位置の画素値は、整数精度または２分の１画素精度の位置の２つの画素値の平均値となる。これは、４分の１画素精度の位置に関して、平均値を用いる強いローパスフィルタとなることから、第２の目的を実現している。この動き補償予測において、小数精度の画素補間を行う方式では、結果として、動きベクトルによる画素位置の選択により、適応的にフィルタ処理にもなっているという見方もできる。第２の目的のために、補間フィルタ処理部に周囲の２画素または４画素の平均値とするローパスフィルタを用いる方式は、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４ Ｖｉｓｕａｌ、Ｈ．２６４／ＡＶＣ等の国際標準化規格に広く採用されている。

本願においては、従来の補間フィルタ処理の第２の目的である符号化歪の除去に関しては、ループフィルタ処理部１０７の構成によって達成されている。つまり、このループフィルタ処理部１０７は、図１３、図１４で説明されるループフィルタデータシンタクス１３０６を用いて、ある符号化単位ごとに、復号画像の整数精度の画素値に関して適応的な画像復元処理を実現している。したがって、補間フィルタ処理部１１０においては、符号化歪みの除去を考慮することなく純粋に動きの精度を実現することを目的とすることができる。
具体的には、２分の１画素精度のみならず、４分の１画素精度または８分の１画素精度についても、平均値フィルタのようなローパスフィルタを用いずに、複数の整数画素位置の画素値を用いたＦＩＲ（Finite Impulse Response）フィルタを用いることができる。

本実施形態のループフィルタ処理部１０７を含まない動画像符号化装置において、本実施形態の補間フィルタ処理部１１０を適用した場合を想定する。この場合、第２の目的である符号化歪の除去効果がないため、従来の補間フィルタ処理部を適用した場合と比較した場合、符号化効率が低下してしまう。また、本実施形態のループフィルタ処理部１０７を含む動画像符号化装置において、従来の補間フィルタ処理部を適用した場合、第２の目的のためにローパスフィルタを用いる必要があるため、ローパスフィルタの効果で、正確な動きを推定できず、符号化効率の改善の度合いが小さくなる。

したがって、本実施形態で示されるような適応的な画像復元フィルタを含むループフィルタ処理部と、小数点画素位置の画素値を整数画素から直接求めるような高精度の補間フィルタ処理部との組合せは、符号化効率を高める上で相乗効果がある。このことは、輝度信号のみならず、色差信号についても同様の効果が得られる。

第５の実施形態に係る動画像符号化装置は、第１の実施形態及び第３の実施形態に係る動画像符号化装置の動作を組み合わせた動作を行う。
第５の実施形態に係る動画像符号化装置について図１を参照して説明する。
第５の実施形態に係る動画像符号化装置１００は、減算器１０１、変換部１０２、量子化部１０３、逆量子化部１０４、逆変換部１０５、加算器１０６、ループフィルタ処理部１０７、フレームメモリ１０８、補間フィルタ処理部１１０、予測画像生成部１１１、可変長符号化部１１２、および符号化制御部１１３を含む。

減算器１０１は、外部から入力画像信号を、後述する予測画像生成部１１１から予測画像信号をそれぞれ受け取り、入力画像信号と予測画像信号との差分を残差信号として出力する。
変換部１０２は、減算器１０１から残差信号を受け取り、残差信号を変換して変換係数情報を生成する。
量子化部１０３は、変換部１０２から変換係数情報を受け取り、変換係数情報を量子化して量子化変換係数情報として得る。
逆量子化部１０４は、量子化部１０３から量子化変換係数情報を受け取り、量子化変換係数情報を逆量子化して再生変換係数情報を生成する。

逆変換部１０５は、逆量子化部１０４から再生変換係数情報を受け取り、再生変換係数情報を逆変換し、再生された残差信号である再生残差信号を生成する。
加算器１０６は、逆変換部１０５から再生残差信号を、後述する予測画像生成部１１１から予測画像信号をそれぞれ受け取り、再生残差信号と予測画像信号とを加算して局所復号画像信号を生成する。
ループフィルタ処理部１０７は、加算器１０６から局所復号画像信号を、後述する符号化制御部１１３からループフィルタ情報をそれぞれ受け取り、ループフィルタ情報に基づいて局所復号画像信号にフィルタ処理を行い、再生画像信号を生成する。ループフィルタ情報には、フィルタ適用情報、フィルタ指定情報及びフィルタ係数情報を含み、これらの情報に基づいて、ループフィルタ処理部１０７はフィルタを適用するかどうかを決定することができ、さらに適用するフィルタを選択して切り替えることができる。このような処理により、ループフィルタ処理部１０７では、局部復号画像信号に対する画像復元処理を行うことができる。なお、ループフィルタ処理部の具体的な動作については後述する。

フレームメモリ１０８は、ループフィルタ処理部１０７から再生画像信号を受け取り、再生画像信号を蓄積する。
補間フィルタ処理部１１０は、フレームメモリ１０８から再生画像信号を読み出し、再生画像信号に対してフィルタ処理を行い、小数画素精度の参照画像を生成する。
予測画像生成部１１１は、補間フィルタ処理部１１０から参照画像を、後述する符号化制御部１１３から動きベクトル情報をそれぞれ受け取り、参照画像を用いて、動きベクトル情報に基づいて小数画素精度の動き補償予測を行い、予測モード情報に基づいて予測画像信号を生成する。

可変長符号化部１１２は、量子化部１０３から量子化変換係数情報を、後述する符号化制御部１１３から予測モード情報とループフィルタ情報と動きベクトル情報とをそれぞれ受け取る。そして可変長符号化部１１２は、量子化変換係数情報と予測モード情報とループフィルタ情報と動きベクトル情報とを符号化し、符号化データを生成する。
符号化制御部１１３は、動き補償予測に用いる動きベクトル情報の生成、予測モード情報などの決定、ループフィルタ処理部１０７で用いるフィルタの設計を行い、動きベクトル情報とループフィルタ情報とを生成する。

次に、補間フィルタ処理部１１０について図１６を用いて説明する。
図１６においてＡ１からＡ８、Ｂ１からＢ８、Ｃ１からＣ８、Ｄ１からＤ８、Ｅ１からＥ８、Ｆ１からＦ８、Ｇ１からＧ８、Ｈ１からＨ８は整数画素を、ａからｏは補間する小数画素を表す。

第５の実施形態では、整数画素Ｄ４を基準として４分の１画素ずれた４分の１画素精度位置のａ，ｄについては、フィルタ係数が［−１，４，−１０，５７，１９，−７，３，−１］となるような８タップの非対称のＦＩＲフィルタを用いる。２分の１画素ずれた２分の１画素精度位置のｂ，ｈについては、フィルタ係数が［−１，５，−１２，４０，４０，−１２，５，−１］となる８タップの対称のＦＩＲフィルタを用いる。４分の３画素ずれた４分の３画素精度位置のｃ，ｌについては、フィルタ係数が［−１，３，−７，１９，５７，−１０，４，−１］となるような非対称のＦＩＲフィルタを用いる。また、その実現方法については、本実施形態においては、加減算とシフト演算とで実現する方法で説明する。ここで、関数“Ｃｌｉｐ”は、入力値を、画素値の最小値と最大値との間の値に制限する。“＜＜”は左論理シフト演算、“＞＞”は右論理シフト演算である。

まず、小数画素ａ，ｂ，ｃについては、水平方向に１次元のＦＩＲフィルタを適用することによって補間値を生成する。具体的には、以下の式（３２）から式（３４）までの演算により小数画素ａ，ｂ，ｃの補間値をそれぞれ求める。

小数画素ｄ，ｈ，ｌについては、垂直方向に１次元のＦＩＲフィルタを適用することによって補間値を生成する。具体的には、以下の式（３５）から式（３７）までの演算で補間値を求める。

上述の小数画素ａ，ｂ，ｃ，ｄ，ｈ，ｌとは異なり、小数画素ｅ，ｆ，ｇ，ｉ，ｊ，ｋ，ｍ，ｎ，ｏについては、垂直方向に１次元のＦＩＲフィルタを適用して生成した中間値に対して、水平方向に１次元のＦＩＲフィルタを適用して補間値を生成する。
まず、小数画素ｅ，ｆ，ｇについては、小数画素ｄの補間値の生成の途中までの方法で、垂直方向に１次元のＦＩＲフィルタを適用して生成した中間値ａａ１，ｂｂ１，ｃｃ１，ＤＤ６，ｄｄ１，ｅｅ１，ｆｆ１，ｇｇ１を生成し、これに、小数画素ａ，ｂ，ｃの補間値の生成と類似の方法で、水平方向にＦＩＲフィルタを適用して補間値を生成する。

ここで、具体的に小数画素ｅの補間値の生成について説明する。
まず、小数画素ａａ１について、整数画素Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｇ１，Ｈ１を用いて以下の式（３８）の演算で中間値を求める。

小数画素ｂｂ１に対しても同様に、整数画素Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ１，Ｆ２，Ｇ２，Ｈ２を用いて式（３８）と同様の演算で、中間値を求める。

小数画素ｃｃ１に対しても同様に整数画素Ａ３，Ｂ３，Ｃ３，Ｄ３，Ｅ３，Ｆ３，Ｇ３，Ｈ３を用いて式（３８）と同様の演算で、中間値を求める。

小数画素ｄに対しては、式（３５）のＤＤ６を中間値として用いればよい。

小数画素ｄｄ１に対しても同様に、整数画素Ａ５，Ｂ５，Ｃ５，Ｄ５，Ｅ５，Ｆ５，Ｇ５，Ｈ５を用いて式（３８）と同様の演算で、中間値を求める。

小数画素ｅｅ１に対しても同様に整数画素Ａ６，Ｂ６，Ｃ６，Ｄ６，Ｅ６，Ｆ６，Ｇ６，Ｈ６を用いて式（３８）と同様の演算で、中間値を求める。

小数画素ｆｆ１に対しても同様に整数画素Ａ７，Ｂ７，Ｃ７，Ｄ７，Ｅ７，Ｆ７，Ｇ７，Ｈ７を用いて式（３８）と同様の演算で、中間値を求める。

小数画素ｇｇ１に対しても同様に整数画素Ａ８，Ｂ８，Ｃ８，Ｄ８，Ｅ８，Ｆ８，Ｇ８，Ｈ８を用いて式（３８）と同様の演算で、中間値を求める。

画素eの補間値は、上述の手法で算出された中間値の８点、ａａ１，ｂｂ１，ｃｃ１，ＤＤ６，ｄｄ１，ｅｅ１，ｆｆ１，ｇｇ１を用いて、以下の式（３９）の演算を行うことにより生成することができる。

小数画素ｆ，ｇについても、中間値の８点、ａａ１，ｂｂ１，ｃｃ１，ＤＤ６，ｄｄ１，ｅｅ１，ｆｆ１，ｇｇ１を用いて水平方向にＦＩＲフィルタを適用することで、同様に補間値を生成することができる。
小数画素ｉ，ｊ，ｋについては、まず、小数画素ｈの補間値の生成の途中までの方法で、垂直方向に１次元のＦＩＲフィルタを適用して生成した中間値ａａ２，ｂｂ２，ｃｃ２，ＨＨ５，ｄｄ２，ｅｅ２，ｆｆ２，ｇｇ２を生成する。これに、小数画素ａ，ｂ，ｃの補間値の生成と同様の方法で、水平方向にＦＩＲフィルタを適用して補間値を生成する。

小数画素ｍ，ｎ，ｏについては、まず、小数画素ｌの補間値の生成の途中までの方法で、垂直方向に１次元のＦＩＲフィルタを適用して生成した中間値ａａ３，ｂｂ３，ｃｃ３，ＬＬ６，ｄｄ３，ｅｅ３，ｆｆ３，ｇｇ３を生成する。これに、小数画素ａ，ｂ，ｃの補間値の生成と類似の方法で、水平方向にＦＩＲフィルタを適用して補間値を生成する。
上述の処理を各小数画素に適用することにより、各小数画素の補間値を算出することができる。

次に、ループフィルタ処理部１０７について図６を用いて説明する。
補間フィルタ処理部１１０は、予め決まった固定のフィルタ係数を用いる。それに対して、ループフィルタ処理部１０７では、符号化制御部１１３で設計したフィルタ指定情報とフィルタ係数情報とフィルタ適用情報を用いた適用的な画像復元処理を行う。符号化制御部１１３では、ループフィルタのため、入力画像と局部復号画像から、画像復元されるようなフィルタとフィルタ係数を設計し、フィルタ指定情報とフィルタ係数情報とする。更に、画面内の領域に対してフィルタの適用／非適用を判定し、フィルタ処理によって局部復号画像が入力画像に対して復元される領域に対してフィルタを適用し、そうでない領域にはフィルタを非適用とするように決定した結果をフィルタ適用情報として用いる。

ループフィルタ処理部１０７は、切替器６０１、切替器６０２及びフィルタ部６０３を含む。フィルタ部６０３は内部に複数のフィルタを備える。ループフィルタ処理部１０７には符号化制御器１１３よりループフィルタ情報が入力される。ループフィルタ情報には、フィルタ指定情報、フィルタ係数情報及びフィルタ適用情報が含まれる。ループフィルタ情報のうちフィルタ指定情報は切替器６０２に、フィルタ係数情報はフィルタ部６０６に、フィルタ適用情報は切替器６０１に入力される。

切替器６０１は、画面内の領域に対してフィルタ適用情報に基づいて、局所復号画像信号の出力先を切り替える。局所復号画像信号のうち、フィルタを適用すると指定された領域の画像信号は切替器６０２に出力され、適用しないと指定された領域の画像信号は切替器６０２、フィルタ部６０３を経由せずにループフィルタ処理部１０７の外部に出力される。
切替器６０２は、フィルタ指定情報に基づいて、指定されたフィルタに局所復号画像信号を入力する。
フィルタ部６０３は、フィルタ係数情報に基づいて、指定されたフィルタにフィルタの係数を設定し、局所復号画像信号に対してフィルタ処理を行い、画像信号を生成する。

第５の実施形態で用いられるシンタクス構造の一例について図１３および図１４を参照して説明する。

シンタクスは主に３つの部分からなり、ハイレベルシンタクス１３００は、スライス以上の上位レイヤのシンタクス情報が記述される。スライスレベルシンタクス１３０３は、スライスごとに必要な情報が記述される。マクロブロックレベルシンタクス１３０７は、マクロブロックごとに必要とされる変換係数データや予測モード、動きベクトルなどが記述される。

それぞれのシンタクスは、さらに詳細なシンタクスを含み、ハイレベルシンタクス１３００は、シーケンスパラメータセットシンタクス１３０１とピクチャパラメータセットシンタクス１３０２といった、シーケンスまたはピクチャレベルのシンタクスを含む。スライスレベルシンタクス１３０３は、スライスヘッダーシンタクス１３０４、スライスデータシンタクス１３０５、およびループフィルタデータシンタクス１３０６を含む。さらに、マクロブロックレベルシンタクス１３０７は、マクロブロックレイヤーシンタクス１３０８、マクロブロックプレディクションシンタクス１３０９を含む。

さらに、図１４に示すようにループフィルタデータシンタクス１３０６は、ループフィルタに関するパラメータであるループフィルタ情報が記述される。ループフィルタデータシンタクス１３０６は、フィルタ指定情報１４０１、フィルタ係数情報１４０２、およびフィルタ適用情報１４０３を含む。

第５の実施形態においては、４分の１画素精度補間処理について、８タップの非対称及び対称のＦＩＲフィルタを用いて、実現する方法について説明した。加減算とシフト演算とで実現する方法で説明したが、フィルタ係数を整数画素値に乗算してフィルタ処理を行う方法で実現可能であることは言うまでもない。なお、この処理は、輝度信号に用いてもよいし、色差信号に用いてもよい。例えば、輝度信号と色差信号とのサンプリングレートが異なる場合、例えば４：２：０フォーマットの場合は、色差の画素数は、水平、垂直方向ともに２分の１となる。よって、スケールを合わせるために、輝度信号が４分の１画素精度補間処理の場合、色差信号は、８分の１画素精度の補間処理とし、輝度信号が８タップの場合は、４タップの処理とする方法としてもよい。
また、従来の手法では、長いタップ長のフィルタを補間フィルタ処理に適用すると整数画素値に符号化歪が存在するため、補間画像にリンギング歪が生じ、符号化効率が低下してしまう。よって、Ｈ．２６４／ＡＶＣでは、輝度信号に関してはフィルタのタップ長が６タップのフィルタを用いている。しかし、本実施形態では、適応的な画像復元フィルタを含むループフィルタ処理と組み合わせることにより、符号化歪を除去した整数画素値が得られるため、補間フィルタとして適用できなかったタップ長の長いフィルタも適用することが可能となる。例えば、８タップや１０タップ、１２タップといった従来よりもタップ長の長いフィルタが有効である。具体的に１２タップの場合の例を示すと、整数画素Ｄ４を基準として４分の１画素ずれた４分の１画素精度位置のａ，ｄについては、フィルタ係数が［−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１］となるような１２タップの非対称のＦＩＲフィルタを用いる。２分の１画素ずれた２分の１画素精度位置のｂ，ｈについては、フィルタ係数が［−１，８，−１６，２４，−４８，１６１，１６１，−４８，２４，−１６，８，−１］となる１２タップの対称のＦＩＲフィルタを用いる。４分の３画素ずれた４分の３画素精度位置のｃ，ｌについては、フィルタ係数が［−１，４，−８，１６，−３２，７６，２２９，−４０，２０，−１２，５，−１］となるような非対称の１２タップのＦＩＲフィルタを用いてもよい。

以上に示した第５の実施形態によれば、適応的な画像復元フィルタを含むループフィルタ処理部と、小数点画素位置の画素値を整数画素から直接求めるような高精度の補間フィルタ処理部との組合せによって、相乗的に符号化効率を高めることができる。 （第６の実施形態）
第６の実施形態に係る動画像復号装置では、第２の実施形態及び第４の実施形態に係る動画像復号装置の動作を組み合わせた動作を行う。
第６の実施形態に係る動画像復号装置について図２を参照して説明する。
第６の実施形態に係る動画像復号装置５００は、可変長復号部５０１、逆量子化部５０２、逆変換部５０３、加算器５０４、ループフィルタ処理部５０５、フレームメモリ５０６、補間フィルタ処理部５０８、予測画像生成部５０９、および復号制御部５１０を含む。

可変長復号部５０１は、第５の実施形態に係る動画像符号化装置１００において生成された符号化データを受け取る。可変長復号部５０１は、図１３に示されるシンタクス構造に従って、ハイレベルシンタクス１３００、スライスレベルシンタクス１３０３、マクロブロックレベルシンタクス１３０７のそれぞれに対して、順次符号化データの各シンタクスの符号列を処理し、符号化された量子化変換係数情報、符号化されたループフィルタ情報、及び符号化された動きベクトル情報を復号する。結果として、量子化変換係数情報、予測モード情報、ループフィルタ情報、及び動きベクトル情報が得られる。
逆量子化部５０２は、可変長復号部５０１から量子化変換係数情報を受け取り、量子化変換係数情報を逆量子化し、再生変換係数情報を生成する。
逆変換部５０３は、逆量子化部５０２から再生変換係数情報を受け取り、再生変換係数情報を逆変換して再生残差信号を生成する。

加算器５０４は、逆変換部５０３から再生残差信号を、後述する予測画像生成部５０９から予測画像信号をそれぞれ受け取る。加算器５０４は、再生残差信号と予測画像信号とを加算して復号画像信号を生成する。
ループフィルタ処理部５０５は、第５の実施形態に係るループフィルタ処理部１０７と同様の動作を行う。具体的には、可変長復号部５０１からループフィルタ情報を、加算器５０４から復号画像信号をそれぞれ受け取り、ループフィルタ情報に基づいて復号画像信号にフィルタ処理を行い、再生画像信号を生成する。また、ループフィルタ処理部５０５は、生成した再生画像信号を外部へ出力する。
フレームメモリ５０６は、ループフィルタ処理部５０５から再生画像信号を受け取り、再生画像信号を蓄積する。

補間フィルタ処理部５０８は、第５の実施形態に係る補間フィルタ処理部１１０と同様の動作を行う。具体的には、補間フィルタ処理部５０８は、フレームメモリ５０６から再生画像信号を読み出し、可変長復号部５０１から動きベクトル情報を受け取る。再生画像信号に対して補間フィルタ処理を行い、動きベクトル情報に基づいて、小数画素精度の参照画像を生成する。参照画像の生成においては，整数画素及び図１６の小数画素ａからｏまでのうち動き補償予測で用いられる動きベクトルによって、参照される画素が生成される。

予測画像生成部５０９は、補間フィルタ処理部５０８から参照画像と動きベクトル情報とを受け取り、参照画像を用いて、動きベクトル情報に基づいて、小数画素精度の動き補償予測を行い、予測モード情報に基づいて予測画像信号を生成する。
復号制御部５１０は、復号装置５００の全体の制御、例えば、フレームメモリ５０６の再生画像信号の蓄積量の制御、補間フィルタ処理部５０８の補間フィルタ係数の制御を行う。

以上に示した第６の実施形態によれば、第５の実施形態に係る動画像符号化装置によりフィルタ処理された符号化データを復号することができ、適応的な画像復元フィルタを含むループフィルタ処理部と、小数点画素位置の画素値を整数画素から直接求めるような高精度の補間フィルタ処理部との組合せによって、相乗的に復号効率を高めることができる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した動画像符号化装置および復号装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置および復号装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・動画像符号化装置、１０１・・・減算器、１０２・・・変換部、１０３・・・量子化部、１０４，５０２・・・逆量子化部、１０５，５０３・・・逆変換部、１０６，５０４・・・加算器、１０７，５０５，６００・・・ループフィルタ処理部、１０８，５０６・・・フレームメモリ、１０９，５０７・・・動き補償予測部、１１０，５０８・・・補間フィルタ処理部、１１１，５０９・・・予測画像生成部、１１２・・・可変長符号化部、１１３・・・符号化制御部、５００・・・動画像復号装置、５０１・・・可変長復号部、５１０・・・復号制御部、６０１，６０２・・・切替器、６０３・・・フィルタ部、１３００・・・ハイレベルシンタクス、１３０１・・・シーケンスパラメータセットシンタクス、１３０２・・・ピクチャパラメータセットシンタクス、１３０３・・・スライスレベルシンタクス、１３０４・・・スライスヘッダーシンタクス、１３０５・・・スライスデータシンタクス、１３０６・・・ループフィルタデータシンタクス、１３０７・・・マクロブロックレベルシンタクス、１３０８・・・マクロブロックレイヤーシンタクス、１３０９・・・マクロブロックプレディクションシンタクス、１４０１・・・フィルタ指定情報、１４０２・・・フィルタ係数情報、１４０３・・・フィルタ適用情報。

Claims (6)

1. 画面内の処理ブロック単位内で画素ごとに復号した画像信号を示す局所復号画像信号にフィルタ処理を行なう場合に、フィルタ処理を行なうかどうかを示す情報と、複数のフィルタのうち適用するフィルタを指定する情報と、フィルタ係数の情報とを含むループフィルタ情報を生成する符号化制御部と、
   前記ループフィルタ情報に基づいて、前記局所復号画像信号にフィルタ処理を行うかどうかと、前記フィルタ処理を行なう場合に前記複数のフィルタのうちどのフィルタを適用するかと、を決定する切替器と、
   前記フィルタ係数の情報に基づいてフィルタ処理を行ない再生画像信号を生成するループフィルタ処理部と、
   基準となる整数画素から水平方向または垂直方向のいずれか一方向に４分の１画素ずれたところの小数画素の画素値の動き補償予測を行なう場合に、前記再生画像信号が表す画像の整数画素の画素値から、予め定義された１次元のＦＩＲ（Finite Impulse Response）フィルタを用いて直接算出し、整数画素と小数画素とを含む参照画像を生成する補間フィルタ処理部と、
   前記参照画像に対して動き補償予測を行い、予測画像を示す予測画像信号を生成する予測画像生成部と、
   入力された画像信号である入力画像信号と前記予測画像信号との差分を示す残差信号を変換して画素の周波数成分値を示す変換係数情報を生成する変換部と、
   前記変換係数情報を量子化して量子化変換係数情報を生成する量子化部と、
   前記量子化変換係数情報と前記ループフィルタ情報とを符号化する符号化部と、を具備することを特徴とする動画像符号化装置。
2. 前記補間フィルタ処理部は、ある整数画素と該整数画素の１つ隣の整数画素との間の小数画素の画素値を算出する場合に、該小数画素の属する行または列の整数画素の画素値と該整数画素ごとに対応する補間フィルタ係数とを乗算した値を全て加算した第１値を算出し、該第１値にビットシフト演算による丸めを調整する値である調整値を加算した第２値を算出し、シフト数が示すビット数のビットシフト演算を該第２値に対して行うことにより前記小数画素の画素値を算出することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記補間フィルタ処理部は、基準となる整数画素から右に４分の１画素ずれた小数画素の画素値、または下に４分の１画素ずれた小数画素の画素値を算出する場合には前記補間フィルタ係数を｛−３，１２，−３７，２２９，７１，−２１，６，−１｝に設定し、基準となる整数画素から右に４分の３画素ずれた小数画素の画素値、または下に４分の３画素ずれた小数画素の画素値を算出する場合には前記補間フィルタ係数を｛−１，６，−２１，７１，２２９，−３７，１２，−３｝に設定し、前記調整値を１２８に設定し、および前記シフト数を８に設定することを特徴とする請求項２に記載の動画像符号化装置。
4. 符号化されたデータから、画面内の処理ブロック単位内で画素ごとに復号した画像信号を示す復号画像信号にフィルタ処理を行なう場合に、該フィルタ処理を行なうかどうかを示す情報と、複数のフィルタのうち適用するフィルタを指定する情報と、フィルタ係数の情報とを含むループフィルタ情報と、残差信号を変換して量子化した信号である量子化変換係数情報とを復号する復号部と、
   前記量子化変換係数情報を逆量子化して再生された変換係数情報である再生変換係数情報を生成する逆量子化部と、
   前記再生変換係数情報を逆変換して再生された残差信号を生成する再生残差信号を生成する逆変換部と、
   基準となる整数画素から水平方向または垂直方向のいずれか一方向に４分の１画素ずれたところの小数画素の画素値の動き補償予測をおこなう場合に、再生画像信号が表す画像の整数画素の画素値から、予め定義された１次元のＦＩＲ（Finite Impulse Response）フィルタを用いて直接算出し、整数画素と小数画素とを含む参照画像を生成する補間フィルタ処理部と、
   前記参照画像に対して動き補償予測を行い、予測画像を表す予測画像信号を生成する予測画像生成部と、
   前記ループフィルタ情報に基づいて、前記再生残差信号と前記予測画像信号とを加算し画素ごとに復号した画像信号を示す復号画像信号にフィルタ処理を行なうかどうかと、前記複数のフィルタのうちどのフィルタを適用するかと、を決定する切替器と、
   前記フィルタ処理を行なう場合に前記フィルタ係数の情報に基づいてフィルタ処理を行うループフィルタ処理部と、を具備することを特徴とする動画像復号装置。
5. 前記補間フィルタ処理部は、ある整数画素と該整数画素の１つ隣の整数画素との間の小数画素の画素値を算出する場合に、該小数画素の属する行または列の整数画素の画素値と該整数画素ごとに対応する補間フィルタ係数とを乗算した値を全て加算した第１値を算出し、該第１値にビットシフト演算による丸めを調整する値である調整値を加算した第２値を算出し、シフト数が示すビット数のビットシフト演算を該第２値に対して行うことにより前記小数画素の画素値を算出することを特徴とする請求項４に記載の動画像復号装置。
6. 前記補間フィルタ処理部は、基準となる整数画素から右に４分の１画素ずれた小数画素の画素値、または下に４分の１画素ずれた小数画素の画素値を算出する場合には前記補間フィルタ係数を｛−３，１２，−３７，２２９，７１，−２１，６，−１｝に設定し、基準となる整数画素から右に４分の３画素ずれた小数画素の画素値、または下に４分の３画素ずれた小数画素の画素値を算出する場合には前記補間フィルタ係数を｛−１，６，−２１，７１，２２９，−３７，１２，−３｝に設定し、前記調整値を１２８に設定し、および前記シフト数を８に設定することを特徴とする請求項５に記載の動画像復号装置。

Images