JP2013201467A - 動画像符号化装置および動画像復号装置および符号化データ構造 - Google Patents

Abstract

【課題】
複数種類の入力信号を用いる適応フィルタを備える動画像復号装置において、適応フィルタに用いる入力信号の種別によって適応的にフィルタ係数を予測符号化する。
【解決手段】
符号化データからフィルタ係数の可変長符号の復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて、復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、さらに、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備える。
【選択図】図４

Description

動画像符号化装置および動画像復号装置および符号化データ構造に関する。

動画像符号化技術の分野では、一般に、画像データ（画像情報）を複数の予測ブロックに分割し、分割した予測ブロック単位で予測を行い、予測画像と入力画像の差分（残差）を直交変換し、得られた変換係数を量子化した上で、量子化された変換係数の可変長符号化により符号化する。差分（残差）の直交変換は、予測ブロックと同一の、あるいは、予測ブロックとは独立に定められた変換ブロック単位で行われる。このような符号化方法では、予測を行う単位もしくは直交変換を実行する単位の境界において大きな歪み（いわゆる、ブロックノイズ）が生じやすい。また、ブロックノイズ以外にも、ボケやモスキートノイズなどさまざまな符号化ノイズが発生する。

これらの歪みを低減するために、予測の際に参照画像として利用される復号画像にフィルタ処理を行う技術が開示されている。
非特許文献１には、フィルタ対象画素の周囲の５×５もしくは７×７もしくは９×９画素の重み付和によって空間的なフィルタ処理を行う適応ループフィルタ（ＡｄａｐｔｉｖｅＬｏｏｐＦｉｌｔｅｒ、以下ＡＬＦ）と呼ばれる技術が開示されている。ＡＬＦでは既に符号化した重み係数を用いて予測符号化し、重み係数の予測誤差を符号化することで重み係数の符号量の低減が行われる。

非特許文献２には、ＡＬＦの入力信号を１つから３つに増やした方法が開示されている。この３入力ＡＬＦでは、復号画像のノイズを除去するデノイジングフィルタ（ＤＮＦ）を備え、ＤＮＦ後の復号画像と、予測画像、残差画像に対して、各々重み係数との積和を算出することによって、フィルタ処理が行われる。なお、ＤＮＦは、周波数領域における微小係数の除去によって行われる。３入力ＡＬＦにおいても、重み係数の予測符号化が行われる。重み係数の符号化は、ＤＮＦ後画像、予測画像、誤差画像の順で行われ、予測画像の中心要素にかかる重み係数は、ＤＮＦ後画像の中心要素にかかる符号化済みの重み係数から予測され差分値が符号化される。誤差画像の中心要素にかかる重み係数は、ＤＮＦ後画像の中心要素にかかる復号済みの重み係数と、予測画像の中心要素にかかる重み係数とから予測され差分値が符号化される。復号処理においても、重み係数の予測は符号化と同じ順で行われる

なお、上述のＡＬＦでは、ピクチャあるいはスライスごとに、フィルタが適用された後の参照画像と原画像との誤差が最小となる重み係数を定める。

「VCEG-AI18」,Telecommunication Standardization Sector,35th Mee-ting:Berlin,Germany,07/2008 「JCTVC-A114」、Description of video coding technology proposal by France Telecom, NTT, NTT DOCOMO, Panasonic and Technicolor, JCTVC Contribution JCTVC-A114, Dresden, Germany, April 2010.

しかしながら、非特許文献１のＡＬＦは、入力信号が１つであるから、入力信号が複数に増えた場合に有効な重み係数の符号化方法は明らかとされていない。
非特許文献１の３入力ＡＬＦは、入力信号が３つであり、予測画像の中心要素にかかる重み係数、誤差画像の中心要素にかかる重み係数が予測されるが、入力信号の性質を十分に活かしていないために予測精度が低いという課題があった。予測精度が低い場合には、重み係数の符号量が増加するという問題が生じる。

発明者は、上記の問題に鑑み、複数種別の信号を入力が可能な適応フィルタで用いられるフィルタ係数に関する効率的な予測方法に関する知見を得た。
上記の問題を解決するために、複数種別の信号を入力が可能な適応フィルタを備える動画像復号装置であって、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて、復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、さらに、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする、
上記のように構成された本発明に係る動画像復号装置は、入力画像として複数種別の信号が存在する場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。

また、上記、重み係数算出手段によって用いられる寄与率は、フィルタ係数がかかる信号の種別に応じて定まる種別寄与率と、フィルタ係数がかかる信号の数である参照信号数の積で算出される値であることを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、フィルタ係数がかかる信号の数である参照信号数だけでなく、入力の信号の種別に応じて適当な寄与率を用いて重み係数和を算出するため、フィルタ係数をさらに精度よく予測することが可能である。
また、上記、フィルタ係数予測部では、適応フィルタのフィルタ係数の一つであるオフセットを予測することを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、オフセット成分を精度よく予測することが可能である。

また、上記、動画像復号装置において、ノイズ低減フィルタ手段を備え、ノイズ低減フィルタ手段の出力を適応フィルタの入力の一つとすることが可能な動画像復号装置であって、フィルタ係数予測部では、ノイズ低減フィルタ手段の出力であるノイズ低減処理後の復号画像（ＮＲＦ後画像）の中心要素にかかるフィルタ係数を予測することを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、複数種別の信号を入力が可能な適応フィルタのフィルタ係数のうち、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

また、上記、動画像復号装置は、復号画像とノイズ低減フィルタ手段の出力を適応フィルタの入力とすることが可能な動画像復号装置であって、フィルタ係数予測部では、復号画像の中心要素にかかるフィルタ係数とＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、復号画像とノイズ低減後の復号画像を用いることによって、ノイズ低減強度が調整可能な動画像復号装置において、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

また、上記、動画像復号装置は、フィルタ予測部として、さらにフィルタ係数予測部は、過去に復号したフィルタセットに含まれるフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット間予測部と、同一フィルタセット内で既に復号したフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット内予測部を備え、さらに、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数をフィルタセット内予測部を用いて予測し、それ以外のフィルタ係数の予測をフィルタセット間予測部を用いて予測することを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数について精度よく予測することが可能なフィルタセット内予測を用い、それ以外のフィルタ係数についてはフィルタセット間予測を用いることによって、小数のフィルタ係数に対して高精度に予測可能であるというフィルタセット内予測と、多くのフィルタ係数に関して予測が可能であるというフィルタセット間予測の両者の特徴を活かすことができる。そのため、フィルタ係数の符号量を低減することができる。

また、上記動画像復号装置は、予測画像と残差画像とノイズ低減フィルタ手段の出力を適応フィルタの入力とすることが可能な動画像復号装置であって、さらにノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を予測するフィルタ係数予測部を備えることを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、予測画像と復号画像とノイズ低減後の復号画像を用いることによって、自由度が高くノイズ低減強度が調整可能な動画像復号装置において、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

また、上記、動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、復号画像に対する寄与率を１、ノイズ低減フィルタ後画像に対する寄与率を１とすることを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、入力信号に対して統計的に適当な寄与率を用いて重み係数和を算出することができることから、フィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

また、上記前記動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、予測画像に対する寄与率を１、残差画像に対する寄与率を０、ＮＲＦ後画像に対する寄与率を１とすることを特徴とする。
上記のように構成された本発明に係る動画像復号装置は、入力信号に対して統計的に適当な寄与率を用いて重み係数和を算出することができることから、フィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。
また、上記前記動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、０．５以下の所定の値Ａに対し、予測画像に対する寄与率を１−Ａ、残差画像に対する寄与率をＡ、ＮＲＦ後画像に対する寄与率を１とする。
上記のように構成された本発明に係る動画像復号装置は、入力信号に対して統計的に適当な寄与率を用いて重み係数和を算出することができることから、フィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

また、複数種別の信号を入力が可能な適応フィルタを備える動画像符号化装置であって、予測対象以外のフィルタ係数を用いて、予測対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像符号化装置であって、さらに、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする。
上記のように構成された本発明に係る動画像符号化装置は、入力画像として複数種別の信号が存在する場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。

また、少なくともオフセットを含む適応フィルタ情報を含む符号化データであって、前記符号化データ中に符号化されたオフセットが、前記オフセット以外のフィルタ係数から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。
上記のように構成された本発明に係る符号化データは、オフセットが精度よく予測された差分値として符号化されている。そのため、フィルタ係数の符号量を低減された符号化データとなる。

また、復号画像にかかるフィルタ係数と、ＮＲＦ後画像にかかるフィルタ係数とを含む、フィルタ係数セットを含む適応フィルタ情報を含む符号化データであって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。
上記のように構成された本発明に係る符号化データは、最も大きな値となることが多いＮＲＦ後画像の中心要素にかかるフィルタ係数が精度よく予測された差分値として符号化されている。そのため、フィルタ係数の符号量を低減された符号化データとなる。

また、予測画像にかかるフィルタ係数と、残差画像にかかるフィルタ係数と、ＮＲＦ後画像にかかるフィルタ係数とを含む、フィルタ係数セットを含む適応フィルタ情報を含む符号化データであって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。
上記のように構成された本発明に係る符号化データは、最も大きな値となることが多いＮＲＦ後画像の中心要素にかかるフィルタ係数が精度よく予測された差分値として符号化されている。そのため、フィルタ係数の符号量を低減された符号化データとなる。

以上のように、本発明に係る動画像符号化装置および動画像復号装置は、入力画像として複数種別の信号が存在可能な場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。そのため、符号化効率を高めることができる。

本発明の実施形態の動画像復号装置１のブロック図である。 本発明の実施形態の動画像符号化装置２のブロック図である。 本発明の実施形態のフィルタ係数予測復号部２０１のブロック図である。 本発明の実施形態のフィルタセット内フィルタ係数予測部２０２のブロック図である。 本発明の実施形態の寄与率算出部５０５のブロック図である。 本発明の実施形態の種別寄与率を示す図である。 本発明の実施形態のフィルタ係数予測復号部２０１´のブロック図である。 本発明の実施形態のフィルタセット間フィルタ係数予測部２０３のブロック図である。 本発明の実施形態のループフィルタ部１２０のブロック図である。 本発明の実施形態のＮＲＦ部３０１のブロック図である。 本発明の実施形態の境界を説明するための図である。 本発明の実施形態の適応フィルタ部３０２を説明するための図である。 本発明の実施形態のフィルタ係数予測符号化部２１１のブロック図である。 本発明の実施形態のフィルタ係数予測符号化部２１１´のブロック図である。 本発明の実施形態の動画像復号装置１´のブロック図である。 本発明の実施形態の動画像符号化装置２´のブロック図である。 本発明の実施形態にかかる重み係数の構成を示す図である。 本発明の実施形態の動画像復号装置１および動画像符号化装置２が扱う符号化データの構造を示す図である。 本発明の実施形態の動画像復号装置１´および動画像符号化装置２´が扱う符号化データの構造を示す図である。 本発明の実施形態の動画像復号装置１および動画像符号化装置２が扱うフィルタセットの具体例を示す図。 本発明の実施形態の動画像復号装置１´および動画像符号化装置２´が扱うフィルタセットの具体例を示す図。 本発明の実施形態の適応フィルタ部３０２´を説明するための図である。

（実施形態１）
本実施形態に係る動画像復号装置１の説明に先立ち、本実施形態に係る動画像符号化装置２及び動画像復号装置１で用いられる適応フィルタについて簡単に説明する。次に、上記適応フィルタで用いられるフィルタ係数の予測方法の概念を説明する。

適応フィルタとは、原画像と適応フィルタ処理の出力画像との二乗誤差が最小となるように最適化されたフィルタ係数を用いたウィナーフィルタである。動画像符号化装置で算出された最適なフィルタ係数は、符号化データを通じて動画像復号装置に伝送される。動画像復号装置では、符号化データからフィルタ係数を復号し、復号したフィルタ係数と適応フィルタの入力信号との積和によってフィルタ処理を行う。

適応フィルタの入力信号としては、複数種類の信号を用いることが可能であるが、本実施形態では、動画像復号装置で得られる復号画像の他、復号画像にノイズ低減フィルタ（ＮｏｉｓｅＲｅｄｕｃｔｉｏｎＦｉｌｔｅｒ、ＮＲＦと呼ぶ）を施した後の復号画像も入力信号とする。以下、ノイズ低減フィルタの入力画像である復号画像をＮＲＦ前画像、ノイズ低減フィルタ後の画像をＮＲＦ後画像と呼ぶ。

ＮＲＦ前画像、ＮＲＦ後画像の２つの入力を備える適応フィルタは、以下の式（１−１）で表現される。

ここで、SALFは適応フィルタ後の画素値、SdecはＮＲＦ前画像の画素値（ＮＲＦ前画素値）、SnrfはＮＲＦ後画像の画素値（ＮＲＦ後画素値）である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ａ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ前画素値にかかる重み係数、相対位置（ｕ、ｖ）に対応するＮＲＦ後画素値にかかる重み係数である。ｏはオフセットである。Ｒdecは、ＮＲＦ前画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒdec」と呼ぶ）を示している。Ｒnrfは、ＮＲＦ後画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒnrf」と呼ぶ）を示している。フィルタ参照領域Ｒdec及びＲnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Sdec及びＮＲＦ後画像Snrf上に設定される。フィルタ参照領域ＲdecはＭ×Ｍの矩形領域であり、フィルタ参照領域RnrfはＮ×Ｎの矩形領域である。

１次元インデックスｋが一組の（ｕ、ｖ）に対応すると仮定すると、式（１−１）は、２次元インデックスｕ、ｖの代わりに一次元インデックスｋを用いて表すことができる。式（１−１´）のように表現できる。
ここでＮｕｍＭ、ＮｕｍＮは各々、ＮＲＦ前画像およびＮＲＦ後画像に対する重み係数の数である。

式（１−１）の両辺をスライス内での平均をとると、以下の式（１−２）が得られる。なお、Ｅ（ｘ）はｘのスライス平均をとる演算を示す。
なお、オフセットはスライス内で固定の定数であるからＥ（ｏ）＝ｏとした。

ここで、以下の式（１−３ａ）、式（１−３ｂ）を仮定する。

式（１―３ａ）、式（１−３ｂ）に加え、さらにオフセットｏ＝０と仮定すると以下の式（１−４ａ）が得られる。
式（１−４ａ）の両辺をＥ（ＳＡＬＦ）で割ると、次の式式（１−４ｂ）が得られる。

寄与率ｍａｇ＿ａ、寄与率ｍａｇ＿ｂを以下の式（１−５ａ）、（１−５ｂ）で定義する。

寄与率を用いると式（１−４ｂ）は、以下の式（１−６）で表現される。

式（１−６）より、重み係数に寄与率をかけて得られる和（以下、重み係数和と呼ぶ）は約１になる性質をもつ。寄与率ｍａｇ＿ａ、ｍａｇ＿ｂが１である場合には、以下の式（１−６´）が成り立つ。
この入力信号の寄与率を考慮した重み線形和が約１である性質を利用して重み係数を予測する。

例えば、ＮＲＦ後画像にかかる重み係数の一つｂｉ（ｉは予測対象の重み係数を示すインデックスで、ｉは０からＮｕｍＮ−１までの値をとる）を予測する場合、予測値ｐｒｅｄ＿ｂｉは、以下のように得ることができる。式（１―６）において、予測対象の重み係数ｂｉ以外の和、予測対象の重み係数ｂｉをｐｒｅｄ＿ｂｉに置き換えて得られる和に分けて表現すると、以下の式（１−７ａ）が得られる。
ここで、第２項のΣ演算は、和の算出範囲をｋ＝0..ＮｕｍＮ−１、ｋ≒ｉと表現しているが、これは０からＮｕｍＮ−１値で、かつ、ｉを除く値についての和を求めることになる。これは０からｉ―１までとｉ＋１からＮｕｍＮ−１までの和を求めることに相当する。以下の式においてもこの表現方法を適用する。
さらにｐｒｅｄ＿ｂｉに対して変形すると、式（１−７ｂ）が得られる。
同様にａｉの予測値ｐｒｅｄ＿ａｉは以下の式（１−７ｃ）で得られる。
上記方法では、重み係数のうち１つの重み係数が予測できる。

以下、２つ以上の重み係数を予測する場合を説明する。予測対象の重み係数をａｉ、ｂｊとし、ａｉの予測値ａｉ＿ｐｒｅｄ、ｂｊの予測値ｂｊ＿ｐｒｅｄとする。ｉ、ｊは予測対象の重み係数を示すインデックスであり、ｉは０からＮｕｍＭ−１までの値、ｊは０からＮｕｍＮ−１までの値である。このとき、式（１−６）から以下の式（１−８）が得られる。

ここで、予測対象とする複数の重み係数が全て等しいと仮定してａｉ＝ｂｊ＝ｔとおく。この場合、予測値も等しいと考えられることからｐｒｅｄ＿ａｉ＝ｐｒｅｄ＿ｂｊ＝ｐｒｅｄ＿ｔとなり、式（１−８）は以下の式（１−９）のように変形できる。

式（１−９）をさらに変形すると、次の式（１−１０）を得る。

予測対象とする複数の重み係数が全て等しいという仮定は、対象とする重み係数が比較的大きな値を持つ、すなわち、適応フィルタに用いられる各入力信号の中心要素にかかる重み係数同士の場合は妥当であることが実験から分かっている

（オフセット予測の概念）
式（１−２）を変形すると、以下の式（１−１１）が得られる。

続いて、式（１−３ａ）と式（１−３ｂ）を仮定するとさらに以下の式（１−１２）にように変形できる。
さらに、寄与率を用いて変形すると、式（１−１３）が得られる。

式（１−１３）は、重み係数と寄与率の積和を１から引いた値にSALFの平均値をかけることによって、オフセットｏの予測値が得られることを意味する。ＡＶＥＶＡＬがSALFの期待値であり、ｓｕｍは、寄与率と重み係数の積和とすると、オフセットｏの予測値ｐｒｅｄ＿ｏを算出する式は、以下の式（１−１４）によって得られる。
なお、上記の重み係数予測の概念、および、オフセット予測の概念においては、入力の種別に応じた寄与率（種別寄与率）については考慮されているが、後述のフィルタ係数の量子化や対称性に関しては考慮されていない。これらを考慮した予測については、後述の予測手段の説明において示す。

次に、本実施形態に係る動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データの構成について、図１８を参照して説明する。

符号化データは、一連の画像データ（ピクチャ）から構成されている。図１８に示すように、一つのピクチャは複数のスライスから構成される。スライスは、適応フィルタ情報とマクロブロックデータ（ＭＢデータ）から構成される。ＭＢデータは、復号画像を生成するための情報であり、ブロックタイプ、予測ブロックサイズ、予測パラメータ、変換ブロックサイズ、残差情報から構成される。ここではスライス単位で、適応フィルタ情報を符号化しているが、フレーム単位など異なる単位で符号化しても構わない。

適応フィルタ情報は、フレームメモリに格納された復号画像に対して、適応フィルタ処理を制御するために使用される情報であり、フィルタのオンオフを制御するオンオフ情報、２次元フィルタにおけるフィルタのサイズを示すタップ数、１つ以上のフィルタ係数から構成されるフィルタ係数セットである。タップ数はさらにＮＲＦ前画像にかかるフィルタのタップ数を示すタップ数Ｍ、ＮＲＦ後画像にかかるフィルタのタップ数を示すタップ数Ｎから構成され、フィルタ係数セットは、ＮＲＦ前重み係数ａ_ｋ（ｋ＝０〜ＮｕｍＭ−１）、ＮＲＦ後重み係数ｂ_ｋ（ｋ＝０〜ＮｕｍＮ−１）、オフセットｏから構成される。なお、Ｍ、Ｎは、１、３、５の何れかの値をとるものとし、ＮｕｍＭおよびＮｕｍＮは、ＮＲＦ前画像にかかる重み係数の数、ＮＲＦ後画像にかかる重み係数の数である。タップ数Ｍ、Ｎと重み係数の数はＮｕｍＭ＝（Ｍ×Ｍ＋１）／２、ＮｕｍＮ＝（Ｎ×Ｎ＋１）／２の関係がある。なお、タップ数Ｍ及びタップ数Ｎの一方もしくは両方は明示的に符号化することなく予め決められた固定値を用いても良い。例えばＭであれば１、Ｎであれば５であっても良い。

ＮＲＦ前重み係数ａ_ｋ、ＮＲＦ後重み係数ｂ_ｋ、および、オフセットｏは、量子化および予測符号化される。一般にウィナーフィルタの重み係数およびオフセットは小数であるが、符号化データ中には、量子化により整数化した値が用いられる。例えば、量子化の粗さを示すビット深度がｂｉｔ＿ｄｅｐｔｈビットである場合には、小数精度の重み係数に、１＜＜ｂｉｔ＿ｄｅｐｔｈを乗じて、整数化した値が用いられる。なお、＜＜は、左シフトを示す記号である。以下、重み係数とオフセットを合わせてフィルタ係数と呼ぶ。

（重み係数の構成）
図１７を参照して符号化データ中の重み係数の構成と、２次元フィルタにおける重み係数の対応位置を説明する。図１７（ａ）、（ｂ）、（ｃ）は、各々タップ数が１、３、５の場合の重み係数を示す。図の左側は符号化データ中の重み係数の構成であり、各々１、５、１３個の重み係数が一次元的に順序づけられて構成されている。図１７の右側は２次元フィルタとして用いられる場合の重み係数の対応位置を示すものである。２次元フィルタは、フィルタ対象画素およびその周囲に位置する画素値に対応する重み係数を乗算して得られる加重平均を算出するフィルタである。図１７においては、フィルタ対象画素からみて点対称に位置する画素に対して同じ重み係数が割り当てられている。

（動画像復号装置１）
本発明を適用した動画像復号装置について、図１を参照しつつ以下に説明する。図１は、第１実施形態に係る動画像復号装置１の構成を示すブロック図である。

図１に示すように、動画像復号装置１は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報保存部１１９と、フィルタ係数予測復号部２０１と、ループフィルタ部１２０と、加算部１０９とから構成されている。動画像復号装置１の動作について以下に説明する。

動画像復号装置１に入力された符号化データは、まず、可変長符号化復号部１１４に入力される。可変長符号化復号部１１４は、符号化データの可変長復号により、フィルタ処理に用いる重み係数を含む適応フィルタ情報、予測方法および変換方法を示すＭＢパラメータ、変換・量子化された変換係数である残差情報を復号する。

逆量子化部１１５は、可変長符号化復号部１１４より入力された変換・量子化された残差画像を逆量子化する。逆変換部１１６は、逆量子化部１１５より入力された逆量子化された信号を逆変換し、残差画像を生成する。

予測部１１１は、可変長符号化復号部１１４より復号されたＭＢパラメータが入力され、当該ＭＢパラメータに従って、フレームメモリ１１７に格納された復号画像（復号済みの画像）を用いて、予測画像を生成する。ＭＢパラメータは、ブロックタイプと予測ブロックサイズ、変換ブロックサイズ、予測パラメータから構成される。ブロックタイプはイントラブロックかインターブロックかを示す。イントラブロックの場合には後述のループフィルタ処理前の復号画像（フレームメモリの画像）を参照して予測画像を生成し、インターブロックの場合にはループフィルタ処理後の復号画像を参照して予測画像を生成する。この実施形態では、予測ブロックサイズは予測のブロックサイズが１６×１６、８×８、４×４の何れであるかを示し、変換ブロックサイズは変換のブロックサイズが１６×１６、８×８、４×４の何れであるかを示す。予測パラメータはブロックタイプにより異なり、イントラブロックの場合には、ＤＣ予測を用いるか、方向予測を用いるかを示すイントラ予測モードである。インターブロックの場合には、動きベクトル、参照インデックスである。なお、参照インデックスは、フレームメモリに参照可能なフレームが複数存在する場合に、参照フレームを指定するための識別子である。なお、ブロックタイプ、予測ブロックサイズ、変換ブロックサイズ、予測パラメータなどはこの構成に限らない。

加算部１０９は、予測部１１１より入力された予測画像と、逆変換部１１６より入力された残差画像の加算により、復号画像を生成し、フレームメモリ１１７に格納する。

可変長符号化復号部１１４で可変長復号された適応フィルタ情報に含まれる重み係数は、その一部もしくは全てが予測符号化されたものである。予測符号化されていない場合は重み係数自体であり、予測符号化されている場合はフィルタ係数の予測差分値である。ここでは、両者を合わせて、符号化された時点での値をフィルタ係数符号化値と呼ぶ。これらフィルタ係数符号化値は一度、適応フィルタ情報保存部１１９に保存される。

フィルタ係数予測復号部２０１は、適応フィルタ情報保存部１１９に保存されたフィルタ係数符号化値から、フィルタ係数を復元する。復元された重み係数は、再度、適応フィルタ情報保存部１１９に保存される。
ループフィルタ部１２０は、適応フィルタ情報保存部１１９に保存され、復元された適応フィルタ情報を読み出し、フレームメモリ１１７に格納された復号画像のフィルタ処理を行い、再度フレームメモリに１１７に書き出す。

（フィルタ係数予測復号部２０１）
ここで、フィルタ係数予測復号部２０１について図３を用いて説明する。フィルタ係数予測復号部２０１は、フィルタセット内フィルタ係数予測部２０２と、加算部２０５から構成される。フィルタ係数予測復号部２０１では、差分値から対象となるフィルタ係数を復元する。対象となるフィルタ係数は一つであっても複数であっても良いが、復元は一つ一つ行われる。フィルタセット内フィルタ係数予測部２０２では、適応フィルタ情報保存部１１９から入力された、現スライス内の他のフィルタ係数を用いて、対象となるフィルタ係数の予測値を算出する。加算部２０５では算出したフィルタ係数の予測値と、符号化データから復号されたフィルタ係数の差分値の和を算出することで、フィルタ係数が復元される。

（フィルタセット内フィルタ係数予測部２０２）
フィルタセット内フィルタ係数予測部２０２は、図４に示すように予測対象係数特定部５０１と、重み係数和算出部５０２と、フィルタ係数予測部５０３と、寄与率算出部５０５から構成される。フィルタセット内フィルタ係数予測部２０２は、予測符号化されたフィルタ係数に対して、フィルタ係数の予測値を算出し、差分値であるフィルタ係数符号化値との和から、フィルタ係数を復元する。

フィルタセット内フィルタ係数予測部２０２には、重み係数の個数ＮｕｍＭ、ＮｕｍＮ及び、フィルタ係数が入力される。フィルタ係数の数は、ＮｕｍＭ＋ＮｕｍＮ＋１個であり、ＮＲＦ前画像にかかる重み係数、ＮＲＦ後画像にかかる重み係数、オフセットの順に入力される。入力される順序を示す値をインデックスｌと呼ぶ。インデックスｌは０からＮｕｍＭ＋ＮｕｍＮの値をとる。

（予測対象係数特定部５０１）
予測対象係数特定部５０１には、フィルタ係数の個数ＮｕｍＭ、ＮｕｍＮ及び、フィルタ係数が入力される。まず、予測対象係数特定部５０１は、インデックスｌを用いて、フィルタセット内フィルタ係数予測部２０２に入力された各フィルタ係数が、予測されたフィルタ係数（差分値）であるか、フィルタ係数自体であるかを特定する。
フィルタセット内フィルタ係数予測部２０２に入力されたフィルタ係数がフィルタ係数自体であれば、そのフィルタ係数の値をそのまま、重み係数和算出部５０２に出力する。予測されたフィルタ係数であれば０を重み係数和算出部５０２に出力する。

（重み係数和算出部５０２）
重み係数和算出部５０２では、重み係数和ｓｕｍを以下の式（５−２）により算出する。
なお、ｍａｇ（ｌ）は、インデックスｌの重み係数ｗ（ｌ）の寄与率を示し、後述の寄与率算出部５０５で算出される。

予測されたフィルタ係数については、予め予測対象係数特定部５０１において０として入力されているため、重み係数和ｓｕｍの算出には用いられない。
なお、重み係数和の算出を簡単にするために、差分値であるフィルタ係数の値を０とする処理を用いているが、これを避けて和を算出するようにすれば、寄与率算出部５０５に予測されたフィルタ係数を入力する必要はない。

（フィルタ係数予測値部５０３）
フィルタ係数予測値部５０３では、予測対象とするフィルタ係数の種類および予測されたフィルタ係数の数に応じて、以下のように予測値を算出する。
予測対象が１つの重み係数である場合には、重み係数和ｓｕｍから、以下の式（５−３）を用いて重み係数の予測値ｐｒｅｄを算出する。
なお、ｂｉｔ＿ｄｅｐｔｈは、重み係数の量子化の精度を示し、ｍａｇは予測対象の重み係数の寄与率である。寄与率ｍａｇは寄与率算出部５０５で算出する。重み係数の予測対象が１つの場合には、差分値として符号化された重み係数が１つである場合と、差分値として符号化された重み係数が複数存在するときに最後に復元する重み係数１つに適用する場合がある。
予測対象が重み係数であり、さらに複数ある場合には、重み係数和ｓｕｍから、以下の式（５−３´）を用いて重み係数の予測値を算出する。
ここでｓｕｍ＿ｍａｇは、複数個の重み係数の寄与率の和である。

予測符号化された重み係数が複数ある場合には、１個の予測値の算出、復元を行った後に、繰り返し、式（５−３´）で示される予測値算出を行い、復元することが好ましい。例えば、予測符号化された重み係数が３個である場合には、最初に、最後から３つ目の重み係数について予測値算出、復元を行い、次に、最後から２つ目の重み係数について予測値算出、復元を行い、最後に、式（５−３）を用いて、最後の重み係数について予測値算出、復元を行うことが好ましい。

予測対象がオフセットである場合には、重み係数和ｓｕｍから、以下の式（５−３´´）を用いて予測値pred_oを算出する。
なおＡＶＥＶＡＬは所定の値であり、復号画像のスライス平均値が好ましい。但し、スライス平均値を求める処理を省略するために、固定の値を用いても構わない。例えば、ループフィルタがかかる復号画像が輝度信号であり、その輝度信号のビット深度が８ビットの場合には９０から１００程度が好ましい。平均値はビット深度によって異なることから、輝度信号のビット深度ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈが得られる場合には、例えば８ビットの場合に用いる値１００をベースとして１００＜＜（ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈ―８）のように、輝度信号のビット深度に応じてＡＶＥＶＡＬを変化させると良い。ループフィルタがかかる復号画像が色差信号であり、そのビット深度が８ビットの場合には１２８が好ましい。色差信号のビット深度ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈが得られる場合には、１２８＜＜（ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈ―８）のように、色差信号のビット深度に応じてＡＶＥＶＡＬを変化させると良い。

（具体例）
寄与率算出部５０５を説明する前に、フィルタセット内フィルタ係数予測部２０２のより具体的な動作例をさらに具体的なフィルタ係数セットを用いて説明する。
図２０は、具体的なフィルタ係数セットの構成を示す図である。ここでは、ＮｕｍＭ＝１３、ＮｕｍＮ＝１の場合のフィルタ係数セットの例である。構成に示す通り、中心要素にかかる重み係数以外のＮＲＦ前画像にかかる重み係数、中心要素にかかる重み係数以外のＮＲＦ後画像にかかる重み係数、ＮＲＦ前画像の中心要素にかかる重み係数、ＮＲＦ後画像の中心要素にかかる重み係数の順に符号化されている。また、ＮＲＦ前画像の中心要素にかかる重み係数ａ_{ＮｕｍＭ−１}（ここではａ１２）と、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ−１}（ここではｂ０）、オフセットｏは予測符号化された差分値が、他のフィルタ係数はそれ自体が符号化されている。差分値として符号化されている値はａ１２´、ｂ０´、ｏ´というように´付きで表示されている。ここでは、予測対象となるフィルタ係数を符号化データの最後におく。また、符号化データ順、すなわち、ａ１２、ｂ０、ｏの順に復号する。なお、符号化データ順と復号順を同一とした方が処理が容易となりうるが、復号処理は符号化データ順によらずに可能である。

まず、フィルタセット内フィルタ係数予測部２０２では、式（５−３´）によりＮＲＦ前画像の中心要素にかかる重み係数ａ１２の予測値が以下の式（２６）のように得られる。
算出方法は後述するが、寄与率ｍａｇ＿ａ０〜ｍａｇ＿ａ１１は２であり、寄与率ｍａｇ＿ａ１２、ｍａｇ＿ｂ０は１であるので、以下の式（２７）となる。
式（２７）に示すとおり、予測対象係数であるａ１２は重み係数和の算出には用いられない。分子は重み係数和算出部５０２で算出される重み係数和であり、分母は寄与率算出部５０５で算出される寄与率の和である。

以上により、重み係数ａ１２は以下の式で復元できる。
ａ１２＝ｐｒｅｄ＿ａ１２＋ａ１２´

続いて、式（５−３）を用いてＮＲＦ後画像の中心要素にかかる重み係数ｂ０の予測値式（２８）が得られる。
ここでは、復元したａ１２を用いて予測値を算出する。
算出方法は後述するが、寄与率ｍａｇ＿ａ１２は１、寄与率ｍａｇ＿ａｋ（ｋ＝０〜１１）は２、寄与率ｍａｇ＿ｂ０は１であるので、以下の式（２９）となる。

最後に、式（５−３´´）によりオフセットｏの予測値が以下の式（３０）により得られる。
ここで重み係数和は重み係数和算出部５０２で算出される。

（備考）
オフセットを除くフィルタ係数の場合、いずれの重み係数も以上の方式で予測可能である。そのため、ＮＲＦ前画像の中心要素にかかる重み係数ａ_{ＮｕｍＭ−１}（以下ａｃ）、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ−１}（以下ｂｃ）を復元したが、他の構成でも復元可能である。なお、ａｃ、ｂｃのｃはｃｅｎｔｅｒの略。

一般に、中心要素にかかる重み係数以外の重み係数は０に近い値をとることが多いため、０に近い値を短い符号長で符号化し、０から遠ざかるにつれて長い符号長で符号化する可変長符号化が用いられる。中心要素にかかる重み係数の場合には０に近くはないため、予測を行う予測値との差分値を符号化すると良い。予測する場合には、大きな重み係数ほど、また、予測精度が高い（予測差分値が小さい）ほど効果が大きい。

また、上記、重み係数和を用いた手法では、最後に復元される重み係数は高い精度で復元することができる。そのため、最後に復元される重み係数は、重み係数のうちで最大のものが好ましい。

本実施形態の適応フィルタでは、式（１−１）のように、ＮＲＦ前画像とＮＲＦ後画像の重み付けを用いて、原画に近い画像を生成する。一般にノイズ低減フィルタをかけたＮＲＦ後画像の方が、ＮＲＦ前画像よりも、原画に近いことが多い。複数の入力信号を適応フィルタに入力し原画を近似する場合には、原画に近い入力信号の重み係数が大きくなるという性質があり、発明者による実験的にも確かめられている。従って、ＮＲＦ後画像を入力信号として用いる適応フィルタにおいては、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃが最大の重み係数となることが多い。

次に大きな値となる重み係数はＮＲＦ前画像の中心要素にかかる重み係数ａｃであることが実験的から得られている。従って、最後に符号化（復元）する重み係数をｂｃ、その直前に符号化（復元）する重み係数をａｃとするのが良い。
なお、処理の簡単化のため、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃだけを予測する。もしくは、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとオフセットｏのみを予測する構成としても良い。

（寄与率算出部５０５）
ここで、寄与率算出部５０５について図５を用いて説明する。寄与率算出部５０５は種別特定部６０１と、種別寄与率算出部６０２と、参照信号数算出部６０３と、乗算部６０４から構成される。

（種別特定部６０１）
種別特定部６０１は、重み係数に対応するインデックスｌを入力とし、各インデックスｌから重み係数の種別情報を次のように出力する。インデックスｌが０からＮｕｍＭ−１まではＮＲＦ前画像にかかるフィルタ係数であるので、重み係数の種別情報がＮＲＦ前画像であることを示す種別識別子（ここでは０）を出力する。インデックスｌがＮｕｍＭからＮｕｍＭ＋ＮｕｍＮ−１まではＮＲＦ後画像にかかるフィルタ係数であるので、重み係数の種別情報がＮＲＦ後画像であることを示す種別識別子（ここでは１）を出力する。インデックスｌがＮｕｍＭ＋ＮｕｍＮの場合にはオフセットであるので、重み係数の種別情報がオフセットであることを示す種別識別子（ここでは５）を出力する。

（種別寄与率算出部６０２）
種別寄与率算出部６０２は種別特定部６０１から種別情報を入力し、種別寄与率ｋｉｎｄ＿ｍａｇを出力する。本実施形態における種別寄与率ｋｉｎｄ＿ｍａｇは以下のように算出する。
種別がＮＲＦ前画像にかかるフィルタ係数もしくはＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が０もしくは１の場合）
ｋｉｎｄ＿ｍａｇ＝１
種別がオフセットの場合（種別識別子が５の場合）
ｋｉｎｄ＿ｍａｇ＝０

一般に、ｋｉｎｄ＿ｍａｇは、適応フィルタの入力信号の種別（重み係数がかかる重み係数の種別）毎に以下の式（６−２）を用いて算出される所定の値である。
ｋｉｎｄ＿ｍａｇ＝Ｅ（適応フィルタの入力信号）／Ｅ（適応フィルタの出力信号）
（６−２）

ここでＥ（Ｘ）はＸに対するスライス平均を表す。適応フィルタの入力信号とは、ＮＲＦ前画像もしくはＮＲＦ後画像である。スライス平均Ｅ（Ｘ）とは、実験的にはスライスにおいてＸの平均をとることによって求められる。しかし、実際には実験によって求める必要はなく、以下に説明するように予め概念的に定めておくことができる。

具体的には、復号画像（ＮＲＦ前画像）のスライス平均と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、式（６−２）によりＮＲＦ前画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは１と定められる。また、ＮＲＦ後画像のスライス平均値と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、ＮＲＦ後画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇも１と定められる。
なお、ここでは、入力の種別が、ＮＲＦ前画像にかかるフィルタもしくはＮＲＦ後画像にかかるフィルタである場合は１、それ以外を０としているが、他の入力種別がある場合には、それに対応する値を算出する。例えば、入力種別が予測画像である場合、もしくは、残差画像である場合には実施形態２において説明する。

（参照信号数算出部６０３）
参照画像数算出部６０３は、インデックスｌを入力とし、参照信号数ｒｅｆ＿ｎｕｍを出力する。図１７を再度参照してｒｅｆ＿ｎｕｍの算出方法を以下に説明する。

図１７において説明したように、一般に適応フィルタの重み係数は対称性を利用して符号化する重み係数の数を減らしていることが多い。対称性を利用する場合には、適応フィルタの入力信号の数よりも、適応フィルタに入力される重み係数の数の方が少なく、一つの重み係数が、複数の入力信号に対して用いられる。
参照信号数ｒｅｆ＿ｎｕｍは、当該重み係数に対して参照される入力信号の数である。図１７の例では、中心の画素にかかるフィルタ係数の参照信号数ｒｅｆ＿ｎｕｍは１、それ以外の画素にかかるフィルタ係数の参照信号数ｒｅｆ＿ｎｕｍは２となる。
なお、他の対称性を利用する、もしくは、対称性を利用しない方法も可能である。中心要素以外の画素にかかるフィルタ係数の参照信号数は、上下対称および左右対称の場合には２、上下および左右対称の場合には４になる。また、対称性を利用しない場合には参照信号数ｒｅｆ＿ｎｕｍは１となる。

（乗算部６０４）
乗算部６０４は、式（６―４）に示すように種別寄与率ｋｉｎｄ＿ｍａｇと参照信号数ｒｅｆ＿ｎｕｍの積により、寄与率ｍａｇを算出する
ｍａｇ ＝ ｋｉｎｄ＿ｍａｇ × ｒｅｆ＿ｎｕｍ （６−４）

（フィルタセット間予測）
図７は、フィルタ係数予測復号部２０１の別の構成（フィルタ係数予測復号部２０１´）を示すブロック図であり、フィルタ係数予測復号部２０１´は、フィルタセット内フィルタ係数予測部２０２と、フィルタセット間フィルタ係数予測部２０３、予測方式切替部２０４、加算部２０５から構成される。

符号化データには、図１８を用いて説明した通り、スライス毎に１つのフィルタセットが符号化される。フィルタセット内フィルタ係数予測部２０２は、当該スライスのフィルタセットに含まれる復号済みのフィルタ係数を用いてフィルタ係数を予測する手段である。
フィルタセット間フィルタ係数予測部２０３は既に復号された過去のスライスに含まれるフィルタセットを用いてフィルタ係数を予測する手段である。

予測方式切替部２０４は、予測対象のフィルタ係数がＮＲＦ後画像の中心要素にかかる重み係数ｂｃである場合には、フィルタセット内フィルタ係数予測部２０２による予測値を用い、それ以外の場合には、フィルタセット間フィルタ係数予測部２０３による予測値を用いる。
加算部２０５はフィルタ係数の予測値と、差分値を加算してフィルタ係数を復元する。復元されたフィルタ係数は、適応フィルタ情報保存部１１９で保存される。

図８は、フィルタセット間フィルタ係数予測部２０３の構成を示すブロック図である。フィルタセット間フィルタ係数予測部２０３は、対応フィルタ係数参照部５０６から構成される。
対応フィルタ係数参照部５０６では、適応フィルタ情報保存部１１９に格納された過去のスライスで復号されたフィルタ係数セットを用いて、フィルタ係数の予測値を算出する。具体的には、同じ種別および同じ位置のフィルタ係数を予測値とする。現スライスｔでのフィルタ値をＮＲＦ前のフィルタ係数をａｋ（ｔ）、ＮＲＦ後のフィルタ係数をｂｋ（ｔ）、それらの予測値をｐｒｅｄ＿ａｋ（ｔ）、ｐｒｅｄ＿ｂｋ（ｔ）とすると、以下の式で予測値が得られる。
ｐｒｅｄ＿ａｋ（ｔ） ＝ ａｋ（ｔ−１） （５−６ａ）
ｐｒｅｄ＿ｂｋ（ｔ） ＝ ｂｋ（ｔ−１） （５−６ｂ）
この式では、前スライスｔ−１のフィルタ係数を用いて予測値としている。なお、予測値として参照する前スライスｔ−１におけるタップ数が、予測対象である現スライスｔにおけるタップ数よりも小さい場合など、対応するフィルタ係数が存在しない場合には、予測値を０とする。また、最初のスライスなど、既に復号されたフィルタ係数セットが存在しない場合にも、予測値を０とする。

上記の構成のフィルタ係数予測復号部２０１´は、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数について精度よく予測することが可能なフィルタセット内予測を用い、それ以外のフィルタ係数についてはフィルタセット間予測を用いることによって、小数のフィルタ係数に対して高精度に予測可能であるというフィルタセット内予測と、多くのフィルタ係数に関して予測が可能であるというフィルタセット間予測の両者の特徴を活かすことができる。そのため、フィルタ係数の符号量を低減することができる。

（ループフィルタ部１２０）
図９は、ループフィルタ部１２０の内部構成を示す図である。ループフィルタ部１２０は、ノイズ低減フィルタ部（ＮＲＦ部）３０１と、適応フィルタ部３０２から構成される。
ループフィルタ部１２０は、フレームメモリ１１７に格納された復号画像と、適応フィルタ情報保存部１１９に格納された適応フィルタ情報を用いて、符号化歪みを低減した画像を生成する手段である。

ＮＲＦ部３０１は、符号化ノイズを低減するフィルタであり、デブロッキングフィルタやデノイジングフィルタなどを用いることができる。適応フィルタ部３０２は、適応フィルタ情報に含まれる重み係数およびオフセットを用いて加重平均によりフィルタ処理を行う手段である。

適応フィルタ部３０２は、２つの入力画像を備え、一方がＮＲＦ部３０１で処理された復号画像（ＮＲＦ後画像）であり、もう一方がＮＲＦ部３０１の処理前の復号画像（ＮＲＦ前画像）である。なお、ループフィルタ部１２０、ＮＲＦ部３０１、及び適応フィルタ部３０２の処理単位は、フレーム、スライス、ブロックのいずれかであっても画素であっても構わない。

（ＮＲＦ部３０１）
ここで、ＮＲＦ部３０１がデブロッキングフィルタである例について詳細に説明する。
図１１は、ブロックの境界部分における画素を模式的に示した図である。図１１では、互いに隣接するブロックのうち、一方のブロックの画素を画素Ｐｉとし、もう一方のブロックの画素を画素Ｑｉとしている（ｉは０〜ｎまでの整数）。なお、画素Ｐｉおよび画素Ｑｉにおけるｉは、ブロック境界からの距離に相当する。

また、図１１では、画素Ｐｉおよび画素Ｑｉに対応する画素値をそれぞれ画素値ｐｉおよび画素値ｑｉとして示しており、処理対象画素Ｐｋにおける処理前の画素値ｐｋに対応する処理後の画素値をｐｋ´として示している。ここで、ｋは０からブロックサイズ以下の値をとる整数である（ｋは０〜ｎ）。

すなわち、図１１では、ブロック境界において隣接する２つのブロックのうち、一方のブロックの画素値を画素値ｐｋ（ｋは境界からの距離により定められる値）、他方のブロックの画素値を画素値ｑｋ（ｋは境界からの距離により定められる値）として表している。なお、図１１では、境界が水平方向の境界であるのか、または垂直方向の境界であるのかについては区別していない。

図１０は、ＮＲＦ部３０１の内部構成を示す図である。ＮＲＦ部３０１は、境界エッジ算出部４０１と、活性度算出部４０２と、ＮＲＦ画素生成部４０３を備える。

境界エッジ算出部４０１は、下記の式（４−１）を用いて、境界のエッジ強度ｄを算出する。
ｄ＝ＡＢＳ（ｐ０−ｑ０） （４−１）
活性度算出部４０２は、下記の式（４−２）を用いて、活性度を表す値ａｐを算出する。活性度は境界およびフィルタ対象画素付近の凹凸の状態もしくは勾配の大きさを算出するものである。
ａｐ＝ＡＢＳ（ｐ２−ｐ０） （４−２）

ＮＲＦ画素生成部４０３は、算出された「ｄ」および「ａｐ」が、所定の閾値α、βに対して、ｄ＜α、かつ、ａｐ＜βである場合に以下のフィルタ処理を施す。
ｐ０´＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）／８
ｐ１´＝（ｐ２＋ｐ１＋ｐ０＋ｑ０）／４
ｐ２´＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）／８

そうではない場合には、以下のフィルタを施す。
ｐ０´＝（２×ｐ１＋ｐ０＋ｑ０）／４

ＮＲＦ部３０１は、予測ブロックの境界および変換ブロックの境界に対して上記の処理を実行する。より具体的にはまず予測ブロック及び変換ブロックの垂直境界に処理を行い、続いて、予測ブロック及び変換ブロックの水平境界に処理を行う。これによりＮＲＦ後画素値Snrfを得る。

このように構成したＮＲＦ部３０１は、境界のエッジ強度または活性度が大きい場合に強いフィルタがかからないようにフィルタ強度を調整したブロックノイズ低減処理を行うことができる。

（適応フィルタ部３０２）
ここで、適応フィルタ部３０２について図１２を用いて詳細に説明する。適応フィルタ部３０２は、復号画像適応重み付け部７０１と、ＮＲＦ後画像適応重み付け部７０２と、シフト／除算部７０３を備える。復号画像適応重み付け部７０１は、タップ数Ｍおよび重み係数ａ_ｋ（ｋ＝０〜ＮｕｍＭ−１）とオフセットｏを用いて、フレームメモリ１１７から入力された復号画像を用いてフィルタ処理を行う。ＮＲＦ後画像適応重み付け部７０２は、タップ数Ｎおよび重み係数ｂ_ｋ（ｋ＝０〜ＮｕｍＮ−１）と、ＮＲＦ部３０１から入力された復号画像を用いてフィルタ処理を行う。

適応フィルタ部３０２は、下記の式（７−１）で表現されるフィルタ処理を行う。
ここでｓｈｉｆｔは除算を実行するためのシフト値であり、フィルタ係数の量子化に用いたｂｉｔ＿ｄｅｐｔｈと同じ値が用いられる。ｔｏｔａｌ２は、１＜＜（ｓｈｉｆｔ−１）で算出される値で丸め（四捨五入）に用いられる。なお式（７−１）の意味は、前述の式（１−１）とほぼ同じであるが、重み係数ａｋ、ｂｋおよびオフセットが量子化された後であるため、丸め及び除算が追加されている。フィルタ処理自体は式（１−１）と同様であるが演算を容易にするために、式（７−１）では整数化したフィルタ係数を用いることに伴い、丸め及び除算処理が追加されている。

（重み係数のインデックス）
ここで、符号化データから復号され、適応フィルタ情報保存部１１９に保存された、１次元インデックスで表示された重み係数ａ_ｋ（ｋ＝０〜ＮｕｍＭ−１）と、２次元インデックスで表示された重み係数ａ（ｕ、ｖ）の関係について説明する。まず２次元インデックス（ｕ、ｖ）より、次の式で得られるｋ０を計算し、さらにｋ０からｋを計算することで１次元インデックスｋを得る。

ｋ０＝（ｕ＋ｏｆｓｔ）＋（ｖ＋ｏｆｓｔ）×Ｍ
ここでｏｆｓｔ＝Ｍ／２、ｕ＝―Ｍ／２〜Ｍ／２、ｖ＝−Ｍ／２〜Ｍ／２。
ｋ＝ｋ０ （ｋ０＜（Ｍ×Ｍ＋１）／２）
＝（Ｍ×Ｍ―１）―ｋ０ （それ以外）

以下、ａ（ｕ、ｖ）と表示される演算では、２次元インデックス（ｕ、ｖ）から１次元インデックスｋに変換された後の値ｋを用いて表現されるａ_ｋを用いる。
１次元の重み係数ｂ_ｋ（ｋ＝０〜ＮｕｍＮ−１）と、上記２次元の重み係数ｂ（ｕ、ｖ）との関係も同様であり、次の式で得られるｋ０を計算し、さらにｋ０からｋを計算することで１次元インデックスｋを得る。
ｋ０＝（ｕ＋ｏｆｓｔ）＋（ｖ＋ｏｆｓｔ）×Ｎ
ここでｏｆｓｔ＝Ｎ／２、ｉ＝―Ｎ／２〜Ｎ／２、ｊ＝−Ｎ／２〜Ｎ／２。
ｋ＝ｋ０ （ｋ０＜（Ｎ×Ｎ＋１）／２）
＝（Ｎ×Ｎ―１）―ｋ０ （それ以外）

以下、ｂ（ｕ、ｖ）と表示される演算では、２次元インデックス（ｕ、ｖ）から１次元インデックスｋに変換された後の値ｋを用いて表現されるｂ_ｋを用いる。

適応フィルタ部３０２は、復号画像適応重み付け部７０１、ＮＲＦ後画像適応重み付け部７０２、シフト／除算部７０３を用いて先に説明した式（７−１）の処理を行う。
復号画像適応重み付け部７０１は、
式（７−１）の第１項、及び、オフセットの加算
Σａ（ｕ、ｖ）×Sdec（ｘ＋ｕ、ｙ＋ｖ）＋ｏ
を実行する。

ＮＲＦ後画像適応重み付け部７０２は式（７−１）の第２項、すなわち、
Σｂ（ｕ、ｖ）×Snrf（ｘ＋ｕ、ｙ＋ｖ）
を実行する。

シフト／除算部７０３はラウンド付きシフト演算による除算ｒｄｉｖ（ｘ）を行う。この処理は、入力信号をｘとすると、以下の関数で表現できる
ｒｄｉｖ（ｘ）＝（ｘ＋ｔｏｔａｌ２）＞＞ｓｈｉｆｔ

このような適応フィルタ処理によって、ＮＲＦ前画素値とＮＲＦ後画素値の両者の空間的な重み演算により効果的に歪みの低減を行うことができる。

（動画像符号化装置２）
続いて、本発明を適用した画像符号化装置について、図を参照して説明する。
図２は、動画像符号化装置２の構成を示すブロック図である。動画像符号化装置１と同様の部材に関しては、同一の符号を付し、その説明を省略する。

図２に示すように、動画像符号化装置２は、予測部１１１と、変換部１１２と、量子化部１１３と、可変長符号化部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報算出部１１８と適応フィルタ情報保存部１１９とループフィルタ部１２０、フィルタ係数予測符号化部２１１と、減算部１０７、加算部１０９とから構成される。

動画像符号化装置２は、フレームメモリ１１７に格納された局所復号画像の歪みを低減するループフィルタ部１２０を備え、ループフィルタ部１２０を制御するための適応フィルタ情報を格納する適応フィルタ情報保存部１１９を備える。以下、動画像符号化装置２の動作について説明する。

動画像符号化装置２に入力された画像はブロックに分解され、以下の処理がなされる。予測部１１１は、入力ブロックを近似する予測ブロックを生成する。減算部１０７は、入力ブロックと予測部１１１から出力される予測ブロックの差分値である差分値ブロックを計算する。

変換部１１２は、減算部１０７から入力された差分値ブロックに対しＤＣＴ変換などにより変換係数を算出する。量子化部１１３は、量子化ステップにより定まるステップに従い、変換係数を量子化する。量子化された変換係数は、可変長符号化部１１４により符号化され外部に出力される。

逆量子化部１１５は、量子化された変換係数を逆量子化する。逆変換部１１６は、逆量子化された変換係数を逆変換し、残差ブロックを算出する。加算部１０９は、残差ブロックと予測ブロックの和を計算し、入力ブロックを再生する。再生されたブロックは、フレームメモリ１１７に格納される。

適応フィルタ情報算出部１１８は、適応フィルタ情報を算出する。算出された適応フィルタ情報は、適応フィルタ情報保存部１１９に格納される。適応フィルタ情報保存部１１９に格納された適応フィルタ情報に含まれるフィルタ係数のうち、一部もしくは全てはフィルタ係数予測符号化部２１１で予測差分値に変換される。フィルタ係数もしくはフィルタ係数の予測差分値は、可変長符号化部１１４において符号化される。可変長符号化部１１４は、適応フィルタ情報だけでなく予測方法を示す情報と変換係数も符号化する。

算出された適応フィルタ情報は適応フィルタ情報保存部１１９に格納される。ループフィルタ部１２０は、適応フィルタ情報保存部１１９に保存された適応フィルタ情報を読み出し、その値に従って、フレームメモリ１１７に格納された局所復号画像にフィルタ処理を行う。フィルタ処理された画像はフレームメモリ１１７に再度格納される。
適応フィルタ情報保存部１１９、ループフィルタ部１２０の動作は、動画像復号装置１と同一であるので、説明を省略する。

（フィルタ係数予測符号化部２１１）
図１３は、フィルタ係数予測符号化部２１１の構成を示す図である。フィルタ係数予測符号化部２１１は、フィルタセット内フィルタ係数予測部２０２と減算部２０６から構成される。フィルタセット内フィルタ係数予測部２０２は動画像復号装置１において先に説明した通りであり、フィルタ係数の予測値を算出する。減算部２０６は、フィルタ係数と予測値の差分を算出する。算出された差分値は、可変長符号化部１１４において符号化される。

図１４は、フィルタ係数予測符号化部２１１１の別の構成（フィルタ係数予測符号化部２１１´）を示す図である。フィルタ係数予測符号化部２１１´は、フィルタセット内フィルタ係数予測部２０２、フィルタセット内フィルタ係数予測部２０３、予測方式切替部２０４、減算部２０６から構成される。フィルタセット内フィルタ係数予測部２０２、フィルタセット内フィルタ係数予測部２０３、予測方式切替部２０４は動画像復号装置１において先に説明した通りであり、フィルタ係数の予測値を算出する。減算部２０６は、フィルタ係数と予測値の差分を算出する。算出された差分値は、可変長符号化部１１４において符号化される。

（適応フィルタ情報算出部１１８）
以下、適応フィルタ情報算出部１１８の動作を説明する。適応フィルタ情報算出部１１８は、入力画像Sorgと復号画像SdecおよびＮＲＦ後の画素値Snrfから、以下の式（８−１）を最小化する重み係数ａｆ_ｋ（ｋ＝０〜ＮｕｍＭ−１）とｂｆ_ｋ（ｋ＝０〜ＮｕｍＮ−１）、オフセットｏｆの推定値を最小二乗法により求める。ここでｆはｆｌｏａｔの略であり、最小二乗法では小数点数として重み係数を算出することを意味する。

ここで、Sorgは原画の画素値、SdecはＮＲＦ前画像の画素値、SnrfはＮＲＦ後画像の画素値である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ａ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ前画素値およびＮＲＦ後画素値にかかる重み係数である。ｏはオフセットである。Ｒdecは、フィルタ参照領域Ｒdec、Ｒnrfはフィルタ参照領域Ｒnrdである。Ｒsliceは適応フィルタ処理が行われる領域（フィルタ対象領域）である。フィルタ参照領域Ｒdec及びＲnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Sdec及びSnrf上に設定される。フィルタ参照領域ＲdecはＭ×Ｍの矩形領域であり、フィルタ参照領域RnrfはＮ×Ｎの矩形領域である。

なお、ａ_ｋとａｆ（ｕ、ｖ）の関係、ｂ_ｋとｂｆ（ｕ、ｖ）の関係は既に動画像復号装置１の説明で示したとおりである。
最小二乗法に先立ち、以下の式変形を行う。式（８−１）を重み係数ａｆ_ｋとｂｆ_ｋ、オフセットｏｆをパラメータとする以下の式（８−２）に直す。
ここでａｋ、ｂｋとしては、相対位置（ｕ、ｖ）に対応する重み係数ａｋ、ｂｋを用いる。

さらに、Σで示される和として、（ｕ、ｖ）に関する和から、ｋに関する和に置き替える。
ここでｋから（ｕ、ｖ）への対応関係は２通りあるため、一方を（ｕk、ｖk）、もう一方を（uk´、vk´）と表現する。

ｋから（ｕ、ｖ）、（u´、v´）への変換は以下の演算で行われる。まず、以下の式を用いてｋからｋ０とｋ０´を計算する
ｋ０ ＝ｋ
ｋ０´＝（Ｍ×Ｍ−１）―ｋ
次に、ｋ０とｋ０´から以下の式を用いてｕ、ｖを計算する。
ｕ＝（ｋ０％Ｍ）−ｏｆｓｔ
ｖ＝（ｋ０／Ｍ）−ｏｆｓｔ
ｕ´＝（ｋ０´％Ｍ）−ｏｆｓｔ
ｖ´＝（ｋ０´／Ｍ）−ｏｆｓｔ
ここで％は剰余を計算する演算、／は除算を行い小数点以下を切り捨てて整数化する演算、ｏｆｓｔ＝Ｍ／２である。
なお、Snrfに関しては上の式でＭをＮに置き替えた演算で（ｕ、ｖ）、（u´、v´）を計算する。
上記の置き替えにより、式（８−２）は式（８−３）として表現することができる。

最小二乗法では、式（８−３）をパラメータａｆ_ｋ、ｂｆ_ｋ、ｏｆの式とみなして、各々のパラメータに対して偏微分を行い、これを０とする。これによって、正規方程式と呼ばれるパラメータの数ＮｕｍＭ＋ＮｕｍＮ＋１個の連立方程式が得られる。
得られた方程式をガウスの消去法などによって解くことにより、ａｆ_ｋの最適推定値ａｆｅと、ｂｆ_ｋの最適推定値ｂｆｅ、ｏｆの最適推定値ｏｆｅが得られる。
これらを重み係数の組を推定値ｚｆｅと呼ぶ。なお、ＮＲＦ後の画素値Snrfは、ループフィルタ部１２０内のＮＲＦ部３０１を動作させて算出する。

最小二乗法の演算は、事前にＮＲＦ前画像にかかるフィルタのタップ数ＭとＮＲＦ後画像にかかるフィルタのタップ数Ｎを特定の値に定めて行われる。但し、最適なＭとＮの組み合わせを予め定めることは困難であることから、次に示す擬似コードで表現する処理によって可能な全ての組み合わせのＭおよびＮに対して最小二乗法を行い、最適なＭとＮの組み合わせを選択することで、最適化を行う。

ＣＯＳＴＭＩＮ＝０ｘ７ＦＦＦＦＦＦＦ（十分大きな値、ここでは３２ビット符号付き整数の最大値を設定）
ＬＯＯＰ（Ｍ＝１、３、５）｛
ＬＯＯＰ（Ｎ＝１、３、５）｛
最小二乗法により重み係数ｚｆｅを得る
ｚｆｅを式（８−３）に代入して得られる二乗誤差の大きさをＣＯＳＴとする。
ＩＦ（ＣＯＳＴ ＜ＣＯＳＴＭＩＮ）｛
重み係数ｚｆｅを最適な重み係数ｚｆｂｅｓｔとして保存
ＣＯＳＴ＝ＣＯＳＴＭＩＮ
｝
｝
｝

ここで算出された最適な重み係数セットをｚｆｂｅｓｔ＝｛ａｆｂｅｓｔ、ｂｆｂｅｓｔ、ｏｂｂｅｓｔ｝とする。次の式で示される演算で整数化し、適応フィルタ情報保存部１１９に保存する。
ａｂｅｓｔ＝（ｉｎｔ）｛ａｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
ｂｂｅｓｔ＝（ｉｎｔ）｛ｂｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
ｏｂｅｓｔ＝（ｉｎｔ）｛ｏｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
なお（ｉｎｔ）は整数化を示す。

（実施形態２）
（動画像復号装置１´）
本実施形態に係る動画像復号装置１´の説明に先立ち、本実施形態に係る動画像符号化装置２´によって生成され、動画像復号装置１´によって復号される符号化データのうち適応フィルタ情報の構成について図１９を参照して説明する。符号化データの基本的な構成は第１の実施形態と同じく図１８の通りであるが、適応フィルタ情報の詳細構成が異なる。

図１９に示すように、フィルタのオンオフを制御するオンオフ情報、予測画像にかかるフィルタのタップ数を示すタップ数ＰＮ、残差画像にかかるフィルタのタップ数を示すタップ数ＥＮ、ＮＲＦ後画像にかかるフィルタのタップ数を示すタップ数Ｎ、予測画像重み係数ｃ_ｋ（ｋ＝０〜ＮｕｍＰＮ−１）、残差画像重み係数ｄ_ｋ（ｋ＝０〜ＮｕｍＥＮ−１）、ＮＲＦ後重み係数ｂ_ｋ（ｋ＝０〜ＮｕｍＮ−１）、オフセットｏから構成される。なお、ＰＮ、ＥＮ、Ｎは、１、３、５の何れかの値をとるものとし、ＮｕｍＰＮ、ＮｕｍＥＮおよびＮｕｍＮは、予測画像にかかる重み係数の数、残差画像にかかる重み係数の数、ＮＲＦ後画像にかかる重み係数の数である。なお、タップ数ＥＮ、ＰＮ、Ｎのいずれかもしくは全ては明示的に符号化することなく予め決められた固定値を用いても良い。

（第２の実施形態の基本概念）
続いて、本実施形態における適応フィルタの簡単な説明を行い、本実施形態での適応フィルタで使用される重み係数の予測に関するコンセプトを説明する。
本発明で用いられる適応フィルタ処理は、予測画像、残差画像、ＮＲＦ後画像の３つの入力を備えるものであり、簡単には以下の式（１０−１）で表現される。詳細については後述する。

ここで、SALFは適応フィルタ後の画素値、ｐｒｅｄは予測画像の画素値、ｅｒｒｏｒは残差画像の画素値、SnrfはＮＲＦ後画素値である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ｃ（ｕ、ｖ）、ｄ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応する予測画像にかかる重み係数、残差画像にかかる重み係数、ＮＲＦ後画像にかかる重み係数である。ｏはオフセットである。Ｒpredは、予測画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒpred」と呼ぶ）を示している。Ｒerrorは、残差画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒerror」と呼ぶ）を示している。Ｒnrfは、ＮＲＦ後画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒnrd」と呼ぶ）を示している。フィルタ参照領域Ｒpred、Rerror、Rnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、予測画像ｐｒｅｄ、残差画像ｅｒｒｏｒ、及びＮＲＦ後画像Snrf上に設定される。フィルタ参照領域Ｒpred、Rerror、Rnrfは各々ＰＮ×ＰＮの矩形領域、ＥＮ×ＥＮの矩形領域、Ｎ×Ｎの矩形領域である。

ここで、２次元インデックスｕ、ｖの代わりに一次元インデックスｋを用いて表すと、式（１０−１）は式（１０−１´）のように表現できる。
ここでｐｒｅｄ_ｋ＝ｐｒｅｄ（ｕ、ｖ）、ｅｒｒｏｒ_ｋ＝ｅｒｒｏｒ（ｕ、ｖ）、Ｓｎｒｆ_ｋ＝Ｓｎｒｆ（ｕ、ｖ）である。

式（１０−１´）の両辺をスライス内での平均をとると、以下の式（１０−２）が得られる。なお、Ｅ（ｘ）はｘのスライス平均をとる演算を示す。

さらに、以下の仮定、式（１０−３ａ）、式（１０−３ｂ）、式（１０−３ｃ）を置く。

式（１０−２）において、式（１０−３ａ）、式（１０−３ｂ）、式（１０−３ｃ）を仮定し、オフセットｏ＝０と仮定すると以下の式（１０−４）が得られる。
ここで、以下の式で与えられる寄与率と呼ぶ値、ｍａｇ＿ｃ、ｍａｇ＿ｄ、ｍａｇ＿ｂを定義する。
ｍａｇ＿ｃ＝Ｅ（ｐｒｅｄ）／Ｅ（SALF） （１０−５ａ）
ｍａｇ＿ｄ＝Ｅ（ｅｒｒｏｒ）／Ｅ（SALF） （１０−５ｂ）
ｍａｇ＿ｂ＝Ｅ（Snrf）／Ｅ（SALF） （１０−５ｃ）

このとき、式（１０−４）は、寄与率を用いて以下の式（１０−６）で表現される。

これは、重み係数に寄与率をかけて得られる和（以下、重み係数和と呼ぶ）がほぼ１になることを意味する。
この入力信号の寄与率を考慮した重み線形和が１であるという性質を利用して重み係数を予測する。

例えば、ＮＲＦ後画像にかかる重み係数の一つｂｉを予測する場合、予測値ｐｒｅｄ＿ｂｉを、以下のように得ることができる。なお、ｉは予測対象の重み係数を示すインデックスで０からＮｕｍＮ−１までの値をとる。
ｐｒｅｄ＿ｂｉに対して変形すると、式（１０−７ｂ）が得られる。
同様にｃｉの予測値ｐｒｅｄ＿ｃｉは、式（１０−７ｃ）により得られる。
同様にｄｉの予測値ｐｒｅｄ＿ｄｉは、式（１０−７ｄ）により得られる。
上記方法では、１つの重み係数が予測可能である。

以下、２つ以上の重み係数を予測する場合を説明する。予測対象の重み係数をｃｉ０、ｄｉ１、ｂｉ２とし、ｃｉ０の予測値ｐｒｅｄ＿ｃｉ０、ｄｊの予測値ｐｒｅｄ＿ｄｉ１、ｂｉ２の予測値ｐｒｅｄ＿ｂｉ２とする。ｉ０、ｉ１、ｉ２は予測対象の重み係数を示すインデックスであり、ｉ０は０からＮｕｍＰＮ−１まで、ｉ１は０からＮｕｍＥＮ−１、ｉ２は０からＮｕｍＮ−１までの値をとる。なお、ここのインデックスは、重み係数和算出部の説明とは異なり、種別毎に個別のインデックスを与えて説明している。

このとき、式（１０−６）から以下（１０−８）の式が得られる。

ここで、ｃｉ０＝ｄｉ１＝ｂｉ２＝ｔである、つまり、予測対象とする複数の重み係数が全て等しいと仮定する。すると、予測値も等しいと考えられることからｐｒｅｄ＿ｃｉ０＝ｐｒｅｄ＿ｄｉ１＝ｐｒｅｄ＿ｂｉ２＝ｐｒｅｄ＿ｔとなり、式（１０−８）は以下の式（１０−９）に変形できる。

さらに変形すると、次の式（１０−１０）を得る。この式により複数のフィルタ係数が差分値として符号化されている場合においても、予測対象とするフィルタ係数の予測値を算出することができる、

オフセットの予測においては３入力の場合の重み係数和を以下の式（１０−１３）で算出する。
続いて、式（５−３´´）によって、オフセットの予測値ｐｒｅｄ＿ｏが算出される。

本発明を適用した動画像復号装置１´について、図１５を参照しつつ以下に説明する。図１５は、第２の実施形態に係る動画像復号装置１´の構成を示すブロック図である。

図１５に示すように、動画像復号装置１´は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報保存部１１９と、フィルタ係数予測復号部２０１と、ループフィルタ部１２０´と、加算部１０９から構成されている。動画像復号装置１´の動作について以下に説明する。可変長符号化復号部１１４、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７、適応フィルタ情報保存部１１９、加算部１０９の第１の実施形態と同じため、説明を省略する。

（ループフィルタ部１２０´）
ループフィルタ部１２０´は、ＮＲＦ部３０１と、適応フィルタ部３０２´から構成される。ループフィルタ部１２０´の特徴は、適応フィルタ部３０２´の入力信号として、ＮＲＦ後画像と、予測画像＃１１１と、残差画像＃１１６の３つの信号を用いることにある。

（適応フィルタ部３０２´）
ここで、適応フィルタ部３０２´について図２２を用いて詳細に説明する。適応フィルタ部３０２´は、予測画像適応重み付け部７０４と、残差画像適応重み付け部７０５とＮＲＦ後画像適応重み付け部７０２と、シフト／除算部７０３を備える。予測画像適応重み付け部７０４は、タップ数ＰＮおよび重み係数ｃ_ｋ（ｋ＝０〜ＮｕｍＰＮ−１）とオフセットｏを用いて、予測部１１１から入力された予測画像を用いてフィルタ処理を行う。残差画像適応重み付け部７０２は、タップ数ＥＮおよび重み係数ｄ_ｋ（ｋ＝０〜ＮｕｍＥＮ−１）と残差画像を用いてフィルタ処理を行う。ＮＲＦ後画像適応重み付け部７０２は、タップ数Ｎおよび重み係数ｂ_ｋ（ｋ＝０〜ＮｕｍＮ−１）と、ＮＲＦ部３０１から入力されたＮＲＦ後画像を用いてフィルタ処理を行う。なお、第２の実施形態においても対称性を利用することからＮｕｍＰＮ＝（ＰＮ×ＰＮ＋１）／２、ＮｕｍＥＮ＝（ＥＮ×ＥＮ＋１）／２、ＮｕｍＮ＝（Ｎ×Ｎ＋１）／２である。

適応フィルタ部３０２´は、下記の式（７−１´）で表現されるフィルタ処理を行う。

ここで、Snrf（ｘ、ｙ）はＮＲＦ後画素値、ｐｒｅｄ（ｘ、ｙ）は予測画像の値、ｅｒｒｏｒ（ｘ、ｙ）は残差画像の値、SALF（ｘ、ｙ）は適応フィルタ後画素値である。（ｘ、ｙ）はフィルタ対象画素のフレーム内での位置で、フレームの幅ｗ、フレームの高さをｈとすると、０＜＝ｘ＜＝ｗ−１、０＜＝ｙ＜＝ｈ−１をとる。また、（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ｂ（ｕ、ｖ）、ｃ（ｕ、ｖ）、ｄ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ後画素値にかかる重み係数、予測画像にかかる重み係数、残差画像にかかる重み係数である。ｏはオフセット、ｓｈｉｆｔは除算を実行するためのシフト値である。Ｒpred、Ｒerror、Ｒnrfは既に説明したフィルタ参照領域Ｒpred、フィルタ参照領域Ｒerror、フィルタ参照領域Ｒnrfである。

（フィルタ係数予測復号部２０１）
フィルタ係数予測復号部２０１は概念的には第１の実施形態と同じ動作を行うが、細かい部分で動作が異なるため、相違点のみを説明する。

（具体例）
図２１は、具体的なフィルタ係数セットの構成を示す図である。ここでは、ＮｕｍＰＮ＝５、ＮｕｍＥＮ＝１、ＮｕｍＮ＝１３の場合のフィルタ係数セットの例である。構成に示す通り、中心要素にかかる重み係数以外の予測画像にかかる重み係数、中心要素にかかる重み係数以外の残差画像にかかる重み係数、中心要素にかかる重み係数以外のＮＲＦ後画像にかかる重み係数、予測画像の中心要素にかかる重み係数、残差画像の中心要素にかかる重み係数、ＮＲＦ後画像の中心要素にかかる重み係数の順に符号化されている。また、予測画像の中心要素にかかる重み係数ｃ_{ＮｕｍＰＮ−１}（ここではｃ４）と、残差画像の中心要素にかかる重み係数ｄ_{ＮｕｍＥＮ−１}（ここではｄ０）、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ−１}（ここではｂ１２）、オフセットｏが予測符号化されており、他のフィルタ係数はそのまま符号化されている。予測符号化されている値はｃ４´、ｄ０´、ｂ１２´、ｏ´というように´付きで表示されている。ここでは、予測対象となるフィルタ係数を符号化データの最後におく。また、符号化データ順、すなわち、ｃ４、ｄ０、ｂ１２、ｏの順に復号する。

まず、フィルタセット内フィルタ係数予測部２０２では、式（５−３´）により、予測画像の中心要素にかかる重み係数ｃ４の予測値は以下の式（５２）により得られる。

続いて、式（５−３´）により残差画像の中心要素にかかる重み係数ｄ０の予測値が以下の式（５３）により得られる。

続いて、式（５−３）によりＮＲＦ後画像の中心要素にかかる重み係数ｂ０の予測値が以下の式（５４）により得られる。

最後に、式（５−３´´）によりオフセットｏの予測値が以下の式（５５）により得られる。

第２の実施形態の適応フィルタ部３０２´では、予測画像と残差画像とＮＲＦ後画像の重み付けを用いて、元々の原画に近い画像を生成する。一般にノイズ低減フィルタであるＮＲＦ後画像が、予測画像、残差画像よりも元々の原画に近いことが多い。そのため最大の重み係数は、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとなる。
なお、実際の構成では、処理の簡単化のため、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃだけを予測する。もしくは、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとオフセットｏのみを予測する構成としても良い。

（種別特定部６０１´）
第２の実施形態では、種別特定部６０１の代わりに種別特定部６０１´を用いる。種別特定部６０１´は重み係数に対応するインデックスｌを入力とし、各インデックスｌから重み係数の種別情報を次のように出力する。インデックスｌが０からＮｕｍＰＮ−１までは予測画像であるので、重み係数の種別情報が予測画像であることを示す種別識別子（ここでは３）を出力する。インデックスｌがＮｕｍＰＮからＮｕｍＰＮ＋ＮｕｍＥＮ−１までは残差画像にかかる係数であるので、重み係数の種別情報が残差画像であることを示す種別識別子（ここでは４）を出力する。インデックスｌがＮｕｍＰＮ＋ＮｕｍＥＮからＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮ−１まではＮＲＦ後画像にかかる係数であるので、重み係数の種別情報がＮＲＦ後画像であることを示す種別識別子（ここでは２）を出力する。インデックスｌがＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮの場合にはオフセットであるので、重み係数の種別情報がオフセットであることを示す種別識別子（ここでは５）を出力する。

（種別寄与率算出部６０２）
図６は、種別寄与率算出部６０２で算出される種別寄与率ｋｉｎｄ＿ｍａｇの値を示す図である。種別寄与率算出部６０２は種別特定部６０１´から種別情報を入力し、種別寄与率ｋｉｎｄ＿ｍａｇを出力する。図６（ａ）に示すように本実施形態における種別寄与率ｋｉｎｄ＿ｍａｇは以下のように算出する。
種別がＮＲＦ後画像にかかるフィルタ係数もしくは予測画像にかかるフィルタ係数の場合（種別が２もしくは３の場合）
ｋｉｎｄ＿ｍａｇ＝１
種別がそれ以外の場合（種別が４もしくは５の場合）
ｋｉｎｄ＿ｍａｇ＝０
また、この実施形態では入力されないが、仮に、ＮＲＦ前画像にかかるフィルタ係数（種別識別子は１）が入力された場合には、
種別がＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が１の場合）
ｋｉｎｄ＿ｍａｇ＝１
のように動作する。

ここで、予測画像と残差画像の種別寄与率ｋｉｎｄ＿ｍａｇは以下のように定められる。予測画像のスライス平均値と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、式（６−２）によりＮＲＦ前画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは１と定められる。また、残差画像のスライス平均値は０であると考えられるため、ＮＲＦ後画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは０と定められる。

（種別寄与率算出部６０２´）
図６（ｂ）は、種別寄与率算出部６０２で算出される種別寄与率ｋｉｎｄ＿ｍａｇの値の別の例である。この例の動作を行う種別寄与率算出部６０２´を以下に説明する。
種別寄与率算出部６０２´では、以下の動作を行う。
種別がＮＲＦ前画像にかかるフィルタ係数の場合（種別識別子が１の場合）
ｋｉｎｄ＿ｍａｇ＝１
種別がＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が２の場合）
ｋｉｎｄ＿ｍａｇ＝１
種別が予測画像の場合（種別識別子が３の場合）
ｋｉｎｄ＿ｍａｇ＝０．９
種別が残差画像の場合（種別識別子が４の場合）
ｋｉｎｄ＿ｍａｇ＝０．１
種別がそれ以外の場合（種別識別子が５の場合）
ｋｉｎｄ＿ｍａｇ＝０

予測画像と残差画像の種別寄与率ｋｉｎｄ＿ｍａｇを上記のように定めた方法について以下説明する。予測画像ｐｒｅｄと残差画像ｅｒｒｏｒの和が、復号画像であるから、復号画像をSdecと置くと以下の式になる。
Sdec＝ｐｒｅｄ＋ｅｒｒｏｒ （６−２´´）
この式のスライス平均を算出すると
Ｅ（Sdec）＝Ｅ（ｐｒｅｄ）＋Ｅ（ｅｒｒｏｒ） （６−２´）
となる。ここでＥ（ｅｒｒｏｒ）＝Ａと置くと、式（６−２´）より、
Ｅ（ｐｒｅｄ）＝Ｅ（ｘ）―Ａとなる。
これを式（１−２）に代入すると、
Ｅ（SALF）≒Σｃ_ｋ（Ｅ（Ｓｄｅｃ）―Ａ）＋Σｄ_ｋ×Ａ＋Σｂ_ｋ×Ｅ（Snrf）
となる。

ここで両辺をＥ（SALF）で割り、寄与率ｍａｇ＿ｃ、ｍａｇ＿ｄ、ｍａｇ＿ｂを用いて表現すると、重み係数和に関する条件が得られる。
Σｃ_ｋ×ｍａｇ＿ｃ＋Σｄ_ｋ×ｍａｇ＿ｄ＋Σｂ_ｋ×ｍａｇ＿ｂ＝１
ここで、
ｍａｇ＿ｄ ＝ Ｅ（ｅｒｒｏｒ）／Ｅ（SALF）
ｍａｇ＿ｃ ＝ （Ｅ（Sdec）―Ｅ（ｅｒｒｏｒ））／Ｅ（SALF）
ｍａｇ＿ｂ ＝ Ｅ（Snrf）／Ｅ（SALF）
である。

残差画像ｅｒｒｏｒのスライス平均は、フィルタ後画像（SALF）のスライス平均に比べて十分に小さいと考えられるので、ここでは
ｍａｇ＿ｄ ＝ ０．１
とした。
この場合、Ｅ（Sdec）とＥ（SALF）はほぼ等しいと考えられるため、
ｍａｇ＿ｃ ＝ （Ｅ（Sdec）／Ｅ（SALF）―Ｅ（ｅｒｒｏｒ））／Ｅ（SALF）
＝ １ − ｍａｇ＿ｄ
により、
ｍａｇ＿ｃ ＝ ０．９
とすることができる。
なお、他にＡとしては０．５以下の値を用いることができ、この場合、以下のように寄与率を定める。
ｍａｇ＿ｄ ＝ Ａ
ｍａｇ＿ｃ ＝ １−Ａ

（フィルタ係数予測部５０３の別の構成）
フィルタ係数予測部５０３の別の構成について以下で説明する。予測対象とする寄与率が小さい場合もしくは０である場合には、上記では、残差画像の重み係数を求める場合には、（式５−３´）を用いても精度が十分ではない可能性がある。この場合には、別の性質に基づいた推定を行う構成が考えられる。
この構成では、既に復号されている予測画像の重み係数を用いて、残差画像にかかる重み係数を予測する。すなわち、
残差画像の重み係数の予測値 ＝ 予測画像の重み係数 （５−３´´´）
により予測を行う。重み係数が複数のタップ数から構成されている場合には、対応する位置毎に予測を行う。例えば、残差画像の重み係数の中心要素は、予測画像の重み係数の中心要素から予測する。対応する位置がない場合には０を予測値とする。

この性質は、式（６−２´´）に基づいて求められたものである。すなわち、予測画像と残差画像の和が復号画像であることから、復号画像に近い値である原画に近い値を重み付けで得るためには、予測画像と残差画像の重み係数が等しい必要がある。この必要に基づいて、式（５−３´´´）が定められている。
なお、以下の式（５―３´´´´）を用いて、予測画像にかかる重み係数を予測しても構わない。
予測画像の重み係数の予測値 ＝ 残差画像の重み係数 （５−３´´´´）

（動画像符号化装置２´）
続いて、本発明を適用した画像符号化装置について、図を参照して説明する。
図１６は、動画像符号化装置２´の構成を示すブロック図である。動画像符号化装置１と同様の部材に関しては、同一の符号を付し、その説明を省略する。

図１６に示すように、動画像符号化装置２´は、予測部１１１と、変換部１１２と、量子化部１１３と、可変長符号化部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報算出部１１８´と適応フィルタ情報保存部１１９とループフィルタ部１２０´、フィルタ係数予測符号化部２１１、と減算部１０７と加算部１０９とから構成される。予測部１１１、変換部１１２、量子化部１１３、可変長符号化部１１４、逆量子化部１１５、逆変換部１１６、フレームメモリ１１７、適応フィルタ情報保存部１１９、ループフィルタ部１２０´、フィルタ係数予測符号化部２１１、減算部１０７、加算部１０９は、第１の実施形態における動画像符号化装置１および第２の実施形態における動画像復号装置１´と同じ動作であるので説明を省略する。

（適応フィルタ情報算出部１１８´）
以下、適応フィルタ情報算出部１１８´の動作を説明する。適応フィルタ情報算出部１１８´は、入力画像Sorgと予測画像ｐｒｅｄ、残差画像ｅｒｒｏｒ、ＮＲＦ後画像Snrfから、以下の式（８−１´）を最小化する重み係数ｃｆ_ｋ（ｋ＝０〜ＮｕｍＰＮ−１）とｄｆ_ｋ（ｋ＝０〜ＮｕｍＥＮ−１）とｂｆ_ｋ（ｋ＝０〜ＮｕｍＮ−１）、オフセットｏｆの推定値を最小二乗法により求める。ここでｆはｆｌｏａｔの略であり、最小二乗法では小数点数として重み係数を算出することを意味する。
ここで、一次元インデックスｋとｕ、ｖの関係は既に動画像符号化装置２の説明で示したとおりである。
最小二乗法に先立ち、式（８−１´）を重み係数ｃｆ_ｋとｄｆ_ｋ、ｂｆ_ｋ、オフセットｏｆをパラメータとする以下の式（８−２´）に直す。

最小二乗法においては、式（８−２´）をパラメータｃｆ_ｋ、ｄｆ_ｋ、ｂｆ_ｋ、ｏｆの式とみなして、各々のパラメータに対して偏微分を行い、これを０とする。これによって、正規方程式と呼ばれるパラメータの数ＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮ＋１個の連立方程式が得られる。
得られた方程式をガウスの消去法などによって解くことにより、ｃｆ_ｋの最適推定値ｃｆｅと、ｄｆ_ｋの最適推定値ｄｆｅ、ｂｆ_ｋの最適推定値ｂｆｅ、ｏｆの最適推定値ｏｆｅが得られる。これらを重み係数の組を推定値ｚｆｅと呼ぶ。

最小二乗法の演算は、事前にタップ数ＰＮ、ＥＮ、及びＮを特定の値に定めて行われる。但し、最適なＰＮ、ＥＮ、Ｎの組み合わせを予め定めることは困難であることから、可能な全ての組み合わせに対して最小二乗法を行い、最適なＰＮ、ＥＮ、Ｎの組み合わせを二乗誤差最小やＲＤコスト最小などの条件に基づいて選択することで、最適化を行う。

また、以上説明したそれぞれの実施形態において、動画像復号装置および動画像復号装置の各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像復号装置や動画像復号装置の制御を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

１…動画像復号装置、１´…動画像復号装置、２…動画像符号化装置、２´…動画像符号化装置、１０７…減算部、１０９…加算部、１１１…予測部、１１２…変換部、１１３…量子化部、１１４…可変長符号化部、１１５…逆量子化部、１１６…逆変換部、１１７…フレームメモリ、１１８…適応フィルタ情報算出部、１１８´…適応フィルタ情報算出部、１１９…適応フィルタ情報保存部、１２０…ループフィルタ部、１２０´…ループフィルタ部、２０１…フィルタ係数予測復号部、２０１´…フィルタ係数予測復号部、２０２…フィルタセット内フィルタ係数予測部、２０３…フィルタセット間フィルタ係数予測部、２０４…予測方式切替部、２０５…加算部、２０６…減算部、２１１…フィルタ係数予測符号化部、３０１…ＮＲＦ部、３０２…適応フィルタ部、３０２´…適応フィルタ部、４０１…境界エッジ算出部、４０２…活性度算出部、４０３…ＮＲＦ画素生成部、５０１…予測対象係数特定部、５０２…重み係数和算出部、５０３…フィルタ係数予測部、５０５…寄与率算出部、５０６…対応フィルタ係数参照部、６０１…種別特定部、６０２…種別寄与率算出部、６０３…参照信号数算出部、６０４…乗算部、７０１…復号画像適応重み付け部、７０２…ＮＲＦ後画像適応重み付け部、７０３…シフト／除算部、７０４…予測画像適応重み付け部、７０５…残差画像適応重み付け部

Claims (14)

1. 複数種別の信号を入力が可能な適応フィルタを備える動画像復号装置であって、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて、復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、さらに、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする動画像復号装置。
2. 前記重み係数和算出手段で用いられる寄与率は、フィルタ係数がかかる信号の種別に応じて定まる種別寄与率と、フィルタ係数がかかる信号の数である参照信号数の積で算出される値であることを特徴とする請求項１に記載の動画像復号装置。
3. 前記動画像復号装置のフィルタ係数予測部では、適応フィルタのフィルタ係数の一つであるオフセットを予測することを特徴とする請求項１から２に記載の動画像復号装置。
4. 前記動画像復号装置は、ノイズ低減フィルタ手段を備え、ノイズ低減フィルタ手段の出力を適応フィルタの入力の一つとすることが可能な動画像復号装置であって、フィルタ係数予測部では、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することを特徴とする請求項１から３に記載の動画像復号装置。
5. 前記動画像復号装置は、復号画像とノイズ低減フィルタ手段の出力を適応フィルタの入力とすることが可能な動画像復号装置であって、フィルタ係数予測部では、復号画像の中心要素にかかるフィルタ係数とＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することを特徴とする請求項１から４に記載の動画像復号装置
6. 前記動画像復号装置は、フィルタ予測部として、さらにフィルタ係数予測部は、過去に復号したフィルタセットに含まれるフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット間予測部と、同一フィルタセット内で既に復号したフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット内予測部を備え、さらに、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数をフィルタセット内予測部を用いて予測し、それ以外のフィルタ係数の予測をフィルタセット間予測部を用いて予測することを特徴とする請求項５に記載の動画像復号装置。
7. 前記動画像復号装置は、予測画像と残差画像とノイズ低減フィルタ手段の出力を適応フィルタの入力とすることが可能な動画像復号装置であって、さらにノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を予測するフィルタ係数予測部を備えることを特徴とする請求項１から４に記載の動画像復号装置。
8. 前記動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、復号画像に対する寄与率を１、ノイズ低減フィルタ後画像に対する寄与率を１とすることを特徴とする請求項５から６に記載の動画像復号装置。
9. 前記動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、予測画像に対する寄与率を１、残差画像に対する寄与率を０、ＮＲＦ後画像に対する寄与率を１とすることを特徴とする請求項７に記載の動画像復号装置。
10. 前記動画像復号装置において、適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部では、０．５以下の所定の値Ａに対し、予測画像に対する寄与率を１−Ａ、残差画像に対する寄与率をＡ、ＮＲＦ後画像に対する寄与率を１とすることを特徴とする請求項７に記載の動画像復号装置。
11. 複数種別の信号を入力が可能な適応フィルタを備える動画像符号化装置であって、予測対象以外のフィルタ係数を用いて、予測対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像符号化装置であって、さらに、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする動画像符号化装置。
12. 少なくともオフセットを含む適応フィルタ情報を含む符号化データであって、前記符号化データ中に符号化されたオフセットが、前記オフセット以外のフィルタ係数から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。
13. 復号画像にかかるフィルタ係数と、ＮＲＦ後画像にかかるフィルタ係数とを含む、フィルタ係数セットを含む適応フィルタ情報を含む符号化データであって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。
14. 予測画像にかかるフィルタ係数と、残差画像にかかるフィルタ係数と、ＮＲＦ後画像にかかるフィルタ係数とを含む、フィルタ係数セットを含む適応フィルタ情報を含む符号化データであって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データ。