JP2018157596A - 画像フィルタ装置、復号装置、符号化装置、および、データ構造 - Google Patents

画像フィルタ装置、復号装置、符号化装置、および、データ構造 Download PDF

Info

Publication number
JP2018157596A
JP2018157596A JP2018111355A JP2018111355A JP2018157596A JP 2018157596 A JP2018157596 A JP 2018157596A JP 2018111355 A JP2018111355 A JP 2018111355A JP 2018111355 A JP2018111355 A JP 2018111355A JP 2018157596 A JP2018157596 A JP 2018157596A
Authority
JP
Japan
Prior art keywords
image
unit
filter
prediction
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018111355A
Other languages
English (en)
Other versions
JP6561174B2 (ja
JP2018157596A5 (ja
Inventor
知宏 猪飼
Tomohiro Igai
知宏 猪飼
山本　智幸
Tomoyuki Yamamoto
智幸 山本
隆紀 山崎
Takanori Yamazaki
隆紀 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2018157596A publication Critical patent/JP2018157596A/ja
Publication of JP2018157596A5 publication Critical patent/JP2018157596A5/ja
Application granted granted Critical
Publication of JP6561174B2 publication Critical patent/JP6561174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有する（局所）復号画像に対しても、符号化効率を向上させることのできる画像フィルタ装置、並びに、そのような画像フィルタ装置を備える復号装置および符号化装置を実現する。【解決手段】適応フィルタ（４２）は、入力画像を構成する複数の単位領域の各々における入力画像の方向性を識別するエッジ方向検出部（４２２）と、エッジ方向検出部（４２２）によって識別された各単位領域における入力画像の方向性が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する領域分類部（４２４）と、出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ処理部（４２５）とを備えている。【選択図】図５

Description

本発明は、画像のフィルタリングを行う画像フィルタ装置に関する。また、そのような画像フィルタを備えている符号化装置、および、復号装置に関する。また、そのような復号装置によって復号される符号化データのデータ構造に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ（非特許文献１）、および、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することより得られるブロックからなる階層構造により管理され、普通、ブロックごとに符号化される。
また、このような符号化方式においては、通常、入力画像を符号化／復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分データが符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）と呼ばれる方法が知られている。
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位（例えば、ブロック）毎に、予め定められた予測方向（予測モード）群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、予測対象領域上の予測画素値が生成される。また、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。
非特許文献２および非特許文献３には、（局所）復号画像を複数の領域に分割し、各領域における（局所）復号画像の局所的な乱雑さを示す活性度（Activity）の大きさに応じて、領域毎にフィルタ係数群を切り替えつつフィルタ処理を行う適応的ループフィルタ（Adaptive Loop Filter）（以下、単に「適応フィルタ」とも呼ぶ）が開示されている。ここで、領域毎のフィルタ係数群は、符号化装置にて、該領域におけるフィルタ済みの画像と符号化対象画像との誤差を最小にするように決定される。
このような適応フィルタを備えた符号化装置および復号装置は、（局所）復号画像に対して当該適応フィルタによりフィルタ処理を施して得られるフィルタ済みの復号画像を参照して予測画像を生成することにより、予測精度の向上および符号化効率の向上を図ることができる。
「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009（２００９年３月公開） 「VCEG-AL27」,Telecommunication Standardization Sector,38th Meeting:London,UK/Geneva,CH,07/2009（２００９年７月公開） 「JCTVCA-A121」,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,1st Meeting:Dresden,DE,04/2010（２０１０年４月公開）
しかしながら、符号化対象画像の特性如何によっては、非特許文献２および非特許文献３に開示された適応フィルタを用いたとしても、符号化効率が向上しない、若しくは、符号化効率が期待されるほど向上しないという問題を有していた。
本発明は、上記の問題に鑑み、発明者によって得られた知見に基づいてなされたものであり、その目的は、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有する（局所）復号画像に対しても、符号化効率を向上させることのできる画像フィルタ装置、並びに、そのような画像フィルタ装置を備える復号装置および符号化装置を実現することにある。
発明者は、上記の問題に鑑み、符号化対象画像の画像特性如何によっては、（局所）復号画像の局所的な活性度の大きさに応じてフィルタ係数群を切り替えるのではなく、むしろ、（局所）復号画像の局所的な方向性の違いに応じてフィルタ係数群を切り替えることによって、符号化効率をより効果的に向上させることができるとの知見を得た。
上記の問題を解決するために、本発明に係る画像フィルタ装置は、出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を識別する方向性識別手段と、上記方向性識別手段によって識別された各単位領域における上記入力画像の方向性が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えていることを特徴としている。
発明者は、上記の知見に基づき、画像フィルタ装置に入力される入力画像の方向性が、入力画像を構成する領域（単位領域）毎に異なる場合には、方向性の違いに応じてフィルタ係数群を切り替えることによって、上記出力画像を参照して生成される予測画像の予測精度を向上させることができることを見出した。
上記のように構成された本発明に係る画像フィルタ装置によれば、上記方向性識別手段が、入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を識別し、上記分類手段が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、当該方向性に応じて適切なフィルタ処理を行うことができる。
したがって、上記のように構成された画像フィルタ装置によれば、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
なお、各単位領域における上記入力画像の方向性とは、例えば、各単位領域における上記入力画像の局所的な勾配方向に直交する方向として定義することができる。ここで、画像の勾配とは、画素（ｘ，ｙ）の画素値をｚ（ｘ，ｙ）とすると、ｘ，ｙ，ｚを座標とする３次元空間内に定義される、曲面｛（ｘ，ｙ，ｚ（ｘ，ｙ））｜０≦ｘ≦Ｎx，０≦ｙ≦Ｎy，０≦ｚ≦Ｎz）｝の勾配のことを指す。ここで、Ｎx，Ｎy，Ｎzは、それぞれ、x方向の画素の総数、y方向の画素の総数、画素値zのとり得る最大値を表す。また、各単位領域における上記入力画像の方向性とは、各単位領域における上記入力画像の画素値の相関のより高い方向であると表現することもできる。
また、上記方向性識別手段は、各単位領域における上記入力画像の方向性を、入力画像のエッジを検出することによって直接的に識別する構成としてもよいし、上記画像フィルタ装置が、画面内予測によってイントラ予測画像を生成する予測画像生成手段と共に用いられる場合には、イントラ予測画像を生成する際に参照されるイントラ予測モードの示す方向によって間接的に識別する構成としてもよいし、その他の方法によって識別する構成としてもよい。
また、上記単位領域とは、上記入力画像を構成する複数の重複しない領域の各々ことを表すものとする。上記画像フィルタ装置が、画像を符号化する符号化装置、および、符号化データから画像を復号する復号装置において用いられる場合には、上記単位領域を、例えば、予測画像を生成する単位である予測単位（パーティション）としてもよいし、周波数変換の単位である変換単位としてもよいし、それら以外のものとしてもよい。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置と、各単位領域における予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像（フィルタ後の復号画像）を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像の方向性が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置を備え、上記画像フィルタ装置は、上記入力画像に対応する参照画像を参照して画面内予測によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、画面内予測によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像（フィルタ後の復号画像）を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像の方向性が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、上記画像フィルタ装置が、画面内予測において用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて、各単位領域における上記入力画像の方向性を識別するものである場合には、上記入力画像の方向性を、エッジ検出などの画素値を参照する計算を行うことなく識別できるので、方向性を識別するための処理量を削減しつつ、符号化効率の高い符号化データを復号することができる。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置と、各単位領域における上記予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記の構成を有する本発明に係る符号化装置によれば、当該符号化装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。また、予測精度が向上するため、上記符号化装置は、符号化効率の高い符号化データを生成することができる。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置を備え上記画像フィルタ装置は、上記入力画像に対応する参照画像を参照して画面内予測によって生成された予測画像と、上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、画面内予測によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
また、上記画像フィルタ装置が、画面内予測において用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて、各単位領域における上記入力画像の方向性を識別するものである場合には、上記入力画像の方向性を、エッジ検出などの画素値を参照する計算を行うことなく識別できるので、方向性を識別するための処理量を削減しつつ、符号化効率の高い符号化データを生成することができる。
また、本発明に係る符号化データのデータ構造は、出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置が参照する符号化データのデータ構造であって、複数のフィルタ係数群と、上記複数のフィルタ係数群の各々に関連付けられた方向性情報と、を含み、上記画像フィルタ装置は、上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性が予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記方向性情報を参照して上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出する、ことを特徴としている。
上記のように構成された本発明に係る符号化データは、複数のフィルタ係数群と、上記複数のフィルタ係数群の各々に関連付けられた方向性情報とを含んでいるため、上記符号化データを参照する上記画像フィルタ装置は、上記方向性情報を参照して上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、予測画像を生成するためのより好適な出力画像を生成することができるという効果を奏する。したがって、上記のように構成された本発明に係る画像フィルタ装置が生成する出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、画面内予測を用いて単位領域毎に生成された入力画像から出力画像を生成する画像フィルタ装置であって、出力画像における各画素の画素値を、該画素の位置に応じて定まる参照領域内の入力画像の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えていることを特徴としている。
発明者は、画面内予測を用いて単位領域毎に生成された入力画像を構成する単位領域（予測単位）の形状および大きさ違いに応じて、単位領域毎にフィルタ係数群を切り替えることにより、予測画像を生成するためのより好適な出力画像を生成することができるので、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができることを見出した。
上記のように構成された画像フィルタ装置によれば、上記分類手段が、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用するフィルタ手段と、各単位領域における上記入力画像の画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、上記第１及び第２の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割する特性値分割手段と、を備え、上記フィルタ手段は、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて算出する、ことを特徴としている。
上記のように構成された本発明に係る画像フィルタ装置は、互いに導出方法の異なる第１及び第２の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割し、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用する。
したがって、上記の構成によれば、単位領域毎に、第１及び第２の特性値に応じて設定されたフィルタ係数を用いたフィルタ処理を行うので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、単位領域毎に適切なフィルタ係数を用いたフィルタ処理を行うことができる。また、上記のように構成された画像フィルタ装置の出力画像を参照して生成される予測画像の予測精度を向上させることができる。
なお、上記第１及び第２の特性値は、互いに導出方法が異なっているため、それらによって、２次元の特性値領域が張られる。また、２次元の特性値領域を張ることのできる２つの特性値であれば、上記第１及び第２の特性値として用いることができる。
また、上記単位領域とは、上記入力画像を構成する複数の重複しない領域の各々ことを表すものとする。上記画像フィルタ装置が、画像を符号化する符号化装置、および、符号化データから画像を復号する復号装置において用いられる場合には、上記単位領域を、例えば、予測画像を生成する単位である予測単位（パーティション）としてもよいし、周波数変換の単位である変換単位としてもよいし、符号化の単位としてもよいし、それら以外のものとしてもよい。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置と、各単位領域における予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用することによって出力画像（フィルタ後の復号画像）を生成するので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像についての第１及び第２の特性値が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置と、各単位領域における上記予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る符号化装置によれば、当該符号化装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用することによって出力画像（フィルタ後の復号画像）を生成するので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。また、予測精度が向上するため、上記符号化装置は、符号化効率の高い符号化データを生成することができる。
また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各単位領域における画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、当該第１及び第２の特性値によって張られる特性値領域を複数の特性値部分領域に分割する特性値分割手段と、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている画像フィルタ装置によって参照される符号化データのデータ構造において、上記特性値分割手段によって参照される特性値分割情報であって、上記特性値領域の分割の仕方を指定する特性値分割情報と、上記フィルタ手段によって用いられるフィルタ係数であって、上記特性値部分領域の各々についてのフィルタ係数と、を含んでいることを特徴としている。
上記のように構成された符号化データを参照する上記画像フィルタ装置は、上記符号化データに含まれる特性値分割情報に従って、上記第１及び第２の特性値によって張られる特性値領域を複数の特性値部分領域に分割すると共に、上記符号化データに含まれる、各特性値部分領域についてのフィルタ係数を用いて入力画像に対するフィルタ処理を施す。
したがって、上記のように構成された符号化データを参照する画像フィルタ装置によれば、入力画像に対して、特性値部分領域毎に設定されたフィルタ係数を用いて適切なフィルタ処理を行うことができる。
以上のように、本発明に係る画像フィルタ装置は、出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を識別する方向性識別手段と、上記方向性識別手段によって識別された各単位領域における上記入力画像の方向性が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている。
上記画像フィルタ装置によれば、各単位領域における上記入力画像の方向性の違いに応じて、適切なフィルタ処理を行うことができる。したがって、上記のように構成された画像フィルタ装置によれば、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、画面内予測を用いて単位領域毎に生成された入力画像から出力画像を生成する画像フィルタ装置であって、出力画像における各画素の画素値を、該画素の位置に応じて定まる参照領域内の入力画像の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている。
上記画像フィルタ装置によれば、各単位領域の形状および大きさの違いに応じて、適切なフィルタ処理を行うことができる。したがって、上記のように構成された画像フィルタ装置によれば、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用するフィルタ手段と、各単位領域における上記入力画像の画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、上記第１及び第２の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割する特性値分割手段と、を備え、上記フィルタ手段は、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて算出する。
上記画像フィルタ装置によれば、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、単位領域毎に適切なフィルタ係数を用いたフィルタ処理を行うことができる。
また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各単位領域における画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、当該第１及び第２の特性値によって張られる特性値領域を複数の特性値部分領域に分割する特性値分割手段と、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている画像フィルタ装置によって参照される符号化データのデータ構造において、上記特性値分割手段によって参照される特性値分割情報であって、上記特性値領域の分割の仕方を指定する特性値分割情報と、上記フィルタ手段によって用いられるフィルタ係数であって、上記特性値部分領域の各々についてのフィルタ係数と、を含んでいる。
上記のように構成された符号化データを参照する上記画像フィルタ装置は、入力画像に対して、特性値部分領域毎に設定されたフィルタ係数を用いて適切なフィルタ処理を行うことができる。
本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図である。 第１の実施形態に係る動画像符号化装置によって生成され、実施形態に係る動画像復号装置によって復号される符号化データの構成例を示す図であって、（ａ）は、符号化データのピクチャレイヤの構成を示す図であり、（ｂ）は、ピクチャレイヤに含まれるスライスレイヤの構成を示す図であり、（ｃ）は、スライスレイヤに含まれるマクロブロックレイヤの構成を示す図であり、（ｄ）は、マクロブロックレイヤに含まれるマクロブロックヘッダの構成を示す図であり、（ｅ）は、マクロブロックレイヤに含まれる予測パラメータのうち、インター予測パーティションに関する予測パラメータの構成を示す図であり、（ｆ）は、マクロブロックレイヤに含まれる予測パラメータのうち、イントラ予測パーティションに関する予測パラメータの構成を示す図であり、（ｇ）は、スライスヘッダに含まれるフィルタパラメータの構成を示す図である。 イントラ予測に用いられる予測パラメータである予測モードを説明するための図であって、（ａ）は、パーティションのサイズ毎の予測インデックスＰＩと予測モードとの対応表であり、（ｂ）は、複数の予測モードのうち、方向予測０〜７の各々に対応する予測方向を示す図である。 第１の実施形態に係る動画像復号装置が備えるイントラ予測生成部によるイントラ予測画像の生成処理を説明するための図であって、（ａ）は、対象パーティションが４×４画素である場合の当該対象パーティションの各画素と、当該対象パーティションの周辺の画素とを示す図であり、（ｂ）は、対象パーティションが４×４画素である場合の当該対象パーティションの各画素と、当該対象パーティションの周辺に設定されたテンプレート領域とを示す図である。 第１の実施形態に係る動画像復号装置が備える適応フィルタの構成を示すブロック図である。 第１の実施形態に係る動画像復号装置が備える適応フィルタの第１の変形例を示すブロック図である。 第１の実施形態に係る動画像復号装置が備える適応フィルタの第２の変形例を示すブロック図である。 第１の実施形態に係る動画像復号装置が備える適応フィルタの第３の変形例を示すブロック図である。 第１の実施形態に係る動画像復号装置が備える適応フィルタの第４の変形例を示すブロック図である。 第１の実施形態に係る適応フィルタが備えるエッジ検出部によるエッジ検出処理を説明するための図であって、（ａ）は、対象画素を含む参照領域に属する画素を示す図であり、（ｂ）は、実施形態における角度の規定の仕方を示す図である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第１の例を説明するための図であって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第２の例を説明するための図であって、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第３の例を説明するための図であって、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第４の例を説明するための図であって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第５の例を説明するための図であって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表であり、（ｅ）は、フィルタセット番号が４である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが備える領域分類部による分類処理の第６の例を説明するための図であって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表であり、（ｅ）は、フィルタセット番号が４である場合の分類を示す表である。 第１の実施形態に係る適応フィルタが参照する参照領域の形状について説明するための図であって、（ａ）は、基本参照領域を示す図であり、（ｂ）は、垂直方向型の参照領域を示す図であり、（ｃ）は、水平方向型の参照領域を示す図であり、（ｄ）は、斜め方向型の参照領域を示す図である。 第１の実施形態に係る動画像符号化装置によって生成され、実施形態に係る動画像復号装置によって復号される符号化データの他の構成例を示す図である。 第１の実施形態に係る符号化データに含まれるフィルタ割り当てテーブルを説明するための図であって、（ａ）は、フィルタ割り当てテーブルの第１の例を示す表であり、（ｂ）は、フィルタ割り当てテーブルの第２の例を示す表である。 第１の実施形態に係る適応フィルタが参照する参照領域の形状と、画像の方向性との対応関係を示す図であり、（ａ）は、参照領域の形状とエッジ角度との対応関係を示す図であり、（ｂ）は、参照領域の形状と、画面内予測において用いられる予測モードとの対応関係を示す図である。 第１の実施形態に係る適応フィルタの備えるエッジ検出部が、各単位領域のエッジの角度Ｔｈｅｔａを、０°≦Ｔｈｅｔａ＜３６０°の範囲で検出する構成である場合の、該適応フィルタの備える領域分類部による分類処理の例を示す表である。 第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。 第１の実施形態に係る動画像符号化装置が備える適応フィルタの構成を示すブロック図である。 第１の実施形態に係る動画像符号化装置が備える適応フィルタにおけるフィルタパラメータ導出部の構成を示すブロック図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、特性値領域ＣＲと、特性値領域ＣＲ上に設定される分割単位ＤＵ［ｉ］［ｊ］とを示す図である。 第２の実施形態に係る符号化データのフィルタパラメータに含まれる各シンタックスを示す図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、（ａ）は、分割されていない特性値領域を示す図であり、（ｂ）は、第１段階の分割が行われた特性値領域を示す図であり、（ｃ）は、第１段階の分割において用いられる特性値分割点と、第２段階の分割において用いられる特性値分割点とを示す図であり、（ｄ）は、第１の特性値として活性度を用いる場合に、シンタックスalf_first_split_val_shiftおよびalf_second_split_typeの値に応じて設定される特性値分割点を例示する表である。 第２の実施形態に係る適応フィルタについて説明するための図であって、（ａ）は、第１段階の分割によって得られた特性値部分領域が、シンタックスalf_second_split_type＝０によって指定される第２段階の分割によって、第２の特性値に関して２つの特性値部分領域に分割される場合を示す図であり、（ｂ）は、第１段階の分割によって得られた特性値部分領域が、シンタックスalf_second_split_type＝１によって指定される第２段階の分割によって、第２の特性値に関して４つの特性値部分領域に分割される場合を示す図であり、（ｃ）は、第２の特性値として画像の方向性を用いた場合の特性値分割点と、第２の特性値として平均画素値を用いた場合の特性値分割点とを例示する表である。 第２の実施形態に係る適応フィルタについて説明するための図であって、第１段階の分割によって得られた特性値部分領域が、シンタックスalf_second_split_flag[i0]、および、alf_second_split_typeの各値に応じて、第２段階の分割によってどのように分割されるのかを具体的に示す図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、シンタックスalf_length_luma_minus5_div2[i0]の値に応じて設定される参照領域を例示する図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、特性値部分領域に対して第２段階の分割を行うことによって得られた各特性値部分領域について適応的に割り付けられる予測方向を示す図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、特性値部分領域に対して第２段階の分割を行うことによって得られた各特性値部分領域について固定的に割り付けられる予測方向を示す図である。 第２の実施形態に係る適応フィルタについて説明するための図であって、第１段階の分割によって得られた特性値部分領域が、第１の特性値について最大で２分割され、第２の特性値について最大で３分割される例を示す図である。 第２の実施形態に係る動画像復号装置の構成を示すブロック図である。 第２の実施形態に係る動画像復号装置の備える適応フィルタの構成を示すブロック図である。 第２の実施形態に係る適応フィルタによるフィルタ処理を説明するための図であって、（ａ）は、対象単位領域ＵＲに含まれる画素と対象単位領域ＵＲに隣接する画素とから構成される特性値算出参照領域ＣＲＲを示しており、（ｂ）は、対象単位領域ＵＲに含まれる画素から構成される特性値算出参照領域ＣＲＲを示している。 第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。 第２の実施形態に係る動画像符号化装置の備える適応フィルタの構成を示すブロック図である。 第２の実施形態の変形例に係るフィルタパラメータに含まれる各シンタックスを示す図である。 第２の実施形態の変形例に係るフィルタパラメータに含まれるシンタックスalf_num_first_split_minus1によって指定される特性値分割点を例示する表である。 第３の実施形態に係る符号化データのフィルタパラメータに含まれる各シンタックスを示す図である。 第３の実施形態に係る適応フィルタについて説明するための図であって、（ａ）は、シンタックスalf_select_split_charによって指定される第１の特性値Ｘおよび第２の特性値Ｙを示す表であり、（ｂ）は、シンタックスalf_select_split_charの各値について設定される再分割点ＰＹ１〜ＰＹ３の具体例を示す表であり、（ｃ）は、シンタックスalf_second_split_val[k]の値に応じて設定される再分割点ＰＹ１〜ＰＹ３の具体例を示す表である。 第３の実施形態に係る動画像復号装置の備える適応フィルタの構成を示すブロック図である。 第３の実施形態に係る動画像符号化装置の備える適応フィルタの構成を示すブロック図である。
〔実施形態１〕
（符号化データの構成）
本実施形態に係る動画像符号化装置２及び動画像復号装置１の説明に先立って、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１のデータ構造について説明を行う。動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１は、シーケンスレイヤ、ＧＯＰ（Group Of Pictures）レイヤ、ピクチャレイヤ、スライスレイヤ、及び、マクロブロックレイヤ、からなる階層構造を有している。
ピクチャレイヤ以下の階層について符号化データの構造を図２に示す。図２（ａ）〜（ｇ）は、それぞれ、ピクチャレイヤＰ、スライスレイヤＳ、マクロブロックレイヤＭＢ、マクロブロックヘッダＭＢＨ、インター予測パーティションの予測パラメータＰＰ、イントラ予測パーティションの予測パラメータＰＰ、フィルタパラメータＦＰの構造を示す図である。
ピクチャレイヤＰは、対象ピクチャを復号するために動画像復号装置１が参照するデータの集合である。ピクチャレイヤＰは、図２（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスレイヤＳ1〜ＳNsを含んでいる（ＮsはピクチャレイヤＰに含まれるスライスレイヤの総数）。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entoropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
ピクチャレイヤＰに含まれる各スライスレイヤＳは、対象スライスを復号するために動画像復号装置１が参照するデータの集合である。スライスレイヤＳは、図２（ｂ）に示すように、スライスヘッダＳＨ、及び、マクロブロックレイヤＭＢ1〜ＭＢNm（ＮmはスライスＳに含まれるマクロブロックの総数）を含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。（１）スライスタイプを指定するスライスタイプ指定情報（slice_type）、（２）対象スライスを含むピクチャの表示順序（ＰＯＣ：Picture Order Count）を指定するＰＯＣ指定情報（pic_order_cnt_lbsやdelta_pic_order_cntなど）、及び、（３）動画像符号化装置２が符号化の際に用いた重み係数を指定する重み係数指定情報（pred_weight_table）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
なお、スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダＳＨには、動画像復号装置１の備える適応フィルタが参照するフィルタパラメータＦＰが含まれる。ここで、動画像復号装置１の備える適応フィルタは、後述するように、対象スライスまたは対象マクロブロックに含まれる１若しくは複数の分割領域（またはパーティション）の各々を複数のタイプの何れかに分類し、タイプ毎に異なったフィルタ係数群を用いてフィルタ処理を行うものである。図２（ｇ）に、フィルタパラメータＦＰのデータ構造を示す。図２（ｇ）に示すように、フィルタパラメータＦＰには、フィルタオンオフ情報、フィルタセット番号、およびフィルタ係数群ｎ（ｎは、フィルタ係数群を互いに識別するためのフィルタ番号であり、ｎ＝０、１、・・・、Ｎf−１をとる。Ｎfは、フィルタパラメータＦＰに含まれるフィルタ係数群の総数を表す）が含まれる。なお、上記パーティションとは、動画像符号化装置２および動画像復号装置１において予測画像を生成する単位（予測単位）のことである。また、上記分割領域とは、マクロブロックを構成する１または複数の互いに重複しない領域のことであり、各マクロブロックの分割領域への分割の態様は、動画像符号化装置２において決定される。
フィルタオンオフ情報には、（１）対象スライスまたは対象スライスに含まれる各マクロブロックにおける上記１若しくは複数の分割領域のサイズおよび位置を指定するための領域指定情報、および、（２）分割領域毎（またはパーティション毎）にフィルタ処理のオンオフを指定するオンオフ情報が含まれる。
フィルタセット番号は、対象スライスまたは対象マクロブロックに含まれる１若しくは複数の分割領域（またはパーティション）の分類の仕方をスライス毎に指定するための番号である。動画像復号装置１の備える適応フィルタは、フィルタセット番号を参照することにより、分割領域を幾つのタイプに分類すべきか、また、各タイプに分類された分割領域においてどのフィルタ係数群を用いるかを識別することができる。
フィルタ係数群Ｉ（Ｉ＝０〜Ｎf−１）には、（１）フィルタのタップ数（若しくはフィルタ係数群毎のフィルタ係数の総数）を指定するタップ数指定情報、（２）フィルタ係数aI0〜aINT-1（NTは、フィルタ係数群Ｉに含まれるフィルタ係数の総数）、および、（３）オフセットoIが含まれる。なお、互いに異なるフィルタ番号の付されたフィルタ係数群は、互いに異なるタイプに分類された分割領域（またはパーティション）のフィルタ処理に用いられる。例えば、フィルタ係数群０およびフィルタ係数群１は、それぞれ、タイプＡに分類された分割領域、および、タイプＡとは異なるタイプＢに分類された分割領域のフィルタ処理に用いられる。
スライスレイヤＳに含まれる各マクロブロックレイヤＭＢは、対象マクロブロックを復号するために動画像復号装置１が参照するデータの集合である。マクロブロックレイヤＭＢは、図２（ｃ）に示すように、スキップフラグＳＫＩＰ、マクロブロックヘッダＭＢＨ、予測パラメータＰＰ1〜ＰＰNP、及び、量子化予測誤差ＱＤ1〜ＱＤNbを含んでいる。ここで、Ｎpは、対象マクロブロックに含まれるパーティション（予測単位）の種類の数を表し、Ｎbは、対象マクロブロックに含まれるブロック（変換単位）の種類の数を表す。スキップフラグＳＫＩＰの値が１の場合、すなわち、対象マクロブロックがスキップブロックである場合、そのマクロブロックレイヤにおけるマクロブロックヘッダＭＢＨ、予測パラメータＰＰ1〜ＰＰNP、及び、量子化予測誤差ＱＤ1〜ＱＤNbは省略される。
マクロブロックヘッダＭＢＨには、対象マクロブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２（ｄ）に示すように、対象マクロブロックのマクロブロックタイプを指定するマクロブロックタイプ指定情報ＭＢＴ（mb_type）、符号化ブロックパターンを指定するＣＢＰ（coded_block_pattern）、量子化ステップの大きさを指定する量子化パラメータ差分Δqp（mb_qp_delta）が含まれる。マクロブロックタイプ指定情報ＭＢＴは、予測単位指定情報ＰＴと変換単位指定情報ＴＴとを含む。
予測単位指定情報ＰＴは、対象マクロブロックのパーティション（予測単位）への分割パターン（すなわち、対象マクロブロックに含まれる各パーティションのサイズ、及び、対象マクロブロック内での位置）と、動画像符号化装置２が各パーティションにおける予測画像を生成する際に用いた予測方法（Ｌ０単方向予測、Ｌ１単方向予測、双方向予測、イントラ予測など）を指定する。パーティションのサイズは、例えば、１６×１６画素、８×８画素、４×４画素、１６×８画素、８×１６画素、８×４画素、４×８画素、８×１画素、および、１×８画素の中から選択可能である。より一般には、各パーティションは、Ｍ×Ｎ画素（Ｍは、対象マクロブロックの横方向の画素数以下の整数であり、Ｎは、対象マクロブロックの縦方向の画素数以下の整数である）の領域とすることができる。
一方、変換単位指定情報ＴＴは、対象マクロブロックのブロック（変換単位）への分割パターン（すなわち、対象マクロブロックに含まれる各ブロックのサイズ、及び、対象マクロブロック内での位置）を指定する。各ブロックは、１６×１６画素、８×８画素、４×４画素、１６×８画素、８×１６画素、８×４画素、４×８画素、８×１画素、および、１×８画素の中から選択可能である。より一般には、各ブロックは、Ｍ’×Ｎ’画素（Ｍ’は、対象マクロブロックの１辺の画素数以下の整数であり、Ｎ’は、対象マクロブロックの他の１辺の画素数以下の整数である）の領域とすることができる。
なお、上記の説明では、マクロブロックを１６×１６画素の正方形領域としたときのパーティションを例示したが、これに限定されるものではない。例えば、６４×６４画素のマクロブロックに対しては、６４×６４画素、若しくは３２×３２画素の正方形領域、又は、６４×３２画素、３２×６４画素、３２×１６画素、若しくは１６×３２画素の長方形領域もパーティション、またはブロックとして許容される。
量子化パラメータ差分Δｑｐは、対象マクロブロックにおける量子化パラメータｑｐと、そのマクロブロックの直前に符号化されたマクロブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
マクロブロックレイヤＭＢに含まれる各量子化予測残差ＱＤnは、動画像符号化装置２が以下の処理１〜３を対象ブロックに施すことによって生成した符号化データである。処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する。処理２：処理１にて得られたＤＣＴ係数を量子化する。処理３：処理２にて量子化されたＤＣＴ係数を可変長符号化する。上述した量子化パラメータｑｐは、動画像符号化装置２がＤＣＴ係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２ｐｑ／６）。
マクロブロックレイヤＭＢに含まれる予測パラメータＰＰのうち、インター予測によって予測画像が生成されるインター予測パーティションに関する予測パラメータＰＰは、図２（ｅ）に示すように、参照画像インデックスＲＩと、推定動きベクトルインデックスＰＭＶＩと、動きベクトル残差ＭＶＤとを含んでいる。
動きベクトル残差ＭＶＤは、動画像符号化装置２が以下の処理４〜６を実行することによって生成した符号化データである。処理４：符号化／復号化済みの局所復号画像（より正確には、符号化／復号化済みの局所復号画像に対してデブロック処理および適応的フィルタ処理を施すことによって得られる画像）を選択し、選択した符号化／復号化済みの局所復号画像（以下「参照画像」とも呼称）を参照して対象パーティションに対する動きベクトルｍｖを導出する。処理５：推定方法を選択し、選択した推定方法を用いて対象パーティションに割り付ける動きベクトルｍｖの推定値（以下「推定動きベクトル」とも呼称）ｐｍｖを導出する。処理６：処理４にて導出した動きベクトルｍｖから処理５にて導出した推定動きベクトルｐｍｖを減算した動きベクトル残差ＭＶＤを符号化する。
上述した参照画像インデックスＲＩは、処理４にて選択した符号化／復号化済みの局所復号画像（参照画像）を指定するものであり、上述した推定動きベクトルインデックスＰＭＶＩは、処理５にて選択した推定方法を指定するものである。処理５にて選択可能な推定方法としては、（１）符号化／復号化中の局所復号画像（より正確には、符号化／復号化中の局所復号画像における復号済みの領域に対してデブロック処理および適応的フィルタ処理を施すことによって得られる画像）において、対象パーティションに隣接するパーティション（以下「隣接パーティション」とも呼称する）に割り付けられた動きベクトルのメジアンを推定動きベクトルｐｍｖとする方法や、（２）符号化／復号化済みの局所復号画像において、対象パーティションと同じ位置を占めるパーティション（しばしば「コロケートパーティション」と呼称される）に割り付けられた動きベクトルを推定動きベクトルｐｍｖとする方法などが挙げられる。
なお、単方向予測を行うパーティションに関する予測パラメータＰＰには、図２（ｅ）に示すように、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤがそれぞれ１つずつ含まれているが、双方向予測（重み付き予測）を行うパーティションに関する予測パラメータＰＰには、２つの参照画像インデックスＲＩ１及びＲＩ２、２つの推定動きベクトルインデックスＰＭＶＩ１及びＰＭＶＩ２、並びに、２つの動きベクトル残差ＭＶＤ１及びＭＶＤ２が含まれる。
マクロブロックレイヤＭＢに含まれる予測パラメータＰＰのうち、イントラ予測によって予測画像が生成されるイントラ予測パーティションに関する予測パラメータＰＰは、図２（ｆ）に示すように、予測インデックスＰＩを含んでいる。ここで、予測インデックスＰＩは、対象パーティションについてのイントラ予測方法（予測モード）を指定するためのインデックスである。なお、対象パーティションについて選択可能な予測モードの種類は、当該対象パーティションのサイズによって異なるため、予測インデックスのとり得る値の範囲も、対象パーティションのサイズによって異なる。
図３（ａ）に、パーティションのサイズ毎の予測インデックスＰＩと予測モードとの対応表を示す。図３（ａ）に示すように、各予測モードには、予測モード番号０〜１１が付されている。予測インデックスＰＩがパーティションサイズによって意味が変わる相対的な番号であるのに対し、予測モード番号はパーティションサイズに依存しない一意な番号であり、各予測モードは、予測モード番号によって互いに識別が可能である（以下では、予測モード番号がＡである予測モードを予測モードＡと表すことにする）。また、図３（ａ）に示すように、パーティションのサイズが１６×１６画素である場合には、予測インデックスＰＩは、０，１，２，３，および４の何れかの値をとる。１６×１６画素のパーティションに対しては、予測インデックス０は予測モード０（ＤＣ予測）に対応し、予測インデックス１は予測モード１（プレーン予測）に対応し、予測インデックス２は予測モード２（方向予測０）に対応し、予測インデックス３は予測モード６（方向予測４）に対応している。パーティションのサイズが８×８画素、４×４画素、８×１画素、または、１×８画素である場合にも、図３（ａ）に示すように、パーティションのサイズ毎の各予測インデックスＰＩは、予測モードの何れかに対応付けられている。
動画像復号装置１は、自身の備えるメモリに図３（ａ）に示す対応表を記憶しておき、対象パーティションのサイズと、予測インデックスとから、当該対象パーティションに割り付ける予測モードを特定することができる。
なお、符号化データ＃１を生成する動画像符号化装置２は、対象パーティションの周辺のパーティションの予測インデックスに基づいて、当該対象パーティションについての予測インデックスの推定値を算出し、当該推定値と当該対象パーティションについての予測インデックスとが同じであるか否かを示すフラグを符号化データ＃１に含める構成としてもよい。このような構成とすることにより、当該推定値と当該対象パーティションについての予測インデックスとが同じである場合には、当該対象パーティションについての予測インデックスの符号化を省略することができる。
（動画像復号装置１）
以下では、本実施形態に係る動画像復号装置１について図１〜図２１を参照して説明する。動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。
図１は、動画像復号装置１の構成を示すブロック図である。図１に示すように、動画像復号装置１は、可変長符号復号部１３、動きベクトル復元部１４、バッファメモリ１５、インター予測画像生成部１６、イントラ予測画像生成部１７、予測方式決定部１８、逆量子化・逆変換部１９、加算器２０、デブロッキングフィルタ４１、および、適応フィルタ４２を備えている。動画像復号装置１は、符号化データ＃１を復号することによって動画像＃２を生成するための装置である。
可変長符号復号部１３は、各パーティションに関する予測パラメータＰＰを、符号化データ＃１から復号する。すなわち、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤを符号化データ＃１から復号し、これらを動きベクトル復元部１４に供給する。一方、イントラ予測パーティションに関しては、（１）パーティションのサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を符号化データ＃１から復号し、これをイントラ予測画像生成部１７に供給する。また、可変長符号復号部１３は、マクロブロックタイプＭＢＴを符号化データから復号し、これを予測方式決定部１８に供給する（図示省略）。更に、可変長符号復号部１３は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δｑｐを符号化データ＃１から復号し、これらを逆量子化・逆変換部１９に供給する。また、可変長符号復号部１３は、符号化データ＃１からフィルタオンオフ情報、フィルタセット番号、および、フィルタ係数群を復号し、それらを適応フィルタ４２に供給する。
動きベクトル復元部１４は、各インター予測パーティションに関する動きベクトルｍｖを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルｍｖ’とから復元する。具体的には、（１）推定動きベクトルインデックスＰＭＶＩにより指定される推定方法に従って、復元済みの動きベクトルｍｖ’から推定動きベクトルｐｍｖを導出し、（２）導出した推定動きベクトルｐｍｖと動きベクトル残差ＭＶＤとを加算することによって動きベクトルｍｖを得る。なお、他のパーティションに関する復元済みの動きベクトルｍｖ’は、バッファメモリ１５から読み出すことができる。動きベクトル復元部１４は、復元した動きベクトルｍｖを、対応する参照画像インデックスＲＩと共に、インター予測画像生成部１７に供給する。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、復元した２つの動きベクトルｍｖ１及びｍｖ２を、対応する参照画像インデックスＲＩ１及びＲＩ２と共に、インター予測画像生成部１７に供給する。
インター予測画像生成部１６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル復元部１４から供給された動きベクトルｍｖを用いて、同じく動きベクトル復元部１４から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、既に復号が完了した復号済みの復号画像に対して、デブロッキングフィルタ４１によるデブロック処理、および、適応フィルタ４２による適応的フィルタ処理を施すことによって得られる画像であり、インター予測画像生成部１６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ１５から読み出すことができる。インター予測画像生成部１６によって生成された動き補償画像ｍｃは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒとして予測方式決定部１８に供給される。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済復号画像Ｐ＿ＦＬ２’とから動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。
イントラ予測画像生成部１７は、各イントラ予測パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、まず、自身のメモリに記録されている図３（ａ）に示した対応表を参照して、可変長符号復号部１３から供給されたサイズ指定情報と予測インデックス指定情報とに基づいて予測モードを特定し、特定された予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。続いて、当該予測モードの示す予測方法に従って、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部１７によって生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測方式決定部１８に供給される。
また、イントラ予測画像生成部１７は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ４２に供給する。なお、イントラ予測画像生成部１７によるイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａの具体的な生成処理については、後述するためここでは説明を省略する。
予測方式決定部１８は、マクロブロックタイプＭＢＴに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部１６にて生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器２０に供給し、後者の場合には、イントラ予測画像生成部１７にて生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器２０に供給する。
逆量子化・逆変換部１９は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器２０に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１９は、可変長符号復号部１３から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したマクロブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐからＱＰ＝２ｐｑ／６によって導出できる。また、逆量子化・逆変換部１９による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。
加算器２０は、予測方式決定部１８から供給された予測画像Ｐｒｅｄと、逆量子化・逆変換部１９から供給された予測残差Ｄとを加算することによって復号画像Ｐを生成する。
デブロッキングフィルタ４１は、復号画像Ｐにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、または当該マクロブロック境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該マクロブロック境界付近の画像の平滑化を行う。デブロッキングフィルタ４１によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応フィルタ４２に出力される。
適応フィルタ４２は、デブロッキングフィルタ４１から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、符号化データ＃１から復号されたフィルタ係数を用いたフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。適応フィルタ４２によりフィルタ処理が施された画像は、フィルタ済復号画像Ｐ＿ＦＬとして外部に出力されると共に、可変長符号復号部１３によって符号化データから復号されたＰＯＣ指定情報と関連付けてバッファメモリ１５に格納される。適応フィルタ４２の具体的な構成については、後述するため、ここでは説明を省略する。
（イントラ予測画像生成部１７によるイントラ予測画像の生成処理）
以下では、イントラ予測画像生成部１７によるイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａの生成処理について、図３〜図４を参照して説明する。
イントラ予測画像生成部１７は、復号画像Ｐを構成する画素のうち既に復号が完了したブロックに属する各画素の画素値を用い、対象パーティションに割り付けられた予測モードによって指定されるイントラ予測方法により、当該対象パーティションについてのイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。
各予測モードは、予測モード番号によって互いに識別可能であり、本実施形態においては、図３（ａ）に示した予測モード（ＤＣ予測、プレーン予測、方向予測０〜７、ＴＭ予測、スケール予測）が選択可能である。方向予測０〜７は、対象パーティションの周辺の復号済みの画素値を所定の方向（予測方向）に外挿することによって、当該対象パーティションの予測画像を生成する予測方法を示している。図３（ｂ）に、方向予測０〜７の各々に対応する予測方向を示す。図３（ｂ）に示すように、方向予測０〜７は、対象パーティションの周辺の復号済みの画素値を、それぞれ、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、および、−２２．５度の方向に外挿することによって予測画像を生成することを示している。なお、上記の角度は、水平方向右向きを０度とし、時計回りに増加するものとして表現したものである（以下同様）。
以下では、まず、図４（ａ）を参照して、対象パーティションが４×４画素である場合の、ＤＣ予測、および方向予測０〜７について説明する。図４（ａ）は、４×４画素である対象パーティションの各画素（予測対象画素）と、当該対象パーティションの周辺の画素（参照画素）とを示す図である。図４（ａ）に示すように、予測対象画素および参照画素の各々は、座標（ｘ、ｙ）によって指定されるものとする。ここで、予測対象画素の各々は、ｘ＝０〜３およびｙ＝０〜３を満たす（ｘ、ｙ）によって指定され、参照画素の各々は、（ｘ、−１）（ｘ＝−１〜７）、または、座標（−１、ｙ）（ｙ＝０〜３）によって指定されるものとする。また、座標（ｘ、ｙ）における予測対象画素の画素値をpred4x4[x,y]と表し、座標（ｘ、ｙ）における参照画素の画素値をp[x,y]と表すことにする。また、参照画素は、何れも復号済みであるとする。
（ＤＣ予測：予測モード番号０）
対象パーティションに割り付けられた予測モードがＤＣ予測である場合、イントラ予測画像生成部１７は、対象パーティションの上辺または左辺に隣接する参照画素の画素値の平均値をとることにより、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、予測対象画素の画素値pred[x,y]を、例えば以下の式
pred4x4[x,y]=(p[0,-1]+p[1,-1]+p[2,-1]+p[3,-1]+p[-1,0]+p[-1,1]+p[-1,2]+p[-1,3] +4)>>3
によって生成する。ここで、>>は右シフト演算を表し、ａ>>ｂの値はａ÷（２のｂ乗）の値の小数部分を切り捨てた値に等しい。また、<<は左シフト演算を表し、ａ<<ｂの値はａ×（２のｂ乗）の値に等しい。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるDC prediction modeに対応している。
（方向予測０：予測モード番号２）
対象パーティションについての予測モードが方向予測０である場合、イントラ予測画像生成部１７は、参照画素の画素値を水平方向右向きに外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、予測対象画素の画素値pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=p[-1,y],（x,y=0...3）
によって生成する。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるHorizontal prediction modeに対応している。
（方向予測１：予測モード番号３）
対象パーティションについての予測モードが方向予測１である場合、イントラ予測画像生成部１７は、参照画素の画素値を２２．５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[-1,y-(x>>1)-1]+p[-1,y-(x>>1)]+1)>>1,（zHD=0,2,4,6の場合）
pred4x4[x,y]=(p[-1,y-(x>>1)-2]+2*p[-1,y-(x>>1)-1]+p[-1,y-(x>>1)]+2)>>2,（zHD=1, 3,5の場合）
pred4x4[x,y]=(p[-1,0]+2*p[-1,-1]+p[0,-1]+2)>>2,（zHD=-1の場合）
pred4x4[x,y]=(p[x-1,-1]+2*p[x-2,-1]+p[x-3,-1]+2)>>2（zHD=-2,-3の場合）
によって生成する。ここで、zHDは、zHD=2*y-xによって定義される。また、記号*は、積を表す演算記号である（以下同様）。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるHorizontal down prediction modeに対応している。
（方向予測２：予測モード番号４）
対象パーティションについての予測モードが方向予測２である場合、イントラ予測画像生成部１７は、参照画素の画素値を４５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[x-y-2,-1]+2*p[x-y-1,-1]+p[x-y,-1]+2)>>2,（x>yの場合）
pred4x4[x,y]=(p[-1,y-x-2]+2*p[-1,y-x-1]+p[-1,y-x]+2)>>2,（x<yの場合）
pred4x4[x,y]=(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2,（x=yの場合）
によって生成する。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるDiagonal down-right prediction modeに対応している。
（方向予測３：予測モード番号５）
対象パーティションについての予測モードが方向予測３である場合、イントラ予測画像生成部１７は、参照画素の画素値を６７．５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[x-(y>>1)-1,-1]+p[x-(y>>1),-1]+1)>>1,（zVR=0,2,4,6の場合）
pred4x4[x,y]=(p[x-(y>>1)-2,-1]+2*p[x-(y>>1)-1,-1]+p[x-(y>>1),-1]+2)>>2,（zVR=1, 3,5の場合）
pred4x4[x,y]=(p[-1,0]+2*p[-1,-1]+p[0,-1]+2)>>2,（zVR=-1の場合）
pred4x4[x,y]=(p[-1,y-1]+2*p[-1,y-2]+p[-1,y-3]+2)>>2,（zVR=-2,-3の場合）
によって生成する。ここで、zVRは、zVR=2*x-yによって定義される。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるVertical right prediction modeに対応している。
（方向予測４：予測モード番号６）
対象パーティションについての予測モードが方向予測４である場合、イントラ予測画像生成部１７は、参照画素の画素値を垂直方向下向きに外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=p[x,-1],（x,y=0...3）
によって生成する。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるVertical prediction modeに対応している。
（方向予測５：予測モード番号７）
対象パーティションについての予測モードが方向予測５である場合、イントラ予測画像生成部１７は、参照画素の画素値を１１２．５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[x+(y>>1),-1]+p[x+(y>>1)+1,-1]+1)>>1,（y=0,2の場合）
pred4x4[x,y]=(p[x+(y>>1),-1]+2*p[x+(y>>1)+1,-1]+p[x+(y>>1)+2,-1]+2)>>2,（y=1,3の場合）
によって生成する。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるVertical left prediction modeに対応している。
（方向予測６：予測モード番号８）
対象パーティションについての予測モードが方向予測６である場合、イントラ予測画像生成部１７は、参照画素の画素値を１３５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[6,-1]+3*p[7,-1]+2)>>2,（x=3,y=3の場合）
pred4x4[x,y]=(p[x+y,-1]+2*p[x+y+1,-1]+p[x+y+2,-1]+2)>>2,（x=3ではなく,y=3ではない場合）
によって生成する。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるDiagonal down left prediction modeに対応している。
（方向予測７：予測モード番号９）
対象パーティションについての予測モードが方向予測７である場合、イントラ予測画像生成部１７は、参照画素の画素値を−２２．５度の方向に外挿することによって、予測対象画素の画素値を生成する。より具体的には、イントラ予測画像生成部１７は、pred4x4[x,y]を、例えば以下の式
pred4x4[x,y]=(p[-1,y+(x>>1)]+p[-1,y+(x>>1)+1]+1)>>1,（zHU=0,2,4の場合）
pred4x4[x,y]=(p[-1,y+(x>>1)]+2*p[-1,y+(x>>1)+1]+p[-1,y+(x>>1)+2]+2)>>2,（zHU=1, 3の場合）
pred4x4[x,y]=(p[-1,2]+3*p[-1,3]+2)>>2,（zHU=5の場合）
pred4x4[x,y]=p[-1,3],（zHU>5の場合）
によって生成する。ここで、zHUは、zHU=x+2*yによって定義される。なお、本予測モードは、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるHorizontal up prediction modeに対応している。
以上、対象パーティションが４×４画素である場合の、ＤＣ予測、および方向予測０〜７について説明を行ったが、イントラ予測画像生成部１７は、参照画素の画素値を各方向に外挿することによって、対象パーティションが４×４画素以外である場合についても、上述した方法と略同様の方法によって、当該対象パーティションの各画素値を生成することができる。
続いて、イントラ予測画像生成部１７によるプレーン予測、ＴＭ（テンプレートマッチング）予測、および、スケール予測について説明する。
（プレーン予測：予測モード番号１）
プレーン予測は、対象パーティションが１６×１６画素である場合に選択可能な予測モードである。対象パーティションについての予測モードがプレーン予測である場合、イントラ予測画像生成部１７は、当該対象パーティションに隣接する復号済みの参照画素の画素値を用いて、当該対象パーティションの各画素値を平面的な予測によって生成する。
以下では、１６×１６画素である対象パーティションの各画素は、座標（ｘ、ｙ）（ｘ＝０〜１５、ｙ＝０〜１５）によって指定されるものとする。なお、対象パーティション内の左上の画素の座標を（０、０）とし、右に行くにつれてｘが増大し、下に行くにつれてｙが増大するものとする。また、対象パーティションの上辺に隣接する復号済みの参照画素の座標を（ｘ、−１）、その画素値をP(x,-1)（ｘ＝０〜１５）と表し、対象パーティションの左辺に隣接する復号済みの参照画素の座標を（−１、ｙ）、その画素値をP(-1,y)（ｙ＝０〜１５）と表す。また、対象パーティションにおいて座標（ｘ、ｙ）によって指定される画素の画素値をpred_P(x,y)と表すことにする。
（プレーン予測の例１）
対象パーティションについての予測モードがプレーン予測である場合、イントラ予測画像生成部１７は、対象パーティションの画素値pred_P(x,y)を、例えば以下の式
pred_P(x,y)=((15-y)*TR(x)+(y+1)*BR(x)+(15-x)*LC(y)+(x+1)*RC(y)+16)/32（x,y=0...15）
によって生成する。ここで、
TR(x)=P(x,-1),（x=0...15）
LC(y)=P(-1,y),（y=0...15）
BR(x)=((15-x)*LC(15)+(x+1)*BRS+8)/16,（x=0...15）
RC(y)=((15-y)*TR(15)+(y+1)*BRS+8)/16,（y=0...15）
BRS=DC+planar_delta_y
であり、DCは、ＤＣ予測によって生成された画素値を表すものとする。
（プレーン予測の例２）
また、イントラ予測画像生成部１７は、対象パーティションの画素値pred_P(x,y)を、以下の式によって算出する構成としてもよい。
pred_P[x,y]=Clip1Y((a+b*(x-7)+c*(y-7)+16)>>5),（x,y=0...15）
ここで、
a=16*(p[-1,15]+p[15,-1])
b=(5*H+32)>>6
c=(5*V+32)>>6
H=Σ_x'{(x'+1)*(p[8+x',-1]-p[6-x',-1])}
V=Σ_y'{(y'+1)*(p[-1,8+y']-p[-1,6-y'])}
である。なお、上記の式において、Σ_x'{...}は、{}内の式について、x'=0からx'=7までの総和を表すものとし、Σ_y'{...}は、{}内の式について、y'=0からx'=7までの総和を表すものとする。また、Clip1Yは、
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
によって定義され、Clip3(a,b,c)は、c<aであるときに値aをとり、c>bであるときに値bをとり、それ以外の場合に値cをとるクリップ関数である。また、BitDepthYは、ビット深度に応じて定まる値をとる。なお、本例は、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格におけるIntra_16x16_Plane prediction modeに対応している。
（ＴＭ予測：予測モード番号１０）
続いて、ＴＭ予測について、図４（ｂ）を参照して説明を行う。
ＴＭ予測は、対象パーティションが４×４画素である場合に選択可能な予測モードである。対象パーティションについての予測モードがＴＭ予測である場合、イントラ予測画像生成部１７は、対象パーティションの周辺にテンプレート領域を設定し、復号済みの復号画像Ｐ（または、フィルタ済復号画像Ｐ＿ＦＬ）から、当該テンプレート領域に最も類似する領域を探索し、探索された領域の周辺の領域の各画素値を、対象パーティションの各画素値に設定する。
より具体的には、対象パーティションについてＴＭ予測が選択されている場合、イントラ予測画像生成部１７は、例えば、以下の処理を行う。
（ステップＳ１０１）
まず、図４（ｂ）に示すように、対象パーティションの左辺または上辺に隣接する画素、および、対象パーティションの左上の頂点を共有する画素よりなる逆Ｌ字型の領域をテンプレート領域ＴＲに設定する。
（ステップＳ１０２）
続いて、復号済みの復号画像Ｐ（または、フィルタ済復号画像Ｐ＿ＦＬ）において、テンプレート領域ＴＲと同じ形の領域であって、テンプレート領域ＴＲに最も類似する参照領域ＲＲを探索する。ここで、参照領域ＲＲの探索は、例えば、画素値の差分絶対値の総和（Sum of Absolute Difference）を評価することによって行うことができる。
（ステップＳ１０３）
最後に、参照領域ＲＲに上辺および左辺が接する４×４画素の領域の各画素値を、対象パーティションの対応する各画素値に設定する。
（スケール予測：予測モード番号１１）
続いて、スケール予測について説明を行う。
スケール予測は、対象パーティションが１６×１６画素である場合に選択可能な予測モードである。対象パーティションについてスケール予測が選択されている場合、イントラ予測画像生成部１７は、（１）動画像符号化装置によってダウンサンプリングされた縮小画像についての量子化係数を逆量子化および周波数変換することによって当該縮小画像の画像データを生成し、（２）対象パーティションの周辺のパーティションの各画素値の平均値と、上記縮小画像の画像データとを加算した後、アップサンプリングすることによって、対象パーティションについての予測画像を生成する。
より具体的には、対象パーティションについてスケール予測が選択されている場合、イントラ予測画像生成部１７は、例えば、以下の処理を行う。
（ステップＳ２０１）
まず、１６×１６画素の対象パーティションを４×４画素にダウンサンプリングすることによって得られる画像データと、対象パーティションの周辺のパーティションの各画素値の平均値との差分である残差データを周波数変換および量子化することにより得られた量子化係数であって、動画像符号化装置から伝送される量子化係数Ｆｓｒを復号する。
（ステップＳ２０２）
続いて、対象パーティションの周辺のパーティションの各画素値の平均値をとることによって、予測値ｄを算出する。
（ステップＳ２０３）
続いて、ステップＳ２０１にて復号された量子化係数を逆量子化および逆周波数変換することによって、４×４画素の残差データＢ’ｓｒを生成する。
（ステップＳ２０４）
続いて、ステップＳ２０２にて算出された予測値ｄと、ステップＳ２０３にて生成された４×４画素の残差データＢ’ｓｒとを加算することによって、４×４画素の画像データＢ’ｓを生成する。
（ステップＳ２０５）
最後に、ステップＳ２０４にて生成された４×４画素の画像データＢ’ｓを１６×１６画素にアップサンプリングすることによって、対象パーティションについての１６×１６画素のイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。
なお、後述する動画像符号化装置２の備えるイントラ予測画像生成部は、スケール予測
が選択されている対象パーティションについて以下の処理を行う。
（ステップＳ２０１’）
まず、１６×１６画素の対象パーティションを４×４画素にダウンサンプリングすることによって４×４画素の画像データＢｓを生成する。
（ステップＳ２０２’）
続いて、対象パーティションの周辺のパーティションの各画素値の平均値をとることによって、予測値ｄを算出する。
（ステップＳ２０３’）
続いて、ステップＳ２０１’にて生成された画像データＢｓと、ステップＳ２０２’にて算出された予測値ｄとの差分をとることによって残差データＢｓｒを生成する。
（ステップＳ２０４’）
続いて、残差データＢｓｒを周波数変換および量子化することによって、量子化係数を生成する。生成された量子化係数は、動画像復号装置１に伝送される。
（ステップＳ２０５’）
続いて、ステップＳ２０４’にて生成された量子化係数を逆周波数変換および逆量子化することによって残差データＢ’ｓｒを生成する。
（ステップＳ２０６’）
続いて、ステップＳ２０５’にて生成された残差データＢ’ｓｒと、ステップＳ２０２’にて算出された予測値ｄとを加算することによって画像データＢ’ｓを生成する。
（ステップＳ２０７’）
最後に、ステップＳ２０６にて生成された画像データＢ’ｓを１６×１６画素にアップサンプリングすることによって、１６×１６画素のイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。
（適応フィルタ４２）
以下では、動画像復号装置１の備える適応フィルタ４２について、図５〜図９を参照して説明を行う。
図５は、適応フィルタ４２の構成を示すブロック図である。図５に示すように、適応フィルタ４２は、予測モード／サイズ蓄積部４２１、エッジ方向検出部４２２、活性度算出部４２３、領域分類部４２４、および、フィルタ処理部４２５を備えている。
適応フィルタ４２は、デブロッキングフィルタ４１から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、符号化データ＃１から復号されたフィルタ係数を用いたフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。ここで、フィルタ済復号画像Ｐ＿ＦＬの生成は、マクロブロック単位で行ってもよいし、マクロブロックよりも小さい領域を単位として行ってもよいし、マクロブロックよりも大きい領域を単位として行ってもよい。以下では、適応フィルタ４２が、マクロブロック単位で、フィルタ済復号画像Ｐ＿ＦＬの生成を行う場合を例に挙げ説明を行う。
（予測モード／サイズ蓄積部４２１）
予測モード／サイズ蓄積部４２１は、イントラ予測画像生成部１７より供給されるイントラ符号化モード情報ＩＥＭの示す、パーティションのサイズ（形状および大きさ）、および、パーティションに割り付けられた予測モードを蓄積する。予測モード／サイズ蓄積部４２１は、対象マクロブロックに含まれるすべてのパーティションについてのサイズおよび予測モードを蓄積する構成とすることができる。
また、予測モード／サイズ蓄積部４２１に蓄積された各パーティションのサイズ、および予測モードを含む情報は、領域分類部４２４に供給される。
なお、各パーティションの形状、および、予測モードの示す方向は、各パーティションにおける復号画像Ｐ（若しくはデブロック済復号画像Ｐ＿ＤＢ）の方向性と相関があるという傾向がある。例えば、パーティションのサイズが８×１画素や８×２画素のように横長である場合には、該パーティションに横方向のエッジが含まれているという傾向があり、パーティションのサイズが１×８画素や２×８画素のように縦長である場合には、該パーティションに縦方向のエッジが含まれているという傾向がある。また、復号済みの画素値を所定の方向（予測方向）に外挿することによって行われる方向予測では、予測方向に沿ったエッジが含まれている傾向がある。
また、パーティションの大きさは、各パーティションにおける復号画像Ｐ（若しくはデブロック済復号画像Ｐ＿ＤＢ）の平坦度と相関があるという傾向がある。例えば、パーティションの大きさが小さい場合には、平坦度が小さく、パーティションのサイズが大きい場合には、平坦度が大きいという傾向がある。平坦度が小さい場合とはすなわち活性度（後述）が大きい場合であるから、パーティションサイズが小さい場合には活性度が大きく、パーティションのサイズが大きい場合には、活性度が小さい傾向があると表現することもできる。
また、一部の予測モードは、予測モードが用いられたパーティションにおける復号画像Ｐ（若しくはデブロック済復号画像Ｐ＿ＤＢ）の平坦度と相関がある傾向がある。例えば、プレーン予測およびスケール予測で予測されたパーティションは平坦度が大きい（活性度は小さい）傾向がある。
領域分類部４２４は、後述するように、各パーティションのサイズ、および予測モードに応じて、各パーティションを、１または複数のタイプの何れかに分類し、フィルタ係数群を、対象マクロブロックに含まれる各分割領域、または、各パーティションに対して、タイプ毎に割り付けるので、適応フィルタ４２は、各パーティションにおける復号画像Ｐ（若しくはデブロック済復号画像Ｐ＿ＤＢ）の方向性および平坦度に応じて適切なフィルタ処理を行うことができる。
（エッジ方向検出部４２２）
以下では、エッジ方向検出部４２２について、図１０（ａ）〜（ｂ）を参照して説明する。
エッジ方向検出部４２２は、可変長符号復号部１３から供給されるフィルタオンオフ情報に含まれる領域指定情報を参照して、デブロック済復号画像Ｐ＿ＤＢにおける対象マクロブロックを１または複数の分割領域に分割し、各分割領域の画像についてエッジ検出を行う。また、各分割領域について、エッジの方向を示す角度Ｔｈｅｔａを、領域分類部４２４に供給する。なお、上記分割領域には、１つの画素のみが含まれていてもよいし、複数の画素が含まれていてもよい。以下では、エッジ検出の対象となる分割領域（対象分割領域）が１つの画素のみを含む場合、および、対象分割領域に複数の画素が含まれている場合の各々について、エッジ方向検出部４２２による角度Ｔｈｅｔａの算出処理について説明を行う。
（対象分割領域が１つの画素のみを含む場合のＴｈｅｔａの算出処理）
対象分割領域が１つの画素（対象画素）のみを含む場合、エッジ検出部４２２は、対象画素を中心とする３×３画素の参照領域を設定し、当該参照領域の各画素に対して、以下の数式（１ａ）および（１ｂ）によって定義されるソーベルフィルタ行列ＳＦＭ＿ｘ、およびＳＦＭ＿ｙを作用させることによって、ソーベルフィルタ後の画素値Ｓｏｂｅｌ＿ｘおよびＳｏｂｅｌ＿ｙを算出する。
より具体的には、例えば、３×３画素の参照領域に含まれる各画素の画素値を、図１０（ａ）に示すように、ａ〜ｈと表すことにすると、エッジ検出部４２２は、ソーベルフィルタ後の画素値Ｓｏｂｅｌ＿ｘおよびＳｏｂｅｌ＿ｙを、それぞれ、以下の数式（２ａ）および（２ｂ）によって算出する。
Ｓｏｂｅｌ＿ｘ＝−ａ＋ｃ−２×ｄ＋２×ｅ−ｆ＋ｈ （２ａ）
Ｓｏｂｅｌ＿ｙ＝−ａ−２×ｂ−ｃ＋ｆ＋２×ｇ＋ｈ （２ｂ）
続いて、エッジ検出部４２２は、以下の数式（３）によって、エッジ方向を示す角度（以下、「エッジ角度」とも呼称する）Ｔｈｅｔａを算出する。
Ｔｈｅｔａ＝ａｒｃｔａｎ（Ｓｏｂｅｌ＿ｘ／Ｓｏｂｅｌ＿ｙ） （３）
ここで、ａｒｃｔａｎは、三角関数ｔａｎの逆関数を表す。また、角度Ｔｈｅｔａは、図１０（ｂ）に示すように、時計周りに増加するものとし、０度から１８０度までの範囲（０°≦Ｔｈｅｔａ＜１８０°）で表現されるものとする。
（対象分割領域が複数の画素を含む場合のＴｈｅｔａの算出処理）
対象分割領域が複数の画素を含む場合、エッジ検出部４２２は、まず、対象分割領域に含まれる各画素について、３×３画素の参照領域を設定し、上述した方法によって各画素についてのソーベルフィルタ後の画素値Ｓｏｂｅｌ＿ｘおよびＳｏｂｅｌ＿ｙを算出する。
続いて、エッジ検出部４２２は、以下の数式（４）によって、各画素についてのエッジ強度ＥＳを算出し、最もエッジ強度ＥＳの大きい画素についてのソーベルフィルタ後の画素値Ｓｏｂｅｌ＿ｘおよびＳｏｂｅｌ＿ｙを用いて、上記数式（３）によってエッジ角度Ｔｈｅｔａを算出する。
ＥＳ＝（Ｓｏｂｅｌ＿ｘ）2＋（Ｓｏｂｅｌ＿ｙ）2 （４）
なお、エッジ検出部４２２は、対象分割領域に含まれる全ての画素についてのエッジ強度ＥＳが予め定められた閾値以下である場合には、当該対象分割領域については、エッジなしと判定し、判定結果を領域分類部４２４に供給する。
なお、エッジ検出部４２２は、エッジの角度を算出することなく、エッジ方向に対応する番号（方向インデックス）を出力する構成としても良い。
例えば、三角関数ｔａｎの逆関数を用いるのではなく、Ｓｏｂｅｌ＿ｙとＳｏｂｅｌ＿ｘの大小関係に応じて場合分けをすることによって、以下のように方向インデックスを生成可能である。
方向インデックス＝０ ｜Ｓｏｂｅｌ＿ｙ｜＜ａ×｜Ｓｏｂｅｌ＿ｘ｜の場合
方向インデックス＝１ ｜Ｓｏｂｅｌ＿ｙ｜≧ａ×｜Ｓｏｂｅｌ＿ｘ｜かつ
｜Ｓｏｂｅｌ＿ｙ｜≦ｂ×｜Ｓｏｂｅｌ＿ｘ｜かつ
Ｓｏｂｅｌ＿ｙとＳｏｂｅｌ＿ｘの符号が等しい場合
方向インデックス＝２ ｜Ｓｏｂｅｌ＿ｙ｜＞ｂ×｜Ｓｏｂｅｌ＿ｘ｜の場合
方向インデックス＝３ ｜Ｓｏｂｅｌ＿ｙ｜≧ａ×｜Ｓｏｂｅｌ＿ｘ｜かつ
｜Ｓｏｂｅｌ＿ｙ｜≦ｂ×｜Ｓｏｂｅｌ＿ｘ｜かつ
Ｓｏｂｅｌ＿ｙとＳｏｂｅｌ＿ｘの符号が反対の場合
但し、ａ＝ｔａｎ（２２．５°）＝０．４１４・・・、ｂ＝ｔａｎ（６７．５°）＝２．４１４・・・である。なお、この例では４つの方向インデックスを算出したが、２個の方向インデックスの算出や８個の方向インデックスを算出する構成としてもよい。
（活性度算出部４２３）
活性度算出部４２３は、可変長符号復号部１３から供給されるフィルタオンオフ情報に含まれる領域指定情報を参照して、デブロック済復号画像Ｐ＿ＤＢにおける対象マクロブロックを１または複数の分割領域に分割し、各分割領域の画像について、活性度（ａｃｔｉｖｉｔｙ）ＡＣＴを算出する。ここで、活性度とは、概略的に言えば、画像の乱雑さを示す指標であり、分割領域を含む領域にＤＣＴ変換を施した場合に得られる変換係数において大きな高周波成分が存在するかなどによっても測定可能であるが、ここでは隣接する画素の画素値によって測定する。隣接する画素の画素値の差が大きいほど、活性度が大きくなる。算出された分割領域毎の活性度ＡＣＴは、領域分類部４２４に供給される。
活性度の算出の対象となる分割領域（対象分割領域）における画素の座標を（ｉ、ｊ）と表し、その画素値をＲ（ｉ、ｊ）と表すことにすると、活性度算出部４２３は、例えば、以下の数式（５ａ）を用いることによって、活性度ＡＣＴを算出することができる。
ここで、ｉ、ｊに関する和記号Σは、対象分割領域に含まれる画素についての総和をとることを表すものとする。数式（５ａ）は、隣接する画素の画素値の絶対値の総和（Sum of Absolute Difference, SAD）を指標として、活性度を評価することに対応している。
また、活性度算出部４２３は、以下の数式（５ｂ）を用いることによって、活性度ＡＣＴを算出する構成としてもよい。
ここで、数式（５ｂ）におけるｋおよびｌに関する和は、座標（ｉ、ｊ）の画素を中心とした矩形状の領域（ｘ方向：２Ｋ＋１画素、ｙ方向：２Ｌ＋１画素）についての和を示している。本実施形態においては、数式（５ｂ）におけるｋおよびｌに関する和は、対象分割領域に含まれる画素についての総和としてもよい。数式（５ｂ）は、変形ラプラシアンの総和（Sum-Modified Laplacian, SML）を指標として、活性度を評価することに対応している。
なお、活性度算出部４２３は、対象マクロブロックにイントラ予測が適用されている場合には、対象マクロブロックに含まれるパーティション毎に活性度ＡＣＴを算出する。
（領域分類部４２４）
領域分類部４２４は、（１）予測モード／サイズ蓄積部４２１から供給される各パーティションのサイズ、（２）予測モード／サイズ蓄積部４２１から供給される各パーティションに割り付けられた予測モード、（３）エッジ方向検出部４２２から供給されるエッジ角度Ｔｈｅｔａ、および、（４）活性度算出部４２３から供給される活性度ＡＣＴに基づいて、対象マクロブロックに含まれる各分割領域、または、各パーティションを、１または複数のタイプ（以下、「分割領域グループ」とも呼称）の何れかに分類する。領域分類部４２４による各分割領域、または、各パーティションの分類は、可変長符号復号部１３により符号化データ＃１から復号されたフィルタセット番号を参照して行われる。
なお、エッジ方向検出部４２２から供給される情報としては、エッジ角度Ｔｈｅｔａの代わりに、方向インデックスを用いても良い。以下では、方向インデックスを用いて分類を行う場合には、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜２２．５°、または１５７．５°≦Ｔｈｅｔａ＜１８０°）の場合を方向インデックス０、エッジ角度Ｔｈｅｔａが（２２．５°≦Ｔｈｅｔａ＜６７．５°）の場合を方向インデックス１、エッジ角度Ｔｈｅｔａが（６７．５°≦Ｔｈｅｔａ＜１１２．５°）の場合を方向インデックス２、エッジ角度Ｔｈｅｔａが（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）の場合を方向インデックス３と置き替えることによって、同様の分類を行う構成としてもよい。
また、領域分類部４２４は、可変長符号復号部１３から供給されるフィルタ係数群を、対象マクロブロックに含まれる各分割領域、または、各パーティションに対して、タイプ毎に、割り付ける。より具体的には、タイプＩ（Ｉ＝１、２、…）に分類された分割領域またはパーティションに対して、符号化データ＃１から復号されたフィルタ係数群Ｉを割り付ける。例えば、タイプ１に分類された分割領域に対しては、フィルタ係数群１を割り付け、タイプ２に分類された分割領域に対しては、フィルタ係数群２を割り付ける。
また、対象マクロブロックに含まれる各分割領域または各パーティションが何れのタイプに分類されたのかを示す分類情報は、各分割領域または各パーティションに割り付けられたフィルタ係数群と共に、フィルタ処理部４２５に供給される。
なお、領域分類部４２４は、対象マクロブロックにイントラ予測が適用されている場合に、各パーティションのサイズ、各パーティションに割り付けられた予測モード、および、各パーティションの活性度ＡＣＴに基づいて、各パーティションを複数のタイプの何れかに分類し、対象マクロブロックにインター予測が適用されている場合に、各分割領域におけるエッジ角度、および、各分割領域の活性度ＡＣＴに基づいて、各分割領域を複数のタイプの何れかに分類する構成とすることが好適であるが、本実施形態はこれに限定されるものではない。
また、上記の説明では、適応フィルタ４２の構成として、図５に示すものを例に挙げたが、本実施形態はこれに限定されるものではない（以下では、図５に示す適応フィルタ４２の構成を適応フィルタ４２の基本構成とも呼称する）。
例えば、適応フィルタ４２は、図６に示すように、図５に示す構成における予測モード／サイズ蓄積部４２１、エッジ方向検出部４２２、および、活性度算出部４２３のうち、予測モードサイズ蓄積部４２１のみを有する構成としてもよい（以下では、図６に示す適応フィルタ４２の構成を適応フィルタ４２の第１の変形例とも呼称する）。
また、適応フィルタ４２は、図７に示すように、図５に示す構成における予測モード／サイズ蓄積部４２１、エッジ方向検出部４２２、および、活性度算出部４２３のうち、エッジ方向検出部４２２のみを有する構成としてもよい（以下では、図７に示す適応フィルタ４２の構成を適応フィルタ４２の第２の変形例とも呼称する）。
また、適応フィルタ４２は、図８に示すように、図５に示す構成における予測モード／サイズ蓄積部４２１、エッジ方向検出部４２２、および、活性度算出部４２３のうち、エッジ方向検出部４２２および活性度算出部４２３のみを有する構成としてもよい（以下では、図８に示す適応フィルタ４２の構成を適応フィルタ４２の第３の変形例とも呼称する）。
また、適応フィルタ４２は、図９に示すように、図５に示す構成における予測モード／サイズ蓄積部４２１、エッジ方向検出部４２２、および、活性度算出部４２３のうち、予測モード／サイズ蓄積部４２１および活性度算出部４２３のみを有する構成としてもよい（以下では、図９に示す適応フィルタ４２の構成を適応フィルタ４２の第４の変形例とも呼称する）。
以下では、領域分類部４２４による分類処理の例について図１１〜図１６を参照して説明する。なお、符号化データ＃１を生成する動画像符号化装置２において、以下に示す（分類処理例１）〜（分類処理例６）に示した方法が選択的に用いられる場合には、何れの分類処理を行ったのかを示すフラグを符号化データ＃１に含める構成とし、領域分類部４２４は当該フラグを参照して、以下に示す（分類処理例１）〜（分類処理例６）のうち、何れかの分類処理を行う構成としてもよい。
（分類処理例１）
以下では、領域分類部４２４による分類処理の第１の例について図１１（ａ）〜（ｃ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、および、各分割領域のエッジ角度Ｔｈｅｔａに基づいて、対象マクロブロックに含まれる各分割領域を分類する。図１１は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。なお、図１１（ａ）〜（ｃ）におけるΘは、エッジ角度Ｔｈｅｔａを表している（以下同様）。
（１−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１１（ａ）に示すように、対象マクロブロックに含まれる全ての分割領域をタイプ０に分類する。
（１−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１１（ｂ）に示すように、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜４５°、または１３５°≦Ｔｈｅｔａ＜１８０°）を満たす分割領域を、タイプ０に分類し、エッジ角度Ｔｈｅｔａが（４５°≦Ｔｈｅｔａ＜１３５°）を満たす分割領域をタイプ１に分類する。
（１−３：フィルタセット番号＝２の場合）
フィルタセット番号が２である場合、領域分類部４２４は、図１１（ｃ）に示すように、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜２２．５°、または１５７．５°≦Ｔｈｅｔａ＜１８０°）を満たす分割領域を、タイプ０に分類し、エッジ角度Ｔｈｅｔａが（２２．５°≦Ｔｈｅｔａ＜６７．５°）を満たす分割領域をタイプ１に分類し、エッジ角度Ｔｈｅｔａが（６７．５°≦Ｔｈｅｔａ＜１１２．５°）を満たす分割領域をタイプ２に分類し、エッジ角度Ｔｈｅｔａが（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）を満たす分割領域をタイプ３に分類する。
なお、何れのフィルタセット番号の場合についても、エッジ検出部４２２によりエッジなしと判定された分割領域が存在する場合には、当該分割領域をタイプ０に分類する構成とすることができる（以下の分類処理例においても同様）。
また、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図７に示す第２の変形例を用いてもよいし、図８に示す第３の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理のみを行う場合には、図７に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（分類処理例２）
以下では、領域分類部４２４による分類処理の第２の例について図１２（ａ）〜（ｄ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、各分割領域のエッジ角度Ｔｈｅｔａ、および、各分割領域の活性度ＡＣＴに基づいて、対象マクロブロックに含まれる各分割領域を分類する。図１２は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表である。
（２−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１２（ａ）に示すように、対象マクロブロックに含まれる全ての分割領域をタイプ０に分類する。
（２−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１２（ｂ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下である分割領域をタイプ０に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きい分割領域をタイプ１に分類する。
（２−３：フィルタセット番号＝２の場合）
フィルタセット番号が２である場合、領域分類部４２４は、図１２（ｃ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下である分割領域をタイプ０に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きい分割領域であって、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜４５°、または１３５°≦Ｔｈｅｔａ＜１８０°）を満たす分割領域をタイプ１に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きい分割領域であって、エッジ角度Ｔｈｅｔａが（４５°≦Ｔｈｅｔａ＜１３５°）を満たす分割領域をタイプ２に分類する。
（２−４：フィルタセット番号＝３の場合）
フィルタセット番号が３である場合、領域分類部４２４は、図１２（ｄ）に示すように、活性度ＡＣＴが予め定められた第１の閾値ＴＨ１以下である分割領域をタイプ０に分類し、活性度ＡＣＴが当該第１の閾値よりも大きい第２の閾値ＴＨ２よりも大きい分割領域をタイプ５に分類する。
また領域分類部４２４は、活性度ＡＣＴが上記第１の閾値よりも大きく、かつ、上記第２の閾値以下である分割領域を以下のように分類する。すなわち、エッジ角度Ｔｈｅｔａが、（０°≦Ｔｈｅｔａ＜２２．５°、または１５７．５°≦Ｔｈｅｔａ＜１８０°）を満たす分割領域をタイプ１に分類し、エッジ角度Ｔｈｅｔａが、（２２．５°≦Ｔｈｅｔａ＜６７．５°）を満たす分割領域をタイプ２に分類し、エッジ角度Ｔｈｅｔａが、（６７．５°≦Ｔｈｅｔａ＜１１２．５°）を満たす分割領域をタイプ３に分類し、エッジ角度Ｔｈｅｔａが、（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）を満たす分割領域をタイプ４に分類する。
このように、本例においては、活性度が所定の閾値以下である場合には、対象マクロブロックに含まれる各分割領域を１つのタイプに分類し、活性度が所定の閾値よりも大きい場合にのみ、対象マクロブロックに含まれる各分割領域を、エッジ角度で測定される方向性によって複数のタイプに分類する。これは、活性度が小さい場合には、画像の方向性を利用するメリットが小さく、活性度が大きい場合には、画像の方向性を利用するメリットが大きいためである。
なお、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図８に示す第３の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理のみを行う場合には、図８に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（分類処理例３）
以下では、領域分類部４２４による分類処理の第３の例について図１３（ａ）〜（ｃ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、および、各パーティションのサイズに基づいて、対象マクロブロックに含まれる各パーティションを分類する。図１３は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。
（３−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１３（ａ）に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ０に分類する。
（３−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１３（ｂ）に示すように、１６×１６画素のパーティション、および、８×８画素のパーティションをタイプ０に分類し、４×４画素のパーティション、８×１画素のパーティション、および、１×８画素のパーティションをタイプ１に分類する。
（３−２：フィルタセット番号＝２の場合）
フィルタセット番号が２である場合、領域分類部４２４は、図１３（ｃ）に示すように、１６×１６画素のパーティション、および、８×８画素のパーティションをタイプ０に分類し、４×４画素のパーティションをタイプ１に分類し、８×１画素のパーティションをタイプ２に分類し、１×８画素のパーティションをタイプ３に分類する。
このように、本例においては、対象マクロブロックに含まれる各パーティションの大きさおよび形状に応じて、各パーティションを複数のタイプに分類する。上述したように、パーティションの大きさと該パーティションにおける画像の活性度との間には負の相関があるため、パーティションの大きさに応じて各パーティションを分類することは、画像の活性度に応じて各パーティションを分類することに対応する。また、上述したように、パーティションの形状と該パーティションにおける画像の方向性とは相関があるため、パーティションの形状に応じて各パーティションを分類することは、画像の方向性に応じて各パーティションを分類することに対応する。このように、本例は、パーティションの大きさと活性度との相関、および、パーティションの形状と方向性との相関を利用することによって、活性度および方向性を直接参照することなく、実質的に活性度および方向性に応じた分類を行うものである。
なお、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図６に示す第１の変形例を用いてもよいし、図９に示す第４の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理、（分類処理例４）、および（分類処理例５）の少なくとも何れかのみを行う場合には、図６に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（分類処理例４）
以下では、領域分類部４２４による分類処理の第４の例について図１４（ａ）〜（ｃ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、および、各パーティションに割り付けられた予測モードに基づいて、対象マクロブロックに含まれる各パーティションを分類する。図１４は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表である。
（４−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１４（ａ）に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ０に分類する。
（４−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１４（ｂ）に示すように、ＤＣ予測、プレーン予測、および、スケール予測の何れかが適用されたパーティションをタイプ０に分類し、それ以外の予測モードが適用されたパーティションをタイプ１に分類する。
（４−３：フィルタセット番号＝２の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１４（ｃ）に示すように、ＤＣ予測、プレーン予測、および、スケール予測の何れかが適用されたパーティションをタイプ０に分類し、方向予測０が適用されたパーティションをタイプ１に分類し、方向予測４が適用されたパーティションをタイプ２に分類し、方向予測１〜３の何れかが適用されたパーティションをタイプ３に分類し、方向予測５〜７の何れかが適用されたパーティションをタイプ４に分類し、ＴＭ予測が適用されたパーティションをタイプ５に分類する。
本例では、特定の予測モードでは活性度が小さくなるという傾向を利用している。すなわち、活性度が小さくなる傾向のある特定の予測モードと、それ以外の予測モードとを異なったタイプに分類している。上記の説明では、ＤＣ予測、プレーン予測、スケール予測の場合に活性度が小さくなる傾向を利用しているが、ＤＣ予測の場合には活性度が大きい場合もあることから、プレーン予測、および、スケール予測の場合とＤＣ予測の場合とで異なるタイプを割り当てても良い。ＤＣ予測を異なるタイプに割り当てる場合、フィルタセット番号が１の場合にはタイプ１、フィルタセット番号が２の場合には、タイプ５に割り当てると良い。
なお、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図６に示す第１の変形例を用いてもよいし、図９に示す第４の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理、（分類処理例３）、および（分類処理例５）の少なくとも何れかのみを行う場合には、図６に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（分類処理例５）
以下では、領域分類部４２４による分類処理の第５の例について図１５（ａ）〜（ｅ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、各パーティションのサイズ、および、各パーティションに割り付けられた予測モードに基づいて、対象マクロブロックに含まれる各パーティションを分類する。図１５は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表であり、（ｅ）は、フィルタセット番号が４である場合の分類を示す表である。
（５−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１５（ａ）に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ０に分類する。
（５−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１５（ｂ）に示すように、１６×１６画素のパーティション、および、８×８画素のパーティションをタイプ０に分類し、４×４画素のパーティション、８×１画素のパーティション、および、１×８画素のパーティションをタイプ１に分類する。
（５−３：フィルタセット番号＝２の場合）
フィルタセット番号が２である場合、領域分類部４２４は、図１５（ｃ）に示すように、サイズが１６×１６画素および８×８画素の何れかであって、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ０に分類し、サイズが１６×１６画素および８×８画素の何れかであって、ＤＣ予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ１に分類し、サイズが４×４画素、８×１画素、および１×８画素の何れかであって、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ２に分類し、サイズが４×４画素、８×１画素、および１×８画素の何れかであって、ＤＣ予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ３に分類する。
（５−４：フィルタセット番号＝３の場合）
フィルタセット番号が３である場合、領域分類部４２４は、図１５（ｄ）に示すように、サイズが１６×１６画素、８×８画素、および、４×４画素の何れかであるパーティションを以下のように分類する。すなわち、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ０に分類し、方向予測０が適用されたパーティションをタイプ１に分類し、方向予測４が適用されたパーティションをタイプ２に分類し、方向予測１〜３および５〜７の何れかが適用されたパーティションをタイプ３に分類し、ＴＭ予測が適用されたパーティションをタイプ４に分類する。
また、領域分類部４２４は、図１５（ｄ）に示すように、サイズが８×１画素であるパーティションをタイプ１（すなわち、サイズが１６×１６画素、８×８画素、および、４×４画素の何れかであって、方向予測０が適用されたパーティションと同じタイプ）に分類し、サイズが１×８画素であるパーティションをタイプ２（すなわち、サイズが１６×１６画素、８×８画素、および、４×４画素の何れかであって、方向予測４が適用されたパーティションと同じタイプ）に分類する。
（５−５：フィルタセット番号＝４の場合）
フィルタセット番号が４である場合、領域分類部４２４は、図１５（ｅ）に示すように、サイズが１６×１６画素、および８×８画素の何れかであるパーティションを以下のように分類する。すなわち、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ０に分類し、方向予測０が適用されたパーティションをタイプ１に分類し、方向予測４が適用されたパーティションをタイプ２に分類し、方向予測１〜３の何れかが適用されたパーティションをタイプ１に分類し、方向予測５〜７の何れかが適用されたパーティションをタイプ２に分類し、ＴＭ予測が適応されたパーティションをタイプ３に分類する。
また、領域分類部４２４は、図１５（ｅ）に示すように、サイズが４×４画素であるパーティションを以下のように分類する。すなわち、すなわち、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ４に分類し、方向予測０が適用されたパーティションをタイプ５に分類し、方向予測４が適用されたパーティションをタイプ６に分類し、方向予測１〜３の何れかが適用されたパーティションをタイプ７に分類し、方向予測５〜７の何れかが適用されたパーティションをタイプ８に分類し、ＴＭ予測が適応されたパーティションをタイプ９に分類する。
また、領域分類部４２４は、図１５（ｅ）に示すように、サイズが８×１画素であるパーティションをタイプ５（すなわち、サイズが４×４画素であって、方向予測０が適用されたパーティションと同じタイプ）に分類し、サイズが１×８画素であるパーティションをタイプ６（すなわち、サイズが４×４画素であって、方向予測４が適用されたパーティションと同じタイプ）に分類する。
このように、本例は、（１）パーティションのサイズと活性度との関係、および、（２）パーティションの形状及び予測モードと方向性との関係、の両方を利用するものである。
なお、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図６に示す第１の変形例を用いてもよいし、図９に示す第４の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理、（分類処理例３）、および（分類処理例４）の少なくとも何れかのみを行う場合には、図６に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（分類処理例６）
以下では、領域分類部４２４による分類処理の第６の例について図１６（ａ）〜（ｅ）を参照して説明する。
本例においては、領域分類部４２４は、フィルタセット番号、および、各パーティションに割り付けられた予測モード、および、各パーティションの活性度に基づいて、対象マクロブロックに含まれる各パーティションを分類する。図１６は、本例における領域分類部４２４による分類処理を説明するためのものであって、（ａ）は、フィルタセット番号が０である場合の分類を示す表であり、（ｂ）は、フィルタセット番号が１である場合の分類を示す表であり、（ｃ）は、フィルタセット番号が２である場合の分類を示す表であり、（ｄ）は、フィルタセット番号が３である場合の分類を示す表であり、（ｅ）は、フィルタセット番号が４である場合の分類を示す表である。
（６−１：フィルタセット番号＝０の場合）
フィルタセット番号が０である場合、領域分類部４２４は、図１６（ａ）に示すように、対象マクロブロックに含まれる全てのパーティションをタイプ０に分類する。
（６−２：フィルタセット番号＝１の場合）
フィルタセット番号が１である場合、領域分類部４２４は、図１６（ｂ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下であるパーティションをタイプ０に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きいパーティションをタイプ１に分類する。
（６−３：フィルタセット番号＝２の場合）
フィルタセット番号が２である場合、領域分類部４２４は、図１６（ｃ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下であるパーティションをタイプ０に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きいパーティションであって、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ１に分類し、活性度ＡＣＴが当該閾値ＴＨよりも大きいパーティションであって、ＤＣ予測、プレーン予測、およびスケール予測以外の予測モードが適用されたパーティションをタイプ２に分類する。
（６−４：フィルタセット番号＝３の場合）
フィルタセット番号が３である場合、領域分類部４２４は、図１６（ｄ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下であるパーティションをタイプ０に分類する。また、領域分類部４２４は、活性度ＡＣＴが当該閾値ＴＨよりも大きいパーティションを以下のように分類する。すなわち、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ１に分類し、方向予測０が適用されたパーティションをタイプ２に分類し、方向予測４が適用されたパーティションをタイプ３に分類し、それ以外の予測モードが適用されたパーティションをタイプ４に分類する。
（６−５：フィルタセット番号＝４の場合）
フィルタセット番号が３である場合、領域分類部４２４は、図１６（ｅ）に示すように、活性度ＡＣＴが予め定められた閾値ＴＨ以下であるパーティションをタイプ０に分類する。また、領域分類部４２４は、活性度ＡＣＴが当該閾値ＴＨよりも大きいパーティションを以下のように分類する。すなわち、ＤＣ予測、プレーン予測、およびスケール予測の何れかが適用されたパーティションをタイプ１に分類し、方向予測０が適用されたパーティションをタイプ２に分類し、方向予測４が適用されたパーティションをタイプ３に分類し、方向予測１〜３の何れかが適用されたパーティションをタイプ４に分類し、方向予測５〜７の何れかが適用されたパーティションをタイプ５に分類し、ＴＭ予測が適用されたパーティションをタイプ６に分類する。
このように、本例は、（１）パーティションのサイズと活性度との関係、および、（２）パーティションの形状もしくは予測モードと方向性の関係の両方を利用するものである。
なお、本例の処理を行うための適応フィルタ４２としては、図５に示す基本構成を有するものを用いてもよいし、図９に示す第４の変形例を用いてもよい。（分類処理例１）〜（分類処理例６）のうち、本例の処理のみを行う場合には、図９に示す変形例を用いることによって、適応フィルタ４２の構成を簡単なものにすることができる。
（フィルタ処理部４２５）
フィルタ処理部４２５は、デブロック済復号画像Ｐ＿ＤＢにおける対象マクロブロックに含まれる各分割領域、または、各パーティションに対して、領域分類部４２４より供給されるフィルタ係数群を用いてフィルタ処理を行うことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。ここで、タイプＩ（Ｉ＝１、２、…）に分類された分割領域またはパーティションに対しては、フィルタ係数群Ｉを用いたフィルタ処理が行われる。
より具体的には、フィルタ済復号画像Ｐ＿ＦＬ（以下、「フィルタ後画像」とも呼称する）における対象マクロブロック内の画素値であって、タイプＩ（Ｉ＝１、２、…）に分類された分割領域またはパーティションにおけるフィルタ対象画素の画素値をＳF（ｘ’、ｙ’）と表し、デブロック済復号画像Ｐ＿ＤＢ（以下、「フィルタ前画像」とも呼称する）における対象マクロブロック内または対象マクロブロック周辺の画素値をＳ（ｘ、ｙ）と表すことにすると、フィルタ処理部４２５は、画素値ＳF（ｘ’、ｙ’）を、以下の数式（６）によって算出する。
ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、aI（ｉ、ｊ）は、フィルタ前画像の画素値Ｓ（ｘ＋ｉ、ｙ＋ｊ）に乗ぜられるフィルタ係数を表しており、符号化データ＃１に含まれるフィルタ係数群に含まれるフィルタ係数に対応している。また、oIは、フィルタ係数群Ｉに含まれるオフセットを表している。
また、Ｒは、フィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒ」とも呼称する）を示している。図１７（ａ）に、本実施形態におけるフィルタ参照領域Ｒの例を示す。図１７（ａ）において、斜線が付された画素は、フィルタ対象画素を示している。また、図１７（ａ）において、ａ０〜ａ１２は、符号化データ＃１から復号されたフィルタ係数であって、フィルタ参照領域Ｒに含まれる各画素に割り付けられたフィルタ係数を表している。図１７（ａ）に示すように、フィルタ参照領域Ｒは、例えば、フィルタ対象画素からの市街地距離が３以下である画素から構成することができる。
また、図１７（ａ）に示すように、各フィルタ係数は、１８０度の回転対称性を有するように、フィルタ参照領域Ｒに含まれる各画素に対して割り付けられる構成とすることができる。すなわち、数式（６）におけるaI（ｉ、ｊ）は、符号化データ＃１から復号されたフィルタ係数ａ０〜ａ１２を用いて、aI（０、−３）＝aI（０、３）＝ａ０、aI（１、−２）＝aI（−１、２）＝ａ１、…、のように、aI（ｉ、ｊ）＝aI（−ｉ、−ｊ）を満たすように設定される構成とすることができる。
ただし、本実施形態はこれに限定されるものではなく、各フィルタ係数の各画素値への割り付けは、回転対称性を有していなくてもよい。また、フィルタ参照領域Ｒは、より一般に、画素を単位として、座標（ｘ、ｙ）からの市街地距離がＮcb以下である画素によって構成される領域であってもよいし、座標（ｘ、ｙ）を中心とするＮx×Ｎyタップの矩形状の領域としてもよいし、その他の画素を含むように構成される領域であってもよい。
フィルタ参照領域Ｒに含まれる各画素へのフィルタ係数の割り付け方、および、フィルタ参照領域Ｒの形状については、符号化データ＃１を生成する動画像符号化装置の構成に応じて適宜設定すればよい。
また、フィルタ処理部４２５は、可変長符号復号部１３から供給されるオンオフ情報によって、フィルタ処理がオフであると指定されている分割領域、および、パーティションについては、フィルタ処理を行わない構成とすることができる。
以上のように、適応フィルタ４２は、出力画像（フィルタ済復号画像Ｐ＿ＦＬ）における各画素の画素値を、入力画像（デブロック画像Ｐ＿ＤＢ）における該画素の位置に応じて定まる参照領域Ｒ内の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、上記入力画像を構成する複数の単位領域（分割領域またはパーティション）の各々における上記入力画像の方向性を識別する方向性識別手段（エッジ方向検出部４２２、領域分類部４２４）と、上記方向性識別手段によって識別された各単位領域における上記入力画像の方向性が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループ（タイプ）の何れかに分類する分類手段（領域分類部４２４）と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段（フィルタ処理部４２５）と、を備えている。
以上のような構成を有する適応フィルタ４２によれば、上記フィルタ手段が、出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、当該方向性に応じて適切なフィルタ処理を行うことができる。
したがって、適応フィルタ４２によれば、上記入力画像が、活性度によってフィルタ係数を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
なお、各単位領域における入力画像（デブロック画像Ｐ＿ＤＢ）の方向性は、当該入力画像のエッジを、エッジ方向検出部４２２にて検出することによって識別してもよいし、イントラ予測画像を生成する際に参照されるイントラ予測モード（予測モード）の示す方向によって領域分類部４２４にて間接的に識別する構成としてもよい。
また、適応フィルタ４２は、画面内予測を用いて単位領域（分割領域またはパーティション）毎に生成された入力画像（デブロック画像Ｐ＿ＤＢ）から出力画像（フィルタ済復号画像Ｐ＿ＦＬ）を生成する画像フィルタ装置であって、出力画像における各画素の画素値を、該画素の位置に応じて定まる参照領域内の入力画像の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループ（タイプ）の何れかに分類する分類手段（領域分類部４２４）と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段（フィルタ処理部４２５）と、を備えているものである、と表現することもできる。
このように、適応フィルタ４２は、パーティションの形状および大きさに応じて、例えば、（分類処理例３）に示したように各パーティションを複数のグループの何れかに分類し、グループ毎に最適なフィルタ係数を用いてフィルタ処理を行うことができる。
したがって、適応フィルタ４２によれば、上記入力画像が、活性度によってフィルタ係数を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
＜変形例１＞
以上の説明では、符号化データ＃１のスライスヘッダＳＨに、フィルタセット番号が含まれている場合を例に挙げたが、本実施形態はこれに限定されるものではない。例えば、符号化データ＃１のスライスヘッダＳＨは、フィルタセット番号に代えて、エッジ角度Ｔｈｅｔａ、予測モード、各パーティションのサイズ、および活性度ＡＣＴと、１または複数のフィルタ係数群（より具体的には、フィルタ係数群を指定するフィルタ番号）との対応関係を示すテーブル（以下、「フィルタ割り当てテーブル」とも呼称する）を含む構成としてもよい。
図１８は、フィルタ割り当てテーブルを含むスライスヘッダＳＨ’の構成を示す図である。スライスヘッダＳＨ’は、既に説明したスライスヘッダＳＨと同様に、フィルタオンオフ情報、フィルタ係数群０〜Ｎf−１を含んでいる。また、スライスヘッダＳＨ’は、スライスヘッダＳＨに含まれるフィルタセット番号に代えて、上述したフィルタ割り当てテーブルを含んでいる。
図１９（ａ）〜（ｂ）に、フィルタ割り当てテーブルの例を示す。図１９（ａ）に示すように、フィルタ割り当てテーブルは、例えば、エッジ角度Ｔｈｅｔａと、フィルタ番号との対応関係を示すテーブルであってもよいし、図１９（ｂ）に示すように、予測モード、および、パーティションのサイズと、フィルタ番号との対応関係であってもよい。また、フィルタ割り当てテーブルとしては、図１９（ａ）〜（ｂ）に示したものに限られるものではなく、エッジ方向、パーティションのサイズ、予測モード、および活性度の何れかと、フィルタ番号とを対応付けるものであればよい。
適応フィルタ４２の備える領域分類部４２４は、スライスヘッダＳＨ’に含まれるフィルタ割り当てテーブルを参照し、対象マクロブロックに含まれる各分割領域または各パーティションに対して、符号化データ＃１から復号されるフィルタ係数群であって、当該フィルタ割り当てテーブルによって指定されるフィルタ係数群を割り付ける構成とすることができる。
例えば、領域分類部４２４は、スライスヘッダＳＨ’に含まれるフィルタ割り当てテーブルが図１９（ａ）に示すものである場合、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜２２．５°、または、１５７．５°≦Ｔｈｅｔａ＜１８０°）である分割領域に対して、フィルタ係数群０を割り付け、エッジ角度Ｔｈｅｔａが（２２．５°≦Ｔｈｅｔａ＜６７．５°）である分割領域に対して、フィルタ係数群２を割り付け、エッジ角度Ｔｈｅｔａが（６７．５°≦Ｔｈｅｔａ＜１１２．５°）である分割領域に対して、フィルタ係数群１を割り付け、エッジ角度Ｔｈｅｔａが（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）である分割領域に対して、フィルタ係数群２を割り付ける。スライスヘッダＳＨ’に含まれるフィルタ割り当てテーブルが図１９（ｂ）に示すものである場合についても、同様である。
このように、フィルタ割り当てテーブルを参照することによって、フィルタセットを用いる場合に比べて、複数のフィルタ係数群の各々を異なったタイプ（単位領域グループ）に関連付ける自由度が増大するため、フィルタ係数群の選択の自由度が増大する。
なお、フィルタ割り当てテーブルは、符号化データ＃１に含まれる複数のフィルタ係数群の各々を、何れのエッジ角度に関連付けるのかを示す情報（方向性情報）として捉えることもできる。
＜変形例２＞
また、以上の説明では、数式（６）のフィルタ参照領域Ｒとして、図１７（ａ）に示すものを例に挙げたが、本実施形態はこれに限られるものではない。本実施形態におけるフィルタ参照領域Ｒとしては、例えば、図１７（ｂ）〜（ｄ）に示すものを用いてもよい。図１７（ａ）〜（ｄ）において、斜線が付された画素は、フィルタ対象画素を示している。以下では、図１７（ａ）に示すフィルタ参照領域Ｒを「基本参照領域」と呼称し、図１７（ｂ）に示すフィルタ参照領域Ｒを「垂直方向型の参照領域」と呼称し、図１７（ｃ）に示すフィルタ参照領域Ｒを「水平方向型の参照領域」と呼称し、図１７（ｄ）に示すフィルタ参照領域Ｒを「斜め方向型の参照領域」と呼称する。
図１７（ａ）に示す基本参照領域は、デブロック済復号画像Ｐ＿ＤＢの対象マクロブロックにおいて、エッジが存在しない分割領域若しくはパーティション、または、エッジの強度が所定の値よりも小さい分割領域若しくはパーティションのフィルタ処理に好適に用いることができる。
一方で、図１７（ｂ）に示すように、垂直方向型の参照領域は、垂直方向の長さが水平方向の長さに比べて長いという特徴がある。このため、デブロック済復号画像Ｐ＿ＤＢの対象マクロブロックにおいて、縦方向のエッジが存在する分割領域またはパーティションのフィルタ処理に好適に用いることができる。
また、図１７（ｃ）に示すように、水平方向型の参照領域は、水平方向の長さが垂直方向の長さに比べて長いという特徴がある。このため、デブロック済復号画像Ｐ＿ＤＢの対象マクロブロックにおいて、横方向のエッジが存在する分割領域またはパーティションのフィルタ処理に好適に用いることができる。
また、図１７（ｄ）に示すように、斜め方向型の参照領域は、矩形状であるため、デブロック済復号画像Ｐ＿ＤＢの対象マクロブロックにおいて、斜め方向のエッジが存在する分割領域またはパーティションのフィルタ処理に好適に用いることができる。
適応フィルタ４２の備えるフィルタ処理部４２５は、フィルタ参照領域Ｒとして、上述の基本参照領域、垂直方向型の参照領域、水平方向型の参照領域、および、斜め方向型の参照領域のうち、何れかの参照領域を選択的に用いる構成とすることができる。より具体的には、予測モード／サイズ蓄積部４２１およびエッジ方向検出部４２２が、それぞれ、各パーティションの予測モード、および、各分割領域のエッジ角度Ｔｈｅｔａを、フィルタ処理部４２５に供給する構成とし、フィルタ処理部４２５は、各分割領域のエッジ角度、または、各パーティションの予測モードに応じて、上記複数の参照領域の何れかを選択的に用いる構成とすることができる。
図２０（ａ）に、エッジ角度と、使用される参照領域との対応関係の例を示す。図２０（ａ）に示すように、フィルタ処理部４２５は、例えば、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜２２．５°、または１５７．５°≦Ｔｈｅｔａ＜１８０°）を満たす分割領域内にフィルタ対象画素が存在する場合に、水平方向型の参照領域を用い、エッジ角度Ｔｈｅｔａが（２２．５°≦Ｔｈｅｔａ＜６７．５°）を満たす分割領域内にフィルタ対象画素が存在する場合に、斜め方向型の参照領域を用い、エッジ角度Ｔｈｅｔａが（６７．５°≦Ｔｈｅｔａ＜１１２．５°）を満たす分割領域内にフィルタ対象画素が存在する場合に、垂直方向型の参照領域を用い、エッジ角度Ｔｈｅｔａが（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）を満たす分割領域内にフィルタ対象画素が存在する場合に、斜め方向型の参照領域を用いる構成とすることができる。
また、図２０（ｂ）に、予測モードと、使用される参照領域との対応関係の例を示す。図２０（ｂ）に示すように、フィルタ処理部４２５は、例えば、予測モードがＤＣ予測、プレーン予測、ＴＭ予測、およびスケール予測の何れかであるパーティション内にフィルタ対象画素が存在する場合に、基本参照領域を用い、予測モードが方向予測０であるパーティション内にフィルタ対象画素が存在する場合に、水平方向型の参照領域を用い、予測モードが方向予測４であるパーティション内にフィルタ対象画素が存在する場合に、垂直方向型の参照領域を用い、予測モードが方向予測１〜３、および、方向予測５〜７の何れかであるパーティション内にフィルタ対象画素が存在する場合に、斜め方向型の参照領域を用いる構成とすることができる。
本変形例の構成と同様の構成を有する動画像符号化装置は、エッジ角度、および、予測モードに応じて、複数のフィルタ参照領域の形状のうちから最適な形状を選択することによって、より適切なフィルタ処理を行うことができるので、予測精度が向上し、符号化効率を向上させることができる。また、フィルタ参照領域の形状をエッジ角度、および、予測モードに応じて、最適化することによって、フィルタ係数群の総数を可能な限り少なくしつつ効果的なフィルタ処理を行うことができる。
また、本変形例の構成を有する動画像復号装置１は、そのような符号化効率の高い符号化データを適切に復号することができる。
なお、本実施形態において、選択可能な参照領域の形状は、図２０（ａ）〜（ｄ）に示すものに限定されるものではなく、エッジ角度、および、予測モードに応じて、他にも様々な形状および大きさの参照領域を用いることができる。
＜変形例３＞
以上の説明では、符号化データ＃１のスライスヘッダにフィルタセット番号が含まれている場合、および、当該フィルタセット番号に代えて、フィルタ割り当てテーブルが含まれている場合を例に挙げたが、本実施形態は、これらに限定されるものではない。
例えば、符号化データ＃１のスライスヘッダは、フィルタセット番号、および、フィルタ割り当てテーブルの何れも含まない構成としてもよい。
符号化データ＃１がこのような構成である場合、領域分類部４２４は、フィルタセット番号を参照することなく、（１）各パーティションのサイズ、（２）予測モード、（３）エッジ角度Ｔｈｅｔａ、および、（４）活性度ＡＣＴに基づいて、対象マクロブロックに含まれる各分割領域、または、各パーティションを、１または複数のタイプに分類し、タイプＩ（Ｉ＝１、２、…）に分類された分割領域またはパーティションに対して、符号化データ＃１から復号されたフィルタ係数群Ｉを割り付ける構成とすればよい。
また、以上の説明では、エッジ検出部４２２は、各分割領域のエッジの角度Ｔｈｅｔａを、０°≦Ｔｈｅｔａ＜１８０°の範囲で検出するものとしたが、本実施形態はこれに限定されるものではない。例えば、エッジ検出部４２２は、各分割領域のエッジの角度Ｔｈｅｔａを、０°≦Ｔｈｅｔａ＜３６０°の範囲で検出する構成としてもよい。
図２１は、符号化データ＃１がフィルタセット番号、および、フィルタ割り当てテーブルの何れも含まない構成である場合であって、エッジ検出部４２２が、各分割領域のエッジの角度Ｔｈｅｔａを、０°≦Ｔｈｅｔａ＜３６０°の範囲で検出する構成である場合の、領域分類部４２４による分類処理の例を示す表である。図２１に示すように、領域分類部４２４は、エッジ角度Ｔｈｅｔａが（０°≦Ｔｈｅｔａ＜２２．５°、または、３３７．５°≦Ｔｈｅｔａ＜３６０°）を満たす分割領域を、タイプ０に分類し、エッジ角度Ｔｈｅｔａが（２２．５°≦Ｔｈｅｔａ＜６７．５°）を満たす分割領域を、タイプ１に分類し、エッジ角度Ｔｈｅｔａが（６７．５°≦Ｔｈｅｔａ＜１１２．５°）を満たす分割領域を、タイプ２に分類し、エッジ角度Ｔｈｅｔａが（１１２．５°≦Ｔｈｅｔａ＜１５７．５°）を満たす分割領域を、タイプ３に分類し、エッジ角度Ｔｈｅｔａが（１５７．５°≦Ｔｈｅｔａ＜２０２．５°）を満たす分割領域を、タイプ４に分類し、エッジ角度Ｔｈｅｔａが（２０２．５°≦Ｔｈｅｔａ＜２４７．５°）を満たす分割領域を、タイプ５に分類し、エッジ角度Ｔｈｅｔａが（２４７．５°≦Ｔｈｅｔａ＜２９２．５°）を満たす分割領域を、タイプ６に分類し、エッジ角度Ｔｈｅｔａが（２９２．５°≦Ｔｈｅｔａ＜３３７．５°）を満たす分割領域を、タイプ７に分類する。
また、領域分類部４２４は、タイプＩ（Ｉ＝１〜７）に分類された分割領域に、符号化データ＃１から復号されたフィルタ係数群Ｉを割り付ける。
本変形例においては、エッジ角度を０°≦Ｔｈｅｔａ＜３６０°の範囲で検出し、検出された角度に応じてフィルタ係数群を割り付けるので、より効果的なフィルタ処理を行うことができる。また、本変形例においては、符号化データ＃１は、フィルタセット番号、および、フィルタ割り当てテーブルの何れも含まない構成であるため、符号化データ＃１の符号量を削減することができる。
＜変形例４＞
また、以上の説明では、領域分類部４２４は、対象マクロブロックに含まれる各分割領域、または、各パーティション（予測単位）を複数のタイプの何れかに分類する構成としたが、本実施形態はこれに限定されるものではない。例えば、領域分類部４２４は、対象マクロブロックに含まれる各ブロック（変換単位）を複数のタイプの何れかに分類する構成としてもよい。この場合、領域分類部４２４は、上述した構成と略同様に、対象マクロブロックに含まれる各ブロックのサイズ、予測モード、エッジ角度、および、活性度ＡＣＴに応じて、各ブロックを複数のタイプの何れかに分類する構成とすることができる。
また、このような構成の場合、イントラ予測モード蓄積部４２１は、対象マクロブロックに含まれる各パーティションの予測モードを、対応するブロックに割り付け、各ブロックの予測モードおよび各ブロックのサイズを蓄積する構成とすればよい。また、エッジ方向検出部４２２は、対象マクロブロックに含まれる各ブロックについてエッジ検出を行う構成とすればよい。また、活性度算出部４２３は、対象マクロブロックに含まれる各ブロックについて活性度ＡＣＴを算出する構成とすればよい。また、フィルタ処理部４２５は、タイプＩ（Ｉ＝１、２、…）に分類されたブロックに対して、フィルタ係数群Ｉを用いたフィルタ処理を行う構成とすればよい。
適応フィルタ４２は、本例のような構成であっても、デブロック済復号画像Ｐ＿ＤＢに対して、適切なフィルタ処理を行うことができる。
（動画像符号化装置２）
本実施形態に係る動画像符号化装置２の構成について図２２〜図２４を参照して説明する。動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。
図２２は、動画像符号化装置２の構成を示すブロック図である。図２２に示すように、動画像符号化装置２は、変換・量子化部２１、可変長符号符号化部２２、逆量子化・逆変換部２３、バッファメモリ２４、イントラ予測画像生成部２５、インター予測画像生成部２６、動きベクトル検出部２７、予測方式制御部２８、動きベクトル冗長性削除部２９、加算器３１、減算器３２、デブロッキングフィルタ３３、および、適応フィルタ３４を備えている。動画像符号化装置２は、動画像＃１０（符号化対象画像）を符号化することによって、符号化データ＃１を生成する装置である。
変換・量子化部２１は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号符号化部２２及び逆量子化・逆変換部２３に供給する。なお、変換・量子化部２１は、（１）量子化の際に用いる量子化ステップＱＰをマクロブロック毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号符号化部２２に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するマクロブロックに関する量子化パラメータｑｐ（ＱＰ＝２ｐｑ／６）の値から、直前にＤＣＴ変換／量子化したマクロブロックに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。
可変長符号符号化部２２は、（１）変換・量子化部２１から供給された量子化予測残差ＱＤ並びにΔｑｐ、（２）後述する予測方式制御部２８から供給された量子化パラメータＰＰ、および、（３）後述する適応フィルタ３４から供給されたフィルタセット番号、フィルタ係数群、領域指定情報、並びにオンオフ情報を可変長符号化することによって、符号化データ＃１を生成する。
逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器３１に供給する。量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２１から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２１に入力される予測残差Ｄに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。
イントラ予測画像生成部２５は、各パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、（１）各パーティションついてイントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部２５は、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを、予測方式制御部２８に供給する。
また、イントラ予測画像生成部２５は、自身のメモリに格納されている図３（ａ）に示す対応表を参照し、各パーティションについて選択された予測モードと、各パーティションのサイズとから各パーティションについての予測インデックスＰＩを特定し、各パーティションについての当該予測インデックスＰＩを示す予測インデックス指定情報を予測方式制御部２８に供給する。
また、イントラ予測画像生成部２５は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ３４に供給する。
なお、イントラ予測画像生成部２５によるイントラ予測画像の生成は、（イントラ予測画像生成部１７によるイントラ予測画像の生成処理）において説明した処理と同様の処理によって行うことができる。
動きベクトル検出部２７は、各パーティションに関する動きベクトルｍｖを検出する。具体的には、（１）参照画像として利用するフィルタ済復号画像Ｐ＿ＦＬ’を選択し、（２）選択したフィルタ済復号画像Ｐ＿ＦＬ’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルｍｖを検出する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、既に復号が完了した復号済みの復号画像に対して、デブロッキングフィルタ３３によるデブロック処理、および、適応フィルタ３４による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部２７は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。動きベクトル検出部２７は、検出した動きベクトルｍｖを、参照画像として利用したフィルタ済復号画像Ｐ＿ＦＬ’を指定する参照画像インデックスＲＩと共に、インター予測画像生成部２６及び動きベクトル冗長性削除部２９に供給する。なお、双方向予測（重み付き予測）を行うパーティションについては、参照画像として２枚のフィルタ済復号画像Ｐ＿ＦＬ１’及びＰ＿ＦＬ２’を選択し、２枚のフィルタ済復号画像Ｐ＿ＦＬ１’及びＰ＿ＦＬ２’の各々に対応する動きベクトルｍｖ１及びｍｖ２、並びに、参照画像インデックスＲＩ１及びＲＩ２をインター予測画像生成部２６及び動きベクトル冗長性削除部２９に供給する。
インター予測画像生成部２６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル検出部２７から供給された動きベクトルｍｖを用いて、動きベクトル検出部２７から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。動きベクトル検出部２７と同様、インター予測画像生成部２６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。インター予測画像生成部２６は、生成した動き補償画像ｍｃ（インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ）を、動きベクトル検出部２７から供給された参照画像インデックスＲＩと共に、予測方式制御部２８に供給する。なお、双方向予測（重み付き予測）をパーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済参照画像Ｐ＿ＦＬ２’から動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。
予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａ及びインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器３１及び減算器３２に供給すると共に、イントラ予測画像生成部２５から供給された予測インデックスＰＩを予測パラメータＰＰとして可変長符号符号化部２２に供給する。一方、インター予測を選択した場合、予測方式制御部２８は、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器３１及び減算器３２に供給すると共に、インター予測画像生成部２６から供給された参照画像インデックスＲＩ、並びに、動きベクトル冗長性削除部２９（後述）から供給された推定動きベクトルインデックスＰＭＶＩ及び動きベクトル残差ＭＶＤを予測パラメータＰＰとして可変長符号符号化部に供給する。
予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、符号化対象画像から減算することによって、減算器３２にて予測残差Ｄが生成される。減算器３２にて生成された予測残差Ｄは、上述したとおり、変換・量子化部２１によってＤＣＴ変換／量子化される。一方、予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、逆量子化・逆変換部２３にて生成された予測残差Ｄに加算することによって、加算器３１にて局所復号画像Ｐが生成される。加算器３１にて生成された局所復号画像Ｐは、デブロッキングフィルタ３３および適応フィルタ３４を経由したのち、フィルタ済復号画像Ｐ＿ＦＬとしてバッファメモリ２４に格納され、インター予測における参照画像として利用される。
なお、動きベクトル冗長性削除部２９は、動きベクトル検出部２７によって検出された動きベクトルｍｖにおける冗長性を削除する。具体的には、（１）動きベクトルｍｖの推定に用いる推定方法を選択し、（２）選択した推定方法に従って推定動きベクトルｐｍｖを導出し、（３）動きベクトルｍｖから推定動きベクトルｐｍｖを減算することにより動きベクトル残差ＭＶＤを生成する。動きベクトル冗長性削除部２９は、生成した動きベクトル残差ＭＶＤを、選択した推定方法を示す推定動きベクトルインデックスＰＭＶＩと共に、予測方式制御部２８に供給する。
デブロッキングフィルタ３３は、復号画像Ｐにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、または当該マクロブロック境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該マクロブロック境界付近の画像の平滑化を行う。デブロッキングフィルタ３３によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応フィルタ３４に出力される。
適応フィルタ３４は、デブロッキングフィルタ３３から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、適応的なフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。適応フィルタ３４によりフィルタ処理が施されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ２４に格納される。適応フィルタ３４の具体的な構成については、後述するため、ここでは説明を省略する。
（適応フィルタ３４）
以下では、動画像符号化装置２の備える適応フィルタ３４について、図２３〜図２４を参照して説明を行う。
図２３は、適応フィルタ３４の構成を示すブロック図である。図２３に示すように、適応フィルタ３４は、領域分割部３４０、イントラ符号化モード蓄積部３４１、エッジ方向検出部３４２、活性度算出部３４３、領域分類部３４４、フィルタ処理部３４５、および、フィルタパラメータ導出部３４６を備えている。
適応フィルタ３４は、デブロッキングフィルタ３３から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、フィルタ後の画像と符号化対象画像との誤差が最小となるように決定されたフィルタ係数を用いてフィルタ処理を行うものである。フィルタ後の画像は、フィルタ済復号画像Ｐ＿ＦＬとしてバッファメモリ２４に格納される。なお、フィルタ済復号画像Ｐ＿ＦＬの生成は、マクロブロック単位で行ってもよいし、マクロブロックよりも小さい領域を単位として行ってもよいし、マクロブロックよりも大きい領域を単位として行ってもよい。以下では、適応フィルタ３４が、マクロブロック単位で、フィルタ済復号画像Ｐ＿ＦＬの生成を行う場合を例に挙げ説明を行う。
（領域分割部３４０）
領域分割部３４０は、対象マクロブロックを１または複数の分割領域に分割し、各分割領域のサイズおよび位置を指定する領域指定情報を、エッジ方向検出部３４２、活性度算出部３４３、および、可変長符号符号化部２２に対して供給する。ここで、各分割領域は、１つの画素から構成されるものであってもよいし、複数の画素から構成されるものであってもよい。なお、領域分割部３４０は、対象マクロブロックを、当該対象マクロブロック内の画像の特性（輝度、テクスチャ等）に応じて分割領域に分割する構成としてもよいし、符号化効率を最適化するように分割領域に分割する構成としてもよい。
（イントラ符号化モード蓄積部３４１）
イントラ符号化モード蓄積部３４１は、イントラ予測画像生成部２５より供給されるイントラ符号化モード情報ＩＥＭの示す、パーティションのサイズ、および、パーティションに割り付けられた予測モードを蓄積する。イントラ符号化モード蓄積部３４１は、対象マクロブロックに含まれるすべてのパーティションについてのサイズおよび予測モードを蓄積する構成とすることができる。
また、イントラ符号化モード蓄積部３４１に蓄積された各パーティションのサイズ、および予測モードを含む情報は、領域分類部３４４に供給される。
（エッジ方向検出部３４２）
エッジ方向検出部３４２は、領域分割部３４０から供給される領域指定情報を参照して、デブロック済復号画像Ｐ＿ＤＢにおける対象マクロブロックを１または複数の分割領域に分割し、各分割領域の画像についてエッジ検出を行う。また、各分割領域について、エッジの方向を示す角度（エッジ角度）Ｔｈｅｔａを、領域分類部３４４に供給する。エッジ方向検出部３４２によるエッジ角度Ｔｈｅｔａの算出は、エッジ方向検出部４２２と同様の方法によって行うことができる。なお、エッジ検出部３４２は、対象分割領域に含まれる全ての画素についてのエッジ強度が予め定められた閾値以下である場合には、当該対象分割領域については、エッジなしと判定し、判定結果を領域分類部３４４に供給する構成とすることができる。
（活性度算出部３４３）
活性度算出部３４３は、領域分割部３４０から供給される領域指定情報を参照して、デブロック済復号画像Ｐ＿ＤＢにおける対象マクロブロックを１または複数の分割領域に分割し、各分割領域の画像について、活性度（ａｃｔｉｖｉｔｙ）ＡＣＴを算出する。また、活性度算出部３４３は、対象マクロブロックにイントラ予測が適用されている場合には、対象マクロブロックに含まれるパーティション毎に活性度ＡＣＴを算出する。算出された活性度ＡＣＴは、領域分類部３４４に供給される。活性度算出部３４３による活性度ＡＣＴの算出は、活性度算出部４２３と同様の方法によって行うことができる。
（領域分類部３４４）
領域分類部３４４は、（１）イントラ符号化モード蓄積部３４１から供給される各パーティションのサイズ、（２）イントラ符号化モード蓄積部３４１から供給される各パーティションに割り付けられた予測モード、（３）エッジ方向検出部３４２から供給されるエッジ角度Ｔｈｅｔａ、および、（４）活性度算出部３４３から供給される活性度ＡＣＴに基づいて、対象マクロブロックに含まれる各分割領域、または、各パーティションを、１または複数のタイプの何れかに分類する。
領域分類部３４４による各分割領域または各パーティションの分類は、領域分類部４２４による（分類処理例１）〜（分類処理例６）と同様の方法によって行われる。ただし、領域分類部３４４は、フィルタセット番号を更新しながら、分類処理を複数回行い、フィルタセット番号毎に分類情報を生成する構成とする。すなわち、領域分類部３４４は、以下の処理を行う構成とする。
（ステップＳ３０１）
まず、フィルタセット番号ｋをｋ＝０に設定する。
（ステップＳ３０２）
続いて、フィルタセット番号ｋによって定まる分類処理を、領域分類部４２４と同様の方法によって行う。
（ステップＳ３０３）
ステップＳ３０３にて行った分類により、各分割領域または各パーティションが何れのタイプに分類されたのかを示す分類情報（ｋ）を生成する。
（ステップＳ３０４）
続いて、ｋに１を加算し、ｋ≦４である場合には、ステップＳ３０２およびステップＳ３０３の処理を行い、ｋ＝５となったら処理を終了する。
以上の処理によって、領域分類部３４４は、フィルタセット番号がｋ（ｋ＝０〜４）であるときの分類情報（ｋ）を生成する。生成された分類情報（ｋ）は、フィルタパラメータ導出部３４６、および、フィルタ処理部３４５に供給される。
なお、領域分類部３４４が、（分類処理例１）〜（分類処理例６）に示した方法を選択的に用いる場合には、何れの分類処理を行ったのかを示すフラグを符号化データ＃１に含める構成としてもよい。
（フィルタ処理部３４５）
フィルタ処理部３４５は、ｋ＝０〜４の各々について、分類情報（ｋ）に基づいてフィルタパラメータ導出部３４６が算出したフィルタ係数群（ｋ）を用いて、対象マクロブロックに含まれる各分割領域または各パーティションに対してフィルタ処理を行うことによって、フィルタ済復号画像Ｐ＿ＦＬ（ｋ）を生成する。生成されたフィルタ済復号画像Ｐ＿ＦＬ（ｋ）（ｋ＝０〜４）は、フィルタ処理部３４５の備えるメモリ、または、バッファメモリ２４に格納される。また、フィルタ処理部３４５は、フィルタパラメータ導出部３４６より供給される、符号化コストが最小となるフィルタセット番号に含まれるフィルタ係数群を用いて生成したフィルタ済復号画像をフィルタ済復号画像Ｐ＿ＦＬとして、バッファメモリ２４に供給する。
なお、フィルタ処理部３４５によるフィルタ済復号画像Ｐ＿ＦＬ（ｋ）の生成は、フィルタ処理部４２５によるフィルタ済復号画像Ｐ＿ＦＬの生成と同様の処理によって行うことができる。また、フィルタ処理部３４５は、フィルタパラメータ導出部３４６から供給されるオンオフ情報によって、フィルタ処理がオフであると指定されている分割領域、および、パーティションについては、フィルタ処理を行わない構成とすることができる。
（フィルタパラメータ導出部３４６）
続いて、フィルタパラメータ導出部３４６の構成について、図２４を参照して説明する。図２４は、フィルタパラメータ導出部３４６の構成を示すブロック図である。図２４に示すように、フィルタパラメータ導出部３４６は、フィルタ算出部４６１、コスト算出部４６２、および、最適フィルタセット選択部４６３を備えている。
（フィルタ算出部４６１）
フィルタ算出部４６１は、ｋ＝０〜４の各々について、分類情報（ｋ）に基づいて、デブロック済復号画像Ｐ＿ＤＢに含まれる各分割領域、または、各パーティションを１または複数のタイプに分類し、タイプ毎に最適なフィルタ係数を算出する。
より具体的には、フィルタ算出部４６１は以下の処理を行う。
（ステップＳ４０１）
まず、フィルタセット番号ｋを、ｋ＝０に設定する。
（ステップＳ４０２）
続いて、分類情報（ｋ）に基づいて、デブロック済復号画像Ｐ＿ＤＢに含まれる各分割領域、または、各パーティションを１または複数のタイプに分類する。
（ステップＳ４０３）
続いて、対象マクロブロックにおけるデブロック済復号画像Ｐ＿ＤＢのうちタイプＩに分類された分割領域またはパーティションよりなる画像を画像Ｉと表し、画像Ｉに含まれる画素のうち座標が（ｘ、ｙ）である画素の画素値をＳI（ｘ、ｙ）と表し、対象マクロブロックにおける符号化対象画像に含まれる画素のうち座標が（ｘ、ｙ）である画素の画素値をＳT（ｘ、ｙ）と表すことにすると、フィルタ算出部４６１は、例えば、以下の数式（７）によって与えられる二乗誤差Ｅを最小にするようなフィルタ係数ａI（ｉ、ｊ）およびオフセットｏIを導出する。
（ステップＳ４０４）
続いて、ステップＳ４０４にて導出されたフィルタ係数ａI（ｉ、ｊ）およびオフセットｏIをフィルタ係数群（ｋ）として、フィルタ処理部３４５および最適フィルタセット選択部４６３に供給する。
（ステップＳ４０５）
続いて、ｋに１を加算し、ｋ≦４である場合には、ステップＳ４０２〜ステップＳ４０４の処理を行い、ｋ＝５となったら処理を終了する。
以上の処理によって、フィルタ算出部４６１は、フィルタセット番号がｋ（ｋ＝０〜４）であるときの分類情報（ｋ）に基づいて算出されたフィルタ係数群（ｋ）をフィルタ処理部３４５および最適フィルタセット選択部４６３に供給する。
また、フィルタ算出部４６１は、分割領域毎またはパーティション毎にフィルタ処理のオンオフを指定するオンオフ情報をフィルタ処理部３４５に供給する。
（コスト算出部４６２）
コスト算出部４６２は、フィルタ処理部３４５より供給されるフィルタ済復号画像Ｐ＿ＦＬ（ｋ）（ｋ＝０〜４）の各々と、符号化対象画像とを比較することによって、フィルタセット番号ｋ（ｋ＝０〜４）毎の符号化コストを算出する。また、フィルタセット番号ｋ（ｋ＝０〜４）毎の符号化コストを示すコスト情報は、最適フィルタセット選択部４６３に供給される。なお、符号化コストの算出には、レート歪み関数（Rate-Distortion function）を用いることができる。
（最適フィルタセット選択部４６３）
最適フィルタセット選択部４６３は、コスト算出部４６２より供給されるコスト情報の示すフィルタセット番号ｋ（ｋ＝０〜４）毎の符号化コストを互いに比較し、最小の符号化コストに関連付けられたフィルタセット番号を、可変長符号符号化部２２およびフィルタ処理部３４５に供給する。また、最適フィルタセット選択部４６３は、上記最小の符号化コストに関連付けられたフィルタセットに含まれるフィルタ係数群、および、オンオフ情報を可変長符号符号化部２２に供給する。
＜変形例１’＞
以上の説明では、動画像符号化装置２が、符号化データ＃１にフィルタセット番号を含める場合を例に挙げたが、本実施形態における動画像符号化装置２の構成は、これに限定されるものではない。＜変形例１＞において説明したように、動画像符号化装置２は、フィルタセット番号に代えて、エッジ角度Ｔｈｅｔａ、予測モード、各パーティションのサイズ、および活性度ＡＣＴと、１または複数のフィルタ係数群（より具体的には、フィルタ係数群を指定するフィルタ番号）との対応関係を示すテーブル（フィルタ割り当てテーブル）を符号化データ＃１に含める構成としてもよい。この場合、適応フィルタ３４の備える領域分類部３４４が、エッジ角度Ｔｈｅｔａ、予測モード、各パーティションのサイズ、および活性度ＡＣＴをフィルタパラメータ導出部３４６に供給する構成とし、フィルタパラメータ導出部３４６が、エッジ角度Ｔｈｅｔａ、予測モード、各パーティションのサイズ、および活性度ＡＣＴと、１または複数のフィルタ係数群との対応関係を示すフィルタ割り当てテーブルを生成する構成とすればよい。
本変形例において、フィルタパラメータ導出部３４６により生成されるフィルタ割り当てテーブルの例としては、図１９（ａ）〜（ｂ）に示すものが挙げられる。
＜変形例２’＞
また、適応フィルタ３４の備えるフィルタ処理部３４５は、フィルタ参照領域Ｒとして、＜変形例２＞において説明したように、基本参照領域、垂直方向型の参照領域、水平方向型の参照領域、および、斜め方向型の参照領域のうち、何れかの参照領域を選択的に用いる構成とすることができる。より具体的には、イントラ符号化モード蓄積部３４１およびエッジ方向検出部３４２が、それぞれ、各パーティションの予測モード、および、各分割領域のエッジ角度Ｔｈｅｔａを、フィルタ処理部３４５に供給する構成とし、フィルタ処理部３４５は、各分割領域のエッジ角度Ｔｈｅｔａ、または、各パーティションの予測モードに応じて、上記複数の参照領域の何れかを選択的に用いる構成とすることができる。
本変形例において選択的に用いられるフィルタ参照領域と、予測モードおよびエッジ角度との対応関係の例としては、図２０（ａ）〜（ｂ）に示すものが挙げられる。
本変形例における動画像符号化装置２は、エッジ角度、および、予測モードに応じて、複数のフィルタ参照領域の何れかを選択的に用いることによって、より適切なフィルタ処理を行うことができるので、予測精度が向上し、符号化効率を向上させることができる。
＜変形例３’＞
また、動画像符号化装置２は、符号化データ＃１に、フィルタセット番号、および、フィルタ割り当てテーブルの何れも含めない構成としてもよい。
すなわち、領域分類部３４４は、予め定められたフィルタセット番号に基づいて分類情報を生成し、フィルタパラメータ導出部３４６は、当該予め定められたフィルタセット番号に基づいてフィルタ係数群を導出し、フィルタ処理部３４５は、当該フィルタ係数を用いてフィルタ処理を行う構成としてもよい。
また、エッジ検出部３４２は、各分割領域のエッジの角度Ｔｈｅｔａを、０°≦Ｔｈｅｔａ＜３６０°の範囲で検出する構成としてもよい。
本変形例における領域分類部３４４による分類処理の例を示すものとして、図２１が挙げられる。
本変形例においては、エッジ角度を０°≦Ｔｈｅｔａ＜３６０°の範囲で検出し、検出された角度に応じてフィルタ係数群を割り付けるので、より効果的なフィルタ処理を行うことができる。また、本変形例においては、符号化データ＃１は、フィルタセット番号、および、フィルタ割り当てテーブルの何れも含まない構成であるため、符号化データ＃１の符号量を削減することができる。
＜変形例４’＞
また、領域分類部３４４は、対象マクロブロックに含まれる各ブロック（変換単位）を複数のタイプの何れかに分類する構成としてもよい。この場合、領域分類部３４４は、上述した構成と略同様に、対象マクロブロックに含まれる各ブロックのサイズ、予測モード、エッジ角度、および、活性度ＡＣＴに応じて、各ブロックを複数のタイプの何れかに分類する構成とすることができる。
また、このような構成の場合、イントラ予測モード蓄積部３４１は、対象マクロブロックに含まれる各パーティションの予測モードを、対応するブロックに割り付け、各ブロックの予測モードおよび各ブロックのサイズを蓄積する構成とすればよい。また、エッジ方向検出部３４２は、対象マクロブロックに含まれる各ブロックについてエッジ検出を行う構成とすればよい。また、活性度算出部３４３は、対象マクロブロックに含まれる各ブロックについて活性度ＡＣＴを算出する構成とすればよい。また、フィルタ処理部３４５は、タイプＩ（Ｉ＝１、２、…）に分類されたブロックに対して、フィルタ係数群Ｉを用いたフィルタ処理を行う構成とすればよい。
適応フィルタ３４は、本例のような構成であっても、デブロック済復号画像Ｐ＿ＤＢに対して、適切なフィルタ処理を行うことができる。
〔実施形態２〕
以下では、本発明の第２の実施形態について図２５〜図３８を参照して説明する。
本実施形態に係る適応フィルタは、フィルタ前画像（例えば、デブロック済復号画像Ｐ＿ＤＢ）を構成する各単位領域について、互いに導出方法の異なる２つの特性値を導出し、導出された２つの特性値に応じて、各単位領域を１または複数のグループの何れかに分類する。また、本実施形態に係る適応フィルタは、単位領域毎に定められたフィルタ係数を用いて、フィルタ前画像に対して単位領域毎に作用する。
ここで単位領域とは、ＤＣＴ変換（より一般には周波数変換）の単位であるブロックであってもよいし、予測画像を生成する単位であるパーティションであってもよいし、ブロックまたはパーティションの何れでもなく、本実施形態に係る適応フィルタによってサイズおよび位置が設定された領域であってもよい。また、単位領域は、１画素から構成されるものであってもよい。
また、各グループは、２つの特性値によって張られる２次元領域上に設定される各部分領域と１対１の対応を有する。したがって、上記２次元領域をどのように各部分領域へ分割するのかを指定することにより、１または複数のグループをどのように設定するかが定まることになる。また、導出された２つの特性値のうち、優先度のより高い特性値、すなわち、より効果的な分類が期待できる特性値を第１の特性値Ｘと呼び、もう一方の特性値を第２の特性値Ｙと呼ぶ。なお、以下の説明において、上記２つの特性値によって張られる２次元領域を特性値領域とも呼称し、特性値領域上に設定される各部分領域を特性値部分領域とも呼称する。
第１の特性値Ｘおよび第２の特性値Ｙとして、例えば以下のような組み合わせが可能である。本実施形態においては第１の特性値Ｘが画像の活性度である場合を取り扱うが、これらの組み合わせは本願に係る発明を限定するものではなく、他の特性値および組み合わせに対しても、本実施形態を容易に適用することができる。
・第１の特性値Ｘ：画像の活性度、第２の特性値Ｙ：画像の方向性
・第１の特性値Ｘ：画像の活性度、第２の特性値Ｙ：平均画素値
・第１の特性値Ｘ：画像の活性度、第２の特性値Ｙ：単位領域の座標
・第１の特性値Ｘ：単位領域の座標、第２の特性値Ｙ：画像の活性度
・第１の特性値Ｘ：スライス番号、第２の特性値Ｙ：画像の活性度
・第１の特性値Ｘ：平均画素値、第２の特性値Ｙ：画像の活性度
・第１の特性値Ｘ：単位領域のｙ座標、第２の特性値Ｙ：単位領域のｘ座標
・第１の特性値Ｘ：単位領域のｘ座標、第２の特性値Ｙ：単位領域のｙ座標
なお、適応フィルタによる、フィルタ済みの画像と符号化対象画像との誤差を減らす効果（ノイズ低減の効果）の観点からは、活性度を優先する。すなわち、第１の特性値Ｘとして画像の活性度を用いることが適当である。一方、複雑性の観点からは、特性値の算出が容易な特性値を優先することも考えられる。具体的には、単位領域の座標や、スライス番号、平均画素値などを第１の特性値として用いることも可能である。この場合、低複雑性が要求されるようなアプリケーションの場合において、第１の分割のみで分割を終了させるような適用方法が可能であり、小さな複雑性で領域別フィルタの効果を得ることができる。
ここで、画像の活性度に代えて、画素値の分散を用いてもよい。また、各単位領域について導出される各特性値は、導出方法如何によって、単位領域のサイズに依存する場合がある。このような場合には、各特性値として、単位領域のサイズへの依存性を取り除くことによって得られる正規化された特性値を用いることができる。
本実施形態に係る適応フィルタは、特性値領域を第１段階の分割および第２段階の分割によって階層的に各部分領域へと分割する。ここで、第１段階の分割は、第１の特性値Ｘに関する分割であり、第２段階の分割は、第１の特性値Ｘおよび第２の特性値Ｙの少なくとも何れかに関する分割である。また、特性値領域の各部分領域への分割は、分割単位を単位として行われる。したがって、各部分領域は、１または複数の分割単位ＤＵから構成される。また、各分割単位の境界は、各特性値について設定される分割点（特性値分割点とも呼称する）を用いて定められる。なお、第１段階の分割を初期分割とも呼称し、第２段階の分割を再分割とも呼称する。
図２５は、特性値領域ＣＲと、特性値領域ＣＲ上に設定される分割単位ＤＵ［ｉ］［ｊ］（ｉは０≦ｉ≦ＮＸ−１を満たす整数、ｊは０≦ｉ≦ＮＹ−１を満たす整数、ＮＸは第１の特性値Ｘに沿った分割単位の総数、ＮＹは第２の特性値Ｙに沿った分割単位の総数）とを示す図である。
図２５に示す例において、実線は、特性値部分領域および分割単位の境界を示しており、破線は、分割単位の境界を示している。また、図２５に示す例において、分割単位ＤＵ［０］［０］およびＤＵ［０］［１］は、１つの特性値部分領域を構成しており、ＤＵ［１］［０］およびＤＵ［２］［０］は、他の１つの特性値部分領域を構成している。また、ＤＵ［１］［１］は、単独で特性値部分領域を構成している。
図２５に示すように、各分割単位ＤＵの境界は、第１の特性値Ｘについての特性値分割点ＰＸ１〜ＰＸ＿ＮＸ−１、および、第２の特性値Ｙについての特性値分割点ＰＹ１〜ＰＹ＿ＮＹ−１によって指定される。
なお、以下では、第１の特性値Ｘのことを、単に特性値Ｘとも呼び、第２の特性値Ｙのことを単に特性値Ｙとも呼ぶ。
また、各分割単位を指定するインデックス［ｉ］［ｊ］のことを特性インデックスとも呼ぶ。特に、特性値Ｘに関するインデックス（上記の例では［ｉ］）を特性Ｘインデックスとも呼び、特性値Ｙに関するインデックス（上記の例では［ｊ］）を特性Ｙインデックスとも呼ぶ。特性インデックスは、各分割単位を一意に指定する２次元のインデックスである。
（符号化データ＃３）
本実施形態に係る動画像符号化装置４及び動画像復号装置３の詳細な説明に先立って、動画像符号化装置４によって生成され、動画像復号装置３によって復号される符号化データ＃３のデータ構造について説明を行う。
符号化データ＃３のデータ構造は、実施形態１に係る符号化データ＃１のデータ構造と略同じであるが、フィルタパラメータＦＰの構成が異なる。図２６は、本実施形態に係る符号化データ＃３のフィルタパラメータＦＰ（図２６においてalf_param()と表記）に含まれる各シンタックスを示す図である。
（adaptive_loop_filter_flag）
adaptive_loop_filter_flagは、後述する適応フィルタ５０による適応的フィルタ処理のオンオフを指定するフラグであり、adaptive_loop_filter_flagが０の場合、適応的フィルタ処理がオフに指定され、adaptive_loop_filter_flagが１の場合、適応的フィルタ処理がオンに指定される。
（alf_enable_region_filter）
alf_enable_region_filterは、適応フィルタ５０による特性値部分領域毎のフィルタ処理のオンオフを指定するフラグであり、alf_enable_region_filterが０の場合、特性値部分領域毎のフィルタ処理がオフに指定され、alf_enable_region_filterが１の場合、特性値部分領域毎のフィルタ処理がオンに指定される。後述する各種のシンタックスalf_num_first_split_minus1、alf_first_split_val_shift、alf_second_split_type、alf_second_split_flag[i0]、alf_length_luma_minus5_div2[i0]、alf_region_pred_luma[i][j]、およびalf_coeff_luma[i][j]は、alf_enable_region_filterが１の場合にのみ符号化される。
alf_num_first_split_minus1、alf_first_split_val_shift、alf_second_split_type、および、alf_second_split_flag[i0]は、特性値領域ＣＲを各特性値部分領域ＣＰＲに分割する分割の仕方を指定する特性値分割情報を構成する。特性値分割情報は、特性値領域ＣＲの分割の仕方を指定する情報であり、第１段階の分割数及び形状（ここではalf_num_first_split_minus1）を指定する情報と、第１の分割で得られた特性値部分領域に対して第２段階の分割数及び形状を指定する情報（ここではalf_second_split_flag[i0]）と、分割に用いる特性値の境界を指定するための情報（alf_second_split_type）から構成される。また、分割数及び形状とは別に、分割の仕方を指定する情報（ここではalf_second_split_type）も指定可能であり、これも特性値分割情報の一種である。
本実施形態では、特性値分割情報は、特性値領域ＣＲの分割の仕方を階層的に指定する情報である。階層的に指定することによって、高い分割の自由度を有しながら、分割の自由度を増やした場合に生じる分割を指定するための符号量の増加を防ぐことができる。また、階層的な表現では、同種の特性を有する複数の領域を、１つのまとまりとして表現することが可能であり、まとめられた該複数の領域に対して同じフィルタ係数を割り当てることが可能であるため、単純に特性値毎、もしくは、特性値の組み合わせ毎にフィルタ係数を割り当てる場合に比べて、フィルタ係数の符号量を低減することができる。実施形態には図示していないが、階層的な表現は、第１段階の分割と第２段階の分割で同じ特性値（例えば活性度）を用いる場合にも用いることが可能である。この場合も、近い特性値を有する複数の領域を１つのまとまりとして表現し、まとめられた該複数の領域に対して同じフィルタ係数を割り当てることにより、小さな符号量でフィルタ係数を符号化することができる。また、複数の特性値を用いる場合においては、ノイズ低減効果が大きい特性値を用いて優先的に分割を行い、分割したとしても効果の小さい領域については分割せずに１つのまとまりとして取り扱うことによって、フィルタ係数の符号量を相対的に小さくすることができる。
（alf_num_first_split_minus1）
alf_num_first_split_minus1は、特性値領域の第１段階の分割の分割数AlfNumFirstSplitを指定するシンタックスであり、このシンタックスより、分割数AlfNumFirstSplitが、
AlfNumFirstSplit＝alf_num_first_split_minus1＋１
によって決定される。
図２７の（ａ）は、alf_enable_region_filter＝０の場合の特性値領域ＣＲ、すなわち分割されていない特性値領域ＣＲを示す図であり、図２７の（ｂ）は、alf_enable_region_filter＝１、かつAlfNumFirstSplit＝３の場合について、第１段階の分割が行われた特性値領域ＣＲを示す図である。図２７の（ｂ）に示すように、AlfNumFirstSplit＝３の場合、特性値領域ＣＲは、第１段階の分割によって、特性値Ｘに関して３つの特性値部分領域に分割される。図２７の（ｂ）では、これら３つの特性値部分領域の境界が、特性値分割点ＰＸ２およびＰＸ４によって指定される場合を例示している。このように第１段階の分割において用いられる特性値分割点のことを初期分割点とも呼ぶ。また、第２段階の分割において用いられる特性値分割点のことを再分割点とも呼ぶ。図２７の（ｃ）は、初期分割点ＰＸ２およびＰＸ４に加えて、第２段階の分割において用いられる再分割点ＰＸ１、ＰＸ３およびＰＸ５を示す図である。
なお、第１の分割によって得られた各特性値部分領域は、初期分割インデックス［ｉ０］（０≦ｉ０≦AlfNumFirstSplit−１）によって識別される。初期分割インデックス［ｉ０］と特性Ｘインデックス［ｉ］との対応は、後述するalf_second_split_typeの値に応じて以下のように与えられる。
・alf_second_split_type＝０の場合
ｉ＝２×ｉ０、または２×ｉ０＋１
・alf_second_split_type＝１の場合
ｉ＝ｉ０
第１の分割によって得られた特性値部分領域であって、初期分割インデックス［ｉ０］によって指定される特性値部分領域のことを特性値部分領域ＣＰＲ［ｉ０］とも表記する。
（alf_first_split_val_shift）
alf_first_split_val_shiftは、特性値分割点ＰＸｎ（１≦ｎ≦ＮＸ−１）を変更するために参照されるフラグである。特性値分割点ＰＸｎは、alf_first_split_val_shiftの値に応じて変更される。
（alf_second_split_type）
alf_second_split_typeは、第２段階の分割の種別を指定するためのフラグである。alf_second_split_typeが０であれば、各特性値部分領域は、特性値Ｘおよび特性値Ｙに基づいて１または複数の特性値部分領域に更に分割され、alf_second_split_typeが１であれば、各特性値部分領域は、特性値Ｙに基づいて１または複数の特性値部分領域に更に分割される。
図２７の（ｄ）は、特性値Ｘとして活性度を用いる場合に、alf_first_split_val_shiftおよびalf_second_split_typeの値に応じて設定される特性値分割点ＰＸ１〜ＰＸ５を例示する表である。図２７の（ｄ）に示す例においては、alf_second_split_type＝１の場合に、初期分割点ＰＸ２およびＰＸ４の各値が指定され、alf_second_split_type＝０の場合に、初期分割点を含む全ての特性値分割点ＰＸ１〜ＰＸ５の各値が指定される。図２７の（ｄ）に示す例においては、alf_first_split_val_shift＝１の場合のＰＸ１〜ＰＸ５の各値が、alf_first_split_val_shift＝０の場合の各値の１／２に設定されている。このように、特性値分割点ＰＸｎの各値は、alf_first_split_val_shiftの値に応じて変更される。
また、図２７の（ｄ）に示すように、特性値Ｘとして活性度を用いる場合、特性値Ｘの値が大きい程、初期分割点の間隔が大きく設定される。これは、処理対象フレーム（またはスライス）に含まれる単位領域の多くは、小さな活性度を有しているためである。図２７の（ｄ）に示すように、特性値Ｘの小さい範囲をより細かく分割することによって、各特性値部分領域に分類される単位領域の数を一定に近づけることができる。初期分割点に限らず、再分割においても、特性値の度数を考慮して、分割点の間隔を等間隔以外とすることが適当である。すなわち、特性値のヒストグラムを作成した場合において、多くの場合に度数が集中しやすい部分があれば、その度数が集中する部分ほど間隔を細かくし、度数が小さい部分では間隔を大きくすると良い。例えば、活性度に関しては、値が小さい部分に度数が集中しやすい傾向があり、方向性に関しては、水平方向と垂直方向に度数が集中しやすい傾向にある。
alf_first_split_val_shiftは、初期分割（第１段階の分割）における分割点を指定するための情報（第１分割点指定情報）を構成する。
（alf_second_split_flag）
alf_second_split_flag[i0]は、第１段階の分割によって得られた各特性値部分領域について、第２段階の分割の具体的な態様を指定するシンタックスである。上述のalf_second_split_type、およびalf_second_split_flag[i0]によって、第１段階の分割によって得られた各特性値部分領域についての、第２段階の分割が具体的に指定される。
図２８の（ａ）は、第１段階の分割によって得られた特性値部分領域が、alf_second_split_type＝０によって指定される第２段階の分割によって、特性値Ｙに関して２つの特性値部分領域に分割される場合を示しており、図２８の（ｂ）は、第１段階の分割によって得られた特性値部分領域が、alf_second_split_type＝１によって指定される第２段階の分割によって、特性値Ｙに関して４つの特性値部分領域に分割される場合を示している。このように、alf_second_split_flag[i0]は、第２段階の分割において分割数と分割形状を指定する。
図２８の（ｃ）は、特性値Ｙとして画像の方向性を用いた場合の特性値分割点ＰＹ１〜ＰＹ３と、特性値Ｙとして平均画素値を用いた場合の特性値分割点ＰＹ１〜ＰＹ３を示している。
alf_second_split_typeは、再分割（第２段階の分割）における分割点を指定するための情報（第２分割点指定情報）を構成する。
図２９は、第１段階の分割によって得られた特性値部分領域ＣＰＲ［ｉ０＝０］が、alf_second_split_flag[i0]、および、alf_second_split_typeの各値に応じて、第２段階の分割によってどのように分割されるのかを具体的に示す図である。［ｉ０＝０］以外の初期分割インデックスによって指定される特性値部分領域ＣＰＲ［ｉ０］の第２段階の分割も同様である。
図２９に示すように、alf_second_split_type＝０の場合、第１段階の分割によって得られた特性値部分領域ＣＰＲ［ｉ０＝０］は以下のように分割される。
・alf_second_split_flag[i0]＝０：分割なし
・alf_second_split_flag[i0]＝１：特性値Ｘに関して２分割（特性値分割点：ＰＸ１）
・alf_second_split_flag[i0]＝２：特性値Ｙに関して２分割（特性値分割点：ＰＹ２）
・alf_second_split_flag[i0]＝３：特性値Ｘおよび特性値Ｙのそれぞれに関して２分割の合計４分割（特性値分割点：ＰＸ１，ＰＹ２）
また、alf_second_split_type＝１の場合、第１段階の分割によって得られた特性値部分領域ＣＰＲ［ｉ０＝０］は以下のように分割される。
・alf_second_split_flag[i0]＝０：分割なし
・alf_second_split_flag[i0]＝１：特性値Ｙに関して２分割（特性値分割点：ＰＹ２）
・alf_second_split_flag[i0]＝２：特性値Ｙに関して２分割（特性値分割点：ＰＹ１）
・alf_second_split_flag[i0]＝３：特性値Ｙに関して４分割（特性値分割点：ＰＹ１，ＰＹ２，ＰＹ３）
また、第１段階の分割によって得られた特性値部分領域ＣＰＲ［ｉ０＝０］に対して第２段階の分割を行うことによって得られた各特性値部分領域は、初期分割インデックス［ｉ０］と再分割インデックス［ｊ０］とを組み合わせて得られる特性値領域内インデックス（ｉ０、ｊ０）によって指定される。ここで、再分割インデックス［ｊ０］は、特性値部分領域ＣＰＲ［ｉ０］に含まれる各特性値部分領域を指定するインデックスである。特性値領域内インデックス（ｉ０、ｊ０）によって指定される特性値部分領域を特性値部分領域ＣＰＲ（ｉ０、ｊ０）とも表記する。
図２９に示すように、alf_second_split_type＝０、および、alf_second_split_type＝１の何れの場合にも、第１段階の分割によって得られた特性値部分領域ＣＰＲ［ｉ０］には、以下の特性値部分領域ＣＰＲ（ｉ０、ｊ０）が含まれる。
・alf_second_split_flag[i0]＝０：ＣＰＲ（ｉ０、０）
・alf_second_split_flag[i0]＝１：ＣＰＲ（ｉ０、０）、およびＣＰＲ（ｉ０、１）
・alf_second_split_flag[i0]＝２：ＣＰＲ（ｉ０、０）、およびＣＰＲ（ｉ０、１）
・alf_second_split_flag[i0]＝３：ＣＰＲ（ｉ０、０）、ＣＰＲ（ｉ０、１）、ＣＰＲ（ｉ０、２）、およびＣＰＲ（ｉ０、３）
また、alf_second_split_type＝０の場合、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）に含まれている分割単位ＤＵ［ｉ］［ｊ］は以下の通りである。
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［２×ｉ０］［０］，ＤＵ［２×ｉ０］［１］，ＤＵ［２×ｉ０＋１］［０］，ＤＵ［２×ｉ０＋１］［１］
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［２×ｉ０］［０］，ＤＵ［２×ｉ０］［１］
ＣＰＲ（ｉ０、１）：ＤＵ［２×ｉ０＋１］［０］，ＤＵ［２×ｉ０＋１］［１］
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［２×ｉ０］［０］，ＤＵ［２×ｉ０＋１］［０］
ＣＰＲ（ｉ０、１）：ＤＵ［２×ｉ０］［１］，ＤＵ［２×ｉ０＋１］［１］
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［２×ｉ０］［０］
ＣＰＲ（ｉ０、１）：ＤＵ［２×ｉ０］［１］
ＣＰＲ（ｉ０、２）：ＤＵ［２×ｉ０＋１］［０］
ＣＰＲ（ｉ０、３）：ＤＵ［２×ｉ０＋１］［１］
また、alf_second_split_type＝１の場合、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）に含まれている分割単位ＤＵ［ｉ］［ｊ］は以下の通りである。
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［ｉ０］［０］，ＤＵ［ｉ０］［１］，ＤＵ［ｉ０］［２］，ＤＵ［ｉ０］［３］
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［ｉ０］［０］，ＤＵ［ｉ０］［１］
ＣＰＲ（ｉ０、１）：ＤＵ［ｉ０］［２］，ＤＵ［ｉ０］［３］
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［ｉ０］［０］
ＣＰＲ（ｉ０、１）：ＤＵ［ｉ０］［１］，ＤＵ［ｉ０］［２］，ＤＵ［ｉ０］［３］
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）：ＤＵ［ｉ０］［０］
ＣＰＲ（ｉ０、１）：ＤＵ［ｉ０］［１］
ＣＰＲ（ｉ０、２）：ＤＵ［ｉ０］［２］
ＣＰＲ（ｉ０、３）：ＤＵ［ｉ０］［３］
（alf_length_luma_minus5_div2）
alf_length_luma_minus5_div2[i0]は、第１段階の分割によって得られた各特性値部分領域についてのフィルタのタップ数を指定するためのシンタックス（タップ数指定情報）である。このシンタックスより、タップ数AlfLengthLumaが、
AlfLengthLuma＝alf_length_luma_minus5_div2×２＋５
によって決定される。
図３０は、alf_length_luma_minus5_div2[i0]の値が、１、２、および３である場合に、本実施形態に係る適応フィルタによってそれぞれ設定される参照領域Ｒ０、Ｒ１、Ｒ２を例示する図である。図３０においては、菱形の参照領域を例示しているが、本実施形態における参照領域は、これらの例に限定されるものではなく、alf_length_luma_minus5_div2[i0]によってタップ数が指定される矩形状の参照領域を用いてもよい。
また、図２６に示すように、フィルタパラメータＦＰにおいて、alf_length_luma_minus5_div2[i0]は、後述するフィルタ係数を指定するためのシンタックスalf_coeff_luma[i][j]よりも上位の階層にて伝送される。また、図示しないが、第２段階の分割で得られた各特性値部分領域についてのフィルタのタップ数を指定するためのシンタックスを符号化しても良い。この場合、第２段階の分割で得られた各特性値部分領域についてのフィルタのタップ数を指定するためのシンタックスalf_length_luma_minus5_div2[i][j]が、alf_coeff_luma[i][j]と同じ階層において符号化される。上記の構成により、領域毎に異なるタップ数のフィルタ係数を用いて適応フィルタ処理を行うことが可能になる。領域の活性度及び領域毎の効果の違いに応じて適したタップ数が異なるため、適応的にタップ数を選択できる上記の構成は符号化効率を向上させることができる。例えば、領域の活性度が小さい場合には活性度が大きい場合よりもタップ数を大きくとることが適当であり、適応フィルタの効果が大きい特性値部分領域には、効果が小さい特性値部分領域よりも大きいタップ数を用いることが適当である。
また、図示した構成では、１つの特性値部分領域に作用するフィルタのフィルタ係数ではなく、複数の特性値部分領域にそれぞれ作用するフィルタのフィルタ係数を１つのまとまりとしてタップ数を符号化する。これにより、多くのフィルタ係数を符号化する場合においてもタップ数の符号量を低減させることができる。
（alf_coeff_luma）
alf_coeff_luma[i][j]（ｉ＝ｉ０，２×ｉ０，２×ｉ０＋１、ｊ＝０，１，２，３）は、各特性値部分領域についてのフィルタ係数（オフセットを含む、以下同様）を指定するためのシンタックスである。
alf_second_split_type＝０の場合について、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）と、それらに割り付けられるalf_coeff_luma[i][j]との対応関係、すなわち、特性値領域内インデックス（ｉ０、ｊ０）とalf_coeff_luma[i][j]との対応関係は以下の通りである。なお、以下の表記において、「*」は積を表す演算記号である。
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0*2][0]
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0*2][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0*2][1]
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0*2][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0*2][1]
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0*2][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0*2][1]
ＣＰＲ（ｉ０、２）：alf_coeff_luma[i0*2+1][0]
ＣＰＲ（ｉ０、３）：alf_coeff_luma[i0*2+1][1]
また、alf_second_split_type＝１の場合について、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）と、それらに割り付けられるalf_coeff_luma[i][j]との対応関係、すなわち、特性値領域内インデックス（ｉ０、ｊ０）とalf_coeff_luma[i][j]との対応関係は以下の通りである。
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0][0]
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0][2]
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0][1]
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）：alf_coeff_luma[i0][0]
ＣＰＲ（ｉ０、１）：alf_coeff_luma[i0][1]
ＣＰＲ（ｉ０、２）：alf_coeff_luma[i0][2]
ＣＰＲ（ｉ０、３）：alf_coeff_luma[i0][3]
なお、alf_coeff_luma[i][j]のうち、最初に符号化／復号されるフィルタ係数alf_coeff_luma[0][0]は、特性値部分領域ＣＰＲ（０、０）についてのフィルタ係数そのものであり、alf_coeff_luma[i][j]（ｉ≠０、ｊ≠０）は、対象となる特性値部分領域についてのフィルタ係数の予測値（予測フィルタ係数とも呼ぶ）と、実際に用いられるフィルタ係数との残差（フィルタ係数残差とも呼ぶ）である。alf_coeff_luma[i][j]は、より正確には、フィルタ係数又はフィルタ係数残差の各成分を指定するためのインデックス［ｋ］（０≦ｋ≦Ｎcomp−１、Ｎcompは、フィルタ係数の成分の総数）を有しているが、ここではそのようなインデックスの表記を省略している。
また、例えば、alf_coeff_luma[i][j]に含まれるオフセット成分を、オフセット以外の成分よりも上位の階層にて伝送する構成としてもよい。具体的には、alf_coeff_luma[i][j]に含まれるオフセット成分を、alf_length_luma_minus5_div2[i0]と同じ階層にて伝送しておき、オフセット以外の成分を、alf_length_luma_minus5_div2[i0]よりも下位の階層にて伝送する構成としてもよい。
また、以下では、特性値部分領域ＣＰＲ（ｉ０、ｊ０）に割り付けられたalf_coeff_luma[i][j]を、alf_coeff_luma(i0,j0)とも表記する。
（alf_region_pred_luma）
alf_region_pred_luma[i][j]（ｉ＝ｉ０，２×ｉ０，２×ｉ０＋１、ｊ＝１，２，３）は、各特性値部分領域についてのフィルタ係数の予測値を導出する際の予測方向を指定するためのフラグである。alf_region_pred_luma[i][j]は、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）のうち、フィルタ係数の予測値を導出する際に参照可能な特性値部分領域が複数隣接している特性値部分領域ＣＰＲについて符号化される。例えば、特性値領域ＣＲに含まれる各特性値部分領域についてのフィルタ係数の復号がラスタスキャン順に行われる場合には、左辺および上辺の双方に特性値部分領域が隣接している特性値部分領域についてalf_region_pred_lumaが符号化される。例えば、alf_region_pred_luma＝０であれば、上辺に隣接する特性値部分領域が参照され、alf_region_pred_luma＝１であれば、左辺に隣接する特性値部分領域が参照される。
一方で、特性値領域ＣＲに含まれる各特性値部分領域についてのフィルタ係数の復号がラスタスキャンの逆順に行われる場合には、右辺および下辺の双方に特性値部分領域が隣接している特性値部分領域についてalf_region_pred_lumaが符号化される。
図３１は、特性値部分領域ＣＰＲ［ｉ０］に対して第２段階の分割を行うことによって得られた各特性値部分領域ＣＰＲ（ｉ０、ｊ０）について割り付けられる予測方向を示す図である。
各特性値部分領域についてのフィルタ係数の復号がラスタスキャン順に行われる場合であって、alf_second_split_type＝０の場合における、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）と、それらに割り付けられるalf_region_pred_luma[i][j]との対応関係は以下の通りである。
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、１）：alf_region_pred_luma[i0*2][1]
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、１）：alf_region_pred_luma[i0*2][1]
ＣＰＲ（ｉ０、３）：alf_region_pred_luma[i0*2+1][1]
図３１に示すように、これらの特性値部分領域については、alf_region_pred_lumaの値に応じて、予測方向として、上方向および左方向のうち何れかが割り付けられる。
alf_region_pred_lumaを用いることにより、予測方向として、（１）特性値Ｙの値が処理対象の特性値部分領域と同じ特性値部分領域、または、特性値Ｙの値が処理対象の特性値部分領域により近い特性値部分領域について既に復号されたフィルタ係数を予測値とする予測方向（上方向）と、（２）特性値Ｘの値が処理対象の特性値部分領域と同じ特性値部分領域、または、特性値Ｘの値が処理対象の特性値部分領域により近い特性値部分領域について既に復号されたフィルタ係数を予測値とする予測方向（横方向）との選択が可能になる。
ここで、特性値が近いか否かは、特性値の種類に応じて定まるものである。例えば、活性度などの単純なスカラー量によって表現される特性値については、値の差がより小さいものがより近いものとなる。一方で、方向性などのベクトル量（ここでは方向）に対してインデックスを割り当てることによって表現される特性値については、元のベクトルのなす角がより小さいものがより近いものとなる。
また、各特性値部分領域についてのフィルタ係数の復号がラスタスキャン順に行われる場合であって、alf_second_split_type＝１の場合における、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）と、それらに割り付けられるalf_region_pred_luma[i][j]との対応関係は以下の通りである。
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、１）：alf_region_pred_luma[i0][2]
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、１）：alf_region_pred_luma[i0][1]
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、１）：alf_region_pred_luma[i0][1]
ＣＰＲ（ｉ０、２）：alf_region_pred_luma[i0][2]
ＣＰＲ（ｉ０、３）：alf_region_pred_luma[i0][3]
図３１に示すように、これらの特性値部分領域については、alf_region_pred_lumaの値に応じて、予測方向として、上方向および左方向のうち何れかが割り付けられる。
一方で、図３１に示すように、以下に列挙する特性値部分領域については、上辺に隣接した特性値部分領域のみ参照可能であるため、予測方向として上方向のみが割り付けられる。
・alf_second_split_type＝０の場合：
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）
ＣＰＲ（ｉ０、１）
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）
ＣＰＲ（ｉ０、２）
・alf_second_split_type＝１の場合：
・alf_second_split_flag＝０の場合：
ＣＰＲ（ｉ０、０）
・alf_second_split_flag＝１の場合：
ＣＰＲ（ｉ０、０）
・alf_second_split_flag＝２の場合：
ＣＰＲ（ｉ０、０）
・alf_second_split_flag＝３の場合：
ＣＰＲ（ｉ０、０）
なお、以下では、特性値部分領域ＣＰＲ（ｉ０、ｊ０）に割り付けられたalf_region_pred_luma[i][j]を、alf_region_pred_luma(i0,j0)とも表記する。
また、フィルタパラメータＦＰは、alf_region_pred_luma[i][j]を含まない構成としてもよい。この場合には、各特性値部分領域についての予測方向は、図３２に示すように、固定的に上方向を用いればよい。
図２６の末尾に示すシンタックスalf_length_luma_minus5_div2、およびalf_coeff_luma[0][0]は、シンタックスalf_enable_region_filterが０である場合、すなわち、特性値部分領域毎のフィルタ処理がオフに指定される場合にフィルタパラメータＦＰに含められる。alf_length_luma_minus5_div2によってタップ数が指定され、alf_coeff_luma[0][0]によってフィルタ係数が指定される。
なお、図２６に示したDescriptor（記述子）u(1)は、これらの記述子に関連付けられたシンタックスが１ビットで固定長符号化されることを示しており、u(2)は、この記述子に関連付けられたシンタックスが２ビットで固定長符号化されることを示しており、ue(v)は、この記述子に関連付けられたシンタックスが可変長符号化されることを示している。
また、上記の例では、シンタックスalf_second_split_flag[i0]の値は、０〜３のうち何れかの値をとるものとしたが、これは本実施形態を限定するものではない。例えば、シンタックスalf_second_split_flag[i0]が、０〜７のうち何れかの値をとる構成としてもよい。このようなシンタックスalf_second_split_flag[i0]によって指定される再分割の例を図３３に示す。図３３に示す例では、alf_second_split_flag[i0]の各値に応じて、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］が、特性値Ｘについて最大で２分割され、特性値Ｙについて最大で３分割される。
（動画像復号装置３）
以下では、本実施形態に係る動画像復号装置３について図３４〜図３６を参照して説明する。なお、以下では、実施形態１において既に説明した部分と同じ部分には同じ符号を付し、その説明を省略する。
図３４は、動画像復号装置３の構成を示すブロック図である。図３４に示すように、動画像復号装置３は、動画像復号装置１の備える適応フィルタ４２に代えて、適応フィルタ５０を備えている。適応フィルタ５０には、符号化データ＃３に含まれるフィルタパラメータＦＰが供給される。なお、動画像復号装置３のその他の構成は、動画像復号装置１と同じであるため、説明を省略する。
（適応フィルタ５０）
適応フィルタ５０は、シンタックスadaptive_loop_filter_flagが１である場合に、デブロック済復号画像Ｐ＿ＤＢに対して適応的フィルタ処理を施すことによってフィルタ済復号画像Ｐ＿ＦＬを生成する。
適応フィルタ５０は、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの特性値に応じて、該対象単位領域を、上述した各特性値部分領域の何れかと関連付け、該単位領域が関連付けられた特性値部分領域について復号されたフィルタ係数を用いて、該単位領域に対するフィルタ処理を施す。
図３５は、適応フィルタ５０の構成を示すブロック図である。図３５に示すように、適応フィルタ５０は、適応フィルタ情報復号部５１および適応フィルタ部５２を備えている。なお、図３５には図示していないが、適応フィルタ５０は、シンタックスalf_enable_region_filterおよびシンタックスalf_num_first_split_minus1を復号する上位シンタックス復号部を備えている。
適応フィルタ５０は、シンタックスalf_enable_region_filterが１である場合に、特性値部分領域毎のフィルタ処理を行う。また、適応フィルタ５０は、alf_num_first_split_minus1の値を用いて、分割数AlfNumFirstSplitを、
AlfNumFirstSplit＝alf_num_first_split_minus1＋１
に設定する。
（適応フィルタ情報復号部５１）
適応フィルタ情報復号部５１は、符号化データ＃３に含まれているフィルタパラメータＦＰを復号することによって、特性値分割点ＰＸｎおよびＰＹｍ、並びに、フィルタ係数RegionFilterLuma[i0][j0]を導出するための構成である。導出された各特性値分割点およびフィルタ係数RegionFilterLuma[i0][j0]は、適応フィルタ部５２に供給される。なお、以下の説明では、適応フィルタ情報復号部５１によるフィルタ係数RegionFilterLuma[i0][j0]の導出は、特性値領域ＣＲを構成する各特性値部分領域についてラスタスキャン順に行われるものとするが、これは本実施形態を限定するものではなく、フィルタ係数RegionFilterLuma[i0][j0]の導出がラスタスキャンの逆順に行われる場合であっても適用することができる。その場合には、以下の説明における「左辺」を「右辺」と読み替え、「上辺」を「下辺」と読み替えればよい。
図３５に示すように、適応フィルタ情報復号部５１は、領域別タップ数復号部５１１、領域構造復号部５１２、フィルタ係数残差復号部５１３、２次元予測フラグ復号部５１４、フィルタ係数予測部５１５、フィルタ係数復号部５１６、領域別フィルタ係数格納部５１７、特性値分割点変更フラグ復号部５１８、および、特性値分割点設定部５１９を備えている。
領域別タップ数復号部５１１は、フィルタパラメータＦＰに含まれるシンタックスalf_length_luma_minus5_div2[i0]（０≦ｉ０＜AlfNumFirstSplit）を復号する。復号されたシンタックスalf_length_luma_minus5_div2[i0]は、特性値部分領域ＣＰＲ［ｉ０］に割り付けられると共に、フィルタ係数残差復号部５１３に供給される。また、シンタックスalf_length_luma_minus5_div2[i0]は、フィルタ係数予測部５１５、フィルタ係数復号部５１６、領域別フィルタ係数格納部５１７、フィルタ係数割り付け部５２４、および、フィルタ部５２５にも供給される（図３５において矢印不図示）。
領域構造復号部５１２は、フィルタパラメータＦＰに含まれるシンタックスalf_second_split_typeおよびalf_second_split_flag[i0]を復号する。復号されたシンタックスalf_second_split_typeは、特性値領域ＣＲ全体に割り付けられると共に、フィルタ係数残差復号部５１３、２次元予測フラグ復号部５１４、および、特性値分割点設定部５１９に供給される。また、復号されたシンタックスalf_second_split_flag[i0]は、特性値部分領域ＣＰＲ［ｉ０］に割り付けられると共に、フィルタ係数残差復号部５１３、２次元予測フラグ復号部５１４、および、特性値分割点設定部５１９に供給される。
フィルタ係数残差復号部５１３は、alf_length_luma_minus5_div2[i0]、alf_second_split_type、およびalf_second_split_flag[i0]を参照して、フィルタパラメータＦＰに含まれるシンタックスalf_coeff_luma[i][j]を復号すると共に、各シンタックスalf_coeff_luma[i][j]を、それぞれに対応する特性値部分領域ＣＰＲ（ｉ０、ｊ０）に割り付ける。alf_coeff_luma[i][j]と特性値部分領域ＣＰＲ（ｉ０、ｊ０）との対応関係については、符号化データ＃３の説明において既に述べたため、ここでは説明を省略する。また、復号されたシンタックスalf_coeff_luma[i][j]は、フィルタ係数復号部５１６に供給される。
２次元予測フラグ復号部５１４は、alf_second_split_type、およびalf_second_split_flag[i0]を参照して、フィルタパラメータＦＰに含まれるシンタックスalf_region_pred_luma[i][j]を復号すると共に、各シンタックスalf_region_pred_luma[i][j]を、それぞれに対応する特性値部分領域ＣＰＲ（ｉ０、ｊ０）に割り付ける。alf_region_pred_luma[i][j]と特性値部分領域ＣＰＲ（ｉ０、ｊ０）との対応関係については、符号化データ＃３の説明において既に述べたため、ここでは説明を省略する。また、復号されたシンタックスalf_region_pred_lumaは、フィルタ係数予測部５１５に供給される。
フィルタ係数予測部５１５は、シンタックスalf_region_pred_lumaを参照し、領域別フィルタ係数格納部５１７に格納された復号済みのフィルタ係数RegionFilterLuma[i0'][j0']から、予測フィルタ係数PredRegionFilterLuma[i0][j0]を特性値部分領域毎に導出する。導出された予測フィルタ係数PredRegionFilterLuma[i0][j0]は、フィルタ係数復号部５１６に供給される。
ここで、処理対象の特性値部分領域である対象特性値部分領域にシンタックスalf_region_pred_lumaが割り付けられている場合には、フィルタ係数予測部５１５は、対象特性値部分領域に対して当該シンタックスalf_region_pred_lumaが示す方向に隣接する特性値部分領域について復号済みのフィルタ係数RegionFilterLuma[i0'][j0']を、対象特性値部分領域についての予測フィルタ係数PredRegionFilterLuma[i0][j0]に設定する。一方で、対象特性値部分領域にシンタックスalf_region_pred_lumaが割り付けられていない場合には、フィルタ係数予測部５１５は、対象特性値部分領域の上辺に隣接する特性値部分領域について復号済みのフィルタ係数RegionFilterLuma[i0'][j0']を、対象特性値部分領域についての予測フィルタ係数PredRegionFilterLuma[i0][j0]に設定する。
フィルタ係数復号部５１６は、各特性値部分領域について、フィルタ係数残差alf_coeff_luma(i0,j0)と予測フィルタ係数PredRegionFilterLuma[i0][j0]とを加算することによって、フィルタ係数RegionFilterLuma[i0][j0]を生成し、各特性値部分領域に割り付ける。生成されたフィルタ係数RegionFilterLuma[i0][j0]は、領域別フィルタ係数格納部５１７に格納される。
特性値分割点変更フラグ復号部５１８は、フィルタパラメータＦＰに含まれるシンタックスalf_first_split_val_shiftを復号する。復号されたシンタックスalf_first_split_val_shiftは、特性値分割点設定部５１９に供給される。
特性値分割点設定部５１９は、alf_first_split_val_shiftおよびalf_second_split_typeに基づいて、特性値分割点ＰＸｎ（１≦ｎ≦ＮＸ−１）およびＰＹｍ（１≦ｍ≦ＮＸ−１）を導出する。導出された特性値分割点ＰＸｎおよびＰＹｍは、適応フィルタ部５２の備える特性インデックス算出部５２３に供給される。
シンタックスalf_first_split_val_shiftおよびalf_second_split_typeの各値に対する特性値分割点ＰＸｎおよびＰＹｍの具体例については、符号化データ＃３の説明において既に述べたため、ここでは説明を省略する。
なお、特性値分割点設定部５１９は、alf_first_split_val_shiftおよびalf_second_split_typeの何れをも参照することなく、自身の備えるメモリに予め格納された特性値分割情報に従って、特性値分割点ＰＸｎ（１≦ｎ≦ＮＸ−１）およびＰＹｍ（１≦ｍ≦ＮＸ−１）を導出する構成としてもよい。このような構成の場合、上記特性値分割情報は、動画像復号装置３および動画像符号化装置４において共通のものを用いることが好ましい。
（適応フィルタ部５２）
適応フィルタ部５２は、デブロック済復号画像Ｐ＿ＤＢを構成する各単位領域に対して、適応的フィルタ処理を行うことによってフィルタ済復号画像Ｐ＿ＦＬを生成するための構成である。ここで、各単位領域のフィルタ処理に用いられるフィルタ係数は、フィルタパラメータＦＰから復号されたフィルタ係数RegionFilterLuma[i0][j0]から、該単位領域におけるデブロック済復号画像Ｐ＿ＤＢの特性値Ｘに応じて、または、該単位領域におけるデブロック済復号画像Ｐ＿ＤＢの特性値Ｘおよび特性値Ｙに応じて選択される。また、生成されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ１５に格納される。
図３５に示すように、適応フィルタ部５２は、第１特性値算出部５２１、第２特性値算出部５２２、特性インデックス算出部５２３、フィルタ係数割り当て部５２４、および、フィルタ部５２５を備えている。
なお、適応フィルタ部５２に入力される画像は、デブロック済復号画像Ｐ＿ＤＢに限定されるものではなく、複数の入力画像を入力することもできる。例えば、適応フィルタ部５２には、デブロック済復号画像Ｐ＿ＤＢに加えて、復号画像Ｐおよび予測残差Ｄの少なくとも何れかを入力する構成としてもよい。このような構成の場合、後述する第１特性値算出部５２１および第２特性値算出部５２２は、デブロック済復号画像Ｐ＿ＤＢのみならず、復号画像Ｐおよび予測残差Ｄの少なくとも何れかについても各特性値を算出する構成とし、フィルタ部５２５は、それぞれの入力画像に対して、適応的フィルタ処理を行い、フィルタ後の画像を加算した後に出力する構成としてもよい。このような場合、フィルタパラメータＦＰには、各入力画像に対するフィルタ係数であって、各特性値部分領域に対応するフィルタ係数を含めておく構成とすればよい。
（第１特性値算出部５２１）
第１特性値算出部５２１は、処理対象の単位領域である対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢについての特性値Ｘを算出する。以下では、特性値Ｘとして活性度を算出する算出処理（特性値Ｘの算出処理例１）および特性値Ｘとして画素値の分散を算出する算出処理（特性値Ｘの算出処理例２）について説明を行う。ただし、特性値Ｘの具体例はこれらに限定されるものではない。
（特性値Ｘの算出処理例１）
本処理例では、第１特性値算出部５２１は、特性値Ｘとして、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの活性度ＡＣＴを算出する。ここで、活性度とは、概略的に言えば、画像の乱雑さを示す指標であり、対象単位領域を含む領域にＤＣＴ変換を施した場合に得られる変換係数において大きな高周波成分が存在するかなどに基づいても算出可能であるが、ここでは隣接する画素の画素値に基づいて算出するものとする。隣接する画素の画素値の差が大きいほど、活性度が大きくなる。算出された活性度ＡＣＴは、特性値Ｘとして特性インデックス算出部５２３に供給される。
対象単位領域がＢｘ画素×Ｂｙ画素の矩形状である場合、対象単位領域における各画素の座標を（ｕ、ｖ）（ｕ、ｖはそれぞれ０≦ｕ≦Ｂｘ−１、０≦ｖ≦Ｂｙ−１を満たす整数）と表し、その座標におけるデブロック済復号画像Ｐ＿ＤＢの画素値をＳ（ｕ、ｖ）と表すことにすると、第１特性値算出部５２１は、例えば、以下の数式（２−１ａ）を用いることによって、活性度ＡＣＴを算出することができる。
数式（２−１ａ）は、隣接する画素の画素値の絶対値の総和（Sum of Absolute Difference, SAD）を指標として、活性度を評価することに対応している。
また、第１特性値算出部５２１は、以下の数式（２−１ｂ）を用いることによって、活性度ＡＣＴを算出する構成としてもよい。
数式（２−１ｂ）は、隣接する画素の画素値の変形ラプラシアンの総和（Sum-Modified Laplacian, SML）を指標として、活性度を評価することに対応している。
対象単位領域についての活性度を数式（２−１ａ）または（２−１ｂ）を用いて算出する場合、第１特性値算出部５２１は、対象単位領域内の画素Ｓ（ｉ、ｊ）のみならず、対象単位領域に隣接する画素Ｓ（−１、ｖ）、Ｓ（Ｂｘ、ｖ）、Ｓ（ｕ、−１）、および、Ｓ（ｕ、Ｂｙ）をも参照する。すなわち、数式（２−１ａ）または（２−１ｂ）を用いる場合の特性値算出参照領域は、対象単位領域内の画素Ｓ（ｕ、ｖ）、および、対象単位領域に隣接する画素Ｓ（−１、ｖ）、Ｓ（Ｂｘ、ｖ）、Ｓ（ｕ、−１）、および、Ｓ（ｕ、Ｂｙ）から構成される。第１特性値算出部５２１が、４×４画素の対象単位領域ＵＲについての活性度ＡＣＴを、数式（２−１ａ）または（２−１ｂ）を用いて算出する場合の特性値算出参照領域ＣＲＲを図３６（ａ）に示す。
なお、対象単位領域がスライス境界またはマクロブロック境界に接している場合、特性値算出参照領域内の一部の画素について、デブロック済復号画像Ｐ＿ＤＢの画素値が参照不能である場合が生じ得る。例えば、対象単位領域が、未復号のマクロブロックに隣接している場合、この未復号のマクロブロックの画素値を参照することはできない。このような場合、例外処理として、第１特性値算出部５２１は、それらの参照不能な画素値を参照することなく活性度ＡＣＴの算出を行う。例えば、対象単位領域の右辺および下辺が未復号のマクロブロックに隣接している場合、第１特性値算出部５２１は、数式（２−１ａ）においてｕ、ｖの和の範囲を一部制限して得られる以下の数式（２−１ａ’）を用いて活性度ＡＣＴを算出すればよい。
数式（２−１ｂ）についても同様である。
一方で、第１特性値算出部５２１は、対象単位領域がスライス境界またはマクロブロック境界に接しているか否かに関わらず、対象単位領域についての活性度を対象単位領域内の画素値のみを参照することによって算出する構成とすることもできる。例えば、第１特性値算出部５２１は、以下の数式（２−１ｃ）を用いることによって、活性度ＡＣＴを算出することもできる。
数式（２−１ｃ）は、数式（２−１ａ）と同様に、隣接する画素の画素値のＳＡＤを指標として隣接する画素の画素値の活性度を評価することに対応しているが、数式（２−１ａ）と異なり、対象単位領域に含まれる画素のみを参照して活性度を算出することを表している。
また、第１特性値算出部５２１は、以下の数式（２−１ｄ）を用いることによって、活性度ＡＣＴを算出する構成としてもよい。
数式（２−１ｄ）は、数式（２−１ｂ）と同様に、隣接する画素の画素値のＳＭＬを指標として、活性度を評価することに対応しているが、数式（２−１ａ）と異なり、対象単位領域に含まれる画素のみを参照して活性度を算出することを表している。
このように、第１特性値算出部５２１が、対象単位領域についての活性度を対象単位領域内の画素値のみを参照することによって算出する場合、図３６（ｂ）に示すように、特性値算出参照領域ＣＲＲは、対象単位領域ＵＲと同一の領域となる。後述する分散ＶＰも、対象単位領域内の画素値のみを参照して算出可能な活性度の一例である。
したがって、第１特性値算出部５２１が、対象単位領域についての活性度を対象単位領域内の画素値のみを参照することによって算出する場合には、対象単位領域以外の画素値をも参照する場合に比べて、バッファメモリ１５から読み出す画素数が削減され、バッファメモリ１５から適応フィルタ５０へのデータ伝送量が削減される。また、活性度を算出するために参照される画素の数が少なく、例外処理も不要であるため、活性度を算出するための処理量が削減される。
なお、数式（２−１ｃ）を用いることによって活性度ＡＣＴを算出する第１特性値算出部５２１を以下のように表現することもできる。すなわち、第１特性値算出部５２１は、画素（ｕ、ｖ）についての活性度ＡＣＴ（ｕ、ｖ）を、座標（ｕ、ｖ）の近傍｛（ｕ、ｖ），（ｕ＋１、ｖ），（ｕ、ｖ＋１）｝における各画素の画素値を参照して算出し、対象単位領域の内部領域｛（ｕ、ｖ）｜０≦ｕ≦Ｂｘ−２，０≦ｖ≦Ｂｙ−２｝におけるＡＣＴ（ｕ、ｖ）の総和を用いて、対象単位領域についてのＡＣＴを算出する。
また、数式（２−１ｄ）を用いることによって活性度ＡＣＴを算出する第１特性値算出部５２１を以下のように表現することもできる。すなわち、第１特性値算出部５２１は、画素（ｕ、ｖ）についての活性度ＡＣＴ（ｕ、ｖ）を、座標（ｕ、ｖ）の近傍｛（ｕ、ｖ），（ｕ＋１、ｖ），（ｕ、ｖ＋１），（ｕ−１、ｖ），（ｕ、ｖ−１）｝における各画素の画素値を参照して算出し、対象単位領域の内部領域｛（ｕ、ｖ）｜１≦ｕ≦Ｂｘ−２，１≦ｖ≦Ｂｙ−２｝におけるＡＣＴ（ｕ、ｖ）の総和を用いて、対象単位領域についてのＡＣＴを算出する。
このように、対象単位領域に含まれる画素のみを参照して活性度を算出する第１特性値算出部５２１は、対象単位領域において、その近傍全体が該対象単位領域に含まれる画素からなる内部領域に属する各画素の活性度を、該画素の上記近傍に含まれる画素の画素値を参照して導出したうえで、内部領域に属する各画素の活性度から該対象単位領域についての活性度を算出するものであると表現することもできる。
なお、対象単位領域に含まれる画素のみを参照して活性度を算出する構成は、上記の例に限定されるものではなく、対象単位領域を、その近傍全体が該対象単位領域に含まれる画素からなる内部領域と、その近傍全体が該対象単位領域に含まれない画素からなる周辺領域とに分け、内部領域に属する各画素の活性度を該画素の近傍内の画素の画素値を参照して導出し、かつ、周辺領域に属する各画素の活性度を該画素の上記近傍内の画素であって該単位領域内の画素の画素値を参照して導出したうえで、該単位領域に属する各画素の活性度から該単位領域についての活性度を算出する構成としてもよい。
また、第１特性値算出部５２１は、実施形態１における活性度算出部４２３と同様の処理によって活性度ＡＣＴを算出する構成としてもよい。ただし、実施形態１における「分割領域」および「パーティション」は、本実施形態における「単位領域」に対応する。
（特性値Ｘの算出処理例２）
本処理例では、第１特性値算出部５２１は、特性値Ｘとして、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの画素値の分散ＶＰを算出する。算出された分散ＶＰは、特性値Ｘとして特性インデックス算出部５２３に供給される。
ここで、対象単位領域がＢｘ画素×Ｂｙ画素の矩形状である場合、対象単位領域における各画素の座標を（ｕ、ｖ）（ｕ、ｖはそれぞれ０≦ｕ≦Ｂｘ−１、０≦ｖ≦Ｂｙ−１を満たす整数）と表し、その座標におけるデブロック済復号画像Ｐ＿ＤＢの画素値をＳ（ｕ、ｖ）と表すことにすると、第１特性値算出部５２１は、例えば、以下の数式（２−２）を用いて分散ＶＰを算出する。
なお、第１特性値算出部５２１によって算出される分散ＶＰは、上述した活性度ＡＣＴと同様に、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの乱雑さを示す指標として機能する。
（第２特性値算出部５２２）
第２特性値算出部５２２は、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢについての特性値Ｙを算出する。以下では、特性値Ｙとして画像の方向性を算出する算出処理（特性値Ｙの算出処理例１）および（特性値Ｙの算出処理例２）、特性値Ｘとして平均画素値を算出する算出処理（特性値Ｙの算出処理例２）、並びに、特性値Ｘとして対象単位領域の座標値を算出する算出処理（特性値Ｙの算出処理例３）について説明を行う。ただし、特性値Ｙの具体例はこれらに限定されるものではない。
（特性値Ｙの算出処理例１）
本処理例では、第２特性値算出部５２２は、特性値Ｙとして、対象単位領域におけるデブロック済復号画像の方向性を算出する。算出された方向性を示すインデックス（方向インデックス）は、特性値Ｙとして特性インデックス算出部５２３に供給される。
第２特性値算出部５２２は、まず、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの垂直方向活性度ＡＣＴ＿Ｖ、および、水平方向活性度ＡＣＴ＿Ｈを算出する。ここで、水平方向活性度ＡＣＴ＿Ｈ、および、垂直方向活性度ＡＣＴ＿Ｖは、例えば、上述した数式（２−１ａ）の第１項、および、第２項によってそれぞれ算出することができる。また、水平方向活性度ＡＣＴ＿Ｈ、および、垂直方向活性度ＡＣＴ＿Ｖは、上述した数式（２−１ｂ）〜（２−１ｄ）のうち、何れかの数式の第１項、および、第２項によってそれぞれ算出することもできる。
続いて、第２特性値算出部５２２は、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈの各々の大きさに応じて、以下に列挙する方向インデックスを特性値Ｙとして特性インデックス算出部５２３に供給する。
・方向インデックス＝０：ＡＣＴ＿Ｈ＞２×ＡＣＴ＿Ｖの場合
・方向インデックス＝１：ＡＣＴ＿Ｈ≦２×ＡＣＴ＿ＶかつＡＣＴ＿Ｖ≦ＡＣＴ＿Ｈの場合
・方向インデックス＝２：ＡＣＴ＿Ｈ＜ＡＣＴ＿ＶかつＡＣＴ＿Ｖ≦２×ＡＣＴ＿Ｈの場合
・方向インデックス＝３：２×ＡＣＴ＿Ｈ＜ＡＣＴ＿Ｖの場合
なお、本処理例における方向インデックスの導出方向は上記の例に限られるものではない。例えば、第２特性値算出部５２２は、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を３つに分類し、それらの方向性を示す方向インデックスを出力する構成としてもよいし、対象単位領域におけるデブロック済復号画像の方向性を２つに分類し、それらの方向性を示す方向インデックスを出力する構成としてもよい。また、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を５つ以上に分類してもよい。
第２特性値算出部５２２は、例えば、以下のように、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を３つに分類することができる。
・方向インデックス＝０：ＡＣＴ＿Ｈ＞２×ＡＣＴ＿Ｖの場合
・方向インデックス＝１：ＡＣＴ＿Ｈ≦２×ＡＣＴ＿Ｖかつ２×ＡＣＴ＿Ｈ≧ＡＣＴ＿Ｖの場合
・方向インデックス＝２：２×ＡＣＴ＿Ｈ＜ＡＣＴ＿Ｖの場合
このような構成とする場合、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］は、特性値Ｙに関して、最大で３つの特性値部分領域ＣＰＲ（ｉ０、ｊ０）（ｊ０＝０、１、２）に再分割される。ここで、ｊ０＝０、１、２は、それぞれ、方向インデックス＝０、１、２に対応する。
また、第２特性値算出部５２２は、例えば、以下のように、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈの各々の大きさに応じて、対象単位領域におけるデブロック済復号画像の方向性を２つに分類することができる。
・方向インデックス＝０：ＡＣＴ＿Ｈ＞ＡＣＴ＿Ｖの場合
・方向インデックス＝１：ＡＣＴ＿Ｈ＜ＡＣＴ＿Ｖの場合
このような構成とする場合、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］は、特性値Ｙに関して、最大で２つの特性値部分領域ＣＰＲ（ｉ０、ｊ０）（ｊ０＝０、１）に再分割される。ここで、ｊ０＝０、１は、それぞれ、方向インデックス＝０、１、に対応する。
（特性値Ｙの算出処理例２）
本処理例では、第２特性値算出部５２２は、特性値Ｙとして、対象単位領域におけるデブロック済復号画像の方向性を算出する。ただし、本処理例では、上述の（特性値Ｙの算出処理例１）とは異なり、対象単位領域におけるデブロック済復号画像のエッジ方向を検出し、検出されたエッジ方向に応じて、方向インデックスを特性値Ｙとして特性インデックス算出部５２３に供給する。
本処理例におけるエッジ方向検出処理は、実施形態１におけるエッジ方向検出部４２２によるエッジ方向検出処理と同様である。第２特性値算出部５２２は、Ｓｏｂｅｌ＿ｙおよびＳｏｂｅｌ＿ｘの大小関係に応じて場合分けをすることによって、以下のように方向インデックスを生成する。
方向インデックス＝０ ｜Ｓｏｂｅｌ＿ｙ｜＜ａ×｜Ｓｏｂｅｌ＿ｘ｜の場合
方向インデックス＝１ ｜Ｓｏｂｅｌ＿ｙ｜≧ａ×｜Ｓｏｂｅｌ＿ｘ｜かつ
｜Ｓｏｂｅｌ＿ｙ｜≦ｂ×｜Ｓｏｂｅｌ＿ｘ｜かつ
Ｓｏｂｅｌ＿ｙとＳｏｂｅｌ＿ｘの符号が等しい場合
方向インデックス＝２ ｜Ｓｏｂｅｌ＿ｙ｜＞ｂ×｜Ｓｏｂｅｌ＿ｘ｜の場合
方向インデックス＝３ ｜Ｓｏｂｅｌ＿ｙ｜≧ａ×｜Ｓｏｂｅｌ＿ｘ｜かつ
｜Ｓｏｂｅｌ＿ｙ｜≦ｂ×｜Ｓｏｂｅｌ＿ｘ｜かつ
Ｓｏｂｅｌ＿ｙとＳｏｂｅｌ＿ｘの符号が反対の場合
但し、ａ＝ｔａｎ（２２．５°）＝０．４１４・・・、ｂ＝ｔａｎ（６７．５°）＝２．４１４・・・である。なお、この例では４つの方向インデックスを算出したが、２個または３個の方向インデックスの算出や５個以上の方向インデックスを算出する構成としてもよい。このような構成の場合、特性値Ｙの算出処理例１において説明したように、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］は、特性値Ｙに関して、最大で、方向インデックスの総数と同数の特性値部分領域に再分割される。
（特性値Ｙの算出処理例３）
本処理例では、第２特性値算出部５２２は、特性値Ｙとして、対象単位領域におけるデブロック済復号画像の画素値の平均（平均画素値とも呼ぶ）を算出し、算出した平均画素値を、特性値Ｙとして特性インデックス算出部５２３に供給する。
第２特性値算出部５２２は、処理対象となる対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの各画素値をバッファメモリ１５から読み出し、それらの画素値の平均をとることによって平均画素値ＭＰを算出する。
対象単位領域がＢｘ画素×Ｂｙ画素の矩形状である場合、対象単位領域における各画素の座標を（ｕ、ｖ）（ｕ、ｖはそれぞれ０≦ｕ≦Ｂｘ−１、０≦ｖ≦Ｂｙ−１を満たす整数）と表し、その座標におけるデブロック済復号画像Ｐ＿ＤＢの画素値をＳ（ｕ、ｖ）と表すことにすると、第２特性値算出部５２２は、例えば、以下の数式（２−３）を用いて、各画素値の単純平均をとることによって、平均画素値ＭＰを算出することができる。
なお、第２特性値算出部５２２は、各画素値の単純平均をとることに代えて、各画素値について所定の重み係数を用いた加重平均をとることによって平均画素値ＭＰを算出する構成としてもよい。
また、符号化データ＃３の説明において、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］が、特性値Ｙに関して、最大で４つの特性値部分領域に再分割される場合を例に挙げたが、本実施形態は、これに限定されるものではない。例えば、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］が、特性値Ｙに関して、以下のように、最大で３つの特性値部分領域ＣＰＲ（ｉ０、ｊ０）（ｊ０＝０、１、２）に分割される構成としてもよい。
ＣＰＲ（ｉ０、０）：ＭＰ≦６４
ＣＰＲ（ｉ０、１）：６４＜ＭＰかつＭＰ≦１６０
ＣＰＲ（ｉ０、２）：１６０＜ＭＰ
また、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］が、特性値Ｙに関して、以下のように、最大で２つの特性値部分領域ＣＰＲ（ｉ０、ｊ０）（ｊ０＝０、１）に分割される構成としてもよい。
ＣＰＲ（ｉ０、０）：ＭＰ≦１２８
ＣＰＲ（ｉ０、１）：１２８＜ＭＰ
（特性値Ｙの算出処理例４）
本処理例では、第２特性値算出部５２２は、処理対象フレーム（または処理対象スライス）における対象単位領域の座標を算出する。算出された座標は、特性値Ｙとして特性インデックス算出部５２３に供給される。ここで、対象単位領域の座標とは、より正確には、対象単位領域の代表画素の座標である。代表画素としては、例えば、対象単位領域内の画素であって、該対象単位領域の左上端の画素を用いることができる。ただし、対象単位領域における代表画素の具体的な位置は本実施形態を限定するものではない。
対象単位領域が、ブロックまたはパーティションである場合には、処理対象フレームにおける当該対象単位領域の座標は、符号化データ＃３から復号された以下の情報を参照することによって算出することができる。
・符号化ブロックパターンを指定するＣＢＰ（coded_block_pattern）
・予測単位指定情報ＰＴ
・変換単位指定情報ＴＴ
また対象単位領域が、ブロックまたはパーティションの何れでもなく、適応フィルタ部５０によって設定される領域である場合には、適応フィルタ５０は、設定された単位領域の位置を示す情報を参照することによって、対象単位領域の座標を特定することができる。
（特性インデックス算出部５２３）
特性インデックス算出部５２３は、対象単位領域について、第１特性値算出部５２１から供給される特性値Ｘおよび第２特性値算出部５２２から供給される特性値Ｙを、それぞれ、特性値分割点ＰＸｎおよびＰＹｍと比較することによって、当該対象単位領域に対して、特性値領域内インデックス（ｉ０、ｊ０）を割り付ける。また、対象単位領域に対して割り付けた特性値領域内インデックス（ｉ０、ｊ０）をフィルタ係数割り付け部５２４に供給する。
特性インデックス算出部５２３は、まず、対象単位領域についての特性値Ｘを、特性値分割点ＰＸ１〜ＰＸ＿ＮＸ−１のうち第１段階の分割に用いられる初期分割点と比較することによって、初期分割インデックス［ｉ０］を算出し、算出された初期分割インデックス［ｉ０］を対象単位領域に割り付ける。図２７（ｂ）に示すように初期分割点としてＰＸ２およびＰＸ４が用いられる場合、初期分割インデックス［ｉ０］は以下のように算出される。
・ｉ０＝０：Ｘ＜ＰＸ２の場合
・ｉ０＝１：ＰＸ２≦Ｘ＜ＰＸ４の場合
・ｉ０＝２：ＰＸ４≦Ｘの場合
続いて、特性インデックス算出部５２３は、alf_second_split_typeおよびalf_second_split_flag[i0]を参照し、特性値Ｘおよび特性値Ｙを、第２段階の分割に用いられる再分割点と比較することによって、再分割インデックス［ｊ０］を算出する。算出された再分割インデックス［ｊ０］は、対象単位領域に割り付けられる。
図２７（ｃ）に示すように、特性値Ｘについての再分割点としてＰＸ１、ＰＸ３、ＰＸ５が用いられる場合、再分割点ＰＸ１は、初期分割インデックス［ｉ０＝０］が割り付けられた対象単位領域に対して用いられ、再分割点ＰＸ３は、初期分割インデックス［ｉ０＝１］が割り付けられた対象単位領域に対して用いられ、再分割点ＰＸ５は、初期分割インデックス［ｉ０＝２］が割り付けられた対象単位領域に対して用いられる。
以下では、初期分割インデックス［ｉ０＝０］が割り付けられた対象単位領域についての再分割インデックス［ｊ０］の算出処理について、より具体的に説明を行う。初期分割インデックス［ｉ０＝１］が割り付けられた対象単位領域についての再分割インデックス［ｊ０］の算出処理は、以下の説明におけるＰＸ１をＰＸ３と読み替えればよく、初期分割インデックス［ｉ０＝２］が割り付けられた対象単位領域についての再分割インデックス［ｊ０］の算出処理は、以下の説明におけるＰＸ１をＰＸ５と読み替えればよい。
特性インデックス算出部５２３は、alf_second_split_type＝０の場合、初期分割インデックス［ｉ０＝０］が割り付けられた対象単位領域について、再分割インデックス［ｊ０］を以下のように算出する。
・alf_second_split_flag＝０の場合：
ｊ０＝０
・alf_second_split_flag＝１の場合：
ｊ０＝０：Ｘ＜ＰＸ１のとき
ｊ０＝１：ＰＸ１≦Ｘのとき
・alf_second_split_flag＝２の場合：
ｊ０＝０：Ｙ＜ＰＹ２のとき
ｊ０＝１：ＰＹ２≦Ｙのとき
・alf_second_split_flag＝３の場合：
ｊ０＝０：Ｘ＜ＰＸ１かつＹ＜ＰＹ２のとき
ｊ０＝１：Ｘ＜ＰＸ１かつＰＹ２≦Ｙのとき
ｊ０＝２：ＰＸ１≦ＸかつＹ＜ＰＹ２のとき
ｊ０＝３：ＰＸ１≦ＸかつＰＹ２≦Ｙのとき
また、特性インデックス算出部５２３は、alf_second_split_type＝１の場合、初期分割インデックス［ｉ０＝０］が割り付けられた対象単位領域について、再分割インデックス［ｊ０］を以下のように算出する。
・alf_second_split_flag＝０の場合：
ｊ０＝０
・alf_second_split_flag＝１の場合：
ｊ０＝０：Ｙ＜ＰＹ２のとき
ｊ０＝１：ＰＹ２≦Ｙのとき
・alf_second_split_flag＝２の場合：
ｊ０＝０：Ｙ＜ＰＹ１のとき
ｊ０＝１：ＰＹ１≦Ｙのとき
・alf_second_split_flag＝３の場合：
ｊ０＝０：Ｙ＜ＰＹ１のとき
ｊ０＝１：ＰＹ１≦Ｙ＜ＰＹ２のとき
ｊ０＝２：ＰＹ２≦Ｙ＜ＰＹ３のとき
ｊ０＝３：ＰＹ３≦Ｙのとき
（フィルタ係数割り付け部５２４）
フィルタ係数割り付け部５２４は、対象単位領域に割り付けられた特性値領域内インデックス（ｉ０、ｊ０）に対応するフィルタ係数RegionFilterLuma[i0][j0]を、特性別フィルタ係数格納部５１７から読み出し、読み出したフィルタ係数RegionFilterLuma[i0][j0]を、当該対象単位領域に割り付ける。対象単位領域に割り付けられたフィルタ係数RegionFilterLuma[i0][j0]は、フィルタ部５２５に供給される。
（フィルタ部５２５）
フィルタ部５２５は、対象単位領域に対して、フィルタ係数RegionFilterLuma[i0][j0]を用いたフィルタ処理を施すことによって、該対象単位領域におけるフィルタ済復号画像Ｐ＿ＦＬを生成する。生成されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ１５に格納される。
より具体的には、フィルタ済復号画像Ｐ＿ＦＬ（「フィルタ後画像」とも呼称する）におけるフィルタ対象画素の画素値をＳF（ｘ’、ｙ’）と表し、デブロック済復号画像Ｐ＿ＤＢ（「フィルタ前画像」とも呼称する）における画素値をＳ（ｘ、ｙ）と表すことにすると、フィルタ部５２５は、画素値ＳF（ｘ’、ｙ’）を、以下の数式（２−４）によって算出する。
ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、a（ｕ、ｖ）は、フィルタ前画像の画素値Ｓ（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表しており、フィルタ係数割り付け部５２４から供給されたフィルタ係数RegionFilterLuma[i0][j0]の各成分に対応する。また、oは、フィルタ係数RegionFilterLuma[i0][j0]に含まれるオフセット成分を表している。
また、数式（２−４）におけるＲは、フィルタ処理において参照される領域（「フィルタ参照領域Ｒ」とも呼称する）を表している。参照領域Ｒのタップ数は、alf_length_luma_minus5_div2[i0]によって指定される。参照領域Ｒとしては、例えば、図３０に示したように、alf_length_luma_minus5_div2[i0]の各値に応じて設定される参照領域Ｒ０、Ｒ１、およびＲ２の何れかを用いればよい。なお。図３０においては、菱形の参照領域を例示しているが、本実施形態における参照領域Ｒは、これらの例に限定されるものではなく、alf_length_luma_minus5_div2[i0]によってタップ数が指定される矩形状の参照領域を用いてもよい。
また、各フィルタ係数は、１８０度の回転対称性を有するように、フィルタ参照領域Ｒに含まれる各画素に対して割り付けられる構成とすることができる。すなわち、a（ｕ、ｖ）＝a（−ｕ、−ｖ）を満たすように設定される構成とすることができる。このような構成とすることによって、alf_coeff_luma[i][j]に含まれる各成分の数を削減することができる。
（動画像符号化装置４）
以下では、符号化対象画像を符号化することによって符号化データ＃３を生成する動画像符号化装置４について、図３７〜図３８を参照して説明する。なお、以下では、既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
図３７は、本実施形態に係る動画像符号化装置４の構成を示すブロック図である。図３７に示すように、動画像符号化装置４は、実施形態１に係る動画像符号化装置２の備える適応フィルタ３４に代えて、適応フィルタ６０を備えている。動画像符号化装置４のその他の構成は、実施形態１に係る動画像符号化装置２の構成と同様であるため、説明を省略する。
（適応フィルタ６０）
適応フィルタ６０は、デブロック済復号画像Ｐ＿ＤＢに対して、適応的フィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。生成されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ２４に格納される。また、適応フィルタ６０は、フィルタ処理に用いた各種の適応フィルタ情報をフィルタパラメータＦＰとして可変長符号符号化部２２に供給する。可変長符号符号化部２２は、フィルタパラメータＦＰを符号化データ＃３の一部として符号化する。
図３８は、適応フィルタ６０の構成を示すブロック図である。図３８に示すように、適応フィルタ６０は、適応フィルタ情報設定部６１、および、適応フィルタ部６２を備えている。
（適応フィルタ情報設定部６１）
適応フィルタ情報設定部６１は、図３８に示すように、領域別タップ数設定部６１１、領域構造設定部６１２、フィルタパラメータ生成部６１３、２次元予測フラグ設定部６１４、フィルタ係数予測部５１５、フィルタ係数残差生成部６１６、特性別フィルタ係数格納部６１７、特性値分割点変更フラグ設定部６１８、特性値分割点設定部５１９を備えている。
フィルタ係数予測部５１５、および特性値分割点設定部５１９については既に述べたためここでは説明を省略する。
（領域別タップ数設定部６１１）
領域別タップ数設定部６１１は、初期分割によって得られた特性値部分領域ＣＰＲ［ｉ０］についてのタップ数を指定するためのシンタックスalf_length_luma_minus5_div2[i0]を設定する。設定されたシンタックスalf_length_luma_minus5_div2[i0]は、フィルタパラメータ生成部６１３に供給される。また、シンタックスalf_length_luma_minus5_div2[i0]は、フィルタ係数予測部５１５、フィルタ係数残差生成部６１６、領域別フィルタ係数格納部６１７、フィルタ係数導出部６２４、および、フィルタ部５２５にも供給される（図３８において矢印不図示）。
alf_length_luma_minus5_div2[i0]の取り得る具体的な値、および、alf_length_luma_minus5_div2[i0]の具体的な値と参照領域Ｒのタップ数AlfLengthLumaとの対応関係については、既に述べたためここでは説明を省略する。
なお、alf_length_luma_minus5_div2[i0]の具体的な値は、符号化効率がより向上するように定められる。
（領域構造設定部６１２）
領域構造設定部６１２は、再分割の種別を指定するためのフラグalf_second_split_type、および、初期分割によって得られた各特性値部分領域について再分割の具体的な態様を指定するためのシンタックスalf_second_split_flag[i0]を設定する。設定されたフラグalf_second_split_typeおよびシンタックスalf_second_split_flag[i0]は、特性値分割点設定部５１９、２次元予測フラグ設定部６１４、および、フィルタパラメータ生成部６１３に供給される。
alf_second_split_typeおよびalf_second_split_flag[i0]の取り得る値、並びに、alf_second_split_typeおよびalf_second_split_flag[i0]の具体的な値と再分割の態様との対応関係については、既に述べたためここでは説明を省略する。
なお、alf_second_split_typeおよびalf_second_split_flag[i0]の具体的な値は、符号化効率がより向上するように定められる。
（２次元予測フラグ設定部６１４）
２次元予測フラグ設定部６１４は、alf_second_split_typeおよびalf_second_split_flag[i0]を参照して、各特性値部分領域についてのフィルタ係数の予測値を導出する際の予測方向を指定するためのフラグalf_region_pred_luma[i][j]を設定する。設定されたフラグalf_region_pred_luma[i][j]は、フィルタ係数予測部５１５に供給される。
alf_region_pred_luma[i][j]の取り得る値、およびalf_region_pred_luma[i][j]の具体的な値と予測方向との対応関係については既に述べたため、ここでは説明を省略する。なお、alf_region_pred_luma[i][j]の具体的な値は、符号化効率がより向上するように定められる。
（フィルタ係数残差生成部６１６）
フィルタ係数残差６１６は、各特性値部分領域ＣＰＲ（ｉ０、ｊ０）について、フィルタ係数予測部５１５より供給される予測フィルタ係数PredRegionFilterLumaと特性別フィルタ係数格納部６１７から読み出したフィルタ係数RegionFilterLumaとの差分をとることによって、フィルタ係数残差alf_coeff_luma[i][j]を生成する。生成されたフィルタ係数残差alf_coeff_luma[i][j]はフィルタパラメータ生成部６１３に供給される。
（特性値分割点変更フラグ設定部６１８）
特性値分割点変更フラグ設定部６１８は、特性値分割点ＰＸｎ（１≦ｎ≦ＮＸ−１）を変更するために参照されるフラグalf_first_split_val_shiftを設定する。設定されたフラグalf_first_split_val_shiftは、特性値分割点設定部５１９に供給される。
alf_first_split_val_shiftの取り得る値、および、alf_first_split_val_shiftの具体的な値と特性値分割点ＰＸｎとの対応関係については既に述べたため、ここでは説明を省略する。
なお、alf_first_split_val_shiftの具体的な値は、符号化効率がより向上するように定められる。
（フィルタパラメータ生成部６１３）
フィルタパラメータ生成部６１３は、シンタックスalf_length_luma_minus5_div2[i0]、alf_second_split_type、alf_second_split_flag[i0]、alf_first_split_val_shift、および、alf_coeff_luma[i][j]からフィルタパラメータＦＰを生成する。生成されたフィルタパラメータＦＰは、可変長符号符号化部２２に供給される。
なお、フィルタパラメータＦＰには、特性値部分領域毎のフィルタ処理を行うのか否かを指定するためのシンタックスalf_enable_region_filter、および、初期分割の分割数AlfNumFirstSplitを指定するためのシンタックスalf_num_first_split_minus1が含まれる。これらのシンタックスの具体的な値は、符号化効率がより向上するように定められる。
（特性別フィルタ係数格納部６１７）
特性別フィルタ係数格納部６１７は、後述するフィルタ係数導出部６２４によって導出されたフィルタ係数RegionFilterLuma[i0][j0]が格納される。
（適応フィルタ部６２）
適応フィルタ部６２は、図３８に示すように、第１特性値算出部５２１、第２特性値算出部５２２、特性インデックス算出部５２３、フィルタ係数導出部６２４、およびフィルタ部５２５を備えている。
第１特性値算出部５２１、第２特性値算出部５２２、特性インデックス算出部５２３、およびフィルタ部５２５については、既に述べたため、ここでは説明を省略する。
（フィルタ係数導出部６２４）
フィルタ係数導出部６２４は、対象単位領域におけるフィルタ済復号画像Ｐ＿ＦＬと符号化対象画像との誤差がより小さくなるようなフィルタ係数RegionFilterLuma[i0][j0]を導出する。導出されたフィルタ係数RegionFilterLuma[i0][j0]は、フィルタ部５２５に供給されると共に、特性別フィルタ係数格納部６１７に格納される。
対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢの画素値をＳ（ｘ、ｙ）と表し、対象単位領域における符号化対象画像の画素値をＳT（ｘ、ｙ）と表すことにすると、フィルタ係数導出部６２４は、例えば、以下の数式（２−５）によって与えられる二乗誤差Ｅを最小にするようなフィルタ係数ａ（ｕ、ｖ）およびオフセットｏを導出する。ここで、フィルタ係数ａ（ｕ、ｖ）およびオフセットｏは、RegionFilterLuma[i0][j0]の各成分である。
＜実施形態２の変形例＞
以下では、実施形態２の変形例について、図３９〜図４０を参照して説明する。図３９は、本変形例に係るフィルタパラメータＦＰ（図３９においてalf_param()と表記）に含まれる各シンタックスを示す図である。図３９に示すように、本変形例に係るフィルタパラメータＦＰには、図２６に示したフィルタパラメータＦＰとは異なり、シンタックスalf_first_split_val_shift、および、alf_second_split_typeは含まれておらず、alf_second_split_typeの値としては、alf_second_split_type＝０の固定値が用いられる。
本変形例においては、第１の特性値Ｘについての特性値分割点ＰＸ１〜ＰＸ＿ＮＸ−１、すなわち、初期分割における分割点が、初期分割の分割数を指定するシンタックスalf_num_first_split_minus1の値に応じて設定される。図４０は、本変形例におけるalf_num_first_split_minus1の各値に応じて設定される特性値分割点ＰＸ１〜ＰＸ５を例示する表である。
図４０に示すように、本変形例においては、初期分割の分割数に応じて分割点が設定されるので、各特性値部分領域に分類される単位領域の数を一定に近づけることができる。このため、高い符号化効率を実現することができる。
また、図４０に示すように、alf_num_first_split_minus1＝０または１の場合に設定される特性値分割点の値は、alf_num_first_split_minus1＝２の場合に設定される特性値分割点の何れかが用いられる。例えば、alf_num_first_split_minus1＝０の場合に設定される特性値分割点ＰＸ１の値には、alf_num_first_split_minus1＝２の場合に設定される特性値分割点ＰＸ３の値６４が用いられる。このように、本変形例では、最大分割以外の分割（図４０に示す例では、alf_num_first_split_minus1＝０または１）に用いられる分割点の値が、最大分割（図４０に示す例では、alf_num_first_split_minus1＝２）に用いられる分割点の値の集合の要素となっている。
このような構成とすることによって、動画像符号化装置において初期分割点の最適化を行う際に、各特性値部分領域についての特性値の算出をやり直す必要がなくなるため、処理量が削減される。
〔実施形態３〕
以下では、本発明の第３の実施形態について、図４１〜図４４を参照して説明する。なお、以下では、実施形態２において既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
（符号化データ＃５）
本実施形態に係る動画像符号化装置６及び動画像復号装置５の詳細な説明に先立って、動画像符号化装置６によって生成され、動画像復号装置５によって復号される符号化データ＃５のデータ構造について説明を行う。
符号化データ＃５のデータ構造は、実施形態１に係る符号化データ＃１のデータ構造と略同じであるが、フィルタパラメータＦＰの構成が異なる。図４１は、本実施形態に係る符号化データ＃５のフィルタパラメータＦＰ（図４１においてalf_param()と表記）に含まれる各シンタックスを示す図である。
（alf_filter_pattern）
alf_filter_pattern[i]（１≦ｉ＜AlfMaxNumFilters、AlfMaxNumFiltersは、初期分割点の最大値）は、初期分割（第１段階の分割）における初期分割点を定めるためのフラグである。再分割（第２段階の分割）を行うか否かに関わらず、alf_filter_pattern[i]によって初期分割点が定まる。
（alf_enable_second_split）
alf_enable_second_splitは、再分割を行うのか否かを指定するフラグである。alf_enable_second_split＝０の場合には、再分割が行われず、alf_enable_second_split＝１の場合には、再分割が行われる。
符号化対象画像の画像特性如何によっては、再分割を行わないことによって符号量を削減したほうが、符号化効率が向上する場合がある。符号化データ＃５に、alf_enable_second_splitを含めておくことによって、符号化効率の向上を図ることができる。
（alf_select_split_char）
alf_select_split_charは、特性値Ｙとして、複数の候補のうち何れの特性値を用いるのかを指定するシンタックスである。図４２（ａ）に示すように、alf_select_split_charは、特性値Ｘおよび特性値Ｙを以下のように指定する。
alf_select_split_char＝０のとき：
特性値Ｘ＝活性度、特性値Ｙ＝方向性
alf_select_split_char＝１のとき：
特性値Ｘ＝活性度、特性値Ｙ＝平均画素値
alf_select_split_char＝２のとき：
特性値Ｘ＝活性度、特性値Ｙ＝ｙ座標
alf_select_split_char＝３のとき：
特性値Ｘ＝活性度、特性値Ｙ＝ｘ座標
ここで、ｙ座標とは、処理対象フレームにおける対象単位領域のフレーム内ｙ座標のことを指し、ｘ座標とは、処理対象フレームにおける対象単位領域のフレーム内ｘ座標のことを指す。
また、特性値Ｙとして方向性が指定される場合、当該特性値Ｙは、例えば、垂直方向活性度ＡＣＴ＿Ｖおよび水平方向活性度ＡＣＴ＿Ｈを用いて、
Ｙ＝（ＡＣＴ＿Ｈ＋ｋ）／（ＡＣＴ＿Ｖ＋ｋ）×４
ｋ＝（ＡＣＴ＿Ｈ＋ＡＣＴ＿Ｖ）／１６＋１
によって算出される。
図４２（ｂ）は、alf_select_split_charの各値について設定される再分割点ＰＹ１〜ＰＹ３の具体例を示している。図４２（ｂ）において、「ｈｅｉｇｈｔ」とは、フレームのｙ方向の画素数のことを指し、「ｗｉｄｔｈ」とは、フレームのｘ方向の画素数のことを指す。
（alf_enable_second_split_val）
alf_enable_second_split_valは、後述するalf_second_split_val[k]（ｋ＝０、１、２）がフィルタパラメータＦＰに含まれるか否かを示すフラグである。alf_enable_second_split_val＝１であれば、alf_second_split_val[k]がフィルタパラメータＦＰに含まれる。alf_enable_second_split_valは、再分割が行われる場合に符号化される。
（alf_second_split_val）
alf_second_split_val[k]（ｋ＝０、１、２）は、特性値Ｙについての再分割における再分割点を決定するために参照されるシンタックスである。
alf_second_split_val[k]と、再分割点ＰＹ１〜ＰＹ３との関係を図４２（ｃ）に示す。図４２（ｃ）に示すように、再分割点ＰＹ１〜ＰＹ３の各値は、alf_second_split_val[k]の各値に応じて決定される。
alf_secocond_split_flag、並びに、上記のalf_filter_pattern、alf_enable_second_split、alf_select_split_char、alf_enable_second_split_val、及びalf_second_split_valは、特性値領域ＣＲを各特性値部分領域ＣＰＲに分割する分割の仕方を指定する特性値分割情報を構成する。
（alf_region_disable_idc）
alf_region_disable_idc[i0]は、再分割によって得られた特性値部分領域のうち、フィルタ処理をオフとする領域を指定するためのフラグ（オンオフ指定情報）である。alf_second_split_flag[i0]の値が０のとき、すなわち、再分割が行われないとき、alf_region_disable_idc[i0]は、−１、０の何れかの値をとり、alf_second_split_flag[i0]の値が１または２のとき、すなわち、再分割が２分割であるとき、alf_region_disable_idc[i0]は、−１、０、１の何れかの値をとり、alf_second_split_flag[i0]の値が３のとき、すなわち、再分割が４分割であるとき、alf_region_disable_idc[i0]は、−１、０、１、２、３の何れかの値をとる。
alf_region_disable_idc[i0]が−１のとき、再分割によって得られた特性値部分領域についてのフィルタ処理がオンに指定される。
alf_region_disable_idc[i0]が−１以外の値であるとき、再分割によって得られた特性値部分領域のうち、再分割インデックス［ｊ０］（ｊ０＝alf_region_disable_idc[i0]）によって指定される特性値部分領域についてのフィルタ処理がオフに指定される。フィルタ処理がオフに指定された特性値部分領域についてのフィルタ係数（またはフィルタ係数残差）alf_coeff_lumaの符号化は行われない。
なお、図４１には、予測フィルタ係数を導出する際の予測方向を指定するシンタックスalf_region_pred_lumaを含まない構成を例示したが、これは本実施形態を限定するものではなく、実施形態２において説明したように、本実施形態においても、フィルタパラメータＦＰにシンタックスalf_region_pred_lumaを含める構成としてもよい。
また、図４１には、実施形態２において説明したシンタックスalf_second_split_typeを含まずに、実施形態２において説明したalf_second_split_type＝１の場合の再分割に関するフィルタ係数（またはフィルタ係数残差）alf_coeff_lumaを含む構成を例示したが、これは本実施形態を限定するものではない。本実施形態においても、フィルタパラメータＦＰに、alf_second_split_type、および、alf_second_split_typeの各値に対するフィルタ係数（またはフィルタ係数残差）alf_coeff_lumaを含める構成としてもよい。
（適応フィルタ７０）
本実施形態に係る動画像復号装置は、実施形態２に係る動画像復号装置３の備える適応フィルタ５０に代えて、適応フィルタ７０を備えている。本実施形態に係る動画像復号装置のその他の構成は、実施形態２に係る動画像復号装置３の構成と同様であるので、説明を省略する。
図４３は、適応フィルタ７０の構成を示すブロック図である。図４３に示すように、適応フィルタ７０は、適応フィルタ５０の備える領域構造復号部５１２、フィルタ係数残差復号部５１３、特性値分割点変更フラグ復号部５１８、特性値分割点設定部５１９、および、第２特性値算出部５２２に代えて、それぞれ、領域構造復号部７１２、フィルタ係数残差復号部７１３、特性値分割点変更フラグ復号部７１８、特性値分割点設定部７１９、および、第２特性値算出部７２２を備えている。また、適応フィルタ７０は、適応的フィルタオフ復号部７３１、特性選択フラグ復号部７３２を備えている。適応フィルタ７０のその他の構成は、適応フィルタ５０と同様である。
なお、図４３には、適応フィルタ５０の備える２次元予測フラグ復号部５１４を備えない構成を例示しているが、これは本実施形態を限定するものではなく、適応フィルタ７０が２次元予測フラグ復号部５１４を備える構成とし、符号化データ＃５に、alf_region_pred_lumaを含めておく構成としてもよい。
適応的フィルタオフ復号部７３１は、フィルタパラメータＦＰに含まれるシンタックスalf_disable_region_idc[i0]を復号する。復号されたシンタックスalf_disable_region_idc[i0]は、フィルタ係数残差復号部７１３、および、フィルタ部５２５に供給される。alf_disable_region_idc[i0]がフィルタ処理のオフを指定している場合、フィルタ部５２５は、フィルタ処理を行わない。
領域構造復号部７１２は、フィルタパラメータＦＰに含まれるシンタックスalf_second_split_flag[i0]を復号する。復号されたシンタックスalf_second_split_flag[i0]は、特性値部分領域ＣＰＲ［ｉ０］に割り付けられると共に、フィルタ係数残差復号部７１３、および、特性値分割点設定部７１９に供給される。
フィルタ係数残差復号部７１３はalf_length_luma_minus5_div2[i0]、alf_disable_region_idc[i0]、およびalf_second_split_flag[i0]を参照して、フィルタパラメータＦＰに含まれるシンタックスalf_coeff_luma[i][j]を復号すると共に、各シンタックスalf_coeff_luma[i][j]を、それぞれに対応する特性値部分領域ＣＰＲ（ｉ０、ｊ０）に割り付ける。alf_coeff_luma[i][j]と特性値部分領域ＣＰＲ（ｉ０、ｊ０）との対応関係は、実施形態２に係る符号化データ＃３の説明において既に述べた対応関係と同様であるため、ここでは説明を省略する。また、復号されたシンタックスalf_coeff_luma[i][j]は、フィルタ係数復号部５１６に供給される。
なお、フィルタ係数残差復号部７１３は、alf_disable_region_idc[i0]によってフィルタ処理がオフに指定された特性値部分領域については、フィルタ係数残差alf_coeff_luma[i][j]の復号を行わない。
特性値分割点変更フラグ復号部７１８は、フィルタパラメータＦＰに含まれるシンタックスalf_second_split_val[k]（ｋ＝０、１、２）を復号する。復号されたシンタックスalf_second_split_val[k]は、特性値分割点設定部７１９に供給される。
特性値選択フラグ復号部７３２は、フィルタパラメータＦＰに含まれるシンタックスalf_second_split_charを復号する。復号されたシンタックスalf_second_split_charは、特性値分割点設定部７１９、および、第２特性値算出部７２２に供給される。
特性値分割点設定部７１９は、alf_second_split_flag[i0]、alf_second_split_val[k]、および、alf_second_split_charに基づいて、特性値分割点ＰＸｎ（１≦ｎ≦ＮＸ−１）およびＰＹｍ（１≦ｍ≦ＮＸ−１）を導出する。導出された特性値分割点ＰＸｎおよびＰＹｍは、特性インデックス算出部５２３に供給される。
シンタックスalf_second_split_val[k]およびalf_second_split_charの各値に対する特性値分割点ＰＸｎおよびＰＹｍの具体例については、符号化データ＃５の説明において既に述べたため、ここでは説明を省略する。
第２特性値算出部７２２は、対象単位領域におけるデブロック済復号画像Ｐ＿ＤＢについて、alf_second_split_charによって指定される特性値を算出する。算出された特性値は、特性値Ｙとして、特性インデックス算出部５２３に供給される。
（動画像符号化装置６）
以下では、符号化対象画像を符号化することによって符号化データ＃５を生成する動画像符号化装置６について、図４４を参照して説明する。なお、以下では、既に説明した部分については、同じ文言および同じ符号を用い、その説明を省略する。
本実施形態に係る動画像符号化装置は、実施形態２に係る動画像符号化装置４の備える適応フィルタ６０に代えて、適応フィルタ８０を備えている。本実施形態に係る動画像復号装置のその他の構成は、実施形態２に係る動画像符号化装置４の構成と同様であるので、説明を省略する。
適応フィルタ８０は、デブロック済復号画像Ｐ＿ＤＢに対して、適応的フィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。生成されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ２４に格納される。また、適応フィルタ８０は、フィルタ処理に用いた各種の適応フィルタ情報をフィルタパラメータＦＰとして可変長符号符号化部２２に供給する。可変長符号符号化部２２は、フィルタパラメータＦＰを符号化データ＃５の一部として符号化する。
図４４は、適応フィルタ８０の構成を示すブロック図である。図４４に示すように、適応フィルタ８０は、適応フィルタ情報設定部８１、および、適応フィルタ部８２を備えている。
（適応フィルタ情報設定部８１）
適応フィルタ情報設定部８１は、図４４に示すように、領域別タップ数設定部６１１、適応的オンオフ設定部８３１、領域構造設定部８１２、特性値分割点変更フラグ設定部８１８、特性選択フラグ設定部８３２、特性値分割点設定部７１９、フィルタ係数残差生成部６１６、フィルタ係数予測部５１５、フィルタパラメータ生成部８１３、および、特性別フィルタ係数格納部６１７を備えている。
領域別タップ数設定部６１１、特性値分割点設定部７１９、フィルタ係数残差生成部６１６、フィルタ係数予測部５１５、および、特性別フィルタ係数格納部６１７については既に述べたため、ここでは説明を省略する。
（適応的フィルタオフ設定部８３１）
適応的フィルタオフ設定部８３１は、再分割によって得られた特性値部分領域のうちフィルタ処理をオフとする領域を指定するためのフラグalf_region_disable_idc[i0]を設定する。設定されたフラグalf_region_disable_idc[i0]は、フィルタパラメータ生成部８１３、およびフィルタ部５２５に供給される。alf_region_disable_idc[i0]がフィルタ処理のオフを指定している場合、フィルタ部５２５は、フィルタ処理を行わない。
alf_region_disable_idc[i0]の取り得る値とフィルタ処理のオンオフとの対応関係については既に述べたためここでは説明を省略する。
なお、alf_region_disable_idc[i0]の具体的な値は、符号化効率がより向上するように定められる。
（領域構造設定部８１２）
領域構造設定部８１２は、初期分割によって得られた各特性値部分領域について再分割の具体的な態様を指定するためのシンタックスalf_second_split_flag[i0]を設定する。設定されたシンタックスalf_second_split_flag[i0]は、特性値分割点設定部７１９、および、フィルタパラメータ生成部８１３に供給される。
alf_second_split_flag[i0]の取り得る値、並びに、alf_second_split_flag[i0]の具体的な値と再分割の態様との対応関係については、既に述べたためここでは説明を省略する。
なお、alf_second_split_flag[i0]の具体的な値は、符号化効率がより向上するように定められる。
（特性値分割点変更フラグ設定部８１８）
特性値分割点変更フラグ設定部８１８は、特性値Ｙについての再分割における再分割点を決定するために参照されるシンタックスalf_second_split_val[k]（ｋ＝０、１、２）を設定する。設定されたシンタックスalf_second_split_val[k]は、特性値分割点設定部７１９、および、フィルタパラメータ生成部８１３に供給される。
alf_second_split_val[k]の取り得る値、および、alf_second_split_val[k]の各値と、特性値Ｙについての再分割における再分割点との対応関係については既に述べたためここでは説明を省略する。
なお、alf_second_split_val[k]の具体的な値は、符号化効率がより向上するように定められる。
（特性選択フラグ設定部８３２）
特性選択フラグ設定部８３２は、特性値Ｙとして複数の候補のうち何れの特性値を用いるのかを指定するシンタックスalf_select_split_charを設定する。設定されたシンタックスalf_select_split_charは、特性値分割点設定部７１９、フィルタパラメータ生成部８１３、および、第２特性値算出部７２２に供給される。
alf_select_split_charの取り得る値、および、alf_select_split_charの各値と、特性値Ｙとの対応関係については既に述べたため、ここでは説明を省略する。
なお、alf_select_split_charの具体的な値は、符号化効率がより向上するように定められる。
（フィルタパラメータ生成部８１３）
フィルタパラメータ生成部８１３は、シンタックスalf_length_luma_minus5_div2[i0]、alf_disable_region_idc[i0]、alf_second_split_flag[i0]、alf_second_split_val、alf_second_split_char、および、alf_coeff_luma[i][j]からフィルタパラメータＦＰを生成する。生成されたフィルタパラメータＦＰは、可変長符号符号化部２２に供給される。
なお、フィルタパラメータＦＰには、特性値部分領域毎のフィルタ処理を行うのか否かを指定するためのシンタックスalf_enable_region_filter、初期分割における初期分割点を定めるためのフラグalf_filter_pattern、alf_second_split_val[k]がフィルタパラメータＦＰに含まれるか否かを示すフラグalf_enable_second_split_val、および、初期分割の分割数AlfNumFirstSplitを指定するためのシンタックスalf_num_first_split_minus1が含まれる。これらのシンタックスの具体的な値は、符号化効率がより向上するように定められる。
（適応フィルタ部８２）
適応フィルタ部８２は、図４４に示すように、第１特性値算出部５２１、第２特性値算出部７２２、特性インデックス算出部５２３、フィルタ係数導出部６２４、および、フィルタ５２５を備えている。これらの各部については、既に述べたため説明を省略する。
＜実施形態２および実施形態３についての付記事項＞
実施形態２における符号化データ＃３のフィルタパラメータＦＰに含まれるシンタックスのうち、少なくとも何れかのシンタックスと、実施形態３における符号化データ＃５のフィルタパラメータＦＰに含まれるシンタックスのうち、少なくとも何れかのシンタックスとを含むフィルタパラメータＦＰ’も本発明の範疇に含まれる。そのようなフィルタパラメータＦＰ’を復号する動画像復号装置は、実施形態２および実施形態３において既に説明した部分のうち、フィルタパラメータＦＰ’に含まれるシンタックスを復号するために必要な各部を備える構成とすればよい。
例えば、実施形態２における符号化データ＃３のフィルタパラメータＦＰは、符号化データ＃５のフィルタパラメータＦＰに含まれるシンタックスalf_second_split_char、alf_enable_second_split_val、および、alf_second_split_valを含む構成としてもよい。このような構成の場合、動画像復号装置３の備える適応フィルタ５０は、特性選択フラグ復号部７３２、特性値分割点変更フラグ復号部７１８を備える構成とすればよい。
また、実施形態３における符号化データ＃５のフィルタパラメータＦＰは、シンタックスalf_region_disable_idc[i0]を含まない構成としてもよい。このような構成の場合、符号化データ＃５を復号する動画像復号装置５は、全ての単位領域に対して適応的フィルタ処理を行う構成となる。
＜その他の付記事項１＞
なお、上記実施形態における、マクロブロックは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後継規格として提案されているＨＥＶＣ（High Efficiency Video Coding）のＬＣＵ（最大コーディングユニット：Largest Coding Unit、コーディングツリー（Coding Tree）のrootと呼ばれることもある）に相当し、マクロブロックおよびブロックは、ＨＥＶＣのＣＵ（コーディングユニット：Coding Unit、コーディングツリーのleafと呼ばれることもある）、ＰＵ（Prediction Unit）、またはＴＵ（Transformation Unit）に相当するものである。
＜その他の付記事項２＞
上述したように、発明者は、符号化対象画像の画像特性如何によっては、（局所）復号画像の局所的な活性度の大きさに応じてフィルタ係数群を切り替えるのではなく、むしろ、（局所）復号画像の局所的な方向性の違いに応じてフィルタ係数群を切り替えることによって、符号化効率をより効果的に向上させることができるとの知見を得た。
本発明に係る画像フィルタ装置は、出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を識別する方向性識別手段と、上記方向性識別手段によって識別された各単位領域における上記入力画像の方向性が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えていることを特徴としている。
発明者は、上記の知見に基づき、画像フィルタ装置に入力される入力画像の方向性が、入力画像を構成する領域（単位領域）毎に異なる場合には、方向性の違いに応じてフィルタ係数群を切り替えることによって、上記出力画像を参照して生成される予測画像の予測精度を向上させることができることを見出した。
上記のように構成された本発明に係る画像フィルタ装置によれば、上記方向性識別手段が、入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を識別し、上記分類手段が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、当該方向性に応じて適切なフィルタ処理を行うことができる。
したがって、上記のように構成された画像フィルタ装置によれば、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
なお、各単位領域における上記入力画像の方向性とは、例えば、各単位領域における上記入力画像の局所的な勾配方向に直交する方向として定義することができる。ここで、画像の勾配とは、画素（ｘ，ｙ）の画素値をｚ（ｘ，ｙ）とすると、ｘ，ｙ，ｚを座標とする３次元空間内に定義される、曲面｛（ｘ，ｙ，ｚ（ｘ，ｙ））｜０≦ｘ≦Ｎx，０≦ｙ≦Ｎy，０≦ｚ≦Ｎz）｝の勾配のことを指す。ここで、Ｎx，Ｎy，Ｎzは、それぞれ、x方向の画素の総数、y方向の画素の総数、画素値zのとり得る最大値を表す。また、各単位領域における上記入力画像の方向性とは、各単位領域における上記入力画像の画素値の相関のより高い方向であると表現することもできる。
また、上記方向性識別手段は、各単位領域における上記入力画像の方向性を、入力画像のエッジを検出することによって直接的に識別する構成としてもよいし、上記画像フィルタ装置が、画面内予測によってイントラ予測画像を生成する予測画像生成手段と共に用いられる場合には、イントラ予測画像を生成する際に参照されるイントラ予測モードの示す方向によって間接的に識別する構成としてもよいし、その他の方法によって識別する構成としてもよい。
また、上記単位領域とは、上記入力画像を構成する複数の重複しない領域の各々ことを表すものとする。上記画像フィルタ装置が、画像を符号化する符号化装置、および、符号化データから画像を復号する復号装置において用いられる場合には、上記単位領域を、例えば、予測画像を生成する単位である予測単位（パーティション）としてもよいし、周波数変換の単位である変換単位としてもよいし、それら以外のものとしてもよい。
また、本発明に係る画像フィルタ装置は、上記複数の単位領域の各々における上記入力画像の活性度を算出する活性度算出手段を更に備え、上記分類手段は、各単位領域における上記入力画像の方向性および活性度が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する、ことが好ましい。
上記の構成によれば、上記活性度算出手段が、上記複数の単位領域の各々における上記入力画像の活性度を算出し、上記分類手段が、各単位領域における上記入力画像の方向性および活性度が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類するので、上記画像フィルタ装置に入力される入力画像の方向性が単位領域毎に異なる場合、および、入力画像の活性度が単位領域毎に異なる場合であっても、上記単位領域グループ毎に最適なフィルタ係数群を用いてフィルタ処理を行うことができる。すなわち、上記入力画像の方向性および活性度が、単位領域毎に異なるような場合であっても、予測画像の生成により適した出力画像を生成することができる。したがって、上記のように構成された本発明に係る画像フィルタ装置が生成する出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、上記方向性識別手段は、各単位領域における上記入力画像のエッジ方向を検出することによって、各単位領域における上記入力画像の方向性を識別するものである、ことが好ましい。
上記の構成によれば、上記方向性識別手段は、各単位領域における上記入力画像の方向性を、各単位領域における上記入力画像のエッジ方向を検出することによって識別するので、上記入力画像が、単位領域毎に異なるエッジ方向を有している場合に、上記単位領域グループ毎に最適なフィルタ係数群を用いてフィルタ処理を行うことができる。これにより、上記入力画像のエッジ方向が、単位領域毎に異なるような場合であっても、予測画像の生成により適した出力画像を生成することができる。
また、本発明に係る画像フィルタ装置においては、上記単位領域グループ毎に上記参照領域の最適化された形状が関連付けられており、上記参照領域の形状を、該参照領域と少なくとも一部が重複する単位領域が属する単位領域グループについて最適化する参照領域変更手段を更に備えている、ことが好ましい。
上記の構成によれば、上記単位領域グループ毎に上記参照領域の最適化された形状が関連付けられており、上記参照領域変更手段が、上記参照領域の形状を、該参照領域と少なくとも一部が重複する単位領域が属する単位領域グループについて最適化するので、上記単位領域毎に最適な参照領域を用いてフィルタ処理を行うことができる。従って、上記の構成によれば、予測画像の生成により適した出力画像を生成することができる。
また、上記方向性識別手段は、上記入力画像に対応する参照画像を参照して画面内予測によって各単位領域における予測画像を生成する際に用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて、各単位領域における上記入力画像の方向性を識別するものである、ことが好ましい。
発明者は、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格やＫＴＡソフトウェアなどに採用されている画面内予測においては、各単位領域における予測画像を画面内予測によって生成する際に参照される予測パラメータ（イントラ予測モード）は、該単位領域における上記入力画像の方向性と相関を有していることを見出した。
また、発明者は、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ規格やＫＴＡソフトウェアなどに採用されている画面内予測およびその拡張方式に用いられている画面内予測において設定される各単位領域（予測単位、または、パーティションとも呼称する）の形状は、該単位領域における上記入力画像の方向性と相関を有していることを見出した。例えば、単位領域の長手方向が横方向である場合には、該単位領域における上記入力画像は、横方向のエッジを有する傾向があり、単位領域の長手方向が縦方向である場合には、該単位領域における上記入力画像は、縦方向のエッジを有する傾向がある。
上記の構成によれば、上記方向性識別手段は、各単位領域における上記入力画像の方向性を、上記入力画像に対応する参照画像を参照して画面内予測によって各単位領域における予測画像を生成する際に用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて識別するので、上記入力画像の方向性を、エッジ検出などの画素値を参照する計算を行うことなく、識別することができる。
したがって、上記の構成によれば、各単位領域における上記入力画像の方向性を識別するための処理量を削減しつつ、該方向性に応じて適切なフィルタ処理を行うことができる。
なお、上記入力画像とは、例えば、上記画像フィルタ装置が、復号装置において用いられる場合には、上記予測画像に、符号化データから復号された残差画像を加算することによって得られるものであり、上記画像フィルタ装置が、符号化装置において用いられる場合には、上記予測画像に、該予測画像と符号化対象画像との残差画像を加算することによって得られるものである。
また、上記画面内予測において参照される上記入力画像に対応する参照画像とは、上記画像フィルタ装置に入力される上記入力画像と同一フレーム内の画像であって、処理対象となる単位領域から所定の距離以内にある画像であることが好ましい。また、上記画像フィルタ装置が、復号装置において用いられる場合には、上記参照画像として、上記入力画像と同一フレーム内の画像であって、処理対象の単位領域から所定の距離以内にある復号済みの画像を用いることができる。
また、本発明に係る画像フィルタ装置においては、上記単位領域グループ毎に上記参照領域の最適化された形状が関連付けられており、上記参照領域の形状を、該参照領域と少なくとも一部が重複する単位領域が属する単位領域グループについて最適化する参照領域変更手段を更に備えている、ことが好ましい。
上記の構成によれば、上記単位領域グループ毎に上記参照領域の最適化された形状が関連付けられており、上記参照領域変更手段が、上記参照領域の形状を、該参照領域と少なくとも一部が重複する単位領域が属する単位領域グループについて最適化するので、上記単位領域毎に最適な参照領域を用いてフィルタ処理を行うことができる。従って、上記の構成によれば、予測画像の生成により適した出力画像を生成することができる。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置と、各単位領域における予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像（フィルタ後の復号画像）を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像の方向性が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置を備え、上記画像フィルタ装置は、上記入力画像に対応する参照画像を参照して画面内予測によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、画面内予測によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像（フィルタ後の復号画像）を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像の方向性が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、上記画像フィルタ装置が、画面内予測において用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて、各単位領域における上記入力画像の方向性を識別するものである場合には、上記入力画像の方向性を、エッジ検出などの画素値を参照する計算を行うことなく識別できるので、方向性を識別するための処理量を削減しつつ、符号化効率の高い符号化データを復号することができる。
また、上記画面内予測において参照される上記入力画像に対応する参照画像とは、上記画像フィルタ装置に入力される上記入力画像と同一フレーム内の画像であって、処理対象となる単位領域から所定の距離以内にある画像であることが好ましい。また、上記参照画像として、上記入力画像と同一フレーム内の画像であって、処理対象の単位領域から所定の距離以内にある復号済みの画像を用いることができる。
また、上記フィルタ手段は、符号化データから復号された、複数のフィルタ係数群の各々に関連付けられた方向性情報を参照して、該符号化データに含まれる上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出する、ことが好ましい。
上記の構成によれば、上記フィルタ手段は、符号化データから復号された、複数のフィルタ係数群の各々に関連付けられた方向性情報を参照して、該符号化データに含まれる上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出するので、上記符号化データを生成する符号化装置にて用いられた各フィルタ係数群を、該符号化装置にて分類された単位領域グループに適切に割り付けることができる。
したがって、上記の構成によれば、当該画像フィルタ装置に入力される入力画像に対して、符号化装置にて用いられたフィルタ係数群を適切に用いてフィルタ処理を行うことができる。また、上記の構成を有する画像フィルタ装置を備える復号装置は、符号化装置によって生成された高い符号化効率を有する符号化データを適切に復号することができる。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置と、各単位領域における上記予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記の構成を有する本発明に係る符号化装置によれば、当該符号化装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。また、予測精度が向上するため、上記符号化装置は、符号化効率の高い符号化データを生成することができる。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置を備え上記画像フィルタ装置は、上記入力画像に対応する参照画像を参照して画面内予測によって生成された予測画像と、上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、画面内予測によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、上記入力画像（復号画像）の方向性に応じて上記単位領域グループ毎に最適化されたフィルタ係数群を用いて出力画像を生成するので、上記入力画像の方向性が、単位領域毎に異なるような場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
また、上記画像フィルタ装置が、画面内予測において用いられる予測パラメータの示す方向、および、各単位領域の形状の少なくとも何れかに基づいて、各単位領域における上記入力画像の方向性を識別するものである場合には、上記入力画像の方向性を、エッジ検出などの画素値を参照する計算を行うことなく識別できるので、方向性を識別するための処理量を削減しつつ、符号化効率の高い符号化データを生成することができる。
また、上記画面内予測において参照される上記入力画像に対応する参照画像とは、上記画像フィルタ装置に入力される上記入力画像と同一フレーム内の画像であって、処理対象となる単位領域から所定の距離以内にある画像であることが好ましい。また、上記参照画像として、上記入力画像と同一フレーム内の画像であって、処理対象の単位領域から所定の距離以内にある復号済みの画像を用いることができる。
また、上記フィルタ手段によって用いられるフィルタ係数群は、符号化対象画像と上記出力画像との相違を単位領域グループ毎に最小化するように定められたものである、ことが好ましい。
上記の構成によれば、上記フィルタ手段によって用いられるフィルタ係数群は、符号化対象画像と上記出力画像との相違を単位領域グループ毎に最小化するように定められたものであるため、上記フィルタ手段を備える符号化装置は、予測精度の高い予測画像を生成することができ、また、それにより、符号化効率の高い符号化データを生成することができる。
また、本発明に係る符号化データのデータ構造は、出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置が参照する符号化データのデータ構造であって、複数のフィルタ係数群と、上記複数のフィルタ係数群の各々に関連付けられた方向性情報と、を含み、上記画像フィルタ装置は、上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性が予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記方向性情報を参照して上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出する、ことを特徴としている。
上記のように構成された本発明に係る符号化データは、複数のフィルタ係数群と、上記複数のフィルタ係数群の各々に関連付けられた方向性情報とを含んでいるため、上記符号化データを参照する上記画像フィルタ装置は、上記方向性情報を参照して上記複数のフィルタ係数群から上記複数の単位領域グループの各々について最適化されたフィルタ係数群を選択すると共に、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて選択されたフィルタ係数群を用いて算出するので、上記入力画像の方向性が、単位領域毎に異なるような場合に、予測画像を生成するためのより好適な出力画像を生成することができるという効果を奏する。したがって、上記のように構成された本発明に係る画像フィルタ装置が生成する出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、画面内予測を用いて単位領域毎に生成された入力画像から出力画像を生成する画像フィルタ装置であって、出力画像における各画素の画素値を、該画素の位置に応じて定まる参照領域内の入力画像の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類手段と、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するフィルタ手段と、を備えていることを特徴としている。
発明者は、画面内予測を用いて単位領域毎に生成された入力画像を構成する単位領域（予測単位）の形状および大きさ違いに応じて、単位領域毎にフィルタ係数群を切り替えることにより、予測画像を生成するためのより好適な出力画像を生成することができるので、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができることを見出した。
上記のように構成された画像フィルタ装置によれば、上記分類手段が、各単位領域の形状および大きさが、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類し、上記フィルタ手段が、上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループについて最適化されたフィルタ係数群を用いて算出するので、上記入力画像が、活性度によってフィルタ係数群を切り替えたとしても符号化効率が向上しない画像特性を有するものであっても、上記出力画像を参照して生成される予測画像の予測精度を向上させることができる。
また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用するフィルタ手段と、各単位領域における上記入力画像の画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、上記第１及び第２の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割する特性値分割手段と、を備え、上記フィルタ手段は、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて算出する、ことを特徴としている。
上記のように構成された本発明に係る画像フィルタ装置は、互いに導出方法の異なる第１及び第２の特性値によって張られる特性値領域を、特性値分割情報に従って複数の特性値部分領域に分割し、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用する。
したがって、上記の構成によれば、単位領域毎に、第１及び第２の特性値に応じて設定されたフィルタ係数を用いたフィルタ処理を行うので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、単位領域毎に適切なフィルタ係数を用いたフィルタ処理を行うことができる。また、上記のように構成された画像フィルタ装置の出力画像を参照して生成される予測画像の予測精度を向上させることができる。
なお、上記第１及び第２の特性値は、互いに導出方法が異なっているため、それらによって、２次元の特性値領域が張られる。また、２次元の特性値領域を張ることのできる２つの特性値であれば、上記第１及び第２の特性値として用いることができる。
また、上記単位領域とは、上記入力画像を構成する複数の重複しない領域の各々ことを表すものとする。上記画像フィルタ装置が、画像を符号化する符号化装置、および、符号化データから画像を復号する復号装置において用いられる場合には、上記単位領域を、例えば、予測画像を生成する単位である予測単位（パーティション）としてもよいし、周波数変換の単位である変換単位としてもよいし、符号化の単位としてもよいし、それら以外のものとしてもよい。
また、上記特性値分割手段は、上記特性値領域を、第１の分割によって１または複数の特性値部分領域に分割したうえで、当該第１の分割によって得られた各特性値部分領域を、第２の分割によって１または複数の特性値部分領域に更に分割するものである、ことが好ましい。
上記の構成によれば、上記特性値分割手段は、上記第１及び第２の分割によって、特性値領域を階層的に分割する。したがって、上記第１の分割によって得られた各特性値部分領域を、上記第２の分割によって更に細かく分割することができる。
したがって、上記の構成によれば、より細かく分割された特性値部分領域の各々に対してフィルタ係数を設定することができるので、より適切なフィルタ処理を行うことができる。
また、上記第１の分割は、上記第１の特性値に関するものであり、上記第２の分割は、上記第２の特性値に関するものである、ことが好ましい。
上記の構成によれば、上記特性値分割手段は、上記第１の特性値に関する第１の分割を行い、当該第１の分割によって得られた特性値部分領域の各々について、上記第２の特性値に関する第２の分割を行う。
したがって、上記の構成によれば、第１の特性値に関して分割された各特性値部分領域を、第２の特性値に関して更に分割することができるので、より適切なフィルタ処理を行うことができる。
なお、上記第１の特性値として、上記第２の特性値よりも優先度の高いものを用いることも可能である。例えば、上記画像フィルタ装置の出力画像を参照して予測画像を生成する場合、上記第１の特性値として、上記第２の特性値よりも予測精度の向上が期待できる特性値、すなわち、上記第２特性値よりも優先度の高い特性値を用いることも可能である。このように、優先度の高い特性値を第１の特性値として用いることによって、処理量の増大を抑えつつ、より適切なフィルタ処理を行うことができる。
また、上記第１の分割は、上記第１の特性値に関するものであり、上記第２の分割は、上記第１の特性値及び上記第２の特性値に関するものである、ことが好ましい。
上記の構成によれば、上記特性値分割手段は、上記第１の特性値に関する第１の分割を行い、当該第１の分割によって得られた特性値部分領域の各々について、上記第１及び第２の特性値に関する第２の分割を行う。
したがって、上記の構成によれば、第１の特性値に関して分割された各特性値部分領域を、第１及び第２の特性値に関して更に分割することができるので、より適切なフィルタ処理を行うことができる。
なお、上記第１の特性値として、上記第２の特性値よりも優先度の高いものを用いることも可能である。例えば、上記画像フィルタ装置の出力画像を参照して予測画像を生成する場合、上記第１の特性値として、上記第２の特性値よりも予測精度の向上が期待できる特性値、すなわち、上記第２特性値よりも優先度の高い特性値を用いることも可能である。このように、優先度の高い特性値を第１の特性値として用いることによって、処理量の増大を抑えつつ、より適切なフィルタ処理を行うことができる。
また、本発明に係る上記画像フィルタ装置は、外部から取得したタップ数指定情報に従って、上記フィルタ手段のタップ数を、上記第１の分割によって得られた特性値部分領域毎に設定するタップ数設定手段を更に備えている、ことが好ましい。
上記の構成によれば、上記画像フィルタ装置は、上記フィルタ手段のタップ数を、上記第１の分割によって得られた特性値部分領域毎に設定する。したがって、上記の構成によれば、上記第１の分割によって得られた特性値部分領域毎に設定されたタップ数を用いてフィルタ処理を行うので、より適切なフィルタ処理を行うことができる。
また、上記の構成によれば、上記第１の分割によって得られた特性値部分領域毎にタップ数を設定するので、上記第２の分割によって得られた特性値部分領域毎にタップ数を設定する場合に比べて、処理量の増大を抑制することができる。また、上記のように構成された画像フィルタ装置を、符号化データを復号する復号装置、または、符号化データを生成する符号化装置に用いる場合、符号量の増大を抑制しつつ、予測制度の向上を図ることができるので、符号化効率が向上する。
また、本発明に係る上記画像フィルタ装置は、外部から取得したオンオフ指定情報に従って、上記フィルタ手段のオンオフを、上記第２の分割によって得られた特性値部分領域毎に制御するオンオフ制御手段を更に備えている、ことが好ましい。
上記の構成によれば、上記画像フィルタ装置は、上記フィルタ手段のオンオフを、上記第２の分割によって得られた特性値部分領域毎に制御するので、フィルタ処理を行うことによってむしろ符号化効率が低下してしまう単位領域については、フィルタ処理を施すことがない。したがって、上記の構成によれば、より適切なフィルタ処理を行うことができる。
また、上記第１の特性値は、各単位領域における上記入力画像の乱雑さを示すものである、ことが好ましい。
発明者は、各単位領域における入力画像の第１の特性値として、画像の乱雑さを示す特性値を用い、各単位領域における入力画像の第２の特性値として、画像の乱雑さとは導出方法の異なる特性値を用いることによって、適切なフィルタ処理を行うことができることを見出した。
したがって、上記の構成によれば、適切なフィルタ処理を行うことができる。また、上記のように構成された画像フィルタ装置を備える復号装置および符号化装置によれば、符号化効率を向上させることができる。
なお、画像の乱雑さとは、例えば、画像の活性度を指標として検出することもできるし、画素値の分散を指標として検出することもできる。
また、第２の特性値としては、画像の乱雑さとは導出方法の異なる特性値を用いればよい。例えば、第２の特性値として、画像の方向性、画素値の平均、および、対象となる単位領域のフレーム内座標などの何れかを用いることができる。
また、本発明に係る復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記画像フィルタ装置と、各単位領域における予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る復号装置によれば、当該復号装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用することによって出力画像（フィルタ後の復号画像）を生成するので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。
上記の構成に対応する構成を有する符号化装置によれば、各単位領域における符号化対象画像についての第１及び第２の特性値が単位領域毎に異なるような場合であっても、予測画像の予測精度を向上させることができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。
また、本発明に係る上記復号装置は、復号対象の特性値部分領域である対象特性値部分領域について設定されるフィルタ係数を、上記符号化データに含まれるフィルタ係数残差のうち、当該対象特性値部分領域についてのフィルタ係数残差と、当該対象特性値部分領域の周辺の特性値部分領域について復号済みのフィルタ係数とを加算することによって復号するフィルタ係数復号手段を更に備えている、ことが好ましい。
上記の構成によれば、復号対象の特性値部分領域である対象特性値部分領域について設定されるフィルタ係数を、上記符号化データに含まれるフィルタ係数残差のうち、当該対象特性値部分領域についてのフィルタ係数残差と、当該対象特性値部分領域の周辺の特性値部分領域について復号済みのフィルタ係数とを加算することによって復号するので、少ない符号量のフィルタ係数残差を参照することによって、各特性値部分領域についてのフィルタ係数を復号することができる。したがって、上記の構成によれば、符号量を削減しつつ、適切なフィルタ処理を行うことができるので、符号化効率が向上する。
また、本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置と、各単位領域における上記予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記のように構成された本発明に係る符号化装置によれば、当該符号化装置の備える上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、符号化対象画像と予測画像との残差画像を加算することによって得られる復号画像を入力画像とし、各特性値部分領域における入力画像に対して、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数を用いて作用することによって出力画像（フィルタ後の復号画像）を生成するので、各単位領域における上記入力画像の第１及び第２の特性値にばらつきがある場合であっても、予測画像を生成するために参照される画像として好適な出力画像を生成することができる。したがって、上記の構成によれば、上記予測画像生成手段が生成する予測画像の予測精度を向上が向上する。また、予測精度が向上するため、上記符号化装置は、符号化効率の高い符号化データを生成することができる。
また、本発明に係る上記符号化装置において、上記フィルタ手段によって用いられるフィルタ係数は、単位領域毎に、上記符号化対象画像と上記出力画像との相違がより小さくなるように定められたものである、ことが好ましい。
上記の構成によれば、上記フィルタ手段によって用いられるフィルタ係数は、単位領域毎に、上記符号化対象画像と上記出力画像との相違がより小さくなるように定められたものであるため、符号化対象画像との相違がより小さい出力画像を参照して予測画像を生成することができるので、符号化効率が向上する。
また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各単位領域における画像特性を示す特性値であって、互いに導出方法の異なる第１及び第２の特性値を算出する特性値算出手段と、当該第１及び第２の特性値によって張られる特性値領域を複数の特性値部分領域に分割する特性値分割手段と、各単位領域における出力画像の各画素値を、該単位領域について算出された第１及び第２の特性値の属する特性値部分領域について設定されたフィルタ係数群を用いて算出するフィルタ手段と、を備えている画像フィルタ装置によって参照される符号化データのデータ構造において、上記特性値分割手段によって参照される特性値分割情報であって、上記特性値領域の分割の仕方を指定する特性値分割情報と、上記フィルタ手段によって用いられるフィルタ係数であって、上記特性値部分領域の各々についてのフィルタ係数と、を含んでいることを特徴としている。
上記のように構成された符号化データを参照する上記画像フィルタ装置は、上記符号化データに含まれる特性値分割情報に従って、上記第１及び第２の特性値によって張られる特性値領域を複数の特性値部分領域に分割すると共に、上記符号化データに含まれる、各特性値部分領域についてのフィルタ係数を用いて入力画像に対するフィルタ処理を施す。
したがって、上記のように構成された符号化データを参照する画像フィルタ装置によれば、入力画像に対して、特性値部分領域毎に設定されたフィルタ係数を用いて適切なフィルタ処理を行うことができる。
また、上記特性値分割手段は、上記特性値領域を、第１の分割によって複数の特性値部分領域に分割したうえで、当該第１の分割によって得られた各特性値部分領域を、第２の分割によって複数の特性値部分領域に更に分割するものであり、上記特性値分割情報は、上記第１の分割における分割点を指定する第１分割点指定情報と、上記第２の分割における分割点を指定する第２分割点指定情報と、を含んでいることが好ましい。
上記のように構成された符号化データを参照する上記画像フィルタ装置は、上記第１分割点指定情報によって指定される分割点を用いて上記第１の分割を行い、上記第２分割点指定情報によって指定される分割点を用いて上記第２の分割を行うので、第１及び第２の特性値によって張られる特性値領域を適切に分割することができる。
また、上記のように構成された符号化データを生成する符号化装置は、符号化効率が向上するように第１及び第２の分割における分割点を設定し、設定された分割点を示す情報を上記第１及び第２分割点指定情報として、上記符号化データに含めておくことができる。したがって、そのように構成された上記符号化データを参照する画像フィルタ装置は、符号化装置において符号化効率が向上するように設定された分割点を用いたフィルタ処理を行うことができる。
また、本発明に係る符号化データは、上記フィルタ手段のタップ数を、上記第１の分割によって得られた特性値部分領域毎に指定するするタップ数指定情報を更に含んでいる、ことが好ましい。
上記のように構成された符号化データを参照する画像フィルタ装置は、上記タップ数指定情報に従って、上記フィルタ手段のタップ数を、上記第１の分割によって得られた特性値部分領域毎に設定する。したがって、上記のように構成された符号化データを参照する画像フィルタ装置によれば、上記第１の分割によって得られた特性値部分領域毎に設定されたタップ数を用いてフィルタ処理を行うので、より適切なフィルタ処理を行うことができる。
また、本発明に係る符号化データは、上記フィルタ手段のオンオフを、上記第２の分割によって得られた特性値部分領域毎に指定するオンオフ指定情報を更に含んでいる、ことが好ましい。
上記のように構成された符号化データを参照する画像フィルタ装置は、上記オンオフ指定情報に従って、上記フィルタ手段のオンオフを、上記第２の分割によって得られた特性値部分領域毎に制御するので、フィルタ処理を行うことによってむしろ符号化効率が低下してしまう単位領域については、フィルタ処理を施すことがない。したがって、上記の構成によれば、より適切なフィルタ処理を行うことができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データにフィルタリングを行う画像フィルタに好適に用いることができる。また、符号化データを復号する復号装置、および、符号化データを符号化する符号化装置に好適に適用することができる。
１ 動画像復号装置（復号装置）
１６ インター予測画像生成部（予測画像生成手段）
１７ イントラ予測画像生成部（予測画像生成手段）
４２ 適応フィルタ（画像フィルタ装置）
４２１ 予測モード／サイズ蓄積部
４２２ エッジ方向検出部（方向性識別手段）
４２３ 活性度算出部（活性度算出手段）
４２４ 領域分類部（方向性識別手段、分類手段）
４２５ フィルタ処理部（フィルタ手段、参照領域変更手段）
２ 動画像符号化装置（符号化装置）
２５ イントラ予測画像生成部（予測画像生成手段）
２６ インター予測画像生成部（予測画像生成手段）
３４ 適応フィルタ（画像フィルタ装置）
３４０ 領域分割部
３４１ 予測モード／サイズ蓄積部
３４２ エッジ方向検出部（方向性識別手段）
３４３ 活性度算出部（活性度算出手段）
３４４ 領域分類部（方向性識別手段、分類手段）
３４５ フィルタ処理部（フィルタ手段、参照領域変更手段）
３４６ フィルタパラメータ導出部
３，５ 動画像復号装置（復号装置）
５０，６０，７０，８０ 適応フィルタ（画像フィルタ装置）
５１ 適応フィルタ情報復号部
５１１ 領域別タップ数復号部（タップ数設定手段）
５１２ 領域構造復号部
５１３ フィルタ係数残差復号部
５１４ ２次元予測フラグ復号部
５１５ フィルタ係数予測部
５１６ フィルタ係数復号部（フィルタ係数復号手段）
５１７ 特性別フィルタ係数格納部
５１８ 特性値分割点変更フラグ復号部
５１９ 特性値分割点設定部（特性値分割手段）
５２ 適応フィルタ部
５２１ 第１特性値算出部（特性値算出手段）
５２２ 第２特性値算出部（特性値算出手段）
５２３ 特性インデックス算出部
５２４ フィルタ係数割り付け部
５２５ フィルタ部（フィルタ手段）
７３１ 適応的フィルタオフ復号部（オンオフ制御手段）
４，６ 動画像符号化装置（符号化装置）
ＣＲ 特性値領域
ＣＰＲ 特性値部分領域
ＰＸ１〜ＰＸ５ 特性値分割点（分割点）
ＰＹ１〜ＰＹ３ 特性値分割点（分割点）

Claims (4)

  1. 出力画像における各画素の画素値を、入力画像における該画素の位置に応じて定まる参照領域内の画素値と、フィルタ係数群とから算出する画像フィルタ装置において、
    上記入力画像を構成する複数の単位領域の各々における上記入力画像の方向性を２つ以上の活性度の比較に基づいて識別する方向性識別部と、
    上記複数の単位領域の各々における上記入力画像の活性度を算出する活性度算出部と、
    上記方向性識別部および上記活性度算出部によって識別された上記方向性および上記活性度が、予め定められた複数のグループの何れに属するかに応じて、各単位領域を複数の単位領域グループの何れかに分類する分類部と、
    上記出力画像における各画素の画素値を、該画素を含む単位領域が属する単位領域グループのフィルタ係数群を用いて算出するフィルタ部と、を備えている、
    ことを特徴とする画像フィルタ装置。
  2. 上記方向性識別部は、上記入力画像に対応する参照画像を参照して画面内予測によって各単位領域における予測画像を生成する際に用いられる予測パラメータの示す方向に基づいて、各単位領域における上記入力画像の方向性を識別するものである、
    ことを特徴とする請求項１に記載の画像フィルタ装置。
  3. 符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、
    請求項１又は２に記載の画像フィルタ装置と、
    各単位領域における予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成部と、を備え、
    上記画像フィルタ装置は、上記予測画像生成部によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、
    ことを特徴とする復号装置。
  4. 符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、
    請求項１又は２に記載の画像フィルタ装置と、
    各単位領域における上記予測画像を、上記画像フィルタ装置が生成した出力画像を参照して生成する予測画像生成部と、を備え、
    上記画像フィルタ装置は、上記予測画像生成部によって生成された予測画像と、上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、
    ことを特徴とする符号化装置。
JP2018111355A 2010-06-17 2018-06-11 復号装置および符号化装置 Active JP6561174B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010138675 2010-06-17
JP2010138675 2010-06-17
JP2010294114 2010-12-28
JP2010294114 2010-12-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017029390A Division JP6353943B2 (ja) 2010-06-17 2017-02-20 画像フィルタ装置、復号装置、符号化装置、および、データ構造

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019132788A Division JP6759428B2 (ja) 2010-06-17 2019-07-18 復号装置、符号化装置、復号方法および符号化方法

Publications (3)

Publication Number Publication Date
JP2018157596A true JP2018157596A (ja) 2018-10-04
JP2018157596A5 JP2018157596A5 (ja) 2019-03-28
JP6561174B2 JP6561174B2 (ja) 2019-08-14

Family

ID=45348065

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2012520365A Pending JPWO2011158657A1 (ja) 2010-06-17 2011-06-02 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2017029390A Expired - Fee Related JP6353943B2 (ja) 2010-06-17 2017-02-20 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2018111355A Active JP6561174B2 (ja) 2010-06-17 2018-06-11 復号装置および符号化装置
JP2019132788A Active JP6759428B2 (ja) 2010-06-17 2019-07-18 復号装置、符号化装置、復号方法および符号化方法
JP2020145337A Active JP6916939B2 (ja) 2010-06-17 2020-08-31 復号装置、符号化装置、復号方法および符号化方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2012520365A Pending JPWO2011158657A1 (ja) 2010-06-17 2011-06-02 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2017029390A Expired - Fee Related JP6353943B2 (ja) 2010-06-17 2017-02-20 画像フィルタ装置、復号装置、符号化装置、および、データ構造

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019132788A Active JP6759428B2 (ja) 2010-06-17 2019-07-18 復号装置、符号化装置、復号方法および符号化方法
JP2020145337A Active JP6916939B2 (ja) 2010-06-17 2020-08-31 復号装置、符号化装置、復号方法および符号化方法

Country Status (5)

Country Link
US (1) US8995776B2 (ja)
EP (1) EP2584781A4 (ja)
JP (5) JPWO2011158657A1 (ja)
CN (4) CN110430428B (ja)
WO (1) WO2011158657A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270871B2 (en) * 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
PT3370421T (pt) 2010-12-21 2020-02-28 Ntt Docomo Inc Codificação com intra-predição melhorada utilizando representações planares
JP5627507B2 (ja) * 2011-01-12 2014-11-19 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
WO2012137890A1 (ja) * 2011-04-05 2012-10-11 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
AU2015255161B2 (en) * 2012-01-06 2017-03-16 Sony Corporation Image Processing Device and Method
JP5770647B2 (ja) * 2012-01-18 2015-08-26 日本電信電話株式会社 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム
RU2616598C1 (ru) * 2012-01-19 2017-04-18 Мицубиси Электрик Корпорейшн Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
RU2716060C1 (ru) * 2012-04-06 2020-03-05 Сони Корпорейшн Устройство декодирования и способ декодирования и устройство кодирования и способ кодирования
JP6005847B2 (ja) * 2012-06-15 2016-10-12 インテル コーポレイション スケーラブルなビデオコーディングのためのアダプティブフィルタリング
WO2014052602A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Method and apparatus of edge guided processing for video coding
JP6212890B2 (ja) * 2013-03-22 2017-10-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
US9544613B2 (en) * 2013-04-24 2017-01-10 Sony Corporation Local detection model (LDM) for recursive motion estimation
JP6171627B2 (ja) * 2013-06-28 2017-08-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
CN104282030A (zh) * 2013-07-12 2015-01-14 富士通株式会社 图像压缩装置及方法
JP6174966B2 (ja) * 2013-10-17 2017-08-02 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
CN104754362B (zh) * 2014-01-01 2021-11-02 上海天荷电子信息有限公司 使用精细划分块匹配的图像压缩方法
CN104615585B (zh) 2014-01-06 2017-07-21 腾讯科技（深圳）有限公司 处理文本信息的方法及装置
CN104796725B (zh) * 2014-01-21 2019-10-01 Vixs系统公司 具有帧内预测预处理的视频编码器及与其一起使用的方法
KR102132522B1 (ko) * 2014-02-27 2020-07-09 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오/비디오 샘플 벡터의 피라미드 벡터 양자화 인덱싱 및 디인덱싱을 위한 방법 및 장치
BR112016013761B1 (pt) 2014-05-23 2023-03-14 Huawei Technologies Co., Ltd Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador
KR20180019548A (ko) 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
US10750170B2 (en) * 2015-06-18 2020-08-18 Lg Electronics Inc. Image filtering method and device in image coding system
US11064195B2 (en) * 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
EP3456043A4 (en) * 2016-05-28 2019-11-27 MediaTek Inc. METHOD AND DEVICE FOR REFERENCING THE CURRENT IMAGE FOR VIDEO CODING USING AFFINER MOTION COMPENSATION
TWI604731B (zh) * 2016-08-05 2017-11-01 瑞昱半導體股份有限公司 影像濾波方法及其影像濾波裝置
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
KR102477784B1 (ko) * 2017-01-12 2022-12-15 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
JP6904156B2 (ja) * 2017-08-10 2021-07-14 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2019129371A (ja) * 2018-01-23 2019-08-01 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110956594B (zh) * 2019-11-27 2023-12-01 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
US11610340B2 (en) * 2020-04-17 2023-03-21 Tencent America LLC Edge enhancement filter
US11611770B2 (en) 2020-10-14 2023-03-21 Tencent America LLC Method and apparatus for video coding

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
JP2009095004A (ja) * 2007-10-03 2009-04-30 Mitsubishi Electric Research Laboratories Inc 画像シーケンス中の画素をフィルタリングする方法
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号装置
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
WO2010047104A1 (ja) * 2008-10-22 2010-04-29 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010083438A2 (en) * 2009-01-15 2010-07-22 Qualcomn Incorporated Filter prediction based on activity metrics in video coding
JP2011223338A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2759939B2 (ja) * 1986-03-14 1998-05-28 キヤノン株式会社 画像処理システム
JPH05143726A (ja) * 1991-11-25 1993-06-11 Canon Inc 画像処理方法及び装置
KR960015396B1 (ko) * 1992-02-28 1996-11-11 삼성전자 주식회사 고정비트율 압축부호화방법
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2006157267A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
KR100695155B1 (ko) * 2005-06-18 2007-03-14 삼성전자주식회사 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN1905622A (zh) * 2006-08-11 2007-01-31 威盛电子股份有限公司 动态选择模块与动态选择滤波器系数组的方法
CN101548318B (zh) * 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
CN101742292B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 基于图像内容信息的环路滤波方法和滤波器
CN101674475B (zh) * 2009-05-12 2011-06-22 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
JP5335574B2 (ja) * 2009-06-18 2013-11-06 キヤノン株式会社 画像処理装置及びその制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
JP2009095004A (ja) * 2007-10-03 2009-04-30 Mitsubishi Electric Research Laboratories Inc 画像シーケンス中の画素をフィルタリングする方法
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号装置
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
WO2010047104A1 (ja) * 2008-10-22 2010-04-29 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010083438A2 (en) * 2009-01-15 2010-07-22 Qualcomn Incorporated Filter prediction based on activity metrics in video coding
JP2011223338A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTA KARCZEWICZ ET AL.: "Video coding technology proposal by Qualcomm Inc.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A121, JPN6019012171, April 2010 (2010-04-01), pages 1 - 12, ISSN: 0004010921 *
TOMOHIRO IKAI AND YUKINOBU YASUGI: "Region-based adaptive loop filter using two-dimensional feature", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D116, JPN6019012174, January 2011 (2011-01-01), pages 1 - 12, ISSN: 0004010922 *

Also Published As

Publication number Publication date
JP6353943B2 (ja) 2018-07-04
JP6561174B2 (ja) 2019-08-14
US8995776B2 (en) 2015-03-31
JP6916939B2 (ja) 2021-08-11
CN110430428B (zh) 2022-02-11
US20130136371A1 (en) 2013-05-30
WO2011158657A1 (ja) 2011-12-22
CN106454356B (zh) 2019-11-08
CN102948151B (zh) 2016-08-03
CN102948151A (zh) 2013-02-27
EP2584781A4 (en) 2016-03-09
JP2019198114A (ja) 2019-11-14
JPWO2011158657A1 (ja) 2013-08-19
JP2017085674A (ja) 2017-05-18
CN106454356A (zh) 2017-02-22
CN106060546A (zh) 2016-10-26
JP2020191690A (ja) 2020-11-26
JP6759428B2 (ja) 2020-09-23
CN110430428A (zh) 2019-11-08
EP2584781A1 (en) 2013-04-24

Similar Documents

Publication Publication Date Title
JP6561174B2 (ja) 復号装置および符号化装置
KR101988888B1 (ko) 화면 내 예측 모드에 대한 부호화/복호화 방법 및 장치
EP4221202A1 (en) Image encoding and decoding method and image decoding device
EP3598760A1 (en) Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therfor
JP7395518B2 (ja) マージモードに基づくインター予測方法及び装置
KR101809630B1 (ko) 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치
KR20130091800A (ko) 인트라 예측 복호화 방법
KR102558269B1 (ko) 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
KR101782154B1 (ko) 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR102628693B1 (ko) 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR101966195B1 (ko) 화면내 예측에서의 참조 화소 구성에 관한 부호화/복호화 방법 및 장치
KR102476230B1 (ko) 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR20190008809A (ko) 복수의 참조 화소 계층을 지원하는 영상 복호화 방법 및 장치
JP2014197722A (ja) 画像フィルタ装置、復号装置、符号化装置、および、データ構造

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6561174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150