CN102948151B - 图像滤波装置、解码装置及编码装置 - Google Patents

图像滤波装置、解码装置及编码装置 Download PDF

Info

Publication number
CN102948151B
CN102948151B CN201180029034.8A CN201180029034A CN102948151B CN 102948151 B CN102948151 B CN 102948151B CN 201180029034 A CN201180029034 A CN 201180029034A CN 102948151 B CN102948151 B CN 102948151B
Authority
CN
China
Prior art keywords
image
prediction
subregion
characteristic value
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180029034.8A
Other languages
English (en)
Other versions
CN102948151A (zh
Inventor
猪饲知宏
山本智幸
山崎隆纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201910715384.8A priority Critical patent/CN110430428B/zh
Priority to CN201610457977.5A priority patent/CN106060546A/zh
Priority to CN201610457965.2A priority patent/CN106454356B/zh
Publication of CN102948151A publication Critical patent/CN102948151A/zh
Application granted granted Critical
Publication of CN102948151B publication Critical patent/CN102948151B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明提供一种图像滤波装置、解码装置、编码装置及数据结构。自适应滤波器(42)具备：对构成输入图像的多个单位区域的每一个中的输入图像的方向性进行识别的边缘方向检测部(422)；根据由边缘方向检测部(422)识别出的各单位区域中的输入图像的方向性属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的区域分类部(424)；将输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波处理部(425)。

Description

图像滤波装置、解码装置及编码装置
技术领域
本发明涉及进行图像的滤波的图像滤波装置。另外，本发明涉及具备这样的图像滤波器的编码装置及解码装置。另外，本发明涉及由这样的解码装置解码的编码数据的数据结构。
背景技术
为了高效地对运动图像进行传输或记录，使用了通过对运动图像进行编码而生成编码数据的运动图像编码装置(编码装置)、以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置(解码装置)。作为具体的运动图像编码方式，例如可列举H.264/MPEG-4.AVC(非专利文献1)、以及作为VCEG(VideoCodingExpertGroup，视频编码专家组)中的共同开发用编解码器的KTA软件中采用的方式等。
在这样的编码方式中，对于构成运动图像的图像(图片)，利用通过对图像进行分割而得到的切片、通过对切片进行分割而得到的宏块、以及通过对宏块进行分割而得到的块所构成的阶层结构来管理，通常按块进行编码。
另外，在这样的编码方式中，通常，基于对输入图像进行编码/解码而得到的局部解码图像来生成预测图像，对该预测图像与输入图像之间的差分数据进行编码。另外，作为预测图像的生成方法，已知有被称为画面间预测(帧间预测)及画面内预测(帧内预测)的方法。
在帧内预测中，基于同一帧内的局部解码图像来依次生成该帧中的预测图像。具体而言，在帧内预测中，通常，按每个预测单位(例如块)，从预先规定的预测方向(预测模式)群所包含的预测方向中选择某一预测方向，并且在选择出的预测方向上外插局部解码图像中的参照像素的像素值，由此生成预测对象区域上的预测像素值。另外，在帧间预测中，通过对整个帧被解码后的参照帧(解码图像)内的参照图像应用利用了运动向量的运动补偿，从而按每个预测单位(例如块)来生成预测对象帧内的预测图像。
在非专利文献2及非专利文献3中，公开了将(局部)解码图像分割成多个区域，并根据表示各区域中的(局部)解码图像的局部杂乱度的活性度(Activity)的大小，按每个区域在切换滤波器系数群的同时进行滤波处理的自适应循环滤波器(AdaptiveLoopFilter)(以下也仅称为“自适应滤波器”)。在此，每个区域的滤波器系数群由编码装置按照使该区域中的滤波完毕的图像与编码对象图像之间的误差最小的方式来决定。
具备这样的自适应滤波器的编码装置及解码装置，参照由该自适应滤波器对(局部)解码图像实施滤波处理而得到的滤波完毕的解码图像来生成预测图像，由此能够实现预测精度的提高及编码效率的提高。
先行技术文献
非专利文献
非专利文献1：「RecommendationITU-TH.264」，TelecommunicationStandardizationSectorofITU，03/2009(2009年3月公开)
非专利文献2：「VCEG-AL27」，TelecommunicationStandardizationSector，38thMeeting：London，UK/Geneva，CH，07/2009(2009年7月公开)
非专利文献3：「JCTVCA-A121」，JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11，1stMeeting：Dresden，DE，04/2010(2010年4月公开)
发明内容
(发明所要解决的课题)
然而，根据编码对象图像的特性如何，存在即使利用了非专利文献2及非专利文献3所公开的自适应滤波器，编码效率也未提高或者编码效率未提高到所期待的程度这样的问题。
本发明是鉴于上述问题并基于由发明人获得的见解而实现的，其目的在于，实现一种即使对于具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的(局部)解码图像，也能提高编码效率的图像滤波装置以及具备这样的图像滤波装置的解码装置及编码装置。
(用于解决课题的手段)
发明人鉴于上述问题得到了如下见解：根据编码对象图像的图像特性如何，不是与(局部)解码图像的局部活性度的大小相应地切换滤波器系数群，而是与(局部)解码图像的局部的方向性的差异相应地切换滤波器系数群，由此能够更有效地提高编码效率。
为了解决上述问题，本发明所涉及的图像滤波装置将输出图像中的各像素的像素值，基于根据输入图像中的该像素的位置而确定的参照区域内的像素值、和滤波器系数群来算出，其特征在于，具备：对构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别的方向性识别单元；根据由上述方向性识别单元识别出的各单位区域中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；和将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
发明人基于上述见解而发现：在输入到图像滤波装置的输入图像的方向性按构成输入图像的每个区域(单位区域)而不同的情况下，通过根据方向性的差异来切换滤波器系数群，能提高参照上述输出图像而生成的预测图像的预测精度。
根据如上述那样构成的本发明所涉及的图像滤波装置，上述方向性识别单元对构成输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别，上述分类单元根据属于预先规定的多个组之中的哪一个，将各单位区域分类到多个单位区域组中的任一个，上述滤波单元将输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出，因此在上述输入图像的方向性按每个单位区域而不同的情况下，能够根据该方向性进行适当的滤波处理。
因此，根据如上述那样构成的图像滤波装置，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
此外，各单位区域中的上述输入图像的方向性例如可定义为与各单位区域中的上述输入图像的局部梯度方向正交的方向。在此，图像的梯度是指，将像素(x，y)的像素值设为z(x，y)时，在以x、y、z为坐标的3维空间内定义的曲面{(x，y，z(x，y))|0≤x≤Nx，0≤y≤Ny，0≤z≤Nz)}的梯度。在此，Nx、Ny、Nz分别表示x方向的像素的总数、y方向的像素的总数、像素值z可取得的最大值。另外，各单位区域中的上述输入图像的方向性也可表现为各单位区域中的上述输入图像的像素值的相关更高的方向。
另外，上述方向性识别单元可采用通过检测输入图像的边缘来直接识别各单位区域中的上述输入图像的方向性的构成，在上述图像滤波装置与通过画面内预测来生成帧内预测图像的预测图像生成单元一起使用的情况下，也可采用根据生成帧内预测图像时参照的帧内预测模式所示的方向来间接地进行识别的构成，还可采用通过其他方法来识别的构成。
另外，设上述单位区域表示构成上述输入图像的多个不重叠的区域的每一个。在上述图像滤波装置被使用于对图像进行编码的编码装置、及根据编码数据来对图像进行解码的解码装置中的情况下，可以将上述单位区域例如设为生成预测图像的单位即预测单位(分区)，也可设为频率变换的单位即变换单位，还可设为此外的单位。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群生成输出图像(滤波后的解码图像)，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在各单位区域中的编码对象图像的方向性按每个单位区域而不同这样的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能对这种编码效率高的编码数据适当地进行解码。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备上述图像滤波装置，上述图像滤波装置，将对参照与上述输入图像对应的参照图像并通过画面内预测而生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对通过画面内预测所生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群生成输出图像(滤波后的解码图像)，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在各单位区域中的编码对象图像的方向性按每个单位区域而不同的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能够对这种编码效率高的编码数据适当地进行解码。
另外，由于上述图像滤波装置基于在画面内预测中使用的预测参数所表示的方向、及各单位区域的形状之中的至少任一者来识别各单位区域中的上述输入图像的方向性时，能够在不进行边缘检测等参照像素值的计算的情况下识别上述输入图像的方向性，因此能够在削减用于识别方向性的处理量的同时对编码效率高的编码数据进行解码。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的上述预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据具有上述构成的本发明所涉及的编码装置，该编码装置所具备的上述图像滤波装置，将对由上述预测图像生成单元生成的预测图像、和编码对象图像与预测图像之间的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群来生成输出图像，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。另外，由于预测精度提高，因此上述编码装置能够生成编码效率高的编码数据。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备上述图像滤波装置，上述图像滤波装置将对参照与上述输入图像对应的参照图像并通过画面内预测而生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置，将对由画面内预测生成的预测图像、和编码对象图像与预测图像之间的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群来生成输出图像，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
另外，上述图像滤波装置基于在画面内预测中使用的预测参数所表示的方向、及各单位区域的形状之中的至少任一者来识别各单位区域中的上述输入图像的方向性时，能够在不进行边缘检测等参照像素值的计算的情况下识别上述输入图像的方向性，因此能够在削减用于识别方向性的处理量的同时生成编码效率高的编码数据。
另外，本发明所涉及的编码数据的数据结构是图像滤波装置所参照的编码数据的数据结构，该图像滤波装置将输出图像中的各像素的像素值，基于根据输入图像中的该像素的位置而确定的参照区域内的像素值、和滤波器系数群来算出，该编码数据的数据结构的特征在于，包括：多个滤波器系数群；和与上述多个滤波器系数群的每一个关联的方向性信息，上述图像滤波装置根据构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，将各单位区域分类到多个单位区域组之中的任一个，并参照上述方向性信息从上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出。
根据如上述那样构成的本发明所涉及的编码数据包括：多个滤波器系数群；和与上述多个滤波器系数群的每一个关联的方向性信息，因此，参照上述编码数据的上述图像滤波装置，并参照上述方向性信息从上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出，因此，在上述输入图像的方向性按每个单位区域而不同的情况下，具有能够生成更适合生成预测图像的输出图像的效果。因此，能够提高参照如上述那样构成的本发明所涉及的图像滤波装置所生成的输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置是根据利用画面内预测而按每个单位区域所生成的输入图像来生成输出图像的图像滤波装置，将输出图像中的各像素的像素值，基于根据该像素的位置而确定的参照区域内的输入图像的像素值、和滤波器系数群来算出，该图像滤波装置的特征在于，具备：根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
发明人发现：根据构成利用画面内预测而按每个单位区域所生成的输入图像的单位区域(预测单位)的形状及大小差异，按每个单位区域切换滤波器系数群，能够生成更适合生成预测图像的输出图像，因此，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
根据如上述那样构成的图像滤波装置，上述分类单元根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，将各单位区域分类到多个单位区域组之中的任一个，上述滤波单元将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出，因此，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置的特征在于，具备：滤波单元，其作用于由多个单位区域构成的输入图像；特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示各单位区域中的上述输入图像的图像特性的特性值；和特性值分割单元，其将由上述第1及第2特性值展开的特性值区域按照特性值分割信息而分割成多个特性值部分区域，上述滤波单元将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数来算出。
如上述那样构成的本发明所涉及的图像滤波装置，将由导出方法互不相同的第1及第2特性值展开的特性值区域按照特性值分割信息分割成多个特性值部分区域，并对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数来进行作用。
因此，根据上述构成，按每个单位区域进行利用了根据第1及第2特性值而设定的滤波器系数的滤波处理，因此即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能按每个单位区域进行利用了适当的滤波器系数的滤波处理。另外，能够提高参照如上述那样构成的图像滤波装置的输出图像而生成的预测图像的预测精度。
其中，上述第1及第2特性值的导出方法互不相同，因此能够通过第1及第2特性值展开二维的特性值区域。另外，只要是能够展开二维的特性值区域的2个特性值，就可作为上述第1及第2特性值使用。
另外，上述单位区域是指构成上述输入图像的多个不重叠的区域的每一个。在上述图像滤波装置被使用于对图像进行编码的编码装置、及根据编码数据来对图像进行解码的解码装置中的情况下，可以将上述单位区域例如设为生成预测图像的单位即预测单位(分区)，也可设为频率变换的单位即变换单位，还可设为此外的单位。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，针对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数进行作用来生成输出图像(滤波后的解码图像)，因此，即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在针对各单位区域中的编码对象图像的第1及第2特性值按每个单位区域而不同这样的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能够对这种编码效率高的编码数据适当地进行解码。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的上述预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据如上述那样构成的本发明所涉及的编码装置，该编码装置所具备的上述图像滤波装置，将对由上述预测图像生成单元生成的预测图像、和编码对象图像与预测图像之间的残差图像进行相加而得到的解码图像作为输入图像，针对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数进行作用来生成输出图像(滤波后的解码图像)，因此，即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。另外，由于预测精度提高，因此上述编码装置能够生成编码效率高的编码数据。
另外，本发明所涉及的编码数据的数据结构是由图像滤波装置参照的编码数据的数据结构，所述图像滤波装置具备：特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示由多个单位区域构成的输入图像的各单位区域中的图像特性的特性值；特性值分割单元，其将由该第1及第2特性值展开的特性值区域分割成多个特性值部分区域；和滤波单元，其将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数群来算出，所述编码数据的数据结构的特征在于，包括：由上述特性值分割单元参照的、对上述特性值区域的分割方法进行指定的特性值分割信息；和由上述滤波单元使用的、针对上述特性值部分区域的每一个的滤波器系数。
参照如上述那样构成的编码数据的上述图像滤波装置按照上述编码数据所包含的特性值分割信息，将由上述第1及第2特性值展开的特性值区域分割成多个特性值部分区域，并且利用上述编码数据所包含的针对各特性值部分区域的滤波器系数来实施对输入图像的滤波处理。
因此，根据参照如上述那样构成的编码数据的图像滤波装置，能够针对输入图像，利用按每个特性值部分区域设定的滤波器系数进行适当的滤波处理。
(发明效果)
如上所述，本发明所涉及的图像滤波装置将输出图像中的各像素的像素值，基于根据输入图像中的该像素的位置而确定的参照区域内的像素值、和滤波器系数群来算出，具备：对构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别的方向性识别单元；根据由上述方向性识别单元识别出的各单位区域中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；和将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
根据上述图像滤波装置，能够根据各单位区域中的上述输入图像的方向性的差异进行适当的滤波处理。因此，根据如上述那样构成的图像滤波装置，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置是根据利用画面内预测而按每个单位区域生成的输入图像来生成输出图像的图像滤波装置，将输出图像中的各像素的像素值，基于根据该像素的位置而确定的参照区域内的输入图像的像素值、和滤波器系数群来算出，该图像滤波装置的特征在于，具备：根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；和将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
根据上述图像滤波装置，能够根据各单位区域的形状及大小的差异进行适当的滤波处理。因此，根据如上述那样构成的图像滤波装置，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置具备：滤波单元，其作用于由多个单位区域构成的输入图像；特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示各单位区域中的上述输入图像的图像特性的特性值；和特性值分割单元，其将由上述第1及第2特性值展开的特性值区域按照特性值分割信息而分割成多个特性值部分区域，上述滤波单元将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数来算出。
根据上述图像滤波装置，即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能按每个单位区域进行利用了适当的滤波器系数的滤波处理。
另外，本发明所涉及的编码数据的数据结构是由图像滤波装置参照的编码数据的数据结构，所述图像滤波装置具备：特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示由多个单位区域构成的输入图像的各单位区域中的图像特性的特性值；特性值分割单元，其将由该第1及第2特性值展开的特性值区域分割成多个特性值部分区域；和滤波单元，其将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数群来算出，所述编码数据的数据结构的特征在于，包括：由上述特性值分割单元参照的、对上述特性值区域的分割方法进行指定的特性值分割信息；和由上述滤波单元使用的、针对上述特性值部分区域的每一个的滤波器系数。
参照如上述那样构成的编码数据的上述图像滤波装置，能够针对输入图像利用按每个特性值部分区域设定的滤波器系数来进行适当的滤波处理。
附图说明
图1是表示本发明的第1实施方式所涉及的运动图像解码装置的构成的框图。
图2是表示由第1实施方式所涉及的运动图像编码装置生成、并由实施方式所涉及的运动图像解码装置解码的编码数据的构成例的图，(a)是表示编码数据的图像层的构成的图，(b)是表示图像层所包含的切片层的构成的图，(c)是表示切片层所包含的宏块层的构成的图，(d)是表示宏块层所包含的宏块首部的构成的图，(e)是表示宏块层所包含的预测参数之中与帧间预测分区有关的预测参数的构成的图，(f)是表示宏块层所包含的预测参数之中与帧内预测分区有关的预测参数的构成的图，(g)是表示切片首部所包含的滤波器参数的构成的图。
图3是用于说明作为在帧内预测中使用的预测参数的预测模式的图，(a)是分区的每个尺寸的预测索引PI与预测模式的对应表，(b)是表示多个预测模式之中方向预测0～7各自所对应的预测方向的图。
图4是用于说明第1实施方式所涉及的运动图像解码装置所具备的帧内预测生成部进行的帧内预测图像的生成处理的图，(a)是表示在对象分区为4×4像素时该对象分区的各像素与该对象分区的周边的像素的图，(b)是表示在对象分区为4×4像素时该对象分区的各像素与设定在该对象分区的周边的模板区域的图。
图5是表示第1实施方式所涉及的运动图像解码装置所具备的自适应滤波器的构成的框图。
图6是表示第1实施方式所涉及的运动图像解码装置所具备的自适应滤波器的第1变形例的框图。
图7是表示第1实施方式所涉及的运动图像解码装置所具备的自适应滤波器的第2变形例的框图。
图8是表示第1实施方式所涉及的运动图像解码装置所具备的自适应滤波器的第3变形例的框图。
图9是表示第1实施方式所涉及的运动图像解码装置所具备的自适应滤波器的第4变形例的框图。
图10是用于说明第1实施方式所涉及的自适应滤波器所具备的边缘检测部进行的边缘检测处理的图，(a)是表示属于包含对象像素在内的参照区域的像素的图，(b)是表示实施方式中的角度的规定方法的图。
图11是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第1例的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。
图12是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第2例的图，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表。
图13是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第3例的图，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。
图14是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第4例的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。
图15是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第5例的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表，(e)是表示滤波器组编号为4时的分类的表。
图16是用于说明第1实施方式所涉及的自适应滤波器所具备的区域分类部进行的分类处理的第6例的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表，(e)是表示滤波器组编号为4时的分类的表。
图17是用于说明第1实施方式所涉及的自适应滤波器所参照的参照区域的形状的图，(a)是表示基本参照区域的图，(b)是表示垂直方向型的参照区域的图，(c)是表示水平方向型的参照区域的图，(d)是表示斜向型的参照区域的图。
图18是表示由第1实施方式所涉及的运动图像编码装置生成、并由实施方式所涉及的运动图像解码装置解码的编码数据的另一构成例的图。
图19是用于说明第1实施方式所涉及的编码数据所包含的滤波器分配表的图，(a)是表示滤波器分配表的第1例的表，(b)是表示滤波器分配表的第2例的表。
图20是表示第1实施方式所涉及的自适应滤波器所参照的参照区域的形状与图像的方向性之间的对应关系的图，(a)是表示参照区域的形状与边缘角度之间的对应关系的图，(b)是表示参照区域的形状与画面内预测中采用的预测模式之间的对应关系的图。
图21是表示第1实施方式所涉及的自适应滤波器所具备的边缘检测部为在0°≤Theta＜360°的范围内检测各单位区域的边缘的角度Theta的构成时、该自适应滤波器所具备的区域分类部进行的分类处理的例子的表。
图22是表示第1实施方式所涉及的运动图像编码装置的构成的框图。
图23是表示第1实施方式所涉及的运动图像编码装置所具备的自适应滤波器的构成的框图。
图24是表示第1实施方式所涉及的运动图像编码装置所具备的自适应滤波器中的滤波器参数导出部的构成的框图。
图25是用于说明第2实施方式所涉及的自适应滤波器的图，是表示特性值区域CR和设定在特性值区域CR上的分割单位DU[i][j]的图。
图26是表示第2实施方式所涉及的编码数据的滤波器参数所包含的各语法的图。
图27是用于说明第2实施方式所涉及的自适应滤波器的图，(a)是表示未进行分割的特性值区域的图，(b)是表示进行了第1阶段的分割的特性值区域的图，(c)是表示第1阶段的分割中使用的特性值分割点和第2阶段的分割中使用的特性值分割点的图，(d)是例示了采用活性度作为第1特性值时根据语法alf_first_split_val_shift及alf_second_split_type的值而设定的特性值分割点的表。
图28是用于说明第2实施方式所涉及的自适应滤波器的图，(a)是表示通过第1阶段的分割而得到的特性值部分区域通过根据语法alf_second_split_type＝0指定的第2阶段的分割而关于第2特性值被分割成两个特性值部分区域的情形的图，(b)是表示通过第1阶段的分割而得到的特性值部分区域通过根据语法alf_second_split_type＝1指定的第2阶段的分割而关于第2特性值被分割成四个特性值部分区域的情形的图，(c)是例示了作为第2特性值而采用了图像的方向性时的特性值分割点、和作为第2特性值而采用了平均像素值时的特性值分割点的表。
图29是用于说明第2实施方式所涉及的自适应滤波器的图，是具体表示通过第1阶段的分割而得到的特性值部分区域如何根据语法alf_second_split_flag[i0]及alf_second_split_type的各值而通过第2阶段的分割被进行分割的图。
图30是用于说明第2实施方式所涉及的自适应滤波器的图，是例示根据语法alf_length_luma_minus5_div2[i0]的值而设定的参照区域的图。
图31是用于说明第2实施方式所涉及的自适应滤波器的图，是表示针对通过对特性值部分区域进行第2阶段的分割而得到的各特性值部分区域自适应地分配的预测方向的图。
图32是用于说明第2实施方式所涉及的自适应滤波器的图，是表示针对通过对特性值部分区域进行第2阶段的分割而得到的各特性值部分区域固定地分配的预测方向的图。
图33是用于说明第2实施方式所涉及的自适应滤波器的图，是表示通过第1阶段的分割而得到的特性值部分区域关于第1特性值而最大被2分割、关于第2特性值而最大被3分割的例子的图。
图34是表示第2实施方式所涉及的运动图像解码装置的构成的框图。
图35是表示第2实施方式所涉及的运动图像解码装置所具备的自适应滤波器的构成的框图。
图36是用于说明第2实施方式所涉及的自适应滤波器进行的滤波处理的图，(a)表示了由对象单位区域UR所包含的像素和与对象单位区域UR相邻的像素构成的特性值算出参照区域CRR，(b)表示了由对象单位区域UR所包含的像素构成的特性值算出参照区域CRR。
图37是表示第2实施方式所涉及的运动图像编码装置的构成的框图。
图38是表示第2实施方式所涉及的运动图像编码装置所具备的自适应滤波器的构成的框图。
图39是表示第2实施方式的变形例所涉及的滤波器参数所包含的各语法的图。
图40是例示了由第2实施方式的变形例所涉及的滤波器参数所包含的语法alf_num_first_split_minus1指定的特性值分割点的表。
图41是表示第3实施方式所涉及的编码数据的滤波器参数所包含的各语法的图。
图42是用于说明第3实施方式所涉及的自适应滤波器的图，(a)是表示由语法alf_select_split_char指定的第1特性值X及第2特性值Y的表，(b)是表示针对语法alf_select_split_char的各值而设定的再分割点PY1～PY3的具体例的表，(c)是表示根据语法alf_second_split_val[k]的值而设定的再分割点PY1～PY3的具体例的表。
图43是表示第3实施方式所涉及的运动图像解码装置所具备的自适应滤波器的构成的框图。
图44是表示第3实施方式所涉及的运动图像编码装置所具备的自适应滤波器的构成的框图。
具体实施方式
〔实施方式1〕
(编码数据的构成)
在说明本实施方式所涉及的运动图像编码装置2及运动图像解码装置1之前，先说明由运动图像编码装置2生成、并由运动图像解码装置1进行解码的编码数据#1的数据结构。由运动图像编码装置2生成、并由运动图像解码装置1进行解码的编码数据#1具有由序列层、GOP(GroupOfPictures：图像组)层、图像层、切片层及宏块层构成的阶层结构。
图2中针对图像层以下的阶层表示了编码数据的结构。图2(a)～(g)是分别表示图像层P、切片层S、宏块层MB、宏块首部MBH、帧间预测分区的预测参数PP、帧内预测分区的预测参数PP、滤波器参数FP的结构的图。
图像层P是运动图像解码装置1为了解码对象图像而参照的数据的集合。图像层P如图2(a)所示，包含图像首部PH及切片层S1～SNs(Ns是图像层P所包含的切片层的总数)。
图像首部PH中包含了运动图像解码装置1为确定对象图像的解码方法而参照的编码参数群。例如，表示运动图像编码装置2在编码时采用的可变长编码的模式的编码模式信息(entoropy_coding_mode_flag)是图像首部PH所包含的编码参数的一例。
图像层P所包含的各切片层S是运动图像解码装置1为了解码对象切片而参照的数据的集合。切片层S如图2(b)所示，包含切片首部SH及宏块层MB1～MBNm(Nm是切片S所包含的宏块的总数)。
切片首部SH中包含了运动图像解码装置1为确定对象切片的解码方法而参照的编码参数群。(1)对切片类型进行指定的切片类型指定信息(slice_type)、(2)对包含对象切片的图像的显示顺序(POC：PictureOrderCount)进行指定的POC指定信息(pic_order_cnt_lbs或delta_pic_order_cnt等)、及(3)对运动图像编码装置2在编码时使用的权重系数进行指定的权重系数指定信息(pred_weight_table)，是切片首部SH所包含的编码参数的一例。
其中，作为可由切片类型指定信息指定的切片类型，可列举(1)编码时仅采用帧内预测的I切片、(2)编码时采用单向预测或帧内预测的P切片、(3)编码时采用单向预测、双向预测、或帧内预测的B切片等。
另外，切片首部SH中包含运动图像解码装置1所具备的自适应滤波器所参照的滤波器参数FP。在此，运动图像解码装置1所具备的自适应滤波器如后所述，将对象切片或对象宏块所包含的1个或多个分割区域(或分区)的每一个分类到多个类型中的某一个，并利用按每个类型而不同的滤波器系数群来进行滤波处理。图2(g)中表示滤波器参数FP的数据结构。如图2(g)所示，滤波器参数FP中包含滤波器启用禁用信息、滤波器组编号及滤波器系数群n(n是用于将滤波器系数群相互分辨开的滤波器编号，取n＝0、1、……、Nf-1。Nf表示滤波器参数FP所包含的滤波器系数群的总数)。其中，上述分区是指在运动图像编码装置2及运动图像解码装置1中生成预测图像的单位(预测单位)。另外，上述分割区域是指构成宏块的1个或多个相互不重叠的区域，各宏块向分割区域分割的方式在运动图像编码装置2中决定。
滤波器启用禁用信息中包含：(1)用于指定对象切片或对象切片所包含的各宏块中的上述1个或多个分割区域的尺寸及位置的区域指定信息，及(2)按每个分割区域(或按每个分区)指定滤波处理的启用禁用的启用禁用信息。
滤波器组编号是用于按每个切片来指定对象切片或对象宏块所包含的1个或多个分割区域(或分区)的分类方法的编号。运动图像解码装置1所具备的自适应滤波器通过参照滤波器组编号，能够识别应该将分割区域分类成几个类型、以及在分类为各类型后的分割区域中使用哪个滤波器系数群。
滤波器系数群I(I＝0～Nf-1)中包含：(1)对滤波器的抽头数(或每个滤波器系数群的滤波器系数的总数)进行指定的抽头数指定信息，(2)滤波器系数aI0～aINT-1(NT是滤波器系数群I所包含的滤波器系数的总数)，及(3)偏置量oI。其中，被赋予了相互不同的滤波器编号的滤波器系数群在分类为相互不同的类型的分割区域(或分区)的滤波处理中使用。例如，滤波器系数群0及滤波器系数群1分别在分类为类型A的分割区域和分类为与类型A不同的类型B的分割区域的滤波处理中使用。
切片层S所包含的各宏块层MB是运动图像解码装置1为了对对象宏块进行解码而参照的数据的集合。宏块层MB如图2(c)所示，包含跳过标识SKIP、宏块首部MBH、预测参数PP1～PPNP及量化预测误差QD1～QDNb。在此，Np表示对象宏块所包含的分区(预测单位)的种类数，Nb表示对象宏块所包含的块(变换单位)的种类数。在跳过标识SKIP的值为1时，即，在对象宏块为跳过块时，该宏块层中的宏块首部MBH、预测参数PP1～PPNP及量化预测误差QD1～QDNb被省略。
宏块首部MBH中包含运动图像解码装置1为了确定对象宏块的解码方法而参照的编码参数。具体而言，如图2(d)所示，包含：指定对象宏块的宏块类型的宏块类型指定信息MBT(mb_type)、指定编码块图案的CBP(coded_block_pattern)、指定量化步长的大小的量化参数差分Δqp(mb_qp_delta)。宏块类型指定信息MBT包含预测单位指定信息PT和变换单位指定信息TT。
预测单位指定信息PT用于指定：对象宏块到分区(预测单位)的分割图案(即对象宏块所包含的各分区的尺寸及其在对象宏块内的位置)、运动图像编码装置2在生成各分区中的预测图像时采用的预测方法(L0单向预测、L1单向预测、双向预测、帧内预测等)。分区的尺寸例如可从16×16像素、8×8像素、4×4像素、16×8像素、8×16像素、8×4像素、4×8像素、8×1像素及1×8像素中选择。更一般的情况下，可将各分区设为M×N像素(M是对象宏块的横向的像素数以下的整数，N是对象宏块的纵向的像素数以下的整数)的区域。
另一方面，变换单位指定信息TT用于指定对象宏块到块(变换单位)的分割图案(即对象宏块所包含的各块的尺寸及其在对象宏块内的位置)。各块例如可从16×16像素、8×8像素、4×4像素、16×8像素、8×16像素、8×4像素、4×8像素、8×1像素及1×8像素中选择。更一般的情况下，可将各块设为M’×N’像素(M’是对象宏块的1边的像素数以下的整数，N’是对象宏块的另1边的像素数以下的整数)的区域。
此外，在上述说明中，例示了将宏块设为16×16像素的正方形区域时的分区，但并不限定于此。例如，对于64×64像素的宏块，还允许64×64像素或者32×32像素的正方形区域、或64×32像素、32×64像素、32×16像素或者16×32像素的长方形区域作为分区或块。
量化参数差分Δqp是对象宏块中的量化参数qp与该宏块之前一个被编码的宏块中的量化参数qp’之间的差分qp-qp’。
宏块层MB所包含的各量化预测残差QDn是运动图像编码装置2针对对象块实施以下的处理1～3而生成的编码数据。处理1：对从编码对象图像中减去预测图像而得到的预测残差进行DCT变换(DiscreteCosineTransform；离散余弦变换)。处理2：对在处理1中得到的DCT系数进行量化。处理3：对在处理2中量化后的DCT系数进行可变长编码。上述的量化参数qp表示运动图像编码装置2对DCT系数进行量化时采用的量化步长QP的大小(QP＝2pq/6)。
宏块层MB所包含的预测参数PP中的、与通过帧间预测生成预测图像的帧间预测分区有关的预测参数PP如图2(e)所示，包含参照图像索引RI、估计运动向量索引PMVI和运动向量残差MVD。
运动向量残差MVD是运动图像编码装置2执行以下的处理4～6而生成的编码数据。处理4：对编码/解码完毕的局部解码图像(更准确地说，是通过对编码/解码完毕的局部解码图像实施去块(deblock)处理及自适应滤波处理而得到的图像)进行选择，参照选择出的编码/解码完毕的局部解码图像(以下也称为“参照图像”)来导出针对对象分区的运动向量mv。处理5：对估计方法进行选择，利用选择出的估计方法来导出分配给对象分区的运动向量mv的估计值(以下也称为“估计运动向量”)pmv。处理6：对从通过处理4导出的运动向量mv之中减去通过处理5导出的估计运动向量pmv而得到的运动向量残差MVD进行编码。
上述的参照图像索引RI用于指定通过处理4选择出的编码/解码完毕的局部解码图像(参照图像)，上述的估计运动向量索引PMVI用于指定通过处理5选择出的估计方法。作为处理5中可选择的估计方法，可列举：(1)在编码/解码中的局部解码图像(更准确地说，是对编码/解码中的局部解码图像中的解码完毕的区域实施去块处理及自适应滤波处理而得到的图像)中，将与对象分区相邻的分区(以下也称为“相邻分区”)的运动向量的中位数作为估计运动向量pmv的方法；(2)在编码/解码完毕的局部解码图像中，将分配给与对象分区占据相同位置的分区(常被称为“同位分区”)的运动向量作为估计运动向量pmv的方法等。
此外，在与进行单向预测的分区有关的预测参数PP中，如图2(e)所示，分别包含1个参照图像索引RI、估计运动向量索引PMVI及运动向量残差MVD，但在与进行双向预测(加权预测)的分区有关的预测参数PP中，包含2个参照图像索引RI1及RI2、2个估计运动向量索引PMVI1及PMVI2、以及2个运动向量残差MVD1及MVD2。
宏块层MB所包含的预测参数PP中的、与通过帧内预测生成预测图像的帧内预测分区有关的预测参数PP如图2(f)所示，包含预测索引PI。在此，预测索引PI是用于指定针对对象分区的帧内预测方法(预测模式)的索引。此外，由于针对对象分区可选择的预测模式的种类根据该对象分区的尺寸而不同，因此预测索引的可取值的范围也根据对象分区的尺寸而不同。
图3(a)中表示分区的每个尺寸的预测索引PI与预测模式之间的对应表。如图3(a)所示，对各预测模式赋予了预测模式编号0～11。预测索引PI是根据分区尺寸而含义变化的相对的编号，相对于此，预测模式编号是不依赖于分区尺寸的单一含义的编号，各预测模式可根据预测模式编号而相互分辨开(以下，将预测模式编号为A的预测模式表示为预测模式A)。另外，如图3(a)所示，在分区的尺寸为16×16像素时，预测索引PI取0、1、2、3及4中的某个值。针对16×16像素的分区，预测索引0对应于预测模式0(DC预测)，预测索引1对应于预测模式1(平面预测)，预测索引2对应于预测模式2(方向预测0)，预测索引3对应于预测模式6(方向预测4)。在分区的尺寸为8×8像素、4×4像素、8×1像素或1×8像素时也如图3(a)所示，按分区的每个尺寸的各预测索引PI对应于预测模式的某一个。
运动图像解码装置1在自身所具备的存储器中预先存储了如图3(a)所示的对应表，根据对象分区的尺寸和预测索引，能够确定分配给该对象分区的预测模式。
此外，生成编码数据#1的运动图像编码装置2也可采用下述构成，即：基于对象分区的周边的分区的预测索引来算出针对该对象分区的预测索引的估计值，并将表示该估计值与针对该对象分区的预测索引是否相同的标识包含在编码数据#1中。通过采用这样的构成，能够在该估计值与针对该对象分区的预测索引相同的情况下，省略针对该对象分区的预测索引的编码。
(运动图像解码装置1)
以下，参照图1～图21来说明本实施方式所涉及的运动图像解码装置1。运动图像解码装置1是其一部分中包含H.264/MPEG-4.AVC及KTA软件中采用的技术的解码装置。
图1是表示运动图像解码装置1的构成的框图。图1所示，运动图像解码装置1具备：可变长码解码部13、运动向量复原部14、缓冲存储器15、帧间预测图像生成部16、帧内预测图像生成部17、预测方式确定部18、逆量化/逆变换部19、加法器20、去块滤波器41及自适应滤波器42。运动图像解码装置1是用于对编码数据#1进行解码来生成运动图像#2的装置。
可变长码解码部13从编码数据#1中解码出与各分区有关的预测参数PP。即，关于帧间预测分区，从编码数据#1中解码出参照图像索引RI、估计运动向量索引PMVI及运动向量残差MVD，并将这些参数提供给运动向量复原部14。另一方面，关于帧内预测分区，从编码数据#1中解码出(1)对分区的尺寸进行指定的尺寸指定信息、及(2)对预测索引进行指定的预测索引指定信息，并将这些信息提供给帧内预测图像生成部17。另外，可变长码解码部13从编码数据中解码出宏块类型MBT，并将其提供给预测方式确定部18(省略图示)。进而，可变长码解码部13从编码数据#1中解码出与各块有关的量化预测残差QD、及与包含该块在内的宏块有关的量化参数差分Δqp，并将这些参数提供给逆量化/逆变换部19。另外，可变长码解码部13从编码数据#1中解码出滤波器启用禁用信息、滤波器组编号及滤波器系数群，并将这些参数提供给自适应滤波器42。
关于与各帧间预测分区有关的运动向量mv，运动向量复原部14根据与该分区有关的运动向量残差MVD和与其他分区有关的复原完毕的运动向量mv’来进行复原。具体而言，(1)按照由估计运动向量索引PMVI指定的估计方法，根据复原完毕的运动向量mv’来导出估计运动向量pmv，(2)通过将导出的估计运动向量pmv与运动向量残差MVD相加来获得运动向量mv。其中，与其他分区有关的复原完毕的运动向量mv’可从缓冲存储器15中读出。运动向量复原部14将复原出的运动向量mv与对应的参照图像索引RI一起提供给帧间预测图像生成部17。此外，关于进行双向预测(加权预测)的帧间预测分区，将复原出的2个运动向量mv1及mv2与对应的参照图像索引RI1及RI2一起提供给帧间预测图像生成部17。
帧间预测图像生成部16生成与各帧间预测分区有关的运动补偿图像mc。具体而言，利用从运动向量复原部14提供的运动向量mv，并根据同样从运动向量复原部14提供的参照图像索引RI所指定的滤波完毕解码图像P_FL’来生成运动补偿图像mc。在此，滤波完毕解码图像P_FL’是对已经完成了解码的解码完毕的解码图像实施由去块滤波器41进行的去块处理及由自适应滤波器42进行的自适应滤波处理而获得的图像，帧间预测图像生成部16能够从缓冲存储器15中读出构成滤波完毕解码图像P_FL’的各像素的像素值。由帧间预测图像生成部16生成的运动补偿图像mc被作为帧间预测图像Pred_Inter而提供给预测方式确定部18。此外，关于进行双向预测(加权预测)的帧间预测分区，(1)利用运动向量mv1，并根据由参照图像索引RI1指定的滤波完毕解码图像P_FL1’来生成运动补偿图像mc1，(2)利用运动向量mv2，并根据由参照图像索引RI2指定的滤波完毕解码图像P_FL2’来生成运动补偿图像mc2，(3)通过在运动补偿图像mc1与运动补偿图像mc2的加权平均上加上偏置值来生成帧间预测图像Pred_Inter。
帧内预测图像生成部17生成与各帧内预测分区有关的预测图像Pred_Intra。具体而言，首先，参照自身的存储器中记录的如图3(a)所示的对应表，基于从可变长码解码部13提供的尺寸指定信息和预测索引指定信息来确定预测模式，将确定出的预测模式例如按光栅扫描顺序分配给对象分区。然后，按照该预测模式所表示的预测方法，根据解码图像P来生成预测图像Pred_Intra。由帧内预测图像生成部17生成的帧内预测图像Pred_Intra被提供给预测方式确定部18。
另外，帧内预测图像生成部17将表示对象分区的尺寸及分配给对象分区的预测模式的信息即帧内编码模式信息IEM提供给自适应滤波器42。此外，关于由帧内预测图像生成部17进行的帧内预测图像Pred_Intra的具体的生成处理在后面描述，因此这里省略说明。
预测方式确定部18基于宏块类型MBT，来确定各分区是应该进行帧间预测的帧间预测分区还是应该进行帧内预测的帧内预测分区。并且，在是前者的情况下，将由帧间预测图像生成部16生成的帧间预测图像Pred_Inter作为预测图像Pred提供给加法器20，在是后者的情况下，将由帧内预测图像生成部17生成的帧内预测图像Pred_Intra作为预测图像Pred提供给加法器20。
逆量化/逆变换部19(1)对量化预测残差QD进行逆量化，(2)对通过逆量化获得的DCT系数进行逆DCT(DiscreteCosineTransform)变换，(3)将通过逆DCT变换获得的预测残差D提供给加法器20。其中，在对量化预测残差QD进行逆量化时，逆量化/逆变换部19根据从可变长码解码部13提供的量化参数差分Δqp来导出量化步长QP。量化参数qp可通过在与前一个进行了逆量化/逆DCT变换的宏块有关的量化参数qp’上加上量化参数差分Δqp来导出，量化步长QP可根据量化步长qp并根据QP＝2pq/6来导出。另外，由逆量化/逆变换部19进行的预测残差D的生成以块(变换单位)为单位进行。
加法器20通过将从预测方式确定部18提供的预测图像Pred和从逆量化/逆变换部19提供的预测残差D相加来生成解码图像P。
去块滤波器41在解码图像P中的块边界、或隔着宏块边界而彼此相邻的像素的像素值之差小于预先规定的阈值时，对解码图像P中的该块边界或该宏块边界实施去块处理来进行该块边界或该宏块边界附近的图像的平滑化。由去块滤波器41实施了去块处理后的图像被作为去块完毕解码图像P_DB输出到自适应滤波器42。
自适应滤波器42针对从去块滤波器41提供的去块完毕解码图像P_DB，实施利用了从编码数据#1中解码出的滤波器系数的滤波处理来生成滤波完毕解码图像P_FL。由自适应滤波器42实施了滤波处理后的图像被作为滤波完毕解码图像P_FL输出到外部，并且与由可变长码解码部13从编码数据中解码出的POC指定信息建立关联地保存到缓冲存储器15中。关于自适应滤波器42的具体构成在后面描述，因此这里省略说明。
(由帧内预测图像生成部17进行的帧内预测图像的生成处理)
以下，参照图3～图4来说明由帧内预测图像生成部17进行的帧内预测图像Pred_Intra的生成处理。
帧内预测图像生成部17利用构成解码图像P的像素之中属于已经完成了解码的块的各像素的像素值，并根据由分配给对象分区的预测模式指定的帧内预测方法，生成针对该对象分区的帧内预测图像Pred_Intra。
各预测模式能够根据预测模式编号而相互分辨开，在本实施方式中，可选择如图3(a)所示的预测模式(DC预测、平面预测、方向预测0～7、TM预测、尺度预测)。方向预测0～7表示了对对象分区的周边的解码完毕的像素值在规定方向(预测方向)上进行外插来生成该对象分区的预测图像的预测方法。图3(b)表示方向预测0～7各自所对应的预测方向。如图3(b)所示，方向预测0～7表示了对对象分区的周边的解码完毕的像素值分别在0度、22.5度、45度、67.5度、90度、112.5度、135度及-22.5度的方向上进行外插来生成预测图像。其中，上述的角度是按照将水平向右的方向设为0度并沿顺时针增加的方式来表现的角度(以下同样)。
以下，首先，参照图4(a)，说明在对象分区为4×4像素时的DC预测及方向预测0～7。图4(a)是表示4×4像素的对象分区的各像素(预测对象像素)和该对象分区的周边的像素(参照像素)的图。如图4(a)所示，设预测对象像素及参照像素的每一个由坐标(x，y)来指定。在此，预测对象像素的每一个由满足x＝0～3及y＝0～3的(x，y)来指定，参照像素的每一个由(x，-1)(x＝-1～7)或坐标(-1，y)(y＝0～3)来指定。另外，将坐标(x，y)处的预测对象像素的像素值表示为pred4x4[x，y]，将坐标(x，y)处的参照像素的像素值表示为p[x，y]。另外，设参照像素均已解码完毕。
(DC预测：预测模式编号0)
在分配给对象分区的预测模式为DC预测时，帧内预测图像生成部17通过取得与对象分区的上边或左边相邻的参照像素的像素值的平均值，来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如根据下式来生成预测对象像素的像素值pred[x，y]。
pred4x4[x，y]＝(p[0，-1]+p[1，-1]+p[2，-1]+p[3，-1]+p[-1，0]+p[-1，1]+p[-1，2]+p[-1，3]+4)＞＞3
在此，＞＞表示右移运算，a＞＞b的值等于将a÷(2的b次幂)的值的小数部分舍去后的值。另外，＜＜表示左移运算，a＜＜b的值等于a×(2的b次幂)的值。此外，本预测模式对应于H.264/MPEG-4.AVC标准中的DCpredictionmode。
(方向预测0：预测模式编号2)
在针对对象分区的预测模式为方向预测0时，帧内预测图像生成部17通过对参照像素的像素值在水平向右方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如根据下式来生成预测对象像素的像素值pred4x4[x，y]。
pred4x4[x，y]＝p[-1，y]，(x，y＝0...3)
此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Horizontalpredictionmode。
(方向预测1：预测模式编号3)
在针对对象分区的预测模式为方向预测1时，帧内预测图像生成部17通过对参照像素的像素值在22.5度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[-1，y-(x＞＞1)-1]+p[-1，y-(x＞＞1)]+1)＞＞1，(zHD＝0，2，4，6时)
pred4x4[x，y]＝(p[-1，y-(x＞＞1)-2]+2*p[-1，y-(x＞＞1)-1]+p[-1，y-(x＞＞1)]+2)＞＞2，(zHD＝1，3，5时)
pred4x4[x，y]＝(p[-1，0]+2*p[-1，-1]+p[0，-1]+2)＞＞2，(zHD＝-1时)
pred4x4[x，y]＝(p[x-1，-1]+2*p[x-2，-1]+p[x-3，-1]+2)＞＞2(zHD＝-2，-3时)
在此，zHD由zHD＝2*y-x来定义。另外，符号*是表示乘积的运算符号(以下同样)。此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Horizontaldownpredictionmode。
(方向预测2：预测模式编号4)
在针对对象分区的预测模式为方向预测2时，帧内预测图像生成部17通过对参照像素的像素值在45度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[x-y-2，-1]+2*p[x-y-1，-1]+p[x-y，-1]+2)＞＞2，(x＞y时)
pred4x4[x，y]＝(p[-1，y-x-2]+2*p[-1，y-x-1]+p[-1，y-x]+2)＞＞2，(x＜y时)
pred4x4[x，y]＝(p[0，-1]+2*p[-1，-1]+p[-1，0]+2)＞＞2，(x＝y时)
此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Diagonaldown-rightpredictionmode。
(方向预测3：预测模式编号5)
在针对对象分区的预测模式为方向预测3时，帧内预测图像生成部17通过对参照像素的像素值在67.5度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[x-(y＞＞1)-1，-1]+p[x-(y＞＞1)，-1]+1)＞＞1，(zVR＝0，2，4，6时)
pred4x4[x，y]＝(p[x-(y＞＞1)-2，-1]+2*p[x-(y＞＞1)-1，-1]+p[x-(y＞＞1)，-1]+2)＞＞2，(zVR＝1，3，5时)
pred4x4[x，y]＝(p[-1，0]+2*p[-1，-1]+p[0，-1]+2)＞＞2，(zVR＝-1时)
pred4x4[x，y]＝(p[-1，y-1]+2*p[-1，y-2]+p[-1，y-3]+2)＞＞2，(zVR＝-2，-3时)
在此，zVR由zVR＝2*x-y来定义。此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Verticalrightpredictionmode。
(方向预测4：预测模式编号6)
在针对对象分区的预测模式为方向预测4时，帧内预测图像生成部17通过对参照像素的像素值在垂直向下方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如根据下式来生成pred4x4[x，y]。
pred4x4[x，y]＝p[x，-1]，(x，y＝0...3)
此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Verticalpredictionmode。
(方向预测5：预测模式编号7)
在针对对象分区的预测模式为方向预测5时，帧内预测图像生成部17通过对参照像素的像素值在112.5度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[x+(y＞＞1)，-1]+p[x+(y＞＞1)+1，-1]+1)＞＞1，(y＝0，2时)
pred4x4[x，y]＝(p[x+(y＞＞1)，-1]+2*p[x+(y＞＞1)+1，-1]+p[x+(y＞＞1)+2，-1]+2)＞＞2，(y＝1，3时)
此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Verticalleftpredictionmode。
(方向预测6：预测模式编号8)
在针对对象分区的预测模式为方向预测6时，帧内预测图像生成部17通过对参照像素的像素值在135度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[6，-1]+3*p[7，-1]+2)＞＞2，(x＝3，y＝3时)
pred4x4[x，y]＝(p[x+y，-1]+2*p[x+y+1，-1]+p[x+y+2，-1]+2)＞＞2，(不是x＝3且不是y＝3时)
此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Diagonaldownleftpredictionmode。
(方向预测7：预测模式编号9)
在针对对象分区的预测模式为方向预测7时，帧内预测图像生成部17通过对参照像素的像素值在-22.5度的方向上进行外插来生成预测对象像素的像素值。更具体而言，帧内预测图像生成部17例如通过下式来生成pred4x4[x，y]。
pred4x4[x，y]＝(p[-1，y+(x＞＞1)]+p[-1，y+(x＞＞1)+1]+1)＞＞1，(zHU＝0，2，4时)
pred4x4[x，y]＝(p[-1，y+(x＞＞1)]+2*p[-1，y+(x＞＞1)+1]+p[-1，y+(x＞＞1)+2]+2)＞＞2，(zHU＝1，3时)
pred4x4[x，y]＝(p[-1，2]+3*p[-1，3]+2)＞＞2，(zHU＝5时)
pred4x4[x，y]＝p[-1，3]，(zHU＞5时)
在此，zHU由zHU＝x+2*y来定义。此外，本预测模式对应于H.264/MPEG-4.AVC标准中的Horizontaluppredictionmode。
以上，说明了对象分区为4×4像素时的DC预测及方向预测0～7，但帧内预测图像生成部17通过对参照像素的像素值在各方向进行外插，即使在对象分区是4×4像素以外的情况下，也能利用与上述方法大致同样的方法来生成该对象分区的各像素值。
下面，对帧内预测图像生成部17进行的平面预测、TM(模板匹配)预测及尺度预测进行说明。
(平面预测：预测模式编号1)
平面预测是对象分区为16×16像素时可选择的预测模式。在针对对象分区的预测模式为平面预测时，帧内预测图像生成部17利用与该对象分区相邻的解码完毕的参照像素的像素值，通过平面的预测来生成该对象分区的各像素值。
以下，设16×16像素的对象分区的各像素由坐标(x，y)(x＝0～15，y＝0～15)指定。其中，设对象分区内的左上方的像素的坐标为(0，0)，随着向右而x增大，随着向下而y增大。另外，将与对象分区的上边相邻的解码完毕的参照像素的坐标表示为(x，-1)，将其像素值表示为P(x，-1)(x＝0～15)，将与对象分区的左边相邻的解码完毕的参照像素的坐标表示为(-1，y)，将其像素值表示为P(-1，y)(y＝0～15)。另外，将对象分区中由坐标(x，y)指定的像素的像素值表示为pred_P(x，y)。
(平面预测的例1)
在针对对象分区的预测模式为平面预测时，帧内预测图像生成部17例如通过下式来生成对象分区的像素值pred_P(x，y)。
pred_P(x，y)＝((15-y)*TR(x)+(y+1)*BR(x)+(15-x)*LC(y)+(x+1)*RC(y)+16)/32(x，y＝0...15)
在此，
TR(x)＝P(x，-1)，(x＝0...15)
LC(y)＝P(-1，y)，(y＝0...15)
BR(x)＝((15-x)*LC(15)+(x+1)*BRS+8)/16，(x＝0...15)
RC(y)＝((15-y)*TR(15)+(y+1)*BRS+8)/16，(y＝0...15)
BRS＝DC+planar_delta_y，
设DC表示通过DC预测而生成的像素值。
(平面预测的例2)
另外，帧内预测图像生成部17也可采用通过下式来算出对象分区的像素值pred_P(x，y)的构成。
pred_P[x，y]＝Clip1Y((a+b*(x-7)+c*(y-7)+16)＞＞5)，(x，y＝0...15)
在此，
a＝16*(p[-1，15]+p[15，-1])
b＝(5*H+32)＞＞6
c＝(5*V+32)＞＞6
H＝∑_x′{(x′+1)*(p[8+x′，-1]-p[6-x′，-1])}
V＝∑_y′{(y′+1)*(p[-1，8+y′]-p[-1，6-y′])}。
其中，上式中设Σ_x′{...}表示关于{}内的式子从x′＝0至x′＝7的总和，设∑_y′{...}表示关于{}内的式子从y′＝0至x′＝7的总和。另外，Clip1Y由
Clip1Y(x)＝Clip3(0，(1＜＜BitDepthY)-1，x)
来定义，Clip3(a，b，c)是在c＜a时取值a、在c＞b时取值b、在此外的情况下取值c的限制函数。另外，BitDepthY是根据比特深度而确定的值。此外，本例对应于H.264/MPEG-4.AVC标准中的Intra_16x16_Planepredictionmode。
(TM预测：预测模式编号10)
下面，参照图4(b)对TM预测进行说明。
TM预测是在对象分区为4×4像素时可选择的预测模式。在针对对象分区的预测模式为TM预测时，帧内预测图像生成部17在对象分区的周边设定模板区域，从解码完毕的解码图像P(或滤波完毕解码图像P_FL)中搜索与该模板区域最类似的区域，将搜索出的区域的周边区域的各像素值设定成对象分区的各像素值。
更具体而言，在针对对象分区选择了TM预测时，帧内预测图像生成部17例如进行以下处理。
(步骤S101)
首先，如图4(b)所示，将由与对象分区的左边或上边相邻的像素、及共享了对象分区的左上的顶点的像素构成的逆L字型的区域设定为模板区域TR。
(步骤S102)
然后，在解码完毕的解码图像P(或滤波完毕解码图像P_FL)中，搜索与模板区域TR相同形状的区域且与模板区域TR最类似的参照区域RR。在此，参照区域RR的搜索例如可通过对像素值的差分绝对值的总和(SumofAbsoluteDifference)进行评价来进行。
(步骤S103)
最后，将与参照区域RR在上边及左边相接的4×4像素的区域的各像素值设定为对象分区的对应的各像素值。
(尺度预测：预测模式编号11)
下面，对尺度预测进行说明。
尺度预测是对象分区为16×16像素时可选择的预测模式。在针对对象分区选择了尺度预测的情况下，帧内预测图像生成部17(1)对针对由运动图像编码装置降采样而得到的缩小图像的量化系数进行逆量化及频率变换，由此生成该缩小图像的图像数据，(2)将对象分区的周边的分区的各像素值的平均值与上述缩小图像的图像数据相加后进行升采样，由此生成针对对象分区的预测图像。
更具体而言，在针对对象分区选择了尺度预测的情况下，帧内预测图像生成部17例如进行以下处理。
(步骤S201)
首先，对通过对残差数据进行频率变换及量化而得到的量化系数、即从运动图像编码装置传输的量化系数Fsr进行解码，该残差数据是通过将16×16像素的对象分区降采样为4×4像素而得到的图像数据、与对象分区的周边的分区的各像素值的平均值之间的差分。
(步骤S202)
然后，通过求取对象分区的周边的分区的各像素值的平均值来算出预测值d。
(步骤S203)
然后，对步骤S201中解码出的量化系数进行逆量化及逆频率变换，由此生成4×4像素的残差数据B’sr。
(步骤S204)
然后，将步骤S202中算出的预测值d与步骤S203中生成的4×4像素的残差数据B’sr相加，由此生成4×4像素的图像数据B’s。
(步骤S205)
最后，将步骤S204中生成的4×4像素的图像数据B’s升采样为16×16像素，由此生成针对对象分区的16×16像素的帧内预测图像Pred_Intra。
此外，后述的运动图像编码装置2所具备的帧内预测图像生成部对选择了尺度预测的对象分区进行以下处理。
(步骤S201’)
首先，将16×16像素的对象分区降采样为4×4像素，由此生成4×4像素的图像数据Bs。
(步骤S202’)
然后，通过求取对象分区的周边的分区的各像素值的平均值来算出预测值d。
(步骤S203’)
然后，通过求取步骤S201’中生成的图像数据Bs与步骤S202’中算出的预测值d之间的差分来生成残差数据Bsr。
(步骤S204’)
然后，通过对残差数据Bsr进行频率变换及量化来生成量化系数。生成的量化系数被传输给运动图像解码装置1。
(步骤S205’)
然后，通过对步骤S204’中生成的量化系数进行逆频率变换及逆量化来生成残差数据B’sr。
(步骤S206’)
然后，通过将步骤S205’中生成的残差数据B’sr与步骤S202’中算出的预测值d相加来生成图像数据B’s。
(步骤S207’)
最后，通过将步骤S206中生成的图像数据B’s升采样为16×16像素，来生成16×16像素的帧内预测图像Pred_Intra。
(自适应滤波器42)
以下，参照图5～图9，说明运动图像解码装置1所具备的自适应滤波器42。
图5是表示自适应滤波器42的构成的框图。如图5所示，自适应滤波器42具备预测模式/尺寸蓄积部421、边缘方向检测部422、活性度算出部423、区域分类部424及滤波处理部425。
自适应滤波器42针对从去块滤波器41提供的去块完毕解码图像P_DB，实施利用了从编码数据#1中解码出的滤波器系数的滤波处理，由此生成滤波完毕解码图像P_FL。在此，滤波完毕解码图像P_FL的生成可以宏块为单位来进行，也可以比宏块小的区域为单位来进行，还可以比宏块大的区域为单位来进行。下面，以自适应滤波器42按宏块单位进行滤波完毕解码图像P_FL的生成的情况为例进行说明。
(预测模式/尺寸蓄积部421)
预测模式/尺寸蓄积部421蓄积从帧内预测图像生成部17提供的帧内编码模式信息IEM所示的分区的尺寸(形状及大小)、及分配给分区的预测模式。预测模式/尺寸蓄积部421可采用蓄积针对对象宏块所包含的所有分区的尺寸及预测模式的构成。
另外，预测模式/尺寸蓄积部421所蓄积的包含各分区的尺寸及预测模式的信息被提供给区域分类部424。
其中，各分区的形状及预测模式所示的方向，具有与各分区中的解码图像P(或者去块完毕解码图像P_DB)的方向性相关的倾向。例如，在分区的尺寸为8×1像素或8×2像素这样横长的情况下，具有该分区中包含横向边缘的倾向，在分区的尺寸为1×8像素或2×8像素这样纵长的情况下，具有该分区中包含纵向边缘的倾向。另外，在通过对解码完毕的像素值在规定方向(预测方向)上进行外插而进行的方向预测中，具有包含沿着预测方向的边缘的倾向。
另外，分区的大小具有与各分区中的解码图像P(或者去块完毕解码图像P_DB)的平坦度相关的倾向。例如，具有在分区的大小小的情况下平坦度小、在分区的尺寸大的情况下平坦度大的倾向。由于平坦度小的情况是指活性度(后述)大的情况，因此也可表现为具有在分区尺寸小的情况下活性度大、在分区的尺寸大的情况下活性度小的倾向。
另外，一部分预测模式具有与预测模式被使用的分区中的解码图像P(或者去块完毕解码图像P_DB)的平坦度相关的倾向。例如，以平面预测及尺度预测进行预测的分区具有平坦度大(活性度小)的倾向。
区域分类部424如后所述，根据各分区的尺寸及预测模式，将各分区分类为1个或多个类型中的某一个，针对对象宏块所包含的各分割区域或各分区，按每个类型来分配滤波器系数群，因此自适应滤波器42能够根据各分区中的解码图像P(或者去块完毕解码图像P_DB)的方向性及平坦度来进行适当的滤波处理。
(边缘方向检测部422)
以下，参照图10(a)～(b)来说明边缘方向检测部422。
边缘方向检测部422参照从可变长码解码部13提供的滤波器启用禁用信息所包含的区域指定信息，将去块完毕解码图像P_DB中的对象宏块分割成1个或多个分割区域，针对各分割区域的图像进行边缘检测。另外，针对各分割区域，将表示边缘的方向的角度Theta提供给区域分类部424。其中，上述分割区域可仅包含1个像素，也可包含多个像素。以下，分别对成为边缘检测的对象的分割区域(对象分割区域)仅包含1个像素的情况、及对象分割区域包含多个像素的情况，说明边缘方向检测部422进行的角度Theta的算出处理。
(对象分割区域仅包含1个像素的情况下的Theta的算出处理)
在对象分割区域仅包含1个像素(对象像素)的情况下，边缘检测部422设定以对象像素为中心的3×3像素的参照区域，针对该参照区域的各像素，使由以下的公式(1a)及(1b)定义的索贝尔滤波矩阵SFM_x及SFM_y起作用，由此算出索贝尔滤波后的像素值Sobel_x及Sobel_y。
[数学式1]
SFM _ x = - 1 0 1 - 2 0 2 - 1 0 1 - - - ( 1 a )
[数学式2]
SFM _ y = - 1 - 2 - 1 0 0 0 1 2 1 - - - ( 1 b )
更具体而言，例如，在如图10(a)所示那样将3×3像素的参照区域所包含的各像素的像素值表示为a～h时，边缘检测部422分别根据以下公式(2a)及(2b)算出索贝尔滤波后的像素值Sobel_x及Sobel_y。
Sobel_x＝-a+c-2×d+2×e-f+h(2a)
Sobel_y＝-a-2×b-c+f+2×g+h(2b)
然后，边缘检测部422根据以下的公式(3)，算出表示边缘方向的角度(以下也称为“边缘角度”)Theta。
Theta＝arctan(Sobel_x/Sobel_y)(3)
在此，arctan表示三角函数tan的反函数。另外，角度Theta如图10(b)所示，设为沿顺时针增加并以0度至180度的范围(0°≤Theta＜180°)来表现。
(对象分割区域包含多个像素的情况下的Theta的算出处理)
在对象分割区域包含多个像素时，边缘检测部422首先针对对象分割区域所包含的各像素设定3×3像素的参照区域，并通过上述方法算出针对各像素的索贝尔滤波后的像素值Sobel_x及Sobel_y。
然后，边缘检测部422根据以下的公式(4)算出针对各像素的边缘强度ES，并利用针对边缘强度ES最大的像素的索贝尔滤波后的像素值Sobel_x及Sobel_y，根据上述公式(3)算出边缘角度Theta。
ES＝(Sobel_x)2+(Sobel_y)2(4)
此外，边缘检测部422在针对对象分割区域所包含的所有像素的边缘强度ES为预先规定的阈值以下时，针对该对象分割区域判定为无边缘，并将判定结果提供给区域分类部424。
此外，边缘检测部422也可采用在不算出边缘的角度的情况下输出与边缘方向对应的编号(方向索引)的构成。
例如，可以不使用三角函数tan的反函数，而是根据Sobel_y与Sobel_x的大小关系来划分情况，从而如以下那样生成方向索引。
方向索引＝0|Sobel_y|＜a×|Sobel_x|时
方向索引＝1|Sobel_y|≥a×|Sobel_x|且
|Sobel_y|≤b×|Sobel_x|且
Sobel_y与Sobel_x的符号相同时
方向索引＝2|Sobel_y|＞b×|Sobel_x|时
方向索引＝3|Sobel_y|≥a×|Sobel_x|且
|Sobel_y|≤b×|Sobel_x|且
Sobel_y与Sobel_x的符号相反时
其中，a＝tan(22.5°)＝0.414……，b＝tan(67.5°)＝2.414……。此外，该例中算出了四个方向索引，但也可采用算出2个方向索引或算出8个方向索引的构成。
(活性度算出部423)
活性度算出部423参照从可变长码解码部13提供的滤波器启用禁用信息所包含的区域指定信息，将去块完毕解码图像P_DB中的对象宏块分割成1个或多个分割区域，针对各分割区域的图像来算出活性度(activity)ACT。在此，活性度大致来说是表示图像的杂乱度的指标，也可根据在对包含分割区域在内的区域实施了DCT变换的情况下获得的变换系数中是否存在大的高频分量等来测定，但这里根据相邻的像素的像素值来测定。相邻的像素的像素值之差越大，活性度越大。算出的各分割区域的活性度ACT被提供给区域分类部424。
若将成为活性度的算出对象的分割区域(对象分割区域)中的像素的坐标表示为(i，j)，将其像素值表示为R(i，j)，则活性度算出部423例如能够通过利用以下的公式(5a)来算出活性度ACT。
[数学式3]
ACT = Σ i , j | R ( i , j ) - R ( i + 1 , j ) | + Σ i , j | R ( i , j ) - R ( i , j + 1 ) | - - - ( 5 a )
在此，设与i、j有关的和符号∑表示针对对象分割区域所包含的像素的总和。公式(5a)对应于以相邻的像素的像素值的绝对值的总和(SumofAbsoluteDifference，SAD)为指标来评价活性度。
另外，活性度算出部423也可采用通过利用以下的公式(5b)来算出活性度ACT的构成。
[数学式4]
ACT ( i , j ) = Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k - 1 , j + l ) - R ( i + k + 1 , j + l ) | + Σ k = - K K Σ l = - L L | 2 R ( i + k , j + l ) - R ( i + k , j + l - 1 ) - R ( i + k , j + l + 1 ) | - - - ( 5 b )
在此，公式(5b)中的与k及l有关的和表示了针对以坐标(i，j)的像素为中心的矩形状的区域(x方向：2K+1像素，y方向：2L+1像素)的和。在本实施方式中，公式(5b)中的与k及l有关的和也可为针对对象分割区域所包含的像素的总和。公式(5b)对应于以改进拉普拉斯的总和(Sum-ModifiedLaplacian，SML)为指标来评价活性度。
此外，活性度算出部423在对对象宏块应用了帧内预测的情况下，按对象宏块所包含的每个分区来算出活性度ACT。
(区域分类部424)
区域分类部424基于(1)从预测模式/尺寸蓄积部421提供的各分区的尺寸、(2)从预测模式/尺寸蓄积部421提供的分配给各分区的预测模式、(3)从边缘方向检测部422提供的边缘角度Theta、及(4)从活性度算出部423提供的活性度ACT，将对象宏块所包含的各分割区域或各分区分类到1个或多个类型(以下也称为“分割区域组”)中的某一个。区域分类部424所进行的各分割区域或各分区的分类，参照由可变长码解码部13从编码数据#1中解码出的滤波器组编号来进行。
此外，作为从边缘方向检测部422提供的信息，可以取代边缘角度Theta而使用方向索引。以下，在利用方向索引进行分类时可以采用下述构成，即：在边缘角度Theta为(0°≤Theta＜22.5°，或157.5°≤Theta＜180°)时替换为方向索引0，在边缘角度Theta为(22.5°≤Theta＜67.5°)时替换为方向索引1，在边缘角度Theta为(67.5°≤Theta＜112.5°)时替换为方向索引2，在边缘角度Theta为(112.5°≤Theta＜157.5°)时替换为方向索引3，由此进行同样的分类。
另外，区域分类部424将从可变长码解码部13提供的滤波器系数群，按每个类型分配给对象宏块所包含的各分割区域或各分区。更具体而言，对分类为类型I(I＝1，2，...)的分割区域或分区分配从编码数据#1中解码出的滤波器系数群I。例如，对分类为类型1的分割区域分配滤波器系数群1，对分类为类型2的分割区域分配滤波器系数群2。
另外，表示对象宏块所包含的各分割区域或各分区被分类为哪个类型的分类信息，与对各分割区域或各分区分配的滤波器系数群一起被提供给滤波处理部425。
此外，优选采用在对对象宏块应用了帧内预测的情况下，区域分类部424基于各分区的尺寸、分配给各分区的预测模式及各分区的活性度ACT将各分区分类为多个类型中的某一个，在对对象宏块应用了帧间预测的情况下，区域分类部424基于各分割区域中的边缘角度及各分割区域的活性度ACT将各分割区域分类为多个类型中的某一个的构成，但本实施方式并不限定于此。
另外，在上述说明中，作为自适应滤波器42的构成例举了图5所示的构成，但本实施方式并不限定于此(以下也可将图5所示的自适应滤波器42的构成称为自适应滤波器42的基本构成)。
例如，自适应滤波器42可以如图6所示，采用在图5所示的构成中的预测模式/尺寸蓄积部421、边缘方向检测部422及活性度算出部423之中仅具有预测模式尺寸蓄积部421的构成(以下，也将图6所示的自适应滤波器42的构成称为自适应滤波器42的第1变形例)。
另外，自适应滤波器42可以如图7所示，采用在图5所示的构成中的预测模式/尺寸蓄积部421、边缘方向检测部422及活性度算出部423之中仅具有边缘方向检测部422的构成(以下，也将图7所示的自适应滤波器42的构成称为自适应滤波器42的第2变形例)。
另外，自适应滤波器42可以如图8所示，采用在图5所示的构成中的预测模式/尺寸蓄积部421、边缘方向检测部422及活性度算出部423之中仅具有边缘方向检测部422及活性度算出部423的构成(以下，也将图8所示的自适应滤波器42的构成称为自适应滤波器42的第3变形例)。
另外，自适应滤波器42可以如图9所示，采用在图5所示的构成中的预测模式/尺寸蓄积部421、边缘方向检测部422及活性度算出部423之中仅具有预测模式/尺寸蓄积部421及活性度算出部423的构成(以下，也将图9所示的自适应滤波器42的构成称为自适应滤波器42的第4变形例)。
以下，参照图11～图16来说明区域分类部424进行的分类处理的例子。其中，在生成编码数据#1的运动图像编码装置2中选择性使用以下所示的(分类处理例1)～(分类处理例6)示出的方法的情况下，可以采用将表示进行了哪一分类处理的标识包含在编码数据#1中的构成，也可采用区域分类部424参照该标识而进行以下所示的(分类处理例1)～(分类处理例6)中的某一分类处理的构成。
(分类处理例1)
以下，参照图11(a)～(c)说明区域分类部424进行的分类处理的第1例。
在本例中，区域分类部424基于滤波器组编号及各分割区域的边缘角度Theta，对对象宏块所包含的各分割区域进行分类。图11是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。其中，图11(a)～(c)中的θ表示了边缘角度Theta(以下同样)。
(1-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图11(a)所示将对象宏块包含的所有分割区域分类为类型0。
(1-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图11(b)所示，将边缘角度Theta满足(0°≤Theta＜45°，或135°≤Theta＜180°)的分割区域分类为类型0，将边缘角度Theta满足(45°≤Theta＜135°)的分割区域分类为类型1。
(1-3：滤波器组编号＝2时)
滤波器组编号为2时，区域分类部424如图11(c)所示，将边缘角度Theta满足(0°≤Theta＜22.5°，或157.5°≤Theta＜180°)的分割区域分类为类型0，将边缘角度Theta满足(22.5°≤Theta＜67.5°)的分割区域分类为类型1，将边缘角度Theta满足(67.5°≤Theta＜112.5°)的分割区域分类为类型2，将边缘角度Theta满足(112.5°≤Theta≤157.5°)的分割区域分类为类型3。
此外，无论在哪个滤波器组编号的情况下，都可采用当存在被边缘检测部422判定为无边缘的分割区域时将该分割区域分类为类型0的构成(在以下的分类处理例中也同样)。
另外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用图7所示的第2变形例，还可采用图8所示的第3变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理的情况下，通过采用图7所示的变形例，能够简化自适应滤波器42的构成。
(分类处理例2)
以下，参照图12(a)～(d)说明区域分类部424进行的分类处理的第2例。
在本例中，区域分类部424基于滤波器组编号、各分割区域的边缘角度Theta及各分割区域的活性度ACT，对对象宏块所包含的各分割区域进行分类。图12是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表。
(2-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图12(a)所示，将对象宏块包含的所有分割区域分类为类型0。
(2-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图12(b)所示，将活性度ACT为预先规定的阈值TH以下的分割区域分类为类型0，将活性度ACT比该阈值TH大的分割区域分类为类型1。
(2-3：滤波器组编号＝2时)
滤波器组编号为2时，区域分类部424如图12(c)所示，将活性度ACT为预先规定的阈值TH以下的分割区域分类为类型0，将活性度ACT比该阈值TH大且边缘角度Theta满足(0°≤Theta＜45°，或135°≤Theta＜180°)的分割区域分类为类型1，将活性度ACT比该阈值TH大且边缘角度Theta满足(45°≤Theta＜135°)的分割区域分类为类型2。
(2-4：滤波器组编号＝3时)
滤波器组编号为3时，区域分类部424如图12(d)所示，将活性度ACT在预先规定的第1阈值TH1以下的分割区域分类为类型0，将活性度ACT大于比该第1阈值大的第2阈值TH2的分割区域分类为类型5。
另外，区域分类部424将活性度ACT比上述第1阈值大且为上述第2阈值以下的分割区域按以下方式进行分类。即，将边缘角度Theta满足(0°≤Theta＜22.5°，或157.5°≤Theta＜180°)的分割区域分类为类型1，将边缘角度Theta满足(22.5°≤Theta＜67.5°)的分割区域分类为类型2，将边缘角度Theta满足(67.5°≤Theta＜112.5°)的分割区域分类为类型3，将边缘角度Theta满足(112.5°≤Theta＜157.5°)的分割区域分类为类型4。
这样，在本例中，活性度在规定的阈值以下时，将对象宏块包含的各分割区域分类为1个类型，仅在活性度比规定的阈值大时，将对象宏块包含的各分割区域根据以边缘角度测定的方向性分类为多个类型。这是由于，在活性度小的情况下，利用图像的方向性的优点小，在活性度大的情况下，利用图像的方向性的优点大。
此外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用图8所示的第3变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理的情况下，通过采用图8所示的变形例，能够简化自适应滤波器42的构成。
(分类处理例3)
以下，参照图13(a)～(c)说明区域分类部424进行的分类处理的第3例。
在本例中，区域分类部424基于滤波器组编号及各分区的尺寸，将对象宏块包含的各分区进行分类。图13是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。
(3-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图13(a)所示，将对象宏块包含的所有分区分类为类型0。
(3-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图13(b)所示，将16×16像素的分区及8×8像素的分区分类为类型0，将4×4像素的分区、8×1像素的分区及1×8像素的分区分类为类型1。
(3-2：滤波器组编号＝2时)
滤波器组编号为2时，区域分类部424如图13(c)所示，将16×16像素的分区及8×8像素的分区分类为类型0，将4×4像素的分区分类为类型1，将8×1像素的分区分类为类型2，将1×8像素的分区分类为类型3。
这样，在本例中，根据对象宏块包含的各分区的大小及形状，将各分区分类为多个类型。如上所述，由于分区的大小与该分区中的图像的活性度之间存在负的相关，因此根据分区的大小对各分区进行分类，对应于根据图像的活性度对各分区进行分类。另外，如上所述，由于分区的形状与该分区中的图像的方向性存在相关，因此根据分区的形状对各分区进行分类，对应于根据图像的方向性对各分区进行分类。这样，本例通过利用分区的大小与活性度之间的相关、及分区的形状与方向性之间的相关，从而在不直接参照活性度及方向性的情况下，进行了实质上与活性度及方向性相应的分类。
此外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用图6所示的第1变形例，还可采用图9所示的第4变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理、(分类处理例4)及(分类处理例5)的至少任一个的情况下，通过采用图6所示的变形例，能够简化自适应滤波器42的构成。
(分类处理例4)
以下，参照图14(a)～(c)说明区域分类部424进行的分类处理的第4例。
在本例中，区域分类部424基于滤波器组编号及分配给各分区的预测模式，将对象宏块包含的各分区进行分类。图14是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表。
(4-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图14(a)所示，将对象宏块包含的所有分区分类为类型0。
(4-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图14(b)所示，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型0，将应用了此外的预测模式的分区分类为类型1。
(4-3：滤波器组编号＝2时)
滤波器组编号为1时，区域分类部424如图14(c)所示，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型0，将应用了方向预测0的分区分类为类型1，将应用了方向预测4的分区分类为类型2，将应用了方向预测1～3中的任一种的分区分类为类型3，将应用了方向预测5～7中的任一种的分区分类为类型4，将应用了TM预测的分区分类为类型5。
在本例中，利用了在特定预测模式中活性度变小的倾向。即，将具有活性度变小的倾向的特定预测模式和此外的预测模式分类为不同类型。在上述说明中，利用了DC预测、平面预测和尺度预测中活性度变小的倾向，但也存在DC预测中活性度大的情况，因此也可对平面预测及尺度预测的情况与DC预测的情况分配不同类型。在对DC预测分配不同类型的情况下，可在滤波器组编号为1时分配类型1、在滤波器组编号为2时分配类型5。
此外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用图6所示的第1变形例，还可采用图9所示的第4变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理、(分类处理例3)及(分类处理例5)的至少任一个的情况下，通过采用图6所示的变形例，能够简化自适应滤波器42的构成。
(分类处理例5)
以下，参照图15(a)～(e)说明区域分类部424进行的分类处理的第5例。
在本例中，区域分类部424基于滤波器组编号、各分区的尺寸及分配给各分区的预测模式，将对象宏块包含的各分区进行分类。图15是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表，(e)是表示滤波器组编号为4时的分类的表。
(5-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图15(a)所示，将对象宏块包含的所有分区分类为类型0。
(5-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图15(b)所示，将16×16像素的分区及8×8像素的分区分类为类型0，将4×4像素的分区、8×1像素的分区及1×8像素的分区分类为类型1。
(5-3：滤波器组编号＝2时)
滤波器组编号为2时，区域分类部424如图15(c)所示，将尺寸为16×16像素及8×8像素中的任一个且应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型0，将尺寸为16×16像素及8×8像素中的任一个且应用了DC预测、平面预测及尺度预测以外的预测模式的分区分类为类型1，将尺寸为4×4像素、8×1像素及1×8像素中的任一个且应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型2，将尺寸为4×4像素、8×1像素及1×8像素中的任一个且应用了DC预测、平面预测及尺度预测以外的预测模式的分区分类为类型3。
(5-4：滤波器组编号＝3时)
滤波器组编号为3时，区域分类部424如图15(d)所示，将尺寸为16×16像素、8×8像素及4×4像素中的任一个的分区按以下方式进行分类。即，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型0，将应用了方向预测0的分区分类为类型1，将应用了方向预测4的分区分类为类型2，将应用了方向预测1～3及5～7中的任一种的分区分类为类型3，将应用了TM预测的分区分类为类型4。
另外，区域分类部424如图15(d)所示，将尺寸为8×1像素的分区分类为类型1(即，与尺寸为16×16像素、8×8像素及4×4像素中的任一个且应用了方向预测0的分区相同的类型)，将尺寸为1×8像素的分区分类为类型2(即，与尺寸为16×16像素、8×8像素及4×4像素中的任一个且应用了方向预测4的分区相同的类型)。
(5-5：滤波器组编号＝4时)
滤波器组编号为4时，区域分类部424如图15(e)所示，将尺寸为16×16像素及8×8像素中的任一个的分区按以下方式进行分类。即，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型0，将应用了方向预测0的分区分类为类型1，将应用了方向预测4的分区分类为类型2，将应用了方向预测1～3中的任一种的分区分类为类型1，将应用了方向预测5～7中的任一种的分区分类为类型2，将应用了TM预测的分区分类为类型3。
另外，区域分类部424如图15(e)所示，将尺寸为4×4像素的分区按以下方式进行分类。即，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型4，将应用了方向预测0的分区分类为类型5，将应用了方向预测4的分区分类为类型6，将应用了方向预测1～3中的任一种的分区分类为类型7，将应用了方向预测5～7中的任一种的分区分类为类型8，将应用了TM预测的分区分类为类型9。
另外，区域分类部424如图15(e)所示，将尺寸为8×1像素的分区分类为类型5(即，与尺寸为4×4像素且应用了方向预测0的分区相同的类型)，将尺寸为1×8像素的分区分类为类型6(即，与尺寸为4×4像素且应用了方向预测4的分区相同的类型)。
这样，本例利用了(1)分区的尺寸与活性度之间的关系、及(2)分区的形状及预测模式与方向性之间的关系这两者。
此外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用图6所示的第1变形例，还可采用图9所示的第4变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理、(分类处理例3)及(分类处理例4)的至少任一个的情况下，通过采用图6所示的变形例，能够简化自适应滤波器42的构成。
(分类处理例6)
以下，参照图16(a)～(e)说明区域分类部424进行的分类处理的第6例。
在本例中，区域分类部424基于滤波器组编号、分配给各分区的预测模式及各分区的活性度，将对象宏块包含的各分区进行分类。图16是用于说明本例中的区域分类部424进行的分类处理的图，(a)是表示滤波器组编号为0时的分类的表，(b)是表示滤波器组编号为1时的分类的表，(c)是表示滤波器组编号为2时的分类的表，(d)是表示滤波器组编号为3时的分类的表，(e)是表示滤波器组编号为4时的分类的表。
(6-1：滤波器组编号＝0时)
滤波器组编号为0时，区域分类部424如图16(a)所示，将对象宏块包含的所有分区分类为类型0。
(6-2：滤波器组编号＝1时)
滤波器组编号为1时，区域分类部424如图16(b)所示，将活性度ACT为预先规定的阈值TH以下的分区分类为类型0，将活性度ACT比该阈值TH大的分区分类为类型1。
(6-3：滤波器组编号＝2时)
滤波器组编号为2时，区域分类部424如图16(c)所示，将活性度ACT为预先规定的阈值TH以下的分区分类为类型0，将活性度ACT比该阈值TH大且应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型1，将活性度ACT比该阈值TH大且应用了DC预测、平面预测及尺度预测以外的预测模式的分区分类为类型2。
(6-4：滤波器组编号＝3时)
滤波器组编号为3时，区域分类部424如图16(d)所示，将活性度ACT为预先规定的阈值TH以下的分区分类为类型0。另外，区域分类部424将活性度ACT比该阈值TH大的分区按以下方式进行分类。即，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型1，将应用了方向预测0的分区分类为类型2，将应用了方向预测4的分区分类为类型3，将应用了此外的预测模式的分区分类为类型4。
(6-5：滤波器组编号＝4时)
滤波器组编号为3时，区域分类部424如图16(e)所示，将活性度ACT为预先规定的阈值TH以下的分区分类为类型0。另外，区域分类部424将活性度ACT比该阈值TH大的分区按以下方式进行分类。即，将应用了DC预测、平面预测及尺度预测中的任一种的分区分类为类型1，将应用了方向预测0的分区分类为类型2，将应用了方向预测4的分区分类为类型3，将应用了方向预测1～3中的任一种的分区分类为类型4，将应用了方向预测5～7中的任一种的分区分类为类型5，将应用了TM预测的分区分类为类型6。
这样，本例利用了(1)分区的尺寸与活性度之间的关系、及(2)分区的形状或预测模式与方向性之间的关系这两者。
此外，作为用于进行本例的处理的自适应滤波器42，可以采用具有图5所示的基本构成的自适应滤波器，也可采用还可采用图9所示的第4变形例。在(分类处理例1)～(分类处理例6)之中仅进行本例的处理的情况下，通过采用图9所示的变形例，能够简化自适应滤波器42的构成。
(滤波处理部425)
滤波处理部425针对去块完毕解码图像P_DB中的对象宏块所包含的各分割区域或各分区，利用从区域分类部424提供的滤波器系数群进行滤波处理，由此生成滤波完毕解码图像P_FL。在此，针对分类为类型I(I＝1，2，…)的分割区域或分区，进行利用了滤波器系数群I的滤波处理。
更具体而言，将滤波完毕解码图像P_FL(以下也称为“滤波后图像”)中的对象宏块内的像素值、且分类为类型I(I＝1，2，…)的分割区域或分区中的滤波对象像素的像素值表示为SF(x’，y’)，将去块完毕解码图像P_DB(以下也称为“滤波前图像”)中的对象宏块内或对象宏块周边的像素值表示为S(x，y)，则滤波处理部425根据以下的公式(6)来算出像素值SF(x’，y’)。
[数学式5]
S F ( x ′ , y ′ ) = ( Σ ( i , j ) ∈ R aI ( i , j ) × S ( x + i , y + j ) ) + oI - - - ( 6 )
在此，坐标(x，y)可以是与坐标(x’，y’)相同的坐标，只要具有一一对应的关系则也可以是不同的坐标。另外，aI(i，j)表示了与滤波前图像的像素值S(x+i，y+j)相乘的滤波器系数，对应于编码数据#1包含的滤波器系数群所包含的滤波器系数。另外，oI表示了滤波器系数群I所包含的偏置量。
另外，R表示了滤波处理中参照的区域(以下也称为“滤波参照区域R”)。图17(a)中表示本实施方式中的滤波参照区域R的例子。在图17(a)中，带有斜线的像素表示了滤波对象像素。另外，在图17(a)中，a0～a12表示了从编码数据#1中解码出的且分配给滤波参照区域R所包含的各像素的滤波器系数。如图17(a)所示，滤波参照区域R例如可由距滤波对象像素的区块距离为3以下的像素构成。
另外，如图17(a)所示，各滤波器系数可采用按照具有180度的旋转对称性的方式分配给滤波参照区域R所包含的各像素的构成。即，公式(6)中的aI(i，j)可设为利用从编码数据#1中解码出的滤波器系数a0～a12，并按照如aI(0，-3)＝aI(0，3)＝a0、aI(1，-2)＝aI(-1，2)＝a1、…这样满足aI(i，j)＝aI(-i，-j)的方式进行设定的构成。
但是，本实施方式并不限定于此，各滤波器系数向各像素值的分配也可不具有旋转对称性。另外，更一般的情况下，滤波参照区域R可以是以像素为单位并由距坐标(x，y)的区块距离为Ncb以下的像素构成的区域，也可以是以坐标(x，y)为中心的Nx×Ny抽头的矩形状的区域还可以是按照包含其他像素的方式构成的区域。
关于向滤波参照区域R所包含的各像素分配滤波器系数的分配方法、及滤波参照区域R的形状，根据生成编码数据#1的运动图像编码装置的构成适当设定即可。
另外，滤波处理部425可采用下述构成，即：根据从可变长码解码部13提供的启用禁用信息，对于滤波处理被指定为禁用的分割区域及分区不进行滤波处理。
如上所述，关于自适应滤波器42，在将输出图像(滤波完毕解码图像P_FL)中的各像素的像素值，基于根据输入图像(去块图像P_DB)之中该像素的位置而确定的参照区域R内的像素值、和滤波器系数群来算出的图像滤波装置中，具备：对构成上述输入图像的多个单位区域(分割区域或分区)的每一个中的上述输入图像的方向性进行识别的方向性识别单元(边缘方向检测部422、区域分类部424)；根据由上述方向性识别单元识别出的各单位区域中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组(类型)之中的某一个的分类单元(区域分类部424)；和将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元(滤波处理部425)。
根据具有如上构成的自适应滤波器42，由于上述滤波单元将输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出，因此在上述输入图像的方向性按每个单位区域而不同的情况下，能够根据该方向性进行适当的滤波处理。
因此，根据自适应滤波器42，即使上述输入图像是具有在根据活性度切换了滤波器系数的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
此外，各单位区域中的输入图像(去块图像P_DB)的方向性可以通过由边缘方向检测部422检测该输入图像的边缘来识别，也可采用根据在生成帧内预测图像时参照的帧内预测模式(预测模式)所表示的方向而由区域分类部424间接地进行识别的构成。
另外，自适应滤波器42也可表现为根据利用画面内预测而按每个单位区域(分割区域或分区)生成的输入图像(去块图像P_DB)来生成输出图像(滤波完毕解码图像P_FL)的图像滤波装置，在将输出图像中的各像素的像素值基于根据该像素的位置而确定的参照区域内的输入图像的像素值、和滤波器系数群来算出的图像滤波装置中，具备：根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组(类型)之中的某一个的分类单元(区域分类部424)；将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元(滤波处理部425)。
这样，自适应滤波器42根据分区的形状及大小，例如如(分类处理例3)所示那样将各分区分类到多个组之中的某一个，从而能够按每一组利用最优的滤波器系数进行滤波处理。
因此，根据自适应滤波器42，即使上述输入图像是具有在根据活性度切换了滤波器系数的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
<变形例1>
在以上的说明中，例举了编码数据#1的切片首部SH中包含滤波器组编号的情况，但本实施方式并不限定于此。例如，编码数据#1的切片首部SH也可采用下述构成，即：取代滤波器组编号而包含表示边缘角度Theta、预测模式、各分区的尺寸、及活性度ACT与1个或多个滤波器系数群(更具体而言是对滤波器系数群进行指定的滤波器编号)之间的对应关系的表(以下也称为“滤波器分配表”)。
图18是表示包含滤波器分配表的切片首部SH’的构成的图。切片首部SH'与已经说明过的切片首部SH同样包含滤波器启用禁用信息、滤波器系数群0～Nf-1。此外，切片首部SH'取代切片首部SH所包含的滤波器组编号而包含上述的滤波器分配表。
图19(a)～(b)表示滤波器分配表的例子。如图19(a)所示，滤波器分配表可以是表示例如边缘角度Theta与滤波器编号之间的对应关系的表，如图19(b)所示，也可以是预测模式及分区的尺寸与滤波器编号之间的对应关系。另外，作为滤波器分配表，并不限于图19(a)～(b)所示的表，只要是将边缘方向、分区的尺寸、预测模式及活性度的任一个与滤波器编号关联对应的表即可。
自适应滤波器42所具备的区域分类部424可采用下述构成：参照切片首部SH'所包含的滤波器分配表，向对象宏块所包含的各分割区域或各分区分配从编码数据#1中解码出的且由该滤波器分配表指定的滤波器系数群。
例如，区域分类部424在切片首部SH'所包含的滤波器分配表如图19(a)所示的情况下，对边缘角度Theta为(0°≤Theta＜22.5°，或，157.5°≤Theta＜180°)的分割区域分配滤波器系数群0，对边缘角度Theta为(22.5°≤Theta＜67.5°)的分割区域分配滤波器系数群2，对边缘角度Theta为(67.5°≤Theta＜112.5°)的分割区域分配滤波器系数群1，对边缘角度Theta为(112.5°≤Theta＜157.5°)的分割区域分配滤波器系数群2。在切片首部SH'所包含的滤波器分配表如图19(b)所示的情况下也同样。
这样，通过参照滤波器分配表，与利用滤波器组的情况相比，由于分别将多个滤波器系数群与不同类型(单位区域组)关联的自由度增大，因此滤波器系数群的选择的自由度增大。
此外，滤波器分配表还可作为表示编码数据#1所包含的多个滤波器系数群的每一个与哪个边缘角度相关联的信息(方向性信息)。
<变形例2>
另外，在以上的说明中，作为公式(6)的滤波参照区域R，列举了图17(a)所示的例子，但本实施方式并不限定于此。作为本实施方式中的滤波参照区域R，例如可以采用图17(b)～(d)所示的参照区域。在图17(a)～(d)中，带有斜线的像素表示了滤波对象像素。以下，将图17(a)所示的滤波参照区域R称为“基本参照区域”，将图17(b)所示的滤波参照区域R称为“垂直方向型的参照区域”，将图17(c)所示的滤波参照区域R称为“水平方向型的参照区域”，将图17(d)所示的滤波参照区域R称为“斜向型的参照区域”。
图17(a)所示的基本参照区域能够适当应用于去块完毕解码图像P
DB的对象宏块中不存在边缘的分割区域或者分区、或边缘的强度比规定值小的分割区域或者分区的滤波处理中。
另一方面，如图17(b)所示，垂直方向型的参照区域具有垂直方向的长度比水平方向的长度长的特征。因此，能够适当应用于去块完毕解码图像P_DB的对象宏块中存在纵向边缘的分割区域或分区的滤波处理中。
另外，如图17(c)所示，水平方向型的参照区域具有水平方向的长度比垂直方向的长度长的特征。因此，能够适当应用于去块完毕解码图像P_DB的对象宏块中存在横向边缘的分割区域或分区的滤波处理中。
另外，如图17(d)所示，斜向型的参照区域是矩形状，因此能够适当应用于去块完毕解码图像P_DB的对象宏块中存在斜向边缘的分割区域或分区的滤波处理中。
自适应滤波器42所具备的滤波处理部425可采用选择性利用上述基本参照区域、垂直方向型的参照区域、水平方向型的参照区域及斜向型的参照区域中的任意参照区域来作为滤波参照区域R的构成。更具体而言，预测模式/尺寸蓄积部421及边缘方向检测部422可采用分别将各分区的预测模式及各分割区域的边缘角度Theta提供给滤波处理部425的构成，滤波处理部425可采用根据各分割区域的边缘角度或各分区的预测模式来选择性使用上述多个参照区域的任一个的构成。
图20(a)中表示边缘角度与使用的参照区域之间的对应关系的例子。如图20(a)所示，滤波处理部425例如可在边缘角度Theta满足(0°≤Theta＜22.5°，或157.5°≤Theta＜180°)的分割区域内存在滤波对象像素的情况下采用水平方向型的参照区域，在边缘角度Theta满足(22.5°≤Theta＜67.5°)的分割区域内存在滤波对象像素的情况下采用斜向型的参照区域，在边缘角度Theta满足(67.5°≤Theta＜112.5°)的分割区域内存在滤波对象像素的情况下采用垂直方向型的参照区域，在边缘角度Theta满足(112.5°≤Theta＜157.5°)的分割区域内存在滤波对象像素的情况下采用斜向型的参照区域。
另外，图20(b)中表示预测模式和使用的参照区域之间的对应关系的例子。如图20(b)所示，滤波处理部425例如可在预测模式为DC预测、平面预测、TM预测及尺度预测中的任一种的分区内存在滤波对象像素的情况下采用基本参照区域，在预测模式为方向预测0的分区内存在滤波对象像素的情况下采用水平方向型的参照区域，在预测模式为方向预测4的分区内存在滤波对象像素的情况下采用垂直方向型的参照区域，在预测模式为方向预测1～3及方向预测5～7中的任一种的分区内存在滤波对象像素的情况下采用斜向型的参照区域。
具有与本变形例的构成同样的构成的运动图像编码装置，通过根据边缘角度及预测模式从多个滤波参照区域的形状中选择最优的形状，从而能够进行更适当的滤波处理，因此预测精度提高，能够提高编码效率。另外，通过根据边缘角度及预测模式对滤波参照区域的形状进行最优化，能够在尽可能减少滤波器系数群的总数的同时进行有效的滤波处理。
另外，具有本变形例的构成的运动图像解码装置1，能够对这种编码效率高的编码数据适当地进行解码。
此外，在本实施方式中，可选择的参照区域的形状并不限于图20(a)～(d)所示的形状，可根据边缘角度及预测模式，采用其他各种形状及大小的参照区域。
<变形例3>
在以上的说明中，例举了编码数据#1的切片首部中包含滤波器组编号的情况、及取代该滤波器组编号而包含滤波器分配表的情况，但本实施方式并不限定于此。
例如，编码数据#1的切片首部可采用不包含滤波器组编号及滤波器分配表的任一个的构成。
在编码数据#1为这种构成的情况下，区域分类部424采用下述构成即可：不参照滤波器组编号，而是基于(1)各分区的尺寸、(2)预测模式、(3)边缘角度Theta及(4)活性度ACT，将对象宏块所包含的各分割区域或各分区分类为1个或多个类型，对于分类为类型I(I＝1，2，…)的分割区域或分区分配从编码数据#1中解码出的滤波器系数群I。
另外，在以上的说明中，设为边缘检测部422在0°≤Theta＜180°的范围内检测各分割区域的边缘的角度Theta，但本实施方式并不限定于此。例如，边缘检测部422也可采用在0°≤Theta＜360°的范围内检测各分割区域的边缘的角度Theta的构成。
图21是表示在编码数据#1不包含滤波器组编号及滤波器分配表的任一个、且边缘检测部422在0°≤Theta＜360°的范围内检测各分割区域的边缘的角度Theta的构成的情况下区域分类部424进行的分类处理的例子的表。如图21所示，区域分类部424将边缘角度Theta满足(0°≤Theta＜22.5°或337.5°≤Theta＜360°)的分割区域分类为类型0，将边缘角度Theta满足(22.5°≤Theta＜67.5°)的分割区域分类为类型1，将边缘角度Theta满足(67.5°≤Theta＜112.5°)的分割区域分类为类型2，将边缘角度Theta满足(112.5°≤Theta＜157.5°)的分割区域分类为类型3，将边缘角度Theta满足(157.5°≤Theta＜202.5°)的分割区域分类为类型4，将边缘角度Theta满足(202.5°≤Theta＜247.5°)的分割区域分类为类型5，将边缘角度Theta满足(247.5°≤Theta＜292.5°)的分割区域分类为类型6，将边缘角度Theta满足(292.5°≤Theta＜337.5°)的分割区域分类为类型7。
另外，区域分类部424对分类为类型I(I＝1～7)的分割区域分配从编码数据#1中解码出的滤波器系数群I。
本变形例中，在0°≤Theta＜360°的范围内检测边缘角度，并根据检测出的角度分配滤波器系数群，因此能够进行更有效的滤波处理。另外，在本变形例中，由于编码数据#1是不包含滤波器组编号及滤波器分配表的任一个的构成，因此能够削减编码数据#1的码量。
<变形例4>
另外，在以上的说明中，区域分类部424采用了将对象宏块所包含的各分割区域或各分区(预测单位)分类为多个类型中的某一个的构成，但本实施方式并不限定于此。例如，区域分类部424也可采用将对象宏块所包含的各块(变换单位)分类为多个类型中的某一个的构成。该情况下，区域分类部424与上述构成大致同样，可采用根据对象宏块所包含的各块的尺寸、预测模式、边缘角度及活性度ACT将各块分类为多个类型中的某一个的构成。
另外，在这样的构成的情况下，帧内预测模式蓄积部421采用将对象宏块所包含的各分区的预测模式分配给对应的块、并蓄积各块的预测模式及各块的尺寸的构成即可。另外，边缘方向检测部422采用对对象宏块所包含的各块进行边缘检测的构成即可。另外，活性度算出部423采用对对象宏块所包含的各块计算活性度ACT的构成即可。另外，滤波处理部425采用对分类为类型I(I＝1，2，...)的块进行利用了滤波器系数群I的滤波处理的构成即可。
自适应滤波器42即使采用如本例的构成，也能对去块完毕解码图像P_DB进行适当的滤波处理。
(运动图像编码装置2)
参照图22～图24说明本实施方式所涉及的运动图像编码装置2的构成。运动图像编码装置2是其一部分中包含H.264/MPEG-4.AVC及KTA软件中采用的技术的解码装置。
图22是表示运动图像编码装置2的构成的框图。如图22所示，运动图像编码装置2包括：变换/量化部21、可变长码编码部22、逆量化/逆变换部23、缓冲存储器24、帧内预测图像生成部25、帧间预测图像生成部26、运动向量检测部27、预测方式控制部28、运动向量冗余性去除部29、加法器31、减法器32、去块滤波器33及自适应滤波器34。运动图像编码装置2是通过对运动图像#10(编码对象图像)进行编码来生成编码数据#1的装置。
变换/量化部21(1)对从编码对象图像中减去预测图像Pred而得到的预测残差D按每一块进行DCT变换(DiscreteCosineTransform)，(2)对通过DCT变换而得到的DCT系数进行量化，(3)将通过量化而得到的量化预测残差QD提供给可变长码编码部22及逆量化/逆变换部23。此外，变换/量化部21(1)按每一宏块来选择在量化时使用的量化步长QP，(2)将表示选择出的量化步长QP的大小的量化参数差分Δqp提供给可变长码编码部22，(3)将选择出的量化步长QP提供给逆量化/逆变换部23。在此，量化参数差分Δqp是指从与进行DCT变换/量化的宏块有关的量化参数qp(QP＝2pq/6)的值中减去与前一个进行了DCT变换/量化的宏块有关的量化参数qp’的值而得到的差分值。
可变长码编码部22通过对(1)从变换/量化部21提供的量化预测残差QD以及Δqp、(2)从后述的预测方式控制部28提供的量化参数PP、及(3)从后述的自适应滤波器34提供的滤波器组编号、滤波器系数群、区域指定信息以及启用禁用信息进行可变长编码，来生成编码数据#1。
逆量化/逆变换部23(1)对量化预测残差QD进行逆量化，(2)对通过逆量化而得到的DCT系数进行逆DCT(DiscreteCosineTransform)变换，(3)将通过逆DCT变换而得到的预测残差D提供给加法器31。在对量化预测残差QD进行逆量化时，利用从变换/量化部21提供的量化步长QP。此外，从逆量化/逆变换部23输出的预测残差D是在输入到变换/量化部21中的预测残差D上加上量化误差而得到的，但在此为了简化说明而采用了相同名称。
帧内预测图像生成部25生成与各分区有关的预测图像Pred_Intra。具体而言，(1)针对各分区选择在帧内预测中使用的预测模式，(2)利用选择出的预测模式，根据解码图像P生成预测图像Pred_Intra。帧内预测图像生成部25将生成的帧内预测图像Pred_Intra提供给预测方式控制部28。
另外，帧内预测图像生成部25参照自身的存储器中保存的图3(a)所示的对应表，根据针对各分区选择的预测模式和各分区的尺寸来确定针对各分区的预测索引PI，将表示针对各分区的该预测索引PI的预测索引指定信息提供给预测方式控制部28。
另外，帧内预测图像生成部25将表示对象分区的尺寸及分配给对象分区的预测模式的信息即帧内编码模式信息IEM提供给自适应滤波器34。
此外，帧内预测图像生成部25进行的帧内预测图像的生成，可通过与在(帧内预测图像生成部17进行的帧内预测图像的生成处理)中说明过的处理同样的处理来进行。
运动向量检测部27检测与各分区有关的运动向量mv。具体而言，(1)选择用作参照图像的滤波完毕解码图像P_FL'，(2)通过在选择出的滤波完毕解码图像P_FL'中搜索对对象分区进行最佳近似的区域，来检测与对象分区有关的运动向量mv。在此，滤波完毕解码图像P_FL'是对已经完成了解码的解码完毕的解码图像实施由去块滤波器33进行的去块处理及由自适应滤波器34进行的自适应滤波处理而得到的图像，运动向量检测部27可从缓冲存储器24中读出构成滤波完毕解码图像P_FL'的各像素的像素值。运动向量检测部27将检测出的运动向量mv与对用作参照图像的滤波完毕解码图像P_FL'进行指定的参照图像索引RI一起提供给帧间预测图像生成部26及运动向量冗余性去除部29。此外，关于进行双向预测(加权预测)的分区，选择2张滤波完毕解码图像P_FL1’及P_FL2’来作为参照图像，将分别与2张滤波完毕解码图像P_FL1’及P_FL2’对应的运动向量mv1及mv2、以及参照图像索引RI1及RI2提供给帧间预测图像生成部26及运动向量冗余性去除部29。
帧间预测图像生成部26生成与各帧间预测分区有关的运动补偿图像mc。具体而言，利用从运动向量检测部27提供的运动向量mv，并根据由从运动向量检测部27提供的参照图像索引RI指定的滤波完毕解码图像P_FL'来生成运动补偿图像mc。与运动向量检测部27同样，帧间预测图像生成部26可从缓冲存储器24中读出构成滤波完毕解码图像P_FL'的各像素的像素值。帧间预测图像生成部26将生成的运动补偿图像mc(帧间预测图像Pred_Inter)与从运动向量检测部27提供的参照图像索引RI一起提供给预测方式控制部28。此外，关于进行双向预测(加权预测)的分区，(1)利用运动向量mv1并根据由参照图像索引RI1指定的滤波完毕解码图像P_FL1’生成运动补偿图像mc1，(2)利用运动向量mv2并根据由参照图像索引RI2指定的滤波完毕参照图像P_FL2’生成运动补偿图像mc2，(3)在运动补偿图像mc1与运动补偿图像mc2的加权平均上加上偏置值来生成帧间预测图像Pred_Inter。
预测方式控制部28将帧内预测图像Pred_Intra及帧间预测图像Pred_Inter与编码对象图像进行比较，选择是进行帧内预测还是进行帧间预测。在选择了帧内预测的情况下，预测方式控制部28将帧内预测图像Pred_Intra作为预测图像Pred提供给加法器31及减法器32，并且将从帧内预测图像生成部25提供的预测索引PI作为预测参数PP提供给可变长码编码部22。另一方面，在选择了帧间预测的情况下，预测方式控制部28将帧间预测图像Pred_Inter作为预测图像Pred提供给加法器31及减法器32，并且将从帧间预测图像生成部26提供的参照图像索引RI以及从运动向量冗余性去除部29(后述)提供的估计运动向量索引PMVI及运动向量残差MVD作为预测参数PP提供给可变长码编码部。
通过将由预测方式控制部28选择出的预测图像Pred从编码对象图像中减去，从而在减法器32中生成预测残差D。减法器32中生成的预测残差D如上所述，由变换/量化部21进行DCT变换/量化。另一方面，通过将由预测方式控制部28选择出的预测图像Pred加到在逆量化/逆变换部23中生成的预测残差D上，从而在加法器31中生成局部解码图像P。加法器31中生成的局部解码图像P在经由去块滤波器33及自适应滤波器34之后被作为滤波完毕解码图像P_FL保存到缓冲存储器24中，从而被用作帧间预测中的参照图像。
此外，运动向量冗余性去除部29对由运动向量检测部27检测出的运动向量mv中的冗余性进行去除。具体而言，(1)选择在运动向量mv的估计中使用的估计方法，(2)按照选择出的估计方法导出估计运动向量pmv，(3)通过从运动向量mv中减去估计运动向量pmv来生成运动向量残差MVD。运动向量冗余性去除部29将生成的运动向量残差MVD与表示选择出的估计方法的估计运动向量索引PMVI一起提供给预测方式控制部28。
去块滤波器33在解码图像P中的块边界或隔着宏块边界而彼此相邻的像素的像素值之差小于预先规定的阈值的情况下，对解码图像P中的该块边界或该宏块边界实施去块处理，进行该块边界或该宏块边界附近的图像的平滑化。由去块滤波器33实施了去块处理后的图像被作为去块完毕解码图像P_DB输出到自适应滤波器34中。
自适应滤波器34对从去块滤波器33提供的去块完毕解码图像P_DB实施自适应滤波处理，生成滤波完毕解码图像P_FL。由自适应滤波器34实施了滤波处理后的滤波完毕解码图像P_FL被保存到缓冲存储器24中。关于自适应滤波器34的具体构成在后面描述，因此这里省略说明。
(自适应滤波器34)
以下，参照图23～图24说明运动图像编码装置2所具备的自适应滤波器34。
图23是表示自适应滤波器34的构成的框图。如图23所示，自适应滤波器34具备：区域分割部340、帧内编码模式蓄积部341、边缘方向检测部342、活性度算出部343、区域分类部344、滤波处理部345及滤波器参数导出部346。
自适应滤波器34针对从去块滤波器33提供的去块完毕解码图像P_DB，利用按照使滤波后的图像与编码对象图像之间的误差最小的方式决定的滤波器系数来进行滤波处理。滤波后的图像被作为滤波完毕解码图像P_FL保存在缓冲存储器24中。此外，滤波完毕解码图像P_FL的生成按宏块单位来进行，也可以比宏块小的区域为单位来进行，还可以比宏块大的区域为单位来进行。下面，以自适应滤波器34按宏块单位进行滤波完毕解码图像P_FL的生成的情况为例进行说明。
(区域分割部340)
区域分割部340将对象宏块分割为1个或多个分割区域，将对各分割区域的尺寸及位置进行指定的区域指定信息提供给边缘方向检测部342、活性度算出部343及可变长码编码部22。在此，各分割区域可以由1个像素构成，也可由多个像素构成。此外，区域分割部340可以采用将对象宏块根据该对象宏块内的图像的特性(亮度、纹理等)来分割成分割区域的构成，也可采用按照使编码效率最优化的方式分割成分割区域的构成。
(帧内编码模式蓄积部341)
帧内编码模式蓄积部341对由帧内预测图像生成部25提供的帧内编码模式信息IEM所表示的分区的尺寸及分配给分区的预测模式进行蓄积。帧内编码模式蓄积部341可采用蓄积针对对象宏块所包含的所有分区的尺寸及预测模式的构成。
另外，帧内编码模式蓄积部341所蓄积的包括各分区的尺寸及预测模式的信息被提供给区域分类部344。
(边缘方向检测部342)
边缘方向检测部342参照从区域分割部340提供的区域指定信息，将去块完毕解码图像P_DB中的对象宏块分割成1个或多个分割区域，针对各分割区域的图像进行边缘检测。另外，关于各分割区域，将表示边缘的方向的角度(边缘角度)Theta提供给区域分类部344。边缘方向检测部342进行的边缘角度Theta的算出可通过与边缘方向检测部422同样的方法来进行。此外，边缘检测部342可采用下述构成：在针对对象分割区域所包含的所有像素的边缘强度为预先规定的阈值以下时，针对该对象分割区域判定为无边缘，并将判定结果提供给区域分类部344。
(活性度算出部343)
活性度算出部343参照从区域分割部340提供的区域指定信息，将去块完毕解码图像P_DB中的对象宏块分割为1个或多个分割区域，针对各分割区域的图像算出活性度(activity)ACT。另外，活性度算出部343在对象宏块中应用了帧内预测的情况下，按对象宏块所包含的每个分区算出活性度ACT。算出的活性度ACT被提供给区域分类部344。活性度算出部343进行的活性度ACT的算出可通过与活性度算出部423同样的方法来进行。
(区域分类部344)
区域分类部344基于(1)从帧内编码模式蓄积部341提供的各分区的尺寸、(2)从帧内编码模式蓄积部341提供的分配给各分区的预测模式、(3)从边缘方向检测部342提供的边缘角度Theta、及(4)从活性度算出部343提供的活性度ACT，将对象宏块所包含的各分割区域或各分区分类为1个或多个类型中的某一个。
区域分类部344进行的各分割区域或各分区的分类通过与区域分类部424进行的(分类处理例1)～(分类处理例6)同样的方法来进行。其中，设区域分类部344采用在更新滤波器组编号的同时进行多次的分类处理从而按每个滤波器组编号生成分类信息的构成。即，设区域分类部344采用进行以下处理的构成。
(步骤S301)
首先，将滤波器组编号k设定为k＝0。
(步骤S302)
然后，通过与区域分类部424同样的方法来进行由滤波器组编号k确定的分类处理。
(步骤S303)
生成表示通过步骤S302中进行的分类而各分割区域或各分区被分类为哪一类型的分类信息(k)。
(步骤S304)
然后，将k加1，在k≤4时进行步骤S302及步骤S303的处理，在变为k＝5之后结束处理。
通过以上的处理，区域分类部344生成滤波器组编号为k(k＝0～4)时的分类信息(k)。生成的分类信息(k)被提供给滤波器参数导出部346及滤波处理部345。
此外，区域分类部344在选择性使用(分类处理例1)～(分类处理例6)所示的方法的情况下，可采用将表示进行了哪个分类处理的标识包含在编码数据#1中的构成。
(滤波处理部345)
滤波处理部345针对k＝0～4的每一个，利用由滤波器参数导出部346基于分类信息(k)算出的滤波器系数群(k)，对对象宏块所包含的各分割区域或各分区进行滤波处理来生成滤波完毕解码图像P_FL(k)。生成的滤波完毕解码图像P_FL(k)(k＝0～4)被保存在滤波处理部345所具备的存储器或缓冲存储器24中。另外，滤波处理部345将利用从滤波器参数导出部346提供的编码开销为最小的滤波器组编号所包含的滤波器系数群而生成的滤波完毕解码图像作为滤波完毕解码图像P_FL提供给缓冲存储器24。
此外，滤波处理部345进行的滤波完毕解码图像P_FL(k)的生成可通过与滤波处理部425进行的滤波完毕解码图像P_FL的生成同样的处理来进行。另外，滤波处理部345可采用下述构成，即：根据从滤波器参数导出部346提供的启用禁用信息，对于滤波处理被指定为禁用的分割区域及分区不进行滤波处理。
(滤波器参数导出部346)
下面，参照图24说明滤波器参数导出部346的构成。图24是表示滤波器参数导出部346的构成的框图。如图24所示，滤波器参数导出部346包括：滤波算出部461、开销算出部462及最优滤波器组选择部463。
(滤波算出部461)
滤波算出部461针对k＝0～4的每一个，基于分类信息(k)，将去块完毕解码图像P_DB所包含的各分割区域或各分区分类为1个或多个类型，并按每个类型算出最优的滤波器系数。
更具体而言，滤波算出部461进行以下处理。
(步骤S401)
首先，将滤波器组编号k设定为k＝0。
(步骤S402)
然后，基于分类信息(k)，将去块完毕解码图像P_DB所包含的各分割区域或各分区分类为1个或多个类型。
(步骤S403)
然后，将对象宏块中的去块完毕解码图像P_DB之中被分类为类型I的分割区域或分区所构成的图像表示为图像I，将图像I所包含的像素之中坐标为(x，y)的像素的像素值表示为SI(x，y)，将对象宏块中的编码对象图像所包含的像素之中坐标为(x，y)的像素的像素值表示为ST(x，y)，则滤波算出部461导出使例如由以下的公式(7)赋予的平方误差E最小的滤波器系数aI(i，j)及偏置量oI。
[数学式6]
E = &Sigma; x , y ( S T ( x , y ) - &Sigma; ( i , j ) &Element; R aI ( i , j ) S J ( x + i , y + j ) - oI ) 2 - - - ( 7 )
(步骤S404)
然后，将步骤S404中导出的滤波器系数aI(i，j)及偏置量oI作为滤波器系数群(k)提供给滤波处理部345及最优滤波器组选择部463。
(步骤S405)
然后，将k加1，在k≤4时进行步骤S402～步骤S404的处理，在变为k＝5之后结束处理。
通过以上的处理，滤波算出部461将基于滤波器组编号为k(k＝0～4)时的分类信息(k)而算出的滤波器系数群(k)提供给滤波处理部345及最优滤波器组选择部463。
另外，滤波算出部461将按每个分割区域或每个分区指定滤波处理的启用禁用的启用禁用信息提供给滤波处理部345。
(开销算出部462)
开销算出部462将从滤波处理部345提供的滤波完毕解码图像P_FL(k)(k＝0～4)的每一个与编码对象图像进行比较，来算出每个滤波器组编号k(k＝0～4)的编码开销。另外，表示每个滤波器组编号k(k＝0～4)的编码开销的开销信息被提供给最优滤波器组选择部463。此外，编码开销的计算可利用率失真函数(Rate-Distortionfunction)。
(最优滤波器组选择部463)
最优滤波器组选择部463将从开销算出部462提供的开销信息所表示的每个滤波器组编号k(k＝0～4)的编码开销相互比较，并将与最小的编码开销关联的滤波器组编号提供给可变长码编码部22及滤波处理部345。另外，最优滤波器组选择部463将与上述最小的编码开销关联的滤波器组所包含的滤波器系数群及启用禁用信息提供给可变长码编码部22。
<变形例1’>
在以上的说明中，例举了运动图像编码装置2在编码数据#1中包含滤波器组编号的情况，但本实施方式的运动图像编码装置2的构成并不限定于此。如<变形例1>中说明的那样，运动图像编码装置2也可采用下述构成，即：取代滤波器组编号，而将表示边缘角度Theta、预测模式、各分区的尺寸及活性度ACT与1个或多个滤波器系数群(更具体而言是指定滤波器系数群的滤波器编号)之间的对应关系的表(滤波器分配表)包含在编码数据#1中。该情况下，自适应滤波器34所具备的区域分类部344采用将边缘角度Theta、预测模式、各分区的尺寸及活性度ACT提供给滤波器参数导出部346的构成，滤波器参数导出部346采用生成表示边缘角度Theta、预测模式、各分区的尺寸及活性度ACT与1个或多个滤波器系数群之间的对应关系的滤波器分配表的构成即可。
在本变形例中，作为由滤波器参数导出部346生成的滤波器分配表的例子，可列举图19(a)～(b)所示的表。
<变形例2’>
另外，自适应滤波器34所具备的滤波处理部345如<变形例2>中说明过的那样，可采用选择性使用基本参照区域、垂直方向型的参照区域、水平方向型的参照区域及斜向型的参照区域中的任意参照区域来作为滤波参照区域R的构成。更具体而言，帧内编码模式蓄积部341及边缘方向检测部342可采用分别将各分区的预测模式及各分割区域的边缘角度Theta提供给滤波处理部345的构成，滤波处理部345可采用根据各分割区域的边缘角度Theta或各分区的预测模式来选择性使用上述多个参照区域中的任意参照区域的构成。
作为本变形例中选择性使用的滤波参照区域与预测模式及边缘角度之间的对应关系的例子，可列举图20(a)～(b)所示的表。
本变形例中的运动图像编码装置2通过根据边缘角度及预测模式来选择性使用多个滤波参照区域中的任意参照区域，能够进行更适当的滤波处理，因此预测精度提高，能够提高编码效率。
<变形例3’>
另外，运动图像编码装置2也可采用在编码数据#1中不包含滤波器组编号及滤波器分配表的任一个的构成。
即，可采用下述构成：区域分类部344基于预先规定的滤波器组编号来生成分类信息，滤波器参数导出部346基于该预先规定的滤波器组编号来导出滤波器系数群，滤波处理部345利用该滤波器系数来进行滤波处理。
另外，边缘检测部342也可采用在0°≤Theta＜360°的范围内检测各分割区域的边缘的角度Theta的构成。
作为表示本变形例中的区域分类部344进行的分类处理的例子的图，可列举图21。
本变形例中，在0°≤Theta＜360°的范围内检测边缘角度，并根据检测出的角度来分配滤波器系数群，因此能够进行更有效的滤波处理。另外，在本变形例中，编码数据#1是不包含滤波器组编号及滤波器分配表的任一个的构成，因此能够削减编码数据#1的码量。
<变形例4’>
另外，区域分类部344可采用将对象宏块所包含的各块(变换单位)分类为多个类型中的某一个的构成。该情况下，区域分类部344与上述构成大致同样，可采用根据对象宏块所包含的各块的尺寸、预测模式、边缘角度及活性度ACT将各块分类为多个类型中的某一个的构成。
另外，在这样的构成的情况下，帧内预测模式蓄积部341采用下述构成即可：将对象宏块所包含的各分区的预测模式分配给对应的块，并对各块的预测模式及各块的尺寸进行蓄积。另外，边缘方向检测部342采用对对象宏块所包含的各块进行边缘检测的构成即可。另外，活性度算出部343采用对对象宏块所包含的各块计算活性度ACT的构成即可。另外，滤波处理部345采用对分类为类型I(I＝1，2，...)的块进行利用了滤波器系数群I的滤波处理的构成即可。
自适应滤波器34即使采用了如本例的构成，也能对去块完毕解码图像P_DB进行适当的滤波处理。
〔实施方式2〕
以下，参照图25～图38，对本发明的第2实施方式进行说明。
本实施方式所涉及的自适应滤波器，针对构成滤波前图像(例如去块完毕解码图像P_DB)的各单位区域，导出2个导出方法互不相同的特性值，根据导出的2个特性值，将各单位区域分类到1个或多个组中的某一个。另外，本实施方式所涉及的自适应滤波器利用按每个单位区域确定的滤波器系数，按每个单位区域作用于滤波前图像。
在此，单位区域可以是作为DCT变换(更一般情况下是频率变换)的单位的块，也可以是作为生成预测图像的单位的分区，还可以不是块或分区的任一个，而是根据本实施方式所涉及的自适应滤波器设定了尺寸及位置的区域。另外，单位区域可以是由1像素构成的区域。
另外，各组与在由2个特性值展开的二维区域上设定的各部分区域之间具有一一对应的关系。因此，通过指定如何将上述二维区域分割为各部分区域，可确定如何设定1个或多个组。另外，在导出的2个特性值之中，将优先级更高的特性值即能够期待更有效的分类的特性值称为第1特性值，将另一个特性值称为第2特性值Y。此外，在以下的说明中，将由上述2个特性值展开的二维区域也称为特性值区域，将在特性值区域上设定的各部分区域也称为特性值部分区域。
作为第1特性值X及第2特性值Y，例如可以是以下的组合。在本实施方式中，处理了第1特性值X为图像的活性度的情况，但这些组合并不是对本申请所涉及的发明的限定，对于其他特性值及组合也能容易地应用本实施方式。
·第1特性值X：图像的活性度，第2特性值Y：图像的方向性
·第1特性值X：图像的活性度，第2特性值Y：平均像素值
·第1特性值X：图像的活性度，第2特性值Y：单位区域的坐标
·第1特性值X：单位区域的坐标，第2特性值Y：图像的活性度
·第1特性值X：切片编号，第2特性值Y：图像的活性度
·第1特性值X：平均像素值，第2特性值Y：图像的活性度
·第1特性值X：单位区域的y坐标，第2特性值Y：单位区域的x坐标
·第1特性值X：单位区域的x坐标，第2特性值Y：单位区域的y坐标
此外，从由自适应滤波器实现的降低滤波完毕的图像与编码对象图像之间的误差的效果(噪声降低的效果)的观点出发，使活性度优先。即，适合使用图像的活性度作为第1特性值X。另一方面，从复杂性的观点来看，还考虑使特性值的算出容易的特性值优先。具体而言，也可将单位区域的坐标、切片编号、平均像素值等作为第1特性值来使用。该情况下，在如要求低复杂性的应用中，可采用仅通过第1分割来结束分割这样的应用方法，可获得复杂性低和按区域进行滤波的效果。
在此，可以代替图像的活性度而使用像素值的方差。另外，针对各单位区域导出的各特性值，根据导出方法如何而有时会依赖于单位区域的尺寸。这种情况下，作为各特性值，可采用通过消除对单位区域的尺寸的依赖性而获得的标准化的特性值。
本实施方式所涉及的自适应滤波器，通过对特性值区域进行第1阶段的分割及第2阶段的分割而分阶层地分割成各部分区域。在此，第1阶段的分割是与第1特性值X有关的分割，第2阶段的分割是与第1特性值X及第2特性值Y的至少任一个有关的分割。另外，特性值区域向各部分区域的分割以分割单位为单位来进行。因此，各部分区域由1个或多个分割单位DU构成。另外，各分割单位的边界利用针对各特性值设定的分割点(也称为特性值分割点)而确定。此外，将第1阶段的分割也称为初始分割，将第2阶段的分割也称为再分割。
图25是表示特性值区域CR、和在特性值区域CR上设定的分割单位DU[i][j](i是满足0≤i≤NX-1的整数，j是满足0≤i≤NY-1的整数，NX是沿着第1特性值X的分割单位的总数，NY是沿着第2特性值Y的分割单位的总数)的图。
在图25所示的例子中，实线表示了特性值部分区域及分割单位的边界，虚线表示了分割单位的边界。另外，在图25所示的例子中，分割单位DU[0][0]及DU[0][1]构成了1个特性值部分区域，DU[1][0]及DU[2][0]构成了另1个特性值部分区域。另外，DU[1][1]单独构成了特性值部分区域。
如图25所示，各分割单位DU的边界由关于第1特性值X的特性值分割点PX1～PX_NX-1及关于第2特性值Y的特性值分割点PY1～PY_NY-1来指定。
此外，以下，将第1特性值X仅称为特性值X，将第2特性值Y仅称为特性值Y。
另外，将指定各分割单位的索引[i][j]也称为特性索引。特别是，将与特性值X有关的索引(上述的例子中为[i])也称为特性X索引，将与特性值Y有关的索引(上述的例子中为[j])也称为特性Y索引。特性索引是唯一地指定各分割单位的二维索引。
(编码数据#3)
在详细说明本实施方式所涉及的运动图像编码装置4及运动图像解码装置3之前，先对由运动图像编码装置4生成并由运动图像解码装置3解码的编码数据#3的数据结构进行说明。
编码数据#3的数据结构与实施方式1所涉及的编码数据#1的数据结构大致相同，但滤波器参数FP的构成不同。图26是表示本实施方式所涉及的编码数据#3的滤波器参数FP(在图26中记为alf_param())所包含的各语法的图。
(adaptive_loop_filter_flag)
adaptive_loop_filter_flag是对由后述的自适应滤波器50进行的自适应滤波处理的启用禁用进行指定的标识，当adaptive_loop_filter_flag为0时，自适应滤波处理被指定为禁用，当adaptive_loop_filter_flag为1时，自适应滤波处理被指定为启用。
(alf_enable_region_filter)
alf_enable_region_filter是对由自适应滤波器50进行的每个特性值部分区域的滤波处理的启用禁用进行指定的标识，当alf_enable_region_filter为0时，每个特性值部分区域的滤波处理被指定为禁用，当alf_enable_region_filter为1时，每个特性值部分区域的滤波处理被指定为启用。后述的各种语法alf_num_first_split_minus1、alf_first_split_val_shift、alf_second_split_type、alf_second_split_flag[i0]、alf_length_luma_minus5_div2[i0]、alf_region_pred_luma[i][j]及alf_coeff_luma[i][j]，仅在alf_enable_region_filter为1时被编码。
alf_num_first_split_minus1、alf_first_split_val_shift、alf_second_split_type及alf_second_split_flag[i0]，构成了对将特性值区域CR分割成各特性值部分区域CPR的分割方法进行指定的特性值分割信息。特性值分割信息是指定特性值区域CR的分割方法的信息，由指定第1阶段的分割数及形状(在此为alf_num_first_split_minusl)的信息、对通过第1分割而获得的特性值部分区域指定第2阶段的分割数及形状的信息(在此为alf_second_split_flag[i0])、用于指定在分割中使用的特性值的边界的信息(alf_second_split_type)构成。另外，与分割数及形状不同，也可指定对分割方法进行指定的信息(在此为alf_second_split_type)，这也是特性值分割信息的一种。
在本实施方式中，特性值分割信息是分阶层地指定特性值区域CR的分割方法的信息。通过分阶层地进行指定，能够在具有高的分割自由度的同时，防止在增加了分割自由度的情况下产生的用于对分割进行指定的码量的增加。另外，在分阶层的表现中，可以将具有同种特性的多个区域表现为1个集块，从而能够对集合起来的该多个区域分配相同的滤波器系数，因此与单纯地按每个特性值或按每个特性值的组合来分配滤波器系数的情况相比，能够降低滤波器系数的码量。虽然在实施方式中未进行图示，但在第1阶段的分割和第2阶段的分割中使用相同特性值(例如活性度)的情况下也可采用分阶层的表现。该情况下，也将具有相近的特性值的多个区域表现为1个集块，对集合起来的该多个区域分配相同的滤波器系数，从而能够以小的码量对滤波器系数进行编码。另外，在使用多个特性值的情况下，优先使用噪声降低效果大的特性值进行分割，对于即使分割后效果也小的区域不进行分割而是作为1个集块来进行处理，由此能够相对减小滤波器系数的码量。
(alf_num_first_split_minus1)
alf_num_first_split_minus1是对特性值区域的第1阶段的分割的分割数AlfNumFirstSplit进行指定的语法，根据该语法，分割数AlfNumFirstSplit由AlfNumFirstSplit＝alf_num_first_split_minus1+1来决定。
图27的(a)是表示alf_enable_region_filter＝0时的特性值区域CR、即未进行分割的特性值区域CR的图，图27的(b)是表示alf_enable_region_filter＝1且AlfNumFirstSplit＝3时进行了第1阶段的分割后的特性值区域CR的图。如图27的(b)所示，当AlfNumFirstSplit＝3时，特性值区域CR通过第1阶段的分割而关于特性值X被分割成3个特性值部分区域。在图27的(b)中，例示了这3个特性值部分区域的边界由特性值分割点PX2及PX4指定的情况。将这样在第1阶段的分割中使用的特性值分割点也称为初始分割点。另外，将第2阶段的分割中使用的特性值分割点也称为再分割点。图27的(c)是除了初始分割点PX2及PX4之外还表示了第2阶段的分割中使用的再分割点PX1、PX3及PX5的图。
此外，通过第1分割而得到的各特性值部分区域由初始分割索引[i0](0≤i0≤AlfNumFirstSplit-1)来识别。初始分割索引[i0]与特性X索引[i]之间的对应根据后述的alf_second_split_type的值按以下方式赋予。
·alf_second_split_type＝0时
i＝2×i0、或2×i0+1
·alf_second_split_type＝1时
i＝i0
将通过第1分割而得到的、且由初始分割索引[i0]指定的特性值部分区域也记为特性值部分区域CPR[i0]。
(alf_first_split_val_shift)
alf_first_split_val_shift是为了对特性值分割点PXn(1≤n≤NX-1)进行变更而参照的标识。根据alf_first_split_val_shift的值来变更特性值分割点PXn。
(alf_second_split_type)
alf_second_split_type是用于指定第2阶段的分割的类别的标识。若alf_second_split_type为0，则各特性值部分区域被基于特性值X及特性值Y而进一步分割为1个或多个特性值部分区域，若alf_second_split_type为1，则各特性值部分区域被基于特性值Y而进一步分割为1个或多个特性值部分区域。
图27的(d)是例示在采用活性度作为特性值X的情况下根据alf_first_split_val_shift及alf_second_split_type的值设定的特性值分割点PX1～PX5的表。在图27的(d)所示的例子中，当alf_second_split_type＝1时，初始分割点PX2及PX4的各值被指定，当alf_second_split_type＝0时，包含初始分割点在内的所有特性值分割点PX1～PX5的各值被指定。在图27的(d)所示的例子中，alf_first_split_val_shift＝1时的PX1～PX5的各值被设定为alf_first_split_val_shift＝0时的各值的1/2。这样，特性值分割点PXn的各值根据alf_first_split_val_shift的值而被变更。
另外，如图27的(d)所示，在采用活性度作为特性值X时，特性值X的值越大，初始分割点的间隔被设定得越大。这是由于处理对象帧(或切片)所包含的单位区域的大部分具有较小的活性度。通过如图27的(d)所示那样对特性值X较小的范围更细致地进行分割，能够使分类到各特性值部分区域的单位区域的数量接近恒定。不限于初始分割点，在再分割中，也适合考虑特性值的度数而将分割点的间隔设为等间隔以外的情况。即，在作成了特性值的直方图的情况下，若存在大多情况下度数易集中的部分，则对于该度数越集中的部分使间隔越细，在度数小的部分增大间隔为好。例如，关于活性度，在值小的部分存在度数易集中的倾向，关于方向性，在水平方向和垂直方向上存在度数易集中的倾向。
alf_first_split_val_shift构成用于指定初始分割(第1阶段的分割)中的分割点的信息(第1分割点指定信息)。
(alf_second_split_flag)
alf_second_split_flag[i0]是针对通过第1阶段的分割而得到的各特性值部分区域来指定第2阶段的分割的具体方式的语法。通过上述的alf_second_split_type及alf_second_split_flag[i0]，具体指定了针对通过第1阶段的分割而得到的各特性值部分区域的第2阶段的分割。
图28的(a)表示了经第1阶段的分割而得到的特性值部分区域通过由alf_second_split_type＝0指定的第2阶段的分割而关于特性值Y被分割为两个特性值部分区域的情况，图28的(b)表示了经第1阶段的分割而得到的特性值部分区域通过由alf_second_split_type＝1指定的第2阶段的分割而关于特性值Y被分割为四个特性值部分区域的情况。这样，alf_second_split_flag[i0]对第2阶段的分割中的分割数和分割形状进行指定。
图28的(c)表示了采用图像的方向性作为特性值Y的情况下的特性值分割点PY1～PY3、和采用平均像素值作为特性值Y的情况下的特性值分割点PY1～PY3。
alf_second_split_type构成用于对再分割(第2阶段的分割)中的分割点进行指定的信息(第2分割点指定信息)。
图29是具体表示通过第1阶段的分割而得到的特性值部分区域CPR[i0＝0]如何根据alf_second_split_flag[i0]及alf_second_split_type的各值而通过第2阶段的分割被进行分割的图。由[i0＝0]以外的初始分割索引指定的特性值部分区域CPR[i0]的第2阶段的分割也是同样的。
如图29所示，在alf_second_split_type＝0时，通过第1阶段的分割而得到的特性值部分区域CPR[i0＝0]被按以下方式进行分割。
·alf_second_split_flag[i0]＝0：不分割
·alf_second_split_flag[i0]＝1：关于特性值X进行2分割(特性值分割点：PX1)
·alf_second_split_flag[i0]＝2：关于特性值Y进行2分割(特性值分割点：PY2)
·alf_second_split_flag[i0]＝3：分别关于特性值X及特性值Y进行2分割，合计进行4分割(特性值分割点：PX1，PY2)
另外，在alf_second_split_type＝1时，通过第1阶段的分割而得到的特性值部分区域CPR[i0＝0]被按以下方式进行分割。
·alf_second_split_flag[i0]＝0：不分割
·alf_second_split_flag[i0]＝1：关于特性值Y进行2分割(特性值分割点：PY2)
·alf_second_split_flag[i0]＝2：关于特性值Y进行2分割(特性值分割点：PY1)
·alf_second_split_flag[i0]＝3：关于特性值Y进行4分割(特性值分割点：PY1，PY2，PY3)
另外，针对通过第1阶段的分割而得到的特性值部分区域CPR[i0＝0]进行第2阶段的分割而得到的各特性值部分区域，由将初始分割索引[i0]和再分割索引[j0]组合而得到的特性值区域内索引(i0，j0)来指定。在此，再分割索引[j0]是对特性值部分区域CPR[i0]所包含的各特性值部分区域进行指定的索引。将由特性值区域内索引(i0，j0)指定的特性值部分区域也记为特性值部分区域CPR(i0，j0)。
如图29所示，在alf_second_split_type＝0及alf_second_split_type＝1的任一情况下，通过第1阶段的分割而得到的特性值部分区域CPR[i0]均包含以下的特性值部分区域CPR(i0，j0)。
·alf_second_split_flag[i0]＝0：CPR(i0，0)
·alf_second_split_flag[i0]＝1：CPR(i0，0)及CPR(i0，1)
·alf_second_split_flag[i0]＝2：CPR(i0，0)及CPR(i0，1)
·alf_second_split_flag[i0]＝3：CPR(i0，0)、CPR(i0，1)、CPR(i0，2)及CPR(i0，3)
另外，在alf_second_split_type＝0时，各特性值部分区域CPR(i0，j0)所包含的分割单位DU[i][j]如下。
·alf_second_split_flag＝0时：
CPR(i0，0)：DU[2×i0][0]、DU[2×i0][1]、DU[2×i0+1][0]、DU[2×i0+1][1]
·alf_second_split_flag＝1时：
CPR(i0，0)：DU[2×i0][0]、DU[2×i0][1]
CPR(i0，1)：DU[2×i0+1][0]、DU[2×i0+1][1]
·alf_second_split_flag＝2时：
CPR(i0，0)：DU[2×i0][0]、DU[2×i0+1][0]
CPR(i0，1)：DU[2×i0][1]、DU[2×i0+1][1]
·alf_second_split_flag＝3时：
CPR(i0，0)：DU[2×i0][0]
CPR(i0，1)：DU[2×i0][1]
CPR(i0，2)：DU[2×i0+1][0]
CPR(i0，3)：DU[2×i0+1][1]
另外，在alf_second_split_type＝1时，各特性值部分区域CPR(i0，j0)所包含的分割单位DU[i][j]如下。
·alf_second_split_flag＝0时：
CPR(i0，0)：DU[i0][0]、DU[i0][1]、DU[i0][2]、DU[i0][3]
·alf_second_split_flag＝1时：
CPR(i0，0)：DU[i0][0]、DU[i0][1]
CPR(i0，1)：DU[i0][2]、DU[i0][3]
·alf_second_split_flag＝2时：
CPR(i0，0)：DU[i0][0]
CPR(i0，1)：DU[i0][1]、DU[i0][2]、DU[i0][3]
·alf_second_split_flag＝3时：
CPR(i0，0)：DU[i0][0]
CPR(i0，1)：DU[i0][1]
CPR(i0，2)：DU[i0][2]
CPR(i0，3)：DU[i0][3]
(alf_length_luma_minus5_div2)
alf_length_luma_minus5_div2[i0]是用于指定针对通过第1阶段的分割而得到的各特性值部分区域的滤波器的抽头数的语法(抽头数指定信息)。根据该语法，抽头数AlfLengthLuma由
AlfLengthLuma＝alf_length_luma_minus5_div2×2+5
来决定。
图30是例示alf_length_luma_minus5_div2[i0]的值为1、2及3时由本实施方式所涉及的自适应滤波器分别设定的参照区域R0、R1、R2的图。在图30中例示了菱形的参照区域，但本实施方式中的参照区域并不限于这些例子，也可使用由alf_length_luma_minus5_div2[i0]指定抽头数的矩形状的参照区域。
另外如图26所示，滤波器参数FP中，alf_length_luma_minus5_div2[i0]在比用于指定后述的滤波器系数的语法alf_coeff_luma[i][j]更上位的阶层中被传输。另外，虽未图示，但也可对用于指定针对通过第2阶段的分割而获得的各特性值部分区域的滤波器的抽头数的语法进行编码。该情况下，用于指定针对通过第2阶段的分割而获得的各特性值部分区域的滤波器抽头数的语法alf_length_luma_minus5_div2[i][j]，在与alf_coeff_luma[i][j]相同的阶层中被编码。根据上述构成，能够利用按每个区域而不同的抽头数的滤波器系数来进行自适应滤波器处理。由于根据区域的活性度及各区域的效果的差异而适合的抽头数不同，因此可自适应地选择抽头数的上述构成能够提高编码效率。例如，在区域的活性度小的情况下，适合比活性度大的情况下增大抽头数，对于自适应滤波器的效果大的特性值部分区域，适合采用比效果小的特性值部分区域大的抽头数。
另外，在图示的构成中，不是对作用于1个特性值部分区域的滤波器的滤波器系数进行编码，而是将分别作用于多个特性值部分区域的滤波器的滤波器系数作为1个集块来对抽头数进行编码。由此，在对多个滤波器系数进行编码的情况下也能降低抽头数的码量。
(alf_coeff_luma)
alf_coeff_luma[i][j](i＝i0、2×i0、2×i0+1，j＝0、1、2、3)是用于指定针对各特性值部分区域的滤波器系数(包含偏置量，以下同样)的语法。
在alf_second_split_type＝0时，各特性值部分区域CPR(i0，j0)与分配给这些区域的alf_coeff_luma[i][j]之间的对应关系、即特性值区域内索引(i0，j0)与alf_coeff_luma[i][j]之间的对应关系如下。其中，在以下表记中，“*”是表示乘积的运算符号。
·alf_second_split_flag＝0时：
CPR(i0，0)：alf_coeff_luma[i0*2][0]
·alf_second_split_flag＝1时：
CPR(i0，0)：alf_coeff_luma[i0*2][0]
CPR(i0，1)：alf_coeff_luma[i0*2][1]
·alf_second_split_flag＝2时：
CPR(i0，0)：alf_coeff_luma[i0*2][0]
CPR(i0，1)：alf_coeff_luma[i0*2][1]
·alf_second_split_flag＝3时：
CPR(i0，0)：alf_coeff_luma[i0*2][0]
CPR(i0，1)：alf_coeff_luma[i0*2][1]
CPR(i0，2)：alf_coeff_luma[i0*2+1][0]
CPR(i0，3)：alf_coeff_luma[i0*2+1][1]
另外，在alf_second_split_type＝1时，各特性值部分区域CPR(i0，j0)与分配给这些区域的alf_coeff_luma[i][j]之间的对应关系、即特性值区域内索引(i0，j0)与alf_coeff_luma[i][j]之间的对应关系如下。
·alf_second_split_flag＝0时：
CPR(i0，0)：alf_coeff_luma[i0][0]
·alf_second_split_flag＝1时：
CPR(i0，0)：alf_coeff_luma[i0][0]
CPR(i0，1)：alf_coeff_luma[i0][2]
·alf_second_split_flag＝2时：
CPR(i0，0)：alf_coeff_luma[i0][0]
CPR(i0，1)：alf_coeff_luma[i0][1]
·alf_second_split_flag＝3时：
CPR(i0，0)：alf_coeff_luma[i0][0]
CPR(i0，1)：alf_coeff_luma[i0][1]
CPR(i0，2)：alf_coeff_luma[i0][2]
CPR(i0，3)：alf_coeff_luma[i0][3]
其中，在alf_coeff_luma[i][j]之中最先被编码/解码的滤波器系数alf_coeff_luma[0][0]是针对特性值部分区域CPR(0，0)的滤波器系数本身，alf_coeff_luma[i][j](i≠0，j≠0)是针对成为对象的特性值部分区域的滤波器系数的预测值(也称为预测滤波器系数)与实际使用的滤波器系数之间的残差(也称为滤波器系数残差)。关于alf_coeff_luma[i][j]，更准确地说，具有用于指定滤波器系数或滤波器系数残差的各成分的索引[k](0≤k≤Ncomp-1，Ncomp是滤波器系数的成分的总数)，但在此省略了这些索引的表记。
另外，例如可采用将alf_coeff_luma[i][j]包含的偏置量成分在比偏置量以外的成分更上位的阶层中传输的构成。具体而言，可采用下述构成，即：将alf_coeff_luma[i][j]所包含的偏置量成分在与alf_length_luma_minus5_div2[i0]相同的阶层中传输，将偏置量以外的成分在比alf_length_luma_minus5_div2[i0]更下位的阶层中传输。
另外，以下，将分配给特性值部分区域CPR(i0，j0)的alf_coeff_luma[i][j]也记为alf_coeff_luma(i0，j0)。
(alf_region_pred_luma)
alf_region_pred_luma[i][j](i＝i0、2×i0、2×i0+1，j＝1、2、3)是用于指定在导出针对各特性值部分区域的滤波器系数的预测值时的预测方向的标识。alf_region_pred_luma[i][j]针对各特性值部分区域CPR(i0，j0)之中、导出滤波器系数的预测值时可参照的特性值部分区域有多个相邻的特性值部分区域CPR而被编码。例如，在针对特性值区域CR所包含的各特性值部分区域的滤波器系数的解码按光栅扫描顺序进行的情况下，针对在左边及上边这两方有特性值部分区域相邻的特性值部分区域，对alf_region_pred_luma进行编码。例如，若alf_region_pred_luma＝0，则参照与上边相邻的特性值部分区域，若alf_region_pred_luma＝1，则参照与左边相邻的特性值部分区域。
另一方面，在针对特性值区域CR所包含的各特性值部分区域的滤波器系数的解码按光栅扫描的逆序进行的情况下，针对在右边及下边这双方有特性值部分区域相邻的特性值部分区域，对alf_region_pred_luma进行编码。
图31是表示针对通过对特性值部分区域CPR[i0]进行第2阶段的分割而得到的各特性值部分区域CPR(i0，j0)分配的预测方向的图。
在针对各特性值部分区域的滤波器系数的解码按光栅扫描顺序进行的情况下，当alf_second_split_type＝0时，各特性值部分区域CPR(i0，j0)与分配给这些区域的alf_region_pred_luma[i][j]之间的对应关系如下。
·alf_second_split_flag＝2时：
CPR(i0，1)：alf_region_pred_luma[i0*2][1]
·alf_second_split_flag＝3时：
CPR(i0，1)：alf_region_pred_luma[i0*2][1]
CPR(i0，3)：alf_region_pred_luma[i0*2+1][1]
如图31所示，关于这些特性值部分区域，根据alf_region_pred_luma的值，作为预测方向而分配了上方向及左方向中的任一个。
通过利用alf_region_pred_luma，作为预测方向，可进行(1)将针对特性值Y的值与处理对象的特性值部分区域相同的特性值部分区域、或特性值Y的值与处理对象的特性值部分区域接近的特性值部分区域已经解码出的滤波器系数作为预测值的预测方向(上方向)、与(2)将针对特性值X的值与处理对象的特性值部分区域相同的特性值部分区域、或特性值X的值与处理对象的特性值部分区域接近的特性值部分区域已经解码出的滤波器系数作为预测值的预测方向(横向)的选择。
在此，特性值是否接近是根据特性值的种类来确定的。例如，关于由活性度等单纯的标量表现的特性值而言，值的差越小的特征值越接近。另一方面，关于通过对方向性等向量(在此为方向)分配索引来表现的特性值而言，原始向量所成的角越小的特征值越接近。
另外，在针对各特性值部分区域的滤波器系数的解码按光栅扫描顺序进行的情况下，当alf_second_split_type＝1时，各特性值部分区域CPR(i0，j0)与分配给这些区域的alf_region_pred_luma[i][j]之间的对应关系如下。
·alf_second_split_flag＝1时：
CPR(i0，1)：alf_region_pred_luma[i0][2]
·alf_second_split_flag＝2时：
CPR(i0，1)：alf_region_pred_luma[i0][1]
·alf_second_split_flag＝3时：
CPR(i0，1)：alf_region_pred_luma[i0][1]
CPR(i0，2)：alf_region_pred_luma[i0][2]
CPR(i0，3)：alf_region_pred_luma[i0][3]
如图31所示，关于这些特性值部分区域，根据alf_region_pred_luma的值，作为预测方向而分配上方向及左方向中的任一个。
另一方面，如图31所示，关于以下列举的特性值部分区域，由于只能参照与上边相邻的特性值部分区域，因此作为预测方向而仅分配上方向。
·alf_second_split_type＝0的情况下：
·alf_second_split_flag＝0时：
CPR(i0，0)
·alf_second_split_flag＝1时：
CPR(i0，0)
CPR(i0，1)
·alf_second_split_flag＝2时：
CPR(i0，0)
·alf_second_split_flag＝3时：
CPR(i0，0)
CPR(i0，2)
·alf_second_split_type＝1的情况下：
·alf_second_split_flag＝0时：
CPR(i0，0)
·alf_second_split_flag＝1时：
CPR(i0，0)
·alf_second_split_flag＝2时：
CPR(i0，0)
·alf_second_split_flag＝3时：
CPR(i0，0)
此外，以下，将分配给特性值部分区域CPR(i0，j0)的alf_region_pred_luma[i][j]也记为alf_region_pred_luma(i0，j0)。
另外，滤波器参数FP也可采用不包含alf_region_pred_luma[i][j]的构成。该情况下，针对各特性值部分区域的预测方向如图32所示那样固定的采用上方向即可。
关于在图26的末尾所示的语法alf_length_luma_minus5_div2及alf_coeff_luma[0][0]，在语法alf_enable_region_filter为0时即各特性值部分区域的滤波处理被指定为禁用时包含在滤波器参数FP中。由alf_length_luma_minus5_div2指定抽头数，由alf_coeff_luma[0][0]指定滤波器系数。
此外，图26所示的Descriptor(描述符)u(1)表示与这些描述符关联的语法被以1比特进行了固定长编码，u(2)表示与该描述符关联的语法被以2比特进行了固定长编码，ue(v)表示与该描述符关联的语法被进行了可变长编码。
另外，在上述的例子中，设语法alf_second_split_flag[i0]的值取0～3中的任意值，但这并非对本实施方式的限定。例如，也可采用语法alf_second_split_flag[i0]取0～7中的任意值的构成。图33中表示由这样的语法alf_second_split_flag[i0]指定的再分割的例子。在图33所示的例子中，根据alf_second_split_flag[i0]的各值，通过初始分割而得到的特性值部分区域CPR[i0]关于特性值X而最大被2分割，关于特性值Y而最大被3分割。
(运动图像解码装置3)
以下，参照图34～图36来说明本实施方式所涉及的运动图像解码装置3。此外，以下，对与实施方式1中已经说明过的部分相同的部分标注相同符号，并省略其说明。
图34是表示运动图像解码装置3的构成的框图。如图34所示，运动图像解码装置3中取代运动图像解码装置1所具备的自适应滤波器42而具备自适应滤波器50。向自适应滤波器50提供编码数据#3所包含的滤波器参数FP。此外，运动图像解码装置3的其他构成与运动图像解码装置1相同，因此省略说明。
(自适应滤波器50)
自适应滤波器50在语法adaptive_loop_filter_flag为1时，对去块完毕解码图像P_DB实施自适应滤波处理来生成滤波完毕解码图像P_FL。
自适应滤波器50根据对象单位区域中的去块完毕解码图像P_DB的特性值，将该对象单位区域与上述各特性值部分区域中的某一个相关联，并利用针对该单位区域所关联的特性值部分区域解码出的滤波器系数，实施针对该单位区域的滤波处理。
图35是表示自适应滤波器50的构成的框图。如图35所示，自适应滤波器50具备自适应滤波器信息解码部51及自适应滤波器部52。此外，虽然在图35中没有图示，但自适应滤波器50具备对语法alf_enable_region_filter及语法alf_num_first_split_minus1进行解码的上位语法解码部。
自适应滤波器50在语法alf_enable_region_filter为1时，进行每个特性值部分区域的滤波处理。另外，自适应滤波器50利用alf_num_first_split_minus1的值，将分割数AlfNumFirstSplit设定为AlfNumFirstSplit＝alf_num_first_split_minus1+1。
(自适应滤波器信息解码部51)
自适应滤波器信息解码部51是用于通过对编码数据#3所包含的滤波器参数FP进行解码来导出特性值分割点PXn及PYm以及滤波器系数RegionFilterLuma[i0][j0]的构成。导出的各特性值分割点及滤波器系数RegionFilterLuma[i0][j0]被提供给自适应滤波器部52。此外，在以下的说明中，设由自适应滤波器信息解码部51进行的滤波器系数RegionFilterLuma[i0][j0]的导出是针对构成特性值区域CR的各特性值部分区域按光栅扫描顺序来进行的，但这并不是对本实施方式的限定，在滤波器系数RegionFilterLuma[i0][j0]的导出按光栅扫描的逆序进行的情况下也能够应用。该情况下，将以下说明中的“左边”改为“右边”、“上边”改为“下边”即可。
如图35所示，自适应滤波器信息解码部51具备：按区域的抽头数解码部511、区域结构解码部512、滤波器系数残差解码部513、二维预测标识解码部514、滤波器系数预测部515、滤波器系数解码部516、按区域的滤波器系数保存部517、特性值分割点变更标识解码部518及特性值分割点设定部519。
按区域的抽头数解码部511对滤波器参数FP所包含的语法alf_length_luma_minus5_div2[i0](0≤i0＜AlfNumFirstSplit)进行解码。解码后的语法alf_length_luma_minus5_div2[i0]被分配给特性值部分区域CPR[i0]，并且被提供给滤波器系数残差解码部513。另外，语法alf_length_luma_minus5_div2[i0]还被提供给滤波器系数预测部515、滤波器系数解码部516、按区域的滤波器系数保存部517、滤波器系数分配部524及滤波部525(图35中未进行箭头图示)。
区域结构解码部512对滤波器参数FP所包含的语法alf_second_split_type及alf_second_split_flag[i0]进行解码。解码后的语法alf_second_split_type被分配给整个特性值区域CR，并且被提供给滤波器系数残差解码部513、二维预测标识解码部514及特性值分割点设定部519。另外，解码后的语法alf_second_split_flag[i0]被分配给特性值部分区域CPR[i0]，并且被提供给滤波器系数残差解码部513、二维预测标识解码部514及特性值分割点设定部519。
滤波器系数残差解码部513参照alf_length_luma_minus5_div2[i0]、alf_second_split_type及alf_second_split_flag[i0]，对滤波器参数FP所包含的语法alf_coeff_luma[i][j]进行解码，并且将各语法alf_coeff_luma[i][j]分配给分别对应的特性值部分区域CPR(i0，j0)。关于alf_coeff_luma[i][j]与特性值部分区域CPR(i0，j0)之间的对应关系，在编码数据#3的说明中已经进行了描述，因此这里省略说明。另外，解码后的语法alf_coeff_luma[i][j]被提供给滤波器系数解码部516。
二维预测标识解码部514参照alf_second_split_type及alf_second_split_flag[i0]，对滤波器参数FP所包含的语法alf_region_pred_luma[i][j]进行解码，并将各语法alf_region_pred_luma[i][j]分配给分别对应的特性值部分区域CPR(i0，j0)。关于alf_region_pred_luma[i][j]与特性值部分区域CPR(i0，j0)之间的对应关系已经在编码数据#3的说明中进行了描述，因此这里省略说明。另外，解码后的语法alf_region_pred_luma被提供给滤波器系数预测部515。
滤波器系数预测部515参照语法alf_region_pred_luma，根据按区域的滤波器系数保存部517中保存的解码完毕的滤波器系数RegionFilterLuma[i0′][j0′]，按每个特性值部分区域来导出预测滤波器系数PredRegionFilterLuma[i0][j0]。导出的预测滤波器系数PredRegionFilterLuma[i0][j0]被提供给滤波器系数解码部516。
这里，在对作为处理对象的特性值部分区域的对象特性值部分区域分配了语法alf_region_pred_luma的情况下，滤波器系数预测部515将针对相对于对象特性值部分区域在该语法alf_region_pred_luma所示的方向上相邻的特性值部分区域解码完毕的滤波器系数RegionFilterLuma[i0′][j0′]，设定为针对对象特性值部分区域的预测滤波器系数PredRegionFilterLuma[i0][j0]。另一方面，在未对对象特性值部分区域分配了语法alf_region_pred_luma的情况下，滤波器系数预测部515将针对与对象特性值部分区域的上边相邻的特性值部分区域解码完毕的滤波器系数RegionFilterLuma[i0′][j0′]，设定为针对对象特性值部分区域的预测滤波器系数PredRegionFilterLuma[i0][j0]。
滤波器系数解码部516针对各特性值部分区域，通过将滤波器系数残差alf_coeff_luma(i0，j0)与预测滤波器系数PredRegionFilterLuma[i0][j0]相加来生成滤波器系数RegionFilterLuma[i0][j0]，并分配给各特性值部分区域。生成的滤波器系数RegionFilterLuma[i0][j0]被保存在按区域的滤波器系数保存部517中。
特性值分割点变更标识解码部518对滤波器参数FP所包含的语法alf_first_split_val_shift进行解码。解码后的语法alf_first_split_val_shift被提供给特性值分割点设定部519。
特性值分割点设定部519基于alf_first_split_val_shift及alf_second_split_type，导出特性值分割点PXn(1≤n≤NX-1)及PYm(1≤m≤NX-1)。导出的特性值分割点PXn及Pym被提供给自适应滤波器部52所具备的特性索引算出部523。
关于针对语法alf_first_split_val_shift及alf_second_split_type的各值的特性值分割点PXn及PYm的具体例，在编码数据#3的说明中已经进行了描述，因此这里省略说明。
此外，特性值分割点设定部519也可采用下述构成，即：不参照alf_first_split_val_shift及alf_second_split_type中的任一个，而是按照自身所具备的存储器中预先保存的特性值分割信息，来导出特性值分割点PXn(1≤n≤NX-1)及PYm(1≤m≤NX-1)。在这样的构成的情况下，优选上述特性值分割信息采用在运动图像解码装置3及运动图像编码装置4中通用的信息。
(自适应滤波器部52)
自适应滤波器部52是用于对构成去块完毕解码图像P_DB的各单位区域进行自适应滤波处理来生成滤波完毕解码图像P_FL的构成。在此，关于各单位区域的滤波处理中使用的滤波器系数，可从自滤波器参数FP中解码出的滤波器系数RegionFilterLuma[i0][j0]之中，根据该单位区域中的去块完毕解码图像P_DB的特性值X、或根据该单位区域中的去块完毕解码图像P_DB的特性值X及特性值Y来选择。另外，生成的滤波完毕解码图像P_FL被保存在缓冲存储器15中。
如图35所示，自适应滤波器部52具备：第1特性值算出部521、第2特性值算出部522、特性索引算出部523、滤波器系数分配部524及滤波部525。
此外，输入到自适应滤波器部52中的图像并不限于去块完毕解码图像P_DB，也可输入多个输入图像。例如，可采用下述构成：向自适应滤波器部52输入去块完毕解码图像P_DB之外，还输入解码图像P及预测残差D中的至少任一个。在这样的构成的情况下，后述的第1特性值算出部521及第2特性值算出部522，可采用不仅针对去块完毕解码图像P_DB还针对解码图像P及预测残差D中的至少任一个算出各特性值的构成，滤波部525可采用对各个输入图像进行自适应滤波处理，并将滤波后的图像相加之后进行输出的构成。这种情况下，采用预先在滤波器参数FP中包含针对各输入图像的滤波器系数、即与各特性值部分区域对应的滤波器系数的构成即可。
(第1特性值算出部521)
第1特性值算出部521算出针对作为处理对象的单位区域的对象单位区域中的去块完毕解码图像P_DB的特性值X。以下，说明作为特性值X而算出活性度的算出处理(特性值X的算出处理例1)及作为特性值X而算出像素值的方差的算出处理(特性值X的算出处理例2)。但特性值X的具体例并不限定于此。
(特性值X的算出处理例1)
在本处理例中，第1特性值算出部521作为特性值X而算出对象单位区域中的去块完毕解码图像P_DB的活性度ACT。在此，活性度大致来说是表示图像的杂乱度的指标，也可根据在对包含对象单位区域在内的区域实施了DCT变换的情况下获得的变换系数中是否存在大的高频分量等来算出，但这里根据相邻的像素的像素值来算出。相邻的像素的像素值之差越大，活性度越大。算出的活性度ACT被作为特性值X而提供给特性索引算出部523。
在对象单位区域为Bx像素×By像素的矩形状的情况下，将对象单位区域中的各像素的坐标表示为(u，v)(u、v是分别满足0≤u≤Bx-1、0≤v≤By-1的整数)，将该坐标处的去块完毕解码图像P_DB的像素值表示为S(u，v)，则第1特性值算出部521例如通过利用以下的公式(2-1a)来算出活性度ACT。
[数学式7]
ACT = &Sigma; u = 0 Bx &Sigma; v = 0 By - 1 | S ( u - 1 , v ) - S ( u , v ) | + &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By | S ( u , v - 1 ) - S ( u , v ) | . . . ( 2 - 1 a )
公式(2-1a)对应于以相邻像素的像素值的绝对值的总和(SumofAbsoluteDifference，SAD)为指标来对活性度进行评价。
另外，第1特性值算出部521也可采用通过利用以下的公式(2-1b)来算出活性度ACT的构成。
[数学式8]
ACT = &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 | S ( u - 1 , v ) - 2 S ( u , v ) + S ( u + 1 , v ) | + | S ( u , v - 1 ) - 2 S ( u , v ) + S ( u , v + 1 ) | . . . ( 2 - 1 b )
公式(2-1b)对应于以相邻像素的像素值的改进拉普拉斯的总和(Sum-ModifiedLaplacian，SML)为指标来对活性度进行评价。
在利用公式(2-1a)或(2-1b)来计算针对对象单位区域的活性度时，第1特性值算出部521不仅参照对象单位区域内的像素S(i，j)，还参照与对象单位区域相邻的像素S(-1，v)、S(Bx，v)、S(u，-1)及S(u，By)。即，利用公式(2-1a)或(2-1b)时的特性值算出参照区域，由对象单位区域内的像素S(u，v)、及与对象单位区域相邻的像素S(-1，v)、S(Bx，v)、S(u，-1)、及S(u，By)构成。图36(a)中表示第1特性值算出部521利用公式(2-1a)或(2-1b)算出针对4×4像素的对象单位区域UR的活性度ACT时的特性值算出参照区域CRR。
此外，在对象单位区域与切片边界或宏块边界相接的情况下，针对特性值算出参照区域内的一部分像素，会产生不能参照去块完毕解码图像P_DB的像素值的情况。例如，在对象单位区域与未解码的宏块相邻的情况下，不能参照该未解码的宏块的像素值。这种情况下，作为例外处理，第1特性值算出部521在不参照这些不能参照的像素值的情况下进行活性度ACT的算出。例如，在对象单位区域的右边及下边与未解码的宏块相邻的情况下，第1特性值算出部521利用将公式(2-1a)中u、v的和的范围进行一部分限制而获得的以下的公式(2-1a’)来算出活性度ACT即可。
[数学式9]
ACT = &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 | S ( u - 1 , v ) - S ( u , v ) + &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 | S ( u , v - 1 ) - S ( u , v ) | . . . ( 2 - 1 a , )
对于公式(2-1b)也是同样的。
另一方面，第1特性值算出部521也可采用下述构成：与对象单位区域是否和切片边界或宏块边界相接无关地，仅参照对象单位区域内的像素值来算出针对对象单位区域的活性度。例如，第1特性值算出部521也可通过利用以下的公式(2-1c)来算出活性度ACT。
[数学式10]
ACT = &Sigma; u = 0 Bx - 2 &Sigma; v = 0 By - 1 | S ( u , v ) - S ( u + 1 , v ) | + &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 2 | S ( u , v ) - S ( u , v + 1 ) | . . . ( 2 - 1 c )
公式(2-1c)与公式(2-1a)同样对应于以相邻像素的像素值的SAD为指标来评价相邻的像素的像素值的活性度，但与公式(2-1a)不同的是表示了仅参照对象单位区域所包含的像素来算出活性度的情况。
另外，第1特性值算出部521也可采用通过利用以下的公式(2-1d)来算出活性度ACT的构成。
[数学式11]
ACT = &Sigma; u = 1 Bx - 2 &Sigma; v = 0 By - 1 | R ( u - 1 , v ) - 2 R ( u , v ) + R ( u + 1 , v ) | + &Sigma; u = 0 Bx - 1 &Sigma; v = 1 By - 2 | R ( u , v - 1 ) - 2 R ( u , v ) + R ( u , v + 1 ) | . . . ( 2 - 1 d )
公式(2-1d)与公式(2-1b)同样对应于以相邻像素的像素值的SML为指标来对活性度进行评价，但与公式(2-1a)不同的是表示了仅参照对象单位区域所包含的像素来算出活性度的情况。
这样，在第1特性值算出部521仅参照对象单位区域内的像素值来算出针对对象单位区域的活性度时，如图36(b)所示，特性值算出参照区域CRR成为与对象单位区域UR相同的区域。后述的方差VP也是可仅参照对象单位区域内的像素值来算出的活性度的一例。
因此，在第1特性值算出部521仅参照对象单位区域内的像素值来算出针对对象单位区域的活性度时，与还参照对象单位区域以外的像素值时相比，从缓冲存储器15读出的像素数被削减，从缓冲存储器15向自适应滤波器50的数据传输量被削减。另外，由于为了算出活性度而参照的像素的数量少，而且不需要例外处理，因此用于算出活性度的处理量被削减。
此外，通过利用公式(2-1c)来算出活性度ACT的第1特性值算出部521也可按以下方式来表现。即，第1特性值算出部521参照坐标(u，v)的附近{(u，v)，(u+1，v)，(u，v+1)}的各像素的像素值来算出针对像素(u，v)的活性度ACT(u，v)，并利用对象单位区域的内部区域{(u，v)|0≤u≤Bx-2，0≤v≤By-2}中的ACT(u，v)的总和来算出针对对象单位区域的ACT。
另外，通过利用公式(2-1d)来算出活性度ACT的第1特性值算出部521也可按以下方式来表现。即，第1特性值算出部521参照坐标(u，v)的附近{(u，v)，(u+1，v)，(u，v+1)，(u-1，v)，(u，v-1)}的各像素的像素值来算出针对像素(u，v)的活性度ACT(u，v)，并利用对象单位区域的内部区域{(u，v)|1≤u≤Bx-2，1≤v≤By-2}中的ACT(u，v)的总和来算出针对对象单位区域的ACT。
这样，仅参照对象单位区域所包含的像素来算出活性度的第1特性值算出部521也可表现为：在对象单位区域中，在针对属于其附近均由该对象单位区域所包含的像素构成的内部区域的各像素，参照该像素的上述附近所包含的像素的像素值而导出了活性度的情况下，根据属于内部区域的各像素的活性度来算出该针对对象单位区域的活性度。
此外，仅参照对象单位区域所包含的像素来算出活性度的构成并不限于上述的例子，也可采用下述构成，即：将对象单位区域分为其附近均由该对象单位区域所包含的像素构成的内部区域、和其附近均由不包含在该对象单位区域中的像素构成的周边区域，针对属于内部区域的各像素的活性度，参照该像素的附近内的像素的像素值来导出，并且，针对属于周边区域的各像素的活性度，参照该像素的上述附近内的像素且为该单位区域内的像素的像素值来导出，进而，根据属于该单位区域的各像素的活性度来算出针对该单位区域的活性度。
另外，第1特性值算出部521也可采用通过与实施方式1中的活性度算出部423同样的处理来算出活性度ACT的构成。其中，实施方式1中的“分割区域”及“分区”对应于本实施方式中的“单位区域”。
(特性值X的算出处理例2)
在本处理例中，第1特性值算出部521算出对象单位区域中的去块完毕解码图像P_DB的像素值的方差VP来作为特性值X。算出的方差VP被作为特性值X而提供给特性索引算出部523。
这里，在对象单位区域为Bx像素×By像素的矩形状时，将对象单位区域中的各像素的坐标表示为(u，v)(u、v是分别满足0≤u≤Bx-1、0≤v≤By-1的整数)，将该坐标处的去块完毕解码图像P_DB的像素值表示为S(u，v)，则第1特性值算出部521例如利用以下的公式(2-2)来算出方差VP。
[数学式12]
VP = [ 1 Bx &times; By &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 S ( u , v ) 2 ] - [ 1 Bx &times; By &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 S ( u , v ) ] 2 . . . ( 2 - 2 )
其中，由第1特性值算出部521算出的方差VP与上述的活性度ACT同样，作为表示对象单位区域中的去块完毕解码图像P_DB的杂乱度的指标发挥功能。
(第2特性值算出部522)
第2特性值算出部522算出针对对象单位区域中的去块完毕解码图像P_DB的特性值Y。以下，说明作为特性值Y而算出图像的方向性的算出处理(特性值Y的算出处理例1)及(特性值Y的算出处理例2)、作为特性值X而算出平均像素值的算出处理(特性值Y的算出处理例2)、以及作为特性值X而算出对象单位区域的坐标值的算出处理(特性值Y的算出处理例3)。但特性值Y的具体例并不限定于此。
(特性值Y的算出处理例1)
在本处理例中，第2特性值算出部522算出对象单位区域中的去块完毕解码图像的方向性来作为特性值Y。表示算出的方向性的索引(方向索引)被作为特性值Y而提供给特性索引算出部523。
第2特性值算出部522首先算出对象单位区域中的去块完毕解码图像P_DB的垂直方向活性度ACT_V及水平方向活性度ACT_H。在此，水平方向活性度ACT_H及垂直方向活性度ACT_V例如可根据上述公式(2-1a)的第1项及第2项分别算出。另外，水平方向活性度ACT_H及垂直方向活性度ACT_V也可根据上述公式(2-1b)～(2-1d)中任意公式的第1项及第2项分别算出。
然后，第2特性值算出部522根据垂直方向活性度ACT_V及水平方向活性度ACT_H各自的大小，将以下列举的方向索引作为特性值Y提供给特性索引算出部523。
·方向索引＝0：ACT_H＞2×ACT_V时
·方向索引＝1：ACT_H≤2×ACT_V且ACT_V≤ACT_H时
·方向索引＝2：ACT_H＜ACT_V且ACT_V≤2×ACT_H时
·方向索引＝3：2×ACT_H＜ACT_V时
此外，本处理例中的方向索引的导出方向并不限于上述的例子。例如，第2特性值算出部522也可采用根据垂直方向活性度ACT_V及水平方向活性度ACT_H各自的大小，将对象单位区域中的去块完毕解码图像的方向性分为3类，并输出表示这些方向性的方向索引的构成，还可采用将对象单位区域中的去块完毕解码图像的方向性分为2类，并输出表示这些方向性的方向索引的构成。另外，也可根据垂直方向活性度ACT_V及水平方向活性度ACT_H各自的大小，将对象单位区域中的去块完毕解码图像的方向性分为5类以上。
第2特性值算出部522例如可如以下所示，根据垂直方向活性度ACT_V及水平方向活性度ACT_H各自的大小，将对象单位区域中的去块完毕解码图像的方向性分为3类。
·方向索引＝0：ACT_H＞2×ACT_V时
·方向索引＝1：ACT_H≤2×ACT_V且2×ACT_H≥ACT_V时
·方向索引＝2：2×ACT_H＜ACT_V时
在采用这样的构成的情况下，通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y而最大被再分割为3个特性值部分区域CPR(i0，j0)(j0＝0、1、2)。在此，j0＝0、1、2分别对应于方向索引＝0、1、2。
另外，第2特性值算出部522例如可如以下所示，根据垂直方向活性度ACT_V及水平方向活性度ACT_H各自的大小，将对象单位区域中的去块完毕解码图像的方向性分为2类。
·方向索引＝0：ACT_H＞ACT_V时
·方向索引＝1：ACT_H＜ACT_V时
在采用这样的构成的情况下，通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y而最大被再分割为2个特性值部分区域CPR(i0，j0)(j0＝0、1)。在此，j0＝0、1分别对应于方向索引＝0、1。
(特性值Y的算出处理例2)
在本处理例中，第2特性值算出部522算出对象单位区域中的去块完毕解码图像的方向性来作为特性值Y。其中，在本处理例中，与上述的(特性值Y的算出处理例1)不同，检测对象单位区域中的去块完毕解码图像的边缘方向，根据检测出的边缘方向，将方向索引作为特性值Y提供给特性索引算出部523。
本处理例中的边缘方向检测处理与实施方式1中的边缘方向检测部422进行的边缘方向检测处理同样。第2特性值算出部522根据Sobel_y及Sobel_x的大小关系来划分情况，按以下方式来生成方向索引。
方向索引＝0|Sobel_y|＜a×|Sobel_x|时
方向索引＝1|Sobel_y|≥a×|Sobel_x|且
|Sobel_y|≤b×|Sobel_x|且
Sobel_y与Sobel_x的符号相同时
方向索引＝2|Sobel_y|＞b×|Sobel_x|时
方向索引＝3|Sobel_y|≥a×|Sobel_x|且
|Sobel_y|≤b×|Sobel_x|且
Sobel_y与Sobel_x的符号相反时
其中，a＝tan(22.5°)＝0.414……，b＝tan(67.5°)＝2.414……。此外，在该例子中算出了四个方向索引，但也可采用算出2个或3个方向索引、或者算出5个以上的方向索引的构成。在这样的构成的情况下，如在特性值Y的算出处理例1中说明过的那样，通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y而最大被再分割成与方向索引的总数相同数量的特性值部分区域。
(特性值Y的算出处理例3)
在本处理例中，第2特性值算出部522作为特性值Y而算出对象单位区域中的去块完毕解码图像的像素值的平均(也称为平均像素值)，将算出的平均像素值作为特性值Y提供给特性索引算出部523。
第2特性值算出部522将成为处理对象的对象单位区域中的去块完毕解码图像P_DB的各像素值从缓冲存储器15中读出，并通过获取这些像素值的平均来算出平均像素值MP。
在对象单位区域为Bx像素×By像素的矩形状的情况下，将对象单位区域中的各像素的坐标表示为(u，v)(u，v是分别满足0≤u≤Bx-1、0≤v≤By-1的整数)，将该坐标处的去块完毕解码图像P_DB的像素值表示为S(u，v)，则第2特性值算出部522例如可利用以下的公式(2-3)通过取得各像素值的简单平均来算出平均像素值MP。
[数学式13]
MP = 1 Bx &times; By &Sigma; u = 0 Bx - 1 &Sigma; v = 0 By - 1 S ( u , v ) . . . ( 2 - 3 )
此外，第2特性值算出部522也可构成为：代替获取各像素值的简单平均，而是获取针对各像素值利用了规定的权重系数的加权平均来算出平均像素值MP。
另外，在编码数据#3的说明中，例举了通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y最大被再分割成四个特性值部分区域的情况，但本实施方式并不限定于此。例如，也可采用下述构成：通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y按以下方式最大被分割成3个特性值部分区域CPR(i0，j0)(j0＝0、1、2)。
CPR(i0，0)：MP≤64
CPR(i0，1)：64＜MP且MP≤160
CPR(i0，2)：160＜MP
另外，也可采用下述构成：通过初始分割而得到的特性值部分区域CPR[i0]关于特性值Y按以下方式最大被分割成两个特性值部分区域CPR(i0，j0)(j0＝0、1)。
CPR(i0，0)：MP≤128
CPR(i0，1)：128＜MP
(特性值Y的算出处理例4)
在本处理例中，第2特性值算出部522算出处理对象帧(或处理对象切片)中的对象单位区域的坐标。算出的坐标被作为特性值Y提供给特性索引算出部523。在此，对象单位区域的坐标更准确地说是指对象单位区域的代表像素的坐标。作为代表像素，例如可采用对象单位区域内且位于该对象单位区域的左上端的像素。但对象单位区域中的代表像素的具体位置并非对本实施方式的限定。
在对象单位区域是块或分区时，处理对象帧中的该对象单位区域的坐标可参照从编码数据#3中解码出的以下信息来算出。
·对编码块图案进行指定的CBP(coded_block_pattern)
·预测单位指定信息PT
·变换单位指定信息TT
另外，在对象单位区域不是块或分区的任一个而是由自适应滤波器部50设定的区域时，自适应滤波器50可通过参照表示所设定的单位区域的位置的信息来确定对象单位区域的坐标。
(特性索引算出部523)
特性索引算出部523将针对对象单位区域而从第1特性值算出部521提供的特性值X及从第2特性值算出部522提供的特性值Y分别与特性值分割点PXn及Pym进行比较，从而对该对象单位区域分配特性值区域内索引(i0，j0)。另外，将对对象单位区域分配的特性值区域内索引(i0，j0)提供给滤波器系数分配部524。
特性索引算出部523首先将针对对象单位区域的特性值X与特性值分割点PX1～PX_NX-1之中在第1阶段的分割中使用的初始分割点进行比较，由此算出初始分割索引[i0]，并将算出的初始分割索引[i0]分配给对象单位区域。在如图27(b)所示那样采用PX2及PX4作为初始分割点时，初始分割索引[i0]按以下方式算出。
·i0＝0：X＜PX2时
·i0＝1：PX2≤X＜PX4时
·i0＝2：PX4≤X时
然后，特性索引算出部523参照alf_second_split_type及alf_second_split_flag[i0]，将特性值X及特性值Y与在第2阶段的分割中使用的再分割点进行比较，由此算出再分割索引[j0]。算出的再分割索引[j0]被分配给对象单位区域。
在如图27(c)所示那样采用PX1、PX3、PX5作为针对特性值X的再分割点时，针对分配了初始分割索引[i0＝0]的对象单位区域使用再分割点PX1，针对分配了初始分割索引[i0＝1]的对象单位区域使用再分割点PX3，针对分配了初始分割索引[i0＝2]的对象单位区域使用再分割点PX5。
以下，关于针对分配了初始分割索引[i0＝0]的对象单位区域的再分割索引[j0]的算出处理进行更具体的说明。关于针对分配了初始分割索引[i0＝1]的对象单位区域的再分割索引[j0]的算出处理，将以下的说明中的PX1改为PX3即可，关于针对分配了初始分割索引[i0＝2]的对象单位区域的再分割索引[j0]的算出处理，将以下的说明中的PX1改为PX5即可。
特性索引算出部523在alf_second_split_type＝0时，针对分配了初始分割索引[i0＝0]的对象单位区域，按以下方式算出再分割索引[j0]。
·alf_second_split_flag＝0的情况下：
j0＝0
·alf_second_split_flag＝1的情况下：
j0＝0：X＜PX1时
j0＝1：PX1≤X时
·alf_second_split_flag＝2的情况下：
j0＝0：Y＜PY2时
j0＝1：PY2≤Y时
·alf_second_split_flag＝3的情况下：
j0＝0：X＜PX1且Y＜PY2时
j0＝1：X＜PX1且PY2≤Y时
j0＝2：PX1≤X且Y＜PY2时
j0＝3：PX1≤X且PY2≤Y时
另外，特性索引算出部523在alf_second_split_type＝1时，针对分配了初始分割索引[i0＝0]的对象单位区域，按以下方式算出再分割索引[j0]。
·alf_second_split_flag＝0的情况下：
j0＝0
·alf_second_split_flag＝1的情况下：
j0＝0：Y＜PY2时
j0＝1：PY2≤Y时
·alf_second_split_flag＝2的情况下：
j0＝0：Y＜PY1时
j0＝1：PY1≤Y时
·alf_second_split_flag＝3的情况下：
j0＝0：Y＜PY1时
j0＝1：PY1≤Y＜PY2时
j0＝2：PY2≤Y＜PY3时
j0＝3：PY3≤Y时
(滤波器系数分配部524)
滤波器系数分配部524将分配给对象单位区域的特性值区域内索引(i0，j0)所对应的滤波器系数RegionFilterLuma[i0][j0]从按特性的滤波器系数保存部517读出，并将读出的滤波器系数RegionFilterLuma[i0][j0]分配给该对象单位区域。分配给对象单位区域的滤波器系数RegionFilterLuma[i0][j0]被提供给滤波部525。
(滤波部525)
滤波部525针对对象单位区域实施利用了滤波器系数RegionFilterLuma[i0][j0]的滤波处理，由此生成该对象单位区域中的滤波完毕解码图像P_FL。所生成的滤波完毕解码图像P_FL被保存在缓冲存储器15中。
更具体而言，若将滤波完毕解码图像P_FL(也称为“滤波后图像”)中的滤波对象像素的像素值表示为SF(x’，y’)、将去块完毕解码图像P_DB(也称为“滤波前图像”)中的像素值表示为S(x，y)，则滤波部525按以下公式(2-4)算出像素值SF(x’，y’)。
[数学式14]
S F ( x &prime; , y &prime; ) = ( &Sigma; ( u , v ) &Element; R a ( u , v ) &times; S ( x + u , y + v ) ) + o &CenterDot; &CenterDot; &CenterDot; ( 2 - 4 )
在此，坐标(x，y)可以是与坐标(x’，y’)相同的坐标，只要具有一一对应的关系则也可以是不同的坐标。另外，a(u，v)表示了与滤波前图像的像素值S(x+u，y+v)相乘的滤波器系数，对应于从滤波器系数分配部524提供的滤波器系数RegionFilterLuma[i0][j0]的各成分。另外，o表示了滤波器系数RegionFilterLuma[i0][j0]所包含的偏置量成分。
另外，公式(2-4)中的R表示了在滤波处理中参照的区域(也称为“滤波参照区域R”)。参照区域R的抽头数由alf_length_luma_minus5_div2[i0]指定。作为参照区域R，例如采用如图30所示那样根据alf_length_luma_minus5_div2[i0]的各值而设定的参照区域R0、R1及R2中的任意区域即可。此外。在图30中，例示了菱形的参照区域，但本实施方式中的参照区域R并不限定于这些例子，也可采用由alf_length_luma_minus5_div2[i0]指定抽头数的矩形状的参照区域。
另外，各滤波器系数可采用按照具有180度的旋转对称性的方式分配给滤波参照区域R所包含的各像素的构成。即，可设为按照满足a(u，v)＝a(-u，-v)的方式设定的构成。通过采用这样的构成，能够削减alf_coeff_luma[i][j]所包含的各成分的数量。
(运动图像编码装置4)
以下，参照图37～图38，说明通过对编码对象图像进行编码来生成编码数据#3的运动图像编码装置4。其中，以下，对于已经说明过的部分采用相同用语及相同符号，并省略其说明。
图37是表示本实施方式所涉及的运动图像编码装置4的构成的框图。如图37所示，运动图像编码装置4中代替实施方式1所涉及的运动图像编码装置2所具备的自适应滤波器34而具备自适应滤波器60。运动图像编码装置4的其他构成与实施方式1所涉及的运动图像编码装置2的构成相同，因此省略说明。
(自适应滤波器60)
自适应滤波器60通过对去块完毕解码图像P_DB实施自适应滤波处理来生成滤波完毕解码图像P_FL。所生成的滤波完毕解码图像P_FL保存在缓冲存储器24中。另外，自适应滤波器60将滤波处理中使用的各种自适应滤波器信息作为滤波器参数FP提供给可变长码编码部22。可变长码编码部22将滤波器参数FP作为编码数据#3的一部分进行编码。
图38是表示自适应滤波器60的构成的框图。如图38所示，自适应滤波器60具备自适应滤波器信息设定部61及自适应滤波器部62。
(自适应滤波器信息设定部61)
自适应滤波器信息设定部61如图38所示，具备：按区域的抽头数设定部611、区域结构设定部612、滤波器参数生成部613、二维预测标识设定部614、滤波器系数预测部515、滤波器系数残差生成部616、按特性的滤波器系数保存部617、特性值分割点变更标识设定部618、特性值分割点设定部519。
关于滤波器系数预测部515及特性值分割点设定部519已经进行了描述，因此这里省略说明。
(按区域的抽头数设定部611)
按区域的抽头数设定部611设定用于指定针对通过初始分割而得到的特性值部分区域CPR[i0]的抽头数的语法alf_length_luma_minus5_div2[i0]。设定的语法alf_length_luma_minus5_div2[i0]被提供给滤波器参数生成部613。另外，语法alf_length_luma_minus5_div2[i0]还被提供给滤波器系数预测部515、滤波器系数残差生成部616、按区域的滤波器系数保存部617、滤波器系数导出部624及滤波部525(图38中未进行箭头图示)。
关于alf_length_luma_minus5_div2[i0]可取得的具体值及alf_length_luma_minus5_div2[i0]的具体值与参照区域R的抽头数AlfLengthLuma之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_length_luma_minus5_div2[i0]的具体值按照使编码效率进一步提高的方式被确定。
(区域结构设定部612)
区域结构设定部612设定用于指定再分割的类别的标识alf_second_split_type、及用于针对通过初始分割而得到的各特性值部分区域指定再分割的具体方式的语法alf_second_split_flag[i0]。设定的标识alf_second_split_type及语法alf_second_split_flag[i0]被提供给特性值分割点设定部519、二维预测标识设定部614及滤波器参数生成部613。
关于alf_second_split_type及alf_second_split_flag[i0]可取得的值、以及alf_second_split_type及alf_second_split_flag[i0]的具体值与再分割的方式之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_second_split_type及alf_second_split_flag[i0]的具体值按照使编码效率进一步提高的方式被确定。
(二维预测标识设定部614)
二维预测标识设定部614参照alf_second_split_type及alf_second_split_flag[i0]，设定用于指定在导出针对各特性值部分区域的滤波器系数的预测值时的预测方向的标识alf_region_pred_luma[i][j]。设定的标识alf_region_pred_luma[i][j]被提供给滤波器系数预测部515。
关于alf_region_pred_luma[i][j]可取的值及alf_region_pred_luma[i][j]的具体值与预测方向之间的对应关系已经进行了描述，因此这里省略说明。此外，alf_region_pred_luma[i][j]的具体值按照使编码效率进一步提高的方式被确定。
(滤波器系数残差生成部616)
滤波器系数残差616针对各特性值部分区域CPR(i0，j0)，取得从滤波器系数预测部515提供的预测滤波器系数PredRegionFilterLuma与从按特性的滤波器系数保存部617读出的滤波器系数RegionFilterLuma之间的差分，来生成滤波器系数残差alf_coeff_luma[i][j]。生成的滤波器系数残差alf_coeff_luma[i][j]被提供给滤波器参数生成部613。
(特性值分割点变更标识设定部618)
特性值分割点变更标识设定部618对为了变更特性值分割点PXn(1≤n≤NX-1)而参照的标识alf_first_split_val_shift进行设定。设定的标识alf_first_split_val_shift被提供给特性值分割点设定部519。
关于alf_first_split_val_shift可取得的值、及alf_first_split_val_shift的具体值与特性值分割点PXn之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_first_split_val_shift的具体值按照使编码效率进一步提高的方式被确定。
(滤波器参数生成部613)
滤波器参数生成部613根据语法alf_length_luma_minus5_div2[i0]、alf_second_split_type、alf_second_split_flag[i0]、alf_first_split_val_shift、及alf_coeff_luma[i][j]来生成滤波器参数FP。生成的滤波器参数FP被提供给可变长码编码部22。
此外，滤波器参数FP中包括：用于指定是否进行按每个特性值部分区域的滤波处理的语法alf_enable_region_filter、及用于指定初始分割的分割数AlfNumFirstSplit的语法alf_num_first_split_minusl。这些语法的具体值按照使编码效率进一步提高的方式被确定。
(按特性的滤波器系数保存部617)
按特性的滤波器系数保存部617保存由后述的滤波器系数导出部624导出的滤波器系数RegionFilterLuma[i0][j0]。
(自适应滤波器部62)
自适应滤波器部62如图38所示，具备：第1特性值算出部521、第2特性值算出部522、特性索引算出部523、滤波器系数导出部624及滤波部525。
关于第1特性值算出部521、第2特性值算出部522、特性索引算出部523及滤波部525已经进行了描述，因此这里省略说明。
(滤波器系数导出部624)
滤波器系数导出部624导出使对象单位区域中的滤波完毕解码图像P_FL与编码对象图像的误差进一步减小这样的滤波器系数RegionFilterLuma[i0][j0]。导出的滤波器系数RegionFilterLuma[i0][j0]被提供给滤波部525，并且被保存在按特性的滤波器系数保存部617中。
若将对象单位区域中的去块完毕解码图像P_DB的像素值表示为S(x，y)、将对象单位区域中的编码对象图像的像素值表示为ST(x，y)，则滤波器系数导出部624导出使例如由以下的公式(2-5)赋予的平方误差E最小这样的滤波器系数a(u，v)及偏置量o。在此，滤波器系数a(u，v)及偏置量o是RegionFilterLuma[i0][j0]的各成分。
[数学式15]
E = &Sigma; x , y ( S T ( x , y ) - &Sigma; ( u , v ) &Element; R a ( u , v ) S ( x + u , y + v ) - o ) 2 . . . ( 2 - 5 )
〈实施方式2的变形例〉
以下，参照图39～图40来说明实施方式2的变形例。图39是表示本变形例所涉及的滤波器参数FP(在图39中记为alf_param())所包含的各语法的图。如图39所示，本变形例所涉及的滤波器参数FP与图26所示的滤波器参数FP不同，不包含语法alf_first_split_val_shift及alf_second_split_type，作为alf_second_split_type的值而采用alf_second_split_type＝0的固定值。
在本变形例中，关于第1特性值X的特性值分割点PX1～PX_NX-1、即初始分割中的分割点根据对初始分割的分割数进行指定的语法alf_num_first_split_minus1的值而设定。图40是例示根据本变形例中的alf_num_first_split_minus1的各值而设定的特性值分割点PX1～PX5的表。
如图40所示，在本变形例中，根据初始分割的分割数来设定分割点，因此能够使分类到各特性值部分区域的单位区域的数量接近恒定。因此，能够实现高的编码效率。
另外，如图40所示，alf_num_first_split_minus1＝0或1时设定的特性值分割点的值采用了alf_num_first_split_minus1＝2时设定的特性值分割点中的某些值。例如，对于alf_num_first_split_minus1＝0时设定的特性值分割点PX1的值，采用了alf_num_first_split_minus1＝2时设定的特性值分割点PX3的值64。这样，本变形例中，最大分割以外的分割(图40所示的例子中为alf_num_first_split_minus1＝0或1)中所采用的分割点的值成为了最大分割(图40所示的例子中为alf_num_first_split_minus1＝2)中所采用的分割点的值的集合的要素。
通过采用这样的构成，在运动图像编码装置中进行初始分割点的最优化时，无需重新计算针对各特性值部分区域的特性值，因此可削减处理量。
〔实施方式3〕
以下，参照图41～图44说明本发明的第3实施方式。其中，以下，对于实施方式2中已经说明过的部分采用相同用语及相同符号，并省略其说明。
(编码数据#5)
在详细说明本实施方式所涉及的运动图像编码装置6及运动图像解码装置5之前，对由运动图像编码装置6生成、并由运动图像解码装置5解码的编码数据#5的数据结构进行说明。
编码数据#5的数据结构与实施方式1所涉及的编码数据#1的数据结构大致相同，但滤波器参数FP的构成不同。图41是表示本实施方式所涉及的编码数据#5的滤波器参数FP(在图41中记为alf_param())所包含的各语法的图。
(alf_filter_pattern)
alf_filter_pattern[i](1≤i＜AlfMaxNumFilters，AlfMaxNumFilters是初始分割点的最大值)是用于确定初始分割(第1阶段的分割)中的初始分割点的标识。与是否进行再分割(第2阶段的分割)无关地，由alf_filter_pattern[i]确定初始分割点。
(alf_enable_second_split)
alf_enable_second_split是指定是否进行再分割的标识。当alf_enable_second_split＝0时，不进行再分割，当alf_enable_second_split＝1时，进行再分割。
根据编码对象图像的图像特性如何，有时通过不进行再分割而削减了码量会提高编码效率。通过预先在编码数据#5中包含alf_enable_second_split，能够实现编码效率的提高。
(alf_select_split_char)
alf_select_split_char是作为特性值Y而指定多个候选中的某一特性值的语法。如图42(a)所示，alf_select_split_char按以下方式指定特性值X及特性值Y。
alf_select_split_char＝0时：
特性值X＝活性度、特性值Y＝方向性
alf_select_split_char＝1时：
特性值X＝活性度、特性值Y＝平均像素值
alf_select_split_char＝2时：
特性值X＝活性度、特性值Y＝y坐标
alf_select_split_char＝3时：
特性值X＝活性度、特性值Y＝x坐标
在此，y坐标是指处理对象帧中的对象单位区域的帧内y坐标，x坐标是指处理对象帧中的对象单位区域的帧内x坐标。
另外，在作为特性值Y而指定方向性的情况下，该特性值Y例如可利用垂直方向活性度ACT_V及水平方向活性度ACT_H而由下式算出。
Y＝(ACT_H+k)/(ACT_V+k)×4
k＝(ACT_H+ACT_V)/16+1
图42(b)表示了根据alf_select_split_char的各值所设定的再分割点PY1～PY3的具体例。在图42(b)中，“height”是指帧的y方向的像素数，“width”是指帧的x方向的像素数。
(alf_enable_second_split_val)
alf_enable_second_split_val是表示后述的alf_second_split_val[k](k＝0、1、2)是否包含于滤波器参数FP的标识。若alf_enable_second_split_val＝1，则alf_second_split_val[k]包含于滤波器参数FP。alf_enable_second_split_val在进行再分割时被编码。
(alf_second_split_val)
alf_second_split_val[k](k＝0、1、2)是为了确定针对特性值Y的再分割中的再分割点而参照的语法。
图42(c)中表示了alf_second_split_val[k]与再分割点PY1～PY3之间的关系。如图42(c)所示，再分割点PY1～PY3的各值根据alf_second_split_val[k]的各值来确定。
alf_second_split_flag、以及上述的alf_filter_pattern、alf_enable_second_split、alf_select_split_char、alf_enable_second_split_val及alf_second_split_val，构成指定将特性值区域CR分割成各特性值部分区域CPR的分割方法的特性值分割信息。
(alf_region_disable_idc)
alf_region_disable_idc[i0]是用于指定在通过再分割而得到的特性值部分区域之中、将滤波处理设为禁用的区域的标识(启用禁用指定信息)。当alf_second_split_flag[i0]的值为0时，即不进行再分割时，alf_region_disable_idc[i0]取-1、0中的任意值，当alf_second_split_flag[i0]的值为1或2时，即再分割为2分割时，alf_region_disable_idc[i0]取-1、0、1中的任意值，当alf_second_split_flag[i0]的值为3时，即再分割为4分割时，alf_region_disable_idc[i0]取-1、0、1、2、3中的任意值。
当alf_region_disable_idc[i0]为-1时，针对通过再分割而得到的特性值部分区域的滤波处理被指定为启用。
当alf_region_disable_idc[i0]为-1以外的值时，针对通过再分割而得到的特性值部分区域之中、由再分割索引[j0](j0＝alf_region_disable_idc[i0])指定的特性值部分区域的滤波处理被指定为禁用。不进行针对滤波处理被指定为禁用的特性值部分区域的滤波器系数(或滤波器系数残差)alf_coeff_luma的编码。
此外，图41中例示了不包含在对导出预测滤波器系数时的预测方向进行指定的语法alf_region_pred_luma的构成，但这并不是对本实施方式的限定，如实施方式2中说明过的那样，本实施方式也可采用在滤波器参数FP中包含语法alf_region_pred_luma的构成。
另外，图41中例示了不包含实施方式2中说明过的语法alf_second_split_type但包含实施方式2中说明过的与alf_second_split_type＝1时的再分割有关的滤波器系数(或滤波器系数残差)alf_coeff_luma的构成，但这并不是对本实施方式的限定。本实施方式中，也可采用在滤波器参数FP中包含alf_second_split_type及针对alf_second_split_type的各值的滤波器系数(或滤波器系数残差)alf_coeff_luma的构成。
(自适应滤波器70)
在本实施方式所涉及的运动图像解码装置中，代替实施方式2涉及的运动图像解码装置3所具备的自适应滤波器50，而具备自适应滤波器70。本实施方式所涉及的运动图像解码装置的其他构成与实施方式2所涉及的运动图像解码装置3的构成相同，因此省略说明。
图43是表示自适应滤波器70的构成的框图。如图43所示，在自适应滤波器70中，代替自适应滤波器50所具备的区域结构解码部512、滤波器系数残差解码部513、特性值分割点变更标识解码部518、特性值分割点设定部519及第2特性值算出部522，而分别具备区域结构解码部712、滤波器系数残差解码部713、特性值分割点变更标识解码部718、特性值分割点设定部719及第2特性值算出部722。另外，自适应滤波器70具备自适应的滤波器禁用解码部731、特性选择标识解码部732。自适应滤波器70的其他构成与自适应滤波器50相同。
此外，图43中例示了不具备自适应滤波器50所具备的二维预测标识解码部514的构成，但这并不是对本实施方式的限定，自适应滤波器70可采用具备二维预测标识解码部514的构成，也可采用在编码数据#5中预先包含alf_region_pred_luma的构成。
自适应的滤波器禁用解码部731对滤波器参数FP所包含的语法alf_disable_region_idc[i0]进行解码。解码后的语法alf_disable_region_idc[i0]被提供给滤波器系数残差解码部713及滤波部525。在alf_disable_region_idc[i0]指定了滤波处理的禁用的情况下，滤波部525不进行滤波处理。
区域结构解码部712对滤波器参数FP所包含的语法alf_second_split_flag[i0]进行解码。解码后的语法alf_second_split_flag[i0]被分配给特性值部分区域CPR[i0]，并且被提供给滤波器系数残差解码部713及特性值分割点设定部719。
滤波器系数残差解码部713参照alf_length_luma_minus5_div2[i0]、alf_disable_region_idc[i0]及alf_second_split_flag[i0]，对滤波器参数FP所包含的语法alf_coeff_luma[i][j]进行解码，并将各语法alf_coeff_luma[i][j]分配给分别对应的特性值部分区域CPR(i0，j0)。alf_coeff_luma[i][j]与特性值部分区域CPR(i0，j0)之间的对应关系和实施方式2所涉及的编码数据#3的说明中已经描述的对应关系相同，因此这里省略说明。另外，解码后的语法alf_coeff_luma[i][j]被提供给滤波器系数解码部516。
此外，滤波器系数残差解码部713对于根据alf_disable_region_idc[i0]而滤波处理被指定为禁用的特性值部分区域，不进行滤波器系数残差alf_coeff_luma[i][j]的解码。
特性值分割点变更标识解码部718对滤波器参数FP所包含的语法alf_second_split_val[k](k＝0、1、2)进行解码。解码后的语法alf_second_split_vzl[k]被提供给特性值分割点设定部719。
特性值选择标识解码部732对滤波器参数FP所包含的语法alf_second_split_char进行解码。解码后的语法alf_second_split_char被提供给特性值分割点设定部719及第2特性值算出部722。
特性值分割点设定部719基于alf_second_split_flag[i0]、alf_second_split_val[k]及alf_second_split_char，导出特性值分割点PXn(1≤n≤NX-1)及PYm(1≤m≤NX-1)。导出的特性值分割点PXn及Pym被提供给特性索引算出部523。
关于针对语法alf_second_split_val[k]及alf_second_split_char的各值的特性值分割点PXn及PYm的具体例，在编码数据#5的说明中已经进行了描述，因此这里省略说明。
第2特性值算出部722针对对象单位区域中的去块完毕解码图像P_DB，算出由alf_second_split_char指定的特性值。算出的特性值被作为特性值Y而提供给特性索引算出部523。
(运动图像编码装置6)
以下，参照图44，说明通过对编码对象图像进行编码来生成编码数据#5的运动图像编码装置6。其中，以下，对于已经说明过的部分采用相同用语及相同符号，并省略其说明。
在本实施方式所涉及的运动图像编码装置中，代替实施方式2中的运动图像编码装置4所具备的自适应滤波器60，而具备自适应滤波器80。本实施方式所涉及的运动图像解码装置的其他构成与实施方式2所涉及的运动图像编码装置4的构成相同，因此省略说明。
自适应滤波器80通过对去块完毕解码图像P_DB实施自适应滤波处理来生成滤波完毕解码图像P_FL。生成的滤波完毕解码图像P_FL保存在缓冲存储器24中。另外，自适应滤波器80将滤波处理中使用的各种自适应滤波器信息作为滤波器参数FP而提供给可变长码编码部22。可变长码编码部22将滤波器参数FP作为编码数据#5的一部分来进行编码。
图44是表示自适应滤波器80的构成的框图。如图44所示，自适应滤波器80具备：自适应滤波器信息设定部81及自适应滤波器部82。
(自适应滤波器信息设定部81)
自适应滤波器信息设定部81如图44所示，具备：按区域的抽头数设定部611、自适应启用禁用设定部831、区域结构设定部812、特性值分割点变更标识设定部818、特性选择标识设定部832、特性值分割点设定部719、滤波器系数残差生成部616、滤波器系数预测部515、滤波器参数生成部813及按特性的滤波器系数保存部617。
关于按区域的抽头数设定部611、特性值分割点设定部719、滤波器系数残差生成部616、滤波器系数预测部515及按特性的滤波器系数保存部617已经进行了描述，因此这里省略说明。
(自适应的滤波器禁用设定部831)
自适应的滤波器禁用设定部831设定用于指定在通过再分割而得到的特性值部分区域之中将滤波处理设为禁用的区域的标识alf_region_disable_idc[i0]。设定的标识alf_region_disable_idc[i0]被提供给滤波器参数生成部813及滤波部525。在alf_region_disable_idc[i0]指定了滤波处理的禁用的情况下，滤波部525不进行滤波处理。
关于alf_region_disable_idc[i0]可取得的值与滤波处理的启用禁用之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_region_disable_idc[i0]的具体值按照使编码效率进一步提高的方式被确定。
(区域结构设定部812)
区域结构设定部812设定用于针对通过初始分割而得到的各特性值部分区域指定再分割的具体方式的语法alf_second_split_flag[i0]。设定的语法alf_second_split_flag[i0]被提供给特性值分割点设定部719及滤波器参数生成部813。
关于alf_second_split_flag[i0]可取得的值、以及alf_second_split_flag[i0]的具体值与再分割的方式之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_second_split_flag[i0]的具体值按照使编码效率进一步提高的方式被确定。
(特性值分割点变更标识设定部818)
特性值分割点变更标识设定部818设定为了确定针对特性值Y的再分割中的再分割点而参照的语法alf_second_split_val[k](k＝0、1、2)。设定的语法alf_second_split_val[k]被提供给特性值分割点设定部719及滤波器参数生成部813。
关于alf_second_split_val[k]可取得的值、及alf_second_split_val[k]的各值与针对特性值Y的再分割中的再分割点之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_second_split_val[k]的具体值按照使编码效率进一步提高的方式被确定。
(特性选择标识设定部832)
特性选择标识设定部832设定对采用多个候选中的哪个特性值作为特性值Y进行指定的语法alf_select_split_char。设定的语法alf_select_split_char被提供给特性值分割点设定部719、滤波器参数生成部813及第2特性值算出部722。
关于alf_select_split_char可取得的值、及alf_select_split_char的各值与特性值Y之间的对应关系已经进行了描述，因此这里省略说明。
此外，alf_select_split_char的具体值按照使编码效率进一步提高的方式被确定。
(滤波器参数生成部813)
滤波器参数生成部813根据语法alf_length_luma_minus5_div2[i0]、alf_disable_region_idc[i0]、alf_second_split_flag[i0]、alf_second_split_val、alf_second_split_char及alf_coeff_luma[i][j]来生成滤波器参数FP。生成的滤波器参数FP被提供给可变长码编码部22。
此外，滤波器参数FP中包含：用于指定是否进行按每个特性值部分区域的滤波处理的语法alf_enable_region_filter、表示用于确定初始分割中的初始分割点的标识alf_filter_pattern和alf_second_split_val[k]是否包含在滤波器参数FP中的标识alf_enable_second_split_val、及用于指定初始分割的分割数AlfNumFirstSplit的语法alf_num_first_split_minus1。这些语法的具体值按照使编码效率进一步提高的方式被确定。
(自适应滤波器部82)
自适应滤波器部82如图44所示，具备：第1特性值算出部521、第2特性值算出部722、特性索引算出部523、滤波器系数导出部624及滤波部525。关于这些各部分已经进行了描述，因此省略说明。
<关于实施方式2及实施方式3的附记事项>
包括实施方式2的编码数据#3的滤波器参数FP所含的语法之中至少任一个语法、和实施方式3的编码数据#5的滤波器参数FP所含的语法之中至少任一个语法的滤波器参数FP’也在本发明的范畴之内。对这样的滤波器参数FP’进行解码的运动图像解码装置，采用具备实施方式2及实施方式3中已经说明过的部分之中对滤波器参数FP’所含的语法进行解码所需的各部分的构成即可。
例如，可采用下述构成：实施方式2的编码数据#3的滤波器参数FP包括编码数据#5的滤波器参数FP所含的语法alf_second_split_char、alf_enable_second_split_val及alf_second_split_val。在这样的构成的情况下，运动图像解码装置3所具备的自适应滤波器50采用具备特性选择标识解码部732、特性值分割点变更标识解码部718的构成即可。
另外，实施方式3中的编码数据#5的滤波器参数FP可也采用不包含语法alf_region_disable_idc[i0]的构成。在这样的构成的情况下，对编码数据#5进行解码的运动图像解码装置5成为对所有单位区域进行自适应滤波处理的构成。
<其他附记事项1>
此外，上述实施方式中的宏块相当于作为H.264/MPEG-4AVC的后续标准而提出的HEVC(HighEfficiencyVideoCoding)的LCU(最大编码单元：LargestCodingUnit，有时也被称为编码树(CodingTree)的root)，宏块及块相当于HEVC的CU(编码单元：CodingUnit，有时也被称为编码树的leaf)、PU(PredictionUnit)或TU(TransformationUnit)。
<其他附记事项2>
如上所述，发明人得到了如下见解：根据编码对象图像的图像特性如何，不是与(局部)解码图像的局部活性度的大小相应地切换滤波器系数群，而是与(局部)解码图像的局部的方向性的差异相应地切换滤波器系数群，更能够有效地提高编码效率。
本发明所涉及的图像滤波装置将输出图像中的各像素的像素值，基于根据输入图像中的该像素的位置而确定的参照区域内的像素值、和滤波器系数群来算出，其特征在于，具备：对构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别的方向性识别单元；根据由上述方向性识别单元识别出的各单位区域中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
发明人基于上述见解而发现：在输入到图像滤波装置的输入图像的方向性按构成输入图像的每个区域(单位区域)而不同的情况下，通过根据方向性的差异来切换滤波器系数群，能够提高参照上述输出图像而生成的预测图像的预测精度。
根据如上述那样构成的本发明的图像滤波装置，上述方向性识别单元对构成输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别，上述分类单元根据属于预先规定的多个组之中的哪一个来将各单位区域分类到多个单位区域组之中的任一个，上述滤波单元将输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出，因此，在上述输入图像的方向性按每个单位区域而不同的情况下，能够根据该方向性进行适当的滤波处理。
因此，根据如上述那样构成的图像滤波装置，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
其中，各单位区域中的上述输入图像的方向性例如可定义为与各单位区域中的上述输入图像的局部梯度方向正交的方向。在此，图像的梯度是指，将像素(x，y)的像素值设为z(x，y)时，在以x、y、z为坐标的3维空间内定义的曲面{(x，y，z(x，y))|0≤x≤Nx，0≤y≤Ny，0≤z≤Nz)}的梯度。在此，Nx、Ny、Nz分别表示x方向的像素的总数、y方向的像素的总数、像素值z可取得的最大值。另外，各单位区域中的上述输入图像的方向性也可表现为各单位区域中的上述输入图像的像素值的相关更高的方向。
另外，上述方向性识别单元可采用通过检测输入图像的边缘来直接识别各单位区域中的上述输入图像的方向性的构成，在上述图像滤波装置与通过画面内预测来生成帧内预测图像的预测图像生成单元一起使用的情况下，也可采用根据生成帧内预测图像时参照的帧内预测模式所示的方向来间接地进行识别的构成，还可采用通过其他方法来识别的构成。
另外，设上述单位区域表示构成上述输入图像的多个不重叠的区域的每一个。在上述图像滤波装置被使用于对图像进行编码的编码装置、及根据编码数据来对图像进行解码的解码装置中的情况下，可以将上述单位区域例如设为生成预测图像的单位即预测单位(分区)，也可设为频率变换的单位即变换单位，还可设为此外的单位。
另外，优选本发明所涉及的图像滤波装置还具备将上述多个单位区域的每一个中的上述输入图像的活性度算出的活性度算出单元，上述分类单元根据各单位区域中的上述输入图像的方向性及活性度属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个。
根据上述构成，上述活性度算出单元算出上述多个单位区域的每一个中的上述输入图像的活性度，上述分类单元根据各单位区域中的上述输入图像的方向性及活性度属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个，因此，在输入到上述图像滤波装置的输入图像的方向性按每个单位区域而不同的情况下，以及在输入图像的活性度按每个单位区域而不同的情况下，也能按每个上述单位区域组利用最优的滤波器系数群进行滤波处理。即，即使在上述输入图像的方向性及活性度按每个单位区域而不同这样的情况下，也能生成更适合预测图像的生成的输出图像。因此，能够提高参照根据如上述那样构成的本发明的图像滤波装置所生成的输出图像而生成的预测图像的预测精度。
另外，优选上述方向性识别单元通过检测各单位区域中的上述输入图像的边缘方向来识别各单位区域中的上述输入图像的方向性。
根据上述构成，由于上述方向性识别单元通过检测各单位区域中的上述输入图像的边缘方向来识别各单位区域中的上述输入图像的方向性，因此，在上述输入图像具有按每个单位区域而不同的边缘方向的情况下，能够按每个上述单位区域组利用最优的滤波器系数群进行滤波处理。由此，即使在上述输入图像的边缘方向按每个单位区域而不同这样的情况下，也能生成更适合预测图像的生成的输出图像。
另外，优选在本发明所涉及的图像滤波装置中，将每个上述单位区域组与上述参照区域的被最优化的形状关联，并且图像滤波装置还具备参照区域变更单元，该参照区域变更单元将上述参照区域的形状针对至少一部分与该参照区域重叠的单位区域所属的单位区域组进行最优化。
根据上述构成，由于将每个上述单位区域组与上述参照区域的被最优化的形状关联，并且上述参照区域变更单元将上述参照区域的形状针对至少一部分与该参照区域重叠的单位区域所属的单位区域组进行最优化，因此能够按每个上述单位区域利用最优的参照区域进行滤波处理。所以，根据上述构成，能生成更适合预测图像的生成的输出图像。
另外，优选上述方向性识别单元基于参照与上述输入图像对应的参照图像并通过画面内预测来生成各单位区域中的预测图像时所利用的预测参数所表示的方向、及各单位区域的形状之中的至少任一个，来识别各单位区域中的上述输入图像的方向性。
发明人发现：例如在H.264/MPEG-4.AVC标准或KTA软件等中采用的画面内预测中，通过画面内预测来生成各单位区域中的预测图像时所参照的预测参数(帧内预测模式)与该单位区域中的上述输入图像的方向性具有相关。
另外，发明人发现：例如在H.264/MPEG-4.AVC标准或KTA软件等中采用的画面内预测及其扩展方式中使用的画面内预测中设定的各单位区域(也称为预测单位或分区)的形状，与该单位区域中的上述输入图像的方向性具有相关。例如，当单位区域的长度方向为横向时，该单位区域中的上述输入图像存在具有横向边缘的倾向，当单位区域的长度方向为纵向时，该单位区域中的上述输入图像存在具有纵向边缘的倾向。
根据上述构成，由于上述方向性识别单元基于参照与上述输入图像对应的参照图像并通过画面内预测来生成各单位区域中的预测图像时所利用的预测参数所表示的方向、及各单位区域的形状之中的至少任一个，来识别各单位区域中的上述输入图像的方向性，因此，能够在不进行边缘检测等参照像素值的计算的情况下识别上述输入图像的方向性。
因此，根据上述构成，能够在削减用于识别各单位区域中的上述输入图像的方向性的处理量的同时，根据该方向性进行适当的滤波处理。
其中，关于上述输入图像，例如在上述图像滤波装置被使用于解码装置中时，上述输入图像是指在上述预测图像上加上从编码数据中解码出的残差图像而得到的图像，在上述图像滤波装置被使用于编码装置中时，上述输入图像是指在上述预测图像上加上该预测图像与编码对象图像之间的残差图像而得到的图像。
另外，优选在上述画面内预测中参照的与上述输入图像对应的参照图像是与输入到上述图像滤波装置的上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的图像。另外，在上述图像滤波装置被使用于解码装置中时，作为上述参照图像，可采用与上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的解码完毕的图像。
另外，优选在本发明所涉及的图像滤波装置中，将每个上述单位区域组与上述参照区域的被最优化的形状关联，并具备参照区域变更单元，该参照区域变更单元将上述参照区域的形状针对至少一部分与该参照区域重叠的单位区域所属的单位区域组进行最优化。
根据上述构成，由于将每个上述单位区域组与上述参照区域的被最优化的形状关联，上述参照区域变更单元将上述参照区域的形状针对至少一部分与该参照区域重叠的单位区域所属的单位区域组进行最优化，因此能够按每个上述单位区域利用最优的参照区域进行滤波处理。因此，根据上述构成，能生成更适合预测图像的生成的输出图像。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群生成输出图像(滤波后的解码图像)，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在各单位区域中的编码对象图像的方向性按每个单位区域而不同这样的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能够对这种编码效率高的编码数据适当地进行解码。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备上述图像滤波装置，上述图像滤波装置将对参照与上述输入图像对应的参照图像并通过画面内预测而生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对通过画面内预测生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群生成输出图像(滤波后的解码图像)，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在各单位区域中的编码对象图像的方向性按每个单位区域而不同这样的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能够对这种编码效率高的编码数据适当地进行解码。
另外，上述图像滤波装置基于在画面内预测中使用的预测参数所表示的方向、及各单位区域的形状之中的至少任一个，来识别各单位区域中的上述输入图像的方向性时，能够在不进行边缘检测等参照像素值的计算的情况下识别上述输入图像的方向性，因此能够在削减用于识别方向性的处理量的同时对编码效率高的编码数据进行解码。
另外，优选在上述画面内预测中参照的与上述输入图像对应的参照图像是指与输入到上述图像滤波装置的上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的图像。另外，作为上述参照图像，可采用与上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的解码完毕的图像。
另外，优选上述滤波单元参照从编码数据中解码出的与多个滤波器系数群的每一个关联的方向性信息，从该编码数据所包含的上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出。
根据上述构成，由于上述滤波单元参照从编码数据中解码出的与多个滤波器系数群的每一个关联的方向性信息，从该编码数据所包含的上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出，因此，能够将在生成上述编码数据的编码装置中使用的各滤波器系数群适当地分配给由该编码装置分类的单位区域组。
因此，根据上述构成，针对输入到该图像滤波装置的输入图像，能够适当利用在编码装置中使用的滤波器系数群来进行滤波处理。另外，包括具有上述构成的图像滤波装置的解码装置，能够对由编码装置生成的具有高编码效率的编码数据适当地进行解码。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的上述预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据具有上述构成的本发明所涉及的编码装置，由于该编码装置所具备的上述图像滤波装置将对由上述预测图像生成单元生成的预测图像和编码对象图像与预测图像之间的残差图像进行相加而获得的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群来生成输出图像，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。另外，由于预测精度提高，因此上述编码装置能够生成编码效率高的编码数据。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备上述图像滤波装置，上述图像滤波装置将对参照与上述输入图像对应的参照图像并通过画面内预测而生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据如上述那样构成的本发明所涉及的解码装置，由于该解码装置所具备的上述图像滤波装置，将对通过画面内预测而生成的预测图像和编码对象图像与预测图像之间的残差图像进行相加而获得的解码图像作为输入图像，并利用根据上述输入图像(解码图像)的方向性而按每个上述单位区域组进行了最优化的滤波器系数群来生成输出图像，因此即使在上述输入图像的方向性按每个单位区域而不同这样的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
另外，在上述图像滤波装置基于在画面内预测中使用的预测参数所表示的方向、及各单位区域的形状之中的至少任一个来识别各单位区域中的上述输入图像的方向性的情况下，能够在不进行边缘检测等参照像素值的计算的情况下识别上述输入图像的方向性，因此能够在削减用于识别方向性的处理量的同时生成编码效率高的编码数据。
另外，优选在上述画面内预测中参照的与上述输入图像对应的参照图像是指与输入到上述图像滤波装置的上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的图像。另外，作为上述参照图像，可采用与上述输入图像在同一帧内、且距成为处理对象的单位区域在规定距离以内的解码完毕的图像。
另外，优选由上述滤波单元使用的滤波器系数群是以按每个单位区域组使编码对象图像与上述输出图像之间的差异最小化的方式确定的。
根据上述构成，因为由上述滤波单元使用的滤波器系数群是以按每个单位区域组使编码对象图像与上述输出图像之间的差异最小化的方式确定的，因此具备上述滤波单元的编码装置能够生成预测精度高的预测图像，另外，由此，能够生成编码效率高的编码数据。
另外，本发明所涉及的编码数据的数据结构是图像滤波装置所参照的编码数据的数据结构，该图像滤波装置将输出图像中的各像素的像素值，基于根据输入图像之中该像素的位置而确定的参照区域内的像素值、和滤波器系数群来算出，该编码数据的数据结构的特征在于，包括：多个滤波器系数群；与上述多个滤波器系数群的每一个关联的方向性信息，上述图像滤波装置根据构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性属于预先规定的多个组之中的哪一个，将各单位区域分类到多个单位区域组之中的任一个，并参照上述方向性信息从上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出。
由于如上述那样构成的本发明所涉及的编码数据包括多个滤波器系数群、和与上述多个滤波器系数群的每一个关联的方向性信息，因此，参照上述编码数据的上述图像滤波装置参照上述方向性信息从上述多个滤波器系数群中针对上述多个单位区域组的每一个选择被最优化的滤波器系数群，而且将上述输出图像中的各像素的像素值，利用针对包含该像素在内的单位区域所属的单位区域组而选择出的滤波器系数群来算出，所以，在上述输入图像的方向性按每个单位区域而不同的情况下，具有能够生成用于生成预测图像的更适合的输出图像的效果。因此，能够提高参照如上述那样构成的本发明所涉及的图像滤波装置所生成的输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置是根据利用画面内预测而按每个单位区域生成的输入图像来生成输出图像的图像滤波装置，将输出图像中的各像素的像素值，基于根据该像素的位置而确定的参照区域内的输入图像的像素值、和滤波器系数群来算出，该图像滤波装置的特征在于，具备：根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个的分类单元；将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出的滤波单元。
发明人发现：根据构成利用画面内预测而按每个单位区域生成的输入图像的单位区域(预测单位)的形状及大小差异，按每个单位区域切换滤波器系数群，能够生成更适合生成预测图像的输出图像，因此，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
根据如上述那样构成的图像滤波装置，上述分类单元根据各单位区域的形状及大小属于预先规定的多个组之中的哪一个，将各单位区域分类到多个单位区域组之中的任一个，上述滤波单元将上述输出图像中的各像素的像素值，利用对于包含该像素在内的单位区域所属的单位区域组而言被最优化的滤波器系数群来算出，因此，即使上述输入图像是具有在根据活性度切换了滤波器系数群的情况下编码效率也未提高的图像特性的图像，也能提高参照上述输出图像而生成的预测图像的预测精度。
另外，本发明所涉及的图像滤波装置的特征在于，具备：滤波单元，其作用于由多个单位区域构成的输入图像；特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示各单位区域中的上述输入图像的图像特性的特性值；和特性值分割单元，其将由上述第1及第2特性值展开的特性值区域按照特性值分割信息而分割成多个特性值部分区域，上述滤波单元将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数来算出。
如上述那样构成的本发明所涉及的图像滤波装置，将由导出方法互不相同的第1及第2特性值展开的特性值区域按照特性值分割信息分割成多个特性值部分区域，并对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数来进行作用。
因此，根据上述构成，按每个单位区域进行利用了根据第1及第2特性值而设定的滤波器系数的滤波处理，因此即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能按每个单位区域进行利用了适当的滤波器系数的滤波处理。而且，能够提高参照如上述那样构成的图像滤波装置的输出图像而生成的预测图像的预测精度。
其中，上述第1及第2特性值的导出方法互不相同，因此能够通过第1及第2特性值展开二维的特性值区域。另外，只要是能够展开二维的特性值区域的2个特性值，就能作为上述第1及第2特性值使用。
另外，上述单位区域是指构成上述输入图像的多个不重叠的区域的每一个。在上述图像滤波装置被使用于对图像进行编码的编码装置、及根据编码数据来对图像进行解码的解码装置中的情况下，可以将上述单位区域例如设为生成预测图像的单位即预测单位(分区)，也可设为频率变换的单位即变换单位，还可设为此外的单位。
另外，优选上述特性值分割单元在将上述特性值区域通过第1分割而分割为1个或多个特性值部分区域的基础上，将通过该第1分割而得到的各特性值部分区域进一步通过第2分割而分割为1个或多个特性值部分区域。
根据上述构成，上述特性值分割单元通过上述第1及第2分割，分阶层地对特性值区域进行分割。因此，能够将通过上述第1分割而得到的各特性值部分区域通过上述第2分割而更细致地进行分割。
因此，根据上述构成，由于针对被更细致地分割后的特性值部分区域的每一个设定滤波器系数，因此能够进行更适当的滤波处理。
另外，优选上述第1分割是与上述第1特性值有关的分割，上述第2分割是与上述第2特性值有关的分割。
根据上述构成，上述特性值分割单元进行与上述第1特性值有关的第1分割，并针对通过该第1分割而得到的特性值部分区域的每一个进行与上述第2特性值有关的第2分割。
因此，根据上述构成，能够将与第1特性值有关地分割后的各特性值部分区域，与第2特性值有关地进一步进行分割，因此能够进行更适当的滤波处理。
此外，作为上述第1特性值，也可采用优先级比上述第2特性值高的特征值。例如，在参照上述图像滤波装置的输出图像来生成预测图像时，作为上述第1特性值，也可采用与上述第2特性值相比更能期待预测精度的提高的特性值，即，也可采用优先级比上述第2特性值高的特性值。这样，通过采用优先级高的特性值作为第1特性值，能够在抑制处理量增大的同时进行更适当的滤波处理。
另外，优选上述第1分割是与上述第1特性值有关的分割，上述第2分割是与上述第1特性值及上述第2特性值有关的分割。
根据上述构成，上述特性值分割单元进行与上述第1特性值有关的第1分割，并针对通过该第1分割而得到的特性值部分区域的每一个进行与上述第1及第2特性值有关的第2分割。
因此，根据上述构成，能够将与第1特性值有关地分割后的各特性值部分区域，与第1及第2特性值有关地进一步进行分割，因此能够进行更适当的滤波处理。
此外，作为上述第1特性值，也可采用优先级比上述第2特性值高的特征值。例如，在参照上述图像滤波装置的输出图像来生成预测图像时，作为上述第1特性值，也可采用与上述第2特性值相比更能期待预测精度的提高的特性值，即，也可采用优先级比上述第2特性值高的特性值。这样，通过采用优先级高的特性值作为第1特性值，能够在抑制处理量增大的同时进行更适当的滤波处理。
另外，优选本发明所涉及的上述图像滤波装置还具备：按照从外部获取的抽头数指定信息，按通过上述第1分割而得到的每个特性值部分区域设定上述滤波单元的抽头数的抽头数设定单元。
根据上述构成，上述图像滤波装置按通过上述第1分割而得到的每个特性值部分区域设定上述滤波单元的抽头数。因此，根据上述构成，利用按通过上述第1分割而得到的每个特性值部分区域设定的抽头数来进行滤波处理，因此能够进行更适当的滤波处理。
另外，根据上述构成，由于按通过上述第1分割而得到的每个特性值部分区域设定抽头数，因此与按通过上述第2分割而得到的每个特性值部分区域设定抽头数的情况相比，能够抑制处理量的增大。另外，在将如上述那样构成的图像滤波装置用在对编码数据进行解码的解码装置、或生成编码数据的编码装置中的情况下，能够在抑制码量增大的同时实现预测精度的提高，因此编码效率提高。
另外，优选本发明所涉及的上述图像滤波装置还具备启用禁用控制单元，该启用禁用控制单元按照从外部获取的启用禁用指定信息，按通过上述第2分割而得到的每个特性值部分区域来控制上述滤波单元的启用禁用。
根据上述构成，上述图像滤波装置按通过上述第2分割而得到的每个特性值部分区域来控制上述滤波单元的启用禁用，因此，对于通过进行滤波处理反而会使编码效率下降的单位区域不实施滤波处理。所以，根据上述构成，能够进行更适当的滤波处理。
另外，优选上述第1特性值表示各单位区域中的上述输入图像的杂乱度。
发明人发现：作为各单位区域中的输入图像的第1特性值，采用表示图像的杂乱度的特性值，作为各单位区域中的输入图像的第2特性值，采用导出方法与图像的杂乱度不同的特性值，由此能够进行适当的滤波处理。
因此，根据上述构成，能够进行适当的滤波处理。另外，根据具备如上述那样构成的图像滤波装置的解码装置及编码装置，能够提高编码效率。
其中，关于图像的杂乱度，例如还能够以图像的活性度为指标来进行检测，也能够以像素值的方差为指标来进行检测。
另外，作为第2特性值，采用导出方法与图像的杂乱度不同的特性值即可。例如，作为第2特性值，可采用图像的方向性、像素值的平均及成为对象的单位区域的帧内坐标等的任一个。
另外，本发明所涉及的解码装置对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备：上述图像滤波装置；和参照上述图像滤波装置所生成的输出图像来生成各单位区域中的预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
根据如上述那样构成的本发明所涉及的解码装置，该解码装置所具备的上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，针对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数进行作用来生成输出图像(滤波后的解码图像)，因此，即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。
根据具有与上述构成对应的构成的编码装置，即使在针对各单位区域中的编码对象图像的第1及第2特性值按每个单位区域而不同这样的情况下，也能提高预测图像的预测精度，因此能够生成编码效率高的编码数据。另外，根据具有上述构成的解码装置，能够对这种编码效率高的编码数据适当地进行解码。
另外，优选本发明所涉及的上述解码装置还具备滤波器系数解码单元，该滤波器系数解码单元将针对解码对象的特性值部分区域即对象特性值部分区域而设定的滤波器系数，通过对上述编码数据所包含的滤波器系数残差之中针对该对象特性值部分区域的滤波器系数残差、与针对该对象特性值部分区域的周边的特性值部分区域而解码完毕的滤波器系数进行相加来解码。
根据上述构成，将针对解码对象的特性值部分区域即对象特性值部分区域而设定的滤波器系数，通过对上述编码数据所包含的滤波器系数残差之中针对该对象特性值部分区域的滤波器系数残差、与针对该对象特性值部分区域的周边的特性值部分区域而解码完毕的滤波器系数进行相加来解码，因此，能够通过参照少的码量的滤波器系数残差来解码针对各特性值部分区域的滤波器系数。因此，根据上述构成，能够在削减码量的同时进行适当的滤波处理，因此编码效率提高。
另外，本发明所涉及的编码装置通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备：上述图像滤波装置；参照上述图像滤波装置所生成的输出图像来生成各单位区域中的上述预测图像的预测图像生成单元，上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
根据如上述那样构成的本发明所涉及的编码装置，该编码装置所具备的上述图像滤波装置，将对由上述预测图像生成单元生成的预测图像、和编码对象图像与预测图像之间的残差图像进行相加而得到的解码图像作为输入图像，针对各特性值部分区域中的输入图像，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数进行作用来生成输出图像(滤波后的解码图像)，因此，即使在各单位区域中的上述输入图像的第1及第2特性值存在偏差的情况下，也能生成适合作为为了生成预测图像而参照的图像的输出图像。因此，根据上述构成，能够提高上述预测图像生成单元所生成的预测图像的预测精度。另外，由于预测精度提高，因此上述编码装置能够生成编码效率高的编码数据。
另外，在本发明所涉及的上述编码装置中，优选由上述滤波单元使用的滤波器系数是以按每个单位区域使上述编码对象图像与上述输出图像之间的差异进一步减小的方式确定的。
根据上述构成，由上述滤波单元使用的滤波器系数是以按每个单位区域使上述编码对象图像与上述输出图像之间的差异进一步减小的方式确定的，因此，能够参照与编码对象图像之间的差异更小的输出图像来生成预测图像，所以编码效率提高。
另外，本发明所涉及的编码数据的数据结构是由图像滤波装置参照的编码数据的数据结构，所述图像滤波装置具备：特性值算出单元，其算出导出方法互不相同的第1及第2特性值，该第1及第2特性值是表示由多个单位区域构成的输入图像的各单位区域中的图像特性的特性值；特性值分割单元，其将由该第1及第2特性值展开的特性值区域分割成多个特性值部分区域；和滤波单元，其将各单位区域中的输出图像的各像素值，利用关于针对该单位区域而算出的第1及第2特性值所属的特性值部分区域而设定的滤波器系数群来算出，所述编码数据的数据结构的特征在于，包括：由上述特性值分割单元参照的、对上述特性值区域的分割方法进行指定的特性值分割信息；和由上述滤波单元使用的、针对上述特性值部分区域的每一个的滤波器系数。
参照如上述那样构成的编码数据的上述图像滤波装置按照上述编码数据所包含的特性值分割信息，将由上述第1及第2特性值展开的特性值区域分割成多个特性值部分区域，并且利用上述编码数据所包含的针对各特性值部分区域的滤波器系数来实施针对输入图像的滤波处理。
因此，根据参照如上述那样构成的编码数据的图像滤波装置，能够针对输入图像，利用按每个特性值部分区域设定的滤波器系数来进行适当的滤波处理。
另外，优选上述特性值分割单元在将上述特性值区域通过第1分割而分割成多个特性值部分区域的基础上，将通过该第1分割而得到的各特性值部分区域进一步通过第2分割而分割成多个特性值部分区域，上述特性值分割信息包括：对上述第1分割中的分割点进行指定的第1分割点指定信息；和对上述第2分割中的分割点进行指定的第2分割点指定信息。
参照如上述那样构成的编码数据的上述图像滤波装置，利用由上述第1分割点指定信息指定的分割点进行上述第1分割，利用由上述第2分割点指定信息指定的分割点进行上述第2分割，因此能够对由第1及第2特性值展开的特性值区域适当地进行分割。
另外，生成如上述那样构成的编码数据的编码装置，能够按照使编码效率提高的方式来设定第1及第2分割中的分割点，并将表示设定的分割点的信息作为上述第1及第2分割点指定信息预先包含于上述编码数据中。因此，参照这样构成的上述编码数据的图像滤波装置能够进行利用了按照使编码装置中编码效率提高的方式而设定的分割点的滤波处理。
另外，优选本发明所涉及的编码数据还包括按通过上述第1分割而得到的每个特性值部分区域来指定上述滤波单元的抽头数的抽头数指定信息。
参照如上述那样构成的编码数据的图像滤波装置按照上述抽头数指定信息，按通过上述第1分割而得到的每个特性值部分区域来设定上述滤波单元的抽头数。因此，根据参照如上述那样构成的编码数据的图像滤波装置，利用按通过上述第1分割而得到的每个特性值部分区域所设定的上述滤波单元的抽头数进行滤波处理，因此能够进行更适当的滤波处理。
另外，优选本发明所涉及的编码数据还包括按通过上述第2分割而得到的每个特性值部分区域来指定上述滤波单元的启用禁用的启用禁用指定信息。
参照如上述那样构成的编码数据的图像滤波装置，按照上述启用禁用指定信息，按通过上述第2分割而得到的每个特性值部分区域来控制上述滤波单元的启用禁用，因此对于进行滤波处理反而会使编码效率下降的单位区域不实施滤波处理。因此，根据上述构成，能够进行更适当的滤波处理。
本发明并不限于上述的各实施方式，能够在权利要求所示的范围内进行各种变更，对不同的实施方式中分别公开的技术手段进行适当组合而得到的实施方式也包含在本发明的技术范围内。
(工业实用性)
本发明能适合使用于对图像数据进行滤波的图像滤波器中。另外，还能适合使用于对编码数据进行解码的解码装置及对编码数据进行编码的编码装置中。
符号说明
1运动图像解码装置(解码装置)
16帧间预测图像生成部(预测图像生成单元)
17帧内预测图像生成部(预测图像生成单元)
42自适应滤波器(图像滤波装置)
421预测模式/尺寸蓄积部
422边缘方向检测部(方向性识别单元)
423活性度算出部(活性度算出单元)
424区域分类部(方向性识别单元，分类单元)
425滤波处理部(滤波单元，参照区域变更单元)
2运动图像编码装置(编码装置)
25帧内预测图像生成部(预测图像生成单元)
26帧间预测图像生成部(预测图像生成单元)
34自适应滤波器(图像滤波装置)
340区域分割部
341预测模式/尺寸蓄积部
342边缘方向检测部(方向性识别单元)
343活性度算出部(活性度算出单元)
344区域分类部(方向性识别单元，分类单元)
345滤波处理部(滤波单元，参照区域变更单元)
346滤波器参数导出部
3、5运动图像解码装置(解码装置)
50、60、70、80自适应滤波器(图像滤波装置)
51自适应滤波器信息解码部
511按区域的抽头数解码部(抽头数设定单元)
512区域结构解码部
513滤波器系数残差解码部
514二维预测标识解码部
515滤波器系数预测部
516滤波器系数解码部(滤波器系数解码单元)
517按特性的滤波器系数保存部
518特性值分割点变更标识解码部
519特性值分割点设定部(特性值分割单元)
52自适应滤波器部
521第1特性值算出部(特性值算出单元)
522第2特性值算出部(特性值算出单元)
523特性索引算出部
524滤波器系数分配部
525滤波部(滤波单元)
731自适应的滤波器禁用解码部(启用禁用控制单元)
4、6运动图像编码装置(编码装置)
CR特性值区域
CPR特性值部分区域
PX1～PX5特性值分割点(分割点)
PY1～PY3特性值分割点(分割点)

Claims (4)

1.一种图像滤波装置，将输出图像中的各像素的像素值，基于根据输入图像中的该像素的位置而确定的参照区域内的像素值和滤波器系数群来算出，该图像滤波装置的特征在于，具备：
方向性识别单元，其对构成上述输入图像的多个单位区域的每一个中的上述输入图像的方向性进行识别；
活性度算出单元，其将上述多个单位区域的每一个中的上述输入图像的活性度算出；
分类单元，其根据由上述方向性识别单元识别出的各单位区域中的上述输入图像的方向性以及由上述活性度算出单元算出的各单位区域中的上述输入图像的活性度属于预先规定的多个组之中的哪一个，来将各单位区域分类到多个单位区域组之中的任一个；和
滤波单元，其将上述输出图像中的各像素的像素值，利用包含该像素在内的单位区域所属的单位区域组的滤波器系数群来算出。
2.根据权利要求1所述的图像滤波装置，其特征在于，
上述方向性识别单元基于在参照与上述输入图像对应的参照图像并通过画面内预测来生成各单位区域中的预测图像时所利用的预测参数所表示的方向，来识别各单位区域中的上述输入图像的方向性。
3.一种解码装置，对编码数据进行解码来生成滤波后的解码图像，该解码装置的特征在于，具备：
权利要求1所述的图像滤波装置；和
参照上述图像滤波装置所生成的输出图像来生成各单位区域中的预测图像的预测图像生成单元，
上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与从上述编码数据中解码出的残差图像进行相加而得到的解码图像作为输入图像，并生成上述滤波后的解码图像来作为输出图像。
4.一种编码装置，通过对编码对象图像与预测图像之间的残差图像进行编码来生成编码数据，该编码装置的特征在于，具备：
权利要求1所述的图像滤波装置；和
参照上述图像滤波装置所生成的输出图像来生成各单位区域中的上述预测图像的预测图像生成单元，
上述图像滤波装置将对由上述预测图像生成单元生成的预测图像与上述残差图像进行相加而得到的解码图像作为输入图像，来生成输出图像。
CN201180029034.8A 2010-06-17 2011-06-02 图像滤波装置、解码装置及编码装置 Expired - Fee Related CN102948151B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910715384.8A CN110430428B (zh) 2010-06-17 2011-06-02 解码装置、编码装置、解码方法以及编码方法
CN201610457977.5A CN106060546A (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201610457965.2A CN106454356B (zh) 2010-06-17 2011-06-02 解码装置及编码装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010138675 2010-06-17
JP2010-138675 2010-06-17
JP2010294114 2010-12-28
JP2010-294114 2010-12-28
PCT/JP2011/062656 WO2011158657A1 (ja) 2010-06-17 2011-06-02 画像フィルタ装置、復号装置、符号化装置、および、データ構造

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN201610457977.5A Division CN106060546A (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201610457965.2A Division CN106454356B (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201910715384.8A Division CN110430428B (zh) 2010-06-17 2011-06-02 解码装置、编码装置、解码方法以及编码方法

Publications (2)

Publication Number Publication Date
CN102948151A CN102948151A (zh) 2013-02-27
CN102948151B true CN102948151B (zh) 2016-08-03

Family

ID=45348065

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201910715384.8A Active CN110430428B (zh) 2010-06-17 2011-06-02 解码装置、编码装置、解码方法以及编码方法
CN201610457965.2A Active CN106454356B (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201610457977.5A Pending CN106060546A (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201180029034.8A Expired - Fee Related CN102948151B (zh) 2010-06-17 2011-06-02 图像滤波装置、解码装置及编码装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201910715384.8A Active CN110430428B (zh) 2010-06-17 2011-06-02 解码装置、编码装置、解码方法以及编码方法
CN201610457965.2A Active CN106454356B (zh) 2010-06-17 2011-06-02 解码装置及编码装置
CN201610457977.5A Pending CN106060546A (zh) 2010-06-17 2011-06-02 解码装置及编码装置

Country Status (5)

Country Link
US (1) US8995776B2 (zh)
EP (1) EP2584781A4 (zh)
JP (5) JPWO2011158657A1 (zh)
CN (4) CN110430428B (zh)
WO (1) WO2011158657A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
PL2656507T3 (pl) 2010-12-21 2017-08-31 Ntt Docomo, Inc. Kodowanie o rozszerzonej predykcji wewnątrzramkowej z wykorzystaniem reprezentacji planarnych
JP5627507B2 (ja) * 2011-01-12 2014-11-19 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
WO2012137890A1 (ja) * 2011-04-05 2012-10-11 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
AU2015255161B2 (en) * 2012-01-06 2017-03-16 Sony Corporation Image Processing Device and Method
JP5770647B2 (ja) * 2012-01-18 2015-08-26 日本電信電話株式会社 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム
KR102157481B1 (ko) * 2012-01-19 2020-09-18 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
SG11201406086UA (en) * 2012-04-06 2014-11-27 Sony Corp Decoder and decoding method, as well as encoder and encoding method
TWI581623B (zh) 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
CN104272738A (zh) * 2012-06-15 2015-01-07 英特尔公司 用于可扩展视频编码的自适应滤波
WO2014052602A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Method and apparatus of edge guided processing for video coding
JP6212890B2 (ja) * 2013-03-22 2017-10-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
US9544613B2 (en) * 2013-04-24 2017-01-10 Sony Corporation Local detection model (LDM) for recursive motion estimation
JP6171627B2 (ja) * 2013-06-28 2017-08-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
CN104282030A (zh) * 2013-07-12 2015-01-14 富士通株式会社 图像压缩装置及方法
JP6174966B2 (ja) * 2013-10-17 2017-08-02 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
CN113784124B (zh) * 2014-01-01 2024-03-19 上海天荷电子信息有限公司 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN104615585B (zh) * 2014-01-06 2017-07-21 腾讯科技（深圳）有限公司 处理文本信息的方法及装置
CN104796725B (zh) * 2014-01-21 2019-10-01 Vixs系统公司 具有帧内预测预处理的视频编码器及与其一起使用的方法
KR101790463B1 (ko) 2014-02-27 2017-11-20 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오/비디오 샘플 벡터의 피라미드 벡터 양자화 인덱싱 및 디인덱싱을 위한 방법 및 장치
CN106134201B (zh) * 2014-05-23 2019-10-25 华为技术有限公司 在块预测技术中使用的预处理预测滤波的方法和装置
US10600156B2 (en) 2015-06-18 2020-03-24 Lg Electronics Inc. Image properties-based adaptive filtering method and device in image coding system
US10750170B2 (en) * 2015-06-18 2020-08-18 Lg Electronics Inc. Image filtering method and device in image coding system
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
CA3025490A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
TWI604731B (zh) * 2016-08-05 2017-11-01 瑞昱半導體股份有限公司 影像濾波方法及其影像濾波裝置
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
AU2017393149A1 (en) * 2017-01-12 2019-07-25 Sony Corporation Image processing device and image processing method
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
JP6904156B2 (ja) * 2017-08-10 2021-07-14 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2019129371A (ja) * 2018-01-23 2019-08-01 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110956594B (zh) * 2019-11-27 2023-12-01 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
US11610340B2 (en) * 2020-04-17 2023-03-21 Tencent America LLC Edge enhancement filter
US11611770B2 (en) 2020-10-14 2023-03-21 Tencent America LLC Method and apparatus for video coding

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2759939B2 (ja) * 1986-03-14 1998-05-28 キヤノン株式会社 画像処理システム
JPH05143726A (ja) * 1991-11-25 1993-06-11 Canon Inc 画像処理方法及び装置
KR960015396B1 (ko) * 1992-02-28 1996-11-11 삼성전자 주식회사 고정비트율 압축부호화방법
JPH05316361A (ja) 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
JP2006157267A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
KR100695155B1 (ko) * 2005-06-18 2007-03-14 삼성전자주식회사 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN1905622A (zh) * 2006-08-11 2007-01-31 威盛电子股份有限公司 动态选择模块与动态选择滤波器系数组的方法
EP2101322B1 (en) * 2006-12-15 2018-02-21 III Holdings 12, LLC Encoding device, decoding device, and method thereof
PL2123051T3 (pl) * 2006-12-18 2011-04-29 Koninl Philips Electronics Nv Kompresja i dekompresja obrazu
JP2009095004A (ja) * 2007-10-03 2009-04-30 Mitsubishi Electric Research Laboratories Inc 画像シーケンス中の画素をフィルタリングする方法
KR20100090307A (ko) * 2008-03-07 2010-08-13 가부시끼가이샤 도시바 동화상 부호화 및 복호 장치
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
CN101742292B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 基于图像内容信息的环路滤波方法和滤波器
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
CN101674475B (zh) * 2009-05-12 2011-06-22 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
JP5335574B2 (ja) * 2009-06-18 2013-11-06 キヤノン株式会社 画像処理装置及びその制御方法
JP5464435B2 (ja) * 2010-04-09 2014-04-09 ソニー株式会社 画像復号装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video coding technology proposal by Qualcomm Inc.;Marta Karczewicz et al;《Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20100430;12 *

Also Published As

Publication number Publication date
JP6916939B2 (ja) 2021-08-11
JP2017085674A (ja) 2017-05-18
CN106454356A (zh) 2017-02-22
US20130136371A1 (en) 2013-05-30
CN110430428A (zh) 2019-11-08
CN106454356B (zh) 2019-11-08
WO2011158657A1 (ja) 2011-12-22
JP6759428B2 (ja) 2020-09-23
CN106060546A (zh) 2016-10-26
EP2584781A4 (en) 2016-03-09
JP6353943B2 (ja) 2018-07-04
JP6561174B2 (ja) 2019-08-14
JP2020191690A (ja) 2020-11-26
US8995776B2 (en) 2015-03-31
EP2584781A1 (en) 2013-04-24
CN102948151A (zh) 2013-02-27
JP2019198114A (ja) 2019-11-14
JPWO2011158657A1 (ja) 2013-08-19
JP2018157596A (ja) 2018-10-04
CN110430428B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN102948151B (zh) 图像滤波装置、解码装置及编码装置
JP7373509B2 (ja) フレーム内予測方法及び装置
JP6158998B2 (ja) 映像復号化装置
CN107071456B (zh) 解码视频信号的方法
JP2016165132A (ja) 映像復号化装置
AU2016228184B2 (en) Method for inducing a merge candidate block and device using same
CN113170117A (zh) 一种视频编码/解码方法及装置
CN117813821A (zh) 基于以子块为单元的帧内预测的视频信号编码/解码方法以及用于存储比特流的记录介质
KR20140124444A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR20140124446A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

CF01 Termination of patent right due to non-payment of annual fee