CN112740678A - 编码装置、编码方法、解码装置和解码方法 - Google Patents

编码装置、编码方法、解码装置和解码方法 Download PDF

Info

Publication number
CN112740678A
CN112740678A CN201980061396.1A CN201980061396A CN112740678A CN 112740678 A CN112740678 A CN 112740678A CN 201980061396 A CN201980061396 A CN 201980061396A CN 112740678 A CN112740678 A CN 112740678A
Authority
CN
China
Prior art keywords
class
merging
classes
pixel
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980061396.1A
Other languages
English (en)
Inventor
池田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018246543A external-priority patent/JP2022002357A/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112740678A publication Critical patent/CN112740678A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明涉及能够减少处理量的编码装置、编码方法、解码装置和解码方法。该编码装置和解码装置借助于多个特征值中的每个的子类分类并且根据针对每个合并类数目预先设置的合并模式对解码图像(局部解码图像)中的目标像素执行类分类，将通过类分类获得的目标像素的初始类转换为通过合并特征值子类合并初始类而获得的合并类。此外，编码装置和解码装置通过执行滤波处理来生成滤波图像，该滤波处理包括将预测公式应用于解码图像，该预测公式牵涉对解码图像的像素和目标像素的合并类的抽头系数执行积和运算。例如，可以将该技术应用于图像被编码或解码的情况。

Description

编码装置、编码方法、解码装置和解码方法
技术领域
本发明涉及编码装置、编码方法、解码装置和解码方法，并且具体涉及例如使得能够减少处理的编码装置、编码方法、解码装置和解码方法。
背景技术
作为高效视频编码(HEVC)的后继标准，正在开展工作以启动通用视频编码(VVC)(以前称为未来视频编码(FVC))的标准化，以及用于图像编码和解码的环路滤波(ILF)中的标准化，除了去块滤波器和自适应偏移滤波器之外，还研究了双边滤波器和自适应环路滤波器(ALF)(例如，参见非专利文献1)。
此外，已经提出了几何自适应环路滤波器(GALF)作为用于改进现有ALF的滤波器(例如，参见非专利文献2)。
引用列表
非专利文件
非专利文献1：Algorithm description of Joint Exploration Test Model 7(JEM7),2017-08-19
非专利文献2：Marta Karczewicz,Li Zhang,Wei-Jung Chien,Xiang Li,“Geometry transformation-based adaptive in-loop filter”,IEEE Picture CodingSymposium(PCS),2016
发明内容
本发明要解决的问题
在GALF中，执行类合并处理以合并类，使得多个类共享用于滤波处理的抽头系数，以减少抽头系数的数据量。
在类合并处理中，将等于或小于原始类数目的自然数的每个值用作合并类之后的合并类数目，并且针对每个合并类数目获得用于合并类的最佳合并模式。然后，从用于各个合并类数目的最佳合并模式中，将使成本最小化的合并模式确定为在执行滤波处理时要采用的采用合并模式。
如上所述，在类合并处理中，将等于或小于原始类数目的自然数的每个值假定为合并类之后的合并类数目，并且针对每个合并类数目获得最佳合并模式，因此处理量变大。注意，需要将由类合并处理确定的采用合并模式从编码装置发送到解码装置。
考虑到这种情况而作出了本技术，并且本技术可以减少处理量。
问题的解决方案
本技术的解码装置是下述解码装置，该解码装置包括：解码单元，其对包括在编码比特流中的编码数据进行解码并且生成解码图像；类分类单元，其通过对多个特征量中的每个进行子类分类，来对由解码单元生成的解码图像的关注像素执行类分类；合并转换单元，其将通过由类分类单元执行的类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据设置预先设置的合并模式合并特征量的子类来合并初始类来获得；以及滤波单元，其执行滤波处理，该滤波处理对解码图像应用预测方程，该预测方程对由合并转换单元转换的关注像素的合并类的抽头系数与解码图像的像素执行积和运算，以生成滤波图像。
本技术的解码方法是下述解码方法，该解码方法包括：对包括在编码比特流中的编码数据进行解码并且生成解码图像；通过对多个特征量中的每个进行子类分类，来对解码图像的关注像素执行类分类；将通过类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据设置预先设置的合并模式合并特征量的子类来合并初始类来获得；以及执行滤波处理，该滤波处理对解码图像应用预测方程，该预测方程对关注像素的合并类的抽头系数与解码图像的像素执行积和运算，以生成滤波图像。
在本技术的解码装置和解码方法中，对包括在编码比特流中的编码数据进行解码以生成解码图像。此外，通过对多个特征量中的每个进行子类分类，来对解码图像的关注像素进行类分类，并且将通过类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据预先设置的合并模式合并特征量的子类来合并初始类来获得。然后，执行滤波处理，该滤波处理对解码图像应用预测方程，预测方程对关注像素的合并类的抽头系数与解码图像的像素执行积和运算，以生成滤波图像。
本技术的编码装置是下述编码装置，该编码装置包括：类分类单元，其对局部解码图像的关注像素执行类分类，该局部解码图像是通过多个特征量中的每个的子类分类来局部解码的；合并转换单元，其将通过由类分类单元执行的类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据设置预先设置的合并模式合并特征量的子类来合并初始类来获得；滤波单元，其执行滤波处理，该滤波处理对局部解码图像应用预测方程，该预测方程对由合并转换单元转换的关注像素的合并类的抽头系数与局部解码图像的像素执行积和运算，以生成滤波图像；以及编码单元，其使用由滤波单元生成的滤波图像对原始图像进行编码。
本技术的编码方法是下述编码方法，该编码方法包括：对局部解码图像的关注像素执行类分类，该局部解码图像是通过多个特征量中的每个的子类分类来局部解码的；将通过类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据设置预先设置的合并模式合并特征量的子类来合并初始类来获得；以及执行滤波处理，该滤波处理对局部解码图像应用预测方程，该预测方程对关注像素的合并类的抽头系数与局部解码图像的像素执行积和运算，以生成滤波图像；以及使用滤波图像对原始图像进行编码。
在本技术的编码装置和编码方法中，对局部解码图像的关注像素执行类分类，该局部解码图像是通过多个特征量中的每个的子类分类来执行局部解码的，并且将通过类分类获得的关注像素的初始类转换为合并类，该合并类通过针对每个合并类数目根据设置预先设置的合并模式合并特征量的子类来合并初始类来获得。此外，执行滤波处理，该滤波处理对局部解码图像应用预测方程，该预测方程对关注像素的合并类的抽头系数与局部解码图像的像素执行积和运算，以生成滤波图像。然后，使用滤波图像对原始图像进行编码。
注意，编码装置和解码装置可以是独立装置或者构成一个装置的内部块。
此外，可以通过使计算机执行程序来实现编码装置和解码装置。可以通过经由传输介质进行传输或者通过在记录介质上进行记录来提供程序。
附图说明
图1是描述执行GALF的类分类的类分类单元10的处理的概要的图。
图2是描述如何获得GALF的方向作为关注像素的限定方向(倾斜方向)的图。
图3是描述通过GALF的类分类获得的类的图。
图4是描述对图像进行编码的编码装置具有作为ILF中的一个的GALF的处理的流程图。
图5是描述步骤S21中的合并模式确定处理的流程图。
图6是描述合并模式的表达格式的示例的图。
图7是示出针对每个合并类数目的合并模式的示例的图。
图8是描述在步骤S22中确定所采用的合并类数目的处理的流程图。
图9是示出从编码装置发送到解码装置的合并模式的示例的图。
图10是示出预先设置的合并模式的第一示例的图。
图11是示出预先设置的合并模式的第一示例的图。
图12是描述设置与合并类数目二十五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为二十五个合并类。
图13是描述设置与合并类数目二十五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为二十个合并类。
图14是描述设置与合并类数目十五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为十五个合并类。
图15是描述设置与合并类数目十对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为十个合并类。
图16是描述设置与合并类数目五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为五个合并类。
图17是描述设置与合并类数目三对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为三个合并类。
图18是描述设置与合并类数目二对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为两个合并类。
图19是描述设置与合并类数目一对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为一个合并类。
图20是示出预先设置的合并模式的第二示例的图。
图21是示出预先设置的合并模式的第二示例的图。
图22是描述使用排名作为关注像素的特征量的类分类的图。
图23是描述使用像素值作为关注像素的特征量的类分类的图。
图24是描述使用倾斜方向的可靠性作为关注像素的特征量的类分类的图。
图25是描述通过使用可靠性的类分类获得的最终类的图。
图26是示出预先设置的合并模式的第三示例的图。
图27是示出预先设置的合并模式的第三示例的图。
图28是示出预先设置的合并模式的第四示例的图。
图29是描述GALF的类分类的图。
图30是描述倾斜强度比子类的子类合并的图。
图31是描述方向子类的子类合并的图。
图32是描述活动子类的子类合并的图。
图33是示出通过活动子类的子类合并来合并初始类的示例的图。
图34是示出通过倾斜强度比子类的子类合并来合并初始类的示例的图。
图35是示出通过方向子类的子类合并来合并初始类的示例的图。
图36是示出在倾斜强度比子类、方向子类和活动子类的子类合并之后的多个子类与合并类的数目之间的关系的图。
图37是示出通过执行子类合并和合并模式选择而获得的合并模式的示例的图。
图38是描述子类的部分合并的图。
图39是描述子类的部分合并的图。
图40是示出通过子类的部分合并获得的合并模式的示例的图。
图41是示出通过子类合并和合并模式选择而获得的合并模式与通过部分合并而获得的合并模式之间的关系的示例的图。
图42是示出通过子类合并和合并模式选择而获得的合并模式与通过部分合并而获得的合并模式之间的关系的另一示例的图。
图43是示出与通过子类合并获得的合并类数目二十五对应的合并模式以及通过其获得合并模式的子类合并的图。
图44是示出与通过子类合并获得的合并类数目二十对应的合并模式以及通过其获得合并模式的子类合并的图。
图45是示出与通过子类合并获得的合并类数目十五对应的合并模式以及通过其获得合并模式的子类合并的图。
图46是与通过子类合并获得的合并类数目十二对应的合并模式以及通过其获得合并模式的子类合并的图。
图47是与通过子类合并获得的合并类数目十对应的合并模式以及通过其获得合并模式的子类合并的图。
图48是与通过子类合并获得的合并类数目九对应的合并模式以及通过其获得合并模式的子类合并的图。
图49是与通过子类合并获得的合并类数目八对应的合并模式以及通过其获得合并模式的子类合并的图。
图50是与通过子类合并获得的合并类数目六对应的合并模式以及通过其获得合并模式的子类合并的图。
图51是与通过子类合并获得的合并类数目五对应的合并模式以及通过其获得合并模式的子类合并的图。
图52是与通过子类合并获得的合并类数目四对应的合并模式以及通过其获得合并模式的子类合并的图。
图53是与通过子类合并获得的合并类数目三对应的合并模式以及通过其获得合并模式的子类合并的图。
图54是与通过子类合并获得的合并类数目二对应的合并模式以及通过其获得合并模式的子类合并的图。
图55是与通过子类合并获得的合并类数目一对应的合并模式以及通过其获得合并模式的子类合并的图。
图56是示出应用了本技术的类分类预测滤波器的配置示例的框图。
图57是描述由类分类预测滤波器110执行的类分类预测处理的示例的流程图。
图58是示出应用了本技术的图像处理系统的一个实施方式的主要配置示例的框图。
图59是描述编码装置160的编码处理的概要的流程图。
图60是描述解码装置170的解码处理的概要的流程图。
图61是示出编码装置160的详细配置示例的框图。
图62是描述编码装置160的编码处理的示例的流程图。
图63是描述预测编码处理的示例的流程图。
图64是示出解码装置170的详细配置示例的框图。
图65是描述解码装置170的解码处理的示例的流程图。
图66是描述预测解码处理的示例的流程图。
图67是示出合并模式(3、1、5)以及获得合并模式(3、1、5)的子类合并的图。
图68是示出合并模式(1、2、5)以及获得合并模式(1、2、5)的子类合并的图。
图69是示出合并模式(3、1、4)以及获得合并模式(3、1、4)的子类合并的图。
图70是示出合并模式(2、1、4)以及获得合并模式(2、1、4)的子类合并的图。
图71是示出合并模式(1、2、4)以及获得合并模式(1、2、4)的子类合并的图。
图72是示出合并模式(3、2、3)以及获得合并模式(3、2、3)的子类合并的图。
图73是示出合并模式(3、1、3)以及获得合并模式(3、1、3)的子类合并的图。
图74是示出合并模式(1、2、3)以及获得合并模式(1、2、3)的子类合并的图。
图75是示出合并模式(3、2、2)以及获得合并模式(3、2、2)的子类合并的图。
图76是示出合并模式(3、1、2)以及获得合并模式(3、1、2)的子类合并的图。
图77是示出合并模式(2、1、2)以及获得合并模式(2、1、2)的子类合并的图。
图78是示出合并模式(1、2、2)以及获得合并模式(1、2、2)的子类合并的图。
图79是示出合并模式(3、2、1)以及获得合并模式(3、2、1)的子类合并的图。
图80是示出合并模式(3、1、1)以及获得合并模式(3、1、1)的子类合并的图。
图81是示出合并模式(2、2、1)以及获得合并模式(2、2、1)的子类合并的图。
图82是示出合并模式(2、1、1)以及获得合并模式(2、1、1)的子类合并的图。
图83是示出合并模式(1、2、1)以及获得合并模式(1、2、1)的子类合并的图。
图84是示出用于发送多个子类的组合的语法的示例的图。
图85是示出应用了本技术的类分类预测滤波器的配置示例的框图。
图86是描述由类分类预测滤波器410执行的类分类预测处理的示例的流程图。
图87是示出了应用了本技术的图像处理系统的一个实施方式的概要的框图。
图88是描述编码装置460的编码处理的概要的流程图。
图89是描述解码装置470的解码处理的概要的流程图。
图90是示出编码装置460的详细配置示例的框图。
图91是描述编码装置460的编码处理的示例的流程图。
图92是描述预测编码处理的示例的流程图。
图93是示出解码装置470的详细配置示例的框图。
图94是描述解码装置470的解码处理的示例的流程图。
图95是描述预测解码处理的示例的流程图。
图96是描述GALF的类分类的图。
图97是描述合并模式与子类之间的关系的图。
图98是描述第一合并规则的图。
图99是示出根据第一合并规则设置的所有合并模式的图。
图100是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图101是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图102是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图103是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图104是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图105是描述根据第一合并规则设置所有合并模式时的合并方法的图。
图106是描述第二合并规则的图。
图107是示出根据第二合并规则设置的所有合并模式的图。
图108是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图109是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图110是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图111是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图112是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图113是描述根据第二合并规则设置所有合并模式时的合并方法的图。
图114是描述根据第三合并规则设置所有合并模式时的合并方法的图。
图115是描述根据第三合并规则设置所有合并模式时的合并方法的图。
图116是描述根据第三合并规则设置所有合并模式时的合并方法的图。
图117是描述根据第三合并规则设置所有合并模式时的合并方法的图。
图118是描述当根据第三合并规则设置所有合并模式时的合并方法的图。
图119是描述根据第三合并规则设置所有合并模式时的合并方法的图。
图120是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图121是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图122是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图123是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图124是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图125是描述根据第四合并规则设置所有合并模式时的合并方法的图。
图126是示出计算机的一个实施方式的配置示例的框图。
具体实施方式
<支持技术内容和条款的文档等>
本申请中公开内容的范围不仅包括在本说明书和附图中描述的内容，而且还包括在提交时已知的以下文献中描述的内容。
参考文献1：AVC标准(“Advanced video coding for generic audiovisualservices”，ITU-T H.264(04/2017))
参考文献2：HEVC标准(“High efficiency video coding”，ITU-T H.265(12/2016))
参考文献3：联合探索测试模型7(JEM7,Joint Exploration Test Model 7)的FVC算法描述，2017-08-19
换言之，上述文献中描述的内容也是确定支持要求的基础。例如，即使在实施方式中未直接描述在参考文献1中描述的四叉树块结构和参考文献3中描述的四叉树加二叉树(QTBT)或块结构的情况下，上述内容也在本技术公开内容的范围内，并且满足权利要求的支持要求。此外，例如，即使在实施方式中没有直接描述的情况下，诸如解析、语法和语义的技术术语也在本技术公开内容的范围内，并且满足权利要求的支持要求。
此外，在本说明书中，除非另有说明，否则在说明书中用作图像(图片)的局部区域或者处理单元的“块”(不是指示处理单元的块)指示图片中的任意局部区域，并且不限制其大小、形状、特性等。例如，“块”包括任何局部区域(处理单元)，例如在以上参考文献1至3中描述的变换块(TB)、变换单位(TU)、预测块(PB)、预测单位(PU)、最小编码单位(SCU)、编码单位(CU)、最大编码单位(LCU)、编码树块(CTB)、编码树单位(CTU)、转换块、子块、宏块、图块或切片等。
此外，在指定这种块的大小时，不仅可以直接指定块大小，而且可以间接指定块大小。例如，可以使用标识大小的标识信息来指定块大小。此外，例如，可以通过与参考块(例如，LCU、SCU等)的大小的比率或差来指定块大小。例如，在发送用于将块大小指定为语法元素等的信息的情况下，可以使用如上所述用于间接指定大小的信息作为该信息。以这种方式，可以减少信息的信息量，并且可以改进编码效率。此外，块大小的规格还包括块大小的范围的规格(例如，可允许的块大小的范围的规格等)。
<限定>
在本申请中，以下术语限定如下。
编码数据是通过对图像进行编码而获得的数据，并且是例如通过对图像(残差)进行正交变换和量化而获得的数据。
编码比特流是包括编码数据的比特流，并且如果需要，则包含关于编码的编码信息。编码信息至少包括用于对编码数据进行解码所需的信息，即，例如在编码中执行量化的情况下的量化参数(QP)以及在编码中执行预测编码(运动补偿)的情况下的运动矢量。
预测方程是从第一数据预测第二数据的多项式。在第一数据和第二数据是例如图像(数据)的情况下，预测方程是从第一图像预测第二图像的多项式。这样的多项式的预测方程的每个项由一个抽头系数与一个或更多个预测抽头的乘积形成，因此，预测方程是用于执行抽头系数与预测抽头的积和运算的方程。假设用xi表示第一图像的像素中的用于预测(计算预测方程)的第i个预测抽头的像素(的像素值)，用wi表示第i个抽头系数，并且用y'表示第二图像的像素(的像素值的预测值)，并且仅由一阶项形成的多项式用作预测方程，该预测方程由方程y'＝Σwixi表示。在式y'＝Σwixi中，Σ表示i的和。通过学习从由预测方程获得的值y'的真实值y在统计上使误差y'-y最小化来获得构成预测方程的抽头系数wi。作为获得抽头系数的学习方法(在下文中也称为抽头系数学习)，存在最小二乘法。在抽头系数学习中，通过使用学习的学生的学生图像作为与应用了预测方程的第一图像对应的学生数据(预测方程的输入xi)，使用学习的教师的教师图像作为与作为期望将预测方程应用于第一图像的结果而获得的第二图像对应的教师数据(通过计算预测方程而获得的预测值的真值y)，将构成正规方程的每个项的系数(系数求和)相加以获得正规方程，并且通过对正规方程求解，获得使预测值y'的平方误差(统计误差)的总和最小的抽头系数。
预测处理是将预测方程应用于第一图像以预测第二图像的处理。在预测处理中，通过使用第一图像的像素(的像素值)执行积和运算作为预测方程的计算，来获得第二图像的预测值。可以说，使用第一图像执行积和运算可以说是对第一图像进行滤波的滤波处理，并且使用第一图像执行预测方程的积和运算(作为预测方程的计算的积和运算)的预测处理可以说是一种滤波处理。
滤波图像是指作为滤波处理的结果而获得的图像。通过作为预测处理的滤波处理从第一图像获得的第二图像(其预测值)是滤波图像。
抽头系数是构成作为预测方程的多项式的每个项的系数，并且对应于滤波系数，该滤波系数与要在数字滤波器的抽头中滤波的信号相乘。
预测抽头是诸如在预测方程的计算中使用的像素(的像素值)之类的信息，并且与预测方程中的抽头系数相乘。预测抽头不仅包括像素自身(的像素值)，还包括从像素而获得的值，例如，某个块中的像素(的像素值的)总值或平均值等。
此处，选择像素等作为要在预测方程的计算中使用的预测抽头对应于延伸(布置)用于将信号作为输入提供给数字滤波器的抽头的连接线，因此选择像素作为在预测方程的计算中使用的预测抽头也将称为“扩展预测抽头”。
类分类是指将像素分类(聚类)为多个类中的一个。可以使用例如关注像素的周边区域中的像素(的像素值)以及与关注像素有关的编码信息来执行类分类。与关注像素有关的编码信息包括例如用于量化关注像素的量化参数、与应用于关注像素的去块滤波器有关的去块滤波器(DF)信息等。DF信息例如是诸如应用了去块滤波器中的强滤波器和弱滤波器中的哪一个或者不应用它们中的任何一个的信息。
类分类预测处理是作为针对每个类执行的预测处理的滤波处理。例如，在日本专利第4449489号等中描述了类分类预测处理的基本原理。
高阶项是在构成作为预测方程的多项式的项中具有(作为)预测抽头的两个或更多个(像素)的乘积的项。
D阶项是构成作为预测方程的多项式的项中的具有D个预测抽头的乘积的项。例如，一阶项是具有一个预测抽头的项，二阶项是具有两个预测抽头的乘积的项。在构成第D阶项的预测抽头的乘积中，采用乘积的预测抽头可以是相同的预测抽头(像素)。
D阶系数是指构成D阶项的抽头系数。
D阶抽头是(作为)指构成D阶项的预测抽头(的像素)。某个单个像素可以是D阶抽头，也可以是不同于D阶抽头的D'阶抽头。此外，D阶抽头的抽头结构和与D阶抽头不同的D'阶抽头的抽头结构不必相同。
直流(DC)预测方程是包括DC项的预测方程。
DC项是表示构成作为预测方程的多项式的项中的作为预测抽头的图像的DC分量的值与抽头系数的乘积的项。
DC抽头是指DC项的预测抽头，即表示DC分量的值。
DC系数是指DC项的抽头系数。
一阶预测方程是仅由一阶项形成的预测方程。
高阶预测方程是包括高阶项的预测方程，即，由一阶项和二阶或更高项形成的预测方程，或者仅由二阶或更高阶项形成的预测方程。
假设用xi表示第一图像的像素中用于预测的第i个预测抽头(像素值等)，用wi表示第i个抽头系数，并且用y表示由预测方程计算的第二图像的像素(的像素值的预测值)，则一阶预测方程由y＝Σwixi表示。
此外，仅由一阶项和二阶项形成的较高预测方程由例如方程式y＝Σwixi+Σ(Σwj,kxk)xj表示。
此外，例如，其中DC项被包括在一阶预测方程中的DC预测方程例如由表达式Σwixi+wDCBDCB表示。此处，wDCB表示DC系数，DCB表示DC抽头。
一阶预测方程、高阶预测方程和DC预测方程的抽头系数都可以通过执行如上所述的最小二乘法的抽头系数学习来获得。
在本实施方式中，为了简化说明，采用一阶预测方程作为预测方程。
抽头结构意味着作为预测抽头的像素的布置(例如，参考关注像素的位置)。抽头结构也可以说是如何扩展预测抽头。在采用一阶预测方程的情况下，考虑将要与构成预测抽头的像素相乘的抽头系数被布置在像素的该位置的状态，可以说抽头结构是抽头系数的布置。因此，抽头结构是指构成关注像素的预测抽头的像素的布置中的任一种，以及在将要乘以构成预测抽头的像素的抽头系数被布置在该像素的位置的状态下的抽头系数的布置。
(图像的)活动是指图像的空间像素值如何变化。
解码图像是通过对编码数据进行解码而获得的图像，该编码数据通过对原始图像进行编码而获得。解码图像包括由解码装置对编码数据进行解码而获得的图像，并且在由编码装置对原始图像进行了预测编码的情况下，解码图像还包括通过对预测编码进行局部解码而获得的图像。即，在原始图像在编码装置中经过了预测编码的情况下，在局部解码中将预测图像和(解码后的)残差相加，并且该相加的相加结果为解码图像。在将ILF用于编码装置的局部解码的情况下，作为预测图像和残差的相加结果的解码图像是ILF滤波处理的目标，但是ILF滤波处理之后的解码图像也是滤波的图像。
(像素的)倾斜方向是指像素值倾斜的方向，特别是例如像素值的倾斜最大的方向。注意，像素值的倾斜最大的方向是与像素值的轮廓线正交并且与像素值的轮廓线的切线方向正交的方向，因此与像素值的轮廓线的切线方向存在一一对应关系。因此，像素值的倾斜最大的方向和像素值的轮廓线的切线方向是等效信息，并且当提及时，倾斜方向包括像素值的倾斜最大的方向以及像素值的轮廓线的切线方向二者。在本实施方式中，采用像素值的倾斜最大的方向作为倾斜方向。
限定方向是指预定的离散方向。作为表示方向的方法，例如，可以采用以连续角度表达连续方向的方法、在水平方向和竖直方向两种离散方向上进行表达的方法以及将环绕的360度划分成相等角度的八个方向并且以八个方向的离散方向表达方向的方法等。限定方向是指以这种方式以预定离散方向表达的方向。例如，非专利文献2中描述的GALF中使用的方向、由GALF的方向类(V方向或H方向；或者稍后描述的D0方向或D1方向中的两个方向)表示的方向等等是限定方向的示例。
当被提及时，倾斜方向包括由连续角度连续表达的方向，并且还包括限定方向。即，倾斜方向可以以连续方向表达，也可以以限定方向表达。
倾斜特征量是表示倾斜方向的图像的特征量。例如，在每个方向上的活动以及通过将Sobel滤波器等应用于图像而获得的梯度矢量(梯度)是倾斜特征量的示例。
倾斜方向的可靠性是指通过某种方法获得的像素的倾斜方向的可靠性(可靠性)。
初始类是在抽头系数学习中获得抽头系数的类，并且是合并之前的类。
合并类是其中一个或更多个初始类被合并类。
合并类数目是通过合并初始类而获得的合并类的数目。
合并模式表示初始类与通过合并初始类而获得的合并类之间的对应关系，并且例如以例如下述表达格式等来表达：按照类编号的顺序来布置表示初始类的类编号的初始类被合并的合并类的类编号。
在下文中，将在描述本技术的实施方式之前描述包括GALF的类分类的GALF的处理的概况。
<GALF的类分类的概况>
图1是描述执行GALF的类分类的类分类单元10的处理的概要的图。
即，图1示出了联合视频专家组(JVET)-B0060的类分类的概要。
类分类单元10顺序地选择作为类分类的目标的像素作为解码图像(包括通过在编码装置中通过局部解码获得的解码图像)中的关注像素，并且获得从关注像素开始的多个方向中的每个方向上的活动作为关注像素的倾斜特征量。
作为从关注像素开始的多个方向，类分类单元10采用例如从关注像素开始的如下四个方向：作为竖直方向的上方向、作为水平方向的左方向、左上方向和右上方向。
此处，如图1所示，在下文中，还将上方向、左方向、左上方向和右上方向分别称为V方向、H方向、D0方向和D1方向。此外，关于V方向、H方向、D0方向和D1方向，还将以关注像素(的位置)为对称中心的点对称方向(相反方向)分别称为V'方向、H'方向、D0'方向和D1'方向。
因为图像的活动通常是点对称的，所以在GALF的类分类中，两个点对称方向上的活动由两个方向中的一个上的活动共享(替换)。即，V方向和V'方向上的活动由V方向上的活动共享，H方向和H'方向上的活动由H方向上的活动共享。D0和D0'方向上的活动由D0方向上的活动共享，D1和D1'方向上的活动由D1方向上的活动共享。
V方向、H方向、D0方向和D1方向是在GALF的类分类中获得活动的方向，因此可以被认为是活动计算方向。活动计算方向即V方向、H方向、D0方向和D1方向是(一种)限定方向，因为它们是预定的离散方向。
类分类单元10通过将例如拉普拉斯(Laplacian)滤波器应用于包括图像的解码图像来获得关注像素在(表示V方向、H方向、D0方向或D1方向的)D方向上的活动A(D)。在这种情况下，例如，根据下式可以获得关注像素在各个V方向、H方向、D0方向和D1方向上的活动A(V)、A(H)、A(D0)和A(D1)。
A(V)＝abs((L[y][x]<<1)-L[y-1][x]-L[y+1][x])
A(H)＝abs((L[y][x]<<1)-L[y][x-1]-L[y][x+1])
A(D0)＝abs((L[y][x]<<1)-L[y-1][x-1]-L[y+1][x+1])
A(D1)＝abs((L[y][x]<<1)-L[y+1][x-1]-L[y-1][x+1])...(1)
此处，L[y][x]表示解码图像的第y行第x列的位置处的像素的像素值(亮度值)，并且在这种情况下，解码图像的第y行第x列的位置处的像素是关注像素。此外，abs(v)表示v的绝对值，v<<b表示v向左移动b位(乘以2b)。
类分类单元10类似地获得关注像素的周边区域中的多个像素中的每个的活动。然后，类分类单元10针对V方向、H方向、D0方向和D1方向中的每个，将关注像素的周边区域中的多个像素中的每个的活动相加，以获得对于V方向、H方向、D0方向和D1方向中的每个的活动的相加值(在下文中，也称为活动总和(activity summation))。
在本实施方式中，例如，如图1所示，以关注像素为中心的宽×高为3×3像素的区域是作为其中综合地使用作为倾斜特征量的活动A(D)的目标的周边区域的目标，并且周边区域中的每个3×3像素的式(1)的活动A(V)被相加以获得在关注像素在V方向上的活动总和sumA(V)。还类似地获得在关注像素在H方向、D0方向和D1方向上的活动总和sumA(H)、sumA(D0)和sumA(D1)。此处，周边区域不限于3×3像素的区域。作为要全面使用倾斜特征量的周边区域(此处为加上了活动A(D)的周边区域)，除了3×3像素的区域之外，可以采用包括关注像素的任何区域，例如，可以使用包括关注像素的6×6像素的区域等。
类分类单元10使用在关注像素的V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)来获得(设置)GALF的方向作为表示关注像素的倾斜方向的限定方向。
此处，如图1所示，作为限定方向的GALF的方向包括分配了二进制的000至111以及十进制的0至7的八个方向。在GALF中，预先确定了总共八个方向作为限定方向的方向，这八个方向是：在H方向和将H方向与D0方向二等分的方向HD0之间的方向；在方向HD0与D0方向之间的方向；在D0方向和将D方向与V方向二等分的方向D0V之间的方向；在方向D0V与V方向之间的方向；在V方向和将V方向与D1方向二等分的方向VD1之间的方向；在方向VD1与D1方向之间的方向；在D1方向和将D1方向与H'方向二等分的方向D1H'之间的方向；以及在D1H'与H'方向之间的方向。
二进制数110被分配给H方向与方向HD0之间的方向，二进制数001被分配给方向HD0与D0方向之间的方向，二进制数000被分配给D0方向与方向D0V之间的方向，二进制数010被分配给方向D0V与V方向之间的方向，二进制数011被分配给V方向与方向VD1之间的方向，二进制数100被分配给方向D0V与D1方向之间的方向，二进制数101被分配给D1方向与方向D1H'之间的方向，并且二进制数111被分配给方向D1H'和H'方向之间的方向。注意，在GALF中，上述八个方向中的每个与和八个方向中的每个对称的点的方向被视为相同方向。
类分类单元10从作为关注像素的限定方向的方向获得(设置)表示关注像素的倾斜方向的方向类。GALF的方向类表示下述两个方向：V方向或H方向；或者D0方向或D1方向。
此处，获得方向类构成了由类分类单元10执行的GALF的类分类的一部分，因此可以被称为子类分类。以下将用于获得方向类的子类分类也称为方向子类分类。
类分类单元10根据关注像素的方向类以及在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)来执行关注像素的类分类。
图2是描述如何获得GALF的方向作为关注像素的限定方向(倾斜方向)的图。
图2示出了在GALF的类分类中通过使用在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)来获得(设置)MainDir和SecDir的示例。此外，图2示出了在GALF类分类中使用的方向类分类表，该表描述了MainDir和SecDir与方向之间的关系以及方向和转置与类之间的关系。
类分类单元10获得在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)，然后将活动总和sumA(H)与sumA(V)进行比较，并且将较大的活动确定为第一胜者活动HVhigh，将另一活动确定为第一败者活动HVlow。
此外，类分类单元10将活动总和sumA(D0)与sumA(D1)进行比较，并且将较大的活动设置为第二胜者活动Dhigh，将另一活动设置为第二败者活动Dlow。
然后，类分类单元10将第一胜者活动HVhigh和第二败者活动Dlow的相乘值HVhigh×Dlow与第二胜者活动Dhigh和第一败者活动HVlow的相乘值Dhigh×HVlow进行比较。
在乘法值HVhigh×Dlow大于乘法值Dhigh×HVlow的情况下，类分类单元10将获得第一胜者活动HVhigh的方向(H方向或V方向)确定为Main Dir(主方向)，并且将获得第二胜者活动Dhigh的方向(D0方向或D1方向)确定为SecDir(第二方向)。
另一方面，在HVhigh×Dlow不大于Dhigh×HVlow的情况下，类分类单元10将获得第二胜者活动Dhigh的方向确定为MainDir，并且将获得第一胜者活动HVhigh的方向确定为SecDir。
在图2中，关注像素的MainDir和SecDir分别在D0方向和V方向上。
在方向类分类表中，类分类单元10将分配给关注像素的MainDir和SecDir的方向确定为作为关注像素的限定方向的方向。此外，类分类单元10在方向类分类表中将分配给关注像素的方向的转置和类确定为关注像素的转置和类。
此处，在GALF中，滤波器系数被转置并且用于滤波处理，转置表示对滤波器系数进行转置的方法。该类表示方向类。GALF的方向类包括由十进制数字0和2表示的两个类。可以通过获取关注像素的方向与二进制数字010的逻辑积来获得方向类。方向类0表示倾斜方向是D0方向或D1方向，方向类2表示倾斜方向是V方向或H方向。
图3是描述通过GALF的类分类获得的类的图。
在由类分类单元10执行的GALF的类分类中，关注像素被分类为(最终)类0至24的二十五个类中的一个。
也就是说，类分类单元10根据需要使用在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)来获得表示关注像素的像素值的倾斜强度的倾斜强度比，并且根据倾斜强度比获得(设置)表示关注像素的倾斜强度比的类。
此处，获得表示倾斜强度比的类构成了由类分类单元10执行的GALF的类分类的一部分，因此可以称为子类分类。在下文中将用于获得表示倾斜强度比的类的子类分类也称为倾斜强度比子类分类。在下文中将通过子类分类获得的类也称为子类。
类分类单元10分别获得在D0方向和D1方向上的活动总和sumA(D0)和sumA(D1)的比率rd1,d2以及在V方向和H方向上的活动总和sumA(V)和sumA(H)的比率rh,v作为根据式(2)和(3)的倾角强度比。
rd1,d2＝max{sumA(D0),sumA(D1)}/min{sumA(D0),sumA(D1)}...(2)
rh,v＝max{sumA(V),sumA(H)}/min{sumA(V),sumA(H)}...(3)
此处，max{A,B}表示A与B中较大的一个，而min{A,B}表示A与B中较小的一个。
在倾斜强度比rd1,d2小于第一阈值t1的情况下，以及在倾斜强度比rh,v小于第一阈值t1的情况下，将关注像素按倾斜强度比子类分类来分类为倾斜强度比极小的无类。
在倾斜强度比子类分类中，在将关注像素分类为无类的情况下，类分类单元10使关注像素的方向类(子类)无效(不考虑)，并且根据在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)将关注像素类分类为最终初始类(在下文中也称为最终类)作为关注像素的空间特征量。
即，类分类单元10根据活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)获得表示活动总和的大小的类。
此处，与倾斜强度比子类分类等的情况类似，获得表示活动总和的大小是子类分类的类，并且在下面也将该类称为活动子类分类。
在活动子类分类中，活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)中的活动总和sumA(V)和sumA(H)用于获得用于活动子类的索引class_idx，该活动子类是通过活动子类分类获得的子类。
根据例如式class_idx＝Clip(0,15,((sumA(V)+sumA(H))×24)>>13)，获得索引class_idx。这里的Clip(0,15,X)表示将X进行裁剪，使得X成为0至15的范围内的值。
在活动子类分类中，活动子类是根据索引class_idx获得的。
即，在索引class_idx为零的情况下，活动子类为0(小类)，并且在索引class_idx为1的情况下，活动子类为1。此外，在索引class_idx为2至6的情况下，将活动子类设置为2，并且在索引class_idx为7至14的情况下，将活动子类设置为3。然后，在索引class_idx为15的情况下，活动子类为4(大类)。
在活动子类为0至4的情况下，通过倾斜强度比子类分类被分类为无类的关注像素分别被类分类为最终类0至4。
在倾斜强度比rd1,d2不小于第一阈值t1的情况下，或者在倾斜强度比rh,v不小于第一阈值t1的情况下，关注像素的方向类为有效(被考虑)，然后执行倾斜强度比子类分类。
即，在关注像素的方向类(子类)是与D0方向或D1方向对应的方向类0的情况下，执行根据式(2)的倾斜强度比rd1,d2的倾斜强度比子类分类(也被称为使用倾斜强度比rd1,d2的倾斜强度比子类分类或者倾斜强度比rd1,d2的倾斜强度比子类分类)。
在倾斜强度比rd1,d2等于或大于第一阈值t1且小于第二阈值t2的情况下，通过倾斜强度比子类分类将关注像素分类为具有小倾斜强度比的弱类。
在倾斜强度比子类分类中将关注像素分类为弱类的情况下，类分类单元10根据在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)将关注像素分类为最终类作为关注像素的空间特征量。
即，在根据活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)通过活动子类分类获得的活动子类为0至4的情况下，分别将在倾斜强度比子类分类中被分类为弱类的关注像素类分类为最终类5至9。
在倾斜强度比rd1,d2等于或大于第二阈值t2的情况下，通过倾斜强度比子类分类将关注像素分类为强类。
在倾斜强度比子类分类中将关注像素分类为强类的情况下，类分类单元10根据在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)将关注像素类分类为最终类作为关注像素的空间特征量。
即，在根据活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)通过活动子类分类获得的活动子类为0至4的情况下，分别将在倾斜强度比子类分类中被分类为强类的关注像素类分类为最终类10至14。
另一方面，在关注像素的方向类是与V方向或H方向对应的方向类2的情况下，执行根据式(3)的倾斜强度比rh,v的倾斜强度比子类分类。
在倾斜强度比rh,v等于或大于第一阈值t1且小于第二阈值t2的情况下，通过倾斜强度比子类分类将关注像素分类为具有小倾斜强度比的弱类。
在倾斜强度比子类分类中将关注像素分类为弱类的情况下，类分类单元10根据在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)将关注像素类分类为最终类15至19中的一个作为关注像素的空间特征量。
即，在根据活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)通过活动子类分类获得的活动子类为0至4的情况下，分别将在倾斜强度比子类分类被分类为弱类的关注像素类分类为最终类15至19。
在倾斜强度比rh,v等于或大于第二阈值t2的情况下，通过倾斜强度比子类分类将关注像素分类为具有大倾斜强度比的强类。
在倾斜强度比子类分类中将关注像素分类为强类的情况下，类分类单元10根据在V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)将关注像素类分类为最终类20至24中的一个作为关注像素的空间特征量。
即，在根据活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)通过活动子类分类获得的活动子类为0至4的情况下，分别将在倾斜强度比子类分类中被分类为强类的关注像素类分类为最终类20至24。
此处，在本说明书中，类c是指用于标识其类的类编号为c的类。
<GALF的处理>
图4是描述对图像进行编码的编码装置具有作为ILF中的一个的GALF的处理的流程图。
在步骤S11中，GALF顺序地选择在编码装置中通过局部解码而获得的解码图像(例如，一张图片)的像素作为关注像素，并且处理进行至步骤S12。
在步骤S12中，GALF如图1至图3所示对关注像素进行类分类，以将关注像素分类为具有作为二十五个初始类0至24的最终类0至24的初始类中的一个，并且处理进行至步骤S13。
在步骤S13中，GALF使用解码图像和用于解码图像的原始图像(被解码为解码图像的被编码为编码数据的图像)，并且形成用于获得每个初始类的抽头系数的正规方程，并且处理进行至步骤S14。
此处，假设在解码图像的像素中用于预测的第i个预测抽头(像素值等)是xi，第i个抽头系数由wi表示，并且通过预测方程获得的原始图像的像素(的像素值的预测值)由y表示，则在GALF中，根据一阶预测方程y＝Σwixi，执行作为预测处理的滤波处理以预测原始图像的像素y。在这种情况下，用于获得抽头系数wi(即，使根据一阶预测方程y＝Σwixi获得的原始图像的像素的像素值的预测值y的预测误差的平方误差的总和最小的抽头系数wi)的正规方程用式XW＝Y表示。
现在，假设每个初始类中的抽头系数的数目为相同的N，则式XW＝Y中的Y表示具有N行和一列的矩阵(列矢量)，其元素是原始图像的像素的像素值y与解码图像的像素的像素值(预测抽头)xi的乘积之和。此外，X表示具有N行和N列的矩阵，其元素是预测抽头xi与xj的乘积之和，W表示具有N行和1列的矩阵(列矢量)，其元素是抽头系数wi。在下文中，将正规方程XW＝Y中的X也称为X矩阵，并且将Y也称为Y矢量。
在步骤S14中，GALF通过例如Cholesky分解等对每个初始类的正规方程求解，并且获得每个初始类的抽头系数，并且处理进行至步骤S15。
此处，如步骤S11至S14中那样获得每个初始类的抽头系数的处理是抽头系数学习。
在步骤S15中，GALF执行用于合并初始类的类合并处理，以减小抽头系数(的数据量)，并且处理进行至步骤S16。
在类合并处理中，在步骤S21中执行合并模式确定处理，并且在步骤S22中执行确定所采用的合并类数目的处理。
在合并模式确定处理中，针对等于或小于作为合并类数目的初始类数目的自然数的每个值的每个合并类数目确定最佳合并模式。在通过合并模式确定处理确定了最佳合并模式的合并类的数目中，确定在使用抽头系数执行滤波处理时，用于从初始类转换为合并类要采用的所采用的合并类数目。
稍后将描述合并模式确定处理以及确定所采用的合并类数目的处理的细节。
在步骤S16中，GALF执行GALF滤波处理，并且处理进行至步骤S17。
即，GALF顺序地选择解码图像的像素作为关注像素，并且对关注像素执行类分类。此外，GALF根据与所采用的合并类数目对应的合并模式，将通过将关注像素进行类分类获得的关注像素的初始类转换为合并类。然后，GALF执行滤波处理，该滤波处理将使用关注像素的合并类的抽头系数的预测方程应用于解码图像，即，使用关注像素的合并类的抽头系数wi计算一阶预测方程y＝Σwixi，以获得滤波后图像的像素值(原始图像的像素的像素值的预测值)。
此处，在GALF滤波处理中，需要每个合并类的抽头系数，但是在步骤S21中的合并模式确定处理中获得每个合并类的抽头系数。
在步骤S17中，GALF对根据与所采用的合并类数目对应的合并模式通过转换初始类而获得的每个合并类的抽头系数、所采用的合并类数目以及与所采用的合并类数目对应的合并模式进行编码，然后处理进行至步骤S18。
在步骤S18中，GALF进行速率失真(RD)确定，以确定是否对解码图像执行滤波处理，并且处理结束。
图5是描述图4的步骤S21中的合并模式确定处理的流程图。
在步骤S31中，GALF将初始类数目Cini(初始类的类数目)设置为(表示)合并类的数目C(的变量)的初始值，并且处理进行至步骤S32。
此处，在合并类的数目C为初始类数目Cini的情况下，这是没有初始类被合并的状态，但是为了方便起见，将其视为其中零个初始类被合并的状态。
此外，在GALF中，初始类数目Cini为25。
在步骤S32中，GALF将(表示)合并类c(的变量)设置为0，并且处理进行至步骤S33。此处，在合并类的数目C为初始类数目Cini的情况下，合并类c为初始类c。
在步骤S33中，GALF获取形成合并类c的正规方程式(当获得抽头系数时建立的)的X矩阵和Y矢量，并且处理进行至步骤S34。
此处，在合并类的数目C为初始类数目Cini的情况下，合并类c为初始类c。因此，合并类c的正规方程是在步骤S13(图4)中获得的初始类c的正规方程。在合并类的数目C小于初始类数目Cini的情况下，合并类c的正规方程是初始类c的正规方程、在后述的步骤S36中形成(公式化)的合并类c的正规方程、或者初始类c'的正规方程、或者在步骤S36中形成的合并类c'的正规方程是在后述的步骤S44中其类编号由c分类的正规方程。
在步骤S34中，GALF将c+1设置在(表示)合并类m(的变量)中，并且处理进行至步骤S35。
在步骤S35中，类似于步骤S33，GALF获取构成合并类m的正规方程的X矩阵和Y矢量，并且处理进行至步骤S36。
在步骤S36中，GALF将构成合并类c的正规方程的X矩阵的元素与构成合并类m的正规方程的X矩阵相加。此外，GALF将构成合并类c的正规方程的Y矢量的元素与构成合并类m的正规方程的Y矢量相加。然后，GALF建立由相加之后的X矩阵和Y矢量形成的其中将合并类c和m合并的新合并类c的新正规方程，并且处理从步骤S36进行至步骤S37。
在步骤S37中，GALF通过求解由相加后的X矩阵和Y矢量形成的新合并类c的正规方程来获得(计算)新合并类c的抽头系数，并且处理进行至步骤S38。
在步骤S38中，GALF通过使用新合并类c的抽头系数和C个类(C合并类1,2,...,C)中除合并类c和m之外的其他类的抽头系数对解码图像执行滤波处理。然后，GALF获得通过滤波处理而获得的滤波图像相对于原始图像的误差，并且处理进行至步骤S39。
即，在步骤S38中，获得在使用通过C个合并类1,2,...,C中的将合并类c和m合并为新合并类c而获得的C-1个合并类的抽头系数来执行滤波处理的情况下的滤波图像的误差。
在步骤S39中，GALF确定合并类(其类编号)m是否等于C-1。
在步骤S39中确定合并类m不等于C-1的情况下，即，在合并类m小于C-1的情况下，处理进行至步骤S40。在步骤S40中，GALF将合并类m递增1，处理返回至步骤S35，并且此后重复类似的处理。
另一方面，在步骤S39中，在确定合并类m等于C-1的情况下，即，在合并类c和合并类c+1,c+2,...,C中的每个被合并并且已经针对每个合并确定了滤波图像中的误差的情况下，处理进行至步骤S41。
在步骤S41中，GALF确定合并类(其类编号)c是否等于C-2。
在步骤S41中确定合并类c不等于C-2的情况下，即在合并类c小于C-2的情况下，处理进行至步骤S42。在步骤S42中，GALF将合并类c递增1，处理返回至步骤S33，并且此后重复类似的处理。
另一方面，在步骤S41中确定合并类c等于C-2的情况下，即在已经针对C个合并类执行了合并任意两个合并类的C(C-1)/2个合并的情况下，获得了C(C-1)/2个合并中的每个的滤波图像的误差，处理进行至步骤S43。
在步骤S43中，假设在合并C个合并类1,2,...,C中的任意两个合并类的C(C-1)/2个合并中具有滤波图像的最小误差的合并是合并从C到C-1个合并类的数目的最佳合并，则GALF确定将合并类c和m合并作为到新合并类c的最佳合并的目标，然后处理进行至步骤S44。即，GALF将合并类m的类编号m设置为新合并类c的类编号c。
在步骤S44中，GALF以升序将除m之外的类编号c+1至C-1的类编号转换为类编号c+1至C-2，并且处理进行至步骤S45。
注意，因为在步骤S43中将类编号m设置为类编号c，所以当执行步骤S44的处理时，在类编号c+1至C-1中不存在类编号m。
此外，以升序将除m之外的类编号c+1至C-1的类编号转换为类编号c+1至C-2也称为序列排序。
在步骤S45中，GALF将合并类的数目C减1，并且处理进行至步骤S46。
在步骤S46中，假设表示在将合并类c和m合并为新合并类c之后Cini个初始类与C个合并类之间的对应关系的合并模式是数目C个合并类的最佳合并模式，则GALF存储数目C个合并类的最佳合并模式作为与数目C个合并类对应的合并模式，并且处理进行至步骤S47。
在步骤S47中，GALF确定合并类的数目C是否等于1。
在步骤S47中确定合并类的数目C不等于1的情况下，处理返回至步骤S32，并且此后重复类似的处理。
此外，在步骤S47中确定合并类的数目C等于1的情况下，合并模式确定处理结束。
图6是描述合并模式的表达格式的示例的图。
在本实施方式中，合并模式以如下的表达格式表达。
合并模式表示初始类与合并了初始类的合并类之间的对应关系，并且例如通过以初始类表中布置的类编号的顺序来布置其中合并了具有该类编号的类的合并类的类编号。
初始类表是其中布置了初始类的类编号的表。
图6A示出了通过GALF的类分类获得的初始类的初始类表。
在图6的A处的初始类表中，以升序布置通过GALF的类分类获得的二十五个初始类的类编号0至24。
图6中的B示出了合并模式的示例。
如上所述，在合并模式中，以初始类表中布置的类编号的顺序来布置其中合并了具有该类编号的类的合并类的类编号。
因此，图6中B的合并模式表示其类编号在初始类表中被布置在第一至第二十五的初始类0至24将被合并为合并类0、1、2、2、3、1、0、1、1、0、0、0、4、1、4、0、0、2、2、4、4、1、4、4、4。
注意，在图6中，初始类表和合并模式以5×5表格格式来表达，但是初始类表和合并模式的表达格式不限于表格格式，并且可以简单地是使得类编号以逗号或空格分隔的表达式格式。
此外，在本实施方式中，在附图中，在作为初始类表和合并模式的表的上部适当地指示其类编号被布置在初始类表中的初始类的数目(初始类数目)以及通过根据合并模式进行合并获得的合并类的数目(合并类数目)。图6中A的初始类表左上角的数字25表示初始类的数目，图6中B的合并模式的左上角的数字5表示合并类的数目。
图7是示出针对每个合并类数目的合并模式的示例的图。
即，图7示出了针对具有等于或小于作为合并类的数目的通过GALF的类分类获得的初始类的数目(初始类数目)二十五的自然数的每个值的每个合并类数目的最佳合并模式的示例。
对于用于合并通过GALF的类分类获得的初始类的各个合并类数目，存在二十五个最佳合并模式。
在图7中，附到合并类数目C的合并模式的圆圈表示根据与合并类数目C+1对应的合并模式获得的合并类中的通过合并从C+1到C的合并类数目而合并为另一合并类的合并类。
例如，在与合并类数目二十四对应的合并模式中，布置在第十六个的类编号6被圈住。这表示在将合并类数目从二十五变为二十四的合并中，将在与合并类数目二十五对应的合并模式中布置在第16个的类编号为15的合并类合并为在与合并类数目二十四对应的合并模式中布置在第16个的类编号为6的合并类(这也是在与合并类数目二十四对应的合并模式中布置在第七个的类编号为6的合并类)。
注意，在与合并通过GALF的类分类获得的初始类的合并类数目二十五对应的合并模式中，在与等于初始类数目的合并类数目二十五对应的合并模式中没有任何一个初始类被合并，但是为了便于说明，将与等于初始类数目的合并类数目二十五对应的合并模式视为其中零个初始类被合并的合并模式。与合并类数目二十五对应的合并模式等于初始类表。
在合并模式确定处理(图5)中，在步骤S43中将合并类c和m合并为新合并类c之后，在步骤S44中执行对类编号的序列进行排序。因此，在与图7中的每个合并类数目对应的合并模式中，类编号的最大值是与合并类数目C对应的值，即合并类数目C-1。
在合并模式确定处理中，在将合并类数目C逐一递减的同时，对在先前步骤S43中确定的通过合并获得的合并类数目C的合并类执行任意两个合并类的C(C-1)/2个合并。然后，在C(C-1)/2个合并中，将使滤波图像的误差最小化的合并确定为对合并类数目C-1的最佳合并，并且将合并的合并模式确定为与合并类数目C-1对应的合并模式。
注意，在合并类数目C为二十五(这是GALF的类分类中的最大值)的情况以及合并类数目C为一(即最小)的情况中的每种情况中，存在一个合并模式，因此，合并类数目C为二十五的情况以及合并类数目C为一的情况的相应的一个合并模式分别变为与合并类数目二十五对应的合并模式以及与合并类数目一对应的合并模式。
另一方面，在合并类数目C为二或二十四的情况下，作为合并类数目C个合并类中的任意两个合并类被合并的情况下的数目，存在C(C-1)/2。因此，在合并模式确定处理中，执行C(C-1)/2个合并，并且使用通过每次合并获得的抽头系数来执行滤波处理，以获得滤波图像的误差。然后，由与合并类数目C-1对应的合并类来确定使滤波图像的误差最小化的合并的合并模式。
因此，在将合并类数目C从二十五变为二十四的合并中，有必要执行25(25-1)/2＝300个合并，并且在将合并类数目C从二十四变为二十三的合并中，有必要执行24(24-1)/2＝276个合并。同样，在将合并类数目C从四变为为三的合并中，有必要执行4(4-1)/2＝6个合并，并且在将合并类数目C从三变为二的合并中，有必要执行3(3-1)/2＝3个合并。
为了确定与合并类数目C一至二十五中的每个对应的合并模式，有必要执行总共2600个合并，因此相应地增加了合并模式确定处理的处理量。
图8是描述图4的步骤S22中确定所采用的合并类数目的处理的流程图。
在步骤S61中，GALF将初始类数目Cini＝25设置为(表示)合并类数目C(的变量)，并且处理进行至步骤S62。
在步骤S62中，GALF获取(加载)与在合并模式确定处理(图5)中获得的合并类数目C对应的合并模式，并且处理进行至步骤S63。
在步骤S63中，在根据与合并类数目C对应的合并模式将二十五个初始类合并为C类的合并类(C个合并类)的情况下，GALF获取(加载)C个类(的量)的抽头系数，并且处理进行至步骤S64。
此处，已经在合并模式确定处理的步骤S37中确定了根据与合并类数目C对应的合并模式将25个初始类合并为C个类的合并类的情况下的C个类(合并类)的抽头系数。
在步骤S64中，GALF使用C个类的抽头系数执行GALF滤波处理，并且处理进行至步骤S65。
即，GALF顺序地选择解码图像的像素作为关注像素，并且执行关注像素的类分类(针对关注像素的类分类)。此外，GALF根据与合并类数目C对应的合并模式，将通过关注像素的类分类获得的关注像素的初始类转换为合并类。然后，GALF使用在步骤S63中获取的C个类的抽头系数中的关注像素的合并类的抽头系数来执行滤波处理，从而获得滤波图像。
在步骤S65中，GALF获得相对于通过使用关注像素的合并类的抽头系数执行滤波处理而获得的滤波图像的原始图像的误差dist，并且处理进行至步骤S66。
在步骤S66中，GALF获得用于解码装置中的GALF滤波处理所需的参数，即，合并类数目C、与合并类数目C对应的合并模式以及通过根据合并模式合并初始类而获得的C个类的抽头系数的代码量coeffBit，并且处理进行至步骤S67。
在步骤S67中，GALF使用误差dist和代码量coeffBit获得将初始类合并为C个类(合并类数目C)的合并为C个类的成本dist+lambda×coeffBit，并且处理进行至步骤S68。lambda是根据QP设置的值。
在步骤S68中，GALF确定合并类数目C是否等于一。
在步骤S68中确定合并类数目C不等于1的情况下，处理进行至步骤S69。在步骤S69中，GALF将合并类数目C递减一，处理返回至步骤S62，并且此后重复类似的处理。
此外，在步骤S68中确定合并类数目C等于1的情况下，处理进行至步骤S70。在步骤S70中，将合并为一个类至Cini个类的合并中具有最小成本的合并作为所采用的合并，采用该合并以用于GALF滤波处理，并且GALF确定当执行所采用的合并作为所采用的合并类数目时的合并模式的合并类数目，并且确定所采用的合并类数目的处理结束。
如上所述，在确定所采用的合并类数目的处理中，将在合并模式确定处理(图5)中获得的与合并类数目一至二十五中的每个对应的合并模式中的使成本最小化的合并模式的合并类数目确定为所采用的合并类数目。
在GALF中，在所采用的合并类数目是一和二十五以外的值的情况下，需要从编码装置向解码装置发送表示二十五个初始类与所采用的合并类数目的合并类之间的对应关系的合并模式。
图9是示出从编码装置发送到解码装置的合并模式的示例的图。
在图9中，合并模式由数组变量mergeInfo[25]表示，在该变量上设置了二十五个初始类合并成的合并类的类编号。
在图9的数组变量mergeInfo[25]中，从开始(左)起第i个数字j表示将类编号i的初始类转换(合并)为类编号j的合并类。
如上所述，在GALF中，在用于确定与每个合并类数目C一至二十五对应的合并模式的合并模式确定处理中，需要执行2600个合并，这增加了处理量。此外，在GALF中，有必要将合并模式从编码装置发送到解码装置。
因此，在本技术中，针对每个合并类数目预先设置与合并类数目对应的合并模式，并且根据预先设置的合并模式将初始类转换为合并类。
<预先设置的合并模式的示例>
图10和图11是示出了预先设置的合并模式的第一示例的图。
即，图10和图11是示出与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式以及将通过GALF的类分类获得的二十五个初始类进行并合的示例的图。
在本技术中，如上所述，对于每个合并类数目，预先设置与该合并类数目对应的合并模式，并且根据预先设置的合并模式将初始类转换为合并类。
因此，不需要执行由GALF执行的合并模式确定处理，并且可以减少处理量。此外，由于针对每个合并类数目预先设置了合并模式，因此，如果识别出合并类数目，则也唯一地识别出了合并模式。因此，通过在编码装置与解码装置之间共享预先设置的合并模式，不需要将合并模式从编码装置发送到解码装置，并且可以将编码效率提高不发送的合并模式的量。
注意，预先设置了合并模式的合并类数目不必是连续的自然数，而可以是具有离散值的自然数。
可以通过任何方法来设置用于每个合并类数目的合并模式，但是如果通过任何方法来设置合并模式，则滤波处理的性能可能劣化，并且滤波图像的图像质量可能劣化。此处，可以掌握下述方法作为将关注像素分类为合并类的类分类：执行用于将关注像素分类为初始类的预定类分类，以及根据合并模式将通过预定类分类获得的初始类进行转换以获得合并类。在这种情况下，将初始类转换为合并类的合并模式可以被视为确定用于类分类为合并类的分类规则(类分类方法)。因此，可以通过确定类分类为合并类的分类规则来执行合并模式的设置。
通过适当地确定诸如在用于获得初始类的类分类的像素的特征量的信息中的对到合并类的类分类起作用的信息、诸如如何将合并类(的子类)分配给该信息(例如，将哪个合并类分配给哪个特征量的哪个范围)之类的到的类分类的分类规则以及设置用于每个合并类数目的合并模式，可以抑制滤波处理的性能劣化。
因此，在本技术中，将抑制滤波处理的性能的劣化设置为用于设置合并模式的设置策略，并且通过设置不违反设置策略的规则来设置与每个合并类数目对应的合并模式。
作为用于设置合并模式的设置规则，可以采用缩减设置来设置用于每个合并类数目的合并模式，使得类的数目从通过预定类分类获得的初始类开始减少。
此外，作为设置规则，可以采用混合设置将用于每个合并类数目的合并模式设置为用于合并通过预定类分类获得的初始类的合并模式与用于合并通过另一类分类获得的初始类的合并模式的混合。
此外，作为设置规则，可以采用统计设置来设置用于每个合并类数目的合并模式，使得在将用于设置预先准备的合并模式的图像编码为原始图像的情况下，在统计上优化了滤波处理所需的参数的代码量(每个合并类的抽头系数以及所采用的合并类数目)和滤波图像相对于原始图像的误差中的一者或两者。
在合并模式的统计设置中，用于设置合并模式的图像可以用作原始图像，例如，以预先离线执行由GALF执行的合并模式确定处理，并且可以将在离线执行的合并模式确定处理中获得的与合并类数目对应的合并模式设置为用于每个合并类数目的合并模式。
图10和图11示出了合并模式的缩减设置的示例。
在缩减设置中，设置用于每个合并类数目的合并模式，使得类的数目从通过预定类分类获得的初始类开始减少。
例如，在图10和图11中，采用GALF的类分类作为预定类分类。
在缩减设置中，可以设置用于每个合并类数目的合并模式，使得可以获得使要用于预定类分类的任何一条信息优先起作用的合并类。
在预定类分类是GALF的类分类的情况下，用于GALF的类分类的信息包括倾斜强度比、方向类和活动总和(活动子类)，如图1至图3所示。
在缩减设置中，例如，可以设置用于每个合并类数目的合并模式，使得可以获得使倾斜强度比或活动总和优先起作用的合并类。图10和图11的合并模式使得可以获得其中倾斜强度比优先起作用的合并类。
在图10中，与合并类数目二十五对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，以及根据活动总和通过活动子类分类将关注像素分类为五个子类中的一个，以及在根据倾斜强度比通过倾斜强度比子类分类获得的倾斜强度比子类是无类以外的类的情况下，将关注像素通过方向子类分类分类为根据方向类的H/V类和D0/D1类这两个子类中的一个，从而总共分类为二十五个类。即，与合并类数目二十五对应的合并模式是使得可以获得与通过GALF的类分类获得的初始类相同的合并类的合并模式。
此处，H/V类是指参照图1至图3描述的方向类2(表示倾斜方向是V方向或H方向的子类)。D0/D1类是指参照图1至图3描述的方向类0(表示倾斜方向是D0方向或D1方向的子类)。
在图10中，与合并类数目二十对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，以及根据活动总和通过活动子类分类将关注像素分类为四个子类中的一个，以及在倾斜强度比子类是无类以外的类的情况下，将关注像素通过方向子类分类分类为根据方向类的H/V类和D0/D1类这两个子类中的一个，从而总共分类为二十个类。
在图10中，与合并类数目十五对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，以及根据活动总和通过活动子类分类将关注像素分类为三个子类中的一个，以及在倾斜强度比子类是无类以外的类的情况下，将关注像素通过方向子类分类分类为根据方向类的H/V类和D0/D1类这两个子类中的一个，从而总共分类为十五个类。
在图10中，与合并类数目十对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，以及根据活动总和通过活动子类分类将关注像素分类为两个子类中的一个，以及在倾斜强度比子类是无类以外的类的情况下，将关注像素通过方向子类分类分类为根据方向类的H/V类和D0/D1类这两个子类中的一个，从而总共分类为十个类。
在图11中，与合并类数目五对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，以及在倾斜强度比子类是无类以外的类的情况下，将关注像素通过方向子类分类分类为根据方向类的H/V类和D0/D1类这两个子类中的一个，从而总共分类为五个类。
在图11中，与合并类数目三对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个类中的一个，从而总共分类为三个类。
在图11中，与合并类数目二对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类和弱-强类两个类中的一个，从而总共分类为两个类。
此处，弱-强类是在根据倾斜强度比执行倾斜强度比子类分类将弱类和强类组合(合并)为无类、弱类和无类这三个子类中的一个的情况下获得的类。
在图11中，与合并类数目一对应的合并模式是使得可以获得通过对关注像素执行到一个类的类分类而获得的类作为合并类的合并模式。此处，可以将对关注像素执行到一个类的类分类考虑为未执行类分类，即没有类。在本实施方式中，在对关注像素执行到一个类的类分类的情况下，该一个类也被称为单类。与合并类数目一对应的合并模式是使得可以获得作为合并类的单类的合并模式。
将描述设置图10和图11的合并模式的方法，通过该方法，可以获得倾斜强度比优先起作用的合并类。
图12是描述设置与合并类数目二十五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为二十五个合并类。
即，图12示出了用于执行到根据与图10的与合并类数目二十五对应的合并模式(通过转换初始类)获得的合并类的类分类的分类规则。
根据图12的分类规则，与图1至图3中描述的GALF的类分类类似，根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个子类中的一个，根据作为空间特征量的活动总和通过活动子类分类将关注像素分类为五个子类中的一个，并且在倾斜强度比子类是无类之外的类的情况下，根据方向类通过方向子类分类将关注像素分类为H/V类和D0/D1类两个子类中的一个，从而通过类分类分类为合并类0至24中的一个。
在图12的分类规则中，在根据如图3所述从活动总和获得的索引class_idx分类为五个子类中的一个的活动子类分类中，在索引class_idx为0的情况下将关注像素分类为活动子类0(小类)；在索引class_idx为1的情况下将关注像素分类为活动子类2；在索引class_idx为2至6的情况下将关注像素分类为活动子类2；在索引class_idx为7至14的情况下将关注像素分类为活动子类3；并且在索引class_idx为15的情况下将关注像素分类为活动子类4(大类)。
然后，根据图12的分类规则，在倾斜强度比子类为无类的情况下，当活动子类为0时将关注像素分类为合并类0；当活动子类为0时将关注像素分类为合并类1；当活动子类为2时将关注像素分类为合并类2；当活动子类为3时将关注像素分类为合并类3；并且当活动子类为4时将关注像素分类为合并类4。
在倾斜强度比子类是弱类并且方向类是D0/D1类的情况下，在活动子类为0时将关注像素分类为合并类5；在活动子类为0时将关注像素分类为合并类6；在活动子类为2时将关注像素分类为合并类7；在活动子类为3时将关注像素分类为合并类8；并且在活动子类为4时将关注像素分类为合并类9。
在倾斜强度比子类是强类并且方向类是D0/D1类的情况下，在活动子类为0时将关注像素分类为合并类10；在活动子类为1时将关注像素分类为合并类11；在活动子类为2时将关注像素分类为合并类12；在活动子类为3时将关注像素分类为合并类13；在活动子类为4时将关注像素分类为合并类14。
在倾斜强度比子类是弱类并且方向类是H/V类的情况下，在活动子类为0时将关注像素分类为合并类15；在活动子类为1时将关注像素分类为合并类16；在活动子类为2时将关注像素分类为合并类17；在活动子类为3时将关注像素分类为合并类18；在活动子类为4时将关注像素分类为合并类19。
在倾斜强度比子类是强类并且方向类是H/V类的情况下，在活动子类为0时将关注像素分类为合并类20；在活动子类为1时将关注像素分类为合并类21；在活动子类为2时将关注像素分类为合并类22；在活动子类为3时将关注像素分类为合并类23；在活动子类为4时将关注像素分类为合并类24。
根据图12的分类规则，通过类分类获得的合并类0至24分别与通过GALF的类分类获得的初始类0至24相匹配。因此，作为与合并类数目二十五对应的合并模式，可以设置将初始类0至24转换(合并)为合并类0至24的合并模式。
图13是描述设置与合并类数目二十对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为二十个合并类。
即，图13示出了用于执行到根据与图10的与合并类数目二十对应的合并模式获得的合并类的类分类的分类规则。
根据图13的分类规则，根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个子类中的一个，根据作为空间特征量的活动总和通过活动子类分类将关注像素分类为四个子类中的一个，并且在倾斜强度比子类是无类之外的类的情况下，根据方向类通过方向子类分类将关注像素分类为H/V类和D0/D1类两个子类中的一个，从而通过类分类分类为合并类0至19中的一个。图13中的分类规则是其中通过合并图12的分类规则中的活动子类0和1来将活动子类的数目从五个减少到四个的规则。
在图13的分类规则中，在根据如图3所述从活动总和获得的索引class_idx分类为四个子类中的一个的活动子类分类中，在索引class_idx为0或1的情况下将关注像素分类为作为活动子类的小类；在索引class_idx为2至6的情况下将关注像素分类为作为活动子类的中间1类；在索引class_idx为7至14的情况下将关注像素分类为作为活动子类的中间2类；并且在索引class_idx为15的情况下将关注像素分类为作为活动子类的大类。
在图13的分类规则中，活动子类的数目为四，与初始类中的活动子类数目五相比减少了一个。然后，小类与初始类中的活动子类0和1相匹配，并且中间1类、中间2类和大类分别与初始类中的活动子类2、3和4相匹配。
在图13的分类规则中，与GALF类分类的情况相比，将子类分配给活动总和减少了一个子类，因此活动总和对到合并类的类分类不起作用。因此，根据图13的分类规则，获得了其中倾斜强度比和方向类优先于活动总和起作用的合并类。
根据图13的分类规则，在倾斜强度比子类为无类的情况下，在活动子类为小类时将关注像素分类为合并类0；在活动子类为中间1类时将关注像素分类为合并类1；在活动子类为中间2类时将关注像素分类为合并类2；并且在活动子类为大类时将关注像素分类为合并类3。
在倾斜强度比子类是弱类并且方向类是D0/D1类的情况下，在活动子类为小类时将关注像素分类为合并类4；在活动子类为中间1类时将关注像素分类为合并类5；在活动子类为中间2类时将关注像素分类为合并类6；并且在活动子类为大类时将关注像素分类为合并类7。
在倾斜强度比子类是强类并且方向类是D0/D1类的情况下，在活动子类为小类时将关注像素分类为合并类8；在活动子类为中间1类时将关注像素分类为合并类9；在活动子类为中间2类时将关注像素分类为合并类10；并且在活动子类为大类时将关注像素分类为合并类11。
在倾斜强度比子类是弱类并且方向类是H/V类的情况下，在活动子类为小类时将关注像素分类为合并类12；在活动子类为中间1类时将关注像素分类为合并类13；在活动子类为中间2类时将关注像素分类为合并类14；并且在活动子类为大类时将关注像素分类为合并类15。
在倾斜强度比子类是强类并且方向类是H/V类的情况下，在活动子类为小类时将关注像素分类为合并类16；在活动子类为中间1类时将关注像素分类为合并类17；在活动子类为中间2类时将关注像素分类为合并类18；并且在活动子类为大类时将关注像素分类为合并类19。
在图13的分类规则中，合并类0与通过GALF的类分类获得的初始类0和1相匹配，合并类1至3分别与通过GALF的类分类获得的初始类2至4相匹配，合并类4与通过GALF类分类获得的初始类5和6相匹配，合并类5至7分别与通过GALF类分类获得的初始类7至9相匹配，合并类8与通过GALF的类分类获得的初始类10和11相匹配，合并类9至11分别与通过GALF的类分类获得的初始类12至14相匹配，合并类12与通过GALF的类分类获得的初始类15和16相匹配，合并类13至15分别与通过GALF的类分类获得的初始类17至19相匹配，合并类16与通过GALF的类分类获得的初始类20和21相匹配，并且合并类17至19分别与通过GALF的类分类获得的初始类22至24相匹配。
因此，作为与合并类数目二十对应的合并模式，可以设置下述合并模式，该合并模式将初始类0和1转换为合并类0，将初始类2至4分别转换为合并类1至3，将初始类5和6转换为合并类4，将初始类7至9分别转换为合并类5至7，将初始类10和11转换为合并类8，将初始类12至14分别转换为合并类9至11，将初始类15和16转换为合并类12，将初始类17至19分别转换为合并类13至15，将初始类20和21转换为合并类16，以及将初始类22至24分别转换为合并类17至19。
图14是描述设置与合并类数目十五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为十五个合并类。
即，图14示出了执行到用于根据图10中的与合并类数目十五对应的合并模式获得的合并类的类分类的分类规则。
根据图14的分类规则，根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个子类中的一个，根据作为空间特征量的活动总和通过活动子类分类将关注像素分类为三个子类中的一个，并且在倾斜强度比子类是无类之外的类的情况下，根据方向类通过方向子类分类将关注像素分类为H/V类和D0/D1类两个子类中的一个，从而通过类分类分类为合并类0至14中的一个。图14中的分类规则是其中通过合并图13的分类规则中的作为活动子类的小类和中间1类来将活动子类的数目从四个减少到三个的规则。
在图14的分类规则中，在根据如图3所述从活动总和获得的索引class_idx分类为三个子类中的一个的活动子类分类中，在索引class_idx为0或1至6的情况下，将关注像素分类为作为活动子类的小类；在索引class_idx为7至14的情况下，将关注像素分类为作为活动子类的中间类；并且在索引class_idx为15的情况下，将关注像素分类为作为活动子类的大类。
在图14的分类规则中，活动子类的数目为3，与初始类中的活动子类数目五相比减少了2。然后，小类与初始类中的活动子类0至2相匹配，中类和大类分别与初始类中的活动子类3和4相匹配。
在图14的分类规则中，与GALF类分类的情况相比，将子类分配给活动总和减少了两个子类，因此活动总和对到合并类的类分类不起作用。因此，根据图14的分类规则，获得了其中倾斜强度比和方向类优先于活动总和起作用的合并类。
根据图14的分类规则，在倾斜强度比子类为无类的情况下，在活动子类为小类时将关注像素分类为合并类0；在活动子类为中间类时将关注像素分类为合并类1；并且当活动子类是大类时，将关注像素分类为合并类2。
在倾斜强度比子类是弱类并且方向类是D0/D1类的情况下，在活动子类是小类时将关注像素分类为合并类3；在活动子类为中间类时将关注像素分类为合并类4；并且当活动子类是大类时，将关注像素分类为合并类5。
在倾斜强度比子类为强类并且方向类为D0/D1类的情况下，在活动子类是小类时将关注像素分类为合并类6；在活动子类为中间类时将关注像素分类为合并类7；并且当活动子类是大类时，将关注像素分类为合并类8。
在倾斜强度比子类是弱类并且方向类是H/V类的情况下，在活动子类是小类时将关注像素分类为合并类9；在活动子类为中间类时将关注像素分类为合并类10；并且当活动子类是大类时，将关注像素分类为合并类11。
在倾斜强度比子类是强类并且方向类是H/V类的情况下，在活动子类是小类时将关注像素分类为合并类12；在活动子类为中间类时将关注像素分类为合并类13；并且当活动子类是大类时，将关注像素分类为合并类14。
在图14的分类规则中，合并类0与通过GALF的类分类获得的初始类0至2相匹配，合并类1和2分别与通过GALF的类分类获得的初始类3和4相匹配，合并类3与通过GALF类分类获得的初始类5至7相匹配，合并类4和5分别与通过GALF类分类获得的初始类8和9相匹配，合并类6与通过GALF的类分类获得的初始类10至12相匹配，合并类7至8分别与通过GALF的类分类获得的初始类13和14相匹配，合并类9与通过GALF的类分类获得的初始类15至17相匹配，合并类10和11分别与通过GALF的类分类获得的初始类18和19相匹配，合并类12与通过GALF的类分类获得的初始类20至22相匹配，并且合并类13和14分别与通过GALF的类分类获得的初始类23和24相匹配。
因此，作为与合并类数目十五对应的合并模式，可以设置下述合并模式，该合并模式将初始类0至3转换为合并类0，将初始类3和4分别转换为合并类1和2，将初始类5至7分别转换为合并类3，将初始类8和9分别转换为合并类4和5，将初始类10至12转换为合并类6，将初始类13和14分别转换为合并类7和8，将初始类15至17转换为合并类9，将初始类18和19分别转换为合并类10和11，将初始类20至22转换为合并类12，并且将初始类23和24分别转换为合并类13和14。
图15是描述设置与合并类数目十对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为十个合并类。
即，图15示出了用于执行到用于根据图10中的与合并类数目十对应的合并模式获得的合并类的类分类的分类规则。
根据图15的分类规则，根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个子类中的一个，根据作为空间特征量的活动总和通过活动子类分类将关注像素分类为三个子类中的一个，根据作为空间特征量的活动总和通过活动子类分类将关注像素分类为两个子类中的一个，并且在倾斜强度比子类是无类之外的类的情况下，根据方向类通过方向子类分类将关注像素分类为H/V类和D0/D1类两个子类中的一个，从而通过类分类分类为合并类0至14中的一个。图15中的分类规则是其中通过合并图14的分类规则中的作为活动子类的中间类和大类来将活动子类的数目从三个减少到两个的规则。
在图15的分类规则中，在根据如图3所述从活动总和获得的索引class_idx分类为两个子类中的一个的活动子类分类中，在索引class_idx为0至6的情况下，将关注像素分类为作为活动子类的小类；并且在索引class_idx为7至15的情况下，将关注像素分类为作为活动子类的大类。
在图15的分类规则中，活动子类的数目是2，与初始类中的活动子类数目五相比减少了三。然后，小类与初始类(图3)中的活动子类0至2相匹配，大类与初始类中的活动子类3和4相匹配。
在图15的分类规则中，与GALF类分类的情况相比，将子类分配给活动总和减少了三个子类，因此活动总和对到合并类的类分类不起作用。因此，根据图15的分类规则，获得了合并类，获得了其中倾斜强度比和方向类优先于活动总和起作用的合并类。
根据图15的分类规则，在倾斜强度比子类为无类的情况下，当活动子类为小类时将关注像素分类为合并类0，并且当活动子类是大类时，将关注像素分类为合并类1。
在倾斜强度比子类是弱类并且方向类是D0/D1类的情况下，在活动子类是小类时将关注像素分类为合并类2；并且当活动子类是大类时，将关注像素分类为合并类3。
在倾斜强度比子类为强类并且方向类为D0/D1类的情况下，在活动子类是小类时将关注像素分类为合并类4；并且当活动子类是大类时，将关注像素分类为合并类5。
在倾斜强度比子类为弱类并且方向类为H/V类的情况下，在活动子类是小类时将关注像素分类为合并类6；并且当活动子类是大类时，将关注像素分类为合并类7。
在倾斜强度比子类是强类并且方向类是H/V类的情况下，在活动子类是小类时将关注像素分类为合并类8；并且当活动子类是大类时，将关注像素分类为合并类9。
在图15的分类规则中，合并类0与通过GALF的类分类获得的初始类0至2相匹配，合并类1与通过GALF的类分类获得的初始类3和4相匹配，合并类2与通过GALF类分类获得的初始类5至7相匹配，合并类3与通过GALF类分类获得的初始类8和9相匹配，合并类4与通过GALF的类分类获得的初始类10至12相匹配，合并类5与通过GALF的类分类获得的初始类13和14相匹配，合并类6与通过GALF的类分类获得的初始类15至17相匹配，合并类7与通过GALF的类分类获得的初始类18和19相匹配，合并类8与通过GALF的类分类获得的初始类20至22相匹配，并且合并类9与通过GALF的类分类获得的初始类23和24相匹配。
因此，作为与合并类数目十对应的合并模式，可以设置下述合并模式，该合并模式将初始类0至3转换为合并类0，将初始类3和4转换为合并类1，将初始类5至7转换为合并类2，将初始类8和9转换为合并类3，将初始类10至12转换为合并类4，将初始类13和14转换为合并类5，将初始类15至17转换为合并类6，将初始类18和19转换为合并类7，将初始类20至22转换为合并类8，并且将初始类23和24转换为合并类9。
图16是描述设置与合并类数目五对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为五个合并类。
即，图16示出了用于执行到根据图11中的与合并类数目十对应的合并模式而获得的合并类的类分类的分类规则。
根据图16的分类规则，根据倾斜强度比，通过倾斜强度比子类分类，将关注像素分类为无类、弱类和强类三个子类中的一个，并且在倾斜强度比子类不是无类的情况下，根据方向类，通过方向子类分类，将关注像素分类为H/V类和D0/D1类两个子类中的一个，并且从而通过类分类，将关注像素分类为合并类0至4中的一个。图16中的分类规则是如下规则，在该规则中通过将作为图15的分类规则中的活动子类的小类和大类合并，将活动子类的数量从两个减少为一个。
因此，在图16的分类规则中，作为空间特征量的活动总和对分类为合并类不起作用。即，在图16的分类规则中，倾斜强度比、方向类和活动总和中的仅倾斜强度比和方向类对到合并类的类分类起作用。
根据图16的分类规则，在倾斜强度比子类为无类的情况下，将关注像素分类为合并类0。
在倾斜强度比子类是弱类并且方向类是D0/D1类的情况下，关注像素被分类为合并类1。
在倾斜强度比子类是强类并且方向类是D0/D1类的情况下，关注像素被分类为合并类2。
在倾斜强度比子类是弱类并且方向类是H/V类的情况下，关注像素被分类为合并类3。
在倾斜强度比子类是强类并且方向类是H/V类的情况下，关注像素被分类为合并类4。
在图16的分类规则中，合并的类0与通过GALF的类分类所获得的初始类0至4相匹配，合并的类1与通过GALF的类分类所获得的初始类5至9相匹配，合并的类2与通过GALF的类分类获得的初始类10至14相匹配，合并的类3与通过GALF的类分类获得的初始类15至19相匹配，并且合并的类4与通过GALF的类分类获得的初始类20至24相匹配。
因此，作为与合并类数目五对应的合并模式，可以设置分别将初始类0至4分别转换为合并类0，将初始类5至9转换为合并类1，将初始类10至14转换为合并类2，将初始类15至19转换为合并类3，以及将初始类20至24转换为合并类4的合并模式。
图17是描述设置与合并类数目三对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为三个合并类。
即，图17示出了用于执行到根据图11中的与合并类数目三对应的合并模式而获得的合并类的类分类的分类规则。
根据图17的分类规则，通过倾斜强度比子类根据倾斜强度比，将关注像素分类为三个子类无类、弱类和强类中的一个，并且因此，通过类分类将将关注像素分类为合并类0至2中的一个。图17的分类规则是通过将作为图16的分类规则中的方向类的D0/D1类和H/V类合并将方向类的数量从2减少至1的规则。
因此，在图17的分类规则中，作为方向类和空间特征量的活动总和对到合并类的类分类不起作用。即，在图17的分类规则中，倾斜强度比、方向类和活动总和中仅倾斜强度比对到合并类的类分类起作用。
根据图17的分类规则，在倾斜强度比子类为无类的情况下，将关注像素分类为合并类0。
在倾斜强度比子类为弱类的情况下，将关注像素分类为合并类1，并且在倾斜强度比子类为强类的情况下，将关注像素分类为合并类2。
在图17的分类规则中，合并类0与通过GALF的类分类获得的初始类0至4匹配，合并类1与通过GALF的类分类获得的初始类5至9和15至19匹配，并且合并的类2与通过GALF的类分类获得的初始类10至14以及20至24匹配。
因此，作为与合并类数目三对应的合并模式，可以设置将初始类0至4转换为合并类0，将初始类5至9以及15至19转换为合并类1以及将初始类10至14以及20至24合并为合并类2的合并模式。
图18是描述设置与合并类数目二对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为两个合并类。
即，图18示出了用于执行到根据图11中的与合并类数目二对应的合并模式获得的合并类的类分类的分类规则。
根据图18的分类规则，根据倾斜强度比，将关注像素通过倾斜强度比子类分类而被分类为无类和弱强类两个子类中的一个，并且因此，通过该类分类被分类为合并类0和1中的一个。图18的分类规则是通过将作为图17的分类规则中的倾斜强度比子类的弱类和强类合并而将倾斜强度比子类的数量从三个减少为两个的规则。
在图18的分类规则中，通过倾斜强度比子类分类而获得的倾斜强度比子类的数量为2，这从三个初始类中的倾斜强度比子类的数量减少。图18的规则中的无类与初始类中的无类匹配，并且弱强类与初始类中的弱类和强类匹配。
因此，在图18的分类规则中，与图17的分类规则类似，作为方向分类和空间特征量的活动总和对到合并类的类分类不起作用。即，在图18的分类规则中，倾斜强度比、方向类和活动总和中仅倾斜强度比对到合并类的类分类起作用。
根据图18的分类规则，在倾斜强度比子类为无类的情况下，关注像素被分类为合并类0，并且在倾斜强度比子类为弱强类的情况下，关注像素被分类为合并类1。在这种情况下，关注像素被分类为纹理像素和非纹理像素。
在图18的分类规则中，合并类0与通过GALF的类分类获得的初始类0至4相匹配，并且合并类1与通过GALF的类分类获得的初始类5至24相匹配。
因此，作为与合并类数目二对应的合并模式，可以设置将初始类0至4转换为合并类0以及将初始类5至24转换为合并类1的合并模式。
图19是描述设置与合并类数目一对应的合并模式的方法的图，该合并模式用于将通过GALF的类分类获得的二十五个初始类合并为一个合并类。
即，图19示出了用于执行到根据图11中的与合并类数目一对应的合并模式获得的合并类的类分类的分类规则。
根据图19的分类规则，关注像素总是被分类为作为单类的合并类0。图19中的分类规则是通过将作为图18中的分类规则中的倾斜强度比子类的无类和弱强类合并而将倾斜强度比子类的数量从两个减少为一个的规则。
在图19的分类规则中，合并类0与通过GALF的类分类获得的初始类0至24匹配。
因此，作为与合并类数目一对应的合并模式，可以设置将初始类0至24转换为合并类0的合并模式。
在图10至图19所示的与合并类数目二十五、二十、十五、十、五、三、两和一对应的合并模式设置中，GALF的类分类中的倾斜强度比子类尽可能地不被合并，并且因此根据这样的合并模式，可以获得倾斜强度比优先对其起作用的合并类。
在合并模式设置中，如上所述，除了使得能够获得倾斜强度比优先对其起作用的合并类的合并模式之外，还可以设置如下合并模式，其使得能够获得除了倾斜强度比之外的特征量(例如，活动总和)优先对其起作用的合并类。
图20和图21是示出预先设置的合并模式的第二示例的图。
即，图20和图21是示出与合并类数目二十五、十五、十、五、四、三、两和一对应的合并模式的示例的图，该合并模式用于对通过GLF的类分类获得的二十五个初始类进行合并。
与图10和图11的合并模式类似地，通过缩减设置来设置图20和图21的合并模式。然而，图10和图11的合并模式是使得能够获得倾斜强度比优先对其起作用的合并类的合并模式，而图20和图21的合并模式是使得能够获得活动总和优先对其起作用的合并类的合并模式。
在图20中，与合并类数目二十五对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类类别将关注像素分类为无类、弱类和强类三个子类中的一个，根据活动总和通过活动总和分类将关注像素分类为五个子类(活动子类0至4)中的一个，并且在根据倾斜强度比通过倾斜强度比子类分类获得的倾斜强度比子类不是无类的情况下，根据方向类通过方向子类分类将关注像素分类为H/V类和D0/D1类两个子类中的一个，并且从而将关注像素总共分类为二十五个类。即，与合并类数目二十五对应的合并模式是使得能够获得与通过GALF的类分类获得的初始类相同的合并类的合并模式。
在图20中，与合并类数目15对应的合并模式是如下合并模式，其使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类、弱类和强类三个子类中的一个，并且根据活动总和通过活动子类分类将关注像素分类为五个子类中的一个，并且从而可以获得通过用于执行总共分类为十五个类的分类规则获得的类作为合并类。
方向类对到合并类的类分类不起作用，因为在用于执行到根据与合并类数目十五对应的合并模式获得的合并类的类分类的分类规则中未使用方向类。注意，在以下描述的图20和图21中，这同样适用于具有合并类数目为十、五、四、三、二和一的合并模式。
在图20中，与合并类数目十对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据倾斜强度比通过倾斜强度比子类分类将关注像素分类为无类和弱强类两个子类中的一个，并且根据活动总和通过活动子类分类将关注像素分类为五个子类中的一个，并且从而将关注像素总共分类为十个类。
在用于执行到根据与合并类数目十对应的合并模式获得的合并类的类分类的分类规则中，与GALF的类分类的情况相比，将子类向倾斜强度比的分配减少一个子类，并且因此，倾斜强度比不对到合并类的类分类起作用。因此，根据与合并类数目十对应的合并模式，获得了活动总和相对于倾斜强度比优先对其起作用的合并类。注意，在以下描述的图20和图21中，这同样适用于具有合并类数目为五、四、三和二的合并模式。
在图20中，与合并类数目五对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据活动总和通过活动子类分类将关注像素分类为五个子类中的一个，并且从而将关注像素总共分类为五个类。
在图21中，与合并类数目四对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据活动总和通过活动子类分类将关注像素分类为四个子类中的一个，并且从而将关注像素总共分类为四类。
注意，作为通过此处的活动子类分类获得的四个子类，可以采用图13中描述的小类、中间1类、中间2类和大类。
在图21中，与合并类数目三对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据活动总和通过活动子类分类将关注像素分类为三个子类中的一个，并且从而将关注像素总共分类为三个类。
注意，作为通过此处的活动子类分类获得的三个子类，可以采用图14中描述的小类、中类和大类。
在图21中，与合并类数目二对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据活动总和通过活动子类分类将关注像素分类为两个子类中的一个，并且从而将关注像素总共分类为两个类。
注意，作为通过此处的活动子类分类获得的两个子类，可以采用图15中描述的小类和大类。
在图21中，与合并类数目一对应的合并模式始终是如下合并模式，在该合并模式中，可以获得作为单类的合并类0。
在以上中，决定采用GALF的类分类作为用于获得初始类的类分类(下文中，也被称为初始类分类)，但是作为初始类分类，还可以采用GALF的类分类之外的类分类。
图22是描述使用排名作为关注像素的特征量进行的类分类即JVET-J0014的类分类的图。
在使用排名的分类中，根据式r8(i,j)＝ΣΣ(s'(i,j)<s'(k,l)？1:0)，获得关注像素的排名r8(i,j)。
此处，在式r8(i,j)＝ΣΣ(s'(i,j)<s'(k,l)？1:0)中，(i,j)是关注像素的位置(例如，从左侧起的第i个位置以及从顶部起的第j个位置)。s'(i,j)表示位置(i,j)处的像素的像素值(例如，亮度)。右侧的第一个求和(Σ)表示将k从i-1变为i+1的整数的求和，并且第二个求和表示将l从j-1变为j+1的整数的求和。(X？1:0)意味着在X为真的情况下取1，并且在X为假的情况下取0。
根据式r8(i,j)＝ΣΣ(s'(i,j)<s'(k,l)？1:0)，在关注像素周围存在越多具有大于关注像素的像素值的像素，关注像素的排名r8(i,j)越大。r8(i,j)取0至8的范围内的整数值。
在使用排名的分类中，获得关注像素的类别。例如，在满足式s'(i,j)<＝T1的情况下，关注像素的分类为(类别)0。在满足表达式T1<s'(i,j)<＝T2的情况下，关注像素的分类为1，在满足表达式T2<s'(i，j)的情况下，关注像素的类别为2。
注意，可以如下获得关注像素的分类。
即，在满足表达式|v(i,j)|<＝T3的情况下，关注像素的类别可以是(类别)0，在满足表达式T3<|v(i,j)|<＝T4的情况下，关注像素的类别可以是1，并且在满足表达式|v(i,j)|>T4的情况下，关注像素的类别可以是2。
此处，T1、T2、T3和T4是预先设置的阈值。T1和T2具有表达式T1<T2的关系，并且T3和T4具有表达式T3<T4的关系。此外，v(i,j)被表达为v(i,j)＝4×s'(i,j)-(s'(i-1,j)+s'(i+1,j)+s'(i,j+1)+s'(i,j-1))。
在使用排名的类分类中，通过使用关注像素的排名r8(i,j)和类别来获得关注像素的类D1 R(i,j)。在关注像素的类别为0的情况下，获得类编号D1 R(i,j)＝r8(i,j)的类作为关注像素的类。在关注像素的类别为1的情况下，获得类编号D1 R(i,j)＝r8(i,j)+9的类作为关注像素的类。在关注像素的类别为2的情况下，获得类编号D1 R(i,j)＝r8(i,j)+18的类作为关注像素的类。
如上所述，在使用排名的分类中，通过该类分类将关注像素分类为类0至26的二十七个类中的一个。
图22示出了初始类表的示例，在该初始类表中通过使用排名的类分类获得的类是初始类。图22中的初始类表是其中水平轴是r8(i,j)并且垂直轴是类别的表。
图23是描述使用像素值作为关注像素的特征量的类分类即JVET-J0018的类分类的图。
在使用像素值的类分类中，例如，像素值的动态范围被划分为相同大小的带。根据关注像素的像素值属于哪个带对关注像素进行分类。
在图23中，像素值的动态范围是256＝28个级别，并且被具有八个级别的大小的带划分为三十二个带。然后，从具有最小像素值的带起分配从0起的类编号。在使用像素值的类分类中，关注像素被分类为分配给关注像素的像素值所属的带的类编号的类。
在这种情况下，通过类分类将关注像素分类为类0至31的32个类中的一个。
图24是描述使用倾斜方向的可靠性作为关注像素的特征量的类分类的图。
在使用可靠性的类分类中，例如，与GALF类似地获得(设置)作为关注像素的限定方向的方向。
即，在使用可靠性的类分类中，通过将拉普拉斯滤波器应用于解码图像，例如，获得在作为以关注像素为中心的周边区域的3×3像素水平×垂直中的每个的V方向、H方向、D0方向和D1方向四个方向上的相应活动A(V)、A(H)、A(D0)和A(D1)。
此外，在使用可靠性的类分类中，通过将3×3像素的活动A(D)相加作为相对于关注像素的四个方向中的每个方向上的周边区域，获得四个方向上的相应活动总和sumA(H)、sumA(D0)和sumA(D1)。
然后，在使用可靠性的类分类中，针对相对于关注像素的四个方向上的相应活动总和sumA(H)、sumA(D0)和sumA(D1)，如在图2中说明的那样获得MainDir和SecDir，并且获得(设置)被分配给方向类分类表中的MainDir和SecDir的方向作为关注像素的限定方向。
此外，在使用可靠性的类分类中，针对关注像素生成倾斜方向(限定方向)上的频率分布。
即，在使用可靠性的类分类中，通过将拉普拉斯滤波器应用于解码图像，获得包括关注像素的频率分布生成区域，例如，以关注像素为中心的水平×垂直的3×3像素中的每个的V方向、H方向、D0方向和D1方向的四个方向上的相应活动A(V)、A(H)、A(D0)和A(D1)。
此处，频率分布生成区域是用于在限定方向上生成频率分布的像素区域。此处，为了简化描述，将频率分布生成区域假设为与周边区域一致的区域。在频率分布生成区域与周边区域匹配的情况下，作为频率分布生成区域中的3×3像素中的每个像素的四个方向上的活动A(V)、A(H)、A(D0)和A(D1)，可以按原样使用当获得作为关注像素的限定方向的方向时获得的周边区域中的3×3像素中的每个的四个方向上的相应活动A(V)、A(H)、A(D0)和A(D1)。
在使用可靠性的类分类中，例如，将图1中描述的GALF的八个方向用作相对于关注像素的表示频率分布的类别的限定方向，对于作为由针对频率分布生成区域中的3×3个像素中的每个像素的四个方向上的相应活动A(V)、A(H)、A(D0)和A(D1)获得(设置)的GALF的方向表示的目标的限定方向，通过对限定方向上的频率进行计数来生成限定方向上的频率分布。
即，在使用可靠性的类分类中，代替四个方向上的相应活动总和sumA(H)、sumA(D0)和sumA(D1)，使用四个方向上的相应活动A(V)、A(H)、A(D0)和A(D1)以获得针对频率分布生成区域中的3×3像素中的每个像素的MainDir和SecDir，如图2所示。此外，如图2所示，在使用可靠性的类分类中，获得分配给MainDir和SecDir的方向作为频率分布生成区域中的3×3像素中的每个像素的像素限定方向。
然后，在使用可靠性的类分类中，如上所述，通过对针对频率分布生成区域中的3×3像素中的每个像素获得(设置)的限定方向上的频率进行计数来生成相对于关注像素的限定方向上的频率分布。
此后，在使用可靠性的类分类中，在相对于关注像素的限定方向上的频率分布中，获得(设置)与作为关注像素的限定方向的方向(的类)的频率对应的值，作为关注像素的限定方向上的可靠性。
在图24中，关注像素的限定方向是作为GALF的八个方向中的方向的限定方向之中的限定方向000(分配有十进制数0(二进制数000)的限定方向)，并且获得(设置)与限定方向000上的频率对应的值，作为相对于关注像素的限定方向上的频率分布中的关注像素的限定方向上的可靠性。
在使用可靠性的类分类中，例如，使用关注像素的限定方向上的可靠性，并且，例如，通过使用GALF的类分类，将关注像素分类为最终类0至24二十五个类中的一个类，类似于与GALF的类分类的那些类。
注意，此处，通过使用频率分布生成区域中的像素的倾斜方向上的频率分布来获得作为关注像素的倾斜方向的限定方向上的可靠性，但是除此之外，例如，可以采用表示关注像素的倾斜方向的可能性的值等作为关注像素的倾斜方向上的可靠性，其中该值等与表示关注像素的倾斜方向的矢量和表示关注像素周围的多个像素的倾斜方向的每个矢量的内积的绝对值或平方的总和对应。
图25是描述通过使用可靠性的类分类获得的最终类的图。
在使用可靠性的类分类中，与GALF的类分类类似地执行方向子类分类。然而，在使用可靠性的类分类中，除了作为关注像素的限定方向的方向之外，还根据限定方向的可靠性来执行方向子类分类。
因此，在图25中，作为方向类，除了方向类0(D0/D1类)和方向类2(H/V类)之外，还准备了指示可靠性低的无类。
在限定方向上的关注像素的可靠性小于阈值p的情况下，将关注像素通过方向子类分类而分类为使用可靠性的类分类中的无类的方向类。然后，在使用可靠性的分类中，与GALF的类分类类似地，根据作为关注像素的空间特征量的V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)，通过类分类将关注像素分类为最终类0至4中的一个。
在限定方向上的关注像素的可靠性等于或大于阈值p的情况下，在使用该可靠性的类分类中，与GALF的类分类类似地，根据作为关注像素的限定方向的方向，通过方向子类分类将关注图像分类为方向类0或方向类2。
在方向子类分类中，在将关注像素分类为方向类0或2的情况下，在使用可靠性的类分类中，与GALF的类分类类似地，获得式(2)或式(3)的倾斜强度比。然后，根据倾斜强度比来执行用于获得表示关注像素的倾斜强度比的类的倾斜强度比子类分类。
此后，与图3中描述的GALF的类分类类似地，根据方向类0或2、作为倾斜强度比子类分类的结果获得的无类、弱类或强类、以及作为关注像素的空间特征量的V方向、H方向、D0方向和D1方向上的活动总和sumA(V)、sumA(H)、sumA(D0)和sumA(D1)，通过类分类将关注像素分类为最终类0至24中的一个。
注意，可以根据频率分布生成区域中的像素数来设置限定的方向上的可靠性的阈值p。例如，在采用限定方向上的频率分布的频率本身作为限定方向上的可靠性的情况下，当频率分布生成区域是6×6像素的区域时，可以将阈值p设置为例如频率分布生成区域的像素数(例如，36个像素)的1/4或1/8。
可以说，图25中的类分类是将倾斜方向(限定方向)上的可靠性引入图3中的GALF的类分类中的类分类。根据图25中的类分类，通过根据倾斜方向上的可靠性对像素进行分类，在倾斜方向的可靠性低即指示倾斜方向的方向的可靠性低的情况下，可以防止根据这样的方向通过方向子类分类将像素分类为方向类0或2，以及因此将像素分类为与倾斜方向不对应的方向类。因此，可以将像素分类为适当的类(最终类)，并且可以将该类的抽头系数用于执行作为适当的预测处理的滤波处理。因此，可以提高滤波处理的性能。
图26和图27是示出预先设置的合并模式的第三示例的图。
即，图26和图27是示出与合并类数目二十七、二十四、二十一、十八、十二、九和六对应的合并模式的示例的图，该合并模式对通过使用图22中描述的排名的类分类获得的二十七个初始类进行合并。
与图10和图11以及图20和图21的合并模式类似，通过缩减设置来设置图26和图27的合并模式。
此处，在使用排名的类分类中，可以说，采用了如下分类规则，该分类规则用于通过根据排名由子类分类将关注像素分类为表示排名r8(i,j)是0到9的九个子类中的一个，以及根据类别由子类分类将关注像素分类为表示类别是0或2的三个子类中的一个，来执行到二十七个子类的分类。
在图26和图27中，与合并类数目二十七对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据排名通过子类分类将关注像素分类为9个子类，根据类别通过子类分类将关注像素分类为三个子类，并且从而总共分类为二十七个类。即，与合并类数目二十七对应的合并模式是使得可以获得与通过使用排名的类分类获得的初始类相同的合并类的合并模式。
在图26和图27中，与合并类数目二十四、二十一、十八、十二、九和六对应的每个合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据排名通过子类分类将关注像素分类为八个、七个、六个、四个、三个和两个子类，并且根据类别通过子类分类将关注像素分类为三个子类中的一个，并且从而总共分类为二十四个、二十一个、十八个、十二个、九个和六个类。
注意，作为用于合并通过使用排名的类分类获得的二十七个初始类的合并模式的合并类的数目，除了二十七、二十四、二十一、十八、十二、九和六之外，例如还可以采用十五、三和一。
作为与合并类数目十五对应的合并模式，可以采用如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据排名通过子类分类将关注像素分类为五个子类，并且根据类别通过子类分类将关注像素分类为三个子类，并且从而总共分类为十五个类。
作为与合并类数目三对应的合并模式，可以采用如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得根据类别通过子类分类将关注像素分类为三个子类中的一个，并且从而总共分类为三个类。
与合并类数目一对应的合并模式始终是通过其可以获得作为单类的合并类0的合并模式。
根据与数目二十四、二十一、十八、十五、十二、九、六和三的合并类对应的合并模式，获得类别优先于排名起作用的合并类优。
图28是示出预先设置的合并模式的第四示例的图。
即，图28是示出与合并类数目三十二、十六、八和四对应的合并模式的示例的图，该合并模式对通过使用图23中描述的像素值的类分类获得的三十二个初始类进行合并。
与图10和图11以及图20和图21的合并模式类似，通过缩减设置来设置图28的合并模式。
此处，在使用图23中的像素值的类分类中，可以说，采用了分类规则，使得将作为像素值的动态范围的二百五十六个级别划分为三十二个带，并且根据关注像素的像素值，将关注像素分类为被分配给该像素值所属的带的类，并且从而总共分类为三十二类。
在图28中，与合并类数目三十二对应的合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得将作为像素值的动态范围的二百五十六个级别划分为三十二个带，并且根据关注像素的像素值将关注像素分类为被分配给该像素值所属的带的类，并且从而总共分类为三十二类。即，与合并类数目三十二对应的合并模式是使得可以获得与通过使用像素值的类分类获得的初始类相同的合并类的合并模式。
在图28中，与合并类数目十六、八和四对应的每个合并模式是如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得将作为像素值的动态范围的二百五十六个级别划分为十六个、八个和四个带，并且根据关注像素的像素值，将关注像素分类为分配给该像素值所属的带的类，并且从而总共分类为十六、八和四类。
注意，在将作为像素值的动态范围的二百五十六个级别划分为三十二个、十六个、八个和四个带的情况下，带大小分别为八个、十六个、三十二个和六十四个级别。
此外，作为用于合并通过使用像素值的类分类获得的三十二个初始类的合并模式的合并类的数目，除了三十二、十六、八和四之外，例如还可以采用二或一。
作为与合并类数目二对应的合并模式，可以获得如下合并模式，针对该合并模式，通过分类规则获得类作为合并类，使得将作为像素值的动态范围二百五十六个级别划分为两个带，并且根据关注像素的像素值将关注像素分类为被分配给该像素值所属的带的类，并且从而总共分类为两个类。
与合并类数目一对应的合并模式始终是通过其可以获得作为单类的合并类0的合并模式。
如上所述，作为与每个数目的合并类对应的合并模式，可以采用如下合并模式，该合并模式合并通过各种分类方法的类分类获得的初始类，各种分类方法的类分类例如GALF的类分类、使用排名的类分类、使用像素值的类分类、使用倾斜方向的可靠性的类分类等。
此外，可以在混合设置中设置与每个数目的合并类对应的合并模式，即，与每个数目的合并类对应的合并模式被设置成使得混合用于合并通过预定类分类获得的初始类的合并模式以及用于合并通过另一类分类获得的初始类的合并模式。
例如，与每个数目的合并类对应的合并模式可以被设置成使得混合用于合并通过GALF的类分类获得的初始类的合并模式以及用于合并通过使用排名的类分类获得的初始类的合并模式。
作为用于合并由GALF的类分类获得的初始类的合并模式，例如，可以采用图10和图11所示的与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式。
作为用于对通过使用排名的类分类获得的初始类进行合并的合并模式，可以采用图26和图27所描述的与合并类数目二十七、二十四、二十一、十八、十五、十二、九、六、三和一对应的合并模式。
然而，在将作为用于合并通过GALF的类分类获得的初始类的合并模式的与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式(下文中也被称为GALF合并模式)与作为用于合并通过使用排名的类分类获得的初始类的合并模式的与合并类数目二十七、二十四、二十一、十八、十五、十二、九、六、三和一对应的合并模式(下文中也被称为排名合并模式)混合的情况下，为十五、三和一的合并类数目在GALF合并模式与排名合并模式之间重叠。
在合并类数目在GALF合并模式与排名合并模式之间重叠的情况下，可以预先设置GALF合并模式和排名合并模式中的哪一个具有优先级。例如，在GALF合并模式具有优先级的情况下，采用GALF合并模式作为与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式，并且采用排名合并模式作为与合并类数目二十七、二十四、二十一、十八、十二、九和六对应的合并模式。
此外，与合并类的每种数目对应的合并模式可以被设置成使得除了使用GALF和排名的类分类进行的类分类之外，还可以混合用于合并通过任意两种或更多种类型的类分类方法中的每种类分类获得的初始类的合并模式。
例如，与合并类的每种数目对应的合并模式可以被设置成使得将用于合并通过GALF的类分类获得的初始类的合并模式以及用于合并通过使用像素值的类分类获得的初始类的合并模式混合。
作为用于合并由GALF的类分类获得的初始类的合并模式，例如，可以采用图10和图11所示的与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式。
作为用于合并通过使用像素值的类分类获得的初始类的合并模式，可以采用图28中描述的与合并类数目三十二、十六、八、四、二、一对应的合并模式。
然而，在将作为用于合并通过GALF的类分类获得初始类的合并模式的与合并类数目二十五、二十、十五、十、五、三、二和一对应的GALF合并模式与作为用于合并通过使用像素值的类分类获得的初始类的合并模式的与合并类数目三十二、十六、八、四、二、一对应的合并模式(下文中被称为像素值合并模式)混合的情况下，为二和一的合并类数目在GALF合并模式与像素值合并模式之间重叠。
现在，如果在GALF合并模式与像素值合并模式之间，例如，优先考虑GALF合并模式，则采用GALF合并模式作为与合并类数目二十五、二十、十五、十、五、三、二和一对应的合并模式，并且采用排名合并模式作为与合并类数目三十二、十六、八、四对应的合并模式。
此处，如上所述，在混合设置中设置合并模式，使得将用于合并通过预定类分类获得的初始类的合并模式与用于合并通过另一类分类获得的初始类的合并模式混合，可以被认为是设置如下合并模式，其使得除了用于合并通过预定类分类获得的初始类的合并模式中的合并类别的数目之外的合并类的数目被内插了用于合并通过另一类分类获得的初始类的合并模式中的合并类的数目。
例如，可以说在GALF合并模式与像素值合并模式被混合的情况下，将作为GALF合并模式的合并类的数目不存在的为三十二、十六、八和四的合并类数目内插以像素值合并模式的三十二、十六、八和四的合并类的数目。
注意，在混合设置中设置针对每个合并类数目的合并模式的情况下，初始类分类(的类分类方法)根据合并类的(采用)数目而不同。
<GALF的类分类>
将再次描述GALF的类分类。
图29是描述GALF的类分类的图。
根据用图1至3进行的描述，可以说GALF的类分类是使用倾斜强度比、方向(限定方向)和活动总和(空间特征量)作为关注像素的多个特征量来执行的。
此外，可以说，GALF的类分类是通过倾斜强度比的倾斜强度比子类分类(使用倾斜强度比)、方向的方向子类分类(使用方向)和活动总和的活动子类分类(使用活动总和)来执行的。此处，将通过方向子类分类获得的子类也称为方向子类(相当于图2所描述的方向类)。
在倾斜强度比子类分类中，如图29中所示，通过倾斜强度比的阈值处理，将关注像素分类为无类、弱类和强类三个子类(倾斜强度比子类)中的一个。在方向子类分类中，如图29所示，根据方向，将关注像素分类为D0/D1类和H/V类两个子类(方向子类)中的一个。在活动子类分类中，通过从活动总和获得的在0至15的范围内的索引class_idx，将关注像素分类为活动子类0至4五个子类中的一个。
可以说，如上所述，GALF的类分类是通过作为多个特征量的倾斜强度比、方向和活动总和子类分类(倾斜强度比子类分类、方向子类分类和活动子类分类)来执行的。
此处，例如，可以说，使用图24和图25中描述的可靠性的类分类是通过倾斜强度比、方向、活动总和以及可靠性的子类分类来执行的。因此，可以说，与GALF的类分类类似，使用可靠性的类分类也是通过多个特征量中的每个的子分类来执行的。
在通过多个特征量中的每个的子类分类执行的类分类被采用作为用于获得初始类并通过缩减设置来设置合并模式的类分类(初始类分类)的情况下，可以设置用于转换成合并类的合并模式，在该合并类中通过合并特征量的子类来合并初始类。即，可以通过合并特征量的子类来设置合并模式。
例如，在采用GALF的类分类作为初始类分类的情况下，可以通过对倾斜强度比的倾斜强度比子类、方向的方向子类和活动总和的活动子类进行合并来设置合并模式。
此处，子类的合并也将被称为子类合并。
<子类合并>
图30是描述倾斜强度比子类的子类合并的图。
可以通过将无类、弱类和强类原始三个子类之中的弱类和强类子类合并为高类，将倾斜强度比子类整体上分为无类和高类两个子类。此外，可以通过将无类和高类子类合并为N/A类，将倾斜强度比子类整体上分为仅N/A(不可用)类的一个子类。将倾斜强度比子类合并到仅N/A类的一个子类相当于不执行倾斜强度比子类分类。
注意，如以上所提及的，作为倾斜强度比子类的N/A类可以说是通过合并无类和高类两个子类获得的子类，并且也可以说是通过合并原始的无类、弱类和强类三个子类获得的子类。
图31是描述方向子类的子类合并的图。
可以通过将D0/D1类和H/V类原始两个子类子类合并为N/A类，将方向子类整体上分为仅N/A类的一个子类。将方向子类合并为仅N/A类的一个子类相当于不执行方向子类分类。
图32是描述活动子类的子类合并的图。
可以合并活动子类，使得在与为(值)0的原始索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4的五个子类之中，例如，可以将活动子类0和1子类合并为与为0和1的索引class_idx对应的活动子类0，从而整体上合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2以及与为15的索引class_idx对应的活动子类3的四个子类。
此外，活动子类可以被合并成使得在与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与7至14的索引class_idx对应的活动子类2以及与为15的索引class_idx对应的活动子类3之中，例如，活动子类0和1可以被子类合并为与为0至6的索引class_idx对应的活动子类0，从而整体上合并为与为0至6的索引class_idx对应的活动子类0、与为7至14的索引class_idx对应的活动子类1以及与为15的索引class_idx对应的活动子类2的三个子类。
此外，活动子类可以被合并成使得在与为0至6的索引class_idx对应的活动子类0、与为7至14的索引class_idx对应的活动子类1以及与为15的索引class_idx对应的活动子类2之中，例如，与为0和6的索引class_idx对应的活动子类0以及与为7和14的索引class_idx对应的活动子类1可以被子类合并为与为0和14的索引class_idx对应的活动子类0，从而整体上合并为与为0和14的索引class_idx对应的活动子类0和与为15的索引class_idx对应的活动子类1的两个活动子类。
此外，活动子类可以被合并成使得与为0至14的索引class_idx对应的活动子类0以及与为15的索引class_idx对应的活动子类1可以被子类合并为与为0至15的索引class_idx对应的N/A类(活动子类0)，从而合并为与0至15的索引class_idx对应的仅N/A类的一个子类。将活动子类合并为仅具有N/A类的一个子类相当于不执行活动子类分类。
注意，对于合并为三个子类的活动子类，如上所述，可以说，与为0至6的索引class_idx对应的活动子类0是通过合并原始活动子类0至2获得的子类，除此之外，活动子类0是通过合并与为0和1的索引class_idx对应的活动子类0和与为2至6的索引class_idx对应的活动子类1获得的子类。这同样适用于合并为两个子类中的活动子类以及合并为一个子类的活动子类。
此外，此处，从表示具有小数量的索引class_idx分配的小活动的活动子类0朝向表示大活动的活动子类4合并(子类合并)活动子类，但是活动子类的子类合并顺序不限于此。例如，可以按照合并活动子类0和1，然后合并活动子类2，此后合并活动子类3和4，并且最终合并为N/A类等的顺序执行活动子类的子类合并。
在将通过GALF的类分类获得的初始类转换为合并类的合并模式缩减设置中，可以如上所述的那样合并初始类并且可以通过子类合并来设置(生成)合并模式。
图33是示出通过活动子类的子类合并来合并初始类的示例的图。
根据活动子类的子类合并，例如，在初始类表中合并每行的多个水平初始类，如图33中的虚线所示。
在图33中，通过对与为0的索引class_idx对应的活动子类0和与为1的索引class_idx对应的活动子类1进行子类合并，合并每行的第一列中的初始类和第二列中的初始类。
图34是示出通过倾斜强度比子类的子类合并来合并初始类的示例的图。
根据倾斜强度比子类的子类合并，例如，如图34中的虚线所示，合并每列的第二行和第三行中的初始类，并且在初始类表中合并第四行和第五行。
在图34中，通过弱类和强类的子类合并，合并每列的第二行和第三行中的初始类，并且合并第四行和第五行中的初始类。
图35是示出通过方向子类的子类合并来合并初始类的示例的图。
根据方向子类的子类合并，例如，在初始类表中，如图35中的虚线所示，将每列的第二行和第四行中的初始类合并，并且将第三行和第五行中的初始类合并。
在图35中，通过对D0/D1类和H/V类的子类合并，将每列的第二行和第四行中的初始类合并，并且将第三行和第五行中的初始类合并。
<子类合并之后的子类数目和合并类数目>
图36是示出在对倾斜强度比子类、方向子类和活动子类的子类合并之后的子类数目与合并类数目之间的关系的图。
即，图36示出了在如图30至图32所述的那样倾斜强度比子类被子类合并作为一至三个子类中中的一个，方向子类被子类合并作为一个子类和两个子类中中的一个并且活动子类被子类合并作为一至五个子类中中的一个的情况下子类合并之后的子类数目与合并类数目之间的关系。
此处，例如，子类合并之后的倾斜强度比子类的子类数目为3，相当于不执行对倾斜强度比子类的子类合并。然而，在本技术中，不执行子类合并被视为将每个子类合并为该子类的子类合并。这同样适用于初始类的合并。
在GALF的类分类中，如图1至图3所示的，在倾斜强度比子类为无类的情况下，方向子类无效，并且在不考虑方向子类的情况下(与方向子类无关地)执行类分类。
因此，假设倾斜强度比子类、方向子类和活动子类在子类合并之后的子类数目分别为Na、Nb和Nc，则合并类的数目由表达式Nc×(Nb×(Na-1)+1)。
如图30至图32所述，可以在倾斜强度比子类被子类合并为一至三个子类中中的一个，方向子类被子类合并为一个子类和两个子类中中的一个并且活动子类被子类合并为一至五个子类中中的一个的情况下获得合并模式，通过计算，子类合并之后的子类数目是30个模式，如图36所示。
然而，在倾斜强度比子类被子类合并为一个子类的情况下，与倾斜强度比(子类)无关地执行到合并类的类分类。然后，如果使方向有助于类分类为合并类，即使不知道倾斜强度比是大还是小，则在倾斜强度比小的情况下，考虑作为平面图像的像素的像素值的倾斜方向的方向来执行类分类。像素值对于平面图像(大部分)不是倾斜的，并且如果考虑针对这样的平面图像的像素值的倾斜方向而执行到合并类的类分类，则关注像素可能不会被分类为适当的类，即，具有相似特性的像素可能由于例如轻微的噪声而被分类为不同的类而不是相同的类(合并类)。
因此，在将倾斜强度比子类合并为一个子类的情况下，将方向子类分类为D0/D1类或H/V类，进而，将作为通过这样的方向子类分类执行的类分类的合并模式——即，倾斜强度比子类的子类数目为一个，方向子类的子类数目与两个(或更多个)子类数目对应的任何合并模式——假设为无效而不使用(N/A)。
在图36中，合并类数目为N/A的列指示与该合并类数目对应的合并模式是无效的。存在五个无效的合并模式。
因此，通过参照图30至图32描述的对倾斜强度比子类、方向子类和活动子类的子类合并获得的合并模式——即，可以在倾斜强度比子类被子类合并为一至三个子类中中的一个，方向子类被子类合并为一个子类和两个子类中中的一个并且活动子类被子类子合并为一至五个子类中中的一个情况下获得的有效合并模式——是二十五合并模式，其是通过从30个计算出的模式中减去五个无效合并模式而获得的。
从上文，可以通过子类合并设置二十五个(有效)合并模式。
作为可以通过子类合并获得的合并模式的二十五个模式，存在具有一个、二个、三个、四个、五个、六个、八个、九个、十个、十二个、十五个、二十个和二十五个子类的子类数目的合并模式，并且存在具有相同的合并类数目的合并模式。
现在，将在将倾斜强度比子类、方向子类和活动子类的子类数目分别子类合并为Na、Nb和Nc的情况下获得的合并模式表示为合并模式(Na、Nb、Nc)。
在图36中，例如，合并模式(3、1、5)和(2、2、5)等具有相同的合并类数目(十五个)。
在本技术中，因为针对每个合并类数目设置合并模式，因此对于具有相同合并类数目的多个合并模式，执行合并模式选择，该合并模式选择使用各种图像来获得成本，并且选择具有最低成本的合并模式作为与合并类数目对应的合并类。
图37是示出通过执行子类合并和合并模式选择而获得的合并模式的示例的图。
通过子类合并和合并模式选择，可以设置如图37所示的十三个合并模式，即分别与子类数目一、二、三、四、五、六、八、九、十、十二、十五、二十和二十五对应的合并模式。
顺便提及，在预先设置合并模式的情况下，从提高滤波处理的性能(即经滤波的图像的图像质量和编码效率)的角度，期望设置合并模式的一定模式数目。
在采用GALF的类分类作为初始类分类的情况下，初始类分类的类数目为25，并且因此在缩减设置中为每个子类数目设置合并模式的情况下，最多可以设置25个合并模式，合并类数目为1至25。
然而，如图37所示，可以通过子类合并和合并模式选择设置的合并模式是分别与子类数目一、二、三、四、五、六、八、九、十、十二、十五、二十和二十五对应的十三个合并模式，并且特别地，与二十五与二十之间的、二十与十五之间的或十五与十二之间的合并模式数目对应的合并模式是缺失的。
如上所述，可以通过执行子类的部分合并来内插子类合并和合并模式选择中缺失的合并模式数目的合并模式。通过子类的部分合并，可以设置与合并类数目对应的合并模式，该合并类数目内插在由子类合并和合并模式选择设置的合并模式中的合并类数目的二十五与二十之间、二十与十五之间、十五与十二之间等。
图38是描述子类的部分合并的图。
部分合并是指在要用于初始类分类的一个特征量的子类是特定子类的情况下，另一特征量的子类被合并。
图38示出了通过在活动子类是与为0的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类的部分合并获得的合并模式。
在倾斜强度比子类的子类合并中，如图34所示，在初始类表中，将每列的第二行和第三行中的初始类合并，并且将第四行和第五行中的初始类合并。
另一方面，通过在活动子类是与为0的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类的部分合并，如图38所示，合并仅第一列的第二行和第三行的初始类5和10，并且在初始类表中将第四行和第五行的初始类15和20合并。
因此，可以获得与合并类数目二十三对应的合并模式。
图39是描述子类的部分合并的图。
即，图39示出了通过在活动子类是与为0的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类并且在活动子类是与为1的索引class_idx对应的活动子类1的情况下合并倾斜强度比子类的部分合并获得的合并模式。
通过在活动子类是与为0的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类的部分合并，如图38所示，合并仅第一列的第二行和第三行的初始类5和10，并且在初始类表中将第四行和第五行的初始类15和20合并。
此外，通过在活动子类是与为1的索引class_idx对应的活动子类1的情况下合并倾斜强度比子类的部分合并，如图39所示，合并仅第二列的第二行和第三行的初始类6和11，并且在初始类表中将第四行和第五行的初始类16和21合并。
因此，可以获得与合并类数目二十一对应的合并模式。
图40是示出通过对子类的部分合并获得的合并模式的示例的图。
例如，可以通过图38中描述的部分合并来获得与合并类数目二十三对应的合并模式。
此外，例如，可以通过图39中描述的部分合并来获得与合并类数目二十一对应的合并模式。
除了图39中描述的部分合并之外，可以通过执行部分合并获得与合并类别数目十九对应的合并模式，该部分合并在活动子类是与为2至6的索引class_idx对应的活动子类2的情况下合并倾斜强度比子类。
此外，另外，可以通过执行在活动子类是与为7至14的索引class_idx对应的活动子类3的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十七对应的合并模式。
此外，可以通过以下操作来获得与合并类数目十八对应的合并模式：通过子类合并将活动子类合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2以及与为15的索引class_idx对应的活动子类3的四个子类、与索引类2到索引类6对应的活动子类1的四个子类，并且此后执行在活动子类是与为0和1的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类的部分合并。
此外，可以通过执行在活动子类是与为2至6的索引class_idx对应的活动子类1的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十六对应的合并模式。
此外，另外，可以通过执行在活动子类是与为7至14的索引class_idx对应的活动子类2的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十四对应的合并模式。
注意，在本实施方式中，在对活动子类的子类合并中，如图32所示，通过以下操作获得合并模式：从与为0的索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4中，按照从表示活动小的活动子类0到表示活动大的活动子类4的顺序，合并活动子类。
为了给出这样的子类合并与部分合并的相关性，在部分合并中，通过以下操作来获得与合并类数目二十三、二十一、十九和十七对应的合并模式：按照从活动子类是表示活动小的活动子类0的情况到活动子类是表示活动大的活动子类3的情况的顺序来合并倾斜强度比子类。
然后，可以通过执行如下部分合并来获得与合并类数目二十三、二十一、十九和十七中的每个对应的合并模式，该部分合并按照从活动子类是表示活动大的活动子类4的情况到活动子类是表示活动小的活动子类1的情况的顺序来合并倾斜强度比子类。这同样适用于分别与合并类数目十八、十六和十四对应的合并模式。
此外，关于部分合并，可以执行用于在除活动子类之外的子类是特定子类的情况下合并另一特征量的子类的部分合并，以获得与内插在通过子类合并和合并模式选择设置的合并模式的合并类数目之间的其他合并数目对应的合并模式。
图41是示出通过子类合并(和合并模式选择)获得的合并模式与通过部分合并获得的合并模式之间的关系的示例的图。
通过使倾斜强度比子类、方向子类和活动子类的数目分别为三、二和五的子类合并，即，通过使倾斜强度比子类、方向子类和活动子类的数目在不改变的情况下保持为GALF的原始类分类的数量的子类合并，可以获得与合并类数目二十五对应的合并模式。
此外，例如，可以通过如下子类合并来获得与合并类数目二十对应的合并模式，该子类合并将活动子类的子类数目从倾斜强度比子类、方向子类和活动子类中的原始五个改变为四个。
此外，例如，可以通过将倾斜强度比子类、方向子类和活动子类之中的倾斜强度比子类的子类数目从原始的三个改变为两个的子类合并来获得与合并类数目十五对应的合并模式。
此外，例如，可以通过将倾斜强度比子类、方向子类和活动子类之中的活动子类的子类数目从原始的五个改变为四个以及倾斜强度比子类的子类数目从原始的三个改变为两个的子类合并，来获得与合并类数目十二对应的合并模式。
另一方面，例如，可以通过参照图38描述的部分合并来获得与合并类数目二十三个对应的合并模式。
此外，例如，可以通过参照图39描述的部分合并来获得与合并类数目二十一对应的合并模式。
除了图39中描述的部分合并之外，可以通过执行部分合并获得与合并类别数目十九对应的合并模式，该部分合并在活动子类是与为2至6的索引class_idx对应的活动子类2的情况下合并倾斜强度比子类。
此外，另外，可以通过执行在活动子类是与为7至14的索引class_idx对应的活动子类3的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十七对应的合并模式。
此外，另外，可以通过执行在活动子类是与为15的索引class_idx对应的活动子类4的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十五对应的合并模式。与合并类数目十五对应的合并模式和与通过如下子类合并获得的合并类数目十五对应的合并模式相匹配，该子类合并将倾斜强度比子类的子类数目从原始的三个改变为两个。
图42是示出通过子类合并获得的合并模式与通过部分合并获得的合并模式之间的关系的另一示例的图。
在图42中，可以通过图41中描述的子类合并来获得与合并类数目二十五、二十、十五和十二对应的合并模式。
然后，可以通过以下操作来获得与合并类数目十八对应的合并模式：执行用于获得与合并类数目二十对应的合并模式的子类模式，即合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2以及与为15的索引class_idx对应的活动子类3的四个子类；以及此后，执行在活动子类是与为0和1的索引class_idx对应的活动子类0的情况下合并倾斜强度比子类的部分合并。
此外，可以通过执行在活动子类是与为2至6的索引class_idx对应的活动子类1的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十六对应的合并模式。
此外，另外，可以通过执行在活动子类是与为7至14的索引class_idx对应的活动子类2的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十四对应的合并模式。
此外，另外，可以通过执行在活动子类是与为15的索引class_idx对应的活动子类3的情况下合并倾斜强度比子类的部分合并来获得与合并类数目十二对应的合并模式。与合并类数目十二对应的合并模式和与通过如下子类合并获得的合并类数目十二对应的合并模式相匹配，该子类合并将活动子类的子类数目从原始的五个改变为四个以及将倾斜强度比子类的子类数目从原始的三个改变为两个。
下面将再次描述通过子类合并(和合并模式选择)设置的针对每个合并类数目的合并模式，即对应于一、二、三、四、五、六、八、九、十、十二、十五、二十和二十五中的每个对应的十三个模式的合并模式。
<通过子类合并设置的针对每个合并类数目的合并模式>
图43是示出与通过子类合并获得的合并类数目二十五对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目二十五对应的合并模式：将倾斜强度比子类子类合并为无类、弱类和强类三个子类，将方向子类子类合并为D0/D1类和H/V类两个子类，以及将活动子类子类合并为与为0的索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4的五个子类。
即，可以通过将倾斜强度比子类的三个子类、方向子类的两个子类以及活动子类的五个子类照原样保留来获得具有合并类数目二十五的合并模式。
图44是示出与通过子类合并获得的合并类数目二十对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目二十对应的合并模式：将倾斜强度比子类子类合并为无类、弱类和强类三个子类，将方向子类子类合并为D0/D1类和H/V类两个子类，以及将活动子类子类合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2、与为15的索引class_idx对应的活动子类3的四个子类。
图45是示出与通过子类合并获得的合并类数目十五对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目十五对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为D0/D1类和H/V类两个子类，以及将活动子类子类合并为与为0的索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4的五个子类。
图46是示出与通过子类合并获得的合并类数目十二对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目十二对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为D0/D1类和H/V类两个子类，以及将活动子类子类合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2、与为15的索引class_idx对应的活动子类3的四个子类。
图47是示出与通过子类合并获得的合并类数目十对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目十对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为N/A一个子类，以及将活动子类子类合并为与为0的索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4的五个子类。
图48是示出与通过子类合并获得的合并类数目九对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目九对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为D0/D1类和H/V类两个子类，以及将活动子类子类合并为与为0至6的索引class_idx对应的活动子类0、与为7至14的索引class_idx对应的活动子类1、与为15的索引class_idx对应的活动子类2的三个子类。
图49是示出与通过子类合并获得的合并类数目八对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目九对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2、与为15的索引class_idx对应的活动子类3的四个子类。
图50是示出与通过子类合并获得的合并类数目六对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目六对应的合并模式：将倾斜强度比子类子类合并为无类和高类两个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为与为0至6的索引class_idx对应的活动子类0、与为7至14的索引class_idx对应的活动子类1、与为15的索引class_idx对应的活动子类2的三个子类。
图51是示出与通过子类合并获得的合并类数目五对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目五对应的合并模式：将倾斜强度比子类子类合并为N/A一个子类，将方向子类子类合并为N/A一个子类，以及将活动子类子类合并为与为0的索引class_idx对应的活动子类0、与为1的索引class_idx对应的活动子类1、与为2至6的索引class_idx对应的活动子类2、与为7至14的索引class_idx对应的活动子类3以及与为15的索引class_idx对应的活动子类4的五个子类。
图52是示出与通过子类合并获得的合并类数目四对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目四对应的合并模式：将倾斜强度比子类子类合并为N/A一个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为与为0和1的索引class_idx对应的活动子类0、与为2至6的索引class_idx对应的活动子类1、与为7至14的索引class_idx对应的活动子类2、与为15的索引class_idx对应的活动子类3的四个子类。
图53是示出与通过子类合并获得的合并类数目三对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目三对应的合并模式：将倾斜强度比子类子类合并为N/A一个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为与为0至6的索引class_idx对应的活动子类0、与为7至14的索引class_idx对应的活动子类1、与为15的索引class_idx对应的活动子类2的三个子类。
图54是示出与通过子类合并获得的合并类数目二对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目二对应的合并模式：将倾斜强度比子类子类合并为N/A一个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为与为0至14的索引class_idx对应的活动子类0、与为15的索引class_idx对应的活动子类1的两个子类。
图55是示出与通过子类合并获得的合并类数目一对应的合并模式以及通过其获得合并模式的该子类合并的图。
可以通过以下操作来获得与合并类数目一对应的合并模式：将倾斜强度比子类子类合并为N/A一个子类，将方向子类子类合并为N/A类一个子类，以及将活动子类子类合并为N/A一个子类(与为0至15的索引class_idx对应的活动子类)。
<应用本技术的类分类预测滤波器的配置示例>
图56是示出应用本技术的类分类预测滤波器的配置示例的框图。
在类分类预测滤波器110中，执行类分类预测处理。在类分类预测处理中，执行预定的类分类，并且将通过预定类分类获得的初始类转换为合并类。然后，执行滤波处理作为使用合并类的抽头系数来应用预测方程的预测处理。
在图56中，类分类预测滤波器110具有类分类单元111、合并转换单元112、抽头系数获取单元113和预测单元114。
作为滤波处理的目标的目标图像(例如，解码图像)被提供给类分类单元111和预测单元114。
类分类单元111顺序地选择目标图像的像素作为关注像素。类分类单元111通过执行例如GALF的类分类作为由关注像素上的多个特征量中的每个特征量的子类分类等执行的初始类分类，来获得关注像素的初始类，并将初始类提供给合并转换单元112。
合并转换单元112将来自类分类单元111的关注像素的初始类转换为合并类，该合并类是根据为每个合并类数目预先设置的合并模式，通过合并子类分类的子类(子类合并)来合并初始类而获得的。即，合并转换单元112存储例如通过倾斜强度比子类、方向子类和活动子类的子类合并以及必要的部分合并针对每个合并类数目预先设置的合并模式。然后，合并转换单元112根据针对每个合并类数目预先设置的合并模式之中的与所采用的合并类数目对应的合并模式，将关注像素的初始类转换为合并类。合并转换单元112将关注像素的合并类提供给抽头系数获取单元113。
抽头系数获取单元113存储每个合并类的抽头系数，并且根据来自合并转换单元112的关注像素的合并类，获取要用于作为对关注像素的预测处理的滤波处理的抽头系数。
即，抽头系数获取单元113从每个合并类的抽头系数(针对所采用的合并类数目的抽头系数)之中，选择来自合并转换单元112的关注像素的合并类的抽头系数，并且将抽头系数提供给预测单元114。
预测单元114对目标图像执行作为预测处理的滤波处理，该预测处理应用使用来自抽头系数获取单元113的关注像素的合并类的抽头系数的预测方程，并且输出由滤波处理生成的滤波图像。
即，预测单元114例如在目标图像的像素之中选择关注像素附近的多个像素作为关注像素的预测抽头。此外，预测单元114执行将由关注像素的类的抽头系数形成的预测方程应用于目标图像的预测处理，即，计算由作为关注像素的预测抽头的像素xn(的像素值)和关注像素的合并类的抽头系数wn形成的预测方程y'＝Σwnxn，从而获得针对关注像素的预定图像(与教师图像对应的图像)(例如，相对于解码图像的原始图像)的像素(的像素值)的预测值y'。然后，预测单元114生成具有作为像素值的预测值y'的图像，并且输出该图像作为经滤波的图像。
在类分类预测滤波器110中，可以将所采用的合并类数目和存储在抽头系数获取单元113中的每个合并类的抽头系数从外部提供给类分类预测滤波器110。
此外，类分类预测滤波器110可以结合执行抽头系数学习的学习单元121。假设执行抽头系数学习的功能是学习功能，可以说，具有学习单元121的类分类预测滤波器110是具有学习功能的类分类预测滤波器110。
在学习单元121中，可以通过使用教师图像和学生图像来获得每个合并类的抽头系数，并且可以将每个合并类的抽头系数存储在抽头系数获取单元113中。此外，学习单元121可以确定所采用的合并类数目，并且将所采用的合并类数目提供给合并转换单元112。
在将类分类预测滤波器110应用于编码装置的情况下，可以采用作为编码目标的原始图像作为教师图像，并且可以采用通过对原始图像进行编码和局部解码获得的解码图像作为学生图像。
学习单元121使用解码图像作为学生图像，与类分类单元111类似地执行类分类，并且对通过类分类获得的每个初始类执行抽头系数学习，以通过最小二乘法获得抽头系数，这从统计学上使通过由抽头系数和预测抽头形成的预测方程获得的教师图像的预测值的预测误差最小化。
此外，学习单元121将与多个合并类数目中的每个对应的合并模式存储为与存储在合并转换单元112中的针对预先设置的每个合并类数目的合并模式相同的合并模式。学习单元121通过执行与使用与预先设置的多个合并类对应的每个合并模式确定所采用的合并类数目(图8)的处理类似的处理，将针对其预先设置合并模式的多个合并类数目之中的使成本最小化的合并类数目(例如，在图8的步骤S67中获得的成本dist+λ×coeffBit)确定为所采用的合并类数目。
此外，学习单元121通过在步骤S64的处理之前在步骤S63中执行与合并模式确定处理(图5)中的步骤S36和S37类似的处理来获得每个合并类的抽头系数，该处理是用于获得在确定所采用的合并类数目的处理(图8)中用于确定所采用的合并类数目的成本的滤波处理。
学习单元121将所采用的合并类数目提供给合并转换单元112，并且将所采用的合并类数目的每个合并类的抽头系数提供给抽头系数获取单元113。
合并转换单元112根据预先设置的分别与多个合并类数目对应的合并模式之中的与向其提供的所采用合并类数目对应的合并模式，将来自类分类单元111的关注像素的初始类转换为合并类。
因为存储在合并转换单元112和学习单元121中的与多个合并类中的每个对应的合并模式是针对每个合并类数目设置的合并模式，因此可以通过合并类数目来唯一地识别合并模式。
类分类预测滤波器110的前提是将合并类数目与预先设置为与合并类数目对应的合并模式的合并模式相关联。
现在，将合并类数目与预先设置为与合并类数目对应的合并模式的合并模式相关联的信息将被称为合并信息。
应用本技术的编码装置和解码装置共享合并信息。然后，编码装置从多个合并类数目中确定所采用的合并类数目，并且将所采用的合并类数目传送至解码装置。解码装置利用来自编码装置的所采用的合并类数目来识别合并模式。然后，解码装置执行初始类分类，并且根据利用所采用的合并类数目识别的合并模式(与所采用的合并类数目对应的合并模式)，将通过初始类分类获得的初始类转换为合并类。
图57是描述由图56的类分类预测滤波器110执行的类分类预测处理的示例的流程图。
在步骤S111中，类分类单元111顺序地选择要被选择作为解码图像(作为目标图像)的关注像素的像素，作为关注像素，并且处理进行至步骤S112。
在步骤S112中，类分类单元111对关注像素执行初始类分类，并且获得关注像素的初始类。类分类单元111将关注像素的初始类提供给合并转换单元112，并且处理从步骤S112进行至步骤S113。
在步骤S113中，合并转换单元112根据与所采用的合并类数目对应的合并模式，将来自类分类单元111的关注像素的初始类转换为合并类。合并转换单元112将关注像素的合并类提供给抽头系数获取单元113，并且处理从步骤S113进行至步骤S114。
在步骤S114中，抽头系数获取单元113从每个合并类的抽头系数中，获取来自合并转换单元112的关注像素的合并类的抽头系数，并且处理进行至步骤S115。
在步骤S115中，预测单元114执行滤波处理，作为将由来自抽头系数获取单元113的关注像素的合并类的抽头系数形成的预测方程应用于解码图像的预测处理。
即，预测单元114从解码图像中选择要作为关注像素的预测抽头的像素，并且计算通过使用该预测抽头和关注像素的合并类的抽头系数形成的一阶预测方程，以由此获得原始图像的相对于关注像素的像素(的像素值)的预测值。然后，预测单元114使用预测值作为像素值来生成图像，将图像作为经滤波的图像输出，并且结束类分类预测处理。
<应用本技术的图像处理系统的一个实施方式>
图58是示出应用本技术的图像处理系统的一个实施方式的概要的框图。
在图58中，图像处理系统具有编码装置160和解码装置170。
编码装置160具有编码单元161、局部解码单元162和滤波器单元163。
编码单元161被提供有原始图像(数据)，该原始图像是作为编码目标的图像，并且被提供有来自滤波器单元163的经滤波的图像。
编码单元161通过使用来自滤波器单元163的经滤波的图像，以例如预定块单位(例如，四叉树块结构或四叉树加二叉树(QTBT)块结构的CU)对原始图像进行(预测)编码，并且将通过编码获得的编码数据提供给局部解码单元162。
即，编码单元161从原始图像中减去通过对来自滤波器单元163的经滤波的图像执行运动补偿而获得的原始图像的预测图像，并且对作为结果获得的残差进行编码。
滤波器信息从滤波器单元163被提供给编码单元161。
编码单元161生成并传送(发送)来自编码器单元163的包括编码数据和滤波器信息的编码比特流。
局部解码单元162被提供有来自编码单元161的编码数据，并且被提供有来自滤波器单元163的滤波器图像。
局部解码单元162通过使用来自滤波器单元163的滤波器图像对来自编码单元161的编码数据执行局部解码，并且将作为结果获得的(局部)解码图像提供给滤波器单元163。
即，局部解码单元162将来自编码单元161的编码数据解码为残差，并且将通过对来自滤波器单元163的经滤波图像执行运动补偿获得的原始图像的预测图像与残差相加，以由此生成通过对原始图像进行解码获得的解码图像(局部解码图像)。
与例如具有学习功能的类分类预测滤波器110(图56)类似地配置滤波器单元163，并且滤波器单元163包括类分类单元164和合并转换单元165。
滤波器单元163使用来自局部解码单元162的解码图像和用于解码图像的原始图像作为学生图像和教师图像来执行抽头系数学习，并且获得每个类的抽头系数。
此外，通过执行与使用针对多个合并类数目中的每个预先设置的合并模式确定所采用的合并类数目(图8)的处理类似的处理，滤波器单元163将针对其预先设置合并模式的多个合并类数目之中的使成本最小化的合并类数目确定为采用合并类数目。
此外，在确定采用合并类数目时，滤波器单元163使用通过抽头系数学习获得的正规方程(的X矩阵和Y矢量)来执行与合并模式确定处理(图5)的步骤S36和S37类似的处理，以由此获得采用合并类数目的每个合并类的抽头系数。
然后，滤波器单元163在类分类单元164中使用来自局部解码单元162的解码图像来执行例如作为通过多个特征量的子类分类而执行的初始类分类的GALF等的类分类，以获得关注像素的初始类。此外，滤波器单元163在合并转换单元165中根据与所采用的合并类数目对应的合并模式将关注像素的初始类转换为通过合并子类分类的子类而合并初始类获得的合并类。然后，滤波器单元163执行滤波处理，作为将预测方程应用于解码图像的预测处理，该预测方程执行通过由合并转换单元165进行的转换获得的关注像素的合并类的抽头系数与解码图像的像素的积和运算。
滤波器单元163将通过滤波处理获得的经滤波图像提供给编码单元161和局部解码单元162。此外，滤波器单元163将所采用的合并类数目和该采用的合并类数目中的每个合并类的抽头系数提供给编码单元161，作为滤波器信息。
注意，此处，尽管将针对其预先设置合并模式的多个合并类数目之中的使成本最小化的合并类数目确定为编码装置160中的所采用的合并类数目，但是对于所采用的合并类数目，可以将针对其预先设置合并模式的多个合并类数目之中的特定合并模式的合并类数目预先确定为所采用的合并类数目。在这种情况下，不需要获得用于确定所采用的合并类数目的成本，可以减少编码装置160的处理量。
如上所述，例如，特别是在编码装置160的性能不高的情况下，预先确定所采用的合并类数目是有效的。
解码装置170具有解析单元171、解码单元172和滤波器单元173。
解析单元171接收由编码装置160传送的编码比特流，执行解析，并且将通过解析获得的滤波器信息提供给滤波器单元173。此外，解析单元171将包括在编码比特流中的编码数据提供给解码单元172。
解码单元172被提供有来自解析单元171的编码数据，并且被提供有来自滤波器单元173的经滤波图像。
解码单元172与例如编码单元161类似地，以诸如CU的预定块为单位，使用来自滤波器单元173的经滤波图像来对来自解析单元171的编码数据进行解码，并且将作为结果获得的解码图像提供给滤波器单元173。
即，解码单元172与局部解码单元162类似地，将来自解析单元171的编码数据解码为残差，并且将通过对来自滤波器单元173的经滤波图像执行运动补偿获得的原始图像的预测图像与残差相加，以由此生成通过对原始图像进行解码获得的解码图像。
与例如不具有学习功能的类分类预测滤波器110(图56)类似地配置滤波器单元173，并且滤波器单元173包括类分类单元174和合并转换单元175。
滤波器单元173对来自解码单元172的解码图像执行类似于滤波器单元163的滤波处理的滤波处理，以生成经滤波图像，并且将经滤波图像提供给解码单元172。
即，滤波器单元173在类分类单元174中使用来自解码单元172的解码图像执行与类分类单元164相同的初始类分类，并且获得关注像素的初始类。此外，滤波器单元173在合并转换单元175中根据与来自解析单元171的滤波器信息中包括的所采用的合并类数目对应的合并模式，将关注像素的初始类转换成其中初始类通过合并(子类合并)子类分类的子类被合并的合并类。然后，滤波器单元173执行滤波处理，作为将预测方程应用于解码图像的预测处理，该预测方程执行通过由合并转换单元175进行的转换获得的关注像素的合并类的抽头系数与解码图像的像素的积和运算。从来自解析单元171的滤波器信息中包括的每个合并类的抽头系数中获取在滤波处理中使用的关注像素的合并类的抽头系数。
滤波器单元173将通过滤波处理获得的经滤波图像提供给解码单元172，并且输出该经滤波图像作为通过对原始图像进行解码获得的最终解码图像。
图59是示出图58的图像编码装置160的编码处理的概要的流程图。
例如以帧(图片)为单位执行根据图59的流程图的处理。
在步骤S161中，编码单元161(图58)使用来自滤波器单元163的经滤波的图像(预测性地)对原始图像进行编码，并且将通过编码获得的编码数据提供给局部解码单元162，并且然后处理进行至步骤S162。
在步骤S162中，局部解码单元162通过使用来自滤波器单元163的滤波器图像对来自编码单元161的编码数据执行局部解码，并且将作为结果获得的(局部)解码图像提供给滤波器单元163，并且处理进行至步骤S163。
在步骤S163中，滤波器单元163使用来自局部解码单元162的解码图像和针对解码图像的原始图像作为学生图像和教师图像来执行抽头系数学习，并且获得每个初始类的抽头系数，并且然后处理进行至步骤S164。
在步骤S164中，滤波器单元163根据与针对其预先设置合并模式的多个合并类数目中的每个的合并类数目对应的合并模式，来合并初始类别，并且使用通过抽头系数学习获得的用于获得每个初始类的抽头系数的正规方程(的X矩阵和Y矢量)来获得其中根据与合并类数目对应的合并模式来合并初始类的每个合并类的抽头系数，如图5的步骤S36和S37中所描述的那样。此外，滤波器单元163通过使用每个合并类的抽头系数来确定使成本最小化的合并类数目，作为所采用的合并类数目，并且处理从步骤S164进行至步骤S165。
在步骤S165中，滤波器单元163的类分类单元164对来自局部解码单元162的解码图像的关注像素执行初始类分类，并且处理进行至步骤S166。
在步骤S166中，滤波器单元163的合并转换单元165根据与所采用的合并类数目对应的合并模式，将通过类分类单元164的类分类获得的关注像素的初始类转换为合并类，并且处理进行至步骤S167。
在步骤S167中，滤波器单元163执行滤波处理作为预测处理，该预测处理将预测方程应用于解码图像，该预测方程执行在步骤S164中获得的每个合并类的抽头系数之中的关注像素的合并类的抽头系数与解码图像的像素的积和运算，以生成经滤波图像。经滤波图像从滤波器单元163被提供给编码单元161和局部解码单元162。在对下一帧执行的步骤S161和步骤S162的处理中使用从滤波器单元163提供给编码单元161和局部解码单元162的经滤波图像。
此外，滤波器单元163将所采用的合并类数目和每个合并类的抽头系数提供给编码单元161作为滤波器信息。
此后，处理从步骤S167进行至步骤S168，并且编码单元161生成并发送编码比特流，该编码比特流包括在步骤S161中获得的编码数据以及所采用的合并类数目和每个合并类的抽头系数作为由滤波器单元163获得的滤波器信息。
图60是描述图58的解码装置170的解码处理的概要的流程图。
例如，与图59的编码处理类似，以帧为单位执行根据图60的流程图的处理。
在步骤S181中，解析单元171(图58)接收从编码装置160传送的编码比特流，解析所采用的合并类数目和每个合并类的抽头系数作为包括在编码比特流中的滤波器信息，并且将滤波器信息提供给滤波器单元173。此外，解析单元171将包括在编码比特流中的编码数据提供给解码单元172，并且处理从步骤S18进行至步骤S182
在步骤S182，解码单元172通过使用来自滤波器单元173的经滤波图像对来自解析单元171的编码数据进行解码，并且将根据作为结果获得的解码图像提供给滤波器单元173，并且处理进行至步骤S183。
在步骤S183中，滤波器单元173的类分类单元174对来自解码单元172的解码图像的关注像素执行初始类分类，并且处理进行至步骤S184。
在步骤S184中，滤波器单元173的合并转换单元175根据与来自解析单元171的所采用的合并类数目对应的合并模式，将通过类分类单元174的类分类获得的关注像素的初始类转换为合并类，并且处理进行至步骤S185。
在步骤S185中，滤波器单元173通过使用来自解析单元171的每个合并类的抽头系数，对来自解码单元172的解码图像执行作为类分类预测处理的滤波处理，以生成经滤波图像。
即，滤波器单元173执行作为预测处理的滤波处理，该预测处理将预测方程应用于解码图像，该预测方程执行来自解析单元171的每个合并类的抽头系数之中的关注像素的合并类的抽头系数与解码图像的像素的积和运算，以生成经滤波图像。
经滤波图像从滤波器单元173被提供给解码单元172，并且被输出作为通过对原始图像进行解码获得的最终解码图像。
从滤波器单元173提供给解码单元172的经滤波图像在针对解码图像的下一帧执行的步骤S182的处理中被使用。
注意，此处，作为用信号通知将初始类转换为合并类的合并模式(所采用的合并模式)的方法，采用了通过包括在编码比特流中来传送所采用的合并类数目的方法，但是作为用信号通知所采用的合并模式的方法，可以采用通过与GALF的情况类似地与所采用的合并类数目一起或者代替所采用的合并类数目包括在编码比特流中来传送所采用的合并模式的方法。然而，与传送所采用的合并模式的情况相比，可以通过传送所采用的合并类数目来减少开销。另一方面，在传送所采用的合并模式的情况下，可以采用与GALF的类分类类似的语法。
<编码装置160的配置示例>
图61是示出图58的编码装置160的详细配置示例的框图。
注意，在以下描述的框图中，为了避免使该图复杂化，适当地省略了提供用于处理每个块的信息(数据)的线路的描述。
在图61中，编码装置160包括A/D转换单元201、排序缓冲器202、计算单元203、正交变换单元204、量化单元205、可逆编码单元206和累积缓冲器207。此外，编码装置160包括逆量化单元208、逆正交变换单元209、计算单元210、ILF 211、帧存储器212、选择单元213、帧内预测单元214、运动预测补偿单元215、预测图像选择单元216和速率控制单元217。
A/D转换单元201执行模拟信号的原始图像到数字信号的原始图像的A/D转换，并且将原始图像提供给排序缓冲器202以用于存储。
排序缓冲器202根据图片组(GOP)从显示顺序按照编码(解码)的顺序对原始图像的帧进行排序，并且将其提供给计算单元203、帧内预测单元214、运动预测补偿单元215和ILF 211。
计算单元203从来自排序缓冲器202的原始图像中减去经由预测图像选择单元216从帧内预测单元214或运动预测补偿单元215提供的预测图像，并且将通过该减法获得的残差(预测残差)提供给正交变换单元204。
例如，在要进行帧间编码的图像的情况下，计算单元203从读取自排序缓冲器202的原始图像中减去从运动预测补偿单元215提供的预测图像。
正交变换单元204对从计算单元203提供的残差执行诸如离散余弦变换或Karhunen-Loève变换的正交变换。注意，该正交变换的方法是任意的。正交变换单元204将通过正交交换获得的正交变换系数提供给量化单元205。
量化单元205对从正交变换单元204提供的正交变换系数进行量化。量化单元205基于从速率控制单元217提供的代码量的目标值(代码量目标值)来设置量化参数QP，并且执行对正交变换系数的量化。注意，用于该量化的方法是任意的。量化单元205将作为经量化的正交变换系数的编码数据提供给可逆编码单元206。
可逆编码单元206通过预定的可逆编码方法对作为来自量化单元205的编码数据的经量化正交变换系数进行编码。因为正交变换系数是在速率控制单元217的控制下量化的，因此通过可逆编码单元206的可逆编码获得的编码比特流的代码量成为由速率控制单元217设置的代码量目标值(或近似于代码量目标值)。
此外，可逆编码单元206从编码装置160中的与预测编码有关的编码信息中的每个块获取解码装置170进行解码所需的编码信息。
此处，作为编码信息，例如，存在诸如帧内预测或帧间预测的预测模式的信息、诸如运动矢量的运动信息、代码量目标值、量化参数QP、图片类型(I、P、B)、编码单位(CU)和编码树单位(CTU)等。
例如，可以从帧内预测单元214或运动预测补偿单元215获取预测模式。此外，例如，可以从运动预测补偿单元215获取运动信息。
除了获取编码信息之外，可逆编码单元206还从ILF 211获取每个类的抽头系数，作为与ILF 211中的滤波处理有关的滤波信息。
可逆编码单元206通过诸如上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等可变长度编码或算术编码或其他可逆编码，对编码信息和滤波器信息进行编码，以生成包括编码之后的编码信息和滤波器信息以及来自量化单元205的编码数据的编码比特流，并且将该编码比特流提供给累积缓冲器207。
累积缓冲器207临时累积从可逆编码单元206提供的编码比特流。累积缓冲器207中累积的编码比特流在预定定时处被读出和传送。
作为在量化单元205中量化的正交变换系数的编码数据被提供给可逆编码单元206，并且还被提供给逆量化单元208。逆量化单元208通过与由量化单元205进行的量化对应的方法对经量化的正交变换系数进行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元209。
逆正交变换单元209通过与由正交变换单元204进行的正交变换处理对应的方法，对从逆量化单元208提供的正交变换系数执行逆正交变换，并且将根据逆正交变换的结果而获得的残差提供给计算单元210。
计算单元210将经由预测图像选择单元216从帧内预测单元214或运动预测补偿单元215提供的预测图像与从逆正交变换单元209提供的残差相加，并且因此获得通过对原始图像进行解码而获得的解码图像(的一部分)并且输出解码图像。
由计算单元210输出的解码图像被提供给ILF 211。
ILF 211与例如具有学习功能的类分类预测滤波器110(图56)类似地进行配置，并且通过执行作为类分类预测处理的滤波处理，而用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的一个或两个或更多个滤波器。在ILF 211被配置成用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的两个或更多个滤波器的情况下，两个或更多个滤波器的布置顺序是任意的。
解码图像从计算单元210被提供给ILF 211，并且解码图像的原始图像从排序缓冲器202提供。
ILF 211存储其中多个合并类与针对每个合并类数目预先设置的合并模式相关联的合并信息。
ILF 211使用例如来自计算单元210的解码图像和来自排序缓冲器202的原始图像分别作为学生图像和教师图像，以执行抽头系数学习，并且获得每个初始类的抽头系数。在抽头系数学习中，使用解码图像作为学生图像来执行初始类分类，并且通过最小二乘法来获得抽头系数，对于通过初始类分类获得的每个初始类，抽头系数在统计上使通过由抽头系数和预测抽头形成的预测方程获得的作为教师图像的原始图像的预测值的预测误差最小化。
ILF 211执行与通过使用与合并信息中包括的多个合并类中的每个合并类对应的合并模式确定所采用的合并类数目(图8)的处理类似的处理，以将合并信息中包括的多个合并类之中的使成本(例如，在图8的步骤S67中获得的成本dist+λ×coeffBit)最小化的合并类数目确定为所采用的合并类数目。
注意，在ILF 211中，在作为用于在确定所采用的合并类数目的处理中获得确定所采用的合并类数目的成本的滤波处理(图8)的步骤S64的处理之前的步骤S63中，与合并模式确定处理(图5)中的步骤S36和S37类似，通过使用当在抽头系数学习中获得每个初始类的抽头系数时所制定的正规方程(的X矩阵和Y矢量)，来获得合并信息中包括的多个合并类数目中的每个的每个合并类的抽头系数。
ILF 211将所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数提供给可逆编码单元206作为滤波器信息。
此外，ILF 211例如从计算单元210顺序地选择解码图像的像素作为关注像素。ILF211对关注像素执行初始类分类，并且获得关注像素的初始类。
此外，ILF 211根据与所采用的合并类数目对应的合并模式，将关注像素的初始类转换为合并类。ILF 211在通过根据与所采用的合并类数目对应的合并模式的转换获得的每个合并类的抽头系数之中获取(读取)关注像素的合并类的抽头系数。然后，ILF 211从解码图像中选择关注像素附近的像素作为预测抽头，并且执行作为预测处理的滤波处理，该预测处理将预测方程应用于解码图像，该预测方程执行关注像素的合并类的抽头系数与作为预测抽头的解码图像的像素的积和运算，以生成经滤波图像。注意，在ILF 211中的类分类中，例如，通过解码图像的2×2像素的左上像素的类分类获得的类可以用作2×2像素中的每个像素的类。
由ILF 211生成的经滤波图像被提供给帧存储器212。
帧存储器212临时存储从ILF 211提供的经滤波图像。存储在帧存储器212中的经滤波图像作为参考图像被提供给选择单元213，该参考图像用于在必要的定时处生成预测图像。
选择单元213选择从帧存储器212提供的参考图像的提供目的地。例如，在帧内预测单元214执行帧内预测的情况下，选择单元213将从帧存储器212提供的参考图像提供给帧内预测单元214。此外，例如，在运动预测补偿单元215执行帧间预测的情况下，选择单元213将从帧存储器212提供的参考图像提供给运动预测补偿单元215。
帧内预测单元214使用从排序缓冲器202提供的原始图像和经由选择单元213从帧存储器212提供的参考图像，例如，使用预测单元(PU)作为处理单元，执行帧内预测(画面内预测)。帧内预测单元214基于预定成本函数(例如，RD成本等)选择最佳帧内预测模式，并且将在最佳帧内预测模式中生成的预测图像提供给预测图像选择单元216。此外，如上所述，帧内预测单元214向可逆编码单元206等适当地提供指示基于成本函数选择的帧内预测模式的预测模式。
运动预测补偿单元215通过使用从排序缓冲器202提供的原始图像和经由选择单元213从帧存储器212提供的参考图像并且使用例如PU作为处理单元来执行运动预测(帧间预测)。此外，运动预测补偿单元215根据通过运动预测检测到的运动矢量来执行运动补偿，并且生成预测图像。运动预测补偿单元215在预先准备的多种帧间预测模式下执行帧间预测，并且生成预测图像。
运动预测补偿单元215基于针对多个帧间预测模式的每个获得的预测图像的预定的成本函数来选择最佳的帧间预测模式。此外，运动预测补偿单元215将以最佳帧间预测模式生成的预测图像提供给预测图像选择单元216。
运动预测补偿单元215将指示基于成本函数选择的帧间预测模式的预测模式和诸如对在帧间预测模式下编码的编码数据进行解码所需的运动矢量的运动信息等提供给可逆编码单元206。
预测图像选择单元216选择要提供给计算单元203和计算单元210的预测图像的提供源(帧内预测单元214或运动预测补偿单元215)，并且将从所选择的提供源提供的预测图像提供给计算单元203和计算单元210。
速率控制单元217基于累积在累积缓冲器207中的编码比特流的代码量来控制量化单元205中的量化操作的速率，使得不会发生上溢或下溢。即，速率控制单元217设置编码比特流的目标代码量，并将该目标代码量提供给量化单元205，使得不发生累积缓冲器207的上溢和下溢。
注意，在图61中，计算单元203到可逆编码单元206对应于图58的编码单元161，逆量化单元208到计算单元210对应于图58的局部解码单元162，并且ILF 211对应于图58的滤波器单元163。
<编码处理>
图62是示出图61的编码装置160的编码处理的示例的流程图。
注意，图62等中所示的编码处理的各个步骤的顺序是为了便于数目的顺序，并且实际编码处理的每个步骤被适当地并行并且以必要的顺序执行。这同样适用于稍后描述的处理。
在编码装置160中，ILF 211临时存储从计算单元210提供的解码图像，并且临时存储从排序缓冲器202提供的来自计算单元210的解码图像的原始图像。
然后，编码装置160(未示出的控制单元)在步骤S201中确定当前定时是否是用于更新滤波器信息的更新定时。
此处，例如，可以预先针对每个或更多个帧(图片)、针对每个或更多个序列、针对每个或更多个切片、针对诸如CTU的预定块的每一行或更多行等判定滤波器信息的更新定时。
此外，作为滤波器信息的更新定时，除了诸如针对每个帧或更多个帧(图片)的定时的周期性(固定)定时之外，还可以采用所谓的动态定时，例如，经滤波的图像的S/N变得等于或小于阈值时的定时(经滤波的图像相对于原始图像的误差变得等于或大于阈值时的定时)或残差(的绝对值等的和)变得等于或大于阈值时的定时。
此处，例如，假设ILF 211使用解码图像和原始图像的一帧来执行抽头系数学习，并且每一帧的定时是滤波器信息的更新定时。
在步骤S201中确定当前定时不是滤波器信息的更新定时的情况下，处理跳过步骤S202至S205，并且进行至步骤S206。
此外，在步骤S201中确定当前定时是滤波器信息的更新定时的情况下，处理进行至步骤S202，并且ILF 211执行抽头系数学习以用于获得每个初始类的抽头系数。
即，ILF 211使用例如在先前的更新定时与当前的更新定时之间存储的解码图像和原始图像(此处为提供给ILF 211的最新一帧的解码图像和原始图像)，以执行抽头系数学习以获得每个初始类的抽头系数。
在步骤S203中，ILF 211通过根据与合并类数目对应的合并模式合并初始类，来将合并信息中包括的多个合并类中的每个转换为合并类，并且与图5中的步骤S36和S37类似，通过使用由抽头系数学习制定的正规方程获得每个合并类的抽头系数。
此外，ILF 211通过使用每个合并类的抽头系数对多个合并类中的每个执行滤波处理来获得成本(例如，在图8的步骤S67中获得的成本dist+λ×coeffBit)。然后，ILF 211将多个合并类之中的使成本最小化的合并类数目确定为所采用的合并类数目，并且处理从步骤S203进行至步骤S204。
在步骤S204中，ILF 211将所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数提供给可逆编码单元206作为滤波器信息。可逆编码单元206将来自ILF211的滤波信息设置为传送目标，并且处理从步骤S204进行至步骤S205。在稍后描述的步骤S206中执行的预测编码处理中，设置为传送目标的滤波器信息被包括在编码比特流中并被传送。
在步骤S205中，ILF 211利用在最新步骤S203中确定的所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数来更新用于类分类预测处理的所采用的合并类数目和抽头系数，并且处理进行至步骤S206。
在步骤S207中，对原始图像执行预测编码处理，并且编码处理结束。
图63是示出图62的步骤S206中的预测编码处理的示例的流程图。
在预测编码处理中，在步骤S211中，A/D转换单元201对原始图像执行A/D转换，并且将原始图像提供给排序缓冲器202，并且处理进行至步骤S112。
在步骤S212中，排序缓冲器202存储来自A/D转换单元201的原始图像，并且按编码顺序排序和输出原始图像，并且处理进行至步骤S213。
在步骤S213中，帧内预测单元214以帧内预测模式执行帧内预测处理，并且处理进行至步骤S214。在步骤S214中，运动预测补偿单元215执行用于以帧间预测模式执行运动预测和运动补偿的帧间运动预测处理，并且处理进行至步骤S215。
在帧内预测单元214的帧内预测处理和运动预测补偿单元215的帧间运动预测处理中，计算各种预测模式的成本函数，并且生成预测图像。
在步骤S215中，预测图像选择单元216基于由帧内预测单元214和运动预测补偿单元215获得的各个成本函数来确定最佳预测模式。然后，预测图像选择单元216从由帧内预测单元214生成的预测图像和由运动预测补偿单元215生成的预测图像中选择并输出最佳预测模式的预测图像，并且处理从步骤S215进行至步骤S216。
在步骤S216中，计算单元203计算作为由排序缓冲器202输出的原始图像的编码目标的目标图像与由预测图像选择单元216输出的预测图像之间的残差，并且将该残差输出至正交变换单元204，并且处理进行至步骤S217。
在步骤S217中，正交变换单元204对来自计算单元203的残差进行正交变换，将作为结果获得的正交变换系数提供给量化单元205，并且处理进行至步骤S218。
在步骤S218中，量化单元205对来自正交变换单元204的正交变换系数进行量化，并且将通过量化获得的量化系数提供给可逆编码单元206和逆量化单元208，并且处理进行至步骤S219。
在步骤S219中，逆量化单元208对来自量化单元205的量化系数进行逆量化，将作为结果获得的正交变换系数提供给逆正交变换单元209，并且处理进行至步骤S220。在步骤S220中，逆正交变换单元209对来自逆量化单元208的正交变换系数执行逆正交变换，并且将作为结果获得的残差提供给计算单元210，并且处理进行至步骤S221。
在步骤S221中，计算单元210将来自逆正交变换单元209的残差与由预测图像选择单元216输出的预测图像相加，并且生成与作为计算单元203中的残差计算的目标的原始图像对应的解码图像。计算单元210将解码图像提供给ILF 211，并且处理从步骤S221进行至步骤S222。
在步骤S222中，ILF 211将作为类分类预测处理的滤波处理应用于来自计算单元210的解码图像，将通过滤波处理获得的经滤波图像提供给帧存储器212，并且处理从步骤S222进行至步骤S223。
在步骤S222的类分类预测处理中，执行与类分类预测滤波器110(图56)的处理类似的处理。
即，ILF 306对来自计算单元210的解码图像的关注像素执行初始类分类，并且获得关注像素的初始类。此外，ILF 211根据与在图62的步骤S205中更新的所采用的合并类数目对应的合并模式，将关注像素的初始类转换为合并类。ILF 211从在图62的步骤S205中更新的每个合并类的抽头系数中获取关注像素的合并类的抽头系数。此后，ILF 211对解码图像执行作为预测处理的滤波处理，该预测处理应用通过使用关注像素的合并类的抽头系数形成的预测方程，以生成经滤波图像。将经滤波图像从ILF211提供给帧存储器212。
在步骤S223中，帧存储器212存储从ILF 211提供的经滤波图像，并且处理进行至步骤S224。存储在帧存储器212中的经滤波图像被用作参考图像，在步骤S213和步骤S114中根据该参考图像生成预测图像。
在步骤S224中，可逆编码单元206对作为来自量化单元205的量化系数的编码数据进行编码，并且生成包括编码数据的编码比特流。此外，可逆编码单元206根据需要对诸如在由量化单元205进行的量化的量化参数QP、在由帧内预测单元214进行的帧内预测处理中获得的预测模式、以及在由运动预测补偿单元215进行的帧间运动预测处理中获得的预测模式和运动信息等的编码信息进行编码，并且将编码信息包括在编码比特流中。
此外，可逆编码单元206根据需要对在图62的步骤S203中被设置为传送目标的滤波器信息进行编码，并且将滤波器信息包括在编码比特流中。然后，可逆编码单元206将编码比特流提供至累积缓冲器207，并且处理从步骤S224进行至步骤S225。
在步骤S225中，累积缓冲器207累积来自可逆编码单元206的编码数据，并且处理进行至步骤S226。适当地读取和传送累积缓冲器207中累积的编码比特流。
在步骤S226中，速率控制单元217基于累积缓冲器207中累积的编码比特流的代码量(生成的代码量)来控制量化单元205的量化运算的速率使得不发生上溢或下溢，并且结束编码处理。
<解码装置170的配置示例>
图64是示出图58的解码装置170的详细配置示例的框图。
在图64中，解码装置170具有累积缓冲器301、可逆解码单元302、逆量化单元303、逆正交变换单元304、计算单元305、ILF 306、排序缓冲器307和D/A转换单元308。此外，解码装置170具有帧存储器310、选择单元311、帧内预测单元312、运动预测补偿单元313和选择单元314。
累积缓冲器301临时累积从编码装置160发送的编码比特流并且在预定时刻处将编码比特流提供给可逆解码单元302。
可逆解码单元302从累积缓冲器301接收编码比特流，并且通过与图61的可逆编码单元206的编码方法对应的方法对编码比特流进行解码。
然后，可逆解码单元302将量化系数作为包括在编码比特流的解码结果中的编码数据提供给逆量化单元303。
此外，可逆解码单元302具有执行解析的功能。可逆解码单元302对包括在编码比特流的解码结果中的必要的编码信息和滤波器信息进行解析，并且将编码信息提供给帧内预测单元312、运动预测补偿单元313和其他必要块。此外，可逆解码单元302将滤波器信息提供给ILF 306。
逆量化单元303通过与图61中的量化单元205的量化方法相对应的方法对作为来自可逆解码单元302的编码数据的量化系数执行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元304。
逆正交变换单元304通过与图61的正交变换单元204的正交变换方法相对应的方法，对从逆量化单元303提供的正交变换系数执行逆正交变换，并且将根据结果获得的残差提供给计算单元305。
除了从逆正交变换单元304提供残差之外，还经由选择单元314向计算单元305提供来自帧内预测单元312或运动预测补偿单元313的预测图像。
计算单元305将来自逆正交变换单元304的残差与来自选择单元314的预测图像相加，以生成解码图像，并且将该解码图像提供给ILF 306。
IFL306存储与ILF 211(图61)中的合并信息类似的合并信息。
ILF 306与例如不具有学习功能的类分类预测滤波器110(图56)类似地配置，并且通过执行作为类分类预测处理的滤波处理，与图61中的ILF 211类似地用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的一个或两个或更多个滤波器。
ILF 306顺序地选择来自计算单元305的解码图像的像素作为关注像素。ILF 306对关注像素执行初始类分类，并且获得关注像素的初始类。此外，ILF 211根据合并信息中包括的合并模式中的与从可逆解码单元302提供的滤波器信息中包括的所采用的合并类数目相对应的合并模式将关注像素的初始类转换为合并类。ILF 306获取从可逆解码单元302提供的滤波器信息中包括的每个合并类的抽头系数中的关注像素的合并类的抽头系数。然后，ILF 306从解码图像中选择关注像素附近的像素作为预测抽头，并且执行滤波处理作为将预测方程应用于滤波图像的预测处理，该预测方程执行关注像素的类的抽头系数与解码图像的像素的乘积和运算作为预测抽头，以生成并输出滤波图像。注意，在ILF 306中的类分类中，例如，可以将通过2×2像素的左上像素的类分类获得的类用作2×2像素的每个像素的类，类似于ILF 211。
由ILF 306输出的滤波图像是与由图61的ILF 211输出的滤波图像类似的图像，并且被提供给排序缓冲器307和帧存储器310。
排序缓冲器307临时存储从ILF 306提供的滤波图像，将滤波图像的帧(图片)的布置从编码(解码)顺序排序为显示顺序，并且将滤波图像提供给D/A转换单元308。
D/A转换单元308对从排序缓冲器307提供的滤波图像执行D/A转换，并且将滤波图像输出至显示器(未示出)以进行显示。
帧存储器310临时存储从ILF 306提供的滤波图像。此外，帧存储器310在预定时刻处或者基于诸如帧内预测单元312或运动预测补偿单元313的外部请求，将滤波图像作为要用于生成预测图像的参考图像提供给选择单元311。
选择单元311选择从帧存储器310提供的参考图像的提供目的地。在对帧内编码图像进行解码的情况下，选择单元311将从帧存储器310提供的参考图像提供给帧内预测单元312。此外，在对帧间编码图像进行解码的情况下，选择单元311将从帧存储器310提供的参考图像提供给运动预测补偿单元313。
帧内预测单元312根据从可逆解码单元302提供的编码信息中包括的预测模式，在图61的帧内预测单元214中使用的帧内预测模式中，使用经由选择单元311从帧存储器310提供的参考图像执行帧内预测。然后，帧内预测单元312将通过帧内预测获得的预测图像提供给选择单元314。
运动预测补偿单元313根据从可逆解码单元302提供的编码信息中包括的预测模式，在图61的运动预测补偿单元215中使用的帧间预测模式下，使用经由选择单元311从帧存储器310提供的参考图像执行帧间预测。通过根据需要使用从可逆解码单元302提供的编码信息中包括的运动信息等来执行帧间预测。
运动预测补偿单元313将通过帧间预测获得的预测图像提供给选择单元314。
选择单元314选择从帧内预测单元312提供的预测图像或从运动预测补偿单元313提供的预测图像，并且将预测图像提供给计算单元305。
注意，在图64中，可逆解码单元302对应于图58的解析单元171，逆量化单元303到计算单元305对应于图58的解码单元172，并且ILF 306对应于图58的滤波器单元173。
<解码处理>
图65是示出图64的解码装置170的解码处理的示例的流程图。
在解码处理中，在步骤S301中，累积缓冲器301临时累积从编码装置160发送的编码比特流，并且适当地将编码比特流提供给可逆解码单元302，并且处理进行至步骤S302。
在步骤S302中，可逆解码单元302接收并解码从累积缓冲器301提供的编码比特流，并且将量化系数作为包括在编码比特流的解码结果中的编码数据提供给逆量化单元303。
此外，在编码比特流的解码结果包括滤波器信息和编码信息的情况下，可逆解码单元302解析滤波器信息和编码信息。然后，可逆解码单元302将必要的编码信息提供给帧内预测单元312、运动预测补偿单元313和其他必要的块。此外，可逆解码单元302将滤波器信息提供给ILF 306。
此后，处理从步骤S302进行至步骤S303，并且ILF 306确定是否已经从可逆解码单元302提供了包括所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数的滤波器信息。
在步骤S303中确定未提供滤波器信息的情况下，处理跳过步骤S304并且进行至步骤S305。
此外，在步骤S303中确定已提供了滤波器信息的情况下，处理进行至步骤S304，并且ILF 306从可逆解码单元302获取滤波器信息中包括的所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数。此外，ILF 306通过从来自可逆解码单元302的滤波器信息中获取的所采用的合并类数目和所采用的合并类数目的每个合并类的抽头系数，更新在类分类预测处理中使用的所采用的合并类数目和抽头系数。
然后，处理从步骤S304进行至步骤S305，执行预测解码处理，并且解码处理结束。
图66是描述图65的步骤S305的预测解码处理的示例的流程图。
在步骤S311中，逆量化单元303对来自可逆解码单元302的量化系数进行逆量化，并且将根据结果获得的正交变换系数提供给逆正交变换单元304，并且处理进行至步骤S312。
在步骤S312中，逆正交变换单元304对来自逆量化单元303的正交变换系数执行逆正交变换，并且将根据结果获得的残差提供给计算单元305，并且处理进行至步骤S313。
在步骤S313中，帧内预测单元312或运动预测补偿单元313执行帧内预测处理或帧间运动预测处理，以通过使用经由选择单元311从帧存储器310提供的参考图像和从可逆解码单元302提供的编码信息来生成预测图像。然后，帧内预测单元312或运动预测补偿单元313将通过帧内预测处理或帧间运动预测处理获得的预测图像提供给选择单元314，并且处理从步骤S313进行至步骤S314。
在步骤S314中，选择单元314选择从帧内预测单元312或运动预测补偿单元313提供的预测图像，并且将该预测图像提供给计算单元305，并且处理进行至步骤S315。
在步骤S315中，计算单元305通过将来自逆正交变换单元304的残差和来自选择单元314的预测图像相加来生成解码图像。然后，计算单元305将解码图像提供给ILF 306，并且处理从步骤S315进行至步骤S316。
在步骤S316中，ILF 306对来自计算单元305的解码图像应用作为类分类预测处理的滤波处理，并且将通过滤波处理获得的滤波图像提供给排序缓冲器307和帧存储器310，并且处理从步骤S316进行至步骤S317。
在步骤S316的类分类预测处理中，执行与类分类预测滤波器110(图56)执行的处理类似的处理。
也就是说，ILF 306对来自计算单元305的解码图像的关注像素执行与ILF 211相同的初始类分类，并且获得关注像素的初始类。此外，ILF 306根据合并信息中包括的合并模式之中的与在图65的步骤S304中更新的所采用的合并类数目对应的合并模式，将关注像素的初始类转换为合并类。ILF 306在图65的步骤S304中更新的每个合并类的抽头系数中获取关注像素的合并类的抽头系数。此后，ILF 306执行滤波处理作为预测处理，该预测处理将由关注像素的合并类的抽头系数形成的预测方程应用于解码图像，以生成滤波图像。将滤波图像从ILF 306提供给排序缓冲器307和帧存储器310。
在步骤S317中，排序缓冲器307临时存储从ILF 306提供的滤波图像。此外，排序缓冲器307按照显示顺序对所存储的滤波图像进行排序，并且将经排序的滤波图像提供给D/A转换单元308，并且处理从步骤S317进行至步骤S318。
在步骤S318中，D/A转换单元308对来自排序缓冲器307的滤波图像执行D/A转换，并且处理进行至步骤S319。D/A转换后的滤波图像被输出到显示器(未示出)并在其上显示。
在步骤S319中，帧存储器310存储从ILF 306提供的滤波图像，并且解码处理结束。存储在帧存储器310中的滤波图像被用作参考图像，在步骤S313中的帧内预测处理或帧间运动预测处理中，根据该参考图像生成预测图像。
<预先设置的合并模式的其他示例>
在针对每个数目的合并类设置合并模式的情况下，即使在针对预定数目(的值)的合并类存在多个合并模式的情况下，也通过合并模式选择来选择(并设置)多个合并模式中的一个合并模式作为与预定数目的合并类相对应的合并模式。此处，在对于预定数目的合并类存在多个合并模式的情况下，合并模式被称为候选模式，并且在多个候选模式中，被选择作为与预定数目的合并类相对应的合并模式将被称为选择模式。
根据原始图像，存在如下情况：通过分类为根据与选择模式不同的候选模式获得的类的类分类，而不是通过分类为根据选择模式获得的类(合并类别)的类分类，获得与原始图像相比误差较小的滤波图像。因此，如果针对预定数目的合并类设置多个选择模式，则可以减少滤波图像的误差，并且此外，可以提高解码图像的编码效率和图像质量。然而，在针对预定数目的合并类设置多个选择模式的情况下，采用的合并模式必须被包括在编码的比特流中并且例如类似于GALF被发送，以用信号通知采用的模式。然后，在发送(采用的)合并模式的情况下，与发送(采用的)数目的合并类的情况相比，开销变大并且编码效率降低。
因此，本技术采用一种方法来在针对预定数目的合并类设置多个合并模式的情况下以比在发送合并模式的情况下更小的开销来识别用于合并类的合并模式(采用的合并模式)。
在根据一定规则将子类合并用作初始类合并并且执行子类合并的情况下，也就是说例如在如图30至图图32所描述的执行倾斜强度比子类、方向子类和活动子类的子类合并的情况下，通过倾斜强度比子类、方向子类和活动子类每个的Na、Nb、Nc的子类数目的组合(Na、Nb、Nc)，唯一地确定合并模式(Na、Nb、Nc)。因此，可以通过子类合并后的倾斜强度比子类、方向子类和活动子类的每个的Na、Nb、Nc的子类数目的组合(Na、Nb、Nc)来识别合并模式(Na、Nb、Nc)。以这种方式，通过子类合并后的倾斜强度比子类、方向子类和活动子类的每个的子类Na、Nb和Nc的子类数目的组合(Na、Nb、Nc)来识别合并模式(Na、Nb、Nc)的方法也称为子类数目的识别方法。
根据子类数目的识别方法，能够识别合并类数目相同的多个合并模式的每个合并模式。因此，与针对每个数目的合并类设置合并模式的情况相比，可以从更大数目的合并模式确定采用的合并模式。因此，可以通过执行更适合于原始图像的类分类的合并模式来合并初始类，并且可以提高解码图像的编码效率和图像质量。
此外，在子类合并之后，倾斜强度比子类、方向子类和活动子类的Na、Nb和Nc的子类数目分别是一到三个子类、一或两个子类以及一到五个子类，并且因此与作为一系列数目为二十五的GALF的合并模式(图9)相比，数据量小。因此，通过子类数目的识别方法，与GALF的情况相比，能够减少开销并且提高编码效率，子类数目的识别方法通过将子类合并后的倾斜强度比子类、方向子类和活动子类的每个的Na、Nb、Nc的子类数目组合(Na、Nb、Nc)来识别采用的合并模式(Na、Nb、Nc)。
下面将描述与组合(Na、Nb、Nc)对应的合并模式(Na、Nb、Nc)，其是针对图36所示的三十个组合(Na、Nb、Nc)中的每个以及子类合并后的倾斜强度比子类、方向子类和活动子类的每个的Na、Nb、Nc的子类数目来确定的。
图43示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、二和五的组合(3、2、5)对应的合并模式(3、2、5)以及通过其获得该合并模式(3、2、5)的子类合并。
图67是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、一和五的组合(3、1、5)对应的合并模式(3、1、5)以及通过其获得该合并模式(3、1、5)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、5)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为五个子类，即对应于索引class_idx为0的活动子类0、对应于索引class_idx为1的活动子类1、对应于索引class_idx为2至6的活动子类2、以及对应于索引class_idx为7至14的活动子类3以及对应于索引class_idx为15的活动子类4。
如图36所描述的，从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、一个和五个，可以根据5×(1×(3-1)+1)＝15获得合并模式(3、1、5)中的合并类的数目。
图45示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、二和五的组合(2、2、5)对应的合并模式(2、2、5)以及通过其获得该合并模式(2、2、5)的子类合并。
图47示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、一和五的组合(2、1、5)对应的合并模式(2、1、5)以及通过其获得该合并模式(2、1、5)的子类合并。
图68是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、二和五的组合(1、2、5)对应的合并模式(1、2、5)以及通过其获得该合并模式(1、2、5)的子类合并的图。
子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目为一、二和五的情况，对应于将倾斜强度比子类合并为一个子类(N/A类)并且执行分类为D0/D1类或H/V类的方向子类分类的情况。在将倾斜强度比子类合并为一个子类并且执行分类为D0/D1类或H/V类的方向子类分类的情况下，如图36所描述的，方向子类分类无效，并且通过这样的方向子类分类执行的类分类的合并模式也无效。本技术不使用无效的合并模式。
图51示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、一和五的组合(1、1、5)对应的合并模式(1、1、5)以及通过其获得该合并模式(1、1、5)的子类合并。
图44示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、二和四的组合(3、2、4)对应的合并模式(3、2、4)以及通过其获得该合并模式(3、2、4)的子类合并。
图69是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、一和四的组合(3、1、4)对应的合并模式(3、1、4)以及通过其获得该合并模式(3、1、4)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、4)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为四个子类，即对应于索引class_idx为0和1的活动子类0、对应于索引class_idx为2至6的活动子类1、对应于索引class_idx为7至14的活动子类2、以及对应于索引class_idx为15的活动子类3。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、一个和四个，可以根据4×(1×(3-1)+1)＝12获得合并模式(3、1、4)中的合并类的数目。
图46示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、二和四的组合(2、2、4)对应的合并模式(2、2、4)以及通过其获得该合并模式(2、2、4)的子类合并。
图70是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、一和四的组合(2、1、4)对应的合并模式(2、1、4)以及通过其获得该合并模式(2、1、4)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、4)：将倾斜强度比子类子类合并为无类和高类两个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为四个子类，即对应于索引class_idx为0和1的活动子类0、对应于索引class_idx为2至6的活动子类1、对应于索引class_idx为7至14的活动子类2、以及对应于索引class_idx为15的活动子类3。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即两个、一个和四个，可以根据4×(1×(2-1)+1)＝8获得合并模式(2、1、4)中的合并类的数目。
图71是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、二和四的组合(1、2、4)对应的合并模式(1、2、4)以及通过其获得该合并模式(1、2、4)的子类合并的图。
子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目为一、二和四的情况，对应于将倾斜强度比子类合并为一个子类(N/A类)并且执行分类为D0/D1类或H/V类的方向子类分类的情况。在将倾斜强度比子类合并为一个子类并且执行分类为D0/D1类或H/V类的方向子类分类的情况下，如图36所描述的，方向子类分类无效，并且通过这样的方向子类分类执行的类分类的合并模式也无效。本技术不使用无效的合并模式。
图52示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、一和四的组合(1、1、4)对应的合并模式(1、1、4)以及通过其获得该合并模式(1、1、4)的子类合并。
图72是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、二和三的组合(3、2、3)对应的合并模式(3、2、3)以及通过其获得该合并模式(3、2、3)的子类合并的图。
可以通过下述操作来获得合并模式(3、2、3)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为D0/D1类和H/V类两个子类；并且将活动子类子类合并为三个子类，即对应于索引class_idx为0至6的活动子类0、对应于索引class_idx为7至14的活动子类1、以及对应于索引class_idx为15的活动子类2。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、两个和三个，可以根据3×(2×(3-1)+1)＝15获得合并模式(3、2、3)中的合并类的数目。
图73是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、一和三的组合(3、1、3)对应的合并模式(3、1、3)以及通过其获得该合并模式(3、1、3)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、3)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为三个子类，即对应于索引class_idx为0至6的活动子类0、对应于索引class_idx为7至14的活动子类1、以及对应于索引class_idx为15的活动子类2。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、一个和三个，可以根据3×(1×(3-1)+1)＝9获得合并模式(3、1、3)中的合并类的数目。
图48示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、二和三的组合(2、2、3)对应的合并模式(2、2、3)以及通过其获得该合并模式(2、2、3)的子类合并。
图50示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、一和三的组合(2、1、3)对应的合并模式(2、1、3)以及通过其获得该合并模式(2、1、3)的子类合并。
图74是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、二和三的组合(1、2、3)对应的合并模式(1、2、3)以及通过其获得该合并模式(1、2、3)的子类合并的图。
子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目为一、二和三的情况，对应于将倾斜强度比子类合并为一个子类(N/A类)并且执行分类为D0/D1类或H/V类的方向子类分类的情况。在将倾斜强度比子类合并为一个子类并且执行分类为D0/D1类或H/V类的方向子类分类的情况下，如图36所描述的，方向子类分类无效，并且通过这样的方向子类分类执行的类分类的合并模式也无效。本技术不使用无效的合并模式。
图53示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、一和三的组合(1、1、3)对应的合并模式(1、1、3)以及通过其获得该合并模式(1、1、3)的子类合并。
图75是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、二和二的组合(3、2、2)对应的合并模式(3、2、2)以及通过其获得该合并模式(3、2、2)的子类合并的图。
可以通过下述操作来获得合并模式(3、2、2)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为D0/D1类和H/V类两个子类；并且将活动子类子类合并为两个子类，即对应于索引class_idx为0至14的活动子类0以及对应于索引class_idx为15的活动子类1。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、两个和两个，可以根据2×(2×(3-1)+1)＝10获得合并模式(3、2、2)中的合并类的数目。
图76是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、一和二的组合(3、1、2)对应的合并模式(3、1、2)以及通过其获得该合并模式(3、1、2)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、2)：将倾斜强度比子类子类合并为无类、弱类和强类三个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为两个子类，即对应于索引class_idx为0至14的活动子类0以及对应于索引class_idx为15的活动子类1。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、一个和两个，可以根据2×(1×(3-1)+1)＝6获得合并模式(3、1、2)中的合并类的数目。
图49示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、二和二的组合(2、2、2)对应的合并模式(2、2、2)以及通过其获得该合并模式(2、2、2)的子类合并。
图77是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、一和二的组合(2、1、2)对应的合并模式(2、1、2)以及通过其获得该合并模式(2、1、2)的子类合并的图。
可以通过下述操作来获得合并模式(2、1、2)：将倾斜强度比子类子类合并为无类和高类两个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类合并为两个子类，即对应于索引class_idx为0至14的活动子类0以及对应于索引class_idx为15的活动子类1。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即两个、一个和两个，可以根据2×(1×(2-1)+1)＝4获得合并模式(2、1、2)中的合并类的数目。
图78是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、二和二的组合(1、2、2)对应的合并模式(1、2、2)以及通过其获得该合并模式(1、2、2)的子类合并的图。
子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目为一、二和二的情况，对应于将倾斜强度比子类合并为一个子类(N/A类)并且执行分类为D0/D1类或H/V类的方向子类分类的情况。在将倾斜强度比子类合并为一个子类并且执行分类为D0/D1类或H/V类的方向子类分类的情况下，如图36所描述的，方向子类分类无效，并且通过这样的方向子类分类执行的类分类的合并模式也无效。本技术不使用无效的合并模式。
图54示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、一和二的组合(1、1、2)对应的合并模式(1、1、2)以及通过其获得该合并模式(1、1、2)的子类合并。
图79是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、二和一的组合(3、2、1)对应的合并模式(3、2、1)以及通过其获得该合并模式(3、2、1)的子类合并的图。
可以通过下述操作来获得合并模式(3、2、1)：将倾斜强度比子类分类为无类、弱类和强类三个子类；将方向子类子类合并为D0/D1类和H/V类两个子类；并且将活动子类子类分类为N/A类一个子类。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、两个和一个，可以根据1×(2×(3-1)+1)＝5获得合并模式(3、2、1)中的合并类的数目。
图80是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为三、一和一的组合(3、1、1)对应的合并模式(3、1、1)以及通过其获得该合并模式(3、1、1)的子类合并的图。
可以通过下述操作来获得合并模式(3、1、1)：将倾斜强度比子类分类为无类、弱类和强类三个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类分类为N/A类一个子类。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即三个、一个和一个，可以根据1×(1×(3-1)+1)＝3获得合并模式(3、1、1)中的合并类的数目。
图81是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、二和一的组合(2、2、1)对应的合并模式(2、2、1)以及通过其获得该合并模式(2、2、1)的子类合并的图。
可以通过下述操作来获得合并模式(2、2、1)：将倾斜强度比子类分类为无类和高类两个子类；将方向子类子类合并为D0/D1类和H/V类两个子类；并且将活动子类子类分类为N/A类一个子类。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即两个、两个和一个，可以根据1×(2×(2-1)+1)＝3获得合并模式(2、2、1)中的合并类的数目。
图82是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为二、一和一的组合(2、1、1)对应的合并模式(2、1、1)以及通过其获得该合并模式(2、1、1)的子类合并的图。
可以通过下述操作来获得合并模式(2、1、1)：将倾斜强度比子类分类为无类和高类两个子类；将方向子类子类合并为N/A类一个子类；并且将活动子类子类分类为N/A类一个子类。
从子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目即两个、一个和一个，可以根据1×(1×(2-1)+1)＝2获得合并模式(2、1、1)中的合并类的数目。
图83是示出与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、二和一的组合(1、2、1)对应的合并模式(1、2、1)以及通过其获得该合并模式(1、2、1)的子类合并的图。
子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目为一、二和一的情况，对应于将倾斜强度比子类合并为一个子类(N/A类)并且执行分类为D0/D1类或H/V类的方向子类分类的情况。在将倾斜强度比子类合并为一个子类并且执行分类为D0/D1类或H/V类的方向子类分类的情况下，如图36所描述的，方向子类分类无效，并且通过这样的方向子类分类执行的类分类的合并模式也无效。本技术不使用无效的合并模式。
图55示出了与将子类合并后的倾斜强度比子类、方向子类和活动子类的子类的各个数目设置为一、一和一的组合(1、1、1)对应的合并模式(1、1、1)以及通过其获得该合并模式(1、1、1)的子类合并。
<用于发送子类数目的组合的语法>
图84是示出用于发送子类数目的组合的语法的示例的图。
在通过子类数目的识别方法来识别采用的合并模式(Na、Nb、Nc)的情况下，必须从编码装置向解码装置发送识别采用的合并模式(Na、Nb、Nc)的子类数目的组合(在下文中，也称为采用的组合)(Na、Nb、Nc)。
在图84中，alf_dirRatio_minus1、alf_dir_minus1、alf_act_var_minus1表示针对其获得采用的合并模式的子类合并后的倾斜强度比子类、方向子类、以及活动子类Na、Nb和Nc的子类数目。
也就是说，将aLf_dirRatio_minus1设置为针对其获得采用的合并模式的子类合并后的倾斜强度比子类的子类数目Na-1。在alf_dir_minus1中，表示针对其获得采用的合并模式的子类合并后的方向子类的子类数目Nb-1。在alf_act_var_minus1中，针对其获得采用的合并模式的子类合并后的活动子类的子类数目Nc-1。
倾斜强度比子类的子类数目是一至三中的一个，方向子类的子类数目是一或二，并且活动子类的子类数目是一至五中的一个。因此，采用2位、1位和3位(或更多)变量作为分别表示倾斜强度比子类、方向子类和活动子类的数目的alf_dirRatio_minus1、alf_dir_minus1和alf_act_var_minus1。
根据图84的语法，仅在表示倾斜强度比子类的子类数目Na的alf_dirRatio_minus1大于零的情况下，才发送表示方向子类的子类数目Nb的alf_dir_minus1。
也就是说，如图36等所描述的，在将倾斜强度比子类合并为N/A类一个子类的情况下，将方向子类分类分类为D0/D1类或H/V类，进而，将作为通过这样的方向子类分类执行的类分类的合并模式——即倾斜强度比子类的子类数目Na为一个、方向子类的子类数目Nb与两个子类的数目对应的合并模式——设为无效且不被使用。
因此，作为采用的组合的子类数目的组合，不包括倾斜强度比子类的子类数目(倾斜强度比的子类分类的子类数目)为一个以及方向子类的子类数目(方向子类分类的子类的子类数目)等于数目二或大于二的任何组合。
因此，在采用的组合(Na、Nb、Nc)中，在倾斜强度比子类的子类数目Na为一的情况下，方向子类的子类数目Nb不是二，而是必然为一。
如上所述，在倾斜强度比子类的子类数目Na为一个的情况下，方向子类的子类数目Nb被确定为一个，并且因此不需要发送方向子类的子类数目Nb。而且，在需要发送方向子类的子类数目Nb的情况下，意味着倾斜强度比子类的子类数目Na为两个或两个以上。
因此，在图84的语法中，限定了仅在倾斜强度比子类的子类数目Na为两个或两个以上的情况下(在alf_dirRatio_minus1大于0的情况下)发送方向子类的子类数目Nb(表示alf_dir_minus1)。
因此，在倾斜强度比子类的子类数目Na为两个或两个以上的情况下，图84的句法所发送的采用组合中包括方向子类的子类数目Nb。
根据图84的语法，在倾斜强度比子类的子类数目Na为一个的情况下，不需要发送方向子类的子类数目Nb。因此，与总是发送方向子类的子类数目Nb的情况相比，能够增加(提高)编码效率。
<应用本技术的类分类预测滤波器的配置示例>
图85是示出应用本技术的类分类预测滤波器的配置示例的框图。
也就是说，图85示出了通过基于子类数目的识别方法来识别采用的合并模式的类分类预测滤波器410的配置示例。
注意，在该图中，与图56的类分类预测滤波器110的部分相对应的部分由相同的附图标记表示，并且以下将适当地省略对其的描述。
在图85中，类分类预测滤波器410包括类别分类单元111、抽头系数获取单元113、预测单元114和合并转换单元412。
因此，类分类预测滤波器410与类分类预测滤波器110的共同之处在于，其具有类分类单元111、抽头系数获取单元113和预测单元114。然而，类分类预测滤波器410与类分类预测滤波器110的不同之处在于，类分类预测滤波器410具有合并转换单元412而不是合并转换单元112。
合并转换单元412根据针对子类合并后的倾斜强度比子类、方向子类和活动子类的子类数目(子类分类的倾斜强度比、方向和活动总和的各个子类的子类数目)的子类分类中的子类的每个组合确定的合并模式(下文中，也简称为针对子类数目的每个组合确定的合并模式)，将来自类分类单元111的关注像素的初始类转换为合并类。也就是说，例如，合并转换单元412根据与针对图36中描述的子类数目的每个组合确定的合并模式的(有效)二十五模式之中的采用的组合对应的合并模式，将关注像素的初始类转换为合并类。合并转换单元412将关注像素的合并类提供给抽头系数获取单元113。
在抽头系数获取单元113中，从每个合并类的抽头系数中选择来自合并转换单元412的关注像素的合并类的抽头系数，并且将其提供给预测单元114。然后，预测单元114对目标图像执行作为预测处理的滤波处理，并且输出通过滤波处理生成的滤波图像，该预测处理使用来自抽头系数获取单元113的关注像素的合并类的抽头系数来应用预测方程。
在类分类预测滤波器410中，可以将采用的组合和每个合并类的抽头系数从外部提供给类分类预测滤波器410。
此外，类分类预测滤波器410可以包括执行抽头系数学习的学习单元421。可以说具有学习单元421的类分类预测滤波器410是具有学习功能的类分类预测滤波器410。
在学习单元421中，可以通过使用教师图像和学生图像来获得每个合并类的抽头系数，并且可以将其存储在抽头系数获取单元113中。此外，学习单元421可以确定采用的组合，并且将采用的组合提供给合并转换单元412。
在将类分类预测滤波器410应用于编码装置的情况下，可以采用编码目标的原始图像作为教师图像，并且可以采用通过对原始图像进行编码和本地解码而获得的解码图像作为学生图像。
学习单元421使用解码图像作为学生图像来执行与类分类单元111的类分类类似的类分类，并且通过最小二乘法执行抽头系数学习以获得抽头系数，该最小二乘法对于通过类分类获得的每个初始类，统计地最小化由抽头系数和预测抽头形成的预测方程式获得的教师图像的预测值的预测误差。
此外，学习单元421通过执行与通过使用与子类数目的多个组合的每个组合对应的每个合并模式作为针对子类数目的每个组合而确定的合并模式来确定采用的合并模式的数目(图8)的处理类似的处理，将识别最小化成本(例如，在图8的步骤S67中获得的成本dist+λ×coeffBit)的合并模式的子类数目确定为与对应于子类数目的多个组合的合并模式中的采用组合。
此外，学习单元421在步骤S64的处理之前执行与步骤S63中的合并模式确定处理(图5)的步骤S36和步骤S37类似的处理，这是用于获得确定来确定采用的合并模式的数目(图8)的处理的成本的滤波处理，从而获得根据与采用的组合对应的合并模式而获得的每个合并类的抽头系数。
学习单元421将采用的组合提供给合并转换单元412，并且将根据与采用的组合相对应的合并模式获得的每个合并类的抽头系数提供给抽头系数获取单元113。
应用本技术的编码装置和解码装置的共同之处在于，通过图30至图32的子类合并来执行初始类合并。然后，编码装置从识别通过子类合并而获得的合并模式的子类数目的多个组合中确定采用的组合，并且将该组合发送至解码装置。解码装置根据来自编码装置的采用的组合来识别合并模式。然后，解码装置执行初始类分类，并且根据从采用的组合识别出的合并模式(与采用的组合相对应的合并模式)将通过初始类分类获得的初始类转换为合并类。
图86是描述由图85的类分类预测滤波器410执行的类分类预测处理的示例的流程图。
在步骤S411中，类分类单元111顺序地选择要被选择作为解码图像(作为目标图像)的关注像素的像素，作为关注像素，并且处理进行至步骤S412。
在步骤S412中，类分类单元111对关注像素执行初始类分类，并且获得关注像素的初始类。类分类单元111将关注像素的初始类提供给合并转换单元412，并且处理从步骤S412进行至步骤S413。
在步骤S413中，合并转换单元412根据与采用的组合相对应的合并模式，将来自类分类单元111的关注像素的初始类转换为合并类。合并转换单元412将关注像素的合并类提供给抽头系数获取单元113，并且处理从步骤S413进行至步骤S414。
在步骤S414中，抽头系数获取单元113从每个合并类的抽头系数中，获取来自合并转换单元412的关注像素的合并类的抽头系数，并且处理进行至步骤S415。
在步骤S415中，预测单元114执行滤波处理，作为将由来自抽头系数获取单元113的关注像素的合并类的抽头系数所形成的预测方程应用于解码图像的预测处理。
也就是说，预测单元114从解码图像中选择要作为关注像素的预测抽头的像素，并且计算通过使用该预测抽头和关注像素的合并类的抽头系数形成的一阶预测方程，从而获得原始图像相对于关注像素的像素(的像素值)的预测值。然后，预测单元114使用预测值作为像素值来生成图像，将图像作为滤波图像输出，并且结束类分类预测处理。
<应用本技术的图像处理系统的一个实施方式>
图87是示出应用本技术的图像处理系统的一个实施方式的概要的框图。
注意，在该图中，与图58的情况中的部分相对应的部分由相同的附图标记表示，并且以下将适当地省略对其的描述。
在图87中，图像处理系统具有编码装置460和解码装置470。
编码装置460包括编码单元161、局部解码单元162和滤波器单元463。
因此，编码装置460与图58的编码装置160的共同之处在于其具有编码单元161和局部解码单元162，而与编码装置160的不同之处在于，编码装置460具有滤波器单元463而不是滤波器单元163。
滤波器单元463类似于例如具有学习功能的类分类预测滤波器410(图85)进行配置，并且包括类分类单元164和合并转换单元465。因此，滤波器单元463与图58中的滤波器单元163的共同之处在于其具有类分类单元164，并且与滤波器单元163的不同之处在于滤波器单元463具有合并转换单元465而不是合并转换单元165。
滤波器单元463使用来自局部解码单元162的解码图像和用于解码图像的原始图像作为学生图像和教师图像来执行抽头系数学习，并且获得每个类的抽头系数。
此外，滤波器单元463通过执行与通过使用对通过子类合并获得的子类数目而确定的(多个)合并模式来确定采用的合并模式的数目(图8)的处理类似的处理，将识别最小化成本的合并模式的子类数目的组合确定为通过子类合并获得的子类数目的组合中的采用组合。
此外，在确定采用的组合时，滤波器单元463使用通过抽头系数学习获得的正规方程(的X矩阵和Y矢量)执行与合并模式确定处理(图5)的步骤S36和步骤S37类似的处理，从而获得通过与采用的组合对应的合并模式获得的每个合并类的抽头系数。
然后，滤波器单元463在类分类单元164中例如使用来自局部解码单元162的解码图像，将GALF等的类分类作为通过多个特征量的子类分类执行的初始类分类，以获得关注像素的初始类。此外，滤波器单元463根据与合并转换单元465中采用的组合对应的合并模式，将关注像素的初始类转换为合并类。然后，滤波器单元463执行滤波处理，作为将预测方程应用于解码图像的预测处理，该预测方程执行通过合并转换单元465的转换获得的关注像素的合并类的抽头系数与解码图像的像素的积和运算。
滤波器单元463将通过滤波处理获得的滤波图像提供给编码单元161和局部解码单元162。此外，滤波器单元463根据与采用的组合对应的合并模式，将采用的组合和通过初始类的转换而获得的每个合并类的抽头系数提供给编码单元161作为滤波器信息。
注意，此处，在编码装置460中，将识别最小化成本的合并模式的子类数目的组合确定为通过子类合并而获得的合并模式中的采用组合(与图36的子类数目的三十种类型的组合对应的合并模式中的二十五个模式的有效合并模式)，但也可以预先将采用组合确定为通过子类合并而获得的合并模式中的采用组合，即识别特定合并模式的子类数目的组合。在这种情况下，不需要获得用于确定要采用的组合的成本，并且因此可以减少编码装置460的处理量。
如上所述，例如尤其是在编码装置460的性能不高的情况下，预先确定要采用的组合是有效的。
解码装置470包括解析单元171、解码单元172和滤波器单元473。因此，解码装置470与图58的解码装置170的共同之处在于，其具有解析单元171和解码单元172，并且与解码装置170的不同之处在于，解码装置470具有滤波器单元473而不是滤波器单元173。
滤波器单元473类似于例如不具有学习功能的类分类预测滤波器410(图85)进行配置，并且包括类分类单元174和合并转换单元475。因此，滤波器单元473与图58中的滤波器单元173的共同之处在于其具有类分类单元174，并且与滤波器单元173的不同之处在于滤波器单元463具有合并转换单元475而不是合并转换单元175。
滤波器单元473对来自解码单元172的解码图像执行类似于滤波器单元463的滤波处理的滤波处理，以生成滤波图像，并且将滤波图像提供给解码单元172。
也就是说，滤波器单元473在类分类单元174中使用来自解码单元172的解码图像执行与类分类单元164相同的初始类分类，并且获得关注像素的初始类。此外，滤波器单元473在合并转换单元475中根据与来自解析单元171的滤波器信息中包括的采用组合对应的合并模式，将关注像素的初始类转换成其中初始类通过合并子类分类的子类被合并的合并类。然后，滤波器单元473执行滤波处理，作为将预测方程应用于解码图像的预测处理，该预测方程执行通过合并转换单元475的转换获得的关注像素的合并类的抽头系数与解码图像的像素的积和运算。从来自解析单元171的滤波器信息中包括的每个合并类的抽头系数中获取在滤波处理中使用的关注像素的合并类的抽头系数。
滤波器单元473将通过滤波处理而获得的滤波图像提供给解码单元172，并且输出该滤波图像作为通过对原始图像进行解码获得的最终解码图像。
图88是描述图87的编码装置460的编码处理的概要的流程图。
例如，以帧(图片)为单位执行根据图88的流程图的处理。
在步骤S461至步骤S463中分别执行与图59的步骤S161至步骤S163类似的处理。然后，在步骤S463中，在获得每个初始类的抽头系数之后，处理进行至步骤S464。
在步骤S464中，滤波器单元463根据与识别了通过子类合并而获得的合并模式的子类数目的多个组合的每个组合的子类数目的组合(例如，图36中描述的二十五个有效合并模式的组合)对应的合并模式，合并初始类，并且使用通过用于获得每个初始类的抽头系数的抽头系数学习而获得的正规方程(的X矩阵和Y矢量)来获得其中根据与组合对应的合并模式合并了初始类的每个合并类的抽头系数，如图5的步骤S36和步骤S37所描述的。此外，滤波器单元463通过使用每个合并类的抽头系数，将识别了最小化成本的合并模式的子类数目的组合确定为采用的组合，并且处理从步骤S464进行至步骤S465。
在步骤S465中，滤波器单元463的类分类单元164对来自局部解码单元162的解码图像的关注像素执行初始类分类，并且处理进行至步骤S466。
在步骤S466中，滤波器单元463的合并转换单元465根据与采用的组合对应的合并模式将通过类分类单元164的类分类获得的关注像素的初始类转换为合并类，并且处理进行至步骤S467。
在步骤S467中，滤波器单元463执行滤波处理作为预测处理，该预测处理将预测方程应用于解码图像，该预测方程执行在步骤S464中获得的每个合并类的抽头系数中的关注像素的合并类的抽头系数与解码图像的像素的积和运算，以生成滤波图像。滤波图像从滤波器单元463被提供给编码单元161和局部解码单元162。从滤波器单元463提供给编码单元161和局部解码单元162的滤波图像用于对下一帧执行的步骤S461和步骤S462的处理。
此外，滤波器单元463将采用的组合和每个合并类的抽头系数作为滤波器信息提供给编码单元161。
此后，处理从步骤S467进行至步骤S468，并且编码单元161生成并发送编码比特流，该编码比特流包括在步骤S461中获得的编码数据和在滤波器单元463中获得的作为滤波器信息的采用的组合、以及每个合并的类的抽头系数。
图89是描述图87的解码装置470的解码处理的概要的流程图。
例如，与图88的编码处理类似地以帧为单位执行根据图89的流程图的处理。
在步骤S481中，解析单元171(图87)接收从编码装置460发送的编码比特流，解析采用的组合和每个合并类的抽头系数作为包括在编码比特流中的滤波器信息，并且将滤波器信息提供给滤波器单元473。此外，解析单元171将包括在编码比特流中的编码数据提供给解码单元172，并且处理从步骤S481进行至步骤S482。
在步骤S482中，解码单元172通过使用来自滤波器单元473的滤波图像对来自解析单元171的编码数据进行解码，并且将根据结果获得的解码图像提供给滤波器单元473，并且处理进行至步骤S483。
在步骤S483中，滤波器单元473的类分类单元174对来自解码单元172的解码图像的关注像素执行初始类分类，并且处理进行至步骤S484。
在步骤S484中，滤波器单元473的合并转换单元475根据与来自解析单元171的所采用的合并类数目对应的合并模式将通过类分类单元174的类分类获得的关注像素的初始类转换为合并类，并且处理进行至步骤S485。
在步骤S485中，滤波器单元473通过使用来自解析单元171的每个合并类的抽头系数，对来自解码单元172的解码图像执行作为类分类预测处理的滤波处理，以生成滤波图像。
滤波图像从滤波器单元473被提供给解码单元172，并且被输出作为通过对原始图像进行解码而获得的最终解码图像。
从滤波器单元473提供给解码单元172的滤波器图像例如用于对解码图像的下一帧执行的步骤S482的处理中。
注意，此处，作为用信号通知将初始类转换为合并类的合并模式(采用的合并模式)的方法，采用了通过包括在编码比特流中来发送采用的组合的方法，但是作为用信号通知采用的合并模式的方法，可以采用通过与GALF的情况类似地与所采用的合并类数目一起包括在编码比特流中或者代替所采用的合并类数目来发送采用的合并模式的方法。然而，与发送采用的合并模式的情况相比，通过发送采用的组合可以减少开销。另一方面，在发送采用的合并模式的情况下，可以采用与GALF的类分类类似的语法。
<编码装置460的配置示例>
图90是示出图87的编码装置460的详细配置示例的框图。
注意，在该图中，与图61的编码装置160的部分对应的部分由相同的附图标记表示，并且以下将适当地省略对其的描述。
在图90中，编码装置460包括A/D转换单元201、排序缓冲器202、计算单元203、正交变换单元204、量化单元205、可逆编码单元206和累积缓冲器207。此外，编码装置460包括逆量化单元208、逆正交变换单元209、计算单元210、帧存储器212、选择单元213、帧内预测单元214、运动预测补偿单元215、预测图像选择单元216、速率控制单元217和ILF 511。
因此，编码装置460与图61的编码装置160的共同之处在于，其具有A/D转换单元201至计算单元210，以及帧存储器212至速率控制单元217。然而，编码装置460与编码装置160的不同之处在于，编码装置460具有ILF 511而不是ILF 211。
ILF 511与例如具有学习功能的类分类预测滤波器410(图85)类似地进行配置，并且通过执行作为类分类预测处理的滤波处理，而用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的一个或两个或更多个滤波器。在ILF 511被配置成用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的两个或更多个滤波器的情况下，两个或更多个滤波器的布置顺序是任意的。
解码图像从计算单元210被提供给ILF 511，并且从排序缓冲器202提供解码图像的原始图像。
ILF 511使用例如来自计算单元210的解码图像和来自排序缓冲器202的原始图像分别作为学生图像和教师图像，以执行抽头系数学习，并且获得每个初始类的抽头系数。在抽头系数学习中，使用解码图像作为学生图像来执行初始类分类，并且通过最小二乘法来获得抽头系数，对于通过初始类分类获得的每个初始类，抽头系数在统计上最小化通过由抽头系数和预测抽头形成的预测方程获得的作为教师图像的原始图像的预测值的预测误差。
ILF 511通过使用通过子类合并获得的多个合并模式的每个合并模式(例如，识别图36中描述的二十五个有效合并模式的每个有效合并模式的子类数目的组合)执行与确定采用的合并模式的数目(图8)的处理类似的处理，将识别最小化成本(例如，在图8的步骤S67中获得的成本dist+λ×coeffBit)的合并模式的子类的组合确定为通过子类合并获得的多个合并模式中的采用的组合。
注意，在ILF 511中，在作为用于获得在确定采用的合并模式的数目的处理中确定采用的组合的成本的滤波处理(图8)的步骤S64的处理之前的步骤S63中，类似于合并模式确定处理(图5)中的步骤S36和步骤S37，通过使用当在抽头系数学习中获得每个初始类的抽头系数时所制定的正规方程(的X矩阵和Y矢量)，针对通过子类合并获得的多个合并模式中的每个合并模式获得每个合并类的抽头系数。
ILF 511根据与采用的组合对应的合并模式，将采用的组合和通过初始类的转换获得的每个合并类的抽头系数作为滤波器信息提供给可逆编码单元206。
此外，ILF 511顺序地选择例如来自计算单元210的解码图像的像素作为关注像素。ILF 511对关注像素执行初始类分类，并且获得关注像素的初始类。
此外，ILF 511根据对应于采用的组合的合并模式将关注像素的初始类转换为合并类。ILF 511获取(读取)通过根据与采用的组合对应的合并模式进行转换获得的每个合并类的抽头系数中的关注像素的合并类的抽头系数。然后，ILF 511从解码图像中选择关注像素附近的像素作为预测抽头，并且执行滤波处理作为预测处理，该预测处理将预测方程应用于解码图像，该预测方程执行关注像素的合并类的抽头系数与作为预测抽头的解码图像的像素的积和运算以生成滤波图像。注意，在ILF 511中的类分类中，例如，通过解码图像的2×2像素的左上像素的类分类获得的类可以用作2×2像素中的每个像素的类。
由ILF 511生成的滤波图像被提供给帧存储器212。
注意，在图90中，计算单元203至可逆编码单元206对应于图87的编码单元161，逆量化单元208至计算单元210对应于图87的局部解码单元162，并且ILF 511对应于图87的滤波器单元463。
<编码处理>
图91是描述图90的编码装置460的编码处理的示例的流程图。
在编码装置460中，ILF 511临时存储从计算单元210提供的解码图像，并且临时存储从排序缓冲器202提供的来自计算单元210的解码图像的原始图像。
然后，在步骤S501和步骤S502中，分别执行与图62的步骤S201和步骤S202类似的处理。
此后，在步骤S503中，ILF 511通过根据与子类数目的组合对应的合并模式合并初始类，将通过子类合并获得的分别识别多个合并模式的子类数目的多个组合中的每个组合转换为合并类，并且与图5的步骤S36和步骤S37类似地通过使用由抽头系数学习制定的正规方程来获得每个合并类的抽头系数。
此外，ILF 511通过使用每个合并类的抽头系数对子类数目的多个组合中的每个组合执行滤波处理来获得成本。然后，ILF 511将在子类数目的多个组合中最小化成本的子类数目的组合确定为采用的组合，并且处理从步骤S503进行至步骤S504。
在步骤S504中，ILF 511根据与采用的组合对应的合并模式，将采用的组合和通过初始类的转换获得的每个合并类的抽头系数作为滤波器信息提供给可逆编码单元206。可逆编码单元206将来自ILF 511的滤波器信息设置为发送目标，并且处理从步骤S504进行至步骤S505。在稍后描述的步骤S506中执行的预测编码处理中，设置为发送目标的滤波器信息被包括在编码比特流中并被发送。
在步骤S505中，ILF 511通过在最近的步骤S503中确定的采用组合和通过根据与采用组合对应的合并模式对初始类进行转换获得的每个合并类的抽头系数，来更新用于类分类预测处理的采用组合和抽头系数，并且处理进行至步骤S506。
在步骤S506中，对原始图像执行预测编码处理，并且编码处理结束。
图92是描述图91的步骤S506的预测编码处理的示例的流程图。
在预测编码处理中，在步骤S511至步骤S521中分别执行与图63的步骤S211至步骤S221类似的处理。
然后，在步骤S522中，ILF 511对来自计算单元210的解码图像应用作为类分类预测处理的滤波处理，将通过滤波处理获得的滤波图像提供给帧存储器212，并且处理从步骤S522进行至步骤S523。
在步骤S522的类分类预测处理中，执行与类分类预测滤波器410(图85)的处理类似的处理。
也就是说，ILF 306对来自计算单元210的解码图像的关注像素执行初始类分类，并且获得关注像素的初始类。此外，ILF 511根据与图91的步骤S505中更新的采用的组合对应的合并模式将关注像素的初始类转换为合并类。ILF 511从在图91的步骤S505中更新的每个合并类的抽头系数中获取关注像素的合并类的抽头系数。此后，ILF 511对解码图像执行滤波处理作为预测处理，该预测处理应用通过使用关注像素的合并类的抽头系数形成的预测方程，以生成滤波图像。滤波图像从ILF 511被提供给帧存储器212。
此后，在步骤S523至步骤S526中分别执行与图63的步骤S223至步骤S226类似的处理。
<解码装置470的配置示例>
图93是示出图87的解码装置470的详细配置示例的框图。
注意，在该图中，与图64的解码装置170的部分对应的部分由相同的附图标记表示，并且以下将适当地省略对其的描述。
在图93中，解码装置470包括累积缓冲器301、可逆解码单元302、逆量化单元303、逆正交变换单元304、计算单元305、排序缓冲器307、D/A转换单元308、ILF 606。此外，解码装置470具有帧存储器310、选择单元311、帧内预测单元312、运动预测补偿单元313和选择单元314。
因此，解码装置470与图64的解码装置170的共同之处在于，其具有累积缓冲器301至计算单元305、排序缓冲器307、D/A转换单元308、以及帧存储器310至选择单元314。然而，解码装置470与解码装置170的不同之处在于，解码装置470具有ILF 606而不是ILF 306。
ILF 606与例如不具有学习功能的类分类预测滤波器410(图85)类似地配置，并且通过执行作为类分类预测处理的滤波处理，与图90中的ILF 511类似地用作去块滤波器、自适应偏移滤波器、双边滤波器和ALF中的一个或两个或更多个滤波器。
ILF 606顺序地选择来自计算单元305的解码图像的像素作为关注像素。ILF 606对关注像素执行初始类分类，并且获得关注像素的初始类。此外，ILF 511根据针对子类数目的每个组合确定的合并模式中的与从可逆解码单元302提供的滤波信息中包括的采用的组合对应的合并模式，将关注像素的初始类转换为合并类。ILF 606获取从可逆解码单元302提供的滤波器信息中包括的每个合并类的抽头系数中的关注像素的合并类的抽头系数。然后，ILF 606从解码图像中选择关注像素附近的像素作为预测抽头，并且执行滤波处理作为将预测方程应用于滤波图像的预测处理，该预测方程执行关注像素的类的抽头系数与解码图像的像素的乘积和运算作为预测抽头，以生成并输出滤波图像。注意，在ILF 606中的类分类中，例如，可以将通过2×2像素的左上像素的类分类获得的类用作2×2像素的每个像素的类，类似于ILF 511。
由ILF 606输出的滤波图像是与由图90的ILF 511输出的滤波图像类似的图像，并且被提供给排序缓冲器307和帧存储器310。
注意，在图93中，可逆解码单元302对应于图87的解析单元171，逆量化单元303到计算单元305对应于图87的解码单元172，并且ILF 606对应于图87的滤波器单元473。
<解码处理>
图94是描述图93的解码装置470的解码处理的示例的流程图。
在解码处理中，在步骤S601中，累积缓冲器301临时累积从编码装置460发送的编码比特流，并且适当地将编码比特流提供给可逆解码单元302，并且处理进行至步骤S602。
在步骤S602中，可逆解码单元302接收并解码从累积缓冲器301提供的编码比特流，并且将量化系数作为包括在编码比特流的解码结果中的编码数据提供给逆量化单元303。
此外，在编码比特流的解码结果包括滤波器信息和编码信息的情况下，可逆解码单元302解析滤波器信息和编码信息。然后，可逆解码单元302将必要的编码信息提供给帧内预测单元312、运动预测补偿单元313和其他必要的块。此外，可逆解码单元302将滤波器信息提供给ILF 606。
此后，处理从步骤S602进行至步骤S603，并且ILF 606确定是否已经从可逆解码单元302提供了包括采用的组合和通过根据与采用的组合对应的合并模式对初始类进行转换而获得的每个合并类的抽头系数的滤波器信息。
在步骤S603中确定未提供滤波器信息的情况下，处理跳过步骤S604并且进行至步骤S605。
此外，在步骤S603中确定已经提供了滤波器信息的情况下，处理进行至步骤S604，并且ILF 606从可逆解码单元302中获取滤波器信息中包括的采用的组合和每个合并类的抽头系数，其中每个合并类是通过根据与采用的组合对应的合并模式对初始类进行转换而获得的。此外，ILF 606通过从来自可逆解码单元302的滤波器信息中获取的采用的组合和每个合并类的抽头系数来更新用于类分类预测处理的采用的组合和抽头系数，其中每个合并类是通过根据与采用的组合对应的合并模式对初始类进行转换而获得的。
然后，处理从步骤S604进行至步骤S605，执行预测解码处理，并且解码处理结束。
图95是描述图94的步骤S605的预测解码处理的示例的流程图。
在步骤S611至步骤S615中分别执行与图66的步骤S311至步骤S315类似的处理。
然后，在步骤S616中，ILF 606对来自计算单元305的解码图像应用作为类分类预测处理的滤波处理，并且将通过滤波处理获得的滤波图像提供给排序缓冲器307和帧存储器310，并且处理从步骤S616进行至步骤S617。
在步骤S616的类分类预测处理中，执行与类分类预测滤波器410(图85)的处理类似的处理。
也就是说，ILF 606对来自计算单元305的解码图像的关注像素执行与ILF 511相同的初始类分类，并且获得关注像素的初始类。此外，ILF 606根据在针对子类数目的每个组合确定的合并模式中与在图94的步骤S604中更新的采用的组合对应的合并模式，将关注像素的初始类转换为合并类。ILF 606从图94的步骤S604中更新的每个合并类的抽头系数中获取关注像素的合并类的抽头系数。此后，ILF 606执行滤波处理作为预测处理，该预测处理将由关注像素的合并类的抽头系数形成的预测方程应用于解码图像，以生成滤波图像。将滤波图像从ILF 606提供给排序缓冲器307和帧存储器310。
此后，在步骤S617至步骤S619中分别执行与图66的步骤S317至步骤S319类似的处理。
在上面，已经描述了本技术采用GALF的类分类作为初始类分类的情况。然而，本技术可以应用于采用通过多个特征量的子类分类进行类分类而不是GALF的类分类作为初始类分类的情况。
例如，可以说，参照图24和图25描述的使用倾斜方向上的可靠性的类分类是通过将倾斜强度比、方向、活动和以及倾斜方向上的可靠性作为多个特征量的子类分类来执行的类分类。因此，本技术可以应用于使用图24和图25中描述的倾斜方向上的可靠性的类分类被用作初始类分类的情况。
注意，除了ILF 211和ILF 306之外，类分类预测滤波器110(图56)还可以应用于用于生成例如编码装置160(图61)和解码装置170(图64)中的运动预测补偿单元215和运动预测补偿单元313的预测图像的插值滤波器等。这同样适用于类分类预测滤波器410(图86)。
<针对合并类的每个数目设置的合并模式的其他示例>
下面将描述针对合并类的每个数目设置的合并模式的其他示例。
图96是描述GALF的类分类的图。
也就是说，图96示出了通过GALF的类分类获得的初始类(最终类)。
在GALF的类分类中，根据倾斜强度比将关注像素按照倾斜强度比子类分类为无类、弱类、强类三个子类的一个，根据活动和将关注像素按照活动子类分类分类为活动子类0至5五个子类的一个，并且在倾斜强度比子类不是无类的情况下，根据方向将关注像素按照方向子类分类分类为H/V类和D0/D1类(方向子类0和2)，从而将关注像素分类为二十五个初始类0至24中的一个。
此处，活动子类0至4是活动子类#i的索引#i越小活动越低(越小)的子类。
作为初始类分类，在采用如上所述将关注像素分类为初始类0至24二十五个类中的一个的GALF的类分类的情况下，当针对合并类的每个数目设置清除模式时，可以设置最大与等于或小于初始类数目的自然数的各个值的一至二十五的合并类的数目(等于初始类数目的二十五个合并类)的每个对应的合并模式。
从提高滤波处理的性能(即，滤波图像的图像质量和编码效率)的观点来看，期望设置与等于或小于初始类的数目的自然数的各个值的合并类的数目(在下文中，也称为合并类的总数目)中的每个对应的合并模式。
因此，在下文中，以采用GALF的类分类作为初始类分类的情况为例，将描述与合并类的总数一至二十五中的每个对应的合并模式的设置作为针对合并类的每个数目设置的合并模式的另一示例。
可以通过将构成与合并类(构成表示合并模式的合并类(的类编号)的序列的合并类)的最大数目二十五对应的合并模式的合并类的任何两个合并类合并到一个合并类中，从而设置与合并类的数目二十四对应的合并模式，并且此后，类似地，将构成与之前紧接设置的合并类的数目对应的合并模式的合并类的任何两个合并类合并到一个合并类中，从而设置与之前紧接设置的合并类的数目-1对应的合并模式，并且重复这一操作直到合并类的数目变为最小一个，来执行对与合并类的所有数目一至二十五(在下文中，也称为所有合并模式)中的每个对应的合并模式的设置。
然而，在设置与合并类的数目C-1对应的合并模式时，如果构成与合并类的数目C对应的合并模式的合并类的两个合并类被随机地组合成一个合并类，则可以获得在滤波处理的性能方面不适当的合并模式。
因此，在本技术中，在设置与合并类的数目C-1对应的合并模式时，根据预定规则将构成与合并类的数目C对应的合并模式的合并类中的两个合并类合并成一个合并类。当将构成与合并类的数目C对应的合并模式的合并类中的两个合并类合并成一个合并类时遵循的预定规则在下文中也将被称为合并规则。
在下文中，将描述根据第一至第四合并规则的所有合并模式设置，但在此之前，将描述合并模式与子类之间的关系。
图97是描述合并模式与子类之间的关系的图。
也就是说，图97示出了合并类的数目为二十五的合并模式。
如图6中所解释的，在5×5表格格式中表示的合并模式中，水平方向对应于活动子类。具体地，第一列(从左数第一列)对应于活动子类0(没有子类合并)。也就是说，第一列中的合并类是在活动子类为0的情况下的合并类。类似地，列2至列5分别对应于活动子类1至活动子类4(没有子类合并)。
此外，在合并模式中，垂直方向对应于倾斜强度比子类和方向子类。具体地，第一行(从顶部起第一行)对应于倾斜强度比子类的无类，并且第二行和第四行对应于倾斜强度比子类的弱类，并且第三行和第五行对应于倾斜强度比子类的强类。此外，第二行和第三行对应于方向子类的D0/D1类，并且第四行和第五行对应于方向子类的H/V类。
在合并类的数目为二十五的合并模式中，例如，当合并类15用子类表示时，可以说活动子类是0，方向子类是H/V类，并且倾斜强度比子类是弱类的合并类。此外，例如，当合并类20用子类表示时，可以说活动子类是0，方向子类是H/V类，并且倾斜强度比子类是强类的合并类。因此，在合并类数目为二十五的合并模式中，可以说合并类15和合并类20的合并例如是在活动子类为0并且方向子类为H/V类的情况下倾斜强度比子类的弱类和强类的合并。
在下文中，将适当地使用这样的表达来描述根据第一至第四合并规则的所有合并模式的设置。
<第一合并规则>
图98是描述第一合并规则的图。
在第一合并规则中，首先，作为第一步骤，对于方向子类的H/V类和D0/D1类，分别根据低活动的活动子类合并倾斜强度比子类的弱类和强类。此外，在第一合并规则中，作为第二步骤，根据低活动的活动子类合并方向子类的H/V和D0/D1类。此后，在第一合并规则中，作为第三步骤，如果将合并倾斜强度比子类的弱类和强类之后的子类(在下文中，也称为合并子类)称为高类，则根据低活动的活动子类合并倾斜强度比子类的无类和高类。最后，在第一合并规则中，作为第四步骤，根据低活动的活动子类合并活动子类。
根据第一合并规则，如图98所示，将构成与合并类数目二十五对应的合并模式的合并类15和合并类20合并到合并类15中，从而设置与合并类数目二十四对应的合并模式。此外，将构成与合并类数目二十四对应的合并模式的合并类5和合并类10合并到合并类5中，从而设置与合并类数目二十三对应的合并模式，并且将构成与23对应的合并模式的合并类15和合并类19合并到合并类15中，从而设置与合并类数目二十二对应的合并模式。此后，根据第一合并规则合并合并类，从而设置分别与合并类数目二十一至十五对应的合并模式。
然后，根据第一合并规则，将构成与合并类数目十五对应的合并模式的合并类5和合并类10合并到合并类5中，从而设置与合并类数目十四对应的合并模式，并且将构成与合并类数目十四对应的合并模式的合并类6和合并类10合并到合并类6中，从而设置与合并类数目十三对应的合并模式。此后，根据第一合并规则合并合并类，从而设置分别与合并类数目十二至一对应的合并模式。
图99是示出根据第一合并规则设置的所有合并模式的图。
图100、图101、图102、图103、图104和图105是描述当根据第一合并规则设置所有合并模式时的合并方法的图。
在图100中，与合并类数目二十五对应的合并模式是可以获得与通过作为初始类分类的GALF的类分类获得的初始类相同的合并类的合并模式。
在与合并类数目二十五对应的合并模式中，在活动子类为0并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类20)合并成一个合并类15，可以获得与合并类数目二十四对应的合并模式(第一步骤)。
在与合并类数目二十四对应的合并模式中，在活动子类为0并且方向子类为D0/D1类的情况下，通过将弱类(合并类5)和强类(合并类10)合并成一个合并类5，可以获得与合并类数目二十三对应的合并模式(第一步骤)。
在与合并类数目二十三对应的合并模式中，在活动子类为1并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类19)合并成一个合并类15，可以获得与合并类数目二十二对应的合并模式(第一步骤)。
在图101中，在与合并类数目二十二对应的合并模式中，在活动子类为1并且方向子类为D0/D1类的情况下，通过将弱类(合并类6)和强类(合并类10)合并成一个合并类6，可以获得与合并类数目二十一对应的合并模式(第一步骤)。
在与合并类数目二十一对应的合并模式中，在活动子类为2并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类18)合并成一个合并类15，可以获得与合并类数目二十对应的合并模式(第一步骤)。
在与合并类数目二十对应的合并模式中，在活动子类为2并且方向子类为D0/D1类的情况下，通过将弱类(合并类7)和强类(合并类10)合并成一个合并类7，可以获得与合并类数目十九对应的合并模式(第一步骤)。
在与合并类数目十九对应的合并模式中，在活动子类为3并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类17)合并成一个合并类15，可以获得与合并类数目十八对应的合并模式(第一步骤)。
在图102中，在与合并类数目十八对应的合并模式中，在活动子类为3并且方向子类为D0/D1类的情况下，通过将弱类(合并类8)和强类(合并类10)合并成一个合并类8，可以获得与合并类数目十七对应的合并模式(第一步骤)。
在与合并类数目十七对应的合并模式中，在活动子类为4并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类16)合并成一个合并类15，可以获得与合并类数目十六对应的合并模式(第一步骤)。
在与合并类数目十六对应的合并模式中，在活动子类为4并且方向子类为D0/D1类的情况下，通过将弱类(合并类9)和强类(合并类10)合并成一个合并类9，可以获得与合并类数目十五对应的合并模式(第一步骤)。
在图103中，在与合并类数目十五对应的合并模式中，在活动子类为0的情况下通过将D0/D1类(合并类5)和H/V类(合并类10)合并成一个合并类5，可以获得与合并类数目十四对应的合并模式(第二步骤)。
在与合并类数目十四对应的合并模式中，在活动子类为1的情况下通过将D0/D1类(合并类6)和H/V类(合并类10)合并成一个合并类6，可以获得与合并类数目十三对应的合并模式(第二步骤)。
在与合并类数目十三对应的合并模式中，在活动子类为2的情况下通过将D0/D1类(合并类7)和H/V类(合并类10)合并成一个合并类7，可以获得与合并类数目十二对应的合并模式(第二步骤)。
在与合并类数目十二对应的合并模式中，在活动子类为3的情况下通过将D0/D1类(合并类8)和H/V类(合并类10)合并成一个合并类8，可以获得与合并类数目十一对应的合并模式(第二步骤)。
在与合并类数目十一对应的合并模式中，在活动子类为4的情况下通过将D0/D1类(合并类9)和H/V类(合并类10)合并成一个合并类9，可以获得与合并类数目十对应的合并模式(第二步骤)。
在图104中，在与合并类数目十对应的合并模式中，在活动子类为0的情况下通过在合并弱类和强类之后将倾斜强度比子类的无类(合并类0)和高类(合并类5)合并成一个合并类0，可以获得与合并类数目九对应的合并模式(第三步骤)。
在与合并类数目九对应的合并模式中，在活动子类为1的情况下通过在合并弱类和强类之后将倾斜强度比子类的无类(合并类1)和高类(合并类5)合并成一个合并类1，可以获得与合并类数目八对应的合并模式(第三步骤)。
在与合并类数目八对应的合并模式中，在活动子类为2的情况下通过在合并弱类和强类之后将倾斜强度比子类的无类(合并类2)和高类(合并类5)合并成一个合并类2，可以获得与合并类数目七对应的合并模式(第三步骤)。
在与合并类数目七对应的合并模式中，在活动子类为3的情况下通过在合并弱类和强类之后将倾斜强度比子类的无类(合并类3)和高类(合并类5)合并成一个合并类3，可以获得与合并类数目六对应的合并模式(第三步骤)。
在与合并类数目六对应的合并模式中，在活动子类为4的情况下通过在合并弱类和强类之后将倾斜强度比子类的无类(合并类4)和高类(合并类5)合并成一个合并类4，可以获得与合并类数目五对应的合并模式(第三步骤)。
在图105中，在与合并类数目五对应的合并模式中，通过将活动子类0(合并类0)和活动子类1(合并类1)合并成一个合并类0，可以获得与合并类数目四对应的合并模式(第四步骤)。
在与合并类数目四对应的合并模式中，通过将活动子类01(合并类0)和活动子类2(合并类1)合并成一个合并类0，可以获得与合并类数目三对应的合并模式(第四步骤)。此处，活动子类01意指合并了活动子类0和活动子类1的子类。
在与合并类数目三对应的合并模式中，通过将活动子类012(合并类0)和活动子类3(合并类1)合并成一个合并类0，可以获得与合并类数目二对应的合并模式(第四步骤)。此处，活动子类012意指合并了活动子类01和活动子类2的子类。
在与合并类数目二对应的合并模式中，通过将活动子类0123(合并类0)和活动子类4(合并类1)合并成一个合并类0，可以获得与合并类数目一对应的合并模式(第四步骤)。此处，活动子类0123意指合并了活动子类012和活动子类3的子类。
<第二合并规则>
图106是描述第二合并规则的图。
在第二合并规则中，首先，在第一步骤中，例如，对于作为方向子类的H/V和D0/D1子类中的一个的H/V类，根据低活动的活动子类合并倾斜强度比子类的弱类和强类，并且然后，例如，对于作为其他子类的D0/D1类，根据低活动的活动子类合并倾斜强度比子类的弱类和强类。此外，在第二合并规则中，作为第二步骤，与第一合并规则类似地根据低活动的活动子类合并方向子类的H/V类和D0/D1类。此后，在第二合并规则中，作为第三步骤，与第一合并规则类似地，根据低活动的活动子类合并作为在合并倾斜强度比子类的弱类和强类之后的合并子类的高类和无类。最后，在第二合并规则中，作为第四步骤，与第一合并规则类似地，根据低活动的活动子类合并活动子类。
根据第二合并规则，如图106所示，将构成与合并类数目二十五对应的合并模式的合并类15和合并类20合并到合并类15中，从而设置与合并类数目二十四对应的合并模式。此外，将构成与合并类数目二十四对应的合并模式的合并类16和合并类20合并到合并类16中，从而设置与合并类数目二十三对应的合并模式。此后，根据第二合并规则合并合并类，从而设置分别与合并类数目二十二至二十对应的合并模式。
然后，根据第二合并规则，将构成与合并类数目二十对应的合并模式的合并类5和合并类10合并到合并类5中，从而设置与合并类数目十九对应的合并模式。此外，将构成与合并类数目十九对应的合并模式的合并类6和合并类10合并到合并类6中，从而设置与合并类数目十八对应的合并模式。此后，根据第二合并规则合并合并类，从而设置分别与合并类数目十七至十五对应的合并模式。
然后，根据第二合并规则，将构成与合并类数目十五对应的合并模式的合并类5和合并类10合并到合并类5中，从而设置与合并类数目十四对应的合并模式。此后，根据第二合并规则合并合并类，从而设置分别与合并类数目十三至一对应的合并模式。
图107是示出根据第二合并规则设置的所有合并模式的图。
注意，在根据第二合并规则设置的所有合并模式中，与除了图107中由粗线围绕的合并类数目二十三至十七之外的合并类数目对应的合并模式因此与根据第一合并规则设置的合并模式(图99)相同。
图108、图109、图110、图111、图112和图113是描述当根据第二合并规则设置所有合并模式时的合并方法的图。
在图108中，与合并类的数目二十五对应的合并模式是可以获得与通过作为初始类分类的GALF的类分类获得的初始类相同的合并类的合并模式。
在与合并类数目二十五对应的合并模式中，在活动子类为0并且方向子类为H/V类的情况下，通过将弱类(合并类15)和强类(合并类20)合并成一个合并类15，可以获得与合并类数目二十四对应的合并模式(第一步骤)。
在与合并类数目二十四对应的合并模式中，在活动子类为1并且方向子类为H/V类的情况下，通过将弱类(合并类16)和强类(合并类20)合并成一个合并类16，可以获得与合并类数目二十三对应的合并模式(第一步骤)。
在与合并类数目二十三对应的合并模式中，在活动子类为2并且方向子类为H/V类的情况下，通过将弱类(合并类17)和强类(合并类20)合并成一个合并类17，可以获得与合并类数目二十二对应的合并模式(第一步骤)。
在图109中，在与合并类数目二十二对应的合并模式中，在活动子类为3并且方向子类为H/V类的情况下，通过将弱类(合并类18)和强类(合并类20)合并成一个合并类18，可以获得与合并类数目二十一对应的合并模式(第一步骤)。
在与合并类数目二十一对应的合并模式中，在活动子类为4并且方向子类为H/V类的情况下，通过将弱类(合并类19)和强类(合并类20)合并成一个合并类19，可以获得与合并类数目二十对应的合并模式(第一步骤)。
在与合并类数目二十对应的合并模式中，在活动子类为0并且方向子类为D0/D1类的情况下，通过将弱类(合并类5)和强类(合并类10)合并成一个合并类5，可以获得与合并类数目十九对应的合并模式(第一步骤)。
在与合并类数目十九对应的合并模式中，在活动子类为1并且方向子类为D0/D1类的情况下，通过将弱类(合并类6)和强类(合并类10)合并成一个合并类6，可以获得与合并类数目十八对应的合并模式(第一步骤)。
在图110中，在与合并类数目十八对应的合并模式中，在活动子类为2并且方向子类为D0/D1类的情况下，通过将弱类(合并类7)和强类(合并类10)合并成一个合并类7，可以获得与合并类数目十七对应的合并模式(第一步骤)。
在与合并类数目十七对应的合并模式中，在活动子类为3并且方向子类为D0/D1类的情况下，通过将弱类(合并类8)和强类(合并类10)合并成一个合并类8，可以获得与合并类数目十六对应的合并模式(第一步骤)。
在与合并类数目十六对应的合并模式中，在活动子类为4并且方向子类为D0/D1类的情况下，通过将弱类(合并类9)和强类(合并类10)合并成一个合并类9，可以获得与合并类数目十五对应的合并模式(第一步骤)。
在图111至图113中，当根据第二合并规则获得分别与合并类数目十四至一对应的合并模式时的合并方法类似于当根据图103至图105中描述的第一合并规则获得分别与合并类数目十四至一对应的合并模式时的合并方法，并且因此省略对其的描述。
<第三合并规则>
图114、图115、图116、图117、图118和图119是描述当根据第三合并规则设置所有合并模式时的合并方法的图。
在第三合并规则中，首先，在第一步骤中，对于在倾度强度比子类中具有最大倾度强度比的强类，根据低活动的活动子类合并方向子类的D0/D1和H/V类，并且然后，对于在倾度强度比子类中具有第二大倾度强度比的弱类，根据低活动的活动子类合并方向子类的D0/D1和H/V类。此后，在第三合并规则中，作为第二步骤，根据低活动的活动子类合并倾斜强度比子类的弱类和强类。此外，在第三合并规则中，作为第三步骤，根据低活动的活动子类合并作为在合并倾斜强度比子类的弱类和强类之后的合并子类的高类和无类。最后，在第三合并规则中，作为第四步骤，与第一合并规则类似地，根据低活动的活动子类合并活动子类。
在图114中，与合并类的数目二十五对应的合并模式是可以获得与通过作为初始类分类的GALF的类分类获得的初始类相同的合并类的合并模式。
在与合并类数目二十五对应的合并模式中，在活动子类为0并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类10)和H/V类(合并类20)合并成一个合并类10，可以获得与合并类数目二十四对应的合并模式(第一步骤)。
在与合并类数目二十四对应的合并模式中，在活动子类为1并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类11)和H/V类(合并类20)合并成一个合并类11，可以获得与合并类数目二十三对应的合并模式(第一步骤)。
在与合并类数目二十三对应的合并模式中，在活动子类为2并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类12)和H/V类(合并类20)合并成一个合并类12，可以获得与合并类数目二十二对应的合并模式(第一步骤)。
在图115中，在与合并类数目二十二对应的合并模式中，在活动子类为3并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类13)和H/V类(合并类20)合并成一个合并类13，可以获得与合并类数目二十一对应的合并模式(第一步骤)。
在与合并类数目二十一对应的合并模式中，在活动子类为4并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类14)和H/V类(合并类20)合并成一个合并类14，可以获得与合并类数目二十对应的合并模式(第一步骤)。
在与合并类数目二十对应的合并模式中，在活动子类为0并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类5)和H/V类(合并类15)合并成一个合并类5，可以获得与合并类数目十九对应的合并模式(第一步骤)。
在与合并类数目十九对应的合并模式中，在活动子类为1并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类6)和H/V类(合并类15)合并成一个合并类6，可以获得与合并类数目十八对应的合并模式(第一步骤)。
在图116中，在与合并类数目十八对应的合并模式中，在活动子类为2并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类7)和H/V类(合并类15)合并成一个合并类7，可以获得与合并类数目十七对应的合并模式(第一步骤)。
在与合并类数目十七对应的合并模式中，在活动子类为3并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类8)和H/V类(合并类15)合并成一个合并类8，可以获得与合并类数目十六对应的合并模式(第一步骤)。
在与合并类数目十六对应的合并模式中，在活动子类为4并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类9)和H/V类(合并类15)合并成一个合并类9，可以获得与合并类数目十五对应的合并模式(第一步骤)。
在图117中，在与合并类数目十五对应的合并模式中，在活动子类为0的情况下通过将弱类(合并类5)和强类(合并类10)合并成一个合并类5，可以获得与合并类数目十四对应的合并模式(第二步骤)。
在与合并类数目十四对应的合并模式中，在活动子类为1的情况下通过将弱类(合并类6)和强类(合并类10)合并成一个合并类6，可以获得与合并类数目十三对应的合并模式(第二步骤)。
在与合并类数目十三对应的合并模式中，在活动子类为2的情况下通过将弱类(合并类7)和强类(合并类10)合并成一个合并类7，可以获得与合并类数目十二对应的合并模式(第二步骤)。
在与合并类数目十二对应的合并模式中，在活动子类为3的情况下通过将弱类(合并类8)和强类(合并类10)合并成一个合并类8，可以获得与合并类数目十一对应的合并模式(第二步骤)。
在与合并类数目十一对应的合并模式中，在活动子类为4的情况下通过将弱类(合并类9)和强类(合并类10)合并成一个合并类9，可以获得与合并类数目十对应的合并模式(第二步骤)。
在图118和图119中，当根据第三合并规则获得分别与合并类数目九至一对应的合并模式时的合并方法类似于当根据图104和图105中描述的第一合并规则获得分别与合并类数目九至一对应的合并模式时的合并方法，并且因此省略对其的描述。
<第四合并规则>
图120、图121、图122、图123、图124和图125是描述当根据第四合并规则设置所有合并模式时的合并方法的图。
在第四合并规则中，首先，在第一步骤中，根据低活动的活动子类合并倾度强度比子类中倾度强度比最大的强类和倾度强度比第二大的弱类、方向子类的D0/D1和H/V子类。此后，在第四合并规则中，作为第二步骤，与第三合并规则类似地，根据低活动的活动子类合并倾斜强度比子类的弱类和强类。此外，在第四合并规则中，作为第三步骤，与第一合并规则类似地，根据低活动的活动子类合并作为在合并倾斜强度比子类的弱类和强类之后的合并子类的高类和无类。最后，在第四合并规则中，作为第四步骤，与第一合并规则类似地，根据低活动的活动子类合并活动子类。
在图120中，与合并类的数目二十五对应的合并模式是可以获得与通过作为初始类分类的GALF的类分类获得的初始类相同的合并类的合并模式。
在与合并类数目二十五对应的合并模式中，在活动子类为0并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类10)和H/V类(合并类20)合并成一个合并类10，可以获得与合并类数目二十四对应的合并模式(第一步骤)。
在与合并类数目二十四对应的合并模式中，在活动子类为0并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类5)和H/V类(合并类15)合并成一个合并类5，可以获得与合并类数目二十三对应的合并模式。
在图121中，在与合并类数目二十三对应的合并模式中，在活动子类为1并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类11)和H/V类(合并类19)合并成一个合并类11，可以获得与合并类数目二十二对应的合并模式(第一步骤)。
在与合并类数目二十二对应的合并模式中，在活动子类为1并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类6)和H/V类(合并类15)合并成一个合并类6，可以获得与合并类数目二十一对应的合并模式(第一步骤)。
在与合并类数目二十一对应的合并模式中，在活动子类为2并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类12)和H/V类(合并类18)合并成一个合并类12，可以获得与合并类数目二十对应的合并模式(第一步骤)。
在与合并类数目二十对应的合并模式中，在活动子类为2并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类7)和H/V类(合并类15)合并成一个合并类7，可以获得与合并类数目十九对应的合并模式(第一步骤)。
在图122中，在与合并类数目十九对应的合并模式中，在活动子类为3并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类13)和H/V类(合并类17)合并成一个合并类13，可以获得与合并类数目十八对应的合并模式(第一步骤)。
在与合并类数目十八对应的合并模式中，在活动子类为3并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类8)和H/V类(合并类15)合并成一个合并类8，可以获得与合并类数目十七对应的合并模式(第一步骤)。
在与合并类数目十七对应的合并模式中，在活动子类为4并且倾斜强度比子类为强类的情况下，通过将D0/D1(合并类14)和H/V类(合并类16)合并成一个合并类14，可以获得与合并类数目十六对应的合并模式(第一步骤)。
在与合并类数目十六对应的合并模式中，在活动子类为4并且倾斜强度比子类为弱类的情况下，通过将D0/D1(合并类9)和H/V类(合并类15)合并成一个合并类9，可以获得与合并类数目十五对应的合并模式(第一步骤)。
在图123中，当根据第四合并规则获得分别与合并类数目十四至十对应的合并模式时的合并方法类似于当根据图117中描述的第三合并规则获得分别与合并类数目十四至十对应的合并模式时的合并方法，并且因此省略对其的描述。
在图124和图125中，当根据第四合并规则获得分别与合并类数目九至一对应的合并模式时的合并方法类似于当根据图104和图105中描述的第一合并规则获得分别与合并类数目九至一对应的合并模式时的合并方法，并且因此省略对其的描述。
在图56的类分类预测滤波器110以及图58的编码装置160和解码装置170中，可以使用与根据如上所述的第一至第四合并规则中的任何一个所设置的所有数目的合并类中的每个对应的合并模式(所有合并模式)来执行处理。
注意，此处，GALF的类分类被用作初始类分类，但是在除了GALF的类分类之外的分类被用作初始类分类的情况下，也可以应用与合并类的总数中的每个对应的合并模式的设置。
<对应用本技术的计算机的描述>
接下来，可以通过硬件或软件来执行上述一系列处理。在通过软件执行该系列处理的情况下，构成软件的程序被安装在计算机等中。
图126是示出安装有用于执行上述一系列处理的程序的计算机的一个实施方式的配置示例的框图。
该程序可以预先记录在作为计算机中包含的记录介质的硬盘905或ROM 903上。
替选地，可以将程序存储(记录)在可移除记录介质911中。这样的可移除记录介质911可以作为所谓的封装软件来提供。此处，可移除记录介质911的示例包括例如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。
注意，如上所述除了将程序从可移除记录介质911安装在计算机上，程序可以经由通信网络或广播网络下载至计算机，以安装在内置硬盘905上。也就是说，例如，程序可以从下载站点经由用于数字卫星广播的人造卫星无线地传送到计算机，或者经由诸如局域网(LAN)或因特网的网络有线地传送到计算机。
计算机具有内置中央处理单元(CPU)902，并且输入输出接口910经由总线901连接至CPU 902。
如果用户通过操作输入单元907等经由输入输出接口910输入命令，则CPU 902相应地执行存储在只读存储器(ROM)903中的程序。替选地，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并执行该程序。
因此，CPU 902根据上述流程图执行处理，或者根据上述框图的配置执行处理。然后，CPU 902从输出单元906输出其处理结果，或者在必要的情况下例如经由输入输出接口910从通信单元908发送处理结果，并且还使得在硬盘905上记录处理结果等。
注意，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(LCD)、扬声器等。
此处，在本说明书中，计算机根据程序执行的处理不一定必须按照流程图中描述的顺序按时间顺序执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或对象处理)。
此外，程序可以通过一个计算机(处理器)处理或者可以由多个计算机以分布式方式处理。此外，程序可以被传送到远程计算机并被执行。
此外，在本说明书中，系统是指一组多个部件(装置、模块(部件)等)，并且所有部件是否都在同一壳体中并不重要。因此，容纳在分开的壳体中并经由网络连接的多个装置以及容纳在一个壳体中的多个模块的单个装置两者都是系统。
注意，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。
例如，本技术可以采用其中一种功能经由网络被多个装置共享并且被共同处理的云计算的配置。
此外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置以共享的方式执行。
此外，在一个步骤中包括多个处理的情况下，包括在该一个步骤中的多个处理除了由一个装置执行以外也可以由多个装置以共享的方式执行。
此外，本说明书中描述的效果仅是示例而不进行限制，并且可以提供其他效果。
<本技术的应用目标>
本技术可以应用于任何图像编码和解码方法。也就是说，只要不与上述本技术矛盾，与图像编码和解码有关的各种处理(例如转换(逆转换)、量化(逆量化)、编码(解码)和预测)的规格是任意的，并且不限于上述示例。此外，只要这些处理中的一些处理不与上述本技术矛盾，可以对其进行省略。
<处理单元>
其中设置了上述各种信息的数据单元和以各种处理为目标的数据单元是任意的，并且不限于上述示例。例如，可以在每个TU(变换单位)、变换单位(TU)、变换块(TB)、预测单位(PU)、预测块(PB)、编码单位(CU)、最大编码单位(LCU)、子块、块、图块、片、图片、序列或分量中设置这些信息和处理，或者可以以这些数据单元中的数据为目标。当然，可以针对每个信息或处理设置该数据单元，并且不必统一所有信息或处理的数据单元。注意，这些信息的存储位置是任意的，并且可以存储在上述数据单位的头部、参数集等中。此外，这些信息可以存储在多个地方。
<控制信息>
可以将与在上述实施方式中的每个中描述的本技术有关的控制信息从编码侧发送至解码侧。例如，可以发送控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以发送指示应用了本技术的目标(或者未应用本技术的目标)的控制信息。例如，可以发送控制信息，控制信息指定应用本技术(或者允许或禁止应用本技术)的块大小(上限或下限，或上限和下限两者)、帧、分量、层等。
<块大小信息>
在指定应用本技术的块的大小时，不仅可以直接指定块大小，而且可以间接指定块大小。例如，可以使用用于识别大小的识别信息来指定块大小。此外，例如，块大小可以通过与参考块(例如，LCU、SCU等)的大小的比率或差异来指定。例如，在将用于指定块大小的信息作为语法元素等进行发送的情况下，可以使用如上所述的用于间接指定大小的信息作为该信息。以这种方式，可以减少信息的信息量，并且可以提高编码效率。此外，块大小的指定还包括块大小的范围的指定(例如，可允许块大小的范围的指定等)。
<其他>
注意，在本说明书中，“标志”是用于识别多个状态的信息，并且其不仅包括用于识别两个状态真(1)或假(0)的信息，而且还包括可以识别三个或更多个状态的信息。因此，该“标志”可以采用的值可以是例如1和0的两个值，或者3或更多个值。也就是说，构成该“标志”的位数是任意的，并且可以是1位或多位。此外，假设识别信息(包括标志)不仅包括其在比特流中的识别信息，而且还包括识别信息相对于比特流中的特定参考信息的差异信息，并且因此，在本说明书中，“标志”和“识别信息”不仅包括其信息，而且还包括相对于参考信息的差异信息。
附图标记列表
10 类分类单元
110 类分类预测滤波器
111 类分类单元
112 合并转换单元
113 抽头系数获取单元
114 预测单元
121 学习单元
160 编码装置
161 编码单元
162 局部解码单元
163 滤波器单元
164 类分类单元
165 合并转换单元
170 解码装置
171 解析单元
172 解码单元
173 滤波器单元
174 类分类单元
175 合并转换单元
201 A/D转换单元
202 排序缓冲器
203 计算单元
204 正交变换单元
205 量化单元
206 可逆编码单元
207 累积缓冲器
208 逆量化单元
209 逆正交变换单元
210 计算单元
211 ILF
212 帧存储器
213 选择单元
214 帧内预测单元
215 运动预测补偿单元
216 预测图像选择单元
217 速率控制单元
301 累积缓冲器
302 可逆解码单元
303 逆量化单元
304 逆正交变换单元
305 计算单元
306ILF
307 排序缓冲器
308 D/A转换单元
310 帧存储器
311 选择单元
312 帧内预测单元
313 运动预测补偿单元
314 选择单元
410 类分类预测滤波器
412 合并转换单元
421 学习单元
463 滤波器单元
465 合并转换单元
473 滤波器单元
475 合并转换单元
511,606 ILF
901 总线
902 CPU
903 ROM
904 RAM
905 硬盘
906 输出单元
907 输入单元
908 通信单元
909 驱动器
910 输入输出接口
911 可移除记录介质

Claims (38)

1.一种解码装置，包括：
解码单元，其对包括在编码比特流中的编码数据进行解码并且生成解码图像；
类分类单元，其通过多个特征量中的每个的子类分类来对由所述解码单元生成的所述解码图像的关注像素执行类分类；
合并转换单元，其将通过由所述类分类单元执行的类分类获得的关注像素的初始类转换为合并类，所述合并类是通过针对每个合并类数目根据设置预先设置的合并模式合并所述特征量的子类来合并初始类而获得的；以及
滤波单元，其执行滤波处理，所述滤波处理对所述解码图像应用预测方程，所述预测方程对由所述合并转换单元转换的所述关注像素的合并类的抽头系数和所述解码图像的像素执行积和运算，以便生成滤波图像。
2.根据权利要求1所述的解码装置，其中，
关于每个合并类数目的合并模式被设置成使得从通过预定类分类获得的初始类开始减少类的数目。
3.根据权利要求1所述的解码装置，其中，
所述类分类单元通过使用表示所述关注像素的像素值的倾斜强度的倾斜强度比、表示所述关注像素的像素值的倾斜方向的倾斜方向以及通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向中的每个方向上的活动相加而获得的多个方向上的活动总和来对所述关注像素执行类分类。
4.根据权利要求3所述的解码装置，其中，
所述类分类单元使用所述倾斜方向上的可靠性对所述关注像素执行类分类。
5.根据权利要求1所述的解码装置，其中，
在所述特征量中的一个的子类是特定子类的情况下，通过合并所述特征量中的另一个的子类的部分合并来设置关于每个合并类数目的合并模式。
6.根据权利要求5所述的解码装置，其中，
作为通过所述部分合并而获得的合并模式，设置与在通过合并所述子类而获得的合并模式的合并类数目中进行插值的合并类数目对应的合并模式。
7.根据权利要求1所述的解码装置，还包括：
解析单元，其从所述初始类解析被采用以从所述编码比特流转换为所述合并类的所采用的合并类数目，
其中，所述合并转换单元根据与由所述解析单元解析的所采用的合并类数目对应的合并模式，将所述关注像素的初始类转换为所述合并类。
8.根据权利要求1所述的解码装置，其中，
所述解码单元使用四叉树块结构或者四叉树加二叉树(QTBT)块结构的编码单位(CU)作为处理单位对所述编码数据进行解码。
9.一种解码方法，包括：
对包括在编码比特流中的编码数据进行解码并且生成解码图像；
通过多个特征量中的每个的子类分类来对所述解码图像的关注像素执行类分类；
将通过类分类获得的关注像素的初始类转换为合并类，所述合并类是通过针对每个合并类数目根据设置预先设置的合并模式合并所述特征量的子类来合并初始类而获得的；以及
执行滤波处理，所述滤波处理对所述解码图像应用预测方程，所述预测方程对所述关注像素的合并类的抽头系数和所述解码图像的像素执行积和运算，以便生成滤波图像。
10.一种编码装置，包括：
类分类单元，其对局部解码图像的关注像素执行类分类，所述局部解码图像是通过多个特征量中的每个的子类分类而局部解码的；
合并转换单元，其将通过由所述类分类单元执行的类分类获得的关注像素的初始类转换为合并类，所述合并类是通过针对每个合并类数目根据设置预先设置的合并模式合并所述特征量的子类来合并初始类而获得的；
滤波单元，其执行滤波处理，所述滤波处理对所述局部解码图像应用预测方程，所述预测方程对由所述合并转换单元转换的所述关注像素的合并类的抽头系数和所述局部解码图像的像素执行积和运算，以便生成滤波图像；以及
编码单元，其使用由所述滤波单元生成的所述滤波图像对原始图像进行编码。
11.根据权利要求10所述的编码装置，其中，
关于每个合并类数目的合并模式被设置成使得从通过预定类分类获得的初始类开始减少类的数目。
12.根据权利要求10所述的编码装置，其中，
所述类分类单元通过使用表示所述关注像素的像素值的倾斜强度的倾斜强度比、表示所述关注像素的像素值的倾斜方向的倾斜方向以及通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向中的每个方向上的活动相加而获得的多个方向上的活动总和来对所述关注像素执行类分类。
13.根据权利要求12所述的编码装置，其中，
所述类分类单元使用所述倾斜方向上的可靠性对所述关注像素执行类分类。
14.根据权利要求10所述的编码装置，其中，
在所述特征量中的一个的子类是特定子类的情况下，通过合并所述特征量中的另一个的子类的部分合并来设置关于每个合并类数目的合并模式。
15.根据权利要求14所述的编码装置，其中，
作为通过所述部分合并而获得的合并模式，设置与在通过合并所述子类而获得的合并模式的合并类数目中进行插值的合并类数目对应的合并模式。
16.根据权利要求10所述的编码装置，其中，
所述滤波单元确定在根据与作为在从所述初始类到所述合并类的转换中采用的所采用的合并类数目的合并类数目对应的合并模式合并所述初始类的情况下使成本最小化的合并类数目，以及
所述编码单元生成编码比特流，所述编码比特流包括通过对所述原始图像进行编码而获得的编码数据以及所采用的合并类数目。
17.根据权利要求10所述的编码装置，其中，
所述解码单元使用四叉树块结构或者四叉树加二叉树(QTBT)块结构的编码单位(CU)作为处理单位对所述编码数据进行解码。
18.一种编码方法，包括：
对局部解码图像的关注像素执行类分类，所述局部解码图像是通过多个特征量中的每个的子类分类而局部解码的；
将通过类分类获得的关注像素的初始类转换为合并类，所述合并类是通过针对每个合并类数目根据设置预先设置的合并模式合并所述特征量的子类来合并初始类而获得的；
执行滤波处理，所述滤波处理对所述局部解码图像应用预测方程，所述预测方程对所述关注像素的合并类的抽头系数和所述局部解码图像的像素执行积和运算，以便生成滤波图像；以及
使用所述滤波图像对原始图像进行编码。
19.根据权利要求1所述的解码装置，其中，
作为关于每个合并类数目的合并模式，设置作为与等于或小于通过预定类分类获得的初始类的初始类数目的自然数的每个值的每个合并类数目对应的合并模式的所有合并模式。
20.根据权利要求19所述的解码装置，其中，
通过重复下述步骤来设置所述所有合并模式：
通过将构成与合并类数目C对应的合并模式的合并类中的任意两个合并类合并为一个合并类，来设置与合并类数目C-1对应的合并模式。
21.根据权利要求20所述的解码装置，其中，
所述类分类单元通过由表示所述关注像素的像素值的倾斜强度的倾斜强度比的子类分类获得的倾斜强度比子类、由表示所述关注像素的像素值的倾斜方向的倾斜方向的子类分类获得的方向子类以及由通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向中的每个方向上的活动相加而获得的多个方向上的活动总和的类分类获得的活动子类，对所述关注像素执行类分类，以及
通过相对于预定方向子类，从低活动的活动子类开始合并两个倾斜强度比子类来设置所述合并模式。
22.根据权利要求21所述的解码装置，其中，
还通过从所述低活动的活动子类开始合并两个方向子类来设置所述合并模式。
23.根据权利要求22所述的解码装置，其中，
还通过从所述低活动的活动子类开始将通过合并所述两个倾斜强度比子类而获得的合并子类与另一倾斜强度比子类进行合并来设置所述合并模式。
24.根据权利要求23所述的解码装置，其中，
还通过从所述低活动的活动子类开始合并活动子类来设置所述合并模式。
25.根据权利要求20所述的解码装置，其中，
所述类分类单元通过由表示所述关注像素的像素值的倾斜强度的倾斜强度比的子类分类获得的倾斜强度比子类、由表示所述关注像素的像素值的倾斜方向的倾斜方向的子类分类获得的方向子类以及由通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向中的每个方向上的活动相加而获得的多个方向上的活动总和的类分类获得的活动子类，对所述关注像素执行类分类，以及
通过从低活动的活动子类开始相对于预定的倾斜强度比子类合并两个方向子类来设置所述合并模式。
26.根据权利要求25所述的解码装置，其中，
还通过从所述低活动的活动子类开始合并两个倾斜强度比子类来设置所述合并模式。
27.根据权利要求26所述的解码装置，其中，
还通过从所述低活动的活动子类开始将通过合并所述两个倾斜强度比子类而获得的合并子类与另一倾斜强度比子类进行合并来设置所述合并模式。
28.根据权利要求27所述的解码装置，其中，
还通过从所述低活动的活动子类开始合并活动子类来设置所述合并模式。
29.根据权利要求10所述的编码装置，其中，
作为关于每个合并类数目的合并模式，设置作为与等于或小于通过预定类分类获得的初始类的初始类数目的自然数的每个值的每个合并类数目对应的合并模式的所有合并模式。
30.根据权利要求29所述的编码装置，其中，
通过重复下述步骤来设置所述所有合并模式：
通过将构成与合并类数目C对应的合并模式的合并类中的任意两个合并类合并为一个合并类，来设置与合并类数目C-1对应的合并模式。
31.根据权利要求30所述的编码装置，其中，
所述类分类单元通过由表示所述关注像素的像素值的倾斜强度的倾斜强度比的子类分类获得的倾斜强度比子类、由表示所述关注像素的像素值的倾斜方向的倾斜方向的子类分类获得的方向子类以及由通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向的每个方向上的活动相加而获得的多个方向上的活动总和的类分类获得的活动子类，对所述关注像素执行类分类，以及
通过相对于预定方向子类，从低活动的活动子类开始合并两个倾斜强度比子类来设置所述合并模式。
32.根据权利要求31所述的编码装置，其中，
还通过从所述低活动的活动子类开始合并两个方向子类来设置所述合并模式。
33.根据权利要求32所述的编码装置，其中，
还通过从所述低活动的活动子类开始将通过合并所述两个倾斜强度比子类而获得的合并子类与另一倾斜强度比子类进行合并来设置所述合并模式。
34.根据权利要求33所述的编码装置，其中，
还通过从所述低活动的活动子类开始合并活动子类来设置所述合并模式。
35.根据权利要求30所述的编码装置，其中，
所述类分类单元通过由表示所述关注像素的像素值的倾斜强度的倾斜强度比的子类分类获得的倾斜强度比子类、由表示所述关注像素的像素值的倾斜方向的倾斜方向的子类分类获得的方向子类以及由通过将所述关注像素的周边区域中的多个像素中的每个像素的多个方向中的每个方向上的活动相加而获得的多个方向上的活动总和的类分类获得的活动子类，对所述关注像素执行类分类，以及
通过从低活动的活动子类开始相对于预定的倾斜强度比子类合并两个方向子类来设置所述合并模式。
36.根据权利要求35所述的编码装置，其中，
还通过从所述低活动的活动子类开始合并两个倾斜强度比子类来设置所述合并模式。
37.根据权利要求36所述的编码装置，其中，
还通过从所述低活动的活动子类开始将通过合并所述两个倾斜强度比子类而获得的合并子类与所述倾斜强度比子类中的另一个进行合并来设置所述合并模式。
38.根据权利要求37所述的编码装置，其中，
还通过从所述低活动的活动子类开始合并活动子类来设置所述合并模式。
CN201980061396.1A 2018-09-25 2019-09-12 编码装置、编码方法、解码装置和解码方法 Withdrawn CN112740678A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018178412 2018-09-25
JP2018-178412 2018-09-25
JP2018246543A JP2022002357A (ja) 2018-09-25 2018-12-28 符号化装置、符号化方法、復号装置、及び、復号方法
JP2018-246543 2018-12-28
PCT/JP2019/035819 WO2020066642A1 (ja) 2018-09-25 2019-09-12 符号化装置、符号化方法、復号装置、及び、復号方法

Publications (1)

Publication Number Publication Date
CN112740678A true CN112740678A (zh) 2021-04-30

Family

ID=69952119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061396.1A Withdrawn CN112740678A (zh) 2018-09-25 2019-09-12 编码装置、编码方法、解码装置和解码方法

Country Status (4)

Country Link
US (1) US20210168407A1 (zh)
CN (1) CN112740678A (zh)
TW (1) TW202029750A (zh)
WO (1) WO2020066642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800180B (zh) * 2021-07-13 2023-04-21 財團法人工業技術研究院 特徵資料編碼方法、編碼器、特徵資料解碼方法及解碼器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423578B2 (en) * 2017-09-27 2022-08-23 Sony Corporation Encoding device, encoding method, decoding device, and decoding method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190624A1 (en) * 2002-12-24 2004-09-30 Sony Corporation Image processing apparatus and associated method
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
US20170237981A1 (en) * 2016-02-15 2017-08-17 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5770647B2 (ja) * 2012-01-18 2015-08-26 日本電信電話株式会社 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US10382766B2 (en) * 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190624A1 (en) * 2002-12-24 2004-09-30 Sony Corporation Image processing apparatus and associated method
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
US20170237981A1 (en) * 2016-02-15 2017-08-17 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800180B (zh) * 2021-07-13 2023-04-21 財團法人工業技術研究院 特徵資料編碼方法、編碼器、特徵資料解碼方法及解碼器

Also Published As

Publication number Publication date
US20210168407A1 (en) 2021-06-03
WO2020066642A1 (ja) 2020-04-02
TW202029750A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
US11044485B2 (en) Method and apparatus for coding unit partitioning
JP7373509B2 (ja) フレーム内予測方法及び装置
US9698822B2 (en) Method and arrangement for coding transform coefficients in picture and/or video coders and decoders and a corresponding computer program and a corresponding computer-readable storage medium
US20180227582A1 (en) Method and apparatus for processing a video signal
US20170302939A1 (en) Adaptive screen and video coding scheme
JP2021518076A (ja) 映像符号化／復号化方法及び装置
US9706226B2 (en) Image encoding apparatus and image decoding apparatus employing intra preciction and direction transform matrix
JP2023133553A (ja) 画像処理装置及び画像処理方法
WO2012134246A2 (ko) 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치
KR20200092314A (ko) 화상 처리 장치 및 방법
CN112740678A (zh) 编码装置、编码方法、解码装置和解码方法
KR20200092315A (ko) 화상 처리 장치 및 방법
US20120281749A1 (en) Encoder, decoder, and data configuration
WO2019220947A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
EP4178203A1 (en) Enhanced cross component sample offset filtering system for video coding and decoding
WO2020066643A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
CN111386703B (zh) 编码装置、编码方法、解码装置和解码方法
CN1162002C (zh) 图象信号编码方法及装置
WO2020008910A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
JP2022002357A (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
WO2019208258A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
CN113875248A (zh) 信息处理装置和方法
JPWO2019131161A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
US20230316582A1 (en) Information processing apparatus and method
EP4178202A1 (en) Multi-feature sample offset filtering system for video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210430