CN110169063A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110169063A
CN110169063A CN201780082531.1A CN201780082531A CN110169063A CN 110169063 A CN110169063 A CN 110169063A CN 201780082531 A CN201780082531 A CN 201780082531A CN 110169063 A CN110169063 A CN 110169063A
Authority
CN
China
Prior art keywords
tap
class
image
unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780082531.1A
Other languages
English (en)
Other versions
CN110169063B (zh
Inventor
川合拓郎
细川健一郎
中神央二
池田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202210114315.3A priority Critical patent/CN114520915A/zh
Publication of CN110169063A publication Critical patent/CN110169063A/zh
Application granted granted Critical
Publication of CN110169063B publication Critical patent/CN110169063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Abstract

本技术涉及能够实现S/N提高的图像处理装置和图像处理方法。类抽头选择单元通过从通过将预测编码的残差和预测图像相加获得的第一图像中选择用作要在将第一图像中的待处理像素分类成多个类中的一个类的类分类中使用的类抽头的像素来配置类抽头。类分类单元使用类抽头来执行待处理像素的类分类，并且滤波处理单元对第一图像执行与待处理像素的类对应的滤波处理以生成要在预测图像的预测中使用的第二图像。类抽头选择单元将类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。例如，本技术可以应用于图像编码装置和图像解码装置。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，具体地，例如，涉及可以大大地提高图像的S/N的图像处理装置和图像处理方法。
背景技术
例如，在作为预测编码系统之一的高效视频编码(HEVC)中，提出了环路滤波器(ILF)。另外，在后HEVC(下一代HEVC的预测编码系统)中，期望采用ILF。
存在作为ILF的用于降低块噪声的去块滤波器(DF)、用于降低振铃的样本自适应偏移(SAO)以及用于使编码误差(解码图像相对于原始图像的误差)最小化的自适应环路滤波器(ALF)。
在专利文献1中描述了ALF，并且在专利文献2中描述了SAO。
引用列表
专利文献
专利文献1：日本专利第5485983号
专利文献2：PCT国际申请公开第2014-523183号的翻译件
发明内容
技术问题
当前提出的作为ILF的DF、SAO或ALF具有低自由度，并且难以对滤波器执行精细控制，并且因此难以大大提高图像的信噪比(S/N)。
考虑到这样的情况做出了本技术，并且本技术的目的是大大改善图像的S/N。
问题的解决方案
本技术的图像处理装置是以下图像处理装置，包括：类抽头选择单元，通过从通过将预测编码的残差和预测图像相加在一起获得的第一图像中选择作为将第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置类抽头；类分类单元，通过使用类抽头执行待处理像素的类分类；以及滤波处理单元，对第一图像执行与待处理像素的类对应的滤波处理以生成在预测图像的预测中使用的第二图像，其中类抽头选择单元将类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
本技术的图像处理方法是以下图像处理方法，包括：通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为将第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置类抽头；通过使用类抽头执行待处理像素的类分类；以及对第一图像执行与待处理像素的类对应的滤波处理以生成在预测图像的预测中使用的第二图像，其中将类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
在本技术的图像处理装置和图像处理方法中，通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为在将第一图像的待处理像素分类成多个类中的任何一个类的类分类中使用的类抽头的像素来配置类抽头。然后，通过使用类抽头对第一图像执行待处理像素的类分类，以及执行与待处理像素的类对应的滤波处理，并且因此，生成在预测图像的预测中使用的第二图像。在该情况下，类抽头的抽头结构被更新为从多个抽头结构中选择的抽头结构。
注意，图像处理装置可以是独立的装置，或者可以是配置一个装置的内部块。
另外，可以通过允许计算机执行程序来实现图像处理装置。可以通过传输介质传送或者通过在记录介质中记录来提供程序。
本发明的有益效果
根据本技术，可以大大提高图像的S/N。
注意，此处描述的效果不一定是限制性的，并且可以是本公开内容中描述的效果中的任何一种效果。
附图说明
图1是示出应用本技术的图像处理系统的一个实施方式的配置示例的图。
图2是示出执行类分类自适应处理的图像转换装置的第一配置示例的框图。
图3是示出执行对系数获取单元24中存储的抽头系数的学习的学习装置的配置示例的框图。
图4是示出学习单元33的配置示例的框图。
图5是示出执行类分类自适应处理的图像转换装置的第二配置示例的框图。
图6是示出执行对系数获取单元24中存储的类型系数的学习的学习装置的配置示例的框图。
图7是示出学习单元63的配置示例的框图。
图8是示出学习单元63的另一配置示例的框图。
图9是示出编码装置11的第一配置示例的框图。
图10是示出类分类自适应滤波器111的配置示例的框图。
图11是示出学习装置131的配置示例的框图。
图12是示出作为类抽头的抽头结构的类抽头形状的示例的图。
图13是示出由多个帧的像素配置的类抽头的抽头结构的示例的图。
图14是示出类抽头的抽头结构的变型的示例的图。
图15是示出在抽头结构选择单元151中存储的类抽头的多个抽头结构的确定方法的示例的图。
图16是示出在通过类分类单元163进行的类分类中使用的类抽头的图像特征量的示例的图。
图17是示出图像转换单元171的配置示例的框图。
图18是示出学习装置131的处理的示例的流程图。
图19是示出图像转换装置133的配置示例的框图。
图20是示出编码装置11的编码处理的示例的流程图。
图21是示出在步骤S46中执行的类分类自适应处理的示例的流程图。
图22是示出解码装置12的第一配置示例的框图。
图23是示出类分类自适应滤波器206的配置示例的框图。
图24是示出图像转换装置231的配置示例的框图。
图25是示出解码装置12的解码处理的示例的流程图。
图26是示出在步骤S122中执行的类分类自适应处理的示例的流程图。
图27是示出减少每个类的抽头系数的减少方法的示例的图。
图28是示出编码装置11的第二配置示例的框图。
图29是示出类分类自适应滤波器311的配置示例的框图。
图30是示出在类抽头的抽头结构的选择中使用的可获取信息的示例的图。
图31是示出学习装置331的配置示例的框图。
图32是示出图像转换单元371的配置示例的框图。
图33是示出学习装置331的处理的示例的流程图。
图34是示出图像转换装置333的配置示例的框图。
图35是示出编码装置11的编码处理的示例的流程图。
图36是示出在步骤S246中执行的类分类自适应处理的示例的流程图。
图37是示出解码装置12的第二配置示例的框图。
图38是示出类分类自适应滤波器401的配置示例的框图。
图39是示出图像转换装置431的配置示例的框图。
图40是示出解码装置12的解码处理的示例的流程图。
图41是示出在步骤S322中执行的类分类自适应处理的示例的流程图。
图42是示出多视图图像编码系统的示例的图。
图43是示出应用本技术的多视图图像编码装置的主要配置示例的图。
图44是示出应用本技术的多视图图像解码装置的主要配置示例的图。
图45是示出分层图像编码系统的示例的图。
图46是示出应用本技术的分层图像编码装置的主要配置示例的图。
图47是示出应用本技术的分层图像解码装置的主要配置示例的图。
图48是示出计算机的主要配置示例的框图。
图49是示出电视装置的示意性配置的示例的框图。
图50是示出移动电话的示意性配置的示例的框图。
图51是示出记录和再现装置的示意性配置的示例的框图。
图52是示出捕获装置的示意性配置的示例的框图。
图53是示出视频设备的示意性配置的示例的框图。
图54是示出视频处理器的示意性配置的示例的框图。
图55是示出视频处理器的示意性配置的另一示例的框图。
具体实施方式
<应用本技术的图像处理系统>
图1是示出应用本技术的图像处理系统的一个实施方式的配置示例的图。
在图1中，图像处理系统包括编码装置11和解码装置12。
作为编码目标的原始图像被提供给编码装置11。
编码装置11例如根据诸如HEVC或高级视频编码(AVC)的预测编码对原始图像进行编码。
在编码装置11的预测编码中，生成原始图像的预测图像，并且对原始图像与预测图像之间的残差进行编码。
此外，在编码装置11的预测编码中，对通过将预测编码的残差和预测图像相加在一起获得的解码期间的图像执行使用ILF的ILF处理，并且因此，生成在预测图像的预测中使用的参考图像。
此处，通过对解码期间的图像执行作为ILF处理的滤波处理(滤波)而获得的图像也将被称为滤波后图像。
编码装置11执行预测编码，并且根据需要，通过使用解码期间的图像和原始图像来执行学习等，并且因此，可以获得指示滤波后图像最接近原始图像的与作为ILF处理的滤波处理相关的信息作为滤波信息。
可以通过使用通过学习获得的滤波信息来执行编码装置11的ILF处理。
此处，例如，可以对原始图像的一个或多个序列、对原始图像的一个或多个场景(从场景变化到下一场景变化的帧)、对原始图像的一个或多个帧(图片)、对原始图像的一个或多个切片、对图片的编码单元的块的一个或多个线以及以其他任意单元执行获得滤波信息的学习。另外，例如，可以在残差大于或等于阈值的情况下执行获得滤波信息的学习。
编码装置11通过传输介质13传送通过原始图像的预测编码获得的编码数据，或者将编码数据传送至记录介质14进行记录。
另外，编码装置11能够通过传输介质13传送通过学习获得的滤波信息，或者能够将滤波信息传送到记录介质14进行记录。
注意，可以通过与编码装置11不同的装置来执行获得滤波信息的学习。
此外，滤波信息可以与编码数据分开传送，或者可以通过将滤波信息包括在编码数据中来传送。
此外，可以通过使用原始图像本身(以及从原始图像获得的编码期间的图像)来执行获得滤波信息的学习，并且还可以通过使用与原始图像不同的图像来执行获得滤波信息的学习，该图像具有与原始图像的图像特征量相似的图像特征量。
解码装置12通过传输介质13或记录介质14接受(接收)(获取)从编码装置11传送的编码数据和必要的滤波信息，并且在与编码装置11的预测编码对应的系统中对编码数据进行解码。
也就是说，解码装置12通过处理来自编码装置11的编码数据来获得预测编码的残差。此外，解码装置12通过将残差和预测图像相加在一起获得与由编码装置11获得的图像相同的解码期间的图像。然后，解码装置12对解码期间的图像执行作为ILF处理的滤波处理，在滤波处理中根据需要使用来自编码装置11的滤波信息，并且因此获得滤波后图像。
在解码装置12中，将滤波后图像作为原始图像的解码图像输出，并且根据需要将滤波后图像临时存储为在预测图像的预测中使用的参考图像。
可以通过任意滤波器执行编码装置11和解码装置12的作为ILF处理的滤波处理。
另外，可以通过类分类自适应处理(的预测运算)来执行编码装置11和解码装置12的滤波处理。在下文中，将描述类分类自适应处理。
<类分类自适应处理>
图2是示出执行类分类自适应处理的图像转换装置的第一配置示例的框图。
此处，例如，类分类自适应处理可以被认为是将第一图像转换为第二图像的图像转换处理。
将第一图像转换成第二图像的图像转换处理是根据第一图像和第二图像的定义的各种信号处理。
也就是说，例如，在第一图像被设置为具有低空间分辨率的图像并且第二图像被设置为具有高空间分辨率的图像的情况下，图像转换处理可以被称为提高空间分辨率的空间分辨率创建(提高)处理。
另外，例如，在第一图像被设置为具有低S/N的图像并且第二图像被设置为具有高S/N的图像的情况下，图像转换处理可以称为去除噪声的噪声去除处理。
此外，例如，在第一图像被设置为具有预定像素数(预定尺寸)的图像并且第二图像被设置为具有大于或小于第一图像的像素数的像素数的图像的情况下，图像转换处理可以被称为调整(放大或缩小)图像尺寸的调整尺寸处理。
另外，例如，在第一图像被设置为通过对以HEVC等的块单位编码的图像进行解码而获得的解码图像并且第二图像被设置为编码之前的原始图像的情况下，图像转换处理可以被称为去除由以块单位进行编码和解码引起的块失真的失真去除处理。
注意，除了图像以外，类分类自适应处理例如能够对声音进行处理。对声音进行处理的类分类自适应处理可以被认为是将第一声音(例如，具有低S/N等的声音)转换成第二声音(例如，具有高S/N等的声音)的声音转换处理。
在类分类自适应处理中，根据使用通过将第一图像中的目标像素(作为处理目标的待处理像素)的像素值分类成多个类中的任一个类的类分类而获得的类的抽头系数以及关于目标像素选择的第一图像的作为抽头系数的相同像素数的像素值的预测运算获得目标像素的像素值。
图2示出了根据类分类自适应处理执行图像转换处理的图像转换装置的配置示例。
在图2中，图像转换装置20包括抽头选择单元21和22、类分类单元23、系数获取单元24和预测运算单元25。
第一图像被提供给图像转换装置20。提供给图像转换装置20的第一图像被提供给抽头选择单元21和22。
抽头选择单元21顺序地选择构成第一图像的像素作为目标像素。此外，抽头选择单元21选择用于预测与目标像素对应的第二图像的对应像素(的像素值)的构成第一图像的若干像素(的像素值)作为预测抽头。
具体地，抽头选择单元21选择在空间或时间位置上接近目标像素的时空位置的第一图像的多个像素作为预测抽头。
抽头选择单元22选择用于执行将目标像素分类成若干类中的任一个类的类分类的构成第一图像的若干像素(的像素值)作为类抽头。也就是说，抽头选择单元22如抽头选择单元21选择预测抽头那样选择类抽头。
注意，预测抽头和类抽头可以具有相同抽头结构，或者可以具有不同抽头结构。
由抽头选择单元21获得的预测抽头被提供给预测运算单元25，并且由抽头选择单元22获得的类抽头被提供给类分类单元23。
类分类单元23根据特定规则对目标像素执行类分类，并且将与作为该类分类结果获得的类对应的类代码提供给系数获取单元24。
也就是说，例如，类分类单元23通过使用来自抽头选择单元22的类抽头对目标像素执行类分类，并且将与作为该类分类结果的类对应的类代码提供给系数获取单元24。
例如，类分类单元23通过使用类抽头来获得目标像素的图像特征量。此外，类分类单元23根据目标像素的图像特征量对目标像素执行类分类，并且将与作为该类分类结果获得的类对应的类代码提供给系数获取单元24。
此处，例如，可以采用自适应动态范围编码(ADRC)等作为执行类分类的方法。
在使用ADRC的方法中，配置类抽头的像素(的像素值)经受ADRC处理，并且根据作为ADRC处理的结果获得的ADRC代码(ADRC值)，确定目标像素的类。ADRC代码指示作为包括目标像素的小区域的图像特征量的波形图案。
注意，在L位ADRC中，例如，检测到配置类抽头的像素的像素值的最大值MAX和最小值MIN，DR＝MAX-MIN被设置为类的局部动态范围，并且基于动态范围DR，配置类抽头的像素中的每一个的像素值被重新量化成L位。即，从配置类抽头的像素中的每一个的像素值中减去最小值MIN，并且将减去后的值除以DR/2L(重新量化)。然后，将其中以预定顺序排列如上所述获得的配置类抽头的L位的像素中的每一个的像素值的位序列作为ADRC代码输出。因此，例如，在类抽头经受1位ADRC处理的情况下，将配置类抽头的像素中的每一个的像素值除以最大值MAX与最小值MIN的平均值(四舍五入小数点)，并且因此，像素中的每一个的像素值被设置成1位(二值化)。然后，其中以预定顺序排列1位的像素值的位序列作为ADRC代码输出。
注意，例如，配置类抽头的像素的像素值的等级分布的图案也可以按原样作为类代码输出至类分类单元23。然而，在该情况下，在类抽头由N个像素的像素值配置并且A位被分配给像素中的每一个的像素值的情况下，由类分类单元23输出的类代码的数量是(2N)A，并且该数量是与像素的像素值的位数A指数地成比例的巨大数。
因此，在类分类单元23中，期望通过根据上述ADRC处理或矢量量化等压缩类抽头的信息量来使其经受类分类。
系数获取单元24存储通过下面描述的学习获得的用于类中的每一个的抽头系数，并且获取在存储的抽头系数中的由从类分类单元23提供的类代码指示的类的抽头系数，即，目标像素的类的抽头系数。此外，系数获取单元24将目标像素的类的抽头系数提供给预测运算单元25。
此处，抽头系数是数字滤波中的与要和所谓抽头中的输入数据相乘的系数对应的系数。
预测运算单元25通过使用由抽头选择单元21输出的预测抽头和由系数获取单元24提供的抽头系数来执行预定的预测运算，该预定的预测运算用于获得与目标像素对应的第二图像的像素(对应像素)的像素值的真值的预测值。因此，预测运算单元25获得对应像素的像素值(的预测值)，即，构成第二图像的像素的像素值，并且输出该像素值。
图3是示出执行对在系数获取单元24中存储的抽头系数的学习的学习装置的配置示例的框图。
此处，例如，考虑到具有高图像质量的图像(高质量图像)被设置为第二图像，并且其中高质量图像的图像质量(分辨率)通过低通滤波器(LPF)等的滤波而降低的具有低图像质量的图像(低质量图像)被设置为第一图像，从低质量图像中选择预测抽头，并且通过使用预测抽头和抽头系数根据预定的预测运算来获得(预测)高质量图像的像素(高图像质量像素)的像素值。
例如，在采用线性基本预测运算作为预定的预测运算的情况下，通过以下线性基本表达式获得高图像质量像素的像素值y。
[表达式1]
此处，在表达式(1)中，xn表示配置关于作为对应像素的高图像质量像素y的预测抽头的第n个低质量图像的像素(下文中，适当地称为低图像质量像素)的像素值，并且wn表示要与第n个低图像质量像素(的像素值)相乘的第n个抽头系数。注意，在表达式(1)中，预测抽头由N个低图像质量像素x1、x2、......、xN配置。
此处，也可以不仅通过由表达式(1)表示的线性基本表达式而且通过二阶或更高阶表达式来获得高图像质量像素的像素值y。
此处，在由yk表示第k个样本的高图像质量像素的像素值的真值，并且由yk'表示通过表达式(1)获得的真值yk的预测值的情况下，其预测误差ek由以下表达式表示。
[表达式2]
ek＝yk-yk’...(2)
此处，根据表达式(1)获得表达式(2)中的预测值yk'，并且因此，在根据表达式(1)替换表达式(2)中的yk'的情况下，获得以下表达式。
[表达式3]
此处，在表达式(3)中，xn,k表示配置关于作为对应像素的第k个样本的高图像质量像素的预测抽头的第n个低图像质量像素。
使表达式(3)(或表达式(2))中的预测误差ek为0的抽头系数wn对于预测高图像质量像素是最佳的，但是通常，难以针对所有高图像质量像素获得这样的抽头系数wn。
因此，例如，在采用最小二乘法作为指示抽头系数wn是最佳的标准的情况下，可以通过使由以下表达式表示的平方误差(统计误差)的总和E最小化来获得最佳抽头系数wn。
[表达式4]
此处，在表达式(4)中，K表示作为对应像素的高图像质量像素yk和配置关于高图像质量像素yk的预测抽头的低图像质量像素x1,k、x2,k、......、xN,k的集合的样本数(用于学习的样本数)。
表达式(4)中的平方误差的总和E的最小值(最小数)由wn应用，其中，如表达式(5)所示，该wn使通过使用抽头系数wn对总和E执行偏微分获得的值为0。
[表达式5]
因此，在使用抽头系数wn对上述表达式(3)进行偏微分的情况下，获得以下表达式。
[表达式6]
根据表达式(5)和(6)获得以下表达式。
[表达式7]
可以通过将表达式(3)分配给表达式式(7)中的ek来由表达式(8)中的正规方程表示表达式(7)。
[表达式8]
例如，可以通过使用扫出(discharge)计算(Gauss-Jordan消元方法)等来针对抽头系数wn求解表达式(8)中的正规方程。
可以针对类中的每一个求解表达式(8)中的正规方程，并且因此可以针对类中的每一个获得最佳抽头系数(此处，使平方误差的总和E最小化的抽头系数)wn。
图3示出了通过求解表达式(8)中的正规方程来执行获得抽头系数wn的学习的学习装置的配置示例。
在图3中，学习装置30包括教师数据生成单元31、学生数据生成单元32和学习单元33。
在抽头系数wn的学习中使用的学习图像被提供给教师数据生成单元31和学生数据生成单元32。例如，可以使用具有高分辨率的高质量图像作为学习图像。
教师数据生成单元31根据学习图像生成作为如根据表达式(1)的预测运算的映射的映射目的地的教师图像作为教师数据，该教师数据是抽头系数的学习的教师(真值)，即要通过类分类自适应处理获得的教师数据，并且将教师图像提供给学习单元33。此处，例如，教师数据生成单元31按原样将作为学习图像的高质量图像作为教师图像提供给学习单元33。
学生数据生成单元32根据学习图像生成作为如根据表达式(1)的预测运算的映射的转换目标的学生图像作为学生数据，该学生数据是抽头系数的学习的学生，即作为在类分类自适应处理中的抽头系数的预测运算的目标的学生数据，并且将学生图像提供给学习单元33。此处，例如，学生数据生成单元32通过使用低通滤波器(LPF)对高质量图像执行滤波来降低作为学习图像的高质量图像的分辨率，并且因此，生成低质量图像、将低质量图像设置为学生图像，以及将低质量图像提供给学习单元33。
学习单元33顺序地将配置作为来自学生数据生成单元32的学生数据的学生图像的像素设置为目标像素，并且针对目标像素从学生图像中选择与由图2的抽头选择单元21选择的抽头结构的像素相同的抽头结构的像素作为预测抽头。此外，学习单元33通过使用与目标像素对应的配置教师图像的对应像素和目标像素的预测抽头来针对类中的每一个求解表达式(8)中的正规方程，并且因此，获得用于类中的每一个的抽头系数。
图4是示出图3的学习单元33的配置示例的框图。
在图4中，学习单元33包括抽头选择单元41和42、类分类单元43、加法单元44和系数计算单元45。
学生图像被提供给抽头选择单元41和42，并且教师图像被提供给加法单元44。
抽头选择单元41顺序地选择配置学生图像的像素作为目标像素，并且将指示目标像素的信息提供给必要的块。
此外，抽头选择单元41针对目标像素从配置学生图像的像素中选择与由图2的抽头选择单元21选择的像素相同的像素作为预测抽头，并且因此，获得与由抽头选择单元21获得的抽头结构的预测抽头相同的抽头结构的预测抽头，并且将预测抽头提供给加法单元44。
抽头选择单元42针对目标像素从配置学生图像的像素中选择与由图2的抽头选择单元22选择的像素相同的像素作为类抽头，并且因此，获得与由抽头选择单元22获得的抽头结构的类抽头相同的抽头结构的类抽头，并且将类抽头提供给类分类单元43。
类分类单元43通过使用来自抽头选择单元42的类抽头来执行与由图2的类分类单元23执行的类分类相同的类分类，并且将与作为该类分类的结果获得的目标像素的类对应的类代码输出至加法单元44。
加法单元44从配置教师图像的像素中获取与目标像素对应的对应像素(的像素值)，并且针对从类分类单元43提供的类代码中的每一个，对对应像素和配置从抽头选择单元41提供的关于目标像素的预测抽头的学生图像的像素(的像素值)执行加法。
也就是说，指示作为教师数据的教师图像的对应像素yk、作为学生数据的目标像素的预测抽头xn,k以及目标像素的类的类代码被提供给加法单元44。
加法单元44针对目标像素的类中的每一个通过使用预测抽头(学生数据)xn,k来执行表达式(8)的左侧的矩阵的学生数据项的乘法(xn,kxn',k)以及与求和(Σ)对应的运算。
此外，加法单元44针对目标像素的类中的每一个还通过使用预测抽头(学生数据)xn,k和教师数据yk来执行与表达式(8)的右侧的向量的学生数据xn,k和教师数据yk的乘法(xn,kyk)以及与求和(Σ)对应的运算。
也就是说，加法单元44将先前针对作为教师数据的与目标像素对应的对应像素获得的表达式(8)的左侧的矩阵的分量(Σxn,kxn',k)和右侧的向量的分量(Σxn,kyk)存储在内置存储器(未示出)中，并且关于矩阵的分量(Σxn,kxn',k)或向量的分量(Σxn,kyk)，对对应分量Xn,k+1Xn',k+1或xn,k+1Yk+1进行相加(执行由表达式(8)中的求和表示的加法)，对应分量Xn,k+ 1Xn',k+1或xn,k+1Yk+1是通过使用关于作为与新目标像素对应的对应像素的教师数据的教师数据yk+1和学生数据xn,k+1计算的。
然后，例如，加法单元44通过将学生图像的所有像素用作目标像素执行以上描述的加法，并且因此，针对类中的每一个建立表达式(8)所示的正规方程，并且将正规方程提供给系数计算单元45。
系数计算单元45对从加法单元44提供的关于类中的每一个的正规方程进行求解，并且因此，获得关于类中的每一个的最佳抽头系数wn，并且输出最佳抽头系数wn。
可以将如上所述获得的用于类中的每一个的抽头系数wn存储在图2的图像转换装置20的系数获取单元24中。
图5是示出执行类分类自适应处理的图像转换装置的第二配置示例的框图。
注意，在图中，对与图2的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图5中，图像转换装置20包括抽头选择单元21和22、类分类单元23、系数获取单元24和预测运算单元25。
因此，图5的图像转换装置20具有与图2的配置相同的配置。
此处，在图5中，系数获取单元24存储以下描述的类型系数。此外，在图5中，参数z从外部提供给系数获取单元24。
系数获取单元24根据类型系数生成与参数z对应的用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取来自类分类单元23的类的抽头系数，以及将抽头系数提供给预测运算单元25。
此处，在图2中，系数获取单元24存储抽头系数本身，但是在图5中，系数获取单元24存储类型系数。类型系数能够通过应用(确定)参数z来生成抽头系数，并且从这样的观点来看，类型系数可以被认为是与抽头系数等同的信息。在本文中，抽头系数不仅包括抽头系数本身，根据需要还包括能够生成抽头系数的类型系数。
图6是示出执行对在系数获取单元24中存储的类型系数的学习的学习装置的配置示例的框图。
此处，例如，与图3的一样，考虑到将具有高图像质量的图像(高质量图像)设置为第二图像，将其中高质量图像的空间分辨率降低的具有低图像质量的图像(低质量图像)设置为第一图像，从低质量图像中选择预测抽头，并且例如，通过使用预测抽头和抽头系数由表达式(1)中的线性基本预测运算获得(预测)作为高质量图像的像素的高图像质量像素的像素值。
此处，通过使用类型系数和参数z的以下表达式来生成抽头系数wn。
[表达式9]
此处，在表达式(9)中，βm,n表示用于获得第n个抽头系数wn的第m个类型系数。注意，在表达式(9)中，通过使用M个类型系数β1,n、β2,n、……、βM,n来获得抽头系数wn。
此处，使用类型系数βm,n和参数z获得抽头系数wn的表达式不限于表达式(9)。
此处，通过引入新变量tm，由以下表达式来限定表达式(9)中的由参数z确定的值zm-1。
[表达式10]
tm＝zm-1(m＝1，2，…，M)...(10)
表达式(10)被分配给表达式(9)，并且因此，获得以下表达式。
[表达式11]
根据表达式(11)，通过类型系数βm,n和变量tm的线性基本表达式来获得抽头系数wn。
然而，此处，在由yk表示第k个样本的高图像质量像素的像素值的真值，并且由yk'表示通过表达式(1)获得的真值yk的预测值的情况下，预测误差ek由以下表达式表示。
[表达式12]
ek＝yk-yk’...(12)
此处，根据表达式(1)获得表达式(12)中的预测值yk'，并且因此，在根据表达式(1)替换表达式(12)中的yk'的情况下，获得以下表达式。
[表达式13]
此处，在表达式(13)中，xn,k表示配置关于作为对应像素的第k个样本的高图像质量像素的预测抽头的第n个低图像质量像素。
表达式(11)被分配给表达式(13)中的wn，并且因此，获得以下表达式。
[表达式14]
使表达式(14)中的预测误差ek为0的类型系数βm,n对于预测高图像质量像素是最佳的，但是通常，难以针对所有高图像质量像素获得这样的类型系数βm,n。
因此，例如，在采用最小二乘法作为指示类型系数βm,n是最佳的标准的情况下，可以通过使由以下表达式表示的平方误差的总和E最小化来获得最佳类型系数βm,n。
[表达式15]
此处，在表达式(15)中，K表示作为对应像素的高图像质量像素yk和配置关于高质量像素yk的预测抽头的低质量像素x1,k、x2,k、......、xN,k的集合的样本数(用于学习的样本数)。
表达式(15)中的平方误差的总和E的最小值(最小数)由βm,n应用，如表达式(16)所示，该βm,n使通过使用类型系数βm,n对总和E执行偏微分获得的值为0。
[表达式16]
表达式(13)被分配给表达式(16)，并且因此，获得以下表达式。
[表达式17]
此处，Xi,p,j,q和Yi,p如表达式(18)和(19)所示的那样被限定。
[表达式18]
[表达式19]
在该情况下，表达式(17)可以由使用Xi,p,j,q和Yi,p的表达式(20)所示的正规方程表示。
[表达式20]
例如，可以通过使用扫出计算(Gauss-Jordan消元方法)等来针对类型系数βm,n求解表达式(20)中的正规方程。
在图5的图像转换装置20中，多个高图像质量像素y1、y2、……、yk被设置为教师数据，并且配置关于高图像质量像素yk中的每一个的预测抽头的低图像质量像素x1,k、x2,k、……、xN,k被设置为学生数据，并且通过执行针对类中的每一个求解表达式(20)中的正规方程的学习而获得的用于类中的每一个的类型系数βm,n被存储在系数获取单元24中。然后，在系数获取单元24中，根据表达式(9)从类型系数βm,n和从外部提供的参数z生成用于类中的每一个的抽头系数wn，并且在预测运算单元25中，通过使用抽头系数wn和配置关于目标像素的预测抽头的低图像质量像素(第一图像的像素)xn来计算表达式(1)，并且因此，获得高图像质量像素(第二图像的对应像素)的像素值(接近于该像素值的预测值)。
图6示出了通过针对类中的每一个求解表达式(20)中的正规方程来执行获得用于类中的每一个的类型系数βm,n的学习的学习装置的配置示例。
注意，在图中，对与图3的部分对应的部分将应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图6中，学习装置30包括教师数据生成单元31、参数生成单元61、学生数据生成单元62和学习单元63。
因此，图6的学习装置30与图3的学习装置30的共同之处在于，提供了教师数据生成单元31。
此处，图6的学习装置30与图3的学习装置30的不同之处在于，新提供了参数生成单元61。此外，图6的学习装置30与图3的学习装置30的不同之处在于，分别提供了学生数据生成单元62和学习单元63代替学生数据生成单元32和学习单元33。
参数生成单元61生成参数z的可能范围中的若干值，并且将这些值提供给学生数据生成单元62和学习单元63。
例如，在参数z的可能值被设置为0至Z的范围中的实数的情况下，参数生成单元61例如生成具有z＝0、1、2、......、Z的值的参数z，并且将参数z提供给学生数据生成单元62和学习单元63。
与提供给教师数据生成单元31的学习图像相同的学习图像被提供给学生数据生成单元62。
与图3的学生数据生成单元32一样，学生数据生成单元62根据学习图像生成学生图像，并且将学生图像作为学生数据提供给学习单元63。
此处，不仅学习图像，而且参数z的可能范围中的若干值也从参数生成单元61被提供给学生数据生成单元62。
学生数据生成单元62例如使用与要提供给学生数据生成单元62的参数z对应的截止频率的LPF来对作为学习图像的高质量图像执行滤波，并且因此，针对参数z的若干值中的每一个生成作为学生图像的低质量图像。
也就是说，在学生数据生成单元62中，相对于作为学习图像的高质量图像生成作为学生图像的具有不同空间分辨率的低质量图像的Z+1个类型。
注意，此处，例如，随着参数z的值增加，通过使用具有高截止频率的LPF来对高质量图像进行滤波，并且生成作为学生图像的低质量图像。在该情况下，相对于大值的参数z，作为学生图像的低质量图像具有高空间分辨率。
另外，在学生数据生成单元62中，可以根据参数z生成作为学生图像的低质量图像，在该低质量图像中，作为学习图像的高质量图像的水平方向和竖直方向中的一者或两者上的空间分辨率降低。
此外，在生成其中作为学习图像的高质量图像的水平方向和竖直方向两者上的空间分辨率降低的作为学生图像的低质量图像的情况下，可以根据单独的参数——即两个参数z和z'——分别地降低作为学习图像的高质量图像的水平方向和竖直方向上的空间分辨率。
在该情况下，在图5的系数获取单元24中，从外部应用两个参数z和z'，并且通过使用两个参数z和z'以及类型系数来生成抽头系数。
如上所述，除了一个参数z之外，还可以获得能够通过使用两个参数z和z'以及三个或更多个参数来生成抽头系数的类型系数作为类型系数。此处，在本文中，为了简化描述，将描述通过使用一个参数z来生成抽头系数的类型系数的示例。
学习单元63通过使用作为来自教师数据生成单元31的教师数据的教师图像、来自参数生成单元61的参数z以及作为来自学生数据生成单元62的学生数据的学生图像来获得用于类中的每一个的类型系数，并且输出类型系数。
图7是示出图6的学习单元63的配置示例的框图。
注意，在图中，对与图4的学习单元33对应的部分将应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图7中，学习单元63包括抽头选择单元41和42、类分类单元43、加法单元71和系数计算单元72。
因此，图7的学习单元63与图4的学习单元33的共同之处在于，提供了抽头选择单元41和42以及类分类单元43。
此处，学习单元63与学习单元33的不同之处在于，分别提供加法单元71和系数计算单元72替代加法单元44和系数计算单元45。
在图7中，抽头选择单元41和42分别从与由参数生成单元61生成的参数z对应地生成的学生图像(此处，通过使用与参数z对应的截止频率的LPF生成的作为学生数据的低质量图像)中选择预测抽头和类抽头。
加法单元71从来自图6的教师数据生成单元31的教师图像中获取与目标像素对应的对应像素，并且针对从类分类单元43提供的类中的每一个，对对应像素、配置从抽头选择单元41提供的关于目标像素配置的预测抽头的学生数据(学生图像的像素)和生成学生数据时的参数z执行加法。
也就是说，作为与目标像素相对应的对应像素的教师数据yk、从抽头选择单元41输出的关于目标像素的预测抽头xi,k(xj,k)以及由类分类单元43输出的目标像素的类被提供给加法单元71，并且从参数生成单元61提供生成配置关于目标像素的预测抽头的学生数据时的参数z。
然后，加法单元71针对从类分类单元43提供的类中的每一个，通过使用预测抽头(学生数据)xi,k(xj,k)和参数z来执行表达式(20)中的左侧的矩阵的用于获得由表达式(18)限定的分量Xi,p,j,q的学生数据和参数z的乘法(xi,ktpxj,ktq)，以及与求和(Σ)对应的运算。注意，根据表达式(10)，通过参数z计算表达式(18)中的tp。这同样适用于表达式(18)中的tq。
此外，加法单元71针对从类分类单元43提供的类中的每一个还通过使用预测抽头(学生数据)xi,k、教师数据yk和参数z来执行表达式(20)的右侧的向量的用于获得由表达式(19)限定的分量Yi,p的学生数据xi,k、教师数据yk和参数z的乘法(xi,ktpyk)以及与求和(Σ)对应的运算。注意，根据表达式(10)，从参数z计算表达式(19)中的tp。
也就是说，加法单元71将先前针对作为教师数据的与目标像素对应的对应像素获得的表达式(20)中的左侧的矩阵的分量Xi,p,j,q和右侧的向量的分量Yi,p存储在内置存储器(未示出)中，并且加法单元71针对矩阵的分量Xi,p,j,q或向量的分量Yi,p对对应分量xi,ktpxj, ktq或xi,ktpyk进行相加(执行由表达式(18)的分量Xi,p,j,q或表达式(19)的分量Yi,p的求和指示的加法)，其是通过使用教师数据yk、学生数据xi,k(xj,k)和针对作为与新目标像素对应的对应像素的教师数据的参数z计算的。
然后，加法单元71通过使用作为目标像素的学生图像的所有像素来对所有值0、1、......、Z的参数z执行以上所述的加法，并且因此，针对类中的每一个建立表达式(20)指示的正规方程，并且将正规方程提供给系数计算单元72。
系数计算单元72求解从加法单元71提供的针对类中的每一个的正规方程，并且因此，获得用于类中的每一个的类型系数βm,n，并且输出类型系数βm,n。
然而，在图6的学习装置30中，作为学习图像的高质量图像被设置为教师数据，其中与参数z对应地使高质量图像的空间分辨率劣化的低质量图像被设置为学生数据，并且执行获得直接根据抽头系数wn和学生数据xn使表达式(1)中的线性基本表达式预测的教师数据的预测值y的平方误差的总和最小化的类型系数βm,n的学习，但是，可以执行获得间接地使教师数据的预测值y的平方误差的总和最小化的类型系数βm,n的学习作为类型系数βm,n的学习。
也就是说，作为学习图像的高质量图像被设置为教师数据，其中通过使用与参数z对应的截止频率的LPF对高质量图像进行滤波来降低水平分辨率和竖直分辨率的低质量图像被设置为学生数据，并且首先，针对参数z的值中的每一个值(此处，z＝0、1、......、Z)，通过使用抽头系数wn和学生数据xn来获得使通过表达式(1)中的线性基本预测表达式预测的教师数据的预测值y的平方误差的总和最小化的抽头系数wn。然后，针对参数z的值中的每一个获得的抽头系数wn被设置为教师数据，参数z被设置为学生数据，并且根据表达式(11)获得类型系数βm,n，该类型系数βm,n使作为根据类型系数βm,n和与作为学生数据的参数z对应的变量tm预测的教师数据的抽头系数wn的预测值的平方误差的总和最小化。
此处，针对参数z的值中的每一个值(z＝0、1、......、Z)，可以对类中的每一个通过求解表达式(8)中的正规方程来获得如图3的学习装置30一样的使由表达式(1)中的线性基本预测表达式预测的教师数据的预测值y的平方误差的总和E最小化(微小化)的抽头系数wn。
然而，如表达式(11)所示，从类型系数βm,n和与参数z对应的变量tm获得抽头系数。然后，此处，在wn'表示通过表达式(11)获得的抽头系数的情况下，由下述表达式(21)表示的使最佳抽头系数wn与由表达式(11)获得的抽头系数wn'之间的误差en为0的类型系数βm,n是用于获得最佳抽头系数wn的最佳类型系数，但是通常，难以针对所有抽头系数wn获得这样的类型系数βm,n。
[表达式21]
en＝Wn-Wn’...(21)
注意，可以根据表达式(11)将表达式(21)修改为以下表达式。
[表达式22]
因此，例如，在也采用最小二乘法作为指示类型系数βm,n是最佳的标准的情况下，可以通过使由以下表达式表示的平方误差的总和E最小化来获得最佳类型系数βm,n。
[表达式23]
如表达式(24)所示，表达式(23)中的平方误差的总和E的最小值(最小数)由使通过使用类型系数βm,n对总和E执行偏微分获得的值为0的βm,n提供。
[表达式24]
表达式(22)被分配给表达式(24)，并且因此，获得以下表达式。
[表达式25]
此处，Xi,j和Yi如表达式(26)和(27)所示被限定。
[表达式26]
[表达式27]
在该情况下，表达式(25)可以由使用Xi,j和Yi的表达式(28)所示的正规方程表示。
[表达式28]
例如，也可以通过使用扫出计算等来针对类型系数βm,n求解表达式(28)中的正规方程。
图8是示出图6的学习单元63的另一配置示例的框图。
也就是说，图8示出了通过求解表达式(28)中的正规方程来执行获得类型系数βm,n的学习的学习单元63的配置示例。
注意，在图中，对与图4或图7的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
图8的学习单元63包括抽头选择单元41和42、类分类单元43、系数计算单元45、加法单元81和82以及系数计算单元83。
因此，图8的学习单元63与图4的学习图33的共同之处在于，提供抽头选择单元41和42、类分类单元43以及系数计算单元45。
此处，图8的学习单元63与图4的学习单元33的不同之处在于，提供加法单元81替代加法单元44，并且新提供了加法单元82和系数计算单元83。
由类分类单元43输出的目标像素的类和由参数生成单元61输出的参数z被提供给加法单元81。针对从类分类单元43提供的类中的每一个以及针对由参数生成单元61输出的参数z的值中的每一个，加法单元81对来自教师数据生成单元31的教师图像中的作为与目标像素对应的对应像素的教师数据与配置从抽头选择单元41提供的关于目标像素的预测抽头的学生数据执行加法。
也就是说，教师数据yK、预测抽头xn,k、目标像素的类和在生成配置预测抽头xn,k的学生图像时的参数z被提供给加法单元81。
针对目标像素的类中的每一个和参数z的值中的每一个，加法单元81通过使用预测抽头(学生数据)xn,k来执行表达式(8)的左侧的矩阵的学生数据项的乘法(xn,kxn',k)以及与求和(Σ)对应的运算。
此外，针对目标像素的类中的每一个和参数z的值中的每一个，加法单元81通过使用预测抽头(学生数据)xn,k和教师数据yk来执行表达式(8)中的右侧的向量的学生数据xn,k和教师数据yk的乘法(xn,kyk)以及与求和(Σ)对应的运算。
也就是说，加法单元81将先前针对作为教师数据的与目标像素对应的对应像素获得的表达式(8)中的左侧的矩阵的分量(Σxn,kxn',k)和右侧的向量的分量(Σxn,kyk)存储在内置存储器(未示出)中，并且针对矩阵的分量(Σxn,kxn',k)或向量的分量(Σxn,kyk)，对对应分量xn,k+1xn',k+1或xn,k+1yk+1进行相加(执行由表达式(8)中的求和表示的加法)，其是通过使用关于作为与新目标像素对应的对应像素的教师数据的教师数据yk+1和学生数据xn,k+1计算的。
然后，加法单元81通过将学生图像的所有像素用作目标像素执行以上描述的加法，并且因此，针对类中的每一个，针对参数z的值中的每一个，建立表达式(8)所示的正规方程，并且将正规方程提供给系数计算单元45。
因此，与图4的加法单元44一样，加法单元81针对类中的每一个建立表达式(8)中的正规方程。此处，加法单元81与图4的加法单元44的另外的不同之处在于，还针对参数z的值中的每一个建立表达式(8)中的正规方程。
系数计算单元45求解从加法单元81提供的针对类中的每一个的针对参数z的值中的每一个的正规方程，并且因此，针对类中的每一个获得针对参数z的值中的每一个的最佳抽头系数wn，并且将最佳抽头系数wn提供给加法单元82。
针对类中的每一个，加法单元82对从参数生成单元61(图6)提供的参数z(与参数z对应的变量tm)与从系数计算单元45提供的最佳抽头系数wn执行加法。
也就是说，加法单元82通过使用根据从参数生成单元61提供的参数z由表达式(10)获得的变量ti(tj)来执行针对类中的每一个的、表达式(28)中的左侧的矩阵的用于获得由表达式(26)限定的分量Xi,j的与参数z对应的变量ti(tj)的乘法(titj)以及与求和(Σ)对应的运算。
此处，分量Xi,j仅由参数z来确定，并且与类无关，并且因此，实际上不必针对类中的每一个计算分量Xi,j，并且仅执行一次计算分量Xi,j是足够的。
此外，加法单元82针对类中的每一个、通过使用根据从参数生成单元61提供的参数z和从系数计算单元45提供的最佳抽头系数wn由表达式(10)获得的变量ti来执行表达式(28)中的右侧的向量的用于获得由表达式(27)限定的分量Yi的与参数z对应的变量ti和最佳抽头系数wn的乘法(tiwn)以及与求和(Σ)对应的操作。
加法单元82针对类中的每一个获得由表达式(26)表示的分量Xi,j和由表达式(27)表示的分量Yi，并且因此，针对类中的每一个建立表达式(28)中的正规方程，并且将正规方程提供给系数计算单元83。
系数计算单元83求解从加法单元82提供的针对类中的每一个的表达式(28)中的正规方程，并且因此，获得用于类中的每一个的类型系数βm,n，并且输出类型系数βm,n。
如上所述获得的用于类中的每一个的类型系数βm,n可以存储在图5的系数获取单元24中。
注意，如抽头系数的学习一样，在类型系数的学习中，可以根据选择要作为与第一图像对应的学生数据和与第二图像对应的教师数据的图像的方法来获得执行各种图像转换处理的类型系数作为类型系数。
也就是说，在上述描述中，学习图像按原样被设置为与第二图像对应的教师数据，并且其中使学习图像的空间分辨率劣化的低质量图像被设置为与第一图像对应的学生数据，并且执行类型系数的学习，并且因此，可以获得下述类型系数作为类型系数，所述类型系数执行作为将第一图像转换为提高其空间分辨率的第二图像的空间分辨率创建处理的图像转换处理。
在该情况下，在图5的图像转换装置20中，可以将图像的水平分辨率和竖直分辨率提高到与参数z对应的分辨率。
此外，例如，高质量图像被设置为教师数据，其中与参数z对应的等级的噪声被叠加在作为教师数据的高质量图像上的图像被设置为学生数据，并且执行类型系数的学习，并且因此，获得下述类型系数作为类型系数，所述类型系数执行作为将第一图像转换为从其去除(减少)包括的噪声的第二图像的噪声去除处理的图像转换处理。在该情况下，在图5的图像转换装置20中，可以获得与参数z对应的S/N的图像(经受噪声去除的与参数z对应的强度的图像)。
注意，在以上描述中，如表达式(9)所示，抽头系数wn由β1,nz0+β2,nz1+……+βM,nzM-1限定，并且根据表达式(9)获得用于提高与参数z对应的水平方向和竖直方向上的空间分辨率两者的抽头系数wn，但是还可以获得使得各自独立地提高与独立参数zx和zy对应的水平分辨率和竖直分辨率的抽头系数wn作为抽头系数wn。
也就是说，抽头系数wn例如由三次方表达式β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4, nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2来限定而不是表达式(9)，并且由表达式(10)限定的变量tm例如由t1＝zx 0zy 0、t2＝zx 1zy 0、t3＝zx 2zy 0、t4＝zx 3zy 0、t5＝zx 0zy 1、t6＝zx 0zy 2、t7＝zx 0zy 3、t8＝zx 1zy 1、t9＝zx 2zy 1和t10＝zx 1zy 2来限定而不是表达式(10)。在该情况下，抽头系数wn可以最终由表达式(11)表示，并且因此，在图6的学习装置30中，通过使用其中分别与参数zx和zy对应地使教师数据的水平分辨率和竖直分辨率劣化的图像作为学生数据来执行学习，并且获得类型系数βm,n，并且因此，可以获得独立地提高与独立的参数zx和zy对应的水平分辨率和竖直分辨率中的每一个的抽头系数wn。
此外，例如，除了与水平分辨率和竖直分辨率对应的参数zx和zy以外，还引入与时间方向上的分辨率对应的参数zt，并且因此，可以获得独立地提高与独立参数zx、zy和zt对应的水平分辨率、竖直分辨率和时间分辨率中的每一个的抽头系数wn。
此外，在图6的学习装置30中，通过使用其中与参数zx对应地使教师数据的水平分辨率和竖直分辨率劣化并且与参数zy对应地对教师数据应用噪声的图像作为学生数据来执行学习，并且可以获得βm,n，并且因此，可以获得提高与参数zx对应的水平分辨率和竖直分辨率并且执行与参数zy对应的噪声去除的抽头系数wn。
<编码装置11的第一配置示例>
图9是示出图1的编码装置11的第一配置示例的框图。
在图9中，编码装置11包括A/D转换单元101、重新排序缓冲器102、运算单元103、正交变换单元104、量化单元105、可逆编码单元106和累积缓冲器107。此外，编码装置11包括逆量化单元108、逆正交变换单元109、运算单元110、类分类自适应滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测补偿单元115、预测图像选择单元116和速率控制单元117。
A/D转换单元101执行将模拟信号的原始图像转换成数字信号的原始图像的A/D转换，并且将数字信号的原始图像提供给重新排序缓冲器102进行存储。
重新排序缓冲器102根据图片组(GOP)将原始图像的帧从显示顺序重新排序成编码(解码)顺序，并且将原始图像的帧提供给运算单元103、帧内预测单元114、运动预测补偿单元115和类分类自适应滤波器111。
运算单元103从来自重新排序缓冲器102的原始图像中减去通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像，并且将通过减法获得的残差(预测残差)提供给正交变换单元104。
例如，在经受帧间编码的图像的情况下，运算单元103从读取自重新排序缓冲器102的原始图像中减去从运动预测补偿单元115提供的预测图像。
正交变换单元104对从运算单元103提供的残差执行正交变换，例如离散余弦变换或Karhunen-Loeve变换。注意，正交变换方法是任意的。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于从速率控制单元117提供的代码量的目标值(代码量目标值)来设置量化参数QP，并且对变换系数进行量化。注意，量化方法是任意的。量化单元105将经量化的变换系数提供给可逆编码单元106。
可逆编码单元106在预定的可逆编码系统中对在量化单元105中量化的变换系数进行编码。在速率控制单元117的控制下量化变换系数，并且因此，通过可逆编码单元106进行的可逆编码获得的编码数据的代码量是由速率控制单元117设置的代码量目标值(或接近于代码量目标值)。
另外，可逆编码单元106从每个块获取与编码装置11的预测编码有关的编码信息中的必要编码信息。
此处，编码信息的示例包括帧内预测或帧间预测的预测模式、运动向量等的运动信息、代码量目标值、量化参数QP、图片类型(I、P和B)、编码单元(CU)或编码树单元(CTU)的信息等。
例如，可以从帧内预测单元114或运动预测补偿单元115获取预测模式。另外，例如，可以从运动预测补偿单元115获取运动信息。
可逆编码单元106获取编码信息，并且从类分类自适应滤波器111中获取与类分类自适应滤波器111的类分类自适应处理有关的滤波信息。在图9中，根据需要，滤波信息包括用于类中的每一个的抽头系数。
可逆编码单元106在任意的可逆编码系统中对编码信息和滤波信息进行编码，并且将编码信息和滤波信息设置为编码数据的头部信息的一部分(多路复用)。
可逆编码单元106通过累积缓冲器107传送编码数据。因此，可逆编码单元106用作传送编码数据以及在编码数据中包括的编码信息和滤波信息的传输单元。
例如，可以采用可变长度编码、算术编码等作为可逆编码单元106的可逆编码系统。可变长度编码的示例包括由H.264/AVC系统确定的上下文自适应可变长度编码(CAVLC)等。算术编码的示例包括上下文自适应二进制算术编码(CABAC)等。
累积缓冲器107临时累积从可逆编码单元106提供的编码数据。累积缓冲器107中累积的编码数据在预定时刻处被读取和传送。
量化单元105中量化的变换系数被提供给可逆编码单元106，并且还被提供给逆量化单元108。逆量化单元108通过与量化单元105的量化对应的方法对经量化的变换系数执行逆量化。逆量化方法可以是任何方法，只要该方法与量化单元105的量化处理对应即可。逆量化单元108将通过逆量化获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过与正交变换单元104的正交变换处理对应的方法来对从逆量化单元108提供的变换系数执行逆正交变换。逆正交变换方法可以是任何方法，只要该方法与正交变换单元104的正交变换处理对应即可。将经受逆正交变换的输出(恢复的残差)提供给运算单元110。
运算单元110将通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像与从逆正交变换单元109提供的逆正交变换结果即恢复的残差相加，并且在解码中将相加结果作为解码期间的图像输出。
由运算单元110输出的解码期间的图像被提供给类分类自适应滤波器111或帧存储器112。
类分类自适应滤波器111根据类分类自适应处理使用ILF，即用作DF、SAO和ALF的全部的滤波器执行ILF处理。
从运算单元110向类分类自适应滤波器111提供解码期间的图像，与解码期间的图像对应的原始图像从重新排序缓冲器102提供给类分类自适应滤波器111，并且必要的编码信息从编码装置11的每个块提供给类分类自适应滤波器111。
类分类自适应滤波器111通过使用与来自运算单元110的解码期间的图像对应的学生图像和与来自重新排序缓冲器102的原始图像对应的教师图像，以及根据需要通过使用编码信息来执行获得用于类中的每一个的抽头系数的学习。
也就是说，例如，类分类自适应滤波器111通过将来自运算单元110的解码期间的图像本身设置为学生图像、将来自重新排序缓冲器102的原始图像本身设置为教师图像，以及根据需要通过使用编码信息来执行获得类中的每一个的抽头系数的学习。将类中的每一个的抽头系数作为滤波信息从类分类自适应滤波器111提供给可逆编码单元106。
此外，类分类自适应滤波器111将来自运算单元110的解码期间的图像设置为第一图像，以及根据需要通过使用编码信息来使用类中的每一个的抽头系数执行类分类自适应处理(根据类分类自适应处理的图像转换)，并且因此，将作为第一图像的解码期间的图像转换成作为与原始图像对应的第二图像的滤波后图像(生成滤波后图像)进行输出。
由类分类自适应滤波器111输出的滤波后图像被提供给帧存储器112。
此处，如上所述，在类分类自适应滤波器111中，解码期间的图像被设置为学生图像，原始图像被设置为教师图像，并且执行学习，并且因此，通过使用由学习获得的抽头系数来执行将解码期间的图像转换成滤波后图像的类分类自适应处理。因此，由类分类自适应滤波器111获得的滤波后图像是非常接近原始图像的图像。
帧存储器112临时存储从运算单元110提供的解码期间的图像或从类分类自适应滤波器111提供的滤波后图像作为经受本地解码的解码图像。在帧存储器112中存储的解码图像在必要时刻处被提供给选择单元113作为用于生成预测图像的参考图像。
选择单元113选择从帧存储器112提供的参考图像的供应目的地。例如，在由帧内预测单元114执行帧内预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给帧内预测单元114。另外，例如，在由运动预测补偿单元115执行帧间预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给运动预测补偿单元115。
帧内预测单元114通过使用从重新排序缓冲器102提供的原始图像和通过选择单元113从帧存储器112提供的参考图像并且通过基本上将预测单元(PU)设置为处理单元来执行帧内预测(画面中的预测)。帧内预测单元114基于预定成本函数(例如，失真率(RD)成本)选择最佳帧内预测模式，并且将最佳帧内预测模式下生成的预测图像提供给预测图像选择单元116。另外，如上所述，帧内预测单元114适当地将指示基于成本函数选择的帧内预测模式的预测模式提供给可逆编码单元106等。
运动预测补偿单元115通过使用从重新排序缓冲器102提供的原始图像和通过选择单元113从帧存储器112提供的参考图像并且通过基本上将PU设置为处理单元来执行运动预测(帧间预测)。此外，运动预测补偿单元115根据通过运动预测检测到的运动向量执行运动补偿，并且生成预测图像。运动预测补偿单元115在预先准备的多个帧间预测模式下执行帧间预测，并且生成预测图像。
运动预测补偿单元115基于针对多个帧间预测模式中的每一个获得的预测图像的预定成本函数来选择最佳帧间预测模式。此外，运动预测补偿单元115将在最佳帧间预测模式下生成的预测图像提供给预测图像选择单元116。
另外，运动预测补偿单元115将指示基于成本函数选择的帧间预测模式的预测模式、对在帧间预测模式下编码的编码数据进行解码时所需的运动向量等的运动信息等提供给可逆编码单元106。
预测图像选择单元116选择被提供给运算单元103和110的预测图像的供应源(帧内预测单元114或运动预测补偿单元115)，并且将从所选的运算单元的供应源提供的预测图像提供给运算单元103和110。
速率控制单元117基于在累积缓冲器107中累积的编码数据的代码量来控制量化单元105的量化运算的速率使得不发生上溢或下溢。也就是说，速率控制单元117设置编码数据的目标代码量使得不发生累积缓冲器107的上溢和下溢，并且将目标代码量提供给量化单元105。
<类分类自适应滤波器111的配置示例>
图10是示出图9的类分类自适应滤波器111的配置示例的框图。
在图10中，类分类自适应滤波器111包括学习装置131、滤波信息生成单元132以及图像转换装置133。
从重新排序缓冲器102(图9)向学习装置131提供原始图像，并且从运算单元110(图9)向学习装置131提供解码期间的图像。此外，向学习装置131提供编码信息。
学习装置131将解码期间的图像设置为学生数据，将原始图像设置为教师数据，并且执行获得用于类中的每一个的抽头系数的学习(在下文中，也被称为抽头系数学习)。
此外，学习装置131将指示通过抽头系数学习获得的用于类中的每一个的抽头系数和用于获得类中的每一个的抽头系数的类抽头的抽头结构的抽头结构信息提供给滤波信息生成单元132。
注意，在抽头系数学习中，学习装置131能够根据需要通过使用编码信息来执行类分类。
滤波信息生成单元132根据需要生成包括来自学习装置131的用于类中的每一个的抽头系数以及抽头结构信息的滤波信息，并且将滤波信息提供给图像转换装置133以及可逆编码单元106(图9)。
将滤波信息从滤波信息生成单元132提供给图像转换装置133，将解码期间的图像从运算单元110(图9)提供给图像转换装置133，并且将编码信息提供给图像转换装置133。
图像转换装置133例如将解码期间的图像设置为第一图像，并且使用来自滤波信息生成单元132的滤波信息中包括的用于类中的每一个的抽头系数来执行根据类分类自适应处理的图像转换，并且因此，将作为第一图像的解码期间的图像转换成作为与原始图像对应的第二图像的滤波后图像(生成滤波后的图像)，并且将滤波后图像提供给帧存储器112(图9)。
注意，在类分类自适应处理中，图像转换装置133能够根据需要通过使用编码信息来执行类分类。
此处，在一般ALF中，执行使用类抽头的边缘强度和方向差异的类分类，但是类抽头的抽头结构是固定的，而不更新(切换)。
在类抽头的抽头结构是固定的情况下，存在由于解码期间的图像的空间分辨率或时间分辨率的差异以及解码期间的图像的其他(局部)特征的差异而难以适当地对解码期间的图像进行分类的情况。在该情况下，即使在对解码期间的图像执行与解码期间的图像的类对应的滤波处理的情况下，也难以充分地针对通过滤波处理获得的滤波后图像获得图像质量提高效果。
因此，在图1的图像处理系统中，根据解码期间的图像的特征的差异适当地对解码期间的图像执行类分类，执行适合于解码期间的图像的特征的滤波处理作为与解码期间的图像的类对应的滤波处理，针对解码期间的图像的每个预定图片顺序自适应地更新(切换)类抽头的抽头结构，以便大大地提高通过滤波处理获得的滤波后图像的S/N，并且解码期间的图像被分类成适合于解码期间的图像的特征的类。
此外，在图1的图像处理系统中，例如，对解码期间的图像执行通过使用更新之后的抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数的滤波处理，并且因此，执行适合于解码期间的图像的特征的滤波处理，并且大大地提高通过滤波处理获得的滤波后图像的S/N。
也就是说，在执行解码期间的图像的类分类，以及对解码期间的图像执行与解码期间的图像的类对应的滤波处理，并且因此，获得滤波后图像的情况下，在类分类中，将其特征彼此相似(彼此相同)的解码期间的图像分类成相同的类，并且将其特征彼此不相似的解码期间的图像分类成不同的类，并且因此，可以增加滤波后图像的图像质量提高效果。
图像的特征(边缘、纹理等)包括各种特征，并且在通过使用固定抽头结构的类抽头执行能够具有这样的各种特征的解码期间的图像的类分类的情况下，存在解码期间的图像未被分类成合适的类的情况。即，在类分类中，存在以下的情况：解码期间的图像被分类成与其特征与该解码期间的图像的特征不太相似的解码期间的另一图像的类相同的类。
因此，在其特征彼此不太相似的多个解码期间的图像被分类成相同类的情况下，与在其特征彼此相似的多个解码期间的图像被分类成相同类的情况相比，通过与类对应的滤波处理获得的滤波后图像的图像质量提高效果降低。
在图1的图像处理系统中，类抽头的抽头结构被自适应地更新，并且因此，在类分类中，防止其特征彼此不相似的多个解码期间的图像被分类成相同类，并且解码期间的图像被分类成适合于解码期间的图像的特征的类。
因此，在图1的图像处理系统中，与通过使用固定抽头结构的类抽头来执行类分类的情况相比，可以增加滤波后图像的图像质量提高效果，即，大大提高滤波后图像的S/N。
此外，在图1的图像处理系统中，类抽头的抽头结构被自适应地更新，并且因此，即使在执行与使用固定抽头结构的类抽头的类分类的类数量(根据类分类可以经受分类的类的数量)相同的类分类的情况下，可以大大提高滤波后图像的S/N。在该情况下，通过使用滤波后图像作为参考图像而获得的残差减小，并且因此，可以提高压缩效率。
注意，准备多个类作为可以根据类分类经受分类的类，并且因此，可以根据解码期间的图像的特征将解码期间的图像分类成合适的类。
然而，在采用其中可以针对多个类执行分类的类分类的情况下，用于类中的每一个的抽头系数的数据量增加，并且因此，在将用于类中的每一个的抽头系数等从编码装置11传送到解码装置12的情况下，开销(overhead)增加，并且压缩效率劣化。
因此，从实用性的观点来看，期望类的数量(根据类分类可以经受分类的类的数量)不大。
在图1的图像处理系统中，类抽头的抽头结构被自适应地更新，并且因此，即使在采用其中类的数量不太大的类分类的情况下，根据解码期间的图像的特征将解码期间的图像分类成合适的类，可以大大提高通过滤波处理获得的滤波后图像的S/N，并且可以抑制压缩效率的劣化。
此处，在自适应地更新类抽头的抽头结构的情况下，通过使用更新之后的抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数等被从编码装置11传送到解码装置12，随着传输频率的增加，开销增加，并且压缩效率劣化。
然而，在解码期间的图像(和原始图像)的时间方向上的相互关系高的情况下，即使在执行使用与更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为类抽头的抽头结构的类分类，并且执行使用与更新前一时刻的抽头结构时的用于类中的每一个的抽头系数相同的用于类中的每一个的抽头系数的滤波处理的情况下，也可以维持滤波后图像的S/N。
此外，在执行使用与更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为类抽头的抽头结构的类分类，以及执行使用与更新前一时刻的抽头结构时的用于类中的每一个的抽头系数相同的用于类中的每一个的抽头系数的滤波处理的情况下，在解码装置12中，可以连续使用紧接在其之前一直使用的用于类中的每一个的抽头系数。因此，不必从编码装置11向解码装置12传送用于类中每一个的新抽头系数等，并且可以提高压缩效率。
另一方面，在解码期间的图像的时间方向上的相互关系低的情况下，即，例如，在解码期间的图像的序列包括复杂运动的场景或场景变化的情况下，滤波后图像的图像质量提高效果降低，并且在对由于场景变化等导致其场景发生大大变化的解码期间的图像执行使用与更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为类抽头的抽头结构的类分类，以及执行使用与更新前一时刻的抽头结构时的用于类中的每一个的抽头系数相同的用于类中的每一个的抽头系数的滤波处理的情况下，压缩效率由于该降低而劣化。
因此，在图1的图像处理系统中，(直接或间接地)检测到其在时间方向上的相互关系低的解码期间的图像，并且更新类抽头的抽头结构，并且使用类中的每一个的抽头系数，并且对解码期间的图像(子序列)执行通过使用更新之后的抽头结构的类抽头的抽头系数学习获得的滤波处理，并且因此，可以防止压缩效率劣化。
此处，在检测到其时间方向上的相互关系低的解码期间的图像的情况下，更新类抽头的抽头结构，并且执行使用通过使用抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数的滤波处理，可以频繁地更新类抽头的抽头结构，以及针对其中在时间方向上具有低的相互关系的场景继续的解码期间的图像的序列，可以频繁地(从编码装置11向解码装置12)传送通过使用更新之后的抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数等。在频繁传送用于类中的每一个的抽头系数等的情况下，压缩效率劣化。
因此，在图1的图像处理系统中，可以准备其中可以预期平均图像质量提高效果的类抽头的抽头结构(下文中，也称为平均结构)以及通过使用抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数(下文中，也称为平均抽头系数)。
使用平均结构的类抽头的类分类和使用平均抽头系数的滤波处理被应用于其中在时间方向上具有低的相互关系的场景继续的解码期间的图像的场景，并且因此，可以防止压缩效率由于频繁传送用于类中的每一个的抽头系数等而劣化。
如上所述，为了大大提高滤波后图像的S/N，并且为了防止压缩效率劣化，在图10的类分类自适应滤波器111中，学习装置131采用多个抽头结构作为类抽头的抽头结构，并且对多个抽头结构执行抽头系数学习，并且因此，获得用于类中的每一个的抽头系数。
此外，学习装置131针对多个抽头结构中的每一个获得指示在类分类中使用抽头结构的类抽头的适当性的抽头结构估计值，并且在多个抽头结构中选择具有最优抽头结构估计值的抽头结构作为最佳抽头结构。
然后，学习装置131将指示最佳抽头结构以及关于最佳抽头结构的用于类中的每一个的抽头系数(通过使用最佳抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数)的抽头结构信息提供给滤波信息生成单元132。
此处，例如，可以采用通过对作为学生数据的解码期间的结果图像等执行使用关于抽头结构的用于类中的每一个的抽头系数的滤波处理(此处，例如，类分类自适应处理)而获得的与作为教师数据的原始图像对应的对应图像的S/N作为多个抽头结构中的每一个的抽头结构估计值。
另外，例如，可以采用在通过采用使用关于抽头结构的用于类中的每一个的抽头系数等的滤波处理来对作为教师数据的原始图像进行编码的情况下的RD成本作为多个抽头结构中的每一个的抽头结构估计值。
滤波信息生成单元132根据需要生成包括来自学习装置131的用于类中的每一个的抽头系数和抽头结构信息的滤波信息。
在滤波信息中，可以包括指示是否使用与更新前一时刻的抽头结构和抽头系数时的抽头结构和用于类中的每一个的抽头系数相同的抽头结构和用于类中的每一个的抽头系数作为类抽头的抽头结构和用于类中的每一个的抽头系数的作为复制信息的标记等，来代替用于类中的每一个的抽头系数和抽头结构信息，或者与用于类中的每一个的抽头系数和抽头结构信息一起包括在滤波信息中。
在滤波信息中，包括复制信息而不包括用于类中的每一个的抽头系数和抽头结构信息，并且因此，与包括用于类中的每一个的抽头系数和抽头结构信息的情况相比，可以大大减少滤波信息的数据量，以及提高压缩效率。
在滤波信息生成单元132中，在从学习装置131提供的最新抽头结构信息与从学习装置131提供的先前抽头结构信息一致的情况下、在当前抽头系数学习中使用的原始图像的序列与先前抽头系数学习中使用的原始图像的序列之间在时间方向上的相互关系高的情况下等，可以例如在滤波信息中包括下述复制信息，所述复制信息指示使用与更新前一时刻的抽头结构和抽头系数时的抽头结构和用于类中的每一个的抽头系数相同的抽头结构和用于类中的每一个的抽头系数作为类抽头的抽头结构和用于类中的每一个的抽头系数。
例如，采用诸如多个帧(图片)、一帧、CU或块的任意图片序列作为用于更新类抽头的抽头结构(以及抽头系数)的抽头结构更新单元，并且因此，可以在抽头结构更新单元是最小单元的时刻处更新类抽头的抽头结构。
例如，在将本技术应用于HEVC(等同于HEVC的编码系统)的情况下，例如，当采用多个帧作为抽头结构更新单元时，滤波信息可以被包括在编码数据中作为序列参数集语法。
另外，例如，当采用一帧作为抽头结构更新单元时，滤波信息可以被包括在编码数据中作为图片参数集语法。
此外，在采用诸如CU的块作为抽头结构更新单元的情况下，例如，滤波信息可以被包括在编码数据中作为切片数据语法。
另外，滤波信息可以被包括在多个任意层中，例如序列参数集语法、图片参数集语法和切片数据语法。
在该情况下，可以优先将在多个层中包括的滤波信息项中具有更细粒度的层的滤波信息应用于特定块。例如，当滤波信息被包括在关于特定块的序列参数集语法和切片数据语法两者中时，可以优先将切片数据语法中包括的滤波信息应用于块。
例如，类抽头的抽头结构可以由相对于目标像素的要作为类抽头的像素中的每一个的位置关系(包括空间位置关系和时间位置关系两者)来表示。
因此，在要作为类抽头的像素的数量不同的情况下，或者在由要作为类抽头的像素形成的形状(下文中，也称为类抽头形状)不同的情况下，抽头结构不同。
此外，即使在要作为类抽头的像素的数量相同，并且类抽头形状相同(全等)的情况下，在相对于目标像素的类抽头形状的位置不同的情况下抽头结构也不同。例如，其中类抽头形状相对于目标像素的位置不同的类抽头指示其中类抽头形状以目标像素的位置为中心的类抽头，以及其中类抽头形状以从目标像素移位的位置为中心的类抽头。
另外，即使在要作为类抽头的像素的数量相同的情况下，在要作为类抽头的像素的密度不同的情况下，抽头结构也不同，并且因此，类抽头形状是类似的。这是因为在类抽头形状是类似的情况下，相对于目标像素的要作为类抽头的所有像素的位置关系彼此不一致。
可以采用相对于目标像素的要作为抽头结构的类抽头的像素的位置信息作为指示类抽头的抽头结构的抽头结构信息。
在采用要作为类抽头的像素的位置信息作为抽头结构信息的情况下，抽头结构信息的数据量增加，但是可以灵活地控制类抽头的抽头结构。
另外，例如，假设可以采用分配给多个抽头结构中的每一个的唯一标识(ID)作为抽头结构信息。在该情况下，如先前的知识，预先确定多个抽头结构，将ID分配给多个抽头结构中的每一个，以及在编码装置11与解码装置12之间共享抽头结构中的每一个和分配给抽头结构的ID。
在采用分配给抽头结构的唯一ID作为抽头结构信息的情况下，类抽头的抽头结构的灵活性降低，但是可以减少抽头结构信息的数据量。
此外，例如，假设可以采用相对于目标像素的预定点的一组位置信息项，例如分配给多个类抽头形状中的每一个的唯一ID(下文中，也称为形状ID)、要作为类抽头的像素的数量以及类抽头形状的中心作为抽头结构信息。在该情况下，如先前的知识，假设预先确定多个类抽头形状、将形状ID分配给多个类抽头形状中的每一个以及在编码装置11和解码装置12之间共享类抽头形状中的每一个和分配给类抽头形状的形状ID。
在采用预定点的一组位置信息项诸如形状ID、要作为类抽头的像素的数量和类抽头形状的中心作为抽头结构信息的情况下，可以在一定程度上确保类抽头的抽头结构的灵活性，并且可以在一定程度上减少抽头结构信息的数据量。
<学习装置131的配置示例>
图11是示出图10的学习装置131的配置示例的框图。
在图11中，学习装置131包括抽头结构选择单元151、学习单元152、存储单元153、估计值计算单元154和选择单元155。
抽头结构选择单元151例如存储预先确定的多个抽头结构的候选(的信息)，并且依次选择多个抽头结构的候选作为目标抽头结构。然后，抽头结构选择单元151将指示目标抽头结构的抽头结构信息提供给学习单元152(的抽头选择单元162)和存储单元153。
学习单元152包括抽头选择单元161和162、类分类单元163、加法单元164和系数计算单元165。
抽头选择单元161至系数计算单元165中的每一个执行与配置图4的学习单元33的抽头选择单元41至系数计算单元45中的每一个的处理相同的处理。
作为学生数据的解码期间的图像、作为教师数据的原始图像以及编码信息被提供给学习单元152。然后，在学习单元152中，通过使用作为学生数据的解码期间的图像和作为教师数据的原始图像，以及根据需要通过使用编码信息来执行与图4的学习单元33的抽头系数学习相同的抽头系数学习，并且因此，获得用于类中的每一个的抽头系数。
此处，在学习单元152中，将抽头结构信息从抽头结构选择单元151提供给抽头选择单元162。
与图4的抽头选择单元42一样，抽头选择单元162相对于目标像素从解码期间的图像的像素中选择要作为类抽头的像素，并且因此，使用像素配置类抽头，并且此时，根据来自抽头结构选择单元151的抽头结构信息配置由抽头结构信息指示的抽头结构的类抽头。
然后，类分类单元163通过使用由抽头选择单元162配置的类抽头来执行目标像素的类分类。
注意，在类分类单元163中，可以通过使用目标像素的类抽头以及通过使用目标像素的编码信息来执行目标像素的类分类。
例如，可以采用指示目标像素在包括目标像素的块诸如CU或PU中的位置的块相位、包括目标像素的图片的图片类型、包括目标像素的PU的量化参数QP等作为在类分类中使用的目标像素的编码信息。
例如，在采用块相位作为在类分类中使用的目标像素的编码信息的情况下，可以根据目标像素是否是块边界上的像素来执行目标像素的类分类。
另外，例如，在采用图片类型作为在类分类中使用的目标像素的编码信息的情况下，可以根据包括目标像素的图片是I图片、P图片还是B图片来执行目标像素的类分类。
此外，例如，在采用量化参数QP作为在类分类中使用的目标像素的编码信息的情况下，可以根据量化的粗糙度(细度)执行目标像素的类分类。
在使用类抽头和目标像素的编码信息的类分类中，通过使用类抽头将目标像素分类成第一子类，以及通过使用编码信息将目标像素分类成第二子类，并且因此，可以从第一子类和第二子类中获得目标像素的(最终)类。例如，可以获得其中指示第一子类的比特序列和指示第二子类的比特序列被布置在一个比特序列中的值作为目标像素的类(指示目标像素的类的类代码)。
在学习单元152中，针对在抽头结构选择单元151中存储的多个抽头结构(的候选)中的每一个执行抽头系数学习，并且获得用于类中的每一个的抽头系数。
然后，学习单元152将通过对多个抽头结构中的每一个执行抽头系数学习而获得的用于类中的每一个的抽头系数提供给存储单元153。
存储单元153彼此相关联地存储从抽头结构选择单元151提供的指示目标抽头结构的抽头结构信息，以及从学习单元152提供的关于目标抽头结构的用于类中的每一个的抽头系数。
估计值计算单元154针对在抽头结构选择单元151中存储的多个抽头结构(的候选)获得指示在类分类中使用抽头结构的类抽头的适当性的抽头结构估计值，并且将抽头结构估计值提供给选择单元155。
与提供给学习单元152的解码期间的图像相同的作为学生数据的解码期间的图像、作为教师数据的原始图像以及编码信息被提供给估计值计算单元154。
估计值计算单元154包括图像转换单元171和计算单元172。
图像转换单元171将提供给估计值计算单元154的解码期间的图像设置为第一图像，并且执行类分类自适应处理，并且因此，将作为第一图像的解码期间的图像转换为与作为第二图像的原始图像对应的对应图像，并且将对应图像提供给计算单元172。
也就是说，图像转换单元171通过使用抽头结构信息，以及与抽头结构信息相关联的用于类中的每一个的抽头系数来对存储单元153中存储的多个抽头结构信息项中的每一个(关于在抽头结构选择单元151中存储的多个抽头结构中的每一个的抽头结构信息)执行类分类自适应处理。
具体地，图像转换单元171配置由抽头结构信息指示的抽头结构的类抽头，并且对存储单元153中存储的多个抽头结构信息项中的每一个执行使用与抽头结构信息关联的用于类中的每一个的抽头系数执行滤波处理的类分类自适应处理(此处，例如，表达式(1)中的预测运算)。
然后，图像转换单元171将针对多个抽头结构信息项中的每一个获得的对应图像提供给计算单元172。
计算单元172例如通过使用来自图像转换单元171的针对多个抽头结构信息项中的每一个获得的对应图像和作为教师数据的原始图像来获得与对应图像的S/N对应的值作为抽头结构估计值，并且将该值提供给选择单元155。
选择单元155在存储单元153中存储的抽头结构信息项中选择具有从估计值计算单元154(的计算单元172)提供的最优抽头结构估计值的抽头结构信息作为指示最佳抽头结构的抽头结构信息。此外，选择单元155在存储单元153中存储的用于类中的每一个的抽头系数中选择与指示最佳抽头结构的抽头结构信息相关联的用于类中的每一个的抽头系数(下文中，也称为关于最佳抽头结构的用于类中的每一个的抽头系数)。
然后，选择单元155将指示最佳抽头结构的抽头结构信息和关于最佳抽头结构的用于类中的每一个的抽头系数提供给滤波信息生成单元132(图10)。
注意，在学习装置131中，例如，可以以与图10描述的抽头结构更新单元相同的单元(时刻)执行获得指示最佳抽头结构的抽头结构信息和关于最佳抽头结构的用于类中的每一个的抽头系数的处理。
<多个抽头结构的示例>
图12是示出作为类抽头的抽头结构的类抽头形状的示例的图。
如图12所示，由要作为类抽头的像素形成的类抽头形状的示例包括十字型或X型、水平一线型、竖直一线型、倾斜一线型、菱形形状、正方形形状、竖直矩形形状、水平矩形形状等。
根据本发明人执行的模拟，在使用通过使用十字型抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数的类分类自适应处理中，确认在通过类分类自适应处理获得的第二图像中精确地再现在水平方向上的边缘或在竖直方向上的边缘，在该十字型抽头结构中，在水平方向上排列成一线形状的像素与在竖直方向上排列成一线形状的像素彼此交叉。
此外，根据模拟，在使用通过使用X型抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数的类分类自适应处理中，确认与使用通过使用十字型抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数的类分类自适应处理相比，提高了相对于包括倾斜方向上的多个边缘的图像的通过类分类自适应处理获得的第二图像的峰值信噪比(PSNR)，在该X型抽头结构中，沿倾斜的右上方向排列成一线形状的像素与沿倾斜的左上方向排列成一线形状的像素相互交叉。
因此，确认了根据图像的特征(此处，边缘的方向)改变类抽头的抽头结构，并且因此，提高了通过类分类自适应处理获得的第二图像的PSNR。
图12的类抽头形状由一帧的像素形成，并且类抽头可以由一帧的像素配置，并且可以由多个帧的像素配置。
图13是示出由多个帧的像素配置的类抽头的抽头结构的示例的图。
在图13中，通过不仅使用目标像素的空间方向上的像素而且使用目标像素的时间方向上的像素来配置类抽头。即，在图13中，通过不仅使用目标像素的帧t的像素而且使用帧t之前的一帧的帧t-1的像素和帧t之后的一帧的帧t+1的像素来配置类抽头。
例如，在帧t-1和t+1中，可以选择与目标像素的位置相同的位置中的像素和该像素附近的像素作为要作为类抽头的像素。
另外，例如，在帧t-1和t+1中，可以选择从目标像素的位置移动运动向量的反映与目标像素的主题相同的主题的像素以及该像素附近的像素作为要作为类抽头的像素。
如上所述，在通过不仅使用目标像素的空间方向上的像素而且使用目标像素的时间方向上的像素来配置类抽头的情况下，可以改善由运动引起的通过类分类自适应处理获得的第二图像的图像质量的劣化，例如运动模糊。
注意，在使用类抽头的类分类中，根据从配置类抽头的像素获得的目标像素的图像特征量(局部图像特征量)对目标像素进行分类。
可以采用图2等中描述的ADRC代码、下面描述的DiffMax等作为图像特征量。
此处，在采用ADRC代码作为用于类分类的图像特征量的情况下，在ADRC代码中，根据其性质，类的数量相对于配置类抽头的像素的数量呈指数增加。
因此，在采用ADRC代码作为用于类分类的图像特征量的情况下，从压缩效率的角度来看，期望采用具有少量像素的抽头结构作为类抽头的抽头结构。
图13示出了通过从帧t-1至t+1中的每一个中选择形成十字型类抽头形状的像素而配置的类抽头CT1以及通过从帧t-1至t+1中的每一个中选择形成正方形类抽头形状的像素而配置的类抽头CT2。类抽头CT1由19个像素配置，并且类抽头CT2由75个像素配置。
在采用ADRC代码作为用于类分类的图像特征量的情况下，从压缩效率的角度来看，期望采用类抽头CT1和CT2中具有少量像素的抽头结构的类抽头CT1。
另外，在采用其中配置类抽头的像素的数量不影响类的数量的诸如DiffMax的图像特征量作为用于类分类的图像特征量的情况下，即使在采用具有少量像素的抽头结构的类抽头CT1的情况下，或者即使在采用具有大量像素的抽头结构的类抽头CT2的情况下，也不发生由类数量的变化引起的压缩效率的变化。
另一方面，在许多情况下，当配置类抽头的像素的数量增加时，准确地获得目标像素的图像特征量。因此，在采用其中配置类抽头的像素的数量不影响类数量的诸如DiffMax的图像特征量作为用于类分类的图像特征量的情况下，采用具有大量像素的抽头结构的类抽头CT2，并且因此，可以精确地获得目标像素的图像特征量。
此处，如图13所示，在下文中，通过使用目标像素的时间方向上的像素配置的类抽头的类抽头形状也将被称为时间方向类型。
图14是示出类抽头的抽头结构的变型的示例的图。
例如，如图14所示，其中配置类抽头的像素密集的类抽头，或者其中配置类抽头的像素稀疏的类抽头被例示为图12和图13所示的十字型或X型、水平一线型、竖直一线型、倾斜一线型、菱形形状、正方形形状、竖直矩形形状、水平矩形形状和时间方向类型的(类抽头形状)类抽头的变型。
例如，其中像素密集的类抽头是相邻像素是配置类抽头的像素的类抽头，并且其中像素稀疏的类抽头例如是其中以一个或多个像素间隔的像素是配置类抽头的像素的类抽头。
注意，在下文中，为了简化描述，类抽头由位于目标像素的空间方向上的像素配置，并且不考虑位于时间方向上的像素。
图15是示出在抽头结构选择单元151(图11)中存储的类抽头的多个抽头结构(的候选)的确定方法的示例的图。
例如，将类抽头形状设置为在与预测抽头形状的范围相同的范围中的方法，以及将类抽头形状设置为不在与预测抽头形状的范围相同的范围中的方法被例示为类抽头的多个抽头结构的确定方法。
此处，预测抽头形状指示由配置预测抽头的像素形成的形状。
例如，允许类抽头形状与预测抽头形状一致(将类抽头形状设置为与预测抽头形状的形状全等的形状)的方法，以及允许类抽头形状在水平方向和竖直方向中的每一个上的最大范围与预测抽头形状在水平方向和竖直方向中的每一个上的最大范围一致的方法被例示为将类抽头形状设置为在与预测抽头形状的范围相同的范围中的方法。
允许类抽头形状在水平方向和竖直方向中的每一个上的最大范围与预测抽头形状在水平方向和竖直方向中的每一个上的最大范围一致，指示围绕类抽头形状的最小矩形与围绕预测抽头形状的最小矩形一致。
在类抽头形状在水平方向和竖直方向中的每一个上的最大范围与预测抽头形状在水平方向和竖直方向中的每一个上的最大范围一致的情况下，配置类抽头的像素被分布在围绕预测抽头形状的最小矩形中。此处，类抽头形状不限于与预测抽头形状一致。
例如，允许类抽头形状和预测抽头形状的最大范围在水平方向和竖直方向的仅一个方向上彼此一致的方法，以及允许类抽头形状和预测抽头形状的最大范围在水平方向和竖直方向两者上彼此不一致的方法被例示为将类抽头形状设置为不在与预测抽头形状的范围相同的范围中的方法。
在类抽头形状和预测抽头形状的最大范围在水平方向和竖直方向的仅一个方向上彼此一致的情况下，要在水平方向或竖直方向上分布的配置类抽头的像素和配置预测抽头的像素的范围彼此一致，但是类抽头形状与预测抽头形状不一致。
另外，在类抽头形状和预测抽头形状的最大范围在水平方向和竖直方向两者上彼此不一致的情况下，不仅当类抽头形状与预测抽头形状不一致时，而且当类抽头形状与预测抽头形状一致(全等)时，要分布的配置类抽头的像素的范围与要分布的配置预测抽头的像素的范围不一致。此处，配置类抽头的像素的范围和配置预测抽头的像素的范围能够彼此交叠。
图16是示出在通过图11的类分类单元163进行的类分类中使用的类抽头的图像特征量的示例的图。
例如，可以采用ADRC代码、DR、DiffMax、平稳性、活动性、二次微分和、最大方向差、滤波器组输出等作为用于类分类的类抽头的图像特征量。
可以如图2等所述获得ADRC代码。即，例如，可以通过将配置类抽头的像素的像素值(例如亮度)划分成根据阈值的二进制像素值，并且通过排列二进制像素值来获得一位ADRC代码。
根据使用ADRC代码的类分类，对类抽头(配置类抽头的像素组)的波形图案(边缘或纹理(包括方向))进行彻底分类，并且在类分类自适应处理中，可以针对类抽头的波形图案中的每一个获得图像的最佳恢复效果。
DR是配置类抽头的像素的像素值例如亮度的最大值与最小值之间的差。在类分类自适应处理中，在DR小的情况下，使用DR的类分类有助于减小平坦部分的噪声等，并且在DR大的情况下，使用DR的类分类有助于边缘的恢复。
在类抽头中，DiffMax是水平方向、竖直方向和倾斜方向上的相邻像素的像素值的差绝对值的最大值。在类分类自适应处理中，在DiffMax小的情况下，使用DiffMax的类分类有助于减小渐变的虚假轮廓，并且在DiffMax大的情况下，使用DiffMax的类分类有助于恢复陡峭的边缘(阶梯)。
注意，作为与仅DiffMax或仅DR不同的图像特征量，可以将DiffMax和DR的组合，即例如DiffMax/DR或DiffMax和DR的双轴表达式(DiffMax，DR)设置成类抽头中爬升到DR的幅度的像素数的指数。
在类抽头中，例如，平稳性可以由指示在使每个方向上的相邻像素的像素值的差绝对值总和最大化的方向与使每个方向上的相邻像素的像素值的差绝对值总和最小化的方向之间的差绝对值总和的差的值来表示。在类分类自适应处理中，在平稳性小的情况下，使用平稳性的类分类有助于纹理(或诸如噪声的精细图案)的恢复，并且在平稳性大的情况下，使用平稳性的类分类有助于边缘(结构线)的恢复。
在类抽头中，例如，活动性可以由水平方向和竖直方向上的相邻像素的像素值的差绝对值总和来表示。在类分类自适应处理中，在活动性小的情况下，使用活动性的类分类有助于阶梯边缘(简单图案)的恢复，并且在活动性大的情况下，使用活动性的类分类有助于纹理(复杂图案)的恢复。
在类抽头中，二次微分和例如是水平方向和竖直方向上的相邻像素的像素值的二次微分的绝对值总和。在二次微分和小的情况下，使用二次微分和的类分类有助于阶梯边缘的恢复，并且在二次微分和大的情况下，使用二次微分和的类分类有助于纹理的恢复。
在类抽头中，最大方向差例如是指示在水平方向、竖直方向和倾斜方向上相邻像素的像素值的差绝对值总和最大化的方向的值。在使用最大方向差的类分类中，对目标像素附近的诸如幅度、梯度或结构的方向进行分类，并且因此，在类分类自适应处理中，可以针对目标像素附近的诸如幅度、梯度或结构的每个方向获得图像的最佳恢复效果。
滤波器组输出是通过对具有方向性的多个带通滤波器(输出指示诸如图像的幅度、梯度或结构的方向的值的带通滤波器)输入配置类抽头的像素的像素值而获得的值。在使用滤波器组输出的类分类中，与使用最大方向差的类分类相比，计算成本大，但是分类精度高。
在使用类抽头ADRC代码的类分类中，例如，可以采用ADRC代码(由ADRC代码指示的值)作为目标像素的类(指示目标像素的类的类代码)。
除了如上所述的ADRC代码、DR、DiffMax、平稳性、活动性、二次微分和、最大方向差或滤波器组输出之外，还可以采用任意图像特征量作为用于类分类的类抽头的图像特征量。
在使用诸如DR、DiffMax(DiffMax/DR)、平稳性、活动性、二次微分和、最大方向差或滤波器组输出或类抽头的图像特征量的类分类中，例如，除了图像特征量本身的值之外，还将图像特征量与一个或更多个阈值进行比较，并且因此，可以采用指示图像特征量与阈值之间的大小关系的值作为目标像素的类。
另外，可以通过使用类抽头的一个类型的图像特征量来执行类分类，并且也可以通过使用类抽头的多个类型的图像特征量来执行类分类。
图17是示出图11的图像转换单元171的配置示例的框图。
在图17中，图像转换单元171包括抽头选择单元181和182、类分类单元183、系数获取单元184和预测运算单元185。
抽头选择单元181至预测运算单元185中的每一个执行与图2的图像转换装置20的抽头选择单元21至预测运算单元25中的每一个的处理相同的处理。
与提供给学习单元152(图11)的作为学生数据的解码期间的图像和编码信息相同的作为学生数据的解码期间的图像和编码信息被提供给图像转换单元171。在图像转换单元171中，通过使用作为学生数据的解码期间的图像，以及根据需要通过使用编码信息来执行与图2的图像转换装置20的类分类自适应处理相同的类分类自适应处理，并且获得与作为教师数据的原始图像对应的对应图像。
此处，在图像转换单元171中，在存储单元153(图11)中存储的抽头结构信息和与抽头结构信息相关联的用于类中的每一个的抽头系数分别被提供给抽头选择单元182和系数获取单元184。
与图2的抽头选择单元22一样，抽头选择单元182针对目标像素从解码期间的图像的像素中选择要作为类抽头的像素，并且使用像素配置类抽头，并且此时，根据来自存储单元153的抽头结构信息配置由抽头结构信息指示的抽头结构的类抽头。
然后，类分类单元183通过使用由抽头选择单元182配置的类抽头来执行目标像素的类分类。
注意，类分类单元183执行与图11的类分类单元163的类分类相同的类分类。因此，在图11的类分类单元163通过使用目标像素的类抽头，以及通过使用目标像素的编码信息执行目标像素的类分类的情况下，类分类单元183也通过使用目标像素的类抽头和编码信息来执行目标像素的类分类。
与图2的系数获取单元24一样，系数获取单元184存储用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取来自类分类单元183的目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元185。
此处，系数获取单元184存储来自存储单元153(图11)的用于类中的每一个的抽头系数，并且从用于类中的每一个的抽头系数中获取目标像素的类的抽头系数。
在系数获取单元184中存储的用于类中的每一个的抽头系数是与从存储单元153提供给抽头选择单元182的抽头结构信息相关联的用于类中的每一个的抽头系数，以及是通过使用由抽头结构信息指示的抽头结构的类抽头的类分类获得的相对于类的抽头系数。
注意，在图17的图像转换单元171中，预测运算单元185通过使用由抽头选择单元181配置的目标像素的预测抽头和由系数获取单元184获取的目标像素的类的抽头系数来执行预测运算，并且获得对应于与目标像素对应的原始图像的对应像素的像素值的预测值。
可以描述为由预测运算单元185执行的预测运算是针对目标像素的预测抽头的一种类型的滤波处理，并且因此，可以描述为配置要经受滤波处理的预测抽头的抽头选择单元181、获取用于滤波处理的抽头系数的系数获取单元184以及执行作为一种类型的滤波处理的预测运算的预测运算单元185配置执行滤波处理的滤波处理单元180。
在滤波处理单元180中，由预测运算单元185执行的作为滤波处理的预测运算是与以取决于由系数获取单元184获取的目标像素的类的抽头系数的方式而不同的滤波处理。因此，可以描述为滤波处理单元180的滤波处理是与目标像素的类对应的滤波处理。
<学习装置131的处理>
图18是示出图11的学习装置131的处理的示例的流程图。
在步骤S11中，抽头结构选择单元151在预先确定的多个抽头结构的候选中选择尚未被设置为目标抽头结构的抽头结构的候选之一作为目标抽头结构。然后，抽头结构选择单元151将指示目标抽头结构的抽头结构信息提供(输出)到学习单元152的抽头选择单元162和存储单元153，并且处理从步骤S11进行到步骤S12。
在步骤S12中，学习单元152通过使用作为学生数据的解码期间的图像、作为教师数据的原始图像，以及根据需要通过使用编码信息来执行抽头系数学习，并且获得用于类中的每一个的抽头系数。
在学习单元152的抽头系数学习中，通过使用由从抽头结构选择单元151提供给抽头选择单元162的抽头结构信息指示的目标抽头结构的类抽头来执行类分类，获得通过类分类获得的相对于类的抽头系数。
学习单元152将通过使用目标抽头结构的类抽头的类分类获得的用于类中的每一个的抽头系数提供给存储单元153，并且处理从步骤S12进行到步骤S13。
在步骤S13中，存储单元153彼此相关联地存储来自抽头结构选择单元151的指示目标抽头结构的抽头结构信息，以及通过使用来自学习单元152的目标抽头结构的类抽头的类分类获得的用于类中的每一个的抽头系数，并且处理进行到步骤S14。
在步骤S14中，抽头结构选择单元151例如确定在预先确定的多个抽头结构的候选中是否存在尚未被设置为目标抽头结构的抽头结构的候选。
在步骤S14中，在确定在预先确定的多个抽头结构的候选中存在尚未被设置为目标抽头结构的抽头结构的候选的情况下，处理返回到步骤S11，并且在下文中，将重复相同的处理。
另外，在步骤S14中，在确定在预先确定的多个抽头结构的候选中不存在尚未被设置为目标抽头结构的抽头结构的候选的情况下，即，在针对预先确定的多个抽头结构(的候选)中的每一个，将抽头结构的抽头结构信息和通过使用由抽头结构信息指示的类抽头的类分类获得的用于类中的每一个的抽头系数彼此相关联地存储在存储单元153中的情况下，处理进行到步骤S15。
在步骤S15中，在估计值计算单元154中，图像转换单元171通过使用抽头结构信息和与抽头结构信息相关联的用于类中的每一个的抽头系数对作为学生数据的解码期间的图像执行类分类自适应处理，并且针对存储单元153中存储的多个抽头结构信息项中的每一个(关于在抽头结构选择单元151中存储的多个抽头结构中的每一个的抽头结构信息)获得与作为教师数据的原始图像对应的对应图像。
此外，在估计值计算单元154中，计算单元172针对多个抽头结构信息项中的每一个，获得通过使用与抽头结构信息相关联的用于类中的每一个的抽头系数的类分类自适应处理获得的与对应图像的S/N对应的值等作为抽头结构估计值，并且将该值提供给选择单元155。
然后，处理从步骤S15进行到步骤S16，并且选择单元155从存储单元153中存储的抽头结构信息中选择具有从估计值计算单元154的计算单元172提供的最优抽头结构估计值的抽头结构信息作为指示最佳抽头结构的抽头结构信息。此外，选择单元155从存储单元153中存储的用于类中的每一个的抽头系数中选择关于最佳抽头结构的用于类中的每一个的抽头系数(与指示最佳抽头结构的抽头结构信息相关联的用于类中的每一个的抽头系数)。
选择单元155将指示最佳抽头结构的抽头结构信息和关于最佳抽头结构的用于类中的每一个的抽头系数提供给滤波信息生成单元132，并且结束处理。
<图像转换装置133的配置示例>
图19是示出图10的图像转换装置133的配置示例的框图。
在图19中，图像转换装置133包括抽头选择单元191和192、类分类单元193、系数获取单元194和预测运算单元195。
抽头选择单元191至预测运算单元195中的每一个执行与图17的图像转换单元171的抽头选择单元181至预测运算单元185中的每一个的处理相同的处理。
作为第一图像的解码期间的图像和编码信息被提供给图像转换装置133。在图像转换装置133中，通过使用作为第一图像的解码期间的图像，以及根据需要通过使用编码信息来执行与图17的图像转换单元171的类分类自适应处理相同的类分类自适应处理，并且获得作为与原始图像对应的第二图像的滤波后图像。
注意，在图像转换装置133中，来自滤波信息生成单元132(图10)的滤波信息被提供给抽头选择单元192和系数获取单元194。
与图17的抽头选择单元182一样，抽头选择单元192相对于目标像素从解码期间的图像的像素中选择要作为类抽头的像素，并且使用像素配置类抽头。
也就是说，抽头选择单元192根据来自滤波信息生成单元132的滤波信息中包括的抽头结构信息来配置指示抽头结构信息的最佳抽头结构的类抽头。
然后，类分类单元193通过使用由抽头选择单元192配置的类抽头来对目标像素执行与图17的类分类单元183的类分类相同的类分类。
因此，在图17的类分类单元183通过使用目标像素的类抽头和编码信息执行目标像素的类分类的情况下，类分类单元193也通过使用目标像素的类抽头和编码信息来执行目标像素的类分类。
与图17的系数获取单元184一样，系数获取单元194存储用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取来自类分类单元193的目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元195。
也就是说，系数获取单元194存储来自滤波信息生成单元132(图10)的滤波信息中包括的用于类中的每一个的抽头系数，并且从用于类中的每一个的抽头系数中获取目标像素的类的抽头系数。
来自滤波信息生成单元132的滤波信息中包括的用于类中的每一个的抽头系数是通过使用由学习装置131(图11)获得的最佳抽头结构的类抽头的类分类获得的用于类中的每一个的抽头系数。
此处，在图19的图像转换装置133中，可以描述为抽头选择单元191、系数获取单元194和预测运算单元195与图17的抽头选择单元181、系数获取单元184和预测运算单元185一样，配置执行与目标像素的类对应的滤波处理的滤波处理单元190。
注意，如图10所示，在从滤波信息生成单元132提供给图像转换装置133的滤波信息中，可以包括下述复制信息，该复制信息指示是否使用与更新前一时刻的抽头结构和抽头系数时的抽头结构和用于类中的每一个的抽头系数相同的抽头结构和用于类中的每一个的抽头系数作为类抽头的抽头结构和用于类中的每一个的抽头系数。
此处，使用与更新前一时刻的抽头结构和抽头系数时的抽头结构和用于类中的每一个的抽头系数相同的抽头结构和用于类中的每一个的抽头系数作为类抽头的抽头结构和用于类中的每一个的抽头系数被设置为复制模式。
在从滤波信息生成单元132提供给图像转换装置133的最新滤波信息中包括的复制信息不指示复制模式的情况下，抽头选择单元192采用由在最新滤波信息中包括的抽头结构信息指示的抽头结构作为类抽头的抽头结构，而不是由从滤波信息生成单位132提供给图像转换装置133的先前滤波信息中包括的抽头结构信息指示的抽头结构。
此外，系数获取单元194以对先前滤波信息中包括的用于类中的每一个的抽头系数进行重写的格式存储最新滤波信息中包括的用于类中的每一个的抽头系数。
另一方面，在最新滤波信息中包括的复制信息(最新滤波信息不包括抽头结构信息和用于类中的每一个的抽头系数)指示复制模式的情况下，抽头选择单元192按原样采用先前滤波信息中包括的抽头结构作为类抽头的抽头结构。
此外，系数获取单元194按原样维持对先前滤波信息中包括的用于类中的每一个的抽头系数的存储。
因此，在最新滤波信息中包括的复制信息指示复制模式的情况下，维持类抽头的前一时刻的抽头结构和用于类中的每一个的抽头系数。
<编码处理>
图20是示出图9的编码装置11的编码处理的示例的流程图。
注意，图20所示的编码处理的步骤中的每一个的顺序是为了便于描述的顺序，并且实际编码处理的相应步骤以必要的顺序适当地并行执行。这同样适用于下面描述的编码处理。
在编码装置11中，类分类自适应滤波器111的学习装置131(图10)例如将在向其提供的解码期间的图像中的在诸如多个帧、一帧和块的抽头结构更新单元中的解码期间的图像设置为学生数据，将与解码期间的图像对应的原始图像设置为教师数据，并且连续地执行抽头系数学习。然后，在步骤S31中，学习装置131确定是否是类抽头的抽头结构的更新时刻(用于更新类抽头的抽头结构的预定时刻)，即，例如是否是诸如多个帧、一帧和块的抽头结构更新单元的终点或起点的时刻。
在步骤S31中，在确定不是类抽头的抽头结构的更新时刻的情况下，处理通过跳过步骤S32至S34进行到步骤S35。
另外，在步骤S31中，在确定是类抽头的抽头结构的更新时刻的情况下，处理进行到步骤S32。
在步骤S32中，滤波信息生成单元132(图10)生成包括抽头结构信息和由学习设备131根据最新抽头系数学习生成的用于类中的每一个的抽头系数(或复制信息)的滤波信息，即，指示最佳抽头结构的抽头结构信息，以及关于最佳抽头结构的用于类中的每一个的抽头系数，并且将该信息提供给图像转换装置133(图10)和可逆编码单元106(图9)，并且处理进行到步骤S33。
注意，在编码装置11中，仅在检测到原始图像的时间方向上的相互关系，并且相互关系为低(在小于或等于阈值的情况下)的情况下，可以在更新时刻处生成滤波信息，并且可以执行下面描述的步骤S33和S34的处理。
在步骤S33中，图像转换装置133根据来自滤波信息生成单元132的滤波信息更新由抽头选择单元192(图19)配置的类抽头的抽头结构，以及在系数获取单元194(图19)中存储的用于类中的每一个的抽头系数，并且处理进行到步骤S34。
在步骤S34中，可逆编码单元106将从滤波信息生成单元132提供的滤波信息设置为传输目标，并且处理进行到步骤S35。在下面描述的步骤S48中，通过将被设置为传输目标的滤波信息包括在编码数据中来传送。
在步骤S35之后，执行原始图像的预测编码处理。
也就是说，在步骤S35中，A/D转换单元101对原始图像执行A/D转换，并且将原始图像提供给重新排序缓冲器102，并且处理进行到步骤S36。
在步骤S36中，重新排序缓冲器102存储来自A/D转换单元101的原始图像，并且以编码顺序重新排序原始图像以进行输出，并且处理进行到步骤S37。
在步骤S37中，帧内预测单元114以帧内预测模式执行帧内预测处理，并且处理进行到步骤S38。在步骤S38中，运动预测补偿单元115执行在帧间预测模式下执行运动预测或运动补偿的帧间运动预测处理，并且处理进行到步骤S39。
在帧内预测单元114的帧内预测处理和运动预测补偿单元115的帧间运动预测处理中，对各种预测模式的成本函数进行运算，并且生成预测图像。
在步骤S39中，预测图像选择单元116基于由帧内预测单元114和运动预测补偿单元115获得的成本函数中的每一个来确定最佳预测模式。然后，预测图像选择单元116选择由帧内预测单元114生成的预测图像和由运动预测补偿单元115生成的预测图像中的最佳预测模式下的预测图像以进行输出，并且处理从步骤S39进行到步骤S40。
在步骤S40中，运算单元103对作为由重新排序缓冲器102输出的原始图像的编码目标图像与由预测图像选择单元116输出的预测图像之间的残差进行运算，并且将残差提供给正交变换单元104，并且处理进行到步骤S41。
在步骤S41中，正交变换单元104对来自运算单元103的残差执行正交变换，并且将作为其结果获得的变换系数提供给量化单元105，并且处理进行到步骤S42。
在步骤S42中，量化单元105对来自正交变换单元104的变换系数执行量化，并且将通过量化获得的量化系数提供给可逆编码单元106和可逆量化单元108，并且处理进行到步骤S43。
在步骤S43中，逆量化单元108对来自量化单元105的量化系数执行逆量化，并且将作为其结果获得的变换系数提供给逆正交变换单元109，并且处理进行到步骤S44。在步骤S44中，逆正交变换单元109对来自逆量化单元108的变换系数执行逆正交变换，并且将作为其结果获得的残差提供给运算单元110，并且处理进行到步骤S45。
在步骤S45中，运算单元110将来自逆正交变换单元109的残差与由预测图像选择单元116输出的预测图像相加在一起，并且生成与经受运算单元103中的残差的运算的原始图像对应的解码期间的图像。运算单元110将解码期间的图像提供给类分类自适应滤波器111或帧存储器112，并且处理从步骤S45进行到步骤S46。
在解码期间的图像被从运算单元110提供给类分类自适应滤波器111的情况下，在步骤S46中，类分类自适应滤波器111对来自运算单元110的解码期间的图像执行作为ILF处理的类分类自适应处理(类分类自适应滤波处理)。对解码期间的图像执行类分类自适应处理，并且因此，与通过一般ILF对解码期间的图像进行滤波的情况相比，获得接近原始图像的滤波后图像。
类分类自适应滤波器111将由类分类自适应处理获得的滤波后图像提供给帧存储器112，并且处理从步骤S46进行到步骤S47。
在步骤S47中，帧存储器112将从运算单元110提供的解码期间的图像或从类分类自适应滤波器111提供的滤波后图像存储为解码图像，并且处理进行到步骤S48。将帧存储器112中存储的解码图像用作参考图像，该参考图像是用于在步骤S38或S39中生成预测图像的源。
在步骤S48中，可逆编码单元106对来自量化单元105的量化系数进行编码。此外，可逆编码单元106根据需要对量化单元105的量化中使用的量化参数QP和诸如在帧内预测单元114的帧内预测处理中获得的预测模式、运动预测补偿单元115的帧间运动预测处理中获得的预测模式或运动信息的编码信息进行编码以将其包括在编码数据中。
另外，可逆编码单元106对步骤S34中被设置为传输目标的滤波信息进行编码以将该滤波信息包括在编码数据中。然后，可逆编码单元106将编码数据提供给累积缓冲器107，并且处理从步骤S48进行到步骤S49。
在步骤S49中，累积缓冲器107累积来自可逆编码单元106的编码数据，并且处理进行到步骤S50。适当地读取和传送累积缓冲器107中累积的编码数据。
在步骤S50中，速率控制单元117基于累积缓冲器107中累积的编码数据的代码量(生成的代码量)来控制量化单元105的量化运算的速率使得不发生上溢或下溢，并且结束编码处理。
图21是示出图20的步骤S46中执行的类分类自适应处理的示例的流程图。
在类分类自适应滤波器111的图像转换装置133(图19)中，在步骤S61中，抽头选择单元191在从运算单元110提供的解码期间的图像(作为解码期间的图像的块)的像素中选择尚未被设置为目标像素的像素之一作为目标像素，并且处理进行到步骤S62。
在步骤S62中，抽头选择单元191从自运算单元110提供的解码期间的图像中选择要作为关于目标像素的预测抽头的像素，并且配置预测抽头。然后，抽头选择单元191将预测抽头提供给预测运算单元195，并且处理进行到步骤S63。
在步骤S63中，抽头选择单元192根据来自滤波信息生成单元132(图10)的滤波信息中包括的抽头结构信息，从自运算单元110提供的解码期间的图像中选择要作为关于目标像素的类抽头的像素，并且因此，配置由滤波信息中包括的抽头结构信息指示的最佳抽头结构的类抽头。然后，抽头选择单元192将类抽头提供给类分类单元193。
也就是说，根据紧接在其之前执行的图20的步骤S33中的类抽头的抽头结构的更新对由抽头选择单元192配置的类抽头的抽头结构进行更新，并且抽头选择单元192配置更新之后的抽头结构的类抽头，并且将类抽头提供给类分类单元193。
此后，处理从步骤S63进行到步骤S64，并且类分类单元193通过使用关于目标像素的类抽头，以及根据需要通过使用关于目标像素的编码信息来执行目标像素的类分类。然后，类分类单元193将通过类分类获得的目标像素的类提供给系数获取单元194，并且处理从步骤S64进行到步骤S65。
系数获取单元194根据紧接在其之前执行的图20的步骤S33中的抽头系数的更新来存储从滤波信息生成单元132提供的滤波信息中包括的用于类中的每一个的抽头系数，即关于由抽头选择单元192配置的类抽头的最佳抽头结构的用于类中的每一个的抽头系数。在步骤S65中，系数获取单元194从所存储的关于最佳抽头结构的用于类中的每一个的抽头系数中获取从类分类单元193提供的目标像素的类的抽头系数，并且将抽头系数提供给预测运算单元195，并且处理进行到步骤S66。
在步骤S66中，预测运算单元195通过使用来自抽头选择单元191的预测抽头和来自系数获取单元194的抽头系数执行作为滤波处理的表达式(1)中的预测运算。因此，预测运算单元195获得与目标像素对应的原始图像的对应像素的像素值的预测值作为滤波后图像的像素值，并且处理进行到步骤S67。
在步骤S67中，抽头选择单元191确定在来自运算单元110的解码期间的图像(作为解码期间的图像的块)的像素中是否存在尚未被设置为目标像素的像素。在步骤S67中，在确定存在尚未被设置为目标像素的像素的情况下，处理返回到步骤S61，并且在下文中，将重复相同的处理。
另外，在步骤S67中，在确定不存在尚未被设置为目标像素的像素的情况下，处理进行到步骤S68，并且预测运算单元195将由针对来自运算单元110的解码期间的图像(作为解码期间的图像的块)获得的像素值配置的滤波后图像提供给帧存储器112(图9)。然后，类分类自适应处理结束，并且处理进行到返回。
<解码装置12的第一配置示例>
图22是示出图1的解码装置12的第一配置示例的框图。
在图22中，解码装置12包括累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、运算单元205、类分类自适应滤波器206、重新排序缓冲器207以及D/A转换单元208。另外，解码装置12包括帧存储器210、选择单元211、帧内预测单元212、运动预测补偿单元213和选择单元214。
累积缓冲器201临时累积从编码装置11传送的编码数据，并且在预定时刻处将编码数据提供给可逆解码单元202。
可逆解码单元202从累积缓冲器201获取编码数据。因此，可逆解码单元202用作接收从编码数据11传送的编码数据以及编码数据中包括的编码信息或滤波信息的接收单元。
可逆解码单元202在与图9的可逆编码单元106的编码系统对应的系统中对从累积缓冲器201获取的编码数据进行解码。
然后，可逆解码单元202将通过对编码数据进行解码而获得的量化系数提供给逆量化单元203。
另外，在通过对编码数据进行解码来获得编码信息或滤波信息的情况下，可逆解码单元202将必要的编码信息提供给帧内预测单元212、运动预测补偿单元213或其他必要的块。
另外，可逆解码单元202将编码信息和滤波信息提供给类分类自适应滤波器206。
逆量化单元203在与图9的量化单元105的量化系统对应的系统中，对来自可逆解码单元202的量化系数执行逆量化，并且将由逆量化获得的变换系数提供给逆正交变换单元204。
逆正交变换单元204在与图9的正交变换单元104的正交变换系统对应的系统中，对从逆量化单元203提供的变换系数执行逆正交变换，并且将作为其结果获得的残差提供给运算单元205。
将残差从逆正交变换单元204提供给运算单元205，并且预测图像通过选择单元214从帧内预测单元212或运动预测补偿单元213提供给运算单元205。
运算单元205将来自逆正交变换单元204的残差与来自选择单元214的预测图像相加在一起，生成解码期间的图像，以及将解码期间的图像提供给类分类自适应滤波器206或者重新排序缓冲器207和帧存储器210。例如，在解码期间的图像中，作为用于帧内预测的参考图像的解码期间的图像被提供给重新排序缓冲器207和帧存储器210，并且解码期间的其他图像被提供给类分类自适应滤波器206。
与类分类自适应滤波器111一样，类分类自适应滤波器206利用用作ILF即DF、SAO和ALF中的全部的滤波器执行根据类分类自适应处理的ILF处理。
也就是说，类分类自适应滤波器206将来自运算单元205的解码期间的图像设置为第一图像，并且根据需要通过使用来自可逆解码单元202的编码信息来执行使用来自可逆解码单元202的滤波信息中包括的用于类中的每一个的抽头系数的类分类自适应处理(根据类分类自适应处理的图像转换)，并且因此，将作为第一图像的解码期间的图像转换为作为与原始图像对应的第二图像的滤波后图像(生成滤波后图像)以进行输出。
注意，在类分类自适应处理中，类分类自适应滤波器206使用由来自可逆解码单元202的滤波信息中包括的抽头结构信息指示的最佳抽头结构的类抽头作为用于类分类中的类抽头。
由类分类自适应滤波器206输出的滤波后图像是与由类分类自适应滤波器111输出的滤波后图像相同的图像，并且被提供给重新排序缓冲器207和帧存储器210。
重新排序缓冲器207临时存储从运算单元205提供的解码期间的图像以及从类分类自适应滤波器206提供的滤波后图像作为解码图像、将解码图像的帧(图片)从编码(解码)顺序重新排序成显示顺序，以及将该帧提供给D/A转换单元208。
D/A转换单元208对从重新排序缓冲器207提供的解码图像执行D/A转换，并且将解码图像输出到显示器(未示出)以进行显示。
帧存储器210临时存储来自运算单元205的解码期间的图像和来自类分类自适应滤波器206的滤波后图像作为解码图像。此外，帧存储器210在预定时刻处或者基于来自诸如帧内预测单元212或运动预测补偿单元213的外部的请求，将解码图像作为用于生成预测图像的参考图像提供给选择单元211。
选择单元211选择从帧存储器210提供的参考图像的供应目的地。在对经受帧内编码的图像进行解码的情况下，选择单元211将从帧存储器210提供的参考图像提供给帧内预测单元212。另外，在对经受帧间编码的图像进行解码的情况下，选择单元211将从帧存储器210提供的参考图像提供给运动预测补偿单元213。
在图9的帧内预测单元114中使用的帧内预测模式下，帧内预测单元212根据从可逆解码单元202提供的编码信息中包括的预测模式，通过使用通过选择单元211从帧存储器210提供的参考图像来执行帧内预测。然后，帧内预测单元212将通过帧内预测获得的预测图像提供给选择单元214。
在图9的运动预测补偿单元115中使用的帧间预测模式下，运动预测补偿单元213根据从可逆解码单元202提供的编码信息中包括的预测模式，通过使用通过选择单元211从帧存储器210提供的参考图像来执行帧间预测。根据需要通过使用从可逆解码单元202提供的编码信息中包括的运动信息等来执行帧间预测。
运动预测补偿单元213将通过帧间预测获得的预测图像提供给选择单元214。
选择单元214选择从帧内预测单元212提供的预测图像，或从运动预测补偿单元213提供的预测图像，并且将所选择的图像提供给运算单元205。
<类分类自适应滤波206的配置示例>
图23是示出图22的类分类自适应滤波器206的配置示例的框图。
在图23中，类分类自适应滤波器206包括图像转换装置231。
解码期间的图像被从运算单元205(图22)提供给图像转换装置231，并且滤波信息和编码信息被从可逆解码单元202提供给图像转换装置231。
与图10的图像转换装置133一样，图像转换装置231将解码期间的图像设置为第一图像、执行使用由滤波信息中包括的抽头结构信息指示的最佳抽头结构的类抽头的类分类，以及根据执行作为使用关于滤波信息中包括的最佳抽头结构的用于类中的每一个的抽头系数的滤波处理的预测运算的类分类自适应处理执行图像转换，并且因此，将作为第一图像的解码期间的图像转换成作为与原始图像对应的第二图像的滤波后图像(生成滤波后图像)，并且将图像提供给重新排序缓冲器207和帧存储器210(图22)。
注意，与图10的图像转换装置133一样，在类分类自适应处理中，图像转换装置231根据需要通过使用编码信息来执行类分类。
<图像转换装置231的配置示例>
图24是示出图23的图像转换装置231的配置示例的框图。
在图24中，图像转换装置231包括抽头选择单元241、242、类分类单元243、系数获取单元244和预测运算单元245。
抽头选择单元241至预测运算单元245中的每一个具有与配置图像转换装置133(图19)的抽头选择单元191至预测运算单元195的配置相同的配置。
也就是说，解码期间的图像被从运算单元205(图22)提供给抽头选择单元241和242。
抽头选择单元241将来自运算单元205的解码期间的图像设置为第一图像，并且依次选择解码期间的图像的像素作为目标像素。
此外，抽头选择单元241针对目标像素从解码期间的图像中选择具有与由图19的抽头选择单元191选择的预测抽头的结构相同的结构的预测抽头，并且将预测抽头提供给预测运算单元245。
解码期间的图像被从运算单元205(图22)提供给抽头选择单元242，并且滤波信息被从可逆解码单元202提供给抽头选择单元242。
抽头选择单元242针对目标像素将来自运算单元205的解码期间的图像设置为第一图像，以及根据在来自可逆解码单元202的滤波信息中包括的抽头结构信息从解码期间的图像的像素中选择要作为类抽头的像素，并且因此，选择由滤波信息中包括的抽头结构信息指示的最佳抽头结构的类抽头，即具有与由图19的抽头选择单元192配置的类抽头的配置相同的配置的类抽头，并且将类抽头提供给类分类单元243。
类抽头被从抽头选择单元242提供给类分类单元243，并且编码信息被从可逆解码单元202(图22)提供给类分类单元243。
类分类单元243通过使用来自抽头选择单元242的类抽头，以及根据需要通过使用来自可逆解码单元202的编码信息执行与图19的类分类单元193的类分类相同的类分类，并且将目标像素的类(指示目标像素的类的类代码)提供给系数获取单元244。
目标像素的类被从类分类单元243提供给系数获取单元244，并且滤波信息被从可逆解码单元202提供给系数获取单元244。
系数获取单元244存储关于在来自可逆解码单元202的滤波信息中包括的最佳抽头结构的用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取来自类分类单元243的目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元245。
预测运算单元245通过使用来自抽头选择单元241的预测抽头和来自系数获取单元244的抽头系数执行作为滤波处理的表达式(1)中的预测运算，并且获得与解码期间的图像的目标像素对应的原始图像的对应像素的像素值的预测值作为要作为第二图像的滤波后图像的像素的像素值以进行输出。
此处，与图19的图像转换装置133的抽头选择单元191、系数获取单元194和预测运算单元195一样，在图24的图像转换装置231中，可以描述为抽头选择单元241、系数获取单元244和预测运算单元245配置执行与目标像素的类对应的滤波处理的滤波处理单元240。
注意，如图10所示，在从可逆解码单元202提供给图像转换装置231的滤波信息中，可以包括下述复制信息，该复制信息指示是否使用与更新前一时刻的抽头结构和抽头系数时的抽头结构和用于类中的每一个的抽头系数相同的抽头结构和用于类中的每一个的抽头系数作为类抽头的抽头结构和用于类中的每一个的抽头系数。
在从可逆解码单元202提供给图像转换装置231的最新滤波信息中包括的复制信息不指示复制模式的情况下，抽头选择单元242采用由在最新滤波信息中包括的抽头结构信息指示的最佳抽头结构作为类抽头的抽头结构，而不是由从可逆解码单位202提供给图像转换装置231的先前滤波信息中包括的抽头结构信息指示的最佳抽头结构。
此外，系数获取单元244以对先前滤波信息中包括的用于类中的每一个的抽头系数进行重写的格式存储最新滤波信息中包括的用于类中的每一个的抽头系数。
另一方面，在最新滤波信息中包括的复制信息指示复制模式的情况下，抽头选择单元242按原样采用先前滤波信息中包括的最佳抽头结构作为类抽头的抽头结构。
此外，系数获取单元244维持对先前滤波信息中包括的用于类中的每一个的抽头系数的存储。
因此，与图像转换装置133(图10)(图19)一样，在图像转换装置231中，在最新滤波信息中包括的复制信息指示复制模式的情况下，维持类抽头的前一时刻的抽头结构和用于类中的每一个的抽头系数。
<解码处理>
图25是示出图22的解码装置12的解码处理的示例的流程图。
注意，图25所示的解码处理的步骤中的每一个的顺序是为了便于描述的顺序，并且实际的解码处理的相应步骤以必要的顺序适当地并行执行。这同样适用于下面描述的解码处理。
在解码处理中，在步骤S111中，累积缓冲器201临时累积从编码装置11传送的编码数据，并且适当地将编码数据提供给可逆解码单元202，并且处理进行到步骤S112。
在步骤S112中，可逆解码单元202接受从累积缓冲器201提供的编码数据以进行解码，并且将通过解码获得的量化系数提供给逆量化单元203。
另外，在通过对编码数据进行解码来获得编码信息或滤波信息的情况下，可逆解码单元202将必要的编码信息提供给帧内预测单元212、运动预测补偿单元213或其他必要的块。
另外，可逆解码单元202将编码信息和滤波信息提供给类分类自适应滤波器206。
此后，处理从步骤S112进行到步骤S113，并且类分类自适应滤波器206确定是否从可逆解码单元202提供了滤波信息。
在步骤S113中，在确定未提供滤波信息的情况下，处理通过跳过步骤S114进行到步骤S115。
另外，在步骤S113中，在确定提供了滤波信息的情况下，处理进行到步骤S114，并且类分类自适应滤波器206的图像转换装置231(图24)获取来自可逆解码单元202的滤波信息，并且处理进行到步骤S115。
在步骤S115中，图像转换装置231确定是否是类抽头的抽头结构的更新时刻，即，例如是否是诸如多个帧、一帧和块的抽头结构更新单元的终点或起点的时刻。
此处，例如可以从其中布置(包括)滤波信息的编码数据的层(例如，序列参数集语法、图片参数集语法、切片数据语法等)中识别抽头结构更新单元。
例如，在滤波信息被布置为编码数据的图片参数集语法的情况下，抽头结构更新单元被识别为一帧。
在步骤S115中，在确定不是类抽头的抽头结构的更新时刻的情况下，则处理通过跳过步骤S116进行到步骤S117。
另外，在步骤S115中，在确定是类抽头的抽头结构的更新时刻的情况下，处理进行到步骤S116。
在步骤S116中，图像转换装置231根据紧接在其之前在步骤S114中获取的滤波信息，更新由抽头选择单元242(图24)配置的类抽头的抽头结构，以及在系数获取单元244(图24)中存储的用于类中的每一个的抽头系数，并且处理进行到步骤S117。
在步骤S117中，逆量化单元203对来自可逆解码单元202的量化系数执行逆量化，并且将作为其结果获得的变换系数提供给逆正交变换单元204，并且处理进行到步骤S118。
在步骤S118中，逆正交变换单元204对来自逆量化单元203的变换系数执行逆正交变换，并且将作为其结果获得的残差提供给运算单元205，并且处理进行到步骤S119。
在步骤S119中，帧内预测单元212或运动预测补偿单元213通过使用通过选择单元211从帧存储器210提供的参考图像和从可逆解码单元202提供的编码信息来执行生成预测图像的预测处理。然后，帧内预测单元212或运动预测补偿单元213将通过预测处理获得的预测图像提供给选择单元214，并且处理从步骤S119进行到步骤S120。
在步骤S120中，选择单元214选择从帧内预测单元212或运动预测补偿单元213提供的预测图像，并且将预测图像提供给运算单元205，并且处理进行到步骤S121。
在步骤S121中，运算单元205将来自逆正交变换单元204的残差与来自选择单元214的预测图像相加在一起，并且因此，生成解码期间的图像。然后，运算单元205将解码期间的图像提供给类分类自适应滤波器206或重新排序缓冲器207和帧存储器210，并且处理从步骤S121进行到步骤S122。
在解码期间的图像被从运算单元205提供给类分类自适应滤波器206的情况下，在步骤S122中，类分类自适应滤波器206对来自运算单元205的解码期间的图像执行作为ILF处理的类分类自适应处理。对解码期间的图像执行类分类自适应处理，并且因此，与编码装置11的情况一样，与通过ILF对解码期间的图像进行滤波的情况相比，获得接近原始图像的滤波后图像。
类分类自适应滤波器206将通过类分类自适应处理获得的滤波后图像提供给重新排序缓冲器207和帧存储器210，并且处理从步骤S122进行到步骤S123。
在步骤S123中，重新排序缓冲器207临时存储从运算单元205提供的解码期间的图像或从类分类自适应滤波器206提供的滤波后图像作为解码图像。此外，重新排序缓冲器207将存储的解码图像重新排序为显示顺序，并且将解码图像提供给D/A转换单元208，并且处理从步骤S123进行到步骤S124。
在步骤S124中，D/A转换单元208对来自重新排序缓冲器207的解码图像执行D/A转换，并且处理进行到步骤S125。D/A转换后的解码图像被输出到显示器(未示出)以进行显示。
在步骤S125中，帧存储器210存储从运算单元205提供的解码期间的图像或从类分类自适应滤波器206提供的滤波后图像作为解码图像，并且解码处理结束。在步骤S119的预测处理中将帧存储器210中存储的解码图像用作作为用于生成预测图像的源的参考图像。
图26是示出图25的步骤S122中执行的类分类自适应处理的示例的流程图。
在类分类自适应滤波器206的图像转换装置231(图24)中，在步骤S131中，抽头选择单元241在从运算单元205(图22)提供的解码期间的图像(作为解码期间的图像的块)的像素中选择尚未被设置为目标像素的像素之一作为目标像素，并且处理进行到步骤S132。
在步骤S132中，抽头选择单元241从自运算单元205提供的解码期间的图像中选择要作为关于目标像素的预测抽头的像素，并且配置预测抽头。然后，抽头选择单元241将预测抽头提供给预测运算单元245，并且处理从步骤S132进行到步骤S133。
在步骤S133中，抽头选择单元242根据在来自可逆解码单元202(图22)的滤波信息中包括的抽头结构信息，从自运算单元205提供的解码期间的图像中选择要作为关于目标像素的类抽头的像素，并且因此，配置由滤波信息中包括的抽头结构信息指示的最佳抽头结构的类抽头。然后，抽头选择单元242将类抽头提供给类分类单元243。
也就是说，根据紧接在其之前执行的图25的步骤S116中的类抽头的抽头结构的更新，对由抽头选择单元242配置的类抽头的抽头结构进行更新，并且抽头选择单元192配置更新之后的抽头结构的类抽头，并且将类抽头提供给类分类单元243。
此后，处理从步骤S133进行到步骤S134，并且类分类单元243通过使用关于目标像素的类抽头，以及根据需要通过使用关于目标像素的编码信息来执行目标像素的类分类。然后，类分类单元243将通过类分类获得的目标像素的类提供给系数获取单元244，并且处理从步骤S134进行到步骤S135。
系数获取单元244根据紧接在其之前执行的图25的步骤S116中的抽头系数的更新，存储从可逆解码单元202提供的滤波信息中包括的用于类中的每一个的抽头系数，即关于由抽头选择单元242配置的类抽头的最佳抽头结构的用于类中的每一个的抽头系数。在步骤S135中，系数获取单元244从关于存储的最佳抽头结构的用于类中的每一个的抽头系数中获取从类分类单元243提供的目标像素的类的抽头系数，并且将抽头系数提供给预测运算单元245，并且处理进行到步骤S136。
在步骤S136中，预测运算单元245通过使用来自抽头选择单元241的预测抽头和来自系数获取单元244的抽头系数执行作为滤波处理的表达式(1)中的预测运算。因此，预测运算单元245获得与目标像素对应的原始图像的对应像素的像素值的预测值作为滤波后图像的像素值，并且处理进行到步骤S137。
在步骤S137中，抽头选择单元241确定在来自运算单元205的解码期间的图像(作为解码期间的图像的块)的像素中是否存在尚未被设置为目标像素的像素。在步骤S137中，在确定存在尚未被设置为目标像素的像素的情况下，则处理返回到步骤S131，并且在下文中，将重复相同的处理。
另外，在步骤S137中，在确定不存在尚未被设置为目标像素的像素的情况下，处理进行到步骤S138，并且预测运算单元245将由针对来自运算单元205的解码期间的图像(作为解码期间的图像的块)获得的像素值配置的滤波后图像提供给重新排序缓冲器207和帧存储器210(图22)。然后，类分类自适应处理结束，并且处理进行到返回。
如上所述，在编码装置11和解码装置12中，通过类分类自适应处理来执行ILF处理，并且因此，与ILF处理结果相比，可以获得接近原始图像的滤波后图像。因此，可以大大提高解码图像的S/N。此外，可以获得接近原始图像的滤波后图像，并且因此，残差减小，并且即使在编码数据中包括抽头系数作为开销的情况下，特别地，也可以针对具有大数据量和被称为4k、8k等的高分辨率的原始图像大大提高压缩效率。
此外，在编码装置11和解码装置12中，在抽头结构更新单元是最小单元的时刻处，类抽头的抽头结构被更新为从多个抽头结构中选择的抽头结构。因此，更新类抽头的抽头结构以将目标像素分类成合适的类，并且因此，可以获得更接近原始图像的滤波后图像，并且因此，可以更加大大提高解码图像的S/N。
注意，在图9的编码装置11的第一配置示例中，通过类分类自适应处理执行ILF的所有处理，即DF、SAO和ALF，但是在类分类自适应处理中，不仅可以执行ILF的所有处理，而且可以执行DF、SAO和ALF中的一个或两个处理。这同样适用于图22的解码装置12的第一配置示例，以及下面描述的编码装置11和解码装置12的另一配置示例。
<抽头系数的减少>
图27是示出减少通过抽头系数学习获得的用于类中的每一个的抽头系数的减少方法的示例的图。
抽头系数变成编码数据的开销，并且因此，即使在获得其中滤波后图像是非常接近原始图像的图像的抽头系数的情况下，压缩效率的提高也由于抽头系数的数据量增加而受到阻碍。
因此，可以根据需要减少通过抽头系数学习获得的抽头系数(的数目)。
例如，如图27所示，在配置由目标像素和以目标像素为中心的与目标像素的上侧、下侧、右侧和左侧中的每一个相邻的两个像素的总共9个像素配置的十字型类抽头，并且执行根据一位ADRC处理的类分类的情况下，例如，最高有效位(目标像素的ADRC结果)相对于一个ADRC代码反转每个位，并且因此，类的数目可以从512＝29个类退化为256＝28个类。在使类退化之后的256个类中，与九个像素的类抽头的(1位ADRC处理的)ADRC代码按原样被设置为类代码的情况相比，抽头系数的数据量减少到1/2。
此外，使类退化使得具有在配置类抽头的十字型的九个像素中在上下方向、左右方向或倾斜方向上呈线对称位置关系的像素的相同ADRC结果的类属于一个类，并且因此，类的数目可以设置为100个类。在该情况下，100个类的抽头系数的数据量大约是256个类的抽头系数的数据量的39％。
此外，使类退化使得具有在配置类抽头的十字型的九个像素中呈点对称位置关系的像素的相同ADRC结果的类属于一个类，并且因此，类的数目可以设置为55个类。在该情况下，55个类的抽头系数的数据量大约是256个类的抽头系数的数据量的21％。
另外，例如，可以通过计算集成类的集成指数，以及通过基于集成指数将多个类集成到一个类中来使类退化。
例如，一个类C1的抽头系数中的每一个与另一类C2的抽头系数中的每一个之间的差的平方和等被定义为抽头系数之间的距离，并且系数之间的距离被用作集成指数，并且因此，可以通过作为集成指数的系数之间的距离将小于或等于阈值的类C1和C2集成到一个类C中。在对类进行集成的情况下，可以采用集成前的类C1的抽头系数或集成前的类C2的抽头系数作为集成后的类的抽头系数。另外，可以通过抽头系数学习再次获得集成后的类的抽头系数。
此外，例如，在使用RD成本作为集成指数，并且与一个类C1和另一个类C2被集成之前的RD成本的情况相比，类C1和类C2被集成之后的RD成本得到改善的情况下，类C1和类C2可以被集成到一个类C中。
注意，如上所述，在基于集成指数将多个类集成到一个类中的情况下，将集成后的类中的每一个的抽头系数作为滤波信息从编码装置11传送到解码装置12，但是还需要将指示集成前的类与集成后的类之间的对应关系的信息(能够在解码装置12侧识别对应关系的信息)作为滤波信息从编码装置11传送到解码装置12。
如上所述，除了使类退化之外，还可以通过减少抽头系数本身来执行抽头系数的减少。
也就是说，例如，在预测抽头和编码块由相同像素配置的情况下，可以基于块相位来减少抽头系数本身。
例如，如图27所示，在预测抽头和编码块由4 x 4像素配置的情况下，可以采用其中根据位置关系再次布置左上侧的2 x 2像素中的每一个的抽头系数的抽头系数作为预测抽头的左上侧的2 x 2像素的抽头系数、在左右方向上处于线对称位置关系的右上侧的2 x2像素的抽头系数、在上下方向上处于线对称位置关系的左下侧的2 x 2像素的抽头系数、以及处于点对称位置关系的右下侧的2 x 2像素的抽头系数。在该情况下，可以将关于配置预测抽头的4 x 4像素的16个抽头系数减少到关于左上侧的2 x 2像素的4个抽头系数。
另外，可以采用其中根据位置关系再次布置上半部的4 x 2像素中的每一个的抽头系数的抽头系数作为预测抽头的上半部的4 x 2像素的抽头系数和在上下方向上处于线对称位置关系的下半部的4 x 2像素的抽头系数。在该情况下，可以将关于配置预测抽头的4 x 4像素的16个抽头系数减少到关于上半部的4 x 2像素的8个抽头系数。
另外，采用相同的抽头系数作为在左右方向上处于线对称位置关系的预测抽头的像素的抽头系数或者在倾斜方向上处于线对称位置关系的像素的抽头系数，并且因此，可以减少抽头系数。
<编码装置11的第二配置示例>
图28是示出图1的编码装置11的第二配置示例的框图。
注意，在图中，对于与图9的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图28中，编码装置11包括A/D转换单元101至运算单元110、帧存储器112至速率控制单元117、以及类分类自适应滤波器311。
因此，图28的编码装置11与图9的编码装置11的共同之处在于，提供A/D转换单元101至运算单元110，以及帧存储器112至速率控制单元117。
此处，图28的编码装置11与图9的编码装置11的不同之处在于，提供类分类自适应滤波器311替代类分类自适应滤波器111。
与图9的类分类自适应滤波器111一样，类分类自适应滤波器311使用用作ILF即DF、SAO和ALF的全部的滤波器执行根据类分类自适应处理的ILF处理。
<类分类自适应滤波器311的配置示例>
图29是示出图28的类分类自适应滤波器311的配置示例的框图。
在图29中，类分类自适应滤波器311包括学习装置331、滤波信息生成单元332以及图像转换装置333。
从重新排序缓冲器102(图28)向学习装置331提供原始图像，并且从运算单元110(图28)向学习装置331提供解码期间的图像。此外，还向学习装置331提供编码信息。
学习装置331将解码期间的图像设置为学生数据、将原始图像设置为教师数据，以及执行获得用于类中的每一个的抽头系数的抽头系数学习。
此外，学习装置331将通过抽头系数学习获得的用于类中的每一个的抽头系数和选择用于获得类中的每一个的抽头系数的类抽头的抽头结构的选择规则提供给滤波信息生成单元332。
注意，在抽头系数学习中，学习装置331能够根据需要通过使用编码信息来执行类分类。
滤波信息生成单元332根据需要生成包括来自学习装置331的用于类中的每一个的抽头系数和选择规则的滤波信息，并且将滤波信息提供给图像转换装置333以及可逆编码单元106(图28)。
滤波信息被从滤波信息生成单元332提供给图像转换装置333，解码期间的图像被从运算单元110(图28)提供给图像转换装置333，并且编码信息被提供给图像转换装置333。
图像转换装置333例如将解码期间的图像设置为第一图像，并且根据使用来自滤波信息生成单元332的滤波信息中包括的用于类中的每一个的抽头系数的类分类自适应处理来执行图像转换，并且因此，将作为第一图像的解码期间的图像转换成作为与原始图像对应的第二图像的滤波后图像(生成滤波后的图像)，并且将滤波后图像提供给帧存储器112(图28)。
注意，在类分类自适应处理中，图像转换装置333能够根据需要通过使用编码信息来执行类分类。
为了大大提高滤波后图像的S/N以及防止压缩效率劣化，在图29的类分类自适应滤波器311中，学习装置331根据多个选择规则中的每一个从多个类抽头中选择类抽头的抽头结构，并且对多个选择规则中的每一个执行抽头系数学习，并且因此获得用于类中的每一个的抽头系数。
此外，学习装置331针对多个选择规则中的每一个，获得指示在类分类中使用根据选择规则选择的抽头结构的类抽头的适当性的抽头结构估计值，并且选择具有最优抽头结构估计值的选择规则作为最佳选择规则。
然后，学习装置331将最佳选择规则，以及关于作为根据最佳选择规则选择的抽头结构的最佳抽头结构的用于类中的每一个的抽头系数(通过使用最佳抽头结构的类抽头的抽头系数学习获得的用于类中的每一个的抽头系数)，提供给滤波信息生成单元332。
此处，例如，可以采用通过对作为学生数据的解码期间的结果图像执行使用关于根据选择规则中的每一个选择的抽头结构的用于类中的每一个的抽头系数的滤波处理(此处，例如，类分类自适应处理)而获得的与作为教师数据的原始图像对应的对应图像的S/N等作为关于多个选择规则中的每一个的抽头结构估计值。
另外，例如，可以采用通过采用使用关于根据选择规则中的每一个选择的抽头结构的用于类中的每一个的抽头系数等的滤波处理来对作为教师数据的原始图像进行编码的情况下的RD成本等作为关于多个选择规则中的每一个的抽头结构估计值。
选择规则是限定根据可以由解码装置12从来自编码装置11的编码数据获取的可获取信息来选择抽头结构的方法的规则。在选择规则中，例如，限定在何种可获取信息的何种情况下选择何种抽头结构。
可以采用具体地限定在何种可获取信息的的何种情况下选择何种抽头结构的规则本身作为由学习装置331提供给滤波信息生成单元332的选择规则。
另外，可以准备具体地限定在何种可获取信息的何种情况下选择何种抽头结构的多个规则，唯一ID可以被分配给多个规则中的每一个，并且可以采用ID作为由学习装置331提供给滤波信息生成单元332的选择规则。
在选择规则中，例如，可以根据预先确定的多个抽头结构中限定被选择为类抽头的抽头结构的抽头结构。
例如，可以采用从编码数据获得的解码期间的图像、编码信息等作为选择规则中定义的可获取信息。
滤波信息生成单元332根据需要生成包括来自学习装置331的用于类中的每一个的抽头系数和选择规则的滤波信息。
图10中描述的复制信息可以被包括在滤波信息中。
滤波信息包括复制信息而不包括用于类中的每一个的抽头系数和选择规则，并且因此，与包括类中的每一个的抽头系数和选择规则的情况相比，可以大大减少滤波信息的数据量，以及改善压缩效率。
另外，与图10中描述的情况一样，可以采用诸如多个帧、一帧、CU或块的任意图片序列作为用于更新类抽头的抽头结构(和抽头系数)的抽头结构更新单元。
然后，例如，滤波信息可以被包括在编码数据中，作为序列参数集语法、图片参数集语法或切片数据语法。
<可获取信息的示例>
图30是示出在类抽头的抽头结构的选择中使用的可获取信息的示例的图。
可以采用解码期间的图像的图像特征量或编码信息(包括可以从图像特征量或编码信息识别的信息)作为可获取信息。
也就是说，在解码期间的图像中，可以采用目标像素的整个图片(帧)的图像特征量、像素附近的局部图像特征量目标、目标像素的编码信息等作为类抽头的抽头结构的选择中使用的可获取信息。
例如，可以采用整个画面(整个图片)的活动性(例如，水平方向和竖直方向上的相邻像素的差绝对值总和的总和等)、整个画面的方向差绝对值总和(在诸如水平方向、竖直方向和倾斜方向的多个方向中的每一个方向上的相邻像素的差绝对值总和)、整个画面的帧间差绝对值总和(目标像素的帧与帧的前一帧之间的相同位置中的像素的差绝对值总和)等作为目标像素的整个图片的图像特征量。
根据整个画面的活动性，可以识别整个画面的频带(整个画面带)。
在整个画面带高的情况下，(假设)包括许多类似纹理的细节的场景被反映在目标像素的图片中，并且因此，可以通过密集地拉伸(由密集像素配置的)类抽头来适当地分类目标像素。因此，在选择规则中，在作为可获取信息的整个画面带为高的情况下，即在整个画面带大于或等于阈值的情况下，可以限定选择密集像素的抽头结构作为类抽头的抽头结构。特定阈值或抽头结构可以被包括在选择规则中。
在整个画面带为低的情况下，其中细节丢失并且边缘模糊的场景被反映在目标像素的图片中，并且因此，可以通过稀疏地拉伸(由稀疏像素配置的)类抽头来适当地分类目标像素。因此，在选择规则中，在作为可获取信息的整个画面带为低的情况下，即在整个画面带小于阈值的情况下，可以限定选择稀疏像素的抽头结构作为类抽头的抽头结构。
在包括水平方向、竖直方向和倾斜方向上的许多边缘的场景中，整个画面的方向差绝对值总和为大，并且根据整个画面的这样的方向差绝对值总和，可以识别目标像素的图片的主要结构，即存在于目标像素的图片中的主要边缘(结构线)。
类抽头在边缘的方向上以及在与边缘正交的方向上被拉伸(由边缘的方向和与边缘正交的方向上的像素配置)，并且因此，可以适当地分类目标像素。因此，在选择规则中，可以限定由作为可获取信息的图片中存在的主要边缘的方向以及与这样的边缘正交的方向中的一者或两者上的像素配置的抽头结构被选择为类抽头的抽头结构。即，在选择规则中，例如，可以限定由在水平方向、竖直方向和倾斜方向上使整个画面的方向差绝对值总和最大化的方向和与该方向正交的方向上的像素配置的抽头结构被选择为类抽头的抽头结构。
在相同图案在时间方向上连续的场景中，整个画面的帧间差绝对值总和为小，并且根据整个画面的帧间差绝对值总和，可以识别目标像素的图片的时间方向上的相互关系。
在目标像素的图片的时间方向上的相互关系为大的情况下，使用与作为类抽头的抽头结构的先前图片中使用的抽头结构相同的抽头结构作为类抽头的抽头结构(应用与之前相同的设置)，并且因此，与先前图像一样，可以适当地分类目标像素。因此，在选择规则中，在作为可获取信息的目标像素的图片的时间方向上的相互关系为大的情况下，(在相互关系大于或等于阈值的情况下)，可以限定选择与用于先前图片的抽头结构相同的抽头结构作为类抽头的抽头结构。
例如，可以采用目标像素附近的局部活动性、局部方向差绝对值总和、局部帧间差绝对值总和等作为目标像素附近的局部图像特征量。
根据局部活动性，可以识别目标像素附近的局部频带(局部带)。
与使用整个画面带的选择规则一样，在使用局部带的选择规则中，可以限定在局部带为高的情况下密集像素的抽头结构被选择为类抽头的抽头结构，以及在局部带为低的情况下稀疏像素的抽头结构被选择为类抽头的抽头结构。
根据局部方向差绝对值总和，可以识别目标像素附近的局部(主要)边缘。
与使用图片中存在的主要边缘的选择规则一样，在使用局部边缘的选择规则中，可以限定由局部边缘的方向和与这样的边缘正交的方向中的一者或两者上的像素配置的抽头结构被选择为类抽头的抽头结构。
根据局部帧间差绝对值总和，可以识别目标像素附近的时间方向上的局部相互关系。
与使用图片的时间方向上的相互关系的选择规则一样，在使用时间方向上的局部相互关系的选择规则中，在时间方向上的局部相互关系为大的情况下，可以限定与用于先前图片的抽头结构相同的抽头结构被选择为类抽头的抽头结构。
例如，可以在选择规则中使用目标像素的(块的)图片类型、运动向量(MV)、帧内预测的信息等作为目标像素的编码信息。
例如，在选择规则中，在目标像素的图片类型是P图片或B图片的情况下，可以限定与在P图片或B图片的帧间预测中参考的I图片中使用的抽头结构相同的抽头结构被选择为类抽头的抽头结构(应用与之前相同的设置)。
在相同图案在时间方向上连续的场景中，与在P图片或B图片的帧间预测中参考的I图片中使用的抽头结构相同的抽头结构被选择为类抽头的抽头结构，并且因此，可以防止压缩效率劣化，以及适当地分类目标像素。
另外，例如，在选择规则中，限定根据目标像素的运动矢量将其中(假设)与在反映与在目标像素中反映的对象相同的对象的先前图片的像素中使用的抽头结构相同的抽头结构选择为类抽头的抽头结构(应用与之前相同的设置)。
在相同对象在时间方向上连续存在的场景中，选择与在其中反映与目标像素中反映的对象相同的对象的先前图片的像素中使用的抽头结构相同的抽头结构作为类抽头的抽头结构，并且因此，可以防止压缩效率劣化，以及适当地对目标像素进行分类。
此外，例如，在选择规则中，可以限定根据从帧内预测的信息获得的目标像素附近的局部(主要)边缘的方向将由边缘的方向和与边缘正交的方向上的像素配置的抽头结构选择为类抽头的抽头结构。
此处，例如，在AVC或HEVC中，针对每个块将指示存在在帧内预测中使用的像素的方向的方向信息作为帧内预测的信息传送。可以通过执行方向信息的统计处理等来获取目标像素附近的局部边缘的方向(空间方向信息)。
注意，在以上所述的整个画面的方向差绝对值总和或局部方向差绝对值总和中，可以识别边缘的方向，但是需要通过执行使用像素值的像素级处理来获得方向差绝对值总和。相比之下，根据作为帧内预测的信息的方向信息，可以在不执行像素级处理的情况下获取(识别)边缘的方向。
<学习装置331的配置示例>
图31是图29的学习装置331的配置示例的框图。
注意，在图中，将对与图11的学习装置131对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图31中，学习装置331包括学习单元152、抽头结构选择单元351、存储单元353、估计值计算单元354和选择单元355。
因此，学习装置331与图11的学习装置131的共同之处在于，提供学习单元152。
此处，学习装置331与图11的学习装置131的不同之处在于，提供抽头结构选择单元351、存储单元353、估计值计算单元354和选择单元355来替代抽头结构选择单元151、存储单元153、估计值计算单元154和选择单元155。
抽头结构选择单元351例如存储预先确定的多个选择规则的候选(的信息)，并且依次选择多个选择规则的候选作为目标选择规则。然后，抽头结构选择单元351将指示目标选择规则的选择规则提供给存储单元353。
另外，作为学生数据的解码期间的图像和编码信息被提供给抽头结构选择单元351。
抽头结构选择单元351通过使用解码期间的图像和编码信息中的一者或两者作为可获取信息、根据目标选择规则来从预先确定的多个抽头结构中选择一个抽头结构作为目标抽头结构。然后，抽头结构选择单元351将指示目标抽头结构的抽头结构信息提供给学习单元152(的抽头选择单元162)。
在学习单元152中，如图11所述，执行使用由来自抽头结构选择单元351的抽头结构信息指示的目标抽头结构的类抽头的抽头系数学习，并且获得用于类中的每一个的抽头系数。
因此，在图31中，在学习单元152中，针对根据抽头结构选择单元351中存储的多个选择规则选择的抽头结构中的每一个执行抽头系数学习，并且获得用于类中的每一个的抽头系数。
然后，通过在学习单元152中针对多个选择规则中的每一个执行抽头系数学习而获得的用于类中的每一个的抽头系数被提供给存储单元353。
存储单元353彼此相关联地存储从抽头结构选择单元351提供的被选择为目标选择规则的选择规则，以及从学习单元152提供的关于目标选择规则的用于类中的每一个的抽头系数。
估计值计算单元354针对在抽头结构选择单元351中存储的多个选择规则获得指示在类分类中使用根据选择规则选择的抽头结构的类抽头的适当性的抽头结构估计值，并且将抽头结构估计值提供给选择单元355。
与提供给学习单元152的解码期间的图像相同的作为学生数据的解码期间的图像、作为教师数据的原始图像以及编码信息被提供给估计值计算单元354。
估计值计算单元354包括计算单元172和图像转换单元371。
因此，估计值计算单元354具有与图11的估计值计算单元154的配置相同的配置，相同之处在于，提供了计算单元172。
此处，估计值计算单元354与图11的估计值计算单元154的不同之处在于，提供图像转换单元371替代图像转换单元171。
图像转换单元371将提供给估计值计算单元354的解码期间的图像设置为第一图像，并且执行类分类自适应处理，并且因此，将作为第一图像的解码期间的图像转换为与作为第二图像的原始图像对应的对应图像，并且将图像提供给计算单元172。
也就是说，图像转换单元371通过使用选择规则以及与选择规则相关联的用于类中的每一个的抽头系数来对存储单元353中存储的多个选择规则中的每一个执行类分类自适应处理。
具体地，图像转换单元371通过使用解码期间的图像或编码信息、根据选择规则来针对存储单元353中存储的多个选择规则中的每一个选择类抽头的抽头结构。此外，图像转换单元371配置根据选择规则选择的抽头结构的类抽头，并且执行用于执行使用与选择规则相关联的用于类中的每一个的抽头系数的滤波处理(此处，例如，表达式(1)中的预测运算)的类分类自适应处理。
然后，图像转换单元371将针对多个选择规则中的每一个获得的对应图像提供给计算单元172。
在计算单元172中，如图11所述，针对来自图像转换单元371的多个选择规则中的每一个、通过使用通过使用根据选择规则选择的抽头结构的类抽头而获得的对应图像和作为教师数据的原始图像获得抽头结构估计值，并且该抽头结构估计值被提供给选择单元355。
选择单元355从存储单元353中存储的选择规则中选择具有从估计值计算单元354(的计算单元172)提供的最优抽头结构估计值的选择规则作为最佳选择规则。此外，选择单元355从存储单元353中存储的用于类中的每一个的抽头系数中选择与最佳选择规则相关联的用于类中的每一个的抽头系数。
然后，选择单元355将最佳选择规则和与最佳选择规则相关联的用于类中的每一个的抽头系数提供给滤波信息生成单元332。
注意，在学习装置331中，例如，可以以与图29描述的抽头结构更新单元相同的单元(某时刻)执行获得最佳选择规则和与最佳选择规则相关联的用于类中的每一个的抽头系数的处理。
图32是示出图31的图像转换单元371的配置示例的框图。
注意，在图中，将对与图17的图像转换单元171对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图32中，图像转换单元371包括抽头选择单元181至预测运算单元185，以及抽头结构选择单元381。
因此，图像转换单元371与图17的图像转换装置171的共同之处在于，提供了抽头选择单元181至预测运算单元185。
此处，图像转换装置371与图17的图像转换装置171的不同之处在于，新提供了抽头结构选择单元381。
与提供给学习单元152(图31)相同的作为学生数据的解码期间的图像和编码信息被提供给图像转换单元371。在图像转换单元371中，通过使用作为学生数据的解码期间的图像，以及根据需要通过使用编码信息来执行类分类自适应处理，并且获得与作为教师数据的原始图像对应的对应图像。
此处，在图像转换单元371中，在存储单元353(图31)中存储的选择规则和与选择规则相关联的用于类中的每一个的抽头系数分别被提供给抽头选择单元381和系数获取单元184。
与图31的抽头结构选择单元351一样，抽头结构选择单元381通过使用解码期间的图像和编码信息中的一者或两者作为可获取信息、根据来自存储单元353的选择规则来选择类抽头的抽头结构，并且将指示抽头结构的抽头结构信息提供给抽头选择单元182。
抽头选择单元182配置指示来自抽头结构选择单元381的抽头结构信息的抽头结构的类抽头。
系数获取单元184存储来自存储单元353(图31)的用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元185。
<学习装置331的处理>
图33是示出图31的学习装置331的处理的示例的流程图。
在步骤S211中，抽头结构选择单元351在预先确定的多个选择规则的候选中选择尚未被设置为目标选择规则的选择规则的候选之一作为目标选择规则。然后，抽头选择单元351将指示目标选择规则的选择规则提供(输出)到存储单元353，并且处理从步骤S211进行到步骤S212。
在步骤S212中，例如，抽头结构选择单元351通过使用解码期间的图像和编码信息中的一者或两者作为可获取信息、根据目标选择规则来从预先确定的多个抽头结构中选择一个抽头结构作为目标抽头结构。然后，抽头结构选择单元351将指示目标抽头结构的抽头结构信息提供(输出)到学习单元152的抽头选择单元162，并且处理从步骤S212进行到步骤S213。
在步骤S213中，学习单元152通过使用作为学生数据的解码期间的图像和作为教师数据的原始图像，以及根据需要通过使用编码信息来执行抽头系数学习，并且获得用于类中的每一个的抽头系数。
在学习单元152的抽头系数学习中，通过使用根据从抽头结构选择单元351提供给抽头选择单元162的目标选择规则而选择的抽头结构的类抽头来执行类分类，获得通过这样的类分类获得的关于类的抽头系数。
学习单元152将通过使用根据目标选择规则选择的抽头结构的类抽头的类分类获得的关于类的用于类中的每一个的抽头系数提供给存储单元353，并且处理从步骤S213进行到步骤S214。
在步骤S214中，存储单元353彼此相关联地存储来自抽头结构选择单元351的目标选择规则，以及来自学习单元152的通过使用根据目标选择规则选择的抽头结构的类抽头的类分类获得的用于类中的每一个的抽头系数，并且处理进行到步骤S215。
在步骤S215中，抽头结构选择单元351确定在预先确定的多个选择规则的候选中是否存在尚未被设置为目标选择规则的选择规则的候选。
在步骤S215中，在确定在预先确定的多个选择规则的候选中存在尚未被设置为目标选择规则的选择规则的候选的情况下，处理返回到步骤S211，并且在下文中，将重复相同的处理。
另外，在步骤S215中，在确定在预先确定的多个选择规则的候选中不存在尚未被设置为目标选择规则的选择规则的候选的情况下，即，在针对预先确定的多个选择规则(的候选)中的每一个，将通过将选择规则和通过使用根据选择规则选择的抽头结构的类抽头的类分类获得的用于类中的每一个的抽头系数彼此相关联地存储在存储单元353中的情况下，处理进行到步骤S216。
在步骤S216中，在估计值计算单元354中，针对存储单元353中存储的多个选择规则中的每一个(在抽头结构选择单元351中存储的多个选择规则(的候选)，图像转换单元371通过使用选择规则以及与选择规则相关联的用于类中的每一个的抽头系数来对作为学生数据的解码期间的图像执行类分类自适应处理，并且获得与作为教师数据的原始图像对应的对应图像。
此外，在估计值计算单元354中，计算单元172针对多个选择规则中的每一个获得与通过使用与选择规则相关联的用于类中的每一个的抽头系数而获得的对应图像的S/N对应的值等作为抽头结构估计值，并且将该值等提供给选择单元355。
然后，处理从步骤S216进行到步骤S217，并且选择单元355从存储单元353中存储的选择规则中选择具有从估计值计算单元354的计算单元172提供的最优抽头结构估计值的选择规则作为最佳选择规则。此外，选择单元355从存储单元353中存储的用于类中的每一个的抽头系数中选择与最佳选择规则相关联的用于类中的每一个的抽头系数。
选择单元355将最佳选择规则和与最佳选择规则相关联的用于类中的每一个的抽头系数提供给滤波信息生成单元332，并且结束处理。
<图像转换装置333的配置示例>
图34是示出图29的图像转换装置333的配置示例的框图。
注意，在图中，对于与图19的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图34中，图像转换装置333包括抽头选择单元191至预测运算单元195，以及抽头结构选择单元391。
因此，图像转换装置333与图19的图像转换装置133的共同之处在于，提供了抽头选择单元191至预测运算单元195。
此处，图像转换装置333与图19的图像转换装置133的不同之处在于，新提供了抽头结构选择单元391。
作为第一图像的解码期间的图像和编码信息被提供给图像转换装置333。在图像转换装置333中，通过使用作为第一图像的解码期间的图像，以及根据需要通过使用编码信息来执行与图32的图像转换单元371的类分类自适应处理相同的类分类自适应处理，并且获得作为与原始图像对应第二图像的滤波后图像。
此处，在图像转换装置333中，滤波信息被从滤波信息生成单元332(图29)提供给抽头结构选择单元391和系数获取单元194。
与图31的抽头结构选择单元351或图32的抽头结构选择单元381一样，抽头结构选择单元391通过使用解码期间的图像和编码信息中的一者或两者作为可获取信息、根据来自滤波信息生成单元332的滤波信息中包括的选择规则(最佳选择规则)来选择类抽头的抽头结构，并且将指示抽头结构的抽头结构信息提供给抽头选择单元192。
抽头选择单元192配置由来自抽头结构选择单元391的抽头结构信息指示的抽头结构的类抽头，即，根据最佳选择规则选择的抽头结构的类抽头。
系数获取单元194存储来自滤波信息生成单元332的滤波信息中包括的用于类中的每一个的抽头系数，从用于类中的每一个的抽头系数中获取目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元195。
注意，如图29所述，复制信息可以被包括在从滤波信息生成单元332提供给图像转换装置333的滤波信息中。
在从滤波信息生成单元332提供给图像转换装置333的最新滤波信息中包括的复制信息不指示复制模式(此处，与更新前一时刻的选择规则和抽头系数时的选择规则和用于类中的每一个的抽头系数相同的选择规则和用于类中的每一个的抽头系数用作选择规则和用于类中的每一个的抽头系数)的情况下，抽头选择单元192采用根据最新滤波信息中包括的选择规则选择的抽头结构作为类抽头的抽头结构，而不是根据从滤波信息生成单元332提供给图像转换装置333的先前滤波信息中包括的选择规则选择的抽头结构。
此外，系数获取单元194以对先前滤波信息中包括的用于类中的每一个的抽头系数进行重写的格式存储最新滤波信息中包括的用于类中的每一个的抽头系数。
另一方面，在最新滤波信息中包括的复制信息指示复制模式的情况下，抽头选择单元192按原样采用根据先前滤波信息中包括的选择规则选择的抽头结构作为类抽头的抽头结构。
此外，系数获取单元194维持对先前滤波信息中包括的用于类中的每一个的抽头系数的存储。
如上所述，在最新滤波信息中包括的复制信息指示复制模式的情况下，维持类抽头的前一时刻的抽头结构和用于类中的每一个的抽头系数。
<编码处理>
图35是示出图28的编码装置11的编码处理的示例的流程图。
在编码装置11中，与图10的学习装置131一样，类分类自适应滤波器311的学习装置331(图29)例如在向其提供的解码期间的图像中将在诸如多个帧、一帧和块的抽头结构更新单元中的解码期间的图像设置为学生数据，将与解码期间的图像对应的原始图像设置为教师数据，并且连续地执行抽头系数学习。然后，在步骤S231中，与图20的步骤S31一样，学习装置331确定是否是类抽头的抽头结构的更新时刻。
在步骤S231中，在确定不是类抽头的抽头结构的更新时刻的情况下，处理通过跳过步骤S232至S234进行到步骤S235。
另外，在步骤S231中，在确定是类抽头的抽头结构的更新时刻的情况下，处理进行到步骤S232。
在步骤S232中，滤波信息生成单元332(图29)生成包括最新选择规则和由学习装置331根据抽头系数学习生成的用于类中的每一个的抽头系数(或复制信息)的滤波信息，即，最佳选择规则以及与最佳选择规则相关联的用于类中的每一个的抽头系数，并且将该信息提供给图像转换装置333(图29)和可逆编码单元106(图28)，并且处理进行到步骤S233。
在步骤S233中，图像转换装置333根据来自滤波信息生成单元332的滤波信息更新用于抽头结构选择单元391的选择规则以及在系数获取单元194中存储的用于类中的每一个的抽头系数，并且处理进行到步骤S234。
在步骤S234中，可逆编码单元106将从滤波信息生成单元332提供的滤波信息设置为传输目标，并且处理进行到步骤S235。在下面描述的步骤S248中，通过将被设置为传输目标的滤波信息包括在编码数据中来传送滤波信息。
注意，与图20的步骤S32至S34一样，在原始图像的时间方向上的相互关系为低的情况下，可以在更新时刻处执行步骤S322至S324的处理。
在步骤S235至S250中，执行与图20的步骤S35至S50中的每一个相同的原始图像的预测编码处理。
此处，在步骤S246的类分类自适应处理中，根据由滤波信息生成单元332生成的滤波信息中包括的选择规则(最佳选择规则)来选择类抽头的抽头结构。另外，通过使用由滤波信息生成单元332生成的滤波信息中包括的用于类中的每一个的抽头系数来执行步骤S246的类分类自适应处理。
另外，在步骤S248中，与图20的步骤S48一样，可逆编码单元106对量化系数、编码信息和滤波信息进行编码，并且选择规则和用于类中的每一个的抽头系数被包括在滤波信息中。
因此，作为滤波信息的量化系数、编码信息和选择规则以及用于类中的每一个的抽头系数被包括在由可逆编码单元106获得的编码数据中。然后，在步骤S249中，如图20的步骤S49所述，适当地从累积缓冲器107读出并且传送这样的编码数据。
图36是示出图35的步骤S246中执行的类分类自适应处理的示例的流程图。
在类分类自适应滤波器311的图像转换装置333(图34)中，在步骤S261中，与图21的步骤S61一样，抽头选择单元191从自运算单元110提供的解码期间的图像中选择目标像素，并且处理进行到步骤S262。
在步骤S262中，与图21的步骤S62一样，抽头选择单元191从提供给运算单元110的解码期间的图像中选择要作为关于目标像素的预测抽头的像素，并且配置预测抽头。然后，抽头选择单元191将预测抽头提供给预测运算单元195，并且处理进行到步骤S263。
在步骤S263中，抽头结构选择单元391通过使用从运算单元110提供的解码期间的图像等、根据来自滤波信息生成单元332(图29)的滤波信息中包括的选择规则选择类抽头的抽头结构，将指示抽头结构的抽头结构信息输出至抽头选择单元192，并且处理进行到步骤S264。
在步骤S264中，抽头选择单元192根据来自抽头结构选择单元391的抽头结构信息来配置指示抽头结构信息的抽头结构的类抽头。然后，抽头选择单元192将类抽头提供给类分类单元193。
也就是说，在紧接在其之前执行的图35的步骤S233中更新在抽头结构选择单元391中使用的选择规则，并且在抽头选择单元192中，根据更新后的选择规则选择的抽头结构的类抽头被配置，并且被提供给类分类单元193。
此后，处理从步骤S264进行到步骤S265，并且类分类单元193通过使用关于目标像素的类抽头，以及根据需要通过使用关于目标像素的编码信息来执行目标像素的类分类。然后，类分类单元193将通过类分类获得的目标像素的类提供给系数获取单元194，并且处理从步骤S265进行到步骤S266。
系数获取单元194根据紧接在其之前执行的图35的步骤S233中的抽头系数的更新来存储从滤波信息生成单元332提供的滤波信息中包括的用于类中的每一个的抽头系数，即与选择由抽头选择单元192配置的类抽头的抽头结构的选择规则相关联的用于类中的每一个的抽头系数。在步骤S266中，系数获取单元194从所存储的用于类中的每一个的抽头系数中获取从类分类单元193提供的目标像素的类的抽头系数，并且将抽头系数提供给预测运算单元195，并且处理进行到步骤S267。
在步骤S267至S269中，执行与图21的步骤S66至S68中的每一个相同的处理，并且处理进行到返回。
<解码装置12的第二配置示例>
图37是示出图1的解码装置12的第二配置示例的框图。
注意，在图中，对于与图22的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图37中，解码装置12包括累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、运算单元205、重新排序缓冲器207、D/A转换单元208、帧存储器210、选择单元211、帧内预测单元212、运动预测补偿单元213以及选择单元214。此外，解码装置12包括类分类自适应滤波器401。
因此，图37的解码装置12与图22的解码装置12的共同之处在于，提供了累积缓冲器201至运算单元205、重新排序缓冲器207、D/A转换单元208以及帧存储器210至选择单元214。
此处，图37的解码装置12与图22的解码装置12的不同之处在于，提供类分类自适应滤波器401替代类分类自适应滤波器206。
与类分类自适应滤波器206一样，类分类自适应滤波器401利用用作ILF即DF、SAO和ALF的全部的滤波器来执行根据类分类自适应处理的ILF处理。
也就是说，类分类自适应滤波器401将来自运算单元205的解码期间的图像设置为第一图像，并且根据需要通过使用来自可逆解码单元202的编码信息来对来自可逆解码单元202的滤波信息中包括的用于类中的每一个的抽头系数执行类分类自适应处理(根据类分类自适应处理的图像转换)，并且因此，将作为第一图像的解码期间的图像转换为作为与原始图像对应的第二图像的滤波后图像(生成滤波后图像)以进行输出。
注意，在类分类自适应处理中，类分类自适应滤波器401通过使用来自运算单元205的解码期间的图像作为可获取信息，或者使用来自可逆解码单元202的编码信息、根据来自可逆解码单元202的滤波信息中包括的选择规则选择在类分类中使用的类抽头的抽头结构。
<类分类自适应滤波器401的配置示例>
图38是示出图37的类分类自适应滤波器401的配置示例的框图。
在图38中，类分类自适应滤波器401包括图像转换装置431。
解码期间的图像被从运算单元205(图37)提供给图像转换装置431，并且滤波信息和编码信息被从可逆解码单元202提供给图像转换装置431。
与图29的图像转换装置333一样，图像转换装置431将解码期间的图像设置为第一图像、执行使用根据滤波信息中包括的选择规则选择的抽头结构的类抽头的类分类，以及执行根据类分类自适应处理的图像转换(执行作为使用滤波信息中包括的用于类中的每一个的抽头系数的滤波处理的预测处理)，并且因此，将作为第一图像的解码期间的图像转换成作为与原始图像对应的第二图像的滤波后图像(生成滤波后图像)，并且将图像提供给重新排序缓冲器207和帧存储器210(图37)。
注意，与图29的图像转换装置333一样，在类分类自适应处理中，图像转换装置431根据需要通过使用编码信息来执行类分类。
<图像转换装置431的配置示例>
图39是示出图38的图像转换装置431的配置示例的框图。
注意，在图中，对与图24的转换装置231的部分对应的部分应用相同的附图标记，并且在下文中，将适当地省略其描述。
在图39中，图像转换装置431包括抽头选择单元241至预测运算单元245，以及抽头结构选择单元451。
因此，图像转换装置431与图24的图像转换装置231的共同之处在于，提供了抽头选择单元241至预测运算单元245。
此处，图像转换装置431与图24的图像转换装置231的不同之处在于，新提供了抽头结构选择单元451。
将作为第一图像的解码期间的图像和编码信息从可逆解码单元202(图37)提供至图像转换装置431。在图像转换单元431中，通过使用作为第一图像的解码期间的图像，以及根据需要通过使用编码信息来执行与图34的图像转换装置333的类分类自适应处理相同的类分类自适应处理，并且获得作为与原始图像对应的第二图像的滤波后图像。
也就是说，在图像转换装置431中，滤波信息被从可逆解码单元202(图37)提供给抽头结构选择单元451和系数获取单元244。
与图34的抽头结构选择单元391一样，抽头结构选择单元451通过使用解码期间的图像和编码信息中的一者或两者作为可获取信息、根据来自可逆解码单元202的滤波信息中包括的选择规则(最佳选择规则)来选择类抽头的抽头结构，并且将指示抽头结构的抽头结构信息提供给抽头选择单元242。
抽头选择单元242配置由来自抽头结构选择单元451的抽头结构信息指示的抽头结构的类抽头，即，根据最佳选择规则选择的抽头结构的类抽头。
系数获取单元244存储来自可逆解码单元202的滤波信息中包括的用于类中的每一个的抽头系数、从用于类中的每一个的抽头系数中获取目标像素的类的抽头系数，以及将抽头系数提供给预测运算单元195。
注意，如图29所示，复制信息可以被包括在从可逆解码单元202提供给图像转换装置431的滤波信息中，而不是用于类中的每一个的抽头系数和选择规则，或与用于类中的每一个的抽头系数和选择规则一起被包括在滤波信息中。
在从可逆解码单元202提供给图像转换装置431的最新滤波信息中包括的复制信息不指示复制模式的情况下，抽头选择单元242采用根据最新滤波信息中包括的选择规则选择的抽头结构作为类抽头的抽头结构，而不是根据从可逆解码单位202提供给图像转换装置431的先前滤波信息中包括的选择规则选择的抽头结构。
此外，系数获取单元244以对先前滤波信息中包括的用于类中的每一个的抽头系数进行重写的格式存储最新滤波信息中包括的用于类中的每一个的抽头系数。
另一方面，在最新滤波信息中包括的复制信息指示复制模式的情况下，抽头选择单元242按原样采用先前滤波信息中包括的抽头结构作为类抽头的抽头结构。
此外，系数获取单元244按原样维持对先前滤波信息中包括的用于类中的每一个的抽头系数的存储。
<解码处理>
图40是示出图37的解码装置12的解码处理的示例的流程图。
在步骤S311至S315中，执行与图25的步骤S111至S115中的每一个相同的处理。
然后，在步骤S315中，在确定不是类抽头的抽头结构的更新时刻的情况下，处理通过跳过步骤S316进行到步骤S317。
另外，在步骤S315中，在确定是类抽头的抽头结构的更新时刻的情况下，处理进行到步骤S316。
在步骤S316中，图像转换装置431根据紧接在其之前的步骤S314中获取的滤波信息，更新用于抽头结构选择单元451的选择规则以及在系数获取单元244中存储的用于类中的每一个的抽头系数，并且处理进行到步骤S317。
在步骤S317至S325中，执行与图25的步骤S117至S125中的每一个相同的处理。
此处，在步骤S322的类分类自适应处理中，根据从可逆解码单元202提供的滤波信息中包括的选择规则(最佳选择规则)来选择类抽头的抽头结构。另外，通过使用从可逆解码单元202提供的滤波信息中包括的用于类中的每一个的抽头系数来执行步骤S322的类分类自适应处理。
图41是示出图40的步骤S322中执行的类分类自适应处理的示例的流程图。
在类分类自适应滤波器401的图像转换装置431(图39)中，在步骤S331中，与图26的S131一样，抽头选择单元241从自运算单元205(图37)提供的解码期间的图像(作为解码期间的图像的块)的像素中选择目标像素，并且处理进行到步骤S332。
在步骤S332中，与图26的步骤S132一样，抽头选择单元241从自运算单元205提供的解码期间的图像中选择要作为关于目标像素的预测抽头的像素，并且配置预测抽头。然后，抽头选择单元241将预测抽头提供给预测运算单元245，并且处理从步骤S332进行到步骤S333。
在步骤S333中，抽头结构选择单元451通过使用从运算单元205提供的解码期间的图像等、根据来自可逆解码单元202(图37)的滤波信息中包括的选择规则来选择类抽头的抽头结构。此外，抽头结构选择单元451将指示根据选择规则选择的类抽头的抽头结构的抽头结构信息输出至抽头选择单元242，并且处理进行到步骤S334。
在步骤S334中，抽头选择单元242从自运算单元205提供的解码期间的图像中选择要作为关于目标像素的类抽头的像素，并且因此，配置由来自抽头结构选择单元451的抽头结构信息指示的抽头结构的类抽头。然后，抽头选择单元242将类抽头提供给类分类单元243。
也就是说，在紧接在其之前执行的图40的步骤S316中更新在抽头结构选择单元451中使用的选择规则，并且在抽头选择单元242中，根据更新后的选择规则选择的抽头结构的类抽头被配置，并且被提供给类分类单元243。
此后，处理从步骤S334进行到步骤S335，并且类分类单元243通过使用关于目标像素的类抽头，以及根据需要通过使用关于目标像素的编码信息来执行目标像素的类分类。然后，类分类单元243将通过类分类获得的目标像素的类提供给系数获取单元244，并且处理从步骤S335进行到步骤S336。
系数获取单元244根据紧接在其之前执行的图40的步骤S316中的抽头系数的更新来存储从可逆解码单元202(图37)提供的滤波信息中包括的用于类中的每一个的抽头系数。在步骤S336中，系数获取单元244从存储的用于类中的每一个的抽头系数中获取从类分类单元243提供的目标像素的类的抽头系数，并且将抽头系数提供给预测运算单元245，并且处理进行到步骤S337。
在步骤S337至S339中，执行与图26的步骤S136至S138中的每一个相同的处理，并且处理进行到返回。
此处，在图9的编码装置11和图22的解码装置12的第一配置示例中，根据抽头结构信息控制类抽头的抽头结构使得抽头结构是由抽头结构信息指示的抽头结构。
如上所述，在编码装置11和解码装置12中，根据抽头结构信息，将控制类抽头的抽头结构使得抽头结构是由抽头结构信息指示的抽头结构的抽头结构的控制模式设置为模式1。
另处，在图28的编码装置11和图37的解码装置12的第二配置示例中，根据选择规则控制类抽头的抽头结构使得抽头结构是通过使用可获取信息选择的抽头结构。
如上所述，在编码装置11和解码装置12中，根据选择规则，将控制类抽头的抽头结构使得抽头结构是通过使用可获取信息选择的抽头结构的抽头结构的控制模式设置为模式2。
指示控制模式的模式信息(例如，一位的标志等)可以被包括在滤波信息中。此外，在编码装置11中，控制模式可以适当地从模式1和2中的一个切换至另一个，并且在解码装置12中，可以根据滤波信息中包括的控制模式来切换控制模式。
另外，在以上所述的模式2中，在多个选择规则中具有最优抽头结构估计值的选择规则被包括在滤波信息中作为最佳选择规则，并且被从编码装置11传送至解码装置12，但是可以根据预先确定的规则来确定编码装置11和解码装置12中使用的选择规则。在该情况下，在编码装置11和解码装置12中，通过使用可获取信息，根据预先确定的选择规则来选择类抽头的抽头结构。在该情况下，通过将选择规则包括在滤波信息中来传送选择规则是不必要的。
另外，在模式2中，在预先确定选择规则的情况下，可以通过使用可获取信息、根据选择规则来选择抽头结构，并且可以将用于更新类抽头的抽头结构的时刻固定到预先确定的时刻。在该情况下，在编码装置11和解码装置12中，预先共享抽头系数是足够的，并且然后，根据预先确定的固定选择规则、在预先确定的固定时刻处更新类抽头的抽头结构，并且因此，不必将滤波信息从编码装置11传送至解码装置12。
注意，在编码装置11中，在传送滤波信息的情况下，解码装置12能够在接收到滤波信息时识别类抽头的抽头结构的更新时刻。在该情况下，滤波信息用作通知类抽头的抽头结构的更新时刻的信息。在未从编码装置11向解码装置12通知更新时刻的情况下，不必在固定时刻处预先确定更新时刻。
另外，在以上描述中，采用使用目标像素的类的抽头系数的表达式(1)中的预测运算作为与通过执行目标像素的类分类获得的目标像素的类对应的滤波处理，但是可以采用除了表达式(1)中的预测运算之外的任意滤波处理作为与目标像素的类对应的滤波处理。即，可以在类中的每一个中准备与能够通过类分类进行分类的每个类对应的滤波器，并且可以执行根据与目标像素的类对应的滤波器的滤波作为与目标像素的类对应的滤波处理。
注意，在该实施方式中，为了简化描述，抽头系数本身被包括在从编码装置11提供给解码装置12的滤波信息中，但是可以将类型系数和参数z包括在滤波信息中，来替代抽头系数本身。可以从类型系数和参数z获得抽头系数，并且因此，类型系数和参数z是与抽头系数等效的信息，并且本文中，除了抽头系数本身之外，类型系数和参数z被作为滤波信息包括在抽头系数中。在采用类型系数和参数z作为抽头系数的情况下，例如，可以采用可获取信息作为参数z。
<针对多视图图像编码或解码系统的应用>
以上所述的处理的集合可以应用于多视图图像编码或解码系统。
图42是示出多视图图像编码系统的示例的图。
如图42所示，多视图图像包括多个视点(视图)的图像。多视图图像的多个视图包括通过仅使用自己视图的图像而不使用其他视图的信息来执行编码和解码的基本视图，以及通过使用其他视图的信息来执行编码和解码的非基本视图。非基本视图的编码和解码可以通过使用基本视图的信息来执行，或者可以通过使用非基本视图的信息来执行。
在如图42的示例所示对多视图图像进行编码和解码的情况下，针对视点中的每一个对多视图图像进行编码。然后，在对如上所述获得的编码数据进行解码的情况下，分别对视点中的每一个的编码数据项进行解码(即，针对视点中的每一个)。上述实施方式中描述的方法可以应用于视点中的每一个的编码和解码。因此，可以大大提高S/N和压缩效率。即，类似地，也可以在多视图图像中大大提高S/N和压缩效率。
<多视图图像编码或解码系统>
图43是示出执行所述的多视图图像编码和解码的多视图图像编码或解码系统的多视图图像编码装置的图。
如图43所示，多视图图像编码装置1000包括编码单元1001、编码单元1002和复用单元1003。
编码单元1001对基本视图图像进行编码，并且生成基本视图图像编码流。编码单元1002对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用单元1003对在编码单元1001中生成的基本视图图像编码流和在编码单元1002中生成的非基本视图图像编码流执行复用，并且生成多视图图像编码流。
图44是示出执行以上所述的多视图图像解码的多视图图像解码装置的图。
如图44所示，多视图图像解码装置1010包括逆复用单元1011、解码单元1012和解码单元1013。
逆复用单元1011对通过对基本视图图像编码流和非基本视图图像编码流执行复用而获得的多视图图像编码流执行逆复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元1012对由逆复用单元1011提取的基本视图图像编码流进行解码，以及获得基本视图图像。解码单元1013对由逆复用单元1011提取的非基本视图图像编码流进行解码，以及获得非基本视图图像。
例如，在这样的多视图图像编码或解码系统中，上述实施方式中描述的编码装置11可以应用为多视图图像编码装置1000的编码单元1001和编码单元1002。因此，在上述实施方式中描述的方法也可以应用于多视图图像的编码。即，可以大大提高S/N和压缩效率。另外，例如，上述实施方式中描述的解码装置12可以应用为多视图图像解码装置1010的解码单元1012和解码单元1013。因此，在上述实施方式中描述的方法也可以应用于多视图图像的编码数据的解码。即，可以大大提高S/N和压缩效率。
<针对分层图像编码或解码系统的应用>
另外，以上所述的处理的集合可以应用于分层图像编码(可伸缩编码)或解码系统。
图45是示出分层图像编码系统的示例的图。
分层图像编码(可伸缩编码)是下述编码：在所述编码中，图像被形成到多个层中使得图像数据具有对预定参数的可伸缩功能，以及针对层中的每一个进行编码。分层图像解码(可伸缩解码)是与分层图像编码对应的解码。
如图45所示，在图像的分层中，基于具有可伸缩功能的预定参数将一个图像划分成多个图像(层)。即，分层后的图像(分层图像)包括具有彼此不同的预定参数值的多个层的图像。分层图像的多个层包括通过仅使用自己层的图像而不使用其他层的图像执行编码和解码的基本层，以及通过使用其他层的图像执行编码和解码的非基本层(也称为增强层)。在非基本层中，可以使用基本层的图像，或者可以使用非基本层的图像。
通常，非基本层包括自己的图像与其他层的图像之间的差异图像的数据(差异数据)使得减少冗余。例如，在将一个图像分层为基本层和非基本层(也称为增强层)的两个层的情况下，仅通过基本层的数据获得具有比原始图像的质量更低的质量的图像，并且合成基本层的数据和非基本层的数据，并且因此获得原始图像(即，高质量图像)。
如上所述图像被分层，并且因此，可以根据情况容易地获得具有各种质量的图像。例如，可以从服务器传送根据终端或网络的能力的图像压缩信息，而不执行转码处理，在该转码处理中，仅基本层的图像压缩信息被传送至具有低处理能力的终端例如移动电话，并且具有低空间时间分辨率或差图像质量的运动图像被再现，以及将除了基本层之外的增强层的图像压缩信息传送至具有高处理能力的终端，例如电视或个人计算机，并且具有高空间时间分辨率或高图像质量的运动图像被再现。
在如图45的示例所示对分层图像进行编码和解码的情况下，针对层中的每一个对分层图像进行编码。然后，在对如上所述获得的编码数据进行解码的情况下，分别对层中的每一个的编码数据项进行解码(即，针对层中的每一个)。上述实施方式中描述的方法可以应用于层中的每一个的编码和解码。因此，可以大大地提高S/N和压缩效率。即，类似地，也可以在分层图像中大大提高S/N和压缩效率。
<可伸缩参数>
在这样的分层图像编码和分层图像解码(可伸缩编码和可伸缩解码)中，具有可伸缩功能的参数是任意的。例如，空间分辨率可以被设置为参数(空间可伸缩性)。在空间可伸缩性的情况下，图像分辨率针对层中的每一个是不同的。
另外，例如，时间分辨率可以应用为具有这样的可伸缩性(时间可伸缩性)的参数。在时间可伸缩性的情况下，针对层中的每一个帧速率是不同的。
另外，例如，信噪比(SNR)可以应用为具有这样的可伸缩性(SNR可伸缩性)的参数。在SNR可伸缩性的情况下，针对层中的每一个SN比是不同的。
明显的是具有可伸缩性的参数可以是除了以上所述示例之外的其他参数。例如，具有可伸缩性的参数包括下述位深度可伸缩性，其中基本层是8位的图像并且增强层被添加到该图像，并且因此获得10位的图像。
另外，具有可伸缩性的参数包括下述色度可伸缩性，其中基本层是4:2:0格式的分量图像并且增强层被添加到该图像，并且因此获得4:2:2格式的分量图像。
<分层图像编码或解码系统>
图46是示出执行以上所述的分层图像编码和解码的分层图像编码或解码系统的分层图像编码装置的图。
如图46所示，分层图像编码装置1020包括编码单元1021、编码单元1022和复用单元1023。
编码单元1021对基本层图像进行编码，并且生成基本层图像编码流。编码单元1022对非基本层图像进行编码，并且生成非基本层图像编码流。复用单元1023对在编码单元1021中生成的基本层图像编码流和在编码单元1022中生成的非基本层图像编码流执行复用，并且生成分层图像编码流。
图47是示出执行以上所述的分层图像解码的分层图像解码装置的图。
如图47所示，分层图像解码装置1030包括逆复用单元1031、解码单元1032和解码单元1033。
逆复用单元1031对通过对基本层图像编码流和非基本层图像编码流执行复用而获得的分层图像编码流执行逆复用，并且提取基本层图像编码流和非基本层图像编码流。解码单元1032对由逆复用单元1031提取的基本层图像编码流进行解码，以及获取基本层图像。解码单元1033对由逆复用单元1031提取的非基本层图像编码流进行解码，以及获取非基本层图像。
例如，在这样的分层图像编码或解码系统中，上述实施方式中描述的编码装置11可以应用为分层图像编码装置1020的编码单元1021和编码单元1022。因此，在上述实施方式中描述的方法也可以应用于分层图像的编码。即，可以大大地提高S/N和压缩效率。另外，例如，上述实施方式中描述的解码装置12可以应用为分层图像解码装置1030的解码单元1032和解码单元1033。因此，在上述实施方式中描述的方法也可以应用于分层图像的编码数据的解码。即，可以大大地提高S/N和压缩效率。
<计算机>
上述一系列处理可以由硬件执行，并且可以由软件执行。在通过软件执行一系列处理的情况下，将配置软件的程序安装在计算机中。此处，计算机包括内置在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机，例如通用个人计算机等。
图48是示出通过程序执行上面描述的一系列处理的计算机的硬件的配置示例的框图。
在图48所示的计算机1100中，中央处理单元(CPU)1101、只读存储器(ROM)1102以及随机存取存储器(RAM)1103通过总线1104彼此连接。
另外，输入和输出接口1110也连接至总线1104。输入单元1111、输出单元1112、存储单元1113、通信单元1114以及驱动器1115连接至输入和输出接口1110。
输入单元1111例如包括键盘、鼠标、麦克风、触摸板、输入端子等。输出单元1112例如包括显示器、扬声器、输出端子等。存储单元1113例如包括硬盘、RAM盘、非易失性存储器等。通信单元1114例如包括网络接口。驱动器1115对可移除介质821如磁盘、光盘、磁光盘或半导体存储器进行驱动。
在如上所述配置的计算机中，CPU 1101例如通过输入和输出接口1110和总线1104将存储单元1113中存储的程序加载到RAM 1103中，并且执行程序，并且因此执行以上所述的一系列处理。另外，CPU 1101执行各种处理所需的数据等也适当地存储在RAM 1103中。
例如可以通过将由计算机(CPU 1101)执行的程序记录在如封装介质等的可移除介质821中来对其进行应用。在该情况下，可以通过将可移除介质821安装在驱动器1115中来经由输入和输出接口1110将程序安装在存储单元1113中。
另外，可以通过有线或无线传输介质例如局域网、因特网和数字卫星广播来提供程序。在该情况下，程序可以由通信单元1114来接收，并且可以安装在存储单元1113中。
另外，程序也可以预先安装在ROM 1102或存储单元1113中。
<本技术的应用>
例如，根据以上描述的实施方式的编码装置11或解码装置12可以应用于各种电子装置，例如卫星广播、有线TV的有线广播等中的发射器或接收器、因特网上的分发以及根据蜂窝通信对终端的分发、将图像记录在诸如光盘、磁盘以及闪速存储器的介质中的记录装置、以及从存储介质中再现图像的再现装置。在下文中，将描述四个应用示例。
<第一应用示例：电视接收器>
图49是示出应用以上所述的实施方式的电视装置的示意性配置的示例的图。
电视装置1200包括天线1201、调谐器1202、解复用器1203、解码器1204、视频信号处理单元1205、显示单元1206、声音信号处理单元1207、扬声器1208、外部接口(I/F)单元1209、控制单元1210、用户接口(I/F)单元1211和总线1212。
调谐器1202从通过天线1201接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器1202将通过解调而获得的编码比特流输出至解复用器1203。也就是说，调谐器1202用作电视装置1200的传输单元，其接收其中图像被编码的编码流。
解复用器1203从编码比特流中分离观看目标的广播的视频流和声音流，并且将分离后的流中的每一个输出至解码器1204。另外，解复用器1203从编码比特流中提取辅助数据例如电子节目指南(EPG)，并且将所提取的数据提供给控制单元1210。注意，在编码比特流被加扰的情况下，解复用器1203可以对编码比特流进行解扰。
解码器1204对从解复用器1203输入的视频流和声音流进行解码。然后，解码器1204将通过解码处理生成的视频数据输出至视频信号处理单元1205。另外，解码器1204将通过解码处理生成的声音数据输出至声音信号处理单元1207。
视频信号处理单元1205再现从解码器1204输入的视频数据，并且将视频显示在显示单元1206上。另外，视频信号处理单元1205可以将通过网络提供的应用画面显示在显示单元1206上。另外，例如，视频信号处理单元1205可以根据设置对视频数据执行附加的处理，例如噪声去除。另外，例如，视频信号处理单元1205可以生成图形用户界面(GUI)诸如菜单、按钮或光标的图像，并且将所生成的图像叠加到输出图像上。
显示单元1206由从视频信号处理单元1205提供的驱动信号驱动，并且将视频或图像显示在显示装置(例如，液晶显示器、等离子体显示器、或有机电致发光显示器(有机EL显示器(OELD))的视频表面上。
声音信号处理单元1207对从解码器1204输入的声音数据执行诸如D/A转换和放大的再现处理，并且从扬声器1208输出声音。另外，声音信号处理单元1207可以对声音数据执行附加的处理，例如噪声去除。
外部接口单元1209是用于将电视装置1200与外部装置或网络彼此连接的接口。例如，通过外部接口单元1209接收到的视频流或声音流可以由解码器1204来解码。也就是说，外部接口1209还用作电视装置1200的传输单元，其接收其中图像被编码的编码流。
控制单元1210包括处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据、通过网络获取的数据等。例如，在激活电视装置1200时在存储器中存储的程序被CPU读出，并且该程序被执行。CPU执行程序，并且因此，例如根据从用户接口单元1211输入的操作信号来控制电视装置1200的操作。
用户接口单元1211连接至控制单元1210。例如，用户接口单元1211包括用于用户操作电视装置1200的按钮和开关、远程控制信号的接收单元等。用户接口单元1211检测用户通过这样的构件的操作、生成操作信号，以及将所生成的操作信号输出至控制单元1210。
总线1212将调谐器1202、解复用器1203、解码器1204、视频信号处理单元1205、声音信号处理单元1207、外部接口单元1209以及控制单元1210彼此连接。
在以上所述配置的电视装置1200中，解码器1204可以用作以上所述的解码装置12。也就是说，解码器1204可以根据上述实施方式中描述的方法对编码数据进行解码。因此，电视装置1200能够大大地提高S/N和压缩效率。
另外，在以上所述配置的电视装置1200中，例如，视频信号处理单元1205能够对从解码器1204提供的图像数据进行编码，并且能够通过外部接口单元1209将获得的编码数据输出至电视装置1200的外部。然后，视频信号处理单元1205可以用作以上所述的编码装置11。也就是说，视频信号处理单元1205可以根据上述实施方式中描述的方法对从解码器1204提供的图像数据进行编码。因此，电视装置1200能够大大地提高S/N和压缩效率。
<第二应用示例：移动电话>
图50是示出应用以上所述的实施方式的移动电话的示意性配置的示例的图。
移动电话1220包括天线1221、通信单元1222、声音编解码器1223、扬声器1224、麦克风1225、相机单元1226、图像处理单元1227、复用分离单元1228、记录和再现单元1229、显示单元1230、控制单元1231、操作单元1232以及总线1233。
天线1221连接至通信单元1222。扬声器1224和麦克风1225连接至声音编解码器1223。操作单元1232连接至控制单元1231。总线1233将通信单元1222、声音编解码器1223、相机单元1226、图像处理单元1227、复用分离单元1228、记录和再现单元1229、显示单元1230以及控制单元1231彼此连接。
移动电话1220在诸如声音呼叫模式、数据通信模式、拍摄模式以及电视电话模式的各种操作模式下执行操作，例如声音信号的传输和接收、电子邮件或图像数据的传输和接收、图像捕获以及数据记录。
在声音呼叫模式下，通过麦克风1225生成的模拟声音信号被提供给声音编解码器1223。声音编解码器1223将模拟声音信号转换成声音数据、对经转换的声音数据执行A/D转换，以及压缩声音数据。然后，声音编解码器1223将经压缩的声音数据输出至通信单元1222。通信单元1222对声音数据进行编码和调制，并且生成传输信号。然后，通信单元1222通过天线1221将所生成的传输信号传送到基站(未示出)。另外，通信单元1222对通过天线1221接收到的无线信号执行放大和频率转换，并且获取接收信号。然后，通信单元1222对接收信号进行解调和解码，生成声音数据，以及将所生成的声音数据输出至声音编解码器1223。声音编解码器1223对声音数据进行解压缩、对该声音数据执行D/A转换，以及生成模拟声音信号。然后，声音编解码器1223将所生成的声音信号提供给扬声器1224，并且输出声音。
另外，在数据通信模式下，例如，控制单元1231根据用户通过操作单元1232进行的操作生成配置电子邮件的字符数据。另外，控制单元1231将字符显示在显示单元1230上。另外，控制单元1231根据通过操作单元1232来自用户的传输指令生成电子邮件数据，以及将所生成的电子邮件数据输出至通信单元1222。通信单元1222对电子邮件数据进行编码和调制，并且生成传输信号。然后，通信单元1222通过天线1221将所生成的传输信号传送到基站(未示出)。另外，通信单元1222对通过天线1221接收到的无线信号执行放大和频率转换，并且获取接收信号。然后，通信单元1222对接收信号进行解调和解码、恢复电子邮件数据，以及将所恢复的电子邮件数据输出至控制单元1231。控制单元1231将电子邮件的内容显示在显示单元1230上，以及将电子邮件数据提供给记录和再现单元1229以将数据写入存储介质中。
记录和再现单元1229包括可读且可写的任意存储介质。例如，存储介质可以是内置存储介质，例如RAM和闪速存储器，或者可以是在外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡。
此外，在拍摄模式下，例如，相机单元1226通过捕获对象来生成图像数据，并且将所生成的图像数据输出至图像处理单元1227。图像处理单元1227对从相机单元1226输入的图像数据进行编码，并且将编码流提供给记录和再现单元1229以将其写入存储介质中。
此外，在图像显示模式下，记录和再现单元1229读出在存储介质中记录的编码流，并且将编码流输出至图像处理单元1227。图像处理单元1227对从记录和再现单元1229输入的编码流进行解码、将图像数据提供给显示单元1230，并且显示图像。
此外，例如，在电视电话模式下，复用分离单元1228对由图像处理单元1227编码的视频流和从声音编解码器1223输入的声音流执行复用，以及将经受复用的流输出至通信单元1222。通信单元1222对该流进行编码和调制，并且生成传输信号。然后，通信单元1222通过天线1221将所生成的传输信号传送到基站(未示出)。另外，通信单元1222对通过天线1221接收到的无线信号执行放大和频率转换，并且获取接收信号。编码比特流可以被包括在传输信号和接收信号中。然后，通信单元1222对接收信号进行解调和解码，恢复流，以及将所恢复的流输出至复用分离单元1228。复用分离单元1228从被输入的流中分离视频流和声音流，并且将视频流输出至图像处理单元1227，以及将声音流输出至声音编解码器1223。图像处理单元1227对视频流进行解码，并且生成视频数据。视频数据被提供给显示单元1230，并且在显示单元1230上显示一组图像。声音编解码器1223对声音流进行解压缩、对该声音流执行D/A转换，以及生成模拟声音信号。然后，声音编解码器1223将所生成的声音信号提供给扬声器1224，并且输出声音。
在以上所述配置的移动电话1220中，例如，图像处理单元1227可以用作以上所述的编码装置11。即，图像处理单元1227可以根据上述实施方式中描述的方法来对图像数据进行编码。因此，移动电话1220能够大大地提高S/N和压缩效率。
另外，在以上所述配置的移动电话1220中，例如，图像处理单元1227可以用作以上所述的解码装置12。即，图像处理单元1227可以根据上述实施方式中描述的方法来对编码数据进行解码。因此，移动电话1220能够大大地提高S/N和压缩效率。
<第三应用示例：记录和再现装置>
图51是示出应用以上所述的实施方式的记录和再现装置的示意性配置的示例的图。
例如，记录和再现装置1240对接收到的广播的声音数据和视频数据进行编码，并且将数据记录在记录介质中。另外，例如，记录和再现装置1240可以对从其他装置获取的声音数据、视频数据进行编码，并且可以将数据记录在记录介质中。另外，例如，记录和再现装置1240根据用户的指令在监视器或扬声器上再现记录介质中记录的数据。此时，记录和再现装置1240对声音数据和视频数据进行解码。
记录和再现装置1240包括调谐器1241、外部接口(I/F)单元1242、编码器1243、硬盘驱动器(HDD)单元1244、盘驱动器1245、选择器1246、解码器1247、屏幕上显示(OSD)单元1248、控制单元1249以及用户接口(I/F)单元1250。
调谐器1241从通过天线(未示出)接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器1241将通过解调而获得的编码比特流输出至选择器1246。也就是说，调谐器1241用作记录和再现装置1240的传输单元。
外部接口单元1242是用于将记录和再现装置1240与外部装置或网络彼此连接的接口。例如，外部接口单元1242可以是电气与电子工程师协会(IEEE)1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口单元1242接收到的视频数据和声音数据被输入到编码器1243中。也就是说，外部接口单元1242用作记录和再现装置1240的传输单元。
在从外部接口单元1242输入的视频数据和声音数据未被编码的情况下，编码器1243对视频数据和声音数据进行编码。然后，编码器1243将编码比特流输出至选择器1246。
HDD单元1244将其中视频、声音等的内容数据被压缩的编码比特流、各种程序以及其他数据项记录在内部硬盘中。另外，HDD单元1244在再现视频和声音时从硬盘读取数据。
盘驱动器1245对安装在其上的记录介质执行数据的记录和读取。例如，安装在盘驱动器1245上的记录介质可以是数字通用盘(DVD)(DVD-视频、DVD-随机存取存储器(DVD-RAM)、DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)、蓝光(注册商标)盘等。
在记录视频和声音时，选择器1246选择来自调谐器1241或编码器1243的编码比特流，并且将所选择的编码比特流输出至HDD 1244或盘驱动器1245。另外，在再现视频和声音时，选择器1246将从HDD 1244或盘驱动器1245输入的编码比特流输出至解码器1247。
解码器1247对编码比特流进行解码，并且生成视频数据和声音数据。然后，解码器1247将所生成的视频数据输出至OSD单元1248。另外，解码器1247将所生成的声音数据输出至外部扬声器。
OSD单元1248再现从解码器1247输入的视频数据，并且显示视频。另外，OSD单元1248可以例如将GUI例如菜单、按钮或光标的图像叠加到被显示的视频上。
控制单元1249包括处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。例如，在激活记录和再现装置1240时在存储器中存储的程序被CPU读出，并且该程序被执行。CPU执行程序，并且因此，例如根据从用户接口单元1250输入的操作信号来控制记录和再现装置1240的操作。
用户接口单元1250连接至控制单元1249。例如，用户接口单元1250包括用于用户操作记录和再现装置1240的按钮和开关、远程控制信号的接收单元等。用户接口单元1250检测用户通过这样的构件的操作，生成操作信号，以及将所生成的操作信号输出至控制单元1249。
在以上所述配置的记录和再现装置1240中，例如，编码器1243可以用作以上所述的编码装置11。也就是说，编码器1243可以根据上述实施方式中描述的方法对图像数据进行编码。因此，记录和再现装置1240能够大大地提高S/N和压缩效率。
另外，在以上所述配置的记录和再现装置1240中，例如，解码器1247可以用作以上所述的解码装置12。也就是说，解码器1247可以根据上述实施方式中描述的方法对编码数据进行解码。因此，记录和再现装置1240能够大大地提高S/N和压缩效率。
<第四应用示例：捕获装置>
图52是示出应用以上所述的实施方式的捕获装置的示意性配置的示例的图。
捕获装置1260通过捕获对象来生成图像，对图像数据进行编码，以及将图像数据记录在记录介质中。
捕获装置1260包括光学块1261、捕获单元1262、信号处理单元1263、图像处理单元1264、显示单元1265、外部接口(I/F)单元1266、存储器单元1267、介质驱动器1268、OSD单元1269、控制单元1270、用户接口(I/F)单元1271以及总线1272。
光学块1261连接至捕获单元1262。捕获单元1262连接至信号处理单元1263。显示单元1265连接至图像处理单元1264。用户接口单元1271连接至控制单元1270。总线1272将图像处理单元1264、外部接口单元1266、存储器单元1267、介质驱动器1268、OSD单元1269和控制单元1270彼此连接。
光学块1261包括聚焦透镜、光圈机构等。光学块1261在捕获单元1262的捕获表面上形成对象的光学图像。捕获单元1262包括图像传感器例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，对捕获平面上形成的光学图像执行光电转换，并且因此将光学图像转换成作为电信号的图像信号。然后，捕获单元1262将图像信号输出至信号处理单元1263。
信号处理单元1263对从捕获单元1262输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元1263将在相机信号处理之后的图像数据输出至图像处理单元1264。
图像处理单元1264对从信号处理单元1263输入的图像数据进行编码，并且生成编码数据。然后，图像处理单元1264将所生成的编码数据输出至外部接口单元1266或介质驱动器1268。另外，图像处理单元1264对从外部接口单元1266或介质驱动器1268输入的编码数据进行解码，并且生成图像数据。然后，图像处理单元1264将所生成的图像数据输出至显示单元1265。另外，图像处理单元1264可以将从信号处理单元1263输入的图像数据输出至显示单元1265以进行显示。另外，图像处理单元1264可以将从OSD单元1269获取的显示数据叠加到输出至显示单元1265的图像上。
例如，OSD单元1269生成GUI诸如菜单、按钮或光标的图像，并且将所生成图像输出到图像处理单元1264。
例如，外部接口单元1266被配置为USB输入和输出端子。例如，外部接口单元1266在打印图像时将捕获装置1260和打印机彼此连接。另外，根据需要将驱动器连接至外部接口单元1266。例如，可移除介质例如磁盘或光盘可以被安装在驱动器上，并且从可移除介质读出的程序可以被安装在捕获装置1260中。此外，外部接口单元1266可以被配置为连接至网络例如LAN或因特网的网络接口。也就是说，外部接口单元1266用作捕获装置1260的传输单元。
例如，安装在介质驱动器1268上的记录介质可以是任意可读且可写的可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以被固定地安装到介质驱动器1268上，并且因此，例如，可以配置非便携式存储单元，例如内置硬盘驱动器或固态驱动器(SSD)。
控制单元1270包括处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。例如，在激活捕获装置1260时在存储器中存储的程序被CPU读出，并且该程序被执行。CPU执行程序，并且因此，例如根据从用户接口单元1271输入的操作信号来控制捕获装置1260的操作。
用户接口单元1271连接至控制单元1270。例如，用户接口单元1271包括用于用户操作捕获装置1260的按钮和开关。用户接口单元1271检测用户通过这样的构件的操作，生成操作信号，以及将所生成的操作信号输出至控制单元1270。
在以上所述配置的捕获装置1260中，例如，图像处理单元1264可以用作以上所述的编码装置11。也就是说，图像处理单元1264可以根据上述实施方式中描述的方法来对图像数据进行编码。因此，捕获装置1260能够大大地提高S/N和压缩效率。
在以上所述配置的捕获装置1260中，例如，图像处理单元1264可以用作以上所述的解码装置12。也就是说，图像处理单元1264可以根据上述实施方式中描述的方法来对编码数据进行解码。因此，捕获装置1260能够大大地提高S/N和压缩效率。
<其他应用示例>
注意，例如，本技术还可以应用于使用合适的编码数据的HTTP流传输，例如MPEGDASH，该合适编码数据是以段为单元从预先准备的具有彼此不同的分辨率等的多个编码数据项中选择的。也就是说，与编码或解码有关的信息可以在多个编码数据项中共享。
另外，如以上所述，已经描述应用本技术的装置、系统等的示例，但是本技术不限于此，并且还可以如上述装置或配置上述系统的装置中提供的全部配置来执行，例如，作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中其他功能还被应用的单元的设备等(即，装置的配置的一部分)。
<视频设备>
将参照图53来描述在本技术被实施为设备的情况下的示例。
图53是示出应用本技术的视频设备的示意性配置的示例的图。
近年来，电子装置的多功能化已取得进展，并且在将装置的部分配置实施为销售品或供应品的情况下，在电子装置的开发和制造中，不仅存在将配置的一部分实施为具有一个功能的配置的情况，而且存在将具有相关联功能的多个配置组合并且被实施为具有多个功能的一个设备的许多情况。
图53所示的视频设备1300具有这样的多功能化配置，并且通过将具有与图像的编码或解码(可以是编码或解码中的任何一个或者可以是编码和解码两者)有关的功能的装置与具有与该功能相关联的其他功能的装置组合来配置。
如图53所示，视频设备1300包括模块组例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314，以及具有相关联功能的装置，例如连接部1321、相机1322和传感器1323。
模块通过集成彼此相关联的若干部件功能，以及获得具有彼此相关功能的部件来配置。具体的物理配置是任意的，并且例如，考虑如下配置：其中，通过将相应地具有功能的多个处理器、电子电路元件例如电阻器或电容器、其他装置等布置在布线基板等上来对其进行集成。另外，还考虑以下配置：其中，将模块与其他模块、处理器等组合，并且因此，获得新模块。
在图53的示例中，视频模块1311通过组合具有与图像处理有关的功能的配置来进行配置，并且包括应用处理器1331、视频处理器1332、宽带调制解调器1333和RF模块1334。
处理器通过将具有预定功能的配置与片上系统(SoC)的半导体芯片一起集成来进行配置，并且例如也被称为系统大规模集成(LSI)等。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM和由CPU、ROM和RAM执行的程序(软件配置)，或者可以是软件配置和硬件配置的组合。例如，处理器可以包括逻辑电路、以及CPU、ROM、RAM等，可以由逻辑电路(硬件配置)来实现部分功能，并且可以由CPU执行的程序(软件配置)来实现其他功能。
图53的应用处理器1331是执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用不仅能够执行运算处理以实现预定功能，还例如能够根据需要控制视频模块1311内部和外部的配置例如视频处理器1332。
视频处理器1332是具有与图像的编码和解码(中的一者或两者)有关的功能的处理器。
宽带调制解调器1333根据数字调制将数据(数字信号)转换成模拟信号，或者根据解调将由宽带通信接收到的模拟信号转换成数据(数字信号)，该数据(数字信号)是经由通过宽带线例如因特网或公共电话网络执行的有线或无线(或有线和无线)宽带通信传送的。例如，宽带调制解调器1333对任意信息例如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序以及设置数据执行处理。
RF模块1334是对通过天线传送或接收的射频(RF)信号执行频率转换、调制和解调、放大、滤波处理等的模块。例如，RF模块1334对通过宽带调制解调器1333生成的基带信号执行频率转换等，并且生成RF信号。另外，例如，RF模块1334对通过前端模块1314接收到的RF信号执行频率转换等，并且生成基带信号。
注意，如图53中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成，并且可以被配置为一个处理器。
外部存储器1312是被设置在视频模块1311的外部，并且包括由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可以通过任何物理配置来实现，但是通常，存在存储装置用于存储大容量数据例如以帧为单位的图像数据的许多情况，并且因此，例如，希望通过相对便宜的大容量半导体存储器例如动态随机存取存储器(DRAM)来实现存储装置。
电力管理模块1313管理并控制对视频模块1311(视频模块1311中的每个配置)的电力供应。
前端模块1314是向RF模块1334提供前端功能(在天线侧的发射和接收端的电路)的模块。如图53所示，例如，前端模块1314包括天线单元1351、滤波器1352以及放大单元1353。
天线单元1351包括发射和接收无线信号的天线和天线附近的配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发射，以及将所接收的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收到的RF信号执行滤波处理等，并且将处理之后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并且将RF信号提供给天线单元1351。
连接部1321是具有与外部的连接有关的功能的模块。连接部1321的物理配置是任意的。例如，连接部1321包括具有不同于与宽带调制解调器1333对应的通信标准的通信功能的配置、外部输入和输出端子等。
例如，连接部1321可以包括具有基于无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi，注册商标))、近场通信(NFC)和红外数据关联(IrDA)的通信功能的模块、基于该标准发射和接收信号的天线等。另外，例如，连接部1321可以包括具有基于有线通信标准，例如通用串行总线(USB)、高清晰度多媒体接口(HDMI，注册商标)的通信功能的模块、基于该标准的端子等。此外，例如，连接部1321可以具有其他数据(信号)传输功能等，例如模拟输入和输出端子。
注意，连接部1321可以包括作为数据(信号)的传输目的地的装置。例如，连接部1321可以包括关于诸如磁盘、光盘、磁光盘或半导体存储器的记录介质的读取数据或写入数据的驱动器(不仅包括可移除介质的驱动器，还包括硬盘、固态驱动器(SSD)、网络附加存储装置(NAS)等的驱动器)。另外，连接部1321可以包括图像或声音的输出装置(监视器、扬声器等)。
相机1322是具有捕获对象的功能以及获得对象的图像数据的功能的模块。通过将通过相机1322的捕获而获得的图像数据例如提供给视频处理器1332来对其进行编码。
传感器1323例如是具有任意传感器功能的模块，例如声音传感器、超声波传感器、光学传感器、照度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、振动传感器和温度传感器。例如，由传感器1323检测到的数据由被提供给应用处理器1331的应用等使用。
在以上描述中，被描述为模块的配置可以被实现为处理器，或者反之，被描述为处理器的配置可以被实现为模块。
在具有这样的配置的视频设备1300中，如下面所述，本技术可以应用于视频处理器1332。因此，视频设备1300可以被实现为应用本技术的设备。
<视频处理器的配置示例>
图54是示出应用本技术的视频处理器1332(图53)的示意性配置的示例的图。
在图54的示例中，视频处理器1332具有接收视频信号和音频信号的输入以及根据预定系统对视频信号和音频信号进行编码的功能，以及对编码的视频数据和声音数据进行解码以及对视频信号和音频信号进行再现和输出的功能。
如图54所示，视频处理器1332包括视频输入处理单元1401、第一图像放大与缩小单元1402、第二图像放大与缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。另外，视频处理器1332包括编码和解码引擎1407、视频基本流(ES)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。另外，视频处理器1332包括音频编码器1410、音频解码器1411、复用单元(复用器(MUX))1412、逆复用单元(解复用器(DMUX))1413和流缓冲器1414。
视频输入处理单元1401例如获取从连接部1321(图53)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大与缩小单元1402对图像数据执行格式转换、图像放大与缩小处理等。第二图像放大与缩小单元1403根据图像数据通过视频输出处理单元1404被输出到的目的地的格式对图像数据执行图像放大与缩小处理，并且执行与第一图像放大与缩小单元1402的格式转换、图像放大与缩小处理等相同的格式转换、图像放大与缩小处理等。视频输出处理单元1404对图像数据执行格式转换、至模拟信号的转换等，并且例如将图像信号作为再现的视频信号输出至连接部1321等。
帧存储器1405是用于图像数据的存储器，该图像数据由视频输入处理单元1401、第一图像放大与缩小单元1402、第二图像放大与缩小单元1403、视频输出处理单元1404、以及编码和解码引擎1407共享。例如，帧存储器1405由半导体存储器例如DRAM来实现。
存储器控制单元1406从编码和解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的对帧存储器1405的访问调度来对帧存储器1405的写和读访问进行控制。由存储器控制单元1406根据由编码和解码引擎1407、第一图像放大与缩小单元1402、第二图像放大与缩小单元1403等执行的处理来更新访问管理表1406A。
编码和解码引擎1407执行图像数据的编码处理以及视频流的解码处理，该视频流是其中图像数据被编码的数据。例如，编码和解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将图像数据作为视频流顺序地写入视频ES缓冲器1408A中。另外，例如，视频流从视频ES缓冲器1408B顺序地读取，以及被解码，并且顺序地将其作为图像数据写入帧存储器1405中。在编码或解码中，编码和解码引擎1407使用帧存储器1405作为工作区。另外，例如，编码和解码引擎1407在开始针对每个宏块的处理时将同步信号输出到存储器控制单元1406。
视频ES缓冲器1408A对由编码和解码引擎1407生成的视频流执行缓冲，并且将该视频流提供给复用单元(MUX)1412。视频ES缓冲器1408B对从逆复用单元(DMUX)1413提供的视频流执行缓冲，并且将该视频流提供给编码和解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流执行缓冲，并且将该音频流提供给复用单元(MUX)1412。音频ES缓冲器1409B对从逆复用单元(DMUX)1413提供的音频流执行缓冲，并且将该音频流提供给音频解码器1411。
例如，音频编码器1410例如对从连接部1321等输入的音频信号执行数字转换，并且例如，根据预定系统例如MPEG音频系统或音频编码编号3(AC3)系统对音频信号进行编码。音频编码器1410将作为其中音频信号被编码的数据的音频流顺序地写入音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，例如，对音频流执行至模拟信号的转换等，并且将音频流作为再现的音频信号提供给例如连接部1321等。
复用单元(MUX)1412对视频流和音频流执行复用。复用方法(即，通过复用生成的比特流的格式)是任意的。另外，在复用中，复用单元(MUX)1412能够将预定头部信息等应用到比特流。也就是说，复用单元(MUX)1412能够通过复用来转换流的格式。例如，复用单元(MUX)1412对视频流和音频流执行复用，并且将视频流和音频流转换成作为传输格式的比特流的传输流。另外，例如，复用单元(MUX)1412对视频流和音频流执行复用，并且因此，将视频流和音频流转换成用于记录的文件格式数据(文件数据)。
逆复用单元(DMUX)1413根据与复用单元(MUX)1412的复用对应的方法来对通过对视频流和音频流执行复用而获得的比特流执行逆复用。也就是说，逆复用单元(DMUX)1413从自流缓冲器1414读出的比特流中提取视频流和音频流(将视频流和音频流分离)。也就是说，逆复用单元(DMUX)1413能够根据逆复用对流的格式执行转换(复用单元(MUX)1412的转换的逆转换)。例如，逆复用单元(DMUX)1413例如通过流缓冲器1414获取从连接部1321、宽带调制解调器1333等提供的传输流，对传输流执行逆复用，并且因此，能够将传输流转换成视频流和音频流。另外，例如，逆复用单元(DMUX)1413例如通过流缓冲器1414获取由连接部1321从各种记录介质读出的文件数据，对文件数据执行逆复用，并且因此，能够将文件数据转换成视频流和音频流。
流缓冲器1414对比特流执行缓冲。例如，流缓冲器1414对从复用单元(MUX)1412提供的传输流执行缓冲，在预定时刻处或基于来自外部的请求等将传输流提供给例如连接部1321、宽带调制解调器1333等。
另外，例如，流缓冲器1414对从复用单元(MUX)1412提供的文件数据执行缓冲，在预定时刻处或者基于来自外部的请求等将文件数据提供给例如连接部1321等，以及将文件数据记录在各种记录介质中。
此外，例如，流缓冲器1414对通过连接部1321、宽带调制解调器1333等获取的传输流执行缓冲，并且在预定时刻处或基于来自外部的请求等将传输流提供给逆复用单元(DMUX)1413。
另外，例如，流缓冲器1414对由连接部1321等从各种记录介质读出的文件数据执行缓冲，并且在预定时刻处或基于来自外部的请求等将文件数据提供给逆复用单元(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，在视频输入处理单元1401中将从连接部1321等输入到视频处理器1332中的视频信号转换成预定系统例如4:2:2Y/Cb/Cr系统的数字图像数据，并且将其顺序地写入帧存储器1405中。数字图像数据被读出至第一图像放大与缩小单元1402或第二图像放大与缩小单元1403、经受关于预定系统例如4：2：0Y/Cb/Cr系统的格式转换以及放大和缩小处理，以及被再次写入帧存储器1405中。编码和解码引擎1407对图像数据进行编码，并且将其作为视频流写入视频ES缓冲器1408A中。
另外，从连接部1321等输入到视频处理器1332中的音频信号被音频编码器1410编码，并且被作为音频流写入音频ES缓冲器1409A中。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读出到复用单元(MUX)1412，经受复用，以及被转换成传输流、文件数据等。由复用单元(MUX)1412生成的传输流经受流缓冲器1414的缓冲，然后，例如经由连接部1321、宽带调制解调器1333等被输出至外部网络。另外，由复用单元(MUX)1412生成的文件数据经受流缓冲器1414的缓冲，然后，该文件数据被例如输出至连接部1321等，以及被记录在各种记录介质中。
另外，例如，通过连接部1321、宽带调制解调器1333等从外部网络输入到视频处理器1332中的传输流经受流缓冲器1414的缓冲，然后，该传输流经受逆复用单元(DMUX)1413的逆复用。另外，例如，在连接部1321等中，从各种记录介质中读出并且被输入到视频处理器1332中的文件数据经受流缓冲器1414的缓冲，然后经受逆复用单元(DMUX)1413的逆复用。也就是说，通过逆复用单元(DMUX)1413将输入到视频处理器1332中的传输流或文件数据分离成视频流和音频流。
音频流通过音频ES缓冲器1409B被提供给音频解码器1411，以及被解码，并且因此，再现音频信号。另外，视频流被写入视频ES缓冲器1408B中，然后，由编码和解码引擎1407顺序地读出和解码，并且因此，被写入帧存储器1405中。解码的图像数据经受第二图像放大与缩小单元1403的放大和缩小处理，并且因此，被写入帧存储器1405中。然后，解码的图像数据被读出至视频输出处理单元1404、根据预定系统例如4:2:2Y/Cb/Cr系统经受格式转换，以及进一步被转换成模拟信号，并且因此，再现和输出视频信号。
在将本技术应用到以上所述配置的视频处理器1332的情况下，可以将根据以上所述的实施方式的本技术应用到编码和解码引擎1407。也就是说，例如，编码和解码引擎1407可以具有以上所述的编码装置11的功能和解码装置12的功能中的一者或两者。因此，视频处理器1332能够获得与以上所述的实施方式的编码装置11或解码装置12的效果相同的效果。
注意，在编码和解码引擎1407中，本技术(即，编码装置11的功能和解码装置12的功能中的一者或两者)可以通过诸如逻辑电路的硬件来实现，可以通过诸如内置程序的软件来实现，或者可以通过硬件和软件两者来实现。
<视频处理器的其他配置示例>
图55是示出应用本技术的视频处理器1332的示意性配置的另一示例的图。
在图55的示例中，视频处理器1332具有根据预定系统对视频数据进行编码和解码的功能。
更具体地，如图55所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。另外，视频处理器1332包括编解码引擎1516、存储器接口1517、复用和逆复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元，例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图55所示，例如，控制单元1511包括主CPU 1531、副CPU 1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的处理单元中的每一个的操作的程序等。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给处理单元中的每一个(即，控制处理单元中的每一个的操作)。副CPU 1532具有主CPU 1531的辅助功能。例如，副CPU 1532执行由主CPU 1531执行的程序的子处理、子例程等。系统控制器1533控制主CPU1531和副CPU 1532的操作，例如指定由主CPU 1531和副CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下将图像数据输出至例如连接部1321等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将该信号作为再现的视频信号或者作为原样的数字数据的图像数据输出至连接部1321的监视器装置等。
显示引擎1513在控制单元1511的控制下执行各种转换处理，例如格式转换、尺寸转换和色域转换，使得图像数据匹配其上显示图像的监视器装置等的硬件规范。
图像处理引擎1514在控制单元1511的控制下对图像数据执行例如用于提高图像质量的预定图像处理，例如滤波处理。
内部存储器1515是设置在视频处理器1332中并且由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编解码引擎1516中执行的数据交互。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以通过任何存储装置来实现，但是通常，存在内部存储器1515用于存储小容量数据例如以块为单元的图像数据或参数的许多情况，并且因此，例如，期望内部存储器1515由容量相对小(例如，与外部存储器1312相比)，但响应速度高的半导体存储器例如静态随机存取存储器(SRAM)来实现。
编解码引擎1516执行与图像数据的编码或解码有关的处理。与编解码引擎1516对应的编码和解码系统是任意的，并且可以使用一个系统，或者可以使用多个系统。例如，编解码引擎1516可以具有多个编码或解码系统的编解码功能，可以根据从多个编码或解码系统中选择的一个系统来执行图像数据的编码或编码数据的解码。
在图55所示的示例中，例如，编解码引擎1516包括MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551作为与编解码器有关的处理的功能块。
MPEG-2视频1541是根据MPEG-2系统对图像数据执行编码或解码的功能块。AVC/H.264 1542是根据AVC系统对图像数据执行编码或解码的功能块。HEVC/H.265 1543是根据HEVC系统对图像数据执行编码或解码的功能块。HEVC/H.265(可缩放)1544是根据HEVC系统对图像数据执行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是根据HEVC系统对图像数据执行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是根据在HTTP上的MPEG动态自适应流传输(MPEG-DASH)系统来传送和接收图像数据的功能块。MPEG-DASH是通过使用超文本传输协议(HTTP)来执行视频流传输的技术，并且MPEG-DASH的特征之一是从预先准备的具有彼此不同的分辨率等的多个编码数据项中以段为单元选择合适的编码数据，以及传送编码数据。MPEG-DASH 1551执行基于标准的流的生成、流的传输控制等，并且在图像数据的编码和解码中使用以上所述的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据通过存储器接口1517被提供至外部存储器1312。另外，从外部存储器1312读出的数据通过存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用和逆复用单元(MUX DMUX)1518执行与图像有关的各种数据项，例如编码数据、图像数据和视频信号的比特流的复用或逆复用。复用和逆复用方法是任意的。例如，在复用中，复用和逆复用单元(MUX DMUX)1518不仅能够将多个数据项组合成一个数据项，还能够向该数据应用预定头部信息等。另外，在逆复用中，复用和逆复用单元(MUX DMUX)1518不仅能够将一个数据项划分成多个数据项，还能够向所划分的数据项中的每一个应用特定头部信息等。也就是说，复用和逆复用单元(MUX DMUX)1518能够根据复用和逆复用来转换数据的格式。例如，复用和逆复用单元(MUX DMUX)1518可以对比特流执行复用，并且因此能够将比特流转换成作为传输格式的比特流的传输流，或者用于记录的文件格式数据(文件数据)。明显的是也可以根据逆复用执行逆转换。
例如，网络接口1519是用于宽带调制解调器1333、连接部1321等的接口。视频接口1520是例如用于连接部1321、相机1322等的接口。
接下来，将描述视频处理器1332的操作的示例。例如，在通过连接部1321、宽带调制解调器1333等从外部网络接收传输流的情况下，传输流通过网络接口1519被提供给复用和逆复用单元(MUX DMUX)1518、经受逆复用、以及由编解码引擎1516进行解码。通过编解码引擎1516进行的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理、经受由显示引擎1513进行的预定转换、以及经由显示接口1512被提供给例如连接部1321等，并且图像被显示在监视器上。另外，例如，通过编解码引擎1516进行的解码而获得的图像数据由编解码引擎1516再次编码、经受由复用和逆复用单元(MUX DMUX)1518进行的复用、被转换成文件数据、经由视频接口1520被输出到例如连接部1321等、以及被记录在各种记录介质中。
另外，例如，其中通过连接部1321等从记录介质(未示出)读取的图像数据被编码的编码数据的文件数据经由视频接口1520被提供给复用和逆复用单元(MUX DMUX)1518、经受逆复用、以及由编解码引擎1516解码。通过编解码引擎1516进行的解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理、经受由显示引擎1513进行的预定转换、以及经由显示接口1512被提供给例如连接部1321等，并且图像被显示在监视器上。另外，例如，通过由编解码引擎1516进行的解码而获得的图像数据由编解码引擎1516再次编码、经受由复用和逆复用单元(MUX DMUX)1518进行的复用、被转换成传输流、经由网络接口1519被提供给例如连接部1321、宽带调制解调器1333等、以及被传送到其他装置(未示出)。
注意，例如，通过使用内部存储器1515或外部存储器1312来执行视频处理器1332的处理单元中的每一个中的图像数据或其他数据项的交换。另外，例如，电力管理模块1313控制对控制单元1511的电力提供。
在将本技术应用到以上所述配置的视频处理器1332的情况下，可以将根据以上所述的实施方式的本技术应用到编解码引擎1516。也就是说，例如，编解码引擎1516可以具有以上所述的编码装置11的功能和解码装置12的功能中的一者或两者。因此，视频处理器1332能够获得与以上所述的编码装置11或解码装置12的效果相同的效果。
注意，在编解码引擎1516中，本技术(即，编码装置11或解码装置12的功能)可以通过诸如逻辑电路的硬件来实现，可以通过诸如内置程序的软件来实现，或者可以通过硬件和软件两者来实现。
在以上描述中，已经描述了视频处理器1332的配置的两个示例，但是视频处理器1332的配置是任意的，并且可以是不同于以上所述的两个示例的配置。另外，视频处理器1332可以被配置为一个半导体芯片，或者可以被配置为多个半导体芯片。例如，视频处理器1332可以被配置为其中层叠有多个半导体的三维层叠LSI。另外，视频处理器1332可以由多个LSI实现。
<关于装置的应用示例>
可以将视频设备1300内置在处理图像数据的各种装置中。例如，可以将视频设备1300内置在电视装置1200(图49)、移动电话1220(图50)、记录和再现装置1240(图51)、捕获装置1260(图52)等中。视频设备1300被内置在装置中，并且因此，该装置能够获得与以上所述的编码装置11或解码装置12的效果相同的效果。
注意，甚至以上所述的视频设备1300的配置中的每一个的一部分也可以被实施为应用本技术的配置，只要设置视频处理器1332即可。例如，仅视频处理器1332可以被实施为应用本技术的视频处理器。另外，例如，如上所述，由虚线1341所示的处理器、视频模块1311等可以被实施为应用本技术的处理器、模块等。此外，例如，可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合以实施为应用本技术的视频单元1361。在任何配置中，可以获得与以上所述的编码装置11或解码装置12的效果相同的效果。
也就是说，在任何配置中，与视频设备1300一样，视频处理器1332可以内置在处理图像数据的各种装置中，只要设置视频处理器1332即可。例如，视频处理器1332、由虚线1341所示的处理器、视频模块1311或者视频单元1361可以内置在电视装置1200(图49)、移动电话1220(图50)、记录和再现装置1240(图51)、捕获装置1260(图52)等中。然后，应用本技术的任何配置被内置在装置中，并且因此，与视频设备1300一样，该装置能够获得与以上所述的编码装置11或解码装置12的效果相同的效果。
<其他>
注意，在本文中，尽管已经描述了其中各种信息项被复用成编码数据(比特流)并且从编码侧传送到解码侧的示例，但是传送信息的方法不限于此。例如，在不被复用成编码数据的情况下，信息可以被传送或记录为与编码数据相关联的单独的数据。此处，术语“相关联”例如指示编码数据中包括的图像(可以是图像的一部分，例如切片或块)可以在执行解码时与对应于图像的信息链接。也就是说，可以在与编码数据(图像)的传输路径不同的传输路径上传送与编码数据(图像)相关联的信息。另外，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)的记录介质不同的记录介质中(或者在同一记录介质的不同记录区域中)。此外，例如，可以在任意单元(例如多个帧、一帧和帧内的一部分)中将图像和与该图像对应的信息彼此相关联。
另外，术语“合成”、“复用”、“应用”、“集成”、“包括”、“存储”、“接合”、“放入”和“插入”等例如指示其中与图像有关的信息的标志信息和编码信息被组合成一个数据项的多个对象被组合成一个对象，并且指示上面所述的“相关联”的一种方法。
另外，本技术的实施方式不限于以上所述的实施方式，并且可以在不脱离本技术的主旨的范围内进行各种改变。
例如，本文中，系统指示一类多个组件(装置、模块(部件)等)，并且所有组件可以不在同一壳体中。因此，在单独的壳体中包括并且通过网络彼此连接的多个装置和其中多个模块被包括在一个壳体中的一个装置两者是系统。
另外，例如，被描述为一个装置(或处理单元)的配置可以被划分，并且可以被配置为多个装置(或处理单元)。相反，在以上描述中，被描述为多个装置(或处理单元)的配置可以被组合，并且可以被配置为一个装置(或处理单元)。另外，明显的是可以将不同于以上所述的配置的配置应用到每个装置(或每个处理单元)的配置。此外，特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中，只要作为整个系统的配置或操作基本相同即可。
另外，例如，本技术能够具有云计算配置，其中通过经由网络在多个装置中划分和共享来处理一个功能。
另外，例如，可以由任意装置执行上面描述的程序。在该情况下，装置可以具有必要的功能(功能块等)，并且能够获得必要的信息。
另外，例如，以上所述的流程图中的每个步骤可以由一个装置执行，并且可以通过在多个装置中划分来执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，并且可以通过在多个装置中划分来执行。
注意，在由计算机执行的程序中,本文中描述程序的步骤的处理可以根据描述的顺序按时间顺序执行，或者可以并行地执行或在必要的时刻例如在被调用时单独执行。也就是说，除非存在任何矛盾，否则可以以与以上所述的顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合来执行。
注意，本文中，除非存在任何矛盾，否则可以独立地执行以上描述的多个本技术。明显的是可以组合地执行任意多个本技术。例如，在任何实施方式中描述的本技术可以通过结合其他实施方式中描述的本技术来执行。此外，任意的上述本技术可以与上面未描述的其他技术一起执行。
此外，本文中描述的效果仅是示例，并且并非限制性的，并且可以获得其他效果。
注意，本技术可以按如下配置。
<1>
一种图像处理装置，包括：类抽头选择单元，所述类抽头选择单元通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为在将所述第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置所述类抽头；类分类单元，所述类分类单元通过使用所述类抽头来执行所述待处理像素的类分类；以及滤波处理单元，所述滤波处理单元针对所述第一图像执行与所述待处理像素的类对应的滤波处理，以生成在所述预测图像的预测中使用的第二图像，其中，所述类抽头选择单元将所述类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
<2>
根据<1>所述的图像处理装置，还包括：传输单元，所述传输单元传送与所述滤波处理有关的滤波信息。
<3>
根据<2>所述的图像处理装置，其中，所述滤波处理单元包括：预测抽头选择单元，所述预测抽头选择单元通过从所述第一图像中选择作为在获得与所述第一图像的待处理像素对应的所述第二图像的对应像素的像素值的预测运算中使用的预测抽头的像素来配置所述预测抽头，抽头系数获取单元，所述抽头系数获取单元获取每个类的在所述预测运算中使用的抽头系数中的所述待处理像素的类的抽头系数，所述抽头系数是通过使用与所述第一图像对应的学生图像和与对应于所述第一图像的原始图像对应的教师图像进行学习而获得的，以及运算单元，所述运算单元通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测运算来获得所述对应像素的像素值。
<4>
根据<3>所述的图像处理装置，其中，所述滤波信息包括每个类的抽头系数。
<5>
根据<2>至<4>中任一项所述的图像处理装置，其中，所述滤波信息包括指示从所述多个抽头结构中选择的抽头结构的抽头结构信息。
<6>
根据<2>至<5>中任一项所述的图像处理装置，还包括：选择单元，所述选择单元根据指示在所述类分类中使用所述多个抽头结构中的每个抽头结构的适当性的抽头结构估计值，从所述多个抽头结构中选择所述类抽头的抽头结构。
<7>
根据<2>至<5>中任一项所述的图像处理装置，还包括：抽头结构选择单元，所述抽头结构选择单元通过使用能够从通过所述预测编码获得的编码数据获取的可获取信息、根据从所述多个抽头结构中选择所述类抽头的抽头结构的选择规则来从所述多个抽头结构中选择所述类抽头的抽头结构。
<8>
根据<7>所述的图像处理装置，其中，所述滤波信息包括所述选择规则。
<9>
根据<7>或<8>所述的图像处理装置，其中，所述可获取信息是从所述第一图像获得的图像特征量和与所述待处理像素的预测编码有关的编码信息中的一者或两者。
<10>
根据<2>至<9>中任一项所述的图像处理装置，其中，所述滤波信息包括复制信息，所述复制信息指示是否使用与当更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构。
<11>
根据<1>所述的图像处理装置，还包括：接受单元，所述接受单元接受与所述滤波处理有关的滤波信息。
<12>
根据<11>所述的图像处理装置，其中，所述滤波处理单元包括：预测抽头选择单元，所述预测抽头选择单元通过从所述第一图像中选择作为在获得与所述第一图像的待处理像素对应的所述第二图像的对应像素的像素值的预测运算中使用的预测抽头的像素来配置所述预测抽头，抽头系数获取单元，所述抽头系数获取单元获取每个类的在所述预测运算中使用的抽头系数中的所述待处理像素的类的抽头系数，所述抽头系数是通过使用与所述第一图像对应的学生图像和与对应于所述第一图像的原始图像对应的教师图像进行学习而获得的，以及运算单元，所述运算单元通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行预测运算来获得所述对应像素的像素值。
<13>
根据<12>所述的图像处理装置，其中，所述滤波信息包括每个类的抽头系数，以及所述抽头系数获取单元从所述滤波信息中包括的每个类的抽头系数中获取所述待处理像素的类的抽头系数。
<14>
根据<11>至<13>中任一项所述的图像处理装置，其中，所述滤波信息包括指示从所述多个抽头结构中选择的抽头结构的抽头结构信息，以及所述类抽头选择单元将所述类抽头的抽头结构更新为由所述滤波信息中包括的抽头结构信息指示的抽头结构。
<15>
根据<11>至<13>中任一项所述的图像处理装置，其中，所述滤波信息包括从所述多个抽头结构中选择所述类抽头的抽头结构的选择规则，以及所述图像处理装置还包括：抽头结构选择单元，所述抽头结构选择单元通过使用能够从通过所述预测编码获得的编码数据获取的可获取信息、根据所述选择规则来从所述多个抽头结构中选择所述类抽头的抽头结构。
<16>
根据<15>所述的图像处理装置，其中，所述可获取信息是从所述第一图像获得的图像特征量和与所述待处理像素的预测编码有关的编码信息中的一者或两者。
<17>
根据<11>至<16>中任一项所述的图像处理装置，其中，所述滤波信息包括复制信息，所述复制信息指示是否使用与当更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构，以及所述类抽头选择单元根据所述滤波信息中包括的复制信息、选择与当更新所述前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构。
<18>
根据<1>至<17>中任一项所述的图像处理装置，其中，所述滤波处理单元用作配置环路滤波器(ILF)的去块滤波器(DF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)中的一个或更多个。
<19>
一种图像处理方法，包括：通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为在将所述第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置所述类抽头；通过使用所述类抽头来执行所述待处理像素的类分类；以及针对所述第一图像执行与所述待处理像素的类对应的滤波处理，以生成在所述预测图像的预测中使用的第二图像，其中，将所述类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
附图标记列表
11 编码装置
12 解码装置
21、22 抽头选择单元
23 类分类单元
24 系数获取单元
25 预测运算单元
30 学习装置
31 教师数据生成单元
32 学生数据生成单元
33 学习单元
41、42 抽头选择单元
43 类分类单元
44 加法单元
45 系数计算单元
61 参数生成单元
62 学生数据生成单元
63 学习单元
71 加法单元
72 系数计算单元
81、82 加法单元
83 系数计算单元
101 A/D转换单元
102 重新排序缓冲器
103 运算单元
104 正交变换单元
105 量化单元
106 可逆编码单元
107 累积缓冲器
108 逆量化单元
109 逆正交变换单元
110 运算单元
111 类分类自适应滤波器
112 帧存储器
113 选择单元
114 帧内预测单元
115 运动预测补偿单元
116 预测图像选择单元
117 速率控制单元
131 学习装置
132 滤波信息生成单元
133 图像转换装置
151 抽头结构选择单元
152 学习单元
153 存储单元
154 估计值计算单元
155 选择单元
161、162 抽头选择单元
163 类分类单元
164 加法单元
165 系数计算单元
171 图像转换单元
172 计算单元
180 滤波处理单元
181、182 抽头选择单元
183 类分类单元
184 系数获取单元
185 预测运算单元
190 滤波处理单元
191、192 抽头选择单元
193 类分类单元
194 系数获取单元
195 预测运算单元
201 累积缓冲器
202 可逆解码单元
203 逆量化单元
204 逆正交变换单元
205 运算单元
206 类分类自适应滤波器
207 重新排序缓冲器
208 D/A转换单元
210 帧存储器
211 选择单元
212 帧内预测单元
213 运动预测补偿单元
214 选择单元
231 图像转换装置
240 滤波处理单元
241、242 抽头选择单元
243 类分类单元
244 系数获取单元
245 预测运算单元
311 类分类自适应滤波器
331 学习装置
332 滤波信息生成单元
333 图像转换装置
351 抽头结构选择单元
353 存储单元
354 估计值计算单元
355 选择单元
371 图像转换单元
381、391 抽头结构选择单元
401 类分类自适应滤波器
431 图像转换装置
451 抽头结构选择单元

Claims (19)

1.一种图像处理装置，包括：
类抽头选择单元，所述类抽头选择单元通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为在将所述第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置所述类抽头；
类分类单元，所述类分类单元通过使用所述类抽头来执行所述待处理像素的类分类；以及
滤波处理单元，所述滤波处理单元针对所述第一图像执行与所述待处理像素的类对应的滤波处理，以生成在所述预测图像的预测中使用的第二图像，其中，
所述类抽头选择单元将所述类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
2.根据权利要求1所述的图像处理装置，还包括：
传输单元，所述传输单元传送与所述滤波处理有关的滤波信息。
3.根据权利要求2所述的图像处理装置，其中，
所述滤波处理单元包括：
预测抽头选择单元，所述预测抽头选择单元通过从所述第一图像中选择作为在获得与所述第一图像的待处理像素对应的所述第二图像的对应像素的像素值的预测运算中使用的预测抽头的像素来配置所述预测抽头，
抽头系数获取单元，所述抽头系数获取单元获取每个类的在所述预测运算中使用的抽头系数中的所述待处理像素的类的抽头系数，所述抽头系数是通过使用与所述第一图像对应的学生图像和与对应于所述第一图像的原始图像对应的教师图像进行学习而获得的，以及
运算单元，所述运算单元通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测运算来获得所述对应像素的像素值。
4.根据权利要求3所述的图像处理装置，其中，
所述滤波信息包括每个类的抽头系数。
5.根据权利要求2所述的图像处理装置，其中，
所述滤波信息包括指示从所述多个抽头结构中选择的抽头结构的抽头结构信息。
6.根据权利要求2所述的图像处理装置，还包括：
选择单元，所述选择单元根据指示在所述类分类中使用所述多个抽头结构中的每个抽头结构的适当性的抽头结构估计值，从所述多个抽头结构中选择所述类抽头的抽头结构。
7.根据权利要求2所述的图像处理装置，还包括：
抽头结构选择单元，所述抽头结构选择单元通过使用能够从通过所述预测编码获得的编码数据获取的可获取信息、根据从所述多个抽头结构中选择所述类抽头的抽头结构的选择规则来从所述多个抽头结构中选择所述类抽头的抽头结构。
8.根据权利要求7所述的图像处理装置，其中，
所述滤波信息包括所述选择规则。
9.根据权利要求7所述的图像处理装置，其中，
所述可获取信息是从所述第一图像获得的图像特征量和与所述待处理像素的预测编码有关的编码信息中的一者或两者。
10.根据权利要求2所述的图像处理装置，其中，
所述滤波信息包括复制信息，所述复制信息指示是否使用与当更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构。
11.根据权利要求1所述的图像处理装置，还包括：
接受单元，所述接受单元接受与所述滤波处理有关的滤波信息。
12.根据权利要求11所述的图像处理装置，其中，
所述滤波处理单元包括：
预测抽头选择单元，所述预测抽头选择单元通过从所述第一图像中选择作为在获得与所述第一图像的待处理像素对应的所述第二图像的对应像素的像素值的预测运算中使用的预测抽头的像素来配置所述预测抽头，
抽头系数获取单元，所述抽头系数获取单元获取每个类的在所述预测运算中使用的抽头系数中的所述待处理像素的类的抽头系数，所述抽头系数是通过使用与所述第一图像对应的学生图像和与对应于所述第一图像的原始图像对应的教师图像进行学习而获得的，以及
运算单元，所述运算单元通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行预测运算来获得所述对应像素的像素值。
13.根据权利要求12所述的图像处理装置，其中，
所述滤波信息包括每个类的抽头系数，以及
所述抽头系数获取单元从所述滤波信息中包括的每个类的抽头系数中获取所述待处理像素的类的抽头系数。
14.根据权利要求11所述的图像处理装置，其中，
所述滤波信息包括指示从所述多个抽头结构中选择的抽头结构的抽头结构信息，以及
所述类抽头选择单元将所述类抽头的抽头结构更新为由所述滤波信息中包括的抽头结构信息指示的抽头结构。
15.根据权利要求11所述的图像处理装置，其中，
所述滤波信息包括从所述多个抽头结构中选择所述类抽头的抽头结构的选择规则，以及
所述图像处理装置还包括：
抽头结构选择单元，所述抽头结构选择单元通过使用能够从通过所述预测编码获得的编码数据获取的可获取信息、根据所述选择规则来从所述多个抽头结构中选择所述类抽头的抽头结构。
16.根据权利要求15所述的图像处理装置，其中，
所述可获取信息是从所述第一图像获得的图像特征量和与所述待处理像素的预测编码有关的编码信息中的一者或两者。
17.根据权利要求11所述的图像处理装置，其中，
所述滤波信息包括复制信息，所述复制信息指示是否使用与当更新前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构，以及
所述类抽头选择单元根据所述滤波信息中包括的复制信息、选择与当更新所述前一时刻的抽头结构时的抽头结构相同的抽头结构作为所述类抽头的抽头结构。
18.根据权利要求1所述的图像处理装置，其中，
所述滤波处理单元用作配置环路滤波器(ILF)的去块滤波器(DF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)中的一个或更多个。
19.一种图像处理方法，包括：
通过从通过将预测编码的残差和预测图像相加在一起而获得的第一图像中选择作为在将所述第一图像的待处理像素分类成多个类中的任一个类的类分类中使用的类抽头的像素来配置所述类抽头；
通过使用所述类抽头来执行所述待处理像素的类分类；以及
针对所述第一图像执行与所述待处理像素的类对应的滤波处理，以生成在所述预测图像的预测中使用的第二图像，其中，
将所述类抽头的抽头结构更新为从多个抽头结构中选择的抽头结构。
CN201780082531.1A 2017-01-12 2017-12-28 图像处理装置和图像处理方法 Active CN110169063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210114315.3A CN114520915A (zh) 2017-01-12 2017-12-28 图像处理装置、图像处理方法和计算机可读记录介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017003467 2017-01-12
JP2017-003467 2017-01-12
PCT/JP2017/047374 WO2018131524A1 (ja) 2017-01-12 2017-12-28 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210114315.3A Division CN114520915A (zh) 2017-01-12 2017-12-28 图像处理装置、图像处理方法和计算机可读记录介质

Publications (2)

Publication Number Publication Date
CN110169063A true CN110169063A (zh) 2019-08-23
CN110169063B CN110169063B (zh) 2022-03-01

Family

ID=62839867

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210114315.3A Withdrawn CN114520915A (zh) 2017-01-12 2017-12-28 图像处理装置、图像处理方法和计算机可读记录介质
CN201780082531.1A Active CN110169063B (zh) 2017-01-12 2017-12-28 图像处理装置和图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210114315.3A Withdrawn CN114520915A (zh) 2017-01-12 2017-12-28 图像处理装置、图像处理方法和计算机可读记录介质

Country Status (10)

Country Link
US (1) US11190808B2 (zh)
EP (1) EP3570543A4 (zh)
JP (1) JP7047776B2 (zh)
KR (1) KR102477784B1 (zh)
CN (2) CN114520915A (zh)
AU (1) AU2017393149A1 (zh)
BR (1) BR112019013976A2 (zh)
CA (1) CA3048382A1 (zh)
RU (1) RU2019120747A (zh)
WO (1) WO2018131524A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963321A (zh) * 2021-10-27 2022-01-21 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750307B1 (en) * 2018-03-09 2023-10-04 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients
KR102622950B1 (ko) 2018-11-12 2024-01-10 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
US11706461B2 (en) * 2021-03-18 2023-07-18 Tencent America LLC Method and apparatus for video coding

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285881A (ja) * 2000-04-03 2001-10-12 Sony Corp ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
EP1324607A2 (en) * 2001-12-28 2003-07-02 Sony Corporation Data processing
CN1997112A (zh) * 2006-01-06 2007-07-11 索尼株式会社 显示装置和显示方法、学习装置和学习方法、以及程序
CN101616324A (zh) * 2009-07-28 2009-12-30 谭洪舟 压缩编码图像的块效应去除装置
CN102780887A (zh) * 2011-05-09 2012-11-14 索尼公司 图像处理设备和图像处理方法
CN102804781A (zh) * 2009-06-19 2012-11-28 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
US20130136371A1 (en) * 2010-06-17 2013-05-30 Sharp Kabushiki Kaisha Image filter device, decoding apparatus, encoding apparatus, and data structure
CN104079801A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理设备、图像处理方法及程序
US20140355670A1 (en) * 2010-05-18 2014-12-04 Sony Corporation Image processing device and image processing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630576B2 (en) * 2004-02-19 2009-12-08 Sony Corporation Signal processing apparatus and method, and command-sequence data structure
JP4835949B2 (ja) * 2007-12-21 2011-12-14 ソニー株式会社 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
EP2237557A1 (en) 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
PL3220641T3 (pl) 2011-04-21 2019-07-31 Hfi Innovation Inc. Sposób i urządzenie do poprawionego filtrowania w pętli
WO2012152174A1 (en) 2011-05-10 2012-11-15 Mediatek Inc. Method and apparatus for reduction of in-loop filter buffer
CN104994393A (zh) 2011-06-28 2015-10-21 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
JP2013085113A (ja) 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
CN102801861B (zh) 2012-08-07 2015-08-19 歌尔声学股份有限公司 一种应用于手机的语音增强方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285881A (ja) * 2000-04-03 2001-10-12 Sony Corp ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4552261B2 (ja) * 2000-04-03 2010-09-29 ソニー株式会社 ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
EP1324607A2 (en) * 2001-12-28 2003-07-02 Sony Corporation Data processing
CN1997112A (zh) * 2006-01-06 2007-07-11 索尼株式会社 显示装置和显示方法、学习装置和学习方法、以及程序
CN102804781A (zh) * 2009-06-19 2012-11-28 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN101616324A (zh) * 2009-07-28 2009-12-30 谭洪舟 压缩编码图像的块效应去除装置
US20140355670A1 (en) * 2010-05-18 2014-12-04 Sony Corporation Image processing device and image processing method
US20130136371A1 (en) * 2010-06-17 2013-05-30 Sharp Kabushiki Kaisha Image filter device, decoding apparatus, encoding apparatus, and data structure
CN102780887A (zh) * 2011-05-09 2012-11-14 索尼公司 图像处理设备和图像处理方法
CN104079801A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理设备、图像处理方法及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱秀昌；李欣；陈杰: "新一代视频编码标准——HEVC", 《南京邮电大学学报(自然科学版》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963321A (zh) * 2021-10-27 2022-01-21 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质
CN113963321B (zh) * 2021-10-27 2023-08-04 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质

Also Published As

Publication number Publication date
AU2017393149A1 (en) 2019-07-25
KR20190105578A (ko) 2019-09-17
US11190808B2 (en) 2021-11-30
RU2019120747A (ru) 2021-01-15
WO2018131524A1 (ja) 2018-07-19
JP7047776B2 (ja) 2022-04-05
US20200077120A1 (en) 2020-03-05
JPWO2018131524A1 (ja) 2019-11-07
BR112019013976A2 (pt) 2020-03-03
CN110169063B (zh) 2022-03-01
KR102477784B1 (ko) 2022-12-15
EP3570543A1 (en) 2019-11-20
CN114520915A (zh) 2022-05-20
CA3048382A1 (en) 2018-07-19
EP3570543A4 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
CN110169063A (zh) 图像处理装置和图像处理方法
CN104396256B (zh) 解码设备和解码方法
CN104539969B (zh) 图像处理装置和图像处理方法
CN105900424B (zh) 解码装置、解码方法、编码装置以及编码方法
CN104247428B (zh) 解码装置和解码方法以及编码装置和编码方法
CN104956675B (zh) 图像处理装置和图像处理方法
CN109076226A (zh) 图像处理装置和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN109076217A (zh) 图像处理装置和图像处理方法
WO2017191750A1 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
CN104620586B (zh) 图像处理装置和方法
CN110169072A (zh) 图像处理装置和图像处理方法
CN109076219A (zh) 图像解码装置以及图像编码装置
KR20200038933A (ko) 화상 처리 장치 및 화상 처리 방법
CN109691100A (zh) 图像处理设备和图像处理方法
CN107683606A (zh) 图像处理装置和图像处理方法
CN110476427A (zh) 编码装置和编码方法以及解码装置和解码方法
CN110383836A (zh) 编码装置、编码方法、解码装置和解码方法
CN111133757B (zh) 编码设备、编码方法、解码设备和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant