CN111386703B - 编码装置、编码方法、解码装置和解码方法 - Google Patents

编码装置、编码方法、解码装置和解码方法 Download PDF

Info

Publication number
CN111386703B
CN111386703B CN201880076051.9A CN201880076051A CN111386703B CN 111386703 B CN111386703 B CN 111386703B CN 201880076051 A CN201880076051 A CN 201880076051A CN 111386703 B CN111386703 B CN 111386703B
Authority
CN
China
Prior art keywords
prediction
unit
image
filter
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880076051.9A
Other languages
English (en)
Other versions
CN111386703A (zh
Inventor
川合拓郎
细川健一郎
森藤孝文
池田优
近藤健治
永野隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111386703A publication Critical patent/CN111386703A/zh
Application granted granted Critical
Publication of CN111386703B publication Critical patent/CN111386703B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及使得能够精确地恢复图像的编码装置、编码方法、解码装置和解码方法。编码装置对被局部解码的解码图像执行规定抽头系数与解码图像的像素之间的积和计算，执行应用包括二阶到更高阶的高阶项的预测表达式的滤波处理，并且生成滤波图像。另外，编码装置通过使用滤波图像对原始图像进行编码。解码装置通过使用滤波图像对包括在编码比特流中的编码数据进行解码，以生成解码图像。另外，解码装置对解码图像执行应用了预测表达式的滤波处理，并且生成滤波图像。本技术可以应用于对图像进行编码和解码的情况。

Description

编码装置、编码方法、解码装置和解码方法
技术领域
本技术涉及编码装置、编码方法、解码装置和解码方法，并且具体地涉及例如使得可以准确地恢复图像的编码装置、编码方法、解码装置和解码方法。
背景技术
作为高效率视频编码(HEVC)的后继标准，未来视频编码(FVC)的标准化正在进行中，并且除了去块滤波器和自适应偏移滤波器之外，已经研究了双边滤波器和自适应环路滤波器作为用于图像的编码和解码的环路内滤波器(ILF)(例如，参见非专利文献1)。
此外，作为对现有的自适应环路滤波器进行改进的滤波器，还设计了几何自适应环路滤波器(GALF)(例如，参见非专利文献2)。
引文列表
非专利文献
非专利文献1：Algorithm description of Joint Exploration Test Model 7(JEM7),2017-08-19
非专利文献2：Marta Karczewicz,Li Zhang,Wei-Jung Chien,Xiang Li,“Geometry transformation-based adaptive in-loop filter”,IEEE Picture CodingSymposium(PCS),2016。
发明内容
本发明要解决的问题
在目前设计的自适应环路滤波器中，由于图像中的编码而劣化的部分的恢复准确度不够，并且需要设计具有更高恢复准确度的环路内滤波器。
本技术是鉴于这样的状况而完成的，并且其旨在使得可以准确地恢复图像。
问题的解决方案
本技术的解码装置是包括以下的解码装置：解码单元，其通过使用滤波图像来对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及滤波器单元，其通过对由解码单元生成的解码图像执行滤波器处理来生成滤波器图像，滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算。
本技术的解码方法是包括以下的解码方法：通过使用滤波器图像对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及通过对解码图像执行滤波器处理来生成滤波器图像，滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算。
在本技术的解码装置和解码方法中，通过使用滤波器图像对编码比特流中所包括的编码数据进行解码，并且生成解码图像。此外，对解码图像进行应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算的滤波器处理，并且生成滤波器图像。
本技术的编码装置是包括以下的编码装置：滤波器单元，其通过对局部解码的解码图像执行滤波器处理来生成滤波器图像，滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算；以及编码单元，其通过使用由滤波器单元生成的滤波器图像来对原始图像进行编码。
本技术的编码方法是包括以下的编码方法：通过对局部解码的解码图像执行滤波器处理来生成滤波器图像，滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算；以及通过使用滤波器图像对原始图像进行编码。
在本技术的编码装置和编码方法中，对局部解码的解码图像进行应用包括二阶或更高阶的高阶项的预测方程并且执行预定抽头系数与解码图像的像素的积和计算的滤波器处理，并且生成滤波器图像。然后，通过使用滤波器图像对原始图像进行编码。
注意，编码装置和解码装置各自可以是独立的装置或包括在一个装置中的内部块。
此外，可以通过使计算机执行程序来实现编码装置和解码装置。该程序可以通过经由传输介质传输或者通过记录在记录介质上来提供。
本发明的效果
根据本技术，可以准确地恢复图像。
注意，此处描述的效果不一定受限制，并且可以是本公开内容中描述的任何效果。
附图说明
[图1]图1是示出作为使用高阶预测方程从经过编码和解码的解码图像中预测解码图像的原始图像的预测处理的滤波器处理的示例的图。
[图2]图2是示出在所有组合预测方程中预测抽头的数目与抽头系数的数目之间的关系的图。
[图3]图3是示出从所有组合预测方程中选择一些项的示例的图。
[图4]图4是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的示例的图。
[图5]图5是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的其它示例的图。
[图6]图6是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的另外其他示例的图。
[图7]图7是示出高阶预测方程中包括的抽头系数的表达式格式的图。
[图8]图8是示出应用本技术的图像处理系统的实施方式的概要的框图。
[图9]图9是示出滤波器单元24和滤波器单元33的配置示例的概要的框图。
[图10]图10是示出编码装置11的编码处理的概要的流程图。
[图11]图11是示出由解码装置12进行的解码处理的概要的流程图。
[图12]图12是示出执行类别分类预测处理的预测装置的第一配置示例的框图。
[图13]图13是示出对存储在系数获取单元103中的抽头系数执行学习的学习装置的配置示例的框图。
[图14]图14是示出学习单元113的配置示例的框图。
[图15]图15是示出执行类别分类预测处理的预测装置的第二配置示例的框图。
[图16]图16是示出执行学习以获得存储在系数获取单元131中的种子系数的学习装置的配置示例的框图。
[图17]图17是示出学习单元143的配置示例的框图。
[图18]图18是示出编码装置11的详细配置示例的框图。
[图19]图19是示出ILF 211的配置示例的框图。
[图20]图20是示出学习装置231的配置示例的框图。
[图21]图21是示出预测装置232的配置示例的框图。
[图22]图22是示出编码装置11的编码处理的示例的流程图。
[图23]图23是示出预测编码处理的示例的流程图。
[图24]图24是示出滤波器处理的示例的流程图。
[图25]图25是示出解码装置12的详细配置示例的框图。
[图26]图26是示出ILF 306的配置示例的框图。
[图27]图27是示出预测装置331的配置示例的框图。
[图28]图28是示出解码装置12的解码处理的示例的流程图。
[图29]图29是示出预测解码处理的示例的流程图。
[图30]图30是示出滤波器处理的示例的流程图。
[图31]图31是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
<支持技术内容和技术术语的文献等>
本申请中公开的范围不仅包括本说明书和附图中描述的内容，而且还包括提交时已知的以下文献中描述的内容。
文献1：AVC标准(“Advanced video coding for generic audiovisualservices”,ITU-T H.264(04/2017))
文献2：HEVC标准(“High efficiency video coding”,ITU-T H.265(12/2016))
文献3：FVC算法参考(Algorithm description of Joint Exploration TestModel 7(JEM7),2017-08-19)
也就是说，上述文献中描述的内容也是用于确定支持要求的基础。例如，即使在实施方式中不存在文献1中描述的四叉树块结构、文献3中描述的四叉树加二叉树(QTBT)或块结构的直接描述的情况下，其也在本技术的公开内容的范围内，并且满足权利要求的支持要求。此外，类似地，即使在实施方式中同样不存在对技术术语例如解析、语法、语义等的直接描述的情况下，其也在本技术的公开内容的范围内，并且满足权利要求的支持要求。
此外，在本说明书中，除非另有说明，否则用于描述为图像(图片)的部分区域或处理单元的“块”(不是指示处理单元的块)指示图片中的任意部分区域，并且大小、形状、特性等不受限制。例如，“块”包括任意部分区域(处理单元)，例如在上面提及的文献1至文献3中描述的变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、转换块、子块、宏块、图块或片。
此外，在指定这种块的大小时，不仅可以直接指定块大小，还可以间接指定块大小。例如，可以通过使用用于识别大小的识别信息来指定块大小。此外，例如，块大小可以由与参考块(例如，LCU、SCU等)的大小的比率或与参考块的大小的差异来指定。例如，在用于指定块大小的信息作为语法元素等被发送的情况下，如上所述用于间接指定大小的信息可以被用作该信息。通过这样做，可以减少信息量，并且在一些情况下可以提高编码效率。此外，块大小的指定还包括块大小范围的指定(例如，能够允许的块大小范围的指定等)。
<定义>
在本申请中，如下定义以下术语。
预测方程是根据第一图像预测第二图像的多项式。作为多项式的预测方程的每一项包括一个抽头系数与一个或更多个预测抽头的乘积，并且因此预测方程是用于执行抽头系数和预测抽头的积和计算的方程。将第一图像的像素中的用于预测的第i个像素(期望抽头)(其像素值)表示为xi，将第i个抽头系数表示为wi，并且将第二图像的像素(其像素值的预测值)表示为y'，并且采用仅包括一阶项的多项式作为预测方程，预测方程由方程y'＝Σwixi表示。在方程y'＝Σwixi中，Σ表示对i的求和。通过学习以统计地使由预测方程获得的值y'相对于真实值y的误差y'-y最小化，来获得包括在预测方程中的抽头系数wi。作为用于获得抽头系数的学习方法，存在最小二乘法。在用于获得抽头系数的学习中，通过使用学生图像和教师图像来执行对包括在正规方程中的每个项的加法来获得正规方程，并且通过求解正规方程来获得抽头系数，其中，学生图像是学习的学生并且对应于应用了预测方程的第一图像，教师图像是学习的教师并且对应于根据将预测方程应用于第一图像的结果而期望获得的第二图像。
预测处理是将预测方程应用于第一图像以预测第二图像的处理，并且在本技术中，在预测处理中，通过使用第一图像的像素(其像素值)执行预测方程的积和计算来获得第二图像的预测值。可以说，通过使用第一图像执行积和计算是将滤波器应用于第一图像的滤波器处理，并且可以说，通过使用第一图像执行预测方程的积和计算的预测处理是一种滤波器处理。
滤波器图像是指根据滤波器处理的结果而获得的图像。通过作为预测处理的滤波器处理从第一图像获得的第二图像(其预测值)是滤波器图像。
抽头系数是包括在作为预测方程的多项式的各项中的系数，并且与在数字滤波器的抽头处乘以要滤波的信号的滤波器系数相对应。
预测抽头是用于计算预测方程的像素(其像素值)，并且与预测方程中的抽头系数相乘。
高阶项是包括两个或更多个预测抽头(作为预测抽头的像素)的乘积的项。
高阶预测方程是包括高阶项的预测方程，换言之，是包括一阶项和二阶或更高的高阶项的预测方程，或者是仅包括二阶或更高的高阶项的预测方程。
D阶项是包括作为预测方程的多项式中包括的项中的D个预测抽头的乘积的项。例如，一阶项是包括一个预测抽头的项，而二阶项是包括两个抽头系数的乘积的项。
D阶系数是指包括在D阶项中的抽头系数。
D阶抽头是指包括在D阶项中的预测抽头(作为预测抽头的像素)。存在特定像素是D阶抽头并且是与D阶抽头不同的D'阶抽头的情况。此外，D阶抽头的抽头结构和与D阶抽头不同的D'阶抽头的抽头结构不必彼此相同。此处，抽头结构是在作为预测抽头的像素的布置。
所有组合预测方程是如下高阶预测方程，其使用被预定为用作关注像素的预测抽头的像素的候选的所有候选像素，并且包括用于在允许重叠的同时从(候选)像素中选择D个像素作为预测抽头的所有组合中的每一个的D个像素(其像素值)的乘积的项作为D阶项(D>＝2)。
削减预测方程是包括从所有组合预测方程中选择的一些项的高阶预测方程。
体量化是指用多项式来近似被包括在预测方程中的抽头系数，换言之，获得包括在多项式中的系数(种子系数)。在体量化中，当近似抽头系数w的多项式被称为系数预测方程时，系数预测方程包括使用种子系数βm和参数z的项，并且例如由方程w＝Σβmzm-1表示。在方程w＝Σβmzm-1中，Σ表示对m的求和，并且种子系数βm表示系数预测方程的第m个系数。注意，当用于获得第i个抽头系数wi的系数预测方程的第m个种子系数被表示为βm,i时，用于获得第i个抽头系数wi的系数预测方程由方程wi＝∑βm,izm-1表示。
种子系数是指用于体量化的系数预测方程的系数。可以通过与获得抽头系数的学习相似的学习来获得种子系数。
编码数据是通过对图像进行编码而获得的数据，并且是通过例如执行正交变换来量化图像(其残差)而获得的数据。
编码比特流是包括编码数据的比特流，并且根据需要包括关于编码的编码信息。编码信息至少包括对编码数据进行解码所需的信息，换言之，例如，作为在编码中执行量化的情况下的量化参数的QP、在执行预测编码(运动补偿)的情况下的运动矢量等。
<本技术的概述>
图1是示出作为通过使用高阶预测方程从经编码和经解码(包括局部解码)的解码图像中预测解码图像的原始图像的预测处理的滤波器处理的示例的图。
在自适应环路滤波器中，使用仅包括一阶项的预测方程来执行滤波器处理；然而，在这样的滤波器处理中，存在这样的情况，表示由于编码而劣化的原始图像的细节的像素值的小幅度部分无法被充分恢复。
在本技术的ILF中，在解码图像中通过使用包括高阶项的高阶预测方程执行滤波器处理，作为与原始图像的细节相对应的部分而略微剩余的亮度(波形)波动被有效地放大，并且因此包括原始图像的细节的原始图像被准确地恢复。
作为高阶预测方程，如果该高阶预测方程是包括一个抽头系数与作为预测抽头的一个或更多个像素(其像素值)的乘积作为项并且包括高阶项的多项式，则可以采用任何多项式。换言之，作为高阶预测方程，例如可以采用仅包括一阶项和二阶项的多项式、包括一阶项和二阶或更高阶的多个不同阶的高阶项的多项式、包括二阶或更高阶的一个或多个阶的高阶项的多项式等。
但是，以下为了简化说明，将描述采用仅包括一阶项和二阶项的多项式作为高阶预测方程的情况。
这样的高阶多项式可以由方程(1)表示。
[表达式1]
Figure BDA0002506583680000081
此处，在方程(1)中，y'表示对应像素的预测值(其像素值)，对应像素是与解码图像的像素中的关注像素相对应的原始图像的像素。N1表示作为预测抽头中一阶抽头的像素xi的数目，以及抽头系数中的一阶系数wi的数目。抽头系数中的第i个一阶系数由wi表示。作为预测抽头中第i个一阶抽头的像素(其像素值)由xi表示。
此外，在等式(1)中，N2表示作为预测抽头中二阶抽头的像素的数目xj(xk)，以及抽头系数中二阶系数wj,k的数目。在抽头系数中的第j×k个二阶系数由wj,k表示。作为预测抽头中第j个和第k个二阶抽头的像素分别由xj和xk表示(k>＝j)。
注意，此处，对于方程(1)的描述，一阶抽头由xi表示，并且二阶抽头由xj和xk表示，但是在下文中，一阶抽头和二阶抽头不是通过附加到x的后缀来特别地彼此区分。换言之，例如，不考虑一阶抽头或二阶抽头，一阶抽头xi、二阶抽头xi、预测抽头xi等都通过使用xi来描述。这同样适用于作为抽头系数的一阶系数wi和二阶系数wj,k。
如图1的A所示，在方程(1)中，wixi表示一阶项，并且wj,kxkxj表示二阶项。因此，方程(1)的高阶预测方程是仅包括一阶项和二阶项的多项式。
现在，如下高阶预测方程被称为所有组合预测方程，该高阶预测方程使用被预定为用作预测抽头的像素的候选的所有候选像素作为预测抽头，并且包括用于在允许重叠的同时从候选像素中选择D个像素的所有组合中的每一个的D个像素(其像素值)的乘积的项作为D阶项。
方程(1)的高阶预测方程是在一阶抽头的候选像素的数目是N1并且二阶抽头的候选像素的数目是N2的情况下的所有组合预测方程。
在作为一阶抽头的像素的数目是N1的情况下，所有组合预测方程中的一阶项的数目N1'等于一阶抽头的数目N1。在作为二阶抽头的像素的数目是N2的情况下，所有组合预测方程中的二阶项的数目N2'由方程(2)表示。
[表达式2]
Figure BDA0002506583680000091
在方程(2)中，floor表示向下取整，ceil表示向上取整。
注意，除了方程(2)之外，所有组合预测方程中的二阶项N2'的数目可以由方程N2'＝N2C2+N2来表示。从N2中选择两个而不重复组合的数目由N2C2表示。
在对解码图像应用高阶预测方程的滤波器处理中，换言之，在例如通过执行方程(1)的高阶预测方程的积和计算来获得与解码图像的关注像素相对应的原始图像的对应像素的像素值的预测值y'时，从解码图像的像素中选择预测抽头。
在图1的B中，示出了预测抽头的示例，换言之，例如，一阶抽头和二阶抽头。
在图1的B中，一阶抽头是以关注像素为中心的菱形形状的13个像素，而二阶抽头是以关注像素为中心的菱形形状的五个像素。因此，在图1的B中，一阶抽头的抽头结构和二阶抽头的抽头结构彼此不同。此外，在作为一阶抽头的13个像素中，以关注像素为中心的菱形形状的五个像素也是二阶抽头。
此处，在一阶抽头的数目N1与二阶抽头的数目N2彼此相等(N1＝N2)的情况下，在所有组合预测方程中，一阶项的数目N1'与二阶项的数目N2'之间的关系(换言之，一阶系数wi的数目N1'与二阶系数wj,k的数目N2'之间的关系)由表达式N1'＜＝N2'表示。
通过对解码图像应用包括高阶项的预测方程(例如，方程(1)的高阶预测方程)的滤波器处理，可以准确地恢复原始图像的细节，这对于仅包括一阶项的预测方程是困难的。
注意，除了本技术的ILF之外，高阶预测方程还可以应用于当前设计的自适应环路滤波器等。
此外，一阶抽头的候选像素和二阶抽头的候选像素、或者一阶抽头的抽头结构和二阶抽头的抽头结构可以彼此相同，或者可以彼此不同。
此外，类似于获得仅包括一阶项的预测方程的抽头系数的学习，通过基于最小二乘法对包括在正规方程中的各项的执行加法并求解正规方程来获得正规方程，可以执行获得高阶预测方程的抽头系数(方程(1)的一阶系数Wi和二阶系数Wj,k等)的学习。
此外，高阶预测方程的抽头系数可以由多项式来体积化和近似。在高阶预测方程的抽头系数的体量化中，对于近似抽头系数的多项式的阶，可以在抽头系数中的一阶系数与二阶系数之间采用相同的值或不同的值。
此外，高阶预测方程中包括的抽头系数可以通过在对图像进行编码的编码装置中的实时学习来获得，并且可以被发送至对图像进行解码的解码装置。
此外，高阶预测方程中包括的抽头系数可以通过离线学习预先获得，并且预设在编码装置和解码装置中。
此外，在学习中，可以针对多个类别中的每一个获得高阶预测方程中包括的抽头系数。在这种情况下，可以通过使用高阶预测方程来执行滤波器处理，该高阶预测方程包括根据对关注像素执行类别分类的结果获得的关注像素的类别的抽头系数。注意，通过类别分类获得的类别的数目是一个类的情况等同于不执行类别分类。
图2是示出在所有组合预测方程中预测抽头的数目与抽头系数的数目之间的关系的图。
换言之，图2示出了在所有组合预测方程中一阶抽头的数目N1与一阶系数的数目N1'之间的关系以及二阶抽头的数目N2与二阶系数的数目N2'之间的关系。
在所有组合预测方程中，一阶系数的数目N1'与一阶抽头的数目N1匹配，而二阶系数的数目N2'相对于二阶抽头的数目N2指数地增加。
因此，在采用所有组合预测方程作为高阶预测方程的情况下，抽头系数的数目是巨大的。因此，在抽头系数从编码装置被发送至解码装置的情况下，编码效率降低，并且在抽头系数被预设在编码装置和解码装置中的情况下，存储抽头系数所需的存储容量增加。
因此，在本技术中，可以通过使用削减预测方程来执行滤波器处理，削减预测方程是包括从所有组合预测方程中选择的一些项的高阶预测方程。在这种情况下，可以减少滤波器处理所需的抽头系数的数目，并且抑制编码效率的降低以及存储抽头系数所需的存储容量的增加。
此处，以下为了简化描述，关于在采用所有组合预测方程的情况下编码效率的降低和用于存储抽头系数所需的存储容量的增加，将仅提及编码效率的降低。
图3是示出从所有组合预测方程中选择一些项的示例的图。
现在，例如，假设以关注像素为中心的菱形形状的41个像素是可以被选择为预测抽头(一阶抽头和二阶抽头)的候选像素。
例如，在采用所有41个候选像素作为预测抽头并且仅采用具有41个预测抽头的一阶项的预测方程的情况下，对于一个类别仅需要41个抽头系数。然而，在仅使用一阶项的预测方程的情况下，存在不能准确地恢复由于编码而劣化的原始图像的细节的情况。
此处，采用所有41个候选像素作为预测抽头并且仅采用具有41个预测抽头的一阶项的预测方程的情况被称为作为比较参考的参考情况。此外，以下为了简化描述，将适当地省略对类别的描述。换言之，在下文中，除非另外指定，否则抽头系数等的描述是对每个类别的抽头系数等的描述。
例如，如图3的A所示，在采用所有41个候选像素作为预测抽头并且采用包括41个预测抽头的二阶项的高阶预测方程的情况下，换言之，例如，在采用仅包括方程(1)的一阶项和二阶项的所有组合预测方程的情况下，由于作为高阶项的二阶项的影响，与参考情况相比，可以准确地恢复由于编码而劣化的原始图像的细节。
现在，在抽头系数被表示为A并且作为预测抽头的第i个像素被表示为xi的情况下，高阶预测方程的一阶项被表示为Axi，并且高阶预测方程的二阶项由Axixj(i<＝j)来表示。
例如，在预定候选像素是41个像素的情况下，所有组合预测方程的一阶项的数目是41，即等于41个候选像素，并且所有组合预测方程的二阶项的数目是41×40/2+41＝861，即，等于41个候选像素的可能组合(包括相同像素的组合)的数目。在候选像素的数目是41的情况下，所有组合预测方程的41个一阶项由Ax1、Ax2、...、Ax41表示，并且所有组合预测方程的861个二阶项由Ax1x1、Ax1x2、...、Ax1x41、Ax2x2、Ax2x3、...、Ax2x41、...、Ax41x41表示。
在采用所有41个候选像素作为预测抽头并且采用包括41个预测抽头的一阶项和二阶项的所有组合预测方程进行滤波器处理的情况下，一个类别的抽头系数是包括作为一阶项抽头系数的41个抽头系数和作为二阶项抽头系数的861个抽头系数的902个抽头系数，并且与参考情况相比，抽头系数的数目以及因此数据量大大增加，并且编码效率降低。
因此，在本技术中，从所有组合预测方程中包括的项中仅选择具有大的图像质量改善效果的项，并且在用于滤波器处理的高阶预测方程中采用该项，从而恢复反映原始图像的细节的高精度图像，同时抑制抽头系数的数据量。
此处，包括从所有组合预测方程中选择的一些项的高阶预测方程也被称为削减预测方程。
在所有组合预测方程的项(其抽头系数)中，接近关注像素的像素的项(其抽头系数)倾向于具有大的图像质量改善效果。
因此，在本技术中，采用所有组合预测方程的项中的接近关注像素的像素(预测抽头)的项作为削减预测方程的项。
换言之，在本技术中，例如，在使用41个预测抽头的所有组合预测方程的41个一阶项中，选择接近关注像素的像素(预测抽头)的一阶项，并且采用该一阶项作为削减预测方程的一阶项。例如，选择接近关注像素的候选像素而不是所有41个候选像素作为一阶预测抽头对应于选择接近关注像素的像素的一阶项。
在选择接近关注像素的像素的一阶项作为削减预测方程的一阶项的情况下，一阶项抽头系数(一阶系数)的数目小于参考情况下的41。
例如，如图3的B所示，在菱形形状的41个候选像素的一阶项中，选择以关注像素为中心的菱形形状中的25个候选像素的一阶项作为削减预测方程的一阶项，由此削减预测方程的一阶系数的数目比参考情况下的一阶系数的数目少16(＝41-25)。
类似地，在本技术中，例如，在使用41个预测抽头的所有组合预测方程的861个二阶项中，选择接近关注像素的像素的二阶项，并且采用该二阶项作为削减预测方程的二阶项。例如，选择接近关注像素的候选像素而不是所有41个候选像素作为二阶预测抽头对应于选择接近关注像素的像素的二阶项。
在选择接近关注像素的像素的二阶项作为削减预测方程的二阶项的情况下，二阶项抽头系数(二阶系数)的数目小于参考情况下的861。
例如，如图3的B所示，在菱形形状的41个候选像素的二阶项中，选择以关注像素为中心的十字形状中的5个候选像素的二阶项作为削减预测方程的二阶项，由此削减预测方程中的二阶系数的数目为15(＝5×4/2+5)，其是五个像素中的任意两个像素的组合(包括相同两个像素的组合)，其与参考情况相比大大减少。
如上所述，在使用41个候选像素作为预测抽头的所有组合预测方程的项中，选择接近关注像素的像素的项，并且采用该项作为削减预测方程的项，由此一阶项抽头系数的数目是25，而二阶项抽头系数的数目是15。因此，通过将一阶项和二阶项的抽头系数相加而获得的一个类别中的抽头系数的数目是40，并且抽头系数的数据量可以被减少到与参考情况下的数据量几乎相同的量，并且可以提高编码效率。此外，由于削减预测方程的二阶系数(二阶项抽头系数)的影响，可能很难利用一阶系数(一阶项抽头系数)来准确地恢复原始图像的细节。
注意，如上所述，一个类别的抽头系数是包括25个一阶项抽头系数和15个二阶项抽头系数的总共40个抽头系数的事实可以说是，通过减少参考情况的41个抽头系数的范围内的一阶项抽头系数来确保二阶项抽头系数的使用(传输容量)。
用于从包括在所有组合预测方程中的项中选择要采用的具有大的图像质量改善效果的项以作为削减预测方程的项的选择标准包括：基于率失真(RD)成本的标准、基于峰值信噪比(PSNR)的标准、基于抽头系数的大小的标准、基于表示抽头系数所需的比特深度的标准等。
在基于RD成本的标准或基于PSNR的标准中，例如，在使用所有组合预测方程的滤波器处理中，与使用从所有组合预测方程中删除了特定项的削减预测方程的滤波器处理相比，RD成本或PSNR的改进大于或等于阈值的情况下，选择从所有组合预测方程中删除的项作为削减预测方程的项。
在基于抽头系数的大小的标准中，例如，选择抽头系数的大小(绝对值)大于或等于预定阈值的项作为削减预测方程的项。
在基于表示抽头系数所需的比特深度的标准中，例如，表示抽头系数所需的比特深度的项(换言之，当由大于或等于阈值的二进制数表示抽头系数时的有效数字的数目(有效位数))被选择作为削减预测方程的项。
注意，在例如在基于表示抽头系数所需的比特深度的标准中，从所有组合预测方程中选择R1个一阶项和R2个二阶项作为削减预测方程的项的情况下，从所有组合预测方程的一阶项中选择表示抽头系数所需的比特深度在前R1位内的一阶项，并且从所有组合预测方程的二阶项中选择表示抽头系数所需的比特深度在前R2位内的二阶项。这同样适用于基于RD成本的标准、基于PSNR的标准和基于抽头系数的大小的标准。
此外，在从所有组合预测方程中包括的项中选择要在削减预测方程中采用的项时，可以在用于从所有组合预测方程中选择项的所有选择模式等中，确定平衡关于使用所有组合预测方程的滤波器处理的PSNR的减少量和抽头系数的数据量的减少量的选择模式，作为要在削减预测方程中采用的项的选择模式，并且根据该选择模式来选择要在削减预测方程中采用的项。
如上所述，根据使用包括从所有组合预测方程中选择的一些项的削减预测方程的滤波器处理，可以准确地恢复由于编码而劣化的原始图像的细节，同时抑制编码效率的降低。
图4是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的示例的图。
注意，在下文中，除非另外指定，否则作为用于从所有组合预测方程的一阶项中选择削减预测方程的一阶项的一阶项选择模式，例如，如图4的A所示，固定地采用如下模式：用于选择作为菱形形状中的41个预测抽头的像素的一阶项中接近关注像素的像素的一阶项作为削减预测方程的一阶项，换言之，以关注像素为中心的菱形形状的25个像素。在这种情况下，一阶项抽头系数(一阶系数)的数目是25。
作为二阶项选择模式，例如，如图4的B所示，可以采用第一选择模式，用于在作为菱形形状的41个预测抽头的像素的二阶项中，选择以关注像素作为中心的菱形形状的五个像素的二阶项作为削减预测方程的二阶项。五个像素的二阶项的总数是15(＝5×4/2+5)。
此外，作为二阶项选择模式，例如，如图4的C所示，可以采用第二选择模式，用于在作为菱形形状的41个预测抽头的像素的二阶项中，选择以关注像素为中心的菱形形状的13个像素的二阶项，作为削减预测方程的二阶项。13个像素的二阶项的总数是91(＝13×12/2+13)。
此外，作为二阶项选择模式，例如，如图4的D所示，可以采用第三选择模式，用于在作为菱形形状的41个预测抽头的像素的二阶项中选择关注像素的一个像素的二阶项，作为削减预测方程的二阶项。一个像素的二阶项的总数是一，即，仅是一个像素的平方项(其像素值)。
在选择削减预测方程的二阶项时，可以固定地采用如上所述的选择模式。
此外，在选择削减预测方程的二阶项时，可以在用于从所有组合预测方程中选择二阶项的所有选择模式中，确定平衡关于使用所有组合预测方程的滤波器处理的PSNR的减少量和抽头系数的数据量的减少量的选择模式或优化诸如RD成本的编码效率(其索引)的选择模式，作为要在削减预测方程中采用的二阶项的选择模式(在下文中，也称为采用模式)，并且根据该选择模式选择要在削减预测方程中采用的二阶项。
此外，在选择削减预测方程的二阶项时，如图4所示，可以预先准备诸如第一选择模式至第三选择模式的多个选择模式，作为用于从所有组合预测方程中以及从预先准备的多个选择模式中选择的二阶项的选择模式，将平衡关于使用所有组合预测方程的滤波器处理的PSNR的减少量和抽头系数的数据量的减少量的选择模式、或优化编码效率的选择模式确定为采用模式，并且根据该采用模式(确定为采用模式的选择模式)选择要在削减预测方程中采用的二阶项。
注意，关于要在削减预测方程中采用的一阶项和二阶项的选择，对于一阶项和二阶项的每一个，用于执行选择的选择模式是固定的，并且在编码装置和解码装置中，使用包括根据固定的选择模式选择的一阶项和二阶项的削减预测方程可以执行滤波器处理。
此外，关于要在削减预测方程中采用的一阶项和二阶项的选择，可以预先准备多个选择模式作为用于选择一阶项和二阶项的选择模式，并且将每个选择模式与当选择模式时其编码效率趋于提高的图像的编码信息(诸如QP)相关联。然后，在编码装置和解码装置中，可以取决于解码图像(其原始图像)的诸如QP的编码信息，将与编码信息相关联的选择模式确定为采用模式，并且根据采用模式选择要在削减预测方程中采用的一阶项和二阶项。
此外，关于要在削减预测方程中采用的一阶项和二阶项的选择，可以预先准备多个选择模式作为用于选择一阶项和二阶项的选择模式。然后，在编码装置中，可以确定例如多个选择模式中的优化编码效率的选择模式作为采用模式，并且根据该采用模式选择要在削减预测方程中采用的一阶项和二阶项。此外，在这种情况下，在编码装置中，表示采用模式(被确定为采用模式的选择模式)的选择信息可以被发送至解码装置，并且在解码装置中，可以根据来自编码装置的由选择信息表示的采用模式来选择要在削减预测方程中采用的一阶项和二阶项。
如上所述，准备多个选择模式并且取决于编码信息和编码效率从所述多个选择模式中确定采用模式(要作为采用模式的选择模式)的方法也可以应用于削减预测方程的一阶项的选择模式是固定的并且仅为二阶项准备多个选择模式的情况。
图5是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的其它示例的图。
此处，在图5中，圆圈表示作为预测抽头的像素。此外，圆圈中的黑点表示作为由圆圈表示的预测抽头的像素的平方(其二阶项)，并且连接两个不同圆圈的线表示作为分别由两个圆圈表示的预测抽头的像素的乘积(其二阶项)。
例如，在采用包括关注像素和与其上、下、左和右相邻的四个像素的菱形形状(十字形状)的五个像素作为二阶抽头的情况下，如图5的A所示，可以采用用于选择总共15个二阶项的模式作为二阶项选择模式，15个二阶项包括作为菱形形状的相应五个像素的平方的5个二阶项和作为菱形形状的五个像素中的任意两个像素的10个组合(其积)的10个二阶项。
在这种情况下，(一个类别的)抽头系数的数目总共是40个，包括25个一阶系数和15个二阶项抽头系数(二阶系数)。
在采用包括关注像素和与其上、下、左和右相邻的四个像素的菱形形状(十字形状)的五个像素作为二阶抽头的情况下，例如，除了上述模式之外，可以采用以下选择模式作为二阶项选择模式。
换言之，例如，作为二阶项选择模式，如图5的B所示，可以采用用于选择总共九个二阶项的模式，九个二阶项包括作为二阶抽头的菱形形状的相应五个像素的正方形的五个二阶项以及作为关注像素与相应其它四个像素的乘积的四个二阶项。
在这种情况下，抽头系数的数目总共是34个，包括25个一阶系数和9个二阶项抽头系数。
此外，例如，作为二阶项选择模式，如图5的C所示，可以采用用于选择总共五个二阶项的模式，五个二阶项包括作为二阶抽头的菱形形状的五个像素中的关注像素的平方的一个二阶项以及作为关注像素与相应的其他四个像素的乘积的四个二阶项。
在这种情况下，抽头系数的数目总共是30个，包括25个一阶系数和5个二阶项抽头系数。
此外，例如，作为二阶项选择模式，如图5的D所示，可以采用用于选择作为二阶抽头的菱形形状的相应五个像素的正方形的五个二阶项的模式。
在这种情况下，抽头系数的数目总共是30个，包括25个一阶系数和5个二阶项抽头系数。
图6是示出用于从所有组合预测方程的二阶项中选择削减预测方程的二阶项的二阶项选择模式的另外其他示例的图。
注意，图6示出了作为二阶项选择模式的四个选择模式1、2、3和4。
此外，图6示出了在参考情况的所有41个候选像素被用作一阶抽头和二阶抽头的情况下参考情况的抽头系数和所有组合预测方程的抽头系数。
根据参考情况的滤波器处理，仅要求(一个类别的)抽头系数的数目为41，即一阶系数的数目，但是存在这样的情况，即，在通过使用包括41个一阶系数的预测方程的滤波器处理获得的滤波器图像中，不能充分地恢复原始图像的细节(小幅度部分)。
根据使用所有组合预测方程的滤波器处理，可以在通过滤波器处理获得的滤波器图像中充分地恢复原始图像的细节。然而，在这种情况下，包括一阶系数和二阶系数的抽头系数的数目是902，并且抽头系数的数据量大。
在选择模式1至4中，在参考情况的41个候选像素中，选择以关注像素为中心的菱形形状的25个(候选)像素的一阶项作为削减预测方程的一阶项。因此，在选择模式1至4中，一阶项抽头系数(一阶系数)的数目是25。
然后，在选择模式1中，采用包括关注像素和与其上、下、左和右相邻的四个像素的菱形形状的五个像素作为二阶抽头，并且选择总共15个二阶项作为削减预测方程的二阶项，15个二阶项包括作为二阶抽头的相应五个像素的平方的5个二阶项和作为菱形形状的五个像素中的任意两个像素的10个组合(其乘积)的10个二阶项。
根据使用选择模式1的削减预测方程的滤波器处理，抽头系数的数目总共是40个，包括25个一阶项一阶系数和15个二阶项二阶系数，并且小于参考情况的抽头系数的数目。
此外，根据使用选择模式1的削减预测方程的滤波器处理，在通过滤波器处理获得的滤波图像中，由于二阶项的影响，可以充分地恢复原始图像的细节。
换言之，根据使用选择模式1的削减预测方程的滤波器处理，通过使一阶项(其抽头系数)小于参考情况的一阶项(其抽头系数)来确保二阶项(其抽头系数)的使用(用于发送二阶项抽头系数的传输容量)。此外，通过选择接近关注像素的像素的二阶项作为削减预测方程的二阶项，利用更少数目的二阶项，换言之，利用数据量更少的二阶系数，可以保持与使用所有组合预测方程的滤波器处理的细节恢复性能几乎等效(接近)的细节恢复性能。
在选择模式2中，采用包括关注像素和(垂直地、水平地和对角地)围绕关注像素的相邻八个像素的正方形形状中的九个像素作为二阶抽头。然后，选择总共九个二阶项作为削减预测方程的二阶项，九个二阶项包括作为二阶抽头的九个像素中的关注像素的平方的一个二阶项和关注像素与相应的其它八个像素的乘积的八个二阶项，或者作为二阶抽头的相应九个像素的平方的九个二阶项。
根据使用选择模式2的削减预测方程的滤波器处理，抽头系数的数目总共是34个，包括25个一阶项一阶系数和9个二阶项二阶系数，并且小于参考情况的抽头系数的数目，并且此外，小于选择模式1的抽头系数的数目。
此外，根据使用选择模式2的削减预测方程的滤波器处理，在通过滤波器处理获得的滤波器图像中，由于二阶项的影响，可以充分地恢复原始图像的细节。
换言之，根据使用选择模式2的削减预测方程的滤波器处理，通过使一阶项(其抽头系数)小于参考情况的一阶项(其抽头系数)来确保二阶项(其抽头系数)的使用。此外，通过选择接近关注像素的像素的二阶项作为削减预测方程的二阶项，利用更少数目的二阶项，换言之，利用具有更少数据量的二阶系数，可以保持与使用所有组合预测方程的滤波器处理的细节恢复性能几乎等效的细节恢复性能。
在要恢复的原始图像是垂直地、水平地和对角地(具有垂直、水平和对角方向性)扩展的图案的情况下，选择模式2特别有效。
在选择模式3中，采用包括关注像素和与关注像素垂直和水平相邻的四个像素的十字形状中的五个像素作为二阶抽头。然后，选择总共五个二阶项作为削减预测方程的二阶项，五个二阶项包括作为二阶抽头的五个像素中的关注像素的平方的一个二阶项和关注像素与相应的其它四个像素的乘积的四个二阶项、或者作为二阶抽头的相应五个像素的平方的五个二阶项。
根据使用选择模式3的削减预测方程的滤波器处理，抽头系数的数目总共是30个，包括25个一阶项一阶系数和5个二阶项二阶系数，并且小于参考情况的抽头系数的数目，并且此外，小于选择模式1和选择模式2的抽头系数的数目。
此外，根据使用选择模式3的削减预测方程的滤波器处理，在通过滤波器处理获得的滤波器图像中，由于二阶项的影响，可以充分地恢复原始图像的细节。
换言之，根据使用选择模式3的削减预测方程的滤波器处理，通过使一阶项(其抽头系数)小于参考情况的一阶项(其抽头系数)来确保二阶项(其抽头系数)的使用。此外，通过选择接近关注像素的像素的二阶项作为削减预测方程的二阶项，利用更少数目的二阶项，换言之，利用具有更少数据量的二阶系数，可以保维持几乎与使用所有组合预测方程的滤波器处理的细节恢复性能等效的细节恢复性能。
在要恢复的原始图像是具有垂直和水平方向性的图案的情况下，选择模式3特别有效。
在选择模式4中，采用包括关注像素和与关注像素对角相邻的四个像素的X形状中的五个像素作为二阶抽头。然后，选择总共五个二阶项作为削减预测方程的二阶项，五个二阶项包括作为二阶抽头的五个像素中的关注像素的平方的一个二阶项和关注像素与相应的其它四个像素的乘积的四个二阶项、或者作为二阶抽头的相应五个像素的平方的五个二阶项。
根据使用选择模式4的削减预测方程的滤波器处理，抽头系数的数目总共是30个，包括25个一阶项一阶系数和5个二阶项二阶系数，并且小于参考情况的抽头系数的数目，此外，小于选择模式1和选择模式2的抽头系数的数目。
此外，根据使用选择模式4的削减预测方程的滤波器处理，在通过滤波器处理获得的滤波器图像中，由于二阶项的影响，可以充分地恢复原始图像的细节。
换言之，根据使用选择模式4的削减预测方程的滤波器处理，通过从参考情况减少一阶项(其抽头系数)来确保二阶项(其抽头系数)的使用。此外，通过选择接近关注像素的像素的二阶项作为削减预测方程的二阶项，利用更少数目的二阶项，换言之，利用具有更少数据量的二阶系数，可以保持几乎与使用所有组合预测方程的滤波器处理的细节恢复性能等效的细节恢复性能。
在要恢复的原始图像是具有对角线方向性的图案的情况下，选择模式4特别有效。
在该编码装置中，预先准备用于选择可能有助于图像质量的关注像素附近的像素的二阶项的多个选择模式，例如选择模式1至选择模式4，并且将优化编码效率的选择模式确定为要在削减预测方程中采用的二阶项的选择模式(采用模式)，并且发送表示被确定为采用模式的选择信息。
可以以帧为基础、序列为基础或者针对每个任意单元执行从所述多个选择模式中确定采用模式。
此外，关于采用模式的确定，可以将一个选择模式确定为所有类别通用的采用模式，或者可以将一个选择模式确定为每个类别的采用模式。
在一个选择模式被确定为每个类别的采用模式的情况下，可以将优化编码效率的选择模式确定为每个类别的采用模式。
图7是示出高阶预测方程中包括的抽头系数的表达式格式的图。
换言之，图7示出了通过使用多个不同属性(图案)的图像作为用于抽头系数的学习图像，通过执行学习以获得选择模式1的高阶预测方程(削减预测方程)中包括的抽头系数(一阶系数和二阶系数)而获得的抽头系数值的最大值和最小值。
在图7中，水平轴表示抽头系数的阶，并且垂直轴表示抽头系数的值。
在图7中，从1开始的序列号被分配为包括在选择模式1的削减预测方程中的25个一阶系数和15个二阶系数的阶数。
此处，抽头系数由具有诸如8比特的预定比特深度的比特表示。作为用于表示抽头系数的表达式格式，可以采用诸如定点格式和浮点格式的格式；然而，此处为了简化描述，将考虑定点格式。关于定点表达式格式，可以采用整数部分和小数部分取决于具有预定比特深度的比特串中的小数点的位置而具有各种比特深度的表达式格式。
例如，可以针对高阶预测方程(削减预测方程)中包括的项的每个阶来确定抽头系数的表达式格式。
根据图7的抽头系数(其值)的最大值和最小值的趋势，一阶项抽头系数(一阶系数)趋于具有大幅波动的值。因此，关于一阶系数，可以将针对整数部分增加比特深度的表达式格式确定为一阶系数的表达式格式。取决于一阶系数的绝对值，可以确定针对整数部分要增加的比特深度，以便可以确保一阶系数的准确性。
此外，根据图7的抽头系数(其值)的最大值和最小值的趋势，二阶项抽头系数趋向于具有其绝对值较小的值。因此，关于二阶系数，可以将针对小数部分增加比特深度的表达式格式确定为二阶系数的表达式格式。取决于二阶系数的绝对值，可以确定针对小数部分要增加的比特深度，以便可以确保二阶系数的准确性。
注意，二阶系数趋向于具有小于1的大量数位的十进制值，因此在可以采用具有可变比特深度的比特串作为抽头系数的表达式格式的情况下，二阶项的表达式格式可以被确定为具有比一阶项更多比特的比特串。
关于一阶项抽头系数(一阶系数)和二阶项抽头系数(二阶系数)中的每一个，取决于抽头系数的最大值和最小值的趋势，可以预先将表示抽头系数的固定长度比特串的小数点的位置确定到固定位置。
在这种情况下，编码装置将抽头系数作为以预先将小数点的位置确定为固定位置的表达式格式的抽头系数的比特串来发送。然后，解码装置将表示来自编码装置的各阶的项(一阶项和二阶项)的抽头系数的比特串视为预先将小数点的位置确定到固定位置的表达式格式中的比特串，并且执行滤波器处理，换言之，高阶预测方程(削减预测方程)的计算。
此外，关于一阶系数和二阶系数中的每一个，例如，对于每一帧、序列等，可以取决于编码装置中一阶系数和二阶系数中的每一个的绝对值的大小来确定表达式格式，换言之，取决于抽头系数的最大值和最小值的趋势来确定表示抽头系数的固定长度比特串的小数点的位置。
在这种情况下，编码装置以所确定的小数点的位置的表达式格式发送一阶系数和二阶系数，并且针对一阶系数和二阶系数中的每一个发送表示表达式格式的格式信息。然后，解码装置根据来自编码装置的格式信息指定表示来自编码装置的各阶的项(一阶项和二阶项)的抽头系数的比特串的表达式格式，并且将表示抽头系数的比特串视为根据格式信息指定的表达式格式的比特串，并且执行滤波器处理，换言之，高阶预测方程(削减预测方程)的计算。
如上所述，通过确定高阶预测方程(削减预测方程)中包括的项的每阶的抽头系数的表达式格式，可以确保每个阶的项的抽头系数的准确性。
图8是示出应用本技术的图像处理系统的实施方式的概要的框图。
在图8中，图像处理系统包括编码装置11和解码装置12。
编码装置11包括编码单元21、局部解码单元23和滤波器单元24。
编码单元21被提供有作为要被编码的图像的原始图像(数据)，并且被提供有来自滤波器单元24的滤波器图像。
编码单元21通过使用来自滤波器单元24的滤波器图像对原始图像执行(预测)编码，并且将通过编码获得的编码数据提供给局部解码单元23。
换言之，编码单元21从原始图像中减去通过对来自滤波器单元24的滤波器图像执行运动补偿而获得的原始图像的预测图像，并且对根据减法的结果而获得的残差进行编码。
编码单元21生成并发送(发出)包括编码数据和从滤波器单元24提供的滤波器信息的编码比特流。此处，滤波器信息包括高阶预测方程(削减预测方程)中包括的抽头系数，此外，根据需要还包括选择信息和格式信息。
因此，除了编码数据之外，由编码单元21生成的编码比特流是根据需要还包括抽头系数、选择信息和格式信息的比特流。
局部解码单元23被提供有来自编码单元21的编码数据，并且还被提供有来自滤波器单元24的滤波器图像。
局部解码单元23通过使用来自滤波器单元24的滤波器图像对来自编码单元21的编码数据执行局部解码，并且将根据局部解码的结果而获得的(局部)解码图像提供给滤波器单元24。
换言之，局部解码单元23将来自编码单元21的编码数据解码为残差，并且对来自滤波器单元24的滤波图像执行运动补偿而获得的原始图像的预测图像与残差相加，以生成对原始图像进行解码而获得的解码图像。
滤波器单元24执行将高阶预测方程(削减预测方程)应用于来自局部解码单元23的解码图像的滤波器处理，以生成滤波器图像，并且将该滤波器图像提供给编码单元21和局部解码单元23。
此外，在执行滤波器处理时，滤波器单元24执行学习，以获得高阶预测方程(削减预测方程)中包括的抽头系数，并且根据需要确定抽头系数的采用模式和表达式格式。然后，滤波器单元24将抽头系数、表示采用模式的选择信息、以及表示抽头系数的表达式格式的格式信息作为与滤波器处理有关的滤波器信息提供给编码单元21。
解码装置12包括解析单元31、解码单元32和滤波器单元33。
解析单元31接收由编码装置11发送的编码比特流，并且执行解析，以提取(获得)包括在编码比特流中的滤波器信息，并且将滤波器信息提供给滤波器单元33。此外，解析单元31将包括在编码比特流中的编码数据提供给解码单元32。
解码单元32被提供有来自解析单元31的编码数据，并且还被提供有来自滤波器单元33的滤波器图像。
解码单元32通过使用来自滤波器单元33的滤波器图像对来自解析单元31的编码数据执行解码，并且将根据解码的结果获得的解码图像提供给滤波器单元33。
换言之，类似于局部解码单元23，解码单元32将来自解析单元31的编码数据解码为残差，并且将通过对来自滤波器单元33的滤波器图像执行运动补偿而获得的原始图像的预测图像与残差相加，以生成对原始图像进行解码而获得的解码图像。
类似于滤波器单元24，滤波器单元33执行将高阶预测方程(削减预测方程)应用于来自解码单元32的解码图像的滤波器处理，以生成滤波器图像，并且将该滤波器图像提供给解码单元32。
滤波器单元33在执行滤波器处理时根据需要使用来自解析单元31的滤波器信息。此外，滤波器单元33将通过滤波器处理获得(生成)的滤波器图像提供给解码单元32，并且还输出滤波器图像作为通过恢复原始图像获得的恢复图像。
图9是示出图8的滤波器单元24和滤波器单元33的配置示例的概要的框图。
在图9中，滤波器单元24包括类别分类单元41、学习单元42、数据库(DB)43、确定单元44、DB 45和预测单元46。
滤波器单元24被提供有来自局部解码单元23(图8)的解码图像，并且还被提供有原始图像。
将解码图像提供给类别分类单元41、学习单元42、确定单元44和预测单元46，并且将原始图像提供给学习单元42和确定单元44。
类别分类单元41顺序地选择提供给它的解码图像的像素作为关注像素。此外，类别分类单元41执行关注像素的类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给学习单元42、确定单元44和预测单元46。
学习单元42使用提供给它的原始图像和解码图像作为用于学习以获得抽头系数的学习图像，并且针对每个类别，针对多个选择模式中的每一个，例如图6的选择模式1至选择模式4，执行学习以获得作为包括在选择模式的削减预测方程中的抽头系数的一阶系数和二阶系数。学习单元42例如对原始图像和解码图像的每个帧(画面)执行学习，并且向DB43提供通过学习针对多个选择模式中的每一个获得的每个类别的抽头系数。
DB 43临时存储从学习单元42提供的所述多个选择模式的每一个中的每个类别的抽头系数。
对于每个选择模式，确定单元44确定针对一阶系数和二阶系数中的每一个优化编码效率的表达式格式(在下文中，也称为最佳表达式格式)，其中，一阶系数和二阶系数是DB43中存储的每个类别的抽头系数。
此外，对于每个选择模式，确定单元44确定(选择)在执行将包括最佳表达式格式中的抽头系数的削减预测方程应用于解码图像的滤波器处理的情况下优化编码效率的选择模式作为采用模式，并且将该采用模式(被确定为采用模式的选择模式)的每个类别的抽头系数提供给DB 45。
此外，确定单元44输出表示作为采用模式的抽头系数的一阶系数和二阶系数中的每一个的最佳表达式格式的格式信息，以及表示采用模式的选择信息。
将确定单元44输出的格式信息和选择信息提供给预测单元46，并且将其作为滤波器信息包括在编码单元21(图8)中的编码比特流中，并且发送至解码装置12。
此处，根据需要，对于每个选择模式，确定单元44执行将包括DB 43中存储的每个类别的抽头系数的削减预测方程应用于解码图像的滤波器处理(与预测单元46执行的滤波器处理类似的滤波器处理)，并且通过将原始图像与根据滤波器处理的结果获得的滤波器图像一起使用来获得编码效率，例如RD成本等。
DB 45临时存储从确定单元44提供的采用模式的每个类别的抽头系数。在DB 45中存储的采用模式的每个类别的抽头系数被包括在编码比特流中，作为编码单元21(图8)中的滤波器信息，并且被发送至解码装置12。
预测单元46将削减预测方程应用于解码图像，以执行作为预测处理(使用作为高阶预测方程的削减预测方程，换言之，高阶预测处理)的滤波器处理，并且将根据滤波器处理的结果获得的滤波器图像提供给编码单元21和局部解码单元23(图8)，其中，所述削减预测方程包括DB 45中存储的采用模式的每个类别的抽头系数中来自类别分类单元41的关注像素的类别的抽头系数。
换言之，预测单元46根据来自确定单元44的格式信息指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测单元46根据来自确定单元44的选择信息指定用于简化多项式的采用模式，并且根据该采用模式，指定在简化多项式中包括的项，并且因此将解码图像的像素作为简化多项式的计算中使用的预测抽头。
然后，预测单元46执行将采用模式的削减预测方程应用于解码图像的滤波器处理，换言之，作为预测抽头的解码图像的像素(其像素值)与抽头系数的积和计算，来作为削减预测方程的计算以获得滤波器图像，该削减预测方程包括最佳表达式格式的关注像素的类别的抽头系数。
在滤波器处理中的削减预测方程的(积和)计算中，根据抽头系数的最佳表达式格式和解码图像的像素值的表达式格式来执行计算。换言之，例如，在以10比特表示解码图像的像素值和抽头系数、解码图像的像素值是整数类型并且抽头系数是具有9比特小数部分的定点数的情况下，在滤波器处理中的解码图像的像素值和抽头系数的乘积的计算中，获得表示解码图像的像素值的比特串与表示抽头系数的比特串的乘积，并且然后将表示乘积的比特串右移9比特，以除以512。
滤波器单元33包括类别分类单元51和预测单元52。
滤波器单元33被提供有来自解析单元31(图8)的滤波器信息，并且被提供有来自解码单元32(图8)的解码图像。
类似于类别分类单元41，类别分类单元51顺序地选择提供给它的解码图像的像素作为关注像素。此外，类别分类单元51对关注像素执行类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给预测单元52。
预测单元52将削减预测方程应用于解码图像以执行作为预测处理的滤波器处理，并且将根据滤波器处理的结果获得的滤波器图像提供给解码单元32(图8)，其中，该削减预测方程包括滤波器信息中包括的采用模式的每个类别的抽头系数中的、来自类别分类单元51的关注像素的类别的抽头系数。
换言之，预测单元52根据滤波器信息中包括的格式信息来指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测单元52根据滤波器信息中包括的选择信息指定简化多项式的采用模式，并且根据该采用模式，指定简化多项式中包括的项，并且因此将解码图像的像素作为简化多项式的计算中使用的预测抽头。
然后，预测单元52执行将采用模式的削减预测方程应用于解码图像的滤波器处理，换言之，作为预测抽头的解码图像的像素(其像素值)与抽头系数的积和计算，来作为削减预测方程的计算以获得滤波器图像，该削减预测方程包括最佳表达式格式的关注像素的类别的抽头系数。
在预测单元52的滤波器处理中的削减预测方程的(积和)计算中，类似于预测单元46，根据抽头系数的最佳表达式格式与解码图像的像素值的表达式格式来执行计算。
图10是示出由图8的编码装置11进行的编码处理的概要的流程图。
例如，以帧为单位执行根据图10的流程图的处理。
在步骤S11中，编码单元21(图8)通过使用来自滤波器单元24的滤波器图像对原始图像执行(预测)编码，并且将通过编码获得的编码数据提供给局部解码单元23，并且处理进行至步骤S12。
在步骤S12中，局部解码单元23通过使用来自滤波器单元24的滤波器图像对来自编码单元21的编码数据执行局部解码，并且将根据局部解码的结果获得的(局部)解码图像提供给滤波器单元24，并且处理进行至步骤S13。
在步骤S13中，在滤波器单元24中，类别分类单元41(图9)顺序地选择来自局部解码单元23的解码图像的像素作为关注像素。此外，类别分类单元41执行关注像素的类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给学习单元42、确定单元44和预测单元46，并且处理进行至步骤S14。
在步骤S14中，学习单元42使用来自局部解码单元23的解码图像的一帧和与解码图像的该帧有关的原始图像的一帧作为用于学习以获得抽头系数的学习图像，并且对于每个类别，对于多个选择模式中的每一个执行学习以获得作为包括在选择模式的削减预测方程中的抽头系数的一阶系数和二阶系数。学习单元42使DB 43存储通过学习针对多个选择模式中的每一个获得的每个类别的抽头系数，并且处理从步骤S14进行至步骤S15。
在步骤S15中，对于每个选择模式，确定单元44确定最佳表达式格式，该最佳表达式格式是优化存储在DB 43中的作为每个类的抽头系数的一阶系数和二阶系数中的每一个的编码效率的表达式格式，并且处理进行至步骤S16。
在步骤S16中，对于每个选择模式，确定单元44确定(选择)在执行将包括最佳表达式格式的抽头系数的削减预测方程应用于解码图像的滤波器处理的情况下优化编码效率的选择模式作为采用模式，并且使DB45存储采用模式(被确定为采用模式的选择模式)的每个类别的抽头系数。存储在DB 45中的采用模式的每个类别的抽头系数作为滤波器信息被提供给编码单元21。
此外，确定单元44将表示作为采用模式的抽头系数的一阶系数和二阶系数中的每一个的最佳表达式格式的格式信息以及表示采用模式的选择信息作为滤波器信息提供给编码单元21并且还提供给预测单元46，并且处理从步骤S16进行至步骤S17。
在步骤S17中，预测单元46将削减预测方程应用于来自局部解码单元23的解码图像，以执行作为预测处理的滤波器处理，该削减预测方程包括存储在DB 45中的采用模式的每个类别的抽头系数中的、来自类别分类单元41的关注像素的类别的抽头系数。
换言之，预测单元46根据来自确定单元44的格式信息指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测单元46根据来自确定单元44的选择信息指定简化多项式的采用模式。
然后，预测单元46执行将包括最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程应用于解码图像的滤波处理，以获得滤波器图像。
预测单元46将根据滤波器处理的结果获得的滤波器图像提供给编码单元21和局部解码单元23，并且处理从步骤S17进行至步骤S18。
此处，在步骤S17中从预测单元46提供给编码单元21和局部解码单元23的滤波器图像被用于例如对解码图像的下一帧执行的步骤S11和步骤S12的处理中。
在步骤S18中，编码单元21生成并发送包括来自滤波器单元24的编码数据和滤波器信息(换言之，每个类别的选择信息、格式信息和抽头系数)的编码比特流。
注意，在步骤S16中的采用模式的确定中，可以将一个选择模式确定为所有类别通用的采用模式，或者可以将一个选择模式确定为每个类别的采用模式。
在一个选择模式被确定为每个类别的采用模式的情况下，例如，将优化编码效率的选择模式确定为每个类别的采用模式。因此，在一个选择模式被确定为所有类别通用的采用模式的情况下，选择信息和格式信息的条数乘以类别的数目(总数)。
此外，在一个选择模式被确定为每个类别的采用模式的情况下，预测单元46在步骤S17中执行的滤波器处理中，指定每个类别的抽头系数的表达式格式(最佳表达式格式)，并且指定简化多项式的采用模式，并且根据该采用模式，指定包括在简化多项式中的项，并且因此指定解码图像的像素作为简化多项式的计算中使用的预测抽头。
图11是示出由图8的解码装置12进行的解码处理的概要的流程图。
例如，类似于图10的编码处理，以帧为单位执行根据图11的流程图的处理。
在步骤S21中，解析单元31(图8)接收从编码装置11发送的编码比特流并且执行解析，以提取(获得)包括在编码比特流中的滤波器信息，并且将滤波器信息提供给滤波器单元33。此外，解析单元31将包括在编码比特流中的编码数据提供给解码单元32，并且处理从步骤S21进行至步骤S22。
在步骤S22中，解码单元32通过使用来自滤波器单元33的滤波器图像对来自解析单元31的编码数据执行解码，并且将根据解码的结果获得的解码图像提供给滤波器单元33，并且处理进行至步骤S23。
在步骤S23中，在滤波器单元33中，类别分类单元51(图9)顺序地选择来自解码单元32的解码图像的像素作为关注像素。此外，类别分类单元51执行关注像素的类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给预测单元52，并且处理进行至步骤S24。
在步骤S24中，预测单元52将削减预测方程应用于来自解码单元32的解码图像以执行作为预测处理的滤波器处理，从而获得(生成)滤波器图像，该削减预测方程包括来自解析单元31的滤波器信息中包括的采用模式的每个类别的抽头系数中的、来自类别分类单元51的关注像素的类别的抽头系数。
换言之，预测单元52根据滤波器信息中包括的格式信息指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测单元52根据滤波器信息中包括的选择信息指定简化多项式的采用模式。
然后，预测单元52执行将包括最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程应用于解码图像的滤波器处理，以获得滤波器图像。
根据预测单元52中的滤波器处理的结果而获得的滤波器图像被提供给解码单元32(图8)，并且被输出作为通过恢复原始图像而获得的恢复图像。
在步骤S24中从预测单元52提供给解码单元32的滤波器图像例如被用于对解码图像的下一帧执行的步骤S22的处理中。
接下来，将描述本技术的实施方式的细节；然而，在此之前，将给出对要对图像执行的类别分类预测处理的描述。
要对图像执行的类别分类预测处理是如下处理：通过使用作为类别分类预测处理的目标图像的第一图像执行类别分类，并且使用预测方程执行作为预测处理的滤波器处理，其中，预测方程对根据类别分类的结果获得的类别的抽头系数与第一图像的像素(其像素值)执行积和计算，并且通过这样的滤波器处理获得(生成)第二图像的预测值。在本实施方式中，第一图像是解码图像(包括局部解码图像)，并且第二图像是原始图像。
<类别分类预测处理>
图12是示出执行类别分类预测处理的预测装置的第一配置示例的框图。
在类别分类预测处理中，通过积和计算，获得与关注像素相对应的第二图像的对应像素的像素值的预测值，其中，积和计算是使用通过执行将第一图像中的关注目标像素分类为多个类别之一的类别分类而获得的类别的抽头系数、以及被选择作为关注像素的预测抽头的第一图像的像素的像素值来计算预测方程的。
注意，在以下对类别分类预测处理的描述中，为了简化描述，将采用仅包括一阶项的预测方程作为预测方程。
图12示出了执行类别分类预测处理的预测装置的配置示例。
在图12中，预测装置100包括抽头选择单元101、类别分类单元102、系数获取单元103和预测计算单元104。
预测装置100被提供有第一图像。提供给预测装置100的第一图像被提供给抽头选择单元101和类别分类单元102。
抽头选择单元101顺序地选择第一图像中包括的像素作为关注像素。此外，抽头选择单元101选择第一图像中包括的用于预测与关注像素相对应的第二图像的对应像素(其像素值)的一些像素(其像素值)作为预测抽头。
具体地，抽头选择单元101选择第一图像的在空间上或时间上接近关注像素的时空位置的多个像素作为预测抽头，并且将这些像素提供给预测计算单元104。
类别分类单元102根据特定规则执行将关注像素分类成若干类别之一的类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给系数获取单元103。
换言之，类别分类单元102选择例如第一图像中所包括的用于对关注像素执行类别分类的一些像素(其像素值)作为类别抽头。例如，类别分类单元102以与抽头选择单元101选择预测抽头相似的方式选择类别抽头。
注意，预测抽头和类别抽头可以具有相同的抽头结构或者可以具有不同的抽头结构。
类别分类单元102例如通过使用类别抽头来执行关注像素的类别分类，并且将根据类别分类的结果获得的关注像素的类别提供给系数获取单元103。
例如，类别分类单元102通过使用类别抽头来获得关注像素的图像特征值。此外，类别分类单元102取决于关注像素的图像特征值对关注像素进行类别分类，并且将根据类别分类的结果获得的类别提供给系数获取单元103。
此处，作为执行类别分类的方法，例如，可以采用自适应动态范围编码(ADRC)等。
在使用ADRC的方法中，对作为类别抽头的像素(其像素值)进行ADRC处理，并且根据作为ADRC处理的结果获得的ADRC码(ADRC值)来确定关注像素的类别。ADRC码将波形图案表示为包括关注像素的小区域的图像特征值。
注意，在L比特ADRC中，例如，检测作为类别抽头的像素的像素值的最大值MAX和最小值MIN，并且DR＝MAX-MIN被设置为集合的局部动态范围，并且基于动态范围DR，作为类别抽头的每个像素的像素值以L比特被重新量化。换言之，从作为类别抽头的每个像素的像素值中减去最小值MIN，并且将减去后的值除以(重新量化)DR/2L。然后，输出如上所述获得的其中作为类别抽头的L比特像素的像素值以预定顺序布置的比特串作为ADRC码。因此，在类别抽头进行1比特ADRC处理的情况下，例如，作为类别抽头的每个像素的像素值除以最大值MAX和最小值MIN的平均值(小数点以下的截尾)，并且因此每个像素的像素值被设置为1比特(二进制化)。然后，输出其中1比特像素值以预定顺序布置的比特串作为ADRC码。由这样的ADRC码表示的值表示类别。
此外，作为用于类别分类的图像特征值，除了ADRC码之外，还可以采用例如作为类别抽头的像素的亮度值的像素值的最大值与最小值之间的差异的动态范围(DR)、作为在类别抽头中的水平、垂直和对角线方向上彼此相邻的像素的像素值之间的差异绝对值的最大值的DiffMax、通过使用DR和DiffMax获得的DiffMax/DR等。
另外，可以通过使用诸如关注像素的量化参数QP等的编码信息来执行类别分类。换言之，可以通过例如对编码信息的阈值处理等来执行类别分类。
系数获取单元103存储通过学习获得的每个类别的抽头系数，并且此外，在所存储的抽头系数中获取从类别分类单元102提供的关注像素的类别的抽头系数。此外，系数获取单元103将关注像素的类别的抽头系数提供给预测计算单元104。
预测计算单元104通过使用来自抽头选择单元101的预测抽头和从系数获取单元103提供的抽头系数来执行作为预测处理的滤波器处理，该预测处理是用于获得与关注像素相对应的第二图像的像素(对应像素)的像素值的真实值的预测值的预测方程的积和计算。因此，预测计算单元104获得并输出对应像素的像素值(其预测值)，换言之，第二图像中包括的像素值(其预测值)。
图13是示出对系数获取单元103中存储的抽头系数执行学习的学习装置的配置示例的框图。
此处，当假设采用解码图像作为第一图像并且采用解码图像的原始图像作为第二图像，并且使用从第一图像中选择的预测抽头和抽头系数，并且通过作为仅包括一阶项的预测方程的积和计算的预测处理的滤波器处理来预测作为第二图像的原始图像的像素(在下文中，也称为第二像素)的像素值，根据下面的预测方程来获得作为与关注像素相对应的第二图像的对应像素的第二像素的像素值y。
[表达式3]
Figure BDA0002506583680000331
在方程(3)中，xn表示作为关注像素的预测抽头的第一图像的第n个像素(在下文中适当时也称为第一像素)的像素值，并且wn表示第n个一阶项抽头系数(第n个抽头系数)。方程(3)的预测方程包括N项(一阶项)。
此处，在本技术中，第二像素的像素值y不是通过仅包括方程(3)的一阶项的预测方程获得的，而是通过包括二阶或更高阶的高阶项的高阶预测方程获得的。
现在，当第k个样本的第二像素的像素值的真实值被表示为yk，并且通过方程(3)获得的真实值yk的预测值被表示为yk'时，预测值的预测误差ek由以下方程表示。
[表达式4]
ek＝yk-yk...(4)
现在，由于根据方程(3)获得方程(4)的预测值yk'，因此通过根据方程(3)替换方程(4)的yk'获得以下表达式。
[表达式5]
Figure BDA0002506583680000332
然而，在方程(5)中，xn,k表示作为预测抽头的第n个第一像素，用于作为对应像素的第k个样本的第二像素。
使方程(5)(或方程(4))的预测误差ek为零的抽头系数wn对于预测第二像素是最佳的，但是通常难以获得所有第二像素的这样的抽头系数wn。
因此，例如假设采用最小二乘法作为表示抽头系数wn为最佳的标准，则可以通过最小化由以下方程表示的平方误差的总和E(统计误差)来获得最佳抽头系数wn。
[表达式6]
Figure BDA0002506583680000333
然而，在方程(6)中，K表示作为对应像素的第二像素yk和作为第二像素yk的预测抽头的第一像素x1,k、x2,k、...、xn,k的集合的样本数目(用于学习的样本数目)。
方程(6)中的平方误差的总和E的最小值(极小值)由wn给出，由此使得总和E相对于抽头系数wn的偏导数为零，如方程(7)所示。
[表达式7]
Figure BDA0002506583680000341
因此，当上述方程(5)用抽头系数wn进行偏微分时，获得以下方程。
[表达式8]
Figure BDA0002506583680000342
根据方程(7)和(8)，获得以下方程。
[表达式9]
Figure BDA0002506583680000343
通过用方程(5)替换方程(9)中的ek，方程(9)可以由方程(10)中指示的正规方程表示。
[表达式10]
Figure BDA0002506583680000344
通过使用例如行消除方法(Gauss-Jordan消除法)等，可以针对抽头系数wn求解方程(10)的正规方程。
通过为每个类别建立并求解方程(10)的正规方程，可以为每个类别获得最佳抽头系数(此处是使平方误差的总和E最小化的抽头系数)wn。
图13示出了通过建立并求解方程(10)的正规方程来执行学习以获得抽头系数wn的学习设备的配置示例。
在图13中，学习装置110包括教师图像生成单元111、学生图像生成单元112和学习单元113。
教师图像生成单元111和学生图像生成单元112被提供有用于学习抽头系数wn的学习图像(作为学习样本的图像)。
教师图像生成单元111根据学习图像生成与第二图像相对应的图像，作为要作为抽头系数的学习的教师(真实值)的教师数据的教师图像，换言之，要作为通过方程(3)的预测方程的计算的映射的映射目的地的教师图像，并且将该图像提供给学习单元113。此处，教师图像生成单元111例如将学习图像作为教师图像原样提供给学习单元113。
学生图像生成单元112根据学习图像生成与第一图像相对应的图像，作为要作为抽头系数的学习学生的学生数据的学生图像，换言之，作为要作为通过方程(3)的预测方程的计算的映射的映射源的学生图像，并且将该图像提供给学习单元113。此处，例如，学生图像生成单元112通过类似于编码装置11对学习图像进行编码和局部解码来生成解码图像，并且将该解码图像作为学生图像提供给学习单元113。
学习单元113顺序地将来自学生图像生成单元112的学生图像中包括的像素设置为关注像素，并且针对关注像素，选择具有与由图12的抽头选择单元101选择的抽头结构相同的抽头结构的像素作为来自学生图像的预测抽头。此外，学习单元113使用与关注像素相对应的教师图像中包括的对应像素和关注像素的预测抽头来针对每个类别建立并求解方程(10)的正规方程，从而获得每个类别的抽头系数。
图14是示出图13的学习单元113的配置示例的框图。
在图14中，学习单元113包括抽头选择单元121、类别分类单元122、加法单元123和系数计算单元124。
学生图像被提供给抽头选择单元121和类别分类单元122，并且教师图像被提供给加法单元123。
抽头选择单元121顺序地选择学生图像中包括的像素作为关注像素，并且将表示关注像素的信息提供给必要的块。
此外，对于关注像素，抽头选择单元121从学生图像中包括的像素中选择与图12的抽头选择单元101所选择的像素相同的像素作为预测抽头，因此获得具有与抽头选择单元101中获得的抽头结构相同的抽头结构的预测抽头，并且将预测抽头提供给加法单元123。
类别分类单元122通过使用学生图像对关注像素执行与图12的类别分类单元102相同的类别分类，并且将根据类别分类的结果获得的关注像素的类别输出至加法单元123。
加法单元123从教师图像中所包括的像素中获得与关注像素相对应的对应像素(其像素值)，并且针对从类别分类单元122提供的关注像素的每个类别，对该对应像素和学生图像的作为从抽头选择单元121提供的关注像素的预测抽头的像素(其像素值)执行加法。
换言之，向加法单元123提供教师图像的对应像素yk、作为学生图像的关注像素的预测抽头xn,k以及关注像素的类别。
对于关注像素的每个类别，加法单元123使用学生图像的像素xn,k作为预测抽头，以执行与方程(10)左侧的矩阵中的学生图像的像素的乘法(xn,kxn',k)和求和(Σ)相对应的计算。
此外，对于关注像素的每个类别，加法单元123再次使用预测抽头xn,k和教师图像的像素yk，以在方程(10)右侧的矢量中执行与预测抽头xn,k与教师图像的像素yk的乘法(xn, kyk)以及求和(Σ)相对应的计算。
换言之，加法单元123在其内置存储器(未示出)中存储针对与上次关注像素相对应的教师图像的对应像素获得的方程(10)中的左侧的矩阵的分量(Σxn,kxn',k)和右侧的矢量的分量(Σxn,ky,k)，并且，将通过使用对应像素yk+1和预测抽头xn,k+1针对与新的关注像素相对应的对应像素yk+1计算的对应分量xn,k+1xn',k+1或xn,k+1yk+1与矩阵的分量(Σxn,kxn',k)或矢量的分量(Σxn,kyk)相加(执行由方程(10)的和表示的加法)。
然后，加法单元123通过例如将学生图像的所有像素作为关注像素执行上述加法来针对每个类别建立方程(10)中所示的正规方程，并且将该正规方程提供给系数计算单元124。
系数计算单元124对从加法单元123提供的每个类别的正规方程进行求解，以获得并输出每个类别的最佳抽头系数wn。
图12的预测装置100中的系数获取单元103可以存储如上所述获得的每个类别的抽头系数wn。
图15是示出执行类别分类预测处理的预测装置的第二配置示例的框图。
注意，在图中，对应于图12的情况的部分由相同的附图标记表示，并且以下将适当地省略其描述。
在图15中，预测装置130包括抽头选择单元101、类别分类单元102、预测计算单元104和系数获取单元131。
因此，图15的预测装置130与图12的情况的共同之处在于，包括抽头选择单元101、类别分类单元102和预测计算单元104。
然而，图15与图12的情况的不同之处在于，代替系数获取单元103而设置系数获取单元131。
系数获取单元131存储稍后描述的种子系数。此外，参数z从外部被提供给系数获取单元131。
系数获取单元131根据种子系数生成与参数z相对应的每个类别的抽头系数，存储抽头系数，根据每个类别的抽头系数从类别分类单元102获取类别的抽头系数，并且将所获取的抽头系数提供给预测计算单元104。
图16是示出执行学习以获得存储在系数获取单元131中的种子系数的学习装置的配置示例的框图。
在图16的学习装置中，例如，对于每个类别，获得种子系数，种子系数是在体量化的情况下(换言之，在通过多项式近似预测方程中包括的抽头系数的情况下)多项式中包括的系数。
现在，假设通过使用种子系数和参数z的以下多项式来近似抽头系数wn。
[表达式11]
Figure BDA0002506583680000371
然而，在方程(11)中，βm,n表示用于获得第n个抽头系数wn的第m个种子系数。注意，在方程(11)中，抽头系数wn是通过使用M个种子系数β1,n、β2,n...、βm,n获得的。
此处，用于根据种子系数βm,n和参数z计算抽头系数wn的方程不限于方程(11)。
现在，通过引入新的变量tm，由下面的方程定义由方程(11)中的参数z确定的值zm -1。
[表达式12]
tm＝zm-1(m＝1，2，…，M)...(12)
通过将方程(12)代入方程(11)中，获得以下方程。
[表达式13]
Figure BDA0002506583680000381
根据方程(13)，通过种子系数βm,n和变量tm的线性一阶方程来获得抽头系数wn。
顺便提及，现在，当第k个样本的第二像素的像素值的真实值被表示为yk，并且通过方程(3)获得的真实值yk的预测值被表示为yk'时，预测误差ek由下面的方程表示。
[表达式14]
ek＝yk-yk′...(14)
现在，由于根据方程(3)获得方程(14)的预测值yk'，因此通过根据方程(3)替换方程(14)的yk'获得以下方程。
[表达式15]
Figure BDA0002506583680000382
然而，在方程(15)中，xn,k表示作为第k个样本的第二像素的预测抽头的第n个第一像素，该第k个样本的第二像素作为对应像素。
通过将方程(13)代入方程(15)中的wn，获得以下方程。
[表达式16]
Figure BDA0002506583680000383
使方程(16)的预测误差ek为零的种子系数βm,n对于预测第二像素是最佳的，但是通常难以获得针对所有第二像素的这样的种子系数βm,n。
因此，例如，假设采用最小二乘法作为表示种子系数βm,n是最佳的标准，可以通过最小化由以下方程表示的平方误差的总和E来获得最佳种子系数βm,n。
[表达式17]
Figure BDA0002506583680000391
然而，在方程(17)中，K表示作为对应像素的第二像素yk和作为第二像素yk的预测抽头的第一像素x1,k、x2,k、...、xn,k的集合的样本数目(用于学习的样本数目)。
方程(17)中的平方误差的总和E的最小值(极小值)由βm,n给出，由此使得总和E相对于种子系数βm,n的偏导数为零，如方程(18)所示。
[表达式18]
Figure BDA0002506583680000392
通过将方程(15)代入方程(18)中，获得以下方程。
[表达式19]
Figure BDA0002506583680000393
现在，Xi,p,j,q和Yi,p如方程(20)和方程(21)中所示进行定义。
[表达式20]
Figure BDA0002506583680000394
[表达式21]
Figure BDA0002506583680000395
在这种情况下，方程(19)可以由使用Xi,p,j,q和Yi,p的方程(22)中指示的正规方程来表示。
[表达式22]
Figure BDA0002506583680000401
可以通过使用例如行消除方法(Gauss-Jordan方法)等来求解方程(22)的正规方程以得到种子系数βm,n。
在图15的预测装置130中，每个类别的种子系数βm,n被存储在系数获取单元131中，种子系数βm,n是通过以下操作而获得的：使用第二图像(原始图像)的第二像素y1、y2、...、yk作为教师图像以及第一图像(解码图像)的第一像素x1,k、x2,k、...、xN,k作为学生图像，并且执行学习以建立并求解每个类别的方程(22)的正规方程。然后，在系数获取单元131中，根据方程(11)依据种子系数βm,n和外部提供的参数z生成每个类别的抽头系数wn，并且在预测计算单元104中，通过使用抽头系数wn和作为关注像素的预测抽头的第一像素xn来计算方程(3)，由此获得第二像素(与关注像素相对应的对应像素)的像素值(其预测值)。
图16是示出学习装置的配置示例的图，该学习装置通过针对每个类别建立并求解方程(22)的正规方程来执行学习，以获得每个类别的种子系数βm,n。
注意，在图中，对应于图13的情况的部分由相同的附图标记表示，并且以下将适当地省略其描述。
在图16中，学习装置140包括教师图像生成单元111、参数生成单元141、学生图像生成单元142和学习单元143。
因此，图16的学习装置140与图13的学习装置110的共同之处在于，包括教师图像生成单元111。
然而，图16的学习装置140与图13的学习装置110的不同之处在于，还包括参数生成单元141。此外，图16的学习装置140与图13的学习装置110的不同之处在于，代替学生图像生成单元112和学习单元113，分别提供了学生图像生成单元142和学习单元143。
参数生成单元141取决于从学生图像生成单元142中的学习图像或学生图像生成学生图像的处理来生成参数z，并且将参数z提供给学习单元143。
例如，在学生图像生成单元142中，类似于编码装置11通过对学习图像进行编码和局部解码来生成解码图像的情况下，参数生成单元141例如生成与学生图像的全屏运动的运动量相对应的值作为在学生图像生成单元142中生成的学生图像的图像特征值，作为参数z。此外，参数生成单元141生成例如在学生图像生成单元142中生成学生图像时执行的教师图像(学习图像)的编码所使用的量化参数QP(与其相对应的值)作为参数z。此外，参数生成单元141生成与在学生图像生成单元142中生成的学生图像的S/N相对应的值，作为参数z。
在参数生成单元141中，针对在学生图像生成单元142中生成的学生图像(其像素)生成参数z。
注意，在参数生成单元141中，例如，可以生成与学生图像的全屏运动的运动量相对应的值以及在生成学生图像时执行的用于对教师图像进行编码的量化参数QP，作为两个参数z和z'。另外，在参数生成单元141中，可以生成除了两个之外的多个参数，换言之，三个或更多个参数。
例如，在参数生成单元141中生成两个参数z和z'的情况下，在图15的系数获取单元103中，外部地给出两个参数z和z'，并且通过使用两个参数z和z'以及种子系数来生成抽头系数。
如上所述，作为种子系数，可以获得能够通过使用两个参数z和z'以及除了一个参数z之外的三个或更多个参数来生成抽头系数的种子系数，换言之，可以通过使用多个参数的多项式来近似抽头系数。然而，在本说明书中，为了简化描述，将以通过使用一个参数z生成抽头系数的种子系数的示例给出描述。
向学生图像生成单元142提供与提供给教师图像生成单元111的学习图像类似的学习图像。
类似于图13的学生图像生成单元112，学生图像生成单元142根据学习图像生成学生图像，并且将生成的学生图像提供给学习单元143。换言之，例如，学生图像生成单元142通过类似于编码装置11对学习图像进行编码和局部解码来生成解码图像，并且将解码图像作为学生图像提供给学习单元113。注意，根据参数生成单元141参照学生图像生成单元142的处理等。
学习单元143通过使用来自教师图像生成单元111的教师图像、来自参数生成单元141的参数z和来自学生图像生成单元142的学生图像来获得并输出每个类别的种子系数。
图17是示出图16的学习单元143的配置示例的框图。
注意，在图中，对应于图14的学习单元113的部分由相同的附图标记表示，并且以下将适当地省略其描述。
在图17中，学习单元143包括抽头选择单元121、类别分类单元122、加法单元151和系数计算单元152。
因此，图17的学习单元143与图14的学习单元113的共同之处在于，包括抽头选择单元121和类别分类单元122。
然而，学习单元143与图14的学习单元113的不同之处在于，代替加法单元123和系数计算单元124，分别包括了加法单元151和系数计算单元152。
在图17中，抽头选择单元121从与在图16的参数生成单元141中生成的参数z相对应的学生图像中选择预测抽头，并且将预测抽头提供给加法单元151。
加法单元151从来自图16的教师图像生成单元111的教师图像中获取与关注像素相对应的对应像素，并且针对从类别分类单元122提供的每个类别，对对应像素、作为从抽头选择单元121提供的关注像素的预测抽头的学生图像的像素(学生像素)、以及学生图像的参数z(其关注像素)执行加法。
换言之，向加法单元151提供与关注像素相对应的教师图像的像素(教师像素)yk、由抽头选择单元121输出的针对关注像素的预测抽头xi,k(xj,k)、以及由类别分类单元122输出的关注像素的类别，并且还从参数生成单元141提供针对关注像素(包括关注像素的学生图像)的参数z。
加法单元151对于从类别分类单元122提供的每个类别，使用预测抽头(学生图像)xi,k(xj,k)和参数z来执行与学生像素和参数z的乘法(xi,ktpxj,ktq)和求和(Σ)相对应的计算，以在方程(22)左侧的矩阵中获得方程(20)中定义的分量Xi,p,j,q。注意，根据方程(12)依据参数z计算方程(20)中的tp。这同样适用于方程(20)中的tq。
此外，对于从类别分类单元122提供的每个类别，加法单元151再次使用预测抽头(学生像素)xi,k、对应像素(教师像素)yk和参数z，以执行与学生像素xi,k、教师像素yk和参数z的乘法(xi,ktpyk)和求和(Σ)相对应的计算，以在方程(22)右侧的矢量中获得由方程(21)定义的分量Yi,p。注意，根据方程(12)依据参数z计算方程(21)中的tp。
换言之，加法单元151在其内置存储器(未示出)中存储针对与上次关注像素相对应的对应像素获得的方程(22)中的左侧的矩阵的分量Xi,p,j,q和右侧的矢量的分量Yi,p，并且，将通过使用教师像素yk和学生像素xi,k(xj,k)和参数z针对已经成为与新的关注像素相对应的对应像素的教师像素计算的对应分量xi,ktpxj,ktq或xi,ktpyk与矩阵的分量Xi,p,j,q或矢量的分量Yi,p相加(执行由方程(20)的分量Xi,p,j,q或方程(21)的分量Yi,p的和表示的加法)。
然后，对于参数z的每个值，加法单元151通过利用学生图像的所有像素作为关注像素执行上述加法来针对每个类别建立方程(22)中所示的正规方程，并且将该正规方程提供给系数计算单元152。
系数计算单元152求解从加法单元151提供的每个类别的正规方程，从而获得并输出每个类别的种子系数βm,n。
顺便提及，在图16的学习装置140中，学习图像被用作教师图像，并且通过对教师图像进行编码和(局部)解码而获得的解码图像被用作学生图像，并且执行学习以获得种子系数βm,n，该种子系数βm,n直接最小化根据抽头系数wn和学生图像xn、通过方程(3)的线性一阶方程预测的教师图像的预测值y的平方误差的总和；然而，作为种子系数βm,n的学习，可以执行学习以获得种子系数βm,n，可以说，间接地最小化教师图像的预测值Y的平方误差的总和。
换言之，学习图像被用作教师图像，并且通过对教师图像进行编码和(局部)解码而获得的解码图像被用作学生图像，并且对于参数z的每个值，可以获得抽头系数wn，该抽头系数wn使得通过使用抽头系数wn和学生图像xn由方程(3)的线性一阶预测方程预测的教师图像的预测值y的平方误差的总和最小化。然后，将针对参数z的每个值获得的抽头系数wn用作要作为学习的教师的教师数据，并且将参数z用作要作为学习的学生的学生数据，并且可以获得种子系数βm,n，该种子系数βm,n使得根据种子系数βm,n和与作为学生数据的参数z相对应的变量tm、通过方程(13)预测的作为教师数据的抽头系数wn的预测值的平方误差的总和最小化。
如方程(13)所示，从种子系数βm,n和对应于参数z的变量tm获得抽头系数。然后，现在，当通过方程(13)获得的抽头系数被表示为wn'时，种子系数βm,n产生误差en，该误差en由下面的方程(23)表示并且是最佳抽头系数wn与通过下面的方程(13)获得的抽头系数wn'之间的误差，零是用于获得最佳抽头系数wn的最佳种子系数，但是通常难以获得针对所有抽头系数wn的这样的种子系数βm,n。
[表达式23]
en＝wn-wn′...(23)
注意，方程(23)可以通过方程(13)变换为以下方程。
[表达式24]
Figure BDA0002506583680000441
因此，例如，假设再次采用最小二乘法作为表示种子系数βm,n是最佳的标准，可以通过最小化由以下方程表示的平方误差的总和E来获得最佳种子系数βm,n。
[表达式25]
Figure BDA0002506583680000442
方程(25)中的平方误差的总和E的最小值(极小值)由βm,n给出，由此使得总和E相对于种子系数βm,n的偏导数为零，如方程(26)所示。
[表达式26]
Figure BDA0002506583680000443
通过将方程(24)代入方程(26)中，获得以下方程。
[表达式27]
Figure BDA0002506583680000444
现在，Xi,j和Yi如方程(28)和方程(29)所示进行定义。
[表达式28]
Figure BDA0002506583680000451
[表达式29]
Figure BDA0002506583680000452
在这种情况下，方程(27)可以由使用Xi,j和Yi的方程(30)中指示的正规方程来表示。
[表达式30]
Figure BDA0002506583680000453
还可以通过使用例如行消除方法等，针对种子系数βm,n求解方程(30)的正规方程。
在学习单元143(图17)中，如上所述，也可以通过建立并求解方程(30)的正规方程来执行学习，以获得种子系数βm,n。
在这种情况下，加法单元151针对与来自教师图像生成单元111的教师图像中的关注像素相对应的教师图像的对应像素、以及从抽头选择单元121提供的作为关注像素的预测抽头的学生图像、针对从类别分类单元122提供的每个类别以及针对由参数生成单元141输出的参数z的每个值，执行加法。
换言之，向加法单元151提供教师图像的教师像素(对应像素)yk、预测抽头xn,k、关注像素的类别、以及学生图像(其关注像素)的参数z。
对于关注像素的每个类别并且对于参数z的每个值，加法单元151使用预测抽头(学生像素)xn,k来执行与方程(10)左侧的矩阵中的学生像素的乘法(xn,kxn',k)和求和(Σ)相对应的计算。
此外，对于关注像素的每个类别并且对于参数z的每个值，加法单元151使用预测抽头(学生像素)xn,k和教师像素yk，以执行与方程(10)右侧的矢量中的学生像素xn,k和教师像素yk的乘法(xn,kyk)和求和(Σ)相对应的计算。
换言之，加法单元151在其内置存储器(未示出)中存储针对与上次关注像素相对应的教师图像的教师像素(对应像素)获得的方程(10)中的左侧的矩阵的分量(Σxn,kxn',k)和右侧的矢量的分量(Σxn,kyk)，并且将通过使用教师像素yk+1和学生像素xn,k+1针对已经成为与新的关注像素相对应的对应像素的教师像素计算的对应分量xn,k+1xn',k+1或xn,k+1yk+1与矩阵的分量(Σxn,kxn',k)或矢量的分量(Σxn,kyk)相加(执行由方程(10)的和表示的加法)。
然后，加法单元151通过利用学生图像的所有像素作为关注像素执行上述加法，针对每个类别，针对参数z的每个值建立方程(10)中所示的正规方程。
因此，类似于图14的加法单元123，加法单元151针对每个类别建立方程(10)的正规方程。然而，加法单元151与图14的加法单元123的不同之处在于，还针对参数z的每个值进一步建立方程(10)的正规方程。
此外，加法单元151通过对每个类别的参数z的每个值求解正规方程来获得每个类别的参数z的每个值的最佳抽头系数wn。
此后，加法单元151针对每个类别，对从参数生成单元141(图16)提供的参数z(与其对应的变量tm)和最佳抽头系数wn执行加法。
换言之，加法单元151使用通过方程(12)从参数生成单元141提供的参数z获得的变量ti(tj)，以执行与对应于参数z的变量ti(tj)的乘法(titj)和求和(Σ)相对应的计算，以用于针对每个类别获得方程(30)左侧的矩阵中由方程(29)定义的分量xi,j。
此处，由于分量xi,j仅由参数z确定并且与类别无关，因此分量xi,j的计算不需要针对每个类别执行，并且仅需要执行一次。
此外，加法单元151使用通过方程(12)从参数生成单元141提供的参数z获得的变量ti和从加法单元151提供的最佳抽头系数wn，以执行与对应于参数z的变量ti与最佳抽头系数wn的乘法(tiwn)和求和(Σ)相对应的计算，以用于针对每个类别获得方程(30)右侧的矢量中由方程(29)定义的分量Yi。
加法单元151通过获得由方程(28)表示的分量Xi,j和由方程(29)表示的分量Yi，针对每个类别建立方程(30)的正规方程，并且将该正规方程提供给系数计算单元152。
系数计算单元152通过求解从加法单元151提供的每个类别的方程(30)的正规方程来获得并输出每个类别的种子系数βm,n。
图15的系数获取单元131可以存储如上所述获得的每个类别的种子系数βm,n。
注意，在上述情况下，如方程(11)所示，使用一个参数z，通过多项式β1,nz0+β2,nz1+...+βM,nzM-1来近似抽头系数wn；然而，另外，使用两个参数zx和zy，抽头系数wn可以由例如多项式β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4,nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2近似。在这种情况下，通过例如由t1＝zx 0zy 0、t2＝zx 1zy 0、t3＝zx 2zy 0、t4＝zx 3zy 0、t5＝zx 0zy 1、t6＝zx 0zy 2、t7＝zx 0zy 3、t8＝zx 1zy 1、t9＝zx 2zy 1和t10＝zx 1zy 2来定义在方程(12)中定义的变量tm，可以最终由方程(13)表示抽头系数wn，而不是方程(12)，并且因此，在图16的学习装置140中，可以获得使用两个参数zx和zy通过多项式近似的抽头系数wn。
<编码装置11的配置示例>
图18是示出图8的编码装置11的详细配置示例的框图。
注意，在下面描述的框图中，适当地省略了用于提供处理每个框所需的信息(数据)的线，以避免使附图复杂化。
在图18中，编码装置11包括A/D转换单元201、排序缓冲器202、计算单元203、正交变换单元204、量化单元205、无损编码单元206和存储缓冲器207。此外，编码装置11包括逆量化单元208、逆正交变换单元209、计算单元210、ILF 211、帧存储器212、选择单元213、帧内预测单元214、运动预测补偿单元215、预测图像选择单元216和速率控制单元217。
A/D转换单元201执行模拟信号的原始图像到数字信号的原始图像的A/D转换，并且将原始图像提供给排序缓冲器202以用于存储。
排序缓冲器202根据图片组(GOP)将原始图像的帧根据显示顺序排序为编码(解码)顺序，并且将帧提供给计算单元203、帧内预测单元214、运动预测补偿单元215和ILF211。
计算单元203从来自排序缓冲器202的原始图像中减去经由预测图像选择单元216从帧内预测单元214或运动预测补偿单元215提供的预测图像，并且将通过该减法获得的残差(预测残差)提供给正交变换单元204。
例如，在对图像执行帧间编码的情况下，计算单元203从读取自排序缓冲器202的原始图像中减去从运动预测补偿单元215提供的预测图像。
正交变换单元204对从计算单元203提供的残差执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换。注意，正交变换方法是任意的。正交变换单元204将通过正交交换获得的正交变换系数提供给量化单元205。
量化单元205对从正交变换单元204提供的正交变换系数进行量化。量化单元205基于从速率控制单元217提供的代码量的目标值(代码量目标值)来设置量化参数QP，并且量化正交变换系数。注意，量化方法是任意的。量化单元205将作为经量化的正交变换系数的编码数据提供给无损编码单元206。
无损编码单元206利用预定的无损编码方法对经量化的正交变换系数进行编码，作为来自量化单元205的编码数据。由于正交变换系数在速率控制单元217的控制下被量化，所以通过无损编码单元206的无损编码获得的编码比特流的代码量是由速率控制单元217设置的代码量目标值(或接近代码量目标值)。
此外，无损编码单元206从每个框获取解码装置12的解码所需的编码信息，而不是关于由编码装置11进行预测编码的编码信息。
此处，编码信息例如包括帧内预测和帧间预测的预测模式、诸如运动矢量的运动信息、代码量目标值、量化参数QP、图片类型(I、P、B)、编码单元(CU)和编码树单元(CTU)信息等。
例如，可以从帧内预测单元214或运动预测补偿单元215获取预测模式。此外，例如，可以从运动预测补偿单元215获取运动信息。
无损编码单元206获取编码信息，并且还从ILF 211获取关于ILF 211中的滤波器处理的滤波器信息。
无损编码单元206利用无损编码方法，例如，诸如上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)的可变长度编码或算术编码等，对编码信息和滤波器信息进行编码，编码后生成包括编码信息和滤波器信息以及来自量化单元205的编码数据的编码比特流，并且将编码比特流提供给存储缓冲器207。
存储缓冲器207临时存储从无损编码单元206提供的编码比特流。存储在存储缓冲器207中的编码比特流在预定定时被读取和发送。
作为由量化单元205量化的正交变换系数的编码数据被提供给无损编码单元206，并且还被提供给逆量化单元208。逆量化单元208利用与量化单元205的量化相对应的方法对经量化的正交变换系数执行逆量化，并且将通过逆量化获得的正交变换系数输出至逆正交变换单元209。
逆正交变换单元209利用与正交变换单元204执行的正交变换处理相对应的方法，对从逆量化单元208提供的正交变换系数执行逆正交变换，并且将根据逆正交变换的结果而获得的残差提供给计算单元210。
计算单元210将经由预测图像选择单元216从帧内预测单元214或运动预测补偿单元215提供的预测图像与从逆正交变换单元209提供的残差相加，并且因此获得并输出通过对原始图像进行解码而获得的解码图像(其一部分)。
由计算单元210输出的解码图像被提供给ILF 211。
ILF 211通过基于类别分类预测处理执行例如滤波器处理来预测(恢复)原始图像。
ILF 211被提供有来自计算单元210的解码图像，并且还被提供有来自排序缓冲器202的与解码图像相对应的原始图像。
ILF 211通过使用与来自计算单元210的解码图像相对应的学生图像和与来自排序缓冲器202的原始图像相对应的教师图像来执行学习，以获得每个类别的抽头系数。
换言之，ILF 211通过使用例如来自计算单元210的解码图像本身作为学生图像，并且还使用来自排序缓冲器202的原始图像本身作为教师图像，来执行学习以获得高阶预测方程中包括的每个类别的抽头系数。
此外，ILF 211向无损编码单元206提供滤波器信息，该滤波器信息根据需要包括通过学习获得的每个类别的抽头系数、选择信息和格式信息。
此外，ILF 211通过执行类别分类预测处理来生成预测原始图像的滤波器图像，作为将使用通过学习获得的抽头系数的预测方程应用于来自计算单元210的解码图像滤波器处理。
换言之，ILF 211利用来自计算单元210的解码图像作为第一图像使用每个类别的抽头系数来执行类别分类预测处理，从而将作为第一图像的解码图像转换为作为与原始图像相对应的第二图像的滤波器图像(生成滤波器图像)，以输出滤波器图像。
由ILF 211输出的滤波器图像被提供给帧存储器212。
此处，在ILF 211中，如上所述，执行学习来以解码图像作为学生图像并且还以原始图像作为教师图像获得包括在高阶预测方程中的抽头系数，并且将使用通过学习获得的抽头系数的高阶预测方程应用于解码图像，由此生成滤波器图像。因此，由ILF 211获得的滤波器图像是其中原始图像的细节被准确地恢复的图像。
注意，ILF 211可以取决于用于抽头系数的学习的学生图像和教师图像，而用作去块滤波器、自适应偏移滤波器、双边滤波器和自适应环路滤波器中的一个或更多个滤波器。
此外，在ILF 211用作去框滤波器、自适应偏移滤波器、双边滤波器和自适应环路滤波器中的两个或更多个滤波器的情况下，两个或更多个滤波器的布置顺序是任意的。
此外，在ILF 211中，可以获得用于使抽头系数体积化的种子系数，并且可以通过使用从种子系数获得的抽头系数来执行类别分类预测处理。在这种情况下，滤波器信息包括种子系数，而不是抽头系数。
帧存储器212临时存储从ILF 211提供的滤波器图像，作为通过恢复原始图像获得的恢复图像。在帧存储器212中存储的恢复图像在必要的定时被提供给选择单元213，作为用于生成预测图像的参考图像。
选择单元213选择从帧存储器212提供的参考图像的提供目的地。例如，在帧内预测单元214中执行帧内预测的情况下，选择单元213将从帧存储器212提供的参考图像提供给帧内预测单元214。此外，例如，在运动预测补偿单元215中执行帧间预测的情况下，选择单元213将从帧存储器212提供的参考图像提供给运动预测补偿单元215。
帧内预测单元214通过使用从排序缓冲器202提供的原始图像和经由选择单元213从帧存储器212提供的参考图像，以例如预测单元(PU)作为处理单元来执行帧内预测(屏幕内预测)。帧内预测单元214基于预定成本函数(例如，RD成本等)选择最佳帧内预测模式，并且将在最佳帧内预测模式中生成的预测图像提供给预测图像选择单元216。此外，如上所述，帧内预测单元214将指示基于成本函数选择的帧内预测模式的预测模式适当地提供给无损编码单元206等。
运动预测补偿单元215通过使用从排序缓冲器202提供的原始图像和经由选择单元213从帧存储器212提供的参考图像，利用例如PU作为处理单元来执行运动预测(帧间预测)。此外，运动预测补偿单元215取决于通过运动预测检测到的运动矢量来执行运动补偿，以生成预测图像。运动预测补偿单元215以预先准备的多个帧间预测模式执行帧间预测，以生成预测图像。
运动预测补偿单元215基于针对多个帧间预测模式的每一个获得的预测图像的预定的成本函数来选择最佳的帧间预测模式。此外，运动预测补偿单元215将以最佳帧间预测模式生成的预测图像提供给预测图像选择单元216。
此外，运动预测补偿单元215将指示基于成本函数选择的帧间预测模式的预测模式、以及诸如在对以帧间预测模式编码的编码数据进行解码时所需的运动矢量等的运动信息提供给无损编码单元206。
预测图像选择单元216选择要提供给计算单元203和210的预测图像的提供源(帧内预测单元214或运动预测补偿单元215)，并且将从所选择的提供源提供的预测图像提供给计算单元203和210。
速率控制单元217基于存储在存储缓冲器207中的编码比特流的代码量来控制量化单元205中的量化操作的速率，使得不会发生上溢或下溢。换言之，速率控制单元217将编码比特流的目标代码量设置为不引起存储缓冲器207的上溢和下溢，并且将目标代码量提供给量化单元205。
注意，在图18中，从计算单元203到无损编码单元206对应于图8的编码单元21，从逆量化单元208到计算单元210对应于图8的局部解码单元23，并且ILF 211对应于图8的滤波器单元24。
<ILF 211的配置示例>
图19是示出图18的ILF 211的配置示例的框图。
在图19中，ILF 211包括学习装置231和预测装置232。
学习装置231被提供有来自排序缓冲器202(图18)的原始图像，并且被提供有来自计算单元210(图18)的解码图像。
学习装置231执行学习(下文中也称为抽头系数学习)，以利用作为学生图像的解码图像和作为教师图像的原始图像来获得每个类别的抽头系数。
此外，学习装置231将通过抽头系数学习获得的每个类别的抽头系数，以及此外选择信息和格式信息作为滤波器信息提供给预测装置232，并且还提供给无损编码单元206(图18)。
注意，在学习装置231中，可以根据需要通过使用编码信息来执行抽头系数学习。
预测装置232被提供有来自计算单元210(图18)的解码图像，并且被提供有来自学习装置231的滤波器信息。
预测装置232通过使用来自学习装置231的滤波器信息来更新每个类别的抽头系数。此外，预测装置232以解码图像作为第一图像，执行将使用每个类别的抽头系数的高阶预测方程应用于第一图像的滤波器处理(类别分类预测处理作为滤波器处理)，以生成作为原始图像的第二图像的预测值的滤波器图像，并且将滤波图像提供给帧存储器212(图18)。
注意，预测装置232可以类似于学习装置231通过使用编码信息来执行滤波器处理。
<学习装置231的配置示例>
图20是示出图19的学习装置231的配置示例的框图。
在图20中，学习装置231包括选择模式设置单元241、学习单元242和确定单元243。
例如，选择模式设置单元241存储预先准备的多个选择模式(其信息)，作为用于从所有组合预测方程中包括的项中选择要在削减预测方程中采用的项的选择模式。
选择模式设置单元241顺序地设置预先准备的多个选择模式作为要聚焦的关注模式，并且将选择模式作为关注模式提供给学习单元242和确定单元243。
学习单元242包括抽头选择单元251、类别分类单元252、加法单元253和系数计算单元254。
在学习单元242中，从抽头选择单元251到系数计算单元254分别与图14中的学习单元113中包括的从抽头选择单元121到系数计算单元124类似地进行配置。因此，学习单元242与图14中的学习单元113类似地获得抽头系数。
然而，抽头选择单元251从选择模式设置单元241选择在作为关注模式的选择模式的削减预测方程(包括根据选择模式从所有组合预测方程中选择的项的削减预测方程)的项中包括的像素，作为来自学生图像的预测抽头。
此外，加法单元253对包括在正规方程中的项执行加法，以用于从选择模式设置单元241获得包括在作为关注模式的选择模式的削减预测方程中的抽头系数(一阶系数和二阶系数)。
然后，系数计算单元254求解由加法单元253获得的正规方程，从而从选择模式设置单元241获得作为关注模式的选择模式的削减预测方程中所包括的每个类别的抽头系数，以将抽头系数提供给确定单元243。
确定单元243彼此相关联地存储来自选择模式设置单元241的作为关注模式的选择模式、以及来自学习单元242(其系数计算单元254)的作为关注模式的选择模式的削减预测方程的(每个类别的)抽头系数。
此外，对于从选择模式设置单元241顺序提供的作为关注模式的多个选择模式中的每一个，确定单元243确定在执行使用选择模式的削减预测方程的滤波器处理的情况下优化编码效率的抽头系数的表达式格式(最佳表达式格式)。
然后，对于所述多个选择模式中的每一个，确定单元243确定在使用削减预测方程来执行滤波器处理的情况下优化编码效率的选择模式，作为要在削减预测方程中采用的项的选择模式(采用模式)，其中，削减预测方程是选择模式的削减预测方程，并且包括最佳表达式格式的抽头系数。
注意，通过在学习单元242中使用解码图像作为学生图像并且使用原始图像作为用于学习的教师图像来将削减预测方程应用于解码图像以生成滤波器图像，并且对教师图像进行编码，来获得在确定单元243中使用作为关注模式的选择模式的削减预测方程来执行滤波器处理的情况下的编码效率。
在确定最佳表达式格式和采用模式之后，确定单元243将包括分别表示最佳表达式格式和采用模式的格式信息和选择信息以及包括在采用模式的削减预测方程中的抽头系数的滤波器信息提供给预测装置232(图19)，并且还提供给无损编码单元206(图18)。
注意，在选择模式设置单元241中，所述多个选择模式中的每一个可以与编码信息相关联，并且例如，与关注像素的帧的编码信息(其平均值等)相关联的选择模式可以被设置为关注模式。在这种情况下，在确定单元243中，由选择模式设置单元241设置为关注模式的选择模式被确定为采用模式。此外，在这种情况下，表示采用模式的选择信息不包括在滤波器信息中(无需发送)。
<预测装置232的配置示例>
图21是示出图19的预测装置232的配置示例的框图。
在图21中，预测装置232包括抽头选择单元271、类别分类单元272、系数获取单元273、预测计算单元274和滤波器信息存储单元281。
从抽头选择单元271至预测计算单元274分别与图12的从抽头选择单元101至预测计算单元104类似地进行配置。
然而，抽头选择单元271、系数获取单元273和预测计算单元274根据从滤波器信息存储单元281提供的滤波器信息执行处理。
换言之，滤波器信息存储单元281存储从学习装置231(学习装置231中的确定单元243(图20))提供的滤波器信息。将包括在在滤波器信息存储单元281中存储的滤波器信息中的选择信息提供给抽头选择单元271和预测计算单元274。此外，将包括在滤波器信息存储单元281中存储的滤波器信息中的每个类别的抽头系数(一阶系数和二阶系数)提供给系数获取单元273，并且将包括在滤波器信息中的格式信息提供给预测计算单元274。
抽头选择单元271根据作为第一图像的解码图像，选择在由从滤波器信息存储单元281提供的选择信息表示的采用模式(被确定为采用模式的选择模式)的削减预测方程的项中包括的像素作为预测抽头。
系数获取单元273存储从滤波器信息存储单元281提供的每个类别的抽头系数，并且从所存储的每个类别的抽头系数中，从类别分类单元272获取(读取)关注像素的类别的抽头系数，并且将抽头系数提供给预测计算单元274。
预测计算单元274通过使用来自抽头选择单元251的关注像素的预测抽头和来自系数获取单元273的关注像素的类别的抽头系数，计算由从滤波器信息存储单元281提供的选择信息表示的采用模式的削减预测方程，以获得并输出与关注像素相对应的原始图像的对应像素的像素值(其预测值)。
注意，预测计算单元274在削减预测方程的计算中根据由从滤波器信息存储单元281提供的格式信息所表示的最佳表达式格式来执行计算。换言之，如参照图9所描述的，例如在解码图像的像素值和抽头系数以10比特表示并且解码图像的像素值为整数型并且抽头系数为具有9比特小数部分的定点数的情况下，在削减预测方程中包括的解码图像的像素值与抽头系数的乘积的计算中，获得表示解码图像的像素值的比特串与表示抽头系数的比特串的乘积，并且然后将表示该乘积的比特串右移9比特，除以512。
此外，如图19中所设置的，在确定单元243中将与关注像素的帧的编码信息相关联的选择模式确定为采用模式的情况下，在抽头选择单元271和预测计算单元274中，根据编码信息指定采用模式。
<编码处理>
图22是示出由图18的编码装置11进行的编码处理的示例的流程图。
注意，图22等中所示的编码处理的步骤的顺序是为了便于描述的顺序，而实际编码处理的步骤被适当地并行并且以必要的顺序执行。这同样适用于稍后描述的处理。
在编码装置11中，ILF 211的学习装置231(图20)临时存储提供给它的解码图像，作为学生图像，并且还临时存储与解码图像相对应的原始图像，作为教师图像。
然后，在步骤S101中，学习装置231确定当前定时是否是用于更新抽头系数的更新定时。
此处，可以预先确定抽头系数更新定时，例如，每一帧或更多帧(画面)、每一个序列或更多个序列、每一条或更多个条、诸如CTU的预定块的每一行或更多行等。
此外，作为抽头系数更新定时，除了诸如每一帧或更多帧(画面)的定时的周期性(固定)定时之外，还可以采用所谓的动态定时，例如滤波器图像的S/N变得小于或等于阈值的定时(滤波图像相对于原始图像的误差变得大于或等于阈值的定时)，或者残差(其绝对值之和等)变得大于或等于阈值的定时。
在步骤S101中，在确定当前定时不是抽头系数更新定时的情况下，处理跳过步骤S102至S106，并且进行至步骤S16。
此外，在步骤S101中，在确定当前定时是抽头系数更新定时的情况下，处理进行至步骤S102，并且学习装置231对于预先准备的所述多个选择模式的每一个执行抽头系数学习。
换言之，例如，学习装置231对于预先准备的所述多个选择模式中的每一个，利用分别在先前更新定时与当前更新定时之间存储的解码图像和原始图像(最近的一帧解码图像和原始图像等)作为学生图像和教师图像，执行抽头系数学习，以获得每个类别的抽头系数，并且处理进行至步骤S103。
在步骤S103中，学习装置231对于预先准备的所述多个选择模式中的每一个，确定最佳表达式格式，该最佳表达式格式是在使用选择模式的削减预测方程来执行滤波器处理的情况下优化编码效率的抽头系数的表达式格式，并且处理进行至步骤S104。
在步骤S104中，学习装置231针对所述多个选择模式中的每一个，确定在使用削减预测方程执行滤波器处理的情况下优化编码效率的选择模式作为采用模式，其中，削减预测方程是选择模式的削减预测方程，并且包括最佳表达式格式的抽头系数，并且处理进行至步骤S105。
在步骤S105中，学习装置231生成滤波器信息，该滤波器信息包括表示采用模式的选择信息、在通过步骤S102中的抽头系数学习而预先准备的每个选择模式所获得的每个类别的抽头系数中被确定为采用模式的选择模式的每个类别的抽头系数、以及表示抽头系数的最佳表达式格式的格式信息，并且将滤波器信息提供给预测装置232(图21)和无损编码单元206(图18)。
无损编码单元206(图18)将来自学习装置231的滤波器信息设置为发送目标，并且处理从步骤S105进行至步骤S106。在稍后描述的步骤S107中执行的预测编码处理中，设置为发送目标的滤波器信息被包括在编码比特流中并被发送。
在步骤S106中，根据来自学习装置231的滤波器信息中包括的每个类别的抽头系数、选择信息和格式信息，预测装置232更新存储在滤波器信息存储单元281中的每个类别的抽头系数、选择信息和格式信息(重写和存储滤波器信息)，并且处理进行至步骤S107。
在步骤S107中，对原始图像执行预测编码处理，并且编码处理结束。
图23是示出图22的步骤S107中的预测编码处理的示例的流程图。
在预测编码处理中，在步骤S111中，A/D转换单元201(图18)对原始图像执行A/D转换，并且将原始图像提供给排序缓冲器202，并且处理进行至步骤S112。
在步骤S112中，排序缓冲器202存储来自A/D转换单元201的原始图像，并且按编码顺序排序和输出原始图像，然后处理进行至步骤S113。
在步骤S113中，帧内预测单元214以帧内预测模式执行帧内预测处理，并且处理进行至步骤S114。在步骤S114中，运动预测补偿单元215执行帧间预测处理，即，以帧间预测模式执行运动预测和运动补偿，并且处理进行至步骤S115。
在由帧内预测单元214进行的帧内预测处理和由运动预测补偿单元215进行的帧间运动预测处理中，计算各种预测模式的成本函数，并且生成预测图像。
在步骤S115中，预测图像选择单元216基于由帧内预测单元214和运动预测补偿单元215获得的每个成本函数来确定最佳预测模式。然后，预测图像选择单元216从由帧内预测单元214生成的预测图像和由运动预测补偿单元215生成的预测图像中选择并输出最佳预测模式下的预测图像，并且处理从步骤S115进行至步骤S116。
在步骤S116中，计算单元203计算作为从排序缓冲器202输出的原始图像的要编码的目标图像与从预测图像选择单元216输出的预测图像之间的残差，并且将残差提供给正交变换单元204，然后处理进行至步骤S117。
在步骤S117中，正交变换单元204对来自计算单元203的残差执行正交变换，并且将根据正交变换的结果而获得的正交变换系数提供给量化单元205，并且处理进行至步骤S118。
在步骤S118中，量化单元205对来自正交变换单元204的正交变换系数进行量化，并且将通过量化获得的量化系数提供给无损编码单元206和逆量化单元208，并且处理进行至步骤S119。
在步骤S119中，逆量化单元208对来自量化单元205的量化系数执行逆量化，并且将根据逆量化的结果获得的正交变换系数提供给逆正交变换单元209，并且处理进行至步骤S120。在步骤S120中，逆正交变换单元209对来自逆量化单元208的正交变换系数执行逆正交变换，并且将根据逆正交变换的结果获得的残差提供给计算单元210，并且处理进行至步骤S121。
在步骤S121中，计算单元210将来自逆正交变换单元209的残差与从预测图像选择单元216输出的预测图像相加在一起，以生成与在计算单元203中进行了残差计算的原始图像相对应的解码图像。计算单元210将解码图像提供给ILF 211，并且处理从步骤S121进行至步骤S122。
在步骤S122中，ILF 211对来自计算单元210的解码图像执行使用高阶预测方程的类别分类预测处理作为滤波器处理，并且将通过滤波器处理获得的滤波器图像提供给帧存储器212，并且处理从步骤S122进行至步骤S123。
在步骤S123中，帧存储器212存储从ILF 211提供的滤波器图像，作为通过恢复原始图像获得的恢复图像，并且处理进行至步骤S124。存储在帧存储器212中的恢复图像被用作参考图像，在步骤S114和步骤S115中根据该参考图像生成预测图像。
在步骤S124中，无损编码单元206对作为来自量化单元205的量化系数的编码数据进行编码，并且生成包括编码数据的编码比特流。此外，无损编码单元206根据需要对编码信息进行编码，例如用于量化单元205中进行量化的量化参数QP、在帧内预测单元214中的帧内预测处理中获得的预测模式、以及在运动预测补偿单元215中的帧间运动预测处理中获得的预测模式和运动信息，并且将编码信息包括在编码比特流中。
此外，无损编码单元206根据需要对在图22的步骤S105中被设置为发送目标的滤波器信息进行编码，并且将经编码的滤波器信息包括在编码的比特流中。然后，无损编码单元206将编码比特流提供给存储缓冲器207，并且处理从步骤S124进行至步骤S125。
在步骤S125中，存储缓冲器207存储来自无损编码单元206的编码比特流，并且处理进行至步骤S126。存储在存储缓冲器207中的编码比特流被适当地读取和发送。
在步骤S126中，速率控制单元217基于存储在存储缓冲器207中的编码比特流的代码量(生成的代码量)来控制量化单元205中的编码操作的速率，使得不会发生上溢或下溢，并且编码处理结束。
图24是示出在图23的步骤S122中执行的滤波器处理的示例的流程图。
在步骤S131中，ILF 211的预测装置232(图21)在从计算单元210提供的解码图像(作为解码图像的块)的像素中选择尚未被设置为关注像素的一个像素作为关注像素，并且处理进行至步骤S132。
在步骤S132中，预测装置232选择在最近的步骤S106(图22)中存储在滤波器信息存储单元281中的最近的选择信息所表示的采用模式(被确定为采用模式的选择模式)的削减预测方程的项中包括的像素，作为来自解码图像的预测抽头，并且处理进行至步骤S133。
在步骤S133中，预测装置232对关注像素执行类别分类，并且处理进行至步骤S134。
在步骤S134中，预测装置232从在步骤S106(图22)中存储在滤波器信息存储单元281中的每个最新类别的抽头系数中，获取通过关注像素的类别分类获得的关注像素的类别的抽头系数，并且处理进行至步骤S135。
在步骤S135中，预测装置232根据在步骤S106(图22)中存储在滤波器信息存储单元281中的最新格式信息，指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测装置232根据在步骤S106中存储在滤波器信息存储单元281中的最新选择信息来指定用于简化多项式的采用模式。
然后，预测装置232执行将包括在最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程应用于解码图像的滤波器处理，换言之，执行包括作为解码图像的预测抽头的像素和最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程的计算(积和计算)，以获得滤波器图像。
此后，处理从步骤S135进行至步骤S136，并且预测装置232确定在来自计算单元210的解码图像(作为解码图像的块)的像素中是否存在尚未被设置为关注像素的像素。在步骤S136中，在确定存在尚未被设置为关注像素的像素的情况下，处理返回至步骤S131，并且重复类似的处理。
此外，在步骤S136中，在确定不存在尚未被设置为关注像素的像素的情况下，处理进行至步骤S137，并且预测装置232将包括针对解码图像(作为解码图像的块)从计算单元210获得的像素值的滤波器图像提供给帧存储器212(图18)。然后，结束滤波器处理，并且处理返回。
<解码装置12的配置示例>
图25是示出图8的解码装置12的详细配置示例的框图。
在图25中，解码装置12包括存储缓冲器301、无损解码单元302、逆量化单元303、逆正交变换单元304、计算单元305、ILF 306、排序缓冲器307和D/A转换单元308。此外，解码装置12包括帧存储器310、选择单元311、帧内预测单元312、运动预测补偿单元313和选择单元314。
存储缓冲器301临时存储从编码装置11发送的编码比特流，并且在预定定时将编码比特流提供给无损解码单元302。
无损解码单元302从存储缓冲器301接收编码比特流，并且利用与图18中的无损编码单元206的编码方法相对应的方法对编码比特流进行解码。
然后，无损解码单元302将量化系数提供给逆量化单元303，量化系数作为包括在对经编码的比特流进行解码的结果中的编码数据。
此外，无损解码单元302具有执行解析的功能。无损解码单元302对对编码的比特流进行解码的结果进行解析，以获得必要的编码信息和滤波器信息，并且将编码信息提供给必要的块，例如帧内预测单元312、运动预测补偿单元313等。此外，无损解码单元302将滤波器信息提供给ILF306。
逆量化单元303利用与图18中的量化单元205的量化方法相对应的方法对作为来自无损解码单元302的编码数据的量化系数执行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元304。
逆正交变换单元304利用与图18中的正交变换单元204的正交变换方法相对应的方法，对从逆量化单元303提供的正交变换系数执行逆正交变换，并且将根据逆正交变换的结果获得的残差提供给计算单元305。
计算单元305被提供有来自逆正交变换单元304的残差，并且还被提供有经由选择单元314来自帧内预测单元312或运动预测补偿单元313的预测图像。
计算单元305将来自逆正交变换单元304的残差与来自选择单元314的预测图像加在一起，以生成解码图像，并且将该解码图像提供给ILF 306。
类似于图18中的ILF 211，ILF 306通过基于类别分类预测处理执行滤波器处理来恢复(预测)原始图像。
换言之，ILF 306将来自计算单元305的解码图像作为第一图像，使用来自无损解码单元302的滤波信息中包括的每个类别的抽头系数执行削减预测方程的计算，从而将作为第一图像的解码图像转换为作为与原始图像相对应的第二图像的滤波器图像(生成滤波图像)，并且输出该滤波器图像。
由ILF 306输出的滤波器图像是与由图18的ILF 211输出的滤波器图像类似的图像，并且被提供给排序缓冲器307和帧存储器310。
排序缓冲器307临时存储从ILF 306提供的滤波器图像作为通过恢复原始图像获得的恢复图像，并且将恢复图像的帧(画面)的顺序从编码(解码)顺序排序为显示顺序，并且将恢复图像提供给D/A转换单元308。
D/A转换单元308对从排序缓冲器307提供的恢复图像执行D/A转换，并且将恢复图像输出至显示器(未示出)以进行显示。
帧存储器310临时存储从ILF 306提供的滤波器图像。此外，帧存储器310在预定定时或者基于来自帧内预测单元312、运动预测补偿单元313等的外部请求，将滤波器图像作为要用于生成预测图像的参考图像提供给选择单元311。
选择单元311选择从帧存储器310提供的参考图像的提供目的地。在对经过帧内编码的图像进行解码的情况下，选择单元311将从帧存储器310提供的参考图像提供给帧内预测单元312。此外，在对经过帧间编码的图像进行解码的情况下，选择单元311将从帧存储器310提供的参考图像提供给运动预测补偿单元313。
根据在从无损解码单元302提供的编码信息中包括的预测模式，在图18的帧内预测单元214中使用的帧内预测模式中，帧内预测单元312通过使用经由选择单元311从帧存储器310提供的参考图像来执行帧内预测。然后，帧内预测单元312将通过帧内预测获得的预测图像提供给选择单元314。
根据在从无损解码单元302提供的编码信息中包括的预测模式，在图18中的运动预测补偿单元215中使用的帧间预测模式中，运动预测补偿单元313通过使用经由选择单元311从帧存储器310提供的参考图像来执行帧间预测。根据需要，通过使用包括在从无损解码单元302提供的编码信息中的运动信息等来执行帧间预测。
运动预测补偿单元313将通过帧间预测获得的预测图像提供给选择单元314。
选择单元314选择从帧内预测单元312提供的预测图像或从运动预测补偿单元313提供的预测图像，并且将选择的预测图像提供给计算单元305。
注意，在图25中，无损解码单元302对应于图8的解析单元31，从逆量化单元303到计算单元305对应于图8的解码单元32，并且ILF 306对应于图8的滤波器单元33。
<ILF 306的配置示例>
图26是示出图25的ILF 306的配置示例的框图。
在图26中，ILF 306包括预测装置331。
预测装置331被提供有来自计算单元305(图25)的解码图像，并且还被提供有来自无损解码单元302的滤波器信息(并且此外，根据需要还提供有编码信息)。
类似于图19的预测装置232，预测装置331将解码图像作为第一图像，执行将使用每个类别的抽头系数的高阶预测方程应用于第一图像的滤波器处理(作为滤波器处理的类别分类预测处理)，以生成作为原始图像的第二图像的预测值的滤波器图像，并且将该滤波器图像提供给排序缓冲器307和帧存储器310(图25)。
注意，在预测装置331中，用于滤波器处理的抽头系数被包括在例如滤波器信息中。
此外，在预测装置331中，类似于图19的预测装置232，可以通过使用编码信息来执行滤波器处理。
<预测装置331的配置示例>
图27是图示出图26的预测装置331的配置示例的框图。
在图27中，预测装置331包括抽头选择单元341、类别分类单元342、系数获取单元343、预测计算单元344和滤波器信息存储单元345。
从抽头选择单元341到滤波器信息存储单元345分别与图21的从抽头选择单元271到预测计算单元274以及滤波器信息存储单元281类似地进行配置，并且在预测装置331中，由于进行与图21的预测装置232类似的处理，因此将省略对其的描述。
<解码处理>
图28是示出由图25的解码装置12进行的解码处理的示例的流程图。
在解码处理中，在步骤S201中，存储缓冲器301临时存储从编码装置11发送的编码比特流，并且将编码比特流适当地提供给无损解码单元302，并且处理进行至步骤S202。
在步骤S202中，无损解码单元302接收并解码从存储缓冲器301提供的编码比特流，并且将作为在对编码比特流进行解码的结果中包括的编码数据的量化系数提供给逆量化单元303。
此外，无损解码单元302解析对编码比特流进行解码的结果，并且在对编码比特流进行解码的结果包括滤波器信息或编码信息的情况下，无损解码单元302获得滤波器信息或编码信息。然后，无损解码单元302将必要的编码信息提供给必要的块，例如帧内预测单元312、运动预测补偿单元313等。此外，无损解码单元302将滤波器信息以及此外必要的编码信息提供给ILF 306。
此后，处理从步骤S202进行至步骤S203，并且ILF 306确定是否从无损解码单元302提供了滤波器信息。
在步骤S203中，在确定没有提供滤波器信息的情况下，处理跳过步骤S204，并且进行至步骤S205。
此外，在步骤S203中，在确定提供了滤波器信息的情况下，处理进行至步骤S204，并且预测装置331(图27)从无损解码单元302获取滤波器信息。此外，根据来自无损解码单元302的滤波器信息中包括的每个类别的抽头系数、选择信息和格式信息，预测装置331更新预测装置331的滤波器信息存储单元345中存储的每个类别的抽头系数、选择信息和格式信息。
然后，处理从步骤S204进行至步骤S205，执行预测解码处理，并且解码处理结束。
图29是示出图28的步骤S205中的预测解码处理的示例的流程图。
在步骤S211中，逆量化单元303对来自无损解码单元302的量化系数执行逆量化，并且将根据逆量化的结果获得的正交变换系数提供给逆正交变换单元304，并且处理进行至步骤S212。
在步骤S212中，逆正交变换单元304对来自逆量化单元303的正交变换系数执行逆正交变换，并且将根据逆正交变换的结果获得的残差提供给计算单元305，并且处理进行至步骤S213。
在步骤S213中，帧内预测单元312或运动预测补偿单元313通过使用经由选择单元311从帧存储器310提供的参考图像和从无损解码单元302提供的编码信息，执行生成预测图像的帧内预测处理或帧间运动预测处理。然后，帧内预测单元312或运动预测补偿单元313将通过帧内预测处理或帧间运动预测处理获得的预测图像提供给选择单元314，并且处理从步骤S213进行至步骤S214。
在步骤S214中，选择单元314选择从帧内预测单元312或运动预测补偿单元313提供的预测图像，并将该预测图像提供给计算单元305，然后处理进行至步骤S215。
在步骤S215中，计算单元305通过将来自逆正交变换单元304的残差和来自选择单元314的预测图像相加在一起来生成解码图像。然后，计算单元305将解码图像提供给ILF306，并且处理从步骤S215进行至步骤S216。
在步骤S216中，ILF 306对来自计算单元305的解码图像执行使用高阶预测方程的类别分类预测处理作为滤波器处理，并且将通过滤波器处理获得的滤波器图像提供给排序缓冲器307和帧存储器310，并且处理从步骤S216进行至步骤S217。
在步骤S217中，排序缓冲器307将从ILF 306提供的滤波器图像临时存储为恢复图像。此外，排序缓冲器307按照显示顺序对所存储的恢复图像进行排序，并将经排序的图像提供给D/A转换单元308，并且处理从步骤S217进行至步骤S218。
在步骤S218中，D/A转换单元308对来自排序缓冲器307的恢复图像进行D/A转换，并且然后处理进行至步骤S219。将D/A转换后的恢复图像输出至显示器(未示出)以进行显示。
在步骤S219中，帧存储器310存储从ILF 306提供的滤波器图像作为恢复图像，并且解码处理结束。存储在帧存储器310中的恢复图像被用作参考图像，在步骤S213中的帧内预测处理或帧间运动预测处理中，根据该参考图像生成预测图像。
图30是示出在图29的步骤S216中执行的滤波器处理的示例的流程图。
在步骤S221中，ILF 306的预测装置331(图27)选择从计算单元305提供的解码图像(作为解码图像的块)的像素中的尚未被设置为关注像素的一个像素作为关注像素，并且处理进行至步骤S222。
在步骤S222中，预测装置331选择在由最近的步骤S204(图28)中滤波器信息存储单元345中存储的最近的选择信息所表示的采用模式(被确定为采用模式的选择模式)的削减预测方程的项中包括的像素作为来自解码图像的预测抽头，并且处理进行至步骤S223。
在步骤S223中，预测装置331对关注像素执行类别分类，并且处理进行至步骤S224。
在步骤S224中，预测装置331从在步骤S204(图28)中滤波器信息存储单元345中存储的每个最新类别的抽头系数中获取通过关注像素的类别分类获得的关注像素的类别的抽头系数，并且处理进行至步骤S225。
在步骤S225中，预测装置331根据在步骤S204(图28)中滤波器信息存储单元345中存储的最新格式信息，指定抽头系数(一阶系数和二阶系数中的每一个)的表达式格式(最佳表达式格式)。此外，预测装置331根据在步骤S204中滤波器信息存储单元345中存储的最新选择信息来指定用于简化多项式的采用模式。
然后，预测装置331执行将包括最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程应用于解码图像的滤波器处理，换言之，执行包括作为解码图像的预测抽头的像素和最佳表达式格式中的关注像素的类别的抽头系数的采用模式的削减预测方程的计算(积和计算)，以获得滤波器图像。
此后，处理从步骤S225进行至步骤S226，并且预测装置331确定在来自计算单元305的解码图像(作为解码图像的块)的像素中是否存在尚未被设置为关注像素的像素。在步骤S226中，在确定了存在尚未被设置为关注像素的像素的情况下，处理返回至步骤S221，并且重复类似的处理。
此外，在步骤S226中，在确定了不存在尚未被设置为关注像素的像素的情况下，处理进行至步骤S227，并且预测装置331将包括针对来自计算单元305的解码图像(作为解码图像的块)获得的像素值的滤波器图像提供给排序缓冲器307和帧存储器310(图25)。然后，结束滤波器处理，并且处理返回。
注意，在图18至图30中，在编码装置11中，顺序地执行抽头系数学习，并且通过抽头系数学习获得的抽头系数被包括在滤波器信息中并被发送；然而，可以通过预先使用大量学习图像来执行抽头系数学习，并且可以在编码装置11和解码装置12中预设通过抽头系数学习获得的抽头系数。在这种情况下，不必将抽头系数从编码装置11发送至解码装置12，从而可以提高编码效率。
此外，在图18至图30中，在编码装置11中，预先准备多个选择模式作为用于选择要在削减预测方程中采用的项的选择模式，并且在所述多个选择模式中，将优化编码效率的选择模式确定为采用模式；然而，可以取决于从编码比特流获得的信息，换言之，例如，诸如量化参数QP的编码信息和解码图像的图像特征值，来执行从所述多个选择模式中确定采用模式。
换言之，例如，对于多个量化参数QP的每一个，能够预先获得提高编码效率的选择模式，并且在编码装置11和解码装置12中，从针对所述多个量化参数QP获得的多个选择模式中，可以将关注像素的量化参数QP的选择模式(例如，关注像素的帧的QP的平均值等)确定为采用模式。在这种情况下，不必将选择信息从编码装置11发送至解码装置12，从而可以提高编码效率。
此外，用于选择要在削减预测方程中采用的项的选择模式可以被预先固定为一个模式，并且在编码装置11和解码装置12中，可以通过使用固定选择模式的削减预测方程来执行滤波器处理。在这种情况下，不必将选择信息从编码装置11发送至解码装置12，从而可以提高编码效率。
<应用本技术的计算机的描述>
接下来，可以通过硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下，构成软件的程序被安装在通用计算机等中。
图31是示出其中安装了用于执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。
该程序可以预先记录在作为计算机中包含的记录介质的硬盘405或ROM 403上。
替选地，程序可以存储(记录)在可移除记录介质411中。这样的可移除记录介质411可以作为所谓的封装软件来提供。此处，可移除记录介质411的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。
注意，程序可以如上所述从可移除记录介质411安装在计算机上，或者可以经由通信网络或广播网络下载到计算机，并且安装在所并入的硬盘405上。换言之，例如，程序可以经由用于数字卫星广播的人造卫星从下载站点无线地传送至计算机，或者可以经由诸如局域网(LAN)或因特网的网络有线地发送至计算机。
计算机包括中央处理单元(CPU)402，并且输入/输出接口410经由总线401连接至CPU 402。
当用户经由输入/输出接口410操作输入单元407等来输入命令时，CPU 402根据该命令执行存储在只读存储器(ROM)403中的程序。替选地，CPU 402将存储在硬盘405中的程序加载到随机存取存储器(RAM)404中并执行该程序。
因此，CPU 402执行根据上述流程图的处理或由上述框图的配置执行的处理。然后，CPU 402使处理结果根据需要从输出单元406输出或者经由输入/输出接口410从通信单元408发送，并且进一步记录在例如硬盘405上。
注意，输入单元407包括键盘、鼠标、麦克风等。此外，输出单元406包括液晶显示器(LCD)、扬声器等。
此处，在本说明书中，计算机根据程序执行的处理不必按照流程图中描述的顺序按时间顺序执行。换言之，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象执行的处理)。
此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机分布和处理。此外，程序可以被传送到远程计算机并被执行。
此外，在本说明书中，系统是指多个组成(装置、模块(部件)等)的集合，所有组成是否在同一壳体中并不重要。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置和在一个壳体中容纳多个模块的一个装置都是系统。
注意，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下，可以进行各种修改。
例如，本技术可以采用经由网络在多个装置中共享一个功能的云计算的配置来协作处理。
此外，以上流程图中描述的每个步骤可以通过在多个装置中共享而不是由一个装置执行来执行。
此外，在一个步骤中包括多个处理的情况下，除了由一个装置执行之外，可以通过在多个装置中共享来执行在一个步骤中包括的多个处理。
此外，本说明书中描述的有利效果仅是示例，而不限于它们，并且可以包括其他效果。
注意，本技术可以具有以下配置。
<1>
一种解码装置，包括：
解码单元，其通过使用滤波器图像来对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及
滤波器单元，其通过对由所述解码单元生成的所述解码图像执行滤波器处理来生成所述滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算。
<2>
根据<1>所述的解码装置，其中，
所述滤波器单元通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
<3>
根据<2>所述的解码装置，其中，
所述滤波器单元通过使用包括像素的项的所述削减预测方程来执行所述滤波器处理，所述像素位于接近所述关注像素的位置处，所述项是从所述所有组合预测方程中选择的。
<4>
根据<2>或<3>所述的解码装置，还包括
解析单元，其对所述编码比特流中包括的、表示用于选择在所述削减预测方程中包括的项的选择模式的选择信息进行解析，其中，
所述滤波器单元通过使用由所述解析单元解析的选择信息所表示的选择模式的削减预测方程来执行所述滤波器处理。
<5>
根据<2>所述的解码装置，其中，
所述滤波器单元通过使用包括取决于选择模式而选择的一些项的削减预测方程来执行所述滤波器处理，所述选择模式是取决于与原始图像的编码有关的编码信息而从用于选择在所述削减预测方程中包括的项的多个选择模式中确定的。
<6>
根据<1>至<5>中任一项所述的解码装置，还包括
解析单元，其对所述编码比特流中包括的、表示表达式格式的格式信息进行解析，所述表达式格式以预定比特深度表示预测方程的每个阶的项的抽头系数，其中，
所述滤波器单元通过使用包括由所述解析单元解析的格式信息所表示的表达式格式的抽头系数的预测方程来执行所述滤波器处理。
<7>
根据<1>至<6>中任一项所述的解码装置，还包括
解析单元，其对包括在所述编码比特流中的抽头系数进行解析，其中，
所述滤波器单元通过使用包括由所述解析单元解析的抽头系数的预测方程来执行所述滤波器处理。
<8>
根据<1>至<7>中任一项所述的解码装置，其中，
所述滤波器单元
执行将所述解码图像的像素中的关注像素分类成多个类别中的一个的类别分类，以及
对所述解码图像执行应用包括所述关注像素的类别的抽头系数的预测方程的滤波器处理。
<9>
根据<1>至<8>中任一项所述的解码装置，其中，
所述解码单元利用四叉树块结构或四叉树加二叉树(QTBT)块结构的编码单元(CU)作为处理单元来对所述编码数据进行解码。
<10>
一种解码方法，包括：
通过使用滤波器图像对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及
通过对所述解码图像执行滤波器处理来生成所述滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算。
<11>
一种编码装置，包括：
滤波器单元，其通过对局部被解码的解码图像执行滤波器处理来生成滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算；以及
编码单元，其通过使用由所述滤波器单元生成的滤波器图像对原始图像进行编码。
<12>
根据<11>所述的编码装置，其中，
所述滤波器单元通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
<13>
根据<12>所述的编码装置，其中，
所述滤波器单元通过使用包括像素的项的所述削减预测方程来执行所述滤波器处理，所述像素位于接近所述关注像素的位置处，所述项是从所述所有组合预测方程中选择的。
<14>
根据<12>或<13>所述的编码装置，其中，
所述编码单元生成编码比特流，所述编码比特流包括通过对所述原始图像进行编码而获得的编码数据以及表示用于选择在所述削减预测方程中包括的项的选择模式的选择信息。
<15>
根据<12>所述的编码装置，其中，
所述滤波器单元通过使用包括取决于选择模式而选择的一些项的削减预测方程来执行所述滤波器处理，所述选择模式是取决于与所述原始图像的编码有关的编码信息而从用于选择在所述削减预测方程中包括的项的多个选择模式中确定的。
<16>
根据<11>至<15>中任一项所述的编码装置，其中，
所述滤波器单元针对每个阶来确定表达式格式，所述表达式格式以预定比特深度表示所述预测方程的每个阶的项的抽头系数。
<17>
根据<16>所述的编码装置，其中，
所述滤波器单元将表示在小数点之后的比特深度大于所述预测方程的一阶项抽头系数的表达式格式的比特深度的表达式格式确定为所述预测方程的二阶或更高阶的高阶项的抽头系数的表达式格式。
<18>
根据<16>或<17>所述的编码装置，其中，
所述编码单元生成编码比特流，所述编码比特流包括通过对所述原始图像执行编码而获得的编码数据以及表示所述表达式格式的格式信息。
<19>
根据<11>至<18>中任一项所述的编码装置，其中，
所述编码单元生成包括通过对所述原始图像进行编码而获得的编码数据和所述抽头系数的编码比特流。
<20>
根据<11>至<19>中任一项所述的编码装置，其中，
所述滤波器单元
通过以下操作来获得多个类别中的每一个的抽头系数：使用所述解码图像和针对所述解码图像的原始图像，并且针对每个类别执行学习，以在统计上使通过将所述预测方程应用于所述解码图像而获得的原始图像的预测值的预测误差最小化，
执行将所述解码图像的像素中的关注像素分类成所述多个类别中的一个的类别分类，以及
对所述解码图像执行应用包括所述关注像素的类别的抽头系数的预测方程的滤波器处理。
<21>
根据<11>至<20>中任一项的编码装置，其中，
所述编码单元利用四叉树块结构或四叉树加二叉树(QTBT)块结构的编码单元(CU)作为处理单元来对所述原始图像进行编码。
<22>
一种编码方法，包括：
通过对局部被解码的解码图像执行滤波器处理来生成滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算；以及
通过使用所述滤波器图像对原始图像进行编码。
附图标记列表
11 编码装置
12 解码装置
21 编码单元
23 局部解码单元
24 滤波器单元
31 解析单元
32 解码单元
33 滤波器单元
41 类别分类单元
42 学习单元
43 DB
44 确定单元
45 DB
46 预测单元
51 类别分类单元
52 预测单元
100 预测装置
101 抽头选择单元
102 类别分类单元
103 系数获取单元
104 预测计算单元
110 学习装置
111 教师图像生成单元
112 学生图像生成单元
113 学习单元
121 抽头选择单元
122 类别分类单元
123 加法单元
124 系数计算单元
130 预测装置
131 系数获取单元
140 学习装置
141 参数生成单元
142 学生图像生成单元
143 学习单元
151 加法单元
152 系数计算单元
201 A/D转换单元
202 排序缓冲器
203 计算单元
204 正交变换单元
205 量化单元
206 无损编码单元
207 存储缓冲器
208 逆量化单元
209 逆正交变换单元
210 计算单元
211 ILF
212 帧存储器
213 选择单元
214 帧内预测单元
215 运动预测补偿单元
216 预测图像选择单元
217 速率控制单元
231 学习装置
232 预测装置
241 选择模式设置单元
242 学习单元
243 确定单元
251 抽头选择单元
252 类别分类单元
253 加法单元
254 系数计算单元
271 抽头选择单元
272 类别分类单元
273 系数获取单元
274 预测计算单元
281 滤波器信息存储单元
301 存储缓冲器
302 无损解码单元
303 逆量化单元
304 逆正交变换单元
305 计算单元
306 ILF
307 排序缓冲器
308 D/A转换单元
310 帧存储器
311 选择单元
312 帧内预测单元
313 运动预测补偿单元
314 选择单元
331 预测装置
341 抽头选择单元
342 类别分类单元
343 系数获取单元
344 预测计算单元
345 滤波器信息存储单元
401 总线
402 CPU
403 ROM
404 RAM
405 硬盘
406 输出单元
407 输入单元
408 通信单元
409 驱动器
410 输入/输出接口
411 可移除记录介质

Claims (20)

1.一种解码装置，包括：
解码单元，其通过使用滤波器图像来对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及
滤波器单元，其通过对由所述解码单元生成的所述解码图像执行滤波器处理来生成所述滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算，
其中，所述滤波器单元通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
2.根据权利要求1所述的解码装置，其中，
所述滤波器单元通过使用包括像素的项的所述削减预测方程来执行所述滤波器处理，所述像素位于接近所述关注像素的位置处，所述项是从所述所有组合预测方程中选择的。
3.根据权利要求1所述的解码装置，还包括：
解析单元，其对所述编码比特流中包括的、表示用于选择在所述削减预测方程中包括的项的选择模式的选择信息进行解析，其中，
所述滤波器单元通过使用由所述解析单元解析的选择信息所表示的选择模式的削减预测方程来执行所述滤波器处理。
4.根据权利要求1所述的解码装置，其中，
所述滤波器单元通过使用包括取决于选择模式而选择的一些项的削减预测方程来执行所述滤波器处理，所述选择模式是取决于与原始图像的编码有关的编码信息而从用于选择在所述削减预测方程中包括的项的多个选择模式中确定的。
5.根据权利要求1所述的解码装置，还包括：
解析单元，其对所述编码比特流中包括的、表示表达式格式的格式信息进行解析，所述表达式格式以预定比特深度表示预测方程的每个阶的项的抽头系数，其中，
所述滤波器单元通过使用包括由所述解析单元解析的格式信息所表示的表达式格式的抽头系数的预测方程来执行所述滤波器处理。
6.根据权利要求1所述的解码装置，还包括：
解析单元，其对包括在所述编码比特流中的抽头系数进行解析，其中，
所述滤波器单元通过使用包括由所述解析单元解析的抽头系数的预测方程来执行所述滤波器处理。
7.根据权利要求1所述的解码装置，其中，
所述滤波器单元
执行将所述解码图像的像素中的关注像素分类成多个类别中的一个的类别分类，以及
对所述解码图像执行应用包括所述关注像素的类别的抽头系数的预测方程的滤波器处理。
8.根据权利要求1所述的解码装置，其中，
所述解码单元利用四叉树块结构或四叉树加二叉树(QTBT)块结构的编码单元(CU)作为处理单元来对所述编码数据进行解码。
9.一种解码方法，包括：
通过使用滤波器图像对包括在编码比特流中的编码数据进行解码，以生成解码图像；以及
通过对所述解码图像执行滤波器处理来生成所述滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算，
其中，通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
10.一种编码装置，包括：
滤波器单元，其通过对局部被解码的解码图像执行滤波器处理来生成滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算；以及
编码单元，其通过使用由所述滤波器单元生成的滤波器图像对原始图像进行编码，
其中，所述滤波器单元通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
11.根据权利要求10所述的编码装置，其中，
所述滤波器单元通过使用包括像素的项的所述削减预测方程来执行所述滤波器处理，所述像素位于接近所述关注像素的位置处，所述项是从所述所有组合预测方程中选择的。
12.根据权利要求10所述的编码装置，其中，
所述编码单元生成编码比特流，所述编码比特流包括通过对所述原始图像进行编码而获得的编码数据以及表示用于选择在所述削减预测方程中包括的项的选择模式的选择信息。
13.根据权利要求10所述的编码装置，其中，
所述滤波器单元通过使用包括取决于选择模式而选择的一些项的削减预测方程来执行所述滤波器处理，所述选择模式是取决于与所述原始图像的编码有关的编码信息而从用于选择在所述削减预测方程中包括的项的多个选择模式中确定的。
14.根据权利要求10所述的编码装置，其中，
所述滤波器单元针对每个阶来确定表达式格式，所述表达式格式以预定比特深度表示所述预测方程的每个阶的项的抽头系数。
15.根据权利要求14所述的编码装置，其中，
所述滤波器单元将表示在小数点之后的比特深度大于所述预测方程的一阶项抽头系数的表达式格式的比特深度的表达式格式确定为所述预测方程的二阶或更高阶的高阶项的抽头系数的表达式格式。
16.根据权利要求14所述的编码装置，其中，
所述编码单元生成编码比特流，所述编码比特流包括通过对所述原始图像执行编码而获得的编码数据以及表示所述表达式格式的格式信息。
17.根据权利要求10所述的编码装置，其中，
所述编码单元生成包括通过对所述原始图像进行编码而获得的编码数据和所述抽头系数的编码比特流。
18.根据权利要求10所述的编码装置，其中，
所述滤波器单元
通过以下操作来获得多个类别中的每一个的抽头系数：使用所述解码图像和针对所述解码图像的原始图像，并且针对每个类别执行学习，以在统计上使通过将所述预测方程应用于所述解码图像而获得的原始图像的预测值的预测误差最小化，
执行将所述解码图像的像素中的关注像素分类成所述多个类别中的一个的类别分类，以及
对所述解码图像执行应用包括所述关注像素的类别的抽头系数的预测方程的滤波器处理。
19.根据权利要求10所述的编码装置，其中，
所述编码单元利用四叉树块结构或四叉树加二叉树(QTBT)块结构的编码单元(CU)作为处理单元来对所述原始图像进行编码。
20.一种编码方法，包括：
通过对局部被解码的解码图像执行滤波器处理来生成滤波器图像，所述滤波器处理应用包括二阶或更高阶的高阶项的预测方程并且对所述解码图像的像素和预定抽头系数执行积和计算；以及
通过使用所述滤波器图像对原始图像进行编码，
其中，通过使用削减预测方程对所述解码图像的像素中的关注像素执行所述滤波器处理，所述削减预测方程是包括从所有组合预测方程中选择的一些项的预测方程，所述所有组合预测方程是包括所有候选像素的预测方程，所述候选像素被预定为用作在所述预测方程的计算中使用的预测抽头的像素的候选。
CN201880076051.9A 2017-12-01 2018-11-16 编码装置、编码方法、解码装置和解码方法 Expired - Fee Related CN111386703B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-232061 2017-12-01
JP2017232061 2017-12-01
PCT/JP2018/042428 WO2019107182A1 (ja) 2017-12-01 2018-11-16 符号化装置、符号化方法、復号装置、及び、復号方法

Publications (2)

Publication Number Publication Date
CN111386703A CN111386703A (zh) 2020-07-07
CN111386703B true CN111386703B (zh) 2022-06-03

Family

ID=66664865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076051.9A Expired - Fee Related CN111386703B (zh) 2017-12-01 2018-11-16 编码装置、编码方法、解码装置和解码方法

Country Status (4)

Country Link
US (1) US11451833B2 (zh)
JP (1) JPWO2019107182A1 (zh)
CN (1) CN111386703B (zh)
WO (1) WO2019107182A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065261A1 (ja) * 2017-09-27 2019-04-04 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
CN112616057A (zh) * 2019-10-04 2021-04-06 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63107319A (ja) * 1986-10-24 1988-05-12 Ricoh Co Ltd 拡張ガロア体上の多項式除算回路
JP4552261B2 (ja) 2000-04-03 2010-09-29 ソニー株式会社 ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4140259B2 (ja) * 2002-03-29 2008-08-27 ソニー株式会社 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
JPWO2010076856A1 (ja) * 2009-01-05 2012-06-21 株式会社東芝 動画像符号化方法及び動画像復号化方法
EP2515541A4 (en) * 2009-12-18 2015-08-26 Sharp Kk BILDFILTER, CODING DEVICE, DECODING DEVICE AND DATA STRUCTURE
JP5875979B2 (ja) * 2010-06-03 2016-03-02 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
JP2013118605A (ja) * 2011-06-28 2013-06-13 Sony Corp 画像処理装置と画像処理方法
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US11405611B2 (en) * 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
EP3454557A4 (en) * 2016-05-02 2019-03-13 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10645384B2 (en) * 2016-05-02 2020-05-05 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
CN116320494A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
CN110476427A (zh) * 2017-03-24 2019-11-19 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN117499631A (zh) * 2017-07-06 2024-02-02 Lx 半导体科技有限公司 图像编码/解码设备及发送图像数据的设备
WO2019103491A1 (ko) * 2017-11-22 2019-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter

Also Published As

Publication number Publication date
CN111386703A (zh) 2020-07-07
US20200382812A1 (en) 2020-12-03
JPWO2019107182A1 (ja) 2020-11-26
WO2019107182A1 (ja) 2019-06-06
US11451833B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
EP3934254A1 (en) Encoding and decoding of extracted features for use with machines
US20120128064A1 (en) Image processing device and method
SG191267A1 (en) Enhanced intra-prediction coding using planar representations
WO1996015620A1 (en) Context-based, adaptive, lossless image codec
EP1282236A1 (en) Data processing device and data processing method, and recorded medium
US20160212427A1 (en) Video encoding apparatus and video encoding method
CN111386703B (zh) 编码装置、编码方法、解码装置和解码方法
EP0962092A2 (en) Method and apparatus for recovering quantized coefficients
US20120281749A1 (en) Encoder, decoder, and data configuration
EP3200156B1 (en) Method and device for processing graph-based signal using geometric primitives
US11265539B2 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
US20210168407A1 (en) Encoding device, encoding method, decoding device, and decoding method
US20210266535A1 (en) Data processing apparatus and data processing method
WO2019111720A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
US20210377523A1 (en) Encoding device, encoding method, decoding device, and decoding method
WO2019208258A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
JP4517448B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
EP4068774A1 (en) Neural-network based processing of image data for image encoding using a selected encoding mode
JP4168299B2 (ja) 画像データ変換装置及び画像データ変換方法
US20240064331A1 (en) Image decoding apparatus and method and image encoding apparatus and method
US11516515B2 (en) Image processing apparatus, image processing method and image processing program
JP2001320587A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
WO2020008910A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
WO2020066643A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
WO2013030902A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220603

CF01 Termination of patent right due to non-payment of annual fee