CN114128293A - 编码装置、解码装置、编码方法和解码方法 - Google Patents

编码装置、解码装置、编码方法和解码方法 Download PDF

Info

Publication number
CN114128293A
CN114128293A CN202080043963.3A CN202080043963A CN114128293A CN 114128293 A CN114128293 A CN 114128293A CN 202080043963 A CN202080043963 A CN 202080043963A CN 114128293 A CN114128293 A CN 114128293A
Authority
CN
China
Prior art keywords
value
parameter
pixel
sum
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043963.3A
Other languages
English (en)
Inventor
远间正真
西孝启
安倍清史
加藤祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN114128293A publication Critical patent/CN114128293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码装置(100)具备电路和与电路连接的存储器，电路在动作中，导出针对多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数，导出针对多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数，导出针对多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数，导出针对多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数，导出针对多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数，使用第1参数、第2参数、第3参数、第4参数以及第5参数，生成在当前块的编码中使用的预测图像。

Description

编码装置、解码装置、编码方法和解码方法
技术领域
本发明涉及视频编码，例如涉及运动图像的编码以及解码中的系统、构成要素以及方法等。
背景技术
视频编码技术从H.261和MPEG-1进步到H.264/AVC(Advanced Video Coding：高级视频编码)、MPEG-LA、H.265/HEVC(High Efficiency Video Coding：高效视频编码)和H.266/VVC(Versatile Video Codec：通用视频编解码器)。伴随着该进步，为了处理在各种用途中持续增加的数字视频数据量，始终需要提供视频编码技术的改良以及最优化。
此外，非专利文献1涉及与上述的视频编码技术相关的现有的标准的一例。
现有技术文献
非专利文献
非专利文献1：H.265(ISO/IEC 23008－2 HEVC)/HEVC(High Efficiency VideoCoding)
发明内容
发明要解决的课题
关于上述那样的编码方式，为编码效率的改善、画质的改善、处理量的削减、电路规模的削减、或者滤波器、块、尺寸、运动矢量、参照图片或参照块等要素或动作的适当的选择等，期望提出新的方式。
本发明提供一种能够对例如编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献的结构或方法。此外，本发明可以包含能够有助于上述以外的利益的结构或方法。
用于解决课题的手段
例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
本发明中的几个实施方式的安装可以改善编码效率，可以简化编码/解码处理，可以加快编码/解码处理速度，还可以高效地选择适当的滤波器、块尺寸、运动矢量、参照图片、参照块等那样的编码和解码中使用的适当的构成要素/动作。
根据说明书以及附图，对本发明的一形态中的进一步的优点以及效果进行了明确。该优点和/或效果通过几个实施方式以及说明书和附图中记载的特征而分别得到，但为了得到1个或其以上的优点和/或效果，未必需要全部提供。
此外，这些总括性或者具体的形态也可以通过系统、方法、集成电路、计算机程序、记录介质或者它们的任意组合来实现。
发明效果
本发明的一形态的结构或者方法例如能够对编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献。另外，本发明的一形态的结构或方法也可以对上述以外的利益做出贡献。
附图说明
图1是表示实施方式的编码装置的功能结构的框图。
图2是表示由编码装置进行的整体编码处理的一例的流程图。
图3是表示块分割的一例的概念图。
图4A是表示切片的结构的一例的概念图。
图4B是表示瓦片的结构的一例的概念图。
图5A是表示与各种变换类型对应的变换基函数的表。
图5B是表示SVT(Spatially Varying Transform，空间变换)的一例的概念图。
图6A是表示ALF(adaptive loop filter：自适应循环滤波器)中使用的滤波器的形状的一例的概念图。
图6B是表示ALF中使用的滤波器的形状的另一例的概念图。
图6C是表示ALF中使用的滤波器的形状的另一例的概念图。
图7是表示作为DBF(deblocking filter：去块滤波器)发挥功能的循环滤波部的详细结构的一例的框图。
图8是表示具有相对于块边界对称的滤波特性的去块滤波的例子的概念图。
图9是用于说明进行去块滤波处理的块边界的概念图。
图10是表示Bs值的一例的概念图。
图11是表示由编码装置的预测处理部进行的处理的一例的流程图。
图12是表示由编码装置的预测处理部进行的处理的另一例的流程图。
图13是表示由编码装置的预测处理部进行的处理的另一例的流程图。
图14是表示实施方式的帧内预测中的67个帧内预测模式的一例的概念图。
图15是表示帧间预测的基本处理的流程的一例的流程图。
图16是表示运动矢量导出的一例的流程图。
图17是表示运动矢量导出的另一例的流程图。
图18是表示运动矢量导出的另一例的流程图。
图19是表示基于普通帧间模式的帧间预测的例子的流程图。
图20是表示基于合并模式的帧间预测的例子的流程图。
图21是用于说明基于合并模式的运动矢量导出处理的一例的概念图。
图22是表示FRUC(frame rate up conversion，帧速率上变换)处理的一例的流程图。
图23是用于说明沿着运动轨道的2个块之间的图案匹配(双向匹配)的一例的概念图。
图24是用于说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的概念图。
图25A是用于说明基于多个相邻块的运动矢量的子块单位的运动矢量的导出的一例的概念图。
图25B是用于说明在具有3个控制点的仿射模式中的子块单位的运动矢量的导出的一例的概念图。
图26A是用于说明仿射合并模式的概念图。
图26B是用于说明具有2个控制点的仿射合并模式的概念图。
图26C是用于说明具有3个控制点的仿射合并模式的概念图。
图27是表示仿射合并模式的处理的一例的流程图。
图28A是用于说明具有2个控制点的仿射帧间模式的概念图。
图28B是用于说明具有3个控制点的仿射帧间模式的概念图。
图29是表示仿射帧间模式的处理的一例的流程图。
图30A是用于说明当前块具有3个控制点、相邻块具有2个控制点的仿射帧间模式的概念图。
图30B是用于说明当前块具有2个控制点、相邻块具有3个控制点的仿射帧间模式的概念图。
图31A是表示包含DMVR(decoder motion vector refinement：解码器运动矢量细化)的合并模式的流程图。
图31B是用于说明DMVR处理的一例的概念图。
图32是表示预测图像的生成的一例的流程图。
图33是表示预测图像的生成的另一例的流程图。
图34是表示预测图像的生成的另一例的流程图。
图35是用于说明基于OBMC(overlapped block motion compensation，重叠块运动补偿)处理的预测图像修正处理的一例的流程图。
图36是用于说明基于OBMC处理的预测图像修正处理的一例的概念图。
图37是用于说明2个三角形的预测图像的生成的概念图。
图38是用于说明假定了等速直线运动的模型的概念图。
图39是用于说明使用了基于LIC(local illumination compensation，局部光补偿)处理的亮度修正处理的预测图像生成方法的一例的概念图。
图40是表示编码装置的安装例的框图。
图41是表示实施方式的解码装置的功能结构的框图。
图42是表示由解码装置进行的整体解码处理的一例的流程图。
图43是表示由解码装置的预测处理部进行的处理的一例的流程图。
图44是表示由解码装置的预测处理部进行的处理的另一例的流程图。
图45是表示解码装置中的基于普通帧间模式的帧间预测的例子的流程图。
图46是表示解码装置的安装例的框图。
图47是表示按照BIO的帧间预测的一例的流程图。
图48是表示进行按照BIO的帧间预测的帧间预测部的功能结构的一例的图。
图49是表示实施方式中的基于BIO的解码处理的第1具体例的流程图。图50是表示实施方式中的水平梯度值的计算例的概念图。
图51是表示实施方式中的垂直梯度值的计算例的概念图。
图52是表示实施方式中的基于BIO的解码处理的第3具体例的流程图。
图53是表示实施方式中的基于BIO的解码处理的第4具体例的流程图。
图54是表示实施方式的编码装置的动作的流程图。
图55是表示实施方式的解码装置的动作的流程图。
图56是表示实现内容分发服务的内容供给系统的整体结构的框图。
图57是表示可分级编码时的编码构造的一例的概念图。
图58是表示可分级编码时的编码构造的一例的概念图。
图59是表示web页的显示画面例的概念图。
图60是表示web页的显示画面例的概念图。
图61是表示智能电话的一例的框图。
图62是表示智能电话的结构例的框图。
具体实施方式
近年来，正在研究使用双向光流(bi-directional optical flow)对运动图像进行编码。双向光流也被称为BIO或BDOF。
例如，在双向光流中，基于光流等式生成预测图像。更具体而言，在双向光流中，使用基于块单位的参照图像的像素值和块单位的参照图像的梯度值而导出的参数，生成以像素单位调整了预测值的预测图像。通过使用双向光流，生成高精度的预测图像的可能性高。
例如，编码装置对预测图像与原始图像之间的差分图像进行编码。然后，解码装置对差分图像进行解码，将差分图像和预测图像相加，由此生成重构图像。通过使用高精度的预测图像，能够削减差分图像的编码量。即，通过使用双向光流，能够削减运动图像的编码量的可能性高。
另一方面，基于参照图像的各像素位置的像素值和梯度值导出用于双向光流的参数。因此，在用于双向光流的参数的导出中，由于对每个像素位置进行的运算，运算量有可能增大，电路规模有可能增大。
因此，例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减编码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
例如，所述电路通过后述的式(11.1)导出所述第1参数、通过后述的式(11.2)导出所述第2参数、通过后述的式(11.3)导出所述第3参数、通过后述的式(11.4)导出所述第4参数、通过后述的式(11.5)导出所述第5参数，Ω表示所述多个相对像素位置的集合，[i，j]表示所述多个相对像素位置的每一个，针对所述多个相对像素位置的每一个，Ix 0表示所述第1范围中的该相对像素位置的水平梯度值，Ix 1表示所述第2范围中的该相对像素位置的水平梯度值，Iy 0表示所述第1范围中的该相对像素位置的垂直梯度值，Iy 1表示所述第2范围中的该相对像素位置的垂直梯度值，I0表示所述第1范围中的该相对像素位置的像素值，I1表示所述第2范围中的该相对像素位置的像素值，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
由此，有可能使用像素值、水平梯度值和垂直梯度值以低运算量导出多个参数。
并且，例如，所述电路通过将所述第3参数除以所述第1参数来导出第6参数，通过从所述第4参数减去所述第5参数与所述第6参数的积，并除以所述第2参数来导出第7参数，使用所述第6参数和所述第7参数来生成所述预测图像。
由此，有可能将多个参数适当地集约为与水平方向以及垂直方向对应的2个参数。有可能在与水平方向对应的参数中适当地取入与水平梯度值相关的参数。有可能在与垂直方向对应的参数中适当地取入与垂直梯度值相关的参数、与水平梯度值和垂直梯度值这两者相关的参数、以及与水平方向对应的参数。然后，有可能使用这2个参数，生成预测图像。
另外，例如，所述电路通过后述的式(10.8)导出所述第6参数，通过后述的式(10.9)导出所述第7参数，sGx表示所述第1参数，sGy表示所述第2参数，sGxdI表示所述第3参数，sGydI表示所述第4参数，sGxGy表示所述第5参数，u表示所述第6参数，Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
由此，有可能以低运算量来导出与水平方向和垂直方向相对应的2个参数。
此外，例如，所述电路通过使用所述第1参照块中与处理对象像素位置对应的第1像素位置的第1像素值、所述第1像素位置的第1水平梯度值、所述第1像素位置的第1垂直梯度值、所述第2参照块中与所述处理对象像素位置对应的第2像素位置的第2像素值、所述第2像素位置的第2水平梯度值、所述第2像素位置的第2垂直梯度值、所述第6参数和所述第7参数，来导出所述当前块中包含的所述处理对象像素位置的预测像素值，生成所述预测图像。
由此，有可能使用与水平方向和垂直方向对应的2个参数等生成预测图像，并且与水平方向和垂直方向对应的2个参数有可能被适当地反映在预测图像中。
并且，例如，所述电路通过将所述第1像素值、所述第2像素值、第1修正值和第2修正值之和除以2，来导出所述预测像素值，所述第1修正值对应于所述第1水平梯度值和所述第2水平梯度值之差与所述第6参数之积，所述第2修正值对应于所述第1垂直梯度值和所述第2垂直梯度值之差与所述第7参数之积。
由此，使用与水平方向和垂直方向对应的2个参数等，有可能适当地生成预测图像。
此外，例如，所述电路通过后述的式(10.10)导出所述预测像素值，I0表示所述第1像素值，I1表示所述第2像素值，u表示所述第6参数，Ix 0表示所述第1水平梯度值，Ix 1表示所述第2水平梯度值，v表示所述第7参数，Iy 0表示所述第1垂直梯度值，Iy 1表示所述第2垂直梯度值。
由此，根据与对应于水平方向及垂直方向的2个参数等相关联的式子，有可能适当地生成预测图像。
此外，例如，本发明的一形态的解码装置具备电路和与所述电路连接的存储器，所述电路在动作中，对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减解码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
此外，例如，所述电路可通过后述的式(11.1)来导出所述第1参数，通过后述的式(11.2)来导出所述第2参数，通过后述的式(11.3)来导出所述第3参数，通过后述的式(11.4)来导出所述第4参数，通过后述的式(11.5)来导出所述第5参数，Ω表示所述多个相对像素位置的集合，[i，j]表示所述多个相对像素位置的每一个，针对所述多个相对像素位置的每一个，Ix 0表示所述第1范围中的该相对像素位置的水平梯度值，Ix 1表示所述第2范围中的该相对像素位置的水平梯度值，Iy 0表示所述第1范围中的该相对像素位置的垂直梯度值，Iy 1表示所述第2范围中的该相对像素位置的垂直梯度值，I0表示所述第1范围中的该相对像素位置的像素值，I1表示所述第2范围中的该相对像素位置的像素值，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
由此，有可能使用像素值、水平梯度值和垂直梯度值以低运算量导出多个参数。
并且，例如，所述电路通过将所述第3参数除以所述第1参数来导出第6参数，通过从所述第4参数减去所述第5参数与所述第6参数的积，并除以所述第2参数来导出第7参数，使用所述第6参数和所述第7参数来生成所述预测图像。
由此，有可能将多个参数适当地集约为与水平方向以及垂直方向对应的2个参数。有可能在与水平方向对应的参数中适当地取入与水平梯度值相关的参数。有可能在与垂直方向对应的参数中适当地取入与垂直梯度值相关的参数、与水平梯度值和垂直梯度值这两者相关的参数、以及与水平方向对应的参数。然后，有可能使用这2个参数，生成预测图像。
另外，例如，所述电路通过后述的式(10.8)导出所述第6参数，通过后述的式(10.9)导出所述第7参数，sGx表示所述第1参数，sGy表示所述第2参数，sGxdI表示所述第3参数，sGydI表示所述第4参数，sGxGy表示所述第5参数，u表示所述第6参数，Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
由此，有可能以低运算量来导出与水平方向和垂直方向相对应的2个参数。
此外，例如，所述电路通过使用所述第1参照块中与处理对象像素位置对应的第1像素位置的第1像素值、所述第1像素位置的第1水平梯度值、所述第1像素位置的第1垂直梯度值、所述第2参照块中与所述处理对象像素位置对应的第2像素位置的第2像素值、所述第2像素位置的第2水平梯度值、所述第2像素位置的第2垂直梯度值、所述第6参数和所述第7参数，来导出所述当前块中包含的所述处理对象像素位置的预测像素值，生成所述预测图像。
由此，有可能使用与水平方向和垂直方向对应的2个参数等生成预测图像，并且与水平方向和垂直方向对应的2个参数有可能被适当地反映在预测图像中。
并且，例如，所述电路通过将所述第1像素值、所述第2像素值、第1修正值和第2修正值之和除以2，来导出所述预测像素值，所述第1修正值对应于所述第1水平梯度值和所述第2水平梯度值之差与所述第6参数之积，所述第2修正值对应于所述第1垂直梯度值和所述第2垂直梯度值之差与所述第7参数之积。
由此，使用与水平方向和垂直方向对应的2个参数等，有可能适当地生成预测图像。
此外，例如，所述电路通过后述的式(10.10)导出所述预测像素值，I0表示所述第1像素值，I1表示所述第2像素值，u表示所述第6参数，Ix 0表示所述第1水平梯度值，Ix 1表示所述第2水平梯度值，v表示所述第7参数，Iy 0表示所述第1垂直梯度值，Iy 1表示所述第2垂直梯度值。
由此，根据与对应于水平方向及垂直方向的2个参数等相关联的式子，有可能适当地生成预测图像。
此外，例如，本发明的一形态的编码方法，对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减编码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
此外，例如，本发明的一形态的解码方法，对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减解码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
或者，例如，本发明的一形态的编码装置具备分割部、帧内预测部、帧间预测部、变换部、量化部和熵编码部。
所述分割部将构成所述运动图像的编码对象图片分割成多个块。所述帧内预测部使用所述编码对象图片中的参照图像，进行生成所述编码对象图片中的编码对象块的预测图像的帧内预测。所述帧间预测部使用与所述编码对象图片不同的参照图片中的参照图像，进行生成所述编码对象块的预测图像的帧间预测。
所述变换部变换由所述帧内预测部或所述帧间预测部生成的所述预测图像与所述编码对象块的图像之间的预测误差信号，以生成所述编码对象块的变换系数信号。所述量化部对所述变换系数信号进行量化。所述熵编码部对已量化的所述变换系数信号进行编码。
另外，例如，所述帧间预测部对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
或者，例如，本发明的一形态的解码装置具备熵解码部、逆量化部、逆变换部、帧内预测部、帧间预测部、以及加法部(重构部)。
所述熵解码部对构成所述运动图像的解码对象图片中的解码对象块的已量化的变换系数信号进行解码。所述逆量化部对已量化的所述变换系数信号进行逆量化。所述逆变换部对所述变换系数信号进行逆变换，取得所述解码对象块的预测误差信号。
所述帧内预测部使用所述解码对象图片中的参照图像，进行生成所述解码对象块的预测图像的帧内预测。所述帧间预测部使用与所述解码对象图片不同的参照图片中的参照图像，进行生成所述解码对象块的预测图像的帧间预测。所述加法部将由所述帧内预测部或所述帧间预测部生成的所述预测图像和所述预测误差信号相加，重构所述解码对象块的图像。
另外，例如，所述帧间预测部对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
而且，这些包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等非暂时的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图具体地说明实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的关系及顺序等是一例，不是限定权利要求的意思。
以下，说明编码装置及解码装置的实施方式。实施方式是能够应用在本发明的各形态中说明的处理及/或结构的编码装置及解码装置的例子。处理及/或结构在与实施方式不同的编码装置及解码装置中也能够实施。例如，关于对实施方式应用的处理及/或结构，例如也可以进行以下中的某个。
(1)在本发明的各形态中说明的实施方式的编码装置或解码装置的多个构成要素中的某个，也可以替换为在本发明的各形态中的某个所说明的其他构成要素，或是将它们组合；
(2)在实施方式的编码装置或解码装置中，也可以对通过该编码装置或解码装置的多个构成要素中的一部分构成要素进行的功能或处理，进行功能或处理的追加、替换、删除等的任意的变更。例如，将任一功能或处理替换为在本发明的各形态中的某个所说明的其他功能或处理，或是将它们组合；
(3)在实施方式的编码装置或解码装置实施的方法中，也可以对于该方法中包含的多个处理中的一部分处理，进行追加、替换、删除等任意的变更。例如，将方法中任一处理替换为在本发明的各形态中的某个所说明的其他处理，或是将它们组合；
(4)构成实施方式的编码装置或解码装置的多个构成要素中的一部分构成要素，可以与在本发明的各形态中的某个所说明的构成要素组合，也可以与具备在本发明的各形态中的某个所说明的功能的一部分的构成要素组合，也可以与实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合；
(5)具备实施方式的编码装置或解码装置的功能的一部分的构成要素、或实施实施方式的编码装置或解码装置的处理的一部分的构成要素，与在本发明的各形态中的某个所说明的构成要素、具备在本发明的各形态中的某个所说明的功能的一部分的构成要素、或实施在本发明的各形态中的某个所说明的处理的一部分的构成要素组合或替换；
(6)在实施方式的编码装置或解码装置所实施的方法中，该方法中包含的多个处理中的某个替换为在本发明的各形态中的某个所说明的处理或者同样的某个处理，或是将它们组合；
(7)将在实施方式的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理也可以与在本发明的各形态中的任一种中说明的处理组合。
(8)在本发明的各形态中说明的处理及/或结构的实施的方式并不限定于实施方式的编码装置或解码装置。例如，处理及/或结构也可以在以与实施方式中公开的运动图像编码或运动图像解码不同的目的而利用的装置中实施。
[编码装置]
首先，说明有关实施方式的编码装置。图1是表示有关实施方式的编码装置100的功能结构的框图。编码装置100是将运动图像以块单位进行编码的运动图像编码装置。
如图1所示，编码装置100是将图像以块单位进行编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、循环滤波部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。
编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的1个以上的电子电路实现。
以下，在说明了编码装置100的整体处理的流程之后，对编码装置100中包含的各构成要素进行说明。
[编码处理的整体流程]
图2是表示由编码装置100进行的整体编码处理的一例的流程图。
首先，编码装置100的分割部102将作为运动图像的输入图像中包含的各图片分割为多个固定尺寸的块(例如，128×128像素)(步骤Sa_1)。然后，分割部102对该固定尺寸的块选择分割图案(也称为块形状)(步骤Sa_2)。也就是说，分割部102将具有固定尺寸的块进一步分割为构成该所选择的分割图案的多个块。然后，编码装置100对于该多个块中的每一个，对该块(即，编码对象块)进行步骤Sa_3至Sa_9的处理。
也就是说，由帧内预测部124、帧间预测部126和预测控制部128的全部或一部分构成的预测处理部生成编码对象块(也称为当前块)的预测信号(也称为预测块)(步骤Sa_3)。
接着，减法部104生成编码对象块与预测块的差分作为预测残差(也称为差分块)(步骤Sa_4)。
接下来，变换部106和量化部108通过对该差分块进行变换和量化来生成多个量化系数(步骤Sa_5)。此外，由多个量化系数构成的块也被称为系数块。
接着，熵编码部110通过对该系数块和与预测信号的生成相关的预测参数进行编码(具体而言是熵编码)，生成编码信号(步骤Sa_6)。另外，编码信号也称为编码比特流、压缩比特流或流。
接下来，逆量化部112和逆变换部114通过对系数块进行逆量化和逆变换来复原多个预测残差(即，差分块)(步骤Sa_7)。
接着，加法部116通过对该复原后的差分块加上预测块，将当前块重构为重构图像(也称为重构块或解码图像块)(步骤Sa_8)。由此，生成重构图像。
当生成该重构图像时，循环滤波部120根据需要对该重构图像进行滤波(步骤Sa_9)。
然后，编码装置100判定整个图片的编码是否已完成(步骤Sa_10)，并且在判定为编码未完成的情况下(步骤Sa_10中为否)，反复进行从步骤Sa_2开始的处理。
另外，在上述的例子中，编码装置100对固定尺寸的块选择1个分割图案，按照该分割图案进行各块的编码，但也可以按照多个分割图案的每一个进行各块的编码。在这种情况下，编码装置100可以评价针对多个分割图案中的每一个的成本，并且例如可以选择通过按照最小成本的分割图案进行编码而得到的编码信号作为输出的编码信号。
如图所示，这些步骤Sa_1～Sa_10的处理由编码装置100顺序地进行。或者，这些处理中的一部分多个处理可以并行地进行，也可以进行这些处理的顺序的调换。
[分割部]
分割部102将输入运动图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定尺寸(例如128×128)的块。也可以采用其他固定块尺寸。该固定尺寸的块有被称作编码树单元(CTU)的情况。并且，分割部102例如基于递归性的四叉树(quadtree)及/或二叉树(binary tree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64×64以下)的块。即，分割部102选择分割图案。该可变尺寸的块有被称作编码单元(CU)、预测单元(PU)或变换单元(TU)的情况。另外，在各种处理例中，不需要将CU、PU及TU区分，而也可以将图片内的一部分或全部的块作为CU、PU、TU的处理单位。
图3是表示实施方式的块分割的一例的概念图。在图3中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。
这里，块10是128×128像素的正方形块(128×128块)。该128×128块10首先被分割为4个正方形的64×64块(四叉树块分割)。
左上方的64×64块再被垂直地分割为2个矩形的32×64块，左方的32×64块再被垂直地分割为2个矩形的16×64块(二叉树块分割)。结果，左上方的64×64块被分割为2个16×64块11、12和32×64块13。
右上方的64×64块被水平地分割为2个矩形的64×32块14、15(二叉树块分割)。
左下方的64×64块被分割为4个正方形的32×32块(四叉树块分割)。4个32×32块中的左上方的块及右下方的块进一步被分割。左上方的32×32块被垂直地分割为2个矩形的16×32块，右方的16×32块再被水平地分割为2个16×16块(二叉树块分割)。右下方的32×32块被水平地分割为2个32×16块(二叉树块分割)。结果，左下方的64×64块被分割为16×32块16、2个16×16块17、18、2个32×32块19、20、以及2个32×16块21、22。
右下方的64×64块23不被分割。
如以上这样，在图3中，块10基于递归性的四叉树及二叉树块分割而被分割为13个可变尺寸的块11～23。这样的分割有被称作QTBT(quad－tree plus binary tree，四叉树加二叉树)分割的情况。
另外，在图3中，1个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于这些。例如，也可以是1个块被分割为3个块(三叉树分割)。包括这样的三叉树分割在内的分割有被称作MBT(multi type tree，多类型树)分割的情况。
[图片的结构切片/瓦片]
为了并行地解码图片，图片有时以切片单位或以瓦片单位构成。由切片单位或瓦片单位构成的图片可以由分割部102构成。
切片是构成图片的基本的编码的单位。图片例如由1个以上的切片构成。另外，切片由1个以上的连续的CTU(Coding Tree Unit，编码树单元)构成。
图4A是表示切片的结构的一例的概念图。例如，图片包括11×8个CTU，并且被分割为4个切片(切片1～4)。切片1由16个CTU构成，切片2由21个CTU构成，切片3由29个CTU构成，切片4由22个CTU构成。在此，图片内的各CTU属于任一个切片。切片的形状成为将图片在水平方向上分割的形状。切片的边界不需要是画面端，可以是画面内的CTU的边界中的任意位置。切片中的CTU的处理顺序(编码顺序或解码顺序)例如是光栅扫描顺序。此外，切片包含头部信息和编码数据。在头部信息中，也可以记述切片的开头的CTU地址、切片类型等该切片的特征。
瓦片是构成图片的矩形区域的单位。也可以按光栅扫描顺序对各瓦片分派被称为TileId的编号。
图4B是表示瓦片的结构的一例的概念图。例如，图片包括11×8个CTU，并且被分割为4个矩形区域的瓦片(瓦片1～4)。在使用瓦片的情况下，与不使用瓦片的情况相比，变更CTU的处理顺序。在不使用瓦片的情况下，图片内的多个CTU按照光栅扫描顺序被处理。在使用瓦片的情况下，在多个瓦片的每一个中，至少1个CTU按照光栅扫描顺序被处理。例如，如图4B所示，瓦片1中包括的多个CTU的处理顺序是从瓦片1的第1行的左端到瓦片1的第1行的右端，然后从瓦片1的第2行的左端到瓦片1的第2行的右端的顺序。
另外，1个瓦片有时包含1个以上的切片，1个切片有时包含1个以上的瓦片。
[减法部]
减法部104以从分割部102输入并由分割部102分割的块单位从原信号(原样本)减去预测信号(以下所示的从预测控制部128输入的预测样本)。即，减法部104计算编码对象块(以下称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差(残差)向变换部106输出。
原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，也有将表示图像的信号称作样本的情况。
[变换部]
变换部106将空间域的预测误差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测误差进行规定的离散余弦变换(DCT)或离散正弦变换(DST)。规定的DCT或DST也可以预先确定。
另外，变换部106也可以从多个变换类型之中适应性地选择变换类型，使用与所选择的变换类型对应的变换基函数(transform basis function)，将预测误差变换为变换系数。这样的变换有被称作EMT(explicit multiple core transform，多核变换)或AMT(adaptive multiple transform，自适应多变换)的情况。
多个变换类型例如包括DCT－II、DCT－V、DCT－VIII、DST－I及DST－VII。图5A是表示与变换类型例对应的变换基函数的表。在图5A中，N表示输入像素的数量。从这些多个变换类型之中的变换类型的选择，例如既可以依赖于预测的种类(帧内预测及帧间预测)，也可以依赖于帧内预测模式。
表示是否应用这样的EMT或AMT的信息(例如称作EMT标志或者AMT标志)及表示所选择的变换类型的信息通常以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，比特序列级、图片级、切片级、瓦片级或CTU级)。
此外，变换部106也可以对变换系数(变换结果)进行再变换。这样的再变换有被称作AST(adaptive secondary transform，自适应二次变换)或NSST(non－separablesecondary transform，不可分二次变换)的情况。例如，变换部106按与帧内预测误差对应的变换系数的块中包含的每个子块(例如4×4子块)进行再变换。表示是否应用NSST的信息及与NSST中使用的变换矩阵有关的信息通常以CU级被进行信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或CTU级)。
在变换部106也可以应用Separable的变换和Non－Separable的变换，Separable(可分离)的变换是指与输入的维度数相当地按每个方向分离而进行多次变换的方式，Non－Separable(不可分)的变换是指当输入是多维时将2个以上的维度合起来看作1个维度而一起进行变换的方式。
例如，作为Non－Separable的变换的一例，可以举出在输入是4×4的块的情况下将其看作具有16个元素的一个排列，对该排列以16×16的变换矩阵进行变换处理的方式。
此外，在Non－Separable的变换的进一步的例子中，也可以在将4×4的输入块看作具有16个要素的一个排列后，进行对该排列多次进行Givens旋转的变换(HypercubeGivens Transform)。
在变换部106中的变换中，能够根据CU内的区域来切换要变换为频率区域的基的类型。作为一例，有SVT(Spatially Varying Transform)。在SVT中，如图5B所示，在水平或垂直方向上将CU二等分，仅对任意一方的区域进行向频率区域的变换。能够对每个区域设置变换基的类型，例如使用DST7和DCT8。在本例中，仅对CU内的2个区域中的某一方进行变换，另一方不进行变换，但也可以将2个区域都变换。另外，分割方法也不仅是二等分，还可以更灵活，例如四等分或者对表示分割的信息另外进行编码，与CU分割同样地进行信号化(signaling)等。另外，有时也将SVT称为SBT(Sub-block Transform，子块变换)。
[量化部]
量化部108对从变换部106输出的变换系数进行量化。具体而言，量化部108对当前块的变换系数以规定的扫描顺序进行扫描，基于与被扫描的变换系数对应的量化参数(QP)对该变换系数进行量化。并且，量化部108将当前块的量化后的变换系数(以下称作量化系数)向熵编码部110及逆量化部112输出。规定的扫描顺序也可以预先确定。
规定的扫描顺序是用于变换系数的量化/逆量化的顺序。例如，也可以用频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)定义规定的扫描顺序。
量化参数(QP)是指定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化误差增大。
另外，在量化中，有时使用量化矩阵。例如，有时与4×4和8×8等频率变换尺寸、帧内预测和帧间预测等预测模式、亮度和色差等像素成分对应地使用多种量化矩阵。另外，量化是指将以规定的间隔采样的值与规定的级别对应起来进行数字化，在该技术领域中，也可以使用舍入、化整(rounding)、缩放这样的其他表现来参照，也可以采用舍入、化整、缩放。规定的间隔以及级别也可以预先确定。
作为使用量化矩阵的方法，有使用在编码装置侧直接设定的量化矩阵的方法和使用默认的量化矩阵(默认矩阵)的方法。在编码装置侧，通过直接设定量化矩阵，能够设定与图像的特征相应的量化矩阵。然而，在这种情况下，存在由于量化矩阵的编码而编码量增加的缺点。
另一方面，也存在不使用量化矩阵而以高频成分的系数和低频成分的系数都相同的方式进行量化的方法。另外，该方法等同于使用系数全部为相同值的量化矩阵(平坦矩阵)的方法。
量化矩阵例如可以由SPS(序列参数集：Sequence Parameter Set)或PPS(图片参数集：Picture Parameter Set)指定。SPS包含对序列使用的参数，PPS包含对图片使用的参数。SPS和PPS有时简称为参数集。
[熵编码部]
熵编码部110基于从量化部108输入的量化系数，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数进行二值化，对二值信号进行算术编码，输出被压缩的比特流或序列。
[逆量化部]
逆量化部112对从量化部108输入的量化系数进行逆量化。具体而言，逆量化部112对当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。规定的扫描顺序也可以预先确定。
[逆变换部]
逆变换部114通过对从逆量化部112输入的变换系数进行逆变换，复原预测误差(残差)。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，复原当前块的预测误差。并且，逆变换部114将复原后的预测误差向加法部116输出。
另外，复原后的预测误差通常由于通过量化丢失了信息，所以与减法部104计算出的预测误差不一致。即，复原后的预测误差中通常包含量化误差。
[加法部]
加法部116通过将从逆变换部114输入的预测误差与从预测控制部128输入的预测样本相加，重构当前块。并且，加法部116将重构的块向块存储器118及循环滤波部120输出。重构块有被称作本地解码块的情况。
[块存储器]
块存储器118例如是用来将在帧内预测中参照的、编码对象图片(称作当前图片)内的块进行保存的存储部。具体而言，块存储器118保存从加法部116输出的重构块。
[帧存储器]
帧存储器122例如是用来将在帧间预测中使用的参照图片进行保存的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器122保存由循环滤波部120滤波后的重构块。
[循环滤波部]
循环滤波部120对由加法部116重构的块施以循环滤波，将滤波后的重构块向帧存储器122输出。循环滤波是指在编码循环内使用的滤波(环内滤波)，例如包括去块滤波(DF或DBF)、样本自适应偏移(SAO)及自适应循环滤波(ALF)等。
在ALF中，采用用来除去编码失真的最小二乘误差滤波器，例如按当前块内的每个2×2子块，采用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。
具体而言，首先将子块(例如2×2子块)分类为多个类(例如15或25类)。子块的分类基于梯度的方向及活性度来进行。例如，使用梯度的方向值D(例如0～2或0～4)和梯度的活性值A(例如0～4)，计算分类值C(例如C＝5D+A)。并且，基于分类值C，将子块分类为多个类。
梯度的方向值D例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较而导出。此外，梯度的活性值A例如通过将多个方向的梯度相加、并对相加结果进行量化来导出。
基于这样的分类的结果，从多个滤波器之中决定用于子块的滤波器。
作为在ALF中使用的滤波器的形状，例如使用圆对称形状。图6A～图6C是表示在ALF中使用的滤波器的形状的多个例子的图。图6A表示5×5钻石形状滤波器，图6B表示7×7钻石形状滤波器，图6C表示9×9钻石形状滤波器。表示滤波器的形状的信息通常以图片级被进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、CTU级或CU级)。
ALF的开启/关闭例如也可以以图片级或CU级决定。例如，关于亮度，可以以CU级决定是否采用ALF，关于色差，可以以图片级决定是否采用ALF。表示ALF的开启/关闭的信息通常以图片级或CU级被进行信号化。另外，表示ALF的开启/关闭的信息的信号化并不需要限定于图片级或CU级，也可以是其他级(例如，序列级、切片级、瓦片级或CTU级)。
可选择的多个滤波器(例如到15个或25个为止的滤波器)的系数集通常以图片级被进行信号化。另外，系数集的信号化并不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、CTU级、CU级或子块级)。
[循环滤波部＞去块滤波器]
在去块滤波器中，循环滤波部120通过对重构图像的块边界进行滤波处理来减少在该块边界产生的失真。
图7是表示作为去块滤波器发挥功能的循环滤波部120的详细结构的一例的框图。
循环滤波部120包括边界判定部1201、滤波判定部1203、滤波处理部1205、处理判定部1208、滤波特性决定部1207以及开关1202、1204和1206。
边界判定部1201判定在块边界附近是否存在进行去块滤波处理的像素(即对象像素)。然后，边界判定部1201将判定结果输出到开关1202和处理判定部1208。
在由边界判定部1201判定为对象像素存在于块边界附近的情况下，开关1202将滤波处理前的图像输出到开关1204。相反，在由边界判定部1201判定为对象像素不存在于块边界附近时，开关1202将滤波处理之前的图像输出到开关1206。
滤波判定部1203基于位于对象像素的周边的至少1个周边像素的像素值，判定是否对对象像素进行去块滤波处理。然后，滤波判定部1203将该判定结果输出到开关1204和处理判定部1208。
在由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到滤波处理部1205。相反，在由滤波判定部1203判定为不对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到开关1206。
在经由开关1202和1204取得了滤波处理前的图像的情况下，滤波处理部1205对于对象像素执行具有由滤波特性决定部1207决定的滤波特性的去块滤波处理。然后，滤波处理部1205将该滤波处理后的像素输出到开关1206。
根据处理判定部1208的控制，开关1206选择性地输出未被去块滤波处理的像素和通过滤波处理部1205被去块滤波处理的像素。
处理判定部1208基于边界判定部1201和滤波判定部1203的各自的判定结果来控制开关1206。即，处理判定部1208在由边界判定部1201判定为对象像素存在于块边界附近、且由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，从开关1206输出去块滤波处理后的像素。另外，在上述情况以外的情况下，处理判定部1208从开关1206输出未被去块/滤波处理的像素。通过反复进行这样的像素的输出，从开关1206输出滤波处理后的图像。
图8是表示具有相对于块边界对称的滤波特性的去块滤波的一例的概念图。
在去块滤波处理中，例如，使用像素值和量化参数，选择特性不同的2个去块滤波器、即强滤波器和弱滤波器中的任一个。在强滤波器中，如图8所示，在隔着块边界存在像素p0～p2和像素q0～q2的情况下，像素q0～q2各自的像素值例如通过进行以下的式所示的运算而变更为像素值q’0～q’2。
q’0＝(p1+2×p0+2×q0+2×q1+q2+4)/8
q’1＝(p0+q0+q1+q2+2)/4
q’2＝(p0+q0+q1+3×q2+2×q3+4)/8
此外，在上述的式子中，p0～p2以及q0～q2是像素p0～p2以及像素q0～q2各自的像素值。另外，q3是在与块边界相反的一侧与像素q2相邻的像素q3的像素值。另外，在上述的各式的右边，与在去块滤波处理中使用的各像素的像素值相乘的系数是滤波系数。
进而，在去块滤波处理中，也可以以运算后的像素值不超过阈值而被设定的方式进行限幅处理。在该限幅处理中，使用根据量化参数决定的阈值，将基于上述式的运算后的像素值限幅为“运算对象像素值±2×阈值”。由此，能够防止过度的平滑化。
图9是用于说明进行去块滤波处理的块边界的概念图。图10是表示Bs值的一例的概念图。
进行去块滤波处理的块边界例如是图9所示的8×8像素块的PU(PredictionUnit，预测单元)或TU(Transform Unit，变换单元)的边界。去块滤波处理能够以4行或4列为单位进行。首先，对于图9所示的块P以及块Q，如图10那样决定Bs(Boundary Strength，边界强度)值。
根据图10的Bs值，决定是否即使是属于同一图像的块边界，也进行不同强度的去块滤波处理。在Bs值为2的情况下进行针对色差信号的去块滤波处理。在Bs值为1以上且满足规定的条件的情况下，进行针对亮度信号的去块滤波处理。规定的条件也可以预先确定。另外，Bs值的判定条件并不限定于图10所示的条件，也可以基于其他参数来决定。
[预测处理部(帧内预测部/帧间预测部/预测控制部)]
图11是表示由编码装置100的预测处理部进行的处理的一例的流程图。此外，预测处理部由帧内预测部124、帧间预测部126和预测控制部128的全部或一部分的构成要素构成。
预测处理部生成当前块的预测图像(步骤Sb_1)。该预测图像也称为预测信号或预测块。另外，在预测信号中，例如有帧内预测信号或帧间预测信号。具体而言，预测处理部使用通过进行预测块的生成、差分块的生成、系数块的生成、差分块的复原、以及解码图像块的生成而已经得到的重构图像，生成当前块的预测图像。
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已编码的块的图像。当前图片内的已编码的块例如是当前块的相邻块。
图12是表示由编码装置100的预测处理部进行的处理的另一例的流程图。
预测处理部通过第1方式生成预测图像(步骤Sc_1a)，通过第2方式生成预测图像(步骤Sc_1b)，并且通过第3方式生成预测图像(步骤Sc_1c)。第1方式、第2方式和第3方式是用于生成预测图像的互不相同的方式，分别可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
接着，预测处理部选择在步骤Sc_1a、Sc_1b以及Sc_1c中生成的多个预测图像中的任一个(步骤Sc_2)。该预测图像的选择、即用于得到最终的预测图像的方式或模式的选择也可以针对所生成的各预测图像计算成本，并基于该成本来进行。此外，该预测图像的选择可以基于用于编码处理的参数来进行。编码装置100可以将用于确定所选择的预测图像、方式或模式的信息信号化为编码信号(也称为编码比特流)。该信息例如可以是标志等。由此，解码装置能够基于该信息，按照在编码装置100中选择的方式或模式来生成预测图像。此外，在图12所示的例子中，预测处理部在通过各方式生成预测图像后，选择预测图像中的任一个。然而，在生成这些预测图像前，预测处理部可以基于用于上述编码处理的参数来选择方式或模式，并且可以根据该方式或模式来生成预测图像。
例如，第1方式和第2方式分别是帧内预测和帧间预测，并且预测处理部可以从按照这些预测方式生成的预测图像中选择针对当前块的最终预测图像。
图13是表示由编码装置100的预测处理部进行的处理的另一例的流程图。
首先，预测处理部通过帧内预测生成预测图像(步骤Sd_1a)，并且通过帧间预测生成预测图像(步骤Sd_1b)。此外，通过帧内预测生成的预测图像也被称为帧内预测图像，通过帧间预测生成的预测图像也被称为帧间预测图像。
接下来，预测处理部评价帧内预测图像和帧间预测图像中的每一个(步骤Sd_2)。在该评价中也可以使用成本。也就是说，预测处理部计算帧内预测图像和帧间预测图像各自的成本C。该成本C能够通过R-D最优化模型的式子例如C＝D+λ×R来计算。在该式中，D是预测图像的编码失真，并且例如通过当前块的像素值与预测图像的像素值之间的差分绝对值和等来表示。另外，R是预测图像的产生编码量，具体而言，是用于生成预测图像的运动信息等的编码所需的编码量等。另外，λ例如是拉格朗日的未定乘数。
然后，预测处理部从帧内预测图像和帧间预测图像中选择计算出最小成本C的预测图像作为当前块的最终预测图像(步骤Sd_3)。也就是说，选择用于生成当前块的预测图像的预测方式或模式。
[帧内预测部]
帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测(也称作画面内预测)，从而生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，并将帧内预测信号向预测控制部128输出。
例如，帧内预测部124使用规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式通常包括1个以上的非方向性预测模式和多个方向性预测模式。规定的多个模式也可以预先确定。
1个以上的非方向性预测模式例如包括由H.265/HEVC规格规定的Planar(平面)预测模式及DC预测模式。
多个方向性预测模式例如包括由H.265/HEVC规格规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图14是表示可以在帧内预测中使用的全部67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的概念图。实线箭头表示由H.265/HEVC规格规定的33个方向，虚线箭头表示追加的32个方向(2个非方向性预测模式在图14中未图示)。
在各种处理例中，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作CCLM(cross－component linear model，跨组件的线性模型)预测的情况。也可以将这样的参照亮度块的色差块的帧内预测模式(例如称作CCLM模式)作为色差块的帧内预测模式的1个来添加。
帧内预测部124也可以基于水平/垂直方向的参照像素的梯度，将帧内预测后的像素值进行修正。伴随着这样的修正的帧内预测有被称作PDPC(position dependent intraprediction combination，位置决定的帧内预测组合)的情况。表示有没有采用PDPC的信息(例如称作PDPC标志)通常以CU级被进行信号化。另外，该信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或CTU级)。
[帧间预测部]
帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测信号(帧间预测信号)。帧间预测以当前块或当前块内的当前子块(例如4×4块)的单位进行。例如，帧间预测部126对于当前块或当前子块，在参照图片内进行运动搜索(motion estimation，运动估计)，寻找与该当前块或当前子块最一致的参照块或子块。并且，帧间预测部126取得对从参照块或子块到当前块或子块的运动或变化进行补偿的运动信息(例如运动矢量)。帧间预测部126基于该运动信息进行运动补偿(或运动预测)，从而生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。
在运动补偿中使用的运动信息以多种形态被信号化为帧间预测信号。例如，运动矢量也可以被信号化。作为其他例子，运动矢量和预测运动矢量(motion vectorpredictor)之间的差分也可以被信号化。
[帧间预测的基本流程]
图15是表示帧间预测的基本流程的一例的流程图。
帧间预测部126首先生成预测图像(步骤Se_1至Se_3)。接下来，减法部104生成当前块与预测图像之间的差分作为预测残差(步骤Se_4)。
这里，在预测图像的生成中，帧间预测部126通过进行当前块的运动矢量(MV)的决定(步骤Se_1和Se_2)以及运动补偿(步骤Se_3)来生成该预测图像。此外，在MV的决定中，帧间预测部126通过进行候选运动矢量(候选MV)的选择(步骤Se_1)和MV的导出(步骤Se_2)来决定该MV。候选MV的选择例如通过从候选MV列表
中选择至少1个候选MV来进行。另外，在MV的导出中，帧间预测部126也可以通过
从至少1个候选MV中进一步选择至少1个候选MV，将该选择出的至少1个候选MV决定为当前块的MV。或者，帧间预测部126可以通过对该选择出的至少1个候选MV中的每一个搜索由该候选MV指示的参照图片的区域来决定当前块的MV。另外，也可以将搜索该参照图片的区域的动作称为运动搜索(motion estimation)。
此外，在上述例子中，步骤Se_1～Se_3由帧间预测部126进行，但是例如步骤Se_1或步骤Se_2等的处理也可以由编码装置100中包括的其他构成要素进行。
[运动矢量的导出的流程]
图16是表示运动矢量导出的一例的流程图。
帧间预测部126在对运动信息(例如MV)进行编码的模式下导出当前块的MV。在这种情况下，例如，运动信息被编码为预测参数，并且被信号化。也就是说，编码后的运动信息包含在编码信号(也称为编码比特流)中。
或者，帧间预测部126在不对运动信息进行编码的模式下导出MV。在这种情况下，运动信息不包含在编码信号中。
在此，MV导出的模式也可以有后述的普通帧间模式、合并模式、FRUC模式以及仿射模式等。在这些模式中，对运动信息进行编码的模式有普通帧间模式、合并模式、以及仿射模式(具体而言，仿射帧间模式和仿射合并模式)等。此外，运动信息不仅可以包括MV，而且可以包括后述的预测运动矢量选择信息。此外，不对运动信息进行编码的模式有FRUC模式等。帧间预测部126从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
图17是表示运动矢量导出的另一例的流程图。
帧间预测部126在对差分MV进行编码的模式下导出当前块的MV。在这种情况下，例如，差分MV被编码为预测参数，并且被信号化。也就是说，被编码的差分MV包含在编码信号中。该差分MV是当前块的MV与其预测MV之差。
或者，帧间预测部126在不对差分MV进行编码的模式下导出MV。在这种情况下，被编码的差分MV不包含在编码信号中。
在此，如上所述，MV的导出模式有后述的普通帧间模式、合并模式、FRUC模式以及仿射模式等。在这些模式中，对差分MV进行编码的模式有普通帧间模式、以及仿射模式(具体而言，仿射帧间模式)等。此外，不对差分MV进行编码的模式有FRUC模式、合并模式、以及仿射模式(具体而言，仿射合并模式)等。帧间预测部126从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
[运动矢量的导出的流程]
图18是表示运动矢量导出的另一例的流程图。MV导出的模式、即帧间预测模式有多个模式，大致分为对差分MV进行编码的模式和不对差分运动矢量进行编码的模式。不对差分MV进行编码的模式有合并模式、FRUC模式和仿射模式(具体而言，仿射合并模式)。关于这些模式的详细内容将后述，简单地说，合并模式是通过从周边的已编码块中选择运动矢量来导出当前块的MV的模式，FRUC模式是通过在已编码区域间进行搜索来导出当前块的MV的模式。另外，仿射模式是假定仿射变换，将构成当前块的多个子块各自的运动矢量作为当前块的MV而导出的模式。
具体而言，如图所示，在帧间预测模式信息表示0的情况下(Sf_1中的0)，帧间预测部126基于合并模式导出运动矢量(Sf_2)。此外，在帧间预测模式信息表示1的情况下(Sf_1中的1)，帧间预测部126根据FRUC模式导出运动矢量(Sf_3)。此外，在帧间预测模式信息表示2的情况下(Sf_1中的2)，帧间预测部126根据仿射模式(具体而言，仿射合并模式)导出运动矢量(Sf_4)。此外，在帧间预测模式信息表示3的情况下(Sf_1中的3)，帧间预测部126根据对差分MV进行编码的模式(例如，普通帧间模式)来导出运动矢量(Sf_5)。
[MV导出＞普通帧间模式]
普通帧间模式是基于从由候选MV表示的参照图片的区域中与当前块的图像相似的块来导出当前块的MV的帧间预测模式。此外，在该普通帧间模式中，差分MV被编码。
图19是表示基于普通帧间模式的帧间预测的例子的流程图。
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码块的MV等的信息，对于该当前块取得多个候选MV(步骤Sg_1)。也就是说，帧间预测部126制作候选MV列表。
接着，帧间预测部126从在步骤Sg_1中取得的多个候选MV中，将N个(N为2以上的整数)候选MV分别作为预测运动矢量候选(也称为预测MV候选)，按照规定的的优先顺序进行提取(步骤Sg_2)。另外，该优先顺序也可以是对N个候选MV的每一个而预先确定的。
接着，帧间预测部126从该N个预测运动矢量候选中选择1个预测运动矢量候选作为当前块的预测运动矢量(也称为预测MV)(步骤Sg_3)。此时，帧间预测部126将用于识别选择出的预测运动矢量的预测运动矢量选择信息编码到流。另外，流是上述的编码信号或编码比特流。
接着，帧间预测部126参照已编码参照图片，导出当前块的MV(步骤Sg_4)。此时，帧间预测部126还将所导出的MV与预测运动矢量之间的差分值作为差分MV编码到流。另外，已编码参照图片是由在编码后重构的多个块构成的图片。
最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sg_5)。另外，预测图像是上述的帧间预测信号。
此外，编码信号中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，普通帧间模式)的信息被编码为例如预测参数。
另外，候选MV列表也可以与在其他模式中使用的列表共同使用。此外，与候选MV列表有关的处理可以应用于与其他模式中使用的列表有关的处理。与该候选MV列表有关的处理例如是从候选MV列表中提取或选择候选MV、重新排列候选MV、或者删除候选MV等。
[MV导出>合并模式]
合并模式是通过从候选MV列表中选择候选MV作为当前块的MV来导出该MV的帧间预测模式。
图20是表示基于合并模式的帧间预测的例子的流程图。
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码块MV等的信息，对该当前块取得多个候选MV(步骤Sh_1)。也就是说，帧间预测部126制作候选MV列表。
接着，帧间预测部126通过从在步骤Sh_1中取得的多个候选MV中选择1个候选MV，导出当前块的MV(步骤Sh_2)。此时，帧间预测部126将用于识别选择出的候选MV的MV选择信息编码到流。
最后，帧间预测部126通过使用该导出的MV和已编码参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sh_3)。
此外，编码信号中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，合并模式)的信息被编码为例如预测参数。
图21是用于说明基于合并模式的当前图片的运动矢量导出处理的一例的概念图。
首先，生成登记了预测MV的候选的预测MV列表。作为预测MV的候选，有：空间相邻预测MV，是位于对象块的空间的周边的多个已编码块所具有的MV；时间相邻预测MV，是对已编码参照图片中的对象块的位置进行了投影的附近的块所具有的MV；结合预测MV，是将空间相邻预测MV和时间相邻预测MV的MV值组合而生成的MV；以及零预测MV，是值为零的MV，等。
接着，通过从登记在预测MV列表中的多个预测MV中选择1个预测MV，来决定为对象块的MV。
而且，在可变长度编码部中，将表示选择了哪个预测MV的信号即merge_idx记述在流中进行编码。
另外，在图21中说明的预测MV列表中登记的预测MV是一例，也可以是与图中的个数不同的个数，或者是不包含图中的预测MV的一部分种类的结构，或者是追加了除图中的预测MV的种类以外的预测MV的结构。
也可以使用通过合并模式导出的对象块的MV，通过进行后述的DMVR(decodermotion vector refinement)处理来决定最终的MV。
另外，预测MV的候选是上述的候选MV，预测MV列表是上述的候选MV列表。此外，也可以将候选MV列表称为候选列表。此外，merge_idx是MV选择信息。
[MV导出>FRUC模式]
运动信息也可以不从编码装置侧被信号化，而在解码装置侧被导出。另外，如上所述，也可以使用由H.265/HEVC规格规定的合并模式。此外，例如也可以通过在解码装置侧进行运动搜索来导出运动信息。在实施方式中，在解码装置侧不使用当前块的像素值而进行运动搜索。
这里，对在解码装置侧进行运动估计的模式进行说明。该在解码装置侧进行运动估计的模式有被称作PMMVD(pattern matched motion vector derivation，图案匹配的运动矢量推导)模式或FRUC(frame rate up－conversion，帧速率上变换)模式的情况。
以流程图的形式在图22中表示FRUC处理的一例。首先，参照与当前块在空间或时间上相邻的已编码块的运动矢量，生成分别具有预测运动矢量(MV)的多个候选的列表(即，是候选MV列表，也可以与合并列表共用)(步骤Si_1)。接着，从登记在候选MV列表中的多个候选MV之中选择最佳候选MV(步骤Si_2)。例如，计算候选MV列表中包含的各候选MV的评价值，基于评价值选择1个候选。并且，基于所选择的候选的运动矢量，导出用于当前块的运动矢量(步骤Si_4)。具体而言，例如将所选择的候选的运动矢量(最佳候选MV)原样作为用于当前块的运动矢量来导出。此外，例如也可以通过在与所选择的候选的运动矢量对应的参照图片内的位置的周边区域中进行图案匹配，来导出用于当前块的运动矢量。即，也可以对最佳候选MV的周边区域通过使用参照图片中的图案匹配以及评价值进行搜索，在有评价值为更好的值的MV的情况下，将最佳候选MV更新为上述MV，将其作为当前块的最终的MV。也可以做成不实施进行向具有更好的评价值的MV的更新的处理的结构。
最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Si_5)。
也可以在以子块单位进行处理的情况下也进行完全同样的处理。
评价值也可以通过各种方法来计算。例如，将与运动矢量对应的参照图片内的区域的重构图像与规定的区域(例如，如下所示，该区域可以是其他参照图片的区域或当前图片的相邻块的区域)的重构图像进行比较。规定的区域也可以预先确定。
然后，也可以计算2个重构图像的像素值的差分，用于运动矢量的评价值。另外，也可以是，除了差分值以外还使用其他信息来计算评价值。
接着，对图案匹配的例子进行详细说明。首先，选择候选MV列表(例如合并列表)中包含的1个候选MV作为基于图案匹配的搜索的起始点。例如，作为图案匹配，能够使用第1图案匹配或第2图案匹配。第1图案匹配及第2图案匹配有分别被称作双向匹配(bilateralmatching)及模板匹配(template matching)的情况。
[MV导出>FRUC>双向匹配]
在第1图案匹配中，在不同的2个参照图片内的、沿着当前块的运动轨迹(motiontrajectory)的2个块之间进行图案匹配。因而，在第1图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用沿着当前块的运动轨迹的其他参照图片内的区域。规定的区域也可以预先确定。
图23是用于说明沿着运动轨迹的2个参照图片中的2个块间的第1图案匹配(双向匹配)的一例的概念图。如图23所示，在第1图案匹配中，通过在沿着当前块(Cur block)的运动轨迹的2个块、且不同的2个参照图片(Ref0，Ref1)内的2个块的对之中搜索最匹配的对，导出2个运动矢量(MV0，MV1)。具体而言，对于当前块，导出由候选MV指定的第1已编码参照图片(Ref0)内的指定位置处的重构图像、与由将上述候选MV以显示时间间隔进行缩放后的对称MV指定的第2已编码参照图片(Ref1)内的指定位置处的重构图像的差分，使用所得到的差分值计算评价值。能够在多个候选MV之中选择评价值为最好的值的候选MV作为最终MV，能够得到良好的结果。
在连续性的运动轨迹的假定下，指示2个参照块的运动矢量(MV0，MV1)相对于当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离(TD0，TD1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1图案匹配中，导出镜像对称的双方向的运动矢量。
[MV导出>FRUC>模板匹配]
在第2图案匹配(模板匹配)中，在当前图片内的模板(在当前图片内与当前块相邻的块(例如上及/或左相邻块))与参照图片内的块之间进行图案匹配。因而，在第2图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用当前图片内的与当前块相邻的块。
图24是用于说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的概念图。如图24所示，在第2图案匹配中，通过在参照图片(Ref0)内搜索与在当前图片(Cur Pic)内相邻于当前块(Cur block)的块最匹配的块，导出当前块的运动矢量。具体而言，对于当前块，导出左相邻及上相邻的双方或某一方的已编码区域的重构图像与由候选MV指定的已编码参照图片(Ref0)内的同等位置处的重构图像的差分，使用所得到的差分值计算评价值，能够在多个候选MV之中选择评价值为最好的值的候选MV作为最佳候选MV。
这样的表示是否采用FRUC模式的信息(例如称作FRUC标志)以CU级被信号化。此外，在采用FRUC模式的情况下(例如FRUC标志为真的情况下)，表示可采用的图案匹配的方法(第1图案匹配或第2图案匹配)的信息以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、CTU级或子块级)。
[MV导出>仿射模式]
接下来，对基于多个相邻块的运动矢量并以子块单位导出运动矢量的仿射模式进行说明。该模式有时被称为仿射运动补偿预测(affine motion compensationprediction)模式。
图25A是用于说明基于多个相邻块的运动矢量的子块单位的运动矢量的导出的一例的概念图。在图25A中，当前块包括16个4×4子块。这里，基于相邻块的运动矢量导出当前块的左上角控制点的运动矢量v0，同样地，基于相邻子块的运动矢量导出当前块的右上角控制点的运动矢量v1。然后，根据以下的式(1A)，可以投影2个运动矢量v0以及v1，也可以导出当前块内的各子块的运动矢量(vx，vy)。
【数式1】
Figure BDA0003411921670000351
这里，x和y分别表示子块的水平位置和垂直位置，w表示规定的权重系数。规定的权重系数也可以预先决定。
表示这种仿射模式的信息(例如，称为仿射标志)可以被信号化为CU级的信号。此外，表示该仿射模式的信息的信号化不需要限定于CU级，可以是其他级别(例如，序列级、图片级、切片级、瓦片级、CTU级或子块级)。
另外，在这样的仿射模式中，也可以包含左上以及右上角控制点的运动矢量的导出方法不同的若干模式。例如，在仿射模式中，有仿射帧间(也称为仿射普通帧间)模式和仿射合并模式这2个模式。
[MV导出>仿射模式]
图25B是用于说明具有3个控制点的仿射模式中的子块单位的运动矢量的导出的一例的概念图。在图25B中，当前块包括16个4×4子块。这里，基于相邻块的运动矢量导出当前块的左上角控制点的运动矢量v0，同样地，基于相邻块的运动矢量导出当前块的右上角控制点的运动矢量v1，基于相邻块的运动矢量导出当前块的左下角控制点的运动矢量v2。然后，根据以下的式(1B)，可以投影3个运动矢量v0、v1以及v2，也可以导出当前块内的各子块的运动矢量(vx，vy)。
【数式2】
Figure BDA0003411921670000361
这里，x和y分别表示子块中心的水平位置和垂直位置，w表示当前块的宽度，h表示当前块的高度。
不同的控制点数(例如，2个和3个)的仿射模式也可以以CU级进行切换而信号化。另外，也可以将表示在CU级中使用的仿射模式的控制点数的信息以其他级(例如，序列级、图片级、切片级、瓦片级、CTU级或子块级)进行信号化。
另外，在这样的具有3个控制点的仿射模式中，也可以包含左上、右上以及左下角控制点的运动矢量的导出方法不同的若干模式。例如，在仿射模式中，有仿射帧间(也称为仿射普通帧间)模式和仿射合并模式这2个模式。
[MV导出>仿射合并模式]
图26A、图26B和图26C是用于说明仿射合并模式的概念图。
在仿射合并模式中，如图26A所示，例如，基于与在与当前块相邻的已编码的块A(左)、块B(上)、块C(右上)、块D(左下)和块E(左上)中的以仿射模式编码的块对应的多个运动矢量，计算当前块的控制点中的每一个的预测运动矢量。具体而言，按照已编码的块A(左)、块B(上)、块C(右上)、块D(左下)以及块E(左上)的顺序检查这些块，确定以仿射模式编码的最初的有效块。基于与所确定的块对应的多个运动矢量来计算当前块的控制点的预测运动矢量。
例如，如图26B所示，在以具有2个控制点的仿射模式对与当前块的左侧相邻的块A进行编码的情况下，导出投影到包含块A的已编码的块的左上角以及右上角的位置的运动矢量v3以及v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
例如，如图26C所示，当在具有3个控制点的仿射模式下对与当前块的左侧相邻的块A进行编码时，导出投影到包含块A的已编码的块的左上角、右上角和左下角的位置的运动矢量v3、v4和v5。然后，根据导出的运动矢量v3、v4和v5，计算当前块的左上角的控制点的预测运动矢量v0、右上角的控制点的预测运动矢量v1和左下角的控制点的预测运动矢量v2。
另外，在后述的图29的步骤Sj_1中的当前块的控制点各自的预测运动矢量的导出中，也可以使用该预测运动矢量导出方法。
图27是表示仿射合并模式的一例的流程图。
在仿射合并模式中，如图所示，首先，帧间预测部126导出当前块的控制点各自的预测MV(步骤Sk_1)。控制点如图25A所示，是当前块的左上角和右上角的点，或者如图25B所示，是当前块的左上角、右上角和左下角的点。
也就是说，如图26A所示，帧间预测部126按照已编码的块A(左)、块B(上)、块C(右上)、块D(左下)和块E(左上)的顺序检查这些块，并且确定以仿射模式编码的初始有效块。
然后，在块A被确定并且块A具有2个控制点的情况下，如图26B所示，帧间预测部126根据包含块A的已编码的块的左上角和右上角的运动矢量v3和v4来计算当前块的左上角的控制点的运动矢量v0和右上角的控制点的运动矢量v1。例如，通过将已编码的块的左上角和右上角的运动矢量v3和v4投影到当前块，帧间预测部126计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
或者，在块A被确定并且块A具有3个控制点的情况下，如图26C所示，帧间预测部126根据包含块A的已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5来计算当前块的左上角的控制点的运动矢量v0、右上角的控制点的运动矢量v1和左下角的控制点的运动矢量v2。例如，通过将已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5投影到当前块上，帧间预测部126计算当前块的左上角的控制点的预测运动矢量v0、右上角的控制点的预测运动矢量v1和左下角的控制点的运动矢量v2。
接下来，帧间预测部126对当前块中包含的多个子块中的每一个进行运动补偿。即，帧间预测部126针对该多个子块的每一个，使用2个预测运动矢量v0和v1和上述的式(1A)、或者3个预测运动矢量v0、v1以及v2和上述的式(1B)，计算该子块的运动矢量作为仿射MV(步骤Sk_2)。然后，帧间预测部126这些使用仿射MV和已编码的参照图片来对该子块进行运动补偿(步骤Sk_3)。结果，对当前块进行运动补偿，并且生成该当前块的预测图像。
[MV导出>仿射帧间模式]
图28A是用于说明具有2个控制点的仿射帧间模式的概念图。
在该仿射帧间模式中，如图28A所示，从与当前块相邻的已编码的块A、块B和块C的运动矢量中选择的运动矢量被用作当前块的左上角的控制点的预测运动矢量v0。同样地，从与当前块相邻的已编码的块D和块E的运动矢量中选择的运动矢量被用作当前块的右上角的控制点的预测运动矢量v1。
图28B是用于说明具有3个控制点的仿射帧间模式的概念图。
在该仿射帧间模式中，如图28B所示，从与当前块相邻的已编码的块A、块B和块C的运动矢量中选择的运动矢量被用作当前块的左上角的控制点的预测运动矢量v0。同样地，从与当前块相邻的已编码的块D和块E的运动矢量中选择的运动矢量被用作当前块的右上角的控制点的预测运动矢量v1。此外，从与当前块相邻的已编码的块F和块G的运动矢量中选择的运动矢量被用作当前块的左下角的控制点的预测运动矢量v2。
图29是表示仿射帧间模式的一例的流程图。
如图所示，在仿射帧间模式中，首先，帧间预测部126导出当前块的2个或3个控制点各自的预测MV(v0，v1)或(v0，v1，v2)(步骤Sj_1)。如图25A或图25B所示，控制点是当前块的左上角、右上角或左下角的点。
即，帧间预测部126通过选择图28A或图28B所示的当前块的各控制点附近的已编码的块中的某个块的运动矢量，导出当前块的控制点的预测运动矢量(v0，v1)或(v0，v1，v2)。此时，帧间预测部126将用于识别所选择的2个运动矢量的预测运动矢量选择信息编码到流。
例如，帧间预测部126可以通过使用成本评价等来决定从与当前块相邻的已编码块中选择哪个块的运动矢量作为控制点的预测运动矢量，并且可以在比特流中记述表示选择了哪个预测运动矢量的标志。
接下来，帧间预测部126在更新步骤Sj_1中选择或导出的预测运动矢量的同时(步骤Sj_2)进行运动搜索(步骤Sj_3和Sj_4)。也就是说，帧间预测部126将与要更新的预测运动矢量对应的各子块的运动矢量作为仿射MV，并且使用上述的式(1A)或式(1B)来计算(步骤Sj_3)。然后，帧间预测部126使用这些仿射MV和已编码的参照图片对各子块进行运动补偿(步骤Sj_4)。结果，在运动搜索循环中，帧间预测部126例如将可以得到最小成本的预测运动矢量决定为控制点的运动矢量(步骤Sj_5)。此时，帧间预测部126还将该决定的MV和预测运动矢量之间的差分值作为差分MV编码成流。
最后，帧间预测部126通过使用该决定的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sj_6)。
[MV导出>仿射帧间模式]
在以CU级切换不同的控制点数(例如，2个和3个)的仿射模式来进行信号化的情况下，有时在已编码的块和当前块中控制点的数量不同。图30A以及图30B是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点的预测矢量导出方法的概念图。
例如，如图30A所示，在当前块具有左上角、右上角以及左下角这3个控制点，与当前块的左侧相邻的块A以具有2个控制点的仿射模式被编码的情况下，导出投影到包含块A的已编码的块的左上角以及右上角的位置的运动矢量v3以及v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。此外，根据导出的运动矢量v0和v1计算左下角的控制点的预测运动矢量v2。
例如，如图30B所示，在当前块具有左上角和右上角这2个控制点、与当前块的左侧相邻的块A以具有3个控制点的仿射模式下被编码的情况下，导出投影到包含块A的已编码的块的左上角、右上角和左下角的位置的运动矢量v3、v4和v5。然后，根据导出的运动矢量v3、v4和v5，计算当前块的左上角的控制点的预测运动矢量v0和右上角的控制点的预测运动矢量v1。
在图29的步骤Sj_1中的当前块的控制点的各个预测运动矢量的导出中，也可以使用该预测运动矢量导出方法。
[MV导出＞DMVR]
图31A是表示合并模式以及DMVR的关系的流程图。
帧间预测部126在合并模式下导出当前块的运动矢量(步骤Sl_1)。接下来，帧间预测部126判定是否进行运动矢量搜索，即运动搜索(步骤Sl_2)。这里，当判定为不进行运动搜索时(步骤Sl_2中的否)，帧间预测部126将在步骤Sl_1中导出的运动矢量决定为针对当前块的最终运动矢量(步骤Sl_4)。即，在这种情况下，在合并模式下决定当前块的运动矢量。
另一方面，当在步骤Sl_1中判定为进行运动搜索时(步骤Sl_2中的是)，帧间预测部126通过搜索由在步骤Sl_1中导出的运动矢量表示的参照图片的周边区域来导出针对当前块的最终运动矢量(步骤Sl_3)。即，在这种情况下，由DMVR决定当前块的运动矢量。
图31B是用于说明用于决定MV的DMVR处理的一例的概念图。
首先，将(例如在合并模式中)对当前块设定的最佳MVP设为候选MV。然后，按照候选MV(L0)，根据L0方向的已编码图片即第1参照图片(L0)确定参照像素。同样地，按照候选MV(L1)，根据L1方向的已编码图片即第2参照图片(L1)确定参照像素。通过取这些参照像素的平均来生成模板。
接着，使用上述模板，分别搜索第1参照图片(L0)和第2参照图片(L1)的候选MV的周边区域，将成本最小的MV决定为最终的MV。此外，成本值例如也可以使用模板的各像素值与搜索区域的各像素值的差分值以及候选MV值等来计算。
另外，典型地，在编码装置和后述的解码装置中，这里说明的处理的结构和动作基本上是共同的。
即使不是这里说明的处理例本身，只要是能够搜索候选MV的周边而导出最终的MV的处理，则也可以使用任意的处理。
[运动补偿＞BIO/OBMC]
在运动补偿中，存在生成预测图像并对该预测图像进行修正的模式。该模式例如是后述的BIO以及OBMC。
图32是表示预测图像的生成的一例的流程图。
帧间预测部126生成预测图像(步骤Sm_1)，并且通过例如上述任一个模式来修正该预测图像(步骤Sm_2)。
图33是表示生成预测图像的另一例的流程图。
帧间预测部126决定当前块的运动矢量(步骤Sn_1)。接下来，帧间预测部126生成预测图像(步骤Sn_2)，并且判定是否进行修正处理(步骤Sn_3)。这里，当判定为进行修正处理时(步骤Sn_3中的是)，帧间预测部126通过修正该预测图像来生成最终预测图像(步骤Sn_4)。另一方面，当判定为不进行修正处理时(步骤Sn_3中为否)，帧间预测部126不修正该预测图像地输出该预测图像作为最终预测图像(步骤Sn_5)。
此外，在运动补偿中，存在在生成预测图像时修正亮度的模式。该模式例如是后述的LIC。
图34是表示生成预测图像的另一例的流程图。
帧间预测部126导出当前块的运动矢量(步骤So_1)。接下来，帧间预测部126判定是否进行亮度修正处理(步骤So_2)。这里，当判定为进行亮度修正处理时(步骤So_2中的是)，帧间预测部126在进行亮度修正的同时生成预测图像(步骤So_3)。也就是说，通过LIC生成预测图像。另一方面，当判定为不进行亮度修正处理时(步骤So_2中为否)，帧间预测部126在不进行亮度修正的情况下通过通常的运动补偿生成预测图像(步骤So_4)。
[运动补偿＞OBMC]
不仅可以使用通过运动搜索得到的当前块的运动信息，而且可以使用相邻块的运动信息来生成帧间预测信号。具体而言，也可以通过对基于通过(参照图片内的)运动搜索得到的运动信息的预测信号和基于(当前图片内的)相邻块的运动信息的预测信号进行加权相加，以当前块内的子块单位生成帧间预测信号。这样的帧间预测(运动补偿)有时被称为OBMC(overlapped block motion compensation，重叠块运动补偿)。
在OBMC模式中，表示用于OBMC的子块的尺寸的信息(例如称为OBMC块尺寸)也可以以序列级进行信号化。并且，表示是否应用OBMC模式的信息(例如称为OBMC标志)也可以以CU级进行信号化。另外，这些信息的信号化的级不需要限定于序列级以及CU级，也可以是其他级(例如图片级、切片级、瓦片级、CTU级或者子块级)。
对OBMC模式的例子进行更具体的说明。图35和图36是用于说明基于OBMC处理的预测图像修正处理的概要的流程图和概念图。
首先，如图36所示，使用分配给处理对象(当前)块的运动矢量(MV)，取得基于通常的运动补偿的预测图像(Pred)。在图36中，箭头“MV”指向参照图片，并且表示当前图片的当前块参照哪个块以得到预测图像。
接着，将对已编码的左相邻块已经导出的运动矢量(MV_L)应用(再利用)到编码对象块，取得预测图像(Pred_L)。运动矢量(MV_L)由从当前块指向参照图片的箭头“MV_L”表示。然后，通过重叠2个预测图像Pred和Pred_L，进行预测图像的第1次修正。这具有混合相邻块间的边界的效果。
同样地，将对已编码的上相邻块已经导出的运动矢量(MV_U)应用(再利用)到编码对象块，取得预测图像(Pred_U)。运动矢量(MV_U)由从当前块指向参照图片的箭头“MV_U”表示。然后，通过将预测图像Pred_U与进行了第1次修正的预测图像(例如，Pred和Pred_L)重合来进行预测图像的第2次修正。这具有混合相邻块间的边界的效果。通过第2次修正得到的预测图像是与相邻块的边界被混合(平滑)的当前块的最终预测图像。
此外，上述的例子是使用了左相邻以及上相邻的块的2路径的修正方法，但该修正方法也可以是还使用了右相邻及/或下相邻的块的3路径或者其以上的路径的修正方法。
另外，进行重合的区域也可以不是块整体的像素区域，而仅是块边界附近的一部分区域。
另外，在此说明了OBMC的预测图像修正处理，所述OBMC的预测图像修正处理用于通过将1张参照图片与追加的预测图像Pred_L和Pred_U重合而得到1张预测图像Pred。但是，在基于多个参照图像来修正预测图像的情况下，也可以对多个参照图片分别应用同样的处理。在这种情况下，通过进行基于多个参照图片的OBMC的图像修正，在从各个参照图片取得了被修正的预测图像后，通过进一步重合该取得的多个修正预测图像来取得最终预测图像。
另外，在OBMC中，对象块的单位可以是预测块单位，也可以是将预测块进一步分割后的子块单位。
作为判定是否应用OBMC处理的方法，例如有使用表示是否应用OBMC处理的信号即obmc_flag的方法。作为具体的一例，编码装置也可以判定对象块是否属于运动复杂的区域。编码装置在属于运动复杂的区域的情况下，作为obmc_flag设定值1并应用OBMC处理来进行编码，在不属于运动复杂的区域的情况下，作为obmc_flag设定值0并不应用OBMC处理地进行块的编码。另一方面，在解码装置中，通过对流(例如压缩序列)中记述的obmc_flag进行解码，根据该值切换是否应用OBMC处理来进行解码。
在上述的例子中，帧间预测部126对矩形的当前块生成1个矩形的预测图像。然而，帧间预测部126可以对该矩形的当前块生成具有与矩形不同的形状的多个预测图像，并且可以通过结合这些多个预测图像来生成最终矩形预测图像。与矩形不同的形状例如也可以是三角形。
图37是用于说明2个三角形的预测图像的生成的概念图。
帧间预测部126通过对当前块内的三角形第1分区使用该第1分区的第1MV进行运动补偿，从而生成三角形预测图像。同样地，帧间预测部126通过对当前块中的三角形第2分区使用该第2分区的第2MV进行运动补偿来生成三角形预测图像。然后，帧间预测部126通过结合这些预测图像来生成与当前块相同的矩形的预测图像。
此外，在图37所示的例子中，第1分区及第2分区分别为三角形，但也可以是梯形，也可以分别是相互不同的形状。而且，在图37所示的例子中，当前块由2个分区构成，但也可以由3个以上的分区构成。
另外，第1分区以及第2分区也可以重复。即，第1分区以及第2分区也可以包含相同的像素区域。在这种情况下，可以使用第1分区中的预测图像和第2分区中的预测图像来生成当前块的预测图像。
另外，在该例中，示出了2个分区都通过帧间预测来生成预测图像的例子，但也可以针对至少1个分区通过帧内预测来生成预测图像。
[运动补偿＞BIO]
接着，对导出运动矢量的方法进行说明。首先，说明基于假定了等速直线运动的模型来导出运动矢量的模式。该模式有时被称作BIO(bi-directional optical flow，双向光流)模式。
图38是用于说明假定了等速直线运动的模型的概念图。在图38中，(vx，vy)表示速度矢量，τ0、τ1分别表示当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离。(MVx0，MVy0)表示与参照图片Ref0对应的运动矢量，(MVx1，MVy1)表示与参照图片Ref1对应的运动矢量。
此时，也可以是，在速度矢量(vx，vy)的等速直线运动的假定下，(MVx0，MVy0)及(MVx1，MVy1)分别被表示为(vxτ0，vyτ0)及(-vxτ1，-vyτ1)，采用以下的光流(optical flow)等式(2)。
【数式3】
Figure BDA0003411921670000431
这里，I(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积的和等于零。也可以是，基于该光流等式与埃尔米特内插值(Hermite interpolation)的组合，对从合并列表等得到的块单位的运动矢量以像素单位进行修正。
另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个相邻块的运动矢量，以子块单位导出运动矢量。
[运动补偿＞LIC]
接着，对使用LIC(local illumination compensation)处理来生成预测图像(预测)的模式的一例进行说明。
图39是用于说明使用了基于LIC处理的亮度修正处理的预测图像生成方法的一例的概念图。
首先，从已编码的参照图片导出MV，取得与当前块对应的参照图像。
接着，对当前块提取表示在参照图片和当前图片中亮度值如何变化的信息。该提取是基于当前图片中的已编码的左相邻参照区域(周边参照区域)及已编码的上相邻参照区域(周边参照区域)的亮度像素值、和由导出的MV指定的参照图片内的同等位置处的亮度像素值来进行的。然后，使用表示亮度值如何变化的信息，计算亮度修正参数。
通过应用上述亮度修正参数对由MV指定的参照图片内的参照图像进行亮度修正处理，生成对于当前块的预测图像。
另外，图39中的上述周边参照区域的形状是一例，也可以使用其以外的形状。
此外，这里对根据1张参照图片生成预测图像的处理进行了说明，但在根据多张参照图片生成预测图像的情况下也是同样的，也可以在对从各个参照图片取得的参照图像以与上述同样的方法进行亮度修正处理后生成预测图像。
作为是否采用LIC处理的判定的方法，例如有使用作为表示是否采用LIC处理的信号的lic_flag的方法。作为具体的一例，在编码装置中，判定当前块是否属于发生了亮度变化的区域，在属于发生了亮度变化的区域的情况下，作为lic_flag而设定值1，采用LIC处理进行编码，在不属于发生了亮度变化的区域的情况下，作为lic_flag而设定值0，不采用LIC处理而进行编码。另一方面，在解码装置中，也可以通过将记述在流中的lic_flag解码，根据其值切换是否采用LIC处理而进行解码。
作为是否采用LIC处理的判定的其他方法，例如还有按照在周边块是否采用了LIC处理来判定的方法。作为具体的一例，在当前块是合并模式的情况下，判定在合并模式处理中的MV的导出时所选择的周边的已编码块是否采用LIC处理进行了编码，根据其结果，切换是否采用LIC处理而进行编码。另外，在该例的情况下，相同的处理也适用于解码装置侧。
使用图39对LIC处理(亮度修正处理)的形态进行了说明，以下，对其详细内容进行说明。
首先，帧间预测部126从作为已编码图片的参照图片导出用于取得与编码对象块对应的参照图像的运动矢量。
接着，帧间预测部126对编码对象块，使用左相邻及上相邻的已编码的周边参照区域的亮度像素值和位于由运动矢量指定的参照图片内的同等位置的亮度像素值，提取表示在参照图片和编码对象图片中亮度值如何变化的信息，计算亮度修正参数。例如，将编码对象图片内的周边参照区域内的某像素的亮度像素值设为p0，将与该像素同等位置的参照图片内的周边参照区域内的像素的亮度像素值设为p1。帧间预测部126对周边参照区域内的多个像素计算用于优化A×p1+B＝p0的系数A和B作为亮度修正参数。
接下来，帧间预测部126通过使用亮度修正参数对由运动矢量指定的参照图片内的参照图像进行亮度修正处理，生成针对编码对象块的预测图像。例如，将参照图像内的亮度像素值设为p2，将亮度修正处理后的预测图像的亮度像素值设为p3。帧间预测部126通过对参照图像内的各像素计算A×p2+B＝p3来生成亮度修正处理后的预测图像。
此外，图39中的周边参照区域的形状是一例，也可以使用除此以外的形状。另外，也可以使用图39所示的周边参照区域的一部分。例如，也可以将包含从上相邻像素以及左相邻像素分别间隔剔除的规定数量的像素的区域用作周边参照区域。此外，周边参照区域不限于与编码对象块相邻的区域，也可以是不与编码对象块相邻的区域。与像素相关的规定数量也可以预先确定。
此外，在图39所示的例子中，参照图片内的周边参照区域是从编码对象图片内的周边参照区域中由编码对象图片的运动矢量指定的区域，但也可以是由其他运动矢量指定的区域。例如，该其他运动矢量也可以是编码对象图片内的周边参照区域的运动矢量。
另外，在此，说明了编码装置100中的动作，但典型地，解码装置200中的动作也是同样的。
此外，LIC处理不仅应用于亮度，也可以应用于色差。此时，可以对Y、Cb以及Cr的每一个单独地导出修正参数，也可以对任一个使用共同的修正参数。
此外，LIC处理也可以以子块单位来应用。例如，也可以使用当前子块的周边参照区域和由当前子块的MV指定的参照图片内的参照子块的周边参照区域来导出修正参数。
[预测控制部]
预测控制部128选择帧内预测信号(从帧内预测部124输出的信号)及帧间预测信号(从帧间预测部126输出的信号)中的某一个，将所选择的信号作为预测信号，向减法部104及加法部116输出。
如图1所示，在各种编码装置例中，预测控制部128也可以输出输入到熵编码部110的预测参数。熵编码部110可以基于从预测控制部128输入的该预测参数和从量化部108输入的量化系数来生成编码比特流(或序列)。预测参数也可以在解码装置中使用。解码装置也可以接收编码比特流并进行解码，进行与在帧内预测部124、帧间预测部126以及预测控制部128中进行的预测处理相同的处理。预测参数可以包括选择预测信号(例如，运动矢量、预测类型，或者帧内预测部124或帧间预测部126使用的预测模式)，或者基于在帧内预测部124、帧间预测部126和预测控制部128中进行的预测处理或表示该预测处理的任意索引、标志或值。
[编码装置的安装例]
图40是表示编码装置100的安装例的框图。编码装置100具备处理器a1以及存储器a2。例如，图1所示的编码装置100的多个构成要素由图40所示的处理器a1以及存储器a2安装实现。
处理器a1是进行信息处理的电路，是可访问存储器a2的电路。例如，处理器a1是对运动图像进行编码的专用或通用的电子电路。处理器a1也可以是CPU那样的处理器。另外，处理器a1也可以是多个电子电路的集合体。另外，例如，处理器a1也可以起到图1等所示的编码装置100的多个构成要素中的多个构成要素的作用。
存储器a2是存储处理器a1对运动图像进行编码用的信息的专用或通用的存储器。存储器a2既可以是电子电路，也可以与处理器a1连接。另外，存储器a2也可以包含在处理器a1中。另外，存储器a2也可以是多个电子电路的集合体。另外，存储器a2既可以是磁盘或者光盘等，也可以表现为储存器(storage)或者记录介质等。另外，存储器a2既可以是非易失性存储器，也可以是易失性存储器。
例如，存储器a2可以存储被编码的运动图像，也可以存储与被编码后的运动图像对应的比特串。另外，在存储器a2中也可以存储处理器a1对运动图像进行编码用的程序。
另外，例如，存储器a2也可以起到图1等所示的编码装置100的多个构成要素中用于存储信息的构成要素的作用。例如，存储器a2可以起到图1所示的块存储器118及帧存储器122的作用。更具体而言，存储器a2可以存储已重构的块及已重构的图片等。
另外，在编码装置100中，可以不安装图1等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图1等所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
[解码装置]
接着，对能够将从例如上述编码装置100输出的编码信号(编码比特流)进行解码的解码装置进行说明。图41是表示有关实施方式的解码装置200的功能结构的框图。解码装置200是将运动图像以块单位进行解码的运动图像解码装置。
如图41所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、循环滤波部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。
解码装置200例如由通用处理器及存储器实现。在此情况下，当由处理器执行了保存在存储器中的软件程序时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以作为与熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的1个以上的电子电路实现。
以下，在说明了解码装置200的整体处理的流程之后，对解码装置200中包含的各构成要素进行说明。
[解码处理的整体流程]
图42是表示由解码装置200进行的整体的解码处理的一例的流程图。
首先，解码装置200的熵解码部202确定固定尺寸的块(例如128×128像素)的分割图案(步骤Sp_1)。该分割图案是由编码装置100选择的分割图案。然后，解码装置200对构成该分割图案的多个块分别进行步骤Sp_2～Sp_6的处理。
即，熵解码部202对解码对象块(也称为当前块)的编码后的量化系数和预测参数进行解码(具体而言，熵解码)(步骤Sp_2)。
接着，逆量化部204和逆变换部206通过对多个量化系数进行逆量化和逆变换，复原多个预测残差(即差分块)(步骤Sp_3)。
接下来，由帧内预测部216、帧间预测部218和预测控制部220的全部或一部分构成的预测处理部生成当前块的预测信号(也称为预测块)(步骤Sp_4)。
接着，加法部208通过对差分块加上预测块，将当前块重构为重构图像(也称为解码图像块)(步骤Sp_5)。
而且，当生成该重构图像时，循环滤波部212对该重构图像进行滤波(步骤Sp_6)。
然后，解码装置200判定图片整体的解码是否已完成(步骤Sp_7)，在判定为未完成的情况下(步骤Sp_7中的否)，反复执行从步骤Sp_1起的处理。
如图所示，步骤Sp_1～Sp_7的处理由解码装置200顺序地进行，或者，这些处理中的一部分的多个处理可以并行地进行，也可以进行顺序的调换等。
[熵解码部]
熵解码部202对编码比特流进行熵解码。具体而言，熵解码部202例如从编码比特流算数解码为二值信号。接着，熵解码部202将二值信号进行多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。熵解码部202也可以向实施方式中的帧内预测部216、帧间预测部218以及预测控制部220输出编码比特流(参照图1)中包含的预测参数。帧内预测部216、帧间预测部218和预测控制部220能够执行与由编码装置侧的帧内预测部124、帧间预测部126和预测控制部128进行的处理相同的预测处理。
[逆量化部]
逆量化部204对作为来自熵解码部202的输入的解码对象块(以下称作当前块)的量化系数进行逆量化。具体而言，逆量化部204对于当前块的量化系数，分别基于与该量化系数对应的量化参数，对该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。
[逆变换部]
逆变换部206通过对作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。
例如在从编码比特流读解出的信息表示采用EMT或AMT的情况下(例如AMT标志是真)，逆变换部206基于读解出的表示变换类型的信息，对当前块的变换系数进行逆变换。
此外，例如在从编码比特流读解出的信息表示采用NSST的情况下，逆变换部206对变换系数应用逆再变换。
[加法部]
加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测样本相加，重构当前块。并且，加法部208将重构的块向块存储器210及循环滤波部212输出。
[块存储器]
块存储器210是用来将作为在帧内预测中参照的、解码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器210保存从加法部208输出的重构块。
[循环滤波部]
循环滤波部212对由加法部208重构的块施以循环滤波，将滤波后的重构块向帧存储器214及显示装置等输出。
在从编码比特流读解出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器之中选择1个滤波器，对所重构块应用选择的滤波器。
[帧存储器]
帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器214保存由循环滤波部212滤波后的重构块。
[预测处理部(帧内预测部/帧间预测部/预测控制部)]
图43是表示由解码装置200的预测处理部进行的处理的一例的流程图。此外，预测处理部由帧内预测部216、帧间预测部218和预测控制部220的全部或一部分构成要素构成。
预测处理部生成当前块的预测图像(步骤Sq_1)。该预测图像也称为预测信号或预测块。另外，在预测信号中，例如有帧内预测信号或帧间预测信号。具体而言，预测处理部使用通过进行预测块的生成、差分块的生成、系数块的生成、差分块的复原、以及解码图像块的生成而已经得到的重构图像，生成当前块的预测图像。
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已解码的块的图像。当前图片内的已解码的块例如是当前块的相邻块。
图44是表示由解码装置200的预测处理部进行的处理的另一例的流程图。
预测处理部判定用于生成预测图像的方式或模式(步骤Sr_1)。例如，该方式或模式可以基于例如预测参数等来判定。
在判定为第1方式是用于生成预测图像的模式的情况下，预测处理部按照该第1方式生成预测图像(步骤Sr_2a)。此外，在判定为第2方式是用于生成预测图像的模式的情况下，预测处理部按照该第2方式生成预测图像(步骤Sr_2b)。此外，在判定为第3方式是用于生成预测图像的模式的情况下，预测处理部按照该第3方式生成预测图像(步骤Sr_2c)。
第1方式、第2方式和第3方式是用于生成预测图像的互不相同的方式，并且可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
[帧内预测部]
帧内预测部216基于从编码比特流读解出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成预测信号(帧内预测信号)。具体而言，帧内预测部216通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测，由此生成帧内预测信号，将帧内预测信号向预测控制部220输出。
另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。
此外，在从编码比特流读解出的信息表示PDPC的采用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度，对帧内预测后的像素值进行修正。
[帧间预测部]
帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部218使用从编码比特流(例如从熵解码部202输出的预测参数)读解出的运动信息(例如运动矢量)进行运动补偿，由此生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部220输出。
在从编码比特流读解出的信息表示采用OBMC模式的情况下，帧间预测部218不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。
此外，在从编码比特流读解出的信息表示采用FRUC模式的情况下，帧间预测部218按照从编码流读解出的图案匹配的方法(双向匹配或模板匹配)进行运动估计，由此导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿(预测)。
此外，帧间预测部218在采用BIO模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流读解出的信息表示采用仿射运动补偿预测模式的情况下，帧间预测部218基于多个相邻块的运动矢量以子块单位导出运动矢量。
[MV导出＞普通帧间模式]
在从编码比特流读取的信息表示应用普通帧间模式的情况下，帧间预测部218基于从编码比特流读取的信息导出MV，并且使用该MV进行运动补偿(预测)。
图45是表示解码装置200中的基于普通帧间模式的帧间预测的例子的流程图。
解码装置200的帧间预测部218对每个块进行针对该块的运动补偿。帧间预测部218基于在时间上或空间上处于当前块周围的多个已解码的块的MV等信息，对该当前块取得多个候选MV(步骤Ss_1)。也就是说，帧间预测部218制作候选MV列表。
接着，帧间预测部218从在步骤Ss_1中取得的多个候选MV中，将N个(N为2以上的整数)候选MV分别作为预测运动矢量候选(也称为预测MV候选)，按照规定的优先顺序进行提取(步骤Ss_2)。另外，该优先顺序也可以是对N个预测MV候选的每一个而预先确定的。
接着，帧间预测部218从输入的流(即编码比特流)中对预测运动矢量选择信息进行解码，使用该解码后的预测运动矢量选择信息，从该N个预测MV候选中选择1个预测MV候选作为当前块的预测运动矢量(也称为预测MV)(步骤Ss_3)。
接下来，帧间预测部218从输入的流中解码差分MV，并且通过将作为该解码的差分MV的差分值与所选择的预测运动矢量相加来导出当前块的MV(步骤Ss_4)。
最后，帧间预测部218通过使用该导出的MV和已解码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Ss_5)。
[预测控制部]
预测控制部220选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号，向加法部208输出。总体上，解码装置侧的预测控制部220、帧内预测部216和帧间预测部218的结构、功能和处理可以对应于编码装置侧的预测控制部128、帧内预测部124和帧间预测部126的结构、功能和处理。
[解码装置的安装例]
图46是表示解码装置200的安装例的框图。解码装置200具备处理器b1以及存储器b2。例如，图41所示的解码装置200的多个构成要素通过图46所示的处理器b1以及存储器b2来安装。
处理器b1是进行信息处理的电路，是可访问存储器b2的电路。例如，处理器b1是对编码后的运动图像(即编码比特流)进行解码的专用或通用的电子电路。处理器b1也可以是CPU那样的处理器。另外，处理器b1也可以是多个电子电路的集合体。另外，例如，处理器b1也可以起到图41等所示的解码装置200的多个构成要素中的多个构成要素的作用。
存储器b2是存储用于处理器b1对编码比特流进行解码的信息的专用或通用的存储器。存储器b2可以是电子电路，也可以与处理器b1连接。另外，存储器b2也可以包含在处理器b1中。另外，存储器b2也可以是多个电子电路的集合体。另外，存储器b2可以是磁盘或光盘等，也可以表现为储存器或记录介质等。另外，存储器b2既可以是非易失性存储器，也可以是易失性存储器。
例如，存储器b2可以存储运动图像，也可以存储编码比特流。另外，在存储器b2中也可以存储有用于处理器b1对编码比特流进行解码的程序。
另外，例如，存储器b2可以起到图41等所示的解码装置200的多个构成要素中用于存储信息的构成要素的作用。具体而言，存储器b2可以起到图41所示的块存储器210及帧存储器214的作用。更具体而言，存储器b2可以存储已重构的块及已重构的图片等。
另外，在解码装置200中，既可以不安装图41等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图41等所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
[各用语的定义]
各用语作为一例，也可以是以下那样的定义。
图片是单色格式中的多个亮度样本的排列，或者4：2：0、4：2：2以及4：4：4的彩色格式中的多个亮度样本的排列以及多个色差样本的2个对应排列。图片可以是帧或场。
帧是产生多个样本行0、2、4、…的顶场以及产生多个样本行1、3、5、…的底场的组合物。
切片为1个独立切片段、以及(如果有)相同访问单元内的(如果有)下一个独立切片段之前的所有后续的从属切片段所包含的整数个编码树单元。
瓦片为图片中的特定的瓦片列以及特定的瓦片行内的多个编码树块的矩形区域。瓦片可以依然应用跨越瓦片的边缘的循环滤波器，但也可以是意图能够独立地进行解码和编码的帧的矩形区域。
块为多个样本的MxN(N行M列)排列，或者是多个变换系数的MxN排列。块也可以是由1个亮度和2个色差的多个矩阵构成的多个像素的正方形或矩形的区域。
CTU(编码树单元)可以是具有3个样本排列的图片的多个亮度样本的编码树块，也可以是多个色差样本的2个对应编码树块。或者，CTU也可以是单色图片、和使用在3个分离的彩色平面以及多个样本的编码中使用的语法构造进行编码的图片中的任意多个样本的编码树块。
超级块构成1个或2个模式信息块，或者也可以是递归地分割为4个32×32的块，进而能够分割的64×64像素的正方形块。
[BDOF(BIO)处理的概要的说明]
使用图38、图47及图48再次说明BDOF(BIO)处理的概要。
图47是表示按照BIO的帧间预测的一例的流程图。另外，图48是表示进行按照该BIO的帧间预测的帧间预测部126的功能结构的一例的图。
如图48所示，帧间预测部126例如具备存储器126a、插补图像导出部126b、梯度图像导出部126c、光流导出部126d、修正值导出部126e、以及预测图像修正部126f。另外，存储器126a也可以是帧存储器122。
帧间预测部126使用与包含当前块的图片(Cur Pic)不同的2张参照图片(Ref0，Ref1)，导出2个运动矢量(M0、M1)。然后，帧间预测部126使用该2个运动矢量(M0、M1)来导出当前块的预测图像(步骤Sy_1)。另外，运动矢量M0是与参照图片Ref0对应的运动矢量(MVx0，MVy0)，运动矢量M1是与参照图片Ref1对应的运动矢量(MVx1，MVy1)。
接着，插补图像导出部126b参照存储器126a，使用运动矢量M0及参照图片L0导出当前块的插补图像I0。另外，插补图像导出部126b参照存储器126a，使用运动矢量M1及参照图片L1导出当前块的插补图像I1(步骤Sy_2)。这里，插补图像I0是对当前块导出的、参照图片Ref0中包含的图像，插补图像I1是对当前块导出的、参照图片Ref1中包含的图像。插补图像I0和插补图像I1可以分别是与当前块相同的尺寸。或者，为了适当地导出后述的梯度图像，插补图像I0及插补图像I1也可以分别是比当前块大的图像。而且，插补图像I0和I1也可以包含运动矢量(M0、M1)及参照图片(L0、L1)、和应用运动补偿滤波器而导出的预测图像。
此外，梯度图像导出部126c从插补图像I0和插补图像I1导出当前块的梯度图像(Ix0，Ix1，Iy0，Iy1)(步骤Sy_3)。此外，水平方向的梯度图像是(Ix0，Ix1)，垂直方向的梯度图像是(Iy0，Iy1)。梯度图像导出部126c例如可以通过对插补图像应用梯度滤波器来导出该梯度图像。梯度图像只要表示沿着水平方向或垂直方向的像素值的空间变化量即可。
接着，光流导出部126d以构成当前块的多个子块单位，使用插补图像(I0，I1)及梯度图像(Ix0，Ix1，Iy0，Iy1)导出作为上述速度矢量的光流(vx，vy)(步骤Sy_4)。光流是用于修正像素的空间移动量的系数，并且可以被称为局部运动估计值、修正运动矢量或修正权重矢量。作为一例，子块也可以是4×4像素的子CU。另外，光流的导出也可以不以子块单位，而以像素单位等其他单位进行。
接着，帧间预测部126使用光流(vx，vy)对当前块的预测图像进行修正。例如，修正值导出部126e使用光流(vx，vy)导出当前块所包含的像素的值的修正值(步骤Sy_5)。然后，预测图像修正部126f可以使用修正值来修正当前块的预测图像(步骤Sy_6)。另外，修正值可以以各像素单位导出，也可以以多个像素单位或子块单位导出。
此外，BIO的处理流程不限于图47所公开的处理。可以仅执行图47中公开的处理的一部分，可以追加或置换不同的处理，或者可以以不同的处理顺序执行。
例如，BDOF(BIO)可以定义为使用参照块的梯度生成被修正的预测图像的处理。或者，BDOF可以定义为使用2个参照块各自的梯度生成预测图像的处理。或者，BDOF可以定义为在不同于仿射模式的模式中使用梯度来生成预测图像的处理。或者，BDOF可以定义为在不同于仿射模式的模式中的光流处理。这里，梯度是指像素值的空间梯度。
[BIO的第1具体例]
接着，使用图49、图50以及图51，说明基于BIO的解码处理的第1具体例。例如，解码装置200根据进行了运动补偿的2个参照块计算BIO参数，使用计算出的BIO参数对当前块进行解码。BIO参数是与上述光流对应的参数，并且也被称为局部运动估计值、修正运动矢量、修正MV值、修正权重运动矢量或BIO修正值。
图49是表示基于BIO的解码处理的第1具体例的流程图。图50是表示水平方向的梯度值即水平梯度值的计算例的概念图。图51是表示垂直方向的梯度值即垂直梯度值的计算例的概念图。
首先，解码装置200针对当前块，使用第1参照块的水平梯度值和第2参照块的水平梯度值计算第1和(S1001)。当前块可以是如图50和图51所示的当前编码单元(当前CU)的子块。
第1参照块是在当前块的解码中参照的块，且是根据当前块或当前CU的第1运动矢量在参照图片L0中确定的块。第2参照块是在当前块的解码中参照的块，是根据当前块或当前CU的第2运动矢量在参照图片L1中确定的块。
基本上，参照图片L0以及参照图片L1是相互不同的2个参照图片，第1参照块和第2参照块是相互不同的2个参照块。另外，在此，使用通过运动补偿滤波器以小数像素精度分别调节的第1参照块和第2参照块，它们具有与当前块相同的尺寸。
在当前块是当前编码单元的子块的情况下，第1参照块和第2参照块分别可以是当前编码单元的参照块的子块。
即，图50以及图51中的参照图片L0内的多个像素值也可以是相对于参照图片L0被确定为当前编码单元的参照块的块的多个像素值。同样地，图50以及图51中的参照图片L1内的多个像素值也可以是相对于参照图片L1被确定为当前编码单元的参照块的块的多个像素值。
解码装置200使用上述的第1参照块的水平梯度值以及上述的第2参照块的水平梯度值来计算第1和。解码装置200不仅限于第1参照块的水平梯度值和第2参照块的水平梯度值，也可以使用第1参照块的周边的水平梯度值和第2参照块的周边的水平梯度值来计算第1和。下式(3.1)及(3.2)表示第1和的计算处理方法的例子。
【数式4】
Gx＝Ix 0+Ix 1 (3.1)
【数式5】
sGx＝∑[i，j]∈Ωsign(Gx[i，j])×Gx[i，j] (3.2)
在此，×表示乘法，+表示加法。另外，sign表示正或负的正负符号。具体而言，sign用1表示正，用-1表示负。更具体而言，例如，sign表示以下内容。
【数式6】
Figure BDA0003411921670000551
其结果，sign(Gx[i，j])×Gx[i，j]在Gx[i，j]为正值的情况下直接成为Gx[i，j]，在Gx[i，j]为负值的情况下成为-Gx[i，j]，即，与导出Gx[i，j]的绝对值(abs)相等。
在式(3.1)中，Ix 0表示参照图片L0的第1参照块中的水平梯度值，Ix 1表示参照图片L1的第2参照块中的水平梯度值。
用于取得水平梯度值的水平梯度滤波器的例子是具有[-1，0，1]的滤波器系数集的3抽头滤波器。第1参照块中的水平梯度值通过对第1参照块中的多个参照像素应用水平梯度滤波器来计算。第2参照块中的水平梯度值通过对第2参照块中的多个参照像素应用水平梯度滤波器来计算。
在图50所示的例子中，位于第1参照块的[3，2]的像素的水平梯度值Ix 0被计算为矩阵积[-1，0，1]T[2，3，5]，其值为3。位于第2参照块的[3，2]的像素的水平梯度值Ix 1被计算为矩阵积[-1，0，1]T[5，3，2]，其值为-3。此外，[a，b，c]表示3行1列的矩阵。
在式(3.2)中，sGx表示第1和，计算为遍及以Ω表示的窗口的Gx的绝对值和。Ω的尺寸也可以与当前块相同。另外，Ω的尺寸也可以大于当前块的尺寸。另外，在后者的情况下，当前块的相邻位置处的Gx的值包含在第1和的计算处理中。
另外，解码装置200针对当前块，与作为水平梯度值之和的第1和同样地，使用第1参照块的垂直梯度值和第2参照块的垂直梯度值计算第2和(S1002)。下式(3.3)及(3.4)表示第2和的计算处理方法的例子。
【数式7】
Gy＝Iy 0+Iy 1 (3.3)
【数式8】
sGy＝∑[i，j]∈Ωsign(Gy[i，j])×Gy[i，j] (3.4)
在式(3.3)中，Iy 0表示参照图片L0的第1参照块中的垂直梯度值，Iy 1表示参照图片L1的第2参照块中的垂直梯度值。
用于取得垂直梯度值的垂直梯度滤波器的例子是具有[-1，0，1]的滤波器系数集的3抽头滤波器。第1参照块中的垂直梯度值通过对第1参照块中的多个参照像素应用垂直梯度滤波器来计算。第2参照块中的垂直梯度值通过对第2参照块中的多个参照像素应用垂直梯度滤波器来计算。
在图51所示的例子中，位于第1参照块的[3，2]的像素的垂直梯度值Iy 0被计算为矩阵积[-1，0，1]T[2，3，5]，其值为3。位于第2参照块的[3，2]的像素的垂直梯度值Iy 1被计算为矩阵积[-1，0，1]T[5，3，2]，其值为-3。
在式(3.4)中，sGy表示第2和，计算为遍及以Ω表示的窗口的Gy的绝对值和。在Ω的尺寸大于当前块的尺寸的情况下，当前块的相邻位置处的Gy的值包含在第2和的计算处理中。
接着，解码装置200判定第1和是否大于第2和(S1003)。在判定为第1和大于第2和的情况下(S1003中为是)，解码装置200对当前块不使用垂直梯度值而决定BIO参数(S1004)。式(3.5)～(3.9)表示用于决定该情况下的BIO参数的运算处理的例子。在这些式子中，使用水平梯度值计算由u表示的BIO参数。
【数式9】
sGxdI＝∑[i，j]∈Ω-sign(Gx[i，j])×(I0 i，j-I1 i，j) (3.5)
【数式10】
denominator＝sGx (3.6)
【数式11】
numerator＝sGxdI (3.7)
【数式12】
shift＝Bits(denominator)-6 (3.8)
【数式13】
u＝Clip(((numerator＞＞(shift-12))×BIOShift[demoninator＞＞shift])＞＞27) (3.9)
在此，-表示减法，＞＞表示移位运算。例如，a＞＞b意味着对a进行b比特量的右移。另外，Bits、BIOShift和Clip分别表示以下。另外，以下，ceil表示小数的向上取整，floor表示小数的舍去。
【数式14】
Figure BDA0003411921670000581
Figure BDA0003411921670000582
Figure BDA0003411921670000583
Figure BDA0003411921670000584
Figure BDA0003411921670000585
在式(3.5)中，sGxdI作为遍及窗口Ω的I0 i，j以及I1 i，j的差分与sign(Gx[i，j])的积和而被计算。在此，I0 i，j表示参照图片L0的第1参照块内的位置[i，j]处的像素值，I1 i，j表示参照图片L1的第2参照块内的位置[i，j]处的像素值。I0 i，j和I1 i，j有时仅表现为I0和I1。BIO参数u通过式(3.6)～(3.9)，使用sGxdI以及sGx来计算。
在判定为第1和不大于第2和的情况下(S1003中为否)，解码装置200对当前块不使用水平梯度值而决定BIO参数u(S1005)。式(3.10)～(3.14)表示用于决定该情况下的BIO参数u的运算处理的例子。式(3.10)～(3.14)基本上与式(3.5)～(3.9)相同，但在式(3.10)～(3.14)中，BIO参数u使用垂直梯度值计算。
【数式15】
sGydI＝∑[i，j]∈Ω-sign(Gy[i，j])×(I0 i，j-I1 i，j) (3.10)
【数式16】
denominator＝sGy (3.11)
【数式17】
numerator＝sGydI (3.12)
【数式18】
shift＝Bits(denominator)-6 (3.13)
【数式19】
u＝Clip(((numerator＞＞(shift-12))×BIOShift[demoninator＞＞shift])＞＞27) (3.14)
在式(3.10)中，sGydI作为遍及窗口Ω的I0 i，j与I1 i，j的差分与sign(Gy[i，j])的积和而计算。BIO参数u通过式(3.11)～(3.14)，使用sGydI以及sGy来计算。
然后，解码装置200使用BIO参数u对当前块进行解码(S1006)。具体而言，解码装置200使用BIO参数u生成预测样本，使用预测样本对当前块进行解码。式(3.15)及(3.16)表示用于生成预测样本的运算处理的多个例子。
【数式20】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1))＞＞1 (3.15)
【数式21】
prediction sample＝(I0+I1+u×(Iy 0-Iy 1))＞＞1 (3.16)
在判定为第1和大于第2和的情况下(S1003中为是)，使用式(3.15)。在判定为第1和不大于第2和的情况下(S1003中为否)，使用式(3.16)。
解码装置200也可以对当前CU的全部子块反复进行上述处理(S1001～S1006)。
解码装置200通过使用BIO，能够提高当前块中的预测样本的精度。另外，解码装置200在计算BIO参数时，仅使用水平梯度值以及垂直梯度值中的一方，因此能够抑制运算量的增加。
另外，上述的式子是一例，用于计算BIO参数的式子不限于上述的式子。例如，可以适当地变更上述的式子中包含的正负符号，也可以使用与上述的式子等价的式子。具体而言，作为与上述的式(3.1)以及(3.2)对应的式子，也可以使用以下的式(4.1)。
【数式22】
sGx＝∑[i，j]∈Ωabs(Ix 1+Ix 0) (4.1)
另外，例如，作为与上述的式(3.5)对应的式子，也可以使用以下的式(4.2)。
【数式23】
sGxdI＝∑[i，j]∈Ω(-sign(Ix 1+Ix 0)×(I0-I1)) (4.2)
另外，例如，作为与上述的式(3.15)对应的式子，也可以使用以下的式(4.3)。
【数式24】
prediction sample＝(I1+I0-u×(Ix 1-Ix 0))＞＞1 (4.3)
另外，式(3.6)～(3.9)实质上表示除法，因此也可以如以下的式(4.4)那样表示。
【数式25】
Figure BDA0003411921670000601
这些式(4.1)～(4.4)与上述的式(3.1)、(3.2)、(3.5)～(3.9)和(3.15)实质上相同。
同样地，具体而言，作为与上述的式(3.3)及(3.4)对应的式子，也可以使用以下的式(4.5)。
【数式26】
sGy＝∑[i，j]∈Ωabs(Iy 1+Iy 0) (4.5)
另外，例如，作为与上述的式(3.10)对应的式子，也可以使用以下的式(4.6)。
【数式27】
sGydI＝∑[i，j]∈Ω(-sign(Iy 1+Iy 0)×(I0-I1)) (4.6)
另外，例如，作为与上述的式(3.16)对应的式子，也可以使用以下的式(4.7)。
【数式28】
prediction sampIe＝(I1+I0-u×(Iy 1-Iy 0))＞＞1 (4.7)
另外，式(3.11)～(3.14)实质上表示除法，因此也可以如以下的式(4.8)那样表示。
【数式29】
Figure BDA0003411921670000602
这些式(4.5)～(4.8)与上述的式(3.3)、(3.4)、(3.10)～(3.14)和(3.16)实质上相同。
另外，在上述流程中，基于第1和与第2和的比较，使用了水平梯度值或者垂直梯度值，但解码处理的流程不限于上述的流程。也可以根据其他的编码参数等确定是使用水平梯度值还是使用垂直梯度值。而且，也可以不对第1和与第2和进行比较，而是使用水平梯度值来导出BIO参数，也可以使用垂直梯度值来导出BIO参数。另外，也可以仅计算第1和与第2和中的一方。
即使不对第1和与第2和进行比较，解码装置200也能够通过上述的式子来削减在按每个像素位置进行的运算中运算量大的实质的乘法，能够以低运算量导出用于生成预测图像的多个参数。具体而言，在式(3.2)、(3.4)、(3.5)、(3.10)、(4.1)、(4.2)、(4.5)和(4.6)等中，正负符号被变更，但不使用实质的乘法运算。因此，可以大幅度削减BIO处理中的实质的乘法运算的次数。
即，解码装置200能够以低运算量计算sGx、sGxdI、sGy以及sGydI。因此，解码装置200能够削减解码中的处理量。
在上述说明中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
[BIO的第2具体例]
接着，说明基于BIO的解码处理的第2具体例。例如，与第1具体例同样地，解码装置200根据进行了运动补偿的2个参照块计算BIO参数，使用计算出的BIO参数对当前块进行解码。
在本具体例中，通过以下的式(5.1)～(5.8)，生成用于对当前块进行解码的预测样本。
【数式30】
s1＝∑[i，j]∈Ω(Ix 1+Ix 0)×(Ix 1+Ix 0) (5.1)
【数式31】
s2＝∑[i，j]∈Ω(Iy 1+Iy 0)×(Iy 1+Iy 0) (5.2)
【数式32】
s3＝∑[i，j]∈Ω(-(Ix 1+Ix 0)×(I0-I1)) (5.3)
【数式33】
s4＝∑[i，j]∈Ω(-(Iy 1+Iy 0)×(I0-I1)) (5.4)
【数式34】
Figure BDA0003411921670000621
【数式35】
Figure BDA0003411921670000622
【数式36】
Figure BDA0003411921670000623
【数式37】
Figure BDA0003411921670000624
本具体例中的式(5.1)的s1与第1具体例中的式(3.2)的sGx对应。另外，本具体例中的式(5.2)的s2与第1具体例中的式(3.4)的sGy对应。另外，本具体例中的式(5.3)的s3与第1具体例中的式(3.5)的sGxdI对应。另外，本具体例中的式(5.4)的s4与第1具体例中的式(3.10)的sGydI对应。
而且，本具体例中的式(5.5)～(5.7)的vx及vy分别与BIO参数对应，与第1具体例中的式(3.9)及(3.14)的u对应。
在第1具体例中，在sGx、sGy、sGxdI以及sGydI的计算中，进行正负符号的变更，不进行实质的乘法运算。另一方面，在本具体例中，对s1、s2、s3以及s4的计算进行实质的乘法运算。由此，运算量增加，但以更高的精度生成预测样本。相反，在第1具体例中，运算量被削减。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
[BIO的第3具体例]
接下来，使用图52说明基于BIO的解码处理的第3具体例。例如，与第1具体例同样地，解码装置200从进行了运动补偿的2个参照块计算至少1个BIO参数，利用计算出的至少1个BIO参数对当前块进行解码。
图52是表示基于BIO的解码处理的第3具体例的流程图。
首先，解码装置200针对当前块，使用第1参照块的水平梯度值和第2参照块的水平梯度值计算第1和(S2001)。本具体例中的第1和计算处理(S2001)可以与第1具体例中的第1和计算处理(S1001)相同。具体而言，解码装置200通过与第1具体例中的式(3.1)和(3.2)相同的以下的式(6.1)和(6.2)，计算sGx作为第1和。
【数式38】
Gx＝Ix 0+Ix 1 (6.1)
【数式39】
sGx＝∑[i，j]∈Ωsign(Gx[i，j])×Gx[i，j] (6.2)
另外，解码装置200针对当前块，使用第1参照块的垂直梯度值和第2参照块的垂直梯度值计算第2和(S2002)。本具体例中的第2和的计算处理(S2002)可以与第1具体例中的第2和的计算处理(S1002)相同。具体而言，解码装置200通过与第1具体例中的式(3.3)和(3.4)相同的以下的式(6.3)和(6.4)，计算sGy作为第2和。
【数式40】
Gy＝Iy 0+Iy 1 (6.3)
【数式41】
sGy＝∑[i，j]∈Ωsign(Gy[i，j])×Gy[i，j] (6.4)
接下来，解码装置200判定第1和与第2和这两者大于第1值、以及第1和与第2和这两者小于第2值中的至少一方是否成立(S2003)。第1值可以大于第2值，可以小于第2值，也可以与第2值相同。第1值和第2值也可以分别表示为第1阈值和第2阈值。
例如，在第1值＝100和第2值＝100的情况下，基于第1和及第2和的判定结果如下。
第1和＝300，第2和＝50：判定结果＝假
第1和＝50，第2和＝50：判定结果＝真
第1和＝300，第2和＝300：判定结果＝真
第1和＝50，第2和＝300：判定结果＝假
在判定结果为真的情况下(S2003中的是)，解码装置200针对当前块，使用水平梯度值和垂直梯度值这两者来决定2个BIO参数(S2004)。式(6.5)～(6.8)表示在这种情况下用于决定2个BIO参数的运算处理的例子。在这些式子中，使用水平梯度值和垂直梯度值来计算由u和v表示的2个BIO参数。
【数式42】
sGxdI＝∑[i，j]∈Ωsign(Gx[i，j])×(I0 i，j-I1 i，j) (6.5)
【数式43】
sGydI＝∑[i，j]∈Ωsign(Gy[i，j])×(I0 i，j-I1 i，j) (6.6)
【数式44】
u＝Clip(((sGxdI＞＞(Bits(sGx)-6-12))×BIOShift[sGx＞＞Bits(sGx)-6])＞＞27) (6.7)
【数式45】
v＝Clip(((sGydI＞＞(Bits(sGy)-6-12))×BIOShift[sGy＞＞Bits(sGy)-6])＞＞27) (6.8)
式(6.5)及(6.6)分别与第1具体例中的式(3.5)及(3.10)相同。BIO参数u通过式(6.7)，使用sGxdI以及sGx计算。BIO参数v是通过式(6.8)使用sGydI和sGy计算的。BIO参数u和v可以代替式(6.7)及(6.8)而分别使用以下的式(6.9)及(6.10)来计算。
【数式46】
u＝sGxdI＞＞Bits(sGx) (6.9)
【数式47】
v＝sGydI＞＞Bits(sGy) (6.10)
在判定结果为假的情况下(S2003中的否)，解码装置200针对当前块，不使用水平梯度值或垂直梯度值地决定1个BIO参数(S2005)。在这种情况下，用于决定1个BIO参数的运算处理的例子如下。
例如，解码装置200判定第1和是否大于第2和。在第1和大于第2和的情况下，解码装置200通过式(6.5)及(6.7)(或(6.9))仅计算“u”作为BIO参数。即，在这种情况下，解码装置200针对当前块，不使用垂直梯度值地决定BIO参数。
另一方面，在第1和不大于第2和的情况下，解码装置200通过式(6.6)及(6.8)(或(6.10))，仅计算“v”作为BIO参数。即，在这种情况下，解码装置200针对当前块，不使用水平梯度值地决定BIO参数。
或者，例如，解码装置200也可以判定是否第1和大于第1值且第2和小于第2值。
然后，在第1和大于第1值且第2和小于第2值的情况下，解码装置200针对当前块，可以不使用垂直梯度值地仅将“u”决定为BIO参数。在第1和不大于第1值或第2和不小于第2值的情况下，解码装置200针对当前块，可以不使用水平梯度值地仅将“v”决定为BIO参数。
最后，解码装置200使用至少1个BIO参数对当前块进行解码(S2006)。具体而言，解码装置200使用2个BIO参数u及v中的至少1个来生成预测样本，并且使用预测样本对当前块进行解码。式(6.11)～(6.13)表示用于生成预测样本的运算处理的多个例子。
【数式48】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (6.11)
【数式49】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1))＞＞1 (6.12)
【数式50】
prediction sample＝(I0+I1+v×(Iy 0-Iy 1))＞＞1 (6.13)
在基于第1和、第2和、第1值及第2值的判定处理(S2003)的结果为真的情况下，使用式(6.11)。在判定处理(S2003)的结果为假的情况下，在仅计算出“u”的情况下使用式(6.12)。在判定处理(S2003)的结果为假的情况下，在仅计算出”v”的情况下使用式(6.13)。
解码装置200也可对当前CU的所有子块反复进行上述处理(S2001～S2006)。
另外，也可以使用与上述的判定处理(S2003)不同的判定处理。例如，解码装置200也可以判定第1和与第2和这两者是否比第1值大。
而且，在第1和与第2和两者都大于第1值的情况下，解码装置200针对当前块，可以使用水平梯度值和垂直梯度值两者来决定2个BIO参数。在第1和与第2和中的至少1方不大于第1值的情况下，解码装置200针对当前块，可以不使用水平梯度值或垂直梯度值地决定1个BIO参数。
或者，例如，解码装置200也可以判定第1和是否大于第1值、且第2和是否大于第2值。
在第1和大于第1值并且第2和大于第2值的情况下，解码装置200针对当前块，可以使用水平梯度值和垂直梯度值两者来决定2个BIO参数。在第1和不大于第1值或第2和不大于第2值的情况下，解码装置200针对当前快，可以不使用水平梯度值或垂直梯度值地决定1个BIO参数。
或者，例如，解码装置200也可以判定第1和大于第1值、第2和大于第2值的条件、以及第1和小于第3值、第2和小于第4值的条件这2个条件中的至少一方是否成立。
然后，在2个条件中的至少一方成立的情况下，解码装置200针对当前块，可以使用水平梯度值和垂直梯度值两者来决定2个BIO参数。在2个条件都不成立的情况下，解码装置200针对当前块，可以不使用水平梯度值或垂直梯度值地决定1个BIO参数。
解码装置200可以通过使用BIO来提高当前块中的预测样本的精度。此外，解码装置200有时基于条件而仅使用水平梯度值和垂直梯度值中的一方。因此，解码装置200能够抑制计算量的增加。
另外，上述的式是一例，用于计算BIO参数的式不限于上述的式。例如，可以适当地变更上述式中包含的正负符号，也可以使用与上述式等价的式。具体而言，作为与上述的式(6.1)以及(6.2)对应的式，也可以使用以下的式(7.1)。
【数式51】
sGx＝＝∑[i，j]∈Ωabs(Ix 1+Ix 0) (7.1)
另外，例如，作为与上述的式(6.5)对应的式，也可以使用以下的式(7.2)。
【数式52】
sGxdI＝＝∑[i，j]∈Ω(-sign(Ix 1+Ix 0)×(I0-I1)) (7.2)
另外，例如，作为与上述的式(6.12)对应的式，也可以使用以下的式(7.3)。
【数式53】
prediction sample＝(I1+I0-u×(Ix 1-Ix 0))＞＞1 (7.3)
另外，式(6.7)以及(6.9)实质上表示除法，因此也可以如以下的式(7.4)那样表示。
【数式54】
Figure BDA0003411921670000671
这些式(7.1)～(7.4)与上述的式(6.1)、(6.2)、(6.5)、(6.7)、(6.9)及(6.12)实质上相同。
同样地，具体而言，作为与上述的式(6.3)及(6.4)对应的式，也可以使用以下的式(7.5)。
【数式55】
sGy＝∑[i，j]∈Ωabs(Iy 1+Iy 0) (7.5)
另外，例如，作为与上述的式(6.6)对应的式，也可以使用以下的式(7.6)。
【数式56】
sGydI＝∑[i，j]∈Ω(-sign(Iy 1+Iy 0)×(I0-I1)) (7.6)
另外，例如，作为与上述的式(6.13)对应的式，也可以使用以下的式(7.7)。
【数式57】
prediction sample＝(I1+I0-v×(Iy 1-Iy 0))＞＞1 (7.7)
另外，式(6.8)以及(6.10)实质上表示除法，因此也可以如以下的式(7.8)那样表示。
【数式58】
Figure BDA0003411921670000672
这些式(7.5)～(7.8)与上述的式(6.3)、(6.4)、(6.6)、(6.8)、(6.10)及(6.13)实质上相同。另外，例如，作为与上述的式(6.11)对应的式，也可以使用以下的式(7.9)。以下的式(7.9)与上述的式(6.11)实质上相同。
【数式59】
prediction sample＝(I0+I1-u×(Ix 1-Ix 0)-v×(Iy 1-Iy 0))＞＞1 (7.9)
此外，在上述流程中，基于第1和以及第2和，使用水平梯度值和垂直梯度值中的至少一方，但是解码处理的流程不限于上述流程。可以根据其他编码参数等来确定是使用水平梯度值还是使用垂直梯度值，还是使用这两者。
而且，不管第1和还是第2和，至少1个BIO参数可以使用水平梯度值导出，可以使用垂直梯度值导出，也可以使用水平梯度值和垂直梯度值两者来导出。
不管第1和还是第2和，根据上述的式子，解码装置200能够在对每个像素位置进行的运算中削减运算量大的实质乘法，并且可以以低运算量导出用于生成预测图像的多个参数。具体而言，在式(6.2)、(6.4)、(6.5)、(6.6)、(7.1)、(7.2)、(7.5)及(7.6)等中，正负符号被变更，但不使用实质的乘法运算。因此，能够大幅度削减BIO处理中的实质的乘法运算的次数。
即，解码装置200能够以低运算量计算sGx、sGxdI、sGy和sGydI。因此，解码装置200能够削减解码中的处理量。特别地，不管第1和还是第2和，解码装置200都可以使用水平梯度值和垂直梯度值两者导出至少1个BIO参数。因此，解码装置200能够在削减解码中的处理量的同时，使用水平梯度值和垂直梯度值两者适当地生成预测图像。
在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
另外，用于计算BIO参数的式子，只要是使用水平梯度值或垂直梯度值计算BIO参数的式，也可以用其他的式置换。
例如，在第3具体例中，用于计算BIO参数u的式子只要是不基于垂直梯度值而基于水平梯度值来计算BIO参数u的式子即可，并不限定于式(6.7)、(6.9)及(7.4)等。此外，用于计算BIO参数v的式子只要是不基于水平梯度值而基于垂直梯度值来计算BIO参数v的式子即可，不限定于式(6.8)、(6.10)及(7.8)等。
另外，在第1具体例和第3具体例中，第1和对应于水平梯度值，第2和对应于垂直梯度值。然而，该顺序可以交换。即，可以是第1和对应于垂直梯度值，第2和对应于水平梯度值。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
[BIO的第4具体例]
第1具体例、第2具体例以及第3具体例中的BIO参数的计算处理以及预测图像的生成处理是一例，也可以应用其他的计算处理以及生成处理。例如，可以应用图53的流程图中所示的处理。
图53是表示基于BIO的解码处理的第4具体例的流程图。在上述的多个具体例中，如图49及图52所示，解码装置200基于第1和的大小以及第2和的大小来切换预测样本的导出方法。另一方面，在本具体例中，解码装置200始终求出垂直方向以及水平方向各自的光流成分而导出预测样本。由此，预测精度有可能进一步提高。
具体而言，在图53的例子中，与图49的例子和图52的例子同样地，解码装置200针对当前块，使用第1参照块的水平梯度值和第2参照块的水平梯度值计算第1和(S2001)。另外，解码装置200针对当前块，使用第1参照块的垂直梯度值和第2参照块的垂直梯度值计算第2和(S2002)。
而且，在图53的例子中，解码装置200针对当前块，不管第1和的大小及第2和的大小，都使用水平梯度值和垂直梯度值两者来决定BIO参数(S2004)。针对当前块，使用水平梯度值和垂直梯度值两者来决定BIO参数的动作可以与第3具体例相同。例如，解码装置200可以使用第3具体例中记载的式(6.1)～(6.10)等作为用于决定BIO参数的运算式。
而且，解码装置200使用BIO参数对当前块进行解码(S2006)。例如，解码装置200使用2个BIO参数u和v来生成预测样本。此时，解码装置200也可以通过式(6.11)等导出预测样本。解码装置200也可以使用第1具体例中记载的式或其他式。然后，解码装置200使用预测样本对当前块进行解码。
此外，在式(6.2)、(6.4)、(6.5)及(6.6)等中出现的sign(x)可以由前述的二进制的式(a)定义，或者可以由以下的式(b)定义。
【数式60】
Figure BDA0003411921670000701
式(a)的sign函数返回表示提供给sign函数的自变量是正还是负的值。式(b)的sign函数返回表示提供给sign函数的自变量是正、负还是零的值。
在本来的光流的导出式中，式(6.2)、(6.4)、(6.5)及(6.6)内的sign(Gx[i，j])及sign(Gy[i，j])分别是Gx[i，j]及Gy[i，j]。因此，例如，在Gx[i，j]＝0的情况下，计算Gx[i，j]×(I0 i，j-I1 i，j)＝0作为中间值，在Gy[i，j]＝0的情况下，计算Gy[i，j]×(I0 i，j-I1 i，j)＝0作为中间值。
但是，在简化后的光流的导出式中，在sign(0)＝1的情况下，不能得到适当的中间值。例如，在式(6.5)中，在Gx[i，j]＝0的情况下，计算sign(Gx[i，j])×(I0 i，j-I1 i，j)＝(I0 i，j-I1 i，j)作为中间值。另外，在式(6.6)中，在Gy[i，j]＝0的情况下，计算sign(Gy[i，j])×(I0 i，j-I1 i，j)＝(I0 i，j-I1 i，j)作为中间值。即，中间值不为0，而剩余与0不同的值。
在上述的式(b)的sign的定义中，在Gx[i，j]＝0的情况下，计算sign(Gx[i，j])×(I0 i，j-I1 i，j)＝0作为中间值，而在Gy[i，j]＝0的情况下，计算sign(Gy[i，j])×(I0 i，j-I1 i，j)＝0作为中间值。因此，在这些情况下，计算与本来的光流的导出式相同的中间值。
因此，由上述的式(b)定义的sign具有比由上述的式(a)定义的sign更类似于本来的光流的式子的值。因此，预测精度可能变得更高。
此外，上述的变更也可以在本公开的全部中进行组合。例如，第1具体例的sign(x)的定义可以置换为上述的式(b)，并且第3具体例的sign(x)的定义可以置换为上述的式(b)。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
此外，式(b)是返回表示自变量是正、负还是零的值的sign函数的例子。返回表示自变量是正、负还是零的值的sign函数可以由通过自变量是正、负还是零而取得三个值的其他式子来表现。
[BIO的第5具体例]
接下来，说明基于BIO的解码处理的第5具体例。在第5具体例中，与第4具体例同样地，始终求出垂直方向及水平方向各自的光流成分而导出预测样本。以下的运算式是第5具体例中的运算式。
【数式61】
Gx＝Ix 0+Ix 1 (8.1)
【数式62】
sGx＝∑[i，j]∈Ωsign(Gx[i，j])×Gx[i，j] (8.2)
【数式63】
Gy＝Iy 0+Iy 1 (8.3)
【数式64】
sGy＝∑[i，j]∈Ωsign(Gy[i，j])×Gy，j] (8.4)
【数式65】
sGxdI＝∑[i，j]∈Ωsign(Gx[i，j])×(I0 i，j-I1 i，j) (8.5)
【数式66】
sGydI＝∑[i，j]∈Ωsign(Gy[i，j])×(I0 i，j-I1 i，j) (8.6)
【数式67】
sGxGy＝∑[i，j]∈Ωsign(Gy[i，j])×Gx[i，j] (8.7)
【数式68】
u＝sGxdI＞＞Bits(sGx) (8.8)
【数式69】
v＝(sGydI-u×sGxGy)＞＞Bits(sGy) (8.9)
【数式70】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (8.10)
上述的式(8.1)～(8.6)、(8.8)及(8.10)与第3具体例中的式(6.1)～(6.6)、(6.9)及(6.11)相同。在本具体例中，追加式(8.7)，将式(6.10)置换为式(8.9)。即，通过依赖于x方向的BIO参数“u”以及与x方向的梯度和y方向的梯度相关参数“sGxGy”的运算处理来导出y方向的BIO参数“v”。由此，有可能导出精度更高的BIO参数，能够提高编码效率的可能性变高。注意，sGxGy也可以表现为第3和。
此外，可以使用第4具体例所记载的式(b)作为sign(x)。如由式(b)定义那样，通过与3个值对应的sign(x)，有可能进一步提高编码效率。此外，作为sign(x)，也可以使用第1具体例所记载的式(a)。因此，与sign(x)对应于3个值的情况相比，式子被简化，因此有可能在减少处理负荷的同时提高编码效率。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和、第3和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
另外，本运算式不仅适用于第4具体例中的图53的流程图，也可以适用于第1具体例中的图49的流程图、第3具体例中的图52的流程图、或其他流程图。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
[BIO的第6具体例]
接下来，说明基于BIO的解码处理的第6具体例。在第6具体例中，与第4具体例等同样地，始终求出垂直方向以及水平方向各自的光流成分而导出预测样本。以下的运算式是第6具体例中的运算式。
【数式71】
Gx＝Ix 0+Ix 1 (9.1)
【数式72】
sGx＝∑[i，j]∈ΩGx[i，j]×Gx[i，j] (9.2)
【数式73】
Gy＝Iy 0+Iy 1 (9.3)
【数式74】
sGy＝∑[i，j]∈ΩGy[i，j]×Gy[i，j] (9.4)
【数式75】
sGxdI＝∑[i，j]∈ΩGx[i，j]×(I0 i，j-I1 i，j) (9.5)
【数式76】
sGydI＝∑[i，j]∈ΩGy[i，j]×(I0 i，j-I1 i，j) (9.6)
【数式77】
u＝sGxdI＞＞Bits(sGx) (9.7)
【数式78】
v＝sGydI＞＞Bits(sGu) (9.8)
【数式79】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (9.9)
上述的式(9.1)、(9.3)及(9.7)～(9.9)与第3具体例中的式(6.1)、(6.3)及(6.9)～(6.11)相同。在本具体例中，式(6.2)及(6.4)～(6.6)分别置换为式(9.2)及(9.4)～(9.6)。
例如，在式(6.2)及(6.4)～(6.6)中，代替Gx[i，j]和Gy[i，j]，使用sign(Gx[i，j])和sign(Gy[i，j])，从而去除实质的乘法运算。另一方面，在式(9.2)及(9.4)～(9.6)中，不使用sign(Gx[i，j])和sign(Gy[i，j])，而是直接使用Gx[i，j]和Gy[i，j]的值。即，使用实质的乘法运算。
由此，运算处理量增加。但是，有可能导出精度更高的BIO参数，能够提高编码效率的可能性变高。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和、第3和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
另外，与本具体例对应的运算式不仅应用于第4具体例中的图53的流程图，而且也可以应用于第1具体例中的图49的流程图、第3具体例中的图52的流程图、或其他流程图。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
[BIO的第7具体例]
接下来，说明基于BIO的解码处理的第7具体例。在第7具体例中，与第4具体例等同样地，始终求出垂直方向以及水平方向各自的光流成分而导出预测样本。以下的运算式是第7具体例中的运算式。
【数式80】
Gx＝Ix 0+Ix 1 (10.1)
【数式81】
sGx=∑[i，j]∈Ωabs(Gx[i，j]) (10.2)
【数式82】
Gy＝Iy 0+Iy 1 (10.3)
【数式83】
sGy＝∑[i，j]∈Ωabs(Gy[i，j]) (10.4)
【数式84】
sGxdI＝∑[i，j]∈Ωsign(Gx[i，j])×(I0i，j-I1 i，j) (10.5)
【数式85】
sGydI＝∑[i，j]∈Ωsign(Gy[i，j])×(I0 i，j-I1 i，j) (10.6)
【数式86】
sGxGy＝∑[i，j]∈Ωsign(Gy[i，j])×Gx[i，j] (10.7)
【数式87】
u＝sGxdI＞＞Bits(sGx) (10.8)
【数式88】
v＝(sGydI-u×sGxGy)＞＞Bits(sGy) (10.9)
【数式89】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (10.10)
上述的式(10.1)、(10.3)及(10.5)～(10.10)与第5具体例中的式(8.1)、(8.3)及(8.5)～(8.10)相同。在本具体例中，式(8.2)及(8.4)分别置换为式(10.2)及(10.4)。具体而言，代替使用sign函数来变换正负号，而使用abs函数。
如式(10.2)及(10.4)那样的使用abs函数得到的结果与如式(8.2)及(8.4)那样的使用sign函数变换正负符号得到的结果相同。即，本具体例与第5具体例实质上相同。
在第5具体例中，使用Gx的正负符号与Gx的积，使用Gy的正负符号与Gy的积。在本具体例中，该积的部分用绝对值置换。由此，能够实现低处理化。
另外，也可以适当地变更上述的式中包含的正负符号，也可以使用与上述的式等价的式子。具体而言，可以使用与上述的式(10.1)～(10.7)对应的以下的式(11.1)～(11.5)。
【数式90】
sGx∑[i，j]∈Ωabs(I× 1+Ix 0) (11.1)
【数式91】
sGy＝∑[i，j]∈Ωabs(Iy 1+Iy 0) (11.2)
【数式92】
sGxdI＝∑[i，j]∈Ω(-sign(Ix 1+Ix 0)×(I0-I1)) (11.3)
【数式93】
sGydI＝∑[i，j]∈Ω(-sign(Iy 1+Iy 0)×(I0-I1)) (11.4)
【数式94】
sGxGy＝∑[i，j]∈Ω(sign(Iy 1+Iy 0)×(Ix 1+Ix 0)) (11.5)
另外，式(10.8)及(10.9)实质上表示除法，因此也可以如以下的式(11.6)及(11.7)那样表示。
【数式95】
Figure BDA0003411921670000761
【数式96】
Figure BDA0003411921670000762
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和、第3和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
另外，与本具体例对应的运算式不仅应用于第4具体例中的图53的流程图，也可以应用于第1具体例中的图49的流程图、第3具体例中的图52的流程图或其他流程图。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
[BIO的第8具体例]
接下来，说明基于BIO的解码处理的第8具体例。在第8具体例中，与第4具体例等同样地，始终求出垂直方向以及水平方向各自的光流成分而导出预测样本。以下的运算式是第8具体例中的运算式。
【数式97】
Gx＝Ix 0+Ix 1 (12.1)
【数式98】
sGx＝∑[i，j]∈ΩGx[i，j] (12.2)
【数式99】
Gy＝Iy 0+Iy 1 (12.3)
【数式100】
sGy＝∑[i，j]∈ΩGy[i，j] (12.4)
【数式101】
sGxdI＝∑[i，j]∈Ω(I0 i，j-I1 i，j) (12.5)
【数式102】
sGydI＝∑[i，j]∈Ω(I0 i，j-I1 i，j) (12.6)
【数式103】
sGxGy＝∑[i，j]∈ΩGx[i，j] (12.7)
【数式104】
u＝sGxdI＞＞Bits(sGx) (12.8)
【数式105】
v＝(sGydI-u×sGxGy)＞＞Bits(sGy) (12.9)
【数式106】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (12.10)
上述的式(12.1)、(12.3)及(12.8)～(12.10)与第5具体例中的式(8.1)、(8.3)及(8.8)～(8.10)相同。
另一方面，关于式(8.2)及(8.4)～(8.7)，假定表示Gx及Gy的正负符号的值始终为1，式(8.2)及(8.4)～(8.7)分别置换为式(12.2)及(12.4)～(12.7)。这是基于这样的假设：在微小区域Ω中，像素值的梯度的绝对值和正负符号都是恒定的。
由于假设正负符号是恒定的，可以削减以像素单位计算Gx及Gy的正负符号的处理。另外，sGx的运算式与sGxGy的运算式相互相等。由此，能够进一步削减处理。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和、第3和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
另外，本运算式不仅适用于第4具体例中的图53的流程图，也可以适用于第1具体例中的图49的流程图、第3具体例中的图52的流程图、或其他流程图。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
[BIO的第9具体例]
接下来，说明基于BIO的解码处理的第9具体例。在第9具体例中，与第4具体例等同样地，始终求出垂直方向以及水平方向各自的光流成分而导出预测样本。以下的运算式是第9具体例中的运算式。
【数式107】
Gx＝Ix 0+Ix 1 (13.1)
【数式108】
sGx＝∑[i，j]∈ΩGx[i，j] (13.2)
【数式109】
Gy＝Iy 0+Iy 1 (13.3)
【数式110】
sGy＝∑[i，i]∈ΩGy[i，j] (13.4)
【数式111】
sGxdI＝∑[i，j]∈Ω(I0 i，j-I1 i，j) (13.5)
【数式112】
sGydI＝∑[i，j]∈Ω(I0 i，j-I1 i，j) (13.6)
【数式113】
u＝sGxdI＞＞Bits(sGx) (13.7)
【数式114】
v＝(sGydI-u×sGx)＞＞Bits(sGy) (13.8)
【数式115】
prediction sample＝(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1 (13.9)
上述的式(13.1)～(13.9)与第8具体例中的式(12.1)～(12.6)及(12.8)～(12.10)相同。在第8具体例中，基于sGx的运算式和sGxGy的运算式相等的情况，在本具体例中，删除了第3和中的相互相关的导出处理。然后，在v的导出中使用sGx。
另外，这里说明的运算式是一例，只要是表示同样处理的运算式，运算式也可以部分地变更、删除、追加。例如，第1和、第2和以及BIO参数的多个式子中的1个以上的式子可以置换为其他具体例的式子，也可以置换为与其他具体例的式子不同的其他式子。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
另外，与本具体例对应的运算式不仅应用于第4具体例中的图53的流程图，而且也可以应用于第1具体例中的图49的流程图、第3具体例中的图52的流程图、或其他流程图。
另外，在上述中，示出了解码处理，但与上述相同的处理也能够应用于编码处理。即，上述说明中的解码也可以置换为编码。
[BIO的第10具体例]
本具体例表示可应用于其他具体例的变形例。例如，查找表可以用于各具体例的除法。例如，可以使用具有6比特即64个条目的查找表(divSigTable)。由此，第5具体例中的式(8.8)及(8.9)能够分别置换为以下的式(14.1)及(14.2)。其他具体例中的同种的式子也可以同样地置换。
【数式116】
u＝sGxdI×(divSigTalbe[Upper6digits(sGx)]|32)＞＞[log(sGx)] (14.1)
【数式117】
Figure BDA0003411921670000791
上述的式(14.1)及(14.2)中的Upper6digits表示以下。
【数式118】
Figure BDA0003411921670000792
另外，通过求出针对多个像素的梯度值来得到梯度图像。梯度值例如可以通过对多个像素应用梯度滤波器来导出。通过增多梯度滤波器的抽头数，有可能提高梯度值的精度，提高预测图像的精度，并且提高编码效率。
另一方面，由于按每个像素位置进行处理，在进行处理的像素位置多的情况下，运算量变多。因此，可以使用2抽头滤波器作为梯度滤波器。即，梯度值可以是梯度值的计算对象像素的上下或左右的2个像素的差分值。或者，梯度值也可以是梯度值的计算对象像素和与梯度值的计算对象像素相邻的像素(具体而言为上、下、左或右等像素)之间的差分值。因此，与抽头数多的情况相比，处理量可能下降。
另外，计算梯度值的多个像素可以是多个整数像素，也可以包含小数像素。
另外，例如，在上述的说明中，作为求出水平梯度值以及垂直梯度的滤波器的例子，使用了具有[-1，0，1]的滤波器系数集的滤波器，但也可以使用具有[1，0，-1]的滤波器系数集的滤波器等。
[结构和处理的代表例]
以下示出上述所示的编码装置100和解码装置200的结构和处理的代表例。该代表例主要与上述的第5具体例及第7具体例等对应。
图54是表示编码装置100进行的动作的流程图。例如，编码装置100具备电路以及与电路连接的存储器。编码装置100所具备的电路以及存储器也可以与图40所示的处理器a1以及存储器a2对应。编码装置100的电路在动作中进行以下。
例如，编码装置100的电路针对各相对像素位置，导出第1范围中的该相对像素位置的水平梯度值与第2范围中的该相对像素位置的水平梯度值之和的绝对值即水平梯度和绝对值(S3101)。
在此，第1范围包含当前块的第1参照块，第2范围包含当前块的第2参照块。各相对像素位置是相对于第1范围和第2范围这两者共同且相对地确定的像素位置，是第1范围和第2范围各自中的像素位置。
另外，针对第1范围和第2范围这两者共同且相对地确定的像素位置，意味着针对第1范围和第2范围这两者相对地相同地确定的像素位置。例如，在求出1个水平梯度和绝对值时，使用在第1范围和第2范围内相对相同的像素位置的水平梯度值。具体而言，例如使用第1范围内的最左上位置的像素位置的水平梯度值和第2范围内的最左上位置的像素位置的水平梯度值，导出1个水平梯度和绝对值。
然后，编码装置100的电路导出针对多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数(S3102)。
另外，编码装置100的电路针对各相对像素位置，导出垂直梯度和绝对值，该垂直梯度和绝对值是第1范围中的该相对像素位置的垂直梯度值、与第2范围中的该相对像素位置的垂直梯度值之和的绝对值(S3103)。
然后，编码装置100的电路导出针对多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数(S3104)。
另外，编码装置100的电路针对各相对像素位置，导出第1范围中的该相对像素位置的像素值与第2范围中的该相对像素位置的像素值之差即像素差分值(S3105)。例如，此时，编码装置100的电路对各相对像素位置，通过从第1范围中的该相对像素位置的像素值和第2范围中的该相对像素位置的像素值中的一方减去另一方，导出带正负符号的像素差分值。
然后，编码装置100的电路针对各相对像素位置，通过水平梯度和的正负符号来反转或维持针对该相对像素位置导出的像素差分值的正负符号，导出水平对应像素差分值(S3106)。这里，针对各相对像素位置，水平梯度和是第1范围中的该相对像素位置的水平梯度值与第2范围中的该相对像素位置的水平梯度值之和。水平对应像素差分值是通过水平梯度和的正负符号来反转或维持正负符号的像素差分值。
然后，编码装置100的电路导出针对多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数(S3107)。
此外，编码装置100的电路针对各相对像素位置，通过垂直梯度和的正负符号来反转或维持针对该相对像素位置导出的像素差分值的正负符号，导出垂直对应像素差分值(S3108)。这里，针对各相对像素位置，垂直梯度和是第1范围中的该相对像素位置的垂直梯度值与第2范围中的该相对像素位置的垂直梯度值之和。垂直对应像素差分值是通过垂直梯度和的正负符号来反转或维持正负符号的像素差分值。
然后，编码装置100的电路导出针对多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数(S3109)。
此外，编码装置100的电路针对各相对像素位置，通过垂直梯度和的正负符号来反转或维持水平梯度和的正负符号，导出垂直对应水平梯度和(S3110)。这里，垂直对应水平梯度和是通过垂直梯度和的正负符号来反转或维持正负符号的水平梯度和。
然后，编码装置100的电路导出针对多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数(S3111)。
然后，编码装置100的电路使用第1参数、第2参数、第3参数、第4参数以及第5参数来生成当前块的编码中使用的预测图像(S3112)。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减编码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
此外，例如，编码装置100的电路可以通过上述的式(11.1)导出第1参数，并且可以通过上述的式(11.2)导出第2参数。编码装置100的电路还可以通过上述的式(11.3)导出第3参数，并且通过上述的式(11.4)导出第4参数。此外，编码装置100的电路还可以通过上述的式(11.5)导出第5参数。
这里，Ω表示多个相对像素位置的集合，[i，j]表示各相对像素位置。另外，针对各相对像素位置，Ix 0表示第1范围中的该相对像素位置的水平梯度值，Ix 1表示第2范围中的该相对像素位置的水平梯度值。此外，针对各相对像素位置，Iy 0表示第1范围中的该相对像素位置的垂直梯度值，Iy 1表示第2范围中的该相对像素位置的垂直梯度值。
此外，针对各相对像素位置，I0表示第1范围中的该相对像素位置的像素值，I1表示第2范围中的该相对像素位置的像素值。并且，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
由此，有可能使用像素值、水平梯度值和垂直梯度值以低运算量导出多个参数。
另外，例如，编码装置100的电路也可以通过将第3参数除以第1参数来导出第6参数。此外，编码装置100的电路可以通过从第4参数减去第5参数和第6参数的积，并除以第2参数，从而导出第7参数。然后，编码装置100的电路可以使用第6参数和第7参数生成预测图像。
由此，有可能将多个参数适当地集约为与水平方向以及垂直方向对应的2个参数。有可能在与水平方向对应的参数中适当地取入与水平梯度值相关的参数。有可能在与垂直方向对应的参数中适当地取入与垂直梯度值相关的参数、与水平梯度值和垂直梯度值这两者相关的参数、以及与水平方向对应的参数。然后，有可能使用这2个参数，生成预测图像。
此外，例如，编码装置100的电路可以通过上述的式(10.8)导出第6参数。此外，编码装置100的电路可以通过上述的式(10.9)导出第7参数。
在此，sGx表示第1参数，sGy表示第2参数，sGxdI表示第3参数，sGydI表示第4参数，sGxGy表示第5参数，u表示第6参数。Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
由此，有可能以低运算量来导出与水平方向和垂直方向相对应的2个参数。
另外，例如，编码装置100的电路可以通过使用第1像素值、第1水平梯度值、第1垂直梯度值、第2像素值、第2水平梯度值、第2垂直梯度值、第6参数和第7参数导出预测像素值，生成预测图像。
这里，预测像素值是当前块中包含的处理对象像素位置的预测像素值。第1像素值是第1参照块中与处理对象像素位置对应的第1像素位置的像素值。第1水平梯度值是第1像素位置的水平梯度值。第1垂直梯度值是第1像素位置的垂直梯度值。第2像素值是第2参照块中与处理对象像素位置对应的第2像素位置的像素值。第2水平梯度值是第2像素位置的水平梯度值。第2垂直梯度值是第2像素位置的垂直梯度值。
由此，有可能使用与水平方向和垂直方向对应的2个参数等生成预测图像，并且与水平方向和垂直方向对应的2个参数有可能被适当地反映在预测图像中。
并且，例如，编码装置100的电路也可以通过将第1像素值、第2像素值、第1修正值和第2修正值之和除以2来导出预测像素值。这里，第1修正值对应于第6参数与第1水平梯度值和第2水平梯度值之间的差的积，并且第2修正值对应于第7参数与第1垂直梯度值和第2垂直梯度值之间的差的积。
由此，使用与水平方向和垂直方向对应的2个参数等，有可能适当地生成预测图像。
另外，例如，编码装置100的电路也可以通过上述的式(10.10)导出预测像素值。这里，I0表示第1像素值，I1表示第2像素值，u表示第6参数，Ix 0表示第1水平梯度值，Ix 1表示第2水平梯度值，v表示第7参数，Iy 0表示第1垂直梯度值，Iy 1表示第2垂直梯度值。由此，按照与对应于水平方向及垂直方向的2个参数等相关联的式子，有可能适当地生成预测图像。
另外，例如，编码装置100的电路可以使用第1参数、第2参数、第3参数、第4参数以及第5参数导出双向光流的1个以上的参数，使用双向光流的1个以上的参数以及双向光流，生成预测图像。由此，编码装置100能够适当地生成预测图像。
双向光流的1个以上的参数也可以是上述的第6参数以及第7参数中的至少1个。
另外，编码装置100的帧间预测部126也可以作为编码装置100的电路进行上述的动作。
图55是表示解码装置200进行的动作的流程图。例如，解码装置200具备电路以及与电路连接的存储器。解码装置200所具备的电路以及存储器也可以与图46所示的处理器b1以及存储器b2对应。解码装置200的电路在动作中进行以下动作。
例如，解码装置200的电路针对各相对像素位置，导出第1范围中的该相对像素位置的水平梯度值与第2范围中的该相对像素位置的水平梯度值之和的绝对值即水平梯度和绝对值(S3201)。
在此，第1范围包含当前块的第1参照块，第2范围包含当前块的第2参照块。各相对像素位置是相对于第1范围和第2范围这两者共同且相对地确定的像素位置，是第1范围和第2范围各自中的像素位置。
然后，解码装置200的电路导出针对多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数(S3202)。
另外，解码装置200的电路针对各相对像素位置，导出第1范围中的该相对像素位置的垂直梯度值与第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值(S3203)。
然后，解码装置200的电路导出针对多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数(S3204)。
另外，解码装置200的电路针对各相对像素位置，导出第1范围中的该相对像素位置的像素值与第2范围中的该相对像素位置的像素值之差即像素差分值(S3205)。例如，此时，解码装置200的电路针对各相对像素位置，通过从第1范围中的该相对像素位置的像素值和第2范围中的该相对像素位置的像素值中的一方减去另一方，从而导出带正负符号的像素差分值。
然后，解码装置200的电路针对各相对像素位置，通过水平梯度和的正负符号来反转或维持针对该相对像素位置导出的像素差分值的正负符号，导出水平对应像素差分值(S3206)。这里，针对各相对像素位置，水平梯度和是第1范围中的该相对像素位置的水平梯度值与第2范围中的该相对像素位置的水平梯度值之和。水平对应像素差分值是通过水平梯度和的正负符号来反转或维持正负符号的像素差分值。
然后，解码装置200的电路导出针对多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数(S3207)。
此外，解码装置200的电路针对各相对像素位置，通过垂直梯度和的正负符号来反转或维持针对该相对像素位置导出的像素差分值的正负符号，导出垂直对应像素差分值(S3208)。这里，针对各相对像素位置，垂直梯度和是第1范围中的该相对像素位置的垂直梯度值与第2范围中的该相对像素位置的垂直梯度值之和。垂直对应像素差分值是通过垂直梯度和的正负符号来反转或维持正负符号的像素差分值。
然后，解码装置200的电路导出针对多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数(S3209)。
此外，解码装置200的电路针对各相对像素位置，通过垂直梯度和的正负符号来反转或维持水平梯度和的正负符号，导出垂直对应水平梯度和(S3210)。这里，垂直对应水平梯度和是通过使用垂直梯度和的正负符号来反转或维持正负符号的水平梯度和。
然后，解码装置200的电路导出针对多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数(S3211)。
然后，解码装置200的电路使用第1参数、第2参数、第3参数、第4参数以及第5参数，生成在当前块的解码中使用的预测图像(S3212)。
由此，在按每个像素位置进行的运算中，有可能削减运算量大的实质的乘法运算，有可能以低运算量导出用于生成预测图像的多个参数。因此，有可能削减解码中的处理量。此外，有可能基于包含与水平梯度值相关的参数、与垂直梯度值相关的参数、以及与水平梯度值和垂直梯度值这两者相关的参数的多个参数，适当地生成预测图像。
此外，例如，解码装置200的电路可以通过上述的式(11.1)导出第1参数，并且可以通过上述的式(11.2)导出第2参数。此外，解码装置200的电路可以通过上述的式(11.3)导出第3参数，通过上述的式(11.4)导出第4参数。此外，解码装置200的电路可以通过上述式(11.5)导出第5参数。
这里，Ω表示多个相对像素位置的集合，[i，j]表示各相对像素位置。另外，针对各相对像素位置，Ix 0表示第1范围中的该相对像素位置的水平梯度值，Ix 1表示第2范围中的该相对像素位置的水平梯度值。此外，针对各相对像素位置，Iy 0表示第1范围中的该相对像素位置的垂直梯度值，Iy 1表示第2范围中的该相对像素位置的垂直梯度值。
此外，针对各相对像素位置，I0表示第1范围中的该相对像素位置的像素值，I1表示第2范围中的该相对像素位置的像素值。并且，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
由此，有可能使用像素值、水平梯度值和垂直梯度值以低运算量导出多个参数。
此外，例如，解码装置200的电路也可以通过将第3参数除以第1参数来导出第6参数。此外，解码装置200的电路也可以通过从第4参数减去第5参数和第6参数的积，并除以第2参数，从而导出第7参数。然后，解码装置200的电路也可以使用第6参数和第7参数生成预测图像。
由此，有可能将多个参数适当地集约为与水平方向以及垂直方向对应的2个参数。有可能在与水平方向对应的参数中适当地取入与水平梯度值相关的参数。有可能在与垂直方向对应的参数中适当地取入与垂直梯度值相关的参数、与水平梯度值和垂直梯度值这两者相关的参数、以及与水平方向对应的参数。然后，有可能使用这2个参数，生成预测图像。
此外，例如，解码装置200的电路可以通过上述的式(10.8)导出第6参数。此外，解码装置200的电路可以通过上述的式(10.9)导出第7参数。
在此，sGx表示第1参数，sGy表示第2参数，sGxdI表示第3参数，sGydI表示第4参数，sGxGy表示第5参数，u表示第6参数。Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
由此，有可能以低运算量来导出与水平方向和垂直方向相对应的2个参数。
此外，例如，解码装置200的电路也可以通过使用第1像素值、第1水平梯度值、第1垂直梯度值、第2像素值、第2水平梯度值、第2垂直梯度值、第6参数和第7参数导出预测像素值，生成预测图像。
这里，预测像素值是当前块中包含的处理对象像素位置的预测像素值。第1像素值是第1参照块中与处理对象像素位置对应的第1像素位置的像素值。第1水平梯度值是第1像素位置的水平梯度值。第1垂直梯度值是第1像素位置的垂直梯度值。第2像素值是第2参照块中与处理对象像素位置对应的第2像素位置的像素值。第2水平梯度值是第2像素位置的水平梯度值。第2垂直梯度值是第2像素位置的垂直梯度值。
由此，有可能使用与水平方向和垂直方向对应的2个参数等生成预测图像，并且与水平方向和垂直方向对应的2个参数有可能被适当地反映在预测图像中。
并且，例如，解码装置200的电路也可以通过将第1像素值、第2像素值、第1修正值和第2修正值之和除以2来导出预测像素值。这里，第1修正值对应于第6参数与第1水平梯度值和第2水平梯度值之间的差的积，并且第2修正值对应于第7参数与第1垂直梯度值和第2垂直梯度值之间的差的积。
由此，使用与水平方向和垂直方向对应的2个参数等，有可能适当地生成预测图像。
此外，例如，解码装置200的电路也可以通过上述的式(10.10)导出预测像素值。这里，I0表示第1像素值，I1表示第2像素值，u表示第6参数，Ix 0表示第1水平梯度值，Ix 1表示第2水平梯度值，v表示第7参数，Iy 0表示第1垂直梯度值，Iy 1表示第2垂直梯度值。由此，根据与对应于水平方向及垂直方向的2个参数等相关联的式子，有可能适当地生成预测图像。
另外，例如，解码装置200的电路也可以使用第1参数、第2参数、第3参数、第4参数以及第5参数来导出双向光流的1个以上的参数，使用双向光流1个以上的参数以及双向光流，生成预测图像。由此，解码装置200能够适当地生成预测图像。
双向光流的1个以上的参数也可以是上述的第6参数以及第7参数中的至少1个。
此外，解码装置200的帧间预测部218也可以作为解码装置200的电路而进行上述的动作。
[其他例]
上述的各例中的编码装置100和解码装置200可以分别作为图像编码装置和图像解码装置利用，也可以作为运动图像编码装置和运动图像解码装置利用。
或者，编码装置100和解码装置200也可以分别作为预测装置来利用。即，编码装置100和解码装置200也可以分别仅与帧间预测部126和帧间预测部218对应。而且，其他构成要素也可以包含在其他装置中。
另外，上述的各例的至少一部分可以作为编码方法来利用，也可以作为解码方法来利用，也可以作为预测方法来利用，也可以作为其他方法来利用。
另外，各构成要素由专用的硬件构成，但也可以通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。
具体而言，编码装置100及解码装置200中的每一个可以具备处理电路(Processing Circuitry)和电连接到该处理电路的可从该处理电路访问的存储装置(Storage)。例如，处理电路与处理器a1或b1对应，存储装置与存储器a2或b2对应。
处理电路包含专用的硬件及程序执行部中的至少一方，使用存储装置来执行处理。另外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。
在此，实现上述的编码装置100或解码装置200等的软件是如下的程序。
例如，也可以是，该程序使计算机执行如下编码方法：对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
另外，例如，也可以是，该程序使计算机执行如下解码方法：对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
另外，如上所述，各构成要素也可以是电路。这些电路既可以作为整体构成一个电路，也可以分别是不同的电路。另外，各构成要素既可以通过通用的处理器来实现，也可以通过专用的处理器来实现。
另外，也可以由其他构成要素执行特定的构成要素所执行的处理。另外，执行处理的顺序可以变更，也可以同时执行多个处理。另外，也可以是，编码解码装置具备编码装置100及解码装置200。
另外，在说明中使用的第1以及第2等的序数也可以适当地更换。另外，对于构成要素等，既可以新赋予序数，也可以去除序数。
以上，基于多个例子说明了编码装置100及解码装置200的形态，但编码装置100及解码装置200的形态并不限定于这些例子。只要不脱离本发明的主旨，对各例实施了本领域技术人员能想到的各种变形的形态、将不同的例子中的构成要素组合而构建的形态也可以包含在编码装置100及解码装置200的形态的范围内。
也可以将在此公开的1个以上方式与本发明中的其他方式的至少一部分组合来实施。此外，也可以将在此公开的1个以上方式的流程图所记载的一部分处理、装置的一部分结构、语法的一部分等与其他方式组合来实施。
[实施及应用]
在以上的各实施方式中，各个功能块或起作用的块通常可以通过MPU(microprocessing unit，微处理单元)及存储器等实现。此外，也可以是，各个功能块的处理由读出并执行ROM等记录介质中记录的的软件(程序)的处理器等程序执行部来实现。该软件可以分发。该软件也可以记录到半导体存储器等各种记录介质中。另外，也能够通过硬件(专用电路)实现各功能块。能够采用硬件和软件的各种组合。
在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
本发明的形态并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的形态的范围内。
进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和实施该应用例的各种系统。也可以是，这样的系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、或者具备两者的图像编码解码装置。关于这样的系统的其他结构，根据情况能够适当地变更。
[使用例]
图56是表示实现内容分发服务的适当内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的尺寸，在各单元内分别设有图示的例子中的作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114以及智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些装置组合而连接。在各种实施中，也可以不经由基站ex106～ex110而将各设备经由电话网或近距离无线等直接或间接地相互连接。而且，流媒体服务器ex103也可以经由因特网ex101等而与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103也可以经由卫星ex116而与飞机ex117内的热点内的终端等连接。
另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。
相机ex113是数字相机等能够进行静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与被称作2G、3G、3.9G、4G、及今后被称作5G的移动通信系统的方式对应的智能电话机、便携电话机或PHS(Personal Handy-phone System)等。
家电ex114是电冰箱或在家庭用燃料电池热电联供系统中包含的设备等。
在内容供给系统ex100中，具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，由此能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)可以对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，也可以将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据复用，也可以将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一形态的图像编码装置发挥功能。
另一方面，流媒体服务器ex103将对有请求的客户端发送的内容数据进行流分发。客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备也可以对接收到的数据进行解码处理并再现。即，各设备也可以作为有关本发明的一形态的图像解码装置发挥功能。
[分散处理]
此外，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散处理或记录而分发。例如，流媒体服务器ex103也可以由CDN(Contents Delivery Network)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实现内容分发。在CDN中，能够根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过向该边缘服务器高速缓存及分发内容，能够减少延迟。此外，在发生了几类错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他边缘服务器、或绕过发生故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。
此外，不限于分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中对帧或场景单位的图像的复杂度或编码量进行检测。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，通过由终端进行第1次的编码处理、由接收到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率提高。在此情况下，如果有几乎实时地接收并解码的请求，则也可以将终端进行的第一次编码完成的数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。
作为其他例子，相机ex113等从图像提取特征量(特征或特征的量)，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度等，进行与图像的意义(或内容的重要性)对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行VLC(可变长编码)等简单的编码，由服务器进行CABAC(上下文自适应二值算术编码方式)等处理负荷大的编码。
作为其他例子，在体育场、购物中心或工厂等中，有存在由多个终端拍摄大致相同的场景而得到的多个影像数据的情况。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以GOP(Group of Picture)单位、图片单位或将图片分割而得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。
由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端拍摄的影像数据相互参照。此外，也可以是服务器接收来自各终端的已编码数据并在多个数据间变更参照关系，或将图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。
而且，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将MPEG类的编码方式变换为VP类(例如VP9)，也可以将H.264变换为H.265等。
这样，编码处理能够由终端或1个以上的服务器进行。因此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。
[3D、多角度]
将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或从不同的角度拍摄了相同场景的图像或影像合并而利用的情况增加。将由各终端拍摄的影像能够基于另取得的终端间的相对位置关系、或影像中包含的特征点一致的区域等来合并。
服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像进行编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄了相同场景的影像，生成该场景的三维形状。服务器也可以将由点云等生成的三维的数据另行编码，也可以基于使用三维数据将人物或目标进行识别或跟踪的结果，从由多个终端拍摄的影像中选择或重构而生成向接收终端发送的影像。
这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据中切取了选择视点的影像的内容。进而，与影像一起，声音也可以从多个不同的角度集音，服务器将来自特定的角度或空间的声音与对应的影像复用，并发送复用后的影像和声音。
此外，近年来，Virtual Reality(VR：虚拟现实)及Augmented Reality(AR：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在VR图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过Multi－View Coding(MVC：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流进行编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。
在AR图像的情况下，也可以是，服务器也可以基于三维的位置或用户的视点的移动，对现实空间的相机信息重叠虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作重叠数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器。也可以是，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作重叠数据，将重叠数据进行编码并向解码装置分发。另外，典型地，重叠数据在RGB以外具有表示透射度的α值，服务器将根据三维数据制作出的目标以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定值的RGB值设定为背景，生成将目标以外的部分设为背景色的数据。规定的值的RGB值也可以预先确定。
同样，分发的数据的解码处理既可以由客户端(例如，终端)进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发送接收请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过与可通信的终端自身的性能无关地都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他例子，也可以由TV等接收大尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域进行解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。
在能够使用室内外的近距离、中距离或长距离的无线通信中的多个的状况下，利用MPEG－DASH等的分发系统标准，也许能够无缝接收内容。用户也可以在自由地选择用户的终端、配置在室内外的显示器等解码装置或显示装置的同时实时地切换。此外，能够使用自身的位置信息等，切换解码的终端及显示的终端并进行解码。由此，还能够在用户向目的地的移动期间，在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上映射并显示信息。此外，还能够基于在能够从接收终端以短时间访问的服务器中高速缓存有编码数据、或在内容分发服务的边缘服务器中复制有编码数据等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。
[可分级编码]
关于内容的切换，使用图57所示的、使用应用在上述各实施方式中表示的运动图像编码方法进行压缩编码的可分级(scalable)的流进行说明。对服务器而言，作为单独的流也可以具有内容相同而品质不同的多个流，也可以是如图示那样利用通过分层进行编码而实现的时间/空间上的可分级的流的特征来切换内容的结构。即，通过由解码侧根据性能这样的内在因素和通信频带的状态等外在因素来决定解码哪个层，解码侧能够自由地切换低分辨率的内容和高分辨率的内容来解码。例如在想要将用户在移动中用智能电话ex115视听的影像的后续例如在回家后用因特网TV等设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。
进而，在如上述那样按每个层将图片编码、实现在基本层的上位的增强层的分级性的结构以外，也可以是增强层(enhancement layer)包含基于图像的统计信息等的元信息。也可以是，解码侧通过基于元信息将基本层的图片进行超析像来生成高画质化的内容。超析像可以在维持及/或扩大分辨率的同时，提高SN比。元信息包括用来确定在超析像处理中使用的那样的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。
或者，也可以提供根据图像内的目标等的意义将图片分割为瓦片等的结构。解码侧通过选择进行解码的瓦片而仅将一部分区域解码。而且，通过将目标的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息确定希望的目标的位置，决定包括该目标的瓦片。例如，如图58所示，也可以使用HEVC中的SEI(supplemental enhancement information，补充增强信息)消息等与像素数据不同的数据保存构造来保存元信息。该元信息例如表示主目标的位置、尺寸或色彩等。
也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。解码侧能够取得特定人物在影像内出现的时刻等，通过与图片单位的信息和时间信息匹配，能够确定目标存在的图片，能够决定图片内的目标的位置。
[Web页的优化]
图59是表示计算机ex111等中的web页的显示画面例的图。图60是表示智能电话ex115等中的web页的显示画面例的图。如图59及图60所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式也可以不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)中可以作为链接图像而显示各内容所具有的静止图像或I图片，也可以用多个静止图像或I图片等显示gif动画那样的影像，也可以仅接收基本层而将影像解码及显示。
在由用户选择了链接图像的情况下，显示装置例如将基本层设为最优先并进行解码。另外，如果在构成web页的HTML中有表示是可分级的内容的信息，则显示装置也可以解码到增强层。而且，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(I图片、P图片、仅进行前方参照的B图片)解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外进一步，显示装置也可以将图片的参照关系强行地忽视而将全部的B图片及P图片设为前方参照而粗略地解码，随着时间经过而接收到的图片增加，进行正常的解码。
[自动行驶]
此外，在为了车的自动行驶或行驶辅助而收发二维或三维的地图信息等那样的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。
在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过发送该接收终端的位置信息，能够实现在切换基站ex106～ex110的同时执行无缝接收及解码。此外，接收终端根据用户的选择、用户的状况及/或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。
在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。
[个人内容的分发]
此外，在内容供给系统ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。可以想到这样的个人内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以用以下这样的结构实现。
在拍摄时实时地或累积下来拍摄后，服务器根据原图像数据或已编码数据，进行拍摄错误、场景搜索、意义的解析及目标检测等的识别处理。并且，服务器基于识别结果，手动或自动地进行将焦点偏差或手抖动等修正、或将明亮度比其他图片低或焦点没有对上的场景等的重要性低的场景删除、或将目标的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据进行编码。此外，已知如果拍摄时刻过长则视听率会下降，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景，还将运动少的场景等基于图像处理结果自动地限制，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。
个人内容在原状态下有被写入侵害著作权、著作者人格权或肖像权等的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。因此，例如服务器也可以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。而且，服务器也可以识别在编码对象图像内是否拍摄到与预先登记的人物不同的人物的脸，在拍摄到的情况下，进行对脸部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点出发，用户指定想要将图像加工的人物或背景区域。服务器也可以进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物，将人物的脸部分的影像替换。
数据量小的个人内容的视听其实时性要求较强，所以虽然也取决于带宽，但解码装置也可以首先将基本层最优先地接收并进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等2次以上被再现的情况下，将增强层也包括在内再现高画质的影像。这样，如果是进行了可分级编码的流，则能够提供在未选择时或刚开始看的阶段是虽然较粗糙的运动图像但流逐渐变得流畅而图像变好的体验。除了可分级编码以外，在第1次被再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为1个流的情况下也能够提供同样的体验。
[其他实施应用例]
此外，这些编码或解码处理通常在各终端所具有的LSIex500中处理。LSI(largescale integration circuitry，大规模集成电路)ex500(参照图56)既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据也可以是用智能电话ex115所具有的LSIex500进行编码处理后的数据。
另外，LSIex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端也可以下载编解码器或应用软件，然后进行内容取得及再现。
此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。
[硬件结构]
图61是进一步详细表示图56所示的智能电话ex115的图。此外，图62是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示由相机部ex465拍摄的影像及将由天线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、或者作为与SIMex468的接口部的插槽部ex464，所述SIMex468用来确定用户，进行以网络为代表向各种数据的访问的认证。此外，也可以代替存储器部ex467而使用外置存储器。
对显示部ex458及操作部ex466等能够进行综合控制的主控制部ex460与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464及存储器部ex467同步经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使电源键成为开启状态，则将智能电话ex115启动为能够动作的状态，从电池组对各部供给电力。
智能电话ex115基于具有CPU、ROM及RAM等的主控制部ex460的控制，进行通话及数据通信等处理。在通话时，通过声音信号处理部ex454将由声音输入部ex456集音的声音信号变换为数字声音信号，实施调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理，该结果的信号经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信时，能够基于主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462在主控制部ex460的控制下送出。进行同样的收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。规定的方式也可以预先确定。
在接收到添附在电子邮件或聊天工具中的影像、或链接在网页上的影像等的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。由于实时流媒体愈发普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的情况。因此，也可以是，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构，仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。
此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端这样另外的安装形式。在数字广播用系统中，假设将在影像数据中复用了声音数据的复用数据接收、发送而进行了说明。但是，在复用数据中除了声音数据以外还可以复用与影像关联的字符数据等。另外，也可以不是将复用数据而是将影像数据自身接收或发送。
另外，假设包括CPU的主控制部ex460控制编码或解码处理而进行了说明，但各种终端具备GPU的情况也较多。因此，也可以做成通过由CPU和GPU共用的存储器、或以能够共同使用的方式管理地址的存储器，来利用GPU的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果将运动估计、去块滤波、SAO(Sample Adaptive Offset)及变换/量化的处理不是用CPU进行而是用GPU以图片等单位一起进行，则更有效。
产业上的可利用性
本发明能够利用于例如电视接收机、数字视频记录器、汽车导航系统、移动电话、数字相机、数字摄像机、电视会议系统或电子镜等。
附图标记说明
100 编码装置
102 分割部
104 减法部
106 变换部
108 量化部
110 熵编码部
112、204 逆量化部
114、206 逆变换部
116、208 加法部
118、210 块存储器
120、212 循环滤波部
122、214 帧存储器
124、216 帧内预测部
126、218 帧间预测部
126a、a2、b2 存储器
126b 插补图像导出部
126c 梯度图像导出部
126d 光流导出部
126e 修正值导出部
126f 预测图像修正部
128、220 预测控制部
200 解码装置
202 熵解码部
1201 边界判定部
1202、1204、1206 开关
1203 滤波判定部
1205 滤波处理部
1207 滤波特性决定部
1208 处理判定部
a1、b1 处理器

Claims (16)

1.一种编码装置，其中，具备：
电路；以及
存储器，与所述电路连接，
所述电路在动作中，
对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，
将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，
将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，
将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，
将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，
针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，
将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，
使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
2.根据权利要求1所述的编码装置，其中，
所述电路通过
[数式1]
∑[i，j]∈Ωabs(Ix 1+Ix 0)
导出所述第1参数，
通过
[数式2]
∑[i，j]∈Ωabs(Iy 1+Iy 0)
导出所述第2参数，
通过
[数式3]
∑[i，j]∈Ω(-sign(Ix 1+Ix 0)×(I0-I1))
导出所述第3参数，
通过
[数式4]
∑[i，j]∈Ω(-sign(Iy 1+Iy 0)×(I0-I1))
导出所述第4参数，
通过
[数式5]
∑[i，j]∈Ω(sign(Iy 1+Iy 0)×(Ix 1+Ix 0))
导出所述第5参数，
Ω表示所述多个相对像素位置的集合，[i，j]表示所述多个相对像素位置的每一个，针对所述多个相对像素位置的每一个，Ix 0表示所述第1范围中的该相对像素位置的水平梯度值，Ix 1表示所述第2范围中的该相对像素位置的水平梯度值，Iy 0表示所述第1范围中的该相对像素位置的垂直梯度值，Iy 1表示所述第2范围中的该相对像素位置的垂直梯度值，I0表示所述第1范围中的该相对像素位置的像素值，I1表示所述第2范围中的该相对像素位置的像素值，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
3.根据权利要求1或2所述的编码装置，其中，
所述电路，
通过将所述第3参数除以所述第1参数来导出第6参数，
通过从所述第4参数减去所述第5参数与所述第6参数的积，并除以所述第2参数来导出第7参数，
使用所述第6参数和所述第7参数来生成所述预测图像。
4.根据权利要求3所述的编码装置，其中，
所述电路通过
[数式6]
sGxdI＞＞Bits(sGx)
导出所述第6参数，
通过
[数式7]
(sGydI-u×sGxGy)＞＞Bits(sGy)
导出所述第7参数，
sGx表示所述第1参数，sGy表示所述第2参数，sGxdI表示所述第3参数，sGydI表示所述第4参数，sGxGy表示所述第5参数，u表示所述第6参数，Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
5.根据权利要求3或4所述的编码装置，其中，
所述电路通过使用所述第1参照块中与处理对象像素位置对应的第1像素位置的第1像素值、所述第1像素位置的第1水平梯度值、所述第1像素位置的第1垂直梯度值、所述第2参照块中与所述处理对象像素位置对应的第2像素位置的第2像素值、所述第2像素位置的第2水平梯度值、所述第2像素位置的第2垂直梯度值、所述第6参数和所述第7参数，来导出所述当前块中包含的所述处理对象像素位置的预测像素值，生成所述预测图像。
6.根据权利要求5所述的编码装置，其中，
所述电路通过将所述第1像素值、所述第2像素值、第1修正值和第2修正值之和除以2，来导出所述预测像素值，
所述第1修正值对应于所述第1水平梯度值和所述第2水平梯度值之差与所述第6参数的积，
所述第2修正值对应于所述第1垂直梯度值和所述第2垂直梯度值之差与所述第7参数的积。
7.根据权利要求6所述的编码装置，其中，
所述电路，
通过
[数式8]
(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1
导出所述预测像素值，
I0表示所述第1像素值，I1表示所述第2像素值，u表示所述第6参数，Ix 0表示所述第1水平梯度值，Ix 1表示所述第2水平梯度值，v表示所述第7参数，Iy 0表示所述第1垂直梯度值，Iy 1表示所述第2垂直梯度值。
8.一种解码装置，其中，具备：
电路；以及
存储器，与所述电路连接，
所述电路在动作中，
对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，
将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，
将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，
将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，
将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，
针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，
将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，
使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
9.根据权利要求8所述的解码装置，其中，
所述电路通过
[数式9]
∑[i，j]∈Ωabs(Ix 1+Ix 0)
导出所述第1参数，
通过
[数式10]
∑[i，j]∈Ωabs(Iy 1+Iy 0)
导出所述第2参数，
通过
[数式11]
∑[i，j]∈Ω(-sign(Ix 1+Ix 0)×(I0-I1))
导出所述第3参数，
通过
[数式12]
∑[i，j]∈Ω(-sign(Iy 1+Iy 0)×(I0-I1))
导出所述第4参数，
通过
[数式13]
∑[i，j]∈Ω(sign(Iy 1+Iy 0)×(Ix 1+Ix 0))
导出所述第5参数，
Ω表示所述多个相对像素位置的集合，[i，j]表示所述多个相对像素位置的每一个，针对所述多个相对像素位置的每一个，Ix 0表示所述第1范围中的该相对像素位置的水平梯度值，Ix 1表示所述第2范围中的该相对像素位置的水平梯度值，Iy 0表示所述第1范围中的该相对像素位置的垂直梯度值，Iy 1表示所述第2范围中的该相对像素位置的垂直梯度值，I0表示所述第1范围中的该相对像素位置的像素值，I1表示所述第2范围中的该相对像素位置的像素值，abs(Ix 1+Ix 0)表示Ix 1+Ix 0的绝对值，sign(Ix 1+Ix 0)表示Ix 1+Ix 0的正负符号，abs(Iy 1+Iy 0)表示Iy 1+Iy 0的绝对值，sign(Iy 1+Iy 0)表示Iy 1+Iy 0的正负符号。
10.根据权利要求8或9所述的解码装置，其中，
所述电路，
通过将所述第3参数除以所述第1参数来导出第6参数，
通过从所述第4参数减去所述第5参数与所述第6参数的积，并除以所述第2参数来导出第7参数，
使用所述第6参数和所述第7参数来生成所述预测图像。
11.根据权利要求10所述的解码装置，其中，
所述电路
通过
[数式14]
sGxdI＞＞Bits(sGx)
导出所述第6参数，
通过
[数式15]
(sGydI-u×sGxGy)＞＞Bits(sGy)
导出所述第7参数，
sGx表示所述第1参数，sGy表示所述第2参数，sGxdI表示所述第3参数，sGydI表示所述第4参数，sGxGy表示所述第5参数，u表示所述第6参数，Bits是返回通过将自变量的二进制对数进位为整数而得到的值的函数。
12.根据权利要求10或11所述的解码装置，其中，
所述电路通过使用所述第1参照块中与处理对象像素位置对应的第1像素位置的第1像素值、所述第1像素位置的第1水平梯度值、所述第1像素位置的第1垂直梯度值、所述第2参照块中与所述处理对象像素位置对应的第2像素位置的第2像素值、所述第2像素位置的第2水平梯度值、所述第2像素位置的第2垂直梯度值、所述第6参数和所述第7参数，来导出所述当前块中包含的所述处理对象像素位置的预测像素值，生成所述预测图像。
13.根据权利要求12所述的解码装置，其中，
所述电路通过将所述第1像素值、所述第2像素值、第1修正值和第2修正值之和除以2，来导出所述预测像素值，
所述第1修正值对应于所述第1水平梯度值和所述第2水平梯度值之差与所述第6参数的积，
所述第2修正值对应于所述第1垂直梯度值和所述第2垂直梯度值之差与所述第7参数的积。
14.根据权利要求13所述的解码装置，其中，
所述电路，
通过
[数式16]
(I0+I1+u×(Ix 0-Ix 1)+v×(Iy 0-Iy 1))＞＞1
导出所述预测像素值，
I0表示所述第1像素值，I1表示所述第2像素值，u表示所述第6参数，Ix 0表示所述第1水平梯度值，Ix 1表示所述第2水平梯度值，v表示所述第7参数，Iy 0表示所述第1垂直梯度值，Iy 1表示所述第2垂直梯度值。
15.一种编码方法，其中，
对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，
将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，
将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，
将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，
将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，
针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，
将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，
使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的编码中使用的预测图像。
16.一种解码方法，其中，
对多个相对像素位置分别导出水平梯度和绝对值，所述多个相对像素位置是针对包含当前块的第1参照块的第1范围、以及包含所述当前块的第2参照块的第2范围这两者共同且相对地确定的多个像素位置，且是所述第1范围和所述第2范围各自中的多个像素位置，所述水平梯度和绝对值是所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和的绝对值，
将对所述多个相对像素位置分别导出的多个水平梯度和绝对值的总和作为第1参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和的绝对值即垂直梯度和绝对值，
将对所述多个相对像素位置分别导出的多个垂直梯度和绝对值的总和作为第2参数导出，
针对所述多个相对像素位置的每一个，导出所述第1范围中的该相对像素位置的像素值与所述第2范围中的该相对像素位置的像素值之差即像素差分值，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的水平梯度值与所述第2范围中的该相对像素位置的水平梯度值之和即水平梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述水平梯度和的正负符号反转或维持了正负符号的所述像素差分值即水平对应像素差分值，
将对所述多个相对像素位置分别导出的多个水平对应像素差分值的总和作为第3参数导出，
针对所述多个相对像素位置的每一个，根据所述第1范围中的该相对像素位置的垂直梯度值与所述第2范围中的该相对像素位置的垂直梯度值之和即垂直梯度和的正负符号，反转或维持对该相对像素位置导出的所述像素差分值的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述像素差分值即垂直对应像素差分值，
将对所述多个相对像素位置分别导出的多个垂直对应像素差分值的总和作为第4参数导出，
针对所述多个相对像素位置的每一个，根据所述垂直梯度和的正负符号，反转或维持所述水平梯度和的正负符号，并导出根据所述垂直梯度和的正负符号反转或维持了正负符号的所述水平梯度和即垂直对应水平梯度和，
将对所述多个相对像素位置分别导出的多个垂直对应水平梯度和的总和作为第5参数导出，
使用所述第1参数、所述第2参数、所述第3参数、所述第4参数以及所述第5参数生成所述当前块的解码中使用的预测图像。
CN202080043963.3A 2019-06-21 2020-06-15 编码装置、解码装置、编码方法和解码方法 Pending CN114128293A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962864728P 2019-06-21 2019-06-21
US62/864,728 2019-06-21
PCT/JP2020/023329 WO2020255903A1 (ja) 2019-06-21 2020-06-15 符号化装置、復号装置、符号化方法、および復号方法

Publications (1)

Publication Number Publication Date
CN114128293A true CN114128293A (zh) 2022-03-01

Family

ID=74040068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043963.3A Pending CN114128293A (zh) 2019-06-21 2020-06-15 编码装置、解码装置、编码方法和解码方法

Country Status (11)

Country Link
US (3) US11095883B2 (zh)
EP (1) EP3989575A4 (zh)
KR (1) KR20220022486A (zh)
CN (1) CN114128293A (zh)
AU (1) AU2020298425A1 (zh)
BR (1) BR112021017765A2 (zh)
CA (1) CA3140379A1 (zh)
MX (1) MX2021012502A (zh)
SG (1) SG11202112656UA (zh)
TW (1) TW202106002A (zh)
WO (1) WO2020255903A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111436227B (zh) 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020121879A1 (ja) * 2018-12-10 2020-06-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
CN113647099B (zh) * 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2648254B2 (fr) * 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
GB2431794A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Filtering pixels
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
GB2443858A (en) * 2006-11-14 2008-05-21 Sony Uk Ltd Alias avoiding image processing using directional pixel block correlation and predetermined pixel value criteria
US8405714B2 (en) * 2010-06-03 2013-03-26 Panasonic Corporation Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same
US20150350671A1 (en) * 2013-01-04 2015-12-03 Samsung Electronics Co., Ltd. Motion compensation method and device for encoding and decoding scalable video
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
US10986367B2 (en) * 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
WO2018124329A1 (ko) * 2016-12-28 2018-07-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
CA3065492C (en) * 2017-05-17 2022-06-14 Kt Corporation Method and device for video signal processing
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
US10986360B2 (en) * 2017-10-16 2021-04-20 Qualcomm Incorproated Various improvements to FRUC template matching
US11265551B2 (en) * 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US11575933B2 (en) * 2018-04-06 2023-02-07 Vid Scale, Inc. Bi-directional optical flow method with simplified gradient derivation
US10779002B2 (en) * 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
CA3133984A1 (en) 2019-03-19 2020-09-24 Huawei Technologies Co., Ltd. Optical flow based video inter prediction

Also Published As

Publication number Publication date
TW202106002A (zh) 2021-02-01
BR112021017765A2 (pt) 2022-04-26
AU2020298425A2 (en) 2022-01-06
SG11202112656UA (en) 2021-12-30
JPWO2020255903A1 (zh) 2020-12-24
KR20220022486A (ko) 2022-02-25
MX2021012502A (es) 2021-11-12
US11689714B2 (en) 2023-06-27
US20230283771A1 (en) 2023-09-07
WO2020255903A1 (ja) 2020-12-24
AU2020298425A1 (en) 2021-12-23
EP3989575A1 (en) 2022-04-27
US11095883B2 (en) 2021-08-17
US20210337185A1 (en) 2021-10-28
US20210168357A1 (en) 2021-06-03
EP3989575A4 (en) 2022-09-14
CA3140379A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
WO2020255903A1 (ja) 符号化装置、復号装置、符号化方法、および復号方法
CN112425171A (zh) 编码装置、解码装置、编码方法和解码方法
CN112400317A (zh) 编码装置、解码装置、编码方法和解码方法
CN111684805A (zh) 编码装置、解码装置、编码方法和解码方法
CN113545080A (zh) 编码装置、解码装置、编码方法和解码方法
CN113678443A (zh) 编码装置、解码装置、编码方法和解码方法
CN112889277A (zh) 编码装置、解码装置、编码方法和解码方法
CN112292857A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170179A (zh) 编码装置、解码装置、编码方法和解码方法
CN114762347A (zh) 编码装置、解码装置、编码方法和解码方法
CN113383544A (zh) 编码装置、解码装置、编码方法和解码方法
CN113056909A (zh) 编码装置、解码装置、编码方法和解码方法
CN112640465A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170103B (zh) 编码装置、解码装置、编码方法和解码方法
CN114521331A (zh) 编码装置、解码装置、编码方法和解码方法
CN114175663A (zh) 编码装置、解码装置、编码方法和解码方法
CN113302922A (zh) 编码装置、解码装置、编码方法和解码方法
CN113728638A (zh) 编码装置、解码装置、编码方法和解码方法
CN112840659A (zh) 编码装置、解码装置、编码方法和解码方法
CN113366852A (zh) 编码装置、解码装置、编码方法和解码方法
CN114303377A (zh) 编码装置、解码装置、编码方法和解码方法
CN113545057A (zh) 编码装置、解码装置、编码方法及解码方法
CN114270862A (zh) 编码装置、解码装置、编码方法和解码方法
CN113875257A (zh) 编码装置、解码装置、编码方法和解码方法
CN113767630A (zh) 编码装置、解码装置、编码方法和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination