CN114145020A - 编码装置、解码装置、编码方法和解码方法 - Google Patents

编码装置、解码装置、编码方法和解码方法 Download PDF

Info

Publication number
CN114145020A
CN114145020A CN202080053167.8A CN202080053167A CN114145020A CN 114145020 A CN114145020 A CN 114145020A CN 202080053167 A CN202080053167 A CN 202080053167A CN 114145020 A CN114145020 A CN 114145020A
Authority
CN
China
Prior art keywords
unit
prediction
block
picture
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080053167.8A
Other languages
English (en)
Inventor
李静雅
林宗顺
张汉文
郭哲玮
孙海威
安倍清史
西孝启
远间正真
加藤祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN114145020A publication Critical patent/CN114145020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

编码装置(100)具备电路和与电路连接的存储器，电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。

Description

编码装置、解码装置、编码方法和解码方法
技术领域
本发明涉及视频编码，特别涉及运动图像的编码以及解码中的系统、构成要素以及方法等。
背景技术
视频编码技术从H.261和MPEG-1进步到H.264/AVC(Advanced Video Coding：高级视频编码)、MPEG-LA、H.265/HEVC(High Efficiency Video Coding：高效视频编码)和H.266/VVC(Versatile Video Codec：通用视频编解码器)。伴随着该进步，为了处理在各种用途中持续增加的数字视频数据量，始终需要提供视频编码技术的改良以及最优化。本发明涉及视频编码中的进一步的进步、改良以及最优化。
此外，非专利文献1涉及与上述的视频编码技术相关的现有的标准的一例。
现有技术文献
非专利文献
非专利文献1：H.265(ISO/IEC 23008-2HEVC)/HEVC(High Efficiency VideoCoding)
发明内容
发明要解决的课题
关于上述那样的编码方式，为编码效率的改善、画质的改善、处理量的削减、电路规模的削减、或者滤波器、块、尺寸、运动矢量、参照图片或参照块等要素或动作的适当的选择等，期望提出新的方式。
本发明提供一种能够对例如编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献的结构或方法。此外，本发明可以包含能够有助于上述以外的利益的结构或方法。
用于解决课题的手段
例如，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
在视频编码技术中，为了编码效率的改善、画质的改善、电路规模的削减等，期望提出新的方式。
本发明中的各实施方式或其一部分的结构或方法分别例如能够实现编码效率的改善、画质的改善、编码/解码的处理量的削减、电路规模的削减、或编码/解码的处理速度的改善等中的至少任意1个。或者，本发明中的各实施方式或者其一部分的结构或者方法分别在编码以及解码中，能够进行滤波器、块、尺寸、运动矢量、参照图片、参照块等的构成要素/动作的适当的选择等。另外，本发明还包括能够提供上述以外的利益的结构或方法的公开。例如，是在抑制处理量的增加的同时改善编码效率的结构或方法等。
根据说明书以及附图，对本发明的一形态中的进一步的优点以及效果进行了明确。该优点和/或效果通过几个实施方式以及说明书和附图中记载的特征而分别得到，但为了得到1个或其以上的优点和/或效果，未必需要全部提供。
此外，这些总括性或者具体的形态可以通过系统、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明效果
本发明的一形态的结构或者方法例如能够对编码效率的改善、画质的改善、处理量的削减、电路规模的削减、处理速度的改善以及要素或动作的适当的选择等中的1个以上做出贡献。另外，本发明的一形态的结构或方法也可以对上述以外的利益做出贡献。
附图说明
图1是表示实施方式的传输系统的结构的一例的概略图。
图2是表示流中的数据的阶层结构的一例的图。
图3是表示切片的结构的一例的图。
图4是表示瓦片的结构的一例的图。
图5是表示可分级编码时的编码结构的一例的图。
图6是表示可分级编码时的编码结构的一例的图。
图7是表示实施方式的编码装置的功能结构的一例的框图。
图8是表示编码装置的安装例的框图。
图9是表示由编码装置进行的整体编码处理的一例的流程图。
图10是表示块分割的一例的图。
图11是表示分割部的功能结构的一例的图。
图12是表示分割样式的例子的图。
图13A是表示分割样式的句法树的一例的图。
图13B是表示分割样式的句法树的另一例的图。
图14是表示与各变换类型对应的变换基函数的表。
图15是表示SVT的一例的图。
图16是表示由变换部进行的处理的一例的流程图。
图17是表示由变换部进行的处理的另一例的流程图。
图18是表示量化部的功能结构的一例的框图。
图19是表示由量化部进行的量化的一例的流程图。
图20是表示熵编码部的功能结构的一例的框图。
图21是表示熵编码部中的CABAC的流程的图。
图22是表示循环滤波部的功能结构的一例的框图。
图23A是表示ALF(adaptive loop filter，自适应循环滤波器)中使用的滤波器的形状的一例的图。
图23B是表示ALF中使用的滤波器的形状的另一例的图。
图23C是表示ALF中使用的滤波器的形状的另一例的图。
图23D是表示Y样品(第1成分)使用于Cb的CCALF和Cr的CCALF(与第1成分不同的多个成分)的例子的图。
图23E是表示钻石形状滤波器的图。
图23F是表示JC-CCALF的例子的图。
图23G是表示JC-CCALF的weight_index候选的例子的图。
图24是表示作为DBF发挥功能的循环滤波部的详细结构的一例的框图。
图25是表示具有相对于块边界对称的滤波特性的去块滤波的例子的图。
图26是用于说明进行去块滤波处理的块边界的一例的图。
图27是表示Bs值的一例的图。
图28是表示由编码装置的预测部进行的处理的一例的流程图。
图29是表示由编码装置的预测部进行的处理的另一例的流程图。
图30是表示由编码装置的预测部进行的处理的另一例的流程图。
图31是表示帧内预测中的67个帧内预测模式的一例的图。
图32是表示由帧内预测部进行的处理的一例的流程图。
图33是表示各参照图片的一例的图。
图34是表示参照图片列表的一例的概念图。
图35是表示帧间预测的基本处理的流程的流程图。
图36是表示MV导出的一例的流程图。
图37是表示MV导出的另一例的流程图。
图38A是表示MV导出的各模式的分类的一例的图。
图38B是表示MV导出的各模式的分类的一例的图。
图39是表示基于普通帧间模式的帧间预测的例子的流程图。
图40是表示基于普通合并模式的帧间预测的例子的流程图。
图41是用于说明基于普通合并模式的MV导出处理的一例的图。
图42是用于说明基于HMVP模式的MV导出处理的一例的图。
图43是表示FRUC(frame rate up conversion，帧速率上变换)的一例的流程图。
图44是用于说明沿着运动轨道的2个块之间的样式匹配(双向匹配)的一例的图。
图45是用于说明当前图片内的模板与参照图片内的块之间的样式匹配(模板匹配)的一例的图。
图46A是用于说明在使用2个控制点的仿射模式中的子块单位的MV的导出的一例的图。
图46B是用于说明在使用3个控制点的仿射模式中的子块单位的MV的导出的一例的图。
图47A是用于说明仿射模式中的控制点的MV导出的一例的概念图。
图47B是用于说明仿射模式中的控制点的MV导出的一例的概念图。
图47C是用于说明仿射模式中的控制点的MV导出的一例的概念图。
图48A是用于说明具有2个控制点的仿射模式的图。
图48B是用于说明具有3个控制点的仿射模式的图。
图49A是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点的MV导出方法的一例的概念图。
图49B是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点的MV导出方法的另一例的概念图。
图50是表示仿射合并模式的处理的一例的流程图。
图51是表示仿射帧间模式的处理的一例的流程图。
图52A是用于说明2个三角形的预测图像的生成的图。
图52B是表示第1分区的第1部分以及第1样本集和第2样本集的例子的概念图。
图52C是表示第1分区的第1部分的概念图。
图53是表示三角模式的一例的流程图。
图54是表示以子块单位导出MV的ATMVP模式的一例的图。
图55是表示合并模式和DMVR(dynamic motion vector refreshing，动态运动矢量刷新)的关系的图。
图56是用于说明DMVR的一例的概念图。
图57是用于说明用于决定MV的DMVR的另一例的概念图。
图58A是表示DMVR中的运动搜索的一例的图。
图58B是表示DMVR中的运动搜索的一例的流程图。
图59是表示预测图像的生成的一例的流程图。
图60是表示预测图像的生成的另一例的流程图。
图61是用于说明基于OBMC(overlapped block motion compensation，重叠块运动补偿)的预测图像修正处理的一例的流程图。
图62是用于说明基于OBMC的预测图像修正处理的一例的概念图。
图63是用于说明假定了等速直线运动的模型的图。
图64是表示按照BIO的帧间预测的一例的流程图。
图65是表示进行按照BIO的帧间预测的帧间预测部的功能结构的一例的图。
图66A是用于说明使用了基于LIC(local illumination compensation，局部光补偿)的亮度修正处理的预测图像生成方法的一例的图。
图66B是表示使用了基于LIC的亮度修正处理的预测图像生成方法的一例的流程图。
图67是表示实施方式的解码装置的功能结构的框图。
图68是表示解码装置的安装例的框图。
图69是表示由解码装置进行的整体解码处理的一例的流程图。
图70是表示分割决定部与其他构成要素的关系的图。
图71是表示熵解码部的功能结构的一例的框图。
图72是表示熵解码部中的CABAC的流程的图。
图73是表示逆量化部的功能结构的一例的框图。
图74是表示由逆量化部进行的逆量化的一例的流程图。
图75是表示由逆变换部进行的处理的一例的流程图。
图76是表示由逆变换部进行的处理的另一例的流程图。
图77是表示循环滤波部的功能结构的一例的框图。
图78是表示由解码装置的预测部进行的处理的一例的流程图。
图79是表示由解码装置的预测部进行的处理的另一例的流程图。
图80A是表示由解码装置的预测部进行的处理的另一例的一部分的流程图。
图80B是表示由解码装置的预测部进行的处理的另一例的剩余部分的流程图。
图81是表示由解码装置的帧内预测部进行的处理的一例的图。
图82是表示解码装置中的MV导出的一例的流程图。
图83是表示解码装置中的MV导出的另一例的流程图。
图84是表示解码装置中的基于普通帧间模式的帧间预测的例子的流程图。
图85是表示解码装置中的基于普通合并模式的帧间预测的例子的流程图。
图86是表示解码装置中的基于FRUC模式的帧间预测的例子的流程图。
图87是表示解码装置中的基于仿射合并模式的帧间预测的例子的流程图。
图88是表示解码装置中的基于仿射帧间模式的帧间预测的例子的流程图。
图89是表示解码装置中的基于三角模式的帧间预测的例子的流程图。
图90是表示解码装置中的基于DMVR的运动搜索的例子的流程图。
图91是表示解码装置中的基于DMVR的运动搜索的详细的一例的流程图。
图92是表示解码装置中的预测图像的生成的一例的流程图。
图93是表示解码装置中的预测图像的生成的另一例的流程图。
图94是表示解码装置中的基于OBMC的预测图像的修正的例子的流程图。
图95是表示解码装置中的基于BIO的预测图像的修正的例子的流程图。
图96是表示解码装置中的基于LIC的预测图像的修正的例子的流程图。
图97是表示子图片、切片和瓦片的关系的概念图。
图98是表示瓦片与切片的关系的概念图。
图99是第1形态的与子图片相关的句法结构图。
图100A是表示图片中的各区域的瓦片索引的概念图。
图100B是表示图片中的各区域的子图片索引的概念图。
图101是第2形态的与子图片相关的句法结构图。
图102是第3形态的与子图片相关的句法结构图。
图103A是表示图片中的各区域的砖块索引的概念图。
图103B是表示图片中的各区域的瓦片索引的概念图。
图103C是表示图片中的各区域的子图片索引的概念图。
图104是第4形态的与子图片相关的句法结构图。
图105是第5形态的与子图片相关的句法结构图。
图106A是表示图片中的各区域的切片索引的概念图。
图106B是表示图片中的各区域的瓦片索引的概念图。
图106C是表示图片中的各区域的子图片索引的概念图。
图107是第6形态的与子图片相关的句法结构图。
图108是表示实施方式的编码装置的动作的流程图。
图109是表示实施方式的解码装置的动作的流程图。
图110是表示实现内容分发服务的内容供给系统的整体结构图。
图111是表示web页的显示画面例的图。
图112是表示web页的显示画面例的图。
图113是表示智能电话的一例的框图。
图114是表示智能电话的结构例的框图。
具体实施方式
[序言(Introduction)]
在运动图像的编码中，构成运动图像的多个图片分别被分割为各种区域。例如，图片被分割为多个CTU(Coding Tree Unit，编码树单元)，或者被分割为多个瓦片，或者被分割为多个切片。
例如，CTU对应于固定尺寸的正方形区域。瓦片是按照图片内的1个以上的行、图片内的1个以上的列或该双方而确定的矩形区域。切片与1个作为数据包的NAL单元对应，与1个以上的瓦片或在1个瓦片中连续的1个以上的CTU对应。
然而，有时处理对象区域与CTU、瓦片以及切片等中的1个不一致，有时难以确定处理对象区域。
因此，本发明的一形态的编码装置具备电路和与所述电路连接的存储器，所述电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
例如，所述子图片是由所述多个切片中的图片内的1个以上的切片构成的矩形区域。
由此，有时能够将由1个以上的切片构成的矩形的子图片适当地确定为处理对象区域。
另外，例如，所述多个切片的每一个仅属于构成所述运动图像的多个子图片中的某一个。
由此，有时能够以1个切片不属于多个子图片的方式确定多个切片以及多个子图片。因此，有时能够唯一地确定切片所属的子图片。因此，对于各切片，有时能够适当地对子图片索引进行编码。
另外，例如，所述电路进一步对表示在所述运动图像的编码流中是否存在与所述子图片相关的信息的参数进行编码，仅在所述参数表示在所述编码流中存在与所述子图片相关的信息的情况下，对所述子图片索引进行编码。
由此，有时仅在参数表示存在与子图片相关的信息的情况下，能够将子图片索引作为与子图片相关的信息进行编码。即，有时仅在使用子图片的情况下，能够对子图片索引进行编码。由此，有时能够削减编码量。
另外，例如，所述多个切片分别是矩形切片。
由此，在子图片为矩形区域的情况下，有时能够通过1个以上的矩形切片而适当地确定矩形的子图片。
另外，例如，本发明的一形态的解码装置具备电路和与所述电路连接的存储器，所述电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
另外，例如，所述子图片是由所述多个切片中的图片内的1个以上的切片构成的矩形区域。
由此，有时能够将由1个以上的切片构成的矩形的子图片适当地确定为处理对象区域。
另外，例如，所述多个切片的每一个仅属于构成所述运动图像的多个子图片中的某一个。
由此，有时能够以1个切片不属于多个子图片的方式确定多个切片以及多个子图片。因此，有时能够唯一地确定切片所属的子图片。因此，对于各切片，有时能够适当地对子图片索引进行解码。
另外，例如，所述电路进一步地对表示在所述运动图像的编码流中是否存在与所述子图片相关的信息的参数进行解码，仅在所述参数表示在所述编码流中存在与所述子图片相关的信息的情况下，对所述子图片索引进行解码。
由此，有时仅在参数表示存在与子图片相关的信息的情况下，能够将子图片索引作为与子图片相关的信息进行解码。即，有时仅在使用子图片的情况下，能够对子图片索引进行解码。由此，有时能够削减编码量。
另外，例如，所述多个切片分别是矩形切片。
由此，在子图片为矩形区域的情况下，有时能够通过1个以上的矩形切片而适当地确定矩形的子图片。
另外，例如，本发明的一形态的编码方法针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
另外，例如，本发明的一形态的解码方法，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
此外，例如，本发明的一形态的编码装置具备输入部、分割部、帧内预测部、帧间预测部、循环滤波部、变换部、量化部、熵编码部和输出部。
对所述输入部输入当前图片。所述分割部将所述当前图片分割为多个块。
所述帧内预测部使用所述当前图片中包含的参照图像来生成所述当前图片中包含的当前块的预测信号。所述帧间预测部使用与所述当前图片不同的参照图片中包含的参照图像，生成所述当前图片中包含的当前块的预测信号。所述循环滤波部将滤波器应用于所述当前图片中包含的当前块的重构块。
所述变换部变换所述当前图片中包含的当前块的原信号与由所述帧内预测部或所述帧间预测部生成的预测信号的预测误差，生成变换系数。所述量化部对所述变换系数进行量化，生成量化系数。所述熵编码部对所述量化系数应用可变长度编码，生成编码比特流。并且，从所述输出部输出包含应用了可变长度编码的所述量化系数和控制信息的所述编码比特流。
另外，例如，在动作中，所述熵编码部针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
此外，例如，本发明的一形态的解码装置具备输入部、熵解码部、逆量化部、逆变换部、帧内预测部、帧间预测部、循环滤波部和输出部。
对所述输入部输入编码比特流。所述熵解码部对所述编码比特流应用可变长度解码，导出量化系数。所述逆量化部对所述量化系数进行逆量化，导出变换系数。所述逆变换部对所述变换系数进行逆变换，导出预测误差。
所述帧内预测部使用当前图片中包含的参照图像来生成所述当前图片中包含的当前块的预测信号。所述帧间预测部使用与所述当前图片不同的参照图片中包含的参照图像，生成所述当前图片中包含的当前块的预测信号。
所述循环滤波部将滤波器应用于所述当前图片中包含的当前块的重构块。然后，从所述输出部输出所述当前图片。
另外，例如，在动作中，所述熵解码部针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
而且，这些包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[术语的定义]
作为一例，各术语可以以如下方式定义。
(1)图像
是由像素的集合构成的数据的单位，由图片或比图片小的块构成，除了运动图像以外，还包括静止图像。
(2)图片
是由像素的集合构成的图像的处理单位，有时被称为帧或场。
(3)块
是包含特定数量的像素的集合的处理单位，如以下的例子所列举的那样，名称不限。另外，形状也没有限制，例如，当然包括由M×N像素构成的长方形、由M×M像素构成的正方形，还包括三角形、圆形、和其他形状。
(块的例子)
·切片/瓦片/砖块
·CTU/超级块/基本分割单位
·VPDU/硬件的处理分割单位
·CU/处理块单位/预测块单位(PU)/正交变换块单位(TU)/单元
·子块
(4)像素/样品
是构成图像的最小单位的点，不仅包括整数位置的像素，还包括基于整数位置的像素而生成的小数位置的像素。
(5)像素值/样本值
是像素所具有的固有的值，当然包括亮度值、色差值、RGB的灰度，还包括depth值、或者0、1二值。
(6)标志
除了1比特之外，还包括多个比特的情况，例如，也可以是2比特以上的参数或索引。另外，不仅是使用了二进制数的二值，也可以是使用了其他进制数的多值。
(7)信号
为了传递信息而进行了符号化、编码，除了被离散化的数字信号以外，还包括取连续值的模拟信号。
(8)流/比特流
是指数字数据的数据串或数字数据的流。流/比特流除了1条流之外，也可以分为多个阶层而由多个流构成。另外，除了通过串行通信在单个传输路径上传输的情况以外，还包括在多个传输路径中通过数据包通信进行传输的情况。
(9)差/差分
在标量的情况下，除了单纯差(x-y)之外，只要包含差的运算即可，包括差的绝对值(|x-y|)、平方差(x^2-y^2)、差的平方根(√(x-y))、加权差(ax-by：a、b为常数)、以及偏移差(x-y+a：a为偏移)。
(10)和
在标量的情况下，除了单纯和(x+y)之外，只要包含和的运算即可，包括和的绝对值(|x+y|)、平方和(x^2+y^2)、和的平方根(√(x+y))、加权和(ax+by：a、b为常数)、以及偏移和(x+y+a：a为偏移)。
(11)基于(based on)
也包括加入成为所基于的对象的要素以外的情况。另外，除了求出直接结果的情况以外，还包括经由中间的结果来求出结果的情况。
(12)使用(used、using)
也包括加入成为所使用的对象的要素以外的情况。另外，除了求出直接结果的情况以外，还包括经由中间的结果来求出结果的情况。
(13)禁止(prohibit、forbid)
也可以称为不允许。另外，不禁止或允许未必意味着义务。
(14)限制(limit、restriction/restrict/restricted)
也可以称为不允许。另外，不禁止或允许未必意味着义务。并且，只要量或质量上一部分被禁止即可，也包括全面地禁止的情况。
(15)色差(chroma)
是指定样本排列或单一的样本表示与原色相关联的2个色差(colourdifference)信号的1个的、由记号Cb及Cr表示的形容词。并且，也可以使用chrominance这样的术语来代替chroma这一术语。
(16)亮度(luma)
是指定样本排列或单一的样本表示与原色相关联的单色(monochrome)信号的、由记号或下标Y或L表示的形容词。也可以使用luminance这一术语来代替luma这一术语。
[相关于记载的解说]
在附图中，相同的参照编号表示相同或类似的构成要素。另外，附图中的构成要素的尺寸以及相对位置并不一定以一定的比例尺描绘。
以下，参照附图具体地说明实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的关系及顺序等是一例，不是限定权利要求书的意思。
以下，说明编码装置及解码装置的实施方式。实施方式是能够应用在本发明的各形态中说明的处理及/或结构的编码装置及解码装置的例子。处理及/或结构在与实施方式不同的编码装置及解码装置中也能够实施。例如，关于对实施方式应用的处理及/或结构，例如也可以进行以下中的某个。
(1)在本发明的各形态中说明的实施方式的编码装置或解码装置的多个构成要素中的某个，也可以替换为在本发明的各形态中的某个所说明的其他构成要素，或是将它们组合；
(2)在实施方式的编码装置或解码装置中，也可以对通过该编码装置或解码装置的多个构成要素中的一部分构成要素进行的功能或处理，进行功能或处理的追加、替换、删除等的任意的变更。例如，将任一功能或处理替换为在本发明的各形态中的某个所说明的其他功能或处理，或是将它们组合；
(3)在实施方式的编码装置或解码装置实施的方法中，也可以对于该方法中包含的多个处理中的一部分处理，进行追加、替换、删除等任意的变更。例如，将方法中任一处理替换为在本发明的各形态中的某个所说明的其他处理，或是将它们组合；
(4)构成实施方式的编码装置或解码装置的多个构成要素中的一部分构成要素，可以与在本发明的各形态中的某个所说明的构成要素组合，也可以与具备在本发明的各形态中的某个所说明的功能的一部分的构成要素组合，也可以与实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合；
(5)具备实施方式的编码装置或解码装置的功能的一部分的构成要素、或实施实施方式的编码装置或解码装置的处理的一部分的构成要素，与在本发明的各形态中的某个所说明的构成要素、具备在本发明的各形态中的某个所说明的功能的一部分的构成要素、或实施在本发明的各形态中的某个所说明的处理的一部分的构成要素组合或替换；
(6)在实施方式的编码装置或解码装置所实施的方法中，该方法中包含的多个处理中的某个替换为在本发明的各形态中的某个所说明的处理或者同样的某个处理，或是将它们组合；
(7)将在实施方式的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理也可以与在本发明的各形态中的任一种中说明的处理组合。
(8)在本发明的各形态中说明的处理及/或结构的实施的方式并不限定于实施方式的编码装置或解码装置。例如，处理及/或结构也可以在以与实施方式中公开的运动图像编码或运动图像解码不同的目的而利用的装置中实施。
[系统结构]
图1是表示本实施方式的传输系统的结构的一例的概略图。
传输系统Trs是传输通过对图像进行编码而生成的流，并对所传输的流进行解码的系统。这样的传输系统Trs例如如图1所示，包括编码装置100、网络Nw和解码装置200。
对编码装置100输入图像。编码装置100通过对该输入的图像进行编码来生成流，并将该流输出到网络Nw。流例如包含编码后的图像和用于对该编码后的图像进行解码的控制信息。通过该编码来压缩图像。
此外，输入到编码装置100的、被编码之前的原来的图像也被称为原图像、原信号或原样本。另外，图像可以是运动图像或静止图像。另外，图像是序列、图片以及块等的上位概念，只要不另外规定，则不受空间上以及时间上的区域的限制。另外，图像由像素或像素值的排列构成，表示该图像的信号或像素值也被称为样本。另外，流可以被称为比特流、编码比特流、压缩比特流或编码信号。进而，编码装置也可以被称为图像编码装置或运动图像编码装置，编码装置100的编码的方法也可以被称为编码方法、图像编码方法或运动图像编码方法。
网络Nw将编码装置100生成的流传输到解码装置200。网络Nw可以是因特网、广域网(WAN：Wide Area Network)、小规模网络(LAN：Local Area Network，局域网)或者它们的组合。网络Nw不一定限于双向的通信网，也可以是地面数字广播或者卫星广播等传输广播波的单向的通信网。另外，网络Nw也可以由记录有DVD(Digital Versatile Disc：数字多功能光盘)、BD(Blu-Ray Disc(注册商标))等的流的存储介质代替。
解码装置200通过对网络Nw所传输的流进行解码，生成例如作为非压缩的图像的解码图像。例如，解码装置按照与编码装置100的编码方法对应的解码方法对流进行解码。
另外，解码装置也可以被称为图像解码装置或者运动图像解码装置，解码装置200的解码的方法也可以被称为解码方法、图像解码方法或者运动图像解码方法。
[数据结构]
图2是表示流中的数据的阶层结构的一例的图。流例如包括视频序列。该视频序列例如如图2的(a)所示，包含VPS(Video Parameter Set：视频参数集)、SPS(SequenceParameter Set：序列参数集)、PPS(Picture Parameter Set：图片参数集)、SEI(SEI：Supplemental Enhancement Information，补充增强信息)和多个图片。
VPS包含由多个层构成的运动图像中，多个层中共通的编码参数和运动图像中包含的多个层、或者与各个层关联的编码参数。
SPS包含对序列使用的参数，即，解码装置200为了对序列进行解码而参照的编码参数。例如，该编码参数也可以表示图片的宽度或高度。另外，SPS也可以存在多个。
PPS包含对图片使用的参数，即，解码装置200为了对序列内的各图片进行解码而参照的编码参数。例如，该编码参数也可以包含图片的解码中使用的量化宽度的基准值、和表示加权预测的应用的标志。此外，PPS也可以存在多个。此外，SPS和PPS有时简称为参数集。
如图2的(b)所示，图片可以包含图片头部和1个以上的切片。图片头部包含解码装置200为了对该1个以上的切片进行解码而参照的编码参数。
如图2的(c)所示，切片包含切片头部和1个以上的砖块。切片头部包含解码装置200为了对该1个以上的砖块进行解码而参照的编码参数。
如图2的(d)所示，砖块包含1个以上的CTU(Coding Tree Unit：编码树单元)。
此外，图片也可以不包含切片，包含瓦片组代替该切片。在该情况下，瓦片组包含1个以上的瓦片。另外，也可以在砖块中包含切片。
CTU也被称为超级块或基本分割单位。如图2的(e)所示，这样的CTU包含CTU头部和1个以上的CU(Coding Unit：编码单元)。CTU头部包含解码装置200为了对1个以上的CU进行解码而参照的编码参数。
CU也可以被分割为多个小的CU。此外，如图2的(f)所示，CU包含CU头部、预测信息和残差系数信息。预测信息是用于预测该CU的信息，残差系数信息是表示后述的预测残差的信息。此外，CU基本上与PU(Prediction Unit：预测单元)以及TU(Transform Unit：变换单元)相同，但例如在后述的SBT中，也可以包含比该CU小的多个TU。另外，CU也可以对构成该CU的每个VPDU(Virtual Pipeline Decoding Unit，虚拟管道解码单元)进行处理。VPDU例如是在硬件中进行管道处理时能够在1个阶段中进行处理的固定的单位。
此外，流也可以不具有图2所示的各阶层中的任意一部分的阶层。另外，这些阶层的顺序可以调换，任一个阶层也可以置换为其他阶层。另外，将由编码装置100或解码装置200等装置在当前时间点进行的处理的对象的图片称为当前图片。如果该处理是编码，则当前图片与编码对象图片同义，如果该处理是解码，则当前图片与解码对象图片同义。另外，将由编码装置100或解码装置200等装置在当前时间点进行的处理的对象的例如CU或CU等的块称为当前块。如果该处理是编码，则当前块与编码对象块同义，如果该处理是解码，则当前块与解码对象块同义。
[图片的结构切片/瓦片]
为了并行地对图片进行解码，图片有时由切片单位或瓦片单位构成。
切片是构成图片的基本的编码单位。图片例如由1个以上的切片构成。另外，切片由1个以上的连续的CTU构成。
图3是表示切片的结构的一例的图。例如，图片包含11×8个CTU，并且被分割为4个切片(切片1-4)。切片1例如由16个CTU构成，切片2例如由21个CTU构成，切片3例如由29个CTU构成，切片4例如由22个CTU构成。在此，图片内的各CTU属于某一个切片。切片的形状成为将图片在水平方向上分割的形状。切片的边界不需要是画面端，也可以是画面内的CTU的边界中的某处。切片中的CTU的处理顺序(编码顺序或解码顺序)例如是光栅扫描(Rasterscan)顺序。另外，切片包含切片头部和编码数据。在切片头部中，也可以记述切片的开头的CTU地址、切片类型等该切片的特征。
瓦片是构成图片的矩形区域的单位。也可以按照光栅扫描顺序对各瓦片分配被称为TileId的编号。
图4是表示瓦片的结构的一例的图。例如，图片包含11×8个CTU，并且被分割为4个矩形区域的瓦片(瓦片1-4)。在使用瓦片的情况下，与不使用瓦片的情况相比，CTU的处理顺序被变更。在不使用瓦片的情况下，图片内的多个CTU例如按照光栅扫描顺序进行处理。在使用瓦片的情况下，在多个瓦片中的每一个中，例如按照光栅扫描顺序对至少1个CTU进行处理。例如，如图4所示，瓦片1中包含的多个CTU的处理顺序是从瓦片1的第1列左端朝向瓦片1的第1列右端，接着从瓦片1的第2列左端朝向瓦片1的第2列右端的顺序。
另外，有时1个瓦片包含1个以上的切片，有时1个切片包含1个以上的瓦片。
此外，图片也可以由瓦片集单位构成。瓦片集可以包含1个以上的瓦片组，也可以包含1个以上的瓦片。图片可以仅由瓦片集、瓦片组以及瓦片中的某一个构成。例如，将针对每个瓦片集按照光栅顺序对多个瓦片进行扫描的顺序设为瓦片的基本编码顺序。将在各瓦片集内基本编码顺序连续的1个以上的瓦片的集合设为瓦片组。这样的图片也可以由后述的分割部102(参照图7)构成。
[可分级编码]
图5和图6是表示可分级的流的结构的一个例子的图。
如图5所示，编码装置100可以通过将多个图片分别分成多个层中的某一层来进行编码，从而生成时间上/空间上可分级的流。例如，编码装置100通过按每个层对图片进行编码，实现增强层存在于基本层的上位的分级性。将这样的各图片的编码称为可分级编码。由此，解码装置200能够切换通过对该流进行解码而显示的图像的画质。即，解码装置200根据自身的性能这样的内在因素和通信频带的状态等外在因素来决定解码到哪个层。结果，解码装置200能够将同一内容自由地切换为低分辨率的内容和高分辨率的内容来进行解码。例如，该流的利用者在移动中，使用智能手机将该流的运动图像视听到中途，在回家后，使用互联网TV等设备视听该运动图像的后续。另外，在上述的智能手机和设备中分别组装有性能彼此相同或不同的解码装置200。在该情况下，如果该设备解码到该流中的上位层，则利用者能够在回家后视听高画质的运动图像。由此，编码装置100不需要生成内容相同而画质不同的多个流，能够降低处理负荷。
进而，增强层(enhancement layer)也可以包含基于图像的统计信息等的元信息。也可以是，解码装置200通过基于元信息将基本层的图片进行超析像来生成高画质化的运动图像。超析像可以是在相同分辨率中提高SN比、以及扩大分辨率中的某一个。元信息包含用来确定在超析像处理中使用的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。
或者，也可以根据图片内的各目标(object)等的意义将该图片分割为瓦片等。在该情况下，解码装置200可以通过选择作为解码的对象的瓦片而仅将图片中的一部分区域解码。而且，可以通过将目标的属性(人物、车、球等)和图片内的位置(同一图片中的坐标位置等)作为元信息保存。在该情况下，解码装置200能够基于元信息确定希望的目标的位置，决定包含该目标的瓦片。例如，如图6所示，也可以使用HEVC中的SEI等与像素数据不同的数据保存结构来保存元信息。该元信息例如表示主目标的位置、尺寸或色彩等。
另外，也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。由此，解码装置200能够取得特定人物在运动图像内出现的时刻等，通过使用该时刻和图片单位的信息，能够确定目标存在的图片和在该图片内的目标的位置。
[编码装置]
接着，说明实施方式的编码装置100。图7是表示实施方式的编码装置100的功能结构的一例的框图。编码装置100将图像以块单位进行编码。
如图7所示，编码装置100是将图像以块单位进行编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、循环滤波部120、帧存储器122、帧内预测部124、帧间预测部126、预测控制部128以及预测参数生成部130。此外，帧内预测部124和帧间预测部126分别构成为预测处理部的一部分。
[编码装置的安装例]
图8是表示编码装置100的安装例的框图。编码装置100具备处理器a1以及存储器a2。例如，图7所示的编码装置100的多个构成要素由图8所示的处理器a1以及存储器a2安装实现。
处理器a1是进行信息处理的电路，是可访问存储器a2的电路。例如，处理器a1是对图像进行编码的专用或通用的电子电路。处理器a1也可以是CPU那样的处理器。另外，处理器a1也可以是多个电子电路的集合体。另外，例如，处理器a1也可以起到图7所示的编码装置100的多个构成要素中的、除了用于存储信息的构成要素的多个构成要素的作用。
存储器a2是存储处理器a1对图像进行编码用的信息的专用或通用的存储器。存储器a2既可以是电子电路，也可以与处理器a1连接。另外，存储器a2也可以包含在处理器a1中。另外，存储器a2也可以是多个电子电路的集合体。另外，存储器a2既可以是磁盘或者光盘等，也可以表现为储存器(storage)或者记录介质等。另外，存储器a2既可以是非易失性存储器，也可以是易失性存储器。
例如，存储器a2可以存储被编码的图像，也可以存储与被编码后的图像对应的流。另外，在存储器a2中也可以存储处理器a1对图像进行编码用的程序。
另外，例如，存储器a2也可以起到图7所示的编码装置100的多个构成要素中用于存储信息的构成要素的作用。具体而言，存储器a2可以起到图7所示的块存储器118及帧存储器122的作用。更具体而言，在存储器a2中可以存储重构图像(具体而言，已重构块及已重构图片等)。
另外，在编码装置100中，可以不安装图7所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图7所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
以下，在说明了编码装置100的整体处理的流程之后，对编码装置100中包含的各构成要素进行说明。
[编码处理的整体流程]
图9是表示由编码装置100进行的整体编码处理的一例的流程图。
首先，编码装置100的分割部102将原图像中包含的图片分割为多个固定尺寸的块(128×128像素)(步骤Sa_1)。然后，分割部102对该固定尺寸的块选择分割样式(步骤Sa_2)。也就是说，分割部102将具有固定尺寸的块进一步分割为构成该所选择的分割样式的多个块。然后，编码装置100对于该多个块中的每一个进行步骤Sa_3至Sa_9的处理。
由帧内预测部124及帧间预测部126构成的预测处理部、和预测控制部128生成当前块的预测图像(步骤Sa_3)。此外，预测图像也称为预测信号、预测块或预测样本。
接着，减法部104生成当前块与预测图像的差分作为预测残差(步骤Sa_4)。预测残差也称为预测误差。
接下来，变换部106和量化部108通过对该预测图像进行变换和量化来生成多个量化系数(步骤Sa_5)。
接着，熵编码部110通过对该多个量化系数和与预测图像的生成相关的预测参数进行编码(具体而言是熵编码)，生成流(步骤Sa_6)。
接下来，逆量化部112和逆变换部114通过对多个量化系数进行逆量化和逆变换来复原预测残差(步骤Sa_7)。
接着，加法部116通过对该复原后的预测残差加上预测图像，重构当前块(步骤Sa_8)。由此，生成重构图像。此外，重构图像也称为重构块，特别地，由编码装置100生成的重构图像也称为本地解码块或本地解码图像。
当生成该重构图像时，循环滤波部120根据需要对该重构图像进行滤波(步骤Sa_9)。
然后，编码装置100判定整个图片的编码是否已完成(步骤Sa_10)，并且在判定为编码未完成的情况下(步骤Sa_10中为否)，反复进行从步骤Sa_2开始的处理。
另外，在上述的例子中，编码装置100对固定尺寸的块选择1个分割样式，按照该分割样式进行各块的编码，但也可以按照多个分割样式的每一个进行各块的编码。在这种情况下，编码装置100可以评价针对多个分割样式中的每一个的成本，并且例如可以选择通过按照最小成本的分割样式进行编码而得到的流作为最终输出的流。
此外，这些步骤Sa_1～Sa_10的处理可以由编码装置100顺序地进行，这些处理中的一部分多个处理可以并行地进行，也可以调换顺序。
这样的编码装置100的编码处理是使用了预测编码和变换编码的混合编码。此外，预测编码通过编码循环来进行，所述编码循环由减法部104、变换部106、量化部108、逆量化部112、逆变换部114、加法部116、循环滤波部120、块存储器118、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128构成。即，由帧内预测部124和帧间预测部126构成的预测处理部构成编码循环的一部分。
[分割部]
分割部102将原图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定尺寸(例如128×128像素)的块。该固定尺寸的块有被称作编码树单元(CTU)的情况。并且，分割部102例如基于递归性的四叉树(quadtree)及/或二叉树(binary tree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64×64像素以下)的块。即，分割部102选择分割样式。该可变尺寸的块有被称作编码单元(CU)、预测单元(PU)或变换单元(TU)的情况。另外，在各种安装例中，不需要将CU、PU及TU区分，而也可以将图片内的一部分或全部的块作为CU、PU、或TU的处理单位。
图10是表示实施方式的块分割的一例的图。在图10中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。
这里，块10是128×128像素的正方形块。该块10首先被分割为4个64×64像素的正方形块(四叉树块分割)。
左上方的64×64像素的正方形块进一步被垂直地分割为各自由32×64像素构成的2个矩形块，左方的32×64像素的矩形块进一步被垂直地分割为各自由16×64像素构成的2个矩形块(二叉树块分割)。结果，左上方的64×64像素的正方形块被分割为2个16×64像素的矩形块11及12、和32×64像素的矩形块13。
右上方的64×64像素的正方形块被水平地分割为各自由64×32像素构成的2个矩形块14及15(二叉树块分割)。
左下方的64×64像素的正方形块被分割为各自由32×32像素构成的4个正方形块(四叉树块分割)。各自由32×32像素构成的4个正方形块中的左上方的块及右下方的块进一步被分割。左上方的32×32像素的正方形块被垂直地分割为各自由16×32像素构成的2个矩形块，右方的由16×32像素构成的矩形块进一步被水平地分割为各自由16×16像素构成的2个正方形块(二叉树块分割)。右下方的由32×32像素构成的正方形块被水平地分割为各自由32×16像素构成的2个矩形块(二叉树块分割)。结果，左下方的64×64像素的正方形块被分割为16×32像素的矩形块16、各自16×16像素的2个正方形块17及18、各自32×32像素的2个正方形块19及20、以及各自32×16像素的2个矩形块21及22。
右下方的由64×64像素构成的块23不被分割。
如以上这样，在图10中，块10基于递归性的四叉树及二叉树块分割而被分割为13个可变尺寸的块11～23。这样的分割有被称作QTBT(quad-tree plus binary tree，四叉树加二叉树)分割的情况。
另外，在图10中，1个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于这些。例如，也可以是1个块被分割为3个块(三叉树分割)。包括这样的三叉树分割在内的分割有被称作MBT(multi type tree，多类型树)分割的情况。
图11是表示分割部102的功能结构的一例的图。如图11所示，分割部102也可以具备块分割决定部102a。作为一例，块分割决定部102a也可以进行以下的处理。
块分割决定部102a例如从块存储器118或者帧存储器122收集块信息，基于该块信息决定上述的分割样式。分割部102按照该分割样式分割原图像，将通过该分割得到的1个以上的块输出到减法部104。
此外，块分割决定部102a例如将表示上述的分割样式的参数输出到变换部106、逆变换部114、帧内预测部124、帧间预测部126和熵编码部110。变换部106可以基于该参数来变换预测残差，帧内预测部124和帧间预测部126可以基于该参数来生成预测图像。另外，熵编码部110也可以对该参数进行熵编码。
作为一例，与分割样式相关的参数也可以如以下那样写入流。
图12是表示分割样式的例子的图。分割样式例如有：四分割(QT)，将块在水平方向及垂直方向上分别分割为2个；三分割(HT或VT)，将块以1比2比1的比率在相同方向上进行分割；二分割(HB或VB)，将块以1比1的比率在相同方向上进行分割；以及不分割(NS)。
另外，在四分割以及不分割的情况下，分割样式不具有块分割方向，在二分割以及三分割的情况下，分割样式具有分割方向信息。
图13A及图13B是表示分割样式的句法树的一例的图。在图13A的例子中，首先，最先存在表示是否进行分割的信息(S：Split标志)，接着，存在表示是否进行四分割的信息(QT：QT标志)。接着，存在表示进行三分割还是进行二分割的信息(TT：TT标志或BT：BT标志)，最后存在表示分割方向的信息(Ver：Vertical标志或Hor：Horizontal标志)。另外，也可以对通过这样的基于分割样式的分割而得到的1个以上的块的每一个，进一步以同样的处理反复应用分割。即，作为一例，也可以递归地实施是否进行分割、是否进行四分割、分割方法是水平方向还是垂直方向、以及是进行三分割还是进行二分割的判定，并将实施的判定结果按照图13A所示的句法树所公开的编码顺序编码到流。
另外，在图13A所示的句法树中，按照S、QT、TT、Ver的顺序配置这些信息，但也可以按照S、QT、Ver、BT的顺序配置这些信息。即，在图13B的例子中，首先，存在表示是否进行分割的信息(S：Split标志)，接着，存在表示是否进行四分割的信息(QT：QT标志)。接着，存在表示分割方向的信息(Ver：Vertical标志或Hor：Horizontal标志)，最后存在表示进行二分割还是进行三分割的信息(BT：BT标志或TT：TT标志)。
另外，在此说明的分割样式是一例，可以使用说明的分割样式以外的分割样式，也可以仅使用说明的分割样式的一部分。
[减法部]
减法部104以从分割部102输入并由分割部102分割的块单位从原图像减去预测图像(从预测控制部128输入的预测图像)。即，减法部104计算当前块的预测残差。并且，减法部104将计算出的预测残差向变换部106输出。
原图像是编码装置100的输入信号，例如是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。
[变换部]
变换部106将空间域的预测残差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测残差进行预先确定的离散余弦变换(DCT)或离散正弦变换(DST)。
另外，变换部106也可以从多个变换类型之中适应性地选择变换类型，使用与所选择的变换类型对应的变换基函数(transform basis function)，将预测残差变换为变换系数。这样的变换有被称作EMT(explicit multiple core transform，多核变换)或AMT(adaptive multiple transform，自适应多变换)的情况。此外，变换基函数有时被简称为基。
多个变换类型例如包括DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。此外，这些变换类型可以分别被记述为DCT2、DCT5、DCT8、DST1及DST7。图14是表示与各变换类型对应的变换基函数的表。在图14中，N表示输入像素的数量。从这些多个变换类型之中的变换类型的选择，例如既可以依赖于预测的种类(帧内预测及帧间预测等)，也可以依赖于帧内预测模式。
表示是否应用这样的EMT或AMT的信息(例如称作EMT标志或者AMT标志)和表示所选择的变换类型的信息通常以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、砖块级或CTU级)。
此外，变换部106也可以对变换系数(即变换结果)进行再变换。这样的再变换有被称作AST(adaptive secondary transform，自适应二次变换)或NSST(non-separablesecondary transform，不可分二次变换)的情况。例如，变换部106按与帧内预测残差对应的变换系数的块中包含的每个子块(例如4×4像素的子块)进行再变换。表示是否应用NSST的信息和与NSST中使用的变换矩阵有关的信息通常以CU级被进行信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、砖块级或CTU级)。
在变换部106也可以应用Separable的变换和Non-Separable的变换。Separable(可分离)的变换是指与输入的维度数相当地按每个方向分离而进行多次变换的方式，Non-Separable(不可分)的变换是指当输入是多维时将2个以上的维度合起来看作1个维度而一起进行变换的方式。
例如，作为Non-Separable的变换的一例，可以举出在输入是4×4像素的块的情况下将其看作具有16个元素的一个排列，对该排列以16×16的变换矩阵进行变换处理的方式。
此外，在Non-Separable的变换的进一步的例子中，也可以在将4×4像素的输入块看作具有16个要素的一个排列后，进行对该排列多次进行Givens旋转的变换(HypercubeGivens Transform)。
在变换部106中的变换中，能够根据CU内的区域来切换要变换为频域的变换基函数的变换类型。作为一例，有SVT(Spatially Varying Transform，空间变化变换)。
图15是表示SVT的一例的图。
在SVT中，如图15所示，在水平方向或垂直方向上将CU二等分，仅对任意一方的区域进行向频域的变换。可以按每个区域设定变换类型，例如使用DST7和DCT8。例如，对于通过将CU在垂直方向上二等分而得到的2个区域中的、位置0的区域，可以使用DST7和DCT8。或者，对于该2个区域中的位置1的区域，使用DST7。同样地，对于通过将CU在水平方向上二等分而得到的2个区域中的、位置0的区域，使用DST7和DCT8。或者，对于该2个区域中的位置1的区域，使用DST7。在这样的图15所示的例子中，仅对CU内的2个区域中的某一方进行变换，另一方不进行变换，但也可以对2个区域分别进行变换。另外，分割方法也不仅是二等分，也可以是四等分。此外，还可以更灵活，对表示分割方法的信息进行编码，与CU分割同样地进行信号化(signaling)等。另外，有时也将SVT称为SBT(Sub-block Transform，子块变换)。
前述的AMT以及EMT也可以被称为MTS(Multiple Transform Selection，多变换选择)。在应用MTS的情况下，可以选择DST7或DCT8等变换类型，表示所选择的变换类型的信息可以被编码为每个CU的索引信息。另一方面，作为基于CU的形状选择在正交变换中使用的变换类型而不对索引信息进行编码的处理，有被称为IMTS(Implicit MTS)的处理。在应用IMTS的情况下，例如如果CU的形状为矩形，则矩形的短边侧使用DST7，长边侧使用DCT2，分别进行正交变换。另外，例如在CU的形状为正方形的情况下，如果在序列内MTS有效则使用DCT2进行正交变换，如果MTS无效则使用DST7进行正交变换。DCT2和DST7是一例，可以使用其他变换类型，也可以将使用的变换类型的组合设为不同的组合。IMTS可以仅在帧内预测的块中可使用，也可以在帧内预测的块和帧间预测的块中可一起使用。
以上，作为选择性地切换正交变换中使用的变换类型的选择处理，对MTS、SBT以及IMTS这3个处理进行了说明，但3个选择处理可以全部有效，也可以选择性地仅使一部分选择处理有效。关于是否使各个选择处理有效，能够通过SPS等头部内的标志信息等来识别。例如，如果3个选择处理全部有效，则以CU单位从3个选择处理中选择1个进行正交变换。另外，选择性地切换变换类型的选择处理只要能够实现以下4个功能[1]～[4]中的至少1个功能，则可以使用与上述3个选择处理不同的选择处理，也可以将上述3个选择处理分别置换为其他处理。功能[1]是对CU内的整个范围进行正交变换，对表示变换中使用的变换类型的信息进行编码的功能。功能[2]是对CU的整个范围进行正交变换，不对表示变换类型的信息进行编码而基于规定的规则决定变换类型的功能。功能[3]是对CU的一部分的区域进行正交变换，对表示变换中使用的变换类型的信息进行编码的功能。功能[4]是对CU的一部分的区域进行正交变换，表示变换中使用的变换类型的信息不进行编码而基于规定的规则决定变换类型的功能等。
另外，MTS、IMTS以及SBT各自的应用的有无也可以按每个处理单位来决定。例如，可以以序列单位、图片单位、砖块单位、切片单位、CTU单位、或者CU单位来决定应用的有无。
另外，选择性地切换本发明中的变换类型的工具也可以改称为自适应地选择变换处理中使用的基的方法、选择处理、或者选择基的过程。另外，选择性地切换变换类型的工具也可以改称为自适应地选择变换类型的模式。
图16是表示由变换部106进行的处理的一例的流程图。
例如，变换部106判定是否进行正交变换(步骤St_1)。在此，当判定为进行正交变换时(步骤St_1中为是)，变换部106从多个变换类型中选择正交变换所使用的变换类型(步骤St_2)。接下来，变换部106通过将该所选择的变换类型应用于当前块的预测残差来进行正交变换(步骤St_3)。然后，变换部106将表示该所选择的变换类型的信息输出到熵编码部110，由此对该信息进行编码(步骤St_4)。另一方面，当判定为不进行正交变换时(步骤St_1中为否)，变换部106将表示不进行正交变换的信息输出到熵编码部110，由此对该信息进行编码(步骤St_5)。此外，步骤St_1中的是否进行正交变换的判定例如可以基于变换块的尺寸、应用于CU的预测模式等来判定。另外，表示正交变换所使用的变换类型的信息不被编码，也可以使用预先规定的变换类型进行正交变换。
图17是表示由变换部106进行的处理的另一例的流程图。另外，图17所示的例子与图16所示的例子同样，是应用选择性地切换正交变换所使用的变换类型的方法的情况下的正交变换的例子。
作为一例，第1变换类型群可以包含DCT2、DST7和DCT8。另外，作为一例，第2变换类型群可以包含DCT2。另外，第1变换类型群和第2变换类型群中包含的变换类型既可以一部分重复，也可以是全部不同的变换类型。
具体而言，变换部106判定变换尺寸是否为规定值以下(步骤Su_1)。在此，当判定为是规定值以下时(步骤Su_1中为是)，变换部106使用第1变换类型群中包含的变换类型对当前块的预测残差进行正交变换(步骤Su_2)。接着，变换部106通过将表示使用第1变换类型群中包含的1个以上变换类型中的哪一个变换类型的信息输出到熵编码部110，对该信息进行编码(步骤Su_3)。另一方面，当判定为变换尺寸不是规定值以下时(步骤Su_1中为否)，变换部106使用第2变换类型群对当前块的预测残差进行正交变换(步骤Su_4)。
在步骤Su_3中，表示正交变换所使用的变换类型的信息可以是表示应用于当前块的垂直方向的变换类型以及应用于水平方向的变换类型的组合的信息。另外，第1变换类型群可以仅包含1个变换类型，表示正交变换所使用的变换类型的信息也可以不被编码。第2变换类型群可以包含多个变换类型，也可以对表示第2变换类型群中包含的1个以上变换类型中的、正交变换中使用的变换类型的信息进行编码。
另外，也可以仅基于变换尺寸来决定变换类型。此外，如果是基于变换尺寸来决定正交变换所使用的变换类型的处理，则并不限定于变换尺寸是否为规定值以下的判定。
[量化部]
量化部108对从变换部106输出的变换系数进行量化。具体而言，量化部108对当前块的多个变换系数以规定的扫描顺序进行扫描，基于与被扫描的变换系数对应的量化参数(QP)对该变换系数进行量化。并且，量化部108将当前块的量化后的多个变换系数(以下称作量化系数)向熵编码部110及逆量化部112输出。
规定的扫描顺序是用于变换系数的量化/逆量化的顺序。例如，规定的扫描顺序由频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)来定义。
量化参数(QP)是指定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化系数的误差(量化误差)增大。
另外，在量化中，有时使用量化矩阵。例如，有时与4×4和8×8等频率变换尺寸、帧内预测和帧间预测等预测模式、亮度和色差等像素成分对应地使用多种量化矩阵。另外，量化是指将以预先确定的间隔采样的值与预先确定的级别对应起来进行数字化，在该技术领域中，有时也使用舍入、化整(rounding)、或者缩放(scaling)这样的表现。
作为使用量化矩阵的方法，有使用在编码装置100侧直接设定的量化矩阵的方法和使用默认的量化矩阵(默认矩阵)的方法。在编码装置100侧，通过直接设定量化矩阵，能够设定与图像的特征相应的量化矩阵。然而，在这种情况下，存在由于量化矩阵的编码而编码量增加的缺点。另外，也可以不直接使用默认的量化矩阵或编码后的量化矩阵，而是基于默认的量化矩阵或编码后的量化矩阵来生成于当前块的量化中使用的量化矩阵。
另一方面，也存在不使用量化矩阵而以高频成分的系数和低频成分的系数都相同的方式进行量化的方法。另外，该方法等同于使用系数全部为相同值的量化矩阵(扁平矩阵(flat matrix))的方法。
量化矩阵例如可以以序列级、图片级、切片级、砖块级或CTU级进行编码。
量化部108在使用量化矩阵的情况下，例如使用量化矩阵的值按每个变换系数对根据量化参数等求出的量化宽度等进行缩放。不使用量化矩阵而进行的量化处理也可以是基于量化参数等求出的量化宽度对变换系数进行量化的处理。此外，在不使用量化矩阵而进行的量化处理中，也可以对量化宽度乘以针对块内的全部变换系数共通的规定的值。
图18是表示量化部108的功能结构的一例的框图。
量化部108例如具备差分量化参数生成部108a、预测量化参数生成部108b、量化参数生成部108c、量化参数存储部108d和量化处理部108e。
图19是表示由量化部108进行的量化的一例的流程图。
作为一例，量化部108可以基于图19所示的流程图按每个CU实施量化。具体而言，量化参数生成部108c判定是否进行量化(步骤Sv_1)。在此，当判定为进行量化时(步骤Sv_1中为是)，量化参数生成部108c生成当前块的量化参数(步骤Sv_2)，将该量化参数保存到量化参数存储部108d(步骤Sv_3)。
接着，量化处理部108e使用在步骤Sv_2中生成的量化参数对当前块的变换系数进行量化(步骤Sv_4)。然后，预测量化参数生成部108b从量化参数存储部108d取得与当前块不同的处理单位的量化参数(步骤Sv_5)。预测量化参数生成部108b基于该取得的量化参数，生成当前块的预测量化参数(步骤Sv_6)。差分量化参数生成部108a计算由量化参数生成部108c生成的当前块的量化参数、与由预测量化参数生成部108b生成的当前块的预测量化参数的差分(步骤Sv_7)。通过该差分的计算，生成差分量化参数。差分量化参数生成部108a将该差分量化参数输出到熵编码部110，由此对该差分量化参数进行编码(步骤Sv_8)。
此外，差分量化参数也可以以序列级、图片级、切片级、砖块级或者CTU级进行编码。此外，量化参数的初始值可以以序列级、图片级、切片级、砖块级或CTU级进行编码。此时，量化参数可以使用量化参数的初始值和差分量化参数来生成。
此外，量化部108可以具备多个量化器，也可以应用使用从多个量化方法中选择出的量化方法对变换系数进行量化的相关量化(dependent quantization)。
[熵编码部]
图20是表示熵编码部110的功能结构的一例的框图。
熵编码部110针对从量化部108输入的量化系数和从预测参数生成部130输入的预测参数进行熵编码，由此生成流。在该熵编码中，例如使用CABAC(Context-based AdaptiveBinary Arithmetic Coding，上下文自适应二进制算术编码)。具体而言，熵编码部110例如具备二值化部110a、上下文控制部110b以及二值算数编码部110c。二值化部110a进行将量化系数以及预测参数等多值信号变换为二值信号的二值化。二值化的方式例如有Truncated Rice Binarization、Exponential Golomb codes、Fixed LengthBinarization等。上下文控制部110b导出与句法要素的特征或周围的状况相应的上下文值、即二值信号的发生概率。在该上下文值的导出方法中，例如有旁路、句法要素参照、上/左相邻块参照、阶层信息参照以及其他等。二值算术编码部110c使用该导出的上下文值来对二值化信号进行算术编码。
图21是表示熵编码部110中的CABAC的流程的图。
首先，在熵编码部110中的CABAC中，进行初始化。在该初始化中，进行二值算数编码部110c中的初始化和初始上下文值的设定。然后，二值化部110a和二值算数编码部110c例如对CTU的多个量化系数分别依次执行二值化和算术编码。此时，上下文控制部110b在每次进行算术编码时进行上下文值的更新。然后，上下文控制部110b使上下文值退避作为后处理。该退避的上下文值例如用于针对下一个CTU的上下文值的初始值。
[逆量化部]
逆量化部112对从量化部108输入的量化系数进行逆量化。具体而言，逆量化部112对当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。
[逆变换部]
逆变换部114通过对从逆量化部112输入的变换系数进行逆变换，复原预测残差。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，复原当前块的预测残差。并且，逆变换部114将复原后的预测残差向加法部116输出。
另外，复原后的预测残差通常由于通过量化丢失了信息，所以与减法部104计算出的预测误差不一致。即，复原后的预测残差中通常包含量化误差。
[加法部]
加法部116通过将从逆变换部114输入的预测残差与从预测控制部128输入的预测图像相加，重构当前块。结果，生成重构图像。并且，加法部116将重构图像向块存储器118及循环滤波部120输出。
[块存储器]
块存储器118例如是用于保存在帧内预测中被参照的块、且是当前图片内的块的存储部。具体而言，块存储器118保存从加法部116输出的重构图像。
[帧存储器]
帧存储器122例如是用来将在帧间预测中使用的参照图片进行保存的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器122保存由循环滤波部120滤波后的重构图像。
[循环滤波部]
循环滤波部120对由加法部116输出的重构图像施以循环滤波处理，将该滤波处理后的重构图像向帧存储器122输出。循环滤波是指在编码循环内使用的滤波(环内滤波)，例如包括自适应循环滤波(ALF)、去块滤波(DF或DBF)、以及样本自适应偏移(SAO)等。
图22是表示循环滤波部120的功能结构的一例的框图。
例如图22所示，循环滤波部120具备去块滤波处理部120a、SAO处理部120b以及ALF处理部120c。去块滤波处理部120a对重构图像施以上述的去块滤波处理。SAO处理部120b对去块滤波处理后的重构图像施以上述的SAO处理。另外，ALF处理部120c对SAO处理后的重构图像应用上述的ALF处理。关于ALF以及去块滤波的详细情况将后述。SAO处理是通过降低振铃(ringing，在边缘周边像素值以波动的方式变形的现象)和修正像素值的偏差来改善画质的处理。在该SAO处理中，例如有边缘偏移(edge offset)处理和带偏移(band offset)处理等。此外，循环滤波部120可以不具备图22所公开的全部处理部，也可以仅具备一部分处理部。另外，循环滤波部120也可以是按照与图22中公开的处理顺序不同的顺序进行上述的各处理的结构。
[循环滤波部＞自适应循环滤波器]
在ALF中，采用用来除去编码失真的最小二乘误差滤波器，例如按当前块内的每个2×2像素的子块，采用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。
具体而言，首先将子块(例如2×2像素的子块)分类为多个类(例如15或25类)。子块的分类例如基于梯度的方向及活性度来进行。在具体的例子中，使用梯度的方向值D(例如0～2或0～4)和梯度的活性值A(例如0～4)，计算分类值C(例如C＝5D+A)。并且，基于分类值C，将子块分类为多个类。
梯度的方向值D例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较而导出。此外，梯度的活性值A例如通过将多个方向的梯度相加、并对相加结果进行量化来导出。
基于这样的分类的结果，从多个滤波器之中决定用于子块的滤波器。
作为在ALF中使用的滤波器的形状，例如使用圆对称形状。图23A～图23C是表示在ALF中使用的滤波器的形状的多个例子的图。图23A表示5×5钻石形状滤波器，图23B表示7×7钻石形状滤波器，图23C表示9×9钻石形状滤波器。表示滤波器的形状的信息通常以图片级被进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、砖块级、CTU级或CU级)。
ALF的开启/关闭例如也可以以图片级或CU级决定。例如，关于亮度，可以以CU级决定是否采用ALF，关于色差，可以以图片级决定是否采用ALF。表示ALF的开启/关闭的信息通常以图片级或CU级被进行信号化。另外，表示ALF的开启/关闭的信息的信号化并不需要限定于图片级或CU级，也可以是其他级(例如，序列级、切片级、砖块级或CTU级)。
另外，如上所述，从多个滤波器中选择1个滤波器而对子块施以ALF处理。对于该多个滤波器(例如到15个或25个为止的滤波器)的每一个，由该滤波器中使用的多个系数构成的系数集通常以图片级被进行信号化。另外，系数集的信号化并不需要限定于图片级，也可以是其他级(例如，序列级、切片级、砖块级、CTU级、CU级或子块级)。
[循环滤波>跨组件自适应循环滤波器(或Cross Component Adaptive LoopFilter)]
图23D是表示Y样本(第1成分)被用于Cb的CCALF和Cr的CCALF(与第1成分不同的多个成分)的例子的图。图23E是表示钻石形状滤波器的图。
CC-ALF的1个例子通过将线性的钻石形状滤波器(图23D、图23E)应用于各色差组件的亮度通道(channel)来进行动作。例如，滤波器系数以APS发送，用2^10的因子进行缩放，为了固定小数点表现而被舍入。滤波器的应用被控制为可变块尺寸，并通过由每个样本的块接收的已上下文编码的标志来通知。块尺寸和CC-ALF有效化标志以各色差组件的切片级来接收。CC-ALF的句法和语义(semantics)在Appendix中提供。在本文中，支持(在色差样本中)16x16、32x32、64x64、128x128的块尺寸。
[循环滤波>结合色差跨组件自适应循环滤波器(Joint Chroma Cross ComponentAdaptive Loop Filter)]
图23F是表示JC-CCALF的例子的图。图23G是表示JC-CCALF的weight_index候选的例子的图。
JC-CCALF的1个例子仅使用1个CCALF滤波器，作为仅1个颜色成分的色差调整信号而生成1个CCALF滤波器输出，将相同色差调整信号的适当加权后的版本应用于其他颜色成分。这样，现有的CCALF的复杂度大约变为一半。
权重值被编码成代码(sign)标志和权重索引。权重索引(表示为weight_index)被编码为3比特，指定JC-CCALF权重JcCcWeight的大小。不能与0相同。JcCcWeight的大小如下决定。
·weight_index为4以下的情况下，JcCcWeight与weight_index＞＞2相等。
·在除此以外的情况下，JcCcWeight与4/(weight_index-4)相等。
Cb和Cr的ALF滤波的块级别的开启/关闭控制是分开的。这与CCALF相同，块级别的开启/关闭控制标志的2个个别的集被编码。在此，与CCALF不同，Cb、Cr的开启/关闭控制块尺寸相同，因此仅对1个块尺寸变量进行编码。
[循环滤波部＞去块滤波器]
在去块滤波处理中，循环滤波部120通过对重构图像的块边界进行滤波处理来减少在该块边界产生的失真。
图24是表示去块滤波处理部120a的详细结构的一例的框图。
去块滤波处理部120a例如具备边界判定部1201、滤波判定部1203、滤波处理部1205、处理判定部1208、滤波特性决定部1207以及开关1202、1204和1206。
边界判定部1201判定在块边界附近是否存在进行去块滤波处理的像素(即对象像素)。然后，边界判定部1201将其判定结果输出到开关1202和处理判定部1208。
在由边界判定部1201判定为对象像素存在于块边界附近的情况下，开关1202将滤波处理前的图像输出到开关1204。相反，在由边界判定部1201判定为对象像素不存在于块边界附近时，开关1202将滤波处理之前的图像输出到开关1206。另外，滤波处理前的图像是由对象像素和位于该对象像素的周边的至少1个周边像素构成的图像。
滤波判定部1203基于位于对象像素的周边的至少1个周边像素的像素值，判定是否对对象像素进行去块滤波处理。然后，滤波判定部1203将该判定结果输出到开关1204和处理判定部1208。
在由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到滤波处理部1205。相反，在由滤波判定部1203判定为不对于对象像素进行去块滤波处理的情况下，开关1204将经由开关1202取得的滤波处理前的图像输出到开关1206。
在经由开关1202和1204取得了滤波处理前的图像的情况下，滤波处理部1205对于对象像素执行具有由滤波特性决定部1207决定的滤波特性的去块滤波处理。然后，滤波处理部1205将该滤波处理后的像素输出到开关1206。
根据处理判定部1208的控制，开关1206选择性地输出未被去块滤波处理的像素和通过滤波处理部1205被去块滤波处理的像素。
处理判定部1208基于边界判定部1201和滤波判定部1203的各自的判定结果来控制开关1206。即，处理判定部1208在由边界判定部1201判定为对象像素存在于块边界附近、且由滤波判定部1203判定为对于对象像素进行去块滤波处理的情况下，从开关1206输出去块滤波处理后的像素。另外，在上述情况以外的情况下，处理判定部1208从开关1206输出未被去块/滤波处理的像素。通过反复进行这样的像素的输出，从开关1206输出滤波处理后的图像。另外，图24所示的结构是去块滤波处理部120a中的结构的一例，去块滤波处理部120a也可以具有其他结构。
图25是表示具有相对于块边界对称的滤波特性的去块滤波的一例的图。
在去块滤波处理中，例如，使用像素值和量化参数，选择特性不同的2个去块滤波器、即强滤波器和弱滤波器中的任一个。在强滤波器中，如图25所示，在隔着块边界存在像素p0～p2和像素q0～q2的情况下，像素q0～q2各自的像素值通过进行以下的式所示的运算而变更为像素值q’0～q’2。
q’0＝(p1+2×p0+2×q0+2×q1+q2+4)/8
q’1＝(p0+q0+q1+q2+2)/4
q’2＝(p0+q0+q1+3×q2+2×q3+4)/8
此外，在上述的式子中，p0～p2以及q0～q2是像素p0～p2以及像素q0～q2各自的像素值。另外，q3是在与块边界相反的一侧与像素q2相邻的像素q3的像素值。另外，在上述的各式的右边，与在去块滤波处理中使用的各像素的像素值相乘的系数是滤波系数。
进而，在去块滤波处理中，也可以以运算后的像素值超过阈值而不变化的方式进行限幅处理。在该限幅处理中，使用根据量化参数决定的阈值，将基于上述式的运算后的像素值限幅为“运算前的像素值±2×阈值”。由此，能够防止过度的平滑化。
图26是用于说明进行去块滤波处理的块边界的一例的图。图27是表示BS值的一例的图。
进行去块滤波处理的块边界例如是图26所示的8×8像素的块的CU、PU或TU的边界。去块滤波处理例如以4行或4列为单位进行。首先，对于图26所示的块P以及块Q，如图27那样决定Bs(Boundary Strength，边界强度)值。
根据图27的Bs值，可以决定是否即使是属于同一图像的块边界，也进行不同强度的去块滤波处理。在Bs值为2的情况下进行针对色差信号的去块滤波处理。在Bs值为1以上且满足规定的条件的情况下，进行针对亮度信号的去块滤波处理。另外，Bs值的判定条件并不限定于图27所示的条件，也可以基于其他参数来决定。
[预测部(帧内预测部/帧间预测部/预测控制部)]
图28是表示由编码装置100的预测部进行的处理的一例的流程图。此外，作为一例，预测部由帧内预测部124、帧间预测部126和预测控制部128的全部或一部分的构成要素构成。预测处理部例如包括帧内预测部124和帧间预测部126。
预测部生成当前块的预测图像(步骤Sb_1)。另外，在预测图像中，例如有帧内预测图像(帧内预测信号)或帧间预测图像(帧间预测信号)。具体而言，预测部使用通过进行针对其他块的预测图像的生成、预测残差的生成、量化系数的生成、预测残差的复原、以及预测图像的相加而已经得到的重构图像，生成当前块的预测图像。
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已编码的块(即，上述的其他块)的图像。当前图片内的已编码的块例如是当前块的相邻块。
图29是表示由编码装置100的预测部进行的处理的另一例的流程图。
预测部通过第1方式生成预测图像(步骤Sc_1a)，通过第2方式生成预测图像(步骤Sc_1b)，并且通过第3方式生成预测图像(步骤Sc_1c)。第1方式、第2方式和第3方式是用于生成预测图像的互不相同的方式，分别可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
接下来，预测部评价在步骤Sc_1a、Sc_1b和Sc_1c中分别生成的预测图像(步骤Sc_2)。例如，预测部通过针对步骤Sc_1a、Sc_1b和Sc_1c中的每一个中生成的预测图像计算成本C，并比较这些预测图像的成本C，评价这些预测图像。另外，成本C通过R-D最优化模型的式子例如C＝D+λ×R来计算。在该式中，D是预测图像的编码失真，并且例如通过当前块的像素值与预测图像的像素值之间的差分绝对值和等来表示。此外，R是流的比特率。另外，λ是例如拉格朗日的未定乘数。
接下来，预测部选择在步骤Sc＿1a、Sc＿1b以及Sc＿1c分别生成的预测图像中的某一个(步骤Sc＿3)。即，预测部选择用于得到最终的预测图像的方式或模式。例如，预测部基于对这些预测图像计算出的成本C，选择最小的成本C的预测图像。或者，步骤Sc_2的评价以及步骤Sc_3中的预测图像的选择也可以基于在编码的处理中使用的参数来进行。编码装置100可以将用于确定该选择的预测图像、方式或模式的信息信号化为流。该信息例如可以是标志等。由此，解码装置200能够基于该信息，按照在编码装置100中选择的方式或模式来生成预测图像。此外，在图29所示的例子中，预测部在通过各方式生成预测图像后，选择预测图像中的任一个。然而，在生成这些预测图像前，预测部可以基于用于上述编码处理的参数来选择方式或模式，并且可以根据该方式或模式来生成预测图像。
例如，第1方式和第2方式分别是帧内预测和帧间预测，并且预测部可以从按照这些预测方式生成的预测图像中选择针对当前块的最终预测图像。
图30是表示由编码装置100的预测部进行的处理的另一例的流程图。
首先，预测部通过帧内预测生成预测图像(步骤Sd_1a)，并且通过帧间预测生成预测图像(步骤Sd_1b)。此外，通过帧内预测生成的预测图像也被称为帧内预测图像，通过帧间预测生成的预测图像也被称为帧间预测图像。
接下来，预测部评价帧内预测图像和帧间预测图像中的每一个(步骤Sd_2)。在该评价中也可以使用上述的成本C。然后，预测部可以从帧内预测图像和帧间预测图像中选择计算出最小成本C的预测图像作为当前块的最终预测图像(步骤Sd_3)。也就是说，选择用于生成当前块的预测图像的预测方式或模式。
[帧内预测部]
帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测(也称作画面内预测)，从而生成当前块的预测图像(即帧内预测图像)。具体而言，帧内预测部124通过参照与当前块相邻的块的像素值(例如亮度值、色差值)进行帧内预测而生成帧内预测图像，并将帧内预测图像向预测控制部128输出。
例如，帧内预测部124使用预先规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式通常包括1个以上的非方向性预测模式和多个方向性预测模式。
1个以上的非方向性预测模式例如包括由H.265/HEVC规格规定的Planar(平面)预测模式及DC预测模式。
多个方向性预测模式例如包括由H.265/HEVC规格规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图31是表示帧内预测中的全部67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的图。实线箭头表示由H.265/HEVC规格规定的33个方向，虚线箭头表示追加的32个方向(2个非方向性预测模式在图31中未图示)。
在各种安装例中，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作CCLM(cross-component linear model，跨组件的线性模型)预测的情况。也可以将这样的参照亮度块的色差块的帧内预测模式(例如称作CCLM模式)作为色差块的帧内预测模式的1个来添加。
帧内预测部124也可以基于水平/垂直方向的参照像素的梯度，将帧内预测后的像素值进行修正。伴随着这样的修正的帧内预测有被称作PDPC(position dependent intraprediction combination，位置决定的帧内预测组合)的情况。表示有没有采用PDPC的信息(例如称作PDPC标志)通常以CU级被进行信号化。另外，该信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、砖块级或CTU级)。
图32是表示由帧内预测部124进行的处理的一例的流程图。
帧内预测部124从多个帧内预测模式中选择1个帧内预测模式(步骤Sw_1)。然后，帧内预测部124按照所选择的帧内预测模式生成预测图像(步骤Sw_2)。接下来，帧内预测部124决定MPM(Most Probable Modes，最可能模式)(步骤Sw_3)。MPM例如由6个帧内预测模式构成。该6个帧内预测模式中的2个模式可以是Planar预测模式和DC预测模式，剩余的4个模式可以是方向性预测模式。然后，帧内预测部124判定在步骤Sw_1中选择的帧内预测模式是否包含在MPM中(步骤Sw_4)。
在此，当判定为所选择的帧内预测模式包含在MPM中时(步骤Sw_4中为是)，帧内预测部124将MPM标志设定为1(步骤Sw_5)，生成表示MPM中的所选择的帧内预测模式的信息(步骤Sw_6)。另外，将设定为1的MPM标志和表示该帧内预测模式的信息分别作为预测参数通过熵编码部110进行编码。
另一方面，当判定为所选择的帧内预测模式不包含在MPM中时(步骤Sw_4中为否)，帧内预测部124将MPM标志设定为0(步骤Sw_7)。或者，帧内预测部124不设定MPM标志。然后，帧内预测部124生成表示MPM中不包含的1个以上的帧内预测模式中的所选择的帧内预测模式的信息(步骤Sw_8)。另外，将设定为0的MPM标志和表示该帧内预测模式的信息分别作为预测参数通过熵编码部110进行编码。表示该帧内预测模式的信息例如表示0～60中的任一个值。
[帧间预测部]
帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测图像(帧间预测图像)。帧间预测以当前块或当前块内的当前子块的单位进行。子块包含在块中，是比块小的单位。子块的尺寸可以是4x4像素，可以是8x8像素，也可以是除此以外的尺寸。子块的尺寸也可以以切片、砖块或图片等单位进行切换。
例如，帧间预测部126对于当前块或当前子块，在参照图片内进行运动搜索(motion estimation，运动估计)，寻找与该当前块或当前子块最一致的参照块或子块。并且，帧间预测部126取得对从参照块或子块到当前块或子块的运动或变化进行补偿的运动信息(例如运动矢量)。帧间预测部126基于该运动信息进行运动补偿(或运动预测)，从而生成当前块或子块的帧间预测图像。并且，帧间预测部126将所生成的帧间预测图像向预测控制部128输出。
在运动补偿中使用的运动信息以多种形态被信号化为帧间预测图像。例如，运动矢量也可以被信号化。作为其他例子，运动矢量和预测运动矢量(motion vectorpredictor)之间的差分也可以被信号化。
[参照图片列表]
图33是表示各参照图片的一例的图，图34是表示参照图片列表的一例的概念图。参照图片列表是表示帧存储器122中存储的1个以上的参照图片的列表。另外，在图33中，矩形表示图片，箭头表示图片的参照关系，横轴表示时间，矩形中的I、P和B分别表示帧内预测图片、单预测图片和双预测图片，矩形中的数字表示解码顺序。如图33所示，各图片的解码顺序为I0、P1、B2、B3、B4，各图片的显示顺序为I0、B3、B2、B4、P1。如图34所示，参照图片列表是表示参照图片的候选的列表，例如1个图片(或切片)可以具有1个以上的参照图片列表。例如，如果当前图片是单预测图片，则使用1个参照图片列表，如果当前图片是双预测图片，则使用2个参照图片列表。在图33及图34的例子中，作为当前图片currPic的图片B3具有L0列表以及L1列表这2个参照图片列表。在当前图片currPic为图片B3的情况下，该当前图片currPic的参照图片的候选为I0、P1和B2，各参照图片列表(即L0列表和L1列表)表示这些图片。帧间预测部126或预测控制部128通过参照图片索引refidxLx来指定是否实际参照各参照图片列表中的哪个图片。在图34中，通过参照图片索引refIdxL0和refIdxL1来指定参照图片P1和B2。
可以以序列单位、图片单位、切片单位、砖块单位、CTU单位或CU单位来生成这样的参照图片列表。另外，也可以将表示参照图片列表所示的参照图片中的、在帧间预测中参照的参照图片的参照图片索引以序列级、图片级、切片级、砖块级、CTU级或CU级进行编码。另外，在多个帧间预测模式中，也可以使用共通的参照图片列表。
[帧间预测的基本流程]
图35是表示帧间预测的基本流程的流程图。
帧间预测部126首先生成预测图像(步骤Se_1～Se_3)。接下来，减法部104生成当前块与预测图像之间的差分作为预测残差(步骤Se_4)。
这里，在预测图像的生成中，帧间预测部126例如通过进行当前块的运动矢量(MV)的决定(步骤Se_1和Se_2)以及运动补偿(步骤Se_3)来生成该预测图像。此外，在MV的决定中，帧间预测部126例如通过进行候选运动矢量(候选MV)的选择(步骤Se_1)和MV的导出(步骤Se_2)来决定该MV。候选MV的选择例如通过帧间预测部126生成候选MV列表并从候选MV列表中选择至少1个候选MV来进行。另外，在候选MV列表中，过去导出的MV可以追加为候选MV。另外，在MV的导出中，帧间预测部126也可以通过从至少1个候选MV中进一步选择至少1个候选MV，将该选择出的至少1个候选MV决定为当前块的MV。或者，帧间预测部126可以通过对该选择出的至少一个候选MV中的每一个搜索由该候选MV指示的参照图片的区域来决定当前块的MV。另外，也可以将搜索该参照图片的区域的动作称为运动搜索(motionestimation)。
此外，在上述例子中，步骤Se_1～Se_3由帧间预测部126进行，但是例如步骤Se_1或步骤Se_2等的处理也可以由编码装置100中包括的其他构成要素进行。
另外，可以针对各个帧间预测模式中的每个处理制作候选MV列表，也可以在多个帧间预测模式中使用共通的候选MV列表。另外，步骤Se_3以及Se_4的处理分别相当于图9所示的步骤Sa_3以及Sa_4的处理。另外，步骤Se_3的处理相当于图30的步骤Sd_1b的处理。
[MV导出的流程]
图36是表示MV导出的一例的流程图。
帧间预测部126可以在对运动信息(例如MV)进行编码的模式下导出当前块的MV。在这种情况下，例如，运动信息可以被编码为预测参数，并且被信号化。也就是说，编码后的运动信息包含在流中。
或者，帧间预测部126可以在不对运动信息进行编码的模式下导出MV。在这种情况下，运动信息不包含在流中。
在此，MV导出的模式有后述的普通帧间模式、普通合并模式、FRUC模式以及仿射模式等。在这些模式中，对运动信息进行编码的模式有普通帧间模式、普通合并模式、以及仿射模式(具体而言，仿射帧间模式和仿射合并模式)等。此外，运动信息不仅可以包括MV，而且可以包括后述的预测MV选择信息。此外，不对运动信息进行编码的模式有FRUC模式等。帧间预测部126从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
图37是表示MV导出的另一例的流程图。
帧间预测部126可以在对差分MV进行编码的模式下导出当前块的MV。在这种情况下，例如，差分MV被编码为预测参数，并且被信号化。也就是说，被编码的差分MV包含在流中。该差分MV是当前块的MV与其预测MV之差。此外，预测MV是预测运动矢量。
或者，帧间预测部126可以在不对差分MV进行编码的模式下导出MV。在这种情况下，被编码的差分MV不包含在流中。
在此，如上所述，MV的导出模式有后述的普通帧间模式、普通合并模式、FRUC模式以及仿射模式等。在这些模式中，对差分MV进行编码的模式有普通帧间模式、以及仿射模式(具体而言，仿射帧间模式)等。此外，不对差分MV进行编码的模式有FRUC模式、普通合并模式、以及仿射模式(具体而言，仿射合并模式)等。帧间预测部126从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
[MV导出的模式]
图38A及图38B是表示MV导出的各模式的分类的一例的图。例如，如图38A所示，根据是否对运动信息进行编码以及是否对差分MV进行编码，MV导出的模式被分类为大的3个模式。3个模式是帧间模式、合并模式以及FRUC(frame rate up-conversion，帧速率上变换)模式。帧间模式是进行运动搜索的模式，是对运动信息和差分MV进行编码的模式。例如，如图38B所示，帧间模式包括仿射帧间模式和普通帧间模式。合并模式是不进行运动搜索的模式，是从周边的已编码的块中选择MV并使用该MV来导出当前块的MV的模式。该合并模式基本上是对运动信息进行编码而不对差分MV进行编码的模式。例如，如图38B所示，合并模式包括普通合并模式(有时也称为通常合并模式或常规合并模式)、MMVD(Merge withMotion Vector Difference，融合运动矢量差)模式、CIIP(Combined inter merge/intraprediction,帧间合并/帧内联合预测)模式、三角模式、ATMVP模式、以及仿射合并模式。在此，在合并模式中包含的各模式中的MMVD模式中，例外地对差分MV进行编码。此外，上述的仿射合并模式以及仿射帧间模式是仿射模式中包括的模式。仿射模式是假设仿射变换，将构成当前块的多个子块各自的MV作为当前块的MV导出的模式。FRUC模式是通过在已编码区域间进行搜索来导出当前块的MV的模式，是运动信息和差分MV均不编码的模式。另外，关于这些各模式的详细情况将后述。
另外，图38A和图38B所示的各模式的分类是一例，不限于此。例如，在CIIP模式下对差分MV进行编码的情况下，该CIIP模式被分类为帧间模式。
[MV导出＞普通帧间模式]
普通帧间模式是基于从由候选MV表示的参照图片的区域中通过找到与当前块的图像相似的块来导出当前块的MV的帧间预测模式。此外，在该普通帧间模式中，差分MV被编码。
图39是表示基于普通帧间模式的帧间预测的例子的流程图。
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码的块的MV等的信息，对于该当前块取得多个候选MV(步骤Sg_1)。也就是说，帧间预测部126制作候选MV列表。
接着，帧间预测部126从在步骤Sg_1中取得的多个候选MV中，将N个(N为2以上的整数)候选MV分别作为预测MV候选，按照预先决定的优先顺序进行提取(步骤Sg_2)。另外，该优先顺序是对N个候选MV的每一个而预先确定的。
接着，帧间预测部126从该N个预测MV候选中选择1个预测MV候选作为当前块的预测MV(步骤Sg_3)。此时，帧间预测部126将用于识别选择出的预测MV的预测MV选择信息编码到流。即，帧间预测部126经由预测参数生成部130将预测MV选择信息作为预测参数输出到熵编码部110。
接着，帧间预测部126参照已编码参照图片，导出当前块的MV(步骤Sg_4)。此时，帧间预测部126还将所导出的MV与预测MV之间的差分值作为差分MV编码到流。即，帧间预测部126经由预测参数生成部130将差分MV作为预测参数输出到熵编码部110。另外，已编码参照图片是由在编码后重构的多个块构成的图片。
最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sg_5)。步骤Sg_1～Sg_5的处理针对各块执行。例如，当对切片中包含的所有块分别执行步骤Sg_1～Sg_5的处理时，针对该切片的使用了普通帧间模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Sg_1～Sg_5的处理时，针对该图片的使用了普通帧间模式的帧间预测结束。此外，也可以是，步骤Sg_1～Sg_5的处理，当不对切片中包含的所有块执行而对一部分块执行时，针对该切片的使用了普通帧间模式的帧间预测结束。同样地，也可以是，步骤Sg_1～Sg_5的处理，当对图片中包含的一部分块执行时，结束针对该图片的使用了普通帧间模式的帧间预测。
另外，预测图像是上述的帧间预测信号。此外，编码信号中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，普通帧间模式)的信息被编码为例如预测参数。
另外，候选MV列表也可以与在其他模式中使用的列表共通使用。此外，与候选MV列表有关的处理可以应用于与其他模式中使用的列表有关的处理。与该候选MV列表有关的处理例如是从候选MV列表中提取或选择候选MV、重新排列候选MV、或者删除候选MV等。
[MV导出>普通合并模式]
普通合并模式是通过从候选MV列表中选择候选MV作为当前块的MV来导出该MV的帧间预测模式。另外，普通合并模式是狭义的合并模式，有时也简称为合并模式。在本实施方式中，区分普通合并模式和合并模式，以广义的含义使用合并模式。
图40是表示基于普通合并模式的帧间预测的例子的流程图。
首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码的块MV等的信息，对该当前块取得多个候选MV(步骤Sh_1)。也就是说，帧间预测部126制作候选MV列表。
接着，帧间预测部126通过从在步骤Sh_1中取得的多个候选MV中选择1个候选MV，导出当前块的MV(步骤Sh_2)。此时，帧间预测部126将用于识别选择出的候选MV的MV选择信息编码到流。即，帧间预测部126经由预测参数生成部130将MV选择信息作为预测参数输出到熵编码部110。
最后，帧间预测部126通过使用该导出的MV和已编码参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sh_3)。步骤Sh_1～Sh_3的处理例如对各块执行。例如，当针对切片中包含的所有块分别执行步骤Sh_1～Sh_3的处理时，针对该切片的使用了普通合并模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Sh_1～Sh_3的处理时，针对该图片的使用了普通合并模式的帧间预测结束。此外，步骤Sh_1～Sh_3的处理也可以是，当不对切片中包含的所有块执行而对一部分块执行时，针对该切片的使用了普通合并模式的帧间预测结束。同样地，步骤Sh_1～Sh_3的处理也可以是，当对图片中包含的一部分块执行时，针对该图片的使用了普通合并模式的帧间预测结束。
此外，流中包含的表示在预测图像的生成中使用的帧间预测模式(在上述例子中，普通合并模式)的信息被编码为例如预测参数。
图41是用于说明基于普通合并模式的当前图片的MV导出处理的一例的图。
首先，帧间预测部126生成登记了候选MV的候选MV列表。作为候选MV，有：空间相邻候选MV，是位于当前块的空间的周边的多个已编码的块所具有的MV；时间相邻候选MV，是对已编码参照图片中的当前块的位置进行了投影的附近的块所具有的MV；结合候选MV，是将空间相邻候选MV和时间相邻候选MV的MV值组合而生成的MV；以及零候选MV，是值为零的MV，等。
接着，帧间预测部126通过从登记在候选MV列表中的多个候选MV中选择1个候选MV，将该1个候选MV决定为当前块的MV。
而且，在熵编码部110中，将表示选择了哪个候选MV的信号即merge_idx记述在流中进行编码。
另外，在图41中说明的候选MV列表中登记的候选MV是一例，也可以是与图中的个数不同的个数，或者是不包含图中的候选MV的一部分种类的结构，或者是追加了除图中的候选MV的种类以外的候选MV的结构。
也可以使用通过普通合并模式导出的当前块的MV，进行后述的DMVR(dynamicmotion vector refreshing)来决定最终的MV。此外，在普通合并模式中，差分MV不被编码，但在MMVD模式中，差分MV被编码。MMVD模式与普通合并模式同样地从候选MV列表中选择1个候选MV，但对差分MV进行编码。如图38B所示，这样的MMVD也可以与普通合并模式一起被分类为合并模式。另外，MMVD模式下的差分MV也可以不与在帧间模式中使用的差分MV相同，例如，MMVD模式下的差分MV的导出也可以是处理量比在帧间模式下的差分MV的导出小的处理。
另外，也可以使在帧间预测中生成的预测图像与在帧内预测中生成的预测图像重合，进行生成当前块的预测图像的CIIP(Combined inter merge/intra prediction)模式。
此外，也可以将候选MV列表称为候选列表。此外，merge_idx是MV选择信息。
[MV导出>HMVP模式]
图42是用于说明基于HMVP模式的当前图片的MV导出处理的一例的图。
在普通合并模式中，从参照已编码的块(例如CU)而生成的候选MV列表中选择1个候选MV，由此决定作为当前块的例如CU的MV。在此，也可以将其他候选MV登记在该候选MV列表中。登记这样的其他候选MV的模式被称为HMVP模式。
在HMVP模式中，与普通合并模式的候选MV列表分开地，使用HMVP用的FIFO(First-In First-Out：先入先出)缓冲器来管理候选MV。
在FIFO缓冲器中，从新的FIFO缓冲器中依次保存过去处理的块的MV等运动信息。在该FIFO缓冲器的管理中，每当进行1个块的处理时，在FIFO缓冲器中保存最新的块(即紧前处理的CU)的MV，取而代之，从FIFO缓冲器中删除FIFO缓冲器内的最早的CU(即，最先被处理的CU)的MV。在图42所示的例子中，HMVP1是最新的块的MV，HMVP5是最早的块的MV。
然后，例如，帧间预测部126针对在FIFO缓冲器中管理的各MV，从HMVP1起依次检查该MV是否为与已经登记在普通合并模式的候选MV列表中的所有候选MV不同的MV。并且，帧间预测部126也可以在判断为与所有候选MV不同的情况下，将该FIFO缓冲器中管理的MV作为候选MV追加到普通合并模式的候选MV列表中。此时，从FIFO缓冲器登记的候选MV可以是1个，也可以是多个。
这样，通过使用HMVP模式，不仅能够将当前块的空间上或者时间上相邻的块的MV添加到候选中，还能够将过去处理的块的MV添加到候选中。结果，通过使普通合并模式的候选MV的变化扩大，能够提高编码效率的可能性变高。
另外，上述MV也可以是运动信息。即，候选MV列表以及FIFO缓冲器中保存的信息不仅可以包含MV的值，还可以包含表示参照的图片的信息、参照的方向以及张数等的信息。另外，上述的块例如是CU。
另外，图42的候选MV列表以及FIFO缓冲器是一例，候选MV列表以及FIFO缓冲器也可以是与图42不同的尺寸的列表或者缓冲器，或者是以与图42不同的顺序登记候选MV的结构。另外，这里说明的处理在编码装置100中和在解码装置200中都是共通的。
此外，HMVP模式也能够应用于普通合并模式以外的模式。例如，也可以从新的FIFO缓冲器中按顺序保存过去在仿射模式中处理的块的MV等运动信息，作为候选MV来使用。也可以将在仿射模式中应用HMVP模式的模式称为历史仿射模式。
[MV导出>FRUC模式]
运动信息也可以不从编码装置100侧被信号化，而在解码装置200侧被导出。例如也可以通过在解码装置200侧进行运动搜索来导出运动信息。在这样的情况下，在解码装置200侧不使用当前块的像素值而进行运动搜索。这样的在解码装置200侧进行运动搜索的模式有FRUC(frame rate up-conversion，帧速率上变换)模式或PMMVD(pattern matchedmotion vector derivation，样式匹配的MV推导)模式等。
图43中示出了FRUC处理的一例。首先，参照与当前块在空间或时间上相邻的各已编码的块的MV，生成将这些MV作为候选MV来表示的列表(即，是候选MV列表，并且也可以与普通合并模式的候选MV列表共通)(步骤Si_1)。接着，从登记在候选MV列表中的多个候选MV之中选择最佳候选MV(步骤Si_2)。例如，计算候选MV列表中包含的各候选MV的评价值，基于该评价值选择1个候选作为最佳候选MV。并且，基于所选择的最佳候选MV，导出用于当前块的MV(步骤Si_4)。具体而言，例如将所选择的最佳候选MV原样作为用于当前块的MV来导出。此外，例如也可以通过在与所选择的最佳候选MV对应的参照图片内的位置的周边区域中进行样式匹配，来导出用于当前块的MV。即，也可以对最佳候选MV的周边区域进行使用了参照图片中的样式匹配以及评价值的搜索，在有评价值为更好的值的MV的情况下，将最佳候选MV更新为该MV，将其作为当前块的最终的MV。也可以不实施向具有更好的评价值的MV的更新。
最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Si_5)。步骤Si_1～Si_5的处理例如对各块执行。例如，当对切片中包含的所有块分别执行步骤Si_1～Si_5的处理时，针对该切片的使用了FRUC模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Si_1～Si_5的处理时，针对该图片的使用了FRUC模式的帧间预测结束。另外，步骤Si_1～Si_5的处理也可以是，当不对切片中包含的所有块执行而对一部分块执行时，针对该切片的使用了FRUC模式的帧间预测结束。同样地，步骤Si_1～Si_5的处理也可以是，当对图片中包含的一部分块执行时，针对该图片的使用了FRUC模式的帧间预测结束。
也可以在以子块单位进行处理的情况下也进行与上述块单位同样的处理。
评价值也可以通过各种方法来计算。例如，将与MV对应的参照图片内的区域的重构图像与规定的区域(例如，如下所示，该区域可以是其他参照图片的区域或当前图片的相邻块的区域)的重构图像进行比较。然后，也可以计算2个重构图像的像素值的差分，用于MV的评价值。另外，也可以是，除了差分值以外还使用其他信息来计算评价值。
接着，对样式匹配进行详细说明。首先，选择候选MV列表(也称为合并列表)中包含的1个候选MV作为基于样式匹配的搜索的起始点。作为样式匹配，可以使用第1样式匹配或第2样式匹配。第1样式匹配及第2样式匹配有分别被称作双向匹配(bilateral matching)及模板匹配(template matching)的情况。
[MV导出>FRUC>双向匹配]
在第1样式匹配中，在不同的2个参照图片内的、沿着当前块的运动轨迹(motiontrajectory)的2个块之间进行样式匹配。因而，在第1样式匹配中，作为上述的用于候选MV的评价值的计算的规定区域，使用沿着当前块的运动轨迹的其他参照图片内的区域。
图44是用于说明沿着运动轨迹的2个参照图片中的2个块间的第1样式匹配(双向匹配)的一例的图。如图44所示，在第1样式匹配中，通过在沿着当前块(Cur block)的运动轨迹的2个块、且为不同的2个参照图片(Ref0，Ref1)内的2个块的对之中搜索最匹配的对，导出2个MV(MV0，MV1)。具体而言，对于当前块，导出由候选MV指定的第1已编码参照图片(Ref0)内的指定位置处的重构图像、与由将该候选MV以显示时间间隔进行缩放后的对称MV指定的第2已编码参照图片(Ref1)内的指定位置处的重构图像的差分，使用所得到的差分值计算评价值。可以在多个候选MV之中选择评价值为最好的值的候选MV作为最佳候选MV。
在连续性的运动轨迹的假定下，指示2个参照块的MV(MV0，MV1)相对于当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离(TD0，TD1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1样式匹配中，导出镜像对称的双方向的MV。
[MV导出>FRUC>模板匹配]
在第2样式匹配(模板匹配)中，在当前图片内的模板(在当前图片内与当前块相邻的块(例如上及/或左相邻块))与参照图片内的块之间进行样式匹配。因而，在第2样式匹配中，作为上述的用于候选MV的评价值的计算的规定区域，使用当前图片内的与当前块相邻的块。
图45是用于说明当前图片内的模板与参照图片内的块之间的样式匹配(模板匹配)的一例的图。如图45所示，在第2样式匹配中，通过在参照图片(Ref0)内搜索与在当前图片(Cur Pic)内相邻于当前块(Cur block)的块最匹配的块，导出当前块的MV。具体而言，对于当前块，导出左相邻及上相邻的双方或某一方的已编码区域的重构图像与由候选MV指定的已编码参照图片(Ref0)内的同等位置处的重构图像的差分，使用所得到的差分值计算评价值。可以在多个候选MV之中选择评价值为最好的值的候选MV作为最佳候选MV。
这样的表示是否采用FRUC模式的信息(例如称作FRUC标志)以CU级被信号化。此外，在采用FRUC模式的情况下(例如FRUC标志为真的情况下)，表示可采用的样式匹配的方法(第1样式匹配或第2样式匹配)的信息以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、砖块级、CTU级或子块级)。
[MV导出>仿射模式]
仿射模式是使用affine变换生成MV的模式，例如，也可以基于多个相邻块的MV以子块单位导出MV。该模式有时被称为仿射运动补偿预测(affine motion compensationprediction)模式。
图46A是用于说明基于多个相邻块的MV的子块单位的MV的导出的一例的图。在图46A中，当前块例如包括16个由4×4像素构成的子块。这里，基于相邻块的MV导出当前块的左上角控制点的运动矢量v0，同样地，基于相邻子块的MV导出当前块的右上角控制点的运动矢量v1。然后，根据以下的式(1A)，投影2个运动矢量v0以及v1，并导出当前块内的各子块的运动矢量(vx，vy)。
【数式1】
Figure BDA0003484388780000451
这里，x和y分别表示子块的水平位置和垂直位置，w表示预先确定的权重系数。
表示这种仿射模式的信息(例如，称为仿射标志)可以以CU级被信号化。此外，表示该仿射模式的信息的信号化不需要限定于CU级，可以是其他级别(例如，序列级、图片级、切片级、砖块级、CTU级或子块级)。
另外，在这样的仿射模式中，也可以包含左上以及右上角控制点的MV的导出方法不同的若干模式。例如，在仿射模式中，有仿射帧间(也称为仿射普通帧间)模式和仿射合并模式这2个模式。
图46B是用于说明使用3个控制点的仿射模式中的子块单位的MV的导出的一例的图。在图46B中，当前块包括16个4×4像素的子块。这里，基于相邻块的MV导出当前块的左上角控制点的运动矢量v0。同样地，基于相邻块的MV导出当前块的右上角控制点的运动矢量v1，基于相邻块的MV导出当前块的左下角控制点的运动矢量v2。然后，根据以下的式(1B)，投影3个运动矢量v0、v1以及v2，导出当前块内的各子块的运动矢量(vx，vy)。
【数式2】
Figure BDA0003484388780000461
这里，x和y分别表示子块中心的水平位置和垂直位置，w和h表示预先确定的权重系数。也可以是，w表示当前块的宽度，h表示当前块的高度。
使用相互不同的控制点数(例如，2个和3个)的仿射模式也可以以CU级进行切换而信号化。另外，也可以将表示在CU级中使用的仿射模式的控制点数的信息以其他级(例如，序列级、图片级、切片级、砖块级、CTU级或子块级)进行信号化。
另外，在这样的具有3个控制点的仿射模式中，也可以包含左上、右上以及左下角控制点的MV的导出方法不同的若干模式。例如，在具有3个控制点的仿射模式中，与具有2个控制点的仿射模式同样地，有仿射帧间模式和仿射合并模式这2个模式。
另外，在仿射模式中，当前块中包含的各子块的尺寸并不限定于4x4像素，也可以是其他大小。例如，各子块的尺寸也可以是8×8像素。
[MV导出>仿射模式>控制点]
图47A、图47B和图47C是用于说明仿射模式中的控制点的MV导出的一例的概念图。
在仿射模式中，如图47A所示，例如，基于与在与当前块相邻的已编码的块A(左)、块B(上)、块C(右上)、块D(左下)和块E(左上)中的以仿射模式编码的块对应的多个MV，计算当前块的控制点中的每一个的预测MV。具体而言，按照已编码的块A(左)、块B(上)、块C(右上)、块D(左下)以及块E(左上)的顺序检查这些块，确定以仿射模式编码的最初的有效块。基于与所确定的块对应的多个MV来计算当前块的控制点的MV。
例如，如图47B所示，在以具有2个控制点的仿射模式对与当前块的左侧相邻的块A进行编码的情况下，导出投影到包含块A的已编码的块的左上角以及右上角的位置的运动矢量v3以及v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。
例如，如图47C所示，当在具有3个控制点的仿射模式下对与当前块的左侧相邻的块A进行编码时，导出投影到包含块A的已编码的块的左上角、右上角和左下角的位置的运动矢量v3、v4和v5。然后，根据导出的运动矢量v3、v4和v5，计算当前块的左上角控制点的运动矢量v0、右上角控制点的运动矢量v1和左下角控制点的运动矢量v2。
另外，图47A～图47C所示的MV的导出方法，可以用于后述的图50所示的步骤Sk_1中的当前块的各控制点的MV的导出，也可以用于在后述的图51所示的步骤Sj_1中的当前块的各控制点的预测MV的导出。
图48A和图48B是用于说明仿射模式中的控制点MV的导出的另一例的概念图。
图48A是用于说明具有2个控制点的仿射模式的图。
在该仿射模式中，如图48A所示，从与当前块相邻的已编码的块A、块B以及块C各自的MV中选择出的MV被用作当前块的左上角控制点的运动矢量v0。同样地，从与当前块相邻的已编码的块D和块E各自的MV中选择出的MV被用作当前块的右上角控制点的运动矢量v1。
图48B是用于说明具有3个控制点的仿射模式的图。
在该仿射模式中，如图48B所示，从与当前块相邻的已编码的块A、块B以及块C各自的MV中选择出的MV被用作当前块的左上角控制点的运动矢量v0。同样地，从与当前块相邻的已编码的块D和块E各自的MV中选择出的MV被用作当前块的右上角控制点的运动矢量v1。此外，从与当前块相邻的已编码的块F和块G各自的MV中选择出的MV被用作当前块的左下角控制点的运动矢量v2。
另外，图48A和图48B所示的MV的导出方法可以用于后述的图50所示的步骤Sk_1中的当前块的各控制点的MV的导出，也可以用于后述的图51的步骤Sj_1中的当前块的各控制点的预测MV的导出。
在此，例如，在以CU级切换不同的控制点数(例如2个和3个)仿射模式而进行信号化的情况下等，有时控制点的数量因已编码的块和当前块而不同。
图49A及图49B是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点的MV导出方法的一例的概念图。
例如，如图49A所示，当前块具有左上角、右上角和左下角这3个控制点，与当前块的左边相邻的块A以具有2个控制点的仿射模式被编码。在该情况下，导出投影到包含块A的已编码的块的左上角和右上角的位置的运动矢量v3和v4。然后，根据导出的运动矢量v3和v4，计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。进而，根据导出的运动矢量v0以及v1，计算左下角控制点的运动矢量v2。
例如，如图49B所示，当前块具有左上角以及右上角这2个控制点，与当前块的左边相邻的块A以具有3个控制点的仿射模式被编码。在该情况下，导出投影到包含块A的已编码的块的左上角、右上角以及左下角的位置的运动矢量v3、v4以及v5。然后，根据导出的运动矢量v3、v4以及v5，计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。
另外，图49A及图49B所示的MV的导出方法可以用于后述的图50所示的步骤Sk_1中的当前块的各控制点的MV的导出，也可以用于后述的图51的步骤Sj_1中的当前块的各控制点的预测MV的导出。
[MV导出>仿射模式>仿射合并模式]
图50是表示仿射合并模式的一例的流程图。
在仿射合并模式中，首先，帧间预测部126导出当前块的控制点各自的MV(步骤Sk_1)。控制点如图46A所示，是当前块的左上角和右上角的点，或者如图46B所示，是当前块的左上角、右上角和左下角的点。此时，帧间预测部126也可以将用于识别所导出的2个或3个MV的MV选择信息编码到流。
例如，在使用图47A～图47C所示的MV的导出方法的情况下，如图47A所示，帧间预测部126按照已编码的块A(左)、块B(上)、块C(右上)、块D(左下)和块E(左上)的顺序检查这些块，并且确定以仿射模式编码的初始有效块。
帧间预测部126使用在所确定的仿射模式下编码后的最初的有效的块，导出控制点的MV。例如，在块A被确定并且块A具有2个控制点的情况下，如图47B所示，帧间预测部126根据包含块A的已编码的块的左上角和右上角的运动矢量v3和v4来计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。例如，通过将已编码的块的左上角和右上角的运动矢量v3和v4投影到当前块，帧间预测部126计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。
或者，在块A被确定并且块A具有3个控制点的情况下，如图47C所示，帧间预测部126根据包含块A的已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5来计算当前块的左上角控制点的运动矢量v0、右上角控制点的运动矢量v1和左下角控制点的运动矢量v2。例如，通过将已编码的块的左上角、右上角和左下角的运动矢量v3、v4和v5投影到当前块上，帧间预测部126计算当前块的左上角控制点的运动矢量v0、右上角控制点的运动矢量v1和左下角控制点的运动矢量v2。
另外，可以如上述的图49A所示那样，确定块A，并在块A具有2个控制点的情况下，计算3个控制点的MV，也可以如上述的图49B所示那样，确定块A，并在块A具有3个控制点的情况下，计算2个控制点的MV。
接下来，帧间预测部126对当前块中包含的多个子块中的每一个进行运动补偿。即，帧间预测部126针对该多个子块的每一个，使用2个运动矢量v0和v1和上述的式(1A)、或者使用3个运动矢量v0、v1以及v2和上述的式(1B)，计算该子块的MV作为仿射MV(步骤Sk_2)。然后，帧间预测部126这些使用仿射MV和已编码的参照图片来对该子块进行运动补偿(步骤Sk_3)。当对当前块中包含的所有子块分别执行步骤Sk_2和Sk_3的处理时，针对该当前块的使用了仿射合并模式的预测图像的生成的处理结束。即，对当前块进行运动补偿，并且生成该当前块的预测图像。
此外，在步骤Sk_1中，也可以生成上述的候选MV列表。候选MV列表例如也可以是包含针对各控制点使用多个MV导出方法而导出的候选MV的列表。多个MV导出方法可以是图47A～图47C所示的MV的导出方法、图48A及图48B所示的MV的导出方法、图49A及图49B所示的MV的导出方法、以及其他MV的导出方法的任意的组合。
另外，候选MV列表也可以包含仿射模式以外的以子块单位进行预测的模式的候选MV。
另外，作为候选MV列表，例如也可以生成包含具有2个控制点的仿射合并模式的候选MV和具有3个控制点的仿射合并模式的候选MV的候选MV列表。或者，也可以分别生成包含具有2个控制点的仿射合并模式的候选MV的候选MV列表和包含具有3个控制点的仿射合并模式的候选MV的候选MV列表。或者，也可以生成包含具有2个控制点的仿射合并模式和具有3个控制点的仿射合并模式中的一方的模式的候选MV的候选MV列表。候选MV例如可以是已编码的块A(左)、块B(上)、块C(右上)、块D(左下)以及块E(左上)的MV，也可以是这些块中的有效块的MV。
此外，作为MV选择信息，也可以发送表示候选MV列表中的哪一个候选MV的索引。
[MV导出>仿射模式>仿射帧间模式]
图51是表示仿射帧间模式的一例的流程图。
在仿射帧间模式中，首先，帧间预测部126导出当前块的2个或3个控制点各自的预测MV(v0，v1)或(v0，v1，v2)(步骤Sj_1)。如图46A或图46B所示，控制点是当前块的左上角、右上角或左下角的点。
例如，在使用图48A及图48B所示的MV的导出方法的情况下，帧间预测部126通过选择图48A或图48B所示的当前块的各控制点附近的已编码的块中的某个块的MV，导出当前块的控制点的预测MV(v0，v1)或(v0，v1，v2)。此时，帧间预测部126将用于识别所选择的2个或3个预测MV的预测MV选择信息编码到流。
例如，帧间预测部126可以通过使用成本评价等来决定从与当前块相邻的已编码的块中选择哪个块的MV作为控制点的预测MV，并且可以在比特流中记述表示选择了哪个预测MV的标志。即，帧间预测部126经由预测参数生成部130将标志等预测MV选择信息作为预测参数输出到熵编码部110。
接下来，帧间预测部126在分别更新步骤Sj_1中选择或导出的预测MV的同时(步骤Sj_2)进行运动搜索(步骤Sj_3和Sj_4)。也就是说，帧间预测部126将与要更新的预测MV对应的各子块的MV作为仿射MV，并且使用上述的式(1A)或式(1B)来计算(步骤Sj_3)。然后，帧间预测部126使用这些仿射MV和已编码的参照图片对各子块进行运动补偿(步骤Sj_4)。每当在步骤Sj_2中更新预测MV时，对当前块内的所有块执行步骤Sj_3和Sj_4的处理。结果，在运动搜索循环中，帧间预测部126例如将可以得到最小成本的预测MV决定为控制点的MV(步骤Sj_5)。此时，帧间预测部126还将该决定的MV和预测MV之间的差分值作为差分MV编码成流。即，帧间预测部126经由预测参数生成部130将差分MV作为预测参数输出到熵编码部110。
最后，帧间预测部126通过使用该决定的MV和已编码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sj_6)。
另外，在步骤Sj_1中，也可以生成上述的候选MV列表。候选MV列表例如也可以是包含针对各控制点使用多个MV导出方法而导出的候选MV的列表。多个MV导出方法可以是图47A～图47C所示的MV的导出方法、图48A及图48B所示的MV的导出方法、图49A及图49B所示的MV的导出方法、以及其他MV的导出方法的任意的组合。
另外，候选MV列表也可以包含仿射模式以外的以子块单位进行预测的模式的候选MV。
另外，作为候选MV列表，也可以生成包含具有2个控制点的仿射帧间模式的候选MV和具有3个控制点的仿射帧间模式的候选MV的候选MV列表。或者，也可以分别生成包含具有2个控制点的仿射帧间模式的候选MV的候选MV列表和包含具有3个控制点的仿射帧间模式的候选MV的候选MV列表。或者，也可以生成包含具有2个控制点的仿射帧间模式和具有3个控制点的仿射帧间模式中的一方的模式的候选MV的候选MV列表。候选MV例如可以是已编码的块A(左)、块B(上)、块C(右上)、块D(左下)以及块E(左上)的MV，也可以是这些块中的有效块的MV。
此外，作为预测MV选择信息，也可以送出表示候选MV列表中的哪一个候选MV的索引。
[MV导出>三角模式]
在上述的例子中，帧间预测部126对矩形的当前块生成1个矩形的预测图像。然而，帧间预测部126可以对该矩形的当前块生成与矩形不同的形状的多个预测图像，并通过结合这些多个预测图像，生成最终的矩形的预测图像。与矩形不同的形状例如也可以是三角形。
图52A是用于说明2个三角形的预测图像的生成的图。
帧间预测部126针对当前块内的三角形的第1分区使用该第1分区的第1MV进行运动补偿，由此生成三角形的预测图像。同样地，帧间预测部126针对当前块内的三角形的第2分区使用该第2分区的第2MV进行运动补偿，由此生成三角形的预测图像。并且，帧间预测部126结合这些预测图像，由此生成与当前块相同的矩形的预测图像。
另外，作为第1分区的预测图像，也可以使用第1MV生成与当前块对应的矩形的第1预测图像。另外，作为第2分区的预测图像，也可以使用第2MV生成与当前块对应的矩形的第2预测图像。也可以通过对第1预测图像和第2预测图像进行加权相加，生成当前块的预测图像。另外，加权相加的部位也可以仅是夹着第1分区与第2分区的边界的一部分区域。
图52B是表示与第2分区重叠的第1分区的第1部分、以及能够作为修正处理的一部分进行加权而得到的第1样本集以及第2样本集的例子的概念图。第1部分例如可以是第1分区的宽度或者高度的四分之一。在另一例中，第1部分可以具有对应于与第1分区的边缘相邻的N个样品的宽度。在此，N是大于零的整数，例如，N可以是整数2。图52B表示具有第1分区的宽度的四分之一的宽度的矩形部分的矩形分区。在此，第1样品集包含第1部分的外侧的样品和第1部分的内侧的样品，第2样品集包含第1部分内的样品。图52B的中央的例子表示具有第1分区的高度的四分之一的高度的矩形部分的矩形分区。在此，第1样品集包含第1部分的外侧的样品和第1部分的内侧的样品，第2样品集包含第1部分内的样品。图52B的右例表示具有与2个样本对应的高度的多边形部分的三角形分区。在此，第1样品集包含第1部分的外侧的样品和第1部分的内侧的样品，第2样品集包含第1部分内的样品。
第1部分可以是与相邻分区重叠的第1分区的部分。图52C是表示作为与相邻分区的一部分重叠的第1分区的一部分的第1分区的第1部分的概念图。为了简化说明，示出了具有与空间上相邻的矩形分区重叠的部分的矩形分区。可以使用三角形分区等具有其他形状的分区，重叠的部分也可以与空间上或时间上相邻的分区重叠。
另外，示出了使用帧间预测对2个分区分别生成预测图像的例子，但也可以使用帧内预测对至少1个分区生成预测图像。
图53是表示三角模式的一例的流程图。
在三角模式中，首先，帧间预测部126将当前块分割为第1分区和第2分区(步骤Sx_1)。此时，帧间预测部126可以将与向各分区的分割相关的信息即分区信息作为预测参数编码到流。即，帧间预测部126可以经由预测参数生成部130将分区信息作为预测参数输出到熵编码部110。
接着，帧间预测部126首先基于时间上或空间上位于当前块周围的多个已编码的块的MV等信息，针对该当前块取得多个候选MV(步骤Sx_2)。即，帧间预测部126制作候选MV列表。
然后，帧间预测部126从在步骤Sx_1中取得的多个候选MV中，分别选择第1分区的候选MV和第2分区的候选MV作为第1MV和第2MV(步骤Sx_3)。此时，帧间预测部126也可以将用于识别选择出的候选MV的MV选择信息作为预测参数而编码到流。即，帧间预测部126可以经由预测参数生成部130将MV选择信息作为预测参数输出到熵编码部110。
接着，帧间预测部126使用该选择出的第1MV和已编码参照图片来进行运动补偿，由此生成第1预测图像(步骤Sx_4)。同样地，帧间预测部126使用选择出的第2MV和已编码参照图片来进行运动补偿，由此生成第2预测图像(步骤Sx_5)。
最后，帧间预测部126对第1预测图像和第2预测图像进行加权相加，由此生成当前块的预测图像(步骤Sx_6)。
另外，在图52A所示的例子中，第1分区和第2分区分别为三角形，但也可以为梯形，也可以分别为相互不同的形状。而且，在图52A所示的例子中，当前块由2个分区构成，但也可以由3个以上的分区构成。
另外，第1分区和第2分区也可以重复。即，第1分区和第2分区也可以包含相同的像素区域。在该情况下，也可以使用第1分区中的预测图像和第2分区中的预测图像来生成当前块的预测图像。
另外，在该例中，示出了在2个分区中都通过帧间预测生成预测图像的例子，但也可以针对至少1个分区通过帧内预测生成预测图像。
另外，用于选择第1MV的候选MV列表和用于选择第2MV的候选MV列表可以不同，也可以是相同的候选MV列表。
此外，分区信息可以包含表示至少将当前块分割为多个分区的分割方向的索引。MV选择信息也可以包含表示选择出的第1MV的索引以及表示选择出的第2MV的索引。1个索引也可以表示多个信息。例如，也可以对汇总表示分区信息的一部分或整体和MV选择信息的一部分或整体的1个索引进行编码。
[MV导出>ATMVP模式]
图54是表示以子块单位导出MV的ATMVP模式的一例的图。
ATMVP模式是被分类为合并模式的模式。例如，在ATMVP模式中，在用于普通合并模式的候选MV列表中登记子块单位的候选MV。
具体而言，在ATMVP模式下，首先，如图54所示，在由与当前块的左下相邻的块的MV(MV0)指定的已编码的参照图片中，确定与该当前块建立了对应的时间MV参照块。接着，针对当前块内的各子块，确定在该时间MV参照块内的与该子块对应的区域的编码时使用的MV。这样确定出的MV作为当前块的子块的候选MV包含在候选MV列表中。在从候选MV列表中选择这样的各子块的候选MV的情况下，对该子块执行将该候选MV用作子块的MV的运动补偿。由此，生成各子块的预测图像。
另外，在图54所示的例子中，作为周边MV参照块，使用了与当前块的左下相邻的块，但也可以使用除此以外的块。另外，子块的尺寸可以是4x4像素，也可以是8x8像素，也可以是除此以外的尺寸。子块的尺寸也可以以切片、砖块、或图片等单位进行切换。
[运动搜索＞DMVR]
图55是表示合并模式以及DMVR的关系的图。
帧间预测部126在合并模式下导出当前块的MV(步骤Sl_1)。接下来，帧间预测部126判定是否进行MV搜索，即运动搜索(步骤Sl_2)。这里，当判定为不进行运动搜索时(步骤Sl_2中为否)，帧间预测部126将在步骤Sl_1中导出的MV决定为针对当前块的最终MV(步骤Sl_4)。即，在这种情况下，在合并模式下决定当前块的MV。
另一方面，当在步骤Sl_1中判定为进行运动搜索时(步骤Sl_2中为是)，帧间预测部126通过搜索由在步骤Sl_1中导出的MV表示的参照图片的周边区域来导出针对当前块的最终MV(步骤Sl_3)。即，在这种情况下，由DMVR决定当前块的MV。
图56是用于说明用于决定MV的DMVR的一例的概念图。
首先，例如在合并模式中，针对当前块选择候选MV(L0及L1)。然后，按照候选MV(L0)，根据L0列表的已编码图片即第1参照图片(L0)确定参照像素。同样地，按照候选MV(L1)，根据L1列表的已编码图片即第2参照图片(L1)确定参照像素。通过取这些参照像素的平均来生成模板。
接着，使用该模板，分别搜索第1参照图片(L0)和第2参照图片(L1)的候选MV的周边区域，将成本最小的MV决定为当前块的最终的MV。此外，成本例如也可以使用模板的各像素值与搜索区域的各像素值的差分值以及候选MV值等来计算。
即使不是这里说明的处理本身，只要是能够搜索候选MV的周边而导出最终的MV的处理，则也可以使用任意的处理。
图57是用于说明用于决定MV的DMVR的另一例的概念图。图57所示的本例与图56所示的DMVR的一例不同，不生成模板而计算成本。
首先，帧间预测部126基于从候选MV列表取得的候选MV即初始MV，搜索L0列表和L1列表各自的参照图片中包含的参照块周边。例如，如图57所示，与L0列表的参照块对应的初始MV为InitMV_L0，与L1列表的参照块对应的初始MV为InitMV_L1。在运动搜索中，帧间预测部126首先设定针对L0列表中的参照图片的搜索位置。表示该设定的搜索位置的差分矢量，具体而言，从由初始MV(即InitMV_L0)表示的位置向该搜索位置的差分矢量为MVd_L0。然后，帧间预测部126决定L1列表的参照图片中的搜索位置。该搜索位置由从初始MV(即InitMV_L1)所示的位置向该搜索位置的差分矢量表示。具体而言，帧间预测部126通过MVd_L0的镜像将该差分矢量决定为MVd_L1。即，帧间预测部126在L0列表和L1列表各自的参照图片中，将从初始MV表示的位置成为对称的位置设为搜索位置。帧间预测部126针对每个搜索位置计算该搜索位置的块内的像素值的差绝对值的总和(SAD)等作为成本，并且找出该成本最小的搜索位置。
图58A是表示DMVR中的运动搜索的一例的图，图58B是表示该运动搜索的一例的流程图。
首先，帧间预测部126在Step1中，计算初始MV表示的搜索位置(也称为开始点)和位于其周围的8个搜索位置的成本。并且，帧间预测部126判定开始点以外的搜索位置的成本是否为最小。在此，当判定为开始点以外的搜索位置的成本最小时，帧间预测部126移动至成本最小的搜索位置，进行Step2的处理。另一方面，如果开始点的成本最小，则帧间预测部126跳过Step2的处理而进行Step3的处理。
在Step2中，帧间预测部126将根据Step1的处理结果移动的搜索位置作为新的开始点，进行与Step1的处理同样的搜索。并且，帧间预测部126判定该开始点以外的搜索位置的成本是否最小。在此，如果开始点以外的搜索位置的成本最小，则帧间预测部126进行Step4的处理。另一方面，如果开始点的成本最小，则帧间预测部126进行Step3的处理。
在Step4中，帧间预测部126将该开始点的搜索位置作为最终搜索位置来处理，将初始MV表示的位置与该最终搜索位置的差分决定为差分矢量。
在Step3中，帧间预测部126基于位于在Step1或Step2的开始点的上下左右的4点处的成本，决定成本最小的小数精度的像素位置，并将该像素位置设为最终搜索位置。该小数精度的像素位置通过将位于上下左右的4点的矢量((0，1)，(0，-1)，(-1，0)，(1，0))以该4点各自的搜索位置的成本作为权重进行加权相加来决定。然后，帧间预测部126将初始MV表示的位置与该最终搜索位置的差分决定为差分矢量。
[运动补偿＞BIO/OBMC/LIC]
在运动补偿中，存在生成预测图像并对该预测图像进行修正的模式。该模式例如是后述的BIO、OBMC以及LIC。
图59是表示预测图像的生成的一例的流程图。
帧间预测部126生成预测图像(步骤Sm_1)，并且通过上述任一个模式来修正该预测图像(步骤Sm_2)。
图60是表示生成预测图像的另一例的流程图。
帧间预测部126导出当前块的MV(步骤Sn_1)。接下来，帧间预测部126使用该MV生成预测图像(步骤Sn_2)，并且判定是否进行修正处理(步骤Sn_3)。这里，当判定为进行修正处理时(步骤Sn_3中为是)，帧间预测部126通过修正该预测图像来生成最终预测图像(步骤Sn_4)。另外，在后述的LIC中，也可以在步骤Sn_4中修正亮度和色差。另一方面，当判定为不进行修正处理时(步骤Sn_3中为否)，帧间预测部126不修正该预测图像地输出该预测图像作为最终预测图像(步骤Sn_5)。
[运动补偿＞OBMC]
不仅可以使用通过运动搜索得到的当前块的运动信息，而且可以使用相邻块的运动信息来生成帧间预测图像。具体而言，也可以通过对基于通过(参照图片内的)运动搜索得到的运动信息的预测图像和基于(当前图片内的)相邻块的运动信息的预测图像进行加权相加，以当前块内的子块单位生成帧间预测图像。这样的帧间预测(运动补偿)有时被称为OBMC(overlapped block motion compensation，重叠块运动补偿)或OBMC模式。
在OBMC模式中，表示用于OBMC的子块的尺寸的信息(例如称为OBMC块尺寸)也可以以序列级进行信号化。并且，表示是否应用OBMC模式的信息(例如称为OBMC标志)也可以以CU级进行信号化。另外，这些信息的信号化的级别不需要限定于序列级以及CU级，也可以是其他级(例如图片级、切片级、砖块级、CTU级或者子块级)。
对OBMC模式进行更具体的说明。图61和图62是用于说明基于OBMC的预测图像修正处理的概要的流程图和概念图。
首先，如图62所示，使用分配给当前块的MV，取得基于通常的运动补偿的预测图像(Pred)。在图62中，箭头“MV”指向参照图片，并且表示当前图片的当前块参照哪个块以得到预测图像。
接着，将对已编码的左相邻块已经导出的MV(MV_L)应用(再利用)到当前块，取得预测图像(Pred_L)。MV(MV_L)由从当前块指向参照图片的箭头“MV_L”表示。然后，通过重叠2个预测图像Pred和Pred_L，进行预测图像的第1次修正。这具有混合相邻块间的边界的效果。
同样地，将对已编码的上相邻块已经导出的MV(MV_U)应用(再利用)到当前块，取得预测图像(Pred_U)。MV(MV_U)由从当前块指向参照图片的箭头“MV_U”表示。然后，通过将预测图像Pred_U与进行了第1次修正的预测图像(例如，Pred和Pred_L)重合来进行预测图像的第2次修正。这具有混合相邻块间的边界的效果。通过第2次修正得到的预测图像是与相邻块的边界被混合(平滑)的当前块的最终预测图像。
此外，上述的例子是使用了左相邻以及上相邻的块的2路径的修正方法，但该修正方法也可以是还使用了右相邻及/或下相邻的块的3路径或者其以上的路径的修正方法。
另外，进行重合的区域也可以不是块整体的像素区域，而仅是块边界附近的一部分区域。
另外，在此说明了OBMC的预测图像修正处理，所述OBMC的预测图像修正处理用于通过将1张参照图片与追加的预测图像Pred_L和Pred_U重合而得到1张预测图像Pred。但是，在基于多个参照图像来修正预测图像的情况下，也可以对多个参照图片分别应用同样的处理。在这种情况下，通过进行基于多个参照图片的OBMC的图像修正，在从各个参照图片取得了被修正的预测图像后，通过进一步重合该取得的多个修正预测图像来取得最终预测图像。
另外，在OBMC中，当前块的单位可以是PU单位，也可以是将PU进一步分割后的子块单位。
作为判定是否应用OBMC的方法，例如有使用表示是否应用OBMC的信号即obmc_flag的方法。作为具体的一例，编码装置100也可以判定当前块是否属于运动复杂的区域。编码装置100在属于运动复杂的区域的情况下，作为obmc_flag设定值1并应用OBMC来进行编码，在不属于运动复杂的区域的情况下，作为obmc_flag设定值0并不应用OBMC地进行块的编码。另一方面，在解码装置200中，通过对流中记述的obmc_flag进行解码，根据该值切换是否应用OBMC来进行解码。
[运动补偿＞BIO]
接着，对导出MV的方法进行说明。首先，说明基于假定了等速直线运动的模型来导出MV的模式。该模式有时被称作BIO(bi-directional optical flow，双向光流)模式。另外，也可以将该bi-directional optical flow表述为BDOF来代替BIO。
图63是用于说明假定了等速直线运动的模型的图。在图63中，(vx，vy)表示速度矢量，τ0、τ1分别表示当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离。(MVx0，MVy0)表示与参照图片Ref0对应的MV，(MVx1，MVy1)表示与参照图片Ref1对应的MV。
此时，在速度矢量(vx，vy)的等速直线运动的假定下，(MVx0，MVy0)及(MVx1，MVy1)分别被表示为(vxτ0，vyτ0)及(-vxτ1，-vyτ1)，以下的光流(optical flow)等式(2)成立。
【数式3】
Figure BDA0003484388780000581
这里，I(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积的和等于零。也可以是，基于该光流等式与埃尔米特内插值(Hermite interpolation)的组合，对从候选MV列表等得到的块单位的运动矢量以像素单位进行修正。
另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置200侧导出MV。例如，也可以基于多个相邻块的MV，以子块单位导出运动矢量。
图64是表示按照BIO的帧间预测的一例的流程图。另外，图65是表示进行该按照BIO的帧间预测的帧间预测部126的功能结构的一例的图。
如图65所示，帧间预测部126例如具备存储器126a、插补图像导出部126b、梯度图像导出部126c、光流导出部126d、修正值导出部126e以及预测图像修正部126f。此外，存储器126a也可以是帧存储器122。
帧间预测部126使用与包含当前块的图片(Cur Pic)不同的2张参照图片(Ref0，Ref1)，导出2个运动矢量(M0，M1)。然后，帧间预测部126使用该2个运动矢量(M0，M1)来导出当前块的预测图像(步骤Sy_1)。另外，运动矢量M0是与参照图片Ref0对应的运动矢量(MVx0、MVy0)，运动矢量M1是与参照图片Ref1对应的运动矢量(MVx1、MVy1)。
接着，插补图像导出部126b参照存储器126a，使用运动矢量M0和参照图片L0导出当前块的插补图像I0。另外，插补图像导出部126b参照存储器126a，使用运动矢量M1和参照图片L1导出当前块的插补图像I1(步骤Sy_2)。这里，插补图像I0是针对当前块导出的、参照图片Ref0中包含的图像，插补图像I1是针对当前块导出的、参照图片Ref1中包含的图像。插补图像I0和插补图像I1分别可以是与当前块相同的尺寸。或者，为了适当地导出后述的梯度图像，插补图像I0以及插补图像I1分别可以是比当前块大的图像。此外，插补图像I0和I1可以包含应用运动矢量(M0，M1)和参照图片(L0，L1)、以及运动补偿滤波器而导出的预测图像。
另外，梯度图像导出部126c根据插补图像I0以及插补图像I1，导出当前块的梯度图像(Ix0，Ix1，Iy0，Iy1)(步骤Sy_3)。此外，水平方向的梯度图像是(Ix0，Ix1)，垂直方向的梯度图像是(Iy0，Iy1)。梯度图像导出部126c例如也可以通过对插补图像应用梯度滤波器来导出该梯度图像。梯度图像只要表示沿着水平方向或垂直方向的像素值的空间变化量即可。
接着，光流导出部126d以构成当前块的多个子块单位，使用插补图像(I0、I1)和梯度图像(Ix0，Ix1，Iy0，Iy1)导出作为上述速度矢量的光流(vx、vy)(步骤Sy_4)。光流是修正像素的空间移动量的系数，也可以被称为局部运动估计值、修正运动矢量或修正权重矢量。作为一例，子块可以是4x4像素的子CU。另外，光流的导出也可以不是以子块单位，而是以像素单位等其他单位来进行。
接下来，帧间预测部126使用光流(vx，vy)来修正当前块的预测图像。例如，修正值导出部126e使用光流(vx，vy)导出当前块中包含的像素的值的修正值(步骤Sy_5)。而且，预测图像修正部126f也可以使用修正值来修正当前块的预测图像(步骤Sy_6)。另外，修正值可以以各像素单位导出，也可以以多个像素单位或子块单位导出。
此外，BIO的处理流程并不限定于图64所公开的处理。既可以仅实施图64所公开的处理的一部分的处理，也可以追加或置换不同的处理，也可以按照不同的处理顺序执行。
[运动补偿＞LIC]
接着，对使用LIC(local illumination compensation)来生成预测图像(预测)的模式的一例进行说明。
图66A是用于说明使用了基于LIC的亮度修正处理的预测图像生成方法的一例的图。另外，图66B是表示使用了该LIC的预测图像生成方法的一例的流程图。
首先，帧间预测部126从已编码的参照图片导出MV，取得与当前块对应的参照图像(步骤Sz_1)。
接着，帧间预测部126对当前块提取表示在参照图片和当前图片中亮度值如何变化的信息(步骤Sz_2)。该提取是基于当前图片中的已编码的左相邻参照区域(周边参照区域)及已编码的上相邻参照区域(周边参照区域)的亮度像素值、和由导出的MV指定的参照图片内的同等位置处的亮度像素值来进行的。然后，帧间预测部126使用表示亮度值如何变化的信息，计算亮度修正参数(步骤Sz_3)。
帧间预测部126通过应用该亮度修正参数对由MV指定的参照图片内的参照图像进行亮度修正处理，生成对于当前块的预测图像(步骤Sz_4)。即，对作为由MV指定的参照图片内的参照图像的预测图像，进行基于亮度修正参数的修正。在该修正中，可以修正亮度，也可以修正色差。即，也可以使用表示色差如何变化的信息来计算色差的修正参数，进行色差的修正处理。
另外，图66A中的周边参照区域的形状是一例，也可以使用其以外的形状。
此外，这里对根据1张参照图片生成预测图像的处理进行了说明，但在根据多张参照图片生成预测图像的情况下也是同样的，也可以在对从各个参照图片取得的参照图像以与上述同样的方法进行亮度修正处理后生成预测图像。
作为是否应用LIC的判定的方法，例如有使用作为表示是否应用LIC的信号的lic_flag的方法。作为具体的一例，在编码装置100中，判定当前块是否属于发生了亮度变化的区域，在属于发生了亮度变化的区域的情况下，作为lic_flag而设定值1，应用LIC进行编码，在不属于发生了亮度变化的区域的情况下，作为lic_flag而设定值0，不应用LIC而进行编码。另一方面，在解码装置200中，也可以通过将记述在流中的lic_flag解码，根据其值切换是否应用LIC而进行解码。
作为是否应用LIC的判定的其他方法，例如还有按照在周边块是否应用了LIC来判定的方法。作为具体的一例，在当前块由合并模式进行处理的情况下，帧间预测部126判定在合并模式中的MV的导出时所选择的周边的已编码的块是否应用LIC进行了编码。帧间预测部126根据其结果，切换是否应用LIC而进行编码。另外，在该例的情况下，相同的处理也适用于解码装置200侧。
使用图66A及图66B对LIC(亮度修正处理)进行了说明，以下，对其详细内容进行说明。
首先，帧间预测部126从作为已编码图片的参照图片导出用于取得与当前块对应的参照图像的MV。
接着，帧间预测部126对当前块，使用左相邻及上相邻的已编码的周边参照区域的亮度像素值和位于由MV指定的参照图片内的同等位置的亮度像素值，提取表示在参照图片和当前图片中亮度值如何变化的信息，计算亮度修正参数。例如，将当前图片内的周边参照区域内的某像素的亮度像素值设为p0，将与该像素同等位置的参照图片内的周边参照区域内的像素的亮度像素值设为p1。帧间预测部126对周边参照区域内的多个像素计算用于优化A×p1+B＝p0的系数A和B作为亮度修正参数。
接下来，帧间预测部126通过使用亮度修正参数对由MV指定的参照图片内的参照图像进行亮度修正处理，生成针对当前块的预测图像。例如，将参照图像内的亮度像素值设为p2，将亮度修正处理后的预测图像的亮度像素值设为p3。帧间预测部126通过对参照图像内的各像素计算A×p2+B＝p3来生成亮度修正处理后的预测图像。
此外，也可以使用图66A所示的周边参照区域的一部分。例如，也可以将包含从上相邻像素以及左相邻像素分别间隔剔除的规定数量的像素的区域用作周边参照区域。此外，周边参照区域不限于与当前块相邻的区域，也可以是不与当前块相邻的区域。此外，在图66A所示的例子中，参照图片内的周边参照区域是从当前图片内的周边参照区域中由当前图片的MV指定的区域，但也可以是由其他MV指定的区域。例如，该其他MV也可以是当前图片内的周边参照区域的MV。
另外，在此，说明了编码装置100中的动作，但解码装置200中的动作也是同样的。
此外，LIC不仅应用于亮度，也可以应用于色差。此时，可以对Y、Cb以及Cr的每一个单独地导出修正参数，也可以对任一个使用共通的修正参数。
此外，LIC也可以以子块单位来应用。例如，也可以使用当前子块的周边参照区域和由当前子块的MV指定的参照图片内的参照子块的周边参照区域来导出修正参数。
[预测控制部]
预测控制部128选择帧内预测图像(从帧内预测部124输出的像素或信号)及帧间预测图像(从帧间预测部126输出的像素或信号)中的某一个，将所选择的预测图像向减法部104及加法部116输出。
[预测参数生成部]
预测参数生成部130可以将与在帧内预测、帧间预测以及预测控制部128中的预测图像的选择等有关的信息作为预测参数，输出到熵编码部110。熵编码部110可以基于从预测参数生成部130输入的该预测参数和从量化部108输入的量化系数来生成流。预测参数也可以在解码装置200中使用。解码装置200也可以接收流并进行解码，进行与在帧内预测部124、帧间预测部126以及预测控制部128中进行的预测处理相同的处理。预测参数可以包括选择预测信号(例如，MV、预测类型，或者帧内预测部124或帧间预测部126使用的预测模式)，或者基于在帧内预测部124、帧间预测部126和预测控制部128中进行的预测处理或表示该预测处理的任意索引、标志或值。
[解码装置]
接着，对能够将从上述的编码装置100输出的流进行解码的解码装置200进行说明。图67是表示实施方式的解码装置200的功能结构的一例的框图。解码装置200是将编码后的图像即流以块单位进行解码的装置。
如图67所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、循环滤波部212、帧存储器214、帧内预测部216、帧间预测部218、预测控制部220、预测参数生成部222和分割决定部224。另外，帧内预测部216以及帧间预测部218分别构成为预测处理部的一部分。
[解码装置的安装例]
图68是表示解码装置200的安装例的框图。解码装置200具备处理器b1以及存储器b2。例如，图67所示的解码装置200的多个构成要素由图68所示的处理器b1以及存储器b2安装实现。
处理器b1是进行信息处理的电路，是可访问存储器b2的电路。例如，处理器b1是对流进行解码的专用或通用的电子电路。处理器b1也可以是CPU那样的处理器。另外，处理器b1也可以是多个电子电路的集合体。另外，例如，处理器b1也可以起到图67等所示的解码装置200的多个构成要素中的、除了用于存储信息的构成要素的多个构成要素的作用。
存储器b2是存储处理器b1对流进行解码用的信息的专用或通用的存储器。存储器b2既可以是电子电路，也可以与处理器b1连接。另外，存储器b2也可以包含在处理器b1中。另外，存储器b2也可以是多个电子电路的集合体。另外，存储器b2既可以是磁盘或者光盘等，也可以表现为储存器或者记录介质等。另外，存储器b2既可以是非易失性存储器，也可以是易失性存储器。
例如，存储器b2可以存储图像，也可以存储流。另外，在存储器b2中也可以存储用于处理器b1对流进行解码的程序。
另外，例如，存储器b2也可以起到图67等所示的解码装置200的多个构成要素中的用于存储信息的构成要素的作用。具体而言，存储器b2可以起到图67所示的块存储器210及帧存储器214的作用。更具体而言，在存储器b2中可以存储重构图像(具体而言，已重构块或已重构图片等)。
另外，在解码装置200中，可以不安装图67等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图67等所示的多个构成要素的一部分可以包含于其他装置，也可以由其他装置执行上述的多个处理的一部分。
以下，在说明了解码装置200的整体处理的流程之后，对解码装置200中包含的各构成要素进行说明。此外，对于解码装置200中包含的各构成要素中的进行与编码装置100中包含的构成要素同样的处理的构成要素，省略详细说明。例如，解码装置200中包含的逆量化部204、逆变换部206、加法部208、块存储器210、帧存储器214、帧内预测部216、帧间预测部218、预测控制部220和循环滤波部212分别进行与编码装置100中包含的逆量化部112、逆变换部114、加法部116、块存储器118、帧存储器122、帧内预测部124、帧间预测部126、预测控制部128和循环滤波部120相同的处理。
[解码处理的整体流程]
图69是表示由解码装置200进行的整体的解码处理的一例的流程图。
首先，解码装置200的分割决定部224基于从熵解码部202输入的参数，决定图片中包含的多个固定尺寸的块(128×128像素)各自的分割样式(步骤Sp_1)。该分割样式是由编码装置100选择的分割样式。然后，解码装置200对构成该分割样式的多个块分别进行步骤Sp_2～Sp_6的处理。
熵解码部202对当前块的编码后的量化系数和预测参数进行解码(具体而言，熵解码)(步骤Sp_2)。
接着，逆量化部204和逆变换部206通过对多个量化系数进行逆量化和逆变换，复原该当前块的预测残差(步骤Sp_3)。
接下来，由帧内预测部216、帧间预测部218和预测控制部220构成的预测处理部生成当前块的预测图像(步骤Sp_4)。
接着，加法部208通过对预测残差加上预测图像，将当前块重构为重构图像(也称为解码图像块)(步骤Sp_5)。
而且，当生成该重构图像时，循环滤波部212对该重构图像进行滤波(步骤Sp_6)。
然后，解码装置200判定图片整体的解码是否已完成(步骤Sp_7)，在判定为未完成的情况下(步骤Sp_7中为否)，反复执行从步骤Sp_1起的处理。
此外，这些步骤Sp_1～Sp_7的处理可以由解码装置200顺序地进行，这些处理中的一部分的多个处理可以并行地进行，也可以调换顺序。
[分割决定部]
图70是表示分割决定部224与其他构成要素的关系的图。作为一例，分割决定部224也可以进行以下的处理。
分割决定部224从例如块存储器210或帧存储器214收集块信息，进一步从熵解码部202取得参数。而且，分割决定部224可以基于该块信息和参数来决定固定尺寸的块的分割样式。并且，分割决定部224也可以将表示该决定的分割样式的信息输出到逆变换部206、帧内预测部216以及帧间预测部218。逆变换部206也可以基于由来自分割决定部224的信息表示的分割样式，对变换系数进行逆变换。帧内预测部216和帧间预测部218可以基于由来自分割决定部224的信息表示的分割样式来生成预测图像。
[熵解码部]
图71是表示熵解码部202的功能结构的一例的框图。
熵解码部202通过对流进行熵解码，生成量化系数、预测参数以及与分割样式相关的参数等。在该熵解码中例如使用CABAC。具体而言，熵解码部202例如具备二值算术解码部202a、上下文控制部202b以及多值化部202c。二值算术解码部202a使用由上下文控制部202b导出的上下文值，对流以二值信号进行算术解码。与编码装置100的上下文控制部110b同样地，上下文控制部202b导出与句法要素的特征或周围的状况相应的上下文值、即二值信号的发生概率。多值化部202c进行将从二值算术解码部202a输出的二值信号变换为表示上述的量化系数等的多值信号的多值化(debinarize)。该多值化按照上述的二值化的方式进行。
熵解码部202以块单位将量化系数向逆量化部204输出。熵解码部202也可以向帧内预测部216、帧间预测部218以及预测控制部220输出流(参照图1)中包含的预测参数。帧内预测部216、帧间预测部218和预测控制部220能够执行与由编码装置100侧的帧内预测部124、帧间预测部126和预测控制部128进行的处理相同的预测处理。
[熵解码部]
图72是表示熵解码部202中的CABAC的流程的图。
首先，在熵解码部202中的CABAC中，进行初始化。在该初始化中，进行二值算数解码部202c中的初始化和初始上下文值的设定。然后，二值算数解码部202c和多值化部202c例如对CTU的编码数据执行算术解码和多值化。此时，上下文控制部202b在每次进行算术解码时进行上下文值的更新。然后，上下文控制部202b使上下文值退避作为后处理。该退避的上下文值例如用于针对下一个CTU的上下文值的初始值。
[逆量化部]
逆量化部204对作为来自熵解码部202的输入的当前块的量化系数进行逆量化。具体而言，逆量化部204对于当前块的量化系数，分别基于与该量化系数对应的量化参数，对该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。
图73是表示逆量化部204的功能结构的一例的框图。
逆量化部204具备例如量化参数生成部204a、预测量化参数生成部204b、量化参数存储部204d和逆量化处理部204e。
图74是表示由逆量化部204进行的逆量化的一例的流程图。
作为一例，逆量化部204可以基于图74所示的流程，按每个CU实施逆量化处理。具体而言，量化参数生成部204a判定是否进行逆量化(步骤Sv_11)。在此，当判定为进行逆量化时(步骤Sv_11中为是)，量化参数生成部204a从熵解码部202取得当前块的差分量化参数(步骤Sv_12)。
接着，预测量化参数生成部204b从量化参数存储部204d取得与当前块不同的处理单位的量化参数(步骤Sv_13)。预测量化参数生成部204b基于该所取得的量化参数，生成当前块的预测量化参数(步骤Sv_14)。
然后，量化参数生成部204a将从熵解码部202取得的当前块的差分量化参数和由预测量化参数生成部204b生成的当前块的预测量化参数相加(步骤Sv_15)。通过该相加，生成当前块的量化参数。此外，量化参数生成部204a将该当前块的量化参数保存在量化参数存储部204d中(步骤Sv_16)。
接着，逆量化处理部204e使用在步骤Sv_15中生成的量化参数，将当前块的量化系数逆量化为变换系数(步骤Sv_17)。
此外，差分量化参数也可以以比特序列级、图片级、切片级、砖块级或CTU级进行解码。另外，也可以将量化参数的初始值以序列级、图片级、切片级、砖块级或者CTU级进行解码。此时，量化参数可以使用量化参数的初始值和差分量化参数来生成。
此外，逆量化部204可以具备多个逆量化器，也可以使用从多个逆量化方法中选择的逆量化方法对量化系数进行逆量化。
[逆变换部]
逆变换部206通过对作为来自逆量化部204的输入的变换系数进行逆变换，将预测残差复原。
例如在从流读解出的信息表示应用EMT或AMT的情况下(例如AMT标志是真)，逆变换部206基于读解出的表示变换类型的信息，对当前块的变换系数进行逆变换。
此外，例如在从流读解出的信息表示应用NSST的情况下，逆变换部206对变换系数应用逆再变换。
图75是表示由逆变换部206进行的处理的一例的流程图。
例如，逆变换部206判定在流中是否存在表示不进行正交变换的信息(步骤St_11)。在此，当判定为不存在该信息时(步骤St_11中为否)，逆变换部206取得由熵解码部202进行了解码的表示变换类型的信息(步骤St_12)。接着，逆变换部206基于该信息，决定在编码装置100的正交变换中使用的变换类型(步骤St_13)。并且，逆变换部206使用该决定的变换类型进行逆正交变换(步骤St_14)。
图76是表示由逆变换部206进行的处理的另一例的流程图。
例如，逆变换部206判定变换尺寸是否为规定值以下(步骤Su_11)。在此，当判定为是规定值以下时(步骤Su_11中为是)，逆变换部206从熵解码部202取得表示第1变换类型群中包含的1个以上的变换类型中的哪一个变换类型被编码装置100使用的信息(步骤Su_12)。此外，这样的信息被熵解码部202解码并输出到逆变换部206。
逆变换部206基于该信息，决定在编码装置100中的正交变换中使用的变换类型(步骤Su_13)。然后，逆变换部206使用该决定出的变换类型对当前块的变换系数进行逆正交变换(步骤Su_14)。另一方面，当在步骤Su_11中判定为变换尺寸不是规定值以下时(步骤Su_11中为否)，逆变换部206使用第2变换类型群对当前块的变换系数进行逆正交变换(步骤Su_15)。
另外，作为一例，由逆变换部206进行的逆正交变换可以按每个TU按照图75或图76所示的流程来实施。另外，也可以不对表示在正交变换中使用的变换类型的信息进行解码，而是使用预先规定的变换类型进行逆正交变换。另外，具体而言，变换类型是DST7或DCT8等，在逆正交变换中，使用与该变换类型对应的逆变换基函数。
[加法部]
加法部208通过将作为来自逆变换部206的输入的预测残差与作为来自预测控制部220的输入的预测图像相加，重构当前块。即，生成当前块的重构图像。并且，加法部208将当前块的重构图像向块存储器210及循环滤波部212输出。
[块存储器]
块存储器210是用来将作为在帧内预测中参照的、当前图片内的块进行保存的存储部。具体而言，块存储器210保存从加法部208输出的重构图像。
[循环滤波部]
循环滤波部212对由加法部208生成的重构图像施以循环滤波，将实施了滤波后的重构图像向帧存储器214及显示装置等输出。
在从流读解出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器之中选择1个滤波器，对重构图像应用所选择的滤波器。
图77是表示循环滤波部212的功能结构的一例的框图。此外，循环滤波部212具有与编码装置100的循环滤波部120同样的结构。
循环滤波部212例如如图77所示，具备去块滤波处理部212a、SAO处理部212b以及ALF处理部212c。去块滤波处理部212a对重构图像施以上述的去块滤波处理。SAO处理部212b对去块滤波处理后的重构图像施以上述的SAO处理。另外，ALF处理部212c对SAO处理后的重构图像应用上述的ALF处理。此外，循环滤波部212可以不具备图77所公开的全部处理部，也可以仅具备一部分处理部。另外，循环滤波部212也可以是按照与图77中公开的处理顺序不同的顺序进行上述的各处理的结构。
[帧存储器]
帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器214保存由循环滤波部212实施了滤波后的重构图像。
[预测部(帧内预测部/帧间预测部/预测控制部)]
图78是表示由解码装置200的预测部进行的处理的一例的流程图。此外，作为一例，预测部由帧内预测部216、帧间预测部218和预测控制部220的全部或一部分构成要素构成。预测处理部例如包括帧内预测部216和帧间预测部218。
预测部生成当前块的预测图像(步骤Sq_1)。该预测图像也称为预测信号或预测块。另外，在预测信号中，例如有帧内预测信号或帧间预测信号。具体而言，预测部使用通过进行针对其他块的预测图像的生成、预测残差的复原、以及预测图像的相加而已经得到的重构图像，生成当前块的预测图像。解码装置200的预测部生成与由编码装置100的预测部生成的预测图像相同的预测图像。即，这些预测部中使用的预测图像的生成方法相互共通或对应。
重构图像例如可以是参照图片的图像，也可以是包含当前块的图片即当前图片内的已解码的块(即，上述的其他块)的图像。当前图片内的已解码的块例如是当前块的相邻块。
图79是表示由解码装置200的预测部进行的处理的另一例的流程图。
预测部判定用于生成预测图像的方式或模式(步骤Sr_1)。例如，该方式或模式可以基于例如预测参数等来判定。
在判定为第1方式是用于生成预测图像的模式的情况下，预测部按照该第1方式生成预测图像(步骤Sr_2a)。此外，在判定为第2方式是用于生成预测图像的模式的情况下，预测部按照该第2方式生成预测图像(步骤Sr_2b)。此外，在判定为第3方式是用于生成预测图像的模式的情况下，预测部按照该第3方式生成预测图像(步骤Sr_2c)。
第1方式、第2方式和第3方式是用于生成预测图像的互不相同的方式，并且可以是例如帧间预测方式、帧内预测方式和其他预测方式。在这样的预测方式中，也可以使用上述的重构图像。
图80A及图80B是表示在解码装置200的预测部中进行的处理的另一例的流程图。
作为一例，预测部也可以按照图80A及图80B所示的流程进行预测处理。另外，图80A及图80B所示的帧内块复制是属于帧间预测的1个模式，是当前图片中包含的块被参照为参照图像或者参照块的模式。即，在帧内块复制中，不参照与当前图片不同的图片。另外，图80A所示的PCM模式是属于帧内预测的1个模式，是不进行变换及量化的模式。
[帧内预测部]
帧内预测部216基于从流读解出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成当前块的预测图像(即帧内预测图像)。具体而言，帧内预测部216通过参照与当前块相邻的块的像素值(例如亮度值、色差值)进行帧内预测，由此生成帧内预测图像，将帧内预测图像向预测控制部220输出。
另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。
此外，在从流读解出的信息表示PDPC的应用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度，对帧内预测后的像素值进行修正。
图81是表示由解码装置200的帧内预测部216进行的处理的一例的图。
帧内预测部216首先判定表示1的MPM标志是否存在于流中(步骤Sw_11)。在此，当判定为存在表示1的MPM标志时(步骤Sw_11中为是)，帧内预测部216从熵解码部202取得MPM中的表示在编码装置100中选择的帧内预测模式的信息(步骤Sw_12)。此外，该信息被熵解码部202解码并输出到帧内预测部216。接下来，帧内预测部216决定MPM(步骤Sw_13)。MPM例如由6个帧内预测模式构成。然后，帧内预测部216从该MPM中包含的多个帧内预测模式中决定由在步骤Sw_12中取得的信息所示的帧内预测模式(步骤Sw_14)。
另一方面，当在步骤Sw_11中判定为在流中不存在表示1的MPM标志时(步骤Sw_11中为否)，帧内预测部216取得表示在编码装置100中选择出的帧内预测模式的信息(步骤Sw_15)。即，帧内预测部216从熵解码部202取得表示MPM中不包含的1个以上的帧内预测模式中的、在编码装置100中选择出的帧内预测模式的信息。此外，该信息被熵解码部202解码并输出到帧内预测部216。然后，帧内预测部216从该MPM中不包含的1个以上的帧内预测模式中，决定由在步骤Sw_15中取得的信息表示的帧内预测模式(步骤Sw_17)。
帧内预测部216按照在步骤Sw_14或步骤Sw_17中决定的帧内预测模式来生成预测图像(步骤Sw_18)。
[帧间预测部]
帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块的单位进行。另外，子块包含在块中，是小于块的单位。子块的尺寸可以是4x4像素，也可以是8x8像素，也可以是除此以外的尺寸。子块的尺寸也可以以切片、砖块、或图片等单位进行切换。
例如，帧间预测部218使用从流(例如从熵解码部202输出的预测参数)读解出的运动信息(例如MV)进行运动补偿，由此生成当前块或子块的帧间预测图像，将帧间预测图像输出到预测控制部220。
在从流读解出的信息表示应用OBMC模式的情况下，帧间预测部218不仅使用通过运动搜索得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测图像。
此外，在从流读解出的信息表示应用FRUC模式的情况下，帧间预测部218按照从流读解出的样式匹配的方法(双向匹配或模板匹配)进行运动搜索，由此导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿(预测)。
此外，帧间预测部218在应用BIO模式的情况下，基于假定了等速直线运动的模型导出MV。此外，在从流读解出的信息表示应用仿射模式的情况下，帧间预测部218基于多个相邻块的MV以子块单位导出MV。
[MV导出的流程]
图82是表示解码装置200中的MV导出的一例的流程图。
帧间预测部218例如判定是否对运动信息(例如MV)进行解码。例如，帧间预测部218可以根据流中包含的预测模式来判定，也可以基于流中包含的其他信息来判定。在此，当判定为对运动信息进行解码时，帧间预测部218在对该运动信息进行解码的模式下导出当前块的MV。另一方面，当判定为不对运动信息进行解码时，帧间预测部218在不对运动信息进行解码的模式下导出MV。
在此，MV导出的模式有后述的普通帧间模式、普通合并模式、FRUC模式以及仿射模式等。在这些模式中，对运动信息进行解码的模式有普通帧间模式、普通合并模式、以及仿射模式(具体而言，仿射帧间模式和仿射合并模式)等。此外，运动信息不仅可以包括MV，而且可以包括后述的预测MV选择信息。此外，不对运动信息进行解码的模式有FRUC模式等。帧间预测部218从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
图83是表示解码装置200中的MV导出的另一例的流程图。
帧间预测部218例如判定是否对差分MV进行解码，例如，帧间预测部218可以根据流中包含的预测模式来判定，也可以基于流中包含的其他信息来判定。在此，当判定为对差分MV进行解码时，帧间预测部218可以在对差分MV进行解码的模式下导出当前块的MV。在这种情况下，例如流中包含的差分MV被解码为预测参数。
另一方面，当判定为不对差分MV进行解码时，帧间预测部218在不对差分MV进行解码的模式下导出MV。在这种情况下，编码后的差分MV不包含在流中。
在此，如上所述，MV的导出模式有后述的普通帧间模式、普通合并模式、FRUC模式以及仿射模式等。在这些模式中，对差分MV进行编码的模式有普通帧间模式、以及仿射模式(具体而言，仿射帧间模式)等。此外，不对差分MV进行编码的模式有FRUC模式、普通合并模式、以及仿射模式(具体而言，仿射合并模式)等。帧间预测部218从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模式导出当前块的MV。
[MV导出＞普通帧间模式]
例如，在从流读解出的信息表示应用普通帧间模式的情况下，帧间预测部218基于从流读解出的信息以普通合并模式导出MV，并且使用该MV进行运动补偿(预测)。
图84是表示解码装置200中的由普通帧间模式进行的帧间预测的例子的流程图。
解码装置200的帧间预测部218按每个块进行针对该块的运动补偿。此时，帧间预测部218首先基于时间上或空间上位于当前块的周围的多个已解码块的MV等信息，针对该当前块取得多个候选MV(步骤Sg_11)。也就是说，帧间预测部218制作候选MV列表。
接着，帧间预测部218从在步骤Sg_11中取得的多个候选MV中，将N个(N为2以上的整数)候选MV分别作为预测运动矢量候选(也称为预测MV候选)，按照预先决定的优先顺序进行提取(步骤Sg_12)。另外，该优先顺序也可以是对N个预测MV候选的每一个而预先确定的。
接着，帧间预测部218从输入的流中解码预测MV选择信息，使用该解码后的预测MV选择信息，从该N个预测MV候选中选择1个预测MV候选作为当前块的预测MV(步骤Sg_13)。
接下来，帧间预测部218从输入的流中解码差分MV，并且通过将作为该解码的差分MV的差分值与选择出的预测MV相加来导出当前块的MV(步骤Sg_14)。
最后，帧间预测部218通过使用该导出的MV和已解码的参照图片对当前块进行运动补偿来生成该当前块的预测图像(步骤Sg_15)。步骤Sg_11～Sg_15的处理针对各块执行。例如，当对切片中包含的所有块分别执行步骤Sg_11～Sg_15的处理时，针对该切片的使用了普通帧间模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Sg_11～Sg_15的处理时，针对该图片的使用了普通帧间模式的帧间预测结束。此外，步骤Sg_11～Sg_15的处理也可以是，当不对切片中包含的所有块执行而对一部分块执行时，针对该切片的使用了普通帧间模式的帧间预测结束。步骤Sg_11～Sg_15的处理同样地，当对图片中包含的一部分的块执行时，使用了针对该图片的普通帧间模式的帧间预测也可以结束。
[MV导出>普通合并模式]
例如，在从流读解出的信息表示普通合并模式的应用的情况下，帧间预测部218在普通合并模式下导出MV，使用该MV进行运动补偿(预测)。
图85是表示解码装置200中的基于普通合并模式的帧间预测的例子的流程图。
帧间预测部218首先基于时间上或空间上位于当前块的周围的多个已解码块的MV等信息，针对该当前块取得多个候选MV(步骤Sh_11)。即，帧间预测部218制作候选MV列表。
接着，帧间预测部218通过从在步骤Sh_11中取得的多个候选MV中选择1个候选MV，导出当前块的MV(步骤Sh_12)。具体而言，帧间预测部218例如取得在流中作为预测参数而包含的MV选择信息，将由该MV选择信息识别的候选MV选择为当前块的MV。
最后，帧间预测部218通过使用该导出的MV和已解码参照图片对当前块进行运动补偿，生成该当前块的预测图像(步骤Sh_13)。步骤Sh_11～Sh_13的处理例如对各块执行。例如，当对切片中包含的所有块分别执行步骤Sh_11～Sh_13的处理时，针对该切片的使用了普通合并模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Sh_11～Sh_13的处理时，使用了针对该图片的普通合并模式的帧间预测结束。此外，步骤Sh_11～Sh_13的处理也可以是，当不对切片中包含的所有块执行而对一部分块执行时，针对该切片的使用了普通合并模式的帧间预测结束。步骤Sh_11～Sh_13的处理也可以是同样地，当对图片中包含的一部分块执行时，针对该图片的使用了普通合并模式的帧间预测结束。
[MV导出＞FRUC模式]
例如，在从流读解出的信息表示FRUC模式的应用的情况下，帧间预测部218在FRUC模式下导出MV，使用该MV进行运动补偿(预测)。在该情况下，运动信息不从编码装置100侧被信号化，而是在解码装置200侧被导出。例如，解码装置200也可以通过进行运动搜索来导出运动信息。在这种情况下，解码装置200不使用当前块的像素值来进行运动搜索。
图86是表示解码装置200中的基于FRUC模式的帧间预测的例子的流程图。
首先，帧间预测部218参照在当前块中空间上或时间上相邻的各已解码块的MV，生成将这些MV表示为候选MV的列表(即，是候选MV列表，并且也可以与普通合并模式的候选MV列表共通)(步骤Si_11)。接着，帧间预测部218从登记在候选MV列表中的多个候选MV中选择最佳候选MV(步骤Si_12)。例如，帧间预测部218计算候选MV列表中包含的各候选MV的评价值，基于该评价值选择1个候选MV作为最佳候选MV。然后，帧间预测部218基于选择出的最佳候选MV，导出用于当前块的MV(步骤Si_14)。具体而言，例如，选择出的最佳候选MV直接作为用于当前块的MV而导出。另外，例如，也可以通过在与选择出的最佳候选MV对应的参照图片内的位置的周边区域中进行样式匹配，来导出用于当前块的MV。即，对于最佳候选MV的周边的区域，进行使用了参照图片中的样式匹配和评价值的搜索，进而，在存在评价值成为好的值的MV的情况下，也可以将最佳候选MV更新为该MV，将其作为当前块的最终的MV。也可以不实施向具有更好的评价值的MV的更新。
最后，帧间预测部218通过使用该导出的MV和已解码参照图片对当前块进行运动补偿，生成该当前块的预测图像(步骤Si_15)。步骤Si_11～Si_15的处理例如对各块执行。例如，当对切片中包含的所有块分别执行步骤Si_11～Si_15的处理时，针对该切片的使用了FRUC模式的帧间预测结束。另外，当对图片中包含的所有块分别执行步骤Si_11～Si_15的处理时，针对该图片的使用了FRUC模式的帧间预测结束。也可以以子块单位与上述的块单位同样地进行处理。
[MV导出＞仿射合并模式]
例如，在从流读解出的信息表示仿射合并模式的应用的情况下，帧间预测部218在仿射合并模式下导出MV，使用该MV进行运动补偿(预测)。
图87是表示解码装置200中的基于仿射合并模式的帧间预测的例子的流程图。
在仿射合并模式中，帧间预测部218首先导出当前块的控制点各自的MV(步骤Sk_11)。如图46A所示，控制点是当前块的左上角以及右上角的点，或者如图46B所示，是当前块的左上角、右上角以及左下角的点。
例如，在使用图47A～图47C所示的MV的导出方法的情况下，如图47A所示，帧间预测部218按照已解码块A(左)、块B(上)、块C(右上)、块D(左下)和块E(左上)的顺序检查这些块，确定以仿射模式解码的最初的有效块。
帧间预测部218使用在所确定的仿射模式下解码出的最初的有效的块，导出控制点的MV。例如，在确定了块A、块A具有2个控制点的情况下，如图47B所示，帧间预测部218通过将包含块A的已解码块的左上角以及右上角的运动矢量v3以及v4投影于当前块，来计算当前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。由此，导出各控制点的MV。
另外，如图49A所示，在确定了块A、块A具有2个控制点的情况下，也可以计算3个控制点的MV，也可以如图49B所示那样确定块A，在块A具有3个控制点的情况下，计算2个控制点的MV。
另外，在流包含MV选择信息作为预测参数的情况下，帧间预测部218也可以使用该MV选择信息来导出当前块的各控制点的MV。
接着，帧间预测部218对当前块中包含的多个子块分别进行运动补偿。即，帧间预测部218针对该多个子块的每一个，使用2个运动矢量v0和v1和上述的式(1A)，或者使用3个运动矢量v0、v1和v2和上述的式(1B)，将该子块的MV计算为仿射MV(步骤Sk_12)。然后，帧间预测部218使用这些仿射MV和已解码参照图片对该子块进行运动补偿(步骤Sk_13)。当对当前块中包含的所有子块分别执行步骤Sk_12和Sk_13的处理时，针对该当前块的使用了仿射合并模式的帧间预测结束。即，对当前块进行运动补偿，并且生成该当前块的预测图像。
此外，在步骤Sk_11中，也可以生成上述的候选MV列表。候选MV列表例如也可以是包含针对各控制点使用多个MV导出方法而导出的候选MV的列表。多个MV导出方法可以是图47A～图47C所示的MV的导出方法、图48A及图48B所示的MV的导出方法、图49A及图49B所示的MV的导出方法、以及其他MV的导出方法的任意的组合。
另外，候选MV列表也可以包含仿射模式以外的以子块单位进行预测的模式的候选MV。
另外，作为候选MV列表，例如也可以生成包含具有2个控制点的仿射合并模式的候选MV和具有3个控制点的仿射合并模式的候选MV的候选MV列表。或者，也可以分别生成包含具有2个控制点的仿射合并模式的候选MV的候选MV列表和包含具有3个控制点的仿射合并模式的候选MV的候选MV列表。或者，也可以生成包含具有2个控制点的仿射合并模式和具有3个控制点的仿射合并模式中的一方的模式的候选MV的候选MV列表。
[MV导出＞仿射帧间模式]
例如，在从流读解出的信息表示仿射帧间模式的应用的情况下，帧间预测部218在仿射帧间模式下导出MV，使用该MV进行运动补偿(预测)。
图88是表示解码装置200中的基于仿射帧间模式的帧间预测的例子的流程图。
在仿射帧间模式中，首先，帧间预测部218导出当前块的2个或3个控制点各自的预测MV(v0，v1)或(v0，v1，v2)(步骤Sj_11)。控制点例如如图46A或图46B所示，是当前块的左上角、右上角或左下角的点。
帧间预测部218取得在流中作为预测参数包含的预测MV选择信息，使用由该预测MV选择信息识别的MV，导出当前块的各控制点的预测MV。例如，在使用图48A及图48B所示的MV的导出方法的情况下，帧间预测部218通过选择图48A或图48B所示的当前块的各控制点附近的已解码块中的、由预测MV选择信息识别的块的MV，导出当前块的控制点的预测MV(v0，v1)或(v0，v1，v2)。
接着，帧间预测部218例如取得在流中作为预测参数而包含的各差分MV，将当前块的各控制点的预测MV和与该预测MV对应的差分MV相加(步骤Sj_12)。由此，导出当前块的各控制点的MV。
接着，帧间预测部218对当前块中包含的多个子块分别进行运动补偿。即，帧间预测部218针对该多个子块的每一个，使用2个运动矢量v0和v1和上述的式(1A)，或者使用3个运动矢量v0、v1和v2和上述的式(1B)，将该子块的MV计算为仿射MV(步骤Sj_13)。然后，帧间预测部218使用这些仿射MV和已解码参照图片对该子块进行运动补偿(步骤Sj_14)。当对当前块中包含的所有子块分别执行步骤Sj_13和Sj_14的处理时，针对该当前块的使用了仿射合并模式的帧间预测结束。即，对当前块进行运动补偿，并且生成该当前块的预测图像。
此外，在步骤Sj_11中，也可以与步骤Sk_11同样地生成上述的候选MV列表。
[MV导出>三角模式]
例如，在从流读解出的信息表示三角模式的应用的情况下，帧间预测部218在三角模式下导出MV，使用该MV进行运动补偿(预测)。
图89是表示解码装置200中的基于三角模式的帧间预测的例子的流程图。
在三角模式中，首先，帧间预测部218将当前块分割为第1分区和第2分区(步骤Sx_11)。此时，帧间预测部218可以从流中取得与向各分区的分割相关的信息即分区信息作为预测参数。而且，帧间预测部218可以根据该分区信息将当前块分割为第1分区和第2分区。
接着，帧间预测部218首先基于时间上或空间上位于当前块的周围的多个已解码块的MV等信息，针对该当前块取得多个候选MV(步骤Sx_12)。即，帧间预测部218制作候选MV列表。
然后，帧间预测部218从在步骤Sx_11中取得的多个候选MV中，分别选择第1分区的候选MV和第2分区的候选MV作为第1MV和第2MV(步骤Sx_13)。此时，帧间预测部218也可以从流取得用于识别选择出的候选MV的MV选择信息作为预测参数。然后，帧间预测部218可以根据MV选择信息选择第1MV和第2MV。
接着，帧间预测部218通过使用该选择出的第1MV和已解码的参照图片来进行运动补偿，生成第1预测图像(步骤Sx_14)。同样地，帧间预测部218通过使用选择出的第2MV和已解码的参照图片来进行运动补偿，生成第2预测图像(步骤Sx_15)。
最后，帧间预测部218通过对第1预测图像和第2预测图像进行加权相加，生成当前块的预测图像(步骤Sx_16)。
[运动搜索＞DMVR]
例如，在从流读解出的信息表示DMVR的应用的情况下，帧间预测部218通过DMVR进行运动搜索。
图90是表示解码装置200中的基于DMVR的运动搜索的例子的流程图。
帧间预测部218首先在合并模式下导出当前块的MV(步骤Sl_11)。接着，帧间预测部218通过搜索由在步骤Sl_11中导出的MV表示的参照图片的周边区域，针对当前块导出最终的MV(步骤Sl_12)。即，通过DMVR决定当前块的MV。
图91是表示解码装置200中的基于DMVR的运动搜索的详细的一例的流程图。
首先，帧间预测部218在图58A所示的Step1中，计算初始MV表示的搜索位置(也称为开始点)和位于其周围的8个搜索位置的成本。并且，帧间预测部218判定开始点以外的搜索位置的成本是否为最小。在此，当判定为开始点以外的搜索位置的成本最小时，帧间预测部218移动到成本最小的搜索位置，进行图58A所示的Step2的处理。另一方面，如果开始点的成本最小，则帧间预测部218跳过图58A所示的Step2的处理而进行Step3的处理。
在图58A所示的Step2中，帧间预测部218将根据Step1的处理结果移动的搜索位置作为新的开始点，进行与Step1的处理同样的搜索。并且，帧间预测部218判定该开始点以外的搜索位置的成本是否最小。在此，若开始点以外的搜索位置的成本最小，则帧间预测部218进行Step4的处理。另一方面，若开始点的成本最小，则帧间预测部218进行Step3的处理。
在Step4中，帧间预测部218将该开始点的搜索位置作为最终搜索位置来处理，将初始MV所示的位置与该最终搜索位置的差分决定为差分矢量。
在图58A所示的Step3中，帧间预测部218基于在Step1或Step2的开始点的上下左右的4点的成本，决定成本最小的小数精度的像素位置，将该像素位置作为最终搜索位置。该小数精度的像素位置通过将位于上下左右的4点的矢量((0，1)、(0，-1)、(-1，0)、(1，0))以该4点各自的搜索位置的成本作为权重进行加权相加来决定。然后，帧间预测部218将初始MV所示的位置与最终搜索位置之间的差分决定为差分矢量。
[运动补偿＞BIO/OBMC/LIC]
例如，在从流读解出的信息表示预测图像的修正的应用的情况下，当生成预测图像时，帧间预测部218按照该修正的模式修正预测图像。该模式例如是上述的BIO、OBMC以及LIC等。
图92是表示解码装置200中的预测图像的生成的一例的流程图。
帧间预测部218生成预测图像(步骤Sm_11)，通过上述任一模式对该预测图像进行修正(步骤Sm_12)。
图93是表示解码装置200中的预测图像的生成的另一例的流程图。
帧间预测部218导出当前块的MV(步骤Sn_11)。接着，帧间预测部218使用该MV生成预测图像(步骤Sn_12)，判定是否进行修正处理(步骤Sn_13)。例如，帧间预测部218取得流中包含的预测参数，并且基于该预测参数判定是否进行修正处理。该预测参数例如是表示是否应用上述的各模式的标志。这里，当判定为进行修正处理时(步骤Sn_13中为是)，帧间预测部218通过修正该预测图像来生成最终的预测图像(步骤Sn_14)。此外，在LIC中，可以在步骤Sn_14中修正预测图像的亮度和色差。另一方面，当判定为不进行修正处理时(步骤Sn_13中为否)，帧间预测部218不修正该预测图像而将其作为最终的预测图像输出(步骤Sn_15)。
[运动补偿>OBMC]
例如，在从流读解出的信息表示OBMC的应用的情况下，当生成预测图像时，帧间预测部218按照OBMC对预测图像进行修正。
图94是表示解码装置200中的基于OBMC的预测图像的修正的例子的流程图。另外，图94的流程图表示使用了图62所示的当前图片以及参照图片的预测图像的修正的流程。
首先，如图62所示，帧间预测部218使用分配给当前块的MV来取得基于通常运动补偿的预测图像(Pred)。
接着，帧间预测部218将针对已解码的左相邻块已经导出的MV(MV_L)应用(再利用)到当前块，取得预测图像(Pred_L)。然后，帧间预测部218通过使2个预测图像Pred和Pred_L重合来进行预测图像的第1次修正。这具有使相邻块之间的边界混合的效果。
同样地，帧间预测部218将针对已解码的上相邻块已经导出的MV(MV_U)应用(再利用)到当前块，取得预测图像(Pred_U)。然后，帧间预测部218通过使预测图像Pred_U与进行了第1次修正的预测图像(例如，Pred和Pred_L)重合来进行预测图像的第2次修正。这具有使相邻块之间的边界混合的效果。通过第2次修正得到的预测图像是与相邻块的边界混合(平滑化)的、当前块的最终的预测图像。
[运动补偿＞BIO]
例如，在从流读解出的信息表示BIO的应用情况下，当生成预测图像时，帧间预测部218按照BIO对预测图像进行修正。
图95是表示解码装置200中的基于BIO的预测图像的修正的例子的流程图。
如图63所示，帧间预测部218使用与包含当前块的图片(CurPic)不同的2张参照图片(Ref0，Ref1)，导出2个运动矢量(M0，M1)。然后，帧间预测部218使用该2个运动矢量(M0，M1)来导出当前块的预测图像(步骤Sy_11)。另外，运动矢量M0是与参照图片Ref0对应的运动矢量(MVx0、MVy0)，运动矢量M1是与参照图片Ref1对应的运动矢量(MVx1、MVy1)。
接着，帧间预测部218使用运动矢量M0和参照图片L0导出当前块的插补图像I0。另外，帧间预测部218使用运动矢量M1和参照图片L1导出当前块的插补图像I1(步骤Sy_12)。这里，插补图像I0是针对当前块导出的、参照图片Ref0中包含的图像，插补图像I1是针对当前块导出的、参照图片Ref1中包含的图像。插补图像I0和插补图像I1可以分别是与当前块相同的尺寸。或者，为了适当地导出后述的梯度图像，插补图像I0和插补图像I1也可以分别是比当前块大的图像。此外，插补图像I0和I1可以包含应用运动矢量(M0，M1)和参照图片(L0，L1)、以及运动补偿滤波器而导出的预测图像。
另外，帧间预测部218从插补图像I0和插补图像I1中导出当前块的梯度图像(Ix0，Ix1，Iy0，Iy1)(步骤Sy_13)。此外，水平方向的梯度图像是(Ix0，Ix1)，垂直方向的梯度图像是(Ix0，Ix1)。帧间预测部218例如也可以通过对插补图像应用梯度滤波器来导出该梯度图像。梯度图像只要是表示沿着水平方向或垂直方向的像素值的空间变化量的图像即可。
接着，帧间预测部218以构成当前块的多个子块单位，使用插补图像(I0，I1)和梯度图像(Ix0，Ix1，Iy0，Iy1)导出作为上述的速度矢量的光流(vx，vy)(步骤Sy_14)。作为一例，子块可以是4x4像素的子CU。
接下来，帧间预测部218使用光流(vx，vy)来修正当前块的预测图像。例如，帧间预测部218使用光流(vx，vy)导出当前块中包含的像素的值的修正值(步骤Sy_15)。然后，帧间预测部218可以使用修正值来修正当前块的预测图像(步骤Sy_16)。另外，修正值可以以各像素单位导出，也可以以多个像素单位或子块单位导出。
此外，BIO的处理流程并不限定于图95所公开的处理。既可以仅实施图95所公开的处理的一部分的处理，也可以追加或置换不同的处理，也可以按照不同的处理顺序执行。
[运动补偿>LIC]
例如，在从流读解出的信息表示LIC的应用的情况下，当生成预测图像时，帧间预测部218按照LIC对预测图像进行修正。
图96是表示解码装置200中的基于LIC的预测图像的修正的例子的流程图。
首先，帧间预测部218使用MV，从已解码的参照图片中取得与当前块对应的参照图像(步骤Sz_11)。
接着，帧间预测部218针对当前块，提取表示在参照图片和当前图片中亮度值如何变化的信息(步骤Sz_12)。如图66A所示，该提取是基于当前图片中的已解码的左相邻参照区域(周边参照区域)以及已解码上相邻参照区域(周边参照区域)的亮度像素值、和由所导出的MV指定的参照图片内的同等位置的亮度像素值而进行的。然后，帧间预测部218使用表示亮度值如何变化的信息，计算亮度修正参数(步骤Sz_13)。
帧间预测部218通过对由MV指定的参照图片内的参照图像进行应用其亮度修正参数的亮度修正处理，生成针对当前块的预测图像(步骤Sz_14)。即，对作为由MV指定的参照图片内的参照图像的预测图像，进行基于亮度修正参数的修正。在该修正中，可以修正亮度，也可以修正色差。
[预测控制部]
预测控制部220选择帧内预测图像及帧间预测图像中的某一个，将所选择的预测图像，输出到加法部208。总体上，解码装置200侧的预测控制部220、帧内预测部216和帧间预测部218的结构、功能和处理可以对应于编码装置100侧的预测控制部128、帧内预测部124和帧间预测部126的结构、功能和处理。
[关于图片的分割方法]
图97是表示子图片、切片和瓦片之间的关系的概念图。在此，示出了使用子图片、切片和瓦片来分割的图片的分割方法的例子。具体而言，在图97的例子中，图片被分割为多个瓦片、多个切片以及多个子图片。
瓦片是通过将图片在横向和纵向上分割而得到的。在图97的例子中，图片在横向被二分割，在纵向被二分割，由此被分割为合计4个瓦片。
而且，在图97的例子中，各瓦片被区分为1个以上的切片。具体而言，左上瓦片被区分为1个切片，右上瓦片被区分为4个切片，左下瓦片被区分为2个切片，右下瓦片被区分为3个切片。在这种情况下，各个切片成为矩形，因此被称为矩形切片(Rectangular Slice)。矩形切片可以由构成矩形区域的多个瓦片构成，也可以由1个瓦片内的1个以上的CTU行构成。
而且，在图97的例子中，图片被分割为多个子图片，所述多个子图片分别作为汇总了1个以上的切片或1个以上的瓦片的单位。
子图片例如以如下目的使用。即，可以以子图片的单位从流中提取子图片，仅提取出的子图片作为流被传输，也可以被解码。另外，提取出的子图片也可以与其他流的子图片结合，作为1个流而被重构。
图98是表示瓦片与切片的关系的概念图。在图98的例子中，图片被分割为多个瓦片和多个切片。具体而言，图片在横向被四分割，在纵向被四分割，由此被分割为合计16个瓦片。
进而，在图98的例子中，多个瓦片构成1个切片，切片(1)由5个瓦片构成，切片(2)由5个瓦片构成，切片(3)由6个瓦片构成。此时，各切片将按照光栅扫描顺序连续的多个瓦片汇总并确定为1个切片，因此被称为光栅扫描切片(Raster-Scan Slice)。
[与子图片相关的句法的第1形态]
图99是第1形态的与子图片相关的句法结构图。图99示出了用于读解子图片索引的句法结构的例子。在图99中，subpic_idx[i]是针对瓦片索引为i的瓦片的子图片索引。
具体而言，在表示瓦片的数量的NumTilesInPic为1以上并且表示是否存在与子图片相关的信息的subpics_present_flag为真的情况下，按每个瓦片对子图片索引进行信号化。
本形态中的子图片是图片内的1个以上的瓦片的矩形区域。另外，确定为瓦片不包含在多个子图片中，切片不包含在多个子图片中。图100A及图100B表示本形态的具体例。
图100A是表示图片中的各区域的瓦片索引的概念图。具体而言，图100A示出了图片及图片内的多个区域。图100A所示的多个区域分别是瓦片。在图100A中用数值表现的瓦片索引被分配给各瓦片。
图100B是表示图片中的各区域的子图片索引的概念图。在图100B中也示出了图片及图片内的多个区域。与图100A同样地，图100B所示的多个区域分别是瓦片。在图100B中用数值表现的子图片索引被分配给各瓦片。
例如，在瓦片索引为0的瓦片、以及瓦片索引为6的瓦片中，分配0作为子图片索引。即，瓦片索引为0的瓦片和瓦片索引为6的瓦片构成子图片索引为0的1个子图片。
该句法也可以在NumTilesInPic大于1的情况下进行信号化。
[与子图片相关的句法的第2形态]
图101是第2形态的与子图片相关的句法结构图。在该例中，抑制对未连结的多个瓦片分配相同的子图片索引。另外，抑制对构成非矩形区域的多个瓦片分配相同的子图片索引。
在此，NumSubpicsInPic表示图片中的子图片的数量。图片中的子图片的数量可以由SPS或PPS得到。
另外，top_left_tile_idx[i]是子图片索引为i的子图片中的左上瓦片的瓦片索引。另外，bottom_right_tile_idx[i]是子图片索引为i的子图片中的右下瓦片的瓦片索引。在图100A和图100B的例子中，这些值如下确定。
top_left_tile_idx[0]＝0
bottom_right_tile_idx[0]＝6
top_left_tile_idx[1]＝1
bottom_right_tile_idx[1]＝7
top_left_tile_idx[2]＝2
bottom_right_tile_idx[2]＝8
…
即，子图片索引为0的子图片中的左上瓦片的瓦片索引为0。另外，子图片索引为0的子图片中的右下瓦片的瓦片索引为6。
另外，子图片索引为1的子图片中的左上瓦片的瓦片索引为1。另外，子图片索引为1的子图片中的右下瓦片的瓦片索引为7。
另外，子图片索引为2的子图片中的左上瓦片的瓦片索引为2。另外，子图片索引为2的子图片中的右下瓦片的瓦片索引为8。
该句法也可以在NumTilesInPic大于1的情况下进行信号化。
[与子图片相关的句法的第3形态]
图102是第3形态的与子图片相关的句法结构图。在该例中，子图片索引由砖块定义。另外，在该例中，subpic_idx[i]是针对砖块索引为i的砖块的子图片索引。
具体而言，在表示砖块的数量的NumBricksInPic为1以上且表示是否存在与子图片相关的信息的subpics_present_flag为真的情况下，子图片索引按每个砖块进行信号化。
本形态中的子图片是图片内的1个以上的砖块的矩形区域。另外，确定砖块不包含在多个子图片中。图103A～图103C表示本形态的具体例。
图103A是表示图片中的各区域的砖块索引的概念图。具体而言，图103A示出了图片及图片内的多个区域。另外，在图103A中，数值表示砖块索引。相同数值的1个以上的区域构成1个砖块。例如，左上方的区域和其下方的区域构成砖块索引为0的1个砖块。
图103B是表示图片中的各区域的瓦片索引的概念图。在图103B中也示出了图片及图片内的多个区域。另外，在图103B中，数值表示瓦片索引。相同数值的1个以上的区域构成1个瓦片。例如，左上方的区域和其下方的区域构成瓦片索引为0的1个瓦片。
图103C是表示图片中的各区域的子图片索引的概念图。在图103C中也示出了图片及图片内的多个区域。另外，在图103C中，数值表示子图片索引。相同数值的1个以上的区域构成1个子图片。例如，左上方的区域和其下方的区域构成子图片索引为0的1个子图片。
在该例中，图片内的多个子图片与图片内的多个砖块一致。另外，对图片内的各个砖块分配与该砖块的砖块索引相同的值作为子图片索引。另外，瓦片索引为5的瓦片横跨子图片索引为5的子图片和子图片索引为6的子图片。
该句法也可以在NumBricksInPic大于1的情况下进行信号化。
[与子图片相关的句法的第4形态]
图104是第4形态的与子图片相关的句法结构图。在该例中，抑制对未连结的多个砖块分配相同的子图片索引。另外，抑制对构成非矩形区域的多个砖块分配相同的子图片索引。
在此，NumSubpicsInPic表示图片中的子图片的数量。图片中的子图片的数量可以由SPS或PPS得到。
此外，top_left_brick_idx[i]是子图片索引为i的子图片中的左上砖块的砖块索引。另外，bottom_right_tile_idx[i]是子图片索引为i的子图片中的右下砖块的砖块索引。在图103A～图103C的例子中，这些值如下确定。
top_left_brick_idx[0]＝0
bottom_right_brick_idx[0]＝0
top_left_brick_idx[1]＝1
bottom_right_brick_idx[1]＝1
top_left_brick_idx[2]＝2
bottom_right_brick_idx[2]＝2
…
即，子图片索引为0的子图片中的左上砖块的砖块索引为0。另外，子图片索引为0的子图片中的右下砖块的砖块索引为0。
另外，子图片索引为1的子图片中的左上砖块的砖块索引为1。另外，子图片索引为1的子图片中的右下砖块的砖块索引为1。
另外，子图片索引为2的子图片中的左上砖块的砖块索引为2。另外，子图片索引为2的子图片中的右下砖块的砖块索引为2。
该句法也可以在NumBricksInPic大于1的情况下进行信号化。
[与子图片相关的句法的第5形态]
图105是第5形态的与子图片相关的句法结构图。在该例中，子图片索引由切片定义。另外，在该例中，subpic_idx[i]是针对切片索引为i的切片的子图片索引。
具体而言，在表示切片的数量的NumSlicesInPic为1以上且表示是否存在与子图片相关的信息的subpics_present_flag为真的情况下，按每个切片对子图片索引进行信号化。
本形态中的子图片是图片内的1个以上的切片的矩形区域。另外，切片确定为不包含在多个子图片中。即，对1个切片分配1个子图片索引。在子图片有效的情况下，也可以使用矩形切片作为切片。图106A～图106C表示本形态的具体例。
图106A是表示图片中的各区域的切片索引的概念图。具体而言，图106A示出了图片及图片内的多个区域。另外，在图106A中，数值表示切片索引。相同数值的1个以上的区域构成1个切片。例如，左上方的区域和其下方的区域构成切片索引为0的1个切片。
图106B是表示图片中的各区域的瓦片索引的概念图。图106B也示出了图片及图片内的多个区域。另外，在图106B中，数值表示瓦片索引。相同数值的1个以上的区域构成1个瓦片。例如，左上方的区域和其下方的区域构成瓦片索引为0的1个瓦片。
图106C是表示图片中的各区域的子图片索引的概念图。在图106C中也示出了图片及图片内的多个区域。另外，在图106C中，数值表示子图片索引。相同数值的1个以上的区域构成1个子图片。例如，左上方的区域和其下方的区域构成子图片索引为0的1个子图片。
在该例中，图片内的多个子图片与图片内的多个切片一致。另外，在图片内的各切片中，分配与该切片的切片索引相同的值作为子图片索引。另外，瓦片索引为5的瓦片横跨子图片索引为5的子图片和子图片索引为6的子图片。
该句法也可以在NumSlicesInPic大于1的情况下进行信号化。
[与子图片相关的句法的第6形态]
图107是第6形态的与子图片相关的句法结构图。在该例中，抑制对未连结的多个切片分配相同的子图片索引。另外，抑制对构成非矩形区域的多个切片分配相同的子图片索引。
在此，NumSubpicsInPic表示图片中的子图片的数量。图片中的子图片的数量可以由SPS或PPS得到。
此外，top_left_slice_idx[i]是子图片索引为i的子图片中的左上切片的切片索引。另外，bottom_right_slice_idx[i]是子图片索引为i的子图片中的右下切片的切片索引。在图106A～图106C的例中，这些值如下确定。
top_left_slice_idx[0]＝0
bottom_right_slice_idx[0]＝0
top_left_slice_idx[1]＝1
bottom_right_slice_idx[1]＝1
top_left_slice_idx[2]＝2
bottom_right_slice_idx[2]＝2
…
即，子图片索引为0的子图片中的左上切片的切片索引为0。另外，子图片索引为0的子图片中的右下切片的切片索引为0。
另外，子图片索引为1的子图片中的左上切片的切片索引为1。另外，子图片索引为1的子图片中的右下切片的切片索引为1。
另外，子图片索引为2的子图片中的左上切片的切片索引为2。另外，子图片索引为2的子图片中的右下切片的切片索引为2。
该句法也可以在NumSlicesInPic大于1的情况下进行信号化。
[与子图片相关的句法的特征]
在与子图片相关的句法的各形态中，示出了与子图片相关的句法和语义。这些可以减轻子图片与瓦片、砖块或切片的映射过程的复杂性，也可以减少用于保存与子图片相关的信息的储存器。
另外，各形态的至少一部分也可以与其他的1个以上的形态的至少一部分组合。各形态中的处理的至少一部分、结构的至少一部分、句法的至少一部分、其他特征、或者它们的任意组合也可以与其他1个以上的形态组合。
另外，不一定需要上述的全部处理和要素。装置以及方法也可以包含处理以及要素的一部分。上述处理也可以由解码装置200与编码装置100同样地执行。例如，按照各形态的句法，编码装置100对句法要素进行编码，解码装置200对句法要素进行解码。
另外，索引也可以表现为识别符(ID)。例如，表示子图片的子图片索引也可以是表示子图片的子图片ID。另外，表示瓦片的瓦片索引也可以是表示瓦片的瓦片ID。另外，表示砖块的砖块索引也可以是表示砖块的砖块ID。表示切片的切片索引也可以是表示切片的切片ID。
[结构及处理的代表例]
以下表示上述所示的编码装置100和解码装置200的结构及处理的代表例。
图108是表示编码装置100进行的动作的流程图。例如，编码装置100具备电路以及与电路连接的存储器。编码装置100所具备的电路以及存储器也可以与图8所示的处理器a1以及存储器a2对应。编码装置100的电路在动作中进行以下。
例如，编码装置100的电路针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码(S101)。由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
另外，例如也可以是，子图片是由构成运动图像的多个切片中的图片内的1个以上的切片构成的矩形区域。由此，有时能够将由1个以上的切片构成的矩形的子图片适当地确定为处理对象区域。
另外，例如也可以是，多个切片的每一个仅属于构成运动图像的多个子图片中的某一个。由此，有时能够以1个切片不属于多个子图片的方式确定多个切片以及多个子图片。因此，有时能够唯一地确定切片所属的子图片。因此，对于各切片，有时能够适当地对子图片索引进行编码。
此外，例如也可以是，编码装置100的电路还对表示在运动图像的编码流中是否存在与子图片相关的信息的参数进行编码。另外，也可以是，编码装置100的电路仅在参数表示在编码流中存在与子图片相关的信息的情况下，对子图片索引进行编码。
由此，有时仅在参数表示存在与子图片相关的信息的情况下，能够将子图片索引作为与子图片相关的信息进行编码。即，有时仅在使用子图片的情况下，能够对子图片索引进行编码。由此，有时能够削减编码量。
另外，例如，构成运动图像的多个切片分别是矩形切片。由此，在子图片为矩形区域的情况下，有时能够通过1个以上的矩形切片而适当地确定矩形的子图片。
此外，也可以是，编码装置100的熵编码部110作为编码装置100的电路而进行上述的动作。
图109是表示解码装置200进行的动作的流程图。例如，解码装置200具备电路以及与电路连接的存储器。解码装置200所具备的电路以及存储器也可以与图68所示的处理器b1以及存储器b2对应。解码装置200的电路在动作中进行以下。
例如，解码装置200的电路针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码(S201)。由此，有时能够适当地确定属于子图片的1个以上的切片。因此，有时能够将由1个以上的切片构成的子图片适当地确定为处理对象区域。
另外，例如也可以是，子图片是由构成运动图像的多个切片中的图片内的1个以上的切片构成的矩形区域。由此，有时能够将由1个以上的切片构成的矩形的子图片适当地确定为处理对象区域。
另外，例如也可以是，多个切片的每一个仅属于构成运动图像的多个子图片中的某一个。由此，有时能够以1个切片不属于多个子图片的方式确定多个切片以及多个子图片。因此，有时能够唯一地确定切片所属的子图片。因此，对于各切片，有时能够适当地对子图片索引进行解码。
此外，例如也可以是，解码装置200的电路还对表示在运动图像的编码流中是否存在与子图片相关的信息的参数进行解码。另外，也可以是，解码装置200的电路仅在参数表示在编码流中存在与子图片相关的信息的情况下，对子图片索引进行解码。
由此，有时仅在参数表示存在与子图片相关的信息的情况下，能够将子图片索引作为与子图片相关的信息进行解码。即，有时仅在使用子图片的情况下，能够对子图片索引进行解码。由此，有时能够削减编码量。
另外，例如，构成运动图像的多个切片分别是矩形切片。由此，在子图片为矩形区域的情况下，有时能够通过1个以上的矩形切片而适当地确定矩形的子图片。
另外，也可以是，解码装置200的熵解码部202作为解码装置200的电路而进行上述的动作。
[其他例]
上述的各例中的编码装置100和解码装置200可以分别作为图像编码装置和图像解码装置利用，也可以作为运动图像编码装置和运动图像解码装置利用。
或者，编码装置100和解码装置200也可以分别作为熵编码装置和熵解码装置利用。即，编码装置100和解码装置200也可以分别仅与熵编码部110和熵解码部202对应。而且，其他构成要素也可以包含在其他装置中。
此外，编码装置100也可以具备输入部及输出部。例如，向编码装置100的输入部输入1个以上的图片，从编码装置100的输出部输出编码比特流。解码装置200也可以具备输入部及输出部。例如，向解码装置200的输入部输入编码比特流，从解码装置200的输出部输出1个以上的图片。编码比特流可以包含应用了可变长度编码的量化系数和控制信息。
另外，上述的各例的至少一部分可以作为编码方法来利用，也可以作为解码方法来利用，也可以作为熵编码方法来利用，也可以作为熵解码方法来利用，也可以作为其他方法来利用。
另外，各构成要素由专用的硬件构成，但也可以通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。
具体而言，编码装置100及解码装置200中的每一个可以具备处理电路(Processing Circuitry)和电连接到该处理电路的可从该处理电路访问的存储装置(Storage)。例如，处理电路与处理器a1或b1对应，存储装置与存储器a2或b2对应。
处理电路包含专用的硬件及程序执行部中的至少一方，使用存储装置来执行处理。另外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。
在此，实现上述的编码装置100或解码装置200等的软件是如下的程序。
例如也可以是，该程序使计算机执行编码方法，所述编码方法针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
另外，例如也可以是，该程序使计算机执行解码方法，所述解码方法针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
另外，如上所述，各构成要素也可以是电路。这些电路既可以作为整体构成一个电路，也可以分别是不同的电路。另外，各构成要素既可以通过通用的处理器来实现，也可以通过专用的处理器来实现。
另外，也可以由其他构成要素执行特定的构成要素所执行的处理。另外，执行处理的顺序可以变更，也可以同时执行多个处理。另外，也可以是，编码解码装置具备编码装置100及解码装置200。
另外，在说明中使用的第1以及第2等的序数也可以适当地更换。另外，对于构成要素等，既可以新赋予序数，也可以去除序数。
以上，基于多个例子说明了编码装置100及解码装置200的形态，但编码装置100及解码装置200的形态并不限定于这些例子。只要不脱离本发明的主旨，对各例实施了本领域技术人员能想到的各种变形的形态、将不同的例子中的构成要素组合而构建的形态也可以包含在编码装置100及解码装置200的形态的范围内。
也可以将在此公开的1个以上形态与本发明中的其他形态的至少一部分组合来实施。此外，也可以将在此公开的1个以上的形态的流程图所记载的一部分处理、装置的一部分结构、句法的一部分等与其他形态组合来实施。
[实施及应用]
在以上的各实施方式中，各个功能块或起作用的块通常可以通过MPU(microprocessing unit，微处理单元)及存储器等实现。此外，也可以是，各个功能块的处理由读出并执行ROM等记录介质中记录的软件(程序)的处理器等程序执行部来实现。该软件可以分发。该软件也可以记录到半导体存储器等各种记录介质中。另外，也能够通过硬件(专用电路)实现各功能块。
在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
本发明的形态并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的形态的范围内。
进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和实施该应用例的各种系统。也可以是，这样的系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、或者具备两者的图像编码解码装置。关于这样的系统的其他结构，根据情况能够适当地变更。
[使用例]
图110是表示实现内容分发服务的适当内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的尺寸，在各单元内分别设有图示的例子中的作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114以及智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些装置组合而连接。在各种实施中，也可以不经由基站ex106～ex110而将各设备经由电话网或近距离无线等直接或间接地相互连接。而且，流媒体服务器ex103也可以经由因特网ex101等而与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103也可以经由卫星ex116而与飞机ex117内的热点内的终端等连接。
另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。
相机ex113是数字相机等能够进行静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与被称作2G、3G、3.9G、4G、及今后被称作5G的移动通信系统的方式对应的智能电话机、便携电话机或PHS(Personal Handyphone System，个人手持电话系统)等。
家电ex114是电冰箱或在家庭用燃料电池热电联供系统中包含的设备等。
在内容供给系统ex100中，具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，由此能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)可以对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，也可以将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据复用，也可以将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一形态的图像编码装置发挥功能。
另一方面，流媒体服务器ex103将对有请求的客户端发送的内容数据进行流分发。客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备也可以对接收到的数据进行解码处理并再现。即，各设备也可以作为有关本发明的一形态的图像解码装置发挥功能。
[分散处理]
此外，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散处理或记录而分发。例如，流媒体服务器ex103也可以由CDN(Contents Delivery Network，内容交付网络)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实现内容分发。在CDN中，根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过向该边缘服务器高速缓存及分发内容，能够减少延迟。此外，在发生了几类错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他边缘服务器、或绕过发生了故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。
此外，不限于分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中对帧或场景单位的图像的复杂度或编码量进行检测。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，通过由终端进行第1次的编码处理、由接收到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率提高。在此情况下，如果有几乎实时地接收并解码的请求，则也可以将终端进行的第一次编码完成的数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。
作为其他例子，相机ex113等进行从图像提取特征量，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度等，进行与图像的意义(或内容的重要性)对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行VLC(可变长度编码)等简单的编码，由服务器进行CABAC(上下文自适应二值算术编码方式)等处理负荷大的编码。
作为其他例子，在体育场、购物中心或工厂等中，有存在由多个终端拍摄大致相同的场景而得到的多个影像数据的情况。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以GOP(Group of Picture)单位、图片单位或将图片分割而得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。
由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端拍摄的影像数据相互参照。此外，也可以是服务器接收来自各终端的已编码数据并在多个数据间变更参照关系，或将图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。
而且，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将MPEG类的编码方式变换为VP类(例如VP9)，也可以将H.264变换为H.265。
这样，编码处理能够由终端或1个以上的服务器进行。因此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。
[3D、多角度]
将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或从不同的角度拍摄了相同场景的图像或影像合并而利用的情况增加。将由各终端拍摄的影像基于另取得的终端间的相对位置关系、或影像中包含的特征点一致的区域等来合并。
服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像进行编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄了相同场景的影像，生成该场景的三维形状。服务器也可以将由点云等生成的三维的数据另行编码，也可以基于使用三维数据将人物或目标进行识别或跟踪的结果，从由多个终端拍摄的影像中选择或重构而生成向接收终端发送的影像。
这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据中切取了选择视点的影像的内容。进而，与影像一起，声音也可以从多个不同的角度集音，服务器将来自特定的角度或空间的声音与对应的影像复用，并发送复用后的影像和声音。
此外，近年来，Virtual Reality(VR：虚拟现实)及Augmented Reality(AR：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在VR图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过Multi-View Coding(MVC：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流进行编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。
在AR图像的情况下，也可以是，服务器也可以基于三维的位置或用户的视点的移动，对现实空间的相机信息重叠虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作重叠数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器。也可以是，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作重叠数据，将重叠数据进行编码并向解码装置分发。另外，重叠数据在RGB以外具有表示透射度的α值，服务器将根据三维数据制作出的目标以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定值的RGB值设定为背景，生成将目标以外的部分设为背景色的数据。
同样，分发的数据的解码处理既可以由作为客户端的各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发送接收请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过与可通信的终端自身的性能无关地都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他例子，也可以由TV等接收大尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域进行解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。
在能够使用室内外的近距离、中距离或长距离的无线通信中的多个的状况下，利用MPEG-DASH等的分发系统标准，也许能够无缝接收内容。用户也可以在自由地选择用户的终端、配置在室内外的显示器等解码装置或显示装置的同时实时地切换。此外，能够使用自身的位置信息等，切换解码的终端及显示的终端并进行解码。由此，还能够在用户向目的地的移动期间，在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上映射并显示信息。此外，还能够基于在能够从接收终端以短时间访问的服务器中高速缓存有编码数据、或在内容分发服务的边缘服务器中复制有编码数据等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。
[Web页的优化]
图111是表示计算机ex111等中的web页的显示画面例的图。图112是表示智能电话ex115等中的web页的显示画面例的图。如图111及图112所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式也可以不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)中可以作为链接图像而显示各内容所具有的静止图像或I图片，也可以用多个静止图像或I图片等显示gif动画那样的影像，也可以仅接收基本层而将影像解码及显示。
在由用户选择了链接图像的情况下，显示装置将基本层设为最优先并进行解码。另外，如果在构成web页的HTML中有表示是可分级的内容的信息，则显示装置也可以解码到增强层。而且，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(I图片、P图片、仅进行前方参照的B图片)解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外进一步，显示装置也可以将图片的参照关系强行地忽视而将全部的B图片及P图片设为前方参照而粗略地解码，随着时间经过而接收到的图片增加，进行正常的解码。
[自动行驶]
此外，在为了车的自动行驶或行驶辅助而收发二维或三维的地图信息等那样的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。
在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过发送该接收终端的位置信息，能够实现在切换基站ex106～ex110的同时执行无缝接收及解码。此外，接收终端根据用户的选择、用户的状况及/或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。
在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。
[个人内容的分发]
此外，在内容供给系统ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。可以想到这样的个人内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以用以下这样的结构实现。
在拍摄时实时地或累积下来拍摄后，服务器根据原图像数据或已编码数据，进行拍摄错误、场景搜索、意义的解析及目标检测等的识别处理。并且，服务器基于识别结果，手动或自动地进行将焦点偏差或手抖动等修正、或将明亮度比其他图片低或焦点没有对上的场景等的重要性低的场景删除、或将目标的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据进行编码。此外，已知如果拍摄时刻过长则视听率会下降，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景，还将运动少的场景等基于图像处理结果自动地限制，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。
个人内容在原状态下有被写入侵害著作权、著作者人格权或肖像权等的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。因此，例如服务器也可以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。而且，服务器也可以识别在编码对象图像内是否拍摄到与预先登记的人物不同的人物的脸，在拍摄到的情况下，进行对脸部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点出发，用户指定想要将图像加工的人物或背景区域。服务器也可以进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物，将人物的脸部分的影像替换。
数据量小的个人内容的视听其实时性要求较强，所以虽然也取决于带宽，但解码装置首先将基本层最优先地接收并进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等2次以上被再现的情况下，将增强层也包括在内再现高画质的影像。这样，如果是进行了可分级编码的流，则能够提供在未选择时或刚开始看的阶段是虽然较粗糙的运动图像但流逐渐变得流畅而图像变好的体验。除了可分级编码以外，在第1次被再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为1个流的情况下也能够提供同样的体验。
[其他实施应用例]
此外，这些编码或解码处理通常在各终端所具有的LSIex500中处理。LSI(largescale integration circuitry，大规模集成电路)ex500(参照图110)既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据是用智能电话ex115所具有的LSIex500进行编码处理后的数据。
另外，LSIex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端下载编解码器或应用软件，然后进行内容取得及再现。
此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。
[硬件结构]
图113是进一步详细表示图110所示的智能电话ex115的图。此外，图114是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示由相机部ex465拍摄的影像及将由天线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、以及作为与SIMex468的接口部的插槽部ex464，所述SIMex468用来确定用户，进行以网络为代表向各种数据的访问的认证。此外，也可以代替存储器部ex467而使用外置存储器。
对显示部ex458及操作部ex466等进行综合控制的主控制部ex460与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464及存储器部ex467同步经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使电源键成为开启状态，则将智能电话ex115启动为能够动作的状态，从电池组对各部供给电力。
智能电话ex115基于具有CPU、ROM及RAM等的主控制部ex460的控制，进行通话及数据通信等处理。在通话时，通过声音信号处理部ex454将由声音输入部ex456集音的声音信号变换为数字声音信号，通过调制/解调部ex452实施波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理，该结果的信号经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信模式时，能够基于主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462送出到主控制部ex460。进行同样的收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。
在接收到添附在电子邮件或聊天工具中的影像、或链接在网页上的影像等的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。由于实时流媒体愈发普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的情况。因此，也可以是，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构，仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。
此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、以及仅具有解码器的接收终端这样3种另外的安装形式。在数字广播用系统中，假设将在影像数据中复用了声音数据的复用数据接收、发送而进行了说明。但是，在复用数据中除了声音数据以外还可以复用与影像关联的字符数据等。另外，也可以不是将复用数据而是将影像数据自身接收或发送。
另外，假设包括CPU的主控制部ex460控制编码或解码处理而进行了说明，但各种终端具备GPU的情况也较多。因此，也可以做成通过由CPU和GPU共用的存储器、或以能够共通使用的方式管理地址的存储器，来利用GPU的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果将运动搜索、去块滤波、SAO(Sample Adaptive Offset)及变换/量化的处理不是用CPU进行而是用GPU以图片等单位一起进行，则更有效。
产业上的可利用性
本发明能够利用于例如电视接收机、数字视频记录器、汽车导航系统、移动电话、数字相机、数字摄像机、电视会议系统或电子镜等。
附图标记说明
100 编码装置
102 分割部
102a 块分割决定部
104 减法部
106 变换部
108 量化部
108a 差分量化参数生成部
108b、204b 预测量化参数生成部
108c、204a 量化参数生成部
108d、204d 量化参数存储部
108e 量化处理部
110 熵编码部
110a 二值化部
110b、202b 上下文控制部
110c 二值算术编码部
112、204 逆量化部
114、206 逆变换部
116、208 加法部
118、210 块存储器
120、212 循环滤波部
120a、212a、去块滤波处理部
120b、212b SAO处理部
120c、212c ALF处理部
122、214 帧存储器
124、216 帧内预测部
126、218 帧间预测部
126a、a2、b2 存储器
126b 插值图像导出部
126c 梯度图像导出部
126d 光流导出部
126e 修正值导出部
126f 预测图像修正部
128、220 预测控制部
130、222 预测参数生成部
200 解码装置
202 熵解码部
202a 二值算术解码部
202c 多值化部
204e 逆量化处理部
224 分割决定部
1201 边界判定部
1202、1204、1206 开关
1203 滤波判定部
1205 滤波处理部
1207 滤波特性决定部
1208 处理判定部
a1、b1 处理器

Claims (12)

1.一种编码装置，其中，具备：
电路；以及
存储器，与所述电路连接，
所述电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
2.根据权利要求1所述的编码装置，其中，
所述子图片是由所述多个切片中的图片内的1个以上的切片构成的矩形区域。
3.根据权利要求1或2所述的编码装置，其中，
所述多个切片的每一个仅属于构成所述运动图像的多个子图片中的某一个。
4.根据权利要求1至3中任一项所述的编码装置，其中，
所述电路，
进一步对表示在所述运动图像的编码流中是否存在与所述子图片相关的信息的参数进行编码，
仅在所述参数表示在所述编码流中存在与所述子图片相关的信息的情况下，对所述子图片索引进行编码。
5.根据权利要求1至4中任一项所述的编码装置，其中，
所述多个切片分别是矩形切片。
6.一种解码装置，其中，具备：
电路；以及
存储器，与所述电路连接，
所述电路在动作中，针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
7.根据权利要求6所述的解码装置，其中，
所述子图片是由所述多个切片中的图片内的1个以上的切片构成的矩形区域。
8.根据权利要求6或7所述的解码装置，其中，
所述多个切片的每一个仅属于构成所述运动图像的多个子图片中的某一个。
9.根据权利要求6至8中任一项所述的解码装置，其中，
所述电路，
进一步地对表示在所述运动图像的编码流中是否存在与所述子图片相关的信息的参数进行解码，
仅在所述参数表示在所述编码流中存在与所述子图片相关的信息的情况下，对所述子图片索引进行解码。
10.根据权利要求6至9中任一项所述的解码装置，其中，
所述多个切片分别是矩形切片。
11.一种编码方法，其中，
针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行编码。
12.一种解码方法，其中，
针对构成运动图像的多个切片分别对表示该切片所属的子图片的子图片索引进行解码。
CN202080053167.8A 2019-08-29 2020-08-20 编码装置、解码装置、编码方法和解码方法 Pending CN114145020A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962893411P 2019-08-29 2019-08-29
US62/893411 2019-08-29
PCT/JP2020/031437 WO2021039578A1 (ja) 2019-08-29 2020-08-20 符号化装置、復号装置、符号化方法、および復号方法

Publications (1)

Publication Number Publication Date
CN114145020A true CN114145020A (zh) 2022-03-04

Family

ID=74685475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080053167.8A Pending CN114145020A (zh) 2019-08-29 2020-08-20 编码装置、解码装置、编码方法和解码方法

Country Status (4)

Country Link
US (1) US20220174300A1 (zh)
KR (1) KR20220050877A (zh)
CN (1) CN114145020A (zh)
WO (1) WO2021039578A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
CN113302930A (zh) * 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
WO2020197236A1 (ko) * 2019-03-24 2020-10-01 엘지전자 주식회사 서브 픽처 핸들링 구조 기반 영상 또는 비디오 코딩
GB2584295A (en) * 2019-05-28 2020-12-02 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
WO2020263817A1 (en) * 2019-06-25 2020-12-30 Intel Corporation Sub-pictures and sub-picture sets with level derivation
US11363307B2 (en) * 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
CN113039799B (zh) * 2019-08-23 2023-08-01 苹果公司 图像信号编码/解码方法及其设备

Also Published As

Publication number Publication date
JPWO2021039578A1 (zh) 2021-03-04
WO2021039578A1 (ja) 2021-03-04
KR20220050877A (ko) 2022-04-25
US20220174300A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN112400317A (zh) 编码装置、解码装置、编码方法和解码方法
CN112425171A (zh) 编码装置、解码装置、编码方法和解码方法
CN113545080A (zh) 编码装置、解码装置、编码方法和解码方法
CN113678443A (zh) 编码装置、解码装置、编码方法和解码方法
CN112292857A (zh) 编码装置、解码装置、编码方法和解码方法
CN115176479A (zh) 编码装置、解码装置、编码方法和解码方法
CN114902679A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170179A (zh) 编码装置、解码装置、编码方法和解码方法
CN114902682A (zh) 编码装置、解码装置、编码方法和解码方法
CN114762347A (zh) 编码装置、解码装置、编码方法和解码方法
CN115004711A (zh) 编码装置、解码装置、编码方法和解码方法
CN114391257A (zh) 编码装置、解码装置、编码方法和解码方法
CN113383544A (zh) 编码装置、解码装置、编码方法和解码方法
CN113056909A (zh) 编码装置、解码装置、编码方法和解码方法
CN112640465A (zh) 编码装置、解码装置、编码方法和解码方法
CN114521331A (zh) 编码装置、解码装置、编码方法和解码方法
CN114175663A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170103A (zh) 编码装置、解码装置、编码方法和解码方法
CN112840659A (zh) 编码装置、解码装置、编码方法和解码方法
CN115804094A (zh) 编码装置、解码装置、编码方法、以及解码方法
CN114270862A (zh) 编码装置、解码装置、编码方法和解码方法
CN114303377A (zh) 编码装置、解码装置、编码方法和解码方法
CN113875257A (zh) 编码装置、解码装置、编码方法和解码方法
CN113475066A (zh) 编码装置、解码装置、编码方法和解码方法
CN113302922A (zh) 编码装置、解码装置、编码方法和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination