CN111713110A - 图像编码设备、图像解码设备、图像编码方法以及图像解码方法 - Google Patents

图像编码设备、图像解码设备、图像编码方法以及图像解码方法 Download PDF

Info

Publication number
CN111713110A
CN111713110A CN201880078630.7A CN201880078630A CN111713110A CN 111713110 A CN111713110 A CN 111713110A CN 201880078630 A CN201880078630 A CN 201880078630A CN 111713110 A CN111713110 A CN 111713110A
Authority
CN
China
Prior art keywords
block
prediction
prediction samples
samples
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880078630.7A
Other languages
English (en)
Inventor
安倍清史
西孝启
远间正真
加纳龙一
林宗顺
廖如伶
孙海威
S·P·沙石德卡
张汉文
李静雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN111713110A publication Critical patent/CN111713110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开提供用于视频编码的系统和方法。该系统例如包括图像编码器，该图像编码器包括：电路和耦合至该电路的存储器，其中，该电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中，预测预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；至少使用所述预测样本的第二块计算梯度；以及至少使用计算的梯度对当前块进行编码。

Description

图像编码设备、图像解码设备、图像编码方法以及图像解码 方法
技术领域
本公开涉及视频编码，尤其涉及用于执行帧间预测功能以基于参考帧来预测当前帧的视频编码和解码系统、组件和方法。
背景技术
视频编码联合标准(JCT-VC)已将称为高效视频编码(HEVC)的视频编码标准进行了标准化。
随着视频编码技术的发展，从H.261和MPEG-1到H.264/AVC(高级视频编码)、MPEG-LA、H.265/HEVC(高效视频编码)和H.266/VVC(通用视频编解码器)，始终需要对视频编码技术提供改进和优化，以处理各种应用中数量不断增长的数字视频数据。本公开涉及视频编码中的进一步的进步、改进和优化，特别是用于基于参考帧来建立当前帧的预测的帧间预测功能。
发明内容
[技术问题]
需要进一步提高压缩效率并减少编码和解码技术中的处理负载。
因此，本公开提供了能够实现压缩效率的进一步提高和减小的处理负载的编码器、解码器、编码方法和解码方法。
[解决问题的方法]
本公开的一个方面是一种用于使用帧间预测来对要在图片中编码的块进行编码的编码器，该编码器包括处理器和存储器，并且该处理器使用该存储器来执行以下步骤：通过使用与两个参考图片中的每一个相对应的运动向量执行运动补偿来从两个参考图片获取两个预测图像；从两个参考图片获取与两个预测图像对应的两个梯度图像；使用通过将要被编码的块进行划分获得的子块中的两个预测图像和两个梯度图像来得到局部运动估计值；以及使用两个预测图像、两个梯度图像以及子块的局部运动估计值，生成要被编码的块的最终预测图像。
根据本公开的另一方面，提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；使用所述预测样本的第二块至少计算梯度；并且至少使用计算的梯度对当前块进行编码。
根据本公开的另一方面，提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；使用样本预测的第二块执行插值处理；以及至少使用插值处理的得到的块对当前块进行编码。
根据本公开的另一方面，提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻；至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及至少使用重叠的块运动补偿处理的得到的块对当前块进行编码。
根据本公开的另一方面，提供了一种图像编码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；以及至少使用第一运动向量，利用动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；使用第二运动向量执行针对当前块的插值处理，其中，插值处理包括填充处理；以及至少使用插值处理的得到的块对当前块进行编码。
根据本公开的另一方面，提供了一种图像解码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；使用所述预测样本的第二块至少计算梯度；以及至少使用计算的梯度对当前块进行解码。
根据本公开的另一方面，提供了一种图像解码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；使用预测样本的第二块执行插值处理；以及至少使用插值处理的得到的块对当前块进行解码。
根据本公开的另一方面，提供了一种图像解码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻；至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及至少使用重叠的块运动补偿处理的得到的块来解码当前块。
根据本公开的另一方面，提供了一种图像解码器，其包括电路和耦合至该电路的存储器。所述电路在操作中执行以下操作：预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；以及至少使用第一运动向量，利用动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；使用第二运动向量执行针对当前块的插值处理，其中，插值处理包括填充处理；以及至少使用插值处理的得到的块对当前块进行解码。
根据本公开的另一方面，提供了一种图像编码方法。图像编码方法包括使图像编码器能够执行如本文所述的根据本公开的各个方面的步骤。
根据本公开的另一方面，提供了一种图像解码方法。图像解码方法包括使图像解码器能够执行如本文所述的根据本公开的各个方面的步骤。
这些一般和特定实施例可以使用系统、方法、集成电路、计算机程序或诸如计算机可读CD-ROM的介质来实现，并且可以通过系统、方法、集成电路、计算机程序和介质的组合来实现。
[发明的有益效果]
本公开内容能够提供能够实现压缩效率的进一步改进和减少的处理负载的编码器、解码器、编码方法和解码方法。
本公开的实施例的一些实施方式可以提高编码效率，可以简化编码/解码处理，可以加速编码/解码处理的速度，可以有效地选择在编码和解码中使用的适当的组件/操作，例如适当的滤波器、块大小、运动向量、参考图片、参考块等。
根据说明书和附图，所公开的实施例的其他益处和优点将变得显而易见。益处和/或优点可以通过说明书和附图的各种实施例和特征来单独获得，不需要全部提供这些益处和/或优点，以便获得这些益处和/或优点中的一个或多个。
应当注意，一般或特定实施例可以被实现为系统、方法、集成电路、计算机程序、存储介质或其任意组合。
附图说明
在附图中，相同的附图标记识别相似的元件。附图中元件的尺寸和相对位置不必按比例绘制。
图1示出了根据实施例的编码器的功能配置的框图。
图2示出了块划分的一个示例。
图3是指示各种变换类型的变换基函数的表。
图4A示出了在ALF(自适应环路滤波器)中使用的滤波器形状的一个示例。
图4B示出了ALF中使用的滤波器形状的另一示例。
图4C示出了ALF中使用的滤波器形状的另一示例。
图5A示出了在帧内预测的示例中使用的67种帧内预测模式。
图5B是示出了在OBMC(重叠块运动补偿)处理中执行的预测图像校正处理的一个示例的流程图。
图5C是示出了在OBMC处理中执行的预测图像校正处理的一个示例的概念图。
图5D是示出了FRUC(帧速率上转换)处理的一个示例的流程图。
图6示出了沿着运动轨迹的两个块之间的模式匹配(双边匹配)的一个示例。
图7示出了当前图片中的模板与参考图片中的块之间的模式匹配(模板匹配)的一个示例。
图8示出了假设匀速线性运动的模型。
图9A示出了基于相邻块的运动向量来得到每个子块的运动向量的一个示例。
图9B示出了用于以合并模式得出运动向量的处理的一个示例。
图9C是示出了DMVR(动态运动向量刷新)处理的示例的概念图。
图9D示出了使用通过LIC(局部照明补偿)处理执行的亮度校正处理的预测图像生成方法的一个示例。
图10是示出了根据实施例的解码器的功能配置的框图。
图11是示出了根据另一实施例的帧间预测处理的流程图。
图12是用于解释根据图11所示的实施例的帧间预测的概念图。
图13是用于解释根据图11所示的实施例的示例的运动补偿滤波器和梯度滤波器的参考范围的示例的概念图。
图14是用于解释根据图11所示的实施例的修改示例1的运动补偿滤波器的参考范围的示例的概念图。
图15是用于解释图11所示的实施例的修改示例1的梯度滤波器的参考范围的示例的概念图。
图16是示出了根据图11所示的实施例的修改示例2的通过得出局部运动估计值而参考的像素图案的示例的图。
图17是示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的一个示例的流程图。
图18A是示出了图片和不同图片的图片顺序计数的示例的概念图。在图18A中，图片可以被称为当前图片，并且不同的图片可以被称为第一图片或第二图片。
图18B是示出了图片和不同图片的图片顺序计数的另一示例的概念图。
图18C是示出了图片和不同图片的图片顺序计数的又一示例的概念图。
图19A示出了根据图17所示的图像编码/解码方法的示例的用于填充预测样本的块的填充方向的示例。
图19B示出了根据图17所示的图像编码/解码方法的示例的用于填充预测样本的块的填充方向的另一示例。
图20A示出了根据如图17所示的图像编码/解码方法的示例来填充预测样本的块的处理的示例。
图20B示出了根据如图17所示的图像编码/解码方法的示例来填充预测样本的块的处理的另一示例。
图20C示出了根据如图17所示的图像编码/解码方法的示例来填充预测样本的块的处理的另一示例。
图20D示出了根据图17所示的图像编码/解码方法的示例来填充预测样本的块的处理的另一示例。
图21A示出了用于块的梯度滤波器的示例。
图21B示出了用于块的多个梯度滤波器的示例。
图21C示出了用于块的梯度滤波器的又一示例。
图21D示出了用于块的梯度滤波器的又一示例。
图22是示出了根据图17所示的示例的图像编码/解码方法的实施例的流程图。
图23是示出了图22所示的图像编码/解码方法的实施例的概念图。
图24是示出了根据图17所示的示例的图像编码/解码方法的另一实施方式的流程图。
图25是示出了图24所示的图像编码/解码方法的实施例的概念图。
图26示出了在图24和图25所示的图像编码/解码方法的实施例中通过填充处理产生的块的示例。
图27A是示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的另一替代示例的流程图。
图27B是示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的另一替代示例的流程图。
图27C是示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的又一替代示例的流程图。
图28是示出了图27所示的图像编码/解码方法的实施例的概念图。27A。
图29是示出了图27B所示的图像编码/解码方法的实施例的概念图。
图30是示出了如图27C所示的图像编码/解码方法的实施例的概念图。
图31示出了当前块的相邻块的示例。
图32A示出了根据图27A、图27B和图27C所示的图像编码/解码方法的示例来填充预测样本块的处理的示例。
图32B示出了根据图27A、图27B和图27C所示的图像编码/解码方法的示例来填充预测样本的块的处理的另一示例。
图32C示出了根据图27A、图27B和图27C所示的图像编码/解码方法的示例来填充预测样本的块的处理的另一示例。
图33A示出了根据图17、图22、图24、图27A、图27B和图27C所示的图像编码/解码方法的示例的用于填充块的填充方向的示例。
图33B示出了根据图17、图22、图24、图27A、图27B和图27C所示的图像编码/解码方法的示例的用于填充块的填充方向的另一示例。
图33C示出了根据图17、图22、图24、图27A、图27B和图27C所示的图像编码/解码方法的示例的用于填充块的填充方向的另一示例。
图33D示出了根据图17、图22、图24、图27A、图27B和图27C所示的图像编码/解码方法的示例的用于填充块的填充方向的又一示例。
图34示出了根据图17、图22、图24、图27A、图27B和图27C所示的图像编码/解码方法的示例的预测样本的块的替代示例。在这些替代示例中，预测样本的块为非矩形形状。
图35示出了流程图，该流程图示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的另一替代示例。
图36是示出了图35所示的图像编码/解码方法的实施例的概念图。
图37A示出了用于根据图35所示的图像编码/解码方法的示例的根据第二运动向量来填充预测样本的块的处理的示例。
图37B示出了用于根据图35所示的图像编码/解码方法的示例的根据第二运动向量来填充预测样本的块的处理的另一示例。
图38示出了流程图，该流程图示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的又一替代示例。图38的流程图类似于图35，除了在步骤3804中的动态运动向量刷新(DMVR)处理还包括填充处理之外。
图39是示出了图38所示的图像编码/解码方法的实施例的概念图。
图40示出了用于实现内容分发服务的内容提供系统的整体配置。
图41示出了可缩放编码中的编码结构的一个示例。
图42示出了可缩放编码中的编码结构的一个示例。
图43示出了网页的显示屏幕的示例。
图44示出了网页的显示屏幕的示例。
图45示出了智能电话的一个示例。
图46是示出了智能电话的配置示例的框图。
具体实施方式
在下文中，将参考附图描述实施例。注意，以下描述的实施例均示出一般或特定示例。在以下实施例中指示的数值、形状、材料、组件、组件的布置和连接、步骤、步骤的关系和顺序等仅是示例，而无意于限制权利要求的范围。因此，在以下实施例中公开但在定义最宽泛的发明构思的任何独立权利要求中未列举的那些组件可以被理解为可选组件。
下面将描述编码器和解码器的实施例。实施例是编码器和解码器的示例，在本公开的方面的描述中呈现的处理和/或配置可应用于编码器和解码器。所述处理和/或配置还可以在不同于根据实施例的编码器和解码器中实现。例如，关于应用于实施例的处理和/或配置，可以实现以下任何一种：
(1)根据在本公开的方面的描述中呈现的实施例的编码器或解码器的任何组件可以与在本公开的方面的描述中任何地方呈现的另一组件替代或组合。
(2)在根据实施例的编码器或解码器中，可以对由编码器或解码器的一个或多个组件执行的功能或处理进行任意改变，例如功能或处理的增加、替换、去除等。例如，任何功能或处理可以与在本公开的方面的描述中任何地方出现的另一功能或处理替代或组合。
(3)在根据实施例的由编码器或解码器实现的方法中，可以进行任意改变，例如添加、替换和去除该方法中包括的一个或多个处理。例如，该方法中的任何处理可以与在本公开的方面的描述中任何地方出现的另一处理替代或组合。
(4)根据实施例的包括在编码器或解码器中的一个或多个组件可以与在本公开的各方面的描述中任何地方呈现的组件结合，可以与包括在本发明的方面的描述的任何地方呈现的一个或多个功能的组件结合，并且可以与实现由在本公开的方面的描述中呈现的组件实现的一个或多个处理的组件组合。
(5)可以将包括根据实施例的编码器或解码器的一个或多个功能的组件，或实现根据实施例的编码器或解码器的一个或多个处理的组件与在本公开的各方面的描述中的任何地方所呈现的组件，与包括在本公开的各方面的描述中的任何地方呈现的一个或多个功能的组件，或者与实现在本公开的各方面的描述中的任何地方呈现的一个或多个处理的组件组合或替换。
(6)在根据实施例的由编码器或解码器实现的方法中，该方法中包括的任何处理可以与本公开的各方面的描述中任何地方呈现的处理或者与任何对应的或等效处理组合或替换。
(7)可以将根据实施例的由编码器或解码器实现的方法中包括的一个或多个处理与本公开的各方面的描述中任何地方呈现的处理组合。
(8)在本公开的方面的描述中呈现的处理和/或配置的实现不限于根据实施例的编码器或解码器。例如，可以在用于与实施例中公开的运动图像编码器或运动图像解码器不同的目的的设备中实现处理和/或配置。
(编码器)
首先，将描述根据实施例的编码器。图1是示出了根据实施例的编码器100的功能配置的框图。编码器100是运动图片编码器，其逐块地对运动图片进行编码。
如图1所示，编码器100是一种对图片进行逐块编码的设备，并且包括划分器102、减法器104、变换器106、量化器108、熵编码器110、逆量化器112、逆变换器114、加法器116、块存储器118、环路滤波器120、帧存储器122、帧内预测器124、帧间预测器126和预测控制器128。
编码器100被实现为例如通用处理器和存储器。在这种情况下，当处理器执行存储在存储器中的软件程序时，处理器用作划分器102、减法器104、变换器106、量化器108、熵编码器110、逆量化器112、逆变换器114、加法器116、环路滤波器120、帧内预测器124、帧间预测器126和预测控制器128。可替代地，编码器100可以被实现为一个或多个专用电子电路112，其对应于划分器102、减法器104、变换器106、量化器108、熵编码器110、逆量化器112、逆变换器114、加法器116、环路滤波器120、帧内预测器124、帧间预测器126和预测控制器128。
在下文中，将描述编码器100中包括的每个组件。
(划分器)
划分器102将输入的运动图片中包括的每个图片划分成块，并且将每个块输出到减法器104。例如，划分器102首先将图片划分成固定大小(例如128×128)的块。固定大小的块也可以称为编码树单元(CTU)。然后，划分器102基于例如递归四叉树和/或二叉树块划分，将每个固定大小的块划分为可变大小(例如64×64或更小的块)的块。可变大小块也可以被称为编码单元(CU)、预测单元(PU)或变换单元(TU)。在各种实现中，可能不需要区分CU、PU和TU；图片中的所有或某些块可以按CU、PU或TU处理。
图2示出了根据实施例的块划分的一个示例。在图2中，实线表示通过四叉树块划分而划分的块的块边界，而虚线表示通过二叉树块划分而划分的块的块边界。
在此，块10是正方形的128×128像素块(128×128块)。首先将该128×128块10划分为四个正方形64×64块(四叉树块划分)。
左上的64×64块进一步垂直划分为两个矩形32×64块，而左上的32×64块进一步垂直划分为两个矩形16×64块(二叉树块划分)。结果，左上64×64块被分成两个16×64块11和12以及一个32×64块13。
右上的64×64块被水平划分为两个矩形64×32块14和15(二叉树块划分)。
首先将左下的64×64块划分成四个正方形的32×32块(四叉树块划分)。在四个32×32块中，将左上块和右下块进一步划分。左上的32×32块在垂直方向上分为两个矩形16×32块，而右16×32的块在水平方向上进一步分为两个16×16块(二叉树块划分)。右下的32×32块水平划分为两个32×16块(二叉树块划分)。结果，左下64×64块被分成16×32块16，两个16×16块17和18，两个32×32块19和20以及两个32×16块21和22。
右下64×64块23未被划分。
如上所述，在图2中，基于递归四叉树和二叉树块划分，将块10划分为13个可变大小的块11至23。这种划分类型也称为四叉树加二叉树(QTBT)划分。
虽然在图2中将一个块划分为四个或两个块(四叉树或二叉树块划分)，但是划分不限于这些示例。例如，可以将一个块划分成三个块(三进制块划分)。包括这种三进制块划分的划分也称为多类型树(MBT)划分。
(减法器)
减法器104从由划分器102划分并输入的每个块的原始信号(原始样本)中减去预测信号(预测样本，从预测控制器128输入的，将在下面描述)。换句话说，减法器104计算被编码的块(以下称为“当前块”)的预测误差(也称为“残差”)。减法器104然后将计算的预测误差(残差)输出到变换器106。
原始信号是输入到编码器100的信号，并且是表示运动图片中包括的每个图片的图像的信号(例如，亮度信号和两个色度信号)。在下文中，表示图像的信号也称为样本。
(变换器)
变换器106将空间域预测误差变换为频域变换系数，并将变换系数输出到量化器108。更具体地，变换器106将例如预定义的离散余弦变换(DCT)或离散正弦变换(DST)应用于空间域预测误差。
注意，变换器106可以从多个变换类型中自适应地选择变换类型，并且通过使用与选择的择的变换类型相对应的变换基函数来将预测误差变换为变换系数。这种类型的变换也称为显式多核变换(EMT)或自适应多变换(AMT)。
变换类型包括例如DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII。图3是指示每种变换类型的变换基函数的图。在图3中，N指示输入像素的数量。例如，从多个变换类型中选择变换类型可以取决于预测类型(帧内预测和帧间预测)以及帧内预测模式。
指示是应用EMT还是AMT的信息(例如，称为EMT标志或AMT标志)的信息和指示选择的择的变换类型的信息通常在CU级别上用信号发送。注意，这种信息的信令不必在CU级别上执行，而可以在另一级别上执行(例如，在比特序列级别、图片级别、片级别、瓦片级别或CTU级别)。
此外，变换器106可以将二次变换应用于变换系数(变换结果)。以这种方式的二次变换也被称为自适应二次变换(AST)或不可分离的二次变换(NSST)。例如，变换器106对包括在与帧内预测误差相对应的变换系数的块中的每个子块(例如，每个4×4子块)应用二次变换。指示是否应用NSST的信息以及与NSST中使用的变换矩阵有关的信息通常在CU级别上发出信号。注意，这种信息的信令不必在CU级别上执行，而可以在另一级别上执行(例如，在序列级别、图片级别、片级别、瓦片级别或CTU级别)。
存在可以在变换器106中应用的单独的变换和不可分变换。单独的变换是以这种方式一种方法，其中通过根据维度输入的数量执行针对每个方向的变换来多次执行变换。不可分变换是一种执行集体变换的方法，其中将多维输入中的两个或多个维度共同视为单个维度。
在不可分变换的一个示例中，当输入是4×4块时，该4×4块被视为包含16个分量的单个阵列，并且该变换将16×16变换矩阵应用于该阵列。
在不可分变换的另一示例中，在将输入的4×4块视为包括16个分量的单个阵列之后，可以将执行多个Givens旋转的变换(例如，Hypercube-Givens变换)应用于阵列。
(量化器)
量化器108量化从变换器106输出的变换系数。更具体地，量化器108以预定的扫描顺序扫描当前块的变换系数，并且基于与该变换系数相对应的量化参数(QP)来量化扫描的变换系数。然后，量化器108将当前块的量化的变换系数(以下称为量化系数)输出到熵编码器110和逆量化器112。
预定的扫描顺序是用于对变换系数进行量化/逆量化的顺序。例如，预定的扫描顺序被定义为频率的升序(从低频到高频)或频率的降序(从高频到低频)。
量化参数(QP)是定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。换句话说，如果量化参数的值增加，则量化误差增加。
(熵编码器)
熵编码器110基于从量化器108输入的量化系数来生成编码信号(编码位流)。更具体地，例如，熵编码器110对量化系数进行二值化并且对二进制信号进行算术编码，以输出压缩的位流或序列。
(逆量化器)
逆量化器112对从量化器108输入的量化系数进行逆量化。更具体地，逆量化器112以预定的扫描顺序对当前块的量化系数进行逆量化。然后，逆量化器112将当前块的逆量化的变换系数输出到逆变换器114。
(逆变换器)
逆变换器114通过对从逆量化器112输入的变换系数进行逆变换来恢复预测误差(残差)。更具体地，逆变换器114通过对变换系数应用与变换器106所施加的变换相对应的逆变换来恢复当前块的预测误差。逆变换器114然后将恢复的预测误差输出到加法器116。
注意，由于通常信息在量化中丢失，所以恢复的预测误差与减法器104计算的预测误差不匹配。换句话说，恢复的预测误差通常包括量化误差。
(加法器)
加法器116通过对从逆变换器114输入的预测误差和从预测控制器128输入的预测样本进行求和来重构当前块。加法器116然后将重构的块输出到块存储器118和环路滤波器120。重构的块也称为局部解码块。
(块存储器)
块存储器118是用于在例如帧内预测中存储要被编码的图片(称为“当前图片”)中的块的存储装置。更具体地说，块存储器118存储从加法器116输出的重构块。
(环路滤波器)
环路滤波器120将环路滤波器应用于由加法器116重构的块，并将滤波后的重构块输出至帧存储器122。环路滤波器是在编码环路中使用的滤波器(环路滤波器)，并且包括例如：解块滤波器(DF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。
在ALF中，应用了用于消除压缩伪影的最小二乘误差滤波器。例如，基于局部梯度的方向和活动，针对当前块中的每个2×2子块从多个滤波器中选择一个滤波器，并将其应用。
具体地，首先，将每个子块(例如，每个2×2子块)分类为多个类别(例如，15或25个类别)中的一个。子块的分类基于梯度方向性和活动性。例如，基于梯度方向性D(例如0到2或0到4)和梯度活动性A(例如0到4)得出分类索引C(例如C＝5D+A)。然后，基于分类索引C，将每个子块分类为多个类别中的一个。
例如，通过比较多个方向(例如，水平方向、垂直方向和两个对角线方向)的梯度来计算梯度方向性D。此外，例如，通过将多个方向的梯度求和并对总和进行量化来计算梯度活动性A。
基于这种分类的结果，从多个滤波器中确定要用于每个子块的滤波器。
在ALF中使用的滤波器形状是例如圆形对称滤波器形状。图4A、图4B和图4C示出了ALF中使用的滤波器形状的示例。图4A示出了5×5菱形滤波器。图4B示出了7×7菱形滤波器，并且图4C示出了9×9菱形滤波器。指示滤波器形状的信息通常在图片级别用信号发送。注意，指示滤波器形状的信息的信令不必在图片级别执行，而可以在另一级别(例如，在序列级别、片级别、瓦片级别、CTU级别或CU级别)执行。
可以在图片级别或CU级别确定ALF的启用或禁用。例如，对于亮度，可以在CU级别上决定是否应用ALF，而对于色度，可以在图片级别上决定是否应用ALF。指示是启用还是禁用ALF的信息通常是在图片级别或CU级别用信号发送的。注意，指示是启用还是禁用ALF的信息的信令不必在图片级别或CU级别执行，而可以在另一级别(例如，在序列级别、片级别、瓦片级别或CTU级别)执行。
通常在图片级别上用信号发送针对多个可选滤波器(例如15或25个滤波器)设置的系数。注意，系数集的信令不必在图片级别执行，而可以在另一级别(例如，在序列级别、片级别、瓦片级别、CTU级别、CU级别或子块级别)执行。
(帧存储器)
帧存储器122例如是用于存储帧间预测中使用的参考图片的存储装置，并且也被称为帧缓冲器。更具体地说，帧存储器122存储由环路滤波器120滤波的重构块。
(帧内预测器)
帧内预测器124通过参考存储在块存储器118中的当前图片中的一个或多个块，对当前块进行帧内预测来生成预测信号(帧内预测信号)(也称为帧内预测)。更具体地，帧内预测器124通过参考与当前块相邻的一个或多个块的样本(例如，亮度和/或色度值)的帧内预测来生成帧内预测信号，然后将帧内预测信号输出至预测控制器128。
例如，帧内预测器124通过使用多个预定义帧内预测模式中的一种模式来执行帧内预测。帧内预测模式通常包括一个或多个非定向预测模式和多个定向预测模式。
一个或多个非定向预测模式包括例如在H.265/HEVC标准中定义的平面预测模式和DC预测模式。
多个定向预测模式例如包括在H.265/HEVC标准中定义的33个定向预测模式。注意，除了33个定向预测模式(对于总共65个定向预测模式)之外，多个定向预测模式还可以包括32个定向预测模式。
图5A示出了在帧内预测中使用的总共67个帧内预测模式(两个非定向预测模式和65个定向预测模式)。实线箭头表示在H.265/HEVC标准中定义的33个方向，而虚线箭头表示其他32个方向。(在图5A中未示出两个“非定向”预测模式。)
在各种实现中，可以在色度块帧内预测中参考亮度块。即，可以基于当前块的亮度分量来预测当前块的色度分量。这种帧内预测也称为跨分量线性模型(CCLM)预测。可以添加参考亮度块的色度块帧内预测模式(例如，称为CCLM模式)作为色度块帧内预测模式之一。
帧内预测器124可以基于水平/垂直参考像素梯度来校正帧内预测后像素值。伴随这种校正的帧内预测也称为位置依赖帧内预测组合(PDPC)。指示是否应用PDPC的信息(例如，称为PDPC标志)通常在CU级别上用信号发送。注意，该信息的信令不必在CU级别上执行，而可以在另一级别上(例如，在序列级别、图片级别、片级别、瓦片级别或CTU级别上)执行。
(帧间预测器)
帧间预测器126通过参考与当前图片不同并且存储在帧存储器122中的参考图片中的一个或多个块，对当前块进行帧间预测来生成预测信号(帧间预测信号)。对当前块中的每个当前块或每个当前子块(例如，每个4×4块)执行帧间预测。例如，帧间预测器126针对当前块或当前子块在参考图片中执行运动估计，以在参考图片中找到与当前块或子块最匹配的参考块或子块。然后，帧间预测器126基于运动估计执行运动补偿(或运动预测)，以获得补偿(或预测)从参考块或子块到当前块或子块的运动或变化的运动信息(例如，运动向量)，并基于运动信息生成当前块或子块的帧间预测信号。帧间预测器126然后将所生成的帧间预测信号输出到预测控制器128。
用于运动补偿的运动信息可以以多种形式用信号发送作为帧间预测信号。例如，可以用信号发送运动向量。作为另一示例，可以用信号发送运动向量和运动向量预测器之间的差异。
注意，除了从运动估计获得的用于当前块的运动信息之外，还可以使用用于邻近块的运动信息来生成帧间预测信号。更具体地，可以通过基于从运动估计(在参考图片中)获得的运动信息和基于(在当前图片中)相邻块的运动信息的预测信号来计算预测信号的加权和，来在当前块中的每个子块生成帧间预测信号。这种帧间预测(运动补偿)也被称为重叠块运动补偿(OBMC)。
在OBMC模式中，可以在序列级别用信号发送指示用于OBMC的子块大小的信息(例如，称为OBMC块大小)。此外，可以在CU级别用信号发送指示是否应用OBMC模式的信息(例如，称为OBMC标志)。注意，这种信息的信令不必在序列级别和CU级别执行，而可以在另一级别(例如，在图片级别、片级别、瓦片级别、CTU级别或子块级别)执行。
在下文中，将更详细地描述OBMC模式。图5B是流程图，而图5C是示出通过OBMC处理执行的预测图像校正处理的概念图。
参照图5C，首先，使用分配给目标(当前)块的运动向量(MV)，通过典型的运动补偿来获得预测图像(Pred)。在图5C中，箭头“MV”指向参考图片，以指示当前图片中的当前块正在参考什么以便获得预测图像。
接下来，通过向目标(当前)块应用(重用)已针对编码的相邻左块得出的运动向量(MV_L)来获得预测图像(Pred_L)，如由箭头“MV_L”从当前块开始并指向参考图片以获得预测图像Pred_L。然后，将两个预测图像Pred和Pred_L叠加以执行对预测图像的校正的第一遍，这在一方面具有混合相邻块之间的边界的效果。
类似地，通过将(重用的)运动向量(MV_U)应用到目标(当前)块来获得预测图像(Pred_U)，该运动向量已经针对已编码的相邻上部块而得出，如由箭头“MV_U”从当前块开始并指向参考图片以获得预测图像Pred_U。然后，将预测图像Pred_U与从第一遍得到的预测图像(即，Pred和Pred_L)叠加，以执行对预测图像的校正的第二遍，在一方面具有混合在相邻块之间的边界的效果。第二遍的结果是当前块的最终预测图像，其边界与相邻块融合(平滑)。
注意，以上示例是使用相邻的左和上块的两遍校正方法，但是该方法可以是也使用相邻的右和/或下块的三遍或更高遍的校正方法。
注意，要叠加的区域可以是块的整个像素区域，并且，可替换地，可以是部分块边界区域。
注意，这里，OBMC的预测图像校正处理被描述为基于单个参考图片以得出单个预测图像Pred，在该单个预测图像Pred上叠加了附加预测图像Pred_L和Pred_U，但是当基于所述多个参考图片校正所述预测图像时，相同的处理可以应用于所述多个参考图片中的每个。在这种情况下，在通过分别基于多个参考图片执行OBMC的图像校正而获得多个校正后的预测图像之后，进一步叠加所获得的多个校正后的预测图像以获得最终预测图像。
注意，在OBMC中，目标块的单位可以是预测块，并且，可替换地，可以是通过进一步划分预测块而获得的子块。
确定是否实施OBMC处理的方法的一个示例是使用obmc_flag，它是指示是否实施OBMC处理的信号。作为一个特定示例，编码器可以确定目标块是否属于包括复杂运动的区域。当块属于包括复杂运动的区域时，编码器将obmc_flag设置为“1”的值，并在编码期间实现OBMC处理；当块不属于包括复杂运动的区域时，将obmc_flag设置为“0”的值，并且在无需实现OBMC处理的情况下对该块进行编码。解码器通过对写入流(即压缩序列)中的obmc_flag进行解码，并根据标志值执行解码，在是否实现OBMC处理之间进行切换。
注意，运动信息可以在解码器侧得出而无需从编码器侧发信号。例如，可以使用在H.265/HEVC标准中定义的合并模式。此外，例如，可以通过在解码器侧执行运动估计来得出运动信息。在这种情况下，解码器侧可以在不使用当前块的像素值的情况下执行运动估计。
这里，将描述用于在解码器侧执行运动估计的模式。用于在解码器侧执行运动估计的模式也称为模式匹配运动向量得到(PMMVD)模式或帧速率上转换(FRUC)模式。
FRUC处理的一个示例在图5D中示出。首先，参考在空间或时间上与当前块相邻的编码块的运动向量来生成候选的候选列表(候选列表可以是合并列表)，每个候选包括预测运动向量(MV)。接下来，从候选列表中注册的多个候选MV中选择最佳候选MV。例如，计算候选列表中包括的候选MV的评估值，并基于计算的评估值选择一个候选MV。
接下来，从选择的候选的运动向量中得出当前块的运动向量。更具体地，例如，按照计算选择的候选(最佳候选MV)的运动向量来计算当前块的运动向量。可替代地，可以通过在参考图片中与选择的候选的运动向量相对应的位置附近执行的模式匹配来得出当前块的运动向量。换句话说，当使用参考图片中的模式匹配和评估值来搜索最佳候选MV的附近，并且发现具有更好评估值的MV时，可以将最佳候选MV更新为具有更好评估值的MV，并且具有更好评估值的MV可以用作当前块的最终MV。也可以接受其中不实现对具有更好评估值的MV的更新的处理的配置。
在以子块为单位执行处理的情况下，可以执行相同的处理。
可以以各种方式来计算评估值。例如，将参考图片中与运动向量相对应的的区域的重构图像与预定区域的重构图像(例如，可以在另一参考图片中或在当前图片的相邻块中，例如，如上所述)进行比较，并且可以计算两个重构图像之间的像素值之差，并将其用作运动向量的评估值。注意，除了差之外，还可以通过使用一些其他信息来计算评估值。
接下来，详细描述模式匹配。首先，选择候选列表(例如，合并列表)中包括的一个候选MV作为通过模式匹配进行搜索的起点。使用的模式匹配是第一模式匹配或第二模式匹配。第一模式匹配和第二模式匹配也分别称为双边匹配和模板匹配。
在第一模式匹配中，在都沿着当前块的运动轨迹的两个不同参考图片中的两个块之间执行模式匹配。因此，在第一模式匹配中，对于参考图片中的区域，将与当前块的运动轨迹相符的另一参考图片中的区域用作用于对候选的估计值的上述计算的预定区域。
图6示出了沿着运动轨迹的两个参考图片中的两个块之间的第一模式匹配(双边匹配)的一个示例。如图6所示，在第一模式匹配中，通过在沿着当前块(Cur块)的运动轨迹的两个不同参考图片(Ref0，Ref1)中的两个块之间找到最佳匹配来得出两个运动向量(MV0，MV1)。更具体地，可以在(i)第一编码参考图片(Ref0)中由候选MV指定的位置处的重构图像与(ii)由在第二编码的参考图片(Ref1)中按显示时间间隔对称缩放的候选MV指定的位置处的重构图像之间获得差。然后，该差可以用于得出当前块的评估值。可以在多个候选MV中选择具有最佳评估值的候选MV作为最终MV。
在连续运动轨迹的假设下，指向两个参考块的运动向量(MV0，MV1)与当前图片(Cur Pic)和两个参考图片(Ref0，Ref1)之间的时间距离(TD0，TD1)成比例。例如，当当前图片在时间上在两个参考图片之间并且从当前图片到两个参考图片的时间距离相同时，第一模式匹配得出两个镜像双边运动向量。
在第二模式匹配(模板匹配)中，在当前图片中的模板(在当前图片中与当前块相邻的块；例如，顶部和/或左侧相邻块)与参考图片中的块之间执行模式匹配。因此，在第二模式匹配中，将当前图片中与当前块相邻的块用作候选评估值的上述计算的预定区域。
图7示出了当前图片中的模板与参考图片中的块之间的模式匹配(模板匹配)的一个示例。如图7所示，在第二模式匹配中，通过在参考图片(Ref0)中搜索以找到与当前图片(Cur Pic)中的当前块(Cur块)的相邻块最匹配的块，来得出当前块的运动向量。更具体地，可以在(i)相对于当前块的编码的相邻的上部和左侧区域之一或两者的重构图像与(ii)相对于由编码的参考图片(Ref0)中的候选MV指定的块位置的相同区域的重构图像之间获得差异。然后，该差可以用于得出当前块的评估值。可以在多个候选MV中选择具有最佳评估值的候选MV作为最佳候选MV。
指示是否应用FRUC模式的信息(例如，称为FRUC标志)可以在CU电平处用信号发送。此外，当应用FRUC模式时(例如，当FRUC标志被设置为真时)，可以在CU级别用信号发送指示适用于匹配方法的模式(例如，第一模式匹配或第二模式匹配)的信息。注意，这种信息的信令不必在CU级别上执行，而可以在另一级别上执行(例如，在序列级别、图片级别、片级别、瓦片级别、CTU级别或子块级别)。
接下来，描述得出运动向量的方法。首先，给出用于基于假设均匀线性运动的模型得出运动向量的模式的描述。此模式也称为双边光流(BIO)模式。
图8示出了假设匀速线性运动的模型。在图8中，(vx，vy)表示速度向量，并且τ0和τ1分别表示当前图片(Cur Pic)和两个参考图片(Ref0，Ref1)之间的时间距离。(MVx0，MVy0)表示与参考图片Ref0相对应的运动向量，并且(MVx1，MVy1)表示与参考图片Ref1相对应的运动向量。
在此，在假设速度向量(vx，vy)、(MVx0，MVy0)和(MVx1，MVy1)呈现均匀线性运动的情况下分别表示为(vxτ0，vyτ0)和(-vxτ1，-vyτ1)，并且给出下面的光流公式(公式1)。
[数学.1]
Figure BDA0002524441930000211
在此，I(k)表示运动补偿后的参照图片k(k＝0，1)的亮度值。光流公式表明，(i)亮度值的时间导数，(ii)参考图片的空间梯度的水平速度和水平分量的乘积和(iii)参考图片的空间梯度的垂直速度和垂直分量的乘积之和等于零。从例如合并列表获得的每个块的运动向量可以基于光流公式和埃尔米特插值的组合逐像素地校正。
注意，可以使用除了基于假设均匀线性运动的模型来得到运动向量以外的方法，在解码器侧上得到运动向量。例如，可以基于相邻块的运动向量来针对每个子块得出运动向量。
接下来，给出其中基于相邻块的运动向量针对每个子块得出运动向量的模式的描述。该模式也称为仿射运动补偿预测模式。
图9A示出了基于相邻块的运动向量来得到每个子块的运动向量的一个示例。在图9A中，当前块包括16个4×4子块。在此，基于相邻子块的运动向量来得出当前块中的左上角控制点的运动向量v0。类似地，基于相邻块的运动向量来得出当前块中的右上角控制点的运动向量v1。然后，使用两个运动向量v0和v1，使用以下公式2得出当前块中每个子块的运动向量(vx，vy)。
[数学.2]
Figure BDA0002524441930000212
这里，x和y分别是子块的水平位置和垂直位置，而w是预定的加权系数。
仿射运动补偿预测模式可以包括得出左上角和右上角控制点的运动向量的不同方法的多种模式。可以在CU级别用信号发送指示仿射运动补偿预测模式的信息(例如，称为仿射标志)。注意，指示仿射运动补偿预测模式的信息的信令不必在CU级别执行，而可以在另一级别(例如，在序列级别、图片级别、片级别、瓦片级别、CTU级别，或子块级)。
(预测控制器)
预测控制器128选择帧内预测信号(从帧内预测器124输出)或帧间预测信号(从帧间预测器126输出)，并将选择的预测信号输出到减法器104和加法器116。
如图1所示，在各种实施方式中，预测控制器128可以输出被输入到熵编码器110的预测参数。熵编码器110可以基于从预测控制器128输入的预测参数和从量化器108输入的量化的系数来生成编码的位流(或序列)。可以由接收和解码编码的位流的解码器使用预测参数来执行与在帧内预测器124、帧间预测器126和预测控制器128中执行的相同的预测处理。预测参数可以包括选定的预测信号(例如，帧内预测器124或帧间预测器126中使用的运动向量、预测类型或预测模式)，或基于或指示帧内预测器124、帧间预测器126和预测控制器128中执行的预测处理的任何索引、标志或值。
在一些实施方案中，预测控制器128以合并模式操作以使用来自帧内预测器124的帧内预测信号和来自帧间预测器126的帧间预测信号两者来优化针对当前图片计算的运动向量。图9B示出了用于以合并模式得出当前图片中的运动向量的处理的一个示例。
首先，生成预测MV列表，其中注册预测MV候选。预测MV候选的示例包括：空间邻近预测MV，其是位于目标块的空间附近的编码块的MV；时间相邻预测MV，其是与目标块位于相同位置的块相邻的编码参考图片中的块的MV；耦合预测MV，其是通过组合空间相邻预测MV和时间相邻预测MV的MV值而生成的MV；以及零预测MV，其是值为零的MV。
接下来，通过从注册在预测MV列表中的多个预测MV中选择一个预测MV来确定目标块的MV。
此外，在可变长度编码器中，将merge_idx(其是指示选择了哪个预测MV的信号)写入并编码到流中。
注意，在图9B中所示的预测MV列表中注册的预测MV一个示例。注册在预测MV列表中的预测MV的数量可以与图9B所示的数量不同，并且在图9B的示例中，注册在预测MV列表中的预测MV可以省略在图9B的示例中给出的一种或多种类型的预测MV，并且除了在图9B的示例中给出的类型之外并且与图9B的示例中给出的类型不同，注册在预测MV列表中的预测MV可以包括一种或多种类型的预测MV。
可以通过使用在合并模式中得出的目标块的MV通过执行DMVR(动态运动向量刷新)处理(稍后描述)来确定最终MV。
图9C是说明用于确定MV的DMVR处理的示例的概念图。
首先，针对当前块设置的最适当的MV(例如，在合并模式下)被认为是候选MV。然后，根据候选MV(L0)，在第一参考图片(L0)中识别参考像素，该第一参考图片是L0方向上的编码图片。类似地，根据候选MV(L1)，在第二参考图片(L1)中识别参考像素，该第二参考图片(L1)是沿L1方向的编码图片。然后将参考像素平均以形成模板。
接下来，使用模板，搜索第一参考图片(L0)和第二参考图片(L1)的候选MV的周围区域，并且将具有最低成本的MV确定为最终MV。例如，可以使用模板中的每个像素值与搜索到的区域中的每个像素值之间的差，使用候选MV等来计算成本值。
注意，这里描述的处理的配置和操作在编码器侧和解码器侧都基本相同，这将在下面描述。
可以使用除上述处理之外的任何处理，只要该处理能够通过搜索候选MV的周围来得出最终MV即可。
接下来，给出了使用LIC(局部照明补偿)处理生成预测图像(预测)的模式的示例。
图9D示出了使用由LIC处理执行的亮度校正处理的预测图像生成方法的一个示例。
首先，从编码的参考图片中得出MV，以获得与当前块对应的参考图片。
接下来，对于当前块，基于编码的相邻左参考区域和当前图片中编码的相邻上参考区域的亮度像素值，并基于由MV指定的参考图片中相同位置的亮度像素值，获得指示参考图片与当前图片之间亮度值如何变化的信息。指示亮度值如何变化的信息用于计算亮度校正参数。
通过执行亮度校正处理生成当前块的预测图像，该亮度校正处理将亮度校正参数应用于由MV指定的参考图片中的参考图片。
请注意，图9D所示的周围参考区域的形状只是一个示例；周围的参考区域可能有不同的形状。
此外，虽然根据本示例中的单个参考图片生成预测图像，但在根据多个参考图片生成预测图像的情况下，如上文所述，在执行亮度校正处理后，可以在从参考图片获得的参考图片上生成预测图像。
用于确定是否实现LIC处理的方法的一个示例是使用lic_flag，lic_flag是指示是否实现LIC处理的信号。作为一个特定的示例，编码器确定当前块是否属于亮度变化区域。当块属于亮度变化区域时，编码器将lic_flag设置为“1”的值，并在编码时实现LIC处理。当块不属于亮度变化区域时，编码器将lic_flag设置为“0”，并执行实现LIC处理的编码。解码器可以通过解位流中写入的lic_flag在实现LIC处理或不实现LIC处理之间切换并且根据标志值执行解码。
确定是否实现LIC处理的不同方法的一个示例包括判断是否确定LIC处理是针对周围块实现的。在一个特定的示例中，当在当前块上使用合并模式时，确定是否在周围编码块的编码中应用LIC处理，该编码块是在合并模式下得出MV时选择的。然后，该确定用于进一步确定是否针对当前块实现LIC处理。请注意，在本例中，同样的情况也应用于在解码器侧执行的处理。
(解码器)
接下来，将描述能够解码从编码器100输出的编码信号(编码的位流)的解码器。图10是根据实施例的示出解码器200的功能配置的框图。解码器200是一种移动图片解码器，它逐块对移动图片进行解码。
如图10所示，解码器200包括熵解码器202、逆量化器204、逆变换器206、加法器208、块存储器210、环路滤波器212、帧存储器214、帧内预测器216、帧间预测器218和预测控制器220。
解码器200被实现为例如通用处理器和存储器。在这种情况下，当处理器执行存储在存储器中的软件程序时，处理器功能是熵解码器202、逆量化器204、逆变换器206、加法器208、环路滤波器212、帧内预测器216、帧间预测器218和预测控制器220。可替换地，解码器200可以实现为与熵解码器202、逆量化器204、逆变换器206、加法器208、环路滤波器212、帧内预测器216、帧间预测器218和预测控制器220相对应的一个或多个专用电子电路。
下面将描述解码器200中包含的每个组件。
(熵解码器)
熵解码器202对编码的位流熵解码。更具体地说，例如，熵解码器202将编码的位流算术解码为二进制信号。熵解码器202然后对二进制信号进行去二进制化。熵解码器202将每个块的量化系数输出到逆量化器204。熵解码器202也可以将预测参数(可以包含在编码的位流中(参见图1)输出到帧内预测器216、帧间预测器218和预测控制器220，以便它们能够进行与帧内预测器124、帧间预测器126和预测控制器128中编码器侧执行的相同的预测处理。
(逆量化器)
逆量化器204逆量化要解码的块(以下简称当前块)的量化系数，这些系数是从熵解码器202输入的。更具体地说，基于与量化系数对应的量化参数，逆量化器204逆量化当前块的量化系数。逆量化器204然后将当前块的逆量化系数(即变换系数)输出到逆变换器206。
(逆变换器)
逆变换器206通过逆变换变换系数来恢复预测误差(残差)，这些变换系数是从逆量化器204输入的。
例如，当从编码位流解析的信息指示EMT或AMT的应用(例如，当AMT标志设置为真(true)时)时，逆变换器206基于指示解析的变换类型的信息对当前块的变换系数进行逆变换。
此外，例如，当从编码位流解析的信息指示NSST的应用时，逆变换器206对变换系数采用二次逆变换。
(加法器)
加法器208通过对从逆变换器206输入的预测误差和从预测控制器220输入的预测样本进行求和来重构当前块。加法器208然后将重构块输出到块存储器210和环路滤波器212。
(块存储器)
块存储器210是存储要被解码的图片(以下简称当前图片)中的块，以供帧内预测参考。更具体地说，块存储器210存储从加法器208输出的重构块。
(环路滤波器)
环路滤波器212将环路滤波器应用于由加法器208重构的块，并将滤波后的重构块输出到帧存储器214，例如，输出到显示设备。
当指示从编码位流解析的ALF的启用或禁用的信息指示启用时，基于局部梯度的方向和活动从多个滤波器中选择一个滤波器，并将选择的的滤波器应用于重构块。
(帧存储器)
帧存储器214是用于存储用于帧间预测的参考图片的存储，也称为帧缓冲区。更具体地说，帧存储器214存储由环路滤波器212滤波的重构块。
(帧内预测器)
帧内预测器216通过参考存储在块存储器210中的当前图片中的一个或多个块的帧内预测来生成预测信号(帧内预测信号)。更具体地说，帧内预测器216通过参考与当前块相邻的一个或多个块的样本(例如，亮度和/或色度值)的帧内预测来生成帧内预测信号，并且然后将帧内预测信号输出到预测控制器220。
请注意，当选择从亮度块中帧内预测色度块的帧内预测模式时，帧内预测器216可以基于当前块的亮度分量来预测当前块的色度分量。
此外，当指示PDPC应用的信息从编码位流(例如，在从熵解码器202输出的预测参数中)解析时，帧内预测器216基于水平/垂直参考像素梯度来校正后帧内预测像素值。
(帧间预测器)
帧间预测器218参考存储在帧存储器214中的参考图片预测当前块。在当前块中每个当前块或每个子块(例如，每个4×4块)执行帧间预测。例如，帧间预测器218基于使用从编码位流(例如，在从熵解码器202输出的预测参数中)解析的运动信息(例如，运动向量)的运动补偿生成当前块或子块的帧间预测信号，并将帧间预测信号输出到预测控制器220。
当从编码位流解析的信息表明OBMC模式的应用时，除了从运动估计获得的当前块的运动信息外，帧间预测器218还使用相邻块的运动信息生成帧间预测信号。
此外，当从编码位流中解析的信息指示FRUC模式的应用时，预测器218通过根据从编码位流中解析的模式匹配方法(双边匹配或模板匹配)执行运动估计来得出运动信息。帧间预测器218然后使用得出的运动信息执行运动补偿(预测)。
此外，当应用BIO模式时，帧间预测器218基于假设匀速直线运动的模型得出运动向量。进一步地，当从编码位流解析的信息指示应用仿射运动补偿预测模式时，帧间预测器218基于相邻块的运动向量得出每个子块的运动向量。
(预测控制器)
预测控制器220选择帧内预测信号或帧间预测信号，并将选择的预测信号输出到加法器208。此外，预测控制器220可以执行各种功能和操作，例如合并模式(参见图9B)、DMVR处理(参见图9C)和LIC处理(图9D)，如上所述，参考编码器侧的预测控制器128。一般情况下，解码器侧的预测控制器220、帧间预测器218和帧内预测器216的配置、功能和操作可能与编码器侧的预测控制器128、帧间预测器内126和帧内预测器124的配置、功能和操作相对应。
(帧间预测的详细说明)
下面根据与本应用相一致的帧间预测的另一实施例描述示例。本实施例涉及所谓BIO模式下的帧间预测。在本实施例中，块的运动向量不以像素单元进行校正，如图1到10的实施例中所示，而是以分块单元进行校正。本实施例的解释将集中在关于图1至10所示的差异点。
因为本实施例中编码器和解码器的配置与图1到10所示的实施例中的配置基本相同，从而对这些配置的描述和描述被省略了。
(帧间预测)
图11是示出了本实施例中帧间预测的流程图。图12是用于解释本实施例中的帧间预测的概念图。以下处理由编码器100中的帧间预测器126和解码器200中的帧间预测器218执行。
如图11所示，首先对要被编码/解码的图片(当前图片1000)中的多个块执行块环路处理(S101至S111)。在图12中，从多个块中选择要被编码/解码的块作为当前块1001。
在块环路处理中，环路处理在第一参考图片1100(L0)和第二参考图片1200(L1)上的参考图片中执行，这些参考图片是处理的图片(S102到S106)。
在参考图片环路处理中，首先得出或获取块运动向量，以便从参考图片中获得预测图像(S103)。在图12中，针对第一参考图片1100得出或获取第一运动向量1110(MV_L0)，而针对第二参考图片1200得出或获取第二运动向量1210(MV_L1)。可以使用的运动向量得到方法的示例包括普通的帧间预测模式、合并模式和FRUC模式。在普通的帧间预测模式情况下，编码器100使用运动搜索得出运动向量，而解码器200从位流获得运动向量。
然后，利用得出或获取的运动向量执行运动补偿，从参考图片中获得预测图像(S104)。在图12中，通过使用第一运动向量1110执行运动补偿，从第一参考图片1100中获得第一预测图像1140。同样，通过使用第二运动向量1210执行运动补偿，从第二参考图片1200中获得第二预测图像1240。
在运动补偿中，将运动补偿滤波器应用于参考图片。运动补偿滤波器是一种插值滤波器，用于获得具有子像素精度的预测图像。使用图12中的第一参考图片1100，第一插值范围1130中的像素，包括第一预测块1120中的像素和周围像素，由第一运动向量1110指示的第一预测块1120中的运动补偿滤波器参考。此外，使用第二参考图片1200，第二插值范围1230中的像素，包括第二预测块1220中的像素和周围像素，由第二运动向量1210指示的第二预测块1220中的运动补偿滤波器参考。
注意，第一插值参考范围1130和第二插值范围1230包括第一普通参考范围和第二普通参考范围，其用于在普通帧间预测中执行当前块1001的运动补偿，在该普通帧间预测中使用局部运动估计值来执行处理。第一普通参考范围包含在第一参考图片1100中，而第二普通参考范围包含在第二参考图片1200中。在普通的帧间预测中，运动向量是使用运动搜索在块中得出的，运动补偿是在得出的运动向量上以块执行的，并且运动补偿图像是作为最终的预测图像。换句话说，局部运动估计值不用于普通的帧间预测。注意，第一插值参考范围1130和第二插值参考范围1230可能与第一普通参考范围和第二普通参考范围相匹配。
接下来，从参考图片中获得与预测图像相对应的梯度图像(S105)。梯度图像中的每个像素具有梯度值，该梯度值指示亮度或色差的空间斜率。梯度值是通过将梯度滤波器应用于参考图片来获得的。在图12中的第一参考图片1100中，包括第一预测块1120中的像素和周围的像素的第一梯度参考范围1135中的像素使用第一预测块1120的梯度滤波器来参考。第一梯度参考范围1135包含在第一插值参考范围1130中。在第二参考图片1200中，包括第二预测块1220中的像素和周围的像素的第二梯度参考范围1235中的像素使用第二预测块1220的梯度滤波器参考。第二梯度参考范围1235包含在第二插值参考范围1230中。
当从第一参考图片和第二参考图片获得预测图像和梯度图像时，结束参考图片环路处理(S106)。然后，对通过进一步划分块获得的子块执行环路处理(S107到S110)。每个子块的大小都小于当前块的大小(例如，大小为4x4像素)。
在子块环路处理中，首先利用从第一参考图片1100和第二参考图片1200获得的第一预测图像1140、第二预测图像1240、第一梯度图像1150、以及第二梯度图像1250得到局部运动估计值1300(S108)。例如，参考第一预测图像1140、第二预测图像1240、第一梯度图像1150和第二梯度图像1250中的每个预测子块中的像素，并针对子块得出局部运动估计值1300。预测的子块是对应于当前块1001中的子块的第一预测块1140以及第二预测块1240中的区域。局部运动估计值有时被称为校正运动向量。
接下来，利用第一预测图像1140和第二预测图像1240中的像素值、第一梯度图像1150和第二梯度图像1250中的梯度值和局部运动估计值1300，生成子块的最终预测图像1400。当针对当前块中的每个子块生成最终预测图像时，将针对当前块生成最终预测图像，并结束子块环路处理(S110)。
当块环路处理结束(S111)时，图11中的处理结束。
注意，通过将当前块的子块的运动向量分配给每个子块，可以在子块级别上获得预测图像和梯度图像。
(当前实施例的示例中运动补偿滤波器和梯度滤波器的参考范围)下面描述了根据本实施例的运动补偿滤波器和梯度滤波器的参考范围的示例。
图13是概念图，其用于根据本实施例的示例解释运动补偿滤波器和梯度滤波器的参考范围的示例。
在图13中，每个圆圈表示一个样本。在图13所示的示例中，当前块的大小为8x8样本，并且子块的大小为4x4样本。
参考范围1131是应用于第一预测块1120的左上样本1122的运动补偿滤波器的参考范围(例如，具有8x8样本的平方范围)。参考范围1231是应用于第二预测块1220的左上样本1222的运动补偿滤波器的参考范围(例如，具有8x8样本的平方范围)。
参考范围1132是应用于第一预测块1120的左上样本1122的梯度滤波器的参考范围(例如，具有6x6样本的平方范围)。参考范围1232是应用于第二预测块1220的左上样本1222的梯度滤波器的参考范围(例如，具有6x6样本的平方范围)。
运动补偿滤波器和梯度滤波器应用于第一预测块1120和第二预测块1220中的其他样本，同时在每个样本对应的位置上参考相同大小的参考范围内的样本。因此，在第一插值范围1130和第二插值范围1230中的样本被参考，以便获得第一预测图像1140和第二预测图像1240。此外，还参考了第一梯度范围1135和第二梯度范围1235中的样本，以便获得第一梯度图像1150和第二梯度图像1250。
(影响等)
以这种方式，本实施例中的编码器和解码器可以在子块中得出局部运动估计值。因此，与在样本单元中得到局部运动估计值相比，可以减少处理负担或处理时间，同时利用子样本单元中的局部运动估计值减少预测误差。
此外，本实施例中的编码器和解码器可以在普通参考范围内使用插值参考范围。因此，当使用子块中的局部运动估计值生成最终预测图像时，在运动补偿期间，不需要从帧存储器中加载新的样本数据，并且可以抑制存储器容量和存储器带宽的任何增加。
此外，本实施例中的编码器和解码器可以在普通参考范围内使用梯度参考范围。因此，新的样本数据不必从帧存储器中加载以获得梯度图像，并且可以抑制存储器容量和存储器带宽的任何增加。
本实施例至少可以与其他实施例的某些方面相结合。此外，本实施例流程图中描述的一些处理、设备中的一些元件和一些语法可以与其他实施例的各个方面相结合。
(本实施例的修改示例1)
以下是根据本实施例的对运动补偿滤波器和梯度滤波器的修改示例的详细描述。在修改后的示例1中，与第二预测图像相关的处理类似于与第一预测图像相关的处理，因此省略或简化了进一步的解释。
(运动补偿滤波器)
将首先解释运动补偿滤波器。图14是用于解释本实施例的修改后的示例1中运动补偿滤波器的参考范围的示例的概念图。
在下面的解释中，将水平方向为1/4样本并且垂直方向为1/2样本的运动补偿滤波器应用于第一预测块1120。运动补偿滤波器是所谓的八拍滤波器，并且由下面的公式(3)表示。
[Math.3]
Figure BDA0002524441930000311
w0.25＝(-1，4，-10，58，17，-5，1，0)
w0.5＝(-1，4，-11，40，40，-11，4，-1)
在这里，当k为0时Ik[x,y]表示具有子样本精度的第一预测图像中的样本值，并且当k为1时Ik[x,y]表示具有子样本精度的第二预测图像中的样本值。样本值是样本的值，例如，预测图像中的亮度值或色差值。这里，w0.25和w0.5是1/4样本精度和1/2样本精度的加权因子。当k为0时，I0 k[x,y]表示具有整体样本精度的第一预测图像中的样本值，当k为1时，I0 k[x,y]表示具有整体样本精度的第二预测图像中的样本值。
例如，当公式(3)中的运动补偿滤波器应用于图14中的左上样本1122时，在参考范围1131A的水平方向上布置的样本的值被加权并在每条线上加和，并对这些线的加法结果进行加权和加和。
在本修改的示例中，左上角样本1122的运动补偿滤波器参考了参考范围1131A中的样本。参考范围1131A是一个矩形范围，其运行左上样本1122向左的三个样本、向右的四个样本、上方的三个样本、下方的四个样本。
该运动补偿滤波器应用于第一预测块1120中的所有样本。因此，第一插值参考范围1130A中的样本被第一预测块1120的运动补偿滤波器参考。
运动补偿滤波器以与第一预测块1120相同的方式应用于第二预测块1220。换句话说，参考范围1231A中的样本被参考用于左上样本1222，而第二插值范围1230A中的样本在整个第二预测块1220中被参考。
(梯度滤波器)
以下是梯度滤波器的解释。图15是用于解释本实施例的修改后的示例1中梯度滤波器的参考范围的示例的概念图。
在本修改的示例中，梯度滤波器是所谓的五塔滤波器，并且由下面的公式(4)和公式(5)表示。
[Math.4]
Figure BDA0002524441930000321
[Math.5]
Figure BDA0002524441930000322
w二(2，-9，0，9，-2)
这里，当k为0时，Ix k[x,y]指示第一梯度图像中每个样本的水平梯度值，并且当k为1时，Ix k[x,y]指示第二梯度图像中每个样本的水平梯度值。当k为0时，Iy k[x,y]指示第一梯度图像中每个样本的垂直梯度值，当k为1时，Iy k[x,y]指示第二梯度图像中每个样本的垂直梯度值。在这些公式中，w是加权因子。
例如，当公式(4)和公式(5)中的梯度滤波器应用于图15中的左上样本1122时，水平梯度样本值是在水平方向上布置的五个样本的样本值，包括左上样本1122，并通过对具有整体样本精度的预测图像中的样本值加权和加和来计算的。此时，加权因子具有针对左上样本1122的以上或以下以及左或右的样本的正或负值。
在本修改的示例中，左上样本1122的梯度滤波器参考参考范围1132A中的样本。参考范围1132A呈十字形，并向左上样本1122的左右延伸两个样本。
该梯度滤波器应用于第一预测块1120中的所有样本。因此，第一梯度参考范围1135A中的样本被第一预测块1120的运动补偿滤波器参考。
梯度滤波器以与第一预测块1120相同的方式应用于第二预测块1220。换句话说，参考范围1232A中的样本被参考用于左上样本1222，而第二梯度范围1235A中的样本在整个第二预测块1220中被参考。
当指示参考范围的运动向量指示子样本位置时，梯度滤波器的参考范围1132A和1232A中的样本值可以转换为具有子样本精度的样本值，并将梯度滤波器应用于转换的样本值。另外，可以将具有通过对用于转换为子样本精度的系数值进行卷积而获得的系数值和用于得到梯度值的系数值的梯度滤波器应用于具有整体样本精度的样本值。在这种情况下，梯度滤波器在每个子样本位置处是不同的。
(得出子块的局部运动估计值)
下面是对子块的局部运动估计值的得到的解释。在本示例中，针对当前块中的子块当中左上子块得到局部运动估计值。
在本修改的示例中，基于下面的公式(6)，针对子块得到水平局部运动估计值u和垂直局部运动估计值v。
[Math.6]
Figure BDA0002524441930000331
这里,sGxGy、sGx 2、sGy 2、sGxdI以及sGydI是在子块中计算的值，并基于下面的公式(7)得出。
[Math.7]
Figure BDA0002524441930000341
这里，Ω是预测块中与子块对应的区域/区中预测子块中所有样本的坐标集。Gx[i,j]指示第一梯度图像的水平梯度值和第二梯度图像的水平梯度值之和，而Gy[i,j]指示第一梯度图像的垂直梯度值和第二梯度图像的垂直梯度值之和。ΔI[i,j]指示第一预测图像和第二预测图像的差值。w[i,j]指示依赖于预测子块中样本位置的加权因子。然而，对于预测的子块中的所有样本，可以使用具有相同值的加权因子。
更具体地说，Gx[i,j]、Gy[i,j]和ΔI[i,j]用下面的公式(8)表示。
[Math.8]
Figure BDA0002524441930000342
以这种方式，在子块中得出局部运动估计值。
(生成最终预测图像)
以下是对最终预测图像的生成的解释。最终预测图像中的每个样本值p[x,y]是基于下面的公式(9)，使用第一预测图像中的样本值I0[x,y]和第二预测图像中的样本值I1[x,y]得出的。
[Math.9]
p[x，y]＝(I0[x，y]+I1[x，y]+b[x，y])＞＞1 (9)
在此，b[x,y]指示每个样本的校正值。在公式(9)中，通过对第一预测图像中的样本值I0[x,y]的和、第二预测图像中的样本值I1[x,y]的和以及校正值b[x,y]向右一位来计算最终预测图像中的每个样本值p[x,y]。校正值b[x,y]由下面的公式(10)表示。
[Math.10]
Figure BDA0002524441930000351
在公式(10)中，通过将水平局部运动估计值(u)乘以第一梯度图像和第二梯度图像中的水平梯度值(Ix 0[x,y]-Ix 1[x,y])的差，将垂直局部运动估计值(v)乘以第一梯度图像和第二梯度图像中的垂直梯度值(Iy 0[x,y]-Iy 1[x,y])的差，并将乘积相加，来计算校正值b[x,y]。
使用公式(6)至公式(10)说明的计算仅是示例。也可以使用具有相同效果的公式。
(效果等)
以这种方式，在本修改示例中，当使用运动补偿滤波器和梯度滤波器时，可以在子块中得出局部运动估计值。当使用以此方式得出的子块中的局部运动估计值生成当前块的最终预测图像时，可以获得与本实施例类似的结果。
本实施例可以与其他实施例的至少一些方面组合。而且，本实施例的流程图中描述的一些处理、设备中的一些元件以及一些语法可以与其他实施例的各方面组合。
(本实施方式的修改示例2)
在本实施例和本实施例的修改示例1中，当得出局部运动估计值时，参考与当前块中的子块相对应的预测块中的预测子块中的所有样本。然而，本公开不限于这些示例。例如，只能参考预测子块中的一些样本。在以下段落中将该场景描述为本实施例的修改示例2。
在本修改示例的解释中，当得出子块中的局部运动估计值时，仅参考预测子块中的一些样本。例如，在修改示例1的公式(7)中，使用预测子块中的一些样本的坐标集代替预测子块中的所有样本的坐标集Ω。各种模式可以用作预测子块中一些样本的坐标集。
图16是示出了通过在本实施例的修改示例2中得出局部运动估计值而参考的样本模式的示例的图。在图16中，在预测块1121或1221中具有交叉阴影线的圆圈指示参考样本，而没有交叉阴影线的圆圈指示未参考样本。
图16(a)至图16(g)中的七个样本模式中的每个样本模式指示预测子块1121或1221中的一些样本。这七个样本模式都是不同的。
在图16(a)至图16(c)中，仅参考了预测子块1121或1221中的十六个样本中的八个。在图16(d)至16(g)中，仅参考了预测子块1121或1221中的十六个样本中的四个。换句话说，在图16(a)至图16(c)中已经稀疏了十六个样本中的八个，并且在图16(d)至图16(g)中，已经稀疏了十六个样本中的十二个。
更具体地，在图16(a)中，参考了八个样本，或者在水平和垂直方向上的每隔一个样本。在图16(b)中，参照水平地(可替换地，垂直地)布置在左侧和右侧的两对样本。在图16(c)中，在预测的子块1121或1221中参考中心的四个样本和角落的四个样本。
在图16(d)和图16(e)中，在第一行和第三行中分别水平和垂直地参考了两个样本。在图16(f)中，参考了四个角落样本。在图16(g)中，参考了四个中心样本。
可以基于两个预测图像从多个预定模式中自适应地选择参考模式。例如，可以选择包括与两个预测图像中的表示梯度值相对应的样本的样本模式。更具体地，当表示梯度值小于阈值时，可以选择包括四个样本(例如，(d)至(g)中的任何一个)的样本模式。当其不小于阈值时，可以选择包括八个样本(例如，(a)至(c)中的任何一个)的样本模式。
当从多个样本模式中选择样本模式时，参考指示选择的样本模式的预测子块中的样本，并针对该子块得出局部运动估计值。
请注意，指示选择的示例模式的信息可以写入位流。在这种情况下，解码器可以从位流获取信息，并基于获取的信息选择样本模式。指示选择的样本模式的信息可以以块、切片、图片或流单元写入报头。
以这种方式，本实施例中的编码器和解码器只能参考预测子块中的一些样本，并得出子块中的局部运动估计值。因此，与参考所有样本相比，可以减少处理负载或处理时间。
此外，本实施例中的编码器和解码器只能参考从多个样本模式中选择的样本模式中的样本，并得出子块中的局部运动估计值。通过切换样本模式，可以参考适合于子块中局部运动估计值的得到的样本，并且可以减少预测误差。
本实施例至少可以与其他实施例的某些方面相结合。此外，本实施例流程图中描述的一些处理、设备中的一些元件和一些语法可以与其他实施例的各个方面相结合。
(本实施例的其他修改示例)
本公开的一个或多个方面中的编码器和解码器参照实施例和实施例的修改示例进行了解释。然而，本公开不限于这些实施例和实施例的修改示例。本领域的技术人员可以很容易地设想适合在这些实施例和实施例的修改示例中使用的变体，而不偏离本公开的精神和范围，并且包含在本公开的一个或多个方面中。
例如，本实施例的示例和本实施例的修改示例1中使用的运动补偿滤波器中的抽头数为8个样本。然而，本公开并不限于这个示例。运动补偿滤波器中的抽头数量可以是任意数量的抽头，只要插值参考范围包含在普通的参考范围内。
本实施例的示例和本实施例的修改示例1中使用的梯度中的抽头数量为五个或六个样本。然而，本公开并不限于这个示例。梯度滤波器中的抽头数可以是任意数量的抽头，只要梯度参考范围包含在插值参考范围内。
在本实施例的示例和本实施例的修改示例1中，第一梯度参考范围和第二梯度参考范围包括在第一插值参考范围和第二插值参考范围内。然而，本公开并不限于这个示例。例如，第一梯度参考范围可以匹配第一插值参考范围，而第二梯度参考范围可以匹配第二插值参考范围。
当在子块中得出局部运动估计值时，可以对样本值进行加权，以便对预测子块中心的样本的值给予优先处理。具体地，当得出局部运动估计值时，预测子块中多个样本的值可以在第一预测块和第二预测块中加权。在这种情况下，预测子块中心的样本可能被赋予更大的权重。也就是说，预测子块中心的样本可以被加权，其值高于预测子块中心以外的样本。更具体地说，在本实施例的修改示例1中，公式(7)中的加权因子w[i，j]可能导致更接近预测子块中心的坐标值更大。
当局部运动估计值在子块中得出时，可以参考属于相邻预测子块的样本。具体地，在第一预测块和第二预测子块中，相邻预测子块中的样本可以添加到预测子块中的样本中，并被参考以得出子块中的局部运动估计值。
本实施例和本实施例的修改示例1中的运动补偿滤波器和梯度滤波器的参考范围仅用于说明性目的。本公开不必仅限于这些示例。
在本实施例的修改示例2中，提供了七个示例模式作为示例。然而，本公开并不限于这些样本模式。例如，可以使用样本模式，这些样本模式是通过旋转七个样本模式中的每个获得的。
本实施例的修改示例1中加权因子的值仅为示例，并且本公开不限于这些示例。此外，本实施例以及这些实施例的两个修改示例中的块大小和子块大小都只是示例。本公开不限于8x8样本大小和4x4样本大小。帧间预测可以与本实施例的示例和使用其他大小的本实施例的修改示例相同的方式执行。
本实施例至少可以与其他实施例的某些方面相结合。此外，本实施例流程图中描述的一些处理、设备中的一些元件和一些语法可以与其他实施例的各个方面相结合。
如参考图4和5所述，关于应用梯度滤波器以获得梯度值的周围样本的参考范围，分配给预测处理中使用的预测块的运动向量所指示的参考块中的样本值可以补偿为其他值，而不是参照图4和5讨论的样本值。
例如，当分配给预测块的运动向量指示十进制样本位置时，可以补偿和使用与十进制样本位置对应的样本值。
然而，如果应用参考周围样本的滤波处理以便获得与十进制样本位置相对应的样本值，则没有必要参考在关于图4和图5所述范围更宽的范围内中的周围样本。
为了解决上述问题，例如，在本公开中提供了以下方法。
图17示出了流程图，其示出了使用帧间预测功能来基于不同图片中的参考块生成对图片的当前块的预测的图像编码/解码方法的一个示例1700。
在本应用的实施例中，编码方法由图1所示的编码器100实现，并在相对应的描述中描述。在实施例中，编码方法由编码器100的帧间预测器126与编码器100的其他组件合作实现。
同样，在本应用的实施例中，解码方法由图10所示的解码器200实现，并在相对应的描述中描述。在实施例中，解码方法由解码器200的帧间预测器218与解码器200的其他组件合作实现。
如图17所示，根据本示例的编码方法包括以下步骤：
步骤1702：预测图片的当前块的预测样本的第一块，其中预测预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
步骤1704：填充预测样本的第一块，以形成预测样本的第二块，其中第二块大于第一块；
步骤1706：至少使用预测样本的第二块计算梯度；
步骤1708：至少使用计算的梯度对当前块进行编码。
在实施例中，不同的图片在流的时域中可能具有与图片的图片顺序计数(POC)不同的POC。如图18A、图18B和图18C所示，图片可以被参考为当前图片，并且不同的图片可以被参考为第一图片或第二图片。例如，在图18A中，如果不同的图片是第一图片，则不同图片的POC在左时域小于图片的POC，而在右时域大于图片的POC。在图18B中，如果不同的图片是第一图片，则不同图片的POC在左时域和右时域都小于图片的POC。在图18C中，如果不同的图片是第一图片，那么在左时域和右时域中，不同图片的POC都大于图片的POC。
在另一实施例中，不同的图片可能是编码的参考图片，它可能在时间上和/或空间上与图片相邻。编码的参考图片可能具有在时间上和/或空间上小于或大于图片的POC的POC。
当前块可以在图片中随机选择。例如，当前块可能是正方形4×4样本块。可以根据实际预测精度需要来修改当前块的大小。
类似于图5C中所示的运动向量，编码方法的本例中的运动向量从当前块指向可能是图18A到图18C中所示的第一图片或第二图片的不同的图片。在实施例中，运动向量由来自不同图片的帧间预测器126接收，特别是当不同图片是由同一运动向量编码的编码参考图片时。
在步骤1702处，编码器100的帧间预测器126使用来自不同图片的运动向量，至少通过一个预测处理来预测图片的当前块的预测样本的第一块，如前面的描述所述。
在实施例中，预测样本的第一块可以与预测处理中使用的预测块相同，如前面的描述所述，对于类似于合并模式或帧间预测模式的预测模式执行。
在另一实施例中，预测样本的第一块可以与用于运动补偿处理的参考块相同，如前面的描述所述，对于类似于合并模式或帧间预测模式的预测模式执行。
在步骤1704处，编码器100的帧间预测器126填充预测样本的第一块，以形成预测样本的第二块。预测样本的第二块大于预测样本的第一块。以这种方式，可以在第二块中保留更多的信息以供后续处理，并有利地为帧间预测方法提供改进的处理，从而减少帧间预测方法的存储器带宽访问。这是硬件友好的。
例如，步骤1704可以由编码器100的帧间预测器126填充对预测样本的第一块的至少两侧的样本执行，其中预测样本的第一块的至少两侧不正交。
在一些实施例中，编码器100的帧间预测器126可以在平行填充方向上填充至少预测样本的第一块的两侧。如图19A所示，编码器100的帧间预测器126可以用图19A中的折线所描述的方式填充预测样本的4×4第一块1902的两个垂直侧。可替换地，如图19B所示，编码器100的帧间预测器126可以以图19B所示的折线所描述的方式填充预测样本的4×4第一块1904的两个水平侧。
在其他一些实施例中，编码器100的帧间预测器126可以填充预测样本的第一块的四个侧面，如图20A、图20B、图20C和图20D所示。此外，图20A、图20B、图20C和图20D进一步说明了四个填充处理，它们可以用于填充预测样本的第一块。本领域的技术人员容易理解的是，这些填充处理可以进一步用于填充任何样本块。
在示例中，如图20A所示，填充处理可以通过以图20A中的折线描述的方式来镜像预测样本的第一块2002来执行。例如，编码器100的帧间预测器126可以通过以相对于第一块2002的每个边缘对称的方式镜像预测样本的第一块2002来填充预测样本的第一块。镜像可能包括以用于形成预测样本的第二块2000的对称的方式将预测样本的第一块2002的样本值(例如，“A”、“B”等)复制到预测样本的第一块2002周围的样本。
在另一示例中，如图20B所示，填充处理可以通过以图20B中的折线描述的方式来复制预测样本的第一块2004来执行。例如，编码器100的帧间预测器126可以通过将位于预测样本2004(例如，“A”、“B”等)的第一块2004的边缘处的样本的样本值复制到预测样本的第一块周围的并且与位于第一块2004的每个边缘处的相应样本相邻的相对应的样本来填充预测样本的第一块2004，以形成预测样本的第二块2001。
注意，相对应的样本可以是与第一块相邻的样本的一行。被填充的样本的行数越少，第二块2001的精度越高。此外，相对应的样本可以是包括与第一块相邻的一行的多个样本行。具体地，相对应的样本与位于第一块2004的每个边缘处的相应的样本相邻。被填充的样本的行数越多，可以减少的存储器带宽越多。此外，例如，可以基于第一块的大小来设置要填充的样本的行数，并且可以根据标准预先确定等。
在另一示例中，如图20C所示，可以通过以图20C所示的折线的方式将固定值(例如，如图20C所示的“Q”)填充到围绕预测样本的第一块的样本来执行填充处理。例如，固定值可以从以下中的至少一项来选择：0、128、512正整数、预测样本的第一块的平均值和预测样本的第一块的中值。平均值和中值可以与预测样本的第一块的样本值有关。在图20C的示例中，固定值是正整数Q，编码器100的帧间预测器126可以通过将固定值Q填充到围绕预测样本的第一块的样本来填充预测样本的第一块，以形成预测样本的第二块2050。
在另一示例中，可以通过对预测样本的第一块执行函数来执行填充处理。函数的示例可以包括滤波器、多项式函数、指数函数和限幅函数。为了简单起见，未示出该示例。
在又一个示例中，如图20D所示，填充处理可以通过执行镜像、复制、填充第一值以及对预测样本执行功能的任意组合来执行，如上所述。在图20D的示例中，编码器100的帧间预测器126可以通过执行以下的组合来填充预测样本的第一块2008以形成预测样本的第二块2050：将预测样本的第一块2008复制到与第一块2008处于第一特定距离处的样本，并且将固定值Q填充到与第一块2008相距第二特定距离的样本。
在图20A至图20D所示的示例中，编码器100的帧间预测器126填充预测样本的4×4第一块2002、2004、2006、2008，以形成预测样本的8×8第二块2000、2001、2050、2051。
再次参考图19A和图19B中的示例，可以看到编码器100的帧间预测器126通过镜像预测样本的第一块1902、1904来填充预测样本的4×4第一块1902、1904以形成预测样本的第二块1900、1901。在图19A中，预测样本的第二块1900是8×4样本块。在图19B中，预测样本的第二块1900是4×8样本块。
因此，本领域技术人员可以理解，可以根据实际的预测精度需要来修改从填充处理中需要的预测样本的第二块的大小。有利地，填充处理减少数据以在稍后阶段执行帧间预测处理。
因此，可以精心设计本编码方法的填充步骤1704，以基于实际的预测精度需求填充具有M×N大小的预测样本的第一块，以形成具有任何期望大小(M+d1)×(N+d2)的预测样本的第二块，所述实际的预测精度需求基于以上相对于图19A、图19B和图20A至图20D所述的不同填充方向和/或处理/技术。对于本领域技术人员而言，M可以与N相同或不同，而d1和d2可以大于或等于0。
借助于填充，可以将较小尺寸的数据填充为较大尺寸，以便包含更多信息，以产生当前块的准确预测。以这种方式，本编码方法的优点在于，其仅需要小尺寸的数据作为输入，从而减少帧间预测的存储器带宽访问并提供更加硬件友好的处理。
在步骤1706处，编码器100的帧间预测器126至少使用预测样本的第二块来计算梯度。在实施例中，在至少计算梯度时，编码器100的帧间预测器126可以将梯度滤波器应用于预测样本的第二块，以至少生成差分值以用作至少一个梯度。上面在“梯度滤波器”部分中介绍了应用梯度滤波器以至少生成梯度的示例。以这种方式，当前图片的当前块中的数据被数据所参考，所述数据来自用参考块和当前块之间的相应的梯度(即，差分值)编码的参考图片的参考块。这样的步骤有利地有利于减少帧间预测的存储器带宽访问并且提供更加硬件友好的处理。
图21A和图21B分别示出了梯度滤波器的两个例子。在图21A中，一个梯度滤波器{2，-9，0，9，-2}被应用到预测样本的第二块中的所有样本值，而与运动向量的分数部分无关。在图21A中，应用梯度滤波器{2，-9，0，9，-2}的处理与上面在梯度滤波器部分下描述的处理类似。在图21A的示例中，公式(4)和(5)用于所有运动向量。
在图21B中，存在九个梯度滤波器：{8，-39，-3、46，-17，5}，{8，-32，-13、50，-18，5}，{7，-27，-20，54，-19，5}，{6，-21，-29，57，-18，5}，{4，-17，-36，60，-15，4}，{3，-9，-44，61，-15，4}，{1，-4，-48，61，-13，3}，{0，1，-54，60，-9，2}，{-1，4，-57、57，-4，1}被提供以根据运动向量的分数部分被应用于预测样本的第二块中的样本值。在图21B的示例中，运动向量的分数部分是运动向量的子样本部分，例如，1/4样本。因此，基于运动向量的子样本部分选择不同的梯度滤波器。例如，水平方向上的运动向量是1+(1/4)样本，运动向量的分数部分是1/4。然后，选择梯度滤波器{4，-17，-36、60，-15，4}以计算水平梯度。将公式(4)中的w[i]替换为{4，-17，-36，60，-15，4}。在另一示例中，如果垂直方向上的运动向量是4+(7/16)，则运动向量的分数部分是7/16。在此示例中，选择梯度滤波器{0，1，-54，60，-9，2}以计算垂直梯度。将公式(5)中的w[i]替换为{0，1，-54，60，-9，2}。
图21C和图21D描绘了梯度滤波器的另两个示例。在图21C中，一个梯度滤波器{-1、0、1}被应用于预测样本的第二块中的所有样本值，而与运动向量的分数部分无关。
在图21D中，一个梯度滤波器{-1，1}被应用于预测样本的第二块中的所有样本值，而与运动向量的分数部分无关。在图图21C和图21D中，应用相应的梯度滤波器{-1，0，1}或{-1、1}的处理与上面在梯度滤波器部分下描述的处理相似。
在步骤1708，编码器100的帧间预测器126至少使用计算出的梯度来对图片的当前块进行编码。
如图17的示例1700中所示，解码方法中的步骤与编码方法中的步骤相似，除了最后步骤1708，在最后步骤1708中，编码器10 0至少使用梯度来编码当前块，而解码器200至少使用梯度来解码当前块。
以上示例和实施例使用预测块(可互换地称为预测样本的块)作为输入来预测当前块。下面进一步描述根据本编码方法的其他实施例，其中两个预测块被用作输入来预测当前块。
当两个预测块(即，预测样本的两个块)被用作输入来预测当前块时，如上所述的步骤1702包括进一步利用来自另一不同图片的另一运动向量来预测当前块的预测样本的另一块。预测预测样本的另一块的处理与预测预测样本的第一块的处理相同。另外，如上所述的填充步骤1704包括进一步填充预测样本的另一块以形成预测样本的又另一块。
图22示出了利用两个参考图片来预测当前块的图像编码/解码方法的实施例2200。在该实施例中，除了使用附加的预测块作为输入之外，还部署插值处理以用于子样本精度。该实施例包括以下步骤：
步骤2202：至少使用利用来自不同图片的第一和第二运动向量的预测处理，来预测图片的当前块的预测样本的第一和第二块。
步骤2204：填充预测样本的第一和第二块以形成预测样本的第三和第四块。
步骤2206：对预测样本的第三和第四块进行插值处理。
步骤2208：使用插值处理的结果来计算梯度。
步骤2210：至少使用插值处理的结果和所计算的梯度来对当前块进行编码/解码。
在图23的概念图2300中描绘了步骤2202至2210。如图23至图23所示的编码方法的实施例2200可以由图像编码器100执行。要注意，由图像解码器200执行的解码方法与由图22和图23所示的图像编码器100执行的编码方法相同。
在步骤2202中，至少使用预测处理来预测图片的当前块的预测样本的第一块，其中该预测处理利用来自不同图片的第一运动向量来预测样本。在实施例中，第一运动向量可以指向第一图片，其中第一图片不同于当前图片。
类似地，至少使用预测处理来预测图片的当前块的预测样本的第二块，其中该预测处理利用来自另一不同图片的第二运动向量来预测样本。第二运动向量可以指向第二图片，其中第二图片不同于当前图片。
在一个示例中，第一图片可以与第二图片不同。在其他示例中，第一图片可以与第二图片相同。
在一个示例中，如图18A所示，第一图片和第二图片的图片顺序计数(POC)中的至少一个小于当前图片的POC，并且第一图片和第二图片的POC中的至少一个大于当前图片的POC。
在另一示例中，如图18B所示，第一图片和第二图片的POC可以小于当前图片的POC。
在又另一示例中，如图18C所示，第一图片和第二图片的POC可以大于当前图片的POC。
图18A至图18C所示的第一、第二和当前图片的POC在时域中，并且描绘了这些图片在数据流中的编码顺序。编码顺序可以与这些图片在数据流(例如视频剪辑)中的播放顺序相同或不同。本领域技术人员可以理解，POC也可以指在空间域中的这些图片的顺序。
在一个示例中，在步骤2202中预测的预测样本的第一和第二块可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的参考块相同。
在一个示例中，预测样本的第一块和第二块可以等于或大于当前块。
如图23所示，在步骤2302中描绘了图22的预测步骤2202的实施例。在该实施例中，当前块具有M×N的大小，其中M可以与N相同或不同。编码器100的帧间预测器126可以预测各自具有(M+d1)×(N+d2)的大小的预测样本的第一块和第二块，其中d 1和d 2可以等于或大于零。预测样本的第一块的示例以虚线示出。预测样本的第二块具有与第一块相同的大小。可以意识到的是，预测样本的第二块的大小可以与预测样本的第一块的大小不同。
预测预测样本的第一块和第二块的大小大于当前块的大小似乎更为有利，因为预测样本中可以包含更多信息，这有助于更准确的预测结果。
在步骤2204处，填充预测样本的第一块以形成预测样本的第三块，并且类似地，填充预测样本的第二块以形成预测样本的第四块。
在示例中，预测样本的第三块大于预测样本的第一块，并且预测样本的第四块大于预测样本的第二块。如图23的填充步骤2304所示，第三块和第四块可各自具有(M+d1+d3)×(N+d2+d4)的大小，其中d3和d4大于零。预测样本的第三块的示例以虚线示出。预测样本的第四块具有与第三块相同的大小。如上所述，可以意识到的是，预测样本的第四块的大小可以与预测样本的第三块的大小不同。
在一个示例中，填充可以包括镜像预测样本的第一块和第二块，如图20A所示。在另一示例中，填充可以包括复制预测样本的第一块和第二块，如图20B所示。在另一示例中，填充可以包括填充固定值，如图20C所示，其中固定值可以是0、128、512、正整数、预测样本的平均值和预测样本的中值中的至少之一。在一些示例中，填充可以包括对预测样本执行函数。该函数的示例可以是滤波器、多项式函数、指数函数和限幅函数。在一些示例中，填充可以包括镜像、复制、填充固定值以及对预测样本执行函数的任何组合，如图20D所示。
在步骤2206处，对预测样本的第三和第四块执行插值处理。插值处理可以包括分别将根据第一运动向量和第二运动向量的插值滤波器应用于预测样本的第三块和第四块。
在一个示例中，插值滤波器可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的滤波器相同。在其他示例中，插值滤波器可以不同于在针对如上所述的预测模式执行的运动补偿处理中使用的滤波器。
如图23的步骤2306所示，对预测样本的第三和第四块执行的插值处理产生插值处理的得到的块。插值处理的得到的块可各自具有(M+d5)×(N+d6)的大小，其中d5和d6大于零。用虚线描绘了对预测样本的第三块执行的插值处理的得到的块的示例。对预测样本的第四块执行的插值处理的得到的块相似。插值处理的每个得到的块的一部分可以用于编码当前块，其中该部分的大小为M×N。该部分可以与针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理的得到的块相同。
在步骤2208处，使用插值处理的得到的块来计算梯度。梯度计算可以包括将梯度滤波器应用于插值处理的得到的块中的样本值以生成差分值。如图23的步骤2308所示，计算的梯度可以形成大小为M×N的块。
在一个示例中，如图21A所示，在插值处理的得到的块中可能仅将一个梯度滤波器应用于所有样本值，与第一和第二运动向量的分数部分无关。
在另一示例中，如图21B所示，根据第一和第二运动向量的分数部分，可以有九个梯度滤波器被应用于插值处理的得到的块中的样本值。
在步骤2210处，至少使用插值处理的所得块和所计算的梯度来对当前块进行编码。在图23的步骤2310中示出了编码块的示例。
注意，在步骤2210的描述中用于图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤2210处替换为术语“解码”以用于由图像解码器200执行的解码方法。
在本实施例中，借助于向帧间预测引入填充处理，本编码和解码方法有利地减少了帧间预测处理的存储器带宽访问。此外，通过使用填充处理，本实施例可以仅执行插值处理以产生令人满意的预测结果。以这种方式，本申请有利地从帧间预测处理中去除了附加的插值处理，这是硬件友好的。
注意，在对第三块和第四块中的每一个执行的插值处理中，可以使用具有互不相同的抽头数量的插值滤波器。例如，在以上示例中，为了获得尺寸为(M+d5)×(N+d6)的插值处理的得到的块，仅使用八抽头插值滤波器。然而，在所得块中用于获得具有M×N尺寸的第一区域的插值滤波器的抽头数，以及用于获得第二区域的插值滤波器的抽头数，可能会有所不同，所述第二区域是除了第一区域之外的所得块中的以及用于生成梯度块的区域。例如，用于获得第二区域的插值滤波器的抽头的数量可以小于用于获得第一区域的插值滤波器的抽头的数量。具体地，如果用于获得第一区域的插值滤波器的抽头的数量是八，则用于获得第二区域的插值滤波器的抽头的数量可以小于八。因此，可以在防止图像质量下降的同时减轻处理载荷。
图24中示出了利用两个参考图片来预测当前块的图像编码/解码方法的另一实施例。在本实施例中，在填充处理之前执行本实施例中的插值处理。该实施例包括以下步骤：
步骤2402：至少使用利用来自不同图片的第一和第二运动向量的预测处理，来预测图片的当前块的预测样本的第一块和第二块。
步骤2404：对预测样本的第一和第二块进行插值处理。
步骤2406：对插值处理的结果进行填充以形成预测样本的第三和第四块。
步骤2408：使用预测样本的第三和第四块来计算梯度。
步骤2410：至少使用插值处理的结果和所计算的梯度来对当前块进行编码/解码。
在图25的概念图中描绘了步骤2402至2410。图24和图25所示的编码方法的实施例2400可以由图像编码器100执行。注意，由图像解码器200执行的解码方法与由图24和图25所示的图像编码器100执行的编码方法相同。
在步骤2402处，至少使用预测处理来预测图片的当前块的预测样本的第一块，其中该预测处理利用来自不同图片的第一运动向量来预测当前块的样本。在实施例中，第一运动向量可以指向第一图片，其中第一图片不同于当前图片。
类似地，至少使用预测处理来预测图片的当前块的预测样本的第二块，其中该预测处理使用来自另一不同图片的第二运动向量来预测样本。第二运动向量可以指向第二图片，其中第二图片不同于当前图片。
在一个示例中，第一图片可以与第二图片不同。在其他示例中，第一图片可以与第二图片相同。
在一个示例中，如图18A所示，第一图片和第二图片的图片顺序计数(POC)中的至少一个小于当前图片的POC，并且第一图片和第二图片的POC中的至少一个大于当前图片的POC。
在另一示例中，如图18B所示，第一图片和第二图片的POC可以小于当前图片的POC。
在又一个示例中，如图18C所示，第一图片和第二图片的POC可以大于当前图片的POC。
图图18A至图18C中所示的第一，第二和当前图片的POC在时域中，并且描绘了这些图片在数据流中的编码顺序。编码顺序可以与这些图片在数据流(例如视频剪辑)中的播放顺序相同或不同。本领域技术人员可以理解，POC也可以指在空间域中这些图片的顺序。
在一个示例中，在步骤2402中预测的预测样本的第一块和第二块可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的参考块相同。
在一个示例中，预测样本的第一块和第二块可以等于或大于当前块。
如图25所示，在步骤2502中描绘了图24的预测步骤2402的实施例。在该实施例中，当前块具有M×N的大小，其中M可以与N相同或不同。编码器100的帧间预测器126可以预测各自具有(M+d1)×(N+d2)的大小的预测样本的第一块和第二块，其中d 1和d 2可以等于或大于零。预测样本的第一块的示例以虚线示出。预测样本的第二块具有与第一块相同的大小。如上所述，可以意识到的是，预测样本的第二块的大小可以与预测样本的第一块的大小不同。
预测预测样本的第一块和第二块的大小大于当前块的大小似乎更为有利，因为预测样本中可以包含更多信息，这有助于更准确的预测结果。
在步骤2404处，对预测样本的第一和第二块执行插值处理。插值处理可以包括将根据第一运动向量和第二运动向量的插值滤波器分别应用于预测样本的第一块和第二块。
在一个示例中，插值滤波器可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的滤波器相同。在其他示例中，插值滤波器可以与在针对如上所述的预测模式的运动补偿处理中使用的滤波器不同。
如图25的步骤2504所示，对预测样本的第一和第二块执行的插值处理产生插值处理的得到的块。插值处理的所得的块可以各自具有M×N的大小。插值处理的得到的块可以用于对当前块进行编码，并且可以与针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理的得到的块相同。
在步骤2406处，对第一块执行的插值处理的得到的块被填充以形成预测样本的第三块，其中，预测样本的第三块大于当前块。类似地，对第二块执行的插值处理的得到的块被填充以形成预测样本的第四块，其中，预测样本的第四块大于当前块。
如在图25的步骤2506中所示，预测样本的第三块的示例可以具有(M+d3)x(N+d4)的大小，其中d3和d4大于零。预测样本的第四块具有相同的大小。如上所述，可以意识到的是，预测样本的第四块的大小可以与预测样本的第三块的大小不同。
在一个示例中，填充可以包括镜像插值处理的得到的块，如图20A所示。在另一示例中，填充可以包括复制插值处理的得到的块，如图20B所示。在另一示例中，填充可以包括填充固定值，如图20C所示，其中固定值可以是0、128、512、正整数、预测样本的平均值和预测样本的中值中的至少一个。在一些示例中，填充可以包括对插值处理的得到的块执行函数。该函数的示例可以是滤波器、多项式函数、指数函数和限幅函数。在其他示例中，填充可以包括使用第一和第二块的预测样本，如图26所示。
在其他示例中，填充可以包括将第二插值滤波器应用于第一和第二块，其中第二插值滤波器与在步骤2404中执行的插值滤波器不同，并且第二插值滤波器的抽头数量小于步骤2404中执行的插值的插值滤波器的抽头数量。在其他示例中，填充可以包括镜像、复制、填充固定值、对插值处理的所得的块执行函数、使用第一块和第二块填充样本以及将第二插值滤波器应用到第一和第二块中的任何组合，如图20D所示。
在步骤2408处，使用预测样本的第三和第四块来计算梯度。梯度计算可以包括将梯度滤波器应用于预测样本的第三和第四块的样本值以生成差分值。梯度滤波器如上关于图21A、图21B所述。如在图25的步骤2508中所示，计算的梯度可以形成大小为M×N的块。
在步骤2410处，至少使用插值处理的所得块和所计算的梯度来对当前块进行编码。在图25的步骤2510中示出了编码块的示例。
注意，在步骤2410的描述中用于图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤2410处替换为术语“解码”以用于由图像解码器200执行的解码方法。
在本实施例中，借助于向帧间预测引入填充处理，本编码和解码方法有利地减少了帧间预测处理的存储器带宽访问。此外，通过使用填充处理，本实施例可以仅执行一个插值处理以产生令人满意的预测结果。以这种方式，本申请有利地从帧间预测处理中去除了附加的插值处理，这是硬件友好的。这可以保持与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的插值滤波器的操作的数量相同。
图27A是示出了使用帧间预测功能来生成图片的当前块的预测的图像编码/解码方法的替代示例的流程图。
图27的步骤2702A至2708A在图28的概念图中描绘。图27A和图27示出的编码方法的实施例2700A可以由图像编码器100执行。注意，由图像解码器200执行的解码方法与由图27A和图28所示的图像编码器100执行的编码方法相同。
如示例2700A所示，步骤2702A和2704A与关于图17描述的步骤1702和1704相同。在图27的步骤2702A中预测的预测样本的第一块的实施例在图28的步骤2802中描绘。在步骤2802中描绘的实施例中，针对M×N大小的当前块，预测(M+d1)×(N+d2)大小的预测样本的第一块。本领域技术人员可以意识到的是，M可以与N相同或不同，而d1和d2可以大于、等于或小于0。
根据图27A的步骤2704A，通过填充预测样本的第一块形成的第二预测块的实施例在图28的步骤2804中描绘。如图28的步骤2804中所描绘的，图27A的填充步骤2704A可仔细设计以填充(M+d1)×(N+d2)大小的预测样本的第一块，以基于实际的预测精度需求形成具有任何所需大小(M+d1+d3)×(N+d2+d4)的预测样本的第二块，该实际的预测精度需求基于以上相对于图19A、图19B和图20A至图20D所述的不同填充方向和/或处理/技术。本领域技术人员可以意识到，d3和d4大于0。
在步骤2706A处，对预测样本的第二块执行插值处理。插值处理可以包括将根据第一运动向量的插值滤波器应用于预测样本的第二块。在一个示例中，插值滤波器可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的滤波器相同。在其他示例中，插值滤波器可以与在针对如上所述的预测模式执行的运动补偿处理中使用的滤波器不同。在图27A的步骤2706A中执行的插值处理的结果的实施例在图28的步骤2806中描绘。
在步骤2708A处，至少使用对预测样本的第二块执行的插值处理的得到的块来对当前块进行编码。使用如图27A的步骤2708A中所描绘的插值处理的得到的块来编码的当前块的一个实施例在图28的步骤2808中描绘.
注意，在步骤2708A的描述中用于由图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤2708A处由术语“解码”代替用于由图像解码器200执行的解码方法。
图27B是示出了使用帧间预测功能基于不同图片中的参考块和当前块的相邻块来生成图片的当前块的预测的图像编码/解码方法的另一替代示例的流程图。
图27B的步骤2702B至步骤2708B在图29的概念图中被描绘。图27B和图29所示的编码方法的实施例2700B可以由图像编码器100执行。注意，由图像解码器200执行的解码方法与由图27B和图29所示的图像编码器100执行的编码方法相同。
在步骤2701B处，对图片的当前块的预测样本的第一块进行预测，其中，该预测至少包括利用来自不同图片的第一运动向量的预测处理。如图29所示，在图27B的步骤2702B中预测的预测样本的第一块的实施例在步骤2902中描绘。
在步骤2704B处，填充预测样本的第二块以形成预测样本的第三块。第二块可以与当前块相邻。在图29的步骤2904中描绘了第二块的实施例。在该实施例中，第二块的大小为M×N，其中M可以与N相同或不同。
如在图29的步骤2906中所示，编码器100的帧间预测器126可以被配置为执行步骤2704B，以填充预测样本的第二块以形成预测样本的第三块。预测样本的第三块可具有(M+d3)×N的大小，其中d3可等于或大于零。预测样本的第三块的示例以虚线示出。
在图29所示的示例中，预测样本的第二块具有与第一块相同的大小。可以意识到的是，预测样本的第二块的大小可以与预测样本的第一块的大小不同。
另外，在图29的示例中，第二块是与第一块相邻的左块。可以意识到的是，第二块可以是与第一块相邻的顶块、左块、右块、底块、左上块、右上块、左下块和右下块中的至少一个。在图31中示出了第二块的可能位置的图示，其中第二块与当前块相邻。
在一个示例中，如图32A所示，步骤2704B中的填充可以包括镜像第二块的样本。在其他示例中，如图32B所示，步骤2704B中的填充可以包括复制第二块的样本。在其他示例中，如图32C所示，步骤2704B中的填充可以包括填充固定值，其中固定值可以是0、128、512、正整数、第二块的平均值和第二块的中值中的至少一个。在其他示例中，步骤2704B中的填充可以包括对第二块的样本执行函数。该函数的示例可以是滤波器、多项式函数、指数函数和限幅函数。在其他示例中，步骤2704B中的填充可以包括镜像、复制、填充第一值以及对第二块的样本执行函数的任何组合。
在图29的示例中，步骤2704B中的填充可包括仅填充第二块的一侧的样本，如图33A所描绘的。可以意识到的是，在其他示例中，步骤2704B中的填充可以包括填充用于第二块的两侧的样本，其中第二块的两侧是平行的，如图33C中所示，或正交，如图33B中所示。在其他示例中，如图33D所示，步骤2704B中的填充可以包括用于第二块的多于两侧的填充样本。
在步骤2706B处，至少使用预测样本的第一和第三块来执行重叠块运动补偿处理。重叠块运动补偿处理如本申请的先前段落中所述。如图29的步骤2908所示，重叠块运动补偿处理产生重叠块运动补偿块OBMC。
在步骤2708B处，至少使用重叠块运动补偿处理的结果来对当前块进行编码。在图29的步骤2910中示出了编码块的示例。
注意，在步骤2708B的描述中用于由图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤2708B处被术语“解码”代替以用于由图像解码器200执行的解码方法。
在本实施例中，通过向重叠块运动补偿处理中引入填充处理，本编码和解码方法有利地减少了帧间预测处理的存储器带宽访问。
图27C是示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的又另一替代示例的流程图。
图27的步骤2702C至步骤2410C在图30的概念图中描绘。图27C和图30所示的编码方法的实施例2700C可以由图像编码器100执行。要注意，由图像解码器200执行的解码方法与由图24和图25所示的图像编码器100执行的编码方法相同。
如示例2700C中所示，步骤2702C和2704C与关于图17描述的步骤1702和1704相同。
如图30所示，在步骤3002中描绘了图27的预测步骤2702C的实施例。在该实施例中，当前块具有M×N的大小，其中M可以与N相同或不同。编码器100的帧间预测器126可以预测具有(M+d1)×(N+d2)的大小的预测样本的第一块，其中d1和d2可以等于或大于零。如图30的步骤3002所示，当前块可以具有一个或多个相邻块，其可以在本方法的示例中稍后使用。
如图30所示，预测预测样本的第一块的大小比当前块的大小大似乎更有利，因为可以在预测样本中包括更多信息，这有助于更准确的预测结果。在图30的步骤3002中以虚线描绘了预测样本的第一块的示例。
如图30的步骤3004所示，编码器100的帧间预测器126可以被配置为执行步骤2704C，以填充预测样本的第一块以形成预测样本的第二块。预测样本的第二块可以具有(M+d1+d3)×(N+d2+d4)的大小，其中d3和d4可以等于或大于零。在图30的步骤3004中用细虚线描绘了预测样本的第二块的示例，其中以粗虚线描绘了预测样本的第一块的示例。
如图30所示，预测样本的第二预测块的大小被形成为比第一块的大小更大的大小似乎更为有利，因为可以在预测样本的填充的块中包含更多信息，这有助于当前块的更准确的预测结果。。
在步骤2706C处，对预测样本的第二块执行插值处理。插值处理可以包括将根据第一运动向量的插值滤波器应用于预测样本的第二块。在一个示例中，插值滤波器可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的滤波器相同。在其他示例中，插值滤波器可以与在针对如上所述的预测模式的运动补偿处理中使用的滤波器不同。
如图30的步骤3006所示，对预测样本的第二块执行的插值处理可以产生插值处理的得到的块。插值处理的所得的块的大小可以为(M+d5)×(N+d6)，其中d5和d6大于零。在图30A的步骤3006中以虚线示出了对预测样本的第三块执行的插值处理的得到的块的示例。插值处理的得到的块的一部分可以用于编码当前块，其中该部分可以具有M×N的大小，如图30的步骤3008所示。该部分可以与针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理的得到的块相同。
在步骤2708C处，至少使用对预测样本的第二块执行的插值处理的得到的块来对当前块进行编码。在图30的步骤3008中示出了编码块的示例。
与步骤2708C同时，在步骤2708C之后或在步骤2708C之前，在步骤2710C处针对当前块的一个或多个相邻块执行重叠块运动补偿处理。重叠块运动补偿处理至少可以使用插值处理的得到的块。
步骤2708C中的重叠块运动补偿处理如本申请的先前段落中所述。重叠块运动补偿处理可以在一个或多个相邻块与当前块之间产生一个或多个重叠块运动补偿OBMC块，如图29的步骤2906所示。利用在一个或多个相邻块与一次产生的当前块之间的一个或多个重叠块运动补偿OBMC块，本公开的方法有利地减少了OBMC处理所需要的存储器带宽访问(即，从片外存储器、DRAM中获取的数据)。
注意，在步骤2708C的描述中用于图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤2708C处被术语“解码”替换以用于图像解码器200执行的解码方法。
在本公开中，以上示例和实施例中描述的预测样本的块可以由预测样本的非矩形形状分区代替。非矩形形状分区的示例可以是三角形分区、L形分区、五边形分区、六边形分区和多边形分区中的至少一种，如图34所示。
本领域技术人员可以理解，非矩形形状的分区不限于图34所示的形状分区。另外，图34中描绘的形状分区可以自由组合。
图35示出了流程图，该流程图示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的另一替代示例。
图35的步骤3502至步骤3508可以在图36的概念图中描绘。如图35和图36所示的编码方法的实施例3500可以由图像编码器100执行。可以意识到的是，由图像解码器200执行的解码方法与由图图35和图36所示的图像编码器100执行的编码方法相同。
在步骤3502处，对图片的当前块的预测样本的第一块进行预测，其中，该预测至少包括利用来自不同图片的第一运动向量的预测处理。如图36所示，在图35的步骤3502中预测的预测样本的第一块的实施例在步骤3602中描绘。在该实施例中，当前块具有M×N的大小，其中M可以与N相同或不同。编码器100的帧间预测器126可以预测具有(M+d1)×(N+d2)的大小的预测样本的第一块，其中d1和d2可以等于或大于零。
在步骤3504处，至少使用第一运动向量，如前段所述，通过DMVR处理针对当前块得出第二运动向量。在图36的步骤3604中描绘了第二运动向量的实施例。在该实施例中，第二运动向量以虚线示出，其从当前块指向第一块。
在步骤3506处，可以使用第二运动向量针对当前块执行插值处理。插值处理可以包括填充处理。在步骤3506的实施例中，编码器100的帧间预测器126可以被配置为根据第二运动向量将预测样本的第一块填充到预测样本的第二块中，并至少使用预测样本的第二块对预测样本的第二块执行插值处理。如在图36的步骤3606中所描绘的，预测样本的第二块可以具有(M+d1+d3)×(N+d2+d4)的大小，其中d3和d4可以等于或大于零。
在图36所示的实施例中，第二块是L形形状分区，如图34所示，与第一块相邻。可以意识到的是，第二块也可以是与第一块相邻的顶部块、左侧块、右侧块、底部块、左上方块、右上方块、左下方块和右下方块中的至少一个。可替换地，第二块也可以是与第一块相邻的三角形形状分区、L形形状分区、五边形形状分区、六边形形状分区和多边形形状分区。
图37A和图37B示出了步骤3506中的填充处理的两个示例。
在图37A所示的示例中，步骤3506中的填充处理包括使用在步骤3504中得出的第二运动向量，仅填充第一块的一侧的样本以形成预测样本的第二块。
在图37B所示的示例中，步骤3506中的填充处理包括使用在步骤3504中得出的第二运动向量，填充第一块的两侧的样本以形成预测样本的第二块。在图37B的示例中，第一块的两侧正交，如图33B所描绘的。可替换地，第一块的两侧是平行的，，如图33C所描绘的。可以意识到的是，在其他示例中，步骤3506中的填充处理可以包括填充对第二块的两个以上的侧面的样本，如图33D所描绘的。
在一些示例中，如图32A所示，步骤3506中的填充处理可以包括镜像第一块的样本。在其他示例中，如图32B所示，步骤3506中的填充处理可以包括复制第二块的样本。。在其他示例中，如图32C所示，步骤3506中的填充处理可以包括填充固定值，其中固定值可以是0、128、512、正整数、第二块的平均值和第二块的中值中的至少一个。在其他示例中，步骤3506中的填充处理可以包括对第二块的样本执行函数。该函数的示例可以是滤波器、多项式函数、指数函数和限幅函数。在其他示例中，步骤3506中的填充处理可以包括镜像、复制、填充第一值以及对第二块的样本执行功能的任何组合。
如步骤3606所示，对预测样本的第二块执行插值处理。插值处理可以包括将根据第二运动向量的插值滤波器应用于预测样本的第二块。在一个示例中，插值滤波器可以与在针对诸如合并模式、帧间预测模式等的预测模式执行的运动补偿处理中使用的滤波器相同。在其他示例中，插值滤波器可以与针对如上所述的预测模式的运动补偿处理中使用的滤波器不同。
如在图36的步骤3606中所示，对预测样本的第二块执行的插值处理可以产生插值处理的得到的块。插值处理的所得的块可以具有M×N的大小。
在步骤3508处，至少使用在步骤3506处对预测样本的第二块执行的插值处理的得到的块，对当前块进行编码。在图36的步骤3608中示出了编码块的示例。
注意，在步骤3508的描述中用于由图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤3508处被术语“解码”替换以用于由图像解码器200执行的解码方法。
在本实施例中，通过向重叠块运动补偿处理中引入填充处理，本编码和解码方法有利地减少了用于DMVR处理的存储器带宽访问。
图38示出了流程图，该流程图示出了使用帧间预测功能以基于不同图片中的参考块来生成图片的当前块的预测的图像编码/解码方法的又另一替代示例。
图38的步骤3802、3804、3806和3808在图39的概念图中示出。如图38和图39所示的编码方法的实施例3800可以由图像编码器100执行。可以意识到，由图像解码器200执行的解码方法与由图38和图39所示的图像编码器100执行的编码方法相同。
如上所述，图38的步骤3802、3804、3806和3808类似于图35的步骤，除了在步骤3804中的动态运动向量刷新(DMVR)处理还包括填充处理之外。在图38所示的实施例中，步骤3804中的填充处理包括根据第一运动向量填充预测样本的第一块。就这一点而言，在步骤3804处，至少使用第一运动向量基于填充的第一块，如前段所述，通过DMVR处理针对当前块导出第二运动向量。在图39的步骤3904中以虚线描绘了第二运动向量的实施例，所述虚线从当前块指向第一块。
注意，在步骤3808的描述中用于由图像编码器100执行的编码方法的术语“编码”和“编码”可以在步骤3808处被术语“解码”代替以用于由图像解码器200执行的解码方法。
在本实施例中，通过向重叠块运动补偿处理引入填充处理，本编码和解码方法有利地减少了用于DMVR处理的存储器带宽访问。
在本申请中，以上示例和实施例中描述的术语“块”可以用术语“预测单元”代替。每个方面中描述的术语“块”也可以被术语“子预测单元”代替。在每个方面中描述的术语“块”也可以被术语“编码单元”代替。
(实施与应用)
如以上每个实施例中所述，每个功能或操作块通常可以实现为例如MPU(微处理单元)和存储器。而且，由每个功能块执行的处理可以被实现为程序执行单元，诸如读取并执行记录在诸如ROM的记录介质上的软件(程序)的处理器。该软件可以是分布式的。该软件可以被记录在诸如半导体存储器的各种记录介质上。注意，每个功能块当然也可以被实现为硬件(专用电路)。
每个实施例中描述的处理可以通过使用单个装置(系统)的集成处理来实现，或者，可以通过使用多个装置的分散处理来实现。此外，执行上述程序的处理器可以是单个处理器或多个处理器。换句话说，可以执行集成处理，并且可替换地，可以执行分散处理。
本公开的实施例不限于以上示例性实施例；可以对示例性实施例进行各种修改，其结果也包括在本公开的实施例的范围内。
接下来，将描述在以上每个实施例中描述的运动图像编码方法(图像编码方法)和运动图像解码方法(图像解码方法)的应用示例以及实现该应用示例的各种系统。这样的系统的特征可以在于包括：采用图像编码方法的图像编码器；采用图像解码方法的图像解码器；或者既包括图像编码器又包括图像解码器的图像编码器-解码器。这种系统的其他配置可以基于具体情况进行修改。
(用法示例)
图40示出了适于实现内容分发服务的内容提供系统ex100的整体配置。提供通信服务的区域被分成期望大小的小区，并且在所示示例中是固定无线站的基站ex106、ex107、ex108、ex109和ex110位于相应的小区中。
在内容提供系统ex100中，包括计算机ex111、游戏设备ex112、照相机ex113、家用电器ex114和智能电话ex115的设备经由互联网服务提供商ex102或通信网络ex104以及基站ex106至ex110连接到互联网ex101。内容提供系统ex100可以组合并连接上述设备的任何组合。在各种实施方式中，设备可以经由电话网络或近场通信而不是经由基站ex106至ex110直接或间接地连接在一起。此外，流式服务器ex103可以经由例如互联网ex101连接到包括计算机ex111、游戏设备ex112、照相机ex113、家用电器ex114和智能电话ex115的设备。流式传送服务器ex103还可以经由卫星ex116连接到例如飞机ex117中的热点中的终端。
注意，可以使用无线接入点或热点代替基站ex106到ex110。流式传送服务器ex103可以直接连接到通信网络ex104，而不是通过互联网ex101或互联网服务提供商ex102连接到通信网络ex104，并且可以直接连接到飞机ex117，而不是通过卫星ex116连接到飞机ex117。
照相机ex113是一种能够捕获静止图像和视频的设备，例如数码相机。智能电话ex115是可以在2G、3G、3.9G和4G系统以及下一代5G系统的移动通信系统标准下运行的智能电话设备、蜂窝电话或个人手持电话系统(PHS)电话。
家用电器ex118例如是冰箱或包括在家庭燃料电池热电联产系统中的设备。
在内容提供系统ex100中，包括图像和/或视频捕获功能的终端能够例如通过经由例如基站ex106连接到流式传送服务器ex103而进行实时流式传送。当进行实时流式传送时，终端(例如，计算机ex111、游戏设备ex112、照相机ex113、家用电器ex114、智能电话ex115或飞机ex117)可以对由用户经由终端捕获的静止图像或视频内容执行上述实施例中所述的编码处理，可以复用通过编码获得的视频数据和通过对与视频相对应的音频进行编码而获得的音频数据，并且可以将获得的数据发送到流式传送服务器ex103。换句话说，根据本公开的一方面，终端用作图像编码器。
流式传送服务器ex103将发送的内容数据流式传送到请求该流的客户端。客户端示例包括能够解码上述编码数据的计算机ex111、游戏设备ex112、照相机ex113、家用电器ex114、智能电话ex115和飞机ex117内的终端。接收流式传送数据的设备将解码并再现接收到的数据。换句话说，根据本公开的一方面，设备可以各自用作图像解码器。
(分布式处理)
流式传送服务器ex103可以被实现为在其之间划分诸如数据的处理，记录和流式传送的任务的多个服务器或计算机。例如，流式传送服务器ex103可以实现为内容传递网络(CDN)，它通过连接位于世界各地的多个边缘服务器的网络来流式传送内容。在CDN中，将物理上靠近客户端的边缘服务器动态分配给客户端。内容被缓存并流式传送到边缘服务器以减少加载时间。例如，如果由于通信高峰导致某种类型的错误或连接性改变，则可以稳定地以高速流式传送数据，因为可以通过以下方式避免网络的受影响部分：例如，将处理划分在多个边缘服务器之间，或者将流式传送职责切换到不同的边缘服务器，然后继续流式传送。
去中心化不仅限于针对流式传送的划分；捕获的数据的编码可以在服务器侧的终端之间或由服务器端的终端执行，或二者。在一示例中，在典型编码中，该处理在两个循环中执行。第一循环用于基于逐帧或逐场景检测图像的复杂程度，或检测编码负载。第二循环用于保持图像质量并提高编码效率的处理。例如，可以通过使终端执行编码的第一循环并且使接收内容的服务器侧执行编码的第二循环，来减轻终端的处理载荷并提高内容的质量和编码效率。在这种情况下，在接收到解码请求时，编码数据有可能导致近似实时地第一循环在接收的终端上执行并在另一个终端再现。这样就可以实现流畅的、实时流。
在另一示例中，照相机ex113等从图像中提取特征量，将与该特征量有关的数据压缩为元数据，并将压缩后的元数据发送给服务器。例如，服务器基于特征量确定对象的重要性，并改变量化精度，以执行适合于图像的含义(或内容重要性)的压缩。特征量数据在提高服务器执行的第二压缩遍次期间的运动向量预测的精度和效率方面特别有效。此外，终端可以处理具有诸如可变长度编码(VLC)之类的相对较低处理载荷的编码，并且服务器可以处理具有诸如上下文自适应二进制算术编码(CABAC)之类的相对较高处理载荷的编码。
在又另一示例中，存在实例，其中例如在体育场、购物中心或工厂中的多个终端捕获近似相同场景的多个视频。在这种情况下，例如，可以通过以单位为单位在捕获视频的多个终端之间以及如果需要的话，在未捕获视频的其他终端与服务器之间划分处理任务来使编码分布式。单位可以是例如图片组(GOP)、图片或划分图片后得到的瓦片。这使得减少加载时间并实现更接近实时的流式传送成为可能。
由于视频具有大致相同的场景，因此服务器可以执行管理和/或指令，从而可以交叉引用终端捕获的视频。此外，服务器可以从终端接收编码的数据、改变数据项之间的参考关系或者自己校正或替换图片，然后执行编码。这使得有可能针对单个数据项生成质量和效率更高的流。
此外，服务器可以在执行代码转换以转换视频数据的编码格式之后流传送视频数据。例如，服务器可以将编码格式从MPEG转换为VP(例如，VP9)，并且可以将H.264转换为H.265。
以这种方式，可以由终端或一个或多个服务器执行编码。因此，尽管在下面的描述中将执行编码的设备称为“服务器”或“终端”，但是由服务器执行的一些或全部处理可以由终端执行，同样，可以由终端执行的处理可以由服务器执行。这也适用于解码处理。
(3D，多角度)
由诸如照相机ex113和/或智能电话ex115之类的多个终端从同时捕获的不同场景的图像或视频或从不同角度捕获的同一场景的图像或视频组合的图像或视频的使用已经增加。基于例如在终端之间单独获得的相对位置关系或具有匹配特征点的视频中的区域来组合由终端捕获的视频。
除了对二维运动图像进行编码之外，服务器还可以基于运动图像的场景分析自动地或在用户指定的时间点对静止图像进行编码，并将编码后的静止图像发送到接收终端。。此外，当服务器可以获得视频捕获终端之间的相对位置关系时，除了二维运动图片之外，服务器还可以基于从不同角度捕获的同一场景的视频来生成场景的三维几何形状。服务器可以分别对从例如点云生成的三维数据进行编码，并且基于使用三维数据识别或跟踪人或物体的结果，服务器可以从多个终端捕获的视频选择或重建并生成要发送到接收终端的视频。。
这允许用户通过自由地选择与视频捕获终端相对应的视频来享受场景，并且允许用户享受通过从由多个图像或视频重建的三维数据中在选择的视点提取视频而获得的内容。此外，与视频一样，可以从相对不同的角度记录声音，并且服务器可以将来自特定角度或空间的音频与相对应的视频进行多路复用，并发送多路复用的视频和音频。
近年来，诸如虚拟现实(VR)和增强现实(AR)内容之类的由现实世界和虚拟世界组成的内容也变得很流行。在VR图像的情况下，服务器可以从左眼和右眼的视点创建图像，并执行容许两个视点图像之间的参考的编码，例如多视图编码(MVC)，并且可替换地可以编码图像作为单独的流而没有参考。当将图像解码为单独的流时，可以在再现时对流进行同步，以便根据用户的观点来重新创建虚拟三维空间。
在AR图像的情况下，服务器基于从用户角度的三维位置或运动，将虚拟空间中存在的虚拟对象信息叠加到代表真实世界空间的相机信息上。解码器可以获取或存储虚拟对象信息和三维数据，基于从用户角度的运动来生成二维图像，并且然后通过无缝地连接图像来生成叠加数据。可替换地，除了对虚拟对象信息的请求之外，解码器还可以从用户的角度向服务器发送运动。服务器可以根据接收到的运动，基于存储在服务器中的三维数据来生成叠加数据，并且将生成的叠加数据编码并流式传送到解码器。注意，叠加数据除了RGB值之外还包括表示透明度的α值，并且服务器将除了从三维数据生成的对象以外的部分的α值设置为例如0，并且可以执行编码，同时这些部分是透明的。可替换地，服务器可以将背景设置为预定的RGB值(例如色度键)，并生成将对象以外的区域设置为背景的数据。
对类似地流式传送的数据的解码可以由服务器侧的客户端(即，终端)执行，或者在它们之间进行划分。在一个示例中，一个终端可以将接收请求发送到服务器，所请求的内容可以被另一终端接收和解码，并且解码的信号可以被发送到具有显示器的设备。无论通信终端自身的处理能力如何，都可以通过分布式处理并适当选择内容来再现高图像质量数据。在又另一示例中，例如，当TV正在接收大尺寸的图像数据时，可以对诸如通过划分图片而获得的瓦片之类的图片的区域进行解码，并将其显示在个人终端上或TV的一个或多个观看者的终端上。这使得观看者可以共享大图片视图，并且每个观看者都可以检查其分配的区域或检查更远的区域。
在室内、室外、近距离、中距离和远距离都可能进行多个无线连接的情况下，可能会使用诸如MPEG-DASH之类的流式传送系统标准来无缝接收内容。用户可以在数据之间实时切换，同时自由地选择包括用户终端的解码器或显示设备、布置在室内或室外的显示器等。此外，使用例如关于用户位置的信息，解码可以执行，同时切换哪个终端处理解码，以及哪个终端处理内容的显示。这使得可能映射和显示信息，同时在在到达目的地的途中，在附近建筑物的墙壁上使用，其中，能够显示内容的设备在地上，或者作为地的一部分。此外，还可以基于对网络上的编码数据的可访问性来切换所接收数据的比特率，例如，当编码数据被高速缓存在可从接收终端快速访问的服务器上时，或者当编码数据被复制到内容递送服务中的边缘服务器。
(可缩放编码)
将参考图41中所示的可缩放流来描述内容的切换，图41是通过上述实施例所述的运动图像编码方法的实施方式进行压缩编码的。服务器可以具有这样的配置，其中，在利用流的时间和/或空间可缩放性的同时切换内容，这通过对层进行划分和编码来实现，如图41所示。请注意，可能存在内容相同但质量不同的多个单个流。换句话说，通过基于诸如解码器侧的处理能力之类的内部因素和诸如通信带宽之类的外部因素确定要解码的层，解码器侧可以在解码时在低分辨率内容和高分辨率内容之间自由切换。例如，在用户想要继续观看的情况下，例如在家中使用诸如连接到互联网的电视之类的设备，在移动时该用户先前在智能电话ex115上观看过的视频，该设备可以简单地将相同的流解码到不同的层，从而减少了服务器端的负载。
此外，除了上面描述的配置(在该配置中，由于在增强层位于基础层之上的情况下对图片进行逐层编码而实现了可缩放性)，增强层还可以包括基于例如关于图像的统计信息的元数据。解码器侧可以基于元数据通过对基础层中的图片执行超分辨率成像来生成高图像质量内容。超分辨率成像可以在保持分辨率和/或提高分辨率的同时提高SN比。元数据包括用于识别在超分辨率处理中使用的线性或非线性滤波器系数的信息，或用于识别在超分辨率处理中使用的滤波处理、机器学习或最小二乘法的参数值的信息。
可替代地，可以提供一种配置，其中根据例如图像中的对象的含义将图片划分为例如瓦片。在解码器侧，通过选择要解码的瓦片仅解码部分区域。此外，通过将对象(人、汽车、球等)的属性和对象在视频中的位置(同一图像中的坐标)存储为元数据，解码器侧可以基于元数据识别期望的对象的位置，并确定哪些瓦片包含该对象。例如，如图42所示，可以使用与诸如HEVC中的SEI(补充增强信息)消息之类的样本数据不同的数据存储结构来存储元数据。该元数据指示例如主要对象的位置、大小或颜色。
元数据可以以多个图片的单位(例如，流、序列或随机访问单位)存储。解码器侧可以获得例如特定人出现在视频中的时间，并且通过将时间信息与图片单位信息相匹配，可以识别其中存在对象的图片以及对象在图像中的位置。
(网页优化)
图43示出了例如计算机ex111上的网页的显示屏幕的示例。例如，图44示出了智能电话ex115上的网页的显示屏幕的示例。如图43和图44所示，网页可以包括多个图像链接，这些图像链接是到图像内容的链接，并且网页的外观取决于用于查看网页的设备而不同。当在屏幕上可以看到多个图像链接时，直到用户明确选择图像链接，或者直到图像链接位于屏幕的大致中心，或者直到整个图像链接都位于屏幕中为止，显示装置(解码器)可以显示包括在内容或I图片中的静止图像作为图像链接，可以使用多个静止图像或I图片显示诸如动画gif的视频，或者可以仅接收基础层并对视频进行解码和显示。
当用户选择图像链接时，显示装置在将最高优先级给予基础层的同时执行解码。注意，如果网页的HTML代码中存在指示内容是可缩放的信息，则显示装置可以解码直至增强层。此外，为了保证实时再现，在进行选择之前或当带宽受到严格限制时，通过仅解码和显示前向参考图片(I图片、P图片、前向参考B图片)，显示装置可以减小在对前导图片进行解码的时间点与在显示解码的图片的时间点之间的延迟(即，内容解码开始到内容显示之间的延迟)。更进一步，显示装置可以有意地忽略图片之间的参考关系，并且粗略地解码所有B和P图片作为前向参考图片，然后随着随时间接收的图片数量的增加而执行正常解码。
(自动驾驶)
当发送和接收静止图像或视频数据(例如用于自动驾驶或辅助驾驶汽车的二维或三维地图信息)时，除了属于一层或多层的图像数据之外，接收终端还可以接收有关例如天气或道路建设内容的信息作为元数据，并在解码时将元数据与图像数据相关联。注意，元数据可以按层分配，并且可替换地可以简单地与图像数据复用。
在这种情况下，由于包括接收终端在内的汽车、无人机、飞机等是可移动的，因此接收终端可以无缝地接收并执行解码，同时通过发送指示接收终端的位置的信息来在基站ex106至ex110当中的基站之间进行切换，。此外，例如，根据用户的选择、用户的状况和/或连接的带宽，接收终端可以动态地选择接收元数据的程度或地图信息已更新的程度。
在内容提供系统ex100中，客户端可以实时接收、解码和再现由用户发送的编码信息。
(流式传送单个内容)
在内容提供系统ex100中，除了高图像质量之外，由视频分发实体分发的长内容，低图像质量的单播或多播流以及来自个人的短内容也是可能的。来自个人的此类内容可能会进一步普及。服务器可以首先在编码处理之前对内容执行编辑处理，以便细化各个内容。例如，这可以使用以下配置来实现。
在捕获视频或图像内容时，或者在捕获并累积内容之后，服务器会实时地基于原始数据或编码数据执行识别处理，例如捕获错误处理、场景搜索处理、含义分析和/或对象检测处理。然后，基于识别处理的结果，服务器-在提示时或自动地-编辑内容，其示例包括：诸如聚焦和/或运动模糊校正之类的校正；删除低优先级的场景，例如与其他图片相比亮度较低或对焦不清晰的场景；物体边缘调整；以及色调调整。服务器基于编辑的结果对编辑的数据进行编码。众所周知，视频过长会导致接收较少的观看。因此，为了将内容保持在与原始视频的长度成比例的特定长度内，除了上述低优先级场景之外，服务器还可以基于图像处理结果自动裁剪出运动少的场景。可替代地，服务器可以基于对场景的含义的分析结果来生成并编码视频摘要。
在某些实例中，个别内容可能包括侵犯版权、精神权利、肖像权等的内容。这种实例可能会给创作者带来不利的处境，例如当内容共享超出创作者预期的范围时。因此，例如，在编码之前，服务器可以例如编辑图像以使屏幕外围的人的脸模糊或使房屋的内部模糊。此外，服务器可以被配置为在要编码的图像中识别除了注册人之外的人的面部，并且当这样的面部出现在图像中时，可以将马赛克滤波器应用于例如该人的面部。可替代地，作为用于编码的预处理或后处理，出于版权原因，用户可以指定包括人的图像区域或要处理的背景区域。服务器可以通过例如用不同的图像替换该区域或使该区域模糊来处理指定的区域。如果该区域包括人，则可以在运动图片中跟踪该人，并且当该人移动时，可以用另一图像替换该人的头部区域。
由于存在对实时观看个人产生的内容的需求，这往往会减少数据大小，因此解码器首先接收基本层作为最高优先级并执行解码和再现，尽管这可能会取决于带宽而有所不同。当内容被再现两次或更多次时，例如当解码器在基础层的解码和再现期间接收到增强层并循环再现时，解码器可以再现包括增强层的高图像质量视频。如果使用这种可缩放编码对流进行编码，则视频处于未选择状态时或在视频开始时可能质量低下，但是它可以提供一种流的图像质量以智能方式逐渐提高的体验。这不仅限于可缩放编码；通过配置来自第一次再现的低质量流的单个流和使用第一流作为参考进行编码的第二流，可以提供相同的体验。
(其他实现和应用示例)
编码和解码可以通过通常被包括在每个终端中的LSI ex500(参见图40)来执行。LSI ex500可以由单个芯片或多个芯片构成。可以将用于对运动图像进行编码和解码的软件集成到某种类型的记录介质(例如CD-ROM、软盘或硬盘)中，例如，计算机ex111可以读取该记录介质，以及可以使用该软件执行编码和解码。此外，当智能电话ex115配备有照相机时，可以发送相机所获取的视频数据。在这种情况下，视频数据由智能电话ex115中包含的LSI ex500编码。
请注意，LSI ex500可以被配置为下载并激活应用。在这种情况下，终端首先确定它是否与用于编码内容的方案兼容，或者是否能够执行特定服务。当终端与内容的编码方案不兼容时或当终端不能执行特定服务时，终端首先下载编解码器或应用软件，然后获取并再现内容。
除了使用互联网ex101的内容提供系统ex100的示例之外，至少在上述实施例中描述的运动图像编码器(图像编码器)或运动图像解码器(图像解码器)可以在数字广播系统中实现。可以应用相同的编码处理和解码处理以例如使用卫星来发送和接收与多路复用的音频和视频数据叠加的广播无线电波，即使这是针对多播的，而对于内容提供系统ex100，单播也更容易。
(硬件配置)
图45示出了图40中所示的智能电话ex115的更多细节。图46示出了智能电话ex115的配置示例。智能电话ex115包括用于接收来自和去往基站ex110的无线电波的天线ex450，能够捕获视频和静止图像的照相机ex465，以及用于显示解码数据(例如，照相机ex465捕获的视频和天线ex450接收的视频)的显示器ex458。智能电话ex115还包括诸如触摸面板之类的用户界面ex466、诸如用于输出语音或其他音频的扬声器之类的音频输出单元ex457、诸如用于音频输入的麦克风之类的音频输入单元ex456、能够存储诸如捕获的视频或静止图像、录制的音频、接收到的视频或静止图像、邮件以及解码的数据的解码数据的存储器ex467，以及插槽ex464，其是SIM ex468的接口，用于授权访问网络和各种数据。请注意，可以使用外部存储器代替ex467。
主控制器ex460，可全面控制显示器ex458和用户界面ex466、电源电路ex461、用户界面输入控制器ex462、视频信号处理器ex455、照相机界面ex463、显示控制器ex459、调制器/解调器ex452、复用器/解复用器ex453、音频信号处理器ex454、插槽ex464，并且存储器ex467通过总线ex470连接。
当用户打开电源电路ex461的电源按钮时，智能电话ex115便进入可操作状态，并且从电池组为每个组件供电。
智能电话ex115基于由包括CPU、ROM和RAM的主控制器ex460执行的控制来执行例如呼叫和数据传输的处理。当进行呼叫时，由音频输入单元ex456记录的音频信号由音频信号处理器ex454转换为数字音频信号，并通过调制器/解调器ex452对其进行扩频处理，并通过发送器/接收器ex451应用数模转换和频率转换处理，并且通过天线ex450发送所得到的信号。通过调制器/解调器ex452对接收到的数据进行放大、频率转换和模数转换后的逆扩频，由音频信号处理器ex454转换为模拟音频信号，然后从音频输出单元ex457输出。在数据传输模式中，例如，基于主体的用户界面ex466的操作，主控制器ex460经由用户界面输入控制器ex462来发送文本、静止图像或视频数据。执行类似的发送和接收处理。在数据传输模式中，当发送视频、静止图像或视频和音频时，视频信号处理器ex455通过上述实施例中描述的运动图像编码方法对存储在存储器ex467中的视频信号或从照相机ex465输入的视频信号进行压缩编码，并将编码的视频数据发送到多路复用器/多路分解器ex453。音频信号处理器ex454在照相机ex465正在捕获视频或静止图像的同时，对由音频输入单元ex456记录的音频信号进行编码，并将编码后的音频数据发送至多路复用器/解多路复用器ex453。多路复用器/解多路复用器ex453使用预定方案复用编码的视频数据和编码的音频数据，使用调制器/解调器(调制器/解调器电路)ex452和发送器/接收器ex451对数据进行调制和转换，并且经由天线ex450发送结果。
例如，当接收到附加在电子邮件或聊天中的视频或从网页链接的视频时，为了对通过天线ex450接收到的多路复用数据进行解码，多路复用器/解多路复用器ex453对多路复用数据进行多路分解以将多路复用数据划分为视频数据的比特流和音频数据的比特流，通过同步总线ex470将编码的视频数据提供给视频信号处理器ex455，并通过同步总线ex470将编码的音频数据提供给音频信号处理器ex454。视频信号处理器ex455使用与上述实施例中描述的运动图片编码方法相对应的运动图片解码方法对视频信号进行解码，并且链接的运动图片文件中包括的视频或静止图像经由显示控制器ex459显示在显示器ex458上。音频信号处理器ex454对音频信号进行解码，并从音频输出单元ex457输出音频。由于实时流式传输正变得越来越流行，则取决于用户的环境，在某些实例中，音频的再现在社会上可能是不合适的。因此，作为初始值，优选其中仅再现视频数据，即不再现音频信号的配置。仅当接收到输入(例如，用户单击视频数据时)时，才可以同步和再现音频。
尽管在上面的示例中使用了智能电话ex115，但是可以想到其他三种实现方式：既包括编码器又包括解码器的收发器终端；仅包括编码器的发射机终端；以及仅包括解码器的接收器终端。在数字广播系统的描述中，给出了示例，在该示例中，接收或发送由于视频数据与音频数据被多路复用而获得的多路复用数据。然而，多路复用的数据可以是与除音频数据之外的数据(诸如与视频有关的文本数据)多路复用的视频数据。此外，可以接收或发送视频数据本身而不是多路复用数据。
尽管将包括CPU的主控制器ex460描述为控制编码或解码处理，但是各种终端通常包括GPU。因此，可接受这样的配置，其中大区域通过利用GPU的性能能力经由CPU和GPU共享的存储器或包括被管理以允许CPU和GPU通用使用的地址的存储器一次性处理。这使得可以缩短编码时间、保持流的实时性，并减少延迟。特别地，与运动估计、解块滤波、样本自适应偏移(SAO)以及变换/量化有关的处理可以例如由GPU而不是CPU以图片为单位有效地全部执行。
本领域技术人员将认识到，如特定实施例中所示，可以对本公开进行多种变化和/或修改，而不脱离如广泛描述的本公开的精神或范围。因此，本发明的实施方式在所有方面都应认为是说明性的而非限制性的。
根据本公开，提供了各种特征，例如：
1.一种编码器，用于使用帧间预测来编码要在图片中编码的块，所述编码器包括：
处理器，以及
存储器；
所述处理器使用所述存储器执行以下步骤：
通过使用与两个参考图片中的每一个相对应的运动向量执行运动补偿，而从两个参考图片获取两个预测图像；
从两个参考图片获取与两个预测图像相对应的两个梯度图像；
在通过划分要编码的块而获得的子块中，使用两个预测图像和两个梯度图像来得到局部运动估计值；以及
使用两个预测图像、两个梯度图像和子块的局部运动估计值，生成要编码的块的最终预测图像。
2.根据陈述1所述的编码器，其中，当要获得所述两个预测图像(在两个预测图像的获取中具有子像素精度)时，通过参考围绕由所述两个参考图片中的每一个中的运动向量指示的预测块的插值参考范围中的像素，对像素进行插值，其具有子像素精度。
插值参考范围包括在普通参考范围中，所述普通参考范围被参考以便对普通帧间预测中要编码的块执行运动补偿，在普通帧间预测中，处理使用局部运动估计值而被执行。
3.根据陈述2所述的编码器，其中，所述插值参考范围与所述普通参考范围匹配。
4.根据陈述2或3所述的编码器，其中，在对所述两个梯度图像的获取中，在围绕所述两个参考图片的每一个中的所述预测块的梯度参考范围中参考像素，并且其中所述梯度参考范围包括在所述插值参考范围中。
5.根据陈述4所述的编码器，其中，所述梯度参考范围与所述插值参考范围匹配。
6.根据陈述1至5中的任一项所述的编码器，其中，在与所述两个参考图片的每一个中的子块相对应的区域中的预测子块中包括的像素的值被加权并被用于局部运动估计值的得到，并且其中这些像素中位于区域中心的像素利用高于该区域中心以外的像素的值的值被加权。
7.根据陈述6所述的编码器，其中，除了在与得到局部运动估计值中的两个参考图片中的每个参考图片中的子块相对应的区域中的所述预测子块中的像素之外，还在由所述运动向量指示的所述预测块中包括的另一预测子块中参考像素，另一预测子块与预测子块相邻。
8.根据陈述6至7中的任一项所述的编码器，其中，在得到局部运动估计值中的两个参考图片的每一个中参考与子块相对应的区域中的预测子块中的仅一些像素。
9.根据陈述8所述的编码器，其中
在得到局部运动估计值中，
(i)在两个参考图片的每一个中从指示所预测的子块中的一些像素的多个像素图案中选择像素图案，所述像素图案彼此不同，以及
(ii)指示所选择的像素图案的预测子块中的像素被参考，以得到该子块的局部运动估计值，
所述处理器被配置为将指示所选择的像素图案的信息写入位流。
10.根据陈述8的编码器，其中
在得到局部运动估计值中，
(i)基于两个参考图片中的每个参考图片中的两个预测图像从指示预测子块中的一些像素的多个像素图案中自适应地选择像素图案，这些像素图案彼此不同，并且
(ii)指示所选择的像素图案的预测子块中的像素被参考，以得到该子块的局部运动估计值。
11.一种用于使用帧间预测对在图片中将要编码的块进行编码的编码方法，该编码方法包括以下步骤：
通过使用与两个参考图片中的每一个相对应的运动向量执行运动补偿，而从两个参考图片获取两个预测图像；
从两个参考图片获取与两个预测图像对应的两个梯度图像；
在通过划分要编码的块而获得的子块中，使用两个预测图像和两个梯度图像来得到局部运动估计值；以及
使用两个预测图像、两个梯度图像和子块的局部运动估计值，生成要编码的块的最终预测图像。
12.一种用于使用帧间预测来对要在图片中解码的块进行解码的解码器，所述解码器包括：
处理器，以及
存储器；
所述处理器使用所述存储器执行以下步骤：
通过使用与两个参考图片中的每一个相对应的运动向量执行运动补偿，而从两个参考图片获取两个预测图像；
从两个参考图片获取与两个预测图像相对应的两个梯度图像；
使用通过对要解码的块进行划分而获得的子块中的两个预测图像和两个梯度图像来得到局部运动估计值；以及
使用子块的局部运动估计值、两个预测图像和两个梯度图像，生成要解码的块的最终预测图像。
13.根据陈述12所述的解码器，其中，当要获得两个预测图像(具有在获得两个预测图像中的子像素精度)时，通过参考围绕由两个参考图片的每一个中的运动向量指示的预测块的插值参考范围中的像素，对像素进行插值，其具有子像素精度，
插值参考范围包括在普通参考范围中，所述普通参考范围被参考以便对普通帧间预测中要解码的块执行运动补偿，在普通帧间预测中，处理使用局部运动估计值而被执行。
14.根据陈述13所述的解码器，其中，所述插值范围与所述普通参考范围匹配。
15.根据陈述13或14所述的解码器，其中，在对所述两个梯度图像的获取中，在围绕所述两个参考图片的每一个中的所述预测块的梯度参考范围中参考像素，并且其中所述梯度参考范围包括在所述插值参考范围中。
16.根据陈述15所述的解码器，其中，所述梯度参考范围与所述插值参考范围匹配。
17.根据陈述12至16中的任一项所述的解码器，其中，在与所述两个参考图片的每一个中的子块相对应的区域中的预测子块中包括的像素的值被加权并被用于局部运动估计值的得到，并且其中这些像素中位于区域中心的像素利用高于该区域中心以外的像素的值的值被加权。
18.根据陈述17所述的解码器，其中，除了在与得到局部运动估计值中的两个参考图片中的每个参考图片中的子块相对应的区域中的所述预测子块中的像素之外，还在由所述运动向量指示的所述预测块中包括的另一预测子块中参考像素，另一预测子块与预测子块相邻。
19.根据陈述17至18中的任一项所述的解码器，其中，在得到局部运动估计值中的两个参考图片的每一个中参考与子块相对应的区域中的预测子块中的仅一些像素。
20.根据陈述19所述的解码器，其中
所述处理器从位流获得指示选择的像素图案的信息，以及在得到局部运动估计值中，
(i)基于所获得的信息在两个参考图片的每一个中从指示所预测的子块中的一些像素的多个像素图案中选择像素图案，所述像素图案彼此不同，以及
(ii)指示所选择的像素图案的预测子块中的像素被参考，以得到该子块的局部运动估计值，
所述处理器被配置为将指示所选择的像素图案的信息写入位流。
21.根据陈述19所述的解码器，其中
在得到局部运动估计值中，
(i)基于两个参考图片中的每个参考图片中的两个预测图像从指示预测子块中的一些像素的多个像素图案中自适应地选择像素图案，这些像素图案彼此不同，并且
(ii)指示所选择的像素图案的预测子块中的像素被参考，以得到该子块的局部运动估计值。
22.一种用于使用帧间预测来解码要在图片中解码的块的解码方法，该解码方法包括以下步骤：
通过使用与两个参考图片中的每一个相对应的运动向量执行运动补偿，而从两个参考图片获取两个预测图像；
从两个参考图片获取与两个预测图像相对应的两个梯度图像；
使用通过对要解码的块进行划分而获得的子块中的两个预测图像和两个梯度图像来得到局部运动估计值；以及
使用子块的局部运动估计值、两个预测图像和两个梯度图像，生成要解码的块的最终预测图像。
23.一种图像编码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对当前块进行编码。
24.根据权利要求23所述的图像编码器，其中，所述预测样本的第一块是在针对预测模式执行的预测处理中使用的预测块，其中，所述预测模式是合并模式或帧间预测模式。
25.根据权利要求23所述的图像编码器，其中，所述预测样本的第一块是在针对预测模式执行的运动补偿处理中使用的参考块，其中，所述预测模式是合并模式或帧间预测模式。
26.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
填充预测样本的第一块的至少两侧以形成预测样本的第二块，其中第一块的至少两侧不正交。
27.根据权利要求23所述的图像编码器，其中，所述电路在计算至少梯度时执行以下操作：
将梯度滤波器应用于预测样本的第二块以至少生成差值。
28.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
对预测样本的第一块镜像以形成预测样本的第二块。
29.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
复制预测样本的第一块以形成预测样本的第二块。
30.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
将固定值填充到预测样本的第一块以形成预测样本的第二块，其中固定值可以是0、128、正整数、预测样本的第一块的平均值或预测样本的第一块的中间值。
31.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
对预测样本的第一块执行功能以形成预测样本的第二块。
32.根据权利要求23所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
组合镜像、复制、填充固定值中的至少两个并对预测样本的第一块执行功能以形成预测样本的第二块。
33.根据权利要求23所述的图像编码器，其中，当预测所述图片的当前块的所述预测样本的第一块时，所述电路还执行以下步骤：
预测图片的当前块的预测样本的另一块，其中预测预测样本的另一块包括利用至少来自另一不同图片的另一运动向量的预测处理。
34.根据权利要求33所述的图像编码器，其中，所述另一不同图片具有与所述不同图片的图片顺序计数和/或所述图片的图片顺序计数不同的图片顺序计数。
35.根据权利要求34所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路还执行以下操作：
填充预测样本的另一块以形成预测样本的又另一块。
36.根据权利要求23所述的图像编码器，其中，在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之后，所述电路针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
37.根据权利要求23所述的图像编码器，其中在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之前，所述电路针对预测模式执行插值处理，其中所述预测模式是合并模式或帧间预测模式。
38.根据权利要求23所述的图像编码器，其中，当至少使用所计算的梯度对所述当前块进行编码时，所述电路执行以下操作：
使用由插值处理产生的预测样本的得到的块以及至少计算的梯度对当前块进行编码。
39.根据权利要求38所述的图像编码器，其中，当至少计算所述梯度时，所述电路执行以下操作：
将一个或多个梯度滤波器应用于由插值处理产生的预测样本的得到的块，以生成一个或多个差值。
40.一种图像编码器，包括：
电路；以及
与电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
使用预测样本的第二块执行插值处理；以及
至少使用插值处理的得到的块对当前块进行编码。
41.根据权利要求40所述的图像编码器，其中，所述电路在操作中执行以下操作：
执行重叠的块运动补偿处理以预测当前块的一个或多个相邻块，其中重叠的块运动补偿处理至少使用插值处理的得到的块。
42.根据权利要求40所述的图像编码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
填充用于预测样本的第一块的两侧的样本，其中，第一块的两侧彼此平行。
43.根据权利要求40所述的图像编码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
对于预测样本的第一块的两个以上的边填充样本。
44.一种图像编码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻块；
至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及
至少使用重叠的块运动补偿处理的得到的块对当前块进行编码。
45.一种图像编码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；
至少使用第一运动向量，通过动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；
使用第二运动向量对当前块进行插值处理，其中，插值处理包括填充处理；以及
至少使用插值处理的得到的块对当前块进行编码。
46.根据权利要求45所述的图像编码器，其中，当针对所述当前块执行插值处理时，所述电路被配置为执行以下操作：
根据第二运动向量将预测样本的第一块填充到预测样本的第二块；以及
至少使用预测样本的第二块执行插值处理。
47.根据权利要求46所述的图像编码器，其中，当将所述预测样本的第一块填充到所述预测样本的第二块中时，所述电路被配置为根据所述第二运动向量来填充所述预测样本的第一块的一个或多个侧面。。
48.根据权利要求45所述的图像编码器，其中，当使用DMVR处理得到第二运动向量时，所述电路被配置为根据所述第一运动向量对所述预测样本的第一块执行填充处理。
49.一种图像编码器，包括：
划分器，其在操作中将原始图片接收并划分为多个块，
第一加法器，其在操作中接收来自划分器的块以及来自预测控制器的预测，并从其对应的块中减去每个预测以输出残差，
变换器，其在操作中对从加法器输出的残差执行变换以输出变换系数，
量化器，其在操作中对变换系数进行量化以生成量化的变换系数，
熵编码器，其在操作中对量化的变换系数进行编码以生成位流，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
第二加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加，以重构块，以及
耦合到帧间预测器和存储器的预测控制器，其中，帧间预测器在操作中基于编码的参考图片中的参考块生成当前块的预测，
其中，当基于编码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测当前块的预测样本的第一块，其中预测预测样本的第一块至少包括利用来自编码的参考图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对当前块进行编码。
50.根据权利要求49所述的图像编码器，其中，所述预测样本的第一块是在针对预测模式执行的预测处理中使用的预测块，其中，所述预测模式是合并模式或帧间预测模式。
51.根据权利要求49所述的图像编码器，其中，所述预测样本的第一块是在针对预测模式执行的运动补偿处理中使用的参考块，其中，所述预测模式是合并模式或帧间预测模式。
52.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
填充预测样本的第一块的至少两侧以形成预测样本的第二块，其中第一块的至少两侧不正交。
53.根据权利要求49所述的图像编码器，其中，当计算至少梯度时所述帧间预测器执行以下操作：
将梯度滤波器应用于预测样本的第二块以至少生成差值。
54.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
对预测样本的第一块镜像以形成预测样本的第二块。
55.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
复制预测样本的第一块以形成预测样本的第二块。
56.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
将固定值填充到预测样本的第一块以形成预测样本的第二块，其中固定值可以是0、128、正整数、预测样本的第一块的平均值或预测样本的第一块的中间值。
57.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
对预测样本的第一块执行功能以形成预测样本的第二块。
58.根据权利要求49所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
组合镜像、复制、填充固定值中的至少两个并且
对预测样本的第一块执行功能以形成预测样本的第二块。
59.根据权利要求49所述的图像编码器，其中，当预测所述图片的当前块的所述预测样本的第一块时，所述帧间预测器还执行以下操作：
预测当前块的预测样本的另一块，其中预测预测样本的另一块包括至少利用来自另一编码参考图片的另一运动向量的预测处理。
60.根据权利要求59所述的图像编码器，其中，所述另一编码参考图片具有与所述编码参考图片的图片顺序计数和/或所述原始图片的图片顺序计数不同的图片顺序计数。
61.根据权利要求60所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器还执行以下操作：
填充预测样本的另一块以形成预测样本的又另一块。
62.根据权利要求49所述的图像编码器，其中，在所述帧间预测器填充所述预测样本的第一块以形成预测样本的第二块之后，所述帧间预测器针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
63.根据权利要求49所述的图像编码器，其中，在所述帧间预测器填充所述预测样本的第一块以形成预测样本的第二块之前，所述帧间预测器针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
64.根据权利要求49所述的图像编码器，其中，当使用至少计算的梯度对当前块进行编码时，帧间预测器执行以下操作：
使用由插值处理产生的预测样本的得到的块以及至少计算的梯度对当前块进行编码。
65.根据权利要求64所述的图像编码器，其中，所述帧间预测器当至少计算所述梯度时执行以下操作：
将一个或多个梯度滤波器应用于由插值处理产生的预测样本的得到的块，以生成一个或多个差值。
66.一种图像编码器，包括：
划分器，其在操作中接收原始图片并将其划分为块，
第一加法器，其在操作中接收来自划分器的块以及来自预测控制器的预测，并从其对应的块中减去每个预测以输出残差，
变换器，其在操作中对从加法器输出的残差执行变换以输出变换系数，
量化器，其在操作中对变换系数进行量化以生成量化的变换系数，
熵编码器，其在操作中对量化的变换系数进行编码以生成位流，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
第二加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加，以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于编码的参考图片中的参考块生成当前块的预测，
其中，当基于编码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
使用预测样本的第二块执行插值处理；以及
至少使用插值处理的得到的块对当前块进行编码。
67.根据权利要求66所述的图像编码器，其中，所述帧间预测器在操作中执行以下操作：
执行重叠的块运动补偿处理以预测当前块的一个或多个相邻块，其中重叠的块运动补偿处理至少使用插值处理的得到的块。
68.根据权利要求66所述的图像编码器，其中，当帧间预测器在操作中填充预测样本的第一块以形成预测样本的第二块时，帧间预测器被配置为执行以下操作：
填充用于预测样本的第一块的两侧的样本，其中，第一块的两侧彼此平行。
69.根据权利要求66所述的图像编码器，其中，当帧间预测器在操作中填充预测样本的第一块以形成预测样本的第二块时，帧间预测器被配置为执行以下操作：
填充用于预测样本的第一块的多于两侧的样本。
70.一种图像编码器，包括：
划分器，其在操作中接收原始图片并将其划分为多个块，
第一加法器，其在操作中接收来自划分器的块，以及来自预测控制器的预测，并从其相对应的块中减去每个预测以输出残差，
变换器，其在操作中对从加法器输出的残差执行变换以输出变换系数，
量化器，其在操作中对变换系数进行量化以生成量化的变换系数，
熵编码器，其在操作中对量化的变换系数进行编码以生成位流，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
第二加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加，以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于编码的参考图片中的参考块来生成当前块的预测，
其中，当基于编码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻；
至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及
至少使用重叠的块运动补偿处理的得到的块对当前块进行编码。
71.一种图像编码器，包括：
划分器，其在操作中接收原始图片并将其划分为多个块，
第一加法器，其在操作中接收来自划分器的块以及来自预测控制器的预测，并从其相对应的块中减去每个预测以输出残差，
变换器，其在操作中对从加法器输出的残差执行变换以输出变换系数，
量化器，其在操作中对变换系数进行量化以生成量化的变换系数，
熵编码器，其在操作中对量化的变换系数进行编码以生成位流，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
第二加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加，以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于编码的参考图片中的参考块生成当前块的预测，
其中，当基于编码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；
至少使用第一运动向量，通过动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；
使用第二运动向量对当前块执行插值处理，其中，插值处理包括填充处理；以及
至少使用插值处理的得到的块对当前块进行编码。
72.根据权利要求71所述的图像编码器，其中，当针对所述当前块执行插值处理时，帧间预测器被配置为执行以下操作：
根据第二运动向量将预测样本的第一块填充到预测样本的第二块中；以及
使用至少预测样本的第二块执行插值处理。
73.根据权利要求72所述的图像编码器，其中，当将所述预测样本的第一块填充到所述预测样本的第二块中时，所述帧间预测器被配置为根据所述第二运动向量来填充所述预测样本的第一块的一侧或多侧。
74.根据权利要求71所述的图像编码器，其中，当使用DMVR处理得到第二运动向量时，帧间预测器被配置为根据第一运动向量对预测样本的第一块执行填充处理。
75.一种图像解码器，包括：
电路；
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对当前块进行解码。
76.根据权利要求75所述的图像解码器，其中，所述预测样本的第一块是在针对预测模式执行的预测处理中使用的预测块，其中，所述预测模式是合并模式或帧间预测模式。
77.根据权利要求75所述的图像解码器，其中，所述预测样本的第一块是在针对预测模式执行的运动补偿处理中使用的参考块，其中，所述预测模式是合并模式或帧间预测模式。
78.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
填充预测样本的第一块的至少两侧以形成预测样本的第二块，其中第一块的至少两侧不正交。
79.根据权利要求75所述的图像解码器，其中，当至少计算梯度时，所述电路执行以下操作：
将梯度滤波器应用于预测样本的第二块以至少生成差值。
80.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
对预测样本的第一块镜像以形成预测样本的第二块。
81.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
复制预测样本的第一块以形成预测样本的第二块。
82.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
将固定值填充到预测样本的第一块以形成预测样本的第二块，其中固定值可以是0、128、正整数、预测样本的第一块的平均值或预测样本的第一块的中间值。
83.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
对预测样本的第一块执行功能以形成预测样本的第二块。
84.根据权利要求75所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
组合镜像、复制、填充固定值中的至少两个并对预测样本的第一块执行功能以形成预测样本的第二块。
85.根据权利要求75所述的图像解码器，其中，当预测所述图片的当前块的所述预测样本的第一块时，所述电路还执行以下步骤：
预测图片的当前块的预测样本的另一块，其中预测预测样本的另一块包括至少利用来自另一不同图片的另一运动向量的预测处理。
86.根据权利要求85所述的图像解码器，其中，所述另一不同图片具有与所述不同图片的图片顺序计数和/或所述图片的图片顺序计数不同的图片顺序计数。
87.根据权利要求86所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路还执行以下操作：
填充预测样本的另一块以形成预测样本的又另一块。
88.根据权利要求75所述的图像解码器，其中，在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之后，所述电路针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
89.根据权利要求75所述的图像解码器，其中，在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之前，所述电路针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
90.根据权利要求75所述的图像解码器，其中，当至少使用所计算的梯度对当前块进行解码时，所述电路执行以下操作：
使用由插值处理产生的预测样本的得到的块以及至少计算的梯度对当前块进行解码。
91.根据权利要求90所述的图像解码器，其中，当至少计算所述梯度时，所述电路执行以下操作：
将一个或多个梯度滤波器应用于由插值处理产生的预测样本的得到的块，以生成一个或多个差值。
92.一种图像解码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
使用预测样本的第二块执行插值处理；以及
至少使用插值处理的得到的块对当前块进行解码。
93.根据权利要求92所述的图像解码器，其中，所述电路在操作中执行以下操作：
执行重叠的块运动补偿处理以预测当前块的一个或多个相邻块，其中重叠的块运动补偿处理至少使用插值处理的得到的块。
94.根据权利要求92所述的图像解码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
填充用于预测样本的第一块的两侧的样本，其中，第一块的两侧彼此平行。
95.根据权利要求92所述的图像解码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
填充用于预测样本的第一块的多于两侧的样本。
96.一种图像解码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻；
至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及
至少使用重叠的块运动补偿处理的得到的块来解码当前块。
97.一种图像解码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的的第一运动向量的预测处理；
至少使用第一运动向量，通过动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；
使用第二运动向量针对当前块进行插值处理，其中，插值处理包括填充处理；以及
至少使用插值处理的得到的块对当前块进行解码。
98.根据权利要求97所述的图像解码器，其中，当针对当前块执行插值处理时，所述电路配置为执行以下操作：
根据第二运动向量将预测样本的第一块填充到预测样本的第二块中；以及
至少使用预测样本的第二块执行插值处理。
99.根据权利要求98所述的图像解码器，其中，当将所述预测样本的第一块填充到所述预测样本的第二块中时，所述电路被配置为根据所述第二运动向量来填充所述预测样本的第一块的一侧或多侧。
100.根据权利要求97所述的图像解码器，其中，当使用DMVR处理得到第二运动向量时，所述电路被配置为根据所述第一运动向量对所述预测样本的第一块执行填充处理。
101.一种图像解码器，包括：
熵解码器，其在操作中接收编码的位流并对其进行解码以获得量化的变换系数，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
加法器，其在操作中，将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于解码的参考图片中的参考块来生成图片的当前块的预测，
其中，当基于解码的参考图片中的参考块来生成当前块的预测时，帧间预测器执行：
预测当前块的预测样本的第一块，其中预测预测样本的第一块至少包括利用来自解码的参考图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对当前块进行解码。
102.根据权利要求101所述的图像解码器，其中，所述预测样本的第一块是在针对预测模式执行的预测处理中使用的预测块，其中，所述预测模式是合并模式或帧间预测模式。
103.根据权利要求101所述的图像解码器，其中，所述预测样本的第一块是在针对预测模式执行的运动补偿处理中使用的参考块，其中，所述预测模式是合并模式或帧间预测模式。
104.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
填充预测样本的第一块的至少两侧以形成预测样本的第二块，其中第一块的至少两侧不正交。
105.根据权利要求101所述的图像解码器，其中，当至少计算梯度时，所述帧间预测器执行以下操作：所述帧间预测器执行以下操作：
将梯度滤波器应用于预测样本的第二块以至少产生差值。
106.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
对预测样本的第一块镜像以形成预测样本的第二块。
107.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
复制预测样本的第一块以形成预测样本的第二块。
108.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
将固定值填充到预测样本的第一块以形成预测样本的第二块，其中固定值可以是0、128、正整数、预测样本的第一块的平均值或预测样本的第一块的中间值。
109.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
对预测样本的第一块执行功能以形成预测样本的第二块。
110.根据权利要求101所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器执行以下操作：
组合镜像、复制、填充固定值中的至少两个并对预测样本的第一块执行功能以形成预测样本的第二块。
111.根据权利要求101所述的图像解码器，其中，当预测所述图片的当前块的预测样本的第一块时，所述帧间预测器还执行以下操作：
预测当前块的预测样本的另一块，其中预测预测样本的另一块至少包括对利用来自另一解码参考图片的另一运动向量的预测处理。
112.根据权利要求111所述的图像解码器，其中，所述另一解码参考图片具有与所述解码参考图片的图片顺序计数和/或所述图片的图片顺序计数不同的图片顺序计数。
113.根据权利要求112所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述帧间预测器还执行以下操作：
填充预测样本的另一块以形成预测样本的又另一块。
114.根据权利要求101所述的图像解码器，其中，在所述帧间预测器填充所述预测样本的第一块以形成预测样本的第二块之后，所述帧间预测器针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
115.根据权利要求101所述的图像解码器，其中，在所述帧间预测器填充所述预测样本的第一块以形成预测样本的第二块之前，所述帧间预测器针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式。
116.根据权利要求101所述的图像解码器，其中，当至少使用计算的梯度来解码当前块时，帧间预测器执行以下操作：
使用由插值处理产生的预测样本的得到的块以及至少计算的梯度对当前块进行解码。
117.根据权利要求116所述的图像解码器，其中，当至少计算梯度时，帧间预测器执行以下操作：
将一个或多个梯度滤波器应用于由插值处理产生的预测样本的得到的块，以生成一个或多个差值。
118.一种图像解码器，包括：
熵解码器，其在操作中接收编码的位流并对其解码以获得量化的变换系数，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于解码的参考图片中的参考块来生成图片的当前块的预测，
其中，当基于解码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第一块以形成预测样本的第二块，其中，第二块大于第一块；
使用预测样本的第二块执行插值处理；以及
至少使用插值处理的得到的块对当前块进行解码。
119.根据权利要求118所述的图像解码器，其中，所述电路在操作中执行以下操作：
执行重叠的块运动补偿处理以预测当前块的一个或多个相邻块，其中重叠的块运动补偿处理至少使用插值处理的得到的块。
120.根据权利要求118所述的图像解码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
填充用于预测样本的第一块的两侧的样本，其中，第一块的两侧彼此平行。
121.根据权利要求118所述的图像解码器，其中，当所述电路在操作中填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路被配置为执行以下操作：
填充用于预测样本的第一块的多于两侧的样本。
122.一种图像解码器，包括：
熵解码器，其在操作中接收编码的位流并对其进行解码以获得量化的变换系数，
逆量化器和变换器，其在操作中对量化的变换系数进行逆量化以获得变换系数，并对变换系数进行逆变换以获得残差，
加法器，其在操作中将从逆量化器和变换器输出的残差与从预测控制器输出的预测相加以重构块，以及
预测控制器，其耦合到帧间预测器和存储器，其中，帧间预测器在操作中基于解码的参考图片中的参考块来生成图片的当前块的预测，
其中，当基于解码的参考图片中的参考块生成当前块的预测时，帧间预测器执行：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中第二块与当前块相邻；
至少使用预测样本的第一块和第三块来执行重叠的块运动补偿处理；以及
至少使用重叠的块运动补偿处理的得到的块来解码当前块。
123.一种图像解码器，包括：
电路；以及
与电路耦合的存储器；
其中，该电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；
至少使用第一运动向量，通过动态运动向量刷新(DMVR)处理来得出当前块的第二运动向量；
使用第二运动向量针对当前块执行插值处理，其中，插值处理包括填充处理；以及
至少使用插值处理的得到的块对当前块进行解码。
124.根据权利要求123所述的图像解码器，其中，当针对所述当前块执行插值处理时，所述电路被配置为执行以下操作：
根据第二运动向量将预测样本的第一块填充到预测样本的第二块中；以及
至少使用预测样本的第二块执行插值处理。
125.根据权利要求124所述的图像解码器，其中，当将所述预测样本的第一块填充到所述预测样本的第二块中时，所述电路被配置为根据所述第二运动向量来填充所述预测样本的第一块的一侧或多侧。
126.根据权利要求123所述的图像解码器，其中，当使用DMVR处理得出第二运动向量时，所述电路被配置为根据所述第一运动向量对所述预测样本的第一块执行填充处理。
127.一种图像编码方法，包括实现执行根据权利要求1至48中任一项所述的步骤的图像编码器。
128.一种图像解码方法，包括实现执行根据权利要求75至100中任一项所述的步骤的图像解码器。
[工业适用性]
本公开可以例如应用于电视接收机、数字视频记录器、汽车导航系统、移动电话、数字照相机和数字摄像机。
100：编码器
102：分割单元
104：减法单元
106：转换单元
108：量化单位
110：熵编码单元
112、204：逆量化单元
114、206：逆变换单元
116、208：添加单位
118、210：块存储器
120、212：环路滤波器单元
122、214：帧存储
124、216：帧内预测变量
126、218：帧间预测器
128、220：预测控制单元
200：解码器
202：熵解码单元
1000：当前图片
1001：当前块
1100：第一张参考图片
1110：第一运动矢量
1120年：第一预测块
1121、1221：预测的子块
1122、1222：左上方像素
1130、1130A：第一插补参考范围
1131、1131A，1132、1132A，1231、1231A，1232、1232A：参考范围
1135、1135A：第一梯度参考范围
1140年：第一预测图像
1150年：第一梯度图片
1200：第二参考图片
1210：第二运动矢量
1220：第二个预测区块
1230、1230A：第二插值参考范围
1235、1235A：第二梯度参考范围
1240：第二预测图像
1250：第二梯度图片
1300：局部运动估计值
1400：最终预测图像

Claims (21)

1.一种图像编码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充所述预测样本的第一块以形成预测样本的第二块，其中，所述第二块大于所述第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对所述当前块进行编码。
2.根据权利要求1所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作中的一个或多个：
填充所述预测样本的第一块的至少两侧以形成所述预测样本的第二块，其中，所述第一块的至少两侧不正交；
对所述预测样本的第一块镜像，以形成所述预测样本的第二块；
复制所述预测样本的第一块以形成所述预测样本的第二块；
将固定值填充到所述预测样本的第一块以形成所述预测样本的第二块，其中，所述固定值能够是0、128、正整数、所述预测样本的第一块的平均值或所述预测样本的第一块的中间值；或者
对所述预测样本的第一块执行功能以形成所述预测样本的第二块。
3.根据权利要求1所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作：
将位于所述预测样本的第一块的每个边缘处的预测样本的样本值复制到相对应的样本，其中，所述相对应的样本围绕所述预测样本的第一块，并且与位于所述第一块的每个边缘处的相应的样本相邻，以形成所述预测样本的第二块。
4.根据权利要求1所述的图像编码器，其中，当预测所述图片的当前块的所述预测样本的第一块时，所述电路还执行以下操作：
预测所述图片的当前块的预测样本的另一块，其中，预测所述预测样本的另一块包括至少利用来自另一不同图片的另一运动向量的预测处理。
5.根据权利要求4所述的图像编码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路还执行以下操作：
填充所述预测样本的另一块以形成预测样本的又另一块。
6.根据权利要求1所述的图像编码器，其中，在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之前或之后，所述电路针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式，以及
其中，当至少使用所述计算的梯度对所述当前块进行编码时，所述电路使用由所述插值处理产生的预测样本的得到的块和至少所述计算的梯度对所述当前块进行编码。
7.一种图像编码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充所述预测样本的第一块以形成预测样本的第二块，其中，所述第二块大于所述第一块；
使用所述预测样本的第二块执行插值处理；以及
至少使用所述插值处理的得到的块对所述当前块进行编码。
8.根据权利要求7所述的图像编码器，其中，所述电路在操作中执行以下操作：
执行重叠的块运动补偿处理以用于预测所述当前块的一个或多个相邻块，
其中，所述重叠的块运动补偿处理至少使用所述插值处理的得到的块。
9.一种图像编码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中，所述第二块与所述当前块相邻；
至少使用所述预测样本的第一块和所述预测样本的第三块来执行重叠的块运动补偿处理；以及
至少使用所述重叠的块运动补偿处理的得到的块来对所述当前块进行编码。
10.一种图像编码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；
至少使用所述第一运动向量，通过动态运动向量刷新(DMVR)处理来得出所述当前块的第二运动向量；
使用所述第二运动向量针对所述当前块执行插值处理，其中，所述插值处理包括填充处理；以及
至少使用所述插值处理的得到的块来对所述当前块进行编码。
11.一种图像解码器，包括：
电路；
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充所述预测样本的第一块以形成预测样本的第二块，其中，所述第二块大于所述第一块；
至少使用所述预测样本的第二块计算梯度；以及
至少使用计算的梯度对所述当前块进行解码。
12.根据权利要求11所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路执行以下操作中的一个或多个：
填充所述预测样本的第一块的至少两侧以形成所述预测样本的第二块，其中，所述第一块的至少两侧不正交；
对所述预测样本的第一块镜像，以形成所述预测样本的第二块；
复制所述预测样本的第一块以形成所述预测样本的第二块；
将固定值填充到所述预测样本的第一块以形成所述预测样本的第二块，其中，所述固定值能够是0、128、正整数、所述预测样本的第一块的平均值或所述预测样本的第一块的中间值；或者
对所述预测样本的第一块执行功能以形成所述预测样本的第二块。
13.根据权利要求11所述的图像解码器，其中，当预测所述图片的当前块的所述预测样本的第一块时，所述电路还执行以下操作：
预测所述图片的当前块的预测样本的另一块，其中，预测所述预测样本的另一块至少包括利用来自另一不同图片的另一运动向量的预测处理。
14.根据权利要求13所述的图像解码器，其中，当填充所述预测样本的第一块以形成所述预测样本的第二块时，所述电路还执行以下操作：
填充所述预测样本的另一块以形成预测样本的又另一块。
15.根据权利要求14所述的图像解码器，其中，在所述电路填充所述预测样本的第一块以形成所述预测样本的第二块之前或之后，所述电路针对预测模式执行插值处理，其中，所述预测模式是合并模式或帧间预测模式，以及
其中，当至少使用所述计算的梯度对所述当前块进行解码时，所述电路使用由所述插值处理产生的预测样本的得到的块和至少所述计算的梯度来对所述当前块进行解码。
16.一种图像解码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充所述预测样本的第一块以形成预测样本的第二块，其中，所述第二块大于所述第一块；
使用所述预测样本的第二块执行插值处理；以及
至少使用所述插值处理的得到的块对所述当前块进行解码。
17.根据权利要求16所述的图像解码器，其中，所述电路在操作中执行以下操作：
执行重叠的块运动补偿处理以用于预测所述当前块的一个或多个相邻块，
其中，所述重叠的块运动补偿处理至少使用所述插值处理的得到的块。
18.一种图像解码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的运动向量的预测处理；
填充预测样本的第二块以形成预测样本的第三块，其中，所述第二块与所述当前块相邻；
至少使用所述预测样本的第一块和所述预测样本的第三块来执行重叠的块运动补偿处理；以及
至少使用所述重叠的块运动补偿处理的得到的块来对所述当前块进行解码。
19.一种图像解码器，包括：
电路；以及
与所述电路耦合的存储器；
其中，所述电路在操作中执行以下操作：
预测图片的当前块的预测样本的第一块，其中，预测所述预测样本的第一块至少包括利用来自不同图片的第一运动向量的预测处理；
至少使用所述第一运动向量，通过动态运动向量刷新(DMVR)处理来得出所述当前块的第二运动向量；
使用所述第二运动向量针对所述当前块执行插值处理，其中，所述插值处理包括填充处理；以及
至少使用所述插值处理的得到的块对所述当前块进行解码。
20.一种图像编码方法，包括实现能够执行根据权利要求1至10中的任一项所述的步骤的图像编码器。
21.一种图像解码方法，包括实现能够执行根据权利要求11至19中的任一项所述的步骤的图像解码器。
CN201880078630.7A 2017-12-08 2018-11-30 图像编码设备、图像解码设备、图像编码方法以及图像解码方法 Pending CN111713110A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762596396P 2017-12-08 2017-12-08
US62/596,396 2017-12-08
SG10201807934T 2018-09-13
SG10201807934T 2018-09-13
PCT/JP2018/044326 WO2019111835A1 (en) 2017-12-08 2018-11-30 Image encoding device, image decoding device, image encoding method, and image decoding method

Publications (1)

Publication Number Publication Date
CN111713110A true CN111713110A (zh) 2020-09-25

Family

ID=66749901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078630.7A Pending CN111713110A (zh) 2017-12-08 2018-11-30 图像编码设备、图像解码设备、图像编码方法以及图像解码方法

Country Status (8)

Country Link
US (3) US11218717B2 (zh)
JP (3) JP7046186B2 (zh)
KR (2) KR102625609B1 (zh)
CN (1) CN111713110A (zh)
BR (1) BR112020010935A2 (zh)
MX (2) MX2020005757A (zh)
TW (2) TW202349945A (zh)
WO (1) WO2019111835A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN113155288A (zh) * 2020-11-30 2021-07-23 齐鲁工业大学 一种光伏电池热斑的图像识别方法
CN116341689A (zh) * 2023-03-22 2023-06-27 深圳大学 机器学习模型的训练方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512632B (zh) * 2017-11-01 2023-07-14 Vid拓展公司 用于简化视频译码中的自适应环路滤波器的方法
KR102186463B1 (ko) * 2018-01-08 2020-12-03 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP7195073B2 (ja) * 2018-07-10 2022-12-23 古野電気株式会社 グラフ生成装置
US11146800B2 (en) * 2018-09-24 2021-10-12 Tencent America LLC Low latency local illumination compensation
WO2020258052A1 (zh) * 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 图像分量预测方法、装置及计算机存储介质
WO2021071145A1 (ko) * 2019-10-06 2021-04-15 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
WO2022262693A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023277755A1 (en) * 2021-06-30 2023-01-05 Telefonaktiebolaget Lm Ericsson (Publ) Selective subblock-based motion refinement
CN117546466A (zh) * 2021-06-30 2024-02-09 瑞典爱立信有限公司 重叠解码器侧运动细化

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247658A1 (en) * 2007-04-06 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using modification of residual block
US20120195378A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
CN103503457A (zh) * 2011-06-24 2014-01-08 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
KR20140124441A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 엣지 방향 보간을 이용한 비디오 부호화/복호화 방법 및 장치
US20140341290A1 (en) * 2011-11-11 2014-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Effective wedgelet partition coding using spatial prediction
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
US20170105003A1 (en) * 2015-10-13 2017-04-13 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
US20170310959A1 (en) * 2014-10-31 2017-10-26 Mediatek Inc. Method of Improved Directional Intra Prediction for Video Coding
US20170339411A1 (en) * 2014-11-04 2017-11-23 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370289B1 (ko) * 2007-02-14 2014-03-06 삼성전자주식회사 레지듀얼 리사이징을 이용한 영상의 부호화, 복호화 방법및 장치
US8559512B2 (en) * 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
WO2014107074A1 (ko) 2013-01-04 2014-07-10 삼성전자 주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
WO2018230493A1 (ja) * 2017-06-14 2018-12-20 シャープ株式会社 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247658A1 (en) * 2007-04-06 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using modification of residual block
US20120195378A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
CN103503457A (zh) * 2011-06-24 2014-01-08 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
US20140341290A1 (en) * 2011-11-11 2014-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Effective wedgelet partition coding using spatial prediction
KR20140124441A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 엣지 방향 보간을 이용한 비디오 부호화/복호화 방법 및 장치
US20170310959A1 (en) * 2014-10-31 2017-10-26 Mediatek Inc. Method of Improved Directional Intra Prediction for Video Coding
US20170339411A1 (en) * 2014-11-04 2017-11-23 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
US20170105003A1 (en) * 2015-10-13 2017-04-13 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", 《MPEG MEETING》, pages 2 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113155288A (zh) * 2020-11-30 2021-07-23 齐鲁工业大学 一种光伏电池热斑的图像识别方法
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN116341689A (zh) * 2023-03-22 2023-06-27 深圳大学 机器学习模型的训练方法、装置、电子设备及存储介质
CN116341689B (zh) * 2023-03-22 2024-02-06 深圳大学 机器学习模型的训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102625609B1 (ko) 2024-01-16
WO2019111835A1 (en) 2019-06-13
MX2020005757A (es) 2020-08-20
KR20240011241A (ko) 2024-01-25
JP7286832B2 (ja) 2023-06-05
JP7046186B2 (ja) 2022-04-01
JP2021506178A (ja) 2021-02-18
KR20200096917A (ko) 2020-08-14
US20220086476A1 (en) 2022-03-17
MX2023011455A (es) 2023-10-18
BR112020010935A2 (pt) 2020-11-17
TW201926989A (zh) 2019-07-01
TWI814755B (zh) 2023-09-11
TW202349945A (zh) 2023-12-16
US20200304827A1 (en) 2020-09-24
US11601669B2 (en) 2023-03-07
US20230171423A1 (en) 2023-06-01
US11218717B2 (en) 2022-01-04
JP2023099740A (ja) 2023-07-13
JP2022082608A (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
AU2018320382B2 (en) Image encoder, image decoder, image encoding method, and image decoding method
CN110999306B (zh) 图像编码器和图像解码器
JP7286832B2 (ja) 符号化装置および復号装置
CN110999303A (zh) 图像编码器、图像解码器、图像编码方法和图像解码方法
JP7339890B2 (ja) 符号化装置及び復号装置
JP7389283B2 (ja) 符号化装置及び復号装置
KR20190137806A (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2020256086A1 (en) System and method for video coding
JP7375113B2 (ja) 符号化装置及び復号装置
JP7017580B2 (ja) 復号装置、画像復号装置及び復号方法
JP2023168582A (ja) 復号装置、符号化装置、復号方法及び符号化方法
KR20220009385A (ko) 비디오 코딩을 위한 시스템 및 방법
JP7389282B2 (ja) 復号装置、及び、復号方法
WO2020256085A1 (en) System and method for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination