CN105493505B - 统一的帧内块复制和帧间预测模式 - Google Patents

统一的帧内块复制和帧间预测模式 Download PDF

Info

Publication number
CN105493505B
CN105493505B CN201480048017.2A CN201480048017A CN105493505B CN 105493505 B CN105493505 B CN 105493505B CN 201480048017 A CN201480048017 A CN 201480048017A CN 105493505 B CN105493505 B CN 105493505B
Authority
CN
China
Prior art keywords
frame
prediction
current image
current
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480048017.2A
Other languages
English (en)
Other versions
CN105493505A (zh
Inventor
B·李
J-Z·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105493505A publication Critical patent/CN105493505A/zh
Application granted granted Critical
Publication of CN105493505B publication Critical patent/CN105493505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

呈现了统一的帧内块复制(“BC”)和帧间预测模式方面的创新。在一些示例实现中，针对帧间预测模式的比特流句法、句法元素语义及许多编码/解码处理被重新使用或略微修改以允许针对帧的各个块的帧内BC预测。例如，为了提供针对当前图片的当前块的帧内BC预测，运动补偿过程应用指示当前图片内的位移的运动向量(“MV”)，其中当前图片被用作针对该运动补偿过程的参考图片。随着句法、语义和编码/解码处理的这种统一，在使用帧内BC预测时也可应用针对帧间预测模式设计的各编码/解码工具(诸如，高级运动矢量预测、合并模式和跳跃模式)，这简化了帧内BC预测的实现。

Description

统一的帧内块复制和帧间预测模式
背景
工程师使用压缩(也叫做源编码或源编码)来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来降低存储和传送该信息的成本。解压(也被称为解码)从压缩的形式中重构一种版本的原始信息。“编解码器”是编码器/解码器系统。
在过去的二十年中，已采用了各种视频编解码器标准，包括ITU-T H.261、H.262(MPEG-2或ISO/IEC 13818-2)、H.263和H.264(MPEG-4 AVC或ISO/IEC14496-10)标准、MPEG-1(ISO/IEC 11172 1 172-2)和MPEG-4可视(ISO/IEC14496-2)标准以及SMPTE 421M(VC-1)标准。最近，HEVC标准(ITU-T H.265或ISO/IEC 23008-2)已被批准。当前，正在开发(例如，针对可缩放视频编码/解码、针对在样本比特深度或色度采样率方面具有较高保真度的视频的编码/解码、或针对多视图编码/解码的)HEVC标准的扩展。视频编解码器标准通常定义针对经编码的视频比特流的句法的选项，从而详述当在编码和解码时使用特定特征时该比特流中的参数。在许多情况下，视频编解码器标准还提供关于解码器应当执行以在解码时取得一致的结果的解码操作的细节。除了编解码器标准外，各种专用编解码器格式定义针对经编码的视频比特流的句法的其他选项以及相应的解码操作。
一般而言，视频压缩技术包括“图像内”压缩和“图像间”压缩。图片内压缩技术压缩各个体图片，且图片间压缩技术参考前导和/或跟随图片(通常被称为参考或锚图片)来压缩图片。
图片间压缩技术通常使用运动估计和运动补偿通过利用视频序列中的时间冗余来降低比特率。运动估计是用于估计图片之间的运动的过程。在一个常用技术中，使用运动估计的编码器尝试将当前图片中的当前样本值块与另一图片(参考图片)中的搜索区域中的相同尺寸的候选块匹配。当编码器在参考图片的搜索区域中找到精确或“足够接近”的匹配时，编码器将当前和候选块之间的位置改变参数化为运动数据(诸如运动矢量(“MV”))。MV常规上是二维值，其具有指示左或右空间位移的水平MV分量和指示上或下空间位移的垂直MV分量。MV可指示整数像素位移，或在一些编解码器格式中指示分数像素位移。一般来说，运动补偿是使用运动数据从(诸)参考图片中重构图片的过程。
帧内块复制(“BC”)是H.265/HEVC扩展的处于开发中的预测模式。对于帧内BC预测模式，图片的当前块的样本值是使用同一图片中的先前重构的样本值来预测的。块矢量(“BV”)指示从当前块到当前图片的包括用于预测的先前重构的样本值的区域的位移。通常，BV指示整数像素位移。BV被信号化在比特流中。帧内BC预测是一种形式的图片内预测-针对图片的块的帧内BC预测不使用除了同一图片中的样本值以外的任何样本值。
如当前在H.265/HEVC标准中规定并在针对H.265/HEVC标准的某一参考软件中实现的，帧内BC预测模式具有若干问题。具体地，(除常规的帧内预测模式和帧间预测模式外)在编码和解码期间实现帧内BC预测模式所增加的复杂性可能没有证明将帧内BC预测包括为编码/解码工具是有道理的。
概述
总之，详细描述呈现了统一的帧内块复制(“BC”)和帧间预测模式方面的创新。在一些示例实现中，针对帧间预测模式的比特流句法、句法元素语义及许多编码/解码处理被重新使用或略微修改以允许针对帧的各个块的帧内BC预测。例如，为了提供针对当前图片的当前块的帧内BC预测，运动补偿过程应用指示当前图片内的位移的运动向量(“MV”)，其中当前图片被用作针对该运动补偿过程的参考图片。随着句法、语义及编码/解码处理的这种统一，在使用帧内BC预测时也可应用针对帧间预测所模式设计的各种编码/解码工具，这简化了帧内BC预测的实现。
根据本文中描述的这些创新中的一个方面，视频编码器对当前图片进行编码以产生经编码的数据。作为编码的一部分，编码器对当前图片的当前块执行帧内BC预测，其中该帧内BC预测使用帧间预测模式且当前图片作为参考图片。编码器在比特流中输出经编码的数据。作为帧内BC预测和帧间预测模式的统一的一部分，编码器可按一下方式中的任何一种或多种方式来适配。
首先，编码器可确定启用还是禁用帧内BC预测模式，随后在比特流中设置指示帧内BC预测模式被启用还是禁用的标志的值。例如，编码器确定对序列启用还是禁用帧内BC预测模式，并且标志是序列参数集合(“SPS”)的一部分。替换地，编码器可在逐图片的基础上、逐片的基础上或在某一其他基础上确定启用还是禁用BC预测模式。
第二，作为编码的一部分，编码器可设置比特流中的各句法元素的值，使得没有一个句法元素导致在对当前图片进行编码期间参考当前图片的非重构部分。也就是说，即使在使用帧间预测模式的句法、语义、处理等来实现帧内BC预测的功能时，编码器仍可将各句法元素的值设置为使得帧内BC预测仅参考当前图片的先前重构的部分。
第三，作为编码的一部分，编码器可使用若干不同方法中的任一者来信号化用于帧内BC预测的运动矢量(“MV”)信息(其中MV在编码期间被用作块矢量(“BV”))。例如，编码器可标识当前块的MV，其中该MV指示整数像素偏移。编码器以整数像素精度来信号化比特流中的MV。或者，作为另一示例，编码器可标识出当前块的MV(其中该MV指示整数像素偏移)，但以分数像素精度(例如，1/4像素精度)来信号化该比特流中的该MV。即使在亮度MV具有整数像素精度时，相应的色度MV仍可具有分数像素精度。在编码器从指示整数像素偏移的亮度MV中推导出色度MV后，编码器可对该色度MV进行四舍五入或截短以指示整数像素偏移。
第四，对于当前图片的编码，编码器可最初将当前图片标记为长期参考图片，随后在对当前图片的编码结束后，将当前图片标记为短期参考图片。在一些示例实现中，这使得帧内BC预测能够在帧间预测模式中使用当前图片作为参考图片，同时对当前图片如何影响其他过程(诸如MV预测和MV缩放)进行限制。
第五，作为该编码的一部分，编码器可设置适用于当前块的编码模式(从多个可用的编码模式中进行选择)，其中这些编码模式包括帧内预测模式、帧间预测模式和帧内BC预测模式。例如，编码器设置当前编码单元的编码模式。比特流包括指示适用于当前块的编码模式的句法元素。如果适用于当前块的编码模式是帧内BC预测模式，则针对当前块的句法元素遵循针对帧间预测模式的句法，除了帧间预测方向和参考图片索引是推断出的。在该情况下(适用于当前块的编码模式是帧内BC预测模式)，预测方向不被需要，并且参考图片已知为当前图片。
第六，作为该编码的一部分，在当前块是作为I片的当前片的一部分时，编码器可设置计数器，该计数器指示对当前片有效的参考图片的数目。具体地，在该情况下(当前片为I片)，该计数器指示在帧内BC预测模式被启用时，单个参考图片是有效的。比特流中的句法元素的值可指示对当前片有效的参考图片的数目。
第七，作为该编码的一部分，编码器可将当前图片添加到参考图片列表(“RPL”)中。例如，编码器将当前图片添加在RPL的最后位置处，并且使计数器递增，该计数器指示对于包括当前块的当前片有效的参考图片的数目。如果当前片是P片或B片，则编码器可在调用将一个或多个其他参考图片添加到RPL中的列表构造过程后将当前图片添加到RPL中。替换地，如果当前片是P片或B片，则编码器在将一个或多个其他参考图片添加到RPL中的列表构造过程期间将当前图片添加到RPL中。
第八，作为该编码的一部分，在当前块是作为B片的当前片的一部分时，编码器可将针对当前块的帧内BC预测的结果与针对当前块的运动补偿的预测的结果组合来作为来自两个不同的参考图片的预测结果。这允许编码器将针对当前块的帧内BC预测的结果和运动补偿的预测的结果混合。替换地，帧内BC预测的结果和运动补偿的预测的结果的组合不被允许。
第九，作为针对当前块的帧间预测模式处理的一部分，编码器可执行对4x4块的帧内BC预测。例如，如果(a)参考图片是当前图片并且(b)预测方向是(来自包括当前图片的RPL的)单向预测，则编码器可(对帧内BC预测)使用4x4块尺寸。在一些示例实现中，这准许帧内BC预测下降到空间帧内预测所允许的最小块尺寸。当帧间预测模式的块尺寸在参考图片指示符之前被信号化时(例如，当块尺寸(分区模式)是针对CU来信号化的，但预测方向和参考图片索引是针对CU的各PU来信号化的时)，编码器可作出关于块尺寸的判定，从而考虑对各块使用的参考图片和预测方向以及其他因素。随后，当适用于当前块的块尺寸为4x4时，编码器可跳过信号化预测方向的句法元素以及当前块的参考图片索引，因为预测方向可能仅是(来自包括当前图片的RPL的)单向预测，并且参考图片可仅仅是当前图片。替换地，在该情况下，编码器针对帧内BC预测禁用4x4块尺寸。
第十，作为该编码的一部分，编码器可使用高级MV预测模式、合并模式、跳跃模式和/或作为帧间预测模式的一部分的另一编码工具。通过重新使用这样的编码工具，帧内BC预测的实现被简化了。
第十一，作为针对当前块的帧间预测模式处理的一部分，编码器可执行对当前块的合并模式处理。例如,对于一个或多个合并模式候选中的每一者,编码器获取该合并模式候选并检查该合并模式候选是否参考当前图片。如果是，则编码器保留该合并模式候选.否则，该编码器排除该合并模式候选。随后，如果保留的合并模式候选的数目少于允许的合并模式候选的数目，则编码器可添加一个或多个预定义的合并模式候选。
第十二，在当前块是作为I片的当前片的一部分时，编码器可设置各句法元素的值，并取决于帧内BC预测模式是否被启用来按不同的方式输出这些句法元素。例如，如果帧内BC预测模式被启用，则针对当前I片的句法元素遵循针对P片或B片的句法，但是如果帧内BC预测模式没有被启用，则针对当前I片的句法元素遵循针对I片的默认句法。通过这种方式，帧间预测模式的句法可被重用于帧内BC预测，这简化了实现。
第十三，在当前块是作为I片的当前片的一部分时，如果帧内BC预测模式被启用，则编码器可禁用针对当前I片的时间MV预测。这可通过简化MV预测并避免MV缩放以及通过避免在对当前I片进行编码时使用另一图片/片中的信息来使编码流水线化。
第十四，在当前块是作为B片的当前片的一部分，并且当前图片被添加到第一RPL和第二RPL之一时，除了当前图片外，编码器还可评估(a)第一RPL中的参考图片的数目是否匹配第二RPL中的参考图片的数目，以及(b)第一RPL中的每一参考图片是否也被表示在第二RPL中的相应位置处。取决于该评估的结果，编码器可在比特流中设置指示当在针对B片的各块的双向帧间预测中使用第二RPL时是否仅允许零值MC差分的句法元素的值。
根据本文中所描述的各创新的另一个方面，视频解码器接收比特流中经编码的数据。视频解码器使用经编码的数据来对当前图片进行解码。作为该解码的一部分，视频解码器执行针对当前图片的当前块的帧内BC预测，其中该帧内PC预测使用帧间预测模式且当前图片作为参考图片。作为帧内BC预测和帧间预测模式的统一的一部分，解码器可用一下方式中的任何一者或多者中来适配。
第一，解码器可接收比特流中指示帧内BC预测模式是被启用还是被禁用的标志，随后据此启用或禁用帧内BC预测模式。例如，该标志是SPS的一部分，并且解码器为序列启用或禁用帧内预测模式。替换地，解码器可在逐图片的基础上、逐片的基础上或在某一其他基础上启用或禁用BC预测模式，其中该标志被信号化在比特流句法的合适层处。
第二，比特流可被约束为不包括导致在对当前图片进行解码期间参考当前图片的非重构部分的句法元素。也就是说，即使在使用帧间预测模式的句法、语义、处理等来实现帧内BC预测的功能时，句法元素的值仍被设置为使得帧内BC预测仅参考当前图片的先前重构的部分。
第三，作为该解码的一部分，解码器可使用若干不同方法中的任一者来重构用于帧内BC预测的MV信息(其中MV在解码期间被用作BV)。例如，解码器可重构当前块的MV，其中该MV指示整数像素偏移并以整数像素精度被信号化在比特流中。作为该重构的一部分，在运动补偿过程中使用该MV之前，解码器将该MV缩放到分数像素精度。或者，作为另一示例，解码器可重构当前块的MV，其中该MV指示整数像素偏移但以分数像素精度(例如，1/4像素精度)被信号化在该比特流中。即使在亮度MV具有整像素精度时，相应的色度MV仍可具有分数像素精度。在解码器从指示整数像素偏移的亮度MV中推导出色度MV后，解码器可对该色度MV进行四舍五入或截短以指示整数像素偏移。
第四，对于当前图片的解码，解码器可最初将当前图片标记为长期参考图片，随后在对当前图片的解码结束后，将当前图片标记为短期参考图片。在一些示例实现中，这使得帧内BC预测能够在帧间预测模式中使用当前图片作为参考图片，同时对当前图片如何影响其他过程(诸如MV预测和MV缩放)进行限制。
第五，作为该解码的一部分，解码器可从比特流中解析出指示适用于当前块的编码模式的句法元素，随后设置该编码模式。该编码模式可以是从多个可用的编码模式(包括帧内预测模式、帧间预测模式和帧内BC预测模式)中选择出的。例如，解码器设置当前编码单元的编码模式。如果适用于当前块的编码模式是帧内BC预测模式，则当前块的句法元素遵循帧间预测模式的句法，除了帧间预测方向和参考图片索引是推断出的。在该情况下(适用于当前块的编码模式是帧内BC预测模式)，预测方向不被需要，并且参考图片已知为当前图片。
第六，作为该解码的一部分，在当前块是作为I片的当前片的一部分时，解码器可设置计数器，该计数器指示对当前片有效的参考图片的数目。具体地，在该情况下(当前片为I片)，计数器指示当帧内BC预测模式被启用时，单个参考图片是有效的。比特流中的句法元素的值可指示对当前片有效的参考图片的数目。
第七，作为该解码的一部分，解码器可将当前图片添加到RPL中。例如，解码器将当前图片添加在RPL的最后位置处，并且使计数器递增，该计数器指示对包括当前块的当前片有效的参考图片的数目。如果当前片是P片或B片，则在调用将一个或多个其他参考图片添加到RPL中的列表构造过程后，解码器可将当前图片添加到RPL中。替换地，如果当前片是P片或B片，则解码器在将一个或多个其他参考图片添加到RPL中的列表构造过程期间将当前图片添加到RPL中。
第八，作为该解码的一部分，在当前块是作为B片的当前片的一部分时，解码器可将针对当前块的帧内BC预测的结果与针对当前块的运动补偿的预测的结果组合来作为来自两个不同的参考图片的预测结果。这允许解码器将针对当前块的帧内BC预测的结果和运动补偿的预测的结果混合。替换地，帧内BC预测的结果和运动补偿的预测的结果的组合不被允许。
第九，作为针对当前块的帧间预测模式处理的一部分，解码器可执行对4x4块的帧内BC预测。例如，如果(a)参考图片是当前图片并且(b)预测方向是(来自包括当前图片的RPL的)单向预测，则解码器可(对帧内BC预测)使用4x4块尺寸。在一些示例实现中，这准许帧内BC预测下降到空间帧内预测所允许的最小块尺寸。当帧间预测模式的块尺寸在参考图片指示符之前被信号化时(例如，在块尺寸(分区模式)是针对CU来信号化的，但预测方向和参考图片索引是针对CU的各PU来信号化的时)，则解码器解析块尺寸的句法元素，而无需知道当前块的预测方向或参考图片索引，并且因此无需知道该块使用了帧内BC预测还是图片间预测。然而，如果块尺寸为4x4，则解码器可跳过解析当前块的预测方向和参考图片索引的句法元素。当适用于当前块的块尺寸为4x4时，当前块的预测方向可仅仅是(来自包括当前图片的RPL的)单向预测，并且当前块的参考图片可仅仅是当前图片，使得当前块的预测方向和参考图片索引的句法元素被从比特流中省略。替换地，在该情况下，解码器针对帧内BC预测禁用4x4块尺寸。
第十，作为该解码的一部分，解码器可使用高级MV预测模式、合并模式、跳跃模式和/或作为帧间预测模式的一部分的另一编码/解码工具。通过重新使用这样的编码/解码工具，帧内BC预测的实现被简化了。
第十一，作为针对当前块的帧间预测模式处理的一部分，解码器可执行针对当前块的合并模式处理。例如,对于一个或多个合并模式候选中的每一者,解码器获取该合并模式候选并检查该合并模式候选是否参考当前图片。如果是，则解码器保留该合并模式候选.否则，该解码器排除该合并模式候选。随后，如果保留的合并模式候选的数目少于允许的合并模式候选的数目，则解码器可添加一个或多个预定义的合并模式候选。
第十二，在当前块是作为I片的当前片的一部分时，解码器可取决于帧内BC预测模式是否被启用来按不同的方式解析句法元素。例如，如果帧内BC预测模式被启用，则针对当前I片的句法元素遵循针对P片或B片的句法，但是如果帧内BC预测模式没有被启用，则针对当前I片的句法元素遵循针对I片的默认句法。通过这种方式，帧间预测模式的句法可被重用于帧内BC预测，这简化了实现。
第十三，在当前块是作为I片的当前片的一部分时，如果帧内BC预测模式被启用，则解码器可禁用针对当前I片的时间MV预测。这可通过简化MV预测并避免MV缩放以及通过避免在对当前I片进行解码时使用另一图片/片中的信息来使解码流水线化。
第十四，作为该解码的一部分，在当前块是作为I片的当前片的一部分时，如果帧内BC预测模式被启用，则解码器对当前片(如P片或B片)进行解码。通过重新使用编码/解码工具，帧内BC预测的实现被简化了。
针对统一的帧内BC和帧间预测模式的创新可以被实现为方法的一部分、被适配成执行该方法的计算系统的一部分或存储用于使计算系统执行该方法的计算机可执行指令的有形计算机可读介质的一部分。各创新可以结合地或分开地使用。例如，选择性地启用/禁用帧内BC预测模式可与本文中描述的任何参考图片管理方法(用于RPL构造和/或参考图片标记)结合使用，或者帧内BC预测模式的选择性启用/禁用或参考图片管理方法可被分开地使用。本文中描述的用于信号化或重构MV信息的方法中的任一者可被分开地使用或与前述工具或组合结合使用。本文中描述的用于复合预测的方法中的任一者可被分开地使用或与前述工具或组合结合使用。本文中描述的用于对4x4块进行帧内BC预测的方法中的任一者可被分开地使用或与前述工具或组合结合使用。本文中描述的用于使用高级MV预测模式、合并模式、跳跃模式或另一帧内预测模式编码/解码工具(其中时间MV预测被启用或禁用)的帧内BC预测的方法中的任一者可被分开地使用或与前述工具或组合结合使用。本文中描述的用于使用帧内预测模式的句法、语义或编码/结果过程的帧内BC预测的方法中的任一者可被分开地使用或与前述工具或组合结合使用。
参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。
附图简述
图1是其中可实现所描述的一些实施例的示例计算系统的示图。
图2a和2b是其中可实现所描述的一些实施例的示例网络环境的示图。
图3是结合其可实现所描述的一些实施例的示例编码器系统的示图。
图4是结合其可实现所描述的一些实施例的示例解码器系统的示图。
图5a和5b是示出结合其可实现所描述的一些实施例的示例视频编码器的示图。
图6是示出结合其可实现所描述的一些实施例的示例视频解码器的示图。
图7是示出包括统一的帧内BC和帧间预测模式的用于编码的一般化技术的流程图。
图8是示出包括统一的帧内BC和帧间预测模式的用于编码的示例技术的流程图。
图9是示出包括统一的帧内BC和帧间预测模式的用于解码的一般化技术的流程图。
图10是示出包括统一的帧内BC和帧间预测模式的用于解码的示例技术的流程图。
图11a-11c是示出在一些示例实现中的针对统一的帧内BC和帧间预测模式的示例句法结构的示图。
图12是示出包括选择性地启用针对序列的帧内BC预测的用于编码或解码的一般化技术的流程图。
图13是示出用于构造包括当前图片的RPL的示例技术的流程图。
图14a-14c是示出用于在构造RPL的过程期间添加当前图片的方式的伪代码列表。
详细描述
本详细描述呈现在视频编码或视频解码期间的统一的帧内块复制“BC”和帧间预测模式方面的创新。
本文中描述的一些创新是参考专用于HEVC标准的句法元素和操作来示出的。本文中描述的各创新还可以被实现为针对其它标准或格式。虽然本文中描述的操作被适当描述为由视频编码器或视频解码器来执行，但在许多情况中，这些操作可由另一类型的媒体处理工具来执行。
更一般地，本文中描述的各示例的各种替代是可能的。例如，本文中描述的一些方法可以通过改变描述的方法动作的顺序、通过拆分、重复或忽略某些方法动作等来更改。所公开的技术的各方面能够被组合地或分开地使用。不同的实施例使用所描述的创新中的一个或多个。本文中描述的一些创新解决了背景中指出的一个或多个问题。通常，所给出的技术/工具并不解决所有这些问题。
示例计算系统
图1示出了其中可实现几个所描述的创新的合适计算系统(100)的概括示例。计算系统(100)并不旨对使用范围或功能提出任何限制，因为这些创新可以在不同的通用或专用计算系统中实现。
参考图1，计算系统(100)包括一个或多个处理单元(110、115)和存储器(120、125)。处理单元(110、115)执行计算机可执行指令。处理单元可以是通用中央处理单元(“CPU”)、专用集成电路(“ASIC”)中的处理器或任何其它类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。例如，图1示出中央处理单元(110)以及图形处理单元或协处理单元(115)。有形存储器(120、125)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等)或两者的某种组合，可由处理单元存取。存储器(120,125)存储实现针对统一的帧内BC和帧间预测模式的一个或多个创新的软件(180)，该软件用适用于由(诸)处理单元执行的计算机可执行指令的形式。
计算系统可具有附加的特征。例如，计算系统(100)包括存储(140)、一个或多个输入设备(150)、一个或多个输出设备(160)以及一个或多个通信连接(170)。诸如总线、控制器或网络之类的互连机制(未示出)将计算系统(100)的各组件互连。通常，操作系统软件(未示出)为在计算系统(100)中执行的其它软件提供操作环境，并协调计算系统(100)的各组件的有效。
有形存储(140)可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、CD-ROM、DVD或可用于储存信息并可在计算系统(100)内访问的任何其他介质。存储(140)存储实现针对统一的帧内BC预测和帧间预测模式的一个或多个创新的软件(180)的指令。
(诸)输入设备(150)可以是触摸输入设备(诸如键盘、鼠标、笔或跟踪球)、语音输入设备、扫描设备或向计算系统(100)提供输入的另一设备。对于视频，(诸)输入设备(150)可以是相机、视频卡、TV调谐卡、屏幕捕捉模块或接受模拟或数字形式的视频输入的类似设备、或将视频输入读到计算系统(100)中的CD-ROM或CD-RW。(诸)输出设备(160)可以是显示器、打印机、扬声器、CD刻录机或提供来自计算系统(100)的输出的另一设备。
(诸)通信连接(170)允许通过通信介质与另一计算实体通信。通信介质传达诸如计算机可执行指令、音频或视频输入或输出、或已调制数据信号中的其他数据之类的信息。已调制数据信号是使其一个或多个特征以在信号中编码信息的方式设置或改变的信号。作为示例而非限制，通信介质可以使用电的、光学的、RF或其它载体。
各创新可以在计算机可读介质的一般上下文中描述。计算机可读介质是可在计算环境内访问的任何可用有形介质。作为示例而非局限，对于计算系统(100)，计算机可读介质包括存储器(120、125)、存储(140)、和以上任意的组合。
各创新可在计算机可执行指令(诸如包括在程序模块中的在目标现实或虚拟处理器上在计算系统中执行的那些计算机可执行指令)的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。如各实施例中所描述的，这些程序模块的功能可以被组合，或者在这些程序模块之间拆分。针对各程序模块的计算机可执行指令可以在本地或分布式计算系统中执行。
术语“系统”和“设备”在此被互换地使用。除非上下文明确指示，否则，术语并不暗示对计算系统或计算设备的类型的任何限制。一般说来，计算系统或计算设备可以是本地的或分布式的，并且可以包括具有实现本文中描述的功能的软件的专用硬件和/或通用硬件的任意组合。
所公开的方法还可使用被配置成执行所公开的方法中的任一者的专用计算硬件来实现。例如，所公开的方法可以由被专门设计或配置成实现所公开的方法中的任一者的集成电路(例如，诸如ASIC数字信号处理器(“DSP”)之类的ASIC、图像处理单元(“GPU”)、或诸如场可编程门阵列(“FPGA”)之类的可编程逻辑器件(“PLD”))来实现。
为了呈现起见，本详细描述使用了如“确定”和“使用”等术语来描述计算系统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，且不应与人类所执行的动作混淆。对应于这些术语的实际的计算机操作取决于实现而不同。
II.示例网络环境
图2a和2b示出了包括视频编码器(220)和视频解码器(270)的示例网络环境(201，202)。编码器(220)和解码器(270)使用合适的通信协议通过网络(250)连接。网络(250)可包括因特网或另一计算机网络。
在图2a所示的网络环境(201)中，每个实时通信(“RTC”)工具(210)都包括用于双向通信的编码器(220)和解码器(270)两者。给定的编码器(220)可以产生符HEVC标准(也被称为H.265)、SMPTE 421M标准、ISO/IEC 14496-10标准(也被称为H.264或AVC)、另一标准、或专用格式的变型或扩展的输出，使得相应的解码器(270)接受来自编码器(220)的经编码的数据。双向通信可以是视频会议、视频电话呼叫或其它双方或多方通信场景的部分。虽然，图2a中的网络环境(201)包括两个实时通信工具(210)，但网络环境(201)可改为包括参与多方通信的三个或更多个实时通信工具(210)。
实时通信工具(210)管理编码器(220)做出的编码。图3示出可以被包括在实时通信工具(210)中的示例编码器系统(300)。替换地，实时通信工具(210)使用另一编码器系统。实时通信工具(210)还管理解码器(270)做出的解码。图4示出可以被包括在实时通信工具(210)中的示例解码器系统(400)。替换地，实时通信工具(210)使用另一解码器系统。
在图2b中示出的网络环境(202)中，编码工具(212)包括编码供递送给多个回放工具(214)的视频的编码器(220)，此多个回放工具(214)包括解码器(270)。单向通信可被提供用于视频监视系统、web相机监视系统、屏幕捕捉模块、远程桌面会议演示或在其中编码视频并将其从一个位置发送到一个或多个其它位置的其它场景。虽然在图2b中的网络环境(202)包括两个回放工具(214)，但该网络环境(202)可以包括更多或更少的回放工具(214)。一般来说，回放工具(214)与编码工具(212)通信以确定回放工具(214)要接收的视频流。回放工具(214)接收该流、缓冲所接收的经编码的数据达合适的时间段并开始解码和回放。
图3示出可以被包括在编码工具(212)中的示例编码器系统(300)。替换地，编码工具(212)使用另一编码器系统。编码工具(212)还可以包括用于管理与一个或多个回放工具(214)的连接的服务器侧控制器逻辑。图4示出可以被包括在回放工具(214)中的示例解码器系统(400)。替换地，回放工具(214)使用另一解码器系统。回放工具(214)还可以包括用于管理与一个或多个编码工具(212)的连接的客户机侧控制器逻辑。
III.示例编码器系统
图3是结合其可实现所描述的一些实施例的示例编码器系统(300)的框图。编码器系统(300)可以是能够用多种编码模式中的任一者(诸如用于实时通信的低等待时间编码模式、转码模式和用于从文件或流中产生供回放的媒体的较高等待时间编码模式)操作的通用编码工具，或它可以是适用于一种这样的编码模式的专用编码工具。编码器系统(300)可以被实现为操作系统模块、应用库的部分、独立的应用。总体上，编码器系统(300)从视频源(310)接收源视频帧序列(311)并产生经编码的数据作为到信道(390)的输出。输出到信道的经编码的数据可包括使用统一的帧内BC和帧间预测模式编码的内容。
视频源(310)可以是相机、调谐卡、存储介质、屏幕捕捉模块或其它数字视频源。视频源(310)以例如每秒30帧的帧速率产生视频帧序列。如本文中所使用的，术语“帧”一般指代源、经编码的或经重构的图像数据。对于逐行扫描视频，帧是逐行扫描视频帧。对于隔行视频，在各示例实施例中，隔行视频帧可以在编码之前被去隔行。替换地，两个互补的隔行视频场可以被编码在一起作为单个视频帧或者被编码成两个经分开编码的场。除了指示逐行扫描视频帧或隔行扫描视频帧之外，术语“帧”或“图片”可以指示单个非成对的视频场、互补的成对视频场、表示在给定时间的视频对象的视频对象平面、或较大图像中的感兴趣区域。视频对象平面或区域可以是包括场景的多个对象或区域的较大图像的一部分。
抵达的源帧(311)被存储在包括多个帧缓冲器存储区域(321、322、…、32n)的源帧临时存储器存储区域(320)中。帧缓冲区(321、322等)在源帧存储区域(320)中保持一个源帧。在一个或多个源帧(311)已被存储在帧缓冲区(321、322等)中后，帧选择器(330)从源帧存储区域(320)中选择一个体源帧。帧选择器(330)选择帧以供输入到编码器(340)的顺序可不同于视频源(310)产生这些帧的顺序，例如某些帧的编码可以被按序延迟，从而允许一些更后面的帧被先编码并由此促成时间上向后的预测。在编码器(340)之前，编码器系统(300)可包括预处理器(未示出)，该预处理器在编码之前执行对选中的帧(331)的预处理(例如滤波)。预处理可包括色彩空间转换成主要(例如亮度)和次要(例如偏向红色和偏向蓝色的色度差)分量以及用于编码的重采样处理(例如以减少色度分量的空间分辨率)。通常，在编码之前，视频已被转换成诸如YUV的色彩空间，其中亮度(Y)分量的样本值表示明亮度或强度值，而色度(U,V)分量的样本值表示色差值。色度样本值可以被子采样到较低的色度采样率(例如用于YUV 4:2:0格式或YUV 4:2:2)，或者色度样本值可以具有与亮度样本值相同的分辨率(例如用于YUV 4:4:4格式)。在YUV 4:2:0格式中，色度分量在水平上被下采样了1/2并且在垂直上被下采样了1/2。在YUV 4:2:2格式中，色度分量在水平上被下采样了1/2。或者，视频可用另一格式(例如，RGB 4:4:4格式)来编码。
编码器(340)编码所选的帧(331)以产生经编码的帧(341)并且还产生存储器管理控制操作(“MMCO”)信号(342)或参考图片集合(“RPS”)信息。如果当前帧不是已被编码的第一帧，则在执行其编码处理时，编码器(340)可以使用已经被存储在经解码帧的临时存储器存储区域(360)中的一个或多个先前被编码/解码的帧(369)。这样的存储的经解码帧(369)被用作用于当前源帧(331)的内容的帧间预测的参考帧。MMCO/RPS信息(342)向解码器指示哪些经重构的帧可被用作参考帧，并且因此应该被存储在帧存储区域中。
一般来说，编码器(340)包括执行编码任务的多个编码模块，编码任务为诸如分割成小块、帧内预测估计和预测、运动估计和补偿、频率变换、量化和熵编码。由编码器(340)执行的确切操作可以取决于压缩格式而变化。输出的经编码数据的格式可以是HEVC格式(H.265)、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。
编码器(340)可以将帧分割成相同尺寸或不同尺寸的多个小块。例如，编码器(340)沿小块行和小块列来拆分帧，这些小块行和小块列利用帧边界定义在该帧内的小块的水平和垂直边界，其中每个小块是矩形区域。小块通常被用于提供并行处理的选项。帧还可以被组织成一个或多个片，其中一个片可以是整个帧或该帧的区域。片可以独立于帧中的其它片编码，这改善了错误复原性。出于编码和解码的目的，片或小块的内容被进一步分割成块或其它样本值集。
对于根据HEVC标准的句法来说，编码器将帧(或片或小块)的内容拆分成编码树单元。编码树单元(“CTU”)包括被组织成亮度编码树块(“CTB”)的亮度样本值，并且相应的色度样本值被组织成两个色度CTB。CTU(及其CTB)的尺寸由编码器来选择，并且可以为例如64x64、32x32或16x16个样本值。CTU包括一个或多个编码单元。编码单元(“CU”)具有亮度编码块(“CB”)和两个相应的色度CB。例如，具有64x64亮度CTB和两个64x64色度CTB(YUV 4:4:4格式)的CTU可以被拆分成4个CU，其中每个CU包括一32x32亮度CB和两个32x32色度CB，并且每个CU可能被进一步拆分成更小的CU。或者，作为另一示例，具有64x64亮度CTB和两个32x32色度CTB(YUV 4:2:0格式)的CTU可以被拆分成4个CU，其中每个CU包括一32x32亮度CB和两个16x16色度CB，并且每个CU可能被进一步拆分成更小的CU。CU的最小允许尺寸(例如8×8、16×16)可被信号化在比特流中。
一般来说，CU可具有诸如帧间或帧内之类的预测模式。出于信号化预测信息(例如预测模式细节、移位值等)和/或预测处理的目的，CU包括一个或多个预测单元。预测单元(“PU”)具有亮度预测块(“PB”)和两个对应的色度PB。对于帧内预测的CU，PU具有与CU相同的尺寸，除非CU具有最小尺寸(例如8×8)。在那个情况下，CU可被拆分成四个较小的PU(例如，如果最小CU尺寸为8x8，则PU为4x4)，或者PU可具有最小CU尺寸，如针对CU的句法元素所指示的。出于残留编码/解码的目的，CU还具有一个或多个变换单元，其中变换单元(“TU”)具有一变换块(“TB”)和两个色度TB。在帧内预测的CU中的PU可以包含单个TU(在尺寸方面等于PU)或多个TU。如本文中所使用的，术语“块”可以指示CB、PB、TB或某些其它样本值集，这取决于上下文。编码器决定如何将视频分割成CTU、CU、PU、TU等。
回到图3，编码器根据来自源帧(331)中的其它、先前重构的样本值的预测来表示该帧(331)内编码的块。对于帧内BC预测，运动估计器(使用当前帧作为参考帧)估计块相对于其它、先前重构的样本值的位移。帧内预测参考区域(或简称帧内预测区域)是帧中用于生成块的BC预测值的样本的区域。帧内预测区域可以用块矢量(“BV”)值(其被信号化成运动矢量(“MV”)信息，并作为运动矢量信息来应用)来指示。对于块的空间内预测，图片内估计器估计相邻的经重构的样本值到该块的外插。图片内估计器(或运动估计器)可以输出被熵编码的预测信息(例如帧内BC预测的MV信息或用于帧内空间预测的预测模式(方向))。图片内部预测预测器应用空间预测信息来确定帧内预测值。运动补偿器(使用当前帧作为参考帧)应用该MV信息来确定帧内BC预测值。
编码器(340)依据来自参考帧的预测来表示源帧(331)的帧间编码的预测的块。运动估计器估计块相对于一个或多个参考帧(369)的运动。当使用多个参考帧时，这多个参考帧可来自不同的时间方向或相同的时间方向。经运动补偿的预测参考区域是(诸)参考帧中用于生成当前帧中的样本块的经运动补偿的预测值的样本区域。运动估计器输出诸如MV信息之类被熵编码的运动信息。运动补偿器将MV值应用于参考帧(369)以确定用于帧间预测的经运动补偿的预测值。
编码器可以确定在块预测值(帧内或帧间)和对应的原始值之间的差值(如果有的话)。这些预测残留值将进一步使用频率变换、量化和熵编码来编码。例如，编码器(340)为图片、小块、片和/或视频的其它部分设置量化参数(“QP”)的值，并相应地量化变换系数。编码器(340)的熵编码器压缩经量化的变换系数值以及某些辅助信息(例如MV信息、所选的MV精度、QP值、模式判定、参数选择)。典型的熵编码技术包括指数-Golomb编码、Golomb-Rice编码、算术编码、差分编码、Huffman编码、行程长度编码、可变长度对可变长度(“V2V”)编码、可变长度对固定长度(“V2F”)编码、Lempel-Ziv(“LZ”)编码、字典编码、概率区间划分熵编码(“PIPE”)和上述编码的组合。熵编码器可对不同种类的信息使用不同的编码技术，并可组合地应用多个技术(例如，通过应用Golomb-Rice编码，随后应用算术编码)，并可从特定编码技术内的多个码表中进行选择。
自适应去块滤波器可以被包括在编码器(340)中的运动补偿循环内以平滑经解码的帧中的块边界行和/或列上的间断。可替换地或另外地应用其它滤波(诸如去振铃滤波、自适应环路滤波(“ALF”)或样本自适应偏移(“SAO”)滤波，未示出)作为内环路滤波操作。
经编码的帧(341)和MMCO/RPS信息(342)(或与MMCO/RPS信息(342)等价的信息，因为在编码器(340)处已经知道各帧的依赖关系和排序结构)由解码处理仿真器(350)处理。解码处理仿真器(350)实现了解码器的一些功能，例如对任务进行解码以重构参考帧。以与MMCO/RPS信息(342)相一致的方式，解码处理仿真器(350)确定给定的经编码帧(341)是否需要被重构并被存储以供在对要编码的后续帧的帧间预测中用作参考帧。如果经编码的帧(341)需要被存储，则解码处理仿真器(350)对将由解码器进行的解码处理建模，该解码器接收经编码的帧(341)并产生相应的经解码的帧(351)。通过这么做，当编码器(340)已经使用已被存储在经解码帧存储区域(360)中的经解码的帧(369)时，解码处理仿真器(350)还使用来自存储区域(360)的经解码的帧(369)作为解码处理的一部分。
经解码帧临时存储器存储区域(360)包括多个帧缓冲存储区域(361,362,…,36n)。以与MMCO/RPS信息(342)相一致的方式，解码处理仿真器(350)管理存储区域(360)中的内容，以便标识出具有编码器(340)不再需要将其用作参考帧的帧的任何帧缓冲区(361、362等)。在对解码处理进行建模之后，解码处理仿真器(350)在帧缓冲区(361、362等)中存储已经以此方式标识出的新解码的帧(351)。
经编码的帧(341)和MMCO/RPS信息(342)被缓冲在临时的经编码数据区域(370)中。
被聚集在经编码数据区域(370)中的经编码数据将一个或多个图片的经编码数据作为基本经编码视频比特流的句法的一部分来包含。在经编码数据区域(370)中被聚集的经编码数据还可包括与经编码的视频数据相关的媒体元数据(例如作为一个或多个补充增强信息(“SEI”)消息或视频可用性信息(“VUI”)消息中的一个或多个参数)。
来自临时经编码数据区域(370)的经聚集的数据(371)由信道编码器(380)处理。信道编码器(380)可以分组化和/或复用经聚集的数据以供作为媒体流传输或存储(例如根据媒体程序流或传输流格式，例如ITU-T H.222.0|ISO/IEC 13818-1或因特网实时传输协议格式(例如IETF RFC 3550))，在这种情况中，信道编码器(380)可以将句法元素作为媒体传输流的句法的部分加入。或者，信道编码器(380)可以将经聚集的数据组织作为文件存储(例如根据媒体容器格式，诸如ISO/IEC 14496-12)，在这种情况中信道编码器(380)可以将句法元素作为媒体存储文件的句法的部分加入。或者，更一般地，信道编码器(380)可以实现一个或多个媒体系统复用协议或传输协议，在这种情况中，信道编码器(380)可以添加句法元素作为(诸)协议的句法的一部分。信道编码器(380)将输出提供给信道(390)，该信道(390)表示存储、通信连接或该输出的另一信道。信道编码器(380)或信道(390)还可以包括例如用于前向纠错(“FEC”)编码和模拟信号调制的其它元素(未示出)。
IV.示例解码器系统
图4是结合其可实现所描述的一些实施例的示例解码器系统(400)的框图。解码器系统(400)可以是能够在多种解码模式(例如针对实时通信的低等待时间解码模式以及针对来自文件或流中的媒体回放的较高等待时间解码模式)中的任一者操作的通用解码工具，或它可以是适用于一种这样的解码模式的专用解码工具。解码器系统(400)可以被实现为操作系统模块、应用库的一部分或独立的应用。总体上，解码器系统(400)从信道(410)接收经编码的数据并产生经重构的帧作为针对输出目的地(490)的输出。经编码的数据可包括使用统一的帧内BC和帧间预测模式编码的内容。
解码器系统(400)包括信道(410)，该信道(410)可以表示存储、通信连接或针对作为输入的经编码数据的另一信道。信道(410)产生已经被信道编码的经编码数据。信道解码器(420)可以处理经编码的数据。例如，信道解码器(420)可以(例如根据诸如ITU-TH.222.0|ISO/IEC 13818-1的媒体程序流或传输流格式，或诸如IETF RFC 3550的因特网实时传输协议格式)去分组化和/或去复用已被聚集以供作为媒体流来传输或存储的数据，在这种情况中，信道解码器(420)可以解析所添加的作为媒体传输流的句法的一部分的句法元素。或者，信道解码器(420)可以(例如根据诸如ISO/IEC 14496-12的媒体容器格式)来将已被聚集以供作为文件来存储的经编码的视频数据分开，在这种情况中，信道解码器(420)可以解析所添加的作为媒体存储文件的句法的一部分的句法元素。或者，更一般地，信道解码器(420)可以实现一个或多个媒体系统去复用协议或传输协议，在这种情况中，信道解码器(420)可以解析所添加的作为(诸)协议的句法的一部分的句法元素。信道(410)或信道解码器(420)还可以包括例如用于FEC解码和模拟信号解调的其它元素(未示出)。
从信道解码器(420)输出的经编码的数据(421)被存储在临时的经编码数据区域(430)中，直到已经接收到足够数量的这样的数据。经编码的数据(421)包括经编码的帧(431)和MMCO/RPS信息(432)。在经编码数据区域(430)中的经编码数据(421)包含一个或多个图片的经编码数据作为基本编码的视频比特流的句法的一部分。在经编码数据区域(430)中的经编码数据(421)还可包括与经编码的视频数据相关的媒体元数据(例如作为一个或多个SEI消息或VUI消息中的一个或多个参数)。
一般来说，经编码数据区域(430)临时存储经编码数据(421)，直到这样的经编码数据(421)被解码器(450)使用。此时，经编码帧(431)和MMCO/RPS信息(432)的经编码数据被从经编码数据区域(430)传输到解码器(450)。当解码继续时，新的经编码数据被添加到经编码数据区域(430)并且保留在经编码数据区域(430)中的最旧的经编码数据被传输到解码器(450)。
解码器(450)解码经编码帧(431)以产生相应的经解码帧(451)。在适当时，当执行其解码处理时，解码器(450)可以将一个或多个先前解码的帧(469)用作帧间预测的参考帧。解码器(450)从经解码帧临时存储器存储区域(460)中读取这样的先前解码的帧(469)。通常，解码器(450)包括执行诸如熵解码、帧内预测、运动补偿帧间预测、逆量化、逆频率变换和小块合并之类的解码任务的多个解码模块。由解码器(450)执行的确切操作可以取决于压缩格式而变化。
例如，解码器(450)接收经压缩的帧或帧序列的经编码数据，并产生包括经解码的帧(451)的输出。在解码器(450)中，缓冲器接收针对经压缩的帧的经编码数据，并在适当时，使得接收到的经编码数据对熵解码器可用。熵解码器对经熵编码的量化数据以及经熵编码的辅助信息进行熵解码，通常应用编码器中执行的熵编码的逆来进行熵解码。运动补偿器将运动信息应用于一个或多个参考帧以形成针对正被重构的帧的任何帧间编码块的经运动补偿的预测值。基于辅助信息，运动补偿器可确定所选的MV精度(例如，整数像素MV精度、1/2像素MV精度或1/4像素MV精度)。运动补偿器可随后应用具有所选的MV精度的各MV。帧内预测模块可以从邻近的、先前重构的样本值中空间地预测当前块的样本值。或者，对于帧内BC预测，运动补偿器可以使用作为参考帧的当前帧中的帧内预测区域的先前重构的样本值来预测当前块的样本值。该帧内参考区域可用MV值来指示。解码器(450)还重构预测残留值。逆量化器对经熵解码的数据进行逆量化。例如，解码器(450)基于比特流中的句法元素来设置图片、小块、片和/或其它视频部分的QP值，并相应地对变换系数进行逆量化。逆频率变换器将量化的频域数据转换成空间域数据。对于帧间预测的块，解码器(450)将重构的预测残留值与经运动补偿的预测值组合。解码器(450)可以类似地将预测残留值与来自帧内预测的预测值相组合。自适应去块滤波器被包括在视频解码器(450)中的运动补偿环路内以平滑经解码的帧(451)中的块边界行和/或列上的间断。可替换地或另外地应用其它滤波(例如去振铃滤波、ALF或SAO滤波；未示出)作为内环路滤波操作。
经解码帧临时存储器存储区域(460)包括多个帧缓冲器存储区域(461、462、…、46n)。经解码帧存储区域(460)是经解码图片缓冲区的一个示例。解码器(450)使用MMCO/PS信息(432)来标识该解码器可将经解码帧(451)存储在其中的帧缓冲器(461、462等)。解码器(450)将经解码的帧(451)存储在那个帧缓冲器中。
输出序列发生器(480)标识按输出次序将产生的下一帧何时可在经编码帧存储区域(460)中获得。当按输出顺序将产生的下一帧(481)可在经解码帧存储区域(460)中获得时，输出序列发生器(480)读取该下一帧并将其输出到输出目的地(490)(例如显示器)。一般来说，输出序列发生器(480)将帧从经解码帧存储区域(460)中输出的次序可以与解码器(450)解码这些帧的次序不同。
V.示例视频编码器
图5a和5b是可结合其实现所描述的一些实施例的通用视频编码器(500)的框图。编码器(500)接收包括当前图片的视频图片序列作为输入视频信号(505)并在经编码视频比特流(595)中产生经编码的数据作为输出。
编码器(500)是基于块的并使用取决于实现的块格式。块还可在不同的阶段上被进一步细分，例如在预测、频率变换和/或熵编码阶段。例如，图片可以被划分成64x64块、32x32块或16x16块，这些块随后可以被划分成更小的样本值块以用于编码和解码。在针对HEVC标准的编码的实现中，编码器将图片分割成CTU(CTB)、CU(CB)、PU(PB)和TU(TB)。
编码器(500)使用图片内编码和/或图片间编码来压缩图片。编码器(500)的许多组件被用于图片内编码和图片间编码两者。由这些组件执行的确切操作可取决于所压缩的信息的类型而变化。
小块化模块(510)可选地将图片分割成相同尺寸或不同尺寸的多个小块。例如，小块化模块(510)沿小块行和小块列来拆分图片，所述小块行和小块列利用图片边界定义在图片内的小块的水平和垂直边界，其中每个小块是矩形区域。
通用编码控件(520)接收输入视频信号(505)的图片以及来自编码器(500)的各个模块的反馈(未示出)。整体上，通用编码控件(520)将控制信号(未示出)提供给其它模块(例如小块化模块(510)、变换器/缩放器/量化器(530)、缩放器/逆变换器(535)、图片内估计器(540)、运动估计器(550)以及帧内/帧间切换)以设置和改变编码期间的编码参数。具体地，结合运动估计器(550)，通用编码控件(520)可管理帧内BC预测和帧间预测。通用编码控件(520)还可估计编码期间的中间结果，例如执行速率-失真分析来估计。通用编码控件(520)产生指示在编码期间所做出的判定的通用控制数据(522)，使得对应的解码器可以作出一致的判定。通用控制数据(522)被提供给头部格式化器/熵编码器(590)。
如果当前的图片是使用图片间预测或帧内BC预测来预测的，则运动估计器(550)相对于一个或多个参考图片估计输入视频信号(505)的当前图片的样本值的块的运动(或位移)。对于帧内BC预测，参考图片是当前图片，并且运动估计器(550)估计当前块的样本值相对于当前图片内的不同候选区域的位移。运动估计器(550)可选择运动矢量(“MV”)精度(整数像素MV精度、1/2像素MV精度或1/4像素MV精度)，随后在运动估计期间使用所选的MV精度。经解码的图片缓冲器(570)缓冲一个或多个经重构的先前编码的图片以供用作参考图片。当使用多个参考图片时，这多个参考图片可以来自不同的时间方向或相同的时间方向。运动估计器(550)产生诸如MV数据(包括指示帧内BC预测的位移的MV值)、合并模式索引值和参考图片选择数据以及指示所选的MV精度的辅助信息作为辅助信息运动数据(552)。包括运动数据(552)的辅助信息被提供给头部格式化器/熵编码器(590)以及运动补偿器(555)。
运动补偿器(555)将具有所选MV精度的MV值应用于来自经解码图片缓冲器(570)的(诸)经重构的参考图片。或者，对于帧内BC预测，运动补偿器(555)将MV值应用于作为参考图片的当前图片的经重构的部分，以预测针对当前图片的各块的样本值。当图片的色度数据与亮度数据具有相同的分辨率时(例如，当格式为YUV 4:4:4格式或RGB 4:4:4格式时)，对色度块应用的MV值可与对亮度块应用的MV值相同。另一方面，当图片的色度数据相对于亮度数据具有降低的分辨率时(例如，当格式为YUV 4:2:0格式或YUV 4:2:2格式时)，对色度块应用的MV值可被缩小并可能被四舍五入以对色度分辨率方面的差异进行调整(例如，对于YUV 4:2:0格式，通过将MV值的垂直和水平分量除以2并且将其截短或四舍五入成整数像素偏移来调整；对于YUV 4:2:2，通过将MV值的水平分量除以2并将其截短或四舍五入成整数像素偏移来调整)。运动补偿器(555)产生针对当前图片的经运动补偿的预测，对于帧内BC预测而言为针对当前图片的帧内BC预测值。
在编码器(500)内的分开的路径中，图片内估计器(540)确定如何执行对输入视频信号(505)的当前图片的样本值块的空间图片内预测。当前图片可全部或部分使用图片内编码来编码。对于空间内预测，使用当前图片的重构(538)的值，图片内估计器(540)确定如何从当前图片的邻近的、先前重构的样本值中空间地预测当前图片的当前块的样本值。图片内估计器(540)产生诸如(帧内空间预测的)预测模式方向之类的辅助信息帧内预测数据(542)。帧内预测数据(542)被提供给头部格式化器/熵编码器(590)以及图片内预测器(545)。
根据帧内预测数据(542)，图片内预测器(545)从当前图片的邻近的先前重构的样本值中在空间上预测当前图片的当前块的样本值。
帧内/帧间切换选择运动补偿的预测或图片内预测的值用作给定块的预测(558)。预测(558)的块和输入视频信号(505)的原始当前图片的对应部分之间的差异(如果有的话)提供残留值(518)。在当前图片的重构期间，经重构的残留值与预测(558)组合来从视频信号(505)中产生对原始内容的重构(538)。然而，在有损压缩中，还是从视频信号(505)中丢失了一些信息。
在变换器/缩放器/量化器(530)中，频率变换器将空间域视频数据转换为频域(即频谱、变换)数据。对于基于块的视频编码，频率变换器将离散余弦变换(“DCT”)、其整数近似、或其它类型的前向块变换(例如离散正弦变换或其整数近似)应用于预测残留数据的块(如果预测(558)为空则应用于样本值数据)，产生频率变换系数的块。编码器(500)可能还能够指示这样的变换步骤被省略了。缩放器/量化器对变换系数进行缩放和量化。例如，量化器用量化步骤尺寸将死区标量量化应用于频域数据，该量化步骤尺寸在逐图片的基础上、逐小块的基础上、逐片的基础上、逐块的基础上、因频率而异的基础上或在其他基础上变化。。经量化的变换系数数据(532)被提供给头部格式化器/熵编码器(590)。
在缩放器/逆变换器(535)中，缩放器/逆量化器对经量化的变换系数执行逆缩放和逆量化。逆频率变换器执行逆频率变换，从而产生经重构的预测残留值或样本值的块。编码器(500)将经重构的残留值与预测(558)的值(例如，经运动补偿的预测值、图片内预测值)组合以形成重构(538)。
对于空间图片内预测，重构(538)的值可以被馈送回图片内估计器(540)和图片内预测器(545)。同样，重构(538)的值可以被用于后续图片的经运动补偿的预测，或者被用于将当前图片用作参考图片的帧内BC预测。重构(538)的值可以被进一步滤波。对于视频信号(505)的给定图片，滤波控件(560)确定如何对重构(538)的值执行去块滤波和SAO滤波。滤波控件(560)生成滤波控制数据(562)，它被提供给头部格式化器/熵编码器(590)和合并器/(诸)滤波器(565)。
在合并器/(诸)滤波器(565)中，编码器(500)将来自不同小块的内容合并到图片的经重构版本中。编码器(500)根据滤波器控制数据(562)选择性地执行去块滤波和SAO滤波，以便自适应地平滑各帧中的各边界上的间断。可替换地或另外地应用其它滤波(例如去振铃滤波或ALF；未示出)。取决于编码器(500)的设置，小块边界可以被选择性地滤波或根本不被滤波，并且编码器(500)可以在经编码的比特流内提供指示是否应用这样的滤波的句法。经解码的图片缓冲器(570)缓冲经重构的当前图片以供在后续的经运动补偿的预测中使用。
头部格式化器/熵编码器(590)格式化和/或熵编码通用控制数据(522)、量化的变换系数数据(532)、帧内预测数据(542)、运动数据(552)以及滤波器控制数据(562)。MV值可被预测性地编码。例如，在MV预测后，头部格式化器/熵编码器(590)使用指数-Golomb编码来对各句法元素(诸如针对差分MV值的句法元素)进行熵编码。
头部格式化器/熵编码器(590)在经编码的视频比特流(595)中提供经编码的数据。经编码的视频比特流(595)的格式可以是HEVC格式、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。
取决于所需的压缩的实现和类型，编码器的模块可被添加、省略、拆分成多个模块、与其它模块组合、和/或用相似的模块来替代。在替换实施例中，具有不同模块和/或其它配置的模块的编码器执行一个或多个所描述的技术。编码器的具体实施例通常使用编码器(500)的变型或补充版本。所示的编码器(500)内的各模块之间的关系指示了信息在编码器中的一般流动；为简明起见，未示出其它关系。
VI.示例视频解码器
图6是结合其可实现所描述的一些实施例的通用解码器(600)的框图。解码器(600)接收经编码的视频比特流(605)中的经编码的数据并产生包括经重构视频(695)的图片的输出。经编码的视频比特流(605)的格式可以是HEVC格式、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。
解码器(600)是基于块的并使用取决于实现的块格式。块可以在不同的阶段被进一步细分。例如，图片可以被划分成64x64块、32x32块或16x16块，这些块随后可以被划分成更小的样本值块。在针对HEVC标准的解码实现中，将图片分割成CTU(CTB)、CU(CB)、PU(PB)和TU(TB)。
解码器(600)使用图片内解码和/或图片间解码来对图片进行解压缩。解码器(600)的许多组件被用于图片内解码和图片间解码这两者。由这些组件执行的确切操作可以取决于正被解压缩的信息的类型而变化。
缓冲器接收经编码的视频比特流(605)中的经编码数据，并使得接收到的经编码数据可用于解析器/熵解码器(610)。解析器/熵解码器(610)通常应用在编码器(500)中执行的熵编码的逆(例如上下文自适应二进制算术解码)对经熵编码的数据进行熵解码。作为解析和熵解码的结果，解析器/熵解码器(610)产生通用控制数据(622)、经量化的变换系数数据(632)、帧内预测数据(642)、运动数据(652)以及滤波器控制数据(662)。具体地，对于运动数据(652)，解析器/熵解码器(610)可例如使用上下文自适应的二进制算法解码来对差分MV值的句法元素进行熵解码，随后将差分MV值与预测的MV值组合以重构可被用于图片间预测或帧内BC预测的MV值。
通用解码控件(620)接收通用控制数据(622)并将控制信号(未示出)提供给其它模块(例如缩放器/逆变换器(635)、图片内预测器(645)、运动补偿器(655)以及帧内/帧间切换)以设置和改变解码期间的解码参数。
如果当前图片是使用图片间预测或帧内BC预测来预测的，则运动补偿器(655)接收运动数据(652)，例如MV数据、参考图片选择数据以及合并模式索引值。运动补偿器(655)还接收对所选MV精度的指示。对于图片间预测，运动补偿器(655)将具有所选MV精度的MV应用于来自经解码的图片缓冲器(670)的(诸)经重构的参考图片。或者，对于帧内BC预测，运动补偿器(655)将具有所选MV精度的MV应用于作为参考图片的当前图片的经重构的部分，以预测当前图片的各块的样本值。运动补偿器(655)产生针对当前图片的帧间编码的块的经运动补偿的预测和/或针对当前图片的帧内BC预测的块的帧内BC预测的值。经解码图片缓冲器(670)存储一个或多个先前重构的图片以供用作参考图片。
在解码器(600)内的分开路径中，帧内预测预测器(645)接收帧内预测数据(642)，诸如(针对帧内空间预测的)预测模式方向。对于帧内空间内预测，根据预测模式数据使用当前图片的重构(638)的值，图片内预测器(645)从当前图片的相邻的、先前重构的样本值中空间地预测当前图片的当前块的样本值。
帧内/帧间切换选择运动补偿的预测或图片内预测的值用作给定块的预测(658)。例如，当遵循HEVC句法时，可以基于为图片中的CU编码的句法元素来控制帧内/帧间切换，该CU可以包括帧内预测的CU和帧间预测的CU。解码器(600)将预测(658)与重构的残留值组合以产生来自视频信号的内容的重构(638)。
为了重构残留值，缩放器/逆变换器(635)接收并处理经量化的变换系数数据(632)。在缩放器/逆变换器(635)中，缩放器/逆量化器对经量化的变换系数执行逆缩放和逆量化。逆频率变换器执行逆频率变换，从而产生经重构的预测残留值或样本值的块。例如，逆频率变换器将逆块变换应用到频率变换系数，从而产生样本值数据或预测残留数据。逆频率变换可以是逆DCT、其整数近似、或另一种类型的逆频率变换(例如逆离散正弦变换或其整数近似)。
对于空间图片内预测，重构(638)的值可以被馈送回图片内预测器(645)。同样，重构(638)的值可以被用于后续图片的经运动补偿的预测，或被用于将当前图片用作参考图片的帧内BC预测。对于图片间预测，重构(638)的值可以被进一步滤波。在合并器/(诸)滤波器(665)中，解码器(600)将来自不同小块的内容合并到图片的经重构版本中。解码器(600)根据滤波器控制数据(662)和滤波自适应规则来执行去块滤波和SAO滤波，以便自适应地平滑各帧中的各边界上的间断。可替换地或另外地应用其它滤波(例如去振铃滤波或ALF；未示出)。小块边界可以被选择性地滤波或根本不滤波，这取决于解码器(600)的设置或经编码的比特流数据内的句法指示。经解码的图片缓冲器(670)缓冲经重构的当前图片以供在后续的经运动补偿的预测中使用。
解码器(600)还可包括后处理滤波器。后处理滤波器(608)可以包括去振铃滤波、自适应维纳滤波、膜颗粒再现滤波、SAO滤波或另一种类型的滤波。
取决于所希望的解压缩的实现和类型，解码器的模块可以被添加、省略、拆分成多个模块、与其他模块组合和/或用类似的模块来替代。在替换实施例中，具有不同模块和/或其它配置的模块的解码器执行一个或多个所描述的技术。解码器的具体实施例通常使用解码器(600)的变型或补充版本。所示的解码器(600)内的模块之间的关系指示信息在解码器中的一般流动；为简明起见，未示出其它关系。
VII.统一的帧内块复制和帧间预测模式
帧内块复制(“BC”)预测和图片间预测两者都使用先前重构的块的样本值来预测当前图片的当前块的样本值。图片间预测使用另一图片中的各先前重构的块的样本值。在另一方面，帧内BC预测使用当前图片中的先前重构的块的样本值。
该章节呈现统一的帧内BC和帧间预测模式中的各创新。在一些示例实现中，针对帧间预测模式的比特流句法、句法元素语义和许多编码/解码处理被重新使用或略微修改以允许针对图片的各块的帧内BC预测。随着句法、语义和编码/解码处理的统一，在使用帧内BC预测时也可应用针对帧间预测模式所设计的各编码/解码工具，这简化了帧内BC预测的实现。
用统一的帧内BC和帧间预测模式来进行编码
图7示出用于用统一的帧内BC和帧间预测模式来进行编码的通用技术(700)。视频编码器(诸如以上参考图3或图5描述的视频编码器或另一视频编码器)可执行技术(700)。
开始，视频编码器对当前图片进行编码(710)以产生经编码的数据。作为该编码(710)的一部分，编码器执行针对当前图片的当前块的帧内BC预测，其中该帧内BC预测使用帧间预测模式且当前图片作为参考图片。当前块可以是预测块(“PB”)或其他块。例如，为了提供针对当前块的帧内BC预测，编码器执行运动补偿，应用指示当前图片内的位移的MV，其中当前图片被用作针对该运动补偿的参考图片。为了对当前图片进行编码(710)，编码器可执行图8中示出的技术(800)或按某一其他方式来对当前图片进行编码。
编码器在比特流中输出(720)经编码的数据。比特流的格式是HEVC格式(H.265)的变型或扩展。替换地，比特流的格式是Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。
编码器可以在逐图片的基础上重复技术(700)。出于简化的目的，图7没有示出可在对当前图片进行编码时被使用的其他类型的预测。
图8示出包括统一的帧内BC和帧间预测模式的用于编码的示例技术(800)。视频编码器(诸如以上参考图3或图5描述的视频编码器或另一视频编码器)可执行技术(800)。
开始，编码器将当前图片添加(810)到参考图片列表(“RPL”)。例如，编码器使用以下在标题为“参考图片管理”的章节中描述的方法之一来将当前图片添加到RPL替换地，编码器使用另一方法将当前图片添加到RPL中。
随后，在逐CU的基础上，编码器对当前片的编码单元(“CU”)进行编码。不同的CU可具有不同的编码模式(预测模式)。编码器设置(820)针对当前CU的编码模式。例如，编码器选择空间帧内预测模式或帧间预测模式作为针对当前CU的编码模式。替换地，编码器从其他和/或附加的编码模式中进行选择。
编码器检查(830)针对当前CU的编码模式。如果该编码模式不是帧间预测模式，则编码器使用空间帧内预测来对当前CU(具体为(诸)PU的PB)的(诸)预测单元(“(诸)PU”)进行编码(840)。对于空间帧内预测，当前CU可包括单个PU。或者，如果PU尺寸小于CU尺寸，则当前CU可包括多个PU。
如果针对当前CU的编码模式是帧间预测模式，则编码器检查(850)当前图片是否是针对当前CU的给定PU的参考图片。在该示例中，不同的PU可使用不同的参考图片来进行预测。如果当前图片是针对给定PU的参考图片，则编码器使用帧内BC预测对PU(具体为该PU的PB)进行编码(860)。否则(当前图片不是针对该PU的参考图片)，编码器使用图片间预测对PU(具体为该PU的PB)进行编码(870)。作为用帧间预测模式进行编码(860、870)的一部分，编码器可使用针对该PU的高级MV预测、针对该PU的合并模式或针对CU的跳跃模式。编码器可使用相同的运动补偿过程来实现图片间预测和帧内BC预测。在一些情况下(例如，当前片为I片)，当前图片可以是可用于当前片的唯一参考图片，使得在当前CU的编码模式是帧间预测模式的情况下总是使用帧内BC预测，并且编码器不需要检查(850)针对当前CU的(诸)PU的参考图片。
在用帧间预测模式对当前CU的PU进行编码后，编码器检查(880)是否继续当前CU的下一PU。对于帧间预测模式，当前CU可包括单个PU，或者如果PU尺寸小于CU尺寸，则可包括多个PU。如果当前CU中存在另一PU，则编码器通过用帧间预测模式对当前CU中的下一PU进行编码来继续。
否则(当前CU中不存在更多要编码的PU)，编码器检查(890)是否继续当前片中的下一CU。通过这种方式，编码器在逐CU的基础上对当前片的CU进行编码。
编码器可在逐片的基础上对当前图片的各片重复技术(800)。替换地，编码器可在逐图片的基础上重复该技术。
取决于实现，作为帧内BC预测和帧间预测模式的统一的一部分，编码器可按以下方式中的任何一者或多者来适配。
模式信号化。帧内BC预测可被实现成帧间预测模式的情况，而无需显式地信号化当前块或包含当前块的块的帧内BC预测模式。相反，编码器将适用于当前块的模式信号化成帧间预测模式，但当前块的MV值表示当前图片内的位移，该当前图片被用作参考图片。对当前块的处理取决于哪个参考图片被使用。如果当前块的参考图片索引选择当前图片，则在帧间模式中使用帧内BC预测；否则，使用帧间图片预测。
编码器可选择性地启用或禁用帧内BC预测模式，随后在比特流中设置指示帧内BC预测模式被启用还是禁用的标志的值。例如，编码器确定对序列启用还是禁用帧内BC预测模式，并且标志是SPS的一部分。替换地，编码器可在逐图片的基础上、逐片的基础上或某一其他基础上确定启用还是禁用BC预测模式，并将该标志信号化成图片参数集合(“SPS”)、片头部或某一其他句法结构的一部分或将其信号化成视频可用性信息(“VUI”)消息的一部分。如果帧内BC预测模式被启用，则当前图片可以是参考图片。否则(即帧内BC预测模式没有被启用)，当前图片不可能是参考图片。
替换地，作为编码的一部分，编码器可设置适用于当前块的编码模式，即从包括帧内BC预测模式的多个可用编码模式中进行选择。例如，这些编码模式包括帧内预测模式、帧间预测模式和帧内BC预测模式。编码器可设置针对当前CU或某一其他块的编码模式。比特流包括指示适用于当前块的编码模式的句法元素。如果适用于当前块的编码模式是帧内BC预测模式，则句法元素一般遵循针对帧间预测模式的句法。然而，当帧内BC编码模式被显式地信号化时，帧间预测方向和参考图片索引不需要被信号化。这些句法元素的值可被推断出——如果适用于当前块的编码模式是帧内BC预测模式，则不需要预测方向，并且参考图片已知为当前图片。
参考图片管理。作为编码的一部分，编码器可将当前图片添加到参考图片列表(“RPL”)中。RPL是用于图片内预测的参考图片的列表，或者在当前图片被添加到该列表的情况下，该列表用于帧内BC预测。在HEVC中，在对包括当前块的当前片进行编码时，一个或两个RPL(即，列表0和列表1)可用。将当前图片添加到RPL的方式可取决于实现。
在一些方法中，编码器将当前图片添加在RPL的最后位置处。在考虑如何将参考图片索引值进行熵编码的情况下，将当前图片添加在RPL的最后位置处假定该当前图片对于P片或B片而言将是最不常被使用的参考图片。编码器使指示(例如，对包括当前块的当前片)有效的参考图片的数目的计数器递增。例如，如果当前片是P片或B片，则编码器在调用其中一个或多个其他参考图片被添加到RPL的RPL构造过程后将当前图片添加到RPL。如果当前片是I片，则当帧内BC预测模式被启用时，编码器在对当前片进行编码开始的时候将当前图片添加到RPL，并且计数器指示有单个参考图片对当前I片是有效的。
替换地，将当前图片添加到RPL中的时序是不同的。例如，如果当前片是P片或B片，则编码器在一个或多个其他参考图片被添加到RPL的RPL构造过程期间将当前图片添加到RPL。如果当前片是I片，则当帧内BC预测模式被启用时，编码器在对当前片进行编码开始的时候将当前图片添加到RPL，并且计数器指示有单个参考图片对当前I片是有效的。
比特流中的句法元素的值可指示(例如，对当前片)有效的参考图片的数目。在示例HEVC实现中，句法元素是num_ref_idx_l0_active_minus1或num_ref_idx_l1_active_minus1。
参考图片可以是影响参考图片管理和诸如MV预测和MV缩放之类的一些操作的长期参考图片(“LTRP”)或短期参考图片(“STRP”)。在当前图片被用作参考图片以支持帧内BC预测时，编码器可最初将当前图片标记为LTRP，随后在对当前图片的编码完成时将当前图片标记为STRP。这启用在帧间预测模式中使用当前图片作为参考图片，同时限制当前图片如何影响诸如MV预测和MV缩放之类的其他过程的帧内BC预测。替换地，当前图片可按限制其对MV预测和MV缩放操作的影响的某种其他方式来被标记。
MV信号化和MV预测。取决于实现，编码器可使用若干不同方法中的任一者来对执行针对当前块的帧内BC预测时所应用的MV进行MV信号化和MV预测。
例如，当帧内BC预测被用于当前块时，编码器标识当前块的MV，其中该MV指示整数像素偏移。编码器以整数像素精度对比特流中的MV进行信号化。编码器可在与对分数像素MV值(例如，具有1/4像素精度的MV)起作用的运动补偿过程中应用MV之前调整MV(例如，缩放了1/4、左移了2位)。替换地，当帧内BC预测被用于当前块时，编码器标识当前块的MV，并且该MV指示整数像素偏移，但编码器以分数像素精度(例如，1/4像素精度)来信号化比特流中的MV。
即使在亮度MV具有整数像素精度时，相应的色度MV在进行缩放后仍具有分数像素精度(例如，针对YUV 4:2:0视频或YUV 4:2:2视频)。在编码器从指示整数像素偏移的亮度MV中推导出色度MV后，编码器可对该色度MV进行四舍五入或截短以指示整数像素偏移。
在对使用帧内BC预测来预测的当前块的MV进行信号化时，编码器可使用合并模式、跳跃模式、高级MV预测模式和/或对于以帧间预测模式来进行MV信号化或MV预测而言可用的另一编码工具。一般来说，对于合并模式，编码器从空间上或时间上毗邻的块中推导出一个或多个合并模式候选(其中这些合并模式候选具有帧间预测方向、参考图片索引和MV值)，选择合并模式候选之一，并对指示所选的合并模式候选的合并模式索引进行信号化。跳跃模式可被实现为合并模式的特例，其中没有为当前块信号化残留值信息。对于高级MV预测模式，一般来说，编码器从空间上或时间上毗邻的块中推导出MV预测值，确定MV差值并对该MV差值和MV预测值索引进行编码。通过重新使用可用于以帧间预测模式来进行MV信号化或MV预测的编码工具，帧内BC预测的实现被简化了。
在一些情况下，当编码器对经帧内BC预测的块使用合并模式时，编码器可筛选合并模式候选以移除没有参考当前图片的候选。例如，对于一个或多个合并模式候选中的每一者，编码器获取该合并模式候选并检查该合并模式候选是否参考当前图片。如果该合并模式候选参考了当前图片，则编码器保留该合并模式候选。否则，编码器排除该合并模式候选。通过这种方式，编码器高效地将合并模式候选限制到先前用于帧内BC预测的MV。随后，如果保留的合并模式候选的数目小于所允许的合并模式候选的数目，则编码器可添加一个或多个预定义的合并模式候选，在帧内BC预测被使用时，此一个或多个预定义的合并模式候选被预期提供针对MV预测的合理选项。例如，可添加列表{(-W,0),(0,-H),(-W,-H),(-2W,0),(0,-2H)}(其中W和H是当前块的宽度和高度)中的将当前图片用作参考图片并且具有MV的预定义合并模式候选，直到达到所允许的合并模式候选的数目。同样，当编码器对I片中的帧内BC预测的块使用合并模式或高级MV预测模式时，编码器可禁用时间MV预测。这可通过简化MV预测并避免MV缩放以及通过避免在对当前I片进行编码时使用另一图片/片中的信息来使编码流水线化。
句法。对于统一的帧内BC和帧间预测模式，可针对帧内BC预测来遵循帧间预测模式的句法，这简化了实现。例如，取决于实现，针对帧内BC预测的块的句法元素可包括针对MV值、合并模式索引、参考图片索引等等的句法元素。帧内BC预测的块可以是I片、P片或B片的一部分。
在当前块是I片的一部分时，编码器可取决于帧内BC预测模式是否被启用来按不同的方式设置句法元素的值。如果帧内BC预测模式被启用，则针对当前I片的句法元素遵循针对P片或B片的句法(这取决于哪个RPL包括当前图片——如果列表0包括当前图片，则遵循针对P片的句法，否则遵循针对B片的句法)。如果帧内BC预测模式未被启用，则针对当前I片的句法元素遵循针对I片的默认句法(即，针对使用空间帧内预测来预测的块的句法)。
当帧内BC预测模式被启用时，编码器设置该比特流的句法元素的值，使得这些句法元素中没有一个句法元素导致在对当前图片进行编码期间参考当前图片的非重构部分。也就是说，即使在帧间预测模式的句法、语义、处理等被用于实现帧内BC预测功能时，编码器仍将句法元素的值设置为使得帧内BC预测仅参考当前图片的先前重构的部分。
预测操作。对于统一的帧内BC和帧间预测模式，帧间预测模式中的许多编码处理都可被用于帧内BC预测，这简化了实现。然而，在几个方面，可针对帧内BC预测修改帧间预测模式的编码处理。
取决于实现，编码器对于帧内BC预测可使用4x4块尺寸，即使在其他情况下对于帧间预测模式没有使用4x4块尺寸。例如，作为针对当前块的帧间预测模式处理的一部分，如果参考图片是当前图片并且预测方向为(来自包括当前图片的RPL的)单向预测，则编码器可使用4x4块尺寸。当针对帧间预测模式的块尺寸在参考图片指示符之前被信号化时(例如，当块尺寸(分区模式)是针对CU来信号化的，但预测方向和参考图片索引是针对CU的各PU来信号化的时)，则编码器可在考虑参考图片和各块所使用的预测方向及其他因素的情况下决定块尺寸。如果适用于当前块的块尺寸为4x4，则编码器可跳过对针对当前块的预测方向和参考图片的句法元素进行信号化，因为预测方向可仅是(来自包括当前图片的RPL的)单向预测并且参考图片可仅是当前图片。在该情况下，可从比特流中省略针对当前块的预测方向和参考图片索引的句法元素。替换地，在该情况下，针对帧内BC预测的4x4块尺寸被禁用。或者，对于序列或在序列内可启用或禁用对针对帧内BC预测的4x4块尺寸的使用，如比特流中的句法元素所指示的。
作为另一示例，取决于实现，编码器可启用复合帧内-帧间预测模式。例如，在当前块是B片的一部分时，编码器可将针对当前块的帧内BC预测的结果与针对当前块的运动补偿的预测的结果组合成来自两个不同参考图片的预测结果。这允许编码器将针对当前块的帧内BC预测的结果和运动补偿的预测的结果混合。替换地，将帧内BC预测的结果和运动补偿的预测的结果组合不被允许。
其他编码器判定。在帧内BC预测的块是B片的一部分时，编码器可修改设置指示当第二RPL在针对B片的各块的双向帧间预测中被使用时是否仅零值MV差分被允许的句法元素的值的过程。对于帧内BC预测，当前图片被添加到第一RPL或第二RPL。除了当前图片外，编码器还可评估：(a)第一RPL中的参考图片的数目是否匹配第二RPL中的参考图片的数目，以及(b)第一RPL中的参考图片中的每一者是否也被表示在第二RPL中的相应位置处。如果两个条件都被满足，则编码器可将该句法元素的值设置为指示当第二RPL在针对B片的各块的双向帧内预测中被使用时仅零值MV差分被允许。在示例HEVC实现中，句法元素是mvd_l1_zero_flag句法元素。
B.用统一的帧内BC和帧间预测模式进行解码。
图9示出用于用统一的帧内BC和帧间预测模式进行解码的一般化技术(900)。视频解码器(诸如以上参考图4或图6描述的视频解码器或其他视频解码器)可执行技术(900)。
开始，视频解码器接收(910)比特流中经编码的数据。比特流的格式是HEVC格式(H.265)的变型或扩展。替换地，比特流的格式是Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。
视频解码器使用经编码的数据对当前图片进行解码(920)。作为解码(920)的一部分，视频解码器执行针对当前图片的当前块的帧内BC预测，其中该帧内BC预测使用帧间预测模式且当前图片作为参考图片。当前块可以是PB或其他块。例如，为了提供针对当前块的帧内BC预测，解码器执行运动补偿，应用指示当前图片内的位移的MV，其中当前图片被用作该运动补偿的参考图片。为了对当前图片进行解码(920)，解码器可执行图10中示出的技术(1000)或按某种其他方式对当前图片进行解码。
解码器可在逐图片的基础上重复技术(900)。出于简化的目的，图9没有示出在对当前图片进行解码时可使用的其他类型的预测。
图10示出包括统一的帧内BC和帧间预测模式的用于解码的示例技术(1000)。视频解码器(诸如以上参考图4或图6描述的视频解码器)可执行技术(1000)。
开始，解码器将当前图片添加(1010)到RPL。例如，解码器使用以下在标题为“参考图片管理”的章节中描述的方法之一将当前图片添加到RPL。替换地，解码器使用另一方法将当前图片添加到RPL。
随后，在逐CU的基础上，解码器对当前片的各CU进行解码。不同的CU可具有不同的编码模式(预测模式)。解码器例如基于比特流中的句法元素来设置(1020)针对当前CU的编码模式。例如，解码器选择空间帧内预测模式或帧间预测模式来作为针对当前CU的编码模式。替换地，解码器从其他和/或附加的编码模式中进行选择。
解码器检查(1030)针对当前CU的编码模式。如果该编码模式不是帧间预测模式，则解码器使用空间帧内预测对当前CU的(诸)PU(具体为(诸)PU的PB)进行解码(1040)。对于空间帧内预测，当前CU可包括单个PU。或者，如果PU尺寸小于CU尺寸，则当前CU可包括多个PU。
如果针对当前CU的编码模式为帧间预测模式，则解码器检查(1050)当前图片是否是针对当前CU的给定PU的参考图片。在该示例中，不同的PU可使用不同的参考图片来预测。如果当前图片是针对给定PU的参考图片，则解码器使用帧内BC预测对PU(具体为该PU的各PB)进行解码(1060)。否则(当前图片不是针对该PU的参考图片)，解码器使用图片间预测对PU(具体为该PU的各PB)进行解码(1070)。作为用帧间预测模式进行解码(1060、1070)的一部分，解码器可使用针对PU的高级MV预测、针对PU的合并模式或针对CU的跳跃模式。解码器可使用相同的运动补偿过程来实现图片间预测和帧内BC预测。在一些情况下(例如，当前片为I片)，当前图片可以是可用于当前片的唯一参考图片，使得如果当前CU的编码模式为帧间预测模式，则总是使用帧内BC预测，并且解码器不需要检查(100)针对当前CU的(诸)PU的参考图片。
在用帧间预测模式对当前CU的PU进行解码之后，解码器检查(1080)是否要对当前CU的下一PU继续。对于帧间预测模式，当前CU可包括单个PU，或者如果PU尺寸小于CU尺寸，则可包括多个PU。如果当前CU中存在另一PU，则解码器以用帧间预测模式对当前CU中的下一PU进行解码来继续。
否则(当前CU中不存在更多要解码的PU)，解码器检查(1090)是否对当前片中的下一CU继续。通过这种方式，解码器在逐CU的基础上对当前片的各CU进行解码。
解码器可在逐片的基础上对当前图片的各片重复该技术(1000)。替换地，解码器可在逐图片的基础上重复该技术。
取决于实现，作为帧内BC预测和帧间预测模式的统一的一部分，解码器可按以下方式中的任何一者或多者来适配。
模式信号化。帧内预测可被实现成帧间预测模式的特例，而无需显式地信号化当前块或包含当前块的块的帧内BC预测模式。相反，解码器确定适用于当前块的模式为帧间预测模式。然而，当前块的MV值表示在被用作参考图片的当前图片内的位移。对当前块的处理取决于哪个参考图片被使用。如果当前块的参考图片索引选择当前图片，则以帧间预测模式使用帧内BC预测；否则，使用帧间图片预测。
解码器可基于较高层比特流句法处的信号选择性地启用或禁用帧内BC预测模式。例如，解码器接收并解析比特流中指示帧内BC预测模式被启用还是禁用的标志。该标志可以是SPS的一部分，指示帧内BC预测模式对于某序列是被启用还是禁用。替换地，解码器可在逐图片的基础上、逐片的基础上或某一其他基础上基于被信号化成SPS、片头部或某一其他句法结构的一部分或被信号化成VUI消息的一部分的标志来选择性地启用或禁用BC预测模式。如果帧内BC预测模式被启用，则当前图片可以是参考图片。否则(即帧内BC预测模式没有被启用)，则当前图片不可能是参考图片。
替换地，作为该解码的一部分，解码器可从比特流中解析出指示适用于当前块的编码模式(其中该编码模式的一个选项是帧内BC预测模式)的句法元素，随后设置该编码模式。例如，解码器在多个可用编码模式中进行选择，此多个可用编码模式包括帧内预测模式、帧间预测模式和帧内BC预测模式。解码器可设置针对当前CU或某一其他块的编码模式。如果适用于当前块的编码模式是帧内BC预测模式，则句法元素一般遵循针对帧间预测模式的句法。然而，当帧内BC编码模式被显式地信号化时，帧间预测方向和参考图片索引不需要被信号化，因为这些句法元素的值可被推断出。
参考图片管理。作为该解码的一部分，解码器可将当前图片添加到RPL中。将当前图片添加到RPL的方式可取决于实现。
在一些方法中，解码器将当前图片添加在RPL的最后位置处。解码器使指示(例如，对包括当前块的当前片)有效的参考图片的数目的计数器递增。例如，如果当前片是P片或B片，则解码器在调用其中一个或多个其他参考图片被添加到RPL的RPL构造过程后将当前图片添加到RPL。如果当前片是I片，则当帧内BC预测模式被启用时，解码器在对当前片进行编码开始的时候将当前图片添加到RPL，并且计数器指示有单个参考图片对当前I片是有效的。
替换地，将当前图片添加到RPL中的时序是不同的。例如，如果当前片是P片或B片，则解码器在其中一个或多个其他参考图片被添加到RPL的RPL构造过程期间将当前图片添加到RPL。如果当前片是I片，则当帧内BC预测模式被启用时，解码器在对当前片进行编码开始的时候将当前图片添加到RPL，并且计数器指示有单个参考图片对当前I片是有效的。
比特流中的句法元素的值可指示(例如，对当前片)有效的参考图片的数目。在示例HEVC实现中，句法元素是num_ref_idx_l0_active_minus1或num_ref_idx_l1_active_minus1。
参考图片可以是LTRP或STRP。在当前图片用作参考图片以支持帧内BC预测时，解码器可最初将当前图片标记成LTRP，随后在对当前图片的解码完成后将当前图片标记成STRP。这启用在帧间预测模式中将当前图片用作参考图片同时限制当前图片如何影响诸如MV预测和MV缩放之类的其他过程的帧内BC预测。替换地，当前图片可按限制其对MV预测和MV缩放操作的影响的某种其他方式来标记。
MV预测和MV重构。取决于实现，解码器可使用若干不同方法中的任一者来对为当前块执行帧内BC预测时所应用的MV进行MV预测和MV重构。
例如，当对当前块使用帧内BC预测时，解码器重构当前块的MV，其中该MV指示整数像素偏移并以整数像素精度被信号化在比特流中。解码器可在与对分数像素MV值(例如，具有1/4像素精度的MV)起作用的运动补偿过程中应用MV之前调整MV(例如，缩放了1/4倍、左移了2位)。替换地，当对当前块使用帧内BC预测时，解码器重构当前块的MV，其中该MV指示整数像素偏移，但该MV以分数像素精度(例如，1/4像素精度)被信号化在比特流中。
即使在亮度MV具有整数像素精度时，相应的色度MV在进行缩放后仍具有分数像素精度(例如，针对YUV 4:2:0视频或YUV 4:2:2视频)。在解码器从指示整数偏移的亮度MV中推导出色度MV后，解码器可对该色度MV进行四舍五入或截短以指示整数像素偏移。
在重构使用帧内BC预测来预测的当前块的MV时，解码器可使用合并模式、跳跃模式、高级MV预测模式和/或对于以帧间预测模式来进行MV重构而言可用的另一编码/解码工具。一般来说，对于合并模式，解码器从空间上或时间上毗邻的块中推导出一个或多个合并模式候选，随后基于信号化在比特流中的合并模式索引来选择这些合并模式候选之一。对于高级MV预测模式，一般来说，解码器从空间上或时间上毗邻的块中并从MV预测值索引中推导出MV预测值，对MV差值进行解码并将该MV差值与MV预测值组合起来。通过重新使用可用于以帧间预测模式来进行MV重构的编码/解码工具，帧内BC预测的实现被简化了。
当解码器对帧内BC预测的块使用合并模式时，解码器可筛选合并模式候选以移除没有参考当前图片的候选。例如，对于一个或多个合并模式候选中的每一者，解码器获取该合并模式候选并检查该合并模式候选是否参考当前图片。如果该合并模式候选参考了当前图片，则解码器保留该合并模式候选。否则，该解码器排除该合并模式候选。随后，如果保留的合并模式候选的数目小于所允许的合并模式候选的数目，则解码器可添加一个或多个预定义的合并模式候选，在帧内BC预测被使用时，此一个或多个预定义的合并模式候选被预期提供针对MV预测的合理选项。例如，可添加列表{(-W,0),(0,-H),(-W,-H),(-2W,0),(0,-2H)}中将当前图片用作参考图片并且具有MV的预定义合并模式候选，直到达到所允许的合并模式候选的数目。
同样，当解码器对I片中的帧内BC预测的块使用合并模式或高级MV预测模式时，解码器可禁用时间MV预测。这可通过简化MV预测并避免MV缩放以及通过避免在对当前I片进行解码时使用另一图片/片中的信息来使解码流水线化。
句法。对于统一的帧内BC和帧间预测模式，可针对帧内BC预测来遵循帧间预测模式的句法，这简化了实现。例如，取决于实现，针对帧内BC预测的块的句法元素可包括针对MV值、合并模式索引、参考图片索引等等的句法元素。帧内BC预测的块可以是I片、P片或B片的一部分。
在当前块是I片的一部分时，解码器可取决于帧内BC预测模式是否被启用来按不同的方式解析句法元素。如果帧内BC预测模式被启用，则针对当前I片的句法元素遵循针对P片或B片的句法(这取决于哪个RPL包括当前图片——如果列表0包括当前图片，则遵循针对P片的句法，否则遵循针对B片的句法)，并且当前I片被解码成P片或B片。如果帧内BC预测模式未被启用，则针对当前I片的句法元素遵循针对I片的默认句法(即，针对使用空间帧内预测来预测的块的句法)。
当帧内BC预测模式被启用时，比特流可被约束为不包括导致在对当前图片进行解码期间参考当前图片的非重构部分的句法元素。也就是说，即使在使用帧间预测模式的句法、语义、处理等来实现帧内BC预测的功能时，句法元素的值仍被设置为使得帧内BC预测仅参考当前图片的先前重构的部分。
预测操作。对于统一的帧内BC和帧间预测模式，帧间预测模式中的许多解码处理都可被用于帧内BC预测，这简化了实现。然而，在几个方面，可针对帧内BC预测修改帧间预测模式的解码处理。
取决于实现，解码器对于帧内BC预测可使用4x4块尺寸，即使在其他情况下对于帧间预测模式没有使用4x4块尺寸。例如，作为针对当前块的帧间预测模式处理的一部分，如果(a)参考图片是当前图片并且(b)预测方向为(来自包括当前图片的RPL的)单向预测，则解码器可针对帧内BC预测使用4x4块尺寸。当帧间预测模式的块尺寸在参考图片指示符之前被信号化时(例如，在块尺寸(分区模式)是针对CU来信号化的，但预测方向和参考图片索引是针对CU的各PU来信号化的时)，解码器解析块尺寸的句法元素，而无需知道当前块的预测方向或预测图片索引，并且因此无需知道该块使用帧内BC预测还是图片间预测。如果块尺寸为4x4，则解码器可跳过解析针对当前块的预测方向和参考图片索引的句法元素。当适用于当前块的块尺寸为4x4时，则当前块的预测方向可仅仅是(来自当前图片的RPL的)单向预测，并且当前块的参考图片可仅仅是当前图片，使得针对当前块的预测方向和参考图片索引的句法元素被从比特流中省略。替换地，在该情况下，针对帧内BC预测的4x4块尺寸被禁用。或者，对于序列或在序列内可启用或禁用对针对帧内BC预测的4x4块尺寸的使用，如比特流中的句法元素所指示的。
作为另一示例，取决于实现，解码器可启用复合帧内-帧间预测模式。例如，在当前块是B片的一部分时，解码器可将针对当前块的帧内BC预测的结果与针对当前块的运动补偿的预测的结果组合成来自两个不同参考图片的预测结果。这允许解码器将针对当前块的帧内BC预测的结果和运动补偿的预测的结果混合。替换地，将帧内BC预测的结果和运动补偿的预测的结果组合不被允许。
C.示例实现
在一些示例实现中，作为帧内BC预测和帧间预测模式的统一的一部分，编码器和/或解码器可按以下方式中的任何一者或多者来适配。在本章节中，一些适配被示为相对于HEVC标准的差值或修改。其他适配被示为相对于JCTVC-P1005_v1(其是HEVC标准的草稿扩展)的差值或修改。
针对帧内BC预测的默认句法、语义和解码。
在示例实现中，当帧内BC预测被启用时，针对I片的比特流句法一般遵循针对P或B片的比特流句法(这取决于当前图片被添加到的RPL)。出于编码和解码的目的，通过对这些处理的一些修改或约束，I片被像P或B片那样处理。
图11a-11c示出针对统一的帧内BC和帧间预测模式的示例句法结构。一般来说，(取决于条件)可被信号化在比特流中的句法元素被以粗体字示出。
图11a示出针对片段头部的示例句法结构(1101)的一部分。与JCTVC-P1005_v1中的片段头部句法结构相比，图11a中示出的句法结构(1101)包括以下附加行：
其添加对five_minus_max_num_merge_cand句法元素进行信号化的情况。该句法元素指示针对当前片的合并模式处理中所允许的合并模式候选的数目。通过该改变，如果intra_block_copy_enabled_flag的值为1，则five_minus_max_num_merge_cand句法元素被信号化。(如之前一样，如果当前片为P片或B片，该句法元素也被信号化。)句法元素intra_block_copy_enabled_flag可如下一章节中所描述的那样设置，或在对片启用帧内BC预测时按某一其他方式设置。
图11b和11c示出针对编码单元(“CU”)的示例句法结构(1102)。与JCTVC-P1005_v1中的CU句法结构相比，图11b-11c中示出的句法结构(1102)包括各经修改的行。以下两行：
添加对cu_skip_flag句法元素进行信号化的情况。cu_skip_flag句法元素指示当前CU被跳过(值1)还是没有被跳过(值0)。通过该改变，如果intra_block_copy_enabled_flag为1，则cu_skip_flag句法元素被信号化。(如之前一样，如果当前片不是I片，则该句法元素也被信号化。)以下行：
添加将cu_skip_flag句法元素进行信号化的情况。pred_mode_flag句法元素指示当前CU的编码模式是其中帧内BC预测作为其例子的帧间预测模式(值0)还是空间帧内预测模式(值1)。通过该改变，如果intra_block_copy_enabled_flag为1，则pred_mode_flag(预测模式标志)句法元素被信号化。(如之前一样，如果当前片不是I片，则该句法元素也被信号化。)
在CU句法结构(1102)中的其他地方，intra_bc_flag(帧内BC标志)句法元素的出现和对intra_bc_flag句法元素的各种参考被移除，使得帧内BC预测不再被当作不同的帧内预测编码模式或类型。相反，帧内BC预测模式是作为帧间预测模式的例子来处理的。对intra_bc_flag句法元素的参考(以及帧内BC预测作为不同的编码模式/类型的相关联的处理)也被从句法结构中移除(未示出)以实现变换树、变换单元和残留值编码。由此，当帧内BC预测被用于CU时，预测单元、变换树、变换单元和残留值编码的句法结构遵循以帧间预测模式编码的CU的句法。
与JCTVC-P1005_v1相比，帧内图片解码过程(以及相应的编码过程)在这些示例实现中被修改以将作为不同的编码模式/类型的帧内BC预测移除。相反，帧内BC预测是作为针对其参考图片是当前图片的帧间预测模式的例子来处理的。在信号化的(或推导出的)参考图片索引指示当前图片是用于运动补偿的参考图片时，使用帧内BC预测。在该情况下，为当前CU的(诸)PU信号化的(诸)MV表示块矢量值。以下描述在帧内BC预测被使用时可应用的各种其他修改和约束。
2.选择性地启用/禁用帧内BC预测模式。
在示例实现中，借助SPS中的标志为序列启用或禁用帧内BC预测。为了使用针对当前图片的CU的帧内BC预测，启用针对该序列的帧内BC预测，并使用针对该CU的帧间预测模式且当前图片作为参考图片。
例如，在SPS中，如果句法元素intra_block_copy_enabled_flag的值为1，则可调用将当前图片添加到RPL(具体为RPL 0)中的过程。在其他方面，如果intra_block_copy_enabled_flag的值为0，则不调用将当前图片添加到RPL 0的过程。当不存在时，intra_block_copy_enabled_flag的值被推断为是0。
图12示出包括选择性地启用针对序列的帧内BC预测的用于编码或解码的通用技术(1200)。视频编码器(诸如以上参考图3或图5描述的视频编码器或另一视频编码器)可执行技术(1200)。或者，视频解码器(诸如以上参考图4或图6描述的视频解码器或另一视频解码器)可执行技术(1200)。
开始，编码器或解码器确定(1210)是否启用针对视频序列的帧内BC预测。例如，编码器基于编码会话或应用的设置作出确定(1210)，随后对该序列的SPS中的句法元素信号化以指示是否启用帧内BC预测。或者，解码器基于该序列的SPS中的句法元素作出确定(1210)。
如果帧内BC预测被启用，则编码器/解码器在帧内BC预测被启用的情况下对该序列进行编码/解码(1230)。否则，编码器/解码器在帧内BC预测没有被启用的情况下对该序列进行编码/解码(1220)。
编码器/解码器可在逐序列的基础上重复技术(1200)。
替换地，VUI消息或其他句法结构中的另一高级标志可指示启用还是禁用帧内BC预测。启用还是禁用帧内BC预测的判定可在逐序列的基础上、逐图片的基础上、逐片的基础上或在某一其他基础上作出。
3.更新RPL计数器。
在示例实现中，比特流中高达两个句法元素的值指示两个RPL中对当前片有效的参考图片的数目。句法元素num_ref_idx_l0_active_minus1指示RPL 0中对当前片有效的参考图片的数目(如为该数目减1)，并且句法元素num_ref_idx_l1_active_minus1指示RPL1中对当前片有效的参考图片的数目(如为该数目减1)。当帧内BC预测被使用时，如果当前片为P片或B片，则将当前片的num_ref_idx_l0_active_minus1的值和/或num_ref_idx_l1_active_minus1的值增加1以将当前图片考虑为参考图片。如果当前片为I片，则当帧内BC预测被使用时，将当前片的num_ref_idx_l0_active_minus1和/或num_ref_idx_l1_active_minus1设为零，以考虑当前图片到RPL 0和/或RPL 1的添加。
例如，对于P片或B片，句法元素num_ref_idx_l0_active_minus1可被信号化成片段头部的一部分，并指定针对RPL 0的可用于对该片进行解码的最大参考索引。num_ref_idx_l0_active_minus1的值在0到14的范围内，其为包括性的。当num_ref_idx_l0_active_minus1没有出现在P片或B片的片段头部中时，num_ref_idx_l0_active_minus1的值被推断为等于num_ref_idx_l0_default_active_minus1。在当前片为I片并且帧内BC预测没有被启用时，I片的num_ref_idx_l0_active_minus1的值被推断为等于-1。当帧内BC预测被使用时，num_ref_idx_l0_active_minus1的值被增加1。
作为另一示例，句法元素num_ref_idx_l1_active_minus1可被信号化成B片的片段头部的一部分，并指定针对RPL 1的可用于对该片进行解码的最大参考索引。num_ref_idx_l1_active_minus1的值在0到14的范围内，其为包括性的。当num_ref_idx_l1_active_minus1没有出现在B片的片段头部中时，num_ref_idx_l1_active_minus1的值被推断为等于num_ref_idx_l1_default_active_minus1。在当前片为I片并且帧内BC预测没有被启用时，I片的num_ref_idx_l1_default_active_minus1的值被推断为等于-1。当帧内BC预测被使用时，num_ref_idx_l1_active_minus1的值被增加1。
4.在其他RPL构造之后将当前图片添加到RPL。
在示例实现中，当帧内BC预测被启用时，在任何其他参考图片已在默认的RPL构造过程中被添加到RPL中后，将当前图片添加到该RPL中。具体地，当前图片被添加在RefPicList0(RPL 0)的最后位置处。在num_ref_idx_l0_active_minus1被增加1后：
RefPicList0[num_ref_idx_l0_active_minus1]＝当前解码的图片。
在当前片为P片或B片(并且帧内BC预测被启用)时，在完成将一个或多个参考图片添加到RPL 0的RPL构造过程后，调用将当前图片添加到RPL 0的过程。在当前片为1片(并且帧内BC预测被启用)时，在针对I片的解码过程开始的时候调用将当前图片添加到RPL 0的过程。当前片的num_ref_idx_l0_active_minus1的值被增加1。
图13示出用于构造包括当前图片的RPL的示例技术(1300)。视频编码器(诸如以上参考图3或图5描述的视频编码器或另一视频编码器)可执行技术(1300)。或者，视频解码器(诸如以上参考图4或图6描述的视频解码器或其他视频解码器)可执行技术(1300)。
开始，编码器或解码器检查(1310)当前片是否为I片。如果不是(例如，当前片是P片或B片)，则编码器/解码器用默认的RPL构造过程来构造(1320)该RPL，从而将一个或多个其他参考图片(非当前图片)添加到该RPL。
随后，不管该当前片是否为I片，编码器/解码器均将当前图片添加(1330)在RPL的最后位置处。编码器/解码器更新指示RPL中对当前片有效的参考图片的数目(例如，如用num_ref_idx_l0_active_minus1句法元素所指示的)的计数器。
编码器/解码器可在逐片的基础上为当前图片的各片重复该技术(1300)。替换地，编码器/解码器可在逐图片的基础上重复该技术。
替换地，当前图片可被添加在RefPicList1(RPL 1)的最后位置处，并且当前片的num_ref_idx_l1_active_minus1的值增加1。在完成将一个或多个其他参考图片添加到RPL1的RPL构造过程后(对于P片或B片)或者在对当前片进行解码开始的时候(对于I片)，将当前图片添加到RPL 1。
作为另一替换，当前图片可(如上所述)被添加在RPL 0的最后位置处以及(如上所述)被添加在RPL 1的最后位置处，其中当前片的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1的值各自被增加1。
当当前图片被添加到RPL时，当前图片也可被标记为“用于长期参考”，如以下所解释的。在对当前图片的解码完成时，当前图片可被标记为“用于短期参考”，如以下所解释的。
5.在RPL构造期间将当前图片添加到RPL。
作为在任何其他参考图片已在默认RPL构造过程中被添加到RPL后将当前图片添加到RPL的替换，当前图片可在一个或多个其他参考图片被添加到RPL的RPL构造过程期间被添加到RPL。
图14a-14c示出在RPL构造过程期间添加当前图片的不同方法(1401、1402、1403)。在这些方法中的每一者中，num_ref_idx_l0_active_minus1的值被增加1，变量NumRpsCurrTempList0被设为Max(num_ref_idx_l0_active_minus1+1,NumPocTotalCurr)，并且列表RefPicListTemp0被构造。
图14a示出在RPL构造过程期间添加当前图片的一个方法(1401)。在第一参考图片集合被添加后，当前图片被添加到RefPicListTemp0(“RefPicListTemp0[rIdx]＝当前图片并且“rIdx++”)。
图14b示出在RPL构造过程期间添加当前图片的第二方法(1402)。与图14a中示出的方法(1401)相比，时序是不同的。在第二参考图片集合被添加到该列表后，当前图片被添加到RefPicListTemp0(“RefPicListTemp0[rIdx]＝当前图片并且“rIdx++”)。
图14c示出在RPL构造过程期间添加当前图片的第三方法(1403)。在第三参考图片集合被添加后，当前图片被添加到RefPicListTemp0(“RefPicListTemp0[rIdx]＝当前图片并且“rIdx++”)。
替换地，当前图片可被添加在RefPicListTemp0的某一其他位置处。
除了被添加到RefPicListTemp0外或者作为其替换，当前图片还可被添加到RefPicListTemp1，RefPicListTemp1是针对RPL 1的列表，并且num_ref_idx_l0_active_minus1的值相应地增加1。
6.将当前图片标记为LERP或SERP。
在示例实现中，在当前图片由于帧内BC预测被启用而被添加到RPL时，当前图片被标记为长期参考图片(“LERP”)。也就是说，在当前图片针对帧内BC预测而被添加到RPL时，当前图片被标记为“用于长期参考”。在对当前图片的解码完成后，当前图片被标记为短期参考图片(“SERP”)-也就是说“用于短期参考”。
7.比特流约束。
在示例实现中，比特流不包含将导致针对帧内BC预测来使用当前图片中的任何非重新构造的区域的样本值的任何句法元素。这种对比特流中的句法元素的值的约束可如下表达。
假设对z扫描次序块可用性的推导过程接受以下作为输入：(1)当前块的左上样本相对于当前图片的左上亮度样本的亮度位置(xCurr,yCurr)；和(2)被相对于当前图片的左上亮度样本相邻的块覆盖的亮度位置(xNbY,yNbY)。该块可用性过程产生覆盖位置(xNbY,yNbY)的相邻块的可用性作为输出。还假设亮度位置(xCb,yCb)指定相对于当前图片的左上亮度样本的当前亮度编码块(“CB”)的左上样本，并且亮度位置(xBl,yBl)指定相对于当前亮度CB的左上样本的当前亮度预测块(“PB”)的左上样本。
如果对于一致的比特流，RPL(例如，RPL 0)中的参考图片为当前图片，则对于当前图片中的任何帧内BC预测的块，以下条件为真。
首先，当块可用性过程被调用且(xCb,yCb)和(xBl+mvL0[0],yBl+mvL0[1])分别作为输入(1)和(2)时，该块可用性过程的输出应当为真。即，当输入(2)为被用于帧内BC预测的MV参考的块的左上角时，块可用性过程的输出应当为真。
第二，当块可用性过程被调用且(xCb,yCb)和(xBl+mvL0[0]+nPbW-1,yBl+mvL0[1]+nPbH-1)分别作为输入(1)和(2)时，则该块可用性过程的输出应当为真。两个变量nPbW和nPbH分别指定亮度PB的宽度和高度。由此，当输入(2)为被用于帧内BC预测的MV参考的块的右下角时，块可用性过程的输出应当为真。
通过该分析，当RPL(例如，RPL 0)中的参考图片为当前图片时，MV值被修改。具体地，mvL0<<＝2且mvCL0<<＝2,其中mvL0是用整数像素精度信号化的亮度MV，且mvCL0是用整数像素精度导出的色度MV。关于比特流一致性的其他条件也适用(不管帧内BC预测是否被启用、不管当前图片是否为参考图片等，其都适用)。
变量initType(其为三种初始化类型中的每一者指定需要对其进行初始化的ctxIdx)被如下设置。如果当前片为I片，且帧内BC预测没有被启用，则initType为0。否则，如果当前片为I片且帧内BC预测被启用，则initType为1。否则，initType的值被如JCTVC-P1005_v1中描述的那样设置。最后，与JCTVC-P1005_v1相比，参考intra_bc_flag的各约束被移除。
8.复合预测。
在示例实现中，将来自帧内BC预测的样本值与来自另一预测(例如，另一帧内BC预测、运动补偿)的样本值组合的复合预测不被允许。也就是说，其中参考图片中的至少一者为当前图片的双向预测不被允许。该约束可通过检查比特流中的句法元素的值来实施。
替换地，将来自帧内BC预测的样本值与来自另一预测的样本值组合的复合预测被允许。也就是说，其中参考图片中的至少一者为当前图片的双向预测被允许。
9. 4x4帧内BC预测。
在示例实现中，在当前图片为针对双向预测的参考图片(单个参考图片)时，PB的尺寸可以为针对帧内BC预测的4x4。其他块尺寸(例如，64x64、64x32、32x64、64x16、64x48、16x64、48x64、32x32、32x16、16x32、32x8、32x24、8x32、24x32、16x16、16x8、8x16、16x4、16x12、4x16、12x16、8x8、8x4和4x8)也是可能的。
替换地，其中PB的尺寸可以为4x4的帧内BC预测不被支持。
10. MV信号化和重构。
在示例实现中，对于帧内BC预测的情况被用作块矢量的MV是用整数像素精度来信号化的。相反，用于相对于另一图片的运动补偿的MV是用分数像素精度来信号化的。针对当前图片的当前块的MV的精度取决于参考图片。如果参考图片为当前图片，则MV具有整数像素精度。否则(参考图片为另一图片)，MV具有分数像素精度。在实践中，这可意味着对经信号化的MV值的解释取决于当前图片是否为参考图片而改变。
当(针对帧内BC预测)MV是用整数像素精度来信号化的时，在以分数像素MV值来起作用的运动补偿过程中使用该MV之前，先缩放该MV。例如，在MV被输入到接受1/4像素MV值的运动补偿过程之前，该MV的水平和垂直分量被(通过左移2位或通过乘法)缩放了1/4。
在示例实现中，在当前图片是参考图片(针对帧内BC预测的情况)时，运动补偿不包括分数像素插值，因为MV值指示整数像素偏移。色度MV分量(其可指示分数像素偏移，即使相应的亮度MV分量指示整数像素偏移)可被四舍五入或截短以指示整数像素偏移。例如，对于4:2:0视频，当色度MV为(1,1)时，在不进行四舍五入或截短的情况下，相应的色度MV将为(0.5,0.5)。为了避免这个，色度MV可被如下修改。
假设(xVec,yVec)是处于整数像素精度的亮度MV。还假设(xScale,yScale)是将亮度MV转换成色度MV的比例。通常，色度MV被计算为(xVec>>xScale,yVec>>yScale)。对于4:2:0视频，(xScale,yScale)为(1,1)。对于4:2:2视频，(xScale,yScale)为(1,0)。对于4:4:4视频，(xScale,yScale)为(0,0)。为了避免生成非整数色度MV，在被用作色度MV来进行对色度样本值的运动补偿之前，将(xVec,yVec)修改成(xVec>>xScale<<xScale,yVec>>yScale<<yScale)。
替换地，对于帧内BC预测，MV是用诸如1/2像素精度或1/4像素精度之类的分数像素精度来信号化的。例如，帧内BC预测中使用的MV仍指示整数像素偏移，但它们是用分数像素精度来信号化的。
11.用于MV预测的编码/解码工具。
在示例实现中，在使用帧内BC预测时，可使用被用于帧间预测模式的各编码/解码工具。例如，在当前图片被用作用于运动补偿的(也就是说，用于帧内BC预测的)参考图片时，编码器和解码器可使用合并模式、跳跃模式和/或高级MV预测。
12.对合并模式处理的调整。
在示例实现中，当某标志(或其他值)将帧内BC预测与常规的帧间预测模式区分开时，编码器和解码器可修改合并模式处理。在该情况下，在为使用帧内BC预测来编码的块(从空间或时间近邻中)获得合并模式候选时，编码器/解码器可检查给定合并模式候选是否将当前图片用作参考图片。如果如此，则编码器/解码器将该合并模式候选包括在合并模式候选集合中。如果并非如此，则编码器/解码器可排除该当前合并模式候选，将其标记为不可用。
在通过这种方式筛选了合并模式候选后，如果合并模式候选的数目小于所允许的合并候选的数目(如用变量MaxNumMergeCand来指示并用five_minus_max_num_merge_cand句法元素来信号化的)，则编码器/解码器可将来自预定义列表的合并模式候选添加到合并候选集合中。例如，预定义列表为将当前图片用作参考图片并具有MV的合并模式候选{(-W,0),(0,-H),(-W,-H),(-2W,0),(0,-2H)}，其中W是当前CU的宽度，且H是当前CU的高度。来自该列表的合并模式候选可按该列表中给定的次序一个接一个地被添加，直到达到所允许的合并候选的数目。
13.禁用时间MV预测。
在示例实现中，在帧内BC预测被启用时，对I片禁用时间MV预测。在这种情况下，即使I片在许多编码/解码操作中可像P片(或B片)那样被处理，并且即使针对I片的比特流句法可遵循针对P片(或B片)的比特流句法，但禁用时间MV预测仍会简化合并模式处理、高级MV预测和其他操作，并避免在对当前I片进行编码或解码期间使用来自另一图片/片的信息。
例如，当时间MV预测值在编码或解码期间被推导出时，如果slice_temporal_mvp_enabled_flag等于0或者当前片类型为I，则时间MV预测值的两个分量都被设为等于0，并且时间MV预测值被标记为不可用。
14.其他编码器判定。
句法元素mvd_l1_zero_flag是B片的片段头部的一部分。当mvd_l1_zero_flag为1时，如果双向预测被使用，则仅零值MV差分被RPL 1允许。在示例实现中，当帧内BC预测被启用时，编码器适配其判定作出过程来设置mvd_l1_zero_flag句法元素的值。
为了进行比较，在帧内BC预测不被启用时，编码器检查(1)RPL 0中的参考图片的数目等于RPL 1中的参考图片的数目，以及(2)对于RPL 0中的每一参考图片，在RPL 1中的相同位置处存在相同的参考图片(具有相同的POC)。如果两个条件都被满足，则mvd_l1_zero_flag被设为1。否则，mvd_l1_zero_flag被设为0。
当帧内BC预测被启用(并且当前图片被添加到RPL)时，编码器检查稍有不同的条件，这些条件忽略当前图片。例如，如果当前图片被添加在RPL 0的最后位置处，则编码器检查(1)RPL 0中的参考图片的数目减1(为了考虑当前图片)等于RPL 1中的参考图片的数目，以及(2)对于RPL 0中的每一参考图片(除了RPL 0中的最后一个参考图片外)，在RPL 1中的相同位置处存在相同的参考图片(具有相同的POC)。如果两个条件都被满足，则mvd_l1_zero_flag被设为1。否则，mvd_l1_zero_flag被设为0。
15.帧内BC预测模式的替换信号化。
替换地，可从包括帧内BC预测模式、帧内预测模式(空间预测)和帧间预测模式在内的可用编码模式中选择帧内预测作为不同的编码模式。例如，帧内BC预测可被选为针对CU的编码模式，并且比特流包括指示适用于当前CU的编码模式的句法元素。如果适用于当前CU的编码模式是帧内BC预测模式，则针对当前CU(及其PU、TU等)的句法元素一般遵循针对帧内预测模式的句法。然而，当针对当前CU的帧内BC编码模式被显式地信号化时，针对PU的帧间预测方向和参考图片索引不被显式地信号化。相反，这些句法元素的值可被推断出。如果适用于当前CU的编码模式为帧内BC预测模式，则不需要为该CU的任何PU信号化预测方向，并且参考图片已知为当前图片。例如，如果当前图片仅被添加到RPL 0并且帧间预测方向被推断为是0(来自RPL 0的单向预测)，并且参考图片索引被推断为是1，指示当前图片为参考图片。
鉴于可应用所公开的本发明的原理的许多可能的实施例，应当认识到，所示实施例仅是本发明的优选示例，并且不应认为是限制本发明的范围。相反，本发明的范围由后续的权利要求来界定。我们要求作为我们的发明保护落入这些权利要求范围和精神内的所有内容。

Claims (20)

1.一种将统一的帧内BC和帧间预测模式用于编码的方法，包括：
对当前图片进行编码以产生经编码的数据，包括：
将所述当前图片标记为长期参考图片；
对所述当前图片的多个块进行编码，包括在所述多个块上执行针对所述当前图片的当前块的帧内块复制(BC)预测，其中所述帧内BC预测利用被标记为长期参考图片的所述当前图片作为参考来使用帧间预测模式；
在编码所述当前图片完成之后，将所述当前图片标记为短期参考图片；以及
在比特流中输出经编码的数据。
2.如权利要求1所述的方法，其特征在于，进一步包括：
确定要启用还是禁用帧内BC预测模式；以及
在所述比特流中设置指示所述帧内BC预测模式被启用还是被禁用的标志的值。
3.如权利要求2所述的方法，其特征在于，所述标志是序列参数集合的一部分。
4.如权利要求1所述的方法，其特征在于，所述编码包括设置所述比特流中的句法元素的值，使得所述句法元素中没有一个句法元素导致在对所述当前图片进行编码期间参考所述当前图片的非重构部分。
5.一种将统一的帧内BC和帧间预测模式用于解码的方法，包括：
接收比特流中经编码的数据；
使用所述经编码的数据对当前图片进行解码，包括：
将所述当前图片标记为长期参考图片；
对所述当前图片的多个块进行解码，包括在所述多个块上执行针对所述当前图片的当前块的帧内块复制(BC)预测，其中所述帧内BC预测利用被标记为长期参考图片的所述当前图片作为参考来使用帧间预测模式；
以及
在解码所述当前图片完成之后，将所述当前图片标记为短期参考图片。
6.如权利要求5所述的方法，其特征在于，所述比特流中的标志指示帧内BC预测模式被启用还是被禁用。
7.如权利要求6所述的方法，其特征在于，所述标志是序列参数集合的一部分。
8.如权利要求5所述的方法，其特征在于，所述比特流被约束为不包括导致在对所述当前图片进行解码期间参考所述当前图片的非重构部分的句法元素。
9.如权利要求5所述的方法，其特征在于，所述当前块是当前片的一部分，并且其中：
在所述经编码的数据中的标志指示所述当前块的编码模式是帧间预测模式，并且：
对于帧内BC预测，当前片是P片或B片。
10.如权利要求5所述的方法，其特征在于，进一步包括：
将所述当前图片添加到参考图片列表(“RPL”)。
11.如权利要求10所述的方法，其特征在于，所述当前图片被添加在所述RPL的最后位置处，并且其中所述方法进一步包括将指示对包括所述当前块的当前片有效的参考图片的数目的计数器递增。
12.如权利要求11所述的方法，其特征在于：
如果所述当前片是P片或B片，则所述当前图片在调用一个或多个其他参考图片被添加到所述RPL中的列表构造过程后被添加到所述RPL中。
13.如权利要求10所述的方法，其特征在于：
所述当前块是当前片的一部分；以及
如果所述当前片是P片或B片，则所述当前图片在一个或多个其他参考图片被添加到所述RPL中的列表构造过程期间被添加到所述RPL中。
14.如权利要求5所述的方法，其特征在于，所述帧间预测模式进一步包括对所述当前块使用高级运动矢量预测模式、合并模式或跳跃模式。
15.如权利要求5所述的方法，其特征在于，所述帧间预测模式进一步包括作为针对所述当前块的合并模式处理的一部分，对于一个或多个合并模式候选中的每一者：
获取该合并模式候选；
检查该合并模式候选是否参考所述当前图片；
如果是，则保留该合并模式候选；以及
否则，排除该合并模式候选。
16.如权利要求5所述的方法，其特征在于，所述当前块是当前片的一部分，并且其中：
在所述经编码数据中的参考图片索引标识所述当前图片；以及
所述当前片是P片或B片。
17.如权利要求5所述的方法，其特征在于，所述当前块是所述当前片的一部分，并且其中所述方法进一步包括，如果帧内BC预测模式被启用，则禁用针对所述当前片的时间运动矢量预测。
18.一种将统一的帧内BC和帧间预测模式用于编码的系统，包括：
用于对当前图片进行编码以产生经编码的数据的装置，包括：
用于将所述当前图片标记为长期参考图片的装置；
用于对所述当前图片的多个块进行编码的装置，包括在所述多个块上执行针对所述当前图片的当前块的帧内块复制(BC)预测，其中所述帧内BC预测利用被标记为长期参考图片的所述当前图片作为参考来使用帧间预测模式；
用于在编码所述当前图片完成之后，将所述当前图片标记为短期参考图片的装置；以及
用于在比特流中输出经编码的数据的装置。
19.一种将统一的帧内BC和帧间预测模式用于解码的系统，包括：
用于接收比特流中经编码的数据的装置；
用于使用所述经编码的数据对当前图片进行解码的装置，包括：
用于将所述当前图片标记为长期参考图片的装置；
用于对所述当前图片的多个块进行解码的装置，包括在所述多个块上执行针对所述当前图片的当前块的帧内块复制(BC)预测，其中所述帧内BC预测利用被标记为长期参考图片的所述当前图片作为参考来使用帧间预测模式；以及
用于在解码所述当前图片完成之后，将所述当前图片标记为短期参考图片的装置。
20.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-17中任一权利要求所述的方法。
CN201480048017.2A 2014-06-19 2014-06-19 统一的帧内块复制和帧间预测模式 Active CN105493505B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/080302 WO2015192353A1 (en) 2014-06-19 2014-06-19 Unified intra block copy and inter prediction modes

Publications (2)

Publication Number Publication Date
CN105493505A CN105493505A (zh) 2016-04-13
CN105493505B true CN105493505B (zh) 2019-08-06

Family

ID=54934706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048017.2A Active CN105493505B (zh) 2014-06-19 2014-06-19 统一的帧内块复制和帧间预测模式

Country Status (5)

Country Link
US (4) US10785486B2 (zh)
EP (2) EP4354856A2 (zh)
KR (4) KR102413529B1 (zh)
CN (1) CN105493505B (zh)
WO (1) WO2015192353A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570447B2 (en) 2018-12-28 2023-01-31 Hangzhou Hikvision Digital Technology Co., Ltd. Video coding and video decoding

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
CN105765974B (zh) 2013-10-14 2019-07-02 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
RU2669005C2 (ru) 2014-01-03 2018-10-05 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Предсказание вектора блока в кодировании/декодировании видео и изображений
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
EP3284258A4 (en) * 2015-05-28 2019-04-17 HFI Innovation Inc. METHOD AND DEVICE FOR USING A CURRENT PICTURE AS A REFERENCE PICTURE
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
EP3310054A4 (en) * 2015-06-11 2019-02-27 Intellectual Discovery Co., Ltd. IMAGE ENCODING AND DECODING METHOD USING AN ADAPTIVE DEBLOCKING FILTER, AND APPARATUS THEREOF
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
KR102390162B1 (ko) * 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
US9955176B2 (en) * 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
KR20190045907A (ko) * 2016-09-16 2019-05-03 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
EP3301930A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
KR102390413B1 (ko) * 2017-03-03 2022-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10674159B2 (en) 2017-07-28 2020-06-02 Microsoft Technology Licensing, Llc Effective intra encoding for screen data
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
CN109587479B (zh) * 2017-09-29 2023-11-10 华为技术有限公司 视频图像的帧间预测方法、装置及编解码器
KR102411337B1 (ko) 2017-10-09 2022-06-22 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
GB2585304B (en) * 2018-02-12 2023-03-08 Mediatek Inc Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode
EP3777177A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Apparatus for selecting an intra-prediction mode for padding
US10462483B1 (en) * 2018-04-26 2019-10-29 Tencent America LLC Method and apparatus for video coding
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
US10904559B2 (en) * 2018-07-13 2021-01-26 Tencent America LLC Block vector prediction in intra block copy mode
CN110166770B (zh) * 2018-07-18 2022-09-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
SG11202100154PA (en) 2018-07-30 2021-02-25 Samsung Electronics Co Ltd Method and apparatus for image encoding, and method and apparatus for image decoding
CN110896485B (zh) * 2018-09-13 2021-10-15 华为技术有限公司 一种预测运动信息的解码方法及装置
EP3850837A4 (en) * 2018-09-17 2022-06-01 HFI Innovation Inc. METHODS AND APPARATUS COMBINING A PLURALITY OF PREDICTORS FOR BLOCK PREDICTION IN VIDEO CODING SYSTEMS
CN112740705A (zh) * 2018-09-21 2021-04-30 夏普株式会社 用于在视频编码中发送信号通知参考图片的系统和方法
WO2020065517A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
KR20200040179A (ko) * 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112840654B (zh) * 2018-10-12 2024-04-16 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
CN112889269B (zh) * 2018-10-23 2023-10-27 腾讯美国有限责任公司 视频解码方法及装置
EP3873093A4 (en) * 2018-10-23 2022-07-20 Wilus Institute of Standards and Technology Inc. METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL USING SUBBLOCK-BASED MOTION COMPENSATION
JP7324841B2 (ja) 2018-11-10 2023-08-10 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113056920A (zh) * 2018-11-22 2021-06-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
US20200169757A1 (en) * 2018-11-23 2020-05-28 Mediatek Inc. Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
WO2020108574A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
WO2020108649A1 (en) * 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
EP3888360A1 (en) * 2018-11-30 2021-10-06 InterDigital VC Holdings, Inc. Triangle and multi-hypothesis combination for video coding and decoding
US20220014778A1 (en) * 2018-11-30 2022-01-13 Interdigital Vc Holdings, Inc. Unified process and syntax for generalized prediction in video coding/decoding
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
KR20210091208A (ko) * 2018-12-12 2021-07-21 주식회사 윌러스표준기술연구소 현재 픽쳐 참조를 이용한 비디오 신호 처리 방법 및 장치
US10855992B2 (en) * 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
KR20210099129A (ko) * 2018-12-21 2021-08-11 샤프 가부시키가이샤 비디오 코딩에서 인터 예측을 수행하기 위한 시스템들 및 방법들
CN113273203B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
WO2020141831A2 (ko) * 2018-12-31 2020-07-09 엘지전자 주식회사 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
US20220086475A1 (en) * 2019-01-09 2022-03-17 Lg Electronics Inc. Method and device for signaling whether tmvp candidate is available
WO2020149630A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
CN113302927B (zh) * 2019-01-18 2024-04-09 韦勒斯标准与技术协会公司 使用运动补偿的视频信号处理方法和设备
US11095915B2 (en) * 2019-01-31 2021-08-17 Qualcomm Incorporated Shared motion vector predictor list for intra block copy mode in video coding
WO2020164630A1 (en) * 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of intra block copy merge candidates
KR20210119429A (ko) 2019-02-19 2021-10-05 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
FI3912357T3 (fi) * 2019-02-20 2023-12-19 Beijing Dajia Internet Information Tech Co Ltd Rajoitettu liikevektorin derivaatio pitkän aikavälin referenssikuville videokoodauksessa
CN113784132B (zh) * 2019-02-20 2023-04-25 北京达佳互联信息技术有限公司 用于帧间预测的运动向量舍入、截取和存储的方法和装置
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
CN117640927A (zh) * 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
JP7192145B2 (ja) * 2019-03-06 2022-12-19 北京字節跳動網絡技術有限公司 サイズに依存したインターコーディング
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
WO2020180155A1 (ko) * 2019-03-07 2020-09-10 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
CN112969070B (zh) 2019-03-11 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20210114065A (ko) * 2019-03-13 2021-09-17 엘지전자 주식회사 크로마 블록에 대한 분할 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN111726630B (zh) * 2019-03-18 2024-03-15 华为技术有限公司 基于三角预测单元模式的处理方法及装置
US11252442B2 (en) * 2019-04-08 2022-02-15 Tencent America LLC Method and apparatus for video coding
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
MX2021012230A (es) * 2019-04-12 2021-11-03 Beijing Bytedance Network Tech Co Ltd Construccion de lista de modos mas probables para intraprediccion basada en matriz.
US11363279B2 (en) * 2019-04-15 2022-06-14 Tencent America LLC Method and apparatus in video coding with flexible coding order
CN113853783B (zh) * 2019-05-25 2023-12-15 北京字节跳动网络技术有限公司 对帧内块复制编解码的块的块矢量的编解码
WO2020239018A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
CN113924783A (zh) * 2019-06-03 2022-01-11 北京字节跳动网络技术有限公司 用于视频编解码的组合式帧内和帧内块复制预测
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
CN113453014B (zh) * 2019-06-21 2022-03-25 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
JP7335365B2 (ja) 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
JP7342153B2 (ja) 2019-06-24 2023-09-11 エルジー エレクトロニクス インコーポレイティド 動きベクトルを用いた画像コーディング方法および装置
KR20210158399A (ko) * 2019-06-24 2021-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
CN112135129A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 一种帧间预测方法及装置
MX2022000110A (es) 2019-07-10 2022-02-10 Beijing Bytedance Network Tech Co Ltd Identificacion de muestras para la copia intra-bloque en codificacion de video.
CN114097221B (zh) * 2019-07-11 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
KR20220053580A (ko) * 2019-09-09 2022-04-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 블록 복제 코딩 및 디코딩
CN110636295B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
WO2021207055A1 (en) 2020-04-05 2021-10-14 Bytedance Inc. High level control of filtering in video coding
CN115380529A (zh) 2020-04-07 2022-11-22 鸿颖创新有限公司 用于编码视频数据的设备和方法
US11849129B2 (en) * 2022-03-18 2023-12-19 Qualcomm Incorporated Intra-block copy decoding using dynamic re-mapping of on-chip memory

Family Cites Families (256)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2114404B (en) 1982-01-28 1986-07-02 British Broadcasting Corp Generating a colour video signal representative of a stored picture
JPH087553B2 (ja) 1988-10-27 1996-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 色画像量子化方法及び装置
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
US6389162B2 (en) 1996-02-15 2002-05-14 Canon Kabushiki Kaisha Image processing apparatus and method and medium
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP2000102016A (ja) 1998-09-22 2000-04-07 Victor Co Of Japan Ltd 動き補償予測回路
JP2001251507A (ja) 2000-03-03 2001-09-14 Fujitsu Ltd 画像処理装置
US6701012B1 (en) 2000-07-24 2004-03-02 Sharp Laboratories Of America, Inc. Out-of-layer pixel generation for a decomposed-image layer
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
DE10049571C1 (de) 2000-10-06 2002-06-13 Siemens Ag Verfahren und Anordnung zum Übertragen eines Vektors
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6853755B2 (en) 2001-03-28 2005-02-08 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive compression of scanned documents
US7031540B2 (en) 2001-09-12 2006-04-18 Mobitv, Inc. Transformation to increase the lempel-ziv compressibility of images with minimal visual distortion
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7120196B2 (en) 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
BR0317962A (pt) 2003-01-10 2005-11-29 Thomson Licensing Sa Aparelho decodificador e método para suavizar artefatos criados durante ocultação de erro
DE10301362B4 (de) 2003-01-16 2005-06-09 GEMAC-Gesellschaft für Mikroelektronikanwendung Chemnitz mbH Blockdatenkompressionssystem, bestehend aus einer Kompressionseinrichtung und einer Dekompressionseinrichtung, und Verfahren zur schnellen Blockdatenkompression mit Multi-Byte-Suche
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
KR101050828B1 (ko) 2003-08-26 2011-07-21 톰슨 라이센싱 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR101044934B1 (ko) 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
JP4591657B2 (ja) 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US8036271B2 (en) 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
JP4338654B2 (ja) 2004-03-18 2009-10-07 三洋電機株式会社 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
WO2006012383A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
JP2006140683A (ja) 2004-11-11 2006-06-01 Canon Inc 画像符号化装置
JP2006140758A (ja) 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US7720154B2 (en) 2004-11-12 2010-05-18 Industrial Technology Research Institute System and method for fast variable-size motion estimation
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060274070A1 (en) 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR101211665B1 (ko) 2005-08-12 2012-12-12 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
DE602006005689D1 (de) 2005-08-19 2009-04-23 Ericsson Telefon Ab L M Texturkomprimierung auf der basis zweier farbtöne mit modifizierter helligkeit
US7986844B2 (en) 2005-11-22 2011-07-26 Intel Corporation Optimized video compression using hashing function
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8582905B2 (en) 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
CN101026761B (zh) 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
US7668382B2 (en) 2006-02-24 2010-02-23 Microsoft Corporation Block-based fast image compression
US7616816B2 (en) 2006-03-20 2009-11-10 Sarnoff Corporation System and method for mission-driven visual information retrieval and organization
WO2007119198A1 (en) 2006-04-14 2007-10-25 Nxp B.V. Motion estimation at image borders
US8457200B2 (en) 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
DE102007035204A1 (de) 2006-07-28 2008-02-07 Mediatek Inc. Videoverarbeitungs- und - betriebsvorrichtung
US8472527B2 (en) 2006-09-13 2013-06-25 Texas Instruments Incorporated Hierarchical motion estimation using original frame for sub-sampled reference
FR2906433B1 (fr) 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
CN102833544A (zh) 2006-09-22 2012-12-19 汤姆森许可贸易公司 多通道视频编码和解码的方法及装置
US20080084924A1 (en) 2006-10-05 2008-04-10 Donald Martin Monro Matching pursuits basis selection design
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8218640B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
JP2008154015A (ja) 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
US7907783B2 (en) 2007-01-24 2011-03-15 Samsung Electronics Co., Ltd. Apparatus and method of matching symbols in a text image coding and decoding system
CN100527842C (zh) 2007-01-26 2009-08-12 清华大学 基于背景的运动估计编码方法
ES2393226T3 (es) 2007-02-23 2012-12-19 Nippon Telegraph And Telephone Corporation Método de predicción Intra de codificación de video y método de descodificación, su dispositivo, su programa y medio de programa grabado
US8160150B2 (en) 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
WO2008130367A1 (en) 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction
US7903873B2 (en) 2007-09-13 2011-03-08 Microsoft Corporation Textual image coding
CN101420606A (zh) 2007-10-23 2009-04-29 青岛海信电器股份有限公司 图像处理方法和装置
JP2009147807A (ja) 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
CN101232619B (zh) 2008-01-25 2011-05-11 浙江大学 嵌入帧内编码块的视频编码方法
TWI375472B (en) 2008-02-04 2012-10-21 Ind Tech Res Inst Intra prediction method for luma block of video
CN101552924B (zh) 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
JP5413923B2 (ja) 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
JP2009260473A (ja) 2008-04-14 2009-11-05 Canon Inc 色処理方法及び装置、プログラム、記録媒体
JP2010035137A (ja) 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8180165B2 (en) 2008-12-19 2012-05-15 Microsoft Corp. Accelerated screen codec
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US8345994B2 (en) 2009-02-02 2013-01-01 Calgary Scientific Inc. Image data transmission
RU2420021C2 (ru) 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
EP2249571A1 (en) 2009-05-04 2010-11-10 Thomson Licensing SA Method and device for encoding an image frame comprising macroblocks
US8837587B2 (en) 2009-06-22 2014-09-16 Thomson Licensing Process for coding and decoding video data of a sequence of images and corresponding encoder and decoder
US20120275518A1 (en) 2009-07-10 2012-11-01 Shinya Kadono Moving picture coding method, apparatus, program, and integrated circuit
CN101626512A (zh) 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
EP2485490B1 (en) 2009-10-01 2015-09-30 SK Telecom Co., Ltd. Method and apparatus for encoding/decoding image using split layer
EP2493195A1 (en) 2009-10-20 2012-08-29 Sharp Kabushiki Kaisha Video encoding device, video decoding device, and data structure
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
JP5321426B2 (ja) 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR101623124B1 (ko) 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2011095260A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
JP5375676B2 (ja) 2010-03-04 2013-12-25 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2011121227A1 (fr) 2010-03-31 2011-10-06 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en œuvre une prediction par compensation de mouvement avant, flux et programme d'ordinateur correspondants
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN105472386B (zh) 2010-04-09 2018-09-18 Lg电子株式会社 处理视频数据的方法和装置
US20110261880A1 (en) 2010-04-27 2011-10-27 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US9036932B2 (en) 2010-06-21 2015-05-19 Thomson Licensing Method and apparatus for encoding/decoding image data
CN106851292A (zh) 2010-07-02 2017-06-13 数码士有限公司 用于帧内预测的解码图像的方法
KR101484281B1 (ko) 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
PT2594076T (pt) 2010-07-14 2017-04-05 Ntt Docomo Inc Intra previsão de complexidade reduzida para codificação de vídeo
CN103119937B (zh) 2010-07-20 2016-02-10 Sk电信有限公司 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
CN107071491B (zh) 2010-11-04 2020-11-03 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
US8787459B2 (en) 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
KR101756442B1 (ko) 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US8767835B2 (en) 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US20120163457A1 (en) 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
KR101739579B1 (ko) 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
KR20120080122A (ko) 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR101929026B1 (ko) 2011-01-07 2018-12-13 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR102222957B1 (ko) 2011-01-14 2021-03-04 지이 비디오 컴프레션, 엘엘씨 엔트로피 인코딩 및 디코딩 방식
WO2012097377A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Joint spatial and temporal block merge mode for hevc
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
CN103329534B (zh) 2011-01-19 2017-03-08 瑞萨电子株式会社 图像编码装置及图像解码装置
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9532066B2 (en) 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
AU2011362447B2 (en) 2011-03-14 2015-09-24 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9374598B2 (en) 2011-03-21 2016-06-21 Lg Electronics Inc. Method for selecting motion vector predictor and device using same
US8693547B2 (en) 2011-04-06 2014-04-08 Google Inc. Apparatus and method for coding using motion vector segmentation
RU2647652C1 (ru) 2011-04-21 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ квантования коэффициентов кодирования с линейным предсказанием, способ кодирования звука, способ деквантования коэффициентов кодирования с линейным предсказанием, способ декодирования звука и носитель записи
US20140050414A1 (en) 2011-04-29 2014-02-20 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Decoder and Methods Thereof for Texture Compression
US20120281760A1 (en) 2011-05-04 2012-11-08 Hyung Joon Kim Iterative Grid-Pattern Motion Search
US8971416B2 (en) 2011-05-05 2015-03-03 Vixs Systems, Inc Video decoder with vector processor and methods for use therewith
CN102137263B (zh) 2011-05-09 2013-07-03 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法
WO2012157443A1 (ja) * 2011-05-16 2012-11-22 ソニー株式会社 画像処理装置、及び、画像処理方法
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN102238391B (zh) * 2011-05-25 2016-12-07 深圳市云宙多媒体技术有限公司 一种预测编码方法、装置
JP5727873B2 (ja) 2011-06-10 2015-06-03 日本放送協会 動きベクトル検出装置、符号化装置、及びこれらのプログラム
WO2012175003A1 (en) 2011-06-20 2012-12-27 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
KR101566848B1 (ko) 2011-06-24 2015-11-06 미디어텍 인크. 모션 벡터 예측기에서의 중복성을 제거하는 방법 및 장치
MY169636A (en) 2011-06-27 2019-04-24 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US9060173B2 (en) 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
EP2705668A1 (en) 2011-07-12 2014-03-12 Huawei Technologies Co., Ltd Pixel-based intra prediction for coding in hevc
CN102223541B (zh) 2011-07-14 2013-07-03 北京工业大学 一种混合图像的编码方法
US9232237B2 (en) 2011-08-05 2016-01-05 Texas Instruments Incorporated Block-based parallel deblocking filter in video coding
CN103748877B (zh) 2011-08-17 2017-05-10 联发科技（新加坡）私人有限公司 帧内预测方法和装置
MX343471B (es) 2011-08-29 2016-11-07 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US9578336B2 (en) 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
CN103999468A (zh) 2011-10-21 2014-08-20 诺基亚公司 用于视频编码的方法和装置
GB2495990A (en) 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
US9484952B2 (en) 2011-11-03 2016-11-01 Qualcomm Incorporated Context state and probability initialization for context adaptive entropy coding
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
CN104094601B (zh) 2011-11-08 2018-01-19 谷歌技术控股有限责任公司 用于采样自适应偏移编码和/或信令的装置和方法
EP2777284B1 (en) 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
US20130121417A1 (en) 2011-11-16 2013-05-16 Qualcomm Incorporated Constrained reference picture sets in wave front parallel processing of video data
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
CN103621097B (zh) 2011-11-25 2018-04-24 太阳专利托管公司 图像处理方法及图像处理装置
RU2493670C2 (ru) 2011-12-15 2013-09-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ блочной межкадровой компенсации движения для видеокодеков
CN104012092A (zh) 2011-12-20 2014-08-27 摩托罗拉移动有限责任公司 高效变换单元编码的方法和设备
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US20130163664A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9749661B2 (en) 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
JP2013150173A (ja) 2012-01-19 2013-08-01 Sony Corp 画像処理装置および方法
CA2861951C (en) 2012-01-20 2020-08-11 Thomas Schierl Coding concept allowing parallel processing, transport demultiplexer and video bitstream
JP2013150215A (ja) 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US20130188718A1 (en) 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc without including a temporally neighboring block motion vector in a candidate list
US9210438B2 (en) 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US10244246B2 (en) 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
WO2013128010A2 (en) 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013148002A2 (en) 2012-03-26 2013-10-03 Euclid Discoveries, Llc Context based video encoding and decoding
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9838684B2 (en) 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US20130272409A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
CA2864002A1 (en) 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US9521410B2 (en) 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
CN102752595B (zh) 2012-06-29 2014-07-09 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
US9621905B2 (en) 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US9716892B2 (en) 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US9264713B2 (en) 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
CA2882792C (en) 2012-09-26 2021-08-03 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN104685881B (zh) 2012-09-28 2018-05-15 夏普株式会社 图像解码装置、图像编码装置以及图像解码方法
WO2014053099A1 (en) 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9826244B2 (en) 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN103067716B (zh) 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
CN103237226B (zh) 2013-04-07 2016-08-03 宁波大学 一种立体视频宏块丢失错误隐藏方法
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
CN103281538B (zh) 2013-06-06 2016-01-13 上海交通大学 基于滚动哈希和块级别帧内预测的帧内编码方法
CN111800641B (zh) 2013-06-13 2023-08-25 上海天荷电子信息有限公司 同模式采用不同种类重构像素的图像编码解码方法和装置
US9300967B2 (en) * 2013-06-19 2016-03-29 Apple Inc. Sample adaptive offset control
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
GB2516422A (en) 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US20150016533A1 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Intra motion compensation extensions
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
WO2015010226A1 (en) 2013-07-24 2015-01-29 Qualcomm Incorporated Simplified advanced motion prediction for 3d-hevc
CN112383781B (zh) 2013-08-16 2023-05-02 上海天荷电子信息有限公司 参考块的位置决定其重构阶段的块匹配编解码方法和装置
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US9503715B2 (en) 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
CN104427338B (zh) 2013-09-07 2019-11-05 上海天荷电子信息有限公司 一种使用块匹配的图像编码以及图像解码的方法和装置
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
AU2013228045A1 (en) 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
CN105765974B (zh) 2013-10-14 2019-07-02 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US20150110181A1 (en) 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
WO2015090219A1 (en) 2013-12-18 2015-06-25 Mediatek Inc. Method and apparatus for palette initialization and management
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
RU2669005C2 (ru) 2014-01-03 2018-10-05 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Предсказание вектора блока в кодировании/декодировании видео и изображений
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
GB2522844A (en) 2014-01-29 2015-08-12 Sony Corp Data encoding and decoding
US9699468B2 (en) 2014-02-10 2017-07-04 Microsoft Technology Licensing, Llc Adaptive screen and video coding scheme
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
KR101908205B1 (ko) 2014-02-21 2018-10-15 미디어텍 싱가폴 피티이. 엘티디. 인트라 화상 블록 카피에 기초한 예측을 이용하는 비디오 코딩 방법
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
CA2939431C (en) 2014-03-04 2020-09-22 Microsoft Techology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US9681135B2 (en) 2014-03-14 2017-06-13 Hfi Innovation Inc. Method for palette table initialization and management
US20150312573A1 (en) 2014-03-17 2015-10-29 Nokia Technologies Oy Method and technical equipment for video encoding and decoding
US20150264348A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
AU2014202682A1 (en) 2014-05-16 2015-12-03 Canon Kabushiki Kaisha Method, apparatus and system for copying a block of video samples
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CN106576178B (zh) 2014-06-19 2020-03-13 Vid拓展公司 采用块向量导出的帧内块复制编码的方法
KR101748620B1 (ko) 2014-06-20 2017-07-04 성균관대학교산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2015194187A1 (en) 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Harmonized palette coding
US9948949B2 (en) 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
US20150381994A1 (en) 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
JP2018032949A (ja) 2016-08-23 2018-03-01 キヤノン株式会社 動きベクトル検出装置およびその制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast Intra Prediction Mode Selection Scheme Using Temporal Correlation in H.264;HWANG， Min Cheol et al.;《TENCON 2005 2005 IEEE Region 10》;20051124;第一页右边栏最后一段至第二页右边栏第4段，附图1-2
On unification of intra block copy and inter-picture motion compensation;Xiaozhong Xu , Shan Liu, Shawmin Lei;《Joint Collaborative Team on Video Coding (JCT-VC)，of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，16th Meeting: San Jose, US》;20140117;全文

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570447B2 (en) 2018-12-28 2023-01-31 Hangzhou Hikvision Digital Technology Co., Ltd. Video coding and video decoding

Also Published As

Publication number Publication date
KR20230130178A (ko) 2023-09-11
US20230209068A1 (en) 2023-06-29
KR20210124534A (ko) 2021-10-14
US10785486B2 (en) 2020-09-22
EP3158734A4 (en) 2017-04-26
US20200404289A1 (en) 2020-12-24
US20170142418A1 (en) 2017-05-18
KR20220092636A (ko) 2022-07-01
EP4354856A2 (en) 2024-04-17
WO2015192353A1 (en) 2015-12-23
KR102413529B1 (ko) 2022-06-24
EP3158734A1 (en) 2017-04-26
US20220030251A1 (en) 2022-01-27
US11172207B2 (en) 2021-11-09
CN105493505A (zh) 2016-04-13
KR102576562B1 (ko) 2023-09-07
KR20170021302A (ko) 2017-02-27
US11632558B2 (en) 2023-04-18
KR102311815B1 (ko) 2021-10-13

Similar Documents

Publication Publication Date Title
CN105493505B (zh) 统一的帧内块复制和帧间预测模式
CN105874791B (zh) 在对重叠区域内的经重构样本值的块向量预测和估计方面的创新
CN105684409B (zh) 在视频和图像编码和解码中使用散列值来表示各块
JP6607862B2 (ja) ユニバーサル色空間逆変換コーディング
CN105556971B (zh) 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CN105684441B (zh) 视频和图像编码中的基于散列的块匹配
CN105659602B (zh) 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
CN106416254B (zh) 在媒体编码期间跳过评估阶段
CN105765974B (zh) 用于视频和图像编码和解码的帧内块复制预测模式的特征
CN105230023B (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
KR102353787B1 (ko) 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
CN105432077B (zh) 在切换色彩空间时调整量化/缩放和逆量化/缩放
CN105659606B (zh) 用于视频和图像编码和解码的方法、系统和介质
CN105359531B (zh) 用于针对屏幕内容编码的编码器侧判定的方法和系统
CN105874795B (zh) 在波前并行处理被启用时对图片内预测模式的规则
CN105264888B (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
JP2022504073A (ja) 履歴ベースの動きベクトル予測子の改善
JP2017520991A (ja) ブロック適応性のある色空間コンバージョンコーディング
CN105230021B (zh) 屏幕内容的词典编码和解码
CN107439008A (zh) 减轻数字视频的互操作性情景中的损失
KR20210068102A (ko) 예측자 후보 리스트 크기를 시그널링하는 방법 및 장치
WO2020176865A1 (en) Method and apparatus for video coding
US20230098266A1 (en) Context model reduction
JPWO2020035829A5 (zh)
US11516489B2 (en) Method and apparatus for video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant