CN107852490A - 使用帧内块复制模式的视频编解码方法及系统 - Google Patents

使用帧内块复制模式的视频编解码方法及系统 Download PDF

Info

Publication number
CN107852490A
CN107852490A CN201680042318.3A CN201680042318A CN107852490A CN 107852490 A CN107852490 A CN 107852490A CN 201680042318 A CN201680042318 A CN 201680042318A CN 107852490 A CN107852490 A CN 107852490A
Authority
CN
China
Prior art keywords
present image
video coding
reconstruct
syntactic element
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680042318.3A
Other languages
English (en)
Other versions
CN107852490B (zh
Inventor
刘杉
许晓中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202011627365.9A priority Critical patent/CN112887711B/zh
Publication of CN107852490A publication Critical patent/CN107852490A/zh
Application granted granted Critical
Publication of CN107852490B publication Critical patent/CN107852490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频系统的方法及系统，其使用包括帧间预测模式和帧内块复制模式的编解码模式。确定比特流中一变量来指示重构当前图像单元的两个版本是否被需要。若重构当前图像单元的两个版本被需要，则允许将重构当前图像单元的已环路滤波版本和重构当前图像单元的未环路滤波版本进行存储，并用作参考数据。否则，仅将重构当前图像单元的一个版本存储为参考数据。根据另一方法，将双预测模式转换成单预测模式，以用于某个预测模式，其中，带宽超过已有的最糟糕情况。

Description

使用帧内块复制模式的视频编解码方法及系统
优先权声明
本申请要求在2015年07月27日提出申请号为62/197,197的美国临时专利申请和在2015年10月23日提出申请号为62/245,372的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明涉及使用编解码模式包括帧内块复制(Intra-block copy，IntraBC)模式和帧间预测模式的视频编解码。具体地，本发明涉及降低图像缓存要求且在使用带宽密集(bandwidth-intensive)预测模式时克服带宽问题的技术。
背景技术
高效视频编码(High-efficiency video coding，HEVC)是近年来已发展的一种新编解码标准。在HEVC系统中，H.264/AVC的固定尺寸的宏块由称为编码单元(coding unit，CU)的灵活块替代。编码单元内的像素共享相同的编解码参数，以提高编解码效率。编码单元可以从最大编码单元(largest CU，LCU)开始，其在HEVC中也称为编码树单元(codedtree unit，CTU)。除了编码单元的概念之外，在HEVC中也引进了预测单元(predictionunit，PU)的概念。一旦完成编码单元分层树的分割，根据预测类型和预测单元分割，每个叶编码单元被进一步分割成一个或多个预测单元。HEVC也支持切片(slice)结构，其中图像被分割成切片，且每个切片可以使用其自身的编解码参数或者配置。
随着HEVC标准的发展，也开始了HEVC拓展的发展。HEVC拓展包括范围拓展(rangeextension，RExt)，其目标在于诸如4:2:2和4:4:4的非4:2:0颜色格式，以及诸如每样本12码元、14码元和16码元的更高码元深度视频。利用范围拓展的可能的应用之一是屏幕共享，通过有线连接或者无线连接。由于屏幕内容的具体特性，编解码工具已经被发展并在编解码效率方面表现显著的增益。
帧内块复制预测
在HEVC的屏幕内容编解码的当前发展中，由于其提高了屏幕内容的编解码效率，一些工具已被使用。对于帧内块，使用基于来自于相邻块的重构像素的预测，执行根据传统方法的帧内预测。帧内预测可以自帧内模式集(set of Intra Modes)中选择一帧内模式，帧内模式集包括垂直模式、水平模式和各种角度预测模式。对于HEVC屏幕内容编解码(HEVCscreen content coding，HEVC SCC)，新的帧内编解码模式，称为帧内块复制，已被使用。帧内块复制技术，其开始由Budagavi在AHG8:Video coding using Intra motioncompensation,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP3 and ISO/IEC JTC 1/SC 29/WG 11,13th Meeting:Incheon,KR,18–26 Apr.2013,Document:JCTVC-M0350(以下简称为JCTVC-M0350)中提出。图1所示是根据JCTVC-M0350的一示例，其中使用帧内块复制模式编解码当前编码单元(即110)。预测块(即120)位于距离当前编码单元位移向量(即112)处。在本示例中，查找区域被限制在当前编码树单元、左边编码树单元和左边第二个编码树单元中。从已重构区域中获取预测块。随后，对位移向量和当前编码单元的残差进行编解码，位移向量112也称为块向量(block vector，BV)。已知的是，HEVC采用编码树单元和编码单元块结构作为基础单元，以用于编解码视频数据。每个图像被分割成多个编码树单元，每个编码树单元被递归分割成多个编码单元。在预测阶段，每个编码单元可以被分割成多个块，即预测单元，以执行预测流程。在预测残差被形成以用于每个编码单元之后，与每个编码单元相关的残差被分割成多个块，即变换单元(transformunit，TU)，以用于变换。
在JCTVC-M0350中，在至少如下方面，帧内运动补偿(motion compensation，MC)与用于帧间预测的运动补偿不相同：
·帧内运动补偿的运动向量(motion vector，MV)被限制在1-D(即水平的或者垂直的)，而帧间预测使用2-D运动估计。
·帧内运动补偿的二进制化为固定长度，而帧间预测使用指数哥伦布(exponential-Golomb)。
·帧内运动补偿引进新语法元素来发信运动向量是水平的还是垂直的。
基于JCTVC-M0350，Pang,et al.in Non-RCE3:Intra Motion Compensation with2-D MVs,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013,Document:JCTVC-N0256(以下简称为JCTVC-N0256)公开了一些变形。首先，帧内运动补偿被拓展以支持2-D个运动向量，使得两个运动向量分量均可以同时为非零。这给帧内运动补偿提供了比原始方法更大的灵活性，其中运动向量被限制成严格水平的或者严格垂直的。
在JCTVC-N0256中，公开了两个块向量编解码方法：
·方法1-块向量预测。左侧块向量或者上方块向量被选择为块向量预测子，并且所得到的运动向量差(motion vector difference，BVD)被编解码。一标志用于指示BVD是否为0。当BVD不为0时，第三阶的指数哥伦布码用于编解码BVD的剩余绝对层。另一标志用于编解码这个符号。
·方法2：无块向量预测。使用HEVC中用于BVD的指数哥伦布码来编解码块向量。
JCTVC-N0256中所公开的另一区别是2-D帧内块复制进一步与流水线友好方法结合：
1.不使用插值滤波器。
2.限制了块向量查找区域。两种情况被公开：
a.查找区域为当前编码树单元和左边编码树单元，或者
b.查找区域为当前编码树单元和左边编码树单元的最右侧的4列样本。
在JCTVC-N0256所提出的方法中，2-D帧内块复制、插值滤波器的移除和到当前编码树单元和左边编码树单元的查找区域约束已在草案HEVC范围拓展标准的新版本中使用。
已有SCC草案标准(SCC Draft Standard，SCM)中的帧内块复制
在JCTVC-T0227(Pang,et al.,Non-CE2Test1:Intra block copy and intersignalling unification,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG 16WP 3 and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0227)，帧内块复制模式与帧间编解码模式一致。换句话说，当前图像被处理为参考图像，并被插入到一个或两个参考图像列表中(即列表L0和列表L1)。以与帧间运动向量预测与编解码相同的方式，对块向量预测与编解码进行处理。这个一致简化了编解码设计。
自适应运动分辨率
在JCTVC-S0085(Li,et al.,Adaptive motion vector resolution for screencontent,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,19th Meeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S0085)，标志“use_integer_mv_flag”用于每个切片以指示切片中运动向量的分辨率。如HEVC标准中所指定，如果这个标志为1，则使用整数像素分辨率来表示这个切片中所有已解码的运动向量；否则，使用四分之一像素分辨率来表示运动向量。
当前SCC草案标准中存储器带宽考虑
当重构一个块时，参考块需要用于预测。如果运动向量指向分数位置，则围绕着参考块周围的更多像素也需要用于插值目的。当需要从外部存储器取得参考块及周围的像素时，将根据所使用的存储器模型批量地执行数据获取。例如，如果所使用的存储器模型为4x4样本块，则即使仅需要一个像素，用于访问数据的最小单元也将为4x4像素。因此，比直接相关像素更多的数据将需要被检索出并发送至片上存储器/缓存器，以用于进一步处理。这些数据均涉及存储器带宽消耗。在HEVC中，最糟糕的存储器带宽消耗为用8x8双预测(bi-prediction)模式与具有分数像素运动向量的两个运动向量的情况。当使用帧内块复制模式时，除了用于帧间预测模式的当前图像的已滤波版本之外，当前图像的未滤波版本需要被存储在外部存储器中。这被考虑成对HEVC的额外成本。
在JCTVC-U0078(Rapaka,et al.,CE2:Test 5 on intra block copyconstraints on prediction,Joint Collaborative Team on Video Coding (JCT-VC)ofITU-T SG 16WP 3 and ISO/IEC JTC 1/SC 29/WG 11,21st Meeting:Warsaw,PL,19 June–26 June 2015,Document:JCTVC-U0078)中，当使用帧内块复制时，在8x8双预测模式使用上，施加一些约束。例如，当开启用于帧内块复制的序列参数集(sequence Parameter Set，SPS)标志，且关闭切片头标志use_integer_mv_flag(指示切片中运动向量的分辨率)时，8x8双预测模式的使用被禁能。
当前SCC草案标准中已解码图像缓存器
在HEVC中，所有参考图像被存储在一缓存器中，其称为已解码图像缓存器(decoded picture buffer，DPB)。每当解码一图像时，执行这个，经由环路滤波操作之后的当前已解码图像被放置到DPB中(称为当前已解码图像的已滤波版本)。对于帧内块复制，其参考图像为位于环路滤波器之前的当前已解码图像(称为当前已解码图像的未滤波版本)，其相对于HEVC版本1而言是待存储到DPB中的额外图像。在JCTVC-U0181(Xu,et al.,Onstorage of filtered and unfiltered current decoded pictures,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3 and ISO/IEC JTC1/SC 29/WG 11,21st Meeting:Warsaw,PL,19 June–26 June 2015,Document:JCTVC-U0181)，当前已解码图像的已滤波版本和未滤波版本被放置在DPB中，以用于图像缓存器管理。在完成解码当前图像之后，当前图像的未滤波版本将被丢弃，并且用于这个图像的存储缓存器将被释放。
考虑了当前已解码图像的两个版本相等的情况。这种情况发生在没有环路滤波器(去块(deblocking)或者样本自适应偏移(Sample Adaptive Offset，SAO))用于当前图像的时候。在如JCTVC-U1005(Joshi,et al.,High Efficiency Video Coding(HEVC)ScreenContent Coding:Draft 3,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG 16WP 3 and ISO/IEC JTC 1/SC 29/WG 11,21st Meeting:Warsaw,PL,19 June–26 June 2015,Document:JCTVC-U1005)所描述的当前HEVC SCC工作草案中，称为TwoVersionsOfCurrDecPicFlag的变量用于识别当前图像是否用作参考图像。如果是，则由于图像中环路滤波器的使用，可能存在当前图像的两种不同版本。JCTVC-U1005中所指定的DPB管理被总结如下：
1)经由环路滤波器的调用之后的当前已解码图像被存储在DPB中。一旦完成解码当前图像，这个图像被标记为“用于短期参考”。当解码完成时，这个图像被存储在DPB中以用于后续使用。
2)当TwoVersionsOfCurrDecPicFlag标志等于1时，在环路滤波器的调用之前的当前已解码图像被存储在DPB中，单独的缓存器中。这个图像被标记为“用于长期参考”，并用于帧内块复制补偿。当解码完成时，这个图像自DPB中移除。
随着在当前图像为参考图像时已解码图像缓存器管理中的这些改变，需要施加一些约束来确保已解码图像缓存器管理的功能正常工作。
本发明公开了解决上述提到的问题的方法。
发明内容
本发明公开了一种视频系统的方法及系统，其使用包括帧间预测模式和帧内块复制模式的编解码模式。确定比特流中一变量来指示重构当前图像单元的两个版本是否被需要。若重构当前图像单元的两个版本被需要，则允许将重构当前图像单元的已环路滤波版本和重构当前图像单元的未环路滤波版本进行存储，并用作参考数据。若变量表示重构当前图像单元的两个版本不被需要，则仅将重构当前图像单元的一个版本存储为参考数据。重构当前图像单元的已环路滤波版本对应于重构当前图像单元的去块滤波版本、样本自适应偏移滤波版本中的至少一个。
重构当前图像单元可以对应于重构当前图像。变量可以基于比特流的图像层中的一个或多个语法元素而确定，其中一个或多个语法元素自语法元素组中选择，语法元素组包括表示帧内块复制模式是否被使能以用于当前图像的第一语法元素、表示样本自适应偏移是否被使能的第二语法元素、表示去块滤波器是否被禁能的第三语法元素以及表示去块滤波器覆盖是否被使能的第四语法元素。例如，若第一语法元素表示帧内块复制模式被使能以用于当前图像，并且三个条件中的任何一个为真，则变量被确定以允许重构当前图像单元的两个版本，其中三个条件对应于第二语法元素表示样本自适应偏移被使能，第三语法元素表示去块滤波器是被禁能，以及第四语法元素表示去块滤波器覆盖被使能。
在另一实施例中，重构当前图像单元对应于重构当前切片。变量可以基于比特流的图像层、切片层中至少一个中的一个或多个语法元素而确定，其中一个或多个语法元素自语法元素组中选择，语法元素组包括表示帧内块复制模式是否被使能以用于当前图像的比特流的图像层中的第一语法元素、表示亮度样本自适应偏移是否被使能以用于当前亮度切片的切片层中的第二语法元素、表示色度样本自适应偏移是否被使能以用于当前色度切片的切片层中的第三语法元素以及表示去块滤波器是否被禁能以用于当前切片的切片层中的第四语法元素。例如，若比特流的图像层中的第一语法元素表示帧内块复制模式被使能以用于当前图像，切片层中的第二语法元素表示亮度样本自适应偏移被使能以用于当前亮度切片，切片层中的第三语法元素表示色度样本自适应偏移被使能以用于当前色度切片，且切片层中的第四语法元素表示去块滤波器被禁能以用于当前切片，则变量可以被确定以允许重构当前图像单元的两个版本。
本发明公开了另一种视频系统的方法及系统，其使用包括帧间预测模式和帧内块复制模式的编解码模式，以克服用于某些预测模式的高带宽问题。该方法判断带宽密集预测模式是否被允许。若带宽密集预测模式不被允许，则该方法还判断高带宽双预测模式是否被使用。若高带宽双预测模式被使用，则将高带宽双预测模式转换成单预测模式，以降低所需带宽。
带宽密集双预测模式可以对应于8x8双预测模式。通过使用仅来自于列表0的运动信息，可以将高带宽双预测模式转换成单预测模式。在一个示例中，当下列条件均为真时，将高带宽双预测模式转换成单预测模式：当前图像中的当前块由8x8双预测模式编解码，当前图像的两个版本被使能，由8x8双预测模式编解码的当前块的多个运动向量没有整数值，且由8x8双预测模式编解码的当前块的多个运动向量不相同。
附图说明
图1是帧内块复制模式的示例，其中当前块由当前图像中的一参考块来预测。
图2是根据本发明实施例的使用包括帧内块复制模式和帧间预测模式的编解码模式的一示例性编解码系统的流程图，其中一语法元素用于指示重构当前图像单元(reconstructed current image unit)的两个版本是否被需要。
图3是根据本发明实施例的使用包括帧内块复制模式和帧间预测模式的编解码模式的另一示例性编解码系统的流程图，其中高带宽双预测模式被转换成单预测(uni-prediction)模式，以降低带宽。
具体实施方式
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视权利要求书所界定为准。
如上所述，帧内块复制模式的使用会引起用于参考图像的额外的存储要求和额外的存储器带宽。本发明公开了各种方法以降低用于参考图像的额外的存储要求和/或额外的存储器带宽。
发信帧内块复制模式的使用
当使用帧内块复制，且当前图像的未滤波版本和已滤波版本之间无差异时，根据本发明的一个方法，自使用一些特定预测模式移除约束。
为了指示是否使用帧内块复制模式，根据本方法的第一实施例，两个变量被发信，以指示当前图像是否位于活动参考图像列表(即列表0或者列表1)中。例如，这两个变量可以分别称为CurrPicInList0Flag和CurrPicInList1Flag，以分别用于列表0和列表1。推导出这两个变量的示例性流程如下所示，其中列表0和列表1中的参考图像被检测以确定任何参考图像是否是当前图像。
表1
在本方法的第二实施例中，变量TwoVersCurrDecPicFlag用于确定维持重构当前图像的两个版本是否必需。这两个版本包括已环路滤波版本和未环路滤波版本，其中已环路滤波版本对应于重构当前图像单元的去块滤波版本、SAO滤波(Sample Adaptive Offsetfiltered)版本或者去块滤波且SAO滤波版本。例如，如果不相同，则需要当前图像的两个版本。通过检测当前图像中环路滤波器的使用，可以推导出维持当前图像的两个版本是否必需。如果不使用环路滤波器，则这两个版本之间无差异。一示例性推导流程如表2所示，其中语法元素pps_curr_pic_as_ref_enabled_flag为图像层帧内块复制标志，以指示帧内块复制是否被使能以用于图像。语法元素sample_adaptive_offset_enabled_flag用于指示SAO是否被使能，语法元素pps_deblocking_filter_disabled_flag为图像层标志，以指示去块滤波是否被禁能，语法元素deblocking_filter_override_enabled_flag用于指示去块滤波器覆盖(deblocking-filter-overridec)是否被使能。但是这个标志也可以是序列层标志。
表2
在本方法的第三实施例中，变量TwoVersCurrDecSliceFlag用于确定维持重构当前图像的两个版本是否必需。例如，如果不相同，则需要当前图像的两个版本。通过检测当前图像中环路滤波器的使用，可以推导出维持当前图像的两个版本是否必需。如果不使用环路滤波器，则这两个版本之间无差异。一示例性推导流程如表3所示，其中语法元素pps_curr_pic_as_ref_enabled_flag为图像层帧内块复制标志，以指示帧内块复制是否被使能以用于图像。这个标志也可以由用于帧内块复制使用的切片层标志或者序列层标志来替换。语法元素slice_sao_luma_flag为切片层标志，以指示亮度SAO是否被使能以用于当前亮度切片。语法元素slice_sao_chroma_flag为切片层标志，以指示色度SAO是否被使能以用于当前色度切片。语法元素slice_deblocking_filter_disabled_flag为切片层标志，以指示去块滤波器是否被禁能以用于当前切片。
表3
本发明的另一方面确定禁能存储器带宽密集模式(memory bandwidth intensivemode)的使用的条件。具体地，8x8双预测模式被认为成一个这样的模式。
在第一示例中，帧内块复制使用的发信位于图像层或者切片层中。每个图像或者切片可以确定是否使用帧内块复制。当帧内块复制不用于一图像或者切片时，无需约束8x8双预测模式的使用，以用于这个图像或者切片。当帧内块复制被使能用于当前图像或者切片，并且当前图像或者切片中所有运动向量(包括块向量)使用整数分辨率时，无需约束8x8双预测模式的使用，以用于这个图像或者切片。当前图像或者切片中运动向量(包括块向量)的整数分辨率可以由语法元素use_integer_mv_flag等于1来表示。
禁能存储器带宽密集模式的使用的条件的一种示例性决策如下所示，其中语法元素inter_pred_idc等于2表示双预测模式，nPbW和nPbH分别表示预测单元的宽度和高度：
如果语法元素pps_curr_pic_as_ref_enabled_flag等于1，且use_integer_mv_flag等于0，则需要用于已解码块的下列至少一个不为真：
·inter_pred_idc[x0][y0]等于2，
·nPbW等于8，
·nPbH等于8。
在第二示例中，帧内块复制使用的发信位于图像层、切片头或者序列层中。当当前图像既不位于活动参考图像列表0中，也不位于活动参考图像列表1中时，帧内块复制模式将不用于图像中的切片。因此，无需约束这图像中的8x8双预测模式的使用。
禁能存储器带宽密集模式的使用的条件的一种示例性决策如下所示：
如果语法元素use_integer_mv_flag等于0，且CurrPicInList0Flag或者CurrPicInList1Flag等于1，则需要用于已解码块的下列至少一个不为真：
·inter_pred_idc[x0][y0]等于2，
·nPbW等于8，
·nPbH等于8。
在第三示例中，滤波操作在图像层处被测量。在这种情况中，当去块滤波器和SAO滤波器被禁能以用于整个图像时，已滤波当前图像和未滤波当前图像之间无差异。因此，由于未滤波当前图像与已滤波当前图像相同，无需单独将未滤波当前图像写入到存储器。因此，无需约束这个图像中的8x8双预测模式的使用。
禁能存储器带宽密集模式的使用的条件的一种示例性决策如下所示：
如果语法元素use_integer_mv_flag等于0，且TwoVersCurrDecPicFlag等于1，则需要用于已解码块的下列至少一个不为真：
·inter_pred_idc[x0][y0]等于2，
·nPbW等于8，
·nPbH等于8。
在第四示例中，滤波操作在切片层处被测量。在这种情况中，当去块滤波器和SAO滤波器被禁能以用于整个切片时，已滤波当前切片和未滤波当前切片之间无差异。因此，由于未滤波当前图像与已滤波当前图像相同，无需单独将未滤波当前切片写入到存储器。因此，无需约束这个图像中的8x8双预测模式的使用。
禁能存储器带宽密集模式的使用的条件的一种示例性决策如下所示：
如果语法元素use_integer_mv_flag等于0，且TwoVersCurrDecSliceFlag等于1，则需要用于已解码块的下列至少一个不为真：
·inter_pred_idc[x0][y0]等于2，
·nPbW等于8，
·nPbH等于8。
在所有上述示例中，“use_integer_mv_flag等于0”的条件可以被移除。这意味着，用其他条件，无论切片中的运动向量的分辨率如何，都不能使用8x8双预测模式。
在所有上述示例中，禁能的高带宽双预测模式(即8x8双预测模式)可以由其他存储器带宽密集模式替换，例如，8x4双预测模式或者4x8双预测模式、非对称运动分割(asymmetric motion partition，AMP)模式等。可选地，如果变量TwoVersCurrDecPicFlag或者变量TwoVersCurrDecSliceFlag表示重构当前图像单元的两个版本被需要，则通过仅使用仅来自于列表0的运动信息，高带宽双预测模式被转换成单预测模式。
在当前图像为一参考图像时关于预测模式使用的约束
根据另一方法，当某个预测模式(在本发明中称为带宽密集预测模式)的数据要求超过已有的最糟糕情况时，这个预测模式被禁止使用。例如，双方向预测(或者双预测)是这个预测模式的候选。当用于双预测模式的两个运动向量不为整数值，且由这两个运动向量所指向的预测样本块不相同时，这具体为真。除了写入/存储位于环路滤波器流程之后的当前图像中的重构样本以用于帧内块复制之外，在需要写入/存储位于环路滤波器流程之前的当前图像中的重构样本时，其也为真。根据本方法，当满足所有上述条件时，已解码的双预测模式被转换成单预测模式。例如，通过使用仅来自于其第一列表的运动信息，并丢弃来自于其第二列表的运动信息(即保留L0，丢弃L1)，可以实现这个。这样，降低了数据访问要求。在HEVC中，具有8x8亮度块尺寸的双预测模式被考虑成具有最密集数据访问要求的预测模式。
在一个实施例中，在帧间编解码的运动向量被推导出且存储之后，在解码流程中完成转换(即从8x8双预测模式到8x8单预测模式)，以用于如JCTVC-U1005的8.5.3.2中所指定的“用于运动向量分量和参考索引的推导流程”。两个变量的示例性推导如下所示，其中变量EightByEightBiPredHasNoIntegerMv指示8x8双预测块不具有整数运动向量，变量EightByEightBiPredNotIdenticalMv指示8x8双预测块的运动向量不相等：
EightByEightBiPredHasNoIntegerMv＝！((mvL0&0x3＝＝0)
||(mvL1&0x3＝＝0))，以及
EightByEightBiPredNotIdenticalMv＝！((mvL0＝＝mvL1)&&
(DiffPicOrderCnt(RefPicList0[refIdxL0],RefPicList1[refIdxL1])＝＝0))。
在一个实施例中，一条件集可以被检测以确定是否将双预测转换成单预测。例如，如果当前块由8x8双预测模式编解码，当前图像的两个版本被使能，8x8双预测块没有整数值，且8x8双预测编解码的当前块的运动向量不相同，则可以将双预测转换成单预测。因此，当下面条件中的所有为真时，可以将双预测转换成单预测：
–predFlagL0等于1，
–predFlagL1等于1，
–nPbSw等于8，
–nPbSh等于8，
–TwoVersionsOfCurrDecPicFlag等于1，
–EightByEightBiPredHasNoIntegerMv等于1，以及
–EightByEightBiPredNotIdenticalMv等于1。
在上述条件中，predFlagL0和predFlagL1分别为用于列表0和列表1的预测列表使用标志。当这个标志等于1时，其表示相应的预测列表被使用。
从双预测到单预测的转换可以通过设置refIdxL1＝-1和predFlagL1＝0来完成。换言之，仅来自于列表0的运动信息将被使用，而来自于列表1的运动信息不被使用。
在另一个实施例中，当满足所有上述条件时，双预测模式不被允许，且相应的语法将在比特流中不存在。在HEVC中，具有8x8亮度块尺寸的双预测模式被考虑成具有最密集数据访问要求的预测模式。
在一个实施例中，如下，基于变量EightByEightBiPredHasNoIntegerMv和变量EightByEightBiPredNotIdenticalMv，可以确定不允许8x8双预测的使用的约束：
EightByEightBiPredHasNoIntegerMv＝！((mvL0&0x3＝＝0)
||(mvL1&0x3＝＝0))，以及
EightByEightBiPredNotIdenticalMv＝！((mvL0＝＝mvL1)&&
(DiffPicOrderCnt(RefPicList0[refIdxL0],RefPicList1[refIdxL1])＝＝0))。
在一个实施例中，比特流一致性的要求是，下面条件中至少一个不为真：
–predFlagL0等于1，
–predFlagL1等于1，
–nPbSw等于8，
–nPbSh等于8，
–TwoVersionsOfCurrDecPicFlag等于1，
–EightByEightBiPredHasNoIntegerMv等于1，或者
–EightByEightBiPredNotIdenticalMv等于1。
对于上述条件，当任何一个不为真时，意味着，最糟糕带宽情况没有发生以用于当前块。例如，如果predFlagL0不等于1，则列表0不被使用。这意味着不使用双预测。如果nPbSw不等于8，则意味着块不为8x8。
图2示出了根据本发明实施例的使用包括帧内块复制模式和帧间预测模式的编解码模式的一示例性编解码系统的流程图，其中一个或多个语法元素用于指示重构当前图像的两个版本是否被需要。在步骤210中，这个系统确定比特流中的一变量来指示重构当前图像单元的两个版本是否被需要，其中这个变量基于一个或多个语法元素而确定。在步骤220中，检测这个变量以确定重构当前图像单元的两个版本是否被需要。如果结果为“是”，则执行步骤230。如果结果为“否”，则执行步骤240。在步骤230中，允许将重构当前图像单元的已环路滤波版本和重构当前图像单元的未环路滤波版本进行存储，并用作参考数据。在步骤240中，仅将重构当前图像单元的一个版本存储为参考数据。
图3示出了根据本发明实施例的使用包括帧内块复制模式和帧间预测模式的编解码模式的另一示例性编解码系统的流程图，其中高带宽双预测模式被转换成单预测模式，以降低带宽。如步骤310所示，系统确定带宽密集预测模式是否被允许。在一个示例中，如果当前图像的两个版本不被使能，则带宽密集预测模式被允许。在另一示例中，如果当前块的运动向量在水平方向或者垂直方向上具有整数值，则带宽密集预测模式被允许。在步骤320中，检测带宽密集预测模式是否被允许。如果结果为“是”，则流程结束。如果结果为“否”，则执行步骤330。在步骤330中，系统确定高带宽双预测模式是否被使用。在步骤340中，检测高带宽双预测模式是否被使用。如果结果为“否”，则流程结束。如果结果为“是”，则执行步骤350。在步骤350中，将高带宽双预测模式转换成单预测模式。
本发明所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况，本领域的技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，已经使用特定语法和语义来示出不同示例，以实施本发明的实施例。在不脱离本发明的精神的情况，通过用等价的语法和语义来替换该语法和语义，本领域的技术人员可以实施本发明。
上述说明，使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的编程语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (20)

1.一种视频编解码方法，其特征在于，使用包括帧间预测模式和帧内块复制模式的编解码模式，该方法包括：
确定一变量来指示重构当前图像单元的两个版本是否被需要；
若所述变量表示所述重构当前图像单元的两个版本被需要，则允许将所述重构当前图像单元的已环路滤波版本和所述重构当前图像单元的未环路滤波版本进行存储，并用作参考数据；以及
若所述变量表示所述重构当前图像单元的两个版本不被需要，则仅将所述重构当前图像单元的一个版本存储为参考数据。
2.如权利要求1中所述的视频编解码方法，其特征在于，所述重构当前图像单元的所述已环路滤波版本对应于所述重构当前图像单元的去块滤波版本、样本自适应偏移滤波版本中的至少一个。
3.如权利要求1中所述的视频编解码方法，其特征在于，所述重构当前图像单元对应于重构当前图像。
4.如权利要求1中所述的视频编解码方法，其特征在于，所述变量基于比特流的图像层中的一个或多个语法元素而确定，其中所述一个或多个语法元素自语法元素组中选择，所述语法元素组包括表示所述帧内块复制模式是否被使能以用于当前图像的第一语法元素、表示样本自适应偏移是否被使能的第二语法元素、表示去块滤波器是否被禁能的第三语法元素以及表示去块滤波器覆盖是否被使能的第四语法元素。
5.如权利要求4中所述的视频编解码方法，其特征在于，若所述第一语法元素表示所述帧内块复制模式被使能以用于当前图像，并且三个条件中的任何一个为真，则所述变量被确定以允许所述重构当前图像单元的所述两个版本，其中所述三个条件对应于所述第二语法元素表示样本自适应偏移被使能，所述第三语法元素表示去块滤波器是被禁能，以及所述第四语法元素表示去块滤波器覆盖被使能。
6.如权利要求1中所述的视频编解码方法，其特征在于，所述重构当前图像单元对应于重构当前切片。
7.如权利要求1中所述的视频编解码方法，其特征在于，所述变量基于比特流的图像层、切片层中至少一个中的一个或多个语法元素而确定，其中所述一个或多个语法元素自语法元素组中选择，所述语法元素组包括表示所述帧内块复制模式是否被使能以用于当前图像的所述比特流的所述图像层中的第一语法元素、表示亮度样本自适应偏移是否被使能以用于当前亮度切片的所述切片层中的第二语法元素、表示色度样本自适应偏移是否被使能以用于当前色度切片的所述切片层中的第三语法元素以及表示去块滤波器是否被禁能以用于当前切片的所述切片层中的第四语法元素。
8.如权利要求7中所述的视频编解码方法，其特征在于，若所述比特流的所述图像层中的所述第一语法元素表示所述帧内块复制模式被使能以用于当前图像，所述切片层中的所述第二语法元素表示亮度样本自适应偏移被使能以用于当前亮度切片，所述切片层中的所述第三语法元素表示色度样本自适应偏移被使能以用于当前色度切片，且所述切片层中的所述第四语法元素表示去块滤波器被禁能以用于当前切片，则所述变量被确定以允许所述重构当前图像单元的所述两个版本。
9.如权利要求1中所述的视频编解码方法，其特征在于，若所述变量表示所述重构当前图像单元的两个版本被需要，则将高带宽双预测模式转换成单预测模式。
10.如权利要求9中所述的视频编解码方法，其特征在于，所述高带宽双预测模式对应于8x8双预测模式。
11.如权利要求10中所述的视频编解码方法，其特征在于，通过使用仅来自于列表0的运动信息，将所述高带宽双预测模式转换成所述单预测模式。
12.一种视频编解码系统，其特征在于，使用包括帧间预测模式和帧内块复制模式的编解码模式，该系统包括一个或多个电子电路，用于：
确定比特流中一变量来指示重构当前图像单元的两个版本是否被需要；
若所述变量表示所述重构当前图像单元的两个版本被需要，则允许将所述重构当前图像单元的已环路滤波版本和所述重构当前图像单元的未环路滤波版本进行存储，并用作参考数据；以及
若所述变量表示所述重构当前图像单元的两个版本不被需要，则仅将所述重构当前图像单元的一个版本存储为参考数据。
13.一种视频编解码系统，其特征在于，使用包括帧间预测模式和帧内块复制模式的编解码模式，包括：
判断带宽密集预测模式是否被允许；以及
若所述带宽密集预测模式不被允许，则：
判断高带宽双预测模式是否被使用；以及
若所述高带宽双预测模式被使用，则将所述高带宽双预测模式转换成单预测模式。
14.如权利要求13中所述的视频编解码方法，其特征在于，所述高带宽双预测模式对应于8x8双预测模式。
15.如权利要求14中所述的视频编解码方法，其特征在于，通过使用仅来自于列表0的运动信息，将所述高带宽双预测模式转换成所述单预测模式。
16.如权利要求14中所述的视频编解码方法，其特征在于，若当前图像中的当前块由所述8x8双预测模式编解码，所述当前图像的两个版本被使能，由所述8x8双预测模式编解码的所述当前块的多个运动向量没有整数值，且由所述8x8双预测模式编解码的所述当前块的多个运动向量不相同，则将所述高带宽双预测模式转换成所述单预测模式。
17.如权利要求13中所述的视频编解码方法，其特征在于，若所述当前图像的两个版本不被使能，则允许所述带宽密集双预测模式。
18.如权利要求13中所述的视频编解码方法，其特征在于，若当前块的多个运动向量在水平方向或者垂直方向上具有整数值，则允许所述带宽密集双预测模式。
19.如权利要求13中所述的视频编解码方法，其特征在于，通过使用仅来自于列表0的运动信息，将所述高带宽双预测模式转换成所述单预测模式。
20.一种视频编解码系统，其特征在于，使用包括帧间预测模式和帧内块复制模式的编解码模式，包括：
判断带宽密集预测模式是否被允许；以及
若所述带宽密集预测模式不被允许，则：
判断高带宽双预测模式是否被使用；以及
若所述高带宽双预测模式被使用，则将高带宽双预测模式转换成单预测模式。
CN201680042318.3A 2015-07-27 2016-07-26 一种视频编解码方法及系统 Active CN107852490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011627365.9A CN112887711B (zh) 2015-07-27 2016-07-26 一种视频编解码方法及系统

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562197197P 2015-07-27 2015-07-27
US62/197,197 2015-07-27
US201562245372P 2015-10-23 2015-10-23
US62/245,372 2015-10-23
PCT/CN2016/091674 WO2017016468A1 (en) 2015-07-27 2016-07-26 Method of system for video coding using intra block copy mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011627365.9A Division CN112887711B (zh) 2015-07-27 2016-07-26 一种视频编解码方法及系统

Publications (2)

Publication Number Publication Date
CN107852490A true CN107852490A (zh) 2018-03-27
CN107852490B CN107852490B (zh) 2021-01-26

Family

ID=57884476

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011627365.9A Active CN112887711B (zh) 2015-07-27 2016-07-26 一种视频编解码方法及系统
CN201680042318.3A Active CN107852490B (zh) 2015-07-27 2016-07-26 一种视频编解码方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011627365.9A Active CN112887711B (zh) 2015-07-27 2016-07-26 一种视频编解码方法及系统

Country Status (7)

Country Link
US (1) US11146794B2 (zh)
EP (1) EP3318060B1 (zh)
KR (2) KR102264767B1 (zh)
CN (2) CN112887711B (zh)
AU (1) AU2016299036B2 (zh)
CA (1) CA2993104C (zh)
WO (1) WO2017016468A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572670A (zh) * 2018-06-05 2019-12-13 北京字节跳动网络技术有限公司 帧内块复制和双向光流的交互
WO2020108649A1 (en) * 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
WO2020134884A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编码及视频解码
WO2020143831A1 (en) * 2019-01-12 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Mv precision constraints
CN111436226A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
WO2020156549A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer access methods for intra block copy in video coding
CN111726630A (zh) * 2019-03-18 2020-09-29 华为技术有限公司 基于三角预测单元模式的处理方法及装置
CN113545065A (zh) * 2019-03-06 2021-10-22 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
CN113545038A (zh) * 2019-03-06 2021-10-22 北京字节跳动网络技术有限公司 依赖于尺寸的帧间编解码
US11172196B2 (en) 2018-09-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11197007B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block MV inheritance between color components
US11197003B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
CN114208189A (zh) * 2019-08-06 2022-03-18 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
CN114208196A (zh) * 2019-08-10 2022-03-18 北京字节跳动网络技术有限公司 帧间编解码模式的位置限制
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
WO2020015706A1 (en) 2018-07-18 2020-01-23 Mediatek Inc. Method and apparatus of motion compensation bandwidth reduction for video coding system utilizing multi-hypothesis
US11509919B2 (en) * 2018-10-17 2022-11-22 Tencent America Reference sample memory size restrictions for intra block copy
KR102461123B1 (ko) * 2019-03-11 2022-10-28 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020184990A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 Ibc 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220166986A1 (en) * 2019-03-13 2022-05-26 Lg Electronics Inc. Image encoding/decoding method and device using ibc prediction, and method for transmitting bitstream
IL296930A (en) 2020-03-31 2022-12-01 Ericsson Telefon Ab L M Video processing using syntax elements
TWI761166B (zh) * 2020-04-01 2022-04-11 聯發科技股份有限公司 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
US11917141B2 (en) * 2020-05-20 2024-02-27 Qualcomm Incorporated High-level deblocking filter (DBF), adaptive loop filter (ALF) and sample adaptive offset (SAO) control, and adaptation parameter set (APS) number constraint in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301465A1 (en) * 2013-04-05 2014-10-09 Texas Instruments Incorporated Video Coding Using Intra Block Copy
WO2015031806A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding
WO2015035449A1 (en) * 2013-09-13 2015-03-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2015052273A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Method and apparatus for displacement vector component prediction in video coding and decoding
CN104754343A (zh) * 2013-12-27 2015-07-01 财团法人工业技术研究院 图像处理方法与系统、解码方法、编码器与解码器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1161839A1 (en) * 1999-12-28 2001-12-12 Koninklijke Philips Electronics N.V. Snr scalable video encoding method and corresponding decoding method
US8204122B2 (en) * 2007-07-23 2012-06-19 Lsi Corporation Compressed non-reference picture reconstruction from post-processed reference pictures
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US20130272409A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
US20130315296A1 (en) * 2012-05-22 2013-11-28 Broadcom Corporation Systems and methods for adaptive selection of video encoding resources
KR102219841B1 (ko) 2012-12-10 2021-02-25 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
RU2630888C1 (ru) 2013-11-14 2017-09-13 ЭйджЭфАй Инновэйшн Инк. Способ видеокодирования с использованием предсказания на основании копии внутрикадрового блока
CN110087089B (zh) 2013-11-27 2023-03-10 寰发股份有限公司 用于颜色视频数据的视频编解码方法
CN104135662B (zh) * 2014-08-19 2017-04-26 哈尔滨工业大学 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法
US9877024B2 (en) * 2015-03-06 2018-01-23 Qualcomm Incorporated Low complexity sample adaptive offset (SAO) coding
WO2016196843A1 (en) * 2015-06-03 2016-12-08 Apple Inc. Techniques for resource conservation during performance of intra block copy prediction searches

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301465A1 (en) * 2013-04-05 2014-10-09 Texas Instruments Incorporated Video Coding Using Intra Block Copy
WO2015031806A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding
WO2015035449A1 (en) * 2013-09-13 2015-03-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2015052273A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Method and apparatus for displacement vector component prediction in video coding and decoding
CN104754343A (zh) * 2013-12-27 2015-07-01 财团法人工业技术研究院 图像处理方法与系统、解码方法、编码器与解码器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENGHAO LIU ET AL: "On operation of DPB in Screen Content Coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
KRISHNA RAPAKA ET AL: "CE2 : Test 5 on intra block copy constraints on prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
RAJAN JOSHI ET AL: "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 3", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509915B2 (en) 2018-06-05 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11831884B2 (en) 2018-06-05 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and BIO
CN110572670A (zh) * 2018-06-05 2019-12-13 北京字节跳动网络技术有限公司 帧内块复制和双向光流的交互
US11523123B2 (en) 2018-06-05 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11973962B2 (en) 2018-06-05 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and affine
CN110572670B (zh) * 2018-06-05 2022-05-20 北京字节跳动网络技术有限公司 帧内块复制和双向光流的交互
US11202081B2 (en) 2018-06-05 2021-12-14 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and BIO
US11659192B2 (en) 2018-06-21 2023-05-23 Beijing Bytedance Network Technology Co., Ltd Sub-block MV inheritance between color components
US11895306B2 (en) 2018-06-21 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Component-dependent sub-block dividing
US11197007B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block MV inheritance between color components
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
US11197003B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US11968377B2 (en) 2018-06-21 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Unified constrains for the merge affine mode and the non-merge affine mode
US11202065B2 (en) 2018-09-24 2021-12-14 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
US11616945B2 (en) 2018-09-24 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
US11172196B2 (en) 2018-09-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN111436226A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
CN111436229A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 帧间预测的带宽控制方法
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US11825113B2 (en) 2018-11-29 2023-11-21 Beijing Bytedance Network Technology Co., Ltd Interaction between intra block copy mode and inter prediction tools
US11095917B2 (en) 2018-11-29 2021-08-17 Beijing Bytedance Network Technology Co., Ltd. Affine inheritance method in intra block copy mode
US11115676B2 (en) 2018-11-29 2021-09-07 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
WO2020108649A1 (en) * 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
WO2020134884A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编码及视频解码
WO2020134880A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编码及视频解码
WO2020143831A1 (en) * 2019-01-12 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Mv precision constraints
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
WO2020156549A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer access methods for intra block copy in video coding
US11438613B2 (en) 2019-02-02 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Buffer initialization for intra block copy in video coding
US11375217B2 (en) 2019-02-02 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
CN113383541B (zh) * 2019-02-02 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区访问方法
CN113383541A (zh) * 2019-02-02 2021-09-10 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区访问方法
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
CN113545038B (zh) * 2019-03-06 2023-10-24 北京字节跳动网络技术有限公司 依赖于尺寸的帧间编解码
CN113545065B (zh) * 2019-03-06 2023-12-12 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
CN113545065A (zh) * 2019-03-06 2021-10-22 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
CN113545038A (zh) * 2019-03-06 2021-10-22 北京字节跳动网络技术有限公司 依赖于尺寸的帧间编解码
CN111726630B (zh) * 2019-03-18 2024-03-15 华为技术有限公司 基于三角预测单元模式的处理方法及装置
CN111726630A (zh) * 2019-03-18 2020-09-29 华为技术有限公司 基于三角预测单元模式的处理方法及装置
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
CN114208189A (zh) * 2019-08-06 2022-03-18 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
CN114208189B (zh) * 2019-08-06 2024-01-16 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
CN114208196A (zh) * 2019-08-10 2022-03-18 北京字节跳动网络技术有限公司 帧间编解码模式的位置限制
CN114208196B (zh) * 2019-08-10 2023-11-14 北京字节跳动网络技术有限公司 帧间编解码模式的位置限制
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering

Also Published As

Publication number Publication date
EP3318060B1 (en) 2021-05-26
EP3318060A4 (en) 2019-01-16
KR102264767B1 (ko) 2021-06-14
WO2017016468A1 (en) 2017-02-02
EP3318060A1 (en) 2018-05-09
KR20180030996A (ko) 2018-03-27
US20200084454A1 (en) 2020-03-12
CN107852490B (zh) 2021-01-26
AU2016299036A1 (en) 2018-02-22
CA2993104C (en) 2021-03-02
AU2016299036B2 (en) 2019-11-21
CN112887711A (zh) 2021-06-01
CA2993104A1 (en) 2017-02-02
CN112887711B (zh) 2023-06-30
KR102127488B1 (ko) 2020-06-30
KR20200078689A (ko) 2020-07-01
US11146794B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN107852490A (zh) 使用帧内块复制模式的视频编解码方法及系统
CN106797229B (zh) 视频编码方法
CN107852505A (zh) 用于使用帧内块复制模式的视频解码错误处理的方法和装置
CN106416243A (zh) 利用基于帧内图像区块复制预测的视频编码方法
CN104937939B (zh) 用于时间运动矢量预测符标志的编码器和解码器及其方法
CN107925769A (zh) 用于帧内块复制模式的已解码图像缓存器的方法和系统
CN113796077B (zh) 视频编解码之亮度mpm列表导出的方法及装置
CN105532000B (zh) 用于对视频数据进行编码和解码的方法、设备和系统
CN109644271A (zh) 用于二叉树分割块的确定候选集的方法及装置
US11109056B2 (en) Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode
CN106797466A (zh) 用于帧内块复制的解块滤波
CN107852499A (zh) 用于在视频编解码中减少最坏情况下的带宽的约束帧内块复制的方法
CN107079161A (zh) 用于屏幕内容以及视频编码的帧内图片块复制的方法
CN106797476A (zh) 帧内bc及帧间统一
CN106797477A (zh) 用于帧内bc和帧间预测统一的amvp和合并候选者列表导出
CN106797475A (zh) 用于屏幕内容编码和视频编码的块向量剪切和编码的方法
CN107534773A (zh) 一种用于帧内块复制参考列表构造的方法和装置
JP2022529369A (ja) 符号化映像の量子化残差差分パルス符号変調表現
CN113812160B (zh) 用于屏幕内容编解码的最大可能模式列表构建
KR20230003061A (ko) 모션 정밀 신택스을 위한 엔트로피 코딩
RU2807214C2 (ru) Ограничение представления дифференциальной импульсно-кодовой модуляции квантового остатка кодированного видео
TW202349959A (zh) 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策
CN114424534A (zh) 视频编码的色度直接模式产生方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220524

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Patentee before: MEDIATEK Inc.

TR01 Transfer of patent right