CN111818340A - 一种管理解码图像缓存器并解码视频比特流的方法 - Google Patents

一种管理解码图像缓存器并解码视频比特流的方法 Download PDF

Info

Publication number
CN111818340A
CN111818340A CN202010460921.1A CN202010460921A CN111818340A CN 111818340 A CN111818340 A CN 111818340A CN 202010460921 A CN202010460921 A CN 202010460921A CN 111818340 A CN111818340 A CN 111818340A
Authority
CN
China
Prior art keywords
buffer
picture
image
current
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010460921.1A
Other languages
English (en)
Other versions
CN111818340B (zh
Inventor
许晓中
刘杉
柳成浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111818340A publication Critical patent/CN111818340A/zh
Application granted granted Critical
Publication of CN111818340B publication Critical patent/CN111818340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种使用帧内块复制(Intra Block Copy，IBC)模式的视频解码系统的管理解码图像缓存器的方法及装置。在一个实施例中，将位于环路滤波之后的一个或者多个之前重构图像存储到解码图像缓存器(decoded picture buffer，DPB)中。对于解码当前图像而言，在解码图像缓存器中分配第一图像缓存器和第二图像缓存器。未滤波版本和已滤波版本的当前重构图像被存储在第一图像缓存器和第二图像缓存器中。在当前图像被解码之后，未滤波版本自解码图像缓存器中移除。在另一实施例中，未滤波版本和已滤波版本的当前重构图像被存储。其中一个被存储在解码图像缓存器中，而另一个被存储在临时缓存器中。在当前图像被解码之后，未滤波版本自解码图像缓存器或者临时缓存器中移除。

Description

一种管理解码图像缓存器并解码视频比特流的方法
优先权声明
本申请主张2015年05月29日提出的申请号为62/168,144的美国临时专利申请、2015年06月22日提出的申请号为62/182,685的美国临时专利申请以及2015年06月24日提出的申请号为62/183,799的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明涉及使用包含帧内块复制(Intra-block copy，IntraBC)模式和帧间预测模式的编解码模式的视频编解码。具体而言，本发明涉及管理解码图像缓存器(decodedpicture buffer，DPB)的技术。
背景技术
高效视频编码(High Efficiency Video Coding，HEVC)是近年来已经发展的新的编码标准。在HEVC系统中，H.264/AVC的固定尺寸的宏块(macroblock)由被称为编码单元(coding unit，CU)的可变块(flexible block)取代。CU内的像素共享相同的编解码参数以提高编解码效率。CU可能从最大CU(largest CU，LCU)开始，其也被称为HEVC中的编码树单元(coded tree unit，CTU)。除了编码单元的概念，HEVC中也引进了预测单元(predictionunit，PU)的概念。一旦完成CU分层树的分割，根据预定类型和PU分割，每个叶CU则被进一步分割成一个或者多个PU。
在用于HEVC标准的屏幕内容编解码的当前发展中，一些工具因其在屏幕内容的编解码效率上的改善而已被使用。对于帧内块，根据传统的方法，使用基于来自于相邻块的重构像素的预测来执行帧内预测。帧内预测可以从帧内模式集(set of Intra Modes)中选择一个帧内模式，该帧内模式集包括垂直模式、水平模式和各种角度预测模式。对于HEVC屏幕内容编解码，被称为帧内块复制(Intra-block copy，IntraBC)的新编解码模式已被使用。
IntraBC使用在环路滤波器之前的当前图像中的重构样本作为用于预测的参考图像。除了在环路滤波器之后的已滤波图像，这未滤波图像需被存储。为了存储在环路滤波器之前的重构样本，可能需要额外的存储器和存储器带宽(memory bandwidth)，以分别用于读取和写入。在环路滤波器之前的所有重构样本用作用于IntraBC预测的参考的情况下，位于环路滤波器之前的整个重构图像需被存储。因此，环路滤波器之前的当前重构图像和环路滤波器之后的当前重构图像需被存储，以分别用于IntraBC预测和时间预测(temporalprediction)。因此，帧内块复制存储访问使得存储器带宽变大。另外，其也引起额外的解码图像缓存器。
为了存储环路滤波器之前的额外的重构样本，部分8：HEVC屏幕内容编解码(Screen Content Coding，SCC)：草案3(Joshi,et al.,HEVCScreen Content CodingDraft Text 3,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1005)的一般解码过程被修改以使得DPB中的图像存储缓存器(picture storagebuffer)被分配给当前图像。在HEVC SCC：草案3中，在curr_pic_as_ref_enabled_flag等于1的情况下，当前重构图像被标记为"用于长期参考(long-term reference)"。当curr_pic_as_ref_enabled_flag等于1时，在环路滤波之前的当前重构图像的已解码样本值被存储到分配给当前图像的图像存储缓存器。完成所有切片(slice)的解码之后，环路滤波器之后的整个当前已解码图像被存储在分配给当前图像的图像存储缓存器中，并被标记为"用于短期参考(short-term reference)"。在HEVC和HEVC SCC：草案3中，解码图像被HEVC SCC：草案3的附录(Annex)C.3中的解码图像缓存器的操作管理，其由包含从DPB中图像移除(即子从句C.3.2)、图像输出(即子从句C.3.3)以及当前解码图像标记和存储(即子从句C.3.4)的规则的过程集合组成。但是，DPB的操作不能适当地被修改以用于下面将讨论的当前重构图像可能用作参考图像的情景。
DPB的操作指定(specify)每个操作何时发生，使得DPB存储度(fullness)可以被适当地控制，且DPB存储度不会超过DPB最大尺寸限度。在从DPB中图像移除的子从句中，对于从DPB中被移除的每个图像而言，DPB存储度将减去1。在当前解码图像标记和存储的子从句中，当前解码图像被存储在空的图像存储缓存器中的DPB中，且DPB存储度将增加1。但是，在附录C.3中，在环路滤波器之前的当前图像的存储和DPB存储度的更新将不在DPB的操作中被指定。因此，DPB的操作不能被适当地管理。
如上述段落中所述，存在引进额外的存储器带宽以用于将位于环路之前的重构样本读取和写入到存储器中的问题。在核心实验2(Core Experiment 2，CE2)：JCTVC-T1102(Rapaka,et al.,Description of Core Experiment 2(CE2):Intra block copy memoryaccess,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1102)中的帧内块复制存储器访问中，为了避免引起一个额外的图像存储器缓存器(memory buffer)和带宽，以用于读取和写入除了环路滤波器之后的样本之外的位于环路滤波器之前的重构样本，存储器带宽降低被评估。在本发明中，位于环路滤波器之前的重构样本也被称为未滤波重构样本。在本发明中，位于环路滤波器之后的重构样本也被称为已滤波重构样本。
两种策略的工作正在进行以解决这个问题。在第一策略中，JCTVC-S0145(Rapaka,et al.,Bandwidth reduction method for intra block copy,Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,19th Meeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S0145)公开了一种方法，以在帧内块复制模式用于预测时降低平均带宽。JCTVC-S0145是基于并不是所有当前图像的之前未滤波解码样本用于以帧内块复制模式的预测的观察。在JCTVC-S0145中，该方法指示之前解码的编码树块(coded tree block，CTB)中的哪个用于帧内块复制预测。根据JCTVC-S0145，对于片头中的每个块发送一个标志，当图像参数集(PPS)层标志指示在片头中出现前一个标志时，需要存储哪些CTB以减少平均带宽。但是，关于切片中需要多少CTB以及需要提前发送多少标志，JCTVC-S0145的方法已被质疑。此外，JCTVC-S0145中并没有包含DPB管理方法。位于环路滤波器之前的重构样本是否被存储到DPB内的存储器缓存器中或者DPB外部是不清楚的。
在第二种策略中，JCTVC-T0045(Lainema,et al.,AHG10:Memory bandwidthreduction for intra block copy,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0045)和JCTVC-T0051(Laroche,et al.,AHG10:On IBCmemory reduction,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0051)公开了一种方法，其通过指示哪个CTB用于帧内块复制预测而存储位于环路滤波器之前的重构样本或者位于环路滤波器之后的重构样本，进而解决与帧内块复制相关的增加的带宽和存储的问题。总体利益是保持帧内块复制的存储器带宽符合HEVC帧间模式指定的限制。意味着即便在帧内块复制的情景中，仅一个重构图像缓存器可以用于每个图像。JCTVC-T0051也公开了一种方法，其存储位于环路滤波器之前的重构样本或者环路滤波器之后的重构样本到典型地位于DPB外部的图像存储缓存器中。JCTVC-T0051的附录C.3中的DPB的操作可以被管理，其与下面将讨论的HEVC版本1中的相似。另外，在JCTVC-T0051中，当前CTB和之前CTB总是被认为是对帧内块复制预测可用。因此，在JCTVC-T0051中需要额外的存储器以用于存储着两个额外的CTB。
如果位于DPB外部的存储器缓存器存储位于环路滤波器之前的重构样本，则HEVCSCC草案中存在比特率一致性问题，其指定在需要用于预测时所有参考图像应在DPB中存在。原因在于，位于环路滤波器之前的当前图像用作参考图像，且如HEVC SCC：草案3中一样被插入到参考图像列表中。
在高层语法中，在参考图像列表重构的初始化过程中，当前图像被放置在所有短期参考图像和所有其他长期参考图像之后。下面列出了用于列表0的相关描述。相似的过程可以用于列表1。
在每个切片的解码过程的开始处，如下，推导出用于P切片的参考图像列表RefPicList0，以及用于B切片的参考图像列表RefPicList0和参考图像列表RefPicList1。
表1
Figure BDA0002510882310000051
在表1中，curr_pic_as_ref_enabled_flag等于1指定了参考SPS的图像可以被包含在图像本身的参考图像列表中。curr_pic_as_ref_enabled_flag等于0指定了参考SPS的图像永不被包含在图像本身的参考图像列表中。当不存在时，curr_pic_as_ref_enabled_flag的值被推断为等于0。
初始化之后，参考图像列表RefPicList0被构造成如下所示：
for(rIdx＝0；rIdx<＝num_ref_idx_l0_active_minus1；rIdx++)
RefPicList0[rIdx]＝ref_pic_list_modification_flag_l0？
RefPicListTemp0[list_entry_l0[rIdx]]:RefPicListTemp0[rIdx]
然而，当活跃的参考图像的数量(即num_ref_idx_l0_active_minus1+1)小于与存储当前图像的RefPicListTemp0队列相关的列表中参考图像的数量(即NumRpsCurrTempList0)时，当前图像可以不被包含在活跃的参考图像列表中。
在基于现有的HEVC的编解码系统中，存在与用于IntraBC的解码图像缓存器管理相关的问题。当使用IntraBC时，当前图像的重构部分可以用作参考图像，以预测当前图像。这个用于IntraBC的参考图像被称为“未滤波版本的当前图像”。另一方面，最终将通过诸如去块(deblocking)和样本自适应偏移(Sample Adaptive Offset，SAO)的滤波操作的当前图像的版本被称为已滤波版本的当前图像。
参考图像得在DPB中，以为了由当前图像来使用。DPB的尺寸被约束成MaxDpbSize，其由表2所示而得到。
表2
Figure BDA0002510882310000061
Figure BDA0002510882310000071
在表2中，MaxLumaPs是最大亮度图像尺寸，maxDpbPicBuf是最大DPB尺寸，例如6。但是，当使用IntraBC时，当前DPB管理操作中存在一些问题。
发明内容
本发明公开一种视频解码系统的管理解码图像缓存器的方法及装置，其中视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式。在一个实施例中，将位于环路滤波之后的一个或者多个之前重构图像存储到解码图像缓存器(decoded picturebuffer，DPB)中。对于解码当前图像而言，在解码图像缓存器中分配第一图像缓存器和第二图像缓存器。在从视频比特流中推导出与当前图像相关的一个或者多个重构图像单元之后，将位于环路滤波之前的重构图像单元存储到第一图像缓存器中，并且将位于环路滤波之后的重构图像单元存储到第二图像缓存器中。如果以帧内块复制模式编解码当前重构图像单元，则使用第一图像缓存器中位于环路滤波之前的重构图像单元来重构当前重构图像单元，以推导出帧内块复制预测。如果以帧间预测模式编解码当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。
在当前图像被解码之前，在解码图像缓存器中分配第一图像缓存器和第二图像缓存器。每当在解码图像缓存器中分配第一图像缓存器或者第二图像缓存器时，将解码图像缓存器存储度增加1。此外，第一图像缓存器被标记以指示第一图像缓存器用于长期参考，且第二图像缓存器被标记以指示第二图像缓存器用于短期参考。
在当前图像被重构之后，所分配的第一图像缓存器自解码图像缓存器中移除。另一方面，所分配的第二图像缓存器保持在解码图像缓存器中，并用作短期参考图像以用于解码后续图像。当所分配的第一图像缓存器自解码图像缓存器中移除时，将解码图像缓存器存储度减去1。指示最大解码图像缓存器尺寸的变量可以保持与用于高效视频编码屏幕内容编解码草案3所指定的最大解码图像缓存器尺寸相同。
在另一实施例中，在解码图像缓存器或者位于解码图像缓存器外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中第一图像缓存器和第二图像缓存器中的一个在解码图像缓存器中，另一个在解码图像缓存器外部的临时缓存器中。在当前图像被解码之前，分配第一图像缓存器和第二图像缓存器。当第一图像缓存器或者第二图像缓存器被放置在解码图像缓存器中时，将解码图像缓存器存储度增加1。如果第一图像缓存器被分配在解码图像缓存器中，则在当前图像被重构之后，所分配的第一图像缓存器自解码图像缓存器中移除，并且，当第一图像缓存器自解码图像缓存器中移除时，将解码图像缓存器存储度减去1。随后，第二图像缓存器被放置在解码图像缓存器中，且将解码图像缓存器存储度增加1。如果第一图像缓存器被分配在解码图像缓存器外部的临时缓存器中，则在当前图像被重构之后，第一图像缓存器自临时缓存器中移除。在当前图像被重构之后，第二图像缓存器保持在解码图像缓存器中。
附图说明
图1是根据本发明实施例的使用包含帧内块复制模式和帧间预测模式的编解码模式的示例性编解码系统的流程图，其中两个图像缓存器被分配在解码图像缓存器中以存储位于环路滤波之后的当前重构图像和位于环路滤波之前的当前重构图像。
图2是根据本发明实施例的使用包含帧内块复制模式和帧间预测模式的编解码模式的示例性编解码系统的流程图，其中一个图像缓存器被分配在解码图像缓存器中，一个图像缓存器被分配在位于解码图像缓存器外部的临时缓存器中，以存储位于环路滤波之后的当前重构图像和位于环路滤波之前的当前重构图像。
具体实施方式
以下描述为实施本发明的较佳方式。本文仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围应当视权利要求书所界定为准。
如上讨论，用于帧内块复制(Intra Block Copy，IntraBC或IBC)的参考数据得被存储在未滤波的重构数据中。另一方面，用于帧间预测的参考数据得被存储在已滤波版本(即重构且已滤波的)中。本发明公开了帧内块复制中的DPB操作和比特流一致性的修改。
第一方法。本方法在DPB中分配一个图像缓存器以用于存储位于环路滤波之前的重构样本，也就是说，在当前图像被解码之前，执行在DPB中分配一个图像缓存器。在这种情况下，DPB操作被修改，使得在当前图像被包含在参考图像列表中时DPB操作被适当地管理。通常，如果当前图像被包含在参考图像列表中，则修改包括更新DPB存储度和定义更新DPB存储度的时刻，例如，每当在DPB中分配一个图像缓存器时，将DPB存储度增加1。
第一实施例。本实施例可以应用到在HEVC SCC：草案3中所指定的系统。HEVC SCC：草案3(即，JCTVC-T1005)中存在几个需要修改的部分。具体地，增加与位于环路滤波器之前的当前解码图像存储相关的子从句C.3.5，其中在当前图像被包含在参考图像列表中时将DPB存储度增加1。当当前图像被包含在参考图像列表中时，JCTVC-T1005的子从句C.3.5中所定义的过程同时发生在访问单元n，的编码图像缓存器(Coded Picture Buffer，CPB)移除时间，即CpbRemovalTime[n]。在解码当前图像之前，解析当前图像的第一切片段头的头之后，该过程被每个图像调用一次。
当当前图像被包含在参考图像列表中时，如子从句C.3.4中描述的当前解码图像标记和存储，以及如HEVC SCC：草案3中所描述的图像解码、标记、额外的冲突(additionalbumping)和存储以这样的方式被修改：如果当前图像被包含在参考图像列表中，DPB存储度保持不变。
当当前图像被包含在参考图像列表中时，将用于解码当前解码参考图像的解码过程增加到子从句8.X中，在C.3.5的过程之后，子从句8.X需要被每个图像调用一次，C.3.5指定了位于环路滤波器之前的当前解码图像存储的处理。当子从句8.X被调用时，用于生成的图像(generated picture)的PicOrderCntVal被设置成等于当前图像的图像顺序计数(picture order count，POC)。
根据第一实施例示例性的HEVC SCC：草案3改变。
当前HEVC SCC：草案3可以被修改以支持上述的第一实施例。具体地，新子从句3.5和新子从句3.6被增加，以解决(a)当前解码图像标记和存储，以及(b)位于环路滤波器之前的当前解码图像存储。同时，被称为“图像解码、标记、额外的冲突和存储”的当前子从句5.2.3被修改。此外，被称为“nuh_layer_id等于0的编码图像的解码过程”的子从句8.1.3被修改，并且子从句8.X被增加。这些改变将在下面进行描述。
C.3.5关于当前解码图像标记和存储
该子从句中所指定的过程同时发生在访问单元n的CPB移除时间(即CpbRemovalTime[n])。
如果curr_pic_as_ref_enabled_flag等于0，则当前解码图像被存储在空的图像存储缓存器中的DPB中，DPB存储度被增加1，以及当前图像被标记为“用于短期参考”。
否则，如果curr_pic_as_ref_enabled_flag等于1，则DPB存储度保持不变。另外，如子从句8.1.3中指定，当前解码图像被存储在图像存储缓存器中的DPB中，其被分配给当前图像并且被标记为“用于短期参考”。
C.3.6位于环路滤波器之前的当前解码图像存储
当curr_pic_as_ref_enabled_flag等于1时，该子从句中所指定的过程同时发生在访问单元n的CPB移除时间，即CpbRemovalTime[n]。
在当前图像的解码之前且当前图像的第一切片段的头的解析之后，
该过程被每个图像调用一次。
DPB存储度被增加1。
来自于当前HEVC SCC：草案3的子从句C.5.2.3和子从句8.1.3的改变被指示，其中插入文本以斜体显示，且删除文本由括号对内的星号对封装(即[*删除文本*])。
C.5.2.3图像解码、标记、额外的冲突和存储
本子从句中所指定的过程同时发生在访问单元n的最后一个解码单元从CPB中被移除的时候。
当当前图像具有PicOutputFlag等于1时，对于DPB中被标记为“输出所需”且在输出顺序中位于当前图像之后的每个图像而言，相关变量PicLatencyCount被设置成等于PicLatencyCount+1。
在图像的最后一个解码单元被解码之后，当前图像被认为成被解码。如果curr_pic_as_ref_enabled_flag等于0，当前解码图像被存储在DPB中的空的图像存储缓存器中。否则，如果curr_pic_as_ref_enabled_flag等于1，DPB存储度保持不变。另外，子从句8.1.3中所指定，当前解码图像被存储在图像存储缓存器中的DPB中，其被分配给当前图像且被标记为“用于短期参考”。并且以下适用：
–如果当前解码图像具有PicOutputFlag等于1，其被标记为“输出所需”，且其相关变量PicLatencyCount被设置成等于0。
–否则(即当前解码图像具有PicOutputFlag等于0)，其被标记为“非输出所需”。
当前解码图像被标记为“用于短期参考”。
当下面条件中的一个或者多个为真时，从句C5.2.4中所指定的“冲突”过程被重复调用，直到下面条件中没有一个为真：
–DPB中被标记为“输出所需”的图像的数量大于sps_max_num_reorder_pics[HighestTid]。
–sps_max_latency_increase_plus1[HighestTid]不等于0，且DPB中存在被标记为“输出所需”的至少一个图像，以用于大于或者等于SpsMaxLatencyPictures[HighestTid]的相关变量PicLatencyCount。
8.1.3用于nuh_layer_id等于0的编码图像的解码过程解码过程操作如下以用于当前图像CurrPic：
1.NAL单元的解码在子从句8.2中被指定。
2.使用切片段层中和切片段层上方的语法元素，子从句8.3中的过程指定下面的解码过程：
–与图像顺序计数相关的变量和函数在子从句8.3.1中被推导出。这只需要为图像的第一个切片段调用。
–子从句8.3.2中用于参考图像(RPS)的解码过程被调用，其中参考图像可以被标记为“不用于参考”或者“用于长期参考”。这只需要为图像的第一个切片段调用。
–当curr_pic_as_ref_enabled_flag等于1时，DPB中的图像存储缓存器被分配给当前图像，且如C.3.5(位于环路滤波器之前的当前解码图像存储)中所指定的，DPB存储度被增加1，并且当前图像被标记为“用于长期参考”。
–当curr_pic_as_ref_enabled_flag等于1时，部分8.X中所指定的用于生成当前解码参考图像的一般解码过程被调用，在处理C.3.5(位于环路滤波器之前的当前解码图像存储)之后，其需要被每个图像处理一次。
–当当前图像为NoRaslOutputFlag等于1的断链访问(broken link access，BLA)图像或者干净的随机访问(clean random access，CRA)图像时，子从句8.3.3中所指定的用于生成不可用的参考图像的解码过程被调用，其只需要为图像的第一个切片段调用。
8.X用于当前解码参考图像的解码过程
当curr_pic_as_ref_enabled_flag等于1时，通过应用下面过程，在处理C.3.5之后且先于子从句8.3.4中所指定的用于参考图像列表构造的解码过程，该过程被每个编码图像调用一次：
–用于生成的图像的PicOrderCntVal的值被设置成等于当前图像的POC。
第二实施例。在第二实施例中，增加与位于环路滤波器之前的当前解码图像存储相关的新子从句C.3.5，其中当当前图像被包含在参考图像列表中时DPB存储度被增加1。
当当前图像被包含在参考图像列表中以用于解码当前图像的切片时，在子从句8.X中，增加用于解码当前解码参考图像的一般解码过程，其包括解码过程的两个步骤。
在第一步骤中，用于生成的图像的PicOrderCntVal被设置成等于当前图像的图像顺序计数(picture order count，POC)，其需要被每个图像在处理C.3.5之后处理一次。
在处理C.3.5之后，其需要被每个图像处理一次。
在第二步骤中，用于图像的PicOutputFlag的值被设置成等于0，并且位于环路滤波器之前的当前图像被标记为“不用于参考”，在解码图像的最后一个解码单元之后，且先于解析下一图像的第一切片段头，其被每个图像调用一次。
由于解码过程的第二步骤，当处理自DPB中的图像移除(即子从句C.3.2)时，DPB中位于环路滤波器之前的当前图像将从DPB中被移除，也就是说，在当前图像被重构之后，所分配的第一图像缓存器自DPB中移除，此时，将DPB存储度减去1，其中第一图像缓存器用于存储位于环路滤波之前的当前图像。当前解码图像标记和存储(即子从句C.3.4)和图像解码、标记、额外的冲突和存储(即子从句C.5.2.3)不需要被修改。
本实施例可以被应用到HEVC SCC：草案3中所指定的系统。HEVC SCC如下。来自于当前HEVC SCC：草案3的子从句8.13中的改变被指示，其中插入文本以斜体显示，且删除文本由括号对内的星号对封装(即[*删除文本*])。
C.3.5位于环路滤波器之前的当前解码图像存储
当curr_pic_as_ref_enabled_flag等于1时，该子从句中所指定的过程同时发生在访问单元n的CPB移除时间，即CpbRemovalTime[n]。
在当前图像的解码之前且当前图像的第一切片段的头的解析之后，
该过程被每个图像调用一次。
DPB存储度被增加1。
8.1.3用于nuh_layer_id等于0的编码图像的解码过程
解码过程操作如下以用于当前图像CurrPic：
1.NAL单元的解码在子从句8.2中被指定。
2.使用切片段层中和切片段层上方的语法元素，子从句8.3中的过程指定下面的解码过程：
–与图像顺序计数相关的变量和函数在子从句8.3.1中被推导出。这只需要为图像的第一个切片段调用。
–子从句8.3.2中用于RPS的解码过程被调用，其中参考图像可以被标记为“不用于参考”或者“用于长期参考”。这只需要为图像的第一个切片段调用。
–当curr_pic_as_ref_enabled_flag等于1时，DPB中的图像存储缓存器被分配给当前图像，且如C.3.5中所指定的DPB存储度被增加1，并且当前图像被标记为“用于长期参考”。
–当curr_pic_as_ref_enabled_flag等于1时，部分8.X.1中所指定的用于当前解码参考图像的步骤1的解码过程被调用，其需要被每个图像在处理C.3.5(位于环路滤波器之前的当前解码图像存储)之后处理一次。
–
–当当前图像为NoRaslOutputFlag等于1的BLA图像或者CRA图像时，子从句8.3.3中所指定的用于生成不可用的参考图像的解码过程被调用，其只需要为图像的第一个切片段调用。
–PicOutputFlag被设置成如下：
–如果当前图像为随机访问跳过引导(Random Access Skipped Leading RASL)图像，且相关的IRAP图像的NoRaslOutputFlag等于1，则PicOutputFlag被设置成等于0。
–否则，PicOutputFlag被设置成等于pic_output_flag。
–在每个P切片或者B切片的解码过程的开始处，子从句8.3.4中所指定的用于参考图像列表构造的解码过程被调用，以用于推导出参考图像列表0(即RefPicList0)，以及在解码B切片时的参考图像列表1(即RefPicList1)，并且子从句8.3.5中所指定的用于同位图像(collocated picture)的解码过程和非向后预测标志(no backward prediction flag)被调用，以推导出变量ColPic和变量NoBackwardPredFlag。
3.子从句8.4到子从句8.7中的过程使用所有语法结构层中的语法元素来指定解码过程。图像的编码切片应包含用于该图像的每个编码树单元的切片段数据，这是比特流一致性的要求，以使得图像被分割成切片、切片被分割成切片段以及切片段被分割成编码树单元，每个形成图像的一个分割。当curr_pic_as_ref_enabled_flag等于1时，位于环路滤波之前的解码样本值被存储到分配给当前图像的图像存储缓存器中。
4.在当前图像的所有切片均被解码之后，且先于解析下一图像的第一切片段头，在curr_pic_as_ref_enabled_flag等于1时，8.X.2中所指定的用于当前解码参考图像的步骤2的解码过程被调用。
5.在当前图像的所有切片均被解码之后，当前解码图像[*位于环路滤波之后的整个当前解码图像被存储到分配给当前图像的图像存储缓存器中，并*]标记为“用于短期参考”。
8.X用于当前解码参考图像的一般解码过程
当curr_pic_as_ref_enabled_flag等于1时，子从句8.X.1和子从句8.X.2中所指定的过程被调用。
8.X.1用于当前解码参考图像的步骤1的解码过程
通过运用下面过程，当curr_pic_as_ref_enabled_flag等于1，在处理C.3.5之后，且先于子从句8.3.4中所指定的用于参考图像列表构造的解码过程，该过程被每个编码图像调用一次：
–用于生成的图像的PicOrderCntVal的值被设置成等于当前图像的POC。
8.X.2用于当前解码参考图像的步骤2的解码过程
当curr_pic_as_ref_enabled_flag等于1时，在解码图像的最后一个解码单元之后，且先于解码下一图像的第一切片，该过程被每个图像调用一次。如果存在其图像顺序计数等于PocStCurr的解码图像，则：
–用于该图像的PicOutputFlag的值被设置成等于0。
–解码图像被标记为“不用于参考”。
在第二实施例中，SPS中的curr_pic_as_ref_enabled_flag用作指示当前图像是否被包含在参考图像列表中的标志。如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述，当前图像是否被包含在参考图像列表中的指示可以由PPS层或/和切片段头层中存在的称为curr_pic_in_ref_list_flag的语法元素来表示。
第三实施例。在第三实施例中，DPB的操作以以下方式被修改：相比于SPS中存在的curr_pic_as_ref_enabled_flag，PPS层或/和切片段头层中存在的curr_pic_in_ref_list_flag用作调用修改操作的标志。换言之，在之前描述的修改中SPS中的curr_pic_as_ref_enabled_flag可以由PPS层或/和切片段头层中存在的curr_pic_in_ref_list_flag来替换。在提出的方法1的另一实施例中，例如，上述所公开的附录C.3.5可以按照如下进行修改，并且，通过用curr_pic_in_ref_list_flag来替换curr_pic_as_ref_enabled_flag，附录和部分的另一部分可以相应地被修改。
C.3.5位于环路滤波器之前的当前解码图像存储
当curr_pic_in_ref_list_flag等于1时，该子从句中所指定的过程同时发生在访问单元n的CPB移除时间，即CpbRemovalTime[n]。
在当前图像的解码之前且当前图像的第一切片段的头的解析之后，该过程被每个图像调用一次。
DPB存储度被增加1。
如另一临时专利申请ATDI-15-049PUS中所述，切片段头中存在的语法元素curr_pic_in_ref_list_flag指示当前图像是否被包含在参考图像列表中。在如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述的切片段头中存在的curr_pic_in_ref_list_flag的一个语义中，编码图像的切片段头中存在的curr_pic_in_ref_list_flag应为0或者1的相同值，以用于编码图像的所有切片段头。在如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述的切片段头中存在的curr_pic_in_ref_list_flag的另一个语义中，编码图像的切片段头中存在的curr_pic_in_ref_list_flag可以不相同。在后一情况中，由于不相同的curr_pic_in_ref_list_flag在当前图像的解码之前且在解析当前图像的第一切片段的头之后被每个图像调用一次，其在关于DPB的操作的附录C.3.5中引起问题。考虑到一种情况，对于第一切片段而言，当前图像不包含在参考图像列表中，并且，对于一个或者多个剩余切片段而言，当前图像被包含在参考图像列表中。在这种情况下，如果图像的第一切片段头中存在的curr_pic_in_ref_list_flag用作条件以判断是否执行附录C.3.5中所定义的操作，则DPB的操作将不会以更新DPB存储度的形式适当地操作。
在本发明中，称为curr_pic_in_dpb_flag的语法元素被增加到第一切片段头中，以指示图像的至少一个切片段，当前图像被包含在参考图像列表中以解决上述讨论的问题。下表示出了切片段头中包含语法元素curr_pic_in_dpb_flag的示例。
表3
slice_segment_header(){ 描述符
first_slice_segment_in_pic_flag u(1)
...
if(first_slice_segment_in_pic_flag){
curr_pic_in_dpb_flag u(1)
}
...
}
第四实施例。在本实施例中，DPB的操作以以下方式被修改：相比于SPS中存在的curr_pic_as_ref_enabled_flag而言，段头的第一切片中存在的curr_pic_in_dpb_flag用作调用方法1中的修改操作的标志。换言之，在方法1的修改中SPS中的curr_pic_as_ref_enabled_flag可以由段头的第一切片中存在的curr_pic_in_dpb_flag来替换。例如，附录C.3.5可以按照如下进行修改，并且，通过用curr_pic_in_dpb_flag来替换curr_pic_as_ref_enabled_flag，附录和部分的另一部分可以相应地被修改。
C.3.5位于环路滤波器之前的当前解码图像存储
当第一切片段头中存在的curr_pic_in_dpb_flag等于1时，本子从句中所指定的过程同时发生在访问单元n的CPB移除时间，即CpbRemovalTime[n]。在当前图像的解码之前且当前图像的第一切片段的头的解析之后，该过程被每个图像调用一次。
DPB存储度被增加1。
可选地，相比于HEVC SCC：草案3，SPS中存在的curr_pic_as_ref_enabled_flag的语义可以按照下面进行修改：
curr_pic_as_ref_enabled_flag等于1指定参考SPS的图像被包含在参考图像列表中以用于图像本身的至少一个切片段。
curr_pic_as_ref_enabled_flag等于0指定参考SPS的图像不被包含在任何参考图像列表中以用于图像本身的任一切片段。当不存在时，
curr_pic_as_ref_enabled_flag的值被推断为等于0。
与第一实施例相同，DPB操作被处理。然而，curr_pic_as_ref_enabled_flag的语义按照上述进行改变。
此外，如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述，切片层语法curr_pic_in_ref_list_flag被增加在图像的每个切片段头中，以指示当前图像是否被包含在用于当前切片的图像的参考图像列表中。
在另一可选实施例中，称为curr_pic_in_dpb_flag的语法元素被增加到PPS中，并且，相比于HEVC SCC：草案3，curr_pic_as_ref_enabled_flag的语义按照下面进行修改：
curr_pic_as_ref_enabled_flag等于1指定参考PPS的图像被包含在参考图像列表中以用于图像本身的至少一个切片段。
curr_pic_as_ref_enabled_flag等于0指定参考PPS的图像不被包含在任何参考图像列表中以用于图像本身的任一切片段。当不存在时，
curr_pic_as_ref_enabled_flag的值被推断为等于0。
DPB操作以与提出的方法1的第一实施例相同的方式被处理，但是curr_pic_as_ref_enabled_flag的语义按照上述进行改变。
此外，如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述，切片层语法curr_pic_in_ref_list_flag被增加在图像的每个切片段头中，以指示当前图像是否被包含在用于当前切片的图像的参考图像列表中。
第二方法。在本方法中，如果在帧内块复制预测中使用重构样本，则位于DPB外部的图像存储器缓存器或者子图像存储器缓存器用于存储位于环路滤波器之前的重构样本，也就是说，在当前图像被解码之前，执行在DPB或在DPB外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中第一图像缓存器用于存储位于环路滤波之前的当前图像，第二图像缓存器用于存储位于环路滤波之后的当前图像。在本方法中，相比于当前HEVCSCC：草案3，比特流一致性被修改，使得在需要用于预测时，除了用于帧内块复制预测的当前图像之外的所有参考图像将在DPB中存在。当帧内块复制模式被使能以用于解码当前切片或者当前图像时，此处当前图像被用作参考图像。HEVC SCC：草案3将按照下面进行改变(增加的内容如斜体所示)，并且附录C.3中的DPB的操作中不需要修改。
C.4比特流一致性
与本文一致的编码数据的比特流应满足本从句所指定的所有要求。
…
7.当需要用于预测时，除了用于帧内块复制预测且在curr_pic_as_ref_enabled_flag等于1时被包含在参考图像列表中的当前图像之外的所有参考图像将在DPB中存在。除非通过从句C.3中所指定的多个过程中的一个，在输出时间之前，图像从DPB中被移除，PicOutputFlag等于1的每个图像将在其DPB输出时间处存在于DPB中。
…
第一实施例。在本实施例中，如果帧内块复制预测中使用重构样本，除了位于环路滤波器之后的重构样本，位于DPB外部的额外的图像存储器缓存器或者子图像存储器缓存器被考虑用于存储位于环路滤波器之前的重构样本。位于DPB外部的图像缓存器与位于DPB内部的图像缓存器就尺寸而言是相同的。在这种情况下，相比于的当前HEVC SCC：草案3，用于nuh_layer_id等于0的编码图像的解码过程按照如下进行相应地修改，其中增加的文本以斜体表示，删除的文本由括号对内的星号对封装(即[*删除文本*])。
8.1.3用于nuh_layer_id等于0的编码图像的解码过程
解码过程操作如下以用于当前图像CurrPic：
1.NAL单元的解码在子从句8.2中被指定。
2.使用切片段层中和切片段层上方的语法元素，子从句8.3中的过程指定下面的解码过程：
–与图像顺序计数相关的变量和函数在子从句8.3.1中被推导出。这需要被调用以仅用于图像的第一切片段。
–子从句8.3.2中用于RPS的解码过程被调用，其中参考图像可以被标记为“不用于参考”或者“用于长期参考”。这只需要为图像的第一个切片段调用。
–当curr_pic_as_ref_enabled_flag等于1时，DPB外部[*中*]的图像存储缓存器或者子图像存储缓存器被分配给当前图像，并且当前图像被标记为“用于长期参考”。
–当当前图像为NoRaslOutputFlag等于1的BLA图像或者CRA图像时，子从句8.3.3中所指定的用于生成不可用的参考图像的解码过程被调用，其需要被调用以仅用于图像的第一切片段。
3.子从句8.4、子从句8.5、子从句8.6和子从句8.7中的过程使用所有语法结构层中的语法元素来指定解码过程。图像的编码切片应包含用于该图像的每个编码树单元的切片段数据，这是比特流一致性的要求，以使得图像被分割成切片、切片被分割成切片段以及切片段被分割成编码树单元，每个形成图像的一个分割。当curr_pic_as_ref_enabled_flag等于1时，如果帧内块复制预测中使用重构样本，则位于环路滤波之前的解码样本值被存储到分配给当前图像的图像存储缓存器中。
4.在当前图像的所有切片均被解码之后，位于环路滤波之后的整个当前解码图像被存储到DPB中[*分配给当前图像*]的图像存储缓存器，并被标记为“用于短期参考”。
从上述可以看出，也就是说，在所述当前图像被重构之后，第二图像缓存器被放置在DPB中。
在上述实施例中，SPS中的curr_pic_as_ref_enabled_flag可以由指示当前图像是否被包含在参考图像列表的标志来替换。如2015年05月28日提出的申请号为62/167,474的美国临时专利申请中所描述，可以由PPS层或/和切片段头层中存在的称为curr_pic_in_ref_list_flag的语法元素来指示当前图像是否被包含在参考图像列表中。
在第二方法的另一实施例中，相比于SPS中存在的curr_pic_as_ref_enabled_flag而言，比特流一致性以这样方式被修改：PS层或/和切片段头层中存在的curr_pic_in_ref_list_flag用作调用第二方法中的修改操作的标志。换言之，在方法2的修改中SPS中的curr_pic_as_ref_enabled_flag可以由PPS层或/和切片段头层中存在的curr_pic_in_ref_list_flag来替换。在第二方法的另一实施例中，附录C.4比特流一致性可以按照如下进行修改，并且附录和部分的另一部分可以相应地被修改。
C.4比特流一致性
与本文一致的编码数据的比特流应满足本从句所指定的所有要求。
…
7.需要用于预测时，除了用于帧内块复制预测且在curr_pic_in_ref_list_flag[*curr_pic_as_ref_enabled_flag*]等于1时被包含在参考图像列表中的当前图像之外的所有参考图像将在DPB中存在。除非通过从句C.3中所指定的多个过程中的一个，在输出时间之前，图像从DPB中被移除，PicOutputFlag等于1的每个图像将在其DPB输出时间处存在于DPB中。
参考图像列表(即RefPicListTemp0队列)构造初始化过程
在一个实施例中，该过程被修改，以使得当前图像(位于环路滤波之前)用作参考，并被放置到参考图像列表的第N个位置(即列表中索引N-1)。该列表可以为列表0或者列表1。下面示例被提供用于列表0。N可以是包含两端点的(1,num_ref_idx_l0_active_minus1+1)的范围中的正整数。例如，N可以等于1(即列表中的第二位置，位于一个时间参考图像之后)，或者N可以等于num_ref_idx_l0_active_minus1+1(即列表中的最后位置)。
如下表所示，是一种示例性处理，其中currPic表示位于环路滤波之前的当前图像。
表4
Figure BDA0002510882310000231
在另一实施例中，未滤波(去块滤波器和SAO滤波器)版本的当前图像用作用于当前切片的可能的参考图像，并且当下面条件中的一个或者两个为真时，其被放置在参考图像列表X(X＝0或者1)的最后位置处：
–序列层标志/图像层标志/切片层标志发信当前未滤波图像用于参考图像，
–没有使用该列表的参考列表变形。
如下表所示，是一种示例性处理，其中currPic表示位于环路滤波之前的当前图像。
表5
Figure BDA0002510882310000241
列表RefPicList0被构造成如下：
for(rIdx＝0；rIdx<＝num_ref_idx_l0_active_minus1；rIdx++)
RefPicList0[rIdx]＝ref_pic_list_modification_flag_l0？
RefPicListTemp0[list_entry_l0[rIdx]]:RefPicListTemp0[rIdx]
if(curr_pic_as_ref_enabled_flag&&！ref_pic_list_modification_flag_l0)
RefPicList0[num_ref_idx_l0_active_minus1]＝currPic
用作参考图像的未滤波版本的当前图像的DPB管理
第一实施例。在如上所公开的参考图像列表构造初始化过程中，当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，已滤波版本和未滤波版本的当前图像可以被放置在DPB中。当curr_pic_as_ref_enabled_flag等于0时，未滤波版本的当前图像将不被放入在DPB中。提出了下面几个方面：
–将两个图像放入到DPB中的时间可以由该过程发生在(当前图像的)访问单元n的CPB移除时间，即CpbRemovalTime[n]的同时的情况来表示。
–当前已解码图像(未滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，并且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，并且当前图像(已滤波)被标记为“用于短期参考”。
在当前图像(已滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像将从DPB中移除，而已滤波版本的当前图像将保持在DPB中。在当前图像被处理之后，已滤波版本/未滤波版本的当前图像分别被作为已滤波版本/未滤波版本的之前图像(past picture)。下一待解码图像被作为下一当前图像。提出了下面几个方面：
–将未滤波版本的之前图像移除的时间可以由这个图像自DPB中移除的情况来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后立即，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自DPB中移除时，DPB存储度被减去1。
–已滤波版本的之前图像保持在DPB中。
在第一实施例的变形中，在解码当前图像之前(但在解析当前图像的第一切片的切片头之后)，如果已知环路滤波器(去块和SAO)对整个图像被禁能，已滤波版本的当前图像和未滤波版本的当前图像相同。与未滤波版本的当前图像相关的操作是不必要的，例如，将其放入到DPB中并将DPB存储度增加1，以及将其自DPB中移除并将DPB存储度减去1。也就是说，在解码当前图像之前，首先判断环路滤波是否对所述当前图像被禁能。随后，若环路滤波被禁能，则仅将位于环路滤波之前的所述一个或者多个重构图像单元存储到第一图像缓存器中。
第二实施例。当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，已滤波版本的当前图像被放入到空的图像存储缓存器中的DPB中。而未滤波版本的当前图像可以被放入到不作为DPB一部分的空的图像存储缓存器中。提出了下面几个方面：
–将已滤波版本的当前图像放入到DPB中的时间可以由该过程发生在(当前图像的)访问单元n的CPB移除时间，即CpbRemovalTime[n]的同时的情况来表示。
–将未滤波版本的当前图像放入到空的图像存储缓存器中(而不是被存储在DPB)的时间可以由下面来表示：这个过程发生在(当前图像的)访问单元n的CPB移除时间的同时，即CpbRemovalTime[n]。DPB存储度保持不变，并且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，且当前图像(已滤波)被标记为“用于短期参考”。
在当前图像(已滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像将从图像存储缓存器(而非DPB)中移除，而已滤波版本的当前图像将保持在DPB中，也就是说，如果第一图像缓存器被分配在DPB外部的临时缓存器中，则在当前图像被重构之后，第一图像缓存器自临时缓存器中移除，以及第二图像缓存器保持在所述解码图像缓存器中。当该过程移动至下一图像时，未滤波版本的当前图像被作为未滤波版本的之前图像。相似地，已滤波版本的当前图像被作为已滤波版本的之前图像。下一待解码图像被作为下一当前图像。提出了下面几个方面：
–将未滤波版本的之前图像移除的时间可以由这个图像自图像存储缓存器(而非DPB)中移除的情况来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自图像存储缓存器(而非DPB)中移除时，DPB存储度保持不变。
第三实施例。当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，未滤波版本的当前图像被放入到DPB中的空的图像存储缓存器中。而已滤波版本的当前图像可以被放入到不作为DPB一部分的空的图像存储缓存器中。提出了下面几个方面：
–将未滤波版本的当前图像放入到DPB中的时间可以由该过程发生在(当前图像的)访问单元n的CPB移除时间的同时的情况来表示，即CpbRemovalTime[n]。
–当前已解码图像(未滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)位于空的图像存储缓存器中(而不是被存储到DPB中)，DPB存储度保持不变，并且当前图像(已滤波的)被标记为“用于短期参考”。
在当前图像(已滤波和未滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像将从DPB中移除，而已滤波版本的当前图像将保持在DPB中，也就是说，如果第一图像缓存器被分配在DPB中，则在当前图像被重构之后，所分配的第一图像缓存器自解码图像缓存器中移除，并且第二图像缓存器被放置在DPB中。在当前图像被处理之后，已滤波版本/未滤波版本的当前图像分别用作已滤波版本/未滤波版本的之前图像。下一待解码图像被作为下一当前图像。提出了下面几个方面：
方法A：
–将未滤波版本的之前图像移除的时间可以由这个图像自DPB中移除的情况来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自DPB中移除时，DPB存储度被减去1。
–在未滤波版本的之前图像自DPB中移除之后，已滤波版本的之前图像被放入到DPB中，DPB存储度被增加1。
方法B：
–将已滤波版本的当前图像放入到DPB中未滤波版本的当前图像的位置处，替代未滤波版本的当前图像。
–将未滤波版本的之前图像移动至DPB中的时间可以由下面来表示：其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。替代时间的一个示例为当前图像的解码之后，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–DPB存储度保持不变。
在第三实施例的变形中，在解码当前图像之前(但在解析当前图像的第一切片的切片头之后)，如果已知环路滤波器(去块滤波器和SAO滤波器)对于整个图像被禁能，已滤波版本的当前图像和未滤波版本的当前图像相同。与未滤波版本的当前图像相关的操作是不必要的，例如，将其放入到DPB中并将DPB存储度增加1，以及将其自DPB中移除并将DPB存储度减去1。在这种情况下，用于已滤波版本的当前图像的操作可以与第三实施例中指定的相同，或者用于已滤波版本的当前图像的操作是不必要的，是因为其在这种情况下与未滤波版本相同。
在上述的三个实施例中，标志curr_pic_as_ref_enabled_flag可以是序列层标志、图像层标志或者切片层标志，其表示对于整个序列/图像/切片而言，当前图像可以用作参考图像。
对于不存在环路滤波器用于整个图像的情况(即去块和SAO被禁能用于图像)的识别可以以下面的条件来表示：
如果下面三种情况中的一个为真，则SAO滤波器不用于当前图像：
情况1：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为假时。
情况2：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为真时，图像中仅存在一个切片，并且切片头标志slice_sao_luma_flag和切片头标志slice_sao_chroma_flag(如果色度分量存在)为假。
情况3：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为真时，图像中存在多个切片，并且，用于所有切片的切片头标志slice_sao_luma_flag和切片头标志slice_sao_chroma_flag(如果色度分量存在)为假。
如果下面三种情况中的一个为真，则去块滤波器不用于当前图像：
情况1：图像中仅存在一个切片，并且切片头标志slice_deblocking_filter_disabled_flag存在且为真。
情况2：图像中仅存在一个切片，切片头标志slice_deblocking_filter_disabled_flag不存在，并且图像层pps_deblocking_filter_disabled_flag为真。
情况3：图像中存在多个切片，当存在时，所有的切片头标志slice_deblocking_filter_disabled_flag为真；或者当不存在时，图像层pps_deblocking_filter_disabled_flag为真。
用于帧内块复制编码块的DPB尺寸管理
在第一实施例中，在当前图像的解码之前，当已滤波版本和未滤波版本的当前图像被放置在DPB中时，DPB尺寸(即maxDpbPicBuf)被保持不变。也就是说，指示最大解码图像缓存器尺寸的变量保持与用于HEVC SCC：草案3所指定的所述最大解码图像缓存器尺寸相同。
在第二实施例中，在当前图像的解码之前，已滤波版本的当前图像被放入到DPB中，而另一方面，未滤波图像不被放入到DPB中。可选地，在当前图像的解码之前，未滤波版本的当前图像可以被放入到DPB中，而已滤波图像不被放入到DPB中。在这两种情况中，maxDpbPicBuf被修改为maxDpbPicBuf–curr_pic_as_ref_enabled_flag。如果curr_pic_as_ref_enabled_flag等于1，则一个缓存器被保留以用于不位于DPB中的一个版本。
在第二实施例的变形中，在使用maxDpbPicBuf–curr_pic_as_ref_enabled_flag计算DPB尺寸的过程中，通过当前图像中环路滤波器的使用的识别也来约束curr_pic_as_ref_enabled_flag。该过程可以由下面陈述来表示：
–如果不存在滤波器用于当前图像，则DPB尺寸为maxDpbPicBuf；
–否则，如果curr_pic_as_ref_enabled_flag为真，DPB尺寸为maxDpbPicBuf–1
–否则，DPB尺寸为maxDpbPicBuf
标志curr_pic_as_ref_enabled_flag可以被合并到序列层标志、图像层标志或者切片层标志中，其表示当前图像可以用作整个相应的序列/图像/切片的参考图像。
在第三实施例中，在当前图像的解码之前，已滤波版本的当前图像被放入到DPB中，而未滤波图像不被放入到DPB中。可选地，在当前图像的解码之前，未滤波版本的当前图像可以被放入到DPB中，而已滤波图像不被放入到DPB中。在这两种情况中，maxDpbPicBuf被修改为maxDpbPicBuf–1。一个缓存器被保留以用于不位于DPB中的一个版本。
图1示出了根据本发明实施例的使用包含帧内块复制模式和帧间预测模式的编解码模式的示例性编解码系统的流程图，其中两个图像缓存器被分配在解码图像缓存器中以存储位于环路滤波之后的当前重构图像和位于环路滤波之前的当前重构图像。在步骤110中，该系统将位于环路滤波之后的一个或者多个之前重构图像存储到DPB中。在步骤120中，接收包含与当前图像相关的压缩数据的视频比特流。如步骤130中所示，在DPB中分配第一图像缓存器，且如步骤140中所示，在DPB中分配第二图像缓存器。在步骤150中，从视频比特流中推导出与当前图像相关的一个或者多个重构图像单元。在步骤160中，将位于环路滤波之前的重构图像单元存储到第一图像缓存器中。在步骤170中，将位于环路滤波之后的重构图像单元存储到第二图像缓存器中。如步骤180中所示，如果以帧内块复制模式来编解码当前重构图像单元，则使用第一图像缓存器中位于环路滤波之前的重构图像单元来重构当前重构图像单元，以推导出帧内块复制预测。如步骤190中所示，如果以帧间预测模式来编解码当前重构图像单元，则使用DPB中位于环路滤波之后的之前重构图像来重构当前重构图像单元，以推导出帧间预测。
图2示出了根据本发明实施例的使用包含帧内块复制模式和帧间预测模式的编解码模式的示例性编解码系统的流程图，其中一个图像缓存器被分配在解码图像缓存器中，一个图像缓存器被分配在位于解码图像缓存器外部的临时缓存器中，以存储位于环路滤波之后的当前重构图像和位于环路滤波之前的当前重构图像。在步骤210中，该系统将位于环路滤波之后的一个或者多个之前重构图像存储到DPB中。在步骤220中，接收包含与当前图像相关的压缩数据的视频比特流。如步骤230中所示，在DPB或者DPB外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中第一图像缓存器和第二图像缓存器中的一个位于DPB中，并且第一图像缓存器和第二图像缓存器中的一个位于DPB外部的临时缓存器中。在步骤240中，从视频比特流中推导出与当前图像相关的一个或者多个重构图像单元。在步骤250中，将位于环路滤波之前的重构图像单元存储到第一图像缓存器中。如步骤260中所示，将位于环路滤波之后的重构图像单元存储到第二图像缓存器中。如步骤270中所示，如果以帧内块复制模式来编解码当前重构图像单元，则使用第一图像缓存器中位于环路滤波之前的重构图像单元来重构当前重构图像单元，以推导出帧内块复制预测。如步骤280中所示，如果以帧间预测模式来编解码当前重构图像单元，则使用DPB中位于环路滤波之后的之前重构图像来重构当前重构图像单元，以推导出帧间预测。
上述的流程图用于示出根据本发明的帧内块复制编解码和帧间编解码的示例。在不脱离本发明的精神的情况下，本领域的技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，通过用等同的语法和语义来替换该语法和语义，技术人员可以实施本发明。
上述说明，使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的编程语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (24)

1.一种管理解码图像缓存器并解码视频比特流的方法，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该方法包括：
将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；
接收包含与当前图像相关的压缩数据的所述视频比特流；
在所述解码图像缓存器中分配第一图像缓存器，其中响应于在所述解码图像缓存器中分配所述第一图像缓存器，将解码图像缓存器存储度增加1；
在所述解码图像缓存器中分配第二图像缓存器，其中响应于在所述解码图像缓存器中分配所述第二图像缓存器，将所述解码图像缓存器存储度增加1；
从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；
将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；
将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；
如果以所述帧内块复制模式编解码所述当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及
如果以所述帧间预测模式编解码所述当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。
2.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被解码之前，执行在所述解码图像缓存器中分配所述第一图像缓存器以及在所述解码图像缓存器中分配所述第二图像缓存器。
3.如权利要求2中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所述第一图像缓存器被标记以指示所述第一图像缓存器用于长期参考，且所述第二图像缓存器被标记以指示所述第二图像缓存器用于短期参考。
4.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被重构之后，所分配的所述第一图像缓存器自所述解码图像缓存器中移除。
5.如权利要求4中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所分配的所述第二图像缓存器保持在所述解码图像缓存器中，并用作短期参考图像以用于解码后续图像。
6.如权利要求4中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，当所分配的所述第一图像缓存器自所述解码图像缓存器中移除时，将所述解码图像缓存器存储度减去1。
7.如权利要求4中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，指示最大解码图像缓存器尺寸的变量保持与用于高效视频编码屏幕内容编解码草案3所指定的所述最大解码图像缓存器尺寸相同。
8.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，仅当指示所述当前图像作为参考图像的标志被使能时，执行在所述解码图像缓存器中分配所述第一图像缓存器，将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中，以及如果以所述帧内块复制模式编解码所述当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测。
9.如权利要求8中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所述标志被发信在序列层、图像层或者切片层中。
10.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，每个重构图像单元对应于一个预测单元、编码单元、编码树单元或者切片。
11.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，指示最大解码图像缓存器尺寸的变量减去指定所述当前图像是否被使能以用作所述当前图像的参考图像的语法元素的值，其中所述值等于1指定所述帧内块复制模式被使能以用于所述当前图像。
12.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，进一步包括：
判断所述环路滤波是否对所述当前图像被禁能；
若所述环路滤波被禁能，则仅将位于所述环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中。
13.一种管理解码图像缓存器并解码视频比特流的方法，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该方法包括：
将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；
接收包含与当前图像相关的压缩数据的所述视频比特流；
在所述解码图像缓存器或者位于所述解码图像缓存器外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器中，且所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器外部的所述临时缓存器中；
从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；
将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；
将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；
如果以所述帧内块复制模式编解码当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及
如果以所述帧间预测模式编解码所述当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。
14.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被解码之前，执行在所述解码图像缓存器或在所述解码图像缓存器外部的所述临时缓存器中分配所述第一图像缓存器和所述第二图像缓存器。
15.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，如果所述第一图像缓存器被分配在所述解码图像缓存器中，则在所述当前图像被重构之后，所分配的所述第一图像缓存器自所述解码图像缓存器中移除。
16.如权利要求15中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被重构之后，所述第二图像缓存器被放置在所述解码图像缓存器中。
17.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，如果所述第一图像缓存器被分配在所述解码图像缓存器外部的所述临时缓存器中，则在所述当前图像被重构之后，所述第一图像缓存器自所述临时缓存器中移除。
18.如权利要求17中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被重构之后，所述第二图像缓存器保持在所述解码图像缓存器中。
19.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，指示最大解码图像缓存器尺寸的变量减去指定所述当前图像是否被使能以用作所述当前图像的参考图像的语法元素的值，其中所述值等于1指定所述帧内块复制模式被使能以用于所述当前图像。
20.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，每个重构图像单元对应于一个预测单元、编码单元、编码树单元或者切片。
21.如权利要求13中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，仅当指示所述当前图像作为参考图像的标志被使能时，执行在所述解码图像缓存器或者位于所述解码图像缓存器外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中，以及如果以所述帧内块复制模式编解码当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测。
22.如权利要求21中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所述标志被发信在序列层、图像层或者切片层中。
23.一种管理解码图像缓存器并解码视频比特流的装置，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该装置包括一个或者多个电子电路，用于：
将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；
接收包含与当前图像相关的压缩数据的所述视频比特流；
在所述解码图像缓存器中分配第一图像缓存器，其中响应于在所述解码图像缓存器中分配所述第一图像缓存器，将解码图像缓存器存储度增加1；
在所述解码图像缓存器中分配第二图像缓存器，其中响应于在所述解码图像缓存器中分配所述第二图像缓存器，将所述解码图像缓存器存储度增加1；
从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；
将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；
将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；
如果以所述帧内块复制模式编解码当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及
如果以所述帧间预测模式编解码所述当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。
24.一种管理解码图像缓存器并解码视频比特流的装置，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该装置包括一个或者多个电子电路，用于：
将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；
接收包含与当前图像相关的压缩数据的所述视频比特流；
在所述解码图像缓存器或者位于所述解码图像缓存器外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器中，且所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器外部的所述临时缓存器中；
从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；
将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；
将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；
如果以所述帧内块复制模式编解码当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及
如果以所述帧间预测模式编解码所述当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。
CN202010460921.1A 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置 Active CN111818340B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201562168144P 2015-05-29 2015-05-29
US62/168,144 2015-05-29
US201562182685P 2015-06-22 2015-06-22
US62/182,685 2015-06-22
US201562183799P 2015-06-24 2015-06-24
US62/183,799 2015-06-24
PCT/CN2016/083737 WO2016192594A1 (en) 2015-05-29 2016-05-27 Method of decoded picture buffer management for intra block copy mode
CN201680031167.1A CN107615762B (zh) 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680031167.1A Division CN107615762B (zh) 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置

Publications (2)

Publication Number Publication Date
CN111818340A true CN111818340A (zh) 2020-10-23
CN111818340B CN111818340B (zh) 2022-05-13

Family

ID=57440175

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680031167.1A Active CN107615762B (zh) 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置
CN202010460921.1A Active CN111818340B (zh) 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680031167.1A Active CN107615762B (zh) 2015-05-29 2016-05-27 一种管理解码图像缓存器并解码视频比特流的方法及装置

Country Status (5)

Country Link
US (1) US10587881B2 (zh)
EP (1) EP3292691A4 (zh)
CN (2) CN107615762B (zh)
CA (1) CA2985872C (zh)
WO (1) WO2016192594A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134610A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US11159788B2 (en) * 2018-08-03 2021-10-26 Mediatek Inc. Method and apparatus of enhanced Intra Block Copying mode for video coding
JP7547319B2 (ja) 2018-08-17 2024-09-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおける参照ピクチャの管理
JP2022508244A (ja) * 2018-11-27 2022-01-19 オーピー ソリューションズ， エルエルシー 明示的信号伝達および暗黙的信号伝達を用いた、使用不可参照フレームの適応ブロック更新
US11196988B2 (en) * 2018-12-17 2021-12-07 Apple Inc. Reference picture management and list construction
US10904545B2 (en) 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
KR20210123300A (ko) * 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
CN113366848A (zh) * 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区重置
WO2020177662A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
CN113508581B (zh) 2019-03-04 2023-11-14 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
US11303913B2 (en) * 2019-06-19 2022-04-12 Qualcomm Incorporated Decoded picture buffer indexing
MX2022000102A (es) * 2019-07-06 2022-02-03 Beijing Bytedance Network Tech Co Ltd Bufer de prediccion virtual para la copia intra-bloque en codificacion de video.
JP7359934B2 (ja) 2019-07-10 2023-10-11 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのサンプル識別
CN117579816A (zh) 2019-07-11 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
JP7297908B2 (ja) 2019-07-11 2023-06-26 テンセント・アメリカ・エルエルシー ビデオコーディング方法、装置及びコンピュータプログラム
US11616962B2 (en) 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
US11375243B2 (en) 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11310511B2 (en) 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
WO2021137591A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Ols dpb 파라미터 인덱스를 포함하는 영상 정보 기반 영상 디코딩 방법 및 그 장치
WO2021136783A1 (en) * 2019-12-31 2021-07-08 Koninklijke Kpn N.V. Partial output of a decoded picture buffer in video coding
EP4085620A4 (en) 2020-01-23 2023-03-01 Huawei Technologies Co., Ltd. REFERENCE IMAGE MANAGEMENT METHODS FOR VIDEO CODING
CN115668940A (zh) * 2020-05-18 2023-01-31 Lg电子株式会社 基于与画面输出相关的信息的图像或视频编码
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
CN114513663A (zh) 2020-11-17 2022-05-17 腾讯科技（深圳）有限公司 视频解码方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045053A (ko) * 1999-11-02 2001-06-05 윤종용 가변 스캔순서를 이용한 블럭간 블랜딩을 지원하는블럭복사의 구현방법 및 그 장치
CN102438147A (zh) * 2011-12-23 2012-05-02 上海交通大学 帧内同步立体视频多参考帧模式视间预测编码及解码方法
CN103299644A (zh) * 2011-01-03 2013-09-11 苹果公司 使用暗示参考帧的视频编码系统
US20140301465A1 (en) * 2013-04-05 2014-10-09 Texas Instruments Incorporated Video Coding Using Intra Block Copy

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
TWI387347B (zh) * 2009-02-18 2013-02-21 Novatek Microelectronics Corp 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
EP3410725B1 (en) * 2011-06-30 2021-07-28 Telefonaktiebolaget LM Ericsson (publ) Reference picture signaling
KR20130058584A (ko) * 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
CN103873872B (zh) 2012-12-13 2017-07-07 联发科技（新加坡）私人有限公司 参考图像管理方法及装置
WO2014089805A1 (en) 2012-12-13 2014-06-19 Mediatek Singapore Pte. Ltd. A new reference management method for video coding
US9503715B2 (en) * 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
US9554141B2 (en) * 2013-11-18 2017-01-24 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (HEVC)
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US20170019666A1 (en) * 2014-03-13 2017-01-19 Sharp Kabushiki Kaisha Constrained reference picture parameters
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US9877034B2 (en) * 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045053A (ko) * 1999-11-02 2001-06-05 윤종용 가변 스캔순서를 이용한 블럭간 블랜딩을 지원하는블럭복사의 구현방법 및 그 장치
CN103299644A (zh) * 2011-01-03 2013-09-11 苹果公司 使用暗示参考帧的视频编码系统
CN102438147A (zh) * 2011-12-23 2012-05-02 上海交通大学 帧内同步立体视频多参考帧模式视间预测编码及解码方法
US20140301465A1 (en) * 2013-04-05 2014-10-09 Texas Instruments Incorporated Video Coding Using Intra Block Copy

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO PANG ET AL: "Non-CE2 Test1: Intra block copy and inter signalling unification", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 20TH MEETING: GENEVA》 *
JOSHI R ET AL: "HEVC Screen Content Coding Draft Text 3", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 20.JCT-VC MEETING：GENEVA》 *

Also Published As

Publication number Publication date
EP3292691A4 (en) 2019-01-23
CA2985872A1 (en) 2016-12-08
CN111818340B (zh) 2022-05-13
CN107615762B (zh) 2020-06-26
WO2016192594A1 (en) 2016-12-08
US10587881B2 (en) 2020-03-10
CA2985872C (en) 2020-04-14
US20180160122A1 (en) 2018-06-07
CN107615762A (zh) 2018-01-19
EP3292691A1 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
CN107615762B (zh) 一种管理解码图像缓存器并解码视频比特流的方法及装置
CN107615763B (zh) 一种管理解码图像缓存器的方法及装置
US11122276B2 (en) Method and system of decoded picture buffer for intra block copy mode
CN112565792B (zh) 管理已解码图像缓存器的方法及装置
KR102034938B1 (ko) 스크린 콘텐츠 및 비디오 코딩을 위한 인트라 픽처 블록 카피의 방법
WO2021222813A1 (en) High-level syntax for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant