CN107615763A - 使用当前图像作为参考图像的方法及装置 - Google Patents

使用当前图像作为参考图像的方法及装置 Download PDF

Info

Publication number
CN107615763A
CN107615763A CN201680031020.2A CN201680031020A CN107615763A CN 107615763 A CN107615763 A CN 107615763A CN 201680031020 A CN201680031020 A CN 201680031020A CN 107615763 A CN107615763 A CN 107615763A
Authority
CN
China
Prior art keywords
image
present image
present
mark
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680031020.2A
Other languages
English (en)
Other versions
CN107615763B (zh
Inventor
刘杉
许晓中
柳成浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Priority to CN202010791294.XA priority Critical patent/CN112087639B/zh
Publication of CN107615763A publication Critical patent/CN107615763A/zh
Application granted granted Critical
Publication of CN107615763B publication Critical patent/CN107615763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于视频编解码系统的管理解码图像缓存器的方法及装置，用于使用帧间预测模式和帧内块复制模式的系统。根据一个方法，确定图像层或者切片层中的当前图像使用标志。若所述当前图像使用标志指示当前图像不被允许用作当前图像的参考图像，则仅将所述解码图像缓存器中一个图像缓存器分配给当前图像，并且将在环路滤波之后的重构当前图像存储到解码图像缓存器中的该图像缓存器中。根据另一种方法，若一个或者多个环路滤波器中的所有均被禁能以用于当前图像的整体部分，系统仅将解码图像缓存器中的一个图像缓存器分配给当前图像的帧间编码模式和帧内块复制模式。

Description

使用当前图像作为参考图像的方法及装置
优先权声明
本申请主张在2015年05月28日提出的申请号为62/167,474的美国临时专利申请，以及2015年06月24日提出的申请号为62/183,799的美国临时专利申请的优先权，且上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明涉及视频编解码，其允许使用当前图像作为参考图像，具体而言，本发明涉及一种标示(signaling)使用当前图像作为参考图像并确定待存储的重构图像的版本数的技术。
背景技术
高效视频编码(High Efficiency Video Coding，HEVC)是近年来已经发展的新的编码标准。在HEVC系统中，H.264/AVC的固定尺寸的宏块(macroblock)由被称为编码单元(coding unit，CU)的可变块(flexible block)取代。CU内的像素共享相同的编解码参数以提高编解码效率。CU可能从最大CU(largest CU，LCU)开始，其也被称为HEVC中的编码树单元(coded tree unit，CTU)。除了编码单元的概念，HEVC中也引进了预测单元(predictionunit，PU)的概念。一旦完成CU分层树的分割，根据预定类型和PU分割，每个叶CU则被进一步分割成一个或者多个PU。
在用于HEVC标准的屏幕内容编解码的当前发展中，一些工具因其在屏幕内容的编解码效率的改善而已被使用。对于帧内块，根据传统的方法，使用基于来自于相邻块的重构像素的预测来执行帧内预测。帧内预测可以从帧内模式集(set of Intra Modes)中选择一个帧内模式，该帧内模式集包括垂直模式、水平模式和各种角度预测模式。对应HEVC屏幕内容编解码，被称为帧内块复制(Intra-block copy，IntraBC)的新编解码模式已被使用。
IntraBC使用在环路滤波器处理之前的当前图像中的重构样本作为用于预测的参考图像。除了在环路滤波器之后的已滤波图像，该未滤波图像需被存储。为了存储在环路滤波器之前的重构样本，可能需要额外的存储器和存储带宽，以分别用于读取和写入。在环路滤波器之前的所有重构样本用作用于IntraBC预测的参考的情况下，位于环路滤波器之前的整个重构图像需被存储。因此，环路滤波器之前的重构当前图像和环路滤波器之后的重构当前图像需被存储，以分别用于IntraBC预测和时间预测(temporal prediction)。因此，帧内块复制存储访问使得存储带宽变大。另外，其也引起额外的解码图像缓存器(decodingpicture buffer，DPB)。
为了存储环路滤波器之前的额外的重构样本，部分8：HEVC屏幕内容编解码(Screen Content Coding，SCC)：草案3(Joshi,et al.,HEVC Screen Content CodingDraft Text 3,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1005)的一般解码过程被修改以使得DPB中的图像存储缓存器被分配给当前图像。在HEVC SCC：草案3中，在curr_pic_as_ref_enabled_flag等于1的情况下，重构当前图像被标记为"用于长期参考(long-term reference)"。当curr_pic_as_ref_enabled_flag等于1时，在环路滤波之前的重构当前图像的已解码样本值被存储到分配给当前图像的图像存储缓存器。完成所有切片(slice)的解码之后，环路滤波器之后的整个当前已解码图像被存储在分配给当前图像的图像存储缓存器中，并被标记为"用于短期参考(short-termreference)"。
在HEVC SCC：草案3(Joshi,et al.,HEVC Screen Content Coding Draft Text3,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1005)中，一个图像可被包含在该图像的参考图像列表中，并用作IntraBC预测模式中的参考图像。为了指示图像是否被包含在该图像本身的参考图像列表中，被称为curr_pic_as_ref_enabled_flag的标志被标示在序列参数集(sequence parameter set，SPS)拓展(即sps_scc_extension)中，作为SPS的一部分。
通过将当前图像包含在参考图像中，如JCTVC-S0302(Pang,et al.,Non-CE2:Intra block copy and Inter signaling unification,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,19thMeeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S0302)中所公开，重新使用帧间模式(Inter mode)标示来标示IntraBC模式。为了区分是否为传统的帧间模式(如HEVC版本1和AVC中)或者IntraBC模式，可以检测参考索引以判断其是否等于当前图像。如果参考索引为当前图像，意味着当前预测为IntraBC模式。
具体地，HEVC SCC：草案3的SPS拓展指定用于curr_pic_as_ref_enabled_flag的以下语义：
curr_pic_as_ref_enabled_flag等于1指定参考SPS的图像可以被包含在图像本身的参考图像列表中。curr_pic_as_ref_enabled_flag等于0指定参考SPS的图像永不被包含在图像本身的任何参考图像列表中。当不存在curr_pic_as_ref_enabled_flag时，curr_pic_as_ref_enabled_flag的值被推断为等于0。
如HEVC SCC：草案3中指定，在用于参考图像列表重构的解码过程中，如屏幕内容编解码的SPS拓展中存在的curr_pic_as_ref_enabled_flag用作一个标志，以指示用于IntraBC预测的当前图像是否被插入到参考图像列表0中。
根据HEVC SCC：草案3的说明，如屏幕内容编解码的SPS拓展中存在的curr_pic_as_ref_enabled_flag可以被用于整个编码视频序列(coded video sequence，CVS)。基于整个序列而非单个图像决定是否使用该标志。因此，如HEVC SCC：草案3中指定，当curr_pic_as_ref_enabled_flag等于1时，不可能指示当前图像是否被包含在该图像的参考图像列表中，以用于序列中的单个图像。
在JCTVC-S0145(Rapaka,et al.,Bandwidth reduction method for intrablock copy,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG 11,19th Meeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S0145)中，公开了一种在IntraBC模式用于预测时降低平均带宽的方法。该方法基于并不是当前图像的所有之前的未滤波已解码样本用于IntraBC模式中的预测的观察。JCTVC-S0145公开了一种指示哪个之前已编码的编码树块(coding tree block，CTB)用于IntraBC预测的方法。这样，当前图像中仅IntraBC编码的CTB需被存储。因此，可以降低平均带宽。
然而，需要了解切片中存在多少个CTB，并提前发送标志。此外，如屏幕内容编解码的SPS拓展中存在的curr_pic_as_ref_enabled_flag用于指示当前图像是否被插入到参考图像列表中，并用于参考图像。为了解决这些问题，JCTVC-T0051(Laroche,et al.,AHG10:On IntraBC memory reduction,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0051)和JCTVC-T0045(Lainema,et al.,AHG10:Memorybandwidth reduction for intra block copy,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0045)中公开了一种标示用于指示CTB是否用于IntraBC预测的CTU层标志的方法。因此，当curr_pic_as_ref_enabled_flag等于1时，在环路滤波器之前的CTB或者在环路滤波器之后的CTB被存储以避免额外的存储。
现有方法中的问题
根据HEVC SCC:草案3，curr_pic_as_ref_enabled_flag被标示在屏幕内容编解码的SPS拓展中。在场景变化的情景中，例如屏幕内容与自然视频内容之间的场景变化，一旦检测到自然序列和屏幕内容序列之间的场景变化，编码器可能需要改变使用当前图像作为参考图像的标志。对于屏幕内容图像，IntraBC可以更有效。但是，根据HEVC SCC:草案3的基于序列的标志将不允许改变位于图像层处的使用当前图像的标志。需要指示是否将当前图像插入到更底层中的参考图像列表(即使用IntraBC模式)中，例如图像层。
在高层语法中，在参考图像列表重构的初始化过程中，当前图像被放置在所有短期参考图像和所有其他长期参考图像之后。下面列出了用于列表0的相关描述。相似的过程可以用于列表1。
在每个切片的解码过程的开始处，如下，推导出用于P切片的参考图像列表RefPicList0，以及用于B切片的参考图像列表RefPicList0和参考图像列表RefPicList1。
表1
在表1中，curr_pic_as_ref_enabled_flag等于1指定了参考SPS的图像可以被包含在图像本身的参考图像列表中。curr_pic_as_ref_enabled_flag等于0指定了参考SPS的图像永不被包含在图像本身的参考图像列表中。当不存在时，curr_pic_as_ref_enabled_flag的值被推断为等于0。
初始化之后，参考图像列表RefPicList0被构造成如下表所示：
表2
然而，当活跃的参考图像的数量(即num_ref_idx_l0_active_minus1+1)小于与存储当前图像的RefPicListTemp0队列相关的列表中参考图像的数量(即NumRpsCurrTempList0)时，当前图像可以不被包含在活跃的参考图像列表中。
在基于现有的HEVC的编解码系统中，存在与用于IntraBC的解码图像缓存器管理相关的问题。当使用IntraBC时，当前图像的重构部分可以用作参考图像，以预测当前图像。该用于IntraBC的参考图像被称为“未滤波版本的当前图像”。另一方面，最终将通过诸如去块(deblocking)和样本自适应偏移(Sample Adaptive Offset，SAO)的滤波操作的当前图像的版本被称为已滤波版本的当前图像。
参考图像得在DPB中，以由当前图像来使用。DPB的大小被约束成MaxDpbSize，其由表3所示而得到。
表3
在表3中，MaxLumaPs是最大亮度图像尺寸，maxDpbPicBuf是最大DPB尺寸，例如6。但是，当使用IntraBC时，当前DPB管理操作中存在一些问题。
发明内容
本发明公开一种管理解码图像缓存器的方法及装置，用于视频编解码系统，其中视频编解码系统使用包含(HEVC版本1和AVC中的)传统的(或者时间(temporal))帧间预测模式和HEVC SCC所采用的新的帧间预测模式，也称为帧内块复制模式的编解码模式。根据这个方法，确定图像层或者切片层中的当前图像使用标志。当前图像使用标志指示当前图像是否被允许用作参考图像以预测并编解码其本身。等价地，当前图像使用标志也(同时)指示帧内块复制模式是否被使能(或者被使用)以用于编解码当前图像。根据环路滤波器是否被使能，若当前图像使用标志指示当前图像不被允许用作当前图像的参考图像，则仅将一个图像缓存器分配到解码图像缓存器中用于当前图像，并且将在环路滤波之后的重构当前图像或者在环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的该图像缓存器中。若当前图像使用标志指示当前图像被允许用作当前图像的参考图像，允许在DPB中分配最多两个当前图像的图像缓存器。如果环路滤波器被使能，则将在环路滤波之后的所述重构当前图像和在环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的这最多两个图像缓存器中。所述图像层或者所述切片层中的所述当前图像使用标志可用于替换序列层中的相应的当前图像使用标志。可选地，除了序列层中相应的当前图像使用标志之外，还可以使用所述图像层或者切片层中的所述当前图像使用标志。
本发明还公开了另一种管理解码图像缓存器的方法和装置。该方法判断环路滤波器，例如去块滤波器和样本自适应偏移滤波器，是否用于当前图像的整体部分。如果当前图像的整体均禁能去块滤波器和样本自适应偏移滤波器，则仅将解码图像缓存器中的一个图像缓存器分配给当前图像的时间帧间预测和帧内块复制预测，并且仅将未滤波版本的重构当前图像存储到该图像缓存器中。该方法可以进一步确定序列层、图像层或者切片层中的当前图像使用标志，其中当前图像使用标志指示当前图像是否被允许用作当前图像的参考图像。若当前图像使用标志指示当前图像不被允许用作当前图像的参考图像，仅将解码图像缓存器中的一个图像缓存器分配给当前图像的时间帧间预测模式，并仅将一个版本(已滤波地或者未滤波地，取决于环路滤波器是否被使能)的重构当前图像存储到该一个图像缓存器中。若下列任一条件为真，则所述样本自适应偏移滤波器则被禁能：a)序列层样本自适应偏移滤波器使能标志为假；b)所述序列层样本自适应偏移滤波器使能标志为真，所述当前图像中仅存在一个切片，并且所有颜色分量的切片层样本自适应偏移滤波器标志为假；以及c)序列层样本自适应偏移滤波器使能标志为真，所述当前图像中存在多个切片，以及所有颜色分量和所有切片的切片层样本自适应偏移滤波器标志为假。若下列任一条件为真，则所述去块滤波器被禁能：a)所述当前图像中仅存在一个切片，且切片层去块滤波器禁能标志存在且为真；b)所述当前图像中仅存在一个切片，所述切片层去块滤波器禁能标志不存在，以及图像层去块滤波器禁能标志为真；以及c)所述当前图像中存在多个切片，当存在时所有切片的切片层去块滤波器禁能标志为真，或者当不存在时所述图像层去块滤波器禁能标志为真。
附图说明
图1是根据本发明实施例的使用包含(HEVC版本1和AVC中的)传统的(或者时间)帧间预测模式和由HEVC SCC所使用的也称为IntraBC的新帧间预测模式的编码模式的示例性编解码系统的流程图，其中在图像层或者切片层处的当前图像使用标志(current-picture-usage flag)用于指示当前图像是否被允许用作当前图像的参考图像。
图2是根据本发明实施例的使用包含(HEVC版本1和AVC中的)传统的(或者时间)帧间预测模式和由HEVC SCC所使用的也称为IntraBC的新帧间预测模式的编码模式的示例性编解码系统的流程图，其中如果整个当前图像禁用去块滤波器和SAO滤波器，则仅一个图像缓存器被分配以存储未滤波版本的重构当前图像。
具体实施方式
以下描述为实施本发明的较佳方式。本文仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围应当视权利要求书所界定为准。
如上所述，存在与标示位于SPS层处的curr_pic_as_ref_enabled_flag相关的各种问题。首先，在新场景发生时，发送图像参数集(picture parameter set，PPS)以更新参数比发送SPS更有效。其次，其浪费有价值的比特来指示位于SPS层处的已改变的curr_pic_as_ref_enabled_flag。
在具有图像刷新错误(picture refreshing error)弹性的视频编解码应用中，将当前图像插入到参考图像列表的指示可以用于提供刷新功能。在基于渐进刷新的差错控制中，当前图像没有被包含在大部分访问点(access point)内的参考图像列表中，这些访问点的目标不在于刷新。另一方面，如果当前图像被包含在访问点内的参考图像列表中，这些访问点的目标在于刷新以停止时间错误传输并避免浪费帧内编解码中的比特。IntraBC模式用于屏幕内容图像比帧内模式更有效。因此，需要提供图像层的指示，以表示是否将当前图像插入到图像本身的参考图像列表中。
相似地，在具有渐进切片刷新错误弹性(progressive slice refreshing errorresilient)的视频编解码应用中，将当前图像插入到在切片层上的参考图像列表的指示可以用于提供基于切片的刷新功能。在基于渐进切片刷新的差错控制中，当前图像没有被包含在一个或者多个访问点的大部分切片的参考图像列表中，这些访问点目标不在于刷新。另一方面，如果当前图像被包含在用于一个或者多个访问点的切片的参考图像列表中，切片的目标在于刷新以停止时间错误传输并避免浪费帧内编解码中的比特。在这种情况下，需要提供将当前图像插入到当前图像的参考图像列表中的切片层指示。
如果指示将当前图像插入到当前图像的参考图像列表中的标志存在于PPS中，则存在于PPS的标志可以由整个编码图像使用，如PPS的定义，该标志由每个切片段头中发现的语法元素来确定。可选地，如果指示将当前图像插入到当前图像的参考图像列表中的标志存在于切片段头中，则存在于切片段头中的标志可以被应用到包含切片的图像上或者被应用到切片段上。但是，在现有技术中，指示将当前图像插入到当前图像的参考图像列表中的标志仅存在于SPS中，而不存在于PPS或者切片段头中。
为了处理curr_pic_as_ref_enabled_flag仅存在于HEVC SCC：草案3中的SPS拓展中的限制条件，本发明公开了一种指示当前图像是否被包含在诸如PPS或/和切片段头的更低层中的参考图像列表中的方法。
在第一实施例中，语法元素sps_scc_extension和语法元素pps_scc_extension以一种方式被修改，该方式为curr_pic_as_ref_enabled_flag自sps_scc_extension中移除，且称为curr_pic_in_ref_list_flag的语法元素被添加到屏幕内容编解码的PPS拓展中，如下所示，其为PPS的一部分。接下来，所有的修改均是基于HEVC SCC：草案3。在下面表格和语义中，由括号对内的星号对所组成的文本(即“[*删除文字*]”)表示删除，且斜体的文本表示插入。
表4
表5
在第一实施例中，如下所示，当与之前存在于sps_scc_extension中的curr_pic_as_ref_enabled_flag进行比较时，在pps_scc_extension中的curr_pic_in_ref_list_flag的语义被修改成：
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于1指定IntraBC被使能以用于参考这个PPS[*SPS*]的图像。当前图像为
[*可能*]被视为参考图像，并被包含在图像本身的一个或多个切片的参考图像列表中。当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于0指定IntraBC没有被使能以用于参考这个PPS[*SPS*]的图像。当前图像没有被包含在图像本身的切片的任何参考图像列表。当不存在时，
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag的值被推导出等于0。
在第二实施例中，如下，如果存在于参考的SPS中的curr_pic_as_ref_enabled_flag等于1，语法元素slice_segment_header以添加称为curr_pic_in_ref_list_flag的语法元素的方式被修改。在下表中，斜体的文本表示插入。
表6
在第二实施例的一个变形中，如下所示，当与之前存在于sps_scc_extension中的curr_pic_as_ref_enabled_flag进行比较时，在slice_segment_header中的curr_pic_in_ref_list_flag的语义被修改成：
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于1指定[*a*]IntraBC被使能以用于当前图像。[*参考SPS可能*]。当前图像为被视为参考图像，并被包含在当前图像本身的一个或多个切片的参考图像列表中。当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。
curr_pic_in_ref_list_flag[*curr_pic_as_ref_enabled_flag*]等于0指定IntraBC没有被使能以用于当前图像[*参考SPS*]。当前图像没有[*永不*]被包含在当前图像本身的一个或多个切片的任何参考图像列表中。当不存在时，[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag的值被推导出等于0。对于编码图像的所有切片段头,存在于编码图像的切片段头中的[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag将是一个0或者1的相同值。
在第二实施例的另一变形中，如下所示，当与之前存在于sps_scc_extension中的curr_pic_as_ref_enabled_flag进行比较时，slice_segment_header中的curr_pic_in_ref_list_flag的语义被修改成：
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于1指定IntraBC被使能以用于[*a*]当前图像[参考SPS可能]。当前图像被视为参考图像，并被包含在当前图像本身的一个或多个切片的参考图像列表中。[*curr_pic_as_ref_enabled_flag*]当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。curr_pic_in_ref_list_flag等于0指定[*a*]IntraBC没有被使能以用于当前图像[*参考SPS*]。当前图像没有[*永不*]被包含在当前图像本身的一个或多个切片的任何参考图像列表。当不存在时，[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag的值被推导出等于0。
在第二实施例的又一变形中，如表7所示，如果存在于参考PPS中的curr_pic_as_ref_enabled_flag等于1，则slice_segment_header的语法以称为curr_pic_in_ref_list_flag的语法元素被添加的方式被修改。表8和表9所示，sps_scc_extension和pps_scc_extension的语法以curr_pic_as_ref_enabled_flag自sps_scc_extension中移除到pps_scc_extension以作为PPS的一部分的方式被修改。如表8所示，语法元素curr_pic_as_ref_enabled_flag自SPS SCC拓展的语法表格中移除。另一方面，表9示出了语法元素curr_pic_as_ref_enabled_flag被添加到PPS SCC拓展的语法表格中。
表7
表8
表9
表8和表9中的示例示出了通过将语法元素curr_pic_as_ref_enabled_flag从SPSSCC拓展中移动到PPS SCC拓展中而指示当前图像是否被包含在用于当前图像内所有切片的参考图像列表中的方法的一个实施例。但是，在另一个实施例中，除了SPS SCC拓展中的语法元素curr_pic_as_ref_enabled_flag之外，语法元素curr_pic_as_ref_enabled_flag可以被添加到PPS SCC拓展中。如表10和表11所示，除了SPS SCC拓展之外，将语法元素curr_pic_as_ref_enabled_flag添加到PPS SCC拓展中的示例。
表10
表11
在第二实施例的又一变形中，如下所示，当与之前存在于sps_scc_extension中的curr_pic_as_ref_enabled_flag进行比较时，slice_segment_header中的curr_pic_in_ref_list_flag的语义被修改成：
[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于1指定IntraBC被使能以用于当前图像。[*a*]当前图像[*参考SPS可能
*]被视为参考图像，并被包含在当前图像本身的这个切片的参考图像列表中。[*curr_pic_as_ref_enabled_flag*]当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。curr_pic_in_ref_list_flag等于0指定IntraBC被使能以用于当前图像。[*a*]当前图像[*参考SPS*]没有[*永不*]被包含在当前图像本身的这个切片的任何参考图像列表。当不存在时，[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag的值被推导出等于0。
在curr_pic_in_ref_list_flag的语义中，除了上述语义，还可以使用额外的约束条件，上述语义为存在于编码图像的切片段头中的[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag将是一个0或者1的相同值以用于编码图像的所有切片段头。
在第二实施例的又一变形中，当与之前存在于sps_scc_extension中的curr_pic_as_ref_enabled_flag进行比较时，pps_scc_extension中curr_pic_as_ref_enabled_flag的语义被修改成如下。
curr_pic_as_ref_enabled_flag等于1指定IntraBC被使能以用于参考PPS[*SPS*]的图像。当前图像被视为参考图像，并被包含在当前图像本身的一个或多个切片的参考图像列表中。当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。curr_pic_as_ref_enabled_flag等于0指定IntraBC不被使能以用于参考PPS[*SPS*]的图像。当前图像永不被包含在图像本身的一个或多个切片的任何参考图像列表。当不存在时，curr_pic_as_ref_enabled_flag的值被推导出等于0。
在实施例1和实施例2中，用于参考图像列表构造的解码过程以一种方式被修改，该方式为分别存在于PPS或/和切片段头的curr_pic_in_ref_list_flag被用作指示IntraBC是否被使能以用于当前图像或者切片，以及当前图像是否被包含在图像本身中的切片的参考图像列表中的标志。当IntraBC被使能时，可以以一种与运动补偿相似的方式但使用同一图像的重构样本来补偿当前图像中的块。如下表所示，JCTVC-T1005中所定义的用于参考图像列表构造的解码过程的示例可以被修改以合并本发明的一个实施例。该过程在用于每个P切片或者B切片的解码过程的开始处被调用。
表12
比特流一致性的一个要求是，当nal_unit_type的值位于BLA_W_LP到RSV_IRAP_VCL23的范围之内(包含BLA_W_LP和RSV_IRAP_VCL23)(即图像为IRAP图像)，并且，[*curr_pic_as_ref_enabled_flag*]curr_pic_in_ref_list_flag等于1时，RefPicList0将包含一个或者多个项目，其仅参考当前图像。
在实施例1和实施例2中，如下，参考图像列表变形语义以一种方式被修改，该方式为分别存在于PPS或者切片段头中的curr_pic_in_ref_list_flag被用作指示NumPicTotalCurr是否被增加1以将当前图像计数为参考图像的标志。
如下表所示，JCTVC-T1005中所定义的参考图像列表的示例可以被修改以合并本发明的一个实施例。变量NumPicTotalCurr被推导成如下：
表13
参考图像列表(即RefPicListTemp0队列)构造初始化过程
在一个实施例中，该过程被修改，以使得当前图像(环路滤波之前)用作参考，并被放置到参考图像列表的第N个位置(即列表中索引N-1)。该列表可以为列表0或者列表1。下面示例被提供用于列表0。N可以是包含两端点的(1,num_ref_idx_l0_active_minus1+1)的范围中的整数。例如，N可以等于1(即列表中的第二位置，位于一个时间参考图像之后)，或者N可以等于num_ref_idx_l0_active_minus1+1(即列表中的最后位置)。
如下表所示，是一种示例性处理，其中currPic表示位于环路滤波之前的当前图像。
表14
在另一实施例中，未滤波(去块滤波器和SAO滤波器)版本的当前图像用作用于当前切片的可能的参考图像，并且当下面条件中的一个或者两个为真时，其被放置在参考图像列表X(X＝0或者1)的最后位置处：
–序列层标志/图像层标志/切片层标志标示当前未滤波图像用于参考图像，
–没有使用这列表的参考列表变形。
如下表所示，是一种示例性处理，其中currPic表示位于环路滤波之前的当前图像。
表15
列表RefPicList0被构造成如下：
for(rIdx＝0；rIdx<＝num_ref_idx_l0_active_minus1；rIdx++)
RefPicList0[rIdx]＝ref_pic_list_modification_flag_l0？
RefPicListTemp0[list_entry_l0[rIdx]]:RefPicListTemp0[rIdx]
if(curr_pic_as_ref_enabled_flag&&！ref_pic_list_modification_flag_l0)
RefPicList0[num_ref_idx_l0_active_minus1]＝currPic
用于未滤波版本的当前图像用作参考图像的DPB管理
第一实施例。在如上所公开的参考图像列表构造初始化过程中，当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，已滤波版本和未滤波版本的当前图像可以被放置在DPB中。当curr_pic_as_ref_enabled_flag等于0时，未滤波版本的当前图像将不被放入在DPB中。提出了下面几个方面：
–将最多两个图像放入到DPB中的时间可以由该过程发生在访问单元n的CPB移除时间的同时的情况来表示，即CpbRemovalTime[n]。
–当前已解码图像(未滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度(fullness)被增加1，并且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，并且当前图像(已滤波)被标记为“用于短期参考”。
在当前图像(已滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像(如果存在)将从DPB中移除，而已滤波版本的当前图像将保持在DPB中。在当前图像被处理之后，已滤波版本/未滤波版本的当前图像分别被作为已滤波版本/未滤波版本的之前图像(past picture)。下一待解码图像被作为下一当前图像。提出了下面几个方面：
–将未滤波版本的之前图像移除的时间可以由这个图像自DPB中移除的情况来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后立即移除，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自DPB中移除时，DPB存储度被减去1。
–已滤波版本的之前图像保持在DPB中。
在第一实施例的变形中，在解码当前图像之前(但在解析当前图像的第一切片的切片头之后)，如果整个图像禁能已知环路滤波器(去块和SAO)，已滤波版本的当前图像和未滤波版本的当前图像相同。与未滤波版本的当前图像相关的操作是不必要的，例如，将其放入到DPB中并将DPB存储度增加1，以及将其自DPB中移除并将DPB存储度减去1。
第二实施例。当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，已滤波版本的当前图像被放入到空的图像存储缓存器中的DPB中。而未滤波版本的当前图像可以被放入到不作为DPB一部分的空的图像存储缓存器中。当curr_pic_as_ref_enabled_flag等于0时，未滤波版本的当前图像将不被放入到不作为DPB一部分的空的图像存储缓存器中。提出了下面几个方面：
–将已滤波版本的当前图像放入到DPB中的时间可以由该过程发生在(当前图像的)访问单元n的CPB移除时间的同时的情况来表示，即CpbRemovalTime[n]。
–将未滤波版本的当前图像放入到空的图像存储缓存器中(而不是被存储在DPB)的时间可以表示如下：这个过程发生在(当前图像的)访问单元n的CPB移除时间的同时，即CpbRemovalTime[n]。DPB存储度保持不变，并且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，且当前图像(已滤波)被标记为
“用于短期参考”。
在当前图像(已滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像(如果存在)将从图像存储缓存器(而非DPB)中移除，而已滤波版本的当前图像将保持在DPB中。当该过程移动至下一图像时，未滤波版本的当前图像被作为未滤波版本的之前图像。相似地，已滤波版本的当前图像被作为已滤波版本的之前图像。下一待解码图像被作为下一当前图像。提出了下面几个方面：
–将未滤波版本的之前图像移除的时间可以由这个图像自图像存储缓存器(而非DPB)中移除的情况(instance)来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后立即移除，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自图像存储缓存器(而非DPB)中移除时，DPB存储度保持不变。
第三实施例。当curr_pic_as_ref_enabled_flag等于1时，在开始当前图像的解码过程之前，未滤波版本的当前图像被放入到DPB中的空的图像存储缓存器中。而已滤波版本的当前图像可以被放入到不作为DPB一部分的空的图像存储缓存器中。当curr_pic_as_ref_enabled_flag等于0时，未滤波版本的当前图像将不被放入到DPB中的空的图像存储缓存器中。提出了下面几个方面：
–将未滤波版本的当前图像放入到DPB中的时间可以由该过程发生在(当前图像的)访问单元n的CPB移除时间的同时的情况来表示，即CpbRemovalTime[n]。
–当前已解码图像(未滤波)被存储到空的图像存储缓存器中的DPB中，DPB存储度被增加1，且当前图像(未滤波)被标记为“用于长期参考”。
–当前已解码图像(已滤波)位于空的图像存储缓存器中(而不是被存储到DPB中)，DPB存储度保持不变，并且当前图像(滤波的)被标记为“用于短期参考”。
在当前图像(已滤波和未滤波)的解码之后，当curr_pic_as_ref_enabled_flag等于1时，未滤波版本的当前图像(如果存在)将从DPB中移除。而已滤波版本的当前图像将保持在DPB中。当当前图像被处理之后，已滤波/未滤波版本的当前图像分别被视为已滤波/未滤波版本的之前图像。下一待解码图像被作为下一当前图像。提出了下面几个方面：
方法A：
–将未滤波版本的之前图像移除的时间可以由这个图像自DPB中移除的情况来表示，其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。移除时间的一个示例为当前图像的解码之后立即移除，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–当未滤波版本的之前图像自DPB中移除时，DPB存储度被减去1。
–在未滤波版本的之前图像自DPB中移除之后，已滤波版本的之前图像被放入到DPB中，DPB存储度被增加1。
方法B：
–将已滤波版本的当前图像被放入到DPB中未滤波版本的当前图像的位置处，替代未滤波版本的当前图像。
–将未滤波版本的之前图像移动至DPB中的时间可以表示如下：其发生在当前图像的解码之后的任何时间，但得在下一当前图像的解码之前(可以是在解析下一当前图像的第一切片的切片头之后)。替代时间的一个示例为当前图像的解码之后立即移动，在访问单元n(包含当前图像)的最后一个解码单元的CPB移除时间。
–DPB存储度保持不变。
在第三实施例的变形中，在解码当前图像之前(但在解析当前图像的第一切片的切片头之后)，如果已知环路滤波器(例如，去块滤波器和SAO滤波器)对于整个图像被禁能，已滤波版本的当前图像和未滤波版本的当前图像相同。与未滤波版本的当前图像相关的操作是不必要的，例如，将其放入到DPB中并将DPB存储度增加1，以及将其自DPB中移除并将DPB存储度减去1。在这种情况下，用于已滤波版本的当前图像的操作可以与第三实施例中指定的相同，或者用于已滤波版本的当前图像的操作是不必要的，是因为其在这种情况下与未滤波版本相同。
在上述的三个实施例中，标志curr_pic_as_ref_enabled_flag可以是序列层标志、图像层标志或者切片层标志，其表示对于整个序列/图像/切片而言，当前图像可以用作参考图像。
对于不存在环路滤波器用于整个图像的情况(即图像禁能去块和SAO)的识别可以以下面的条件来表示：
如果下面三种情况中的一个为真，则SAO滤波器不用于当前图像：
情况1：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为假时。
情况2：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为真时，图像中仅存在一个切片，并且切片头标志slice_sao_luma_flag和切片头标志slice_sao_chroma_flag(如果色度分量存在)为假。
情况3：当序列层SAO使能标志sample_adaptive_offset_enabled_flag为真时，图像中存在多个切片，并且，用于所有切片的切片头标志slice_sao_luma_flag和切片头标志slice_sao_chroma_flag(如果色度分量存在)为假。
如果下面三种情况中的一个为真，则去块滤波器不用于当前图像：
情况1：图像中仅存在一个切片，并且切片头标志slice_deblocking_filter_disabled_flag存在且为真。
情况2：图像中仅存在一个切片，切片头标志slice_deblocking_filter_disabled_flag不存在，并且图像层pps_deblocking_filter_disabled_flag为真。
情况3：图像中存在多个切片，当存在时，所有的切片头标志slice_deblocking_filter_disabled_flag为真；或者当不存在时，图像层pps_deblocking_filter_disabled_flag为真。
当IntraBC被使能时DPB尺寸管理
在第一实施例中，在当前图像的解码之前，当已滤波版本和未滤波版本的当前图像被放置在DPB中，DPB尺寸(即maxDpbPicBuf)被保持不变。
在第二实施例中，在当前图像的解码之前，已滤波版本的当前图像被放入到DPB中，而另一方面，未滤波图像不被放入到DPB中。可选地，在当前图像的解码之前，未滤波版本的当前图像可以被放入到DPB中，而已滤波图像不被放入到DPB中。在这两种情况中，maxDpbPicBuf被修改为maxDpbPicBuf–curr_pic_as_ref_enabled_flag。如果curr_pic_as_ref_enabled_flag等于1，则一个缓存器被保留以用于不位于DPB中的一个版本。
在第二实施例的变形中，在使用maxDpbPicBuf–curr_pic_as_ref_enabled_flag计算DPB尺寸的过程中，也通过当前图像中环路滤波器的使用的识别来约束curr_pic_as_ref_enabled_flag。该过程可以由下面陈述来表示：
–如果不存在滤波器用于当前图像，则DPB尺寸为maxDpbPicBuf；
–否则，如果curr_pic_as_ref_enabled_flag为真，DPB尺寸为maxDpbPicBuf–1
–否则，DPB尺寸为maxDpbPicBuf
标志curr_pic_as_ref_enabled_flag可以被合并到序列层标志、图像层标志或者切片层标志中，其表示当前图像可以用作整个相应的序列/图像/切片的参考图像。
在第三实施例中，在当前图像的解码之前，已滤波版本的当前图像被放入到DPB中，而未滤波图像不被放入到DPB中。可选地，在当前图像的解码之前，未滤波版本的当前图像可以被放入到DPB中，而已滤波图像不被放入到DPB中。在这两种情况中，maxDpbPicBuf被修改为maxDpbPicBuf–1。一个缓存器被保留以用于不位于DPB中的一个版本。
图1示出了根据本发明一个实施例的使用包含IntraBC模式和帧间预测模式的编码模式的示例性编解码系统的流程图。在步骤110中，该系统确定图像层或者切片层中当前图像使用标志，其中当前图像使用标志用于指示IntraBC模式是否被使能以用于当前图像，且当前图像是否被允许用作当前图像的参考图像。在步骤120中，判断当前图像使用标志是否指示IntraBC模式不被使能以用于当前图像，且当前图像不被允许用作当前图像的参考图像。如果结果为“是”，则执行步骤130和步骤140。如果结果为“否”，则执行步骤150和步骤160。在步骤130中，DPB中仅一个图像缓存器(解码图像缓存器)被分配给当前图像。在步骤140中，在环路滤波之后的重构当前图像或者在环路滤波之前的重构当前图像被存储在DPB中该一个图像缓存器中。在步骤150中，DPB中的最多两个图像缓存器被允许分配给当前图像。在步骤160中，在环路滤波之后的重构当前图像和在环路滤波之前的重构当前图像被允许存储到DPB中这最多两个图像缓存器中。
图2是根据本发明另一实施例的使用包含IntraBC模式和帧间预测模式的编码模式的示例性编解码系统的流程图。在步骤210中，该系统确定是否一个或者多个环路滤波器中的所有在当前图像的整体部分均被禁能，其中该一个或者多个环路滤波器可以是去块滤波器和SAO滤波器。如果结果为“是”，则执行步骤220和步骤230。如果结果为“否”，则绕开步骤220和步骤230。在步骤220中，DPB中仅一个图像缓存器被分配给当前图像的帧间预测模式和IntraBC模式。在步骤230中，仅未滤波版本的重构当前图像被存储到该仅一个图像缓存器中。
如上所示的流程图用于示出根据本发明用于使用包括IntraBC模式和帧间预测模式的编码模式的编解码系统的缓存器管理的示例。在不脱离本发明的精神的情况下，本领域的技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，通过用等同的语法和语义来替换该语法和语义，技术人员可以实施本发明。
上述说明，使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)所执行的若干功能。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的编程语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (11)

1.一种管理解码图像缓存器的方法，用于视频编解码系统，所述视频编解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，其特征在于，包括：
确定图像层或者切片层中的当前图像使用标志，其中，所述当前图像使用标志指示所述帧内块复制模式是否被使能以用于当前图像，且所述当前图像是否被允许用作所述当前图像的参考图像；
若所述当前图像使用标志指示所述帧内块复制模式不被使能，且所述当前图像不被允许用作所述当前图像的所述参考图像，则：
仅将所述解码图像缓存器中一个图像缓存器分配给所述当前图像；以及
将在环路滤波之后的重构当前图像或者在所述环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的所述一个图像缓存器中；以及
若所述当前图像使用标志指示所述帧内块复制模式被使能以用于所述当前图像，且所述当前图像被允许用作所述当前图像的所述参考图像，则：
允许将所述解码图像缓存器中最多两个图像缓存器分配给所述当前图像；以及
允许将在所述环路滤波之后的所述重构当前图像和在所述环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的所述最多两个图像缓存器中。
2.如权利要求1所述的管理解码缓存器的方法，其特征在于，所述图像层或者所述切片层中的所述当前图像使用标志用于替换序列层中的相应的当前图像使用标志。
3.如权利要求1所述的管理解码缓存器的方法，其特征在于，除了序列层中相应的当前图像使用标志之外，还使用所述图像层中的所述当前图像使用标志。
4.如权利要求1所述的管理解码缓存器的方法，其特征在于，除了序列层中相应的当前图像使用标志之外，还使用所述切片层中的所述当前图像使用标志。
5.一种管理解码图像缓存器的方法，用于视频编解码系统，其中所述视频编解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，其特征在于，包括：
判断一个或者多个环路滤波器是否用于当前图像的整体部分；以及
若所述一个或者多个环路滤波器中的所有在所述当前图像的所述整体部分均被禁能，则：
仅将所述解码图像缓存器中一个图像缓存器分配给所述当前图像的所述帧间预测模式和所述帧内块复制模式；以及
仅将未滤波版本的重构当前图像存储到所述一个图像缓存器中。
6.如权利要求5所述的管理解码缓存器的方法，其特征在于，进一步包括：
确定序列层、图像层或者切片层中的当前图像使用标志，其中所述当前图像使用标志指示所述帧内块复制模式是否被使能以用于所述当前图像，且所述当前图像是否被允许用作所述当前图像的参考图像；以及
若所述当前图像使用标志指示所述帧内块复制模式不被使能，且所述当前图像不被允许用作所述当前图像的所述参考图像，则将所述解码图像缓存器中仅一个图像缓存器分配给所述当前图像的所述帧间预测模式，并仅将未滤波版本的所述重构当前图像存储到所述一个图像缓存器中。
7.如权利要求5所述的管理解码缓存器的方法，其特征在于，所述一个或者多个环路滤波器包括去块滤波器和样本自适应偏移滤波器。
8.如权利要求7所述的管理解码缓存器的方法，其特征在于，若下列任一条件为真，则所述样本自适应偏移滤波器被禁能：
a)序列层样本自适应偏移滤波器使能标志为假；
b)所述序列层样本自适应偏移滤波器使能标志为真，所述当前图像中仅存在一个切片，以及用于所有颜色分量的切片层样本自适应偏移滤波器标志为假；以及
c)所述序列层样本自适应偏移滤波器使能标志为真，所述当前图像中存在多个切片，以及用于所有颜色分量和所有切片的所述切片层样本自适应偏移滤波器标志为假。
9.如权利要求7所述的管理解码缓存器的方法，其特征在于，若下列任一条件为真，则所述去块滤波器被禁能：
a)所述当前图像中仅存在一个切片，且切片层去块滤波器禁能标志存在且为真；
b)所述当前图像中仅存在一个切片，所述切片层去块滤波器禁能标志不存在，以及图像层去块滤波器禁能标志为真；以及
c)所述当前图像中存在多个切片，当存在所述切片层去块滤波器禁能标志时用于所有切片的所述切片层去块滤波器禁能标志为真，或者当不存在时所述图像层去块滤波器禁能标志为真。
10.一种管理解码图像缓存器的装置，用于视频编解码系统，其中所述视频编解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，其特征在于，所述管理解码图像缓存器的装置包括一个或者多个电子电路，用于：
确定图像层或者切片层中的当前图像使用标志，其中，所述当前图像使用标志指示所述帧内块复制模式是否被使能以用于当前图像，且所述当前图像是否被允许用作所述当前图像的参考图像；
若所述当前图像使用标志指示所述帧内块复制模式不被使能，且所述当前图像不被允许用作所述当前图像的所述参考图像，则：
仅将所述解码图像缓存器中一个图像缓存器分配给所述当前图像；以及
将在环路滤波之后的重构当前图像或者在所述环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的所述一个图像缓存器中；以及
若所述当前图像使用标志指示所述帧内块复制模式被使能以用于所述当前图像，且所述当前图像被允许用作所述当前图像的所述参考图像，则：
允许将所述解码图像缓存器中最多两个图像缓存器分配给所述当前图像；以及
允许将在所述环路滤波之后的所述重构当前图像和在所述环路滤波之前的所述重构当前图像存储到所述解码图像缓存器中的所述最多两个图像缓存器中。
11.一种管理解码图像缓存器的装置，用于视频编解码系统，其中所述视频编解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，其特征在于，所述装置包括一个或者多个电子电路，用于：
判断一个或者多个环路滤波器是否用于当前图像的整体部分；以及
若所述一个或者多个环路滤波器中的所有在所述当前图像的所述整体部分均被禁能，则：
仅将所述解码图像缓存器中一个图像缓存器分配给所述当前图像的所述帧间预测模式和所述帧内块复制模式；以及
仅将未滤波版本的重构当前图像存储到所述一个图像缓存器中。
CN201680031020.2A 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置 Active CN107615763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010791294.XA CN112087639B (zh) 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562167474P 2015-05-28 2015-05-28
US62/167,474 2015-05-28
US201562183799P 2015-06-24 2015-06-24
US62/183,799 2015-06-24
PCT/CN2016/083449 WO2016188447A1 (en) 2015-05-28 2016-05-26 Method and apparatus for using a current picture as a reference picture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010791294.XA Division CN112087639B (zh) 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置

Publications (2)

Publication Number Publication Date
CN107615763A true CN107615763A (zh) 2018-01-19
CN107615763B CN107615763B (zh) 2020-09-11

Family

ID=57392560

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010791294.XA Active CN112087639B (zh) 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置
CN201680031020.2A Active CN107615763B (zh) 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010791294.XA Active CN112087639B (zh) 2015-05-28 2016-05-26 一种管理解码图像缓存器的方法及装置

Country Status (5)

Country Link
US (1) US10045038B2 (zh)
EP (1) EP3284258A4 (zh)
CN (2) CN112087639B (zh)
AU (2) AU2016269362A1 (zh)
WO (1) WO2016188447A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089124A (zh) * 2018-09-03 2018-12-25 山东师范大学 一种面向运动估计的帧间数据重用方法及装置
WO2020134883A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编码及视频解码
WO2020177661A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Order-based updating for intra block copy in video coding
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
CN114556938A (zh) * 2019-09-17 2022-05-27 华为技术有限公司 基于子图像的视频译码中的子图像id指示
US11375217B2 (en) 2019-02-02 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
CN114731391A (zh) * 2019-12-05 2022-07-08 寰发股份有限公司 用于视频编码系统之跨元件适应性回路滤波器的语法传讯限制方法和装置
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
CN115485981A (zh) * 2020-05-21 2022-12-16 阿里巴巴集团控股有限公司 视频编码中处理参考图像的方法
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448026B1 (en) * 2018-07-09 2019-10-15 Tencent America LLC Method and apparatus for block vector signaling and derivation in intra picture block compensation
EP3846474A4 (en) * 2018-08-29 2022-06-08 Sharp Kabushiki Kaisha VIDEO DECODING DEVICE AND VIDEO ENCODING DEVICE
US11509919B2 (en) * 2018-10-17 2022-11-22 Tencent America Reference sample memory size restrictions for intra block copy
WO2020085278A1 (ja) 2018-10-22 2020-04-30 日本放送協会 符号化装置、復号装置、及びプログラム
CN112889269B (zh) 2018-10-23 2023-10-27 腾讯美国有限责任公司 视频解码方法及装置
US20230328266A1 (en) * 2019-11-27 2023-10-12 Lg Electronics Inc. Image decoding method and device therefor
US11503336B2 (en) 2020-12-07 2022-11-15 Tencent America LLC Method and apparatus for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857746A (zh) * 2011-06-28 2013-01-02 中兴通讯股份有限公司 环路滤波编解码方法及装置
CN103780911A (zh) * 2011-06-20 2014-05-07 韩国电子通信研究院 视频解码设备
WO2015031806A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding
US20150139296A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
US9432700B2 (en) 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
EP2810438A1 (en) * 2012-01-31 2014-12-10 VID SCALE, Inc. Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
US9438911B2 (en) * 2012-08-03 2016-09-06 Mediatek Inc. Video processing system with shared/configurable in-loop filter data buffer architecture and related video processing method thereof
WO2014089805A1 (en) * 2012-12-13 2014-06-19 Mediatek Singapore Pte. Ltd. A new reference management method for video coding
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
WO2015005622A1 (ko) * 2013-07-07 2015-01-15 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US9507468B2 (en) * 2013-08-30 2016-11-29 Novasentis, Inc. Electromechanical polymer-based sensor
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
EP3158734A1 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780911A (zh) * 2011-06-20 2014-05-07 韩国电子通信研究院 视频解码设备
CN102857746A (zh) * 2011-06-28 2013-01-02 中兴通讯股份有限公司 环路滤波编解码方法及装置
WO2015031806A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding
US20150139296A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JOSHI R ET AL: "HEVC Screen Content Coding Draft Text 3", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 20.JCT-VC MEETING：GENEVA》 *
LIM W ET AL: "Non-CE2: Slice-level Intra block copy enabling", 《JOINT CLOOABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16，19.JCT-VC MEETING：STRASBOURG》 *
XIAOZHONG XU , SHAN LIU, SHAWMIN LEI: "On unification of intra block copy and inter-picture motion compensation", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)，OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，16TH MEETING: SAN JOSE, US》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089124B (zh) * 2018-09-03 2021-10-19 山东师范大学 一种面向运动估计的帧间数据重用方法及装置
CN109089124A (zh) * 2018-09-03 2018-12-25 山东师范大学 一种面向运动估计的帧间数据重用方法及装置
WO2020134883A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编码及视频解码
US11438613B2 (en) 2019-02-02 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Buffer initialization for intra block copy in video coding
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
US11375217B2 (en) 2019-02-02 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding
WO2020177661A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Order-based updating for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
CN114556938A (zh) * 2019-09-17 2022-05-27 华为技术有限公司 基于子图像的视频译码中的子图像id指示
CN114556938B (zh) * 2019-09-17 2023-04-11 华为技术有限公司 基于子图像的视频译码中的子图像id指示
CN115567713A (zh) * 2019-09-17 2023-01-03 华为技术有限公司 基于子图像的视频译码中的子图像id指示
CN114731391B (zh) * 2019-12-05 2023-12-01 寰发股份有限公司 用于视频编码系统之跨元件适应性回路滤波器的语法传讯限制方法和装置
US11979613B2 (en) 2019-12-05 2024-05-07 Hfi Innovation Inc. Methods and apparatuses of syntax signaling constraint for cross-component adaptive loop filter in video coding system
CN114731391A (zh) * 2019-12-05 2022-07-08 寰发股份有限公司 用于视频编码系统之跨元件适应性回路滤波器的语法传讯限制方法和装置
CN115485981A (zh) * 2020-05-21 2022-12-16 阿里巴巴集团控股有限公司 视频编码中处理参考图像的方法

Also Published As

Publication number Publication date
US10045038B2 (en) 2018-08-07
EP3284258A1 (en) 2018-02-21
US20180139461A1 (en) 2018-05-17
WO2016188447A1 (en) 2016-12-01
CN112087639A (zh) 2020-12-15
CN107615763B (zh) 2020-09-11
AU2019222914B2 (en) 2021-09-09
CN112087639B (zh) 2022-05-31
EP3284258A4 (en) 2019-04-17
AU2019222914A1 (en) 2019-09-19
AU2016269362A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
CN107615763A (zh) 使用当前图像作为参考图像的方法及装置
CN107615762A (zh) 用于帧内块复制模式的解码图像缓存器管理的方法
CN107852490B (zh) 一种视频编解码方法及系统
US11122276B2 (en) Method and system of decoded picture buffer for intra block copy mode
CA2934116C (en) Method and apparatus for palette table prediction
KR101378185B1 (ko) 가상 참조 픽처를 사용하는 방법 및 장치
CN108141619A (zh) 在使用帧内块复制的视频编解码系统中用于已解码图像缓存器管理的方法及装置
CN117041602A (zh) 用于对视频信号进行编码的方法、计算设备和存储介质
JP7377953B2 (ja) アクセスユニットデリミタおよび適応パラメータセットの使用
WO2020127110A1 (en) Signaling segment partitions in a parameter set
US11115452B2 (en) Method and device for processing encoded video data, and method and device for generating encoded video data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant