CN115485981A - 视频编码中处理参考图像的方法 - Google Patents

视频编码中处理参考图像的方法 Download PDF

Info

Publication number
CN115485981A
CN115485981A CN202180031988.6A CN202180031988A CN115485981A CN 115485981 A CN115485981 A CN 115485981A CN 202180031988 A CN202180031988 A CN 202180031988A CN 115485981 A CN115485981 A CN 115485981A
Authority
CN
China
Prior art keywords
reference picture
picture list
index
list
collocated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031988.6A
Other languages
English (en)
Inventor
陈杰
叶琰
廖如伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN115485981A publication Critical patent/CN115485981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种用于视频处理的计算机实现方法。该方法包括通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及用所分配的存储器处理当前图像或当前条带。

Description

视频编码中处理参考图像的方法
相关申请的交叉引用
本公开要求于2020年5月21日提交的申请号为63/028,509的美国临时申请的优先权，其全部内容通过引用并入本文。
技术领域
本公开通常涉及视频处理，更具体地，涉及用于处理参考图像的方法、装置和非瞬时计算机可读存储介质。
背景技术
视频是一组捕捉视觉信息的静态图像(或“帧”)。为了减少存储内存和传输带宽，可以在存储或传输之前对视频进行压缩，然后在显示之前进行解压缩。压缩过程通常称为编码，解压缩过程通常称为解码。有各种使用标准化视频编码技术的视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路滤波。视频编码标准，诸如高效视频编码(HighEfficiency Video Coding，HEVC/H.265)标准、通用视频编码(Versatile Video Coding，VVC/H.266)标准和AVS标准等，规定了具体的视频编码格式，由标准化组织制定。随着越来越多的先进视频编码技术在视频标准中被采用，新的视频编码标准的编码效率也越来越高。
发明内容
本公开实施例提供了一种视频处理方法。在一些实施例中，该方法包括：通过将序列参数集(sequence parameter set，SPS)中的参考图像列表结构的数量与1相加来导出总数；响应于在当前图像的图像头或当前条带(slice)的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及用分配的存储器处理当前图像或当前条带。
在一些实施例中，该方法包括：在图像参数集(picture parameter set，PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用PPS的当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于不用信号发送第二索引，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于不用信号发送第一索引，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；基于第一索引和第二索引导出参考图像列表；以及基于参考图像列表编码当前图像。
在一些实施例中，该方法包括：接收视频比特流；确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于第二索引不存在，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于第一索引不存在，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；以及基于第一索引和第二索引解码当前图像。
在一些实施例中，该方法包括：在条带头中用信号发送第一标志以指示条带头中是否存在激活(active)参考索引数，其中激活参考索引数用于导出用于对当前条带进行编码的相应参考图像列表的最大参考索引；响应于第一标志指示条带头中存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的条带头中用信号发送参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的条带头中用信号发送参考图像列表1的激活参考索引数。
在一些实施例中，该方法包括：接收包括条带头和图像头句法的视频比特流；确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出用于对当前条带进行解码的相应参考图像列表的最大参考索引；响应于第一标志指示存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，解码P和B条带的条带头中参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，解码B条带的条带头中参考图像列表1的激活参考索引数。
在一些实施例中，该方法包括：确定由并置图像(collocated picture)的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
本公开实施例提供了一种用于进行视频处理的装置。在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及用分配的存储器处理当前图像或当前条带。
在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：在图像参数集(PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用PPS的当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于不用信号发送第二索引，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于不用信号发送第一索引，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；基于第一索引和第二索引导出参考图像列表；以及基于参考图像列表编码当前图像。
在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：接收视频比特流；确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于第二索引不存在，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于第一索引不存在，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；以及基于第一索引和第二索引解码当前图像。
在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出用于对当前条带进行编码的相应参考图像列表的最大参考索引；响应于第一标志指示条带头中存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的条带头中用信号发送参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的条带头中用信号发送参考图像列表1的激活参考索引数。
在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：接收包括条带头和图像头句法的视频比特流；确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出用于对当前条带进行解码的相应参考图像列表的最大参考索引；响应于第一标志指示存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，解码P和B条带的条带头中参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，解码B条带的条带头中参考图像列表1的激活参考索引数。
在一些实施例中，该装置包括：存储器，用于存储指令；以及一个或多个处理器，用于执行指令以使得装置执行：确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
本公开实施例提供一种非瞬时计算机可读存储介质，存储有指令集，指令集由装置的一个或多个处理器执行，使得装置开始执行用于进行视频处理的方法。在一些实施例中，该方法包括：通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及用分配的存储器处理当前图像或当前条带。
在一些实施例中，该方法包括：在图像参数集(PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于参考PPS的当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于不用信号发送第二索引，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于不用信号发送第一索引，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；基于第一索引和第二索引导出参考图像列表；以及基于参考图像列表编码当前图像。
在一些实施例中，该方法包括：接收视频比特流；确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集SPS中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；响应于第二索引不存在，确定第二索引的值包括：当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；响应于第一索引不存在，确定第一索引的值包括：当SBS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；以及基于第一索引和第二索引解码当前图像。
在一些实施例中，该方法包括：在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出用于对当前条带进行编码的相应参考图像列表的最大参考索引；响应于第一标志指示条带头中存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的条带头中用信号发送参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的条带头中用信号发送参考图像列表1的激活参考索引数。
在一些实施例中，该方法包括：接收包括条带头和图像头句法的视频比特流；确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出用于对当前条带进行解码的相应参考图像列表的最大参考索引；响应于第一标志指示存在激活参考索引数，确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，解码P和B条带的条带头中参考图像列表0的激活参考索引数；以及确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，解码B条带的条带头中参考图像列表1的激活参考索引数。
在一些实施例中，该方法包括：确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
附图说明
以下具体实施方式和附图中说明了本公开的实施例和各个方面。图中所示的各种特征不是按比例绘制的。
图1是根据本公开一些实施例的示例性视频序列的结构示意图。
图2A是与本公开实施例一致的混合视频编码系统的示例性编码过程的示意图。
图2B是与本公开实施例一致的混合视频编码系统的另一示例性编码过程的示意图。
图3A是与本公开实施例一致的混合视频编码系统的示例性解码过程的示意图。
图3B是与本公开实施例一致的混合视频编码系统的另一示例性解码过程的示意图。
图4是根据本公开一些实施例的用于对视频进行编码或解码的示例性装置的框图。
图5A示出了根据本公开一些实施例的包括参考图像列表的句法结构的示例性句法。
图5B示出了根据本公开一些实施例的包括变量FullPocLt[i][j]推导的示例性伪代码。
图6A示出了根据本公开一些实施例的包括参考图像列表的句法结构的示例性句法。
图6B示出了根据本公开一些实施例的包括变量NumLtrpEntries[listIdx][rplsIdx]推导的示例性伪代码。
图6C示出了根据本公开一些实施例的包括变量AbsDeltaPocSt[listIdx][rplsIdx][i]推导的示例性伪代码。
图6D示出了根据本公开一些实施例的包括变量DeltaPocValSt[listIdx][rplsIdx]推导的示例性伪代码。
图7示出了根据本公开一些实施例的包括序列参数集中参考图像列表的句法结构的示例性句法。
图8示出了根据本公开一些实施例的包括图像参数集中参考图像列表的句法结构的示例性句法。
图9A示出了根据本公开一些实施例的包括图像头结构中参考图像列表的句法结构的示例性句法。
图9B示出了根据本公开一些实施例的包括变量MaxNumSubblockMergeCand推导的示例性伪代码。
图10A示出了根据本公开一些实施例的包括条带头中参考图像列表的句法结构的示例性句法。
图10B示出了根据本公开一些实施例的包括变量NumRefIdxActive[i]推导的示例性伪代码。
图11A示出了根据本公开一些实施例的用于在PH句法结构中用信号发送标志的示例性视频编码方法的流程图。
图11B示出了根据本公开一些实施例的用于在PH句法结构中用信号发送标志的示例性视频解码方法的流程图。
图11C示出了根据本公开一些实施例的包括ph_collocated_from_l0_flag和ph_mvd_l1_zero_flag的更新的信令的示例性句法。
图12A示出了根据本公开一些实施例的用于利用图像顺序计数指示并置图像的示例性视频编码方法的流程图。
图12B示出了根据本公开一些实施例的用于利用图像顺序计数指示并置图像的示例性视频编码方法的流程图。
图12C示出了根据本公开一些实施例的用于指示并置图像的示例性视频编码方法的流程图。
图12D示出了根据本公开一些实施例的用于利用图像顺序计数指示并置图像的示例性视频解码方法的流程图。
图12E示出了根据本公开一些实施例的用于利用图像顺序计数指示并置图像的示例性视频解码方法的流程图。
图12F示出了根据本公开一些实施例的包括图像参数集中更新的参考图像列表的示例性句法。
图12G示出了根据本公开一些实施例的包括更新的条带头的示例性句法。
图12H示出了根据本公开一些实施例的包括AbsDeltaPocStCol推导的示例性伪代码。
图12I示出了根据本公开一些实施例的包括DeltaPocValStCol推导的示例性伪代码。
图12J示出了根据本公开一些实施例的用于导出解码方法中使用的并置图像的示例性伪代码。
图13A示出了根据本公开一些实施例的利用参考图像列表中激活条目数量推断SH中并置图像的索引的示例性视频编码方法的流程图。
图13B示出了根据本公开一些实施例的利用参考图像列表中激活条目数量推断SH中并置图像的索引的示例性视频解码方法的流程图。
图13C示出了根据本公开一些实施例的用于更新的句法元素sh_collocated_ref_idx的示例性语义。
图14A示出了根据本公开一些实施例的用于解码器分配存储器的示例性视频处理方法的流程图。
图14B示出了根据本公开一些实施例的用于分配存储器的示例性语义。
图15A示出了根据本公开一些实施例的用于推断参考图像列表中的索引的示例性视频编码方法的流程图。
图15B示出了根据本公开一些实施例的用于推断参考图像列表中的索引的示例性视频编码方法的流程图。
图15C示出了根据本公开一些实施例的用于更新的变量rpl_idx[i]的示例性语义。
图16A示出了根据本公开一些实施例的用于指示条带头中是否存在激活参考索引的覆盖(override)数的示例性视频编码方法的流程图。
图16B示出了根据本公开一些实施例的用于指示条带头中是否存在激活参考索引的覆盖数的示例性视频解码方法的流程图。
图16C示出了根据本公开一些实施例的用于更新的句法元素sh_num_ref_idx_active_override_flag的示例性语义。
图17A示出了根据本公开一些实施例的用于为I条带在SH中定义并置图像索引的示例性视频处理方法的流程图。
图17B示出了根据本公开一些实施例的用于句法元素sh_collocated_ref_idx的更新的比特流一致性约束的示例性语义。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。以下描述参照附图，除非另有说明，否则不同附图中的相同数字表示相同或相似的元件。在示例性实施例的以下描述中阐述的实施方式并不代表与本发明一致的所有实施方式。相反，它们仅仅是与如所附权利要求中的与本发明相关的方面一致的装置和方法的示例。下面更详细地描述本公开的特定方面。如果与通过引用并入的术语和/或定义相冲突，则以本文提供的术语和定义为准。
ITU-T视频编码专家组(ITU-T video coding expert group，ITU-T VCEG)和ISO/IEC运动图像专家组(ISO/IEC moving picture expert group，ISO/IEC MPEG)的联合视频专家组(joint video experts team，JVET)目前正在制定通用视频编码(versatile videocoding，VVC/H.266)标准。VVC标准旨在将其前身高效视频编码(high efficiency videocoding，HEVC/H.265)标准的压缩效率提高一倍。换句话说，VVC的目标是使用一半的带宽实现与HEVC/H.265相同的主观质量。
为了使用一半的带宽实现与HEVC/H.265相同的主观质量，JVET一直在使用联合探索模型(JEM)参考软件开发HEVC之外的技术。随着编码技术被纳入JEM，JEM实现了比HEVC更高的编码性能。
VVC标准最近已经制定，并继续包括更多提供更好压缩性能的编码技术。VVC基于与现代视频压缩标准(如HEVC、H.264/AVC、MPEG2、H.263等)中使用的相同的混合视频编码系统。
视频是一组按时间顺序排列以存储视觉信息的静态图像(或“帧”)。视频捕获设备(例如，相机)可用于按时间顺序捕获和存储这些图像，并且视频播放设备(例如，电视、计算机、智能手机、平板电脑、视频播放器或具有显示功能的任何最终用户终端)可用于按时间顺序显示此类图像。此外，在一些应用中，视频捕获设备可以实时地将捕获的视频传输到视频播放设备(例如，具有监视器的计算机)，诸如用于监控、会议或直播等。
为了减少此类应用所需的存储空间和传输带宽，可以在存储和传输之前对视频进行压缩，并在显示之前进行解压缩。压缩和解压缩可以由处理器(例如，通用计算机的处理器)或专用硬件执行的软件实现。用于压缩的模块通常称为“编码器”，用于解压缩的模块通常称为“解码器”。编码器和解码器可以统称为“编解码器”。编码器和解码器可以实现为各种合适的硬件、软件或其组合中的任何一种。例如，编码器和解码器的硬件实现可以包括电路，例如一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuits，ASIC)、现场可编程门阵列(field-programmable gate arrays，FPGA)、离散逻辑或其任何组合。编码器和解码器的软件实现可以包括程序代码、计算机可执行指令、固件或固定在计算机可读介质中的任何合适的计算机实现的算法或过程。视频压缩和解压缩可以通过各种算法或标准来实现，例如MPEG-1、MPEG-2、MPEG-4、H.26x系列等。在一些应用中，编解码器可以从第一编码标准解压缩视频，并使用第二编码标准重新压缩解压缩的视频，在这种情况下，编解码器可以称为“转码器”。
视频编码过程可以识别并保留可用于重构图像的有用信息，并忽略对于重构不重要的信息。如果无法完全重构被忽略的、不重要的信息，则这种编码过程可以称为“有损”。否则，它可以被称为“无损”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传输带宽而做出的权衡。
正在被编码的图像(称为“当前图像”)的有用信息包括相对于参考图像(例如，先前编码和重构的图像)的变化。这种变化可以包括像素的位置变化、亮度变化或颜色变化，其中最关注的是位置变化。代表对象的一组像素的位置变化可以反映对象在参考图像和当前图像之间的运动。
在不参考另一个图像的情况下编码的图像(即，它是自己的参考图像)被称为“I-图像”。如果图像中的一些或所有块(例如，通常指视频图像部分的块)是采用使用一个参考图像的帧内预测或帧间预测(例如，单预测)进行预测的，则该图像被称为“P-图像”。如果图像中的至少一个块是用两个参考图像进行预测的(例如，双向预测)，则该图像被称为“B-图像”。
图1示出了根据本公开一些实施例的示例性视频序列100的结构。视频序列100可以是实况视频或已捕获并存档的视频。视频序列100可以是真实视频、计算机生成的视频(例如，计算机游戏视频)或其组合(例如，具有增强现实效果的真实视频)。视频序列100可以从视频捕获设备(例如，相机)、包含先前捕获的视频的视频存档(例如，存储在存储设备中的视频文件)或接收来自视频内容提供商的视频的视频馈送接口(例如，视频广播收发器)输入。
如图1所示，视频序列100可以包括沿时间轴在时间上排列的一系列图像，包括图像102、104、106和108。图像102-106是连续的，并且在图像106和108之间有更多的图像。在图1中，图像102是I-图像，其参考图像是图像102本身。图像104是P-图像，其参考图像是图像102，如箭头所示。图像106是B-图像，其参考图像是图像104和108，如箭头所示。在一些实施例中，图像(例如，图像104)的参考图像可以不紧接在图像之前或之后。例如，图像104的参考图像可以是图像102之前的图像。应当注意，图像102-106的参考图像只是示例，本公开并不将参考图像的实施例限制为图1中所示的示例。
通常，由于编解码任务的计算复杂性，视频编解码器不会一次对整个图像进行编码或解码。相反，他们可以将图像分割成基本段，并逐段对图像进行编码或解码。这样的基本段在本公开中被称为基本处理单元(basic processing unit，BPU)。例如，图1中的结构110示出了视频序列100的图像(例如，图像102-108中的任何一个)的示例结构。在结构110中，图像被划分为4×4个基本处理单元，其边界显示为虚线。在一些实施例中，基本处理单元可以在一些视频编码标准(例如，MPEG系列、H.261、H.263或H.264/AVC)中称为“宏块”，或者在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中称为“编码树单元”(codingtree unit，CTU)。图像中的基本处理单元可以具有可变大小，例如128×128、64×64、32×32、16×16、4×8、16×32或像素的任何任意形状和大小。可以基于编码效率和要在基本处理单元中保持的细节水平的平衡来为图像选择基本处理单元的大小和形状。
基本处理单元可以是逻辑单元，其可以包括存储在计算机存储器中(例如，在视频帧缓冲器中)的一组不同类型的视频数据。例如，彩色图像的基本处理单元可以包括表示消色差亮度信息的亮度分量(Y)、表示颜色信息的一个或多个色度分量(例如，Cb和Cr)以及相关联的句法元素，其中亮度分量和色度分量可以具有相同大小的基本处理单元大小。在一些视频编码标准(例如H.265/HEVC或H.266/VVC)中，亮度和色度分量可以称为“编码树块”(“CTB”)。对基本处理单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。
视频编码具有多个操作阶段，其示例在图2A-2B和图3A-3B中示出。对于每个阶段，基本处理单元的大小仍然可能太大而无法进行处理，因此可以进一步划分为本公开中称为“基本处理子单元”的段。在一些实施例中，基本处理子单元可以在一些视频编码标准(例如，MPEG系列、H.261、H.263或H.264/AVC)中称为“块”，或者在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中称为“编码单元”(coding unit，“CU”)。基本处理子单元的大小可以与基本处理单元相同或更小。与基本处理单元类似，基本处理子单元也是逻辑单元，其可以包括存储在计算机存储器(例如，在视频帧缓冲器中)中的一组不同类型的视频数据(例如，Y、Cb、Cr和相关句法元素)。对基本处理子单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。应当注意，这种划分可以根据处理需要进一步进行。还应注意，不同的阶段可以使用不同的方案划分基本处理单元。
例如，在模式决定阶段(其示例在图2B中示出)，编码器可以决定针对基本处理单元使用什么预测模式(例如，图像内预测或图像间预测)，但基本处理单元可能太大而无法做出这样的决定。编码器可以将基本处理单元分割为多个基本处理子单元(例如，如H.265/HEVC或H.266/VVC中的CU)，并为每个单独的基本处理子单元确定预测类型。
对于另一个示例，在预测阶段(其示例在图2A和图2B中示出)，编码器可以在基本处理子单元(例如，CU)级别执行预测操作。然而，在某些情况下，基本处理子单元可能仍然太大而无法处理。编码器可以进一步将基本处理子单元分割成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“预测块”或“PB(prediction block)”)，在该段的级别上可以执行预测操作。
对于另一个示例，在变换阶段(其示例在图2A和图2B中示出)，编码器可以对残差基本处理子单元(例如，CU)执行变换操作。然而，在某些情况下，基本处理子单元可能仍然太大而无法处理。编码器可以进一步将基本处理子单元分割成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“变换块”或“TB(tranform block)”)，在该段的级别上可以执行变换操作。应当注意，相同基本处理子单元的划分方案在预测阶段和变换阶段可以不同。例如，在H.265/HEVC或H.266/VVC中，相同CU的预测块和变换块可以具有不同的大小和数量。
在图1的结构110中，基本处理单元112进一步划分为3×3个基本处理子单元，其边界如虚线所示。同一图像的不同基本处理单元可以划分为不同方案的基本处理子单元。
在一些实现方式中，为了提供对视频编码和解码的并行处理能力和容错能力，可以将图像划分为多个区域进行处理，使得对于图像的一个区域，编码或解码过程可以不依赖于来自图像任何其他区域的信息。换句话说，可以独立处理图像的每个区域。通过这样做，编解码器可以并行处理图像的不同区域，从而提高编码效率。此外，当一个区域的数据在处理中损坏或在网络传输中丢失时，编解码器可以正确地对同一图像的其他区域进行编码或解码，而不依赖于损坏或丢失的数据，从而提供容错能力。在一些视频编码标准中，可以将图像划分为不同类型的区域。例如，H.265/HEVC和H.266/VVC提供了两种类型的区域：“条带(slice)”和“砖块(tile)”。还应注意，视频序列100的不同图像可以具有用于将图像划分为多个区域的不同划分方案。
例如，在图1中，结构110划分为三个区域114、116和118，其边界在结构110内显示为实线。区域114包括四个基本处理单元。区域116和118中的每一个均包括六个基本处理单元。应当注意，图1中的结构110的基本处理单元、基本处理子单元和区域只是示例，本公开不限制其实施例。
图2A示出了与本公开实施例一致的示例编码过程200A的示意图。例如，编码过程200A可以由编码器执行。如图2A所示，编码器可以根据过程200A将视频序列202编码为视频比特流228。与图1中的视频序列100类似，视频序列202可以包括按时间顺序排列的一组图像(称为“原始图像”)。类似于图1中的结构110，视频序列202的每个原始图像可以由编码器划分为基本处理单元、基本处理子单元或区域进行处理。在一些实施例中，编码器可以在基本处理单元级别对视频序列202的每个原始图像执行过程200A。例如，编码器可以以迭代方式执行过程200A，其中编码器可以在过程200A的一次迭代中编码基本处理单元。在一些实施例中，编码器可以对视频序列202的每个原始图像的区域(例如，区域114-118)并行执行过程200A。
在图2A中，编码器可以将视频序列202的原始图像的基本处理单元(称为“原始BPU”)馈送到预测阶段204，以生成预测数据206和预测的BPU208。编码器可以从原始BPU中减去预测的BPU208以生成残差BPU210。编码器可以将残差BPU210馈送到变换阶段212和量化阶段214以生成量化的变换系数216。编码器可以将预测数据206和量化的变换系数216馈送到二进制编码阶段226以生成视频比特流228。组件202、204、206、208、210、212、214、216、226和228可以称为“前向路径”。在过程200A期间，在量化阶段214之后，编码器可以将量化的变换系数216馈送到逆量化阶段218和逆变换阶段220以生成重构的残差BPU222。编码器可以将重构的残差BPU222添加到预测的BPU208以生成预测参考224，该预测参考224用于过程200A的下一次迭代的预测阶段204中。过程200A的组件218、220、222和224可以称为“重构路径”。重构路径可用于确保编码器和解码器使用相同的参考数据进行预测。
编码器可以迭代地执行过程200A以对原始图像的每个原始BPU进行编码(在前向路径中)，并生成用于编码原始图像的下一个原始BPU的预测参考224(在重构路径中)。在对原始图像的所有原始BPU进行编码之后，编码器可以继续对视频序列202中的下一个图像进行编码。
参考过程200A，编码器可以接收由视频捕获设备(例如，相机)生成的视频序列202。本文中使用的术语“接收”可指接收、输入、获取、检索、获得、读取、访问或以任何方式输入数据的任何动作。
在预测阶段204，在当前迭代中，编码器可以接收原始BPU和预测参考224，并执行预测操作以生成预测数据206和预测的BPU208。可以从过程200A的先前迭代的重构路径生成预测参考224。预测阶段204的目的是通过提取预测数据206来减少信息冗余，预测数据206可用于从预测数据206和预测参考224中将原始BPU重构为预测的BPU208。
理想情况下，预测的BPU208可以与原始BPU相同。然而，由于非理想的预测和重构操作，预测的BPU208通常与原始BPU略有不同。为了记录这种差异，在生成预测的BPU208之后，编码器可以将其从原始BPU中减去以生成残差BPU210。例如，编码器可以将预测的BPU208的像素的值(例如，灰度值或RGB值)从原始BPU的对应像素的值中减去。残差BPU210的每个像素可以具有残差值，该残差值是原始BPU和预测的BPU208的对应像素之间的这种减法的结果。与原始BPU相比，预测数据206和残差BPU210可以具有更少的比特，但它们可以用于重构原始BPU，而不会出现显著的质量劣化。因此，原始BPU被压缩。
为了进一步压缩残差BPU210，在变换阶段212，编码器可以通过将残差BPU210分解为一组二维“基本模式”来减少其空间冗余，每个基本模式与“变换系数”相关联。基本模式可以具有相同的大小(例如，残差BPU210的大小)。每个基本模式可以表示残差BPU210的变化频率(例如，亮度变化的频率)分量。任何基本模式都不能从任何其他基本模式的任何组合(例如，线性组合)再现。换言之，分解可以将残差BPU210的变化分解到频域中。这种分解类似于函数的离散傅里叶变换，其中基本模式类似于离散傅里叶变换的基本函数(例如，三角函数)，变换系数类似于与基本函数相关的系数。
不同的变换算法可以使用不同的基本模式。可以在变换阶段212使用各种变换算法，例如，离散余弦变换、离散正弦变换等。在变换阶段212的变换是可逆的。也就是说，编码器可以通过变换的逆运算(称为“逆变换”)来恢复残差BPU210。例如，为了恢复残差BPU210的像素，逆变换可以是将基本模式的对应像素的值乘以相应的相关系数，并将乘积相加以产生加权和。对于视频编码标准，编码器和解码器都可以使用相同的变换算法(因此使用相同的基本模式)。因此，编码器可以只记录变换系数，解码器可以从这些系数重构残差BPU210，而无需从编码器接收基本模式。与残差BPU210相比，变换系数可以具有更少的比特，但它们可以用于重构残差BPU210，而不会显著降低质量。因此，残差BPU210被进一步压缩。
编码器可以在量化阶段214进一步压缩变换系数。在变换过程中，不同的基本模式可以表示不同的变化频率(例如，亮度变化频率)。由于人眼通常更善于识别低频变化，因此编码器可以忽略高频变化的信息，而不会导致解码质量显著下降。例如，在量化阶段214，编码器可以通过将每个变换系数除以整数值(称为“量化比例因子”)并将商舍入到其最接近的整数来生成量化的变换系数216。在这样的操作之后，高频基本模式的一些变换系数可以转换为零，低频基本模式的变换系数可以转换为较小的整数。编码器可以忽略零值的量化的变换系数216，通过该操作进一步压缩变换系数。量化过程也是可逆的，其中量化的变换系数216可以在量化的逆运算(称为“逆量化”)中重构为变换系数。
因为编码器在舍入操作中忽略了这种除法的余数，所以量化阶段214可能是有损的。通常，量化阶段214可以在过程200A中造成最大的信息损失。信息损失越大，量化的变换系数216可能需要的比特越少。为了获得不同程度的信息丢失，编码器可以使用量化句法元素的不同值或量化过程的任何其他句法元素。
在二进制编码阶段226，编码器可以使用二进制编码技术(例如，熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损或有损压缩算法)对预测数据206和量化的变换系数216进行编码。在一些实施例中，除了预测数据206和量化的变换系数216之外，编码器可以在二进制编码阶段226编码其他信息，例如，在预测阶段204使用的预测模式、预测操作的句法元素、在变换阶段212的变换类型，量化过程的句法元素(例如，量化句法元素)、编码器控制句法元素(例如，比特率控制句法元素)等。编码器可以使用二进制编码阶段226的输出数据来生成视频比特流228。在一些实施例中，视频比特流228可以进一步打包用于网络传输。
参考过程200A的重构路径，在逆量化阶段218，编码器可以对量化的变换系数216执行逆量化以生成重构的变换系数。在逆变换阶段220，编码器可以基于重构的变换系数生成重构的残差BPU222。编码器可以将重构的残差BPU222添加到预测的BPU208，以生成将在过程200A的下一次迭代中使用的预测参考224。
应当注意，可以使用过程200A的其他变体对视频序列202进行编码。在一些实施例中，过程200A的各个阶段可以由编码器以不同的顺序执行。在一些实施例中，过程200A的一个或多个阶段可以组合成单个阶段。在一些实施例中，过程200A的单个阶段可分为多个阶段。例如，变换阶段212和量化阶段214可以组合成单个阶段。在一些实施例中，过程200A可以包括附加阶段。在一些实施例中，过程200A可以省略图2A中的一个或多个阶段。
图2B示出了与本公开实施例一致的另一示例编码过程200B的示意图。过程200B可以修改自过程200A。例如，过程200B可由符合混合视频编码标准(例如，H.26x系列)的编码器使用。与过程200A相比，过程200B的前向路径另外包括模式决定阶段230，并将预测阶段204划分为空间预测阶段2042和时间预测阶段2044。过程200B的重构路径另外包括环路滤波器阶段232和缓冲器234。
通常，预测技术可以分为两类：空间预测和时间预测。空间预测(例如，图像内预测或“帧内预测”)可以使用来自同一图像中一个或多个已编码的相邻BPU的像素来预测当前BPU。即，空间预测中的预测参考224可以包括相邻的BPU。空间预测可以减少图像固有的空间冗余。时间预测(例如，图像间预测或“帧间预测”)可以使用来自一个或多个已编码的图像的区域来预测当前BPU。即，时间预测中的预测参考224可以包括已编码的图像。时间预测可以减少图像的固有时间冗余。
参考过程200B，在前向路径中，编码器在空间预测阶段2042和时间预测阶段2044执行预测操作。例如，在空间预测阶段2042，编码器可以执行帧内预测。对于正在被编码的图像的原始BPU，预测参考224可以包括在同一图像中已被编码(在前向路径中)和重构(在重构路径中)的一个或多个相邻BPU。编码器可以通过外推相邻BPU来生成预测的BPU208。外推技术可以包括例如线性外推或内插、多项式外推或内插等。在一些实施例中，编码器可以在像素级执行外推，诸如通过为预测的BPU208的每个像素对对应像素的值进行外推。用于外推的相邻BPU可以相对于原始BPU位于各种方向，例如在垂直方向(例如，在原始BPU的顶部)、水平方向(例如，在原始BPU的左侧)、对角方向(例如，在原始BPU的左下、右下、左上或右上)，或在所使用的视频编码标准中定义的任何方向。对于帧内预测，预测数据206可以包括例如所使用的相邻BPU的位置(例如，坐标)、所使用的相邻BPU的大小、外推参数、所使用的相邻BPU相对于原始BPU的方向等。
对于另一示例，在时间预测阶段2044，编码器可以执行帧间预测。对于当前图像的原始BPU，预测参考224可以包括已经编码(在前向路径中)和重构(在重构路径中)的一个或多个图像(称为“参考图像”)。在一些实施例中，可以逐个BPU地对参考图像进行编码和重构。例如，编码器可以将重构的残差BPU222添加到预测的BPU208以生成重构的BPU。当生成同一图像的所有重构BPU时，编码器可以生成重构图像作为参考图像。编码器可以执行“运动估计”操作，以在参考图像的范围(称为“搜索窗口”)中搜索匹配区域。参考图像中搜索窗口的位置可以基于原始BPU在当前图像中的位置来确定。例如，搜索窗口可以以参考图像中与当前图像中的原始BPU具有相同坐标的位置为中心，并且可以向外扩展预定距离。当编码器(例如，通过使用像素递归算法、块匹配算法等)识别出搜索窗口中与原始BPU类似的区域时，编码器可以确定此类区域作为匹配区域。匹配区域可以具有与原始BPU不同的尺寸(例如，小于、等于、大于或形状不同)。由于参考图像和当前图像在时间轴上是时间分离的(例如，如图1所示)，因此可以认为匹配区域随着时间的推移“移动”到原始BPU的位置。编码器可以将这种运动的方向和距离记录为“运动矢量”。当使用多个参考图像(例如，如图1中的图像106)时，编码器可以针对每个参考图像搜索匹配区域并确定其相关运动矢量。在一些实施例中，编码器可以将权重分配给各个匹配参考图像的匹配区域的像素值。
运动估计可用于识别各种类型的运动，例如平移、旋转、缩放等。对于帧间预测，预测数据206可以包括例如匹配区域的位置(例如，坐标)、与匹配区域相关联的运动矢量、参考图像的数量、与参考图像相关联的权重等。
为了生成预测的BPU208，编码器可以执行“运动补偿”的操作。运动补偿可用于基于预测数据206(例如，运动矢量)和预测参考224重构预测的BPU208。例如，编码器可以根据运动矢量移动参考图像的匹配区域，其中编码器可以预测当前图像的原始BPU。当使用多个参考图像时(例如，如图1中的图像106)，编码器可以根据匹配区域的各自的运动矢量和平均像素值来移动参考图像的匹配区域。在一些实施例中，如果编码器已将权重分配给各个匹配参考图像的匹配区域的像素值，则编码器可以将移动的匹配区域的像素值的加权和相加。
在一些实施例中，帧间预测可以是单向的或双向的。单向帧间预测可以使用在相对于当前图像相同的时间方向上的一个或多个参考图像。例如，图1中的图像104是单向帧间预测图像，其中参考图像(例如，图像102)在图像104之前。双向帧间预测可以在相对于当前图像的两个时间方向上使用一个或多个参考图像。例如，图1中的图像106是双向帧间预测图像，其中参考图像(例如，图像104和108)位于相对于图像104的两个时间方向。
仍然参考过程200B的前向路径，在空间预测2042和时间预测阶段2044之后，在模式决定阶段230，编码器可以为过程200B的当前迭代选择预测模式(例如，帧内预测或帧间预测之一)。例如，编码器可以执行率失真优化技术，其中编码器可以根据候选预测模式的比特率和候选预测模式下重构的参考图像的失真来选择预测模式，以最小化代价函数的值。根据选择的预测模式，编码器可以生成相应的预测的BPU208和预测的数据206。
在过程200B的重构路径中，如果在前向路径中选择了帧内预测模式，则在生成预测参考224(例如，当前图像中已编码和重构的当前BPU)之后，编码器可以直接将预测参考224馈送到空间预测阶段2042以供以后使用(例如，用于外推当前图像的下一个BPU)。编码器可以将预测参考224馈送到环路滤波器阶段232，在该阶段，编码器可以将环路滤波器应用于预测参考224，以减少或消除在预测参考224的编码期间引入的失真(例如，块伪影)。编码器可以在环路滤波器阶段232应用各种环路滤波器技术，例如去块、采样自适应偏移、自适应环路滤波器等。环路滤波的参考图像可以存储在缓冲器234(或“解码图像缓冲器(decoded picture buffer，DPB)以供以后使用(例如，用作视频序列202的未来图像的帧间预测参考图像)。编码器可以将一个或多个参考图像存储在缓冲器234中，以在时间预测阶段2044使用。在一些实施例中，编码器可以在二进制编码阶段226对环路滤波器的句法元素(例如，环路滤波器强度)以及量化的变换系数216、预测数据206和其他信息进行编码。
图3A示出了与本公开实施例一致的示例解码过程300A的示意图。过程300A可以是对应于图2A中的压缩过程200A的解压缩过程。在一些实施例中，过程300A可以类似于过程200A的重构路径。解码器可以根据过程300A将视频比特流228解码为视频流304。视频流304可以与视频序列202非常类似。然而，由于压缩和解压缩过程中的信息丢失(例如，图2A和图2B中的量化阶段214)，通常，视频流304与视频序列202不同。类似于图2A和图2B中的过程200A和200B，解码器可以在基本处理单元(BPU)级对视频比特流228中编码的每个图像执行过程300A。例如，解码器可以以迭代方式执行过程300A，其中解码器可以在过程300A的一次迭代中解码基本处理单元。在一些实施例中，解码器可以针对视频比特流228中编码的每个图像的区域(例如，区域114-118)并行执行过程300A。
在图3A中，解码器可以将与编码图像的基本处理单元(称为“编码BPU”)相关联的视频比特流228的一部分馈送到二进制解码阶段302。在二进制解码阶段302，解码器可以将该部分解码为预测数据206和量化的变换系数216。解码器可以将量化的变换系数216馈送到逆量化阶段218和逆变换阶段220以生成重构的残差BPU222。解码器可以将预测数据206馈送到预测阶段204以生成预测的BPU208。解码器可以将重构的残差BPU222添加到预测的BPU208以生成预测参考224。在一些实施例中，预测参考224可以存储在缓冲器中(例如，计算机存储器中的解码图像缓冲器)。解码器可以将预测的参考224馈送到预测阶段204，以在过程300A的下一次迭代中执行预测操作。
解码器可以迭代地执行过程300A以对编码图像的每个编码BPU进行解码，并生成用于对编码图像的下一个编码BPU进行编码的预测参考224。在对编码图像的所有编码BPU进行解码之后，解码器可以将图像输出到视频流304以进行显示，并继续解码视频比特流228中的下一个编码图像。
在二进制解码阶段302，解码器可以执行编码器使用的二进制编码技术(例如，熵编码、可变长度编码、算术编码、哈夫曼编码、上下文自适应二进制算术编码或任何其他无损压缩算法)的逆运算。在一些实施例中，除了预测数据206和量化的变换系数216之外，解码器可以在二进制解码阶段302解码其他信息，例如，预测模式、预测操作的句法元素、变换类型、量化过程的句法元素(例如，量化句法元素)、编码器控制句法元素(例如，比特率控制句法元素)等。在一些实施例中，如果视频比特流228通过网络以包的形式传输，则解码器可以在将视频比特流228馈送到二进制解码阶段302之前对其进行解包。
图3B示出了与本公开实施例一致的另一示例解码过程300B的示意图。过程300B可以修改自过程300A。例如，过程300B可由符合混合视频编码标准(例如，H.26x系列)的解码器使用。与过程300A相比，过程300B另外将预测阶段204分为空间预测阶段2042和时间预测阶段2044，并且另外包括环路滤波器阶段232和缓冲器234。
在过程300B中，对于正在被解码的编码图像(称为“当前图像”)的编码基本处理单元(称为“当前BPU”)，由解码器从二进制解码阶段302解码的预测数据206可以包括各种类型的数据，这取决于编码器使用什么预测模式对当前BPU进行编码。例如，如果编码器使用帧内预测对当前BPU进行编码，则预测数据206可以包括指示帧内预测的预测模式指示符(例如，标志值)、帧内预测操作的句法元素等。帧内预测操作的句法元素可以包括，例如，用作参考的一个或多个相邻BPU的位置(例如，坐标)、相邻BPU的大小、外推句法元素、相邻BPU相对于原始BPU的方向等。对于另一示例，如果编码器使用帧间预测对当前BPU进行编码，则预测数据206可以包括指示帧间预测的预测模式指示符(例如，标志值)、帧间预测操作的句法元素等。帧间预测操作的句法元素可以包括，例如，与当前BPU相关联的参考图像的数量、分别与参考图像相关联的权重、各个参考图像中一个或多个匹配区域的位置(例如，坐标)，分别与匹配区域相关联的一个或多个运动矢量等。
基于预测模式指示符，解码器可以决定是在空间预测阶段2042执行空间预测(例如，帧内预测)，还是在时间预测阶段2044执行时间预测(例如，帧间预测)。图2B中描述了执行这种空间预测或时间预测的细节，下文不再重复。在执行这种空间预测或时间预测之后，解码器可以生成预测的BPU208。如图3A，解码器可以将预测的BPU208和重构的残差BPU222相加以生成预测参考224。
在过程300B中，解码器可以将预测参考224馈送到空间预测阶段2042或时间预测阶段2044，以在过程300B的下一次迭代中执行预测操作。例如，如果在空间预测阶段2042使用帧内预测对当前BPU进行解码，则在生成预测参考224(例如，解码的当前BPU)之后，解码器可以直接将预测参考224馈送到空间预测阶段2042以供以后使用(例如，用于外推当前图像的下一个BPU)。如果在时间预测阶段2044使用帧间预测对当前BPU进行解码，则在生成预测参考224(例如，其中所有BPU已被解码的参考图像)之后，解码器可以将预测参考224馈送到环路滤波器阶段232以减少或消除失真(例如，块伪影)。解码器可以如图2B的方式将环路滤波器应用于预测参考224。经环路滤波的参考图像可以存储在缓冲器234中(例如，计算机存储器中的解码图像缓冲器(DPB))供以后使用(例如，用作视频比特流228的未来编码图像的帧间预测参考图像)。解码器可以将一个或多个参考图像存储在缓冲器234中，以在时间预测阶段2044使用。在一些实施例中，预测数据还可以包括环路滤波器的句法元素(例如，环路滤波器强度)。在一些实施例中，当预测数据206的预测模式指示符指示帧间预测被用于编码当前BPU时，预测数据包括环路滤波器的句法元素。
图4是与本公开实施例一致的用于编码或解码视频的示例装置400的框图。如图4所示，装置400可以包括处理器402。当处理器402执行本文的指令时，装置400可以成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路。例如，处理器402可以包括任意数量的中央处理单元(或central processing unit，“CPU”)、图形处理单元(或graphics processing unit，“GPU”)、神经处理单元(neural processingunit，“NPU”)、微控制器单元(mibrocontroller unit，“MCU”)、光学处理器、可编程逻辑控制器、微控制器、微处理器、数字信号处理器、知识产权(intellectual property，IP)核、可编程逻辑阵列(programmable logic array，PLA)、可编程阵列逻辑(programmable arraylogic，PAL)、通用阵列逻辑(generic array logic，GAL)、复杂可编程逻辑器件(complexprogrammable logic device，CPLD)、现场可编程门阵列(field-programmable gatearray，FPGA)、片上系统(system on chip，SoC)、专用集成电路(application-specificintegrated circuit，ASIC)等的任意组合。在一些实施例中，处理器402还可以是分组为单个逻辑组件的一组处理器。例如，如图4所示，处理器402可以包括多个处理器，包括处理器402a、处理器402b和处理器402n。
装置400还可以包括被配置为存储数据(例如，一组指令、计算机代码、中间数据等)的存储器404。例如，如图4所示，存储的数据可以包括程序指令(例如，用于实现过程200A、200B、300A或300B中的阶段的程序指令)和用于处理的数据(例如，视频序列202、视频比特流228或视频流304)。处理器402可以访问程序指令和用于处理的数据(例如，通过总线410)，并执行程序指令以对用于处理的数据执行操作或控制。存储器404可以包括高速随机存取存储设备或非易失性存储设备。在一些实施例中，存储器404可以包括任意数量的随机存取存储器(random-access memory，RAM)、只读存储器(read-only memory，ROM)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(security digital，SD)卡、记忆棒、紧凑闪存(compact falsh，CF)卡等的任意组合。存储器404也可以是分组为单个逻辑组件的一组存储器(图4中未示出)。
总线410可以是在装置400内的组件之间传输数据的通信设备，诸如内部总线(例如，CPU-存储器总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)等。
为了便于解释而不引起歧义，处理器402和其他数据处理电路在本公开中统称为“数据处理电路”。数据处理电路可以完全实现为硬件，或软件、硬件或固件的组合。此外，数据处理电路可以是单个独立模块，或者可以完全或部分组合到装置400的任何其他组件中。
装置400还可以包括网络接口406，以提供与网络(例如，互联网、内联网、局域网、移动通信网络等)的有线或无线通信。在一些实施例中，网络接口406可以包括任意数量的网络接口控制器(network interface controller，NIC)、射频(radio frequency，RF)模块、转发器、收发器、调制解调器、路由器、网关、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信(near-field communication，“NFC”)适配器、蜂窝网络芯片等的任意组合。
在一些实施例中，可选地，装置400还可以包括外围接口408，以提供到一个或多个外围设备的连接。如图4所示，外围设备可以包括但不限于光标控制设备(例如，鼠标、触摸板或触摸屏)、键盘、显示器(例如，阴极射线管显示器、液晶显示器或发光二极管显示器)、视频输入设备(例如，相机或耦合到视频档案的输入接口)等。
应当注意，视频编解码器(例如，执行过程200A、200B、300A或300B的编解码器)可以实现为装置400中任何软件或硬件模块的任意组合。例如，过程200A、200B、300A或300B的一些或所有阶段可以实现为装置400的一个或多个软件模块，例如可以加载到存储器404中的程序指令。对于另一示例，过程200A、200B、300A或300B的一些或所有阶段可以实现为装置400的一个或多个硬件模块，例如专用数据处理电路(例如，FPGA、ASIC、NPU等)。
在视频编码中，图像出于多种目而需要被识别，包括被识别为帧间预测中的参考图像、待从DPB输出的图像、用于运动矢量预测的时间并置图像等。识别图像最常用的方法是使用图像顺序计数(picture order count，“POC”)。
为了识别帧间预测中的参考图像、运动矢量(motion vector，“MV”)时间预测和缩放中的时间并置图像，可以导出参考图像列表(通常是两个，如在AVC、HEVC和VVC中)。例如，可以导出参考图像列表0和参考图像列表1，它们中的每一个都包括DPB中待用作参考图像的重构图像的列表。且这些参考图像列表的参考索引可以以块级别由信号来发送，用于识别当前块的参考图像。为了在无需非必要的大量DPB存储器的情况下正确地维护DPB中的参考图像，需要参考图像标记。
在VVC(例如，VVC草案9)中，使用了两个参考图像列表(reference picturelists，“RPL”)，即参考图像列表0和参考图像列表1。这两个列表是直接用信号发送和导出的。两个参考图像列表的信息由序列参数集(sequence parameter set，“SPS”)、图像参数集(picture parameter set，“PPS”)、图像头(picture header，“PH”)和条带头(sliceheader，“SH”)中的句法元素和句法结构用信号发送。在SPS中用信号发送预定义的参考图像列表结构，以供在PH或SH中引用使用。还可以在PH或SH中用信号发送新的参考图像列表结构，用于导出参考图像列表0和参考图像列表1。参考图像列表信息是否在PH或SH中用信号发送，由PPS中用信号发送的标志来确定。
在VVC(例如，VVC草案9)中，为所有类型的条带(例如，B、P和I条带)生成两个参考图像列表。对于I条带，参考图像列表0和参考图像列表1这两个参考图像列表都不能用于解码。对于P条带，只有参考图像列表0可以用于解码。对于B条带，参考图像列表0和参考图像列表1这两个参考图像列表都可以用于解码。这两个参考图像列表是在不使用参考图像列表初始化过程或参考图像列表修改过程的情况下构建的。
并非参考图像列表中的所有图像都被用作当前图像或条带的参考图像。仅参考图像列表中的激活条目可以在条带数据的解码过程中使用。在VVC(例如，VVC草案9)中，在PPS中用信号发送激活条目的默认数量，并且该默认数量可以被当前条带的条带头覆盖。
为了识别DPB中的图像以构建RPL，使用包括最高有效位(most significantbits，“MSB”)和最低有效位(least significant bits，“LSB”)的POC。在VVC(例如，VVC草案9)中，在PH中用信号发送POC的LSB，并且可以在PH中明确地用信号发送MSB，或者通过比较当前图像的POC LSB和一个或多个先前图像的POC LSB来导出MSB。
在VVC(例如，VVC草案9)中，DPB中的解码图像可被标记为“未用于参考”、“用于短期参考”或“用于长期参考”。在解码过程的操作期间的任何给定时刻，解码图像可以被标记为这三个图像中的唯一一个。将这些标记中的一个分配给一张图像在适用时隐含地移除了其他标记。当图像被标记为“用于参考”时，这也指图像被标记为“用于短期参考”或“用于长期参考”，但不能同时标记为两者。
短期参考图像(short-term reference pictures，“STRP”)和层间参考图像(inter-layer reference pictures，“ILRP”)由其NAL(网络抽象层，network abstractionlayer)单元ID和POC值来标识。长期参考图像(long-term reference pictures，“LTRP”)由其NAL单元ID和其POC值的多个LSB来标识。
图5A示出了根据本公开一些实施例的包括参考图像列表的句法结构的示例性句法。图5A所示的句法可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。
如图5A所示，参考图像列表(例如，ref_pic_lists())的句法结构500A可以存在于PH句法结构或SH中。
如图5A所示，句法元素510A(例如，rpl_sps_flag[i])等于1指定参考图像列表(例如，ref_pic_lists())的句法结构中的参考图像列表i(例如，i可以是0或1)是基于SPS中的参考图像列表结构(例如，listIdx等于i的ref_pic_list_struct(listIdx，rplsIdx))的句法结构之一导出的。句法元素510A等于0指定参考图像列表i(例如，i可以是0或1)是基于直接包括在参考图像列表(例如，ref_pic_lists())的句法结构中的参考图像列表结构(例如，listIdx等于i的ref_pic_list_struct(listIdx，rplsIdx))的句法结构导出的。
当不存在句法元素510A时，采用下述方案。首先，如果SPS中参考图像列表的数量(例如，sps_num_ref_pic_lists[i])等于0，则推断句法元素510A的值等于0。其次，如果SPS中参考图像列表的数量(例如，sps_num_ref_pic_lists[i])不等于0(例如，如果SPS中参考图像列表的数量大于0)，当句法元素520A(例如，pps_rpl1_idx_present_flag)等于0且i等于1时，则推断SPS中参考图像列表1的句法元素510A(例如，rpl_sps_flag[1])的值等于SPS中参考图像列表0的句法元素510A(例如，rpl_sps_flag[0])的值。
句法元素530A(例如，rpl_idx[i])指定用于导出当前图像的参考图像列表i的ref_pic_list_struct(listIdx，rplsIdx)(listIdx等于i)在SPS中包括的listIdx等于i的ref_pic_list_struct(listIdx，rplsIdx)的列表中的索引。句法元素530A的长度为一定数量的比特，该数量为大于或等于SPS中ref_pic_list_struct(listIdx，rplsIdx)句法结构数量的以2为底的对数的最小整数，其可以被表示为Ceil(Log2(sps_num_ref_pic_lists[i]))比特。句法元素530A的值可在0至SPS中参考图像列表的数量-1(例如，sps_num_ref_pic_lists[i]-1)的包含性范围中。当句法元素530A不存在时，如果句法元素510A等于1并且句法元素520A等于0，则推断rpl_idx[1]的值等于rpl_idx[0]的值，否则推断rpl_idx[1]的值等于0。
变量RplsIdx[i]可以通过以下方式导出：
RplsIdx[i]＝rpl_sps_flag[i]？rpl_idx[i]：sps_num_ref_pic_lists[i]。
句法元素540A(例如，poc_lsb_lt[i][j])指定ref_pic_lists()中的第i个参考图像列表中的第j个LTRP条目的图像顺序计数模MaxPicOrderCntLsb的值。句法元素540A的长度等于POC中最大LSB的以2为底的对数比特(例如，sps_log2_max_pic_order_cnt_lsb_minus4+4比特)。
变量PocLsbLt[i][j]可以通过以下方式导出：
PocLsbLt[i][j]＝ltrp_in_header_flag[i][RplsIdx[i]]？poc_lsb_lt[i][j]：
rpls_poc_lsb_lt[listIdx][RplsIdx[i]][j]。
句法元素550A(例如，delta_poc_msb_cycle_present_flag[i][j])等于1指定句法元素560A(例如，delta_poc_msb_cycle_lt[i][j])存在。句法元素550A等于0指定句法元素560不存在。
具有与引用ref_pic_lists()句法结构的条带头或图像头相同的nuh_layer_id的、且TemporalID和ph_non_ref_pic_flag均等于0的、且不是RASL(Random AccessSkipped Leading，随机访问跳过前导)或RADL(Random Access Decodable Leading，随机接入可解码前导)图像的解码顺序中的先前图像可以被称为prevTid0Pic。nuh_layer_id为句法元素，该句法元素指定VCL(Video Coding Layer，视频编码层)NAL(NetworkAbstraction Layer，网络抽象层)单元所属的层的标识符，或指定非VCL NAL单元应用的层的标识符。TemporalID为图像的时间标识符。被描述为setOfPrevPocVals的先前POC值集合为包括以下内容的集合：
-prevTid0Pic的POC值(例如，PicOrderCntVal)；
-每个图像的POC值(例如，PicOrderCntVal)，该每个图像由prevTid0Pic的参考图像列表0(例如，RefPicList[0])或参考图像列表1(例如，RefPicList[1])中的条目所引用，且具有与当前图像相同的nuh_layer_id；
-每个图像的POC值(例如，PicOrderCntVal)，该每个图像按照解码顺序在prevTid0Pic之后，且具有与当前图像相同的nuh_layer_id，且按照解码顺序在当前图像之前。
当setOfPrevPocVals中有多于一个值，其模MaxPicOrderCntLsb的值等于变量PocLsbLt[i][j]时，则句法元素550A(例如，delta_poc_msb_cycle_present_flag[i][j])的值等于1。
图5B示出了根据本公开一些实施例的包括变量FullPocLt[i][j]推导的示例性伪代码。如图5B所示，句法元素560A(例如，delta_poc_msb_cycle_lt[i][j])指定变量FullPocLt[i][j]的值。句法元素560A(例如，delta_poc_msb_cycle_lt[i][j])的值可以在0至2(32-sps_log2_max_pic_order_cnt_lsb_minus4-4)的包含性范围中。当句法元素560不存在时，推断句法元素560的值等于0。
图6A示出了根据本公开一些实施例的包括参考图像列表结构的句法结构的示例性句法。图6A所示的句法结构可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。如图6A所示，ref_pic_list_struct(listIdx，rplsIdx)可存在于SPS中、PH句法结构中、或SH中。根据句法结构是否包含在SPS、PH句法结构或SH中，适用以下内容：
-如果ref_pic_list_struct(listIdx，rplsIdx)存在于PH句法结构或SH中，则ref_pic_list_struct(listIdx，rplsIdx)句法结构指定当前图像的参考图像列表listIdx(例如，包含PH句法结构或SH的编码图像)。
-如果ref_pic_list_struct(listIdx，rplsIdx)不存在于PH句法结构或SH中(例如，存在于SPS中)，则ref_pic_list_struct(listIdx，rplsIdx)句法结构指定参考图像列表listIdx的候选，并且在该条款的剩余部分中指定的语义中的术语“当前图像”指的是这样的每个图像：1)具有PH句法结构或者包含rpl_idx[listIdx]的一个或多个条带，该rpl_idx[listIdx]等于SPS中包括的ref_pic_list_struct(listIdx，rplsIdx)句法结构的列表中的索引，以及2)在引用SPS的逐层编码视频序列(coded layer-wise videosequence，CLVS)中。
如图6A所示，句法元素610A(例如，num_ref_entries[listIdx][rplsIdx])指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中条目的数量。参数610A的值可以在0至MaxDpbSize+13的包含性范围中，其中MaxDpbSize如在视频编码标准(例如，VVC草案9)的级别中指定的。
句法元素620A(例如，ltrp_in_header_flag[listIdx][rplsIdx])等于0指定在ref_pic_list_struct(listIdx，rplsIdx)句法结构中指示的LTRP条目的POC LSB存在于相同的句法结构中。句法元素620A(例如，ltrp_in_header_flag[listIdx][rplsIdx])等于1指定在ref_pic_list_struct(listIdx，rplsIdx)句法结构中指示的LTRP条目的POC LSB不存在于相同的句法结构中。当sps_long_term_ref_pics_flag等于1并且rplsIdx等于sps_num_ref_pic_lists[listIdx]时，推断句法元素620A的值等于1。
句法元素630A(例如，inter_layer_ref_pic_flag[listIdx][rplsIdx][i])等于1指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目是ILRP条目。句法元素630A等于0指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目不是ILRP条目。当句法元素630A不存在时，推断句法元素630A的值等于0。
句法元素640A(例如，st_ref_pic_flag[listIdx][rplsIdx][i])等于1指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目是STRP条目。句法元素640A等于0指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目是LTRP条目。当句法元素630A等于0且句法元素640A不存在时，推断句法元素640A的值等于1。
图6B示出了根据本公开一些实施例的包括LTRP条目数量(例如，变量NumLtrpEntries[listIdx][rplsIdx])推导的示例性伪代码。变量NumLtrpEntries[listIdx][rplsIdx](例如图5A中的变量570A)可以如图6B所示导出。
图6C示出了根据本公开一些实施例的包括变量AbsDeltaPocSt[listIdx][rplsIdx][i]推导的示例性伪代码。如图6C所示，句法元素650A(例如，abs_delta_poc_st[listIdx][rplsIdx][i])指定变量AbsDeltaPocSt[listIdx][rplsIdx][i](例如，变量690A)的值。句法元素650A(例如，abs_delta_poc_st[listIdx][rplsIdx][I])的值可以在0至215-1的包含性范围中。
句法元素660A(例如，strp_entry_sign_flag[listIdx][rplsIdx][i])等于1指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目具有大于或等于0的值。句法元素660A等于0指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目具有小于0的值。当句法元素660A不存在时，推断句法元素660A的值等于1。
图6D示出了根据本公开一些实施例的包括变量DeltaPocValSt[listIdx][rplsIdx]推导的示例性伪代码。可以如图6D所示导出DeltaPocValSt[listIdx][rplsIdx]。
参考回图6A，句法元素670A(例如，rpls_poc_lsb_lt[listIdx][rplsIdx][i])指定由ref_pic_list_struct(listIdx，rplsIdx)句法结构中的第i个条目所引用的图像的图像顺序计数模MaxPicOrderCntLsb的值。句法元素670A的长度是sps_log2_max_pic_order_cnt_lsb_minus4+4比特。
句法元素680A(例如ilrp_idx[listIdx][rplsIdx][i])指定ref_pic_list_struct(listIdx，rplsIdx)句法结构中第i个条目的ILRP在直接参考层的列表中的索引。句法元素680A的值可以在0至NumDirectRefLayers[GeneralLayerIdx[nuh_layer_id]]-1的包含性范围中，其中NumDirectRefLayers[LayerIdx]表示索引等于LayerIdx的层的直接参考层的数量。
图7示出了根据本公开一些实施例的包括序列参数集中参考图像列表结构的句法结构的示例性句法。图7所示的句法可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。
如图7所示，句法元素710(例如，sps_long_term_ref_pics_flag)等于0指定没有LTRP用于CLVS中任何编码图像的帧间预测。句法元素710等于1指定LTRP可用于CLVS中一个或多个编码图像的帧间预测。
句法元素720(例如，sps_inter_layer_ref_pics_present_flag)等于0指定没有ILRP用于CLVS中任何编码图像的帧间预测。句法元素720等于1指定ILRP可用于CLVS中一个或多个编码图像的帧间预测。当sps_video_syntax element_set_id等于0，即SPS不引用VPS(video parameter set，视频参数集)，并且在解码引用SPS的每个CLVS(只有一层)时不引用VPS时，推断句法元素720的值等于0。当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1，即索引为GeneralLayerIdx[nuh_layer_id]的层不使用层间预测时，句法元素720的值等于0。
句法元素730(例如，sps_idr_rpl_present_flag)等于1指定参考图像列表句法元素存在于IDR(instaneous decoding refresh，即时解码刷新)图像的条带头中。句法元素730等于0指定参考图像列表句法元素不存在于IDR图像的条带头中。
句法元素740(例如，sps_rpl1_same_as_rpl0_flag)等于1指定句法元素sps_num_ref_pic_lists[1]和句法结构ref_pic_list_struct(1，rplsIdx)不存在，并且以下适用：推断sps_num_ref_pic_lists[1]的值等于sps_num_ref_pic_lists[0]的值；并且对于范围从0到sps_num_ref_pic_lists[0]–1的rplsIdx，推断ref_pic_list_struct(1，rplsIdx)中的每个句法元素的值等于ref_pic_list_struct(0，rplsIdx)中的对应句法元素的值。
句法元素750(例如，sps_num_ref_pic_lists[i])指定SPS中包括的、listIdx等于i的ref_pic_list_struct(listIdx，rplsIdx)句法结构的数量。句法元素750的值可以在0至64的包含性范围中。对于listIdx的每个值(等于0或1)，解码器(例如，通过图3A的过程300A或图3B的过程300B)可以为总数为SPS中RPL的数量+1(例如，sps_num_ref_pic_lists[i]+1)的ref_pic_list_struct(listIdx，rplsIdx)句法结构分配存储器，因为可能有一个ref_pic_list_struct(listIdx，rplsIdx)句法结构直接在当前图像的条带头中用信号发送。
图8示出了根据本公开一些实施例的包括图像参数集中参考图像列表的句法结构的示例性句法。图8所示的句法可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。
如图8所示，当i等于0时，即对于参考图像列表0，句法元素810(例如，pps_num_ref_idx_default_active_minus1[i])加1指定sh_num_ref_idx_active_override_flag等于0的P或B条带的变量NumRefIdxActive[0]的推断值。当i等于1时，即对于参考图像列表1，句法元素810加1指定sh_num_ref_idx_active_override_flag等于0的B条带的变量NumRefIdxActive[1]的推断值。句法元素810的值可以在0至14的包含性范围中。
句法元素820(例如，pps_rpl1_idx_present_flag)等于0指定rpl_sps_flag[1]和rpl_idx[1]不存在于PH句法结构或引用PPS的图像的条带头中。句法元素820等于1指定rpl_sps_flag[1]和rpl_idx[1]可能存在于PH句法结构或引用PPS的图像的条带头中。
句法元素830(例如，pps_rpl_info_in_ph_flag)等于1指定参考图像列表信息存在于PH句法结构中且不存在于引用PPS的、不包含PH句法结构的条带头中。句法元素830等于0指定参考图像列表信息不存在于PH句法结构中且可能存在于引用PPS的条带头中。当句法元素830不存在时，推断句法元素830的值等于0。
图9A示出了根据本公开一些实施例的包括图像头结构中参考图像列表的句法结构的示例性句法。图9A所示的句法可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。
如图9A所示，句法元素910A(例如，ph_pic_output_flag)影响解码图像的输出和移除过程。当句法元素910A不存在时，推断其等于1。比特流中不存在ph_non_reference_picture_flag等于1且句法元素910A等于0的图像。元素ph_non_reference_picture_flag等于1指定当前图像从未被用作参考图像。元素ph_non_reference_picture_flag等于0指定当前图像可能或可能未被用作参考图像。
句法元素920A(例如，ph_temporal_mvp_enabled_flag)等于0指定时间运动矢量预测器被禁用且未被用于当前图像中条带的解码。句法元素920A等于1指定时间运动矢量预测器被启用且可能被用于当前图像中条带的解码。当句法元素920A不存在时，推断句法元素920A的值等于0。由于存在其他约束，当以下条件中一项或多项成立时，一致的比特流中句法元素920A的值只能等于0：1)DPB中没有参考图像与当前图像具有相同空间分辨率和相同缩放窗口偏移，以及2)DPB中没有参考图像存在于当前图像所有条带的RPL的激活条目中。可能还具有其他未列出的句法元素920A只能等于0的情况和复杂条件。
图9B示出了根据本公开一些实施例的包括变量MaxNumSubblockMergeCand推导的示例性伪代码。如图9B所示，MaxNumSubblockMergeCand的值引用基于子块的合并MVP(motion vector predictor，运动矢量预测器)的候选的最大数量。MaxNumSubblockMergeCand的值可以在0至5的包含性范围中。
参考回图9A，句法元素930A(例如，ph_collocated_from_l0_flag)等于1指定用于时间运动矢量预测的并置图像从参考图像列表0中导出。句法元素930A等于0指定用于时间运动矢量预测的并置图像从参考图像列表1中导出。当句法元素920A和句法元素830A(例如，pps_rpl_info_in_ph_flag)均等于1且num_ref_entries[1][RplsIdx[1]]等于0时，推断句法元素930A的值等于1。
句法元素940A(例如，ph_collocated_ref_idx)指定用于时间运动矢量预测的并置图像的参考索引。当句法元素930A等于1时，句法元素940A引用参考图像列表0中的条目，且句法元素940A的值可以在0至num_ref_entries[0][RplsIdx[0]]-1的包含性范围中。当句法元素930A等于0时，句法元素940A引用参考图像列表1中的条目，且句法元素940A的值可以在0至num_ref_entries[1][RplsIdx[1]]-1的包含性范围中。当句法元素940A不存在时，推断句法元素940A的值等于0。
句法元素950A(例如，ph_mvd_l1_zero_flag)等于1指定运动矢量差异(例如，mvd_coding(x0，y0，1，cpIdx))句法结构未被解析，且MvdL1[x0][y0][compIdx]和MvdCpL1[x0][y0][cpIdx][compIdx]被设置等于0，其中compIdx＝0..1，且cpIdx＝0..2。句法元素950A等于0指定mvd_coding(x0，y0，1，cpIdx)句法结构被解析。当句法元素950A不存在时，推断句法元素950A的值为1。MvdL1为从与参考图像列表1中的参考图像相关联的比特流中解码的运动矢量差异。MvdCpL1为从与参考图像列表1中的参考图像相关联的比特流中解码的控制点运动矢量差异。其用于使用仿射运动补偿的编码块。x0和y0为当前编码块的左上角位置，compIdx为分量索引，cpIdx为控制点的索引。
图10A示出了根据本公开一些实施例的包括条带头中参考图像列表的句法结构的示例性句法。图10A所示的句法可以是VVC标准(例如，VVC草案9)或其他视频编码技术中的一部分。
如图10A所示，句法元素1010A(例如，sh_num_ref_idx_active_override_flag)等于1指定句法元素sh_num_ref_idx_active_minus1[0]在条带P和B的情况下存在，且句法元素sh_num_ref_idx_active_minus1[1]在条带B的情况下存在。句法元素1010A等于0指定句法元素sh_num_ref_idx_active_minus1[0]和sh_num_ref_idx_active_minus1[1]不存在。当句法元素1010A不存在时，推断句法元素1010A的值等于1。
句法元素1020A(例如，sh_num_ref_idx_active_minus1[i])用于变量NumRefIdxActive[i]的推导。句法元素1020A的值可以在0至14的包含性范围中。对于i等于0或1，在当前条带为B条带时，句法元素1010A等于1，且在句法元素1020A不存在时，推断句法元素1020A的值等于0。
图10B示出了根据本公开一些实施例的包括变量NumRefIdxActive[i]推导的示例性伪代码。如图10B所示，NumRefIdxActive[i]-1的值指定可能被用于解码条带的参考图像列表i的最大参考索引。句法元素1020A用于NumRefIdxActive[i]的推导，如图10B中公式(1)所示。当NumRefIdxActive[i]的值等于0时，没有参考图像列表i的参考索引可用于解码条带。在当前条带为P条带时，NumRefIdxActive[0]的值大于0。在当前条带为B条带时，NumRefIdxActive[0]和NumRefIdxActive[1]的值均大于0。
如图10A所示，句法元素1030A(例如，sh_cabac_init_flag)指定用于确定在上下文变量的初始化过程中使用的初始化表的方法。当句法元素1030A不存在时，推断其等于0。
句法元素1040A(例如，sh_collocated_from_l0_flag)等于1指定用于时间运动矢量预测的并置图像从参考图像列表0导出。句法元素1040A等于0指定用于时间运动矢量预测的并置图像从参考图像列表1导出。当sh_slice_type等于B或P、句法元素920A(例如，ph_temporal_mvp_enabled_flag)等于1、且句法元素1040A不存在时，适用以下：如果sh_slice_type等于B，则推断句法元素1040A等于句法元素930A(例如，ph_collocated_from_l0_flag)；如果sh_slice_type不等于P(例如，sh_slice_type等于P)，则推断句法元素1040A的值等于1。
句法元素1050A(例如，sh_collocated_ref_idx)指定用于时间运动矢量预测的并置图像的参考索引。当sh_slice_type等于P时，或当sh_slice_type等于B且句法元素1040A等于1时，句法元素1050A引用参考图像列表0中的条目，且句法元素1050A的值可以在0至NumRefIdxActive[0]-1的包含性范围中。当sh_slice_type等于B且句法元素1040A等于0时，句法元素1050A引用参考图像列表1的条目，且句法元素1050A的值可以在0至NumRefIdxActive[1]-1的包含性范围中。当句法元素1050A不存在时，适用以下：如果句法元素830(例如，pps_rpl_info_in_ph_flag)等于1，则推断句法元素1050A的值等于句法元素940A(例如，ph_collocated_ref_idx)；如果句法元素830不等于1(例如，句法元素830等于0)，则推断句法元素1050A的值等于0。作为比特流一致性的要求，由句法元素1050A引用的图像对于编码图像的所有条带来说是相同的，且RprConstraintsActive[sh_collocated_from_l0_flag？0：1][sh_collocated_ref_idx]等于0。该约束要求并置图像具有与当前图像相同的空间分辨率和相同的缩放窗口偏移。
在VVC(例如，VVC草案9)中，句法元素930A(例如，ph_collocated_from_l0_flag)和句法元素950A(例如，ph_mvd_l1_zero_flag)为在PH中用信号发送的两个标志。句法元素930A指示用于时间运动矢量预测的并置图像来自哪个参考图像列表。句法元素950A指示是否为参考图像列表1解析了mvd_coding()句法结构。因此，这两个标志仅在参考图像列表1中激活条目的数量大于0时相关。然而，如图10A所示，由于参考图像列表中激活条目的数量在条带头中被sh_num_ref_idx_active_minus1[i]覆盖，因此当句法元素930A和句法元素950A在PH中用信号发送时，解码器不知晓参考图像列表1中激活条目的确切数量。因此，在VVC(例如，VVC草案9)中，参考图像列表1中条目的总数用作用信号发送这两个标志的条件，如图9A所示。
应当理解，尽管本公开涉及基于等于0或1的值来提供推断的各种句法元素，但是这些值可以以任何方式(例如，1或0)来配置以提供适当的推断。
在VVC(例如，VVC草案9)中，对于I条带，保证两个参考图像列表中激活条目的数量都等于0。对于P条带，参考图像列表0中激活条目的数量大于0，且参考图像列表1中激活条目的数量等于0。对于B条带，两个参考图像列表中激活条目的数量均大于0。对于参考图像列表中条目的总数没有保证。例如，对于I条带，两个参考图像列表中任一个中条目的数量可以大于0。因此，参考图像列表1中条目的总数大于0的信号发送条件对于句法元素930A和句法元素950A来说过于宽松，将引起这两个句法元素的不必要的信号发送。
为了克服传统编码技术的这一缺陷，在本公开的一些实施例(例如，下文图11A至图11C中提供的实施例)中，避免了在参考图像列表0中条目的数量等于0的情况下不必要的信号发送。
图11A示出了根据本公开一些实施例的用于在PH句法结构中用信号发送标志的示例性视频编码方法1100A的流程图。方法1100A可以由编码器执行(例如，图2A的过程200A或图2B的过程200B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1100A。在一些实施例中，方法1100A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图11A，方法1100A可以包括以下步骤1102A和1104A。
在步骤1102A，编码器基于并置图像编码当前图像。可以例如通过参考图像0和参考图像列表1导出参考图像，参考图像0和参考图像列表1中的每个都包括DPB(例如，图3B中的缓冲器234)中待用作参考图像的重构图像的列表。当前图像用于时间运动矢量预测。
在步骤1104A，当参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0时，用信号发送句法元素ph_collocated_from_l0_flag(例如，句法元素930A)和句法元素ph_mvd_l1_zero_flag(例如，句法元素950A)。句法元素ph_collocated_from_l0_flag指示用于时间运动矢量预测的并置图像来自哪个参考图像列表，即用于时间运动矢量预测的并置图像来自由第一标志指示的参考图像列表。句法元素ph_mvd_l1_zero_flag指示是否用信号发送与参考图像列表1相关联的运动矢量差异句法结构。通过这种方式，在用信号发送两个标志时，参考图像列表1和参考图像0中的条目均得到保证。因此，避免了在参考图像列表0中条目的数量等于0的情况下不必要的信号发送，并提高了解码效率。
图11B示出了根据本公开一些实施例的用于在PH句法结构中解码标志的示例性视频解码方法1100B的流程图。方法1100B可以由解码器执行(例如，图3A的过程300A或图3B的过程300B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1100B。在一些实施例中，方法1100B可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图11B，方法1100B可以包括以下步骤1102B至1106B。
在步骤1102B，解码器接收视频比特流(例如，图3B的视频比特流228)，且该视频比特流可以利用帧间预测来编码。
在步骤1104B，当参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0时，由解码器从比特流中解码句法元素ph_collocated_from_l0_flag(例如，句法元素930A)和句法元素ph_mvd_l1_zero_flag(例如，句法元素950A)。句法元素ph_collocated_from_l0_flag指示用于时间运动矢量预测的并置图像来自哪个参考图像列表，即用于时间运动矢量预测的并置图像来自由第一标志指示的参考图像列表。句法元素ph_mvd_l1_zero_flag指示比特流中是否存在与参考图像列表1相关联的运动矢量差异句法结构。通过这种方式，在用信号发送两个标志时，参考图像列表1和参考图像0中的条目均得到保证。
在步骤1106B，基于并置图像解码当前图像。因此，避免了在参考图像列表0中条目的数量等于0的情况下不必要的信号发送，并提高了效率。
图11C示出了根据本公开一些实施例的示例性图像头句法结构1100C的部分。图像头(picture header，PH)句法结构1100C可以在方法1100A中使用。基于图9A的句法结构900A修改PH句法结构1100B，相比于先前VVC的变化如框1110C和1120C中斜体所示。
参考1110C，在一些实施例中，当num_ref_entries[0][RplsIdx[0]]大于0且num_refe_entries[1][RplsIdx[1]]大于0时，用信号发送句法元素ph_collocated_from_l0_flag(例如，句法元素930A)。参考1120C，当pps_rpl_info_in_ph_flag不等于0，或者num_ref_entries[0][RplsIdx[0]]大于0且num_refe_entries[1][RplsIdx[1]]大于0时，用信号发送句法元素ph_mvd_l1_zero_flag(例如，句法元素950A)。因此，当参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0时，可以用信号发送句法元素930A和句法元素950A。避免了在参考图像列表0中条目的数量等于0的情况下不必要的信号发送，并提高了编码效率。
在VVC(例如，VVC草案9)中，可以在PH或SH中指示并置图像。如果在PH中用信号发送参考图像列表信息，则通过句法元素930A(例如，ph_collocated_from_l0_flag)和句法元素940A(例如，ph_collocated_ref_idx)在PH中指示并置图像。如果在SH中用信号发送参考图像列表信息，则通过句法元素1040A(例如，sh_collocated_from_l0_flag)和句法元素1050A(例如，sh_collocated_ref_idx)在SH中指示并置图像。句法元素930A等于1指定用于时间运动矢量预测的并置图像从参考图像列表0中导出。句法元素930A等于0指定用于时间运动矢量预测的并置图像从参考图像列表1中导出。当在PH中用信号发送句法元素930A时，信号发送条件为参考图像列表1中条目的数量大于0。然而，参考图像列表中激活条目的数量可以在条带级别被覆盖。因此，即使用信号发送的句法元素930A为0，由于SH可能将参考图像列表1中激活条目的数量覆盖为0，因此不能保证并置图像可以从参考图像列表1中选择。相似地，当在PH中用信号发送句法元素940A，最大允许值为参考图像列表中条目的数量减1。如果SH将激活条目的数量覆盖为小于句法元素940A的值，则其为非法比特流。
为了避免这种非法场景，VVC(例如，VVC草案9)提出了数条比特流一致性约束。然而，满足所有约束会给编码器带来负担。实际上解码器还应该考虑当这种非法情况发生时如何处理比特流。
为了克服传统编码技术的这一缺陷，在本公开的一些实施例(例如下文图12A至图12J中提供的实施例)中，在不用信号发送参考图像列表的索引的情况下指示并置图像，以通过更稳健的方式避免非法场景。
图12A示出了根据本公开一些实施例的用于在不用信号发送参考图像列表的索引的情况下指示并置图像的示例性视频编码方法1200A的流程图。方法1200A可以由编码器执行(例如，图2A的过程200A或图2B的过程200B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1200A。在一些实施例中，方法1200A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图12A，方法1200A可以包括以下步骤1202A和1204A。
在步骤1202A，编码器基于并置图像将当前图像编码为比特流，其中并置图像用于时间运动矢量预测。在步骤1204A，在不用信号发送参考图像列表的索引的情况下指示比特流中的并置图像。由于在没有通过索引引用参考图像列表中的条目的情况下指示了并置图像，即使SH将参考图像列表1中激活条目的数量覆盖为0，也可以合法地指示并置图像。因此，提高了编码过程的稳健性。
图12B示出了根据本公开一些实施例的编码方法1200B的示例性流程图。应当理解，方法1200B可以为图12A中方法1200A的步骤1204A的一部分。图12C示出了根据本公开一些实施例的用于指示并置图像的示例性视频编码方法1200B的另一流程图。参考图12B和图12C，在一些实施例中，方法1200B可以进一步包括以下步骤1202B至1206B。
在步骤1202B，当并置图像为层间参考图像时，用信号发送第一参数以指示并置图像。第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。例如，该索引可以是句法元素inter_layer_col_pic_idx。因此，在没有利用参考图像列表的情况下指示了并置图像。当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。在步骤1202B之前，可以用信号发送指示并置图像是否是层间参考图像的标志。步骤1202B也可以参考图12C中的1201C和1202C。
在步骤1204B，当并置图像为短期参考图像(STRP)时，用信号发送增量(delta)图像顺序计数(增量POC)。此外，POC可以通过增量POC导出。在该场景中，在不利用参考图像列表的情况下，利用POC指示并置图像。因此，当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。步骤1204B也可以参考图12C中的1203C和1204C。
在步骤1206B，当并置图像为长期参考图像(LTRP)时，用信号发送POC的最低有效位(LSB)和POC的最高有效位(MSB)。此外，POC可以通过LSB和MSB导出。在该场景中，在不利用参考图像列表的情况下，利用POC指示并置图像。因此，当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。步骤1206B也可以参考图12C中的1203C和1205C。利用POC指示并置图像可以有效地增强确定并置图像的稳健性。在一些实施例中，在步骤1204B和1206B之前，可以用信号发送指示并置图像是否是短期参考图像的标志。
图12D示出了根据本公开一些实施例的用于在不解码参考图像列表的索引的情况下指示并置图像的示例性视频解码方法1200D的流程图。方法1200D可以由解码器执行(例如，图3A的过程300A或图3B的过程300B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1200D。在一些实施例中，方法1200D可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图12D，方法1200D可以包括以下步骤1202D至1206D。
在步骤1202D，解码器接收用于处理的视频比特流(例如，图3B的视频比特流228)，且该视频比特流可以利用帧间预测来编码。可以例如通过参考图像0和参考图像列表1导出参考图像，参考图像0和参考图像列表1中的每个都包括DPB(例如，图3B中的缓冲器234)中待用作参考图像的重构图像的列表。
在步骤1204D，基于比特流确定用于时间运动矢量预测的并置图像，但不对参考图像列表的索引进行解码。
在步骤1206D，基于并置图像解码当前图像。由于在没有利用参考图像列表结构的情况下指示了并置图像，即使SH将参考图像列表1中激活条目的数量覆盖为0，也可以合法地指示并置图像。因此，提高了解码过程的稳健性。
由于在没有利用参考图像列表结构的情况下指示了并置图像，即使SH将参考图像列表1中激活条目的数量覆盖为0，也可以合法地指示并置图像。因此，提高了解码过程的稳健性。
图12E示出了根据本公开一些实施例的解码方法1200E的示例性流程图。应当理解，方法1200E可以为图12D中方法1200D的步骤1204D的一部分。
在步骤1202E，当并置图像为层间参考图像时，解码第一参数以指示并置图像。第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。例如，该索引可以是句法元素inter_layer_col_pic_idx。因此，在没有利用参考图像列表的情况下指示了并置图像。当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。在一些实施例中，在步骤1202E之前，解码指示并置图像是否是层间参考图像的第一标志，并基于第一标志确定并置图像是否是层间参考图像。
在步骤1204E，当并置图像为短期参考图像(STRP)时，解码增量图像顺序计数(增量POC)。此外，POC可以通过增量POC导出。在该场景中，在不利用参考图像列表的情况下，利用POC指示并置图像。因此，当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。
在步骤1206E，当并置图像为长期参考图像(LTRP)时，解码POC的最低有效位(LSB)和POC的最高有效位(MSB)。此外，POC可以通过LSB和MSB导出。在该场景中，在不利用参考图像列表的情况下，利用POC指示并置图像。因此，当SH覆盖参考图像列表中激活条目的数量时，可以避免非法场景。在一些实施例中，在步骤1204E和1206E之前，解码指示并置图像是否是短期参考图像的第二标志，并基于第二标志确定并置图像是否是短期参考图像。
图12F和图12G示出了根据本公开一些实施例的示例性图像参数集句法结构1200F的一部分，以及示例性条带头句法结构1200G的一部分。图像参数集句法结构1200F可以与条带头句法结构1200G一同用于方法1200A、1200B、1200D和1200E。基于图9A中句法结构900A的部分960A修改图像参数集句法结构1200F，相比于先前VVC的变化以斜体示出，提议删除的句法进一步以删除线示出。基于图10A中句法结构1000A的部分1060A修改条带头句法结构1200G，提议删除的句法进一步以删除线示出。如图12F和图12G所示，句法元素ph_collocated_from_l0_flag、ph_collocated_ref_idx、sh_collocated_from_l0_flag和sh_collocated_ref_idx不再在PPS或SH中用信号发送。
如图12F所示，句法元素1210F(例如，inter_layer_col_pic_flag)等于1指定用于时间运动矢量预测的并置图像由参考图像列表中的ILRP条目引用。句法元素1210F等于0指定用于时间运动矢量预测的并置图像不由参考图像列表中的ILRP条目引用。当句法元素1210F不存在时，推断句法元素1210F的值等于0。可以在1201C中用信号发送句法元素1210F，用于确定并置图像是否为层间参考图像。
句法元素1210F(例如，st_col_pic_flag)等于1指定用于时间运动矢量预测的并置图像由参考图像列表中的STRP条目引用。句法元素1220F等于0指定用于时间运动矢量预测的并置图像由参考图像列表中的LTRP条目引用。当句法元素1210F等于0且句法元素1220F不存在时，推断句法元素1220F的值等于1。可以在1203C中用信号发送句法元素1220F，用于确定并置图像是否为短期参考图像。如果句法元素1220F等于1(例如，图12C中1203C为真)，则执行步骤1204B(如图12B所示)，且用信号发送增量图像顺序计数(增量POC)(例如，图12C中1204C)。如果句法元素1220F等于0(例如，图12C中1203C为假)，则执行步骤1206B(如图12B所示)，且用信号发送POC的最低有效位(LSB)和POC的最高有效位(MSB)(例如，图12C中的1205C)。
句法元素1230F(例如，abs_delta_poc_st_col)指定变量AbsDeltaPocStCol的值。图12H示出了根据本公开一些实施例的包括AbsDeltaPocStCol推导1210H的示例性伪代码。句法元素1230F(例如，abs_delta_poc_st_col)的值可以在0至215-1的包含性范围中。
参考回图12F，句法元素1240F(例如sign_delta_poc_st_col_flag)等于1指定变量DeltaPocValStCol的值大于或等于0。句法元素1240F等于0指定变量DeltaPocValStCol的值小于0。当句法元素1240F不存在时，推断句法元素1240F的值等于1。图12I示出了根据本公开一些实施例的包括DeltaPocValStCol推导的示例性伪代码。可以如图12I所示导出变量DeltaPocValStCol。
参考回图12F，在一些实施例中，句法元素1250F(例如，poc_lsb_lt_col)指定用于时间运动矢量预测的并置图像的图像顺序计数模MaxPicOrderCntLsb的值。句法元素1250F的长度是sps_log2_max_pic_order_cnt_lsb_minus4+4比特。
句法元素1260(例如，delta_poc_msb_cycle_lt_col)指定变量FullPocLtCol的值如下：
FullPocLtCol＝PicOrderCntVal–delta_poc_msb_cycle_lt_col*MaxPicOrderCntLsb-
(PicOrderCntVal&(MaxPicOrderCntLsb-1))+poc_lsb_lt_col
句法元素1270F(例如，delta_poc_msb_cycle_col_present_flag)等于1指定存在句法元素1260F(例如，delta_poc_msb_cycle_lt_col)。句法元素1270B等于0指定句法元素1260F不存在。
进一步，对于句法元素1270F，令prevTid0Pic是解码顺序中的前一图像，其nuh_layer_id与引用ref_pic_lists()句法结构的条带或图像头相同，TemporalId等于0，并且不是RASL或RADL图像。令setOfPrevPocVals为包含以下内容的集合：
-prevTid0Pic的PicOrderCntVal，
-每个图像的PicOrderCntVal，该每个图像由prevTid0Pic的RefPicList[0]或RefPicList[1]中的条目所引用，且nuh_layer_id与当前图像相同，
-每个图像的PicOrderCntVal，该每个图像按照解码顺序在prevTid0Pic之后，且nuh_layer_id与当前图像相同，且按照解码顺序在当前图像之前。
当setOfPrevPocVals中有多于一个值，其模MaxPicOrderCntLsb的值等于句法元素1250F(例如，poc_lsb_lt_col)时，则delta_poc_msb_cycle_present_flag[i][j])的值应当等于1。
当用于时间运动矢量预测的并置图像由参考图像列表中的ILRP条目所引用时，句法元素1280F(例如，inter_layer_col_pic_idx)指定用于时间运动矢量的并置图像在直接参考层的列表中的索引。句法元素1280F的值可以在0至NumDirectRefLayers[GeneralLayerIdx[nuh_layer_id]]-1的包含性范围中。
如图12F所示，当sps_inter_layer_ref_pics_present_flag(例如，句法元素720)等于1时，用信号发送句法元素1210F，即ILRP可以用于CLVS中一个或多个编码图像的帧间预测，用信号发送索引(例如，句法元素1280F inter_layer_col_pic_idx)以指示哪个层间参考图像用作并置图像，其与图12B的步骤1202B对应。如果并置图像为短期参考图像，即句法元素1220F(例如，st_col_pic_flag)等于1，用信号发送增量POC(例如，句法元素1230F)，其与图12B的步骤1204B对应。如果并置图像为长期参考图像，即句法元素1220F(例如，st_col_pic_flag)等于0，用信号发送POC的LSB(例如，句法元素1250F)以及POC的增量MSB(例如，句法元素1260F)，其与图12B的步骤1206B对应。此外，POC的MSB可以通过增量MSB导出，且POC可以通过MSB和LSB导出。因此，可以独立于参考图像列表结构来指示并置图像。
考虑到VVC(例如，VVC草案9)有约束，即一个图像内的所有条带所引用的并置图像应该是相同图像，根据更新的句法结构1200F和1200G，并置图像可以只在PH中指示，而不在SH中指示。因此，可以保证图像内的所有条带具有相同的并置图像，并且不需要约束，从而提高了指示并置图像的效率和稳健性。
图12J示出了根据本公开一些实施例的用于导出标记为colPic的并置图像以及用于方法1200A、1200B、1200C和1200D的标志colPicFlag的示例性伪代码。如图12J所示，对于并置图像的不同场景，例如并置图像由参考图像列表中的STRP条目所引用(如场景1210J所示)，并置图像由参考图像列表中的LTRP条目所引用(如场景1220J所示)，或者并置图像由参考图像列表中的ILPR条目所引用(如场景1230J所示)，图像内的所有条带具有相同的并置图像(例如，picA)。因此，提高了确定并置图像的稳健性。
在一些实施例中，存在比特流一致性的要求，即应用以下约束：当ph_temporal_mvp_enabled_flag等于1时，colPic不是“无参考图像”，而是由RefPicList[0]或RefPicList[1]中的激活条目所引用，并且colPicFlag等于0。“无参考图像”可以被视为指示在RPL中没有参考图像的标记。colPicFlag等于0指示当前图像和并置图像具有相同的图像大小和相同的缩放窗口。也就是说，当启用时间MVP时，并置图像应当存在于参考图像列表中，且由参考图像列表0或参考图像列表1中的激活条目所引用。因此，提高了并置图像的稳健性。
在VVC(例如，VVC草案9)中，可以根据pps_rpl_info_ph_flag的值在PH或SH中用信号发送用于识别并置图像的ref_pic_list_struct()和句法元素(PH中的句法元素930A(例如，ph_collocated_from_l0_flag)和句法元素940A(例如，ph_collocated_ref_idx)，以及SH中的句法元素1040A(例如，sh_collocated_from_l0_flag)和句法元素1050A(例如，sh_colocated_ref_idx)。当pps_rpl_info_ph_flag的值等于1时，在PH中用信号发送句法元素930A、句法元素940A和ref_pic_list_struct()，且不用信号发送句法元素1040A和句法元素1050A。在这种情况下，根据句法元素930A和句法元素940A的值以及当前条带的条带类型来推断句法元素1040A和句法元素1050A的值。如果其为B条带，推断句法元素1040A等于句法元素930A。如果其为P条带，直接推断句法元素1040A等于1，而不考虑句法元素930A的值。对于P条带和B条带，均推断句法元素1050A的值等于句法元素940A。然而，对于在PH中用信号发送的句法元素940A，最大允许值为参考图像列表中条目的数量减1，但是对于句法元素1050A，最大允许值为参考图像列表中激活条目的数量减1，其可能在条带头中被覆盖。因此，当句法元素1050A被推断为等于句法元素940A时，可能会违反最大值约束。
例如，当用信号发送的句法元素930A为0时，参考图像列表1中条目的数量(在ref_pic_list_structure()中用信号发送的num_ref_entris[1])为N，且用信号发送的ph_colocated_ref_idx为N-1，那么在这种情况下，推断句法元素1040A的值等于0，且推断句法元素1050A的值等于N-1。然而参考图像列表1中激活条目的数量可以被覆盖为小于N的数。在这种情况下，比特流是非法的。
又一示例中，当用信号发送的句法元素930A为0时，参考图像列表1中条目的数量(在ref_pic_list_structure()中用信号发送的num_ref_entries[1])为N，用信号发送的句法元素940A为N-1，且激活条目的数量未在条带头中被覆盖(假设激活条目的数量与参考图像列表中条目的数量均相同)。但是如果当前条带为P条带，则推断句法元素940A等于1，且推断句法元素1050A等于N-1。然而，参考图像列表0中条目的数量(在ref_pic_list_structure()中用信号发送的num_ref_entries[0])可能小于N。因此，比特流也是非法的。
为了解决传统编码技术中的这一缺陷，在本公开的一些实施例(例如下文图13A至图13C中所提供的实施例)中，SH中的并置图像也是基于参考图像列表中激活条目的数量推断的。
图13A示出了根据本公开一些实施例的利用参考图像列表中激活条目的数量确定SH中并置图像的索引的示例性视频编码方法1300A的流程图。方法1300A可以由编码器执行(例如，图2A的过程200A或图2B的过程200B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1300A。在一些实施例中，方法1300A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图13A，方法1300A可以包括以下步骤1302A至1306A。
在步骤1302A，确定是否在条带头中用信号发送参数以指示并置图像的参考索引。在VVC中，指示条带头中并置图像的参考索引的参数可以是句法元素sh_collocated_ref_idx。
在步骤1304A，当未在条带头中用信号发送参数时，确定并置图像为由索引所引用的图像，该索引的值等于在图像头中用信号发送的并置图像的参考索引的值(例如，ph_collocated_ref_idx)和目标参考图像列表中激活条目的数量减1(例如，NumRefIdxActive[！sh_collocated_from_l0_flag]-1)之间的较小值。参考图像列表中的目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。因此，在推断句法元素1050A(例如，sh_collocated_ref_idx)的值时，也将参考图像中激活条目的数量考虑在内。如果在PH中用信号发送的句法元素940A(例如，ph_collocated_ref_idx)大于或等于目标参考图像列表中激活条目的数量，则句法元素1050A(例如，sh_collocated_ref_idx)的推断值被限制为小于目标参考图像列表中激活条目的数量。参考图像列表中的目标参考图像列表由句法元素1040A(例如，sh_collocated_from_l0_flag)指示。
在步骤1306A，基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测。因此，避免了非法比特流，且提高了并置图像的稳健性。
图13B示出了根据本公开一些实施例的利用参考图像列表中激活条目的数量确定SH中并置图像的索引的示例性视频解码方法1300B的流程图。方法1300B可以由解码器执行(例如，图3A的过程300A或图3B的过程300B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1300B。在一些实施例中，方法1300B可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图13B，方法1300B可以包括以下步骤1302B至1310B。
在步骤1302B，解码器接收视频比特流(例如，图3B的视频比特流228)，且该视频比特流可以利用帧间预测来编码。因此，可以例如从参考图像0和参考图像列表1导出参考图像，参考图像0和参考图像列表1中的每个都包括DPB(例如，图3B中的缓冲器234)中待用作参考图像的重构图像的列表。
在步骤1304B，确定条带头中是否存在指示用于时间运动矢量预测的并置图像的参考索引的参数。在VVC中，指示条带头中并置图像的参考索引的参数可以是句法元素sh_collocated_ref_idx。
在步骤1306B，当参数不存在时，将参数的值确定为等于图像头中存在的用于时间运动矢量预测的并置图像的参考索引的值(例如，ph_collocated_ref_idx)和目标参考图像列表中激活条目的数量减1(例如，NumRefIdxActive[！sh_collocated_from_l0_flag]–1)之间的较小值。参考图像列表中的目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。因此，在确定句法元素1050A(例如，sh_collocated_ref_idx)的值时，也将参考图像中激活条目的数量考虑在内。如果在PH中用信号发送的句法元素940A(例如，ph_collocated_ref_idx)的值大于或等于目标参考图像列表中激活条目的数量，则句法元素1050A(例如，sh_collocated_ref_idx)的确定值被限制为小于目标参考图像列表中激活条目的数量。参考图像列表中的目标参考图像列表由句法元素1040A(例如，sh_collocated_from_l0_flag)指示。因此，避免了非法比特流。
在步骤1308B，确定并置图像为其值与目标参考图像列表中的参数值相等的索引所引用的图像。提高了并置图像的稳健性。
在步骤1310B，基于并置图像解码当前图像。提高了解码过程的可靠性。
图13C示出了根据本公开一些实施例的示例性语义1300C的部分。语义1300C可被用于方法1300A和方法1300B。如图13C所示，在句法1310C中，相比于先前VVC的变化以斜体示出，提议删除的句法进一步以删除线示出。句法1310C对应图13A中的步骤1306A和图13B中的步骤1306B。如果pps_rpl_info_in_ph_flag(例如，句法元素830)等于1，代表参考图像列表信息存在于PH句法结构中，且不存在于引用PPS的、不包含PH句法结构的SH中，推断sh_collocated_ref_idx(例如，句法元素1050A)的值等于min(ph_collocated_ref_idx，NumRefIdxActive[！sh_collocated_from_l0_flag]-1)，即sh_collocated_ref_idx的值被设置为等于图像头中用于时间运动矢量预测的并置图像的参考索引值(例如，ph_collocated_ref_idx)和目标参考图像列表中激活条目的数量减1(例如，NumRefIdxActive[！sh_collocated_from_l0_flag]–1)之间的较小值。目标参考图像列表由句法元素1040A(例如，sh_collocated_from_l0_flag)指示，其为用于时间运动矢量预测的并置图像所从中导出的参考图像列表。当用于时间MVP的并置图像从参考图像列表0导出，目标参考图像列表为参考图像列表0。当用于时间MVP的并置图像从参考图像列表1导出，目标参考图像列表为参考图像列表1。
在VVC(例如，VVC草案9)中，ref_pic_list_struct()可以在SPS中用信号发送，或包含在句法结构ref_pic_lists()中。当在SPS中用信号发送的ref_pic_list_structure()不从PH或SH中选择时，可以直接在ref_pic_lists()中用信号发送另一个ref_pic_list_structure()，其在PH或SH中用信号发送。然而，VVC(例如，VVC草案9)提供以下内容：对于listIdx的每个值(等于0或1)，解码器应该为总数为sps_num_ref_pic_lists[i]加1的ref_pic_list_struct(listIdx，rplsIdx)句法结构分配存储器，因为可能有一个ref_pic_list_struct(listIdx，rplsIdx)句法结构直接在当前图像的条带头中用信号发送。鉴于上述情况，这是不准确的。
为了克服传统编码技术的这一缺陷，在本公开的一些实施例(例如下文图14A和图14B所提供的的实施例)中，对于listIdx的每个值(等于0或1)，对于直接在当前图像的图像头或条带头中用信号发送一个ref_pic_list_struct(listIdx，rplsIdx)句法结构的情况下，解码器为总数为sps_num_ref_pic_lists[i]加1的ref_pic_list_struct(listIdx，rplsIdx)句法结构分配存储器。
图14A示出了根据本公开一些实施例的用于解码器分配存储器的示例性视频处理方法1400A的流程图。方法1400A可以由编码器(例如，由图2A的过程200A或图2B的过程200B)、解码器(例如图3A的过程300A或图3B过程300B)执行，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件来执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1400A。在一些实施例中，方法1400A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图14A，方法1400A可以包括以下步骤1402A至1406A。
在步骤1402A，通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数。由于存在后续用信号发送附加RPL的可能性(在图像头或条带头中)，因此将SPS中的参考图像列表结构的数量加一个附加值1来得到总数。
在步骤1404A，响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器。因此，在编码/解码前通过编码器/解码器为在当前图像的图像头或当前图像的条带头中用信号发送的附加RPL分配更多的存储器，将对视频处理产生帮助。
在步骤1406A，利用所分配的存储器处理当前图像或当前条带。由于所分配的存储器对于附加RPL来说更可靠，因此编码/解码过程可以更准确和稳健。
图14B示出了根据本公开一些实施例的示例性语义1400B的部分。语义1400B可以用于方法1400A，相比于先前VVC的变化以斜体示出(参见框1410B)。对于后续用信号发送附加RPL的可能性(在图像头或条带头中)，为附加RPL分配更多的存储器。
在VVC(例如VVC草案9)中，句法元素530A(例如，rpl_idx[i])指定用于导出当前图像的参考图像列表i的ref_pic_list_struct(listIdx，rplsIdx)句法结构(listIdx等于i)在SPS中包括的listIdx等于i的ref_pic_list_struct(listIdx，rplsIdx)句法结构的列表中的索引。由于参考图像列表可以从图像或条带中导出，因此这一语义可能不准确。
在VVC(例如，VVC草案9)中，当句法元素530A不存在时，存在推断句法元素530A的值的推断规则：如果句法元素510A(例如，rpl_sps_flag[i])等于1且句法元素520A(例如，pps_rpl1_idx_present_flag)等于0，则推断rpl_idx[1]的值等于rpl_idx[0]，否则推断rpl_idx[1]的值等于0。该推断规则存在一些问题。第一，仅存在rpl_idx[1]的推断规则，没有rpl_idx[0]的推断规则。第二，当句法元素510A等于1并且句法元素520A等于0时，不能保证用信号发送rpl_idx[0]。因此，在这种情况下，推断rpl_idx[1]的值等于rpl_idx[0]可能会有问题。总之，VVC(如VVC草案9)的推断规则不能保证rpl_idx[0]和rpl_idx[1]在不存在时都在解码器端得到合适的值。
为了克服传统编码技术的这一缺陷，在本公开的一些实施例(例如，下文图15A至图15C中提供的实施例)中，提供了更新的用于句法元素530A(例如，rpl_idx[i])的语义。
图15A示出了根据本公开一些实施例的用于确定参考图像列表中的索引的示例性视频编码方法1500A的流程图。方法1500A可以由编码器执行(例如，图2A的过程200A或图2B的过程200B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1500A。在一些实施例中，方法1500A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图15A，方法1500A可以包括以下步骤1502A至1514A。
在步骤1502A，在图像参数集(PPS)中用信号发送第一标志(例如，pps_rpl1_idx_present_flag)以指示在引用PPS的当前图像的图像头句法或条带头句法中是否存在第二标志(例如，rpl_sps_flag[1])和第一索引(例如，rpl_idx[1])。第一标志(例如，pps_rpl1_idx_present_flag)指示参考图像列表1是否是基于序列参数集(sequence parameterset，SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引(例如，rpl_idx[1])是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引。然后，可以用信号发送第二标志(rpl_sps_flag[1])。
在步骤1504A，确定是否用信号发送第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])。第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引。
当未用信号发送第二索引(例如，rpl_idx[0])时，第二索引(例如rpl_idx[0])的值可以通过步骤1506A确定。
在步骤1506A，当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引(例如，rpl_idx[0])的值等于0。参考图5A，当sps_num_ref_pic_lists[0]小于或等于1时，不用信号发送rpl_idx[0]。因此，通过步骤1506A，在未用信号发送rpl_idx[0]的情况下确定了rpl_idx[0]的值，增强了推断rpl_idx[0]的可靠性。
当未用信号发送第一索引(例如，rpl_idx[1])时，可以通过步骤1508A和1510A确定第一索引(例如，rpl_idx[0])的值。
在步骤1508A，当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引(例如，rpl_idx[1])的值等于0。参考图5A，当sps_num_ref_pic_lists[1]小于或等于1时，不用信号发送rpl_idx[1]。因此，通过步骤1508A，在未用信号发送rpl_idx[1]的情况下确定了rpl_idx[1]的值，增强了推断rpl_idx[1]的可靠性。
在步骤1510A，当第一标志(例如，pps_rpl1_idx_present_flag)等于0且第二标志(例如，rpl_sps_flag[1])等于1时，确定第一索引(例如，rpl_idx[1])的值等于第二索引(例如，rpl_idx[0])的值。由于如果sps_num_ref_pic_lists[0]小于或等于1，则rpl_idx[0]的值被设置为0(步骤1508A)，否则(例如，sps_num_ref_pic_list[0]>1)用信号发送rpl_idx[0](参考图5A)，因此为所有场景确定了rpl_idx[0]的值。因此，在这种情况下，确定rpl_idx[1]的值被设置为等于rpl_idx[0]的值。因此，对于所有场景(例如，无论是否用信号发送rpl_idx[0])，都确定了rpl_idx[1]的值。如果未用信号发送rpl_idx[i]，可以保证rpl_idx[i](rpl_idx[0]和rpl_idx[1])得到合适的值。
在确定第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])的值后，在步骤1512A，基于第一索引和第二所引确定参考图像列表。由于无论是否用信号发送第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])，都保证了能够确定第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])的值，因此参考图像列表的确定可以更可靠。
在步骤1514A，基于参考图像列表编码当前图像。因此，提高了编码过程的稳健性。
在一些实施例中，由于当SPS中存在参考图像列表0的一个参考图像列表结构时，推断rpl_idx[0]等于0(参考步骤1508A)，因此步骤1510A可以被替换为“响应于SPS中存在参考图像列表i的一个参考图像列表结构，确定rpl_idx[i]等于0”。可以进一步提高编码过程的效率。
图15B示出了根据本公开一些实施例的用于确定参考图像列表的索引的示例性视频解码方法1500B的流程图。方法1500B可以由解码器执行(例如，图3A的过程300A或图3B的过程300B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1500B。在一些实施例中，方法1500B可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图15B，方法1500B可以包括以下步骤1502B至1514B。
在步骤1502B，解码器接收视频比特流(例如，图3B中的视频比特流228)，该视频比特流可以用帧间预测来编码。可以例如通过参考图像0和参考图像列表1导出参考图像，参考图像0和参考图像列表1中的每个都包括DPB(例如，图3B中的缓冲器234)中待用作参考图像的重构图像的列表。
在步骤1504B，确定第一标志(例如，pps_rpl1_idx_present_flag)的值，第一标志指示当前图像的图像头句法或条带头句法中是否存在第二标志(例如，rpl_sps_flag[1])和第一索引(例如，rpl_idx[1])。第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引。然后，可以确定第二标志(例如，rpl_sps_flag[1])的值。
在步骤1506B，确定是否存在第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])。第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引。
当不存在第二索引(例如，rpl_idx[0])时，第二索引(例如rpl_idx[0])的值可以通过步骤1508B确定。
在步骤1508B，当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引(例如，rpl_idx[0])的值等于0。参考图5A，当sps_num_ref_pic_lists[0]小于或等于1时，不用信号发送rpl_idx[0]，因此rpl_idx[0]不存在。在这种情况下，设置rpl_idx[0]等于0。因此，通过步骤1508B，在rpl_idx[0]不存在的情况下确定了rpl_idx[0]的值，增强了推断rpl_idx[0]的可靠性。
当不存在第一索引(例如，rpl_idx[1])时，第一索引(例如，rpl_idx[1])的值可以通过步骤1510B和1512B确定。
在步骤1510B，当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引(例如，rpl_idx[1])的值等于0。参考图5A，当sps_num_ref_pic_lists[1]小于或等于1时，不用信号发送rpl_idx[1]，因此rpl_idx[0]不存在。因此，通过步骤1510B，在未用信号发送rpl_idx[1]的情况下确定了rpl_idx[1]的值，增强了推断rpl_idx[1]的可靠性。
在步骤1512B，当第一标志(例如，pps_rpl1_idx_present_flag)等于0且第二标志(例如，rpl_sps_flag[1])等于1时，确定第一索引(例如，rpl_idx[1])的值等于第二索引(rpl_idx[0])的值。由于如果sps_num_ref_pic_lists[0]小于或等于1，则rpl_idx[0]的值被设置为0(步骤1508A)，否则(例如，sps_num_ref_pic_list[0]>1)用信号发送rpl_idx[0](参考图5A)，因此为所有场景确定了rpl_idx[0]的值。因此，在这种情况下，确定rpl_idx[1]的值被设置为等于rpl_idx[0]的值。因此，对于所有场景(例如，无论是否存在rpl_idx[0])，都确定了rpl_idx[1]的值。如果不存在rpl_idx[i]，可以保证rpl_idx[i](rpl_idx[0]和rpl_idx[1])得到合适的值。
在1514B，基于第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])解码当前图像。由于无论是否存在第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])，都保证了能够确定第一索引(例如，rpl_idx[1])和第二索引(例如，rpl_idx[0])的值，因此参考图像列表的确定可以更可靠。
在一些实施例中，由于当SPS中存在参考图像列表0的一个参考图像列表结构时，推断rpl_idx[0]等于0(参考步骤1508B)，因此步骤1514B可以被替换为“响应于SPS中存在参考图像列表i的一个参考图像列表结构，推断rpl_idx[i]等于0”。可以进一步提高解码过程的效率。
图15C示出了根据本公开一些实施例的示例性语义1500C的部分。语义1500C可被用于方法1500A和方法1500B。如图15C所示，相比于先前VVC的变化以斜体示出，提议删除的句法进一步以删除线示出(参见框1510C和1520C)。提供了两种可替代的推导描述。在一些实施例中，如框1510C所示，对于rpl_idx[i]不存在的情况，如果有至多一个参考图像列表i的参考图像列表结构(例如，sps_num_ref_pic_list[i]小于或等于1)，则推断rpl_idx[i]的值等于0；否则(有多于一个参考图像i的参考图像列表结构，即sps_num_ref_pic_list[i]大于1)，且i等于1，即sps_num_ref_pic_list[1]大于1，则推断rpl_idx[1]的值等于rpl_idx[0]。框1520C和1510C的区别在于“否则”和“i等于1”的表述详细解释为“sps_num_ref_pic_list[1]大于1”。在一些实施例中，条件“如果sps_num_ref_pic_list[i]小于或等于1”(参见框1511C和框1521C)可以替换为“如果sps_num_ref_pic_list[i]等于1”。
在VVC(例如，VVC草案9)中，句法元素1010A(例如，sh_num_ref_idx_active_override_flag)等于1指定句法元素sh_num_ref_idx_active_minus1[0]在条带P和B的情况下存在，且句法元素sh_num_ref_idx_active_minus1[1]在条带B的情况下存在。句法元素1010A等于0指定句法元素sh_num_ref_idx_active_minus1[0]和sh_num_ref_idx_active_minus1[1]不存在。然而，如图10A所示，当句法元素1010A等于1时，针对用信号发送sh_num_ref_idx_active_minus1[i]，进一步检查num_ref_entries[i][RplsIdx[i]]的值。仅当句法元素1010A等于1且num_ref_entries[i][RplsIdx[i]]大于1时，用信号发送句法元素sh_num_ref_idx_active_minus1[i]。因此，句法元素1010A等于1不一定代表用信号发送sh_num_ref_idx_active_minus1[i]。
为了克服传统编码技术中的这一缺陷，在本公开的一些实施例(例如下文图16A至图16C所提供的实施例)中，提供了更新的句法元素1010A的语义，以提高编码/解码过程的效率。
图16A示出了根据本公开一些实施例的用于在条带头中指示存在的激活参考索引数的示例性视频编码方法1600A的流程图。方法1600A可以由编码器执行(例如，图2A的过程200A或图2B的过程200B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1600A。在一些实施例中，方法1600A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图16A，方法1600A可以包括以下步骤1602A至1608A。
在步骤1602，在条带头中用信号发送第一标志，以指示条带头中是否存在激活参考索引数。例如，用信号发送句法元素sh_num_ref_idx_active_override_flag以指示条带头中是否存在参考图像列表i的激活参考索引数(例如，sh_num_ref_idx_active_minus1[i])(i等于0或1)。该激活参考索引数用于导出可能用于编码当前条带的相应参考图像列表的最大参考索引。用于编码当前条带的参考索引的数量可以小于或等于从激活参考索引数中导出的最大数量。
在步骤1604A，确定是否存在激活参考索引数。当第一标志指示存在激活参考索引数时，句法元素sh_num_ref_idx_active_minus1[0]在P和B条带的情况下存在，句法元素sh_num_ref_idx_active_minus1[1]在B条带的情况下存在。然后，执行步骤1606A和步骤1608A。
在步骤1606A，首先确定参考图像列表0中条目的数量，如果参考图像列表0中条目的数量(例如，num_ref_entries[0][RplsIdx[0]])被确定为大于1，则在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数(例如，sh_num_ref_idx_active_minus1[0])。
在步骤1608A，首先确定参考图像列表1中条目的数量，如果参考图像列表1中条目的数量(例如，num_ref_entries[1][RplsIdx[1]])被确定为大于1，则在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数(例如，sh_num_ref_idx_active_minus1[1])。
通过步骤1606A和步骤1608A，当参考图像列表i中条目的数量(例如，num_ref_entries[i][RplsIdx[i]])大于1时，在条带级别用信号发送参考图像列表i的激活参考索引数(例如，sh_num_ref_idx_active_minus1[i])。
因此，消除了当sh_num_ref_idx_active_override_flag等于1时用信号发送sh_num_ref_idx_active_minus1[i]的不确定性，可以提高编码过程的准确性和稳健性。
在一些实施例中，方法1600A还可以包括步骤1610A和1612A。当第一标志指示不存在激活参考索引数时，则不存在句法元素sh_num_ref_idx_active_minus1[i]。然后，执行步骤1610A和步骤1612A。
在步骤1610A，跳过在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数(例如，sh_num_ref_idx_active_minus1[0])。也就是说，在P和B条带的情况下不在条带头中用信号发送sh_num_ref_idx_active_minus1[0]。
在步骤1612A，跳过在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。也就是说，在B条带的情况下不在条带头中用信号发送sh_num_ref_idx_active_minus1[1]。
因此，当不存在激活参考索引数时，通过跳过用信号发送激活参考数，使得编码过程更有效率。
图16B示出了根据本公开一些实施例的用于在条带头中指示激活参考索引数的示例性视频解码方法1600B的流程图。方法1600B可以由解码器执行(例如，图3A的过程300A或图3B的过程300B)，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1600B。在一些实施例中，方法1600B可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。如图16A所示，方法1600B可以包括以下步骤1602B至1608B。
在步骤1602B，解码器接收视频比特流(例如，图3B的视频比特流228)，该视频比特流包括条带头和图像头句法，且该视频比特流可以利用帧间预测来编码。可以例如通过参考图像0和参考图像列表1导出参考图像，参考图像0和参考图像列表1中的每个都包括DPB(例如，图3B中的缓冲器234)中待用作参考图像的重构图像的列表。
在步骤1604B，确定在条带头中用信号发送的第一标志的值，第一标志指示是否存在激活参考索引数。在一些实施例中，第一标志为句法元素h_num_ref_idx_active_override_flag，其可以指示是否存在参考图像列表i的激活参考索引(例如，sh_num_ref_idx_active_minus1[i])(i等于0或1)。该激活参考索引数用于导出可能用于解码当前条带的相应参考图像列表的最大参考索引。用于解码当前条带的参考索引的数量可以小于或等于从激活参考索引数中导出的最大数量。
当确定第一标志的值为指示存在激活参考索引数的值时，句法元素sh_num_ref_idx_active_minus1[0]在P和B条带的情况下存在，句法元素sh_num_ref_idx_active_minus1[1]在B条带的情况下存在。然后，执行步骤1606B和步骤1608B。
在步骤1606B，确定参考图像列表0中条目的数量(例如，num_ref_entries[0][RplsIdx[0]])，如果参考图像列表0中条目的数量被确定为大于1，则在P和B条带的情况下，解码条带头中的参考图像列表0的激活参考索引数(例如，sh_num_ref_idx_active_minus1[0])。
在步骤1608B，确定参考图像列表1中条目的数量(例如，num_ref_entries[1][RplsIdx[1]])，如果参考图像列表1中条目的数量被确定为大于1，则在B条带的情况下，解码条带头中的参考图像列表1的激活参考索引数(例如，sh_num_ref_idx_active_minus1[1])。
通过步骤1606B和步骤1608B，当参考图像列表i中条目的数量(例如，num_ref_entries[i][RplsIdx[i]])大于1时，用信号发送参考图像列表i的激活参考索引数(例如，sh_num_ref_idx_active_minus1[i])。因此，消除了当sh_num_ref_idx_active_override_flag等于1时用信号发送sh_num_ref_idx_active_minus1[i]的不确定性。
在一些实施例中，方法1600B还可以包括步骤1610B和1612B。当第一标志的值被确定为指示不存在激活参考索引数的值时，不用信号发送句法元素sh_num_ref_idx_active_minus1[i]。然后，执行步骤1610B和步骤1612B。
在步骤1610B，跳过在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数(例如，sh_num_ref_idx_active_minus1[0])。也就是说，在B条带的情况下条带头中不存在sh_num_ref_idx_active_minus1[0]。
在步骤1612B，跳过在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数(例如，sh_num_ref_idx_active_minus1[1])。也就是说，在B条带的情况下不存在sh_num_ref_idx_active_minus1[1]。因此，可以提高解码过程的效率。
图16C示出了根据本公开一些实施例的示例性语义1600C的部分。语义1600B可被用于方法1600A和方法1600B。如图16C所示，相比于先前VVC的变化以斜体示出，提议删除的句法进一步以删除线示出(参见框1610C和1620C)。提供了两种可替代的描述。如框1610C所示，sh_num_ref_idx_active_override_flag等于1不一定指定在P和B条带的情况下存在句法元素sh_num_ref_idx_active_minus1[0]，或者在B条带的情况下存在句法元素sh_num_ref_idx_active_minus1[1]。如框1620C所示，针对sh_num_ref_idx_active_override_flag等于1，对于P和B条带的情况下存在句法元素sh_num_ref_idx_active_minus1[0]，添加“当num_ref_entries[0][RplsIdx[0]大于1时”的条件，并且对于B条带的情况下存在句法元素sh_num_ref_idx_active_minus1[1]，添加“当num_ref_entries[1][RplsIdx]大于1时”的条件。因此，可以提高解码过程的准确性和稳健性。
在VVC(例如，VVC草案9)中，存在比特流一致性约束，即由句法元素1050A(例如，sh_collocated_ref_idx)引用的图像对于编码图像的所有条带来说是相同的，且RprConstraintsActive[sh_collocated_from_l0_flag？0：1][sh_collocated_ref_idx]等于0。为了识别由句法元素1050A所引用的图像，需要首先决定句法元素1040A(例如，sh_collocated_from_l0_flag)和句法元素1050A(例如，sh_collocated_ref_idx)的值。然而，如图10A所示，仅对于B条带用信号发送句法元素1040A，且仅对于P和B条带用信号发送句法元素1050A。对于I条带，不用信号发送句法元素1040A和句法元素1050A。且对于I条带，不存在这两个句法元素的推断值。因此，对于I条带，未定义句法元素1050A的值。因此，编码器/解码器不能够识别由句法元素1050A引用的图像，且不能够执行一致性约束检查。
为了克服传统编码技术的这一缺陷，在本公开的一些实施例(例如下文图17A和图17B提供的实施例)中，提供了更新的语义，以提高视频处理的准确性和稳健性。
例如，图17A示出了用于图像处理的示例性视频处理方法1700A的流程图。方法1700A可以由编码器(例如，由图2A的过程200A或图2B的过程200B)、解码器(例如图3A的过程300A或图3B过程300B)执行，或由装置(例如，图4的装置400)的一个或多个软件或硬件组件来执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1700A。在一些实施例中，方法1700A可以由计算机程序产品实施，该计算机程序产品体现在计算机可读介质中，该计算机可读介质包括由计算机(例如，图4的装置400)执行的计算机可执行指令，例如程序代码。参考图24A，方法1700A可以包括步骤1702A和1704A。
在步骤1702A，确定由并置图像的参考索引(例如，sh_collocated_ref_idx)在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像。因此，避免了sh_collocated_ref_idx和sh_collocated_from_l0_flag值的不确定性。
在步骤1704A，基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。因此，可以提高视频处理的稳健性。
也就是说，对于编码图像的所有非I条带，由并置图像的参考索引所引用的用于时间运动矢量预测的图像被确定为相同的。在一些实施例中，对于当前图像的所有P条带和B条带，由并置图像的参考索引所引用的用于时间运动矢量预测的图像被确定为相同的。
图17B示出了根据本公开一些实施例的示例性语义1700B的部分。该语义1700B可被用于方法1700A。如图17B所示，相比于先前VVC的变化以斜体示出，提议删除的句法进一步以删除线示出(参见框1710B和1720B)。提供了两种可替代的描述。如框1710B所示，进一步将比特流一致性的要求细化为“所有非I条带”，而不是“所有条带”。因此，提高了解码过程的效率和稳健性。框1720B和1710B的区别在于，“非I条带”的表述替换为了“P条带和B条带”以使其更准确。
在一些实施例中，也提供了包括指令的非暂时性计算机可读存储介质，并且该指令可以由设备(例如所公开的编码器和解码器)执行，以执行上述方法。非暂时性介质的常见形式包括，例如软盘、可折叠磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储芯片或盒及其网络版本。该设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。
应当注意，本文中的关系术语，诸如“第一”和“第二”等，仅用于区分一个实体或操作与另一实体或操作，并不要求或暗示这些实体或操作之间的任何实际关系或顺序。此外，词语“包括”、“具有”、“包含”和“包括”以及其他类似形式旨在具有相同的含义并且是开放式的，因为在这些词语中任何一个之后的一个或多个项目并不意味着是这一个或多个项目的详尽列表，或仅限于所列的一个或多个项目。
如本文所用，除非另有特别说明，否则术语“或”包括所有可能的组合，除非不可行。例如，如果声明数据库可能包括A或B，则除非另有明确说明或不可行，否则数据库可能包括A、或B，或A和B。作为第二个示例，如果声明数据库可能包括A、B或C，则除非另有明确说明或不可行，否则数据库可能包括A，或B，或C，或A和B，或A和C，或B和C，或A和B和C。
可以理解，上述实施例可以通过硬件或软件(程序代码)或硬件和软件的组合来实现。如果通过软件实现，则可以将其存储在上述计算机可读介质中。该软件当由处理器执行时，可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以通过硬件、软件或硬件和软件的组合来实现。本领域的普通技术人员还将理解，上述模块/单元中的多个可以组合为一个模块/单元，并且上述每个模块/单元可以进一步划分为多个子模块/子单元。
实施例可以利用以下条款进行进一步描述：
1.一种用于编码视频的计算机实现方法，包括：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，用信号发送第一标志和第二标志，其中第一标志指示并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示是否用信号发送运动矢量差分句法结构。
2.一种用于解码视频的计算机实现方法，包括：
接收视频比特流；
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，解码第一标志和第二标志，其中第一标志指示用于时间运动矢量预测的并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示运动矢量差分句法结构是否存在于当前图像的比特流中；以及
基于并置图像解码当前图像。
3.一种用于编码视频的计算机实现方法，包括：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
在不用信号发送参考图像列表中的索引的情况下，指示比特流中的并置图像。
4.根据条款3所述的方法，其中在不用信号发送参考图像列表中的索引的情况下，指示比特流中的并置图像还包括：
用信号发送第一标志以指示并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，用信号发送第一参数以指示并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
5.根据条款4所述的方法，其中在不用信号发送参考图像列表中的索引的情况下，指示比特流中的并置图像还包括：
用信号发送第二标志以指示并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，用信号发送第二参数以指示并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
6.根据条款5所述的方法，还包括：
响应于并置图像是长期参考图像，用信号发送第三参数和第四参数以指示并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
7.根据条款6所述的方法，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数是在图像头中用信号发送的，且图像中的所有条带具有相同的并置图像。
8.根据条款3所述的方法，其中参考图像列表是参考图像列表0或参考图像列表1。
9.一种用于解码视频的计算机实现方法，包括：
接收视频比特流；
在不解码参考图像列表中的索引的情况下，确定用于时间运动矢量预测的并置图像；以及
基于并置图像解码当前图像。
10.根据条款9所述的方法，其中在不解码参考图像列表中的索引的情况下，确定用于时间运动矢量预测的并置图像还包括：
解码指示并置图像是否是层间参考图像的第一标志；
基于第一标志确定并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，解码第一参数，并基于第一参数确定并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
11.根据条款10所述的方法，其中在不解码参考图像列表结构中的索引的情况下，确定用于时间运动矢量预测的并置图像还包括：
解码指示并置图像是短期参考图像还是长期参考图像的第二标志；
基于第二标志确定并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，解码第二参数，并基于第二参数确定并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
12.根据条款11所述的方法，还包括：
响应于并置图像是长期参考图像，解码第三参数和第四参数，并基于第三参数和第四参数确定并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
13.根据条款12所述的方法，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数存在于图像头中，且图像中的所有条带具有相同的并置图像。
14.根据条款9所述的方法，其中参考图像列表是参考图像列表0或参考图像列表1。
15.一种用于编码视频的计算机实现方法，包括：
确定是否在条带头中用信号发送参数以指示并置图像的参考索引；
响应于未在条带头中用信号发送该参数，确定并置图像为由索引所引用的图像，该索引的值等于在图像头中用信号发送的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；以及
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测。
16.根据条款15所述的方法，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
17.一种用于解码视频的计算机实现方法，包括：
接收视频比特流；
确定条带头中是否存在指示用于时间运动矢量预测的并置图像的参考索引的参数；
响应于该参数不存在，将该参数的值确定为等于图像头中存在的用于时间运动矢量预测的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；
确定并置图像为其值与目标参考图像列表中的参数值相等的索引所引用的图像；以及
基于并置图像解码当前图像。
18.根据条款17所述的方法，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
19.一种用于视频处理的计算机实现方法，包括：
通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；
响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及
用分配的存储器处理当前图像或当前条带。
20.一种用于编码视频的计算机实现方法，包括：
在图像参数集(PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用PPS的当前图像的图像头句法或条带头中；其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于不用信号发送第二索引，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于不用信号发送第一索引，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；
基于第一索引和第二索引导出参考图像列表；以及
基于参考图像列表编码当前图像。
21.一种用于解码视频的计算机实现方法，包括：
接收视频比特流；
确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于第二索引不存在，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于第一索引不存在，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；以及
基于第一索引和第二索引解码当前图像。
22.一种用于编码视频的计算机实现方法，包括：
在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行编码的相应参考图像列表的最大参考索引；
响应于第一标志指示条带头中存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
23.根据条款22所述的方法，还包括：
响应于第一标志指示条带头中不存在激活参考索引数，
跳过在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
24.一种用于解码视频的计算机实现方法，包括：
接收包括条带头和图像头句法的视频比特流；
确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行解码的相应参考图像列表的最大参考索引；
响应于第一标志指示存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
25.根据条款24所述的方法，还包括：
响应于第一标志指示不存在激活参考索引数，
跳过在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
26.一种用于视频处理的计算机实现方法，包括：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
27.一种用于视频处理的计算机实现方法，包括：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有P条带和B条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
28.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，用信号发送第一标志和第二标志，其中第一标志指示并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示是否用信号发送运动矢量差分句法结构。
29.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
接收视频比特流；
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，解码第一标志和第二标志，其中第一标志指示用于时间运动矢量预测的并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示运动矢量差分句法结构是否存在于当前图像的比特流中；以及
基于并置图像解码当前图像。
30.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
在不用信号发送参考图像列表的索引的情况下，指示比特流中的并置图像。
31.根据条款30所述的装置，其中处理器还用于执行指令以使得该装置执行：
用信号发送第一标志以指示并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，用信号发送第一参数以指示并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
32.根据条款31所述的装置，其中处理器还用于执行指令以使得该装置执行：
用信号发送第二标志以指示并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，用信号发送第二参数以指示并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
33.根据条款32所述的装置，其中处理器还用于执行指令以使得该装置执行：
响应于并置图像是长期参考图像，用信号发送第三参数和第四参数以指示并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
34.根据条款33所述的装置，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数是在图像头中用信号发送的，且图像中的所有条带具有相同的并置图像。
35.根据条款30所述的装置，其中参考图像列表是参考图像列表0或参考图像列表1。
36.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
接收视频比特流；
在不解码参考图像列表中的索引的情况下，确定用于时间运动矢量预测的并置图像；以及
基于并置图像解码当前图像。
37.根据条款36所述的装置，其中处理器还用于执行指令以使得该装置执行：
解码指示并置图像是否是层间参考图像的第一标志；
基于第一标志确定并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，解码第一参数，并基于第一参数确定并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
38.根据条款37所述的装置，其中处理器还用于执行指令以使得该装置执行：
解码指示并置图像是短期参考图像还是长期参考图像的第二标志；
基于第二标志确定并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，解码第二参数，并基于第二参数确定并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
39.根据条款38所述的装置，其中处理器还用于执行指令以使得该装置执行：
响应于并置图像是长期参考图像，解码第三参数和第四参数，并基于第三参数和第四参数确定并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
40.根据条款39所述的装置，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数存在于在图像头中，且图像中的所有条带具有相同的并置图像。
41.根据条款36所述的装置，其中参考图像列表是参考图像列表0或参考图像列表1。
42.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
确定是否在条带头中用信号发送参数以指示并置图像的参考索引；
响应于未在条带头中用信号发送该参数，确定并置图像为由索引所引用的图像，该索引的值等于在图像头中用信号发送的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；以及
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测。
43.根据条款42所述的装置，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
44.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
接收视频比特流；
确定条带头中是否存在指示用于时间运动矢量预测的并置图像的参考索引的参数；以及
响应于该参数不存在，将该参数的值确定为等于图像头中存在的用于时间运动矢量预测的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；
确定并置图像为其值与目标参考图像列表中的参数值相等的索引所引用的图像；以及
基于并置图像解码当前图像。
45.根据条款44所述的装置，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
46.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；
响应于在当前图像的图像头或当前的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及
用分配的存储器处理当前图像或当前条带。
47.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
在图像参数集(PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用PPS的当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于不用信号发送第二索引，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于不用信号发送第一索引，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；基于第一索引和第二索引导出参考图像列表；以及
基于参考图像列表编码当前图像。
48.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
接收视频比特流；
确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中；其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于第二索引不存在，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于第一索引不存在，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；
以及
基于第一索引和第二索引解码当前图像。
49.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行编码的相应参考图像列表的最大参考索引；
响应于第一标志指示条带头中存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
50.根据条款49所述的装置，其中处理器还用于执行指令以使得该装置执行：
响应于第一标志指示条带头中不存在激活参考索引数，
跳过在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
51.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
接收包括条带头和图像头句法的视频比特流；
确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行解码的相应参考图像列表的最大参考索引；
响应于第一标志指示存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；
以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
52.根据条款50所述的装置，其中处理器还用于执行指令以使得该装置执行：
响应于第一标志指示不存在激活参考索引数，
跳过在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
53.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
54.一种用于进行视频数据处理的装置，该装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行指令以使得该装置执行：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有P条带和B条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
55.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，用信号发送第一标志和第二标志，其中第一标志指示并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示是否用信号发送运动矢量差分句法结构。
56.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
接收视频比特流；
响应于参考图像列表0中条目的数量和参考图像列表1中条目的数量均大于0，解码第一标志和第二标志，其中第一标志指示用于时间运动矢量预测的并置图像是从参考图像列表0或参考图像列表1导出的，第二标志指示运动矢量差分句法结构是否存在于当前图像的比特流中；以及
基于并置图像解码当前图像。
57.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测；以及
在不用信号发送参考图像列表中的索引的情况下，指示比特流中的并置图像。
58.根据条款57所述的非瞬时计算机可读介质，其中该方法还包括：
用信号发送第一标志以指示并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，用信号发送第一参数以指示并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
59.根据条款58所述的非瞬时计算机可读介质，其中该方法还包括：
用信号发送第二标志以指示并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，用信号发送第二参数以指示并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
60.根据条款59所述的非瞬时计算机可读介质，其中该方法还包括：
响应于并置图像是长期参考图像，用信号发送第三参数和第四参数以指示并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
61.根据条款60所述的非瞬时计算机可读介质，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数是在图像头中用信号发送的，且图像中的所有条带具有相同的并置图像。
62.根据条款57所述的非瞬时计算机可读介质，其中参考图像列表是参考图像列表0或参考图像列表1。
63.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
接收视频比特流；
在不解码参考图像列表中的索引的情况下，确定用于时间运动矢量预测的并置图像；以及
基于并置图像解码当前图像。
64.根据条款63所述的非瞬时计算机可读介质，其中该方法还包括：
解码指示并置图像是否是层间参考图像的第一标志；
基于第一标志确定并置图像是否是层间参考图像；以及
响应于并置图像是层间参考图像，解码第一参数，并基于第一参数确定并置图像，其中第一参数指示并置图像在当前图像所处的层的直接参考层的列表中的索引。
65.根据条款64所述的非瞬时计算机可读介质，其中该方法还包括：
解码指示并置图像是短期参考图像还是长期参考图像的第二标志；
基于第二标志确定并置图像是短期参考图像还是长期参考图像；以及
响应于并置图像是短期参考图像，解码第二参数，并基于第二参数确定并置图像，其中第二参数指示并置图像的图像顺序计数和当前图像的图像顺序计数之间的差。
66.根据条款65所述的非瞬时计算机可读介质，其中该方法还包括：
响应于并置图像是长期参考图像，解码第三参数和第四参数，并基于第三参数和第四参数确定并置图像，其中第三参数指示并置图像的图像顺序计数(POC)的最低有效位(LSB)，第四参数指示并置图像的图像顺序计数(POC)的增量最高有效位(MSB)。
67.根据条款66所述的非瞬时计算机可读介质，其中第一标志、第二标志、第一参数、第二参数、第三参数和第四参数存在于图像头中，且图像中的所有条带具有相同的并置图像。
68.根据条款63所述的非瞬时计算机可读介质，其中参考图像列表是参考图像列表0或参考图像列表1。
69.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
确定是否在条带头中用信号发送参数以指示并置图像的参考索引；
响应于未在条带头中用信号发送该参数，确定并置图像为由索引所引用的图像，该索引的值等于在图像头中用信号发送的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；以及
基于并置图像编码当前图像，其中并置图像用于时间运动矢量预测。
70.根据条款69所述的非瞬时计算机可读介质，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
71.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
接收视频比特流；
确定条带头中是否存在指示用于时间运动矢量预测的并置图像的参考索引的参数；
响应于该参数不存在，将该参数的值确定为等于图像头中存在的用于时间运动矢量预测的并置图像的参考索引的值和目标参考图像列表中激活条目的数量减1之间的较小值；
确定并置图像为其值与目标参考图像列表中的参数值相等的索引所引用的图像；以及
基于并置图像解码当前图像。
72.根据条款71所述的非瞬时计算机可读介质，其中目标参考图像列表由标志来指示，该标志指示用于时间运动矢量预测的并置图像从哪个参考图像列表导出。
73.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
通过将序列参数集(SPS)中的参考图像列表结构的数量与1相加来导出总数；
响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为该总数的参考图像列表结构分配存储器；以及
用分配的存储器处理当前图像或当前条带。
74.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
在图像参数集(PPS)中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用PPS的当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定是否用信号发送第一索引和第二索引，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于不用信号发送第二索引，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于不用信号发送第一索引，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；
基于第一索引和第二索引导出参考图像列表；以及
基于参考图像列表编码当前图像。
75.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
接收视频比特流；
确定第一标志的值，第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中第二标志指示参考图像列表1是否是基于序列参数集(SPS)中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在SPS中包括的与参考图像列表1相关联的参考图像列表结构的列表中的索引；
确定第一索引和第二索引是否存在，其中第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于第二索引不存在，确定第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定第二索引的值等于0；
响应于第一索引不存在，确定第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定第一索引的值等于0；以及
当第一标志等于0且第二标志等于1时，确定第一索引的值等于第二索引的值；以及
基于第一索引和第二索引解码当前图像。
76.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行编码的相应参考图像列表的最大参考索引；
响应于第一标志指示条带头中存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
77.根据条款76所述的非瞬时计算机可读介质，其中该方法还包括：
响应于第一标志指示条带头中不存在激活参考索引数，
跳过在P和B条带的情况下在条带头中用信号发送参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下在条带头中用信号发送参考图像列表1的激活参考索引数。
78.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
接收包括条带头和图像头句法的视频比特流；
确定在条带头中用信号发送的第一标志的值，第一标志指示条带头中是否存在激活参考索引数，其中激活参考索引数用于导出能够用于对当前条带进行解码的相应参考图像列表的最大参考索引；
响应于第一标志指示存在激活参考索引数，
确定参考图像列表0中条目的数量，并在参考图像列表0中条目的数量大于1时，在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；以及
确定参考图像列表1中条目的数量，并在参考图像列表1中条目的数量大于1时，在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
79.根据条款78所述的非瞬时计算机可读介质，其中该方法还包括：
响应于第一标志指示不存在激活参考索引数，
跳过在P和B条带的情况下解码条带头中的参考图像列表0的激活参考索引数；以及
跳过在B条带的情况下解码条带头中的参考图像列表1的激活参考索引数。
80.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有非I条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。
81.一种非瞬时计算机可读介质，存储有指令集，该指令集由装置的一个或多个处理器执行，使得该装置执行用于进行视频数据处理的方法，该方法包括：
确定由并置图像的参考索引在条带级别所引用的并置图像，其中对于当前图像的所有P条带和B条带，并置图像被确定为相同图像；以及
基于并置图像对当前图像进行处理，其中并置图像用于时间运动矢量预测。在上文的说明书中，参考大量具体细节对实施例进行了描述，这些具体细节可以随实施方式而变化。所描述的实施例可以进行一定的调整和修改。考虑到本文公开的本发明的说明书和实践，其他实施例对于本领域技术人员来说是显而易见的。说明书和示例仅被认为是示例性的，本发明的真实范围和精神由所附权利要求指出。图中所示的步骤顺序也仅旨在用于说明的目的，而不旨在限定任何特定的步骤顺序。因此，本领域技术人员可以理解，在实施相同方法时，这些步骤可以以不同的顺序执行。
在附图和说明书中已经公开了示例性实施例。然而，可以对这些实施例进行许多变化和修改。因此，尽管使用了特定的术语，但它们仅以一般性和描述性的意义来使用，而不是为了限制的目的。

Claims (8)

1.一种用于视频处理的计算机实现方法，包括：
通过将序列参数集SPS中的参考图像列表结构的数量与1相加来导出总数；
响应于在当前图像的图像头或当前条带的条带头中用信号发送参考图像列表结构，为数量为所述总数的参考图像列表结构分配存储器；以及
用所述分配的存储器处理当前图像或当前条带。
2.一种用于进行视频数据处理的装置，所述装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行所述指令以使得所述装置执行：
在图像参数集PPS中用信号发送第一标志，以指示第二标志和第一索引是否存在于引用所述PPS的当前图像的图像头句法或条带头中；其中所述第二标志指示参考图像列表1是否是基于序列参数集SPS中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且所述第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在所述SPS中包括的与参考图像列表1相关联的所述参考图像列表结构的列表中的索引；
确定是否用信号发送所述第一索引和第二索引，其中所述第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在所述SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于不用信号发送所述第二索引，确定所述第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定所述第二索引的值等于0；
响应于不用信号发送所述第一索引，确定所述第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定所述第一索引的值等于0；以及
当所述第一标志等于0且所述第二标志等于1时，确定所述第一索引的值等于所述第二索引的值；
基于所述第一索引和所述第二索引导出所述参考图像列表；以及
基于所述参考图像列表编码所述当前图像。
3.一种非瞬时计算机可读介质，存储有指令集，所述指令集由装置的一个或多个处理器执行，使得所述装置开始执行用于进行视频数据处理的方法，所述方法包括：
接收视频比特流；
确定第一标志的值，所述第一标志指示第二标志和第一索引是否存在于当前图像的图像头句法或条带头中，其中所述第二标志指示参考图像列表1是否是基于序列参数集SPS中用信号发送的与参考图像列表1相关联的参考图像列表结构之一导出的，且所述第一索引是用于导出参考图像列表1的、与参考图像列表1相关联的参考图像列表结构在所述SPS中包括的与参考图像列表1相关联的所述参考图像列表结构的列表中的索引；
确定所述第一索引和第二索引是否存在，其中所述第二索引是用于导出参考图像列表0的、与参考图像列表0相关联的参考图像列表结构在所述SPS中包括的与参考图像列表0相关联的参考图像列表结构的列表中的索引；
响应于所述第二索引不存在，确定所述第二索引的值包括：
当SPS中包括至多一个与参考图像列表0相关联的参考图像列表结构时，确定所述第二索引的值等于0；
响应于所述第一索引不存在，确定所述第一索引的值包括：
当SPS中包括至多一个与参考图像列表1相关联的参考图像列表结构时，确定所述第一索引的值等于0；以及
当所述第一标志等于0且所述第二标志等于1时，确定所述第一索引的值等于所述第二索引的值；以及
基于所述第一索引和所述第二索引解码当前图像。
4.一种用于编码视频的计算机实现方法，包括：
在条带头中用信号发送第一标志以指示条带头中是否存在激活参考索引数，其中所述激活参考索引数用于导出用于对当前条带进行编码的相应参考图像列表的最大参考索引；
响应于所述第一标志指示所述条带头中存在所述激活参考索引数，
确定参考图像列表0中条目的数量，并在所述参考图像列表0中条目的数量大于1时，在P和B条带的所述条带头中用信号发送参考图像列表0的所述激活参考索引数；以及
确定参考图像列表1中条目的数量，并在所述参考图像列表1中条目的数量大于1时，在B条带的所述条带头中用信号发送参考图像列表1的所述激活参考索引数。
5.根据权利要求4所述的方法，还包括：
响应于所述第一标志指示所述条带头中不存在所述激活参考索引数，
跳过在P和B条带的所述条带头中用信号发送参考图像列表0的所述激活参考索引数；以及
跳过在B条带的所述条带头中用信号发送参考图像列表1的所述激活参考索引数。
6.一种用于进行视频数据处理的装置，所述装置包括：
存储器，用于存储指令；以及
一个或多个处理器，用于执行所述指令以使得所述装置执行：
接收包括条带头和图像头句法的视频比特流；
确定在所述条带头中用信号发送的第一标志的值，所述第一标志指示所述条带头中是否存在激活参考索引数，其中所述激活参考索引数用于导出能够用于对当前条带进行解码的相应参考图像列表的最大参考索引；
响应于所述第一标志指示存在所述激活参考索引数，
确定参考图像列表0中条目的数量，并在所述参考图像列表0中条目的数量大于1时，解码P和B条带的所述条带头中参考图像列表0的所述激活参考索引数；以及
确定参考图像列表1中条目的数量，并在所述参考图像列表1中条目的数量大于1时，解码B条带的所述条带头中参考图像列表1的所述激活参考索引数。
7.根据权利要求6所述的装置，其中所述处理器还用于执行所述指令以使得所述装置执行：
响应于所述第一标志指示不存在所述激活参考索引数，
跳过解码P和B条带的所述条带头中参考图像列表0的所述激活参考索引数；以及
跳过解码B条带的所述条带头中参考图像列表1的所述激活参考索引数。
8.一种非瞬时计算机可读介质，存储有指令集，所述指令集由装置的一个或多个处理器执行，使得所述装置开始执行用于进行视频数据处理的方法，所述方法包括：
确定由并置图像的参考索引在条带级别所引用的所述并置图像，其中对于当前图像的所有非I条带，所述并置图像被确定为相同图像；以及
基于所述并置图像对所述当前图像进行处理，其中所述并置图像用于时间运动矢量预测。
CN202180031988.6A 2020-05-21 2021-05-21 视频编码中处理参考图像的方法 Pending CN115485981A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063028509P 2020-05-21 2020-05-21
US63/028,509 2020-05-21
PCT/US2021/033765 WO2021237165A1 (en) 2020-05-21 2021-05-21 Method for reference picture processing in video coding

Publications (1)

Publication Number Publication Date
CN115485981A true CN115485981A (zh) 2022-12-16

Family

ID=78607550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031988.6A Pending CN115485981A (zh) 2020-05-21 2021-05-21 视频编码中处理参考图像的方法

Country Status (6)

Country Link
US (2) US11533472B2 (zh)
EP (1) EP4154414A4 (zh)
JP (1) JP2023526585A (zh)
KR (1) KR20230015363A (zh)
CN (1) CN115485981A (zh)
WO (1) WO2021237165A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230169440A (ko) 2018-08-17 2023-12-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 화상 관리
WO2021235759A1 (ko) * 2020-05-22 2021-11-25 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 다중 레이어 기반 영상 코딩 방법
EP4144093A4 (en) 2020-05-22 2023-08-23 ByteDance Inc. SIGNALING OF IMAGE INFORMATION IN ACCESS UNITS
US20230224483A1 (en) * 2020-06-09 2023-07-13 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
WO2023129744A1 (en) * 2021-12-30 2023-07-06 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
WO2024080916A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Inter-predicted reference picture lists

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959793A (zh) * 2011-10-10 2014-07-30 高通股份有限公司 参考图像集的有效率发信号
US20140341296A1 (en) * 2010-09-24 2014-11-20 Panasonic Intellectual Property Corporation Of America Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US20150195577A1 (en) * 2014-01-03 2015-07-09 Nokia Corp Parameter set coding
CN107615763A (zh) * 2015-05-28 2018-01-19 寰发股份有限公司 使用当前图像作为参考图像的方法及装置
WO2020037272A1 (en) * 2018-08-17 2020-02-20 Futurewei Technologies, Inc. Reference picture management in video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210314624A1 (en) * 2020-04-02 2021-10-07 Qualcomm Incorporated Signaling of syntax elements for video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140341296A1 (en) * 2010-09-24 2014-11-20 Panasonic Intellectual Property Corporation Of America Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CN103959793A (zh) * 2011-10-10 2014-07-30 高通股份有限公司 参考图像集的有效率发信号
US20150195577A1 (en) * 2014-01-03 2015-07-09 Nokia Corp Parameter set coding
CN107615763A (zh) * 2015-05-28 2018-01-19 寰发股份有限公司 使用当前图像作为参考图像的方法及装置
WO2020037272A1 (en) * 2018-08-17 2020-02-20 Futurewei Technologies, Inc. Reference picture management in video coding

Also Published As

Publication number Publication date
US11533472B2 (en) 2022-12-20
US20210368163A1 (en) 2021-11-25
JP2023526585A (ja) 2023-06-22
US20230156183A1 (en) 2023-05-18
WO2021237165A1 (en) 2021-11-25
KR20230015363A (ko) 2023-01-31
EP4154414A1 (en) 2023-03-29
EP4154414A4 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
US20230105972A1 (en) Method and system for processing video content
CN115485981A (zh) 视频编码中处理参考图像的方法
CN114208197A (zh) 用于视频编解码的块划分方法
JP2019519982A (ja) ビデオコーディングにおける適応ループフィルタ処理における複数のフィルタの混同
TW201803348A (zh) 用於在視頻寫碼中之並列參考指標的一致性約束
US11381842B2 (en) Methods for coding or decoding video parameter set or sequence parameter set
JP2016530848A (ja) 非対称動き分割を使用するビデオコーディング技法
JP2022548825A (ja) 映像処理における量子化パラメータのシグナリング
CN114830662B (zh) 用于对图像执行逐步解码刷新处理的方法和系统
US12010297B2 (en) Methods for constructing a merge candidate list
US20230171415A1 (en) Tile and slice partitioning in video processing
US20210092388A1 (en) Lossless coding of video data
WO2021195546A1 (en) Methods for signaling video coding data
JP2024522853A (ja) 複合インター及びイントラ予測を行うための方法及びシステム
CN114788284B (zh) 用于在调色板模式下对视频数据进行编码的方法和装置
WO2023131208A1 (en) Fusion of video prediction modes
CN118044184A (zh) 用于执行组合帧间预测和帧内预测的方法和系统
CN115516857A (zh) 用于处理视频内容的方法和装置
WO2024088357A1 (en) Methods and non-transitory computer readable storage medium for performing subblock-based interprediction
US20210385485A1 (en) Angular weighted prediction for inter prediction
CN117256149A (zh) 使用多模型线性模型的视频编解码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40082449

Country of ref document: HK