CN115868162A - 用信号通知画面输出定时信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 - Google Patents

用信号通知画面输出定时信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 Download PDF

Info

Publication number
CN115868162A
CN115868162A CN202180050260.8A CN202180050260A CN115868162A CN 115868162 A CN115868162 A CN 115868162A CN 202180050260 A CN202180050260 A CN 202180050260A CN 115868162 A CN115868162 A CN 115868162A
Authority
CN
China
Prior art keywords
flag
bitstream
hrd
value
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050260.8A
Other languages
English (en)
Inventor
亨得利·亨得利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115868162A publication Critical patent/CN115868162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了图像编码/解码方法和设备。根据本公开的由图像解码设备执行的图像解码方法包括以下步骤：获得指示网络抽象层(NAL)假想参考解码器(HRD)参数是否存在于比特流中的第一标志以及指示视频编码层(VCL)HRD参数是否存在于比特流中的第二标志；获得指示比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志；基于第一标志、第二标志和第三标志中的至少一者推导比特流中的画面的输出时间；以及基于所推导的输出时间对比特流中的画面进行处理，其中，基于第一标志具有指示NAL HRD参数不存在于比特流中的第二值并且第二标志具有指示VCL HRD参数不存在于比特流中的第二值，第三标志可以被限制为具有指示比特流中的连续画面的输出时间之间的时间距离具有固定值的第一值。

Description

用信号通知画面输出定时信息的图像编码/解码方法和设备 及存储比特流的计算机可读记录介质
技术领域
本公开涉及图像编码/解码方法和设备，并且更具体地，涉及用于执行画面输出定时信息的改进的信令的图像编码/解码方法和设备以及发送通过本公开的图像编码方法/设备生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像(诸如高清(HD)图像和超高清(UHD)图像)的需求正在增加。随着图像数据的分辨率和质量的改进，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地发送、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一目的是提供用于执行画面输出定时信息的改进的信令的图像编码/解码方法和设备。
本公开的另一目的是提供发送通过根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一目的是提供存储通过根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一目的是提供一种记录介质，其存储通过根据本公开的图像解码设备接收、解码并用于重构图像的比特流。例如，用于使根据本公开的图像解码设备能够执行根据本公开的图像解码方法的比特流可以存储在记录介质中。
通过本公开解决的技术问题不限于上述技术问题，并且根据下面的描述，本文未描述的其它技术问题对于本领域技术人员将变得显而易见。
技术方案
根据本公开的一方面的由图像解码设备执行的图像解码方法可以包括以下步骤：获得指定网络抽象层(NAL)假想参考解码器(HRD)参数是否存在于比特流中的第一标志以及指定视频编码层(VCL)HRD参数是否存在于所述比特流中的第二标志；获得指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志；基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导所述比特流中的所述画面的输出时间；以及基于所推导的输出时间对所述比特流中的所述画面进行处理。基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，可以约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
在本公开的图像解码方法中，所述第三标志可以是针对所述比特流中的时间子层中的每个时间子层获得的，并且基于所述第一标志具有第二值并且所述第二标志具有第二值，可以约束针对所述比特流中的所述时间子层中的至少一个时间子层的所述第三标志具有第一值。
在本公开的图像解码方法中，所述第三标志可以是通过所述比特流中的时间子层的最大数目获得的，并且基于所述第一标志具有第二值并且所述第二标志具有第二值，所获得的第三标志中的至少一个第三标志具有第一值。
在本公开的图像解码方法中，所述第一标志和所述第二标志可以是从所述比特流中的通用HRD参数语法结构获得的，并且所述第三标志是从针对输出层集合的HRD参数语法结构获得的。
在本公开的图像解码方法中，时间子层的最大数目可以是基于供获得针对所述输出层集合的HRD参数语法结构的参数集不同地确定的。
根据本公开的另一方面的图像解码设备可以包括存储器以及至少一个处理器。所述至少一个处理器可以执行以下操作：获得指定网络抽象层(NAL)假想参考解码器(HRD)参数是否存在于比特流中的第一标志以及指定视频编码层(VCL)HRD参数是否存在于所述比特流中的第二标志，获得指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志，基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导所述比特流中的所述画面的输出时间；以及基于所推导的输出时间对所述比特流中的所述画面进行处理。基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，可以约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
根据本公开的另一方面的由图像编码设备执行的图像编码方法可以包括以下步骤：确定指定网络抽象层(NAL)假想参考解码器(HRD)参数是否存在于比特流中的第一标志以及指定视频编码层(VCL)HRD参数是否存在于所述比特流中的第二标志，确定指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志；基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导所述比特流中的画面的输出时间；以及基于所推导的输出时间对所述比特流中的所述画面进行处理。基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，可以约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
在本公开的图像编码方法中，所述第三标志可以是针对所述比特流中的时间子层中的每个时间子层确定的，并且基于所述第一标志具有第二值并且所述第二标志具有第二值，可以约束针对所述比特流中的所述时间子层中的至少一个时间子层的所述第三标志具有第一值。
在本公开的图像编码方法中，所述第三标志可以是通过所述比特流中的时间子层的最大数目确定的，并且基于所述第一标志具有第二值并且所述第二标志具有第二值，所确定的第三标志中的至少一个第三标志可以具有第一值。
在本公开的图像编码方法中，所述第一标志和所述第二标志可以被编码在所述比特流中的通用HRD参数语法结构中，并且所述第三标志可以被编码在针对输出层集合的HRD参数语法结构中。
在本公开的图像编码方法中，时间子层的最大数目可以是基于针对所述输出层集合的HRD参数语法结构被编码到的参数集不同地确定的。
此外，根据本公开的另一方面的发送方法可以发送通过根据本公开的图像编码设备或方法生成的比特流。
此外，根据本公开的另一方面的计算机可读记录介质可以存储通过根据本公开的图像编码方法或设备生成的比特流。
此外，根据本公开的另一方面的计算机可读记录介质可以存储用于使解码设备能够执行根据本公开的图像解码方法的比特流。
根据本公开的另一方面的非暂时性计算机可读记录介质可以存储通过图像解码方法生成并且用于重构图像的比特流。所述比特流可以包括指定网络抽象层(NAL)假想参考解码器(HRD)参数是否存在于比特流中的第一标志、指定视频编码层(VCL)HRD参数是否存在于所述比特流中的第二标志以及指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志，所述第一标志、所述第二标志或所述第三标志中的至少一者可以用于推导所述比特流中的画面的输出时间，并且所推导的输出时间可以用于对所述比特流中的所述画面进行处理，并且基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，可以约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
上面关于本公开简要概述的特征仅仅是本公开的下面的详细描述的示例性方面，并且不限制本公开的范围。
有益效果
根据本公开，可以提供具有改进的编码/解码效率的图像编码/解码方法和设备。
根据本公开，可以提供用于执行画面输出定时信息的改进的信令的图像编码/解码方法和设备。
此外，根据本公开，可以提供发送通过根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，可以提供存储通过根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，可以提供存储通过根据本公开的图像解码设备接收、解码并用于重构图像的比特流的记录介质。
本领域技术人员将理解，通过本公开可以实现的效果不限于上文具体描述的效果，并且从具体实施方式将更清楚地理解本公开的其它优点。
附图说明
图1是示意性地示出本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
图4和图5是示出本公开的实施方式适用于的画面解码和编码过程的示例的视图。
图6是示出本公开的实施方式适用于的用于编码的图像的层结构的视图。
图7是示例性地例示在VPS中用信号通知的HRD结构的视图。
图8是示例性地例示在SPS中用信号通知的HRD结构的视图。
图9是示例性地例示general_hrd_parameters()语法结构的视图。
图10是示例性地例示ols_hrd_parameters()语法结构的视图。
图11是示例性地例示sublayer_hrd_parameters()语法结构的视图。
图12是示例性地例示根据本公开的实施方式的general_hrd_parameters()语法结构的视图。
图13是示例性地例示根据图12的实施方式的VPS和SPS的语法结构的修改的视图。
图14是示例性地例示根据本公开的另一实施方式的general_hrd_parameters()语法结构的视图。
图15是示例性地例示根据图14的实施方式的VPS和SPS的语法结构的修改的视图。
图16是示例性地例示根据本公开的另一实施方式的ols_hrd_parameters()语法结构的视图。
图17是例示在图16的实施方式中推导DpbOutputElementalInterval[n]的过程的视图。
图18是例示根据本公开的图像编码方法的视图。
图19是例示根据本公开的图像解码方法的视图。
图20是示出本公开的实施方式适用于的内容流系统的视图。
具体实施方式
以下，将参考附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于本文描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一组件时，它不仅可以包括直接连接关系，还可以包括存在中间组件的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等可以仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。也就是说，多个组件可以集成和实施在一个硬件或软件单元中，或者一个组件可以在多个硬件或软件单元中分布和实施。因此，即使没有另外说明，组件是集成的或组件是分布式的这些实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。另外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
本公开中公开的方法/实施方式适用于在通用视频编码(VVC)标准中公开的方法。另外，本公开中公开的方法/实施方式适用于在基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268)中公开的方法。
在本公开中，提供了视频/图像编码的各种实施方式，并且可以组合地执行本公开的未描述的实施方式。
在本公开中，“视频”可以意指随时间推移的一组图像。“画面”通常是指表示特定时间的一个图像的单元，并且切片/拼块(tile)是在编码中构成画面的一部分的编码单元。切片/拼块可以包括一个或更多个编码树单元(CTU)。CTU可以被分割成一个或更多个CU。
一个画面可以由一个或更多个切片/拼块组成。拼块是画面中的特定拼块行和特定拼块列内的矩形区域，并且可以由多个CTU组成。拼块列可以被定义为CTU的矩形区域，并且可以具有与画面的高度相等的高度以及由从诸如画面参数集的比特流部分用信号通知的语法元素指定的宽度。拼块行可以被定义为CTU的矩形区域，并且可以具有与画面的宽度相等的宽度以及由从诸如画面参数集的比特流部分用信号通知的语法元素指定的高度。
拼块扫描是分割画面的CTU的特定顺序排序。这里，CTU在拼块中以CTU光栅扫描连续排序，而画面中的拼块以画面的拼块的光栅扫描连续排序。切片包括画面的拼块内的整数数目的连续完整CTU行或整数数目的完整拼块。切片可以专有地包括在单个NAL单元中。
一个画面可以分割成两个或更多个子画面。子画面可以为画面中的一个或更多个切片的矩形区域。
一个画面可以包括一个或更多个拼块组。一个拼块组可以包括一个或更多个拼块。图块(birck)可以表示画面中的拼块内的CTU行的矩形区域。一个拼块可以包括一个或更多个图块。图块可以表示拼块中的CTU行的矩形区域。一个拼块可以分割成多个图块，并且每个图块可以包括属于拼块的一个或更多个CTU行。未分割成多个图块的拼块也可以被视为图块。
“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。另外，“样本”可以用作对应于像素的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。单元可以包括画面的特定区域和与该区域相关的信息中的至少一者。一个单元可以包括一个亮度块和两个色度块(例如，Cb和Cr)。在一些情况下，单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确声明为色度块，否则“当前块”可以意指“当前块的亮度块”。“当前块的色度块”可以通过包括对诸如“色度块”或“当前色度块”的色度块的显式描述来表达。
在本公开中，斜线“/”或“、”应该解释为指示“和/或”。例如，表达“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释为指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，和/或3)“A和B”两者。换言之，在本公开中，术语“或”应被解释为指示“另外地或另选地”。
在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B两者”。另外，在本公开中，“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
另外，在本公开中，“A，B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A，B和C的任何组合”。另外，在本公开中，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以被解释为与“A、B和C中的至少一个”相同。
另外，本公开中使用的圆括号可以意指“例如”。具体地，当描述“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换言之，本公开的“预测”不限于“帧内预测”，并且“帧内预测”可以作为“预测”的示例而提出。另外，即使当描述“预测(即，帧内预测)”时，也可以提出“帧内预测”作为“预测”的示例。
在本公开中，在一个附图中单独描述的技术特征可以单独地或同时地实现。
视频编码系统的概述
图1是示出根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括源装置10和接收装置20。源装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到接收装置20。
根据实施方式的源装置10可以包括视频源生成器11、编码装置12和发送器13。根据实施方式的接收装置20可以包括接收器21、解码装置22和渲染器23。编码装置12可以称为视频/图像编码装置，解码装置22可以称为视频/图像解码装置。发送器13可以被包括在编码装置12中。接收器21可以被包括在解码装置22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码装置12可以对输入视频/图像进行编码。为了压缩和编码效率，编码装置12可以执行一系列过程，诸如预测、变换和量化。编码装置12可以以比特流的形式输出编码的数据(编码的视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码的视频/图像信息或数据发送到接收装置20的接收器21。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行发送的元件。接收器21可以从存储介质或网络提取/接收比特流并将比特流发送到解码装置22。
解码装置22可以通过执行与编码装置12的操作相对应的一系列过程(诸如解量化、逆变换和预测)来对视频/图像进行解码。
渲染器23可以对解码的视频/图像进行渲染。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，对图像编码设备100进行配置的多个组件中的全部或至少一些组件可以由一个硬件组件(例如，编码器或处理器)来配置。另外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质来配置。
图像分割器110可以将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割成更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，稍后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测器180可以基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测器可以基于以下描述的各种预测方法和预测技术生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测两者，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。另外，预测器可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测器生成的预测信号可以用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被发送到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。另外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们发送到熵编码器190。熵编码器190可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如，诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元来发送或存储。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、发送的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络发送或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可以用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，诸如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息发送到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波有关的信息可以由熵编码器190编码并以比特流的形式输出。
发送到存储器170的修改的重构画面可以用作帧间预测器180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100与图像解码设备之间的预测失配并且可以改进编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测器180中的参考画面。存储器170可以存储供推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被发送到帧间预测器180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，对图像解码设备200进行配置的多个组件中的全部或至少一些组件可以由硬件组件(例如，解码器或处理器)来配置。另外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质来配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素相对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息当中的与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，并且在熵解码器210中对其执行熵解码的残差值(也就是说，量化变换系数和相关的参数信息)可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中的关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260或帧内预测器265中的至少一者。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换，以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器210输出的关于预测的信息确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测器中描述的相同的是，预测器可以基于稍后将描述的各种预测方法(技术)生成预测信号。
帧内预测器265可以通过参考当前画面中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测器260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或帧内预测器265)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，诸如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面进行帧间预测。
滤波器240可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储在存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测器260中的参考画面。存储器250可以存储供推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被发送到帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测器260和帧内预测器265。
通用图像/视频编码过程
在图像/视频编码中，构成图像/视频的画面可以根据解码顺序被编码/解码。与解码画面的输出顺序相对应的画面顺序可以被设置为与解码顺序不同，并且基于此，在帧间预测期间，不仅可以执行前向预测而且可以执行后向预测。
图4示出本公开的实施方式适用于的示意性画面解码过程的示例。在图4中，S410可以在解码设备的熵解码器210中执行，S420可以在包括帧内预测器265和帧间预测器260的预测器中执行，S430可以在包括解量化器220和逆变换器230的残差处理器中执行，S440可以在加法器235中执行，并且S450可以在滤波器240中执行。S410可以包括本公开中描述的信息解码过程，S420可以包括本公开中描述的帧间/帧内预测过程，S430可以包括本公开中描述的残差处理过程，S440可以包括本公开中描述的块/画面重构过程，并且S450可以包括本公开中描述的环路内滤波过程。
参考图4，画面解码过程可以示意性地包括从比特流(通过解码)获得图像/视频信息的过程(S410)、画面重构过程(S420至S440)以及针对重构画面的环路内滤波过程(S450)。可以基于通过本公开中描述的帧间/帧内预测(S420)以及残差处理(S430)(量化变换系数的解量化和逆变换)获得的预测样本和残差样本执行画面重构过程。对于通过画面重构过程生成的重构画面，可以通过环路内滤波过程生成修改的重构画面，修改的重构画面可以作为解码画面输出、存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后解码画面时用作帧间预测过程中的参考画面。在一些情况下，可以省略环路内滤波过程。在这种情况下，重构画面可以作为解码画面输出、存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后解码画面时用作帧间预测过程中的参考画面。环路内滤波过程(S450)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程，如上所述，可以省略其中的一些或全部。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程中的一个或一些可以顺序地应用，或者它们全部都可以顺序地应用。例如，在将去块滤波过程应用于重构画面之后，可以执行SAO过程。另选地，例如，在将去块滤波过程应用于重构画面之后，可以执行ALF过程。即使在编码设备中，这也可以类似地执行。
图5示出本公开的实施方式适用于的示意性画面编码过程的示例。在图5中，S510可以在以上参考图2描述的编码设备的包括帧内预测器185或帧间预测器180的预测器中执行，S520可以在包括变换器120和/或量化器130的残差处理器中执行，并且S530可以在熵编码器190中执行。S510可以包括本公开中描述的帧间/帧内预测过程，S520可以包括本公开中描述的残差处理过程，并且S530可以包括本公开中描述的信息编码过程。
参考图5，画面编码过程不仅可以示意性地包括用于对用于画面重构的信息(例如，预测信息、残差信息、分割信息等)进行编码并以比特流的形式输出该信息的过程，而且可以包括用于生成当前画面的重构画面的过程以及用于对重构画面应用环路内滤波的(可选的)过程，如关于图2所描述的。编码设备可以通过解量化器140和逆变换器150从量化变换系数推导(修改的)残差样本，并且基于作为S510的输出的预测样本和(修改的)残差样本生成重构画面。以这种方式生成的重构画面可以等于在解码设备中生成的重构画面。修改的重构画面可以通过针对重构画面的环路内滤波过程生成，可以存储在解码画面缓冲器或存储器170中，并且在稍后编码画面时可以用作帧间预测过程中的参考画面，这与解码设备中的情况类似。如上所述，在一些情况下，可以省略一些或全部的环路内滤波过程。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器190中编码并以比特流的形式输出，并且解码设备可以使用与编码设备相同的方法基于滤波相关信息执行环路内滤波过程。
通过这种环路内滤波过程，可以减少在图像/视频编码期间产生的噪声(诸如，块状伪影和振铃伪影)，并且可以改进主观/客观的视觉质量。另外，通过在编码设备和解码设备二者中执行环路内滤波过程，编码设备和解码设备可以推导相同的预测结果，可以增加画面编码的可靠性，并且可以减少传输用于画面编码的数据量。
如上所述，不仅可以在解码设备中还可以在编码设备中执行画面重构过程。可以基于以块为单位的帧内预测/帧间预测生成重构块，并且可以生成包括重构块的重构画面。在当前画面/切片/拼块组是I画面/切片/拼块组时，可以仅基于帧内预测重构包括在当前画面/切片/拼块组中的块。此外，在当前画面/切片/拼块组是P或B画面/切片/拼块组时，可以基于帧内预测或帧间预测重构包括在当前画面/切片/拼块组中的块。在这种情况下，可以将帧间预测应用于当前画面/切片/拼块组中的一些块，并且可以将帧内预测应用于剩余块。画面的颜色分量可以包括亮度分量和色度分量，除非本公开明确限定，否则本公开的方法和实施方式可以应用于亮度分量和色度分量。
编码层和结构的示例
可以例如根据下面将描述的编码层和结构来处理根据本公开的编码的视频/图像。
图6是示出编码的图像的层结构的视图。编码的图像可以分类为用于图像解码过程及其本身的处理的视频编码层(VCL)、用于发送和存储编码的信息的较低系统以及存在于VCL与较低系统之间并且负责网络自适应功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据，或者可以生成包括诸如画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的信息的参数集或图像的解码过程另外需要的补充增强信息(SEI)消息。
在NAL中，可以将头信息(NAL单元头)添加到在VCL中生成的原始字节序列有效载荷(RBSP)，以生成NAL单元。在这种情况下，RBSP指的是在VCL中生成的切片数据、参数集和SEI消息。NAL单元头可以包括根据包括在对应NAL单元中的RBSP数据指定的NAL单元类型信息。
如图所示，NAL单元可以根据在VCL中生成的RBSP分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以指包括关于图像的信息(切片数据)的NAL单元，并且非VCL NAL单元可以指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以附有头信息，并且根据较低系统的数据标准通过网络发送。例如，可以将NAL单元修改为诸如H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流)的预定标准的数据格式，并且通过各种网络发送。
如上所述，在NAL单元中，可以根据包括在对应NAL单元中的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以存储在NAL单元头中并用信号通知。
例如，根据NAL单元是否包括关于图像的信息(切片数据)，这可以主要分类为VCLNAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据包括在VCL NAL单元中的画面的特性和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
下面将列出根据包括在非VCL NAL单元类型中的参数集/信息的类型指定的NAL单元类型的示例。
-DCI(解码能力信息)NAL单元：包括DCI的NAL单元的类型
-VPS(视频参数集)NAL单元：包括VPS的NAL单元的类型
-SPS(序列参数集)NAL单元：包括SPS的NAL单元的类型
-PPS(画面参数集)NAL单元：包括PPS的NAL单元的类型
-APS(自适应参数集)NAL单元：包括APS的NAL单元的类型
-PH(画面头)NAL单元：包括PH的NAL单元的类型
上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且语法信息可以存储在NAL单元头中并被用信号通知。例如，语法信息可以是nal_unit_type，并且NAL单元类型可以指定为nal_unit_type值。
此外，如上所述，一个画面可以包括多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，可以进一步将一个画面头添加到一个画面中的多个切片(切片头和切片数据集)。画面头(画面头语法)可以包括通常可应用于画面的信息/参数。
切片头(切片头语法)可以包括通常适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括通常适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括通常适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括通常适用于多个层的信息/参数。DCI(DCI语法)可以包括通常适用于整个视频的信息/参数。DCI可以包括与解码能力有关的信息/参数。在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、画面头语法或切片头语法中的至少一者。此外，在本公开中，低级语法(LLS)可以例如包括切片数据语法、CTU语法、编码单元语法、变换单元语法等。
在本公开中，在编码设备中编码并以比特流的形式用信号通知给解码设备的图像/视频信息不仅可以包括画面内分割相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息，而且可以包括关于切片头的信息、关于画面头的信息、关于APS的信息、关于PPS的信息、关于SPS的信息、关于VPS的信息和/或关于DCI的信息。另外，图像/视频信息还可以包括通用约束信息和/或关于NAL单元头的信息。
假想参考解码器(HDR)信令
在本公开中，HRD是指假想参考解码器。HRD可以是假想解码器模型，其指定对符合NAL单元流或符合图像编码过程可能产生的字节流的可变性的约束。在本公开中，CVS可以指编码的视频序列。
可以在VPS(视频参数集)或SPS(序列参数集)中用信号通知HRD结构。
图7是示例性地例示在VPS中用信号通知的HRD结构的视图。
如图7所示，VPS可以包括与HRD参数相关的各种信息。
在图7中，vps_general_hrd_params_present_flag的第一值(例如，1)指定VPS包含general_hrd_parameters()语法结构和其它HRD参数。vps_general_hrd_params_present_flag的第二值(例如，0)指定VPS不包含general_hrd_parameters()语法结构或其它HRD参数。
当vps_general_hrd_params_present_flag等于第一值(例如，1)时，可以在VPS中用信号通知general_hrd_parameters()语法结构。general_hrd_parameters()语法结构可以是用于用信号通知通用HRD参数的语法结构。
当vps_max_sublayers_minus1大于0时，可以用信号通知vps_sublayer_cpb_params_present_flag。vps_max_sublayers_minus1加1指定可以存在于由VPS指定的层中的时间子层的最大数目。vps_max_sublayers_minus1的值应在0至6的范围(包括0和6)内。
vps_sublayer_cpb_params_present_flag的第一值(例如，1)指定VPS中的第iols_hrd_parameters()语法结构包含针对子层表示的HRD参数。在这种情况下，子层可以是TemporalId在0至vps_hrd_max_tid[i]的范围(包括0和vps_hrd_max_tid[i])内的子层。vps_sublayer_cpb_params_present_flag的第二值(例如，0)指定VPS中的第i ols_hrd_parameters()语法结构仅包含TemporalId等于vps_hrd_max_tid[i]的子层表示的HRD参数。当vps_max_sublayers_minus1等于0时，vps_sublayer_cpb_params_present_flag的值推断为等于0。
当vps_sublayer_cpb_params_present_flag等于第二值(例如，0)时，推断TemporalId在0至vps_hrd_max_tid[i]-1的范围(包括0和vps_hrd_max_tid[i]-1)内的子层表示的HRD参数与TemporalId等于vps_hrd_max_tid[i]的子层表示的HRD参数相同。在这种情况下，HRD参数可以包括到sublayer_hrd_parameters(i)语法结构的ols_hrd_parameters()语法结构中的fixed_pic_rate_general_flag[i]。
vps_num_ols_hrd_params_minus1加1指定当vps_general_hrd_params_present_flag等于第一值(例如，1)时存在于VPS中的ols_hrd_parameters()语法结构的数目。vps_num_ols_hrd_params_minus1的值应在0至NumMultiLayerOlss-1的范围(包括0和NumMultiLayerOlss-1)内。在这种情况下，NumMultiLayerOlss可以指定多层OLS的数目，并且多层OLS可以意指包含超过一个层的输出层集合。
vps_hrd_max_tid[i]指定HRD参数被包含在第i ols_hrd_parameters()语法结构中的最高子层表示的TemporalId。vps_hrd_max_tid[i]的值应在0至vps_max_sublayers_minus1的范围(包括0和vps_max_sublayers_minus1)内。当不存在时，vps_hrd_max_tid[i]的值被推断为等于vps_max_sublayers_minus1。
vps_ols_hrd_idx[i]指定到VPS中的ols_hrd_parameters()语法结构的列表的索引。vps_ols_hrd_idx[i]可以指定适用于第i多层OLS的ols_hrd_parameters()语法结构。vps_ols_hrd_idx[i]的值应在0至vps_num_ols_hrd_params_minus1的范围(包括0和vps_num_ols_hrd_params_minus1)内。
当不存在vps_ols_hrd_idx[i]时，如下推断该vps_ols_hrd_idx[i]：
-如果vps_num_ols_hrd_params_minus1等于0，则vps_ols_hrd_idx[[i]的值被推断为等于0。
-否则(vps_num_ols_hrd_params_minus1+1大于1并且等于NumMultiLayerOlss)，vps_ols_hrd_idx[i]的值被推断为等于i。
针对单层OLS，适用的ols_hrd_parameters()语法结构存在于由OLS中的层参考的SPS中。
VPS中的每个ols_hrd_parameters()语法结构应由针对在1至NumMultiLayerOlss-1的范围(包括1和NumMultiLayerOlss-1)内的i的vps_ols_hrd_idx[i]的至少一个值参考。
图8是示例性地例示在SPS中用信号通知的HRD结构的视图。
在图8所示的示例中，等于第一值(例如，1)的sps_ptl_dpb_hrd_params_present_flag可以指定profile_tier_level()语法结构和dpb_parameters()语法结构存在于SPS中。profile_tier_level()可以是用于发送简档层次等级的参数的语法结构，并且dpb_parameters()可以是用于发送DPB(解码的画面缓冲器)参数的语法结构。另外，等于第一值(例如，1)的sps_ptl_dpb_hrd_params_present_flag可以指定general_hrd_parameters()语法结构和ols_hrd_parameters()语法结构可以存在于SPS中。等于第二值(例如，0)的sps_ptl_dpb_hrd_params_present_flag可以指定SPS中不存在四个语法结构。
当sps_ptl_dpb_hrd_params_present_flag等于1时，可以用信号通知sps_general_hrd_params_present_flag。
等于第一值(例如，1)的sps_general_hrd_params_present_flag可以指定SPS包含general_hrd_parameters()语法结构和ols_hrd_parameters()语法结构。等于第二值(例如，0)的sps_general_hrd_params_present_flag可以指定SPS不包含general_hrd_parameters()语法结构或ols_hrd_parameters()语法结构。
如图8所示，当sps_max_sublayers_minus1大于0时，可以用信号通知sps_sublayer_cpb_params_present_flag。在这种情况下，sps_max_sublayers_minus1加1可以指定可以存在于参考SPS的每个编码的层视频序列(CLVS)中的时间子层的最大数目。sps_sublayer_cpb_params_present_flag等于第一值(例如，1)可以指定SPS中的ols_hrd_parameters()语法结构包含时间层标识符TemporalId等于0至sps_max_sublayers_minus1的子层的HRD参数。sps_sublayer_cpb_params_present_flag等于第二值(例如，0)可以指定SPS中的ols_hrd_parameters()语法结构包含时间层标识符TemporalId仅是sps_max_sublayers_minus1的子层的HRD参数。当sps_max_sublayers_minus1等于0时，sps_sublayer_cpb_params_present_flag的值可以推断为等于第二值(例如，0)。
当sps_sublayer_cpb_params_present_flag等于第二值(例如，0)时，可以推断时间层标识符TemporalId是0至sps_max_sublayers_minus1-1的子层的HRD参数等于时间层标识符TemporalId是sps_max_sublayers_minus1的子层的HRD参数。
图9是示例性地例示general_hrd_parameters()语法结构的视图。
图9的general_hrd_parameters()语法结构提供用于HRD操作中的序列等级HRD参数中的一些。
比特流一致性的要求是存在于比特流中的任何VPS或SPS中的general_hrd_parameters()语法结构的内容应相同。
当被包括在VPS中时，general_hrd_parameters()语法结构应用于由VPS指定的所有输出层集合(OLS)。当被包括在SPS中时，general_hrd_parameters()语法结构应用于仅包括作为参考SPS的层当中的最低层的层的OLS。在这种情况下，最低层可以是独立层。独立层可以意指在不参考其它层的情况下被编码/被解码的层。
在下文中，将关注图9所示的语法元素当中的与本公开相关的语法元素。本公开中没有描述的语法元素的含义和使用可以与现有技术中的相同。
在图9中，等于第一值(例如，1)的general_nal_hrd_params_present_flag指定在general_hrd_parameters()语法结构中存在NAL HRD参数(与类型II比特流一致性点有关)。等于第二值(例如，0)的general_nal_hrd_params_present_flag指定在general_hrd_parameters()语法结构中不存在NAL HRD参数。在以上情况下，类型II比特流可以意指如下比特流，该比特流包括根据附加非VCL NAL单元和/或NAL单元流以及针对比特流中的所有存取单元(AU)的VCL NAL单元、PH NAL单元以及填充数据NAL单元构造字节流的语法元素(leading_zero_8bits、zero_byte等)。
等于第一值(例如，1)的general_vcl_hrd_params_present_flag指定在general_hrd_parameters()语法结构中存在VCL HRD参数(与类型I比特流一致性点有关)。等于第二值(例如，0)的general_vcl_hrd_params_present_flag指定general_hrd_parameters()语法结构中不存在VCL HRD参数。在以上情况下，类型I比特流可以意指如下比特流，该比特流包括针对比特流中的所有存取单元(AU)的滤波器数据NAL单元、VCL NAL单元以及PHNAL单元。
比特流一致性的要求是将被包括在每个general_hrd_parameters()语法结构中的general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag两者约束为不具有第二值(例如，0)。
图10是示例性地例示ols_hrd_parameters()语法结构的视图。
当ols_hrd_parameters()语法结构被包括在VPS中时，由VPS指定要应用ols_hrd_parameters()语法结构的OLS。当ols_hrd_parameters()语法结构被包括在SPS中时，ols_hrd_parameters()语法结构可以应用于仅包括作为参考SPS的层当中的最低层的层的OLS。在这种情况下，最低层可以是独立层。
在下文中，将关注图10所示的语法元素当中的与本公开相关的语法元素。本公开中没有描述的语法元素的含义和使用可以与现有技术中的相同。
在图10中，等于第一值(例如，1)的fixed_pic_rate_general_flag[i]指示当Htid等于i时，按输出顺序的连续画面的HRD输出时间之间的时间距离如下文所指定而受约束。等于第二值(例如，0)的fixed_pic_rate_general_flag[i]指示可以不应用该约束。当fixed_pic_rate_general_flag[i]不存在时，推断其等于0。fixed_pic_rate_general_flag可以是指定是否通常使用固定画面速率的信息。
在本公开中，Htid可以是标识待在比特流中解码的时间子层当中的最高时间子层的标识符。
等于第一值(例如，1)的fixed_pic_rate_within_cvs_flag[i]指示当Htid等于i时，按输出顺序的连续画面的HRD输出时间之间的时间距离如下文所指定而受约束。等于第二值(例如，0)的fixed_pic_rate_within_cvs_flag[i]指示可以不应用该约束。fixed_pic_rate_within_cvs_flag可以是指定是否在CVS中使用固定画面速率的信息。
当fixed_pic_rate_general_flag[i]等于第一值(例如，1)时，推断fixed_pic_rate_within_cvs_flag[i]的值等于1。
element_duration_in_tc_minus1[i]加1(当存在时)指定当Htid等于i时指定按输出顺序的连续画面的HRD输出时间的元素单元之间的按时钟节拍(clock ticks)的时间距离。element_duration_in_tc_minus1[i]的值应在0至2047的范围(包括0和2047)内。
当Htid等于i并且fixed_pic_rate_general_flag[i]等于包含画面n的CVS的第一值(例如，1)并且画面n是作为输出的画面并且不是作为输出的比特流中的(按输出顺序的)最后一个画面时，可以如下式1所示指定变量DpbOutputElementalInterval[n]的值。在本公开中，DpbOutputElementalInterval[n]可以意指画面n的刷新间隔。
(式1)DpbOutputElementalInterval[n]＝DpbOutputInterval[n]/elementalOutputPeriods
在上面的式1中，DpbOutputInterval[n]是根据常规规则的值，并且elementalOutputPeriods如下指定：
-如果针对画面n存在PT SEI消息，则将elementalOutputPeriods指定为等于pt_display_elemental_periods_minus1+1的值。PT SEI消息可以意指与画面定时相关的SEI消息。pt_display_elemental_periods_minus1+1可以指定在预定条件下由当前存取单元(AU)的解码的画面占用的画面周期间隔的数目。
-否则，将elementalOutputPeriods指定为等于1。
当Htid等于i并且fixed_pic_rate_general_flag[i]针对包含画面n的CVS等于第一值(例如，1)并且画面n是作为输出的画面并且不是作为输出的比特流中的(按输出顺序的)最后一个画面时，针对DpbOutputElementalInterval[n]计算的值将等于ClockTick*(elemental_duration_in_tc_minus1[i]+1)。
当Htid等于i并且fixed_pic_rate_within_cvs_flag[i]针对包含画面n的CVS等于第一值(例如，1)并且画面n是作为输出的画面并且不是作为输出的CVS中的(按输出顺序的)最后一个画面时，针对DpbOutputElementalInterval[n]计算的值将等于ClockTick*(elemental_duration_in_tc_minus1[i]+1)。
当Htid等于i时，low_delay_hrd_flag[i]指定HRD工作模式。当不存在时，low_delay_hrd_flag[i]的值被推断为等于0。
图11是示例性地例示sublayer_hrd_parameters()语法结构的视图。
当sublayer_hrd_parameters()语法结构被包括在VPS中的第i ols_hrd_parameters()语法结构中时，将maxSublayersMinus1的值设定为等于vps_hrd_max_tid[i]。当sublayer_hrd_parameters()语法结构被包括在SPS中的ols_hrd_parameters()语法结构中时，maxSublayersMinus1的值设定为等于sps_max_sublayers_minus1。
在下文中，将关注图11所示的语法元素当中的与本公开相关的语法元素。本公开中没有描述的语法元素的含义和使用可以与现有技术中的相同。
在图11中，当CPB在AU等级工作时，bit_rate_value_minus1[i][j](连同bit_rate_scale)指定Htid等于i的第j CPB的最大输入比特率。bit_rate_value_minus1[i][j]应在0至232-2的范围(包括0和232-2)内。针对大于0的任何j和i的任何特定值，bit_rate_value_minus1[i][j]应大于bit_rate_value_minus1[i][j-1]。
当CPB在AU等级工作时，cpb_size_value_minus1[i][j]与cpb_size_scale一起用于指定Htid等于i的第j CPB大小。cpb_size_value_minus1[i][j]应在0至232-2的范围(包括0和232-2)内。针对大于0的任何j和i的任何特定值，cpb_size_value_minus1[i][j]应小于或等于cpb_size_value_minus1[i][j-1]。
当CPB在DU等级工作时，cpb_size_du_value_minus1[i][j]与cpb_size_du_scale一起用于指定Htid等于i的第i CPB大小。cpb_size_du_value_minus1[i][j]应在0至232-2的范围(包括0和232-2)内。针对大于0的任何j和i的任何特定值，cpb_size_du_value_minus1[i][j]应小于或等于cpb_size_du_value_minus1[i][j-1]。
当CPB在DU等级工作时，bit_rate_du_value_minus1[i][j](连同bit_rate_scale)指定Htid等于i的第j CPB的最大输入比特率。bit_rate_du_value_minus1[i][j]应在0至232-2的范围(包括0和232-2)内。针对大于0的任何j和i的任何特定值，bit_rate_du_value_minus1[i][j]应大于bit_rate_du_value_minus1[i][j-1]。
等于第二值(例如，0)的cbr_flag[i][j]指定为了使用第j CPB规范通过HRD解码对应比特流，假想流调度器(HSS)在间歇比特率模式下工作。等于第一值(例如，1)的cbr_flag[i][j]指定HSS在恒定比特率(CBR)模式下工作。
当cbr_flag[i][j]语法元素不存在时，推断如下：
-如果general_hrd_params_present_flag等于第一值(例如，1)，则cbr_flag[i][j]被推断为等于cbr_flag[maxSublayersMinus1][j]。
-否则(general_hrd_params_present_flag等于第二值(例如，0))，cbr_flag[i][j]的值被推断为等于第二值(例如，0)。
在下文中，将描述常规HRD参数信令的问题。
如上所述，根据针对常规比特流一致性的要求，每个general_hrd_parameters()语法结构中的general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值不应都等于第二值(例如，0)。然而，在一些用例中，具有用于解码器的简单信令机制以计算输出的定时而不必用信号通知复杂HRD参数是有用的。为此，有必要提供一种能够改进HRD参数的常规信令方法的机制。
根据本公开，可以应用以下项以改进HRD参数的常规信令方法。以下项可以单独地或组合地应用。
(第1项)general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值允许都等于第二值(例如，0)。
(第2项)当存在通用HRD参数结构时(即，vps_general_hrd_params_present_flag等于第一值(例如，1)或sps_general_hrd_params_present_flag等于第一值(例如，1))，并且general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag两者的值等于第二值(例如，0)，关于基于POC比例的定时的信息可以存在于通用HRD参数结构(即，poc_proportional_to_timing_flag和num_ticks_poc_diff_one_minus1)中。在第2项中，可以约束当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag两者的值等于第二值(例如，0)时，poc_proportional_to_timing_flag的值应等于第一值(例如，1)。
(第3项)另选地，当存在通用HRD参数结构时(即，vps_general_hrd_params_present_flag等于第一值(例如，1)或sps_general_hrd_params_present_flag等于第一值(例如，1))并且general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于0时，关于基于POC比例的定时的信息存在于通用HRD参数(即，num_ticks_poc_diff_one_minus1)中。
(第4项)当存在通用HRD参数结构时(即，vps_general_hrd_params_present_flag等于第一值(例如，1)或sps_general_hrd_params_present_flag等于第一值(例如，1))，并且general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于第二值(例如，0)，可以进一步指定：CVS(或CLVS)中并非比特流中的第一画面的第一画面可以与在CVS之前的最后一个输出画面的输出定时成比例。也就是说，其可以如同最后一个输出画面具有等于CVS中的第一画面的POC减去1一样工作。
(第5项)另选地，可以存在标志以指定是否应用第4项。标志可以称为initial_poc_proportional_to_timing_flag。当标志等于1时，应用第4项，否则，可以不应用第4项。
(第6项)当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，不存在用于OLS的进一步HRD信令。
(第7项)可以将num_ticks_poc_diff_one_minus1编码为u(v)，而非ue(v)。um_ticks_poc_diff_one_minus1的长度(即，用于用信号通知的比特的数目)由在其之前用信号通知的新语法元素指定。新语法元素可以称为num_ticks_poc_diff_one_len。num_ticks_poc_diff_one_len可以编码为ue(v)。
在上面，u(v)可以是使用v比特的无符号整数。在这种情况下，比特的数目v可以以取决于其它语法元素的值的方式而变化。另外，ue(v)可以是无符号整数0阶Exp-Golomb-coded语法元素，其中首先是左比特。
(第8项)在第2项的另一另选方案中，poc_proportional_to_timing_flag和num_ticks_poc_diff_one_minus1存在于通用HRD参数结构中，而不管general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值。在这种情况下，约束poc_proportional_to_timing_flag、general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值不应全部等于第二值(例如，0)。例如，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于0时，约束poc_proportional_to_timing_flag的值应等于1。
(第9项)在又一另选方案中，当poc_proportional_to_timing_flag的值应等于第一值(例如，1)时，general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值应都等于第二值(例如，0)。
(第10项)在又一另选方案中，当以下条件中的至少一个条件为真时，可以存在OLSHRD信令。
(条件1)至少general_nal_hrd_params_present_flag或general_vcl_hrd_params_present_flag等于第一值(例如，1)。
(条件2)poc_proportional_to_timing_flag、general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag全部等于第二值(例如，0)。
(第11项)当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时(即，仅存在最小HRD信令)，比特流以固定画面速率运行。上述第11项可以如下表示。
-当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，将存在等于第一值(例如，1)的fixed_pic_rate_within_cvs_flag[i]的至少一个值。在这种情况下，i可以在0至maxSublayersMinus1的范围内。
-另选地，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，将存在element_duration_in_tc_minus1[i]的至少一个值。
(第12项)当poc_proportional_to_timing_flag、general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag全部等于第二值(例如，0)时，约束fixed_pic_rate_general_flag[i]或fixed_pic_rate_within_cvs_flag[i]或两者应等于第一值(例如，1)。
在下文中，将描述根据本发明的各种实施方式。然而，本公开的技术范围不限于此，并且可以包括组合下面描述的各种实施方式的实施方式。
图12是示例性地例示根据本公开的实施方式的general_hrd_parameters()语法结构的视图。
图12可以示出图9的general_hrd_parameters()语法结构的修改。
在图9和图12中，将省略重复描述。
图12可以示出应用第1项、第2项和第4项至第6项中的至少一者的实施方式。
在图12的实施方式中，可以不应用general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag不应都等于第二值(例如，0)的约束。
如图12所示，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，可以用信号通知一些语法元素。当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以用信号通知poc_proportional_to_timing_flag。另外，可以基于poc_proportional_to_timing_flag的值另外用信号通知num_ticks_poc_diff_one_minus1。
等于第一值(例如，1)的poc_proportional_to_timing_flag指示CVS中按解码顺序不是CVS中的第一画面的每个画面的画面顺序计数值与相对于CVS中的第一画面的输出时间的画面的输出时间成比例。等于第二值(例如，0)的poc_proportional_to_timing_flag指示CVS中按解码顺序不是CVS中的第一画面的每个画面的画面顺序计数值可以与或可以不与相对于CVS中的第一画面的输出时间的画面的输出时间成比例。poc_proportional_to_timing_flag可以是指示画面的输出时间与画面的POC值是否成比例的信息。
针对CVS中的不是比特流中的第一画面的第一画面，其输出时间可以与CVS之前的最后一个输出画面的输出时间成比例。也就是说，其可以如同最后一个输出画面具有等于CVS中的第一画面的POC减去1一样工作。
当poc_proportional_to_timing_flag等于第一值(例如，1)时，可以用信号通知num_ticks_poc_diff_one_minus1。
num_ticks_poc_diff_one_minus1加1指定时钟节拍的数目。时钟节拍的数目可以对应于等于1的画面顺序计数值的差。num_ticks_poc_diff_one_minus1的值应在0至232-2的范围(包括0和232-2)内。
另外，根据图12的实施方式，可以改变VPS和/或SPS中的HRD参数的信令。
图13是示例性地例示根据图12的实施方式的VPS和SPS的语法结构的修改的视图。
如图13的上部语法结构所示，例如，可以改变参考图7描述的VPS的语法结构，使得当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时用信号通知VPS中的HRD参数。
类似地，如图13的下部语法结构所示，可以改变参考图8描述的SPS的语法结构，使得当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时用信号通知SPS中的HRD参数。
根据图12和/或图13的实施方式，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，在现有技术中可能存在复杂HRD参数的信令。另外，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以提供定时信息的简单信令机制。根据图12和/或图13的实施方式，可以提供适用于各种用例的定时信息的灵活信令结构。
作为图12的修改，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以不用信号通知poc_proportional_to_timing_flag并且可以用信号通知num_ticks_poc_diff_one_minus1。因此，可以减少定时信息的简单信令机制所必需的比特的数目，并且可以跳过解析poc_proportional_to_timing_flag并且确定其值的过程，从而实现快速编码/解码过程。
图14是示例性地例示根据本公开的另一实施方式的general_hrd_parameters()语法结构的视图。
图14可以示出图9的general_hrd_parameters()语法结构的修改。
在图9和图14中，将省略对重叠部分的描述。
图14可以示出应用上面的第8项的实施方式。
在图14的实施方式中，可以不应用general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag不应都等于第二值(例如，0)的约束。
如图14所示，可以用信号通知poc_proportional_to_timing_flag。另外，基于poc_proportional_to_timing_flag的值，可以另外用信号通知num_ticks_poc_diff_one_minus1。由于poc_proportional_to_timing_flag和num_ticks_poc_diff_one_minus1的含义的描述与参考图13所描述的相同，所以将省略重复描述。
此后，可以用信号通知general_nal_hrd_params_present_flag和/或general_vcl_hrd_params_present_flag，并且可以基于general_nal_hrd_params_present_flag的值和/或general_vcl_hrd_params_present_flag的值用信号通知后续HRD参数。
例如，如图14所示，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，可以用信号通知一些语法元素。也就是说，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以不用信号通知一些语法元素。
在图14的实施方式中，比特流一致性的约束是，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于0时，poc_proportional_to_timing_flag的值应等于1。
根据图14的实施方式，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，如在现有技术中，复杂HRD参数的信令是可能的。另外，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以提供定时信息的简单信令机制。根据图14的实施方式，可以提供适用于各种用例的定时信息的灵活信令结构。
根据图14的实施方式，可以改变VPS和/或SPS中的HRD参数的信令。
图15是示例性地例示根据图14的实施方式的VPS和SPS的语法结构的修改的视图。
例如，如图15的上部语法结构所示，可以改变参考图7描述的VPS的语法结构，使得当poc_proportional_to_timing_flag等于第二值(例如，0)时，用信号通知VPS中的HRD参数。
类似地，如图15的下部语法结构所示，可以改变参考图8描述的SPS的语法结构，使得当poc_proportional_to_timing_flag等于第二值(例如，0)时，用信号通知SPS中的HRD参数。
根据图14和/或图15的实施方式，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，如在现有技术中，复杂HRD参数的信令是可能的。另外，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以提供定时信息的简单信令机制。根据图14和/或图15的实施方式，可以提供适用于各种用例的定时信息的灵活信令结构。
图16是示例性地例示根据本公开的另一实施方式的ols_hrd_parameters()语法结构的视图。
图16可以示出图10的old_hrd_parameters()语法结构的修改。
在图10和图16中，将省略重复描述。
图16可以示出应用第11项或第12项中的至少一者的实施方式。
如图16所示，当general_nal_hrd_params_present_flag等于第一值(例如，1)或general_vcl_hrd_params_present_flag等于第一值(例如，1)时，可以用信号通知HRD参数中的至少一些HRD参数(例如，low_delay_hrd_flag)。因此，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，可以不用信号通知对应参数。
在图16的实施方式中，比特流一致性的约束是，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于第二值(例如，0)时，fixed_pic_rate_general_flag[i]或fixed_pic_rate_within_cvs_flag[i]的值将等于第一值(例如，1)。在这种情况下，i可以在从指定第一子层的变量firstSubLayer到指定最大子层的变量maxSublayers的范围(包括firstSubLayer和maxSublayers)内。
在图16的实施方式中，比特流一致性的要求是，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于第二值(例如，0)时，应存在等于第一值(例如，1)的fixed_pic_rate_within_cvs_flag[i]的至少一个值。在这种情况下，i可以在0至maxSublayersMinus1的范围内。
在图16的实施方式中，element_duration_in_tc_minus1[i]加1(当存在时)指定当Htid等于i时指定按输出顺序的连续画面的HRD输出时间的元素单元之间的按时钟节拍的时间距离。element_duration_in_tc_minus1[i]的值应在0至2047的范围(包括0和2047)内。
当Htid等于i并且fixed_pic_rate_general_flag[i]等于包含画面n的CVS的第一值(例如，1)并且画面n是作为输出的画面并且不是作为输出的比特流中的(按输出顺序的)最后一个画面时，可以如图17所示指定变量DpbOutputElementalInterval[n]的值。
图17是例示在图16的实施方式中推导DpbOutputElementalInterval[n]的过程的视图。
在图17中，ClockTick和DpbOutputInterval[n]可以被指定为等于根据常规规则的值。
当Htid等于i并且fixed_pic_rate_general_flag[i]等于包含画面n的CVS的第一值(例如，1)并且画面n是作为输出的画面并且不是作为输出的比特流中的(按输出顺序的)最后一个画面时，当以下条件中的一个条件对于按输出顺序的以下画面nextPicInOutputOrder为真时，针对DpbOutputElementalInterval[n]计算的值将等于ClockTick*(element_duration_in_tc_minus1[i]+1)。
(条件3)画面nextPicInOutputOrder在与画面n相同的CVS中。
(条件4)画面nextPicInOutputOrder在与画面n不同的CVS中并且fixed_pic_rate_general_flag[i]等于包含画面nextPicInOutputOrder的CVS中的第一值(例如，1)，ClockTick的值对于两个CVS是相同的，并且element_duration_in_tc_minus1[i]的值对于两个CVS是相同的。
如上所述，fixed_pic_rate_general_flag[i]或fixed_pic_rate_within_cvs_flag[i]可以指定当Htid等于i时是否应用按输出顺序的连续画面的HRD输出时间之间的时间距离的约束。根据以上约束，按输出顺序的连续画面的HRD输出时间之间的时间距离可以具有固定值。也就是说，可以以固定画面速率输出比特流(或CVS)中的画面。因此，fixed_pic_rate_general_flag[i]或fixed_pic_rate_within_cvs_flag[i]可以是指定比特流是否以固定画面速率运行的信息。另选地，fixed_pic_rate_general_flag[i]或fixed_pic_rate_within_cvs_flag[i]可以是指定按输出顺序的连续画面的输出时间之间的时间距离是否具有固定值的信息。
图18是例示根据本公开的图像编码方法的视图。
例如，图18的图像编码方法可以由图2的图像编码设备执行。另选地，图像编码设备可以包括存储器和至少一个处理器，并且所述至少一个处理器可以执行图18的图像编码方法的每个步骤。
图像编码设备可以确定指定HRD参数是否存在于比特流中的信息(S1810)。general_nal_hrd_params_present_flag和/或general_vcl_hrd_params_present_flag可以是在步骤S1810确定的信息。
图像编码设备可以基于比特流中是否存在NAL HRD参数(例如，general_hrd_parameters()语法结构)确定general_nal_hrd_params_present_flag的值。具体地，当NAL HRD参数存在于比特流中时，图像编码设备可以将general_nal_hrd_params_present_flag确定为第一值(例如，1)，否则将其确定为第二值(例如，0)。在本公开中，general_nal_hrd_params_present_flag可以称为“第一标志”。
类似地，图像编码设备可以基于VCL HRD参数是否存在于比特流中(例如，general_hrd_parameters()语法结构)确定general_vcl_hrd_params_present_flag的值。具体地，当VCL HRD参数存在于比特流中时，图像编码设备可以将general_vcl_hrd_params_present_flag确定为第一值(例如，1)，否则可以将其确定为第二值(例如，0)。在本公开中，general_vcal_hrd_params_present_flag可以称为“第二标志”。
图像编码设备可以确定指定比特流是否以固定画面速率运行的信息(S1820)。在步骤S1820确定的信息可以是指定比特流中的连续画面的输出时间之间的时间距离是否具有固定值的信息。上述fixed_pic_rate_within_cvs_flag可以是在步骤S1820确定的信息。
图像编码设备可以基于在Htid等于i时比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离是否具有固定值而确定fixed_pic_rate_within_cvs_flag[i]的值。具体地，当Htid等于i时，如果比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离具有固定值，则图像编码设备可以将fixed_pic_rate_within_cvs_flag[i]确定为第一值(例如，1)，否则可以将其确定为第二值(例如，0)。在本公开中，fixed_pic_rate_within_cvs_flag[i]可以称为“第三标志”。
然而，在步骤S1820确定的信息不限于fixed_pic_rate_within_cvs_flag[i]。例如，在步骤S1820确定的信息可以是fixed_pic_rate_general_flag[i]，或可以包括fixed_pic_rate_within_cvs_flag[i]和fixed_pic_rate_general_flag[i]两者。
根据本公开，比特流一致性的约束是，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于第二值(例如，0)时，fixed_pic_rate_within_cvs_flag[i]的值应等于第一值(例如，1)。在这种情况下，i可以在0至maxSublayersMinus1的范围(包括0和maxSublayersMinus1)内。
根据约束，当NAL HRD参数和VCL HRD参数都不存在于比特流中时，通过使比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离针对至少一个Htid具有固定值，可以保证最小画面定时(固定画面速率)的信令。
为了满足比特流一致性的约束，图像编码设备可以确定general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag是否都等于第二值(例如，0)。图像编码设备可以基于确定的结果确定fixed_pic_rate_within_cvs_flag[i]。也就是说，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，图像编码设备可以确定针对在0至maxSublayersMinus1的范围内的i至少一个fixed_pic_rate_within_cvs_flag[i]具有第一值(例如，1)。因此，步骤S1820可以包括确定general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag是否都等于第二值(例如，0)的步骤。
在步骤S1810确定的信息和在步骤S1820确定的信息可以被编码在比特流中并且被发送到图像解码设备。如下文所描述的，图像解码设备可以从比特流获得信息(general_nal_hrd_params_present_flag、general_vcl_hrd_params_present_flag、fixed_pic_rate_within_cvs_flag[i]和/或fixed_pic_rate_general_flag[i])。可以使用所述信息中的至少一者推导比特流中的画面的输出时间，并且可以基于所推导的输出时间处理(输出)比特流中的画面。
可以针对比特流中的时间子层中的每个时间子层用信号通知fixed_pic_rate_within_cvs_flag[i](和/或fixed_pic_rate_general_flag[i])。在这种情况下，i可以在指定第一子层的变量firstSubLayer至指定最大子层的变量maxSublayers的范围内。另选地，i可以在从0至maxSublayersMinus1的范围内。也就是说，针对每个i值，可以用信号通知fixed_pic_rate_within_cvs_flag[i]，并且当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，约束针对至少一个i，fixed_pic_rate_within_cvs_flag[i]等于第一值(例如，1)。
如上所述，general_nal_hrd_params_present_flag和/或general_vcl_hrd_params_present_flag可以被编码在通用HRD参数语法结构(例如，general_hrd_parameters()语法结构)中，并且fixed_pic_rate_within_cvs_flag[i](和/或fixed_pic_rate_general_flag[i])可以被编码在针对输出层集合的HRD参数语法结构(例如，ols_hrd_parameters()语法结构)中。
在上面，可以基于针对输出层集合的HRD参数语法结构被编码到的参数集不同地确定指定最大子层的变量maxSublayers。具体地，当针对输出层集合的HRD参数语法结构被编码在VPS中时，可以将maxSublayers的值设定为等于vps_hrd_max_tid[i]。当针对输出层集合的HRD参数语法结构被编码在SPS中时，可以将maxSublayers的值设定为等于sps_max_sublayers_minus1。
根据参考图18描述的本公开的图像编码方法，可以提供能够用信号通知简单定时信息而非用信号通知复杂HRD定时信息的定时信息的改进的信令机制。
图19是例示根据本公开的图像解码方法的视图。
例如，图19的图像解码方法可以由图3的图像解码设备执行。另选地，图像解码设备可以包括存储器和至少一个处理器，并且所述至少一个处理器可以执行图19的图像解码方法的每个步骤。
图像解码设备可以获得指定HRD参数是否存在于比特流中的信息(S1910)。general_nal_hrd_params_present_flag和/或general_vcl_hrd_params_present_flag可以是在步骤S1910获得的信息。
由图像解码设备获得的general_nal_hrd_params_present_flag可以指定NALHRD参数是否存在于比特流中(例如，general_hrd_parameters()语法结构)。具体地，general_nal_hrd_params_present_flag等于第一值(例如，1)可以指定NAL HRD参数存在于比特流中。另外，general_nal_hrd_params_present_flag等于第二值(例如，0)可以指定NAL HRD参数不存在于比特流中。在本公开中，general_nal_hrd_params_present_flag可以称为“第一标志”。
类似地，由图像解码设备获得的general_vcl_hrd_params_present_flag可以指定VCL HRD参数是否存在于比特流中(例如，general_hrd_parameters()语法结构)。具体地，general_vcl_hrd_params_present_flag等于第一值(例如，1)可以指定VCL HRD参数存在于比特流中。另外，general_vcl_hrd_params_present_flag等于第二值(例如，0)可以指定VCL HRD参数不存在于比特流中。在本公开中，general_vcal_hrd_params_present_flag可以称为“第二标志”。
图像解码设备可以获得指定比特流是否以固定画面速率运行的信息(S1920)。在步骤S1920获得的信息可以是指定比特流中的连续画面的输出时间之间的时间距离是否具有固定值的信息。上述fixed_pic_rate_within_cvs_flag可以是在步骤S1920确定的信息。
由图像解码设备获得的fixed_pic_rate_within_cvs_flag[i]可以指定在Htid等于i时比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离是否具有固定值。具体地，当fixed_pic_rate_within_cvs_flag[i]等于第一值(例如，1)时，其可以指定在Htid等于i时比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离具有固定值。另外，fixed_pic_rate_within_cvs_flag[i]等于第二值(例如，0)可以指定比特流中的按输出顺序的连续画面的HRD输出时间之间的时间距离不具有固定值。在本公开中，fixed_pic_rate_within_cvs_flag[i]可以称为“第三标志”。
然而，在步骤S1920获得的信息不限于fixed_pic_rate_within_cvs_flag[i]。例如，在步骤S1920获得的信息可以是fixed_pic_rate_general_flag[i]，或可以包括fixed_pic_rate_within_cvs_flag[i]和fixed_pic_rate_general_flag[i]两者。
根据本公开，如上所述，比特流一致性的要求是，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag的值都等于第二值(例如，0)时，fixed_pic_rate_within_cvs_flag[i]的值应等于第一值(例如，1)。在这种情况下，i可以在0至maxSublayersMinus1的范围(包括0和maxSublayersMinus1)内。
根据要求，当NAL HRD参数和VCL HRD参数都不存在于比特流中时，通过使比特流中的连续画面的HRD输出时间之间的时间距离针对至少一个Htid具有固定值，可以保证最小画面定时(固定画面速率)的信令。
上文已描述了用于生成满足比特流一致性的要求的比特流的图像编码设备的操作。由图像解码设备接收的比特流可以满足比特流一致性的要求。
图像解码设备可以基于在步骤S1910和/或步骤S1920获得的信息中的至少一者推导比特流中的画面的输出时间(S1930)。此后，图像解码设备可以基于所推导的输出时间处理(输出)比特流中的画面。
可以针对比特流中的时间子层中的每个时间子层用信号通知fixed_pic_rate_within_cvs_flag[i](和/或fixed_pic_rate_general_flag[i])。在这种情况下，i可以在指定第一子层的变量firstSubLayer至指定最大子层的变量maxSublayers的范围内。另选地，i可以在从0至maxSublayersMinus1的范围内。也就是说，针对每个i值，可以用信号通知fixed_pic_rate_within_cvs_flag[i]，并且当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于第二值(例如，0)时，约束针对至少一个i，fixed_pic_rate_within_cvs_flag[i]等于第一值(例如，1)。
如上所述，general_nal_hrd_params_present_flag和/或general_vcl_hrd_params_present_flag可以从通用HRD参数语法结构(例如，general_hrd_parameters()语法结构)获得，并且fixed_pic_rate_within_cvs_flag[i](和/或fixed_pic_rate_general_flag[i])可以从针对输出层集合的HRD参数语法结构(例如，ols_hrd_parameters()语法结构)获得。
在上面，可以基于供获得针对输出层集合的HRD参数语法结构的参数集不同地确定指定最大子层的变量maxSublayers。具体地，当针对输出层集合的HRD参数语法结构是从VPS获得的时，可以将maxSublayers的值设定为等于vps_hrd_max_tid[i]。当针对输出层集合的HRD参数语法结构是从SPS获得的时，可以将maxSublayers的值设定为等于sps_max_sublayers_minus1。
根据参考图19描述的本公开的图像解码方法，可以提供能够接收简单定时信息而非接收复杂HRD定时信息的定时信息的改进的信令机制。
应用实施方式
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码设备或图像解码设备可以执行确认对应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码设备或图像解码设备可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
另外，应用本公开的实施方式的图像解码设备和图像编码设备可以包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(过顶视频(over the top video))装置、互联网流服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可以用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图20是示出可应用本公开的实施方式的内容流系统的视图。
如图20所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据，以生成比特流并将该比特流发送到流服务器。作为另一示例，当诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备生成，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以用于对图像进行编码或解码。

Claims (13)

1.一种由图像解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
获得指定网络抽象层NAL假想参考解码器HRD参数是否存在于比特流中的第一标志以及指定视频编码层VCL HRD参数是否存在于所述比特流中的第二标志；
获得指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志；
基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导所述比特流中的画面的输出时间；以及
基于所推导的输出时间对所述比特流中的所述画面进行处理，
其中，基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
2.根据权利要求1所述的图像解码方法，
其中，所述第三标志是针对所述比特流中的时间子层中的每个时间子层获得的，并且
其中，基于所述第一标志具有第二值并且所述第二标志具有第二值，约束针对所述比特流中的所述时间子层中的至少一个时间子层的所述第三标志具有第一值。
3.根据权利要求1所述的图像解码方法，
其中，所述第三标志是通过所述比特流中的时间子层的最大数目获得的，并且
其中，基于所述第一标志具有第二值并且所述第二标志具有第二值，所获得的第三标志中的至少一个第三标志具有第一值。
4.根据权利要求3所述的图像解码方法，其中，所述第一标志和所述第二标志是从所述比特流中的通用HRD参数语法结构获得的，并且所述第三标志是从针对输出层集合的HRD参数语法结构获得的。
5.根据权利要求4所述的图像解码方法，其中，时间子层的最大数目是基于供获得针对所述输出层集合的HRD参数语法结构的参数集不同地确定的。
6.一种图像解码设备，所述图像解码设备包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
获得指定网络抽象层NAL假想参考解码器HRD参数是否存在于比特流中的第一标志以及指定视频编码层VCL HRD参数是否存在于所述比特流中的第二标志；
获得指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志；
基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导所述比特流中的画面的输出时间；并且
基于所推导的输出时间对所述比特流中的所述画面进行处理，
其中，基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
7.一种由图像编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
确定指定网络抽象层NAL假想参考解码器HRD参数是否存在于比特流中的第一标志以及指定视频编码层VCL HRD参数是否存在于所述比特流中的第二标志；以及
确定指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志，
其中，所述比特流中的画面的输出时间是基于所述第一标志、所述第二标志或所述第三标志中的至少一者推导的，
其中，基于所推导的输出时间对所述比特流中的画面进行处理，
其中，基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
8.根据权利要求7所述的图像编码方法，
其中，所述第三标志是针对所述比特流中的时间子层中的每个时间子层确定的，并且
其中，基于所述第一标志具有第二值并且所述第二标志具有第二值，约束针对所述比特流中的所述时间子层中的至少一个时间子层的所述第三标志具有第一值。
9.根据权利要求7所述的图像编码方法，
其中，所述第三标志是通过所述比特流中的时间子层的最大数目确定的，并且
其中，基于所述第一标志具有第二值并且所述第二标志具有第二值，所确定的第三标志中的至少一个第三标志具有第一值。
10.根据权利要求9所述的图像编码方法，其中，所述第一标志和所述第二标志被编码在所述比特流中的通用HRD参数语法结构中，并且所述第三标志被编码在针对输出层集合的HRD参数语法结构中。
11.根据权利要求10所述的图像编码方法，其中，时间子层的最大数目是基于针对所述输出层集合的HRD参数语法结构被编码到的参数集不同地确定的。
12.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储通过权利要求7所述的图像编码方法生成的比特流。
13.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储通过图像解码方法生成并且用于重构图像的比特流，
其中，所述比特流包括指定网络抽象层NAL假想参考解码器HRD参数是否存在于比特流中的第一标志、指定视频编码层VCL HRD参数是否存在于所述比特流中的第二标志以及指定所述比特流中的连续画面的输出时间之间的时间距离是否具有固定值的第三标志，
其中，所述第一标志、所述第二标志或所述第三标志中的至少一者用于推导所述比特流中的画面的输出时间，并且
其中，所推导的输出时间用于对所述比特流中的所述画面进行处理，并且
其中，基于所述第一标志具有指定所述NAL HRD参数不存在于所述比特流中的第二值并且所述第二标志具有指定所述VCL HRD参数不存在于所述比特流中的第二值，约束所述第三标志具有指定所述比特流中的所述连续画面的所述输出时间之间的所述时间距离具有固定值的第一值。
CN202180050260.8A 2020-06-18 2021-06-16 用信号通知画面输出定时信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 Pending CN115868162A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063040530P 2020-06-18 2020-06-18
US63/040,530 2020-06-18
US202063045180P 2020-06-28 2020-06-28
US63/045,180 2020-06-28
PCT/KR2021/007564 WO2021256857A1 (ko) 2020-06-18 2021-06-16 픽처 출력 타이밍 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체

Publications (1)

Publication Number Publication Date
CN115868162A true CN115868162A (zh) 2023-03-28

Family

ID=79268126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050260.8A Pending CN115868162A (zh) 2020-06-18 2021-06-16 用信号通知画面输出定时信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质

Country Status (4)

Country Link
US (1) US20230308689A1 (zh)
KR (1) KR20230027180A (zh)
CN (1) CN115868162A (zh)
WO (1) WO2021256857A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007342468B2 (en) * 2007-01-05 2011-11-24 Interdigital Vc Holdings, Inc. Hypothetical reference decoder for scalable video coding
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions

Also Published As

Publication number Publication date
KR20230027180A (ko) 2023-02-27
WO2021256857A1 (ko) 2021-12-23
US20230308689A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20220337814A1 (en) Image encoding/decoding method and device using reference sample filtering, and method for transmitting bitstream
US20240031575A1 (en) Image encoding/decoding method and apparatus for selectively encoding size information of rectangular slice, and method for transmitting bitstream
CN115516860A (zh) 图像解码方法及其设备
CN115280782A (zh) 基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法
CN115244936A (zh) 基于混合nal单元类型的图像编码/解码方法和装置及发送比特流的方法
KR20230023708A (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
CN115668927A (zh) 基于输出层集合确定是否参考参数集的图像编码/解码方法和设备及发送比特流的方法
CN115211122A (zh) 用于对包括画面头的图像信息进行编码的图像解码方法和设备
US20230308689A1 (en) Image encoding/decoding method and apparatus for signaling picture output timing information, and computer-readable recording medium storing bitstream
JP7492027B2 (ja) Ｐｔｌ関連情報をシグナリングする画像符号化／復号方法および装置、ならびにビットストリームを記憶したコンピュータ読み取り可能記録媒体
US20230224483A1 (en) Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
US20230141607A1 (en) Image encoding/decoding method and device for signaling hrd parameters, and computer-readable recording medium in which bitstream is stored
US20230156230A1 (en) Image encoding/decoding method and device for signaling information relating to ptl, dpb, and hrd in sps, and computer-readable recording medium storing bitstream
US20230144793A1 (en) Image encoding/decoding method and apparatus for signaling information about number of dpb parameters, and computer-readable recording medium storing bitstream
US20230156180A1 (en) Image encoding/decoding method and device for signaling dpb-related information and ptl-related information, and computer-readable recording medium in which bitstream is stored
EP4131965A1 (en) Video encoding/decoding method and apparatus for signaling dpb parameter, and computer-readable recording medium storing bitstream
CN116034581A (zh) 用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20230023709A (ko) 영상/비디오 코딩 시스템에서 일반 제한 정보를 처리하는 방법 및 장치
CN115668918A (zh) 基于画面划分信息和子画面信息的图像编码/解码方法和设备及存储比特流的记录介质
KR20220082082A (ko) 영상 정보를 시그널링하는 방법 및 장치
CN117203968A (zh) 基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法
CN115668930A (zh) 基于层之间是否进行参考确定子层的图像编码/解码方法和设备及发送比特流的方法
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
CN115699750A (zh) 基于针对gdr画面或irap画面的可用切片类型信息编码/解码图像的方法和设备及存储比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination