CN115668943A - 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质 - Google Patents

基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质 Download PDF

Info

Publication number
CN115668943A
CN115668943A CN202180037082.5A CN202180037082A CN115668943A CN 115668943 A CN115668943 A CN 115668943A CN 202180037082 A CN202180037082 A CN 202180037082A CN 115668943 A CN115668943 A CN 115668943A
Authority
CN
China
Prior art keywords
picture
rasl
nal unit
sub
unit type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180037082.5A
Other languages
English (en)
Inventor
亨得利·亨得利
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115668943A publication Critical patent/CN115668943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像编码/解码方法和设备。根据本公开的图像解码方法包括以下步骤：从比特流获取包括编码图像数据的关于至少一个网络抽象层NAL单元的NAL单元类型信息；基于所获取的NAL单元类型信息来确定当前画面中的一个或更多个切片所有的至少一个NAL单元类型；以及基于所确定的NAL单元类型来对当前画面进行解码，其中，基于所确定的NAL单元类型包括随机访问跳过先导(RASL)画面NAL单元类型(RASL_NUT)，确定当前画面为RASL画面，并且如果与RASL画面相关联的帧内随机访问点(IRAP)画面为相对于解码顺序的第一画面时，基于包括具有随机访问可解码先导(RADL)画面NAL单元类型(RADL_NUT)的一个或更多个切片来对RASL画面进行解码。

Description

基于混合NAL单元类型的图像编码/解码方法和设备及存储比 特流的记录介质
技术领域
本公开涉及图像编码/解码方法和设备，更具体地，涉及一种基于混合NAL单元类型的图像编码和解码方法和设备以及用于存储通过本公开的图像编码方法/设备生成的比特流的记录介质。
背景技术
最近，各个领域对诸如高清(HD)图像和超高清(UHD)图像的高分辨率和高质量图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种基于混合NAL单元类型的图像编码/解码方法和设备。
本公开的另一个目的是提供一种基于子画面合并操作的图像编码/解码方法和设备。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
根据本公开的一方面，一种图像解码方法包括以下步骤：从比特流获得包括当前画面的编码图像数据的至少一个网络抽象层(NAL)单元的NAL单元类型信息；基于所获得的NAL单元类型信息来确定当前画面中的一个或更多个切片的至少一个NAL单元类型；以及基于所确定的NAL单元类型来对当前画面进行解码。可以基于所确定NAL单元类型包括RASL_NUT来将当前画面确定为随机访问跳过先导(RASL)画面。当帧内随机接入点(IRAP)画面为按解码顺序的第一画面时，可以基于RASL画面包括具有RADL_NUT的一个或更多个切片来对RASL画面进行解码。
根据本公开的另一方面，一种图像解码设备包括存储器和至少一个处理器。至少一个处理器可以执行以下步骤：从比特流获得包括当前画面的编码图像数据的至少一个网络抽象层NAL单元的NAL单元类型信息；基于所获得的NAL单元类型信息来确定当前画面中的一个或更多个切片的至少一个NAL单元类型；以及基于所确定的NAL单元类型来对当前画面进行解码。可以基于所确定NAL单元类型包括RASL_NUT来将当前画面确定为随机访问跳过先导(RASL)画面。当帧内随机接入点(IRAP)画面为按解码顺序的第一画面时，可以基于RASL画面包括具有RADL_NUT的一个或更多个切片来对RASL画面进行解码。
根据本公开的另一方面，一种图像编码方法包括以下步骤：将当前画面分割成多个子画面；确定多个子画面中的每一个的网络抽象层NAL单元类型；以及基于所确定的NAL单元类型来对多个子画面进行编码。可以基于所确定的NAL单元类型包括RASL_NUT来将当前画面确定为随机访问跳过先导(RASL)画面，并且RASL画面可以包括具有RADL_NUT的至少一个子画面。
另外，根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码设备或图像编码方法生成的比特流。
在根据本公开的另一方面的发送方法中，可以发送由本公开的图像编码方法或图像编码设备生成的比特流。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，能够提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种基于混合NAL单元类型的图像编码/解码方法和设备。
此外，根据本公开，可以提供基于按解码顺序与第一画面相关联并且可解码的RASL画面的图像编码/解码方法和设备。
此外，根据本公开，可以提供基于可以用作参考画面的RASL画面的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地例示本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地例示本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地例示本公开的实施方式适用于的图像解码设备的视图。
图4是本公开的实施方式适用于的图像解码过程的示意性流程图。
图5是本公开的实施方式适用于的图像编码过程的示意性流程图。
图6是例示编码图像/视频的层结构的示例的视图。
图7是例示根据本公开的实施方式的画面参数集(PPS)的视图。
图8是例示根据本公开的实施方式的切片报头的视图。
图9是例示子画面的示例的视图。
图10是例示具有混合NAL单元类型的画面的示例的视图。
图11是例示根据本公开的实施方式的画面参数集(PPS)的示例的视图。
图12是例示根据本公开的实施方式的序列参数集(SPS)的示例的视图。
图13是例示通过子画面比特流合并来构造混合NAL单元类型的处理的视图。
图14是例示针对每个画面类型的解码顺序和输出顺序的视图。
图15a和图15b是例示根据本公开的实施方式的RASL画面的类型的视图。
图16a和图16b是例示在随机访问期间对RASL画面的处理的视图。
图17是例示根据本公开的实施方式的RASL画面的解码处理和输出处理的流程图。
图18a和图18b是例示根据本公开的实施方式的RASL画面的参考条件的视图。
图19是例示根据本公开的实施方式的图像编码方法的流程图。
图20是例示根据本公开的实施方式的图像解码方法的流程图。
图21是例示本公开的实施方式适用于的内容流系统的视图。
具体实施方式
以下，将结合附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”中的一个。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确说明为色度块，“当前块”可以意指包括亮度分量块和色度分量块二者的块或“当前块的亮度块”。当前块的亮度分量块可以通过包括诸如“亮度块”或“当前亮度块”的亮度分量块的明确描述来表示。另外，“当前块的色度分量块”可以通过包括诸如“色度块”或“当前色度块”的色度分量块的明确描述来表示。
在本公开中，术语“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编码系统的概述
图1是例示根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测器180可基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测器可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测器可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的至少一种帧间预测技术。
预测器生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测器180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测器180中的参考画面。存储器170可以存储从其中推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260或帧内预测器265中的至少一个。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测器中描述的相同的是，预测器可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测器265可以通过参考当前画面中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测器260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或帧内预测器265)输出的预测信号(预测块、预测样本阵列)相加生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(例如，应用跳过模式的情况)，则预测块可以用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面的帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测器260中的参考画面。存储器250可以存储从其中推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测器260和帧内预测器265。
一般图像/视频编码过程
在图像/视频编码中，配置图像/视频的画面可以根据解码顺序来编码/解码。与解码画面的输出顺序对应的画面顺序可以与解码顺序不同地设定，并且基于此，在帧间预测期间不仅可以执行前向预测，而且可以执行后向预测。
图4示出了本公开的实施方式适用于的示意性画面解码过程的示例。
图4所示的各个过程可以由图3的图像解码设备执行。例如，在图4中，步骤S410可以由熵解码器210执行，步骤S420可以由包括帧内预测器265和帧间预测器260的预测器执行，步骤S430可以由包括解量化器220和逆变换器230的残差处理器执行，步骤S440可以由加法器235执行，步骤S450可以由滤波器240执行。步骤S410可以包括本公开中描述的信息解码过程，步骤S420可以包括本公开中描述的帧间/帧内预测过程，步骤S430可以包括本公开中描述的残差处理过程，步骤S440可以包括本公开中描述的块/画面重构过程，步骤S450可以包括本公开中描述的环路内滤波过程。
参照图4，画面解码过程可以示意性地包括用于从比特流获得图像/视频信息(通过解码)的过程(S410)、画面重构过程(S420至S440)和针对重构画面的环路内滤波过程(S450)。可以基于通过本公开中描述的帧间/帧内预测(S420)和残差处理(S430)(量化变换系数的解量化和逆变换)获得的预测样本和残差样本来执行画面重构过程。可以通过针对通过画面重构过程生成的重构画面的环路内滤波过程来生成修改的重构画面。修改的重构画面可以作为解码画面输出，被存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。在一些情况下，可以省略环路内滤波过程。在这种情况下，重构画面可以作为解码画面输出，被存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。如上所述，环路内滤波过程(S450)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程，其中一些或全部可以省略。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程中的一个或一些可以依次应用，或者它们全部可以依次应用。例如，在对重构画面应用去块滤波过程之后，可以执行SAO过程。另选地，例如，在对重构画面应用去块滤波过程之后，可以执行ALF过程。这甚至可以在编码设备中类似地执行。
图5示出了本公开的实施方式适用于的示意性画面编码过程的示例。
图5所示的各个过程可以由图2的图像编码设备执行。例如，步骤S510可以由包括帧内预测器185和帧间预测器180的预测器执行，步骤S520可以由残差处理器115、120和130执行，步骤S530可以由熵编码器190执行。步骤S510可以包括本公开中描述的帧间/帧内预测过程，步骤S520可以包括本公开中描述的残差处理过程，步骤S530可以包括本公开中描述的信息编码过程。
参照图5，画面编码过程可以示意性地不仅包括对用于画面重构的信息(例如，预测信息、残差信息、分割信息等)进行编码并以比特流的形式输出的过程，而且包括为当前画面生成重构画面的过程以及对重构画面应用环路内滤波的过程(可选)。编码设备可以通过解量化器140和逆变换器150从量化变换系数推导(修改的)残差样本，并且基于作为步骤S510的输出的预测样本和(修改的)残差样本来生成重构画面。这样生成的重构画面可以等于解码设备中生成的重构画面。可以通过对重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以被存储在存储器170的解码画面缓冲器中，并且类似于解码设备，在稍后对画面进行编码时可以在帧间预测过程中用作参考画面。如上所述，在一些情况下，一些或所有环路内滤波过程可以被省略。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器190中编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息使用与编码设备相同的方法执行环路内滤波过程。
通过这种环路内滤波过程，在图像/视频编码期间出现的噪声(例如，块伪影和振铃伪影)可以减少，并且主观/客观视觉质量可以改进。另外，通过在编码设备和解码设备二者中执行环路内滤波过程，编码设备和解码设备可以推导相同的预测结果，画面编码可靠性可以增加，并且要为画面编码发送的数据量可以减少。
如上所述，画面重构过程可以不仅在图像解码设备中执行，而且在图像编码设备中执行。可以基于帧内预测/帧间预测以块为单位生成重构块，并且可以生成包括重构块的重构画面。当当前画面/切片/拼块组是I画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以仅基于帧内预测来重构。另一方面，当当前画面/切片/拼块组是P或B画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以基于帧内预测或帧间预测来重构。在这种情况下，可以对当前画面/切片/拼块组中的一些块应用帧间预测，并且可以对剩余块应用帧内预测。画面的颜色分量可以包括亮度分量和色度分量，并且除非本公开中明确限制，否则本公开的方法和实施方式适用于亮度分量和色度分量二者。
对层结构进行编码的示例
根据本公开的编码视频/图像可以例如根据下面将描述的编码层和结构来处理。
图6是例示编码图像/视频的层结构的示例的视图。
编码图像/视频被分类为用于图像/视频解码处理和处理自己的视频编码层(VCL)、用于发送和存储编码信息的下层系统以及存在于VCL和下层系统之间并负责网络适配功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据，或者可以生成图像的解码处理另外所需的补充增强信息(SEI)消息或包括诸如画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的信息的参数集。
在NAL中，报头信息(NAL单元报头)可以被添加到VCL中生成的原始字节序列有效载荷(RBSP)以生成NAL单元。在这种情况下，RBSP是指VCL中生成的切片数据、参数集、SEI消息。NAL单元报头可以包括根据对应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
如图6所示，NAL单元可以根据VCL中生成的RBSP的类型被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，非VCLNAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以根据下层系统的数据标准附有报头信息并通过网络发送。例如，NAL单元可以被修改为具有预定标准(例如，H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流))的数据格式，并通过各种网络发送。
如上所述，在NAL单元中，可以根据包括在对应NAL单元中的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以被存储在NAL单元报头中并用信号通知。例如，这可以根据NAL单元是否包括关于图像的信息(切片数据)大致分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据包括在VCL NAL单元中的画面的性质和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
下面将列出根据包括在非VCL NAL单元类型中的参数集/信息的类型指定的NAL单元类型的示例。
-DCI(解码能力信息)NAL单元类型(NUT)：包括DCI的NAL单元类型
-VPS(视频参数集)NUT：包括VPS的NAL单元类型
-SPS(序列参数集)NUT：包括SPS的NAL单元类型
-PPS(画面参数集)NUT：包括PPS的NAL单元类型
-APS(适配参数集)NUT：包括APS的NAL单元类型
-PH(画面报头)NUT：包括画面报头的NAL单元类型
上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元报头中并用信号通知。例如，该语法信息可以是nal_unit_type，NAL单元类型可以使用nal_unit_type值来指定。
此外，一个画面可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以向一个画面中的多个切片(切片报头和切片数据集)进一步添加一个画面报头。画面报头(画面报头语法)可以包括共同适用于画面的信息/参数。切片报头(切片报头语法)可以包括共同适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以是共同适用于多个层的信息/参数。DCI(DCI语法)可以包括与解码能力有关的信息/参数。
在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、画面报头语法或切片报头语法中的至少一个。另外，在本公开中，低级语法(LLS)可以包括例如切片数据语法、CTU语法、编码单元语法、变换单元语法等。
在本公开中，在编码设备中编码并以比特流的形式用信号通知给解码设备的图像/视频信息可以不仅包括画面内分割相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息，而且包括关于切片报头的信息、关于画面报头的信息、关于APS的信息、关于PPS的信息、关于SPS的信息、关于VPS的信息和/或关于DCI的信息。另外，图像/视频信息还可以包括一般约束信息和/或关于NAL单元报头的信息。
入口点的信令的概述
如上所述，VCL NAL单元可以包括切片数据作为RBSP(原始字节序列有效载荷)。切片数据可以在VCL NAL单元中以字节为单位对齐，并且可以包括一个或更多个子集。可以为子集定义用于随机访问(RA)的至少一个入口点，并且可以基于入口点执行并行处理。
VVC标准支持作为各种并行处理技术之一的波前并行处理(WPP)。画面中的多个切片可以基于WPP并行编码/解码。
为了启用并行处理能力，可以用信号通知入口点信息。图像解码设备可以基于入口点信息直接访问包括在NAL单元中的数据片段的起点。这里，数据片段的起点可以意指切片中的拼块的起点或切片中的CTU行的起点。
可以在高级语法(例如，画面参数集(PPS))和/或切片报头中用信号通知入口点信息。
图7是例示根据本公开的实施方式的画面参数集(PPS)的视图，图8是例示根据本公开的实施方式的切片报头的视图。
首先，参照图7，画面参数集(PPS)可以包括entry_point_offsets_present_flag作为指示是否用信号通知入口点信息的语法元素。
entry_point_offsets_present_flag可以指示参考画面参数集(PPS)的切片报头中是否存在入口点信息的信令。例如，具有第一值(例如，0)的entry_point_offsets_present_flag可以指示切片报头中不存在拼块或拼块中的特定CTU行的入口点信息的信令。相比之下，具有第二值(例如，1)的entry_point_offsets_present_flag可以指示切片报头中存在拼块或拼块中的特定CTU行的入口点信息的信令。
此外，尽管图7中示出entry_point_offsets_present_flag包括在画面参数集(PPS)中的情况，但这是示例，因此本公开的实施方式不限于此。例如，entry_point_offsets_present_flag可以包括在序列参数集(SPS)中。
接下来，参照图8，切片报头可以包括offset_len_minus1和entry_point_offset_minus1[i]作为识别入口点的语法元素。
offset_len_minus1可以指示通过从entry_point_offset_minus1[i]的比特长度减去1而获得的值。offset_len_minus1的值可以具有从0至31的范围。在示例中，可以基于指示入口点的总数的变量NumEntryPoints来用信号通知offset_len_minus1。例如，仅当NumEntryPoints大于0时，才可以用信号通知offset_len_minus1。另外，可以基于上面参照图7描述的entry_point_offsets_present_flag用信号通知offset_len_minus1。例如，仅当entry_point_offsets_present_flag具有第二值(例如，1)(即，切片报头中存在入口点信息的信令)时，才可以用信号通知offset_len_minus1。
entry_point_offset_minus1[i]可以以字节为单位指示第i入口点偏移，并且可以通过将1比特与offset_len_minus1相加来表示。NAL单元中的切片数据可以包括数量与通过将1与NumEntryPoints相加而获得的值相同的子集，并且指示各个子集的索引值可以具有从0至NumEntryPoints的范围。NAL单元中的切片数据的第一字节可以由0表示。
当用信号通知entry_point_offset_minus1[i]时，NAL单元中的切片数据中所包括的模仿预防字节可以被计数为用于子集识别的切片数据部分。作为切片数据的第一子集的子集0可以具有从字节0至entry_point_offset_minus1[0]的配置。类似地，作为切片数据的第k子集的子集k可以具有从firstByte[k]至lastByte[k]的配置。这里，firstByte[k]可以如下式1所示推导，lastByte[k]可以如下式2所示推导。
[式1]
Figure BDA0003956870050000191
[式2]
lastByte[k]＝firstByte[k]+sh_entry_point_offset_minus1[k]
在式1和式2中，k可以具有从1至通过从NumEntryPoints减去1而获得的值的范围。
切片数据的最后子集(即，第NumEntryPoints子集)可以由切片数据的剩余字节组成。
此外，如果在对包括各个拼块中的CTB行的第一CTB的CTU进行解码之前不执行对上下文变量的预定同步处理(例如，sps_entropy_coding_sync_enabled_flag＝＝0)并且切片包括一个或更多个完整拼块，则切片报头的各个子集可以由同一拼块中的所有CTU的所有编码比特组成。在这种情况下，切片数据的子集的总数可以等于切片中的拼块的总数。
相比之下，当不执行预定同步处理并且切片包括单个拼块中的CTU行的一个子集时，NumEntryPoints可为0。在这种情况下，切片数据的一个子集可以由切片中的所有CTU的所有编码比特组成。
相比之下，当执行预定同步处理(例如，sps_entropy_coding_sync_enabled_flag＝＝1)时，各个子集可以由一个拼块中的一个CTU行的所有CTU的所有编码比特组成。在这种情况下，切片数据的子集的总数可以等于切片中的各个拼块的CTU行的总数。
混合NAL单元类型的概述
通常，可以为一个画面设定一个NAL单元类型。如上所述，指示NAL单元类型的语法信息可以存储在NAL单元的NAL单元报头中并用信号通知。例如，该语法信息可以是nal_unit_type，并且NAL单元类型可以使用nal_unit_type值来指定。下表1中示出本公开的实施方式适用于的NAL单元类型的示例。
[表1]
Figure BDA0003956870050000201
Figure BDA0003956870050000211
参照表1，VCL NAL单元类型可以根据画面的性质和类型被分类为NAL单元类型0至12。另外，非VCL NAL单元类型可以根据参数集的类型被分类为NAL单元类型13至31。
VCL NAL单元类型的详细示例如下。
-IRAP(帧内随机访问点)NAL单元类型(NUT)：IRAP画面的NAL单元类型，其被设定为从IDR_W_RADL至CRA_NUT的范围。
-IDR(瞬时解码刷新)NUT：IDR画面的NAL单元类型，其被设定为IDR_W_RADL或IDR_N_LP。
-CRA(清洁随机访问)NUT：CRA画面的NAL单元类型，其被设定为CRA_NUT。
-RADL(随机访问可解码先导)NUT：RADL画面的NAL单元类型，其被设定为RADL_NUT。
-RASL(随机访问跳过先导)NUT：RASL画面的NAL单元类型，其被设定为RASL_NUT。
-结尾NUT：结尾画面的NAL单元类型，其被设定为TRAIL_NUT。
-GDR(渐进解码刷新)NUT：GDR画面的NAL单元类型，其是GDR_NUT。
-STSA(逐步时间子层访问)NUT：STSA画面的NAL单元类型，其被设定为STSA_NUT。
此外，VVC标准允许一个画面包括具有不同NAL单元类型的多个切片。例如，一个画面可以包括具有第一NAL单元类型的至少一个第一切片和具有不同于第一NAL单元类型的第二NAL单元类型的至少两个第二切片。在这种情况下，画面的NAL单元类型可以被称为混合NAL单元类型。当VVC标准支持混合NAL单元类型时，可以在内容合成处理、编码/解码处理等中更容易地重构/合成多个画面。
然而，根据针对混合NAL单元类型的现有方案，存在以下问题：具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的画面的类型可能不清楚。根据画面的类型，需要修改对画面顺序并且更具体地对参考画面列表的约束，以确保比特流中的正确画面顺序。
为了解决这样的问题，根据本公开的实施方式，具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的画面可以被视为RASL画面。当与RASL画面相关联的IRAP画面为按解码顺序的第一画面或第一IRAP画面时，可以跳过RASL画面的输出处理。然而，可以执行RASL画面的解码处理，并且RASL画面可以在预定参考条件下用作用于RADL画面的帧间预测的参考画面。
在下文中，将参照附图详细描述本公开的实施方式。
当一个画面具有混合NAL单元类型时，画面可以包括具有不同NAL单元类型的多个子画面。例如，画面可以包括具有第一NAL单元类型的至少一个第一子画面和具有第二NAL单元类型的至少一个第二子画面。
子画面可以包括一个或更多个切片并且构成画面中的矩形区域。画面中的子画面的尺寸可以不同地设置。另一方面，对于属于一个序列的所有画面，特定单独子画面的尺寸和位置可以被设定为彼此相等。
图9是例示子画面的示例的视图。
参照图9，一个画面可以被分割成18个拼块。12个拼块可以布置在画面的左侧，并且每个拼块可以包括由4x4CTU构成的一个切片。另外，6个拼块可以布置在画面的右侧，并且每个拼块可以包括两个切片，每个切片包括2x2 CTU并且在垂直方向上层叠。结果，画面可以包括24个子画面和24个切片，并且各个子画面可以包括一个切片。
在实施方式中，一个画面中的每个子画面可以被视为一个画面以支持混合NAL单元类型。当子画面被视为一个画面时，子画面可以与另一子画面编码/解码的结果无关地独立地编码/解码。这里，独立编码/解码可以意指子画面的块分割结构(例如，单树结构、双树结构等)、预测模式类型(例如，帧内预测、帧间预测等)、解码顺序等与另一子画面不同。例如，当第一子画面基于帧内预测模式编码/解码时，与第一子画面相邻并被视为一个画面的第二子画面可以基于帧间预测模式来编码/解码。
关于子画面是否被视为一个画面的信息可以使用高级语法中的语法元素来用信号通知。例如，指示当前子画面是否被视为一个画面的sps_subpic_treated_as_pic_flag[i]可以通过序列参数集(SPS)来用信号通知。当当前子画面被视为一个画面时，sps_subpic_treated_as_pic_flag[i]可以具有第二值(例如，1)。
图10是例示具有混合NAL单元类型的画面的示例的视图。
参照图10，一个画面1000可以包括第一子画面1010至第三子画面1030。第一子画面1010和第三子画面1030中的每一个可以包括两个切片。相比之下，第二子画面1020可以包括四个切片。
当第一子画面1010至第三子画面1030中的每一个被视为一个画面时，第一子画面1010至第三子画面1030可以被独立地编码以构成不同的比特流。例如，第一子画面1010的编码切片数据可以被封装到具有与RASL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第一比特流(比特流1)。另外，第二子画面1020的编码切片数据可以被封装到具有与RADL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第二比特流(比特流2)。另外，第三子画面1030的编码切片数据可以被封装到具有与RASL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第三比特流(比特流3)。结果，一个画面1000可以具有RASL_NUT和RADL_NUT混合的混合NAL单元类型。
在实施方式中，包括在画面中的每个子画面中的所有切片可以被限制为具有相同的NAL单元类型。例如，包括在第一子画面1010中的两个切片均可以具有与RASL_NUT相同的NAL单元类型。另外，包括在第二子画面1020中的所有四个切片可以具有与RADL_NUT相同的NAL单元类型。另外，包括在第三子画面1030中的两个切片均可以具有与RASL_NUT相同的NAL单元类型。
关于混合NAL单元类型的信息和关于画面分割的信息可以在例如画面参数集(PPS)和/或序列参数集(SPS)的高级语法中用信号通知。
图11是例示根据本公开的实施方式的画面参数集(PPS)的示例的视图，并且图12是例示根据本公开的实施方式的序列参数集(SPS)的示例的视图。
首先，参照图11，画面参数集(PPS)可以包括pps_mixed_nalu_types_in_pic_flag作为用于混合NAL单元类型的语法元素。
pps_mixed_nalu_types_in_pic_flag可以指示当前画面是否具有混合NAL单元类型。例如，具有第一值(例如，0)的pps_mixed_nalu_types_in_pic_flag可以指示当前画面不具有混合NAL单元类型。在这种情况下，当前画面对于所有VCL NAL单元可以具有相同的NAL单元类型，例如，与编码切片NAL单元相同的NAL单元类型。相比之下，具有第二值(例如，1)的pps_mixed_nalu_types_in_pic_flag可以指示当前画面具有混合NAL单元类型。在这种情况下，当前画面的VCL NAL单元可以被限制为不具有与GDR_NUT相同的NAL单元类型。另外，当当前画面的任一个VCL NAL单元具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型时，当前画面的所有不同VCL NAL单元可以被限制为具有与IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT相同的NAL单元类型。
当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面中的各个子画面可以具有上面参考表1描述的任一个VCL NAL单元类型。例如，当当前画面中的子画面是IDR子画面时，子画面可以具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型。另选地，当当前画面中的子画面是结尾子画面时，子画面可以具有与TRAIL_NUT相同的NAL单元类型。
具有第二值(例如，1)的pps_mixed_nalu_types_in_pic_flag可以指示参考画面参数集(PPS)的画面可以包括具有不同NAL单元类型的切片。这里，画面可以源自子画面比特流合并操作，其中编码器确保比特流结构的匹配和原始比特流的参数之间的对齐。作为对齐的示例，当具有与IDR_W_RADL或IDR_N_LP相同的NAL单元的切片的参考画面列表(RPL)语法元素不存在于切片报头中(例如，sps_idr_rpl_present_flag＝＝0)并且包括该切片的当前画面不具有混合NAL单元类型(例如，pps_mixed_nalu_type_in_pic_flag＝＝1)时，当前画面可以被限制为不包括与IDR_W_RADL或IDR_N_LP相同的NAL单元类型的切片。
此外，当存在针对输出层集合(OLS)中的所有画面不应用混合NAL单元类型(例如，gci_no_mixed_nalu_types_in_pic_constraint_flag＝＝1)的限制时，pps_mixed_nalu_types_in_pic_flag可以具有第一值(例如，0)。
另外，画面参数集(PPS)可以包括pps_no_pic_partition_flag作为用于画面分割的语法元素。
pps_no_pic_partition_flag可以指示画面分割是否适用于当前画面。例如，pps_no_pic_partition_flag具有第一值(例如，0)可以指示当前画面无法被分割。相比之下，pps_no_pic_partition_flag具有第二值(例如，1)可以指示当前画面可以被分割成两个或更多个拼块或切片。当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面可以被限制为被分割成两个或更多个拼块或切片(例如，pps_no_pic_partition_flag＝1)。
另外，画面参数集(PPS)可以包括pps_num_subpics_minus1作为指示子画面的数量的语法元素。
pps_num_subpics_minus1可以指示通过从包括在当前画面中的子画面的数量减去1而获得的值。仅当画面分割适用于当前画面(例如，pps_no_pic_partition_flag＝＝1)时，才可以用信号通知pps_num_subpics_minus1。当没有用信号通知pps_num_subpics_minus1时，pps_num_subpics_minus1的值可以被推断为0。此外，指示子画面的数量的语法元素可以在不同于画面参数集(PPS)的高级语法(例如，序列参数集(SPS))中用信号通知。
在实施方式中，当当前画面仅包括一个子画面(例如，pps_num_subpics_minus1＝＝0)时，当前画面可以被限制为不具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝0)。即，当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面可以被限制为包括两个或更多个子画面(例如，pps_num_subpics_minus1>0)。
接下来，参照图12，序列参数集(SPS)可以包括sps_subpic_treated_as_pic_flag[i]作为与在编码/解码期间对子画面的处理相关的语法元素。
sps_subpic_treated_as_pic_flag[i]可以指示当前画面中的每个子画面是否被视为一个画面。例如，具有第一值(例如，0)的sps_subpic_treated_as_pic_flag[i]可以指示当前画面中的第i子画面不被视为一个画面。相比之下，具有第二值(例如，1)的sps_subpic_treated_as_pic_flag[i]可以指示当前画面中的第i子画面在处了环路内滤波操作之外的编码/解码处理中被视为一个画面。当未用信号通知sps_subpic_treated_as_pic_flag[i]时，sps_subpic_treated_as_pic_flag[i]可以被推断为具有第二值(例如，1)。
在实施方式中，在当前画面包括两个或更多个子画面(例如，pps_num_subpics_minus1>0)并且子画面中的至少一个未被视为一个画面(例如，sps_subpic_treated_as_pic_flag[i]＝＝0)时，当前画面可以被限制为不具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝0)。也就是说，在当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面中的所有子画面可以被限制为被视为一个画面。
在下文中，将针对每个画面类型详细描述根据本公开的实施方式的NAL单元类型。
(1)IRAP(帧内随机访问点)画面
IRAP画面是可随机访问的画面，并且可以具有上面参考表1描述的相同NAL单元类型，例如IDR_W_RADL、IDR_N_LP或CRA_NUT。IRAP画面可不参考解码处理中用于帧间预测的IRAP画面以外的画面。IRAP画面可以包括IDR(瞬时解码刷新)画面和CRA(清洁随机访问)画面。
比特流中按解码器顺序的第一画面可以被限制为IRAP画面或GDR(渐进解码刷新)画面。对于单层比特流，当要参考的基本参数集可用时，尽管按解码顺序在IRAP画面之前的画面根本没有被解码，但IRAP画面和按解码顺序在IRAP画面之后的所有非RASL画面可以被正确地解码。
在实施方式中，IRAP画面可不具有混合NAL单元类型。即，对于IRAP画面，pps_mixed_nalu_types_in_pic_flag可以具有第一值(例如，0)，并且IRAP画面中的所有切片可以在从IDR_W_RADL至CRA_NUT的范围内具有相同的NAL单元类型。结果，当从预定画面接收的第一切片具有从IDR_W_RADL至CRA_NUT范围内的NAL单元类型时，画面可以被确定为IRAP画面。
(2)CRA(清洁随机访问)画面
CRA画面是IRAP画面之一，并且可以具有与CRA_NUT相同的NAL单元类型，如上面参考表1所描述的。CRA画面可不参考解码处理中用于帧间预测的CRA画面以外的画面。
CRA画面可以是比特流中按解码顺序的第一画面或者第一画面之后的画面。CRA画面可以与RADL或RASL画面关联。
当NoIncorrectPicOutputFlag对于CRA画面具有第二值(例如，1)时，与CRA画面关联的RASL画面参考不存在于比特流中的画面，因此可不被解码，结果，可不被图像解码设备输出。这里，NoIncorrectPicOutputFlag可以指示按解码顺序在恢复点画面之前的画面是否在恢复点画面之前输出。例如，NoIncorrectPicOutputFlag具有第一值(例如，0)可以指示按解码顺序在恢复点画面之前的画面在恢复点画面之前输出。在这种情况下，CRA画面可以不是比特流中的第一画面或按解码顺序在序列结束(EOS)NAL单元之后的第一画面，这可以意指不发生随机访问。相比之下，NoIncorrectPicOutputFlag具有第二值(例如，1)可以指示按解码顺序在恢复点画面之前的画面无法在恢复点画面之前输出。在这种情况下，CRA画面可以是比特流中的第一画面或按解码顺序在序列结束(EOS)NAL单元之后的第一画面，这可以意指发生随机访问。此外，在一些实施方式中，NoIncorrectPicOutputFlag可以被称为NoOutputBeforeRecoveryFlag。
对于CLVS(编码层视频序列)内按解码顺序在当前画面之后的所有画面单元(PU)，属于画面单元(PU)的CRA子画面中所包括的一个切片的参考画面列表0(例如，RefPicList[0])和参考画面列表1(例如，RefPicList[1])可以被限制为不包括有效入口内按解码顺序在包括CRA子画面的画面之前的任何画面。这里，画面单元(PU)可以意指包括根据预定分类规则相互关联并且对于一个编码画面按解码顺序连续的多个NAL单元的NAL单元集。
(3)IDR(瞬时解码刷新)画面
IDR画面是IRAP画面之一，并且可以具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型，如上面参考表1描述的。IDR画面可不参考解码处理中用于帧间预测的IDR画面以外的画面。
IDR画面可以是比特流中按解码顺序的第一画面，或者可以是第一画面之后的画面。各个IDR画面可以是CVS(编码视频序列)按解码顺序的第一画面。
当IDR画面对于各个NAL单元具有与IDR_W_RADL相同的NAL单元类型时，IDR画面可以具有关联的RADL画面。相比之下，当IDR画面对于各个NAL单元具有与IDR_N_LP相同的NAL单元类型时，IDR画面可不具有关联的先导画面。此外，IDR画面可不与RASL画面关联。
对于CLVS(编码层视频序列)内按解码顺序在当前画面之后的所有画面单元(PU)，属于画面单元(PU)的IDR子画面中所包括的一个切片的参考画面列表0(例如，RefPicList[0])和参考画面列表1(例如，RefPicList[1])可以被限制为不包括有效入口内按解码顺序在包括IDR子画面的画面之前的任何画面。
(4)RADL(随机访问可解码先导)画面
RADL画面是先导画面之一，并且可以具有与RADL_NUT相同的NAL单元类型，如上面参考表1描述的。
在具有相同的关联IRAP画面的结尾画面的解码处理中，RADL画面可不用作参考画面。当field_seq_flag对于RADL画面具有第一值(例如，0)时，RADL画面可以按解码顺序在具有相同的关联IRAP画面的所有非先导画面之前。这里，field_seq_flag可以指示CLVS(编码层视频序列)传送指示字段的画面还是指示帧的画面。例如，field_seq_flag具有第一值(例如，0)可以指示CLVS传送指示帧的画面。相比之下，field_seq_flag具有第二值(例如，1)可以指示CLVS传送指示字段的画面。
(5)RASL(随机访问跳过先导)画面
RASL画面是先导画面之一，并且可以具有与RASL_NUT相同的NAL单元类型，如上面参考表1描述的。
在示例中，所有RASL画面可以是关联CRA画面的先导画面。当NoIncorrectPicOutputFlag对于CRA画面具有第二值(例如，1)时，RASL画面参考不存在于比特流中的画面，因此可不被解码，结果，可不被图像解码设备输出。
在非RASL画面的解码处理中，RASL画面可不用作参考画面。然而，当存在属于与RASL画面相同的层并且与同一CRA画面关联的RADL画面时，RASL画面可以用作包括在RADL画面中的RADL子画面的帧间预测的并置参考画面。
当field_seq_flag对于RASL画面具有第一值(例如，0)时，RASL画面可以按解码顺序在与RASL画面关联的CRA画面的所有非先导画面之前。
(6)结尾画面
结尾画面是按输出顺序在关联的IRAP画面或GDR画面之后的非IRAP画面，并且可以不是STSA画面。另外，结尾画面可以按解码顺序在关联的IRAP画面之后。即，可不允许按输出顺序在关联的IRAP画面之后但是按解码顺序在关联的IRAP画面之前的结尾画面。
(7)GDR(渐进解码刷新)画面
GDR画面是可随机访问的画面，并且可以具有与GDR_NUT相同的NAL单元类型，如上面参考表1描述的。
(8)STSA(逐步时间子层访问)画面
STSA画面是可随机访问的画面，并且可以具有与STSA_NUT相同的NAL单元类型，如上面参考表1描述的。
STSA画面可以不指代具有与用于帧间预测的STSA相同的TemporalId的画面。这里，TemporalId可以是指示时间层(例如，可伸缩视频编码中的时间子层)的标识符。在实施方式中，STSA画面可以被限制为具有大于0的TemporalId。
对于帧间预测，具有与STSA画面相同的TemporalID并且按解码顺序在STSA画面之后的画面可不参考具有与STSA画面相同的TemporalID并且按解码顺序在STSA画面之前的画面。STSA画面可以启用从STSA画面所属的当前子层的紧邻较低子层到当前子层的上切换。
图13是例示通过子画面比特流合并来构造混合NAL单元类型的处理的视图。
参照图13，在图像编码过程中，可以针对包括在一个画面中的多个子画面生成不同比特流Bitstream 1至Bitstream 3。例如，当一个画面包括第一子画面至第三子画面时，可以针对第一子画面生成第一比特流Bitstream 1，可以针对第二子画面生成第二比特流Bitstream 2，并且可以针对第三子画面生成第三比特流Bitstream 3。在这种情况下，针对每个子画面独立地生成的每个比特流可以被称为子画面比特流。
在实施方式中，针对每个子画面，所有编码切片可以被限制为具有相同NAL单元类型。因此，包括在一个子画面比特流中的所有VCL NAL单元可以具有相同NAL单元类型。例如，包括在第一比特流Bitstream 1中的所有VCL NAL单元具有与RASL_NUT相同的NAL单元类型，包括在第二比特流Bitstream 2中的所有VCL NAL单元具有与RADL_NUT相同的NAL单元类型，并且包括在第三比特流Bitstream 3中的所有VCL NAL单元具有与RASL_NUT相同的NAL单元类型。
在图像编码处理中，包括在当前画面中的多个子画面可以被合并。也就是说，与多个子画面相对应的多个子画面比特流可以合并成单个比特流，并且可以基于单个比特流对当面画面进行解码。在这种情况下，可以基于多个合并的子画面比特流具有不同NAL单元类型来确定当前画面是否具有混合NAL单元类型。例如，当第一比特流Bitstream 1至第三比特流Bitstream 3被合并以构成单个比特流时，当前画面可以具有基于RASL_NUT和RADL_NUT的混合NAL单元类型。相比之下，当第一比特流Bitstream 1至第三比特流Bitstream 3被合并以构成单个比特流时，当前画面可以具有基于RASL_NUT的非混合NAL单元类型。
图14是例示各个画面类型的解码顺序和输出顺序的视图。
多个画面可以根据预测方法被分类为I画面、P画面或B画面。I画面可以指仅适用帧内预测的画面，并且可以在不参考另一画面的情况下被解码。I画面可以被称为帧内画面并且可以包括上述IRAP画面。P画面可以指适用帧内预测和单向帧间预测的画面，并且可以通过参考另一画面来解码。B画面可以指适用帧内预测和双向/单向帧间预测的画面，并且可以使用一个或两个其它画面来解码。P画面和B画面可以被称为帧间画面，并且可以包括上述RADL画面、RASL画面和结尾画面。
帧间画面可以根据解码顺序和输出顺序被进一步分类为先导画面(LP)或非先导画面(NLP)。先导画面可以指按解码顺序在IRAP画面之后并且按输出顺序在IRAP画面之前的画面，并且可以包括上述RADL画面和RASL画面。非先导画面可以指按解码顺序和输出顺序在IRAP画面之后的画面，并且可以包括上述结尾画面。
在图14中，每个画面名称可以指示上述画面类型。例如，I5画面可以是I画面，B0、B2、B3、B4和B6画面可以是B画面，P1和P7画面可以是P画面。另外，在图14中，每个箭头可以指示画面之间的参考方向。例如，B0画面可以通过参考P1画面来解码。
参照图14，I5画面可以是IRAP画面(例如，CRA画面)。当执行对I5画面的随机访问时，I5画面可以按解码顺序是第一画面。
B0和P1画面可以按解码顺序在I5画面之前并且构成与I5画面分开的视频序列。B2、B3、B4、B6和P7画面可以按解码顺序在I5画面之后，并且与I5画面一起构成一个视频序列。
B2、B3和B4画面按解码顺序在I5画面之后并且按输出顺序在I5画面之前，因此可以被分类为先导画面。B2画面可以通过参考按解码顺序在I5画面之前的P1画面来解码。因此，当执行对I5画面的随机访问时，B2画面无法通过参考不存在于比特流中的P1画面来正确解码。诸如B2画面的画面类型可以被称为RASL画面。相比之下，B3画面可以通过参考按解码顺序在B3画面之前的I5画面来解码。因此，当执行对I5画面的随机访问时，B3画面可以通过参考预先解码的I5画面来正确解码。另外，B4可以通过参考按解码顺序在B4画面之前的I5画面和B3画面来解码。因此，当执行对I5画面的随机访问时，B4画面可以通过参考预先解码的I5画面和B3画面来正确解码。诸如B3和B4画面的画面类型可以被称为RADL画面。
此外，B6和P7画面按解码顺序和输出顺序在I5画面之后，因此可以被分类为非先导画面。B6画面可以通过参考按解码顺序在前的I5画面和P7画面来解码。因此，当执行对I5画面的随机访问时，B6画面可以通过参考预先解码的I5画面和P7画面来正确解码。
在一个视频序列中，解码处理和输出处理可以基于画面类型按不同的顺序执行。例如，当一个视频序列包括IRAP画面、先导画面和非先导画面时，解码处理可以按照IRAP画面、先导画面和正常画面的顺序执行，输出处理可以按照先导画面、IRAP画面和正常画面的顺序执行。
在下文中，将详细描述RASL画面的类型和随机访问期间的处理。
图15a和图15b是例示根据本公开的实施方式的RASL画面的类型的视图。
首先，参照图15a，RASL画面可具有RASL_NUT的单个NAL单元类型。也就是说，当比特流中的所有VCL NAL单元具有与RASL_NUT相同的NAL单元类型时，可以将与比特流相对应的画面确定为RASL画面。在本公开中，具有RASL_NUT的单个NAL单元类型的RASL画面可以被称为纯RASL画面。
另外，在实施方式中，RASL画面可以具有RASL_NUT和RADL_NUT的混合NAL单元类型。参照图15b，即使当比特流中的所有VCL NAL单元具有与RASL_NUT或RADL_NUT相同的NAL单元类型时，与比特流相对应的画面可以被视为RASL画面。在本公开中，具有RASL_NUT和RADL_NUT的混合NAL单元类型的RASL画面可以被称为混合RASL画面。
RASL画面可以包括具有RASL_NUT的单个NAL单元类型的纯RASL画面(参见图15a)和具有RASL_NUT和RADL_NUT的混合NAL单元类型的混合RASL画面(参见图15b)。
图16a和图16b是例示在随机访问期间对RASL画面的处理的视图。具体地，图16a示出纯RASL画面的情况，并且图16b示出混合RASL画面的情况。在图16a和图16b中，上面已经参照图14描述了多个画面的基本配置(例如，画面类型和画面数量)，因此将省略其重复描述。
当与纯RASL画面相关联的IRAP画面为解码处理或随机访问的开始点或为按解码顺序的第一IRAP画面时，可以跳过纯RASL画面的解码处理和输出处理两者。因此，纯RASL画面可以不用作用于帧间预测的参考画面。
例如，参照图16a，B2画面可以为具有RASL_NUT的单一NAL单元类型的纯RASL画面。B2画面可以与作为IRAP画面的I5画面相关联，并且可以通过参考按解码顺序在I5画面之前的P1画面来解码。因此，当I5画面为随机访问的开始点时，可以跳过B2画面的解码处理和输出处理两者，并且B2画面可以不被另一画面参考。
相比之下，在实施方式中，当与混合RASL画面相关联的IRAP画面为解码处理或随机访问的开始点或为按解码顺序的第一IRAP画面时，可以仅跳过混合RASL画面的输出处理。也就是说，可以执行混合RASL画面的解码处理，并且因此，混合RASL画面可以用作用于帧间预测的参考画面。
例如，参照图16b，B2画面可以为具有RASL_NUT和RADL_NUT的混合NAL单元类型的混合RASL画面。B2画面可以与作为IRAP画面的I5画面相关联，并且可以在不参考按解码顺序在I5画面之前的P1画面的情况下对B2画面中具有RADL_NUT的第一VCL NAL单元进行解码。因此，当I5为随机访问的开始点时，可以执行B2画面的解码过程，并且B2画面可以由另一画面(例如，B4画面)参考。
然而，由于B2画面中具有RASL_NUT的第二VCL NAL单元仍可以通过参考P1画面来解码，因此B2画面的解码处理可能无法确保第二VCL NAL单元的正确解码结果。因此，当I5画面为随机访问的开始点时，可以跳过B2画面的输出处理。
当IRAP画面为解码处理或随机访问的开始点或为按解码顺序的第一IRAP画面时，可以跳过与IRAP画面相关联的RASL画面的输出处理而不管RASL画面是纯RASL画面还是混合RASL画面。在实施方式中，IRAP画面是否为解码处理或随机访问的开始点或按解码顺序的第一IRAP画面可以基于上文所描述的NoIncorrecPicOutputFlag(或NoOutputBeforeRecoveryFlag)来确定。例如，当NoIncorrecPicOutputFlag具有第一值(例如，0)时，IRAP画面可以确定为既不是开始点也不是第一IRAP画面。在这种情况下，可以不跳过与IRAP画面相关联的RASL画面的输出处理。相比之下，当NoIncorrecPicOutputFlag具有第二值(例如，1)时，IRAP画面可以被确定为开始点或第一IRAP画面。在这种情况下，可以跳过与IRAP画面相关联的RASL画面的输出处理。
此外，仅当RASL画面为纯RASL画面时，才可以跳过与IRAP画面相关联的RASL画面的解码处理。在实施方式中，当使用用于比特流一致性测试的另选定时时，可以从解码处理排除与按解码顺序的第一IRAP画面相关联的纯RASL画面。
图17中示出了根据RASL画面的画面类型的解码处理和输出处理。
图17是例示根据本公开的实施方式的RASL画面的解码处理和输出处理的流程图。
图17的解码处理和输出处理可以由图3的图像解码设备执行。例如，解码处理可以由图像解码设备中的至少一个执行，并且输出处理可以在处理器的控制下通过图像解码设备的输出接口来执行。
参照图17，图像解码设备可以确定IRAP画面是否为当前视频序列中按解码顺序的第一画面(例如，解码处理或随机访问的开始点)(S1710)。
当IRAP画面不是当前视频序列中的第一画面时(S1710的“否”)，图像解码设备可以相对于当前画面执行一般解码处理和输出处理(S1720)。例如，在当前画面为先导画面时，当前画面可以在IRAP画面之后解码，但可以在IRAP画面之前输出。相比之下，在当前画面为非先导画面时，当前画面可以在IRAP画面之后被解码且输出。
当IRAP画面为当前视频序列中的第一画面时(S1710的“是”)，图像解码设备可以确定当前画面是否为RASL画面(S1730)。
在当前画面不是RASL画面时(S1730的“否”)，图像解码设备可以执行上文关于当前画面所描述的一般解码处理和输出处理(S1720)。
在当前画面为RASL画面时(S1730的“是”)，图像解码设备可以确定当前画面是否具有混合NAL单元类型(S1740)。
在当前画面不具有混合NAL单元类型时(也就是说，在当前画面为纯RASL画面时)(S1740的“否”)，图像解码设备可以跳过针对当前画面的解码处理和输出处理两者(S1750)。如上文所描述，可以通过参考按解码顺序在IRAP画面之前的另一画面来对纯RASL画面进行解码。因此，当IRAP画面为按解码顺序的第一画面时，纯RASL画面可能无法被正确地解码。因此，在这种情况下，可以跳过与IRAP画面相关联的纯RASL画面的解码处理和输出处理两者。
相比之下，在当前画面具有混合NAL单元类型时(也就是说，在当前画面为混合RASL画面时)(S1740的“是”)，图像解码设备可以仅跳过用于当前画面的输出处理(S1760)。如上文所描述，混合RASL画面可以包括具有与RADL_NUT相同的NAL单元类型的至少一个第一子画面，并且第一子画面可以被视为一个画面(例如，subpic_treated_as_pic[i]＝1)。不同于纯RASL画面，可以在不参考按解码顺序在IRAP画面之前的另一画面的情况下对第一子画面进行解码。结果，即使当IRAP画面为按解码顺序的第一画面时，第一子画面也可以被正确地解码。因此，在这种情况下，可以执行用于与IRAP画面相关联的混合RASL画面的解码处理。此外，混合RASL画面还可以包括具有与RASL_NUT相同的NAL单元类型的至少一个第二子画面。类似于纯RASL画面，可以通过参考按解码顺序在IRAP画面之前的另一画面来对第二子画面进行解码。结果，当IRAP画面为按解码顺序的第一画面时，第二子画面可能无法被正确地解码。因此，在这种情况下，可以跳过用于与IRAP画面相关联的混合RASL画面的输出处理。
如上文所描述，当IRAP画面为解码处理或随机访问的开始点或为按解码顺序的第一IRAP画面时，可以跳过与IRAP画面相关联的RASL画面的输出处理，而不管RASL画面是纯RASL画面还是混合RASL画面。相比之下，仅当RASL画面为纯RASL画面时，才可以跳过与IRAP画面相关联的RASL画面的解码处理。
此外，尽管步骤S1710被示出为在图17中的步骤S1720之前执行，但是这可以根据实施方式进行各种修改。例如，步骤S1710可以与步骤S1720同时执行或在步骤S1710之后执行。
图18a和图18b是例示根据本公开的实施方式的RASL画面的参考条件的视图。具体地，图18a例示纯RASL画面的情况，并且图17b例示混合RASL画面的情况。
参照图18a和图18b，RASL画面可以在预定参考条件下被RADL画面限制性地参考。根据本公开的实施方式的RASL画面的参考条件如下。
(1)参考条件1
由RADL画面参考的RASL画面可以被限制为混合RASL画面。例如，当RASL画面包括具有RASL_NUT的切片时，RASL画面可以不被RADL画面参考(参见图18a)。相比之下，当RASL画面包括具有与RASL_NUT相同的NAL单元类型的切片和具有与RADL_NUT相同的NAL单元类型的切片两者时，RASL画面可以被RADL画面引用(参见图18b)。
(2)参考条件2
a)参考RASL画面的RADL画面可以被限制为包含至少两个子画面。
b)另外，每个子画面可以被限制为被视为一个独立画面(例如，subpic_treated_as_pic_flag[i]＝1)。
c)另外，由RADL画面参考的RASL画面可以包括至少两个子画面，并且子画面中的至少一个可以被限制为具有与RADL_NUT相同的NAL单元类型。
d)另外，RASL画面中的具有与RADL_NUT相同的NAL单元类型的子画面可以被限制为被视为一个独立画面(例如，subpic_treated_as_pic_flag[i]＝1)。
e)另外，当RASL画面由RADL画面中的特定子画面(subpicA)参考时，RASL画面中的特定子画面subpicA的并置子画面可以被限制为具有与RADL_NUT相同的NAL单元类型的子画面。
例如，如图18b中所示，仅包括两个或更多个子画面(Subpic_1、Subpic_2和Subpic_3)的混合RASL画面(其中的至少一者(Subpic_2)具有RADL_NUT)可以由RADL画面参考。在这种情况下，在混合RASL画面中，具有RADL_NUT的第二子画面(Subpic2)可以被视为一个独立画面。另外，仅第二子画面(Subpic2)可以为RADL画面中的特定子画面的并置子画面。
此外，在当前画面具有如混合RASL画面的混合NAL单元类型时，可以针对当前画面中的多个子画面生成多个子画面比特流。可以在解码处理中合并多个子画面比特流，从而构造单个比特流。单个比特流可以被称为单层比特流，并且以下约束适用以便满足比特流一致性。
-(约束1)比特流内的除了按解码顺序的第一画面之外的每个画面被视为与按解码顺序的先前IRAP画面相关联。
-(约束2)当一个画面为IRAP画面的先导画面时，该画面应为RADL画面或RASL画面。
-(约束3)当一个画面为IRAP画面的结尾画面时，该画面不应为RADL画面或RASL画面。
-(约束4)与IDR画面相关联的任何RASL画面不应存在于比特流中。
-(约束5)与具有与IDR_N_LP相同的NAL单元类型的IDR画面相关联的任何RADL画面不应存在于比特流中。在这种情况下，当要参考的必要参数集可用时(在比特流内或通过外部装置)，通过丢弃在IRAP画面单元(PU)之前的所有画面单元(PU)，随机访问(以及IRAP画面和与其连续的所有非RASL画面的正确解码)在IRAP画面单元(PU)的位置处可以是可能的。
-(约束6)按解码顺序在IRAP画面之前的所有画面应按输出顺序在IRAP画面之前并且按输出顺序在与IRAP画面相关联的所有RADL画面之前。
-(约束7)与CRA画面相关联的所有RASL画面应按输出顺序在与CRA画面相关联的所有RADL画面之前。
-(约束8)与CRA画面相关联的所有RASL画面应按输出顺序在按解码顺序在CRA画面之前的所有IRAP画面之后。
-(约束9)当field_seq_flag具有第一值(例如，0)并且当前画面是与IRAP画面相关联的先导画面时，画面应按解码顺序在与IRAP画面相关联的所有非先导画面之前。另选地，对于与IRAP画面相关联的第一先导画面picA和最后先导画面picB，按解码顺序在picA之前的一个非先导画面应存在，且任何非先导画面按解码顺序将不存在于picA与picB之间。
在下文中，将参照图19和图20详细描述根据本公开的实施方式的图像编码/解码方法。
图19是例示根据本公开的实施方式的图像编码方法的流程图。
图19的图像编码方法可以由图2的图像编码设备执行。例如，步骤S1910可以由图像分割器110执行，并且步骤S1920和S1930可以由熵编码器190执行。
参照图19，图像编码设备可以将当前图像分割成两个或更多个子画面(S1910)。当前画面的分割信息可以使用高级语法中的一或更多个语法元素来用信号通知。例如，通过上文参照图7所描述的画面参数集(PPS)，指示当前画面是否被分割的no_pic_partition_flag和指示包括在当前画面中的子画面的数量的pps_num_subpics_minus1可以用信号通知。在当前画面被分割成两个或更多个子画面时，no_pic_partition_flag可以具有第一值(例如，0)，并且pps_num_subpics_minus可以具有比0大的值。
当前画面中的每个子画面可以被视为一个画面。当子画面被视为一个画面时，子画面可以被独立地编码/解码，而不管编码/解码另一子画面的结果。在编码/解码期间，与子画面的处理有关的信息可以使用高级语法中的语法元素用信号通知。例如，通过上文参照图12所描述的序列参数集(SPS)，指示当前画面中的每个子画面是否被视为一个画面的sps_subpic_treated_as_pic_flag[i]可以用信号通知。当当前画面中的第i子画面在排除环路内滤波操作的编码/解码处理中被视为一个画面时，sps_subpic_treated_as_pic_flag[i]可以具有第二值(例如，1)。此外，当sps_subpic_treated_as_pic_flag[i]未用信号通知时，sps_subpic_treated_as_pic_flag[i]可以推断为具有第二值(例如，1)。
当前画面中的子画面中的至少一些可以具有不同NAL单元类型。例如，在当前画面包括第一子画面和第二子画面时，第一子画面可以具有第一NAL单元类型，并且第二子画面可以具有与第一NAL单元类型不同的第二NAL单元类型。上文参照表1描述了子画面的NAL单元类型的示例。
包括在当前画面中的每个子画面中的所有切片可以具有相同NAL单元类型。在上述示例中，包括在第一子画面中的所有切片可以具有第一NAL单元类型，并且包括在第二子画面中的所有切片可以具有第二NAL单元类型。
图像编码设备可以确定当前图像中的每个子画面的NAL单元类型(S1920)。
在实施方式中，可以基于子画面类型来确定子画面的NAL单元类型。例如，当子画面为IRAP子画面时，子画面的NAL单元类型可以被确定为IDR_W_RADL、IDR_N_LP或CRA_NUT。另选地，当子画面是RASL子画面时，子画面的NAL单元类型可以被确定为RASL_NUT。
此外，可以基于预定混合约束条件来确定当前画面中的子画面的NAL单元类型的组合。例如，在当前画面中的一个或更多个切片具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型时，当前画面中的所有其它切片可以具有与IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT相同的NAL单元类型。另外，在当前画面中的一个或更多个切片具有诸如RASL_NUT的相同NAL单元类型时，当前画面中的所有其它切片可以具有与RADL_NUT相同的NAL单元类型。
在实施方式中，具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的当前画面可以被视为与预定帧内随机访问点(IRAP)画面相关联的RASL画面，并且可以被称为混合RASL画面。这里，IRAP画面可以包括清洁随机访问(CRA)画面。
在实施方式中，混合RASL画面可以用作参考与混合RASL画面相同的IRAP画面的RADL画面的参考画面。在这种情况下，上面参照图18a和图18b描述的预定参考条件是适用的。
图像编码设备可以基于确定的NAL单元类型对当前画面中的子画面进行编码(S1930)。在这种情况下，如上所述，可以基于预定预测模式在编码单元(CU)中执行针对每个切片的编码处理。此外，每个子画面可以被独立地编码以构成不同的(子画面)比特流。例如，可以构成包括第一子画面的编码信息的第一(子画面)比特流以及包括第二子画面的编码信息的第二(子画面)比特流。
根据本公开的实施方式，具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的画面可以被视为RASL画面。不同于具有RASL_NUT的单个NAL单元类型的RASL画面，RASL画面可以在预定参考条件下由RADL画面参考。
图20是例示根据本公开的实施方式的图像解码方法的流程图。
图20的图像解码方法可以由图3的图像解码设备执行。例如，步骤S2010和S2020可以由熵解码器210执行，步骤S2030可以由解量化器220至帧内预测器265执行。
参照图20，图像解码装置可以从比特流获取包括编码图像数据的至少一个NAL单元的NAL单元类型信息(S2010)。这里，编码图像数据可以包括切片数据，并且包括编码图像数据的NAL单元可以意指VCL NAL单元。另外，NAL单元类型信息可以包括与NAL单元类型相关的语法元素。例如，NAL单元类型信息可以包括从NAL单元报头获取的语法元素nal_unit_type。另外，NAL单元类型信息可以包括从画面参数集(PPS)获取的语法元素pps_mixed_nalu_types_in_pic_flag。
图像解码设备可以基于所获取的NAL单元类型信息来确定当前画面中的一个或更多个切片的至少一个NAL单元类型(S2020)。
当pps_mixed_nalu_types_in_pic_flag具有第一值(例如，0)时，当前画面可以不具有混合NAL单元类型。在这种情况下，当前画面中的所有切片可以具有基于nal_unit_type的值确定的相同NAL单元类型。
相比之下，当pps_mixed_nalu_types_in_pic_flag具有第二值(例如，1)时，当前画面可以具有混合NAL单元类型。在这种情况下，当前画面可以包括各自被视为一个画面的两个或更多个子画面。子画面中的一些可以具有不同NAL单元类型。例如，在当前画面包括第一子画面至第三子画面时，第一子画面可以具有第一NAL单元类型，第二子画面可以具有第二NAL单元类型，并且第三子画面可以具有第三NAL单元类型。在这种情况下，第一NAL单元类型至第三NAL单元类型可以彼此不同，或第一NAL单元类型可以等于第二NAL类型但可以不同于第三NAL单元类型。包括在子画面中的所有切片可以具有相同NAL单元类型。
此外，可以基于预定混合约束条件来确定当前画面中的切片的NAL单元类型的组合。例如，当画面中的一个或更多个切片具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型时，画面中的所有其它切片可以具有与IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT相同的NAL单元类型。另外，在当前画面中的一个或更多个切片具有与RASL_NUT相同的NAL单元类型时，当前画面中的所有其它切片可以具有与RADL_NUT相同的NAL单元类型。
此外，在当前画面具有混合NAL单元类型时，可以基于切片的NUT值来确定当前画面的类型。例如，在当前画面中的切片具有CRA_NUT和IDR_RADL的NAL单元类型时，当前画面的类型可以被确定为IRAP画面。另外，在当前画面中的切片具有RASL_NUT和RADL_NUT的NAL单元类型时，当前画面的类型可以被确定为RASL画面。也就是说，可以基于当前画面中的至少一个切片具有RASL_NUT而将当前画面的类型确定为RASL画面。
在实施方式中，在当前画面具有混合NAL单元类型时，当前画面可以被限制为具有两个或更多个子画面。另外，当前画面中的每个子画面(subpic)可以被限制为被视为一个画面。例如，在当前画面为具有混合NAL单元类型的RASL画面(即，混合RASL画面)时，当前画面可以包括各自被视为一个画面的两个或更多个子画面。在这种情况下，子画面中的至少一个可以包括具有与RADL_NUT相同的NAL单元类型的一或更多个切片。
图像解码设备可以基于确定的NAL单元类型来解码当前画面中的每个切片(S2030)。在这种情况下，各个切片的解码处理可以如上所述基于预定预测模式以编码单元(CU)执行。
此外，在当前画面为RASL画面并且与当前画面相关联的IRAP画面为按解码顺序的第一画面(例如，解码处理或随机访问的开始点)时，可以基于是否包括具有RADL_NUT的一个或更多个切片来选择性地对当前画面进行解码。例如，在当前画面为具有RASL_NUT的单个NAL单元类型的纯RASL画面并且相对于与当前画面相关联的IRAP画面执行随机访问时，可以跳过当前画面的解码处理。相比之下，在当前画面为具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的混合RASL画面并且相对于与当前画面相关联的IRAP画面执行随机访问时，可以执行当前画面的解码处理。这里，IRAP画面可以包括CRA画面。
在实施方式中，混合RASL画面可以包括多个子画面。在这种情况下，子画面中的每一个可以被视为一个独立画面。指示子画面是否被视为一个独立画面的信息可以使用高级语法中的语法元素用信号通知。例如，指示当前子画面是否被视为一个画面的sps_subpic_treated_as_pic_flag[i]可以通过序列参数集(SPS)用信号通知。在当前子画面被视为一个画面时，sps_subpic_treated_as_pic_flag[i]可以具有第二值(例如，1)。另外，分别包括在子画面中的所有切片可以具有相同NAL单元类型。
在实施方式中，包括在混合RASL画面中的多个子画面当中具有RADL_NUT的至少一个子画面可以用作与和混合RASL画面相同的IRAP画面相关联的RADL画面的参考画面。
在实施方式中，包括在混合RASL画面中的多个子画面当中具有RASL_NUT的第一子画面可以按输出顺序在多个子画面当中具有RADL_NUT的第二子画面之前。此外，当与混合RASL画面相关联的IRAP画面为按解码顺序的第一画面(例如，解码处理或随机访问的开始点)时，可以跳过混合RASL画面的输出处理。
根据本公开的实施方式，具有基于RASL_NUT和RADL_NUT的混合NAL单元类型的画面可以被视为RASL画面。RASL画面可以被称为混合RASL画面，并且具有单个NAL单元类型的RASL_NUT的RASL画面可以被称为纯RASL画面。当与混合RASL画面相关联的IRPA画面为按解码顺序的第一画面时，可以仅跳过混合RASL画面的输出处理。因此，混合RASL画面可以在预定参考条件下用作RADL画面的参考画面。在此方面，混合RASL画面可以与其解码处理和输出处理两者被跳过的纯RASL画面不同。
本公开中描述的语法元素的名称可以包括关于用信号通知对应语法元素的位置的信息。例如，以“sps_”开始的语法元素可以意指在序列参数集(SPS)中用信号通知对应语法元素。另外，以“pps_”、“ph_”、“sh_”开始的语法元素可以意指对应语法元素分别在画面参数集(PPS)、画面报头和切片报头中用信号通知。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以被包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图21是例示可应用本公开的实施方式的内容流系统的视图。
如图21中所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能电话、相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、板式PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (15)

1.一种由图像解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
从比特流获得包括当前画面的编码图像数据的至少一个网络抽象层NAL单元的NAL单元类型信息；
基于所获得的NAL单元类型信息来确定所述当前画面中的多个切片中的每一个的NAL单元类型；以及
基于所确定的NAL单元类型来对所述多个切片进行解码，
其中，基于所述多个切片当中的至少一个切片具有随机访问跳过先导RASL_NUT并且所述多个切片当中的其它切片全部具有RASL_NUT或RADL_NUT，将所述当前画面视为RASL画面。
2.根据权利要求1所述的图像解码方法，
其中，基于与所述RASL画面相关联的帧内随机访问点IRAP画面为按解码顺序的第一画面，跳过针对所述RASL画面的输出处理。
3.根据权利要求2所述的图像解码方法，
其中，基于针对所述IRAP画面的标志信息来确定是否跳过针对所述RASL画面的所述输出处理。
4.根据权利要求1所述的图像解码方法，
其中，基于所述多个切片中的至少一个具有所述RADL_NUT，所述RASL画面被随机访问可解码先导RADL画面参考。
5.根据权利要求4所述的图像解码方法，
其中，所述RASL画面包括两个或更多个子画面，并且所述子画面当中的至少一个子画面包括具有所述RADL_NUT的一个或更多个切片。
6.根据权利要求5所述的图像解码方法，
其中，所述至少一个子画面被视为一个画面。
7.根据权利要求5所述的图像解码方法，
其中，基于RADL画面中的至少一个第一子画面参考所述RASL画面，所述第一子画面在所述RASL画面中的并置子画面包括具有所述RADL_NUT的一个或更多个切片。
8.根据权利要求5所述的图像解码方法，
其中，所述RADL子画面画面包括两个或更多个子画面，每个子画面被视为一个画面。
9.根据权利要求1所述的图像解码方法，
其中，基于与所述RASL画面相关联的帧内随机访问点IRAP画面为按解码顺序的第一画面并且所述多个切片全部具有所述RASL_NUT，所述RASL画面从解码处理中被省略。
10.一种图像解码设备，所述图像解码设备包括存储器和至少一个处理器，其中，所述至少一个处理器被配置为执行以下步骤：
从比特流获得包括当前画面的编码图像数据的至少一个网络抽象层NAL单元的NAL单元类型信息；
基于所获得的NAL单元类型信息来确定所述当前画面中的多个切片中的每一个的NAL单元类型；以及
基于所确定的NAL单元类型来对所述多个切片进行解码，
其中，基于所述多个切片当中的至少一个切片具有随机访问跳过先导RASL_NUT并且所述多个切片当中的其它切片全部具有RASL_NUT或RADL_NUT，所述当前画面被视为RASL画面。
11.一种由图像编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
将当前画面分割成多个子画面；
确定所述多个子画面中的每一个的网络抽象层NAL单元类型；以及
基于所确定的NAL单元类型来对所述多个子画面进行编码，
其中，基于包括在所述多个子画面中的多个切片中的至少一个切片具有随机访问跳过先导RASL_NUT并且所述多个切片当中的其它切片全部具有RASL_NUT或RADL_NUT，将所述当前画面视为RASL画面。
12.根据权利要求11所述的图像编码方法，
其中，基于与所述RASL画面相关联的帧内随机访问点IRAP画面为按解码顺序的第一画面，跳过用于所述RASL画面的输出处理。
13.根据权利要求11所述的图像编码方法，
其中，基于所述多个切片中的至少一个具有所述随机访问可解码先导RADL_NUT，所述RASL画面被RADL画面参考。
14.根据权利要求13所述的图像编码方法，
其中，所述RASL画面包括两个或更多个子画面，并且所述子画面中的至少一个包括具有所述RADL_NUT的至少一个切片。
15.一种存储由根据权利要求11所述的图像编码方法生成的比特流的非暂时性计算机可读记录介质。
CN202180037082.5A 2020-03-23 2021-03-23 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质 Pending CN115668943A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062993668P 2020-03-23 2020-03-23
US62/993,668 2020-03-23
PCT/KR2021/003560 WO2021194211A1 (ko) 2020-03-23 2021-03-23 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Publications (1)

Publication Number Publication Date
CN115668943A true CN115668943A (zh) 2023-01-31

Family

ID=77892385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180037082.5A Pending CN115668943A (zh) 2020-03-23 2021-03-23 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质

Country Status (6)

Country Link
US (2) US11818380B2 (zh)
JP (1) JP7492023B2 (zh)
KR (1) KR20220160044A (zh)
CN (1) CN115668943A (zh)
AU (2) AU2021241294B2 (zh)
WO (1) WO2021194211A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6209772B2 (ja) * 2013-01-15 2017-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． シグナリングを用いたビデオデコーダ
US20160100180A1 (en) * 2013-04-17 2016-04-07 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
US10554990B2 (en) * 2013-10-14 2020-02-04 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10148983B2 (en) * 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
CN115550659A (zh) * 2019-03-11 2022-12-30 华为技术有限公司 在一个图像内支持混合nal单元类型的编码方法及编码器
US20220303558A1 (en) * 2019-06-19 2022-09-22 Telefonaktiebolaget Lm Ericsson (Publ) Compact network abstraction layer (nal) unit header
US11825121B2 (en) * 2019-09-23 2023-11-21 Tencent America LLC Method for access unit delimiter signaling
WO2021188555A1 (en) * 2020-03-19 2021-09-23 Bytedance Inc. Constraints on reference picture order
EP4107950A4 (en) * 2020-03-20 2023-08-09 ByteDance Inc. USE OF SUBFRAME INFORMATION IN VIDEO ENCODING

Also Published As

Publication number Publication date
KR20220160044A (ko) 2022-12-05
US11818380B2 (en) 2023-11-14
JP7492023B2 (ja) 2024-05-28
WO2021194211A1 (ko) 2021-09-30
AU2021241294B2 (en) 2024-05-09
US20230018478A1 (en) 2023-01-19
JP2023518991A (ja) 2023-05-09
AU2021241294A1 (en) 2022-11-24
AU2024202365A1 (en) 2024-05-02
US20240098291A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US11695934B2 (en) Mixed NAL unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
US20240129511A1 (en) Mixed nal unit type-based image encoding/decoding method and device, and method for transmitting bitstream
KR20230024340A (ko) Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115668927A (zh) 基于输出层集合确定是否参考参数集的图像编码/解码方法和设备及发送比特流的方法
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
JP7492023B2 (ja) 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
JP7494315B2 (ja) Ｇｄｒ又はｉｒｐａピクチャに対する利用可能スライスタイプ情報に基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
RU2806784C1 (ru) Способ и устройство кодирования/декодирования изображений на основе смешанного типа nal-единицы и способ для передачи потока битов
US20230224483A1 (en) Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
KR20230027180A (ko) 픽처 출력 타이밍 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
KR20220161427A (ko) 픽처 분할 정보 및 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
CN115668944A (zh) 用信号通知dpb参数的视频编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668948A (zh) 用信号通知ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668951A (zh) 用信号通知关于dpb参数的数量的信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668950A (zh) 用信号通知hrd参数的图像编码/解码方法和装置及存储比特流的计算机可读记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination