CN115280782A - 基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法 - Google Patents

基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法 Download PDF

Info

Publication number
CN115280782A
CN115280782A CN202180018949.2A CN202180018949A CN115280782A CN 115280782 A CN115280782 A CN 115280782A CN 202180018949 A CN202180018949 A CN 202180018949A CN 115280782 A CN115280782 A CN 115280782A
Authority
CN
China
Prior art keywords
picture
nal unit
sub
unit type
nut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018949.2A
Other languages
English (en)
Inventor
亨得利·亨得利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115280782A publication Critical patent/CN115280782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种视频编码/解码方法和设备。根据本公开的视频解码方法包括以下步骤：从比特流获得当前画面的视频编码层(VCL)网络抽象层(NAL)单元类型信息；基于所获得的VCL NAL单元类型信息来确定当前画面中的多个切片中的每一个的NAL单元类型；以及基于所确定的NAL单元类型对多个切片进行解码，其中，基于多个切片中的至少一些具有不同的NAL单元类型，当前画面包括具有不同NAL单元类型的第一子画面和第二子画面，并且可以基于第一子画面的NAL单元类型来确定第二子画面的NAL单元类型。

Description

基于混合NAL单元类型的视频编码/解码方法和设备及发送比 特流的方法
技术领域
本公开涉及图像编码/解码方法和设备，更具体地，涉及一种基于混合NAL单元类型的图像编码和解码方法和设备以及用于存储通过本公开的图像编码方法/设备生成的比特流的记录介质。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的改进，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种基于混合NAL单元类型的图像编码/解码方法和设备。
本公开的另一个目的是提供一种基于具有不同NAL单元类型的两个或更多个子画面的图像编码/解码方法和设备。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的非暂时性解码器可读记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
根据本公开的一方面，一种图像解码方法可以包括以下步骤：从比特流获得当前画面的视频编码层(VCL)网络抽象层(NAL)单元类型信息；基于所获得的VCL NAL单元类型信息来确定包括在当前画面中的多个切片中的每一个的NAL单元类型；以及基于所确定的NAL单元类型对多个切片进行解码。基于多个切片中的至少一些具有不同的NAL单元类型，当前画面可以包括具有不同NAL单元类型的第一子画面和第二子画面，并且第二子画面的NAL单元类型可以基于第一子画面的NAL单元类型来确定。
根据本公开的另一方面，一种图像解码设备包括存储器和至少一个处理器。所述至少一个处理器可以从比特流获得当前画面的视频编码层(VCL)网络抽象层(NAL)单元类型信息，基于所获得的VCL NAL单元类型信息来确定包括在当前画面中的多个切片中的每一个的NAL单元类型，并且基于所确定的NAL单元类型对多个切片进行解码。基于多个切片中的至少一些具有不同的NAL单元类型，当前画面可以包括具有不同NAL单元类型的第一子画面和第二子画面，并且第二子画面的NAL单元类型可以基于第一子画面的NAL单元类型来确定。
根据本公开的另一方面，一种图像编码方法包括以下步骤：将当前画面分割成一个或更多个子画面；确定包括在一个或更多个子画面中的多个切片中的每一个的网络抽象层(NAL)单元类型；以及基于所确定的NAL单元类型对多个切片进行编码。基于多个切片中的至少一些具有不同的NAL单元类型，当前画面可以包括具有不同NAL单元类型的第一子画面和第二子画面，并且第二子画面的NAL单元类型可以基于第一子画面的NAL单元类型来确定。
另外，根据本公开的另一方面的传输方法可以发送由本公开的图像编码设备或图像编码方法生成的比特流。
另外，一种计算机可读记录介质存储由本公开的图像编码设备或图像编码方法生成的比特流。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，能够提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种基于混合NAL单元类型的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种基于具有不同混合NAL单元类型的两个或更多个子画面的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地例示本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地例示本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地例示本公开的实施方式适用于的图像解码设备的视图。
图4是例示本公开的实施方式适用于的图像解码过程的流程图。
图5是例示本公开的实施方式适用于的图像编码过程的流程图。
图6是例示编码图像/视频的层结构的示例的视图。
图7是例示根据本公开的实施方式的画面参数集(PPS)的视图。
图8是例示根据本公开的实施方式的切片头的视图。
图9是例示子画面的示例的视图。
图10是例示具有混合NAL单元类型的画面的示例的视图。
图11是例示根据本公开的实施方式的画面参数集(PPS)的示例的视图。
图12是例示根据本公开的实施方式的序列参数集(SPS)的示例的视图。
图13是例示各个画面类型的解码顺序和输出顺序的视图。
图14是例示根据本公开的实施方式的确定当前画面的NAL单元类型的方法的流程图。
图15是例示根据本公开的实施方式的确定具有混合NAL单元类型的当前画面的类型的方法的流程图。
图16是例示根据本公开的实施方式的图像编码方法的流程图。
图17是例示根据本公开的实施方式的图像解码方法的流程图。
图18是例示本公开的实施方式适用于的内容流系统的视图。
具体实施方式
以下，将结合附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“耦合”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”中的一个。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确说明为色度块，“当前块”可以意指包括亮度分量块和色度分量块二者的块或“当前块的亮度块”。当前块的亮度分量块可以通过包括诸如“亮度块”或“当前亮度块”的亮度分量块的明确描述来表示。另外，“当前块的色度分量块”可以通过包括诸如“色度块”或“当前色度块”的色度分量块的明确描述来表示。
在本公开中，术语“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编码系统的概述
图1是示意性地示出根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测器180可基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测器可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测器可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的至少一种帧间预测技术。
预测器生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测器180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测器180中的参考画面。存储器170可以存储从其中推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器160或帧内预测器265中的至少一个。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测器中描述的相同的是，预测器可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测器265可以通过参考当前画面中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测器260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或帧内预测器265)输出的预测信号(预测块、预测样本阵列)相加生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(例如，应用跳过模式的情况)，则预测块可以用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面的帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测器260中的参考画面。存储器250可以存储从其中推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测器260和帧内预测器265。
一般图像/视频编码过程
在图像/视频编码中，配置图像/视频的画面可以根据解码顺序来编码/解码。与解码画面的输出顺序对应的画面顺序可以与解码顺序不同地设定，并且基于此，在帧间预测期间不仅可以执行前向预测，而且可以执行后向预测。
图4是例示本公开的实施方式适用于的图像解码过程的流程图。
图4所示的各个过程可以由图3的图像解码设备执行。例如，步骤S410可以由熵解码器210执行，步骤S420可以由包括预测器265和260的预测器执行，步骤S430可以由残差处理器220和230执行，步骤S440可以由加法器235执行，步骤S450可以由滤波器240执行。步骤S410可以包括本公开中描述的信息解码过程，步骤S420可以包括本公开中描述的帧间/帧内预测过程，步骤S430可以包括本公开中描述的残差处理过程，步骤S440可以包括本公开中描述的块/画面重构过程，步骤S450可以包括本公开中描述的环路内滤波过程。
参照图4，画面解码过程可以示意性地包括用于从比特流获得图像/视频信息(通过解码)的过程(S410)、画面重构过程(S420至S440)和针对重构画面的环路内滤波过程(S450)。可以基于通过本公开中描述的帧间/帧内预测(S420)和残差处理(S430)(量化变换系数的解量化和逆变换)获得的预测样本和残差样本来执行画面重构过程。可以通过针对通过画面重构过程生成的重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以作为解码画面输出，被存储在存储器250的解码画面缓冲器(DPB)中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。可以省略环路内滤波过程(S450)。在这种情况下，重构画面可以作为解码画面输出，被存储在存储器250的DPB中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。如上所述，环路内滤波过程(S450)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程，其中一些或全部可以省略。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程中的一个或一些可以依次应用，或者它们全部可以依次应用。例如，在对重构画面应用去块滤波过程之后，可以执行SAO过程。另选地，在对重构画面应用去块滤波过程之后，可以执行ALF过程。这甚至可以在编码设备中类似地执行。
图5是例示本公开的实施方式适用于的图像编码过程的流程图。
图5所示的各个过程可以由图2的图像编码设备执行。例如，步骤S510可以由预测器185和180执行，步骤S520可以由残差处理器115、120和130执行，步骤S530可以在熵编码器190中执行。步骤S510可以包括本公开中描述的帧间/帧内预测过程，步骤S520可以包括本公开中描述的残差处理过程，步骤S530可以包括本公开中描述的信息编码过程。
参照图5，画面编码过程可以示意性地不仅包括对用于画面重构的信息(例如，预测信息、残差信息、分割信息等)进行编码并以比特流的形式输出的过程，而且包括为当前画面生成重构画面的过程以及对重构画面应用环路内滤波的过程(可选)。编码设备可以通过解量化器140和逆变换器150从量化变换系数推导(修改的)残差样本，并且基于作为步骤S510的输出的预测样本和(修改的)残差样本来生成重构画面。这样生成的重构画面可以等于解码设备中生成的重构画面。可以通过对重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以被存储在存储器170的解码画面缓冲器中，并且类似于解码设备，在稍后对画面进行编码时可以在帧间预测过程中用作参考画面。如上所述，在一些情况下，一些或所有环路内滤波过程可以被省略。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器190中编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息使用与编码设备相同的方法执行环路内滤波过程。
通过这种环路内滤波过程，在图像/视频编码期间出现的噪声(例如，块伪影和振铃伪影)可以减少，并且主观/客观视觉质量可以改进。另外，通过在编码设备和解码设备二者中执行环路内滤波过程，编码设备和解码设备可以推导相同的预测结果，画面编码可靠性可以增加，并且要为画面编码发送的数据量可以减少。
如上所述，画面重构过程可以不仅在图像解码设备中执行，而且在图像编码设备中执行。可以基于帧内预测/帧间预测以块为单位生成重构块，并且可以生成包括重构块的重构画面。当当前画面/切片/拼块组是I画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以仅基于帧内预测来重构。另一方面，当当前画面/切片/拼块组是P或B画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以基于帧内预测或帧间预测来重构。在这种情况下，可以对当前画面/切片/拼块组中的一些块应用帧间预测，并且可以对剩余块应用帧内预测。画面的颜色分量可以包括亮度分量和色度分量，并且除非本公开中明确限制，否则本公开的方法和实施方式适用于亮度分量和色度分量二者。
对层结构进行编码的示例
本公开的编码视频/图像可以根据例如稍后描述的编码层和结构来处理。
图6是例示编码图像的层结构的视图。
编码图像被分类为用于图像解码处理和处理自己的视频编码层(VCL)、用于发送和存储编码信息的下层系统以及存在于VCL和下层系统之间并负责网络适配功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据，或者可以生成包括诸如画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的信息的参数集或者图像的解码处理另外所需的补充增强信息(SEI)消息。
在NAL中，头信息(NAL单元头)可以被添加到VCL中生成的原始字节序列有效载荷(RBSP)以生成NAL单元。在这种情况下，RBSP是指VCL中生成的切片数据、参数集、SEI消息。NAL单元头可以包括根据对应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
如图6所示，NAL单元可以根据VCL中生成的RBSP的类型被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，非VCLNAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以根据下层系统的数据格式附有头信息并通过网络发送。例如，NAL单元可以被修改为具有预定数据格式(例如，H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流))的数据，并通过各种网络发送。
如上所述，在NAL单元中，可以根据对应NAL单元中所包括的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以被存储在NAL单元头中并用信号通知。例如，这可以基于NAL单元是否包括关于图像的信息(切片数据)大致分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据画面的性质和类型来分类，并且非VCLNAL单元类型可以根据参数集的类型来分类。
下面将列出根据包括在非VCL NAL单元类型中的参数集/信息的类型指定的NAL单元类型的示例。
-DCI(解码能力信息)NAL单元类型(NUT)：包括DCI的NAL单元类型
-VPS(视频参数集)NUT：包括VPS的NAL单元类型
-SPS(序列参数集)NUT：包括SPS的NAL单元类型
-PPS(画面参数集)NUT：包括PPS的NAL单元类型
-APS(适配参数集)NUT：包括APS的NAL单元类型
-PH(画面头)NUT：包括PH的NAL单元类型
上述NAL单元类型可以具有关于NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元头中并用信号通知。例如，该语法信息可以包括nal_unit_type，NAL单元类型可以由nal_unit_type的值指定。
此外，如上所述，一个画面可以包括多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，可以向一个画面中的多个切片(切片头和切片数据集)进一步添加一个画面头。画面头(画面头语法)可以包括共同适用于画面的信息/参数。切片头(切片头语法)可以包括共同适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以是共同适用于多个层的信息/参数。DCI(DCI语法)可以包括与解码能力有关的信息/参数。
在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、画面头语法或切片头语法中的至少一个。另外，在本公开中，低级语法(LLS)可以包括例如切片数据语法、CTU语法、编码单元语法、变换单元语法等。
在本公开中，由编码设备编码并以比特流的形式用信号通知给解码设备的图像/视频信息可以不仅包括画面内分割相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息，而且包括关于切片头的信息、关于画面头的信息、关于APS的信息、关于PPS的信息、关于SPS的信息、关于VPS的信息和/或关于DCI的信息。另外，图像/视频信息还可以包括一般约束信息和/或关于NAL单元头的信息。
入口点的信令的概述
如上所述，VCL NAL单元可以包括切片数据作为RBSP(原始字节序列有效载荷)。切片数据可以在VCL NAL单元中以字节为单位对齐，并且可以包括一个或更多个子集。可以为子集定义用于随机访问(RA)的至少一个入口点，并且可以基于入口点执行并行处理。
通用视频编码(VVC)标准(ITU-T Rec.H.266)支持波前并行处理(WPP)，其是各种并行处理技术之一。画面中的多个切片可以基于WPP并行编码/解码。
为了启用并行处理能力，可以用信号通知入口点信息。图像解码设备可以基于入口点信息直接访问包括在NAL单元中的数据片段的起点。这里，数据片段的起点可以意指切片中的拼块的起点或切片中的CTU行的起点。
可以在高级语法(例如，画面参数集(PPS))和/或切片头中用信号通知入口点信息。
图7是例示根据本公开的实施方式的画面参数集(PPS)的视图，图8是例示根据本公开的实施方式的切片头的视图。
首先，参照图7，画面参数集(PPS)可以包括entry_point_offsets_present_flag作为指示是否用信号通知入口点信息的语法元素。
entry_point_offsets_present_flag可以指示参考画面参数集(PPS)的切片头中是否存在入口点信息的信令。例如，entry_point_offsets_present_flag具有第一值(例如，0)可以指示切片头中不存在拼块或拼块中的特定CTU行的入口点信息的信令。相比之下，entry_point_offsets_present_flag具有第二值(例如，1)可以指示切片头中存在拼块或拼块中的特定CTU行的入口点信息的信令。
此外，尽管图7中示出entry_point_offsets_present_flag包括在画面参数集(PPS)中的情况，但这是示例，因此本公开的实施方式不限于此。例如，entry_point_offsets_present_flag可以包括在序列参数集(SPS)中。
接下来，参照图8，切片头可以包括offset_len_minus1和entry_point_offset_minus1[i]作为识别入口点的语法元素。
offset_len_minus1可以指示通过从entry_point_offset_minus1[i]的比特长度减去1而获得的值。offset_len_minus1的值可以具有从0至31的范围。在示例中，可以基于指示入口点的总数的变量NumEntryPoints来用信号通知offset_len_minus1。例如，仅当NumEntryPoints大于0时，才可以用信号通知offset_len_minus1。另外，可以基于上面参照图7描述的entry_point_offsets_present_flag用信号通知offset_len_minus1。例如，仅当entry_point_offsets_present_flag具有第二值(例如，1)(即，切片头中存在入口点信息的信令)时，才可以用信号通知offset_len_minus1。
entry_point_offset_minus1[i]可以以字节为单位指示第i入口点偏移，并且可以通过将1比特与offset_len_minus1相加来表示。NAL单元中的切片数据可以包括数量与通过将1与NumEntryPoints相加而获得的值相同的子集，并且指示各个子集的索引值可以具有从0至NumEntryPoints的范围。NAL单元中的切片数据的第一字节可以由字节0表示。
当用信号通知entry_point_offset_minus1[i]时，NAL单元中的切片数据中所包括的模仿预防字节可以被计数为用于识别子集的切片数据部分。作为切片数据的第一子集的子集0可以具有从字节0至entry_point_offset_minus1[0]的配置。类似地，作为切片数据的第k子集的子集k可以具有从firstByte[k]至lastByte[k]的配置。这里，firstByte[k]可以如下式1所示推导，lastByte[k]可以如下式2所示推导。
[式1]
Figure BDA0003831734050000191
[式2]
lastByte[k]＝firstByte[k]+sh_entry_point_offset_minus1[k]
在式1和式2中，k可以具有从1至通过从NumEntryPoints减去1而获得的值的范围。
切片数据的最后子集(即，第NumEntryPoints子集)可以由切片数据的剩余字节组成。
此外，如果在对包括各个拼块中的CTB行的第一CTB的CTU进行解码之前不执行对上下文变量的预定同步处理(例如，sps_entropy_coding_sync_enabled_flag＝＝0)并且切片包括一个或更多个完整拼块，则切片头的各个子集可以由同一拼块中的所有CTU的所有编码比特组成。在这种情况下，切片数据的子集的总数可以等于切片中的拼块的总数。
相比之下，当不执行预定同步处理并且切片包括单个拼块中的CTU行的一个子集时，NumEntryPoints可为0。在这种情况下，切片数据的一个子集可以由切片中的所有CTU的所有编码比特组成。
相比之下，当执行预定同步处理(例如，sps_entropy_coding_sync_enabled_flag＝＝1)时，各个子集可以由一个拼块中的一个CTU行的所有CTU的所有编码比特组成。在这种情况下，切片数据的子集的总数可以等于切片中的各个拼块的CTU行的总数。
混合NAL单元类型的概述
通常，可以为一个画面设定一个NAL单元类型。如上所述，指示NAL单元类型的语法信息可以存储在NAL单元的NAL单元头中并用信号通知。例如，该语法信息可以包括nal_unit_type，并且NAL单元类型可以由nal_unit_type的值指定。
下表1中示出本公开的实施方式适用于的NAL单元类型的示例。
[表1]
Figure BDA0003831734050000192
Figure BDA0003831734050000201
Figure BDA0003831734050000211
参照表1，VCL NAL单元类型可以根据画面的属性和类型被分类为NAL单元类型0至12。另外，非VCL NAL单元类型可以根据参数集的类型被分类为NAL单元类型13至31。
VCL NAL单元类型的详细示例如下。
-IRAP(帧内随机访问点)NAL单元类型(NUT)：IRAP画面的NAL单元类型，其被设定为从IDR_W_RADL至CRA_NUT的范围。
-IDR(瞬时解码刷新)NUT：IDR画面的NAL单元类型，其被设定为IDR_W_RADL或IDR_N_LP。
-CRA(清洁随机访问)NUT：CRA画面的NAL单元类型，其被设定为CRA_NUT。
-RADL(随机访问可解码先导)NUT：RADL画面的NAL单元类型，其被设定为RADL_NUT。
-RASL(随机访问跳过先导)NUT：RASL画面的NAL单元类型，其被设定为RASL_NUT。
-结尾NUT：结尾画面的NAL单元类型，其被设定为TRAIL_NUT。
-GDR(渐进解码刷新)NUT：GDR画面的NAL单元类型，其是GDR_NUT。
-STSA(逐步时间子层访问)NUT：STSA画面的NAL单元类型，其被设定为STSA_NUT。
此外，VVC标准允许一个画面包括具有不同NAL单元类型的多个切片。例如，一个画面可以包括具有第一NAL单元类型的至少一个第一切片和具有不同于第一NAL单元类型的第二NAL单元类型的至少一个第二切片。在这种情况下，画面的NAL单元类型可以被称为混合NAL单元类型。当VVC标准支持混合NAL单元类型时，可以在内容合成处理、编码/解码处理等中更容易地重构/合成多个画面。
然而，根据混合NAL单元类型的现有方案，限制为仅允许两个NAL单元类型混合。另外，当一个画面具有混合NAL单元类型时，限制为画面的一个或更多个VCL NAL单元应具有从IDR_W_RADL至CRA_NUT范围内的NAL单元类型，并且画面的剩余VCL NAL单元应具有从TRAIL_NUT值RSV_VCL_6范围内的NAL单元类型。结果，尽管混合NAL单元类型在图像处理过程中是有用的，但存在通常不使用混合NAL单元类型的问题。
为了解决这种问题，根据本公开的实施方式，可以允许两个或更多个NAL单元类型混合并且可以提供更多样的混合NAL单元类型。
以下，将详细描述本公开的实施方式。
当一个画面包括两个或更多个切片并且切片的NAL单元类型不同时，画面可以被限制为包括两个或更多个子画面。即，当一个画面具有混合NAL单元类型时，画面可以包括两个或更多个子画面。
子画面可以包括一个或更多个切片并且构成画面中的矩形区域。包括在画面中的各个子画面可以具有彼此不同的尺寸。另一方面，对于属于一个序列的所有画面，特定单独子画面的尺寸和位置可以被设定为彼此相等。
图9是例示子画面的示例的视图。
参照图9，一个画面可以总共被分割成18个拼块。18个拼块当中的12个拼块可以布置在画面的左侧，并且12个拼块中的每一个可以包括具有4x4 CTU的一个切片。另外，6个拼块可以布置在画面的右侧，并且6个拼块中的每一个可以包括两个切片，其各自包括2x2CTU并且在垂直方向上层叠。结果，画面可以包括24个子画面和24个切片，并且各个子画面可以包括一个切片。
在一个实施方式中，一个画面中的各个子画面可以被视为画面以支持混合NAL单元类型。当子画面被视为画面时，子画面可以独立地编码/解码，而不管对另一子画面编码/解码的结果如何。这里，独立编码/解码可以意指子画面的块分割结构(例如，单树结构、双树结构等)、预测模式类型(例如，帧内预测、帧间预测等)、解码顺序等与另一子画面不同。例如，当第一子画面基于帧内预测模式编码/解码时，与第一子画面相邻并被视为画面的第二子画面可以基于帧间预测模式来编码/解码。
当一个画面包括两个或更多个独立子画面并且子画面具有彼此不同的NAL单元类型时，该画面可以具有混合NAL单元类型。
图10是例示具有混合NAL单元类型的画面的示例的视图。
参照图10，一个画面1000可以包括第一子画面1010至第三子画面1030。第一子画面1010和第三子画面1030中的每一个可以包括两个切片。相比之下，第二子画面1020可以包括四个切片。
当第一子画面1010至第三子画面1030中的每一个被视为画面时，第一子画面1010至第三子画面1030可以被独立地编码以构成不同的比特流。例如，第一子画面1010的编码切片数据可以被封装到具有与RASL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第一比特流(比特流1)。另外，第二子画面1020的编码切片数据可以被封装到具有与RADL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第二比特流(比特流2)。另外，第三子画面1030的编码切片数据可以被封装到具有与RASL_NUT相同的NAL单元类型的一个或更多个NAL单元中以构成第三比特流(比特流3)。结果，一个画面1000可以具有RASL_NUT和RADL_NUT混合的混合NAL单元类型。
在一个实施方式中，画面中的各个子画面中所包括的所有切片可以被限制为具有相同的NAL单元类型。例如，包括在第一子画面1010中的两个切片均可以具有与RASL_NUT相同的NAL单元类型。另外，包括在第二子画面1020中的所有四个切片可以具有与RADL_NUT相同的NAL单元类型。另外，包括在第三子画面1030中的两个切片均可以具有与RASL_NUT相同的NAL单元类型。
关于子画面的信息可以在例如画面参数集(PPS)和序列参数集(SPS)的高级语法中用信号通知。另外，指示是否应用混合NAL单元类型的信息可以在例如画面参数集(PPS)的高级语法中用信号通知。
图11是例示根据本公开的实施方式的画面参数集(PPS)的示例的视图，图12是例示根据本公开的实施方式的序列参数集(SPS)的示例的视图。
首先，参照图11，画面参数集(PPS)可以包括pps_mixed_nalu_types_in_pic_flag作为指示是否应用混合NAL单元类型的语法元素。
pps_mixed_nalu_types_in_pic_flag(或mixed_nalu_types_in_pic_flag)可以指示当前画面是否具有混合NAL单元类型。例如，pps_mixed_nalu_types_in_pic_flag具有第一值(例如，0)可以指示当前画面不具有混合NAL单元类型。在这种情况下，当前画面对于所有VCL NAL单元可以具有相同的NAL单元类型，例如，与编码切片NAL单元相同的NAL单元类型。相比之下，pps_mixed_nalu_types_in_pic_flag具有第二值(例如，1)可以指示当前画面具有混合NAL单元类型。
在实施方式中，当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面的VCL NAL单元可以被限制为不具有与GDR_NUT相同的NAL单元类型。
在实施方式中，当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，如果当前画面的一个VCL NAL单元具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型(NAL单元类型A)，则当前画面的另一VCL NAL单元可以被限制为具有与IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT相同的NAL单元类型。
当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面中的各个子画面可以具有上面参考表1描述的任一个VCL NAL单元类型。例如，当当前画面中的子画面是IDR子画面时，子画面可以具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型。另选地，当当前画面中的子画面是结尾子画面时，子画面可以具有与TRAIL_NUT相同的NAL单元类型。
pps_mixed_nalu_types_in_pic_flag具有第二值(例如，1)可以指示参考画面参数集(PPS)的画面可以包括具有不同NAL单元类型的切片。这里，画面可以源自子画面比特流合并操作，其中编码器确保比特流结构的匹配和原始比特流的参数之间的对齐。作为对齐的示例，当切片头中不存在具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型的切片的参考画面列表(RPL)语法元素(例如，sps_idr_rpl_present_flag＝＝0)并且包括切片的当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面可以被限制为不包括具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型的切片。
此外，当限制为不对输出层集(OLS)中的所有画面应用混合NAL单元类型(例如，gci_no_mixed_nalu_types_in_pic_constraint_flag＝＝1)时，pps_mixed_nalu_types_in_pic_flag可以具有第一值(例如，0)。
另外，画面参数集(PPS)可以包括pps_no_pic_partition_flag(或no_pic_partition_flag)作为指示是否应用画面分割的语法元素。
pps_no_pic_partition_flag可以指示画面分割是否适用于当前画面。例如，pps_no_pic_partition_flag具有第一值(例如，0)可以指示当前画面无法被分割。相比之下，pps_no_pic_partition_flag具有第二值(例如，1)可以指示当前画面可以被分割成两个或更多个拼块或切片。当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面可以被限制为具有两个或更多个拼块或切片(例如，pps_no_pic_partition_flag＝1)。
另外，画面参数集(PPS)可以包括pps_num_subpics_minus1(或num_subpics_minus1)作为指示子画面的数量的语法元素。
pps_num_subpics_minus1可以指示通过从包括在当前画面中的子画面的数量减去1而获得的值。仅当画面分割适用于当前画面(例如，pps_no_pic_partition_flag＝＝1)时，才可以用信号通知pps_num_subpics_minus1。当没有用信号通知pps_num_subpics_minus1时，pps_num_subpics_minus1的值可以被推断为0。此外，指示子画面的数量的语法元素可以在不同于画面参数集(PPS)的高级语法(例如，序列参数集(SPS))中用信号通知。
在实施方式中，当当前画面仅包括一个子画面(例如，pps_num_subpics_minus1＝＝0)时，当前画面可以被限制为不具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝0)。即，当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面可以被限制为包括两个或更多个子画面(例如，pps_num_subpics_minus1>0)。
接下来，参照图12，序列参数集(SPS)可以包括sps_subpic_treated_as_pic_flag[i](或subpic_treated_as_pic_flag[i])作为与在编码/解码期间子画面的处理有关的语法元素。
sps_subpic_treated_as_pic_flag[i]可以指示当前画面中的各个子画面是否被视为画面。例如，sps_subpic_treated_as_pic_flag[i]具有第一值(例如，0)可以指示当前画面中的第i子画面不被视为画面。相比之下，sps_subpic_treated_as_pic_flag[i]具有第二值(例如，1)可以指示当前画面中的第i子画面在不包括环路内滤波操作的编码/解码处理中被视为画面。当没有用信号通知sps_subpic_treated_as_pic_flag[i]时，sps_subpic_treated_as_pic_flag[i]可以被推断为具有第二值(例如，1)。
在实施方式中，当当前画面包括两个或更多个子画面(例如，pps_num_subpics_minus1>0)并且至少一个子画面不被视为画面(例如，sps_subpic_treated_as_pic_flag[i]＝＝0)时，当前画面可以被限制为不具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝0)。即，当当前画面具有混合NAL单元类型(例如，pps_mixed_nalu_types_in_pic_flag＝＝1)时，当前画面中的所有子画面可以被限制为被视为画面(例如，sps_subpic_treated_as_pic_flag[i]＝1)。
以下，将针对各个画面类型详细描述根据本公开的实施方式的NAL单元类型。
(1)IRAP(帧内随机访问点)画面
IRAP画面是可随机访问的画面，并且可以具有上面参考表1描述的相同NAL单元类型，例如IDR_W_RADL、IDR_N_LP或CRA_NUT。IRAP画面可不参考解码处理中用于帧间预测的IRAP画面以外的画面。IRAP画面可以包括IDR(瞬时解码刷新)画面和CRA(清洁随机访问)画面。
比特流中按解码器顺序的第一画面可以被限制为IRAP画面或GDR(渐进解码刷新)画面。对于单层比特流，当要参考的基本参数集可用时，尽管按解码顺序在IRAP画面之前的画面根本没有被解码，但IRAP画面和按解码顺序在IRAP画面之后的所有非RASL画面可以被正确地解码。
在实施方式中，IRAP画面可不具有混合NAL单元类型。即，对于IRAP画面，pps_mixed_nalu_types_in_pic_flag可以具有第一值(例如，0)，并且IRAP画面中的所有切片可以在从IDR_W_RADL至CRA_NUT的范围内具有相同的NAL单元类型。结果，当画面中要解码的第一切片具有从IDR_W_RADL至CRA_NUT范围内的NAL单元类型时，画面可以被确定为IRAP画面。
(2)CRA(清洁随机访问)画面
CRA画面是IRAP画面之一，并且可以具有与CRA_NUT相同的NAL单元类型，如上面参考表1所描述的。CRA画面可不参考解码处理中用于帧间预测的CRA画面以外的画面。
CRA画面可以是比特流中按解码顺序的第一画面或者第一画面之后的画面。CRA画面可以与RADL或RASL画面关联。
当NoIncorrectPicOutputFlag对于CRA画面具有第二值(例如，1)时，与CRA画面关联的RASL画面参考不存在于比特流中的画面，因此可不被解码，结果，可不被图像解码设备输出。这里，NoIncorrectPicOutputFlag可以指示按解码顺序在恢复点画面之前的画面是否在恢复点画面之前输出。例如，NoIncorrectPicOutputFlag具有第一值(例如，0)可以指示按解码顺序在恢复点画面之前的画面在恢复点画面之前输出。在这种情况下，CRA画面可以不是比特流中的第一画面或按解码顺序在序列结束(EOS)NAL单元之后的第一画面，这可以意指不发生随机访问。相比之下，NoIncorrectPicOutputFlag具有第二值(例如，1)可以指示按解码顺序在恢复点画面之前的画面无法在恢复点画面之前输出。在这种情况下，CRA画面可以是比特流中的第一画面或按解码顺序在序列结束(EOS)NAL单元之后的第一画面，这可以意指发生随机访问。此外，在一些实施方式中，NoIncorrectPicOutputFlag可以被称为NoOutputBeforeRecoveryFlag。
对于CLVS(编码层视频序列)内按解码顺序在当前画面之后的所有画面单元(PU)，属于画面单元(PU)的CRA子画面中所包括的一个切片的参考画面列表0(例如，RefPicList[0])和参考画面列表1(例如，RefPicList[1])可以被限制为不包括有效入口内按解码顺序在包括CRA子画面的画面之前的任何画面。这里，画面单元(PU)可以意指包括根据预定分类规则相互关联并且对于一个编码画面按解码顺序连续的多个NAL单元的NAL单元集。
(3)IDR(瞬时解码刷新)画面
IDR画面是IRAP画面之一，并且可以具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型，如上面参考表1描述的。IDR画面可不参考解码处理中用于帧间预测的IDR画面以外的画面。
IDR画面可以是比特流中按解码顺序的第一画面，或者可以是第一画面之后的画面。各个IDR画面可以是CVS(编码视频序列)按解码顺序的第一画面。
当IDR画面对于各个NAL单元具有与IDR_W_RADL相同的NAL单元类型时，IDR画面可以具有关联的RADL画面。相比之下，当IDR画面对于各个NAL单元具有与IDR_N_LP相同的NAL单元类型时，IDR画面可不具有关联的先导画面。此外，IDR画面可不与RASL画面关联。
对于CLVS(编码层视频序列)内按解码顺序在当前画面之后的所有画面单元(PU)，属于画面单元(PU)的IDR子画面中所包括的一个切片的参考画面列表0(例如，RefPicList[0])和参考画面列表1(例如，RefPicList[1])可以被限制为不包括有效入口内按解码顺序在包括IDR子画面的画面之前的任何画面。
(4)RADL(随机访问可解码先导)画面
RADL画面是先导画面之一，并且可以具有与RADL_NUT相同的NAL单元类型，如上面参考表1描述的。
在具有相同的关联IRAP画面的结尾画面的解码处理中，RADL画面可不用作参考画面。当field_seq_flag对于RADL画面具有第一值(例如，0)时，RADL画面可以按解码顺序在具有相同的关联IRAP画面的所有非先导画面之前。这里，field_seq_flag可以指示CLVS(编码层视频序列)传送指示字段的画面还是指示帧的画面。例如，field_seq_flag具有第一值(例如，0)可以指示CLVS传送指示帧的画面。相比之下，field_seq_flag具有第二值(例如，1)可以指示CLVS传送指示字段的画面。
(5)RASL(随机访问跳过先导)画面
RASL画面是先导画面之一，并且可以具有与RASL_NUT相同的NAL单元类型，如上面参考表1描述的。
在示例中，所有RASL画面可以是关联CRA画面的先导画面。当NoIncorrectPicOutputFlag对于CRA画面具有第二值(例如，1)时，RASL画面参考不存在于比特流中的画面，因此可不被解码，结果，可不被图像解码设备输出。
在非RASL画面的解码处理中，RASL画面可不用作参考画面。然而，当存在属于与RASL画面相同的层并且与同一CRA画面关联的RADL画面时，RASL画面可以用作包括在RADL画面中的RADL子画面的帧间预测的并置参考画面。
当field_seq_flag对于RASL画面具有第一值(例如，0)时，RASL画面可以按解码顺序在与RASL画面关联的CRA画面的所有非先导画面之前。
(6)结尾画面
结尾画面是按输出顺序在关联的IRAP画面或GDR画面之后的非IRAP画面，并且可以不是STSA画面。另外，结尾画面可以按解码顺序在关联的IRAP画面之后。即，可不允许按输出顺序在关联的IRAP画面之后但是按解码顺序在关联的IRAP画面之前的结尾画面。
(7)GDR(渐进解码刷新)画面
GDR画面是可随机访问的画面，并且可以具有与GDR_NUT相同的NAL单元类型，如上面参考表1描述的。
(8)STSA(逐步时间子层访问)画面
STSA画面是可随机访问的画面，并且可以具有与STSA_NUT相同的NAL单元类型，如上面参考表1描述的。
STSA画面可不参考具有与用于帧间预测的STSA画面相同的TemporalId的画面。这里，TemporalId可以是指示时间层(例如，可伸缩视频编码中的时间子层)的标识符。在实施方式中，STSA画面可以被限制为具有大于0的TemporalId。
对于帧间预测，具有与STSA画面相同的TemporalID并且按解码顺序在STSA画面之后的画面可不参考具有与STSA画面相同的TemporalID并且按解码顺序在STSA画面之前的画面。STSA画面可以启用从STSA画面所属的当前子层的紧邻较低子层到当前子层的上切换。
图13是例示各个画面类型的解码顺序和输出顺序的视图。
多个画面可以根据预测方法被分类为I画面、P画面或B画面。I画面可以指仅适用帧内预测的画面，并且可以在不参考另一画面的情况下被解码。I画面可以被称为帧内画面并且可以包括上述IRAP画面。P画面可以指适用帧内预测和单向帧间预测的画面，并且可以通过参考另一画面来解码。B画面可以指适用帧内预测和双向/单向帧间预测的画面，并且可以使用一个或两个其它画面来解码。P画面和B画面可以被称为帧间画面，并且可以包括上述RADL画面、RASL画面和结尾画面。
帧间画面可以根据解码顺序和输出顺序被进一步分类为先导画面(LP)或非先导画面(NLP)。先导画面可以指按解码顺序在IRAP画面之后并且按输出顺序在IRAP画面之前的画面，并且可以包括上述RADL画面和RASL画面。非先导画面可以指按解码顺序和输出顺序在IRAP画面之后的画面，并且可以包括上述结尾画面。
在图13中，各个画面的名称可以指示其画面类型。例如，I5画面可以是I画面，B0、B2、B3、B4和B6画面可以是B画面，P1和P7画面可以是P画面。另外，在图13中，各个箭头可以指示画面之间的参考方向。例如，B0画面可以通过参考P1画面来解码。
参照图13，I5画面可以是IRAP画面(例如，CRA画面)。当发生对I5画面的随机访问时，I5画面可以按解码顺序是第一画面。
B0和P1画面可以按解码顺序在I5画面之前并且构成与I5画面分开的视频序列。B2、B3、B4、B6和P7画面可以按解码顺序在I5画面之后，并且与I5画面一起构成一个视频序列。
B2、B3和B4画面按解码顺序在I5画面之后并且按输出顺序在I5画面之前，因此可以被分类为先导画面。B2画面可以通过参考按解码顺序在I5画面之前的P1画面来解码。因此，当从I5画面发生随机访问时，B2画面无法通过参考不存在于比特流中的P1画面来正确解码。诸如B2画面的画面类型可以被称为RASL画面。相比之下，B3画面可以通过参考按解码顺序在B3画面之前的I5画面来解码。因此，当从I5画面发生随机访问时，B3画面可以通过参考预先解码的I5画面来正确解码。另外，B4可以通过参考按解码顺序在B4画面之前的I5画面和B3画面来解码。因此，当从I5画面发生随机访问时，B4画面可以通过参考预先解码的I5画面和B3画面来正确解码。诸如B3和B4画面的画面类型可以被称为RADL画面。
此外，B6和P7画面按解码顺序和输出顺序在I5画面之后，因此可以被分类为非先导画面。B6画面可以通过参考按解码顺序在前的I5画面和P7画面来解码。因此，当从I5画面发生随机访问时，B6画面可以通过参考预先解码的I5画面和P7画面来正确解码。
在一个视频序列中，解码处理和输出处理可以基于画面类型按不同的顺序执行。例如，当一个视频序列包括IRAP画面、先导画面和非先导画面时，解码处理可以按照IRAP画面、先导画面和非先导画面的顺序执行，输出处理可以按照先导画面、IRAP画面和非先导画面的顺序执行。
以下，将详细描述各个类型的混合NAL单元类型的混合约束条件。
(1)混合NAL单元类型1
可以部分限制IRAP/GDR画面的NAL单元类型的混合。
在实施方式中，当画面中的一个或更多个切片可以具有与IDR_N_LP相同的NAL单元类型时，画面中的所有其它切片可不具有与CRA_NUT、IDR_W_RADL或GDR_NUT相同的NAL单元类型。在这种情况下，可能不存在按解码顺序在该画面之后并且按输出顺序在该画面之前的画面。
在另一实施方式中，当画面中的一个或更多个切片具有与STSA_NUT相同的NAL单元类型时，画面中的所有其它切片可不具有与CRA_NUT、IDR_W_RADL、IDR_N_LP或GDR_NUT相同的NAL单元类型。
在另一实施方式中，当画面中的一个或更多个切片具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型时，画面中的所有其它切片可以具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型。例如，可以允许基于CRA_NUT和IDR_W_RADL的混合NAL单元类型。
此外，包括在IRAP或GDR访问单元(AU)中的所有画面可以被限制为具有相同的NAL单元类型。例如，包括在IRAP AU中的所有画面可以具有CRA_NUT、IDR_W_RADL和IDR_N_LP中的任一个的NAL单元类型。另外，包括在GDR AU中的所有画面可以具有与GDR_NUT相同的NAL单元类型。
(2)混合NAL单元类型2
可以部分限制IRAP画面的NAL单元类型和先导画面的NAL单元类型的混合。
在实施方式中，当画面中的至少一个子画面具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型时，画面中的所有其它子画面可不具有与RASL_NUT相同的NAL单元类型。
在另一实施方式中，当画面中的至少一个子画面具有与IDR_N_LP相同的NAL单元类型时，画面中的所有其它子画面可不具有与RADL_NUT相同的NAL单元类型。
(3)混合NAL单元类型3
可以允许IRAP画面的NAL单元类型和结尾画面的NAL单元类型的混合。例如，当画面中的至少一个切片具有与CRA_NUT、IDR_W_RADL或IDR_N_LP相同的NAL单元类型时，画面中的至少一个切片可以具有与TRAIL_NUT相同的NAL单元类型。
(4)混合NAL单元类型4
可以允许先导画面的NAL单元类型的混合。例如，当画面中的至少一个切片具有与RADL_NUT(或RASL_NUT)相同的NAL单元类型时，画面中的所有其它切片可以具有与RASL_NUT(或RADL_NUT)相同的NAL单元类型。
在实施方式中，具有RASL_NUT和RADL_NUT的混合NAL单元类型的画面可以被视为RASL画面。当NoIncorrectPicOutputFlag(或NoOutputBeforeRecoveryFlag)对于与画面关联的IRAP画面具有第二值(例如，1)时，画面可以被标记为不必要输出，并且可以跳过输出处理。
图14是例示根据本公开的实施方式的确定当前画面的NAL单元类型的方法的流程图。
参照图14，图像编码设备可以确定当前画面是否包括两个或更多个子画面(S1410)。可以使用高级语法中的一个或更多个语法元素来用信号通知当前画面的分割信息。例如，通过上面参照图11描述的画面参数集(PPS)，可以用信号通知指示当前画面是否被分割的no_pic_partition_flag和指示包括在当前画面中的子画面的数量的pps_num_subpics_minus1。当当前画面包括两个或更多个子画面时，no_pic_partition_flag可以具有第一值(例如，0)并且pps_num_subpics_minus可以具有大于0的值。
当当前画面不包括两个或更多个子画面(S1410为“否”)时，图像编码设备可以确定当前画面具有单个NAL单元类型(S1440)。即，当前画面中的所有切片可以具有上面参考表1描述的任一个NAL单元类型。
相比之下，当当前画面包括两个或更多个子画面(S1410为“是”)时，图像编码设备可以确定当前画面中的各个子画面是否被视为画面(S1420)。指示子画面是否被视为画面的信息可以使用高级语法中的预定语法元素来用信号通知，例如，通过上面参照图12描述的序列参数集(SPS)，可以用信号通知指示子画面是否被视为画面的sps_subpic_treated_as_pic_flag[i]。当当前画面中的各个子画面被视为画面时，sps_subpic_treated_as_pic_flag[i]可以具有第二值(例如，1)。
当当前画面中的各个子画面未被视为画面(S1420为“否”)时，图像编码设备可以确定当前画面具有单个NAL单元类型(S1440)。
相比之下，当当前画面中的各个子画面被视为画面(S1420为“是”)时，图像编码设备可以确定当前画面是否满足混合约束条件(S1430)。混合约束条件可以基于如上所述的画面(或子画面)类型来确定。例如，当当前画面中的至少一个子画面具有与IDR_W_RADL或IDR_N_LP相同的NAL单元类型时，当前画面中的所有其它子画面可不具有与RASL_NUT相同的NAL单元类型。另选地，当当前画面中的至少一个子画面具有与IDR_N_LP相同的NAL单元类型时，当前画面中的所有其它子画面可不具有与RADL_NUT相同的NAL单元类型。
当当前画面满足混合约束条件时(S1430为“是”)，图像编码设备可以确定当前画面具有单个NAL单元类型(S1440)。
相比之下，当当前画面不满足混合约束条件时(S1430为“否”)，图像编码设备可以确定当前画面具有混合NAL单元类型(S1450)。
此外，图像编码设备可以基于当前画面的编码信息来生成比特流，并且将所生成的比特流发送到图像解码设备。当当前画面具有混合NAL单元类型时，图像编码设备可以为当前画面中的各个子画面生成子画面比特流。在这种情况下，多个生成的子画面比特流可以构成一个比特流。在实施方式中，从多个子画面比特流构成的比特流可以是单层比特流，并且适用以下约束以便满足比特流一致性。
-(约束1)比特流内按解码顺序的第一画面以外的各个画面被认为与按解码顺序先前的IRAP画面关联。
-(约束2)当画面是IRAP画面的先导画面时，画面应为RADL或RASL画面。
-(约束3)当画面是IRAP画面的结尾画面时，画面不应为RADL或RASL画面。
-(约束4)与IDR画面关联的任何RASL画面不应存在于比特流中。
-(约束5)与具有与IDR_N_LP相同的NAL单元类型的IDR画面关联的任何RADL画面不应存在于比特流中。在这种情况下，当要参考的基本参数集可用(在比特流内或通过外部手段)时，通过丢弃IRAP画面单元(PU)之前的所有画面单元(PU)，在IRAP画面单元(PU)的位置处随机访问(以及IRAP画面和与其连续的所有非RASL画面的正确解码)可为可能的。
-(约束6)按解码顺序在IRAP画面之前的所有画面按输出顺序应在IRAP画面之前并且按输出顺序在与IRAP画面关联的所有RADL画面之前。
-(约束7)与CRA画面关联的所有RASL画面按输出顺序应在与CRA画面关联的所有RADL画面之前。
-(约束8)与CRA画面关联的所有RASL画面按输出顺序应在按解码顺序在CRA画面之前的所有IRAP画面之后。
-(约束9)当field_seq_flag具有第一值(例如，0)并且当前画面是与IRAP画面关联的先导画面时，画面按解码顺序应在与IRAP画面关联的所有非先导画面之前。另选地，对于与IRAP画面关联的第一先导画面picA和最后先导画面picB，应存在按解码顺序在picA之前的一个非先导画面，并且按解码顺序在picA和picB之间不应存在任何非先导画面。
此外，如上所述，可以使用高级语法中的预定语法元素来用信号通知指示当前画面是否具有混合NAL单元类型的信息。例如，通过上面参照图11描述的上述画面参数集(PPS)，可以用信号通知指示当前画面是否具有混合NAL单元类型的pps_mixed_nalu_types_in_pic_flag。在这种情况下，图像解码设备可以基于pps_mixed_nalu_types_in_pic_flag来确定当前画面是否具有混合NAL单元类型。例如，当pps_mixed_nalu_types_in_pic_flag具有第一值(例如，0)时，图像解码设备可以确定当前画面具有单个NAL单元类型。相比之下，当pps_mixed_nalu_types_in_pic_flag具有第二值(例如，1)时，图像解码设备可以确定当前画面具有混合NAL单元类型。
在实施方式中，当当前画面具有混合NAL单元类型时，可以基于当前画面的NUT值来确定当前画面的类型。
图15是例示根据本公开的实施方式的确定具有混合NAL单元类型的当前画面的类型的方法的流程图。
参照图15，图像解码设备可以确定当前画面是否包括NAL单元类型为CRA_NUT和IDR_W_RADL的切片(第一条件)(S1510)。
当满足第一条件时(S1510为“是”)，当前画面的类型可以被确定为IRAP画面(S1520)。
当不满足第一条件时(S1510为“否”)，图像解码设备可以确定当前画面是否包括NAL单元类型为RASL_NUT和RADL_NUT的切片(第二条件)(S1530)。
当满足第二条件时(S1530为“是”)，当前画面的类型可以被确定为RASL画面(S1540)。此时，当NoIncorrectPicOutputFlag(或NoOutputBeforeRecoveryFlag)对于与当前画面关联的IRAP画面具有第二值(例如，1)时，当前画面可以被标记为不必要输出。
当不满足第二条件时(S1530为“否”)，当前画面的类型可以被确定为结尾画面(S1550)。
此外，尽管在图15中步骤S1530被示出为在步骤S1510之后执行，但这可以根据实施方式不同地修改。例如，步骤S1530可以与步骤S1510同时执行或在步骤S1510之前执行。
根据本公开的实施方式，当当前画面包括两个或更多个子画面并且各个子画面被视为画面时，当前画面可以具有混合NAL单元类型。另外，根据本公开的实施方式，可以基于预定混合约束条件允许各种混合NAL单元类型。因此，在各种应用或使用情况中，混合NAL单元类型更灵活地适用。
以下，将参照图16和图17详细描述根据本公开的实施方式的图像编码/解码方法。
图16是例示根据本公开的实施方式的图像编码方法的流程图。
图16的图像编码方法可以由图2的图像编码设备执行。例如，步骤S1610可以由图像分割器110执行，步骤S1620和S1630可以由熵编码器190执行。
参照图16，图像编码设备可以将当前画面分割成两个或更多个子画面(S1610)。可以使用高级语法中的一个或更多个语法元素来用信号通知当前画面的分割信息。例如，通过上面参照图11描述的画面参数集(PPS)，可以用信号通知指示当前画面是否被分割的no_pic_partition_flag和指示包括在当前画面中的子画面的数量的pps_num_subpics_minus1。当当前画面被分割成两个或更多个子画面时，no_pic_partition_flag可以具有第一值(例如，0)，并且pps_num_subpics_minus可以具有大于0的值。
当前画面中的各个子画面可以被视为画面。当子画面被视为画面时，子画面可以被独立地编码/解码，而不管对另一子画面编码/解码的结果如何。在编码/解码期间，可以使用高级语法中的语法元素来用信号通知与子画面的处理有关的信息。例如，通过上面参照图12描述的序列参数集(SPS)，可以用信号通知指示当前画面中的各个子画面是否被视为画面的sps_subpic_treated_as_pic_flag[i]。当在不包括环路内滤波操作的编码/解码处理中当前画面中的第i子画面被视为画面时，sps_subpic_treated_as_pic_flag[i]可以具有第二值(例如，1)。此外，当没有用信号通知sps_subpic_treated_as_pic_flag[i]时，sps_subpic_treated_as_pic_flag[i]可以被推断为具有第二值(例如，1)。
当前画面中的至少一个子画面可以具有不同的NAL单元类型。例如，当当前画面包括第一子画面和第二子画面时，第一子画面可以具有第一NAL单元类型，并且第二子画面可以具有不同于第一NAL单元类型的第二NAL单元类型。上面参考表1描述了子画面的NAL单元类型的示例。
当前画面中的各个子画面中所包括的所有切片可以具有相同的NAL单元类型。在上述示例中，包括在第一子画面中的所有切片可以具有第一NAL单元类型，并且包括在第二子画面中的所有切片可以具有第二NAL单元类型。
图像编码设备可以确定当前画面的一个或更多个子画面中所包括的多个切片中的每一个的NAL单元类型(S1620)。
在实施方式中，当包括在当前画面中的多个切片中的至少一些具有不同的NAL单元类型时，当前画面可以包括具有不同NAL单元类型的第一子画面和第二子画面(即，两个或更多个子画面)。在这种情况下，当前画面中的各个子画面中所包括的所有切片可以具有相同的NAL单元类型。
在实施方式中，可以基于子画面类型来确定子画面的NAL单元类型。例如，当子画面是IRAP子画面时，子画面的NAL单元类型可以被确定为IDR_W_RADL、IDR_N_LP或CRA_NUT。另选地，当子画面是RASL子画面时，子画面的NAL单元类型可以被确定为RASL_NUT。
此外，当前画面中的子画面的NAL单元类型的组合可以基于预定混合约束条件来确定。
在实施方式中，当当前画面中的第一子画面具有与IDR_N_LP相同的NAL单元类型时，当前画面中的第二子画面具有与IDR_W_RADL和CRA_NUT不同的NAL单元类型。在这种情况下，当第二子画面具有与TRAIL_NUT相同的NAL单元类型时，第二子画面按解码顺序和输出顺序在第一子画面之后。
在实施方式中，包括在当前画面中的多个切片可以具有与GDR_NUT不同的NAL单元类型。在示例中，当当前画面中的第一子画面具有与STSA_NUT相同的NAL单元类型时，当前画面中的第二子画面具有与GDR_NUT不同的NAL单元类型。
在实施方式中，当当前画面中的第一子画面具有与IDR_W_RADL、IDR_N_LP或CRA_NUT相同的NAL单元类型时，当前画面中的第二子画面可以具有与RADL_NUT和RASL_NUT不同的NAL单元类型。
在实施方式中，IRAP画面和GDR画面可以被约束为不具有混合NAL单元类型。因此，当包括在当前画面中的多个切片中的至少一些具有不同的NAL单元类型时(即，当当前画面具有混合NAL单元类型时)，当前画面可以具有与IRAP(帧内随机访问点)画面和GDR(渐进解码刷新)画面不同的画面类型。
图像编码设备可以基于在S1620中确定的NAL单元类型对当前画面中的子画面进行编码(S1630)。此时，如上所述，可以基于预定预测模式在编码单元(CU)中执行对各个切片的编码处理。此外，各个子画面可以被独立地编码以构成不同的(子画面)比特流。例如，可以构成包括第一子画面的编码信息的第一子比特流，并且可以构成包括第二子画面的编码信息的第二子比特流。
根据本公开的实施方式，当前画面可以基于子画面结构具有两个或更多个NAL单元类型。另外，当前画面可以基于预定混合约束条件具有各种混合NAL单元类型。
图17是例示根据本公开的实施方式的图像解码方法的流程图。
图17的图像解码方法可以由图3的图像解码设备执行。例如，步骤S1710和S1720可以由熵解码器210执行，步骤S1730可以由解量化器220至帧内预测器265执行。
参照图17，图像解码设备可以从比特流获得包括编码图像数据的至少一个NAL单元的NAL单元类型信息(S1710)。
当前画面的NAL单元类型信息可以包括包含当前画面的编码图像数据(例如，切片数据)的VCL NAL单元的NAL单元类型值。可以通过解析VCL NAL单元的NAL单元头中所包括的语法元素nal_unit_type来获得NAL单元类型值。
图像解码设备可以基于所获得的NAL单元类型信息来确定当前画面中的至少一个切片的NAL单元类型(S1720)。
在实施方式中，当前画面中的多个切片中的至少一些可以具有不同的NAL单元类型。在这种情况下，当前画面可以包括具有不同NAL单元类型的第一画面和第二画面(即，两个或更多个子画面)。当前画面中的各个子画面中所包括的所有切片可以具有相同的NAL单元类型。另选地，基于当前画面中的第一画面的NAL单元类型来确定当前画面中的第二画面的NAL单元类型。
在实施方式中，当当前画面中的第一画面具有等于IDR_N_LP的NAL单元类型时，当前画面中的第二画面可以具有IDR_W_RADL和CRA_NUT以外的NAL单元类型。在这种情况下，当第二画面具有等于TRAIL_NUT的NAL单元类型时，第二画面可以按解码顺序和输出顺序在第一子画面之后。
在实施方式中，包括在当前画面中的多个切片可以具有GDR_NUT以外的NAL单元类型。例如，当当前画面中的第一画面具有等于STSA_NUT的NAL单元类型时，当前画面中的第二画面可以具有GDR_NUT以外的NAL单元类型。
在实施方式中，当当前画面中的第一画面具有等于IDR_W_RADL、IDR_N_LP或CRA_NUT的NAL单元类型时，当前画面中的第二画面可以具有RADL_NUT和RASL_NUT以外的NAL单元类型。
在实施方式中，IRAP画面和GDR画面可以被限制为不具有混合NAL单元类型。因此，当包括在当前画面中的多个切片中的至少一些具有不同的NAL单元类型(即，当前画面具有混合NAL单元类型)时，当前画面可以具有IRAP(帧内随机访问点)画面和GDR(渐进解码刷新)画面以外的画面类型。
此外，当当前画面具有混合NAL单元类型时，可以基于当前画面的NUT值来确定当前画面的类型。当当前画面中的切片具有CRA_NUT和IDR_W_RADL的NAL单元类型时，当前画面的类型可以被确定为IRAP画面。另选地，当当前画面中的切片具有RASL_NUT和RADL_NUT的NAL单元类型时，当前画面的类型可以被确定为IRAP画面。在这种情况下，当NoIncorrectPicOutputFlag(或NoOutputBeforeRecoveryFlag)对于与当前画面关联的IRAP画面具有第二值(例如，1)时，当前画面可以被标记为不必要输出，并且可以跳过输出处理。除了上述情况之外，当前画面的类型可以被确定为结尾画面。
图像解码设备可以基于在S1720中确定的NAL单元类型对当前画面中的各个切片进行解码(S1730)。此时，可以如上所述基于预定预测模式在编码单元(CU)中执行各个切片的解码处理。
根据本公开的实施方式，当前画面可以基于子画面结构具有两个或更多个NAL单元类型。另外，当前画面可以基于预定混合约束条件具有各种混合NAL单元类型。
本公开中描述的语法元素的名称可以包括关于用信号通知对应语法元素的位置的信息。例如，以“sps_”开始的语法元素可以意指在序列参数集(SPS)中用信号通知对应语法元素。另外，以“pps_”、“ph_”、“sh_”开始的语法元素可以意指对应语法元素分别在画面参数集(PPS)、画面头和切片头中用信号通知。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本发明的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以被包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图18是示出可应用本公开的实施方式的内容流系统的视图。
如图18中所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能电话、相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (14)

1.一种由图像解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
从比特流获得当前画面的视频编码层VCL网络抽象层NAL单元类型信息；
基于所获得的VCL NAL单元类型信息，确定包括在所述当前画面中的多个切片中的每一个的NAL单元类型；以及
基于所确定的NAL单元类型对所述多个切片进行解码，
其中，基于所述多个切片中的至少一些具有不同的NAL单元类型，所述当前画面包括具有不同NAL单元类型的第一子画面和第二子画面，并且
其中，基于所述第一子画面的NAL单元类型来确定所述第二子画面的NAL单元类型。
2.根据权利要求1所述的图像解码方法，其中，基于所述第一子画面具有等于IDR_N_LP的NAL单元类型，所述第二子画面具有IDR_W_RADL和CRA_NUT以外的NAL单元类型。
3.根据权利要求2所述的图像解码方法，其中，所述第二子画面按解码顺序和输出顺序在所述第一子画面之后。
4.根据权利要求1所述的图像解码方法，其中，所述多个切片具有GDR_NUT以外的NAL单元类型。
5.根据权利要求1所述的图像解码方法，其中，基于所述第一子画面具有等于IDR_W_RADL、IDR_N_LP或CRA_NUT的NAL单元类型，所述第二子画面具有RADL_NUT和RASL_NUT以外的NAL单元类型。
6.根据权利要求1所述的图像解码方法，其中，所述当前画面具有帧内随机访问点IRAP画面和渐进解码刷新GDR画面以外的画面类型。
7.一种图像解码设备，该图像解码设备包括存储器和至少一个处理器，其中，所述至少一个处理器：
从比特流获得当前画面的视频编码层VCL网络抽象层NAL单元类型信息；
基于所获得的VCL NAL单元类型信息，确定包括在所述当前画面中的多个切片中的每一个的NAL单元类型；并且
基于所确定的NAL单元类型对所述多个切片进行解码，
其中，基于所述多个切片中的至少一些具有不同的NAL单元类型，所述当前画面包括具有不同NAL单元类型的第一子画面和第二子画面，并且
其中，基于所述第一子画面的NAL单元类型来确定所述第二子画面的NAL单元类型。
8.一种由图像编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
将当前画面分割成一个或更多个子画面；
确定包括在所述一个或更多个子画面中的多个切片中的每一个的网络抽象层NAL单元类型；以及
基于所确定的NAL单元类型对所述多个切片进行编码，
其中，基于所述多个切片中的至少一些具有不同的NAL单元类型，所述当前画面包括具有不同NAL单元类型的第一子画面和第二子画面，并且
其中，基于所述第一子画面的NAL单元类型来确定所述第二子画面的NAL单元类型。
9.根据权利要求8所述的图像编码方法，其中，基于所述第一子画面具有等于IDR_N_LP的NAL单元类型，所述第二子画面具有IDR_W_RADL和CRA_NUT以外的NAL单元类型。
10.根据权利要求9所述的图像编码方法，其中，所述第二子画面按解码顺序和输出顺序在所述第一子画面之后。
11.根据权利要求8所述的图像编码方法，其中，所述多个切片具有GDR_NUT以外的NAL单元类型。
12.根据权利要求8所述的图像编码方法，其中，基于所述第一子画面具有等于IDR_W_RADL、IDR_N_LP或CRA_NUT的NAL单元类型，所述第二子画面具有RADL_NUT和RASL_NUT以外的NAL单元类型。
13.根据权利要求8所述的图像编码方法，其中，所述当前画面具有帧内随机访问点IRAP画面和渐进解码刷新GDR画面以外的画面类型。
14.一种非暂时性计算机可读记录介质，该非暂时性计算机可读记录介质存储通过根据权利要求8所述的图像编码方法生成的比特流。
CN202180018949.2A 2020-03-05 2021-03-05 基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法 Pending CN115280782A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062985334P 2020-03-05 2020-03-05
US62/985,334 2020-03-05
PCT/KR2021/002777 WO2021177794A1 (ko) 2020-03-05 2021-03-05 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
CN115280782A true CN115280782A (zh) 2022-11-01

Family

ID=77612911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018949.2A Pending CN115280782A (zh) 2020-03-05 2021-03-05 基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法

Country Status (6)

Country Link
US (2) US11695934B2 (zh)
EP (1) EP4117291A4 (zh)
JP (2) JP7450747B2 (zh)
KR (1) KR20220141794A (zh)
CN (1) CN115280782A (zh)
WO (1) WO2021177794A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220141794A (ko) * 2020-03-05 2022-10-20 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220156828A (ko) 2020-03-19 2022-11-28 바이트댄스 아이엔씨 레퍼런스 픽처 순서에 대한 제약들
KR20220156829A (ko) 2020-03-20 2022-11-28 바이트댄스 아이엔씨 이웃 서브픽처의 코딩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CA3095638C (en) * 2012-06-29 2023-11-14 Ge Video Compression, Llc Video data stream concept
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US9571847B2 (en) * 2013-01-07 2017-02-14 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
CN109587573B (zh) * 2013-01-18 2022-03-18 佳能株式会社 生成设备和方法、显示设备和方法以及存储介质
US9674533B2 (en) * 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
CN113273202A (zh) * 2019-01-04 2021-08-17 华为技术有限公司 基于子图像的随机接入
EP3918789A1 (en) * 2019-02-01 2021-12-08 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Video codec allowing sub-picture or region wise random access and concept for video composition using the same
US11477487B2 (en) * 2019-12-10 2022-10-18 Zte (Uk) Limited Subpicture signaling in video coding
US11356705B2 (en) * 2019-12-23 2022-06-07 Qualcomm Incorporated Picture header intra random access picture and gradual decoder refresh signaling in video coding
US11399188B2 (en) * 2020-01-01 2022-07-26 Tencent America LLC Method for mixed NAL unit type support in a coded picture
KR20220141794A (ko) * 2020-03-05 2022-10-20 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Also Published As

Publication number Publication date
US11695934B2 (en) 2023-07-04
EP4117291A1 (en) 2023-01-11
JP7450747B2 (ja) 2024-03-15
US11973957B2 (en) 2024-04-30
JP2024063177A (ja) 2024-05-10
JP2023516336A (ja) 2023-04-19
KR20220141794A (ko) 2022-10-20
EP4117291A4 (en) 2024-03-27
WO2021177794A1 (ko) 2021-09-10
US20230033332A1 (en) 2023-02-02
US20230300339A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
JP7450747B2 (ja) 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
US20240129511A1 (en) Mixed nal unit type-based image encoding/decoding method and device, and method for transmitting bitstream
KR20230024340A (ko) Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115668927A (zh) 基于输出层集合确定是否参考参数集的图像编码/解码方法和设备及发送比特流的方法
JP7492023B2 (ja) 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
JP7494315B2 (ja) Ｇｄｒ又はｉｒｐａピクチャに対する利用可能スライスタイプ情報に基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
RU2806784C1 (ru) Способ и устройство кодирования/декодирования изображений на основе смешанного типа nal-единицы и способ для передачи потока битов
RU2812029C2 (ru) Способ и устройство кодирования/декодирования изображений на основе смешанного типа nal-единицы и способ для передачи потока битов
US20230224483A1 (en) Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
CN115668950A (zh) 用信号通知hrd参数的图像编码/解码方法和装置及存储比特流的计算机可读记录介质
CN115668951A (zh) 用信号通知关于dpb参数的数量的信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20230027180A (ko) 픽처 출력 타이밍 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
CN115668944A (zh) 用信号通知dpb参数的视频编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668948A (zh) 用信号通知ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115702567A (zh) 用于用信号通知dpb相关信息和ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668930A (zh) 基于层之间是否进行参考确定子层的图像编码/解码方法和设备及发送比特流的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination