CN112655208B - 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法 - Google Patents

用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法 Download PDF

Info

Publication number
CN112655208B
CN112655208B CN201980058369.9A CN201980058369A CN112655208B CN 112655208 B CN112655208 B CN 112655208B CN 201980058369 A CN201980058369 A CN 201980058369A CN 112655208 B CN112655208 B CN 112655208B
Authority
CN
China
Prior art keywords
encoded
region
picture
encoding
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980058369.9A
Other languages
English (en)
Other versions
CN112655208A (zh
Inventor
瓦勒日·乔治
托比亚斯·欣茨
杰基·马
亚戈·桑切斯德拉富恩特
罗伯特·斯库宾
托马斯·斯切尔
延斯·勃兰登堡
克里斯蒂安·莱曼
亚当·维科夫斯基
海科·施瓦茨
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to CN202311616944.7A priority Critical patent/CN117750026A/zh
Publication of CN112655208A publication Critical patent/CN112655208A/zh
Application granted granted Critical
Publication of CN112655208B publication Critical patent/CN112655208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了一种视频解码器(151),该视频解码器(151)用于对包括视频的图片的编码图片数据和指示数据的编码视频信号进行解码,以重构视频的图片。该视频解码器(151)包括:接口(160),被配置用于接收编码视频信号;以及数据解码器(170),被配置用于通过使用指示数据对编码图片数据进行解码来重构视频的图片。图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中使用指示数据,数据解码器(170)被配置为根据多个编码区域来对编码图片数据进行解码,其中,指示数据包括与多个编码区域有关的信息。多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的所述一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,数据解码器(170)被配置为根据包括两个或更多个编码树单元的所述一个或多个编码区域的编码顺序,使用指示数据对编码图片数据进行解码,其中,指示数据包括与包括两个或更多个编码树单元的所述一个或多个编码区域的编码顺序有关的信息。

Description

用于编码图片的通用空间划分的编码器和解码器、编码方法 和解码方法
技术领域
本发明涉及视频编码和视频解码,并且具体地涉及用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法。
背景技术
H.265/HEVC是视频编解码器,它已经提供了用于提升或甚至实现编码器和/或解码器处的并行处理的工具。例如,HEVC支持将图片细分为彼此独立地进行编码的图块阵列。HEVC支持的另一概念涉及WPP,根据WPP,可以从左到右并行地(例如,按条)处理图片的CTU排或CTU行,前提是在连续CTU线(CTU=编码树单元)的处理中遵守某一最小CTU偏移。但是,有利的是具有一种如下视频编解码器:它可以更有效地支持视频编码器和/或视频解码器的并行处理能力。
在下面的章节“根据现有技术的VCL划分”中,描述了对根据现有技术的VCL划分的介绍(VCL=视频编码层)。
通常,在视频编码中,图片样本的编码过程需要较小的分区,其中样本被分为一些矩形区域以用于联合处理,例如预测或变换编码。因此,将图片划分为具有特定大小的块,该特定大小在视频序列的编码期间是恒定的。在H.264/AVC标准中,使用16x16个样本的固定大小的块,即所谓的宏块。在最新的HEVC标准(参见[1])中,存在最大大小为64x64个样本的编码树块(CTB)或编码树单元(CTU)。在对HEVC的进一步描述中,对于这种类型的块,使用更通用的术语“CTU”。
CTU是按光栅扫描顺序处理的,从左上角的CTU开始,逐个图片行处理CTU,直到右下角的CTU。
编码CTU数据被组织成一种称为条带的容器。最初,条带是指包括图片的一个或多个连续的CTU的分段。
在下面的章节“利用条带的图片划分”中,说明了如何采用条带来进行编码数据的分段。从另一个角度来看,整个图片也可以定义为一个大的分段,因此,从历史上看,术语“条带”仍然适用。除了编码图片样本外,条带还包括与条带本身的编码过程相关的附加信息,这些信息被置于所谓的条带头部中。
根据现有技术,VCL(视频编码层)还包括用于片段和空间划分的技术。这样的划分可以例如出于各种原因而被应用于视频编码中,这些原因包括并行化中的处理负载平衡、网络传输中的CTU大小匹配、错误减轻等,如下面更详细地描述的。
在下面的章节“利用条带的图片划分”中,描述利用条带的图片划分。
从H.263标准开始,以特定扫描顺序表示连续块的数据的序列可以被组织为称为条带的组。通常,例如在预测和熵编码方面,图片的不同条带的CTU之间的依赖性是被禁止的,因此可以独立地重构图片内的各个条带。
图2示出按光栅扫描顺序通过条带进行的图片分割。条带的大小由CTU(编码树单元)的数量和属于条带的每个编码CTU的大小来确定,如图2所示。图2包括50个CTU,例如CTU21、CTU 24和CTU 51。
在下面的章节“利用图块的图片划分”中,参照图3描述利用图块的图片划分。图3包括50个CTU,例如CTU 23、CTU 27和CTU 41。
图块是HEVC中引入的一个概念,尽管该概念与H.264/AVC中添加的灵活宏块排序(FMO)非常相似。图块的概念允许将图片分为若干个矩形区域。
因此,图块是将原始图片分成给定数量的行和列的结果,该行和列分别具有指定的高度和宽度,如图3所示。结果,要求HEVC比特流内的图块具有形成规则网格的公共边界。
在下面的小节“划分用例和现有技术的不足”中,将参照图4和图5描述划分用例和现有技术的不足。
图4示出具有不相等的分辨率的基于图块的360°视频流传输。在360°视频流传输中,一种视口自适应流传输技术正得到关注,称为基于图块的360°视频流传输。主要思想是提供包括不同分辨率下的若干个图块的360°视频。因此,取决于当前视口,客户端以高分辨率下载与视口匹配的一些图块,而以较低分辨率下载位于视口之外的其他图块,如图4所示。
在客户端处,接收机将这些不同分辨率下的下载的图块组合到单个HEVC比特流中,对于该单个HEVC比特流,下载的图块无法被描述为HEVC语法中的图块。原因是这些下载的图块在整个图片上不共享相同的边界,并且原始流的图块化粒度是不同的。例如,参见图4中的针对低分辨率部分的顶部和底部虚线,其只能表示为HEVC语法中的条带边界,因为在左侧的高分辨率部分中没有对应的边界。
更灵活的图片划分将是有益的另一种场景是低延迟对话应用。图片划分还用于解码/编码并行化。在某些情况下,这种并行化是实现实时解码/编码的唯一方式。可以想象视频会议场景,其中有2个人出现在图片中。
图5示出灵活的编码区域划分。
可能地,可以用来实现(按编码复杂度的方式)公平的负载平衡的良好图片划分可以是图5所示的图片划分。但是,在这种场景中,由于需要矩形的图块化网格,因此图块化缺乏期望的灵活性。
分割(利用条带)的另一个主要目的是错误鲁棒性。如果丢失了图片的某些条带,则将不会阻碍对成功接收的条带的重构,并且因此部分重构的图片可以被输出,并可以在针对后续图片的时间预测过程中被用作参考图片。该特征在错误率较高的传输系统中或在每个图片的内容都极为重要的情况下是非常重要的。另一方面,也存在如MPEG DASH中的传输方案,例如经由HTTP的动态自适应流传输,其以传输层(TCP/IP)上的错误检测和减轻技术为特征,并且针对该传输方案,在成功重传之前进行缓存停滞是对传输错误的解决方案。在这种场景中,可以允许引入附加的依赖性,但这将损害抗误码能力。现有技术的条带和图块划分在这方面也缺乏灵活性。
本发明的目的是提供针对视频编码和视频解码的改进概念。
发明内容
通过根据本申请实施例所述的视频解码器、根据本申请实施例所述的视频编码器、根据本申请实施例所述的对图片进行编码的编码视频信号、根据本申请实施例所述的对编码视频信号进行解码的方法、根据本申请实施例所述的对图片进行编码的方法和根据本申请实施例所述的系统来实现本发明的目的。
提供了一种用于通过生成编码视频信号来对图片进行编码的视频编码器。该视频编码器包括数据编码器,该数据编码器被配置用于将视频的图片编码为编码图片数据,其中,该数据编码器还被配置为生成指示数据。此外,视频编码器包括信号生成器,该信号生成器被配置为生成包括编码图片数据和指示数据的编码视频信号。图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于所述图片内的多个编码树单元中的一个或多个编码树单元,其中,数据编码器被配置为根据多个编码区域对图片进行编码,并且其中,数据编码器被配置为生成指示数据,使得指示数据包括与多个编码区域有关的信息。多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,数据编码器被配置为根据包括两个或多个编码树单元的一个或多个编码区域的编码顺序对图片进行编码,并且其中,数据编码器被配置为生成所述指示数据,使得所述指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
此外,提供了一种视频解码器,用于对编码视频信号进行解码,以重构视频的图片,所述编码视频信号包括视频的图片的编码图片数据和指示数据。视频解码器包括:接口,被配置用于接收编码视频信号;以及数据解码器,被配置用于通过使用指示数据对编码图片数据进行解码来重构视频的图片。图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中,使用所述指示数据,数据解码器被配置为根据多个编码区域来对编码图片数据进行解码,其中,指示数据包括与多个编码区域有关的信息。多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,数据编码器被配置为根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序对编码图片数据进行解码,其中,指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
此外,提供了一种用于通过生成编码视频信号来对图片进行编码的方法。该方法包括:
-将视频的图片编码为编码图片数据。
-生成指示数据。以及:
-生成包括编码图片数据和指示数据的编码视频信号。
图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中,根据多个编码区域对图片进行编码,并且其中,生成指示数据以使得指示数据包括与多个编码区域有关的信息。多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序进行对图片的编码,并且其中,生成指示数据以使得指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
此外,提供了一种用于对编码视频信号进行解码以重构视频的图片的方法,所述编码视频信号包括视频的图片的编码图片数据和指示数据。该方法包括:
-接收编码视频信号。以及:
-通过使用指示数据对编码图片数据进行解码来重构视频的图片。
图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中,使用指示数据,其中,根据多个编码区域来对编码图片数据进行解码,其中,指示数据包括与多个编码区域有关的信息。多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,使用指示数据,根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序对编码图片数据进行解码,其中,指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
此外,提供了一种计算机程序,当在计算机或信号处理器上执行时实现上述方法之一。
此外,提供了一种对图片进行编码的编码视频信号,其中,编码视频信号包括编码图片数据和指示数据,其中,图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中,根据多个编码区域对图片进行编码,并且其中,指示数据包括与多个编码区域有关的信息,其中,多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序来对图片进行编码,并且其中,指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
附图说明
在下文中,将参考附图更详细地描述本发明的实施例,在附图中:
图1a示出根据实施例的用于通过生成编码视频信号来对图片进行编码的视频编码器。
图1b示出根据实施例的用于对编码视频信号进行解码以重构视频的图片的视频解码器,该编码视频信号包括视频的图片的编码图片数据和指示数据。
图1c示出根据实施例的系统。
图2示出按光栅扫描顺序的利用条带的图片分割。
图3示出利用图块的图片划分。
图4示出具有不相等的分辨率的基于图块的360°视频流传输。
图5示出灵活的编码区域划分。
图6示出根据实施例的包括具有一个隐式编码区域的单个图片的比特流。
图7示出根据另一实施例的包括具有四个编码区域的单个图片的比特流。
图8示出根据实施例的在顶部具有单个CA并且在底部具有三个CA的图片的空间细分。
图9示出根据另一实施例的具有五个编码区域的图片的空间细分。
图10示出根据实施例的两个编码区域,其中包括图片边界CTU的一个编码区域由非连续的CTU组成。
图11示出根据实施例的在子区域(CTU)级别上的编码区域信令。
图12示出根据实施例的针对CTU_dependency_offset_id=1的CTU扫描顺序和空间参考。
图13示出根据另一实施例的针对CTU_dependency_offset_id=2的另一CTU扫描顺序和空间参考。
图14示出根据实施例的具有Z扫描CTU顺序的编码区域。
图15示出根据另一实施例的隐式CTU扫描方向导出。
图16示出根据实施例的具有不同CTU扫描方向的编码区域。
图17示出根据实施例的具有区域间预测选项的依赖型编码区域。
图18示出根据实施例的依赖型编码区域的并行处理((A)CTU光栅扫描;(B)CTU对角线扫描)。
图19示出根据实施例的执行顺序和CA间依赖性((A)依赖性驱动;(B)锁步)。
图20示出根据实施例的相对于CA顺序在CA边界上的去块滤波过程。
图21示出根据实施例的采用具有阴影线滤波器区的CA间滤波的去块滤波器。
图22示出包括具有一个编码区域的单个图片的比特流,而CA被分为多个传输单元。
图23示出包括具有多个编码区域的单个图片的比特流,而每个CA具有自己的传输单元。
图24示出包括具有多个编码区域的单个图片的比特流,而每个CA被分为多个传输单元。
图25示出根据实施例的被区包围的块的一般表示。
图26示出根据实施例的被划分为图块、砖块和矩形条带的图片的示例,其中,图片被分为4个图块、11个砖块和4个矩形条带。
图27示出根据实施例的图片,该图片被分层级地分割,在第一步骤中在水平和竖直方向上分割以获得图片的第一划分并且在第二步骤中仅在水平方向上分割以获得图片的第二划分。
图28示出根据另一实施例的图片,该图片被分层级地分割,在第一步骤中在水平和竖直方向上分割以获得图片的第一划分并且在第二步骤中仅在竖直方向上分割以获得图片的第二划分。
图29示出根据另外的实施例的图片,该图片被分层级地在第一步骤中仅在水平方向上分割以获得图片的第一划分并且在第二步骤中仅在竖直方向上分割以获得图片的第二划分。
图30示出根据又一实施例的图片,该图片被分层级地分割,在第一步骤中仅在竖直方向上分割以获得图片的第一划分并且在第二步骤中仅在水平方向上分割以获得图片的第二划分。
具体实施方式
图1a示出根据实施例的用于通过生成编码视频信号来对图片进行编码的视频编码器101。
视频编码器101包括数据编码器110,该数据编码器110被配置为将视频的图片编码为编码图片数据。此外,数据编码器110被配置为生成指示数据。
此外,视频编码器101包括信号生成器120,该信号生成器120被配置为生成包括编码图片数据和指示数据的编码视频信号。
图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元。数据编码器110被配置为根据多个编码区域对图片进行编码,并且其中,数据编码器110被配置为生成指示数据,使得指示数据包括与多个编码区域有关的信息。
多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序。数据编码器110被配置为根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序来对图片进行编码。此外,数据编码器110被配置为生成指示数据,使得指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
图1b示出根据实施例的用于对编码视频信号进行解码以重构视频的图片的视频解码器151,该编码视频信号包括视频的图片的编码图片数据和指示数据。
视频解码器151包括被配置用于接收编码视频信号的接口160。
此外,视频解码器151包括数据解码器170,该数据解码器170被配置为通过使用指示数据对编码图片数据进行解码来重构视频的图片。
图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元。使用指示数据,数据解码器170被配置为根据多个编码区域对编码图片数据进行解码,其中,指示数据包括与多个编码区域有关的信息。
多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序。使用指示数据,数据解码器170被配置为根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序来对编码图片数据进行解码,其中,指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
根据实施例,图1b的视频解码器151可以例如被配置为在输出设备上(例如,在例如电视、计算机、移动电话等的显示器上)输出视频的图片。
图1c示出根据实施例的系统。该系统包括根据图1a的视频编码器101。此外,该系统包括根据图1b的视频解码器151。
图1a的视频编码器101被配置为生成编码视频信号,并且
图1b的视频解码器151被配置为对编码视频信号进行解码以重构视频的图片。
在下面的章节“利用编码区域的通用图片划分”中,将描述利用编码区域的通用图片划分。
在下面的章节“编码区域”中,描述了编码区域。
除了当前现有技术的划分方案(例如图块)之外,实施例还提供更灵活的空间区定义概念,其可以例如被称为编码区域(CA)。对于将图片空间细分为矩形区域,这是有利的概念。利用编码区域,划分更加灵活,并且各个区都可以具有自己的、区域特定的编码特性。
编码区域由特定区的尺寸和位置(宽度、高度、位置)以及如何处理该区的数据来定义。可以按照下层编码过程规范或按照上层参数(例如,扫描顺序、扫描方向、扫描开始等)来实现信令。
图6示出根据实施例的包括具有一个隐式编码区域的单个图片的比特流。(NAL=网络抽象层;NALUH=网络抽象层单元头部;SH=条带头部)
图7示出根据另一实施例的包括具有四个编码区域的单个图片的比特流。
如果未应用划分,则图片隐式地包括一个编码区域(CA),参见图6。这可以是具有预定义功能的默认编码区域。图7示出将图片细分为多个CA。
在实施例中,图1a的数据编码器110可以例如被配置为将图片划分为多个编码区域。
图8示出根据实施例的在顶部具有单个编码区域(CA)并且在底部具有三个CA的图片的空间细分。图8和图9中的每个正方形都表示编码树单元(CTU)。尽管图8和图9示出具有正方形形状的CTU,但是在其他示例中,CTU可以例如具有矩形形状或任何其他形状。
从图8和图9可以看出,图8和图9中的每个编码区域在图片内呈矩形延伸。此外,在图8和图9中,每个CTU在图片内呈矩形延伸。
因此,根据实施例,多个编码区域中的每个编码区域可以例如在图片内呈矩形延伸。多个编码区域中的每个编码区域的一个或多个编码树单元中的每个编码树单元可以例如在图片内呈矩形延伸。
图9示出根据另一实施例的具有五个编码区域的图片的空间细分。
CA划分的一项重要优势在下面得到了展示。在图8和图9中,提供了新划分概念的两个示例。
对于某些用例,可以利用CA来实现无法利用图块实现的划分,其中CA划分产生减少的分区。从图3中的基于图块的划分可以看出,在图片的底部创建三个单独的区(图块4、图块5、图块6)需要在图片的顶部对三个附加区(图块1、图块2、图块3)进行编码。使用编码区域,可以将顶部的区编码为一个编码区域CA1,如图8所示。图9所示的划分也无法通过图块来实现,因为CA1、CA2和CA3的高度不同。
根据实施例,多个编码树单元中的每个编码树单元可以例如具有图片内的水平位置和图片内的竖直位置。图8和图9示出CTU的从1到10的水平位置和从1到5的竖直位置。当然,在这样的实施例中,位置不必从1开始并且从一个水平或竖直位置到下一个水平或竖直位置的步长不必是1。相反,从CTU到CTU的其他起始位置和其他步长也是可能的。对于竖直位置从一个CTU到下一个CTU的步长大小可以与对于水平位置从一个CTU到下一个CTU的步长大小不同。
图9的新划分例如可以具有如下特征。
在这样的实施例中(备选方案1:),多个编码区域中的第一编码区域可以例如包括第一编码树单元,第一编码树单元的第一竖直位置与多个编码区域中的不同第二编码区域的不同第二编码树单元的第二竖直位置相同,并且第一编码区域的第三编码树单元的第三竖直位置与第二编码区域的任何其他编码树单元的竖直位置不同,并且第二编码区域的第四编码树单元的第四竖直位置与第一编码区域的任何其他编码树单元的竖直位置不同。
或者(备选方案2:),多个编码区域中的第一编码区域可以例如包括第一编码树单元,第一编码树单元的第一水平位置与多个编码区域中的不同第二编码区域的不同第二编码树单元的第二水平位置相同,并且第一编码区域的第三编码树单元的第三水平位置与第二编码区域的任何其他编码树单元的水平位置不同,并且第二编码区域的第四编码树单元的第四水平位置与第一编码区域的任何其他编码树单元的水平位置不同。
图9满足备选方案1:
CA2包括CTU 91。CTU 91具有竖直位置3。CA4的CTU 96也具有竖直位置3。CA2的CTU92具有竖直位置2。CA4的所有CTU都不具有竖直位置2(因为CA4的竖直位置在3到5的范围内)。此外,CA4的CTU 97具有竖直位置4。CA2的所有CTU都不具有竖直位置4(因为CA2的竖直位置在1到3的范围内)。
相反,图8不满足备选方案1,并且不满足备选方案2:
备选方案1:
只有CA2、CA3和CA4具有相同的竖直位置(范围为3到5)。CA1没有与其他任何编码区域相同的竖直位置。然而,CA2不具有与编码区域CA3或CA4中的任何其他竖直位置不同的竖直位置。CA3和CA4分别相对于CA2、CA4和CA2、CA3的情况也是如此。
备选方案2:
CA2、CA3和CA4没有具有相同水平位置的CTU。
相反,CA1的CTU 81具有与CA2的CTU 86相同的水平位置(3)。此外,CA2的所有CTU都没有CA1的CTU 82的水平位置6,因为CA2的水平位置在1到4的范围内。但是,CA2中没有CTU与CA1的任何其他CTU的水平位置不同,因为CA2的CTU的水平位置在1到4的范围内,并且CA1的CTU的水平位置为在1到10的范围内。
出于类似的原因,CA3和CA4相对于CA1的情况也是如此。
因此,图8的划分不满足备选方案1并且不满足备选方案2。
在小节“编码区域的一般属性”中呈现了与分段和扫描顺序有关的许多CA参数的信号机制。
在空间上,编码区域覆盖特定数量的CTU。CA的灵活布置是一些实施例的特征之一。为此,我们提出了几种变体:显式信令以及分层级方法,二者均在VCL之外使用。同样,如果不采用比特流分段,则可以使用VCL内的信令。在小节“编码区域的大小和布置”中提供了CA布置的详细描述。
除了段的布置之外,实施例还提供了编码区域内的新的灵活处理或CTU的扫描顺序。该技术的详细信息在小节“CTU扫描顺序”中呈现。
如在小节“依赖型编码区域”中所解释的,其他发明特征之一在于,在单个图片内,一个CA在某一方面可以独立于和/或依赖于其他编码区域。
使用新提出的方法的组合在高级别并行性方面带来新机会。如在小节“编码区域的并行处理”中详细描述,可以以更有效的方式来进行空间图片区域的并行处理。
在小节“抗误码能力方面”中描述了抗误码能力的各个方面。
概述以上概念:
根据一个实施例,多个编码区域中的每个编码区域可以例如展示包括所述编码区域的位置、宽度和高度的空间特性,其中,编码区域的宽度和高度取决于该编码区域的矩形延伸,并且其中,编码区域的位置取决于该编码区域在图片内的位置。
在一个实施例中,多个编码区域中的第一编码区域的第一高度可以例如不同于所述多个编码区域中的第二编码区域的第二高度。或者,多个编码区域中的第一编码区域的第一宽度不同于所述多个编码区域中的第二编码区域的第二宽度。
根据一个实施例,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括与多个编码区域中的每个编码区域的空间特性有关的信息。
在一个实施例中,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括多个编码区域中的每个编码区域的位置、宽度和高度。
根据实施例,数据编码器110可以例如被配置为独立于对多个编码区域中的任何其他编码区域的图片部分的图像数据的编码,来对多个编码区域中的每个编码区域的图片部分的图像数据进行编码,以获得编码图片数据。
在一个实施例中,数据编码器110可以例如被配置为通过对多个编码区域的每个编码区域内的图片部分的图像数据进行编码,来对图片进行编码,以获得编码图片数据。数据编码器110可以例如被配置为对多个编码区域中的至少一个编码区域的图片部分的图像数据进行编码,使得对多个编码区域中的至少一个编码区域的图像数据的编码依赖于对多个编码区域中的至少另一个编码区域的图像数据的编码。
在一个实施例中,数据编码器110可以例如确定针对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域的编码顺序。
根据一实施例,数据编码器110可以例如被配置为通过从针对一个或多个编码区域中的每个编码区域的两个或更多个扫描顺序中选择扫描顺序,来确定一个或多个编码区域中的每个编码区域的编码顺序。
在一个实施例中,信号生成器120可以例如被配置为生成编码视频信号,使得编码视频信号包括比特流,其中,比特流包括编码图片数据和指示数据。
同样地,根据一个实施例,多个编码区域中的每个编码区域可以例如展示包括所述编码区域的位置、宽度和高度的空间特性,其中,编码区域的宽度和高度取决于该编码区域的矩形延伸,并且其中,编码区域的位置取决于该编码区域在图片内的位置。数据解码器170可以例如被配置为根据多个编码区域的空间特性来对编码图片数据进行解码。
在一个实施例中,多个编码区域中的第一编码区域的第一高度可以例如不同于所述多个编码区域中的第二编码区域的第二高度。或者,多个编码区域中的第一编码区域的第一宽度不同于所述多个编码区域中的第二编码区域的第二宽度。
根据一个实施例,数据解码器170可以例如被配置为使用指示数据内的与多个编码区域的空间特性有关的信息来对编码图片数据进行解码。
在一个实施例中,数据解码器170可以例如被配置为使用指示数据内的与多个编码区域有关的信息来对编码图片数据进行解码,所述信息包括多个编码区域中的每个编码区域的位置、宽度和高度。
根据一个实施例,数据解码器170可以例如被配置为独立于对多个编码区域中的任何其他编码区域的编码图片数据的解码,来对多个编码区域中的每个编码区域的编码图片数据进行解码。
在一个实施例中,数据解码器170可以例如被配置为对多个编码区域中的至少一个编码区域的编码图片数据进行解码,使得对多个编码区域中的所述至少一个编码区域的编码图片数据的解码依赖于对多个编码区域中的至少另一个编码区域的编码图片数据的解码。
根据一个实施例,数据解码器170可以例如被配置为使用针对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域的编码顺序来对编码图片数据进行解码,针对一个或多个编码区域中的每个编码区域的编码顺序由指示数据来指示。
在一个实施例中,数据解码器170可以例如被配置为使用与来自针对一个或多个编码区域中的每个编码区域的两个或更多个扫描顺序中的扫描顺序有关的指示来对编码图片数据进行解码,其中,指示数据可以例如包括与针对一个或多个编码区域中的每个编码区域的扫描顺序有关的指示。
根据一个实施例,接口160可以例如被配置为接收比特流,其中,比特流包括编码图片数据和指示数据。
在下面的小节“编码区域的一般属性”中,描述了编码区域的一般属性。
有关编码区域的一般信息被集中在所谓的编码区域集(CAS)中。CAS可以在VCL之外在高级别参数集中建立,并且然后对整个序列或序列的一部分(例如图片)产生影响。
x=video,sequence,picture...
表2-1
coding_area_explicit_positioning_flag如果为真,则在比特流中存在encoding_area_top_left_CTU_address,否则使用默认的隐式CA定位
num_coding_areas_minus1比特流中用信号通知的编码区域的数量
dependent_coding_areas_enabled_flag如果为真,则指示在比特流中跟随的CA按照在比特流中出现的顺序相互依赖,否则将CA视为独立的区。
coding_areas_CTU_wise_dependent_flag如果为真,则指示邻接CA之间的CTU的依赖性以按CTU处理的交织CA处理的方式来处理,否则,以固定顺序来单独处理CA。
coding_area_no_slices_flag如果为真,则指示每个CA一个条带。这意味着在比特流中不存在EOS_flag和CTU_start_address。CA由CA_idx寻址,而CA_idx是根据ceil(log2(num_coding_areas_minus1+1))导出的固定长度码。否则,在比特流中存在默认条带语法。
coding_area_CTU_scan_flag如果为真,则指示在比特流中存在CTU扫描参数。在小节“CTU扫描顺序”中描述了灵活的CTU扫描技术。
coding_area_CTU_scan_type_idx映射到扫描类型表(光栅扫描、对角线扫描)中。
coding_area_CTU_scan_start_left_flag[i]如果第i个CA在每个CTU行上包括多于一个CTU则存在,如果为真,则指示在CA内的最左侧的CTU处开始CTU扫描。否则,第i个CA的CTU扫描从最右侧的CTU开始。
coding_area_CTU_scan_start_top_flag[i]如果第i个CA在每个CTU列中包括多于一个CTU则存在,如果为真,则指示在该CA内的顶部CTU行中开始CTU扫描。否则,第i个CA的CTU扫描在CA的CTU底部行中开始。
coding_area_CTU_scan_direction_flag[i]如果第i个CA包含至少两个CTU行和两个CTU列则存在,指示CTU扫描的起始扫描方向。如果为真,则第i个CA的扫描方向在水平方向上开始,否则扫描为竖直扫描。
概述以上概念:
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据可以例如包括针对每个编码区域的与是否指定了左上编码树单元的地址有关的信息。特定示例例如可以是coding_area_explicit_positioning_flag。如果为真,则在比特流中存在encoding_area_top_left_CTU_address,否则使用默认的隐式CA定位。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据可以例如包括与多个编码区域的数量或多个编码区域的数量减1或多个编码区域的数量减2有关的信息。特定示例可以例如是上述num_coding_areas_minus1字段。
在实施例中,数据编码器110可以例如配置为生成指示数据,使得指示数据针对多个编码区域中的继多个编码区域中的另一个编码区域之后的一个编码区域,指示多个编码区域中的所述一个编码区域是否依赖于多个编码区域中的所述另一个编码区域。特定示例可以是例如dependent_coding_areas_enabled_flag,其如果为真,则可以例如指示比特流中跟随的CA按照在比特流中出现的顺序相互依赖,否则将CA视为独立的区。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示是否将多个条带中的恰好一个条带分配给多个编码区域中的恰好一个编码区域。特定示例可以例如是上述coding_area_no_slices_flag。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示数据是否例如可以包括与如何在多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描有关的信息。特定示例可以例如是上述coding_area_CTU_scan_flag。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示如何在多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描。特定示例可以是例如映射到扫描类型表的coding_area_CTU_scan_type_idx。扫描类型可以例如是光栅扫描和/或例如是对角线扫描等。
在一个实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的每个指示该编码区域是否包括多于一个编码树单元。
根据一个实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的一个编码区域指示是以最左侧的编码树单元开始编码树单元扫描还是以最右侧的编码树单元开始编码树单元扫描。特定示例可以例如是上述coding_area_CTU_scan_start_left_flag[i]。
在一个实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的一个编码区域指示是以该编码区域的顶部编码树单元行开始编码树单元扫描还是以该编码区域的底部编码树单元行开始编码树单元扫描。特定示例可以例如是上述coding_area_CTU_scan_start_top_flag[i]。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的一个编码区域指示是在水平方向上开始编码树单元扫描还是在竖直方向上开始编码树单元扫描。特定示例可以是例如coding_area_CTU_scan_direction_flag[i],如果第i个CA包含至少两个CTU行和两个CTU列,则其可以存在,以指示CTU扫描的起始扫描方向。如果为真,则第i个CA的扫描方向例如可以在水平方向上开始,否则该扫描可以例如为竖直扫描。
类似地,根据实施例,数据解码器170可以例如使用针对每个编码区域的与是否指定了左上编码树单元的地址有关的信息来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
在实施例中,数据解码器170可以例如被配置为使用与多个编码区域的数量或与多个编码区域的数量减1或与多个编码区域的数量减2有关的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用以下信息来对编码图片数据进行解码:所述信息针对多个编码区域中的继多个编码区域中的另一个编码区域之后的一个编码区域,指示多个编码区域中的所述一个编码区域是否依赖于多个编码区域中的所述另一个编码区域,其中,指示数据可以例如包括所述信息。
在实施例中,数据解码器170可以例如被配置为使用指示是否将多个条带中的恰好一个条带分配给多个编码区域中的恰好一个编码区域的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用与如下内容有关的信息来对编码图片数据进行解码:指示数据是否可以例如包括与如何在多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描有关的信息,其中,指示数据可以例如包括所述信息。
在实施例中,数据解码器170可以例如被配置为使用与如何在多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描有关的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用针对多个编码区域中的每个指示该编码区域是否包括多于一个编码树单元的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
在实施例中,数据解码器170可以例如被配置为使用以下信息来对编码图片数据进行解码:针对多个编码区域中的一个编码区域,信息指示是以最左侧的编码树单元开始编码树单元扫描还是以最右侧的编码树单元开始编码树单元扫描,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用以下信息来对编码图片数据进行解码:所述信息针对多个编码区域中的一个编码区域,指示是以编码区域的顶部编码树单元行开始编码树单元扫描还是以编码区域的底部编码树单元行开始编码树单元扫描,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用以下信息来对编码图片数据进行解码:所述信息针对多个编码区域中的一个编码区域,指示是在水平方向上开始编码树单元扫描还是在竖直方向上开始编码树单元扫描,其中,指示数据可以例如包括所述信息。
在下面的小节“编码区域的大小和布置”中,描述了编码区域的大小和布置。
重要的是用信号通知如何在图片内布置编码区域。根据应用,追求可能影响图片划分的期望灵活性(例如CA大小和位置)的不同目标。也可以在比特流的“高级别”部分中发送布局,以便使用时间上固定的CA布局或根据内容随时间调整布局。
例如,在章节“利用图块的图片划分”中提供的针对360°视频流传输的示例中,CA对于整个CVS(编码视频序列)通常是恒定的,并且它们的大小仅需要容纳根据相同内容的不同分辨率生成的分区,例如,如图4所示。对于这种情况,CA布置信令的最合适位置是高级别语法结构(例如,参见HEVC的VPS、SPS、PPS),如后面在子小节“实施例A”和子小节“实施例B”中所述。
然而,在其他示例中,如在用于负载平衡(例如,视频会议场景)的章节“利用图块的图片划分”中,可能希望动态的每图片划分。另外,可能发现为CA选择的初始配置不是最佳的,因此可能需要对划分进行图片内修改(在编码时)。对于这种情况,在CA布置不是先验已知的情况下,如在子小节“实施例C”中所述,相对于高级别信令(在参数集内),优选VCL(视频编码层,在条带有效载荷内)内信令。
在以下子小节“实施例A”中,描述了按样本或按单元的位置和大小信令。
使用CTU起始地址进行显式CA定位以选择相应的区域:
表2-2
图10示出根据实施例的两个编码区域,其中包括图片边界CTU的一个编码区域由非连续的CTU组成。
原则上,上面的语法num_coding_areas_minus2可以定义除1个以外的所有CA,并且具有最后一个CA作为未被先前的CA覆盖的剩余部分。但是,这将使得CA不具有连续的CTU,如图10所示,这可能为编码/解码过程增加一些复杂性。
因此,应添加约束以禁止这种情况,并要求语法满足一些约束:例如,给定与在CA的左上角、右上角、左下角、右下角处的CTU相对应的四个CTU(CTUa,CTUb,CTUc,CTUd),其中对于所有CTU,CTUb_addr-CTUa_addr=CAWidthInNumCTUs_minus1并且CTUc_addr-CTUa_addr=CAHeightInNumCTUs_minus1,并且仅具有以下CTU_address的CTU应该属于剩余的CA:CTUx_addr=CTUa_addr+j+k*(CAWidthInNumCTUs_minus1+1),其中j=0...CAWidthInNumCTUs_minus1并且k=0...CAHeightInNumCTUs_minus1。
备选地,可以添加可以指示/约束CA满足这样的条件的语法元素(例如“non_contiguous_remaining_coding_unit_enabled_flag”)。因此,某些配置文件可能要求不启用该标志,以防止由非连续的CA添加的复杂性。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据包括非连续信息,所述非连续信息指示多个编码区域中的至少一个编码区域围绕多个编码区域中的另一个编码区域,还是多个编码区域中没有一个编码区域围绕另一个编码区域。图10是特定示例,其中示出两个编码区域CA1、CA2。外部编码区域CA1围绕内部编码区域CA2。
在图10中,CA1围绕CA2。non_contiguous_remaining_coding_unit_enabled_flag可以用于提供相应的指示。
同样地,在一个实施例中,数据解码器170可以例如被配置为使用指示以下内容的非连续信息来对编码图片数据进行解码:多个编码区域中的至少一个编码区域围绕多个编码区域中的另一个编码区域,还是多个编码区域中没有一个编码区域围绕另一个编码区域,其中,指示数据包括所述信息。
上表中的语法在CA不是最大编码单元(例如128x128)的倍数的情况下允许灵活的信令,这对于某些应用是有益的。但是,使用样本单元发信号通知CA可能导致使用很多比特。备选地,可以在CTU中进行这种发信号通知以节省比特。问题在于,不能用信号通知不是CTU的倍数的大小。在下面提出的语法中,利用一些附加信息,可以解决该问题。
表2-3
提议的信令指示CA的最后一个CTU行和列是否包括具有所指示的最大大小的CTU,或者指示最后一个CTU是否较小。如果较小,则指示CA的最后一个CTU行和列的大小。
但是,如果CA的大小不是最大CTU大小的倍数(即,行或列中的最后一个CTU较小),则这可能导致每行或列具有不同数量的CTU的图片,因为CA可能具有比其他CA小的某些CTU。这种不对齐可能是不希望的,因为用于图片内预测的变量的存储通常利用CTU地址来寻址,并且每行或每列的不同数量的CTU可能会使CTU寻址不可行或过于复杂。因此,应添加如下约束:每当CA在整个CTU(或具有最大CTU大小的CTU)之前结束时,其他相邻CA应在不包括整个CTU的尺寸(水平或/和垂直的)内对齐。
隐式定位在尚未被编码区域覆盖的最高的CTU行中的最左侧的位置处递归地开始。换句话说,例如,如果如表2-4中所示的encoding_area_explicit_positioning_flag被设置为0,则不指示CA的起始地址,而仅指示宽度和高度,并且解码器将必须通过查找尚未被第1个...第(i-1)个CA覆盖的最小的CTU地址来导出第i个CA的起始地址。
在一个实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对编码区域指示是指示了起始地址还是没有指示所述起始地址,所述起始地址指示编码区域的一个或多个编码树单元中的一个编码树单元。特定示例可以例如是上述coding_area_CTU_start_address。
同样地,根据实施例,数据解码器170可以例如被配置为使用以下指示来对编码图片数据进行解码:针对编码区域,是指示了起始地址还是没有指示起始地址,所述起始地址指示编码区域的一个或多个编码树单元中的一个编码树单元。如果没有指示指示所述编码区域的一个或多个编码树单元中的所述一个编码树单元的起始地址,则数据解码器170可以例如被配置为根据所述编码区域的编码区域宽度和编码区域高度,并根据所述编码区域的编码区域扫描方向,来确定指示所述编码区域的一个或多个编码树单元中的所述一个编码树单元的起始地址。
上述两个表中的语法都包括encoding_area_start_address[i],它在原则上简化了解析器的操作,但是在某种程度上是可以简单地从信号通知的大小中导出的“冗余”信息。因此,两个表都可以与提供的表相同,但没有该语法元素,其中地址被导出为“尚未被编码区域覆盖的最高的CTU行中的最左侧的位置”。
对于更高的图片分辨率,附加的步长可能有助于缩放CA划分的宽度和高度,以及可用的位置代码。
表2-4
将如下导出最终CA位置和大小:
coding_area_width_in_CTU=coding_area_width_in_units*
(coding_area_unit_scaling_factor_minus1+1)
coding_area_height_in_CTU=coding_area_height_in_units*
(coding_area_unit_scaling_factor_minus1+1)
pic_width_in_units=
(pic_width_in_CTU+coding_area_unit_scaling_factor_minus1)
/(coding_area_unit_scaling_factor_minus1+1)
coding_area_CTU_start_address=
(coding_area_unit_scaling_factor_minus1+1)
*((coding_area_start_address_in_units%pic_width_in_units)+
(coding_area_CTU_start_address_unit/pic_width_in_units)*
picture_width_in_CTU))
表2-5
coding_area_scaling_factor_minus1用于对CA位置和大小参数进行缩放的缩放因子
coding_area_top_left_CTU_address_in_units[i]CTU在CA的左上边界处的地址。地址按单位给出,并且必须根据coding_area_scaling_factor_minus1+1进行缩放以获得CTU地址
coding_area_width_in_units[i]按单位的CA的宽度,其必须根据coding_area_scaling_factor_minus1+1缩放,以获取CTU中的CA宽度。
coding_area_height_in_units[i]按单位的CA的高度,其必须根据coding_area_scaling_factor_minus1+1进行缩放,以获取CTU中的CA宽度。
概述以上概念:
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的一个编码区域以编码树单元来指示编码区域宽度,编码区域宽度指定其中一个编码区域内的在水平方向上布置的编码树单元的数量。特定示例可以例如是上述coding_area_width_in_CTU。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的一个编码区域以编码树单元来指示编码区域高度,编码区域高度指定其中一个编码区域内的在竖直方向上布置的编码树单元的数量。特定示例可以例如是上述coding_area_height_in_CTU。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的编码区域指示该编码区域内的水平方向上的最后一个编码树单元是否小于该编码区域的在水平方向上位于该编码树单元之前的另一个编码树单元。
在特定实施例中,所述编码区域可以例如包括水平方向上的多个最后编码树单元,水平方向上的所述最后一个编码树单元是水平方向上的所述多个最后编码树单元中的一个编码树单元。如果该编码区域内的水平方向上的最后一个编码树单元小于该编码区域的在水平方向上位于该最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在水平方向上可以例如具有相同的宽度。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据针对多个编码区域中的编码区域指示该编码区域内的竖直方向上的最后一个编码树单元是否小于该编码区域的在竖直方向上位于该编码树单元之前的另一个编码树单元。
在特定实施例中,所述编码区域可以例如包括竖直方向上的多个最后编码树单元,竖直方向上的最后一个编码树单元是竖直方向上的多个最后编码树单元中的一个编码树单元。如果该编码区域内的竖直方向上的最后一个编码树单元小于该编码区域的在竖直方向上位于最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在竖直方向上可以例如具有相同的高度。
同样,在实施例中,数据解码器170可以例如被配置为使用针对多个编码区域中的一个编码区域以编码树单元来指示编码区域宽度的信息来对编码图片信息进行解码,编码区域宽度指定其中一个编码区域内的在水平方向上布置的编码树单元的数量,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用针对多个编码区域中的一个编码区域以编码树单元来指示编码区域高度的信息来对编码图片信息进行解码,所述编码区域高度指定其中一个编码区域内的在竖直方向上布置的编码树单元的数量,其中,指示数据可以例如包括所述信息。
在一个实施例中,数据解码器170可以例如被配置为使用以下信息来对编码图片信息进行解码:所述信息针对多个编码区域中的编码区域,指示编码区域内的水平方向上的最后一个编码树单元是否小于该编码区域的在水平方向上位于该编码树单元之前的另一个编码树单元,其中,指示数据可以例如包括所述信息。
在特定实施例中,所述编码区域可以例如包括水平方向上的多个最后编码树单元,水平方向上的最后一个编码树单元是水平方向上的多个最后编码树单元中的一个编码树单元。如果该编码区域内的水平方向上的最后一个编码树单元小于该编码区域的在水平方向上位于该最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在水平方向上可以例如具有相同的宽度。
根据一个实施例,数据解码器170可以例如被配置为使用以下信息来对编码图片信息进行解码:所述信息针对多个编码区域中的编码区域,指示编码区域内的竖直方向上的最后一个编码树单元是否小于该编码区域的在竖直方向上位于该编码树单元之前的另一个编码树单元,其中,指示数据可以例如包括所述信息。
在特定实施例中,所述编码区域可以例如包括竖直方向上的多个最后编码树单元,竖直方向上的最后一个编码树单元是竖直方向上的多个最后编码树单元中的一个编码树单元。如果编码区域内的竖直方向上的最后一个编码树单元小于该编码区域的在竖直方向上位于最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在竖直方向上可以例如具有相同的高度。
在以下子小节“实施例B”中,描述了通过分割进行的分层级细分。
特别地,提供了用于分层级CA划分的两个变体。
第一种方法是以缩放的CTU为单位来分层级地发送编码区域分割位置值。在此,划分的粒度取决于CTU大小。
表2-6
表2-7
/>
分层级CA划分的第二个变体是以大体统一的单位来发送编码区域分割位置值。单位尺寸可以通过将已解析的原始图片大小用特定因子进行缩放来导出,该因子也在参数集中用信号通知。在此,划分的粒度是变化的,并且取决于在编码器侧选择的单位大小。
表2_8
表2-9
将如下导出最终CA位置和大小:
UnitWidth=pic_width_in_luma_samples/PicWidthInUnits;
UnitHeight=pic_height_in_luma_samples/PicHeightInUnits;
CodingAreaWidth[AreaIdx]=CodingAreaWidthInUnits[AreaIdx]*
UnitWidth
CodingAreaHeight[AreaIdx]=CodingAreaHeightInUnits[AreaIdx]*
UnitHeight
CodingAreaPosX[AreaIdx]=CodingAreaPosUnitX[AreaIdx]*
UnitWidth
CodingAreaPosY[AreaIdx]=CodingAreaPosUnitY[AreaIdx]*
UnitHeight
coding_area_start_address[AreaIdx]=CodingAreaPosY[AreaIdx]*
PicWidthInCtbsY+CodingAreaPosX[AreaIdx]
分层级CA划分的优势在于,对于某些划分场景,该方法可能需要较少的比特来进行信号通知。此外,这增强了共享一些边界的CA或一组CA之间的某种类型的对齐,这对于一些实施方式可能是有益的。
发送信号可以被约束为仅针对RAP是可能的,并且从那里继承以用于后续图片。
比特流中的指示布局的附加标志被重传。否则,使用先前的CA布局,可以通过比特流发送的索引从一组先前发送的CA布局中选择该先前的CA布局。
概述以上内容:
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括与如何将图片分割一次或多次以通过将图片分割一次或多次来获得多个编码区域有关的信息。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示多个编码区域分割位置。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据将多个编码区域分割位置指示为有序序列。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据将多个编码区域分割位置指示为多个编码区域分割位置值,其中,多个编码区域分割位置值中的每个都取决于图片的宽度或取决于图片的高度。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括与如何将图片分层级地分割一次或多次以通过将图片分层级地分割一次或多次来获得多个编码区域有关的信息。
根据实施例,数据解码器170可以例如被配置为使用与如何将图片分割一次或多次以通过将图片分割一次或多次来获得多个编码区域有关的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用指示多个编码区域分割位置的信息来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用将多个编码区域分割位置指示为有序序列的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用将多个编码区域分割位置指示为多个编码区域分割位置值的信息,来对编码图片数据进行解码,其中,多个编码区域分割位置值中的每个都取决于图片的宽度或取决于图片的高度,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为使用与多个编码区域有关的、包括与如何将图片分层级地分割一次或多次以通过将图片分层级地分割一次或多次来获得多个编码区域有关的信息的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
现在将提供另外的示例,该另外的示例与以下内容有关:数据编码器110可以例如如何被配置为生成指示数据,使得与多个编码区域有关的信息包括与如何将图片分割一次或多次以通过将图片分割一次或多次来获得多个编码区域有关的信息。
具体地,提供另外的示例,该另外的示例与以下内容有关:数据编码器110可以例如如何被配置为生成指示数据,使得与多个编码区域有关的信息包括与如何将图片分层级地分割一次或多次以通过将图片分层级地分割一次或多次来获得多个编码区域有关的信息。
此外,提供另外的示例,该另外的示例与以下内容有关:数据解码器170可以例如如何被配置为使用与如何将图片分割一次或多次以通过将图片分割一次或多次来获得多个编码区域有关的信息,来对编码图片数据进行解码,其中,指示数据包括所述信息。
具体地,提供另外的示例,该另外的示例与以下内容有关:数据解码器170可以例如如何被配置为使用与多个编码区域有关的、包括与如何将图片分层级地分割一次或多次以通过将图片分层级地分割一次或多次来获得多个编码区域有关的信息的信息,来对编码图片数据进行解码,其中,指示数据可以例如包括所述信息。
此外,提供另外的示例,该另外的示例与以下内容有关:编码视频信号的指示数据可以例如如何指示如何将图片分割一次或多次,以通过将图片分割所述一次或多次来获得多个编码区域。
此外,具体地,提供另外的示例,该另外的示例与以下内容有关:如何将图片分层级地分割一次或多次,以通过将图片分层级地分割一次或多次来获得多个编码区域。
在一些实施例中,数据编码器110和/或数据解码器170可以例如在第一步骤中被配置为
-在水平和竖直方向上分割图片以获得图片的第一划分,以及
-在第二步骤中被配置为(仅)在水平方向上分割图片的第一划分以获得图片的第二划分。
在图27中,在第一步骤中,在水平和竖直方向上分层级地分割图片以获得图片的第一划分(例如,图块分割)(图27,步骤1),并且在第二步骤中,仅在水平方向上分层级地分割图片,以获得图片的第二划分(例如,砖块分割)(图27,步骤2)。
在一些实施例中,数据编码器110和/或数据解码器170可以例如在第一步骤中被配置为
-在水平和竖直方向上分割图片以获得图片的第一划分,以及
-在第二步骤中被配置为(仅)在竖直方向上分割图片的第一划分以获得图片的第二划分。
在图28中,在第一步骤中,在水平和竖直方向上分层级地分割图片以获得图片的第一划分(例如,图块分割)(图28,步骤1),并且在第二步骤中,仅在竖直方向上分层级地分割图片,以获得图片的第二划分(例如,砖块分割)(图28,步骤2)。
在一些其他实施例中,数据编码器110和/或数据解码器170可以例如在第一步骤中被配置为
-(仅)在水平方向上分割图片以获得图片的第一划分,以及
-在第二步骤中被配置为(仅)在竖直方向上分割图片的第一划分以获得图片的第二划分。
在图29中,在第一步骤中,仅在水平方向上分层级地分割图片以获得图片的第一划分(例如,图块分割)(图29,步骤1),并且在第二步骤中,仅在竖直方向上分层级地分割图片,以获得图片的第二划分(例如,砖块分割)(图29,步骤2)。
在又一些其他实施例中,数据编码器110和/或数据解码器170可以例如在第一步骤中被配置为
-(仅)在竖直方向上分割图片以获得图片的第一划分,以及
-在第二步骤中被配置为(仅)在水平方向上分割图片的第一划分以获得图片的第二划分。
在图30中,在第一步骤中,仅在竖直方向上分层级地分割图片以获得图片的第一划分(例如,图块分割)(图30,步骤1),并且在第二步骤中,仅在水平方向上分层级地分割图片,以获得图片的第二划分(例如,砖块分割)(图30,步骤2)。
在实施例中,在以下用于图片参数集RBSP语法的代码中,brick_split_flag[i]和num_brick_rows_minus1[i]参数实现了如何将图片分层级地分割一次或多次以获得多个编码区域的示例性方式。
例如,图片可以划分为个图片、条带、图块、砖块和CTU。
图片可以例如被分为一个或多个条带行和一个或多个图块列。图块是覆盖图片的矩形区的一系列CTU。
图块被分为一个或多个砖块,每个砖块由该图块内的多个CTU组成。
没有被划分为多个砖块的图块也称为砖块。然而,是图块的真子集的砖块不被称为图块。
条带包含图片的多个图块,或包含图块的多个砖块。
支持条带的两种模式,即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中,条带以图片的图块光栅扫描包含一系列图块。在矩形条带模式中,条带包含图片的多个砖块,这些砖块共同形成图片的矩形区。矩形条带中的砖块按照条带的砖块光栅扫描的顺序。
图26示出图片被划分为图块、砖块和矩形条带的示例,其中该图片分为4个图块(2个图块列和2个图块行),11个砖块(左上角的图块包含1个砖块,右上角的图块包含5个砖块,左下角的图块包含2个砖块,并且右下角的图块包含3个砖块)和4个矩形条带。
在下文,brick_split_flag[i]等于1指定第i个图块被分为两个或多个砖块。brick_split_flag[i]等于0指定第i个图块未被分为两个或更多个砖块。当不存在时,将brick_split_flag[i]的值推断为等于0。
此外,在下文中,当uniform_brick_spacing_flag[i]等于0时,num_brick_rows_minus1[i]加1指定划分第i个图块的砖块的数量。当存在时,num_brick_rows_minus1[i]的值应在1到RowHeight[i]-1(包括1和RowHeight[i]-1)的范围内。如果brick_split_flag[i]等于0,则将num_brick_rows_minus1[i]的值推断为等于0。否则,当uniform_brick_spacing_flag[i]等于1时,推断num_brick_rows_minus1[i]的值(例如,如下面有关CTB光栅扫描、图块扫描和砖块扫描过程所指定的那样)。
因此,利用brick_split_flag[i]和num_brick_rows_minus1[i]并实现一种关于如何将图片分层级地分割一次或多次以获得多个编码区域的示例性方式。图块可以例如被分成两个或更多个砖块,其可以例如由多个CTU行组成。
更详细地,CTB光栅扫描、图块扫描和砖块扫描过程可以例如如下进行:
导出以CTB为单位指定第i个图块列的列表colWidth[i](i的范围从0到num_tile_columns_minus1,包括0和num_tile_columns_minus1),并且当uniform_tile_spacing_flag等于1时,如下推断num_tile_columns_minus1的值:
导出以CTB为单位指定第j个图块行的高度的列表RowHeight[j](j的范围从0到num_tile_rows_minus1,包括0和num_tile_rows_minus1),并且当uniform_tile_spacing_flag等于1时,如下推断num_tile_rows_minus1的值:
如下导出以CTB为单位指定第i个图块列边界的位置的列表tileColBd[i](i的范围从0到num_tile_columns_minus1+1,包括0和num_tile_columns_minus1+1):
for(tileColBd[0]=0,i=0;i<=num_tile_columns_minus1;i++)
tileColBd[i+1]=tileColBd[i]+colWidth[i] (6-3)
如下导出以CTB为单位指定第j个图块行边界的位置的列表tileRowBd[j](j的范围从0到num_tile_rows_minus1+1,包括0和num_tile_rows_minus1+1):
for(tileRowBd[0]=0,j=0;j<=num_tile_rows_minus1;j++)
tileRowBd[j+1]=tileRowBd[j]+RowHeight[j] (6-4)
导出以下项:变量NumBricksInPic,其指定引用PPS的图片中的砖块的数量,以CTB为单位指定竖直砖块边界的位置、以CTB为单位指定水平砖块边界的位置、以CTB为单位指定砖块的宽度以及以CTB为单位指定砖块的高度的列表BrickColBd[brickIdx]、BrickRowBd[brickIdx]、BrickWidth[brickIdx]和BrickHeight[brickIdx],brickIdx的范围从0到NumBricksInPic(包括0和NumBricksInPic),并且对于范围从0到NumTilesInPic-1(包含0和NumTilesInPic-1)的每个i,当uniform_brick_spacing_flag[i]等于1时,如下推断num_brick_rows_minus1[i]的值:
/>
如下导出指定从处于图片的CTB光栅扫描的CTB地址到处于砖块扫描的CTB地址的转换的列表CtbAddrRsToBs[ctbAddrRs](ctbAddrRs的范围从0到PicSizeInCtbsY-1,包括0和PicSizeInCtbsY-1):
/>
如下导出指定从处于砖块扫描的CTB地址到处于图片的CTB光栅扫描的CTB地址的转换的列表CtbAddrBsToRs[ctbAddrBs](ctbAddrBs的范围从0到PicSizeInCtbsY_1,包括0和PicSizeInCtbsY-1):
for(ctbAddrRs=0;ctbAddrRs<PicSizeInCtbsY;ctbAddrRs++) (6-7)
CtbAddrBsToRs[CtbAddrRsToBs[ctbAddrRs]]=ctbAddrRs
如下导出指定从处于砖块扫描的CTB地址到砖块ID的转换的列表BrickId[ctbAddrBs](ctbAddrBs的范围从0到PicSizeInCtbsY-1,包括0和PicSizeInCtbsY-1):
如下导出指定从砖块索引到砖块中CTU数量的转换的列表NumCtusInBrick[brickIdx](brickIdx的范围从0到NumBricksInPic-1,包括0和NumBricksInPic-1):
for(i=0;i<NumBricksInPic;i++) (6-9)
NumCtusInBrick[i]=BrickWidth[i]*BrickHeight[i]
如下导出指定从砖块ID到处于砖块中第一CTB的砖块扫描的CTB地址的转换的列表FirstCtbAddrBs[brickIdx](brickIdx的范围从0到NumBricksInPic-1,包括0和NumBricksInPic-1):
图片参数集RBSP语法
/>
/>
在上面的代码中,图片参数集RBSP语义可以例如定义如下:
pps_pic_parameter_set_id标识供其他语法元素参考的PPS。pps_pic_parameter_set_id的值应在0到63的范围内(包括0和63)。
pps_seq_parameter_set_id指定针对有效SPS的sps_seq_parameter_set_id的值。pps_seq_parameter_set_id的值应在0到15的范围内(包括0和15)。
output_flag_present_flag等于1指示pic_output_flag语法元素存在于引用PPS的条带头部中。output_flag_present_flag等于0指示在引用PPS的条带头部中没有pic_output_flag语法元素。
single_tile_in_pic_flag等于1指定每张图片中只有一个图块引用了PPS。single_tile_in_pic_flag等于0指定每张图片中引用PPS的图块不止一个。
注意-在图块内没有另外的砖块分割时,整个图块被称为砖块。当图片仅包含单个图块而没有进一步的砖块分割时,其称为单个砖块。
对于在CVS中激活的所有PPS,single_tile_in_pic_flag的值应相同。
uniform_tile_spacing_flag等于1指定图块列边界以及同样地图块行边界在图片中均匀分布,并使用语法元素tile_cols_width_minus1和tile_rows_height_minus1来发信号通知。uniform_tile_spacing_flag等于0指定图块列边界以及同样地图块行边界可以在图片中均匀分布,也可以在图片中不均匀分布,并使用语法元素num_tile_columns_minus1和num_tile_rows_minus1以及语法元素对tile_column_width_minus1[i]和tile_row_height_minus1[i]的列表来发信号通知。
如果不存在,则将uniform_tile_spacing_flag的值推断为等于1。
当uniform_tile_spacing_flag等于1时,tile_cols_width_minus1加1指定以CTB为单位的除图片的最右侧的图块列以外的图块列的宽度。tile_cols_width_minus1的值应在0到PicWidthInCtbsY-1的范围内,包含0和PicWidthInCtbsY-1。如果不存在,则推断tile_cols_width_minus1的值等于PicWidthInCtbsY-1。
当uniform_tile_spacing_flag等于1时,tile_rows_height_minus1加1指定以CTB为单位的除图片的底部图块行以外的图块行的高度。tile_rows_height_minus1的值应在0到PicHeightInCtbsY-1的范围内,包含0和PicHeightInCtbsY-1。如果不存在,则推断tile_rows_height_minus1的值等于PicHeightInCtbsY-1。
当uniform_tile_spacing_flag等于0时,num_tile_columns_minus1加1指定对图片进行划分的图块列的数量。num_tile_columns_minus1的值应在0到PicWidthInCtbsY-1的范围内,包含0和PicWidthInCtbsY-1。如果single_tile_in_pic_flag等于1,则推断num_tile_columns_minus1的值等于0。否则,当uniform_tile_spacing_flag等于1时,推断num_tile_columns_minus1的值(例如,如以上关于CTB光栅扫描、图块扫描和砖块扫描过程所指定的那样)。
当uniform_tile_spacing_flag等于0时,num_tile_rows_minus1加1指定对图片进行划分的图块行的数量。num_tile_rows_minus1的值应在0到PicHeightInCtbsY-1的范围内,包含0和PicHeightInCtbsY-1。如果single_tile_in_pic_flag等于1,则推断num_tile_rows_minus1的值等于0。否则,当uniform_tile_spacing_flag等于1时,推断num_tile_rows_minus1的值(例如,如下面关于CTB光栅扫描、图块扫描和砖块扫描过程所指定的那样)。
变量NumTilesInPic被设置为等于(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)。
当single_tile_in_pic_flag等于0时,NumTilesInPic应大于1。
tile_column_width_minus1[i]加1指定以CTB为单位的第i个图块列的宽度。
tile_row_height_minus1[i]加1指定以CTB为单位的第i个图块行的高度。
brick_splitting_present_flag等于1指定可以将引用PPS的图片的一个或多个图块分为两个或多个砖块。brick_splitting_present_flag等于0指定没有将引用PPS的图片的图块分为两个或更多个砖块。
brick_split_flag[i]等于1指定将第i个图块分为两个或更多个砖块。brick_split_flag[i]等于0表示没有将第i个图块分为两个或更多个砖块。当不存在时,将brick_split_flag[i]的值推断为等于0。
uniform_brick_spacing_flag[i]等于1指定水平砖块边界在第i个图块上均匀分布,并使用语法元素brick_height_minus1[i]来发信号通知。uniform_brick_spacing_flag[i]等于0指定水平砖块边界可以在第i个图块上均匀分布也可以在第i个图块上不均匀分布,并使用语法元素num_brick_rows_minus1[i]和语法元素列表brick_row_height_minus1[i][j]来发信号通知。如果不存在,则将uniform_brick_spacing_flag[i]的值推断为等于1。
当uniform_brick_spacing_flag[i]等于1时,brick_height_minus1[i]加1指定以CTB为单位的除第i个图块中的底部砖块以外的砖块行的高度。当存在时,brick_height_minus1的值应在0到RowHeight[i]-2的范围内,包括0和RowHeight[i]-2。如果不存在,则将brick_height_minus1[i]的值推断为等于RowHeight[1]-1
当uniform_brick_spacing_flag[i]等于0时,num_brick_rows_minus1[i]加1指定划分第i个图块的砖块的数量。当存在时,nuim_brick_rows_minus1[i]的值应在1到RowHeight[i]-1(包括1和RowHeight[i]-1)的范围内。如果brick_split_flag[i]等于0,则将num_brick_rows_minus1[i]的值推断为等于0。否则,当uniform_brick_spacing_flag[i]等于1时,推断num_brick_rows_minus1[i]的值(例如,如以上关于CTB光栅扫描、图块扫描和砖块扫描过程所指定的那样)。
当uniform_tile_spacing_flag等于0时,brick_row_height_minus1[i][j]加1指定以CTB为单位的第i个图块中的第j个砖块的高度。
推导以下变量,并且当uniform_tile_spacing_flag等于1时,推断num_tile_columns_minus1和num_tile_rows_minus1的值,并且对于范围从0到NumTilesInPic-1(包括0和NumTilesInPic-1)的每个i,当uniform_brick_spacing_flag[i]等于1时,通过调用CTB光栅和砖块扫描转换过程(例如,如上面关于CTB光栅扫描、图块扫描和砖块扫描过程所指定的那样)来推断num_brick_rows_minus1[i]的值。
-以CTB为单位指定第j个图块行的高度的列表RowHeight[j],j的范围从0到num_tile_rows_minus1,包含0到NumTilesInPic-1,
-指定从处于图片的CTB光栅扫描的CTB地址到处于砖块扫描的CTB地址的转换的列表CtbAddrRsToBs[ctbAddrRs],ctbAddrRs的范围从0到PicSizeInCtbsY-1,包括0和PicSizeInCtbsY-1,
-指定从处于砖块扫描的CTB地址到处于图片的CTB光栅扫描的CTB地址的转换的列表CtbAddrBsToRs[ctbAddrBs],ctbAddrBs的范围从0到PicSizeInCtbsY-1,包括0和PicSizeInCtbsY-1,
-指定从处于砖块扫描的CTB地址到砖块ID的转换的列表BrickId[ctbAddrBs],ctbAddrBs的范围从0到PicSizeInCtbsY-1,包括0和PicSizeInCtbsY-1,
-指定从砖块索引到砖块中CTU数量的转换的列表NumCtusInBrick[brickIdx],brickIdx的范围从0到NumBricksInPic-1,包括0和NumBricksInPic-1,
-指定从砖块ID到处于砖块中第一CTB的砖块扫描的CTB地址的转换的列表FirstCtbAddrBs[brickIdx],brickIdx的范围从0到NumBricksInPic-1,包括0和NumBricksInPic-1。
single_brick_per_slice_flag等于1指定引用此PPS的每个条带都包括一个砖块。single_brick_per_slice_flag等于0指定引用此PPS的条带可以包括不止一个砖块。如果不存在,则将single_brick_per_slice_flag的值推断为等于1。
rect_slice_flag等于0指定每个条带中的砖块均处于光栅扫描顺序,并且未在PPS中发信号通知条带信息。rect_slice_flag等于1指定每个条带中的砖块覆盖图片的矩形区,并且在PPS中发信号通知条带信息。如果不存在,则将rect_slice_flag推断为等于1。
num_slices_in_pic_minus1加1指定引用PPS的每张图片中的条带的数量。num_slices_in_pic_minus1的值应在0到NumBricksInPic-1的范围内,包括0和NumBricksInPic-1。如果不存在并且single_brick_per_slice_flag等于1,则推断num_slices_in_pic_minus1的值等于NumBricksInPic-1。
top_left_brick_idx[i]指定位于第i个条带的左上角的砖块的砖块索引。对于任何不等于j的i,top_left_brick_idx[i]的值不应等于top_left_brick_idx[j]的值。如果不存在,则推断top_left_brick_idx[i]的值等于i。top_left_brick_idx[i]语法元素的长度为Ceil(Log2(NumBricksInPic)个比特。
bottom_right_brick_idx_delta[i]指定位于第i个条带的右下角的砖块的砖块索引与top_left_brick_idx[i]之间的差。当single_brick_per_slice_flag等于1时,将bottom_right_brick_idx_delta[i]的值推断为等于0。bottom_right_brick_idx_delta[i]语法元素的长度为Ceil(Log2(NumBricksInPic-top_left_brick_idx[i]))个比特。
条带应包括多个完整的图块,或仅包括一个图块的完整砖块的连续序列。
如下导出指定第i个条带中砖块的数量以及砖块到条带的映射的变量NumBricksInSlice[i]和BricksToSliceMap[j]:
loop_filter_across_bricks_enabled_flag等于1指定可以在引用PPS的图片中跨砖块边界执行环路滤波操作。loop_filter_across_bricks_enabled_flag等于0指定在引用PPS的图片中不跨砖块边界执行环路滤波操作。环路滤波操作包括去块滤波器、样本自适应偏移滤波器和自适应环路滤波器操作。如果不存在,则将loop_filter_across_bricks_enabled_flag的值推断为等于1。
loop_filter_across_slices_enabled_flag等于1指定可以在引用PPS的图片中跨条带边界执行环路滤波操作。loop_filter_across_slice_enabled_flag等于0指示在引用PPS的图片中不跨条带边界执行环路滤波操作。环路滤波操作包括去块滤波器、样本自适应偏移滤波器和自适应环路滤波器操作。如果不存在,则将loop_filter_across_slices_enabled_flag的值推断为等于0。
signalled_slice_id_flag等于1指定发信号通知每个条带的条带ID。signalled_slice_id_flag等于0指定不发信号通知条带ID。当rect_slice_flag等于0时,则将signalled_slice_id_flag的值推断为等于0。
signalled_slice_id_length_minus1加1指定用于表示语法元素slice_id[i](如果存在)以及条带头部中的语法元素slice_address的比特的数量。signalled_slice_id_length_minus1的值应在0到15的范围内,包含0和15。如果不存在,则将signalled_slice_id_length_minus1的值推断为等于Ceil(Log2(num_slices_in_pic_minus1+1))-1。
slice_id[i]指定第i个条带的条带ID。slice_id[i]语法元素的长度是signalled_slice_id_length_minus1+1个比特。如果不存在,则对于范围在0到num_slices_in_pic_minus1(包含0和num_slices_in_pic_minus1)的每个i,将slice_id[i]的值推断为等于i。
entropy_coding_sync_enabled_flag等于1指定在对包括引用PPS的每个图片中的每个砖块中的一行CTB中的第一个CTB的CTU进行解码之前,调用针对上下文变量的特定同步过程,并且在对包括引用PPS的每个图片中的每个砖块中的一行CTB中的第一个CTB的CTU进行解码之后,调用针对上下文变量的特定存储过程。entropy_coding_sync_enabled_flag等于0指定在对包括引用PPS的每个图片中的每个砖块中的一行CTB中的第一个CTB的CTU进行解码之前,可以例如不需要调用针对上下文变量的特定同步过程,并且在对包括引用PPS的每个图片中的每个砖块中的一行CTB中的第一个CTB的CTU进行解码之后,可以例如不需要调用针对上下文变量的特定存储过程。
针对在CVS中激活的所有PPS,entropy_coding_sync_enabled_flag的值应相同。
cabac_init_present_flag等于1指定在引用PPS的条带头部中存在cabac_init_flag。cabac_init_present_flag等于0指定在引用PPS的条带头部中不存在cabac_init_flag。
num_ref_idx_default_active_minus1[i]加1当i等于0时指定在num_ref_idx_active_override_flag等于0的情况下针对P或B条带的变量NumRefIdxActive[0]的推断值,当i等于1时指定在num_ref_idx_active_override_flag等于0的情况下针对B条带的NumRefIdxActive[1]的推断值。num_ref_idx_default_active_minus1[i]的值应当在0到14的范围内,包括0和14。
rpl1_idx_present_flag等于0指定在条带头部中不存在ref_pic_list_sps_flag[1]和ref_pic_list_idx[1]。rpl1_idx_present_flag等于1指定在条带头部中可能存在ref_pic_list_sps_flag[1]和ref_pic_list_idx[1]。
init_qp_minus26加26指定针对引用PPS的每个条带的SliceQpY的初始值。当解码出slice_qp_delta的非零值时,SliceQpY的初始值将在条带层进行修改。init_qp_minus26的值应当在-(26+QpBdOffsetY)到+37的范围内,包括-(26+QpBdOffsetY)和+37。
transform_skip_enabled_flag等于1指定在变换单元语法中可以存在transform_skip_flag。transform_skip_enabled_flag等于0指定在变换单元语法中不存在transform_skip_flag。
log2_transform_skip_max_size_minus2指定用于变换跳过的最大块大小,并且应在0到3的范围内。
如果不存在,则将log2_transform_skip_max_size_minus2的值推断为等于0。
变量MaxTsSize被设置为等于1<<(log2_transform_skip_max_size_minus2+2)。
cu_qp_delta_enabled_flag等于1指定在PPS中存在cu_qp_delta_subdiv语法元素,并且可能在变换单元语法中存在cu_qp_delta_abs。cu_qp_delta_enabled_flag等于0指定在PPS中不存在cu_qp_delta_subdiv语法元素,并且在变换单元语法中不存在cu_qp_delta_abs。
cu_qp_delta_subdiv指定传送cu_qp_delta_abs和cu_qp_delta_sign_flag的编码单元的最大cbSubdiv值。如下指定cu_qp_delta_subdiv的值范围:
-如果slice_type等于I,则cu_qp_delta_subdiv的值应在0到2*(log2_ctu_size_minus2-log2_min_qt_size_intra_slice_minus2+MaxMttDepthY)的范围内,包括0和
2*(log2_ctu_size_minus2-log2_min_qt_size_intra_slice_minus2+MaxMttDepthY)。
-否则(siice_type不等于I),cu_qp_delta_subdiv的值应在0到2*(log2_ctu_size_minus2-log2_min_qt_size_inter_slice_minus2+MaxMttDepthY)的范围内,包括2和
2*(log2_ctu_size_minus2-log2_min_qt_size_inter_slice_minus2+MaxMttDepthY)。
如果不存在,则推断cu_qp_delta_subdiv的值等于0。
[版本(BB):这里的问题是MaxMttDepthY是在条带级别上导出的。在partition_constraints_override_enabled_flag等于1的情况下,需要解析条带头部以便知道MaxMttDepthY的值。
pps_cb_qp_offsethe和pps_cr_qp_offset指定与分别用于导出Qp′Cb和Qp′Cr的亮度量化参数Qp′Y的偏移。pps_cb_qp_offset和pps_cr_qp_offset的值应在-12至+12的范围内,包括-12和+12。当ChromaArrayType等于0时,在解码过程中不使用pps_cb_qp_offset和pps_cr_qp_offset,并且解码器应忽略其值。
pps_slice_chroma_qp_offsets_present_flag等于1指示在相关联的条带头部中存在slice_cb_qp_offset和slice_cr_qp_offset语法元素。pps_slice_chroma_qp_offsets_present_flag等于0指示在相关联的条带头部中不存在这些语法元素。当ChromaArrayType等于0时,pps_slice_chroma_qp_offsets_present_flag应等于0。
weighted_pred_flag等于0指定不将加权预测应用于P条带。weighted_pred_flag等于1指定将加权预测应用于P条带。
weighted_bipred_flag等于0指定将默认的加权预测应用于B条带。weighted_bipred_flag等于1指定将加权预测应用于B条带。
deblocking_filter_control_present_flag等于1指定在PPS中存在去块滤波器控制语法元素。deblocking_filter_control_present_flag等于0指定在PPS中不存在去块滤波器控制语法元素。
deblocking_filter_override_enabled_flag等于1指定在引用PPS的图片的条带头部中存在deblocking_filter_override_flag。deblocking_filter_override_enabled_flag等于0指定在引用PPS的图片的条带头部中不存在deblocking_filter_override_flag。如果不存在,则将deblocking_filter_override_enabled_flag的值推断为等于0。
pps_deblocking_filter_disabled_flag等于1指定针对引用其中不存在slice_deblocking_filter_disabled_flag的PPS的条带,不应用去块滤波器的操作。pps_deblocking_filter_disabled_flag等于0指定针对引用其中不存在slice_deblocking_filter_disabled_flag的PPS的条带,应用去块滤波器的操作。如果不存在,则将pps_deblocking_filter_disabled_flag的值推断为等于0。
pps_beta_offset_div2和pps_tc_offset_div2指定应用于引用PPS的条带的β和tC(除以2)的默认去块参数偏移,除非通过存在于引用PPS的条带的条带头部中的去块参数偏移来覆盖(override)该默认去块参数偏移。pps_beta_offset_div2和pps_tc_offset_div2的值应当在-6到6的范围内,包括-6和6。如果不存在,则将pps_beta_offset_div2和pps_tc_offset_div2的值推断为等于0。
pps_beta_offset_div2和pps_tc_offset_div2等于1指定在引用PPS的图片中的虚拟边界上禁用环路滤波操作。pps_loop_filter_across_virtual_boundaries_disabled_flag等于0指定在引用PPS的图片中不禁用环路滤波操作。环路滤波操作包括去块滤波器、样本自适应偏移滤波器和自适应环路滤波器操作。如果不存在,则将pps_loop_filter_across_virtual_boundaries_disabled_flag的值推断为等于0。
pps_num_ver_virtual_boundaries指定PPS中存在的pps_virtual_boundaries_pos_x[i]语法元素的数量。当不存在pps_num_ver_virtual_boundaries时,将其推断为等于0。
pps_virtual_boundaries_pos_x[i]用于计算PpsVirtualBoundariesPosX[i]的值,其指定以亮度样本为单位的第i个竖直虚拟边界的位置。用于表示pps_virtual_boundaries_pos_x[i]的比特的数量是Ceil(Log2(pic_width_in_luma_samples)-3)。pps_virtual_boundaries_pos_x[i]应当在1到Ceil(pic_width_in_luma_samples÷8)-1的范围内,包括1和Ceil(pic_width_in_luma_samples÷8)-1。
如下导出竖直虚拟边界的位置PpsVirtualBoundariesPosX[i]:PpsVirtualBoundariesPosX[i]=pps_virtual_boundaries_pos_x[i]*8 (7-36)
任何两个竖直虚拟边界之间的距离应大于或等于CtbSizeY个亮度样本。
pps_num_hor_virtual_boundaries指定PPS中存在的pps_virtual_boundaries_pos_y[i]语法元素的数量。如果不存在pps_num_hor_virtual_boundaries,则将其推断为等于0。
pps_virtual_boundaries_pos_y[i]用于计算PpsVirtualBoundariesPosY[i]的值,其指定以亮度样本为单位的第i个水平虚拟边界的位置。用于表示pps_virtual_boundaries_pos_y[i]的比特的数量是Ceil(Log2(pic_height_in_luma_samples)-3)。pps_virtual_boundaries_pos_y[i]应当在1到Ceil(pic_height_in_luma_samples÷8)-1的范围内,包括1和Ceil(pic_height_in_luma_samples÷8)-1。
如下导出水平虚拟边界的位置PpsVirtualBoundariesPosY[i]:
PpsVirtualBoundariesPosY[i]=pps_virtual_boundaries_pos_y[i]*8(7-37)
任意两个水平虚拟边界之间的距离应大于或等于CtbSizeY个亮度样本。
pps_extension_flag等于0指定在PPS RBSP语法结构中不存在pps_extension_data_flag语法元素。pps_extension_flag等于1指定在PPS RBSP语法结构中存在pps_extension_data_flag语法元素。
pps_extension_data_flag可以具有任何值。它的存在和值不会影响解码器与在该说明书的该版本中指定的配置文件的符合性。符合该说明书的该版本的解码器应忽略所有pps_extension_data_flag语法元素。
在下面的子小节“实施例C”中,描述了底层语法的信令。
如前所述,指示CA的布局的另一选项是以更灵活的方式使用VCL内语法。
编码区域布局是通过评估两个新的语法元素area_line_stop_flag和area_column_stop_flag来确定的,而end_of_slice_flag可能未使用。
如果按对角线扫描顺序的下一个CTU位于当前条带的没有在比特流中发送先前的area_line_stop_flag的CTU行中,则在CTU编码过程结束时,在比特流中将存在area_line_stop_flag,并且其至少部分位于图片内。如果area_line_stop_flag为假,则利用具有当前使用的CTU列的数量的新的CTU行来扩展当前的条带矩形。如果area_line_stop_flag为真,则条带高度固定为当前条带中的当前使用的CTU行的数量。
类似地,如果按对角线扫描顺序的下一个CTU位于当前条带的没有在比特流中发送先前的area_column_stop_flag的CTU列中,则在CTU编码过程结束时,在比特流中将存在area_column_stop_flag,并且其至少部分位于图片内。如果area_column_stop_flag为假,则利用具有当前使用的CTU行的数量的新的CTU列来扩展条带矩形。如果area_column_stop_flag为真,则条带宽度固定为当前条带中的当前使用的CTU列的数量。
图11示出根据实施例的在子区域(CTU)级别上的编码区域信令。
在确定条带的矩形时,将按特定的扫描顺序来处理CTU,直到已处理了由条带矩形覆盖的所有CTU。由于在图像边界处分别缺少显式的area_line_stop_flag或area_column_stop_flag,因此将毗邻图片边界的跨越的编码区限制为不超过该图片边界。这在图11中可以看出,其中在图片边界附近不存在area_line_stop_flag=1和area_column_stop_flag=1。
使用CA的大小和位置以及图片边界的先前知识来隐式导出area_line_stop_flag=1和area_column_stop_flag=1允许节省一些信令开销,但阻止某些比特流操作,例如“编码区域比特流提取”和“编码区域比特流聚合”,或者在这些情况下,至少会产生熵编码数据的附加处理开销。当前,对于HEVC,定义了运动受限图块集(MCTS),其在无需对熵编码数据进一步处理的情况下允许这两个过程。但是,通过这样的过程,MCTS(相应地CA)边界变成图片边界,或者图片边界变成MCTS边界(相应地CA)而不是图片边界。因此,应该不允许隐式导出area_line_stop_flag=1和area_column_stop_flag=1,以通过以下操作来实现这种功能:无论其是否是图片边界以及是否已经描述了其他CA,都要求同时存在这两个语法元素。这可以通过在例如称为“implicit_area_line_or_column_enabled_flag”的参数集处存在语法元素或使其取决于MCTS或“运动约束编码区域”的存在来实现。
概述以上内容,根据实施例,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括针对一个或多个编码区域中的编码区域的一个或多个区域列停止标志,其中,如果一个或多个编码区域中的编码区域的区域列停止标志被设置为停止值,则区域列停止标志可以例如指示编码区域的宽度。或者,数据编码器110可以例如被配置为生成指示数据,使得与多个编码区域有关的信息包括针对一个或多个编码区域中的编码区域的一个或多个区域行停止标志,其中,如果一个或多个编码区域中的编码区域的区域行停止标志被设置为停止值,则区域行停止标志可以例如指示编码区域的高度。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示显式信令模式是有效的或者显式信令模式是无效的。如果显式信令模式是有效的,并且如果编码区域的一个或多个编码树单元中的编码树单元位于图片的图片边界处,则数据编码器110可以例如被配置为生成指示数据,使得指示数据包括针对编码树单元的区域列停止标志和区域行停止标志中的至少一个。如果显式信令模式是无效的,并且如果编码区域的一个或多个编码树单元中的编码树单元位于图片的所述图片边界处,则数据编码器110可以例如被配置为生成指示数据,使得指示数据不包括针对编码树单元的区域列停止标志和/或不包括针对编码树单元的区域行停止标志。
同样地,在实施例中,数据解码器170可以例如被配置为使用与多个编码区域有关的信息来对编码图片数据进行解码,所述信息包括针对一个或多个编码区域中的编码区域的一个或多个区域列停止标志,其中,如果一个或多个编码区域中的编码区域的区域列停止标志被设置为停止值,则区域列停止标志可以例如指示编码区域的宽度。或者,数据解码器170可以例如被配置为使用与多个编码区域有关的信息来对编码图片数据进行解码,所述信息包括针对一个或多个编码区域中的编码区域的一个或多个区域行停止标志,其中,如果一个或多个编码区域中的编码区域的区域行停止标志被设置为停止值,则区域行停止标志可以例如指示编码区域的高度。
根据一个实施例,数据解码器170可以例如被配置为使用指示数据内的指示显式信令模式是有效的或者显式信令模式是无效的指示,来对编码图片数据进行解码。如果显式信令模式是无效的,并且如果编码区域的一个或多个编码树单元中的编码树单元位于图片的所述图片边界处,则数据解码器170可以例如被配置为根据图片的图片边界来对编码图片数据进行解码。
在下面的小节“CTU扫描顺序”中,对CTU扫描顺序进行了描述。
在下面的子小节“光栅扫描”中,对光栅扫描进行了描述。
当将图片细分为多个CA时,可以将常规的光栅扫描方法应用于CTU处理方案。通过这种方法,并且通过编码区域了解整个图片划分方案,可以逐CTU行处理整个图片。已经可以针对HEVC中的图块进行这种处理。因此,在这种情况下,保持了CTU处理方案的灵活性。
因此,根据实施例,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域的编码顺序可以例如取决于光栅扫描,并且数据编码器110可以例如被配置为生成指示数据,使得指示数据指示已经采用光栅扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码。
同样地,根据实施例,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域的编码顺序可以例如取决于光栅扫描,并且数据解码器170可以例如被配置为根据光栅扫描来解码编码图片数据,其中数据解码器170可以例如被配置为接收信息,该信息指示已经采用光栅扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码,其中指示数据可以例如包括所述信息。
在下面的子小节“对角线扫描”中,对对角线扫描进行了描述。
但是,常规的光栅扫描顺序对空间参考的可用性施加了限制。为了改善这一点,在实施例中,对角线扫描被用作附加的CTU处理方案。
为了导出对角线扫描,我们根据[2]使用对上部CTU行的依赖性的广义处理:CTU_dependency_offset_id([2])。
当参考不受限制(例如,位于不同的条带、图块或图片外部)并且以下条件为真时,当可用于当前/>的预测时,与/>相对应的块可用于参考:
-在WPP情况下:
(Yref=Ycur AND Xref≤Xcur)或者
(Yref≠Ycur AND Xref
((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur)),
-在顺序处理顺序的情况下:
(Yref=Ycur AND Xref≤Xcur)或者
(Yref<Ycur AND Xref
((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur+1))
或者
(Yref>Ycur AND Xref
((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur)),
其中Xref、Yref、Xcur、Ycur是CTU的位置坐标。
如上所述,上部邻居块偏移限制可以用于导出CTU处理顺序。产生的各种CTU扫描是具有特定斜率或角度的对角线扫描的变体,其中斜率由固定值给定,或者由比特流中发送的语法元素控制,或者从已经存在于比特流中的语法元素来导出。
图12示出根据实施例的针对CTU_dependency_offset_id=1的CTU扫描顺序和空间参考。
图13示出根据另一实施例的针对CTU_dependency_offset_id=2的另一CTU扫描顺序和空间参考。
如下面的图12和图13所示,可以生成不同类型的CTU扫描。默认扫描方向从左到右以对角线向下运行,并且可以通过以下算法来生成:/>
/>
/>
下面示出针对某些CTU_dependency_offset_id值的示例性扫描和空间参考的可用性。
概述以上内容:
根据实施例,包括两个或多个编码树单元的一个或多个编码区域中的编码区域的编码顺序可以例如取决于扫描顺序,所述扫描顺序取决于指示角度的斜率。在对编码区域的两个或更多个编码树单元中的第一编码树单元进行编码之后,数据编码器110可以例如被配置为根据编码区域的编码树单元中的第一编码树单元的位置、根据编码区域的尚未被编码的其他编码树单元、以及根据斜率,来确定编码区域内的两个或更多个编码树单元中的第二编码树单元。数据编码器110可以例如被配置为对两个或更多个编码树单元中的第二编码树单元进行编码。
在实施例中,数据编码器110可以例如被配置为确定编码区域内的两个或更多个编码树单元中的第二编码树单元,使得由起始点和斜率定义的箭头指向两个或更多个编码树单元中的第二编码树单元的位置,其中,起始点可以例如是编码区域内的编码树单元中的第一编码树单元的位置。
根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示已经采用对角线扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码。
同样,根据实施例,包括两个或多个编码树单元的一个或多个编码区域中的编码区域的编码顺序可以例如取决于扫描顺序,所述扫描顺序取决于指示角度的斜率。指示数据可以例如包括与编码区域有关的所述信息,其中,在对编码区域的两个或更多个编码树单元中的第一编码树单元进行解码之后,数据解码器170可以例如被配置为根据编码区域的编码树单元中的第一编码树单元的位置、根据编码区域的尚未被解码的其他编码树单元、以及根据斜率,来确定编码区域内的两个或更多个编码树单元中的第二编码树单元。数据解码器170可以例如被配置为对两个或更多个编码树单元中的第二编码树单元进行解码。
根据实施例,数据解码器170可以例如被配置为确定编码区域内的两个或更多个编码树单元中的第二编码数单元,使得箭头由起始点和斜率定义。起始点可以例如是编码区域内的编码树单元中的第一编码树单元的位置,指向两个或更多个编码树单元中的第二编码树单元的位置。
在实施例中,数据解码器170可以例如被配置为接收指示已经采用对角线扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码的信息,其中,指示数据可以例如包括所述信息。
在下面的子小节“Z扫描”中,对Z扫描进行了描述。
图14示出根据实施例的具有Z扫描CTU顺序的编码区域。
在这样的实施例中,Z扫描可以用于CTU扫描顺序而不是建议的对角线扫描。在HEVC中定义了Z扫描。
根据实施例,包括五个或更多个编码树单元的编码区域的编码顺序可以例如取决于扫描顺序,所述扫描顺序取决于为0°的第一角度、取决于为135°的第二角度、并且取决于为45°的第三角度。
在对编码区域的第一编码树单元进行编码之后,数据编码器110可以例如被配置为确定所述编码树区域的第二编码树单元,使得具有位于所述编码区域内的第一编码树单元的位置处的第一起始点的第一箭头相对于预定方向围绕为0°的第一角度,并且使得第一箭头指向编码区域内的所述第二编码树单元,并且数据编码器110被配置为对所述编码区域的所述第二编码树单元进行编码。
在对所述编码区域的第二编码树单元进行编码之后,数据编码器110可以例如被配置为确定所述编码树区域的第三编码树单元,使得具有位于所述编码区域内的第二编码树单元的位置处的第二起始点的第二箭头相对于所述预定方向围绕为135°的第二角度,并且使得第二箭头指向编码区域内的所述第三编码树单元,并且数据编码器110被配置为对所述编码区域的所述第三编码树单元进行编码。
在对所述编码区域的第三编码树单元进行编码之后,数据编码器110可以例如被配置为确定所述编码树区域的第四编码树单元,使得具有位于所述编码区域内的第三编码树单元的位置处的第三起始点的第三箭头相对于所述预定方向围绕为0°的第一角度,并且使得第三箭头指向编码区域内的所述第四编码树单元,并且数据编码器110被配置为对所述编码区域的所述第四编码树单元进行编码。
在特定实施例中,在对所述编码区域的第四编码树单元进行编码之后,数据编码器110可以例如被配置为确定所述编码树区域的第五编码树单元,使得具有位于所述编码区域内的第四编码树单元的位置处的第四起始点的第四箭头相对于所述预定方向围绕为45°的第三角度,并且使得第四箭头指向编码区域内的所述第五编码树单元,并且数据编码器110被配置为对所述编码区域的所述第五编码树单元进行编码。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示已经采用Z扫描对一个或多个编码区域中的包括五个或更多个编码树单元的每个所述区域进行编码。
同样地,根据实施例,包括五个或更多个编码树单元的编码区域的编码顺序可以例如取决于扫描顺序,所述扫描顺序取决于为0°的第一角度、取决于为135°的第二角度、并且取决于为45°的第三角度。
在对所述编码区域的第一编码树单元进行解码之后,数据解码器170可以例如被配置为确定所述编码树区域的第二编码树单元,使得具有位于所述编码区域内的第一编码树单元的位置处的第一起始点的第一箭头相对于预定方向围绕为0°的第一角度,并且使得第一箭头指向编码区域内的所述第二编码树单元,并且数据解码器170被配置为对所述编码区域的所述第二编码树单元进行解码。
在对所述编码区域的第二编码树单元进行解码之后,数据解码器170可以例如被配置为确定所述编码树区域的第三编码树单元,使得具有位于所述编码区域内的第二编码树单元的位置处的第二起始点的第二箭头相对于所述预定方向围绕为135°的第二角度,并且使得第二箭头指向编码区域内的所述第三编码树单元,并且数据解码器170被配置为对所述编码区域的所述第三编码树单元进行解码。
在对所述编码区域的第三编码树单元进行解码之后,数据解码器170可以例如被配置为确定所述编码树区域的第四编码树单元,使得具有位于所述编码区域内的第三编码树单元的位置处的第三起始点的第三箭头相对于所述预定方向围绕为0°的第一角度,并且使得第三箭头指向编码区域内的所述第四编码树单元,并且数据解码器170被配置为对所述编码区域的所述第四编码树单元进行解码。
在特定实施例中,在对所述编码区域的第四编码树单元进行解码之后,数据解码器170可以例如被配置为确定所述编码树区域的第五编码树单元,使得具有位于所述编码区域内的第四编码树单元的位置处的第四起始点的第四箭头相对于所述预定方向围绕为45°的第三角度,并且使得第四箭头指向编码区域内的所述第五编码树单元,并且数据解码器170被配置为对所述编码区域的所述第五编码树单元进行解码。
根据实施例,数据解码器170可以例如被配置为接收指示已经采用z扫描对一个或多个编码区域中的包括五个或更多个编码树单元的每个所述区域进行编码的信息,其中,指示数据可以例如包括所述信息。
在下面的子小节“扫描方向”中,对扫描方向进行了描述。
在另一实施例中,扫描的方向可以是灵活的,例如,范围分别为从右到左以对角线向下;从左到右以对角线向上;或从左到右以对角线向上。可以使用新的语法元素CTU_scan_direction在比特流中发送扫描方向,或者可以从已经存在于比特流中的语法元素来导出扫描方向。
在另一实施例中,通过在严格的条带顺序的约束下评估由coding_area_start_address寻址的第一条带CTU的邻接邻域来导出扫描方向。
如果第一条带CTU具有与其底部边界邻接的CTU邻居,或者第一条带CTU位于图片的底部CTU行中,并且在右侧没有邻接邻居并且不位于最右侧的CTU列中,则CTU扫描是向右向上扫描。
如果第一条带CTU具有与其底部边界邻接的CTU邻居,或者第一条带CTU位于图片的底部CTU行中,并且在右侧有邻接的邻居,或者位于图片的最右侧的列中,则CTU扫描是向左向上扫描。
否则,如果在第一条带CTU右侧的CTU邻居可用,或者如果第一条带CTU位于图片的最右侧的列中,则扫描是向左向下。在所有其他情况下,CTU扫描是向右向下。
图15示出根据另一实施例的隐式CTU扫描方向导出。
在这样的另一实施例中,通过沿着潜在的编码区域边界评估可用CTU邻居的数量,来进一步完善上述发明导出方案。例如,第一条带CTU位于具有左侧和上方CTU邻居的位置,扫描可以是向右向下扫描或向下向右扫描,因此可以分别累计沿着竖直和水平方向上的编码区域边界的潜在可用的CTU邻居的数量(如果CA的尺寸未知)。如果竖直邻居的总和超过水平CTU邻居的数量,则使用向下向右扫描,否则该扫描是向右向下扫描。在图15中使用光栅扫描示例性地示出该导出方案。
在另一实施例中,上述发明导出方案和改进用于形成可能的扫描的有序列表,其中在条带级别上发送选择CTU扫描的索引。另外,如果在图片内使用不同的对角线扫描,则必须在条带头部中对CTU_dependency_offset_id进行编码。
图16示出根据实施例的具有不同CTU扫描方向的编码区域。
特别地,图16示出了用于在图片内使用各种扫描方向的示例。
概述以上内容:
根据实施例,包括两个或更多个编码树单元的一个或多个编码区域中的编码区域的编码顺序可以例如取决于包括一个或多个扫描方向的扫描顺序。在对所述编码区域的第一编码树单元进行编码之后,数据编码器110可以例如被配置为根据第一编码树单元的位置并且根据一个或多个扫描方向中的第一扫描方向,来确定所述编码树区域的第二编码树单元,并且数据编码器110被配置为对所述编码区域的所述第二编码树单元进行编码。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示包括一个或多个扫描方向的所述扫描顺序。
根据实施例,数据编码器110可以例如被配置为通过评估所述编码区域的第一编码树单元的邻接邻域来导出一个或多个扫描方向中的扫描方向。如果第一编码树单元在两个或更多个编码树单元中具有与第一编码树单元的底部边界邻接的编码树单元邻居,或者,如果第一编码树单元位于图片的底部编码树单元行中,并且在右侧没有邻接邻居并且不位于最右侧的编码树单元列中,则扫描方向可以例如为向右向上扫描。如果第一编码树单元在两个或更多个编码树单元中具有与第一编码树单元的底部边界邻接的编码树单元邻居,或者,如果第一编码树单元位于图片的底部编码树单元行中,并且在右侧具有邻接邻居或位于图片的最右侧的列中,则扫描方向为向左向上扫描。如果两个或更多个编码树单元中的在第一编码树单元右侧的编码树单元邻居可用,或者如果第一编码树单元位于图片的最右侧的列中,则扫描方向可以例如为向左向下扫描。否则,扫描方向可以例如为向右向下。
在实施例中,数据编码器110可以例如被配置为生成指示数据,使得指示数据指示索引,所述索引指示一个或多个扫描方向中所选择的扫描方向。
同样,根据实施例,包括两个或更多个编码树单元的一个或多个编码区域中的编码区域的编码顺序可以例如取决于包括一个或多个扫描方向的扫描顺序。在对所述编码区域的第一编码树单元进行解码之后,数据解码器170可以例如被配置为根据第一编码树单元的位置并且根据一个或多个扫描方向中的第一扫描方向,来确定所述编码树区域的第二编码树单元,并且数据解码器170可以例如被配置为对所述编码区域的所述第二编码树单元进行解码。
在实施例中,数据解码器170可以例如被配置为接收指示所述扫描顺序的信息,所述扫描顺序包括一个或多个扫描方向,其中,指示数据可以例如包括所述信息。
根据实施例,数据解码器170可以例如被配置为通过评估所述编码区域的第一编码树单元的邻接邻域来导出一个或多个扫描方向中的扫描方向。如果第一编码树单元在两个或更多个编码树单元中具有与第一编码树单元的底部边界邻接的编码树单元邻居,或者,如果第一编码树单元位于图片的底部编码树单元行中,并且在右侧没有邻接邻居并且不位于最右侧的编码树单元列中,则扫描方向可以例如为向右向上扫描。如果第一编码树单元在两个或更多个编码树单元中具有与第一编码树单元的底部边界邻接的编码树单元邻居,或者,如果第一编码树单元位于图片的底部编码树单元行中,并且在右侧具有邻接邻居或位于图片的最右侧的列中,则扫描方向为向左向上扫描。如果两个或更多个编码树单元中的在第一编码树单元右侧的编码树单元邻居可用,或者如果第一编码树单元位于图片的最右侧的列中,则扫描方向可以例如为向左向下扫描。否则,扫描方向可以例如为向右向下。
在一实施例中,数据解码器170可以例如被配置为接收指示索引的信息,所述索引指示一个或多个扫描方向中所选择的扫描方向,其中,指示数据可以例如包括所述信息。
在下面的小节“依赖型编码区域”中,描述了依赖型编码区域。
图17示出根据实施例的具有区间预测选项的依赖型编码区域。
在这样的实施例中,在图片内,为了利用空间预测能力,一个编码区域可以对另一个编码区域具有依赖性。在这种情况下,例如可能需要区域的特定处理顺序以促进确定性行为。例如,可以通过针对明确确定依赖性顺序的每个CA使用新的语法元素area_order_idx发信号通知区域顺序来实现此操作。或者,可以直接从在coding_area_arrangement()语法中发信号通知的CA的顺序中导出依赖性顺序,参见小节“编码区域的大小和布置”。
area_order_idx的值可以解释如下:具有较高的area_order_idx值的区域依赖于具有较低area_order_idx值的区域,反之亦然。
概述以上内容:
在实施例中,数据编码器110可以例如被配置为通过对多个编码区域的每个编码区域内的图片的图像数据进行编码,来对图片进行编码,以获得编码图片数据。数据编码器110可以例如被配置为对多个编码区域中的至少一个编码区域的图片的图像数据进行编码,使得对多个编码区域中的所述至少一个编码区域的图像数据的编码依赖于对多个编码区域中的至少另一个编码区域的图像数据的编码。
同样地,在实施例中,数据解码器170可以例如被配置为对多个编码区域中的至少一个编码区域的编码图片数据进行解码,使得对多个编码区域中的所述至少一个编码区域的编码图片数据的解码依赖于对多个编码区域中的至少另一个编码区域的编码图片数据的解码。
在下面的小节“编码区域的并行处理”中,对编码区域的并行处理进行了描述。
编码区域还能够支持并行处理。并行化的明显用例是使用多个非依赖型的编码区域。在这种情况下,禁止对一个CA的包括的CTU的解析或重构的对任何其他CA的依赖性,将分配给不同CA的邻接CU视为不可用于参考。在这种情况下,根据filter_over_ca_boundaries_flag,可以将后处理滤波器单独或按图片应用于CA。该语法元素的工作方式与HEVC中使用的loop_filter_across_tiles_enabled_flag相同。
图18示出根据实施例的依赖型编码区域的并行处理((A)CTU光栅扫描;(B)CTU对角线扫描)。
在依赖型编码区域的情况下,如图18所示的处理方案可以用于利用图片中的空间依赖性并减少跨区域边界上的可能的伪像。为了使用CA间依赖性,例如可能需要CTU处理的明确顺序,从而导致来自邻接CA的CTU的可靠的可用性。
处理CA的顺序可以由比特流中发送的CA的顺序隐式地给出。此外,也可以通过在比特流中发送的符号来显式地说明CA的顺序。
图19示出两个主要的CTU执行概念。
图19示出根据实施例的执行顺序和CA间依赖性((A)依赖性驱动;(B)锁步)。
在下文中,描述了锁步管线。
管线概念假定在锁步执行方案之后的解析和重建和/或后滤波。全局事件用于针对每个线程开始CTU的执行步骤,其中在每个步骤中,在每个CA中都处理单个CTU。该方案以图19中所示的不可用CTU参考为代价,确保最大吞吐量,其中第一个和第二个CA中的紧邻CTU被同时处理,因此无法在任一方向上用于参考。
但是,如果强制执行严格的锁步执行,则如浅蓝色箭头所示,附加的CA间依赖性将变为可用。
在下文中,描述了依赖性驱动的概念。
此概念依赖于CA间CTU邻居的本地可用性。如果邻接邻居CA中的参考CTU不可用,尽管其应当可用于参考,则对该特定CA的执行将暂停,直到参考CTU分别通过完全解析和重构变得可用为止。这从图19中看出,其中例如针对第5个执行步骤暂停对第2个CA的处理,因为第一个CA的参考CTU在第5个执行步骤中处理,并且最早在第6个执行步骤中可用。
此外,可以使用依赖型CA处理方案将并行处理扩展到对后处理滤波器的操作。对于CTU内部边界(CU边界),可以应用默认滤波过程。相反,当按处理顺序对第2个CTU滤波时,将对CTU边界滤波,因此可以确定边界处的滤波强度,并且用于滤波的样本可用。在启用CA跨边界滤波的情况下或在依赖型CA的情况下,该规则也适用于CA跨边界滤波。以通过考虑邻接CA中参考CTU的可用性进行解析和重构类似的方式处理到达CTU边界上的去块滤波器。如果邻接CA中的CTU可用,则区域中未被提前滤波的部分在当前滤波过程中被滤波。
图20示出根据实施例的相对于CA顺序在CA边界上的去块滤波过程。
图21示出根据实施例的采用具有阴影线滤波器区的CA间滤波的去块滤波器。
如图21所示,在第一个处理步骤中,仅可以对第一个CA中的CTU(1)进行滤波。由于没有可用的CTU邻居,因此该CTU的滤波仅限于内部边界。在第2个执行步骤中,第一个CA中的第二个CTU对其内部边界以及对与第1个CA中的第一个CTU的CTU边界进行滤波。此外,第2个CA的左下角的CTU正在对其内部边界以及与第1个CA中的第一个CTU的CTU边界重叠的CA进行滤波。这种并行处理的一个效果是使去块滤波器的低延迟操作成为可能。可以在对整个CA进行解码之前开始进行跨CA边界滤波去块,从而可以减少图片区可用作另外的图片的参考图片之前的总体处理时间。
在下面的小节“抗误码能力方面”中,描述抗误码能力方面。
如在章节“根据现有技术的VCL划分”中所提及的,当应用中的存储或传输机制不可靠时,抗误码能力是视频编码中的期望功能。然而,当今存在许多应用,例如HTTP流传输,其中例如在具有分组丢失的RTP/UDP流传输或具有比特或突发错误的典型广播信道中可能需要较少的抗误码能力。对于HTTP流传输,编码视频通常按n*GOP方式进行划分,丢失的部分在接收机侧触发缓冲区停顿,直到成功重传各个部分为止。在后一种情况下,期望在编码数据内部引入另外的依赖性,以便提高编码效率,同时丧失一些抗误码能力。例如,如在子小节“扫描方向”中所述的,基于相邻CA的扫描顺序导出方面可能需要例如在当前CA可以被正确解码之前在接收机侧的相邻CA的可用性。因此,仅在可容忍有限的抗误码能力的情况下才应使用此类技术。同样,如在小节“依赖型编码区域”中的有关依赖型编码区域的方面介绍了影响抗误码能力的依赖性,以及在小节“编码区域的并行处理”中描述的并行化方面和处理顺序。这方面的其他现有技术必须处理相同的权衡,例如,图片内翻译补偿预测(例如HEVC SCC中的IBC)或其他有助于图片内的距离当前块更远因此处于常规帧内预测的样本的其他帧内预测技术。同样在序列级别上,存在已知的其他技术以例如以抗误码能力影响为代价来提高编码效率,例如在图片上共享诸如CABAC上下文模型之类的熵编码实体的状态,等等。
在结合了编码视频的传输的系统中,可以以各种方式来利用与编码视频流提供的抗误码能力的程度有关的信息,例如了解媒体的中间盒可以触发早期重传,或者终端设备可以在错误缓解策略之间进行选择,例如通过帧分段复制的基于帧级条带的错误隐藏,或者进行缓冲直到成功重传,或者跳过比特流的部分(各个AU、与PPS关联的AU,或者否则,与SPS相关联或形成CVS的AU)的解码为止。因此,期望向中间盒或客户端设备指示编码视频流提供的抗误码能力的程度。编码视频序列中的错误隐藏程度的另一种用途是使服务运营商确定某个编码流是否适合于设想的传输系统,例如,当通过易出现突发错误的卫星广播信道进行发送时,针对HTTP流传输编码的流的性能可能非常差。
当前,由于大量的参数确定抗误码能力(例如,上述示例的非穷举列表),因此无法使用现有技术编解码器在编码流中轻松访问该信息。一些单独的参数可以从参数集中导出,其他一些例如可能需要基于图片来解析高级别语法,而其他一些例如可能甚至需要低级别语法解析。而且,大多数调查的参数没有利用与编码视频序列的剩余部分的编码器决策有关的信息来发信号通知,但是具有有限的范围。例如,划分决策可能在图片之间改变。损坏的流甚至可能不再承载必要的信息。
实施例提供了对编码视频序列的抗误码能力的程度的易于访问的指示。一些实施例在影响抗误码能力和错误减轻策略的相关工具上为编码视频提供编码约束。中间盒或客户端设备可以将该指示解释为保证视频编码器从其决策空间中排除将以其他方式影响抗误码能力的某些选项。服务提供商可以关于编码流适合于哪个传输系统来解释这种信息。
在实施例中,例如,如下提供在编码视频的易于访问的高级别语法中的单个标志。
sps_error_resiliency_enabled_flag指示编码视频序列的抗误码状态。sps_error_resiliency_flag等于1指示CVS中没有活动的SPS激活[CodingToolSetC]的使用,并且CVS中没有活动的PPS或AU激活[CodingToolSetB]的使用。sps_error_resiliency_flag等于0则不会给出此类指示。
可替代地,实施例如下提供了在编码视频的易于访问的高级别语法中的抗误码能力状态的预定义列表的索引。
sps_error_resiliency_enabled_idx根据下表指示编码视频序列的抗误码能力状态。
AU=访问单元;PPS=图片参数集;SPS=序列参数集,CVS编码的视频序列
其中,将列表[CodingToolSetA]、[CodingToolSetB]和[CodingToolsSetC]定义如下。
CodingToolSetA包括在图片级别上损害抗误码能力的工具,即,它们在图片内引入依赖性,在图片的部分(例如依赖型CA或其他CA)丢失的情况下,这种依赖性阻止进行成功的解码。
CodingToolSetB包括在多图片级别上(即,PPS的范围)损害抗误码能力的工具,即,它们引入了引用PPS的图片之间的依赖性,使得它们阻止在错误的图片之后使用该工具对引用PPS的任何图片进行成功解码,例如多个图片(例如,属于GOP的最高时间层的图片或其他图片)的联合熵编码。
CodingToolsSetC包括在序列级别上(即,SPS的范围)损害抗误码能力的工具,即,它们在随机访问时段内的所有图片之间引入依赖性关系,使得它们阻止在错误的图片之后使用该工具对引用SPS的任何图片进行成功解码,直到开始新的CVS的随机访问点(例如,量化器缩放矩阵、熵编码初始化或其他)为止。
在本发明的另一实施例中,指示的不同模式没有链接到激活工具集的语法结构。
另外,通过指示从第一图片开始的遵循编码顺序的图片数量的范围的另外的信令来指示CodingToolSetB的范围。因此,该实施例中的CodingToolSetB包括在多图片级别上损害抗误码能力的工具(其中,各个图片由范围指示来指示),即,它们引入了所指示的图片之间的依赖性,使得它们阻止在错误的图片之后使用工具集对任何图片进行成功解码,例如多个图片(例如,属于GOP的最高时间层的图片或其他图片)的联合熵编码。
概述以上内容:根据实施例,数据编码器110可以例如被配置为生成指示数据,使得指示数据可以例如包括与编码视频序列的抗误码能力有关的信息。
在实施例中,与抗误码能力有关的信息可以例如指示与编码视频序列的抗误码能力有关的三个或更多个不同状态中的一个。
同样,根据实施例,数据解码器170可以例如被配置为接收指示编码视频序列的抗误码能力的信息。数据解码器170可以例如被配置为根据指示编码视频序列的抗误码能力的信息来对编码图片数据进行解码。
在实施例中,与抗误码能力有关的信息可以例如指示与编码视频序列的抗误码能力有关的三个或更多个不同状态中的一个。
在特定实施例中,三个或更多个不同状态中的第一状态可以例如指示访问单元没有抗误码能力。三个或更多个不同状态中的第二状态可以例如指示图片参数集的第一多个访问单元没有抗误码能力。三个或更多个不同状态中的第三状态可以例如指示序列参数集的第二多个访问单元没有抗误码能力。
在另一特定实施例中,与抗误码能力有关的信息可以例如指示与编码视频序列的抗误码能力有关的四个或更多个不同状态中的一个。四个或更多个不同状态中的第一状态可以例如指示抗误码能力在图片级别上受到损害,在多图片级别上受到损害,并且在序列级别上受到损害。四个或更多个不同状态中的第二状态可以例如指示抗误码能力在图片级别上受到损害并且在多图片级别上受到损害,但在序列级别上没有受到损害。四个或更多个不同状态中的第三状态可以例如指示抗误码能力在图片级别上受到损害,但是抗误码能力在多图片级别上没有受到损害,并且在序列级别上没有受到损害。并且,四个或更多个不同状态中的第四状态可以例如指示抗误码能力在图片级别上没有受到损害,在多图片级别上没有受到损害,并且在序列级别上没有受到损害。
在下面的章节“编码区域数据分段”中,描述了编码区域数据分段。
像图块一样,CA也可以针对传输层被分段。在这种情况下没有限制。可能的用例在图22、图23和图24中示出。
图22示出包括具有一个编码区域的单个图片的比特流,而CA被分段为多个传输单元。
图23示出包括具有多个编码区域的单个图片的比特流,而每个CA具有自己的传输单元。
图24示出包括具有多个编码区域的单个图片的比特流,而每个CA被分段成多个传输单元。
在下面的章节“编码子区域空间预测器管理”中,描述了编码子区域空间预测器管理。
图25示出根据实施例的被区包围的块的一般表示。
在通用方法中,编码块可以被八个主要空间区包围,见图25。
在下面的小节“一般预测器管理”中,描述了一般预测器管理。
来自所有八个相邻区的候选可以被合并到预测候选列表中。可以以直接的方式(相应地,它们的可用性)来选择它们(相应地,它们的可用性)。在CTU的情况下,其可以例如包括进一步划分成具有特定子块处理顺序的子块,并且由于特定的可用性场景,可以对齐子块的顺序。例如,如果仅邻居AD、D、DC和C可用,则应当首先处理与这些邻居邻接的子块。
概括地说,根据一个实施例,数据编码器110可以例如被配置为根据位于图片内的多个编码树单元中的八个相邻编码树单元中的一个或多个编码树单元,来对位于图片内的多个编码树单元中的编码树单元进行编码,其中,八个相邻编码树单元与所述编码树单元相邻。
同样地,在一个实施例中,数据解码器170可以例如被配置为根据位于图片内的多个编码树单元中的八个相邻编码树单元中的一个或多个编码树单元,来对位于图片内的多个编码树单元中的编码树单元进行解码,其中,八个相邻编码树单元与所述编码树单元相邻。
在下面的小节“邻居的空间调整”中,描述了邻居的空间调整。
一些特定的邻域场景将通过对对应的邻域或预测器的某种调整来允许常规子块处理顺序。在实施例中,调整可以例如包括对应的邻域的旋转以及如果需要的话对编码块的旋转,以90°步长逐步旋转。例如,在图中,如果只有邻居AD、D、DC、C和BC可用,则可以将这些邻居旋转180°,并且如果需要则将编码块旋转180°。这可以是逻辑旋转,也可能是存储器操作,如将样本或语法元素之类的缓冲数据转换为新的缓冲状态。
坐标变换还可以包括水平或竖直翻转,其产生不同的预测候选顺序……
概括地讲,在实施例中,数据编码器110可以例如被配置为通过将八个相邻编码树单元中的编码树单元移位到八个相邻编码树单元中的另一个编码树单元,来对位于图片内的多个编码树单元中的编码树单元进行编码。
同样地,根据实施例,数据解码器170可以例如被配置为通过将八个相邻编码树单元中的编码树单元移位到八个相邻编码树单元中的另一个编码树单元,来对位于图片内的多个编码树单元中的编码树单元进行解码。
在下面的小节“不可用邻居的替换概念”中,描述了不可用邻居的替换概念。
在某些情况下,空间邻居不可用于预测。在那些情况下,或者导出算法使用可用于预测的不同邻居,或者该算法使用某种回退,以通过使用在比特流中显式发送的或者从先前编码的符号或重构值中导出的值来导出值。
在特定实施例中,不可用于预测的空间邻居可以例如被来自当前块下方的空间邻域的邻居(如果可用)替换。
否则,如果当前块下方没有空间预测器可用。使用默认的回退。
在下文中,将该上下文中的术语“左下延伸”定义为根据定义0的块直接位于当前块的左下角;除了当前块的左下样本位于当前CTU的底部样本行中的特殊情况之外。在这种特殊情况下,当前块的左下延伸邻居是下一个CTU行的CTU的右上角的块,其可用于根据建议的块依赖性偏移来进行预测。
例如,当前的现有技术标准0中的QP预测方案使用以下具有给定fallBackQP的导出方案。
A=(isLeftCUavailble?CULeftQP:fallBackQP)
B=(isAboveCUavailble?CUAboveQP:fallBackQP)
PredictedQP=(A+B+1)>>1
在特定实施例中,如果左侧CU、上方CU分别不可用于预测,但左下延伸的CU可用于预测,则将预测方案扩展为使用左下扩展CU的QP。如果常规的邻居CU和左下延伸CU都不可用于预测,则替代地使用fallBackQP来分别导出A和B的值。
A=(isLeftCUavailble?CULeftQP:(isExtendedBelowLeftCUavailble?CUExtendedBelowLeftQP:fallBackQP))
B=(isAboveCUavailble?CUAboveQP:(isExtendedBelowLeftCUavailble?CUExtendedBelowLeftQP:fallBackQP))
PredictedQP=(A+B+1)>>1
但是,这种预测方案是通用的,并且适用于使用来自左邻居和上邻居的预测数据的任何预测方案。
尤其是,
CABAC CTX CU split_flag的导出
CABAC CTX affne_flag的导出
CABAC CTX skip_flag的导出
CABAC CTX imv_flag的导出
CABAC CTX bt_split_flag的导出
CABAC CTX intra_nn_flag的导出
此外,本发明的预测方案也可以在规范解码过程中用于导出特定的预测器,例如,运动矢量分量和参考索引的导出过程,或亮度帧内预测模式的导出过程。
概括起来,根据实施例,所述八个相邻的编码树单元是第一邻域,并且数据编码器110可以例如被配置为:如果第一邻域的八个相邻编码树单元中的第二编码树单元不可用,则通过将第二邻域的另外八个相邻编码树单元中的第三编码树单元移位到第一邻域的八个相邻编码树单元中的所述第二编码树单元,来对多个编码树单元中的所述编码树单元进行编码,第二邻域的所述另外八个相邻编码树单元与所述第二编码树单元相邻。
同样地,在一个实施例中,八个相邻编码树单元可以例如是第一邻域,并且数据解码器170可以例如被配置为:如果第一邻域的八个相邻编码树单元中的第二编码树单元不可用,则通过将第二邻域的另外八个相邻编码树单元中的第三编码树单元移位到第一邻域的八个相邻编码树单元中的所述第二编码树单元,来对位于图片内的多个编码树单元中的编码树单元进行解码,第二邻域的所述另外八个相邻编码树单元与所述第二编码树单元相邻。
此外,提供了一种对图片进行编码的编码视频信号,其中,编码视频信号包括编码图片数据和指示数据,其中,图片被划分为多个编码区域,其中,多个编码区域中的每个编码区域位于图片内,其中,多个编码区域中的每个编码区域包括位于图片内的多个编码树单元中的一个或多个编码树单元,其中,根据多个编码区域对图片进行编码,并且其中,指示数据包括与多个编码区域有关的信息,其中,多个编码区域中的一个或多个编码区域包括多个编码树单元中的两个或更多个编码树单元,其中,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域展示针对所述编码区域的两个或更多个编码树单元的编码顺序,其中,根据包括两个或更多个编码树单元的一个或多个编码区域的编码顺序来对图片进行编码,并且其中,指示数据包括与包括两个或更多个编码树单元的一个或多个编码区域的编码顺序有关的信息。
根据实施例,多个编码区域中的每个编码区域在图片内呈矩形延伸,并且其中多个编码区域中的每个编码区域的一个或多个编码树单元中的每个编码树单元在图片内呈矩形延伸。
在实施例中,多个编码树单元中的每个编码树单元具有在所述图片内的水平位置和在所述图片内的竖直位置,其中,多个编码区域中的第一编码区域包括第一编码树单元,第一编码树单元的第一竖直位置与多个编码区域中的不同第二编码区域的不同第二编码树单元的第二竖直位置相同,并且第一编码区域的第三编码树单元的第三竖直位置与第二编码区域的任何其他编码树单元的竖直位置不同,并且第二编码区域的第四编码树单元的第四竖直位置与第一编码区域的任何其他编码树单元的竖直位置不同,或者其中,多个编码区域中的第一编码区域包括第一编码树单元,第一编码树单元的第一水平位置与多个编码区域中的不同第二编码区域的不同第二编码树单元的第二水平位置相同,并且第一编码区域的第三编码树单元的第三水平位置与第二编码区域的任何其他编码树单元的水平位置不同,并且第二编码区域的第四编码树单元的第四水平位置与第一编码区域的任何其他编码树单元的水平位置不同。
根据实施例,多个编码区域中的每个编码区域可以例如展示包括所述编码区域的位置、宽度和高度的空间特性,其中,所述编码区域的宽度和高度取决于所述编码区域的矩形延伸,并且其中,所述编码区域的位置取决于所述编码区域在图片内的位置。
在实施例中,多个编码区域中的第一编码区域的第一高度可以例如不同于多个编码区域中的第二编码区域的第二高度,或者其中,多个编码区域中的第一编码区域的第一宽度不同于多个编码区域中的第二编码区域的第二宽度。
根据实施例,该指示可以例如包括与多个编码区域中的每个编码区域的空间特性有关的信息。
在实施例中,指示数据可以例如包括多个编码区域中的每个编码区域的位置、宽度和高度。
根据实施例,可以例如独立于对多个编码区域中的任何其他编码区域的图片部分的图像数据的编码,来对多个编码区域中的每个编码区域的图片部分的图像数据进行编码,以获得编码视频信号内的编码图片数据。
在实施例中,可以例如通过对多个编码区域的每个编码区域内的图片部分的图像数据进行编码,来对图片部分进行编码,以获得编码图片数据,其中,多个编码区域中的至少一个的图片部分的图像数据被编码在编码视频信号内,使得对多个编码区域中的所述至少一个编码区域的图像数据的编码依赖于对多个编码区域中的至少另一个编码区域的图像数据的编码。
根据实施例,编码视频信号可以例如包括比特流,其中,比特流包括编码图片数据和指示数据。
在实施例中,指示数据可以例如包括针对每个编码区域的与是否指定了左上编码树单元的地址有关的信息。
根据实施例,指示数据可以例如包括与多个编码区域的数量或多个编码区域的数量减1或多个编码区域的数量减2有关的信息。
在实施例中,指示数据可以例如针对多个编码区域中的继多个编码区域中的另一个编码区域之后的一个编码区域,指示多个编码区域中的所述一个编码区域是否依赖于多个编码区域中的所述另一个编码区域。
根据实施例,指示数据可以例如指示是否将多个条带中的恰好一个条带分配给所述多个编码区域中的恰好一个编码区域。
在实施例中,指示数据可以例如指示指示数据是否包括与如伺在多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描有关的信息。
根据实施例,指示数据可以例如指示如何在所述多个编码区域的一个或多个编码树单元中的每个编码树单元内进行扫描。
在实施例中,指示数据可以例如针对多个编码区域中的每个编码区域指示该编码区域是否包括多于一个编码树单元。
根据一个实施例,指示数据可以例如针对多个编码区域中的一个编码区域指示是以最左侧的编码树单元开始编码树单元扫描还是以最右侧的编码树单元开始编码树单元扫描。
在实施例中,指示数据可以例如针对多个编码区域中的一个编码区域指示是以编码区域的顶部编码树单元行开始编码树单元扫描还是以编码区域的底部编码树单元行开始编码树单元扫描。
在实施例中,指示数据可以例如针对多个编码区域中的一个编码区域指示是在水平方向上开始编码树单元扫描还是在竖直方向上开始编码树单元扫描。
根据实施例,指示数据可以例如指示非连续信息,所述非连续信息指示多个编码区域中的至少一个编码区域围绕多个编码区域中的另一个编码区域,还是多个编码区域中没有一个编码区域围绕另一个编码区域。
根据实施例,指示数据可以例如针对多个编码区域中的一个编码区域以编码树单元来指示编码区域宽度,编码区域宽度指定其中一个编码区域内的在水平方向上布置的编码树单元的数量。
在实施例中,指示数据可以例如针对多个编码区域中的一个编码区域以编码树单元来指示编码区域高度,编码区域高度指定其中一个编码区域内的在竖直方向上布置的编码树单元的数量。
根据一个实施例,指示数据可以例如针对多个编码区域中的编码区域指示所述编码区域内的水平方向上的最后一个编码树单元是否小于所述编码区域的在水平方向上位于所述编码树单元之前的另一个编码树单元。
在特定实施例中,所述编码区域可以例如包括水平方向上的多个最后编码树单元,水平方向上的所述最后一个编码树单元是水平方向上的多个最后编码树单元中的一个编码树单元。如果所述编码区域内的水平方向上的所述最后一个编码树单元小于所述编码区域的在水平方向上位于所述最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在水平方向上可以例如具有相同的宽度。
在实施例中,指示数据可以例如针对多个编码区域中的编码区域指示所述编码区域内的竖直方向上的最后一个编码树单元是否小于所述编码区域的在竖直方向上位于所述编码树单元之前的另一个编码树单元。
在特定实施例中,所述编码区域可以例如包括竖直方向上的多个最后编码树单元,竖直方向上的所述最后一个编码树单元是竖直方向上的所述多个最后编码树单元中的一个编码树单元。如果所述编码区域内的竖直方向上的所述最后一个编码树单元小于所述编码区域的在竖直方向上位于所述最后一个编码树单元之前的另一个编码树单元,则多个最后编码树单元中的每个最后编码树单元在竖直方向上可以例如具有相同的高度。
在实施例中,指示数据可以例如针对编码区域指示是指示了起始地址还是没有指示起始地址,所述起始地址指示所述编码区域的所述一个或多个编码树单元中的一个编码树单元。
根据实施例,指示数据可以例如指示如何将图片分割一次或多次,以通过将所述图片分割一次或多次来获得多个编码区域。
在实施例中,指示数据可以例如指示多个编码区域分割位置。
根据实施例,指示数据可以例如将多个编码区域分割位置指示为有序序列。
在实施例中,指示数据可以例如将多个编码区域分割位置指示为多个编码区域分割位置值,其中,多个编码区域分割位置值中的每个取决于图片的宽度或取决于图片的高度。
根据实施例,指示数据可以例如指示如何将图片分层级地分割一次或多次,以通过将图片分层级地分割一次或多次来获得多个编码区域。
在实施例中,指示数据可以例如包括针对一个或多个编码区域中的编码区域的一个或多个区域列停止标志,其中,如果一个或多个编码区域中的编码区域的区域列停止标志被设置为停止值,则所述区域列停止标志可以例如指示所述编码区域的宽度。或者,指示数据可以例如包括针对一个或多个编码区域中的编码区域的一个或多个区域行停止标志,其中,如果一个或多个编码区域中的编码区域的区域行停止标志被设置为停止值,则所述区域行停止标志可以例如指示所述编码区域的高度。
根据实施例,指示数据可以例如指示显式信令模式是有效的或者显式信令模式是无效的。如果显式信令模式是有效的,并且如果编码区域的一个或多个编码树单元中的编码树单元位于图片的图片边界处,则指示数据可以例如包括针对所述编码树单元的区域列停止标志和区域行停止标志中的至少一个。如果显式信令模式是无效的,并且如果编码区域的一个或多个编码树单元中的所述编码树单元位于图片的所述图片边界处,则指示数据不包括针对所述编码树单元的区域列停止标志和/或不包括针对所述编码树单元的区域行停止标志。
根据实施例,包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域的编码顺序取决于光栅扫描,其中,指示数据包括可以例如指示已经采用光栅扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码。
在实施例中,指示数据包括可以例如指示已经采用对角线扫描对包括两个或更多个编码树单元的一个或多个编码区域中的每个编码区域进行编码的信息。
根据一个实施例,指示数据可以例如指示已经采用z扫描对一个或多个编码区域中的包括五个或更多个编码树单元的每个所述区域进行编码。
在实施例中,指示数据可以例如指示包括一个或多个扫描方向的扫描顺序。
根据实施例,指示数据可以例如指示索引,该索引可以例如指示一个或多个扫描方向中所选择的扫描方向。
在实施例中,指示数据包括与编码视频序列的抗误码能力有关的信息。
根据实施例,与抗误码能力有关的信息可以例如指示与编码视频序列的抗误码能力有关的三个或更多个不同状态中的一个。
在实施例中,三个或更多个不同状态中的第一状态可以例如指示访问单元没有抗误码能力。三个或更多个不同状态中的第二状态可以例如指示图片参数集的第一多个访问单元没有抗误码能力。三个或更多个不同状态中的第三状态可以例如指示序列参数集的第二多个访问单元没有抗误码能力。
在另一实施例中,与抗误码能力有关的信息可以例如指示与编码视频序列的抗误码能力有关的四个或更多个不同状态中的一个。四个或更多个不同状态中的第一状态可以例如指示抗误码能力在图片级别上受到损害,在多图片级别上受到损害,并且在序列级别上受到损害。四个或更多个不同状态中的第二状态可以例如指示抗误码能力在图片级别上受到损害并且在多图片级别上受到损害,但在序列级别上没有受到损害。四个或更多个不同状态中的第三状态可以例如指示抗误码能力在图片级别上受到损害,但是抗误码能力在多图片级别上没有受到损害,并且在序列级别上没有受到损害。并且,四个或更多个不同状态中的第四状态可以例如指示抗误码能力在图片级别上没有受到损害,在多图片级别上没有受到损害,并且在序列级别上没有受到损害。
尽管已经在装置的上下文中描述了一些方面,但是将清楚的是,这些方面还表示对对应方法的描述,其中,块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如,微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中,可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
根据某些实现要求,本发明的实施例可以用硬件或软件实现,或者至少部分用硬件实现,或至少部分用软件实现。可以使用其上存储有电子可读控制信号的数字存储介质(例如,软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现,该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述的方法之一。
换言之,本发明的方法的实施例因此是具有程序代码的计算机程序,该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此,本发明方法的另一实施例是包括、其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质),该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录的介质通常是有形的和/或非暂时性的。
因此,本发明方法的另一实施例是表示计算机程序的数据流或信号序列,所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如,经由互联网)传送。
另外的实施例包括处理装置,例如,计算机或可编程逻辑器件,所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如,以电子方式或以光学方式)传送计算机程序的装置或系统,该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常,方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是:本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此,旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
参考文献
[1]ISO/IEC,ITU-T.High efficiency video coding.ITU-T RecommendationH.265|ISO/IEC 23008 10(HEVC),2013年第1版;2014年第2版。
[2]欧洲专利申请,申请号:EP 18165249.6;2018年3月29日提交。

Claims (24)

1.一种用于对编码视频信号进行解码以重构视频的图片的设备,所述编码视频信号包括所述视频的所述图片的编码图片数据和编码区域指示数据,所述设备包括:
接口(160),被配置用于接收所述编码视频信号,
数据解码器(170),被配置用于通过使用所述编码区域指示数据对所述编码图片数据进行解码来重构所述视频的所述图片,
其中,所述图片被划分为多个编码区域,其中,所述多个编码区域中的每个编码区域位于所述图片内,其中,所述多个编码区域中的每个编码区域包括位于所述图片内的多个编码树单元中的一个或多个编码树单元,其中,使用所述编码区域指示数据,所述数据解码器(170)被配置为根据所述多个编码区域来对所述编码图片数据进行解码,其中,所述编码区域指示数据包括与所述多个编码区域有关的信息,
其中,所述多个编码区域至少包括第一编码区域和第二编码区域,使得第一编码区域围绕在所述第一编码区域内的所述第二编码区域,
其中,所述编码区域指示数据包括以编码树单元来指定所述第二编码区域内的在水平方向上布置的编码树单元的数量的编码区域宽度,和/或以编码树单元来指定所述第二编码区域内的在竖直方向上布置的编码树单元的数量的编码区域高度,
其中,所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域列停止标志,其中,如果所述区域列停止标志被设置为停止值,则所述区域列停止标志指示所述第二编码区域的宽度,和/或所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域行停止标志,其中,如果所述区域行停止标志被设置为停止值,则所述区域行停止标志指示所述第二编码区域的高度。
2.根据权利要求1所述的对编码视频信号进行解码的设备,其中,在PPS中接收所述编码区域指示数据。
3.根据权利要求1所述的对编码视频信号进行解码的设备,其中,在SPS中接收所述编码区域指示数据。
4.根据权利要求1所述的对编码视频信号进行解码的设备,其中,在条带头部中接收所述编码区域指示数据。
5.根据权利要求1所述的对编码视频信号进行解码的设备,其中,所述编码区域指示数据包括与针对所述多个编码区域中的至少一个编码区域的扫描顺序有关的指示。
6.根据权利要求1所述的对编码视频信号进行解码的设备,其中,所述编码区域指示数据包括针对所述多个编码区域中的继所述多个编码区域中的另一个编码区域之后的一个编码区域,指示所述多个编码区域中的所述一个编码区域是否依赖于所述多个编码区域中的所述另一个编码区域的指示。
7.一种用于通过生成编码视频信号来对图片进行编码的设备,包括:
数据编码器(110),被配置用于将视频的图片编码为编码图片数据,其中,所述数据编码器(110)还被配置用于生成编码区域指示数据,以及
信号生成器(120),被配置用于生成包括所述编码图片数据和所述编码区域指示数据的编码视频信号,
其中,所述图片被划分为多个编码区域,其中,所述多个编码区域中的每个编码区域位于所述图片内,其中,所述多个编码区域中的每个编码区域包括位于所述图片内的多个编码树单元中的一个或多个编码树单元,其中,所述数据编码器(110)被配置为根据所述多个编码区域对所述图片进行编码,并且其中,所述数据编码器(110)被配置为生成所述编码区域指示数据,使得所述编码区域指示数据包括与所述多个编码区域有关的信息,
其中,所述多个编码区域至少包括第一编码区域和第二编码区域,使得第一编码区域围绕在所述第一编码区域内的所述第二编码区域,
其中,所述编码区域指示数据包括以编码树单元来指定所述第二编码区域内的在水平方向上布置的编码树单元的数量的编码区域宽度,和/或以编码树单元来指定所述第二编码区域内的在竖直方向上布置的编码树单元的数量的编码区域高度,
其中,所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域列停止标志,其中,如果所述区域列停止标志被设置为停止值,则所述区域列停止标志指示所述第二编码区域的宽度,和/或所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域行停止标志,其中,如果所述区域行停止标志被设置为停止值,则所述区域行停止标志指示所述第二编码区域的高度。
8.根据权利要求7所述的对图片进行编码的设备,其中,在PPS中发送所述编码区域指示数据。
9.根据权利要求7所述的对图片进行编码的设备,其中,在SPS中发送所述编码区域指示数据。
10.根据权利要求7所述的对图片进行编码的设备,其中,在条带头部发送所述编码区域指示数据。
11.根据权利要求7所述的对图片进行编码的设备,其中,所述编码区域指示数据包括与针对所述多个编码区域中的至少一个编码区域的扫描顺序有关的指示。
12.根据权利要求7所述的对图片进行编码的设备,其中,所述编码区域指示数据包括针对所述多个编码区域中的继所述多个编码区域中的另一个编码区域之后的一个编码区域,指示所述多个编码区域中的所述一个编码区域是否依赖于所述多个编码区域中的所述另一个编码区域的指示。
13.一种用于对编码视频信号进行解码以重构视频的图片的方法,所述编码视频信号包括所述视频的所述图片的编码图片数据和编码区域指示数据,所述方法包括:
接收所述编码视频信号,以及
通过使用所述编码区域指示数据对所述编码图片数据进行解码来重构所述视频的所述图片,
其中,所述图片被划分为多个编码区域,其中,所述多个编码区域中的每个编码区域位于所述图片内,其中,所述多个编码区域中的每个编码区域包括位于所述图片内的多个编码树单元中的一个或多个编码树单元,其中,使用所述编码区域指示数据,其中,根据所述多个编码区域对所述编码图片数据进行解码,其中,所述编码区域指示数据包括与所述多个编码区域有关的信息,
其中,所述多个编码区域至少包括第一编码区域和第二编码区域,使得第一编码区域围绕在所述第一编码区域内的所述第二编码区域,
其中,所述编码区域指示数据包括以编码树单元来指定所述第二编码区域内的在水平方向上布置的编码树单元的数量的编码区域宽度,和/或以编码树单元来指定所述第二编码区域内的在竖直方向上布置的编码树单元的数量的编码区域高度,
其中,所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域列停止标志,其中,如果所述区域列停止标志被设置为停止值,则所述区域列停止标志指示所述第二编码区域的宽度,和/或所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域行停止标志,其中,如果所述区域行停止标志被设置为停止值,则所述区域行停止标志指示所述第二编码区域的高度。
14.根据权利要求13所述的对编码视频信号进行解码的方法,其中,在PPS中接收所述编码区域指示数据。
15.根据权利要求13所述的对编码视频信号进行解码的方法,其中,在SPS中接收所述编码区域指示数据。
16.根据权利要求13所述的对编码视频信号进行解码的方法,其中,在条带头部中接收所述编码区域指示数据。
17.根据权利要求13所述的对编码视频信号进行解码的方法,其中,所述编码区域指示数据包括与针对所述多个编码区域中的至少一个编码区域的扫描顺序有关的指示。
18.根据权利要求13所述的对编码视频信号进行解码的方法,其中,所述编码区域指示数据包括针对所述多个编码区域中的继所述多个编码区域中的另一个编码区域之后的一个编码区域,指示所述多个编码区域中的所述一个编码区域是否依赖于所述多个编码区域中的所述另一个编码区域的指示。
19.一种通过生成编码视频信号来对图片进行编码的方法,包括:
将视频的图片编码为编码图片数据,
生成编码区域指示数据,以及
生成包括所述编码图片数据和所述编码区域指示数据的所述编码视频信号,
其中,所述图片被划分为多个编码区域,其中,所述多个编码区域中的每个编码区域位于所述图片内,其中,所述多个编码区域中的每个编码区域包括位于所述图片内的多个编码树单元中的一个或多个编码树单元,其中,根据所述多个编码区域对所述图片进行编码,并且其中,生成所述编码区域指示数据以使得所述编码区域指示数据包括与所述多个编码区域有关的信息,
其中,所述多个编码区域至少包括第一编码区域和第二编码区域,使得第一编码区域围绕在所述第一编码区域内的所述第二编码区域,
其中,所述编码区域指示数据包括以编码树单元来指定所述第二编码区域内的在水平方向上布置的编码树单元的数量的编码区域宽度,和/或以编码树单元来指定所述第二编码区域内的在竖直方向上布置的编码树单元的数量的编码区域高度,
其中,所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域列停止标志,其中,如果所述区域列停止标志被设置为停止值,则所述区域列停止标志指示所述第二编码区域的宽度,和/或所述编码区域指示数据还包括针对所述第二编码区域的一个或多个区域行停止标志,其中,如果所述区域行停止标志被设置为停止值,则所述区域行停止标志指示所述第二编码区域的高度。
20.根据权利要求19所述的对图片进行编码的方法,其中,在PPS中发送所述编码区域指示数据。
21.根据权利要求19所述的对图片进行编码的方法,其中,在SPS中发送所述编码区域指示数据。
22.根据权利要求19所述的对图片进行编码的方法,其中,在条带头部中发送所述编码区域指示数据。
23.根据权利要求19所述的对图片进行编码的方法,其中,所述编码区域指示数据包括与针对所述多个编码区域中的至少一个编码区域的扫描顺序有关的指示。
24.根据权利要求19所述的对图片进行编码的方法,其中,所述编码区域指示数据包括针对所述多个编码区域中的继所述多个编码区域中的另一个编码区域之后的一个编码区域,指示所述多个编码区域中的所述一个编码区域是否依赖于所述多个编码区域中的所述另一个编码区域的指示。
CN201980058369.9A 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法 Active CN112655208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311616944.7A CN117750026A (zh) 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18182554 2018-07-09
EP18182554.8 2018-07-09
PCT/EP2019/068429 WO2020011796A1 (en) 2018-07-09 2019-07-09 Encoder and decoder, encoding method and decoding method for versatile spatial partitioning of coded pictures

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311616944.7A Division CN117750026A (zh) 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法

Publications (2)

Publication Number Publication Date
CN112655208A CN112655208A (zh) 2021-04-13
CN112655208B true CN112655208B (zh) 2023-12-15

Family

ID=62909397

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980058369.9A Active CN112655208B (zh) 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法
CN202311616944.7A Pending CN117750026A (zh) 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311616944.7A Pending CN117750026A (zh) 2018-07-09 2019-07-09 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法

Country Status (7)

Country Link
US (3) US11336890B2 (zh)
EP (1) EP3821600A1 (zh)
JP (2) JP7248775B2 (zh)
KR (2) KR102549562B1 (zh)
CN (2) CN112655208B (zh)
TW (2) TWI792578B (zh)
WO (1) WO2020011796A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095959A (ko) * 2018-12-27 2021-08-03 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
US11758132B2 (en) * 2018-12-28 2023-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions
WO2020142483A1 (en) * 2018-12-31 2020-07-09 Futurewei Technologies, Inc. Explicit address signaling in video coding
JP2021002773A (ja) * 2019-06-21 2021-01-07 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
CN113039799B (zh) 2019-08-23 2023-08-01 苹果公司 图像信号编码/解码方法及其设备
CN115023954A (zh) 2019-11-18 2022-09-06 Lg电子株式会社 用于控制环路滤波的图像编码装置和方法
CA3161980A1 (en) 2019-11-18 2021-05-27 Lg Electronics Inc. Virtual boundary signaling and filtering-based image coding device and method
CN114946190B (zh) 2019-11-18 2024-06-14 Lg电子株式会社 用于控制环路滤波的图像编码装置和方法
BR112021013893A2 (pt) * 2019-12-24 2022-07-26 Ericsson Telefon Ab L M Processamento de fronteira virtual para filtragem em laço adaptativo
EP4094432A4 (en) * 2020-02-24 2023-04-05 ByteDance Inc. USE OF SLICE INDEX AT PICTURE LEVEL IN VIDEO ENCODING
US20230096855A1 (en) * 2020-02-25 2023-03-30 Lg Electronics Inc. In-loop filtering-based image coding device and method
WO2021178501A1 (en) 2020-03-03 2021-09-10 Bytedance Inc. Controlling a scaling process using slice header signaling
US20240205424A1 (en) * 2020-03-09 2024-06-20 Lg Electronics Inc. Image coding method based on information related to tile and information related to slice in video or image coding system
JP7490797B2 (ja) * 2020-03-09 2024-05-27 エルジー エレクトロニクス インコーポレイティド 長方形スライスのサイズ情報を選択的に符号化する画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
US11800096B2 (en) * 2020-03-31 2023-10-24 Tencent America LLC Method for signaling virtual boundary signaling with subpictures in coded video stream
JP2023524944A (ja) * 2020-04-22 2023-06-14 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 圧縮されたピクチャインピクチャシグナリング
EP4254948A1 (en) * 2022-03-31 2023-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture partitionned in ctu grids
WO2023195819A1 (ko) * 2022-04-07 2023-10-12 엘지전자 주식회사 적응적 슬라이스 스캔 방식에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024112035A1 (ko) * 2022-11-24 2024-05-30 삼성전자 주식회사 전자 장치 및 전자 장치의 데이터 압축 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
US8855201B2 (en) * 2010-01-14 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and apparatus for decoding video by considering skip and split order
CN105027567A (zh) * 2013-01-07 2015-11-04 诺基亚技术有限公司 用于视频编码和解码的方法和装置
CN105264888A (zh) * 2014-03-04 2016-01-20 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
EP3185553A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563388B (zh) 2011-03-10 2016-11-02 夏普株式会社 用于解码视频的方法
US9628792B2 (en) * 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US9514928B2 (en) * 2014-01-15 2016-12-06 Taiwan Semiconductor Manufacturing Co., Ltd. Selective repairing process for barrier layer
JP2016103707A (ja) 2014-11-27 2016-06-02 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10390022B2 (en) 2015-03-19 2019-08-20 Lg Electronics Inc. Method for processing video signal and device therefor
JP6906940B2 (ja) 2015-12-28 2021-07-21 株式会社半導体エネルギー研究所 半導体装置
CN114786009A (zh) 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
WO2019185815A1 (en) 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partitioning concepts for block-based picture coding
WO2019185821A1 (en) 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for enhancing parallel coding capabilities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
US8855201B2 (en) * 2010-01-14 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and apparatus for decoding video by considering skip and split order
CN105027567A (zh) * 2013-01-07 2015-11-04 诺基亚技术有限公司 用于视频编码和解码的方法和装置
CN105264888A (zh) * 2014-03-04 2016-01-20 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
EP3185553A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hyun-Mook Oh ET AL.MCTS extraction with implicit slice reordering.Joint Collaborative Team on Video Coding (JCT-VC).2017,正文第1-2页. *

Also Published As

Publication number Publication date
KR20230106707A (ko) 2023-07-13
US11336890B2 (en) 2022-05-17
CN117750026A (zh) 2024-03-22
JP2023072073A (ja) 2023-05-23
TWI792578B (zh) 2023-02-11
CN112655208A (zh) 2021-04-13
JP2021524706A (ja) 2021-09-13
EP3821600A1 (en) 2021-05-19
KR102549562B1 (ko) 2023-06-29
US20230412803A1 (en) 2023-12-21
KR20230106707A9 (ko) 2024-03-25
TW202013980A (zh) 2020-04-01
TW202209895A (zh) 2022-03-01
US20210127111A1 (en) 2021-04-29
WO2020011796A1 (en) 2020-01-16
US11770528B2 (en) 2023-09-26
JP7248775B2 (ja) 2023-03-29
US20220248010A1 (en) 2022-08-04
KR20210029256A (ko) 2021-03-15
TWI743514B (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
CN112655208B (zh) 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法
US11677966B2 (en) Efficient scalable coding concept
JP2024050612A (ja) 低遅延画像符号化
JPWO2020011796A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant