CN108781291B

CN108781291B - 空间可缩放视频编码

Info

Publication number: CN108781291B
Application number: CN201780019141.XA
Authority: CN
Inventors: E.托马斯; O.A.尼亚穆特; R.柯依纳恩
Original assignee: Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO; Koninklijke KPN NV
Current assignee: Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO; Koninklijke KPN NV
Priority date: 2016-01-25
Filing date: 2017-01-24
Publication date: 2022-03-22
Anticipated expiration: 2037-01-24
Also published as: US10764602B2; WO2017129568A1; EP3409018A1; JP6909223B2; JP2019508943A; US20200169751A1; CN108781291A

Abstract

描述了一种由解码器设备形成视频信号的方法，其中方法包括接收比特流和解码器信息，解码器信息向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在，用于形成视频信号，分辨率分量表示具有第一分辨率的第一视频信号的空间子采样版本，优选地多相子采样版本，所述一个或多个分辨率分量是分辨率分量组的部分，所述组包括多个分辨率分量，根据所述多个分辨率分量，第一视频信号是可重建的；以及，解码器设备解析比特流并且根据解码器信息将一个或多个分辨率分量解码为视频帧。

Description

空间可缩放视频编码

技术领域

本发明涉及空间可缩放视频编码，并且特别地，但是非排他地，涉及用于空间可缩放视频编码的方法和系统、适用于对空间地可缩放的编码视频解码的解码器设备和用于将视频编码为空间可缩放视频数据的编码器设备以及用于执行这样的方法的计算机程序产品。

背景技术

目前，已经开发了被称为高效视频编码（HEVC或ITU-T H.265）的视频编码标准，其可以提供当与其他编码标准（诸如H.264/AVC（MPEG-4第10部分高级视频编码））相比较时显著更高的压缩效率。此外，HEVC的可缩放扩展（SHVC）提供了基于分层HEVC的视频编码方案，所述基于分层HEVC的视频编码方案是与基于基础层和增强层的可缩放视频编码标准SVC可比较的。在这样的方案中，解码器解码基础层，生成输出帧，将该帧放大到增强层的分辨率，使得其可以被用于增强层的进一步解码。基础层的如此放大帧被用作第二循环中的增强层的解码中的参考帧，从而导致高分辨率帧的重建。由于增强层的解码依赖性，因此在解码方案中造成了延迟，所述延迟随着增强层的数量而缩放。

US2015/0103886描述了基于SHVC的视频编码系统的示例。该设计在以下意义上具有相同的缺点：由于基础层与增强层之间的解码依赖性，多个解码循环（当存在多于一个增强层时，2个或更多个）必须顺序地处理。因此，即使通过在两个不同的过程中解码基础层和增强层来实现并行化，所述两个过程也依赖于编码层次以至少一个帧或者甚至多个帧的延迟来操作。当用户想要切换到更高的分辨率时或者当在其中解码器需要首先解码基础层并且然后解码增强层的广播流中调谐时，这导致延迟。

此外，在SHVC中，根据用于将高分辨率视频信号下采样到不同的低分辨率版本的一系列下采样步骤来生成原始高分辨率视频信号的不同的分辨率版本。类似地，当重建原始高分辨率视频信号时，需要多个顺序上采样步骤，所述顺序上采样步骤随着需要被添加到基础层的增强层的数量缩放。在每个上采样步骤之后，缓冲器占用增加。因此，对于每个层而言，不同的缓冲器大小需要被定义并且层之间的依赖性需要分辨率的上采样或者下采样。

更一般地，多回路视频编码设计（诸如SHVC）造成高实现复杂性和高存储器消耗，因为解码器需要将解码的帧存储在存储器中（只要需要它们用于解码来自增强层的依赖帧）。复杂性使得编解码设计（诸如SHVC）使对于产业接受所需要的硬件实现的快速开发不太有吸引力。

因此，从上面得出，在本领域中存在对降低编码侧和解码侧二者中的复杂性和/或延迟的改进的空间可缩放编码方案的需要。特别地，在本领域中存在对允许解码器操作的高级并行化的改进的空间可缩放编码方案的需要。

发明内容

如将由本领域技术人员理解的那样，本发明的各方面可以被实现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）或者组合全部通常可以在本文中被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。在本公开中描述的功能可以被实现为由计算机的微处理器执行的算法。此外，本发明的各方面可以采取在具有在其上实现（例如，存储）的计算机可读程序代码的一个或多个计算机可读介质中实现的计算机程序产品的形式。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子的、磁的、光的、电磁的、红外的或半导体系统、装置、或设备或前述内容的任何合适的组合。计算机可读存储介质的更具体示例（非穷尽列表）将包括以下内容：具有一根或多根线的电连接、便携式计算机软磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式压缩盘只读存储器（CD-ROM）、光存储设备、磁存储设备或者前述内容的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储用于由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何有形介质。

计算机可读信号介质可以包括具有在其中实现的计算机可读程序代码的传播数据信号（例如，在基带中或作为载波的部分）。这样的传播信号可以采取多种形式中的任何形式，包括但不限于电磁、光或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以传送、传播或传输用于由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何计算机可读介质。

在计算机可读介质上实现的程序代码可以使用任何适当的介质来传输，所述任何适当的介质包括但不限于无线、有线线路、光纤、电缆、RF等或前述内容的任何合适的组合。用于执行针对本发明的各方面的操作的计算机程序代码可以以一个或多个编程语言的任何组合来写，所述一个或多个编程语言包括面向对象的编程语言（诸如Java（TM）、Smalltalk、C++或者诸如此类）和常规程序编程语言（诸如“C”编程语言或者类似的编程语言）。程序代码可以完全地在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上并且部分地在远程计算机上或完全地在远程计算机或服务器上执行。在后者的情况中，远程计算机可以通过包括局域网（LAN）或广域网（WAN）的任何类型的网络被连接到用户的计算机，或者可以对外部计算机进行连接（例如，通过使用因特网服务提供商的因特网）。

以下参考根据本发明的实施例的方法、装置（系统）和计算机程序产品的流程图图示和/或框图描述本发明的各方面。将理解，流程图图示和/或框图中的每个块以及流程图图示和/或框图中的块的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器（特别是微处理器或者中央处理单元（CPU））以产生机器，使得经由计算机、其他可编程数据处理装置或者其他设备的处理器执行的指令创建用于实现在流程图和/或一个或多个框图块中指定的功能/动作的构件。

这些计算机程序指令还可以被存储在计算机可读介质中，其可以引导计算机、其他可编程数据处理装置或其他设备以特定方式运转，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或一个或多个框图块中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以使得一系列可操作步骤在计算机、其他可编程装置或其他设备上被执行以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或一个或多个框图块中指定的功能/动作的过程。

图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在该方面中，流程图或框图中的每个块可以表示模块、段或代码的部分，其包括用于实现指定的（一个或多个）逻辑功能的一个或多个可执行指令。还应当注意，在一些替代的实现中，在块中指出的功能可以脱离在图中指出的顺序发生。例如，取决于涉及的功能，连续示出的两个块实际上可以基本上同时地被执行，或者块有时可以以相反的顺序来执行。还将注意，框图和/或流程图图示的每个块以及在框图和/或流程图图示中的块的组合可以通过执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

本公开中的实施例涉及使用相同或者基本上相同场景的多个低分辨率（LR）视频流的视频帧来形成HR视频信号的高分辨率（HR）视频帧。在本公开中，视频信号的（低）分辨率描述指代高分辨率源视频信号的（低）分辨率版本。分辨率分量指代已经以如下这样的方式生成的分辨率描述：其可以与其他分辨率分量重新组合以形成原始源视频信号。

此外，在本公开中，使用术语“高分辨率”和“低分辨率”以便区分不同的视频信号之间的空间分辨率差异。例如，高分辨率视频信号可以具有4K或8K UHD视频格式，并且其低分辨率描述可以具有HD视频格式或者具有高分辨率视频信号的视频格式的更低的空间分辨率的任何其他视频格式。类似地，高分辨率视频信号可以具有HD视频格式，并且其低分辨率描述具有SD视频格式或者具有比高分辨率视频信号的视频格式更低的空间分辨率的任何其他视频格式。

LR视频描述可以在一个或多个传输流中被传输到客户端设备，所述客户端设备被配置成根据所述一个或多个传输流中的媒体数据形成比特流。比特流可以被提供给解码设备的输入，所述解码设备可以从比特流提取单个分辨率分量的媒体数据并且将媒体数据解码为LR视频流的视频帧。替代地，解码设备可以从比特流提取两个或更多个分辨率分量的媒体数据，将分辨率分量中的每个的媒体数据解码为视频帧并且将所述两个或更多个分辨率分量的视频帧组合在高分辨率视频帧中。

可以以不同的方式来确定高分辨率视频信号和相关联的低分辨率视频信号。例如，通过对HR视频帧的空间子采样生成的空间移位低分辨率版本可以被用于形成不同的LR描述。替代地，可以以不同的方式对HR视频帧子采样以便生成不同的低分辨率版本。

替代地，可以通过由多个低分辨率成像设备（例如，照相机或诸如此类）捕获相同场景来生成多个低分辨率描述，其中，不同的低分辨率成像设备在位置和/或光学参数方面具有不同的照相机设置。在该情况下，HR视频帧的LR描述可以被认为是通过稍微移位的照相机位置对相同场景的多次观察。替代地，低分辨率描述可以通过将相同源视频编码多次来生成，该视频源被缩小并且针对编码实例中的每个以不同的质量设置来编码。

如在下面将更详细地描述的那样，本公开中的编码方案以低实现成本在编码系统中提供空间可缩放性。如可以由本领域技术人员理解的那样，简单性来自于以下事实：每个LR描述的解码归结为常规的不可缩放视频解码操作。这样，可以通过复制或者至少重新使用现有硬件实现与比特流承载LR描述一样多的次数来详细说明本公开中呈现的方案的硬件实现。本公开中的编码方案可以被实现为已知编码标准中的预处理和后处理步骤（例如，AVC或HEVC编码过程），使得仅描述应用的预处理步骤的发信号通知（signalling）需要被添加在这些标准中，以便实现本发明。这样，这些标准的基本设计和由这些标准所提供的所有现有工具可以无缝地与本发明组合地使用。此外，本公开中的编码方案可以被实现为任何已知和未来编码标准之外的预处理和后处理步骤，在这种情况下，仅知道具体比特流的解码器或者应用将能够正确地渲染预期视频信号。

在一方面中，本发明可以涉及一种由解码器设备形成视频信号的方法，其中方法可以包括：接收比特流和解码器信息，解码器信息向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在，用于形成视频信号，分辨率分量表示具有第一分辨率的第一视频信号的空间子采样版本，所述一个或多个分辨率分量是包括多个分辨率分量的组的部分，根据所述多个分辨率分量，第一视频信号可重建的；解码器设备解析比特流并且根据解码器信息将所述一个或多个分辨率分量解码为视频帧，其中解码器信息可以向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在。所述一个或多个分辨率分量可以是分辨率分量组的部分，所述分辨率分量组包括多个分辨率分量，根据所述多个分辨率分量，第一视频信号可重建的。

解码器信息可以发信号通知比特流仅包括所述组中的一个分辨率分量。在该情况下，解码器设备可以通过解码表示第一分辨率分量的比特流的解析部分来形成第二分辨率的第二视频信号，其中第二视频信号包括第一视频信号的低分辨率版本的视频帧。

解码器信息还可以发信号通知比特流包括所述组中的两个或更多个分辨率分量。在该情况下，解码器设备可以通过解码表示两个或更多个分辨率分量的比特流的解析部分来形成视频帧。在解码器信息发信号通知所述组中的所有分辨率分量的情况下，可以根据视频帧来形成第一视频信号。在解码器信息发信号通知所述组中的一些分辨率分量但非所有分辨率分量的情况下，可以根据视频帧来形成第三视频信号，其中第三视频信号是第一视频信号的低分辨率版本，并且其中第三分辨率高于第二分辨率并且低于第一分辨率。

在另外的方面中，本发明可以涉及一种由解码器设备形成视频信号的方法，其中方法可以包括：接收比特流和解码器信息，所述比特流优选地包括解码器信息，解码器信息向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在，用于形成视频信号，分辨率分量表示具有第一分辨率的第一视频信号的空间子采样版本，优选地多相子采样版本，所述一个或多个分辨率分量是分辨率分量组的部分，所述组包括多个分辨率分量，根据所述多个分辨率分量，第一视频信号是可重建的；解码器设备解析比特流并且形成视频信号，所述形成包括根据解码器信息将所述一个或多个分辨率分量解码为视频帧，其中：如果解码器信息发信号通知比特流仅包括所述组中的一个第一分辨率分量，则所述形成包括：将表示第一分辨率分量的比特流的解析部分解码为表示第二分辨率的第二视频信号的视频帧，第二分辨率低于第一分辨率；以及，如果解码器信息发信号通知比特流包括所述组中的第一分辨率分量和一个或多个另外的分辨率分量，则所述形成包括：将表示第一分辨率分量和一个或多个另外的分辨率分量的比特流的解析部分解码为视频帧；以及，如果解码器信息发信号通知所述组中的所有分辨率分量，则根据视频帧重建第一视频信号；或者，否则根据视频帧构建具有第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率。

本发明使用低分辨率分辨率分量（在短分辨率分量中），表示高分辨率视频信号的不同的空间子采样版本。分辨率分量可以是分辨率分量的组的部分，所述分辨率分量的组被生成使得可以根据所述组中中的所有分辨率分量来重建高分辨率视频信号。

此处，空间子采样基于采样点阵。例如，可以通过使用高分辨率采样点阵来形成高分辨率参阅（vide）帧，其中采样点阵中的每个采样点形成高分辨率视频帧中的像素。可以通过使用不同的低分辨率采样点阵根据高分辨率视频信号的高分辨率帧来形成不同的类型的低分辨率视频帧，其中低分辨率采样点阵具有比高分辨率视频帧的采样点阵更低的采样密度。

与从SVC和SHVC已知的下采样操作相比，其中下采样视频信号的视频帧的新像素值根据原始高分辨率视频信号的视频帧中的像素值的集合来计算，空间子采样操作不改变像素值。空间子采样仅从形成图像帧的像素值的集合选择像素值的子集。空间子采样方案允许原始视频信号或者其低分辨率版本的非常高效的重建。此外，分辨率分量的空间子采样参阅帧允许使用超分辨率技术用于重建高分辨率视频帧。

分辨率分量的组中的至少一个分辨率分量可以被用于形成高分辨率视频信号的低分辨率版本。另外，从分辨率分量的组选择的分辨率分量的所有和/或不同的子集可以被用于形成高分辨率视频信号的不同的分辨率版本的不同的视频信号。此处，根据所有分辨率分量形成的视频信号的分辨率可以等于或者接近原始高分辨率视频信号的分辨率，并且根据分辨率分量的子集形成的视频信号的分辨率高于低分辨率版本并且低于高分辨率视频信号。

在解码过程中的分辨率分量的使用提供了以下优点：不同的空间分辨率的不同的视频信号可以根据一个分辨率分量或者分辨率分量的不同的组合（例如，在比特流中被提供给解码器的分辨率分量1、分辨率分量1+2、分辨率分量1+2+6或者分辨率分量1+2+、…、+N等）来重建和显示。比特流中的解码器信息向解码器发信号通知分辨率分量的组中的哪些分辨率分量存在于比特流中以及应当根据分辨率分量形成什么视频信号。

分辨率分量的使用提供了具有可以在预处理/后处理方法中实现的空间可缩放性的编码系统，使得可以根据众所周知的视频编解码标准（包括AVC、HEVC、VP10等以及基于其或其衍生的标准）来编码和解码各个分辨率分量（即，高分辨率视频信号的不同的空间子采样版本）。

在实施例中，可以使用多相子采样方案，以便生成四个空间上移位的分辨率分量。多相子采样允许在编码器和解码器侧处的非常快速的处理。在实施例中，可以根据高分辨率视频信号的多相子采样滤波（优选地低通滤波）视频帧来形成分辨率分量中的至少一个。滤波可以被用于减少可能由多相子采样过程造成的赝像。

在实施例中，一个或多个另外的分辨率分量可以具有对（至少）第一分辨率分量的解码依赖性（优选地空间解码依赖性）。可以根据（至少）第一分辨率分量的视频帧和另外的分辨率分量的残余视频帧形成另外的分辨率分量的视频帧，其中残余视频帧根据第一分辨率分量的视频帧与另外的分辨率分量的视频帧之间的差异来形成。在该实施例中，另外的分辨率分量可以具有对第一分辨率分量和/或一个或多个其他另外的分辨率分量的解码依赖性以便增加压缩效率。

在实施例中，另外的分辨率分量或者其主要部分可以被配置成仅依赖于第一分辨率分量。这样，提供了低延时解码方案，其在另外的分辨率分量可以被并行地解码的意义上适用于并行处理。相比之下，在可缩放视频编码方案（诸如SHVC）中，层具有造成随着层的数量缩放的延迟的多个依赖性（例如，层N依赖于层N-1，层N-1又依赖于层N-2等）。这样的方案防止了解码过程的并行化。

另外，在根据本发明的编码方案中，可以通过对高分辨率视频信号的空间子采样生成每个分辨率分量。这样，每个分辨率分量具有相同分辨率。因此，在解码和编码期间，可以处理相同视频信号的不同的分辨率分量，而不需要如在SHVC中处理增强层时所需要的下采样或者上采样操作。这样，可以降低数据处理的复杂性。

在实施例中，至少两个或更多个分辨率分量可以具有相同空间分辨率，空间分辨率小于第一视频信号的第一空间分辨率。通过保持至少多个空间分量的分辨率相同，使得针对每个那些分辨率分量的缓冲器设置可以是相同的。这样，消除了对如在SHVC中所需要的针对每个分辨率层的不同的缓冲器占用的需要。

在实施例中，比特流中的第一分辨率分量的编码媒体数据是独立地可解码的。在另一实施例中，比特流中的一个或多个另外的分辨率分量的编码媒体数据仅具有对第一分辨率分量的编码依赖性。

在实施例中，解码器信息可以包括以下各项中的至少一项：指示第一视频信号、第二视频信号和/或第三视频信号的分辨率的至少一个参数；标识比特流中的一个或多个分辨率分量的一个或多个分辨率分量标识符；标识表示用于形成第一信号的分辨率分量的组中的分辨率分量和/或用于形成第二视频信号和/或第三视频信号的分辨率分量的组中的分辨率分量的信息；关于每个分辨率分量的空间分辨率的信息；指示用于根据第一分辨率分量和另外的分辨率分量形成第一视频信号或者第三视频信号的超分辨率操作的参数；以及可选地，对于指示的超分辨率操作而言需要的信息。

在实施例中，比特流包括NAL单元，优选地解码器信息被包括在一个或多个非VCLNAL单元中；和/或，一个或多个分辨率分量被包括在所述一个或多个VCL NAL单元中。

在实施例中，NAL单元可以包括以下各项中的至少一项：非VCL NAL单元（优选地SPS NAL单元），包括指示分辨率分量格式的参数（resolution_component_format_idc）；非VCL NAL单元（优选地VPS NAL单元），包括指示第一视频信号的视频帧的分辨率的一个或多个参数（pic_width_in_luma_samples和pic_height_in_luma_samples）；非VCL NAL单元（优选地VPS NAL单元），包括指示用于生成一个或多个分辨率分量的空间子采样技术的参数或指示根据多相子采样技术确定一个或多个分辨率分量的标志；

VCL NAL单元（优选地切片段），VCL NAL单元包括头部，所述头部包括用于标识分辨率分量的分辨率分量标识符。

在实施例中，分辨率分量的组中的一个或多个分辨率分量是第一视频信号的多相子采样版本，并且其中形成第一视频信号或者第三视频信号包括：将视频帧上采样到第一视频信号或者第三视频信号的视频帧的分辨率格式；对上采样的视频帧零填充；根据上采样的零填充视频帧在第一视频信号或者第三视频信号的视频帧中的位置对上采样的零填充视频帧移位；以及，将上采样的零填充视频帧添加到第一视频信号或者第二视频信号的视频帧。

在实施例中，比特流是HEVC比特流，比特流包括用于向HEVC解码器发信号通知分辨率分量的视频帧被时间上复用的解码器信息。在实施例中，分辨率分量的视频帧可以以交错的次序来布置。

在实施例中，比特流是HEVC比特流，解码器信息向HEVC解码器发信号通知解码的视频帧包括分辨率分量的平铺布置。

在实施例中，可以在一个或多个NAL单元中向HEVC解码器发信号通知分辨率分量的视频帧的时间复用次序或者分辨率分量方案的平铺布置，优选地所述一个或多个NAL单元是一个或多个SEI消息。

在实施例中，重建第一视频信号或者第二视频信号包括：使用超分辨率视频图像重建技术用于生成第一视频信号或者第二视频信号的视频帧。在该实施例中，在不存在或者存在很少关于被用于生成分辨率分量的空间子采样的信息（例如，不同的分辨率分量之间的空间位移不是已知的并且需要被估计）的情况下，组合器可以采用众所周知的超分辨率技术以便生成高分辨率视频帧。超分辨率技术是可以被用于根据相同场景的多个分辨率分量的视频帧来确定高分辨率视频信号的技术。特别地，如果多个分辨率分量的图像相对于彼此被空间移位（例如，在子像素距离上），那么LR图像中的信息可以被用于重建高分辨率图像。

在另外的方面中，本发明可以涉及一种由编码器设备形成比特流的方法，包括：

通过对第一分辨率的第一视频信号的视频帧空间子采样，优选地多相子采样，形成分辨率分量的组，其中根据分辨率分量的组的视频帧，第一视频信号是可重建的，并且其中至少两个或更多个分辨率分量具有相同的空间分辨率；

从分辨率分量组选择一个或多个分辨率分量，并且编码器设备根据一个或多个选择的分辨率分量形成比特流和解码器信息；优选地比特流包括解码器信息，其中：

如果仅第一分辨率分量被选择，则所述形成比特流和解码器信息包括：

所述编码器设备编码分辨率分量的组中的第一分辨率分量，第一分辨率分量具有第二分辨率；以及，生成用于解码器将一个分辨率分量解码为第二分辨率的第二视频信号的信息，第二分辨率低于第一分辨率；或者，

如果第一分辨率分量和一个或多个另外的分辨率分量被选择，则所述形成所述形成比特流和解码器信息包括：

所述编码器设备分别地将分辨率分量的组中的第一分辨率分量和一个或多个另外的分辨率分量编码为第一比特流部分和一个或多个另外的比特流部分；组合第一比特流部分和所述一个或多个另外的比特流部分；以及，如果解码器信息向解码器设备发信号通知比特流包括所述组中的所有分辨率分量，则生成用于解码器将一个分辨率分量和所述一个或多个另外的分辨率分量解码为视频的信息，用于重建第一视频信号；或者，否则用于构建第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率，优选地将解码器信息插入到比特流中。

在实施例中，编码分辨率分量的组中的一个或多个另外的分辨率分量可以包括：根据第一比特流确定第一视频帧；根据第一视频帧和所述一个或多个另外的分辨率分量的视频帧确定一个或多个另外的残余视频帧；将所述一个或多个另外的残余视频帧编码为一个或多个另外的比特流；以及其中，如果解码器信息发信号通知第一分辨率信息和一个或多个另外的分辨率分量，则解码器信息向解码器设备发信号通知根据第一分辨率分量的视频帧和所述一个或多个另外的分辨率分量的所述一个或多个另外的残余视频帧来形成第一视频信号和第三视频信号的视频帧。

在实施例中，方法可以进一步包括：

将第一比特流和所述一个或多个另外的比特流以及解码器信息的至少部分存储在分离的分辨率分量轨道中，优选地与分辨率分量相关联的比特流和解码器信息的至少部分在分辨率分量轨道中被存储为NAL单元；以及，可选地，

提供与分辨率分量轨道的至少部分相关联的基础轨道，基础轨道包括一系列提取器，每个提取器指向分辨率分量轨道之一中的条目。

在另一方面中，本发明可以涉及一种解码设备，包括：计算机可读存储介质，其具有利用其实现的程序的至少部分；以及，计算机可读存储介质，其具有利用其实现的计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地微处理器，其中响应于执行计算机可读程序代码，处理器被配置成执行可执行操作，包括：通过对第一分辨率的第一视频信号的视频帧空间子采样，优选地多相子采样，形成分辨率分量的组，其中根据分辨率分量的组的视频帧，第一视频信号是可重建的，并且其中至少两个或更多个分辨率分量具有相同的空间分辨率；

在一方面中，本发明可以涉及一种编码设备，包括：计算机可读存储介质，其具有利用其实现的程序的至少部分；以及，计算机可读存储介质，其具有利用其实现的计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地微处理器，其中响应于执行计算机可读程序代码，处理器被配置成执行可执行操作，包括：通过空间子采样，优选地多相子采样，根据第一分辨率分量的第一视频信号形成分辨率分量的组，其中根据分辨率分量的组，第一视频信号是可重建的；将分辨率分量的组中的第一分辨率分量编码为比特流，第一分辨率分量具有表示第一视频信号的低分辨率版本的第二分辨率；以及，确定解码器信息，用于向解码器设备发信号通知输出比特流包括分辨率分量的组中的一个分辨率分量，并且形成第二分辨率的第二视频的视频帧；或者，将分辨率分量的组中的第一分辨率分量编码为第一比特流，并且将分辨率分量的组中的一个或多个另外的分辨率分量编码为一个或多个另外的比特流；根据第一比特流和所述一个或多个另外的比特流形成输出比特流；确定解码器信息，用于向解码器设备发信号通知输出比特流包括与第一分辨率分量相关联的第一比特流部分以及与所述一个或多个另外的分辨率分量相关联的一个或多个另外的比特流部分，以及如果发信号通知所述组中的所有分辨率分量，则形成第一视频信号的视频帧，以及形成第三分辨率的第三视频信号的视频帧，第三视频信号是第一视频信号的低分辨率版本，第三分辨率高于第二分辨率并且低于第一分辨率。

本发明可以进一步涉及一种计算机程序产品，其包括软件代码部分，所述软件代码部分被配置用于当在计算机的存储器中运行时，执行根据以上所描述的方法步骤中的任一个的方法步骤。

将参考附图进一步图示本发明，所述附图将示意性地示出根据本公开的实施例。将理解，本公开不以任何方式被限于这些具体实施例。

附图说明

图1描绘了根据本发明的实施例的编码系统的示意图。

图2A描绘了根据本发明的实施例的编码系统的示意图。

图2B描绘了根据本发明的实施例的编码系统的示意图。

图3描绘了根据本发明的实施例的编码系统的示意图。

图4描绘了多相子采样的概念。

图5描绘了根据本发明的实施例的用于在编码系统中使用的多相子采样重新组合过程的示例。

图6A-6C描绘了根据本发明的各种实施例的包括解码器信息的NAL单元，包括分辨率分量方案。

图7描绘了根据本发明的实施例的形成包括分辨率分量的HEVC视频信号的过程。

图8描绘了根据本发明的实施例的用于发信号通知解码器信息的SEI消息。

图9示意性地描绘了根据本发明的实施例的用于存储分辨率分量的文件格式。

图10描绘了根据本发明的另一实施例的形成包括分辨率分量的HEVC视频信号的过程。

图11描绘了根据本发明的实施例的用于发信号通知解码器信息的SEI消息。

图12示意性地描绘了根据本发明的实施例的用于存储分辨率分量的文件格式。

图13A和13B描绘了根据本发明的实施例的用于在编码系统中使用的原始视频格式。

图14描绘了图示可以在如本公开中所描述的中使用的示例性数据处理系统的框图。

具体实施方式

图1描绘了根据本发明的实施例的编码系统的示意图。特别地，图1描绘了包括编码设备111和相关联的解码设备113的编码系统。编码设备可以被实现为网络编码器，所述网络编码器被配置成接收相同或者基本上相同场景的多个LR视频信号。在实施例中，多个LR视频信号（LR描述）可以根据HR视频信号102来生成。例如，在实施例中，可以使用空间子采样技术104（诸如多相子采样技术）以便根据HR视频信号生成多个LR描述106。LR描述中的每个LR描述可以然后被编码为多个编码的LR描述。

LR描述可以根据预定编码标准（例如，AVC、HEVC、VP9等）来编码。此外，LR描述中的至少一个被编码，使得其可以被独立地解码并且因此提供原始视频的预定质量（例如，HD质量或者诸如此类）的视频帧，而无需其他LR视频信号的信息。在实施例中，一个或多个编码依赖性可以存在于一个或多个编码的LR描述之间以便消除空间分量之间的冗余度。这样，可以实现更高的压缩效率。

此后，可以根据多个LR描述来形成编码的HR视频信号。在包括LR描述的编码的视频信号的形成期间，解码器信息可以被添加到编码的视频信号。解码器信息可以包括关于视频信号中的LR描述、如何获得LR描述的信息，例如空间子采样的类型、LR描述的数量、LR描述的格式，例如，分辨率和比特率等。

组合器110可以组合（例如，复用）编码的LR描述并且以合适的数据格式将不同的LR描述的编码的媒体数据分组化，用于存储和传输112。这样，LR描述的编码的媒体数据可以作为合适的数据格式的视频流114（例如，MPEG类型传输流）被传输到包括解码器设备113的一个或多个媒体处理设备。

媒体设备可以包括客户端设备，所述客户端设备用于接收视频流，从视频流提取编码的媒体数据并且形成表示作为比特流被呈现给解码器的输入的LR表示的编码的内容的比特流。比特流解析器可以提取编码的LR描述的比特流。每个LR描述比特流随后被解码为LR视频帧116。高分辨率视频帧可以通过组合不同的LR描述的视频帧（即，相同或者至少基本上相同时间实例的不同的LR描述的视频帧）来形成。组合器可以使用接收到的视频流中的解码器信息以便根据多个LR视频帧正确地形成一个HR视频帧。组合器可以包括与空间子采样技术相反的过程。

在不存在或者存在很少关于被用于生成LR描述的空间子采样的信息（例如，不同的LR描述之间的空间位移不是已知的并且需要被估计）的情况下，组合器可以采用众所周知的超分辨率技术以便生成高分辨率视频帧。超分辨率技术是可以被用于根据相同场景的多个LR图像来确定HR图像的技术。特别地，如果多个低分辨率图像相对于彼此被空间移位（例如，在子像素距离上），那么LR图像中的信息可以被用于重建HR图像。

在Sung Cheol Park等的文章“Super-Resolution image reconstruction: a technical overview”，IEEE signal processing magazine（IEEE信号处理杂志），2003年5月，第21-36页中描述了超分辨率技术的示例，其通过引用被并入本文。可以被用于重建HR视频帧的该文章中所描述的超分辨率图像重建算法的示例包括非均匀插值、频域中的重建、正则化超分辨率重建、投影到凸集上重建、ML-POCS混合重建、迭代反投影重建、自适应滤波重建和静止超分辨率重建。对于实时应用而言，自适应滤波超分辨率重建技术或者插值超分辨率重建技术是优选的超分辨率技术。

图2A和2B描绘了根据本发明的各种实施例的编码系统的部分的示意图。特别地，图2A描绘了根据本发明的实施例的由编码设备所执行的编码过程的概述。这些步骤可以包括多个低分辨率分量的生成（步骤206_1-n）。这些低分辨率分量此后被简单地称为分辨率分量。

在实施例中，不同的分辨率分量（的视频帧）的形成可以包含高分辨率视频信号的视频帧的空间子采样。在实施例中，分辨率分量之一可以被低通滤波。当仅执行比特流的低分辨率解码时，可以预期把分辨率分量的该低通滤波视频帧作为解码过程的输出。当输入信号包含高频时，低通滤波可能是必要的。在该情况下，可以应用抗混叠滤波器以产生适用于显示的至少一个分辨率分量。这样的滤波器可以与低通滤波器一起实现。

关于对于高分辨率视频的重建而言所需要的不同的分辨率分量的信息通过编码器来收集并在其被构建时作为解码器信息205插入比特流中。解码器信息可以包括根据比特流中的分辨率分量来重建一个或多个高分辨率版本需要的信息。

每个分辨率分量可以通过在相同编码器实例内或者在不同的编码器实例214中执行的编码器过程（步骤208_1-n）被编码为比特流。单个编码器实例方法具有以下优点：其使得使用分辨率分量（由虚线箭头所表示的）之间的编码依赖性的分辨率分量的编码更容易。另外，依赖于所选择的方法，分辨率分量的至少部分可以被并行地或者至少部分地并行地编码。

在实施例中，不同的分辨率分量中的一个或多个之间的编码依赖性可以存在。编码可以基于众所周知的视频编码标准，包括但不限于例如MPEG-4第10部分AVC/H.264、HEVC/H.265等。这些编码标准可以包括已知技术，比如量化、帧间/帧内预测、频率变换、熵编码等。

组合器可以根据（一个或多个）编码器实例的比特流输出生成比特流并且根据预定比特流语法生成解码器信息（步骤210）。

解码器输出的比特流中的解码器信息可以包括以下参数和/或信息中的一个或多个：

在实施例中，比特流可以包括至少一个参数，所述至少一个参数指示当将分辨率分量的视频帧组合在比特流中时可以以其来渲染视频信号的分辨率或者不同的分辨率。该参数可以由解码器被用于设置输出缓冲器的大小。

在实施例中，比特流可以包括标识在流中可用的分辨率分量的分辨率分量标识符（的列表）。

在实施例中，比特流可以包括标识需要该分辨率分量以便形成预定高分辨率视频流的信息。

在实施例，编码器输出的比特流可以具有NAL单元结构，用于独立地存储不同的分辨率分量的视频编码层（VCL）NAL单元。

在实施例中，比特流可以包括指示每个分辨率分量的空间分辨率的至少一个参数（当从可以被渲染的最高分辨率导出时，明确或者隐含的）；

在实施例中，比特流可以包括指示可能要被执行以根据两个或更多个分辨率分量的视频帧来形成高分辨率视频信号的视频帧的超分辨率操作的至少一个参数；并且，可选地，对于所指示的超分辨率操作所需要的超分辨率参数。

组合器可以将编码的分辨率分量的比特流和以上所描述的解码器信息的至少部分组合为具有可以由解码器设备解释和解析的语法的比特流（步骤212）。此外，可以将比特流插入合适的数据容器中，所述数据容器使能将视频比特流传输到解码器设备。

图2B描绘了根据本发明的实施例的解码器的示意图。特别地，图2B描绘了根据本发明的实施例的由解码器220所执行的解码过程的概述。过程可以包括接收包括一个或多个分辨率分量以及与一个或多个分辨率分量相关联的解码器信息的视频流。这样的视频流可以由如参考图2A所描述的编码器过程来生成。

图2B中的过程可以以接收包括分辨率分量和解码器信息的视频比特流并且将比特流馈送到比特流解析器的输入开始（步骤222）。比特流解析器可以从比特流提取解码器信息225（步骤224）并且使用解码器信息以便确定在比特流中可用的一个或多个分辨率分量和可以根据一个或多个分辨率分量形成的视频信号的分辨率。解码器可以进一步接收对于渲染高分辨率视频信号而言是必要的分辨率分量的信息。

基于要被渲染的所选择的高分辨率视频信号，比特流解析器可以开始解析视频比特流并且提取在所选择的高分辨率信号的形成中需要的分辨率分量（步骤226_1-n）并且将所提取的分辨率分量作为解码器兼容比特流馈送到解码器的输入。解码器可以解码分辨率分量228_1-n并且可以生成与分辨率分量相关联的视频帧（步骤230_1-n）。分辨率分量的视频帧可以被组合并且被格式化为所选择的高分辨率的视频帧。

超分辨率技术可以被用于根据分辨率分量的视频帧确定高分辨率视频帧。在实施例中，这样的超分辨率技术可以包括放大操作，其用于将分辨率分量的视频帧的分辨率放大；以及根据一个或多个参数组合放大的视频帧，所述一个或多个参数指示放大的视频帧中的每个在将放大的视频帧的像素组合为重新组合的高分辨率视频帧（步骤234）的过程中的贡献。这些一个或多个参数可以由比特流解析器发送到组合器。

图3描绘了根据本发明的实施例的视频编码系统的示例。特别地，图3描绘了其中原始视频信号在N个分辨率分量中被空间地子采样并且随后被编码为N个分辨率分量的实施例。优选地，在实施例中，子采样操作是多相子采样。参考图4和5在下面将更详细地描述多相子采样。

如在图3中示出的那样，第一分辨率分量306₁可以通过原始视频信号302的第一空间子采样过程304₁生成。在没有对其他分辨率分量的任何编码依赖性的情况下，第一分辨率分量可以由编码器308₁编码。编码的第一分辨率分量可以由解码器310₁解码为经重建的第一低分辨率视频信号312₁，所述经重建的第一低分辨率视频信号312₁可以被渲染为低分辨率视频信号316。

另外的分辨率分量306_2-N可以通过原始视频信号的另外的子采样过程304_2-N生成。例如，第二分辨率分量360₂可以根据第二空间子采样过程304₂生成并且第N分辨率分量306_N可以根据第N空间子采样过程306_N生成。每个空间子采样分辨率分量可以表示原始视频信号的空间移位低分辨率样本。在实施例中，多相子采样可以被用作空间子采样技术。

在该特定实施例中，另外的分辨率分量可以使用对第一分辨率分量的依赖性来编码。为此目的，表示编码的第一分辨率分量的比特流可以被解码（步骤309）为视频帧，在所述视频帧被馈送到编码器308₂的输入中之前，所述视频帧与另外的分辨率分量（例如，第二分辨率分量306₂）的视频帧组合。在实施例中，组合第一分辨率分量和另外的分辨率分量的视频帧的过程（步骤311_2-N）可以包括确定差异信号（还被称为残余信号），其中从另外的分辨率分量（例如，第二分辨率分量）的视频帧减去第一分辨率分量的视频帧的至少部分。因此，根据第一分辨率分量和另外的分辨率分量的视频帧，另外的分辨率分量的残余视频帧被生成并且被馈送到编码过程，所述编码过程生成与另外的分辨率分量相关联的比特流。因此所生成的分辨率比特流随后以与如在图2A中所描绘的类似的方式被组合为视频比特流（未示出）。

在编码的视频比特流的形成期间，解码器信息（即，关于每个分辨率分量（的处理）的信息（例如，关于子采样过程、滤波、编码依赖性等的元数据））的至少部分可以被插入由编码器生成的比特流中，使得解码器设备能够根据第一分辨率分量或者第一分辨率分量和一个或多个另外的分辨率分量重建视频信号。

在该实施例中，视频信号可以根据第一分辨率分量和另外的解码分辨率分量中的一个或多个来重建，所述另外的解码分辨率分量具有对第一分辨率分量的编码依赖性以便实现压缩效率。可以在视频比特流中向解码器发信号通知关于另外的分辨率分量对第一分辨率分量的编码依赖性的信息。因此，当编码的视频比特流中的分辨率分量和解码器信息被传输到解码器时，解码器可以以与参考图2B所描述的类似的方式解析比特流并且从比特流提取解码器信息和分辨率分量。

所提取的第一分辨率分量比特流可以被馈送到解码器310₁，所述解码器310₁根据解码器信息将第一比特流解码为第一分辨率分量视频帧313₁。在预期根据第一分辨率分量渲染内容的情况下，第一分辨率分量视频帧可以被用于播出内容，因为第一分辨率分量在没有对其他分辨率分量的任何编码依赖性的情况下被编码。

在预期根据第一分辨率分量和一个或多个另外的分辨率分量渲染内容的情况下，另外的分辨率分量比特流可以被馈送到解码器310_2-N，所述解码器310_2-N根据解码器信息将另外的比特流解码为所述另外的分辨率分量的残余视频帧。因为另外的分辨率分量（例如，第二分辨率分量）具有对第一分辨率分量的编码依赖性，所以第一分辨率分量的视频帧与另外的分辨率分量（残余信号）的残余视频帧组合（步骤313_2-N）以便重建另外的分辨率分量315_2-N的视频帧（例如，第二分辨率分量315₂的视频帧）。

此后，将第一分辨率分量的经重建的视频帧以及可选地一个或多个另外的分辨率分量的视频帧组合为经重建的高分辨率视频信号316。在多相子采样的情况下，重新组合过程314可以包括利用分辨率分量的零填充对视频帧进行上采样，随后添加因此形成的视频帧以反转多相子采样（如参考图5更详细地解释的那样）并且形成高分辨率视频信号316。在空间子采样过程的更一般的情况下，重新组合过程316可以是众所周知的超分辨率算法。

因此，图3的编码系统提供以下优点：不同的高分辨率的分辨率视频信号可以根据第一分辨率分量和一个或多个另外的分辨率分量（例如，分辨率分量1或者分辨率分量1+2或者分辨率分量1+2+、…、+N等）来重建。在可缩放视频编码（SVC）中，层具有多个依赖性（例如，层N依赖于层N-1，层N-1又依赖于层N-2等），其造成随着层的数量增加的解码延迟。这样的方案阻止了解码过程的容易并行化。相比之下，根据图3的编码过程包括另外的分辨率分量，所述另外的分辨率分量仅依赖于第一分辨率分量，因此提供了在另外的分辨率分量可以被并行地解码的意义上适用于并行处理的低延迟解码方案。另外，每个分辨率分量可以具有相同的分辨率，从而显著降低了数据处理的复杂性。相比之下，可缩放视频编码中的层具有从基础层到最高增强层的增加的分辨率以便使能空间可缩放性。

图4A和4B描绘了可以在本公开中所描述的实施例中使用的空间子采样方案的示例。图4A描绘了可以通过根据（常规的）采样点阵（例如，高分辨率采样点阵）对连续图像采样来形成的视频帧402的部分。此处，采样点阵中的每个采样点形成高分辨率视频帧中的像素。不同的类型的低分辨率视频帧可以通过使用不同的低分辨率采样点阵404_1-4根据高分辨率视频信号的高分辨率帧来形成，其中低分辨率采样点阵具有比高分辨率视频帧的采样点阵低的采样密度。与从SVC和SHVC已知的下采样操作相比，其中下采样的视频信号的视频帧的新像素值根据原始高分辨率视频信号的视频帧中的像素值的集合来计算，空间子采样操作不改变像素值。空间子采样仅从形成图像帧的像素值的集合选择像素值的子集。空间子采样方案允许原始视频信号或者其低分辨率版本的非常高效的重建。此外，分辨率分量的空间子采样参阅帧允许使用超分辨率技术用于构建高分辨率视频帧。注意，在图4A中示出的采样点阵应当被认为是可以被使用的大量的不同的采样点阵的示例。

由这样的低分辨率采样点阵所产生的视频帧表示分辨率分量的视频帧。不同的分辨率分量可以通过根据不同的采样点阵对高分辨率视频帧子采样来形成。可以选择采样点阵的组，使得根据该采样点阵的组所生成的分辨率分量可以被用于重建原始高分辨率视频信号即，重建与原始高分辨率视频信号相同或者几乎相同的视频信号。此外，可以选择一个或多个采样点阵，使得根据这些一个或多个采样点阵所生成的分辨率分量可以被用于构建高分辨率视频信号的低分辨率版本。

在一些实施例中，用于对高分辨率视频帧子采样的采样点阵可以具有相同的采样密度。在这样的采样点阵上生成的分辨率分量具有相同的分辨率。在其他实施例中，采样点阵（中的一些）可以具有不同的采样密度。在该情况下，分辨率分量（中的一些）具有不同的分辨率。另外，如在图4A中示出的那样，在一些实施例中，采样点阵可以具有重叠（即，一个或多个共同采样点）。在另一实施例中，采样点阵之间不存在重叠。

因此，分辨率分量的组可以根据空间子采样来生成，如在图4A中所描绘的那样。组中的所有分辨率分量可以被用于重建原始高分辨率视频信号，并且所述组中的分辨率分量中的一些可以被用于构建高分辨率视频信号的一个或多个低分辨率版本。

图4B描绘了用于根据高分辨率视频帧的像素402生成较低的分辨率的多个视频帧（在示例中为四个）的多相子采样方案。在多相子采样中，4x4像素矩阵可以被子采样为四个2x2分辨率分量403_1-4，其中在4x4像素矩阵中，每个分辨率分量表示空间移位的2x2像素矩阵406_1-4。四个分辨率分量形成可以由解码器用于重建原始（高分辨率）视频信号的分辨率分量的组（分辨率分量组）。

高分辨率视频帧可以具有YUV类型颜色格式，例如YUV 4:2:0颜色格式、1920x1088分辨率、24帧每秒、240帧。使该高分辨率视频帧经受具有具有因子2（应用于Y、U和V）的多相空间子样本过程将导致YUV 4:2:0颜色格式、960x544像素分辨率和24 fps的帧速率的四个低分辨率视频帧。

多相子采样方案具有以下优点：其允许在编码器和解码器侧二者处的非常快速的操作，其中像素值未被改变。然而，如果原始信号包含大于子采样频率两倍的频率，则其可以造成归因于空间混叠效应的视觉赝像。在该情况下，四个低分辨率分量中的任何分辨率分量可能不适于渲染。为了减轻该效应，可以应用后滤波操作以增强分辨率分量的输出帧并且尽可能多地消除这些视觉赝像。

例如，在实施例中，多相子采样可以在高分辨率帧的低通滤波之后被执行。这样，归因于混叠效应的视觉赝像可以被消除。当低通滤波时，需要后处理步骤以在渲染之前恢复原始图像。否则充其量经重建的信号是输入信号的低通版本。在无损编码中，恢复低通滤波器以恢复HR图像对于诸如逆维纳滤波器的一些现存的技术是可行的。

在有损编码中，低通滤波可能造成一些困难（特别地当经重建的信号已经被压缩严重地损坏时的低比特率编码中）。这样的后处理恢复方案可以仅提供已经由低通滤波器移除的高频率的估计，但是不真正恢复原始信号。即，它们未逐像素反转降级。

在另外的实施例中，混合低通滤波方案可以与多相子采样组合。例如，如果低分辨率分量中的至少一个应当足以以其自身的分辨率渲染，则一个分辨率分量可以基于高分辨率信号的下采样低通滤波版本来生成，而其他（三个）低分辨率分量可以基于未滤波的高分辨率信号的多相子采样来生成。

虽然参考多相子采样描述了空间分量的生成，但是也可以使用其他类型的空间子采样方案。这样的方案的示例包括五点形和六边形子采样或其衍生物。基于这样的空间子采样方案，分辨率分量可以被形成并且被用于重建高分辨率视频。

从具有N个像素（矩阵Nx1）的高分辨率帧x，K个低分辨率帧

的集合，每个具有M个像素（矩阵Mx1），M<N。对于每个第k个低分辨率帧

而言，HR帧的滤波通过矩阵H（维度NxN）来描述，并且子采样通过矩阵A（维度MxN）来定义。因此，生成模型是：

此处，可以假定相同前置滤波被应用于HR帧，如以上所描述的那样。在另一实施例中，每个第k个分解可以具有矩阵H。在又一实施例中，一个分辨率分量可以具有矩阵H _LP（其是HR帧的低通滤波器）（因此避免了视觉赝像，如

效应），而其他的分辨率分量具有相同矩阵H _I（其是单位矩阵），这意味着HR帧未被滤波并且执行了纯多相子采样。

基于以上所描述的生成模型，许多重建方法可以被应用以使用如例如由Sung Cheol Park等在以上所提到的文章中所描述的已知超分辨率技术来产生

（HR帧x的估计）。

在实施例中，使用如在图4中所描述的多相子采样操作来分解原始高分辨率信号。在该情况下，重新组合子采样信号的过程比在更一般的情况中更简单。重新组合过程归结为根据低分辨率分量在原始高分辨率信号中具有的位置将每个低分辨率的分辨率分量映射到重新组合的图像上。该重新组合过程包括利用零填充对分辨率分量中的每个上采样并且空间地移位矩阵元素以匹配原始视频信号的视频帧中的分辨率分量的位置。

图5描绘了包括四个低分辨率分量502_1-4的组的多相子采样信号的示例。过程可以以上采样过程504_1-4开始，其中2x2像素的块可以被上采样为4x4像素的块。此处，左上、右上、左下或者右下角可以被选择为参考。可以使用零填充操作506_1-4以便将零添加到在上采样过程期间被创建的像素位置，因此形成4x4上采样零添加块508_1-4。此后，可以使用添加过程510以便将块组合为（原始）重新组合的高分辨率信号512。过程可以根据存储器使用来优化。例如，可以在第一上采样矩阵中复制分辨率分量像素。

在实施例中，与MPEG-4第10部分AVC/H.264和HEVC/H.265一致，NAL单元的概念可以被用于向解码器发信号通知解码器信息，例如分辨率分量的组成。存在两个主要类别的NAL单元：视频编码层（VCL）NAL单元和非视频编码层（非VCL）NAL单元。在HEVC标准中，非VCLNAL单元之一被称为序列参数集（SPS），所述序列参数集定义包含语法元素的语法结构，所述语法元素应用于如由在由在每个切片段头部中找到的语法元素所引用的PPS中找到的语法元素的内容确定的零个或多个整个CVS，其中CVS代表编码的视频序列。SPS NAL单元中的参数的示例是chroma_format_idc，其定义了色度子采样方案或pic_width_in_luma_samples和pic_height_in_luma_samples，其分别给定了亮度样本的单元中的解码图像的宽度和高度。在下面将参考图6A-6C更详细地描述包括解码器信息和解码器信息中发信号通知的分辨率分量方案的NAL单元的示例。

图6A描绘了根据本发明的各种实施例的NAL单元的示例。特别地，图6A描绘了三个非VCL NAL单元602_1-3和包括用于发信号通知关于比特流中的分辨率分量的信息的解码器信息的VCL NAL单元604。在实施例中，非VCL NAL单元可以包括用于发信号通知关于在比特流中使用的分辨率分量方案的信息的信息。由于分辨率分量子采样适用于多个帧，因此在实施例中，指示比特流中的分辨率分量的格式的参数610（resolution_component_format_ idc）可以以以下方式在所谓的SPS NAL单元602₂（例如，如在MPEG-4第10部分AVC/H.264中或者在HEVC/H.265中所使用的）中发信号通知：

依赖于该参数的值，可以发信号通知分辨率分量格式。表1提供了用于resolution_component_format_idc的可能值的非详尽列表：

表1-分辨率分量格式和它们的对应的放大因子。

在实施例中，经重建的高分辨率输出视频帧的分辨率可以从由在它们的相关联的SPS NAL单元（VPS NAL单元602₁）中的pic_width_in_luma_samples和pic_height_in_luma_samples 606发信号通知的每个分辨率分量的空间分辨率导出如下：

在该实施例中，可以假定所有分辨率分量共享相同的SPS NAL单元或至少在它们的相应的SPS NAL单元中具有相同的pic_width_in_luma_samples和pic_height_in_luma_samples的值，使得HRWidth和HRHeigth值是不模糊的。

在实施例中，可以根据与众所周知的YUV颜色编码格式类似的格式语法向解码器发信号通知比特流中的空间分量，其包括关于视频帧中的各个分量的信息。因此，针对分辨率分量格式的所提议的表示法是w:a:b，其中：

- 宽度参数“w”表示比特流的最高分辨率输出帧的2像素高度概念区域的像素中的宽度；

- 对于给定的分辨率分量而言，第一行分辨率分量参数“a”表示属于该w宽像素区域的第一行中的该分辨率分量的样本的数量；

- 对于给定的分辨率分量而言，第二行分辨率分量参数“b”表示属于该w宽像素区域的第二行中的该分辨率分量的样本的数量。

图6B图示了以上所描述的分辨率分量格式惯例。点的阵列602表示高分辨率视频帧的4x4像素块。该阵列可以包括多个分辨率分量，例如，如在604中所描绘的空间上排序的四个不同的分辨率分量605_1-4。然后，与色度子采样方案类似，4x2像素块606在以下意义上相对于每行中的其分辨率分量来分析：第一行分辨率分量参数“a”表示属于分辨率分量的4x2像素块的第一行中的像素的数量，并且第二行分辨率分量参数“b”表示属于分辨率分量的4x2像素块的第二行中的像素的数量。这样，可以高效地向解码器发信号通知不同的分辨率分量方案，其中分辨率分量格式与众所周知的颜色分量格式一致。

图6C描绘了可以在本公开中所描述的实施例中使用的分辨率分量格式的不同的示例。此处，4:2:0格式对应于多相子采样方案，其中分辨率分量的一个样本可以贡献输出帧的多达4个像素（1至4，取决于应用的下采样操作，例如多相是1）。类似地，4:4:4格式对应于其中分辨率分量和输出帧具有相同分辨率的情况。在该情况下，不存在空间子采样。如果比特流包含具有4:4:4格式的多个分辨率分量，则这与SNR可缩放性类似，其中经重建的输出帧受益于更好的PSNR而不是更高的分辨率。对于每个分辨率分量格式，预期给定数量的分辨率分量传送与其中不存在空间子采样（4:4:4）的情况中相同的全视频信号。

表2-每个格式的分辨率分量的预期数量。

预期数量的分辨率分量可以形成可以被用于重建原始（高分辨率）视频信号的分辨率分量的组。由比特流表示的视频源是以解码次序的一系列图像，其中源图像和解码图像可以各自包括一个分辨率分量阵列，其中每个分辨率分量阵列可以包括一个或多个颜色样本阵列：Luma （Y）仅（单色）；Luma和两个色度（YCbCr或YCgCo）；绿、蓝和红（GBR，还被称为RGB）；或者表示其他未指定单色或者三刺激颜色采样（例如YZX，还被称为XYZ）的阵列。

根据由参数resolution_component_format_idc指示的分辨率分量格式，可以导出每个分辨率分量的空间分辨率。可以在SPS NAL单元中向解码器发信号通知该分辨率分量格式，如在图6A中所描绘的那样。

在另外的实施例中，每个分辨率分量可以具有其自身的空间分辨率，其中多个SPSNAL单元被定义为具有针对它们中的每个的不同空间分辨率，即，不同的pic_width_in_luma_samples和pic_height_in_luma_samples。在该实施例中，可以在SPS NAL单元602₂中发信号通知分辨率分量格式。在另一实施例中，可以使用指示HR帧的输出分辨率的参数，例如，在它们的共同视频参数集（VPS）NAL单元602₁中。

为了产生HR帧，解码器必须执行分辨率分量视频帧的像素与HR输出视频帧的像素之间的映射。用于将低分辨率分量的视频帧组合为高分辨率视频帧的解码器过程可以包括以下步骤：

1）将每个低分辨率分量视频帧放大到HR视频帧的分辨率；

2）数学上组合来自放大的低分辨率分量视频帧的像素值以确定HR视频帧的每个像素值。

在实施例中，可以使用多相子采样。在该情况下，对于放大步骤（1）而言，VPS NAL单元中的专用参数可以发信号通知需要被执行的放大操作。VPS NAL单元中的标志608可以指示采样是否是多相子采样：

该标志可以向解码器发信号通知分辨率分量的LR视频帧需要被

上采样到HR帧的分辨率。已知样本值之间的缺失的样本值可以被设置为零（填充）。HR视频帧的分辨率可以由以上在表1中所描述的resolution_component_format_idc的值和对应的放大因子给出。在实施例中，可以在NAL单元（例如，SPS NAL单元）中向解码器发信号通知resolution_component_format_idc和对应的放大因子。

在另一实施例中，多相子采样可以是分辨率分量格式方案所固有的。在该情况下，当向解码器发信号通知resolution_component_format_idc时，其假定使用多相子采样。

在另一实施例中，包括切片段头部的NAL单元604的头部可以包括指示与其相关联的分辨率分量的参数612（resolution_component_id），即：

此处，resolution_component_id值的范围可以从0到

maximum_number_of_resolution_components_minus_1，如具有多相子采样的每个分辨率分量格式所定义的那样（参见表2）。分辨率分量的编号遵循光栅扫描次序。如在图4中所描绘的，第一分辨率分量403₁“A”可以由分辨率分量标识符id值0来标识，第二分辨率分量可以由分辨率分量标识符id值1 403₂“B”来标识，第三分辨率分量可以由分辨率分量标识符id值2 403₃“C”来标识并且第四分辨率分量可以由分辨率分量标识符id值3 403₄“D”来标识。

此外，为了组合来自放大的低分辨率分量视频帧的像素值（以上描述的步骤2），在比特流中发信号通知所选择的多相子采样方案确定LP像素位于高分辨率帧内的何处。在实施例中，来自分辨率分量的像素可以以光栅扫描次序来组合。例如，在具有分辨率格式4:2:0的四个分辨率分量的情况下，可以根据下表向解码器发信号通知光栅扫描次序：

表3：用于具有分辨率格式4:2:0的四个分辨率分量方案的光栅扫描次序。

在另一实施例中，未预定义或者未完全地预定义空间子采样方案。在该情况下，需要向解码器发信号通知放大滤波器、来自LR视频帧的像素的位置以及

用于计算HR视频帧中的像素的算法。以一般的方式，可以例如根据每个分辨率分量的矢量在解码器信息中发信号通知该信息。在实施例中，该信息可以利用子像素准确度来定义，以像素为单位指示分辨率分量相对于原点（例如，左上原点（0,0））的位移，以及用于基于低分辨率分量的视频帧的重新组合计算来自HR帧的每个像素值的算法。在该情况下，重新组合过程可以是如在本公开中先前所描述的超分辨率图像重建技术。

在另外的实施例中，在本公开中所描述的分辨率分量方案可以以当前视频编码标准（诸如例如HEVC）实现。图7描绘了根据本发明的实施例的形成包括分辨率分量的HEVC视频信号的过程。特别地，低分辨率视频帧706（在该特定示例中为四个低分辨率视频帧）可以通过对原始视频信号702的高分辨率帧进行空间子采样704来创建。在实施例中，分辨率分量的形成可以被认为是在新视频信号710的形成中的预处理步骤，所述新视频信号710被馈送到HEVC编码器的输入。新视频输入信号的视频帧可以通过对分辨率分量的视频帧706进行时间复用708来形成。新视频信号具有是原始视频的帧速率的四倍的帧速率，并且新视频信号具有是原始视频的空间分辨率除以四的空间分辨率。这样，对解码速度的要求保持相同。

尽管图7中的过程的实现细节在HEVC视频编码标准的上下文中描述，但是认为的是过程可以以任何视频编码标准来实现。

新输入视频信号710被馈送到视频编码器的输入。视频信号中的视频参数反映新输入视频信号而不是原始视频信号的特性。

例如，在图7中，空间分辨率除以四并且帧速率乘以四。如果解码器必须以原始帧速率渲染视频的HR帧，则帧速率乘以4对需要的解码速度有影响。此外，编码器需要被配置使得第一分辨率分量rc1的视频帧仅针对预测依赖于第一分辨率分量的视频帧，以便构成第一分辨率分量rc1的独立地可解码的比特流。其他分辨率分量（rc2,rc3,rc4）可以依赖于第一分辨率分量的视频帧并且可能也依赖于其他分辨率分量的视频帧。

比特流可以包括解码器信息，以确保新视频信号的正确解码和渲染。即，如果期望渲染仅一个分辨率分量（例如，第一分辨率分量），则每四个帧中的仅一个帧需要解码和以发信号通知的帧速率除以四来渲染。如果预期渲染视频的高分辨率版本，则四个分辨率分量需要被解码，缓冲的输出帧需要在高分辨率视频帧中重新组合并且以帧速率除以4来渲染，以便移回到初始帧速率。

在基于NAL单元的视频编码标准（例如，MPEG-4第10部分AVC/H.264或者HEVC/H.265视频编码标准）的上下文内，可以在所谓的SEI消息中传输解码器信息。在HEVC中，可以通过修改帧封装布置SEI消息来传送解码器信息。所述标准将类型5定义为帧封装布置，其包括具有交替的第一帧和第二帧的时间交错布置的顺序解码帧。

因此，以相同的方式，frame_packing_arrangement_type的新类型（类型6）可以被定义用于向解码器发信号通知顺序地解码的帧具有交替的第一、第二、第三和第四帧的时间交错布置：

此外，新类型可以被添加到content_interpretation_type：

此处，content_interpretation_type的类型3向解码器发信号通知对于每个类型的帧封装布置方案（除类型6之外），存在被称为帧0和帧1的两个构成帧，并且对于类型6帧封装布置方案，帧2和3存在，其中以上在表3中以上提供了光栅扫描次序编号。

此外，等于1的current_frame_is_frame0_flag必须被放在构成帧0上，使得解码器可以通过从该标记计数来导出当前解码帧属于哪个分辨率分量。替代地，可以结合类型6frame_packing_arrangement_type来指定current_frame_is_frame1_flag、current_frame_is_frame2_flag，以便向解码器发信号通知存在于当前帧中的实际的分辨率分量。当所有以上所提到的标志是假时，其意味着实际帧是构成帧3。

帧封装布置SEI消息的语法被修改以考虑新帧封装布置类型。图8描绘了根据本发明的实施例的用于发信号通知解码器信息的SEI消息。为了使能这样的比特流的灵活的传递，有利的是使能选择一个分辨率分量用于LR渲染。图9示意性地描绘了根据本发明的实施例的用于存储分辨率分量的文件格式。特别地，图9示意性地描绘了在该情况下四个分辨率分量rc1-rc4的一系列编码视频帧904_1-5中的原始视频信号的帧902的编码以及合适的传输容器（例如，ISOBMFF文件906）的分离的轨道908_1-4中的每个分辨率分量rc1-rc4的存储。在实施例中，图9中的编码过程可以是如参考图7所描述的HEVC编码过程，其中形成编码HEVC视频信号，所述编码HEVC视频信号包括低分辨率分量和用于通知HEVC解码器关于HEVC兼容比特流中的分辨率分量的解码器信息。

在这样的文件中，基础轨道910可以包含包括指向分辨率分量中的每个的VCL NAL单元的指针的提取器912_1-5，使得原始比特流可以重新构成。在实施例中，为了减少轨道的数量，LR0轨道908₁可以被并入基础轨道中，因为LR0轨道包含用于渲染总是需要的LR帧的数据，而不管预期的输出分辨率是什么。

基础轨道可以包括非VCL NAL单元，包括PPS、SPS和VPS NAL单元。在另外的实施例中，如果一些非VCL NAL单元具体地与分辨率分量的VCL NAL单元相关联，则将它们存储在它们相应的轨道中是有利的。这样，可以避免用解码特定轨道不需要的数据污染基础轨道。这样的比特流的传输不限于ISOBMFF标准，而是可以以类似的方式在诸如MPEG-2 TS之类的其他容器中容易地实现。

假定ISOBMFF变型被用于传输比特流，ISO/IEC 23009-1 MPEG DASH标准的现有技术媒体呈现描述（MPD）可以被用于描述清单文件中的ISOBMFF文件中的轨道结构，使得DASH客户端设备可以从可用的分辨率分量选择特定分辨率分量用于渲染。在实施例中，在每个分辨率分量独立地可解码的情况下，分辨率分量可以被定义为清单文件中的分离的表示元素（每个轨道一个）。替代地，在另一实施例中，当分辨率分量之间的编码依赖性的存在使一个请求中的同时取回更高效时，可以在单个表示中提供分辨率分量（或其一部分）。其他分辨率分量的单个表示封装伴随以下其他益处发生：可以使用该表示的宽度和高度属性向DASH客户端发信号通知HR分辨率，因此使得DASH客户端能够为预期的分辨率渲染选择适当的表示。

在另外的实施例中，分辨率分量方案的实现可以使用HEVC/H.265视频编码标准的HEVC瓦片（tile）特征。图10描绘了根据本发明的另一实施例的形成包括分辨率分量的HEVC视频信号的过程。在该示例中，在四个分辨率分量的该特定示例视频帧1006中，可以通过对原始视频信号1002的高分辨率帧子采样1004来创建。被输入到支持平铺特征的HEVC编码器的新视频信号的平铺视频帧可以通过空间复用（例如，在一个视频帧中组合）1008分辨率分量rc1-rc4的视频帧1006来形成，其中分辨率分量的视频帧的大小与由HEVC编码器生成的平铺视频帧的瓦片的大小匹配。新视频信号具有等于原始视频的帧速率的帧速率并且空间分辨率也等于原始视频。

新输入视频信号1010被馈送到HEVC视频编码器，其中视频信号包括指示新输入视频的特性（分辨率、帧速率等）的信息（元数据）。另外，HEVC编码器被配置使得HEVC输出比特流包括与四个LR分辨率分量的视频帧一致的HEVC瓦片（rc1帧、rc2帧、rc3帧、rc4帧）。

在包括HEVC瓦片的HEVC平铺视频帧的情况下，根据定义，在相同视频帧的HEVC瓦片内不存在编码依赖性，因为编码器被配置使得帧内预测不跨越瓦片边界。然而，还需要禁用其他种类的空间依赖性，诸如环路内滤波。另外，编码器需要被配置使得第一分辨率分量的视频帧仅依赖于第一分辨率分量的其他视频帧用于帧间预测，以便构成包括仅第一分辨率分量的视频帧的比特流的独立地可解码的低分辨率版本。为此目的，HEVC编码器被配置使得：

- 当渲染最终输出帧时禁用环路内滤波；

- 运动矢量（帧间预测）被约束到先前视频帧和下一视频帧的LR0分量瓦片。

在实施例中，没有运动矢量约束可以被应用于第一分辨率分量rc1、第二分辨率分量rc2和第三分辨率分量rc3瓦片以便增加压缩效率，因此在它们之间引入了时间编码依赖性。

在另一实施例中，分辨率分量rc1、rc2、rc3的媒体数据的编码可以依赖于第一分辨率分量的视频瓦片的媒体数据，因此仅引入对第一分辨率分量的瓦片的时间编码依赖性。最终，重要的是，可以独立地解码第一分辨率分量的瓦片的媒体数据。

比特流包括解码器信息以便确保分辨率分量的正确的解码和渲染。可以以与参考图7和8所描述的类似的方式在比特流中发信号通知解码器信息。即，如果预期视频的低分辨率版本，则仅需要解码和渲染左上瓦片（表示第一分辨率分量的独立编码媒体数据）。如果预期视频的高分辨率，则必须解码4个分辨率分量（即，必须解码4个瓦片（整个帧）），并且输出帧必须被重新组织以产生高分辨率表示的视频帧。

在基于NAL单元的视频编码标准（即，MPEG-4第10部分AVC/H.264或HEVC/H.265视频编码标准）的上下文中，解码器信息可以在SEI消息中被传输到解码器。特别地，在HEVC中，可以在SEI消息中向解码器发信号通知解码器信息。

HEVC标准定义类型将类型5定义为帧封装布置，其包括具有交替的第一帧和第二帧的时间交错布置的顺序解码帧。

因此，以相同的方式，frame_packing_arrangement_type的新类型（类型6）可以被定义用于向解码器发信号通知每个解码帧包含（在该示例中，四个）分辨率分量的平铺布置：

另外，定义新类型content_interpretation_type以便向解码器发信号通知对于每个指定帧封装布置方案（除6之外），存在被称为帧0和帧1的两个

构成帧。对于类型6而言，存在帧2和3。

此处，在表3中描绘了光栅扫描次序编号。在该实施例中，current_frame_is_frame0_flag是不相关的，因为四个构成帧总是存在于每个解码帧中。为了一致性，标志可以被设置为1，方案通过设计强制执行（mandate）帧0至3存在于每个帧中，因此不需要添加另外的信息。

因此，帧封装布置SEI消息的语法可以被修改为考虑新帧封装布置类型。图11描绘了根据本发明的实施例的帧封装布置SEI消息的经修改的语法。

为了使能灵活地传递这样的比特流，有利的是使能选择一个分辨率分量用于解码和渲染视频信号的低分辨率版本。为此目的，一个方案是将包含在HEVC瓦片中的每个分辨率分量存储在ISOBMFF文件的分离的轨道中，如在图15中所描绘的那样。请注意，这样的HEVC瓦片轨道存储是从MPEG标准化活动已知的，尽管尚未公布。

为了使能灵活地传递这样的比特流，有利的是使能选择一个分辨率分量用于LR渲染。图12示意性地描绘了将原始视频信号的视频帧1202编码为平铺视频帧1204_1-5的编码序列，其中低分辨率视频帧的大小与平铺视频帧的瓦片的大小匹配，并且低分辨率分量被存储在合适的传输容器（例如，ISOBMFF文件1206）的分离的轨道1208_1-4中。

在这样的文件中，基础轨道1210可以包含提取器1212_1-5，所述提取器1212_1-5包括指向分辨率分量中的每个的VCL NAL单元的指针，使得原始比特流可以被重新创建。在实施例中，为了减少轨道的数量，LR0轨道1208₁可以被并入基础轨道中，因为LR0轨道包含用于渲染总是需要的LR帧的数据，而不管预期的输出分辨率。

基础轨道可以包括非VCL NAL单元，包括PPS、SPS和VPS NAL单元。在另外的实施例中，如果一些非VCL NAL单元具体地与分辨率分量的VCL NAL单元相关联，则将它们存储在它们相应的轨道中是有利的。这样，可以避免用解码特定轨道不需要的数据污染基础轨道。这样的比特流的传输不限于ISOBMFF标准，而是可以以类似方式在诸如MPEG-2 TS之类的其他容器中容易地实现。

假定ISOBMFF变型被用于传输比特流，ISO/IEC 23009-1 MPEG DASH标准的现有技术媒体呈现描述（MPD）可以被用于描述清单文件中的ISOBMFF文件中的轨道结构，使得DASH客户端设备可以从可用的分辨率分量选择特定分辨率分量用于渲染。在实施例中，在每个分辨率分量被独立地可解码的情况下，分辨率分量可以被定义为清单文件中的分离的呈现元素（每个轨道一个）。

替代地，在另一实施例中，当分辨率分量之间的编码依赖性的存在使一个请求中的同时取回更高效时，可以在单个表示元素中提供分辨率分量（或其一部分）。MPD中的其他分辨率分量的单个表示定义提供以下益处：可以使用表示元素的宽度和高度属性向DASH客户端发信号通知可以根据分辨率分量渲染的高分辨率视频信号的格式，因此使得DASH客户端能够为预期的分辨率渲染选择适当的表示。

在实施例中，分别根据原始视频格式来配置视频编码器和解码器的输入和输出，其中根据某个格式（例如，YUV420）来存储颜色分量。在本公开中，将常规的视频信号分解为低分辨率分辨率分量在编码阶段中发生并且在解码阶段中恢复。

图13A描述了根据本发明的实施例的使用分辨率分量格式作为比特流中的内部格式的编码系统。此处，R1和R2表示两个分辨率分量。在实施例中，可以定义原始视频格式（在适当的SDO（例如，ISPO MPEG、ITU或者SMTPE）中）除颜色平面之外还包括分辨率分量。在这样的格式中，源（照相机、编辑软件）将以这样的方式产生原始视频信号，从而避免在编码器中发生空间子采样操作。基于给定的格式定义，渲染设备将执行适当的操作（上采样和重新组成）以输出经重建的视频信号。

图13B描绘了根据本发明的实施例的使用分辨率分量格式作为比特流中的内部格式（其也是原始视频源的原始格式）的编码系统。该方法是更加基本的并且将需要与在视频信号的较低级别处有效的许多SDO（例如，ITU、SMTPE等）协同作用，这影响了整个视频链产业，即照相机、贡献信号、工作室编辑、广播、传输、消费、可能显示设备。该方法的主要益处在于，分辨率分量中的分解将仅发生一次（生产）而不是每次执行编码时发生。

本公开中的实施例不限于视频编码并且还可以应用于静止图像编码。在该上下文中，主要益处之一将是逐步可下载的图像。即，设备取回并且首先显示分辨率分量的视频帧，同时其下载其他分辨率分量的媒体数据。当所有分辨率分量是可用的并且被解码时，设备显示HR帧。当处理图像时，缩略图的生成也将是另一类型的应用。通过简单地滤除比特流的分辨率分量中的三个，得到的比特流将然后包含适于照原样渲染的LR帧，因此提供了HR帧的缩略图。

图14是图示了可以在如本公开中所描述的中使用的示例性数据处理系统的框图。数据处理系统1400可以包括至少一个处理器1402，所述至少一个处理器1402通过系统总线1806耦合到存储器元件1404。因此，数据处理系统可以将程序代码存储在存储器元件1404内。此外，处理器1402可以执行经由系统总线1406从存储器元件1404访问的程序代码。在一个方面中，数据处理系统可以被实现为适用于存储和/或执行程序代码的计算机。然而，应当理解，数据处理系统1400可以以包括处理器和存储器的能够执行在该说明书内描述的功能的任何系统的形式来实现。

存储器元件1404可以包括一个或多个物理存储器设备，诸如例如本地存储器1408和一个或多个大容量存储设备1410。本地存储器可以指代随机存取存储器或者通常在程序代码的实际执行期间使用的（一个或多个）其他非持久存储器设备。大容量存储设备可以被实现为硬盘驱动器或者其他持久数据存储设备。处理系统1400还可以包括一个或多个高速缓存存储器（未示出），所述一个或多个高速缓存存储器提供至少一些程序代码的暂时存储，以便减少在执行期间必须从大容量存储设备1410取回程序代码的次数。

描绘为输入设备1412和输出设备1414的输入/输出（I/O）设备可选地可以被耦合到数据处理系统。输入设备的示例可以包括但不限于例如键盘、指示设备（诸如鼠标）或者诸如此类。输出设备的示例可以包括但不限于例如监视器或者显示器、扬声器或者诸如此类。输入设备和/或输出设备可以直接地或者通过中间I/O控制器被耦合到数据处理系统。网络适配器1416还可以被耦合到数据处理系统以使得其能够通过中间私有或公共网络变得耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：数据接收器，其用于接收由所述系统、设备和/或网络传输到所述数据的数据；以及数据发送器，其用于将数据传输到所述系统、设备和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统1450一起使用的不同的类型的网络适配器的示例。

如在图14中描绘的那样，存储器元件1404可以存储应用1418。应当理解，数据处理系统1400可以进一步执行可以促进应用的执行的操作系统（未示出）。被以可执行的程序代码的形式实现的应用可以由数据处理系统1400（例如，由处理器1402）执行。响应于执行应用，数据处理系统可以被配置成执行在本文中进一步详细地描述的一个或多个操作。

在一个方面中，例如，数据处理系统1400可以表示客户端数据处理系统。在该情况下，应用1418可以表示客户端应用，所述客户端应用当被执行时，将数据处理系统1400配置成执行在本文中参考“客户端”所描述的各种功能。客户端的示例可以包括但不限于个人计算机、便携式计算机、移动电话或者诸如此类。

在另一方面中，数据处理系统可以表示服务器。例如，数据处理系统可以表示（HTTP）服务器，在该情况下，应用1418当被执行时可以将数据处理系统配置成执行（HTTP）服务器操作。在另一方面中，数据处理系统可以表示如在本说明书中指代的模块、单元或者功能。

在本文中使用的术语仅用于描述特定实施例的目的并且不旨在是对本发明的限制。如在本文中使用的那样，除非上下文另外清楚地指示，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解，当在该说明书中使用时，术语“包括”和/或“包括了”指定陈述的特征、整体、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组的存在或者添加。

在以下的权利要求中的所有构件或者步骤加功能元件的对应的结构、材料、动作和等同物旨在包括用于与如具体地要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或者动作。本发明的描述已经被提供用于说明和描述的目的，但是不旨在是穷尽的或者限于以公开的形式的本发明。在不脱离本发明的范围和精神的情况下，许多修改和变型对本领域普通技术人员而言将是显而易见的。实施例被选择和描述以便最好地解释本发明的原理和实际的应用，并且使得本领域的其他的普通技术人员能够针对具有如适于考虑的特定使用的各种修改的各种实施例来理解本发明。

Claims

1.一种由解码器设备形成视频信号的方法，包括：

接收比特流和解码器信息，所述比特流包括解码器信息，解码器信息向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在，用于形成视频信号，分辨率分量包括编码的媒体数据并且表示具有第一分辨率的第一视频信号的空间子采样版本，所述空间子采样版本是多相子采样版本，所述一个或多个分辨率分量是分辨率分量组的部分，所述组包括多个分辨率分量，根据所述多个分辨率分量，第一视频信号是可重建的；

解码器设备解析比特流并且形成视频信号，所述形成包括根据解码器信息将所述一个或多个分辨率分量解码为视频帧，其中：

如果解码器信息发信号通知比特流仅包括所述组中的一个第一分辨率分量，则所述形成包括：将表示第一分辨率分量的比特流的解析部分解码为表示第二分辨率的第二视频信号的视频帧，第二分辨率低于第一分辨率；以及，

如果解码器信息发信号通知比特流包括所述组中的第一分辨率分量和一个或多个另外的分辨率分量，则所述形成包括：将表示第一分辨率分量和一个或多个另外的分辨率分量的比特流的解析部分解码为视频帧；以及，如果解码器信息发信号通知比特流包括所述组中的所有分辨率分量，则根据视频帧重建第一视频信号；或者，否则根据视频帧构建具有第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率。

2.根据权利要求1所述的方法，其中分辨率分量中的至少两个或更多个具有相同的分辨率；和/或，所述一个或多个另外的分辨率分量具有对第一分辨率分量的解码依赖性。

3.根据权利要求1或2所述的方法，其中第一分辨率分量的编码媒体数据是独立可解码的，并且其中所述一个或多个另外的分辨率分量的编码媒体数据仅具有对第一分辨率分量的编码依赖性。

4.根据权利要求1或2所述的方法，其中解码器信息包括以下各项中的至少一项：

至少一个参数，其指示第一视频信号、第二视频信号或者第三视频信号的分辨率；和/或，

一个或多个分辨率分量标识符，其标识比特流中的所述一个或多个分辨率分量；

标识用于形成第二信号的分辨率分量的组中的分辨率分量和/或用于形成第三视频信号的分辨率分量的组中的分辨率分量的信息；和/或，

关于每个分辨率分量的分辨率的信息；

指示用于根据第一分辨率分量和另外的分辨率分量形成第一视频信号或者第三视频信号的超分辨率操作的参数；以及指示的超分辨率操作所需要的信息。

5.根据权利要求1或2所述的方法，其中比特流包括NAL单元，解码器信息被包括在一个或多个非VCL NAL单元中；和/或，所述一个或多个分辨率分量被包括在一个或多个VCL NAL单元中。

6.根据权利要求5所述的方法，其中NAL单元包括以下各项中的至少一项：

非VCL NAL单元，其为SPS NAL单元，包括指示分辨率分量格式的参数resolution_component_format_idc；

非VCL NAL单元，其为VPS NAL单元，包括指示第一视频信号的视频帧的分辨率的一个或多个参数pic_width_in_luma_samples和pic_height_in_luma_samples；

非VCL NAL单元，其为VPS NAL单元，包括指示用于生成所述一个或多个分辨率分量的空间子采样技术的参数或者指示根据多相子采样技术确定所述一个或多个分辨率分量的标志；

VCL NAL单元，其为切片段，VCL NAL单元包括头部，所述头部包括用于标识分辨率分量的分辨率分量标识符。

7.根据权利要求1或2所述的方法，其中分辨率分量的组中的所述一个或多个分辨率分量是第一视频信号的多相子采样版本，并且其中第一视频信号或者第三视频信号的所述形成包括：

将视频帧上采样到第一视频信号或者第三视频信号的视频帧的分辨率格式；

将上采样的视频帧零填充；

根据上采样的零填充视频帧在第一视频信号或者第三视频信号的视频帧中的位置，对上采样的零填充视频帧移位；以及，

将上采样的零填充视频帧添加到第一视频信号或者第三视频信号的视频帧。

8.根据权利要求1或2所述的方法，其中比特流是HEVC比特流，比特流包括用于向HEVC解码器发信号通知分辨率分量的视频帧被时间上复用为视频帧的时间复用次序的解码器信息。

9.根据权利要求1或2所述的方法，其中比特流是HEVC比特流，解码器信息向HEVC解码器发信号通知解码的视频帧包括分辨率分量的平铺布置。

10.根据权利要求1或2所述的方法，其中在一个或多个NAL单元中向HEVC解码器发信号通知分辨率分量的视频帧的时间复用次序或者分辨率分量方案的平铺布置。

11.根据权利要求1或2所述的方法，其中重建第一视频信号或者第三视频信号包括：

使用超分辨率视频图像重建技术用于生成第一视频信号或者第三视频信号的视频帧。

12.根据权利要求8所述的方法，其中分辨率分量的视频帧以交错的次序来布置。

13.根据权利要求10所述的方法，其中，所述一个或多个NAL单元是一个或多个SEI消息。

14.一种由编码器设备形成比特流的方法，包括：

通过对第一分辨率的第一视频信号的视频帧空间子采样，形成分辨率分量的组，所述空间子采样是多相子采样，其中根据分辨率分量的组的视频帧，第一视频信号是可重建的；

从分辨率分量的组选择一个或多个分辨率分量，并且编码器设备根据一个或多个选择的分辨率分量形成比特流和解码器信息；比特流包括解码器信息，其中：

所述编码器设备编码分辨率分量的组中的第一分辨率分量，第一分辨率分量具有第二分辨率；以及，生成解码器信息，用于解码器将一个分辨率分量解码为具有所述第二分辨率的第二视频信号，第二分辨率低于第一分辨率；或者，

如果第一分辨率分量和一个或多个另外的分辨率分量被选择，则所述形成比特流和解码器信息包括：

所述编码器设备分别地将分辨率分量的组中的第一分辨率分量和一个或多个另外的分辨率分量编码为第一比特流部分和一个或多个另外的比特流部分；组合第一比特流部分和所述一个或多个另外的比特流部分；以及，如果解码器信息向解码器设备发信号通知比特流包括所述组中的所有分辨率分量，则生成用于解码器将一个分辨率分量和所述一个或多个另外的分辨率分量解码为视频帧的解码器信息，用于重建第一视频信号；或者，否则用于构建具有第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率，编码器设备将解码器信息插入到比特流中。

15.根据权利要求14所述的方法，

其中编码分辨率分量的组中的一个或多个另外的分辨率分量包括：

根据第一比特流部分确定第一视频帧；

根据第一视频帧和所述一个或多个另外的分辨率分量的视频帧确定一个或多个另外的残余视频帧；

将所述一个或多个另外的残余视频帧编码为所述一个或多个另外的比特流部分；以及，

其中，如果解码器信息发信号通知第一分辨率分量和一个或多个另外的分辨率分量，则解码器信息向解码器设备发信号通知根据第一分辨率分量的视频帧和所述一个或多个另外的分辨率分量的所述一个或多个另外的残余视频帧来形成第一视频信号和第三视频信号的视频帧。

16.根据权利要求14或15所述的方法，进一步包括：

将第一比特流部分和所述一个或多个另外的比特流部分以及解码器信息的至少部分存储在分离的分辨率分量轨道中，与分辨率分量相关联的比特流部分和解码器信息的至少部分在分辨率分量轨道中被存储为NAL单元；以及，

17.一种解码设备，包括：

计算机可读存储介质，其具有利用其实现的程序的至少部分；以及，

计算机可读存储介质，其具有利用其实现的计算机可读程序代码，以及耦合到计算机可读存储介质的处理器，其中响应于执行计算机可读程序代码，处理器被配置成执行可执行操作，包括：

接收比特流以及解码器信息，所述比特流包括解码器信息，解码器信息向解码器设备发信号通知比特流中的一个或多个分辨率分量的存在，用于形成视频信号，分辨率分量表示具有第一分辨率的第一视频信号的空间子采样版本，所述空间子采样版本是多相子采样版本，所述一个或多个分辨率分量是分辨率分量组的部分，所述组包括多个分辨率分量，根据所述多个分辨率分量，第一视频信号是可重建的，并且其中至少两个或更多个分辨率分量具有相同的分辨率；

解析比特流并且形成视频信号，所述形成包括根据解码器信息将所述一个或多个分辨率分量中的至少一个解码为视频帧，其中：

如果解码器信息发信号通知比特流仅包括所述组中的第一分辨率分量，则所述形成包括：

将表示第一分辨率分量的比特流的解析部分解码为表示第二分辨率的第二视频信号的视频帧，第二分辨率低于第一分辨率；以及，

如果解码器信息发信号通知比特流包括所述组中的第一分辨率分量和一个或多个另外的分辨率分量，则所述形成包括：

将表示第一分辨率分量和一个或多个另外的分辨率分量的比特流的解析部分解码为视频帧；以及，

如果解码器信息发信号通知比特流包括所述组中的所有分辨率分量，则根据视频帧重建第一视频信号；或者，否则根据视频帧构建具有第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率。

18.根据权利要求17所述的解码设备，其中所述处理器是微处理器，并且所述比特流是HEVC比特流。

19.一种编码设备，包括：

通过对具有第一分辨率的第一视频信号的视频帧空间子采样，形成分辨率分量的组，所述空间子采样是多相子采样，其中根据分辨率分量的组的视频帧，第一视频信号是可重建的，并且其中至少两个或更多个分辨率分量具有相同的分辨率；

从分辨率分量的组选择一个或多个分辨率分量，并且根据一个或多个选择的分辨率分量形成比特流和解码器信息；比特流包括解码器信息，其中：

编码分辨率分量的组中的第一分辨率分量，第一分辨率分量具有第二分辨率；以及，生成用于解码器将一个分辨率分量解码为第二分辨率的第二视频信号的信息，第二分辨率低于第一分辨率；或者，

分别地将分辨率分量的组中的第一分辨率分量和一个或多个另外的分辨率分量编码为第一比特流部分和一个或多个另外的比特流部分；组合第一比特流部分和所述一个或多个另外的比特流部分；以及，如果解码器信息向解码器设备发信号通知比特流包括所述组中的所有分辨率分量，则生成用于解码器将一个分辨率分量和所述一个或多个另外的分辨率分量解码为视频帧的信息，用于重建第一视频信号；或者，否则用于构建具有第三分辨率的第三视频信号，第三分辨率高于第二分辨率并且低于第一分辨率，将解码器信息插入到比特流中。

20.根据权利要求19所述的编码设备，其中所述处理器是微处理器。

21.计算机可读介质，包括软件代码部分，所述软件代码部分被配置用于当在计算机的存储器中运行时，执行根据权利要求1-16中的任一项所述的方法步骤。