CN104838419A - 使用较低分辨率流的视频编码 - Google Patents

Abstract

一种编码系统，包括：输入端，用于接收包括多个帧的视频信号，每个帧包括多个较高分辨率样本；以及投影发生器，被配置成针对帧中的各每一个生成各帧的多个不同投影。每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的较低分辨率样本表示各帧的较高分辨率样本的不同但重叠的群组。该编码系统包括编码器，该编码器被配置成通过对各帧中的每一个的投影进行编码来对视频信号进行编码。

Description

使用较低分辨率流的视频编码

背景技术

过去，称为“超分辨率”的技术已在卫星成像中被用来提高所捕捉图像的分辨率超过图像捕捉元件的固有分辨率。这可以在卫星（或其某个部件）移动对应于像素的几分之一的量的情况下实现，从而捕捉在空间上重叠的样本。在重叠区中，可以通过例如通过求平均而在与该区重叠的两个或更多较低分辨率样本的值之间进行外推来生成较高分辨率样本。较高分辨率样本尺寸是重叠区的尺寸，并且较高分辨率样本的值是外推值。

该构思在图1中示意性地图示出。考虑具有单个正方形像素P的卫星的情况，其从地面上的1km×1km的区域捕捉样本。如果卫星然后移动，使得被像素捕捉的区域在平行于像素P的边缘中的一个的方向上移位半公里，并且然后获取另一样本，则卫星于是具有覆盖宽度0.5km的重叠区P'的两个可用样本。随着此过程的发展，在移位的方向上以0.5km间隔获取样本，并且潜在地还执行垂直于原始移位偏移半个像素的连续扫描，有可能构建0.5 km×0.5 km而不是1km×1km分辨率的图像。将认识到的是本示例是出于说明性目的给出的——还有可能构建精细得多的分辨率，并且从更复杂的运动模式这样做。

最近，已提出超分辨率的概念以便在视频编码中使用。存在其两个潜在应用。第一个类似于上文所述情形——如果用户的照相机在帧之间在物理上移位对应于非整数像素（例如因为其是手持式照相机）的量，并且此运动可以被检测到（例如，使用运动估计算法），则有可能通过在其中两个帧的像素部分地重叠的像素样本之间进行外推而创建具有比照相机的图像捕捉元件的固有分辨率更高的分辨率的图像。

第二潜在应用是故意地降低每个帧的分辨率，并且在帧之间引入人为移位（与由于照相机的实际运动而引起的移位相反）。这使得能够降低每帧的位速率。参考图2，比方说照相机捕捉某个较高分辨率的像素P'（可能在初始量化级之后）。每个帧F中的该分辨率下的编码将招致某个位速率。在某个时间t处的第一帧F(t)中，编码器因此创建具有尺寸P的像素的帧的较低分辨率版本，并且在较低分辨率下将这些进行发射和编码。例如，在图2中，通过对四个较高分辨率像素的值进行平均来创建每个较低分辨率像素。在后续帧F(t+1)中，编码器做同样的事，但是光栅移位较低分辨率像素中的一个的几分之一，在所示的示例中例如在水平和垂直方向上的半个像素。在解码器处，然后可以通过在两个帧的较低分辨率样本的重叠区之间进行外推来再次地重新创建较高分辨率像素尺寸P'。更复杂的移位模式也是可能的。例如，该模式可在第一帧中的第一位置处开始，然后使光栅在第二帧中水平地移位半个（较低分辨率）像素，然后使光栅在第三帧中在垂直方向上移位半个像素，然后在第四帧中在水平方向上返回半个像素，然后在垂直方向上返回以从第一位置起重复该循环。在这种情况下，存在四个样本可用于在解码器处针对要重构的每个较高分辨率像素而在该四个样本之间进行外推。

发明内容

本发明的实施例接收包括多个帧的视频信号作为输入，每个帧包括多个较高分辨率样本。针对帧中的各每一个，生成各帧的多个不同投影。每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的较低分辨率样本表示各帧的较高分辨率样本的不同但重叠的群组。通过对各帧中的每一个的投影进行编码来对视频信号进行编码。

本发明的另外的实施例接收包括多个帧的视频信号，每个帧包括多个不同投影，其中，每个投影包括多个较低分辨率样本。不同投影的较低分辨率样本表示各帧的不同但重叠的部分。通过对各帧中的每一个的投影进行解码来将视频信号解码。生成表示在较高分辨率下的各帧中的每一个的较高分辨率样本。对于这样生成的每个较高分辨率，这是通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本而完成的。在从投影生成之后在较高分辨率下将视频信号输出到屏幕。

可以将各种实施例体现为编码系统、解码系统或将在编码器或解码器侧运行的计算机程序代码，或者可实施为方法。可在计算机可读介质上体现计算机程序。计算机可读可以是有形计算机可读存储介质。

附图说明

为了更好地理解各种实施例并示出其如何可以付诸实现，以示例的方式对附图进行参考，在所述附图中：

图1是超分辨率方案的示意性表示，

图2是超分辨率方案的另一示意性表示，

图3是通信系统的示意性框图，

图4是编码器的示意性框图，

图5是解码器的示意性框图，

图6是编码系统的示意性表示，

图7是解码系统的示意性表示，

图8是包括多个流的已编码视频信号的示意性表示，

图9是要编码的视频信号的示意性表示，

图10是要编码的视频信号的另一示意性表示，以及

图11是运动矢量与超分辨率移位的加法的示意性表示。

具体实施方式

超分辨率的原始用途是人为地提高所捕捉图像的分辨率超过捕捉设备的固有分辨率。如所讨论的，稍后提出了供在视频传输中使用以故意地降低每帧的分辨率，从而减小位速率的思想。

本发明的实施例并不是集中于这些用途中的任一个，而是寻找用于超分辨率技术的第三应用：即，将给定帧划分成多个不同的较低分辨率“投影”，可以从该多个不同的较低分辨率“投影”重构帧的较高分辨率版本。每个投影是与原始帧相比具有较低分辨率的同一帧的版本。同一帧的每个不同投影的较低分辨率样本在帧内具有相对于彼此的不同空间对准，使得不同投影的较低分辨率样本重叠但并不重合。例如，每个投影基于定义较低分辨率样本的尺寸和形状的同一光栅网格，但是在不同投影中的每一个中光栅被施加以不同的偏移或“移位”，该移位在相对于光栅定向的水平和/或垂直方向上是较低分辨率样本尺寸的几分之一。

在图9和10中示意性地示出了示例。在页面的顶部处图示的是要编码的视频信号，包括多个帧F，每个帧F表示处于连续时刻...t-1、t、t+1、...的视频图像（其中，作为帧索引来测量时间，并且t是任何的任意时间点）。

给定帧F(t)包括由图9中的点网格线所示的较高分辨率光栅定义的多个较高分辨率样本S'。光栅是网格结构，该网格结构在被施加于帧时将其划分成样本，每个样本由网格的相应单元定义。请注意，样本不一定意味着具有与图像捕捉元件的物理像素相同尺寸的样本，也不是将在其上面输出视频的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉样本，并且然后向下量化以产生样本S'。

将同一帧F(t)分成多个不同投影（a）至（d）。同一帧F(t)的投影中的每一个包括通过将较低分辨率光栅施加于帧而定义的多个较低分辨率样本S，如覆盖在图9中的较高分辨率网格上的实线所图示的。再次地，光栅是在施加于帧时将其划分成样本的网格结构。每个较低分辨率样本S表示一组较高分辨率样本S'，分组取决于较低分辨率光栅的网格间距和对准，每个样本由网格的相应单元定义。网格优选地是正方形或矩形网格，较低分辨率样本优选地在形状方面是正方形或矩形的（如较高分辨率样本一样），但不一定必须是这种情况。在所示示例中，每个较低分辨率样本S覆盖四个较高分辨率样本S'的各二乘二正方形。另一示例将是十六的四乘四正方形。

每个较低分辨率样本S表示各组较高分辨率样本S'（每个较低分辨率样本覆盖整体数个较高分辨率样本）。优选地，通过将较高分辨率样本的值组合、最优选地通过求平均、诸如均值或加权均值（但不排除更复杂的关系）来确定较低分辨率样本S的值。替换地，可以通过取较高分辨率样本中的典型的一个的值或对较高分辨率值的典型子集进行平均来确定较低分辨率的值。

第一投影（a）中的较低分辨率样本的网格在帧F(t)内、即在帧的平面中具有某个、第一对准。作为参考，在这里将其称为（0,0）的移位。然后将同一帧F(t)的每个另一投影（b）至（d）所形成的较低分辨率样本的网格在帧的平面中移位各自不同的量。针对每个连续投影，该移位是在水平或垂直方向上的较低分辨率样本尺寸的几分之一。在所示示例中，在第二投影（b）中，将较低分辨率网格向右移位半个（较低分辨率）样本，即相对于参考位置（0, 0）的（+?, 0）的移位。在第三投影（c）中，将较低分辨率网格向下移位另一半个样本，即相对于第二移位的（0, +?）的移位或者相对于参考位置的（+?, +?）的移位。在第四投影中，将较低分辨率网格向左移位另一半个样本，即相对于第三投影的（-?, 0）的移位或相对于参考位置的（0, +?）。这些移位一起构成移位模式。

在图9中，这通过参考第一投影（a）的较低分辨率样本S(m, n)来举例说明，其中，m和n分别是水平和垂直方向上的较低分辨率网格的坐标索引，以第一投影（a）的网格作为参考。然后作为第二投影（b）的样本的相应已移位较低分辨率样本位于其自己的各自网格内的位置（m, n）处，该位置对应于相对于第一投影的位置（m+?, n）。作为第三投影（c）的样本的另一相应已移位较低分辨率样本位于第三投影的各自网格内的位置（m, n）处，该位置对应于相对于第一投影网格的位置（m+?, n+?）。作为第四投影（d）的样本的再另一相应已移位较低分辨率样本位于其自己的各自位置（m, n）处，该位置对应于第一投影的位置（m, n+?）。

注意，不一定需要按照任何特定顺序来生成不同投影，并且可以将任何一个认为是“参考位置”。描述同一模式的其他方式可以是等同的。其他模式也是可能的，例如基于4×4较高分辨率样本的较低分辨率样本尺寸在四分之一样本移位（较低分辨率样本尺寸的四分之一）的模式中移位。

通过将该较低分辨率样本所覆盖的较高分辨率样本的值组合、即通过将该较高分辨率样本表示的各组较低分辨率样本的值组合来获取每个投影中的较低分辨率样本的值。基于各组针对每个投影的每个较低分辨率样本完成此操作，从而生成同一帧的多个不同降低分辨率版本。还针对多个帧重复该过程。

效果是每个二维帧现在有效地变成三维“平板”（slab）或立方体的，如图10中示意性地示出的。

对每个帧的投影进行编码并在已编码视频信号中将其发送到解码器，例如通过诸如因特网之类的基于分组的网络发射。替换地，可存储已编码视频信号以便稍后由解码器解码。

在解码器处，然后可以使用同一帧的投影中的每个从较低分辨率样本的重叠区重构较高分辨率样本尺寸。例如，在相对于图9所述的实施例中，来自不同投影的任何一组的四个重叠样本定义唯一交集。图9中的阴影区S'对应于来自投影（a）、（b）、（c）和（d）的较低分辨率样本S(m, n)的交集。可以通过在正在讨论中的区处重叠的较低分辨率样本的值之间进行外推（例如通过求平均，诸如均值或加权均值）来找到对应于此重叠或交集的较高分辨率样本的值。可以从较低分辨率样本的类似交集找到其他较高分辨率样本中的每一个。

优选地将每个帧细分成投影全集，例如当移位是半个样本时，将每个帧表示在四个投影中，并且在四分之一移位的情况下表示到十六个投影中。因此，总而言之，一起包括所有其投影的帧仍可表示同一分辨率，如同未应用超分辨率技术一样。

然而，不同于常规视频编码方案，将帧分解成可以被单独地或不同地操纵的单独的描述或子帧。存在其许多用途，例如如下。

· 其提供了用于通过在同一帧的投影之间进行预测从而将帧的投影中的一个或多个相对于该帧的投影中的另一、基础投影进行编码而进行预测编码的新机会。

· 为了增强稳健性，可以使用不同的投影作为基础投影。

· 可确定基础投影的选择，从而优化流的性质，例如以减小残差（优选地使其最小化），从而减小已编码信号中的位速率。

· 随着每个帧变成三维对象，可以对每个帧执行三维变换作为编码的一部分（例如傅立叶变换、离散余弦变换或卡南-洛维变换）。这可提供在变换域中找到量化成零或小值的系数、从而减小已编码信号中的位速率的新机会。

· 提供了用于通过省略或丢弃一个或多个投影来进行缩放的新机会，即新形式的分层编码。

· 可将每个投影作为单独流单独地编码。

· 可将每个投影作为单独流通过网络发送。

· 在投影之间的预测的情况下，可以将基础投影（其被用于预测其他投影）标记为高优先级。这可帮助网络层确定何时丢弃投影的其余部分并仅从基础层重构帧。

还注意到，在实施例中，用预定移位模式来创建多个投影，其未通过网络用信号从编码器发送到解码器且未包括在已编码位流中。投影的顺序可与移位模式相组合地确定移位位置。

参考图3的示意性框图来描述其中可采用各种实施例的示例通信系统。

通信系统包括第一、发射终端12和第二、接收终端22。例如，每个终端12、22可包括移动电话或智能电话、平板电脑、膝上型计算机、台式计算机或诸如电视机、机顶盒、立体音响系统等其他家用电器中的一个。第一和第二终端12、22每个可操作地耦合到通信网络32，并且第一、发射终端12从而被布置成发射将被第二、接收终端22接收的信号。当然，发射终端12还可能能够接收来自接收终端22的信号且反之亦然，但是出于讨论的目的，本文中从第一终端12的角度描述发射，并且从第二终端22的角度描述接收。通信网络32可包括例如基于分组的网络，诸如广域因特网和/或局域网和/或移动蜂窝式网络。

第一终端12包括有形、计算机可读存储介质14，诸如闪存或其他电子存储器、磁存储器件和/或光学存储器件。第一终端12还包括具有一个或多个核的处理器或CPU形式的处理设备16；收发机，诸如至少具有发射机18的有线或无线调制解调器；以及视频照相机15，其可以或可以不被容纳在与终端12的其余部分相同的外壳内。存储介质14、视频照相机15和发射机18每个可操作地耦合到处理设备16，并且发射机18经由有线或无线链路可操作地耦合到网络32。类似地，第二终端22包括有形、计算机可读存储介质24，诸如电子、磁和/或光学存储器件；以及具有一个或多个核的CPU形式的处理设备26。第二终端包括收发机，诸如至少具有接收机28的有线或无线调制解调器；以及屏幕25，其可以或可以不被容纳在与终端12的其余部分相同的外壳内。第二终端的存储介质24、屏幕25和接收机28每个可操作地耦合到各处理设备26，并且接收机28经由有线或无线链路可操作地耦合到网络32。

第一终端12上的存储介质14至少存储被布置成在处理设备16上执行的视频编码器。在被执行时，编码器从视频照相机15接收“原始”（未编码）输入视频信号，对视频信号进行编码从而将其压缩成较低位速率流，并且输出已编码视频以便经由发射机18和通信网络32发射到第二终端22的接收机28。第二终端22上的存储介质至少存储被布置成在其自己的处理设备26上执行的视频解码器。在被执行时，解码器从接收机28接收已编码视频信号，并将其解码以便输出到屏幕25。可用来指代编码器和/或解码器的通用术语是编解码器。

图6给出可存储在发射终端12上并在其上面运行的编码系统的示意性框图。编码系统包括投影发生器60和编码器40，优选地实现为软件模块（但不排除在专用硬件电路中实现某些或所有功能的选项）。投影发生器具有输入端，该输入端被布置成从照相机15接收输入视频信号，包括如图9的顶部处所图示的要编码的一系列帧。编码器40具有可操作地耦合到投影发生器60的输出端的输入端以及被布置成向发射机18供应视频信号的已编码版本以便通过网络32传输的输出端。

图4给出编码器40的示意性框图。编码器40包括可操作地耦合到来自投影发生器60的输入端的前向变换模块42、可操作地耦合到前向变换模块42的前向变换模块44、每个都可操作地耦合到前向量化模块44的帧内预测编码模块45和帧间预测（运动预测）编码模块46以及可操作地耦合到帧内和帧间预测编码模块45和46并被布置成向发射机18供应已编码输出以便通过网络32传输的熵编码器48。

在操作中，投影发生器60以上文相对于图9和10所讨论的方式将每个帧细分成多个投影。

在实施例中，可使每个投影单独地通过编码器40并作为单独流进行处理。对于编码而言，可将每个投影划分成多个块（每个块包括多个较低分辨率样本S）。

在给定投影内，前向变换模块42将较低分辨率样本的每个块从空间域表示变换成变换域表示，通常为频域表示，从而将该块的样本转换成一组变换域系数。此类变换的示例包括傅立叶变换、离散余弦变换（DCT）和卡南-洛维变换（KLT），本领域的技术人员将熟悉其细节。然后使每个块的已变换系数通过前向量化模块44，在那里其被量化到离散量化水平上（比最初用来表示系数值更粗糙的水平）。然后通过预测编码级45或46和然后的无损编码级（诸如熵编码器48）对已变换量化块进行编码。

熵编码器48的效果是其要求较少的位对较小的频繁出现的值进行编码，因此前面的级的目的是在尽可能多的小值方面表示视频信号。

量化器44的目的是量化值将较小，并且因此要求较少的位以进行编码。变换的目的是在变换域中往往存在量化成零或小值的更多值，从而在通过后续级进行编码时减小位速率。

可将编码器布置成在帧间预测编码模式或帧间预测编码模式（即运动预测）下进行编码。如果使用帧间预测，则帧间预测模块46相对于前一帧F(t-1)的一部分对来自一个帧F(t)的块的已变换量化系数进行编码。将该块说成是根据前一帧预测的。因此，编码器只需发射块的预测版本与实际块之间的差（在本领域中称为残差）以及运动矢量。由于残差值往往较小，所以其在通过熵编码器48时要求较少的位以进行编码。

所述前一帧的部分的位置由运动矢量确定，该运动矢量由帧间预测模块46中的运动预测算法确定。根据其中将每个帧分成多个投影的本发明的实施例，运动预测可以是在来自不同帧的两个相应投影之间，即在在其各帧内具有相同移位的投影之间。例如参考图9，可根据帧F(t-1)的投影（a）来预测来自帧F(t)的投影（a）的块，可根据帧F(t-1)的投影（b）来预测来自帧F(t)的投影（b）的块，以此类推。替换地，可根据在前一帧中具有不同移位的不同投影来预测来自一个帧的一个投影的块，例如根据帧F(t-1)中的投影（a）的一部分来预测来自帧F(t)的投影（b）、（c）和/或（d）的块。在后一种情况下，可将表示帧之间的运动的运动矢量与表示不同投影之间的移位的矢量相加，以便获得正确的预测。这在图11中示意性地图示出。

如果使用帧间预测，则已变换量化样本替代地经受帧内预测模块45。在这种情况下，相对于同一帧内的块（通常为相邻块）对来自当前帧F(t)的块的已变换量化系数进行编码。编码器然后只需发射块的预测版本与相邻块之间的残差差。再次地，由于残差值往往较小，所以其在通过熵编码器48时要求较少的位以进行编码。

在本发明的实施例中，帧内预测模块45可具有在来自同一帧的不同投影的块之间进行预测的特殊功能。也就是说，相对于投影中的一个基础投影中的相应块对来自投影中的一个或多个的块进行编码。例如，可根据投影中的一个或多个中的每个较低分辨率样本在基础投影中的对等样本来预测所述每个较低分辨率样本，例如使得根据第一投影（a）中的样本S(m, n)且类似地针对每个块的其他样本预测投影（b）、（c）和（d）中的每个较低分辨率样本S(m, n)。因此，编码器只需在相对于基础投影的残差方面对投影中的除一个之外的全部进行编码。

这可呈现用于减小残差的大小的更多机会，因为来自不同投影的相应对等样本将往往是类似的，并且因此导致小的残差。在实施例中，可将帧内预测模块45配置成选择投影中的哪个投影以用作基础投影和选择哪个投影来相对于基础投影进行编码。例如，因此帧内预测模块可以替代地选取投影（c）作为基础投影，并且然后相对于投影（c）对投影（a）、（b）和（d）进行编码。可将帧内预测模块45配置成选择哪个投影是基础投影，以便使残差最小化或者至少使其减小，例如通过尝试全部可能性或其子集并选择导致最小总残差位速率的那个来进行编码。

一旦被帧内预测编码模块45或帧间预测编码模块46编码，不同投影的样本的块就被传递至熵编码器48，在那里，其经受进一步的无损编码级。由熵编码器48输出的已编码视频然后被传递至发射机18，该发射机18在一个或多个流33中将已编码视频通过网络32（优选地诸如因特网之类的基于分组网络）而发射到接收终端22的接收机28。

图7给出了可存储在接收终端22上并在其上面运行的解码系统的示意性框图。该解码系统包括解码器50和超分辨率模块70，优选地实现为软件模块（但不排除在专用硬件电路中实现某些或所有功能的选项）。解码器50具有被布置成从接收机28接收已编码视频的输入端以及可操作地耦合到超分辨率模块70的输入端的输出端。超分辨率模块70具有被布置成向屏幕25供应已解码视频的输出端。

图5给出解码器50的示意性框图。解码器50包括熵解码器58以及帧内预测解码模块55和帧间预测（运动预测）解码模块54、逆量化模块54和逆变换模块52 。熵解码器58可操作地耦合到来自接收机28的输入端。帧内预测解码模块55和帧间预测解码模块56中的每一个可操作地耦合到熵解码器58。逆量化模块54可操作地耦合到帧内和帧间预测解码模块55和56，并且逆变换模块52可操作地耦合到逆量化模块54。逆变换模块可操作地耦合以向超分辨率模块70供应输出。

在操作中，可使每个投影单独地通过解码器50并作为单独流进行处理。

熵解码器58根据熵编码技术对已编码视频信号33的每个投影执行无损解码操作，并且取决于在编码中使用帧内预测还是帧间预测（运动预测），将结果产生的输出传递到帧内预测解码模块55或帧间预测解码模块56以用于进一步解码。

如果使用帧间预测，则帧间预测模块56使用在已编码信号中接收到的运动矢量来基于前一帧的一部分预测来自一个帧的块。如所讨论的，此预测可以是在不同帧中的相同投影之间或者在不同帧的不同投影之间。在后一种情况下，如图11中所示地将运动矢量和移位相加。

如果使用帧内预测，则帧内预测模块55根据同一帧中的另一块来预测一块。在实施例中，这包括基于另一、基础投影的块来预测一个投影的块。例如，参考图9，可根据投影（a）来预测投影（b）、（c）和/或（d）。

然后使已解码投影通过其中将量化水平转换到解量化标度上的逆量化模块54以及其中将解量化系数从变换域转换成空间域中的较低分辨率样本的逆变换模块52。该解量化、逆变换样本被继续供应到超分辨率模块70。

超分辨率模块使用来自同一帧的不同投影的较低分辨率样本来将该帧的较高分辨率版本“缝合（stich）在一起”。如所讨论的， 这可以通过从同一帧的不同投影取重叠的较低分辨率样本并生成与重叠区相应的较高分辨率样本来实现。例如通过取平均，通过在重叠较低分辨率样本的值之间进行外推来找到较高分辨率样本的值。例如参见图9中的由来自四个不同投影（a）至（d）的四个较低分辨率样本S重叠的阴影区。这允许在解码器侧重构较高分辨率样本S'。

在实施例中，从多个投影重构帧的过程可以是无损的。例如，如果每个较低分辨率样本如图9中所示的那样表示原始输入帧的四个较高分辨率样本，并且例如分别用（0, 0）；（0, +?）；（+?, +?）；以及（+?, 0）的移位来创建四个投影，则情况可以如此。这意味着来自四个不同投影的四个较低分辨率样本的唯一组合将在解码器处可用于要重新创建的每个较高分辨率样本。在这种情况下，在解码器侧重构的较高分辨率样本尺寸可与在编码器侧的原始输入帧的较高分辨率样本尺寸相同。

在其他实施例中，该过程可涉及到某种退化，并且在解码器侧重构的较高分辨率样本不需要如在编码器侧的原始输入帧的较高分辨率样本尺寸那样高。例如，如果每个较低分辨率样本表示原始输入帧的四个较高分辨率样本，但例如用（0, 0）和（+?, +?）的移位创建仅两个投影，则情况可以如此。在这种情况下，某些信息在该过程中丢失。然而，该损失可认为在感知上是可容忍的。

针对被解码的视频信号中的每个帧序列执行此过程。输出重构的较高分辨率帧以便供应到屏幕25，使得视频被显示给接收终端22的用户。

在一个实施例中，将不同的投影在单独的分组流中通过网络32从发射终端12发射到接收终端22。因此，每个投影在构成各流的单独一组分组中发射，优选地由用于包括在该流的分组中的每个流的单独流标识符进行区分。

图8给出如将从在发射终端12上运行的编码器发射到在接收终端22上运行的解码器的已编码视频信号33的示意性表示。已编码视频信号33包括用于每个块的多个已编码量化样本。进一步地，已编码视频信号被划分成分别承载不同投影（a）、（b）、（c）、（d）的单独流33a、33b、33c和33d。在一个应用中，可将已编码视频信号作为实况（实时）视频电话呼叫的一部分发射，所述实况（实时）视频电话呼叫诸如发射和接收终端12、22之间的VoIP呼叫（VoIP呼叫还可以包括视频）。

在不同流中进行发射的结果是可以丢弃流中的一个或多个，并且仍有可能将来自投影中的一个的视频的至少较低分辨率版本或者潜在地来自剩余投影的子集的较高（而并非全）分辨率版本解码。

可响应于来自接收终端22或来自网络32的在接收终端处存在不足资源或者网络条件不适合于处理视频的全或较高分辨率版本或者接收终端不要求全或较高分辨率的反馈，或者事实上如果发射终端不具有足够的资源以便以全或较高分辨率解码，由发射终端12丢弃投影。替换地或另外，承载不同投影的流中的一个或多个可由诸如路由器或中间服务器之类的网络32的中间元件响应于网络条件或来自接收终端的存在不足资源以处理全或较高分辨率或者不要求此类分辨率的信息而丢弃。

例如，比方说给定帧在编码器侧被分成四个投影（a）至（d），每个投影在单独的流中。如果接收终端22接收到全部四个流，则解码系统可以重新创建该帧的全分辨率版本。然而，如果一个或多个流被丢弃，例如承载投影（b）和（d）的流，则解码系统仍可以通过仅在来自剩余流的投影（a）和（c）的重叠样本之间进行外推来重构帧的较高（但并非全）分辨率版本。替换地，如果仅剩余例如承载投影（a）的一个流，则其可以单独地用来仅显示帧的较低分辨率版本。因此，可基于将帧分成不同的投影而提供新形式的分层或缩放编码。

如果使用投影之间的预测，则如果能够避免的话基础投影将不会被丢弃，但是可丢弃根据基础投影预测的其他投影中的一个、某些或全部。为此，优选地通过在基础投影的已编码流中包括作为边信息的标签而将基础投影标记为优先级。然后可将诸如路由器或服务器之类的网络32的元件配置成读取标签（或注意到其不存在）以确定可以丢弃哪些流和如果可能的话不应丢弃哪些（即应避免丢弃较高优先级基础流）。

在某些实施例中，可以使用层级预测，由此，根据同一帧的基础投影来预测一个投影，然后进而根据同一帧的每个先前预测投影来预测一个或多个另外的投影。例如，因此可根据第一投影（a）来预测第二投影（b），并且可根据第二投影（b）来预测第三投影（c），并且进而可根据投影（c）来预测第四投影（d）。如果存在超过四个投影，则可包括另外的水平。可用与每个投影在预测层级结构中的顺序相应的各优先级来标记每个投影，并且可根据此层级标签来执行投影或承载投影的流的任何丢弃。

在实施例中，编码器使用编码器侧和解码器侧两者所假定的预定移位模式而不必通过网络在其之间用信号发送，例如两者都被预编程成使用诸如如上文相对于图9所述的（0, 0）；（0, +?）；（+?, +?）；（+?, 0）之类的模式。在这种情况下，不必在一个或多个已编码流中将移位模式用信号发送到解码器侧。因此，不存在包含移位指示的分组或流可能丢失或被丢弃的问题，否则这将引起解码器处的重构方案中的故障。

替换地，如果将编码系统配置成选择哪个投影将用作基础投影，则可能是这样：在已编码信号中包括关于移位模式的指示。如果任何所需指示在传输中丢失，则可将解码系统配置成单独地使用投影中的默认的一个，因此至少能够显示较低分辨率版本。

在本发明的另外的实施例中，可将变换模块42配置成利用不同帧的不同投影以便执行三维变换而不是二维的。如相对于图10所提到的，通过生成不同的投影，每个帧现在有效地变成三维对象。例如，如果要变换的每个块是四乘四较低分辨率样本，并且存在四个投影，则现在可以将帧平面中的维度（x，y）的4×4块认为是维度（x，y，z）的4×4×4立方体，其中，z是投影数。帧（x，y）的平面中的块的其他尺寸和投影z的其他深度也是可能的，如x、y和z方向上的块的不同部分（例如8×8×4、4×8×4、16×16×8等）。然后可以将不同的x、y和z坐标的样本值输入到诸如三维傅立叶变换、DCT变换或KLT变换之类的三维变换函数中，以将来自样本值的三维集合的块变换成变换域（例如频域）中的系数的三维集合。逆变换模块52将被配置成执行逆三维变换。

如所提到的，在量化之前执行变换的目的是在变换域中，往往存在量化成零或小值的更多值，从而在通过包括熵编码级等后续级进行编码时减小位速率。通过将帧布置成不同的偏移投影并从而使得能够执行三维变换，可提供其中已变换系数量化成零或较小或更加类似的值以用于熵编码器58进行更高效编码的更多情况。

三维变换探索用多个视图创建的多个二维变换区的系数之间的冗余。通过选择视图，如本文所述，可以生成帧的同一部分的多个表示或视图。对于自然图像而言，这保持了像素或样本之间的高局部相关。现在在三个维度而不是两个上呈现此高度相关，并且其允许量化变换系数的更多机会，这将导致更多的零或小值。

将认识到的是以上实施例仅仅是以示例的方式描述的。

例如，各种实施例不限于由2×2或4×4样本对应的样本或任何特定数目形成的较低分辨率样本，也不限于正方形或矩形样本或任何特定形状的样本。用来形成较低分辨率样本的网格结构不限于是正方形或矩形网格，并且其他形式的网格是可能的。也不需要网格结构定义均匀地形成尺寸或形状的样本。只要在来自两个或更多不同投影的两个或更多较低分辨率样本之间存在重叠，就可以从较低分辨率样本的交集中找到较高分辨率样本。

可以将各种实施例实现为编码器或解码器的固有部分，例如合并为对H.264或H.265标准的更新，或者作为预处理或后处理级，例如作为对H.264或H.265标准的附加部分。进一步地，各种实施例不限于VoIP通信或通过任何特定种类的网络的通信，而是可以在能够传送数字数据的任何网络中或在用于在存储介质上存储已编码数据的系统中使用。

给定本文中的公开内容，其他变体对于本领域的技术人员而言可以是显而易见的。本各种实施例不受所述示例限制，而是仅仅受所附权利要求限制。

Claims (10)

1.一种编码系统，包括：

输入端，用于接收包括多个帧的视频信号，每个帧包括多个较高分辨率样本；

投影发生器，被配置成针对所述帧中的各每一个生成各帧的多个不同投影，每个投影包括表示在较低分辨率下的各帧的多个较低分辨率样本，其中，不同投影的所述较低分辨率样本表示各帧的所述较高分辨率样本的不同但重叠的群组；以及

编码器，被配置成通过对各帧中的每一个的投影进行编码来对所述视频信号进行编码。

2.权利要求1的编码系统，其中，所述较低分辨率样本由网格结构定义，并且所述投影发生器被配置成通过向各帧内的所述网格结构施加一个或多个不同空间移位来生成投影，每个移位是所述较低分辨率样本中的一个的几分之一。

3.权利要求2的编码系统，其中，所述投影发生器被配置成根据预定移位模式来施加移位。

4.任何一项前述权利要求的编码系统，其中，所述编码器被配置成通过在投影中的不同的一些之间施加预测编码而对所述视频信号进行编码，由此相对于所述投影中的另一个对投影中的一个或多个中的每一个进行编码。

5.权利要求4的编码系统，其中，所述编码器被配置成通过在各帧的投影之间施加预测编码来对各帧中的一个或多个进行编码，由此相对于各帧的投影中的另一、基础投影对各帧的投影中的一个或多个中的每一个进行编码。

6.权利要求5的编码系统，包括被配置成在编码之后通过网络来发射所述视频信号的发射机，其中，在单独的流中发射不同的投影。

7.权利要求6的编码系统，其中，所述编码系统被配置成将承载所述基础投影的流标记为优先级。

8.权利要求5、6或7的编码系统，其在，所述编码器被配置成通过选择相对于各帧的投影中的其他投影减小所述预测编码的残差的那个投影而基于优化准则来选择哪个投影是基础投影。

9.任何一项前述权利要求的编码系统，包括被配置成执行将各帧中的每一个变换成变换域表示的三维变换的变换模块，其中，在各帧的平面中的两个维度和由各帧的所述多个投影创建的第三维度上执行所述变换。

10.一种在非瞬时性、计算机可读介质上体现且包括代码的计算机程序产品，该代码被配置成使得当在处理设备上执行时执行以下操作：

接收包括多个帧的视频信号，每个帧包括多个不同投影，其中，每个投影包括多个较低分辨率样本，不同投影的较低分辨率样本表示各帧的不同但重叠的部分；

通过将各帧中的每一个的投影解码来将所述视频信号解码；

对于以下这样生成的每个较高分辨率样本，通过从来自各帧的不同投影的较低分辨率样本中的一些之间的重叠区形成较高分辨率样本来生成表示在较高分辨率下的各帧中的每一个的较高分辨率样本；以及

在从投影进行的生成之后，在较高分辨率下向屏幕输出所述视频信号。