CN104704839A

CN104704839A - 视频压缩方法

Info

Publication number: CN104704839A
Application number: CN201380052191.XA
Authority: CN
Inventors: 伊兰·巴尔-昂; 奥列格·科斯坚科
Original assignee: Nu Mei Li Co Ltd
Current assignee: Nu Mei Li Co Ltd; Numeri Ltd
Priority date: 2012-10-07
Filing date: 2013-09-30
Publication date: 2015-06-10
Also published as: JP2015536108A; WO2014053982A3; US20150256837A1; IN2015DN02570A; WO2014053982A2; EP2904807A2; IL238006B; KR20150068402A; EP2904807A4; US10334256B2; IL238006A0; CA2886174A1; CA2886174C

Abstract

一种解码和编码视频的方法，所述编码方法包括：接收视频；对接收的视频执行收缩操作，所述收缩操作包括：从所述视频创建第一较低分辨率视频；以及依次地创建另外的N-1个较低分辨率视频，另外的较低分辨率视频中的每一个都是从前一个较低分辨率视频创建的；压缩最低分辨率视频；通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；对最低分辨率重构视频执行第一恢复操作，所述第一恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：从较低分辨率重构视频创建较高分辨率视频；计算相应的较低分辨率视频和创建的较高分辨率视频之间的残差；压缩所计算出的残差；解压缩被压缩的残差；以及将解压缩的残差与创建的较高分辨率视频合并，以生成相应的较高分辨率重构视频；以及提供比特流，所述比特流包括最低分辨率压缩视频、压缩的残差以及控制信息。

Description

视频压缩方法

技术领域

本发明涉及视频压缩领域。

相关申请的交叉引用

本专利申请主张并涉及在2012年10月7日提交的美国临时专利申请序列号61/710,723的优先权，该美国临时专利申请全部内容结合于此作为参考。

背景技术

原始视频文件占用大量的空间。例如，每秒60帧(fps)的、帧分辨率为1920×1080个像素的、颜色深度为3且每颜色8比特的高清晰度(HD)电影，消耗：

每秒1,920×1,080×60×3＝373,248,000字节。

两个小时这样的电影会占用：

373,248,000*7,200＝2,687,385,600,000字节≈3万亿字节(Tbyte)。

要在普通DVD盘即4.7千兆字节(Gbyte)的盘上存储该电影，需要：

≈2,687/4.7≈600张DVD盘。

并且，要在互联网，比如说100Mbps的快速通道上，传送该电影，需要：

≈2,687,386×8/100≈2,149,908秒≈60小时。

视频压缩是减小视频大小而不影响感知质量的技术。

视频内容并不总是用最好的设备和最好的照片拍摄采集。在这种情况下，数字图像处理，也被称为视频增强，可以大幅度提高视频的可视质量，并有助于视频压缩过程。一些用于视频增强的已知方法使用如以下内容的视频预处理工具：

去交错(De-interlacing)在拍摄快速移动的对象时，交错的影片可能会出现问题。移动对象在“偶数”的画面可能在一个地方，而在“奇数”的画面可能在另一个地方产生了非常令人烦扰的“剥离(stripped)”的画面。

去组块(De-blocking)组块状构件是当前的MPEG的低质量高压缩的视频的副作用。去组块大大提高了这样的视频的质量。

锐化(Sharpening)强调质感与细节，当后续处理大部分的数码图像时是非常关键的。“虚边蒙片(unsharp mask)”被实际用于锐化图像。

去噪(De-noising)，在发送或接收“信号”的任何电子设备中总是存在某种程度的噪声。对于电视，该信号是通过电缆发射或通过天线接收到的广播数据；对于数码相机，该信号是到达相机传感器的光。视频去噪是从视频信号中除去噪声的处理。

稳定化(Stabilization)用于减少与相机的运动有关的模糊。具体地，它可以补偿摄影机或其它成像设备的摇动和倾斜。对于视频摄像机，相机抖动引起可见的在录制的视频中的帧到帧抖动(jitter)。

摄像机标定(Camera Calibration)对于为获得稳定可靠的图像是很重要的。操作不同步或者不准确调整的摄像机可以创建模糊或混乱的图像。

这些工具可以大大提高视频质量，并有助于压缩过程。这里，忽略这个问题，并假定视频已按要求进行了预处理。参见参考文献[1]以了解更多详情。

数字视频包括一起存储在同一个容器文件中的如视频、音频和控制的多个流。例如，常见的容器格式有：AVI(音频视频交错)、WMV(Windows媒体视频)、FLV(闪存视频)、MOV(苹果快速时间电影)。视频流本身通常是独立于其它流的，或独立于容器的类型，并且可以呈现为许多不同的格式。媒体播放器，如苹果的iTunes和微软Windows媒体播放器，使用相应的编解码器(Codec)(编码器/解码器，Encoder/Decoder)的软件在屏幕上显示该视频。

所显示的视频通常以原始RGB颜色空间格式表示，因为人的视觉系统以类似的方式工作，即，人眼的色觉是基于红色、绿色和蓝色传感器。原始的RGB文件100被示意性地描绘于图1，其包括头部部分120，紧随的是帧130。头部120包含视频参数，如：n-行数，m-列数，以及N-帧数。帧130包含n*m个像素值，每个像素值均为R、G和B的三元组(triplet)。

原始YUV色彩空间格式是用于视频呈现的另一个非常有用的格式。这里，Y对应于视频的黑色和白色呈现，而U和V对应于所添加的颜色差异。有许多类似的公式，用于将RGB转换到YUV或反之。其中一个，见参考文献[2]，例示于图2中，其中在单元210中给出了RGB至YUV的变换公式，并且在单元220中给出了YUV至RGB的变换公式。原始YUV文件300被示意性地描绘于图3中，其包括如图1的单元120中的头部部分310、以及随后的Y帧320、U帧330和V帧340。示出了用于Y、U和V分量的典型帧。在下文中，仅考虑容器文件中的视频流部分，并且不失一般性地(w.l.g.)，假设一YUV色彩空间呈现。

摄影机可能会在影片中多次改变其视角。场面的这些变化，也被称为电影的剪辑(cut)，由它们的形状和内容进行区分，参见参考文献[3]。对压缩而言，这意味着在剪辑之间几乎没有冗余。

剪辑文件400被示意性地描绘于图4中，其包括头部部分410、以及随后的剪辑420。头部如下：

n是行数，m为列数，

N是帧数，并且M是剪辑数。

文件的每个剪辑具有与图3的单元300中给出的YUV文件格式相同的结构。为简单起见，从现在开始将着手考虑每个这样的剪辑的仅一个这样组成部分。一般化到所有组成部分是简单的。

小波(Wavelet)和多小波(multiwavelet)，详见参考文献[4]，是将在后面的应用中使用的重要的数学工具。经典的离散小波变换(DWT)滤波器示于图5；一对低通和高通分析滤波器示于单元510，并且一对低通和高通合成滤波器示于单元520。例如，一维哈尔变换(Haar transform)示于单元530。

在一般情况下，需要m＞1个滤波器，如在图6中所描绘的；分析滤波器示于单元610并且合成滤波器示于单元620。例如2D哈尔变换示于单元630。更一般地，这些滤波器可以指离散多小波变换(DMWT)。

整数？ⁿ的点阵(lattice)欧几里德空间？ⁿ中的n元组整数的集合。帧可以被表示为点阵？²上的矩形网格，并且视频可以被表示为？³上的立方网格。点阵的一个子集，其本身也是点阵，被称为子点阵。图7给出了子点阵？²的例子。在单元710中描绘了梅花形(Quincunx)的子点阵。白色圆圈点对应于偶数子点阵，而黑色圆圈点对应于奇数子点阵。在单元720中在类似地描绘了双值的(Dyadic)子点阵。梅花形子点阵是由单元715的扩张矩阵(dilation matrix)来确定的，并且双值的子点阵是通过单元725的扩张矩阵来确定的。子点阵的数量是由相应的扩张矩阵的行列式确定的，在梅花形情况下为2，在双值的情况下为4。下采样是指从给定点阵提取子点阵的过程。例如，在图8中显示了双值下采样。在单元810中给出了输入信号，在单元820中给出了时间下采样，在单元830中给出了空间下采样，并在单元840中给出了组合的空间和时间下采样。

发明内容

根据本发明的一个方面，提供了一种编码视频的方法，包括：接收视频；对接收的视频执行收缩操作，所述收缩操作包括：从所述视频创建第一较低分辨率视频；以及依次地创建另外的N-1个较低分辨率视频，另外的较低分辨率视频中的每一个都是从前一个较低分辨率视频创建的；压缩最低分辨率视频；通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；对最低分辨率重构视频执行第一恢复操作，所述第一恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：从较低分辨率重构视频创建较高分辨率视频；计算相应的较低分辨率视频和创建的较高分辨率视频之间的残差；压缩所计算出的残差；解压缩被压缩的残差；以及将解压缩的残差与创建的较高分辨率视频合并，以生成相应的较高分辨率重构视频；并且提供比特流，所述比特流包括最低分辨率压缩视频、压缩的残差以及包括N的控制信息。

所述比特流可包括低通分析滤波器，并且其中，创建较低分辨率视频包括将低通分析滤波器应用至视频。

所述比特流可包括模糊算子和下采样算子，并且其中，创建较低分辨率视频包括将模糊算子应用至视频，并且将下采样算子应用至模糊操作结果。

所述比特流可包括模糊算子和下采样算子，并且其中，低通分析滤波器是从模糊算子和下采样算子计算出的。

所述比特流可包括低通合成滤波器，并且其中，创建较高分辨率视频包括将低通合成滤波器应用至较低分辨率重构的视频。

所述比特流可包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，创建较高分辨率视频包括：a.将上采样算子及后续的插值算子应用至较低分辨率重构的视频；b.将启示算子应用至插值操作结果；以及c.将去模糊算子应用至启示操作结果。

所述比特流可包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，低通合成滤波器是从上采样算子、插值算子、启示算子和去模糊算子计算出的。

计算残差可包括计算相应的较低分辨率视频和较高分辨率视频之间的差。

所述比特流可包括高通分析滤波器，并且其中，计算残差还包括将高通分析滤波器应用至计算出的差。

高通分析滤波器可以是从计算出的差计算出的。

计算较高分辨率重构视频可包括将解压缩的残差加和至较高分辨率视频。

所述比特流可包括高通合成滤波器，并且其中，创建较高分辨率重构视频包括将高通合成滤波器应用至相应的解压缩的残差，并且将结果加和至较高分辨率视频。

高通合成滤波器可以是从低通分析滤波器、高通分析滤波器以及低通合成滤波器计算出的。

根据本发明的另一个方面，提供了一种解码根据上述方法编码的视频的方法，包括：接收并处理包括所述最低分辨率压缩视频、压缩的残差以及控制信息的比特流；通过解压缩最低分辨率压缩视频创建最低分辨率重构视频；并且对最低分辨率重构视频执行第二恢复操作，所述第二恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：从较低分辨率重构视频创建较高分辨率视频；解码相应的较低分辨率视频和创建的较高分辨率视频之间的残差；并且将解码的残差与创建的较高分辨率视频进行合并，以生成相应的较高分辨率重构视频。

所述比特流可包括低通合成滤波器，并且其中，创建较高分辨率视频包括将低通合成滤波器应用至较低分辨率重构视频。

所述比特流可包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，创建较高分辨率视频包括：a.将上采样算子及后续的插值算子应用至较低分辨率重构视频；b.将启示算子应用至插值操作结果；并且c.将去模糊算子应用至启示操作结果。

根据本发明的又一个方面，提供了一种视频编解码器，其包括：编码单元，用于编码视频；重构单元，用于重构被编码的视频，所述重构单元创建解码数据的比特流；以及解码单元，用于接收解码数据的比特流并且用其解码视频。

所述编码单元可用于：接收视频；对接收的视频执行收缩操作，所述收缩操作包括：从所述视频创建第一较低分辨率视频；依次地创建另外的N-1个较低分辨率视频，另外的较低分辨率视频中的每一个都是从前一个较低分辨率视频创建的；以及压缩最低分辨率的视频。

所述重构单元可用于：通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；对最低分辨率重构视频执行第一恢复操作，所述第一恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：从较低分辨率重构视频来创建较高分辨率视频；计算相应的较低分辨率视频和创建的较高分辨率视频之间的残差；压缩计算出的残差；解压缩压缩的残差；以及将解压缩的残差与创建的较高分辨率视频进行合并，以生成相应的较高分辨率重构视频；其中，所述比特流包括压缩的最低分辨率视频、压缩的残差以及包括N的控制信息。

解码单元可用于：接收并处理包括所述最低分辨率压缩视频、压缩的残差以及控制信息的比特流；通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；并且对最低分辨率重构视频执行第二恢复操作，所述第二恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：从较低分辨率重构视频创建较高分辨率视频；解码相应的较低分辨率视频和创建的较高分辨率视频之间的残差；并且将解码的残差与创建的较高分辨率视频进行合并，以生成相应的较高分辨率重构视频。

根据本发明的再一个方面，提供了一种解码根据上述方法编码的视频的方法，其中，解码单元用于分析所重构的较高分辨率视频。

所述解码单元可用于计算所重构的视频的运动场。

所述解码单元可用于执行所重构的视频的对象识别。

附图说明

为更好地理解本发明，并说明本发明如何可付诸实施，现在将纯粹以举例的方式参考附图。

现在详细具体参考附图，需要强调的是所示的细节是通过举例的方式并只是出于对本发明的优选实施例的说明性讨论的目的，并且是为了提供被认为是最有用和容易理解本发明的原理和概念方面的描述的原因而呈现的。在这点上，没有试图以超过本发明的基本理解所必要的程度来更详细地显示本发明的结构细节，结合附图做出的说明是使得在实践中如何实现本发明所采取的几种形式对于本领域技术人员明显。在附图中：

图1描述了原始RGB文件；

图2描述了RGB和YUV格式之间的转换；

图3描述了原始YUV文件；

图4描述了剪辑文件；

图5描述了2路离散小波变换滤波器；

图6描述了m路离散小波变换滤波器；

图7显示了点阵和子点阵；

图8描述了双值下采样；

图9是新编解码器的流程图；

图10是编码器的流程图；

图11示出了比特流；

图12是解码器的流程图；

图13描述了M编解码器；

图14描述了M编解码器；

图15描述了M编解码器；

图16描述了O编解码器参数；

图17描述了O编解码器；

图18描述了O编解码器；

图19描述了OM编解码器；以及

图20描述了OM编解码器。

具体实施方式

本发明提供了一种用于视频压缩的新技术，其不同于如H.264的标准的MPEG方法，其利用先进的计算机视觉和数学方法从编码器和解码器的视频分析中获益。例如，运动领域的计算和物体识别，详见参考文献[1]和[7]，可被用于重构在编码器和解码器中的视频。

图9中描述了新的通用编解码器(Codec)的示意图。该编解码器包括两个主要部分：编码器(Encoder)和解码器(Decoder)。编码器1000将视频Y压缩为比特流(Bit Stream)1100，并且解码器1200将比特流解压缩为重构视频从编码器输出且输入到解码器的比特流1100代表了压缩的视频。比特流可以被存储在磁盘上或通过网络被传输。贯穿以下描述，Y和均被称为“视频”。需要注意的是，Y是如上所述的剪辑的组成部分。

在下文中，参见图10描述编码器1000，参见图11描述比特流1100并且参见图12描述解码器1200。

编码器1000具有如下三个阶段：

第一阶段Stage I(E)包括如下的N个迭代：

定义Y₀？Y。则视频Y_k是对迭代k＝0，…，N-1的输入，而视频Y_k+1是迭代k＝0，…，N-1的输出。这里，视频Y_k+1是视频Y_k的较低分辨率的粗糙呈现。较低分辨率意味着要么空间较低分辨率，时间较低分辨率，或空间和时间均较低的分辨率。将这样的降低视频分辨率的操作称为收缩(Shrink)操作。这样的迭代的次数，即N，是由编码器确定的。

第二阶段Stage II(E)包括压缩(Compress)和解压缩(Decompress)操作。压缩操作是指如在专利[1]中所讨论的用于压缩视频的任何方法。解压缩操作是指从压缩视频重构原始视频的相反的操作。令Y_N表示第一阶段(E)之后所得的视频，则用F_N表示压缩的视频，用表示解压缩的视频。值得注意的是，视频是由压缩方法的质量限制的视频Y_N的重构。在无损压缩的情况下，重构的视频与Y_N将是完全一样的。然而，在实践中，压缩过程是有损的，并且与Y_N是不同的。通常，压缩越强，则视频越是不同，而且越是存在失真。好的压缩方法在保持重构的视频的观看质量的同时，尽量减少压缩视频的大小。进一步需要注意的是，压缩视频F_N被包括在比特流1100中。

第三阶段Stage III(E)包括第一恢复(raise)操作，该操作包括如下N个反过来的迭代：

在迭代k＝N-1，…，0中，来自以前的迭代(或k＝N-1的情况下的阶段)的重构的视频是输入，而输出是重构的视频其与视频Y_k是相同的分辨率(空间和时间)。因此，最终的视频是最初的视频Y₀的重构，详见上述第一阶段(E)。

为了获得执行以下的步骤：

1)首先，将视频调整为与视频Y_k相同的分辨率的、较高分辨率的视频将恢复视频分辨率的此操作称为扩展(Expand)操作。

2)接下来，计算视频Y_k和扩展的视频之间的残差(residual)R_k。将计算残差的此操作称为结式(Resultant)操作。

3)最后，将结式R_k压缩为E_k。这里，再次通过压缩，意思是如在上面的第二阶段(E)所讨论的任何有效的压缩方法。将压缩残差的操作称之为编码(Encode)操作。进一步注意的是，压缩的残差E_k被包括在比特流1100中。

编码器的接下来的步骤模拟在解码器进行的操作：

4)将压缩的残差E_k解压缩为重构的残差将解压缩被压缩的残差的这种操作称之为解码(Decode)操作。

5)将扩展的视频与重构的残差进行合并以获得重构的视频将扩展的视频与重构的残差进行合并的这种操作称之为聚合(Assemble)操作。该聚合操作在某种意义上是结式操作的反向操作。

比特流1100包含以下组成部分：

ctrl，编码器已知的但解码器未知的额外信息，其是为解压缩所述比特流所需的。例如，由编码器确定的迭代的次数N，是ctrl的一部分。还值得注意的是，ctrl是以压缩的形式被发送。

压缩的视频F_N。

压缩的残差：E_k，k＝N-1，…，0。

解码器1200具有如下两个阶段：

第一阶段Stage I(D)包括处理(Process)和解压缩(Decompress)操作。处理操作取回(retrieve)ctrl信息并设置必要的参数，诸如解码所需的例如迭代次数N。解压缩操作将F_N解压缩为视频正如在编码器的第二阶段(E)中做得那样。

第二阶段Stage II(D)包括第二恢复操作，该操作包括如下N个反过来的迭代：

在迭代k＝N-1，…，0中，来自以前的迭代(或k＝N-1的情况下的阶段)的重构的视频是输入，而输出是重构的视频这被以下面的方式进行(也可参见编码器的第三阶段(E))：

1)使用解码操作，以将压缩的残差E_k解压缩为重构的残差

2)使用聚合操作，以将扩展的视频与重构的残差进行合并以获得重构的视频

为了进一步阐明本发明，在此描述通用编解码器的一些可能的实施方式。它们是M编解码器、O编解码器以及OM编解码器。然而，值得注意的是，许多其他实施方式也是可能的，并且不排除这些例子。

示例一：多小波(M)编解码器

M编解码器是由如在图13的单元1310中描述的、所谓的DMWT滤波器的m_k个多小波滤波器的相应的集合所管理的。下面解释其作用。

在编码器1000中：

第一阶段Stage I(E)在迭代k＝0，…，N-1中，收缩操作是由低通分析滤波器A₀ ^(k)来确定的。也就是说，将滤波器A₀ ^(k)应用至Y_k以获得Y_k+1，参见图13的单元1320。

第二阶段Stage II(E)和以前一样。

第三阶段Stage III(E)在迭代k＝N-1，…，0中：

1)扩展操作是由低通合成滤波器S₀ ^(k)来确定的。也就是说，1)将滤波器S₀ ^(k)应用至以获得参见图13的单元1330。

2)结式操作是由m_k？1高通分析滤波器来确定的：

首先，计算Y_k和之间的差异，即D_k，参见图14的单元1410。

然后，将A_j ^(k)应用至D_k以获得相应的残差组分R_k ^(j)，其中j＝1，…，m_k？1，参见单元1420。

3)对于j＝1，…，m_k？1，将残差R_k ^(j)编码至成E_k ^(j)，参见单元1430。

4)从E_k ^(j)解码被重构的残差其中，j＝1，…，m_k？1，参见图15的单元1510。

5)聚合操作是由m_k？1个高通合成滤波器：来确定的：

对于j＝1，…，m_k？1，将S_j ^(k)应用至以获得组分参见单元1520。

然后，通过累加：

{\hat{Y}}_{k} = {\hat{C}}_{k} + Σ_{j = 1}^{m_{k} - 1} {\hat{D}}_{k}^{(j)}

来重构参见单元1530。

在比特流1100中：

所述ctrl信息除了N之外还包含DMWT滤波器。

在解码器1200中：

第一阶段Stage I(D)包括和以前一样的处理和解压缩操作。

第二阶段Stage II(D)在迭代k＝N-1，…，0中：

1)从E_k ^(j)中解码被重构的残差其中j＝1，…，m_k？1，参见单元1510。

2)使用如在上述第三阶段Stage III(E)中的聚合操作来重构视频即，如在上述步骤5中那样，将S_j ^(k)应用至以获得组分并且将这些组分与加和以获得视频参见单元1520和1530。

示例II：启示(Oracle)(O)编解码器

O编解码器是由参数的相应的集合所管理的，参见图16。该集合包括模糊/去模糊逆算子(inverse operator)，参见单元1610，下采样/上采样相反算子(opposite operator)和插值算子(interpolation operator)，参见单元1620和启示算子(oracle operator)，参见单元1630。下面描述它们的作用。

在编码器1000中：

第一阶段Stage I(E)在迭代k＝0，…，N-1中：

收缩操作是由相应的模糊算子和下采样算子来确定的。将模糊算子B^(k)应用至Y_k以生成Z_k，并且然后将下采样算子？^(k)应用至Z_k，以生成Y_k+1，参见图17的单元1710。

第二阶段Stage II(E)和以前一样。

第三阶段Stage III(E)在迭代k＝N-1，…，0中：

1)扩展操作是由相应的上采样算子、插值算子、启示算子以及去模糊算子来确定的。即，将上采样算子？^(k)及后续的插值算子I^(k)应用至以生成视频然后，将启示算子O^(k)应用至以生成为上述的Stage I(E)中的视频Z_k的重构的版本。启示操作，其基于重构对Z_k的最佳逼近其可以使用诸如超级分辨率(参见参考文献[5])以及压缩感知(compressed sensing，参见参考文献[6])的方法。最后，将去模糊算子应用至以生成参见单元1720。

2)结式操作仅仅是差值操作。也就是说，残差R_k是Y_k和之间的差值。然后，将残差R_k编码至成E_k，参见图18单元1810。

3)然后，从E_k中解码被重构的残差聚合操作就是加和操作，将加和至以获得视频参见单元1820。

在比特流1100中：

ctrl信息除了N外还包含如图16中的参数。

在解码器1200中：

第一阶段Stage I(D)和以前一样包括处理和解压缩操作。

第二阶段Stage II(D)在迭代k＝N-1，…，0中：

1)使用如上述Stage III(E)的步骤1中的扩展操作以从视频中重构视频参见单元1720。

2)使用解码操作以获得并且然后，进行如上述第三阶段Stage III(E)的步骤3中的聚合操作以从和重构参见单元1820。

示例III：启示多小波(OM)编解码器

将启示编解码器与多小波编解码器如下方式合并在一起：

基于O编解码器参数(参见图16)，来定义m_k个多小波滤波器(参见单元1310)。将得到的方法称之为OM编解码器。

现在，描述在给定O编解码器参数的情况下如何获取DMWT滤波器：

1)定义低通分析滤波器A₀ ^(k)，使得得到的收缩方法逼近给定的O编解码器收缩方法，参见图19的单元1910。

2)定义低通合成滤波器使得得到的扩展方法逼近给定的O编解码器扩展方法，参见单元1920。

3)定义m_k？1个高通分析滤波器均集合作为抵消的多小波滤波器，参见单元1930。

4)通过设定来完成DMWT滤波器的集合。使用小波的数学理论来进行它，参见参考文献[4]和专利[2]。

除了N之外，ctrl信息还包含如图16中的参数和如图19中的相应的DMWT滤波器。

在图20中描绘了OM编解码器的流程图。在单元2010中描绘了编码器流程图，并且在单元2020中描绘了解码器流程图。

在本申请中引用了下列文件，并且它们都通过引用并入本文。

专利

[1]Ilan Bar-On和Oleg Kostenko，“A method And A System For WaveletBased Processing”(基于小波的处理的方法和系统)，WO/2008/081459。

[2]Ilan Bar-On，“method And Apparatus For A Multidimensional DiscreteMultiwavelet Transform”(用于多维离散小波变换的方法和装置)，US8,331,708 B2，2012年12月11日。

参考文献

[1]“Computer Vision，A Modern Approach”(计算机视觉，一种现代方法)，D.Forsyth和J.Ponce，2012年。

[2]“ITU-R Recommendation BT.709”(ITU-R建议BT.709)，http://en.wikipedia.org/wiki/Rec._709。

[3]“Cut by Cut”，G.Chandler，2012年。

[4]“Wavelets and Multiwavelets”(小波和多小波)，Fritz Keinert，2004年。

[5]“Super-Resolution Imaging”(超分辨率成像)，P.Milanfar，2010年9月。

[6]“Compressed Sensing，Theory and Applications”(压缩感知，理论与应用)，Y.C.Eldar等，2012年6月。

[7]“Optical flow”(光流)，http://en.wikipedia.org/wiki/Optical_flow。

Claims

1.一种编码视频的方法，包括：

接收视频；

对接收的视频执行收缩操作，所述收缩操作包括：

从所述视频创建第一较低分辨率视频；以及

依次地创建另外的N-1个较低分辨率视频，另外的较低分辨率视频中的每一个都是从前一个较低分辨率视频创建的；

压缩最低分辨率视频；

通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；

对最低分辨率重构视频执行第一恢复操作，所述第一恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：

从较低分辨率重构视频创建较高分辨率视频；

计算相应的较低分辨率视频和创建的较高分辨率视频之间的残差；

压缩所计算出的残差；

解压缩被压缩的残差；以及

将解压缩的残差与创建的较高分辨率视频合并，以生成相应的较高分辨率重构视频；以及

提供比特流，所述比特流包括最低分辨率压缩视频、压缩的残差以及包括N的控制信息。

2.根据权利要求1所述的方法，其中，所述比特流包括低通分析滤波器，并且其中，创建较低分辨率视频包括将低通分析滤波器应用至视频。

3.根据权利要求1所述的方法，其中，所述比特流包括模糊算子和下采样算子，并且其中，创建较低分辨率视频包括将模糊算子应用至视频，并且将下采样算子应用至模糊操作结果。

4.根据权利要求2所述的方法，其中，所述比特流包括模糊算子和下采样算子，并且其中，低通分析滤波器是从模糊算子和下采样算子计算出的。

5.根据权利要求1所述的方法，其中，所述比特流包括低通合成滤波器，并且其中，创建较高分辨率视频包括将低通合成滤波器应用至较低分辨率重构视频。

6.根据权利要求1所述的方法，其中，所述比特流包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，创建较高分辨率视频包括：

a.将上采样算子及后续的插值算子应用至较低分辨率重构视频；

b.将启示算子应用至插值操作结果；以及

c.将去模糊算子应用至启示操作结果。

7.根据权利要求5所述的方法，其中，所述比特流包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，低通合成滤波器是从上采样算子、插值算子、启示算子和去模糊算子计算出的。

8.根据权利要求1所述的方法，其中，计算残差包括计算相应的较低分辨率视频和较高分辨率视频之间的差。

9.根据权利要求8所述的方法，其中，所述比特流包括高通分析滤波器，并且其中，计算残差还包括将高通分析滤波器应用至计算出的差。

10.根据权利要求9所述的方法，其中，高通分析滤波器是从计算出的差计算出的。

11.根据权利要求1所述的方法，其中，计算较高分辨率重构视频包括将解压缩的残差加和至较高分辨率视频。

12.根据权利要求1所述的方法，其中，所述比特流包括高通合成滤波器，并且其中，创建较高分辨率重构视频包括将高通合成滤波器应用至相应的解压缩的残差，并且将结果加和至较高分辨率视频。

13.根据权利要求12所述的方法，其中，高通合成滤波器是从低通分析滤波器、高通分析滤波器以及低通合成滤波器计算出的。

14.一种解码视频的方法，用于解码根据权利要求1所述的方法编码的视频，包括：

接收并处理包括最低分辨率压缩视频、压缩的残差以及控制信息的比特流；

通过解压缩最低分辨率压缩视频来创建最低分辨率重构视频；以及

对最低分辨率重构视频执行第二恢复操作，所述第二恢复操作包括依次地创建N个较高分辨率重构视频，较高分辨率重构视频中的每一个都是从前一个较低分辨率重构视频通过以下步骤来创建的：

从较低分辨率重构视频创建较高分辨率视频；

解码相应的较低分辨率视频和创建的较高分辨率视频之间的残差；以及

将解码的残差与创建的较高分辨率视频进行合并，以生成相应的较高分辨率重构视频。

15.根据权利要求14所述的方法，其中，所述比特流包括低通合成滤波器，并且其中，创建较高分辨率视频包括将低通合成滤波器应用至较低分辨率重构视频。

16.根据权利要求14所述的方法，其中，所述比特流包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，创建较高分辨率视频包括：

b.将启示算子应用至插值操作结果；以及

c.将去模糊算子应用至启示操作结果。

17.根据权利要求15所述的方法，其中，所述比特流包括上采样算子、插值算子、启示算子和去模糊算子，并且其中，低通合成滤波器是从上采样算子、插值算子、启示算子和去模糊算子计算出的。

18.根据权利要求14所述的方法，其中，计算较高分辨率重构视频包括将解压缩的残差加和至较高分辨率视频。

19.根据权利要求14所述的方法，其中，所述比特流包括高通合成滤波器，并且其中，创建较高分辨率重构视频包括将高通合成滤波器应用至相应的解压缩的残差，并且将结果加和至较高分辨率视频。

20.根据权利要求19所述的方法，其中，高通合成滤波器是从低通分析滤波器、高通分析滤波器以及低通合成滤波器计算出的。

21.一种视频编解码器，包括：

编码单元，用于编码视频；

重构单元，用于重构所编码的视频，所述重构单元创建解码数据的比特流；以及

解码单元，用于接收所述解码数据的比特流并且使用该比特流解码视频。

22.根据权利要求21所述的视频编解码器，其中，所述编码单元用于：

接收视频；

对接收的视频执行收缩操作，所述收缩操作包括：

从所述视频创建第一较低分辨率视频；

依次地创建另外的N-1个较低分辨率视频，另外的较低分辨率视频中的每一个都是从前一个较低分辨率视频创建的；以及

压缩最低分辨率视频。

23.根据权利要求22所述的视频编解码器，其中，所述重构单元用于：

从较低分辨率重构视频来创建较高分辨率视频；

压缩计算出的残差；

解压缩被压缩的残差；以及

将解压缩的残差与创建的较高分辨率视频进行合并，以生成相应的较高分辨率重构视频；

其中，所述比特流包括压缩的最低分辨率视频、压缩的残差以及包括N的控制信息。

24.根据权利要求23所述的视频编解码器，其中，所述解码单元用于：

接收并处理包括所述最低分辨率压缩视频、压缩的残差以及控制信息的比特流；

从较低分辨率重构视频创建较高分辨率视频；

25.一种解码视频的方法，用于解码根据权利要求1所述的方法编码的视频，其中，解码单元用于分析所重构的较高分辨率视频。

26.根据权利要求25所述的方法，其中，所述解码单元用于计算所重构的视频的运动场。

27.根据权利要求25所述的方法，其中，所述解码单元用于执行所重构的视频的对象识别。