CN102726044B - 使用基于示例的超分辨率的用于视频压缩的数据剪切 - Google Patents

Abstract

提供了一种利用基于示例的超分辨率的用于视频压缩的数据剪切方法和设备。提供了用于编码的方法和设备，其中视频的拼块从输入视频被提取并使用聚类方法被成组在一起，并且代表性的拼块被装入到拼块帧中。原始视频被缩小并且与拼块帧一起被发送或另外被发送。在解码器侧，所提供的方法和设备从拼块帧提取拼块并且创建拼块库。扩大常规的视频帧，并且通过使用解码的常规帧中的拼块作为关键字来搜索拼块库以使用来自该库的拼块替换低分辨率拼块。若无合适的拼块，则不进行替换。后处理过程用于提高恢复的视频的时空平滑度。

Description

使用基于示例的超分辨率的用于视频压缩的数据剪切

相关申请的交叉引用

本申请要求于2010年1月22日提交的题为“DATA PRUNING FOR VIDEOCOMPRESSION USING EXAMPLE-BASED SUPER-RESOLUTION”的美国临时申请序列号No.61/336516的权益，其全部内容通过引用结合在此。

技术领域

本原理涉及一种设备和方法，该设备和方法通过使用数据剪切(data prune)作为视频预处理技术而用于有效视频压缩，以通过在输入视频数据被编码之前移除其中一部分来实现更佳视频编码效率。

背景技术

用于视频压缩的数据修剪是视频压缩领域中的新兴技术。已有一些用于提高视频编码效率的关于数据修剪的先有技术。

一种方法是如提交到IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP)，2009的D.T.Vo，J.Sole，P.Yin，C.Gomila和T.Nguyen的″Data Pruning-Based Compression Using High Order Edge-Directed Interpolation″，Thomson Research technical report中的垂直线和水平线移除。该方法在编码前移除视频帧中的垂直线和水平线，并在编码后通过非线性插值法恢复这些线。这些线的位置被优化以最小化恢复误差。这种方法具有很多缺点。第一，这些线的位置必须通过边信道(sidechannel)发送并被无损编码，这会降低总体编码效率。第二，线的移除可能导致信息丢失，造成恢复过程中的混叠伪影。例如，如果在视频帧中有一像素的水平线，它就可能由于线移除而丢失并在解码器侧不可恢复。第三，在视频镜头中，对于该镜头中的所有帧，这些线的位置必须相同。若该镜头中有快动作，其可能造成包含重要信息的线被错误移除。尽管线移除可以被设计为适应镜头中的对象运动，但移除镜头内不同帧中的不同线可能产生人为运动，因此这会对涉及运动估计和运动补偿的视频编码过程产生不利影响。

另一类方法是基于块或区的移除，如下列文章中所述：P.Ndjiki-Nya，T.Hinz，A.Smolic和T.Wiegand，″A generic and automatic content-based approach forimproved H.264/MPEG4-AVC video coding，″IEEE International Conference on ImageProcessing(ICIP)，2005；Chunbo Zhu，Xiaoyan Sun，Feng Wu和Houqiang Li，″VideoCoding with Spatio-Temporal Texture Synthesis，″IEEE International Conferenceon Multimedia and Expo(ICME).2007；以及Chunbo Zhu，Xiaoyan Sun，Feng Wu和Houqiang Li，″Video coding with spatio-temporal texture synthesis and edge-based inpainting，″IEEE International Conference on Multimedia and Expo(ICME)，2008。除了被移除的是块和区而不是线之外，这些方法与线移除类似。移除的块或区通过插值或修复(inpainting)在解码器侧被恢复。这些方法的缺点与线移除的缺点类似。然而，使用块而不是线可以获得数据修剪的更大灵活性，因此减轻了信息丢失的问题，但其他问题与线移除方法的问题相同。

例如N.Jojic，B.Frey和A.Kannan，″Epitomic analysis of appearance andshape，″IEEE International Conference on Computer Vision(ICCV)，2003以及V.Cheung，B.Frey和N.Jojic，″Video epitomes，″IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR)，2005中的图像或视频缩影(epitome)是可以潜在地用于数据剪切以进行压缩的另一种技术。基于缩影的方法将图像(或视频)分割成拼块(patch)，并将图像表示为包含代表性拼块的小缩略图和将该图像中的拼块映射到缩影缩略图中的拼块的满射图。该小缩略图(即缩影)可被视为原始图像或视频的压缩版本，因此缩影可以潜在地用于压缩的目的。然而，将缩影应用于数据剪切的问题是满射图也必须作为边信息被发送到解码器。此外，满射图必须被无损编码，以避免对应错误和伪影，这会大大降低编码效率。

发明内容

本原理涉及一种利用基于示例的超分辨率的用于视频压缩的数据剪切方法和设备。

根据本原理的一个方面，提供了一种将数据剪切用于视频压缩的视频处理方法。该方法包括从接收的视频信号提取视频拼块或视频部分，将这些拼块聚类成组，并将来自这些组的代表性拼块装入(pack into)拼块帧中，并传送到解码器。

根据本原理的另一个方面，提供了一种将数据剪切用于视频压缩的视频处理设备。该设备包括用于从视频信号提取视频拼块并将这些拼块聚类成组的装置、将来自这些组的代表性拼块装入到拼块帧中的电路以及将数据传送到编码器的电路。

根据本原理的另一个方面，提供了一种将数据剪切用于视频压缩的视频处理设备。该设备包括从视频信号提取视频拼块并将这些拼块聚类成组的拼块提取器和聚类器、以及将来自这些组的代表性拼块装入拼块帧中的电路和将数据传送到编码器的电路。

根据本原理的另一方面，提供了一种视频处理方法，该方法包括：从拼块帧提取视频拼块，通过这些拼块创建拼块库，增大常规视频帧的大小，利用使用常规帧中的低分辨率视频部分作为关键字从拼块库中搜索到的拼块来替换这些低分辨率视频部分，并对得到的视频执行后处理。

根据本原理的另一方面，提供了一种视频解码设备，该视频解码设备包括：用于从拼块帧提取拼块并创建拼块库的装置、增大常规视频帧的大小的大小调整电路、使用常规帧中的低分辨率视频部分作为关键字来搜索拼块库的拼块搜索电路、用从拼块库中搜索到的拼块替换这些低分辨率部分的拼块替换电路、以及对来自拼块替换电路的视频执行后处理的后处理器。

根据本原理的另一方面，提供了一种视频解码设备，该视频解码设备包括：从拼块帧提取拼块并创建拼块库的拼块提取器处理器、增大常规视频帧的大小的大小调整电路、使用常规帧中的低分辨率视频部分作为关键字搜索拼块库的拼块搜索电路、用从拼块库中搜索到的拼块替换这些低分辨率部分的拼块替换电路、以及对来自拼块替换电路的视频执行后处理的后处理器。

根据结合附图阅读的对示例性实施例的后续详细说明，本原理的这些及其他方面、特征和优点将变得清楚。

附图说明

图1示出了根据本原理的基于示例的超分辨率方法的系统图。

图2示出了使用本原理的拼块聚类算法。

图3示出了使用本原理的两级聚类算法。

图4示出了交错采样处理。

图5示出了拼块位置优化和分布拼块。

图6示出了根据本原理将拼块装到拼块帧中的一个示例。

图7示出了根据本原理的搜素和替换过程的一个实施例。

图8示出了使用本原理的编码方法的一个实施例。

图9示出了使用本原理的编码设备的一个实施例。

图10示出了使用本原理的解码方法的一个实施例。

图11示出了使用本原理的解码设备的一个实施例。

具体实施方式

本文提出的原理提供了一种利用基于示例的超分辨率的新颖数据剪切框架。数据剪切是一种视频预处理技术，用于通过在输入视频数据被编码之前移除其中一部分来实现更佳视频编码效率。通过从解码的数据推断被移除的视频数据而在解码器侧恢复该被移除的视频数据。数据剪切的一个示例是图像线移除，其移除输入视频中的一些水平扫描线和垂直扫描线。

基于示例的超分辨率是一种超分辨率技术，该技术通过利用输入图像中的低分辨率(low-res)拼块作为查询关键字来查找拼块库中的高分辨率(high-res)拼块，并用检索到的高分辨率拼块替换低分辨率的输入图像中的低分辨率拼块，而将低分辨率图像转换成高分辨率图像。换句话说，低分辨率拼块起到如同拼块库的索引一样的作用以检索相应的高分辨率拼块。基于示例的超分辨率最初在William T.Freeman，Thouis R.Jones和EgonC.Pasztor，“Example-based super-resolution”，IEEE Computer Graphics andApplications，March/April，2002中提出，并用于将低分辨率图像转换成高分辨率图像。本文所述的原理介绍了一种基于这种基于示例的超分辨率技术的数据剪切方法。在所介绍的框架下，在发送器侧，对高分辨率拼块进行成组并从输入视频提取代表性高分辨率拼块。然后将代表性高分辨率拼块装进合成帧(拼块帧)序列中。原始视频的分辨率于是被降低并与拼块帧一起被发送到接收器。在接收器侧，从拼块帧检索高分辨率拼块以创建拼块库。通过使用低分辨率拼块作为关键字来搜索拼块库中的相应高分辨率拼块，从而用库中的高分辨率拼块替换所接收的被扩大的视频中的低分辨率拼块。

为了将基于示例的超分辨率方法应用于数据剪切，必须要解决数个其他问题，包括拼块提取、聚类、将拼块装进帧中、以及稳健恢复。与上述现有的数据剪切方法相比，该方法具有很多优点。第一，输入视频对于视频中的所有帧简单地被一致地调整为较小大小，因此不存在适应性线移除方法或块移除方法中的人为运动问题。第二，通过在拼块帧中发送代表性拼块保留了高分辨率信息，因此极大地缓解了信息丢失问题。第三，几乎不必或完全不必通过边信道发送其他元数据，例如线/块位置或满射图。

本文介绍的原理提供了一种方法，该方法用于在输入视频数据被编码和传送之前剪切该输入视频数据，并在剪切的视频数据被解码之后恢复该剪切的视频数据。数据剪切的目的是提高编码效率或满足预先规定的视频位速率要求。

本系统的一个实施例在图1中示出。在编码器侧，从输入视频提取拼块并使用聚类算法将其成组在一起。选择代表性拼块并将其装进拼块帧。在另一路径上，根据应用要求，将原始视频缩小到一定大小。然后可通过将拼块帧附着到常规的缩小的帧或作为分开的视频而发送到解码器。

在解码器侧，从拼块帧提取拼块，并对其处理以优化搜索和替换过程。然后该过程出于检索和替换的目的而创建拼块库。首先利用上采样和插值(例如双三次插值)将解码的常规帧扩大为原始大小。通过使用解码的常规帧中的拼块作为关键字来搜索相应的高分辨率拼块，从而用拼块库中的拼块替换扩大的帧中的低分辨率拼块。若不能在库中精确地定位这些高分辨率拼块，则不替换扩大的帧中的拼块。最后，执行后处理过程，以提高恢复的视频的时空平滑度。还可使用基于优化的方法将该后处理过程整合到该检索和替换过程中。

1.拼块提取和聚类

拼块提取是通过将视频帧分割成块的集合而实现的。在本原理的一个实施例中，拼块被定义为方块，例如16×16或8×8像素块。通过转换或平坦化相应的块图像(其可为诸如RGB或YUV之类的不同格式)，每个拼块被表示为拼块矢量。因此，通过将拼块矢量整形成矩阵，可以恢复与该拼块矢量相对应的块图像。除了平坦化块图像之外，还可通过从块图像提取特征(例如颜色直方图)来提取拼块矢量。拼块是从帧的序列中提取的。对于长视频，应将视频分割成图片组(GOP)。可在每个GOP中运行聚类算法。

拼块聚类的目的是将看起来一样或具有相似视觉特性的拼块成组在一起。只有聚类中的代表性拼块才被装进拼块帧中，以使得聚类内的拼块之中的冗余可被移除。在一个实施例中，每个聚类的代表性拼块为该聚类中的拼块的均值。聚类算法的输入为通过平坦化块图像或通过特征提取(在该示例性实施例中使用的是块图像平坦化)而提取的拼块矢量。

1.1拼块聚类算法

很多现有的聚类算法，例如k均值算法(也称作劳埃德算法)、层次聚类算法，可用于拼块聚类。我们的拼块聚类算法的要求是聚类中的拼块的外观变化不应太大。然而，常规聚类算法，例如k均值算法不能保证该要求。因此，在本实施例中，我们使用严格执行上述要求的经修改的k均值算法。

这种常规的k均值算法在以下两个步骤之间迭代，直到收敛为止：

1.针对每个数据点，查找对于该数据点到聚类中心之间的距离而言最近的聚类。然后将该数据点指派给最近的聚类。

2.在指派了所有数据点之后，通过重新计算指派给每个聚类的数据点的均值来更新每个聚类的中心。

我们的修改的k均值算法是类似的，但包括离群值舍弃处理：

1.针对每个数据点，查找对于该数据点到聚类中心之间的距离而言最近的聚类。若该距离大于规定的阈值β，则舍弃该数据点，否则将该数据点指派给该聚类。

2.在指派了所有数据点之后，通过重新计算指派给每个聚类的数据点的均值来更新每个聚类的中心。

该修改的k均值算法保证了聚类中的任何数据点到该聚类中心的距离总是小于规定的阈值β。该阈值β可凭经验通过观察聚类结果并手动调整该值来确定。

传统的k均值算法的另一个问题是聚类数量k必须先验地被确定。在本系统中，我们要求所有数据点被最小数量的聚类涵盖，因此在聚类过程之前k是未知的。为了解决该问题，我们的聚类算法从一个聚类开始，运行修改的k均值算法直到收敛，增加另一个聚类，重复该过程直到所有数据点都被指派给这些聚类中的一个聚类为止。用未被指派给任何现有聚类的数据点(任选的)之一来初始化每个增加的新聚类的中心。

整个聚类算法在图2的流程图中示出。

1.2更高效的拼块聚类

由于聚类过程每次增加一个聚类，并且针对每个聚类都必须再次运行修改的k均值算法，因此聚类过程往往较慢。为了加速聚类过程，我们开发了两个方案。第一个方案是两级聚类法，第二个方案是增量聚类法(incremental clustering)。

两级聚类过程(图3)首先使用较大的阈值β来运行聚类过程。在完成该聚类过程后，使用较小的阈值在从第一个聚类过程产生的每个聚类中运行聚类算法。像这样的层次聚类方案显著提高了速度，但代价是聚类结构不太精确。

增量聚类方案仅对第一帧运行两级聚类过程。对于后续帧，聚类过程会重新使用这些聚类，并利用从前一帧继承的聚类中心在每个帧中初始化聚类过程。其余的过程与图2所示的基本聚类算法相同。在完成对于每个帧的聚类过程之后，将丢弃该帧的拼块以节约存储器空间。并且，聚类过程仅保留聚类中心以及聚类中的数据点的数量。为了更新聚类，若M个数据点被指派给该聚类，则利用下式来更新该聚类中心：

$C_i^{+}=\frac{N_i{C}_i+\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{D}_j}{N_i+M}---\left(1\right)$

其中C_i是更新前的第i个聚类中心，C_i ⁺是更新后的聚类中心，并且D_j是指派给该聚类的数据点(拼块矢量)。N_i是更新前该聚类中数据点的数量。

增量聚类法的优点是它能够节约聚类过程中的计算时间和存储空间。对于长视频，使用非增量聚类法会导致过量的计算和存储要求。

1.3图片组

较多的拼块会产生较多的聚类。若拼块数量太大，计算就会变得太慢而不可行。因此，对于长视频，我们需要将视频分割成图片组(GOP)，其中聚类算法仅在每个GOP中运行。GOP中的帧数量可以是可变的或固定的。一种用于该灵活GOP的方法是使用镜头检测算法将一个视频切分成一组镜头，然后可将每个镜头视为一个GOP。

在确定了GOP的长度之后，会将拼块帧连接为每个GOP。若GOP的长度或拼块帧的数量是可变的，则必须使用边信道发送元数据(例如二进制标志)来表明一个帧为常规帧还是拼块帧。

1.4聚类选择

执行聚类选择过程是为了将要发送到解码器侧的聚类中的一些丢弃，因为并非所有聚类对于解码器侧处理都是需要的。例如，若该聚类仅包含具有微小细节的拼块，则可能不需要该聚类，因为平坦拼块的高清晰度版本和低清晰度版本几乎是一样的。

在一个示例性实施例中，保留了所有聚类。这是因为虽然平坦拼块不包含附加信息，但丢弃平坦拼块可能导致其中一些平坦拼块在搜索和替换过程中被吸引到其他聚类中，从而造成可见伪影。因此，将平坦拼块聚类保留作为“伪聚类”对于减少伪影是有益的。

2.将拼块装入拼块帧中

当在GOP内完成了该聚类过程后，聚类中心被获得作为每个聚类的代表性拼块。然后将代表性拼块装入拼块帧中。这些拼块帧和常规的缩小的帧将被连接在一起并发送到解码器侧。

2.1制作拼块帧

在一个示例性实施例中，首先将拼块装进与原始视频序列中的视频帧具有相同大小的帧中。之后，将大的拼块帧分割成与缩小的视频具有相同大小的帧。这可通过不同的方式实现。一种方式就是将帧分割成块。另一种方式是利用交错采样处理，以使得在大小减小后，这些帧看起来就像缩小的常规视频。这样做的益处是编码效率更高，因为所采样的帧可能看起来与相连接的常规帧相似，并且保持了时空平滑性。

交错采样处理通过将不同位置处的输入图像的样本复制到输出图像来将一个图像采样到多个图像。例如，若两两进行下采样，则坐标(1，1)，(1，3)，(3，1)....处的像素就会被复制到第一输出图像；坐标(1，2)，(1，4)，(3，2)....处的像素就会被复制到第二输出图像，以此类推(如图4所示)。应注意的是，除了像素以外，还可以以块为基本单位进行交错采样。

2.2优化拼块的位置

拼块可以通过很多不同的方式被装入帧中。然而，拼块被装入的方式应使拼块帧能被编码器高效压缩。这要求拼块帧在空间上和时间上是平滑的。可以定义一种调节拼块帧的空间和时间平滑度的总代价函数(cost function)。但优化该代价函数是非常困难的，因为该代价函数的输入空间为拼块的总排列。

因此，本系统使用不同的方法。本系统的方法背后的基本原理是所有拼块都应被保持在它们原始的相同位置中。这会保证拼块帧与原始帧相像，并且使得原始帧的空间结构得以保留。为实现此，在聚类过程中，保存每个聚类中的帧ID和拼块位置。在拼块装入过程中将使用该信息。

在完成该聚类过程后，为每个聚类附加该聚类中的所有拼块的位置信息。然后将聚类的代表性拼块分布到该拼块帧中的相应位置。例如，若一聚类包含标有坐标(1，2)，(2，2)的两个拼块，则该聚类的代表性拼块将被指派给该拼块帧中的(1，2)和(2，2)块。该过程在图5中示出。其结果是，该拼块帧的每个块可被指派多个备选拼块(每个拼块代表一个聚类)。优化过程将根据一定标准(例如空间平滑度)从备选拼块中选择一个拼块。在一个示例性实施例中，针对该拼块帧中的每一个块位置，我们选择拼块备选中未被指派到任何块位置的第一个拼块。然而，在指派后，其中一些块位置可能仍是空的，并且其中一些拼块还未被指派。然后根据一度量将未被指派的拼块指派给空块，该度量表示拼块与已被指派了拼块的相邻块的兼容性。兼容性度量由拼块与其相邻块之间的平均距离定义。填入处理将选择与其相邻块具有最佳兼容性度量的空拼块。若拼块帧中的空块未被填满，则用恒定颜色填充这些块，该颜色在一个实施例中为相邻块的平均色。若所有的空块都被填充，并且剩余有未指派的拼块，则创建另一个拼块帧并且重复相同的过程以容纳未指派的拼块。该过程在图6中示出。刚刚进行说明的数据剪切方法可以独立使用或与其他视频编码技术结合使用。

3.从拼块帧提取拼块和处理拼块

在解码器侧接收拼块帧之后，将通过块分割来提取拼块帧中的高分辨率拼块。除了如果数据在被传送之前已通过任何其他编码方法被编码因而必须执行的任何解码之外，这是还要做的。提取的拼块用于创建搜索表(即拼块库)并被贴附以“平坦拼块”或“非平坦拼块”标签或标记。

搜索表是通过将高分辨率拼块的大小减小为较小拼块而创建的。该大小调整比率等于视频帧的大小调整比率。缩小的拼块被视为用于搜索和替换过程的高分辨率拼块的“关键字”。

贴附处理被进行以将拼块标为“平坦拼块”或“非平坦拼块”。平坦拼块是具有微小高频细节或没有高频细节的拼块。搜索和替换过程会跳过平坦拼块进行替换。平坦拼块对于减少视觉伪影是有用的。若不使用这种机制，待恢复的图像中包含微小细节的拼块就可能被吸引到拼块库中的其他拼块，因此可能导致错误的拼块替换以及视觉伪影。“平坦拼块”分类是通过上采样和插值(例如双三次插值)首先将小的“关键字”拼块的大小调整为与高分辨率拼块相同的大小来实现的。之后，计算大小调整后的拼块与高分辨率拼块之间的距离。若该距离小于预定义阈值，则将高分辨率拼块标为“平坦拼块”。

4.拼块搜索和替换

在创建拼块搜索表之后，将执行拼块搜索和替换处理，以将低分辨率输入帧转换成高分辨率帧。

首先对缩小的输入帧进行上采样和插值(例如利用双三次插值)。然后一个块接一个块地进行搜索和替换处理。在搜索和替换处理中，可将缩小的输入帧中的相应块而不是扩大的帧中的块作为查询拼块，因为扩大的版本由于上采样和插值处理而失真，并且将较小拼块用于搜索在某种程度上更加高效。该搜索处理可以实现为线性搜索过程，但还可使用更复杂更快的搜索算法(例如二叉树搜索法)。在找到搜索表中的最近关键字拼块之后，该算法将查看该拼块的“平坦拼块”标记。若表中的该拼块为“平坦拼块”，则扩大的帧中的相应低分辨率拼块将被保持原样；否则将用与所识别的关键字拼块相对应的高分辨率拼块替换该低分辨率拼块。该处理在图7中示出。

5.对搜索和替换处理进行改进

搜索和替换处理的一个问题是其没有考虑到空间和时间平滑度。因此，若用拼块表中的错误拼块替换低分辨率帧中的拼块，就有可能产生可见伪影。解决该问题一种方法是利用后处理。一种方法是让系统检测潜在的拼块替换错误并平滑它们从而使其与相邻拼块一致。但精确检测拼块替换错误是难以实现的，并且平滑可能导致模糊的视频帧。

另一种方法是使用与现有技术中使用的方法类似的方法，其中搜索和替换处理被公式化表示为将时空平滑性考虑在内的代价函数最小化问题。

假定搜索表中有N个拼块并且在低分辨率帧中有M个拼块需要用高分辨率拼块替换，在低分辨率帧中的每个块位置处有N种拼块替换选择。因此，代价函数可被定义如下：

$\mathrm{Cost}(P_1,P_2,...,P_M)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}C1\left(P_i\right)+\mathrm{\λ}\underset{i,j}{\mathrm{\Σ}}C2(P_i,P_j)---\left(2\right)$

其中P_i为拼块表中的拼块选择，其范围为从1至N。λ为权重因子。C1为测量询问拼块与拼块表中P_i所对应的关键字拼块之间的距离的代价函数。例如，若与将被替换的低分辨率拼块相对应的缩小的拼块为I_i，并且拼块表中与索引P_i相对应的关键字拼块为我们就可以定义C2为测量相邻拼块的平滑度的代价函数，可被定义为C2可被预先计算并保存为N×N矩阵。

以上公式仅调节空间平滑度。时间平滑度可以通过增加另一项而被轻松并入，例如

$\mathrm{Cost}(P_1,P_2,...,P_M)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}C1\left(P_i\right)+\mathrm{\λ}\underset{i,j}{\mathrm{\Σ}}C2(P_i,P_j)+\mathrm{\μ}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}C3\left(P_i\right)$

其中C3为执行时间一致性的代价函数

$C3\left(P_i\right)={\left|\right|J_i-G_{P_i}\left|\right|}^2---\left(3\right)$

并且其中J_i为与当前帧中的拼块I_i相对应的前一帧中的拼块。若不考虑运动，则J_i正是与I_i相同位置处的前一帧中的拼块。若考虑运动，并且运动估计算法表明前一帧中的第k个拼块应当对应于I_i，则J_i应变为J_k。μ为用于平衡关键字配匹配代价与时间平滑度代价的另一个权重因子。

求解如等式(2)的优化的形式是计算机视觉方面的一个标准问题。并且其可以通过不同的方法来求解，例如置信传播算法、图割算法或蒙特卡洛模拟。

图8示出了将数据剪切用于视频压缩的视频编码方法800的一个实施例。输入视频序列到该过程中，该过程以步骤810中的拼块提取和聚类开始。并行地，在步骤830中缩小该视频。在步骤810中从该视频提取的拼块在步骤820中被装入到拼块帧中。拼块帧和缩小的常规视频帧在步骤840可被分开地或组合地发送到解码器。

图9示出了将数据剪切用于视频压缩的视频编码装置900的一个实施例。视频序列被输入到拼块提取器和聚类器910，其从该视频提取拼块并将其成组为聚类。拼块提取器和聚类器910的输出与将拼块帧与视频包装在一起的电路920的输入进行信号通信，该电路920查找被装入到拼块帧中的代表性拼块。输入的视频序列还被输入到缩小器930中以生成较小的帧。将拼块帧与视频包装在一起的电路920的输出被输入到发送电路940，该发送电路还接收来自缩小器930的输出作为输入。

图10示出了视频解码方法1000的一个实施例。该方法以拼块提取和处理开始，其中在步骤1010中从接收的视频提取拼块。接收的视频包括常规视频帧和拼块帧。与步骤1010并行的是，在步骤1020中对输入的规则视频进行上采样和插值。在步骤1010中提取拼块后，在步骤1030中将它们组织到拼块库中。在步骤1040中使用来自上采样之前的常规视频帧的、被称作关键字的视频部分，即低分辨率部分来搜索该库。这些关键字充当拼块库的索引或地址。在步骤1050中执行拼块替换，其中，在步骤1040的搜索过程中找到的拼块被用于替换来自经上采样的常规视频帧的其对应视频拼块。然后，在步骤1060中执行后处理，以提高所恢复的视频的时空平滑度。

图11示出了视频解码装置1100的一个实施例。该设备包括用于从接收的视频信号提取拼块并创建拼块库的拼块提取器处理器1110。来自编码器的输入视频还被发送到大小调整电路1125的输入，该大小调整电路对作为输入视频信号的一部分或与输入视频信号一起接收的常规视频帧进行上采样和插值。拼块提取器处理器1110的输出与拼块搜索电路1120的输入进行信号通信，该拼块搜索电路使用来自上采样前的常规视频帧的、被称作关键字的视频部分来搜索拼块库中合适的替换拼块。拼块搜索电路1120的输出与拼块替换电路1130的第一输入进行信号通信，该拼块替换电路还接收大小调整电路1125的输出作为第二输入。拼块替换电路1130用由拼块搜索电路1120查找到的来自拼块库的拼块来替换经上采样的常规视频帧中的低分辨率视频部分。拼块替换电路1130的输出与后处理器1140的输入进行信号通信，该后处理器提高所恢复视频的时空平滑度。

因此我们提供了一个或多个具有特定特征和方面的实施方式。然而，所述实施方式的特征和方面也可以适用于其他实施方式。

例如，这些实施方式和特征可以用在编码视频和/或编码其他类型的数据的环境下。此外，这些实施方式和特征可以用在某个标准的环境下或适于用在该标准的环境下。几个这种标准为AVC、用于多视点编码(MVC)的AVC扩展、用于可伸缩视频编码(SVC)的AVC扩展、以及所提出的用于3-D视频编码(3DV)和用于高性能视频编码(HVC)的MPEG/JVT标准，但也可以使用其他标准(现有的或以后的)。当然，这些实施方式和特征不是必须用在某个标准中。

在本说明书中提到本原理的“一个实施例”或“一实施例”或“一种实施方式”或“一实施方式”及其他变体，其含义为与该实施例相关而进行说明的特定特征、结构、特点等被包含在本原理的至少一个实施例中。因此，在全篇说明书的各处出现的“在一个实施例中”或“在一实施例中”或“在一个实施方式中”或“在一实施方式中”以及任何其他变体的出现不一定都是指同一个实施例。

本文所述实施方式可以以例如方法或过程、设备、软件程序、数据流、或信号来实现。即使仅在单一形式的实施方式的环境下讨论(例如仅作为方法进行讨论)，所讨论的特征的实施方式也可以以其他形式(例如设备或程序)实现。设备可以用例如适当的硬件、软件和固件实现。这些方法可以用例如设备(诸如处理器，该处理器是指一般的处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备)实现。处理器也包括通信设备，例如计算机、手机、便携式/个人数字助理(“PDA”)、以及便于在终端用户之间进行信息通信的其他设备。

本文所述各种过程和特征的实施方式可以在各种不同的设备或应用，特别是例如与数据编码和解码相关联的设备或应用中实施。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、提供输入到编码器的预处理器、视频编码器、视频解码器、视频编码解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA以及其他通信设备。应清楚的是，该设备可以是移动的，甚至可被安装在移动车辆中。

此外，这些方法可以通过由处理器执行的指令实现，并且这些指令(和/或通过某种实施方式产生的数据值)可以存储在处理器可读介质中，例如集成电路、软件载体或其他存储设备，诸如硬盘、高密度盘、随机存取存储器(“RAM”)或者只读存储器(“ROM”)。这些指令可以形成可在处理器可读介质上实体地实施的应用程序。指令可以例如是在硬件、固件、软件或其组合中。指令可以例如在操作系统、分开的应用或二者的组合中被找到。因此处理器的特征可以是，作为被配置为执行过程的设备以及包括具有执行过程的指令的处理器可读介质(例如存储设备)的设备两者。而且，除了指令之外，处理器可读介质还可以存储通过某种实施方式产生的数据值，或替代指令的是，处理器可读介质可以存储通过某种实施方式产生的数据值。

对于本领域的技术人员将变得明显的是，实施方式可以产生各种信号，该信号被格式化为用于承载可以例如被存储或传送的信息。该信息可以包括例如执行方法的指令、或通过上述实施方式之一产生的数据。该信号可以被格式化为例如电磁波(例如使用射频频谱部分)或基带信号。格式化例如可以包括编码数据流和以编码的数据流调制载体。该信号承载的信息可以是例如模拟信息或数字信息。该信号可以通过如人们已知的各种不同的有线或无线链路进行传送。该信号可以被存储在处理器可读介质上。

现在将对本原理的很多伴随的优点和特征进行说明，其中一些已在上文提及。例如，本原理的一个优点是，针对所有帧，输入信号被一致地调整为较小大小，并且因此不引入人为运动伪影。

另一个优点是，通过在拼块帧中发送代表性拼块，保留了高分辨率信息，因此将信息丢失降到最低。

又一个优点是，根据本原理，不必通过边信道发送附加元数据，例如线或块位置或者满射图。

已对很多实施方式进行了说明。然而，应理解的是可以做出各种修改。例如，可以对不同实施方式的元素进行组合、补充、修改或删除以产生其他实施方式。此外，普通技术人员应理解的是，其他结构和过程可以替代所公开的结构和过程，并且由此产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一种或多种)功能，以实现与这些实施方式所公开的至少基本上相同的(一种或多种)结果。因此，这些及其他实施方式被本公开考虑在内并且是在本公开的范围内。

Claims (34)

1.一种视频处理方法，包括：

从接收的视频信号提取视频拼块；

将拼块聚类成组，其中，所述聚类通过以下步骤来执行：

查找在每个数据点与聚类中心之间具有最小距离的聚类；

将所述最小距离与阈值进行比较，并且如果大于所述阈值，则所述数据点被舍弃，否则所述数据点被指派给所述聚类；并且

在所有数据点被指派之后，重新计算被指派给所述聚类的所述数据点的均值来确定经更新的每个聚类的中心，其中，每个聚类内的帧标识和拼块位置被保留；

缩小原始视频；

将来自这些组的代表性拼块装入拼块帧中它们相应的位置处；

根据基于相邻块的度量来将未被指派的拼块指派给所述拼块帧中的空块；

如果剩余有未指派的拼块，则创建另一个拼块帧；

将常量指派给拼块帧内未被填满的空块；

使用交错采样处理来分割拼块帧和

将缩小的原始视频以及所述经分割的拼块帧传送到解码器。

2.如权利要求1所述的方法，还包括将用于所述拼块帧的数据连接到所述接收的视频信号。

3.如权利要求2所述的方法，其中，所述连接是通过以所述拼块帧的数据穿插常规帧的数据来执行的。

4.如权利要求1所述的方法，其中，所述提取是基于所述视频的特征执行的。

5.如权利要求1所述的方法，其中，所述聚类是基于经修改的k均值算法执行的。

6.如权利要求1所述的方法，其中，所述聚类是利用增量聚类执行的。

7.如权利要求1所述的方法，其中，所述拼块帧是通过将其分割成块而被缩小的。

8.如权利要求1所述的方法，其中，所述拼块帧是通过使用交错采样而被缩小的。

9.如权利要求2所述的方法，其中，所述拼块帧中的拼块的位置被优化以实现时空平滑度。

10.如权利要求2所述的方法，其中，标志被用来指示帧是拼块帧还是来自所述接收的视频信号的帧。

11.一种视频处理设备，包括：

用于从接收的视频信号提取视频拼块并将拼块聚类成组的装置，其中，所述聚类通过以下步骤来执行：

查找在每个数据点与聚类中心之间具有最小距离的聚类；

将所述最小距离与阈值进行比较，并且如果大于所述阈值，则所述数据点被舍弃，否则所述数据点被指派给所述聚类；并且

在所有数据点被指派之后，重新计算被指派给所述聚类的所述数据点的均值来确定经更新的每个聚类的中心，其中，每个聚类内的帧标识和拼块位置被保留；

缩小该接收的视频信号的大小的缩小器；

将来自所述组的代表性拼块装入拼块帧中它们相应的位置处；并且根据基于相邻块的度量来将未被指派的拼块指派给所述拼块帧中的空块；同时如果剩余有未指派的拼块，则创建另一个拼块帧；并且将常量指派给拼块帧内未被填满的空块；并且使用交错采样处理来分割拼块帧的电路；和

将所述经分割的拼块帧和缩小的视频信号传送到解码器的电路。

12.如权利要求11所述的设备，其中，将所述经分割的拼块帧和缩小的视频信号传送到解码器的电路将用于所述拼块帧的数据连接到所述接收的视频信号。

13.如权利要求11所述的设备，其中，将所述经分割的拼块帧和缩小的视频信号传送到解码器的电路以来自拼块帧的数据穿插来自所述接收的视频信号的数据。

14.如权利要求11所述的设备，其中，所述用于提取视频拼块并聚类所述拼块的装置基于视频的特征执行提取。

15.如权利要求11所述的设备，其中，所述聚类器基于经修改的k均值算法执行聚类。

16.如权利要求11所述的设备，其中，所述聚类器使用增量聚类来执行聚类。

17.如权利要求11所述的设备，其中，使用交错采样处理来分割拼块帧的电路通过将拼块帧分割成块来缩小拼块帧。

18.如权利要求11所述的设备，其中，所述拼块帧是通过使用交错采样而被缩小的。

19.如权利要求12所述的设备，其中，所述拼块帧中的拼块的位置被优化以实现时空平滑度。

20.如权利要求12所述的设备，其中，标志被用来指示帧是拼块帧还是来自所述接收的视频信号的帧。

21.一种用于处理视频信号的方法，包括：

从通过交错采样处理形成的拼块帧提取视频拼块，其中，所述拼块帧包括所述视频信号中在相应位置处的代表性拼块；

通过将高分辨率拼块的大小减小为较小的拼块来从所提取的拼块创建拼块库，所述创建步骤还包括将具有两种可能值的标记添加到所提取的拼块，所述标记指示相应的拼块中的高频细节的等级，并且其中所述标记通过上采样和插值使小尺寸拼块变为与相应的高分辨率拼块相同的大小，并且将所述经调整大小的拼块和其相应的原始拼块之间的距离与预定义阈值进行比较来创建，以在所述距离小于所述预定义阈值的情况下，将所述高分辨率拼块标记为平坦拼块；

增大常规视频帧的大小；

使用利用增大了大小的常规视频帧中的低分辨率视频部分作为关键字从所述拼块库搜索到的拼块来替换所述低分辨率视频部分；和

对得到的视频执行后处理。

22.如权利要求21所述的方法，其中，所述提取是基于块执行的。

23.如权利要求21所述的方法，其中，所述替换步骤是基于块执行的。

24.如权利要求21所述的方法，其中，所述替换步骤中的搜索是使用二叉树搜索执行的。

25.如权利要求21所述的方法，其中，所述标记由替换步骤用来判断是否用来自所述拼块库的一拼块来替换某拼块。

26.如权利要求21所述的方法，其中，所述替换步骤是基于代价函数的最小化的。

27.如权利要求26所述的方法，其中，所述代价函数是基于时空平滑度的。

28.一种用于处理视频信号的设备，包括：

用于从通过交错采样处理形成的拼块帧提取视频拼块并通过将高分辨率拼块的大小减小为较小的拼块来从所提取的拼块创建拼块库的装置，其中，所述拼块帧包括所述视频信号中在相应位置处的代表性拼块，并且所述创建步骤还包括将具有两种可能值的标记添加到所提取的拼块，所述标记指示相应的拼块中的高频细节的等级，并且其中所述标记通过上采样和插值使小尺寸拼块变为与相应的高分辨率拼块相同的大小，并且将所述经调整大小的拼块和其相应的原始拼块之间的距离与预定义阈值进行比较来创建，以在所述距离小于所述预定义阈值的情况下，将所述高分辨率拼块标记为平坦拼块；

增大常规视频帧的大小的大小调整电路；

使用所述常规视频帧中的低分辨率视频部分作为关键字来搜索所述拼块库的拼块搜索电路；

用从所述拼块库搜索到的拼块替换增大了大小的常规视频帧中的低分辨率视频部分的拼块替换电路；以及

对来自所述拼块替换电路的视频执行后处理的后处理器。

29.如权利要求28所述的设备，其中，所述装置是拼块提取器处理器。

30.如权利要求28所述的设备，其中，所述拼块替换电路基于块进行操作。

31.如权利要求28所述的设备，其中，所述拼块搜索电路执行二叉树搜索。

32.如权利要求28所述的设备，其中，所述拼块替换电路根据所述标记来判断是否用来自所述拼块库的拼块替换增大了大小的常规视频帧中的低分辨率视频拼块。

33.如权利要求28所述的设备，其中，所述拼块替换电路通过使代价函数最小化来替换拼块。

34.如权利要求33所述的设备，其中，所述代价函数使测量时空平滑度的代价函数最小化。