CN101263713A - 用于运动补偿的自然成形区域 - Google Patents

Abstract

一种用于不规则运动补偿的方法，该方法包括以下步骤：利用参考图像中的对象的轮廓将该参考图像栅格化成多个不规则形状，并且通过为每个不规则形状分配一个运动矢量而将每个不规则形状映射到目标图像的位置。

Description

用于运动补偿的自然成形区域

技术领域

本发明涉及视频压缩领域。

背景技术

通过去除图像之间的时间冗余可以实现对视频序列的高压缩增益。例如，为了对图像进行编码，基于先前经过编码的图像产成对将要编码的图像的时间预测。比较该时间预测和实际图像以得出预测误差，并且对该预测误差进行编码。所述预测可以利用传统的基于块的运动估计及补偿法来完成。

运动补偿及估计法被用于在一个或多个参考图像中找出参考块，以预测相应目标块在目标图像中的位置，从而使得仅仅需要对目标的运动矢量和预测余量进行编码。这些方法执行块匹配来确定参考图像中与目标图像中的相应目标块最相似的参考像素块。参考块和相应目标块之间的像素距离就是该目标块的运动矢量。

运动补偿过程以将目标图像和参考图像栅格化成固定大小的块开始。图1示出通常应用于参考和目标图像的两种标准形状定义。第一种定义110通过利用不重叠的16×16像素块来栅格化图像。第二种定义120利用了4×4的块。这些位于目标和参考图像的预定区域中的固定大小的块与图像中对象的形状和位置无关。

通常，目标图像中的像素被精确分配到一个块中。这种一一对应的映射被称为栅格化。每个块被分配一个运动矢量，该运动矢量用于将该块映射到参考图像的对应部分中。然后，通过利用由运动矢量定义的映射形成经补偿图像(该图像接近目标图像)，以确定出相应的参考块，然后，把像素值从参考块复制到由目标块定义的区域。

确定出所期望的目标图像和经补偿图像之间的误差，然后对该误差的余量校正进行编码。假设编码器和解码器都选取相同的参考图像。因此，仅仅通过发送运动矢量和余量校正来完成视频编码。

成功的视频编码器通过利用有限计算资源均衡许多因素来生成高质量的目标图像。在所有这些因素中，参考数据的选择或许对视频质量最为重要，而且在计算资源方面也耗费最大。例如，如果对象从参考图像中的一个位置移动到目标图像中的另一位置，则运动矢量应当能够将该对象从参考图像映射到目标图像。

然而，传统的运动补偿法利用了用于映射很难与运动对象的边界对应的预定块的运动矢量。由于预定块的形状与参考图像中运动对象的自然轮廓无关，因此，运动矢量对部分与该运动对象无关并且部分与该运动对象有关的参考块进行映射。这导致经补偿图像的误差增加。

因此，需要一种确定参考图像中运动对象的自然轮廓的方法，以改进运动补偿的质量。

发明内容

一种用于不规则运动补偿的方法，该方法包括以下步骤：利用参考图像中对象的轮廓将该参考图像栅格化成多个不规则形状，并且通过为每个不规则形状分配一个运动矢量而将每个不规则形状映射到目标图像的特定位置。

附图说明

本发明是通过示例来描述的，并且通过参考下面结合附图的描述将会更好地理解本发明，在附图中：

图1示出通常应用于目标图像的两种标准形状定义。

图2示出利用运动补偿法进行视频编码的示例，其中，所述运动补偿法利用了不规则成形区域和不规则间隔的运动矢量。

图3示出用于找出参考图像中对象的自然轮廓的方法的示例。

图4示出利用图3的方法产生的不规则形状的示例。

图5示出与固定大小块组合的不规则形状的示例。

图6示出利用不规则运动补偿法执行视频编码以对视频数据图像进行编码的示例；

图7示出利用不规则补偿法对图像进行解码的示例。

图8示出利用不规则补偿法的系统的示例。

具体实施方式

在下面的描述中，参考了形成本申请的一部分的附图，在附图中示出了可以实施本发明的具体实施例。应当理解，可以利用其它实施例，并且在不脱离本发明的范围内可以作出各种结构改变。例如，本领域的技术人员将明白用于描述各个实施例的术语场、帧、图像或画面在结合视频数据使用时一般是可以互换的。

运动补偿法利用了根据参考图像的内容动态确定的不规则形状。每个不规则形状确定出与参考图像中一部分自然对象对应的一组像素。因此，该形状的边界对应于至少一部分对象的边界，而不是对应于与对象无关的预定块。当运动补偿法将运动矢量分配给不规则形状时，所得到的映射自动对齐不规则形状的边界和目标图像的边界，从而降低补偿误差。

图2中示出了视频编码器中使用利用不规则形状进行运动补偿的示例。在210中，编码器找出参考图像中对象的自然轮廓并且根据该自然轮廓生成不规则形状，以替代传统运动补偿中预定的固定大小的块。在220中，为每个不规则形状分配一个运动矢量，以将该形状映射到目标图像的特定位置。在230中，在目标图像中定义固定大小的块。在240中，为每个固定大小的块分配一个运动矢量，以将其映射到参考图像的特定位置。在250中，组合不规则形状的运动矢量和固定大小的块的运动矢量。在255中，运动矢量选择法从不规则形状和固定大小的块的组合的运动矢量中选择一组符合失真率标准的运动矢量。在一些实施例中，该选择法确定出对于被映射到多个形状或根本没有被映射到形状的每个目标像素的补偿值。在260中，将该组运动矢量和参考图像发送给解码器。在270中，在解码器中生成不规则形状。在280中，形成经补偿图像。

更具体地描述210，图3示出用于找出参考图像中对象的轮廓线的方法的示例。在305中，将参考图像划分成与图像特征无关的初始像素组。在310中，为每个初始像素组计算组统计量(group statistic)。组统计量的一个示例是颜色变量：

颜色变量＝变量(Y)＝2^*变量(U)+2^*变量(V)其中，变量(Y)是应用于该组内像素的亮度分量的变量的统计度量，而变量(U)和变量(V)是该组内像素的色差分量的变量。

在315中，如果达到停止标准，则该方法在320中结束。停止标准的示例包括预定的重复次数、改变次数、所有一致性测量。另一示例是时限。当该方法结束时，当前组被输出用作参考形状。

否则，在322中，选择一个像素作为用于改变组的候选像素。在一些实施例中，该像素是被随机(伪随机)选择的、根据预定顺序选择的或者利用选择规则选择的。在325中，该方法判断该像素是否是另一组中至少一个像素的邻居。如果不是，则该方法返回322以选择另一候选像素。

如果是，则在330中，对每个近邻组作出候选像素改变。例如，一个组(组A)中的候选像素可以是三个组(组B、C、D)的邻居。为了判断候选像素改变是否会导致组A的颜色变量减小以及其它组的颜色变量增大，在335中针对每次候选像素改变计算候选像素一致性得分。例如，在330中，候选像素改变将候选像素从其当前组(组A)移动到其近邻组的一个(例如，组B)中。然后，在335中针对该候选像素改变为组A和组B计算候选像素一致性得分。在330中还对组C和组D作出候选像素改变，并且在335中还针对该候选像素改变计算候选像素一致性得分。

在一个实施例中，候选像素一致性得分记录去除了候选像素的组和添加候选像素的组的最大颜色变量。一致性得分越小，得到的组被认为越一致。例如，当组A的起始颜色变量相对较高并且根据候选像素改变而减小，并且组B的颜色变量相对较小并且根据候选像素改变而增大时，候选像素一致性得分相对较低。

在340中，确定最佳候选像素一致性得分。在一些实施例中，最佳候选像素一致性得分源于极小化最大准则(minmax criteria)：最佳得分是产生最小的最大颜色变量的得分。在342中，该方法判断最佳候选像素一致性得分是否优于当前的一致性得分，如果是，则在345中将该像素移动到另一组，并且在350中更新所有组统计量，以反映此次改变。否则，不作出改变，并且该方法返回到315。

在执行用于找出参考图像的自然轮廓的方法之后，预定块从与图像特征无关的像素转变成遵从图像特征的不规则形状像素。每个得到的不规则形状像素不一定是一个连通集。在图4中示出了利用图3的方法生成的不规则形状的示例。参考图像430中的初始像素组410被转变成具有与参考图像的特征有关的轮廓线的不规则形状像素组420。在一些实施例中，初始组410具有预定的形状(例如块状)，或者是从另一源(例如先前被编码的图像)输入的。在该示例中，本方法输出作为分离的像素组420的不规则形状。如果需要，可以通过限制重复的总次数或者通过按照一致性得分促进连通性来控制分离。

如果目标像素被映射到多个形状，则利用这多个形状来确定目标像素值。目标图像中的多个区域可以被映射到单个参考图像中的多个形状，因为用于找出参考图像中对象的自然轮廓的方法将参考图像栅格化，而不是把目标图像栅格化。相反地，在目标图像中可能存在不能映射到不规则栅格化的参考图像中的任何像素的像素。

在一些实施例中，根据多个参考形状中参考像素值的平均值(该值作为目标像素的补偿值)来确定映射成多个参考形状的目标像素的值。例如，用于计算N个参考像素值的平均值的递归公式在预先不知道参考形状的总数时特别有用。也就是说，给定x_N(其是x₁，x₂，…x_N像素值的平均值)，利用递归修正公式来计算x_N+1：

${\stackrel{\‾}{x}}_{N+1}=\frac{(N{\stackrel{\‾}{x}}_N+x_{N+1})}{N+1}$

并存储移动平均值，x_N，以及参考形状的连续个数N。

在一些实施例中，利用预定值(例如，128)或者内插值来补偿不能映射到任何参考像素的像素。替代地，生成覆盖整个目标图像的固定大小的块。然后，组合用于固定大小的块的运动矢量和用于不规则形状的运动矢量。例如，如图5所示，运动矢量512将不规则形状510从参考图像515映射到目标图像530中匹配像素形状517。运动矢量522将预定的固定大小的块527从目标图像530映射到参考图像525中匹配的固定大小的块520。

运动矢量512和522的方向表示在哪里进行了初始形状栅格化。在预定的固定大小的块527的情况中，该栅格化对应于目标图像530中的预定区域。这样，当生成固定大小的块527的运动矢量522时，检查参考图像525中的搜索区域529，以确定出参考块520从相应固定大小目标块527的位移。在不规则形状510的情况中，该栅格化是对参考图像515执行的。当生成不规则形状510的运动矢量512时，检查目标图像530中的搜索区域519，以确定出匹配形状517从参考图像515中相应不规则形状510的位移。

不规则形状的运动矢量和固定大小的块的运动矢量在被组合时形成一组候选运动矢量。运动矢量选择法从候选运动矢量组中选择从失真率来说近似最优的运动矢量。所选择的运动矢量形成不规则布局的运动矢量，这些矢量然后被发送到解码器。解码器然后利用这些不规则形状的运动矢量和预定义的固定大小的块的运动矢量以及参考图像形成经补偿图像。

解码器可以从形状定义库中检索固定大小的块的形状，或者固定大小的块的形状定义可以被发送给解码器。然而，不规则形状的形状不被发送给解码器，以减少发送的数据量。替代地，在解码器中利用图3所示的方法生成每个不规则形状的定义。由于编码器和解码器二者都具有相同的参考图像，因此，它们能够推导出同样的形状信息，而无需通过对参考图像应用同样的方法生成不规则形状来发送额外的位。因此，不需要将不规则形状的定义从编码器发送到解码器。在一些实施例中，少数指定停止标准的位(例如，重复执行的次数)被发送给解码器，以保证编码器和解码器之间同步。

在一个实施例中，补偿法用于对视频数据图像(或者帧、或者场)进行编码的视频编码中，如图6所示。在610中，编码器接收输入的目标图像。(包含与目标图像有关的解码图像数据的一组参考图像在编码处理中对编码器可用，并且在解码处理中对解码器可用)。在620中，编码器利用图2和图3的方法生成与目标图像有关的不规则形状和不规则样本或分布的运动矢量。在630中，样本布局信息(例如，表示该布局的位)被发送给解码器。

在640中，时间预测滤波处理应用于不规则运动矢量样本布局，以产生成对目标图像的预测。在650中，对该运动矢量值进行编码，并将其发送给解码器。在660中，生成余量，余量是目标图像的实际目标数据减去来自自适应过滤处理的预测误差。在670中，对余量进行编码，并且在680中发送给解码器。

在另一实施例中，不规则布局的运动矢量和不规则补偿法用于对视频数据图像(或者帧、或者场)进行解码，如图7所示。在710中，接收经过编码的余量。在720中，解码器对所接收到的经过编码的余量进行解码。在730中，解码器接收样本布局信息、参考图像和运动矢量值，并且利用图3的方法生成不规则形状。然后，在740中，解码器应用自适应时间滤波过程来产生时间预测。在750中，通过将经过解码的余量添加到时间预测中而生成经过解码的目标图像。

图8是利用图2和图3的方法生成和利用不规则形状的系统的示例。

数字视频照相机810以电子形式捕获图像，并且利用压缩设备820处理图像，其中，压缩设备620在压缩和编码处理中利用运动补偿法。经过编码的图像通过电子传输介质830被发送到数字回放设备840。由解码设备850对图像进行解码，其中，在解码处理中，解码设备850利用图3的方法。照相机810是包括本发明的实施例的多种图像处理装置(例如，其它图像捕获设备、图像编辑器、图像处理器、个人和商用计算机平台等等)中的示例性的一种。同样，解码设备850是对图像数据进行解码的多种设备中的示例性的一种。

虽然依照特定系统环境中的示例性实施例描述了本发明，但是本领域技术人员将会明白在不脱离所附权利要求的精神和范围内可以在其它和不同硬件和软件环境中按照多种方式来实施本发明。

Claims (15)

1.一种由电子数据处理器执行的方法，包括：

利用参考图像中的对象的轮廓将该参考图像栅格化成多个不规则形状；并且

通过为每个不规则形状分配一个运动矢量而将每个不规则形状映射到目标图像的位置。

2.如权利要求1所述的方法，还包括：

将所述目标图像栅格化成多个固定大小的块；

通过为每个固定大小的块分配一个运动矢量而将所述固定大小的块映射到所述参考图像的区域中；并且

将所述固定大小的块的运动矢量和所述不规则形状的运动矢量组合成组合运动矢量组。

3.如权利要求1所述的方法，还包括：

将所述运动矢量发送到解码器；并且

利用所发送的所述运动矢量和所述参考图像形成经补偿图像。

4.如权利要求3所述的方法，其中，利用所发送的运动矢量和所述参考图像形成经补偿图像包括：

利用解码器将所述参考图像栅格化成所述多个不规则形状。

5.如权利要求4所述的方法，其中，第一不规则形状的一部分和第二不规则形状的一部分被映射到所述经补偿图像中的重叠位置，所述方法还包括：

利用所述第一不规则形状和所述第二不规则形状确定所述重叠位置中的每个像素的值。

6.一种装置，包括：

不规则形状生成器，用于利用参考图像中的对象的轮廓将该参考图像栅格化成多个不规则形状；以及

运动矢量分配装置，用于通过为每个不规则形状分配一个运动矢量而将每个不规则形状映射到目标图像的位置。

7.如权利要求6所述的装置，还包括：

固定大小栅格化装置，用于将所述目标图像栅格化成多个固定大小块；

固定大小块分配装置，用于通过为每个固定大小块分配一个运动矢量而将所述固定大小块映射到所述参考图像的区域；以及

组合器，用于将所述固定大小块的运动矢量和所述不规则形状的运动矢量组合成组合运动矢量组。

8.如权利要求6所述的装置，还包括：

发送器，用于发送所述运动矢量和所述参考图像；以及

解码器，用于接收所发送的所述运动矢量，并且利用所发送的所述运动矢量和所述参考图像形成经补偿图像。

9.如权利要求8所述的装置，其中，所述解码器被配置用于将所述参考图像栅格化成所述多个不规则形状。

10.如权利要求9所述的装置，其中，所述解码器被配置用于将第一不规则形状的一部分和第二不规则形状的一部分映射到所述经补偿图像中的重叠位置，所述解码器还被配置用于利用所述第一不规则形状和所述第二不规则形状确定所述重叠位置中的每个像素的值。

11.一种存储指令计算程序的计算机可读介质，所述指令计算程序在被处理系统执行时使该系统执行包括以下步骤的方法：

利用参考图像中的对象的轮廓将该参考图像栅格化成多个不规则形状；并且

通过为每个不规则形状分配一个运动矢量而将每个不规则形状映射到目标图像的位置。

12.如权利要求11所述的计算机可读介质，还包括：

将所述目标图像栅格化成多个固定大小的块；

通过为每个固定大小的块分配一个运动矢量而将所述固定大小的块映射到所述参考图像的区域中；并且

将所述固定大小的块的运动矢量和所述不规则形状的运动矢量组合成组合运动矢量组。

13.如权利要求11所述的计算机可读介质，还包括：

将所述运动矢量和所述参考图像发送到解码器；并且

利用所发送的所述运动矢量和所述参考图像形成经补偿图像。

14.如权利要求13所述的计算机可读介质，其中，利用所发送的所述运动矢量和所述参考图像形成经补偿图像包括：

利用解码器将所述参考图像栅格化成所述多个不规则形状。

15.如权利要求14所述的计算机可读介质，其中，第一不规则形状的一部分和第二不规则形状的一部分被映射到所述经补偿图像中的重叠位置，还包括：

利用所述第一不规则形状和所述第二不规则形状确定所述重叠位置中的每个像素的值。

Images