CN101416515B - 用于改进递归运动估计器的收敛速度的方法和设备 - Google Patents

Abstract

本发明涉及一种用于通过估计与至少第一和第二图像帧的一部分像素相关的至少一个运动矢量来对所述至少第一和第二图像帧进行运动估计的方法，所述第一和第二图像帧是图像帧序列的部分，其中所述至少一个运动矢量是通过以下步骤获得的：主导运动检测步骤，其用于根据至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关；以及估计步骤，其用于在所述至少一个全局运动矢量的基础上估计所述至少一个运动矢量。本发明还涉及一种适用于运动估计的相应设备。

Description

用于改进递归运动估计器的收敛速度的方法和设备

发明的技术领域

本发明涉及一种用于画面改进的方法和设备，更具体来说，处于视频编码和压缩以及/或者运动补偿的帧速率转换的领域。此外，本发明还涉及一种用于运动矢量场后处理以便改进递归运动估计器的收敛速度的方法和设备。

运动估计器提供运动矢量和/或者在分析之后提供运动模型，其中所述运动模型基本上反映摄影机运动，比如推移(前向、后向)、跟踪(左、右)、变焦(上、下)、摇摄(左、右)、倾斜(上、下)以及/或者滚动(沿着视轴)。对于各种应用有不同的运动估计方式：可以被用于编码、运动补偿的帧速率转换或者全局运动补偿。

在递归运动估计器中检测全局运动是已知的方法。从所估计的运动矢量场中选取实例矢量并且将其用来求解一组方程，该组方程定义参数化运动模型。在例如9个均等分布的位置处对所述矢量场进行采样。这9个运动矢量被选取来求解4参数方程组。该运动模型提供一个单一全局运动矢量，其可以在运动矢量处理期间被使用；但是仅在根据质量标准良好地确定了所述运动模型的参数的情况下才被使用。由于所述质量标准非常严格并且决定所述全局运动矢量是否足够好，因此对所述全局运动矢量的使用不够频繁。

对此的原因在于，所述运动矢量场内的样本处在固定位置处，其不一定会覆盖发生全局运动的点。所述样本例如可能是关于局部运动的样本矢量。

待解决的问题是改进递归运动估计器的收敛速度。在非常快速且突然的全局运动场景的情况下，所述运动估计器不能在整个画面场景上捕捉所述运动。这导致由于失败的运动补偿处理而造成的可见画面伪像。

发明内容

本发明的目的是提供一种可操作用于支持递归运动估计处理的方法和设备。

另一目的是改进运动估计器的收敛速度。

另一目的是改进用于运动补偿的帧速率转换的运动估计方法。

本发明的另一目的是改进视频信号的图像质量。

这些目的是通过一种运动估计方法而实现的，该方法通过估计与至少第一和第二图像帧的一部分像素相关的至少一个运动矢量来对所述至少第一和第二图像帧进行运动估计，所述第一和第二图像帧是图像帧序列的部分，其中所述至少一个运动矢量是通过以下步骤获得的：

-主导运动检测步骤，用于根据至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关；以及

-估计步骤，用于在所述至少一个全局运动矢量的基础上估计所述至少一个运动矢量。

有利地，所述主导运动检测(predominant motion detection)步骤包括：直方图步骤，其用于在所述至少一个运动矢量的基础上形成直方图；过滤步骤，其用于在所述直方图的基础上过滤所述至少一个运动矢量；以及分布步骤，其用于把所述至少一个经过滤的运动矢量分布在所述至少第二图像帧的至少一部分上。

有利地，所述主导运动检测步骤的直方图步骤、过滤步骤和分布步骤是关于所述至少一个运动矢量的至少一个特征被执行的，所述特征由所述直方图表示。

有利地，所述运动矢量描述两个帧内像素特征的改变。

有利地，所述分布步骤使用描述所述至少一部分所述图像帧的全局运动的主导预测值场。

有利地，所述直方图步骤包括：直方图计算步骤，其用于把所述至少一个运动矢量处理成直方图；以及直方图分析步骤，其用于从所述直方图中提取出特征。

有利地，所述过滤步骤包括：排序步骤，其用于对所述运动矢量进行排序；二进制化(binarization)步骤，其用于不选择或者选择所述已排序的运动矢量中的至少一个；以及替换步骤，其用于尤其不替换或者用至少一个未选择的运动矢量来替换所述至少一个所选的运动矢量。

有利地，所述二进制化步骤是通过过滤参数进行选择。

有利地，所述分布步骤在空间上均等地分布所述经过滤的运动矢量。

有利地，所述方法包括分段步骤，其用于检测所述图像帧的至少一个片段，其中所述至少一个片段由运动矢量和/或像素特征的特定分布来表征。

有利地，所述方法包括运动模型分类步骤，其用于检测运动矢量的运动模型。

有利地，所述运动模型包括倾斜、摇摄、变焦、旋转、无序和/或复杂运动。

有利地，所述分布步骤根据所述运动矢量的最大出现(maximumoccurrences)、根据所述片段或者根据每个位置的计算来分布运动矢量。

有利地，一种用于把视频信号处理成运动矢量场的方法包括以下步骤：运动估计步骤，其用于接收及处理输入视频信号和主导预测值场并且输出运动矢量场；以及主导运动检测步骤，其用于应用上述方法，其中所述方法可用于接收及处理所述运动矢量场并且输出所述主导预测值场。

有利地，一种用于处理视频信号的方法包括：视频处理步骤，其用于接收及处理输入视频信号和运动矢量场并且输出视频信号；以及用于接收及处理输入视频信号并且输出运动矢量场的上述方法。

此外，上面提到的各目的还可以通过适用于对至少第一和第二图像帧进行运动估计的设备来实现，所述设备估计与所述至少第一和第二图像帧的一部分像素相关的至少一个运动矢量，所述第一和第二图像帧是图像帧序列的部分，其中所述设备包括：

-主导运动检测器，其可操作用于根据至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关；以及

-运动估计器系统，其可操作用于在所述至少一个全局运动矢量的基础上估计所述至少一个运动矢量。

有利地，所述主导运动检测器包括：直方图装置，其可操作用于在所述至少一个运动矢量的基础上形成直方图；过滤装置，其可操作用于在所述直方图的基础上对所述至少一个运动矢量进行过滤；以及分布装置，其可操作用于在至少一部分所述至少第二图像帧上分布所述至少一个经过滤的运动矢量。

有利地，所述主导运动检测器的直方图装置、过滤装置和分布装置可操作用于关于所述至少一个运动矢量的至少一个特征来执行，其中所述特征由所述直方图表示。

有利地，所述运动矢量描述在两个帧内像素特征的改变。

有利地，所述分布装置可操作用于使用描述所述至少一部分所述图像帧的全局运动的主导预测值场。

有利地，所述直方图装置包括：直方图计算装置，其可操作用于把所述至少一个运动矢量处理成直方图；以及直方图分析装置，其可操作用于从所述直方图中提取出特征。

有利地，所述过滤装置包括：排序装置，其可操作用于对所述运动矢量进行排序；二进制化装置，其可操作用于不选择或者选择所述已排序的运动矢量中的至少一个；以及替换装置，其可操作用于尤其不替换或者用所述未选择的运动矢量中的至少一个来替换至少一个所选的运动矢量。

有利地，所述二进制化装置可操作用于通过过滤参数进行选择。

有利地，所述分布装置可操作用于在空间上均等地分布所述经过滤的运动矢量。

有利地，所述设备包括分段装置，其可操作用于检测所述图像帧的至少一个片段，其中所述至少一个片段由运动矢量和/或像素特征的特定分布来表征。

有利地，所述设备包括运动模型分类装置，其可操作用于检测运动矢量的运动模型。

有利地，所述运动模型包括倾斜、摇摄、变焦(zooming)、旋转、无序和/或复杂运动。

有利地，所述分布装置可操作用于根据所述运动矢量的最大出现或者根据所述片段或者根据每个位置的计算来分布运动矢量。

有利地，一种可操作用于把视频信号处理成运动矢量场的设备包括：运动估计装置，其可操作用于接收及处理输入视频信号和主导预测值场并且输出运动矢量场；以及主导运动检测装置，其包括上面提到的设备，其中所述设备可操作用于接收及处理所述运动矢量场并且输出所述主导预测值场。

有利地，一种可操作用于处理视频信号的系统包括：视频处理装置，其可操作用于接收及处理输入视频信号和运动矢量场并且输出视频信号；以及上面提到的设备，其中所述设备可操作用于接收及处理输入视频信号并且输出运动矢量场。

已经知道，对可能源自摄影机移动的全局运动的确定以及在运动估计处理中使用全局运动矢量作为候选预测值可以改进最终得到的运动矢量场。本发明的基本思想是使用不只一种单一运动矢量类型来描述全局运动，而是利用一种可靠且鲁棒的处理来确定被用作所述运动估计处理的预测值(predictor)的确定数目的主导矢量类型。此外，如何在所述运动估计处理中使用所述主导运动矢量也是非常重要的。通过生成预测值场实现了良好的解决方案，所述预测值场按照空间上均匀分布的顺序包含不同的主导运动矢量。

附图说明

通过下面结合附图作出的详细描述，本发明的上述和其他目的、特征和优点将变得更明显，其中：

图1示出了包括本发明实施例的经运动补偿的帧速率转换系统的示意性方框图的例子；

图2示出了本发明实施例的示意性方框图；

图3示出了本发明替换实施例的示意性方框图；

图4示出了过滤元件的数据样本，所述元件是本发明实施例的一部分；

图5示出了在图像上的分布式主导运动矢量的例子。

具体实施方式

图1示出了包括本发明实施例的经运动补偿的帧速率转换系统的示意性方框图的例子，所述系统1可操作用于接收及处理输入视频信号7并且输出视频信号8。所述输入视频信号7包括可能未被压缩或者已被压缩的数据，而所述输出视频信号8则(还/附加地)包括经压缩和/或转换的数据。所述系统1包括主导运动检测器2、运动估计器系统3以及视频处理系统4。

所述输入视频信号7包括至少一组画面和/或运动矢量的数据，其中所述画面组包括至少第一和第二图像帧并且可能是图像帧序列的部分。

所述运动估计器系统3可操作用于接收包括所述输入视频信号7和由所述主导运动检测器2发送的主导预测值场6的数据、处理所述数据6和7以及把运动矢量场5输出到所述视频处理系统4和/或所述主导运动检测器2。所述运动矢量场5包括描述两个相继图像帧的所有像素的改变的运动矢量，其中所述运动矢量可能指向在前图像帧或者指向在后图像帧。如本领域技术人员已经知道的，所述运动矢量场5可能仅仅包括描述两个相继图像帧或者至少在时间上分离的帧的至少一个像素的位移(displacement)的至少一个矢量。此外，运动矢量还可以描述图像帧的对象的位移，所述对象可能是具有相同的和/或特定的像素特征以及/或者本领域技术人员所知的其他属性的(多个)片段。例如，所述对象是汽车、人、树以及本领域技术人员所知的其他项目，其由对象移动和/或摄影机移动所导致的移动可以由所述运动矢量来描述。

所述运动矢量以及后面描述的全局运动矢量允许给出对像素在两个图像帧之间的移动的预测。存在时间预测和空间预测，其中，所述时间预测是来自先前估计的估计结果，所述空间预测是来自当前估计的估计结果，所述估计由所述运动估计器系统生成。所述全局运动矢量是附加地产生的预测，其可能基于先前的和/或当前的估计。预测值是递归优化的先前找到的矢量并且基于先前确定的运动矢量。3D递归搜索使用空间和时间预测来生成列表中的运动矢量，从而获得最佳地拟合于与第一和第二图像相关的实际运动矢量的运动矢量。

分别基于时间、空间和/或全局运动预测来计算所述运动矢量场5的运动矢量。然而可能以例如块匹配算法通过所述运动估计器系统3来计算确定所述预测所需的初始运动矢量。由于所述主题是递归方法，因此3D递归搜索被用于所述块匹配。对于所述块匹配算法，使用SAD(绝对差和(summed absolute difference))或者MSE(均方误差(mean squarederror))标准来找到描述像素块的最佳匹配的运动矢量。

具体来说，所述运动估计器系统可操作用于在至少一个全局运动矢量的基础上估计至少一个运动矢量。

所述视频处理系统4可操作用于接收包括所述输入视频信号7和来自所述运动估计器系统3的运动矢量场5的数据、处理所述数据5和7并且输出所述输出视频信号8。如本领域技术人员已经知道的，由所述运动矢量场5替换某些图像帧以便估计随后的或在前的帧，并且从而压缩电影的视频数据。经运动补偿的帧速率转换系统1可以分别被应用于例如帧转换、编码以及解码。

所述主导运动检测器2可操作用于接收包括由所述运动估计器系统3发送的运动矢量场5的数据、处理所述数据5并且把所述主导预测值场6输出到所述运动估计器系统3。图2描述，所接收的数据还包括未在图1中明确示出的输入视频信号7。

更具体来说，所述主导运动检测器可操作用于根据所述至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关。较早图像帧例如可能包括第一和在前图像帧。必须注意到，第二图像帧在第一图像帧随后，即在第一图像帧之后。

所述主导预测值场6描述在帧中像素的全局运动并且包括至少一个主导运动矢量，其中，所述主导运动矢量是基于所述运动矢量场5的至少特定部分的矢量。该主导预测值场6可操作用于为图像帧内的相应像素或像素块提供至少一个主导运动矢量，由此所述主导运动矢量作为上面解释的预测值是可行的。所述预测越好并且越精确，对于创建下一图像帧所需要计算的运动矢量就越少，并且所述运动估计收敛到实际运动矢量就越快。所述全局运动包括并且描述例如平移、旋转、变焦以及/或者本领域技术人员所知的其他运动。此外，所述主导运动矢量是从来自所述运动估计器系统3的在前处理迭代的运动矢量场5导出的，以便节省资源复杂度。但是所述运动矢量场5的其他来源也是可能的，比如所述运动矢量场5是基于所述输入视频信号7和/或其一部分。

所述检测器2可以被视为对所述运动估计器系统3的扩展，以便通过更快收敛运动估计来改善输出画面质量并且降低视频编码中的比特率。通过提供所述全局运动矢量(其也被称作主导运动矢量)，可以在所述检测器2中进行全局运动预测，这有助于更快地收敛所述运动估计。本发明与现有技术的主要有利差别在于：

-在把所述特点应用于所述运动估计器时，可见的画面质量改进。

-使用不只一个描述所述全局运动的运动矢量。这也改进了对较大对象的局部运动的估计。

-很容易用硬件和/或软件来实现所述系统1，特别是所述检测器2；因此本发明的实施例可以作为设备和/或方法来实现。

最后，所述运动矢量场5包括基于所述信号输入7和/或所述主导预测值场6的运动矢量。为了提供真实运动估计，必须计算真实运动矢量。取代例如通过块匹配算法实际计算所述真实运动矢量，可以执行对所述矢量的预测，这要求较低的计算能力。

上述预测是借助于所述主导预测值场6的主导运动矢量来实现的，其根据实际/真实运动矢量提供对于相应像素的移动的附加预测。当然，由于所述运动估计器系统3还计算所述空间和/或时间预测，因此对于所述真实运动矢量的总体预测更加精确并且收敛快得多。

如图1中所示，主导运动检测器与所述运动估计器系统的组合适用于通过估计与至少第一和第二图像帧的一部分像素相关的至少一个运动矢量来对所述至少第一和第二图像帧进行运动估计，其中所述第一和第二图像帧是图像帧序列的部分。

实质上，所述主导运动检测器可操作用于计算在主导预测值场中所提供的全局运动矢量，由此所述全局运动矢量是基于先前图像帧的运动矢量，比如基于第一帧和所述第一帧的在先帧的运动矢量。所述运动估计器系统可操作用于在所述先前图像帧的所述运动矢量的基础上计算基于所述全局运动矢量的运动矢量。

图2示出了包括主导运动检测器9的本发明实施例，所述检测器9包括直方图元件10、过滤元件11、分段元件12、运动模型分类元件13以及分布元件14。所述主导运动检测器9与图1中描述的主导运动检测器相同。

所述直方图元件10可操作用于计算并输出直方图的数据15(其中包括其特征和运动矢量)，所述数据基于所接收的运动矢量场5。该运动矢量场5与图1中描述的相同。

所述过滤元件11可操作用于接收及处理所述数据15并且输出主导运动矢量场16的数据。后面在图3中更加详细地描述了过滤元件11的例子。元件11中的处理包括用于过滤、清除的元件以及/或者本领域技术人员已知的用来处理所述直方图15以便摘录主导运动矢量场16的所述数据的附加处理元件。所述主导运动矢量场16基于所述数据15。在线性平移的情况下可以计算一个主导运动矢量，但是例如在考虑旋转运动的情况下，则将有不同主导运动矢量的不同特定分布。例如，当对象就其指向所述摄影机的旋转轴旋转时，对于该对象的区域将有不同主导运动矢量的均等分布。对于旋转，有像在圆的边缘上切向对准的全局运动矢量，由此该圆的中心的轴对应于所述对象或摄影机的旋转轴。所述全局运动矢量全都对准，用以形成顺时针方向或逆时针方向的旋转。更靠近所述轴的全局运动矢量更短，而更远离的全局运动矢量则将更长。

所述分段元件12可操作用于识别在所述视频信号的视频帧中的片段并且输出片段代表的数据17，所述片段具有例如包括相同的和/或类似的运动矢量和/或类似的像素发光(pixelluminescence)之类的特征以及/或者本领域技术人员所知的其他特征。此外，主导运动矢量的(多种)特定分布是例如处在旋转中的片段的特征。因此，进入的数据包括所述主导运动矢量场16，和在有必要比较像素特征的情况下包括所述输入视频信号7。所述像素特征描述例如所述像素的以及/或者相同或不同帧的像素之中的模式、发光、颜色和/或对比度。

所述运动模型分类元件13可操作用于识别出特定的全局运动，比如变焦、旋转、摇摄以及本领域技术人员所知的其他运动。运动模型可以通过主导运动矢量16(其也被称作全局运动矢量)的分布来识别，因此取决于在所述直方图内所述运动矢量的分布以及在帧内所述运动矢量的位置。根据这一分析，特定数据18被发送到生成预测值元件14以便支持所述预测值的选择处理，所述数据18包括运动模型标识。为所述分段元件12提供来自所述元件13的运动片段的数据19，所述数据19预测由于其独特的全局运动(比如旋转)而被识别出的片段。

所述分布元件14可操作用于生成并且输出主导预测值场6。所述场6的生成是基于一个或几个标准的，比如在图3中描述的标准，其中运动矢量的最大出现次数是负责选择所述主导运动矢量的关键值。此外，所述生成可替代地基于其他标准，比如通过数据17的或者每个位置所计算的预测值的分段代表。另一标准基于所述数据18，其中所述数据18包括经分类的运动类型，从而现在可以生成每一估计位置的主导预测矢量6，和/或者可以重新考虑所述主导预测矢量6的分布模式。

图3示出了包括主导运动检测器38的本发明替代实施例，其中所述检测器38可操作用于根据运动矢量场5计算主导预测值场6。所述检测器38与图1中描述的所述主导运动检测器2相同，并且包括直方图元件10、过滤元件11、分布元件14以及关断元件36。所述直方图元件10包括直方图计算元件20和直方图分析元件21。所述过滤元件11包括排序元件25、二进制化元件26以及替换元件27。在图2和3的描述中提到的所有元件都是相同的。在所有图中提到的所有参数都是预设的和/或者是可灵活改变的。

所述直方图计算元件20可操作用于接收运动矢量场5，并且通过分别对每一个运动矢量mv＝(mv_x，mv_y)的出现次数计数来生成所述运动矢量场5的二维直方图22。所述运动矢量的参数mv_x和mv_y描述所述矢量在X轴和Y轴上的相应分量长度。所述运动矢量场5与图1或2中描述的相同。在这里有可能选择其他类型的直方图，所述直方图可以由直方图计算参数23来配置。通过对于mv_x和mv_y使用单独的直方图和/或者甚至使用多于两维的直方图有可能得到其他替代实例，其中例如还考虑矢量或者邻域内的矢量的空间和/或时间依赖性。

所述直方图分析元件21可操作用于接收所述二维直方图22并且找到该直方图22中的特定数目的最大值，其中所述最大值选择是由直方图分析参数24决定的。有可能存在不仅仅可操作用于最大值选择的其他参数24。该元件21的输出是包括参数28和29的未经排序的列表30，所述参数28是相应运动矢量的实际出现次数，所述参数29是所述运动矢量本身或者是标识该矢量的值。所述列表30可能包括关于所述直方图的维度和/或参数的其他参数。运动矢量mv＝(0，0)不被考虑，因为这在任何情况下都是每一运动估计系统中的默认候选，因此在该元件中是不感兴趣的。

所述过滤元件11可操作用于对所述未经排序的列表30的所得到的数据应用直方图后处理，特别是对由于其出现次数低于过滤参数31而未被考虑为主导的运动矢量进行排序及滤除，所述过滤参数31是预设的或者可灵活设置的阈值。可操作用于根据不同于出现次数的其他特征进行过滤的其他参数31也是可能的。如果没有运动矢量29具有比所述参数31的更高的出现次数28，则照其原样获得所述列表30，因为其例如可能是变焦或旋转。所述元件11的输出是预测值的列表35，其包含开始于最具主导性的主导运动矢量的主导运动矢量，并且最终被替换、索引及排序。

实质上可以通过所述过滤元件11应用线性和/或非线性过滤。通过过滤，可以滤除错误地计算的预测值及运动矢量，从而令所述系统保持稳定。对所述直方图的分段是非线性过滤的例子。

所述排序元件25可操作用于通过参数28对所述列表30进行排序并且输出经过排序的列表32。可以考虑不同于由元件10输出的出现次数28的参数来对所述列表30进行排序。如下面在图4中作为例子所示出的那样，具有最高出现次数的运动矢量处在所述列表的顶部，而其他运动矢量则依照降序被列出。

所述二进制化元件26可操作用于对上述经过排序的列表32应用所述参数31，这导致对所述列表32的二进制化，特别是根据其出现次数28和所述参数31对所述主导运动矢量29的二进制化。二进制化意味着把对于每一主导运动矢量29的附加索引实现到列表32中，从而所述列表32被处理成经索引及排序的列表33。通过特别对主导运动矢量29进行索引，所述矢量29于是被选择用于后面描述的替换处理。如果所述参数28大于或等于参数31，则特定主导运动矢量29的比较索引被设置为1，否则被设置为0。

所述替换元件27可操作用于在所述索引等于0时用来自列表33顶部的数据集来替换列表33的数据集，其中列表33包括所述参数28和29及其索引。一般来说，用未选择的和/或预定的运动矢量来替换在所述二进制化元件26中选择的所述每一主导运动矢量29。如果没有主导运动矢量29被选择，则没有主导运动矢量可以被替换，或者所有主导运动矢量可以被替换。在这种情况下，来自所述列表顶部的数据包括最具主导性的运动矢量并且替换来自列表底部的较不具主导性的运动矢量，但是本发明的范围不局限于这个例子。在元件27中通过最后用升序号码索引所述运动矢量29把所述列表33处理成列表35。在图4中示出及描述的数据样本更加详细地描绘了处理元件25到27。

所述分布元件14可操作用于把所述列表35的主导运动矢量以以下方式应用于所述运动估计处理，使得该列表35中的每一个矢量被空间上均等地分布在整个画面上。图5示出了如何能够把所述主导运动矢量分布到主导预测值场6中的模式的例子。

所述关断元件36类似于开关，并且可操作用于把先前分布的主导运动矢量作为所述主导预测值场6输出到图1中描述的运动估计器系统3或者把仅仅包含零矢量的数据输出到图1中描述的运动估计器系统3。如果所述系统3没有处理所述主导运动矢量的能力，则用户不希望应用所述全局运动估计或者本领域技术人员所知的任何其他可能的情形，借助于所述元件36关断或切断所述主导运动检测器38。关断参数37可操作用于控制所述元件36。

图4示出了三个不同的表30、33和35的例子，其中所有表都包括至少两列数据样本。一列包括标识相应运动矢量的实际出现次数的参数28，另一列包括标识所述运动矢量本身的参数29。所述运动矢量29mv[i]总是被映射到其相应的出现次数29num[i]，例如mv[O]位于与num[O]相同的行内。在该例中，在所述索引最低时，参数num[i]具有最高数；但是本发明的范围并不局限于该例。所述表30和35分别与图3中描述的数据15和16相同。

表30是未经排序的列表，其被发送到元件11，特别是图3中描述的元件25。除了上面提到的行的映射之外，该表30没有沿着列的刻意的特定顺序或排序。第一行包括值num[O]和mv[O]，从而所有行都包括实例。

表33是图3中描述的排序元件25和二进制化元件26的结果。所述运动矢量29mv[i]通过其相应的出现次数28num[i]从最高数降序地被排序。然后把新的列添加到所述表中，其包括所述数num[i]与过滤参数31之间的比较结果，其中在图3中描述了所述参数31。如果num[i]大于或等于参数31，则num[i]的行中的附加条目(即比较索引39)被设置为1，否则其被设置为0。如本领域技术人员知道的，其他分配和比较也是可能的用以标记特定的运动矢量。第一行包括值num[O]、mv[O]和设置为1的比较索引，从而所有行都包括实例。

表35是图3中描述的替换元件27的结果。用所述行内的附加条目(在本例中是用所述比较索引39中的零)标记的运动矢量29，现在被运动矢量29mv[i]及其相应的出现次数num[i]根据所述出现次数28num[i]从最具主导性的运动矢量29开始降序地相继替换。此外，每一行现在由依照升序直到预定数的顺序索引40来索引，其中所述数取决于后面在图5中描述的块尺寸。在图4和5中，所述索引的范围是从0到15，但是并不局限于该实例。表35的第一行包括值num[O]、mv[O]并且设置为0的顺序索引，从而所有行都包括实例。

图5示出了图像帧41的例子，其示出了所述主导运动矢量列表35的索引40在所述完整的图像帧41上的分布。该列表35与图2中描述的列表16相同。每一个索引都代表在图3或4中描述的列表35的预测值运动矢量。由于所述运动估计处理是基于块的，因此所述列表中的一个条目被用作对于一个块42的估计处理的预测值。画面41示出16个主导矢量的例子，所述矢量从0到15被索引。所述模式以以下方式被布置，使得所述矢量列表35根据其索引40被分布在块42内的预测值场上。这导致在整个图像帧41上的空间均等分布，这对于估计处理是有利的。

在所述图像帧41的右边界处主导矢量的块42的仅仅一半被插入，这是因为该帧41不够宽。但是根据所述空间均等分布，所述帧41内的每一像素43与列表35的主导预测值矢量相关联，以便估计所述全局运动。

附图标记列表

1-经运动补偿的帧速率转换系统

2-主导运动检测器

3-运动估计器系统

4-视频处理系统

5-运动矢量场

6-主导预测值场

7-输入视频信号

8-输出视频信号

9-主导运动检测器(第一实施例的详细视图)

10-直方图步骤

11-过滤步骤

12-分段步骤

13-运动模型分类步骤

14-分布步骤

15-直方图和特征的数据

16-主导运动矢量场的数据

17-片段代表的数据

18-运动模型标识的数据

19-运动片段的数据

20-直方图计算步骤

21-直方图分析步骤

22-直方图

23-直方图计算参数

24-直方图分析参数

25-排序步骤

26-二进制化步骤

27-替换步骤

28-运动矢量的出现次数

29-运动矢量

30-未经排序的列表

31-过滤参数

32-经排序的列表

33-经过索引及排序的列表

34-分布参数

35-经过替换、索引及排序的列表

36-关断步骤

37-关断参数

38-主导运动检测器(第二实施例的详细视图)

39-比较索引

40-顺序索引

41-图像帧

42-图像块

43-图像像素

Claims (28)

1.用于通过估计与至少第一和第二图像帧的一部分像素相关的至少一个运动矢量来对所述至少第一和第二图像帧进行运动估计的方法，所述第一和第二图像帧是图像帧序列的部分，

其中，所述至少一个运动矢量是通过以下步骤获得的：

-主导运动检测步骤，其用于根据至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关；以及

一估计步骤，其用于在所述至少一个全局运动矢量的基础上估计所述至少一个运动矢量。

2.根据权利要求1的方法，其中，所述主导运动检测步骤包括：

直方图步骤，其用于在所述至少一个先前确定的运动矢量的基础上形成直方图；

过滤步骤，其用于在所述直方图的基础上过滤所述至少一个先前确定的运动矢量；以及

分布步骤，其用于把所述至少一个经过滤的先前确定的运动矢量在所述至少第二图像帧的至少一部分上进行分布，以生成所述至少一个全局运动矢量。

3.根据权利要求2的方法，

其中，该方法的过滤步骤和分布步骤关于所述至少一个先前确定的运动矢量的至少一个特征来执行，所述特征由所述直方图表示。

4.根据权利要求2或3的方法，

其中，所述至少一个运动矢量描述在两个帧内像素特征的改变。

5.根据权利要求2或3的方法，

其中，所述分布步骤通过使用描述所述第一和第二图像帧的一部分像素的全局运动的主导预测值场(6)来分布所述至少一个经过滤的先前确定的运动矢量。

6.根据权利要求3的方法，

其中，所述直方图步骤包括：

直方图计算步骤，其用于把所述至少一个先前确定的运动矢量处理成直方图；以及

直方图分析步骤，其用于从所述直方图中提取出所述特征。

7.根据权利要求2或3的方法，

其中，所述过滤步骤包括：

排序步骤，其用于对所述先前确定的运动矢量进行排序；

二进制化步骤，其用于不选择或者选择所述已排序的先前确定的运动矢量中的至少一个；以及

替换步骤，其用于不替换或者用至少一个未选择的先前确定的运动矢量来替换至少一个所选的先前确定的运动矢量。

8.根据权利要求7的方法，

其中，所述二进制化步骤通过过滤参数(31)选择。

9.根据权利要求2或3的方法，

其中，所述分布步骤在空间上均等地在所述至少第二图像帧的至少一部分上分布所述经过滤的先前确定的运动矢量。

10.根据权利要求2或3的方法，包括：

分段步骤，该分段步骤介入所述过滤步骤和所述分布步骤之间，其用于检测所述第一和第二图像帧的至少一个片段，

其中，所述至少一个片段由所述至少一个经过滤的先前确定的运动矢量的特定分布和/或所述第一和第二图像帧的像素的像素特征来表征。

11.根据权利要求2或3的方法，包括：

运动模型分类步骤，该运动模型分类步骤介入所述过滤步骤和所述分布步骤之间，其用于检测所述至少一个经过滤的先前确定的运动矢量的运动模型。

12.根据权利要求11的方法，

其中，所述运动模型包括倾斜、摇摄、变焦、旋转、无序和/或复杂运动。

13.根据权利要求10的方法，

其中，所述分布步骤根据所述至少一个经过滤的先前确定的运动矢量的最大出现的次数或者根据所述片段或者根据所述至少一个经过滤的先前确定的运动矢量的每个位置的计算来分布所述至少一个经过滤的先前确定的运动矢量。

14.一种用于处理视频信号的方法，包括：

视频处理步骤，其用于接收及处理输入视频信号(7)和运动矢量场(5)并且输出视频信号(8)；以及

根据权利要求1-13之一的、用于估计与所述输入视频信号(7)中的至少第一和第二图像帧的一部分像素相关的至少一个运动矢量，作为所述运动矢量场(5)的方法。

15.一种适用于对至少第一和第二图像帧进行运动估计的设备，所述设备估计与所述至少第一和第二图像帧的一部分像素相关的至少一个运动矢量，所述第一和第二图像帧是图像帧序列的部分，其中所述设备包括：

-主导运动检测器(2)，其可操作用于根据至少一个先前确定的运动矢量生成至少一个全局运动矢量，其中所述先前确定的运动矢量与所述图像帧序列的较早图像帧的一部分像素相关；以及

-运动估计器系统(3)，其可操作用于在所述至少一个全局运动矢量的基础上估计所述至少一个运动矢量。

16.根据权利要求15的设备，其中，所述主导运动检测器(2)包括：

直方图装置(10)，其可操作用于在所述至少一个先前确定的运动矢量的基础上形成直方图；

过滤装置(11)，其可操作用于在所述直方图的基础上对所述至少一个先前确定的运动矢量进行过滤；以及

分布装置(14)，其可操作用于把所述至少一个经过滤的先前确定的运动矢量在所述至少第二图像帧的至少一部分上进行分布，以生成所述至少一个全局运动矢量。

17.根据权利要求16的设备，

其中，所述设备的所述过滤装置(11)和所述分布装置(14)可操作用于关于所述至少一个先前确定的运动矢量的至少一个特征来执行，其中所述特征由所述直方图表示。

18.根据权利要求16或17的设备，

其中，所述至少一个运动矢量描述在两个帧内像素特征的改变。

19.根据权利要求16或17的设备，

其中，所述分布装置(14)可操作用于通过使用描述所述第一和第二图像帧的所述一部分像素的全局运动的主导预测值场(6)来分布所述至少一个经过滤的先前确定的运动矢量。

20.根据权利要求17的设备，

其中，所述直方图装置(10)包括：

直方图计算装置(20)，其可操作用于把所述至少一个先前确定的运动矢量处理成直方图；以及

直方图分析装置(21)，其可操作用于从所述直方图中提取出所述特征。

21.根据权利要求16或17的设备，

其中，所述过滤装置(11)包括：

排序装置(25)，其可操作用于对所述先前确定的运动矢量进行排序；

二进制化装置(26)，其可操作用于不选择或者选择所述已排序的先前确定的运动矢量中的至少一个；以及

替换装置(27)，其可操作用于不替换或者用至少一个未选择的先前确定的运动矢量来替换至少一个所选的先前确定的运动矢量。

22.根据权利要求21的设备，

其中，所述二进制化装置(26)可操作用于通过过滤参数(31)选择。

23.根据权利要求16或17的设备，

其中，所述分布装置(14)可操作用于在空间上均等地在所述至少第二图像帧的至少一部分上分布所述经过滤的先前确定的运动矢量。

24.根据权利要求16或17的设备，包括：

分段装置(12)，其可操作用于检测所述第一和第二图像帧的至少一个片段，

其中，所述至少一个片段由所述至少一个经过滤的先前确定的运动矢量的特定分布和/或所述第一和第二图像帧的像素的像素特征来表征。

25.根据权利要求16或17的设备，包括：

运动模型分类装置(13)，其可操作用于检测所述至少一个经过滤的先前确定的运动矢量的运动模型。

26.根据权利要求25的设备，

其中，所述运动模型包括倾斜、摇摄、变焦、旋转、无序和/或复杂运动。

27.根据权利要求24的设备，

其中，所述分布装置(14)可操作用于根据所述至少一个经过滤的先前确定的运动矢量的最大出现的次数或者根据所述片段或者根据所述至少一个经过滤的先前确定的运动矢量的每个位置的计算来分布所述至少一个经过滤的先前确定的运动矢量。

28.一种可操作用于处理视频信号的系统(1)，包括：

视频处理装置(4)，其可操作用于接收及处理输入视频信号(7)和运动矢量场(5)并且输出视频信号(8)；以及

根据权利要求15-27之一的设备，其中所述设备可操作用于估计与所述输入视频信号(7)中的至少第一和第二图像帧的一部分像素相关的至少一个运动矢量，作为所述运动矢量场(5)。

Images