CN101006715B - 数字图像的实时稳定系统和方法 - Google Patents

Abstract

本发明涉及记录资料的图像稳定。对记录资料进行图像稳定，以确定与图像中的移动物体有关的更多信息。所述方法开始于获得第一数字视频图像和第二数字视频图像。选择第二数字图像中具有与第一数字图像的子部分相同的可定址位置的子部分。在预定方向上移动第二图像的子部分。在移动了第二图像的子部分后，基于第一图像的子部分和第二图像的移动后子部分之间的比较，计算误差值。如果误差值低于预定阈值，则对第二图像的数字数据进行重定址，从而最新定义的子部分的数据将覆盖第一图像的子部分。

Description

数字图像的实时稳定系统和方法

技术领域

本发明涉及已记录资料的图像稳定。

背景技术

对已记录的资料进行图像稳定处理，以确定与图像中的移动物体有关的更多信息。在视频捕获期间，正在捕获的物体可能移动，因而所捕获的图像看起来是模糊的或抖动的。结果，与移动物体有关的信息散布在若干图像帧中，而视频的观看者无法感知。通过机械装置和数字信号处理来执行视频稳定是本领域中已知的技术，然而这些技术比较复杂，并且通常是基于运动估计和矢量分析的。

发明内容

鉴于上述问题并为了从数字视频图像流中去除运动，得到与图像中的移动物体有关的信息，本发明的第一实施例提供了一种方法，用于在计算机系统构造数字视频图像。所述数字视频图像能够显示在显示装置上，并且包含相对于显示装置上的参考点可定址的可定址数字数据。可以采用计算机可读介质上的计算机代码来实现所述方法，其中所述计算机代码由计算机系统内的处理器执行。所述计算机代码从数字视频图像流中去除运动。通过从数字视频图像流中去除运动，当依次显示图像时，可以观察到散布在多幅图像中的附加信息和细节。类似地，通过从多幅图像中去除运动，可以使用数字信号处理技术来组合这些图像，从而创建比任意单幅图像具有更多信息的图像。

所述方法开始于获得第一数字视频图像和第二数字视频图像。这些图像可以从存储器中、或通过进入执行所述计算机代码的处理器的I/O端口获得。在第一数字图像内相对于所述参考点的可定址位置处定义子部分。可以通过使用定点设备(pointing device)以图形方式选择子部分来定义所述子部分，或者所述子部分的区域选择可以是预定的和自动选择的。选择第二数字图像的子部分，其具有与第一数字图像中的子部分相同的可定址位置。术语“可定址”是指图形显示装置上的地址。在预定方向上扩展第二数字视频图像的子部分，例如将矩形子部分的宽度向右扩展。在对第二数字视频图像的子部分进行扩展之后，基于第一数字图像的子部分和第二数字视频图像的扩展子部分之间的比较来计算误差值。所述误差值定义第二数字视频图像中的区域的数据与第一数字视频图像中的区域的数据表现出的相关量。最新定义第二数字视频图像的子部分以包括扩展方向上的数字数据。在其它实施例中，在第二数字视频图像中移动区域，对第一数字视频图像的子部分和第二数字视频图像的移动后的区域的子部分进行比较，并确定误差值。如果误差低于预定阈值，则对第二数字视频图像的数字数据进行重定址，使得在显示装置上显示时，最新定义的子部分的数据将覆盖第一数字视频图像的子部分。在与扩展第二数字图像所在方向相反的方向上对所述数字数据进行重定位。如果对区域进行移动而不是扩展，则对来自第二区域的图像数据进行重定址，使得这些图像数据覆盖来自第一图像中初始选择的区域的图像数据。

在另一实施例中，在不同于第一扩展方向的第二方向上对第二数字视频图像的子部分进行扩展。基于第一数字图像的子部分和已经在所述第二方向上扩展的第二数字视频图像的子部分之间的比较来计算第二误差值。比较第一和第二误差值，并确定较低误差值。较低误差值指示存在更多的相关。从第二数字视频图像中选择新的子部分，所述子部分包括与较小误差值相关联的扩展方向上的数字数据。在一个实施例中，在四个基本方向中的每一个方向上迭代执行扩展子部分和确定误差值的过程。然后比较所有误差值，并选择最低误差值。选择第二数字视频图像中新的子部分，所述子部分不同于初始子部分的位置，沿具有最低误差值的所述子部分扩展的方向偏离所述初始位置。然后将最低误差值与预定阈值进行比较。如果最低误差低于预定阈值，那么则对第二数字视频图像的数据进行重定址。对第二数字视频图像进行重定址，使得在显示装置上显示时，第二数字视频图像的当前子部分将覆盖在第一数字视频图像的子部分上。

所述过程可以通过移动所述子部分而迭代执行，从而将数据包括在针对最低误差值的扩展方向上、在多个方向中的每一个方向上扩展所述子部分、确定每一个方向上的误差值，直到最低误差值下降到预定阈值以下或这些步骤执行了预定次数为止。如果最低误差值未下降到预定阈值以下，则选择第一数字视频图像的新的子部分并再次执行所述过程。

在其它实施例中，不在某个方向上扩展所述子部分，而是在某个方向上移动区域并比较这些子部分。这样，最新定义的子部分具有与初始子部分相同数目的数据值，而不像在对所述子部分进行扩展的实施例中那样，扩展子部分包括初始数据值以及新的数据值，因而比初始子部分具有更多的数据值。在四个基本方向中的每一个方向上移动区域之后，计算误差值并将第二图像的区域设置为具有最低可能误差的区域。通过在四个基本方向中的每一个方向上移动第二图像的新的区域，并确定误差值，来继续执行所述过程。在特定实施例中，在设置第二图像的区域之后减小移动量。因此，第二图像的子部分上进行螺旋式缩小(spiral in)的搜索，其中所述第二图像的子部分与第一图像中初始选择的区域共享最大量的数据。在其它实施例中，所述过程持续进行，直到对图像流中的所有图像进行了处理为止。在这个实施例中，将第一图像的子部分与第二图像的子部分进行比较。一旦解决了图像之间的运动，则将第二图像的子部分与第三图像的子部分进行比较，直到对第三图像进行重定址以补偿运动。针对全部视频图像流持续进行该过程。

此外应该注意，子部分和区域的扩展和移动的方向可以是除基本方向之外的其他方向，并且子部分和区域的形状可以是除正方形或矩形之外的其他形状。此外，虽然所述子部分和区域优选地具有相同的形状以及相同数目的数据值，但这不是必需的。

附图说明

参考下文结合附图的详细描述，本发明的上述特征将更加易于理解，其中：

图1示出了针对数字视频图像流而使用的计算机系统；

图2A-C是示出了本发明的一个实施例的流程图；

图2A比较第一和第二图像的子区域，以确定误差值；

图2B在图2A上扩展，将第二图像中新区域与第一图像中的区域进行比较；

图2C示出了对第二数字视频图像的数字数据进行重定位之前确定区域的迭代过程；

图3是示出了对子部分进行扩展的本发明可选实施例的流程图；

图4是示出了对区域进行移动的本发明可选实施例的流程图；以及

图5是示出了本发明另一实施例的流程图。

具体实施方式

在本说明和所附权利要求中使用的定义中，除非上下文另有要求，否则下面的术语具有指示的含义：这里使用的术语“帧”同时应用于数字视频帧和数字视频场。一个视频帧可以表示为两个视频场，其中帧的奇数行表示第一场，帧的偶数行表示第二场。术语图像的“子部分”是指显示在显示装置上时的图像区域，并包括来自该区域的像素数据。该区域小于整幅图像。术语“区域”或“搜索区域”是指用于定义子部分的图像区域，但不包括像素数据。术语“误差值”指示第一数据集相对于第二数据集所具有的相关量。如这里所使用，如果第一误差值小于第二误差值，则用于计算第一误差值的数据集比用于计算第二误差值的数据集展示出更大的相关量。

图1示出了针对数字视频图像流而使用的计算机系统800。该计算机系统800包括处理器100和相关联的存储器110。处理器100从存储器110中检索计算机程序，并执行该计算机程序的步骤。计算机程序允许对数字图像流进行处理，以从包括数字图像流的图像序列中去除运动。数字视频图像流通过端口130进入计算机系统并提供给处理器，或者存储在相关联的存储器110中并由处理器100从存储器110中获取。组成数字视频图像的数据是像素数据。每一个像素表示显示装置120上的不同位置。例如，显示装置能够显示800×600个像素。每一个像素具有由坐标系定义的可定址的位置。坐标系具有参考点，从而每一个像素可以显示在显示装置120上。在给定时刻显示的视频图像的像素数据被定义为视频帧。将参考点和坐标系前后一致地用于每一个视频帧。视频帧/图像可以显示在显示装置120上，并且用户可以使用输入装置140来选择定义图像数据的子部分的图像区域，以对该图像区域进行如下所述的处理。

用户选择参考图像的区域，或者计算机系统自动地选择图像区域。该区域可以由显示装置上的位置定义，其中显示装置上的位置与基于坐标系的地址相关联。在第一帧中选择区域之后，确定用于标识子部分的像素数据。执行计算机代码的计算机系统在第二帧中选择相同区域以及定义第二图像的子部分的相应像素数据。这样，将第一帧的相同定址信息用于第二帧。

然后，计算机程序扩展第二帧的子部分。在向上方向上扩展第二子部分。从而增加了所选区域内的像素总数。因此，如果初始区域包括100像素×100像素，则新区域可以是120像素×100像素。然后，计算机程序将第一帧中的子部分与第二帧中的扩展区域所定义的子部分进行比较，以确定两个子部分之间的误差。用于比较子部分的方法可以是区域的平均颜色值或确定最大匹配数目的逐像数值的比较。也可以使用比较像素值的其它技术。然后，计算机系统在第二方向上扩展初始区域。将第二帧的初始区域向右扩展，定义新的子部分。因而在本示例中，区域将变为100像素×120像素。计算机系统再次对第一帧中第一区域的数据与第二帧中的扩展区域进行比较，从而确定误差值。之后，在第三和第四方向上执行这个过程，从而收集到在基本方向中之一上的每一个区域扩展的误差值。可以想象，可以选择其它的区域的方向或扩展以进行扩展。例如，这些区域可以与基本轴成45度，或形状可以不统一。例如，扩展形状可以形成与箭头十分相似的形状。选择具有最少误差量的区域内的数据的扩展区域。如上所述，误差值越低，第一和第二图像中的区域内数据之间的相关就越大。

然后，将第二帧中的区域在最低误差方向上移动(在上述示例中，第二图像的新的子部分将具有100×100个像素)，并重复这个过程，在该过程中对来自第一帧的子部分与第二帧中最新定义的扩展子部分进行比较。

该过程持续进行，直到误差量下降到阈值以下，或者在比较扩展区域时，如果误差值不再减小，则该过程停止。通过重新定义第二图像中的区域以及在每一个基本方向上进行移动和比较，可以容易地找出移动方向。一旦找到了与第一图像的子部分相比具有最小误差量的第二帧中的子部分，则对第二图像内的像素地址进行重定址，从而如果同时显示在显示装置上，第一图像的子部分和第二图像的子部分将彼此覆盖。

图2A中示出了结合来自存储器的计算机代码而由处理器执行的方法的一个实施例。首先，获得第一数字视频图像和第二数字视频图像(200)。可以以流方式从与处理器电气相连的I/O端口接收数字视频图像，或从存储器检索数字视频图像。在第一数字视频图像中选择区域(205)。如果在显示装置上显示，则这个区域由区域的地址位置定义。这个步骤可能要求用户在图像显示在显示装置上时使用输入装置来选择区域。用户可以使用例如鼠标的输入设备，通过圈定(encircle)区域来选择区域，从而选择区域内的数字数据。对于本领域的普通技术人员，允许用户选择图像中的区域的计算机代码是已知的。计算机代码也可以自动地选择区域及其所附数据。例如，计算机代码可以选择图像中心的区域或图像的任意其它部分。然后，计算机程序选择第二数字视频图像内的相同区域，其中该区域由像素数据的地址定义。

对第二数字视频图像的子部分进行扩展(210)，使得该子部分包括更多数据。与第二数字视频图像中初始选择的区域相比，扩展的区域包括更多的像素值或数据点。基于第一数字图像的子部分和第二数字视频图像的扩展子部分之间的比较来确定误差值(215)。可以基于第一图像的子部分和第二图像的扩展子部分中的像素值信息来计算误差值。可以逐像素地比较像素值，以在这些像素内搜索颜色值的匹配。因此，误差值可以是第一子部分与扩展的第二子部分之间的失配百分比。这样，误差值相反地指示相关性。如果在第二图像的子部分扩展所在的方向上发生了运动，可以预料至少有一些像素匹配。应该理解，在不背离本发明的前提下，误差值或相应的匹配值可以用于进行比较。匹配值可以是匹配的像素/颜色的百分比，而不是失配的像素/颜色的百分比。

其它比较技术可以包括：确定平均颜色值或针对子部分的值，然后相对于平均颜色值确定误差。一般而言，像素值具有一个或多个与像素相关联的颜色值。在对子部分进行比较时，可以计算每一个颜色(例如红、绿和蓝)的平均值，并确定这些颜色中的每一个的误差百分比。在另一变体中，颜色值可以变换为灰度值，并逐像素地或基于平均灰度值来进行比较。

在其它实施例中，不对定义第二数字视频图像子部分的数据的区域进行扩展，而是在某个方向上移动该区域，然后在第一视频图像的子部分与第二视频图像的新的子部分之间直接进行比较。

在确定了误差值或相应的匹配值后，在与步骤210不同的方向上对第二图像的初始区域进行扩展(220)。然后，将第一图像的第一子部分和第二视频图像的扩展子部分进行比较。确定第一图像的子部分和第二图像的扩展子部分之间的误差值(225)。计算误差值所使用的技术与比较第一子部分和在第一方向上扩展的第二图像的扩展子部分所使用的技术相同。

本领域的普通技术人员应该理解，在进行比较之前，可以使用多种滤波器或补偿技术。例如，计算第一图像子部分中像素的平均强度值和第二图像子部分中像素值的平均强度值。从每一个像素强度值中减去平均强度值。这个步骤对引起帧间亮度的任意变化(例如突发闪光)的数值进行了归一化。因此，仅对关于两幅图像中值的变量绝对值进行比较。可以采用本领域中已知的多种方法之一来执行该归一化步骤，包括使用与用户所选区域的平均强度相反的RMS值。

然后，处理器比较第一和第二误差值(230)。根据如何定义误差值，将选择较低误差值。这等同于第二扩展子部分与第一子部分共享更大量的信息。

然后，处理器检查较低误差值是否小于预定阈值(240)。如果较低误差值小于预定阈值，那么重新定位第二图像。首先，通过在扩展方向上移动区域而定义第二图像的新区域(235)。例如，如果初始子部分是在地址(10，15)处开始的100×100个像素(其中10是在x方向上，15是在y方向上)，如果当在x的正方向上扩展区域时找到了较低误差值，则新的子部分是在(20，15)处开始的100×100个像素。然后对整幅第二图像进行重定址，从而第一子部分和第二图像的新的子部分共享相同的地址(245)。通过对第二图像进行重定址，当显示第一图像以及随后的第二图像时去除了视频图像流中的运动。

如果较低误差值不低于预定阈值，则所述方法返回到步骤220，在步骤220处，在与第二子部分已扩展的方向不同的方向上对第二图像的子部分进行扩展。应该理解，在不背离本发明范围的前提下，可以按照不同的顺序来执行所述的多个步骤。例如，可以确定四个基本方向上每一个子部分扩展的误差值。可以比较这些误差值，并基于最低误差等级，在最低误差值方向上对第二图像的子部分进行重定位。如上所述，重定位的第二子部分保持与第一图像中第一子部分相同的尺寸。这个过程可以持续进行，直到误差等级下降到预定阈值以下、误差等级停止减小或对第二图像进行了预定次数(例如20次)的重定位为止。如果对第二图像进行了特定次数的重定位，则处理器可以选择新的子部分，并且上述过程将再次开始。如果误差值下降到预定阈值以下，则对第二图像进行重定址，使得同时显示在显示装置上时第一和第二区域彼此覆盖。通过在第三图像的子部分和第二图像的子部分之间的比较，过程继续执行。重复该方法，直到处理了所有的图像并且对大部分图像进行了重定址为止。

通过对图像进行重定址，可以补偿图像内的运动。例如，如果有人从屏幕上移过并且难以在视频的任意一幅图像中识别其面部特征，则如果从视频序列中去除运动，并使各幅图像彼此覆盖，从而使人的面部保持静止，就可以更容易地识别人的面部。相比于一幅单独的图像，所有的图像提供了更多信息。然后，可以针对这些图像而使用图像增强技术，从而创建包括附加信息的单幅静止图像。

图3示出了与所公开的方法稍有不同的变体。首先选择参考图像的子部分。例如，用户通过选择图形显示装置上的视频图像的区域、或者处理器执行提供区域地址的计算机代码，可以选择对应于子部分的区域(305)。然后选择作为当前图像的第二图像的子部分。第二图像的子部分具有与参考图像的子部分相同的地址，但包含与第二图像相关联的数据(310)。将计数器N的值设置为0(315)。计数器用于对当前图像的子部分扩展所在的不同方向的数目进行计数。然后，在第一方向上扩展当前图像的子部分，因而与未扩展的子部分相比，扩展的子部分包括更多的像素信息(320)。递增计数器(325)，然后计算误差值(330)。误差值测量了参考图像的子部分和当前图像的扩展子部分之间的非共享信息量。如上所述，误差值也可以表示共享信息量。子部分之间共享的信息越多，在当前图像子部分的扩展方向上发生运动的可能性就越大。然后，存储误差值以备稍后检索之用(335)。处理器检查计数器是否达到预定阈值数目(340)。例如，如果子部分在基本方向上扩展，则X等于4。在其它实施例中，X可以是大于2的任意数值，从而保存多个误差值以便进行比较。

检索并比较这些误差值。在处理器上执行的计算机程序确定最低误差值(345)，最低误差值表示参考子部分和当前图像的扩展子部分之间的最大共享信息量。然后，在扩展方向上对当前图像中初始选择的区域进行移动。如上所述，如果在Y轴(X-Y坐标系)正方向上的扩展中找到最低误差，则将该区域在Y轴正方向上移动，同时仍旧保持与参考图像中的区域相同比例的形状。这样，如果当前图像的初始未扩展区域是10×10像素，那么移动后的区域还是10×10像素。移动后的区域的子部分用于将来的比较(350)。然后，将最低误差值与阈值进行比较(355)。如果误差值小于阈值，则对当前图像进行重定位，从而参考图像的子部分内的像素地址和当前图像的移动后的子部分内像素地址共享相同的地址(360)。这可以通过对第二图像的像素值进行重定址来容易地实现。将阈值设置得较高并用于确定子部分匹配，则不需要进行额外的搜索。

如果最低误差值不小于阈值，则过程在步骤315继续进行并重置计数器。在每一个方向上对第二图像的子部分进行扩展，并通过将参考图像的子部分与每一个扩展区域进行比较来计算误差值。这个过程持续进行，

直到误差值下降到阈值以下为止。在一些实施例中，可以包括额外的步骤。这个额外步骤是将计数器包括在内，如果计数器到达预定尝试次数或最低误差值不再继续减小，则停止对当前图像的子部分区域的移动。

在对当前图像进行重定址后，当前图像变为参考图像且图像流中的下一图像成为当前图像。然后，像上述的那样对当前图像的子部分进行扩展并与参考图像的子部分进行比较。对图像流内的所有图像执行这个过程。这样，对这些图像进行重定址，当按照顺序在显示装置上显示时，从序列中去除或减少了运动。

由于需要进行的比较和计算的次数是有限的，所以可以对图像流实时地执行这个过程。可以将模拟视频摄像机记录的图像转换为数字图像流，并应用这个过程，或可以把来自数字视频摄像机的数字图像流提供给处理器，并且从得到的图像流中去除运动。

在图4流程图所示的另一实施例中，没有扩展当前图像的子部分，而是移动定义了子部分的区域。例如，如果初始子部分是20×20像素的子部分，则在预定方向(例如四个基本方向之一)上将这个20×20的子部分移动多个像素。这在步骤420处执行。这样，初始子部分中的所有初始像素不都包括在这个移动后的区域中。然后，计算参考区域的数据和当前图像的移动后的区域的数据之间的误差值(430)。选择具有最低误差的当前图像的移动后区域，相应的子部分用于将来与参考图像的子部分的比较(480)。应该理解，虽然在区域内的像素数目方面，参考图像的子部分和当前图像的子部分具有相同的面积，但是被比较的区域的大小不需要相同。例如，参考图像的子部分可以是100×100像素，而当前图像的子部分可以具有120×120像素。这个过程持续进行，并且执行对当前图像的移动后区域中的数据与参考图像中区域中的数据之间进行比较，直到最低误差值小于阈值或已发生了预定次数的移动为止。

图5示出了另一实施例的流程图，其中该流程图示出了图4的更加详细的实施例。应该注意，每一幅流程图可以表示由处理器上运行的软件执行的计算机代码和可执行步骤。图5中的搜索机制以螺旋图形进行操作，比较参考图像中的区域与当前图像中的区域，其中当前图像中的区域是在四个基本方向之一上移动了多个像素以进行每一次比较的。确定当前帧的移动后区域和参考帧的区域之间的最低每像素误差。然后，使当前图像中区域的中心定位到具有最低每像素误差的移动后区域的位置。然后，程序再次在四个基本方向中的每一个方向上以少于先前数目的多个像素进行搜索。以这种方式，搜索例程在具有最小误差量的区域中螺旋式缩小搜索范围。

该过程以如下方式操作。首先，处理器中接收来自实况源的媒体文件或图像。该媒体文件或实况源包含或产生一幅或多幅由数据组成的图像。每一幅图像可以由多个像素数据组成。获得实况源或文件的数据的媒体特征(501)。例如，对于位图文件，处理器与软件结合，确定数据的颜色格式。数据可以是多种格式中任意一种，例如RGB和YUV颜色分量。然后，将颜色分量转换到RGB，以便进一步处理。可以处理形成图像的单帧/场，也可以处理文件内的所有图像。虽然这些分量被转换为RGB颜色分量，在不背离本发明的前提下，这个过程可以使用任意其它颜色格式。执行这个转换，从而虽然在内部方法和代码是仅用于处理单一格式而编写的，但是程序能够在多种格式中任意一种格式的媒体文件上运行。

然后，程序询问用户是否应当保存转换后的数据(502)。如果用户指示应该保存这些数据，那么将媒体数据保存到与处理器相关联的存储器中(503)。如果用户决定不保存媒体数据，程序将检查是否需要重新同步帧计数器(504)。例如，如果正在处理实况源，则在处理期间可以丢弃图像。然后，程序检查数据以识别是否丢弃了任何帧，如果帧已经被丢弃，则相应地递增计数器(505)。

然后，程序提供允许用户选择搜索区域的接口，或将系统预先编程为具有缺省搜索区域(506)。例如，如果系统具有缺省搜索区域，则该区域可以包括与显示在显示装置上时的图像中心50％相对应的数据。用户可以使用输入装置选择区域，并可以使用输入装置选择显示屏的区域。例如，用户可以使用鼠标点击并拖动鼠标以定义屏幕上的区域，例如100像素×100像素的正方形。用户可以选择图像的任意区域作为搜索区域。然后，处理器将来自文件或实况源的、将被称作参考图像的第一图像保存到本地存储器(507)。然后，程序获得下一图像，即当前图像，并将当前图像存储在本地存储器中，用于与参考图像的子部分进行比较(508)。然后，程序可以允许用户选择搜索区域。

对图像(参考图像和当前图像)执行归一化过程，其中首先将彩色图像转换为灰度图像(509)。在将图像转换为灰度图像后，计算图像的平均强度值，然后从每一个像素值中减去平均强度值，从而针对光照效果使图像归一化。将初始图像的原点及其相对于搜索区域的偏移量一同存储在存储器中(510)。这定义了搜索的开始点。对当前图像进行检索。然后，程序检查是否已经达到了最大比较次数(511)。最大比较次数是可变数目，可以自动地设置或由用户定义。如果没有达到最大比较次数，并且计数器还未达到最大比较次数，则更新搜索区域的位置(512)。进行搜索，从而将参考帧的搜索区域内的数据与当前帧的搜索区域中的数据进行比较。在四个基本方向中的一个方向上将搜索区域移动多个像素。例如，假定搜索区域是100×100像素的正方形，可以将搜索区域向右移动10个像素。然后，在参考帧与当前帧的100×100像素的正方形中的像素之间进行比较。然后，系统确定当前搜索区域是否是最后的搜索区域(514)。系统将在每一个基本方向上执行搜索，因此计数器将在1至4之间递增。如果程序没有在四个基本方向中的每一个方向上进行搜索，则确定参考帧与当前帧中的像素值之间的差值(515)。然后计算误差百分比，可以逐像素地或用于计算两个区域之间的误差的多种其它方式中任意一种来确定误差百分比(516)。这个误差可以是针对作为整体的整个区域的，或者可以是每像素平均误差。然后，程序继续循环，直到对所有四个方向都进行了搜索为止。程序确定四个基本方向中的最低误差(520)。然后确定新的原点(521)。搜索区域所移动的像素数目(偏移量)也是可变的。在一个实施例中，每次经过搜索过程(511-521)，偏移量的大小便减小。例如，在第一次循环中，可以在搜索区域偏移20个像素的情况下执行搜索；在第二次循环中，偏移量减小到10个像素；在第三次循环中，偏移量减小到5个像素。如果有刚刚描述的这种减少，则在与参考图像的子部分相比具有最低每像素误差的当前图像的子部分上，程序螺旋式缩小搜索范围，直到出现最大比较次数、或在当前图像的子部分内与参考图像的搜索区域内的像素之间找到精确匹配为止。

程序循环返回，并在步骤511确定是否达到最大比较次数或是否已经找到匹配。最大比较次数是设置的数目。如果达到了最大比较次数，那么将参考图像和当前图像的最后比较的平均误差/像素与容限值进行比较(517)。如果平均误差/像素大于容限，则对图像数据进行重定址，从而将参考帧的搜索区域的位置和具有最低误差的当前帧的移动后的搜索区域对齐(518)。本领域的普通技术人员应该理解，当平均误差/像素大于容限时，意味着在参考图像和当前图像的搜索区域内的数据之间出现了比容限值所定义的最小值更大的匹配。本领域的技术人员还应该理解，如果发生了匹配，则平均误差/像素大于容限值。然后，程序循环回到开始。然后，将下一帧的搜索区域内的数据与参考帧的搜索区域内的数据进行比较。在特定实施例中，将当前帧更新作为参考帧，并且当前帧的移动后的搜索区域成为下一帧的新的搜索区域。

如果平均误差/像素不大于容限值，则程序移动图像并检查图像的移动量是否过大而导致错误发生(522)。例如，在图像边缘，可以移动搜索区域，从而部分搜索区域不包含任何数据并脱离了图像。如果是这种情况，则减小本地最大移动值(523)。然后，系统检查移动是否仍旧过大并且不包含数据(524)，如果答案为否，则更新偏移量(525)。如果答案是肯定的，则系统基于先前图像的先前移动来估计新的移动(527)。例如，像素值的移动量可以基于先前三幅图像的平均移动。将移动量保存在存储器中以备将来使用(528)。对当前图像的像素进行重定址，从而基于先前的移动将当前图像移动多个像素(529)。例如，如果已经将先前三幅图像的数据各自向右移动了8个像素并重定址到该位置，则程序将对当前图像进行相同处理。然后，程序将返回开始(530)。将通知用户无法找到匹配，并且在继续处理来自文件或来自实况源的下一帧之前执行估计。用户可以决定：1)是否应当从参考图像中选择新的搜索区域；2)系统是否应当使用参考图像中相同的搜索区域来继续向前执行；或者3)是否应当更新当前图像的搜索区域。在其它实施例中，这个过程是自动进行的，并且系统是自动地、缺省地具有三种方案之一。

如果移动没有过大，则保存偏移量并将子部分的移动目的地发送或存储到存储器(525)，然后程序返回开始(526)。将警告用户无法在参考图像的搜索区域中的数据与当前图像内的数据之间找到容限之内的匹配。用户可以决定：1)是否从参考图像中选择另一搜索区域并对相同的当前图像重新执行程序的步骤；2)程序是否应当舍弃当前图像，使用参考图像的相同搜索区域，并从图像文件或实况源中选择另一幅图像并执行比较；或者3)在进行比较之前应当使当前图像成为参考图像，并且用户应当从新的参考图像中选择新的搜索区域。如果在参考图像和当前帧的数据之间不存在匹配，那么程序的用户可以舍弃参考帧或当前帧，并再次开始所述过程。

因此，所述过程继续进行，直到对齐所有的图像或在没有找到匹配的情况下舍弃所有的图像为止。然后，这些图像可以显示在显示装置上，并且图像的运动应当得以去除或最小化。一旦对这些图像进行了重定址，可以处理这些图像以从多幅较低分辨率的视频图像中产生单幅较高分辨率的图像。能够提高分辨率是因为一幅图像的信息可能未包含在其它图像中，所以附加的信息提高了分辨率。

在本发明的另一实施例中，不通过计算参考图像和当前图像的子部分之间的误差值进行比较，而是使用相关函数并确定两个子部分的像素之间的相关量来进行比较。在所有其它方案中，可以使用上文所提出的实施例中的任意一种。这样，选择第一图像中的区域和第二图像中的区域并确定相关值。因此，相关值可以替代误差值，并且将存在相关阈值。较高的相关值将更多地指示第一图像中的区域和第二图像中的区域/移动区域之间的相关性。

这些流程图在这里用于解释本发明的多个方案，不应解释为将本发明限制在任意特殊的逻辑流或逻辑实施方式上。在不改变整体结果或不背离本发明的真实范围的前提下，可以将所述逻辑划分为不同的逻辑块(例如程序、模块、函数或子程序)。通常，在不改变整体结果或不背离本发明的真实范围的前提下，可以添加、修改、省略逻辑单元、以不同的顺序执行逻辑单元、或使用不同的逻辑结构(例如逻辑门、循环原语、条件逻辑和其它逻辑结构)来实现逻辑单元。

本发明可以实现为多种不同形式，包括但决不限于：针对处理器(例如微处理器、微控制器、数字信号处理器或通用计算机)而使用的计算机程序逻辑、针对可编程逻辑器件(例如现场可编程门阵列(FPGA)其它PLD)而使用的可编程逻辑、离散组件、集成电路(例如专用集成电路(ASIC))或包括上述任意组合的任意其它装置。

可以采用多种方式来实现用于实现上述全部或部分功能的计算机程序逻辑，包括但决不限于：源代码形式、计算机可执行形式和多种中间形式(例如由汇编器、编译器、链接器或定位器产生的形式)。源代码可以包括以多种编程语言(例如目标代码、汇编语言或例如Fortran、C、C++、JAVA或HTML的高级语言)中任意语言而实现的一系列计算机程序指令，这些指令针对多种操作系统或操作环境而使用。源代码可以定义并使用多种数据结构和通信消息。源代码可以是计算机可执行形式(例如通过解释器)，或者可以将源代码转换为(例如通过翻译程序、汇编器或编译器)计算机可执行形式。

可以将计算机程序以任意形式(例如源代码形式、计算机可执行形式或中间形式)永久地或暂时地固定在有形存储介质中，例如半导体存储器件(例如RAM、ROM、PROM、EEPROM或Flash-可编程RAM)、磁存储器件(例如磁盘或硬盘)、光存储器件(例如CD-ROM)、PC卡(例如PCMCIA卡)或其它存储器件。可以采用任意形式将计算机程序固定在可使用多种通信技术中的任意技术向计算机发送的信号中，这些通信技术包括但决不限于：模拟技术、数字技术、光技术、无线技术、网络技术和网络互联技术。可以采用任意方式分发计算机程序，例如具有附属的打印文档或电子文档(例如压缩(shrink wrapped)软件或磁带)的可移除存储介质；可以对计算机系统预先加载计算机程序(例如在系统(on system)ROM或硬盘)；或者从通信系统(例如因特网或万维网)上的服务器或电子公告板上分发计算机程序。

这里，可以使用传统的手动方法来设计用于实现上述所有或部分功能的硬件逻辑(包括针对可编程逻辑器件而使用的可编程逻辑)，或可以使用多种工具以电子方式来设计、捕获、仿真或者文档记录所述硬件逻辑，例如，这些工具是计算机辅助设计(CAD)、硬件描述语言(例如VHDL或AHDL)或PLD编程语言(例如PALASM、ABEL或CUPL)。

在不背离本发明真实范围的前提下，本发明可以具体实现为其它特定形式。在所有方案中，所述实施例仅仅看作示意性的而非限制性的。

Claims (9)

1.一种用于构造数字视频图像的方法，所述数字视频图像的每一幅均可相对于参考点而显示在显示装置上，所述数字视频图像包括多个像素数据，所述方法包括：

获得第一数字视频图像和第二数字视频图像；

在第一数字视频图像中相对于所述参考点选择区域，并在第二数字视频图像中选择区域，第二数字视频图像中的所述区域具有与第一数字视频图像中的所述区域相同的相对于所述参考点的位置；以及

迭代地执行：

(1)在多个方向上

(a)以多个像素来移动第二数字视频图像的所述区域，并

(b)基于第一数字视频图像的所述区域内的数据与第二数

字视频图像的移动后区域内的数据之间的比较，确定误差值；

(2)比较在多个方向上执行的移动和确定步骤所得到的多个误差值，以确定最低误差值；以及

(3)在第二数字视频图像中选择在与最低误差值相关联的方向上移动的新区域，所述新区域的大小与在第二数字视频图像中初始选择的所述区域的大小相同；

其中，在步骤(1)(a)的移动中，所述像素的数目随每次迭代而减少。

2.根据权利要求1所述的方法，其中如果所述最低误差值低于阈值，

对第二数字视频图像的数据进行重定址，从而将来自第二数字视频图像的移动后区域的数据定址到与来自第一数字视频图像的所述区域的数据相同的地址上。

3.根据权利要求1所述的方法，所述方法还包括：

在移动步骤之前对第一数字视频图像和第二数字视频图像进行归一化。

4.根据权利要求1所述的方法，还包括：

对于每次迭代，将最低误差值与预定阈值进行比较，当最低误差值小于预定阈值时，至少对第二数字视频图像的当前区域的数据进行重定位，从而当第二数字视频图像的当前区域的数据显示在显示装置上时，第二数字视频图像的当前区域的数据将位于与来自第一数字视频图像的所述区域的数据相同的位置上。

5.根据权利要求1所述的方法，还包括：

对于每次迭代，将最低误差值与预定阈值进行比较；

如果最低误差值不低于预定阈值，则继续迭代地执行移动、确定、比较和选择步骤，直到最低误差值下降到预定阈值以下或这些移动、确定、比较和选择步骤执行了预定次数为止。

6.根据权利要求4所述的方法，如果在执行了预定次数的迭代之后，最低误差值不低于预定阈值，则在第一图像中选择新区域，并针对第一图像的所述新区域，执行在第二数字视频图像中选择区域的步骤、在多个方向上执行的移动和确定步骤、比较误差值步骤以及选择新区域步骤。

7.根据权利要求1所述方法，其中所述多个方向是四个基本方向。

8.一种用于构造数字视频图像的方法，每一幅数字视频图像包括多个像素，每一幅数字视频图像可相对于参考点而显示在显示装置上，所述方法包括：

在参考数字视频图像中相对于参考点选择第一区域，并在第二数字视频图像中选择具有相对于参考点相同位置的第一区域；

迭代地比较来自参考数字视频图像的第一区域的数据与来自加有第二数字视频图像中第一区域的扩展部分的第二数字视频图像的第一区域的数据，其中第二数字视频图像中第一区域的扩展部分在迭代之间发生位置变化；

针对每次迭代，计算来自参考数字视频图像的第一区域的数据与来自加有第二数字视频图像中第一区域的扩展部分的第二数字视频图像的第一区域的数据之间的差值；

基于来自多次迭代的最低差值，选择第二数字视频图像的新区域，并迭代地执行比较和计算步骤，直到最低差值小于预定阈值为止，其中所述新区域至少包括第二数字视频图像的扩展部分，以及；

当所述最低差值小于所述预定阈值时，对来自第二数字视频图像的新区域的数据进行重定址，从而将来自第二数字视频图像的扩展后区域中的第二数字视频图像的新区域的数据定址到与来自第一数字视频图像的第一区域的数据相同的地址上。

9.根据权利要求8所述方法，其中在四个基本方向的每一个上扩展区域。

Images