CN107079111A - 用于视频稳定化的轨迹规划 - Google Patents

Abstract

对视频稳定化描述轨迹规划。在一个示例中，视频帧的序列被接收并被低通滤波。如果低通滤波帧的子集被确定为零运动帧，则对零运动帧估计平滑轨迹。使用平滑估计从零运动帧去除抖动，且帧扭曲应用于以去除抖动的零运动帧。

Description

用于视频稳定化的轨迹规划

技术领域

本说明书涉及使视频稳定，并且具体而言涉及检测连续视频帧中的运动以使没有运动的视频稳定。

背景技术

小数字相机变得如此廉价以便于在从手表、到头盔、到计算平板电脑、到媒体播放器、到所有种类的蜂窝电话的各种各样的便携式和可穿戴式设备上被提供。这些相机对于拍摄高行动场景的视频特别方便，在这些场景中较大的相机是不实际的或侵入的。对于专业视频，相机通常安装到范围从简单的三脚架到有履带的轨道小车、吊杆或机动升降台架的稳定平台。这些平台中的一些具有稳定器以当相机移动时保持相机水平和被瞄准，并且甚至抵消快速运动和抖动。然而当相机是手持式时，摄影师可能不能够提供稳定的平台。类似地，安装到头盔、车辆或其它移动平台的相机也将受到运动和抖动，除非它被稳定。

稳定器一般是大的、重的和精密的，所以视频稳定化处理技术被开发。这些技术试图去除在采集视频之后的不需要的运动。技术还试图避免去除需要的运动。在一方面，摄影师的手可能摇晃或骑自行车的人可能撞到障碍物。在另一方面，摄影师可以跨场景扫描相机，或移动以观看不同的主体。对于动作序列，当相机随着摄影师经历动作时，可能存在大量的运动。一种常见的视频稳定化技术是将低通滤波器(例如高斯滤波器)应用于视频序列的图像。这个滤波器试图将快速(或高频)运动与缓慢运动隔离，并且然后只补偿快速运动。原则上，去除来自摇晃的手的运动，而不去除来自跨场景移动镜头或移动到场景中的不同主体的运动。

附图说明

通过示例的方式而非限制性方式示出了实施例，在附图的图中，相似的附图标记指代类似的元件。

图1A是采集抖动的零运动视频主体的图。

图1B是视频采集设备的图。

图2是根据实施例的零运动视频和规划轨迹的图。

图3是根据实施例的零运动视频和到具有规划轨迹的运动视频的过渡的图。

图4是根据实施例的可以显示为零运动视频和规划轨迹的运动视频的图。

图5是根据实施例的利用零运动估计来使视频序列平滑的框图。

图6是根据实施例的经受箝入(clamping)的运动视频和规划轨迹的图。

图7是根据实施例的利用零运动估计来使视频序列平滑的过程流程图。

图8是根据实施例的并入视频稳定化的视频采集设备的框图。

具体实施方式

视频稳定化(VS)的目的在于使所捕获的视频序列中的摇晃的相机轨迹平滑，从而使输入视频中的抖动运动可以被有效地去除。用于平滑化的很多低通滤波器或高斯滤波器技术不会补偿所有的运动并且被校正运动所需的缺失区域的尺寸限制。

按照设计，低通滤波器可以只减少一些抖动的运动。它不能准确且完全去除所有抖动。在视频中的一些量的抖动容易被观察者忽略，对于该视频相机具有低频运动，例如扫描或移动镜头(pan)。然而，当视频没有有意的相机运动时，小抖动的运动更明显。在零运动情形下，小抖动的运动可以容易被观察到。作为示例，如果场景的背景反映摇晃的手或摇晃的相机支架，则这将容易在观看视频时被看到。

在视频序列中的场景的运动被称为轨迹。可以通过分析场景的运动来估计相机的运动。轨迹包括高频和低频运动。使视频稳定以减少快速或摇晃的运动(例如抖动)被称为使轨迹平滑。因为在场景中的哪些元件移动以及在场景中的哪些元件由于相机的运动而出现移动并不总是已知的，轨迹平滑化是基于实际未知轨迹的估计。基于分析视频的连续帧之间的变化来估计所估计的轨迹。也可以通过考虑以前帧的估定轨迹并然后预测未来帧的轨迹来作出轨迹预测。这常常通过将估定的轨迹推测到以后的时间来完成，但可以用很多其它方式预测轨迹。

为了使轨迹平滑，调节视频中的帧以补偿不需要的相机运动。如果相机从一个帧到下一帧向上移动例如四个像素，则在帧扭曲期间，下一帧向下移动四个像素来进行补偿。当帧被移动时，则将有缺失的帧的区域。缺失区域限制帧扭曲的范围。当例如在两个帧之间检测到例如4个像素的向上垂直运动时，理想地，VS技术将整个帧向下移动4个像素以补偿抖动运动。这些较低的4行像素从正常视频序列缺失。

如果帧具有不被包括在视频中的4个附加的底行像素信息，则可以容易添加缺失区域。由于这个原因，视频帧通常在所有四侧上被修剪，留下透明区，其为在修剪视频周围的边缘。透明区提供额外的行和列，其可以用于在必须补偿相机运动时填充缺失区域。缺失区域的尺寸与低通滤波器强度紧密有关。过滤后的轨迹越平滑，缺失区域就越大。然而，当缺失区域的尺寸大时，基于修剪的方法将明显减小用户的可见区域，即在实际视频中的像素的数量。一般，由制造商或按照标准充分提前预先确定缺失区域的尺寸。替代地，可以通过基于帧的边缘处的像素产生新像素(例如通过在缺失像素中涂色)来填充缺失区域。然而，基于图像修复的方法往往产生明显的伪影(artifact)。

一般预先确定缺失区域的最大尺寸。这限制了可以为每个输入视频帧补偿的抖动的量。当在原始相机轨迹与经过滤的轨迹(即估定的抖动值)之间的差异大于补偿极限时，这个帧的抖动将被约束到补偿极限；这个帧被称为箝入抖动的帧。有箝入抖动的帧常常导致在平滑轨迹中的中断并最终通过创建所谓的“突跳”伪影而降低稳定视频的视觉质量。可以通过适当地规划轨迹来处理这些跳跃的伪影。

图1A是示出用于使用不稳定的视频相机来记录视频的示例性情形的图。相机102被握在将相机瞄准场景110的录像师106的手104中。相机可能在录像师的手中摇晃或抖动，因为它不稳定。如果录像师将相机安装到较大的平台(未示出)，例如不稳定的车辆，则这也有可能发生。录像师将相机瞄准具有固定的山脉背景112和移动的前景物体114(例如滑板车手)的场景。场景还具有移动的背景云116。这作为常见的示例被提供，但在场景中的元件可以变化以适合录像师的要求。

视频相机102在图1B中的扩展视图中被示为具有透镜120以使场景成像到图像传感器122上。可以有快门、可控孔径光阑、滤波器、遮光罩和在透镜与图像传感器之间的其它元件(未示出)。图像传感器数据被提供到采样和保持电路126以将数据转换成一组像素值。然后在图像处理器128中处理像素值。系统由通用处理器130控制，通用处理器130在触摸屏显示器124上显现用户界面和图像视图，并且可以显现一个或多个附加的用户界面和通信元件。相机可以具有比所示的多得多或少得多的组件，这取决于特定的实施方式。

为了更准确地使视频稳定，可以将零运动视频与具有预期运动的视频区分开。可以使用两个或多个连续帧来确定差异。可以存在要区分的至少三种不同的情况。这些可以被称为：1)真实零运动检测；2)零运动过渡；以及3)错误的零运动检测。

真实零运动可以被描述为没有在摇晃的视频中的预期运动。这可以出现在拍摄风景的视频或拍摄固定物体(例如画或雕像)时。在这样的情况下，可以在高斯滤波之后的两个连续帧中观察到小随机运动。

对于零运动检测，低通滤波器应用于在轨迹平滑台中的原始相机轨迹，并且低通滤波器输出经过滤的轨迹。因为低通滤波器去除大部分抖动运动，经过滤的轨迹主要显示相机的真实预期运动。因此，可以通过分析经过滤的轨迹的特征来将视频序列确定为零运动视频或非零运动。

在图2中示出了零运动的示例。图2是垂直轴上的轨迹坐标与水平轴上的连续帧对比的图表。每个点表示在帧的序列中的从左到右的不同帧。存在连续点的两条线。一条线202示出了从在低通滤波之后的原始输入视频产生的轨迹坐标。这将被称为预测轨迹。点的第二条线204示出了如果没有运动则轨迹坐标将如何。这是基于没有运动的假设从输入视频得到的平滑轨迹。这个平滑轨迹是细化或规划的轨迹，并且当应用于预测轨迹时将使视频变得更平滑且稳定。

点可以用于显示确定帧序列是否是零运动的方法。低通滤波器视频202中的每个点显示来自在线上的紧接着其之前的点和紧接着其之后的点的坐标的小运动。在相邻点的坐标之间的间隙或距离可以用于确定运动是否仅是某些抖动或其它无意效应或某些有意运动。换句话说，一种方法是比较最后一个低通滤波器坐标和当前低通滤波器坐标之间的间隙。如果位移或间隙(D)小于阈值(T)，则视频的线被确定为零运动视频。如果间隙大于阈值，则视频被表明为运动视频。规划轨迹被强加在视频上以使视频稳定并去除运动。换句话说，使用帧扭曲来调节在低通滤波之后的实际轨迹202，从而使其与规划的笔直或零运动轨迹204匹配。

替代地，这两条线可以相互比较。如所示的，规划轨迹显示在两个连续帧之后的实际低通滤波的预测轨迹202与规划轨迹204之间的间隙(D)。间隙小于阈值(T)。基于阈值比较结果，由线202表示的视频可以被确定为零运动视频。当在这两个经过滤的相邻轨迹之间的间隙小于预定阈值时，将确定在这两个帧之间不存在有意运动。因此，规划轨迹204用于视频稳定化而不是低通滤波器输出202。

可以用各种不同的方式执行对坐标的比较。首先，一个低通滤波帧的坐标可以与如所示的对应平滑轨迹帧的坐标进行对比。这可以对每个帧重复。然而，在执行这样的比较时，可以有为极值做出的限额。如果相机突然伸入一个或多个帧中并且接着返回到原始位置，则序列仍然可以是零运动序列。相应地，平均值可以用于比较坐标。在一个示例中，可以确定在帧的短集合(例如五个或十个低通滤波帧)和对应的规划轨迹帧之间的差异。然后差异的平均值可以被采用并与阈值进行对比以确定它是否是零运动序列。方差(例如离算术平均值的偏差的平均平方根)也可以或替代地被采用以确定它是否是零运动序列。

作为另外的替代方案，可以确定帧的短集合(例如五个或十个低通滤波预测轨迹帧)的平均值或方差或这两者和对应的细化或规划的轨迹帧的平均值。然后，在这两个平均值之间的差异可以与阈值进行对比以确定它是否是零运动序列。

作为另外的替代方案，帧的短集合(例如五个或十个低通滤波预测轨迹帧)的平均值或方差或这两者可以与帧的短集合中的每个帧进行对比。如果平均值与任何一个特定的帧之间的差异小于阈值，则序列可以被确定为那个帧的零运动序列。当一个或两个连续帧超过阈值时，则序列可以被确定为做出到具有那些帧的运动序列的过渡。这在图3中示出。如果没有帧在阈值到平均值内，则帧的整个短集合是运动序列。

可以用各种不同的方式确定规划轨迹坐标值。平均坐标值可以用作当前帧的最后平滑轨迹。可以用第一低通滤波帧或用预测轨迹的帧序列来初始化平均值。如所示的，视频序列以第一帧206开始，其中预测轨迹的坐标和规划轨迹的坐标是相同的。因为这是零运动情况，其中只有运动是由于无意相机运动产生的，零运动规划轨迹用于从视频序列完全去除抖动。简言之，在低通滤波之后，分析视频，并且在这种情况下，执行附加的抖动去除。

图3是类似于图2但具有不同的视频序列的图表。可以有在一个视频序列中组合的多个相机运动。作为结果，当零运动的标准不再被满足时，系统自适应地从零运动模式转换成非零运动模式。

在这里有视频序列的第一零运动部分310和视频序列的第二非零运动部分312。在这两个部分之间的是从零运动到非零或正运动的过渡。零运动部分310类似于图2的零运动部分，因为在两个连续帧之间的运动小于阈值(T)。

在第二部分312中，两个连续帧的运动(D)大于阈值。这继而对应于除了抖动以外的相机的一些运动。运动太大而不能利用抖动抑制或稳定化技术来尽心补偿。作为结果，没有对低通滤波结果的修改。继而通过具有低通滤波结果的这个序列来更新平均值，从而使零运动检测可以继续。

以类似的方式，可以用在图2的背景中的过渡检测可以用于确定视频是否是零运动视频或运动视频。以相同的方式，大于阈值(T)的间隙(D)确定过渡，相同的条件可以用于首先确定视频是非零运动视频。

图4的示例对应于零运动检测是错误警报的情况。当相机在与如由点的低通滤波线402所示的相同的方向上一致地拍摄小运动时，在任两个相邻帧上的预测轨迹与估定规划轨迹之间的间隙小。因为在任两个帧之间的坐标中的差异小且小于阈值，则系统可以将序列解释为零运动视频。然而，如果预测轨迹在相同的方向上继续，则它不是抖动或摇晃，而是相机的无意慢运动。这对于零运动检测是假警报，如果被当作零运动视频，假警报将使稳定视频的视觉质量恶化，。

也在视频序列的多个帧上监控在来自低通滤波器的规划轨迹与预测轨迹之间的间隙。如果检测到大累积间隙(D)，则可以调节规划轨迹以跟随相机的有意运动。大间隙检测可以与零运动检测和错误警报检测组合。

图4是图表，其中帧的低通滤波序列的预测轨迹坐标对于每个帧被显示为一行点402。基于零运动的规划轨迹也被称为点的第二序列404。实际视频序列402显示在很多帧之上的小均匀运动。为了防止错误的零运动检测，可以为每个帧检查在平均值与预测轨迹之间的间隙。当间隙(D)大于阈值(T)时，规划轨迹404的平均值被更新。运动是非零的，并且平均值可以用作最终输出。

通过比较轨迹，在低通滤波预测轨迹中的帧的序列与在规划或估定轨迹中的帧的对应序列进行比较。对于有意运动，预测轨迹的帧将从规划轨迹的帧偏离。图4示出的不是将每个帧与每个其它帧进行比较，可以对轨迹进行比较。这可以使用如上所述的针对每个轨迹的坐标的平均值来完成。替代地，如在图4中的，对轨迹进行比较。在所示示例中，预测轨迹的每个帧离规划轨迹更远且在同一方向上更远。规划轨迹基于零运动。当预测轨迹更远离规划轨迹移动时，可以确定预测轨迹不是零运动。

图4的规划轨迹404最初作为直线开始，但当预测轨迹402继续远离规划轨迹移动时，对规划轨迹进行调节。实际或预测轨迹在所示示例中处于向下倾斜平滑曲线的粗略形式。规划轨迹类似地被估计为平滑曲线，其以被估计为与预测轨迹的速率相同的速率向下倾斜。这个斜率可以在作出进一步调节时随着时间而变化。

图5是使视频帧的序列稳定的框图，如可以在采集视频并将视频继续发送到单独的处理引擎(例如视频工作站或编辑系统)之后在相机中或在以后的后处理中执行的。视频序列的输入帧502应用于全局运动估计块504。全局运动估计用于找到在输入视频中的每对相邻帧之间的主导运动。基于从一个帧到下一帧的这些全局运动，可以产生相机轨迹。如果相机的运动具有不希望的摇晃运动，则由全局运动估计产生的相机轨迹将被随机抖动(或任何其它噪声)影响。所估计的全局轨迹将有一个量的误差，其取决于抖动和其它噪声。

在确定轨迹之后，利用轨迹平滑化块506来处理由抖动和其它噪声引起的扰动。轨迹平滑化块产生预测轨迹。这个轨迹平滑化可以通过应用低通滤波器来完成。任何快速运动被滤出，从而主要地仅使有意运动保留在视频帧的序列中。在执行轨迹平滑化时，可以通过从原始轨迹减去经过滤的轨迹来估计随机抖动。

来自平滑化块506的经过滤的预测轨迹被提供到以下更详细描述的轨迹规划块508。这产生了规划轨迹。最后，所计算的抖动值用于通过将规划轨迹应用于输入视频帧来补偿帧扭曲块510中的相机的摇晃运动。

轨迹规划块508被放置在相机轨迹平滑化台506之后。在轨迹规划台中，重新设计经过滤的轨迹。没有任何有意运动的摇晃视频可以被完全补偿。另外，在普通帧和箝入抖动的帧之间的平滑轨迹的不连续性可以尽可能减小。

轨迹规划台被扩展到几个不同的块522、524、526、628、530、532中，如在图5中的轨迹规划台下方所示的。整个轨迹规划台可以被描述为具有两个部分。第一部分540是零运动视频的轨迹规划，并且第二部分542用于消除由于抖动运动箝入而引起的任何突跳伪影。

第一部分包括可以用各种不同的方式执行的零运动检测522。在图2的示例中，低通滤波预测轨迹帧与稳定的规划轨迹进行比较。如果在这两个轨迹的坐标之间的差异小且在阈值内，则视频序列可以被表明为具有零运动轨迹。这个确定可以与如在图3的背景下描述的过渡检测和如在图4的背景下描述的错误检测组合。

在零运动检测模块522中的运动细化之后，视频稳定化可以为大部分情形提供质量稳定的视频。然而，一些抖动运动箝入仍然可能降低视觉质量。然而可以预测运动箝入的可能。使用预测，可以提前调节补偿运动以产生更加稳定的视频序列作为输出。

图6是与图2、3和4的图表类似的图表以显示轨迹规划的示例。从低通滤波器506接收的预测轨迹被显现为点602的第一线。每个点反映特定视频帧的坐标位置。线在时间上前进到左边，每个点代表穿过视频序列的连续帧。在这个示例中，存在具有相对于箝入的不同特性的三个区。在第一区610中，检测到箝入。视频帧被固定到箝入的位置。在第二区612中，估计没有未来的箝入。使用两个间隔开的视频帧的坐标来绘制预测轨迹：前一帧和在这个示例中从前一帧向前5个帧的帧。在第三区中，没有足够的未来帧来预测轨迹，所以序列被固定到最后一个帧。在更多的帧被接收到之后，则规划轨迹可以延伸并以与在第一区610和第二区612中相同的方式被使用。

首先，低通滤波器应用于未来帧的原始预测轨迹以从低通滤波器模块506得到它们的预测轨迹。这些帧被指示为帧的抖动线602。未来帧524的原始轨迹被供应到处理系统中。这个轨迹被过滤(526)，从而使未来轨迹可以被预测(528)。基于在来自522的原始轨迹和来自526的经过滤的轨迹之间的差异，可以执行箝入检查530。箝入检查预测是否有即将到来的箝入抖动的帧。一旦检测到任何箝入抖动的帧，就可以规划平滑轨迹以避免在箝入的帧出现时的任何突跳。轨迹规划可以对每个帧进行更新以极大地减小任何轨迹不连续性。

在箝入块530预测到任何未来的箝入帧之后，则目标锚532可以基于可能的箝入被调节。使用新目标锚和前一轨迹534，可以更新(536)轨迹以适应于检测到的箝入。所更新的轨迹然后被输出到帧扭曲510以产生稳定的视频帧512。

执行轨迹规划508的一个简单的方式是使用一个先前位置和当前轨迹锚作为输入来绘制线。然而，如果从经过滤的轨迹选择一些其它帧，则也可以使用最新绘制的轨迹的形状。可以基于前一位置和来自未来帧的后一位置以各种方式预测轨迹。这样的曲线可以作为最小二乘法拟合、贝塞尔曲线或以各种其它方式来产生。在将曲线拟合到坐标之后，当前帧的位置可以被计算并作为在箝入检查之后的最终结果被再次输出。

回到图6，在第一区610中，利用缓慢的向上运动和一些无规律的抖动来绘制来自低通滤波视频帧的示例性预测轨迹602。细化或规划的平滑轨迹604遵循相同的一般方向，但没有先前匹配实际帧的坐标位置。在第二区612中，视频帧显示缓慢的向下运动。作为结果，帧坐标返回到在第一区的轨迹的中间附近的位置。由于这个原因，将没有箝入。可以基于某些数量N的未来帧来产生规划轨迹。在第二区中，五个帧被用作预测任何运动箝入的示例。

规划轨迹604爬升到最大点616，箝入可以在该点出现。然而，在第二区中，基于接下来的5个帧的规划轨迹显示这仍然是峰值，并且视频坐标移动回到较早的位置。在第三区中，规划轨迹未充分被估计，直到更多的帧被接收到为止。

图7是示出本文中所述的很多操作的过程流程图。在700，从存储器或从视频相机接收输入帧。帧被缓存，从而使当前和未来帧对于本文所述的各种过程是可用的。在701，基于分析所接收的帧来确定输入轨迹。这可以使用如在图2、3、4和6的示例轨迹中所示的坐标来完成。高斯滤波器704应用于轨迹以过滤出在帧之间的高速抖动，但保留相机的低速有意运动。

经过滤的视频帧然后供应于零运动检测706。如果将视频确定为零运动视频，则基于选定锚点来进一步使帧稳定(708)。这甚至消除了高速滤波器不能去除的小运动。作为示例，来自零运动稳定化的平滑轨迹被投影到未来帧上，例如接下来的5个帧。这与高斯滤波的接下来的5个帧进行比较以将视频特征描述为是否是零运动。

也可以在零运动补偿期间执行抖动运动箝入。这可以出现在抖动超过可以得到的补偿的范围时。在那种情况下，当平滑轨迹从一个锚点过渡到下一锚点时，在输出视频中可以观察到突跳或小摇晃。

从零运动稳定化(708)，视频被馈送到箝入块710。如果视频不是零运动706，则零运动稳定化708被跳过以继续移动到箝入块710。利用箝入检查，轨迹可以接着在712被调节以适应任何箝入。跳跃被避免或规划，从而使它们在稳定的视频中较不明显。预测轨迹的高斯滤波帧与接下来可用的未来帧进行比较。

在检查箝入之后，轨迹规划712进一步使箝入的轨迹平滑。轨迹被规划以避免在锚点之间的跳跃或使跳跃最小化。可以使用前一帧的经处理的位置来规划轨迹以绘制新轨迹。经处理的位置可以来自高斯滤波帧或来自零运动稳定化帧，这取决于零运动是否在706被检测到。可以从经处理的位置估计接下来的5个帧的平滑轨迹。如果在接下来的5个帧中找到箝入，则使用前一位置和箝入位置来重新计算当前轨迹。如果在多于一个所投影的未来帧中找到箝入，则可以使用那些多个估计的箝入位置来计算锚。

在另一方面，如果在接下来的5个帧中没有找到箝入，则使用前一位置和在第5个连续的帧处的未来位置来重新计算当前轨迹。

如本文中所述的，几种技术可以进行组合以提高视频稳定化的所感知的质量。运动轨迹规划应用于减小稳定视频的运动不连续性并提高视频稳定化的视觉质量。零运动情形被检测到。零运动检测的错误警报被检测到。当检测到零运动时锁定相机轨迹，并且当不再检测到零运动时，相机轨迹从锁定模式逐渐消失。基于低通滤波框架来预测视频的未来轨迹。在一个或几个先前帧和一个或几个未来帧的滑动窗中执行轨迹规划。在未来帧中检测到可能的抖动箝入，并自适应地为轨迹规划计算目标锚。轨迹规划被执行以在滑动窗中输出恒定的、线性或抛物线轨迹。

图8示出根据一个实施方式的便携式视频设备100。视频设备100容纳系统母板12。板2可以包括多个组件，包括但不限于处理器4和至少一个通信封装件6。通信封装件耦合到一个或多个天线16。处理器4物理地和电气地耦合到板2。

根据其应用，视频设备100可以包括可以或可以不物理地和电气地耦合到板2的其它组件。这些其它组件可以包括但不限于易失性存储器(例如DRAM)8、非易失性存储器(例如ROM)9、闪速存储器(未示出)、图形处理器12、数字信号处理器(未示出)、密码处理器(未示出)、芯片组14、天线16、显示器18(例如触摸屏显示器)、触摸屏控制器20、电池22、音频编码解码器(未示出)、视频编码解码器(未示出)、功率放大器24、全球定位系统(GPS)设备26、罗盘28、加速度计(未示出)、陀螺仪(未示出)、扬声器30、相机32、麦克风阵列34和大容量存储设备(例如硬盘驱动器10、光盘(CD)(未示出)、数字通用盘(DVD)(未示出)等)。这些组件可以连接到系统板2、安装到系统板或与其它组件中的任一个组合。

通信封装件6实现了无线和/或有线通信以用于将数据转移到视频设备100和从视频设备100转移数据。术语“无线”及其派生词可以用于描述可通过使用经调制电磁辐射来经由非固体介质传送数据的电路、设备、系统、方法、技术、通信通道等。该术语并不暗示相关联的设备不包含任何电线，虽然在一些实施例中它们可以不包含电线。通信封装件6可以实施多种无线标准或协议中的任一个，包括但不限于Wi-Fi(IEEE 802.11系列)、WiMAX(IEEE 802.16系列)、IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、以太网、其派生物以及被指定为3G、4G、5G和更高代的任何其它无线协议。视频设备100可以包括多个通信封装件6。例如，第一通信封装件6可以专用于较短距离的无线通信(例如Wi-Fi和蓝牙)，并且第二通信封装件6可以专用于较长距离的无线通信(例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等)。

相机32可以包括图1的相机102的所有组件或共享资源，例如存储器8、9、10、处理器4和具有其它视频设备组件和功能的用户界面12、20。处理器4耦合到相机和存储器以接收视频的帧并基于如所述的预测轨迹来使帧稳定。

在各种实施方式中，视频设备100可以以是视频相机、数字单透镜反射或无反射相机、蜂窝电话、媒体播放器、膝上型电脑、上网本、笔记本、超级本、智能电话、可穿戴式设备、平板电脑、个人数字助理(PDA)、超移动PC或数字视频记录器。视频设备可以是固定的、便携式的或可穿戴的。在另外的实施方式中，视频设备100可以是记录图像帧的序列并处理数据的任何其它电子设备。

可以使用母板、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)将实施例实施为一个或多个存储器芯片、控制器、CPU(中央处理单元)、微芯片或集成电路互连件的一部分。

对“一个实施例”、“实施例”、“示例性实施例”、“各种实施例”等的引用指示这样描述的(多个)实施例可以包括特定特征、结构或特性，但不是每个实施例都必须包括特定特征、结构或特性。此外，一些实施例可以具有为其它实施例描述的特征中的一些、所有特征或没有这些特征。

在以下描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”用于指示两个或多个元件彼此协作或交互作用，但它们可以或可以没有介于它们之间的中间物理或电气组件。

如权利要求中所使用的，除非另有规定，描述共同的元件的顺序形容词“第一”、“第二”、“第三”等的使用仅仅指示相似元件的不同实例被提到，且并不旨在暗示这样描述的元件必须在时间上、在空间上、在等级上或以任何其它方式按给定顺序。

附图和前述描述给出实施例的示例。本领域中的技术人员将认识到，一个或多个所述元件可以适当地组合成单个功能元件。替代地，某些元件可以分成多个功能元件。来自一个实施例的元件可以被添加到另一实施例。例如，本文所述的过程的顺序可以改变且不限于本文所述的方式。而且，任何过程简图的行动不需要以所示顺序实施；所有行动也不一定需要被执行。此外，不依赖于其它行动的那些行动可以与其它行动并行地被执行。实施例的范围决不由这些特定的实例限制。很多变化——不管在说明书中是否明确地给出——例如在结构、尺寸和材料使用方面的差异是可能的。实施例的范围至少与下面的权利要求所给出的一样宽。

以下的示例属于另外的实施例。不同实施例的各种特征可以与被包括的一些特征和被排除的其它特征以不同的方式组合以适合各种不同的应用。一些实施例属于一种方法，其包括：接收视频帧的序列，对视频帧进行低通滤波，确定低通滤波帧的子集是否是零运动帧，估计零运动帧的平滑轨迹，使用平滑轨迹从零运动帧去除抖动，以及将帧扭曲应用于已去除抖动的零运动帧。

在另外的实施例中，确定包括将视频帧的序列中所选择的低通滤波帧与相邻的低通滤波帧的坐标进行比较。

在另外的实施例中，比较包括确定在所选择的帧的坐标与相邻帧的坐标之间的距离以及将该距离与阈值进行比较，其中如果该距离小于阈值，则帧的子集被确定为零运动帧。

在另外的实施例中，确定距离以及将该距离与阈值进行比较针对子集的每个帧被执行，并且如果距离大于阈值，则确定到运动视频的过渡。

在另外的实施例中，确定包括确定低通滤波帧的子集的第一轨迹，确定第二零运动轨迹以及将第一轨迹与第二轨迹进行比较。

在另外的实施例中，比较包括将第一轨迹的帧的坐标与第二轨迹的对应帧的坐标进行比较，并且如果坐标在阈值距离内，则确定低通滤波帧的子集是零运动帧。

在另外的实施例中，比较坐标包括将第一轨迹的帧的坐标的短序列的平均值与第二轨迹的对应帧的坐标的平均值进行比较，并且如果平均值在阈值距离内，则确定低通滤波帧的子集是零运动帧。

在另外的实施例中，比较坐标包括将第一轨迹的帧的坐标的短序列的方差与第二轨迹的对应帧的坐标的方差进行比较，并且如果方差在阈值距离内，则确定低通滤波帧的子集是零运动帧。

在另外的实施例中，如果低通滤波帧的子集被确定为不是零运动帧，则将帧扭曲应用于低通滤波帧。

在另外的实施例中，平滑轨迹基于被选择为锚点的帧的坐标，该方法还包括检查未来箝入，以及基于箝入检查来更新平滑轨迹。

在另外的实施例中，更新平滑轨迹包括选择输出帧中的过去的帧以及产生过去的帧与锚点之间的曲线。

一些实施例属于一种装置，其包括：用于接收视频帧的序列并对视频帧进行低通滤波的滤波器、用于确定低通滤波帧的子集是否是零运动帧的零运动检测器、用于估计零运动帧的平滑轨迹的轨迹平滑、以及使用平滑轨迹从零运动帧去除抖动的帧扭曲。

在另外的实施例中，零运动检测器将视频帧的序列中所选择的低通滤波帧与相邻的低通滤波帧的坐标进行比较。

在另外的实施例中，零运动检测器通过确定所选择的帧的坐标与相邻帧的坐标之间的距离并将该距离与阈值进行比较来比较，其中如果该距离小于阈值，则帧的子集被确定为零运动帧。

在另外的实施例中，零运动检测器通过将帧轨迹的子集的帧的坐标的短序列的平均值与所选择的低通滤波帧进行比较来比较。

一些实施例属于具有指令的计算机可读介质，指令当被操作时使计算机执行操作，所述操作包括：接收视频帧的序列，对视频帧进行低通滤波，确定低通滤波帧的子集是否是零运动帧，估计零运动帧的平滑轨迹，使用平滑轨迹从零运动帧去除抖动，以及将帧扭曲应用于已去除抖动的零运动帧。

在另外的实施例中，如果低通滤波帧的子集被确定为不是零运动帧，则操作还包括将帧扭曲应用于低通滤波帧。

在另外的实施例中，平滑轨迹基于被选择为锚点的帧的坐标，操作还包括检查未来箝入，以及基于箝入检查来更新平滑轨迹。

在另外的实施例中，更新平滑轨迹包括选择输出帧中的过去的帧以及产生过去的帧和锚点之间的曲线。

一些实施例属于计算设备，其包括：用于记录视频帧的序列的图像传感器、用于存储视频帧的序列的存储器、用于对视频帧的所存储的序列进行低通滤波的高斯滤波器、用于确定低通滤波帧的子集是否是零运动帧的零运动检测器、用于估计与帧的子集对应的平滑轨迹的轨迹估计器、以及在零运动被检测到的情况下使用平滑轨迹从帧的子集去除抖动的轨迹规划器。

在另外的实施例中，零运动检测器将视频帧的序列中所选择的低通滤波帧的坐标与相邻的低通滤波帧的坐标进行比较。

在另外的实施例中，零运动检测器通过确定在所选择的帧的坐标与相邻帧的坐标之间的距离并将该距离与阈值进行比较来比较，其中如果该距离小于阈值，则帧的子集被确定为零运动帧。

在另外的实施例中，零运动检测器通过将帧轨迹的子集的帧的坐标的短序列的平均值与所选择的低通滤波帧进行比较来比较。

在另外的实施例中，平滑轨迹基于被选择为锚点的帧的坐标，轨迹估计器还检查未来箝入，以及基于箝入检查来更新平滑轨迹。

在另外的实施例中，更新平滑轨迹包括选择输出帧中的过去的帧以及产生过去的帧和锚点之间的曲线。

Claims (25)

1.一种方法，包括：

接收视频帧的序列；

对所述视频帧进行低通滤波；

确定所述低通滤波帧的子集是否是零运动帧；

针对所述零运动帧估计平滑轨迹；

使用所述平滑轨迹从所述零运动帧去除抖动；以及

将帧扭曲应用于已去除抖动的所述零运动帧。

2.根据权利要求1所述的方法，其中，确定包括将视频帧的所述序列中所选择的低通滤波帧的坐标与相邻的低通滤波帧的坐标进行比较。

3.根据权利要求2所述的方法，其中，比较包括确定在所选择的帧的坐标与所述相邻帧的坐标之间的距离以及将所述距离与阈值进行比较，其中，如果所述距离小于所述阈值，则帧的所述子集被确定为零运动帧。

4.根据权利要求3所述的方法，其中，确定所述距离以及将所述距离与阈值进行比较是针对所述子集的每个帧而被执行的，并且如果距离大于所述阈值，则确定到运动视频的过渡。

5.根据权利要求1所述的方法，其中，确定包括：

确定低通滤波帧的所述子集的第一轨迹；

确定第二零运动轨迹；以及

将所述第一轨迹与所述第二轨迹进行比较。

6.根据权利要求5所述的方法，其中，比较包括将所述第一轨迹的帧的坐标与所述第二轨迹的对应帧的坐标进行比较，并且如果所述坐标在阈值距离内，则确定低通滤波帧的所述子集是零运动帧。

7.根据权利要求6所述的方法，其中，比较坐标包括将所述第一轨迹的帧的坐标的短序列的平均值与所述第二轨迹的对应帧的坐标的平均值进行比较，并且如果所述平均值在阈值距离内，则确定低通滤波帧的所述子集是零运动帧。

8.根据权利要求3所述的方法，其中，比较坐标包括将所述第一轨迹的帧的坐标的短序列的方差与所述第二轨迹的对应帧的坐标的方差进行比较，并且如果所述方差在阈值距离内，则确定低通滤波帧的所述子集是零运动帧。

9.根据上述权利要求中的任何一项或多项所述的方法，其中，如果低通滤波帧的所述子集被确定为不是零运动帧，则将帧扭曲应用于所述低通滤波帧。

10.根据上述权利要求中的任何一项或多项所述的方法，其中，所述平滑轨迹基于被选择为锚点的帧的坐标，所述方法还包括：

检查未来箝入；以及

基于所述箝入检查来更新所述平滑轨迹。

11.根据权利要求10所述的方法，其中，更新所述平滑轨迹包括选择输出帧中的过去的帧以及产生所述过去的帧与所述锚点之间的曲线。

12.一种装置，包括：

滤波器，其用于接收视频帧的序列并对所述视频帧进行低通滤波；

零运动检测器，其用于确定所述低通滤波帧的子集是否是零运动帧；

轨迹平滑化，其用于针对所述零运动帧估计平滑轨迹；以及

帧扭曲，其用于使用所述平滑轨迹从所述零运动帧去除抖动。

13.根据权利要求12所述的装置，其中，所述零运动检测器将视频帧的所述序列中所选择的低通滤波帧的坐标与相邻的低通滤波帧的坐标进行比较。

14.根据权利要求13所述的装置，其中，所述零运动检测器通过确定所选择的帧的坐标与所述相邻帧的坐标之间的距离并将所述距离与阈值进行比较来比较，其中，如果所述距离小于所述阈值，则帧的所述子集被确定为零运动帧。

15.根据权利要求13或14所述的装置，其中，所述零运动检测器通过将帧轨迹的所述子集的帧的坐标的短序列的平均值与所选择的低通滤波帧进行比较来比较。

16.一种具有指令的计算机可读介质，所述指令当被操作时使所述计算机执行操作，所述操作包括：

接收视频帧的序列；

对所述视频帧进行低通滤波；

确定所述低通滤波帧的子集是否是零运动帧；

估计所述零运动帧的平滑轨迹；

使用所述平滑轨迹从所述零运动帧去除抖动；以及

将帧扭曲应用于已去除抖动的所述零运动帧。

17.根据权利要求16所述的介质，其中，如果低通滤波帧的所述子集被确定为不是零运动帧，则所述操作还包括将帧扭曲应用于所述低通滤波帧。

18.根据权利要求16或17所述的介质，其中，所述平滑轨迹基于被选择为锚点的帧的坐标，所述操作还包括：

检查未来箝入；以及

基于所述箝入检查来更新所述平滑轨迹。

19.根据权利要求16-18中的任何一项或多项所述的介质，其中，更新所述平滑轨迹包括选择输出帧中的过去的帧以及产生所述过去的帧与所述锚点之间的曲线。

20.一种计算设备，包括：

图像传感器，其用于记录视频帧的序列；

存储器，其用于存储所述视频帧的序列；

高斯滤波器，其用于对所存储的视频帧的序列进行低通滤波；

零运动检测器，其用于确定所述低通滤波帧的子集是否是零运动帧；

轨迹估计器，其用于估计与帧的所述子集对应的平滑轨迹；以及

轨迹规划器，其用于在零运动被检测到的情况下使用所述平滑轨迹从帧的所述子集去除抖动。

21.根据权利要求20所述的计算设备，其中，所述零运动检测器将视频帧的所述序列中所选择的低通滤波帧的坐标与相邻的低通滤波帧的坐标进行比较。

22.根据权利要求21所述的计算设备，其中，所述零运动检测器通过确定在所选择的帧的坐标与所述相邻帧的坐标之间的距离并将所述距离与阈值进行比较来比较，其中，如果所述距离小于所述阈值，则帧的所述子集被确定为零运动帧。

23.根据权利要求21或22所述的计算设备，其中，所述零运动检测器通过将帧轨迹的所述子集的帧的坐标的短序列的平均值与所选择的低通滤波帧进行比较来比较。

24.根据权利要求21-23中的任何一项或多项所述的计算设备，其中，所述平滑轨迹基于被选择为锚点的帧的坐标，所述轨迹估计器还：

检查未来箝入：以及

基于所述箝入检查来更新所述平滑轨迹。

25.根据权利要求24所述的计算设备，其中，更新所述平滑轨迹包括选择输出帧中的过去的帧以及产生所述过去的帧与所述锚点之间的曲线。