CN106331480A - 基于图像拼接的视频稳像方法 - Google Patents

Abstract

本发明提供了一种基于图像拼接的视频稳像方法。该方法包括：利用图像拼接技术将摄像机拍摄的视频拼接成广角视图的视频，对拼接后的视频的各个帧进行中心点检测，通过相邻帧中心点的累积位移矢量获得摄像机的原始运动路径；利用拟合曲线对所述原始运动路径进行拟合，得到平滑后的运动路径；根据所述平滑后的运动路径在所述广角视图的视频中截取图像，重新生成稳定视频。本发明的方法针对可以拼接为全景图的视频，将改进的曲线拟合法用于获取平滑的相机路径，可以有效地估计相机的原始运动趋势，解决了计算量大的缺点，提高算法效率；提出通过迭代运算调整相机自身运动趋势方向上的运动矢量，以提高轨迹点的平滑度，增强视觉流畅体验。

Description

基于图像拼接的视频稳像方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像拼接的视频稳像方法。

背景技术

视觉是人类的重要感官之一，是人类获取各种信息的重要途径，人们对外界各种各样的信息大部分是通过视觉感知的。随着现代信息技术的飞速发展，视频成为了信息的重要载体之一，已走入千家万户，丰富了人们的日常生活。人们对于视频质量的要求越来越高，其用途也越来越广泛，如电影、电视、视频聊天、电话会议、视频检索等等，都需要对视频信号进行处理。

与此同时，电子摄像设备也已经越来越普遍，大到摄像机，小到数码摄像机或手机等设备，都可以进行视频录制。这些设备在为人们提供便利的同时，也存在着一些问题有待提高。例如在没有摄像机架的情况下，手持设备会出现抖动；无人侦查监视系统中，会受到自然因素的影响，出现不同程度的抖动；在摄像系统姿态变化时，也会产生一定程度的抖动。这些抖动都是人不希望得到的，同时，它们也会给观察者带来视觉疲劳，从而可能会导致观察者对视频漏判与误判，忽略很多有效信息，甚至对视频失去兴趣。视频稳像系统的发展，由机械式稳像到光学稳像，再到机电稳像，现在已经发展到了电子稳像。稳像技术已经发展地更灵活、更精确、成本更低、能耗更小、体积更小、集成度更高。尤其是在电子计算机飞速发展的年代，由于计算机的计算能力大幅度提升，因此在视频图像处理上的应用也更加迅速的发展，稳像技术已经进入了电子稳像的时代。

目前对于视频稳像技术的研究方法有很多，主要可分为机械稳像、光学稳像、机电稳像以及电子稳像。随着电子计算机技术的飞速发展，由于电子稳像不需要昂贵的摄像头，只需要利用电子计算机对视频图像进行处理，便可获得稳定的视频。这不但给人们更好地观看高质量视频提供了便利，也大大降低了视频稳像的成本。电子视频稳像的算法根据采用的运动模型不同，大致可分为基于二维运动模型的稳像方法，基于三维运动模型的稳像方法和融合二维与三维运动模型的稳像方法。下面作简要介绍。

1.基于二维运动模型的稳像方法

早期的该类方法多遵循运动估计、运动平滑、运动补偿的算法框架。在运动估计的部分建立相邻帧或固定参考帧的线性变换模型，通常是仿射变换、单应矩阵或两者的结合。常用的运动估计算法有代表点匹配法、位平面匹配法、块匹配法、灰度投影法、圆投影匹配法、相位相关法、特征匹配法、光流法等。此模块的设计多考虑精度和速度的平衡、适用的场合和局限性。其中代表点匹配法、块匹配法、位平面法、投影法建立的运动模型是平移变换；相位相关法估计的运动模型是相似变换；特征匹配法和光流法建立的运动模型可以是相似、仿射或单应性变换，因此可处理旋转的情况。早期此类算法的设计多聚焦在运动平滑的部分，如对这些独立的运动模型参数进行滤波平滑。常见的基于滤波的平滑方法有均值滤波、低通滤波、高斯滤波、粒子滤波、卡尔曼滤波等，用于去除非运动方向的高频分量，进而得到平滑的摄像机运动路径。后来发展的其他方法有如运用多项式曲线拟合摄像机的原始运动路径；或进一步将原始的摄像机轨迹分割成独立的部分单独拟合，以获得更好的原始运动路径；视频网站Youtube中应用了L1范数优化的视频稳像方法，产生由连续，线性和抛物线的运动组合的摄像机路径。这个方法基于电影拍摄的手法，模仿电影胶片，对上述每种运动单独进行平滑再组合，得到更好的摄像机运动路径，后来另采用基于单应性阵列的运动模型处理果冻效应，在用户拍摄的视频上体现了良好的稳像效果。也有方法采用“尽可能相似”的补偿方式设计混合的运动模型，通过平滑混合的摄像机路径输出稳定视频。这些线性的二维运动模型相比于三维的运动模型，速度和鲁棒性更好；但由于模型不够灵活，在描述复杂的场景时力所不逮。当场景中存在深度变换、视差、物体移动等问题时，算法可能失效并产生低质量的视频输出。点特征轨迹属于一种非参数的二维运动模型。特征轨迹可以通过建立各帧的特征点对应关系得到。一旦特征轨迹平滑，比如建立需最小化的目标函数，就能得到稳定的视频输出。此类算法的框架区别于传统的参数模型方法，需将其中运动估计、运动滤波、和运动补偿的部分用平滑特征点轨迹的步骤代替。通常采用特征跟踪法产生的轨迹长且稀疏，采用光流法估计相邻帧获得的原始运动路径密而短。

上述基于二维运动模型的稳像方法的缺点是：空间上的特征轨迹常常是稀疏且分布不均的，可以开始或结束于视频的任何一帧；此外，用户拍摄的视频中由于存在运动模糊、纹理区域、摄像机的平移和旋转，严重遮挡等问题，长的特征轨迹难以获取。

2.基于三维运动模型的稳像方法

此类视频稳像方法通过重建三维的摄像机轨迹进行平滑。相比基于二维运动模型的方法，此类方法最明显的好处就是可以处理视差问题，产生较好的视频稳像结果。最早是使用未标定的摄像机进行场景的投影重建，后来出现完整的三维稳像方法，将重建的三维点投影用“基于内容”的补偿方式来补偿原始帧，从而输出稳定视频。

上述基于三维运动模型稳像方法的缺点是需要三维重建，运用从运动中恢复结构的SFM(Structure From Motion，运动结构)算法，计算量大，且在缺乏视差、摄像机变焦、快速旋转、明显的物体移动和果冻效应等情况下失效。除此之外，鲁棒的三维重建需要长的特征跟踪，和非参数的二维运动模型中建立特征轨迹类似，用户拍摄的视频中很难获得长的特征轨迹，此处不再赘述。

发明内容

本发明的实施例提供了一种基于图像拼接的视频稳像方法，以实现有效地对视频进行稳像处理。

为了实现上述目的，本发明采取了如下技术方案。

一种基于图像拼接的视频稳像方法，包括：

利用图像拼接技术将摄像机拍摄的视频拼接成广角视图的视频，对拼接后的视频的各个帧进行中心点检测，通过相邻帧中心点的累积位移矢量获得摄像机的原始运动路径；

利用拟合曲线对所述原始运动路径进行拟合，得到平滑后的运动路径；

根据所述平滑后的运动路径在所述广角视图的视频中截取图像，重新生成稳定视频。

进一步地，所述的得到平滑后的运动路径之后，根据所述平滑后的运动路径在所述广角视图的视频中截取图像之前，包括：

通过迭代运算调整所述摄像机自身有意运动方向上的运动矢量，过滤掉所述平滑后的运动路径中所述摄像机自身有意运动方向上的抖动分量。

进一步地，所述的对拼接后的视频的各个帧进行中心点检测，通过相邻帧中心点的累积位移矢量获得摄像机的原始运动路径，包括：

按帧的格式读取所述广角视图的视频中的各个帧；

检测出前一帧的中心点，选取所述前一帧的中心点的周围矩形区域为匹配模板；

利用相关匹配在当前帧的中心区域附近搜索所述匹配模板，找到所述前一帧的中心点在当前帧的匹配点，计算出所述当前帧的匹配点与前一帧的中心点之间的差值，将该差值作为当前帧与前一帧之间的相邻帧运动矢量；

按照上述处理过程，计算出下一帧与当前帧之间的相邻帧运动矢量，对各个相邻帧运动矢量进行相加累积，得到摄像机的原始运动运动路径。

进一步地，所述的利用拟合曲线对所述原始运动路径进行拟合，得到平滑后的运动路径，包括：

步骤1、选取拟合窗口的大小为m，设定所述拟合窗口的拟合曲线和各阶参数；

步骤2、将所述原始运动路径中1到m个帧的横坐标代入所述拟合曲线，得到第一个窗口平滑后的所述1到m个帧的纵坐标，若采用后期处理模式进入步骤(3)，采用实时处理模式则进入步骤(4)；

步骤3、窗口向前滑动k帧，k<m，将上一个窗口m-k个帧平滑后的坐标与当前窗口的k个帧的横坐标一起代入所述拟合曲线，进行三次拟合，得到当前窗口内平滑后的1到m个帧的纵坐标，重复上述处理过程至最后一帧，得到所有帧的横坐标和纵坐标，形成平滑后的运动路径；

步骤4、窗口向前移动一帧，预测当前帧的纵坐标：前一个窗口获得的各阶拟合参数乘以当前横坐标的各次幂再相加，移动窗口后，前m-1个已平滑坐标与当前帧原始坐标组成大小为m的新窗口再次进行三次拟合，返回各阶参数，循环此步骤继续预测下一帧的纵坐标，重复上述处理过程至最后一帧，得到所有帧的横坐标和纵坐标，形成平滑后的运动路径。

进一步地，所述的通过迭代运算调整所述摄像机自身有意运动方向上的运动矢量，过滤掉所述平滑后的运动路径中所述摄像机自身有意运动方向上的抖动分量，包括：

1、设摄像机自身存在的有意运动方向为x，摄像机在x方向上所有轨迹点x_i，将所述所有轨迹点x_i组成的轨迹分为长度为n的各轨迹段，调整n个轨迹点x_i之间的距离；

2、计算出n个轨迹点x_i之间的相邻运动矢量dx_i，求出所有相邻运动矢量dx_i的均值Ave和n个轨迹点的长度Sum；

3、获得所有x方向运动矢量dx_i到均值的距离|dx_i-Ave|；

4、设定距离|dx_i-Ave|不能超过的阈值大小Δ和迭代次数m；

5、保持该段原始运动路径的长度不变仅调整运动矢量到均值的距离，及轨迹的疏密程度，若不满足任意距离|dx_i-Ave|在阈值范围Δ内，则寻找距离均值最远Max|dx_i-Ave|的运动矢量dx_i，将该运动矢量的序列i记为t；

6、判断所述运动矢量dx_i的正负性，将所述运动矢量dx_i限制在相应的阈值边缘：即所述运动矢量dx_i若在均值上方超过阈值范围，则将该所述运动矢量dx_i设定在上方阈值处dx_i＝Ave+Δ；同理dx_i在均值下方超过阈值范围，则将所述运动矢量dx_i设定在下方阈值处dx_i＝Ave-Δ；

7、设所述运动矢量dx_i调整后的值为dx_t，若dx_i-Ave＞0，在调整dx_i＝Ave+Δ后运动矢量轨迹会减少，所有运动矢量的轨迹总和需增加，增加部分为Add＝dx_i-(Ave-Δ)；若dx_i-Ave＜0，在调整dx_i＝Ave-Δ后运动矢量轨迹会增加，所有运动矢量的轨迹总和需减少，减少部分为Add＝dx_i-(Ave+Δ)；

8、将增加或减少的部分Add分予除需调整的运动矢量dx_t外剩余的运动矢量：

9、循环执行上述步骤1-步骤5，直至所有运动矢量限制在均值上下阈值范围内，或迭代次数超过设定值m，跳出循环；

10、对所有新的运动矢量dx_i进行取整，求取整后的n个轨迹点的长度SumNew；

11、运动矢量校正：为保证原始运动路径长度Sum不变，对步骤10中产生的多余运动矢量REM＝SumNew-Sum进行分配，找到|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量，将所述相邻运动矢量的位置序列存入数组Label；

12、判断所述相邻运动矢量间增加或减少的关系，根据不同情况分配多余的运动矢量：若取整后新轨迹长度减少即REM＜0，则需将要增加的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将分配给较小的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较小的运动矢量加1后结束；

13、若取整后新轨迹长度减少即REM＞0，则需将要减少的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将分配给较大的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较大的运动矢量减1后结束；

14、输出n个新的轨迹点；

15、重复步骤(2)-(14)，调整下一段输入的n个轨迹点。

进一步地，所述的根据所述平滑后的运动路径在所述广角视图的视频中截取图像，重新生成稳定视频，包括：

根据所述平滑后的运动路径，在所述广角视图的视频中的对应位置上截取图像，并且设定截取图像的上下边缘区域，用截取的图像重新生成稳定视频。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的基于图像拼接的视频稳像方法提出的将改进的曲线拟合法用于获取平滑的相机路径，可以有效地估计相机的原始运动趋势，在实时预测模块可通过曲线参数实时预测当前帧位置。后处理方法针对相机自身的运动趋势，提出通过迭代运算调整相机自身运动趋势方向上的运动矢量，以提高轨迹点的平滑度，增强视觉流畅体验。最后利用生成的稳定相机路径在拼接生成的广角视图上截取图像，重新生成场景变换的稳定视频。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例提出的一种基于图像拼接的视频稳像方法的处理流程图；

图2为本发明实施例提出的一种根据虚拟的运动路径生成稳定视频序列示意图；

图3为本发明实施例提出的一种摄像机的原始运动路径全景示意图；图4为本发明实施例提出的一种摄像机的拟合后运动路径全景示意图；

图5为本发明实施例提出的一种迭代运算调整有意运动方向运动矢量流程图；

图6为本发明实施例提出的一种有意方向运动矢量迭代运算后局部轨迹点示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例基于二维运动非参数模型的原理，打破了传统的稳像算法框架，提出一种基于图像拼接的视频稳像方法。该方法先利用图像拼接技术得到视频背景的广角视图，并通过对视频中每帧的中心点搜索跟踪，获得摄像机的实际运动路径；然后对摄像机实际运动路径进行拟合，得到一个虚拟摄像机路径，重新生成稳定视频；最后在此基础上，通过迭代算法进一步调整摄像机自身有意运动方向上的运动矢量，减少该方向上的高频分量，提高视觉流畅度。

本发明实施例基提出的一种基于图像拼接的视频稳像方法的处理流程如图1所示，包括如下的处理步骤：

步骤10、利用图像拼接技术得到视频背景的广角视图，获取摄像机路径。

将待处理的视频读入，利用图像拼接技术将视频拼接成广角视图的视频，得到视频背景的广角视图，得到视频中全部的场景信息。

在本发明中，对摄像机路径进行获取，需要对相邻帧进行运动估计，从而得到摄像机的原始运动路径。其操作过程如下：

按帧的格式读取上述广角视图的视频。

对视频帧进行中心点检测，设前一帧中心点的周围小块矩形区域为匹配模板。

利用相关匹配在当前帧中心区域附近搜索匹配模板，找到前一帧中心点在当前帧的匹配点，计算上述当前帧的匹配点与前一帧中心点之间的差值，将该差值作为当前帧与前一帧之间的相邻帧运动矢量。

对估计错误的相邻帧运动矢量校正，若偏差太大超过设定阈值，则选择前面部分累积帧的平均运动矢量作为当前相邻帧中心点运动矢量。

按照上述处理过程，计算下一帧的运动矢量。

对各个相邻帧运动矢量进行相加累积，得到摄像机的原始运动路径。图3为本发明实施例提出的一种摄像机的原始运动路径全景示意图。

步骤20、摄像机路径的拟合

为了在稳定视频中消除原始视频中的抖动现象，对上述摄像机的原始运动路径进行曲线拟合，得到平滑后的稳定的摄像机路径，从而输出稳定的视频。

1、采用滑动帧窗口的方式。设定拟合窗口大小为m，取1到第m个坐标，进行三次拟合，得到第一个窗口拟合曲线和返回的各阶参数。

2、将原始1到第m个摄像机的原始运动路径的横坐标代入拟合曲线，得到第一个窗口平滑后的纵坐标。若采用后期处理模式进入步骤(3)，采用实时处理模式则进入步骤(4)。

3、窗口向前滑动k帧(k<m)，保留上一个窗口m-k个平滑后轨迹，与下一个窗口的k个原始轨迹一起进行三次拟合，减少相邻两段轨迹之间的跳跃点。得到新窗口内平滑后的坐标，重复步骤，滑动拟合的窗口从而得到所有帧的新坐标，形成平滑后的摄像机原始运动路径。

4、窗口向前移动一帧，预测当前帧的纵坐标：前一个窗口获得的各阶拟合参数乘以当前横坐标的各次幂再相加。移动窗口后，前m-1个已平滑坐标与当前帧原始坐标组成大小为m的新窗口再次进行三次拟合，返回各阶参数。循环此步骤继续预测下一帧的纵坐标，至视频尾帧，可得所有帧的新坐标，即最后拟合的摄像机运动路径。图4为本发明实施例提出的一种摄像机的拟合后的运动路径全景示意图。

步骤30、调整摄像机有意运动方向的轨迹。图5为本发明实施例提供的一种迭代运算调整有意运动方向运动矢量流程图流程图，包括如下的处理过程：

(1)设摄像机自身存在的有意运动方向为x。在路径估计中,已经获取摄像机在x方向上所有轨迹点x_i，将x_i分为长度为n的各轨迹段，一次调整n个轨迹点x_i之间的距离。

(2)计算输入的n个轨迹点的相邻运动矢量dx_i，求出运动矢量的均值Ave和n个轨迹点的长度Sum。

(3)获得所有x方向运动矢量dx_i到均值的距离|dx_i-Ave|。

(4)设定距离|dx_i-Ave|不能超过的阈值大小Δ和迭代次数m。

(5)保持该段原始运动路径的长度不变仅调整运动矢量到均值的距离，及轨迹的疏密程度。若不满足任意距离|dx_i-Ave|在阈值范围Δ内，则寻找距离均值最远Max|dx_i-Ave|的运动矢量dx_i。将该运动矢量的序列i记为t。

(6)判断该运动矢量dx_i的正负性并将其限制在相应的阈值边缘：即dx_i若在均值上方超过阈值范围，则将该运动矢量设定在上方阈值处dx_i＝Ave+Δ；同理dx_i在均值下方超过阈值范围，则将该运动矢量设定在下方阈值处dx_i＝Ave-Δ，目的去除过快的运动矢量。

(7)在步骤(6)前，为满足可知在调整运动矢量dx_i后，n个轨迹点的总和会发生改变，因此首先利用找到的超过阈值且距离均值最远Max|dx_i-Ave|的运动矢量dx_i计算轨迹长度需要增加(或减少)的量，再计算该运动矢量调整后的值dx_t。若实际dx_i-Ave＞0，在调整dx_i＝Ave+Δ后运动矢量会减少，轨迹总和需增加，则增加部分Add＝dx_i-(Ave-Δ)；若实际dx_i-Ave＜0，调整dx_i＝Ave-Δ后比实际轨迹和增加，轨迹长度需减少，减少部分Add＝dx_i-(Ave+Δ)。

(8)按步骤(6)计算dx_t，dx_t＝Ave+Δ或dx_t＝Ave-Δ。

(9)将增加(或减少)的部分Add分予除需调整的运动矢量dx_t外剩余的运动矢量：

(10)循环至步骤(5)，直至所有运动矢量限制在均值上下阈值范围内，或迭代次数超过设定值m，跳出循环。

(11)为满足像素要求，对所有新的运动矢量dx_i进行取整，求取整后的SumNew。

(12)运动矢量校正：为保证原始原始运动路径长度Sum不变，对步骤(11)中产生的多余运动矢量REM＝SumNew-Sum进行分配，找到|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量，将它们的位置序列存入数组Label。

(13)判断这些相邻运动矢量间增加或减少的关系，根据不同情况分配多余的运动矢量：若取整后新轨迹长度减少即REM＜0，则需将要增加的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将给较小的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较小的运动矢量加1后结束。

(14)若取整后新轨迹长度减少即REM＞0，则需将要减少的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将给较大的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较大的运动矢量减1后结束。

(15)经过(13)、(14)步骤，取整后经过调整的轨迹长度保持原始长度，不会带来累积的轨迹点误差，且进一步减少了较大相邻运动矢量间距。最后输出n个新的轨迹点。

(16)重复步骤(2)-(15)，调整下一段输入的n个轨迹点。

步骤40、重新生成稳定视频。

考虑到拼接过程中，可能需要对视频进行一定程度的裁剪；同时选取平滑后的摄像机路径后，其与原始路径的差异导致在生成稳定视频的过程中易出现从全景拼图中截取视频帧时，溢出全景图边缘的情况。因此在以平滑的摄像机的运动路径在广角视图上截取时，可自行设定截取视频帧的上下部分区域。图2为本发明实施例提出的一种根据虚拟的运动路径生成稳定视频序列示意图，对此实验视频大小为480×360，最后生成视频大小为480×280，得到完整的稳定视频。

综上所述，本发明实施例针对剧烈变化的场景，提出了结合图像拼接技术与帧中心点路径跟踪以获取原始视频相机路径的方法，可以有效地估计相机的原始运动趋势。本发明实施例提出的将改进的曲线拟合法用于获取平滑的相机路径，在实时预测模块可通过曲线参数实时预测当前帧位置。后处理方法针对相机自身的运动趋势，提出通过迭代运算调整相机自身运动趋势方向上的运动矢量，以提高轨迹点的平滑度，增强视觉流畅体验。最后利用生成的稳定相机路径在拼接生成的广角视图上截取图像，重新生成场景变换的稳定视频。

本发明实施例的基于图像拼接的视频稳像方法针对可以拼接为全景图的视频，此类视频多为缺乏视差的视频流。对于该类视频的处理，解决了计算量大的缺点，大大提高算法效率；对存在果冻效应的此类视频，在获得全景图的情况下，具有一定处理效果。对于摄像机变焦、快速旋转、明显物体移动的视频，不能进行全景图拼接，算法失效。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于图像拼接的视频稳像方法，其特征在于，包括：

利用图像拼接技术将摄像机拍摄的视频拼接成广角视图的视频，对拼接后的视频的各个帧进行中心点检测，通过相邻帧中心点的累积位移矢量获得摄像机的原始运动路径；

利用拟合曲线对所述原始运动路径进行拟合，得到平滑后的运动路径；

根据所述平滑后的运动路径在所述广角视图的视频中截取图像，重新生成稳定视频。

2.根据权利要求1所述的方法，其特征在于，所述的得到平滑后的运动路径之后，根据所述平滑后的运动路径在所述广角视图的视频中截取图像之前，包括：

通过迭代运算调整所述摄像机自身有意运动方向上的运动矢量，过滤掉所述平滑后的运动路径中所述摄像机自身有意运动方向上的抖动分量。

3.根据权利要求1所述的方法，其特征在于，所述的对拼接后的视频的各个帧进行中心点检测，通过相邻帧中心点的累积位移矢量获得摄像机的原始运动路径，包括：

按帧的格式读取所述广角视图的视频中的各个帧；

检测出前一帧的中心点，选取所述前一帧的中心点的周围矩形区域为匹配模板；

利用相关匹配在当前帧的中心区域附近搜索所述匹配模板，找到所述前一帧的中心点在当前帧的匹配点，计算出所述当前帧的匹配点与前一帧的中心点之间的差值，将该差值作为当前帧与前一帧之间的相邻帧运动矢量；

按照上述处理过程，计算出下一帧与当前帧之间的相邻帧运动矢量，对各个相邻帧运动矢量进行相加累积，得到摄像机的原始运动运动路径。

4.根据权利要求3所述的方法，其特征在于，所述的利用拟合曲线对所述原始运动路径进行拟合，得到平滑后的运动路径，包括：

步骤1、选取拟合窗口的大小为m，设定所述拟合窗口的拟合曲线和各阶参数；

步骤2、将所述原始运动路径中1到m个帧的横坐标代入所述拟合曲线，得到第一个窗口平滑后的所述1到m个帧的纵坐标，若采用后期处理模式进入步骤(3)，采用实时处理模式则进入步骤(4)；

步骤3、窗口向前滑动k帧，k<m，将上一个窗口m-k个帧平滑后的坐标与当前窗口的k个帧的横坐标一起代入所述拟合曲线，进行三次拟合，得到当前窗口内平滑后的1到m个帧的纵坐标，重复上述处理过程至最后一帧，得到所有帧的横坐标和纵坐标，形成平滑后的运动路径；

步骤4、窗口向前移动一帧，预测当前帧的纵坐标：前一个窗口获得的各阶拟合参数乘以当前横坐标的各次幂再相加，移动窗口后，前m-1个已平滑坐标与当前帧原始坐标组成大小为m的新窗口再次进行三次拟合，返回各阶参数，循环此步骤继续预测下一帧的纵坐标，重复上述处理过程至最后一帧，得到所有帧的横坐标和纵坐标，形成平滑后的运动路径。

5.根据权利要求2所述的方法，其特征在于，所述的通过迭代运算调整所述摄像机自身有意运动方向上的运动矢量，过滤掉所述平滑后的运动路径中所述摄像机自身有意运动方向上的抖动分量，包括：

1、设摄像机自身存在的有意运动方向为x，摄像机在x方向上所有轨迹点x_i，将所述所有轨迹点x_i组成的轨迹分为长度为n的各轨迹段，调整n个轨迹点x_i之间的距离；

2、计算出n个轨迹点x_i之间的相邻运动矢量dx_i，求出所有相邻运动矢量dx_i的均值Ave和n个轨迹点的长度Sum；

3、获得所有x方向运动矢量dx_i到均值的距离|dx_i-Ave|；

4、设定距离|dx_i-Ave|不能超过的阈值大小Δ和迭代次数m；

5、保持该段原始运动路径的长度不变仅调整运动矢量到均值的距离，及轨迹的疏密程度，若不满足任意距离|dx_i-Ave|在阈值范围Δ内，则寻找距离均值最远Max|dx_i-Ave|的运动矢量dx_i，将该运动矢量的序列i记为t；

6、判断所述运动矢量dx_i的正负性，将所述运动矢量dx_i限制在相应的阈值边缘：即所述运动矢量dx_i若在均值上方超过阈值范围，则将该所述运动矢量dx_i设定在上方阈值处dx_i＝Ave+Δ；同理dx_i在均值下方超过阈值范围，则将所述运动矢量dx_i设定在下方阈值处dx_i＝Ave-Δ；

7、设所述运动矢量dx_i调整后的值为dx_t，若dx_i-Ave＞0，在调整dx_i＝Ave+Δ后运动矢量轨迹会减少，所有运动矢量的轨迹总和需增加，增加部分为Add＝dx_i-(Ave-Δ)；若dx_i-Ave＜0，在调整dx_i＝Ave-Δ后运动矢量轨迹会增加，所有运动矢量的轨迹总和需减少，减少部分为Add＝dx_i-(Ave+Δ)；

8、将增加或减少的部分Add分予除需调整的运动矢量dx_t外剩余的运动矢量：

9、循环执行上述步骤1-步骤5，直至所有运动矢量限制在均值上下阈值范围内，或迭代次数超过设定值m，跳出循环；

10、对所有新的运动矢量dx_i进行取整，求取整后的n个轨迹点的长度SumNew；

11、运动矢量校正：为保证原始运动路径长度Sum不变，对步骤10中产生的多余运动矢量REM＝SumNew-Sum进行分配，找到|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量，将所述相邻运动矢量的位置序列存入数组Label；

12、判断所述相邻运动矢量间增加或减少的关系，根据不同情况分配多余的运动矢量：若取整后新轨迹长度减少即REM＜0，则需将要增加的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将分配给较小的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较小的运动矢量加1后结束；

13、若取整后新轨迹长度减少即REM＞0，则需将要减少的量-REM分配给Label中的运动矢量，依次判断Label中相邻运动矢量dx_i与dx_i-1的大小，将分配给较大的运动矢量，分配|REM|次后，即依次循环所有点，将Label中|REM|个间隔|dx_i-dx_i-1|最大的相邻运动矢量中较大的运动矢量减1后结束；

14、输出n个新的轨迹点；

15、重复步骤(2)-(14)，调整下一段输入的n个轨迹点。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述的根据所述平滑后的运动路径在所述广角视图的视频中截取图像，重新生成稳定视频，包括：

根据所述平滑后的运动路径，在所述广角视图的视频中的对应位置上截取图像，并且设定截取图像的上下边缘区域，用截取的图像重新生成稳定视频。