CN109302545A - 视频稳像方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种视频稳像方法、装置及计算机可读存储介质，涉及图像处理与计算机视觉技术领域。该方法根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N‑1个光流点对；进而筛选出N‑1个光流点对中满足第一预设要求的备选特征点和与该备选特征点对应的每帧图像中的背景特征点和前景特征点，提取视频中每帧图像中在预设帧数图像中不运动前景物体的特征点，和在预设帧数图像中相对全局运动相对静止的背景物体的特征点；采用该方法对视频进行稳像时，当视频序列间前景运动对象较多或运动较大时，具有较好的稳像效果，有较强的鲁棒性和准确性。

Description

视频稳像方法、装置及计算机可读存储介质

技术领域

本申请涉及图像处理与计算机视觉技术领域，特别涉及一种视频稳像方法、装置及计算机可读存储介质。

背景技术

电子稳像作为视频稳像的一种方式，电子稳像基于在连续视频图像之间进行运动估计，然后对视频中的每一帧图像进行运动滤波和运动补偿处理得到稳定的图像。电子稳像首先对图像序列进行全局运动估计，得到运动参数后进行综合评价，然后进行运动补偿，最后获得稳定的输出序列。

现有技术中，光流法作为运动估计方法的一种，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动，传统的光流法可以用于计算包括平移、旋转以及缩放运动的变换参数，且具有较高的精度，但当视频序列间前景运动对象较多或运动较大时，传统的光流法计算的全局运动矢量、变换参数具有较大误差，限制了其工程应用。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种视频稳像方法、装置及计算机可读存储介质。

为实现上述目的，本申请实施例采用的技术方案如下：

本申请实施例提供了一种视频稳像方法，包括：

根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3；根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，其中，第一预设要求为预设帧数图像内不运动前景物体的光流点对和背景物体的光流点对；获取备选特征点对应的每帧图像中的背景特征点和前景特征点；将视频中每帧图像的前景特征点删除，生成背景特征点。

进一步地，根据视频中N帧图像中的第一帧图像的特征点，包括：

获取视频中N帧图像中的第一帧图像的第一预设角点数；根据第一预设角点数，获取所述第一帧图像的第一特征点。

进一步地，根据视频中N帧图像中的第一帧图像的特征点，还包括

分别获取N帧图像中相邻两帧图像之间的N-1个光流点对不满足光流点对阈值时，获取视频中N帧图像中的第一帧图像的第二预设角点数，根据第二预设角点数，获取第一帧图像的第二特征点，其中，第二预设角点数大于第一预设角点数。

进一步地，根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，包括：

根据N-1个光流点对，分别从第i帧、第i+1帧、第i+2帧中获取满足第二预设要求的参照点，其中i∈(1，N-1)，第二预设要求为任意两个参照点之间的坐标距离大于坐标预设值；根据第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，获取第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点。

进一步地，根据第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，获取第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点，包括：

根据第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，分别得到三个第i帧、第i+1帧、第i+2帧选取对应的同一特征点的坐标；根据所述三个同一特征点的坐标，获取第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点。

进一步地，根据三个参照点的坐标，获取所述第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点，包括：

根据所述三个参照点分别在第i帧、第i+1帧及第i+2帧图像中的坐标，构成第i帧、第i+1帧及第i+2帧图像中的三角形，判断第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

进一步地，判断第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点，包括：

根据三个参照点坐标，分别在第i帧、第i+1帧及第i+2帧图像中构成的三角形，获取三角形的夹角和边长；根据三角形的夹角和边长，判断三角形的夹角和边长是否小于第一预设阈值和第二预设阈值；如果三角形的夹角和边长小于第一预设阈值和第二预设阈值，筛选出所述第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

进一步地，获取备选特征点对应的每帧图像中的背景特征点和前景特征点，包括：

采用K均值聚类获取备选特征点对应的每帧图像中的背景特征点和前景特征点。

本申请实施例还提供了一种视频稳像装置，包括：

第一获取模块，用于根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3；

筛选模块，用于根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，其中，第一预设要求为预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对；

第二获取模块，用于获取备选特征点对应的每帧图像中的背景特征点和前景特征点；

生成模块，用于将视频中每帧图像的所述前景特征点删除，生成背景特征点。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。

本申请的有益效果是：

本申请实施例提供的一种视频稳像方法、装置及计算机可读存储介质，根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对；根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点和与该备选特征点对应的每帧图像中的背景特征点和前景特征点，从而根据获取到的每帧图像中的背景特征点和前景特征点，提取视频中每帧图像中在预设帧数图像中不运动前景物体的特征点，和在预设帧数图像中相对全局运动相对静止的背景物体的特征点；采用该方法对视频进行稳像时，当视频序列间前景运动对象较多或运动较大时，该方法具有较好的稳像效果，有较强的鲁棒性和准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种视频稳像方法流程示意图；

图2为本申请实施例提供的另一种视频稳像方法流程示意图；

图3为本申请实施例提供的又一种视频稳像方法流程示意图；

图4为本申请实施例提供的一种视频稳像装置示意图；

图5为本申请实施例提供的又一种视频稳像装置示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

光流的定义：光流由相机运动、场景中目标运动或两者的共同运动产生的相对运动引起的。

光流法的原理：利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息，即光流，适合于背景中不断变化的场景。

本申请实施例提供一种视频稳像方法，如图1包括：

S101.根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3。

其中，图像的特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，光流表示的是图像序列之间像素运动的瞬时速度，对于视频中具有N帧图像的光流点对的获取，将首先获取第一帧图像的特征点，基于该第一帧图像的特征点，采用光流计算方法，从而获取该视频中相邻两帧图像之间的N-1个光流点对。其中，本申请采用的是金字塔Lucas-Kanada光流法，即基于第一帧图像的特征点获取的第一帧图像与第二帧图像之间的光流点对为第一光流点对，基于第一光流点对获取的第二帧图像与第三帧图像之间的光流点对为第二光流点对，依次即可获取到该视频中N帧图像的N-1个光流点对。

Lucas-Kanada光流法，是假设在一个小的空间邻域内运动矢量保持恒定，使用加权最小二乘法估计光流，被广泛应用于稀疏光流场。而金字塔Lucas-Kanada光流法，是在图像金字塔的最高层计算光流，用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层，这样将不满足运动假设的可能性降到最小从而实现对更快和更长的运动的跟踪，避免了Lucas-Kanada光流法在实际中跟踪效果不好的情况。

此外，获取的光流点对应当满足光流点对的阈值，该光流点对阈值的取值范围可以为30～100，即该光流点对阈值可以是30、50或100，本申请以光流点对阈值为30进行说明。本申请也并不限定光流计算方法的类型，本申请选取的是金字塔Lucas-Kanada光流法，根据实际场景的应用，也可以选取其他光流法计算方法。

S102.根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，其中，第一预设要求为预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对。

依据S101获取到的光流点对，筛选出该光流点对中满足第一预设要求的光流点对，作为该光流点对的备选特征点，其中，第一预设要求即指的是在预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对，其中，预设帧数大于等于3，本申请中选取预设帧数为3，则第一预设要求为在预设的3帧图像中不运动前景物体的光流点对和背景物体的光流点对。

其中，需要说明的是，视频前景是视频序列中相对全局运动存在运动位移的区域及感兴趣的区域，而视频背景则与视频前景相对，视频背景指的是视频序列中相对全局运动相对静止的区域。而前景物体指的是具备该前景特征的物体，背景物体则指的是具备该背景特征的物体。

S103.获取备选特征点对应的每帧图像中的背景特征点和前景特征点。

根据获取到的备选特征点，采用K均值聚类方法，即可获取与该备选特征点对应的每帧图像的背景特征点和前景特征点。其中，每帧图像中的前景特征点指的是在预设帧数图像中运动前景物体的特征点；而背景特征点则与前景特征点对应，指的是在预设帧数图像中相对全局运动相对静止的背景物体的特征点。

S104.将视频中每帧图像的所述前景特征点删除，生成背景特征点。

其中，根据获取到的每帧图像中的背景特征点和前景特征点，提取视频中每帧图像在预设帧数内相对全局运动相对静止的背景物体的特征点。

综上所述，本申请提供一种视频稳像方法、装置及计算机可读存储介质，根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对；根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点和与该备选特征点对应的每帧图像中的背景特征点和前景特征点；从而根据获取到的每帧图像中的背景特征点和前景特征点，提取视频中每帧图像中在预设帧数图像中不运动前景物体的特征点，和在预设帧数图像中相对全局运动相对静止的背景物体的特征点；采用该方法对视频进行稳像时，当视频序列间前景运动对象较多或运动较大时，该方法具有较好的稳像效果，有较强的鲁棒性和准确性。

进一步地，根据视频中N帧图像中的第一帧图像的特征点，如图2所示，包括：

S201.获取视频中N帧图像中的第一帧图像的第一预设角点数。

其中，角点是描述图像的局部特征，在角点处，图像灰度的一阶导数为局部最大，图像的灰度在各个方向上均有变化，对输入的第一帧图像采用角点检测法检测出第一预设角点数，其中，本申请中第一预设角点数的取值范围为300～500，本申请选取第一预设角点数为300，选取的角点检测法为Shi-Tomasi角点检测法，而Shi-Tomasi角点检测法的检测原理是，如果当前像素点的最小特征值大于其周围像素的特征值，则该点是角点。

因此，对于N帧视频中的第一帧图像的特征点的获取，将是基于Shi-Tomasi角点检测法检测出300个角点数。此外，还需要说明的是，本申请中选取的是300个第一预设角点数，选取的角点检测法是Shi-Tomasi角点检测法，但本申请并不对此进行限制，根据实际需求，也可对第一预设角点数值的大小进行调整，比如调整到350，对角点检测法的类型也可进行替换，本申请并不对此进行限制。

S202.根据第一预设角点数，获取第一帧图像的第一特征点。

根据第一预设角点数的值，即第一预设角点数为300时，将基于300的角点数，获取第一帧图像的第一特征点。

进一步地，根据视频中N帧图像中的第一帧图像的特征点，还包括：

分别获取N帧图像中相邻两帧图像之间的N-1个光流点对不满足光流点对阈值时，获取视频中N帧图像中的第一帧图像的第二预设角点数，根据第二预设角点数，获取第一帧图像的第二特征点，其中，第二预设角点数大于第一预设角点数。

其中，需要说明的是，本申请中以第一预设角点数的值为300，光流点对阈值为30为例，进行说明。记第一帧图像与第二帧图像之间的光流点对为第一光流点对，第二帧图像与第三帧图像之间的光流点对为第二光流点对，依次类推。

对于N帧视频中的第一帧图像的特征点的获取，将是基于Shi-Tomasi角点检测法检测出300个角点数，根据获取的300个角点数，分别获取N帧图像中相邻两帧图像之间的N-1个光流点，即分别依次获取N帧图像中的第一光流点对、第二光流点对、第三光流点对，直到获取到第N-1光流点对。

如果在依次获取的过程中，发现当前光流点对不满足光流点对阈值时，应当根据第二预设角点数的设置，获取第一帧图像的第二特征点，其中，第二预设角点数大于第一预设角点数，第二预设角点数可以是在第一预设角点数的基础上，增加第一预设角点数的30％或50％，本申请并不对此进行限制。比如：第一预设角点数为300时，调整第二预设角点数为在第一预设角点数的基础上，增加第一预设角点数的50％，则第二预设角点数将调整为450。

即对于N帧视频中的第一帧图像的特征点的获取，将是基于Shi-Tomasi角点检测法检测出450个角点数，根据获取的450个角点数，获取第一帧图像的第二特征点，根据该第二特征点，采用金字塔Lucas-Kanade光流法分别获取N帧图像中相邻两帧图像之间的N-1个光流点对。

可选地，基于下述假设的情况：第一、对于视频背景中视频序列中相对全局运动相对静止的区域，即可认为该视频背景中存在近似稳定不变的类刚性结构或纹理，且相邻两帧图像的变化很小，可以忽略该视频背景对稳像造成的影响；第二、对于视频前景中视频序列中相对全局运动存在运动位移的区域及感兴趣的区域，即可认为该视频背景中存在不同目标结构或纹理，而在预设帧数图像中不运动的前景目标可以视为视频背景，可以忽略该视频背景对稳像造成的影响；第三、对于视频前景中，视频前景图像中任意两个参照点之间的距离超过预设距离，需要对该视频背景中的参照点进行剔除。

其中，图像的类刚性结构指的是图像中较大尺寸的物体，图像的纹理，指的是图像中包含图像细小尺寸的细节，这些细节通常具有周期性和振荡性。

则基于上述所述的假设，进一步地，根据所述N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，包括：

根据N-1个光流点对，分别从第i帧、第i+1帧、第i+2帧中获取的满足第二预设要求的参照点，其中，i∈(1,N-1)，第二预设要求为任意两个参照点之间的坐标距离大于坐标预设值。

根据所述第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，获取i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点。

其中，以第一帧图像、第二帧图像及第三帧图像为例进行说明，根据第一帧图像的特征点、第一帧图像与第二帧图像之间的第一光流点对，第二帧图像与第三帧图像之间的第二光流点对。通过将第一帧图像、第二帧图像及第三帧图像分别划分为A*B块区域块，分别从所述第一帧图像、第二帧图像及第三帧图像中得到三个同一特征点的坐标，其中，A和B的取值均大于等于1。

例如，从第一帧图像中选取的满足第二预设要求的三个参照点的坐标分别为A1(x1，y1)、B1(x2，y2)及C1(x3，y3)；从第二帧图像中选取的、与第一帧图像的特征点A1(x1，y1)、B1(x2，y2)及C1(x3，y3)相对应的参照点的坐标分别为A2(x1，y1)、B2(x2，y2)及C2(x3，y3)；从第三帧图像中选取的、与第一帧图像的特征点A1(x1，y1)、B1(x2，y2)及C1(x3，y3)相对应的参照点的坐标分别为A3(x1，y1)、B3(x2，y2)及C3(x3，y3)。此外，需要说明的是，每帧图像中图像的左上顶点为图像的坐标原点，相应地，每帧图像中的参照点的坐标基于该坐标原点。

以第一帧图像为例，对于第一帧图像中选取的三个参照点A1(x1，y1)、B1(x2，y2)及C1(x3，y3)应该满足第二预设要求，第二预设要求为任意两个参照点之间的坐标距离大于坐标预设值，具体地，第二预设要求如下所述：

参照点A1(x1，y1)与参照点B1(x2，y2)之间的距离应满足：x1与x2之间的距离值应大于N/2的值，y1与y2之间的距离值应大于M/2的值。

参照点B1(x2，y2)与参照点C1(x3，y3)之间的距离应满足：x2与x3之间的距离值应大于N/2的值，y2与y3之间的距离值应大于M/2的值。

参照点A1(x1，y1)与参照点C1(x3，y3)之间的距离应满足：x1与x3之间的距离值应大于N/2的值，y1与y3之间的距离值应大于M/2的值。

此外，对于该第一帧图像的下连续两帧的图像，第二帧图像和第三帧图像，对于第二帧图像中选取的三个参照点A2(x1，y1)、B2(x2，y2)及C2(x3，y3)也应该同时满足上述所述第二预设要求；对于第三帧图像中选取的三个参照点A3(x1，y1)、B3(x2，y2)及C3(x3，y3)同时满足上述所述第二预设要求，本申请在此便不再赘述。

进一步地，根据三个参照点的坐标，获取i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点，包括：

根据三个参照点分别在第i帧、第i+1帧及第i+2帧图像中的坐标，构成第i帧、第i+1帧及第i+2帧图像中的三角形，判断第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

其中，也就是，根据第一帧图像中选取的满足第二预设要求的三个参照点坐标A1(x1，y1)、B1(x2，y2)及C1(x3，y3)，将该三个点的坐标分别作为第一三角形的三个顶点，依据其构成的三角形筛选出第一帧图像中满足第一预设要求的备选特征点；根据第二帧图像中选取的满足第二预设要求的三个参照点坐标A2(x1，y1)、B2(x2，y2)及C2(x3，y3)，将该三个点的坐标分别作为第二三角形的三个顶点，依据其构成的三角形筛选出第二帧图像中满足第一预设要求的备选特征点；根据第三帧图像中选取的满足第二预设要求的三个参照点坐标A3(x1，y1)、B3(x2，y2)及C3(x3，y3)，将该三个点的坐标分别作为第三三角形的三个顶点，依据其构成的三角形筛选出第三帧图像中满足第一预设要求的备选特征点。

比较上述第一三角形、第二三角形和第三三角形之间的相似度，若判断得到其彼此之间的三角形相似度大于预设相似阈值，即可筛选出当前第一帧图像、第二帧图像及第三帧图像中满足第一预设要求的备选特征点。

进一步地，判断第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点，包括：

S301.根据三个参照点坐标，分别在第i帧、第i+1帧及第i+2帧图像中构成三角形，获取三角形的夹角和边长。

S302.根据三角形的夹角和边长，判断三角形的夹角和边长是否小于第一预设阈值和第二预设阈值。

S303.如果三角形的夹角和边长小于第一预设阈值和第二预设阈值，筛选出第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

其中，判断每帧图像中三个参照点构成的三角形之间的相似性，具体地，依据每个三角形的夹角和边长对该三角形的相似度进行判断，如果该三角形中的三个夹角均小于第一预设阈值、且其三边边长的欧式距离均小于第二预设阈值，则可筛选出该当前帧图像中满足第一预设要求的备选特征点。其中，本申请第一预设阈值的取值为2/(PI*D)，单位为度，其中，PI为圆周率，取值为3.1415926，D是三角形中三边欧式距离最大的值，第二预设阈值为3个像素单位，此外，需要说明的是，根据实际的应用情况，也可对该第一预设阈值、第二预设阈值进行调整，本申请并不对此进行限制。

进一步地，获取备选特征点对应的每帧图像中的背景特征点和剔除误检的前景特征点，包括：

采用K均值聚类获取备选特征点对应的每帧图像中的背景特征点和前景特征点，用以剔除误检的前景特征点，获取背景特征点，以使当前帧在预设帧数图像中运动前景物体的前景特征点剔除掉，而将当前帧在预设帧数图像中不运动前景物体的前景特征点作为背景特征点。即使得背景特征点中包括当前帧在预设帧数图像中不运动前景物体的前景特征点，和当前帧的背景物体的背景特征点。

在获取到该备选特征点后，根据该备选特征点，即可采用K均值聚类获取备选特征点对应的每帧图像中的背景特征点和前景特征点。

其中，采用K均值(K-means)聚类获取备选特征点对应的每帧图像中的背景特征点和前景特征点时，K-means聚类算法是基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大，采用该算法具有快速、简单的方法。

进一步地，根据上述获取的每帧图像中的背景特征点，采用RANSAC(RANdomSAmple Consensus，随机抽样一致)算法对获取的背景特征点计算变换矩阵，以消除每帧图像中匹配错误的背景特征点，获取每帧图像中匹配准确的背景特征点。

RANSAC算法基于一个最佳单应性矩阵H，矩阵大小为3×3。RANSAC目的是找到最优的参数矩阵使得满足该矩阵的数据点个数最多，从而根据该单应性矩阵H，输出匹配错误的背景特征点，得到匹配错误的背景特征点需要补偿的dx、dy及da，其中，dx为该匹配错误的背景特征点在帧图像中需要补偿的X方向的偏移，dy为该匹配错误的背景特征点在帧图像中需要补偿的Y方向的偏移，da为该匹配错误的背景特征点在帧图像中需要补偿的角度偏移。

进一步地，根据获取的每帧图像中匹配准确的背景特征点、匹配错误的背景特征点、和匹配错误的背景特征点需要补偿的偏移量，使用平滑窗口平滑运动轨迹，获取到稳像之后的视频。

其中，平滑窗口具有窗口半径，该窗口半径是用于平滑的帧数，其取值范围为30～N，其中，N表示视频的总帧数。本申请中该值默认取30帧，对每一帧图像分别累计之前所有帧图像的背景特征点需要补偿的dx、dy及da补偿量，分别得到相应的补偿累加和sumx、sumy及suma；根据平滑窗口中所有帧的sumx、sumy及suma，计算得到每帧图像的补偿均值avgx、avgy及avga；根据每帧图像的补偿均值avgx、avgy及avga值，对每帧图像进行运动补偿，得到补偿稳像之后的视频。

可选地，本申请实施例还提供了一种视频稳像装置，其基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容，如图4所示，该装置包括：

第一获取模块401，用于根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3。

筛选模块402，用于根据N-1个光流点对，筛选出N-1个光流点对中满足第一预设要求的备选特征点，其中，第一预设要求为预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对。

第二获取模块403，用于获取备选特征点对应的每帧图像中的背景特征点和前景特征点。

生成模块404，用于将视频中每帧图像的所述前景特征点删除，生成背景特征点。

可选地，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述实施例所述方法的步骤。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本申请的另一可选实施例还提供一种电子设备，该电子设备可以包括存储有计算机程序的存储器501和处理器502，处理器502可以调用存储器501存储的计算机程序。当该计算机程序被处理器502读取并运行，可以实现上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频稳像方法，其特征在于，包括：

根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的所述N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3；

根据所述N-1个光流点对，筛选出所述N-1个光流点对中满足第一预设要求的备选特征点，其中，所述第一预设要求为预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对；

获取所述备选特征点对应的每帧图像中的背景特征点和前景特征点；

将所述视频中每帧图像的所述前景特征点删除，生成所述背景特征点。

2.根据权利要求1所述的方法，其特征在于，所述根据视频中N帧图像中的第一帧图像的特征点，包括：

获取视频中N帧图像中的第一帧图像的第一预设角点数；

根据所述第一预设角点数，获取所述第一帧图像的第一特征点。

3.根据权利要求2所述的方法，其特征在于，根据视频中N帧图像中的第一帧图像的特征点，还包括

分别获取所述N帧图像中相邻两帧图像之间的N-1个光流点对不满足光流点对阈值时，获取视频中N帧图像中的第一帧图像的第二预设角点数，根据所述第二预设角点数，获取所述第一帧图像的第二特征点，其中，所述第二预设角点数大于所述第一预设角点数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述N-1个光流点对，筛选出所述N-1个光流点对中满足第一预设要求的备选特征点，包括：

根据所述N-1个光流点对，分别从第i帧、第i+1帧、第i+2帧中获取满足第二预设要求的参照点，其中i∈(1，N-1)，第二预设要求为任意两个参照点之间的坐标距离大于坐标预设值；

根据第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，获取所述第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，获取所述第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点，包括：

根据所述第i帧、第i+1帧、第i+2帧中满足第二预设要求的参照点，分别得到三个所述第i帧、第i+1帧、第i+2帧选取对应的同一特征点的坐标；

根据所述三个同一特征点的坐标，获取所述第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点。

6.根据权利要求5所述的方法，其特征在于，根据所述三个参照点的坐标，获取所述第i帧、第i+1帧、第i+2帧中满足第一预设要求的备选特征点，包括：

根据所述三个参照点分别在所述第i帧、第i+1帧及第i+2帧图像中的坐标，构成所述第i帧、第i+1帧及第i+2帧图像中的三角形，判断所述第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若所述第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出所述第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

7.根据权利要求6所述的方法，其特征在于，所述判断所述第i帧、第i+1帧及第i+2帧图像中三角形的相似度，若所述第i帧、第i+1帧、第i+2帧图像中三角形的相似度大于等于预设相似阈值，筛选出所述第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点，包括：

根据所述三个参照点坐标，分别在所述第i帧、第i+1帧及第i+2帧图像中构成的三角形，获取所述三角形的夹角和边长；

根据所述三角形的夹角和边长，判断所述三角形的夹角和边长是否小于第一预设阈值和第二预设阈值；

如果所述三角形的夹角和边长小于第一预设阈值和第二预设阈值，筛选出所述第i帧、第i+1帧、第i+2帧图像中满足第一预设要求的备选特征点。

8.根据权利要求1所述的方法，其特征在于，所述获取所述备选特征点对应的每帧图像中的背景特征点和前景特征点，包括：

采用K均值聚类获取所述备选特征点对应的每帧图像中的背景特征点和前景特征点。

9.一种视频稳像装置，其特征在于，包括：

第一获取模块，用于根据视频中N帧图像中的第一帧图像的特征点，分别获取满足光流点对阈值的所述N帧图像中相邻两帧图像之间的N-1个光流点对，其中，N大于等于3；

筛选模块，用于根据所述N-1个光流点对，筛选出所述N-1个光流点对中满足第一预设要求的备选特征点，其中，所述第一预设要求为预设帧数图像中不运动前景物体的光流点对和背景物体的光流点对；

第二获取模块，用于获取所述备选特征点对应的每帧图像中的背景特征点和前景特征点；

生成模块，用于将所述视频中每帧图像的所述前景特征点删除，生成所述背景特征点。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现上述权利要求1-8中任意一项所述方法。