CN112702528A - 视频防抖方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种视频防抖方法、装置及电子设备，属于通信技术领域。所述方法包括：在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。本申请可以在提高视频防抖过程的偏移量的精度的同时，还能减少平移量的计算量。

Description

视频防抖方法、装置及电子设备

技术领域

本申请属于通信领域，具体涉及一种视频防抖方法、装置及电子设备。

背景技术

随着科学技术的不断发展，电子设备(如手机、平板电脑等)已经逐渐成为人们生活工作中的一种不可或缺的工具。

在日常生活工作过程中，用户经常使用电子设备进行视频拍摄，而在此过程中，用户对视频防抖性能的需求也越来越高。

目前常用的视频防抖方法为EIS(Electric Image Stabilization，电子防抖)算法，EIS算法防抖过程中陀螺仪数据仅能表征相机模组的旋转属性，不能表征防抖所需的平移属性，相关技术中通过Acc加速度传感器去计算获取视频拍摄过程中的平移分量，但Acc加速度传感器需要通过两次积分的方式才能获取运动过程中的平移量，此方法获取平移量具有较高计算量的同时，算法精度偏低，导致加入平移防抖补偿后造成一定程度视频防抖性能回退。

发明内容

本申请实施例的目的是提供一种视频防抖方法、装置及电子设备，能够解决现有技术中的防抖算法具有较高的计算量，且算法精度偏低，导致加入平移防抖补偿后造成一定程度视频防抖性能回退的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种视频防抖方法，该方法包括：

在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；

根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；

获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；

基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

第二方面，本申请实施例提供了一种视频防抖装置，该装置包括：

视频图像获取模块，用于在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；

图像块确定模块，用于根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；

特征点获取模块，用于获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；

平移防抖处理模块，用于基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的视频防抖方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的视频防抖方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的视频防抖方法。

在本申请实施例中，通过在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，第一视频图像和第二视频图像为两帧在时间上连续的图像，根据视频拍摄模式，确定第一视频图像中的第一图像块，及第二视频图像中的第二图像块，获取第一图像块内目标数量的第一特征点，及第二图像块内目标数量的第二特征点，基于第一特征点和第二特征点，确定第一视频图像和第二视频图像之间的平移量，并基于平移量进行平移防抖处理。本申请实施例通过结合特征点匹配的算法进行平移量的计算，具有较高的算法精度，且通过获取图像块内特定数量的特征点进行平移量计算，即本申请实施例通过采用稀疏特征点匹配的方式，能够减少平移量计算的工作量。

附图说明

图1为本申请实施例提供的一种视频防抖方法的步骤流程图；

图2为本申请实施例提供的一种分块策略的示意图；

图3为本申请实施例提供的一种筛选特征点的示意图；

图4为本申请实施例提供的一种特征点匹配的示意图；

图5为本申请实施例提供的一种剔除异常特征点的示意图；

图6为本申请实施例提供的一种设置区域权重的示意图；

图7为本申请实施例提供的一种视频防抖装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图；

图9为本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频防抖方法进行详细地说明。

参照图1，示出了本申请实施例提供的一种视频防抖方法的步骤流程图，如图1所示，该视频防抖方法具体可以包括如下步骤：

步骤101：在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像。

本申请实施例可以应用于结合具有属性表征能力的稀疏特征点进行匹配计算平移量，以结合平移量进行视频防抖的场景。

第一视频图像和第二视频图像是指在进行视频拍摄的过程中，获取的拍摄视频中的两帧在时间上连续的视频帧对应的图像，例如，在进行视频拍摄的过程中，拍摄的视频中包含视频帧按照时间顺序排列依次为视频帧1、视频帧2、视频帧3、...、视频帧10，此时，可以获取这10帧视频帧中的任意两个连续的视频帧图像作为第一视频图像和第二视频图像，如将视频帧2和视频帧3对应的图像分别作为第一视频图像和第二视频图像，或者，将视频帧7和视频帧8对应的图像分别作为第一视频图像和第二视频图像等。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在进行视频拍摄的过程中，可以获取视频中包括的两帧在时间上连续的视频图像，即第一视频图像和第二视频图像。

在获取第一视频图像和第二视频图像之后，执行步骤102。

步骤102：根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块。

视频拍摄模式是指拍摄视频的模式，在本实施例中，可以结合输入图像的图像尺寸以确定视频拍摄模式，例如，在获取拍摄的视频中包括的第一视频图像和第二视频图像之后，可以根据第一视频图像和第二视频图像的宽高尺寸和宽高比例，以此判定第一视频图像和第二视频图像对应的视频拍摄模式。

第一图像块是指位于第一视频图像中的图像块，第二图像块是指位于第二视频图像中的图像块。

在获取视频拍摄模式之后，可以结合视频拍摄模式确定出第一视频图像中的第一图像块，及第二视频图像中的第二图像块。

当然，在本实施例中，为了减少平移量的计算量，可以获取第一视频图像和第二视频图像的中心区域，进而获取这两幅图像中心区域内的图像块，以作为第一图像块和第二图像块，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的一种具体实现方式中，上述步骤102可以包括：

子步骤A1：根据所述第一视频图像的第一图像中心点及比例阈值，确定所述第一视频图像的第一目标区域。

在本实施例中，第一图像中心点是指第一视频图像的几何中心点，例如，第一视频图像的四条外边围合形成一个方形区域，将该方形区域的对角顶点相连，可以得到一个连接点，该连接点即可以作为第一视频图像的几何中心点。

比例阈值是指由业务人员预先设置的从第一视频图像和第二视频图像中裁剪出图像中心区域的比例的阈值，在本示例中，比例阈值可以为80％、60％等，具体地，可以根据业务需求而定，本实施例对于比例阈值的具体数值不加以限制。

第一目标区域是指根据第一图像中心点与比例阈值从第一视频图像中获取的图像区域，例如，在比例阈值为80％时，可以以第一图像中心点为基准，从第一图像中心点裁剪出80％的方形区域，进而，可以将该80％的区域作为第一目标区域。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在获取第一视频图像之后，可以根据第一视频图像的第一图像中心点和比例阈值确定出第一视频图像的第一目标区域。

子步骤A2：根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域。

第二图像中心点是指第二视频图像对应的几何中心点。

第二目标区域是指根据第二图像中心点与比例阈值从第二视频图像中获取的图像区域。

在获取第二视频图像之后，可以根据第二视频图像的第二图像中心点和比例阈值确定出第二视频图像的第二目标区域。

子步骤A3：根据所述视频拍摄模式，确定所述第一视频图像和所述第二视频图像对应的分块策略。

在获取第一视频图像和第二视频图像之后，可以获取拍摄的视频所对应的视频拍摄模式，此时，可以根据视频拍摄模式确定出第一视频图像和第二视频图像对应的分块策略，例如，如图2所示。

即在确定了视频拍摄模式之后，就可以确定出视频图像中的分块策略。

在根据视频拍摄模式确定出第一视频图像和第二视频图像对应的分块策略之后，执行子步骤A4。

子步骤A4：根据所述分块策略，确定所述第一目标区域内的第一图像块，及所述第二目标区域内的第二图像块。

在确定分块策略之后，即可以获取到第一目标区域内的第一图像块和第二目标区域内的第二图像块。

本申请实施例通过比例阈值从两帧连续的视频图像中裁剪出中心区域，可以在保留有效防抖的特征点的同时，还能够减少获取有效特征点的计算量。

在获取第一视频图像中的第一图像块和第二视频图像中的第二图像块之后，执行步骤103。

步骤103：获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点。

目标数量是指由业务人员预先设置的用于从第一图像块和第二图像块内筛选出特征点进行平移量计算的特征点数量，目标数量可以为100、80等，具体地，可以根据业务需求自行设置目标数量的具体数值，本实施例对此不加以限制。

第一特征点是指从第一图像块内筛选出的用于进行平移量计算的目标数量的特征点。

第二特征点是指从第二图像块内筛选出的用于进行平移量计算的目标数量的特征点。

在获取第一视频图像中的第一图像块和第二视频图像中的第二图像块之后，可以从第一图像块中筛选出目标数量的第一特征点，并从第二图像块中筛选出与第一特征点匹配的第二特征点。

当然，在本实施例中，在获取第一图像块和第二图像块之后，还可以对第一图像块和第二图像块中的异常特征点进行检测，在剔除异常特征点之后，再从剩余的有效特征点中挑选出用于平移量计算的目标数量的第一特征点和第二特征点，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述步骤103可以包括：

子步骤B1：基于特征点检测算法，获取所述第一图像块内的第一初始特征点，及所述第二图像块内的第二初始特征点。

在本实施例中，第一初始特征点是指采用特征点检测算法检测到的第一图像块内的特征点。

第二初始特征点是指采用特征点检测算法检测到的第二图像块内的特征点。

在获取第一视频图像中的第一图像块和第二视频图像中的第二图像块之后，可以基于特征点检测算法，获取第一图像块内的第一初始特征点，并获取第二图像块内的第二初始特征点。

可以理解地，现有常见的特征点检测算法包括Harris、SIFT、SURF和ORB算法，其各个算法有着不同方向的优劣势。本申请基于估计矩阵计算复杂度的考虑，因此，可以选取ORB算法作为本申请的特征点检测算法，相比于Harris、SIFT和SURF算法，ORB算法具有计算速度快、节约存储空间的特点，为此选用ORB算法不仅减小了计算量，同时也保证了特征点检测的有效性能。

在检测得到第一图像块内的第一初始特征点和第二图像块内的第二初始特征点之后，执行子步骤B2。

子步骤B2：基于异常数据检测算法，获取所述第一初始特征点中的第一有效特征点，及所述第二初始特征点中的第二有效特征点。

第一有效特征点是指剔除第一初始特征点中的坏点之后剩余的特征点。

第二有效特征点是指剔除第二初始特征点中的坏点之后剩余的特征点。

在初步检测得到的第一初始特征点和第二初始特征点中可能存在坏点，因此，在本实施例中，可以通过异常数据检测算法，检测出第一初始特征点和第二初始特征点中的坏点，以保留第一有效特征点和第二有效特征点。具体地，在本实施例中，可以通过第一图像块内执行RANSAC算法进行特征点的筛序，以便于保证精简特征点数量的同时，保证特征点对于偏移量计算的鲁棒性，RANSAC算法进行特征点的筛选可以如图3所示。

在获取第一有效特征点和第二有效特征点之后，执行子步骤B3。

子步骤B3：基于特征匹配算法，获取所述第一有效特征点中的第一匹配特征点，及所述第二有效特征点中的第二匹配特征点。

第一匹配特征点和第二匹配特征点是指第一有效特征点和第二有效特征点中的可以匹配的特征点，可以理解地，第一视频图像和第二视频图像分别对应的第一图像块和第二图像块是对应的，那么，在进行匹配特征点的筛选时，需要从对应的第一图像块和第二图像块中进行匹配特征点的筛选，而在筛选过程中，可以采用FLANN训练KD树，将特征点圆周上的16个像素输入决策树中，以此来筛选出最优的ORB特征点。其中KD树根据特征点周围像素进行匹配判定，流程如图4所示。

在获取第一匹配特征点和第二匹配特征点之后，执行子步骤B4。

子步骤B4：根据所述第一匹配特征点和所述第二匹配特征点对应的帧间变换向量，剔除所述第一匹配特征点中的异常特征点，得到第一目标特征点，并剔除所述第二匹配特征点中的异常特征点，得到第二目标特征点。

第一目标特征点是指从第一匹配特征点中剔除异常特征点之后剩余的特征点。

第二目标特征点是指从第二匹配特征点中剔除异常特征点之后剩余的特征点。

在获取第一匹配特征点和第二匹配特征点之后，可以根据第一匹配特征点和第二匹配特征点对应的帧间变换向量，剔除第一匹配特征点中的异常特征点，以得到第一目标特征点，并剔除第二匹配特征点中的异常特征点，以得到第二目标特征点，具体地，通过统计图像帧间的变换向量，本发明通过引入中值滤波剔除其中的局部运动方向和随机异常扰动方向，其图像帧间变换向量分布如图5所示，图5中左图表示未剔除局部运动方向和随机异常方向的变换向量分布，右图展示为剔除局部运动后的帧间变换向量分布。从实施效果中可以得出，引入中值滤波能够有效地保留图像帧间的全局运动变换向量。

在获取第一目标特征点和第二目标特征点之后，执行子步骤B5。

子步骤B5：从所述第一目标特征点中筛选出目标数量的第一特征点，并从所述第二目标特征点中筛选出目标数量的与所述第一特征点匹配的第二特征点。

在获取第一目标特征点和第二目标特征点之后，可以从第一目标特征点中筛选出目标数量的第一特征点，并从第二目标特征点中筛选出目标数量的与第一特征点匹配的第二特征点。

本申请实施例通过从图像块中筛选出有效特征点，可以提高偏移量计算的同时，还能够减少平移量的计算量。

在获取第一特征点和第二特征点之后，执行步骤104。

步骤104：基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

在获取第一特征点和第二特征点之后，可以基于第一特征点和第二特征点确定出第一视频图像和第二视频图像之间的平移量，并基于平移量进行平移防抖处理。

对于平移量的计算过程可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述步骤104可以包括：

子步骤C1：基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像对应的帧间变换矩阵。

在本实施例中，在获取第一特征点和第二特征点之后，可以根据第一特征点和第二特征点计算出第一视频图像和第二视频图像对应的帧间变换矩阵，具体地，可以通过保留下来的匹配特征点对进行帧间的变换矩阵的计算。值得说明的是即使剔除异常扰动后，剩下的匹配特征点能够实现变换矩阵的精细拟合，本实施例可以将特征点检测数量设置为100左右，为此保证帧间估计变换矩阵的鲁棒性。具体地计算方式可以如下述公式(1)所示：

上述公式(1)中，J代表特征点集中重投影误差总和，ROI代表仅统计位于目标区域内的特征点，W代表通过特征点集拟合的变换矩阵，即帧间变换矩阵，X(i,j)_n代表第n帧(i,j)特征点的描述子，X(i,j)_n-1代表第n-1帧(i,j)特征点的描述子。

在基于第一特征点和第二特征点确定出第一视频图像和第二视频图像对应的帧间变换矩阵之后，执行子步骤C2。

子步骤C2：对所述帧间变换矩阵进行归一化处理，计算得到所述平移量。

在获取到帧间变换矩阵之后，可以对帧间变换矩阵进行归一化处理，以此求解出来的平移量为图像帧间各个维度中最为精准的x/y轴平移分量。对后续视频帧进行对应平移补偿，以此实现帧间的平移防抖。

本申请实施例通过结合特征点匹配的算法进行平移量的计算，具有较高的算法精度，且通过获取图像块内特定数量的特征点进行平移量计算，即本申请实施例通过采用稀疏特征点匹配的方式，能够减少平移量计算的工作量。

在本实施例中，针对第一视频图像和第二视频图像中的目标区域进行中心子区域和边缘子区域的划分，并设置对应的权重，在进行偏移量计算时，可以结合权重进行偏移量的计算，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，在上述子步骤A2之后，还可以包括：

步骤D1：根据所述第一图像中心点和目标比例阈值，对所述第一目标区域进行区域划分，得到第一子区域和第二子区域；其中，所述第一子区域为靠近所述第一图像中心点的子区域。

在本实施例中，目标比例阈值是指用于对第一目标区域和第二目标区域进行区域划分的比例阈值，对于目标比例阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。

第一子区域和第二子区域是指对第一目标区域进行划分之后得到的子区域，其中，第一子区域为靠近第一图像中心点的子区域，则第二子区域为远离第一图像中心点的子区域。

在获取第一视频图像中的第一目标区域之后，可以结合第一图像中心点和目标比例阈值对第一目标区域进行区域划分，以得到第一子区域和第二子区域，例如，如图6所示，在对第一目标区域进行划分之后，得到的子区域为子区域11、子区域12、子区域13、子区域14和子区域15，其中，可以将子区域11作为第一子区域，并将子区域12、子区域13、子区域14和子区域15作为第二子区域。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

步骤D2：根据所述第二图像中心点和所述目标比例阈值，对所述第二目标区域进行区域划分，得到第三子区域和第四子区域；其中，所述第三子区域为靠近所述第二图像中心点的子区域。

在获取第二目标区域之后，可以结合第二视频图像的第二图像中心点和目标比例阈值对第二目标区域进行区域划分，以得到划分的第三子区域和第四子区域，其中，第三子区域为靠近第二图像中心点的子区域。具体地划分过程与上述子步骤D1类似，本实施例在此不再加以赘述。

步骤D3：设置所述第一子区域和所述第三子区域对应的第一权重，及所述第二子区域和所述第四子区域对应的第二权重；所述第一权重大于所述第二权重。

在对第一目标区域和第二目标区域进行区域划分，得到第一子区域、第二子区域、第三子区域和第四子区域之后，则可以为这四个子区域赋予相应的权重，即设置第一子区域和第三子区域对应的第一权重，并设置第二子区域和第四子区域对应的第二权重，其中，第一权重大于第二权重。

在设置子区域对应的权重之后，执行子步骤E1。

在本申请的另一种具体实现方式中，上述步骤104可以包括：

子步骤E1：获取所述第一特征点中位于所述第一子区域内的第三特征点，及位于所述第二子区域内的第四特征点。

在本实施例中，第三特征点是指第一特征点中位于第一子区域内的特征点。

第四特征点是指第一特征点中位于第二子区域内的特征点。

在对第一目标区域进行区域划分，得到第一子区域和第二子区域之后，可以获取第一特征点中位于第一子区域内的第三特征点，及第一特征点中位于第二子区域内的第四特征点。

子步骤E2：获取所述第二特征点中位于所述第三子区域内的第五特征点，及位于所述第四子区域内的第六特征点。

第五特征点是指第二特征点中位于第三子区域内的特征点。

第六特征点是指第二特征点中位于第四子区域内的特征点。

在对第二目标区域进行区域划分，得到第三子区域和第四子区域之后，可以获取第二特征点中位于第三子区域内的第五特征点，及第二特征点中位于第四子区域内的第六特征点。

子步骤E3：根据所述第三特征点、所述第四特征点、所述第五特征点、所述第六特征点、及所述第三特征点和所述第五特征点对应的第一权重、所述第四特征点和所述第六特征点对应的第二权重，计算得到所述平移量。

在获取第三特征点、第四特征点、第五特征点和第六特征点之后，可以结合第三特征点和第五特征点对应的第一权重，及第四特征点和第六特征点对应的第二权重，计算得到平移量，具体地，可以通过下述公式(2)计算得到平移量：

上述公式(2)中，J代表特征点集中重投影误差总和，ROI代表仅统计位于目标区域内的特征点，W代表通过特征点集拟合的变换矩阵，即帧间变换矩阵，X(i,j)_n代表第n帧(i,j)特征点的描述子，X(i,j)_n-1代表第n-1帧(i,j)特征点的描述子，m为第一权重，n为第二权重。

本申请实施例通过优化设置目标区域中不同位置特征点匹配拟合帧间变换矩阵的权重，使得计算获取的变换矩阵更置信于目标区域中心的正方形块。因方形块位于图像中心，即位于正放心块中的特征点配对具有更高的矩阵拟合置信度，从而提升帧间变换矩阵的精准度，使得归一化后获取到的图像帧间平移分量呈现得更为精准，有利于提升EIS防抖的整体性能。

本申请实施例提供的视频防抖方法，通过在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，第一视频图像和第二视频图像为两帧在时间上连续的图像，根据视频拍摄模式，确定第一视频图像中的第一图像块，及第二视频图像中的第二图像块，获取第一图像块内目标数量的第一特征点，及第二图像块内目标数量的第二特征点，基于第一特征点和第二特征点，确定第一视频图像和第二视频图像之间的平移量，并基于平移量进行平移防抖处理。本申请实施例通过结合特征点匹配的算法进行平移量的计算，具有较高的算法精度，且通过获取图像块内特定数量的特征点进行平移量计算，即本申请实施例通过采用稀疏特征点匹配的方式，能够减少平移量计算的工作量。

需要说明的是，本申请实施例提供的视频防抖方法，执行主体可以为视频防抖装置，或者该视频防抖装置中的用于执行视频防抖方法的控制模块。本申请实施例中以视频防抖装置执行视频防抖方法为例，说明本申请实施例提供的视频防抖装置。

参照图7，示出了本申请实施例提供的一种视频防抖装置的结构示意图，如图7所示，该视频防抖装置700具体可以包括如下模块：

视频图像获取模块710，用于在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；

图像块确定模块720，用于根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；

特征点获取模块730，用于获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；

平移防抖处理模块740，用于基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

可选地，所述图像块确定模块720包括：

第一区域确定单元，用于根据所述第一视频图像的第一图像中心点及比例阈值，确定所述第一视频图像的第一目标区域；

第二区域确定单元，用于根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域；

分块策略确定单元，用于根据所述视频拍摄模式，确定所述第一视频图像和所述第二视频图像对应的分块策略；

图像块确定单元，用于根据所述分块策略，确定所述第一目标区域内的第一图像块，及所述第二目标区域内的第二图像块。

可选地，所述特征点获取模块730包括：

初始特征点获取单元，用于基于特征点检测算法，获取所述第一图像块内的第一初始特征点，及所述第二图像块内的第二初始特征点；

有效特征点获取单元，用于基于异常数据检测算法，获取所述第一初始特征点中的第一有效特征点，及所述第二初始特征点中的第二有效特征点；

匹配特征点获取单元，用于基于特征匹配算法，获取所述第一有效特征点中的第一匹配特征点，及所述第二有效特征点中的第二匹配特征点；

目标特征点获取单元，用于根据所述第一匹配特征点和所述第二匹配特征点对应的帧间变换向量，剔除所述第一匹配特征点中的异常特征点，得到第一目标特征点，并剔除所述第二匹配特征点中的异常特征点，得到第二目标特征点；

特征点筛选单元，用于从所述第一目标特征点中筛选出目标数量的第一特征点，并从所述第二目标特征点中筛选出目标数量的与所述第一特征点匹配的第二特征点。

可选地，所述平移防抖处理模块740包括：

变换矩阵确定单元，用于基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像对应的帧间变换矩阵；

平移量计算单元，用于对所述帧间变换矩阵进行归一化处理，计算得到所述平移量。

可选地，还包括：

第一子区域获取模块，用于根据所述第一图像中心点和目标比例阈值，对所述第一目标区域进行区域划分，得到第一子区域和第二子区域；其中，所述第一子区域为靠近所述第一图像中心点的子区域；

第二子区域获取模块，用于根据所述第二图像中心点和所述目标比例阈值，对所述第二目标区域进行区域划分，得到第三子区域和第四子区域；其中，所述第三子区域为靠近所述第二图像中心点的子区域；

子区域权重设置模块，用于设置所述第一子区域和所述第三子区域对应的第一权重，及所述第二子区域和所述第四子区域对应的第二权重；所述第一权重大于所述第二权重；

所述平移防抖处理模块740包括：

第一特征点获取单元，用于获取所述第一特征点中位于所述第一子区域内的第三特征点，及位于所述第二子区域内的第四特征点；

第二特征点获取单元，用于获取所述第二特征点中位于所述第三子区域内的第五特征点，及位于所述第四子区域内的第六特征点；

平移量计算单元，用于根据所述第三特征点、所述第四特征点、所述第五特征点、所述第六特征点、及所述第三特征点和所述第五特征点对应的第一权重、所述第四特征点和所述第六特征点对应的第二权重，计算得到所述平移量。

本申请实施例提供的视频防抖装置，通过在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，第一视频图像和第二视频图像为两帧在时间上连续的图像，根据视频拍摄模式，确定第一视频图像中的第一图像块，及第二视频图像中的第二图像块，获取第一图像块内目标数量的第一特征点，及第二图像块内目标数量的第二特征点，基于第一特征点和第二特征点，确定第一视频图像和第二视频图像之间的平移量，并基于平移量进行平移防抖处理。本申请实施例通过结合特征点匹配的算法进行平移量的计算，具有较高的算法精度，且通过获取图像块内特定数量的特征点进行平移量计算，即本申请实施例通过采用稀疏特征点匹配的方式，能够减少平移量计算的工作量。

本申请实施例中的视频防抖装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的视频防抖装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的视频防抖装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述视频防抖方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器910，用于在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

本申请实施例通过结合特征点匹配的算法进行平移量的计算，具有较高的算法精度，且通过获取图像块内特定数量的特征点进行平移量计算，即本申请实施例通过采用稀疏特征点匹配的方式，能够减少平移量计算的工作量。

可选地，处理器910，还用于根据所述第一视频图像的第一图像中心点及比例阈值，确定所述第一视频图像的第一目标区域；根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域；根据所述视频拍摄模式，确定所述第一视频图像和所述第二视频图像对应的分块策略；根据所述分块策略，确定所述第一目标区域内的第一图像块，及所述第二目标区域内的第二图像块。

可选地，处理器910，还用于基于特征点检测算法，获取所述第一图像块内的第一初始特征点，及所述第二图像块内的第二初始特征点；基于异常数据检测算法，获取所述第一初始特征点中的第一有效特征点，及所述第二初始特征点中的第二有效特征点；基于特征匹配算法，获取所述第一有效特征点中的第一匹配特征点，及所述第二有效特征点中的第二匹配特征点；根据所述第一匹配特征点和所述第二匹配特征点对应的帧间变换向量，剔除所述第一匹配特征点中的异常特征点，得到第一目标特征点，并剔除所述第二匹配特征点中的异常特征点，得到第二目标特征点；从所述第一目标特征点中筛选出目标数量的第一特征点，并从所述第二目标特征点中筛选出目标数量的与所述第一特征点匹配的第二特征点。

可选地，处理器910，还用于基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像对应的帧间变换矩阵；对所述帧间变换矩阵进行归一化处理，计算得到所述平移量。

可选地，处理器910，还用于根据所述第一图像中心点和目标比例阈值，对所述第一目标区域进行区域划分，得到第一子区域和第二子区域；其中，所述第一子区域为靠近所述第一图像中心点的子区域；根据所述第二图像中心点和所述目标比例阈值，对所述第二目标区域进行区域划分，得到第三子区域和第四子区域；其中，所述第三子区域为靠近所述第二图像中心点的子区域；设置所述第一子区域和所述第三子区域对应的第一权重，及所述第二子区域和所述第四子区域对应的第二权重；所述第一权重大于所述第二权重；获取所述第一特征点中位于所述第一子区域内的第三特征点，及位于所述第二子区域内的第四特征点；获取所述第二特征点中位于所述第三子区域内的第五特征点，及位于所述第四子区域内的第六特征点；根据所述第三特征点、所述第四特征点、所述第五特征点、所述第六特征点、及所述第三特征点和所述第五特征点对应的第一权重、所述第四特征点和所述第六特征点对应的第二权重，计算得到所述平移量。

本申请实施例通过优化设置目标区域中不同位置特征点匹配拟合帧间变换矩阵的权重，使得计算获取的变换矩阵更置信于目标区域中心的正方形块，因正方形块位于图像中心，即位于正放心块中的特征点配对具有更高的矩阵拟合置信度，从而提升帧间变换矩阵的精准度，使得归一化后获取到的图像帧间平移分量呈现得更为精准，有利于提升EIS防抖的整体性能。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元9107包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频防抖方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频防抖方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种视频防抖方法，其特征在于，包括：

在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；

根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；

获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；

基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

2.根据权利要求1所述的方法，其特征在于，所述根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块，包括：

根据所述第一视频图像的第一图像中心点及比例阈值，确定所述第一视频图像的第一目标区域；

根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域；

根据所述视频拍摄模式，确定所述第一视频图像和所述第二视频图像对应的分块策略；

根据所述分块策略，确定所述第一目标区域内的第一图像块，及所述第二目标区域内的第二图像块。

3.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点，包括：

基于特征点检测算法，获取所述第一图像块内的第一初始特征点，及所述第二图像块内的第二初始特征点；

基于异常数据检测算法，获取所述第一初始特征点中的第一有效特征点，及所述第二初始特征点中的第二有效特征点；

基于特征匹配算法，获取所述第一有效特征点中的第一匹配特征点，及所述第二有效特征点中的第二匹配特征点；

根据所述第一匹配特征点和所述第二匹配特征点对应的帧间变换向量，剔除所述第一匹配特征点中的异常特征点，得到第一目标特征点，并剔除所述第二匹配特征点中的异常特征点，得到第二目标特征点；

从所述第一目标特征点中筛选出目标数量的第一特征点，并从所述第二目标特征点中筛选出目标数量的与所述第一特征点匹配的第二特征点。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，包括：

基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像对应的帧间变换矩阵；

对所述帧间变换矩阵进行归一化处理，计算得到所述平移量。

5.根据权利要求2所述的方法，其特征在于，在所述根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域之后，还包括：

根据所述第一图像中心点和目标比例阈值，对所述第一目标区域进行区域划分，得到第一子区域和第二子区域；其中，所述第一子区域为靠近所述第一图像中心点的子区域；

根据所述第二图像中心点和所述目标比例阈值，对所述第二目标区域进行区域划分，得到第三子区域和第四子区域；其中，所述第三子区域为靠近所述第二图像中心点的子区域；

设置所述第一子区域和所述第三子区域对应的第一权重，及所述第二子区域和所述第四子区域对应的第二权重；所述第一权重大于所述第二权重；

所述基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，包括：

获取所述第一特征点中位于所述第一子区域内的第三特征点，及位于所述第二子区域内的第四特征点；

获取所述第二特征点中位于所述第三子区域内的第五特征点，及位于所述第四子区域内的第六特征点；

根据所述第三特征点、所述第四特征点、所述第五特征点、所述第六特征点、及所述第三特征点和所述第五特征点对应的第一权重、所述第四特征点和所述第六特征点对应的第二权重，计算得到所述平移量。

6.一种视频防抖装置，其特征在于，包括：

视频图像获取模块，用于在进行视频拍摄的过程中，获取第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像为两帧在时间上连续的图像；

图像块确定模块，用于根据视频拍摄模式，确定所述第一视频图像中的第一图像块，及所述第二视频图像中的第二图像块；

特征点获取模块，用于获取所述第一图像块内目标数量的第一特征点，及所述第二图像块内目标数量的第二特征点；

平移防抖处理模块，用于基于所述第一特征点和所述第二特征点，确定所述第一视频图像和所述第二视频图像之间的平移量，并基于所述平移量进行平移防抖处理。

7.根据权利要求6所述的装置，其特征在于，所述图像块确定模块包括：

第一区域确定单元，用于根据所述第一视频图像的第一图像中心点及比例阈值，确定所述第一视频图像的第一目标区域；

第二区域确定单元，用于根据所述第二视频图像的第二图像中心点及所述比例阈值，确定所述第二视频图像的第二目标区域；

分块策略确定单元，用于根据所述视频拍摄模式，确定所述第一视频图像和所述第二视频图像对应的分块策略；

图像块确定单元，用于根据所述分块策略，确定所述第一目标区域内的第一图像块，及所述第二目标区域内的第二图像块。

8.根据权利要求6所述的装置，其特征在于，所述特征点获取模块包括：

初始特征点获取单元，用于基于特征点检测算法，获取所述第一图像块内的第一初始特征点，及所述第二图像块内的第二初始特征点；

有效特征点获取单元，用于基于异常数据检测算法，获取所述第一初始特征点中的第一有效特征点，及所述第二初始特征点中的第二有效特征点；

匹配特征点获取单元，用于基于特征匹配算法，获取所述第一有效特征点中的第一匹配特征点，及所述第二有效特征点中的第二匹配特征点；

目标特征点获取单元，用于根据所述第一匹配特征点和所述第二匹配特征点对应的帧间变换向量，剔除所述第一匹配特征点中的异常特征点，得到第一目标特征点，并剔除所述第二匹配特征点中的异常特征点，得到第二目标特征点；

特征点筛选单元，用于从所述第一目标特征点中筛选出目标数量的第一特征点，并从所述第二目标特征点中筛选出目标数量的与所述第一特征点匹配的第二特征点。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的视频防抖方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的视频防抖方法的步骤。

Images