CN108010059B

CN108010059B - 电子防抖算法的性能分析方法及装置

Info

Publication number: CN108010059B
Application number: CN201711269402.1A
Authority: CN
Inventors: 孙恒
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2022-01-25
Anticipated expiration: 2037-12-05
Also published as: CN108010059A

Abstract

本公开是关于一种电子防抖算法的性能分析方法及装置，属于电子技术应用领域。该方法可以计算视频样本数据包括的多帧图像中，每一帧图像的卷帘快门失真度，并可以根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小负相关，该卷帘快门失真度的大小与一帧图像中各个特征点的运动矢量的波动程度正相关。由于每帧图像中各个特征点的运动矢量的波动程度可以准确反映视频样本数据中是否存在卷帘快门失真的问题，因此通过该卷帘快门失真度能够准确反映EIS算法的性能。并且本公开提供的分析方法无需开发人员人眼观察视频，有效提高了分析的效率和精度。

Description

电子防抖算法的性能分析方法及装置

技术领域

本公开涉及电子技术应用领域，特别涉及一种电子防抖算法的性能分析方法及装置。

背景技术

电子防抖(Electronic anti shake，EIS)算法是用于改善移动设备录制视频时的抖动问题的常用算法。通过EIS算法可以有效提高移动设备录制的视频的画面稳定性，改善视频的显示效果。

相关技术中，开发人员在完成EIS算法的开发后，可以将该EIS算法应用于测试设备中，并观察该测试设备录制的视频。当开发人员观察到该测试设备录制的视频的画面抖动较为明显时，可以确定该EIS算法的性能较差，并可以对该EIS算法进行进一步的修正。

但是，开发人员通过人眼观察视频，进而确定算法性能的方法效率较低，分析的精度也较低。

发明内容

本公开提供了一种电子防抖算法的性能分析方法及装置，可以解决相关技术中的分析方法效率和精度较低的问题。技术方案如下：

根据本公开实施例的第一方面，提供一种电子防抖算法的性能分析方法，可以应用于分析设备中，所述方法包括：

采用特征提取算法，获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点，其中，所述视频样本数据为采用电子防抖算法处理后的数据，所述特征点为用于表征图像特征的点；

根据每一帧图像中每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定每一帧图像中每个特征点的运动矢量；

根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，所述卷帘快门失真度的大小与各个特征点的运动矢量的波动程度正相关，所述波动程度是指各个特征点的运动矢量的不一致程度；

根据计算得到的各帧图像的卷帘快门失真度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述卷帘快门失真度的大小负相关。

可选的，所述方法还包括：

计算每一帧图像包括的多个特征点中，各个特征点的运动矢量的大小的平均值，得到每一帧图像的抖动度；

所述根据计算得到的各帧图像的卷帘快门失真度，确定所述电子防抖算法的性能，包括：

根据计算得到的各帧图像的卷帘快门失真度，以及各帧图像的抖动度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述抖动度负相关。

可选的，所述根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，包括：

将每一帧图像中，各个特征点的运动矢量的方差确定为每一帧图像的卷帘快门失真度。

可选的，所述获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点，包括：

对每一帧图像进行图像分割，确定每一帧图像包括的至少一个拍摄对象；

在每个拍摄对象中确定多个特征点，得到每个拍摄对象对应的特征点集合；

所述根据每一帧图像中每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定每一帧图像中每个特征点的运动矢量，包括：

对于每一帧图像中每个拍摄对象对应的第一特征点集合，从前一帧图像中获取同一拍摄对象对应的第二特征点集合；

根据所述第一特征点集合中，每个特征点与第二特征点集合中对应特征点的相对位置，确定每个拍摄对象对应的第一特征点集合中，每个特征点的运动矢量；

所述根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，包括：

根据每个拍摄对象中各个特征点的运动矢量，计算每个拍摄对象的失真度，所述失真度的大小与拍摄对象中各个特征点的运动矢量的波动程度正相关；

将每一帧图像中，各个拍摄对象的失真度的平均值确定为所述每一帧图像的卷帘快门失真度。

可选的，所述对每一帧图像进行图像分割，包括：

采用基于深度学习的图像分割算法，对每一帧图像进行图像分割。

可选的，所述根据计算得到的各帧图像的卷帘快门失真度，以及各帧图像的抖动度，确定所述电子防抖算法的性能，包括：

计算各帧图像的卷帘快门失真度的第一均值，以及各帧图像的抖动度的第二均值；

根据所述第一均值和所述第二均值，确定所述电子防抖算法的性能。

可选的，所述根据所述第一均值和所述第二均值，确定所述电子防抖算法的性能，包括：

获取卷帘快门失真度对应的第一权重值w1，以及抖动度对应的第二权重值w2；

根据所述第一均值S1，以及所述第二均值S2，确定所述电子防抖算法的性能评价值P，所述性能评价值P满足：P＝S1×w1+S2×w2；

其中，所述电子防抖算法的性能优劣与所述性能评价值的大小负相关，且w1＞w2，w1+w2≤1。

根据本公开实施例的第二方面，提供一种电子防抖算法的性能分析装置，配置于分析设备中，所述装置包括：

获取模块，被配置为采用特征提取算法，获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点，其中，所述视频样本数据为采用电子防抖算法处理后的数据，所述特征点为用于表征图像特征的点；

第一确定模块，被配置为根据每一帧图像中每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定每一帧图像中每个特征点的运动矢量；

第一计算模块，被配置为根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，所述卷帘快门失真度的大小与各个特征点的运动矢量的波动程度正相关，所述波动程度是指各个特征点的运动矢量的不一致程度；

第二确定模块，被配置为根据计算得到的各帧图像的卷帘快门失真度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述卷帘快门失真度的大小负相关。

可选的，所述装置还包括：

第二计算模块，被配置为计算每一帧图像包括的多个特征点中，各个特征点的运动矢量的大小的平均值，得到每一帧图像的抖动度；

所述第二确定模块，包括：

第一确定子模块，被配置为根据计算得到的各帧图像的卷帘快门失真度，以及所述各帧图像的抖动度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述抖动度负相关。

可选的，所述第一计算模块，包括：

第一计算子模块，被配置为将每一帧图像中，各个特征点的运动矢量的方差确定为每一帧图像的卷帘快门失真度。

可选的，所述获取模块，包括：

第二确定子模块，被配置为对每一帧图像进行图像分割，确定每一帧图像包括的至少一个拍摄对象；

第三确定子模块，被配置为在每个拍摄对象中确定多个特征点，得到每个拍摄对象对应的特征点集合；

所述第一确定模块，包括：

获取子模块，被配置为对于每一帧图像中每个拍摄对象对应的第一特征点集合，从相邻的至少一帧图像中获取同一拍摄对象对应的第二特征点集合；

第四确定子模块，被配置为根据所述第一特征点集合中，每个特征点与第二特征点集合中对应特征点的相对位置，确定每个拍摄对象对应的第一特征点集合中，每个特征点的运动矢量；

所述第一计算模块，包括：

第二计算子模块，被配置为根据每个拍摄对象中各个特征点的运动矢量，计算每个拍摄对象的失真度，所述失真度的大小与拍摄对象中各个特征点的运动矢量的波动程度正相关；

第五确定子模块，被配置为将每一帧图像中，各个拍摄对象的失真度的平均值确定为所述每一帧图像的卷帘快门失真度。

可选的，所述第二确定子模块，包括：

分割单元，被配置为采用基于深度学习的图像分割算法，对每一帧图像进行图像分割。

可选的，所述第一确定子模块，包括：

计算单元，被配置为计算各帧图像的卷帘快门失真度的第一均值，以及各帧图像的抖动度的第二均值；

确定单元，被配置为根据所述第一均值和所述第二均值，确定所述电子防抖算法的性能。

可选的，所述确定单元，包括：

获取子单元，被配置为获取卷帘快门失真度对应的第一权重值w1，以及抖动度对应的第二权重值w2；

确定子单元，被配置为根据所述第一均值S1，以及所述第二均值S2，确定所述电子防抖算法的性能评价值P，所述性能评价值P满足：P＝S1×w1+S2×w2；

根据本公开实施例的第三方面，提供一种分析设备，所述设备包括：处理器；用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质中存储有指令，当所述非临时性存储介质中的指令在处理组件上运行时，使得处理组件执行如第一方面所述的电子防抖算法的性能分析方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供了一种电子防抖算法的性能分析方法及装置，该方法可以计算视频样本数据包括的多帧图像中，每一帧图像的卷帘快门失真度，并可以根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小负相关，该卷帘快门失真度的大小与一帧图像中各个特征点的运动矢量的波动程度正相关。由于每帧图像中各个特征点的运动矢量的波动程度可以准确反映视频样本数据中是否存在卷帘快门失真的问题，因此通过该卷帘快门失真度能够准确反映EIS算法的性能。并且本公开实施例提供的分析方法无需开发人员人眼观察视频，有效提高了分析的效率和精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种电子防抖算法的性能分析方法所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种电子防抖算法的性能分析方法的流程图；

图3是根据一示例性实施例示出的另一种电子防抖算法的性能分析方法的流程图；

图4是根据一示例性实施例示出的一种视频样本数据中一帧图像的示意图；

图5是根据一示例性实施例示出的另一种视频样本数据中一帧图像的示意图；

图6A是根据一示例性实施例示出的一种分析设备显示的网格图的示意图；

图6B是根据一示例性实施例示出的另一种分析设备显示的网格图的示意图；

图7是根据一示例性实施例示出的一种电子防抖算法的性能分析装置的框图；

图8是根据一示例性实施例示出的另一种电子防抖算法的性能分析装置的框图；

图9是根据一示例性实施例示出的一种获取模块的框图；

图10是根据一示例性实施例示出的一种第一确定模块的框图；

图11是根据一示例性实施例示出的一种第一计算模块的框图；

图12是根据一示例性实施例示出的一种分析设备的框图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部份实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

请参见图1，其示出了本公开实施例提供的电子防抖算法的性能分析方法所涉及的实施环境的示意图。如图1所示，该实施环境可以包括：分析设备110和至少一个录制设备120。该分析设备110可以是一台计算机，或者一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。每个录制设备120可以为智能手机、平板电脑或者相机等具有视频录制功能的设备。该分析设备110和每个录制设备120之间均可以通过有线网络或无线网络建立连接。

作为一种可选的实现方式，各个录制设备120中可以预先配置有不同的EIS算法，且该各个录制设备120可以在相同的录制环境下录制视频。例如可以采用多个夹持件固定各个录制设备120，在录制设备120录制视频的过程中，该多个夹持件可以按照固定的频率和幅度抖动，以保证录制环境的一致性。该各个录制设备120在录制视频的过程中，可以采用预先配置的EIS算法对录制的视频进行处理，并可以将处理后的数据作为视频样本数据发送至分析设备110，以便分析设备110可以根据各个录制设备120发送的视频样本数据，对各个录制设备120中所配置的EIS算法的性能进行分析。

作为另一种可选的实现方式，该实施环境中可以仅包括一个录制设备120，且该录制设备120中未配置EIS算法。该录制设备120可以将录制到的视频数据直接发送至分析设备110。分析设备110可以采用不同的EIS算法对接收到的视频数据进行处理，得到至少一个视频样本数据，并根据该至少一个视频样本数据对每个EIS算法的性能进行分析。

图2是根据一示例性实施例示出的一种电子防抖算法的性能分析方法的流程图，该方法可以应用于图1所示的分析设备110中。参考图2，该方法可以包括：

步骤101、采用特征提取算法，获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点。

在本公开实施例中，该视频样本数据可以为采用待分析的EIS算法处理后的数据。并且，该视频样本数据可以是配置有待分析的EIS算法的录制设备发送至分析设备的，也可以是分析设备采用待分析的EIS算法对视频数据进行处理后得到的。若待分析的EIS算法包括多个，则分析设备获取到的视频样本数据也可以包括多个，每个视频样本数据可以是采用一种EIS算法进行处理后得到的。分析设备可以分别对每一个视频样本数据进行分析，进而确定每一个视频样本数据所采用的EIS算法的性能进行分析。

对于该视频样本数据包括的多帧图像，该分析设备可以采用预设的特征提取算法，从每一帧图像中提取出多个特征点。每个特征点可以为用于表征图像特征(例如几何特征)的点，例如，该每个特征点可以为用于标识图像中的拍摄对象的点。在本公开实施例中，该分析设备所采用的特征提取算法可以包括基于模板匹配的方法、基于几何特征的提取方法、以及基于深度学习的提取方法中的任一种；其中，该基于几何特征的提取方法可以包括：依据图像的几何形状进行提取的方法，以及依据图像的灰度信息进行提取的方法。本公开实施例对该分析设备所采用的特征提取算法的类型不做限定。

其中，分析设备采用基于深度学习的提取方法时，可以先采集样本数据；然后构建卷积神经网络，并将样本数据输入到卷积神经网络进行训练，得到卷积神经网络模型，最后即可采用该卷积神经网络模型对每一帧图像中的特征点进行提取。采用基于深度学习的提取方法提取的特征点的精度较高，可以提高该性能分析方法的分析精度。

步骤102、根据每一帧图像中每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定每一帧图像中每个特征点的运动矢量。

进一步的，分析设备可以对相邻的若干帧图像中的特征点进行特征点匹配，从而可以根据每一帧图像中的每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定该每个特征点的运动矢量。在本公开实施例中，分析设备可以将每一帧图像与前一帧图像、后一帧图像、先前的若干帧图像或者之后的若干帧图像进行对比分析，以确定每个特征点的运动矢量。每个特征点的运动矢量可以为该特征点在相邻若干帧图像中的位置的相对偏移量，因此每个特征点的运动矢量可以用于指示该特征点在相邻的若干帧图像间移动的距离和方向。例如，假设某个特征点在当前帧图像中的位置为v₁，在前一帧图像中的位置为v₀，则该特征点的运动矢量V1可以表示为：

示例的，对于第一帧图像中的第一特征点，该分析设备可以从与该第一帧图像相邻的一帧图像所包括的多个特征点中，确定与该第一特征点匹配的特征点，并根据该第一特征点和该匹配的特征点的相对位置，确定该第一特征点的运动矢量。

步骤103、根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度。

该卷帘快门(rolling shutter)失真度的大小与各个特征点的运动矢量的波动程度正相关，该波动程度是指各个特征点的运动矢量的不一致程度，也即是，每一帧图像中各个特征点的运动矢量的波动程度越大，该帧图像的卷帘快门失真度也越高。例如，分析设备可以将每一帧图像中，各个特征点的运动矢量的方差确定为每一帧图像的卷帘快门失真度。或者，该分析设备也可以将各个特征点的运动矢量的标准差、极差或者平均差等确定为每一帧图像的卷帘快门失真度。

其中，卷帘快门失真是指一帧图像中的物体出现的倾斜、错位或部分曝光等问题。EIS算法主要可以用于改善视频数据的卷帘快门(Rolling shutter)失真，因此可以将该卷帘快门失真度作为衡量EIS算法性能的参数。

步骤104、根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能。

在本公开实施例中，分析设备计算得到多帧图像中每一帧图像的卷帘快门失真度之后，可以根据该各帧图像的卷帘快门失真度，确定待分析的EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小可以负相关。也即是，各帧图像的卷帘快门失真度越高，分析设备可以确定该EIS算法的性能越差；卷帘快门失真度越低，分析设备可以确定该EIS算法的性能越好。

综上所述，本公开实施例提供了一种电子防抖算法的性能分析方法，该方法可以计算视频样本数据包括的多帧图像中，每一帧图像的卷帘快门失真度，并可以根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小负相关，该卷帘快门失真度的大小与一帧图像中各个特征点的运动矢量的波动程度正相关。由于每帧图像中各个特征点的运动矢量的波动程度可以准确反映视频样本数据中是否存在卷帘快门失真的问题，因此通过该卷帘快门失真度能够准确反映EIS算法的性能。并且本公开实施例提供的分析方法无需开发人员人眼观察视频，有效提高了分析的效率和精度。

图3是根据一示例性实施例示出的另一种电子防抖算法的性能分析方法的流程图，该方法可以应用于图1所示的分析设备110中，参考图3，该方法可以包括：

步骤201、获取视频样本数据包括的多帧图像。

在本公开实施例中，该视频样本数据可以为采用待分析的EIS算法处理后的数据。分析设备可以提取出视频样本数据所包括的多帧图像，该多帧图像在时域上连续。

步骤202、对每一帧图像进行图像分割，确定每一帧图像包括的至少一个拍摄对象。

进一步的，分析设备可以采用图像分割算法，对每一帧图像进行图像分割，以确定每一帧图像中包括的至少一个拍摄对象。其中，该分析设备所采用的图像分析算法可以包括：基于区域生成的图像分割算法、基于边缘检测的图像分割算法以及基于深度学习的图像分割算法中的任一种。其中，分析设备采用基于深度学习的图像分割算法时，可以先采集图像样本数据；然后构建卷积神经网络，并将采集到的图像样本数据输入到卷积神经网络进行训练，得到卷积神经网络模型，最后可以采用该训练得到的卷积神经网络模型对每一帧图像中的拍摄对象进行分割。采用基于深度学习的图像分割方法分割得到的拍摄对象的精度较高，可以提高该性能分析方法的分析精度。

示例的，假设该多帧图像中的某一帧图像如图4所示，则分析设备采用基于深度学习的图像分割算法对该帧图像进行图像分割后，可以确定该帧图像中包括拍摄对象01和拍摄对象02共两个拍摄对象。

步骤203、在每个拍摄对象中确定多个特征点，得到每个拍摄对象对应的特征点集合。

对于每一帧图像中包括的至少一个拍摄对象，分析设备可以采用预设的特征提取算法，在每个拍摄对象中确定出多个特征点，该多个特征点即可组成该拍摄对象对应的特征点集合。相应的，对于每一帧图像，分析设备可以确定出至少一个特征点集合。

示例的，对于图4所示的拍摄对象01，该分析设备可以确定出x1、x2和x3共三个特征点，该三个特征点可以分别为三角形的三个顶点；相应的，该拍摄对象01对应的特征点集合即为{x1，x2，x3}。对于拍摄对象02，该分析设备可以确定出y1、y2、y3和y4共四个特征点，相应的，该拍摄对象02对应的特征点集合即为{y1，y2，y3，y4}。

步骤204、对于每一帧图像中每个拍摄对象对应的第一特征点集合，从前一帧图像中获取同一拍摄对象对应的第二特征点集合。

在本公开实施例中，为了提高计算得到的每一帧图像的卷帘快门失真度的精度，对于每一帧图像中的每个拍摄对象，该分析设备可以从前一帧图像中确定与该拍摄对象匹配的同一拍摄对象，并可以获取该匹配的拍摄对象所对应的第二特征点集合。

示例的，假设图4所示的图像为视频样本数据中的第二帧图像，该视频样本数据中的第一帧图像如图5所示，则对于该第二帧图像中的每个拍摄对象对应的第一特征点集合，分析设备可以从第一帧图像中确定与该拍摄对象匹配的同一拍摄对象对应的第二特征点集合。例如，对于第二帧图像中拍摄对象01对应的第一特征点集合{x1，x2，x3}，分析设备可以从第一帧图像中确定同一拍摄对象(即拍摄对象011)对应的第二特征点集合{x11，x22，x33}。对于第二帧图像中拍摄对象02对应的第一特征点集合{y1，y2，y3，y4}，分析设备可以从第一帧图像中确定同一拍摄对象(即拍摄对象022)对应的第二特征点集合{y11，y22，y33，y44}。

步骤205、确定每个拍摄对象对应的第一特征点集合中，每个特征点的运动矢量。

进一步的，分析设备可以对相邻两帧图像中同一拍摄对象中的特征点进行特征点匹配，从而可以确定每个拍摄对象中的每个特征点，在前一帧图像中相对应的特征点。之后，分析设备即可根据该每个拍摄对象对应的第一特征点集合中，每个特征点与第二特征点集合中对应特征点的相对位置，确定每个特征点的运动矢量，该运动矢量可以用于指示特征点在相邻两帧图像间移动的距离和方向。

示例的，假设视频样本数据中相邻两帧图像分别如图4和图5所示，分析设备对该两帧图像中属于同一拍摄对象的特征点进行匹配后，可以确定拍摄对象01对应的第一特征点集合{x1，x2，x3}中，特征点x1与前一帧图像中拍摄对象011中的特征点x11匹配，特征点x2与前一帧图像中的特征点x22匹配，特征点x3与前一帧图像中的特征点x33匹配；相应的，分析设备可以确定拍摄对象02对应的第一特征点集合{y1，y2，y3，y4}中的四个特征点与第二特征点集合{y11，y22，y33，y44}中的四个特征点一一对应。

之后，分析设备可以根据拍摄对象01对应的第一特征点集合{x1，x2，x3}中，每个特征点与第二特征点集合{x11，x22，x33}中对应特征点的相对位置，确定每个特征点的运动矢量。对比图4和图5可以看出，第一特征点集合{x1，x2，x3}中的每个特征点相对于前一帧图像分别向右移动了一个像素，该拍摄对象01对应的第一特征点集合中，特征点x1的运动矢量可以为V1，特征点x2的运动矢量可以为V2，特征点x3的运动矢量可以为V3，且V1＝V2＝V3。

同理，分析设备可以根据拍摄对象02对应的第一特征点集合{y1，y2，y3，y4}中，每个特征点与第二特征点集合{y11，y22，y33，y44}中对应特征点的相对位置，确定每个特征点的运动矢量。对比图4和图5可以看出，第一特征点集合{y1，y2，y3，y4}中，特征点y1和y2相对于前一帧图像分别向右移动了一个像素，特征点y3和y4相对于前一帧图像向右移动的距离大于一个像素。该拍摄对象02对应的第一特征点集合中，特征点y1至y4的运动矢量可以分别为W1至W4，并且，W1＝W2，W3＝W4，W1≠W3。

需要说明的是，对于一帧图像中的某个特征点，若分析设备在相邻一帧图像中未检测到与该特征点匹配的特征点，则分析设备可以忽略该未匹配到对应特征点的特征点，也即是，无需再计算该特征点的运动矢量。

步骤206、根据每个拍摄对象中各个特征点的运动矢量，计算每个拍摄对象的失真度。

由于当一帧图像中的某个拍摄对象出现倾斜或错位等Rolling shutter失真时，分析设备计算得到的该拍摄对象中各个特征点的运动矢量的差异会较大，因此拍摄对象中各个特征点的运动矢量的波动程度可以准确反映出该拍摄对象的失真度。并且，该失真度的大小与拍摄对象中各个特征点的运动矢量的波动程度可以正相关，即拍摄对象中各个特征点的运动矢量的波动程度较大时，该拍摄对象的失真度越高，拍摄对象中各个特征点的运动矢量的波动程度较小时，该拍摄对象的失真度越低。

在本公开实施例中，对于每一帧图像中的每个拍摄对象，分析设备可以计算该拍摄对象对应的第一特征点集合中，各个特征点的运动矢量的方差，并将该方差确定为该拍摄对象的失真度。当然，分析设备还可以将每个拍摄对象中各个特征点的运动矢量的标准差、极差或者平均差等能够反映运动矢量波动程度的参数作为该拍摄对象的失真度，本公开实施例对此不做限定。

示例的，假设每个拍摄对象的失真度为该拍摄对象中各个特征点的运动矢量的方差，则对于图4所示的第二帧图像，由于拍摄对象01对于的第一特征点集合{x1，x2，x3}中，各个特征点的运动矢量相等，因此，分析设备可以计算得到该各个特征点的运动矢量的方差为0，即该拍摄对象01的失真度a₁为0；而对于拍摄对象02，由于其对应的第一特征点集合{y1，y2，y3，y4}中，各个特征点的运动矢量不完全相等，因此，分析设备计算得到该各个特征点的运动矢量的方差不为0，即该拍摄对象01的失真度a₂不等于0。

当视频样本数据中不同拍摄对象的运动状态不同时，即使该视频样本数据未出现Rolling shutter失真，分析设备所计算得到的每帧图像中各个特征点的运动矢量的差异也会较大。因此，为了提高分析的准确性，该分析设备可以先对每一帧图像进行图像分割，然后再分别计算每一帧图像中各个拍摄对象的失真度，该失真度能够较为准确地反映每个拍摄对象的Rolling shutter失真状况。

步骤207、将每一帧图像中，各个拍摄对象的失真度的平均值确定为该每一帧图像的卷帘快门失真度。

在本公开实施例中，该各个拍摄对象的失真度的平均值可以是指各个拍摄对象的失真度的算术平均值、几何平均值和加权平均值中的任一种。由于每个拍摄对象的失真度能够较为准确地反映该拍摄对象的Rolling shutter失真状况，因此通过各个拍摄对象的失真度的平均值，可以准确反映出每一帧图像的平均失真状况。

假设某一帧图像中包括n个拍摄对象，该n个拍摄对象的失真度分别为a₁至a_n，则当该平均值为算术平均值时，该各个拍摄对象的失真度的平均值a可以表示为：

其中，a_i为该n个拍摄对象中第i个拍摄对象的失真度，且i为小于等于n的正整数。

当该平均值为几何平均值时，该各个拍摄对象的失真度的平均值a可以表示为：

当该平均值为加权平均值时，该各个拍摄对象的失真度的平均值a可以表示为：

其中，k_i为该n个拍摄对象中第i个拍摄对象对应的权重值，k_i为大于0且小于等于1的数，且该n个拍摄对象对应的权重值之和

小于或等于1。此外，该每一帧图像中每个拍摄对象对应的权重值可以是分析设备根据该拍摄对象的特性所确定的。例如分析设备可以根据拍摄对象所占区域的大小，拍摄对象所包括的特征点的数量确定每个拍摄对象对应的权重值。

示例的，假设每一帧图像的卷帘快门失真度为该帧图像中各个拍摄对象的失真度的算术平均值，则对于图4所示的第二帧图像，分析设备可以确定其卷帘快门失真度A2为：

步骤208、计算每一帧图像包括的多个特征点中，各个特征点的运动矢量的大小的平均值，得到每一帧图像的抖动度。

在本公开实施例中，为了分析视频样本数据中，各帧图像之间的抖动程度，分析设备还可以计算每一帧图像包括的多个特征点中，各个特征点的运动矢量的大小的平均值，得到每一帧图像的抖动度。同样的，该平均值可以为算术平均值、几何平均值或者加权平均值中的任一种，本公开实施例对此不做限定。

由于每个特征点的运动矢量可以指示该特征点在相邻若干帧图像间移动的距离和方向，因此该每一帧图像的抖动度即可反映出每一帧图像中各个特征点相对于相邻的至少一帧图像的平均移动距离，进而可以反映出每一帧图像相对于相邻的至少一帧图像的抖动程度。

示例的，假设第二帧图片中各个特征点的运动矢量分别为V1至V3，以及W1至W4，则该分析设备可以计算得到该第二帧图像的抖动度B2为：

其中，| |可以表示计算矢量的大小。

步骤209、根据计算得到的各帧图像的卷帘快门失真度，以及该各帧图像的抖动度，确定该EIS算法的性能。

该EIS算法的性能优劣与该各帧图像的卷帘快门失真度的大小负相关，且该EIS算法的性能优劣与该抖动度负相关。也即是，各帧图像的卷帘快门失真度越低，表明该EIS算法的性能越好；各帧图像的抖动度越低，表明该EIS算法的性能越好。

作为一种可选的实现方式，分析设备在确定该EIS算法的性能时，可以先计算各帧图像的卷帘快门失真度的第一均值S1，以及各帧图像的抖动度的第二均值S2；然后可以根据该第一均值S1和第二均值S2，确定EIS算法的性能。其中，该第一均值和第二均值中的每个均值可以为算术平均值、几何平均值和加权平均值中的任一种。

由于每帧图像的卷帘快门失真度可以准确反映该帧图像中是否存在卷帘快门失真的问题，因此该各帧图像的卷帘快门失真度的第一均值即可反映出视频样本数据的整体失真状况。又由于每一帧图像的抖动度可以反映出该帧图像相对于相邻的至少一帧图像的抖动程度，因此该各帧图像的抖动度的第二均值即可反映出视频样本数据的整体抖动程度。由此可知，该EIS算法的性能优劣与该第一均值负相关，且与该第二均值负相关。

示例的，假设视频样本数据包括100帧图像，且分析设备需要通过分析相邻两帧图像得到一帧图像的卷帘快门失真度以及抖动度，因此该分析设备一共可以确定出99帧图像的卷帘快门失真度，以及99帧图像的抖动度。分析设备可以计算该99帧图像的卷帘快门失真度的第一均值，以及该99帧图像的抖动度的第二均值。并可以根据计算得到的第一均值的大小，以及第二均值的大小，确定EIS算法的性能。

具体的，在根据该第一均值S1和第二均值S2确定EIS算法的性能时，分析设备可以先获取卷帘快门失真度对应的第一权重值w1，以及抖动度对应的第二权重值w2，然后计算该EIS算法的性能评价值P，该性能评价值P可以满足：

P＝S1×w1+S2×w2；

其中，卷帘快门失真度对应的第一权重值w1可以大于抖动度对应的对应的第二权重值w2，并且w1+w2≤1。该第一权重值w1和第二权重值w2均可以为分析设备预先配置的。

通过上述性能评价值P的计算公式可以看出，该EIS算法的性能优劣与该性能评价值P的大小负相关。即性能评价值P越小，表明该EIS算法的性能越好；性能评价值P越大，表明该EIS算法的性能越差。

进一步的，分析设备在确定出EIS算法的性能之后，开发人员即可根据该EIS算法的性能优劣，对该EIS算法进行修正或者维护。或者，该分析设备也可以分别对多个EIS算法的性能进行分析，以便设备厂商可以根据分析的结果，选择性能较好的EIS算法应用在视频录制设备中。

可选的，在实际应用中，在上述步骤208之后，分析设备还可以直接将计算得到的各帧图像的抖动度显示在网格图中，该网格图的横轴可以为时间，纵轴可以为抖动度的大小，且横轴上的每个网格可以表示一帧图像。通过在网格图中显示各帧图像的抖动度的变化状况，开发人员可以直观的观察到EIS算法的性能优劣。一般情况下，该网格图中各帧图像的抖动度越小，变化越为平缓，表明该EIS算法的性能越好。

示例的，假设采用算法1处理后的视频样本数据中，N帧图像的抖动度的网格图如图6A所示，采用算法2处理后的视频样本数据中，N帧图像的抖动度的网格图如图6B所示，则对比图6A和图6B可以明显看出，由于图6A中各帧图像的抖动度相对于图6B中各帧图像的抖动度均较小，且图6A中各帧图像的抖动度变化较为平缓，因此开发人员可以确定该算法1的性能较好。

需要说明的是，在本公开实施例中，为了进一步提高分析的精度，对于每一个待分析的EIS算法，该分析设备还可以获取采用该待分析的EIS算法处理后的多个视频样本数据，并可以根据上述图2或图3所示的方法对每个视频样本数据进行分析，最后再基于针对各个视频样本数据的分析结果，确定该EIS算法的性能。

例如，分析设备可以根据每个视频样本数据计算得到一个性能评价值P，然后可以将根据多个视频样本数据计算得到的多个性能评价值P的平均值作为该EIS算法的性能评价参数。

需要说明的是，本公开实施例提供的电子防抖算法的性能分析方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，例如，步骤208可以在步骤206之前执行，或者可以与该步骤206同步执行。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本公开的保护范围之内，因此不再赘述。

综上所述，本公开实施例提供了一种电子防抖算法的性能分析方法，该方法可以计算视频样本数据包括的多帧图像中，每一帧图像的卷帘快门失真度，并可以根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小负相关，该卷帘快门失真度的大小与一帧图像中各个特征点的运动矢量的波动程度正相关。由于每帧图像中各个特征点的运动矢量的波动程度可以准确反映视频样本数据中是否存在卷帘快门失真的问题，因此通过该卷帘快门失真度能够准确反映EIS算法的性能。此外，本公开实施例提供的方法还可以结合各帧图像的抖动度确定该EIS算法的性能，进一步提高了分析的可靠性，使得分析的结果能够与EIS算法的实际应用效果相吻合。

图7是根据一示例性实施例示出的一种电子防抖算法的性能分析装置的框图，该装置可以配置于图1所示的分析设备110中，如图7所示，该装置可以包括：

获取模块301，被配置为采用特征提取算法，获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点，其中，该视频样本数据为采用电子防抖算法处理后的数据，该特征点为用于表征图像特征的点。

第一确定模块302，被配置为根据每一帧图像中每个特征点与相邻的至少一帧图像中对应特征点的相对位置，确定每一帧图像中每个特征点的运动矢量。

第一计算模块303，被配置为根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，该卷帘快门失真度的大小与各个特征点的运动矢量的波动程度正相关，该波动程度可以是指各个特征点的运动矢量的不一致程度。

第二确定模块304，被配置为根据计算得到的各帧图像的卷帘快门失真度，确定该电子防抖算法的性能，该电子防抖算法的性能优劣与该卷帘快门失真度的大小负相关。

综上所述，本公开实施例提供了一种电子防抖算法的性能分析装置，该装置可以计算视频样本数据包括的多帧图像中，每一帧图像的卷帘快门失真度，并可以根据计算得到的各帧图像的卷帘快门失真度，确定EIS算法的性能，该EIS算法的性能优劣与该卷帘快门失真度的大小负相关，该卷帘快门失真度的大小与一帧图像中各个特征点的运动矢量的波动程度正相关。由于每帧图像中各个特征点的运动矢量的波动程度可以准确反映视频样本数据中是否存在卷帘快门失真的问题，因此通过该卷帘快门失真度能够准确反映EIS算法的性能，提高了分析的效率和精度。

可选的，图8是根据一示例性实施例示出的另一种电子防抖算法的性能分析装置的框图，如图8所示，该装置还可以包括：

第二计算模块305，被配置为计算每一帧图像包括的多个特征点中，各个特征点的运动矢量的大小的平均值，得到每一帧图像的抖动度。

该第二确定模块304可以包括：

第一确定子模块3041，被配置为根据计算得到的各帧图像的卷帘快门失真度，以及该各帧图像的抖动度，确定该电子防抖算法的性能，该电子防抖算法的性能优劣与该抖动度负相关。

可选的，该第一计算模块303可以包括：

第一计算子模块3031，被配置为将每一帧图像中，各个特征点的运动矢量的方差确定为每一帧图像的卷帘快门失真度。

可选的，图9是根据一示例性实施例示出的一种获取模块的框图，如图9所示，该获取模块301可以包括：

第二确定子模块3011，被配置为对每一帧图像进行图像分割，确定每一帧图像包括的至少一个拍摄对象。

第三确定子模块3012，被配置为在每个拍摄对象中确定多个特征点，得到每个拍摄对象对应的特征点集合。

图10是根据一示例性实施例示出的一种第一确定模块的框图，如图10所示，该第一确定模块302可以包括：

获取子模块3021，被配置为对于每一帧图像中每个拍摄对象对应的第一特征点集合，从前一帧图像中获取同一拍摄对象对应的第二特征点集合。

第四确定子模块3022，被配置为根据该第一特征点集合中，每个特征点与第二特征点集合中对应特征点的相对位置，确定每个拍摄对象对应的第一特征点集合中，每个特征点的运动矢量。

图11是根据一示例性实施例示出的一种第一计算模块的框图，如图11所示，该第一计算模块303可以包括：

第二计算子模块3032，被配置为根据每个拍摄对象中各个特征点的运动矢量，计算每个拍摄对象的失真度，该失真度的大小与拍摄对象中各个特征点的运动矢量的波动程度正相关。

第五确定子模块3033，被配置为将每一帧图像中，各个拍摄对象的失真度的平均值确定为该每一帧图像的卷帘快门失真度。

进一步的，该第二确定子模块3011可以包括：

可选的，该第一确定子模块3041可以包括：

计算单元，被配置为计算各帧图像的卷帘快门失真度的第一均值，以及各帧图像的抖动度的第二均值。

确定单元，被配置为根据该第一均值和该第二均值，确定电子防抖算法的性能。

可选的，该确定单元可以包括：

获取子单元，被配置为获取卷帘快门失真度对应的第一权重值w1，以及抖动度对应的第二权重值w2。

确定子单元，被配置为根据该第一均值S1，以及该第二均值S2，确定该电子防抖算法的性能评价值，该性能评价值P满足：P＝S1×w1+S2×w2。

其中，该性能评价值与该电子防抖算法的性能优劣负相关，且w1＞w2，w1+w2≤1。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图12是根据一示例性实施例示出的一种分析设备1200的框图。例如，分析设备1200可以被提供为一服务器。参照图12，分析设备1200包括处理组件1222，其进一步包括一个或多个处理器，以及由存储器1232所代表的存储器资源，用于存储可由处理组件1222执行的指令，例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1222被配置为执行指令，以执行上述电子防抖算法的性能分析方法。

分析设备1200还可以包括一个电源组件1226被配置为执行分析设备1200的电源管理，一个有线或无线网络接口1250被配置为将分析设备1200连接到网络，和一个输入输出(I/O)接口1258。分析设备1200可以操作基于存储在存储器1232的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本公开实施例提供了一种非临时性计算机可读存储介质，该非临时性计算机可读存储介质中存储有指令，当该非临时性存储介质中的指令在处理组件上运行时，使得处理组件执行图2或图3所示的电子防抖算法的性能分析方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种电子防抖算法的性能分析方法，其特征在于，应用于分析设备，所述方法包括：

根据计算得到的各帧图像的卷帘快门失真度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述卷帘快门失真度的大小负相关；

其中，所述根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，包括：将每一帧图像中各个特征点的运动矢量的方差、标准差、极差或平均差中一种确定为每一帧图像的卷帘快门失真度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据计算得到的各帧图像的卷帘快门失真度，以及各帧图像的抖动度，确定所述电子防抖算法的性能。

3.根据权利要求1或2所述的方法，其特征在于，所述根据每一帧图像中各个特征点的运动矢量，计算每一帧图像的卷帘快门失真度，包括：

4.根据权利要求1或2所述的方法，其特征在于，所述获取视频样本数据包括的多帧图像中，每一帧图像中的多个特征点，包括：

5.根据权利要求4所述的方法，其特征在于，所述对每一帧图像进行图像分割，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据计算得到的各帧图像的卷帘快门失真度，以及各帧图像的抖动度，确定所述电子防抖算法的性能，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一均值和所述第二均值，确定所述电子防抖算法的性能，包括：

8.一种电子防抖算法的性能分析装置，其特征在于，配置于分析设备中，所述装置包括：

第二确定模块，被配置为根据计算得到的各帧图像的卷帘快门失真度，确定所述电子防抖算法的性能，所述电子防抖算法的性能优劣与所述卷帘快门失真度的大小负相关；

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

所述第二确定模块，包括：

10.根据权利要求8或9所述的装置，其特征在于，所述第一计算模块，包括：

11.根据权利要求8或9所述的装置，其特征在于，所述获取模块，包括：

所述第一确定模块，包括：

获取子模块，被配置为对于每一帧图像中每个拍摄对象对应的第一特征点集合，从前一帧图像中获取同一拍摄对象对应的第二特征点集合；

所述第一计算模块，包括：

12.根据权利要求11所述的装置，其特征在于，所述第二确定子模块，包括：

13.根据权利要求9所述的装置，其特征在于，所述第一确定子模块，包括：

14.根据权利要求13所述的装置，其特征在于，所述确定单元，包括：

15.一种分析设备，其特征在于，所述设备包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

16.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质中存储有指令，当所述非临时性计算机可读存储介质中的指令在处理组件上运行时，使得处理组件执行如权利要求1至7任一所述的电子防抖算法的性能分析方法。