CN111432118B - 图像防抖处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像防抖处理方法和装置、电子设备、计算机可读存储介质。方法包括实时获取图像帧，以及实时获取所述图像帧对应的抖动数据；根据所述抖动数据确定摄像头的抖动幅度；当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量；所述图像帧的第一补偿量与所述摄像头的抖动幅度成负相关；基于所述第一补偿量对所述图像帧进行防抖处理。上述图像防抖处理方法和装置、电子设备、计算机可读存储介质，可以提高图像防抖的准确性。

Description

图像防抖处理方法、装置、电子设备和存储介质

技术领域

本申请涉及图像技术领域，特别是涉及一种图像防抖处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展，出现了越来越多的智能设备。在这些智能设备中，拍照功能尤为重要。而在拍照的过程中，对图像或者视频进行防抖处理，从而拍摄出更准确更漂亮的图像、视频等。

然而，传统的图像防抖处理方法，只能适应抖动较小的情况，当出现较大抖动的时候，会造成拍摄的图像帧之间卡顿，存在防抖不准确的问题。

发明内容

本申请实施例提供了一种图像防抖处理方法、装置、电子设备、计算机可读存储介质，可以提高防抖处理的准确性。

一种图像防抖处理方法，包括：

实时获取图像帧，以及实时获取所述图像帧对应的抖动数据；

根据所述抖动数据确定摄像头的抖动幅度；

当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量；所述图像帧的第一补偿量与所述摄像头的抖动幅度成负相关；

基于所述第一补偿量对所述图像帧进行防抖处理。

一种图像防抖处理装置，包括：

实时获取模块，用于实时获取图像帧，以及实时获取所述图像帧对应的抖动数据；

抖动幅度确定模块，用于根据所述抖动数据确定摄像头的抖动幅度；

补偿量确定模块，用于当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量；所述图像帧的第一补偿量与所述摄像头的抖动幅度成负相关；

防抖处理模块，用于基于所述第一补偿量对所述图像帧进行防抖处理。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像防抖处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像防抖处理方法和装置、电子设备、计算机可读存储介质，实时获取图像帧，以及实时获取图像帧对应的抖动数据；根据抖动数据确定摄像头的抖动幅度；当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与摄像头的抖动幅度成负相关；也就是说，当摄像头的抖动幅度越大时，对图像帧进行补偿的第一补偿量越小，可以避免摄像头的抖动幅度较大时对图像帧进行较大的补偿而造成图像帧画面卡顿的问题，则基于第一补偿量对图像帧进行防抖处理，可以提高图像防抖处理的准确性，防抖处理之后的相邻图像帧之间的画面更顺畅。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的示意图；

图2为一个实施例中图像防抖处理方法的流程图；

图3为一个实施例中步骤确定第一补偿量的流程图；

图4为另一个实施例中图像防抖处理方法的流程图；

图5为一个实施例中步骤确定第二补偿量的流程图；

图6为一个实施例中图像防抖处理装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一防抖参数称为第二防抖参数，且类似地，可将第二防抖参数称为第一防抖参数。第一防抖参数和第二防抖参数两者都是防抖参数，但其不是同一防抖参数。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，通过成像设备(照相机)110实时获取图像帧，并将图像帧发送至ISP处理器140，以及通过传感器120实时获取图像帧对应的抖动数据，并将抖动数据发送至ISP处理器140。ISP处理器140接收到图像帧和抖动数据之后，根据抖动数据确定成像设备(照相机)110的抖动幅度；当成像设备(照相机)110的抖动幅度大于第一抖动幅度时，根据成像设备(照相机)110的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与成像设备(照相机)110的抖动幅度成负相关；基于第一补偿量对图像帧进行防抖处理，可以提高图像防抖处理的准确性，防抖处理之后的相邻图像帧之间的画面更顺畅。

图2为一个实施例中图像防抖处理方法的流程图。如图2所示，图像防抖处理方法包括步骤202至步骤208。

步骤202，实时获取图像帧，以及实时获取图像帧对应的抖动数据。

通过摄像头实时获取图像帧，以及通过惯性测量单元实时获取图像帧对应的抖动数据。

摄像头安装在电子设备上，可以安装在电子设备的屏幕一侧作为前置摄像头，也可以安装在电子设备的背面一侧作为后置摄像头，也可以安装在电子设备的左右侧，还可以安装在电子设备中作为旋转摄像头，不限于此。

摄像头的数量并不限定，可以是一个，也可以是多个。摄像头的类型也不限定，可以是长焦摄像头、广角摄像头中的一种，也可以是红外摄像头、深度摄像头、激光摄像头、RGB摄像头中的一种。

抖动数据是表征电子设备抖动的数据。抖动数据可以包括角速度数据、加速度数据、平移速度数据等中的至少一种。惯性测量单元(Inertial Measurement Unit，IMU)是测量物体三轴姿态角(或角速度)以及加速度的装置。其中，通过陀螺仪可以获取到角速度数据，通过加速度计可以获取到加速度数据和平移速度数据。陀螺仪是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。加速度计是测量运载体线加速度的仪表。

具体地，每一帧图像帧和每一个抖动数据中均存在生成该数据的时间戳，将图像帧的时间戳与抖动数据的时间戳进行匹配，可以获取到抖动数据映射到对应的图像帧，建立图像帧和抖动数据的对应关系。例如，图像帧1的时间戳与抖动数据1的时间戳相匹配，那么抖动数据1为图像帧1对应的抖动数据，也就是说，当摄像头获取到图像帧1时，摄像头抖动的数据为抖动数据1。

步骤204，根据抖动数据确定摄像头的抖动幅度。

抖动数据是表征电子设备抖动的数据。抖动数据越大，表示摄像头的抖动幅度越大；抖动数据越小，表示摄像头的抖动幅度越小。

例如，抖动数据包括角速度数据，当角速度数据越大，表示摄像头在单位时间内所转动的弧度越大，即摄像头的抖动幅度越大。又如，抖动数据包括加速度数据。当加速度数据越大，表示摄像头在单位时间内速度增大地越快，即摄像头的抖动幅度越大。

步骤206，当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与摄像头的抖动幅度成负相关。

第一抖动幅度可以根据需要进行设定。一般地。第一抖动幅度为一个较大的数值，例如，当抖动数据包括角速度数据，第一抖动幅度可以为20度。

第一补偿量指的是当摄像头的抖动幅度大于第一抖动幅度时，对摄像头防抖时进行补偿的量。对摄像头防抖包括电子防抖、光学防抖等。其中，电子防抖主要指在摄像头上采用强制提高CCD(Charge-coupled Device，电荷耦合元件)感光参数同时加快快门，并针对CCD上取得的图像进行分析，然后利用边缘图像进行补偿的防抖。光学防抖(OpticalImage Stabilization，OIS)是指在摄像头等成像仪器中，通过光学元器件的设置，例如镜头设置，来避免或者减少扑捉光学信号过程中出现的仪器抖动现象，从而提高成像质量。第一补偿量可以是电子防抖中的欧拉角补偿量，也可以是电子防抖中对图像帧进行剪切的量，也可以是光学防抖中透镜进行移动的量，不限于此。

当摄像头的抖动幅度大于第一抖动幅度时，摄像头的抖动幅度越大，则图像帧的第二补偿量越小；摄像头的抖动幅度越小，则图像帧的第二补偿量越大。

具体地，可以预先确定大于第一抖动幅度的抖动幅度与图像帧的第一补偿量之间的负相关函数，当摄像头的抖动幅度大于第一抖动幅度时，将摄像头的抖动幅度输入该负相关函数中，可以得到图像帧的第一补偿量。其中，负相关函数可以线性函数、指数函数、幂函数、对数函数等。

例如，大于第一抖动幅度的抖动幅度与图像帧的第一补偿量之间的负相关函数为y＝100-2x，其中，y为第一补偿量，x为抖动幅度。当x为40时，y为20；当x为30时，y为40。

步骤208，基于第一补偿量对图像帧进行防抖处理。

当第一补偿量是电子防抖中对图像帧进行剪切的量时，基于第一补偿量对图像帧进行剪切，使得相邻的图像帧之间的画面更加顺畅。当第一补偿量是光学防抖中透镜进行移动的量，基于第一补偿量对透镜进行移动，则移动之后得到的下一帧图像帧与上一帧图像帧之间的画面更加顺畅。

上述图像防抖处理方法，实时获取图像帧，以及实时获取图像帧对应的抖动数据；根据抖动数据确定摄像头的抖动幅度；当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与摄像头的抖动幅度成负相关；也就是说，当摄像头的抖动幅度越大时，对图像帧进行补偿的第一补偿量越小，可以避免摄像头的抖动幅度较大时对图像帧进行较大的补偿而造成图像帧画面卡顿的问题，则基于第一补偿量对图像帧进行防抖处理，可以提高图像防抖处理的准确性，防抖处理之后的相邻图像帧之间的画面更顺畅。电子设备拍摄得到的视频，或者在拍摄之前的预览画面，可以更加顺畅。

另外，实时获取图像帧，可以实时获取图像帧对应的第一补偿量，图像帧的第一补偿量与摄像头的抖动幅度成负相关，可以动态调节对图像帧进行防抖处理的强度，可以更准确对图像帧进行防抖处理。

在一个实施例中，如图3所示，当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量，包括：

步骤302，当摄像头的抖动幅度大于第一抖动幅度时，获取大于第一抖动幅度所对应的第一区间，以及各个第一区间分别对应的抖动等级。

大于第一抖动幅度所对应的第一区间，指的是第一区间中的各个数值均大于第一抖动幅度。第一区间的数量可以是一个或者至少两个。当第一区间的数量为一个时，则抖动等级也为一个。当第一区间的数量为至少两个时，则抖动等级可以按照第一区间的排列顺序确定。例如第一个第一区间对应抖动等级的第4级，第二个第一区间对应抖动等级的第5级，以此类推，抖动等级越大表示摄像头的抖动幅度越大。

在一个实施方式中，大于第一抖动幅度所对应的第一区间的确定方式，包括：获取第二抖动幅度；第二抖动幅度大于第一抖动幅度；将第一抖动幅度至第二抖动幅度之间的抖动幅度平均分割为至少两个第一区间。

第二抖动幅度可以根据需要进行设置。

例如，第一抖动幅度为30，第二抖动幅度为50，则第一抖动幅度至第二抖动幅度为(30,50)，将该(30,50)平均分割为至少两个第一区间。当分割为2个第一区间时，第一区间分别为(30,40)，[40,50)；当分割为4个第一区间时，第一区间分别为(30,35)，[35,40)，[40,45)，[45,50)。

在另一个实施方式中，大于第一抖动幅度所对应的第一区间的确定方式，包括：获取第二抖动幅度，以及第一抖动幅度至第二抖动幅度之间的区间节点；第二抖动幅度大于第一抖动幅度；基于各个区间节点将第一抖动幅度至第二抖动幅度之间的抖动幅度分割成至少两个第一区间。

第二抖动幅度，以及第一抖动幅度至第二抖动幅度之间的区间节点，可以根据需要进行设置。

例如，第一抖动幅度为为30，第二抖动幅度为50，第一抖动幅度至第二抖动幅度之间的区间节点分别为34,38,44，则基于各个区间节点将第一抖动幅度至第二抖动幅度之间的抖动幅度(30,50)分割成(30,34)，[34,38)，[38,44)，[44,50)。

电子设备将抖动幅度分割为一个或者多个第一区间，则当在一定的时间段内，摄像头的抖动幅度均在同一个第一区间的范围内时，表示摄像头的抖动幅度接近，均对一定时间段内的图像帧补偿第一补偿量，可以进一步使得相邻图像帧之间的画面更加顺畅。

步骤304，将摄像头的抖动幅度与各个第一区间进行匹配，将摄像头的抖动幅度所在的第一区间所对应的抖动等级，作为摄像头的第一抖动等级。

电子设备将摄像头的抖动幅度与各个第一区间进行匹配，确定摄像头的抖动幅度所在的第一区间，并将该第一区间所对应的抖动等级作为摄像头的第一抖动等级。

步骤306，根据摄像头的第一抖动等级确定图像帧的第一补偿量。

电子设备可以预先确定抖动等级与补偿量之间的对应关系，当确定摄像头的第一抖动等级时，基于第一抖动等级从抖动等级与补偿量之间的对应关系中确定第一补偿量。

例如，当摄像头的抖动幅度大于第一抖动幅度时，抖动等级第4级对应的补偿量为20，抖动等级第5级对应的补偿量为15，抖动等级第6级对应的补偿量为10，当摄像头的第一抖动等级为第5级时，则确定的图像帧的第一补偿量为15。

在本实施例中，当摄像头的抖动幅度大于第一抖动幅度时，获取大于第一抖动幅度所对应的第一区间，以及各个第一区间分别对应的抖动等级；再根据摄像头的抖动幅度确定摄像头所对应的第一抖动等级，从而获取到第一抖动等级对应的第一补偿量，则当在一定的时间段内，摄像头的抖动幅度均在同一个第一区间的范围内时，表示摄像头的抖动幅度接近，均对一定时间段内的图像帧补偿第一补偿量，可以进一步使得相邻图像帧之间的画面更加顺畅。

在一个实施例中，根据摄像头的第一抖动等级确定图像帧的第一补偿量，包括：获取第一抖动等级对应的第一防抖参数；将第一防抖参数代入参考防抖函数中，得到第一防抖函数；将第一抖动等级输入第一防抖函数中，得到图像帧的第一补偿量。

第一防抖参数指的是当摄像头的抖动幅度大于第一抖动幅度时，摄像头的第一抖动等级所对应的防抖参数。第一防抖参数可以包括但不限于是采样频率、防抖频率、防抖幅值中的至少一种。采样频率是指惯性测量单元采集抖动数据的频率。例如，采样频率可以是50Hz、100Hz、200Hz、300Hz等。防抖频率是指摄像头的马达驱动镜头移动，以进行防抖补偿的频率。防抖幅值是指摄像头的马达驱动镜头移动的幅度，或者是剪切图像帧的幅度。可选地，在一些实施例中，第一防抖参数还可以包括惯性测量单元的振动频率，惯性测量单元的测量范围、防抖补偿的方向数量等，在此不做限定。参考防抖函数指的是对摄像头进行防抖的函数。

可以理解的是，对不同的抖动等级设置不同的防抖参数，可以针对每个抖动等级更准确地进行防抖处理。例如，摄像头的抖动幅度大于第一抖动幅度，当确定摄像头的第一抖动等级为第4级时，第一防抖参数可以包括采样频率和防抖幅值，采样频率为20Hz，防抖幅值为10；当确定摄像头的第一抖动等级为第5级，且第5级对应的抖动幅度大于第4级对应的抖动幅度时，则第一防抖参数可以仅包括采样频率，采样频率为10Hz。

在一个实施例中，第一防抖函数为f(n)，其中，n是抖动等级，当将第一抖动等级第5级即n＝5输入第一防抖函数中，输出图像帧的第一补偿量为f(5)。第一防抖函数f(n)可以是指数函数、幂函数、对数函数等，可以根据需要进行设置。

在一个实施例中，根据抖动数据确定摄像头的抖动幅度，包括：获取参考值；确定抖动数据与参考值的差值；基于差值确定摄像头的抖动幅度；差值的大小与摄像头的抖动幅度成正相关。

参考值可以根据需要进行设置。

具体地，将抖动数据与参考值进行相差，得到差值，获取差值与摄像头的抖动幅度之间的正相关函数，并将该差值输入该正相关函数，得到摄像头的抖动幅度。其中，负相关函数可以线性函数、指数函数、幂函数、对数函数等。该正相关函数例如y＝2x，其中，y为摄像头的抖动幅度，x为差值。该正相关函数又如y＝x²，其中，y为摄像头的抖动幅度，x为差值。

在一个实施例中，参考值的确定方式，包括：获取至少两个训练抖动数据；确定至少两个训练抖动数据的均值，将均值作为参考值。

训练抖动数据可以包括角速度数据、加速度数据、平移速度数据等中的至少一种。例如，训练抖动数据可以在一定时间段内获取的陀螺仪的角速度数据，训练抖动数据还可以在一定时间段内获取的加速度计的加速度数据。

在本实施例中，将至少两个训练抖动数据的均值作为参考值，均值表示训练抖动数据中相对集中较多的中心位置，将均值作为参考值，再将摄像头的抖动数据与参考值进行比较，可以更准确地确定摄像头的抖动幅度。

在一个实施例中，如图4所示，上述方法还包括：

步骤402，当摄像头的抖动幅度小于或等于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第二补偿量；图像帧的第二补偿量与摄像头的抖动幅度成正相关。

第二补偿量指的是当摄像头的抖动幅度小于或等于第一抖动幅度时，对摄像头防抖时进行补偿的量。

当摄像头的抖动幅度小于或等于第一抖动幅度时，摄像头的抖动幅度越大，则图像帧的第二补偿量越大；摄像头的抖动幅度越小，则图像帧的第二补偿量越小。

具体地，可以预先确定小于或等于第一抖动幅度的抖动幅度与图像帧的第二补偿量之间的正相关函数，当摄像头的抖动幅度小于或等于第一抖动幅度时，将摄像头的抖动幅度输入该正相关函数中，可以得到图像帧的第二补偿量。

例如，小于或等于第一抖动幅度的抖动幅度与图像帧的第二补偿量之间的正相关函数为y＝10+2x，其中，y为第二补偿量，x为抖动幅度。当x为10时，y为30；当x为15时，y为40。

步骤404，基于第二补偿量对图像帧进行防抖处理。

当第二补偿量是电子防抖中对图像帧进行剪切的量时，基于第二补偿量对图像帧进行剪切，使得相邻的图像帧之间的画面更加顺畅。当第二补偿量是光学防抖中透镜进行移动的量，基于第二补偿量对透镜进行移动，则移动之后得到的下一帧图像帧与上一帧图像帧之间的画面更加顺畅。

在本实施例中，当摄像头的抖动幅度小于或等于第一抖动幅度时，表示摄像头的抖动幅度较小，摄像头可以对该较小的抖动进行防抖处理，从而得到更加稳定清晰的图像帧；而在抖动幅度小于或等于第一抖动幅度的情况下，确定的图像帧的第二补偿量与摄像头的抖动幅度成正相关，即抖动幅度越大，第二补偿量越大，防抖强度越强，则相邻图像帧之间的画面更加顺畅。

在一个实施例中，如图5所示，当摄像头的抖动幅度小于或等于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第二补偿量，包括：

步骤502，当摄像头的抖动幅度小于或等于第一抖动幅度时，获取小于或等于第一抖动幅度所对应的第二区间，以及各个第二区间分别对应的抖动等级。

小于或等于第一抖动幅度所对应的第二区间，指的是第二区间中的各个数值均小于或等于第一抖动幅度。第二区间的数量可以是一个或者至少两个。当第二区间的数量为一个时，则抖动等级也为一个。当第二区间的数量为至少两个时，则抖动等级可以按照第二区间的排列顺序确定。例如第一个第二区间对应抖动等级第一级，第二个第二区间对应抖动等级第二级，以此类推。

在一个实施方式中，小于或等于第一抖动幅度所对应的第二区间的确定方式，包括：获取第三抖动幅度；第三抖动幅度小于第一抖动幅度；将第三抖动幅度至第一抖动幅度之间的抖动幅度平均分割为至少两个第二区间。

第三抖动幅度可以根据需要进行设置。例如，第三抖动幅度可以为0，可以为1，等等。

例如，第一抖动幅度为30，第三抖动幅度为0，则第三抖动幅度至第一抖动幅度之间的抖动幅度为(0,30)，将该(0,30)平均分割为至少两个第二区间。当分割为3个第二区间时，第二区间分别为(0,10)，[10,20)，[20,30)；当分割为5个第二区间时，第二区间分别为(0,6)，[6,12)，[12,18)，[18,24)，[24,30)。

在另一个实施方式中，小于或等于第一抖动幅度所对应的第二区间的确定方式，包括：获取第三抖动幅度，以及第三抖动幅度至第一抖动幅度之间的区间节点；第三抖动幅度小于第一抖动幅度；基于各个区间节点将第三抖动幅度至第一抖动幅度之间的抖动幅度分割成至少两个第二区间。

第三抖动幅度，以及第三抖动幅度至第一抖动幅度之间的区间节点，可以根据需要进行设置。

例如，第一抖动幅度为30，第三抖动幅度为0，第三抖动幅度至第一抖动幅度之间的区间节点分别为5,13,20，则基于各个区间节点将第三抖动幅度至第一抖动幅度之间的抖动幅度(0,30)分割成(0,5)，[5,13)，[13,20)，[20,30)。

电子设备将抖动幅度分割为一个或者多个第二区间，则当在一定的时间段内，摄像头的抖动幅度均在同一个第二区间的范围内时，表示摄像头的抖动幅度接近，均对一定时间段内的图像帧补偿第二补偿量，可以进一步使得相邻图像帧之间的画面更加顺畅。

步骤504，将摄像头的抖动幅度与各个第二区间进行匹配，将摄像头的抖动幅度所在的第二区间所对应的抖动等级，作为摄像头的第二抖动等级。

电子设备将摄像头的抖动幅度与各个第二区间进行匹配，确定摄像头的抖动幅度所在的第二区间，并将该第二区间所对应的抖动等级作为摄像头的第二抖动等级。

步骤506，根据摄像头的第二抖动等级确定图像帧的第二补偿量。

电子设备可以预先确定抖动等级与补偿量之间的对应关系，当确定摄像头的第二抖动等级时，基于第二抖动等级从抖动等级与补偿量之间的对应关系中确定第二补偿量。

例如，当摄像头的抖动幅度小于或等于第一抖动幅度时，抖动等级第一级对应的补偿量为10，抖动等级第二级对应的补偿量为15，抖动等级第三级对应的补偿量为20，当摄像头的第二抖动等级为第二级时，则确定的图像帧的第二补偿量为15。

在本实施例中，当摄像头的抖动幅度小于或等于第一抖动幅度时，获取小于或等于第一抖动幅度所对应的第二区间，以及各个第二区间分别对应的抖动等级；再根据摄像头的抖动幅度确定摄像头所对应的第二抖动等级，从而获取到第二抖动等级对应的第二补偿量，则当在一定的时间段内，摄像头的抖动幅度均在同一个第二区间的范围内时，表示摄像头的抖动幅度接近，均对一定时间段内的图像帧补偿第二补偿量，可以进一步使得相邻图像帧之间的画面更加顺畅。

在一个实施例中，根据摄像头的第一抖动等级确定图像帧的第二补偿量，包括：获取第二抖动等级对应的第二防抖参数；将第二防抖参数代入参考防抖函数中，得到第二防抖函数；将第二抖动等级输入第一防抖函数中，得到图像帧的第二补偿量。

第二防抖参数指的是当摄像头的抖动幅度小于或等于第一抖动幅度时，摄像头的第二抖动等级所对应的防抖参数。第二防抖参数可以包括但不限于是采样频率、防抖频率、防抖幅值中的至少一种。采样频率是指惯性测量单元采集抖动数据的频率。例如，采样频率可以是50Hz、100Hz、200Hz、300Hz等。防抖频率是指摄像头的马达驱动镜头移动，以进行防抖补偿的频率。防抖幅值是指摄像头的马达驱动镜头移动的幅度，或者是剪切图像帧的幅度。可选地，在一些实施例中，第二防抖参数还可以包括惯性测量单元的振动频率，惯性测量单元的测量范围、防抖补偿的方向数量等，在此不做限定。参考防抖函数指的是对摄像头进行防抖的函数。

可以理解的是，对不同的抖动等级设置不同的防抖参数，可以针对每个抖动等级更准确地进行防抖处理。例如，摄像头的抖动幅度小于或等于第一抖动幅度，当确定摄像头的第二抖动等级为第一级时，第二防抖参数可以仅包括采样频率，采样频率为10Hz；当确定摄像头的第二抖动等级为第二级，且第二级对应的抖动幅度大于第一级对应的抖动幅度时，则第二防抖参数可以包括采样频率和防抖幅值，采样频率为20Hz，防抖幅值为10。

在一个实施例中，参考防抖函数可以为分段函数f(n)，n为抖动等级，抖动幅度所对应的抖动等级总共为N。当n>(N/2)时，表示大于第一抖动幅度所对应的抖动等级，f(n)输出的第一补偿量随着抖动等级的增大而减小；当n<＝(N/2)时，表示小于或等于第一抖动幅度所对应的抖动等级，f(n)输出的第二补偿量随着抖动等级的增大而增大。

在一个实施例中，第一抖动幅度的确定方式，包括：获取至少两个训练抖动数据；确定至少两个训练抖动数据的标准差，将标准差作为第一抖动幅度。

训练抖动数据可以包括角速度数据、加速度数据、平移速度数据等中的至少一种。例如，训练抖动数据可以在一定时间段内获取的陀螺仪的角速度数据，训练抖动数据还可以在一定时间段内获取的加速度计的加速度数据。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。

在一个实施例中，上述方法还包括：当摄像头的抖动幅度大于第二抖动幅度时，停止对图像帧进行防抖处理；第二抖动幅度大于第一抖动幅度。

第二抖动幅度可以根据需要进行设置。当摄像头的抖动幅度大于第二抖动幅度时，表示摄像头的抖动幅度非常大，对图像帧进行防抖处理时容易出现相邻图像帧之间卡顿的问题，即使对图像帧进行防抖处理，也无法体现出防抖的效果，因此，停止对图像帧进行防抖处理，可以节约处理资源。

应该理解的是，虽然图2至图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的图像防抖处理装置的结构框图。如图6所示，提供了一种图像防抖处理装置600，包括：实时获取模块602、抖动幅度确定模块604、补偿量确定模块606和防抖处理模块608，其中：

实时获取模块602，用于实时获取图像帧，以及实时获取图像帧对应的抖动数据。

抖动幅度确定模块604，用于根据抖动数据确定摄像头的抖动幅度。

补偿量确定模块606，用于当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与摄像头的抖动幅度成负相关。

防抖处理模块608，用于基于第一补偿量对图像帧进行防抖处理。

上述图像防抖处理装置，实时获取图像帧，以及实时获取图像帧对应的抖动数据；根据抖动数据确定摄像头的抖动幅度；当摄像头的抖动幅度大于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第一补偿量；图像帧的第一补偿量与摄像头的抖动幅度成负相关；也就是说，当摄像头的抖动幅度越大时，对图像帧进行补偿的第一补偿量越小，可以避免摄像头的抖动幅度较大时对图像帧进行较大的补偿而造成图像帧画面卡顿的问题，则基于第一补偿量对图像帧进行防抖处理，可以提高图像防抖处理的准确性，防抖处理之后的相邻图像帧之间的画面更顺畅。

在一个实施例中，上述补偿量确定模块606还用于当摄像头的抖动幅度大于第一抖动幅度时，获取大于第一抖动幅度所对应的第一区间，以及各个第一区间分别对应的抖动等级；将摄像头的抖动幅度与各个第一区间进行匹配，将摄像头的抖动幅度所在的第一区间所对应的抖动等级，作为摄像头的第一抖动等级；根据摄像头的第一抖动等级确定图像帧的第一补偿量。

在一个实施例中，上述补偿量确定模块606还用于获取第一抖动等级对应的第一防抖参数；将第一防抖参数代入参考防抖函数中，得到第一防抖函数；将第一抖动等级输入第一防抖函数中，得到图像帧的第一补偿量。

在一个实施例中，上述抖动幅度确定模块604还用于获取参考值；确定抖动数据与参考值的差值；基于差值确定摄像头的抖动幅度；差值的大小与摄像头的抖动幅度成正相关。

在一个实施例中，上述图像防抖处理装置还包括参考值确定模块，用于获取至少两个训练抖动数据；确定至少两个训练抖动数据的均值，将均值作为参考值。

在一个实施例中，上述补偿量确定模块606还用于当摄像头的抖动幅度小于或等于第一抖动幅度时，根据摄像头的抖动幅度确定图像帧的第二补偿量；图像帧的第二补偿量与摄像头的抖动幅度成正相关。上述防抖处理模块608还用于基于第二补偿量对图像帧进行防抖处理。

在一个实施例中，上述补偿量确定模块606还用于当摄像头的抖动幅度小于或等于第一抖动幅度时，获取小于或等于第一抖动幅度所对应的第二区间，以及各个第二区间分别对应的抖动等级；将摄像头的抖动幅度与各个第二区间进行匹配，将摄像头的抖动幅度所在的第二区间所对应的抖动等级，作为摄像头的第二抖动等级；根据摄像头的第二抖动等级确定图像帧的第二补偿量。

在一个实施例中，上述补偿量确定模块606还用于获取第二抖动等级对应的第二防抖参数；将第二防抖参数代入参考防抖函数中，得到第二防抖函数；将第二抖动等级输入第一防抖函数中，得到图像帧的第二补偿量。

在一个实施例中，上述图像防抖处理装置还包括第一抖动幅度确定模块，用于获取至少两个训练抖动数据；确定至少两个训练抖动数据的标准差，将标准差作为第一抖动幅度。

在一个实施例中，上述图像防抖处理装置还包括停止模块，用于当摄像头的抖动幅度大于第二抖动幅度时，停止对图像帧进行防抖处理；第二抖动幅度大于第一抖动幅度。

上述图像防抖处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像防抖处理装置按照需要划分为不同的模块，以完成上述图像防抖处理装置的全部或部分功能。

关于图像防抖处理装置的具体限定可以参见上文中对于图像防抖处理方法的限定，在此不再赘述。上述图像防抖处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像防抖处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的图像防抖处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像防抖处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像防抖处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像防抖处理方法，其特征在于，包括：

实时获取图像帧，以及实时获取所述图像帧对应的抖动数据；

根据所述抖动数据确定摄像头的抖动幅度；

当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量；所述图像帧的第一补偿量与所述摄像头的抖动幅度成负相关；

基于所述第一补偿量对所述图像帧进行防抖处理。

2.根据权利要求1所述的方法，其特征在于，所述当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量，包括：

当所述摄像头的抖动幅度大于第一抖动幅度时，获取大于所述第一抖动幅度所对应的第一区间，以及各个所述第一区间分别对应的抖动等级；

将所述摄像头的抖动幅度与各个所述第一区间进行匹配，将所述摄像头的抖动幅度所在的第一区间所对应的抖动等级，作为所述摄像头的第一抖动等级；

根据所述摄像头的第一抖动等级确定所述图像帧的第一补偿量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述摄像头的第一抖动等级确定所述图像帧的第一补偿量，包括：

获取所述第一抖动等级对应的第一防抖参数；所述第一防抖参数包括采样频率、防抖频率、防抖幅值中的至少一种；所述采样频率是指惯性测量单元采集所述抖动数据的频率；所述防抖频率是指所述摄像头的马达驱动镜头移动，以进行防抖补偿的频率；所述防抖幅值是指所述摄像头的马达驱动镜头移动的幅度，或者是剪切所述图像帧的幅度；

将所述第一防抖参数代入参考防抖函数中，得到第一防抖函数；

将所述第一抖动等级输入所述第一防抖函数中，得到所述图像帧的第一补偿量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述抖动数据确定所述摄像头的抖动幅度，包括：

获取参考值；

确定所述抖动数据与所述参考值的差值；

基于所述差值确定所述摄像头的抖动幅度；所述差值的大小与所述摄像头的抖动幅度成正相关。

5.根据权利要求4所述的方法，其特征在于，所述参考值的确定方式，包括：

获取至少两个训练抖动数据；

确定至少两个所述训练抖动数据的均值，将所述均值作为所述参考值。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述摄像头的抖动幅度小于或等于所述第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第二补偿量；所述图像帧的第二补偿量与所述摄像头的抖动幅度成正相关；

基于所述第二补偿量对所述图像帧进行防抖处理。

7.根据权利要求6所述的方法，其特征在于，所述当所述摄像头的抖动幅度小于或等于所述第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第二补偿量，包括：

当所述摄像头的抖动幅度小于或等于第一抖动幅度时，获取小于或等于所述第一抖动幅度所对应的第二区间，以及各个所述第二区间分别对应的抖动等级；

将所述摄像头的抖动幅度与各个第二区间进行匹配，将所述摄像头的抖动幅度所在的第二区间所对应的抖动等级，作为所述摄像头的第二抖动等级；

根据所述摄像头的第二抖动等级确定所述图像帧的第二补偿量。

8.根据权利要求7所述的方法，其特征在于，所述根据所述摄像头的第一抖动等级确定所述图像帧的第二补偿量，包括：

获取所述第二抖动等级对应的第二防抖参数；所述第二防抖参数包括采样频率、防抖频率、防抖幅值中的至少一种；所述采样频率是指惯性测量单元采集所述抖动数据的频率；所述防抖频率是指所述摄像头的马达驱动镜头移动，以进行防抖补偿的频率；所述防抖幅值是指所述摄像头的马达驱动镜头移动的幅度，或者是剪切所述图像帧的幅度；

将所述第二防抖参数代入参考防抖函数中，得到第二防抖函数；

将所述第二抖动等级输入所述第二防抖函数中，得到所述图像帧的第二补偿量。

9.根据权利要求1所述的方法，其特征在于，所述第一抖动幅度的确定方式，包括：

获取至少两个训练抖动数据；

确定至少两个所述训练抖动数据的标准差，将所述标准差作为所述第一抖动幅度。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述摄像头的抖动幅度大于第二抖动幅度时，停止对所述图像帧进行防抖处理；所述第二抖动幅度大于所述第一抖动幅度。

11.一种图像防抖处理装置，其特征在于，包括：

实时获取模块，用于实时获取图像帧，以及实时获取所述图像帧对应的抖动数据；

抖动幅度确定模块，用于根据所述抖动数据确定摄像头的抖动幅度；

补偿量确定模块，用于当所述摄像头的抖动幅度大于第一抖动幅度时，根据所述摄像头的抖动幅度确定所述图像帧的第一补偿量；所述图像帧的第一补偿量与所述摄像头的抖动幅度成负相关；

防抖处理模块，用于基于所述第一补偿量对所述图像帧进行防抖处理。

12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述的图像防抖处理方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。

Images