CN115589532A - 防抖处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种防抖处理方法、装置、电子设备和可读存储介质，属于摄影技术领域。其中，所述方法包括：获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度；根据镜头的移动方向和镜头的移动速度，确定镜头在第二时刻的移动速度向量；根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻；根据移动速度向量和移动距离，确定镜头在第二时刻的第一抖动信息；根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

Description

防抖处理方法、装置、电子设备和可读存储介质

技术领域

本申请属于摄像技术领域，具体涉及一种防抖处理方法、装置、电子设备和可读存储介质。

背景技术

随着信息技术的发展，越来越多的用户使用电子设备拍摄第一视角的视频。比如，用户以第一视角拍摄球类运动时，会将电子设备固定在身体上进行拍摄。在用户跟随目标对象的运动而运动的过程中，用户佩戴的电子设备与用户一起运动。这种拍摄方式对于电子设备的防抖技术要求很高。

目前，电子设备依靠的防抖技术主要包括：光学防抖和电子防抖。在用户运动的过程中，镜头为清晰捕捉目标对象，镜头的焦点往往是跟随着目标对象的运动而变化的，这种情况下镜头抖动较大，而且电子防抖一定程度上依赖于光学防抖。由此，目前在运动场景中，电子设备在拍摄中的防抖效果不佳。

发明内容

本申请实施例的目的是提供一种防抖处理方法、装置、电子设备和可读存储介质，能够提高防抖效果。

第一方面，本申请实施例提供了一种防抖处理方法，应用于电子设备，电子设备佩戴于用户，电子设备包括镜头和传感器，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系，该方法包括：

获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度；

根据镜头的移动方向和镜头的移动速度，确定镜头在第二时刻的移动速度向量；

根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻；

根据移动速度向量和移动距离，确定镜头在第二时刻的第一抖动信息；

根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

第二方面，本申请实施例提供了一种防抖处理装置，应用于电子设备，电子设备佩戴于用户，电子设备包括镜头和传感器，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系，该装置包括：

获取模块，用于获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度；

第一确定模块，用于根据镜头的移动方向和镜头的移动速度，确定镜头在第二时刻的移动速度向量；

第二确定模块，用于根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻；

第三确定模块，用于根据移动速度向量和移动距离，确定镜头在第二时刻的第一抖动信息；

第四确定模块，用于根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请的实施例中，通过获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。其中，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系。根据镜头的移动方向和镜头的移动速度，能够快速准确地确定镜头在第二时刻的移动速度向量。根据第一距离，可以有效确定用户为了保持与目标对象的运动状态之间的关联关系，在第一时刻至第二时刻之间的移动距离；由于镜头的抖动一方面来自镜头对焦，另一方面来自用户运动，通过对用于表征镜头对焦产生的运动的移动速度向量和用于表征用户运动的移动距离进行计算，可以结合镜头运动情况和用户运动情况确定镜头在第二时刻的第一抖动信息。最后，对第一抖动信息和电子设备自带的传感器检测到的第二抖动信息进行融合，确定目标抖动信息，以用于通过目标抖动信息在第二时刻对镜头进行防抖处理，能够提升防抖效果，提升运动时的拍摄体验。

附图说明

图1是本申请实施例提供的一种应用场景的示意图；

图2是本申请实施例提供的一种防抖处理方法的流程图；

图3是本申请实施例提供的一种实现防抖处理方法的示意图；

图4是本申请实施例提供的一种防抖处理装置的结构图；

图5是本申请实施例的电子设备的硬件结构示意图之一；

图6是本申请实施例的电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的防抖处理方法至少可以应用于下述应用场景中，下面进行说明。

随着视频拍摄技术的兴起，越来越多的用户使用电子设备拍摄第一视角的视频，用于记录生活。其中，短视频拍摄的内容多样，且通常镜头场景变换较大，尤其是用户采取第一视角拍摄球类运动时，会将电子设备固定在身体上进行拍摄，这对电子设备影像模块中的防抖技术要求提出了严峻的挑战。

其中，第一视角是指用户观察目标对象的视角，与镜头拍摄目标对象的视角基本一致，以实现拍摄的视频给观看者身临其境的观看感受。

如图1所示，以用户在打乒乓球时，通过佩戴电子设备，以第一视角拍摄乒乓球运动为例。用户根据目标对象(即乒乓球)的运动而运动，在用户运动的过程中，用户佩戴的电子设备与用户同步运动。

其中，电子设备的防抖技术对于视频拍摄的效果至关重要。为了更好地满足用户拍摄需求，各电子设备厂商都在尝试优化摄像头中的防抖技术。目前的电子设备摄像头中的防抖技术主要包括：光学防抖和电子防抖。光学防抖技术通过惯性测量传感器测量和计算抖动，然后控制音圈马达运动改变光学元件的位置，使前后视频帧保持稳定。电子防抖则是通过计算相机姿态或进行前后两个视频帧的帧特征点匹配，从而对视频帧进行边缘裁剪，维持中心区域的稳定。

也就是说，光学防抖是通过调整光学元件进行防抖，电子防抖是通过对图像进行变换和边缘部分裁剪实现防抖，一方面，在用户运动的过程中，镜头为清晰捕获目标，镜头光学对焦的焦点往往是跟随着目标对象的运动而变化的，这种情况下镜头抖动较大，仅依靠传感器检测到的抖动再调整反应较慢，防抖时效性不好。另一方面，电子防抖一定程度上依赖于光学防抖，在运动场景下，如果光学对焦不准确，前后两个视频帧相差较大，裁剪边缘容易超出阈值，难以实现前后两个视频帧的稳定性。

由此，目前在运动场景中，电子设备在拍摄中的防抖效果不佳。

针对相关技术出现的问题，本申请实施例提供一种防抖处理方法、装置、电子设备及存储介质，能够解决相关技术中，拍摄中的防抖效果不佳的问题。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的防抖处理方法进行详细地说明。

图2为本申请实施例提供的一种防抖处理方法的流程图。

如图2所示，该防抖处理方法可以包括步骤210-步骤250，该方法应用于防抖处理装置，具体如下所示：

步骤210，获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。其中，该方法可以应用于电子设备，电子设备佩戴于用户，电子设备包括镜头和传感器，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系。

其中，用户的运动状态与目标对象的运动状态具有关联关系，可以表示，用户在观察到目标对象的运动的时候，对目标对象的运动做出反应，从而进行运动。比如，目标对象为乒乓球，用户在打乒乓球的过程中，用户的运动状态与乒乓球的运动状态具有关联关系。

在一种可能的实施例中，步骤210中，具体可以包括以下步骤：

在第一时刻，基于镜头采集得到第一图像；

获取目标对象在第一图像中的第一位置信息，和目标参考点在第一图像中的第二位置信息，目标参考点为镜头在拍摄过程中的注意力中心点；

根据第一位置信息和第二位置信息，计算镜头的移动方向。

首先，获取目标对象在第一图像中的第一位置信息，具体可以包括：基于霍夫变换，获取目标对象在第一图像中的第一位置信息。其中，霍夫变换是一种特征提取算法。霍夫变换是用来辨别找出物件中的特征。霍夫变换的算法流程大致包括：给定一个物体、要辨别的形状的种类，在参数空间中执行投票来决定物体的形状，而这是由累加空间里的局部最大值来决定。

其次，由于人在视觉观察过程中，视觉的注意力中心会时刻集中在可视范围的中心，因此当使用电子设备以第一视角进行拍摄时，目标对象作为最主要的关注点会时刻保持在注意力中心，即拍摄预览画面的注意力中心点。

通过对第一位置信息和第二位置信息进行计算，可以得到T时刻画面中的球体与注意力中心的差异

根据注意力中心假设，T+1时刻，球体在画面中的位置应当会趋向于画面注意力中心，所以

可以准确预测相机镜头的移动方向，其中，T为正整数，第一时刻可以为T，第二时刻可以为T+1。

这里，通过对目标对象在第一时刻的第一位置信息，和目标参考点在第一时刻的第二位置信息进行计算，能够有效预测镜头为了对焦目标对象的运动对应的移动方向。

其中，上述根据第一位置信息和第二位置信息，计算镜头的移动方向的步骤中，具体可以包括以下步骤：

根据第一位置信息和第二位置信息，确定目标参考点在第二时刻的第三位置信息；

根据第一位置信息和第三位置信息，计算镜头的移动方向。

注意力中心点是跟着目标对象的运动而变化的，通过拍摄可以得到目标对象在第一时刻采集到的第一图像中的第一位置信息，然后通过与第一时刻的目标参考点在第一图像中的第二位置信息进行计算，预测得到目标参考点在第二时刻的第三位置信息，即下一时刻镜头拍摄的注意力中心点。目标参考点在第二时刻的第三位置信息可以通过下述公式计算得到：

F_T+1(x,y)＝(I_T(x,y)+F_T(x,y))/2 (1)

其中，I_T为第一位置信息，即T时刻目标对象在第一时刻采集的第一图像中的坐标；

F_T(x,y)为目标参考点在第一时刻的第二位置信息，即T时刻设定的注意力中心点；F_T是一个不断迭代的量，它将根据T和T+1时刻球体实际画面中心不断调整，在初始阶段，F₀＝(M/2，N/2)，其中M、N分别为拍摄预览画面分辨率的宽和高。

F_T+1(x,y)为目标参考点在第二时刻的第三位置信息，即T+1时刻设定的注意力中心点；

通常，下一时刻，即在第三时刻镜头是往预测的注意力中心点(F_T+1(x,y))运动的，所以通过计算可以得到相机镜头的运动方向。镜头的移动方向

具体可以通过下述公式计算得到：

在一种可能的实施例中，步骤210中，具体可以包括以下步骤：

获取镜头采集的两个视频帧，两个视频帧包括第一时刻的视频帧和第三时刻的视频帧，第三时刻为早于第一时刻的时刻；

根据两个视频帧，确定镜头的移动速度。

在确定了计算镜头的移动方向之后，还需要确定抖动的强度，即镜头的移动速度。由于镜头是跟随目标对象运动而运动的，可以需要确定目标对象的移动速度。

根据两个视频帧，计算目标对象的移动速度的步骤中，具体可以包括：根据两个视频帧的光流信息，计算目标对象的移动速度；将目标对象的移动速度确定为镜头的移动速度。

可以基于Lucas-Kanade光流估计法，获取目标对象在第一时刻的视频帧(T帧)中覆盖的第一区域U_T(i,j)的与第三时刻的视频帧(T-1帧)中覆盖的第二区域。光流记录了目标对象单位时间内位移的大小，通过简单计算能够很容易计算出目标对象的移动速度

其中，N是覆盖区域U_T(i,j)的像素点总量；P_T是T帧和T-1帧的光流信息；

是相机拍摄相邻两帧之间的时间，i、j分别为像素的横向和纵向坐标。

理论上，对目标对象在视频帧中，覆盖区域中任一像素点，计算速度即可获得目标对象的移动速度，且目标对象覆盖区域中所有像素点计算得到的结果应该都是一样的。这里，为了减少误差和偶然性，对目标对象覆盖区域的所有像素点都进行计算，最终取所有像素点的移动速度平均值作为目标对象的移动速度。

在一种可能的实施例中，步骤210中，具体可以包括以下步骤：

获取在第一时刻的拍摄信息，拍摄信息包括：目标对象在第一图像中的尺寸信息、第一时刻对应的拍摄焦距和深度图像；第一图像为镜头在第一时刻采集得到的图像；

根据拍摄焦距和尺寸信息，计算目标对象与镜头之间的第三距离；

根据深度图像，计算目标对象与镜头之间的第四距离；

根据第三距离和第四距离，得到第一距离。

目标对象和镜头的距离也是预测镜头抖动的因素。为准确估计目标对象和镜头的距离，首先可以基于第一时刻对应的拍摄焦距和尺寸信息，计算目标对象和镜头之间的第三距离。其次，还可以利用双摄技术对第一时刻对应的深度图像进行计算，计算目标对象和镜头之间的第四距离。

根据第一时刻对应的深度图像，计算目标对象和镜头之间的第四距离，具体可以通过下式实现：

N_DT为根据深度图像，计算目标对象和镜头之间的第四距离。其中F_DT为计算得到的深度图像，U_T(i，j)是球体覆盖区域，N是球体覆盖区域的像素总数。

为了避免偶然性，可以对目标对象覆盖区域的深度图像进行取平均作为深度距离。最后，可以对基于光学对焦计算出来的第三距离和基于图像计算出来的距离再取平均作为最终目标对象和镜头的第一距离。

D_CT＝(N_DT+N_LT)/2 (5)

其中，N_LT为根据拍摄焦距和尺寸信息，计算目标对象和镜头的第三距离；N_DT为根据深度图像，计算目标对象和镜头的第四距离；D_CT为目标对象和镜头的第一距离。

步骤220，根据镜头的移动方向和镜头的移动速度，预测镜头在第二时刻的移动速度向量。

镜头的移动方向的第一方向和第一方向分别与镜头的移动速度相乘。镜头的移动方向只含有方向信息，相当于镜头的移动速度赋予了镜头的移动方向大小信息。也相当于镜头的移动方向是镜头的移动速度的权重。

其中，第一方向和第二方向可以为x方向和y方向，根据镜头的移动方向和镜头的移动速度，预测镜头在第二时刻的移动速度向量，具体可以包括：在x方向和y方向对镜头的移动速度进行分解，得到x方向的移动速度分量和y方向的移动速度分量，然后根据镜头的移动方向对x方向的移动速度分量和y方向的移动速度分量进行加权，得到镜头在第二时刻的移动速度向量。

根据镜头的移动方向和镜头的移动速度，预测镜头在第二时刻的移动速度向量，可以通过以下方式计算：

其中，

为镜头的移动方向；

为镜头的移动速度；

为镜头在第二时刻的移动速度向量；a和b是一个大于0的实数，可以通过经验设置，在此可以取a＝b＝0.5，a+b＝1。

步骤230，根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻。

在实际的运动场景拍摄中，用户除了会转动相机跟踪目标对象的运动轨迹，为了能够准确击中目标对象，用户自身也会进行运动。所以还需要预测用户在第一时刻至第二时刻之间的移动距离，以预测用户的移动方向。

在没有检测到参考对象的情况下，可以将目标对象和镜头的第一距离，确定为用户在第一时刻至第二时刻之间的移动距离；

在检测到参考对象的情况下，在一种可能的实施例中，步骤230中，具体可以包括以下步骤：

获取参考对象在第一图像中的第四位置信息；

根据第一位置信息和第四位置信息，确定目标对象与参考对象之间的第二距离；

根据第一距离和第二距离，确定用户在第一时刻至第二时刻之间的移动距离。

以用户打乒乓球为例，运动时由于镜头的运动，球桌平面总是变动的，想要准确计算球体距离球网的位置，应该每次都在同一平面参考系下计算。为了实现在同一坐标系下的计算，可以选择球桌平面作为唯一参考系。由于球网和球桌中的白色中线相互垂直且是运动时重要的规则参考物，因此可以选择以球桌中心白线为x轴，球网为y轴建立空间直角坐标系。即参考对象为球网。

在参考对象为球网的情况下，即在球网所在的平面为预设参照平面的情况下，计算目标对象和目标参照平面的第二距离时，首先要对第一位置信息进行坐标系变换，将目标对象在第一图像中的第一位置信息，转化为目标参照平面下的第一位置信息；然后再根据目标参照平面下的第一位置信息和第四位置信息，确定目标对象与参考对象之间的第二距离D_NT。

其中，对第一位置信息进行坐标系变换，需要将第一图像中的坐标系转换为上述以球桌中心白线为x轴，球网为y轴建立的空间直角坐标系。

根据第一位置信息和第四位置信息，确定目标对象和目标参照平面的第二距离，具体可以通过下式实现：

D_NT＝|f_b(i,j)-f_n(i,j)| (7)

其中，f_n和f_b分别为平面变换后的第一位置信息和目标参照平面的第四位置信息。

根据第一距离D_CT和第二距离D_NT，预测用户在第一时刻至第二时刻之间的移动距离

具体可以通过以下方式计算：

其中，

是一个标量，其中c和d是一个大于0的实数，可以通过经验设置，在此取c＝d＝0.5，c+d＝1。

用于表征对第一距离和第二距离进行加权融合计算后得到的距离结果，接着预测用户需要在预设时间段内到达这个距离，从而得到用户下一时刻运动的大小，即用户在第一时刻至第二时刻之间的移动距离。

步骤240，根据移动速度向量和移动距离，预测镜头在第二时刻的第一抖动信息。

在计算得到移动速度向量

和用户的移动距离

的情况下，可以通过以下方式计算镜头下一时刻总的抖动大小

其中，

为镜头在第二时刻的第一抖动信息，e和f是一个大于0的实数，可以通过经验设置，在此取e＝f＝0.5，e+f＝1。

步骤250，根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

在一种可能的实施例中，根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，包括：

根据第一权重和第一抖动信息，确定第一加权抖动信息；

根据第二权重和第二抖动信息，确定第二加权抖动信息，第一权重小于第二权重；

根据第一加权抖动信息和第二加权抖动信息，确定目标抖动信息。

根据第一加权抖动信息和第二加权抖动信息，确定目标抖动信息，具体可以通过以下方式计算：

其中，

是计算得到的第一抖动信息，

是传感器检测到的第二抖动信息；

是目标抖动信息。第一权重为j，第二权重为k。这里，作用于控制算法中的

是以传感器测量得到的

为主，预测的方向

为辅，所以此处j，k的取值为j小于k，分别为0.2、0.8，即第一权重小于第二权重。

基于第一权重和第二权重对第一抖动信息和第二抖动信息进行加权融合，确定目标抖动信息，最后将融合得到的目标抖动信息用于控制相机镜头音圈电机，从而得到更好的防抖效果。

通常地，相机的一般光学防抖技术依赖于摄像头中传感器对镜头在x、y方向抖动大小的检测，然后将测量的结果作为控制算法的输入，算法经过计算最终控制影像模组中镜片的移动从而实现拍摄的稳定。本申请实施例，通过预测拍摄镜头运动和用户运动实现相机抖动的预测，得到第一抖动信息，同时与电子设备自带的传感器检测的第二抖动信息相结合，确定用于在第二时刻对镜头进行防抖处理的目标抖动信息，能够给用户在运动时刻拍摄记录带来更好的防抖效果，大大提升用户体验。

需要说明的是，除了举例说明的乒乓球运动，本申请实施例，还可以应用于在羽毛球，足球、排球的运动场景中。

在本申请的实施例中，通过获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。其中，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系。根据镜头的移动方向和镜头的移动速度，能够快速准确地确定镜头在第二时刻的移动速度向量。根据第一距离，可以有效确定用户为了保持与目标对象的运动状态之间的关联关系，在第一时刻至第二时刻之间的移动距离；由于镜头的抖动一方面来自镜头对焦，另一方面来自用户运动，通过对用于表征镜头对焦产生的运动的移动速度向量和用于表征用户运动的移动距离进行计算，可以结合镜头运动情况和用户运动情况确定镜头在第二时刻的第一抖动信息。最后，对第一抖动信息和电子设备自带的传感器检测到的第二抖动信息进行融合，确定目标抖动信息，以用于通过目标抖动信息在第二时刻对镜头进行防抖处理，能够提升防抖效果，提升运动时的拍摄体验。

基于本申请实施例提供的防抖处理方法，下面结合图3进行说明：

首先，在用户跟随目标对象的运动进行运动的过程中，获取目标对象在第一时刻的第一位置信息，和目标参考点在第一时刻的第二位置信息，目标参考点为镜头在拍摄过程中的注意力中心点；获取镜头拍摄的两个视频帧，两个视频帧包括第一时刻的视频帧和第三时刻的视频帧，第三时刻为早于第一时刻预设值的时刻；

对于镜头运动：首先，根据第一位置信息和第二位置信息，计算镜头的移动方向。然后，根据第三时刻的视频帧和第一时刻的视频帧，计算目标对象的移动速度；将目标对象的移动速度确定为镜头的移动速度。接着，根据镜头的移动方向和镜头的移动速度，预测镜头在第二时刻的移动速度向量。最后，根据第一距离，预测用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻预设值的时刻；

对于用户运动：首先，获取目标对象和镜头的第一距离；根据第一位置信息和第四位置信息，确定目标对象和参考对象的第二距离。然后，根据第一距离和第二距离，预测用户在第一时刻至第二时刻之间的移动距离。

最后，对于防抖处理：根据移动速度向量和移动距离，预测镜头在第二时刻的第一抖动信息；根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于输出给控制器，以用于控制器根据目标抖动信息在第二时刻对镜头进行防抖处理。

本申请实施例提供的防抖处理方法，执行主体可以为防抖处理装置。本申请实施例中以防抖处理装置执行防抖处理方法为例，说明本申请实施例提供的防抖处理装置。

图4是本申请实施例提供的一种防抖处理装置的框图，该装置400应用于电子设备，电子设备佩戴于用户，电子设备包括镜头和传感器，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系，该装置400包括：

获取模块410，用于获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。

第一确定模块420，用于根据镜头的移动方向和镜头的移动速度，确定镜头在第二时刻的移动速度向量。

第二确定模块430，用于根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻。

第三确定模块440，用于根据移动速度向量和移动距离，确定镜头在第二时刻的第一抖动信息。

第四确定模块450，用于根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

在一种可能的实施例中，获取模块410，包括：

采集模块，用于在第一时刻，基于镜头采集得到第一图像；

第一获取模块，用于获取目标对象在第一图像中的第一位置信息，和目标参考点在第一图像中的第二位置信息，目标参考点为镜头在拍摄过程中的注意力中心点；

计算模块，用于根据第一位置信息和第二位置信息，计算镜头的移动方向。

在一种可能的实施例中，计算模块，具体用于：

根据第一位置信息和第二位置信息，确定目标参考点在第二时刻的第三位置信息；

根据第一位置信息和第三位置信息，计算镜头的移动方向。

在一种可能的实施例中，获取模块410，具体用于：

获取镜头采集的两个视频帧，两个视频帧包括第一时刻的视频帧和第三时刻的视频帧，第三时刻为早于第一时刻的时刻；

根据两个视频帧，确定镜头的移动速度。

在一种可能的实施例中，第二确定模块430，具体用于：

获取参考对象在第一图像中的第四位置信息；

根据第一位置信息和第四位置信息，确定目标对象与参考对象之间的第二距离；

根据第一距离和第二距离，确定用户在第一时刻至第二时刻之间的移动距离。

在一种可能的实施例中，获取模块410，包括：

获取在第一时刻的拍摄信息，拍摄信息包括：目标对象在第一图像中的尺寸信息、第一时刻对应的拍摄焦距和深度图像；第一图像为镜头在第一时刻采集得到的图像；

根据拍摄焦距和尺寸信息，计算目标对象与镜头之间的第三距离；

根据深度图像，计算目标对象与镜头之间的第四距离；

根据第三距离和第四距离，得到第一距离。

在一种可能的实施例中，第四确定模块450，具体用于：

根据第一权重和第一抖动信息，确定第一加权抖动信息；

根据第二权重和第二抖动信息，确定第二加权抖动信息，第一权重小于第二权重；

根据第一加权抖动信息和第二加权抖动信息，确定目标抖动信息。

在本申请的实施例中，通过获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。其中，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系。根据镜头的移动方向和镜头的移动速度，能够快速准确地确定镜头在第二时刻的移动速度向量。根据第一距离，可以有效确定用户为了保持与目标对象的运动状态之间的关联关系，在第一时刻至第二时刻之间的移动距离；由于镜头的抖动一方面来自镜头对焦，另一方面来自用户运动，通过对用于表征镜头对焦产生的运动的移动速度向量和用于表征用户运动的移动距离进行计算，可以结合镜头运动情况和用户运动情况确定镜头在第二时刻的第一抖动信息。最后，对第一抖动信息和电子设备自带的传感器检测到的第二抖动信息进行融合，确定目标抖动信息，以用于通过目标抖动信息在第二时刻对镜头进行防抖处理，能够提升防抖效果，提升运动时的拍摄体验。

本申请实施例中的防抖处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例的防抖处理装置可以为具有动作系统的装置。该动作系统可以为安卓(Android)动作系统，可以为ios动作系统，还可以为其他可能的动作系统，本申请实施例不作具体限定。

本申请实施例提供的防抖处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图5所示，本申请实施例还提供一种电子设备510，包括处理器511，存储器512，存储在存储器512上并可在处理器511上运行的程序或指令，该程序或指令被处理器511执行时实现上述任一防抖处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例的电子设备包括上述的移动电子设备和非移动电子设备。

图6为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。

本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器610，用于获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。

处理器610，用于根据镜头的移动方向和镜头的移动速度，确定镜头在第二时刻的移动速度向量。

处理器610，还用于根据第一距离，确定用户在第一时刻至第二时刻之间的移动距离，第二时刻为晚于第一时刻的时刻。

处理器610，还用于根据移动速度向量和移动距离，确定镜头在第二时刻的第一抖动信息。

处理器610，还用于根据第一抖动信息和传感器检测到的第二抖动信息，确定目标抖动信息，目标抖动信息用于在第二时刻对镜头进行防抖处理。

可选地，处理器610，用于在第一时刻，基于镜头采集得到第一图像。

处理器610，用于获取目标对象在第一图像中的第一位置信息，和目标参考点在第一图像中的第二位置信息，目标参考点为镜头在拍摄过程中的注意力中心点。

处理器610，还用于根据第一位置信息和第二位置信息，计算镜头的移动方向。

可选地，处理器610，还用于根据第一位置信息和第二位置信息，确定目标参考点在第二时刻的第三位置信息；

处理器610，还用于根据第一位置信息和第三位置信息，计算镜头的移动方向。

可选地，处理器610，还用于获取镜头采集的两个视频帧，两个视频帧包括第一时刻的视频帧和第三时刻的视频帧，第三时刻为早于第一时刻的时刻；

处理器610，还用于根据两个视频帧，确定镜头的移动速度。

可选地，处理器610，还用于获取参考对象在第一图像中的第四位置信息；

处理器610，还用于根据第一位置信息和第四位置信息，确定目标对象与参考对象之间的第二距离；

处理器610，还用于根据第一距离和第二距离，确定用户在第一时刻至第二时刻之间的移动距离。

可选地，处理器610，还用于获取在第一时刻的拍摄信息，拍摄信息包括：目标对象在第一图像中的尺寸信息、第一时刻对应的拍摄焦距和深度图像；第一图像为镜头在第一时刻采集得到的图像；

处理器610，还用于根据拍摄焦距和尺寸信息，计算目标对象与镜头之间的第三距离；

处理器610，还用于根据深度图像，计算目标对象与镜头之间的第四距离；

处理器610，还用于根据第三距离和第四距离，得到第一距离。

在一种可能的实施例中，处理器610，还用于根据第一权重和第一抖动信息，确定第一加权抖动信息；

处理器610，还用于根据第二权重和第二抖动信息，确定第二加权抖动信息，第一权重小于第二权重；

处理器610，还用于根据第一加权抖动信息和第二加权抖动信息，确定目标抖动信息。

在本申请的实施例中，通过获取第一时刻的运动信息，运动信息包括：目标对象与镜头之间的第一距离、镜头的移动方向和镜头的移动速度。其中，镜头用于拍摄处于运动状态的目标对象，用户的运动状态与目标对象的运动状态具有关联关系。根据镜头的移动方向和镜头的移动速度，能够快速准确地确定镜头在第二时刻的移动速度向量。根据第一距离，可以有效确定用户为了保持与目标对象的运动状态之间的关联关系，在第一时刻至第二时刻之间的移动距离；由于镜头的抖动一方面来自镜头对焦，另一方面来自用户运动，通过对用于表征镜头对焦产生的运动的移动速度向量和用于表征用户运动的移动距离进行计算，可以结合镜头运动情况和用户运动情况确定镜头在第二时刻的第一抖动信息。最后，对第一抖动信息和电子设备自带的传感器检测到的第二抖动信息进行融合，确定目标抖动信息，以用于通过目标抖动信息在第二时刻对镜头进行防抖处理，能够提升防抖效果，提升运动时的拍摄体验。

应理解的是，本申请实施例中，输入单元604可以包括图形处理器(GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频图像捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频图像的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6071，也称为触控屏触控屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆，在此不再赘述。存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和动作系统。处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理动作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器609可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。

处理器610可包括一个或多个处理单元；可选地，处理器610集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述防抖处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述防抖处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述防抖处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种防抖处理方法，其特征在于，应用于电子设备，所述电子设备佩戴于用户，所述电子设备包括镜头和传感器，所述镜头用于拍摄处于运动状态的目标对象，所述用户的运动状态与所述目标对象的运动状态具有关联关系，所述方法包括：

获取第一时刻的运动信息，所述运动信息包括：所述目标对象与所述镜头之间的第一距离、所述镜头的移动方向和所述镜头的移动速度；

根据所述镜头的移动方向和所述镜头的移动速度，确定所述镜头在第二时刻的移动速度向量；

根据所述第一距离，确定所述用户在所述第一时刻至所述第二时刻之间的移动距离，所述第二时刻为晚于所述第一时刻的时刻；

根据所述移动速度向量和所述移动距离，确定所述镜头在所述第二时刻的第一抖动信息；

根据所述第一抖动信息和所述传感器检测到的第二抖动信息，确定目标抖动信息，所述目标抖动信息用于在所述第二时刻对所述镜头进行防抖处理。

2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻的运动信息，包括：

在所述第一时刻，基于所述镜头采集得到第一图像；

获取所述目标对象在所述第一图像中的第一位置信息，和目标参考点在所述第一图像中的第二位置信息，所述目标参考点为所述镜头在拍摄过程中的注意力中心点；

根据所述第一位置信息和所述第二位置信息，计算所述镜头的移动方向。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息，计算所述镜头的移动方向，包括：

根据所述第一位置信息和所述第二位置信息，确定所述目标参考点在第二时刻的第三位置信息；

根据所述第一位置信息和所述第三位置信息，计算所述镜头的移动方向。

4.根据权利要求1所述的方法，其特征在于，所述获取第一时刻的运动信息，包括：

获取所述镜头采集的两个视频帧，所述两个视频帧包括所述第一时刻的视频帧和第三时刻的视频帧，所述第三时刻为早于所述第一时刻的时刻；

根据所述两个视频帧，确定所述镜头的移动速度。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一距离，确定所述用户在所述第一时刻至所述第二时刻之间的移动距离，包括：

获取参考对象在所述第一图像中的第四位置信息；

根据所述第一位置信息和所述第四位置信息，确定所述目标对象与所述参考对象之间的第二距离；

根据所述第一距离和所述第二距离，确定所述用户在所述第一时刻至所述第二时刻之间的移动距离。

6.根据权利要求1所述的方法，其特征在于，所述获取第一时刻的运动信息，包括：

获取在所述第一时刻的拍摄信息，所述拍摄信息包括：所述目标对象在第一图像中的尺寸信息、所述第一时刻对应的拍摄焦距和深度图像；所述第一图像为所述镜头在所述第一时刻采集得到的图像；

根据所述拍摄焦距和所述尺寸信息，计算所述目标对象与所述镜头之间的第三距离；

根据所述深度图像，计算所述目标对象与所述镜头之间的第四距离；

根据所述第三距离和所述第四距离，得到所述第一距离。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一抖动信息和所述传感器检测到的第二抖动信息，确定目标抖动信息，包括：

根据第一权重和所述第一抖动信息，确定第一加权抖动信息；

根据第二权重和所述第二抖动信息，确定第二加权抖动信息，所述第一权重小于所述第二权重；

根据所述第一加权抖动信息和所述第二加权抖动信息，确定所述目标抖动信息。

8.一种防抖处理装置，其特征在于，应用于电子设备，所述电子设备佩戴于用户，所述电子设备包括镜头和传感器，所述镜头用于拍摄处于运动状态的目标对象，所述用户的运动状态与所述目标对象的运动状态具有关联关系，所述装置包括：

获取模块，用于获取第一时刻的运动信息，所述运动信息包括：所述目标对象与所述镜头之间的第一距离、所述镜头的移动方向和所述镜头的移动速度；

第一确定模块，用于根据所述镜头的移动方向和所述镜头的移动速度，确定所述镜头在第二时刻的移动速度向量；

第二确定模块，用于根据所述第一距离，确定所述用户在所述第一时刻至所述第二时刻之间的移动距离，所述第二时刻为晚于所述第一时刻的时刻；

第三确定模块，用于根据所述移动速度向量和所述移动距离，确定所述镜头在所述第二时刻的第一抖动信息；

第四确定模块，用于根据所述第一抖动信息和所述传感器检测到的第二抖动信息，确定目标抖动信息，所述目标抖动信息用于在所述第二时刻对所述镜头进行防抖处理。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1～7任一项所述的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1～7任一项所述的方法的步骤。

Images