CN110430365B

CN110430365B - 防抖方法、装置、计算机设备和存储介质

Info

Publication number: CN110430365B
Application number: CN201910791197.8A
Authority: CN
Inventors: 贾玉虎
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2019-08-26
Filing date: 2019-08-26
Publication date: 2021-10-01
Anticipated expiration: 2039-08-26
Also published as: CN110430365A

Abstract

本申请涉及一种防抖方法、装置、计算机设备和存储介质，电子设备根据图像传感器输出图像序列构造仿射匹配损失函数，并根据该仿射匹配损失函数确定同步时延参数的目标值，然后基于该同步时延参数的目标值和标准摄像设备姿态参数生成去抖动视频。该方法中，由于仿射匹配损失函数是基于同步时延参数建立的函数，可以修正输出图像序列的时延误差，使电子设备可以精确地同步图像序列和姿态信息生稳定的视频，大大提高防抖的准确性。

Description

防抖方法、装置、计算机设备和存储介质

技术领域

本申请涉及电子技术领域，特别是涉及一种防抖方法、装置、计算机设备和存储介质。

背景技术

视频防抖技术用于提高手持终端视频业务的稳定性，防止拍摄画面引入的高频抖动，常见的视频防抖技术分为机械防抖、光学防抖、电子防抖和数字防抖。

目前，常用的防抖方法为基于同源时钟时间戳同步方式，具体为在图像帧和姿态数据中进行同源时钟的时间戳赋值，以完成不同传感器键的同步信号。但该方式是通过软件调取系统时间的方式进行同步，本身受系统状态、程序调用顺序及时间等多种因素影响，同步结果误差较大。

发明内容

基于此，有必要针对上述现有防抖方法对于传感器信号同步误差较大的技术问题，提供一种防抖方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种防抖方法，该方法包括：

根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；仿射匹配损失函数包括同步时延参数，同步时延参数用于修正输出图像序列的时延误差；

根据仿射匹配损失函数确定同步时延参数的目标值；目标值为仿射匹配损失函数的最小值对应的参数值；

根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

在其中一个实施例中，上述根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数，包括：

获取预设时间段内输出图像序列对应的匹配特征点对集合；

根据相机坐标系与世界坐标系之间的映射关系、匹配特征点对集合，构造仿射匹配损失函数。

在其中一个实施例中，上述根据相机坐标系与世界坐标系之间的映射关系、匹配特征点对集合，构造仿射匹配损失函数，包括：

根据映射关系，获取匹配特征点对集合中每个点对的仿射匹配损失；

根据匹配特征点对集合中所有点对的仿射匹配损失，构造仿射匹配损失函数。

在其中一个实施例中，上述获取预设时间段内输出图像序列对应的匹配特征点对集合，包括：

获取图像传感器在预设时间段内的输出图像序列，并保存在队列中；

通过特征点检测方法逐帧对队列中的图像序列进行特征点匹配，得到匹配特征点对集合。

在其中一个实施例中，上述根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频，包括：

根据同步时延参数的目标值对图像传感器的输出图像序列进行时间戳校正，得到校正后的图像序列；

根据标准摄像设备姿态信息和摄像设备的实际姿态信息获取图像变换矩阵；

根据图像变换矩阵对校正后的图像序列进行仿射变换，生成去抖动视频。

在其中一个实施例中，上述根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频之前，方法还包括：

获取姿态传感器输出的姿态序列；

根据姿态序列确定摄像设备的实际姿态信息；

对摄像设备的实际姿态信息进行滤波平滑处理，得到标准摄像设备姿态信息。

在其中一个实施例中，上述根据所述仿射匹配损失函数确定所述同步时延参数的目标值，包括：采用梯度下降算法对仿射匹配损失函数进行收敛优化，直到获得仿射匹配损失函数的最小值，得到同步时延参数的目标值。

在其中一个实施例中，上述特征点检测方法包括角点检测、尺度不变特征变换、加速稳健特征、光流匹配算法和前后向目标跟踪方法至少一种。

在其中一个实施例中，上述单个点对的仿射匹配损失为：

其中，E(i,j)表示单个点对的仿射匹配损失，i,j表示不同的时刻，detR(Δti j)表示不同时刻之间相机坐标系到世界坐标系旋转矩阵的行列式，S(tj,ti,Δt)表示不同时刻图像像素点之间的单应矩阵。

第二方面，本申请实施例提供一种防抖装置，该装置包括：

函数构造模块，用于根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；仿射匹配损失函数包括图像传感器的同步时延参数，同步时延参数用于修正输出图像序列的时延误差；

目标确定模块，用于根据仿射匹配损失函数确定同步时延参数的目标值；目标值为仿射匹配损失函数的最小值对应的参数值；

去抖模块，用于根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。

本申请实施例提供的一种防抖方法、装置、计算机设备和存储介质，电子设备根据图像传感器输出图像序列构造仿射匹配损失函数，并根据该仿射匹配损失函数确定同步时延参数的目标值，然后基于该同步时延参数的目标值和标准摄像设备姿态信息生成去抖动视频。该方法中，由于仿射匹配损失函数是基于同步时延参数建立的函数，可以修正输出图像序列的时延误差，使电子设备可以精确地同步图像序列和姿态信息生稳定的视频，大大提高防抖的准确性。

附图说明

图1为一个实施例提供的一种防抖方法的应用环境图；

图2为一个实施例提供的一种防抖方法的流程示意图；

图2a为一个实施例提供的一种防抖方法的示意图；

图3为一个实施例提供的一种防抖方法的流程示意图；

图4为一个实施例提供的一种防抖方法的流程示意图；

图5为一个实施例提供的一种防抖方法的流程示意图；

图5a为一个实施例提供的一种防抖方法的完整示意图；

图6为一个实施例提供的一种防抖方法的流程示意图；

图7为一个实施例提供的一种防抖方法的流程示意图；

图8为一个实施例提供的一种防抖装置的结构框图；

图9为一个实施例提供的一种防抖装置的结构框图；

图10为一个实施例提供的一种防抖装置的结构框图；

图11为一个实施例提供的一种防抖装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种防抖方法，可以应用于如图1所示的应用环境中，其中，图1中的电子设备表示包括摄像模组，具有摄像功能的设备，例如手机、相机、电脑、可携带设备等，本实施例对此不做限定，只要是需要进行防抖的电子设备均可以使用本申请提供的防抖方法。其中该摄像模组中包括图像传感器和姿态传感器，图像传感器用于采集图像信息，姿态传感器用于检测相机的姿态信息。

本申请实施例提供一种防抖方法、装置、计算机设备和存储介质，旨在解决现有防抖方法对于传感器信号同步误差较大的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种防抖方法，图2-图7的执行主体为电子设备，其中，其执行主体还可以是防抖装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

在一个实施例中，图2提供了一种防抖方法，该方法应用于电子设备的电子防抖中，EIS防抖(电子防抖，Electric Image Stabilization)是利用侦测到机身抖动的程度来动态调整ISO、快门或软体来做模糊修正。EIS防抖是一种演算法运算，透过影像裁减补偿方式来避免模糊，防震效果取决于演算法的设计与效率。本实施例涉及的是电子设备根据图像传感器的输出图像序列构造仿射匹配损失函数，并根据该仿射匹配损失函数确定的同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频的具体过程，如图2所示，该方法包括：

S101，根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；仿射匹配损失函数包括同步时延参数，同步时延参数用于修正输出图像序列的时延误差。

本实施例中，图像传感器在预设时间段内的输出图像序列表示的是图像传感器在预先选取的一个时间段内生成的一系列图像，例如，时间段为t-N～t+N。仿射匹配损失函数是基于特征点对进行仿射变换加权均方误差，以传感器同步时延为参数建立的损失函数，其中，同步时延参数表示图像传感器和姿态传感器同时间戳下的时延，用于修正输出图像序列的时延误差，以实现图像传感器和姿态传感器数据之间的同步，为后端EIS防抖模块提供更准确的时序信息。

示例地，电子设备根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数的方式可以是根据各输出图像序列之间的特征值构造仿射损失函数，也可以是采用预先建立的用于构造损失函数的网络模型，将该预设时间段内的输出图像序列作为模型的输入，得到对应的仿射匹配损失函数，当然还可以是其他方式，本实施例对此不做限定，只要构造的仿射匹配损失函数是基于图像传感器在预设时间段内的输出图像序列即可。

S102，根据仿射匹配损失函数确定同步时延参数的目标值；目标值为仿射匹配损失函数的最小值对应的参数值。

基于上述S101步骤中构造的仿射匹配损失函数，电子设备根据仿射匹配损失函数确定同步时延参数的目标值。其中，同步时延参数的目标值表示对于修正输出图像序列的时延的最优值，其取值对应于使仿射匹配损失函数的值为最小值时的参数值。示例地，电子设备根据仿射匹配损失函数确定同步时延参数的目标值的方式，可以是优化该仿射匹配损失函数的值，当该仿射匹配损失函数的值为最小值时，将当前同步时延参数的取值确定为同步时延参数的目标值。

可选地，提供一种根据仿射匹配损失函数确定同步时延参数的目标值的实现方式，则在一个实施例中，根据所述仿射匹配损失函数确定所述同步时延参数的目标值，包括：采用梯度下降算法对仿射匹配损失函数进行收敛优化，直到获得仿射匹配损失函数的最小值，得到同步时延参数的目标值。其中，采用梯度下降算法设置合适的步长对仿射匹配损失函数一步步进行迭代求解，直到得到仿射匹配损失函数的最小值。

S103，根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

在确定了同步时延参数的目标值后，电子设备根据该同步时延参数的目标值和标准摄像设备姿态信息生成去抖动视频。其中该标准摄像设备姿态信息表示的是相机理想的非抖动运动姿态。具体地，电子设备根据同步时延参数的目标值对图像传感器输出的图像序列和标准摄像设备姿态信息进行同步，进行图像变换以生成去抖动视频，即生成稳定视频，达到去抖动效果。需要说明的是，由于电子设备中的摄像模组是稳定系统，因此对于同步时延参数的目标值只需要确定一次即可，将该确定的同步时延参数的目标值保存下来，后续的EIS防抖模块可持续通过该同步时延参数的目标值进行防抖，这样大大提高了电子设备的防抖效率。

传统技术中EIS系统是通过综合图像传感器生成的图像序列和姿态传感器输出的摄像设备姿态序列信息实现视频去抖动，如图2a所示，根据姿态传感器输出的姿态序列进行摄像设备运动分析，得到摄像设备的实际运动姿态，对实际姿态进行滤波平滑处理得到目标摄像设备运动姿态，该目标摄像设备运动姿态表示摄像设备理想的非抖动运动姿态，这里的姿态表示摄像设备t-N～t+N时间段的姿态参数序列，与图像传感器生成的图像序列为同一时间段。然后综合实际姿态和目标姿态，根据时间戳匹配对应的图像，由姿态求解对应的变换矩阵对图像向进行仿射变换，最终生成去抖动视频，如果一开始姿态序列和图像序列没有正确同步，后面变换矩阵求解误差就会变大，就会影响最终去抖动效果。本实施例提供的防抖方法，电子设备根据图像传感器输出图像序列构造仿射匹配损失函数，并根据该仿射匹配损失函数确定同步时延参数的目标值，然后基于该同步时延参数的目标值和标准摄像设备姿态信息生成去抖动视频。该方法中，由于仿射匹配损失函数是基于同步时延参数建立的函数，可以修正输出图像序列的时延误差，使电子设备可以精确地同步图像序列和姿态信息生稳定的视频，大大提高防抖的准确性。

在以上实施例的基础上，本申请实施例还提供了一种防抖方法，其涉及的是电子设备根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数的具体过程，如图3所示，上述S101步骤包括：

S201，获取预设时间段内输出图像序列对应的匹配特征点对集合。

本实施例中，电子设备获取预设时间段内输出图像序列对应的匹配特征点对集合，匹配特征点对集合表示该预设时间段内各输出图像序列之间的多个匹配特征点对的集合，其中，每一个匹配点对可以是两个连续的图像的匹配特征，也可以是多张连续的图像匹配特征，本实施例对此不做限定。

示例的，电子设备获取匹配特征点对集合的方式可以是对该时间段内输出的图像序列进行特征点匹配，得到多个点对，并组成集合。提供一种电子设备获取匹配特征点对集合的实施例，则可选地，在一个实施例中，如图4所示，该S201步骤包括：

S301，获取图像传感器在预设时间段内的输出图像序列，并保存在队列中。

电子设备获取图像传感器在预设时间段内的输出图像序列，并将所有输出图像序列保存在队列中，例如，预设时间段为t-N～t+N时段内，设时刻i输出的图片为Fi，则将每个时刻的图像按照时序依次存储到队列QN中。

S302，通过特征点检测方法逐帧对队列中的图像序列进行特征点匹配，得到匹配特征点对集合。

将输出序列存储进队列QN中以后，对队列QN中的图像序列进行特征点匹配，其中，进行特征点匹配时，通过特征点检测方法逐帧进行匹配，要保证匹配的图像之间是连续的，可选地，在一个实施例中，特征点检测方法包括角点检测、尺度不变特征变换、加速稳健特征、光流匹配算法和前后向目标跟踪方法至少一种。其中，使用基于稀疏或稠密光流匹配的光流匹配算法获得光流一致点对，使用基于LK光流法和前后向匹配误差联合的前后向目标跟踪方法获取稳定目标点对等。

示例地，对序列QN中的图片逐帧进行特征匹配，可以是将Fi匹配Fi+1，以此类推；确定异常匹配点后得到匹配点对集合，例如该集合可以表示为

基于该匹配方法可以理解的是，匹配特征点匹配的是各图像之间的异常点，这样将各异常点集合后，基于该异常点建立损失函数，可以有效保证后续对图像信息的修正。本实施例中由于通过预设时间段内图像传感器输出的图像序列，对各图像进行特征点匹配，得到多个匹配特征点对，并形成匹配特征点对集合，可以精确的对图像传感器输出的图像之间的差异性进行归类，保证后续仿射损失函数构造的客观合理性。

S202，根据相机坐标系与世界坐标系之间的映射关系、匹配特征点对集合，构造仿射匹配损失函数。

基于上述S201步骤中获取的匹配特征点对集合，电子设备根据相机坐标系与世界坐标系之间的映射关系、匹配特征点对集合，构造仿射匹配损失函数，其中，相机坐标系与世界坐标系之间的映射关系可以表示为X_c＝R(t)X_w其中，X_c表示相机坐标系中的点，X_w表示世界坐标系中的点，R(t)代表t时刻相机坐标系到世界坐标系旋转矩阵，可通过姿态传感器获取。其中，电子设备构造仿射匹配损失函数的方式可以是将匹配特征点对集合中的各点基于映射关系求取损失，然后基于各点对的损失构造最终的损失函数，本实施例对此不做限定。

对于电子设备构造仿射匹配损失函数的具体过程，则可选地，提供一个实施例，如图5所示，该S202步骤包括：

S401，根据映射关系，获取匹配特征点对集合中每个点对的仿射匹配损失。根据相机坐标系与世界坐标系之间的映射关系，先获取每个点对的仿射匹配损失，具体地，根据针孔相机模型，t时刻像素点x及其像点在相机坐标系中的坐标X_c之间满足映射关系：x＝KX_c，其中，K为相机内参矩阵，其表达式为：

其中上述矩阵中，(ox,oy)为相平面中心坐标，f为焦距，在实际应用中可通过标定得到。假设世界坐标系与相机坐标系共原点，则x对应像点在世界坐标系中的坐标X_w中满足：x＝KR(t)X_w，其中，其中R(t)代表t时刻相机坐标系到世界坐标系旋转矩阵，可通过姿态传感器获取。对于世界坐标系场景中同一点X在不同时刻i,j对应的像素点坐标之间满足映射关系：x_j＝S(t_j,t_i,Δt)x_i，其中，S(t_j,t_i,Δt)表示不同时图像刻像素点之间的单应矩阵，其表达式为S(t_j,t_i,Δt)＝KR(t_j+Δt)R^τ(t_i+Δt)K^-1，其中，Δt代表图像传感器和姿态传感器之间的同步时延参数。

则基于上述各关系式，可选地，在一个实施例中，提供匹配特征点对集合中单个点对的仿射匹配损失为：

其中，E(i,j)表示单个点对的仿射匹配损失，i,j表示不同的时刻，detR(Δti j)表示不同时刻之间相机坐标系到世界坐标系旋转矩阵的行列式，其表达式为

式中

其中，k代表放缩系数，可根据实际情况自定义设置，D表示以k为中心的邻域。S(tj,ti,Δt)表示不同时刻图像像素点之间的单应矩阵。

S402，根据匹配特征点对集合中所有点对的仿射匹配损失，构造仿射匹配损失函数。

基于上述401步骤的获取的单个点对的仿射匹配损失，电子设备对匹配特征点对集合中所有点对构造仿射匹配损失函数，则整个PN集合的匹配损失J可以表示为：

本实施例提供的防抖方法，根据相机系统与场景的坐标映射关系构造损失函数，且该损失函数中以同步时延参数为参数，该损失函数是针对匹配特征点对集合建立了一个整体的损失函数，可以保证该损失函数客观合理的反映预设时间段内各图像特征点的异常变化，从而保证了根据该损失函数求解的同步时延参数的目标值，可以有效的对图像信息和姿态信息进行同步。

基于上述所有实施例，提供完整的防抖过程的实施例，示例地，可参考图5a所示，具体为获取图像传感器输出的时间段t-N～t+N内的图像序列，对该图像序列进行帧间特征匹配，得到特征点对，并形成点对集合，然后针对该点对结合建立仿射匹配损失函数，并对该仿射匹配损失函数进行优化得到同步时延参数Δt，最后根据该同步时延参数对图像信息和姿态信息进行同步，并对图像进行变换生成稳定视频，即去抖动视频。

对于上述实施例中电子设备根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频的过程，本申请提供了一种防抖方法，如图6所示，上述S103步骤包括：

S501，根据同步时延参数的目标值对图像传感器的输出图像序列进行时间戳校正，得到校正后的图像序列。

其中，电子设备根据确定的同步时延参数的目标值，对图像传感器的输出图像序列进行时间戳补偿校正，以保证图像信息与电子设备的姿态信息同步。

S502，根据标准摄像设备姿态信息和摄像设备的实际姿态信息获取图像变换矩阵。

本步骤中，电子设备根据标准摄像设备姿态信息和摄像设备的实际姿态信息获取图像变换矩阵，其中，实际姿态信息为电子设备中姿态传感器在预设时间段输出的实时姿态序列分析得到的姿态信息，标准摄像设备姿态信息表示的是该预设时间段理想状态的姿态信息。根据该标准摄像设备姿态信息和实际姿态信息求解出两者之间的对应变换矩阵。

S503，根据图像变换矩阵对校正后的图像序列进行仿射变换，生成去抖动视频。

基于上述得到的图像变换矩阵，电子设备根据该图像变换矩阵对校正后的图像序列进行仿射变换，最终生成去抖动视频。

本实施例提供的防抖方法，根据同步时延参数的目标值，与标准摄像设备姿态信息和实际姿态信息之间的图像变换矩阵对校正后的图像序列进行仿射变换，这样，基于对图像信息和姿态信息进行同步后生成视频，有效解决了图像信息和姿态信息时间戳时延误差大的问题，大大提高去抖精度。

另外，在一个实施例中，提供一种方法方法，其涉及的是电子设备获取标准摄像设备姿态信息的过程，如图7所示，该方法还包括：

S601，获取姿态传感器输出的姿态序列。

电子设备获取姿态传感器输出的姿态序列，其中该姿态序列为预设时间段内的姿态信息序列。

S602，根据姿态序列确定摄像设备的实际姿态信息。

根据上述预设时间段内的姿态信息序列，电子设备对该姿态信息序列机型运动分析确定出对应的姿态信息，该姿态信息即为摄像设备的实际姿态信息。

S603，对摄像设备的实际姿态信息进行滤波平滑处理，得到标准摄像设备姿态信息。

基于上述实际姿态信息，电子设备对进行滤波平滑处理，得到理想的非抖动运动姿态，即为标准摄像设备姿态信息。需要说明的是，本申请实施例执行主体为包括摄像组件的电子设备，因此实施例中涉及的摄像设备可以等同于电子设备，也可以为电子设备的一部分，两者不矛盾。本实施例提供的防抖方法，通过对实际输出的姿态信息分析得到实际姿态信息，然后对实际姿态信息进行平滑滤波处理，得到标准姿态信息，保证了标准姿态信息的准确性。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种防抖装置，包括：函数构造模块10、目标确定模块11和去抖模块12，其中，

函数构造模块10，用于根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；仿射匹配损失函数包括图像传感器的同步时延参数，同步时延参数用于修正输出图像序列的时延误差；

目标确定模块11，用于根据仿射匹配损失函数确定同步时延参数的目标值；目标值为仿射匹配损失函数的最小值对应的参数值；

去抖模块12，用于根据同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

上述实施例提供的一种防抖装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，如图9所示，提供了一种防抖装置，上述函数构造模块10包括：点对集合单元101和函数构造单元102，其中，

点对集合单元101，用于获取预设时间段内输出图像序列对应的匹配特征点对集合；

函数构造单元102，用于根据相机坐标系与世界坐标系之间的映射关系、匹配特征点对集合，构造仿射匹配损失函数。

在一个实施例中，上述函数构造单元102，具体用于根据映射关系，获取匹配特征点对集合中每个点对的仿射匹配损失；根据匹配特征点对集合中所有点对的仿射匹配损失，构造仿射匹配损失函数。

在一个实施例中，上述点对集合单元101，具体用于获取图像传感器在预设时间段内的输出图像序列，并保存在队列中；通过特征点检测方法逐帧对队列中的图像序列进行特征点匹配，得到匹配特征点对集合。

在一个实施例中，如图10所示，提供了一种防抖装置，上述去抖模块12包括：校正单元121、矩阵单元122和去抖单元123，用于

校正单元121，用于根据同步时延参数的目标值对图像传感器的输出图像序列进行时间戳校正，得到校正后的图像序列；

矩阵单元122，用于根据标准摄像设备姿态信息和摄像设备的实际姿态信息获取图像变换矩阵；

去抖单元123，用于根据图像变换矩阵对校正后的图像序列进行仿射变换，生成去抖动视频。

在一个实施例中，如图11所示，提供了一种防抖装置，该装置还包括：

姿态序列模块13，用于获取姿态传感器输出的姿态序列；

实际姿态模块14，用于根据姿态序列确定摄像设备的实际姿态信息；

标准姿态模块15，用于对摄像设备的实际姿态信息进行滤波平滑处理，得到标准摄像设备姿态信息。

在一个实施例中，上述目标确定模块11，具体用于采用梯度下降算法对所述仿射匹配损失函数进行收敛优化，直到获得所述仿射匹配损失函数的最小值，得到所述同步时延参数的目标值。

在一个实施例中，上述特征点检测方法包括角点检测、尺度不变特征变换、加速稳健特征、光流匹配算法和前后向目标跟踪方法至少一种。

关于防抖装置的具体限定可以参见上文中对于防抖方法的限定，在此不再赘述。上述防抖装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种防抖方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；仿射匹配损失函数包括图像传感器的同步时延参数，同步时延参数用于修正输出图像序列的时延误差；

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种防抖方法，其特征在于，所述方法包括：

根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；所述仿射匹配损失函数包括同步时延参数，所述同步时延参数用于修正所述输出图像序列的时延误差；所述仿射匹配损失函数中单个点对的仿射匹配损失为

所述单个点对表示所述预设时间段内所述输出图像序列中多张连续的图像中的异常点的匹配特征点对；

其中，E(i,j)表示单个点对的仿射匹配损失，i,j表示不同的时刻，xi表示i时刻的像素点的坐标，xj表示j时刻的像素点的坐标；detR(Δti j)表示不同时刻之间相机坐标系到世界坐标系旋转矩阵的行列式，S(tj,ti,Δt)表示不同时刻图像像素点之间的单应矩阵；所述Δt表示所述同步时延参数；k代表放缩系数；

根据所述仿射匹配损失函数确定所述同步时延参数的目标值；所述目标值为所述仿射匹配损失函数的最小值对应的参数值；

根据所述同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

2.根据权利要求1所述的方法，其特征在于，所述根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数，包括：

获取所述预设时间段内所述输出图像序列对应的匹配特征点对集合；所述匹配特征点对集合表示异常点的匹配特征点对的集合；

根据相机坐标系与世界坐标系之间的映射关系、所述匹配特征点对集合，构造所述仿射匹配损失函数。

3.根据权利要求2所述的方法，其特征在于，所述根据相机坐标系与世界坐标系之间的映射关系、所述匹配特征点对集合，构造所述仿射匹配损失函数，包括：

根据所述映射关系，获取所述匹配特征点对集合中每个点对的仿射匹配损失；

根据所述匹配特征点对集合中所有点对的仿射匹配损失，构造所述仿射匹配损失函数。

4.根据权利要求2所述的方法，其特征在于，所述获取所述预设时间段内所述输出图像序列对应的匹配特征点对集合，包括：

获取所述图像传感器在所述预设时间段内的输出图像序列，并保存在队列中；

通过特征点检测方法逐帧对所述队列中的图像序列进行特征点匹配，得到所述匹配特征点对集合。

5.根据权利要求1所述的方法，其特征在于，所述根据所述同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频，包括：

根据所述同步时延参数的目标值对所述图像传感器的输出图像序列进行时间戳校正，得到校正后的图像序列；

根据所述标准摄像设备姿态信息和摄像设备的实际姿态信息获取图像变换矩阵；

根据所述图像变换矩阵对所述校正后的图像序列进行仿射变换，生成所述去抖动视频。

6.根据权利要求1所述的方法，其特征在于，所述根据所述同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频之前，所述方法还包括：

获取姿态传感器输出的姿态序列；

根据所述姿态序列确定所述摄像设备的实际姿态信息；

对所述摄像设备的实际姿态信息进行滤波平滑处理，得到所述标准摄像设备姿态信息。

7.根据权利要求1所述的方法，其特征在于，所述根据所述仿射匹配损失函数确定所述同步时延参数的目标值，包括：

采用梯度下降算法对所述仿射匹配损失函数进行收敛优化，直到获得所述仿射匹配损失函数的最小值，得到所述同步时延参数的目标值。

8.根据权利要求4所述的方法，其特征在于，所述特征点检测方法包括角点检测、尺度不变特征变换、加速稳健特征、光流匹配算法和前后向目标跟踪方法至少一种。

9.一种防抖装置，其特征在于，所述装置包括：

函数构造模块，用于根据图像传感器在预设时间段内的输出图像序列，构造仿射匹配损失函数；所述仿射匹配损失函数包括所述图像传感器的同步时延参数，所述同步时延参数用于修正所述输出图像序列的时延误差；所述仿射匹配损失函数中单个点对的仿射匹配损失为：

其中，E(i,j)表示单个点对的仿射匹配损失，i,j表示不同的时刻，xi表示i时刻的像素点的坐标，xj表示j时刻的像素点的坐标；detR(Δti j)表示不同时刻之间相机坐标系到世界坐标系旋转矩阵的行列式，S(tj,ti,Δt)表示不同时刻图像像素点之间的单应矩阵；所述Δt表示所述同步时延参数；k代表放缩系数；目标确定模块，用于根据所述仿射匹配损失函数确定所述同步时延参数的目标值；所述目标值为所述仿射匹配损失函数的最小值对应的参数值；

去抖模块，用于根据所述同步时延参数的目标值和标准摄像设备姿态信息，生成去抖动视频。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。