CN104796596A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种信息处理方法及电子设备，该方法包括：在第一时刻，获取第N帧图像；在第二时刻，获取第N+M帧图像，N、M为正整数；通过所述传感器获取所述电子设备的第一运动参数；根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数；基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。本发明提供的方法和电子设备用以解决现有技术中的视频防抖方案，需要基于拍摄的图像来计算出电子设备的所有运动轨迹，存在数据处理量大、处理速度慢，以至于无法应用于实时防抖的技术问题。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及电子技术领域，尤其涉及一种信息处理方法及电子设备。

背景技术

市面上具有摄影功能的电子设备越来越多，比如：照相机、手机、平板等。各位摄影爱好者可以随时通过摄影来记录身边的人、物、景、事，为了能真实的记录想要保留的场景，用户对视频的质量有着越来越高的要求。而影响视频质量的一个很重要的因素，就是拍摄时的抖动导致的视频抖动和画面不稳定的问题。

当前，视频防抖的技术方案可以分为二维防抖和三维防抖两种，因实际生活中的拍摄场景都是三维场景，采用二维防抖技术无法给三维拍摄场景带来理想的防抖效果，故为了能实现三维拍摄场景的防抖效果，对摄像过程中的视频防抖主要采用三维防抖技术。

三维防抖技术主要是基于拍摄到的视频图像来重建电子设备的运动轨迹，通过三维重构算法（Structure From Motion，SFM），获取电子设备在三维空间内的平移运动和旋转运动参数，再根据获取的参数，采用图像处理技术对视频图像进行防抖处理。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

通过SFM算法来计算出电子设备在三维空间内的平移运动和旋转运动参数，由于电子设备的所有运动轨迹都需要基于拍摄的图像来计算获得，计算过程复杂，且数据的处理量很大，无法满足摄像机的实时防抖要求。

也就是说，现有技术中的视频防抖方案，需要基于拍摄的图像来计算出电子设备的所有运动轨迹，存在数据处理量大、处理速度慢以至于无法应用于实时防抖的技术问题。

发明内容

本申请实施例通过提供一种信息处理方法及电子设备，解决了现有技术中的视频防抖方案，需要基于拍摄的图像来计算出电子设备的所有运动轨迹，存在的数据处理量大、处理速度慢以至于无法应用于实时防抖的技术问题。

一方面，本申请实施例提供了如下技术方案：

一种信息处理方法，应用于一电子设备中，所述电子设备具有传感器，所述方法包括：

在第一时刻，获取第N帧图像；

在第二时刻，获取第N+M帧图像，N、M为正整数；

通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

可选的，所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

可选的，在所述第一时刻之前，还包括：接收一用于开启所述电子设备的防抖功能的开启操作；基于所述开启操作，标定所述传感器的精度及工作时间。

可选的，所述根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，具体为：通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

可选的，在所述基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，所述方法还包括：基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

可选的，所述基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值，具体为：基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

另一方面，本申请实施例还提供了一种电子设备，包括：

图像获取模块，用于在第一时刻，获取第N帧图像；在第二时刻，获取第N+M帧图像，N、M为正整数；

传感器，用于获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

计算模块，用于根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

调整模块，用于基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

可选的，所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

可选的，所述电子设备还包括：接收模块，用于接收一用于开启所述电子设备的防抖功能的开启操作；标定模块，用于基于所述开启操作，标定所述传感器的精度及工作时间。

可选的，所述计算模块还包括：特征点提取单元，用于通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；SFM单元，用于通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

可选的，所述电子设备还包括：修补模块，用于基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

可选的，所述调整模块包括：计算单元，用于基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；调整单元，用于基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本申请实施例提供的方法及电子设备，通过传感器获取电子设备的第一运动参数，并根据第一运动参数和电子设备获取的图像，计算出第二运动参数，再根据第一运动参数和第二运动参数，对获取的图像进行防抖处理，即通过传感器获取的第一运动参数来计算获取第二运动参数，不用通过计算获取所有运动参数来进行防抖处理，减少了数据处理量、提升了处理速度，能实现视频实时防抖的技术效果。

2、本申请实施例提供的方法及电子设备，在接收到开启防抖功能的开启操作后，会标定所述传感器的精度，以保证传感器的精度符合要求，还会标定所述传感器的工作时间，以保证传感器获取第一运动参数的时间与电子设备获取图像的时间同步，进而提高获取的第一运动参数的精确度。

3、本申请实施例提供的方法及电子设备，在调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，基于稀疏点云，利用图像修补算法修补第N帧图像和/或第N+M帧图像，能实现提高视频图像清晰度的技术效果。

附图说明

图1为本申请实施例一中信息处理方法的流程图；

图2为本申请实施例一中陀螺仪获取第一运动参数的示意图；

图3为本申请实施例一中三维重构算法SFM的基本原理的示意图；

图4为本申请实施例二中加速度计获取第一运动参数的示意图；

图5为本申请实施例三中电子设备的结构示意图。

具体实施方式

本申请实施例通过提供一种信息处理方法及电子设备，实现了视频实时防抖的技术效果。

为了解决上述现有技术存在的技术问题，本申请实施例提供的技术方案的总体思路如下：

一种信息处理方法，应用于一电子设备中，所述电子设备具有传感器，所述方法包括：

在第一时刻，获取第N帧图像；

在第二时刻，获取第N+M帧图像，N、M为正整数；

通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

通过上述内容可以看出，通过传感器获取电子设备的第一运动参数，并根据第一运动参数和电子设备获取的图像，计算出第二运动参数，再根据第一运动参数和第二运动参数，对获取的图像进行防抖处理，即通过传感器获取的第一运动参数来计算获取第二运动参数，不用通过计算获取所有运动参数来进行防抖处理，减少了数据处理量、提升了处理速度，能实现视频实时防抖的技术效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一：

在实施例一中提供了一种信息处理方法，应用于一电子设备中，所述电子设备具有传感器，在实际应用中，所述电子设备可以是手机、照相机、摄像机、平板电脑等电子设备，在本实施例中不再一一列举。

请参考图1，图1为本申请实施例一的信息处理方法的流程图，所述方法包括：

步骤S101，在第一时刻，获取第N帧图像；

步骤S102，在第二时刻，获取第N+M帧图像，N、M为正整数；

步骤S103，通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

步骤S104，根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

步骤S105，基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

在具体实施过程中，本申请实施例提供的信息处理方法即可以用于在视频拍摄完成后，对视频进行防抖处理，也可以用于在视频拍摄的过程中，对视频进行实时的防抖处理。

本申请提供的方案主要分为两个部分：运动参数的获取方法和根据运动参数调整图像的方法，下面分别对上述两个部分进行详细介绍：

第一部分，运动参数的获取方法。

在本申请实施例中，需要获取的运动参数包括第一运动参数和第二运动参数，所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数。

下面以电子设备为智能手机，第一运动参数为旋转运动参数，第二运动参数为平移运动参数为例，从人机交互的角度，对本实施例中运动参数的获取方法进行初步说明。

例如，当用户a用智能手机拍摄视频时：

智能手机执行步骤S101和步骤S102，在第一时刻，智能手机获取第N帧图像；在第二时刻，由于用户a的手的抖动，智能手机抖动后获取第N+M帧图像；手机上的陀螺仪，记录了智能手机从第一时刻到第二时刻的旋转运动参数。

接下来，智能手机执行步骤S103，通过陀螺仪获得所述旋转运动参数；

再下来，智能手机执行步骤S104，根据所述旋转运动参数、所述第N帧图像和所述第N+M帧图像，计算出平移运动参数。

在通过上述例子初步了解了本实施例中运动参数的获取方法后，下面将详细介绍获取第一运动参数和第二运动参数的具体步骤和原理：

首先，执行步骤S101和步骤S102，即在第一时刻，获取第N帧图像；在第二时刻，获取第N+M帧图像，N、M为正整数。

在具体实施过程中，如果第N帧图像和第N+M帧图像的获取时间间隔较长，会降低防抖处理的实时性；故在本实施例中，设置所述M小于一预设值，以使第N帧图像和第N+M帧图像的获取时间间隔小于一预设时长。具体来讲，M可以设置为大于等于1小于等于5的正整数。

在通过步骤S101和步骤S102获取了第N帧图像和第N+M帧图像后，进入步骤S103，即通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数。

在具体实施过程中，陀螺仪传感器获取的第一运动参数的数据形式为(θ,ψ,Φ)，如图2所示，θ、ψ和Φ分别表示电子设备绕x轴、y轴和z轴旋转的角度，所述x轴、y轴和z轴为电子设备中的陀螺仪等角度传感器标定出的三维坐标系。陀螺仪获取所述电子设备的三维旋转轨迹，并投影到所述三维坐标系上，以(θ,ψ,Φ)的数据形式记录。

在本申请实施例中，为了提高传感器获取的第一运动参数的精确度，在所述第一时刻之前，所述方法还包括：

接收一用于开启所述电子设备的防抖功能的开启操作；

基于所述开启操作，标定所述传感器的精度及工作时间。

具体来讲，在接收到开启防抖功能的开启操作后，标定所述传感器的精度，能保证传感器的工作精度符合要求，而标定所述传感器的工作时间，能保证传感器获取第一运动参数的时间与电子设备获取图像的时间同步，进而提高获取的第一运动参数的精确度。

在通过步骤S103获取了第一运动参数后，进入步骤S104，即根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数。

对于所述第二运动参数的计算，可以采用三维重构算法SFM，所述三维重构算法SFM能实现：通过有相同拍摄对象的至少两个二维图像，恢复出相应的三维信息，所述三维信息包括拍摄所述至少两个二维图像的电子设备的运动参数，和拍摄对象的三维结构信息。

在介绍第二运动参数的计算方法之前，需要先介绍三维重构算法SFM的基本原理，请参考图3。

如图3所示，电子设备在第一位置301，以一三维场景点302为拍摄对象，获取一第一图像303，三维场景点302在第一图像303上成像为坐标为u的第一成像点X;

电子设备在第二位置304，同样以三维场景点302为拍摄对象，获取一第二图像305，三维场景点302在第二图像305上成像为坐标为u′的第一成像点X′。

根据三维重构算法SFM，假设电子设备是在第一位置301通过一旋转矩阵为R的旋转运动，和一平移矩阵为T的平移运动后到达第二位置304，则公式成立，其中，K为电子设备的内参，为数值固定的矩阵，在电子设备制作完成后，能通过对电子设备的测量获得。

基于上述三维重构算法SFM的基本原理，下面详细介绍计算出第二运动参数的步骤：

在陀螺仪获取了数据形式为(θ,ψ,Φ)的第一运动参数后，将(θ,ψ,Φ)转换为标准的旋转矩阵R， $R=\left[\begin{array}{ccc}\cos \mathrm{\Φ}& \sin \mathrm{\Φ}& 0\\ -\sin \mathrm{\Φ}& \cos \mathrm{\Φ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\Ψ}& 0& -\sin \mathrm{\Ψ}\\ 0& 1& 0\\ \sin \mathrm{\Ψ}& 0& \cos \mathrm{\Ψ}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& \sin \mathrm{\θ}\\ 0& -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right].$

再通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，因为需要求解的第二运动参数为三维场景中的平移参数T，由三个方向的平移值组成，故为了保证提取出的特征点坐标能满足求解公式的要求，设置K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点。

当K等于3时，通过三维重构算法SFM将3组特征点坐标，即3组u′和u、R和K带入公式求解出平移矩阵T，T即为第二运动参数。

当K大于3时，可以通过三维重构算法SFM将K组特征点坐标，即K组u′和u、R和K带入公式通过最小二乘法求解出平移矩阵T，T即为第二运动参数。

第二部分，根据运动参数调整图像的方法。

在获得了第一运动参数和第二运动参数后，对图像的调整可以分为两个步骤：防抖调整和修补调整。

防抖调整：即基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值，具体为：

基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；

基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

在具体实施过程中，基于第一运动参数和第二运动参数，调整第N帧图像与第N+M帧图像间的图像偏移值，可以有多种实现方法，可以利用欧式空间算法、四元组算法或其他平滑算法对第N帧图像和/或第N+M帧图像进行平滑处理，以调整图像间的图像偏移值。

修补调整：在对图像进行了防抖调整之后，由于平滑算法有计算精度的限制，且第一运动和第二运动会导致第N帧图像和/或第N+M帧图像的部分图像缺失，为了提高图像的清晰度和图像间的连贯性，还可以在所述基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，执行如下步骤：

基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；

其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

具体来讲，在调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，基于稀疏点云，利用图像修补算法修补第N帧图像和/或第N+M帧图像，能实现提高视频图像清晰度的技术效果。

另一方面，基于同一构思，本发明通过本申请的另一实施例提供一种第一运动参数为平移运动参数，第二运动参数为旋转运动参数的信息处理方法，详见实施例二。

实施例二：

在实施例二中提供了一种信息处理方法，应用于一电子设备中，所述电子设备具有传感器，在实际应用中，所述电子设备可以是手机、照相机、摄像机、平板电脑等电子设备，在本实施例中不再一一列举。

实施例二中的信息处理方法包括实施例一中提供的步骤S101～步骤S105。

在本实施例中，所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

也就是说，步骤S103中通过所述传感器获取所述电子设备的第一运动参数，具体为通过加速度计获取用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数。

在具体实施过程中，加速度计传感器获取的第一运动参数的数据形式为(t_x,t_y,t_z)，如图4所示，t_x、t_y和t_z分别表示电子设备沿x轴、y轴和z轴平移的距离，所述x轴、y轴和z轴为电子设备中的加速度计等移动传感器标定出的三维坐标系。加速度计获取所述电子设备的三维平移轨迹，并投影到所述三维坐标系上，以(t_x,t_y,t_z)的数据形式记录。

在通过步骤S103获取了第一运动参数后，进入步骤S104，即根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数。

对于所述第二运动参数的计算，可以采用三维重构算法SFM。

同样基于实施例一中的三维重构算法SFM的基本原理，下面详细介绍计算出第二运动参数的步骤：

在加速度计获取了数据形式为(t_x,t_y,t_z)的第一运动参数后，将(t_x,t_y,t_z)转换为标准的平移矩阵T，T=[t_x t_y t_z]^T。

再通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，因为需要求解的第二运动参数为三维场景中的旋转参数R，R由三个方向的旋转角度值组成，故为了保证提取出的特征点坐标能满足求解公式的要求，设置K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点。

当K等于3时，通过三维重构算法SFM将3组特征点坐标，即3组u′和u、T和K带入公式求解出旋转矩阵R，R即为第二运动参数。

当K大于3时，可以通过三维重构算法SFM将K组特征点坐标，即K组u′和u、T和K带入公式通过最小二乘法求解出旋转矩阵R，R即为第二运动参数。

本实施例中，在获得第一运动参数和第二运动参数之后，基于获得的运动参数调整第N帧图像和/或第N+M帧图像的方法流程与实施例一中提供的基于第一运动参数和第二运动参数调整第N帧图像和/或第N+M帧图像的方法流程相同，为了说明书的简洁，在此就不再赘述了。

实施例三：

在实施例三中，提供了一种电子设备，在实际应用中，所述电子设备可以是手机、照相机、摄像机、平板电脑等电子设备，在本实施例中不再一一列举。

请参考图5，图5为本申请实施例三的电子设备的结构图，所述电子设备包括：

图像获取模块501，用于在第一时刻，获取第N帧图像；在第二时刻，获取第N+M帧图像，N、M为正整数；

传感器502，用于获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

计算模块503，用于根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

调整模块504，用于基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

在本实施例中，所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或

所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

在本实施例中，所述电子设备还包括：

接收模块，用于接收一用于开启所述电子设备的防抖功能的开启操作；

标定模块，用于基于所述开启操作，标定所述传感器的精度及工作时间。

在本实施例中，所述计算模块503还包括：

特征点提取单元，用于通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；

SFM单元，用于通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

在本实施例中，所述电子设备还包括：

修补模块，用于基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

在本实施例中，所述调整模块504包括：

计算单元，用于基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；

调整单元，用于基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

本实施例中提供的电子设备与实施例一和实施例二中提供的信息处理方法，是基于同一发明构思下的两个方面，在前面已经对方法的实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚的了解本实施例中的电子设备的结构及实施过程，为了说明书的简洁，在此就不再赘述了。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

1、本申请实施例提供的方法及电子设备，通过传感器获取电子设备的第一运动参数，并根据第一运动参数和电子设备获取的图像，计算出第二运动参数，再根据第一运动参数和第二运动参数，对获取的图像进行防抖处理，即通过传感器获取的第一运动参数来计算获取第二运动参数，不用通过计算获取所有运动参数来进行防抖处理，减少了数据处理量、提升了处理速度，能实现视频实时防抖的技术效果。

2、本申请实施例提供的方法及电子设备，在接收到开启防抖功能的开启操作后，会标定所述传感器的精度，以保证传感器的精度符合要求，还会标定所述传感器的工作时间，以保证传感器获取第一运动参数的时间与电子设备获取图像的时间同步，进而提高获取的第一运动参数的精确度。

3、本申请实施例提供的方法及电子设备，在调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，基于稀疏点云，利用图像修补算法修补第N帧图像和/或第N+M帧图像，能实现提高视频图像清晰度的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

具体来讲，本申请实施例中的两种信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上。

对于实施例一提供的信息处理方法，当存储介质中的与所述方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

在第一时刻，获取第N帧图像；

在第二时刻，获取第N+M帧图像，N、M为正整数；

通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

可选的，所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

可选的，所述存储介质中还存储有另外一些计算机指令，这些计算机指令在与步骤：在第一时刻，获取第N帧图像，对应的计算机指令被执行之前被执行，在被执行时包括如下步骤：

接收一用于开启所述电子设备的防抖功能的开启操作；

基于所述开启操作，标定所述传感器的精度及工作时间。

可选的，所述存储介质中存储的与步骤：根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；

通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

可选的，所述存储介质中还存储有另外一些计算机指令，这些计算机指令在与步骤：基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值，对应的计算机指令被执行之后被执行，在被执行时包括如下步骤：

基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；

其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

可选的，所述存储介质中存储的与步骤：基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；

基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种信息处理方法，应用于一电子设备中，所述电子设备具有传感器，所述方法包括：

在第一时刻，获取第N帧图像；

在第二时刻，获取第N+M帧图像，N、M为正整数；

通过所述传感器获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

2.如权利要求1所述的方法，其特征在于：

所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或

所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

3.如权利要求2所述的方法，其特征在于，在所述第一时刻之前，还包括：

接收一用于开启所述电子设备的防抖功能的开启操作；

基于所述开启操作，标定所述传感器的精度及工作时间。

4.如权利要求2所述的方法，其特征在于，所述根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，具体为：

通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；

通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

5.如权利要求4所述的方法，其特征在于，在所述基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值之后，所述方法还包括：

基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；

其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

6.如权利要求2所述的方法，其特征在于，所述基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值，具体为：

基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；

基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

7.一种电子设备，包括：

图像获取模块，用于在第一时刻，获取第N帧图像；在第二时刻，获取第N+M帧图像，N、M为正整数；

传感器，用于获取所述电子设备的第一运动参数，所述第一运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的第一运动的运动轨迹的参数；

计算模块，用于根据所述第一运动参数、所述第N帧图像和所述第N+M帧图像，计算出第二运动参数，所述第二运动参数是用于表征所述电子设备从所述第一时刻到所述第二时刻的与所述第一运动不同的第二运动的运动轨迹的参数；

调整模块，用于基于所述第一运动参数和所述第二运动参数，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。

8.如权利要求7所述的电子设备，其特征在于：

所述第一运动参数为通过陀螺仪获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数；或

所述第一运动参数为通过加速度计获取的用于表征所述电子设备从所述第一时刻到所述第二时刻的平移运动的运动轨迹的参数，所述第二运动参数为通过三维重构算法SFM计算出的用于表征所述电子设备从所述第一时刻到所述第二时刻的旋转运动的运动轨迹的参数。

9.如权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

接收模块，用于接收一用于开启所述电子设备的防抖功能的开启操作；

标定模块，用于基于所述开启操作，标定所述传感器的精度及工作时间。

10.如权利要求8所述的电子设备，其特征在于，所述计算模块还包括：

特征点提取单元，用于通过特征点获取算法，从所述第N帧图像和所述第N+M帧图像中提取出K组特征点坐标，K为大于等于3的正整数，其中，所述K组特征点坐标中的任一组特征点坐标包括：所述第N帧图像的第一特征点在所述第N帧图像上的坐标，和所述第N+M帧图像的第二特征点在所述第N+M帧图像上的坐标；且所述第一特征点与所述第二特征点为所述电子设备的拍摄对象上的同一个点分别在所述第N帧图像和所述第N+M帧图像中的成像点；

SFM单元，用于通过三维重构算法SFM，根据所述第一运动参数和所述K组特征点坐标，计算出所述第二运动参数。

11.如权利要求10所述的电子设备，其特征在于，所述电子设备还包括：

修补模块，用于基于所述第N帧图像和/或所述第N+M帧图像提取的稀疏点云，利用图像修补算法修补所述第N帧图像和/或所述第N+M帧图像中图像缺失或图像平滑度小于一预设平滑度的区域；其中，所述稀疏点云是基于所述K组特征点坐标、所述第一运动参数和所述第二运动参数，利用三维重构算法SFM，计算出的用于表征所述拍摄对象的三维结构的点的集合。

12.如权利要求8所述的电子设备，其特征在于，所述调整模块包括：

计算单元，用于基于所述第一运动参数和所述第二运动参数，计算出所述第一运动和所述第二运动造成的所述第N帧图像与所述第N+M帧图像间的图像抖动偏移值；

调整单元，用于基于所述图像抖动偏移值，利用平滑算法，调整所述第N帧图像与所述第N+M帧图像间的图像偏移值，使得所述偏移值小于一预设值。