CN107370941B - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种信息处理方法及电子设备，所述方法包括：开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及通信领域中的信息处理技术，尤其涉及一种信息处理方法及电子设备。

背景技术

用户使用电子设备，尤其是具备拍摄功能的电子设备进行抓拍时，常难以避免手抖，到导致照片模糊。这时三脚架拍摄、连拍挑选清晰照片或融合照片，以及光学防抖都无法凑效。单张图像去模糊的方法可以缓解图像模糊，虽然手持设备配备有惯性传感器(包括gyroscope和accelerometer)，但传感器存在噪声漂移，仍然会导致轨迹和模糊核估计不准。

发明内容

本发明的主要目的在于提出一种信息处理方法及电子设备，旨在解决现有技术中存在的上述问题。

为实现上述目的，本发明提供一种信息处理方法，应用于电子设备，包括：

开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；

检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

本发明实施例还提供了一种电子设备，所述电子设备包括第一摄像模组以及第二摄像模组，所述电子设备还包括：

控制单元，用于开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

计算单元，用于基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

修正单元，用于基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

本发明提出的一种信息处理方法及电子设备，在第一摄像模组针对第二对象进行拍摄得到初始图像，然后至少能够基于第二摄像模组拍摄得到的参考图像，计算得到电子设备的轨迹信息，进而基于电子设备的轨迹信息对初始图像进行修正得到修正后的图像。如此，在针对电子设备进行图像拍摄时，产生抖动的时候，采用另一个摄像模组的拍摄情况进行图像修正，避免了由传感器进行修正时，由于传感器的参数漂移所带来的无法准确修正的问题，提升了修正图像的准确度。

附图说明

图1为本发明实施例信息处理方法流程示意图；

图2为本发明实施例电子设备组成结构示意图1；

图3为本发明实施例电子设备组成结构示意图2；

图4为本发明实施例场景示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

实施例一、

本发明实施例提供一种信息处理方法，应用于电子设备，所述电子设备包括第一摄像模组以及第二摄像模组，如图1所示，包括：

步骤101：开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；

步骤102：检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

步骤103：基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

步骤104：基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

这里，所述电子设备中的摄像模组，可以为摄像头，所述第一以及第二摄像模组，可以为两个前摄像头，可以为两个后摄像头，也可以为一个前摄像头一个后摄像头，这里不进行穷举。

需要指出的是，本实施例中步骤101中，开启第二摄像模组的时刻，可以为一直保持开启状态，也可以为执行步骤102时开始执行。

进一步地，步骤101中，进行第一对象的拍摄可以为基于拍摄周期进行拍摄，拍摄周期可以为1ms或者更少的时间，这里不进行限定。

上述步骤102中，进行第二对象的拍摄，可以为仅拍摄一张，得到一张针对第二对象的初始图像。

步骤103中，基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息可以存在两种实施方式：

方式一、

当第一摄像模组进行拍摄时，以拍摄指令的发生时刻为中心时刻，以前后Nms为时间段，选取得到2N ms的时长作为选取参考图像的时长；N为整数；比如，可以为5ms，也就是说，选取拍摄指令的发生时刻的10ms内的候选图像作为参考图像；

然后基于参考图像计算得到执行拍摄指令时电子设备所产生的第一轨迹信息。

方式二、

确定检测到针对第一摄像模组的拍摄指令时，控制第二摄像模组进行对第一对象进行拍摄得到至少两个第一对象的候选图像；(即执行步骤102的同时，执行步骤101)；

然后将第二摄像模组的拍摄时长设置为预设时长，比如，可以为M ms(可以为10ms或者更长，这里不进行限定)；

将第二拍摄模组在拍摄时长内拍摄得到的全部候选图像作为参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息。

最后执行步骤104，采用第一轨迹信息，对第二对象的初始图像进行修正，得到针对第二对象的修正后的图像。

具体来说，采用第一轨迹信息进行图像的修正的方式可以包括：由校正后的w'xi,w'yi,w'zi,sxi,syi,和szi，我们可以得到第一摄像头的轨迹，即为模糊核(point spreadfunction)。最后，可采用经典的Wiener filter，恢复模糊前的图像，可以采用以下方式进行计算：

I’＝F{I}F{psf}*/(|F{psf}|2+Ф)；其中，w'xi,w'yi,w'zi,sxi,syi,和szi，分别表示三个维度的旋转角度以及平移向量；I表示初始图像，psf为三维矩阵，F{}表示傅里叶变换；|F{psf}|表示模运算，Ф为预设的常数；F{}*表示共轭计算；

再将I’进行反傅立叶变化，得到最终的修正后的图像。

通常电子设备，尤其是智能手机可以具备前置和后置摄像头，且刚体上的不同点的角速度一致。可以利用第二个摄像头的图像序列信息辅助估计第一个摄像头的旋转分量，同时根据实现标定的距离信息推算第一个摄像头的平移分量进而得到电子设备的轨迹信息，得到修正后的第二对象的图像。

可见，通过采用上述方案，在第一摄像模组针对第二对象进行拍摄得到初始图像，然后至少能够基于第二摄像模组拍摄得到的参考图像，计算得到电子设备的轨迹信息，进而基于电子设备的轨迹信息对初始图像进行修正得到修正后的图像。如此，在针对电子设备进行图像拍摄时，产生抖动的时候，采用另一个摄像模组的拍摄情况进行图像修正，避免了由传感器进行修正时，由于传感器的参数漂移所带来的无法准确修正的问题，提升了修正图像的准确度。

实施例二、

本发明实施例提供一种信息处理方法，应用于电子设备，所述电子设备包括第一摄像模组以及第二摄像模组，如图1所示，包括：

步骤101：开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；

步骤102：检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

步骤103：基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

步骤104：基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

这里，所述电子设备中的摄像模组，可以为摄像头，所述第一以及第二摄像模组，可以为两个前摄像头，可以为两个后摄像头，也可以为一个前摄像头一个后摄像头，这里不进行穷举。

本实施例与实施例一不同之处在于，为了去除第一摄像头拍到的模糊照片，第二摄像头和第一传感器(陀螺仪)同时工作，第二摄像头进入连拍(burst)模式，拍摄低分辨率、高帧率的图像序列，陀螺仪则以更高的采样频率记录设备的旋转角速度。

需要指出的是，本实施例中步骤101中，开启第二摄像模组的时刻，可以为一直保持开启状态，也可以为执行步骤102时开始执行；另外，执行步骤101还可以在通过传感器检测到电子设备产生抖动的时候开始执行，其中，电子设备产生抖动可以通过加速度传感器进行检测，比如检测到短时间内产生较大的加速度时，确定电子设备产生抖动。

进一步地，步骤101中，进行第一对象的拍摄可以为基于拍摄周期进行拍摄，拍摄周期可以为1ms或者更少的时间，这里不进行限定。

上述步骤102中，进行第二对象的拍摄，可以为仅拍摄一张，得到一张针对第二对象的初始图像。

步骤103中，基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息，与实施例一不同之处在于，本实施例除了前述两种方式之外，还可以配合传感器的参数执行第三种实施方式：

方式三、

所述方法还包括：进行角速度采集得到至少两个采样点的角速度以及采样时刻；其中，第一传感器进行角速度采集可以为一直执行，但是仅缓存一定时长内的角速度和采样时刻；或者，也可以为执行步骤102时，控制开始进行角速度采集。

相应的，所述基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中，选取得到至少两个参考图像时，所述方法还包括：

基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的采样时刻，选取得到至少两个参考采样点；

基于所述至少两个参考采样点所对应的角速度，计算得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；其中，所述第二轨迹信息中至少包括有至少两个相邻参考采样点之间的旋转角度。

基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的采样时刻，选取得到至少两个参考采样点，可以为：基于拍摄指令的发生时刻，选取前后2Nms作为选取时长，然后从缓存的多个采样点及其对应的采样时刻中，选取2N ms选取时长内的多个参考采样点。其中，N为整数。

相应的，所述基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像，包括：

基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正；

基于校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

具体的，所述基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正包括：

基于所述第一轨迹信息中的至少一个旋转角度，对所述第二轨迹信息中的至少两个相邻参考采样点之间的旋转角度进行校正，得到校正后的第二轨迹信息；

进一步地，还可以包括：所述基于所述第一轨迹信息中的至少两个平移向量，计算得到至少两个参考采样点所对应的平移向量；

将所述至少两个参考采样点所对应的平移向量，添加至校正后的第二轨迹信息。

具体来说，从第二摄像头的连拍序列中，依照经典光流算法反算相邻两帧之间摄像头的运动。步骤如下：

提取至少两个参考图像中每一个参考图像的特征点；

匹配相邻两帧参考图像的特征点，得到特征点对集；

根据特征点对的坐标，计算两帧图像的在成像平面上的单应矩阵homography H；

将homography矩阵H分解成旋转矩阵R和平移向量s和法向向量n，采用的具体方式可以如下：

H＝K2(R+s nT)K2-1，由此得到空间上的单应矩阵homography；

H2＝[R s；0 0 0 1]；

根据预先标定的双摄像头之间的标定的距离信息，表示为homographyHd，算出在此过程中第一摄像头的homography，即：H1＝Hd H2Hd-1；

基于H1＝[R1s1；0 0 0 1]，分解得到旋转矩阵R1和平移向量s1，进而计算沿三个坐标轴的旋转角度wx,wy,和wz。

再次，从第一传感器，也就是陀螺仪的采集点的采集数据中，计算摄像头的第二轨迹信息。具体步骤如下：

读取每个采样点的角速度和采样时刻；

根据采样时刻的差分，计算相邻两个采样点的间隔；

根据角速度和间隔，计算相邻两个采样点间的旋转角度，wxi,wyi和wzi。

陀螺仪数据虽然采样频率更高，更精细，但因为噪声，积分过程中会导致漂移，所以需要利用wx,wy,wz对wxt,wyt和wzt做校正。假设相邻两图像帧涵盖的陀螺仪采样点为i＝1,2,…,T。校正方法可以，但不仅限于使用线性校正方法：

w'xi＝(wx–wx1–wx2–…–wxT)(ti+1–ti)/(tT–t1)

w'yi＝(wy–wy1–wy2–…–wyT)(ti+1–ti)/(tT–t1)

w'zi＝(wz–wz1–wz2–…–wzT)(ti+1–ti)/(tT–t1)

同时，陀螺仪等运动传感器无法准确感知摄像头的平移，所以我们利用平移向量s来估算陀螺仪采样点的平移分量。估算方法可以是，但不仅限于使用线性方法：

sxi＝sx(ti+1–ti)/(tT–t1)

syi＝sy(ti+1–ti)/(tT–t1)

szi＝sz(ti+1–ti)/(tT–t1)。

由于本实施例提供的场景可以应用于具备两个摄像头的场景，因此需要首先确定两个摄像头之间的标定距离，homography Hd，可以包括：

选定两处位置同时固定摆放两张测试卡，选定两处位置摆放手机或其它相机设备，确保手机在所在位置上时，其两个相机能分别拍摄完整的测试卡。手机固定在第一处位置时，第一摄像头和第二摄像头分别拍摄对应的测试卡，得到图像I11和I12；手机移动到第二处位置时，得到图像I21和I22。

由I11和I12计算得到H1；由I21和I22计算得到H2。解方程H1Hd＝Hd H2可得到Hd。

进一步地，为了减小误差干扰，可以挑选不同的位置，拍摄多组{I11,I12,I21I22}，采用最小二乘估计计算更稳定的Hd。

最后执行步骤104，采用第一轨迹信息，对第二对象的初始图像进行修正，得到针对第二对象的修正后的图像。

具体来说，采用第一轨迹信息进行图像的修正的方式可以包括：由校正后的w'xi,w'yi,w'zi,sxi,syi,和szi，我们可以得到第一摄像头的轨迹，即为模糊核(point spreadfunction)。最后，可采用经典的Wiener filter，恢复模糊前的图像：

I’＝F{I}F{psf}*/(|F{psf}|2+Ф)；其中，w'xi,w'yi,w'zi,sxi,syi,和szi，分别表示三个维度的旋转角度以及平移向量；I表示初始图像，psf为三维矩阵，F{}表示傅里叶变换；|F{psf}|表示模运算，Ф为预设的常数。

通常电子设备，尤其是智能手机可以具备前置和后置摄像头，且刚体上的不同点的角速度一致。可以利用第二个摄像头的图像序列信息辅助估计第一个摄像头的旋转分量，同时根据实现标定的距离信息推算第一个摄像头的平移分量进而得到电子设备的轨迹信息，得到修正后的第二对象的图像。

可见，通过采用上述方案，在第一摄像模组针对第二对象进行拍摄得到初始图像，然后至少能够基于第二摄像模组拍摄得到的参考图像，计算得到电子设备的轨迹信息，进而基于电子设备的轨迹信息对初始图像进行修正得到修正后的图像。如此，在针对电子设备进行图像拍摄时，产生抖动的时候，采用另一个摄像模组的拍摄情况进行图像修正，避免了由传感器进行修正时，由于传感器的参数漂移所带来的无法准确修正的问题，提升了修正图像的准确度。

实施例三、

本发明实施例提供一种电子设备，如图2所示，所述电子设备包括第一摄像模组21以及第二摄像模组22，所述电子设备还包括：

控制单元23，用于开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

计算单元24，用于基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

修正单元25，用于基于所述第一轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

这里，所述电子设备中的摄像模组，可以为摄像头，所述第一以及第二摄像模组，可以为两个前摄像头，可以为两个后摄像头，也可以为一个前摄像头一个后摄像头，这里不进行穷举。

进一步地，控制单元23，用于进行第一对象的拍摄可以为基于拍摄周期进行拍摄，拍摄周期可以为1ms或者更少的时间，这里不进行限定。

上述进行第二对象的拍摄，可以为仅拍摄一张，得到一张针对第二对象的初始图像。

计算单元，用于执行存在两种实施方式：

方式一、

当第一摄像模组进行拍摄时，以拍摄指令的发生时刻为中心时刻，以前后Nms为时间段，选取得到2N ms的时长作为选取参考图像的时长；N为整数；比如，可以为5ms，也就是说，选取拍摄指令的发生时刻的10ms内的候选图像作为参考图像；

然后基于参考图像计算得到执行拍摄指令时电子设备所产生的第一轨迹信息。

方式二、

确定检测到针对第一摄像模组的拍摄指令时，控制第二摄像模组进行对第一对象进行拍摄得到至少两个第一对象的候选图像；

然后将第二摄像模组的拍摄时长设置为预设时长，比如，可以为M ms(可以为10ms或者更长，这里不进行限定)；

将第二拍摄模组在拍摄时长内拍摄得到的全部候选图像作为参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息。

最后修正单元，用于采用第一轨迹信息进行图像的修正的方式可以包括：由校正后的w'xi,w'yi,w'zi,sxi,syi,和szi，我们可以得到第一摄像头的轨迹，即为模糊核(point spread function)。最后，可采用经典的Wiener filter，恢复模糊前的图像：

I’＝F{I}F{psf}*/(|F{psf}|2+Ф)；其中，w'xi,w'yi,w'zi,sxi,syi,和szi，分别表示三个维度的旋转角度以及平移向量；I表示初始图像，psf为三维矩阵，F{}表示傅里叶变换；|F{psf}|表示模运算，Ф为预设的常数。

通常电子设备，尤其是智能手机可以具备前置和后置摄像头，且刚体上的不同点的角速度一致。可以利用第二个摄像头的图像序列信息辅助估计第一个摄像头的旋转分量，同时根据实现标定的距离信息推算第一个摄像头的平移分量进而得到电子设备的轨迹信息，得到修正后的第二对象的图像。

可见，通过采用上述方案，在第一摄像模组针对第二对象进行拍摄得到初始图像，然后至少能够基于第二摄像模组拍摄得到的参考图像，计算得到电子设备的轨迹信息，进而基于电子设备的轨迹信息对初始图像进行修正得到修正后的图像。如此，在针对电子设备进行图像拍摄时，产生抖动的时候，采用另一个摄像模组的拍摄情况进行图像修正，避免了由传感器进行修正时，由于传感器的参数漂移所带来的无法准确修正的问题，提升了修正图像的准确度。

实施例四、

本发明实施例与实施例三不同之处在于，为了去除第一摄像头拍到的模糊照片，第二摄像头和第一传感器(陀螺仪)同时工作，第二摄像头进入连拍(burst)模式，拍摄低分辨率、高帧率的图像序列，陀螺仪则以更高的采样频率记录设备的旋转角速度。

基于图2，参见图3，本实施例所述电子设备还包括：传感单元26，用于进行角速度采集得到至少两个采样点的角速度以及采样时刻；

相应的，所述计算单元，用于基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的采样时刻，选取得到至少两个参考采样点；基于所述至少两个参考采样点所对应的角速度，计算得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；其中，所述第二轨迹信息中至少包括有至少两个相邻参考采样点之间的旋转角度。

进行角速度采集得到至少两个采样点的角速度以及采样时刻；其中，第一传感器进行角速度采集可以为一直执行，但是仅缓存一定时长内的角速度和采样时刻；或者，也可以为执行步骤102时，控制开始进行角速度采集。

所述修正单元，用于基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正；

基于校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

具体的，所述基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正包括：

基于所述第一轨迹信息中的至少一个旋转角度，对所述第二轨迹信息中的至少两个相邻参考采样点之间的旋转角度进行校正，得到校正后的第二轨迹信息；

进一步地，所述计算单元，用于所述基于所述第一轨迹信息中的至少两个平移向量，计算得到至少两个参考采样点所对应的平移向量；

将所述至少两个参考采样点所对应的平移向量，添加至校正后的第二轨迹信息。

具体来说，从第二摄像头的连拍序列中，依照经典光流算法反算相邻两帧之间摄像头的运动。步骤如下：

提取至少两个参考图像中每一个参考图像的特征点；

匹配相邻两帧参考图像的特征点，得到特征点对集；

根据特征点对的坐标，计算两帧图像的在成像平面上的单应矩阵homography H；

将homography矩阵H分解成旋转矩阵R和平移向量s和法向向量n，采用的具体方式可以如下：

H＝K2(R+s nT)K2-1，由此得到空间上的单应矩阵homography；

H2＝[R s；0 0 0 1]；

根据预先标定的双摄像头之间的标定的距离信息，表示为homographyHd，算出在此过程中第一摄像头的homography，即：H1＝Hd H2Hd-1；

基于H1＝[R1s1；0 0 0 1]，分解得到旋转矩阵R1和平移向量s1，进而计算沿三个坐标轴的旋转角度wx,wy,和wz。

再次，从第一传感器，也就是陀螺仪的采集点的采集数据中，计算摄像头的第二轨迹信息。具体步骤如下：

读取每个采样点的角速度和采样时刻；

根据采样时刻的差分，计算相邻两个采样点的间隔；

根据角速度和间隔，计算相邻两个采样点间的旋转角度，wxi,wyi和wzi。

陀螺仪数据虽然采样频率更高，更精细，但因为噪声，积分过程中会导致漂移，所以需要利用wx,wy,wz对wxt,wyt和wzt做校正。假设相邻两图像帧涵盖的陀螺仪采样点为i＝1,2,…,T。校正方法可以，但不仅限于使用线性校正方法：

w'xi＝(wx–wx1–wx2–…–wxT)(ti+1–ti)/(tT–t1)

w'yi＝(wy–wy1–wy2–…–wyT)(ti+1–ti)/(tT–t1)

w'zi＝(wz–wz1–wz2–…–wzT)(ti+1–ti)/(tT–t1)

同时，陀螺仪等运动传感器无法准确感知摄像头的平移，所以我们利用平移向量s来估算陀螺仪采样点的平移分量。估算方法可以是，但不仅限于使用线性方法：

sxi＝sx(ti+1–ti)/(tT–t1)

syi＝sy(ti+1–ti)/(tT–t1)

szi＝sz(ti+1–ti)/(tT–t1)。

由于本实施例提供的场景可以应用于具备两个摄像头的场景，因此需要首先确定两个摄像头之间的标定距离，homography Hd，可以包括：

选定两处位置同时固定摆放两张测试卡，选定两处位置摆放手机或其它相机设备，确保手机在所在位置上时，其两个相机能分别拍摄完整的测试卡。手机固定在第一处位置时，第一摄像头和第二摄像头分别拍摄对应的测试卡，得到图像I11和I12；手机移动到第二处位置时，得到图像I21和I22。

由I11和I12计算得到H1；由I21和I22计算得到H2。解方程H1Hd＝Hd H2可得到Hd。

进一步地，为了减小误差干扰，可以挑选不同的位置，拍摄多组{I11,I12,I21I22}，采用最小二乘估计计算更稳定的Hd。

最后修正单元采用第一轨迹信息，对第二对象的初始图像进行修正，得到针对第二对象的修正后的图像。

具体来说，采用第一轨迹信息进行图像的修正的方式可以包括：由校正后的w'xi,w'yi,w'zi,sxi,syi,和szi，我们可以得到第一摄像头的轨迹，即为模糊核(point spreadfunction)。最后，可采用经典的Wiener filter，恢复模糊前的图像，可以采用以下方式进行计算：

I’＝F{I}F{psf}*/(|F{psf}|2+Ф)；其中，w'xi,w'yi,w'zi,sxi,syi,和szi，分别表示三个维度的旋转角度以及平移向量；I表示初始图像，psf为三维矩阵，F{}表示傅里叶变换；|F{psf}|表示模运算，Ф为预设的常数；F{}*表示共轭计算；

再将I’进行反傅立叶变化，得到最终的修正后的图像。

通常电子设备，尤其是智能手机可以具备前置和后置摄像头，且刚体上的不同点的角速度一致。可以利用第二个摄像头的图像序列信息辅助估计第一个摄像头的旋转分量，同时根据实现标定的距离信息推算第一个摄像头的平移分量进而得到电子设备的轨迹信息，得到修正后的第二对象的图像。

本实施例提供的处理场景，可以参见图4，其中，第一摄像模组针对第二对象，也就是某一个人物进行拍摄，并得到初始图像；同时提取第二摄像模组在拍摄发生时刻的10ms内的4个图像，分别为图像1-4，基于图像1-4得到第一轨迹信息；并且第一传感器同时得到采样点的三个维度的角速度，得到第二轨迹信息。虽然图中未示出如何进行针对初始图像的修正，但是基于本实施例前述处理，可以得知基于第二摄像模组以及传感器分别得到的第一轨迹信息以及第二轨迹信息进行初始图像的修正的处理方案。

可见，通过采用上述方案，在第一摄像模组针对第二对象进行拍摄得到初始图像，然后至少能够基于第二摄像模组拍摄得到的参考图像，计算得到电子设备的轨迹信息，进而基于电子设备的轨迹信息对初始图像进行修正得到修正后的图像。如此，在针对电子设备进行图像拍摄时，产生抖动的时候，采用另一个摄像模组的拍摄情况进行图像修正，避免了由传感器进行修正时，由于传感器的参数漂移所带来的无法准确修正的问题，提升了修正图像的准确度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，装置，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种信息处理方法，应用于电子设备，所述电子设备包括第一摄像模组以及第二摄像模组，所述方法包括：

开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；

检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

进行角速度采集得到至少两个采样点的角速度以及采样时刻；

基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；

基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的角速度以及采样时刻，得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；

基于所述第一轨迹信息和所述第二轨迹信息对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像；

其中，所述基于所述第一轨迹信息和所述第二轨迹信息对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像，包括：

基于所述第一轨迹信息对所述第二轨迹信息进行校正，得到校正后的第二轨迹信息，并利用所述校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的角速度以及采样时刻，得到执行拍摄指令时所述电子设备所产生的第二轨迹信息，包括：

基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的采样时刻，选取得到至少两个参考采样点；

基于所述至少两个参考采样点所对应的角速度，计算得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；其中，所述第二轨迹信息中至少包括有至少两个相邻参考采样点之间的旋转角度。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一轨迹信息和所述第二轨迹信息对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像，包括：

基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正；

基于校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正包括：

基于所述第一轨迹信息中的至少一个旋转角度，对所述第二轨迹信息中的至少两个相邻参考采样点之间的旋转角度进行校正，得到校正后的第二轨迹信息。

5.根据权利要求3所述的方法，其特征在于，基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正，包括：

所述基于所述第一轨迹信息中的至少两个平移向量，计算得到至少两个参考采样点所对应的平移向量；

将所述至少两个参考采样点所对应的平移向量，添加至校正后的第二轨迹信息。

6.一种电子设备，所述电子设备包括第一摄像模组以及第二摄像模组，所述电子设备还包括：

控制单元，用于开启第二摄像模组对第一对象进行拍摄得到至少两个第一对象的候选图像；检测到针对第一摄像模组的拍摄指令时，控制所述第一摄像模组针对第二对象进行拍摄，得到针对所述第二对象的初始图像；

传感单元，用于进行角速度采集得到至少两个采样点的角速度以及采样时刻；

计算单元，用于基于所述针对第一摄像模组的拍摄指令的发生时刻，从所述至少两个第一对象的候选图像中选取得到至少两个参考图像，基于选取的至少两个参考图像，计算得到执行拍摄指令时所述电子设备所产生的第一轨迹信息；基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的角速度以及采样时刻，得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；

修正单元，用于基于所述第一轨迹信息和所述第二轨迹信息对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像；

其中，所述修正单元，具体用于实现以下步骤：

基于所述第一轨迹信息对所述第二轨迹信息进行校正，得到校正后的第二轨迹信息，并利用所述校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

7.根据权利要求6所述的电子设备，其特征在于，所述计算单元，用于基于所述针对第一摄像模组的拍摄指令的发生时刻，以及所述至少两个采样点的采样时刻，选取得到至少两个参考采样点；基于所述至少两个参考采样点所对应的角速度，计算得到执行拍摄指令时所述电子设备所产生的第二轨迹信息；其中，所述第二轨迹信息中至少包括有至少两个相邻参考采样点之间的旋转角度。

8.根据权利要求7所述的电子设备，其特征在于，所述修正单元，用于基于所述第一轨迹信息中的至少两个平移向量、和/或、至少两个旋转角度，对所述第二轨迹信息进行校正；基于校正后的第二轨迹信息，对所述第二对象的初始图像进行修正，得到针对所述第二对象的修正后的图像。

9.根据权利要求8所述的电子设备，其特征在于，所述计算单元，用于基于所述第一轨迹信息中的至少一个旋转角度，对所述第二轨迹信息中的至少两个相邻参考采样点之间的旋转角度进行校正，得到校正后的第二轨迹信息。

10.根据权利要求8所述的电子设备，其特征在于，所述计算单元，用于所述基于所述第一轨迹信息中的至少两个平移向量，计算得到至少两个参考采样点所对应的平移向量；将所述至少两个参考采样点所对应的平移向量，添加至校正后的第二轨迹信息。

Images