CN105894486B - 一种基于imu信息的手机夜拍方法 - Google Patents

Abstract

本发明提供一种基于imu信息的手机夜拍方法，在手机上安装一个陀螺仪，在每次手机拍照的同时，陀螺仪会输出当前手机运动的角度信息也即imu信息。在针对夜拍情况时，手机对同一目标连续拍摄5幅图像{A_i|i＝1,…,5}，与此同时，陀螺仪输出每幅图像的imu信息。本发明提出的夜拍方法分别使用imu信息对每幅图像进行校正，然后对所有校正后的图像进行融合，得到一幅高质量的夜拍图像。本发明提出方法所需的装置要求简单，成本较低，算法部分计算复杂度不大，能够较好的实现手机的夜拍功能，具有很好的实用价值。

Description

一种基于imu信息的手机夜拍方法

技术领域

本发明涉及图像处理领域、陀螺仪稳像技术领域，特指一种基于imu信息的手机夜拍方法。

背景技术

近年来随着摄像技术的不断发展，手机的拍照功能越来越强大，已逐步取代照相机成为人们日常拍照的主流产品。照相手机给人们的生活带来许多的方便，但是随着手机的不断更新换代，特别是八百万像素甚至千万像素的照相手机开始崭露头角，人们对手机照相功能的要求也在不断的提高。仅在白天等正常环境下拍摄出高质量稳定的图像已不能满足消费者的要求，人们对夜拍功能的追求日益强烈，希望在夜间也能像白天一样拍出高质量的效果。

为了实现手机的夜拍功能，手机制造商往往通过提高一些部件的规格来解决问题。其一是提高手机拍照的像素值，像素值的提高意味着解析度的增强，也就是说画面当中呈现的景物更加丰富，使得画面整体效果更加逼真。同时高像素也意味着手机内部的感光元件(CCD 或者CMOS)的处理能力更强，这对于光线不足条件下的拍摄尤其重要。但高像素也意味着手机成本需要提高，且单纯靠提高像素值的方法对夜拍效果提升有限。其二是提高感光度(ISO 值)，这样用户可以适当提高快门，从而获得稳定的成像。但高感光度会带来噪点的增多，对画质有一定影响。

此外，手机在拍照时会提供一些专业模式，如夜晚、微光等模式，对一些参数进行调整，使之更适合夜间拍摄。但这种方式只是对一些拍摄参数的微调，改善夜间拍摄图像的效果比较有限。

发明内容

针对现有技术的不足，提出一种基于imu信息的手机夜拍方法，在手机上安装一个陀螺仪，在每次手机拍照的同时，陀螺仪会输出当前手机运动的角度信息也即imu(惯性测量单元)信息。在针对夜拍情况时，手机对同一目标连续拍摄5幅图像{A_i|i＝1,…,5}，与此同时，陀螺仪输出每幅图像的imu信息。本发明使用imu信息对每幅图像进行校正，然后对所有校正后的图像进行融合，得到一幅 高质量的夜拍图像。

一种基于imu信息的手机夜拍方法，其特征在于，包括以下步骤：

S1.在手机上安装一个陀螺仪，在夜拍时，手机对同一目标连续拍摄5幅图像 {A_i|i＝1,…,5，}与此同时，陀螺仪输出每幅图像的imu信息。

S2.使用IMU信息对每幅图像进行校正，得到新的5幅源图像{B_i|i＝1,…,5}。

S3.对5幅源图像{B_i|i＝1,…,5}进行融合，得到初始融合图像B_all。

S4.采用基于源图像高质量区域检测的方法对初始融合图像B_all进行改进，得到最终融合图像newB_all。

S4.1分别计算初始融合图像B_all和源图像{B_i|i＝1,…,5}的相似程度，共得到5个相似度 {SAD_i(x,y)|i＝1,…,5}；

S4.2通过到5个相似度{SAD_i(x,y)|i＝1,…,5}来判断每个源图像的高质量区域，得到所有像素点对应的高质量索引index(x,y)；

S4.3通过每个像素点的高质量索引index(x,y)，对融合图像B_all进行改进，得到最终的融合结果，记为newB_all。

本发明的有益效果是：

本发明提出的基于imu信息的手机夜拍方法及装置，在手机端装有陀螺仪，获取手机拍照时的运动信息，然后基于imu信息对夜拍的5幅图像进行校正，最后对校正的5幅图像进行融合，得到一幅 高质量的夜拍图像。本发明提出方法所需的装置要求简单，成本较低，算法部分计算复杂度不大，能够较好的实现手机的夜拍功能，具有很好的实用价值。

附图说明

图1是本发明提出的带夜拍功能的手机装置示意图；

图2是本发明提出的图像融合方法的流程图。

具体实施方式

下面结合具体实施例，对本发明一种基于imu信息的手机夜拍方法做详细的描述。

带夜拍功能的手机装置如图1所示，在手机上安装一个陀螺仪，在每次手机拍照的同时，陀螺仪会输出当前手机运动的角度信息也即imu(惯性测量单元)信息。在针对夜拍情况时，手机对同一目标连续拍摄5幅图像{A_i|i＝1,…,5}，与此同时，陀螺仪输出每幅图像的imu信息。本发明提出的夜拍方法分别使用imu信息对每幅图像进行校正，然后对所有校正后的图像进行融合，得到一幅 高质量的夜拍图像。

本发明使用IMU信息对每幅图像进行校正，得到新的5幅源图像{B_i|i＝1,…,5}，具体步骤如下：

已知手机拍照的焦距是f，将手机拍摄的第k帧和第k-1帧图像分别设为参考帧和当前帧。当前帧图像的IMU信息也即陀螺仪角度信息为(ω^k _x,ω^k _y)，是第k帧图像相对于第k-1帧图像的平移信息。那么第k帧图像相对于第1帧图像的平移信息为：将第k帧图像 A_k进行平移，平移矢量为即得到新的第k帧图像B_k。

对手机拍摄的5幅图像都进行上述处理，可以得到新的5幅源图像{B_i|i＝1,…,5}，由于都是夜拍图像，每张图像都存在不同的模糊或噪声，因此需要对这5幅图像进行融合，充分吸收每幅图像高清的部分，以获取对同一场景的更为精确、更为全面、更为可靠的一幅 图像。

目前像素级的图像融合方法大致可分为三大类：简单的图像融合方法、基于塔形分解(如 Laplace塔形分解、比率塔等)的图像融合方法和基于小波变换的图像融合方法。其中小波变换具有许多优良特性,如方向选择性、可变的时频域分辨率以及分析数据量小等，可以聚焦到图像的任意细节。采用小波方法对图像进行融合处理，可以保证既不损失待融合图像的所有信息也不会产生冗余信息，是图像融合的一种强有力的工具。

本发明采用基于小波变换的图像融合方法，充分利用小波变换的多尺度特性，对新的5 幅源图像{B_i|i＝1,…,5}进行融合，充分融合每幅图像的高清部分，获得一幅 高质量的夜拍图像，具体步骤如下：

分别对5幅源图像{B_i|i＝1,…,5}选择Haar小波进行经典的二维离散小波分解，得到源图像的低频分量和高频分量，而且高频分量包含三个分量：水平高频分量、垂直高频分量和主对角高频分量。也即对其中任一幅图像B_k，经过小波分解可以得到一个低频分量B_kLL，三个方向的高频分量B_kLH、B_kHL、B_kHH。

图像的低频反映了图像的轮廓，图像的高频反映了图像的细节。因此需要用不同的融合规则来处理。

本发明对低频分量采用平均的方式进行处理，记处理后的低频分量为B_allLL：

对三个高频分量分别采用绝对值取最大的方式进行处理，记处理后的高频分量分别为 B_allLH、B_allHL、B_allHH：

然后对处理后的低频分量B_allLL和高频分量B_allLH、B_allHL、B_allHH进行小波重构，得到一幅 融合图像，记为初始融合图像B_all。

通过上述方法获得的融合图像B_all整体质量有了明显提高，但与源图像中最清晰的部分相比还存在一定程度的损失。这是因为，现有的融合规则不能保证绝对选择到最佳区域。

为了进一步提高夜拍图像的质量，本发明在基于小波变换的基础上，提出了一种基于源图像高质量区域检测的改进方法，首先通过融合图像B_all和源图像{B_i|i＝1,…,5}的相似程度判断源图像的高质量也即清晰区域，然后使用这个信息对融合图像B_all进行改进，得到最终的融合结果，记为newB_all。具体步骤如下：

(1)分别计算融合图像B_all和源图像{B_i|i＝1,…,5}的相似程度。

由于图像之间差异较小，不存在尺度的问题，本发明采用绝对误差和准则SAD来计算两幅图像的相似度：

其中m、n分别表示对像素点(x,y)的偏移量，取值范围从-2到2。

也即对每个像素点(x,y)，采用邻域5×5内的所有像素的绝对误差和来表示在该点两幅图像的相似度。一共可以得到5个相似度{SAD_i(x,y)|i＝1,…,5}。从定义可以看到，SAD值越小，说明相似程度越大。

(2)通过到5个相似度{SAD_i(x,y)|i＝1,…,5}来判断每个源图像的高质量区域。

对融合图像上的每个像素点(x,y)，一共可以得到5个相似度取值{SAD_i(x,y)|i＝1,…,5}。将其中最小的SAD值对应的序号作为此像素点的高质量索引index(x,y)。用公式表示如下：

index(x,y)＝k

SAD值最小，说明在该点这幅源图像B_k和融合图像B_all的相似程度最大，也即说明在该点质量最好的图像信息在源图像B_k上。遍历融合图像上所有的像素点，可以得到所有像素点对应的高质量索引index(x,y)。

(3)通过每个像素点的高质量索引index(x,y)。对融合图像B_all进行改进，得到最终的融合结果，记为newB_all。

这里D表示满足如下条件：首先index(x,y)＝k，然后以点(x,y)为中心的3×3邻域里每个像素的索引均为k，用公式表示为：这意味着只有以点(x,y)为中心的整个3×3邻域里每个像素的索引均为k，最终融合图像newB_all在该点(x,y)选择源图像B_k的信息，否则还是选择初始融合图像B_all的信息。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (7)

1.一种基于imu信息的手机夜拍方法，其特征在于，包括以下步骤：

S1.在手机上安装一个陀螺仪，在夜拍时，手机对同一目标连续拍摄5幅图像{A_i|i＝1,…,5，}与此同时，陀螺仪输出每幅图像的imu信息；

S2.使用imu 信息对每幅图像进行校正，得到新的5幅源图像{B_i|i＝1,…,5}，方法如下：

已知手机拍照的焦距是f，将手机拍摄的第k帧和第k-1帧图像分别设为参考帧和当前帧；当前帧图像的imu 信息为(ω^k _x,ω^k _y)，当前帧图像的imu 信息是第k帧图像相对于第k-1帧图像的平移信息；那么第k帧图像相对于第1帧图像的平移信息为：将第k帧图像A_k进行平移，平移矢量为即得到新的第k帧图像B_k；

对手机拍摄的5幅图像都进行上述处理，得到新的5幅源图像{B_i|i＝1,…,5}；

S3.对5幅源图像{B_i|i＝1,…,5}进行融合，得到初始融合图像B_all；

S4.采用基于源图像高质量区域检测的方法对初始融合图像B_all进行改进，得到最终融合图像newB_all。

2.根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S3中采用基于塔形分解的图像融合方法或基于小波变换的图像融合方法对5幅源图像{B_i|i＝1,…,5}进行融合，得到初始融合图像B_all。

3.根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S3中采用基于小波变换的图像融合方法对5幅图像{B_i|i＝1,…,5}进行融合，方法如下：

分别对5幅源图像{B_i|i＝1,…,5}选择Haar小波进行二维离散小波分解，得到源图像的低频分量和高频分量，其中高频分量包含三个分量：水平高频分量、垂直高频分量和主对角高频分量；也即对其中任一幅图像B_k，经过二维离散小波分解可以得到一个低频分量B_kLL，三个方向的高频分量B_kLH、B_kHL、B_kHH；

对低频分量采用平均的方式进行处理，记处理后的低频分量为B_allLL：

对三个高频分量分别采用绝对值取最大的方式进行处理，记处理后的高频分量分别为B_allLH、B_allHL、B_allHH：

然后对处理后的低频分量B_allLL和高频分量B_allLH、B_allHL、B_allHH进行小波重构，得到一幅融合图像，记为初始融合图像B_all。

4.根据权利要求1所述的基于imu信息的手机夜拍方法，其特征在于，S4包含以下步骤：

S4.1分别计算初始融合图像B_all和源图像{B_i|i＝1,…,5}的相似程度，共得到5个相似度{SAD_i(x,y)|i＝1,…,5}；

S4.2通过到5个相似度{SAD_i(x,y)|i＝1,…,5}来判断每个源图像的高质量区域，得到所有像素点对应的高质量索引index(x,y)；

S4.3通过每个像素点的高质量索引index(x,y)，对融合图像B_all进行改进，得到最终的融合结果，记为newB_all。

5.根据权利要求4所述的基于imu信息的手机夜拍方法，其特征在于，S4.1中采用绝对误差和准则SAD来计算两幅图像的相似度：

其中m、n分别表示对像素点(x,y)的偏移量，取值范围从-2到2；

对每个像素点(x,y)，采用邻域5×5内的所有像素的绝对误差和来表示在该点两幅图像的相似度，一共可以得到5个相似度{SAD_i(x,y)|i＝1,…,5}，SAD值越小，说明相似程度越大。

6.根据权利要求4所述的基于imu信息的手机夜拍方法，其特征在于，S4.2中，对融合图像上的每个像素点(x,y)，一共可以得到5个相似度取值{SAD_i(x,y)|i＝1,…,5}；将其中最小的SAD值对应的序号作为此像素点的高质量索引index(x,y)，用公式表示如下：

index(x,y)＝k

SAD值最小，说明在该点这幅源图像B_k和融合图像B_all的相似程度最大，也即说明在该点质量最好的图像信息在源图像B_k上，遍历融合图像上所有的像素点，可以得到所有像素点对应的高质量索引index(x,y)。

7.根据权利要求4所述的基于imu信息的手机夜拍方法，其特征在于，在S4.3中，通过每个像素点的高质量索引index(x,y)，对融合图像B_all进行改进的方法为：

其中：D表示满足如下条件：首先index(x,y)＝k，然后以点(x,y)为中心的3×3邻域里每个像素的索引均为k，用公式表示为：仅当以点(x,y)为中心的整个3×3邻域里每个像素的索引均为k，最终融合图像newB_all在该点(x,y)选择源图像B_k的信息，否则还是选择初始融合图像B_all的信息。