CN104065854A - 一种图像处理方法及一种电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及一种电子设备，用于解决现有技术中存在的利用多帧图像融合降噪时图像配准对硬件造成较大运算压力的问题。所述方法应用于电子设备，所述电子设备包括图像采集单元及运动传感单元，所述运动传感单元用于检测所述图像采集单元的运动参数；所述方法包括：在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

Description

一种图像处理方法及一种电子设备

技术领域

本发明涉及图像处理领域，特别涉及一种图像处理方法及一种电子设备。

背景技术

随着数字图像采集技术的快速发展，不仅数码相机、数字摄像机等图像采集设备已经普及，而且诸如智能手机、平板电脑、智能手表等设备也能够具有良好的图像采集功能。但是由于设备中感光元件的尺寸有限，造成单个像素的感光面积偏小，单位时间内能够接收的光子数量有限，导致在光线较弱的环境中照片的曝光量不足，成像效果很差。

目前解决这一问题的两种方法为：其一，延长曝光时间，使感光元件得到足够的光输入，能够产生较高信噪比的输出，但是手持设备进行图像采集时的相机抖动会造成运动模糊；其二，对感光元件的输出进行增益，但同时会放大基底噪声，造成图像出现明显噪点，严重影响图像质量。

采用高感光度拍摄能够实现曝光时间较短、图像清晰，但是还是会引入大量噪点，需要对图像进行降噪处理。由于数字图像信号中噪声随机产生，所以通过多帧图像融合降噪能够大幅降低噪声，但是手持设备拍摄多帧图像时同样容易出现相机抖动，这样在多帧图像融合时需要通过搜索相似像素进行图像配准，这就给设备硬件造成很大的运算压力，且时效性很差。

发明内容

本申请提供一种图像处理方法及一种电子设备，用于解决现有技术中存在的利用多帧图像融合降噪时图像配准对硬件造成较大运算压力的问题，实现了根据运动传感单元记录相机运动参数，进而根据运动参数快速对多帧图像进行配准。

本申请一方面提供了一种图像处理方法，应用于电子设备，所述电子设备包括图像采集单元及运动传感单元，所述运动传感单元用于检测所述图像采集单元的运动参数；所述方法包括：在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

可选的，所述N帧图像为所述图像采集单元在图像预览模式下获取，所述降噪图像为预览图像；在所述根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像之后，所述方法还包括：通过所述电子设备的显示单元显示所述预览图像。

可选的，所述至少根据第1运动参数至第N运动参数对所述N帧图像进行配准，包括：根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准；确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准。

可选的，所述根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准，包括：确定所述N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；根据所述第i运动参数及第k运动参数确定所述第i帧图像与所述第k帧图像间的变换矩阵，其中，i不等于k；根据所述变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像对齐。

可选的，所述确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准，包括：确定所述第k帧图像中至少一个点或至少一个区块为所述特征部，k为小于等于N的正整数；在所述第i帧图像中搜索与所述特征部相对应的像素部，其中，i不等于k；根据所述特征部与所述像素部间的偏移量生成第二变换矩阵；根据所述第二变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像进行二次对齐。

可选的，所述根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像，包括：计算配准后的所述N帧图像的像素平均值，生成降噪图像；其中，计算配准后的所述N帧图像的像素平均值时，所述第i帧图像的权重与所述第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者所述第i帧图像的权重与所述第i帧图像和所述第k帧图像的时域差异值成负相关关系，所述第k帧图像为所述N帧图像中的参考帧。

本申请另一方面提供一种电子设备，所述电子设备包括图像采集单元和运动传感单元，所述运动传感单元用于检测所述图像采集单元的运动参数；所述电子设备包括：运动参数获取模块，用于在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；配准模块，用于至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；降噪模块，用于根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

可选的，所述N帧图像为所述图像采集单元在图像预览模式下获取，所述降噪图像为预览图像；所述电子设备还包括：显示模块，用于在生成所述降噪图像之后，通过所述电子设备的显示单元显示所述预览图像。

可选的，所述配准模块包括：第一配准子模块，用于根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准；第二配准子模块，用于确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准。

可选的，所述第一配准子模块具体用于：确定所述N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；以及根据所述第i运动参数及第k运动参数确定所述第i帧图像与所述第k帧图像间的变换矩阵，其中，i不等于k；以及根据所述变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像对齐。

可选的，所述第二配准子模块具体用于：确定所述第k帧图像中至少一个点或至少一个区块为所述特征部，k为小于等于N的正整数；以及在所述第i帧图像中搜索与所述特征部相对应的像素部，其中，i不等于k；以及根据所述特征部与所述像素部间的偏移量生成第二变换矩阵；以及根据所述第二变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像进行二次对齐。

可选的，所述降噪模块具体用于：计算配准后的所述N帧图像的像素平均值，生成降噪图像；其中，所述降噪模块在计算配准后的所述N帧图像的像素平均值时，所述第i帧图像的权重与所述第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者所述第i帧图像的权重与所述第i帧图像和所述第k帧图像的时域差异值成负相关关系，所述第k帧图像为所述N帧图像中的参考帧。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本申请实施例中，能够通过运动传感单元记录图像采集单元获得图像时的运动参数，根据运动参数将对应的N帧图像配准，进而以配准的N帧图像进行融合降噪，获得降噪图像。相对于单纯依靠搜索相似像素进行配准的方式，根据运动参数进行图像配准所耗费的运算量大幅减小，而且运动参数的获取是随着图像采集实时进行的，而运算量的减小将大幅减小整个图像处理的时间，时效性得到大幅提高。

2、本申请实施例中，在图像预览阶段，将获取的多帧图像来融合降噪获得预览图像，由于通过运动传感单元记录的运动参数进行多帧图像配准时耗时很少，可以在满足图像处理时效性要求的情况下大幅降低预览图像的噪点。

3、本申请实施例中，在根据运动传感单元记录的运动参数将N帧图像进行一次配准后，再将每一帧图像中的特征部对齐，即搜索相似像素将N帧图像进行二次配准，进而获得更好的图像匹配结果，以避免运动传感单元的工作误差导致N帧图像一次配准后不能完全匹配。

4、本申请实施例中，由于N帧图像已经通过运动参数进行了一次配准，N帧图像间的像素偏移量为零或者偏移量很小，因此搜索相似像素进行二次配准时的运算量大幅减小，所耗费的时间也很短。

附图说明

图1为本申请实施例1中图像处理方法的流程示意图；

图2为本申请实施例1中步骤102的细化流程示意图；

图3为本申请实施例1中步骤104的细化流程示意图；

图4为本申请实施例1中步骤105的细化流程示意图；

图5为本申请实施例2中电子设备的示意框图；

图6为本申请实施例2中配准模块20的细化示意框图。

具体实施方式

本申请提供一种图像处理方法及一种电子设备，用于解决现有技术中存在的利用多帧图像融合降噪时图像配准对硬件造成较大运算压力的问题，实现了根据运动传感单元记录相机运动参数，进而根据运动参数快速对多帧图像进行配准。

下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

实施例1

本申请通过实施例1提供一种图像处理方法，应用于电子设备，该电子设备包括图像采集单元及运动传感单元，运动传感单元用于检测图像采集单元的运动参数。具体来讲，电子设备可以为数码相机、数码摄像机、智能手机、平板电脑、智能手表、智能眼镜等设备，图像采集单元为摄像头，其感光元件可以是电荷耦合元件(英文：Charge-coupled Device；简称：CCD)，也可以是互补金属氧化物半导体(英文：Complementary Metal Oxide Semiconductor；简称：CMOS)，或者其他能够进行感光成像的感光元器件。运动传感单元可以为加速度传感器、陀螺仪、重力传感计、旋转向量传感器，等等，其可以基于硬件实现，也可以基于软件实现，另外，运动传感单元也可以是多个相分离或集成在一起的传感单元，本申请实施例不予限定。

参见图1，该图像处理方法包括以下步骤：

步骤101：在图像采集单元获取连续的N帧图像时，通过运动传感单元获取第i运动参数，第i运动参数为图像采集单元在获取N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；

步骤102：至少根据第1运动参数至第N运动参数对N帧图像进行配准；

步骤103：根据降噪算法对配准后的N帧图像进行处理，生成降噪图像。

具体来讲，步骤101中，i的取值从1到N，即：图像采集单元获取每一帧图像时，运动传感单元记录下图像采集单元对应的运动参数。

步骤102中，根据记录的运动参数能够计算出图像采集单元的运动轨迹，对应地可以获知多帧图像相互间的偏移情况，即：根据多帧图像对应的运动参数即可获得多帧图像间的变换矩阵，根据变换矩阵即可对多帧图像进行配准。

步骤102的具体实施过程中，在根据记录的运动参数对多帧图像进行配准后，还可以通过搜索相似像素的方式对N帧图像进行二次配准，由于N帧图像已经通过运动参数进行了一次配准，N帧图像间的像素偏移量为零或者偏移量很小，因此搜索相似像素进行二次配准时的运算量大幅减小，所耗费的时间也很短。

步骤103中，计算配准后的N帧图像的像素平均值即可获得降噪图像。其中，降噪算法为计算N帧图像的像素平均值的具体算法，其可以是求N帧图像的像素的算术平均值，也可以是求N帧图像像素的加权平均值；也可以是以递归的方式求平均值，即：根据之前图像的平均值获得的降噪图像作为输入，与新的一帧进行平均降噪；另外，求平均值时可以是以帧为单位计算、也可以是以像素点或者是像素块为单位计算平均值。本申请实施例中对于具体采用何种降噪算法进行降噪处理不予限定。

通过上述技术方案，能够通过运动传感单元记录图像采集单元获得图像时的运动参数，根据运动参数将对应的N帧图像配准，进而以配准的N帧图像进行融合降噪，获得降噪图像。相对于单纯依靠搜索相似像素进行配准的方式，根据运动参数进行图像配准所耗费的运算量大幅减小，而且运动参数的获取是随着图像采集实时进行的，而运算量的减小将大幅减小整个图像处理的时间，时效性得到大幅提高。

进一步，本申请实施例中，N帧图像为图像采集单元在图像预览模式下获取，降噪图像为预览图像；在步骤103：根据降噪算法对配准后的N帧图像进行处理，生成降噪图像之后，图像处理方法还包括：

通过电子设备的显示单元显示预览图像。

具体来讲，在图像预览阶段，用户需要根据预览图像的效果决定图像采集的策略，因此对时效性的要求更高。实际实施过程中，可以根据电子设备的硬件运算能力设定预览图像阶段获取图像的帧率，如在运算能力较高的情况下，帧率可以稍高一点，如大于30帧每秒。

通过上述技术方案，在图像预览阶段，将获取的多帧图像来融合降噪获得预览图像，由于通过运动传感单元记录的运动参数进行多帧图像配准时耗时很少，可以在满足图像处理时效性要求的情况下大幅降低预览图像的噪点。

进一步，参见图2，步骤102：至少根据第1运动参数至第N运动参数对N帧图像进行配准，包括：

步骤104：根据第1运动参数至第N运动参数对N帧图像进行一次配准；

步骤105：确定N帧图像中的特征部，将N帧图像中每一帧图像中的特征部对齐，以对N帧图像进行二次配准。其中，特征部可以为像素点或像素区块。

上述技术方案中，在根据运动传感单元记录的运动参数将N帧图像进行一次配准后，再将每一帧图像中的特征部对齐，即搜索相似像素将N帧图像进行二次配准，进而获得更好的图像匹配结果，以避免运动传感单元的工作误差导致N帧图像一次配准后不能完全匹配。而且，由于N帧图像已经通过运动参数进行了一次配准，N帧图像间的像素偏移量为零或者偏移量很小，因此搜索相似像素进行二次配准时的运算量大幅减小，所耗费的时间也很短。

具体的，参见图3，步骤104：根据第1运动参数至第N运动参数对N帧图像进行一次配准，包括以下内容：

步骤1041：确定N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；

步骤1042：根据第i运动参数及第k运动参数确定第i帧图像与第k帧图像间的变换矩阵，其中，i不等于k；

步骤1043：根据变换矩阵对第i帧图像进行图像变换处理，以将处理后的第i帧图像与第k帧图像对齐。

具体来讲，步骤1041中，N帧图像中的任一帧图像都可以作为参考帧，N帧图像中的其余帧均与参考帧一一配准，进而实现N帧图像的配准，通常情况下选择时域内的第1帧图像作为参考帧。为了便于描述，本申请以下内容中不妨以第1帧图像为参考帧，但不能以此对本申请保护范围予以限定。

步骤1042中，i的取值为1至N中不包括k的N-1个数，以k＝1为例，i的取值为2，3，…，N，即：通过第1帧图像对应的运动参数及余下的N-1帧图像中每一帧图像对应的运动参数，计算出第1帧图像与第i帧图像间的变换矩阵具体实施过程中，可以基于多种数学模型来计算变换矩阵，如刚体变换模型、仿射变换模型、投影变换模型、非线性变换模型，等等。下面以刚体变换模型为例具体介绍变换矩阵的确定，以及通过变换矩阵进行一次配准的方式，对于其它数学模型的实现方式本申请实施例不再一一举例。

用户在拍摄连续的N帧图像的过程中，由于手的轻微抖动，N帧图像间将产生像素位置的偏移，而两帧图像间像素位置的偏移与拍摄两帧图像时图像采集单元的空间位置偏移相对应。因此，通过确定图像采集单元的空间位置偏移量即可确定对应的两帧图像间的像素偏移量。

在刚体变换模型中，图像采集单元的空间位置变化可以看作是平移、旋转和前后移动的组合，对应地，描述两帧图像间的像素偏移的变换矩阵可以由平移矩阵、旋转矩阵以及缩放因子组成。不妨以平行于感光面的平面为x-y面，垂直于感光面的方向为z轴构建坐标系，其中，平移矩阵用于描述第1帧图像与第i帧图像在x-y面内上下左右的偏移，旋转矩阵用于描述由于图像采集单元的旋转造成的两帧图像视角的偏差，而缩放因子用于描述由于图像采集单元在z轴方向上的移动导致的两帧图像中像素点在深度上的偏差。

以第1运动参数为(a₁，b₁，c₁)，第i运动参数为(a_i，b_i，c_i)为例，平移矩阵为(t_x，t_y)^T，t_x＝a₁-a_i，t_y＝b₁-b_i；旋转矩阵为 $\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right],$ 其中θ为旋转角，可以根据记录图像采集单元旋转状态的传感器获取，也可以通过第1运动参数和第i运动参数转化求解出来；缩放因子m＝f₁(c₁-c_i)，为(c₁-c_i)的函数，简化模型中m＝k(c₁-c_i)，k为常数。

在步骤1043中，在确定出第1帧图像与第i帧图像间的变化矩阵以后，可以根据该变换矩阵对第i帧图像进行图像变换，使得变换后的第i帧图像与第1帧图像对齐。沿用前述刚体变换模型的例子，确定出平移矩阵、旋转矩阵以及缩放因子以后，可针对第i帧图像中每一点(x_ij，y_ij)作以下处理： $m\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]*{(x_{\mathrm{ij}},y_{\mathrm{ij}})}^T+{(t_x,t_y)}^T={(x_{\mathrm{ij}}^{\′},y_{\mathrm{ij}}^{\′})}^T,$ 所有点(x'_ij，y'_ij)即构成变换后的与第1帧图像一次对齐后的第i帧图像。

进一步，参见图4，步骤105：确定N帧图像中的特征部，将N帧图像中每一帧图像中的特征部对齐，以对N帧图像进行二次配准，包括：

步骤1051：确定第k帧图像中至少一个点或至少一个区块为特征部，k为小于等于N的正整数；

步骤1052：在第i帧图像中搜索与特征部相对应的像素部，其中，i不等于k；

步骤1053：根据特征部与像素部间的偏移量生成第二变换矩阵；

步骤1054：根据第二变换矩阵对第i帧图像进行图像变换处理，以将处理后的第i帧图像与第k帧图像进行二次对齐。

具体来讲，步骤1051中，特征部可以为像素点，也可以为像素区块，其确定方式可以是随机选取，也可以是根据参考帧中的焦点位置确定，或者通过分析参考帧中的特征部位确定，如确定图像中的人脸部分为特征部；另外，特征部可以只为一个点或者一个像素区块，也可以为多个点或者多个像素区块。其中，选取一个点或者一个区块作为特征部能够大幅提高对齐速率。

步骤1052中，在参考帧以外的N-1帧图像中分别搜索与特征部匹配的像素部，沿用第1帧为参考帧的例子，即在第i帧中搜索与第1帧中特征部匹配的像素部，i的取值为2到N。

步骤1053中，计算第i帧中的与第1帧特征部匹配的像素部与第1帧特征部的偏移量，即为第二变换矩阵。

步骤1054中根据该第二变换矩阵对第i帧图像作图像变换处理，即可实现第i帧图像与第1帧图像的二次配准，在第2帧图像至第N帧图像全部与第1帧图像实现二次配准后，即可实现N帧图像的二次配准。

本申请实施例中，上述一次配准和二次配准的过程中，均是将N帧图像中参考帧以外的N-1帧图像分别与参考帧进行对齐，进而实现N帧图像的对齐。实际实施过程中，也可以先将第1帧图像与第2帧图像对齐，再将第3帧图像与第2帧图像对齐，以此类推，直至将第N帧图像与第N-1帧图像对齐，也可以实现N帧图像的对齐。本申请实施例意图保护这一实现配准的技术方案。

进一步，步骤103：根据降噪算法对配准后的N帧图像进行处理，生成降噪图像，包括：

计算配准后的N帧图像的像素平均值，生成降噪图像。

具体的，N帧图像的像素平均值可以在灰度通道内计算，或者是在RGB色彩通道内计算，或者是在其他的色彩通道内计算，本申请实施例对此不予限定。

另外，从计算次数来讲，计算N帧图像的像素平均值又可以分为：

方式1，一次运算中计算出N帧图像的像素平均值，如计算N帧图像的像素的算术平均值，或者加权平均值；

方式2，递归降噪方式，即将第1帧与第2帧求平均，生成的降噪图像作为输入与第3帧图像求平均，以此类推，直至计算出前N-1帧图像的像素平均值，再将前N-1帧图像的像素平均值作为输入与第N帧图像进行像素平均值的计算。

进一步，计算配准后的N帧图像的像素平均值时，第i帧图像的权重与第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者第i帧图像的权重与第i帧图像和第k帧图像的时域差异值成负相关关系，第k帧图像为N帧图像中的参考帧。

具体来讲，计算像素平均值时，至少可以通过三种方式来分配不同帧的权重：

其一，每一帧的权重相同，均为1/n。

其二，每一帧的权重不相同，与参考帧图像差异值较大的图像帧的权重较小，与参考帧图像差异值较小的图像帧的权重较大，以降低降噪图像中的残影显现。实际实施过程中，两帧图像间的图像差异值可以在灰度图像上计算，也可以在RGB色彩通道上独立计算，下面给出以正规化的平方差来度量图像差异值的公式： $R(F_k,F_i)={\mathrm{\Σ}}_{x\∈F_k,x^{\′}\∈F_i}{\left[\mathrm{Ix}{-\mathrm{Ix}}^{\′}\right]}^2,$ 其中，Ix与I'x分别为第k帧图像F_k、第i帧图像F_i上相对应的两点的像素值。实际情况中，还可以采用其他公式来度量图像间的差异值，本申请不再一一举例。

其三，每一帧的权重不相同，与参考帧时域差异值较大的图像帧的权重较小，与参考帧时域差异值较小的图像帧的权重较大。在应用于递归降噪时，即第1帧至第i帧的平均值作为输入的权重大于第i+1帧的权重，这样可明显抑制在后新获取的图像帧引入新的噪声，提高降噪图像的效果。

其中，在一次计算N帧图像的平均值时，不管N帧图像的权重是否相同，所有帧权重之和都等于1；在递归方式计算N帧图像的平均值时，第1帧至第i帧的平均值作为输入的权重与第i+1帧的权重之和等于1。

上述技术方案中，根据N帧图像与参考帧间时域差异值和/或图像差异值对每一帧图像的权重进行差异化设置，可以进一步优化降噪图像的成像质量。

进一步，计算配准后的N帧图像的像素平均值时，根据求平均值的最小单位，又可以分为三种情况：

情况1，在一次配准或者在二次配准后，以整帧为单位计算N帧图像的平均值。

情况2，在一次配准或者在二次配准后，在参考帧以外的N-1帧图像中搜索与参考帧中一个像素点对应的像素点，然后计算相匹配的一组(N个)像素点的平均值，以此类推，直至求出参考帧中每个像素点对应的一组像素点的平均值，组合起来即为融合降噪图像。即，以像素点为求平均值的最小单元。

情况3，将参考帧划分为n个区块，在一次配准或者在二次配准后，在参考帧以外的N-1帧图像中搜索与参考帧中一个区块对应的像素块，然后计算相匹配的一组(N个)像素区块的平均值，以此类推，直至求出参考帧中每个区块对应的一组像素区块的平均值，组合起来即为融合降噪图像。即，以像素区块为求平均值的最小单元。

进一步，本申请实施例中，在根据N帧图像生成降噪图像时，可以剔除配准后与参考帧的像素差异值大于设定阈值的帧，进而避免个别差异较大帧引入大量噪声。

实施例2

与实施例1中的图像处理方法相对应，本申请通过实施例2提供一种电子设备，该电子设备包括图像采集单元和运动传感单元，该运动传感单元用于检测图像采集单元的运动参数；参见图5，电子设备包括：

运动参数获取模块10，用于在图像采集单元获取连续的N帧图像时，通过运动传感单元获取第i运动参数，第i运动参数为图像采集单元在获取N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；

配准模块20，用于至少根据第1运动参数至第N运动参数对N帧图像进行配准；

降噪模块30，用于根据降噪算法对配准后的N帧图像进行处理，生成降噪图像。

通过上述技术方案，能够通过运动传感单元记录图像采集单元获得图像时的运动参数，根据运动参数将对应的N帧图像配准，进而以配准的N帧图像进行融合降噪，获得降噪图像。相对于单纯依靠搜索相似像素进行配准的方式，根据运动参数进行图像配准所耗费的运算量大幅减小，而且运动参数的获取是随着图像采集实时进行的，而运算量的减小将大幅减小整个图像处理的时间，时效性得到大幅提高。

进一步，N帧图像为图像采集单元在图像预览模式下获取，降噪图像为预览图像；继续参见图5，电子设备还包括：

显示模块40，用于在生成降噪图像之后，通过电子设备的显示单元显示预览图像。

进一步，参见图6，配准模块20包括：

第一配准子模块21，用于根据第1运动参数至第N运动参数对N帧图像进行一次配准；

第二配准子模块22，用于确定N帧图像中的特征部，将N帧图像中每一帧图像中的特征部对齐，以对N帧图像进行二次配准。

进一步，第一配准子模块21具体用于：确定N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；以及根据第i运动参数及第k运动参数确定第i帧图像与第k帧图像间的变换矩阵，其中，i不等于k；以及根据变换矩阵对第i帧图像进行图像变换处理，以将处理后的第i帧图像与第k帧图像对齐。

进一步，第二配准子模块22具体用于：确定第k帧图像中至少一个点或至少一个区块为特征部，k为小于等于N的正整数；以及在第i帧图像中搜索与特征部相对应的像素部，其中，i不等于k；以及根据特征部与像素部间的偏移量生成第二变换矩阵；以及根据第二变换矩阵对第i帧图像进行图像变换处理，以将处理后的第i帧图像与第k帧图像进行二次对齐。

进一步，降噪模块30具体用于：计算配准后的N帧图像的像素平均值，生成降噪图像；

其中，降噪模块30在计算配准后的N帧图像的像素平均值时，第i帧图像的权重与第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者第i帧图像的权重与第i帧图像和第k帧图像的时域差异值成负相关关系，第k帧图像为N帧图像中的参考帧。

前述实施例中的图像处理方法中的各种图像处理方式和具体实例同样适用于本实施例的电子设备，通过前述实施例中对图像处理方法的详细描述，本领域技术人员可以清楚的知道本实施例中电子设备的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本申请实施例中，能够通过运动传感单元记录图像采集单元获得图像时的运动参数，根据运动参数将对应的N帧图像配准，进而以配准的N帧图像进行融合降噪，获得降噪图像。相对于单纯依靠搜索相似像素进行配准的方式，根据运动参数进行图像配准所耗费的运算量大幅减小，而且运动参数的获取是随着图像采集实时进行的，而运算量的减小将大幅减小整个图像处理的时间，时效性得到大幅提高。

2、本申请实施例中，在图像预览阶段，将获取的多帧图像来融合降噪获得预览图像，由于通过运动传感单元记录的运动参数进行多帧图像配准时耗时很少，可以在满足图像处理时效性要求的情况下大幅降低预览图像的噪点。

3、本申请实施例中，在根据运动传感单元记录的运动参数将N帧图像进行一次配准后，再将每一帧图像中的特征部对齐，即搜索相似像素将N帧图像进行二次配准，进而获得更好的图像匹配结果，以避免运动传感单元的工作误差导致N帧图像一次配准后不能完全匹配。

4、本申请实施例中，由于N帧图像已经通过运动参数进行了一次配准，N帧图像间的像素偏移量为零或者偏移量很小，因此搜索相似像素进行二次配准时的运算量大幅减小，所耗费的时间也很短。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

具体来讲，本申请实施例中的信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与信息处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；

至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；

根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

可选的，所述N帧图像为所述图像采集单元在图像预览模式下获取，所述降噪图像为预览图像；存储介质中还存储有另外一些计算机指令，这些计算机指令在与步骤：根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像，对应的计算机指令被执行之后被执行，在被执行时包括如下步骤：

通过所述电子设备的显示单元显示所述预览图像。

可选的，存储介质中存储的与步骤：至少根据第1运动参数至第N运动参数对所述N帧图像进行配准，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准；

确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准。

可选的，存储介质中存储的与步骤：根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

确定所述N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；

根据所述第i运动参数及第k运动参数确定所述第i帧图像与所述第k帧图像间的变换矩阵，其中，i不等于k；

根据所述变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像对齐。

可选的，存储介质中存储的与步骤：确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

确定所述第k帧图像中至少一个点或至少一个区块为所述特征部，k为小于等于N的正整数；

在所述第i帧图像中搜索与所述特征部相对应的像素部，其中，i不等于k；

根据所述特征部与所述像素部间的偏移量生成第二变换矩阵；

根据所述第二变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像进行二次对齐。

可选的，存储介质中存储的与步骤：根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像，对应的计算机指令在具体被执行过程中，具体包括如下步骤：

计算配准后的所述N帧图像的像素平均值，生成降噪图像；

其中，计算配准后的所述N帧图像的像素平均值时，所述第i帧图像的权重与所述第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者所述第i帧图像的权重与所述第i帧图像和所述第k帧图像的时域差异值成负相关关系，所述第k帧图像为所述N帧图像中的参考帧。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种图像处理方法，应用于电子设备，所述电子设备包括图像采集单元及运动传感单元，所述运动传感单元用于检测所述图像采集单元的运动参数；所述方法包括：

在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；

至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；

根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

2.如权利要求1所述的方法，其特征在于，所述N帧图像为所述图像采集单元在图像预览模式下获取，所述降噪图像为预览图像；在所述根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像之后，所述方法还包括：

通过所述电子设备的显示单元显示所述预览图像。

3.如权利要求1或2所述的方法，其特征在于，所述至少根据第1运动参数至第N运动参数对所述N帧图像进行配准，包括：

根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准；

确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准。

4.如权利要求3所述的方法，其特征在于，所述根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准，包括：

确定所述N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；

根据所述第i运动参数及第k运动参数确定所述第i帧图像与所述第k帧图像间的变换矩阵，其中，i不等于k；

根据所述变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像对齐。

5.如权利要求3所述的方法，其特征在于，所述确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准，包括：

确定所述第k帧图像中至少一个点或至少一个区块为所述特征部，k为小于等于N的正整数；

在所述第i帧图像中搜索与所述特征部相对应的像素部，其中，i不等于k；

根据所述特征部与所述像素部间的偏移量生成第二变换矩阵；

根据所述第二变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像进行二次对齐。

6.如权利要求1或2所述的方法，其特征在于，所述根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像，包括：

计算配准后的所述N帧图像的像素平均值，生成降噪图像；

其中，计算配准后的所述N帧图像的像素平均值时，所述第i帧图像的权重与所述第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者所述第i帧图像的权重与所述第i帧图像和所述第k帧图像的时域差异值成负相关关系，所述第k帧图像为所述N帧图像中的参考帧。

7.一种电子设备，所述电子设备包括图像采集单元和运动传感单元，所述运动传感单元用于检测所述图像采集单元的运动参数；所述电子设备包括：

运动参数获取模块，用于在所述图像采集单元获取连续的N帧图像时，通过所述运动传感单元获取第i运动参数，所述第i运动参数为所述图像采集单元在获取所述N帧图像中第i帧图像时的运动参数，N为大于等于2的整数，i为小于等于N的正整数；

配准模块，用于至少根据第1运动参数至第N运动参数对所述N帧图像进行配准；

降噪模块，用于根据降噪算法对配准后的所述N帧图像进行处理，生成降噪图像。

8.如权利要求7所述的电子设备，其特征在于，所述N帧图像为所述图像采集单元在图像预览模式下获取，所述降噪图像为预览图像；所述电子设备还包括：

显示模块，用于在生成所述降噪图像之后，通过所述电子设备的显示单元显示所述预览图像。

9.如权利要求7或8所述的电子设备，其特征在于，所述配准模块包括：

第一配准子模块，用于根据所述第1运动参数至所述第N运动参数对所述N帧图像进行一次配准；

第二配准子模块，用于确定所述N帧图像中的特征部，将所述N帧图像中每一帧图像中的所述特征部对齐，以对所述N帧图像进行二次配准。

10.如权利要求9所述的电子设备，其特征在于，所述第一配准子模块具体用于：确定所述N帧图像中的第k帧图像为参考帧，k为小于等于N的正整数；以及根据所述第i运动参数及第k运动参数确定所述第i帧图像与所述第k帧图像间的变换矩阵，其中，i不等于k；以及根据所述变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像对齐。

11.如权利要求9所述的电子设备，其特征在于，所述第二配准子模块具体用于：确定所述第k帧图像中至少一个点或至少一个区块为所述特征部，k为小于等于N的正整数；以及在所述第i帧图像中搜索与所述特征部相对应的像素部，其中，i不等于k；以及根据所述特征部与所述像素部间的偏移量生成第二变换矩阵；以及根据所述第二变换矩阵对所述第i帧图像进行图像变换处理，以将处理后的所述第i帧图像与所述第k帧图像进行二次对齐。

12.如权利要求7或8所述的电子设备，其特征在于，所述降噪模块具体用于：计算配准后的所述N帧图像的像素平均值，生成降噪图像；

其中，所述降噪模块在计算配准后的所述N帧图像的像素平均值时，所述第i帧图像的权重与所述第i帧图像和作为参考帧的第k帧图像的图像差异值成负相关关系，或者所述第i帧图像的权重与所述第i帧图像和所述第k帧图像的时域差异值成负相关关系，所述第k帧图像为所述N帧图像中的参考帧。