CN103973958A - 图像处理方法及设备 - Google Patents

Abstract

本申请提供一种图像处理方法及设备。所述图像处理方法包括：通过移动设备获得连续拍摄的曝光度不同的至少三张图像；对所述至少三张图像执行基于高动态范围光照渲染的图像处理；以及将所述图像处理的结果融合为结果图。根据本申请，能够弥补移动设备拍摄的图像由于动态范围压缩导致的信息丢失，消除由于手抖动导致的图像鬼影，最大程度地保持图像的真实度。

Description

图像处理方法及设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及设备。

背景技术

普通移动设备的感光元件可获取的图像像素动态范围（亮度从最暗到最亮的颜色范围）仅是0～255这256个离散值。而在拍摄取景时，由于在拍摄取景的区域中最暗和最亮的差距非常大，所以导致这个差距被分配到256个离散值里之后就无法在拍摄到的图像中表现出较细微的颜色变化。因此，当拍摄取景区域的光照变化的动态范围较大时，会出现部分区域过曝光或者欠曝光的现象，导致这些区域不同颜色值的像素呈现出相同的颜色，使得拍摄到的图像的颜色失真。

目前，为了解决移动设备的拍摄图像的动态范围（即图像像素动态范围）过小的问题，通常采用以下两种方法。

第一种方法是使用单张图像来调节亮度曲线，调节欠曝光区域和过曝光区域的颜色值分布，以增大颜色值分布的范围。例如，如图5A～图5C所示那样，图5A是处理前的图像，亮度值分布集中在0～128。根据图5B所示的亮度值映射曲线进行调节，得到如图5C所示的均匀分布的亮度值范围。但是，这种使用单张图像来调节亮度曲线的方法，存在由单张图像的信息量不足而导致的渲染效果差的问题。

第二种方法是采用高动态范围光照渲染技术（即HDR技术）。高动态范围光照渲染技术是使用移动设备拍摄图像并对其进行处理，从而获取高动态范围的图像，这样就能够保持图像色彩的真实度。例如如图6A～图6C所示，图6A是欠曝光图像，图6B是过曝光图像，图6C是经过HDR技术处理后的图像。对于使用多张不同曝光度的图像进行合成的方法，由于欠曝光图像在亮处保留了较丰富的信息，而过曝光图像在暗处保留了较丰富的信息，所以在将多张图像合成为结果图时，结果图中的每个像素的像素值是结合了多张图像中的对应像素的像素值而计算出来的，可见这种方法是利用了多张图像的信息来进行合成的。这种使用多张图像进行合成的方法是将多张图像直接叠加在一起来合成图像，由于不同的图像在同一位置的像素所占权重不同，并且在拍照时时常发生手的抖动，所以往往是多张图像不能完全对齐，这样就会导致合成的图像出现鬼影。

发明内容

本申请的主要目的在于提供一种图像处理方法及设备，以解决现有技术存在的移动设备拍摄到的图像由于动态范围压缩导致的信息丢失、由于手抖动导致的图像鬼影等问题，其中：

本申请涉及一种图像处理方法，包括：通过移动设备获得连续拍摄的曝光度不同的至少三张图像；对所述至少三张图像执行基于高动态范围光照渲染的图像处理；以及将所述图像处理的结果融合为结果图。

另外，在本申请涉及的图像处理方法中，所述基于高动态范围光照渲染的图像处理包括：对所述至少三张图像进行对齐的处理。

另外，在本申请涉及的图像处理方法中，所述至少三张图像中的每张图像的曝光度不同，并且将所述至少三张图像中的一张图像作为基准图像，并将除基准图像以外的其他图像均作为非基准图像。

另外，在本申请涉及的图像处理方法中，所述对齐的处理包括：对所述至少三张图像分别进行特征点提取，并将每张非基准图像中的特征点与所述基准图像中的对应的特征点进行匹配来获得每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移；根据获得的所述每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移，获取每张非基准图像相对于所述基准图像的相对位移；以及根据所获取的所述每张非基准图像相对于所述基准图像的相对位移将所述至少三张图像进行位置对齐。

另外，在本申请涉及的图像处理方法中，所述基于高动态范围光照渲染的图像处理还包括：对所述至少三张图像进行每个像素的权重运算的处理。

另外，在本申请涉及的图像处理方法中，所述权重运算的处理包括：计算所述基准图像中的每个像素的权重作为基准权重值，并根据所述每张非基准图像相对于所述基准图像的相对位移来计算所述每个像素分别在所述每张非基准图像中的对应像素的权重作为非基准权重值；将计算出的所述每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理；以及根据归一化处理的结果，计算所述每个像素的像素值。

另外，在本申请涉及的图像处理方法中，所述图像处理的结果是计算出的所述每个像素的像素值。

另外，在本申请涉及的图像处理方法中，所述将所述图像处理的结果融合为结果图是以预定方式将所述图像处理的结果融合为结果图。所述预定方式优选是拉普拉斯金字塔融合的方式。

另外，在本申请涉及的图像处理方法中，所述基准图像是正常曝光度图像，所述非基准图像包含曝光度比基准图像低的欠曝光度图像和曝光度比基准图像高的过曝光度图像。

此外，本申请还涉及一种图像处理设备，包括：获取装置，被配置成从移动设备获得连续拍摄的曝光度不同的至少三张图像；处理装置，被配置成对所述至少三张图像执行基于高动态范围光照渲染的图像处理；以及合成装置，被配置成将所述图像处理的结果融合为结果图。

另外，在本申请涉及的图像处理设备中，所述处理装置进一步包括：对齐装置，被配置成对所述至少三张图像进行位置对齐。

另外，在本申请涉及的图像处理设备中，所述至少三张图像中的每张图像的曝光度不同，并且将所述至少三张图像中的一张图像作为基准图像，并将除基准图像以外的其他图像均作为非基准图像。

另外，在本申请涉及的图像处理设备中，所述对齐装置包括：特征点位移计算单元，被配置成对所述至少三张图像分别进行特征点提取，并将每张非基准图像中的特征点与所述基准图像中的对应的特征点进行匹配来获得每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移；图像位移计算单元，被配置成根据获得的所述每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移，获取每张非基准图像相对于所述基准图像的相对位移；以及图像对齐单元，根据所获取的所述每张非基准图像相对于所述基准图像的相对位移将所述至少三张图像进行对齐。

另外，在本申请涉及的图像处理设备中，所述处理装置还包括：运算装置，被配置成对所述至少三张图像进行每个像素的权重运算。

另外，在本申请涉及的图像处理设备中，所述运算装置进一步包括：权重计算单元，被配置成计算所述基准图像中的每个像素的权重作为基准权重值，并根据所述每张非基准图像相对于所述基准图像的相对位移来计算所述每个像素分别在所述每张非基准图像中的对应像素的权重作为非基准权重值；归一化处理单元，被配置成将计算出的所述每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理；以及像素值计算单元，被配置成根据归一化处理的结果来计算所述每个像素的像素值。

另外，在本申请涉及的图像处理设备中，所述图像处理的结果是计算出的所述每个像素的像素值。

另外，在本申请涉及的图像处理设备中，所述将所述图像处理的结果融合为结果图是以预定方式将所述图像处理的结果融合为结果图。所述预定方式优选是拉普拉斯金字塔融合的方式。

另外，在本申请涉及的图像处理设备中，所述基准图像是正常曝光度图像，所述非基准图像包含曝光度比基准图像低的欠曝光度图像和曝光度比基准图像高的过曝光度图像。

与现有技术相比，根据本申请的技术方案，能够弥补移动设备拍摄的图像由于动态范围压缩导致的信息丢失，消除由于手抖动导致的图像鬼影，最大程度地保持图像的真实度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的图像处理方法的具体流程图；

图2是本申请实施例的图像处理方法的概略流程示意图；

图3是本申请实施例的图像处理设备的结构示意图；

图4是本申请实施例的图3中的处理装置302的结构示意图；

图5A～图5C是表示以往的使用单张图像来调节亮度曲线的方法的示意图；

图6A～图6C是表示以往的使用HDR技术来处理图像的方法的示意图。

具体实施方式

本申请的主要思想在于，基于高动态范围光照渲染技术对移动设备拍摄的图像进行处理。在图像处理过程中，每个步骤之间不是简单的串联关系，而是松弛有度的统一体。即，通过使用曝光度不同的多张图像来获取更多的图像细节信息，以弥补移动设备拍摄到的图像由于动态范围压缩而导致的信息丢失的缺陷；通过从每张图像中提取特征点并进行特征点匹配来解决由于人手的抖动导致图像未对齐的问题；通过进行像素权重的计算来最大程度地保持图像的细节信息；通过采用拉普拉斯金字塔融合方法来进一步弥补由多张图像未对齐所带来的影响。并且，使用包含多种信息参数的权重计算公式，通过对这些参数进行微调来最大程度地保持图像的细节信息。

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

<图像处理方法>

图1是本申请实施例的图像处理方法的具体流程图，图2是本申请实施例的图像处理方法的概略流程示意图。如图2所示，本申请涉及的图像处理方法主要包括获取图像处理、图像位置对齐处理、像素权重计算处理以及图像融合处理这四个部分，其中，获取图像是通过在移动设备中预先设定不同的曝光度并以不同的曝光度拍摄图像来进行的，即：通过预先设定例如三个不同的曝光度，获取到欠曝光图像、正常曝光图像以及过曝光图像。下面，结合图1来具体说明每个部分的具体细节的处理。

目前，HDR技术是一种能通过直接重叠多张图像来获得渲染效果更好的图像的技术手段。由于这种方法能够保留图像的更多细节信息而使得够能维持图像的真实度，所以本申请利用HDR技术来进行图像处理。在这种情况下，首先需要获取多张图像。

<获取图像处理>

如图1所示，在步骤S101中，通过移动设备获得连续拍摄的曝光度不同的多张图像。具体来说，例如当用户操作移动设备的拍照键时，连续拍下多张图像以供合成。也就是说，预先在移动设备上设定不同曝光度的多个数值，当用户操作拍照键时，移动设备基于所设定的多个数值自动地拍摄多张图像（即照片）。移动设备例如可以是手机、数码相机或平板电脑等便携式拍照设备，但不限于此，只要是能获取多张图像的设备即可。另外，由于采用HDR技术能够通过重叠多张图像来获得渲染效果更好的图像，并且图像的数量越多，最终合成的图像效果就越好，所以图像的数量最好是三张以上。但是，在移动设备是手机的情况下，考虑到手机的计算能力，在拍摄图像为3张左右时图像处理方案最佳，因而在这种情况下图像的数量优选为3张。换句话说，为了达到图像的最佳渲染效果，需要如图2所示那样获得一张正常曝光图像、一张过曝光图像以及一张欠曝光图像。因此，可以从获取到的多张图像中按照上述要求挑选出三张图像进行合成即可。在此，上述的多张图像可以包括第一曝光度图像、第二曝光度图像、……、第n-1曝光度图像以及第n曝光度图像，其中n为整数且n≥2。特别地，当n=3时，第一曝光度图像是曝光度比基准图像低的欠曝光度图像，第二曝光度图像是以正常曝光度拍摄的基准图像，第三曝光度图像是曝光度比基准图像高的过曝光度图像。在此，正常曝光图像是指现有技术中在正常照明及景物条件下拍照设备的自动曝光图像。为了从多张图像中选择出一张图像作为参照物以便于对多张图像进行合成，可以将正常曝光图像作为基准图像，并将过曝光图像、欠曝光图像等其他图像作为非基准图像。但是，正常曝光图像的曝光度并非仅限于一个固定值，该曝光度可以根据不同的拍摄场景任意地进行设定。换句话说，将多张图像中的一张图像作为基准图像，并将除该基准图像以外的其他图像均作为非基准图像。下面，为了简洁清楚地描述本申请的技术方案，在整个图像处理的过程中均以n=3为例来进行说明。

接着，对所获取的三张图像执行基于HDR技术（即高动态范围光照渲染技术）的图像处理。基于HDR技术的图像处理包括：对三张图像进行位置对齐的处理和对三张图像进行每个像素的权重的运算处理。

<图像位置对齐处理>

在采用HDR技术时，往往是通过将多张图像直接叠加来获取渲染效果较好的图像。但是，由于多张图像不可能是在同一场景下同时拍摄的，所以会发生由于手抖动等所引起的图像偏移的现象。在这种情况下，由这些图像合成后的图像会出现鬼影，因而在合成图像之前需要先执行将多张图像进行位置对齐的处理。

具体来说，如图1所示，在步骤S102中，对所述三张图像分别进行特征点提取，并将每张非基准图像中的特征点与基准图像中的对应的特征点进行匹配来获得每张非基准图像中的特征点相对于基准图像中的对应的特征点的相对位移。在该步骤102中，优选使用SIFT特征匹配法来进行特征点提取。在此，SIFT（Scale-invariant feature transform：尺度不变特征转换）算法是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。例如，通过SIFT特征匹配法，首先从正常曝光图像中提取出特征点（x，y）、（m，n），从欠曝光图像中相应地提取出特征点（x1，y1）、（m1，n1），从过曝光图像中相应地提取出特征点（x2，y2）、（m2，n2），然后根据这些特征点的位置坐标来计算特征点（x1，y1）相对于特征点（x，y）的相对位移、特征点（m1，n1）相对于特征点（m，n）的相对位移，以及特征点（x2，y2）相对于特征点（x，y）的相对位移、特征点（m2，n2）相对于特征点（m，n）的相对位移。在该例中，仅说明了从每张图像中提取出两个特征点，但不限于此，也可以从每张图像中提取出两个以上的特征点。所提取的特征点的数量越多，后述的图像融合的效果就越好。当然，本申请并不限于这种SIFT特征匹配法，也可以通过其他方法来进行特征点提取。如上述这样，在图像位置对齐处理中，首先从多张图像中分别提取特征点，然后根据这些特征点的位置坐标来计算每两张图像中的对应的特征点的相对位移。执行这样的处理是为了根据多个特征点的相对位移来获取每两张图像之间的相对位移。

在步骤S103中，根据获得的每张非基准图像中的特征点相对于基准图像中的对应的特征点的相对位移，获取每张非基准图像相对于基准图像的相对位移。也就是说，根据在步骤S102中获得到的非基准图像中的多个特征点相对于基准图像中的对应的多个特征点的相对位移，使用最小二乘拟合法获取每张非基准图像相对于基准图像的相对位移。在该步骤103中，优选使用最小二乘拟合法来获取非基准图像相对于基准图像的相对位移。在此，最小二乘拟合法是指曲线拟合的最小二乘法，它是一种数学优化技术，即，通过最小化误差的平方和来寻找数据的最佳函数匹配。采用最小二乘拟合法，能够获得两幅图像之间的一个稳定的相对位移。如此，本申请是采用最小二乘拟合法来获得两幅图像之间的一个稳定的相对位移。但是，本申请并不限于这种方法，只要是能够获得两幅图像之间的相对位移的方法即可。

下面，基于步骤S102中的例子来进行详细说明。例如，假设通过SIFT特征匹配法获取到欠曝光图像中的特征点（x1，y1）相对于正常曝光图像中的特征点（x，y）的相对位移为（a1，b1），欠曝光图像中的特征点（m1，n1）相对于正常曝光图像中的特征点（m，n）的相对位移为（c1，d1），过曝光图像中的特征点（x2，y2）相对于正常曝光图像中的特征点（x，y）的相对位移为（a2，b2），过曝光图像中的特征点（m2，n2）相对于正常曝光图像中的特征点（m，n）的相对位移为（c2，d2）时，那么使用最小二乘拟合法，对位移（a1，b1）和（a2，b2）进行计算而得到欠曝光图像与正常曝光图像之间的相对位移是(a’，b’)，并且对位移（c1，d1）和（c2，d2）进行计算而得到过曝光图像与正常曝光图像之间的相对位移是(c’，d’)。换句话说，如果计算出欠曝光图像与正常曝光图像之间的相对位移是(a’，b’)，则在正常曝光图像中坐标为(e,f)的像素点，在欠曝光图像中与（e，f）像素点对应的像素点的坐标为(e+a’,f+b’)。在步骤S104中，根据所获取的每张非基准图像相对于基准图像的相对位移将三张图像进行位置对齐。也就是说，基于欠曝光图像与正常曝光图像之间的相对位移是(a’，b’)以及过曝光图像与正常曝光图像之间的相对位移是(c’，d’)，将欠曝光图像、正常曝光图像以及过曝光图像进行位置对齐。

<像素权重运算处理>

在步骤S105中，计算基准图像中的每个像素的权重作为基准权重值，并根据每张非基准图像相对于基准图像的相对位移来计算每个像素分别在每张非基准图像中的对应的像素的权重作为非基准权重值。换句话说，计算正常曝光图像中的每个像素的权重并将其作为基准权重值，并且根据欠曝光图像与正常曝光图像的相对位移来计算欠曝光图像中的对应像素的权重并将其作为非基准权重值，同样地，根据过曝光图像与正常曝光图像的相对位移来计算过曝光图像中的对应像素的权重并将其作为非基准权重值。

下面，详细说明像素权重的具体计算方法。

本申请涉及的像素权重的计算方法是一种融合了多张图像中对应的像素的多种信息来计算像素的权重的方法。换句话说，本申请的意图是要将例如欠曝光图像、正常曝光图像以及过曝光图像这三张图像融合为结果图，结果图中位于（i，j）点的像素值是拍摄到的三张图像中对应点的像素值的加权值，因而，要得到三张图像中对应点的像素值的加权值，就需要计算三张图像中对应点的像素的权重。举例来说，假设结果图中的目标点(a，b)的像素值是(R0，G0，B0)，三张图像上的对应点的像素值分别是(R1，G1，B1)、(R2，G2，B2)、(R3，G3，B3)，计算出的权重分别是w1、w2、w3。那么，

R0=R1*w1+R2*w2+R3*w3

G0=G1*w1+G2*w2+G3*w3

B0=B1*w1+B2*w2+B3*w3

在步骤S105中就是要计算权重w1、w2、w3。进而，当正常曝光图像的像素的权重为w1时，将w1作为基准权重值，将w2和w3作为非基准权重值。

在此，首先说明像素值的含义。一张图像由许多像素点构成，例如一张800*600的图像，就是800*600个像素点组成。如果是单通道的图像（黑白图像），则一个像素的像素值为该像素的灰度值。如果是三通道的图像（彩色图像），那么一个像素的颜色有三个分量，分别是红色分量（R），绿色分量（G）和蓝色分量（B），则一个像素的像素值由红色分量值、绿色分量值和蓝色分量值这三部分构成。由于本申请涉及的像素权重的算法的处理对象是三通道彩色图像，所以，当是单通道的图像时，将其转换为三通道图像，即，使彩色图像的红、绿、蓝这三个通道的值均为灰度值。

其次，使用以下的公式1来进行计算像素的权重。即，结果图中位于(i，j)点的像素在第k张图像中的权重是：

$W_{(i,j)}^k={\left(A_{(i,j)}^k\right)}^{W_A}\&times;{\left(B_{(i,j)}^k\right)}^{W_B}\&times;{\left(C_{(i,j)}^k\right)}^{W_C}\&times;\&CenterDot;\&CenterDot;\&CenterDot;$ （公式1）

其中，A、B和C等分别表示像素的一个特征，W_A、W_B、W_C……分别表示像素的一个特征的权重，k表示图像的序号。具体来说，A表示像素的梯度，B表示像素的对比度，C表示像素的饱和度，W_A表示像素的梯度的权重，W_B表示像素的对比度的权重，W_C表示像素的饱和度的权重。此外，是位于（i，j）点的像素在第k张图像中的对应位置的权重，k≥3且k为整数，i和j分别是结构图中某一个像素的横坐标和纵坐标。

举例来说，假设像素点（i，j）在正常曝光图像中的对比度是Constrast1，饱和度是Satuation1，梯度是Gradient1，该像素点在欠曝光图像中的对比度是Contrast2,饱和度是Satuation2,梯度是Gradient2，该像素点在过曝光图像中的对比度是Contrast3,饱和度是Satuation3,梯度是Gradient3。根据上述公式1，得到：

w1=Constrast1*Satuation1*Gradient1

w2=Constrast2*Satuation2*Gradient2

w3=Constrast3*Satuation3*Gradient3

对照公式1时，A是Contrast，B是Satuation，C是Gradient，W_A,W_B,W_C指的是三个特征的重要性，在本例中全部取值为1。

经过这样的计算之后，上述的w1、w2、w3就是在步骤S105中计算出的像素的权重。根据加权平均的计算方法，w1+w2+w3应该等于1。

在步骤S106中，将计算出的每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理。换句话说，对在步骤S105中计算出的像素的权重w1、w2、w3进行归一化处理。使用下述的公式2来对像素的权重进行归一化处理。即：

${\stackrel{\&OverBar;}{W}}^k={\left({\mathrm{\&Sigma;}}_k{W}^k\right)}^{-1}\&times;W^k$ （公式2）

其中，k≥3且k为整数。

当基于上述例子进行说明时，根据公式2，就能够得到：

$\stackrel{\&OverBar;}{w}1=w1/(w1+w2+w3)$

$\stackrel{\&OverBar;}{w}2=w2/(w1+w2+w3)$

$\stackrel{\&OverBar;}{w}3=w3/(w1+w2+w3)$

通过执行像素的权重的归一化处理，能够消除或减弱由拍摄时手的抖动对图像造成的影响。即，能够消除或减弱在结果图中出现的鬼影。

在步骤S107中，根据归一化处理的结果，计算所述每个像素的像素值。如上所述，由于结果图中位于（i，j）点的像素值是拍摄到的三张图像中对应点的像素值的加权值，所以，当基于上述例子进行说明时，使用在步骤S106中计算出的计算结果图中的每个像素的像素值。即：

R0=R1*w1+R2*w2+R3*w3

G0=G1*w1+G2*w2+G3*w3

B0=B1*w1+B2*w2+B3*w3

<图像融合处理>

在步骤S108中，将在步骤S107中计算出的每个像素的像素值融合为结果图。换句话说，步骤S106是将结果图中的每个像素在多张图像中的细节信息融合在一起，步骤S108是将融合了更多细节信息的每个像素重构为图像。此外，由于有可能图像还是没有完全对齐，所以为了进一步消除图像未对齐所造成的影响，优选采用拉普拉斯金字塔融合的方式将在步骤S107中计算出的每个像素的像素值融合为结果图。即，通过采用拉普拉斯金字塔融合的方式，能够进一步消除鬼影。当然，对于本申请涉及的融合为图像的方法，并不限于拉普拉斯金字塔融合的方法，也就是说，只要是能够达到消除鬼影的目的的方法均可。

图3是本申请实施例的图像处理设备的结构示意图。如图3所示，本申请涉及的图像处理设备可以包括获取装置301、处理装置302以及合成装置303。

具体来说，获取装置301被配置成从移动设备获得连续拍摄的曝光度不同的多张图像。在此，图像的数量为至少三张。

处理装置302被配置成对多张图像执行基于高动态范围光照渲染的图像处理。

合成装置303被配置成将图像处理的结果融合为结果图。在此，优选的是，采用拉普拉斯金字塔融合的方式将图像处理的结果融合为结果图。

图4是本申请实施例的图3中的处理装置302的结构示意图。如图4所示，处理装置302可以进一步包括对齐装置401，对齐装置401被配置成对多张图像进行位置对齐。

在此，多张图像包括第一曝光度图像、第二曝光度图像、……、第n-1曝光度图像以及第n曝光度图像，其中n为整数且n≥2。为了从多张图像中选择出一张图像作为参照物以便于对多张图像进行位置对齐，需要将多张图像中的任意一张图像作为基准图像，并将除基准图像以外的其他图像均作为非基准图像。

进而，如图4所示，对齐装置401可以进一步包括特征点位移计算单元411、图像位移计算单元412以及图像对齐单元413。

特征点位移计算单元411被配置成对多张图像分别进行特征点提取，并将每张非基准图像中的特征点与基准图像中的对应的特征点进行匹配来获得每张非基准图像中的特征点相对于基准图像中的对应的特征点的相对位移。在此，优选的是，使用SIFT特征匹配法来进行特征点提取。

图像位移计算单元412被配置成根据获得的每张非基准图像中的特征点相对于基准图像中的对应的特征点的相对位移，获取每张非基准图像相对于基准图像的相对位移。在此，优选的是，使用最小二乘拟合法来获取非基准图像相对于基准图像的相对位移。

图像对齐单元413被配置成根据所获取的每张非基准图像相对于基准图像的相对位移将多张图像进行位置对齐。

另外，如图4所示，处理装置302还可以包括运算装置402，运算装置402被配置成对多张图像进行每个像素的权重运算。

进而，运算装置402可以进一步包括权重计算单元414、归一化处理单元415以及像素值计算单元416。

权重计算单元414被配置成计算基准图像中的每个像素的权重作为基准权重值，并根据每张非基准图像相对于基准图像的相对位移来计算每个像素分别在每张非基准图像中的对应点的像素值的权重作为非基准权重值。

归一化处理单元415被配置成将计算出的所述每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理。

像素值计算单元416被配置成根据归一化处理的结果来计算每个像素的像素值。

本申请的设备300所包括的各个模块的具体实施与本申请的方法中的步骤的具体实施是相对应的，为了不模糊本申请，在此不再对各个模块的具体细节进行描述。

本申请的方法和设备能够在任何可以对多张图像进行图像处理的设备中应用。所述设备可以包括但不限于：移动终端设备、膝上型电脑、平板电脑、个人数字助理等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元、装置及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

应当注意，本申请的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

应当注意，尽管在上文详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种图像处理方法，包括：

通过移动设备获得连续拍摄的曝光度不同的至少三张图像；

对所述至少三张图像执行基于高动态范围光照渲染的图像处理；以及

将所述图像处理的结果融合为结果图。

2.根据权利要求1所述的方法，其中，所述基于高动态范围光照渲染的图像处理包括：

对所述至少三张图像进行对齐的处理。

3.根据权利要求1或2所述的方法，其中，所述至少三张图像中的每张图像的曝光度不同，并且将所述至少三张图像中的一张图像作为基准图像，并将除基准图像以外的其他图像均作为非基准图像。

4.根据权利要求3所述的方法，其中，所述对齐的处理包括：

对所述至少三张图像分别进行特征点提取，并将每张非基准图像中的特征点与所述基准图像中的对应的特征点进行匹配来获得每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移；

根据获得的所述每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移，获取每张非基准图像相对于所述基准图像的相对位移；以及

根据所获取的所述每张非基准图像相对于所述基准图像的相对位移将所述至少三张图像进行位置对齐。

5.根据权利要求4所述的方法，其中，所述基于高动态范围光照渲染的图像处理还包括：

对所述至少三张图像进行每个像素的权重运算的处理。

6.根据权利要求5所述的方法，其中，所述权重运算的处理包括：

计算所述基准图像中的每个像素的权重作为基准权重值，并根据所述每张非基准图像相对于所述基准图像的相对位移来计算所述每个像素分别在所述每张非基准图像中的对应像素的权重作为非基准权重值；

将计算出的所述每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理；以及

根据归一化处理的结果，计算所述每个像素的像素值。

7.根据权利要求6所述的方法，其中，所述图像处理的结果是计算出的所述每个像素的像素值。

8.根据权利要求1所述的方法，其中，所述将所述图像处理的结果融合为结果图是以预定方式将所述图像处理的结果融合为结果图。

9.根据权利要求8所述的方法，其中，所述预定方式是拉普拉斯金字塔融合的方式。

10.根据权利要求3所述的方法，其中，所述基准图像是正常曝光度图像，所述非基准图像包含曝光度比基准图像低的欠曝光度图像和曝光度比基准图像高的过曝光度图像。

11.一种图像处理设备，包括：

获取装置，被配置成从移动设备获得连续拍摄的曝光度不同的至少三张图像；

处理装置，被配置成对所述至少三张图像执行基于高动态范围光照渲染的图像处理；以及

合成装置，被配置成将所述图像处理的结果融合为结果图。

12.根据权利要求11所述的设备，其中，所述处理装置进一步包括：

对齐装置，被配置成对所述至少三张图像进行位置对齐。

13.根据权利要求11或12所述的设备，其中，所述至少三张图像中的每张图像的曝光度不同，并且将所述至少三张图像中的一张图像作为基准图像，并将除基准图像以外的其他图像均作为非基准图像。

14.根据权利要求13所述的设备，其中，所述对齐装置包括：

特征点位移计算单元，被配置成使用尺度不变量特征变换法对所述至少三张图像分别进行特征点提取，并将每张非基准图像中的特征点与所述基准图像中的对应的特征点进行匹配来获得每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移；

图像位移计算单元，被配置成根据获得的所述每张非基准图像中的所述特征点相对于所述基准图像中的对应的特征点的相对位移，使用最小二乘拟合法获取每张非基准图像相对于所述基准图像的相对位移；以及

图像对齐单元，被配置成根据所获取的所述每张非基准图像相对于所述基准图像的相对位移将所述至少三张图像进行位置对齐。

15.根据权利要求14所述的设备，其中，所述处理装置还包括：

运算装置，被配置成对所述至少三张图像进行每个像素的权重运算。

16.根据权利要求15所述的设备，其中，所述运算装置进一步包括：

权重计算单元，被配置成计算所述基准图像中的每个像素的权重作为基准权重值，并根据所述每张非基准图像相对于所述基准图像的相对位移来计算所述每个像素分别在所述每张非基准图像中的对应像素的权重作为非基准权重值；

归一化处理单元，被配置成将计算出的所述每个像素的基准权重值和对应像素的多个非基准权重值进行归一化处理；以及

像素值计算单元，被配置成根据归一化处理的结果来计算所述每个像素的像素值。

17.根据权利要求16所述的设备，其中，所述图像处理的结果是计算出的所述每个像素的像素值。

18.根据权利要求11所述的设备，其中，所述将所述图像处理的结果融合为结果图是以拉普拉斯金字塔融合的方式将所述图像处理的结果融合为结果图。

19.根据权利要求13所述的设备，其中，所述基准图像是正常曝光度图像，所述非基准图像包含曝光度比基准图像低的欠曝光度图像和曝光度比基准图像高的过曝光度图像。