CN114119423A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

提供一种图像处理方法、装置、电子设备和存储介质。图像处理方法包括：获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；确定所述第一图像中的第一图像块；从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

为了获取高动态范围(HDR)图像，可以通过融合在不同曝光条件下采集的多张图像的技术来完成。在实际的应用中，如果场景中存在一些快速运动的物体，直接对多张图像进行融合可能会产生鬼影。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供一种图像处理方法、电子设备和存储介质，以实现高质量的、高效的图像融合。

根据本公开的一方面，提供一种图像处理方法，包括：获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；确定所述第一图像中的第一图像块；从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

根据本公开的另一方面，提供用于一种图像处理装置，包括：获取单元，被配置成获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；第一图像块确定单元，被配置成确定所述第一图像中的第一图像块；候选图像块确定单元，被配置成从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；以及融合单元，被配置成基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

根据本公开的另一方面，提供一种电子电路，包括：被配置为执行上述方法的步骤的电路。

根据本公开的另一方面，提供一种电子设备。该电子设备包括：处理器；以及存储程序的存储器，该程序包括指令，该指令在由处理器执行时使处理器执行上述方法。

根据本公开的另一方面，提供一种存储程序的非暂态计算机可读存储介质。该程序包括指令，该指令在由电子设备的处理器执行时，致使电子设备执行上述方法。

根据本公开的另一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现上述方法。

根据本公开的实施例，通过对低曝光量图像中的图像块与经变换的多个高曝光量图像中的图像块进行匹配，可以方便的实现不同曝光量图像之间的高效匹配，从而能够高效地确定需要被融合的匹配图像块，以避免融合后的图像中存在鬼影。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的图像处理方法的示例性过程的流程图；

图2A-图2D示出了根据本公开的实施例得到的第一图像块和目标第二图像块的示例；

图3A-图3E示出了根据本公开的图像融合方法的示例性的效果；

图4中示出了根据本公开的实施例的图像处理装置的示例性框图；以及

图5是示出根据本公开的示例性实施例的电子设备的示例的框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

在相关技术中，可以通过检测不同曝光量下采集的图像中不匹配的区域来确定场景中存在移动物体的位置，从而能够进一步在融合图像时对存在移动物体的区域进行特殊处理，如降低参与融合的权重等，已达到消除鬼影的目的。

然而，在相关技术中，由于传感器的曝光响应是非线性的，因此难以准确地对不同曝光量的图像进行快速地匹配计算。

为了解决相关技术中的上述问题，本公开提供了一种新的图像处理方法方法，以实现不同曝光量下的图像的快速匹配。以下结合附图详细描述本公开的实施例。

图1示出了根据本公开的实施例的图像处理方法的示例性过程的流程图。

在步骤S102中，可以获取针对同一场景拍摄的第一图像和第二图像，其中第一图像的第一曝光量小于第二图像的第二曝光量。

在步骤S104中，可以确定第一图像中的第一图像块。

在步骤S106中，可以从第二图像中搜索与第一图像块对应的候选第二图像块。

在步骤S108中，基于第一图像块与对应的候选第二图像块的相似度，可以对第一图像和第二图像进行融合来得到目标图像。

利用本公开的实施例提供的图像处理方法，通过对具有高曝光量的第二图像中的候选图像块进行变换，能够解决由于第一图像和第二图像的曝光量不同导致的相似度计算不准确的问题，并能够实现相似度的快速计算从而实现图像块的快速匹配，以进一步提高图像融合的效果。

以下详细描述方法100的各个步骤。

在步骤S102中，可以获取针对同一场景拍摄的第一图像和第二图像。其中，第一图像的第一曝光量可以小于第二图像的第二曝光量。

其中，第一图像和第二图像可以具有相同的图像区域并具有相同的图像尺寸。

在一些实施例中，第一图像和第二图像中包括几乎相同的对象。由于获取第一图像时使用的第一曝光量和获取第二图像时使用的第二曝光量是不同的，因此第一图像和第二图像具有不同的动态范围。当在不同时间点分别采集第一图像和第二图像时，场景中可能存在移动物体，导致同一物体在第一图像中的位置和第二图像中的位置不同。在这种情况下，直接对第一图像和第二图像进行融合将导致融合后的图像中出现鬼影。

在步骤S104中，可以确定第一图像中的第一图像块。

在大多数情况下，由于第一图像和第二图像的采集时间间隔较短，图像中的物体移动的距离不大。因此，可以通过对第一图像中尺寸更小的第一图像块进行匹配，从而减少匹配过程需要的计算量并提高匹配的准确性。

在一些实施例中，第一图像块的尺寸可以是2s×2s。本领域技术人员可以根据实际情况设置s的大小(如10像素)。可以通过以s的步长遍历第一图像的方式从第一图像中提取不同的第一图像块。

在步骤S106中，可以从第二图像中搜索与第一图像块对应的候选第二图像块。

在一些实施例中，对于步骤S104中确定的第一图像块，可以以该第一图像块为中心的范围内进行搜索以确定r×r个候选第二图像块，用于与第一图像块进行匹配。本领域技术人员可以根据实际情况确定r的值。每个候选第二图像块的尺寸可以是与第一图像块相同的2s×2s。在一些实现方式中，针对第二图像块的搜索步长可以等于第一图像块的边长。在另一些实现方式中，针对第二图像块的搜索步长可以小于第一图像块的边长。例如，第一图像块的边长可以是针对第二图像块的搜索步长的整数倍，如2倍、4倍等。本领域技术人员可以根据实际情况设置搜索步长。通过将针对第二图像块的搜索步长确定为小于第一图像块的边长的值，相邻的第二图像块之间可以存在重复的图像区域。利用这种方法，可以实现以较大尺寸的图像块信息实现图像块搜索，并且同时，可以方便地获取更小的图像块用于图像融合。

在步骤S108中，基于第一图像块与对应的候选第二图像块的相似度，可以对第一图像和第二图像进行融合来得到目标图像。

在一些实施例中，确定第一图像块与对应的候选第二图像块的相似度可以包括基于候选第二图像块的变换确定候选第二图像块和第一图像块的第一相似度。

如前所述，在获取第二图像时的曝光量大于第一图像时的曝光量，因此，为了更准确地对第二图像中的图像块和第一图像中的图像块进行匹配，可以对第二图像中的像素值进行变换来消除传感器在采集图像时曝光非线性的问题。

在一些实施例中，针对候选第二图像块的变换的参数可以是基于第一图像块中的各个第一像素的第一值和候选第二图像块中对应位置的第二像素的第二值确定的。通过利用第一图像块中的各个第一像素的第一值和候选第二图像块中对应位置的第二像素的第二值确定用于对候选第二图像块进行变换的参数，可以方便地实现变换。

在一些实施例中，针对候选第二图像块的变换可以是线性变换。可以理解的是，本领域技术人员也可以根据实际情况对候选第二图像块进行其它类型的变换，如对数变换等等。在本公开中将以线性变换为例描述本公开的原理，然而本公开的范围不限于此。

在一些实施例中，第一相似度可以是基于变换后的候选第二图像块中的第二像素的第二值与第一图像块中对应位置的第一像素的第一值之间的差值确定的。通过变换使得变换后的第二像素的值和第一图像块中第一像素的值尽可能的接近，可以提高第二图像中的图像块和第一图像中的图像块的准确性。

其中，第一像素的第一值可以是基于第一图像的像素值确定的亮度值，第二值可以是基于第二图像的像素值确定的亮度值。例如，可以通过对第一图像的像素值进行对数变换来得到像素值对应的亮度值。类似地，可以对第二图像的像素值进行对数变换来得到像素值对应的亮度值。通过对数变换可以方便地将图像的像素值变换到亮度域，这是因为用户采集图像的传感器的响应曲线的特性近似于指数函数的特性。在另一些示例中，也可以利用其他函数对图像的像素值进行处理来得到对应的亮度值。利用这种方法，可以在不需要得到传感器相应曲线的情况下对不同曝光量的图像之间的相似度进行计算。

在针对候选第二图像块的变换是线性变换的情况下，第一相似度可以是基于线性变换后的候选第二图像块中的第二像素的第二值与第一图像块中对应位置的第一像素的第一值之间的差值确定的。

以下将以第二图像块的变换是线性变换为例描述用于确定变换的参数的示例性的方法。

其中，候选第二图像块的线性变化变换是基于公式(1)确定的：

B_{LE_LOG}′＝α*B_{LE_LOG}+β (1)

其中，B_{LE_LOG}′表示变换后的候选第二图像块中的第二像素的值，B_{LE_LOG}表示候选第二图像块中的第二像素的第二值，α、β是线性变换的参数。通过线性映射的方式对有候选第二图像块可以在不破坏图像块本身的纹理结构的情况下消除传感器曝光非线性的问题。

可以基于公式(2)确定第一图像块和候选第二图像块之间的第一相似度，其中第一相似度可以是基于线性变换后的候选第二图像块中的第二像素的第二值与第一图像块中对应位置的第一像素的第一值之间的差值确定的：

D＝∑_Ω||α*B_{LE_LOG}+β-B_{SE_LOG}||² (2)

其中，B_{SE_LOG}是第一图像块中第一像素的第一值，B_{LE_LOG}是候选第二图像块中对应位置的第二像素的第二值，Ω是图像块中所有像素位置的集合。α、β是对候选第二图像块进行的变换的参数。

其中第一相似度D的值可以指示第一图像块和候选第二图像块之间的相似程度，D的值越小，则第一图像块和候选第二图像块之间的相似程度越高。

如前所述，为了得到最准确的相似度，需要使得变换后的第二图像块和第一图像块尽可能相近。因此，可以通过对公式(3)进行凸优化得到使得第一相似度D的值最小(即意味着变换后的第二图像块和第一图像块最相似)的参数α、β。

针对公式(3)进行凸优化得到的参数α、β可以由公式(4)、(5)来表示：

其中，B_{SE_LOG}是第一图像块中第一像素的第一值，B_{LE_LOG}是候选第二图像块中对应位置的第二像素的第二值，N是第一图像块中的像素数量，以及Ω是图像块中所有像素位置的集合。以第一图像块和候选第二图像块的尺寸为2s×2s为例，N＝2s×2s。

可以看出，针对基于公式(2)定义的相似度，可以采用公式(4)、(5)得到的参数α、β进行计算。其中，参数α、β的值仅与第一图像块和第二图像块的像素的值(如前述的第一值、第二值)以及图像块的像素总数有关。在对第一图像和第二图像执行本公开提供的图像处理方法是，无需重复执行凸优化的过程，而是可以直接利用公式(4)、(5)得到的参数α、β计算当前处理的第一图像块和该第一图像块的多个候选第二图像块之间的第一相似度。在计算过程中，可以对能够复用的参数进行存储，以避免重复计算。例如，针对同一第一图像块和其各个候选第二图像块之间的第一相似度的计算，可以将参数

的计算结果进行存储并进行复用，以减少第一相似度的计算过程中的计算量。

可以基于第一相似度对第一图像和第二图像进行融合来得到目标图像。

在一些实施例中，利用基于前述方法计算的第一相似度，可以从该第一图像块的多个候选第二图像块中选择与第一图像块最相似的目标第二图像块，并可以通过融合该第一图像块和该目标第二图像块以得到目标图像。利用这样的融合方法，可以实现高曝光量图像的信息和低曝光量图像中信息的融合，从而提高目标图像的动态范围和图像质量。由于在融合的过程中不直接使用相同位置处的图像块进行融合，而是对经过相似度比较后最相似的第二图像块进行融合，可以有效避免融合后的图像中出现鬼影等影响图像质量的因素。

图2A-图2D示出了根据本公开的实施例得到的第一图像块和目标第二图像块的示例。其中图2A示出了第一图像的示例。图2A中的实线框指示了第一图像块的位置的示例，虚线框指示了基于本公开的方法确定的目标第二图像块的位置。图2B示出了第一图像块的图像内容，图2C示出了针对图2B中的第一图像块确定的最相似的目标第二图像块的图像内容，图2D示出了第二图相中与图2B中的第一图像块位于相同位置的第二图像块的图像内容。可以看出，由于图像中的对象发生移动的原因，位于相同位置的第二图像块与第一图像块的相似程度低于目标第二图像块与第一图像块的相似程度，因此利用图2C中的目标第二图像块与图2B中的第一图像块进行融合得到的目标图像的图像质量将优于利用图2D中的第二图像块与图2B中的第一图像块进行融合得到的图像的图像质量。

在另一些实施例中，由于第一图像和第二图像的采集时间间隔很短，发生位移的物体可能只出现在图像中很小的区域内，因此可以对更小尺寸的图像块进行融合以得到更好的融合效果。

为了对更小尺寸的图像块进行融合，可以确定第一图像块中的一部分为第一子图像块。在一些示例中，第一图像块的边长可以是第一子图像块边长的2倍。第一子图像块的尺寸可以是第一图像块的尺寸的四分之一。可以理解的是，本领域技术人员也可以根据实际情况将第一子图像块的尺寸确定为其他尺寸，例如，可以设置第一图像块的边长可以是第一子图像块边长的Z倍，其中Z可以是大于1的整数。在一些示例中，可以基于针对第二图像块的搜索步长和第一图像块的尺寸关系来确定第一子图像块的尺寸。例如，当针对第二图像块的搜索步长是第一图像块的图像块边长的1/Z时，第一子图像块的尺寸可以是第一图像块的尺寸的1/Z²。

可以确定多个候选第二图像块中与第一子图像块对应的多个第二子图像块。如前所述，可以以第一图像块的边长的一半作为步长来对图像进行遍历。因此，对于尺寸为第一图像块的四分之一的第一子图像块来说，可以为该第一子图像块匹配到四个不同的第二图像块。其中该第一子图像块可以分别与这四个不同的第二图像块的左上、左下、右下、右上的第二子图像块进行第二相似度的计算。对于每个第二子图像块，可以基于该第二子图像块所属的候选第二图像块的变换的参数(例如基于公式(4)、(5)的α、β)确定该第二子图像块与第一子图像块之间的第二相似度。例如，可以利用对应的候选第二图像块的像素的值确定的α、β，基于公式(2)定义的相似度对第一子图像块和第二子图像块进行处理，以得到第二子图像块与第一子图像块之间的第二相似度。可以基于第二相似度确定多个第二子图像块中选择与第一子图像块最相似的目标第二子图像块，并融合第一子图像块和目标第二子图像块以得到目标图像。利用这样的方法，在确定用于对高曝光图像进行变换的参数时，更大尺寸的图像块中包括更多的图像信息，因此可以提高利用该参数计算的相似度的准确性。同时，利用更小尺寸的图像块进行融合，可以在更精细的粒度上识别出图像中的移动物体，并进一步提高融合后得到的目标图像的图像效果。

在对第一图像块和目标第二图像块进行融合或对第一子图像块和目标第二子图像块进行融合时，可以确定每个像素位置处的用于第一图像块(或第一子图像块)的第一权重和用于目标第二图像块(或目标第二子图像块)的第二权重，并基于对应的第一权重和第二权重分别对第一图像块(或第一子图像块)和目标第二图像块(或目标第二子图像块)中每个像素位置处的第一像素的第一值和第二像素的第二值进行融合，以得到目标图像中对应像素位置处的值。在一些示例中，可以通过将每个像素处第一像素的第一值与第一权重的乘积和第二像素的第二值与第二权重的乘积确定目标图像中对应像素位置处的值。

在另一些示例中，还可以基于对应的第一权重、第二权重、第二图像和第一图像的亮度比对第一像素的第一值和第二像素的第二值进行融合。

可以基于公式(6)对图像块进行融合：

B_Fuse＝k·(log(ratio)+B_{SE_LOG})+(1-k)·B_{LE_LOG} (6)

其中，ratio可以表示第二图像和第一图像之间的亮度比，在一些示例中，可以利用第二图像的像素平均值和第一图像的像素平均值的比值确定ratio的值。B_{SE_LOG}可以表示第一图像块中的像素的第一值，B_{LE_LOG}可以表示目标第二图像块中的对应位置的像素的第二值。当利用公式(6)对第一子图像块和目标第二子图像块进行融合时，B_{SE_LOG}可以表示第一子图像块中的像素的第一值，B_{LE_LOG}可以表示目标第二子图像块中的对应位置的像素的第二值。k表示用于融合的权重系数。B_Fuse表示目标图像中对应位置的像素的值。在一些示例中，第一权重与该位置处的第二像素的第二值成正比。可以利用公式(7)确定权重系数k：

k＝[(B_{LE_LOG}-min(I_{LE_log}))/(alpharate*greylevel-min(I_{LE_log}))]^γ (7)

其中B_{LE_LOG}表示被融合的目标第二图像块或目标第二子图像块的像素的第二值，min(I_{LE_log})表示第二图像中的所有像素的第二值中的最小值，greylevel可以表示图像的灰度阶数，alpharate、γ可以表示调试参数，使得计算得到的目标图像的像素的值B_Fuse与被处理的图像的像素位宽相匹配。其中，alpharate*greylevel的大小决定了开始使用短曝光信息的灰度级，γ决定了使用短曝光信息的多少。

利用本公开提供的方法遍历第一图像中的所有第一图像块，并针对每个第一图像块和匹配的目标第二图像块进行融合后，可以对各个融合后的图像块进行拼接，即可得到完整的去鬼影高动态范围图像。

图3A-图3E示出了根据本公开的图像融合方法的示例性的效果。其中，图3A和图3B示出了用于进行图像融合的低曝光量图像和高曝光量图像的示例，图3C示出了根据相关技术的融合方式得到的融合图像的部分细节，图3D示出了根据相关技术的去鬼影方法得到的融合图像的部分细节，图3E示出了根据本公开的实施例的图像处理方法得到的融合图像的部分细节。

可以看出，根据相关技术的融合方式得到的融合图像中存在鬼影(如图3C中示出的手部细节)。根据相关技术的去鬼影方法得到的融合图像能够消除鬼影的影响，但图像质量一般，损失了背景中的一部分细节信息(见图3D中间的细节图，背景中的图像细节损失严重，融合图像中没有体现出高曝光量图像中体现的细节信息)。图3E中示出的根据本公开的实施例的方法得到的融合图像具有较好的图像质量，能够恢复出图像背景中的大量细节信息，并能够消除移动对象引起的鬼影现象。

根据本公开的实施例，还提供了一种图像处理装置。图4中示出了根据本公开的实施例的图像处理装置的示例性框图。图像处理装置400可以包括获取单元410，被配置成获取针对同一场景拍摄的第一图像和第二图像，其中第一图像的第一曝光量小于第二图像的第二曝光量,；第一图像块确定单元420，被配置成确定第一图像中的第一图像块；候选图像块确定单元430，被配置成从第二图像中搜索与第一图像块对应的候选第二图像块；以及融合单元440，被配置成基于第一图像块与对应的候选第二图像块的相似度，对第一图像和第二图像进行融合来得到目标图像。

这里，图像处理装置的上述各个单元的操作分别与前面描述的步骤S102～S108的操作类似，在此不再赘述。

根据本公开的另一方面，还提供一种电子电路，包括被配置为执行上述方法的步骤的电路。

根据本公开的另一方面，还提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的方法。

根据本公开的另一方面，还提供一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述的方法。

根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序再被处理器执行时实现上述的方法。

参见图5，现将描述电子设备500，其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。电子设备500可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述图像处理方法100可以全部或至少部分地由电子设备500或类似设备或系统实现。

电子设备500可以包括(可能经由一个或多个接口)与总线502连接或与总线502通信的元件。例如，电子设备500可以包括总线502、一个或多个处理器504、一个或多个输入设备506以及一个或多个输出设备508。一个或多个处理器504可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备506可以是能向电子设备500输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备508可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。电子设备500还可以包括非暂时性存储设备510，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备510可以从接口拆卸。非暂时性存储设备510可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。电子设备500还可以包括通信设备512。通信设备512可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、802.11设备、Wi-Fi设备、Wi-Max设备、蜂窝通信设备和/或类似物。

电子设备500还可以包括工作存储器514，其可以是可以存储对处理器504的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。

软件要素(程序)可以位于工作存储器514中，包括但不限于操作系统516、一个或多个应用程序518、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序518中，并且上述图像处理方法100可以通过由处理器504读取和执行一个或多个应用程序518的指令来实现。更具体地，上述图像处理方法100中，步骤S102-S108可以例如通过处理器504执行具有步骤S102-S108的指令的应用程序518而实现。此外，上述图像处理方法100中的其它步骤可以例如通过处理器504执行具有执行相应步骤中的指令的应用程序518而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备510)中，并且在执行时可以被存入工作存储器514中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。

还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。

还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。

还应该理解，电子设备500的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统500的其他组件也可以类似地分布。这样，电子设备500可以被解释为在多个位置执行处理的分布式计算系统。

以下描述本公开的一些示例性方面。

方面1.一种图像处理方法，包括：

获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；

确定所述第一图像中的第一图像块；

从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；

基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

方面2、如方面1所述的图像处理方法，其中，所述相似度是通过以下步骤确定的：

基于候选第二图像块的变换确定候选第二图像块和所述第一图像块的第一相似度。

方面3.如方面1所述的图像处理方法，其中，所述搜索的步长小于所述第一图像块的边长。

方面4.如方面1所述的图像处理方法，其中，基于所述第一图像块与对应的第二图像块的相似度，对所述第一图像和所述第二图像进行融合包括：

从多个候选第二图像块中选择与所述第一图像块最相似的目标第二图像块；

融合所述第一图像块和所述目标第二图像块以得到所述目标图像。

方面5.如方面2所述的图像处理方法，其中，所述变换的参数是基于所述第一图像块中的各个第一像素的第一值和候选第二图像块中对应位置的第二像素的第二值确定的。

方面6.如方面5所述的图像处理方法，其中，基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像包括：

确定所述第一图像块中的一部分为第一子图像块；

确定多个候选第二图像块中与所述第一子图像块对应的多个第二子图像块；

对于每个第二子图像块，基于该第二子图像块所属的候选第二图像块的所述变换的参数确定该第二子图像块与所述第一子图像块之间的第二相似度；

基于所述第二相似度确定所述多个第二子图像块中选择与所述第一子图像块最相似的目标第二子图像块；

融合所述第一子图像块和所述目标第二子图像块以得到所述目标图像。

方面7.如方面6所述的方法，其中，所述第一图像块的边长是所述步长的整数倍。

方面8.如方面7所述的图像处理方法，其中,所述第一图像块的边长是所述步长的Z倍，所述第一子图像块的尺寸是所述第一图像块的尺寸的1/Z²。

方面9.如方面6所述的图像处理方法，其中所述第一值是基于所述第一图像的像素值确定的亮度值，所述第二值是基于所述第二图像的像素值确定的亮度值。

方面10.如方面2所述的图像处理方法，其中，所述变换是线性变换，是基于下式确定的：

B_{LE_LOG}′＝α*B_{LE_LOG}+β

其中，B_{LE_LOG}′表示变换后的候选第二图像块中的第二像素的值，B_{LE_LOG}表示候选第二图像块中的第二像素的第二值，α、β是线性变换的参数。

方面11.如方面10所述的图像处理方法，其中，所述第一相似度是基于线性变换后第二图像块中的第二像素的第二值与第一图像块中第一像素的第一值的差值决定的。

方面12.如方面11所述的图像处理方法，其中，所述第一相似度是基于下式确定的：

方面13.如方面12所述的图像处理方法，其中所述线性变换的参数是对第一相似度计算公式进行凸优化求解得到的，基于下式确定：

其中，B_{SE_LOG}是第一图像块中第一像素的第一值，B_{LE_LOG}是候选第二图像块中对应位置的第二像素的第二值，N是第一图像块中的像素数量，以及Ω是图像块中所有像素位置的集合。

方面14.如方面7所述的图像处理方法，其中，融合所述第一子图像块和所述目标第二子图像块以得到所述目标图像包括：

确定每个像素位置处的用于所述第一子图像块的第一权重和用于所述目标第二子图像块的第二权重；

基于对应的所述第一权重和所述第二权重分别对所述第一子图像块和所述目标第二子图像块中每个像素位置处的第一像素的第一值和第二像素的第二值进行融合，以得到所述目标图像中对应像素位置处的值。

方面15.如方面14所述的图像处理方法，其中，所述第一权重与该位置处的第二像素的第二值成正比。

方面16.如方面14所述的图像处理方法，其中，基于对应的所述第一权重和所述第二权重分别对所述第一子图像块和所述目标第二子图像块中每个位置处的第一像素的第一值和第二像素的第二值进行融合包括：

基于对应的所述第一权重、所述第二权重、所述第二图像和所述第一图像的亮度比对第一像素的第一值和第二像素的第二值进行融合。

方面17.一种图像处理装置，包括：

获取单元，被配置成获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；

第一图像块确定单元，被配置成确定所述第一图像中的第一图像块；

候选图像块确定单元，被配置成从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；

融合单元，被配置成基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

方面18.一种电子电路，包括：

被配置为执行根据方面1-16中任一项所述的方法的步骤的电路。

方面19.一种电子设备，包括：

处理器；以及

存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据方面1-16中任一项所述的方法。

方面20.一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据方面1-16中任一项所述的方法。

方面21.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据方面1-16中任一项所述的方法。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (10)

1.一种图像处理方法，包括：

获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；

确定所述第一图像中的第一图像块；

从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；

基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

2.如权利要求1所述的图像处理方法，其中，所述相似度是通过以下步骤确定的：

基于候选第二图像块的变换确定候选第二图像块和所述第一图像块的第一相似度。

3.如权利要求1所述的图像处理方法，其中，所述搜索的步长小于所述第一图像块的边长。

4.如权利要求1所述的图像处理方法，其中，基于所述第一图像块与对应的第二图像块的相似度，对所述第一图像和所述第二图像进行融合包括：

从多个候选第二图像块中选择与所述第一图像块最相似的目标第二图像块；

融合所述第一图像块和所述目标第二图像块以得到所述目标图像。

5.如权利要求2所述的图像处理方法，其中，所述变换的参数是基于所述第一图像块中的各个第一像素的第一值和候选第二图像块中对应位置的第二像素的第二值确定的。

6.一种图像处理装置，包括：

获取单元，被配置成获取针对同一场景拍摄的第一图像和第二图像，其中所述第一图像的第一曝光量小于所述第二图像的第二曝光量；

第一图像块确定单元，被配置成确定所述第一图像中的第一图像块；

候选图像块确定单元，被配置成从所述第二图像中搜索与所述第一图像块对应的候选第二图像块；

融合单元，被配置成基于所述第一图像块与对应的候选第二图像块的相似度，对所述第一图像和所述第二图像进行融合来得到目标图像。

7.一种电子电路，包括：

被配置为执行根据权利要求1-5中任一项所述的方法的步骤的电路。

8.一种电子设备，包括：

处理器；以及

存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-5中任一项所述的方法。

9.一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

Images