CN111652829B - 图像融合方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种图像融合方法、装置、电子设备及存储介质，该方法包括：采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；并根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；最后将第二待融合图像与参考图像进行频域融合，获取目标融合图像。有效减小了融合图像中的鬼影，进而提高了融合图像的效果。

Description

图像融合方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、电子设备及存储介质。

背景技术

随着人们对于车载图像和安防图像等图像效果的要求越来越高，高动态光照范围(High-Dynamic Range，HDR)场景图像的图像效果也更为重要。目前生成HDR场景图像的过程有很多种方式，以多帧图像融合的方法为例，多帧图像融合的方法包括多曝光图像融合、相同曝光欠曝图像融合等方式，由于多帧图像融合的多帧图像是分时采集的图像，所以每帧图像之间可能会由于存在运动物体使图像场景有差异，且使多帧图像在融合成单帧图像的过程中，在运动物体处产生鬼影。

现有技术中，对多帧图像融合通常采用傅立叶频域融合方法，傅立叶频域融合方法中，通常是在图像的Bayer raw域中处理，通过对多帧图像进行分块处理，并将每块图像中的空域信息转换为频域信息，在频域信息上根据参考帧与融合帧频域上值的差异，以及噪声模型，判断当前信号为噪声或者鬼影的权重，并根据该权重融合对参考帧和融合帧进行融合，得到多个融合块，并通过融合块得到频率域融合后的融合图像，最后将频率域融合后的融合图像反变换到空间域作为空间域的融合结果。

然而，现有技术中的多帧图像融合方法，当融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差，因此，亟需一种图像融合方法，提高融合图像的效果。

发明内容

本申请提供一种图像融合方法、装置、电子设备及存储介质，以实现对图像的融合，并提高了融合图像的效果。

第一方面，本申请实施例提供一种图像融合方法，包括：

采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；

根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；

将第二待融合图像与参考图像进行频域融合，获取目标融合图像。

本申请实施例中，通过首先采用预配置核函数对参考图像和待融合图像进行图像融合，得到中间融合图像，然后将中间融合图像与参考图像进行频域融合，得到最终融合图像，实现了对图像的融合，并且，由于考虑到了核函数融合和频域融合两种融合步骤，相比于现有技术中仅采用频域融合，避免了融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差的问题，有效减小了融合图像中的鬼影，鬼影是一种背景信息映透到了运动物体上，使运动物体处有半透明的影子的现象，进而提高了融合图像的效果。

在一种可能的实施方式中，预配置核函数包括多个核函数，每个核函数对应一个差值区间；参考图像的参数包括参考图像的像素值，第一待融合图像的参数包括第一待融合图像的像素值，采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例，包括：

根据参考图像的像素值和第一待融合图像的像素值，确定第一待融合图像的目标差值区间；

确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数；

采用目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

本申请实施例中，通过预配置核函数包括多个核函数，可以实现根据参考图像和第一待融合图像的差值情况进行分级处理，进一步提高了图像融合效果。

在一种可能的实施方式中，参考图像的参数和第一待融合图像的参数均包括如下一种或多种组合：

像素值、曝光时间、感光值、曝光量和亮度值。

在一种可能的实施方式中，本申请实施例提供的图像融合方法，还包括：

确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为参考图像，且除参考图像之外的其他图像为第一待融合图像。

本申请实施例中，通过采用清晰度最高的图像为参考图像，可以进一步保证融合效果。

在一种可能的实施方式中，本申请实施例提供的图像融合方法还包括：

根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移；

根据对齐位移，将第一待融合图像与参考图像进行对齐，获取对齐后的第一待融合图像；

则根据第一融合比例，对参考图像和第一待融合图像进行融合，包括：

根据第一融合比例，对参考图像和对齐后的第一待融合图像进行融合处理。

本申请实施例通过在对参考图像和第一待融合图像进行融合之前，将第一待融合图像与参考图像进行对齐，避免了由于手抖或者运动物体移动而导致图像未对齐的问题，保证了第一待融合图像与参考图像的对齐，进而可以保证融合图像的效果。

在一种可能的实施方式中，根据参考图像和第一待融合图像确定第一待融合图像的对齐位移，包括：

分别对参考图像和第一待融合图像进行金字塔分层，获取参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像；

分别对参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像进行逐层对齐，以确定对齐位移。

本申请实施例中，通过金字塔分层方式对参考图像和待融合图像进行对齐处理，可以提高参考图像和待融合图像的对齐效果。

在一种可能的实施方式中，将第二待融合图像与参考图像进行频域融合，获取目标融合图像，包括：

将第二待融合图像与参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，多个第二待融合图像块与多个参考图像块一一对应；

将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；

根据多个第一频域图像块和多个第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；

通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；

将频域融合图像进行频域至空间域的转化，得到目标融合图像。

在一种可能的实施方式中，在生成频域融合图像之后，还包括：

对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；

则将频域融合图像进行频域至空间域的转化，得到目标融合图像，包括：

将滤波处理后的频域融合图像进行频域至空间域的转化，得到目标融合图像。

本申请实施例中，通过对频域融合图像进行滤波处理，可以有效减小目标融合图像的噪声。

下面介绍本申请实施例提供的装置、电子设备、计算机可读存储介质以及计算机程序产品，其内容和效果可参考本申请实施例提供的图像融合方法，不再赘述。

第二方面，本申请实施例提供一种图像融合装置，包括：

确定模块，用于采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；处理模块，用于根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；处理模块，还用于将第二待融合图像与参考图像进行频域融合，获取目标融合图像。

在一种可能的实施方式中，预配置核函数包括多个核函数，每个核函数对应一个差值区间；参考图像的参数包括参考图像的像素值，第一待融合图像的参数包括第一待融合图像的像素值，确定模块具体用于：

根据参考图像的像素值和第一待融合图像的像素值，确定第一待融合图像的目标差值区间；确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数；采用目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

在一种可能的实施方式中，参考图像的参数和第一待融合图像的参数均包括如下一种或多种组合：

像素值、曝光时间、感光值、曝光量和亮度值。

在一种可能的实施方式中，确定模块，还用于：

确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为参考图像，且除参考图像之外的其他图像为第一待融合图像。

在一种可能的实施方式中，处理模块，还用于：

根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移；根据对齐位移，将第一待融合图像与参考图像进行对齐，获取对齐后的第一待融合图像；处理模块，具体用于：根据第一融合比例，对参考图像和对齐后的第一待融合图像进行融合处理。

在一种可能的实施方式中，处理模块，具体用于：

分别对参考图像和第一待融合图像进行金字塔分层，获取参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像；分别对参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像进行逐层对齐，以确定对齐位移。

在一种可能的实施方式中，处理模块，具体用于：

将第二待融合图像与参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，多个第二待融合图像块与多个参考图像块一一对应；将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；根据多个第一频域图像块和多个第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；将频域融合图像进行频域至空间域的转化，得到目标融合图像。

在一种可能的实施方式中，处理模块，还用于对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；

处理模块，具体用于将滤波处理后的频域融合图像进行频域至空间域的转化，得到目标融合图像。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第一方面可实现方式提供的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第一方面可实现方式提供的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括：可执行指令，可执行指令用于实现如第一方面或第一方面可选方式提供的方法。

本申请提供的图像融合方法、装置、电子设备及存储介质，通过采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；并根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；最后将第二待融合图像与参考图像进行频域融合，获取目标融合图像。本申请实施例中，由于通过首先采用预配置核函数对参考图像和待融合图像进行图像融合，得到中间融合图像，然后将中间融合图像与参考图像进行频域融合，得到最终融合图像，实现了对图像的融合，并且，由于考虑到了核函数融合和频域融合两种融合步骤，相比于现有技术中仅采用频域融合，有效减小了融合图像中的鬼影，进而提高了融合图像的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一示例性应用场景架构图；

图2是本申请一实施例提供的图像融合方法的流程示意图；

图3是本申请实施例提供的频域融合的示意图；

图4是本申请另一实施例提供的图像融合方法的流程示意图；

图5是本申请实施例提供的核函数的示意图；

图6是本申请又一实施例提供的图像融合方法的流程示意图；

图7是本申请实施例提供的金字塔对齐的示意图；

图8是本申请再一实施例提供的图像融合方法的流程示意图；

图9是本申请一实施例提供的图像融合装置的结构示意图；

图10是本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着人们对于车载图像和安防图像等图像效果的要求越来越高，HDR场景图像的图像效果也更为重要。目前生成HDR场景图像的过程有很多种方式，以多帧图像融合的方法为例，多帧图像融合的方法包括多曝光图像融合、相同曝光欠曝图像融合等方式，由于多帧图像融合的多帧图像是分时采集的图像，所以每帧图像之间可能会由于存在运动物体使图像场景有差异，且使多帧图像在融合成单帧图像的过程中，在运动物体处产生鬼影。现有技术中，对多帧图像融合通常采用傅立叶频域融合方法，当融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差，因此，亟需一种图像融合方法，提高融合图像的效果。

本申请实施例提供的图像融合方法、装置、电子设备及存储介质的发明构思在于，通过首先采用预配置核函数对参考图像和待融合图像进行图像融合，得到中间融合图像，然后将中间融合图像与参考图像进行频域融合，得到最终融合图像，实现了对图像的融合，并且，由于考虑到了在待融合图像和参考图像分别在空间域和频域中的融合比例，分别对待融合图像和参考图像在空间域和频域进行融合，相比于现有技术中仅采用频域融合，避免了融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差的问题，有效减小了融合图像中的鬼影，进而提高了融合图像的效果。

以下，对本申请实施例的示例性应用场景进行介绍。

本申请实施例提供的图像融合方法可以通过本申请实施例提供的图像融合装置执行，本申请实施例提供的图像融合装置可以集成在终端设备上，或者该图像融合装置可以为终端设备本身，本申请实施例对终端设备的具体类型不做限制，例如，终端设备可以是智能手机、个人电脑、平板电脑、可穿戴设备、车载终端、监控设备、摄像机等。图1是本申请实施例提供的一示例性应用场景架构图，如图1所示，该架构主要包括：终端设备10(智能手机)、摄像头11。其中，本申请实施例提供的图像融合方法可以应用于智能手机10中，例如，可以通过智能手机10中应用软件或者网页实现，比如，通过智能手机10中的相机APP实现。智能手机10中设置有摄像头11，摄像头11可以获取多张图像。另外，终端设备还可以与服务器连接，用于与服务器进行数据通信，例如可以将融合图像发送至服务器，服务器可以对融合图像进行存储、处理等，本申请实施例对服务器的类型也不做限制。

图2是本申请一实施例提供的图像融合方法的流程示意图，该方法可以由图像融合装置执行，该装置可以通过软件和/或硬件的方式实现，下面以终端设备为执行主体对图像融合方法进行说明，如图2所示，本申请实施例提供的图像融合方法可以包括：

步骤S101：采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

参考图像和第一待融合图像可以是多曝光图像也可以是相同曝光欠曝图像，其中，参考图像和第一待融合图像可以是针对相同场景下的分时采集图像。本申请实施例对参考图像和第一待融合图像的图像类型也不做限制，例如，可以是bayer raw域图像，也可以为yuv域图像。第一待融合图像可以为一张或多张图像，本申请实施例对第一待融合图像的数量不做限制。针对参考图像和第一待融合图像的获取方式，以上述图1所示的场景为例，可以通过在终端设备的拍摄功能中，设置在接收到用户拍摄图像的操作时，分时获取多张图像的方式，获取参考图像和第一待融合图像。其中，多张图像中的一张图像为参考图像，多张图像中除了参考图像之外的其他图像为第一待融合图像。本申请实施例对确定参考图像的方式不做限制，例如，将多张图像中的第一张图像作为参考图像，或者将多张图像中的中间图像作为参考图像，或者将多张图像中的最后一张图像作为参考图像，本申请实施例仅以此为例，并不限于此。在一种可能的实施方式中，确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为参考图像。本申请实施例中，通过采用清晰度最高的图像为参考图像，可以进一步保证融合效果。需要说明的是，如何判断多张图像的清晰度的方式可参考现有技术中的实现方式。

参考图像的参数和第一待融合图像的参数可以通过预配置核函数的输入参数确定，预配置核函数可以是一个核函数或多个核函数，本申请实施例对预配置核函数的数量不做限制。预配置核函数的输入参数为参考图像的像素值、待融合图像的像素值、感光值和曝光时间，则参考图像的参数和第一待融合图像的参数均包括：像素值、曝光时间、感光值和曝光时间。本申请实施例仅以此为例，对参考图像的参数和第一待融合图像的参数不做限制，在一种可能的实施方式中，参考图像的参数和第一待融合图像的参数均包括如下一种或多种组合：像素值、曝光时间、感光值、曝光量、曝光时间和亮度值。

采用预配置核函数对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。例如，可以将参考图像的参数和第一待融合图像的参数输入至预配置核函数，预配置核函数输出参考图像和第一待融合图像的第一融合比例。若第一待融合图像的数量为多张，则可以将分别将参考图像的参数以及每张第一待融合图像的参数输入至预配置核函数，得到参考图像分别与每张第一待融合图像的第一融合比例。

预配置核函数可以使用布特沃斯核函数、高斯核函数等类似功能核函数，本申请实施例对预配置核函数的核函数类型以及核函数的具体参数不做限制。当参考图像与第一待融合图像的差值较小且在预设范围内时，参考图像与第一待融合图像表达了相同的图像内容信息，参考图像与第一待融合图像的差异是由噪声造成的，此时需要保留更多的第一待融合图像的信息，因此，预配置核函数用于在参考图像和第一待融合图像的差值越小时，参考图像和第一待融合图像的第一融合比例越小，以保持较多的第一待融合图像的数据值进而保留更多的第一待融合图像的信息。当参考图像与第一待融合图像的差值较大时，参考图像与第一待融合图像表达了不同的图像内容信息，此时需要保留更多的参考图像的信息，因此，预配置核函数用于在参考图像与第一待融合图像的差值越大时，第一融合比例越大，以保持较多的参考图像的数据值，进而保留更多的参考图像的信息。其中，参考图像和第一待融合图像的差值表示参考图像像素值与第一待融合图像像素值的差。

步骤S102：根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像。

在确定第一融合比例之后，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像。若第一待融合图像的数量为多张，且每张第一待融合图像存在对应的第一融合比例，则根据第一融合比例，对参考图像和第一待融合图像进行融合处理，包括：根据每张第一待融合图像对应的第一融合比例，对参考图像和该第一待融合图像进行融合处理，得到该第一待融合图像对应的第二待融合图像。

其中，根据第一融合比例对参考图像和第一待融合图像进行融合处理，可以通过按照第一融合比例对参考图像和第一待融合图像的像素值进行融合，以得到第二待融合图像，例如，第一融合比例的40％、60％，针对每一个像素点，可以采用参考图像中该像素点像素值的40％和第一待融合图像中该像素点像素值的60％作为该像素点的最终像素值，本申请实施例仅以此为例，并不限于此。

步骤S103：将第二待融合图像与参考图像进行频域融合，获取目标融合图像。

在根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像之后，将第二待融合图像与参考图像进行频域融合，以获取目标融合图像。其中，目标融合图像为单帧图像。

在一种可能的实施方式中，将第二待融合图像与参考图像进行频域融合，获取目标融合图像，包括：确定第二待融合图像与参考图像的第三融合比例，通过第三融合比例，对第二待融合图像和参考图像进行融合处理，获取目标融合图像，本申请实施例仅以此为例。

在一种可能的实施方式中，若第一待融合图像的数量为多张，则第二待融合图像的数量为多张，则将第二待融合图像与参考图像进行融合，可以包括：分别将每张第二待融合图像与参考图像进行融合，得到每张第二待融合图像各自对应的融合图像，然后将多张融合图像进行归一化处理，得到目标融合图像。图3是本申请实施例提供的频域融合的示意图，以第二待融合图像包括图像A和图像B为例进行介绍，如图3所示，参考图像和图像A进行频域融合，得到融合图像A，参考图像和图像B进行频域融合，得到融合图像B，然后将融合图像A和融合图像B的像素值分别除以第二待融合图像的数量，并将融合图像A和融合图像B进行融合，得到目标融合图像。

在又一种可能的实施方式中，通过确定每个第二待融合图像与参考图像的第三融合比例，得到多个第三融合比例，然后将多个第三融合比例进行归一化处理，得到多个第四融合比例，然后通过每张第二融合图像对应的第四融合比例，对第二待融合图像和参考图像进行融合。示例性的，以第二待融合图像包括图像A和图像B为例进行介绍，比如，图像A和参考图像的融合比例分别为30、70％；图像B与参考图像的融合比例分别为40％、60％，经过归一化处理后，图像A和参考图像的融合比例为15％、35％；图像B与参考图像的融合比例为20％、30％，然后按照该比例将图像A、参考图像、图像B和参考图像进行融合，得到目标融合图像。

本申请实施例中，通过首先采用预配置核函数对参考图像和待融合图像进行图像融合，得到中间融合图像，然后将中间融合图像与参考图像进行频域融合，得到最终融合图像，实现了对图像的融合，并且，由于考虑到了在待融合图像和参考图像分别在空间域和频域中的融合比例，分别对待融合图像和参考图像在空间域和频域进行融合，相比于现有技术中仅采用频域融合，避免了融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差的问题，有效减小了融合图像中的鬼影，进而提高了融合图像的效果。

图4是本申请另一实施例提供的图像融合方法的流程示意图，在上述图2所示实施例的基础上，如图4所示，本申请实施例提供的图像融合方法中的步骤S101可以包括：

步骤S201：根据参考图像的像素值和第一待融合图像的像素值，确定第一待融合图像的目标差值区间。

参考图像的某个位置上可能是一个不动的背景，在实际场景中由于存在运动的物体，且参考图像和第一待融合图像的获取存在时间差，则可能存在参考图像的背景很暗，第一待融合图像的运动的物体有高亮的灯光的车经过，或者参考图像的背景很亮，第一待融合图像的运动的物体有很暗的人经过的情况，导致图像中可能存在暗背景下的亮物体，或者亮背景下的暗物体。在图像融合过程中，暗背景下的亮物体相比于亮背景下的暗物体更容易出现鬼影。

为了解决上述问题，可以通过根据参考图像和第一待融合图像之间的差值，选择不同的核函数作为预配置核函数。在一种可能的实施方式中，以参考图像的像素值减掉第一待融合图像的像素值为例，若参考图像较亮而第一待融合图像较暗，则差值为正，若参考图像较暗而第一待融合图像较亮，则差值为负。根据差值为正或者为负作为不同的差值区间，选择不同的核函数，以控制对鬼影筛选程度的强弱。若对鬼影的筛选程度过强，会导致融合图像去噪的能力减弱，导致融合效果较差；若对鬼影的筛选程度很弱，会导致第一待融合图像鬼影残留在参考图像的背景上面产生图像异常，导致融合效果较差。因此，通过参考图像和第一待融合图像之间的差值，确定第一待融合图像的目标差值区间，进而选择不同的核函数作为预配置核函数，为融合图像的效果的调试带来了更多选择和控制的空间，可以实现融合图像的最终效果更能符合预期。

其中，预配置核函数可以包括多个核函数，每个核函数对应一个差值区间。多个核函数可以是相同类型的核函数也可以是不同类型的核函数，例如，多个核函数均为高斯核函数，但每个差值区间内高斯核函数的参数不同，再例如，多个核函数可以包括高斯核函数和布特沃斯核函数，且高斯核函数在第一差值区间，布特沃斯核函数在第二差值区间，本申请实施例仅以此为例，并不限于此。

图5是本申请实施例提供的核函数的示意图，如图5所示，可以将差值区间分为两个差值区间，即第一差值区间和第二差值区间。其中，第一差值区间可以为参考图像与第一待融合图像的差值小于0的区间，第二差值区间可以为参考图像与第一待融合图像的差值大于0的区间，第一差值区间与第二差值区间的核函数不同，且在第一差值区间的核函数比较陡峭，可以筛除更多待融合图像中相对于参考图像差异较大的点，以降低最终鬼影的现象。

参考图像的参数包括参考图像的像素值，第一待融合图像的参数包括第一待融合图像的像素值，根据参考图像的像素值和第一待融合图像的像素值，可以确定参考图像和第一待融合图像的差值。本申请实施例对如何根据参考图像的像素值和第一待融合图像的像素值确定参考图像和第一待融合图像的差值的具体实现方式不做限制。在确定参考图像和第一待融合图像的差值之后，确定该差值所在的差值区间为第一待融合图像的目标差值区间。

步骤S202：确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数。

步骤S203：采用目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

在确定第一待融合图像的目标差值区间之后，确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数，然后采用目标核函数对确定的参考图像和第一待融合图像的参数进行处理，以确定参考图像和第一待融合图像的第一融合比例，该步骤可以参考步骤S101中介绍，不再赘述。

本申请实施例中，通过预配置核函数包括多个核函数，可以实现根据参考图像和第一待融合图像的差值情况进行分级处理，进一步提高了图像融合效果。

图6是本申请又一实施例提供的图像融合方法的流程示意图，在上述图2或图4所示实施例的基础上，如图6所示，本申请实施例提供的图像融合方法，还可以包括：

步骤S301：根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移。

步骤S302：根据对齐位移，将第一待融合图像与参考图像进行对齐，获取对齐后的第一待融合图像。

在通过终端设备获取多张图像时，可能会因为手持终端设备时的手抖或者图像中运动物体移动，导致多张图像存在没有相互对齐的情况，进而影响多张图像的融合效果。因此，可以在采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理之前，对参考图像和第一待融合图像进行对齐处理。本申请实施例对参考图像和第一待融合图像进行对齐处理的具体实现方式不做限制。

在一种可能的实施方式中，根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移，然后根据对齐位移将第一待融合图像和参考图像进行对齐，获取对齐后的第一待融合图像，进而采用预配置核函数，对确定的参考图像的参数和对齐后的第一待融合图像的参数进行处理，确定参考图像和对齐后的第一待融合图像的第一融合比例。

本申请实施例通过在对参考图像和第一待融合图像进行融合之前，将第一待融合图像与参考图像进行对齐，避免了由于手抖或者运动物体移动而导致图像未对齐的问题，保证了第一待融合图像与参考图像的对齐，进而可以保证融合图像的效果。

本申请实施例对根据参考图像和第一待融合图像确定第一待融合图像的对齐位移的具体实现方式不做限制，在一种可能的实施方式中，根据参考图像和第一待融合图像确定第一待融合图像的对齐位移，包括：

分别对参考图像和第一待融合图像进行金字塔分层，获取参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像；分别对参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像进行逐层对齐，以确定对齐位移。

为便于介绍，图7是本申请实施例提供的金字塔对齐的示意图，如图7所示，对于参考图像和第一待融合图像进行金字塔分层，以对参考图像分为A1、A2、A3、A4四层金字塔图像，第一待融合图像分为B1、B2、B3、B4四层金字塔图像为例，其中，A1和B1大小相等、A2和B2大小相等、A3和B3大小相等且A4和B4大小相等。分别将A1和B1进行对齐，确定第一待融合图像的第一对齐位移，然后将B2按照第一对齐位移进行处理之后，与A2进行对齐，确定第一待融合图像的第二对齐位移，然后将B3按照第二对齐位移进行处理之后，与A3进行对齐，确定第一待融合图像的第三对齐位移，然后将B4按照第一对齐位移进行处理之后，与A4进行对齐，确定第一待融合图像的第四对齐位移，最后将第一对齐位移、第二对齐位移、第三对齐位移和第四对齐位移的对齐位移之和，作为第一待融合图像的对齐位移。

本申请实施例中，通过金字塔分层方式对参考图像和待融合图像进行对齐处理，可以提高参考图像和待融合图像的对齐效果。

图8是本申请再一实施例提供的图像融合方法的流程示意图，在上述图2或图4或图6所示实施例的基础上，如图8所示，本申请实施例提供的图像融合方法中的步骤S103可以包括：

步骤S401：将第二待融合图像与参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，多个第二待融合图像块与多个参考图像块一一对应。

步骤S402：将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块。

步骤S403：根据多个第一频域图像块和多个第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例。

步骤S404：通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像。

步骤S405：将频域融合图像进行频域至空间域的转化，得到目标融合图像。

在将第二待融合图像与参考图像进行频域融合，获取目标融合图像的过程中，将第二待融合图像与参考图像分别进行分块处理，例如，分成大小相同的块，或者大小不同的块，以得到多个第二待融合图像块和多个参考图像块，每个第二待融合图像块存在与其对应的参考图像块，且第二待融合图像块和与其对应的参考图像块的大小相等。然后将第二待融合图像块和参考图像块进行频域转换，分别得到多个第一频域图像块和多个第二频域图像块，进而采用噪声模型判断当前第一频域图像块的频率值为噪声或者鬼影的权重，若当前频率值更倾向为噪声则参考图像块与第二待融合图像块更大程度的融合，若当前频率值更倾向为鬼影则参考图像块与第二待融合图像块减少融合，以确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，并分别通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像。最后将频域融合图像进行频域至空间域的转化，得到目标融合图像。

在一种可能的实施方式中，在生成频域融合图像之后，还包括：对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像。

若在生成频域融合图像之后，对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像，则将频域融合图像进行频域至空间域的转化，得到目标融合图像，包括：将滤波处理后的频域融合图像进行频域至空间域的转化，得到目标融合图像。本申请实施例中，通过对频域融合图像进行滤波处理，可以有效减小目标融合图像的噪声。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图9是本申请一实施例提供的图像融合装置的结构示意图，该装置可以通过软件和/或硬件的方式实现，例如可以通过终端设备实现，如图9所示，本申请实施例提供的图像融合装置可以包括：确定模块51和处理模块52。

确定模块51，用于采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

在一种可能的实施方式中，确定模块51，还用于：确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为参考图像，且除参考图像之外的其他图像为第一待融合图像。

在一种可能的实施方式中，参考图像的参数和第一待融合图像的参数均包括如下一种或多种组合：像素值、曝光时间、感光值、曝光量和亮度值。

处理模块52，用于根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像。

处理模块52，还用于将第二待融合图像与参考图像进行频域融合，获取目标融合图像。

本实施例的装置可以执行上述图2所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。

在图9所示实施例的基础上，进一步地，本申请另一个提供的图像融合装置的实施例中，预配置核函数包括多个核函数，每个核函数对应一个差值区间；参考图像的参数包括参考图像的像素值，第一待融合图像的参数包括第一待融合图像的像素值，确定模块51具体用于：

根据参考图像的像素值和第一待融合图像的像素值，确定第一待融合图像的目标差值区间；确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数；采用目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。

本实施例的装置可以执行上述图4所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。

在图9所示实施例的基础上，进一步地，本申请另一个提供的图像融合装置的实施例中，处理模块52，还用于：根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移；根据对齐位移，将第一待融合图像与参考图像进行对齐，获取对齐后的第一待融合图像。处理模块52，具体用于：根据第一融合比例，对参考图像和对齐后的第一待融合图像进行融合处理。

在一种可能的实施方式中，处理模块52，具体用于：

分别对参考图像和第一待融合图像进行金字塔分层，获取参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像；分别对参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像进行逐层对齐，以确定对齐位移。

本实施例的装置可以执行上述图6所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。

在图9所示实施例的基础上，进一步地，本申请另一个提供的图像融合装置的实施例中，处理模块52，具体用于：

将第二待融合图像与参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，多个第二待融合图像块与多个参考图像块一一对应；将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；根据多个第一频域图像块和多个第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；将频域融合图像进行频域至空间域的转化，得到目标融合图像。

在一种可能的实施方式中，处理模块52，还用于对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；处理模块52，具体用于将滤波处理后的频域融合图像进行频域至空间域的转化，得到目标融合图像。

本实施例的装置可以执行上述图8所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。

本申请所提供的装置实施例仅仅是示意性的，图9中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。

图10是本申请实施例提供的电子设备的结构示意图，如图10所示，该电子设备包括：

处理器61、存储器62、收发器63以及计算机程序；其中，收发器63实现与其他设备之间的数据传输，计算机程序被存储在存储器62中，并且被配置为由处理器61执行，计算机程序包括用于执行上述图像融合方法的指令，其内容及效果请参考方法实施例。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种图像融合方法，其特征在于，包括：

将确定的参考图像的参数和第一待融合图像的参数输入至预配置核函数，确定所述参考图像和所述第一待融合图像的第一融合比例；

根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合处理，获取第二待融合图像；

将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像。

2.根据权利要求1所述的方法，其特征在于，所述预配置核函数包括多个核函数，每个核函数对应一个差值区间；所述参考图像的参数包括所述参考图像的像素值，所述第一待融合图像的参数包括所述第一待融合图像的像素值，所述将确定的参考图像的参数和第一待融合图像的参数输入至预配置核函数，确定所述参考图像和所述第一待融合图像的第一融合比例，包括：

根据所述参考图像的像素值和所述第一待融合图像的像素值，确定所述第一待融合图像的目标差值区间；

确定所述目标差值区间对应的目标核函数，以确定所述预配置核函数为所述目标核函数；

采用所述目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例。

3.根据权利要求1所述的方法，其特征在于，所述参考图像的参数和所述第一待融合图像的参数均包括如下一种或多种组合：

像素值、曝光时间、感光值、曝光量和亮度值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为所述参考图像，且除所述参考图像之外的其他图像为所述第一待融合图像。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

根据所述参考图像和所述第一待融合图像，确定所述第一待融合图像的对齐位移；

根据所述对齐位移，将所述第一待融合图像与所述参考图像进行对齐，获取对齐后的第一待融合图像；

所述根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合，包括：

根据所述第一融合比例，对所述参考图像和所述对齐后的第一待融合图像进行融合处理。

6.根据权利要求5所述的方法，其特征在于，所述根据所述参考图像和所述第一待融合图像确定所述第一待融合图像的对齐位移，包括：

分别对所述参考图像和所述第一待融合图像进行金字塔分层，获取所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像；

分别对所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像进行逐层对齐，以确定所述对齐位移。

7.根据权利要求1-3或6任一项所述的方法，其特征在于，所述将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像，包括：

将所述第二待融合图像与所述参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，所述多个第二待融合图像块与所述多个参考图像块一一对应；

将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；

根据多个所述第一频域图像块和多个所述第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；

通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；

将所述频域融合图像进行频域至空间域的转化，得到所述目标融合图像。

8.根据权利要求7所述的方法，其特征在于，在生成频域融合图像之后，还包括：

对所述频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；

则所述将所述频域融合图像进行频域至空间域的转化，得到所述目标融合图像，包括：

将所述滤波处理后的频域融合图像进行频域至空间域的转化，得到所述目标融合图像。

9.一种图像融合装置，其特征在于，包括：

确定模块，用于将确定的参考图像的参数和第一待融合图像的参数输入至预配置核函数，确定所述参考图像和所述第一待融合图像的第一融合比例；

处理模块，用于根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合处理，获取第二待融合图像；

所述处理模块，还用于将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像。

10.根据权利要求9所述的装置，其特征在于，所述预配置核函数包括多个核函数，每个核函数对应一个差值区间；所述参考图像的参数包括所述参考图像的像素值，所述第一待融合图像的参数包括所述第一待融合图像的像素值，所述确定模块具体用于：

根据所述参考图像的像素值和所述第一待融合图像的像素值，确定所述第一待融合图像的目标差值区间；

确定所述目标差值区间对应的目标核函数，以确定所述预配置核函数为所述目标核函数；

采用所述目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例。

11.根据权利要求9所述的装置，其特征在于，所述参考图像的参数和所述第一待融合图像的参数均包括如下一种或多种组合：

像素值、曝光时间、感光值、曝光量和亮度值。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述确定模块，还用于：

确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为所述参考图像，且除所述参考图像之外的其他图像为所述第一待融合图像。

13.根据权利要求9-11任一项所述的装置，其特征在于，所述处理模块，还用于：

根据所述参考图像和所述第一待融合图像，确定所述第一待融合图像的对齐位移；

根据所述对齐位移，将所述第一待融合图像与所述参考图像进行对齐，获取对齐后的第一待融合图像；

所述处理模块，具体用于：

根据所述第一融合比例，对所述参考图像和所述对齐后的第一待融合图像进行融合处理。

14.根据权利要求13所述的装置，其特征在于，所述处理模块，具体用于：

分别对所述参考图像和所述第一待融合图像进行金字塔分层，获取所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像；

分别对所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像进行逐层对齐，以确定所述对齐位移。

15.根据权利要求9-11或14任一项所述的装置，其特征在于，所述处理模块，具体用于：

将所述第二待融合图像与所述参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，所述多个第二待融合图像块与所述多个参考图像块一一对应；

将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；

根据多个所述第一频域图像块和多个所述第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；

通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；

将所述频域融合图像进行频域至空间域的转化，得到所述目标融合图像。

16.根据权利要求15所述的装置，其特征在于，

所述处理模块，还用于对所述频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；

所述处理模块，具体用于将所述滤波处理后的频域融合图像进行频域至空间域的转化，得到所述目标融合图像。

17.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

Images