CN112184609B - 图像融合方法及装置、存储介质、终端 - Google Patents

Abstract

一种图像融合方法及装置、存储介质、终端，所述方法包括：获取第一图像及第二图像；确定所述第一图像中的待融合区域；对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。上述方案，能够增强图像融合的鲁棒性。

Description

图像融合方法及装置、存储介质、终端

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像融合方法及装置、存储介质、终端。

背景技术

随着智能手机的发展，手机摄像在用户手机中的功能越来越重要，由单摄逐渐发展成双摄、三摄乃至更多摄像头，达到媲美单反的效果。早期单摄手机若想实现变焦功能，只能通过数码变焦，数码变焦在放大到一定倍数时图像会变的非常模糊，影像质量无法令人满意；若采用多倍光学镜头实现光学变焦，除成本大大增加之外，必然会导致手机厚度的增加。

为避免镜头对空间的过多利用，当前主流手机通常采用广角镜头和长焦镜头(或增加更小焦距的超广角镜头)。实现多焦段的光学变焦功能。将焦段划分为广角和长焦两段，通过切换，扩大变焦范围，当焦段位于广角段时主要采用广角镜头采集的图像，当焦段位于长焦段时主要采用长焦镜头采集的图像。由于广角和长焦镜头3A同步，视场角以及分辨率上的差异，这种直接的切换会来带镜头跳变的不良体验。尤其是在广角段直接数码变焦带来图像质量的损失，使切换镜头的影响更加明显。于是，利用不同焦距的多摄像头模拟实现光学变焦的技术应运而生。

目前，通常采用的一种变焦方法为：在不同变焦范围内，直接切换摄像头，如在广角焦段，采用广角摄像头拍摄的图像进行数码变焦，而在长焦焦段，采用长焦摄像头拍摄的图像进行数码变焦，然而，在两颗摄像头的变焦切换点易产生视觉上的跳变，过渡不自然，影像用户体验。

通常采用的另一种变焦方法为：采用图像处理技术，实现广角和长焦图像的视场融合，在广角焦段，实现广角和长焦的图像融合，提高变焦时的图像质量，使其在切换到长焦时，达到连续光学变焦的效果，这种处理方法兼顾了广角的大视场和长焦的高细节分辨能力，充分利用了硬件上的长处，尤其在高端机上长焦镜头有比较大的变焦倍数时对图像质量的提升十分明显。然而，在一些特定场景下，依然存在图像融合的鲁棒性较差的问题。

发明内容

本发明实施例解决的技术问题是图像融合的鲁棒性较差。

为解决上述技术问题，本发明实施例提供一种图像融合方法包括：获取第一图像及第二图像，其中，所述第一图像由终端的第一摄像头采集，所述第二图像由所述终端的第二摄像头采集，且所述第一摄像头的视场角大于所述第二摄像头的视场角；确定所述第一图像中的待融合区域；分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。

可选的，所述分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像，包括：采用高斯金字塔算法分别对所述第一图像及所述第二图像进行处理，得到所述第一图像对应的N个不同尺度的第一高斯金字塔图像及所述第二图像对应的N个不同尺度的第二高斯金字塔图像；采用拉普拉斯金字塔算法分别对所述第一高斯金字塔图像及第二高斯金字塔图像进行处理，得到所述第一图像对应的第一拉普拉斯金字塔图像以及所述第二图像对应的第二拉普拉斯金字塔图像，其中，N为金字塔的层数，且N≥2。

可选的，所述根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，包括：根据第n层的第一拉普拉斯金字塔图像中的像素的值，计算第n层的第一拉普拉斯金字塔图像的高频细节信息，根据第n层的第二拉普拉斯金字塔图像中的像素的值，计算第n层的第二拉普拉斯金字塔图像的高频细节信息，0≤n≤N-1；当第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值超过第一阈值时，将所述融合掩模图像中的值全部配置为设定值，所述设定值用于指示所述融合权重为0。

可选的，所述根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，还包括：当第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值不超过第一阈值时，或者当第n层的所述第二拉普拉斯金字塔图像的高频细节信息不小于所述第一拉普拉斯金字塔图像的高频细节信息时，对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的细节差异比对；根据所述局部区域的细节差异比对结果，确定所述局部区域对应的局部融合掩模图像；根据所述局部融合掩模图像对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的图像融合。

可选的，所述根据所述局部区域的细节差异比对结果，确定所述局部区域对应的局部融合掩模图像，包括：采用相同的区域划分方式，分别对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行区域划分，得到多个子区域；计算所述第二拉普拉斯金字塔图像中的每个子区域与所述第一拉普拉斯金字塔图像中对应位置处的子区域的细节差异，根据所述细节差异确定所述局部融合掩模图像，所述局部融合掩模图像用于指示所述第二拉普拉斯金字塔图像中的子区域的融合权重。

可选的，所述根据所述细节差异确定所述局部融合掩模图像，包括：当所述细节差异大于第二阈值时，则将所述局部融合掩模图像中的值全部配置为所述设定值。

可选的，所述根据所述细节差异确定所述局部融合掩模图像，包括：当所述细节差异不大于第二阈值时，分别计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息；根据第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息，确定所述局部融合掩模图像。

可选的，所述根据第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息，确定所述局部融合掩模图像，包括：计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息与所述第一拉普拉斯金字塔图像中的子区域的高频细节信息的比值，将所述比值作为所述局部融合掩模图像中的权重。

可选的，所述计算所述第二拉普拉斯金字塔图像中的每个子区域与所述第一拉普拉斯金字塔图像中对应位置处的子区域的细节差异，包括：对所述第二拉普拉斯金字塔图像中的每个子区域及所述第一拉普拉斯金字塔图像中对应位置处的子区域分别进行二值化，得到二值化后的第一图像及二值化后的第二图像；对所述二值化后的第一图像与所述二值化后的第二图像求异或并求和，将异或并求和的结果作为所述细节差异。

可选的，所述根据第n层的第一拉普拉斯金字塔图像中的像素的值，计算第n层的第一拉普拉斯金字塔图像的高频细节信息，包括：根据第n层的所述第一拉普拉斯金字塔图像中的像素的值，计算所述第一拉普拉斯金字塔图像中的所有像素的平均值；根据第n层的所述第一拉普拉斯金字塔图像中的像素的值、所述第一拉普拉斯金字塔图像中的所有像素的平均值以及所述第一拉普拉斯金字塔图像中所有像素的数目，计算第n层的第一拉普拉斯金字塔图像的高频细节信息。

可选的，采用如下公式计算第n层的第一拉普拉斯金字塔图像的高频细节信息：

其中，delta为第一拉普拉斯金字塔图像的高频细节信息，p_i为所述第一拉普拉斯金字塔图像中的第i个像素的值，

为所述第一拉普拉斯金字塔图像中的所有像素的平均值，m为所述第一拉普拉斯金字塔图像中所有像素的数目，0＜i≤m。

可选的，所述根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像，包括：根据所述融合掩模图像，对第N-2层的所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行融合，得到第N-2层融合后的拉普拉斯金字塔图像；将所述第N-1层的第一高斯金字塔图像上采样得到上采样后的第N-2层的图像；将所述第N-2层融合后的拉普拉斯金字塔图像与上采样后的所述第N-2层的图像进行融合，得到所述第N-2层融合后的图像；基于所述第N-2层融合后的图像继续进行上采样继续进行其他层的图像融合，直至得到第0层对应的融合图像，所述第0层对应的融合图像即为所述融合后的图像。

可选的，所述图像融合方法还包括：在将所述第N-1层的第一高斯金字塔图像上采样得到上采样后的第N-2层的图像之后，对上采样后的第N-2层的图像进行高斯平滑处理。

可选的，所述图像融合方法还包括：获取第一图像及第二图像之后，分别对所述第一图像及所述第二图像进行如下至少一种操作：图像配准、图像缩放。

可选的，所述第一图像及所述第二图像为信息通道图像数据。

可选的，所述确定所述第一图像中的待融合区域，包括：根据所述第二图像的视场角，确定所述第一图像的待融合区域；或者；根据所述第一图像中的特征点所处的区域，确定所述第一图像的待融合区域。

本发明实施例还提供一种图像融合装置，包括：获取单元，用于获取第一图像及第二图像，其中，所述第一图像由终端的第一摄像头采集，所述第二图像由所述终端的第二摄像头采集，且所述第一摄像头的视场角大于所述第二摄像头的视场角；第一确定单元，用于确定所述第一图像中的待融合区域；处理单元，用于分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；第二确定单元，用于第二根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；融合单元，用于根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。

本发明实施例还提供存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种图像融合方法的步骤。

本发明实施例还一种提供终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种图像融合方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在对同一终端的第一摄像头及第二摄像头分别采集的第一图像及第二图像进行处理时，根据处理后的第一图像的高频信息及处理后的第二图像的高频信息，确定第一图像中的待融合区域的融合掩模图像，融合掩模图像可以指示处理后的第二图像的融合权重，从而在根据确定的融合掩模图像、处理后的第一图像及处理后的第二图像，进行图像融合，得到融合后的图像过程中，由于在进行图像融合时，所确定的融合掩模图像考虑到处理后的第一图像的高频细节信息及处理后的第二图像的高频细节信息，而融合掩模图像可以指示处理后的第二图像的融合权重，也即可以根据高频细节信息确定控制融合的图像的成分的选择，也即控制处理后的第一图像及第二图像的融合情况，故可以增强融合后的图像的鲁棒性。

进一步，在进行图像融合操作时，可以在不同层上对不同的尺度的图像进行图像融合，考虑了不同尺度的图像内容的差异，使得融合效果更加的自然，鲁棒性更好。

进一步，融合掩模图像的确定可以在全局图像上进行，可以解决图像融合过程中，第二图像对应的第二摄像头的失焦问题，例如长焦镜头的失焦问题。在第二图像失焦时，在进行图像融合时，放弃采用第二图像，基于第一图像内进行图像融合，可以提高融合后的图像质量和增强图像融合的鲁棒性。

进一步，融合掩模的确定还可以在图像局部区域进行，解决图像融合中的存在遮挡和景深失焦时，提高图像融合效果以及增强图像融合的鲁棒性。

附图说明

图1是本发明实施例中的一种图像融合方法的流程图；

图2是本发明实施例中的不同图像对应的视场角的相对位置示意图；

图3是本发明实施例中的一种图像融合装置的结构示意图。

具体实施方式

如上所述，现有技术中，采用图像处理技术，对图像进行融合处理，如将长焦图像及广角图像的视场融合，可以提高变焦时的图像质量，使其从广角切换到长焦时，达到连续光学变焦的效果，这种处理方法兼顾了广角的大视场和长焦的高细节分辨能力，充分利用了硬件上的长处，尤其在高端机上长焦镜头有比较大的变焦倍数时对图像质量的提升十分明显。但是在一些特定的场景下，依然存在图像融合的鲁棒性较差的问题。

为了解决上述问题，在本发明实施例中，在对同一终端的第一摄像头及第二摄像头分别采集的第一图像及第二图像进行处理时，根据处理后的第一图像的高频信息及处理后的第二图像的高频信息，确定第一图像中的待融合区域的融合掩模图像，融合掩模图像可以指示处理后的第二图像的融合权重，从而在根据确定的融合掩模图像、处理后的第一图像及处理后的第二图像，进行图像融合，得到融合后的图像过程中，由于在进行图像融合时，所确定的融合掩模图像考虑到处理后的第一图像的高频细节信息及处理后的第二图像的高频细节信息，而融合掩模图像可以指示处理后的第二图像的融合权重，也即可以根据高频细节信息确定控制融合的图像的成分的选择，也即控制处理后的第一图像及第二图像的融合情况，故可以增强融合后的图像的鲁棒性。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中的一种图像融合方法的流程图，具体可以包括如下步骤：

步骤S11，获取第一图像及第二图像。

在具体实施中，终端上可以具有多个摄像头，多个摄像头可以具有不同的视场角，也即多个摄像头分别对应不同的焦段。其中，第一图像可以由终端上的第一摄像头采集，第二图像可以由终端上的第二摄像头采集，第一摄像头的视场角大于第二摄像头的视场角。

当终端包括超广角摄像头、广角摄像头以及长焦摄像头时，例如，第一摄像头为广角摄像头，第二摄像头为长焦摄像头，相应地，第一图像为广角图像，第二图像为长焦图像。又如，第一摄像头为超广角摄像头，第二摄像头为广角摄像头，相应地，第一图像为超广角图像，第二图像为广角图像。可以理解的是，根据终端上设置的摄像头的类型及数量不同，第一摄像头及第二摄像头还可以为其他的情况，此处不再一一赘述。

在本发明实施例中，当终端上的摄像头的数目超过2个时，为了提高图像融合的效果及增强图像融合的鲁棒性，第一摄像头及第二摄像头分别对应的焦距连续。

在具体实施中，由于第一图像及第二图像分别有不同的摄像头采集，而不同摄像头本身硬件参数不同(如光学中心、焦距、视场角FOV、畸变等内参数)，且在摄像头模组的安装排布不同(如排布的基线、相对角度及位置等)，使得同一模组上不同的摄像头在拍摄同一物体时，所得到图像的视场角、相对位置以及遮挡情况等均不相同，其中，针对同一物体，不同视场角的摄像头采集的物体大小不同，也即不同摄像头采集的图像之间具有视差。

为了提高后续图像融合的效果，在获取到第一图像及第二图像之后，在本发明实施例中，还可以对第一图像及第二图像进行图像配准以及图像缩放等中的一种或多种图像处理操作。

其中，通过图像配准可以解决第一图像及第二图像的位置偏差，此外以第一图像为基准，考虑视场差异带来的尺度不一致，可以配合图像的缩放，可以得到尺度大小相同，图像中物体的大小也基本相同的图像。并将配准后的图像作为第一图像及第二图像。

例如，当第一图像为广角图像，第二图形为长焦图像时，以广角图像为基准，长焦图像经过特定的几何变换得到位置与广角图像对齐的图像。通过图像配准之后，有利于后续进行图像融合时，能够进行像素级别上的融合，从而达到改善图像质量的目的。

步骤S12，确定所述第一图像中的待融合区域。

在具体实施中，通常将视场角较大的图像作为基准图像，在视场角较大的图像中确定待融合区域。例如，确定第一图像中的待融合区域。

例如，第一图像为广角图像，第二图像为长焦图像时，可以确定广角图像中的待融合区域。

在具体实施中，可以采用多种方式确定待融合区域。例如，采用特征点方式确定待融合区域。具体而言，可以根据第一图像中的特征点分布来确定待融合区域。又如，根据第一图像与第二图像的视场重合范围确定第一图像的待融合区域。

步骤S13，对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像。

步骤S14，根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像。

在具体实施中，待融合区域的融合掩模图像用于指示处理后的第二图像的融合权重。

步骤S15，根据确定的融合掩模图像、处理后的第一图像及处理后的第二图像，进行图像融合，得到融合后的图像。

由上可知，在对同一终端的第一摄像头及第二摄像头分别采集的第一图像及第二图像进行处理时，根据处理后的第一图像的高频信息及处理后的第二图像的高频信息，确定第一图像中的待融合区域的融合掩模图像，融合掩模图像可以指示处理后的第二图像的融合权重，从而在根据确定的融合掩模图像、处理后的第一图像及处理后的第二图像，进行图像融合，得到融合后的图像过程中，由于在进行图像融合时，所确定的融合掩模图像考虑到处理后的第一图像的高频细节信息及处理后的第二图像的高频细节信息，而融合掩模图像可以指示处理后的第二图像的融合权重，也即可以根据高频细节信息确定控制融合的图像的成分的选择，也即控制处理后的第一图像及第二图像的融合情况，故可以增强融合后的图像的鲁棒性。

进一步地，步骤S13中对第一图像及第二图像的处理可以通过如下方式实现：采用高斯金字塔算法分别对第一图像及所述第二图像进行处理，得到所述第一图像对应的N个不同尺度的第一高斯金字塔图像及所述第二图像对应的N个不同尺度的第二高斯金字塔图像。采用拉普拉斯金字塔算法分别对所述第一高斯金字塔图像及第二高斯金字塔图像进行处理，得到所述第一图像对应的第一拉普拉斯金字塔图像以及所述第二图像对应的第二拉普拉斯金字塔图像，其中，N为金字塔的层数，且N≥2。其中，高斯金字塔图像可以用于表征图像中的低频成分，拉普拉斯金字塔图像用于表示图像中的高频成分。

具体而言，以第一图像为例，对第一图像的处理过程进行说明。设定金字塔的层数为N层，从第0层至第N-1层，其中，第0层为原始图像，也即第一图像。采用高斯金字塔算法对第0层的原始图像进行下采样，得到第1层的第一高斯金字塔图像，继续对第1层第一高斯金字塔图像进行下采样，得到第2层的第一高斯金字塔图像，直至得到第N-1层第一高斯金字塔图像。其中，从第0层的原始图像至第N-1层的第一高斯金字塔图像，图像的尺度逐渐减小。

得到N层第一高斯金字塔图像之后，采用拉普拉斯金字塔算法对得到的N层第一高斯金字塔图像进行处理，得到对应的N层第一拉普拉斯金字塔图像。具体而言，对第N-1层的第一高斯金字塔图像进行上采样，得到上采样后的第N-2层的图像，将第N-2层的第一高斯金字塔图像与上采样后的第N-2层的图像做差，得到第N-2层的第一拉普拉斯金字塔图像。继续对第N-2层的第一高斯金字塔图像进行上采样，得到上采样后的第N-3层的图像，将第N-3层的第一高斯金字塔图像与上采样后的第N-3层的图像做差，得到第N-3层的第一拉普拉斯金字塔图像。依次类推，直至完成第0层第一高斯金字塔图像的处理，得到第0层第一拉普拉斯金字塔图像。从第N-1层第一拉普拉斯金字塔图像至第0层第一拉普拉斯金字塔图像，图像尺度逐渐增大，第0层第一拉普拉斯金字塔图像的图像尺度与第一图像的尺度相同。

第二图像的处理过程与第一图像的处理过程相似，具体可以参考上述实施例中对第一图像处理过程中的描述，此处不再赘述。

现有技术中，考虑到长焦镜头在光学变焦中的优势，在主流的图像融合操作中，通常直接将长焦图像贴到广角图像的待融合区域的位置上，然后采用直方图匹配等算法处理各通道，达到色彩以及亮度较为一致的融合效果。然而，虽然长焦镜头比广角镜头成像质量好，但在某些情况如拍摄比较近距离场景时长焦镜头可能出现失焦现象，在此种场景下，将长焦图像直接替换到广角图像的待融合区域的位置上将导致融合后图像质量反而降低。即使长焦对焦良好，但是考虑景深分布，不能保证整个融合区域长焦质量都优于广角镜头，也即，当镜头出现失焦时图像融合效果较差的问题。此外，由于直方图匹配算法是基于全局统计性的，在某些情况如存在大面积均匀色彩的情况下会出现融合边界两侧不一致的现象。

为了解决失焦时图像融合效果较差的问题，在步骤S14中，可以采用如下方式确定待融合区域的融合掩模图像，具体而言：

可以根据第n层的第一拉普拉斯金字塔图像中像素的值，计算第n层的第一拉普拉斯金字塔图像的高频细节信息。根据第n层的第二拉普拉斯金字塔图像中的像素的值，计算第n层的第二拉普拉斯金字塔图像的高频细节信息，0≤n≤N-1。

在本发明实施例中，可以根据第n层的所述第一拉普拉斯金字塔图像中的像素的值，计算所述第一拉普拉斯金字塔图像中的所有像素的平均值；根据第n层的所述第一拉普拉斯金字塔图像中的像素的值、所述第一拉普拉斯金字塔图像中的所有像素的平均值以及所述第一拉普拉斯金字塔图像中所有像素的数目，计算第n层的第一拉普拉斯金字塔图像的高频细节信息。

在本发明一实施例中，可以采用如下公式计算第n层的第一拉普拉斯金字塔图像的高频细节信息delta：

其中，delta为第一拉普拉斯金字塔图像的高频细节信息，p_i为所述第一拉普拉斯金字塔图像中的第i个像素的值，

为所述第一拉普拉斯金字塔图像中的所有像素的平均值，m为所述第一拉普拉斯金字塔图像中所有像素的数目，0＜i≤m。

可以理解的是，第n层的第二拉普拉斯金字塔图像的高频细节信息的计算方式与第一拉普拉斯金字塔图像的高频细节信息的计算相似，具体可以参考第一拉普拉斯金字塔图像的高频细节信息计算流程，此处不再赘述。

当具体实施中，当第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值超过第一阈值时，则表征将所述融合掩模图像中的值全部配置为设定值，所述设定值用于指示所述融合权重为0。

例如，取设定值为0。融合掩模图像实质为多个值组成的一个矩阵，矩阵中的每个值与设定区域内的像素相对应。其中，设定区域可以为第二图像中与待融合区域对应区域内的像素。

当融合掩模图像中的每个值全部配置为设定值时，也即融合权重为0，则指示第二图像失焦严重，此时放弃将第n层的第二拉普拉斯金字塔图像的融合操作，直接返回第一图像变焦得到的图像。当第一图像为广角图像时，也即采用广角图像数码变焦的结果。基于第一拉普拉斯金字塔图像的高频细节以及第二拉普拉斯高斯金字塔图像的细节信息来确定图像融合的具体操作，可以根据实际场景，灵活且准确的选择待融合区域内的图像来源，从而可以提高融合图像的融合效果以及增强融合图像的鲁棒性。

融合掩模图像的确定可以在全局图像上进行，可以解决图像融合过程中，第二图像对应的第二摄像头的失焦问题，例如长焦镜头的失焦问题。

为了解决某些情况如存在大面积均匀色彩的情况下会出现融合边界两侧不一致的现象，在本发明实施例中，可以在信息通道上对第一图像及第二图像进行融合操作，对待融合图像的信息通道(YUV格式的Y通道或者HSV格式的V通道)和色彩通道(YUV格式的UV通道或者HSV格式的SV通道)进行分离，也即第一图像及第二图像为信息通道图像数据。例如，第一图像或第二图像均分别为YUV格式的Y通道的图像数据。又如，第一图像或第二图像均分别为采用HSV格式的V通道的图像数据。

本发明实施例在信息通道上进行图像融合，而对色彩通道内的图像数据不做处理，一方面可以提高算法的效率，也即提高图像处理效率，另一方面又提高了融合图像颜色的保真性，进一步增强融合后的图像的鲁棒性。

在具体实施中，根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像时，还存在第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值不超过第一阈值的情况，或者存在第n层的所述第二拉普拉斯金字塔图像的高频细节信息不小于所述第一拉普拉斯金字塔图像的高频细节信息的情况。当出现上述情况时，则可以进一步对第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的细节差异比对，根据所述局部区域的细节差异比对结果，确定所述局部区域对应的局部融合掩模图像。根据所述局部融合掩模图像对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的图像融合。

在具体实施中，可以采用如下方式确定局部融合掩模图像：采用相同的区域划分方式，分别对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行区域划分，得到多个子区域；计算所述第二拉普拉斯金字塔图像中的每个子区域与所述第一拉普拉斯金字塔图像中对应位置处的子区域的细节差异，根据所述细节差异确定所述局部融合掩模图像，所述局部融合掩模图像用于指示所述第二拉普拉斯金字塔图像中的子区域的融合权重。

在本发明实施例中，分别将第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像划分成p×q个的子区域，其中p×q≥2。针对位置为(p，q)的子区域，计算第一拉普拉斯金字塔图像中(p，q)处的子区域与第二拉普拉斯金字塔图像的(p，q)处的子区域的细节差异。

在具体实施中，可以针对每个子区域分别计算细节差异，也可以针对设定的一些区域计算细节差异，具体根据实际需求进行配置即可，此处不做限定。

细节差异可以反映第一拉普拉斯金字塔图像与第二拉普拉斯金字塔图像的相似度，细节差异越大，则表征第一拉普拉斯金字塔图像与第二拉普拉斯金字塔图像的相似度越低，也即第一拉普拉斯金字塔图像与第二拉普拉斯金字塔图像的不同的地方越多，相同的地方越少。

在具体实施中，当所述细节差异大于第二阈值时，则将所述局部融合掩模图像中的值全部配置为所述设定值。此时，第二拉普拉斯金字塔图像的子区域与第一拉普拉斯金字塔图像的子区域的局部差异过大，判断存在遮挡情况，将局部融合掩模图像中的值全部配置为设定值之后，第二拉普拉斯金字塔图像的子区域对应的权重为0，也即第二拉普拉斯金字塔图像的子区域不参于融合，只根据第一拉普拉斯金字塔图像的子区域图像进行图像融合。

在具体实施中，当所述细节差异不大于第二阈值时，分别计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息。根据第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息，确定所述局部融合掩模图像。

在本发明实施中，可以计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息与所述第一拉普拉斯金字塔图像中的子区域的高频细节信息的比值，将所述比值作为所述局部融合掩模图像中的权重。

通过根据第二拉普拉斯金字塔图像中的子区域的高频细节信息与所述第一拉普拉斯金字塔图像中的子区域的高频细节信息情况，来确定局部融合掩模图像，可以确定合适的权重达到增强图像中的细节的目的。

其中，在计算细节差异时，可以采用如下方式：对所述第二拉普拉斯金字塔图像中的每个子区域及所述第一拉普拉斯金字塔图像中对应位置处的子区域分别进行二值化，得到二值化后的第一图像及二值化后的第二图像；对所述二值化后的第一图像与所述二值化后的第二图像求异或并求和，将异或并求和的结果作为所述细节差异。

在具体实施中，根据二值化后的第一图像与二值化后的第二图像的像素的值，进行求异或并求和，异或并求和值越大，则表征二值化后的第一图像与二值化后的第二图像之前的不同之处越多，细节差异越大，出现遮挡的概率也越大。

在具体实施中，步骤S15可以通过如下方式进行图像融合：根据所述融合掩模图像，对第N-2层的所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行融合，得到第N-2层融合后的拉普拉斯金字塔图像；将所述第N-1层的第一高斯金字塔图像上采样得到上采样后的第N-2层的图像；将所述第N-2层融合后的拉普拉斯金字塔图像与上采样后的所述第N-2层的图像进行融合，得到所述第N-2层融合后的图像；基于所述第N-2层融合后的图像继续进行上采样继续进行其他层的图像融合，直至得到第0层对应的融合图像，所述第0层对应的融合图像即为所述融合后的图像。

在具体实施中，在将所述第N-1层的第一高斯金字塔图像上采样得到第N-2层的第一高斯金字塔图像之后，对上采样得到的第N-2层的第一高斯金字塔图像进行高斯平滑处理，将高斯平滑处理后的图像作为所述第N-2层的第一高斯金字塔图像。

在本发明实施例中，将N-1层的第一高斯金字塔的图像上采样到第N-2层图像之后并作高斯平滑，得到上采样后的第N-2层图像。采用第N-2层的融合掩模图像对第N-2层的第一拉普拉斯金字塔图像及第二拉普拉斯金字塔图像进行图像融合，得到第N-2层融合后的拉普拉斯金字塔图像，将上采样得到的第N-2层图像与第N-2层融合后的拉普拉斯金字塔图像相加，得到第N-2层的融合图像。对第N-2层的融合图像进行上采样，得到上采样后的第N-3层图像。采用第N-3层的融合掩模图像对第N-3层的第一拉普拉斯金字塔图像及第二拉普拉斯金字塔图像进行图像融合，得到第N-3层融合后的拉普拉斯金字塔图像，将上采样得到的第N-3层图像与第N-3层融合后的拉普拉斯金字塔图像相加，得到第N-3层的融合图像。以此类推，直至得到第0层对应的原尺度的融合图像，也即融合后的图像。

此外，在进行图像融合操作时，可以在不同层上对不同的尺度的图像进行图像融合，考虑了不同层中不同尺度的图像内容的差异，使得融合效果更加的自然，鲁棒性更好。

进一步地，在信息通道上采用拉普拉斯金字塔算法分离待融合的第一图像及第二图像中的高频成分，采用高斯金字塔算法分离出待融合的第一图像及第二图像中的低频成分，有效利用待融合的第一图像及第二图像中的细节信息的同时，并保持颜色通道不变，在提高算法的效率的同时，又提高了融合图像颜色的保真性，还可以增强图像融合的鲁棒性。

进一步地，通过有效确定融合掩模图像或者局部融合掩模图像来选择融合成分，可以解决长焦镜头失焦，遮挡和融合区域内局部失焦等情况，进一步增强了融合的鲁棒性。

为了便于理解，参照图2，给出了本发明实施例中的一种视场融合的算法示意，广角摄像头和长焦摄像头安装至同一电子装置上，并拍摄同一场景的物体，分别得到广角图像和长焦图像。广角图像的视场图为1，变焦倍数为X的长焦图像的视场图为2，光束对齐后，长焦图像的视场图2大致包含在广角图像的视场图1的中心，介于1和X之间的某一变焦值下视场图为3。当变焦倍数为1到X之间的某一数值时，如变焦倍数为(1+X)/2，视场融合后的图像3边缘部分由广角图像1贡献，而图像3的中心部分(可以为图像1中与图像2对应的区域)由长焦图像2和广角图像1融合得到。图像3的边缘由图像1对应的原始广角图像经过裁剪和插值得到(数码变焦)，而图像3的中心部分经过本发明上述实施例提供的图像融合方法进行图像融合得到，融合的原始图像分别为图像1对应的原始广角图像数码变焦图像和图像2对应的原始长焦图像重采样图像。

本发明实施例还提供一种图像融合装置，参照图3，给出了本发明实施例中的一种图像融合装置的结构示意图，图像融合装置30可以包括：

获取单元31，用于获取第一图像及第二图像，其中，所述第一图像由终端的第一摄像头采集，所述第二图像由所述终端的第二摄像头采集，且所述第一摄像头的视场角大于所述第二摄像头的视场角；

第一确定单元32，用于确定所述第一图像中的待融合区域；

处理单元33，用于对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；

第二确定单元34，用于第二根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；

融合单元35，用于根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。

在具体实施中，图像融合装置30的具体工作原理及工作流程，可以参考本发明上述任一实施例中的描述，此处不再赘述。

本发明实施例还提供一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行本发明上述任一实施例中的图像融合方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本发明上述任一实施例中的图像融合方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (19)

1.一种图像融合方法，其特征在于，包括：

获取第一图像及第二图像，其中，所述第一图像由终端的第一摄像头采集，所述第二图像由所述终端的第二摄像头采集，且所述第一摄像头的视场角大于所述第二摄像头的视场角；

确定所述第一图像中的待融合区域；

分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；

根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；

根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。

2.如权利要求1所述的图像融合方法，其特征在于，所述分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像，包括：

采用高斯金字塔算法分别对所述第一图像及所述第二图像进行处理，得到所述第一图像对应的N个不同尺度的第一高斯金字塔图像及所述第二图像对应的N个不同尺度的第二高斯金字塔图像；

采用拉普拉斯金字塔算法分别对所述第一高斯金字塔图像及第二高斯金字塔图像进行处理，得到所述第一图像对应的第一拉普拉斯金字塔图像以及所述第二图像对应的第二拉普拉斯金字塔图像，其中，N为金字塔的层数，且N≥2。

3.如权利要求2所述的图像融合方法，其特征在于，所述根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，包括：

根据第n层的第一拉普拉斯金字塔图像中的像素的值，计算第n层的第一拉普拉斯金字塔图像的高频细节信息，根据第n层的第二拉普拉斯金字塔图像中的像素的值，计算第n层的第二拉普拉斯金字塔图像的高频细节信息，0≤n≤N-1；

当第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值超过第一阈值时，将所述融合掩模图像中的值全部配置为设定值，所述设定值用于指示所述融合权重为0。

4.如权利要求3所述的图像融合方法，其特征在于，所述根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，还包括：

当第n层的所述第二拉普拉斯金字塔图像的高频细节信息小于所述第一拉普拉斯金字塔图像的高频细节信息，且所述第二拉普拉斯金字塔图像的高频细节信息与所述第一拉普拉斯金字塔图像的高频细节信息的差值的绝对值不超过第一阈值时，或者当第n层的所述第二拉普拉斯金字塔图像的高频细节信息不小于所述第一拉普拉斯金字塔图像的高频细节信息时，对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的细节差异比对；

根据所述局部区域的细节差异比对结果，确定所述局部区域对应的局部融合掩模图像；

根据所述局部融合掩模图像对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行局部区域的图像融合。

5.如权利要求4所述的图像融合方法，其特征在于，所述根据所述局部区域的细节差异比对结果，确定所述局部区域对应的局部融合掩模图像，包括：

采用相同的区域划分方式，分别对所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行区域划分，得到多个子区域；

计算所述第二拉普拉斯金字塔图像中的每个子区域与所述第一拉普拉斯金字塔图像中对应位置处的子区域的细节差异，根据所述细节差异确定所述局部融合掩模图像，所述局部融合掩模图像用于指示所述第二拉普拉斯金字塔图像中的子区域的融合权重。

6.如权利要求5所述的图像融合方法，其特征在于，所述根据所述细节差异确定所述局部融合掩模图像，包括：

当所述细节差异大于第二阈值时，则将所述局部融合掩模图像中的值全部配置为所述设定值。

7.如权利要求5所述的图像融合方法，其特征在于，所述根据所述细节差异确定所述局部融合掩模图像，包括：

当所述细节差异不大于第二阈值时，分别计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息；

根据第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息，确定所述局部融合掩模图像。

8.如权利要求7所述的图像融合方法，其特征在于，所述根据第二拉普拉斯金字塔图像中的子区域的高频细节信息及所述第一拉普拉斯金字塔图像中的子区域的高频细节信息，确定所述局部融合掩模图像，包括：

计算所述第二拉普拉斯金字塔图像中的子区域的高频细节信息与所述第一拉普拉斯金字塔图像中的子区域的高频细节信息的比值，将所述比值作为所述局部融合掩模图像中的权重。

9.如权利要求5所述的图像融合方法，其特征在于，所述计算所述第二拉普拉斯金字塔图像中的每个子区域与所述第一拉普拉斯金字塔图像中对应位置处的子区域的细节差异，包括：

对所述第二拉普拉斯金字塔图像中的每个子区域及所述第一拉普拉斯金字塔图像中对应位置处的子区域分别进行二值化，得到二值化后的第一图像及二值化后的第二图像；

对所述二值化后的第一图像与所述二值化后的第二图像求异或并求和，将异或并求和的结果作为所述细节差异。

10.如权利要求3所述的图像融合方法，其特征在于，所述根据第n层的第一拉普拉斯金字塔图像中的像素的值，计算第n层的第一拉普拉斯金字塔图像的高频细节信息，包括：

根据第n层的所述第一拉普拉斯金字塔图像中的像素的值，计算所述第一拉普拉斯金字塔图像中的所有像素的平均值；

根据第n层的所述第一拉普拉斯金字塔图像中的像素的值、所述第一拉普拉斯金字塔图像中的所有像素的平均值以及所述第一拉普拉斯金字塔图像中所有像素的数目，计算第n层的第一拉普拉斯金字塔图像的高频细节信息。

11.如权利要求10所述的图像融合方法，其特征在于，采用如下公式计算第n层的第一拉普拉斯金字塔图像的高频细节信息：

其中，delta为第一拉普拉斯金字塔图像的高频细节信息，p_i为所述第一拉普拉斯金字塔图像中的第i个像素的值，

为所述第一拉普拉斯金字塔图像中的所有像素的平均值，m为所述第一拉普拉斯金字塔图像中所有像素的数目，0＜i≤m。

12.如权利要求2所述的图像融合方法，其特征在于，所述根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像，包括：

根据所述融合掩模图像，对第N-2层的所述第一拉普拉斯金字塔图像及所述第二拉普拉斯金字塔图像进行融合，得到第N-2层融合后的拉普拉斯金字塔图像；

将第N-1层的第一高斯金字塔图像上采样得到上采样后的第N-2层的图像；

将所述第N-2层融合后的拉普拉斯金字塔图像与所述第N-2层的图像进行融合，得到所述第N-2层融合后的图像；

基于所述第N-2层融合后的图像继续进行上采样继续进行其他层的图像融合，直至得到第0层对应的融合图像，所述第0层对应的融合图像即为所述融合后的图像。

13.如权利要求12所述的图像融合方法，其特征在于，还包括：

在将所述第N-1层的第一高斯金字塔图像上采样得到上采样后的第N-2层的图像之后，对上采样后的第N-2层的图像进行高斯平滑处理。

14.如权利要求1所述的图像融合方法，其特征在于，还包括：

获取第一图像及第二图像之后，分别对所述第一图像及所述第二图像进行如下至少一种操作：

图像配准、图像缩放。

15.如权利要求1至14任一项所述的图像融合方法，其特征在于，

所述第一图像及所述第二图像为信息通道图像数据。

16.如权利要求1所述的图像融合方法，其特征在于，所述确定所述第一图像中的待融合区域，包括：

根据所述第二图像的视场角，确定所述第一图像的待融合区域；或者，

根据所述第一图像中的特征点所处的区域，确定所述第一图像的待融合区域。

17.一种图像融合装置，其特征在于，包括：

获取单元，用于获取第一图像及第二图像，其中，所述第一图像由终端的第一摄像头采集，所述第二图像由所述终端的第二摄像头采集，且所述第一摄像头的视场角大于所述第二摄像头的视场角；

第一确定单元，用于确定所述第一图像中的待融合区域；

处理单元，用于分别对所述第一图像及所述第二图像进行处理，得到处理后的第一图像及处理后的第二图像；

第二确定单元，用于第二根据所述处理后的第一图像的高频细节信息以及所述处理后的第二图像的高频细节信息，确定所述待融合区域的融合掩模图像，所述融合掩模图像用于指示所述处理后的第二图像的融合权重；

融合单元，用于根据所述确定的融合掩模图像、所述处理后的第一图像及所述处理后的第二图像，进行图像融合，得到融合后的图像。

18.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至16任一项所述的图像融合方法的步骤。

19.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至16任一项所述的图像融合方法的步骤。

Images