CN115115568A - 图像融合处理方法、装置和电子系统 - Google Patents

Abstract

本发明提供了一种图像融合处理方法、装置和电子系统。其中，该方法包括：基于第一图像和第二图像确定对应的光流图；基于第一图像和第二图像的像素相似度确定初始掩膜；对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。通过光流图修正初始掩膜，基于修正后的修正掩膜得到融合图像，可以降低融合图像中未匹配区域的检测误差，以使配准区域全部使用长焦图像信息，提高融合图像的清晰度，最大可能提升融合结果。

Description

图像融合处理方法、装置和电子系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像融合处理方法、装置和电子系统。

背景技术

在图像融合中，图像配准是一个非常重要的步骤，例如，在双目相机中需要对广角图像和长焦图像进行图像配准。在图像配准中的理想状况是完全配准，即在长焦的FOV(Field Of View，视场角)之内都能使用长焦的信息，长焦摄像头FOV之外的区域使用广角的信息。

但是，这其中存在遮挡区域、清晰度差异较大、ISP(Image Signal Processor，图像信号处理器)参数差异导致亮度差异较大等问题，给未配准区域的检测带来了较大的困难。由于遮挡、配准算法等原因常常会导致长焦摄像头FOV之内的部分区域无法配准，检测误差较大。这些未配准区域只能使用广角的信息，而错误地使用过多的广角信息，会降低配准后图像的清晰度，影响了图像的融合效果。

发明内容

有鉴于此，本发明的目的在于提供一种图像融合处理方法、装置和电子系统，以降低未匹配区域的检测误差，最大可能提升融合结果。

第一方面，本发明实施例提供了一种图像融合处理方法，方法包括：基于具有相同视场范围的第一图像和第二图像确定对应的光流图；基于第一图像和第二图像的像素相似度确定初始掩膜；其中，初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点；对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。

在本发明较佳的实施例中，上述对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜的步骤，包括：获取光流图对应的第一掩膜；其中，第一掩膜中为第一值的像素点表征光流图中的边缘像素点；对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值；如果目标像素点在第一掩膜中的像素值为第一值，将目标像素点在初始掩膜的像素值设置为第一值，得到修正掩膜。

在本发明较佳的实施例中，上述获取光流图对应的第一掩膜的步骤之后，方法还包括：检查第一掩膜中与第一值的目标像素点的连通区域对应的第一目标区域；如果目标区域在初始掩膜或修正掩膜对应的第二目标区域中的像素值为第二值，将第二目标区域中的像素值设置为第一值。

在本发明较佳的实施例中，上述获取光流图对应的第一掩膜的步骤，包括：对于光流图中像素点，均计算横坐标方向的第一标准差和纵坐标方向的第二标准差；将第一标准差和第二标准差的较大值作为像素点的标准差；如果像素点的标准差大于预设标准差阈值，将像素点在第一掩膜中的像素值设置为第一值。

在本发明较佳的实施例中，上述获取光流图对应的第一掩膜的步骤之后，方法还包括：计算第一掩膜中像素值为第一值的像素点的面积与第一掩膜的面积的比值；如果比值小于预设比例阈值，继续执行对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值的步骤。

在本发明较佳的实施例中，上述方法还包括：获取具有相同视场范围的第一初始图像和第二图像；对第一初始图像进行映射处理，得到第一图像；基于第一初始图像和第一图像确定映射掩膜；其中，映射掩膜中为第一值的像素点用于表征第一图像中坐标超出第一初始图像的边界的像素点；得到修正掩膜的步骤之后，方法还包括：将修正掩膜中与映射掩膜中第一值的像素点对应的像素点设置为第一值，得到更新后的修正掩膜。

在本发明较佳的实施例中，上述得到修正掩膜的步骤之后，方法还包括：计算第一图像的像素点的像素值与第二图像的像素点的像素值的差值；如果差值大于预设的像素值阈值，将像素点在修正掩膜的像素值设置为第一值，得到更新后的修正掩膜。

在本发明较佳的实施例中，上述得到修正掩膜的步骤之后，方法还包括：对修正掩膜的边界区域进行渐变处理，以使修正掩膜的像素值从修正掩膜的边界开始，以预设步进值从预设第三值变化为第一值，得到更新后的修正掩膜。

在本发明较佳的实施例中，上述得到修正掩膜的步骤之后，方法还包括：对修正掩膜进行高斯模糊处理，以在修正掩膜中像素值为第一值的区域增加过渡区域。

在本发明较佳的实施例中，上述基于第一图像和第二图像的像素相似度确定初始掩膜的步骤，包括：计算像素点在第一图像的像素值和第二图像中的像素值之间的结构相似度；如果像素点的结构相似度小于预设相似度阈值，将像素点在初始掩膜中的像素值设置为第一值。

在本发明较佳的实施例中，上述基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像的步骤，包括：对修正掩膜取反，得到目标掩膜；基于目标掩膜对第一图像和第二图像进行融合处理，得到融合图像。

在本发明较佳的实施例中，上述方法还包括：获取待融合的长焦图像和广角图像的相同视场范围对应的重叠区域，得到第一图像和第二图像；上述基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像的步骤，包括：对修正掩膜取反，得到目标掩膜；基于目标掩膜融合第一图像和第二图像，得到局部融合图像；将局部融合图像与广角图像融合，得到全局融合图像。

第二方面，本发明实施例还提供一种图像融合处理装置，装置包括：光流图确定模块，用于基于具有相同视场范围的第一图像和第二图像确定对应的光流图；初始掩膜确定模块，用于基于第一图像和第二图像的像素相似度确定初始掩膜；其中，初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点；修正掩膜确定模块，用于对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；融合图像确定模块，用于基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。

第三方面，本发明实施例提供了一种电子系统，电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取广角图像和长焦图像；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如前述实施例中任一项的图像融合处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如前述实施例中任一项的图像融合处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种图像融合处理方法、装置和电子系统，基于具有相同视场范围的第一图像和第二图像确定光流图，并基于第一图像和第二图像的像素相似度确定初始掩膜；基于光流图中该连通区域的对应区域的像素点，修正初始掩膜中为第一值的像素点的连通区域内的像素点的像素值，得到修正掩膜；基于修正掩膜对上述第一图像和第二图像进行融合处理，得到融合图像。该方式中，通过光流图修正初始掩膜，基于修正后的修正掩膜得到融合图像，可以降低融合图像中未匹配区域的检测误差，以使配准区域全部使用长焦图像信息，提高融合图像的清晰度，最大可能提升融合结果。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像融合处理方法的流程图；

图3为本发明实施例提供的一种广角图像的示意图；

图4为本发明实施例提供的一种长焦图像的示意图；

图5为本发明实施例提供的一种融合权重图图像的示意图；

图6为本发明实施例提供的另一种游戏中的图像融合处理方法的流程图；

图7为本发明实施例提供的一种高斯模糊后修正掩膜的示意图；

图8为本发明实施例提供的一种图像融合处理方法示意图；

图9为本发明实施例提供的一种图像融合处理装置的结构示意图；

图10为本发明实施例提供的另一种图像融合处理装置的结构示意图；

图11为本发明实施例提供的另一种电子系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了进行长焦图像与广角图像的融合，需要找到匹配区域和未匹配区域，匹配区域使用长焦图像的图像信息，未匹配区域均使用广角图像的图像信息，相关技术中由于图像本身亮度、清晰度等差异，导致本来未匹配区域的检测误差较大，影响了图像的融合效果。基于此，本发明实施例提供的一种图像融合处理方法、装置和电子系统，可以降低融合图像中未匹配区域的检测误差，以使配准区域全部使用长焦图像信息，最大可能提升融合结果。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像融合处理方法进行详细介绍。

实施例一：

首先，参照图1所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的图像融合处理方法、装置和电子系统。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行图像融合处理的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以获取待检测图像，并且将采集到的图像存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像融合处理方法、装置和电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

实施例二

本实施例提供了一种图像融合处理方法，参见图2所示的一种图像融合处理方法的流程图，该图像融合处理方法包括如下步骤：

步骤S202，基于具有相同视场范围的第一图像和第二图像确定对应的光流图。

本实施例中的第一图像和第二图像为待进行图像融合的图像，可以为长焦图像和广角图像，例如：第一图像为长焦图像，第二图像为广角图像；或者，第一图像为广角图像，第二图像为长焦图像。本实施例中一般以第一图像和第二图像分别为长焦图像和广角图像为例，此后不再赘述。

焦距影响对象出现在图片上的清晰度。焦距越小图片中包含的场景就越多。加大焦距将包含更少的场景，但会显示远距离对象的更多细节。

焦距可以以毫米为单位进行测量。50mm摄像头通常是摄影的标准摄像头。焦距小于50mm的摄像头称为短或广角摄像头。焦距大于50mm的摄像头称为长或长焦摄像头。由长焦摄像头拍摄的图像称为长焦图像，由广角摄像头拍摄的图像称为广角图像。

FOV表征可见场景的数量。FOV以水平线度数进行测量，它与摄像头的焦距直接相关。例如，50mm的摄像头显示水平线为46度。摄像头越长，FOV越窄。摄像头越短，FOV越宽。短焦距(宽FOV)强调透视的扭曲，使对象朝向观察者看起来更深、更模糊；长焦距(窄FOV)减少了透视扭曲，使对象压平或与观察者平行。

综上，广角图像的FOV更宽，清晰度较差；长焦图像的FOV更窄，清晰度较好。为了保证更好的图像融合效果，可以尽可能多的使用长焦图像，在长焦图像的FOV之外的地方可以使用广角图像。

一般来说，广角摄像头和长焦摄像头可以平行、垂直或者以其他的排布方式设置在拍照设备中，其中，拍照设备可以是摄像机、手机、电脑、平板电脑等具有拍照功能的设备。照相设备在进行拍照时，广角摄像头和长焦摄像头可以同时进行拍照，分别得到广角图像和长焦图像。其中，本发明实施例提供方法可以应用于拍照设备的滤波器中。

由于广角摄像头和长焦摄像头的位置存在不同，且广角摄像头和长焦摄像头的FOV并不相同，因此，广角图像和长焦图像存在一部分重叠区域和一部分不重叠区域；其中，重叠区域可以指广角图像和长焦图像中均拍摄到的物体或风景等。

参见图3所示的一种广角图像的示意图和图4所示的一种长焦图像的示意图，图4中的长焦图像与图3中广角图像示出了相同的重叠区域，可以看出，长焦图像具有更高的清晰度。在图像融合时，对于这部分区域最好全部使用广角图像。

在对广角图像和长焦图像进行图像融合时，一般以使用广角图像和配准之后的长焦图像的差的绝对值作为融合权重的初始值进行融合。这种方式的融合权重可以参见图5所示的一种融合权重图图像的示意图，图5中的白色代表融合使用长焦图像，黑色代表融合使用广角图像。由图5可以看出，由于长焦和广角图像本身亮度、清晰度等差异，导致融合权重图的示意图中本来配准的区域出现检测错误，广角图像的权重较大，清晰度提升效果不好。

因此，本实施例希望可以在配准的区域降低广角图像的权重，增加长焦图像的权重。首先，可以基于待融合的长焦图像和广角图像的重叠区域确定对应的光流图。其中，光流图可通过光流算法对配准图像对进行计算，常见的光流算法主要有Horn-Schunck算法、Lucas-Kanade算法等，具体可根据实际需要自行选择。

步骤S204，基于第一图像和第二图像的像素相似度确定初始掩膜；其中，初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点。

在确定映射图像之后，可以根据第一图像和第二图像的像素相似度确定初始掩膜，由于第一图像和第二图像中相同的物体具有相同的坐标，每个像素点在第一图像和第二图像的相似度，可以表征第一图像中的物体和第二图像中的物体的相似程度。像素相似度越高，则物体的相似程度越高，越可以使用长焦图像。

其中，预设第一值可以为1，预设第二值可以为0，在其他实施例中，也可以为第一为0,第二为1的取值，此后不再赘述。初始掩膜中为预设第一值的像素点，即置为1的像素点，相似度小于设定相似阈值，该像素点可能使用广角图像而非长焦图像。初始掩膜中为预设第二值的像素点，即置为0的像素点，相似度大于或等于相似阈值，该像素点可能使用长焦图像而非广角图像。

步骤S206，对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜。

初始掩膜中像素点相似度较低可能是清晰度差异、未配准、曝光差异等导致的。对于清晰度差异、曝光差异等非未配准的原因，需要进行剔除。因此，对于初始掩膜中为第一值的像素点的连通区域，可以基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，即将该连通区域的像素点的像素值由第一值修改为第二值，修正后的初始掩膜称为修正掩膜。

具体思路可以是：如果该连通区域的像素点在光流图中较为平坦，则不会是未配准的原因导致清晰度较低，因此可以将该连通区域的像素点的像素值由第一值修改为第二值。

步骤S208，基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。

完成对初始掩膜的修正之后，可以根据修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。具体来说，以第一图像和第二图像分别为长焦图像和广角图像为例，修正掩膜中为第一值，即相似度较低，需要使用广角图像进行融合；修正掩膜中为第二值，即相似度较高，需要使用长焦图像进行融合。本实施例得到的融合图像，可以尽可能地在配准区域多使用长焦图像信息，从而提高融合图像的清晰度。

本发明实施例提供的一种图像融合处理方法，基于具有相同视场范围的第一图像和第二图像确定光流图，并基于第一图像和第二图像的像素相似度确定初始掩膜；基于光流图中该连通区域的对应区域的像素点，修正初始掩膜中为第一值的像素点的连通区域内的像素点的像素值，得到修正掩膜；基于修正掩膜对上述第一图像和第二图像进行融合处理，得到融合图像。该方式中，通过光流图修正初始掩膜，基于修正后的修正掩膜得到融合图像，可以降低融合图像中未匹配区域的检测误差，以使配准区域全部使用长焦图像信息，提高融合图像的清晰度，最大可能提升融合结果。

实施例三

本实施例提供了另一种图像融合处理方法，该方法在上述实施例的基础上实现；本实施例重点描述基于光流图修正初始掩膜中为第一值的像素点的连通区域的像素点的像素值的具体实施方式。如图6所示的另一种游戏中的图像融合处理方法的流程图，本实施例中的图像融合处理方法包括如下步骤：

步骤S602，基于具有相同视场范围的第一图像和第二图像确定对应的光流图。

以长焦图像和广角图像为例，本实施例可以将长焦图像和广角图像的相同视场范围对应的重叠区域分别作为第一图像和第二图像，例如：获取待融合的长焦图像和广角图像的相同视场范围对应的重叠区域，得到第一图像和第二图像。

其中，第一图像可以为长焦图像的重叠区域，也可以称为第一重叠图像，第二图像可以为广角图像的重叠区域，也可以称为第二重叠图像。

由于广角摄像头和长焦摄像头的位置和FOV均不相同。因此，第一重叠图像和第二重叠图像中相同物体的坐标并不相同，需要进行像素偏移。本实施例中可以基于光流图对第一重叠图像的像素进行偏移(即进行映射处理)，映射处理后的图像可以称为映射图像，即上述第一图像。映射图像与第二重叠图像中相同的物体具有相同的坐标，即映射图像与第二重叠图像对齐。除了对第一重叠图像的像素进行偏移之外，本实施例还可以对第二重叠图像的像素进行偏移。

映射处理也可以称为remap：根据光流图对第一重叠图像进行逐像素偏移，使偏移后的第一重叠图像与第二重叠图像对应区域对齐，偏移后的第一重叠图像可以称为映射图像。

步骤S604，基于第一图像和第二图像的像素相似度确定初始掩膜；其中，初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点。

在本申请的一些实施例中，如果第一图像和第二图像分别为长焦图像和广角图像，可以基于第一图像和第二图像的像素相似度确定初始掩膜。计算基于第一图像和第二图像的像素相似度时，可以将结构相似度(SSIM，Structural SIMilarity)、不相关系数、像素差的绝对值等作为像素相似度。以结构相似度为例，可以通过步骤A1-步骤A2基于第一图像和第二图像的像素相似度确定初始掩膜(也称为mask_SSIM)：

步骤A1，计算像素点在第一图像的像素值和第二图像中的像素值之间的结构相似度。

SSIM的取值范围可以为-1到1；当两张图完全一样时，SSIM的值为1。SSIM越高表示像素点在第二图像的像素值和第一图像中的像素值的相似度越高，SSIM越低则表示相似度越低。相似度低的原因可能是：清晰度差异、未配准、曝光差异等。

步骤A2，如果像素点的结构相似度小于预设相似度阈值，将像素点在初始掩膜中的像素值设置为第一值。

相似度阈值(thr1)可以由用户预先设置，将SSIM阈值化，如果SSIM低于thr1，则将像素点在初始掩膜中的像素值设置为第一值(置为1)；如果SSIM大于或等于thr1，则将像素点在初始掩膜中的像素值设置为第二值(置为0)。

通过上述方式，既可以得到初始掩膜，初始掩膜的每个像素点的像素值由第一值(1)和第二值(0)构成，置为第一值的像素点表征相似度较低，可能是由清晰度差异、未配准、曝光差异等原因导致的。

步骤S606，获取光流图对应的第一掩膜；其中，第一掩膜中为第一值的像素点表征光流图中的边缘像素点。

在本申请一些实施例中，第一掩膜是根据光流图计算得到的，第一掩膜中各个像素点的值，可以表征光流图中该像素点的平坦程度，使用光流图的标准差表征，例如：对于光流图中像素点，均计算横坐标方向的第一标准差和纵坐标方向的第二标准差；将第一标准差和第二标准差的较大值作为像素点的标准差；如果像素点的标准差大于预设标准差阈值，将像素点在第一掩膜(也称为mask)中的像素值设置为第一值。

光流图中的各个像素点的坐标是(x，y)的形式，分别计算各个像素点在x方向和y方向的坐标值的标准差，可以获得各个像素的x方向(横坐标方向)的第一标准差和y方向(纵坐标方向)的第二标准差；选择第一标准差和第二标准差的较大值作为该像素点的标准差。

如果该像素点的标准差大于预设标准差阈值(thr)，这说明该像素点的光流不平坦，像素点在第一掩膜中的像素值设置为第一值(置为1)；如果该像素点的标准差小于或等于thr，这说明该像素点的光流平坦，像素点在第一掩膜中的像素值设置为第二值(置为0)。

在本发明的一些实施例中，得到第一掩膜之后，可以计算第一掩膜中光流不平坦的面积的比例，如果该比例过高，则难以进行图像融合。例如：计算第一掩膜中像素值为第一值的像素点的面积与第一掩膜的面积的比值；如果比值小于预设比例阈值，继续执行对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值的步骤。

在本申请一些实施例中，第一掩膜中像素值为第一值的像素点的面积即表征光流不平坦的像素点的面积，计算该面积与第一掩膜的面积的比值ratio，如果ratio小于预设比例阈值(ratioThr)，则说明光流不平坦的像素点较少，可以继续进行图像融合。如果ratio大于或等于ratioThr，则说明光流不平坦的像素点较多，光流中边缘过多，大概率会出现配准完全错误。此时可以报错，不继续进行图像融合；也可以直接将广角图像作为融合图像。

在本发明的一些实施例中，在得到第一掩膜之后，对于初始掩膜中的一些像素点，这些像素点在初始掩膜中表征相似度很高，但是在第一掩膜中保证光流不平坦，上述这些像素点也是未配准的，需要修改初始掩膜，例如：检查第一掩膜中与第一值的目标像素点的连通区域对应的第一目标区域；如果目标区域在初始掩膜或修正掩膜对应的第二目标区域中的像素值为第二值，将第二目标区域中的像素值设置为第一值。

第一掩膜中第一目标区域中的连通区域的像素点均为第一值，表征第一目标区域的像素点光流均不平坦，这些像素点在初始掩膜或修正掩膜对应的区域为第二目标区域。将第二目标区域中第二值的像素点设置为第一值，可以保证将所有光流不平坦的像素点均设置为可能未配准的像素点。第一目标区域除了可以包含上述连通区域之外，还可以包含上述连通区域的附近区域，上述连通区域的附近区域的像素点可能为第一值，也可能为第二值。

具体来说，首先在mask中为1的连通区域，将这些区域和附近区域作为第一目标区域，在mask_SSIM的与第一目标区域对应的第二目标区域中，第二值的像素点设置为第一值。

该方式中，对于初始掩膜或修正掩膜中，如果一个像素点的相似度很高，但是通过第一掩膜表征该像素点的光流平坦度较低，则认为该像素点也可能是未配准的。

步骤S608，对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值。

对于初始掩膜中为第一值的像素点划分为多个连通区域，连通区域一般有4邻接连通域标记和8邻接连通域标记两种划分方式。划分连通区域后，连通区域内的像素点称为目标像素点，可以获得上述目标像素点在第一掩膜中的像素值。可以认为，上述连通区域的目标像素点均为光流平坦的像素点，不会发生扭曲，也不会出现未配准的可能。

步骤S610，如果目标像素点在第一掩膜中的像素值为第一值，将目标像素点在初始掩膜的像素值设置为第一值，得到修正掩膜。

目标像素点在第一掩膜中的像素值如果为第一值(即目标像素点在第一掩膜中的像素值为1)，则说明可能是清晰度差异、曝光差异等原因造成的相似度较低，不会是未配准造成的清晰度较低。因此，可以将目标像素点在初始掩膜的像素值设置为第一值，从而得到修正掩膜。

该方式中，可以通过第一掩膜修正初始掩膜，将因为清晰度差异、曝光差异等原因造成的相似度较低的像素点在初始掩膜中由第二值置为第一值，得到修正掩膜，从而为后续融合图像增加长焦图像的融合权重，增加融合图像的清晰度。

在本申请一些实施例中，对于修正掩膜，还可以进行进一步的更新，例如：光流超出边界区域检测，即remap之后坐标超出图像边界的区域检测。首先，第一图像可以通过下述步骤获得：获取具有相同视场范围的第一初始图像和第二图像；对第一初始图像进行映射处理，得到第一图像，使得第一图像与第二图像进行对齐配准。第一初始图像通过映射处理，可以得到第一图像。之后，可以检测第一图像的边界区域，例如：基于第一初始图像和第一图像确定映射掩膜mask_re；其中，映射掩膜mask_re中为第一值的像素点用于表征第一图像中坐标超出第一初始图像的边界的像素点。

由于在映射处理时会移动第一初始图像，导致第一图像的坐标会移动出第一初始图像的边界，将第一图像中坐标超出第一初始图像的边界的像素点的值置为1，得到mask_re，其中，1代表超出边界的区域。

对于超出边界的区域的像素点，可以在修正掩膜中将这些像素点的像素值置为1，认为其是无法配准的，例如：将修正掩膜中与映射掩膜中第一值的像素点对应的像素点设置为第一值，得到更新后的修正掩膜。

本申请的一些实施例中，如果映射图像与第二图像的同一像素点的像素值之差过大，则也可以认为其是无法配准的，例如：计算第一图像的像素点的像素值与第二图像的像素点的像素值的差值；如果差值大于预设的像素值阈值，将像素点在修正掩膜的像素值设置为第一值，得到更新后的修正掩膜。

用户可以预先设置像素值阈值(thr2)，如果一个像素点在映射图像的像素值与在第二图像的像素值的差的绝对值大于thr2，这说明该像素点的像素值差距过大，是无法配准的，可以将该像素点在修正掩膜的像素值设置为第一值。

步骤S612，基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。

在本申请的一些实施例中，在进行图像融合时，可以先对修正掩膜取反，之后根据取反后得到的目标掩膜融合第二重叠图像和第一重叠图像，例如：对修正掩膜取反，得到目标掩膜；基于目标掩膜融合第一图像和第二图像对第一图像和第二图像进行融合处理，得到融合图像。

在本申请的一些实施例中，如果第一图像和第二图像分别为长焦图像和广角图像，则可以为：对修正掩膜取反，得到目标掩膜；基于目标掩膜融合第一图像和第二图像，得到局部融合图像；将局部融合图像与广角图像融合，得到全局融合图像。

其中，可以通过下述公式进行修正掩膜取反：mask_SSIM＝1-mask_SSIM。取反之后的目标掩膜中置为第一值(1)的像素点表征可配准，置为第二值(0)的像素点表征未配准。

本申请的一些实施例中，对修正的边界区域可以进行渐变处理，以使修正掩膜的像素值渐变更加合理，例如：对修正掩膜的边界区域进行渐变处理，以使修正掩膜的像素值从修正掩膜的边界开始，以预设步进值从预设第三值变化为第一值，得到更新后的修正掩膜。

对mask_SSIM图像边界区域做渐变处理，从图像四周边缘往中间，像素值从0.0以预设步进值(例如0.01)的步进值增加到1.0，这么做的原因是为了在长焦摄像头FOV之外区域的广角信息与长焦摄像头拼接的时候增减渐变融合的区域，视觉上不会产生明显的断裂感。

在本申请的一些实施例中，之后可以对mask_SSIM进行高斯模糊，例如：对修正掩膜进行高斯模糊处理，以在修正掩膜中像素值为第一值的区域增加过渡区域。

高斯模糊的目的是增加过渡区域，参见图7所示的一种高斯模糊后修正掩膜的示意图，高斯模糊后的修正掩膜，白色代表使用长焦摄像头，黑色代表使用广角摄像头。

可以看出，一般在光流的边缘附近才会使用广角摄像头，同时可以解决清晰度差异等原因导致的实际配准但图像相似度低，从而错误使用广角摄像头信息的问题。

本实施例提供的一种图像融合处理方法的具体步骤，可以参见图8所示的一种图像融合处理方法示意图，对于长焦图像和广角图像进行特征点匹配检测，得到重叠区域得到的重叠图像，分别为第一重叠图像和第二重叠图像。根据第一重叠图像和第二重叠图像得到光流图，根据光流图和第一重叠图像得到映射图像。根据映射图像和第二重叠图像得到初始掩膜mask_SSIM，其中，低于thr1的区域置为1，代表未配准的候选区域。

之后更新mask_SSIM，根据光流图计算标准差，将标准差大于thr的相似度在第一掩膜mask上置为1，合并mask至mask_SSIM，使得mask为1的区域在mask_SSIM上也置为1。对于映射图和第二重叠图像汇总，将像素值之差的绝对值大于th2的像素点在mask_SSIM上置为1。

根据映射图得到映射掩膜mask_re，将mask_re坐标超出第一重叠图像的边界的像素点置为1。合并mask_re至更新后的mask_SSIM中，对mask_SSIM计算连通域，每个mask_SSIM若没有在mask中值为1的像素点，将该连通域的所有像素点的像素值置为0。

将更新后的mask_SSIM取反得到目标掩膜，对目标掩膜的边界做渐变处理，对整体做高斯模糊，得到最终的权重图，根据权重图可以得到融合图像，已完成本实施例中的图像融合处理方法。

实施例四

对应于上述方法实施例，本发明实施例提供了一种图像融合处理装置，如图9所示的一种图像融合处理装置的结构示意图，该图像融合处理装置包括：

光流图确定模块91，用于基于具有相同视场范围的第一图像和第二图像确定对应的光流图；

初始掩膜确定模块92，用于基于第一图像和第二图像的像素相似度确定初始掩膜；其中，初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点；

修正掩膜确定模块93，用于对于初始掩膜中为第一值的像素点的连通区域，均基于光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；

融合图像确定模块94，用于基于修正掩膜对第一图像和第二图像进行融合处理，得到融合图像。

本发明实施例提供的一种图像融合处理装置，基于具有相同视场范围的第一图像和第二图像确定光流图，并基于第一图像和第二图像的像素相似度确定初始掩膜；基于光流图中该连通区域的对应区域的像素点，修正初始掩膜中为第一值的像素点的连通区域内的像素点的像素值，得到修正掩膜；基于修正掩膜对上述第一图像和第二图像进行融合处理，得到融合图像。该方式中，通过光流图修正初始掩膜，基于修正后的修正掩膜得到融合图像，可以降低融合图像中未匹配区域的检测误差，以使配准区域全部使用长焦图像信息，提高融合图像的清晰度，最大可能提升融合结果。

上述修正掩膜确定模块，用于获取光流图对应的第一掩膜；其中，第一掩膜中为第一值的像素点表征光流图中的边缘像素点；对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值；如果目标像素点在第一掩膜中的像素值为第一值，将目标像素点在初始掩膜的像素值设置为第一值，得到修正掩膜。

上述修正掩膜确定模块，还用于检查第一掩膜中与第一值的目标像素点的连通区域对应的第一目标区域；如果目标区域在初始掩膜或修正掩膜对应的第二目标区域中的像素值为第二值，将第二目标区域中的像素值设置为第一值。

上述修正掩膜确定模块，用于对于光流图中像素点，均计算横坐标方向的第一标准差和纵坐标方向的第二标准差；将第一标准差和第二标准差的较大值作为像素点的标准差；如果像素点的标准差大于预设标准差阈值，将像素点在第一掩膜中的像素值设置为第一值。

上述修正掩膜确定模块，还用于计算第一掩膜中像素值为第一值的像素点的面积与第一掩膜的面积的比值；如果比值小于预设比例阈值，继续执行对于初始掩膜中为第一值的目标像素点的连通区域，均确定目标像素点在第一掩膜中的像素值的步骤。

参见图10的另一种图像融合处理装置的结构示意图，该图像融合处理装置还包括：修正掩膜修正模块95，与修正掩膜确定模块93和融合图像确定模块94分别连接，修正掩膜修正模块95，用于对第一图像进行映射处理，得到映射图像；其中，映射图像与第二图像对齐；基于第一图像和映射图像确定映射掩膜；其中，映射掩膜中为第一值的像素点用于表征映射图像中坐标超出第一图像的边界的像素点；修正掩膜修正模块95，还用于将修正掩膜中与映射掩膜中第一值的像素点对应的像素点设置为第一值，得到更新后的修正掩膜。

上述修正掩膜修正模块，还用于计算第一图像的像素点的像素值与第二图像的像素点的像素值的差值；如果差值大于预设的像素值阈值，将像素点在修正掩膜的像素值设置为第一值，得到更新后的修正掩膜。

上述修正掩膜修正模块，还用于对修正掩膜的边界区域进行渐变处理，以使修正掩膜的像素值从修正掩膜的边界开始，以预设步进值从预设第三值变化为第一值，得到更新后的修正掩膜。

上述修正掩膜修正模块，还用于对修正掩膜进行高斯模糊处理，以在修正掩膜中像素值为第一值的区域增加过渡区域。

上述初始掩膜确定模块，用于计算像素点在第一图像的像素值和第二图像中的像素值之间的结构相似度；如果像素点的结构相似度小于预设相似度阈值，将像素点在初始掩膜中的像素值设置为第一值。

上述融合图像确定模块，用于对修正掩膜取反，得到目标掩膜；基于目标掩膜对第一图像和第二图像进行融合处理，得到融合图像。

如图10所示，该图像融合处理装置还包括：图像获取模块96，与光流图确定模块91连接，图像获取模块96，用于获取待融合的长焦图像和广角图像的相同视场范围对应的重叠区域，得到第一图像和第二图像；上述融合图像确定模块，用于对修正掩膜取反，得到目标掩膜；基于目标掩膜融合第一图像和第二图像，得到局部融合图像；将局部融合图像与广角图像融合，得到全局融合图像。

本发明实施例提供的图像融合处理装置，与上述实施例提供的图像融合处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例五

本发明实施例还提供了一种电子系统，用于运行上述图像融合处理方法；参见图11所示的另一种电子系统的结构示意图，该电子系统包括存储器10和处理器11，其中，存储器10用于存储一条或多条计算机指令，一条或多条计算机指令被处理器11执行，以实现上述图像融合处理方法。

进一步地，图11所示的电子系统还包括总线12和通信接口13，处理器11、通信接口13和存储器10通过总线12连接。

其中，存储器10可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口13(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线12可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器10，处理器11读取存储器10中的信息，结合其硬件完成前述实施例的方法的步骤。

实施例六

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述图像融合处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像融合处理方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子系统，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种图像融合处理方法，其特征在于，所述方法包括：

基于具有相同视场范围的第一图像和第二图像确定对应的光流图；

基于所述第一图像和所述第二图像的像素相似度确定初始掩膜；其中，所述初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点；

对于所述初始掩膜中为所述第一值的像素点的连通区域，均基于所述光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；

基于所述修正掩膜对所述第一图像和所述第二图像进行融合处理，得到融合图像。

2.根据权利要求1所述的方法，其特征在于，对于所述初始掩膜中为所述第一值的像素点的连通区域，均基于所述光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜的步骤，包括：

获取所述光流图对应的第一掩膜；其中，所述第一掩膜中为所述第一值的像素点表征所述光流图中的边缘像素点；

对于所述初始掩膜中为所述第一值的目标像素点的连通区域，均确定所述目标像素点在所述第一掩膜中的像素值；

如果所述目标像素点在所述第一掩膜中的像素值为所述第一值，将所述目标像素点在所述初始掩膜的像素值设置为所述第一值，得到修正掩膜。

3.根据权利要求2所述的方法，其特征在于，获取所述光流图对应的第一掩膜的步骤之后，所述方法还包括：

检查所述第一掩膜中与所述第一值的目标像素点的连通区域对应的第一目标区域；

如果所述目标区域在所述初始掩膜或所述修正掩膜对应的第二目标区域中的像素值为第二值，将所述第二目标区域中的像素值设置为所述第一值。

4.根据权利要求2或3所述的方法，其特征在于，获取所述光流图对应的第一掩膜的步骤，包括：

对于所述光流图中像素点，均计算横坐标方向的第一标准差和纵坐标方向的第二标准差；

将所述第一标准差和所述第二标准差的较大值作为所述像素点的标准差；

如果所述像素点的标准差大于预设标准差阈值，将所述像素点在第一掩膜中的像素值设置为所述第一值。

5.根据权利要求2至4任一项所述的方法，其特征在于，获取所述光流图对应的第一掩膜的步骤之后，所述方法还包括：

计算所述第一掩膜中像素值为所述第一值的像素点的面积与所述第一掩膜的面积的比值；

如果所述比值小于预设比例阈值，继续执行对于所述初始掩膜中为所述第一值的目标像素点的连通区域，均确定所述目标像素点在所述第一掩膜中的像素值的步骤。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

获取具有相同视场范围的第一初始图像和所述第二图像；对所述第一初始图像进行映射处理，得到所述第一图像；

基于所述第一初始图像和所述第一图像确定映射掩膜；其中，所述映射掩膜中为所述第一值的像素点用于表征所述第一图像中坐标超出所述第一初始图像的边界的像素点；

得到修正掩膜的步骤之后，所述方法还包括：将所述修正掩膜中与所述映射掩膜中所述第一值的像素点对应的像素点设置为所述第一值，得到更新后的修正掩膜。

7.根据权利要求6所述的方法，其特征在于，得到修正掩膜的步骤之后，所述方法还包括：

计算所述第一图像的像素点的像素值与所述第二图像的像素点的像素值的差值；

如果所述差值大于预设的像素值阈值，将所述像素点在修正掩膜的像素值设置为所述第一值，得到更新后的修正掩膜。

8.根据权利要求1-5任一项所述的方法，其特征在于，得到修正掩膜的步骤之后，所述方法还包括：

对所述修正掩膜的边界区域进行渐变处理，以使所述修正掩膜的像素值从所述修正掩膜的边界开始，以预设步进值从预设第三值变化为所述第一值，得到更新后的修正掩膜。

9.根据权利要求1-5任一项所述的方法，其特征在于，得到修正掩膜的步骤之后，所述方法还包括：

对所述修正掩膜进行高斯模糊处理，以在所述修正掩膜中像素值为所述第一值的区域增加过渡区域。

10.根据权利要求1-9任一项所述的方法，其特征在于，基于所述第一图像和所述第二图像的像素相似度确定初始掩膜的步骤，包括：

计算所述像素点在所述第一图像的像素值和所述第二图像中的像素值之间的结构相似度；

如果所述像素点的结构相似度小于预设相似度阈值，将所述像素点在初始掩膜中的像素值设置为所述第一值。

11.根据权利要求1-9任一项所述的方法，其特征在于，基于所述修正掩膜对所述第一图像和所述第二图像进行融合处理，得到融合图像的步骤，包括：

对所述修正掩膜取反，得到目标掩膜；

基于所述目标掩膜对所述第一图像和所述第二图像进行融合处理，得到融合图像。

12.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：获取待融合的长焦图像和广角图像的相同视场范围对应的重叠区域，得到所述第一图像和所述第二图像；

基于所述修正掩膜对所述第一图像和所述第二图像进行融合处理，得到融合图像的步骤，包括：

对所述修正掩膜取反，得到目标掩膜；

基于所述目标掩膜融合所述第一图像和所述第二图像，得到局部融合图像；

将所述局部融合图像与所述广角图像融合，得到全局融合图像。

13.一种图像融合处理装置，其特征在于，所述装置包括：

光流图确定模块，用于基于具有相同视场范围的第一图像和第二图像确定对应的光流图；

初始掩膜确定模块，用于基于第一图像和所述第二图像的像素相似度确定初始掩膜；其中，所述初始掩膜中为预设第一值的像素点用于表征相似度小于设定相似阈值的像素点；

修正掩膜确定模块，用于对于所述初始掩膜中为所述第一值的像素点的连通区域，均基于所述光流图中该连通区域的对应区域的像素点，修正该连通区域的像素点的像素值，得到修正掩膜；

融合图像确定模块，用于基于所述修正掩膜对所述第一图像和所述第二图像进行融合处理，得到融合图像。

14.一种电子系统，其特征在于，所述电子系统包括：图像采集设备、处理设备和存储装置；

所述图像采集设备，用于获取广角图像和长焦图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至12任一项所述的图像融合处理方法。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至12任一项所述的图像融合处理方法的步骤。

Images