CN112700393A - 一种图像融合方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种图像融合方法、装置和电子设备，涉及通信技术领域。该图像融合方法包括：获取参考图像及至少一个配准图像；根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。本申请的方案能够解决图像融合过程中由于边缘对齐错误造成融合效果差的问题。

Description

一种图像融合方法、装置和电子设备

技术领域

本申请属于通信技术领域，具体涉及一种图像融合方法、装置和电子设备。

背景技术

目前，部分电子设备配备了多个摄像头。

在配有广角摄像头和长焦摄像头的电子设备中，电子设备可以使用广角摄像头与长焦摄像头同时拍摄，随后对二者拍摄的图像进行融合，达到宽广角物体细节兼得的效果，提升用户的拍照体验。

目前常用的融合方法是将两个摄像头的内容对齐，然后提取长焦摄像头图像的边缘信息，与相同位置的广角摄像头的边缘信息进行融合。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

一方面，在被拍摄物体距离电子设备较近的情况下，多个摄像头所拍摄的内容由于视角差异，造成一般的方法对齐困难，尤其表现在对于物体边缘处的对齐错误。另一方面，在融合的过程中，融合权重的计算不能准确反映出图像对齐的情况，造成融合瑕疵。

发明内容

本申请实施例的目的是提供一种图像融合方法、装置和电子设备，能够解决现有技术中，图像融合过程中由于边缘对齐错误造成融合效果差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请的实施例提供了一种图像融合方法，该方法包括：

获取参考图像及至少一个配准图像；

根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；

根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；

利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；

根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

第二方面，本申请的实施例提供了一种图像融合装置，包括：

获取模块，用于获取参考图像及至少一个配准图像；

第一对齐模块，用于根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；

优化模块，用于根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；

第二对齐模块，用于利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；

融合模块，用于根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

第三方面，本申请实施例还提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

这样，本申请实施例中，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

附图说明

图1为本申请实施例提供的图像融合方法的流程图；

图2为本申请实施例提供的图像全局变换示意图；

图3为本申请实施例提供的图像光流对齐示意图；

图4为本申请实施例提供的优化光流对齐图像示意图；

图5为本申请实施例提供的图像融合装置的框图；

图6为本申请实施例提供的电子设备的框图；

图7为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像融合方法进行详细地说明。

本申请实施例的方法应用于用户设备，用户设备(user equipment，UE)可以指接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(sessioninitiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备。

可选地，本申请实施例的方法应用于电子设备，该电子设备可以指具有拍照功能和图像处理功能的移动终端，如手机，平板电脑，可穿戴智能设备等，在本申请实施例中不做限定。

如图1所示，本申请实施例提供一种图像融合方法，包括：

步骤101：获取参考图像及至少一个配准图像。

在本申请实施例中，所述参考图像与所述配准图像均为电子设备拍摄得到的图像，参考图像为在融合过程中作为基准的图像，配准图像为除参考图像之外的需要融合的图像。

在本实施例中，参考图像的数量为一个，配准图像的数量可以为一个，也可以为多个。

示例性的，获取所述参考图像及至少一个所述配准图像的方式可以为：通过同一个电子设备上的不同摄像头，比如：广角摄像头和长焦摄像头，拍摄得到两张图像，选取其中一张作为参考图像，另一张为配准图像；也可以通过一个电子设备上的一个摄像头拍摄得到多帧图像，选取其中一帧图像作为参考图像，其余的作为配准图像。

步骤102：根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像。

在本实施例中，在将参考图像与配准图像进行融合之前，需要先根据参考图像和配准图像，确定第一光流，以参考图像为基准，使用光流法，利用确定的第一光流对配准图像进行对齐，得到光流对齐后的图像，即第一图像。

在对配准图像进行光流对齐处理时，可以使用稠密光流也可使用稀疏光流，为保证对齐效果，在本实施例中，使用稠密光流对配准图像进行光流对齐处理。

需要说明的是，计算参考图像与配准图像之间的光流的方法在本实施例中不做限定。例如，可以使用L-K光流法或H-S光流法来计算参考图像与配准图像之间的光流。

步骤103：根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流。

在本实施例中，根据参考图像与第一图像，计算第一置信度图像，然后使用第一置信度图像对所述第一光流进行保留边缘细节的全局优化，得到第二光流。

需要说明的是，对第一光流(稠密光流)进行保留细节的全局优化的工具，可以使用基于置信度的快速双边求解器，也可以使用域变换求解器，在本申请实施例中不做限定。

步骤104：利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像。

在本实施例中，将优化后的第二光流应用到第一图像上，进行光流对齐处理，得到优化光流对齐后的第二图像，第二图像与参考图像的边缘的细节对齐更加准确，改善边缘的对齐精度。

步骤105：根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

在本申请实施例中，根据参考图像与第二图像，计算第二置信度图像，根据第二置信度图像，将参考图像与第二图像进行融合，得到目标图像，可以避免融合瑕疵，获得更好的融合效果。

本申请实施例，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

可选地，所述利用第一光流对所述配准图像进行光流对齐处理，得到第一图像，包括：

根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；

根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；

根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。

本申请实施例中，请参阅图2，分别获取一个电子设备中的广角摄像头拍摄的一张图像I₁和长焦摄像头拍摄的一张图像I₂，将图像I₁作为参考图像，图像I₂作为配准图像，匹配图像I₁和图像I₂的特征点，计算出全局摄影变换矩阵H，根据全局摄影变换矩阵H将图像I₂进行全局变换，得到长焦距摄像头拍摄得到的图像I₂的全局变换图像I_2H，也就是第三图像。

请参阅图3，计算出图像I₁与全局变换图像I_2H之间的稠密光流F(即第一光流)，将稠密光流F应用到全局变换图像I_2H，进而得到光流对齐后的长焦距图像I_2F，也就是第一图像。

本申请还提供另一实施例，获取电子设备的多帧图像，确定其中一帧为参考帧图像，其余的作为配准帧图像。匹配参考帧图像与各个配准帧图像的特征点，计算出参考帧图像与各个配准帧图像之间的全局摄影变换矩阵，将各个配准帧图像进行全局变换，得到各个配准帧图像的全局对齐图像。计算出参考帧图像与各个配准帧图像的全局对齐图像之间的稠密光流，并使用稠密光流对各个配准帧图像的全局对齐图像进行光流对齐，得到各个配准帧图像的光流对齐图像。

可选地，所述根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，包括：

根据所述参考图像与所述第一图像，计算所述第一置信度图像；

根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。

还以上述的实施例进行说明，请参阅图4，计算出图像I₁和长焦距图像I_2F之间的第一置信度图像C，将图像I₁和第一置信度图像C输入进快速双边求解器或域变换求解器，或者其他的稠密光流全局优化工具，对稠密光流F进行保留细节的全局优化，得到优化后的稠密光流F_opt，也就是第二光流，将稠密光流F_opt应用到长焦距图像I_2F，得到优化光流对齐后的优化光流对齐图像I_2Fopt。

继续说明本申请提供的另一实施例，计算出参考帧图像和各个配准帧图像之间的第一置信度图像，将参考帧图像和各个配准帧图像输入进快速双边求解器，或域变换求解器，或者其他的稠密光流全局优化工具，对稠密光流进行保留细节的全局优化，得到优化后的稠密光流，将优化后的稠密光流应用到各个配准帧图像的光流对齐图像，得到各个配准帧图像的优化光流对齐图像。

可选地，所述根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，包括：

根据所述参考图像与所述第二图像，计算所述第二置信度图像；

以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。

继续说明上述的实施例，计算出图像I₁和优化光流对齐图像I_2Fopt之间的第二置信度图像C_opt，保持图像I₁的低频分量不变，对图像I₁的高频分量和优化光流对齐图像I_2Fopt的高频分量进行融合，可以达到避免融合细节，增强图像的融合细节的效果。

可选地，所述方法还包括：

根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；

根据所述目标融合权重，将所述参考图像与所述第二图像进行融合。

继续说明上述的另一实施例，计算出参考帧图像和各个优化光流对齐图像之间的第二置信度图像，将参考帧图像中的每一像素的饱和度、对比度和曝光度与各个优化光流对齐图像的每一像素的饱和度、对比度和曝光度，以及相对应的第二置信度图像的每一像素的置信度相乘，并归一化处理，作为曝光融合的权重，根据该曝光融合的权重，对优化光流对齐图像的图像拉普拉斯金字塔进行权重融合，得到融合图像，可以改善待融合图像的边缘对齐效果，也可以避免由于对齐错误导致的融合瑕疵。

可选地，所述根据所述参考图像与所述第一图像，计算所述第一置信度图像，具体包括：

根据参考图像、所述第一图像以及第一置信度计算函数，确定所述第一置信度图像；

其中，所述第一置信度计算函数为：

C(x)＝1-sigmoid(α·C_census(x)·sigmoid(β·C_color(x)))，

C(x)为所述第一置信度图像中一个像素的置信度，C_census(x)为所述参考图像与所述第一图像中一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为所述参考图像与所述第一图像的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

需要说明的是，在本发明实施例中，图像I₁和长焦距图像I_2F之间的第一置信度图像C是根据所述第一置信度计算函数计算出的，其中，C(x)为所述第一置信度图像中一个像素的置信度，C_census(x)为图像I₁与长焦距图像I_2F中的一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为图像I₁与长焦距图像I_2F的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

在本发明的另一实施例中，参考帧图像与像和各个配准帧图像之间的第一置信度图像，也是根据上述的第一置信度计算函数计算出的，其中，C(x)为所述第一置信度图像中一个像素的置信度，C_census(x)为参考帧图像与各个光流对齐图像中的一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为参考帧图像与各个光流对齐图像中的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

可选地，所述根据所述参考图像与所述第二图像，计算所述第二置信度图像，具体包括：

根据置信度计算函数，计算所述参考图像与所述第二图像之间的所述第二置信度图像；

其中，所述第二置信度计算函数为：

C(x)＝1-sigmoid(α·C_census(x)·sigmoid(β·C_color(x)))，

C(x)为所述第二置信度图像中一个像素的置信度，C_census(x)为所述参考图像与所述第二图像中一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为所述参考图像与所述第二图像的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

需要说明的是，在本发明实施例中，图像I₁和优化光流对齐图像I_2Fopt之间的第二置信度图像C_opt是根据所述第二置信度计算函数计算出的，其中，C(x)为所述第二置信度图像中一个像素的置信度，C_census(x)为图像I₁与优化光流对齐图像I_2Fopt中的一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为图像I₁与优化光流对齐图像I_2Fopt的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

在本发明的另一个实施例中，参考帧图像和各个优化光流对齐图像之间的第二置信度图像，也是根据上述的第二置信度计算函数计算出的，其中，C(x)为所述第二置信度图像中一个像素的置信度，C_census(x)为参考帧图像与各个优化光流对齐图像中的一个像素经过Census变换的汉明距离归一化到[-1,1]区间内的值，C_color(x)为参考帧图像与各个优化光流对齐图像中的一个像素之间的颜色差异的绝对值归一化到[-1,1]区间内的值，α为常数，β为常数。

需要说明的是，本申请实施例提供的图像融合方法，执行主体可以为图像融合装置，或者该图像融合装置中的用于执行图像融合方法的控制模块。本申请实施例中以图像融合装置执行图像融合方法为例，说明本申请实施例提供的图像融合装置。

图5是本申请一个实施例提供的图像融合装置的框图。图5所示的图像融合装置500包括获取模块501、第一对齐模块502、优化模块503、第二对齐模块504和融合模块505。

获取模块501，用于获取参考图像及至少一个配准图像；

第一对齐模块502，用于根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；

优化模块503，用于根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；

第二对齐模块504，用于利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；

融合模块505，用于根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

可选地，所述第一对齐模块502包括：

第一计算单元，用于根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；

全局变换单元，用于根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；

对齐单元，用于根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。

可选地，所述优化模块503包括：

第二计算单元，用于根据所述参考图像与所述第一图像，计算所述第一置信度图像；

优化单元，用于根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。

可选地，所述融合模块505包括：

第三计算单元，用于根据所述参考图像与所述第二图像，计算所述第二置信度图像；

第一融合单元，用于以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。

可选地，所述融合模块505还包括：

第四计算单元，用于根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；

第二融合单元，用于根据所述目标融合权重，将所述参考图像与所述第二图像进行融合。

本申请实施例提供的图像融合装置500，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

本申请实施例中的图像融合装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像融合装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像融合装置能够实现图1至图4的方法实施例中实现的各个过程，为避免重复，这里不再赘述。

本申请实施例的装置通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

可选的，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710，用于获取参考图像及至少一个配准图像；用于根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

可见，该电子设备700，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

可选的，处理器710，还用于根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。

可选的，处理器710，还用于根据所述参考图像与所述第一图像，计算所述第一置信度图像；根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。

可选的，处理器710，还用于：根据所述参考图像与所述第二图像，计算所述第二置信度图像；以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。

可选的，处理器710，还用于：根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；根据所述目标融合权重，将所述参考图像与所述第二图像进行融合。

本申请实施例提供的电子设备700，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像融合方法，其特征在于，包括：

获取参考图像及至少一个配准图像；

根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；

根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；

利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；

根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

2.根据权利要求1所述的图像融合方法，其特征在于，所述利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像，包括：

根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；

根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；

根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。

3.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，包括：

根据所述参考图像与所述第一图像，计算所述第一置信度图像；

根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。

4.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，包括：

根据所述参考图像与所述第二图像，计算所述第二置信度图像；

以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。

5.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，包括：

根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；

根据所述目标融合权重，将所述参考图像与所述第二图像进行融合。

6.一种图像融合装置，其特征在于，包括：

获取模块，用于获取参考图像及至少一个配准图像；

第一对齐模块，用于根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；

优化模块，用于根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；

第二对齐模块，用于利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；

融合模块，用于根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。

7.根据权利要求6所述的图像融合装置，其特征在于，所述第一对齐模块包括：

第一计算单元，用于根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；

全局变换单元，用于根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；

对齐单元，用于根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。

8.根据权利要求6所述的图像融合装置，其特征在于，所述优化模块包括：

第二计算单元，用于根据所述参考图像与所述第一图像，计算所述第一置信度图像；

优化单元，用于根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。

9.根据权利要求6所述的图像融合装置，其特征在于，所述融合模块包括：

第三计算单元，用于根据所述参考图像与所述第二图像，计算所述第二置信度图像；

第一融合单元，以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。

10.根据权利要求6所述的图像融合装置，其特征在于，所述融合模块包括：

第四计算单元，用于根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；

第二融合单元，用于根据所述目标融合权重，将所述参考图像与所述第二图像进行融合。

Images