CN108717691A - 一种图像融合方法、装置、电子设备及介质 - Google Patents

Abstract

本发明公开一种图像融合方法、装置、电子设备及介质，方法包括：获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；配准所述黑白图像和所述彩色图像；融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。本发明提供的方法、装置、电子设备及介质用以解决现有技术中彩色相机+黑白相机的双摄像头融合生成的图片受彩色图像限制，存在的图像质量差的问题，实现了提高图片质量的技术效果。

Description

一种图像融合方法、装置、电子设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、电子设备及介质。

背景技术

随着智能手机市场的竞争日趋激烈，各大手机厂商的竞争焦点从以前的硬件军备竞赛逐渐延伸到影音娱乐领域，尤其越来越注重手机的拍照性能。随着手机的快速迭代，单摄像头手机的拍照性能在一定程度上达到极限，要想在拍照领域再度有所突破，必须要借助双摄像头，故近两年，不少手机厂商推出了双摄像头手机。

双摄像头中较为重要的一种即彩色(RGB)相机+黑白(Mono)相机，该类双摄像头主要用于提升暗光和夜景影像的拍摄质量，通过Mono图像提供图像细节，通过RGB图像提供颜色，从而融合图像得到质量更优的暗光和夜景图像。

然而，采用该种双摄像头拍摄时，RGB图像在噪声、细节和动态范围上都比Mono图像差不少，成为了影响融合后的结果图像质量的很大因素。

可见，现有技术中的彩色相机+黑白相机的双摄像头融合生成的图片受RGB图像限制，存在图像质量差的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像融合方法、装置、电子设备及介质。

第一方面，提供一种图像融合方法，包括：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

可选的，在所述融合所述彩色图像的颜色信息至所述黑白图像之前，还包括：检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域；叠加所述清晰区域的细节信息至所述黑白图像上的对应区域，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述对应区域与所述清晰区域为匹配区域。

可选的，在检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域之前，还包括：将所述彩色图像进行区域分割，形成N个彩色区域，N为自然数；所述检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域包括：检测所述N个彩色区域中每个区域的平均清晰度值；确定所述平均清晰度值高于预设清晰度值的彩色区域为所述清晰区域。

可选的，在所述融合所述彩色图像的颜色信息至所述黑白图像之前，还包括：根据所述黑白图像的亮度，对所述彩色图像的亮度做一致性调整。

可选的，所述根据所述黑白图像的亮度，对所述彩色图像的亮度做一致性调整，包括:将所述彩色图像进行区域分割，形成N个彩色区域，并将所述黑白图像进行区域分割，形成N个黑白区域，N为自然数，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述N个彩色区域与所述N个黑白区域一一对应为匹配区域；根据所述N个黑白区域的亮度，调整所述N个彩色区域的亮度，使所述N个彩色区域中每个彩色区域的平均亮度值等于该彩色区域对应的所述黑白区域的平均亮度值。

可选的，所述根据所述N个黑白区域的亮度，调整所述N个彩色区域的亮度，包括：确定所述N个黑白区域中每个黑白区域的平均亮度值和所述N个彩色区域中每个彩色区域的平均亮度值；计算所述每个黑白区域的平均亮度值与该黑白区域对应的彩色区域的平均亮度值的亮度比值，获得N个亮度比值，所述N个亮度比值与所述N个彩色区域一一对应；将所述每个彩色区域的各像素的亮度值调整为，该像素的亮度值乘以该像素所在彩色区域对应的亮度比值的乘积值。

第二方面，提供一种图像融合装置，包括：

获取模块，用于获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准模块，用于配准所述黑白图像和所述彩色图像；

融合模块，用于融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

可选的，所述装置还包括：检测模块，用于检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域；叠加模块，用于叠加所述清晰区域的细节信息至所述黑白图像上的对应区域，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述对应区域与所述清晰区域为匹配区域。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

本发明实施例提供的图像融合方法、装置、电子设备及介质，获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，一方面避免了黑白图像在闪光状态的过曝失真，另一方面在强光下获得的彩色图像在色彩上更逼真，故配准融合出的结果图像质量更优。

进一步，由于在强光下获得的彩色图像具有更丰富的噪声和细节信息，本申请通过将彩色图像中清晰度高于预设清晰度值的清晰区域的细节信息对应添加至黑白图像上，能进一步增加黑白图像携带的细节信息量，进而提高配准融合出的结果图像的质量。

并且，本申请还设置在融合之前，先对所述彩色图像的亮度做一致性调整，使其各区域的亮度值接近于黑白图像，避免闪光灯导致的中间亮四周黑的情况，从而保证了配准融合出的结果图像的质量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中图像融合方法的流程图；

图2为本发明实施例中图像融合方法的细节流程图

图3为本发明实施例中图像融合装置的结构示意图；

图4为本发明实施例中电子设备的结构示意图；

图5为本发明实施例中存储介质的结构示意图。

具体实施方式

本发明实施例中的技术方案的思路如下：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，由于在闪光状态下获得的彩色图像在色彩上更逼真，故后续配准融合出的结果图像的质量更优。

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本实施例提供了一种图像融合方法，请参考图1，图1为本发明实施例中图像融合方法的流程图，包括：

步骤S101，获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

步骤S102，配准所述黑白图像和所述彩色图像；

步骤S103，融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

需要说明的是，本实施例提供的方法可以应用于双摄像头分别拍摄的图像的融合，也可以应用于同一摄像头以不同拍摄方式拍摄的图像的融合，在此不作限制。

还需要说明的是，获取本实施例的黑白图像和彩色图像的摄像头可以均安装在同一电子设备上，也可以分别安装在不同的电子设备上，在此也不作限制。

下面，结合图1详细介绍本实施例提供的图像融合方法的具体实施步骤：

首先，执行步骤S101，获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，该彩色图像和该黑白图像的拍摄对象相同。

在本发明实施例中，如前所述，所述彩色图像和所述黑白图像可以是由不同的摄像头拍摄获取的，也可以是由同一摄像头拍摄获取的，下面分别举例进行说明：

第一种，由不同摄像头获取。

以智能手机为例，智能手机上设置有至少两个摄像头，其中，一个为RGB摄像头，一个为Mono摄像头。当用户需要拍摄某目标对象时，将两个摄像头对准所述目标对象，并点击智能手机屏幕上的拍摄按钮，则先控制所述RGB摄像头带动开启闪光灯，闪光在强光环境拍摄获取所述目标对象的彩色图像，再控制所述Mono摄像头在未开启闪光灯的弱光环境下获取所述目标对象的黑白图像。当然，也可以先拍摄黑白图像，再拍摄彩色图像，在此不作限制。

第二种，由同一摄像头获取。

以智能相机为例，智能相机上的摄像头具备彩色图像拍摄和黑白图像拍摄两种拍摄功能。当用户需要拍摄某目标对象时，将摄像头对准所述目标对象，并点击智能相机上的拍摄按钮，则通过该次点击控制所述摄像头带动开启闪光灯，闪光拍摄获取所述目标对象的彩色图像，并同样通过该次点击控制所述摄像头弱光获取所述目标对象的黑白图像，其中，获取彩色图像和黑白图像的先后顺序不作限制。进一步，为了便于后续图片融合，可以设置获取所述彩色图像和获取所述黑白图像的时间间隔小于一预设时间长度。

当然，在具体实施过程中，所述彩色图像和所述黑白图像可以如上述两种情况所示，由同一设备上的摄像头获取，也可以由不同设备上的摄像头分别获取，举例来说：

可以设置两个不同的监控摄像头安装在不同位置，两个监控摄像头面向同一拍摄对象，且与一控制设备连接，当用户在控制设备上进行拍摄操作时，一个监控摄像头弱光拍摄获取拍摄对象的黑白图像，另一个监控摄像头带动开启闪光灯获取拍摄对象的彩色图像。

在获得黑白图像和彩色图像后，执行步骤S102，配准所述黑白图像和所述彩色图像。

在本发明实施例中，由于后续需要融合所述黑白图像和所述彩色图像，故还需要先对所述黑白图像和所述彩色图像进行图像配准，才能将所述黑白图像和所述彩色图像中的相同图像特征进行叠加。具体来讲，可以采用光流算法对所述黑白图像和所述彩色图像进行图像配准，也可以采用特征比对算法对所述黑白图像和所述彩色图像进行图像配准，在此不作限制，也不再一一列举。

在配准后，执行步骤S103，融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

具体来讲，颜色信息包括色度信息和/或饱和度信息等颜色显示相关的信息。即提取配准后的彩色图像中每个像素的颜色信息，将其叠加到黑白图像中与提取颜色信息的像素配准后对应的像素上，从而实现彩色图像的颜色信息与黑白图像的融合，生成颜色质量和线条纹理等细节质量均高的彩色结构图像。

在本实施例中，还提供了一种不仅能增强图片颜色质量，还能增强图片细节质量的实施方案，具体为在执行步骤S103融合彩色图像和黑白图像之前，还先检测确定出彩色图像中清晰度高于预设清晰度值的清晰区域，并叠加该清晰区域的细节信息至黑白图像上的对应区域，其中，该对应区域为该清晰区域的配准后对应区域。即通过叠加强光环境下获得的彩色图像的细节信息来丰富黑白图像的细节信息，从而提高后续结果图像的质量。该细节信息可以为图像的灰度参数。

在本申请实施例中，确定清晰区域的步骤可以是在步骤S102之前执行的，也可以是在步骤S102之后执行，在此不作限制。

在具体实施过程中，确定出清晰区域的方法可以有多种，下面列举两种为例：

第一种，先分区域，再进行清晰度分析。

即先将彩色图像进行区域分割，形成N个彩色区域，N为自然数，再检测N个彩色区域中每个区域的平均清晰度值；确定平均清晰度值高于预设清晰度值的彩色区域为清晰区域。

举例来讲，假设将彩色图像均分为10个彩色区域，对应计算出每个区域的平均清晰度分别为：彩色区域1为48、彩色区域2为85、彩色区域3为63、彩色区域4为70、彩色区域5为55、彩色区域6为86、彩色区域7为56、彩色区域8为91、彩色区域9为82和彩色区域10为76。预先设置的预设清晰度值为80，则确定平均清晰度为85的彩色区域2、平均清晰度为86的彩色区域6、平均清晰度为91的彩色区域8和平均清晰度为82的彩色区域9为清晰区域。

第二种，直接对图像整体进行清晰度分析。

即采用现有的清晰度算法来分析彩色图像的清晰度，并提取出平均清晰度值高于预设清晰度值的彩色区域为清晰区域。

举例来讲，可以采用梯度算法，先将彩色图像各像素的图像参数和坐标导入梯度检测算子(例如Robert算子)，再根据梯度检测算子计算出彩色图像上各区域的清晰度，再根据输入的预设清晰度值提取出清晰区域。

当然，确定出清晰区域的方法不限于上述两种，也可以用大量样本进行机器模型训练后，采用机器模型来确定清晰区域；还可以将彩色图像先转换为灰度图像，然后对比转换出的灰度图像和黑白图像的清晰度，以该灰度图像中清晰度高于该黑白图像的区域，作为清晰区域，在此不作限制，也不再一一列举。

在确定出清晰区域后将清晰区域的细节信息叠加至黑白图像的方式也可以有多种：方式一，将清晰区域转化为黑白的灰度图像，再将转化后的灰度图像叠加至黑白图像上该清晰区域的配准后对应区域上。方式二，提取该清晰区域各像素的灰度等参数，将其叠加至黑白图像上该像素的配准后对应像素上。具体的叠加算法可以采用参数值相加的算法叠加，也可以是采用取平均值的算法叠加，还可以是采用按权重值进行叠加，在此不作限制，也不再一一列举。

具体来讲，由于在闪光灯开启的强光环境下获得的彩色图像相较于弱光获得的彩色图像，不仅在色彩上更优，在噪声、细节等信息上也会更丰富逼真。故本实施例还设置将彩色图像上的清晰度较高区域的细节叠加到黑白图像的对应区域上，以增加和丰富黑白图像的细节信息，使得黑白图像更丰富、完整和逼真，从而能提高后续结果图像的质量。

进一步，考虑到闪光灯开启状态下获得的彩色图像可能会存在亮度失真和/或中间亮四周黑的问题，为避免影响到结果图像的亮度质量，在本实施例中，还提供了一种保证结构图像亮度质量的实施方案，具体为在执行步骤S103融合彩色图像的颜色信息至黑白图像之前，还先根据黑白图像的亮度，对彩色图像的亮度做一致性调整。

在本申请实施例中，对彩色图像的亮度做一致性调整的步骤可以是在步骤S102之前执行的，也可以是在步骤S102之后执行的，在此不作限制。

且，对彩色图像进行亮度一致性调整的步骤可以是在确定清晰区域的步骤之前执行，也可以在确定清晰区域的步骤之后执行，在此不作限制。较优的，为了避免亮度差距大对清晰度的确定造成干扰，可以设置在确定清晰区域的步骤之前对彩色图像进行亮度一致性调整的步骤。

在具体实施过程中，做一致性调整的方法较多，下面列举两种为例：

第一种，对彩色图像整体进行亮度调整。

即先计算出彩色图像中每个像素的平均亮度值，再计算出黑白图像中每个像素的平均亮度值，再计算出黑白图像与彩色图像的平均亮度值比值，然后，将彩色图像中的每个像素的亮度值均乘以该平均亮度值比值，得到调整后的各像素的亮度值。

第二种，对彩色图像分区域进行亮度调整。

考虑到对彩色图像整体进行亮度调整不能解决闪光灯开启状态下易出现的中间亮四周黑的问题，本实施例还设置：先将彩色图像和黑白图像都进行对应的区域分割，形成N个彩色区域和N个黑白区域，N为自然数，其中，N个彩色区域与N个黑白区域的关系为：该彩色图像和该黑白图像作图像配准后一一对应的匹配区域。

然后，根据N个黑白区域的亮度，对应调整N个彩色区域的亮度，使N个彩色区域中每个彩色区域的平均亮度值等于该彩色区域对应的黑白区域的平均亮度值。即通过设置彩色图像的边缘区域和中心区域都以黑白图像为基准，来分别进行亮度调整，使得彩色图像的边缘区域和中心区域的亮度均向黑白图像的亮度靠近，克服闪光灯带来的边缘黑中间亮的问题。

举例来讲，假设有3个彩色区域和对应的3个黑白区域：彩色区域a与黑白区域a’对应，彩色区域b与黑白区域b’对应，彩色区域c与黑白区域c’对应。黑白区域a’的平均亮度值为0.4，彩色区域a的平均亮度值为0.82，黑白区域b’的平均亮度值为0.35，彩色区域b的平均亮度值为0.79，黑白区域c’的平均亮度值为0.48，彩色区域c的平均亮度值为0.8。

则需调整彩色区域a的平均亮度值到0.4，调整彩色区域b的平均亮度值到0.35，调整彩色区域c的平均亮度值到0.48。

在具体实施过程中，调整N个彩色区域的亮度的具体步骤可以为：

先确定N个黑白区域中每个黑白区域的平均亮度值和N个彩色区域中每个彩色区域的平均亮度值；再计算每个黑白区域的平均亮度值与该黑白区域对应的彩色区域的平均亮度值的亮度比值，获得N个亮度比值；然后，将每个彩色区域的各像素的亮度值调整为：该像素的亮度值乘以该像素所在的彩色区域对应的亮度比值的乘积值。

举例来讲，假设有3个彩色区域和对应的3个黑白区域：彩色区域a与黑白区域a’对应，彩色区域b与黑白区域b’对应，彩色区域c与黑白区域c’对应。黑白区域a’的平均亮度值为0.4，彩色区域a的平均亮度值为0.82，黑白区域b’的平均亮度值为0.35，彩色区域b的平均亮度值为0.79，黑白区域c’的平均亮度值为0.48，彩色区域c的平均亮度值为0.8。

则计算出黑白区域a’与彩色区域a的平均亮度值比值为：0.4÷0.82＝0.49，黑白区域b’与彩色区域b的平均亮度值比值为：0.35÷0.79＝0.44，黑白区域c’与彩色区域c的平均亮度值比值为：0.48÷0.8＝0.6。然后，将彩色区域a中每个像素的亮度值调整为当前亮度值乘以0.49的乘积，将彩色区域b中每个像素的亮度值调整为当前亮度值乘以0.44的乘积，将彩色区域c中每个像素的亮度值调整为现有亮度值乘以0.6的乘积。

当然，在具体实施过程中，对彩色图像的亮度做一致性调整的方法不限于上述两种，也可以采取其他方法来进行一致性调整，在此不作限制，也不再一一列举。

具体来讲，由于在闪光灯开启的强光环境下获得的彩色图像易出现亮度失真和中间亮边缘黑的问题。故本实施例设置先对所述彩色图像的亮度做一致性调整，使其各区域的亮度值接近于黑白图像，再进行图像融合，避免了中间亮四周黑的情况，从而保证了配准融合出的结果图像的质量。

还需要说明的是，考虑到将彩色图像的清晰区域的细节信息叠加到黑白图像，是单对灰度的叠加，不考虑色调等参数。而将彩色图像的颜色信息与黑白图像融合是对颜色信息的融合，即最好采用颜色信息与灰度信息分离的YUV图像格式来进行处理，故可以先将所述黑白图像和所述彩色图像转换为YUV图像格式，在执行完步骤S103生成结果图像之后，再将结果图像转换为RGB图像格式，以便于分享和显示。

在介绍了本实施例提供的具体实施步骤后，为了便于从整体上了解本实施例的详细执行步骤，下面以双摄像头的智能手机为例，结合图2来完整说明该方法：

首先，执行步骤S201，用户点击拍摄按钮，控制RGB相机闪光获取彩色图像，控制Mono相机弱光获取黑白图像；

然后，执行步骤S202，根据黑白图像的亮度，对彩色图像的亮度做一致性调整，使彩色图像的亮度解决黑白图像；

再下来，执行步骤S203，对所述黑白图像和所述彩色图像进行图像配准，具体可以采用光流算法进行图像配准；

然后，执行步骤S204，将彩色图像和黑白图像的格式转换为YUV图像格式；

再执行步骤S205，采用梯度算法，根据梯度检测算子确定彩色图像的清晰区域，并将清晰区域的细节信息(Y通道的亮度数据)叠加至黑白图像的对应区域，得到细节更清晰的黑白图像；

在执行步骤S206，融合彩色图像的颜色信息(UV通道的颜色数据)至黑白图像，生成结果图像；

最后，执行步骤S207，将最终的结果图像转换为RGB图像格式。

本实施例提供的图像融合方法，获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，一方面避免了黑白图像在闪光状态的过曝失真，另一方面在强光下获得的彩色图像在色彩上更逼真，故配准融合出的结果图像质量更优。

进一步，由于在强光下获得的彩色图像具有更丰富的噪声和细节信息，本申请通过将彩色图像中清晰度高于预设清晰度值的清晰区域的细节信息对应添加至黑白图像上，能进一步增加黑白图像携带的细节信息量，进而提高配准融合出的结果图像的质量。

并且，本申请还设置在融合之前，先对所述彩色图像的亮度做一致性调整，使其各区域的亮度值接近于黑白图像，避免闪光灯导致的中间亮四周黑的情况，从而保证了配准融合出的结果图像的质量。

基于同一发明构思，本发明实施例还提供了实施例一中方法对应的装置，见实施例二。

实施例二

如图3所示，提供一种图像融合装置，包括：

获取模块301，用于获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准模块302，用于配准所述黑白图像和所述彩色图像；

融合模块303，用于融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

在本申请实施例中，所述装置还包括：

检测模块，用于检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域；

叠加模块，用于叠加所述清晰区域的细节信息至所述黑白图像上的对应区域，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述对应区域与所述清晰区域为匹配区域。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本发明实施例还提供了实施例一中方法对应的电子设备，见实施例三。

实施例三

如图4所示，本实施例提供一种电子设备，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，所述处理器420执行所述计算机程序411时实现以下步骤：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

在本发明实施例中，所述处理器420执行所述计算机程序411时可以实现本发明实施例一中任一实施方式。

由于本发明实施例三所介绍的电子设备，为实施本发明实施例一的方法所采用的设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的设备都属于本发明所欲保护的范围。

基于同一发明构思，本发明实施例还提供了实施例一中方法对应的存储介质，见实施例四。

实施例四

本实施例提供一种计算机可读存储介质500，如图5所示，其上存储有计算机程序511，其特征在于，该计算机程序511被处理器执行时实现以下步骤：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

在具体实施过程中，该计算机程序511被处理器执行时，可以实现本发明实施例一中任一实施方式。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

本发明实施例提供的图像融合方法、装置、电子设备及介质，获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，一方面避免了黑白图像在闪光状态的过曝失真，另一方面在强光下获得的彩色图像在色彩上更逼真，故配准融合出的结果图像质量更优。

进一步，由于在强光下获得的彩色图像具有更丰富的噪声和细节信息，本申请通过将彩色图像中清晰度高于预设清晰度值的清晰区域的细节信息对应添加至黑白图像上，能进一步增加黑白图像携带的细节信息量，进而提高配准融合出的结果图像的质量。

并且，本申请还设置在融合之前，先对所述彩色图像的亮度做一致性调整，使其各区域的亮度值接近于黑白图像，避免闪光灯导致的中间亮四周黑的情况，从而保证了配准融合出的结果图像的质量。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置、设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种图像融合方法，其特征在于，包括：

获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准所述黑白图像和所述彩色图像；

融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

2.如权利要求1所述的方法，其特征在于，在所述融合所述彩色图像的颜色信息至所述黑白图像之前，还包括：

检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域；

叠加所述清晰区域的细节信息至所述黑白图像上的对应区域，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述对应区域与所述清晰区域为匹配区域。

3.如权利要求2所述的方法，其特征在于，

在检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域之前，还包括：将所述彩色图像进行区域分割，形成N个彩色区域，N为自然数；

所述检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域包括：检测所述N个彩色区域中每个区域的平均清晰度值；确定所述平均清晰度值高于预设清晰度值的彩色区域为所述清晰区域。

4.如权利要求1所述的方法，其特征在于，在所述融合所述彩色图像的颜色信息至所述黑白图像之前，还包括：

根据所述黑白图像的亮度，对所述彩色图像的亮度做一致性调整。

5.如权利要求4所述的方法，其特征在于，所述根据所述黑白图像的亮度，对所述彩色图像的亮度做一致性调整，包括:

将所述彩色图像进行区域分割，形成N个彩色区域，并将所述黑白图像进行区域分割，形成N个黑白区域，N为自然数，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述N个彩色区域与所述N个黑白区域一一对应为匹配区域；

根据所述N个黑白区域的亮度，调整所述N个彩色区域的亮度，使所述N个彩色区域中每个彩色区域的平均亮度值等于该彩色区域对应的所述黑白区域的平均亮度值。

6.如权利要求5所述的方法，其特征在于，所述根据所述N个黑白区域的亮度，调整所述N个彩色区域的亮度，包括：

确定所述N个黑白区域中每个黑白区域的平均亮度值和所述N个彩色区域中每个彩色区域的平均亮度值；

计算所述每个黑白区域的平均亮度值与该黑白区域对应的彩色区域的平均亮度值的亮度比值，获得N个亮度比值，所述N个亮度比值与所述N个彩色区域一一对应；

将所述每个彩色区域的各像素的亮度值调整为，该像素的亮度值乘以该像素所在彩色区域对应的亮度比值的乘积值。

7.一种图像融合装置，其特征在于，包括：

获取模块，用于获取闪光灯开启状态下拍摄的彩色图像和闪光灯关闭状态下拍摄的黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同；

配准模块，用于配准所述黑白图像和所述彩色图像；

融合模块，用于融合所述彩色图像的颜色信息至所述黑白图像，生成结果图像。

8.如权利要求7所述的装置，其特征在于，还包括：

检测模块，用于检测确定所述彩色图像中清晰度高于预设清晰度值的清晰区域；

叠加模块，用于叠加所述清晰区域的细节信息至所述黑白图像上的对应区域，其中，在所述彩色图像和所述黑白图像进行图像配准后，所述对应区域与所述清晰区域为匹配区域。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～6中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～6中任一所述的方法。