CN113706432B - 保留输入图像纹理细节的多源图像融合方法和系统 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及了一种保留输入图像纹理细节的多源图像融合方法和系统，旨在解决图像融合方法在进行多尺度变换过程中可见光与红外图像存在整体结构信息丢失的问题。本发明包括：将待融合红外图像和待融合可见光图像通过权重自适应的形态学方法去除噪音，并通过形态学梯度处理获取保留边缘轮廓信息的权重w1，通过滑动窗口标准差处理获得保留背景信息的权重w2，将w1映射到w2获得融合权重w，通过拉普拉斯分解去噪后的红外图像和可见光图像和融合权重，进而通过分解系数和局部能量相似度调节融合系数的选择获得融合规则，通过融合规则进行图像融合。本发明能够充分保留红外图像和可见光图像的纹理细节，提高了融合图像的精度。

Description

保留输入图像纹理细节的多源图像融合方法和系统

技术领域

本发明属于图像处理领域，具体涉及了一种保留输入图像纹理细节的多源图像融合方法和系统。

背景技术

可见光图像与红外图像的融合是一种增强信息以及局部特征的手段，它的目的在于通过融合两种(或者多种)不同模态的图像来提升融合后图像的质量以及减少冗余信息。可见光图像在大雾、低照明等天气状况不好的条件下成像效果差，目标物体与背景不易区分；红外图像不受外界环境的影响，对具有明显红外热特征的物体和区域敏感，成像后具有对比强烈的目标信息。将红外图像中的热辐射信息与可见光图像中的细节纹理信息进行结合，从而融合出细节信息丰富、目标特征有效的融合图像。因此，红外和可见光图像融合技术是计算机视觉研究的热点，融合后图像可用于用于目标检测、目标跟踪等领域。

近年来，图像融合，尤其是可见光图像与红外图像的融合，逐渐成为热点。在红外与可见光图像融合的方法中可分为三个层次：像素级、特征级、决策级融合。像素级的融合中，主要研究图像在空间域中融合的算法以及变换域中融合的算法。其中典型的空间域算法有加权平均法、局部能量和等方法，在变换域中典型的算法有小波变换、拉普拉斯变换、非下采样轮廓波变换等，现在多用多尺度变换的融合方法，因其可以保留更多的信息；特征级的融合算法中，是对图像单独提取特征，包括轮廓、角点等，然后根据一定规则进行重构和融合。决策级融合算法中，从源图像中确定并识别信息，然后通过特定的规则提取信息，进行综合。

传统的拉普拉斯融合有以下缺点：在多尺度变换过程中，可见光与红外图像存在整体结构信息丢失；在多尺度变换过程中，会丢失部分方向信息，造成局部细节的丢失，由于分解层数增加，噪声对融合效果影响变大的问题。

发明内容

为了解决现有技术中的上述问题，即现有的图像融合方法在进行多尺度变换过程中可见光与红外图像存在整体结构信息丢失，丢失部分方向信息和局部细节，分解层数增加，噪声对融合效果影响变大的问题。本发明提供了一种保留输入图像纹理细节的多源图像融合方法，所述方法包括：

步骤S100，获取待融合红外图像和待融合可见光图像；

步骤S200，基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

步骤S300，基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

步骤S400，基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

步骤S500，将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

步骤S600，将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

步骤S700，基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

步骤S800，基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

步骤S900，基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像。

在一些优选的实施方式中，所述步骤S200包括：

步骤S210，将所述待融合红外图像和待融合可见光图像转化为YUV格式，获得红外图像YUV第一通道信息、红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第一通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息；

步骤S220，基于所述红外图像YUV第一通道信息和可见光图像YUV第一通道信，通过权重自适应形态开-闭的级联滤波器构造不同的形态学结构进行滤波获得单通道降噪红外图像和单通道降噪可见光图像。

在一些优选的实施方式中，所述权重自适应的形态学方法，具体为：

将各级串联滤波器的处理结果与原始输入图像进行差异值计算，获得各分支的权值向量；

通过所述各分支的权值向量对所述各级串联滤波器的处理结果进行加权求和，获得单通道降噪红外图像和单通道降噪可见光图像。

在一些优选的实施方式中，所述步骤S300，具体包括：

步骤S310，基于所述单通道降噪红外图像，通过形态学梯度处理获得目标轮廓图像：

morph_grad(src，element)＝dilate(src，element)-erode(src，element)

其中，所述morph_grad(src，element)表示目标轮廓图像，dilate(src，element)表示单通道降噪红外图像的膨胀图，erode(src，element)表示单通道降噪红外图像的腐蚀图；

步骤S320，基于所述目标轮廓图，通过阈值处理并不断调整阈值使所述目标轮廓图的边缘轮廓为1，获得保留边缘轮廓信息的权重w1：

其中，t₁表示边缘轮廓阈值，x和y表示像素坐标，I表示像素值。

在一些优选的实施方式中，所述步骤S400，具体包括：

步骤S410，通过预设尺寸的滑动窗口计算所述单通道降噪红外图像和单通道降噪可见光图像的窗口内元素的平均值μ；

步骤S420，基于所述窗口内元素的平均值计算窗口内元素的标准差σ：

其中，n表示窗口内元素的个数，x_i表示图像的第i个元素值；

步骤S430，将所述标准差作为滑动窗口中的各元素的值，获得对应的红外图像权重w_红和可见光图像权重w_可，进而计算保留背景信息的权重w2：

在一些优选的实施方式中，所述步骤S500，具体包括：

将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2：

其中，w表示融合权重。

在一些优选的实施方式中，所述步骤S700，具体包括：

S710，对于每个层级，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量：

其中，m、n分别表示设定的局部能量窗口的长和宽，L{I}表示红外图像分解系数，L{V}表示可见光图像分解系数，l表示层级数，表示第l层级的红外图像分解系数的局部能量，/>表示第l层级的可见光图像分解系数的局部能量；

步骤S720，基于所述红外图像分解系数的局部能量和可见光图像分解系数的局部能量/>计算局部能量相似度：

其中，J^l(x，y)表示第l层的坐标为(x，y)的像素的局部能量相似度。

在一些优选的实施方式中，所述步骤S800，具体包括：

步骤S810，若所述权重参数分解系数为1时，保留红外图像分解系数；否则进入步骤S820；

步骤S820，当所述权重参数分解系数不为1时，比较所述局部能量相似度与预设的模式选择阈值t2的大小；具体包括：

若所述局部能量相似度大于预设的模式选择阈值t2，则通过权重参数调解对应层级图像的融合，具体方法为：

L{F}^l(x，y)

＝L{W}^l(x，y)*L{V}^l(x，y)+(1-L{W}^l(x，y))

*L{I}^l(x，y)

记为A{F}^l(x，y)；

若所述局部能量相似度小于预设的模式选择阈值t2，根据局部能量调解对应层级源图像分解后融合系数的选择：

步骤S830，将步骤S820的对融合系数的选择的规则总结为融合规则：

其中，L{F}^l(x，y)表示第l层级图像的融合后的单通道图像。

在一些优选的实施方式中，所述对所述融合后的单通道图像进行色度恢复获得融合图像，具体包括：将所述融合后的单通道图像结合所述红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息进行色度恢复。

本发明的另一方面，提出了一种保留输入图像纹理细节的多源图像融合系统，包括：图像获取模块、自适应形态学滤波模块、保留边缘轮廓信息的权重获取模块、保留背景信息的权重获取模块、融合权重计算模块、拉普拉斯分解模块、局部能量相似度计算模块、融合规则获取模块和图像融合模块；

所述图像获取模块，配置为获取待融合红外图像和待融合可见光图像；

所述自适应形态学滤波模块，配置为基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

所述保留边缘轮廓信息的权重获取模块，配置为基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

所述保留背景信息的权重获取模块，配置为基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

所述融合权重计算模块，配置为将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

所述拉普拉斯分解模块，配置为将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

所述局部能量相似度计算模块，配置为基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

所述融合规则获取模块，配置为基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

所述图像融合模块，配置为基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像。

本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的保留输入图像纹理细节的多源图像融合方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的保留输入图像纹理细节的多源图像融合方法。

本发明的有益效果：

(1)本发明在保留细节信息的基础上，对降噪后的图像分别作滑动窗后标准差处理，以保留可见光图像相比红外图像梯度变化较大的纹理信息，同时，对红外图像做形态学梯度和阈值处理，保留红外图像中散热目标的清晰轮廓信息，将所做的两种处理结果整合，作为最后的权重信息，能够充分保留红外图像和可见光图像的纹理细节，提高了融合图像的精度。

(2)本发明通过形态学的方法，设计出自适应权重去构造形态学串并联结构，以期望减少源图像中的椒盐噪声和高斯噪声，避免融合产生大范围的椒盐噪声.

(3)本发明通过对降噪后的可见光图像和红外图像还有最终权重做拉普拉斯分解，权重分解后的每一层向量调解对应的原图分解后系数的选择，进而进行拉普拉斯重构生成融合的图像，可以保留可见光图像相较红外图像丰富的背景信息，同时保留了红外光图像相较可见光图像对比度强的散热目标，提高了图像融合的精度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明实施例中保留输入图像纹理细节的多源图像融合方法的流程示意图；

图2是本发明实施例中保留输入图像纹理细节的多源图像融合方法的原理示意图；

图3是本发明实施例中保留输入图像纹理细节的多源图像融合方法的自适应权重构造形态学结构；

图4是本发明实施例中保留输入图像纹理细节的多源图像融合方法中提取轮廓前的红外图像；

图5是本发明实施例中保留输入图像纹理细节的多源图像融合方法中提取轮廓的红外图像；

图6是本发明实施例中保留输入图像纹理细节的多源图像融合方法中提取的精确轮廓图像；

图7是本发明实施例中保留输入图像纹理细节的多源图像融合方法保留图像细节和梯度信息示意图；

图8是本发明实施例中保留输入图像纹理细节的多源图像融合方法的融合效果示意图；

图9是将本发明应用于其他多源图像融合的效果示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种保留输入图像纹理细节的多源图像融合方法，本方法能够充分保留红外图像和可见光图像的纹理细节，提高了融合图像的精度。

本发明的一种保留输入图像纹理细节的多源图像融合方法，所述方法包括：

步骤S100，获取待融合红外图像和待融合可见光图像；

步骤S200，基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

步骤S300，基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

步骤S400，基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

步骤S500，将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

步骤S600，将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

步骤S700，基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

步骤S800，基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

步骤S900，基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像。

为了更清晰地对本发明保留输入图像纹理细节的多源图像融合方法进行说明，下面结合图1和图2对本发明实施例中各步骤展开详述。

本发明提供的保留输入图像纹理细节的多源图像融合方法，用以实现在可见光图像中细节信息丰富的背景下显示出红外图像中对比度强的散热目标。

本发明第一实施例的保留输入图像纹理细节的多源图像融合方法，包括步骤S100-步骤S900，各步骤详细描述如下：

步骤S100，获取待融合红外图像和待融合可见光图像；

步骤S200，基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

在本实施例中，所述步骤S200包括：

步骤S210，将所述待融合红外图像和待融合可见光图像转化为YUV格式，获得红外图像YUV第一通道信息、红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第一通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息；

步骤S220，基于所述红外图像YUV第一通道信息和可见光图像YUV第一通道信，通过权重自适应形态开-闭的级联滤波器构造不同的形态学结构进行滤波获得单通道降噪红外图像和单通道降噪可见光图像。

本实施例中，为了适配不同输入图像具有不同的信息复杂度，在计算过程中去调解权重，不事先计算。

在本实施例中，所述权重自适应的形态学方法，具体为：

将各级串联滤波器的处理结果与原始输入图像进行差异值计算，获得各分支的权值向量；

通过所述各分支的权值向量对所述各级串联滤波器的处理结果进行加权求和，获得单通道降噪红外图像和单通道降噪可见光图像。串并联复合滤波结构示意如图3所示

本实施例通过对源图像进行权重自适应的形态学方法在进行拉普拉斯分解前就最大限度的减少了椒盐噪声和高斯噪声，避免了对后续步骤带来影响。

步骤S300，基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

在本实施例中，所述步骤S300，具体包括：

步骤S310，基于所述单通道降噪红外图像，通过形态学梯度处理获得目标轮廓图像：

morph_grad(src，element)

＝dilate(src，element)-erode(src，element)

其中，所述morph_grad(src，element)表示目标轮廓图像，dilate(src，element)表示单通道降噪红外图像的膨胀图，erode(src，element)表示单通道降噪红外图像的腐蚀图；

步骤S320，基于所述目标轮廓图，通过阈值处理并不断调整阈值使所述目标轮廓图的边缘轮廓为1，获得保留边缘轮廓信息的权重w1：

其中，t₁表示边缘轮廓阈值，x和y表示像素坐标，I表示像素值。高亮区域轮廓信息的保留效果如图4、图5和图6所示。

本实施例中对红外图像做形态学梯度处理，是为了突出红外图像中高亮区域的外围；对其做阈值处理，使其显著边缘轮廓为1，目的是在融合中，不损失其高亮目标的轮廓信息。

步骤S400，基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

在本实施例中，所述步骤S400，具体包括：

步骤S410，通过预设尺寸的滑动窗口计算所述单通道降噪红外图像和单通道降噪可见光图像的窗口内元素的平均值μ；优选的，所述滑动窗口可选择2*2或者3*3的尺寸；

步骤S420，基于所述窗口内元素的平均值计算窗口内元素的标准差σ：

其中，n表示窗口内元素的个数，x_i表示图像的第i个元素值；

步骤S430，将所述标准差作为滑动窗口中的各元素的值，获得对应的红外图像权重w_红和可见光图像权重w_可，进而计算保留背景信息的权重w2：

本实施例通过生成的红外图像权重w_红和可见光图像权重w_可保留了可见光图像的背景信息。获取权重w2的计算示意图如图7所示。

步骤S500，将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

在本实施例中，所述步骤S500，具体包括：

将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2：

其中，w表示融合权重。

步骤S600，将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

步骤S700，基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

在本实施例中，所述步骤S700，具体包括：

S710，对于每个层级，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量：

其中，m、n分别表示设定的局部能量窗口的长和宽，L{I}表示红外图像分解系数，L{V}表示可见光图像分解系数，l表示层级数，表示第l层级的红外图像分解系数的局部能量，/>表示第l层级的可见光图像分解系数的局部能量；

步骤S720，基于所述红外图像分解系数的局部能量和可见光图像分解系数的局部能量/>计算局部能量相似度：

其中，J^l(x，y)表示第l层的坐标为(x，y)的像素的局部能量相似度。在本实施例中，相似度的取值范围是[-1,1]，。

步骤S800，基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

在本实施例中，所述步骤S800，具体包括：

步骤S810，若所述权重参数分解系数为1时，保留红外图像分解系数；否则进入步骤S820；

步骤S820，当所述权重参数分解系数不为1时，比较所述局部能量相似度与预设的模式选择阈值t2的大小；具体包括：

若所述局部能量相似度大于预设的模式选择阈值t2，则通过权重参数调解对应层级图像的融合，具体方法为：

L{F}^l(x，y)

＝L{W}^l(x，y)*L{V}^l(x，y)+(1-L{W}^l(x，y))

*L{I}^l(x，y)

记为A{F}^l(x，y)；

若所述局部能量相似度小于预设的模式选择阈值t2，根据局部能量调解对应层级源图像分解后融合系数的选择：

步骤S830，将步骤S820的对融合系数的选择的规则总结为融合规则：

其中，L{F}^l(x，y)表示第l层级图像的融合后的单通道图像。融合规则中优先级最高的考虑权值中元素值为1的情况，其代表红外图像中高亮目标的显著轮廓，具有准确信息。本步骤中t₂采用自主选择的方式得出，在实验中，t值自小变大的过程中，融合效果在中间达到效果最好，数值在0.3附近融合效果最好。保留细节信息的可见光图像与红外图像融合效果如图8所示。在图8中，图8a是红外成像，场景中散热目标与背景对比清晰，例如图8a中的人，具有清晰轮廓；图8b为可见光成像，图中背景具有相较红外图像丰富的背景信息，但是目标物与背景难以区分；图8c为融合后图像，不仅具有可见光丰富的背景信息，同时具有红外图像目标的高亮度。

步骤S900，基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像。

所述对所述融合后的单通道图像进行色度恢复获得融合图像，具体包括：将所述融合后的单通道图像结合所述红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息进行色度恢复。

随着图像采集器的发展，对同一个场景，可以生成具有不同侧重点的图像。本发明具体针对解决的是可见光图像与红外图像的融合问题，对于其他多源图像，采取本发明所述方法，也可以起到明显作用。结果如图9所示，图9a图9b是对脑部不同设备所的所成像，图9c为融合结果。在对其他多元图像进行处理时，将具有细节纹理信息的图像采用本发明中对红外图像进行的步骤，将具有丰富背景信息的图像采用本发明中对可见光图像进行的步骤，即可完成多源的图像融合。

在本实施例中，本发明还用于自动驾驶系统，配置为在自动驾驶系统中配置可见光成像设备和红外成像设备，通过如步骤S100-步骤S900的方法获得融合的自动驾驶设备视野图像；基于所述自动驾驶设备视野图像，进行语义分割和目标检测，进而获取场景信息和目标信息。现有的自动驾驶技术中，通常只采用针对可见光图像的语义分割，在光照条件不理想的情况下，如亮度过低等会使可见光图像质量降低，现有的RGB图像的语义分割网络难以准确进行语义分割。本发明通过利用红外成像设备，靠物体发出的热辐射来成像，并将保留了背景信息和轮廓信息的融合权重共同进行拉普拉斯分解，并将分解的结果用于进行图像融合，最后生成的融合图像充分保留了可见光图像的信息与红外图像的信息，为自动驾驶实现了稳健和准确的场景语义分割。相较于现有技术的通过激光雷达获取点云数据来辅助图像语义分割的方式，红外图像设备的成本要远低于激光雷达。

本实施例中，本发明还应用于头戴式导盲眼镜，通过如步骤S100-步骤S600的方法保留多元图像的细节，分解为一系列多尺度表示的图像，结合人眼视觉特性对原图像的多尺度系数进行融合，如步骤S700-步骤S900的方法通过融合表示上的对应逆多尺度变换来获取融合增强后的图像，使得低照度下的图像纹理细节更加清晰。本实施例中的可见光图像与红外图像融合增强技术，使得红外显著热目标与可见光背景都加以保留，可以提高可穿戴设备中智能图像分析理解的性能，有利于辅助视觉患者感知周围环境。本发明第二实施例的保留输入图像纹理细节的多源图像融合系统，包括：图像获取模块、自适应形态学滤波模块、保留边缘轮廓信息的权重获取模块、保留背景信息的权重获取模块、融合权重计算模块、拉普拉斯分解模块、局部能量相似度计算模块、融合规则获取模块和图像融合模块；

所述图像获取模块，配置为获取待融合红外图像和待融合可见光图像；

所述自适应形态学滤波模块，配置为基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

所述保留边缘轮廓信息的权重获取模块，配置为基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

所述保留背景信息的权重获取模块，配置为基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

所述融合权重计算模块，配置为将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

所述拉普拉斯分解模块，配置为将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

所述局部能量相似度计算模块，配置为基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

所述融合规则获取模块，配置为基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

所述图像融合模块，配置为基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的保留输入图像纹理细节的多源图像融合系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的保留输入图像纹理细节的多源图像融合方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的保留输入图像纹理细节的多源图像融合方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (4)

1.一种保留输入图像纹理细节的多源图像融合方法，其特征在于，所述方法包括：

步骤S100，获取待融合红外图像和待融合可见光图像；

步骤S200，基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；

步骤S210，将所述待融合红外图像和待融合可见光图像转化为YUV格式，获得红外图像YUV第一通道信息、红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第一通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息；

步骤S220，基于所述红外图像YUV第一通道信息和可见光图像YUV第一通道信，通过权重自适应形态开-闭的级联滤波器构造不同的形态学结构进行滤波获得单通道降噪红外图像和单通道降噪可见光图像；

所述权重自适应的形态学方法，具体为：

将各级串联滤波器的处理结果与原始输入图像进行差异值计算，获得各分支的权值向量；

通过所述各分支的权值向量对所述各级串联滤波器的处理结果进行加权求和，获得单通道降噪红外图像和单通道降噪可见光图像；

步骤S300，基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

步骤S400，基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

步骤S410，通过预设尺寸的滑动窗口计算所述单通道降噪红外图像和单通道降噪可见光图像的窗口内元素的平均值μ；

步骤S420，基于所述窗口内元素的平均值计算窗口内元素的标准差σ：

其中，n表示窗口内元素的个数，x_i表示图像的第i个元素；

步骤S430，将所述标准差作为滑动窗口中的各元素的值，获得对应的红外图像权重w_红和可见光图像权重w_可，进而计算保留背景信息的权重w2：

步骤S500，将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

步骤S600，将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

步骤S700，基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

所述步骤S700，具体包括：

S710，对于每个层级，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量：

其中，m、n分别表示设定的局部能量窗口的长和宽，L{I}表示红外图像分解系数，L{V}表示可见光图像分解系数，l表示层级数，表示第l层级的红外图像分解系数的局部能量，/>表示第l层级的可见光图像分解系数的局部能量；

步骤S720，基于所述红外图像分解系数的局部能量和可见光图像分解系数的局部能量E_V ^l计算局部能量相似度：

其中，J^l(x,y)表示第l层的坐标为(x,y)的像素的局部能量相似度；

步骤S800，基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

步骤S810，若所述权重参数分解系数为1时，保留红外图像分解系数；否则进入步骤S820；

步骤S820，当所述权重参数分解系数不为1时，比较所述局部能量相似度与预设的模式选择阈值t₂的大小；具体包括：

若所述局部能量相似度大于预设的模式选择阈值t₂，则通过权重参数调解对应层级图像的融合，具体方法为：

L{F}^l(x,y)＝L{W}^l(x,y)-L{V}^l(x,y)+(1-L{W}^l(x,y))

*L{I}^l(x,y)

记为A{F}^l(x,y)；

若所述局部能量相似度小于预设的模式选择阈值t₂，根据局部能量调解对应层级源图像分解后融合系数的选择：

步骤S830，将步骤S820的对融合系数的选择总结为融合规则：

其中，L{F}^l(x,y)表示第l层级图像的融合后的单通道图像；

步骤S900，基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像；

所述对所述融合后的单通道图像进行色度恢复获得融合图像，具体包括：将所述融合后的单通道图像结合所述红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息进行色度恢复。

2.根据权利要求1所述的保留输入图像纹理细节的多源图像融合方法，其特征在于，所述步骤S300，具体包括：

步骤S310，基于所述单通道降噪红外图像，通过形态学梯度处理获得目标轮廓图像：

morph_grad(src,element)

＝dilate(src,element)-erode(src,element)

其中，所述morph_grad(src,element)表示目标轮廓图像，

dilate(src,element)表示单通道降噪红外图像的膨胀图，

erode(src,element)表示单通道降噪红外图像的腐蚀图；

步骤S320，基于所述目标轮廓图，通过阈值处理并不断调整阈值使所述目标轮廓图的边缘轮廓为1，获得保留边缘轮廓信息的权重w1：

其中，t₁表示边缘轮廓阈值，x和y表示像素坐标，I表示像素值。

3.根据权利要求1所述的保留输入图像纹理细节的多源图像融合方法，其特征在于，所述步骤S500，具体包括：

将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2：

其中，w表示融合权重。

4.一种保留输入图像纹理细节的多源图像融合系统，其特征在于，所述系统包括：图像获取模块、自适应形态学滤波模块、保留边缘轮廓信息的权重获取模块、保留背景信息的权重获取模块、融合权重计算模块、拉普拉斯分解模块、局部能量相似度计算模块、融合规则获取模块和图像融合模块；

所述图像获取模块，配置为获取待融合红外图像和待融合可见光图像；

所述自适应形态学滤波模块，配置为基于所述待融合红外图像和待融合可见光图像，通过权重自适应的形态学方法进行预处理，获得单通道降噪红外图像和单通道降噪可见光图像；具体为：

将所述待融合红外图像和待融合可见光图像转化为YUV格式，获得红外图像YUV第一通道信息、红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第一通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息；

基于所述红外图像YUV第一通道信息和可见光图像YUV第一通道信，通过权重自适应形态开-闭的级联滤波器构造不同的形态学结构进行滤波获得单通道降噪红外图像和单通道降噪可见光图像；

所述权重自适应的形态学方法，具体为：

将各级串联滤波器的处理结果与原始输入图像进行差异值计算，获得各分支的权值向量；

通过所述各分支的权值向量对所述各级串联滤波器的处理结果进行加权求和，获得单通道降噪红外图像和单通道降噪可见光图像；

所述保留边缘轮廓信息的权重获取模块，配置为基于所述单通道降噪红外图像，通过形态学梯度处理和阈值处理，获取保留边缘轮廓信息的权重w1；

所述保留背景信息的权重获取模块，配置为基于所述单通道降噪红外图像和单通道降噪可见光图像，进行滑动窗口标准差处理，获得保留背景信息的权重w2；

通过预设尺寸的滑动窗口计算所述单通道降噪红外图像和单通道降噪可见光图像的窗口内元素的平均值μ；

基于所述窗口内元素的平均值计算窗口内元素的标准差σ：

其中，n表示窗口内元素的个数，x_i表示图像的第i个元素；

将所述标准差作为滑动窗口中的各元素的值，获得对应的红外图像权重w_红和可见光图像权重w_可，进而计算保留背景信息的权重w2：

所述融合权重计算模块，配置为将保留边缘轮廓信息的权重w1映射到保留背景信息的权重w2获得融合权重w；

所述拉普拉斯分解模块，配置为将所述单通道降噪红外图像、单通道降噪可见光图像和融合权重w进行同样的拉普拉斯分解，获得红外图像分解系数、可见光图像分解系数和权重参数分解系数；

所述局部能量相似度计算模块，配置为基于所述红外图像分解系数和可见光图像分解系数，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量，进而计算局部能量相似度；

对于每个层级，分别计算红外图像分解系数的局部能量和可见光图像分解系数的局部能量：

其中，m、n分别表示设定的局部能量窗口的长和宽，L{I}表示红外图像分解系数，L{V}表示可见光图像分解系数，l表示层级数，表示第l层级的红外图像分解系数的局部能量，/>表示第l层级的可见光图像分解系数的局部能量；

基于所述红外图像分解系数的局部能量和可见光图像分解系数的局部能量E_V ^l计算局部能量相似度：

其中，J^l(x,y)表示第l层的坐标为(x,y)的像素的局部能量相似度；

所述融合规则获取模块，配置为基于每一层级的所述权重参数分解系数和局部能量相似度，调解融合系数的选择，获得融合规则；

若所述权重参数分解系数为1时，保留红外图像分解系数；否则：

当所述权重参数分解系数不为1时，比较所述局部能量相似度与预设的模式选择阈值t₂的大小；具体包括：

若所述局部能量相似度大于预设的模式选择阈值t₂，则通过权重参数调解对应层级图像的融合，具体方法为：

L{F}^l(x,y)＝L{W}^l(x,y)*L{V}^l(x,y)+(1-L{W}^l(x,y))

*L{I}^l(x,y)

记为A{F}^l(x,y)；

若所述局部能量相似度小于预设的模式选择阈值t₂，根据局部能量调解对应层级源图像分解后融合系数的选择：

将对融合系数的选择总结为融合规则：

其中，L{F}^l(x,y)表示第l层级图像的融合后的单通道图像；

所述图像融合模块，配置为基于所述融合规则，对每一层的红外图像分解系数、可见光图像分解系数和权重参数分解系数进行拉普拉斯重构，获得融合后的单通道图像，对所述融合后的单通道图像进行色度恢复获得融合图像；

所述对所述融合后的单通道图像进行色度恢复获得融合图像，具体包括：将所述融合后的单通道图像结合所述红外图像YUV第二通道信息、红外图像YUV第三通道信息、可见光图像YUV第二通道信息和可见光图像YUV第三通道信息进行色度恢复。