CN115908518B - 一种多传感图像融合方法及系统 - Google Patents

Abstract

本发明公开了一种多传感图像融合方法及系统，包括：根据低光照下的可见光图像，获取与可见光图像配准的红外图像，并获取可见光图像的衍生增强图像；采用小波变换法分别对可见光图像、红外图像和衍生增强图像进行多尺度变换，分别得到三类图像的低频子带和高频子带；采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；采用小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果。本发明能够很好地解决低光照的图像融合效果差的问题。

Description

一种多传感图像融合方法及系统

技术领域

本发明涉及图像融合技术领域，具体涉及一种多传感图像融合方法及系统。

背景技术

图像融合是一个综合同一场景多传感源图像信息的技术。来自多个传感器的多源图像能够提供互补或冗余的信息，利用互补信息可使获得的融合图像包含更丰富的细节及更全面的信息。由于利用了来自多传感器的多源图像，所以，融合后图像对场景的描述比任何单一源图像都更全面、更精确。

基于红外图像和可见光图像比较容易获取且有很好的信息互补性，其中，红外图像主要依靠物体自身的热辐射进行成像，突出背景中隐藏的热目标，其不受光照条件、天气的影响，但对比度较低，纹理细节不丰富。可见光图像通过反射可见光进行成像纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差。因此红外图像与可见光图像融合是多传感多源头图像融合领域中的一个热门研究方向。

目前的可见光图像与红外图像融合技术主要基于像素级和特征级的融合，像素级的融合技术研究主要是基于多尺度变换融合的技术，特征级的融合技术研究主要集中在基于深度学习的图像融合方向。像素级的融合能够保留更多的原始探测信息，而基于深度学习的特征级的融合能够挖掘图像更深层次的特征信息，利用提取到的深层特征进行融合能够取得很好的效果。但是针对低光照(雨、雾、霾等恶劣天气情况下)的可见光图像与红外图像的融合效果差。

发明内容

本发明所要解决的技术问题是现有的图像融合方法不适应低光照（比如雨、雾、霾等恶劣天气情况下）的图像融合，存在对低光照的可见光图像与红外图像的融合效果差的问题。本发明目的在于提供一种多传感图像融合方法及系统，本发明针对低光照图像融合情况下，采用像素级和特征级融合技术相结合的融合方式，针对低光照下可见光图像获得其衍生增强图像，采用三类图像进行融合，针对可见光图像、红外图像以及衍生增强图像的高频子段，采用双路深度学习融合方式，通过双路编码器的卷积层链接方式的不同，能够将源图像映射到不同的特征空间，从而能够获取到有差别的特征信息（比如人物特征、形状特征、大小特征等等），使特征融合更加充分，可以增强融合图像的细节信息，能够很好地解决低光照的图像融合效果差的问题。

本发明通过下述技术方案实现：

第一方面，本发明提供了一种多传感图像融合方法，该方法包括：

根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；其中，衍生增强图像是用于提高低光照下的可见光图像的品质；

采用平稳小波变换法(SWT)分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；

采用平稳小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果。

进一步地，所述衍生增强图像包括白平衡衍生图像、对比度增强衍生图像和伽马校正衍生图像。

进一步地，采用灰度世界假设理论来获取所述可见光图像的白平衡衍生图像；

根据所述可见光图像中的亮度减去所述可见光图像的平均亮度值，得到亮度差值；根据所述亮度差值，采用因子线性增强亮度来获取对比度增强衍生图像；

利用非线性色调操作，采用伽马校正系数，对所述可见光图像中的亮度或三色激励值进行编码或解码得到对比度增强的图像，从而获取伽马校正衍生图像。

进一步地，所述平均权重策略的融合公式为：

Ff(x,y)=λ1Vf(x,y)+λ2If(x,y)+ λ3(w1Df1(x,y) + w2Df2(x,y) + w3Df3(x,y))

式中，Ff (x,y)为第一融合结果，即融合后低频部分(x,y)处的像素值；Vf(x,y)为可见光图像低频部分(x,y)处的像素值；If(x,y)为红外图像低频部分(x,y)处的像素值；Df1(x,y)、Df2(x,y)、Df3(x,y)分别为三种衍生增强图像低频部分(x,y)处的像素值；w1为白平衡衍生图像低频部分像素的权重，w2为对比度增强衍生图像低频部分像素的权重，w3为伽马校正衍生图像低频部分像素的权重；λ1为可见光图像低频部分像素的权重，λ2为红外图像低频部分像素的权重，λ3为衍生增强图像低频部分像素的权重。

进一步地，所述采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果，包括：

采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；

采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；

采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果。

进一步地，所述第一路深度神经网络、第二路深度神经网络均包括依次连接的编码器、融合层和解码器；

所述编码器，用于对输入的图像进行特征提取，得到图像特征；

融合层，用于对编码器提取到的图像特征进行融合，得到融合后的图像特征；

解码器，用于对融合后的图像特征进行重建，得到期望的融合高频子带。

进一步地，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ4DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

第二方面，本发明又提供了一种多传感图像融合系统，该系统包括：

获取单元，用于根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；

小波变换单元，用于采用平稳小波变换法(SWT)分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

低频融合单元，用于采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

双路高频融合单元，用于采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；

小波拟变换单元，用于采用平稳小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果；

输出单元，用于输出所述最终融合图像结果。

进一步地，所述双路高频融合单元的执行过程为：

采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；

采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；

采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果。

进一步地，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ5DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明一种多传感图像融合方法及系统，针对低光照图像融合情况下，采用像素级和特征级融合技术相结合的融合方式，针对低光照下可见光图像获得其衍生增强图像，采用三类图像进行融合，针对可见光图像、红外图像以及衍生增强图像的高频子段，采用双路深度学习融合方式，通过双路编码器的卷积层链接方式的不同，能够将源图像映射到不同的特征空间，从而能够获取到有差别的特征信息（比如人物特征、形状特征、大小特征等等），使特征融合更加充分，可以增强融合图像的细节信息，能够很好地解决低光照的图像融合效果差的问题。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明一种多传感图像融合方法流程图。

图2为本发明一种多传感图像融合方法详细流程图。

图3为本发明一种多传感图像融合系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

基于现有的图像融合方法不适应低光照（比如雨、雾、霾等恶劣天气情况下）的图像融合，存在对低光照的可见光图像与红外图像的融合效果差的问题。

本发明设计了一种多传感图像融合方法及系统，本发明针对低光照图像融合情况下，采用像素级和特征级融合技术相结合的融合方式，针对低光照下可见光图像获得其衍生增强图像，采用三类图像进行融合，针对可见光图像、红外图像以及衍生增强图像的高频子段，采用双路深度学习融合方式，通过双路编码器的卷积层链接方式的不同，能够将源图像映射到不同的特征空间，从而能够获取到有差别的特征信息（比如人物特征、形状特征、大小特征等等），使特征融合更加充分，可以增强融合图像的细节信息，能够很好地解决低光照的图像融合效果差的问题。

实施例1

如图1和图2所示，图1为本发明一种多传感图像融合方法流程图，图2为本发明一种多传感图像融合方法详细流程图。本发明一种多传感图像融合方法，该方法包括：

步骤1，根据低光照下某一场景的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；其中，衍生增强图像是用于提高低光照下的可见光图像的品质；

具体地，所述衍生增强图像至少包括白平衡衍生图像、对比度增强衍生图像和伽马校正衍生图像。这三类衍生增强图像能够有很好的互补性。其中：

（1）采用灰度世界假设理论来获取所述可见光图像的白平衡衍生图像；白平衡衍生图像能够保留低光照场景中的色彩信息，消除大气光引起的颜色偏移。

（2）根据所述可见光图像中的亮度减去所述可见光图像的平均亮度值，得到亮度差值；根据所述亮度差值，采用因子线性增强亮度来获取对比度增强衍生图像；

（3）利用非线性色调操作，采用伽马校正系数，对所述可见光图像中的亮度或三色激励值进行编码或解码得到对比度增强的图像，从而获取伽马校正衍生图像。

本发明考虑后续通过衍生增强图像分别与可见光图像、红外图像进行高频子带融合，结合采用双路深度学习融合方式，使特征融合更加充分，可以增强融合图像的细节信息，能够很好地解决低光照的图像融合效果差的问题。

步骤2，采用平稳小波变换法(SWT)分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

具体地，采用平稳小波变换法(SWT)对所述可见光图像进行多尺度变换，得到可见光图像的低频子带和可见光图像的高频子带；

采用平稳小波变换法(SWT)对所述红外图像进行多尺度变换，得到红外图像的低频子带和红外图像的高频子带；

采用平稳小波变换法(SWT)对所述衍生增强图像进行多尺度变换，得到衍生增强图像的低频子带和衍生增强图像的高频子带。

步骤3，采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

所述平均权重策略的融合公式为：

Ff(x,y)=λ1Vf(x,y)+λ2If(x,y)+ λ3(w1Df1(x,y) + w2Df2(x,y) + w3Df3(x,y))

式中，Ff (x,y)为第一融合结果，即融合后低频部分(x,y)处的像素值；Vf(x,y)为可见光图像低频部分(x,y)处的像素值；If(x,y)为红外图像低频部分(x,y)处的像素值；Df1(x,y)、Df2(x,y)、Df3(x,y)分别为三种衍生增强图像低频部分(x,y)处的像素值；w1为白平衡衍生图像低频部分像素的权重，w2为对比度增强衍生图像低频部分像素的权重，w3为伽马校正衍生图像低频部分像素的权重；λ1为可见光图像低频部分像素的权重，λ2为红外图像低频部分像素的权重，λ3为衍生增强图像低频部分像素的权重。

本发明考虑到三类图像中的低频子带中仅仅存在背景信息，并不存在特征信息，因此，把三类图像放到一起进行融合即可。

步骤4，采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果，包括：

采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；

采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；

采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果。

具体地，所述第一路深度神经网络、第二路深度神经网络均包括依次连接的编码器、融合层和解码器；

所述编码器，用于对输入的图像进行特征提取，得到图像特征；具体地，编码器由4个卷 积层组成，卷积核大小均为3 × 3，卷积步长为1，激活函数为现有的ReLU函数，可见光图像与红外图像高频子带融合这一路的编码器的4个卷积层采用顺序链接的方式，衍生图像与红外图像高频子带融合这一路的编码器的4个卷积层采用全链接的方式。

融合层，用于对编码器提取到的图像特征进行融合，得到融合后的图像特征；由于同一路的图像特征是采用相同的编码器，因此对应位置的特征是相同的，可以直接相加进行融合。

解码器，用于对融合后的图像特征进行重建，得到期望的融合高频子带。

作为进一步地实施，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ5DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

本发明考虑到三类图像中的高频子带存在特征信息（比如人物特征、形状特征、大小特征等等），而不能像融合低频子带那样把三类图像放到一起简单融合，需要通过调整可见光图像的高频子带与红外图像的高频子带融合结果、红外图像的高频子带与衍生增强图像的高频子带融合结果的权重来使融合结果更佳。因此，本发明采用双路深度学习融合方式，通过双路编码器的卷积层链接方式的不同，能够将源图像映射到不同的特征空间，从而能够获取到有差别的特征信息（比如人物特征、形状特征、大小特征等等），使特征融合更加充分，可以增强融合图像的细节信息，能够很好地解决低光照的图像融合效果差的问题。

步骤5，采用平稳小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果。

本发明首先根据可见光图像，获取与该可见光图像配准的红外图像，及获取由该可见光图像衍生出的衍生增强图像(白平衡图像、对比度增强图像、伽马校正图像等)；然后对可见光图像、红外图像以及衍生增强图像，采用平稳小波(SWT)变换将三类图像分别分解为低频子带和高频子带，针对低频部分融合采用平均权重策略进行融合；针对高频子带融合，采用双路深度神经网络进行融合，一路为可见光图像与红外图像的高频子带融合，编码器卷积层采用顺序链接方式；另一路为衍生增强图像与红外图像的高频子带融合，编码器卷积层采用全链接的方式；通过双路编码器的卷积层链接方式的不同，能够将源图像映射到不同的特征空间，从而能够获取到有差别的特征信息，使特征融合更加充分，可以增强融合图像的细节信息；然后结合权重将双路高频子带进行融合；最后，采用平稳小波逆变换得到最终融合图像结果。

实施例2

如图3所示，图3为本发明一种多传感图像融合系统结构示意图。本实施例与实施例1的区别在于，本实施例提供了一种多传感图像融合系统，该系统用于实现实施例1所述的一种多传感图像融合方法；该系统包括：

获取单元，用于根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；

小波变换单元，用于采用平稳小波变换法(SWT)分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

低频融合单元，用于采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

双路高频融合单元，用于采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；

小波拟变换单元，用于采用平稳小波逆变换法对第一融合结果和第二融合结果进行拟变换，得到最终融合图像结果；

输出单元，用于输出所述最终融合图像结果。

作为进一步地实施，所述双路高频融合单元的执行过程为：

采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；

采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；

采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果。

作为进一步地实施，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ5DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

各个单元的执行过程按照实施例1所述的一种多传感图像融合方法流程步骤执行即可，此实施例中不再一一赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多传感图像融合方法，其特征在于，该方法包括：

根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；

采用小波变换法分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；包括：采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果；

采用小波逆变换法对第一融合结果和第二融合结果进行逆变换，得到最终融合图像结果。

2.根据权利要求1所述的一种多传感图像融合方法，其特征在于，所述衍生增强图像包括白平衡衍生图像、对比度增强衍生图像和伽马校正衍生图像。

3.根据权利要求2所述的一种多传感图像融合方法，其特征在于，采用灰度世界假设理论来获取所述可见光图像的白平衡衍生图像；

根据所述可见光图像中的亮度减去所述可见光图像的平均亮度值，得到亮度差值；根据所述亮度差值，采用因子线性增强亮度来获取对比度增强衍生图像；

利用非线性色调操作，采用伽马校正系数，对所述可见光图像中的亮度或三色激励值进行编码或解码得到对比度增强的图像，从而获取伽马校正衍生图像。

4.根据权利要求2所述的一种多传感图像融合方法，其特征在于，所述平均权重策略的融合公式为：

Ff(x,y)=λ1Vf(x,y)+λ2If(x,y)+ λ3(w1Df1(x,y) + w2Df2(x,y) + w3Df3(x,y))

式中，Ff (x,y)为第一融合结果，即融合后低频部分(x,y)处的像素值；Vf(x,y)为可见光图像低频部分(x,y)处的像素值；If(x,y)为红外图像低频部分(x,y)处的像素值；Df1(x,y)、Df2(x,y)、Df3(x,y)分别为三种衍生增强图像低频部分(x,y)处的像素值；w1为白平衡衍生图像低频部分像素的权重，w2为对比度增强衍生图像低频部分像素的权重，w3为伽马校正衍生图像低频部分像素的权重；λ1为可见光图像低频部分像素的权重，λ2为红外图像低频部分像素的权重，λ3为衍生增强图像低频部分像素的权重。

5.根据权利要求1所述的一种多传感图像融合方法，其特征在于，所述第一路深度神经网络、第二路深度神经网络均包括依次连接的编码器、融合层和解码器；

所述编码器，用于对输入的图像进行特征提取，得到图像特征；

融合层，用于对编码器提取到的图像特征进行融合，得到融合后的图像特征；

解码器，用于对融合后的图像特征进行重建，得到期望的融合高频子带。

6.根据权利要求1所述的一种多传感图像融合方法，其特征在于，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ5DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

7.一种多传感图像融合系统，其特征在于，该系统包括：

获取单元，用于根据低光照下的可见光图像，获取与所述可见光图像配准的红外图像，并获取所述可见光图像的衍生增强图像；

小波变换单元，用于采用小波变换法分别对所述可见光图像、红外图像和衍生增强图像进行多尺度变换，得到可见光图像的低频子带、可见光图像的高频子带、红外图像的低频子带、红外图像的高频子带、衍生增强图像的低频子带和衍生增强图像的高频子带；

低频融合单元，用于采用平均权重策略对可见光图像的低频子带、红外图像的低频子带和衍生增强图像的低频子带进行融合，得到第一融合结果；

双路高频融合单元，用于采用双路深度神经网络对可见光图像的高频子带、红外图像的高频子带和衍生增强图像的高频子带进行融合，得到第二融合结果；包括：采用第一路深度神经网络对可见光图像的高频子带与红外图像的高频子带进行融合，得到第一高频融合结果；其中，第一路深度神经网络中编码器的卷积层采用顺序链接方式；采用第二路深度神经网络对红外图像的高频子带与衍生增强图像的高频子带进行融合，得到第二高频融合结果；其中，第二路深度神经网络中编码器的卷积层采用全链接的方式；采用加权融合策略对所述第一高频融合结果和第二高频融合结果进行融合，得到第二融合结果；

小波逆变换单元，用于采用小波逆变换法对第一融合结果和第二融合结果进行逆变换，得到最终融合图像结果；

输出单元，用于输出所述最终融合图像结果。

8.根据权利要求7所述的一种多传感图像融合系统，其特征在于，所述衍生增强图像包括白平衡衍生图像、对比度增强衍生图像和伽马校正衍生图像。

9.根据权利要求8所述的一种多传感图像融合系统，其特征在于，采用灰度世界假设理论来获取所述可见光图像的白平衡衍生图像；

根据所述可见光图像中的亮度减去所述可见光图像的平均亮度值，得到亮度差值；根据所述亮度差值，采用因子线性增强亮度来获取对比度增强衍生图像；

利用非线性色调操作，采用伽马校正系数，对所述可见光图像中的亮度或三色激励值进行编码或解码得到对比度增强的图像，从而获取伽马校正衍生图像。

10.根据权利要求7所述的一种多传感图像融合系统，其特征在于，所述加权融合策略的融合公式为：

Fh(x,y)=λ4VIh(x,y)+λ5DIf(x,y)

式中，Fh(x,y)为第二融合结果，即融合后高频子带(x,y)处的像素值；VIh(x,y)为可见光图像与红外图像融合后高频子带(x,y)处的像素值，λ4为VIh(x,y)的权重；DIf(x,y)为衍生增强图像与红外图像融合后高频子带(x,y)处的像素值，λ5为DIf(x,y)的权重。

Images