CN110084288B - 一种基于自学习神经单元的图像融合方法 - Google Patents
一种基于自学习神经单元的图像融合方法 Download PDFInfo
- Publication number
- CN110084288B CN110084288B CN201910288070.4A CN201910288070A CN110084288B CN 110084288 B CN110084288 B CN 110084288B CN 201910288070 A CN201910288070 A CN 201910288070A CN 110084288 B CN110084288 B CN 110084288B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- layer
- self
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 230000001537 neural effect Effects 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 105
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自学习神经单元的图像融合方法，属于图像融合领域。其实现步骤是：1)将融合图像进入Mask R‑CNN网络进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息；2)搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取，融合，重构；3)对融合层的卷积权重进行稀疏赋值，加入最小/最大范数权值约束与L1正则项；4)分别计算融合图像与源图像的整体结构相似度SSIM，区域结构相似度SSIM与互信息MI；5)训练神经网络，调整参数。本发明能通过学习网络参数以最佳方式联合获得水平测量与权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。
Description
技术领域
本发明属于图像融合领域，涉及一种基于自学习神经单元的图像融合方法，在军事，遥感，以及计算机等领域中有广泛地应用。
背景技术
随着图像融合技术的迅速发展以及在军用、遥感等市场中的广泛应用，多源图像融合技术受到研发人员的重视。在过去几年内，各种图像融合方法被提出。传统的基于多尺度变换MST融合方法在变换域上以多尺度的方式对图像进行处理，具体包含求解源图像对应的变换域，按照人工设计的融合规则融合图像，逆变换得最终图像。融合方法有基于拉普拉斯变换LAP(Laplace Transform)的融合方法，基于非下采样Contourlet变换和稀疏表示的融合算法以及基于离散小波变换DWT(Discrete Wavelet Transform)的融合算法等。这些融合算法采用分解系数的绝对值来计算活动测量图，接着采用max或加权平均规则融合。由于现实环境的复杂性与实际需求的多样性，如噪声、误差等，权重分配具备较大的限制性与不可适应性。人工设计的融合规则通常面临特征判据和融合规格的设计的难题，即基于哪些特征作为图像中活动测度的判别依据，并且根据这些活动测度的判别设计融合规则实现多源图像的有效融合。
近年来，深度学习技术凭其强大的特征提取与数据建模能力，在计算机视觉，图像处理和模式识别领域获得显著的突破。本发明提出了新的融合神经单元，利用损失函数去驱动融合神经单元的自适应地进行权重的合理分配，获得了较优的融合结果，提高了融合图像的质量。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种用于图像融合的自学习神经单元，以解决活动水平测量和融合规则设计的问题，通过损失函数驱动融合神经单元以最佳方式联合获得活动水平测量和权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。
本发明解决其技术问题所采用的技术方案如下：
一种基于自学习神经单元的图像融合方法，首先将待融合的红外与可见光图像进入Mask R-CNN进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息。然后搭建自编码网络，稀疏赋值融合层权重，加入最小/最大约束与L1正则项，再计算融合图像与源图像的结构相似度SSIM,互信息MI损失函数，最后训练神经网络，调整参数；具体包括以下步骤：
步骤一、将待融合的红外图像与可见光图像输入Mask R-CNN网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；
步骤二、搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取、融合、重构；
步骤三、采用基于编码层特征的卷积融合规则进行融合；
3.1)初始化融合层的卷积权重，并进行稀疏赋值；
3.2)采用最小/最大范数权值约束对融合层权重进行约束；
3.3)采用L1正则项对融合层权重进行惩罚；
步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数；
4.1)计算融合图像与源图像的结构相似度SSIM；
4.2)计算Mask R-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM；
4.3)计算融合图像与源图像的互信息MI；
步骤五、训练神经网络，调整参数，获取最终的融合图像。
进一步的，所述步骤二中，所述的自编码网络包括编码层融合层和解码层。编码层由经典卷积神经网络VGG19的前4层组成，包括三个卷积层和一个最大池化层，权重初始化使用经典卷积神经网络VGG19的预定义权重。融合层包括一个Concatenate层与一个1*1的卷积层。解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。
进一步的，所述步骤3.1)的具体过程如下：
a.根据编码层最后一个卷积层获取的结果，融合层的Concatenate层将红外与可见光的结果拼接，后接1*1的卷积层。
b.将1*1卷积层的第k个滤波器通道的第I个与I+p个权重
和
初始化为，其中，I,k＝0，1，2…d，p＝D-1-d，D为每个滤波器通道的1*1滤波器数量；
进一步的，所述步骤3.2)的具体过程为：
根据红外图像与可见光图像融合中适用的均值融合规则，两张图像的融合系数之和需要为1。由于CNN网络训练中，采用relu激活函数，易出现
其中k为卷积后的通道数，j为D个1*1滤波器的序号。因此我们对于D个1*1进行最小/最大范数权值约束。
首先，计算第k个通道D个1*1卷积层权重的和
接着将Sumw截断至(min，max)范围内：
其中，min为输入权值的最小范数，范围为(-1.0,1.0)，max为输入权值的最大范数，范围为(-1.0,1.0)；j表示滤波器的序号，j＝0,1,2…D-1；
然后计算权值在(min,max)范围内的的缩放区域。
其中rate为强制执行约束的比例，范围为[0,1]，严格执行约束，将权值重新调整至rate*Sumarea+(1-rate)*Sumw。如果rate<1.0意味权值将在每一步重新调整以缓慢移动到所需间隔内的值。epsilon是模糊因素，范围为(0.0,1.0)，避免分母为0，网络迭代为NAN。
最后将第k个通道的每一个权值约束至Zoomarea范围，并依次对每个通道执行此操作。
进一步的，所述步骤3.3)的具体过程为：
正则化是结构风险最小化的一种策略实现，能够有效降低过拟合，使权重分布较为离散。1*1卷积层的正则项为：
其中，R为正则项数值，初始值为0，l1为正则项系数，
为第k个通道第j个1*1滤波器的数值，d为1*1卷积层滤波器通道数；
损失函数实际上包含了两个方面：一个是训练样本误差。一个是正则项数值R。L1正则化是在原来的损失函数基础上加上正则项数值R。网络最终的损失函数为：
L＝Ein+R
其中Ein为网络训练样本误差，R为正则项数值。
进一步的，所述步骤4.1)的具体过程为：
首先分别计算源图像X，源图像Y，融合图像F的均值μx，μy，μf,方差σx,σy，σf
其中，xi、yi、fi分别为源图像X，源图像Y，融合图像F的第i个像素的数值，N为图像X，Y，F的总像素数量；然后分别计算融合图像F与图像X、图像Y的结构相似度SSIM。
其中，C1，C2为常数，通常取C1＝(K1*L)^2,C2＝(K2*L)^2,C3＝C2/2,一般地K1＝0.01,K2＝0.03,L＝255，避免网络训练时NAN。
进一步的，所述步骤4.2)的具体过程为：
首先根据步骤1选取的掩码区域Mq(q为掩码区域的序号)，将其分别映射至源图像与融合图像中，分别得到
与
接着与步骤4.1类似，对于
与
与计算相应的SSIM值。
进一步的，所述步骤4.3)的具体过程为：
首先计算源图像X,源图像Y，融合图像F的边际熵：
其中P(x),P(y),P(f)分别表示源图像X，源图像Y，融合图像F的边际概率分布函数。
接着分别计算源图像X,源图像Y与融合图像F的联合熵：
其中，P(x，f)、P(y，f)分别表示源图像X，源图像Y与融合图像F的联合概率密度函数。
然后分别计算源图像X,源图像Y与融合图像F的互信息MI：
MI(X，F)＝H(X)+H(F)-H(X，F)
MI(Y，F)＝H(Y)+H(F)-H(Y，F)
最后计算最终的互信息MI：
本发明的有益效果：
1，本发明采用用于图像融合的自学习神经单元的方法，相比传统手工选取融合参数，人工设计融合规则，自学习神经单元能够自主学习融合参数，充分融合源图像的强特征，背景信息等，得到信息量更丰富，质量更好的融合图像。
2，本发明预处理采用Mask R-CNN网络对待融合图像进行实例分割，类别判定等，能够获取图像的前景与背景信息，具有可人工筛选，定向强化，能够满足多种应用场景的需求。
3，本发明采用自编码神经网络，可以无监督地提取图像特征，自适应融合，更好的重构，避免丢失细节，从而增加图像的信息量和可解释性。
附图说明
图1是一种用于图像融合的自学习神经单元的流程图。
图2是本发明卷积神经网络CNN网络结构图。
图3是待融合红外图像、待融合可见光图像、融合结果图。其中，(a)是本发明一个实施例的待融合红外图像；(b)是本发明一个实施例的待融合可见光图像；(c)是基于DTCWT的融合图像；(d)是基于CVT的融合图像；(e)是基于NSCT的融合图像；(f)是基于DC变换的融合图像；(g)是基于GF变换的融合图像；(h)是基于PCNN的融合图像；(i)是本发明方法的融合图像。
具体实施方式
下面对本发明的一个实施例(IR-VIS红外与可见光图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：
步骤1，对红外与可见光图像进行Mask R-CNN处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息。根据人眼主观判定分类信息的正确性及需求，获取红外图像类别信息为”person”的掩码矩阵。
步骤2，搭建自编码网络，利用卷积神经网络CNN网络进行图像特征的选取，融合，重构。自编码网络包含编码层、融合层和解码层三个部分。编码层由经典卷积神经网络VGG19的前4层组成，包含三个卷积层和一个最大池化层，权重初始化使用VGG19的预定义权重。融合层包含一个Concatenate层与一个1*1的卷积层。解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。
步骤3，采用基于编码层特征的卷积融合规则进行融合
3.1初始化融合层的卷积权重，稀疏赋值：
a.根据编码层最后一个卷积层获取的结果，将红外与可见光的结果拼接，后接1*1的卷积层。
b.将1*1卷积层的滤波器数值设置为0.5，保证第I个w与第I+128个w对应为0.5融合
其中k为1*1卷积层的滤波器的数量，
3.2对于融合层权重进行约束，采用最小/最大范数权值约束：
根据红外可见光图像融合中适用的均值融合规则，两张图像的融合系数之和需要为1。由于CNN网络训练中，采用relu激活函数，易出现
其中j为256个1*1滤波器的序号。因此我们对于256个1*1进行最小/最大范数权值约束。
首先，我们计算第k个通道256个1*1卷积层的和
接着将Sumw截断至(min，max)范围内
其中min为输入权值的最小范数，数值为0，max为输入权值的最大范数，数值为1,j表示滤波器的序号，j＝0,1,2…255；
然后计算其余权值的缩放范围。
其中rate为强制执行约束的比例，数值为1.0，严格执行约束，将权值重新调整至rate*Sumarea+(1-rate)*Sumw。epsilon的值为1e-3，避免分母为0，网络迭代为NAN。
最后将第k个通道的每一个权值约束至Zoomarea范围。
3.3对于融合层权重进行惩罚，采用L1正则项：
正则化是结构风险最小化的一种策略实现，能够有效降低过拟合，使权重分布较为离散。1*1卷积层的正则项为：
其中，R为正则项数值，初始值为0，l1为正则项系数，数值为0.3，
为第k个通道第j个1*1滤波器的数值；
损失函数实际上包含了两个方面：一个是训练样本误差。一个是正则项数值R。L1正则化是在原来的损失函数基础上加上正则项数值R。网络最终的损失函数为：
L＝Ein+R
其中Ein为网络训练样本误差，R为正则项数值。
步骤4，采用SSIM,MI损失函数，迭代网络，优化参数
4.1计算融合图像与源图像的结构相似度SSIM：
首先分别计算源图像X，源图像Y，融合图像F的均值μx，μy，μf,方差σx,σy，σf
其中，xi、yi、fi分别为源图像X，源图像Y，融合图像F的第i个像素的数值，N为图像X，Y，F的总像素数量；
然后分别计算融合图像F与图像X图像Y的结构相似度SSIM。
其中C1，C2值为1e-6，避免网络训练时NAN.
4.2计算Mask R-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM：
首先根据步骤1选取的掩码区域Mq，q(为掩码区域的序号，将其分别映射至源图像与融合图像中，分别得到
与
接着与步骤4.1类似，计算相应的SSIM值。
4.3计算融合图像与源图像的互信息MI：
首先计算源图像X,源图像Y，融合图像F的边际熵
其中P(x),P(y),P(f)分别表示源图像X，源图像Y，融合图像F的边际概率分布函数
接着分别计算源图像X,源图像Y与融合图像F的联合熵
其中P(x,f),P(y,f)分别表示源图像X，源图像Y与融合图像F的联合概率密度函数
然后分别计算源图像X,源图像Y与融合图像F的互信息MI
MI(X，F)＝H(X)+H(F)-H(X，F)
MI(Y，F)＝H(Y)+H(F)-H(Y，F)
最后计算最终的互信息MI
步骤5，训练网络，调整参数，获取最终的融合图像
仿真实验
为了验证本发明的可行性和有效性，采用红外与可见光两张图像，大小为480×640，如图3中(a)和(b)所示，根据本发明方法进行融合实验。
综上所述，通过图3的融合结果比较可以看出：本发明方法所得融合图像最大程度地忠于原始信息，更好地保持了待融合图像中的强信息，背景信息，有效避免了目标丢失，因而图像的主观视觉效果最好，即融合结果更理想。
表1给出了采用各种融合方法所得融合结果的客观评价指标。其中，数据加粗表明对应的红外与可见光图像融合方法所得评价指标取值最优。
表1基于各种融合方法的融合性能比较
表1中通过清晰度、边缘强度、空间频率、MI、Qabf和EN来衡量融合图像的质量，进而验证本发明融合方法的可行性和有效性。
由表1数据可知，本发明方法所获得的融合图像在清晰度，边缘强度，空间频率，熵客观评价指标上要优于其它融合方法。清晰度可敏感的反应出图像中图像微小细节和纹理变换特征，用来评价图像的相对清晰度，清晰度越高则说明图像融合效果越好；边缘强度用于衡量图像细节的丰富程度，边缘强度值越大，则融合图像的边缘越清晰，效果越好；空间频率用于衡量图像像素的活动水平，其值越大，则图像越清晰；互信息用于衡量两个域变量间的依赖性，互信息值越大，融合图像保留源图像的信息量更丰富；Qabf利用Sobel边缘检测算子来衡量有多少边缘信息从源图像转移到了融合图像，可综合评价源图像与融合图像之间的结构相似度，其值越接近1，说明图像融合效果越好；熵值是一种图像特征的统计形式，反映了图像中平均信息量的多少，熵值越大，则图像中信息量越丰富。
Claims (10)
1.一种基于自学习神经单元的图像融合方法，其特征在于，具体包括以下步骤：
步骤一、将待融合的红外图像与可见光图像输入Mask R-CNN网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；
步骤二、搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取、融合、重构；
步骤三、采用基于编码层特征的卷积融合规则进行融合；
3.1)初始化融合层的卷积权重，并进行稀疏赋值；
3.2)采用最小/最大范数权值约束对融合层权重进行约束；
3.3)采用L1正则项对融合层权重进行惩罚；
所述步骤3.3)中：
1*1卷积层的正则项为：
其中R为正则项数值，初始值为0，l1为正则项系数，
为第k个滤波器通道第j个1*1滤波器的数值，d为1*1卷积层滤波器通道数；
损失函数包括了两个方面：一个是网络训练样本误差Ein；一个是正则项数值R；L1正则化是在原来的损失函数基础上加上正则项数值R；自编码网络最终的损失函数为：
L＝Ein+R；
步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数；
4.1)计算融合图像与源图像的结构相似度SSIM；
4.2)计算Mask R-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM；
4.3)计算融合图像与源图像的互信息MI；
步骤五、训练神经网络，调整参数，获取最终的融合图像。
2.根据权利要求1所述的一种基于自学习神经单元的图像融合方法，其特征在于，
所述步骤3.1)的具体过程为：
a.根据编码层最后一个卷积层获取的结果，融合层的Concatenate层将红外与可见光的结果拼接，后接1*1的卷积层；
b.将1*1卷积层的第k个滤波器通道的第I个与I+p个权重
和
初始化，其中，I,k＝0，1，2…d，p＝D-1-d，D为每个滤波器通道的1*1滤波器数量；
所述步骤3.2)的具体过程为：
c.计算第k个通道D个1*1卷积层权重的和
接着将Sumw截断至(min，max)范围内：
其中，min为输入权值的最小范数，范围为(-1.0,1.0)，max为输入权值的最大范数，范围为(-1.0,1.0)；j表示滤波器的序号，j＝0,1,2…D-1；
d.计算权值在(min,max)范围内的缩放区域；
其中，rate为强制执行约束的比例，范围为[0,1]，严格执行约束，将权值重新调整至rate*Sumarea+(1-rate)*Sumw；当rate<1.0，意味权值将在每一步重新调整以缓慢移动到所需间隔内的值；epsilon是模糊因素，范围为(0.0,1.0)，避免分母为0，网络迭代为NAN；
e.将第k个通道的每一个权值约束至Zoomarea范围，并依次对每个通道执行相同的操作：
3.根据权利要求1或2所述的一种基于自学习神经单元的图像融合方法，其特征在于，
所述步骤4.1)的具体过程为：
A)分别计算源图像X，源图像Y，融合图像F的均值μx,μy,μf,方差σx,σy,σf；
其中，xi、yi、fi分别为源图像X，源图像Y，融合图像F的第i个的像素值，N为图像X，Y，F的总像素数量；
B)分别计算融合图像F与源图像X、源图像Y的结构相似度SSIM；
其中，C1，C2为常数；
所述步骤4.2)的具体过程为：
C)根据步骤一获取的掩码区域Mq，q为掩码区域的序号，将其分别映射至源图像与融合图像中，分别得到
与
D)与步骤4.1)相同，对于
与
计算相应的结构相似度SSIM；
所述步骤4.3)的具体过程为：
E)计算源图像X、源图像Y、融合图像F的边际熵：
H(F)＝-∑fP(f)log2 P(f)；
其中，P(x),P(y),P(f)分别表示源图像X，源图像Y，融合图像F的边际概率分布函数；
F)分别计算源图像X、源图像Y与融合图像F的联合熵：
其中，P(x,f)、P(y,f)分别表示源图像X、源图像Y与融合图像F的联合概率密度函数；
G)分别计算源图像X、源图像Y、融合图像F的互信息MI：
MI(X,F)＝H(X)+H(F)-H(X,F)；
MI(Y,F)＝H(Y)+H(F)-H(Y,F)；
H)计算最终的互信息MI：
4.根据权利要求1或2所述的一种基于自学习神经单元的图像融合方法，其特征在于，所述步骤二中，所述的自编码网络包括编码层、融合层和解码层；编码层由经典卷积神经网络VGG19的前4层组成，包括三个卷积层和一个最大池化层，权重初始化使用经典卷积神经网络VGG19的预定义权重；融合层包括一个Concatenate层与一个1*1的卷积层；解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。
5.根据权利要求3所述的一种基于自学习神经单元的图像融合方法，其特征在于，所述步骤二中，所述的自编码网络包括编码层、融合层和解码层；编码层由经典卷积神经网络VGG19的前4层组成，包括三个卷积层和一个最大池化层，权重初始化使用经典卷积神经网络VGG19的预定义权重；融合层包括一个Concatenate层与一个1*1的卷积层；解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。
6.根据权利要求2所述的一种基于自学习神经单元的图像融合方法，其特征在于，D的取值为256；d的取值为127。
7.根据权利要求3所述的一种基于自学习神经单元的图像融合方法，其特征在于，C1＝(K1*L)^2,C2＝(K2*L)^2,C3＝C2/2，K1＝0.01,K2＝0.03,L＝255；D的取值为256；d的取值为127。
8.根据权利要求5所述的一种基于自学习神经单元的图像融合方法，其特征在于，C1＝(K1*L)^2,C2＝(K2*L)^2,C3＝C2/2，K1＝0.01,K2＝0.03,L＝255；D的取值为256；d的取值为127。
9.根据权利要求2、5、7或8所述的一种基于自学习神经单元的图像融合方法，其特征在于，
和
初始化为0.5。
10.根据权利要求6所述的一种基于自学习神经单元的图像融合方法，其特征在于，
和
初始化为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910288070.4A CN110084288B (zh) | 2019-04-11 | 2019-04-11 | 一种基于自学习神经单元的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910288070.4A CN110084288B (zh) | 2019-04-11 | 2019-04-11 | 一种基于自学习神经单元的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084288A CN110084288A (zh) | 2019-08-02 |
| CN110084288B true CN110084288B (zh) | 2023-04-18 |
Family
ID=67414763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910288070.4A Active CN110084288B (zh) | 2019-04-11 | 2019-04-11 | 一种基于自学习神经单元的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084288B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353966B (zh) * | 2020-03-03 | 2024-02-09 | 南京一粹信息科技有限公司 | 基于全变分深度学习的图像融合方法及其应用与系统 |
| CN111709902B (zh) * | 2020-05-21 | 2023-04-18 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
| CN111680752B (zh) * | 2020-06-09 | 2022-07-22 | 重庆工商大学 | 基于Framelet框架的红外与可见光图像融合方法 |
| CN112001427B (zh) * | 2020-08-04 | 2022-11-15 | 中国科学院信息工程研究所 | 一种基于类比学习的图像转化方法和装置 |
| CN112183561B (zh) * | 2020-11-09 | 2024-04-30 | 山东中医药大学 | 一种用于图像特征提取的联合融减自动编码器算法 |
| CN112651938B (zh) * | 2020-12-24 | 2023-12-19 | 平安科技（深圳）有限公司 | 视盘图像分类模型的训练方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
-
2019
- 2019-04-11 CN CN201910288070.4A patent/CN110084288B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110084288A (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084288B (zh) | 一种基于自学习神经单元的图像融合方法 | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| Burger et al. | Image denoising: Can plain neural networks compete with BM3D? | |
| CN107230196B (zh) | 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法 | |
| CN108399611B (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
| CN109118435A (zh) | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN112950518B (zh) | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 | |
| CN110443775B (zh) | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 | |
| CN105279740A (zh) | 一种基于稀疏正则化的图像去噪方法 | |
| CN104751186B (zh) | 一种基于bp网络和小波变换的虹膜图像质量分类方法 | |
| CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| Fan et al. | Multi-scale depth information fusion network for image dehazing | |
| CN112184646B (zh) | 基于梯度域导向滤波和改进pcnn的图像融合方法 | |
| CN111754447A (zh) | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 | |
| CN112785539A (zh) | 基于图像自适应分解及参数自适应的多聚焦图像融合方法 | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| CN107292844B (zh) | 全变差正则化变分随机共振自适应暗图像滤波增强方法 | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| CN109215036A (zh) | 基于卷积神经网络的人体分割方法 | |
| Zou et al. | WGAN-based image denoising algorithm | |
| Wang et al. | Adaptive enhancement algorithm for low illumination images with guided filtering-Retinex based on particle swarm optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |