CN109658371B - 红外图像与可见光图像的融合方法、系统及相关设备 - Google Patents

红外图像与可见光图像的融合方法、系统及相关设备 Download PDF

Info

Publication number
CN109658371B
CN109658371B CN201811477667.5A CN201811477667A CN109658371B CN 109658371 B CN109658371 B CN 109658371B CN 201811477667 A CN201811477667 A CN 201811477667A CN 109658371 B CN109658371 B CN 109658371B
Authority
CN
China
Prior art keywords
image
frequency
sub
low
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811477667.5A
Other languages
English (en)
Other versions
CN109658371A (zh
Inventor
王小春
宫睿
李红军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN201811477667.5A priority Critical patent/CN109658371B/zh
Publication of CN109658371A publication Critical patent/CN109658371A/zh
Application granted granted Critical
Publication of CN109658371B publication Critical patent/CN109658371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像融合技术领域，具体涉及一种红外图像与可见光图像的融合方法、系统及相关设备，目的在于克服现有技术方法在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低的问题。本发明的融合方法包括：基于W‑BEMD分解算法分别将两种源图像均分解成一系列高频细节子图像和一个低频轮廓子图像；基于局部区域方差选择与加权的融合规则，将两种源图像分解得到的高频细节子图像进行融合；基于区域能量选择与加权的融合规则，将两种源图像分解得到的低频轮廓子图像进行融合；将融合后的高频细节子图像与融合后的低频轮廓子图像进行W‑BEMD逆变换，得到融合图像。本发明算法冗余度低，而且运算速度快。

Description

红外图像与可见光图像的融合方法、系统及相关设备
技术领域
本发明涉及图像融合技术领域，具体涉及一种红外图像与可见光图像的融合方法、系统及相关设备。
背景技术
由于成像方式的不同，红外传感器和可见光传感器获取的关于同一场景的图像存在很大的差异。红外传感器根据目标物体与环境的整体热辐射差异进行成像，不易受到照明条件和恶劣天气的影响，具有较强的抗干扰能力，所得图像能够很好地反映复杂背景中隐藏的目标及其位置信息，但是对比度较低，细节信息不明显。而可见光传感器的成像则利用了目标与场景的反射光信息，所得图像较红外图像具有更清晰的背景信息，但不能有效地显示有遮挡的目标，且抗干扰能力弱，在照明、天气等自然条件恶劣的情况下，成像质量易受影响。因此，同一场景的红外图像和可见光图像是两类差异大、互补信息和冗余信息丰富的图像。充分利用这两类图像的特征，将其融合生成一副既目标突出，又对比度高、细节清晰的高质量图像具有重要的意义。
随着图像融合研究的深入，新的算法被不断提出。其中，基于多分辨分析理论的图像融合方法逐渐引起国内外学者们的广泛关注。该类方法的基本原理是：首先利用已有的多分辨分析工具对源图像进行多尺度多方向分解，然后选用有效的融合规则对源图像的各对应部分分别进行融合。由于多分辨分析工具能较好地捕获图像的细节信息，所以基于多分辨分析理论的图像融合方法通常能获得较满意的图像融合结果。然而，以图像金字塔、小波变换以及包括Contourlet和非下采样Contourlet变换在内的多尺度几何变换为代表的多分辨分析工具对图像的分解并非完全基于图像自身的特性，而是与滤波器的选取有关，自适应能力较差。而经验模态分解(EMD)是一种自适应的信号分析工具，其分解过程完全从数据本身出发，不依赖于任何预先指定的滤波器或基函数，是一种比小波变换性能更优的时频局部化分析方法。
文献“郑有志,覃征.基于二维经验模态分解的医学图像融合算法[J].软件学报,2009,20(5):1096-1105”将BEMD应用于医学图像融合，所提出的算法具有一定的自适应性，无需预先给定滤波器或小波函数，具有比传统融合算法更好的性能。文献“胡钢,郑皎月,秦新强,结合局部邻域特性和C-BEMD的图像融合方法[J],计算机辅助设计与图形学学报,29(4),2017:607-615”基于三角剖分和协调操作，提出了一种可协调二维经验模态分解方法(C-BEMD)，并将其应用于多聚焦图像、医学图像、以及红外与可见光图像融合中。文献“MUAhmed,DP Mandic,Image fusion based on Fast and Adaptive BidimensionalEmpirical Mode Decomposition[J],Information Fusion,2011:1-6.”构建了一种新的BEMD实现方法，该方法为每个源图像生成相同数量的BIMF，加快了图像融合的速度，并获得了较好的图像融合效果。针对红外与可见光图像的融合，文献“朱攀,黄战华,基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合[J],光电子·激光,28(10),2017:1157-1162”提出了基于BEMD和高斯模糊逻辑的融合方法。文献“P.Zhu,Z.H.Huang,H.Lei,Fusion of infrared and visible images based on BEMD and NSDFB[J],InfraredPhysics&Technology,77(2016)82–93.”提出了基于BEMD和非下采样方向滤波器组(NSDFB)的融合方法。
现有文献(特别是以上文献)公开的方法，主要是通过构建或选择不同的BEMD工具和不同的融合规则，甚至结合其他的数学分析工具来改进不同类型图像的融合结果。但是，各种BEMD方法中都或多或少存在模态混叠现象，另外，由于对经验模态分解结果的后续处理未能较好地捕获高频成分中的奇异点，从而导致融合结果中高频细节信息丢失、图像对比度降低。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术中在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低等问题，本发明提出了一种红外图像与可见光图像的融合方法、系统及相关设备，提高了运算速度，并且提高了融合后图像的清晰度。
本发明的一方面，提出一种红外图像与可见光图像的融合方法，所述方法包括：
步骤S10，基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
步骤S20，基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
步骤S30，基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
步骤S40，将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
优选地，步骤S10中“基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像”的步骤包括：
步骤S11，将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
步骤S12，根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
步骤S13：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure BDA0001892585880000031
和
Figure BDA0001892585880000032
步骤S14，根据所述红外图像的残差分量RIR,j、低频轮廓图像
Figure BDA0001892585880000041
计算出残差分量的高频细节图像
Figure BDA0001892585880000042
将
Figure BDA0001892585880000043
与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像
Figure BDA0001892585880000044
计算出残差分量的高频细节图像
Figure BDA0001892585880000045
将
Figure BDA0001892585880000046
与内蕴模函数IMFVI,j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
优选地，步骤S14中“根据所述红外图像的残差分量RIR,j、低频轮廓图像
Figure BDA0001892585880000047
计算出残差分量的高频细节图像
Figure BDA0001892585880000048
将
Figure BDA0001892585880000049
与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像
Figure BDA00018925858800000410
计算出残差分量的高频细节图像
Figure BDA00018925858800000411
将
Figure BDA00018925858800000412
与内蕴模函数IMFVI,j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j”的步骤包括：
步骤S141，对所述红外图像的低频轮廓图像
Figure BDA00018925858800000413
进行插值膨胀，得到与RIR,j具有相同大小的图像
Figure BDA00018925858800000414
步骤S142，按照下式计算残差图像RIR,j的高频细节图像：
Figure BDA00018925858800000415
步骤S143，按照下式计算第j个所述第一高频细节子图像：
Figure BDA00018925858800000416
并更新残差图像
Figure BDA00018925858800000417
步骤S144，对所述可见光图像的低频轮廓图像
Figure BDA00018925858800000418
进行插值膨胀，得到与RVI,j具有相同大小的图像
Figure BDA00018925858800000419
步骤S145，按照下式计算残差图像RVI,j的高频细节图像：
Figure BDA00018925858800000420
步骤S146，按照下式计算第j个所述第二高频细节子图像：
Figure BDA00018925858800000421
并更新残差图像
Figure BDA0001892585880000051
优选地，步骤S20中“基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像”的步骤包括：
步骤S21，分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
Figure BDA0001892585880000052
Figure BDA0001892585880000053
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；
Figure BDA0001892585880000054
和
Figure BDA0001892585880000055
分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
步骤S22，计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
Figure BDA0001892585880000056
其中，
Figure BDA0001892585880000057
Figure BDA0001892585880000058
Figure BDA0001892585880000059
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
步骤S23，若
Figure BDA0001892585880000061
则根据下式计算所述第三高频细节子图像：
Figure BDA0001892585880000062
否则，根据下式计算所述第三高频细节子图像：
Figure BDA0001892585880000063
其中，
Figure BDA0001892585880000064
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
优选地，步骤S30中“基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到所述第三低频轮廓子图像”的步骤包括：
步骤S31，分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
Figure BDA0001892585880000065
Figure BDA0001892585880000066
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
步骤S32，计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
Figure BDA0001892585880000071
其中，
Figure BDA0001892585880000072
Figure BDA0001892585880000073
Figure BDA0001892585880000074
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
Figure BDA0001892585880000075
和
Figure BDA0001892585880000076
分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
步骤S33，若
Figure BDA0001892585880000077
则根据下式计算所述第三低频轮廓子图像：
Figure BDA0001892585880000078
否则，根据下式计算所述第三低频轮廓子图像：
Figure BDA0001892585880000079
其中，
Figure BDA00018925858800000710
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
本发明的第二方面，提出一种红外图像与可见光图像的融合系统，所述系统包括：
待融合图像分解模块，配置为：基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
高频细节子图像融合模块，配置为：基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
低频轮廓子图像融合模块，配置为：基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
融合图像生成模块，配置为：将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
优选地，所述待融合图像分解模块包括：
残差分量初始化单元，配置为：将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
分解单元，配置为：根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
低频轮廓图像计算单元：配置为：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure BDA0001892585880000081
和
Figure BDA0001892585880000082
高频细节子图像计算单元，配置为：根据所述红外图像的残差分量RIR,j、低频轮廓图像
Figure BDA0001892585880000083
计算出残差分量的高频细节图像
Figure BDA0001892585880000084
将
Figure BDA0001892585880000085
与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像
Figure BDA0001892585880000091
计算出残差分量的高频细节图像
Figure BDA0001892585880000092
将
Figure BDA0001892585880000093
与内蕴模函数IMFVI,j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
控制单元，配置为：计算j＝j+1；若j≤L，则继续调用所述低频轮廓图像计算单元与所述高频细节子图像计算单元；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
优选地，所述高频细节子图像计算单元包括：
第一插值膨胀子单元，配置为：对所述红外图像的低频轮廓图像
Figure BDA0001892585880000094
进行插值膨胀，得到与RIR,j具有相同大小的图像
Figure BDA0001892585880000095
第一高频细节子图像计算子单元，配置为：按照下式计算残差图像RIR,j的高频细节图像：
Figure BDA0001892585880000096
按照下式计算第j个所述第一高频细节子图像：
Figure BDA0001892585880000097
并更新残差图像
Figure BDA0001892585880000098
第二插值膨胀子单元，配置为：对所述可见光图像的低频轮廓图像
Figure BDA0001892585880000099
进行插值膨胀，得到与RVI,j具有相同大小的图像
Figure BDA00018925858800000910
第二高频细节子图像计算子单元，配置为：按照下式计算残差图像RVI,j的高频细节图像：
Figure BDA00018925858800000911
按照下式计算第j个所述第二高频细节子图像：
Figure BDA00018925858800000912
并更新残差图像
Figure BDA00018925858800000913
优选地，所述高频细节子图像融合模块包括：
局部区域方差计算单元，配置为：分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
Figure BDA00018925858800000914
Figure BDA0001892585880000101
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；
Figure BDA0001892585880000102
和
Figure BDA0001892585880000103
分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
局部区域方差匹配度计算单元，配置为：计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
Figure BDA0001892585880000104
其中，
Figure BDA0001892585880000105
Figure BDA0001892585880000106
Figure BDA0001892585880000107
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
第三高频细节子图像计算单元，配置为：若
Figure BDA0001892585880000108
则根据下式计算所述第三高频细节子图像：
Figure BDA0001892585880000109
否则，根据下式计算所述第三高频细节子图像：
Figure BDA00018925858800001010
其中，
Figure BDA0001892585880000111
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
优选地，所述低频轮廓子图像融合模块包括：
局部区域能量计算单元，配置为：分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
Figure BDA0001892585880000112
Figure BDA0001892585880000113
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
局部区域能量匹配度计算单元，配置为：计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
Figure BDA0001892585880000114
其中，
Figure BDA0001892585880000115
Figure BDA0001892585880000116
Figure BDA0001892585880000117
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
Figure BDA0001892585880000121
和
Figure BDA0001892585880000122
分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
第三低频轮廓子图像计算单元，配置为：若
Figure BDA0001892585880000123
则根据下式计算所述第三低频轮廓子图像：
Figure BDA0001892585880000124
否则，根据下式计算所述第三低频轮廓子图像：
Figure BDA0001892585880000125
其中，
Figure BDA0001892585880000126
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
与最接近的现有技术相比，本发明具有如下有益效果：
本发明提出的红外图像与可见光图像的融合方法，基于BEMD分解和W变换两种技术进行图像融合，该方法通过BEMD分解和W变换对待融合的源图像进行多尺度分解，然后根据高低频各分量的特性选择合适的融合规则进行融合。该方法保持了W变换和经验模态分解的优点，具有算法冗余度低，运算速度快的优点，且保留了经验模态分解的自适应分析能力和W变换的捕获高频奇异信息的能力，使得采用该方法所得融合结果图像更加清晰、与源图像相关程度较高。解决了现有技术中在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低等问题。
附图说明
图1是本发明的红外图像与可见光图像的融合方法实施例的主要步骤示意图；
图2是本发明红外图像与可见光图像的融合系统实施例的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
基于BEMD优良的自适应分析能力和W变换捕获高频奇异信息的能力，本发明首先对待融合的源图像(红外图像和可见光图像)分别进行一次BEMD分解，得到图像的内蕴模函数分量和残差分量；然后，采用W变换对所得残差分量进行低频提取，得到原残差分量四分之一大小的低频轮廓信息图像，将其作为新的残差分量(低频成分，记做WR)。将原残差分量与新的残差分量WR做差，得到残差剩余细节图像。考虑到内蕴模函数分量与残差剩余细节图像都具有高频性质，将二者的和作为新的IMF分量(高频成分，记做WIMF)，至此，完成了图像的一次W-BEMD分解；对新的残差分量WR重复上述操作，可得到所需的多层WIMFs分量和最终残差分量；接着，对源图像的各对应WIMFs分量分别采用基于局部区域方差及其匹配度的融合规则进行融合，而对WR分量则采用基于局部区域能量选择和加权的融合规则，得到融合图像的BEMD分解；最后，通过W-BEMD逆变换得到最终融合图像。
本实施例中，由于所得WIMFs分量和WR分量具有不同的图像特征，故针对W-BEMD分解下的WIMFs分量和WR分量分别设计不同的融合规则，使最终图像融合的效果达到最优。
图1是本发明的红外图像与可见光图像的融合方法实施例的主要步骤示意图。如图1所示，本实施例的融合方法包括步骤S10-S40：
步骤S10，基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成预设数量的第二高频细节子图像和一个第二低频轮廓子图像。
具体包括步骤S11-S15：
步骤S11，将红外图像和可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI。
其中，RIR,j-1和RVI,j-1分别为红外图像的第j-1个残差分量和可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的红外图像的残差分量的初始值和预设的可见光图像的残差分量的初始值。
步骤S12，根据红外图像的残差分量RIR,j-1对红外图像进行BEMD分解得到红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据可见光图像的残差分量RVI,j-1对可见光图像进行BEMD分解得到可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j。
步骤S13：分别对红外图像的残差分量RIR,j和可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure BDA0001892585880000141
和
Figure BDA0001892585880000142
步骤S14，根据红外图像的残差分量RIR,j、低频轮廓图像
Figure BDA0001892585880000143
计算出残差分量的高频细节图像
Figure BDA0001892585880000144
将
Figure BDA0001892585880000145
与内蕴模函数IMFIR,j求和作为新的内蕴模函数分量WIMFIR,j，即计算出第j个第一高频细节子图像，并更新残差分量RIR,j；根据可见光图像的残差分量RVI,j、低频轮廓图像
Figure BDA0001892585880000146
计算出残差分量的高频细节图像
Figure BDA0001892585880000147
将
Figure BDA0001892585880000148
与内蕴模函数IMFVI,j求和作为新的内蕴模函数分量WIMFVI,j，即计算出第j个第二高频细节子图像，并更新残差分量RVI,j。可以具体包括步骤S141-S146：
步骤S141，对红外图像的低频轮廓图像RIloR,wj进行插值膨胀，得到与RIR,j具有相同大小的图像
Figure BDA0001892585880000149
步骤S142，按照公式(1)计算残差图像RIR,j的高频细节图像：
Figure BDA00018925858800001410
步骤S143，按照公式(2)计算第j个第一高频细节子图像：
Figure BDA00018925858800001411
并更新残差图像
Figure BDA00018925858800001412
步骤S144，对可见光图像的低频轮廓图像RlVoI,wj进行插值膨胀，得到与RVI,j具有相同大小的图像
Figure BDA00018925858800001413
步骤S145，按照公式(3)计算残差图像RVI,j的高频细节图像：
Figure BDA00018925858800001414
步骤S146，按照公式(4)计算第j个第二高频细节子图像：
Figure BDA00018925858800001415
并更新残差图像
Figure BDA0001892585880000151
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR,L与RVI,L分别作为第一低频轮廓子图像WRIR,L与第二低频轮廓子图像WRVI,L；其中，L为预设数量。
步骤S20，基于局部区域方差选择与加权的融合规则，将预设数量的第一高频细节子图像与预设数量的第二高频细节子图像进行融合，得到预设数量的第三高频细节子图像。
图像的WIMF分量往往保留了源图像的高频细节信息，如边缘、纹理、线条等，因此合理选择高频融合规则对保持源图像的细节特征具有重要的意义。区域方差作为一种像素点邻域特征的描述指标，表征了区域内像素点之间的偏离程度，该值越大。说明区域内像素点周围变化程度越大，区域内所含信息量越多。据此，所提图像融合方法采用基于局部区域方差选择与加权的融合规则来获得融合系数，从而对WIMF分量进行融合。这种方法符合单像素点变化不易被察觉、而局部区域变化更易被人眼感知的特性。
步骤S20可以具体包括步骤S21-S23：
步骤S21，分别根据公式(5)、(6)计算第一高频细节子图像与第二高频细节子图像在各像素点(x,y)处的局部区域方差：
Figure BDA0001892585880000152
Figure BDA0001892585880000153
其中，WIMFIR,j和WIMFVI,j分别为第j个第一高频细节子图像和第j个第二高频细节子图像；j＝1,2,...,L，L为预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；
Figure BDA0001892585880000154
和
Figure BDA0001892585880000155
分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵，本实施例中选取高斯分布所生成的矩阵作为权值矩阵。
步骤S22，计算第一高频细节子图像WIMFIR,j和第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度，如公式(7)所示：
Figure BDA0001892585880000161
其中，
Figure BDA0001892585880000162
Figure BDA0001892585880000163
Figure BDA0001892585880000164
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
步骤S23，若
Figure BDA0001892585880000165
则根据公式(10)计算第三高频细节子图像：
Figure BDA0001892585880000166
否则，根据公式(11)计算第三高频细节子图像：
Figure BDA0001892585880000167
其中，
Figure BDA0001892585880000168
β(x,y)＝1-α(x,y)(13)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
步骤S30，基于区域能量选择与加权的融合规则，将第一低频轮廓子图像和第二低频轮廓子图像进行融合，得到第三低频轮廓子图像。
残差分量WR是源图像的一种近似描述。为了在融合结果中更多地保留红外图像的目标信息和可见光图像丰富的场景信息，本文对WR分量采用基于区域能量选择与加权的融合规则。
步骤S30可以具体包括步骤S31-S33：
步骤S31，分别根据公式(14)、(15)计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
Figure BDA0001892585880000171
Figure BDA0001892585880000172
其中，WRIR,L和WRVI,L分别为第一低频轮廓子图像和第二低频轮廓子图像；L为预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
步骤S32，计算第一低频轮廓子图像WRIR,L和第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度，如公式(16)所示：
Figure BDA0001892585880000173
其中，
Figure BDA0001892585880000174
Figure BDA0001892585880000175
Figure BDA0001892585880000176
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
Figure BDA0001892585880000177
和
Figure BDA0001892585880000178
分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
步骤S33，若
Figure BDA0001892585880000179
则根据公式(19)计算第三低频轮廓子图像：
Figure BDA0001892585880000181
否则，根据公式(20)计算第三低频轮廓子图像：
Figure BDA0001892585880000182
其中，
Figure BDA0001892585880000183
β′(x,y)＝1-α′(x,y) (22)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
步骤S40，将预设数量的第三高频细节子图像与第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明还提供了一种红外图像与可见光图像的融合系统，下面进行具体说明。
图2是本发明红外图像与可见光图像的融合系统实施例的主要构成示意图。如图2所示，本实施例的红外图像与可见光图像的融合系统1包括：待融合图像分解模块10、高频细节子图像融合模块20、低频轮廓子图像融合模块30和融合图像生成模块40。
其中，待融合图像分解模块10配置为：基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成预设数量的第二高频细节子图像和一个第二低频轮廓子图像；高频细节子图像融合模块20配置为：基于局部区域方差选择与加权的融合规则，将预设数量的第一高频细节子图像与预设数量的第二高频细节子图像进行融合，得到预设数量的第三高频细节子图像；低频轮廓子图像融合模块30配置为：基于区域能量选择与加权的融合规则，将第一低频轮廓子图像和第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；融合图像生成模块40配置为：将预设数量的第三高频细节子图像与第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
本实施例中，待融合图像分解模块10包括：残差分量初始化单元11、分解单元12、低频轮廓图像计算单元13、高频细节子图像计算单元14和控制单元15。
其中，残差分量初始化单元11配置为：将红外图像和可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；其中，RIR,j-1和RVI,j-1分别为红外图像的第j-1个残差分量和可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的红外图像的残差分量的初始值和预设的可见光图像的残差分量的初始值；分解单元12配置为：根据红外图像的残差分量RIR,j-1对红外图像进行BEMD分解得到红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据可见光图像的残差分量RVI,j-1对可见光图像进行BEMD分解得到可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；低频轮廓图像计算单元13配置为：分别对红外图像的残差分量RIR,j和可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure BDA0001892585880000191
和
Figure BDA0001892585880000192
高频细节子图像计算单元14配置为：根据红外图像的残差分量RIR,j、低频轮廓图像
Figure BDA0001892585880000193
计算出残差分量的高频细节图像
Figure BDA0001892585880000194
将
Figure BDA0001892585880000195
与内蕴模函数IMFIR,j求和，计算出第j个第一高频细节子图像，并更新残差分量RIR,j；根据可见光图像的残差分量RVI,j、低频轮廓图像
Figure BDA0001892585880000196
计算出残差分量的高频细节图像
Figure BDA0001892585880000197
将
Figure BDA0001892585880000198
与内蕴模函数IMFVI,j求和计算出第j个第二高频细节子图像，并更新残差分量RVI,j；控制单元15配置为：计算j＝j+1；若j≤L，则继续调用低频轮廓图像计算单元与高频细节子图像计算单元；否则，将更新后的残差分量RIR,L与RVI,L分别作为第一低频轮廓子图像WRIR,L与第二低频轮廓子图像WRVI,L；其中，L为预设数量。
本实施例中，高频细节子图像计算单元14包括：第一插值膨胀子单元、第一高频细节子图像计算子单元、第二插值膨胀子单元和第二高频细节子图像计算子单元。
其中，第一插值膨胀子单元配置为：对红外图像的低频轮廓图像
Figure BDA0001892585880000199
进行插值膨胀，得到与RIR,j具有相同大小的图像
Figure BDA00018925858800001910
第一高频细节子图像计算子单元配置为：按照公式(1)计算残差图像RIR,j的高频细节图像，按照公式(2)计算第j个第一高频细节子图像，并更新残差图像
Figure BDA0001892585880000201
第二插值膨胀子单元配置为：对可见光图像的低频轮廓图像
Figure BDA0001892585880000202
进行插值膨胀，得到与RVI,j具有相同大小的图像
Figure BDA0001892585880000203
第二高频细节子图像计算子单元配置为：按照公式(3)计算残差图像RVI,j的高频细节图像，按照公式(4)计算第j个第二高频细节子图像，并更新残差图像
Figure BDA0001892585880000204
本实施例中，高频细节子图像融合模块20包括：局部区域方差计算单元21、局部区域方差匹配度计算单元22和第三高频细节子图像计算单元23。
其中，局部区域方差计算单元21配置为：分别根据公式(5)、(6)计算第一高频细节子图像与第二高频细节子图像在各像素点(x,y)处的局部区域方差；局部区域方差匹配度计算单元22配置为：根据公式(7)-(9)计算第一高频细节子图像WIMFIR,j和第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度；第三高频细节子图像计算单元23配置为：若
Figure BDA0001892585880000205
则根据公式(10)计算第三高频细节子图像：
否则，根据公式(11)-(13)计算第三高频细节子图像；
本实施例中，低频轮廓子图像融合模块30包括：局部区域能量计算单元31、局部区域能量匹配度计算单元32和第三低频轮廓子图像计算单元33。
其中，局部区域能量计算单元31配置为：分别根据公式(14)、(15)计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点(x,y)处的局部区域能量；局部区域能量匹配度计算单元32配置为：根据公式(16)-(18)计算第一低频轮廓子图像WRIR,L和第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度；第三低频轮廓子图像计算单元33配置为：若
Figure BDA0001892585880000206
则根据公式(19)计算第三低频轮廓子图像，否则，根据公式(20)-(22)计算第三低频轮廓子图像。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种红外图像与可见光图像的融合方法，其特征在于，所述方法包括：
步骤S10，基于W-BEMD分解算法，设置红外图像的残差分量和可见光图像的残差分量，根据红外图像的残差分量对红外图像进行BEMD分解，对红外图像的下一个残差分量进行W变换并对变换所得低频系数进行W逆变换，根据W逆变换结果将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，根据可见光图像的残差分量对可见光图像进行BEMD分解，对可见光图像的下一个残差分量进行W变换并对变换所得低频系数进行W逆变换，根据W逆变换结果将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
步骤S20，基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，计算第一高频细节子图像与第二高频细节子图像在各像素点处的局部区域方差及局部区域方差匹配度，并根据所述局部区域方差及所述局部区域方差匹配度得到所述预设数量的第三高频细节子图像；
步骤S21，分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x，y)处的局部区域方差：
Figure FDA0002735006740000011
Figure FDA0002735006740000012
其中，WIMFIR，j和WIMFVI，j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1，2，...，L，L为所述预设数量；M和N分别为以点(x，y)为中心的局部邻域窗口的长和宽；
Figure FDA0002735006740000013
和
Figure FDA0002735006740000014
分别代表图像WIMFIR，j和WIMFVI，j在以(x，y)为中心的M×N邻域内的灰度平均值；ω(m，n)代表预设的第一权值矩阵；
步骤S22，计算所述第一高频细节子图像WIMFIR，j和所述第二高频细节子图像WIMFVI，j在各像素点(x，y)处的局部区域方差匹配度：
Figure FDA0002735006740000021
其中，
Figure FDA0002735006740000022
Figure FDA0002735006740000023
Figure FDA0002735006740000024
为WIMFIR，j和WIMFVI，j在(x，y)处的相关局部区域方差；
步骤S23，若
Figure FDA0002735006740000025
则根据下式计算所述第三高频细节子图像：
Figure FDA0002735006740000026
否则，根据下式计算所述第三高频细节子图像：
Figure FDA0002735006740000027
其中，
Figure FDA0002735006740000028
β(x，y)＝1-α(x，y)
α(x，y)和β(x，y)均为加权系数，T1为预设的第一匹配度阈值；
步骤S30，基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点处的局部区域能量及局部区域能量匹配度，并根据所述局部区域能量及所述局部区域能量匹配度得到第三低频轮廓子图像；
步骤S31，分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x，y)处的局部区域能量：
Figure FDA0002735006740000031
Figure FDA0002735006740000032
其中，WRIR，L和WRVI，L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x，y)为中心的局部邻域窗口的长和宽；ω′(m，n)代表预设的第二权值矩阵；
步骤S32，计算所述第一低频轮廓子图像WRIR，L和所述第二低频轮廓子图像WRVI，L在各像素点(x，y)处的局部区域能量匹配度：
Figure FDA0002735006740000033
其中，
Figure FDA0002735006740000034
Figure FDA0002735006740000035
Figure FDA0002735006740000036
为WRIR，L和WRVI，L在(x，y)处的相关局部区域能量；
Figure FDA0002735006740000037
和
Figure FDA0002735006740000038
分别代表图像WRIR，L和WRVI，L在以(x，y)为中心的M×N邻域内的灰度平均值；
步骤S33，若
Figure FDA0002735006740000039
则根据下式计算所述第三低频轮廓子图像：
Figure FDA00027350067400000310
否则，根据下式计算所述第三低频轮廓子图像：
Figure FDA00027350067400000311
其中，
Figure FDA0002735006740000041
β′(x，y)＝1-α′(x，y)
α′(x，y)和β′(x，y)均为加权系数，T2为预设的第二匹配度阈值；
步骤S40，将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
2.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，步骤S10中“基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像”的步骤包括：
步骤S11，将所述红外图像和所述可见光图像的残差分量分别设置为RIR，j-1＝XIR、RVI，j-1＝XVI；
其中，RIR，j-1和RVI，j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
步骤S12，根据所述红外图像的残差分量RIR，j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR，j和残差分量RIR，j；根据所述可见光图像的残差分量RVI，j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI，j和残差分量RVI，j；
步骤S13：分别对所述红外图像的残差分量RIR，j和所述可见光图像的残差分量RVI，j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure FDA0002735006740000042
和
Figure FDA0002735006740000043
步骤S14，根据所述红外图像的残差分量RIR，j、低频轮廓图像
Figure FDA0002735006740000044
计算出残差分量的高频细节图像
Figure FDA0002735006740000045
将
Figure FDA0002735006740000046
与内蕴模函数IMFIR，j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR，j；根据所述可见光图像的残差分量RVI，j、低频轮廓图像
Figure FDA0002735006740000047
计算出残差分量的高频细节图像
Figure FDA0002735006740000048
将
Figure FDA0002735006740000049
与内蕴模函数IMFVI，j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI，j；
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR，L与RVI，L分别作为所述第一低频轮廓子图像WRIR，L与所述第二低频轮廓子图像WRVI，L；其中，L为所述预设数量。
3.根据权利要求2所述的红外图像与可见光图像的融合方法，其特征在于，步骤S14中“根据所述红外图像的残差分量RIR，j、低频轮廓图像
Figure FDA0002735006740000051
计算出残差分量的高频细节图像
Figure FDA0002735006740000052
将
Figure FDA0002735006740000053
与内蕴模函数IMFIR，j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR，j；根据所述可见光图像的残差分量RVI，j、低频轮廓图像
Figure FDA0002735006740000054
计算出残差分量的高频细节图像
Figure FDA0002735006740000055
将
Figure FDA0002735006740000056
与内蕴模函数IMFVI，j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI，j”的步骤包括：
步骤S141，对所述红外图像的低频轮廓图像
Figure FDA0002735006740000057
进行插值膨胀，得到与RIR，j具有相同大小的图像
Figure FDA0002735006740000058
步骤S142，按照下式计算残差图像RIR，j的高频细节图像：
Figure FDA0002735006740000059
步骤S143，按照下式计算第j个所述第一高频细节子图像：
Figure FDA00027350067400000510
并更新残差图像
Figure FDA00027350067400000511
步骤S144，对所述可见光图像的低频轮廓图像
Figure FDA00027350067400000512
进行插值膨胀，得到与RVI，j具有相同大小的图像
Figure FDA00027350067400000513
步骤S145，按照下式计算残差图像RVI，j的高频细节图像：
Figure FDA00027350067400000514
步骤S146，按照下式计算第j个所述第二高频细节子图像：
Figure FDA00027350067400000515
并更新残差图像
Figure FDA00027350067400000516
4.一种红外图像与可见光图像的融合系统，其特征在于，所述系统包括：
待融合图像分解模块，配置为：基于W-BEMD分解算法，设置红外图像的残差分量和可见光图像的残差分量，根据红外图像的残差分量对红外图像进行BEMD分解，对红外图像的下一个残差分量进行W变换并对变换所得低频系数进行W逆变换，根据W逆变换结果将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，根据可见光图像的残差分量对可见光图像进行BEMD分解，对可见光图像的下一个残差分量进行W变换并对变换所得低频系数进行W逆变换，根据W逆变换结果将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
高频细节子图像融合模块，配置为：基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，计算第一高频细节子图像与第二高频细节子图像在各像素点处的局部区域方差及局部区域方差匹配度，并根据所述局部区域方差及所述局部区域方差匹配度得到所述预设数量的第三高频细节子图像；
所述高频细节子图像融合模块包括：
局部区域方差计算单元，配置为：分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x，y)处的局部区域方差：
Figure FDA0002735006740000061
Figure FDA0002735006740000062
其中，WIMFIR，j和WIMFVI，j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1，2，...，L，L为所述预设数量；M和N分别为以点(x，y)为中心的局部邻域窗口的长和宽；
Figure FDA0002735006740000063
和
Figure FDA0002735006740000064
分别代表图像WIMFIR，j和WIMFVI，j在以(x，y)为中心的M×N邻域内的灰度平均值；ω(m，n)代表预设的第一权值矩阵；
局部区域方差匹配度计算单元，配置为：计算所述第一高频细节子图像WIMFIR，j和所述第二高频细节子图像WIMFVI，j在各像素点(x，y)处的局部区域方差匹配度：
Figure FDA0002735006740000071
其中，
Figure FDA0002735006740000072
Figure FDA0002735006740000073
Figure FDA0002735006740000074
为WIMFIR，j和WIMFVI，j在(x，y)处的相关局部区域方差；
第三高频细节子图像计算单元，配置为：若
Figure FDA0002735006740000075
则根据下式计算所述第三高频细节子图像：
Figure FDA0002735006740000076
否则，根据下式计算所述第三高频细节子图像：
Figure FDA0002735006740000077
其中，
Figure FDA0002735006740000078
β(x，y)＝1-α(x，y)
α(x，y)和β(x，y)均为加权系数，T1为预设的第一匹配度阈值；
低频轮廓子图像融合模块，配置为：基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点处的局部区域能量及局部区域能量匹配度，并根据所述局部区域能量及所述局部区域能量匹配度得到第三低频轮廓子图像；
所述低频轮廓子图像融合模块包括：
局部区域能量计算单元，配置为：分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x，y)处的局部区域能量：
Figure FDA0002735006740000081
Figure FDA0002735006740000082
其中，WRIR，L和WRVI，L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x，y)为中心的局部邻域窗口的长和宽；ω′(m，n)代表预设的第二权值矩阵；
局部区域能量匹配度计算单元，配置为：计算所述第一低频轮廓子图像WRIR，L和所述第二低频轮廓子图像WRVI，L在各像素点(x，y)处的局部区域能量匹配度：
Figure FDA0002735006740000083
其中，
Figure FDA0002735006740000084
Figure FDA0002735006740000085
Figure FDA0002735006740000086
为WRIR，L和WRVI，L在(x，y)处的相关局部区域能量；
Figure FDA0002735006740000087
和
Figure FDA0002735006740000088
分别代表图像WRIR，L和WRVI，L在以(x，y)为中心的M×N邻域内的灰度平均值；
第三低频轮廓子图像计算单元，配置为：若
Figure FDA0002735006740000089
则根据下式计算所述第三低频轮廓子图像：
Figure FDA00027350067400000810
否则，根据下式计算所述第三低频轮廓子图像：
Figure FDA0002735006740000091
其中，
Figure FDA0002735006740000092
β′(x，y)＝1-α′(x，y)
α′(x，y)和β′(x，y)均为加权系数，T2为预设的第二匹配度阈值；
融合图像生成模块，配置为：将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
5.根据权利要求4所述的红外图像与可见光图像的融合系统，其特征在于，所述待融合图像分解模块包括：
残差分量初始化单元，配置为：将所述红外图像和所述可见光图像的残差分量分别设置为RIR，j-1＝XIR、RVI，j-1＝XVI；
其中，RIR，j-1和RVI，j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
分解单元，配置为：根据所述红外图像的残差分量RIR，j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR，j和残差分量RIR，j；根据所述可见光图像的残差分量RVI，j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI，j和残差分量RVI，j；
低频轮廓图像计算单元：配置为：分别对所述红外图像的残差分量RIR，j和所述可见光图像的残差分量RVI，j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像
Figure FDA0002735006740000093
和
Figure FDA0002735006740000094
高频细节子图像计算单元，配置为：根据所述红外图像的残差分量RIR，j、低频轮廓图像
Figure FDA0002735006740000095
计算出残差分量的高频细节图像
Figure FDA0002735006740000096
将
Figure FDA0002735006740000097
与内蕴模函数IMFIR，j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR，j；根据所述可见光图像的残差分量RVI，j、低频轮廓图像
Figure FDA0002735006740000098
计算出残差分量的高频细节图像
Figure FDA0002735006740000099
将
Figure FDA00027350067400000910
与内蕴模函数IMFVI，j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI，j；
控制单元，配置为：计算j＝j+1；若j≤L，则继续调用所述低频轮廓图像计算单元与所述高频细节子图像计算单元；否则，将更新后的残差分量RIR，L与RVI，L分别作为所述第一低频轮廓子图像WRIR，L与所述第二低频轮廓子图像WRVI，L；其中，L为所述预设数量。
6.根据权利要求5所述的红外图像与可见光图像的融合系统，其特征在于，所述高频细节子图像计算单元包括：
第一插值膨胀子单元，配置为：对所述红外图像的低频轮廓图像
Figure FDA0002735006740000101
进行插值膨胀，得到与RIR，j具有相同大小的图像
Figure FDA0002735006740000102
第一高频细节子图像计算子单元，配置为：按照下式计算残差图像RIR，j的高频细节图像：
Figure FDA0002735006740000103
按照下式计算第j个所述第一高频细节子图像：
Figure FDA0002735006740000104
并更新残差图像
Figure FDA0002735006740000105
第二插值膨胀子单元，配置为：对所述可见光图像的低频轮廓图像
Figure FDA0002735006740000106
进行插值膨胀，得到与RVI，j具有相同大小的图像
Figure FDA0002735006740000107
第二高频细节子图像计算子单元，配置为：按照下式计算残差图像RVI，j的高频细节图像：
Figure FDA0002735006740000108
按照下式计算第j个所述第二高频细节子图像：
Figure FDA0002735006740000109
并更新残差图像
Figure FDA00027350067400001010
CN201811477667.5A 2018-12-05 2018-12-05 红外图像与可见光图像的融合方法、系统及相关设备 Active CN109658371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811477667.5A CN109658371B (zh) 2018-12-05 2018-12-05 红外图像与可见光图像的融合方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811477667.5A CN109658371B (zh) 2018-12-05 2018-12-05 红外图像与可见光图像的融合方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN109658371A CN109658371A (zh) 2019-04-19
CN109658371B true CN109658371B (zh) 2020-12-15

Family

ID=66112489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811477667.5A Active CN109658371B (zh) 2018-12-05 2018-12-05 红外图像与可见光图像的融合方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN109658371B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335225B (zh) * 2019-07-10 2022-12-16 四川长虹电子系统有限公司 红外光图像与可见光图像融合的方法
CN111080568B (zh) * 2019-12-13 2023-05-26 兰州交通大学 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法
CN113538303B (zh) * 2020-04-20 2023-05-26 杭州海康威视数字技术股份有限公司 图像融合方法
CN112233074A (zh) * 2020-09-30 2021-01-15 国网山西省电力公司大同供电公司 一种基于可见光及红外融合图像的电力故障检测方法
CN114399448B (zh) * 2021-11-22 2023-04-11 中国科学院西安光学精密机械研究所 一种基于非下采样剪切波变换的多偏振信息选通融合方法
CN117576564B (zh) * 2023-11-27 2024-04-19 日照市农业科学研究院 用于茶叶种植的病虫害识别预警方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413284A (zh) * 2013-07-15 2013-11-27 西北工业大学 一种基于二维emd和遗传算法的多聚焦数字图像融合方法
CN104809734A (zh) * 2015-05-11 2015-07-29 中国人民解放军总装备部军械技术研究所 一种基于引导滤波的红外图像与可见光图像融合的方法
CN105913407A (zh) * 2016-04-06 2016-08-31 昆明理工大学 一种基于差值图对多聚焦度图像融合优化的方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413284A (zh) * 2013-07-15 2013-11-27 西北工业大学 一种基于二维emd和遗传算法的多聚焦数字图像融合方法
CN104809734A (zh) * 2015-05-11 2015-07-29 中国人民解放军总装备部军械技术研究所 一种基于引导滤波的红外图像与可见光图像融合的方法
CN105913407A (zh) * 2016-04-06 2016-08-31 昆明理工大学 一种基于差值图对多聚焦度图像融合优化的方法
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置

Also Published As

Publication number Publication date
CN109658371A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109658371B (zh) 红外图像与可见光图像的融合方法、系统及相关设备
CN101980284B (zh) 基于两尺度稀疏表示的彩色图像降噪方法
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111047541B (zh) 一种基于小波变换注意力模型的图像修复方法
CN109035189B (zh) 基于柯西模糊函数的红外与弱可见光图像融合方法
CN112132958B (zh) 一种基于双目视觉的水下环境三维重建方法
CN103295204B (zh) 一种基于非下采样轮廓波变换的图像自适应增强方法
CN102073999A (zh) 基于双冗余字典学习的自然图像去噪方法
CN103049891B (zh) 基于自适应窗口选择的视频图像去模糊方法
US9437034B1 (en) Multiview texturing for three-dimensional models
CN106169181A (zh) 一种图像处理方法及系统
Elad et al. Reduced complexity retinex algorithm via the variational approach
CN107301662A (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
CN108694708A (zh) 基于图像边缘提取的小波变换图像融合方法
CN113362375A (zh) 用于车辆的运动目标检测方法
Buades Image and film denoising by non-local means
CN112991504A (zh) 一种改进的基于tof相机三维重建的补空洞方法
CN114793457A (zh) 用于改进确定深度图、相对姿势或语义分割的过程的设备和方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN116342649A (zh) 一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备
CN110544216A (zh) 基于深度学习的视频去雾系统
CN106845448B (zh) 一种基于非负约束2d变分模态分解的红外弱小目标检测方法
Jabbar et al. FD-stackGAN: face de-occlusion using stacked generative adversarial networks
CN114092610B (zh) 一种基于生成对抗网络的人物视频生成方法
CN116563497A (zh) 一种虚拟人驱动方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant