CN109658371A - 红外图像与可见光图像的融合方法、系统及相关设备 - Google Patents
红外图像与可见光图像的融合方法、系统及相关设备 Download PDFInfo
- Publication number
- CN109658371A CN109658371A CN201811477667.5A CN201811477667A CN109658371A CN 109658371 A CN109658371 A CN 109658371A CN 201811477667 A CN201811477667 A CN 201811477667A CN 109658371 A CN109658371 A CN 109658371A
- Authority
- CN
- China
- Prior art keywords
- subgraph
- high frequency
- low frequency
- image
- residual component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000002156 mixing Methods 0.000 claims abstract description 12
- 230000015556 catabolic process Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NYPYHUZRZVSYKL-UHFFFAOYSA-N 2-azaniumyl-3-(4-hydroxy-3,5-diiodophenyl)propanoate Chemical compound OC(=O)C(N)CC1=CC(I)=C(O)C(I)=C1 NYPYHUZRZVSYKL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像融合技术领域，具体涉及一种红外图像与可见光图像的融合方法、系统及相关设备，目的在于克服现有技术方法在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低的问题。本发明的融合方法包括：基于W‑BEMD分解算法分别将两种源图像均分解成一系列高频细节子图像和一个低频轮廓子图像；基于局部区域方差选择与加权的融合规则，将两种源图像分解得到的高频细节子图像进行融合；基于区域能量选择与加权的融合规则，将两种源图像分解得到的低频轮廓子图像进行融合；将融合后的高频细节子图像与融合后的低频轮廓子图像进行W‑BEMD逆变换，得到融合图像。本发明算法冗余度低，而且运算速度快。
Description
技术领域
本发明涉及图像融合技术领域，具体涉及一种红外图像与可见光图像的融合方法、系统及相关设备。
背景技术
由于成像方式的不同，红外传感器和可见光传感器获取的关于同一场景的图像存在很大的差异。红外传感器根据目标物体与环境的整体热辐射差异进行成像，不易受到照明条件和恶劣天气的影响，具有较强的抗干扰能力，所得图像能够很好地反映复杂背景中隐藏的目标及其位置信息，但是对比度较低，细节信息不明显。而可见光传感器的成像则利用了目标与场景的反射光信息，所得图像较红外图像具有更清晰的背景信息，但不能有效地显示有遮挡的目标，且抗干扰能力弱，在照明、天气等自然条件恶劣的情况下，成像质量易受影响。因此，同一场景的红外图像和可见光图像是两类差异大、互补信息和冗余信息丰富的图像。充分利用这两类图像的特征，将其融合生成一副既目标突出，又对比度高、细节清晰的高质量图像具有重要的意义。
随着图像融合研究的深入，新的算法被不断提出。其中，基于多分辨分析理论的图像融合方法逐渐引起国内外学者们的广泛关注。该类方法的基本原理是：首先利用已有的多分辨分析工具对源图像进行多尺度多方向分解，然后选用有效的融合规则对源图像的各对应部分分别进行融合。由于多分辨分析工具能较好地捕获图像的细节信息，所以基于多分辨分析理论的图像融合方法通常能获得较满意的图像融合结果。然而，以图像金字塔、小波变换以及包括Contourlet和非下采样Contourlet变换在内的多尺度几何变换为代表的多分辨分析工具对图像的分解并非完全基于图像自身的特性，而是与滤波器的选取有关，自适应能力较差。而经验模态分解(EMD)是一种自适应的信号分析工具，其分解过程完全从数据本身出发，不依赖于任何预先指定的滤波器或基函数，是一种比小波变换性能更优的时频局部化分析方法。
文献“郑有志,覃征.基于二维经验模态分解的医学图像融合算法[J].软件学报,2009,20(5):1096-1105”将BEMD应用于医学图像融合，所提出的算法具有一定的自适应性，无需预先给定滤波器或小波函数，具有比传统融合算法更好的性能。文献“胡钢,郑皎月,秦新强,结合局部邻域特性和C-BEMD的图像融合方法[J],计算机辅助设计与图形学学报,29(4),2017:607-615”基于三角剖分和协调操作，提出了一种可协调二维经验模态分解方法(C-BEMD)，并将其应用于多聚焦图像、医学图像、以及红外与可见光图像融合中。文献“MUAhmed,DP Mandic,Image fusion based on Fast and Adaptive BidimensionalEmpirical Mode Decomposition[J],Information Fusion,2011:1-6.”构建了一种新的BEMD实现方法，该方法为每个源图像生成相同数量的BIMF，加快了图像融合的速度，并获得了较好的图像融合效果。针对红外与可见光图像的融合，文献“朱攀,黄战华,基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合[J],光电子·激光,28(10),2017:1157-1162”提出了基于BEMD和高斯模糊逻辑的融合方法。文献“P.Zhu,Z.H.Huang,H.Lei,Fusion of infrared and visible images based on BEMD and NSDFB[J],InfraredPhysics&Technology,77(2016)82–93.”提出了基于BEMD和非下采样方向滤波器组(NSDFB)的融合方法。
现有文献(特别是以上文献)公开的方法，主要是通过构建或选择不同的BEMD工具和不同的融合规则，甚至结合其他的数学分析工具来改进不同类型图像的融合结果。但是，各种BEMD方法中都或多或少存在模态混叠现象，另外，由于对经验模态分解结果的后续处理未能较好地捕获高频成分中的奇异点，从而导致融合结果中高频细节信息丢失、图像对比度降低。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术中在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低等问题，本发明提出了一种红外图像与可见光图像的融合方法、系统及相关设备，提高了运算速度，并且提高了融合后图像的清晰度。
本发明的一方面，提出一种红外图像与可见光图像的融合方法，所述方法包括：
步骤S10，基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
步骤S20，基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
步骤S30，基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
步骤S40，将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
优选地，步骤S10中“基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像”的步骤包括：
步骤S11，将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
步骤S12，根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
步骤S13：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和
步骤S14，根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
优选地，步骤S14中“根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j”的步骤包括：
步骤S141，对所述红外图像的低频轮廓图像进行插值膨胀，得到与RIR,j具有相同大小的图像
步骤S142，按照下式计算残差图像RIR,j的高频细节图像：
步骤S143，按照下式计算第j个所述第一高频细节子图像：
并更新残差图像
步骤S144，对所述可见光图像的低频轮廓图像进行插值膨胀，得到与RVI,j具有相同大小的图像
步骤S145，按照下式计算残差图像RVI,j的高频细节图像：
步骤S146，按照下式计算第j个所述第二高频细节子图像：
并更新残差图像
优选地，步骤S20中“基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像”的步骤包括：
步骤S21，分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；和分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
步骤S22，计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
其中，
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
步骤S23，若则根据下式计算所述第三高频细节子图像：
否则，根据下式计算所述第三高频细节子图像：
其中，
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
优选地，步骤S30中“基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到所述第三低频轮廓子图像”的步骤包括：
步骤S31，分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
步骤S32，计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
其中，
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
和分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
步骤S33，若则根据下式计算所述第三低频轮廓子图像：
否则，根据下式计算所述第三低频轮廓子图像：
其中，
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
本发明的第二方面，提出一种红外图像与可见光图像的融合系统，所述系统包括：
待融合图像分解模块，配置为：基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
高频细节子图像融合模块，配置为：基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
低频轮廓子图像融合模块，配置为：基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
融合图像生成模块，配置为：将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
优选地，所述待融合图像分解模块包括：
残差分量初始化单元，配置为：将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
分解单元，配置为：根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
低频轮廓图像计算单元：配置为：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和
高频细节子图像计算单元，配置为：根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
控制单元，配置为：计算j＝j+1；若j≤L，则继续调用所述低频轮廓图像计算单元与所述高频细节子图像计算单元；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
优选地，所述高频细节子图像计算单元包括：
第一插值膨胀子单元，配置为：对所述红外图像的低频轮廓图像进行插值膨胀，得到与RIR,j具有相同大小的图像
第一高频细节子图像计算子单元，配置为：按照下式计算残差图像RIR,j的高频细节图像：
按照下式计算第j个所述第一高频细节子图像：
并更新残差图像
第二插值膨胀子单元，配置为：对所述可见光图像的低频轮廓图像进行插值膨胀，得到与RVI,j具有相同大小的图像
第二高频细节子图像计算子单元，配置为：按照下式计算残差图像RVI,j的高频细节图像：
按照下式计算第j个所述第二高频细节子图像：
并更新残差图像
优选地，所述高频细节子图像融合模块包括：
局部区域方差计算单元，配置为：分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；和分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
局部区域方差匹配度计算单元，配置为：计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
其中，
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
第三高频细节子图像计算单元，配置为：若则根据下式计算所述第三高频细节子图像：
否则，根据下式计算所述第三高频细节子图像：
其中，
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
优选地，所述低频轮廓子图像融合模块包括：
局部区域能量计算单元，配置为：分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
局部区域能量匹配度计算单元，配置为：计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
其中，
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
和分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
第三低频轮廓子图像计算单元，配置为：若则根据下式计算所述第三低频轮廓子图像：
否则，根据下式计算所述第三低频轮廓子图像：
其中，
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
与最接近的现有技术相比，本发明具有如下有益效果：
本发明提出的红外图像与可见光图像的融合方法，基于BEMD分解和W变换两种技术进行图像融合，该方法通过BEMD分解和W变换对待融合的源图像进行多尺度分解，然后根据高低频各分量的特性选择合适的融合规则进行融合。该方法保持了W变换和经验模态分解的优点，具有算法冗余度低，运算速度快的优点，且保留了经验模态分解的自适应分析能力和W变换的捕获高频奇异信息的能力，使得采用该方法所得融合结果图像更加清晰、与源图像相关程度较高。解决了现有技术中在图像融合时易出现的模态混叠现象，以及融合结果中高频细节信息丢失、图像对比度降低等问题。
附图说明
图1是本发明的红外图像与可见光图像的融合方法实施例的主要步骤示意图；
图2是本发明红外图像与可见光图像的融合系统实施例的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
基于BEMD优良的自适应分析能力和W变换捕获高频奇异信息的能力，本发明首先对待融合的源图像(红外图像和可见光图像)分别进行一次BEMD分解，得到图像的内蕴模函数分量和残差分量；然后，采用W变换对所得残差分量进行低频提取，得到原残差分量四分之一大小的低频轮廓信息图像，将其作为新的残差分量(低频成分，记做WR)。将原残差分量与新的残差分量WR做差，得到残差剩余细节图像。考虑到内蕴模函数分量与残差剩余细节图像都具有高频性质，将二者的和作为新的IMF分量(高频成分，记做WIMF)，至此，完成了图像的一次W-BEMD分解；对新的残差分量WR重复上述操作，可得到所需的多层WIMFs分量和最终残差分量；接着，对源图像的各对应WIMFs分量分别采用基于局部区域方差及其匹配度的融合规则进行融合，而对WR分量则采用基于局部区域能量选择和加权的融合规则，得到融合图像的BEMD分解；最后，通过W-BEMD逆变换得到最终融合图像。
本实施例中，由于所得WIMFs分量和WR分量具有不同的图像特征，故针对W-BEMD分解下的WIMFs分量和WR分量分别设计不同的融合规则，使最终图像融合的效果达到最优。
图1是本发明的红外图像与可见光图像的融合方法实施例的主要步骤示意图。如图1所示，本实施例的融合方法包括步骤S10-S40：
步骤S10，基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成预设数量的第二高频细节子图像和一个第二低频轮廓子图像。
具体包括步骤S11-S15：
步骤S11，将红外图像和可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI。
其中，RIR,j-1和RVI,j-1分别为红外图像的第j-1个残差分量和可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的红外图像的残差分量的初始值和预设的可见光图像的残差分量的初始值。
步骤S12，根据红外图像的残差分量RIR,j-1对红外图像进行BEMD分解得到红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据可见光图像的残差分量RVI,j-1对可见光图像进行BEMD分解得到可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j。
步骤S13：分别对红外图像的残差分量RIR,j和可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和
步骤S14，根据红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和作为新的内蕴模函数分量WIMFIR,j，即计算出第j个第一高频细节子图像，并更新残差分量RIR,j；根据可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和作为新的内蕴模函数分量WIMFVI,j，即计算出第j个第二高频细节子图像，并更新残差分量RVI,j。可以具体包括步骤S141-S146：
步骤S141，对红外图像的低频轮廓图像RIloR,wj进行插值膨胀，得到与RIR,j具有相同大小的图像
步骤S142，按照公式(1)计算残差图像RIR,j的高频细节图像：
步骤S143，按照公式(2)计算第j个第一高频细节子图像：
并更新残差图像
步骤S144，对可见光图像的低频轮廓图像RlVoI,wj进行插值膨胀，得到与RVI,j具有相同大小的图像
步骤S145，按照公式(3)计算残差图像RVI,j的高频细节图像：
步骤S146，按照公式(4)计算第j个第二高频细节子图像：
并更新残差图像
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR,L与RVI,L分别作为第一低频轮廓子图像WRIR,L与第二低频轮廓子图像WRVI,L；其中，L为预设数量。
步骤S20，基于局部区域方差选择与加权的融合规则，将预设数量的第一高频细节子图像与预设数量的第二高频细节子图像进行融合，得到预设数量的第三高频细节子图像。
图像的WIMF分量往往保留了源图像的高频细节信息，如边缘、纹理、线条等，因此合理选择高频融合规则对保持源图像的细节特征具有重要的意义。区域方差作为一种像素点邻域特征的描述指标，表征了区域内像素点之间的偏离程度，该值越大。说明区域内像素点周围变化程度越大，区域内所含信息量越多。据此，所提图像融合方法采用基于局部区域方差选择与加权的融合规则来获得融合系数，从而对WIMF分量进行融合。这种方法符合单像素点变化不易被察觉、而局部区域变化更易被人眼感知的特性。
步骤S20可以具体包括步骤S21-S23：
步骤S21，分别根据公式(5)、(6)计算第一高频细节子图像与第二高频细节子图像在各像素点(x,y)处的局部区域方差：
其中，WIMFIR,j和WIMFVI,j分别为第j个第一高频细节子图像和第j个第二高频细节子图像；j＝1,2,...,L，L为预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；和分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵，本实施例中选取高斯分布所生成的矩阵作为权值矩阵。
步骤S22，计算第一高频细节子图像WIMFIR,j和第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度，如公式(7)所示：
其中，
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
步骤S23，若则根据公式(10)计算第三高频细节子图像：
否则，根据公式(11)计算第三高频细节子图像：
其中，
β(x,y)＝1-α(x,y)(13)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
步骤S30，基于区域能量选择与加权的融合规则，将第一低频轮廓子图像和第二低频轮廓子图像进行融合，得到第三低频轮廓子图像。
残差分量WR是源图像的一种近似描述。为了在融合结果中更多地保留红外图像的目标信息和可见光图像丰富的场景信息，本文对WR分量采用基于区域能量选择与加权的融合规则。
步骤S30可以具体包括步骤S31-S33：
步骤S31，分别根据公式(14)、(15)计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
其中，WRIR,L和WRVI,L分别为第一低频轮廓子图像和第二低频轮廓子图像；L为预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
步骤S32，计算第一低频轮廓子图像WRIR,L和第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度，如公式(16)所示：
其中，
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；和分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
步骤S33，若则根据公式(19)计算第三低频轮廓子图像：
否则，根据公式(20)计算第三低频轮廓子图像：
其中，
β′(x,y)＝1-α′(x,y) (22)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
步骤S40，将预设数量的第三高频细节子图像与第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明还提供了一种红外图像与可见光图像的融合系统，下面进行具体说明。
图2是本发明红外图像与可见光图像的融合系统实施例的主要构成示意图。如图2所示，本实施例的红外图像与可见光图像的融合系统1包括：待融合图像分解模块10、高频细节子图像融合模块20、低频轮廓子图像融合模块30和融合图像生成模块40。
其中，待融合图像分解模块10配置为：基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成预设数量的第二高频细节子图像和一个第二低频轮廓子图像；高频细节子图像融合模块20配置为：基于局部区域方差选择与加权的融合规则，将预设数量的第一高频细节子图像与预设数量的第二高频细节子图像进行融合，得到预设数量的第三高频细节子图像；低频轮廓子图像融合模块30配置为：基于区域能量选择与加权的融合规则，将第一低频轮廓子图像和第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；融合图像生成模块40配置为：将预设数量的第三高频细节子图像与第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
本实施例中，待融合图像分解模块10包括：残差分量初始化单元11、分解单元12、低频轮廓图像计算单元13、高频细节子图像计算单元14和控制单元15。
其中，残差分量初始化单元11配置为：将红外图像和可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；其中，RIR,j-1和RVI,j-1分别为红外图像的第j-1个残差分量和可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的红外图像的残差分量的初始值和预设的可见光图像的残差分量的初始值；分解单元12配置为：根据红外图像的残差分量RIR,j-1对红外图像进行BEMD分解得到红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据可见光图像的残差分量RVI,j-1对可见光图像进行BEMD分解得到可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；低频轮廓图像计算单元13配置为：分别对红外图像的残差分量RIR,j和可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和高频细节子图像计算单元14配置为：根据红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个第一高频细节子图像，并更新残差分量RIR,j；根据可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和计算出第j个第二高频细节子图像，并更新残差分量RVI,j；控制单元15配置为：计算j＝j+1；若j≤L，则继续调用低频轮廓图像计算单元与高频细节子图像计算单元；否则，将更新后的残差分量RIR,L与RVI,L分别作为第一低频轮廓子图像WRIR,L与第二低频轮廓子图像WRVI,L；其中，L为预设数量。
本实施例中，高频细节子图像计算单元14包括：第一插值膨胀子单元、第一高频细节子图像计算子单元、第二插值膨胀子单元和第二高频细节子图像计算子单元。
其中，第一插值膨胀子单元配置为：对红外图像的低频轮廓图像进行插值膨胀，得到与RIR,j具有相同大小的图像第一高频细节子图像计算子单元配置为：按照公式(1)计算残差图像RIR,j的高频细节图像，按照公式(2)计算第j个第一高频细节子图像，并更新残差图像第二插值膨胀子单元配置为：对可见光图像的低频轮廓图像进行插值膨胀，得到与RVI,j具有相同大小的图像第二高频细节子图像计算子单元配置为：按照公式(3)计算残差图像RVI,j的高频细节图像，按照公式(4)计算第j个第二高频细节子图像，并更新残差图像
本实施例中，高频细节子图像融合模块20包括：局部区域方差计算单元21、局部区域方差匹配度计算单元22和第三高频细节子图像计算单元23。
其中，局部区域方差计算单元21配置为：分别根据公式(5)、(6)计算第一高频细节子图像与第二高频细节子图像在各像素点(x,y)处的局部区域方差；局部区域方差匹配度计算单元22配置为：根据公式(7)-(9)计算第一高频细节子图像WIMFIR,j和第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度；第三高频细节子图像计算单元23配置为：若则根据公式(10)计算第三高频细节子图像：
否则，根据公式(11)-(13)计算第三高频细节子图像；
本实施例中，低频轮廓子图像融合模块30包括：局部区域能量计算单元31、局部区域能量匹配度计算单元32和第三低频轮廓子图像计算单元33。
其中，局部区域能量计算单元31配置为：分别根据公式(14)、(15)计算第一低频轮廓子图像与第二低频轮廓子图像在各像素点(x,y)处的局部区域能量；局部区域能量匹配度计算单元32配置为：根据公式(16)-(18)计算第一低频轮廓子图像WRIR,L和第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度；第三低频轮廓子图像计算单元33配置为：若则根据公式(19)计算第三低频轮廓子图像，否则，根据公式(20)-(22)计算第三低频轮廓子图像。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种红外图像与可见光图像的融合方法，其特征在于，所述方法包括：
步骤S10，基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
步骤S20，基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
步骤S30，基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
步骤S40，将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
2.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，步骤S10中“基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像”的步骤包括：
步骤S11，将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
步骤S12，根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
步骤S13：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和
步骤S14，根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
步骤S15，j＝j+1；若j≤L，转至步骤S13；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
3.根据权利要求2所述的红外图像与可见光图像的融合方法，其特征在于，步骤S14中“根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和，计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j”的步骤包括：
步骤S141，对所述红外图像的低频轮廓图像进行插值膨胀，得到与RIR,j具有相同大小的图像
步骤S142，按照下式计算残差图像RIR,j的高频细节图像：
步骤S143，按照下式计算第j个所述第一高频细节子图像：
并更新残差图像
步骤S144，对所述可见光图像的低频轮廓图像进行插值膨胀，得到与RVI,j具有相同大小的图像
步骤S145，按照下式计算残差图像RVI,j的高频细节图像：
步骤S146，按照下式计算第j个所述第二高频细节子图像：
并更新残差图像
4.根据权利要求3所述的红外图像与可见光图像的融合方法，其特征在于，步骤S20中“基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像”的步骤包括：
步骤S21，分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；和分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
步骤S22，计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
其中，
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
步骤S23，若则根据下式计算所述第三高频细节子图像：
否则，根据下式计算所述第三高频细节子图像：
其中，
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
5.根据权利要求3所述的红外图像与可见光图像的融合方法，其特征在于，步骤S30中“基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到所述第三低频轮廓子图像”的步骤包括：
步骤S31，分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
步骤S32，计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
其中，
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
和分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
步骤S33，若则根据下式计算所述第三低频轮廓子图像：
否则，根据下式计算所述第三低频轮廓子图像：
其中，
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
6.一种红外图像与可见光图像的融合系统，其特征在于，所述系统包括：
待融合图像分解模块，配置为：基于W-BEMD分解算法，将红外图像分解成预设数量的第一高频细节子图像和一个第一低频轮廓子图像，并将可见光图像分解成所述预设数量的第二高频细节子图像和一个第二低频轮廓子图像；
高频细节子图像融合模块，配置为：基于局部区域方差选择与加权的融合规则，将所述预设数量的所述第一高频细节子图像与所述预设数量的所述第二高频细节子图像进行融合，得到所述预设数量的第三高频细节子图像；
低频轮廓子图像融合模块，配置为：基于区域能量选择与加权的融合规则，将所述第一低频轮廓子图像和所述第二低频轮廓子图像进行融合，得到第三低频轮廓子图像；
融合图像生成模块，配置为：将所述预设数量的所述第三高频细节子图像与所述第三低频轮廓子图像进行W-BEMD逆变换，得到融合图像。
7.根据权利要求6所述的红外图像与可见光图像的融合系统，其特征在于，所述待融合图像分解模块包括：
残差分量初始化单元，配置为：将所述红外图像和所述可见光图像的残差分量分别设置为RIR,j-1＝XIR、RVI,j-1＝XVI；
其中，RIR,j-1和RVI,j-1分别为所述红外图像的第j-1个残差分量和所述可见光图像的残差分量，j-1表示残差分量的序号，且j＝1；为残差分量的序号，XIR和XVI分别为预设的所述红外图像的残差分量的初始值和预设的所述可见光图像的残差分量的初始值；
分解单元，配置为：根据所述红外图像的残差分量RIR,j-1对所述红外图像进行BEMD分解得到所述红外图像的内蕴模函数IMFIR,j和残差分量RIR,j；根据所述可见光图像的残差分量RVI,j-1对所述可见光图像进行BEMD分解得到所述可见光图像的内蕴模函数IMFVI,j和残差分量RVI,j；
低频轮廓图像计算单元：配置为：分别对所述红外图像的残差分量RIR,j和所述可见光图像的残差分量RVI,j进行W变换，并对变换所得低频系数进行W逆变换，得到残差分量四分之一大小的低频轮廓图像和
高频细节子图像计算单元，配置为：根据所述红外图像的残差分量RIR,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFIR,j求和，计算出第j个所述第一高频细节子图像，并更新残差分量RIR,j；根据所述可见光图像的残差分量RVI,j、低频轮廓图像计算出残差分量的高频细节图像将与内蕴模函数IMFVI,j求和计算出第j个所述第二高频细节子图像，并更新残差分量RVI,j；
控制单元，配置为：计算j＝j+1；若j≤L，则继续调用所述低频轮廓图像计算单元与所述高频细节子图像计算单元；否则，将更新后的残差分量RIR,L与RVI,L分别作为所述第一低频轮廓子图像WRIR,L与所述第二低频轮廓子图像WRVI,L；其中，L为所述预设数量。
8.根据权利要求7所述的红外图像与可见光图像的融合系统，其特征在于，所述高频细节子图像计算单元包括：
第一插值膨胀子单元，配置为：对所述红外图像的低频轮廓图像进行插值膨胀，得到与RIR,j具有相同大小的图像
第一高频细节子图像计算子单元，配置为：按照下式计算残差图像RIR,j的高频细节图像：
按照下式计算第j个所述第一高频细节子图像：
并更新残差图像
第二插值膨胀子单元，配置为：对所述可见光图像的低频轮廓图像进行插值膨胀，得到与RVI,j具有相同大小的图像
第二高频细节子图像计算子单元，配置为：按照下式计算残差图像RVI,j的高频细节图像：
按照下式计算第j个所述第二高频细节子图像：
并更新残差图像
9.根据权利要求8所述的红外图像与可见光图像的融合系统，其特征在于，所述高频细节子图像融合模块包括：
局部区域方差计算单元，配置为：分别计算所述第一高频细节子图像与所述第二高频细节子图像在各像素点(x,y)处的局部区域方差：
其中，WIMFIR,j和WIMFVI,j分别为第j个所述第一高频细节子图像和第j个所述第二高频细节子图像；j＝1,2,...,L，L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；和分别代表图像WIMFIR,j和WIMFVI,j在以(x,y)为中心的M×N邻域内的灰度平均值；ω(m,n)代表预设的第一权值矩阵；
局部区域方差匹配度计算单元，配置为：计算所述第一高频细节子图像WIMFIR,j和所述第二高频细节子图像WIMFVI,j在各像素点(x,y)处的局部区域方差匹配度：
其中，
为WIMFIR,j和WIMFVI,j在(x,y)处的相关局部区域方差；
第三高频细节子图像计算单元，配置为：若则根据下式计算所述第三高频细节子图像：
否则，根据下式计算所述第三高频细节子图像：
其中，
β(x,y)＝1-α(x,y)
α(x,y)和β(x,y)均为加权系数，T1为预设的第一匹配度阈值。
10.根据权利要求8所述的红外图像与可见光图像的融合系统，其特征在于，所述低频轮廓子图像融合模块包括：
局部区域能量计算单元，配置为：分别计算所述第一低频轮廓子图像与所述第二低频轮廓子图像在各像素点(x,y)处的局部区域能量：
其中，WRIR,L和WRVI,L分别为所述第一低频轮廓子图像和所述第二低频轮廓子图像；L为所述预设数量；M和N分别为以点(x,y)为中心的局部邻域窗口的长和宽；ω′(m,n)代表预设的第二权值矩阵；
局部区域能量匹配度计算单元，配置为：计算所述第一低频轮廓子图像WRIR,L和所述第二低频轮廓子图像WRVI,L在各像素点(x,y)处的局部区域能量匹配度：
其中，
为WRIR,L和WRVI,L在(x,y)处的相关局部区域能量；
和分别代表图像WRIR,L和WRVI,L在以(x,y)为中心的M×N邻域内的灰度平均值；
第三低频轮廓子图像计算单元，配置为：若则根据下式计算所述第三低频轮廓子图像：
否则，根据下式计算所述第三低频轮廓子图像：
其中，
β′(x,y)＝1-α′(x,y)
α′(x,y)和β′(x,y)均为加权系数，T2为预设的第二匹配度阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477667.5A CN109658371B (zh) | 2018-12-05 | 2018-12-05 | 红外图像与可见光图像的融合方法、系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477667.5A CN109658371B (zh) | 2018-12-05 | 2018-12-05 | 红外图像与可见光图像的融合方法、系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658371A true CN109658371A (zh) | 2019-04-19 |
| CN109658371B CN109658371B (zh) | 2020-12-15 |
Family
ID=66112489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477667.5A Active CN109658371B (zh) | 2018-12-05 | 2018-12-05 | 红外图像与可见光图像的融合方法、系统及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658371B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335225A (zh) * | 2019-07-10 | 2019-10-15 | 四川长虹电子系统有限公司 | 红外光图像与可见光图像融合的方法 |
| CN111080568A (zh) * | 2019-12-13 | 2020-04-28 | 兰州交通大学 | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 |
| CN112233074A (zh) * | 2020-09-30 | 2021-01-15 | 国网山西省电力公司大同供电公司 | 一种基于可见光及红外融合图像的电力故障检测方法 |
| CN113538303A (zh) * | 2020-04-20 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 图像融合方法 |
| CN114399448A (zh) * | 2021-11-22 | 2022-04-26 | 中国科学院西安光学精密机械研究所 | 一种基于非下采样剪切波变换的多偏振信息选通融合方法 |
| CN117576564A (zh) * | 2023-11-27 | 2024-02-20 | 日照市农业科学研究院 | 用于茶叶种植的病虫害识别预警方法与系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413284A (zh) * | 2013-07-15 | 2013-11-27 | 西北工业大学 | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN105913407A (zh) * | 2016-04-06 | 2016-08-31 | 昆明理工大学 | 一种基于差值图对多聚焦度图像融合优化的方法 |
| CN108830819A (zh) * | 2018-05-23 | 2018-11-16 | 青柠优视科技（北京）有限公司 | 一种深度图像与红外图像的图像融合方法及装置 |
-
2018
- 2018-12-05 CN CN201811477667.5A patent/CN109658371B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413284A (zh) * | 2013-07-15 | 2013-11-27 | 西北工业大学 | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN105913407A (zh) * | 2016-04-06 | 2016-08-31 | 昆明理工大学 | 一种基于差值图对多聚焦度图像融合优化的方法 |
| CN108830819A (zh) * | 2018-05-23 | 2018-11-16 | 青柠优视科技（北京）有限公司 | 一种深度图像与红外图像的图像融合方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335225A (zh) * | 2019-07-10 | 2019-10-15 | 四川长虹电子系统有限公司 | 红外光图像与可见光图像融合的方法 |
| CN110335225B (zh) * | 2019-07-10 | 2022-12-16 | 四川长虹电子系统有限公司 | 红外光图像与可见光图像融合的方法 |
| CN111080568A (zh) * | 2019-12-13 | 2020-04-28 | 兰州交通大学 | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 |
| CN111080568B (zh) * | 2019-12-13 | 2023-05-26 | 兰州交通大学 | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 |
| CN113538303A (zh) * | 2020-04-20 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 图像融合方法 |
| CN113538303B (zh) * | 2020-04-20 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 图像融合方法 |
| CN112233074A (zh) * | 2020-09-30 | 2021-01-15 | 国网山西省电力公司大同供电公司 | 一种基于可见光及红外融合图像的电力故障检测方法 |
| CN114399448A (zh) * | 2021-11-22 | 2022-04-26 | 中国科学院西安光学精密机械研究所 | 一种基于非下采样剪切波变换的多偏振信息选通融合方法 |
| CN114399448B (zh) * | 2021-11-22 | 2023-04-11 | 中国科学院西安光学精密机械研究所 | 一种基于非下采样剪切波变换的多偏振信息选通融合方法 |
| CN117576564A (zh) * | 2023-11-27 | 2024-02-20 | 日照市农业科学研究院 | 用于茶叶种植的病虫害识别预警方法与系统 |
| CN117576564B (zh) * | 2023-11-27 | 2024-04-19 | 日照市农业科学研究院 | 用于茶叶种植的病虫害识别预警方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658371B (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658371A (zh) | 红外图像与可见光图像的融合方法、系统及相关设备 | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| Wang et al. | Robust object removal with an exemplar-based image inpainting approach | |
| Kuanar et al. | Multi-path dilated convolution network for haze and glow removal in nighttime images | |
| CN107784642B (zh) | 一种红外视频和可见光视频自适应融合方法 | |
| Fredembach et al. | Hamiltonian path-based shadow removal | |
| CN109859147A (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
| CN103279935B (zh) | 基于map算法的热红外遥感图像超分辨率重建方法及系统 | |
| CN101980284A (zh) | 基于两尺度稀疏表示的彩色图像降噪方法 | |
| CN106169181A (zh) | 一种图像处理方法及系统 | |
| CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| CN105719263A (zh) | 基于nsct域底层视觉特征的可见光和红外图像融合算法 | |
| CN102231791A (zh) | 一种基于图像亮度分层的视频图像去雾方法 | |
| CN108416803A (zh) | 一种基于深度神经网络的多信息融合的场景深度恢复方法 | |
| CN102142132A (zh) | 基于模块的图像修复方法 | |
| CN105139339A (zh) | 基于多级滤波和样本匹配的偏振图像超分辨率重建方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN104361571B (zh) | 基于边缘信息和支持度变换的红外与微光图像融合方法 | |
| CN113362375A (zh) | 用于车辆的运动目标检测方法 | |
| Liao et al. | Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement | |
| Wang et al. | An image fusion algorithm based on lifting wavelet transform | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| Hesabi et al. | Structure and texture image inpainting | |
| Zaveri et al. | Novel hybrid multispectral image fusion method using fuzzy logic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |