CN116485694A - 一种基于变分原理的红外与可见光图像融合方法、系统 - Google Patents
一种基于变分原理的红外与可见光图像融合方法、系统 Download PDFInfo
- Publication number
- CN116485694A CN116485694A CN202310455051.2A CN202310455051A CN116485694A CN 116485694 A CN116485694 A CN 116485694A CN 202310455051 A CN202310455051 A CN 202310455051A CN 116485694 A CN116485694 A CN 116485694A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- visible light
- infrared
- principle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 230000005855 radiation Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000452 restraining effect Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/156—Correlation function computation including computation of convolution operations using a domain transform, e.g. Fourier transform, polynomial transform, number theoretic transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于变分原理的红外与可见光图像融合方法、系统，该方法包括：构建基于变分原理的图像融合模型；准备数据集，将配准好的红外图像u和可见光图像v输入到基于变分原理的图像融合模型中，得到融合图像s，该融合图像保留了u的热辐射信息和v的详细外观信息；使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q *；通过关系式s *=q *+v得到融合图像s *，并将s *的范围归一化为[0,1]，即为最终的融合图像，输出保存。本发明提出了一种新的一阶变分模型，能保留尖锐边缘并改善阶梯效应，改善融合图像的视觉效果，提高了融合效率。
Description
技术领域
本发明属于图像融合技术领域，具体涉及一种基于变分原理的红外与可见光图像融合方法、系统。
背景技术
图像融合的目标是协同利用多源图像信息，使得不同形式的信息相互补充，以获取对同一事物更本质的认识。图像融合技术包括五类：多视点图像融合、多模态图像融合、多时相图像融合、多焦点图像融合和基于图像融合的图像恢复。红外和可见光图像融合作为图像融合领域不可或缺的重要分支，属于多模态图像融合，它在夜视技术和安全监控中发挥着重要作用。
红外与可见光图像融合属于像素级图像融合的范畴。为了解决像素级融合问题，在过去的几十年里提出了许多方法，包括LP(Laplacian pyramid,拉普拉斯金字塔)、DWT(Discrete Wavelet Transform,离散小波变换)、DTCWT(Dual Tree-Complex WaveletTransform,双树复小波变换)、CVT(Curvelet Transform,曲波变换)、NSCT(NonsubsampledContourlet Transform,非下采样轮廓波变换)、MSVD(Multi-Resolution Singular ValueDecomposition,多分辨率奇异值分解)、GFF(Guided Filtering Fusion,基于导向滤波的图像融合)等方法。但是，这些方法都是采用相同的策略从红外与可见光图像中提取特征进行融合，导致红外图像中的热辐射和可见光图像中的边缘和纹理等详细的外观信息在融合图像中并不显著；基于TV(Total Variation,全变差)的图像融合方法会在图像灰度梯度较小区域产生阶梯效应，影响最终融合图像的视觉效果。
发明内容
本发明所要解决的技术问题是：提出了一种基于变分原理的红外与可见光图像融合方法、系统，通过约束融合图像与红外图像相似的像素强度保持热辐射信息，以及约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理等外观信息，能改善图像的阶梯效应，并保持图像对比度；并采用增广拉格朗日方法设计数值算法，通过快速傅里叶变换和逐点积分求解子问题保证算法的有效性。
本发明为解决上述技术问题采用以下技术方案：
本发明提出的一种基于变分原理的红外与可见光图像融合方法，包括以下步骤：
S1、构建基于变分原理的图像融合模型。
S2、将拍摄好的同一位置的红外图像u和可见光图像v作为数据集，对其进行配准，输入到基于变分原理的图像融合模型中；或者使用现有图像融合数据集，如TNO_Image_Fusion_Dataset等数据集，输入到基于变分原理的图像融合模型中。
S3、使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q*。
S4、结果归一化与保存：通过关系式s*＝q*+v得到融合图像s*，并将s*的范围归一化为[0,1]，即为最终的融合图像，输出保存。
进一步的，步骤S1中，构建基于变分原理的图像融合模型的具体内容为：
势函数在x的梯度较大区域内，为增长率低于任何幂指数大于0的幂函数的增长率的函数，能改善融合图像边界模糊问题；在x的梯度较小区域为二次函数，能改善融合图像灰度梯度相对较小区域的阶梯效应。势函数φa的具体公式为：
其中，x是积分变量，其积分区域为Ω；a>0，|x|≤a表示s-v的梯度较小区域，|x|>a表示s-v的梯度较大的区域。
在的区域中，利用Tikhonov正则化对s-v施加比总变分增长率更高的正则性，以缓解阶梯效应；在/>的区域中，正则化子的增长率低于全变差 的增长率，这削弱了正则化项与保真项在该区域上的竞争，从而有助于保持图像对比度。
得到基于变分原理的图像融合模型，具体表达为：
其中，s表示融合图像，α和λ是非负参数，u表示红外图像，v表示可见光图像，s*是最终的融合图像。
利用最小化泛函约束融合图像与红外图像相似的像素强度保持热辐射信息，利用最小化泛函/>约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理的外观信息。
进一步的，步骤S3中，具体求解过程如下：
S301、为了方便计算，引入两个变量q和p，定义q＝s-v，将图像融合模型看做是带有约束/>的约束优化问题，具体公式为：
S302、使用增广拉格朗日泛函将约束优化问题转化为无约束优化问题，具体公式为：
其中，γ1>0是惩罚参数，是拉格朗日乘子，Ω＝{(i,j)|1≤i≤M,1≤j≤N}是离散化的图像区域。
S303、基于最优化理论，为了找到图像融合模型的最优解，需要找到拉格朗日泛函的鞍点。初始化/>p0＝0和/>此时q子问题具体公式为：
由于q子问题没有封闭的极小值解，因此采用欧拉-拉格朗日方程得到其极小值解：在拉普拉斯卷积核△含有的矩阵中，-4是矩阵中心位置元素，在-4的左侧和上方划线将矩阵分为四个部分，即左上、右上、左下和右下；假设图像大小为(dataW，dataH)，将拉普拉斯卷积核从大小(3，3)扩展到图像大小(dataW，dataH)；将拉普拉斯卷积核中的左上、右上、左下和右下四部分的元素按顺时针顺序摆放在扩展的拉普拉斯卷积核中，其中中心位置元素-4摆放在扩展的拉普拉斯卷积核的第一行第一列的位置；其余位置元素填充为0；为了使得基于傅里叶的卷积满足Neumann边界条件，图像需要在右侧和下方两个维度上从(dataW，dataH)的大小扩展和填充到(fftW，fftH)，其中fftW＝dataW+2，fftH＝dataH+2。因此q子问题极小值点的具体公式为：
(λ+α)q-γ1△q＝B
其中
S304、更新qk：
其中，是二维傅里叶变换函数，/>是扩展的拉普拉斯卷积核，qk是更新的第k步的q。
B在每个网格节点上的值的表示为：
其中，是第k-1步的变量p的第一个分量和第二个分量，/>是第k-1步的拉格朗日乘子λ1的第一个分量和第二个分量。/>分别是带有Neumann边界条件的向后、向前微分算子，具体公式为：
其中，h是网格尺寸，(i,j)是离散化的图像区域Ω＝{(i,j)|1≤i≤M,1≤j≤N}中的网格节点，q(i-1,j)、q(i,j)、q(i+1,j)、q(i,j-1)、q(i,j+1)是对应网格节点上的q函数值，拉普拉斯算子为：
S305、p子问题具体公式为：
采用逐点积分方法求得上述子问题的封闭形式的极小值点。
S306、更新pk：
其中，pk是第k步的p，记/>即更新为：
其中，
S307、更新
其中，是第k步的变量p的第一个分量和第二个分量，/>是第k步的拉格朗日乘子λ1的第一个分量和第二个分量。
S308、重复步骤S303至S307，直到此时对应的第k步的qk即为拉格朗日泛函/>的近似鞍点q*。
进一步的，所述步骤S4中，将s*的范围调整为[0,1]，即将s*的最小值调整为0，最大值调整为1，可改善融合图像的视觉效果。
本发明还提出一种基于变分原理的红外与可见光图像融合系统，包括：
图像融合模型构建模块，用于构建基于变分原理的图像融合模型。
模型求解模块，用于利用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q*。
融合图像输出模块，用于通过关系式s*＝q*+v得到融合图像s*，并将s*的范围归一化为[0,1]，即为最终的融合图像，输出保存。
本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前文所述的基于变分原理的红外与可见光图像融合方法的步骤。
本发明还提出一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，所述计算机程序被处理器运行时执行前文所述的基于变分原理的红外与可见光图像融合方法的步骤。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、通过使用一种新的正则化算子，提出了一种新的用于图像融合的一阶变分模型，该模型可以帮助保留尖锐边缘并改善阶梯效应，改善融合图像的视觉效果。
2、在优化模型中，一方面，该模型通过约束融合图像和可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理等详细外观信息，另一方面使用了一个特殊的势函数约束融合图像与可见光图像具有相似的灰度梯度；同时通过约束融合图像和红外图像相似的像素强度保持热辐射信息，目标显著。
3、采用增广拉格朗日方法设计数值算法，对两个子问题分别采用快速傅里叶变换方法和逐点积分方法，提高融合效率，并且可以验证算法的收敛性。其中在使用快速傅里叶变换方法求解p子问题的过程中，通过使用拉普拉斯卷积核的扩展核和图像扩展填充，使得数值算法的边界条件满足Neumann边界条件。
附图说明
图1为本发明的整体实施流程图。
图2为本发明的网络结构图。
图3为本发明实施例中拉普拉斯卷积核的扩展核示意图。
图4为本发明实施例中图像扩展填充示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
下面结合附图对本发明做进一步详细说明。
本发明提出了一种基于变分原理的红外与可见光图像融合方法，目的是为了生成一副融合了红外图像u和可见光图像v的融合图像s，s应当保留u的热辐射信息和v的详细外观信息。图1为本发明的整体实施流程图，图2为本发明的网络结构图，包括以下步骤：
S1、构建基于变分原理的图像融合模型，具体内容为：
势函数在x的梯度较大区域内，为增长率低于任何幂指数大于0的幂函数的增长率的函数，能改善融合图像边界模糊问题；在x的梯度较小区域为二次函数，能改善融合图像灰度梯度相对较小区域的阶梯效应。势函数φa的具体公式为：
其中，a＝2，|x|≤a表示s-v的梯度较小区域，|x|>a表示s-v的梯度较大的区域。
在的区域中，利用Tikhonov正则化对s-v施加比总变分增长率更高的正则性，以缓解阶梯效应；在/>的区域中，正则化子的增长率低于全变差 的增长率，这削弱了正则化项与保真项在该区域上的竞争，从而有助于保持图像对比度。
得到基于变分原理的图像融合模型，具体表达为：
其中，s表示融合图像；α和λ是非负参数，α＝2×103，λ＝2×103；u表示红外图像；v表示可见光图像；s*是最终的融合图像。
利用最小化泛函约束融合图像与红外图像相似的像素强度保持热辐射信息，利用最小化泛函/>约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理的外观信息。
S2、使用TNO_Image_Fusion_Dataset数据集中的配准好的红外图像u和可见光图像v，输入到基于变分原理的图像融合模型中。
S3、使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q*，具体求解过程如下：
S301、为了方便计算，引入两个变量q和p，定义q＝s-v，将图像融合模型看做是带有约束/>的约束优化问题，具体公式为：
S302、使用增广拉格朗日泛函将约束优化问题转化为无约束优化问题，具体公式为：
其中，γ1＝0.5是惩罚参数，是拉格朗日乘子，Ω＝{(i,j)|1≤i≤M,1≤j≤N}是离散化的图像区域。
S303、基于最优化理论，为了找到图像融合模型的最优解，需要找到拉格朗日泛函的鞍点。
初始化p0＝0和/>此时q子问题具体公式为：
由于q子问题没有封闭的极小值解，因此采用欧拉-拉格朗日方程得到其极小值解：如图3所示，在拉普拉斯卷积核△含有的矩阵中，-4是矩阵中心位置元素，在-4的左侧和上方划线将矩阵分为四个部分，即左上、右上、左下和右下；假设图像大小为(dataW，dataH)，将拉普拉斯卷积核从大小(3，3)扩展到图像大小(dataW，dataH)；将拉普拉斯卷积核中的左上、右上、左下和右下四部分的元素按顺时针顺序摆放在扩展的拉普拉斯卷积核中，其中中心位置元素-4摆放在扩展的拉普拉斯卷积核的第一行第一列的位置；其余位置元素填充为0。为了使得基于傅里叶的卷积满足Neumann边界条件，如图4所示，图像需要在右侧和下方两个维度上从(dataW，dataH)的大小扩展和填充到(fftW，fftH)，其中fftW＝dataW+2，fftH＝dataH+2，W1＝kernelX1，W2＝kernelW1-kernelX1-1，H1＝kernelY1，H2＝kernelW1-kernelY1-1。因此q子问题极小值点的具体公式为：
(λ+α)q-γ1△q＝B
其中
S304、更新qk：
其中，是二维傅里叶变换函数，/>是扩展的拉普拉斯卷积核，qk是更新的第k步的q。B在每个网格节点上的值的表示为：
其中，是第k-1步的变量p的第一个分量和第二个分量，/>是第k-1步的拉格朗日乘子λ1的第一个分量和第二个分量。/>分别是带有Neumann边界条件的向后、向前微分算子，具体公式为：
其中，h是网格尺寸，大小为0.01；(i,j)是离散化的图像区域Ω＝{(i,j)|1≤i≤M,1≤j≤N}中的网格节点；q(i-1,j)、q(i,j)、q(i+1,j)、q(i,j-1)、q(i,j+1)是对应网格节点上的q函数值，拉普拉斯算子为：
S305、p子问题具体公式为：
采用逐点积分方法求得上述子问题的封闭形式的极小值点。
S306、更新pk：
其中，pk是第k步的p，记/>即更新为：
其中，和/>
S307、更新
其中，是第k步的变量p的第一个分量和第二个分量，/>是第k步的拉格朗日乘子λ1的第一个分量和第二个分量。
S308、重复步骤S303至S307，直到此时对应的第k步的qk即为拉格朗日泛函/>的近似鞍点q*。
S4、结果归一化与保存：通过关系式s*＝q*+v得到融合图像s*，并将s*的范围归一化为[0,1]，能改善融合图像的视觉效果，即为最终的融合图像，输出保存。
采用多种图像融合评价指标综合对实施例得到的融合图像及其他对比方法输出的融合图像进行了对比评估。利用熵(EN)评价融合图像中的细节信息，利用标准差(SD)评价图像的对比度特性，利用空间频率(SF)评价图像的边缘信息，利用边缘保持度(QAB/F)评价从源图像到融合图像的边缘保持程度。通过表1的结果比较可见本发明综合结果最好，在指标值中表现突出，同时视觉效果也最好。
表1多种得到融合图像的方法性能比较
本发明中这一项的设计是为了保留可见光图像中的梯度信息和像素强度信息，这是因为可见光图像中通常含有丰富的纹理细节信息，同时势函数/>的独特设计是为了改善图像中的阶梯效应(特别是当可将光图像中含有噪声时，通常会在融合图像灰度梯度较小区域产生阶梯效应)和保持图像对比度(特别是保持图像中尖锐的边缘信息)。本发明中/>项的设计是为了保留红外图像中的热辐射信息，而热辐射信息通常以像素强度为特征。所以只要求得模型近似解就可以达到本发明所需的效果。
本发明采用增广拉格朗日方法对图像融合模型进行求解，可以验证该方法收敛到图像融合模型的鞍点，并且使用快速傅里叶变换方法和逐点积分方法求解两个子问题速度很快，但也可以采用其他方法求解子问题或者模型。
本发明实施例还提出一种基于变分原理的红外与可见光图像融合系统，包括图像融合模型构建模块、模型求解模块、融合图像输出模块及可在处理器上运行的计算机程序。需要说明的是，上述系统中的各个模块对应本发明实施例所提供的方法的具体步骤，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前文所述的基于变分原理的红外与可见光图像融合方法的步骤。
本发明实施例还提出一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，所述计算机程序被处理器运行时执行前文所述的基于变分原理的红外与可见光图像融合方法的步骤。
尽管上面示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。任何根据本发明的技术构思所做出的各种其他相应的改变和变型，均应包含在本发明权利要求的保护范围内。
Claims (7)
1.一种基于变分原理的红外与可见光图像融合方法，其特征在于，包括：
S1、构建基于变分原理的图像融合模型；
S2、准备数据集，将配准好的红外图像u和可见光图像v输入到基于变分原理的图像融合模型中；
S3、使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q*；
S4、通过关系式s*＝q*+v得到融合图像s*，并将s*的范围归一化为[0,1]，即为最终的融合图像，输出保存。
2.根据权利要求1所述的基于变分原理的红外与可见光图像融合方法，其特征在于，步骤S1中，构建基于变分原理的图像融合模型的具体内容为：
势函数φa的具体公式为：
其中，x是积分变量，其积分区域为Ω；a>0，|x|≤a表示s-v的梯度较小区域，|x|>a表示s-v的梯度较大的区域；
在的区域中，利用Tikhonov正则化对s-v施加比总变分增长率更高的正则性；在/>的区域中，正则化子的增长率低于全变差/>的增长率；
得到基于变分原理的图像融合模型，具体表达为：
其中，s表示融合图像，α和λ是非负参数，u表示红外图像，v表示可见光图像，s*是最终的融合图像；
利用最小化泛函约束融合图像与红外图像相似的像素强度保持热辐射信息，利用最小化泛函/>约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理的外观信息。
3.根据权利要求1所述的基于变分原理的红外与可见光图像融合方法，其特征在于，步骤S3中，具体求解过程如下：
S301、引入两个变量q和p，定义q＝s-v，将图像融合模型看做是带有约束的约束优化问题，具体公式为：
S302、使用增广拉格朗日泛函将约束优化问题转化为无约束优化问题，具体公式为：
其中，γ1>0是惩罚参数，是拉格朗日乘子，Ω＝{(i,j)|1≤i≤M,1≤j≤N}是离散化的图像区域；
S303、初始化p0＝0和/>此时q子问题具体公式为：
采用欧拉-拉格朗日方程得到其极小值解：在拉普拉斯卷积核△含有的矩阵中，-4是矩阵中心位置元素，在-4的左侧和上方划线将矩阵分为四个部分，即左上、右上、左下和右下；设定图像大小为(dataW，dataH)，将拉普拉斯卷积核扩展到图像大小(dataW，dataH)；将拉普拉斯卷积核中的左上、右上、左下和右下四部分的元素按顺时针顺序摆放在扩展的拉普拉斯卷积核中，其中中心位置元素-4摆放在扩展的拉普拉斯卷积核的第一行第一列的位置；其余位置元素填充为0；图像在右侧和下方两个维度上从(dataW，dataH)的大小扩展和填充到(fftW，fftH)，其中fftW＝dataW+2，fftH＝dataH+2；
因此，q子问题极小值点的具体公式为：
(λ+α)q-γ1△q＝B
其中
S304、更新qk：
其中，是二维傅里叶变换函数，/>是扩展的拉普拉斯卷积核，qk是更新的第k步的q；
B在每个网格节点上的值的表示为：
其中，是第k-1步的变量p的第一个分量和第二个分量，/>是第k-1步的拉格朗日乘子λ1的第一个分量和第二个分量；/>分别是带有Neumann边界条件的向后、向前微分算子，具体公式为：
其中，h是网格尺寸，(i,j)是离散化的图像区域Ω中的网格节点，q(i-1,j)、q(i,j)、q(i+1,j)、q(i,j-1)、q(i,j+1)是对应网格节点上的q函数值，拉普拉斯算子为：
S305、p子问题具体公式为：
采用逐点积分方法求得上述子问题的封闭形式的极小值点；
S306、更新pk：
其中，pk是第k步的p，记/>即更新为：
其中，
S307、更新
其中，是第k步的变量p的第一个分量和第二个分量，/>是第k步的拉格朗日乘子λ1的第一个分量和第二个分量；
S308、重复步骤S303至S307，直到此时对应的第k步的qk即为拉格朗日泛函/>的近似鞍点q*。
4.根据权利要求1所述的基于变分原理的红外与可见光图像融合方法，其特征在于，步骤S4中，将s*的范围调整为[0,1]，即将s*的最小值调整为0，最大值调整为1。
5.一种基于变分原理的红外与可见光图像融合系统，其特征在于，包括：
图像融合模型构建模块，用于构建基于变分原理的图像融合模型；
模型求解模块，用于利用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q*；
融合图像输出模块，用于通过关系式s*＝q*+v得到融合图像s*，并将s*的范围归一化为[0,1]，即为最终的融合图像，输出保存。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行所述权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310455051.2A CN116485694B (zh) | 2023-04-25 | 2023-04-25 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310455051.2A CN116485694B (zh) | 2023-04-25 | 2023-04-25 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485694A true CN116485694A (zh) | 2023-07-25 |
| CN116485694B CN116485694B (zh) | 2023-11-07 |
Family
ID=87220965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310455051.2A Active CN116485694B (zh) | 2023-04-25 | 2023-04-25 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485694B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056377A (zh) * | 2023-10-09 | 2023-11-14 | 长沙军顺航博科技有限公司 | 一种基于图论的红外图像处理方法、系统及存储介质 |
| CN117315428A (zh) * | 2023-10-30 | 2023-12-29 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
| CN107945145A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于梯度置信变分模型的红外图像融合增强方法 |
| CN109215006A (zh) * | 2018-09-11 | 2019-01-15 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性总变分模型与*2-范数优化的图像融合方法 |
| CN110084748A (zh) * | 2019-03-26 | 2019-08-02 | 温州晶彩光电有限公司 | 一种基于整体变分的红外和可见光图像融合方法 |
| CN110349117A (zh) * | 2019-06-28 | 2019-10-18 | 重庆工商大学 | 一种红外图像与可见光图像融合方法、装置及存储介质 |
| CN111161199A (zh) * | 2019-12-13 | 2020-05-15 | 中国地质大学（武汉） | 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法 |
| CN112102216A (zh) * | 2020-09-15 | 2020-12-18 | 南京邮电大学 | 自适应权重的全变差图像融合方法 |
| US20210319534A1 (en) * | 2020-04-08 | 2021-10-14 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Blind Multi-Spectral Image Fusion |
| CN114119983A (zh) * | 2021-11-19 | 2022-03-01 | 中北大学 | 基于侧窗滤波和多尺度变换的红外与可见光图像同步融合降噪方法 |
| CN114648475A (zh) * | 2022-03-14 | 2022-06-21 | 泰山学院 | 基于低秩稀疏表示的红外与可见光图像融合方法和系统 |
-
2023
- 2023-04-25 CN CN202310455051.2A patent/CN116485694B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
| CN107945145A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于梯度置信变分模型的红外图像融合增强方法 |
| CN109215006A (zh) * | 2018-09-11 | 2019-01-15 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性总变分模型与*2-范数优化的图像融合方法 |
| CN110084748A (zh) * | 2019-03-26 | 2019-08-02 | 温州晶彩光电有限公司 | 一种基于整体变分的红外和可见光图像融合方法 |
| CN110349117A (zh) * | 2019-06-28 | 2019-10-18 | 重庆工商大学 | 一种红外图像与可见光图像融合方法、装置及存储介质 |
| CN111161199A (zh) * | 2019-12-13 | 2020-05-15 | 中国地质大学（武汉） | 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法 |
| US20210319534A1 (en) * | 2020-04-08 | 2021-10-14 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Blind Multi-Spectral Image Fusion |
| CN112102216A (zh) * | 2020-09-15 | 2020-12-18 | 南京邮电大学 | 自适应权重的全变差图像融合方法 |
| CN114119983A (zh) * | 2021-11-19 | 2022-03-01 | 中北大学 | 基于侧窗滤波和多尺度变换的红外与可见光图像同步融合降噪方法 |
| CN114648475A (zh) * | 2022-03-14 | 2022-06-21 | 泰山学院 | 基于低秩稀疏表示的红外与可见光图像融合方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| HANQI GUO 等: "Infrared and visible image fusion based on total variation and augmented Lagrangian", 《JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A》, vol. 34, no. 11, pages 1961 - 1968 * |
| YONG MA 等: "Infraredandvisibleimagefusionusingtotalvariationmodel", 《NEUROCOMPUTING》, pages 12 * |
| YONG YANG 等: "Infrared and Visible Image Fusion Using Visual Saliency Sparse Representation and Detail Injection Model", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, pages 1 - 15 * |
| 汪婷婷: "遥感图像信息融合研究", 《中国优秀博士学位论文全文数据库 工程科技Ⅱ辑》, pages 028 - 14 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056377A (zh) * | 2023-10-09 | 2023-11-14 | 长沙军顺航博科技有限公司 | 一种基于图论的红外图像处理方法、系统及存储介质 |
| CN117056377B (zh) * | 2023-10-09 | 2023-12-26 | 长沙军顺航博科技有限公司 | 一种基于图论的红外图像处理方法、系统及存储介质 |
| CN117315428A (zh) * | 2023-10-30 | 2023-12-29 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
| CN117315428B (zh) * | 2023-10-30 | 2024-04-05 | 燕山大学 | 一种跨模态特征对齐融合的人群计数系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485694B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116485694B (zh) | 一种基于变分原理的红外与可见光图像融合方法、系统 | |
| Liu et al. | Image fusion based on complex-shearlet domain with guided filtering | |
| CN107748895B (zh) | 基于dct-cnn模型的无人机着陆地貌图像分类方法 | |
| Cottet et al. | A Volterra type model for image processing | |
| Matakos et al. | Accelerated edge-preserving image restoration without boundary artifacts | |
| CN105493140B (zh) | 图像去模糊方法及系统 | |
| Gilboa et al. | Estimation of optimal PDE-based denoising in the SNR sense | |
| US9501852B2 (en) | Method and apparatus for image fusion | |
| CN104835130A (zh) | 一种多曝光图像融合方法 | |
| CN110210524B (zh) | 一种图像增强模型的训练方法、图像增强方法及装置 | |
| CN106920220A (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| CN103907109B9 (zh) | 为图像处理目的用滤波器应用卷积的快速数值逼近 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN109285133A (zh) | 一种细节增强的遥感图像数据时空谱一体化融合方法 | |
| Gilboa | Nonlinear eigenproblems in image processing and computer vision | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| Dou et al. | Image smoothing via truncated total variation | |
| CN115115556A (zh) | 一种基于域变换滤波器与稀疏表示的图像融合方法及系统 | |
| Wang et al. | Structure–texture image decomposition via non-convex total generalized variation and convolutional sparse coding | |
| Li et al. | Deep algorithm unrolling for biomedical imaging | |
| Liu et al. | Elastica models for color image regularization | |
| Asha et al. | Optimized dynamic stochastic resonance framework for enhancement of structural details of satellite images | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
| CN113706407A (zh) | 基于分离表征的红外可见光图像融合方法 | |
| CN109859111A (zh) | 一种基于map方法的单幅图像盲去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |