CN111667516A - 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法 - Google Patents

基于拉普拉斯金字塔分解结构的红外偏振信息融合方法 Download PDF

Info

Publication number
CN111667516A
CN111667516A CN202010506418.5A CN202010506418A CN111667516A CN 111667516 A CN111667516 A CN 111667516A CN 202010506418 A CN202010506418 A CN 202010506418A CN 111667516 A CN111667516 A CN 111667516A
Authority
CN
China
Prior art keywords
polarization information
infrared polarization
band
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010506418.5A
Other languages
English (en)
Inventor
陈伟力
王淑华
徐文斌
修鹏
陈艳
李军伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202010506418.5A priority Critical patent/CN111667516A/zh
Publication of CN111667516A publication Critical patent/CN111667516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法、装置、设备、系统和计算机可存储介质，其中方法包括以下步骤：获取不同波段的红外偏振信息图像并进行配准；对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像；基于融合图像进行目标识别。本发明针对目标表面红外偏振信息在中、长波段特征差异，通过基于拉普拉斯金字塔分解结构方法融合中、长波段红外偏振度图像，融合后图像的高频细节等轮廓特征突出，可以提高目标探测识别的准确性。

Description

基于拉普拉斯金字塔分解结构的红外偏振信息融合方法
技术领域
本发明涉及偏振信息图像融合领域，尤其涉及一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法、装置、设备、系统和计算机可读存储介质。
背景技术
红外偏振图像主要通过目标的轮廓、边缘等细节特征来提高目标探测能力。由理论分析及试验可知，目标表面红外偏振特性与探测波长相关，不是固定值。典型目标表面红偏振特征在中、长波波段通常并不相同，且由于中波波段红外偏振信息特征受周围环境辐射影响较大，所以目标表面中波红外偏振特征通常并不明显。鉴于目标表面红外偏振特征在中、长波波段的差异性，为了提高基于目标边缘轮廓偏振特征的识别准确性，需要研究中、长波红外偏振信息融合方法。
根据红外偏振信息图像的特征，融合图像不仅应保留红外图像的低频特性，且应突出偏振图像中的景物边缘、轮廓等细节信息(多表现为高频特征)，以实现融合图像对目标探测和识别能力的提升。因此，亟待提供一种红外偏振信息融合方法，能够有效提高基于目标表面红外偏振轮廓特征的目标识别探测的准确度。
发明内容
本发明要解决的技术问题在于，针对现有技术中存在的上述一个或多个缺陷，提供一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法、装置、设备、系统和计算机可读存储介质，提高了基于目标表面红外偏振轮廓特征的目标识别探测的准确度。
为了解决上述技术问题，本发明第一方面提供了一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，该方法包括以下步骤：
获取不同波段的红外偏振信息图像并进行配准；所述不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像；
对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像；
基于融合图像进行目标识别。
在根据本发明所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法中，优选地，所述采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数，其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure BDA0002526701720000021
式中，m,n为子带图像坐标位置，设I为带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。
在根据本发明所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法中，优选地，所述获取不同波段的红外偏振信息图像并进行配准，包括：
对红外偏振信息图像进行边缘提取，分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；
基于提取的边缘线性特征进行自相关计算，根据峰值出现位置确认当前波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整，实现不同波段的红外偏振信息图像的配准。
在根据本发明所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法中，优选地，所述对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，包括：
基于红外偏振信息图像计算高斯金字塔G0,G1,...,GN；
将图像高斯金字塔Gk-1的行列进行如下插值膨胀得到新图像Ek：
Figure BDA0002526701720000031
公式中floor为向下取整函数，k为高斯金字塔分解层数，i、j为膨胀后新图像的水平及垂直像素值，m为高斯卷积内核数；
计算Gk与Ek的差值得到带通子带图像LPk，由此获得多个带通子带图像构成的金字塔LP1,...,LPN。
本发明第二方面，提供了一种基于拉普拉斯金字塔分解结构的红外偏振信息融合装置，包括：
图像配准单元，获取不同波段的红外偏振信息图像并进行配准；所述不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像；
图像融合单元，用于对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像；
目标识别单元，用于基于融合图像进行目标识别。
在根据本发明所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置中，优选地，所述图像融合单元采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数，其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure BDA0002526701720000041
式中，m,n为子带图像坐标位置，设I为带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。
在根据本发明所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置中，优选地，所述图像配准单元通过以下方式进行配准：
对红外偏振信息图像进行边缘提取，分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；
基于提取的边缘线性特征进行自相关计算，根据峰值出现位置确认当前波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整，实现不同波段的红外偏振信息图像的配准。
本发明第三方面，提供了一种基于拉普拉斯金字塔分解结构的红外偏振信息融合设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序，当计算机程序被处理器执行时实现如前所述的方法。
本发明第四方面，提供了一种基于拉普拉斯金字塔分解结构的红外偏振信息融合系统，包括如前所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合设备以及与之连接的至少两个红外偏振成像测量装置。
本发明第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如前所述的方法。
实施本发明的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法、装置、设备、系统和计算机可读存储介质，具有以下有益效果：本发明针对目标表面红外偏振信息在中、长波段特征差异，通过基于拉普拉斯金字塔分解结构方法融合中、长波段红外偏振度图像，融合后图像的高频细节等轮廓特征突出，可以提高目标探测识别的准确性。
附图说明
图1a和图1b分别为红外标准板在中波波段和长波波段的红外偏振信息图像；
图2为根据本发明优选实施例的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法的流程图；
图3a和图3b为根据本发明的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法得到的融合图像；
图4为根据本发明优选实施例的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置的模块框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明先对目标材质红外偏振信息差异性进行了以下分析：
对于不透明的辐射目标，其表面的辐射主要由背景反射和自身辐射组成。根据红外偏振成像辐射传输模型可知，对于不透明的辐射物体其入射到偏振器件前的Stokes矢量Sin表示为：
Sin＝Sr+Se＝∫f(θi,φi,θr,φr,λ)cos(θr)dΩr·Si+εsurf·Iobj (1)
式中Sr为目标反射Stokes矢量，Se为目标自身辐射Stokes矢量，θi为入射天顶角，θr为反射天顶角，φi为入射方位角，φr为反射方位角，λ为探测波长，f(θi,φi,θr,φr,λ)为双向反射分布函数(BRDF)，εsurf为材料表面发射率，Iobj为目标辐射强度，dΩi为入射立体角。用菲涅耳反射Muller矩阵及基于微面元理论的BRDF模型来表示入射辐射到反射辐射的传输关系，根据入射界面的Stokes矢量Si，可得反射的Stokes矢量Sr可表示为：
Figure BDA0002526701720000061
其中
Figure BDA0002526701720000062
分别表示反射Stokes参量，
Figure BDA0002526701720000063
分别表示入射Stokes参量，参量S0与入射光强相关；S1与0°和90°方向的线偏振信息相关；S2与45°和135°方向的线偏振信息相关；S3与左旋及右旋的圆偏振信息相关，f00、f01、f02、f03、f10、f11、f12、f13、f20、f21、f22、f23、f30、f31、f32、f33为由标量BRDF函数与4×4的Muller矩阵M作用后得到偏振化BRDF模型的对应值。
对于不透明的辐射目标表面，通常红外偏振成像接收的辐射包括场景的辐射和对其它辐射源的反射，则目标表面总的辐射亮度可以表示为：
Ltol＝Le+Lr＝LB·εsurf+∫f(θi,φi,θr,φr,λ)·L(θi,φiλ)cos(θi)dΩi (3)
其中，Le为目标自身辐射亮度，Lr为目标表面反射辐射亮度，LB为与目标的光谱辐射亮度对应的黑体辐射亮度，L(θi,φi,λ)为入射辐射亮度。
由于入射辐射是与表面同温度的热辐射，故总辐射就是相同温度下的黑体辐射，即
LB·ε0＝LB·εsurf+∫f(θi,φi,θr,φr,λ)×LB·ε0cos(θi)dΩi (4)
其中ε0为黑体辐射率矢量，ε0＝(1,0,0,0)T。
由式(4)可得出目标材质表面偏振辐射发射率的表达式为：
Figure BDA0002526701720000071
由此可知，目标材质表面自身辐射的Stokes矢量Se可以表示为：Se＝εsurf·Iobj，其中Iobj为目标的辐射强度。则式(1)可表示为：
Figure BDA0002526701720000072
其中S0、S1、S2和S3表示Stokes参量S0图像、S1图像、S2图像和S3图像。Ibg为背景辐射强度。
由(6)式及偏振度定义可推导得出基于红外辐射偏振传输模型的偏振度计算表达式为：
Figure BDA0002526701720000073
由式(7)可知，目标材质表面的红外偏振度特征与探测波长密切相关。
请参阅图1a和图1b，分别为红外标准板在中波波段和长波波段的红外偏振信息图像。由图可知：红外标准板的边缘及测试支撑台的边缘轮廓等细节信息在中波红外偏振信息图像和长波红外偏振信息图像中差异比较明显。其中图1b中红外标准板边缘轮廓的长波红外偏振特征较图1a中波红外偏振特征清晰，而1a中测试支撑台的边缘轮廓的中波红外偏振特征比图1b中长波红外偏振特征清晰。考虑到目标边缘轮廓等细节信息在中、长波波段的差异性，为了增强目标场景的可探测识别特性，需将中长波的偏振特征进行融合，以在同一图像中呈现目标的红外偏振特征信息，为目标探测识别提供新方法。
因此，本发明提出一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，以提高基于目标表面红外偏振轮廓特征的目标识别探测的准确度。
请参阅图2，为根据本发明优选实施例的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法的流程图。如图2所示，该实施例提供基于拉普拉斯金字塔分解结构的红外偏振信息融合方法包括以下步骤：
首先，在步骤S1中，执行图像配准步骤，获取不同波段的红外偏振信息图像并进行配准。该不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像。所述中波的波长为3-5μm；长波的波长为8-12μm。
由于在红外偏振成像试验过程中，由于使用设备差异或中、长波红外偏振成像试验过程中产生移动偏振等会导致中、长波红外偏振信息在图像表征上产生偏移，所以需要对中波红外偏振信息图像和长波红外偏振信息图像进行配准。鉴于红外偏振信息图像可凸显目标边缘轮廓特征的特点，红外偏振信息图像配准采用图像特征定锚的方法进行配准。优选地，该步骤S1包括以下具体步骤：
(1)对红外偏振信息图像进行边缘提取，即分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
(2)对不同波段的红外偏振信息图像中红外偏振特征求解，以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；例如，以中波红外偏振信息图像为基准对长波红外偏振信息图像进行校正，或者以长波红外偏振信息图像为基准对中波红外偏振信息图像进行校正。
(3)基于不同波段的红外偏振信息图像中边缘线性特征进行自相关计算，以当前波段的中波红外偏振信息图像为基准，根据自相关计算的峰值出现位置确认另一波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整。例如，以中波红外偏振信息图像为基准对长波红外偏振信息图像进行平移调制，或者以长波红外偏振信息图像为基准对中波红外偏振信息图像进行平移调制。
随后，在步骤S2中，执行图像融合步骤，对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像。其中采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数。
具体地，该步骤中对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像的步骤包括：
基于红外偏振信息图像计算高斯金字塔G0,G1,...,GN；N为高斯金字塔层数；
将图像高斯金字塔Gk-1的行列进行如下插值膨胀得到新图像Ek：
Figure BDA0002526701720000091
公式中floor为向下取整函数，k为高斯金字塔分解层数，i、j为膨胀后新图像的水平及垂直像素值，m为高斯卷积内核数；
计算Gk与Ek的差值得到带通子带图像LPk，由此获得多个带通子带图像构成的金字塔LP1,...,LPN，其中k＝1,…，N。
本发明基于拉普拉斯金字塔分解结构的图像融合方法主要通过对比高斯金字塔G0,G1,...,GN相邻两层间的差异，通过上述方法得到的表示不同分辨率下显著信息的带通子带图像构成的金字塔LP1,...,LPN。
由此，中波红外偏振信息图像分解得到了中波的带通子带图像，长波红外偏振信息图像分解得到了长波的带通子带图像。再采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，就可以得到融合图像的带通子带图像，再进行逆运算就可以得到融合图像，即融合的红外偏振信息图像。
根据多分辨率分解的特点，融合策略主要分为带通子带、高通子带的融合与低通子带的融合。在基于金字塔分解的灰度级融合中，为获得尽可能多的信息，通常在高通和带通子带中选取绝对值最大的系数作为合成图像的系数，低通子带则使用线性加权的方法。该方法通常可以提供较好的融合效果，但不适用于具有相近显著性、而灰度变化相反的图像。为了提高融合方法的通用性，本发明在多分辨率分解下采用基于领域匹配的选取规则，以解决“选取最大值”策略带来的问题。
因此，该步骤中其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure BDA0002526701720000101
式中，m,n为子带图像坐标位置，设I为高通子带或带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。，局部能量s(m,n)用于带通子带融合中，以提高融合系数的稳定性和融合后该区域图像的对比度。以提高融合系数的稳定性和融合后该区域图像的对比度。
本发明中定义的局部能量s(m,n)是领域窗口中子带系数的平方和，s(m,n)越大表示原图像对应位置的灰度变化越明显，则显著性也越高。局部能量是邻域窗口内计算的，与“选取最大值”融合策略相比，是一个局域与单点的区别，因此局部能量对图像的显著性表示要比单一像素点的灰度值更加突出；同时，还在一定程度上削弱了噪声的影响，也降低了因区域灰度变化相反又存在纹理特征时融合系数选择的干扰，因此，局部能量又比“选取最大值”更为稳定。
最后，在步骤S3中，执行目标识别步骤，基于融合图像进行目标识别。本发明可以采用本领域基础技术人员熟知并能应用的方法进行目标识别，在此不再赘述。
下面对本发明基于拉普拉斯金字塔分解结构的红外偏振信息融合方法的效果进行验证分析。以图1a和图1b的中波红外偏振信息图像和长波红外偏振信息图像为原图进行融合。图3a和图3b为根据本发明的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法得到的融合图像。其中图3a为以长波红外偏振信息图像为基准图像进行融合，图3b为以中波红外偏振信息图像为基准图像进行融合。表1为通过3种客观评价指标对红外标准板中、长波红外偏振度融合图像的客观评价结果。通过融合数据可知，基于拉普拉斯金字塔多分辨率分解结构的融合图像均值(亮度)、方差均有较大提升；信息熵较中波红外偏振信息图像和长波红外偏振信息图像均有明显提升。由此可知，不论以长波红外偏振信息图像或中波红外偏振信息图像作为融合基础，融合图像的边缘细节均比较丰富，且图像整体较清晰，红外标准板目标的边缘轮廓信息等细节都比较分明，有利于场景的感知与目标的识别。
表1
Figure BDA0002526701720000111
基于同一发明构思，本发明实施例还提供一种基于拉普拉斯金字塔分解结构的红外偏振信息融合装置。请参阅图4，为根据本发明优选实施例的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置的模块框图。如图4所示，该实施例提供的装置400包括：图像配准单元401、图像融合单元402和目标识别单元403。
图像配准单元401，用于获取不同波段的红外偏振信息图像并进行配准。该不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像。
优选地，该图像配准单元401通过以下方式进行配准：
(1)对红外偏振信息图像进行边缘提取，即分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
(2)对不同波段的红外偏振信息图像中红外偏振特征求解，以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；例如，以中波红外偏振信息图像为基准对长波红外偏振信息图像进行校正，或者以长波红外偏振信息图像为基准对中波红外偏振信息图像进行校正。
(3)基于不同波段的红外偏振信息图像中边缘线性特征进行自相关计算，以当前波段的中波红外偏振信息图像为基准，根据自相关计算的峰值出现位置确认另一波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整。例如，以中波红外偏振信息图像为基准对长波红外偏振信息图像进行平移调制，或者以长波红外偏振信息图像为基准对中波红外偏振信息图像进行平移调制。
图像融合单元402，用于对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像。其中采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数。
优选地，图像融合单元402采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量s(m,n)作为合成图像的系数，其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure BDA0002526701720000131
式中，m,n为子带图像坐标位置，设I为带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。
目标识别单元403，用于基于融合图像进行目标识别。
本发明实施例还提供了一种执行基于拉普拉斯金字塔分解结构的红外偏振信息融合方法的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序，当计算机程序被处理器执行时实现如上述实施方式中基于拉普拉斯金字塔分解结构的红外偏振信息融合方法。
本发明实施例提供了一种基于拉普拉斯金字塔分解结构的红外偏振信息融合系统，包括如前所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合设备以及与之连接的至少两个红外偏振成像测量装置。这些红外偏振成像测量装置包括用于采集长波红外辐射图像的红外偏振成像测量装置，以及用于采集中波红外辐射图像的红外偏振成像测量装置。每个红外偏振成像测量装置可以通过旋转偏振片获取旋转偏振方向为0°、45°、90°和135°目标场景的红外辐射图像I0°、I45°、I90°、I135°，再分别计算得到中波红外偏振信息图像和长波红外偏振信息图像。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如上述实施方式中基于拉普拉斯金字塔分解结构的红外偏振信息融合方法。
本发明通过理论分析验证了探测波长与红外偏振特征之间的关联性，由于周围环境对中波波段范围影响较大，故目标表面的中波红外线偏振度特征低于长波红外线偏振度特征。因此，本发明方法主要针对目标表面在中、长波波段范围红外偏振特性的差异规律，研究分析了中、长波红外偏振信息融合方法，得出基于拉普拉斯金字塔分解结构的偏振信息融合图像较中、长波红外偏振信息图像更凸现目标边缘的轮廓特征。
应该理解地是，本发明中基于拉普拉斯金字塔分解结构的红外偏振信息融合方法及装置的原理相同，因此对基于拉普拉斯金字塔分解结构的红外偏振信息融合方法的实施例的详细阐述也适用于基于拉普拉斯金字塔分解结构的红外偏振信息融合装置。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，其特征在于，该方法包括以下步骤：
获取不同波段的红外偏振信息图像并进行配准；所述不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像；
对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像；
基于融合图像进行目标识别。
2.根据权利要求1所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，其特征在于，所述采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数，其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure FDA0002526701710000011
式中，m,n为子带图像坐标位置，设I为带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。
3.根据权利要求1或2所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，其特征在于，所述获取不同波段的红外偏振信息图像并进行配准，包括：
对红外偏振信息图像进行边缘提取，分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；
基于提取的边缘线性特征进行自相关计算，根据峰值出现位置确认当前波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整，实现不同波段的红外偏振信息图像的配准。
4.根据权利要求3所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合方法，其特征在于，所述对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，包括：
基于红外偏振信息图像计算高斯金字塔G0,G1,...,GN；
将图像高斯金字塔Gk-1的行列进行如下插值膨胀得到新图像Ek：
Figure FDA0002526701710000021
公式中floor为向下取整函数，k为高斯金字塔分解层数，i、j为膨胀后新图像的水平及垂直像素值，m为高斯卷积内核数；
计算Gk与Ek的差值得到带通子带图像LPk，由此获得多个带通子带图像构成的金字塔LP1,...,LPN。
5.一种基于拉普拉斯金字塔分解结构的红外偏振信息融合装置，其特征在于，包括：
图像配准单元，获取不同波段的红外偏振信息图像并进行配准；所述不同波段的红外偏振信息图像包括中波红外偏振信息图像和长波红外偏振信息图像；
图像融合单元，用于对配准后的不同波段的红外偏振信息图像分别进行拉普拉斯金字塔分解得到带通子带图像，并采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合，得到融合图像；
目标识别单元，用于基于融合图像进行目标识别。
6.根据权利要求5所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置，其特征在于，所述图像融合单元采用领域匹配的方法将中波红外偏振信息图像和长波红外偏振信息图像分解得到的对应频带的带通子带图像进行融合时，选取领域窗口内的局部能量作为合成图像的系数，其中定义领域窗口(2M'+1)×(2N'+1)内的局部能量s(m,n)为：
Figure FDA0002526701710000031
式中，m,n为子带图像坐标位置，设I为带通子带的系数，m'∈{-M',-M'+1,...,M'-1,M'}，n'∈{-N',-N'+1,...,N'-1,N'}，M'、N'分别为定义领域窗口选取值。
7.根据权利要求5或6所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合装置，其特征在于，所述图像配准单元通过以下方式进行配准：
对红外偏振信息图像进行边缘提取，分别提取长波红外偏振信息图像和中波红外偏振信息图像中目标的边缘线性特征；
以当前波段的红外偏振信息图像为基准，求解另一波段的红外偏振信息图像的偏转角度和二维缩放比例，并根据该偏转角度和二维缩放比例对另一波段的长波红外偏振信息图像进行校正；
基于提取的边缘线性特征进行自相关计算，根据峰值出现位置确认当前波段的红外偏振信息图像的二维偏移量，根据该二维偏移量对另一波段的红外偏振信息图像进行平移调整，实现不同波段的红外偏振信息图像的配准。
8.一种基于拉普拉斯金字塔分解结构的红外偏振信息融合设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～4中任一项所述的方法。
9.一种基于拉普拉斯金字塔分解结构的红外偏振信息融合系统，其特征在于，包括权利要求8所述的基于拉普拉斯金字塔分解结构的红外偏振信息融合设备以及与之连接的至少两个红外偏振成像测量装置。
10.一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如权利要求1～4中任一项所述的方法。
CN202010506418.5A 2020-06-05 2020-06-05 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法 Pending CN111667516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010506418.5A CN111667516A (zh) 2020-06-05 2020-06-05 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010506418.5A CN111667516A (zh) 2020-06-05 2020-06-05 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法

Publications (1)

Publication Number Publication Date
CN111667516A true CN111667516A (zh) 2020-09-15

Family

ID=72386519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010506418.5A Pending CN111667516A (zh) 2020-06-05 2020-06-05 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法

Country Status (1)

Country Link
CN (1) CN111667516A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614082A (zh) * 2020-12-17 2021-04-06 北京工业大学 一种海上中长波红外图像融合方法
CN112837335A (zh) * 2021-01-27 2021-05-25 上海航天控制技术研究所 一种中长波红外复合的抗干扰方法
CN112837312A (zh) * 2021-03-03 2021-05-25 中山大学 一种提高偏振红外热成像仪图像质量的方法及系统
CN112950519A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN113506330A (zh) * 2021-07-29 2021-10-15 北京环境特性研究所 基于多尺度变换的不同波段偏振角图像融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578091A (zh) * 2013-10-10 2014-02-12 中国科学院上海技术物理研究所 一种基于拉普拉斯金字塔的红外偏振图像融合方法
CN104376546A (zh) * 2014-10-27 2015-02-25 北京环境特性研究所 基于dm642的三路图像金字塔融合算法的实现方法
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN108154493A (zh) * 2017-11-23 2018-06-12 南京理工大学 一种基于fpga的双波段红外图像伪彩融合算法
CN108492274A (zh) * 2018-04-03 2018-09-04 中国人民解放军国防科技大学 一种长波红外偏振特征提取与融合的图像增强方法
CN109670522A (zh) * 2018-09-26 2019-04-23 天津工业大学 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578091A (zh) * 2013-10-10 2014-02-12 中国科学院上海技术物理研究所 一种基于拉普拉斯金字塔的红外偏振图像融合方法
CN104376546A (zh) * 2014-10-27 2015-02-25 北京环境特性研究所 基于dm642的三路图像金字塔融合算法的实现方法
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN108154493A (zh) * 2017-11-23 2018-06-12 南京理工大学 一种基于fpga的双波段红外图像伪彩融合算法
CN108492274A (zh) * 2018-04-03 2018-09-04 中国人民解放军国防科技大学 一种长波红外偏振特征提取与融合的图像增强方法
CN109670522A (zh) * 2018-09-26 2019-04-23 天津工业大学 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
吴少迟: "基于FPGA的双波段红外图像融合实时处理系统" *
张润琦;杨波;夏丽昆;赵灿兵;苏俊波;: "弱环境辐射下中短波双波段红外图像融合方法" *
曲锋;刘英;王健;董科研;刘建卓;郭帮辉;孙强;: "红外双波段图像实时融合系统" *
杨扬;戴明;周箩鱼;: "基于均匀离散曲波变换的多聚焦图像融合" *
杨风暴;赵艳霞;吉琳娜;刘英杰;董安然;: "基于局部能量匹配的红外偏振图像融合" *
牛继勇;岳振;徐永贵;: "基于拉普拉斯金字塔的红外光强与偏振图像融合" *
陈伟力;王霞;金伟其;李福文;: "基于小波包变换的中波红外偏振图像融合研究" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614082A (zh) * 2020-12-17 2021-04-06 北京工业大学 一种海上中长波红外图像融合方法
CN112837335A (zh) * 2021-01-27 2021-05-25 上海航天控制技术研究所 一种中长波红外复合的抗干扰方法
CN112837312A (zh) * 2021-03-03 2021-05-25 中山大学 一种提高偏振红外热成像仪图像质量的方法及系统
CN112837312B (zh) * 2021-03-03 2023-09-15 中山大学 一种提高偏振红外热成像仪图像质量的方法及系统
CN112950519A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN112950519B (zh) * 2021-03-19 2022-03-15 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN113506330A (zh) * 2021-07-29 2021-10-15 北京环境特性研究所 基于多尺度变换的不同波段偏振角图像融合方法

Similar Documents

Publication Publication Date Title
CN111667516A (zh) 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法
CN108492274B (zh) 一种长波红外偏振特征提取与融合的图像增强方法
Wang et al. A comparative analysis of image fusion methods
Hao et al. Comparative studies on multispectral palm image fusion for biometrics
CN108765359B (zh) 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法
Yang et al. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules
CN105139367A (zh) 一种基于非下采样剪切波的可见光偏振图像融合方法
AU2011242408B2 (en) Shape and photometric invariants recovery from polarisation images
Gangapure et al. Steerable local frequency based multispectral multifocus image fusion
Yusuf et al. Spectral information analysis of image fusion data for remote sensing applications
CN109191416A (zh) 基于稀疏字典学习和剪切波的图像融合方法
Zhang et al. Salient region detection in remote sensing images based on color information content
CN111667517A (zh) 基于小波包变换的红外偏振信息融合方法和装置
CN111667519B (zh) 一种不同视场偏振图像配准方法和装置
Yuan et al. Polarization image texture feature extraction algorithm based on CS-LBP operator
Kaur et al. A comparative study of various digital image fusion techniques: A review
RU2630744C2 (ru) Способ обнаружения периодических текстур
CN113506330A (zh) 基于多尺度变换的不同波段偏振角图像融合方法
KR101928393B1 (ko) 적외선 영상과 레이더 영상의 융합방법 및 장치
CN110865391A (zh) 用于目标增强的毫米波太赫兹多极化成像方法及成像系统
CN110927739B (zh) 用于轮廓标记的毫米波太赫兹多极化成像方法及成像系统
Zhao et al. Assessment of SPOT-6 optical remote sensing data against GF-1 using NNDiffuse image fusion algorithm
Du et al. Hyperspectral and high-resolution image fusion based on second generation Bandelet transform
Zhao Research on multiband packet fusion algorithm for hyperspectral remote sensing images
Adler-Golden et al. Atmospheric correction of commercial thermal infrared hyperspectral imagery using FLAASH-IR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915