CN114418913B - 一种基于小波变换的isar与红外图像像素级融合方法 - Google Patents

一种基于小波变换的isar与红外图像像素级融合方法 Download PDF

Info

Publication number
CN114418913B
CN114418913B CN202210000274.5A CN202210000274A CN114418913B CN 114418913 B CN114418913 B CN 114418913B CN 202210000274 A CN202210000274 A CN 202210000274A CN 114418913 B CN114418913 B CN 114418913B
Authority
CN
China
Prior art keywords
image
isar
infrared image
infrared
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210000274.5A
Other languages
English (en)
Other versions
CN114418913A (zh
Inventor
刘美云
唐晨
李富强
张亮
谢福超
钱钊
吴蕊
周维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 20 Research Institute
Original Assignee
CETC 20 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 20 Research Institute filed Critical CETC 20 Research Institute
Priority to CN202210000274.5A priority Critical patent/CN114418913B/zh
Publication of CN114418913A publication Critical patent/CN114418913A/zh
Application granted granted Critical
Publication of CN114418913B publication Critical patent/CN114418913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明提供了一种基于小波变换的ISAR与红外图像像素级融合方法，计算图像的信息熵，根据信息熵初选ISAR图像和红外图像，选用相似度大于设定值的初选ISAR图像与红外图像进行判断和补全；将原ISAR图像旋转并缩放，得到的图像主方向和目标尺度均与红外图像相同；基于小波变换提取ISAR图像的目标信息与红外图像叠加进行图像的像素级融合，最终输出融合后的图像。本发明能够实现两类图像的高效、实时融合，得到的融合图像具有较高的清晰度，对空天目标有较好的表示能力，能够扩大目标的搜索视场，实现在远距离时具备提高目标检测和识别精度的能力，在近距离时能够提升目标关键部位(命中点)的定位精度。

Description

一种基于小波变换的ISAR与红外图像像素级融合方法
技术领域
本发明涉及一种ISAR与红外图像融合方法，属于图像融合技术领域。
背景技术
多传感器图像融合是综合来自不同传感器的多源图像信息，通过对多幅图像信息的提取与综合，从而获得对同一场景或目标的更为准确、全面、可靠的图像描述。针对海上舰艇平台空中目标检测与识别，逆合成孔径雷达(ISAR)成像和红外成像是两种比较典型的传感器图像源。ISAR成像是静止的雷达利用运动目标产生的相对运动形成的合成孔径来成像，雷达多固定于地面或装载于舰船上，目标多为非合作目标，是获取空天目标高分辨率图像的有效手段，但是ISAR难以观测获取目标的完备结构；红外图像则对热目标较为敏感，但是获得的图像存在分辨率较低的问题。
像素级图像融合直接在采集到的原始图像上进行，在各种传感器原始数据未经特征提取与分类之前就进行数据的综合与分析，是最低层次上的融合。它获取的信息量最多，检测性能最好，应用范围也最广。像素级多传感器图像融合通过互补信息的有机集成，可以减少或抑制单一信息对被感知对象或环境的解释中可能存在的多义性、不完整性、不确定性和误差，最大限度地利用各种信息源提供的信息，从而大大提高在特征提取、分类、目标识别等方面的有效性。ISAR图像能够反映出目标本身与所处观测环境特征的区别，但无法根据ISAR图像局部结构特点对完备的目标结构进行全面呈现，而红外图像通过感受目标与背景向外辐射能量的差异来成像，可以获得目标较完整的结构信息。因此，将红外和ISAR图像进行像素级融合，能够相互取长补短发挥各自的优势，提高图像的质量，从而改善人们的视觉效果，增加图像中的信息量及可靠性，显现出目标更加全面的特性，为决策者提供更可靠、更准确的分析结果，对于提高目标检测和识别的精度具有重要的意义。
像素级图像融合比较有代表性的是90年代初，贾永红，王野乔，舒宁等人提出的基于HIS，PCA等融合算法；2000年莆恬、倪国强等研究的在多重对比分析模式下的融合算法模型；近年来，运用卷积神经网络来进行图像融合的方法逐渐兴起。目前，大多数的研究人员在针对红外和可见光图像进行融合算法研究，对ISAR图像相关融合研究开展的比较少，对ISAR图像和红外图像融合研究主要集中在决策级融合和识别，对两类图像的像素级融合方法开展的研究很少，而且由于这两类图像特性差异较大，传统的异类图像融合方法无法直接应用。针对空天目标识别，亟需进行ISAR雷达成像与红外成像的图像融合方法研究，以进一步提高目标检测精度和识别精度。
发明内容
为了克服现有技术的不足，本发明提供一种基于小波变换的ISAR与红外图像像素级融合方法，能够实现两类图像的高效、实时融合，得到的融合图像具有较高的清晰度，对空天目标有较好的表示能力，能够扩大目标的搜索视场，实现在远距离时具备提高目标检测和识别精度的能力，在近距离时能够提升目标关键部位(命中点)的定位精度。
本发明解决其技术问题所采用的技术方案包括以下步骤：
1)计算图像的信息熵，将信息熵大于设定阈值H1的ISAR图像作为初选ISAR图像，将信息熵大于设定阈值H2的红外图像时作为初选红外图像；计算初选ISAR图像与红外图像之间的相似度S，当S大于设定值时，获得的图像满足融合条件，进入步骤2)，若相似度不满足条件，则继续等待新的ISAR图像；
2)对ISAR图像进行图像预处理，补全飞机目标的轮廓；对红外图像进行二值化；对红外图像和ISAR图像在每个像素点上进行判断，大于设定阈值则补全，否则不予补全；
3)将ISAR图像旋转，使其与红外图像的主方向相同；分别取ISAR图像与红外图像的最大连通区域，此区域内像素为1的部分认为是目标区域，其他部分认为是背景区域；分别计算ISAR与红外图像的质心坐标；在ISAR与红外图像的最大连通区域内，分别求从质心出发至所有像素为1的点中最长的线段，将长度记为lisar和lir，则缩放比例p＝lisar/lir；将原ISAR图像旋转并缩放p倍，得到的图像ls主方向和目标尺度均与红外图像lr相同；
4)对ISAR图像ls用sym4小波基进行二维两层分解，得到七幅子图像Aisar,Bisar1,Bisar2,Bisar3,Cisar1,Cisar2,Cisar3；对红外图像lr用sym4小波基进行二维两层分解，得到七幅子图像Air,Bir1,Bir2,Bir3,Cir1,Cir2,Cir3；对每一组子图像分别加权融合，融合后的子图像I＝w*Iisar+(1-w)Iir，其中，Iisar，Iir分别表示ISAR和红外图像的子图像，w表示权重系数；对融合后的子图像进行重构，即可得到小波变换的融合结果。
所述的步骤1)中设定阈值H1和设定阈值H2的取值均为0.2。
所述的步骤2)将ISAR图像灰度化，采用闭运算的方法对其进行处理，选择不同类型和大小的结构元素，对闭运算得到的各幅二值图取均值。
所述的步骤2)分别选择80*80和100*100的方形、半径为50的圆形、边长为80的菱形进行处理。
所述的步骤2)设定阈值为0.5。
本发明的有益效果是：搭建了一套ISAR与红外图像的像素级融合框架，并针对这两类图像特性差异大的问题，设计了一种有效的预处理和配准方法，为有效融合提供了基础，最终基于小波变换，对两类图像进行像素级变换融合，使得融合后的图像信息取得了较好增益，为目标的后续检测与识别提供了有效信息。本发明可直接用于搭载ISAR传感器和红外传感器的作战平台对空天目标的高精度检测与识别，也可扩展到其他领域。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明采用的技术方案包括以下步骤：
1.对实时输入的ISAR图像与红外图像进行初选：计算各图像的信息量，若信息量满足各自的阈值，则通过初选进行下一步处理；若不满足，则继续采集图像，直到采集到满足条件的图像。
2.计算经过初选后的ISAR图像与红外图像之间的相似度。
3.若相似度满足一定门限，进行两幅图像的预处理；若不满足，则继续采集图像。
4.对预处理后的图像进行配准，使两张图像中的目标方向、大小保持一致。
5.基于小波变换，提取ISAR图像的目标信息与红外图像进行叠加进行图像的像素级融合，最终输出融合后的图像。
本发明按照以下步骤1)到步骤4)循环运行，如图1所示，直至实时图像输入结束。
步骤1)计算图像的信息熵，当ISAR图像的信息熵大于H1(参考值为0.2)时，红外图像的信息熵大于H2(参考值为0.2)时，分别获得初选图像，然后计算初选ISAR图像与红外图像之间的相似度S，当S大于一定值时，此时获得的图像满足融合条件，若相似度不满足条件，则继续等待新的ISAR图像。
步骤2)获得满足融合条件的ISAR图像和红外图像后，对ISAR图像进行图像预处理，以补全飞机目标的轮廓；对红外图像进行二值化。具体步骤如下：
步骤2.1)将ISAR图像灰度化，采用闭运算的方法对其进行处理，先膨胀再腐蚀，闭运算通常用来填充目标内细小孔洞，连接断开的邻接目标，平滑其边缘，使目标的外形尽量完整。
选择不同类型和大小的结构元素，分别为80*80和100*100的方形、半径为50的圆形、边长为80的菱形进行处理。对闭运算得到的四幅二值图取均值。
步骤2.2)对红外图像和步骤2.1处理后的ISAR图像，在每个像素点上进行判断，设定阈值为0.5，大于阈值则补全，否则不予补全，最终像素值如下：
步骤3)图像配准，具体步骤如下：
将ISAR图像旋转使其与红外图像的主方向相同，取ISAR图像与红外图像的最大连通区域，此区域内像素为1的部分认为是目标区域，除此之外认为是背景区域。计算ISAR与红外图像的质心坐标。在ISAR与红外图像的最大连通区域内，求从上述计算出的图像质心出发至所有像素为1的点中最长的线段，分别将其长度记为lisar和lir，则计算缩放比例如下：
p＝lisar/lir
将原ISAR图像旋转并缩放p倍，得到主方向和目标尺度均相同的两幅图像ls和lr。
步骤4)基于小波变换进行像素级图像融合，并输出融合后图像，具体步骤如下：
对ISAR图像ls用sym4小波基进行二维两层分解，得到七幅子图像Aisar,Bisar1,Bisar2,Bisar3,Cisar1,Cisar2,Cisar3；再对红外图像lr用sym4小波基进行二维两层分解，同样得到七幅子图像Air,Bir1,Bir2,Bir3,Cir1,Cir2,Cir3。对每一组子图像分别加权融合。
I＝w*Iisar+(1-w)Iir
其中，I表示融合后的子图像，Iisar，Iir分别表示ISAR和红外图像的子图像，w表示权重系数，取值范围为0到1。
对融合后的子图像进行重构，即可得到小波变换的融合结果，并对融合结果输出。

Claims (5)

1.一种基于小波变换的ISAR与红外图像像素级融合方法，其特征在于，包括以下步骤：
1)计算图像的信息熵，将信息熵大于设定阈值H1的ISAR图像作为初选ISAR图像，将信息熵大于设定阈值H2的红外图像时作为初选红外图像；计算初选ISAR图像与红外图像之间的相似度S，当S大于设定值时，获得的图像满足融合条件，进入步骤2)，若相似度不满足条件，则继续等待新的ISAR图像；
2)对ISAR图像进行图像预处理，补全飞机目标的轮廓；对红外图像进行二值化；对红外图像和ISAR图像在每个像素点上进行判断，大于设定阈值则补全，否则不予补全；
3)将ISAR图像旋转，使其与红外图像的主方向相同；分别取ISAR图像与红外图像的最大连通区域，此区域内像素为1的部分认为是目标区域，其他部分认为是背景区域；分别计算ISAR与红外图像的质心坐标；在ISAR与红外图像的最大连通区域内，分别求从质心出发至所有像素为1的点中最长的线段，将长度记为lisar和lir，则缩放比例p＝lisar/lir；将原ISAR图像旋转并缩放p倍，得到的图像ls主方向和目标尺度均与红外图像lr相同；
4)对ISAR图像ls用sym4小波基进行二维两层分解，得到七幅子图像Aisar,Bisar1,Bisar2,Bisar3,Cisar1,Cisar2,Cisar3；对红外图像lr用sym4小波基进行二维两层分解，得到七幅子图像Air,Bir1,Bir2,Bir3,Cir1,Cir2,Cir3；对每一组子图像分别加权融合，融合后的子图像I＝w*Iisar+(1-w)Iir，其中，Iisar，Iir分别表示ISAR和红外图像的子图像，w表示权重系数；对融合后的子图像进行重构，即可得到小波变换的融合结果。
2.根据权利要求1所述的基于小波变换的ISAR与红外图像像素级融合方法，其特征在于，所述的步骤1)中设定阈值H1和设定阈值H2的取值均为0.2。
3.根据权利要求1所述的基于小波变换的ISAR与红外图像像素级融合方法，其特征在于，所述的步骤2)将ISAR图像灰度化，采用闭运算的方法对其进行处理，选择不同类型和大小的结构元素，对闭运算得到的各幅二值图取均值。
4.根据权利要求3所述的基于小波变换的ISAR与红外图像像素级融合方法，其特征在于，所述的步骤2)分别选择80*80和100*100的方形、半径为50的圆形、边长为80的菱形进行处理。
5.根据权利要求1所述的基于小波变换的ISAR与红外图像像素级融合方法，其特征在于，所述的步骤2)设定阈值为0.5。
CN202210000274.5A 2022-01-03 2022-01-03 一种基于小波变换的isar与红外图像像素级融合方法 Active CN114418913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210000274.5A CN114418913B (zh) 2022-01-03 2022-01-03 一种基于小波变换的isar与红外图像像素级融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210000274.5A CN114418913B (zh) 2022-01-03 2022-01-03 一种基于小波变换的isar与红外图像像素级融合方法

Publications (2)

Publication Number Publication Date
CN114418913A CN114418913A (zh) 2022-04-29
CN114418913B true CN114418913B (zh) 2024-04-19

Family

ID=81270917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210000274.5A Active CN114418913B (zh) 2022-01-03 2022-01-03 一种基于小波变换的isar与红外图像像素级融合方法

Country Status (1)

Country Link
CN (1) CN114418913B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167956B (zh) * 2023-03-28 2023-11-17 无锡学院 基于非对称多层分解的isar与vis图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816641A (zh) * 2019-01-08 2019-05-28 西安电子科技大学 基于多尺度形态学融合的加权局部熵红外小目标检测方法
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816641A (zh) * 2019-01-08 2019-05-28 西安电子科技大学 基于多尺度形态学融合的加权局部熵红外小目标检测方法
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于提升小波的红外和可见光图像融合方法;赵高鹏;薄煜明;刘娣;;计算机工程与设计;20090416(07);全文 *

Also Published As

Publication number Publication date
CN114418913A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
Li et al. TransUNetCD: A hybrid transformer network for change detection in optical remote-sensing images
CN108830819B (zh) 一种深度图像与红外图像的图像融合方法及装置
Qu et al. Vehicle detection from high-resolution aerial images using spatial pyramid pooling-based deep convolutional neural networks
CN104915636B (zh) 基于多级框架显著性特征的遥感影像道路识别方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
Lei et al. End-to-end change detection using a symmetric fully convolutional network for landslide mapping
CN110033431A (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN112906531B (zh) 一种基于非监督分类的多源遥感影像时空融合方法及系统
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
Zhu et al. Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
Börcs et al. Extraction of vehicle groups in airborne LiDAR point clouds with two-level point processes
Sariturk et al. Feature extraction from satellite images using segnet and fully convolutional networks (FCN)
CN102903109A (zh) 一种光学影像和sar影像一体化分割配准方法
Huang et al. A multispectral and multiangle 3-D convolutional neural network for the classification of ZY-3 satellite images over urban areas
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
Liu et al. Multi-sensor image registration by combining local self-similarity matching and mutual information
CN114418913B (zh) 一种基于小波变换的isar与红外图像像素级融合方法
CN110617802A (zh) 一种星载动目标检测及速度估计方法
Tuominen et al. Cloud detection and movement estimation based on sky camera images using neural networks and the Lucas-Kanade method
CN116664856A (zh) 基于点云-图像多交叉混合的三维目标检测方法、系统及存储介质
CN106407975B (zh) 基于空间-光谱结构约束的多尺度分层目标检测方法
Sun et al. Background suppression based-on wavelet transformation to detect infrared target
Jawak et al. Iterative spectral index ratio exploration for object-based image analysis of Antarctic coastal oasis using high resolution satellite remote sensing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant