CN109360177B - 快速移动物体热成像图像与光学图像的快速小波融合方法 - Google Patents

快速移动物体热成像图像与光学图像的快速小波融合方法 Download PDF

Info

Publication number
CN109360177B
CN109360177B CN201811207545.4A CN201811207545A CN109360177B CN 109360177 B CN109360177 B CN 109360177B CN 201811207545 A CN201811207545 A CN 201811207545A CN 109360177 B CN109360177 B CN 109360177B
Authority
CN
China
Prior art keywords
image
wavelet
thermal imaging
optical image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811207545.4A
Other languages
English (en)
Other versions
CN109360177A (zh
Inventor
周利明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Senchuan Technology Co ltd
Original Assignee
Chengdu Senchuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Senchuan Technology Co ltd filed Critical Chengdu Senchuan Technology Co ltd
Priority to CN201811207545.4A priority Critical patent/CN109360177B/zh
Publication of CN109360177A publication Critical patent/CN109360177A/zh
Application granted granted Critical
Publication of CN109360177B publication Critical patent/CN109360177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种快速移动物体热成像图像与光学图像的快速小波融合方法，其包括对热成像图像和光学图像进行预处理，对热成像图像和光学图像进行HSI分解，进行小波分解处理，进行小波融合处理，进行小波重构处理，得到融合后的图像。本发明通过对热成像图像和光学图像进行HSI分解，并分别对各个分解层采用小波融合方法进行融合，能够有效地综合热成像图像目标特征信息和光学图像的场景细节信息，得到信息更全面的融合图像，实现对快速移动物体进行有效成像。

Description

快速移动物体热成像图像与光学图像的快速小波融合方法
技术领域
本发明属于图像处理技术领域，具体涉及一种快速移动物体热成像图像与光学图像的快速小波融合方法。
背景技术
由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以至于很难甚至无法独立获得对一幅场景的全面描述。热成像图像和可见光图像分别是通过热成像传感器和可见光成像传感器获得的，由于两个传感器的原理不同，性能也不同。热成像图像能较好的反应图像的热目标特性，但对场景亮度变化特征不敏感，且图像清晰度较低；可见光图像能够较好的反应目标所在场景的细节信息，且清晰度较高。红外和可见光图像融合能有效地综合红外图像目标特征信息和可见光图像的场景细节信息，得到信息更全面的融合图像。
目前光热图像融合都是针对拍摄的静止物体，而且融合出现的效果均采用黑白色，不能满足多方面的应用需求。
发明内容
本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种快速移动物体热成像图像与光学图像的快速小波融合方法。
本发明的技术方案是：一种快速移动物体热成像图像与光学图像的快速小波融合方法，包括以下步骤：
A、获取快速移动物体的热成像图像和光学图像，并分别对热成像图像和光学图像进行预处理；
B、将步骤A预处理后的热成像图像和光学图像分解为色调图像、饱和度图像及亮度图像；
C、选取小波基分解系数，对步骤B得到的各个图像进行小波分解处理，得到对应的特征分量；
D、设定小波融合规则，将步骤C得到的两个图像中相同的特征分量进行小波融合处理；
E、选取小波基逆变系数，对步骤D融合后的特征分类进行重构，得到融合后的图像。
进一步地，所述步骤A中，对热成像图像进行预处理具体为：对热成像图像分别进行拖尾处理、色码填充处理、图像缩放处理。
进一步地，所述步骤A中，对光学图像进行预处理具体为：对光学图像分别进行色码填充处理、图像缩放处理。
进一步地，所述步骤A还将预处理后的热成像图像和光学图像进行图像对齐处理。
进一步地，所述步骤C将低通小波基系数和高通小波基系数取反得到小波基分解系数，再根据取反的低通小波基系数和高通小波基系数分别对图像按行卷积处理，将处理后的图像分别丢弃组数的奇数列后再根据取反的低通小波基系数和高通小波基系数按行卷积处理，最后将处理后的图像分别丢弃组数的奇数行，得到对应的特征分量。
进一步地，所述步骤D中，设定小波融合规则具体为：分别在热成像图像和光学图像中提取设定区域，并计算提取的两个区域图片的匹配度；判断两个区域图片的匹配度是否大于设定匹配阈值；若是，则采用加权的融合规则；若否，则选取区域能量较大的小波系数。
进一步地，所述步骤E将低通小波基系数和高通小波基系数作为小波基逆变系数，将步骤C得到的两个图像中相同的特征分量分别进行两列之间插零处理，再根据低通小波基系数和高通小波基系数分别对处理后的图像按行卷积处理，将处理后的图像分别进行两行之间插零处理，再根据低通小波基系数和高通小波基系数分别对处理后的图像按行卷积处理，得到融合后的图像。
本发明的有益效果是：本发明通过对热成像图像和光学图像进行HSI分解，并分别对各个分解层采用小波融合方法进行融合，能够有效地综合热成像图像目标特征信息和光学图像的场景细节信息，得到信息更全面的融合图像，实现对快速移动物体进行有效成像。
附图说明
图1是本发明的快速移动物体热成像图像与光学图像的快速小波融合方法的流程示意图；
图2是本发明实施例中小波融合方法流程示意图；
图3是本发明实施例中小波分解流程示意图；
图4是本发明实施例中小波重构流程示意图；
图5是本发明实施例中热成像图像与光学图像的原始示意图；
图6是本发明实施例中融合后的图像示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的快速移动物体热成像图像与光学图像的快速小波融合方法的流程示意图。一种快速移动物体热成像图像与光学图像的快速小波融合方法，包括以下步骤：
A、获取快速移动物体的热成像图像和光学图像，并分别对热成像图像和光学图像进行预处理；
B、将步骤A预处理后的热成像图像和光学图像分解为色调图像、饱和度图像及亮度图像；
C、选取小波基分解系数，对步骤B得到的各个图像进行小波分解处理，得到对应的特征分量；
D、设定小波融合规则，将步骤C得到的两个图像中相同的特征分量进行小波融合处理；
E、选取小波基逆变系数，对步骤D融合后的特征分类进行重构，得到融合后的图像。
在本发明的一个可选实施例中，上述步骤A在获取快速移动物体的热成像图像和光学图像后，分别对热成像图像和光学图像进行预处理；对热成像图像进行预处理具体为：对热成像图像分别进行拖尾处理、色码填充处理、图像缩放处理；对光学图像进行预处理具体为：对光学图像分别进行色码填充处理、图像缩放处理；
上述色码填充处理包括采用直方图分配色码表，对热成像图像和光学图像采用同一张色码表，分别对色码表颜色对应的RGB分配一个值，确保HSI分解时均有值进行处理，将光学图像作为背景，色码表只取热成像图像环温以下的色码段。
上述图像缩放处理通过对热成像图像和光学图像大小进行缩放，确保热成像图像和光学图像大小尺寸一致。
本发明还将预处理后的热成像图像和光学图像进行图像对齐处理，即采用找图算法将热成像图像和光学图像进行对齐。
在本发明的一个可选实施例中，上述步骤B将步骤A预处理后的热成像图像和光学图像分别分解为HSI图像，即色调图像、饱和度图像和亮度图像。如图2所示，为本发明实施例中小波融合方法流程示意图。
在本发明的一个可选实施例中，如图3所示，为本发明实施例中小波分解流程示意图。上述步骤C选取小波基分解系数，对步骤B得到的各个图像进行小波分解处理，得到对应的特征分量，具体包括以下分步骤：
C1、将低通小波基系数和高通小波基系数取反得到小波基分解系数；
C2、根据取反的低通小波基系数和高通小波基系数分别对步骤B分解后的图像按行卷积处理；
C3、将步骤C2处理后的图像分别丢弃组数的奇数列；
C4根据取反的低通小波基系数和高通小波基系数分别对步骤C3处理后的图像按行卷积处理；
C5、将步骤C4处理后的图像分别丢弃组数的奇数行，得到对应的特征分量，包括LL、LH、HL、HH。
在本发明的一个可选实施例中，上述步骤D设定小波融合规则，分别在热成像图像和光学图像中提取设定区域，并计算提取的两个区域图片的匹配度；这里两个区域图片的匹配度计算公式为
Figure BDA0001831591980000041
其中，X，Y分别表示两张图片某一块区域，即样本区域，区域大小为n，即样本大小，Xi，Yi分别表示X，Y区域中的第i个元素，
Figure BDA0001831591980000042
分别表示X，Y区域的平均值，即样本平均值。均值计算公式为
Figure BDA0001831591980000043
再设定哈尔系数作为匹配阈值T，Wmin＝1/2-1/2*((1-r)/(1-T))，Wmax＝1-Wmin，计算两个区域图片的方差α1,α2，方差计算公式为
Figure BDA0001831591980000044
当权系数w为复数时，值为w＝n；当权系数w为单数时，值为w＝n-1。
判断两个区域图片的匹配度是否大于设定匹配阈值；即判断r是否大于T；
若是，则采用加权的融合规则；具体为判断热成像图像对应区域图片方差α1是否大于光学图像对应区域图片方差α2，若是，则设定融合后的图像的小波系数为
l＝Wmax*A+Wmin*B
其中，A表示热成像图像对应区域图片的小波系数，B表示光学图像对应区域图片的小波系数；
若否，则设定融合后的图像的小波系数为
l＝Wmin*A+Wmax*B
若否，则选取区域能量较大的小波系数；具体为判断热成像图像对应区域图片方差α1是否大于光学图像对应区域图片方差α2，若是，则选取热成像图像对应区域图片的小波系数作为融合后的图像的小波系数，表示为
l＝A
若否，则选取光学图像对应区域图片的小波系数作为融合后的图像的小波系数，表示为
l＝B
再将步骤C得到的两个图像中相同的特征分量进行小波融合处理。
在本发明的一个可选实施例中，如图4所示，为本发明实施例中小波重构流程示意图。上述步骤E选取小波基逆变系数，对步骤D融合后的特征分类进行重构，得到融合后的图像，具体包括以下分步骤：
E1、将低通小波基系数和高通小波基系数作为小波基逆变系数；
E2、将步骤C得到的两个图像中相同的特征分量，分别进行两列之间插零处理；具体为对步骤C得到的LL、LH、HL、HH特征分量分别进行两列之间插零处理；
E3、根据低通小波基系数和高通小波基系数分别对步骤E2处理后的图像按行卷积处理；具体为根据低通小波基系数分别对LL和HL特征分量按行卷积处理，根据高通小波基系数分别对LH和HH特征分量按行卷积处理；
E4、将步骤E3处理后的图像分别进行两行之间插零处理；具体为将步骤E3处理后LL和HL特征分量进行融合，再对融合后的特征分量进行两行之间插零处理；将步骤E3处理后LH和HH特征分量进行融合，再对融合后的特征分量进行两行之间插零处理；
E5、根据低通小波基系数和高通小波基系数分别对步骤E4处理后的图像按行卷积处理，得到融合后的图像。具体为根据低通小波基系数对LL和HL融合后的特征分量按行卷积处理，根据高通小波基系数对LH和HH融合后的特征分量按行卷积处理，再将处理后的特征分量进行融合，得到融合后的完整图像。
如图5所示，为本发明实施例中热成像图像与光学图像的原始示意图；如图6所示，为本发明实施例中融合后的图像示意图。通过对比可以看出，本发明有效地综合了热成像图像目标特征信息和光学图像的场景细节信息，得到了信息更全面的融合图像。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，包括以下步骤：
A、获取快速移动物体的热成像图像和光学图像，并分别对热成像图像和光学图像进行预处理；
B、将步骤A预处理后的热成像图像和光学图像分解为色调图像、饱和度图像及亮度图像；
C、选取小波基分解系数，对步骤B得到的各个图像进行小波分解处理，得到对应的特征分量；
D、将小波分解后的两个色调图像进行融合，将小波分解后的两个饱和度图像进行融合，将小波分解后的两个亮度图像进行融合，合并这三个融合结果，得到融合后的图像；
设定小波融合规则，将步骤C得到的两个图像中相同的特征分量进行小波融合处理；所述步骤D中，设定小波融合规则具体为：分别在热成像图像和光学图像中提取设定区域，并计算提取的两个区域图片的匹配度；判断两个区域图片的匹配度是否大于设定匹配阈值；若是，则采用加权的融合规则；若否，则选取区域能量较大的小波系数；
E、选取小波基逆变系数，对步骤D融合后的特征分类进行重构，得到融合后的图像。
2.如权利要求1所述的快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，所述步骤A中，对热成像图像进行预处理具体为：对热成像图像分别进行拖尾处理、色码填充处理、图像缩放处理。
3.如权利要求2所述的快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，所述步骤A中，对光学图像进行预处理具体为：对光学图像分别进行色码填充处理、图像缩放处理。
4.如权利要求3所述的快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，所述步骤A还将预处理后的热成像图像和光学图像进行图像对齐处理。
5.如权利要求4所述的快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，所述步骤C将低通小波基系数和高通小波基系数取反得到小波基分解系数，再根据取反的低通小波基系数和高通小波基系数分别对图像按行卷积处理，将处理后的图像分别丢弃组数的奇数列后再根据取反的低通小波基系数和高通小波基系数按行卷积处理，最后将处理后的图像分别丢弃组数的奇数行，得到对应的特征分量。
6.如权利要求5所述的快速移动物体热成像图像与光学图像的快速小波融合方法，其特征在于，所述步骤E将低通小波基系数和高通小波基系数作为小波基逆变系数，将步骤C得到的两个图像中相同的特征分量分别进行两列之间插零处理，再根据低通小波基系数和高通小波基系数分别对处理后的图像按行卷积处理，将处理后的图像分别进行两行之间插零处理，再根据低通小波基系数和高通小波基系数分别对处理后的图像按行卷积处理，得到融合后的图像。
CN201811207545.4A 2018-10-17 2018-10-17 快速移动物体热成像图像与光学图像的快速小波融合方法 Active CN109360177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811207545.4A CN109360177B (zh) 2018-10-17 2018-10-17 快速移动物体热成像图像与光学图像的快速小波融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811207545.4A CN109360177B (zh) 2018-10-17 2018-10-17 快速移动物体热成像图像与光学图像的快速小波融合方法

Publications (2)

Publication Number Publication Date
CN109360177A CN109360177A (zh) 2019-02-19
CN109360177B true CN109360177B (zh) 2021-09-28

Family

ID=65349483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811207545.4A Active CN109360177B (zh) 2018-10-17 2018-10-17 快速移动物体热成像图像与光学图像的快速小波融合方法

Country Status (1)

Country Link
CN (1) CN109360177B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225247B (zh) * 2019-05-29 2021-06-15 联想(北京)有限公司 一种图像处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992411A (zh) * 2015-06-03 2015-10-21 陕西省地质矿产勘查开发总公司 一种红外多光谱原始图像处理方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN108109129A (zh) * 2017-12-15 2018-06-01 四川大学 一种基于近红外的快速图像去雾方法
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062179A1 (en) * 2007-11-20 2008-03-13 Rolando Branly Data display system to facilitate pattern recognition and classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992411A (zh) * 2015-06-03 2015-10-21 陕西省地质矿产勘查开发总公司 一种红外多光谱原始图像处理方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN108109129A (zh) * 2017-12-15 2018-06-01 四川大学 一种基于近红外的快速图像去雾方法
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于HSI和小波变换的可见光和红外图像融合新方法;许抗 等;《光学仪器》;20100831;第32卷(第4期);说明书第12-14页 *
许抗 等.一种基于HSI和小波变换的可见光和红外图像融合新方法.《光学仪器》.2010,第32卷(第4期), *

Also Published As

Publication number Publication date
CN109360177A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
Li et al. A cascaded convolutional neural network for single image dehazing
Zhang et al. Nighttime haze removal based on a new imaging model
Gao et al. A fast image dehazing algorithm based on negative correction
US20100290703A1 (en) Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN107292830B (zh) 低照度图像增强及评价方法
Wu et al. Learn to recover visible color for video surveillance in a day
CN109859138B (zh) 一种基于人眼视觉特性的红外图像增强方法
Fahim et al. Single image dehazing using end-to-end deep-dehaze network
CN111598814A (zh) 基于极端散射通道的单图像去雾方法
CN109360177B (zh) 快速移动物体热成像图像与光学图像的快速小波融合方法
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
CN103595933B (zh) 一种图像的降噪方法
Zhang et al. Nighttime haze removal with illumination correction
CN105741248B (zh) 一种消除图像阴霾的方法
CN107203979B (zh) 一种低照度图像增强的方法
Xiaoxu et al. Image dehazing base on two-peak channel prior
Ma et al. Learning Spatial–Parallax Prior Based on Array Thermal Camera for Infrared Image Enhancement
Yang et al. Multi-focus image fusion using watershed transform and morphological wavelet clarity measure
CN111179200B (zh) 一种宽动态范围图像的增强算法
Kumari et al. Image fusion techniques based on pyramid decomposition
CN106960421A (zh) 基于统计特性和亮度估计的夜晚图像去雾方法
Abin et al. Blending of contrast enhancement techniques for underwater images
Liu et al. Adaptive depth map-based retinex for image defogging
Gautam et al. Single image dehazing using image boundary constraint and nearest neighborhood optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant