CN112991246B - 一种可见光与红外视频图像融合方法及装置 - Google Patents

一种可见光与红外视频图像融合方法及装置 Download PDF

Info

Publication number
CN112991246B
CN112991246B CN202110163783.5A CN202110163783A CN112991246B CN 112991246 B CN112991246 B CN 112991246B CN 202110163783 A CN202110163783 A CN 202110163783A CN 112991246 B CN112991246 B CN 112991246B
Authority
CN
China
Prior art keywords
image
visible light
infrared
channel
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110163783.5A
Other languages
English (en)
Other versions
CN112991246A (zh
Inventor
葛仕明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202110163783.5A priority Critical patent/CN112991246B/zh
Publication of CN112991246A publication Critical patent/CN112991246A/zh
Application granted granted Critical
Publication of CN112991246B publication Critical patent/CN112991246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种可见光与红外视频图像融合方法及装置，属于计算机视觉和图像处理领域，通过拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；对可见光图像提取暗通道，并进行阈值化，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。本发明能够使无人机目标在融合后的图像中与背景具有更大的区分性，为后续的进一步检测识别等处理提供更好的数据输入。

Description

一种可见光与红外视频图像融合方法及装置
技术领域
本发明属于计算机视觉和图像处理领域，尤其涉及一种地对空场景下的可见光与红外视频图像融合方法及装置。
背景技术
在现实世界的户外目标监控尤其是地对空异常目标如无人机监控，在重点区域及周界防护等应用中具有十分重要的意义。低空空域环境复杂、目标多而杂，监视难度较大。尤其是无人机飞行高度低、飞行速度慢、体积小，属于典型的“低慢小”目标，对“低慢小”目标的监测在全球范围内仍是技术难题。目标检测、识别技术对于无人系统安全防御、重点区域防御等领域相关需求至关重要。当前，依赖高质量的海量数据，以深度学习为代表的人工智能技术已经在可见光的视觉目标检测、识别等领域取得了巨大突破和进展，例如，在国际标准大规模评测数据集ImageNet和Microsoft COCO上，目标检测、识别的精度已经超过了人类水平。在此基础上，如何突破真实开放场景中低空复杂环境下的“低慢小”视觉目标检测和识别是亟需解决的问题。
面对无人机等空中“低慢小”目标，在成像获取方面，传统的单一可见光视频难以支持气候恶劣条件(黑夜、雨雾等)和远程监控。激光雷达虽然在远程探测上具有一定优势，如，美国麻省理工学院林肯实验室研发的主动型激光雷达可以实现树下车辆成像探测，但成本高昂难以推广。在电磁波波谱中，波长范围为760nm～400μm的电磁波被称为红外波段。红外线的波长大于可见光波段(350～760nm)，在人的肉眼感光范围之外。由于大气对红外辐射具有吸收作用，只有少数几个波段(1～3μm、3～5μm和8～13μm)的红外辐射能够穿过大气进行传播，因而，这几个波段成为红外光学领域的重要“窗口”区。根据普朗克黑体辐射公式，一般而言，物体温度越高，其热辐射越强，包含的短波成分越多。热辐射的光谱是连续谱，波长覆盖范围理论上可从0～∞。一般温度下，物体的热辐射能量主要集中在波长较长的可见光和红外。红外辐射也是电磁波，与可见光遵循同样的物理光学定律，故同样可以对物体的红外热辐射进行光学成像。红外成像技术的发明，让人类可以观察到客观世界的另一面，相当于扩大了人类观察系统的“带宽”。红外技术目前在工业、农业、航空航天及军工领域均发挥着重大作用。因此，探索融合可见光与红外图像技术能够更好地进行“低慢小”目标的检测、识别。
发明内容
本发明提供了一种可见光与红外视频图像融合方法及装置，通过场景分割、相机标定和图像融合，简单有效地实现数据的融合。通过场景分割实现自适应的通道融合，能够使“低慢小”无人机目标在融合后的图像中与背景具有更大的区分性，为后续的进一步检测识别等处理提供更好的数据输入。
本发明通过以下技术方案来实现。
一种可见光与红外视频图像融合方法，其步骤包括：
拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；
对可见光图像提取暗通道，并进行阈值化，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；
对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。
进一步地，拍摄同一场景的可见光图像和红外图像的方法为：采用可见光相机和红外相机同时拍摄同一场景，该场景中包括具有规则形状(如正方形、长方形、棱形等)并具有凹凸的物体，得到同一场景的可见光图像和红外图像。
进一步地，得到两个相机模态图像的空间映射矩阵的方法为：对可见光图像和红外图像的局部特征进行匹配后，计算单应矩阵(Homography matrix)，得到空间映射矩阵。
进一步地，如果可见光相机和红外相机相对位置不变，则相机标定只进行一次，将空间映射矩阵固定。
进一步地，阈值化得到暗通道二值图，对该暗通道二值图进行连通域计算，剔除连通域面积小于一设定阈值的区域，得到场景分割图。
进一步地，如果可见光相机和红外相机在拍摄的时候固定，则只计算一次即可得到场景分割图；如果可见光相机和红外相机在拍摄的时候处于运动状态，则重新计算场景分割图。
进一步地，对可见光图像和红外图像提取亮度通道的方法为：先对可见光图像和红外图像分别进行颜色变换，然后对颜色变换得到的可见光图像和红外图像的变换图分别提取亮度通道。
进一步地，场景自适应通道融合后首先得到融合通道图，然后用融合通道图替换红外图像的变换图的亮度通道，得到通道替换图；最后对通道替换图进行颜色反变换，得到融合图像。
与上述方法对应地，本发明还提供一种可见光与红外视频图像融合装置，包括：
相机标定模块，包括可见光相机和红外相机，用于通过可见光相机和红外相机拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；
场景分割模块，用于对可见光图像提取暗通道，并进行阈值化，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；
图像融合模块，用于对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。
进一步地，场景分割模块对阈值化得到的暗通道二值图进行连通域计算，剔除连通域面积小于一设定阈值的区域，得到场景分割图。
进一步地，图像融合模块先对可见光图像和红外图像分别进行颜色变换，然后对颜色变换得到的可见光图像和红外图像的变换图分别提取亮度通道。
进一步地，图像融合模块进行场景自适应通道融合后首先得到融合通道图，然后用融合通道图替换红外图像的变换图的亮度通道，得到通道替换图；最后对通道替换图进行颜色反变换，得到融合图像。
本发明的有益效果在于：针对有地对空监测情况下的可见光与红外视频图像的数据信息利用问题，本发明的融合方法及装置能够使感兴趣目标具有更高区分性，为后续的目标检测、跟踪、识别、分割、理解等性能提升提供更好的数据支持。
附图说明
图1A为本发明的装置利用可见光相机与红外相机采集信息的示意图。
图1B为本发明的方法进行可见光图像和红外图像融合的流程图。
图2A-2B为本发明可见光相机与红外相机进行物体角点检测的示意图。
图3为本发明场景分割阶段的流程图。
图4为本发明图像融合阶段的流程图。
具体实施方式
为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明如下。
本实施例提供一种可见光与红外视频图像融合方法及实现该方法的装置。该装置包括相机标定模块C、场景分割模块S、图像融合模块F。相机标定模块C包括可见光相机和红外相机，两相机对同一目标进行视频采集并通过融合进行分析，如图1A所示，采集的可见光图像V和红外图像I的分辨率可以不一样。融合方法的总流程如图1B所示，其步骤包括：
1)由可见光图像V与红外图像I，进行相机标定，通过匹配计算得到空间映射矩阵H，由相机标定模块C负责完成；
2)由可见光图像V，计算得到场景分割图M，由场景分割模块S负责完成；
3)由可见光图像V与红外图像I，通过场景分割图M和空间映射矩阵，计算得到融合图像R，由图像融合模块F负责完成。
具体地，相机标定模块C的处理流程如图2A-2B所示，其步骤包括：
1)利用可见光相机和红外相机对同一规则形状的目标进行拍摄，分别得到可见光图像V和红外图像I；
2)在可见光图像V和红外图像I上通过角点检测，得到多个关键点；
3)从可见光图像V和红外图像上，寻找4个以上的匹配关键点；
4)利用匹配关键点，计算单应矩阵，得到空间映射矩阵；
5)如果可见光和红外相机相对位置不变，则只进行一次相机标定，将空间映射矩阵固定。
场景分割模块S的处理流程如图3所示，其步骤包括：
1)输入可见光图像V；
2)提取暗通道，得到暗通道图D。通过公式进行计算：
D(p)＝min(V(p,1),V(p,2),V(p,3))
其中p是图像点，min是求最小值操作，即对图像上每个点，暗通道图取可见光图像通道中的最小值；
3)对暗通道图阈值化，得到暗通道二值图B
B(p)＝(D(p)<Th)
其中，Th是预设置的阈值，比如取Th＝100。通过处理，暗通道二值图B中天空区域为0，非天空区域为1；
4)在暗通道图上，感兴趣目标候选即使处在天空区域中，其值通常也很小，会被标记为非天空区域。为此，对暗通道二值图B进行连通域处理，连通域面积小于一定阈值Ta(例如取200)的区域，将被删除，得到最后的场景分割图M。
图像融合模块F的处理流程如图4所示，其步骤包括：
1)对可见光图像V和红外图像I分别进行颜色变换，得到变换图Vt和It；
2)提取变换图Vt和It的亮度通道Vt1和It1；
3)利用场景分割图M和空间映射矩阵H，进行亮度通道自适应融合，得到融合通道图C：
Figure BDA0002936691250000051
其中，q＝T(H,p)是红外图像点p对应的可见光图像点，T是映射变换操作；
4)用融合通道图C替换红外图像的变换图It的亮度通道，得到通道替换图It’；
5)对通道替换图It’进行颜色反变换，得到最终的融合图像R。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种可见光与红外视频图像融合方法，其特征在于，包括以下步骤：
拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；
对可见光图像阈值化得到暗通道二值图，对该暗通道二值图进行连通域计算，剔除连通域面积小于一设定阈值的区域，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；
对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。
2.如权利要求1所述的方法，其特征在于，拍摄同一场景的可见光图像和红外图像的方法为：采用可见光相机和红外相机同时拍摄同一场景，该场景中包括具有规则形状并具有凹凸的物体，得到同一场景的可见光图像和红外图像。
3.如权利要求2所述的方法，其特征在于，如果可见光相机和红外相机在拍摄的时候固定，则只计算一次即可得到场景分割图；如果可见光相机和红外相机在拍摄的时候处于运动状态，则重新计算场景分割图。
4.如权利要求1所述的方法，其特征在于，得到两个相机模态图像的空间映射矩阵的方法为：对可见光图像和红外图像的局部特征进行匹配后，计算单应矩阵，得到空间映射矩阵。
5.如权利要求1所述的方法，其特征在于，对可见光图像和红外图像提取亮度通道的方法为：先对可见光图像和红外图像分别进行颜色变换，然后对颜色变换得到的可见光图像和红外图像的变换图分别提取亮度通道。
6.如权利要求5所述的方法，其特征在于，场景自适应通道融合后首先得到融合通道图，然后用融合通道图替换红外图像的变换图的亮度通道，得到通道替换图；最后对通道替换图进行颜色反变换，得到融合图像。
7.一种可见光与红外视频图像融合装置，其特征在于，包括：
相机标定模块，包括可见光相机和红外相机，用于通过可见光相机和红外相机拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；
场景分割模块，用于对可见光图像阈值化得到暗通道二值图，对该暗通道二值图进行连通域计算，剔除连通域面积小于一设定阈值的区域，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；
图像融合模块，用于对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。
8.如权利要求7所述的装置，其特征在于，图像融合模块先对可见光图像和红外图像分别进行颜色变换，然后对颜色变换得到的可见光图像和红外图像的变换图分别提取亮度通道；图像融合模块进行场景自适应通道融合后首先得到融合通道图，然后用融合通道图替换红外图像的变换图的亮度通道，得到通道替换图；最后对通道替换图进行颜色反变换，得到融合图像。
CN202110163783.5A 2021-02-05 2021-02-05 一种可见光与红外视频图像融合方法及装置 Active CN112991246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110163783.5A CN112991246B (zh) 2021-02-05 2021-02-05 一种可见光与红外视频图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110163783.5A CN112991246B (zh) 2021-02-05 2021-02-05 一种可见光与红外视频图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN112991246A CN112991246A (zh) 2021-06-18
CN112991246B true CN112991246B (zh) 2023-01-13

Family

ID=76348325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110163783.5A Active CN112991246B (zh) 2021-02-05 2021-02-05 一种可见光与红外视频图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN112991246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114859371A (zh) * 2022-07-07 2022-08-05 武汉光谷航天三江激光产业技术研究院有限公司 一种无人机蜂群高分辨复合探测系统及方法
CN115578620B (zh) * 2022-10-28 2023-07-18 北京理工大学 一种点线面多维特征-可见光融合slam方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN110163804A (zh) * 2018-06-05 2019-08-23 腾讯科技（深圳）有限公司 图像去雾方法、装置、计算机设备和存储介质
CN111275645A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像去雾方法、装置、设备及存储介质
CN111507930B (zh) * 2020-06-18 2023-10-10 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN112991246A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10301041B2 (en) Systems and methods for tracking moving objects
EP2294811B1 (en) Method of searching for a thermal target
CN106447680B (zh) 动态背景环境下雷达与视觉融合的目标检测与跟踪方法
US8761445B2 (en) Method and system for detection and tracking employing multi-view multi-spectral imaging
CN112991246B (zh) 一种可见光与红外视频图像融合方法及装置
CN108921803B (zh) 一种基于毫米波与可见光图像融合的去雾方法
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
Kwan et al. Compressive object tracking and classification using deep learning for infrared videos
Schumann et al. An image processing pipeline for long range UAV detection
Kou et al. Infrared small target tracking algorithm via segmentation network and multi-strategy fusion
Briese et al. Vision-based detection of non-cooperative UAVs using frame differencing and temporal filter
Heather et al. Multimodal image registration with applications to image fusion
Nussberger et al. Robust aerial object tracking in images with lens flare
Gaus et al. Visible to infrared transfer learning as a paradigm for accessible real-time object detection and classification in infrared imagery
Liu et al. Vehicle video surveillance system based on image fusion and parallel computing
Deng et al. A compact mid-wave infrared imager system with real-time target detection and tracking
Goecks et al. Combining visible and infrared spectrum imagery using machine learning for small unmanned aerial system detection
US20150022662A1 (en) Method and apparatus for aerial surveillance
Hartung et al. Improvement of persistent tracking in wide area motion imagery by CNN-based motion detections
Zhang et al. Overview of research on marine target recognition
Ojdanić et al. Deep learning-based long-distance optical UAV detection: color versus grayscale
Xiao et al. Introduction to image fusion
Yesilevskyi et al. Development of a video processing module for the task of air object recognition based on their contours
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置
Dijk et al. Research topics on EO systems for maritime platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant