CN105354851B - 对距离自适应的红外与可见光视频融合方法 - Google Patents

对距离自适应的红外与可见光视频融合方法 Download PDF

Info

Publication number
CN105354851B
CN105354851B CN201510809571.4A CN201510809571A CN105354851B CN 105354851 B CN105354851 B CN 105354851B CN 201510809571 A CN201510809571 A CN 201510809571A CN 105354851 B CN105354851 B CN 105354851B
Authority
CN
China
Prior art keywords
image
infrared
processing module
video processing
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510809571.4A
Other languages
English (en)
Other versions
CN105354851A (zh
Inventor
贺行政
任贵文
李湖生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Safety Science and Technology CASST
Original Assignee
China Academy of Safety Science and Technology CASST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Safety Science and Technology CASST filed Critical China Academy of Safety Science and Technology CASST
Priority to CN201510809571.4A priority Critical patent/CN105354851B/zh
Publication of CN105354851A publication Critical patent/CN105354851A/zh
Application granted granted Critical
Publication of CN105354851B publication Critical patent/CN105354851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

对距离自适应的红外与可见光视频融合方法，包括步骤：S1，视频处理模块初始化虚拟标定棋盘格的参数；S2，视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，利用距离参数映射虚拟标定棋盘格，将其角点映射到待融合两张图像上，以角点为参考点，计算单应矩阵；S3，视频处理模块剔除红外热成像图像上温度低于温度阈值的部分，得到图像一；利用单应矩阵将可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像。其目的在于提供一种对距离的具有自适应性、提高融合算法精度、增加融合后图像的温度警示效果的对距离自适应的红外与可见光视频融合方法。

Description

对距离自适应的红外与可见光视频融合方法
技术领域
本发明涉及对距离自适应的红外与可见光视频融合方法。
背景技术
随着红外热成像技术的不断发展，以及其非接触性测温的优点，红外热成像技术已经逐步被应用到医疗、军事、安防、安全生产等领域，然而，由于红外热成像的特点，其呈现的画面的细节没有可见光清晰，因此人们为了获得更多的数据信息，开始尝试将红外热成像与可见光图像进行融合，将两者所包含的信息融合在一起，以实现对监控环境全方位的监控。然而，目前的融合算法都需要提前知道摄像机和成像目标之间的距离参数，将距离参数加入到融合算法中，计算融合结果，如果距离测量不准确，会导致融合后的两幅图像错位，影响融合效果，因此，融合算法的使用具有很大的局限性。
发明内容
本发明的目的在于提供一种对距离的具有自适应性、提高融合算法精度、增加融合后图像的温度警示效果的对距离自适应的红外与可见光视频融合方法。
本发明对距离自适应的红外与可见光视频融合方法，其特征在于：
在执行红外与可见光视频融合之前，对红外热成像摄像机和可见光摄像机做标定，获取两个摄像机的内部参数和外部参数；在完成标定后，利用对距离自适应的红外与可见光视频融合系统进行红外与可见光视频融合，对距离自适应的红外与可见光视频融合系统包括激光测距模块、可见光摄像机、红外热成像摄像机和视频处理模块；
所述激光测距模块通过串口自动实时发送距离参数给视频处理模块；
所述可见光摄像机输出可见光图像给所述视频处理模块；
所述红外热成像摄像机输出红外热成像图像给所述视频处理模块；
所述视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，所述视频处理模块利用所述距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵；所述视频处理模块剔除所述红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用所述单应矩阵将所述可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像；
红外与可见光视频融合包括以下步骤：
S1，视频处理模块初始化虚拟标定棋盘格的参数，包括虚拟标定棋盘格的格数和大小；
S2，所述视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，所述视频处理模块利用所述距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵；
S3，所述视频处理模块剔除所述红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用所述单应矩阵将所述可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像。
优选地，对红外热成像摄像机和可见光摄像机做标定时采用张正友摄像机标定法。
优选地，还包括步骤S4，所述视频处理模块将融合后的图像通过jpeg压缩算法压缩成jpeg格式的图像，最后将压缩后的融合图像通过网络接口模块发送出去。
本发明对距离自适应的红外与可见光视频融合方法有益效果如下：
1)激光测距模块对成像目标做距离测量，将测量后的结果实时返回给视频处理模块，视频处理模块根据激光测距模块反馈回的距离参数，自动调整图像融合时所必须的成像距离参数，使整个系统具有了对距离的自适应性，打破了目前图像融合算法对距离的限制，扩展了系统的应用范围。目前融合系统只能应用在摄像机与监控目标都固定不变的场景，而本发明具有了对距离的自适应性，因此红外热成像摄像机和可见光摄像机可以自由调节角度，监控目标也可以自由移动，不影响融合效果。
2)由于采用了激光测距模块，其测距误差为2mm，模块通信速率高达115K，满足了系统的实时性要求，进一步提高了融合算法的精度，改善了融合效果。
3)本发明在融合过程中，通过预先设定的温度阈值，对红外热成像图像进行了预处理，滤除了图像的低温部分，突出了图像的高温部分，增加了融合后图像的温度警示效果。该温度阈值可以修改，在不同的温度场景，可以实现不同的融合效果。
下面结合附图对本发明的对距离自适应的红外与可见光视频融合方法作进一步详细说明。
附图说明
图1为视频处理模块初始化虚拟标定棋盘格参数的流程图；
图2为视频处理模块获取单应矩阵流程图；
图3为视频处理模块叠加可见光图像和红外热成像图像流程图；
图4为本发明对距离自适应的红外与可见光视频融合系统框图。
具体实施方式
参见图1，本发明对距离自适应的红外与可见光视频融合方法，在执行红外与可见光视频融合之前，对红外热成像摄像机和可见光摄像机做标定，可以采用张正友摄像机标定法来获取两个摄像机的内部参数和外部参数；在完成标定后，进行红外与可见光视频融合包括以下步骤(以下涉及的函数均为OpenCV中的库函数)：
(1)参见图1，视频处理模块初始化虚拟标定棋盘格的参数，调用函数：
boolhomography：：Init(cv：：Size boardSize，double tanTheta，stringintrinsicFN，string extrinsicFN，string rmapFN，intthres＝0)；
完成初始化。该函数的前两个参数都用来控制虚拟标定棋盘格的格数和大小，其中，第二个参数越大，则棋盘越大，后面三个文件名都是标定过程存储的结果，最后一个参数为温度的限制，若为0，则禁用，速度会有大幅提升。
(2)视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，视频处理模块利用距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵。
调用函数：
cv：：Mat homography：：getHomography(double distance)；
距离用厘米计算，由激光测距仪实时返回距离参数。该函数返回一个矩阵，同时也会在类的内部保存。
(3)参见图3，视频处理模块剔除红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用单应矩阵将可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像。
进行图像叠加时调用函数：
voidrectifyMap(const string leftImgF，const string rightImgF，conststring resultImgF)；
或：
cv：：MatrectifyMap(const cv：：Mat leftImg，const cv：：Mat rightImg)；
完成一帧图像的融合。
(4)视频处理模块将融合后的图像通过jpeg压缩算法压缩成jpeg格式的图像，最后将压缩后的融合图像通过网络接口模块发送出去。
本发明对距离自适应的红外与可见光视频融合系统，包括：
激光测距模块，激光测距模块通过串口自动实时发送距离参数给视频处理模块；
可见光摄像机，可见光摄像机输出可见光图像给视频处理模块；
红外热成像摄像机，红外热成像摄像机输出红外热成像图像给视频处理模块；
视频处理模块，系统输入电压为12V，开机后，视频处理模块会自动实时的采集可见光图像、红外热成像图像、激光测距模块返回的距离参数等信息，视频处理模块利用距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵；视频处理模块剔除红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用单应矩阵将可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像。视频处理模块将融合后的图像通过jpeg压缩算法压缩成jpeg格式的图像，最后将压缩后的融合图像通过网络接口模块发送给监控终端。
激光测距模块测量距离为0-200米，测量精度为2mm，视频处理模块对测量精度的要求随着成像距离增加逐渐减小，通过测量，成像距离为1米时，距离允许误差为5cm，当成像距离越大时，允许误差也越大，因此，使用激光测距模块完全可以满足系统的要求。
另外，本系统采用POE供电方式，因此系统的安装以及使用非常方便，安装时只需要一根网线即可实现系统的供电和视频数据的传输，大大降低了布线的复杂程度，安装方便、快捷。
尽管本发明的实施例已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (3)

1.对距离自适应的红外与可见光视频融合方法，其特征在于：
在执行红外与可见光视频融合之前，对红外热成像摄像机和可见光摄像机做标定，获取两个摄像机的内部参数和外部参数；在完成标定后，利用对距离自适应的红外与可见光视频融合系统进行红外与可见光视频融合，对距离自适应的红外与可见光视频融合系统包括激光测距模块、可见光摄像机、红外热成像摄像机和视频处理模块；
所述激光测距模块通过串口自动实时发送距离参数给视频处理模块；
所述可见光摄像机输出可见光图像给所述视频处理模块；
所述红外热成像摄像机输出红外热成像图像给所述视频处理模块；
所述视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，所述视频处理模块利用所述距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵；所述视频处理模块剔除所述红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用所述单应矩阵将所述可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像；
红外与可见光视频融合包括以下步骤：
S1，视频处理模块初始化虚拟标定棋盘格的参数，包括虚拟标定棋盘格的格数和大小；
S2，所述视频处理模块接收激光测距模块实时返回的距离参数、可见光图像和红外热成像图像，所述视频处理模块利用所述距离参数映射虚拟标定棋盘格，将虚拟标定棋盘格的角点映射到待融合的可见光图像和红外热成像图像上，以角点为参考点，计算单应矩阵；
S3，所述视频处理模块剔除所述红外热成像图像上温度低于预先设置的温度阈值的部分，得到图像一；利用所述单应矩阵将所述可见光图像变换为红外热成像摄像机视角的图像，得到图像二，最后将图像一和图像二叠加作为融合后的图像。
2.根据权利要求1所述的对距离自适应的红外与可见光视频融合方法，其特征在于：对红外热成像摄像机和可见光摄像机做标定时采用张正友摄像机标定法。
3.根据权利要求2所述的对距离自适应的红外与可见光视频融合方法，其特征在于：还包括步骤S4，所述视频处理模块将融合后的图像通过jpeg压缩算法压缩成jpeg格式的图像，最后将压缩后的融合图像通过网络接口模块发送出去。
CN201510809571.4A 2015-11-20 2015-11-20 对距离自适应的红外与可见光视频融合方法 Active CN105354851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510809571.4A CN105354851B (zh) 2015-11-20 2015-11-20 对距离自适应的红外与可见光视频融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510809571.4A CN105354851B (zh) 2015-11-20 2015-11-20 对距离自适应的红外与可见光视频融合方法

Publications (2)

Publication Number Publication Date
CN105354851A CN105354851A (zh) 2016-02-24
CN105354851B true CN105354851B (zh) 2018-07-17

Family

ID=55330818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510809571.4A Active CN105354851B (zh) 2015-11-20 2015-11-20 对距离自适应的红外与可见光视频融合方法

Country Status (1)

Country Link
CN (1) CN105354851B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016001694T5 (de) 2016-04-12 2018-01-04 Shenzhen Everbest Machinery Industry Co., Ltd. Bildfusionsverfahren, Einrichtung und Infrarot-Temperaturbildgebungsvorrichtung
CN107133592B (zh) * 2017-05-05 2021-04-02 国网江苏省电力公司无锡供电公司 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN107240094A (zh) * 2017-05-19 2017-10-10 同济大学 一种用于电气设备在线检测的可见光和红外图像重构方法
CN107333035A (zh) * 2017-06-16 2017-11-07 杭州远鉴信息科技有限公司 低功耗、小尺寸、可扩展的可见光红外双目测温摄像头
CN108337432B (zh) * 2018-03-16 2021-02-05 青岛海信移动通信技术股份有限公司 一种照片拍摄的方法、装置及存储介质
CN109191415B (zh) * 2018-08-22 2020-12-15 成都纵横自动化技术股份有限公司 图像融合方法、装置及电子设备
CN111242991B (zh) * 2020-01-10 2022-09-20 大连理工大学 一种可见光与红外相机快速配准的方法
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN112163519A (zh) * 2020-09-28 2021-01-01 浙江大华技术股份有限公司 图像映射处理方法、装置、存储介质及电子装置
CN114058778B (zh) * 2021-11-18 2022-09-20 中国安全生产科学研究院 一种炼钢设备温度采集安全监控系统
CN115086548A (zh) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 一种双光谱虚拟摄像头合成方法及装置
CN115604422B (zh) * 2022-08-17 2024-02-09 福建汇达建筑工程有限公司 一种基于物联网智能检测单元的构建方法
CN115980298B (zh) * 2023-03-20 2023-07-21 山东思睿环境设备科技有限公司 一种基于多参数适应性水质检测分析方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778682A (zh) * 2014-01-14 2015-07-15 三星泰科威株式会社 对特征点采样的方法、图像匹配方法和图像匹配设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2374040C (en) * 1999-07-02 2010-10-19 Hypermed Imaging, Inc. Integrated imaging apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778682A (zh) * 2014-01-14 2015-07-15 三星泰科威株式会社 对特征点采样的方法、图像匹配方法和图像匹配设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Region-based fusion of infrared and visible images using nonsubsampled contourlet transform;Baolong Guo等;《Chinese Optics Letters》;20080510;第6卷(第5期);第338-341页 *
基于可见光与红外汽车夜视系统目标测距;王雷雷;《中国优秀硕士学位论文全文数据库信息科技辑》;20120615(第06期);摘要，第35-55页 *

Also Published As

Publication number Publication date
CN105354851A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354851B (zh) 对距离自适应的红外与可见光视频融合方法
CN108769509B (zh) 控制摄像头的方法、装置、电子设备及存储介质
CN108965732B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR101066068B1 (ko) 듀얼 카메라를 이용한 영상 감시 장치 및 방법
US7961906B2 (en) Human detection with imaging sensors
CN108419017B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN109118581B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
BR112016006666B1 (pt) Sistema de apresentação de informações
CN109166153A (zh) 基于双目视觉的塔吊高空作业三维定位方法及定位系统
KR20210063224A (ko) 융합 이미지 라이다의 어노테이션 및 캘리브레이션을 위한 시스템 및 방법
CN109151303B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2022141294A1 (zh) 仿真测试方法、系统、仿真器、存储介质及程序产品
CN108076267A (zh) 摄像装置、摄像系统以及距离信息获取方法
CN107343174A (zh) 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN105744138A (zh) 快速对焦方法和电子设备
JP2005024463A (ja) ステレオ広視野画像処理装置
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2021259365A1 (zh) 一种目标测温方法、装置及测温系统
CN108259722A (zh) 成像方法、装置及电子设备
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
JP2006060425A (ja) 画像生成方法および装置
CN103971479A (zh) 基于摄像机标定技术的林火定位方法
CN205793054U (zh) 对距离自适应的红外与可见光视频融合系统
CN117197779A (zh) 一种基于双目视觉的轨道交通异物检测方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant