CN110751705A - 一种热成像与可见光的图像融合方法 - Google Patents

一种热成像与可见光的图像融合方法 Download PDF

Info

Publication number
CN110751705A
CN110751705A CN201910949438.7A CN201910949438A CN110751705A CN 110751705 A CN110751705 A CN 110751705A CN 201910949438 A CN201910949438 A CN 201910949438A CN 110751705 A CN110751705 A CN 110751705A
Authority
CN
China
Prior art keywords
data
visible light
thermal imaging
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910949438.7A
Other languages
English (en)
Other versions
CN110751705B (zh
Inventor
黎琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingchengen Mechanical Equipment Shenzhen Co Ltd
Original Assignee
Xingchengen Mechanical Equipment Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingchengen Mechanical Equipment Shenzhen Co Ltd filed Critical Xingchengen Mechanical Equipment Shenzhen Co Ltd
Priority to CN201910949438.7A priority Critical patent/CN110751705B/zh
Publication of CN110751705A publication Critical patent/CN110751705A/zh
Application granted granted Critical
Publication of CN110751705B publication Critical patent/CN110751705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于图像融合领域，尤其是一种热成像与可见光的图像融合方法，针对现有的成像装置不能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节的问题，现提出如下方案，其包括以下步骤：S1：利用热成像传感器和可见光传感器同步采集目标场景；S2：对采集的数据进行收集；S3：对收集后的数据进行解析，然后进行封装或打包；S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容，本发明能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，两张图像的优势互补，呈现更多的图像细节。

Description

一种热成像与可见光的图像融合方法
技术领域
本发明涉及图像融合技术领域，尤其涉及一种热成像与可见光的图像融合方法。
背景技术
物质的运动是产生红外线的根源，热成像目标物体，探测物体温度场，以便用户生产作业。例如单红外热像仪和红外热成像摄像机。
但现有的成像装置多是没有热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节。
因此，我们提出了一种热成像与可见光的图像融合方法用于解决上述问题。
发明内容
本发明提出的一种热成像与可见光的图像融合方法，解决了现有的成像装置不能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节的问题。
为了实现上述目的，本发明采用了如下技术方案：
一种热成像与可见光的图像融合方法，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：对采集的数据进行收集；
S3：对收集后的数据进行解析，然后进行封装或打包；
S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：根据需求和设置，选择三个图像中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端。
优选的，所述S2中，利用图像数据收集单元对采集的数据进行收集。
优选的，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包。
优选的，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道(例如Mipi)，按照一定频率往外发数据。
优选的，所述S4中，利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容。
优选的，所述S5中，利用融合器把可见光的数据与热成像的数据顺序的排在一起，可见光数据放在前面，热成像数据接在后面，然后把合并的数据流按照可见光图像格式或者某一种自定义的数据流格式封装。
优选的，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装。
优选的，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区。
优选的，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示。
优选的，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
与现有技术相比，本发明的有益效果是：
1、相对单红外，融合可见光后，在保持原热像的性能外，显示会有更多的细节信息，图像会更加的清晰，比达到更好高像素的热像仪的清晰效果更加好；
2、图像校准、融合等数据量运算，交由性能更加好运算速度快的主机完成，降低模组的功耗、体积、成本等；
3、具备小型化应用的可能，例如手机、随身携带装置等。
本发明能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，两张图像的优势互补，呈现更多的图像细节。
附图说明
图1为本发明提出的一种热成像与可见光的图像融合方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种热成像与可见光的图像融合方法，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：对采集的数据进行收集；
S3：对收集后的数据进行解析，然后进行封装或打包；
S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：根据需求和设置，选择三个图像中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端。
本实施例中，所述S2中，利用图像数据收集单元对采集的数据进行收集，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道(例如Mipi)，按照一定频率往外发数据，所述S4中，利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容，所述S5中，利用融合器把可见光的数据与热成像的数据顺序的排在一起，可见光数据放在前面，热成像数据接在后面，然后把合并的数据流按照可见光图像格式或者某一种自定义的数据流格式封装，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
本实施例中，热成像传感器、可见光传感器和图像数据收集单元构成热成像融合模组；数据接收单元和融合器构成驱动器，驱动器在主机中实现；选择器、视频显示驱动设备和视频显示设备构成应用层显示模块，热成像融合模组通过专用的图像数据通道(例如Mipi)与驱动器连接，驱动器与应用层显示模块连接。
本实施例中，热成像数据做伪彩处理，例如按照热度值做直方图，与RGB按照一定的规律做映射，例如最高热度对应RGB(255，255，255)，或者RGB(255，0，255)等。
本实施例中，产品的实现思路：产品包括融合的可见光和红外热成像模组，供各类操作系统自动识别的驱动程序包括融合算法，上层界面为根据用户需要包含可见光/融合/热成像可选的界面；
红外热像仪与可见光模块被集成在一个模块中，模块实现可见光和热像图像的采集、图像处理、封装和打包，发送给上位机中央处理器；
图像处理主要包括对红外图像的非均匀性校正，参数在融合模组生产过程中获取，并将参数表存放在模组中；
上位机中央处理器驱动及其融合算法，为软件的形态；
上层界面为根据用户需要的视频浏览界面，支持拍照；
外观结构与内部构造，解决两个模组散热，且支持产品在一定的温度环境中良好的工作；
摄像头的中心距离，与融合算法图像的对齐算法相关；
融合算法部分；
非均匀性校准。
本实施例中，小型化集成，硬件及其资源的配置最优，例如电路设计及其原件的选型，成本最优；热处理设计，支持热成像部分无挡片，外加多次非线性校准，通过软件的方式简化硬件，保持有挡片的同样性能，同时提到模组的使用寿命；图像处理软件可以实现的部分，在系统调用这个功能后，交由性能更好的主机完成，充分利用主机的资源并使得模组设计简化成为可能。
本实施例中，相对单红外，融合可见光后，在保持原热像的性能外，显示会有更多的细节信息，图像会更加的清晰，比达到更好高像素的热像仪的清晰效果更加好；图像校准、融合等数据量运算，交由性能更加好运算速度快的主机完成，降低模组的功耗、体积、成本等；具备小型化应用的可能，例如手机、随身携带装置等。本发明能够实现热成像与可见光的融合，将可见光与热成像按照一定的方式进行叠加，两种图像的优势互补，呈现更多的图像细节。
本实施例中，主机通过MiPi接收到的一帧数据后，还原成原来的可见光图和红外热像图。实例说明：可见光图640*480(307200)，红外数据为120*90(10800，像素需要字节于可见光要求小，作为伪可见光数据)，把两张图像拼接为一张伪可见光640*500(320000)的图用于主机与模组的通讯。
本实施例中，将红外热成像与可见光图像，通过FPGA逻辑接口形成片上系统，把同一时刻的热点图和可见光图片数据流进行采集、打包、封装完成后上传给控制中心；然后有控制系统对上传的数据内容，进行可见光与红外图像的融合，最后根据应用需求，显示融合/红外热成像/可见光等图像或者视频；产品硬件形态为带有可见光和热成像两个摄像头的FPGA逻辑片上系统，外加驱动及其融合算法部分，使得该产品挂载到已有系统，例如手机/带操作系统的装备/智能装置等，即可在指定的显示屏上根据应用需要进行显示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种热成像与可见光的图像融合方法，其特征在于，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：对采集的数据进行收集；
S3：对收集后的数据进行解析，然后进行封装或打包；
S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：根据需求和设置，选择三个图像中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端。
2.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S2中，利用图像数据收集单元对采集的数据进行收集。
3.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包。
4.根据权利要求3所述的一种热成像与可见光的图像融合方法，其特征在于，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道，按照一定频率往外发数据。
5.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S4中，利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容。
6.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S5中，利用融合器把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装。
7.根据权利要求6所述的一种热成像与可见光的图像融合方法，其特征在于，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装。
8.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区。
9.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示。
10.根据权利要求9所述的一种热成像与可见光的图像融合方法，其特征在于，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
CN201910949438.7A 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法 Active CN110751705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910949438.7A CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910949438.7A CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Publications (2)

Publication Number Publication Date
CN110751705A true CN110751705A (zh) 2020-02-04
CN110751705B CN110751705B (zh) 2023-07-21

Family

ID=69277706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910949438.7A Active CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Country Status (1)

Country Link
CN (1) CN110751705B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613489A (zh) * 2021-01-08 2021-04-06 上海明略人工智能(集团)有限公司 一种数据采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合系统
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合系统
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
向天烛等: "一种顾及区域特征差异的热红外与可见光图像多尺度融合方法", 《武汉大学学报(信息科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613489A (zh) * 2021-01-08 2021-04-06 上海明略人工智能(集团)有限公司 一种数据采集方法及系统

Also Published As

Publication number Publication date
CN110751705B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN109640007B (zh) 人工智能图像传感设备
CN102801963B (zh) 基于高清数字摄像头监控的电子ptz方法及装置
KR101675567B1 (ko) 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
CN106851386B (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
CN109120869B (zh) 双光图像整合方法、整合设备及无人机
US7876360B2 (en) Image data transfer processor and surveillance camera system
CN103297668A (zh) 全景视频图像摄录系统及方法
CN105339840A (zh) 双镜头设备的拍照方法及双镜头设备
US20230043815A1 (en) Image Processing Method and Electronic Device
US10110806B2 (en) Electronic device and method for operating the same
WO2021093712A1 (zh) 图像处理方法和相关产品
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN112367557B (zh) Led电视墙的显示方法、电视和计算机可读存储介质
CN103106638A (zh) 用于实时图像处理的图形处理装置
CN109089048B (zh) 多镜头全景联动装置及方法
WO2017200547A1 (en) Array camera imaging system having distributed memory
CN110751705A (zh) 一种热成像与可见光的图像融合方法
CN108492266A (zh) 图像处理方法、装置、存储介质及电子设备
CN110930340B (zh) 一种图像处理方法及装置
EP2658245B1 (en) System and method of adjusting camera image data
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
US20220414830A1 (en) Method and apparatus for improved object detection
CN118555471A (zh) 拍摄方法、电子设备及存储介质
CN113242386B (zh) 图像传输控制装置、显示装置及图像传输控制方法
CN115134633B (zh) 一种远程视频方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 619, Xinaolin Building, No. 15 Gaoxin North 2nd Road, Songpingshan Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Chengen heat Vision Technology Co.,Ltd.

Address before: 3A01E, Floor 4, Cangsong Building, Tairan Science Park, Tairan 6th Road, Tian'an Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Applicant before: Xingchengen mechanical equipment (Shenzhen) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant