CN109377469B - 一种热成像融合可见光图像的处理方法、系统及存储介质 - Google Patents

一种热成像融合可见光图像的处理方法、系统及存储介质 Download PDF

Info

Publication number
CN109377469B
CN109377469B CN201811316694.4A CN201811316694A CN109377469B CN 109377469 B CN109377469 B CN 109377469B CN 201811316694 A CN201811316694 A CN 201811316694A CN 109377469 B CN109377469 B CN 109377469B
Authority
CN
China
Prior art keywords
image
edge
visible light
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811316694.4A
Other languages
English (en)
Other versions
CN109377469A (zh
Inventor
雷鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yongzhou Nuofangzhou Electronic Technology Co ltd
Original Assignee
Yongzhou Nuofangzhou Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yongzhou Nuofangzhou Electronic Technology Co ltd filed Critical Yongzhou Nuofangzhou Electronic Technology Co ltd
Priority to CN201811316694.4A priority Critical patent/CN109377469B/zh
Publication of CN109377469A publication Critical patent/CN109377469A/zh
Application granted granted Critical
Publication of CN109377469B publication Critical patent/CN109377469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种热成像融合可见光图像的处理方法、系统及存储介质，包括步骤：1、摄像头采集可见光数据，并输出RGB图像；2、红外线探测器采集红外线辐射数据，并输出；3、RGB图像备份；4、RGB图像转换成灰度图；5、灰度图高斯滤波；6、计算梯度与方向；7、非极大值抑制；8、自适应双阈值计算；9、图像边缘检测；10、连接边缘点输出边缘图像；11、合成带边缘线条的RGB图像；12、坏点处理；13、一阶滞后滤波；14、非均匀性校正；15、加入调色板转换成红外热图像；16、红外热图像增强。17、图像放大适应屏幕；18、图像显示。本发明通过红外热成像融合可见光图像使得人眼从热像仪上更好的观察被测场景的温度分布。

Description

一种热成像融合可见光图像的处理方法、系统及存储介质
技术领域
本发明公开一种热成像融合可见光图像处理技术，特别是一种热成像融合可见光图像的处理方法、系统及存储介质，属于热成像处理技术领域。
背景技术
任何自然的物体都会对周围辐射红外线，热成像处理技术就是指利用光学成像物镜与红外线探测器接受被测目标的红外辐射能量反映到红外探测器的光敏元件上，从而获得物体表面热分布的图形图，这种热像图与物体表面的热分布场相对应。通俗一点讲红外热成像就是将物体发出的不可见红外能量转变为可见的热图像，即目标表面温度分布的图像。这种将景物因温度和发射率不同而产生的红外线辐射空间分布转换成视频图像的技术，称为红外热成像技术或简称热成像技术。
红外线探测器收集外界的红外辐射进而聚集到红外传感器上，红外传感器通常采用热释电元件，这种元件在接收了红外辐射温度发出变化时就会向外释放电荷，检测处理后产生报警，这种探测器是以探测人体辐射为目标的，所以辐射敏感元件对波长为10μm左右的红外辐射必须非常敏感。现有的红外探测器，都普遍存在噪声大，重复精度差，灵敏低等特点，因此成像效果都不理想。
发明内容
针对上述提到的现有技术中的红外线探测器成像效果不好的缺点，本发明提供一种热成像融合可见光图像的处理方法及系统，其采用红外探测器输出的红外线辐射数据加上可见光摄像头输出的RGB的图像处理方法，可以提高热像仪的灵敏度和重复精度，降低噪声，增强红外热成像的效果。
本发明解决其技术问题采用的技术方案是：一种热成像融合可见光图像的处理方法，处理方法包括下述步骤：
步骤S1、通过可见光摄像头采集可见光数据，并输出RGB图像；
步骤S2、采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据；
步骤S3、RGB图像备份：由步骤S1可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起送到步骤S11中合成带边缘线条的RGB图像；
步骤S4、RGB图像转换成灰度图：把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如公式(1)所述：
Gray＝R*0.299+G*0.587+B*0.114
步骤S5、灰度图高斯滤波：将步骤S4生成的灰度图片进行二维高斯滤波；
步骤S6、计算梯度与方向：经过步骤S5滤波后的图像，计算像素点的梯度与方向；
步骤S7、非极大值抑制：将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，该值将被保留，否则，该值将被抑制等于0；
步骤S8、自适应双阈值计算：根据每个像素的背景亮度来改变阈值，每个像素点的阈值根据相邻的块的阈值进行插值获得；
步骤S9、图像边缘检测：查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就保留为真实的边缘；
步骤S10、连接边缘点输出边缘图像：通过步骤S4至步骤S9完成图像算法的边缘提取，将边缘点连接起来，形成带边缘图像；
步骤S11、合成带边缘线条的RGB图像：由步骤S10输出的带边缘图像和步骤S3备份的RGB图像合成带边缘线条的RGB图像；
步骤S12、坏点处理：在红外辐射热量数据中找到坏点进行处理；
步骤S13、一阶滞后滤波：由步骤S12处理后的数据做一阶滞后滤波；
步骤S14、非均匀性校正：各像素点做非均匀性校正，非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和偏移因子b，就可求出无畸变的输入信号x；
步骤S15、加入调色板转换成红外热图像：在步骤S14得到的数据中转换成红外热图像；
步骤S16、红外热图像增强：温差较小时，红外图像需要增强，图像增强手段采用高斯滤波，对于高斯噪声外的噪声，采用平值滤波法，即求平均值。
步骤S17、图像放大适应屏幕：将图像放大成显示屏幕的大小，并输出到下一步骤进行下一步处理；
步骤S18、图像显示：合成带有温度信息的图像并送到显示器显示，由步骤S11输出的合成带边缘线条的RGB图像和步骤S17输出的红外热图像，合成带有温度信息的图像并送到显示器显示。
一种热成像融合可见光图像的处理系统，处理系统包括：可见光摄像头、红外线探测器、数据处理单元、外部数据存储模块和显示器，可见光摄像头和红外线探测器分别与数据处理单元，输出图像数据给数据处理单元，外部数据存储模块与数据处理单元连接，通过外部数据存储模块存储可见光摄像头采集可见光数据和红外线探测器采集红外线辐射数据，显示器与数据处理单元连接，用于显示处理结果，处理系统还包括：
可见光采集单元：其用于通过可见光摄像头采集可见光数据，并输出RGB图像至数据处理单元；
红外线辐射数据采集单元：其采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据至数据处理单元；
RGB图像备份单元：用于将可见光采集单元中可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起合成带边缘线条的RGB图像；
RGB图像转换成灰度图单元：其用于把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如以下公式所述：
Gray＝R*0.299+G*0.587+B*0.114
灰度图高斯滤波单元：将RGB图像转换成灰度图单元生成的灰度图片进行二维高斯滤波；
计算梯度与方向单元：其用于经过灰度图高斯滤波单元滤波后的图像，进一步计算像素点的梯度与方向；
非极大值抑制单元：将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，该值将被保留，否则，该值将被抑制等于0；
自适应双阈值计算单元：将图像分成较小的块，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值，然后，每个像素点的阈值根据相邻的块的阈值进行插值获得；
图像边缘检测单元：图像中的真实边缘中提取出来的已经被确定为边缘被划分为强边缘的像素点，对于弱边缘像素，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘；
连接边缘点输出边缘图像单元：通过RGB图像转换成灰度图单元、灰度图高斯滤波单元、计算梯度与方向单元、非极大值抑制单元、自适应双阈值计算单元以及图像边缘检测单元即完成图像算法的边缘提取，将边缘点连接起来，即形成带边缘图像；
合成带边缘线条的RGB图像单元：由连接边缘点输出边缘图像单元输出的带边缘图像和RGB图像备份单元备份的RGB图像合成带边缘线条的RGB图像；
坏点处理单元：由红外线探测器输出红外辐射热量数据，在红外辐射热量数据中找到坏点进行处理，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整；
一阶滞后滤波单元：由坏点处理单元处理后的数据做一阶滞后滤波；一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置；
非均匀性校正单元：非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和偏移因子b，就可求出无畸变的输入信号x；
加入调色板转换成红外热图像单元：在非均匀性校正单元得到的数据中用调色板转换成红外热图像；
红外热图像增强单元：温差较小时，红外图像需要增强；
图像放大适应屏幕单元：将图像放大成显示屏幕的大小；
图像显示：合成带有温度信息的图像并送到显示器显示，由合成带边缘线条的RGB图像单元输出的合成带边缘线条的RGB图像和图像放大适应屏幕单元输出的红外热图像，合成带有温度信息的图像并送到显示器显示。
一种存储有如上述的热成像融合可见光图像的处理方法的存储介质。
本发明解决其技术问题采用的技术方案进一步还包括：
所述的步骤S5中，灰度图片进行二维高斯滤波处理时，选取一块矩形区域，以这个矩形的中心像素点为原点，利用下述二维高斯函数求出这个矩形区域每个点的权值
Figure BDA0001856468700000061
其中，A是幅值，x0和y0为圆点坐标(即中心点坐标)，x和y为当前点坐标，σx和σy为方差。
所述的步骤S6中，使用Sobel算子来检测图像中的水平、垂直和对角边缘，返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ，
Figure BDA0001856468700000062
θ＝arc tan(Gy/Gx)
所述的步骤S8中，将图像分成较小的块，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值。
所述的步骤S12中，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整。
所述的步骤S13中，一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置。
所述的步骤S15中，加入调色板转换成红外热图像时，用调色板标记各温度的颜色。
所述的灰度图片进行二维高斯滤波处理时，需要选取一块矩形区域，以这个矩形的中心像素点为原点，利用下述二维高斯函数求出这个矩形区域每个点的权值
Figure BDA0001856468700000071
其中，A是幅值，x0和y0为圆点坐标(即中心点坐标)，x和y为当前点坐标，σx和σy为方差。
本发明的有益效果是：本发明通过红外热成像融合可见光图像使得人眼从热像仪上更好的观察被测场景的温度分布。
下面将结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为本发明控制电路方框图。
图2为本发明的控制流程图。
具体实施方式
本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。
请参看附图1和附图2，本发明主要为一种热成像融合可见光图像的处理方法，其涉及到的相关设备包括：可见光摄像头、红外线探测器、数据处理单元、外部数据存储模块和显示器，可见光摄像头和红外线探测器分别与数据处理单元，输出图像数据给数据处理单元，外部数据存储模块与数据处理单元连接，通过外部数据存储模块存储可见光摄像头采集可见光数据和红外线探测器采集红外线辐射数据，显示器与数据处理单元连接，用于显示处理结果。
本发明的处理方法主要包括下述步骤：
步骤S1、通过可见光摄像头采集可见光数据，并输出RGB图像至数据处理单元；
步骤S2、采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据至数据处理单元，本实施例中，红外线探测器采用德国海曼公司生产的32*32点红外线探测器，具体实施时，也可以采用其他品牌或其他型号的红外线探测器；
步骤S3、RGB图像备份：由步骤S1可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起送到步骤S11中合成带边缘线条的RGB图像；
步骤S4、RGB图像转换成灰度图：把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如公式(1)所述：
Gray＝R*0.299+G*0.587+B*0.114 公式(1)
步骤S5、灰度图高斯滤波：将步骤S4生成的灰度图片进行二维高斯滤波，以消除高斯噪声，本实施例中，灰度图片进行二维高斯滤波处理时，需要选取一块矩形区域(本实施例中，选取的区域一般是3*3的像素点图)，以这个矩形的中心像素点为原点，利用下述二维高斯函数(公式2)可以求出这个3*3区域每个点的权值(权值相加之和为1)
Figure BDA0001856468700000091
其中，A是幅值，x0和y0为圆点坐标(即中心点坐标)，x和y为当前点坐标，σx和σy为方差，
步骤S6、计算梯度与方向：经过步骤S5滤波后的图像，进一步计算像素点的梯度与方向，为了提取轮廓线，梯度就是需要连的点，方向就是连线的走向；由于图像中的边缘(即可见光摄像头所拍到的图像边缘)可以指向各个方向，因此使用Sobel算子来检测图像中的水平、垂直和对角边缘，返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ，
Figure BDA0001856468700000092
θ＝arc tan(Gy/Gx) 公式(4)
步骤S7、非极大值抑制：经过步骤S6计算后的图片，从梯度值中提取的边缘仍然非常模糊，应该只对边缘有一个准确的响应，因此，非极大抑制可以帮助抑制除局部最大值之外的所有梯度值等于0，实施方式是将当前像素的边缘强度与经过步骤S6计算的正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，该值将被保留，否则，该值将被抑制等于0；
步骤S8、自适应双阈值计算：由于各种场景，每个点的背景亮度并不相同，从光照不均匀的图像中产生较好的二值化图像需要一种自适应的阈值算法，这是根据每个像素的背景亮度来改变阈值，由于图像处理是按点来处理的，每个点的亮度不同，阈值也不同。实施方式是将图像分成较小的块(通常为3*3的矩形)，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值，然后，每个像素点的阈值根据相邻的块的阈值进行插值获得，即与周围的点来求平均；
步骤S9、图像边缘检测：图像中的真实边缘中提取出来的已经被确定为边缘被划分为强边缘的像素点，对于弱边缘像素，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的，为了获得准确的结果，应该抑制由后者引起的弱边缘。为了跟踪边缘连接，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘；
步骤S10、连接边缘点输出边缘图像：通过步骤S4至步骤S9即可完成图像算法的边缘提取，即连接边缘点，将其连接起来，即形成带边缘图像；
步骤S11、合成带边缘线条的RGB图像：由步骤S10输出的带边缘图像和步骤S3备份的RGB图像合成带边缘线条的RGB图像；
步骤S12、坏点处理：由红外线探测器输出红外辐射热量数据，在红外辐射热量数据中找到坏点进行处理(本实施例中传感器输出数据中会告诉用户坏点的所在位置)，坏点就是不能感应的点，就如屏幕坏点一样，坏点的值是不会变化的，本实施例中，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整，本实施例中，好点即是坏点旁边能感应热能的点；
步骤S13、一阶滞后滤波：由步骤S12处理后的数据做一阶滞后滤波；本实施例中，一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置；
步骤S14、非均匀性校正：由各点存在差异，需要对其做非均匀性校正；本实施例中，非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和偏移因子b，就可求出无畸变的输入信号x；
步骤S15、加入调色板转换成红外热图像：在步骤S14得到的数据中用调色板转换成红外热图像(由于红外线探测器输出的只是跟温度有关系的数字，不能直接显示，需要转换成RGB图像)，为了直观反映被测物体的温度分布，用调色板标记各温度的颜色，本实施例中，调色板是一个表格，各温度对应表格的值，通过查表找到各温度对应的颜色，并进行标记；
步骤S16、红外热图像增强：温差较小(即被测量目标温度和环境温度接近，本实施例中，即被测量目标温度和环境温度的温差小于4度)时，红外图像需要增强；本实施例中，图像增强手段可采用高斯滤波，对于高斯噪声外的噪声，可以用平值滤波法，即求平均值。
步骤S17、图像放大适应屏幕：将图像放大成显示屏幕的大小，由于探测器的分辨率小于屏幕的分辨率时，需要放大成合适屏幕大小的图像，并输出到下一步骤进行下一步处理，本实施例中，图像放大时，将一个点复制成几个点；
步骤S18、图像显示：合成带有温度信息的图像并送到显示器显示，由步骤S11输出的合成带边缘线条的RGB图像和步骤S17输出的红外热图像，合成(合成就是指两个以上的图像叠加一起显示)带有温度信息的图像并送到显示器显示。
本发明同时保护一种热成像融合可见光图像的处理系统，包括：可见光摄像头、红外线探测器、数据处理单元、外部数据存储模块和显示器，可见光摄像头和红外线探测器分别与数据处理单元，输出图像数据给数据处理单元，外部数据存储模块与数据处理单元连接，通过外部数据存储模块存储可见光摄像头采集可见光数据和红外线探测器采集红外线辐射数据，显示器与数据处理单元连接，用于显示处理结果，本发明中的热成像融合可见光图像的处理系统还包括：
可见光采集单元：其用于通过可见光摄像头采集可见光数据，并输出RGB图像至数据处理单元；
红外线辐射数据采集单元：其采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据至数据处理单元，本实施例中，红外线探测器采用德国海曼公司生产的32*32点红外线探测器，具体实施时，也可以采用其他品牌或其他型号的红外线探测器；
RGB图像备份单元：用于将可见光采集单元中可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起合成带边缘线条的RGB图像；
RGB图像转换成灰度图单元：其用于把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如公式(1)所述：
Gray＝R*0.299+G*0.587+B*0.114 公式(1)
灰度图高斯滤波单元：将RGB图像转换成灰度图单元生成的灰度图片进行二维高斯滤波，以消除高斯噪声，本实施例中，灰度图片进行二维高斯滤波处理时，需要选取一块矩形区域(本实施例中，选取的区域一般是3*3的像素点图)，以这个矩形的中心像素点为原点，利用下述二维高斯函数(公式2)可以求出这个3*3区域每个点的权值(权值相加之和为1)
Figure BDA0001856468700000131
其中，A是幅值，x0和y0为圆点坐标(即中心点坐标)，x和y为当前点坐标，σx和σy为方差。
计算梯度与方向单元：其用于经过灰度图高斯滤波单元滤波后的图像，进一步计算像素点的梯度与方向，为了提取轮廓线，梯度就是需要连的点，方向就是连线的走向；由于图像中的边缘(即可见光摄像头所拍到的图像边缘)可以指向各个方向，因此使用Sobel算子来检测图像中的水平、垂直和对角边缘，返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ，
Figure BDA0001856468700000132
θ＝arc tan(Gy/Gx) 公式(4)
非极大值抑制单元：经过计算梯度与方向单元计算后的图片，从梯度值中提取的边缘仍然非常模糊，应该只对边缘有一个准确的响应，因此，非极大抑制可以帮助抑制除局部最大值之外的所有梯度值等于0，实施方式是将当前像素的边缘强度与经过计算梯度与方向单元计算的正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，该值将被保留，否则，该值将被抑制等于0；
自适应双阈值计算单元：由于各种场景，每个点的背景亮度并不相同，从光照不均匀的图像中产生较好的二值化图像需要一种自适应的阈值算法，这是根据每个像素的背景亮度来改变阈值，由于图像处理是按点来处理的，每个点的亮度不同，阈值也不同。实施方式是将图像分成较小的块(通常为3*3的矩形)，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值，然后，每个像素点的阈值根据相邻的块的阈值进行插值获得，即与周围的点来求平均；
图像边缘检测单元：图像中的真实边缘中提取出来的已经被确定为边缘被划分为强边缘的像素点，对于弱边缘像素，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的，为了获得准确的结果，应该抑制由后者引起的弱边缘。为了跟踪边缘连接，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘；
连接边缘点输出边缘图像单元：通过RGB图像转换成灰度图单元、灰度图高斯滤波单元、计算梯度与方向单元、非极大值抑制单元、自适应双阈值计算单元以及图像边缘检测单元即可完成图像算法的边缘提取，即连接边缘点，将其连接起来，即形成带边缘图像；
合成带边缘线条的RGB图像单元：由连接边缘点输出边缘图像单元输出的带边缘图像和RGB图像备份单元备份的RGB图像合成带边缘线条的RGB图像；
坏点处理单元：由红外线探测器输出红外辐射热量数据，在红外辐射热量数据中找到坏点进行处理(本实施例中传感器输出数据中会告诉用户坏点的所在位置)，坏点就是不能感应的点，就如屏幕坏点一样，坏点的值是不会变化的，本实施例中，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整，本实施例中，好点即是坏点旁边能感应热能的点；
一阶滞后滤波单元：由坏点处理单元处理后的数据做一阶滞后滤波；本实施例中，一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置；
非均匀性校正单元：由各点存在差异，需要对其做非均匀性校正；本实施例中，非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和偏移因子b，就可求出无畸变的输入信号x；
加入调色板转换成红外热图像单元：在非均匀性校正单元得到的数据中用调色板转换成红外热图像(由于红外线探测器输出的只是跟温度有关系的数字，不能直接显示，需要转换成RGB图像)，为了直观反映被测物体的温度分布，用调色板标记各温度的颜色，本实施例中，调色板是一个表格，各温度对应表格的值，通过查表找到各温度对应的颜色，并进行标记；
红外热图像增强单元：温差较小(即被测量目标温度和环境温度接近，本实施例中，即被测量目标温度和环境温度的温差小于4度)时，红外图像需要增强；本实施例中，图像增强手段可采用高斯滤波，对于高斯噪声外的噪声，可以用平值滤波法，即求平均值。
图像放大适应屏幕单元：将图像放大成显示屏幕的大小，由于探测器的分辨率小于屏幕的分辨率时，需要放大成合适屏幕大小的图像，并输出进行下一步处理，本实施例中，图像放大时，将一个点复制成几个点；
图像显示：合成带有温度信息的图像并送到显示器显示，由合成带边缘线条的RGB图像单元输出的合成带边缘线条的RGB图像和图像放大适应屏幕单元输出的红外热图像，合成(合成就是指两个以上的图像叠加一起显示)带有温度信息的图像并送到显示器显示。
红外热图像增强：温差较小时，红外图像需要增强；本实施例中，图像增强手段可采用高斯滤波，对于高斯噪声外的噪声，可以用平值滤波法，即求平均值。
本发明还保护一种存储有上述热成像融合可见光图像的处理方法的存储介质。
本发明通过红外热成像融合可见光图像使得人眼从热像仪上更好的观察被测场景的温度分布。

Claims (10)

1.一种热成像融合可见光图像的处理方法，其特征是：所述的处理方法包括下述步骤：
步骤S1、通过可见光摄像头采集可见光数据，并输出RGB图像；
步骤S2、采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据；
步骤S3、RGB图像备份：由步骤S1可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起送到步骤S11中合成带边缘线条的RGB图像；
步骤S4、RGB图像转换成灰度图：把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如下公式所述：
Gray＝R*0.299+G*0.587+B*0.114
步骤S5、灰度图高斯滤波：将步骤S4生成的灰度图像进行二维高斯滤波；
步骤S6、计算梯度与方向：经过步骤S5滤波后的图像，计算像素点的梯度与方向；
步骤S7、非极大值抑制：将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，当前像素的边缘强度值将被保留，否则，当前像素的边缘强度值将被抑制等于0；
步骤S8、自适应双阈值计算：根据每个像素的背景亮度来改变阈值，每个像素点的阈值根据相邻的块的阈值进行插值获得；
步骤S9、图像边缘检测：查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就保留为真实的边缘；
步骤S10、连接边缘点输出边缘图像：通过步骤S4至步骤S9完成图像算法的边缘提取，将边缘点连接起来，形成带边缘图像；
步骤S11、合成带边缘线条的RGB图像：由步骤S10输出的带边缘图像和步骤S3备份的RGB图像合成带边缘线条的RGB图像；
步骤S12、坏点处理：在红外辐射热量数据中找到坏点进行处理；
步骤S13、一阶滞后滤波：由步骤S12处理后的数据做一阶滞后滤波；
步骤S14、非均匀性校正：各像素点做非均匀性校正，非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和偏移因子b，就可求出无畸变的输入信号x；
步骤S15、加入调色板转换成红外热图像：在步骤S14得到的数据中转换成红外热图像；
步骤S16、红外热图像增强：温差较小时，红外图像需要增强，图像增强手段采用高斯滤波，对于高斯噪声外的噪声，采用平值滤波法；
步骤S17、图像放大适应屏幕：将图像放大成显示屏幕的大小，并输出到下一步骤进行下一步处理；
步骤S18、图像显示：合成带有温度信息的图像并送到显示器显示，由步骤S11输出的合成带边缘线条的RGB图像和步骤S17输出的红外热图像，合成带有温度信息的图像并送到显示器显示。
2.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S5中，灰度图像进行二维高斯滤波处理时，选取一块矩形区域，以这个矩形的中心像素点为原点，利用下述二维高斯函数求出这个矩形区域每个点的权值
Figure FDA0002494930960000031
其中，A是幅值，x0和y0为原点坐标，x和y为当前点坐标，σx和σy为方差。
3.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S6中，使用Sobel算子来检测图像中的水平、垂直和对角边缘，返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向θ，
Figure FDA0002494930960000032
θ＝arc tan(Gy/Gx)。
4.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S8中，将图像分成较小的块，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值。
5.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S12中，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整。
6.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S13中，一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置。
7.根据权利要求1所述的热成像融合可见光图像的处理方法，其特征是：所述的步骤S15中，加入调色板转换成红外热图像时，用调色板标记各温度的颜色。
8.一种热成像融合可见光图像的处理系统，其特征是：所述的处理系统包括：可见光摄像头、红外线探测器、数据处理单元、外部数据存储模块和显示器，可见光摄像头和红外线探测器分别与数据处理单元，输出图像数据给数据处理单元，外部数据存储模块与数据处理单元连接，通过外部数据存储模块存储可见光摄像头采集可见光数据和红外线探测器采集红外线辐射数据，显示器与数据处理单元连接，用于显示处理结果，处理系统还包括：
可见光采集单元：其用于通过可见光摄像头采集可见光数据，并输出RGB图像至数据处理单元；
红外线辐射数据采集单元：其采用红外线探测器采集红外线辐射数据，并输出红外线辐射数据至数据处理单元；
RGB图像备份单元：用于将可见光采集单元中可见光摄像头输出的RGB图像分配至备份内存，等待连接边缘点输出边缘图像完成后，RGB图像备份数据一起合成带边缘线条的RGB图像；
RGB图像转换成灰度图单元：其用于把可见光摄像头采集可见光图像中的R、G、B三个通道的分量按照一定的比例计算到灰度图像中，将可见光图像转换成灰度图像，各分量的比例如以下公式所述：
Gray＝R*0.299+G*0.587+B*0.114
灰度图高斯滤波单元：将RGB图像转换成灰度图单元生成的灰度图像进行二维高斯滤波；
计算梯度与方向单元：其用于经过灰度图高斯滤波单元滤波后的图像，进一步计算像素点的梯度与方向；
非极大值抑制单元：将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的，当前像素的边缘强度值将被保留，否则，当前像素的边缘强度值将被抑制等于0；
自适应双阈值计算单元：将图像分成较小的块，然后分别计算每块的直方图，根据每个直方图的峰值，为每个块计算其阈值，然后，每个像素点的阈值根据相邻的块的阈值进行插值获得；
图像边缘检测单元：图像中的真实边缘中提取出来的已经被确定为边缘被划分为强边缘的像素点，对于弱边缘像素，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘；
连接边缘点输出边缘图像单元：通过RGB图像转换成灰度图单元、灰度图高斯滤波单元、计算梯度与方向单元、非极大值抑制单元、自适应双阈值计算单元以及图像边缘检测单元即完成图像算法的边缘提取，将边缘点连接起来，即形成带边缘图像；
合成带边缘线条的RGB图像单元：由连接边缘点输出边缘图像单元输出的带边缘图像和RGB图像备份单元备份的RGB图像合成带边缘线条的RGB图像；
坏点处理单元：由红外线探测器输出红外辐射热量数据，在红外辐射热量数据中找到坏点进行处理，处理坏点的方法是屏蔽坏点，用好点的数据代替使数据保证完整；
一阶滞后滤波单元：由坏点处理单元处理后的数据做一阶滞后滤波；一阶滞后滤波的方式如下：取a＝-1，本次滤波结果＝(1-a)*本次采样值+a*上次滤波结果，即可得到一阶滞后滤波的数据，其中，a为当前的处理位置；
非均匀性校正单元：非均匀性校正公式如下：
y＝ax+b
式中，x为探测器输入的信号，y为可测得的输出信号，输出增益因子a和移因子b，就可求出无畸变的输入信号x；
加入调色板转换成红外热图像单元：在非均匀性校正单元得到的数据中用调色板转换成红外热图像；
红外热图像增强单元：温差较小时，红外图像需要增强；
图像放大适应屏幕单元：将图像放大成显示屏幕的大小；
图像显示：合成带有温度信息的图像并送到显示器显示，由合成带边缘线条的RGB图像单元输出的合成带边缘线条的RGB图像和图像放大适应屏幕单元输出的红外热图像，合成带有温度信息的图像并送到显示器显示。
9.根据权利要求8所述的热成像融合可见光图像的处理系统，其特征是：所述的灰度图像进行二维高斯滤波处理时，需要选取一块矩形区域，以这个矩形的中心像素点为原点，利用下述二维高斯函数求出这个矩形区域每个点的权值
Figure FDA0002494930960000061
其中A是幅值，x0和y0为原点坐标，x和y为当前点坐标，σx和σy为方差。
10.一种存储有如权利要求1至7中任意一项所述的热成像融合可见光图像的处理方法的存储介质。
CN201811316694.4A 2018-11-07 2018-11-07 一种热成像融合可见光图像的处理方法、系统及存储介质 Active CN109377469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811316694.4A CN109377469B (zh) 2018-11-07 2018-11-07 一种热成像融合可见光图像的处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811316694.4A CN109377469B (zh) 2018-11-07 2018-11-07 一种热成像融合可见光图像的处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN109377469A CN109377469A (zh) 2019-02-22
CN109377469B true CN109377469B (zh) 2020-07-28

Family

ID=65397855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811316694.4A Active CN109377469B (zh) 2018-11-07 2018-11-07 一种热成像融合可见光图像的处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109377469B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695227B (zh) * 2019-03-13 2024-02-20 宁波方太厨具有限公司 一种灶具加热均匀性评价方法
CN110232660B (zh) * 2019-04-28 2022-05-03 电子科技大学 一种新型红外图像识别预处理灰度拉伸方法
CN110853109B (zh) * 2019-10-11 2020-07-10 中国南方电网有限责任公司超高压输电公司天生桥局 一种红外热图数据的压缩存储方法
CN111028187B (zh) * 2019-11-27 2023-10-20 航天时代飞鸿技术有限公司 一种光线自适应的机载双光图像侦察装置及方法
CN111931785A (zh) * 2020-06-19 2020-11-13 国网山西省电力公司吕梁供电公司 一种电力设备红外图像目标的边缘检测方法
CN111915682B (zh) * 2020-07-21 2022-07-15 天津大学 一种实时自调节的高光谱图像数据非均匀校正方法
CN111860404A (zh) * 2020-07-28 2020-10-30 华润智慧能源有限公司 一种光伏板热斑定位方法及系统
CN112132748B (zh) * 2020-09-24 2022-09-16 长沙理工大学 一种红外热成像超分辨率的处理方法
CN112287942A (zh) * 2020-10-20 2021-01-29 哈尔滨理工大学 一种适用于非均匀光照条件的二值化方法
CN112258441A (zh) * 2020-11-09 2021-01-22 北京中拓新源科技有限公司 一种基于可见光与红外线融合图像的生成方法
CN113043987A (zh) * 2020-11-16 2021-06-29 泰州镭昇光电科技有限公司 基于货车检测的防爆膜状态切换系统
CN112967204A (zh) * 2021-03-23 2021-06-15 新疆爱华盈通信息技术有限公司 热成像的降噪处理方法与系统、电子设备
CN113052833A (zh) * 2021-04-20 2021-06-29 东南大学 一种基于红外热辐射的非视域成像方法
CN113295298A (zh) * 2021-05-19 2021-08-24 深圳市朗驰欣创科技股份有限公司 测温方法、测温装置、终端设备及存储介质
CN113269747B (zh) * 2021-05-24 2023-06-13 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及系统
CN113784026B (zh) * 2021-08-30 2023-04-18 鹏城实验室 基于图像的计算位置信息的方法、装置、设备及存储介质
CN116977154B (zh) * 2023-09-22 2024-03-19 南方电网数字电网研究院有限公司 可见光图像与红外图像融合储存方法、装置、设备和介质
CN117096230B (zh) * 2023-10-19 2024-01-16 深圳蓝普视讯科技有限公司 一种微发光二极管显示屏巨量转移控制方法及相关设备
CN117547970B (zh) * 2024-01-12 2024-04-02 广东海洋大学 一种光热催化船舶废气处理的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374438B1 (en) * 2007-10-04 2013-02-12 Redshift Systems Corporation Visual template-based thermal inspection system
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374438B1 (en) * 2007-10-04 2013-02-12 Redshift Systems Corporation Visual template-based thermal inspection system
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter;Wei Gan et al.;《Infrared Physics & Technology》;20150722;第72卷;第37-51页 *
电路板故障红外热像检测关键技术研究;崔伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215;第2011年卷(第12期);第I135-61页 *
红外与可见光的图像融合系统及应用研究;张宝辉;《中国博士学位论文全文数据库 信息科技辑》;20140215;第2014年卷(第2期);第I138-49页 *

Also Published As

Publication number Publication date
CN109377469A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109377469B (zh) 一种热成像融合可见光图像的处理方法、系统及存储介质
US10997696B2 (en) Image processing method, apparatus and device
US10872448B2 (en) Edge enhancement for thermal-visible combined images and cameras
US10694101B2 (en) Contrast-enhanced combined image generation systems and methods
US9200895B2 (en) Image input device and image processing device
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
JP6553624B2 (ja) 計測機器、及びシステム
CN108055452A (zh) 图像处理方法、装置及设备
US20110169960A1 (en) Video enhancement system
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111837155A (zh) 图像处理方法及设备
WO2023134103A1 (zh) 图像融合方法、设备以及存储介质
KR20190076188A (ko) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
EP3800451A1 (en) Temperature measurement processing method and apparatus, and thermal imaging device
JP4193342B2 (ja) ３次元データ生成装置
Honda et al. Make my day-high-fidelity color denoising with near-infrared
CN114782502B (zh) 一种多光谱多传感器协同处理方法及装置、存储介质
CN106716991B (zh) 红外线摄像装置、图像处理方法及记录介质
CN112241935B (zh) 图像处理方法、装置及设备、存储介质
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
Wegner et al. Image based performance analysis of thermal imagers
Kudinov et al. Calibration based visible and infrared image superimposition for fusion task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant