CN111272290B - 基于深度神经网络的测温红外热像仪标定方法及装置 - Google Patents
基于深度神经网络的测温红外热像仪标定方法及装置 Download PDFInfo
- Publication number
- CN111272290B CN111272290B CN202010169712.1A CN202010169712A CN111272290B CN 111272290 B CN111272290 B CN 111272290B CN 202010169712 A CN202010169712 A CN 202010169712A CN 111272290 B CN111272290 B CN 111272290B
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- temperature
- detector
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000005855 radiation Effects 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 29
- 230000005457 Black-body radiation Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- XHCLAFWTIXFWPH-UHFFFAOYSA-N [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] XHCLAFWTIXFWPH-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910001935 vanadium oxide Inorganic materials 0.000 description 2
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002210 silicon-based material Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开基于深度神经网络的测温热像仪标定方法，包括如下步骤：利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；构建深度神经网络和样本数据库；利用样本数据库训练深度神经网络并更新深度神经网络参数；利用训练后的深度神经网络标定出红外图像对应的温度场图像。本发明还公开基于深度神经网络的测温热像仪标定装置。本发明利用深度神经网络建立红外镜头温度、探测器焦平面的工作温度、红外图像的像素值三者与温度测量值的映射关系，更新深度神经网络参数，利用更新后的深度神经网络估计温度测量值，从而使得测温红外热像仪具有无需机械挡片、测温操作简单、测温精度高的优点。
Description
技术领域
本发明属于红外辐射测量技术领域，具体涉及基于深度神经网络的测温红外热像仪标定方法及装置。
背景技术
测温红外热像仪是获取目标红外辐射特性的核心器件。红外热像仪由红外镜头、红外焦平面探测器、测温信息处理单元构成。红外热像仪的前端为红外镜头，红外材料的透过率和折射率对环境温度敏感，环境温度变化将影响红外镜头的红外辐射特性，造成红外热像仪对恒定红外场景辐射的响应值发生漂移，从而影响红外热像仪对场景温度测量的精度。红外热像仪测量场景温度过程中，红外探测器焦平面的工作温度变化将改变场景红外辐射输入与探测器响应输出之间的映射关系，从而影响红外热像仪对场景温度测量的精度。由于红外焦平面探测器材料和工艺水平等限制，红外焦平面阵列各像元对均匀红外辐射场的响应存在非均匀性，造成红外热像仪难以对红外辐射场进行精确测量。
红外热像仪的红外镜头工作温度、探测器焦平面的工作温度、探测器焦平面的非均匀性，这三种因素降低红外热像仪的测温精度，需要对红外热像仪进行标定，常见的红外热像仪标定方法归纳如下：
针对红外镜头温度变化对测温精度的影响，典型的标定方法为：在标定处理过程中，利用预先测量得到的在不同环境温度下红外镜头的红外辐射数据，对红外热像仪输出的原始测温数据进行补偿处理，以补偿红外镜头温度变化引起的测量误差；针对红外探测器焦平面的工作温度对测温精度影响，现有基于探测器焦平面工作温度区间段的红外热像仪无挡片非均匀校正方法(授权专利公布号：CN 103162843B；授权专利公布号：CN107421643B)，其基本思想：根据探测器焦平面的当前工作温度，确定焦平面工作温度所在的温度区间段，利用温度区两端对应的工作温度值及本底红外图像估计各像元用于校正的增益和偏置系数，进而对原始红外图像进行校正处理；该类方法通过温度区两端的本底红外图像来估计当前探测器工作温度下的增益和偏置系数，估计得到的增益和偏置系数存在误差；针对红外热像仪的焦平面非均匀性对测量精度的影响，典型的红外热像仪标定方法假定红外探测器各像元对红外辐射的响应是线性的，相应采用两点或多点的分段线性标定方法；例如现有技术红外热像仪无挡片非均匀校正装置(授权公布号：CN 207866372U)，其通过在红外热像仪的光路系统中增加一个由反射镜和反射振镜构成的均匀面装置。
上述三种因素的处理方法存在以下缺陷：
1、红外镜头温度变化对测温精度的影响的误差补偿方法操作过程繁琐，降低了测温操作效率；
2、采用机械挡片进行补偿处理，但采用机械挡片将增加测温红外热像仪的设计复杂性，不利于红外热像仪的小型化，机械挡片故障将降低红外热像仪的工作稳定性，挡片发热将造成图像校正不均匀，影响测量精度；
3、实际上红外探测器对宽温辐射的响应是非线性的，因此，基于红外探测器像元响应的线性假设，进行红外图像的非均匀校正，将降低测温精度。
发明内容
本发明针对上述现有技术存在的不足，提供基于深度神经网络的测温红外热像仪标定方法及装置。本发明同时考虑红外镜头的工作温度、探测器焦平面的工作温度、探测器像元的像素值三种要素，无需红外热像仪的机械挡片、简化测温操作过程、提高测温精度。
为了达到上述目的，本发明采用以下技术方案予以实现：
基于深度神经网络的测温红外热像仪标定方法，包括如下步骤：
利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；
构建深度神经网络和样本数据库；
利用样本数据库训练深度神经网络并更新深度神经网络参数；
利用训练后的深度神经网络标定出红外图像对应的温度场图像。
作为本发明的进一步技术方案为：所述利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；具体为：利用待标定的红外热像仪，在红外镜头处于不同工作温度、探测器焦平面处于不同工作温度、面源黑体处于不同辐射温度的组合条件下，采集本底红外图像，其中面源黑体辐射温度实际值作为本底红外图像对应的温度场实际值。
作为本发明的进一步技术方案为：所述构建深度神经网络和样本数据库；具体包括：
针对单个像元构建的独立深度神经网络；深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值三个参数，输出层为探测器像元对应的温度测量值；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
作为本发明的进一步技术方案为：所述构建深度神经网络和样本数据库；具体包括：
针对任意像元构建通用深度神经网络，其中深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、任意像元的像素值及其在焦平面的空间坐标，输出层为探测器像元对应的温度测量值；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、任意像元的像素值及其在焦平面的空间坐标作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
作为本发明的进一步技术方案为：所述构建深度神经网络和样本数据库；具体包括：
针对探测器像元阵列构建深度神经网络，其中深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器输出的红外图像，输出层为探测器像元阵列对应的温度场图像；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、本底红外图像作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
作为本发明的进一步技术方案为：所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对单个像元构建的独立深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为样本标签；单个像元构建的独立深度神经网络输出参数为探测器像元对应温度测量值的估计值，以估计值和样本标签的差异定义损失函数，更新单个像元构建的独立深度神经网络参数。
作为本发明的进一步技术方案为：所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对任意像元构建通用深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、任意像元的像素值及其在焦平面的空间坐标作为样本数据，对应面源黑体辐射温度实际值作为样本标签；构建的通用深度神经网络输出参数为探测器像元对应温度测量值的估计值，以估计值和样本标签的差异定义损失函数，更新通用深度神经网络参数。
作为本发明的进一步技术方案为：所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对探测器像元阵列构建的深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、本底红外图像作为样本数据，对应面源黑体辐射温度实际值作为样本标签；深度神经网络输出为探测器像元阵列对应温度场图像的估计值，以估计值和样本标签的差异定义损失函数，更新针对探测器像元阵列构建的深度神经网络参数。
作为本发明的进一步技术方案为：所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对单个像元构建的独立深度神经网络，利用更新后的深度神经网络对探测器各像元的像素值分别进行标定处理，获得探测器各像元对应的温度测量值，进而得到探测器输出红外图像对应温度场图像。
作为本发明的进一步技术方案为：所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对任意像元构建的通用深度神经网络，利用更新后的深度神经网络对探测器各像元的像素值分别进行标定处理，获得探测器各像元对应的温度测量值，进而得到探测器输出红外图像对应温度场图像。
作为本发明的进一步技术方案为：所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对探测器像元阵列构建的深度神经网络，利用更新后的深度神经网络对探测器像元阵列对应的红外图像进行标定处理，获得探测器像元阵列对应的温度场图像。
本发明还提出基于深度神经网络的测温红外热像仪标定装置，包括：
本底红外图像采集单元，利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；
深度神经网络构建单元，构建深度神经网络和样本数据库；
样本训练单元，利用样本数据库训练深度神经网络；
温度标定单元，利用训练后的深度神经网络标定出红外图像对应的温度场图像。
所述本底红外图像采集单元包括：待标定的红外热像仪、高低温试验箱、面源黑体；所述待标定的红外热像仪和面源黑体放置于高低温试验箱内，所述待标定的红外热像仪对准面源黑体；所述待标定的红外热像仪包括红外镜头和探测器的焦平面，所述红外镜头上设置第一温度传感器，所述探测器的焦平面上设置第二温度传感器，所述待标定的红外热像仪与上位机连接。
本发明有益效果是：
本发明利用深度神经网络建立红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值三者与探测器像元对应温度测量值的映射关系，并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为样本标签，更新深度神经网络参数，利用更新后的深度神经网络标定出红外图像对应的温度场图像，从而使得本发明提出的测温红外热像仪标定方法具有无需机械挡片、测温操作简单、测温精度高的优点。
附图说明
图1是本发明提出的标定方法的流程图；
图2是本发明提出的本底红外图像采集装置的示意图；
图3是本发明实施例中针对单个像元独立构建的深度神经网络示意图；
图4是本发明实施例中针对任意像元构建的通用深度神经网络示意图；
图5是本发明实施例中针对探测器像元阵列构建的全连接神经网络示意图。
附图标记说明：
201-面源黑体；202-红外镜头；203-探测器的焦平面；204-待标定的红外热像仪；205-高低温试验箱；206-上位机；207第一温度传感器；208-第二温度传感器。
具体实施方式
下面结合附图及实施例描述本发明具体实施方式：所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1，本发明提出基于深度神经网络的测温红外热像仪标定方法流程图。基于深度神经网络的测温红外热像仪的标定方法，包括以下步骤：
步骤101：利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；
步骤102：构建深度神经网络和样本数据库；
步骤103：利用样本数据库训练深度神经网络并更新深度神经网络参数；
步骤104：利用训练后的深度神经网络标定出红外图像对应的温度场图像。
本发明实施例中，利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像，具体包括：利用待标定的红外热像仪，在红外镜头处于不同工作温度、探测器焦平面处于不同工作温度、面源黑体处于不同辐射温度的组合条件下采集本底红外图像。
测温红外热像仪的探测器为氧化钒材料的非制冷红外焦平面探测器、非晶硅材料的非制冷红外焦平面探测器、制冷型红外焦平面探测器三种中的任一种。
在本发明实施例中：参见图2，本发明的本底红外图像采集装置示意图，包括面源黑体201，待标定的红外热像仪204、高低温试验箱205、上位机206。在本底红外图像采集过程中，面源黑体201、待标定的红外热像仪204、高低温试验箱205三者的位置关系为：面源黑体201和待标定的红外热像仪204放置于高低温试验箱105内，将待标定的红外热像仪204对准面源黑体201。在本底红外图像采集过程中，通过调节高低温试验箱205的腔内温度，改变红外热像仪的红外镜头202的工作温度；在本底红外图像采集过程中，探测器焦平面203的不同工作温度条件，是利用红外热像仪204开机后焦平面的工作温度随时间自然变化来产生；在本底红外图像采集过程中，面源黑体201的不同辐射温度通过调节面源黑体201的辐射温度控制器来产生。
在本发明实施例中，红外镜头的温度实测值通过粘贴在红外镜头表面的第一温度传感器207读取，探测器焦平面的工作温度通过安装在焦平面背面的第二温度传感器208读取，探测器像元的像素值从探测器输出的红外图像中读取。
其中红外热像仪204包括红外镜头202和红外焦平面探测器203。红外镜头202的工作波长为8-14μm、F数为1.0、焦距为25mm。红外焦平面探测器的工作波长为8-14μm、探测器阵列大小为324×256，氧化钒材料的非制冷长波红外焦平面探测器，NETD≤50mK。测温红外热像仪可输出14bits的未经过非均匀校正和图像增强的原始红外图像。
其中所述面源黑体201由美国EOI公司生产，型号为LC-12/12wM/ATHERMO。
其中所述高低温试验箱205的型号为CTPS715BI，腔体内可调温度范围-70℃至150℃。
在本发明实施例中：采集本底红外图像的操作流程：通过调节高低温试验箱的控制器，设置高低温试验箱205的腔体内的温度分别为10℃、15℃、20℃、25℃、30℃、35℃、40℃，在每个温度点处保温1小时，从而使得红外镜头温度稳定；在腔体内的每种温度条件下，通过调节面源黑体201的温度控制器，分别设置面源黑体201的辐射温度为10℃、20℃、30℃、40℃。在给定高低温试验箱腔体内温度点，在每个黑体辐射温度点条件下，测温红外热像仪204通电开机1分钟开始，每隔2分钟采集一组1幅本底红外图像，共采集20幅。
其中，第1分钟、第5分钟、第9分钟……、第37分钟的本底红外图像，构成训练样本数据库，在上述步骤3中，用于训练深度神经网络；其中，第3分钟、第7分钟……、第39分钟的本底红外图像，构成测试样本数据库，在上述步骤4中，用于测试本发明标定方法的效果。
实施例二
在实施例一基础上，本实施例以焦平面上第10行第36列的像元为例，针对单个像素独立构建深度神经网络。
参见图3，深度神经网络为四层全连接结构，包括输入层、两个隐含层、一个输出层。其中输入层参数包括红外镜头的工作温度值、探测器焦平面的工作温度值、单个像元的像素值三个参数，输出层参数为探测器像元对应的温度测温值。第一个隐含层有20个节点；第二个隐含层有20个节点。通过线性整流函数(Rectified Linear Unit,ReLU)进行激活，并在激活之前进行批标准化(Batch Normalization)处理。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度的组合条件下，待标定的红外热像仪在开机后，第1分钟、第5分钟……第37分钟采集250幅本底红外图像来构建训练样本库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本实施例中，以红外镜头的工作温度值、探测器焦平面的工作温度值、探测器第10行第36列像元的像素值构成训练样本数据库的样本数据，对应的面源黑体辐射温度为样本标签。
在本发明实施例中，训练深度神经网络以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器第10行第36列像元的像素值三个参数为输入，探测器像元对应温度测量值的估计值为输出，对应面源黑体辐射温度的实际值为标签，以探测器像元对应的温度估计值与实际值的误差绝对值作为损失函数，采用反向传播算法更新深度神经网络参数。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度下，第3分钟、第7分钟……第39分钟采集的250幅本底红外图像来构建测试样本数据库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器第10行第36列像元的像素值构成测试样本数据库的样本数据，对应的面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，测试训练后的深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器第10行第36列像元的像素值三个参数为输入，探测器像元对应温度测量值的估计值为输出，面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为性能评价指标。本实施例中针对第10行第36列像元构建的全连接神经网络，对测试样本数据库的测温误差绝对值是0.045℃。
实施例三
在实施例一基础上，本发明实施例构建针对任意像元的通用深度神经网络。
参见图4，深度神经网络为四层全连接结构，包括输入层、两个隐含层、一个输出层。其中输入层参数包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值、探测器像元的行坐标、像元的列坐标五个参数，输出层参数为探测器像元对应的温度测量值。第一个隐含层有50个节点，第二个隐含层有50个节点。通过线性整流函数(Rectified Linear Unit,ReLU)进行激活，并在激活之前进行批标准化(BatchNormalization)处理。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度条件下，在待标定红外热像仪开机后，第1分钟、第5分钟……第37分钟采集的250幅本底红外图像来构建训练样本数据库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值、探测器像元的行坐标、像元的列坐标五个参数构成训练样本数据库的样本数据，面源黑体辐射温度的实际值为样本标签。
在本实施例中，训练神经网络以红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值、像元的行坐标、像元的列坐标五个参数为输入，探测器像元对应温度测量值的估计值为输出，面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为损失函数，采用反向传播算法更新神经网络参数。
在本实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度的组合条件下，第3分钟、第7分钟……第39分钟采集的250幅本底红外图像来构建测试样本数据库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值、探测器像元的行坐标、像元的列坐标五个参数构成测试样本数据库的样本数据，对应面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，测试训练后的深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值、像元的行坐标、像元的列坐标五个参数为输入，探测器像元对应温度测量值的估计值为输出，对应面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为性能评价指标。本发明实施例中，针对任意像元构建的通用深度神经网络，对测试样本数据库的测温误差绝对值是0.121℃。
实施例四
在实施例一基础上，本发明实施例针对探测器像元阵列构建全连接神经网络。
参见图5，全连接神经网络为8层全连接结构，包括输入层、6个隐含层、1个输出层。其中输入层参数包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元阵列对应的红外图像，输出层参数为探测器像元阵列对应的温度场图像。每个隐含层有40个节点。通过线性整流函数(Rectified Linear Unit,ReLU)进行激活，并在激活之前进行批标准化(Batch Normalization)处理。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度的组合下，在待标定红外热像仪开机后，第1分钟、第5分钟……第37分钟采集的250幅本底红外图像来构建训练样本库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头的工作温度实测值、探测器焦平面的工作温度实测值、探测器像元阵列对应的红外图像构成训练样本数据库的样本数据，对应面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，训练深度神经网络以红外镜头的工作温度实测值、探测器焦平面的工作温度实测值、探测器像元阵列对应的红外图像为输入，探测器像元阵列对应温度场图像的估计值为输出，对应面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为损失函数，采用反向传播算法更新网络参数。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度的组合条件下，在待标定红外热像仪开机后，第3分钟、第7分钟……第39分钟采集的250幅本底红外图像来构建测试样本库。在本发明实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元阵列对应的红外图像构成测试样本数据库的样本数据，对应面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，测试训练后的全连接神经网络，以红外镜头的工作温度实测值、探测器焦平面的工作温度实测值、探测器像元阵列对应的红外图像为输入，探测器像元阵列对应温度场图像的估计值为输出，对应面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为性能评价指标。本实施例中，针对探测器像元阵列构建的全连接神经网络，对测试样本数据库的测温误差绝对值是0.32℃。
实施例五
在实施例一基础上，本发明实施例针对探测器像元阵列构建卷积神经网络。
在本发明实施例中，卷积神经网络为五层结构，包括输入层、三个卷积层、一个输出层。其中，输入层为3个通道的图像数据，3个通道的图像数据的每个像素包括探测器像元的像素值、红外镜头的工作温度值、探测器焦平面的工作温度值三个值。其中，输出层为探测器像元阵列对应温度场图像。其中，第一个卷积层的输入为3个通道的图像数据，输出为5个通道的特征图像，采用的卷积核尺寸大小为1×1；第二个卷积层的输入为5个通道的图像数据，输出为5个通道的特征图像，采用的卷积核尺寸大小为1×1；第三个卷积层的输入为5个通道的特征图像，输出2个通道的特征图像，其中卷积层采用的卷积核大小为1×1。输出层前的合并操作是对第三个卷积层输出的两通道特征图像进行矩阵点积运算得到温度场图像。各卷积层的输出通过线性整流函数(Rectified Linear Unit,ReLU)进行激活。
在本实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度下，在待标定红外热像仪开机后，第1分钟、第5分钟……第37分钟采集的250幅本底红外图像来构建训练样本库。在本实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元阵列对应的红外图像构成训练样本数据库的样本数据，对应面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，训练卷积神经网络由红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元阵列对应的红外图像构成的三个通道图像数据为输入，探测器像元阵列对应温度场图像的估计值为输出，对应面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为损失函数，采用反向传播算法更新网络参数。
在本发明实施例中，利用高低温箱在不同腔内温度、面源黑体在不同辐射温度的组合条件下，在待标定测温红外热像仪开机后，第3分钟、第7分钟……第39分钟采集的250幅本底红外图像来构建测试样本库。在本实施例中，由于红外热像仪在高低温箱内保温时间1小时，红外镜头的工作温度等于高低温箱的腔内温度。在本发明实施例中，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元阵列对应的红外图像构成测试样本数据库的样本数据，对应面源黑体辐射温度的实际值为样本标签。
在本发明实施例中，测试训练后的深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像素阵列对应的红外图像为输入，探测器像元阵列对应温度场图像的估计值为输出，对应面源黑体辐射温度的实际值为标签，以估计值与实际值的误差绝对值作为性能评价指标。本发明实施例中，针对探测器像元阵列构建的卷积神经网络，对测试样本数据库的测温误差绝对值是0.046℃。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对于这些实施例的多种修改对本领域的专业技术人员来说是显而易见的。本发明将不会被限制与本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。
Claims (11)
1.基于深度神经网络的测温红外热像仪标定方法，其特征在于，包括以下步骤：
利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；
构建深度神经网络和样本数据库；
利用样本数据库训练深度神经网络并更新深度神经网络参数；
利用训练后的深度神经网络标定出红外图像对应的温度场图像；
所述利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；具体为：利用待标定的红外热像仪，在红外镜头处于不同工作温度、探测器焦平面处于不同工作温度、面源黑体处于不同辐射温度的组合条件下，采集本底红外图像，其中面源黑体辐射温度实际值作为本底红外图像对应的温度场实际值。
2.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述构建深度神经网络和样本数据库；具体包括：
针对单个像元构建独立深度神经网络；深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器像元的像素值三个参数，输出层为探测器像元对应的温度测量值；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
3.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述构建深度神经网络和样本数据库；具体包括：
针对任意像元构建通用深度神经网络，其中深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、任意像元的像素值及其在焦平面的空间坐标，输出层为探测器像元对应的温度测量值；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、任意像元的像素值及其在焦平面的空间坐标作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
4.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述构建深度神经网络和样本数据库；具体包括：
针对探测器像元阵列构建深度神经网络，其中深度神经网络的输入层包括红外镜头的工作温度值、探测器焦平面的工作温度值、探测器输出的红外图像，输出层为探测器像元阵列对应的温度场图像；并以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、本底红外图像作为样本数据，对应面源黑体辐射温度实际值作为样本标签，构建样本数据库。
5.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对单个像元构建的独立深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为样本标签；单个像元构建的独立深度神经网络输出参数为探测器像元对应温度测量值的估计值，以估计值和样本标签的差异定义损失函数，更新单个像元构建的独立深度神经网络参数。
6.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对任意像元构建通用深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、任意像元的像素值及其在焦平面的空间坐标作为样本数据，对应面源黑体辐射温度实际值作为样本标签；构建的通用深度神经网络输出参数为探测器像元对应温度测量值的估计值，以估计值和样本标签的差异定义损失函数，更新通用深度神经网络参数。
7.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用样本数据库训练深度神经网络并更新深度神经网络参数；具体包括：针对探测器像元阵列构建的深度神经网络，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、本底红外图像作为样本数据，对应面源黑体辐射温度实际值作为样本标签；深度神经网络输出为探测器像元阵列对应温度场图像的估计值，以估计值和样本标签的差异定义损失函数，更新针对探测器像元阵列构建的深度神经网络参数。
8.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对单个像元构建的独立深度神经网络，利用更新后的深度神经网络对探测器各像元的像素值分别进行标定处理，获得探测器各像元对应的温度测量值，进而得到探测器输出红外图像对应温度场图像。
9.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对任意像元构建的通用深度神经网络，利用更新后的深度神经网络对探测器各像元的像素值分别进行标定处理，获得探测器各像元对应的温度测量值，进而得到探测器输出红外图像对应温度场图像。
10.根据权利要求1所述的基于深度神经网络的测温红外热像仪标定方法，其特征在于，所述利用训练后的深度神经网络标定出红外图像对应的温度场图像，具体包括：针对探测器像元阵列构建的深度神经网络，利用更新后的深度神经网络对探测器像元阵列对应的红外图像进行标定处理，获得探测器像元阵列对应的温度场图像。
11.根据权利要求1-10中任一所述的基于深度神经网络的测温红外热像仪标定方法提出基于深度神经网络的测温红外热像仪标定装置，其特征在于，包括：
本底红外图像采集单元，利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；
深度神经网络构建单元，构建深度神经网络和样本数据库；
样本训练单元，利用样本数据库训练深度神经网络；
温度标定单元，利用训练后的深度神经网络标定出红外图像对应的温度场图像；
所述本底红外图像采集单元包括：待标定的红外热像仪、高低温试验箱、面源黑体；所述待标定的红外热像仪和面源黑体放置于高低温试验箱内，所述待标定的红外热像仪对准面源黑体；所述待标定的红外热像仪包括红外镜头和探测器的焦平面，所述红外镜头上设置第一温度传感器，所述探测器的焦平面上设置第二温度传感器，所述待标定的红外热像仪与上位机连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010169712.1A CN111272290B (zh) | 2020-03-13 | 2020-03-13 | 基于深度神经网络的测温红外热像仪标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010169712.1A CN111272290B (zh) | 2020-03-13 | 2020-03-13 | 基于深度神经网络的测温红外热像仪标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111272290A CN111272290A (zh) | 2020-06-12 |
| CN111272290B true CN111272290B (zh) | 2022-07-19 |
Family
ID=70999394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010169712.1A Active CN111272290B (zh) | 2020-03-13 | 2020-03-13 | 基于深度神经网络的测温红外热像仪标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111272290B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111829665A (zh) * | 2020-07-16 | 2020-10-27 | 深兰自动驾驶研究院(山东)有限公司 | 一种基于用人体作为虚拟黑体的体温测量的方法、装置及存储介质 |
| CN112834047A (zh) * | 2021-01-07 | 2021-05-25 | 惠州Tcl移动通信有限公司 | 一种可穿戴式温度监测设备、温度监测方法及存储介质 |
| CN112989714B (zh) * | 2021-05-08 | 2021-10-08 | 同方威视技术股份有限公司 | 探测器调整模型的训练方法和装置 |
| CN113705788B (zh) * | 2021-08-27 | 2023-09-22 | 齐鲁工业大学 | 基于全卷积神经网络的红外图像温度估计方法及系统 |
| CN114441043B (zh) * | 2022-01-21 | 2022-10-04 | 武汉新朗光电科技有限公司 | 非制冷红外测温仪的温度修正方法、测温仪 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06117836A (ja) * | 1992-08-21 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器 |
| CN107941348A (zh) * | 2017-11-24 | 2018-04-20 | 广东电网有限责任公司电力科学研究院 | 一种红外测温标校方法 |
| CN108663122A (zh) * | 2018-05-29 | 2018-10-16 | 中国科学院光电技术研究所 | 一种基于神经网络的适应积分时间动态调整的红外焦平面阵列非均匀性校正方法 |
| CN109186811A (zh) * | 2018-09-18 | 2019-01-11 | 天津科技大学 | 一种基于bp神经网络的fbg温度标定方法 |
| CN109325495A (zh) * | 2018-09-21 | 2019-02-12 | 南京邮电大学 | 一种基于深度神经网络建模的作物图像分割系统及方法 |
| AU2019100336A4 (en) * | 2019-04-02 | 2019-05-09 | Expert 365 Pty Ltd | A method for on-line detection of nitrogen, phosphorous and potassium in compost during bio-digestive process |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101666682B (zh) * | 2009-08-06 | 2012-05-30 | 重庆邮电大学 | 基于场景统计的神经网络非均匀性校正方法 |
| KR102563752B1 (ko) * | 2017-09-29 | 2023-08-04 | 삼성전자주식회사 | 뉴럴 네트워크를 위한 트레이닝 방법, 뉴럴 네트워크를 이용한 인식 방법 및 그 장치들 |
| KR101955498B1 (ko) * | 2018-07-19 | 2019-03-08 | 엘아이지넥스원 주식회사 | 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 |
-
2020
- 2020-03-13 CN CN202010169712.1A patent/CN111272290B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06117836A (ja) * | 1992-08-21 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器 |
| CN107941348A (zh) * | 2017-11-24 | 2018-04-20 | 广东电网有限责任公司电力科学研究院 | 一种红外测温标校方法 |
| CN108663122A (zh) * | 2018-05-29 | 2018-10-16 | 中国科学院光电技术研究所 | 一种基于神经网络的适应积分时间动态调整的红外焦平面阵列非均匀性校正方法 |
| CN109186811A (zh) * | 2018-09-18 | 2019-01-11 | 天津科技大学 | 一种基于bp神经网络的fbg温度标定方法 |
| CN109325495A (zh) * | 2018-09-21 | 2019-02-12 | 南京邮电大学 | 一种基于深度神经网络建模的作物图像分割系统及方法 |
| AU2019100336A4 (en) * | 2019-04-02 | 2019-05-09 | Expert 365 Pty Ltd | A method for on-line detection of nitrogen, phosphorous and potassium in compost during bio-digestive process |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Attended Temperature Scaling:A Practical Approach for Calibrating Deep Neural Networks;Azadeh Sadat Mozafari et al.;《arXiv preprint arXiv》;20190508;第1页-第10页 * |
| 基于加权最小二乘的红外热像仪的标定;宋晓梅等;《红外》;20150531;第36卷(第5期);第1页-第6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111272290A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111272290B (zh) | 基于深度神经网络的测温红外热像仪标定方法及装置 | |
| CN111256835B (zh) | 超参数多项式物理模型的测温红外热像仪标定方法及装置 | |
| CN109341864B (zh) | 一种轻小型宽动态空间红外定量测量装置 | |
| CN103528694B (zh) | 一种用红外热像仪测量目标物体的温度的方法 | |
| KR101236551B1 (ko) | 비냉각 마이크로 볼로미터 검출기를 사용하는 방사 측정을 이용한 적외선 카메라 | |
| CN106679817B (zh) | 一种用于标定红外热像仪的方法 | |
| CN103292908B (zh) | 校正包括阻性辐射热计阵列的探测器的漂移的方法和设备 | |
| CN104580894B (zh) | 一种红外焦平面的多点校正方法及系统 | |
| CN110361094B (zh) | 凝视型焦平面阵列的非均匀性校正方法及装置 | |
| CN112393808B (zh) | 一种热敏相机温度补偿方法和系统 | |
| CN111780879B (zh) | 一种红外测温系统及测温方法 | |
| CN106092326B (zh) | 一种红外焦平面探测器读出电路的补偿电路及补偿方法 | |
| KR101201663B1 (ko) | 볼로미터 타입 시스템에서의 불균일도를 결정하는 방법 및시스템 | |
| CN111024238A (zh) | 非制冷测温热像仪辐射标定与温度测量方法 | |
| CN106500848A (zh) | 用于红外测温系统的发射率校准方法 | |
| KR101732346B1 (ko) | 다중 기준 상관 이중 표본화 감지 방법 및 이를 이용한 마이크로 볼로미터 | |
| CN114018416B (zh) | 一种热红外相机辐射定标方法及系统 | |
| CN110006529B (zh) | 一种红外探测装置输出校正方法及装置 | |
| CN111024237A (zh) | 非接触式宽温差红外温度测量方法 | |
| Gonzalez-Chavez et al. | Radiometric calibration of digital counts of infrared thermal cameras | |
| CN110146173B (zh) | 基于红外测温技术的测温一致性校验方法 | |
| JP2016133305A (ja) | 赤外線検知装置 | |
| CN117053928A (zh) | 一种红外热像仪镜头畸变校正及成像非均匀性的标定方法 | |
| CN115900973A (zh) | 红外热电堆传感器温度补偿、校正方法、补偿装置及电子设备 | |
| CN202024821U (zh) | 一种可提高成像质量和测温精度的热像仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |