CN113705788B - 基于全卷积神经网络的红外图像温度估计方法及系统 - Google Patents

基于全卷积神经网络的红外图像温度估计方法及系统 Download PDF

Info

Publication number
CN113705788B
CN113705788B CN202110995964.4A CN202110995964A CN113705788B CN 113705788 B CN113705788 B CN 113705788B CN 202110995964 A CN202110995964 A CN 202110995964A CN 113705788 B CN113705788 B CN 113705788B
Authority
CN
China
Prior art keywords
temperature
infrared image
layer
full convolution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110995964.4A
Other languages
English (en)
Other versions
CN113705788A (zh
Inventor
马宾
娄爱涛
马睿和
徐健
王春鹏
李健
周琳娜
李宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202110995964.4A priority Critical patent/CN113705788B/zh
Publication of CN113705788A publication Critical patent/CN113705788A/zh
Application granted granted Critical
Publication of CN113705788B publication Critical patent/CN113705788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供了基于全卷积神经网络的红外图像温度估计方法及系统，替代红外图像温度标记方法，从而有效降低红外图像的文件大小；首先，分析了不同激活函数、批量归一化方法、温度标签等因素对温度估计结果的影响，优化全卷积神经网络结构，预测得到红外图像的初级相对温度矩阵；其次，采用奇异点消除算法对初级相对温度矩阵进行平滑处理，进一步提高温度矩阵估计精度。

Description

基于全卷积神经网络的红外图像温度估计方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及基于全卷积神经网络的红外图像温度估计方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着红外热成像技术的进步，红外测温技术得益于其非接触式测量、无损检测、测温范围宽、测量结果可见、功耗低和便携性好等独特优势广泛应用于国防、农业、工业、建筑、医疗服务等领域。近年来，国内外学者在红外测温精度提升与图像关联方面开展了大量的研究，并取得了一系列研究成果。现有研究通常基于成像仪自身的物理数据和红外成像环境的相关参数实现待测目标温度测量。近年来，部分学者构建红外图像温度模型，基于红外图像实现待测目标温度标记。
但是，现有方法都是基于红外图像的温度表示的基础上开展被测物体温度的精确标记。当前，红外图像文件一般都是通过预留空间存放图像温度矩阵，实现红外图像的温度标识。这种方法可以实现红外图像各像素点的温度精确反演，然而，通过预留空间存放温度数据的方法导致红外图像文件过大，存储与传输代价较高，影响了文件红外图像文件的使用效率。同时，大量的温度标记导致红外图像温度存储信息过度冗余，当需要现场采集海量红外图像文件时，会导致网络传输和文件存储资源过度消耗。因而，开展红外图像温度估计算法研究，在精确表达图像温度的基础上，有效降低红外图像文件的大小具有重要的应用价值与迫切需求。
全卷积神经网络(Fully Convolutional Networks，FCN)使用常见的卷积神经网络(CNN)提取特征，再使用反卷积部分对最后一层卷积层上采样直到恢复到输入图像大小，从而对输入图像的每一个像素都产生一个预测，同时保留原输入图像的空间信息，可以实现原始图像像素级别的分类。综上所述，FCN在图像语义分割领域得到了广泛的应用。
但是，由于红外成像受环境干扰和自身硬件问题的影响，基于FCN开展温度估计后，原始的红外图像温度矩阵仍可能会产生部分奇异点存在，这些奇异点的存在，增加了模型学习的难度；另外，红外图像与可见光图像相比，其分辨率低、对比度不高、视觉效果差、图像中轮廓和纹理细节特征较少，这导致了网络模型难以学习到更多有效的细节特征；同时，和传统的语义分割任务相比，红外图像温度估计参数多，温度分布区间宽，温度估计要求精度高，这些均是亟待解决的技术问题。
发明内容
本发明为了解决上述问题，提出了基于全卷积神经网络的红外图像温度估计方法及系统，替代红外图像温度标记方法，从而有效降低红外图像的文件大小；首先，分析了不同激活函数、批量归一化方法、温度标签等因素对温度估计结果的影响，优化全卷积神经网络结构，预测得到红外图像的初级相对温度矩阵；其次，采用奇异点消除算法对初级相对温度矩阵进行平滑处理，进一步提高温度矩阵估计精度。
根据一些实施例，本发明采用如下技术方案：
基于全卷积神经网络的红外图像温度估计方法，包括以下步骤：
获取彩色红外图像，并通过红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵；
对于初级相对温度矩阵，计算滑动窗口内的温度平均值和标准差；判断该滑动窗口内的每一点的温度值与平均值的差值是否超出标准差，若是，则认定为奇异点，并重置该点的温度值为平均值，否则，该点的温度值不变；移动滑动窗口直到初级相对温度矩阵被全部遍历，得到最终相对温度矩阵；
通过计算最终相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像中各像素点的温度。
进一步的，所述红外图像温度估计模型采用包括彩色红外图像及其对应的温度标签的训练集训练；所述温度标签是将原始温度矩阵按照等温度区间划分类别或者按照比例划分类别得到的。
进一步的，所述红外图像温度估计模型包括全卷积部分和反卷积部分；全卷积部分用于提取红外图像特征，获得热点图；反卷积部分则是将全卷积部分获得的热点图上采样得到原红外图像尺寸的语义分割结果。
进一步的，所述全卷积部分的每一个卷积层后均连接一个批量归一化层，所述批量归一化层用于对卷积层输出的特征结果进行均值和标准差归一化。
进一步的，所述反卷积部分包括依次连接的Dconv32层、Dconv16层和Dconv8层；所述Dconv32层是将全卷积部分的第六卷积层的输出结果，经过反卷积将32倍下采样的结果反卷积为16倍下采样结果；所述Dconv16层将Dconv32层的输出结果，与全卷积部分的第四池化层的输出结果相加，特征图相加后，经过反卷积将16倍下采样的结果反卷积为8倍下采样结果。
进一步的，所述Dconv8层是将Dconv16层的输出结果，与全卷积部分的第三池化层的输出结果相加，特征图相加后，经过反卷积将8倍下采样的结果反卷积为原始输入图像尺寸。
进一步的，所述Dconv8层后连接Softmax层，Softmax层将Dconv8层的输出结果通过softmax公式计算出每个像素点对应的初级相对温度。
基于全卷积神经网络的红外图像温度估计系统，包括：
初级相对温度矩阵预测模块，其被配置为：获取彩色红外图像，并通过红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵；
平滑处理模块，其被配置为：对于初级相对温度矩阵，计算滑动窗口内的温度平均值和标准差；判断该滑动窗口内的每一点的温度值与平均值的差值是否超出标准差，若是，则认定为奇异点，并重置该点的温度值为平均值，否则，该点的温度值不变；移动滑动窗口直到初级相对温度矩阵被全部遍历，得到最终相对温度矩阵；
像素点温度计算模块，其被配置为：通过计算最终相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像各像素点的温度。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于全卷积神经网络的红外图像温度估计方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于全卷积神经网络的红外图像温度估计方法。
与现有技术相比，本发明的有益效果为：
本发明基于FCN实现红外图像温度估计，红外图像文件无需存储原始的温度矩阵，可以有效降低红外图像文件大小，节省了红外图像的存储空间，降低了图像存储的资源占用，有效提升了红外图像存储与传输效率。
本发明使用奇异点消除算法对初级相对温度矩阵进行平滑处理，排除了红外图像奇异像素点对算法精度的干扰，有效提升了基于全卷积神经网络的红外图像温度估计模型进行红外图像像素点温度预测的精度。
本发明基于原始温度矩阵，以1％相对温度区间进行温度划分的方法得到温度标签，优于传统的以固定区间划分分类区间的方法，通过FCN深度神经网络，可以实现红外图像目标像素的温度精确估计。
本发明全卷积神经网络的全卷积部分采用VGG-19网络，并删除两层全连接层，将全卷积部分与反卷积部分连接，全卷积部分获得的特征图经过上采样恢复到原始图像大小。全卷积部分的每一个卷积层连接一层批量归一化层，BN层可以通过归一化上一层输出加快网络收敛速度，解决反向传播的梯度消失问题，使网络泛化能力更强，有效提升红外图像目标像素温度估计精度。
本发明的全卷积神经网络选用FCN-8s，融合了丰富的全局信息和局部细节，能够更好完成语义分割任务。
本发明的全卷积神经网络采用Leaky ReLU激活函数，解决了ReLU神经元死亡问题，使得网络结构中有更多活跃的神经元参与学习，提高网络的学习能力，使用Leaky ReLU激活函数相比于使用ReLU激活函数具有更高的温度估计精度。
本发明的红外图像温度估计模型在计算交叉熵之前先使用softmax函数将模型输出归一化，有效提高了损失函数梯度变化的平滑性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的整体框架图；
图2为本发明的红外热成像系统工作原理图；
图3为本发明的彩色红外图像成像原理图；
图4为VGG-19网络结构图；
图5为本发明的改进的全卷积神经网络的结构图；
图6为红外图像温度矩阵分布直方图；
图7为本发明的不同温度数据标签的误差分布图；
图8为本发明的BN层对预测结果的影响图；
图9为本发明的不同激活函数的误差分布图；
图10为本发明的相对温度区间1％的奇异点误差异常分布图；
图11为本发明的奇异点消除算法处理前后的误差分布图；
图12为本发明的测试集部分图像预测误差在(-2，+2)区间的分布比例图；
图13为本发明的测试集部分图像文件大小和压缩率图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本实施例的基于全卷积神经网络的红外图像温度估计方法，采用的基础网络模型是全卷积神经网络，首先使用改进的全卷积神经网络实现红外图像不同像素点的相对温度估计；然后，根据本文提出的奇异点消除算法对原始红外图像出现像素值突变的区域进行平滑处理，进一步降低估计误差，提升预测精度。通过温度估计算法实现红外图像不同区域的温度估计，解决温度矩阵造成的红外图像文件过大，存储和传输效率代价过高的问题，有利于进一步降低红外图像使用成本，进一步普及红外图像的推广应用。
红外热成像系统将自然景物各部分的温度差异及发射率的差异转换成电信号，再将电信号转换成可见光图像，即热成像技术。热成像技术利用目标与环境之间由于温度辐射与发射率的差异所产生的热对比度不同，将红外辐射能量密度分布探测并显示出来。
红外热成像系统由光学系统、红外探测器、视频信号放大器3部分组成，其工作流程如图2。红外辐射经过大气衰减到达传感器的光学系统，光学系统聚焦红外辐射后进入红外探测器，其将辐射通量转换成电信号。探测器输出的电信号比较微弱，经过视频信号放大器将信号放大，系统关联内部参数设定和外界环境参数将放大的电信号转换成温度矩阵。
红外成像是通过红外探测器采集热辐射经过光电转换得到温度矩阵，但是温度矩阵不直观，如图3所示，彩色红外图像的获取步骤为：为了更直观的观测温度分布情况，通常将温度矩阵映射到图像灰度区间(0～255)，生成相应的灰度图像，即单通道红外图像(灰度图像)，因此经过映射转换成了灰度图像，通常由于探测单元自身的特性和外界因素干扰，红外图像相较于可见光图像分辨率低，信噪比高，因此在成像过程中会对单通道的红外图像进行相应的图像增强和去噪处理；但人类视觉对灰度图像灰度级分辨能力较差，为了更直观的观察图像上哪一部分温度高或低，通常将单通道红外图像借助人工设定的比色卡进行伪彩色编码，将单通道的灰度图像转换为三通道的彩色图像，最终获得常见的彩色红外图像，即，经过设定比色卡转换成伪彩色图像。其中，伪彩色编码是红外成像仪厂家根据人眼对颜色的分辨敏感度自定义产生，不同厂家的红外成像仪拍摄的红外图像一般采用不同的伪彩色编码。所以，传统的红外成像是先有的温度矩阵再转换成的图像。但是当获得红外图像后人眼或许可以直观感受出温度高或者低的区域，但是如果没有厂家的图像分析软件给出具体的温度数值，观察者只能知道温度高，但是不知道温度具体有多高。如果没有图像分析软件的帮助，红外图像的温度数值信息就不能获取了。
如图1所示，基于全卷积神经网络的红外图像温度估计方法，先通过全卷积神经网络预测各点的温度，然后经过奇异点消除提升预测精度，在得知温度最大值、最小值的基础上，进行相应的区间映射即可。具体步骤包括：
(1)获取训练集，所述训练集包括彩色红外图像及其对应的温度标签。
(1.1)红外成像是通过红外探测器采集热辐射经过光电转换得到初始温度矩阵，初始温度矩阵的获取步骤包括：
根据Stefan Boltzmann定律，当黑体的温度为Tb时，黑体的总辐射强度表示为
其中，Wb是黑体辐射的总强度，σ是Stefan Boltzmann的常数。
当被测物体的温度为T时，其总辐射强度为：
Wb＝ε(T)σT4 (2)
其中ε(T)是温度为T时被测物体的总发射率，被测物体的温度计算如下：
由于任何物体的发射率都小于1.0，因此被测物体的温度始终高于黑体的温度Tb，根据普朗克辐射定律，红外热成像系统测得的表面温度为：
其中，ε是被测物体的发射率，εa是大气发射率，τa是大气透射率，T0是被测物体的表面温度，Tu是环境温度，Ta是大气温度，Tr是通过红外热成像系统测量的温度，被测表面的真实温度计算如下：
其中，n为红外热成像系统内部参数，与成像仪的工作波段和使用的热敏元件有关，当工作波段和热敏元件不同时，n的值也不同。式(5)表明，红外热成像系统温度测量精度受很多因素影响，主要包括大气发射率、大气透射率、环境温度、大气温度等因素的影响，因而，传统的方法一般通过独立设置温度矩阵的方法，记录红外图像不同区域的温度。
(1.2)在得到初始温度矩阵后，可以按以下两种方式给初始温度矩阵做标签，得到温度标签：一、将红外成像仪的测温范围按照等温度区间划分类别(等温度区间划分)，可以以2℃为温度估计区间；二、根据不同红外图像的实际温度区间，将实际温度区间按照比例划分类别(比例划分)，以实际温度区间的1％为单位温度区间。
本实施例中，优选的，所述温度标签基于原始温度矩阵，以1％相对温度区间进行温度划分的方法得到。
(2)使用训练集训练基于全卷积神经网络的红外图像温度估计模型。
FCN是经典的图像语义分割框架，整体的网络结构分为全卷积部分和反卷积部分；其中，全卷积部分采用经典的CNN网络，并把最后的全连接层换成1×1卷积，用于提取特征，获得热点图；反卷积部分则是将全卷积部分获得的热点图上采样得到原尺寸的语义分割结果。由于FCN在全卷积部分将全连接层替换成1×1的卷积层，因此网络输入可以为任何尺寸的彩色图像，并且网络输出与输入尺寸相同。FCN使用了类似于Resnet的跳级结构，将最后一层的特征(丰富的全局信息)和更浅层的特征(更多的局部细节)融合，在全局预测的同时进行局部预测。FCN根据图像融合程度可以分为FCN-32s、FCN-16s、FCN-8s，其中FCN-32s对原图像32倍下采样后直接反卷积到原图像大小，得到预测结果。FCN-16s将32倍下采样的结果进行2倍上采样，并与pool4层(stride 16)特征融合，得到预测结果。FCN-8s在FCN-16s的基础上再进行一次2倍上采样，并与pool3层(stride 8)特征融合。FCN-8s融合了丰富的全局信息和局部细节，能够更好完成语义分割任务。本实施例中，选取FCN-8s来预测红外图像的温度矩阵，即，全卷积神经网络(FCN)选用FCN-8s。由于红外成像受环境干扰和自身硬件问题的影响，基于FCN开展温度估计后，原始的红外图像温度矩阵仍可能会产生部分奇异点存在，这些奇异点的存在，增加了模型学习的难度。另外，红外图像与可见光图像相比，其分辨率低、对比度不高、视觉效果差、图像中轮廓和纹理细节特征较少，这导致了网络模型难以学习到更多有效的细节特征。同时，和传统的语义分割任务相比，红外图像温度估计参数多，温度分布区间宽，温度估计要求精度高，开展红外图像温度估计需要进一步优化FCN网络结构，实现红外图像温度的精确预测。
FCN红外图像温度估计模型的网络输入为512×640大小的彩色红外图像，输出为与输入图像同等大小的初始相对温度矩阵。
红外图像温度估计模型在全卷积部分使用VGG-19网络。VGG-19由16个卷积层和3个全连接层组成，FCN包含VGG19全部和三层上采样层。每一层的输入是上一层的输出特征，输出是经过本层计算的特征。各层之间直接连接，不同卷积核的卷积结果通过维度相加拼接特征。其网络结构如图4。
本发明的改进的FCN网络结构的红外图像温度估计模型如图5，本发明的全卷积神经网络根据数据集图像尺寸调整了网络输入输出大小；在卷积层后增加了BN层；将ReLU激活函数换为Leaky ReLU激活函数；同时在全卷积部分删除了两层全连接层，将第五池化层(Pool5层)的输出通过卷积处理得到8×10×Class。8×10×Class是根据实际红外图像的分辨率大小经过卷积下采样后得到的特征图尺度，class是类别数，即要分为多少类，同时也是特征图的维度。使用原始的FCN估计红外图像温度，存在网络训练速度慢，loss曲线收敛困难，有时还会出现loss曲线趋于稳定但是准确率不高的现象。为了解决这种问题，本发明在VGG-19网络结构的每一个卷积层之后加了一层批量归一化层(Batch Normalization，BN)。
红外图像温度估计模型如图5，包括全卷积部分、反卷积部分和Softmax层。全卷积部分用于提取特征，获得热点图；反卷积部分则是将全卷积部分获得的热点图上采样得到原尺寸的语义分割结果。
全卷积部分包括：6个卷积层、5个池化层(BN层位于池化层后，由于不改变特征图的尺寸，与池化层一并介绍)。全卷积部分首先输入尺寸为256×320的源图像，经过Conv1计算变成尺寸256×320×64的特征图，将Conv1输出的特征图输入到pool1层，pool1层将输入的特征图进行4倍下采样，变成128×160×64的特征图，经过BN层将pool1层标准化输出；输入BN输出的特征图，经过Conv2计算变成尺寸128×160×128的特征图，将Conv2输出的特征图输入到pool2层，pool2层将输入的特征图进行4倍下采样，变成64×80×128的特征图，经过BN层将pool2层标准化输出；输入BN输出的特征图，经过Conv3计算变成尺寸64×80×256的特征图，将Conv3输出的特征图输入到pool3层，pool3层将输入的特征图进行4倍下采样，变成32×40×256的特征图，经过BN层将pool3层标准化输出；输入BN输出的特征图，经过Conv4计算变成尺寸32×40×512的特征图，将Conv4输出的特征图输入到pool4层，pool4层将输入的特征图进行4倍下采样，变成16×20×512的特征图，经过BN层将pool4层标准化输出；输入BN输出的特征图，经过Conv5计算变成尺寸16×20×512的特征图，将Conv5输出的特征图输入到pool5层，pool5层将输入的特征图进行4倍下采样，变成8×10×4096的特征图，经过BN层将pool5层标准化输出；输入BN输出的特征图，经过Conv6计算变成尺寸8×10×Class(类别数)的特征图，经过BN层将Conv6层标准化输出，完成全卷积部分计算。
反卷积部分包括依次连接的Dconv32层、Dconv16层、Dconv8层。反卷积部分将32倍下采样的结果(Conv6)进行2倍上采样，并与pool4层特征融合；再进行一次2倍上采样，并与pool3层特征融合。Dconv32层是将第六卷积层的输出结果，经过反卷积将32倍下采样的结果反卷积为16倍下采样结果，特征图尺寸扩大4倍，维度缩小为之前的一半。Dconv16是将Dconv32层的输出结果，与第四池化层的输出结果相加，两个特征图维度尺寸完全相同，所以两个特征图相加在本发明中是两者对应点相加，而非维度叠加。特征图相加后，经过反卷积将16倍下采样的结果反卷积为8倍下采样结果，特征图尺寸扩大4倍，维度缩小为之前的一半。Dconv8是将Dconv16层的输出结果，与第三池化层的输出结果相加，两个特征图维度尺寸完全相同，所以两个特征图相加在本发明中是两者对应点相加，而非维度叠加。特征图相加后，经过反卷积将8倍下采样的结果反卷积为原始输入图像尺寸，特征图尺寸扩大4倍，维度缩小为种类数。
Dconv8层后连接Softmax层，Softmax层是计算概率的层，它将Dconv8层的输出结果通过softmax公式计算出每个像素点对应的温度比例预测值(即初级相对温度)。
BN层可以通过归一化上一层输出加快网络收敛速度，解决反向传播的梯度消失问题，使网络泛化能力更强。批量归一化层对数据(即卷积层卷积完成的特征结果)进行均值和标准差归一化，公式如下：
其中，xk是BN层的输入，即卷积层卷积完成的特征结果，E[x(k)]为同一批次数据样本中各神经元输入的平均值，为同一批次数据样本中各神经元输入的标准差，为了防止强制转化导致数据分布被破坏，在原公式基础上加了两个可学习的参数γ、β。
其中，批量归一化层的特征输出为y(k)，γ(k)、β(k)为两个学习得到的参数。
原始FCN使用ReLU激活函数，虽然其计算效率高，网络收敛速度快。但是，当输入接近0或为负数时，函数梯度会变为0，网络无法反向传播，导致大面积神经元死亡，影响了模型的学习能力。因此，本发明使用Leaky ReLU激活函数，其公式如下：
其中，xi是激活函数的输入，即图像经过第i个卷积核卷积后经过BN的特征输出，ai为大于1的固定正数。Leaky ReLU激活函数允许输入接近0或为负数时，在负区域依然具有较小的斜率，解决了ReLU神经元死亡问题，使得网络结构中有更多活跃的神经元参与学习，提高网络的学习能力。
本发明使用改进的FCN估计红外图像温度使用基于稀疏softmax的交叉熵损失函数，其与直接采用交叉熵损失函数的区别在于，本发明在计算交叉熵之前先使用softmax函数将模型输出归一化，从而提高损失函数梯度变化的平滑性，其计算方式如下：
其中y′i为标签中的第i个值，yi为softmax函数归一化输出的分量结果。当分类越准确时，yi对应分量的值越接近1，loss值越小。
(3)获取彩色红外图像(不含原始红外图像温度矩阵)，并输入训练好的基于全卷积神经网络的红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵。
(4)使用奇异点消除算法对得到的初级相对温度矩阵进行平滑处理，得到最终的相对温度矩阵。
由于红外图像自分辨率低、对比度不高、视觉效果模糊、图像中轮廓和纹理细节特征较少的特点，由于红外相机曝光不均匀，导致红外图像中经常性出现奇异像素点，这对网络模型学习温度分布规律造成一定的干扰，为了排除红外图像奇异像素点对算法精度的干扰，本发明提出了一种红外图像奇异点消除算法。
图6是红外图像数据集中温度矩阵分布直方图，由图6的分布直方图可知，红外图像的温度分布是大致符合高斯分布的。根据高斯分布目标预测原则，对于一个高斯分布X，随机变量x落在(μ-3σ,μ+3σ)之外的概率小于5％，则认定该事件为小概率事件。经过实际观察温度分布发现，奇异点通常位于(μ-σ,μ+σ)内。因此，为提高红外图像温度描述精度，本实施例中，将位于高斯分布(μ-σ,μ+σ)之外的点认定为奇异点。
由于温度在一定空间范围内是一个缓变的量，因而，在红外图像中，一定区域内的温度变化是缓慢的、有趋势的，在排除噪声干扰的情况下，在较小的图像邻域内(如3×3像素范围内)一般不会出现温度的突变。通过分析红外图像的温度分布发现，温度矩阵在3×3甚至更大一点的领域中，各点的温度差距一般都在2℃之内。实验中采用滑动窗口方法消除模型预测的温度矩阵中的奇异点。邻域越小，温度的相似性越强，差异越小。因此，综合考虑了估计精度和邻域大小的关系，本实施例选择使用2×2的滑动窗口消除奇异点，具体步骤如下：
(4.1)输入改进的FCN估计的初步相对温度矩阵T；
(4.2)对于初级相对温度矩阵，计算滑动窗口内的温度平均值μ和标准差σ，优选的，滑动窗口的大小为2×2：
(4.3)判断该滑动窗口内的每一点i的温度值Ti与平均值μ的差值是否超出标准差σ，若是，则认定为奇异点，并重置该点的温度值为平均值μ，否则，该点的温度值不变：
(4.4)按照指定补偿，移动滑动窗口，重复步骤(4.2)、(4.3)直到初级相对温度矩阵T被遍历完成，得到处理后的温度矩阵Tp。
(5)通过计算最终的相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像各像素点的温度。即，在得知温度最大值、最小值的基础上，根据最终相对温度矩阵，进行相应的区间映射即可。通过红外图像温度估计模型和平滑处理后得到的是整个图像的标准化温度分布，与具体数值无关，学习的是比例，即得到的是相对温度矩阵(矩阵中的元素表示的是各个像素点之间温度的比值，并非具体温度值)。
本实施例为了验证基于全卷积神经网络的红外图像温度估计方法的有效性，进行了实验，实验数据集是由大疆无人机搭载禅思XT2双光热成像相机在距离地面70m高度拍摄的供热管道图像。相机由大疆、FLIR联合开发，红外图像输出格式为640×512的JPEG文件，高增益模式下测温范围为-25℃～135℃。
实验使用的红外相机输出的JPEG图像平均大小约为800K，红外图像温度矩阵的大小与红外图像尺寸一致，温度矩阵中的每一个温度点均使用2个十六进制数存储，占据了图像文件约600KB的空间，导致相同分辨率的红外图像大小是普通图像的4倍，很大程度上影响了图像存储和传输的效率。
实验中共选取红外图像1960张构建红外图像数据集，所有图像均采用同一热成像镜头和相机拍摄，拍摄地点、时间不同，每张红外图像的温度区间均不相同。在模型训练过程中，分为训练集1600张，验证集200张，测试集160张。每张红外图像代表的温度矩阵由FLIR Tools+导出，保存为csv文件，矩阵大小为640×512。
实验模型训练在Intel i7服务器上进行，CPU型号为酷睿i7-7700K，内存32GB，GPU显卡采用Nvidia GTX 1080Ti(11G)。由于任务复杂度较高、实验中将原数据集图像统一缩放至320×256分辨率。实验训练参数设置如下：
表1模型训练参数
在实验中固定使用BN层和Leaky ReLU激活函数，分别按以下两种方式给温度矩阵做标签：一、将红外成像仪的测温范围按照等温度区间划分类别(等温度区间划分)；在等温度区间划分类别的实验中，以5℃、2℃、1℃为温度估计区间分别训练，下文记为绝对温度区间5℃区间、2℃区间、1℃区间。二、根据不同红外图像的实际温度区间，将实际温度区间按照比例划分类别(比例划分)。在比例划分类别的实验中，以实际温度区间的1％为单位温度区间进行训练，下文记为相对温度区间1％区间。
图7-图11中的(a)、(b)两张图是选择了两张不同的红外图片，在其上采用不同的算法进行温度估计的结果。
图7给出了不同温度区间划分对红外图像温度估计精度的影响。通过观察图7中绝对温度区间5℃、2℃、1℃曲线可知，随着单位温度区间变小，分布向误差较小的区间偏移。因此随着分类区间减小，类别数量增多，分类更精细，温度估计整体精度提高。通过观察图7中绝对温度区间2℃、1℃的温度估计曲线可知，当误差为±1℃时，选择绝对温度区间为2℃预测结果优于选择绝对温度区间1℃是的情况，即绝对温度区间2℃温度估计精度更高。这是由于类别数量增多导致分类任务复杂，使得FCN需要学习更多有效的细节特征，这会进一步增加固定结构深度学习网络的复杂的；另一方面，由于红外图像相比自然图像分辨率低、有效细节特征更少，因而，采用FCN很难学到更多有效的细节特征。为了排除模型训练的偶然性，我们进行多次训练，验证了这一结论。因此，在等温度区间的实验中，绝对温度区间2℃估计精度最高。
通过图7还可以看出，采用相对温度区间1％的温度空间划分方式时，在相对温度区间为1％的温度估计曲线中误差位于1℃内点的比例超过0.99，这远远超过绝对温度区间为5℃、2℃、1℃的情况；同时，在相对温度区间为1％时，温度估计曲线整体误差都在±3°以内，而在绝对温度区间5℃、2℃、1℃时，温度估计结果中总是存在极少部分点的估计误差较大，甚至超过±10℃，并且这些点分布不孤立，通常是小部分区域出现较大的预测误差，这很难通过深度神经网络进一步处理消除。因此，以1％相对温度区间进行温度划分的方法全面优于以固定区间划分分类区间的方法，通过FCN深度神经网络，可以实现红外图像目标像素的温度精确估计。
为进一步提升红外图像温度估计精度，进一步的，在实验中选择固定激活函数Leaky ReLU，并选择1％相对温度区间验证批处理归一化(BN)对模型预测精度的影响。
图8是在FCN网络结构中BN层对红外图像温度估计的误差分布，其中横坐标为温度误差，纵坐标为满足误差精度的估计结果占比比例。由图8可知，在深度学习网络中增加BN层，可以有效提升红外图像目标像素温度估计精度。添加BN层后，温度估计误差在±2℃以内像素比例可提升0.5％。对于一幅分辨率为320×256的红外图像，温度预测误差小于±2℃的像素点大约增加400以上。
不同的激活函数选择也会对红外图像的温度估计精度造成影响，实验中采用相对温度区间1％的温度分类方法，在不同卷积层之间增加BN层的情况下，讨论验证激活函数对模型预测精度的影响。
图9是在FCN网络结构中使用不同激活函数对测试集中红外图像温度估计的结果分布图，其中横坐标为温度误差，纵坐标为估计结果小于当前误差的像素数量占比。通过观察图9可知，使用Leaky ReLU激活函数相比于使用ReLU激活函数具有更高的温度估计精度，在误差为±2℃的区间内，像素占比最高可提升1％，在分辨率为320×256的红外图像中，温度估计精度误差在±2℃以内的像素点大约增加800个以上。
红外图像在成像过程中，受到外部环境的影响和相机自身电磁信号的干扰，容易在或外图像上留下噪声点(像素值突变点)，影响FCN深度神经网络的训练学习效果。经过分析原红外图像温度矩阵发现，实际测量获得的温度矩阵存在大量奇异点，实验中采用奇异点消除算法，有效减轻了奇异点对模型预测结果的干扰。
通过观察测试集预测误差分布发现，选取相对温度区间1％时，在部分红外图像温度估计的分布上也会出现少数预测误差相对较大的像素点，这影响了红外图像温度预测的整体误差。部分红外图像温度预测矩阵分布直方图如图10所示。图10给出了选取相对温度区间为1％时，基于FCN模型的部分红外图像温度估计误差分布情况。通过观察图10发现，绝大部分的误差都集中分布在(-2,+2)的区域内，但有少数的像素点的估计误差较大，有的误差甚至达到了-6℃。正是由于这些奇异点存在，导致了模型训练过程中出现偏差较大的现象，使得红外图像温度预测的整体误差变大。经过对原始真实温度矩阵和模型预测温度矩阵分析发现，较大误差像素点的出现一般有下述两个原因：一、原始温度矩阵中存在小部分温度奇异点导致网络模型学习到了不符合分布规律的特征，这对整体预测有一定干扰。二、红外图像相比于自然图像轮廓和纹理特征较少、信噪比高，温度预测任务复杂，FCN网络难以学到全部的有效特征。
为了进一步排除红外图像温度突变点对整体误差的影响，实验中采用奇异点消除算法对红外图像像素分布模型采用滑动窗口中值滤波算法进行平滑处理。
图11给出了奇异点消除对温度矩阵估计精度的影响，其中横坐标为温度误差(±℃)，纵坐标为当前误差范围内的像素点数占比。由图11可知，处理后的红外图像温度估计精度明显提升，误差分布更加集中，整体误差减小，小部分奇异点预测误差减小，预测误差在±2°内的比例提升1％以上，采用滑动窗口进行中值滤波的算法可以有效提升FCN深度学习模型红外图像像素点温度预测的精度。
图12为部分红外图像温度估计误差在±2℃内的像素占比结果。基于FCN学习红外图像上下文像素间的内在关联，实现红外图像温度预测误差在±2℃内的图像占比达到90％以上，其中85％以上红外图像上，温度预测误差在±2℃内的像素比例超过99％。统计分析表明本文方法对红外图像温度预测误差在±2℃内的平均比例为98.4％。
基于FCN实现红外图像温度估计，红外图像文件无需存储原始的温度矩阵，其只需存储该红外图像所表示的温度最大值和最小值即可实现原始图像各像素点对应的温度估计。
选取测试集上代表性的图片进行温度估计，验证本算法实现传统红外图像文件压缩的性能，实验结果如图13所示。如图13所示，上方线条代表原始的红外图像大小，下方线条代表去掉红外图像温度矩阵后，再用基于全卷积神经网络的红外图像温度估计方法进行温度估计的红外图像文件大小。原始的温度矩阵必须完全存储于文件当中，即存储640×512个浮点数，经过FCN预测，文件只需存储最大温度和最小温度即可，FCN学习得到原始图像的相对温度分布，通过计算其与最大和最小温度所对应像素间的比例关系，即可通过FCN估计出各点的温度。由图13可知，基于FCN的红外图像温度估计算法，可以有效降低红外图像文件大小，平均压缩率为60.5％，有效节省了红外图像的存储空间，降低了图像存储的资源占用，有效提升红外图像存储与传输效率。
针对红外图像通过预留空间实现温度标记，导致文件过大，增加了文件传输与存储代价的问题，本发明提出的基于全卷积神经网络的红外图像温度估计方法，替代红外图像温度标记方法，有效降低红外图像的文件大小；本发明首先分析了红外图像的成像原理，构建全卷积神经网络实现红外图像各区域像素点温度估计，对比分析不同激活函数、批处理归一化方法、温度估计精度区间对温度估计结果的影响等关键问题，优化全卷积神经网络结构模型，实现红外图像温度准确估计；同时针对红外图像成像过程中所产生的温度突变点，提出奇异点消除算法进一步提高红外图像温度估计精度。通过对大量红外图像测试，实验结果表明基于全卷积神经网络的红外图像温度估计方法对红外图像温度估计误差在±2℃内的像素占比可达98.4％以上，可以用于红外图像温度表示，有效节省了红外图像的存储空间，提升了红外图像存储与传输效率。
实施例2
本实施例提供基于全卷积神经网络的红外图像温度估计系统，包括：
初级相对温度矩阵预测模块，其被配置为：获取彩色红外图像，并通过红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵；
平滑处理模块，其被配置为：对于初级相对温度矩阵，计算滑动窗口内的温度平均值和标准差；判断该滑动窗口内的每一点的温度值与平均值的差值是否超出标准差，若是，则认定为奇异点，并重置该点的温度值为平均值，否则，该点的温度值不变；移动滑动窗口直到初级相对温度矩阵被全部遍历，得到最终相对温度矩阵。
像素点温度计算模块，其被配置为：通过计算最终相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像各像素点的温度。
实施例3
本实施例提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于全卷积神经网络的红外图像温度估计方法。
实施例4
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于全卷积神经网络的红外图像温度估计方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于全卷积神经网络的红外图像温度估计方法，其特征是，包括以下步骤：
获取彩色红外图像，并通过红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵，所述红外图像温度估计模型包括全卷积部分、反卷积部分和Softmax层，全卷积部分用于提取特征，获得热点图，反卷积部分是将全卷积部分获得的热点图上采样得到原尺寸的语义分割结果，Softmax层将反卷积部分的输出结果通过softmax公式计算出每个像素点对应的初级相对温度；所述全卷积部分的每一个卷积层后均连接一个批量归一化层，所述批量归一化层用于对卷积层输出的特征结果进行均值和标准差归一化；
对于初级相对温度矩阵，计算滑动窗口内的温度平均值和标准差；判断该滑动窗口内的每一点的温度值与平均值的差值是否超出标准差，若是，则认定为奇异点，并重置该点的温度值为平均值，否则，该点的温度值不变；移动滑动窗口直到初级相对温度矩阵被全部遍历，得到最终相对温度矩阵；
通过计算最终相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像中各像素点的温度。
2.如权利要求1所述的基于全卷积神经网络的红外图像温度估计方法，其特征是，所述红外图像温度估计模型采用包括彩色红外图像及其对应的温度标签的训练集训练；所述温度标签是将原始温度矩阵按照等温度区间划分类别或者按照比例划分类别得到的。
3.如权利要求1所述的基于全卷积神经网络的红外图像温度估计方法，其特征是，所述反卷积部分包括依次连接的Dconv32层、Dconv16层和Dconv8层；所述Dconv32层是将全卷积部分的第六卷积层的输出结果，经过反卷积将32倍下采样的结果反卷积为16倍下采样结果；所述Dconv16层将Dconv32层的输出结果，与全卷积部分的第四池化层的输出结果相加，特征图相加后，经过反卷积将16倍下采样的结果反卷积为8倍下采样结果。
4.如权利要求3所述的基于全卷积神经网络的红外图像温度估计方法，其特征是，所述Dconv8层是将Dconv16层的输出结果，与全卷积部分的第三池化层的输出结果相加，特征图相加后，经过反卷积将8倍下采样的结果反卷积为原始输入图像尺寸。
5.如权利要求3所述的基于全卷积神经网络的红外图像温度估计方法，其特征是，所述Dconv8层后连接Softmax层，Softmax层将Dconv8层的输出结果通过softmax公式计算出每个像素点对应的初级相对温度。
6.基于全卷积神经网络的红外图像温度估计系统，其特征是，包括：
初级相对温度矩阵预测模块，其被配置为：获取彩色红外图像，并通过红外图像温度估计模型，预测得到图像大小的初级相对温度矩阵，所述红外图像温度估计模型包括全卷积部分、反卷积部分和Softmax层，全卷积部分用于提取特征，获得热点图，反卷积部分是将全卷积部分获得的热点图上采样得到原尺寸的语义分割结果，Softmax层将反卷积部分的输出结果通过softmax公式计算出每个像素点对应的初级相对温度；所述全卷积部分的每一个卷积层后均连接一个批量归一化层，所述批量归一化层用于对卷积层输出的特征结果进行均值和标准差归一化；
平滑处理模块，其被配置为：对于初级相对温度矩阵，计算滑动窗口内的温度平均值和标准差；判断该滑动窗口内的每一点的温度值与平均值的差值是否超出标准差，若是，则认定为奇异点，并重置该点的温度值为平均值，否则，该点的温度值不变；移动滑动窗口直到初级相对温度矩阵被全部遍历，得到最终相对温度矩阵；
像素点温度计算模块，其被配置为：通过计算最终相对温度矩阵与最大和最小温度值所对应像素间的比例关系，得到红外图像各像素点的温度。
7.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-5中任一项所述的基于全卷积神经网络的红外图像温度估计方法。
8.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-5中任一项所述的基于全卷积神经网络的红外图像温度估计方法。
CN202110995964.4A 2021-08-27 2021-08-27 基于全卷积神经网络的红外图像温度估计方法及系统 Active CN113705788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110995964.4A CN113705788B (zh) 2021-08-27 2021-08-27 基于全卷积神经网络的红外图像温度估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110995964.4A CN113705788B (zh) 2021-08-27 2021-08-27 基于全卷积神经网络的红外图像温度估计方法及系统

Publications (2)

Publication Number Publication Date
CN113705788A CN113705788A (zh) 2021-11-26
CN113705788B true CN113705788B (zh) 2023-09-22

Family

ID=78655993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110995964.4A Active CN113705788B (zh) 2021-08-27 2021-08-27 基于全卷积神经网络的红外图像温度估计方法及系统

Country Status (1)

Country Link
CN (1) CN113705788B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114112251B (zh) * 2022-01-29 2022-04-19 长扬科技（北京）有限公司 一种天然气泄漏点定位方法及装置
CN114757907B (zh) * 2022-04-06 2023-03-10 上海擎测机电工程技术有限公司 一种红外传感器的数据处理方法
CN115187570B (zh) * 2022-07-27 2023-04-07 北京拙河科技有限公司 一种基于dnn深度神经网络的奇异遍历检索方法及装置
CN115876334B (zh) * 2023-02-22 2023-05-30 瑞纳智能设备股份有限公司 红外热像室内测温方法、系统和计算机可读存储介质
CN116051555B (zh) * 2023-03-31 2023-06-23 深圳市冠禹半导体有限公司 一种晶圆温度分布的检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555512A (en) * 1993-08-19 1996-09-10 Matsushita Electric Industrial Co., Ltd. Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus
CN109523013A (zh) * 2018-10-15 2019-03-26 西北大学 一种基于浅层卷积神经网络的空气颗粒物污染程度估计方法
CN110414670A (zh) * 2019-07-03 2019-11-05 南京信息工程大学 一种基于全卷积神经网络的图像拼接篡改定位方法
CN111272290A (zh) * 2020-03-13 2020-06-12 西北工业大学 基于深度神经网络的测温红外热像仪标定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555512A (en) * 1993-08-19 1996-09-10 Matsushita Electric Industrial Co., Ltd. Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus
CN109523013A (zh) * 2018-10-15 2019-03-26 西北大学 一种基于浅层卷积神经网络的空气颗粒物污染程度估计方法
CN110414670A (zh) * 2019-07-03 2019-11-05 南京信息工程大学 一种基于全卷积神经网络的图像拼接篡改定位方法
CN111272290A (zh) * 2020-03-13 2020-06-12 西北工业大学 基于深度神经网络的测温红外热像仪标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
infrared image temperature measurement based on fcn and residual network;zhengguangxu等;《Proceeding of 2017 Chinese Intelligent Systems Conference》;全文 *
基于中波红外光谱遥测的温度估计算法;方正;欧阳琪楠;曾富荣;陈思媛;马盛林;;光谱学与光谱分析(04);全文 *

Also Published As

Publication number Publication date
CN113705788A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113705788B (zh) 基于全卷积神经网络的红外图像温度估计方法及系统
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Goodall et al. Tasking on natural statistics of infrared images
CN101776487B (zh) 一种红外焦平面非均匀性指纹提取及图像校正方法
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111199523B (zh) 电力设备识别方法、装置、计算机设备和存储介质
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN106355195A (zh) 用于测量图像清晰度值的系统及其方法
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
CN110363072B (zh) 舌象识别方法、装置、计算机设备及计算机可读存储介质
Kwasniewska et al. Super-resolved thermal imagery for high-accuracy facial areas detection and analysis
CN112884721B (zh) 一种异常检测方法、系统及计算机可读存储介质
CN116071268B (zh) 基于对比学习的图像去光照模型及其训练方法
Aetesam et al. Bayesian approach in a learning-based hyperspectral image denoising framework
Badawi et al. Deep-learning-based gas leak source localization from sparse sensor data
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Xiang et al. Recognition of characters on curved metal workpiece surfaces based on multi-exposure image fusion and deep neural networks
Cao et al. Universal high spatial resolution hyperspectral imaging using hybrid-resolution image fusion
Zhang et al. Extremely efficient PM2. 5 estimator based on analysis of saliency and statistics
CN110956623B (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
CN112967293A (zh) 一种图像语义分割方法、装置及存储介质
Shi et al. Dual-quality map based no reference image quality assessment using deformable convolution
Bhatnagar et al. Multi-sensor fusion based on local activity measure
Kim A knowledge based infrared camera system for invisible gas detection utilizing image processing techniques
Zhou et al. Low‐light image enhancement for infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee before: Qilu University of Technology

Country or region before: China