发明内容
本发明为了解决现有的温度预警无法实现实时监测的问题,进而提出了一种温度智能监测方法及系统。
本发明采取的技术方案是:
一种温度智能监测方法,它包括以下步骤:
S1、在需要温度监测的部位设置红外热成像装置;
S2、获取红外热成像装置对应区域的图像或图像序列,作为原图;
S3、对原图进行非均匀性校正;
S4、对非均匀性校正后的原图进行图像细节增强处理;
S5、提取细节增强处理后的原图中的目标区域;
S6、基于S5识别的目标区域进行实时温度监测或温度预警。
进一步地,所述S3中,对原图采用两点定标校正算法进行非均匀性校正。
进一步地,对原图采用两点定标校正算法进行非均匀性校正的方法包括:
S31、在红外焦平面阵列内选取辐射度定标点φL和φH,记录所有的N×M探测器单元的响应输出值;
S32、获取各探测器单元的校正参数;
Si,j(φL)表示φL所涉及范围内的探测器单元的响应输出值;
Si,j(φH)表示φH所涉及范围内的探测器单元的响应输出值;
SL表示所有响应输出值Si,j(φL)的平均值;
SH表示所有响应输出值Si,j(φH)的平均值;
i表示红外焦平面阵列中探测器单元的行数;
j表示红外焦平面阵列中探测器单元的列数;
S33、对原图进行非均匀性校正;
φ表示入射到探测器单元的辐照度;
表示第(i,j)个探测器单元的响应输出值的校正值;
Si,j(φ)表示第(i,j)个探测器单元的响应输出值。
进一步地,所述S4中,对非均匀性校正后的原图进行图像细节增强处理的方法包括:
S41、对非均匀性校正后的原图进行滤波,获取滤波结果h(x):
k(x)表示归一化因子,k(x)=∫∫c(ε,x)s(f(ε),f(x))dε;
c(ε,x)表示当前像素x与领域像素ε之间的空间距离所产生的权值;
s(f(ε),f(x))表示当前像素的灰度值与领域像素灰度值之差产生的权值;
f(ε)表示当前像素的灰度值;
f(x)表示非均匀性校正后的原图;
ε表示领域像;
S42、将原图与滤波结果相减获取细节图像;
S43、对细节图像进行最值归一化处理:
fout(x,y)表示最值归一化的结果图像;
fin(x,y)表示细节图像;
min表示像素的最小值,max表示像素的最大值,0<min<max<L,L表示图像的灰度级数目。
进一步地,所述S5中,提取细节增强处理后的原图中的目标区域的方法包括:
S51、提取细节增强处理后的原图中的特征图像;
S52、根据特征图像生成多模态融合特征图像;
S53、对多模态融合特征图像依次进行预浸没与区域填充;
S54、提取浸没与区域填充后的多模态融合特征图像内的目标区域。
进一步地,所述特征图像包括对比度特征、熵特征和梯度特征。
进一步地,所述根据特征图像生成多模态融合特征图像的方法包括:
S521、分别利用中值滤波、形态学腐蚀和覆盖算子减弱图像亮度影响的方法,获取特征图像中的对比度特征、熵特征和梯度特征;
S522、将对比度特征、熵特征与梯度特征进行融合,生成多模态融合特征图像。
一种温度智能监测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如一种温度智能监测方法的任一步骤。
一种存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如一种温度智能监测方法的任一步骤。
有益效果:
本发明通过采用热成像的监测方法得到红外图像,结合图像校正、图像细节增强以及提取目标区域的图像算法,并结合拍摄设备状态,记录预警时刻的GPS坐标位置、相机姿态角度、相机视场角及拍摄参数等信息,通过物联网通信技术实时上传至云服务器、存储器传输预警信息至管理调度中心,实现人机交互,并将红外图像中的监测部位温度表现在显示界面,起到预警的作用,警告维护人员该位置温度超标,供管理人员确认和判断是否需要维修或忽略该位置的温度预警及调度相关运维人员进行维护,从而达到实时监测的目的,又实现了智能温度预警,有效降低了误检率、漏检率,提高了行业作业效率。
本发明能够应用于各个领域的温度监测中,并将实时视频流与热源超过预设温度阈值的图像上传至云服务器,在云服务器内进行存储,通过云服务器地址端将信号源地址和图像信息发送到指定的运维联系人,便于技术人员在线分析实际地理位置或干扰温度变化等实际因素。对电力巡检、石化和新能源等行业相关的温度预警场景赋能,提高智能化程度,降低系统运行风险,减少相关损失,进一步降低了温度监测的成本。
本发明定点采集监测目标区域的温度信息图像,既降低了维修人员的维护成本,又减少了人力投入,提高了安全性,保证了监测温度的实时性,同时实现了温度预警功能,并且当高温点存在时,本发明实用性更强。
具体实施方式
具体实施方式一:结合图1说明本实施方式,本实施方式所述一种温度智能监测方法,它包括以下步骤:
S1、在需要温度监测的部位设置红外热成像装置;
在需要温度监测的部位(目标区域)设置红外热成像装置,红外热成像系统包含供电设备、集成物联网通讯模块的红外热成像装置以及云服务器,红外热成像装置包括红外热成像仪,其中供电设备可以在各个环境区域内使用,例如街道,户外等地点,为了提高红外热成像系统的实用性,采用太阳能电池板和蓄电池作为系统的电源。数据信息传输需要数据通讯,本发明用物联网通讯模块,使用物联网卡为系统提供数据流量,可以解决户外不存在专网的问题。红外热成像仪可调分辨率,监测的点位可以根据实际工况调整适当的距离,实时监测的点位进入摄像头的视野中。云服务器的使用可以存储上传的大量数据,防止数据丢失,实现云数据的边缘计算能力,而且可以定期删除过期数据,在线处理快捷,另外的作用则是发送信息到客户端,客户端用户可以查看信息。需要监测的部位,包含但不限于架空线(包括轨道交通接触网)线夹、金属接线端子、母排连接点、变压器出线等导体连接点及变压器表面等电力、石化和新能源领域等可能产生高温的仪器部位。
S2、获取红外热成像装置对应区域的图像或图像序列,作为原图,即原图像;
使用相机设备采集需要检测的图像,装置及设备可以是手持终端云台相机设备、固定式枪机或球机摄像机、地面移动机器人平台、飞行无人机平台等挂载有可移动云台相机的设备及存储器,获取相机镜头采集的需要进行温度预警识别的场景的红外光图像或图像序列视频。
S3、对原图进行非均匀性校正;
红外成像装置广泛,由于材料和工艺的原因,焦平面探测单元的响应率很难做到一致,这就会造成对着均匀辐射目标最后探测器给出的响应电压不一样,带来的直接后果就是IRFPA成像的效果。因此必须对焦平面的像元响应进行校正。
在红外焦平面阵列中,每一个单元探测器的响应函数是一个非线性函数,但是在较小的范围内,探测器的响应曲线可以近似的看作直线,且假定探测器的响应具有时间上的稳定性,则红外焦平面阵列中单个探测器的响应输出值可以用线性方程表示:
Si,j(φ)=gi,j(φ)φ+oi,j(φ) (1)
其中,gi,j(φ)表示照度φ下的增益系数(相应率);
oi,j(φ)表示照度φ下的偏置(暗电流);
φ表示入射到探测器单元的辐照度;
i表示红外焦平面阵列中探测器单元的行数;
j表示红外焦平面阵列中探测器单元的列数;
红外焦平面阵列的非均匀性表现在各探测器单元之间gi,j(φ)和oi,j(φ)的差异。
校正的基本思想如下:
(1)利用参考辐射源给红外焦平面阵列提供均匀的辐照度,对每个探测器单元的响应输出值进行测量;
(2)由此计算得出各探测器单元的校正参数;
(3)当红外焦平面阵列接收到实际场景辐照度时,用各探测器单元的相应校正参数对其输出进行实际的校正。
按参考辐射源定标点的个数,采用两点定标校正算法,通过测量阵列中各探测器单元对两个不同辐射度的均匀黑体辐射的响应,计算出校正值,从而实现非均匀性校正。
算法实现:
在红外焦平面阵列内选取两个辐射度定标点φL和φH,分别记录红外焦平面阵列中所有的N×M探测器单元的响应输出值;
对这些所有的响应输出值Si,j(φL)和Si,j(φH)分别作平均,得
其中,Si,j(φL)表示φL所涉及范围内的探测器单元的响应输出值;
Si,j(φH)表示φH所涉及范围内的探测器单元的响应输出值;
SL表示所有响应输出值Si,j(φL)的平均值;
SH表示所有响应输出值Si,j(φH)的平均值;
通过
和
所确定的直线用作校正直线,其中
表示对红外焦平面阵列所有探测器单元的输出信号S
L求平均,
表示对红外焦平面阵列所有探测器单元的输出信号求S
H平均;
在一定照度φ下,第(i,j)个探测器单元的响应输出值Si,j(φ)与其探测器单元的响应输出值的校正值S·i,j(φ)之间存在以下比例关系:
可以得到:
S· i,j(φ)=Gi,jSi,j(φ)+Oi,j (5)
S4、对非均匀性校正后的原图进行图像细节增强处理;
由于红外图像动态范围较大,在将其转换为适合人眼观察的模拟图像过程中,容易造成图像细节的缺失,影响人眼的观察效果。如何获取具有良好对比度且信息丰富的图像,是红外图像处理中的一项重要技术。目前红外图像的原始数据一般为14bit,而适合人眼观察的模拟图像为8位,通过采用图像变换算法将红外原始数据映射到模拟图像,即可完成对红外图像的处理。
为增强细节部分,需要先将细节信息从原始图中提取出来,然后对整体大背景图像进行压缩,保留或者增强细节部分。图像的细节对应图像的高频部分,而整体轮廓对应图像的低频部分。
本方案拟采用双域滤波,它是空间域波与灰度域滤波的结合,本质是一个带权平均滤波,与普通的低通滤波不同的双域滤波的权值不仅取决当前像素与邻域内各素的空间距离还与邻域内各像素与当前像素的灰距离有关。
设待滤波图像(非均匀性校正后的原图)为f(x),则双域滤波结果h(x)可表示为:
其中,k(x)表示归一化因子,k(x)=∫∫c(ε,x)s(f(ε),f(x))dε;
c(ε,x)计算当前像素x与领域像素ε之间的空间距离所产生的权值;
s(f(ε),f(x))则为当前像素的灰度值与领域像素灰度值之差产生的权值;
f(ε)表示当前像素的灰度值;
f(x)表示待滤波图像,即非均匀性校正后的原图;
ε表示领域像。
因此双域滤波是一个特殊的低通滤波,其结果h(x)为图像的基本部分,用原始图像减去滤波结果(低通滤波图像)可得到图像细节部分(细节图)。
对细节图像进行最值归一化处理的过程如下:
统计待增强图像(非均匀性校正后的原图)的直方图H(k),k=0...L-1,L表示图像的灰度级数目。
从直方图左右两端向中间逐个统计像素的数目,即
S1=H(1)+H(2)+…+H(min) (7)
S2=H(L-1)+H(L-2)+…+H(max) (8)
其中,S1表示从1至min统计是像素总数目;
S2表示从(L-1)至max统计的像素总数目;
min表示像素的最小值,max表示像素的最大值,0<min<max<L。
判断S1,S2的值,当S1>T时,停止累加并保存当前值min;当S2>T时,停止累加并保存当前max的值,T为预设值。
使用min作为最小值,max为最大值进行最值归一化。即:
其中,fin(x,y)表示输入图像;fout(x,y)为最值归一化的结果图像。
S5、提取细节增强处理后的原图中的目标区域;
红外热成像仪在采集图像时,干扰主要包括:
(1)导热构件干扰,不同的构件会出现不同类型的干扰,由于目标区域与干扰区域存在相似性,导致难以准确提取目标区域。
(2)天气干扰.阴天的温度和光线使得目标区域与环境温度差异较小,造成定位不准.因此,采用红外热图像的提取算法,以有效地分割出复杂红外热图像中的目标区域是十分有必要的。
红外热图像目标区域提取算法主要包括三个步骤:
(1)特征图像提取:包括对比度特征、熵特征以及梯度特征。通过灰度共生矩阵(GLCM)计算、通道图像的对比度特征图像和原图像的熵特征图像。通过覆盖算子线性混合,降低图像亮度,用来减少数据图中亮度在构建梯度图像中的干扰,并利用水平与垂直分量差分方法得到梯度特征图像。
(2)多模态融合特征图生成。利用中值滤波获取加权对比度特征,利用形态学腐蚀获得加权熵特征,利用覆盖算子减弱图像亮度影响的方法提取梯度特征,再将对比度特征、熵特征与梯度特征进行融合,生成多模态特征图像。
(3)对多模态特征图像进行预浸没与区域填充,进而实现目标提取。
采用灰度共生矩阵的方法来求原图像的对比度特征图。通道图像的红外热图像主要表征轮廓特征,通道图像则表征高温和低温特征。合并、分量的图像,可以同时表征图像的轮廓与区域温度。将和分量进行线性加权,组合成新的分量,再转换为灰度图像,由此可以得到目标区域的轮廓位置。
采用灰度共生矩阵的方法求原图像的熵特征图。熵反映了图像中纹理的非均匀程度或复杂程度,是图像混乱程度的度量。对比度特征图像采用中值滤波,选择核函数为矩阵进行中值滤波,得到经过中值滤波的对比度特征图像。熵特征值特征图像则采用形态学腐蚀的方法,使用椭圆形算子,核函数的大小为3×3的矩阵.腐蚀方法可以使区域连通,边缘连接。经过形态学方法得到的熵特征图像。
采用覆盖算子减弱图像亮度影响的方法来求原图像的梯度特征,覆盖算子:
f2(x,y)=(1-μ)f0(x,y)+μf1(x,y) (10)
f2(x,y)表示亮度降低的图像;
(1-μ)表示衰减因子;
f0(x,y)表示细节增强处理后的原图;
f1(x,y)表示输入图像;
当μ从0变化到1时,衰减因子减弱了细节增强处理后的原图像f0(x,y)的影响,f1(x,y)为进行交叉融合的输入图像,f1(x,y)为全黑图像,用画面交叉融合的效果,减小亮度因子的影响,将图像的亮度降低,降低亮度后的图像为f2(x,y),将图像由RGB模式转换到HSI模式,并求f2(x,y)的I分量图像I2(x,y),如式所示:
I2=0.299Rf2+0.587Gf2+0.114Bf2 (11)
g(x,y)=|I2(x,y)-I2(x+1,y)|+|I2(x,y)-I2(x,y+1)| (12)
I2(x,y)表示f2(x,y)中的一个像素点,Rf2、Gf2、Bf2为RGB分量,g(x,y)表示梯度图像.求取梯度的方法使用的是水平与垂直分量差分方法,I2(x,y)通过水平垂直差分法后得到梯度图像g(x,y)。
选取种子点进行填充,种子点可以通过人工手动选择,或者由对比度特征图通过形态学方法模拟出最大内接多边形的中心为种子点。完成区域填充后,由于正差值的范围有限,内部仍将出现小的孔洞,通过孔洞填充,使得整个区域提取图像更加完整。
S6、基于S5识别的目标区域进行实时温度跟踪或温度预警。
监测点位在拍摄视频或图像序列时实时跟踪目标区域温度变化,并实时监测环境温度,并上传包含但不限于预警图像、GPS坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息记录,但不向客户端发出预警提示,维运人员可以在线观看存储的有效期内的图像或视频等信息记录。
如果实时拍摄的图像或图像序列中存在预警高温区域,则在云服务器的存储器内保存此图像,并进行温度预警,向管理中心预警,并上传包含但不限于预警图像、GPS坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息。
具体实施方式二:结合图1说明本实施方式,本实施方式所述一种温度智能监测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如一种温度智能监测方法的任一步骤。
具体实施方式三:结合图1说明本实施方式,本实施方式所述一种存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现一种温度智能监测方法的任一步骤。
在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。