发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种热成像气体监测系统。
一种热成像气体监测系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
S1:在机房机器排风口构建先验ROI,并将先验ROI划分为多个连续的先验ROI分区;
S2:采集先验ROI的气体热成像,将时序上连续的气体热成像输入气体流动分析神经网络,对第一滑动时间窗口内的气体热成像联结后得到的多通道张量数据进行分析,得到气体流动程度;
若连续两次或多次的气体流动程度大于第一阈值,关闭气体流动分析神经网络,调用气体监测模块;
S3:气体监测模块计算第一时间段内各先验ROI分区最高温度值的均值Temp;
获取气体热成像上各先验ROI分区的最高温度值的坐标;
计算相邻帧气体热成像上各先验ROI分区中最高温度值坐标的扩散距离;
统计第一时间段内各先验ROI分区最高温度值坐标扩散距离之和L;
基于Temp、L分析机器的散热情况;
S4:当Temp小于第二阈值时,关闭气体监测模块,启动气体流动分析神经网络。
进一步地,所述基于Temp、L分析机器的散热情况包括:
进一步地,所述气体流动分析神经网络包括两个分支和一个联合分析模块,第一分支对第一滑动时间窗口内的气体热成像联结后得到的多通道张量数据进行分析,得到第一气体流动分析特征向量;
第二分支对第一滑动时间窗口内的气体热成像分别进行阈值分割,得到对应的气体像素面积,将气体像素面积组成向量输入全连接网络进行分析,得到第二气体流动分析特征向量;
联合分析模块对第一气体流动分析特征向量、第二气体流动分析特征向量联结之后得到的向量进行分析,得到气体流动程度。
进一步地,所述第一滑动时间窗口步长与滑动窗口尺寸相同。
进一步地,所述S1包括:
设置第一热像仪,第一热像仪的光轴与出风风向、排风口一条边框线垂直,采集排风口正面区域的气体热成像;设置第二热像仪,第二热像仪的光轴与出风风向平行,采集排风口上方区域的气体热成像;
根据第一热像仪的成像区域在排风口正面区域构建第一先验ROI,按照与出风风向平行的方向,将第一先验ROI划分为多个连续的第一先验ROI分区;根据第二热像仪的成像区域在排风口上方区域构建第二先验ROI,按照与成像平面竖向平行的方向,将第二先验ROI划分为多个连续的第二先验ROI分区。
进一步地,所述S2包括:
采集机房机器排风口正面区域的气体热成像,将时序上连续的正面区域的气体热成像输入第一气体流动分析神经网络,得到第一气体流动程度;
采集机房机器排风口上方区域的气体热成像,将时序上连续的上方区域的气体热成像输入第二气体流动分析神经网络,得到第二气体流动程度;
综合第一气体流动程度、第二气体流动程度得到综合气体流动程度,若连续两次或多次综合气体流动程度大于设定阈值,关闭气体流动分析神经网络,调用气体监测模块。
进一步地,所述综合第一气体流动程度、第二气体流动程度得到综合气体流动程度包括:
对第一气体流动程度、第二气体流动程度赋予相应权值,将加权后的总和作为综合气体流动程度。
进一步地,第一气体流动程度的权值大于第二气体流动程度的权值。
进一步地,所述基于Temp、L分析机器的散热情况包括:
建立散热分析模型:
其中,
为先验温度最大值,
表示第一时间段长度,
为先验ROI的高度,
为先验ROI分区的个数,M越大,机器负载越高。
进一步地,所述基于Temp、L分析机器的散热情况包括:
建立散热分析模型:
其中,
为先验温度最大值,i表示先验ROI的类型,
为第i类型先验ROI的各先验ROI分区最高温度值坐标扩散距离之和,
表示第一时间段长度,
为第i类型先验ROI的高度,
为第i类型先验ROI分区的个数,M越大,机器负载越高。
本发明与现有技术相比,具有以下有益效果:
本发明只需利用热成像相机及少量计算资源就可以分析机房机器的负载情况。通过神经网络,可以精确地得到气体的流动等级,从而合理协调模块间工作,降低功耗。通过先验ROI区域与直线拟合,可以有效地分析气体的流动距离与流动方向。
由于出风口的最大温度点受到多方面因素影响,随机器运转、风扇转速出现出风风向垂直方向的摇摆,因此,如果直接统计最高温度值坐标的扩散距离,势必无法较好地表征出风风向上的气流速度,因此,本发明对先验ROI分区分别进行分析,有助于提高气流速度的计算精度。
传统的气体流动是根据传感器测得,传感器易受干扰,会出现较大误差,而且易损坏;也有方法根据亮度温度值的位置变化计算气流速度,不间断计算气流速度,计算量高;本发明结合神经网络技术对时序上的气体热成像进行分析,实现对气体流动的粗糙估计,无需不间断计算气流速度,大大降低了计算量和空间复杂度。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种热成像气体监测系统。主要对机房机器的气体进行监测,得到气体的流动情况与温度,从而分析机房机器的负载与散热情况,预防机器发生故障。图1为本发明的流程图。下面通过具体实施例来进行说明。
实施例1:
热成像气体监测系统:
S1:在机房机器排风口构建先验ROI,并将先验ROI划分为多个连续的先验ROI分区。
首先部署热像仪,该热像仪对准机房机器,监测机器排风处气体的流动情况与温度。利用热成像相机进行图像采集,热像仪可以为多个,要覆盖整个机房的各个机器,然后将采集到的图像送入训练好的卷积神经网络中,得到图像内气体的流动等级,以选择是否开启气体监测分析模块。
具体地,针对每一个排风口,设置第一热像仪,第一热像仪的光轴与出风风向、排风口一条边框线垂直,采集排风口正面区域的气体热成像;设置第二热像仪,第二热像仪的光轴与出风风向平行,采集排风口上方区域的气体热成像;根据第一热像仪的成像区域在排风口正面区域构建第一先验ROI,按照与出风风向平行的方向,将第一先验ROI划分为多个连续的第一先验ROI分区;根据第二热像仪的成像区域在排风口上方区域构建第二先验ROI,按照与成像平面竖向平行的方向,将第二先验ROI划分为多个连续的第二先验ROI分区。对于ROI区域进行规则的区域化切分,先验切分规则如图2所示,包括5个分区,即区域A-E。
S2:采集先验ROI的气体热成像,将时序上连续的气体热成像输入气体流动分析神经网络,对第一滑动时间窗口内的气体热成像联结后得到的多通道张量数据进行分析,得到气体流动程度。若连续两次或多次的气体流动程度大于第一阈值,关闭气体流动分析神经网络,调用气体监测模块。滑动时间窗口是对时间序列数据进行操作时使用的一种技术手段,对时间序列进行统计值计算和其他一些函数计算。本实施例中,第一滑动时间窗口设于连续的气体热成像上,对位于第一滑动时间窗口内的气体热成像进行连接得到多通道张量数据从而进一步进行分析。
红外热成像技术以其高效率、远距离、大范围和动态直观等显著优势,成为气体监测技术的重要发展方向。气体流动分析神经网络有多种实施方式。一种实施方式是,气体流动分析神经网络基于编码器-全连接结构,对多通道张量数据分析,得到气体流动程度。为了提高气体流动分析神经网络的精度,设计以下结构:所述气体流动分析神经网络包括两个分支和一个联合分析模块,第一分支对第一滑动时间窗口内的气体热成像联结后得到的多通道张量数据进行分析,得到第一气体流动分析特征向量;第二分支对第一滑动时间窗口内的气体热成像分别进行阈值分割,得到对应的气体像素面积,将气体像素面积组成向量输入全连接网络进行分析,得到第二气体流动分析特征向量;联合分析模块对第一气体流动分析特征向量、第二气体流动分析特征向量联结之后得到的向量进行分析,得到气体流动程度。优选地,第一滑动时间窗口步长与滑动窗口尺寸相同。也就是说,时间窗口之间不重叠,举例说明,第一滑动时间窗口内当前包括第1-3帧气体热成像,即时间窗口尺寸为3,那么,下一次处理时,向前滑动3步(步长与时间窗口尺寸相同),第一滑动时间窗口内为第4-6帧气体热成像。
气体流动分析神经网络训练方法如下。对于该网络,是基于时序的热成像图像序列进行气体流动等级分级。本实施例中,第一滑动时间窗口尺寸为3,步长为3,对每三帧热成像进行气体流动等级分级,即第一分支是三帧热成像进行连接(concatenate)操作,最终形成一个多通道张量数据—三通道图像,再经过归一化,作为特征提取编码器输入的。特征提取编码器是对输入数据进行特征提取,输入为归一化的热成像图像数据,输出为特征图(Feature map);第一全连接网络起到特征映射的作用,输入为特征提取编码器产生的特征图(Feature map)进行展平(Flatten)操作的结果,输出为第一气体流动分析特征向量。
第二分支仍然为与第一分支相同个数的气体热成像。按照上述举例为三帧气体热成像,首先对气体热成像进行阈值分割,得到二值图像,由于热成像本身代表的就是温度,因此阈值分割所需阈值可人为调试,最终得到气体区域二值图像。优选地,阈值可以设定为30度对应的热成像像素值。对于气体二值图像,将代表气体的像素总数量作为气体像素面积。进一步的,提取每三帧热成像的气体像素面积,并将其输入到第二全连接网络,其作用同样为特征映射,最终得到一个特征向量,即第二气体流动分析特征向量。第三全连接网络起到将特征映射到样本标记空间的作用,输入为第一全连接网络与第二全连接网络得到的特征向量连接(concatenate)的结果,同样为一个特征向量,输出为各种气体流动等级的概率。损失函数采用交叉熵。最终网络输出的值为概率,然后进行argmax(得到最大可能性类的函数)操作,得到具体的气体流动等级。气体流动等级的标签这里只标为三类即可,一是快速,二是慢速,三是无气体流动。标签数据输入到网络中训练需要进行独热编码(one-hot编码)。
编码器的结构设计有许多种,本发明建议编码器套用残差网络(ResNet)或轻量级网络预训练模型,网络的卷积建议使用深度可分离卷积,可以让模型更加轻量、速度更快,同时实施者也可结合LSTM(长短期记忆网络)等时序模型来对特征提取编码器得到的特征图经过展平(Flatten)操作的张量进行时序特征的提取,最终通过第一全连接网络来进行特征映射。
对于机房机器而言,通常气体的流动为机器散热器发出,当气体流动越快说明机器散热器转速越高,其温度也越高,因此当气体流动分析模块的网络输出气体流动等级为快速时,调用气体监测模块,预防机器由于高负载导致故障的发生。
对于网络可能存在误检测,此处基于序列的多次检测结果进行判断,当连续的五次检测都为快速气体流动等级时,调用气体监测模块,同时关闭自身,即气体流动分析模块。
在本实施例中,由于划分了两种类型的先验ROI,因此,采集机房机器排风口正面区域的气体热成像,将时序上连续的正面区域的气体热成像输入第一气体流动分析神经网络,得到第一气体流动程度;采集机房机器排风口上方区域的气体热成像,将时序上连续的上方区域的气体热成像输入第二气体流动分析神经网络,得到第二气体流动程度;综合第一气体流动程度、第二气体流动程度得到综合气体流动程度,若连续两次或多次综合气体流动程度大于设定阈值,关闭气体流动分析神经网络,调用气体监测模块。综合第一气体流动程度、第二气体流动程度得到综合气体流动程度包括:对第一气体流动程度、第二气体流动程度赋予相应权值,将加权后的总和作为综合气体流动程度。第一气体流动程度的权值大于第二气体流动程度的权值。
S3:气体监测模块计算第一时间段内各先验ROI分区最高温度值的均值Temp;获取气体热成像上各先验ROI分区的最高温度值的坐标;计算相邻帧气体热成像上各先验ROI分区中最高温度值坐标的扩散距离;统计第一时间段内各先验ROI分区最高温度值坐标扩散距离之和L;基于Temp、L分析机器的散热情况。
调用气体监测模块时,计算每个先验ROI分区的最大温度点,并对各个分区最大温度点求平均得到气体温度。求先验ROI的气体温度,有如下公式:
为ROI气体温度,
为划分的先验ROI分区总数量,
表示先验ROI分区
的最高温度值。在本实施例中,将两种类型的先验ROI分区的最大温度点求均值即可。
然后对于每个先验ROI分区,利用
函数(计算极值点位置的函数)得到最高温度值的点坐标,
函数公式为周知的,这里不在赘述。
进一步地,对每个先验ROI分区的最大温度点坐标进行直线拟合,分析其拟合直线的时序斜率,得到气体流动距离与气流方向。
由于得到的最大温度点处在图像的不同区域,因此此处要进行直线拟合,可采用最小二乘法,最终得到直线的表达式:
k表示斜率,
表示常数项。因此,对于时序的气体热成像,可以得到大量的时序直线斜率序列,因而有以下分析:当连续的序列有五帧k<0时,即直线时向下随x坐标递减时,认为气体向下流动。当连续的序列有五帧k>0时,即直线是向上随x坐标递增时,认为气体向上流动。通常来说,连续的序列有五帧k=0的情况不可能存在,因此不考虑此种情况。气体流动方向可以为气体的三维流动可视化提供参考依据。
对于气体扩散距离,同样基于时序的最大温度点进行分析得到。通过时序的监测,可得到时序的区域最大温度点序列。对于每个先验ROI分区进行最大温度点序列间距分析,该公式如下:
即该区域第
帧的最大温度值点坐标,
、
即该区域第
帧的最大温度值点坐标。以五帧为例,第一时间段为五帧气体热成像对应的时间,每五帧计算一次气体扩散速率,因而根据上述公式,五帧会计算4次同一区域的最大温度点间距,有以下公式:
为计算的次数,五帧时为
次,
为先验ROI分区的个数,
为第
次计算结果中第
个先验ROI分区的最大温度点间距,
为五帧中计算出所有区域最大温度值坐标距离的和,即气体扩散距离。因此,根据上式可以得到两种类型的L。在不区分先验ROI分区类型时,利用上式计算总的气体扩散距离即可。
基于气体温度、气体流动距离分析机房机器的负载与散热情况,建立散热分析模型,公式如下:
对于上述公式,可理解为在相同温度时,散热越快,则M的值越小,代表机器散热正常,若温度越大,散热越慢,则M值越大,说明机器散热不正常。对于负载而言,温度越高,机器负载越高,温度越小,负载通常越小。因此对于上述M的值,可基于经验统计其散热判断区间。
进一步地,为了提高散热分析模型的表征能力,引入先验温度最大值、先验ROI的高度,因此,散热分析模型还可以为:
其中,
为先验温度最大值,
表示第一时间段长度,
为先验ROI的高度,
为先验ROI分区的个数,M越大,机器负载越高。
本实施例划分了两个类型的先验ROI,因此,散热分析模型还可以为:
其中,
为先验温度最大值,i表示先验ROI的类型,
为第i类型先验ROI的各先验ROI分区最高温度值坐标扩散距离之和,
表示第一时间段长度,
为第i类型先验ROI的高度,
为第i类型先验ROI分区的个数,M越大,机器负载越高。在本发明中,先验ROI包括两种类型,即第一先验ROI、第二先验ROI。
S4:当Temp小于第二阈值时,关闭气体监测模块,启动气体流动分析神经网络。
对于何时再次调用气体流动分析模块,同时关闭自身气体监测模块,其依据为:
G即阈值,通常机房机器散热器温度在40°以上,为避免两个模块出现失控,阈值G经验值选取区间通常在[50,60]内。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。