CN116071656A - 地下变电站红外图像积水检测智能报警方法及系统 - Google Patents

Abstract

本发明公开了地下变电站红外图像积水检测智能报警方法及系统，属于计算机视觉的技术领域。通过限制对比度自适应直方图均衡化和中值滤波算法对地下变电站(开闭站、配电室)的红外积水图像进行图像增强，提高积水目标的检出率。通过后处理逻辑模块进行告警，进一步减少模型的误检率。解决了地下变电站(开闭站、配电室)光照弱、积水目标不明显的问题，通过灵活的后处理方式根据不同情况进行不同等级的告警，相比于目前的积水检测系统，无需大规模的传感器和设备，仅需要架设红外摄像设备即可进行积水告警，更加方便灵活。

Description

地下变电站红外图像积水检测智能报警方法及系统

技术领域

本发明属于地下变电站积水检测技术领域，具体涉及一种地下变电站(开闭站、配电室)红外图像积水检测智能报警方法及系统。

背景技术

随着城市化进程的加快，城市的土地资源愈显匮乏，城市各类用地日趋紧张。城市的发展离不开电力的支撑，在城区各个区域都建有大量的电力设施。由于城区用地紧张，部分区域地上变电站(开闭站、配电室)站址选择困难，但地下变电站(开闭站、配电室)也存在着不可忽视的安全问题。

自20世纪90年代以来，多采用提高设备装置的防水性能来解决积水、内涝问题带来的危害，如专利《一种地下配电室电缆防水结构》中的方法通过增加电缆的防水性来防止积水造成的危害，这种方法可以很好的防止内涝造成的电路危害但同时也提高了设备的制造成本。如专利《基于配电室、电容房的水位检测自动报警系统》通过液位报警装置检测集水坑内水位变化进行报警，该方法虽可以精准的判断是否有积水危险，但无法准确判断积水位置并且集水坑位置固定，只有水量到达一定程度才会造成报警，实时性较差。随着人工智能技术的发展，可以通过计算机视觉进行积水检测，该方法具备设备小、易部署、成本低、性能好等特点，部署位置可随用户需求改变，可以精准判断积水位置，可以自定义多种预警功能更加人性化的提醒用户目前的告警状态。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种地下变电站(开闭站、配电室)红外图像积水检测智能报警方法及系统。本发明通过深度学习网络对低光线的地下变电站(开闭站、配电室)等电力设施场景下采用红外摄像头拍摄红外图像进行积水检测与告警，可以精确识别积水目标和场景中的其他设备，通过判断积水与设备的位置、积水面积的大小以及是否有流动水流导致积水实现自动化、定制化报警。

本发明解决所述技术问题采用的技术方案是：

第一方面，本发明提供一种地下变电站红外图像积水检测智能报警方法，所述报警方法包括以下内容：

S1：获取地下变电站的红外摄像头收集不同关键点位的红外图像数据；

S2：将红外图像数据进行预处理后制作数据集，并对红外图像数据中的积水目标、需要进行积水防护的设备目标进行分别标注；

S3：构建目标检测模型，利用数据集训练目标检测模型，使得目标检测模型能够识别红外图像中标注对象的位置、类别，所述类别包括积水目标检测框、各种需要进行积水防护的设备目标的目标检测框，所述各种需要进行积水防护的设备目标的目标检测框统称为设备目标检测框；

S4:设定时间间隔Δt，每隔Δt对待检测地下变电站进行一次积水检测，获得红外视频数据，将红外视频数据抽帧为图像序列后，按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标位置，利用目标位置获得目标检测框的面积信息；

遍历图像序列中每张图像的积水目标，判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，则提示紧急告警；若交并比不超过交集阈值，则提示次要告警；

当图像序列中除最后一张图像外的所有的图像均经过检测后，分别统计图像序列中每张图像的所有积水目标检测框的面积之和，分析图像序列中每张图像的所有积水目标检测框的面积之和是否存在面积递增的现象，若存在提示主要告警；若不存在面积递增的现象则提示一般告警。

所述需要进行积水防护的设备包括变压器、电缆和/或变电柜在内的与电路相关的不具有防水功能的电气设备，对于不同种类的设备用拼音首字母分别标注。

所述S1的具体步骤是：

S11：在地下变电站的电缆、变压器和易发生积水的点位部署红外摄像头；

S12：将红外摄像机拍摄的视频使用抽帧的方式进行处理，将红外视频数据转化为红外图像数据，抽帧间隔为3s；

S13：将所有的红外图像数据进行汇总筛选，首先通过感知哈希算法利用python脚本进行图片结构性相似度的判断，删除相似度超过90%的数据图像，然后进行人工筛选，将不含积水、变压器、电缆和/或变电柜目标的数据删除。

所述目标检测模型利用协调注意力机制优化yolov5目标检测算法获得，在yolov5骨干网络的最后一层SPP层后加入协调注意力机制，构成目标检测模型；协调注意力机制的流程是：①先将输入特征图分为宽度和高度两个方向进行平均池化，获得宽度和高度两个方向上的特征图；②将宽度和高度两个方向的特征图拼接到一起，输入到1×1的卷积模块，进行降维处理；③经过批归一化层、非线性层和Sigmoid激活函数获得特征图f，大小变为1×(W+H)×C/r，其中，W代表图像宽度，H代表图像高度，C代表图像通道数，C=1，C/r代表将维度缩小的倍数；④再同时经过两个1×1卷积模块后恢复宽度和高度两个方向特征图的维度，并经过Sigmoid激活函数后得到在H和W上的注意力权重；⑤在原始图像上经过乘法加权实现在宽度和高度两个方向上的注意力。

所述S2的具体流程是：

S21：由于红外摄像头拍摄的图像积水目标不明显，采用限制对比度自适应直方图均衡化的方式提高图像对比度，增强积水目标；

S22：再对步骤S21获得的图像通过中值滤波的方式进行降噪；

S23：对经过步骤S22获得的图像数据，使用开源标注工具LabelImg进行标注，标注目标包括：积水、电缆、变压器和/或变电柜；

S24：标注完成的数据构成数据集，按照7：2：1的比例将数据集分为训练集、测试集、验证集。

第二方面，本发明提供一种地下变电站红外图像积水检测智能报警系统，所述报警系统包括：

红外图像获取模块，用于采集地下变电站场景下的红外图像；

图像预处理模块，用于对采集的红外图像进行限制对比度自适应直方图均衡化和中值滤波，实现图像增强；

目标检测模块，利用目标检测模型识别红外图像中的目标，并标记目标检测框，给出目标位置及目标类别信息；

后处理逻辑模块，用于根据目标检测模块检测的目标位置、目标类别给出不同的告警级别；

显示模块，用于显示目标检测模块输出的标记有目标检测框的红外图像，同时显示经后处理逻辑模块判断后标记告警级别的红外图像。

所述后处理逻辑模块的过程是：利用红外图像获取模块每10s进行一次积水检测，将红外摄像头拍摄的视频数据进行抽帧处理，视频数据每1s抽一次帧，将10s抽帧的视频数据转化为10张红外图像，构成图像序列，将图像序列经过图像预处理模块进行图像增强；按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标坐标，利用目标坐标获得目标检测框的面积信息；判断当前图像是否是图像序列的最后一张，若不是，则对当前图像进行目标检测，目标检测返回目标类别，根据积水类别统计当前图像中所有积水目标检测框的面积及面积之和，每张图像的所有积水目标检测框的面积之和用于后续判断积水面积是否有递增从而判断是否有水流；所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较；

判断是否存在积水目标检测框没有与积水面积的安全阈值和交集阈值进行比较的，若是则继续对未比较的积水目标检测框继续比较，直至当前图像中的所有积水目标检测框均进行比较为止；若否，则代表当前图像上积水目标检测完毕能进行下一张图像检测，则输入图像序列中下一张图像，返回判断当前图像是否是图像序列最后一张；

若当前图像是图像序列最后一张，则直接判断按照时间顺序所统计的所有图像的所有积水目标检测框的面积之和是否有递增的现象，若有则在图像序列的最后一张图像上提示主要告警，若不存在面积递增的现象则在图像序列的最后一张图像上提示一般告警，结束。

所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较的过程是：设置积水面积的安全阈值和交集阈值，若根据目标类别信息判断出为积水目标，则判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值，则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则需判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，则提示紧急告警；若交并比不超过交集阈值，则提示次要告警。

通过像素点计算目标检测框的面积，所述积水面积的安全阈值为20000-30000像素点，所述交集阈值的取值范围为8-15%。

与现有技术相比，本发明的有益效果是：

1.本发明通过红外摄像头拍摄红外图像以及采用限制对比度自适应直方图均衡化结合中值滤波算法的方法解决地下变电站(开闭站、配电室)光照弱、积水目标不明显的问题，目前地下变电站积水检测大多是依靠以传感器为主的积水检测的系统，存在以下几个缺点：①需要专业人员进行现场部署且大多需要开辟特定的水槽进行传感器安装，会占据一定的空间；②一般当水槽内积水水位到达一定高度才会触发报警，此时可能已经造成危险，报警不够及时；③告警状态通过警铃提示，只能告知用户有积水，但无法确认积水的准确位置；④告警状态单一，无法实现自定义智能化告警。本发明报警方法，针对检出的目标再进行判断，提供更加智能的告警处理，具有的优势如下：①红外摄像头的部署无须占据太多的空间且部署简单；②可实现实时监测，当视频中出现积水即可进行实时告警，并且可以确认积水位置，更直观的提醒用户，哪里有积水；③通过灵活的后处理逻辑模块可以实现告警状态的自定义，按照用户要求提供不同积水情况下不同告警提示，能够精确识别积水目标并提供定制化告警提示，适用于地下变电站的实际工作场景，检测精度高。

2.本发明提出了一种地下变电站(开闭站、配电室)红外图像积水检测智能报警方法，该方法通过机器视觉结合深度学习的方法，规避了目前地下积水检测系统设计复杂、占地面积较大且造价较高的问题，通过红外摄像头加深度学习检测系统即可实现地下变电站(开闭站、配电室)的积水检测。克服了现有变电站(开闭站、配电室)采用布置传感器检测是否有积水或积水达到一定程度就会告警，告警通过警铃的方式只能告诉用户有积水，但无法精确判断积水位置，不够智能化和人性化的弊端。

3.由于地下变电站(开闭站、配电室)的具体场景是在地下，存在光线不足的问题并且积水检测需要24小时进行监控检测，只采用可见光图像，夜间监控图像质量无法保障，本发明通过红外技术来弥补光线不足的问题带来的影响获得地下变电站(开闭站、配电室)图像，减少了资源消耗，采用限制对比度自适应直方图均衡化的方法来增强积水位置的对比度，从而凸显积水目标，可以有效增强积水目标的识别效果，解决了由于红外图像缺少了色彩信息而导致学习特征不足而带来检测精度不足的问题。由于红外图像为单通道图像，不需要考虑图像通道因素的影响，提出了采用协调注意力机制模块改进yolov5的目标检测算法来获取图像宽度和高度上的注意力，进而增加模型对目标的检出率。

4.本发明通过红外摄像头拍摄红外图像以及图像增强的方法解决地下变电站(开闭站、配电室)光照弱，积水目标不明显的问题，通过灵活的后处理方式根据不同情况进行不同等级的告警，相比于目前的积水检测系统，无需大规模的传感器和设备，仅需要架设红外摄像设备即可进行积水告警，更加方便灵活。

附图说明

图1是本发明中后处理逻辑模块的流程图。

图2是采用数据增强前后图片的对比图，其中（a）为增强前的图片，（b）为增强后的图片。

图3是目标检测模型的骨干网络backbone的结构图(含协调注意力机制)。

图4是检测结果有积水未与设备相交的次要告警图。

图5是检测结果为积水与设备相交后的紧急告警图。

图6是检测结果为积水面积不变和增大的一般告警和主要告警图；其中（a）为检测到有积水目标检测框，且积水面积较小，小于积水面积的安全阈值，标注次要告警图；（b）为（a）的最后一张图像，检测到的积水目标检测框的面积没有增大，为一般告警图；（c）为（a）的最后一张图像，积水目标检测框的面积增大，为主要告警图。

图7为本发明地下变电站红外图像积水检测智能报警系统的结构示意图。

具体实施方式

下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。

本发明一种地下变电站红外图像积水检测智能报警方法，所述报警方法包括以下步骤：

S1：通过地下变电站(开闭站、配电室)的红外摄像头收集不同关键点位（需要进行积水防护的设备所在位置）的红外图像数据，保留含积水、及需要进行积水防护的设备的红外图像数据，所述需要进行积水防护的设备包括变压器、电缆、变电柜等与电路相关的不具有防水功能的电气设备。

S2：将收集到的红外图像通过限制对比度自适应直方图均衡化的方法进行图像增强，增强其对比度，再经过中值滤波降噪后制作成数据集，并对红外图像数据中的积水目标、需要进行积水防护的设备目标进行分别标注，对于不同种类的设备用拼音首字母分别标注。

S3：构建目标检测模型，利用数据集训练目标检测模型，使得目标检测模型能够识别红外图像中标注对象的位置、类别，输出目标检测框的坐标，利用目标检测框的坐标计算目标检测框的面积，所述类别包括积水目标检测框、各种需要进行积水防护的设备目标的目标检测框，所述各种需要进行积水防护的设备目标的目标检测框统称为设备目标检测框；

在yolov5骨干网络的最后一层SPP层后加入协调注意力机制CA，构成目标检测模型，利用协调注意力机制优化yolov5目标检测算法进行目标检测。协调注意力机制可以有效增强模型的表达能力，可以将任意中间张量作为输入，i为中间张量的数量，H为图像的高度，W为图像的宽度，C为通道数，增强输出的表现能力；协调注意力机制可以有效获取图像宽度和高度上的注意力信息并对该位置进行精确编码。流程如下：①先将输入特征图分为宽度和高度两个方向进行平均池化，获得这两个方向上的特征图；②将两个方向的特征图拼接到一起，输入到1×1的卷积模块，进行降维处理；③经过批归一化层、非线性层和Sigmoid激活函数获得特征图f，大小变为1×(W+H)×C/r（其中，W代表图像宽度，H代表图像高度，C代表图像通道数，C=1，C/r代表将维度缩小的倍数）；④再同时经过两个1×1卷积模块后恢复两个方向特征图的维度，并经过Sigmoid激活函数后得到在H和W上的注意力权重；⑤在原始图像上经过乘法加权Re-weight即可实现在宽度和高度两个方向上的注意力机制。所述卷积模块为二维卷积模块conv2d，协调注意力机制结构如图3所示。

S4:每隔一定时间对待检测地下变电站进行一次积水检测，获得红外视频数据，将红外视频数据抽帧为图像序列后，按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标坐标，进而获得目标检测框的面积信息。

遍历图像序列中每张图像的积水目标，判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则需判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，说明积水目标与设备目标发生重合，则提示紧急告警；若交并比不超过交集阈值，则提示次要告警；

当图像序列中除最后一张图像外的所有的图像均经过检测后，分别统计图像序列中每张图像的所有积水目标检测框的面积之和，分析其面积之和是否存在面积递增的现象，若存在提示主要告警，说明目前有水流灌入地下变电站(开闭站、配电室)，大概率造成安全问题；若不存在面积递增的现象则提示一般告警。

所述S1的具体流程是：

S11：在地下变电站的电缆、变压器和易发生积水的点位部署红外摄像头。

S12：将红外摄像机拍摄的视频使用抽帧的方式进行处理，将红外视频数据转化为红外图像数据，抽帧间隔为3s。

S13：将所有的红外图像数据进行汇总筛选，首先通过感知哈希算法利用python脚本进行图片结构性相似度的判断，删除相似度超过90%的数据图像，然后进行人工筛选，将不含积水、变压器、电缆和/或变电柜目标的数据删除。

所述S2的具体流程是：

S21：由于红外摄像头拍摄的图像积水目标不明显，采用限制对比度自适应直方图均衡化的方法提高图像对比度可以有效的增强积水目标。

S22：增加图像对比度的同时也会增加部分噪声，对步骤S21获得的图像通过中值滤波的方法进行降噪，进一步提高数据质量。

S23：对经过步骤S22获得的图像数据，使用开源标注工具LabelImg进行标注，标注目标包括：积水、电缆、变压器和/或变电柜。

S24：标注完成的数据构成数据集，按照7：2：1的比例将数据集分为训练集、测试集、验证集。

所述S3中由于红外图像最后呈现为单通道图像，不含通道特征信息，只需要宽高上的注意力信息，因此使用协调注意力机制优化yolov5，提高模型的检出率。本实施例采用协调注意力机制（CA）原因在于红外图像最后呈现为单通道灰度图像，受通道因素影响较小，而协调注意力机制可以强化模型对图像位置信息的学习能力，可以有效提高模型对于红外图像的目标识别性能。利用获得的数据集训练目标检测模型，获得能够识别红外图像中标注对象的位置、类别的目标检测模型。

所述S4的具体流程是：

S41：将目标检测模型应用于地下变电站(开闭站、配电室)的场景下，每10s进行一次积水检测。将红外摄像头拍摄的视频数据进行抽帧处理，视频数据每1s抽一次帧，将10s抽帧的视频数据转化为10张红外图像，构成图像序列，将图像序列经过限制对比度自适应直方图均衡化和中值滤波进行图像增强。

S42：将增强后的数据利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标坐标。

S43：将S42得到目标类别、目标坐标信息输入到后处理逻辑模块，先根据目标类别信息判断出积水目标，然后遍历图像序列中每张图像的积水目标，利用积水目标的坐标计算积水目标检测框的面积。

S44：提前设置积水面积的安全阈值，判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值说明此时有积水，但不会造成安全问题，则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则需判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，即执行S45。

S45：若交并比超过交集阈值，说明积水目标与设备目标发生重合，则提示紧急告警；若交并比不超过交集阈值，说明此时有积水，但不会造成安全问题，则提示次要告警。

S46：当图像序列中除最后一张图像外的所有的图像均经过检测后，分别统计图像序列中每张图像的所有积水目标检测框的面积之和，分析其面积之和是否存在面积递增的现象，若存在提示主要告警，说明目前有水流灌入地下变电站(开闭站、配电室)，大概率造成安全问题。若不存在面积递增的现象则提示一般告警。

上述的紧急告警、次要告警、主要告警、一般告警的告警级别信息分别在对应的图像上进行更新，标注有告警级别信息的图像随视频数据一同呈现在用户视频上，用于后续处理。

实施例：某地下变电站红外摄像头监控实时拍摄，每10s进行一次积水检测，分析结果后返回积水告警状态，可以有效的检测该地下变电站中是否存在积水危险。该地下变电站智能报警流程如图1所示，具体步骤如下：

S1：抽取红外摄像机拍摄的视频帧，用于变压器、电缆、积水等目标的标注，由于该地下变电站中积水的数据较少，需要模拟部分积水图像用于积水目标的标注，数据集包括真实图像和模拟图像共5780张。

S2：将获取的红外图像通过限制对比度自适应直方图均衡化的方法进行对比度增强，再经过中值滤波降噪后制作成数据集，数据增强后的图像如图2所示，可以看到，红外图像经过处理后，图像细节虽然变得模糊，但是积水位置更加清晰。

S3：将数据增强后的图像组成的数据集来训练协调注意力机制改进的yolov5目标检测算法，目标检测模型的骨干网络backbone结构如图3所示，骨干网络backbone结构包括依次交替连接的CBS层、CSP层，最后一个CBS层连接一个SPP层，协调注意力机制CA连接在SPP层之后，可以有效获取图像宽度和高度上的注意力信息并对该位置进行精确编码。流程如下：①先将输入特征图分为宽度和高度两个方向进行平均池化，分别为Y平均池化和X平均池化，获得这两个方向上的特征图；②将两个方向的特征图拼接到一起，输入到1×1的卷积模块，进行降维处理；③经过批归一化层BathNorm、非线性层Non-Linear和Sigmoid激活函数此时特征图f大小变为1×(W+H)×C/r，公式为：，其中f代表生成特征图，δ代表激活函数，代表取特征图中的高度特征和宽度特征，代表高度特征，代表宽度特征；④再同时经过两个1×1卷积模块conv2d后恢复两个方向特征图的维度，并经过Sigmoid激活函数后得到在H和W上的注意力权重；⑤在原始图像上经过乘法加权Re-weight获得输出即可实现在两个方向上的注意力。

S4：将训练好的目标检测模型应用于该地下变电站的积水检测中，每10s进行一次积水检测，首先需要将视频数据转化为图像序列，对图像序列进行限制对比度自适应直方图均衡化和中值滤波数据增强。将增强后的数据利用目标检测模型进行目标检测，得到目标类别信息、坐标信息，进而获得积水目标的面积信息。

S5：根据目标类别信息判断出积水目标，然后遍历图像序列中的积水目标，判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值说明此时有积水，但不会造成安全问题，则提示次要告警如图4所示，图4中检测到有三个积水目标检测框js，且三个积水目标的检测框的面积均小于积水面积的安全阈值25000(以像素点计算目标检测框面积)，因此标注次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值则进行下一步判断。

S6：判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，说明积水目标与设备目标发生重合，则提示紧急告警；若交并比不超过交集阈值，说明此时有积水，但不会造成安全问题，则提示次要告警；

如图5所示，变压器目标检测框byq为设备目标检测框，积水目标检测框js与设备目标检测框发生交集，且超过交集阈值10%，则说明积水目标与设备目标发生重合，则提示紧急告警。

S7：当图像序列中除最后一张图像外的所有的图像均经过检测后，分别统计图像序列中每张图像的所有积水目标检测框的面积之和，分析其面积之和是否有递增现象，若有递增现象则提示主要告警，若没有递增现象，则提示一般告警。告警状态会更新到图像序列的最后一张图像中进行提示并同步于视频当中，主要告警和一般告警仅在图像序列的最后一张上进行标注，将标注了所有告警信息的图像序列以视频形式在显示模块上进行显示。

到此，一次积水检测结束。

图6中（a）为检测到有积水目标检测框，且积水面积较小，小于积水面积的安全阈值，标注次要告警，若（b）为（a）的最后一张图像，检测到的积水目标检测框的面积没有增大，说明该积水不是流动积水，为一般告警；若（c）为（a）的最后一张图像，积水目标检测框的面积增大，说明该积水是流动积水，有递增现象，为主要告警。

本实施例中的设备目标检测框包括变压器目标检测框byq和电缆目标检测框dl。

本发明一种地下变电站红外图像积水检测智能报警系统（参见图7），包括：

红外图像获取模块1，用于采集地下变电站场景下的红外图像；

图像预处理模块2，用于对采集的红外图像进行限制对比度自适应直方图均衡化和中值滤波，实现图像增强；

目标检测模块3，利用目标检测模型识别红外图像中的目标，并标记目标检测框，给出目标位置及目标类别信息；

后处理逻辑模块4，用于根据目标检测模块检测的目标位置、目标类别给出不同的告警级别；

显示模块5，用于显示目标检测模块输出的标记有目标检测框的红外图像，同时显示经后处理逻辑模块判断后标记告警级别的红外图像。

所述后处理逻辑模块的过程是：利用红外图像获取模块每10s进行一次积水检测，将红外摄像头拍摄的视频数据进行抽帧处理，视频数据每1s抽一次帧，将10s抽帧的视频数据转化为10张红外图像，构成图像序列，将图像序列经过图像预处理模块进行图像增强；按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标坐标，利用目标坐标获得目标检测框的面积信息；判断当前图像是否是图像序列的最后一张，若不是，则对红外图像进行目标检测， 目标检测返回目标类别，根据积水类别统计当前图像中所有积水目标检测框的面积及面积之和，每张图像的所有积水目标检测框的面积之和用于后续判断积水面积是否有递增从而判断是否有水流；所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较；

所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较称为后处理，具体过程是：设置积水面积的安全阈值和交集阈值，若根据目标类别信息判断出为积水目标，则判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值说明此时有积水，但不会造成安全问题，则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则需判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，说明积水目标与设备目标发生重合，则提示紧急告警；若交并比不超过交集阈值，说明此时有积水，但不会造成安全问题，则提示次要告警；

判断是否存在积水目标检测框没有与积水面积的安全阈值和交集阈值进行比较的，若是则继续对未比较的积水目标检测框继续比较，直至当前图像中的所有积水目标检测框均进行比较为止；若否，则代表当前图像上积水目标检测完毕可进行下一张图像检测，则输入图像序列中下一张图像，返回判断当前图像是否是图像序列最后一张；

若当前图像是图像序列最后一张，则直接判断按照时间顺序的所统计的所有图像的所有积水目标检测框的面积之和是否有递增的现象，若有则在图像序列的最后一张图像上提示主要告警，说明目前有水流灌入地下变电站，大概率造成安全问题，若不存在面积递增的现象则在图像序列的最后一张图像上提示一般告警，结束。

本发明未述及之处适用于现有技术。

Claims (9)

1.一种地下变电站红外图像积水检测智能报警方法，其特征在于，所述报警方法包括以下内容：

S1：获取地下变电站的红外摄像头收集不同关键点位的红外图像数据；

S2：将红外图像数据进行预处理后制作数据集，并对红外图像数据中的积水目标、需要进行积水防护的设备目标进行分别标注；

S3：构建目标检测模型，利用数据集训练目标检测模型，使得目标检测模型能够识别红外图像中标注对象的位置、类别，所述类别包括积水目标检测框、各种需要进行积水防护的设备目标的目标检测框，所述各种需要进行积水防护的设备目标的目标检测框统称为设备目标检测框；

S4:设定时间间隔Δt，每隔Δt对待检测地下变电站进行一次积水检测，获得红外视频数据，将红外视频数据抽帧为图像序列后，按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标位置，利用目标位置获得目标检测框的面积信息；

遍历图像序列中每张图像的积水目标，判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，则提示紧急告警；若交并比不超过交集阈值，则提示次要告警；

当图像序列中除最后一张图像外的所有的图像均经过检测后，分别统计图像序列中每张图像的所有积水目标检测框的面积之和，分析图像序列中每张图像的所有积水目标检测框的面积之和是否存在面积递增的现象，若存在提示主要告警；若不存在面积递增的现象则提示一般告警。

2.根据权利要求1所述的地下变电站红外图像积水检测智能报警方法，其特征在于，所述需要进行积水防护的设备包括变压器、电缆和/或变电柜在内的与电路相关的不具有防水功能的电气设备，对于不同种类的设备用拼音首字母分别标注。

3.根据权利要求1所述的地下变电站红外图像积水检测智能报警方法，其特征在于，所述S1的具体步骤是：

S11：在地下变电站的电缆、变压器和易发生积水的点位部署红外摄像头；

S12：将红外摄像机拍摄的视频使用抽帧的方式进行处理，将红外视频数据转化为红外图像数据，抽帧间隔为3s；

S13：将所有的红外图像数据进行汇总筛选，首先通过感知哈希算法利用python脚本进行图片结构性相似度的判断，删除相似度超过90%的数据图像，然后进行人工筛选，将不含积水、变压器、电缆和/或变电柜目标的数据删除。

4.根据权利要求1所述的地下变电站红外图像积水检测智能报警方法，其特征在于，所述目标检测模型利用协调注意力机制优化yolov5目标检测算法获得，在yolov5骨干网络的最后一层SPP层后加入协调注意力机制，构成目标检测模型；协调注意力机制的流程是：①先将输入特征图分为宽度和高度两个方向进行平均池化，获得宽度和高度两个方向上的特征图；②将宽度和高度两个方向的特征图拼接到一起，输入到1×1的卷积模块，进行降维处理；③经过批归一化层、非线性层和Sigmoid激活函数获得特征图f，大小变为1×(W+H)×C/r，其中，W代表图像宽度，H代表图像高度，C代表图像通道数，C=1，C/r代表将维度缩小的倍数；④再同时经过两个1×1卷积模块后恢复宽度和高度两个方向特征图的维度，并经过Sigmoid激活函数后得到在H和W上的注意力权重；⑤在原始图像上经过乘法加权实现在宽度和高度两个方向上的注意力。

5.根据权利要求1所述的地下变电站红外图像积水检测智能报警方法，其特征在于，所述S2的具体流程是：

S21：由于红外摄像头拍摄的图像积水目标不明显，采用限制对比度自适应直方图均衡化的方式提高图像对比度，增强积水目标；

S22：再对步骤S21获得的图像通过中值滤波的方式进行降噪；

S23：对经过步骤S22获得的图像数据，使用开源标注工具LabelImg进行标注，标注目标包括：积水、电缆、变压器和/或变电柜；

S24：标注完成的数据构成数据集，按照7：2：1的比例将数据集分为训练集、测试集、验证集。

6.一种地下变电站红外图像积水检测智能报警系统，其特征在于，所述报警系统包括：

红外图像获取模块，用于采集地下变电站场景下的红外图像；

图像预处理模块，用于对采集的红外图像进行限制对比度自适应直方图均衡化和中值滤波，实现图像增强；

目标检测模块，利用目标检测模型识别红外图像中的目标，并标记目标检测框，给出目标位置及目标类别信息；

后处理逻辑模块，用于根据目标检测模块检测的目标位置、目标类别给出不同的告警级别；

显示模块，用于显示目标检测模块输出的标记有目标检测框的红外图像，同时显示经后处理逻辑模块判断后标记告警级别的红外图像。

7.根据权利要求6所述的地下变电站红外图像积水检测智能报警系统，其特征在于，所述后处理逻辑模块的过程是：利用红外图像获取模块每10s进行一次积水检测，将红外摄像头拍摄的视频数据进行抽帧处理，视频数据每1s抽一次帧，将10s抽帧的视频数据转化为10张红外图像，构成图像序列，将图像序列经过图像预处理模块进行图像增强；按照时间顺序对图像序列利用目标检测模型进行目标检测，得到图像序列中的目标类别、目标坐标，利用目标坐标获得目标检测框的面积信息；判断当前图像是否是图像序列的最后一张，若不是，则对当前图像进行目标检测， 目标检测返回目标类别，根据积水类别统计当前图像中所有积水目标检测框的面积及面积之和，每张图像的所有积水目标检测框的面积之和用于后续判断积水面积是否有递增从而判断是否有水流；所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较；

判断是否存在积水目标检测框没有与积水面积的安全阈值和交集阈值进行比较的，若是则继续对未比较的积水目标检测框继续比较，直至当前图像中的所有积水目标检测框均进行比较为止；若否，则代表当前图像上积水目标检测完毕能进行下一张图像检测，则输入图像序列中下一张图像，返回判断当前图像是否是图像序列最后一张；

若当前图像是图像序列最后一张，则直接判断按照时间顺序所统计的所有图像的所有积水目标检测框的面积之和是否有递增的现象，若有则在图像序列的最后一张图像上提示主要告警，若不存在面积递增的现象则在图像序列的最后一张图像上提示一般告警。

8.根据权利要求7所述的地下变电站红外图像积水检测智能报警系统，其特征在于，所有积水目标检测框的面积分别进行与积水面积的安全阈值和交集阈值的比较的过程是：设置积水面积的安全阈值和交集阈值，若根据目标类别信息判断出为积水目标，则判断积水目标检测框的面积是否大于等于积水面积的安全阈值，若小于积水面积的安全阈值，则提示次要告警；若积水目标检测框的面积大于等于积水面积的安全阈值，则需判断积水目标检测框与设备目标检测框的交并比是否超过交集阈值，若交并比超过交集阈值，则提示紧急告警；若交并比不超过交集阈值，则提示次要告警。

9.根据权利要求7所述的地下变电站红外图像积水检测智能报警系统，其特征在于，通过像素点计算目标检测框的面积，所述积水面积的安全阈值为20000-30000像素点，所述交集阈值的取值范围为8-15%。

Images