CN114663805A - 一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 - Google Patents
一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 Download PDFInfo
- Publication number
- CN114663805A CN114663805A CN202210210286.0A CN202210210286A CN114663805A CN 114663805 A CN114663805 A CN 114663805A CN 202210210286 A CN202210210286 A CN 202210210286A CN 114663805 A CN114663805 A CN 114663805A
- Authority
- CN
- China
- Prior art keywords
- flame
- fire
- image
- scene image
- fighting robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 49
- 238000007689 inspection Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 5
- 238000013527 convolutional neural network Methods 0.000 description 26
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000003892 spreading Methods 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明提供了一种基于换流站阀厅消防机器人的火焰定位报警系统及方法，该系统包括：巡查模块：用于通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像并识别出可疑的火灾场景图像；火焰特征提取模块：用于对可疑的火灾场景图像，进行火焰特征提取；火焰特征融合模块：对每张可疑的火灾场景图像进行火焰特征融合，并基于融合后的火焰特征进行图像分类；火焰定位模块：用于将分类后的图像通过结合全局信息网络的Faster R‑CNN模型进行处理，确定火焰位置。本发明对火焰特征进行了调整，可以减少误检测，提高火灾检测精度。
Description
技术领域
本发明涉及火焰定位技术领域，特别涉及一种基于换流站阀厅消防机器人的火焰定位报警系统及方法。
背景技术
目前，换流站阀厅如果发生火灾，主要是靠人工发现，存在很大的隐患。传统的火警技术基于需要接近才能激活的烟雾或热传感器。这些传感器需要人工参与才能在发生警报时确认火灾。此外，此类系统需要各种设备来提供有关火灾大小、位置和燃烧程度的信息。基于计算机视觉的火灾检测的早期研究主要集中在基于规则的系统框架内的火灾颜色上，该系统通常对环境条件很敏感。基于计算机视觉的火焰检测方法(以下简称火焰检测)主要分为两类：人工设计的特征和卷积神经网络(CNN)提取的特征。对于第二种方法，Faster R-CNN考虑了一个二元分类器来区分输入图像是否包含火，但这种方法不能提供火焰的位置。对于需要自动灭火的场合，如自动灭火机器人和大空间自动喷射装置，需要先确定图像中火焰的位置，然后才能在目标空间中进一步计算位置。现有技术中还可以使用SVM分类器在较小的距离上以良好的精度检测火灾。但是，当火灾距离较远或火灾量较小时，该方法表现不佳。
发明内容
本发明提供一种基于换流站阀厅消防机器人的火焰定位报警系统及方法，以火焰颜色、火焰边界粗糙度、火焰面积变化和火焰频闪为特征，对火焰图像进行分类，进而对火焰位置进行识别，可以减少误检测，提高火灾检测精度。
为达到上述目的，本发明采用的技术方案如下：
本发明提供一种基于换流站阀厅消防机器人的火焰定位报警系统，包括：
巡查模块：用于通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像；以及识别出可疑的火灾场景图像；
火焰特征提取模块：用于对可疑的火灾场景图像进行火焰特征提取；
火焰特征融合模块：用于对每张可疑的火灾场景图像提取的火焰特征进行融合，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
以及，
火焰定位模块：用于将具有火焰特征的场景图像通过结合全局信息网络的FasterR-CNN模型进行处理，确定火焰位置并报警。
进一步的，所述巡查模块包括：
巡查点位单元：用于基于换流站阀厅的三维地图设定消防机器人的巡查点位；所述巡查点位用于确定所述实时场景图像的背景图，且同一消防机器人的每个巡查点位的背景图相同；
巡查单元：用于对所述巡查点位进行实时巡查，获取实时场景图像；
巡查任务单元：用于设定每个巡查点位的巡查任务；其中，巡查任务通过巡查的频率、时间和次数确定；
以及，
判定单元：用于判定所述巡查任务中是否出现可疑的火灾区域，并将出现可疑的火灾区域的实时场景图像选定为目标图像输出至火焰特征提取模块。
进一步的，所述巡查任务单元具体用于，
根据所述巡查任务，确定每个巡查点位的实时场景图像；
对所述实时场景图像进行分帧处理，获取帧图像；
根据所述帧图像，确定背景图像中固定元素和变化状态在预设目标阈值之下的低变化元素；
将所述固定元素和低变化元素从所述帧图像中删除，确定所述帧图像中发生变化的元素的变化轨迹；
根据所述变化轨迹，确定可疑的火灾区域；
所述变化状态为所述背景图像中的元素在多个不同的帧图像中姿态的变化程度。
进一步的，所述火焰特征提取模块包括：
火焰颜色特征提取模块：根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；所述变异系数为所述像素点颜色分量的均值和标准差的比值；
火焰边界粗糙度特征提取模块：根据所述目标图像，确定火焰图像，计算火焰图像的凸包周长和火焰周长之比，并将该比值作为火焰边界粗糙度特征；
火焰面积变化特征提取模块：基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征；
以及，
火焰频闪特征提取模块：用于将所述目标图像的帧图像的长度序列与预先设定火焰的长度序列进行对比，判定如果连续三帧中相邻两帧的面积之差的积小于0，则计数器SUM加1，否则加0，用SUM值作为火焰频闪特征。
进一步的，所述火焰面积变化特征提取模块具体用于，
计算面积变化率如下：
其中，Ar为面积变化率，SN+1和SN表示相邻两帧火焰区域的面积大小。
进一步的，所述火焰特征融合模块包括：
特征向量构建单元：用于根据实时场景图像的火焰特征，构建多维融合特征向量；
分类器训练单元：用于将训练集图像导入预设的支持向量机进行训练，生成特征分类器；
以及，
图像分类单元：用于将场景图像导入所述特征分类器，得到具有火焰特征的图场景图像和没有火焰特征的场景图像。
进一步的，所述火焰定位模块包括：
全局信息网络单元：用于根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
图像处理单元：用于通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理，进行火焰标注；
以及，
火焰位置判定单元：用于根据火焰标注确定火焰位置，并输出火焰信息。
进一步的，所述火焰定位模块还包括：
锚点标记单元：用于在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
策略实施单元：用于根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
掩码确定单元：用于根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码。
进一步的，所述颜色模型为：
其中，M(x,y)表示像素(x,y)处生成的火焰掩码，fR(x,y),fG(x,y),fB(x,y)分别表示图像R、G、B三通道的像素值，TR表示R通道上设置的阈值。
本发明还提供一种基于换流站阀厅消防机器人的火焰定位报警方法，包括：
通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像，以及识别出可疑的火灾场景图像；
对可疑的火灾场景图像进行火焰特征提取；
对每张可疑的火灾场景图像提取的火焰特征进行融合，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警。
进一步的，所述采集换流站阀厅的实时场景图像包括：
基于换流站阀厅的三维地图设定消防机器人的巡查点位；所述巡查点位用于确定所述实时场景图像的背景图，且同一消防机器人的每个巡查点位的背景图相同；
对所述巡查点位根据设定的巡查任务进行实时巡查，获取实时场景图像，并判定所述巡查任务中是否出现可疑的火灾区域，并将出现可疑的火灾区域的实时场景图像选定为目标图像。
进一步的，所述进行火焰特征提取包括：
根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；所述变异系数为所述像素点颜色分量的均值和标准差的比值；
根据所述目标图像，确定火焰图像，计算火焰图像的凸包周长和火焰周长之比，并将该比值作为火焰边界粗糙度特征；
基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征；
将所述目标图像的帧图像的长度序列与预先设定火焰的长度序列进行对比，判定如果连续三帧中相邻两帧的面积之差的积小于0，则计数器SUM加1，否则加0，用SUM值作为火焰频闪特征。
进一步的，所述将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警，包括：
根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理；
在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码；
基于掩码确定火焰位置并预警。
本发明的有益效果在于：
(1)本发明考虑目标问题和火灾数据的性质对火焰特征进行了调整，基准火灾数据集的实验结果揭示了所提出特征的有效性。
(2)本发明通过向量机的火焰特征融合，可以计算火焰的面积，并报告它们的时间变化，以解释最终火灾决策的动态火灾行为，可以通过减少误检测成功地提高火灾检测精度。
(3)本发明能够基于全局信息引导的方式对火焰进行检测，并结合锚点，生成图像全局信息。这种方法是以引导的方式执行火灾探测过程，与原始Faster R-CNN相比，提高了检测速度，降低了误报率，以及提高了整体检测准确率。
附图说明
图1为本发明实施例中一种基于换流站阀厅消防机器人的火焰定位报警系统架构；
图2为本发明实施例中一种基于换流站阀厅消防机器人的火焰定位处理流程；
图3为本发明实施例中锚点处理的流程图；
图4为本发明实施例中全局信息网络与Faster R-CNN模型结合对火焰检测处理实施图；
图5为本发明实施例对火焰识别和非火焰的识别的对比图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种基于换流站阀厅消防机器人的火焰定位报警系统，如图1所示，包括：
巡查模块：用于通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像；以及识别出可疑的火灾场景图像；
火焰特征提取模块：用于对可疑的火灾场景图像进行火焰特征提取；
火焰特征融合模块：用于对每张可疑的火灾场景图像提取的火焰特征进行融合，并将融合后的火焰特征输入预设的支持向量机，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
火焰定位模块：用于将分类后的图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置。
本实施例主要是通过4个步骤对火焰进行识别，参见图2，
首先在换流站阀厅设置消防机器人，通过该消防机器人实现巡检，在巡检的过程中，对实时拍摄的场景图像进行特征提取；并判定是否存在可疑的火灾场景图像；
特征提取的过程中主要是进行：火焰颜色特征、火焰边界粗糙度特征、火焰面积变化特征和火焰频闪特征四个方面进行特征识别，并将提取的火焰特征进行融合；
采用支持向量机对火焰特征进行分类可以确定具有火焰特征的场景图像；
将具有火焰特征的场景图像通过全局信息网络(GIN)与Faster R-CNN模型结合，以此来实现对实时场景图像的识别处理，对火焰进行最终的定位。
需要说明的是，拍摄的场景图像要包括一段时间内的所有图片，这一段时间可以看作检测时间，具体时间根据用户需求设置。
本实施例技术方案的有益效果在于：
(1)考虑目标问题和火灾数据的性质对火焰特征进行了调整，基准火灾数据集的实验结果揭示了所提出特征的有效性。
(2)通过向量机的火焰特征融合，可以计算火焰和烟雾的面积，并报告它们的时间变化，以解释最终火灾决策的动态火灾行为，可以通过减少误检测和误检测成功地提高火灾检测精度。
(3)能够基于全局信息引导的方式对火焰进行检测，并结合锚点，生成图像全局信息。这种方法是以引导的方式执行火灾探测过程。与原始Faster R-CNN相比，提高了检测速度，降低了误报率，以及提高了整体检测准确率。
实施例2
在实施例1提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，巡查模块包括：
巡查点位单元：用于通过换流站阀厅的三维地图，设定消防机器人的巡查点位；其中，巡查点位用于确定所述实时场景图像的背景图，同一消防机器人的每个巡查点位的背景图相同；
巡查单元：用于对所述巡查点位进行实时巡查，获取实时的场景图像；
巡查任务单元：用于设定每个巡查点位的巡查任务；巡查任务是根据所述巡查点位，对每个消防机器人设定一些巡查的任务，指定巡查的规律，对于每个巡查点位设定一定的巡查次数和巡查时间，通过巡查的频率、时间和次数确定具体的巡查任务；
判定单元：用于基于帧差法判定所述巡查任务中是否出现可疑的火灾区域，并将可疑的火灾实时场景图像选定为目标图像输出至火焰特征提取模块。
本实施例的原理在于：因为本实施例是通过消防机器人的巡查，来判定是否出现火灾，进而进行火灾定位。所以需要很严格的巡查方式，本实施例是在消防机器人中植入三维地图，通过在地图上设置巡查点位进行巡查，防止自主性消防机器人存在的巡查不充分，巡查存在视角损失的问题。而且在判断出是否存在火灾区域的时候，本实施例先限定可疑的火灾区域，然后将可疑区域的实时场景图像选定为目标图像，进而实现精准识别。
本实施例的有益效果在于：本实施例能够防止自主性消防机器人存在的巡查不充分，巡查存在视角损失的问题。其次，本实施例实现了可疑的火灾区域的判定。
实施例3
在实施例2提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，巡查任务单元基于帧差法判定所述巡查任务中是否出现可疑的火灾区域，包括：
根据所述巡查任务，确定每个巡查点位的实时场景图像；
对所述实时场景图像进行分帧处理，获取帧图像；
根据所述帧图像，确定背景图像中固定元素和变化状态在预设目标阈值之下的低变化元素；其中，
所述变化状态为所述背景图像中的元素在多个不同的帧图像中姿态的变化程度；
所述预设目标阈值为背景图像中的元素姿态变化阈值；
将所述固定元素和低变化元素从所述帧图像中删除，确定所述帧图像中发生变化的元素的变化轨迹；
根据所述变化轨迹，确定可疑火灾区域。
本实施例技术方案的原理在于：通过使用帧差法来确定图像的运动像素的区域即为可疑火灾区域。帧间差分法通过消除两帧之间的背景中固定的或者较少改变的对象来获得目标运动的轨迹。
本实施例技术方案的有益效果在于：帧差法的优越性在于可以基于帧图像进行精准判定，而且分帧之后，于可以提供大量的图像样本。
实施例4
在实施例1提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，火焰特征提取模块包括：
火焰颜色特征提取模块：根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；其中，变异系数为所述像素点颜色分量的均值和标准差的比值。
火焰边界粗糙度特征提取模块：根据所述目标图像，确定火焰图像，基于所述火焰图像的凸包周长和火焰周长的周长比，确定边界粗糙度。
火焰面积变化特征提取模块：基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征。
火焰频闪特征提取模块：用于预先设定火焰的长度序列，并与所述目标图像的帧图像的长度序列进行对比，根据对比结果中面积之差的积小于0的次数，确定火焰频闪特征。
本实施例技术方案的原理在于：
火焰颜色特征提取：假定可疑火灾区域中一共存在K个像素点，计算出所有像素点颜色分量的均值和标准差，采用均值除以标准差求得颜色分量的变异系数作为火焰颜色特征。
火焰边界粗糙度特征提取：通过观察，可以发现火焰的形状受环境因素的影响，形状不规则，外观不固定，并且随时间不断变化。火焰图像的独特性能够通过边界粗糙度来表示，能有效地确定火区的形状，同时减少算法的时间复杂度。因此，采用可疑火灾区域的凸包的周长与火焰的周长的比值来表示边界粗糙度。凸包就是火焰凸起的状态时，凸形的轮廓，通过轮廓就可以确定火焰的周长以及这个凸包。
火焰面积变化特征提取：火灾从发生到结束是一个连续的过程，火焰的扩散及蔓延特性在图像上的表示为火灾火焰的面积不停地变化，且在连续的图像帧中面积不断增加，因而将它也作为火焰判定的一个判据。
火焰频闪特征提取：火焰在燃烧的过程中会表现出不断频闪跳动的特点，该特点是区别火焰与非火焰的一个重要特征。火焰不断跳动的过程中，火焰的面积也会随着火焰的闪烁不停变化，其变化规律与火焰的闪烁频率有着直接的对应关系，且与干扰物体存在较大区别。根据这个特性，通过设置一个计数器SUM用来分析给定长度序列N的图像的火焰闪烁特征。如果连续三帧中相邻两帧的面积之差的积小于0，则SUM加1，否则加0。用SUM的值近似表示火焰频闪特征，以排除其他干扰物体的影响。
本实施例技术方案的有益效果在于：对于不同的火焰特征提供了不同的提取方式，从而保证提取的特征准确而且不会存在特征缺失。
实施例5
在实施例4提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，火焰面积变化特征提取模块将面积变化率作为火焰面积变化特征，面积变化率通过如下公式计算：
其中，SN+1和SN表示相邻两帧火焰区域的面积大小。
本实施例技术方案的原理在于：因为火灾从发生到结束是一个连续的过程，火焰的扩散及蔓延特性在图像上的表示为火灾火焰的面积不停地变化，且在连续的图像帧中面积不断增加，因而将它也作为火焰判定的一个判据，所以本发明通过上述公式去确定火焰面积的变化特征。
本实施例技术方案的有益效果在于：通过相邻帧的图像确定火焰区域的面积，能够保证火焰面积特征的准确度。
实施例6
在实施例1提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，火焰特征融合模块包括：
特征向量构建单元：用于根据所述目标图像的火焰特征，构建多维融合特征向量，确定每张场景图像的融合特征向量；
分类器训练单元：用于将训练集图像导入预设的支持向量机进行训练，基于场景图像的融合特征向量进行分类，生成特征分类器；支持向量机是一种进行二元分类的广义线性分类器，分类后图像包括存在具有火焰特征的图场景图像和没有火焰特征的场景图像；
图像分类单元：用于将场景图像导入所述特征分类器，得到具有火焰特征的图场景图像和没有火焰特征的场景图像。
本实施例技术方案的原理在于：使用了支持向量机，支持向量机是当前图像处理和模式识别领域广泛应用的一种新型机器学习方法，其核心思想是将低维空间线性不可分的特征向量映射到高维空间，在高维空间寻找最优超平面，从而达到线性可分的目的。
在本实施例的火焰检测过程中，首先训练特征分类器，本实施例根据火焰的颜色，形状和动态特征构建一个4维融合特征向量X，将融合特征向量送入支持向量机中进行训练得到分类器，对于待识别的图像，输入到训练好的特征分类器进行分类。
实施例7
在实施例1提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，火焰定位模块包括：
全局信息网络单元：用于根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
图像处理单元：用于通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理，进行火焰标注；
火焰位置判定单元：用于在进行火焰标注之后，确定火焰位置，并输出火焰信息。
本实施例技术方案的原理在于：在现有技术中因为Faster R-CNN存在误报率高的问题，虽然能检测候选框中的火焰信息，无法获得图像的全局信息，对于一些具有挑战性的图像(例如，日落等图像)，火焰检测的误报率相对较高。本实施例将图像的全局信息引入到火焰检测方法中，参见图4。整个图像的特征可用于执行分类任务的一般CNN，并可引入各种火焰图像和非火焰图像用于网络训练。与Faster R-CNN相比，一般CNN的误报率可以达到相当低的值，并且此类CNN的总体准确度可以训练到相当高的值。因此，可以将基于颜色引导锚点策略，全局信息网络(GIN)与Faster R-CNN模型并行连接，以指导火焰检测过程。Faster R-CNN是一种目标检测算法，在本发明中就是以火焰为目标的检测算法。
本实施例技术方案的有益效果在于：本实施例的误报率更加的低，就等同于极大的提高了识别准确度。图5给出了利用消防机器人对火灾现场进行实时巡检，采用本实施例方法对火灾现场火灾地点进行实时标注的示例，图5左侧为火灾现场，能够正确标注出火焰位置，图5右侧为日落图像，图像中颜色与火焰相似，但没有被误标注。
实施例8
在实施例7提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，火焰定位模块还包括：
锚点标记单元：用于在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
策略实施单元：用于根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
掩码确定单元：用于根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码。
本实施例技术方案的原理在于：本实施例构建了颜色模型这个颜色模型是基于锚点的系数锚点策略，如图3所示。在现有技术中，锚点在特征图的每个像素处生成，这种设计可以使锚点在图像中的分布尽可能广泛，即采用密集锚点策略来确保该方法的通用性。然而，在火焰检测任务中，只有两种类型的图像区域：火焰或背景。密集锚点策略使锚点在许多没有火焰的图像区域中生成。因此本发明考虑到图像中火焰的明显特征，火焰的图像特征用于指导锚点的生成，取代原始Faster R-CNN中的密集锚点策略。使用这种稀疏锚点策略，可以提高火焰检测的效率和准确性。使用本实施例的颜色模型，可以获得包含火焰和图像中颜色与火焰相似的所有区域的掩码。因此，在Faster R-CNN中，原来的密集锚点策略改变为颜色引导锚点策略。具体而言，定位点仅设置在掩码中的感兴趣区域中，掩码的其他区域不生成任何定位。因此，最初生成的锚点数量可以大大减少，锚点分布在颜色与火焰相似的对象周围，提高了锚点的平均质量。
本实施例技术方案的有益效果在于：提高火焰检测的效率和准确性，并提高锚点的平均质量。
实施例9
在实施例8提供的基于换流站阀厅消防机器人的火焰定位报警系统的基础上，优选的，颜色模型如下述公式所示：
其中，M(x,y)表示生成的火焰掩码，fR,fG,fB分别表示图像R、G、B三通道的像素值，TR表示R通道上设置的阈值。
本实施例技术方案的原理在于：因为颜色特征更容易获取，在火焰检测中也得到了广泛的应用。为了能够在与火焰颜色相似的区域生成锚，并确保锚点尽可能不会错过火焰区域，可以采用相对宽松的颜色模型，如本实施例的公式所示。
本实施例技术方案的有益效果在于：通过本实施例的颜色模型，颜色特征更加容易获取，从而能提高火焰的检测效率和准确性。
实施例10：
本实施例提供一种基于换流站阀厅消防机器人的火焰定位报警方法，包括：
通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像，以及识别出可疑的火灾场景图像；
对可疑的火灾场景图像进行火焰特征提取；
对每张可疑的火灾场景图像提取的火焰特征进行融合，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警。
本实施例中，采集换流站阀厅的实时场景图像包括：
基于换流站阀厅的三维地图设定消防机器人的巡查点位；所述巡查点位用于确定所述实时场景图像的背景图，且同一消防机器人的每个巡查点位的背景图相同；
对所述巡查点位根据设定的巡查任务进行实时巡查，获取实时场景图像，并判定所述巡查任务中是否出现可疑的火灾区域，并将出现可疑的火灾区域的实时场景图像选定为目标图像。
本实施例中，进行火焰特征提取包括：
根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；所述变异系数为所述像素点颜色分量的均值和标准差的比值；
根据所述目标图像，确定火焰图像，计算火焰图像的凸包周长和火焰周长之比，并将该比值作为火焰边界粗糙度特征；
基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征；
将所述目标图像的帧图像的长度序列与预先设定火焰的长度序列进行对比，判定如果连续三帧中相邻两帧的面积之差的积小于0，则计数器SUM加1，否则加0，用SUM值作为火焰频闪特征。
本实施例中，将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警，包括：
根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理；
在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码；
基于掩码确定火焰位置并预警。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (13)
1.一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，包括：
巡查模块：用于通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像；以及识别出可疑的火灾场景图像；
火焰特征提取模块：用于对可疑的火灾场景图像进行火焰特征提取；
火焰特征融合模块：用于对每张可疑的火灾场景图像提取的火焰特征进行融合，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
以及，
火焰定位模块：用于将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警。
2.根据权利要求1所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述巡查模块包括：
巡查点位单元：用于基于换流站阀厅的三维地图设定消防机器人的巡查点位；所述巡查点位用于确定所述实时场景图像的背景图，且同一消防机器人的每个巡查点位的背景图相同；
巡查单元：用于对所述巡查点位进行实时巡查，获取实时场景图像；
巡查任务单元：用于设定每个巡查点位的巡查任务；其中，巡查任务通过巡查的频率、时间和次数确定；
以及，
判定单元：用于判定所述巡查任务中是否出现可疑的火灾区域，并将出现可疑的火灾区域的实时场景图像选定为目标图像输出至火焰特征提取模块。
3.根据权利要求2所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述巡查任务单元具体用于，
根据所述巡查任务，确定每个巡查点位的实时场景图像；
对所述实时场景图像进行分帧处理，获取帧图像；
根据所述帧图像，确定背景图像中固定元素和变化状态在预设目标阈值之下的低变化元素；
将所述固定元素和低变化元素从所述帧图像中删除，确定所述帧图像中发生变化的元素的变化轨迹；
根据所述变化轨迹，确定可疑的火灾区域；
所述变化状态为所述背景图像中的元素在多个不同的帧图像中姿态的变化程度。
4.根据权利要求2所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述火焰特征提取模块包括：
火焰颜色特征提取模块：根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；所述变异系数为所述像素点颜色分量的均值和标准差的比值；
火焰边界粗糙度特征提取模块：根据所述目标图像，确定火焰图像，计算火焰图像的凸包周长和火焰周长之比，并将该比值作为火焰边界粗糙度特征；
火焰面积变化特征提取模块：基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征；
以及，
火焰频闪特征提取模块：用于将所述目标图像的帧图像的长度序列与预先设定火焰的长度序列进行对比，判定如果连续三帧中相邻两帧的面积之差的积小于0，则计数器SUM加1，否则加0，用SUM值作为火焰频闪特征。
5.根据权利要求4所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述火焰面积变化特征提取模块具体用于，
计算面积变化率如下：
其中，Ar为面积变化率，SN+1和SN表示相邻两帧火焰区域的面积大小。
6.根据权利要求4所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述火焰特征融合模块包括：
特征向量构建单元：用于根据实时场景图像的火焰特征，构建多维融合特征向量；
分类器训练单元：用于将训练集图像导入预设的支持向量机进行训练，生成特征分类器；
以及，
图像分类单元：用于将场景图像导入所述特征分类器，得到具有火焰特征的图场景图像和没有火焰特征的场景图像。
7.根据权利要求1所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述火焰定位模块包括：
全局信息网络单元：用于根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
图像处理单元：用于通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理，进行火焰标注；
以及，
火焰位置判定单元：用于根据火焰标注确定火焰位置，并输出火焰信息。
8.根据权利要求7所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述火焰定位模块还包括：
锚点标记单元：用于在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
策略实施单元：用于根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
掩码确定单元：用于根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码。
9.根据权利要求8所述的一种基于换流站阀厅消防机器人的火焰定位报警系统，其特征在于，所述颜色模型为：
其中，M(x,y)表示像素(x,y)处生成的火焰掩码，fR(x,y),fG(x,y),fB(x,y)分别表示图像R、G、B三通道的像素值，TR表示R通道上设置的阈值。
10.一种基于换流站阀厅消防机器人的火焰定位报警方法，其特征在于，包括：
通过设置在换流站阀厅的消防机器人采集换流站阀厅的实时场景图像，以及识别出可疑的火灾场景图像；
对可疑的火灾场景图像进行火焰特征提取；
对每张可疑的火灾场景图像提取的火焰特征进行融合，基于融合后的火焰特征进行图像分类，得到具有火焰特征的场景图像和没有火焰特征的场景图像；
将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警。
11.根据权利要求10所述的一种基于换流站阀厅消防机器人的火焰定位报警方法，其特征在于，所述采集换流站阀厅的实时场景图像包括：
基于换流站阀厅的三维地图设定消防机器人的巡查点位；所述巡查点位用于确定所述实时场景图像的背景图，且同一消防机器人的每个巡查点位的背景图相同；
对所述巡查点位根据设定的巡查任务进行实时巡查，获取实时场景图像，并判定所述巡查任务中是否出现可疑的火灾区域，并将出现可疑的火灾区域的实时场景图像选定为目标图像。
12.根据权利要求11所述的一种基于换流站阀厅消防机器人的火焰定位报警方法，其特征在于，所述进行火焰特征提取包括：
根据所述目标图像，进行像素点的颜色分量计算，根据所述颜色分量确定像素点的变异系数，并将所述变异系数作为火焰颜色特征；所述变异系数为所述像素点颜色分量的均值和标准差的比值；
根据所述目标图像，确定火焰图像，计算火焰图像的凸包周长和火焰周长之比，并将该比值作为火焰边界粗糙度特征；
基于所述目标图像，对对应的帧图像进行面积计算，确定面积变化率，并将所述面积变化率作为火焰面积变化特征；
将所述目标图像的帧图像的长度序列与预先设定火焰的长度序列进行对比，判定如果连续三帧中相邻两帧的面积之差的积小于0，则计数器SUM加1，否则加0，用SUM值作为火焰频闪特征。
13.根据权利要求10所述的一种基于换流站阀厅消防机器人的火焰定位报警方法，其特征在于，所述将具有火焰特征的场景图像通过结合全局信息网络的Faster R-CNN模型进行处理，确定火焰位置并报警，包括：
根据消防机器人巡检获取的实时场景图象，确定全局信息，并构建全局信息网络；
通过预设的Faster R-CNN融合所述全局信息网络火焰分类图像进行处理；
在所述实时场景图像的每个像素处生成锚点，并将锚点作为颜色引导点；
根据所述颜色引导点，构建基于系数锚点策略的颜色模型；
根据所述颜色模型，在火焰标注时，生成每个锚点处颜色与火焰颜色相似度的掩码；
基于掩码确定火焰位置并预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210210286.0A CN114663805A (zh) | 2022-03-03 | 2022-03-03 | 一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210210286.0A CN114663805A (zh) | 2022-03-03 | 2022-03-03 | 一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663805A true CN114663805A (zh) | 2022-06-24 |
Family
ID=82028314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210210286.0A Pending CN114663805A (zh) | 2022-03-03 | 2022-03-03 | 一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663805A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593588A (zh) * | 2023-12-14 | 2024-02-23 | 小黄蜂智能科技(广东)有限公司 | 火焰影像的智能识别方法及装置 |
-
2022
- 2022-03-03 CN CN202210210286.0A patent/CN114663805A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593588A (zh) * | 2023-12-14 | 2024-02-23 | 小黄蜂智能科技(广东)有限公司 | 火焰影像的智能识别方法及装置 |
| CN117593588B (zh) * | 2023-12-14 | 2024-06-21 | 小黄蜂智能科技(广东)有限公司 | 火焰影像的智能识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmed et al. | A robust features-based person tracker for overhead views in industrial environment | |
| CN108052859B (zh) | 一种基于聚类光流特征的异常行为检测方法、系统及装置 | |
| CN111598066A (zh) | 一种基于级联预测的安全帽佩戴识别方法 | |
| KR101523740B1 (ko) | 공간 매핑을 이용한 객체 추적 장치 및 방법 | |
| KR101912569B1 (ko) | 비디오 영상에서의 물체 추적시스템 | |
| CN108694724A (zh) | 一种长时间目标跟踪方法 | |
| CN109241829A (zh) | 基于时空注意卷积神经网络的行为识别方法及装置 | |
| CN111881749B (zh) | 基于rgb-d多模态数据的双向人流量统计方法 | |
| CN104573706A (zh) | 一种物体图像识别方法及其系统 | |
| CN109829382B (zh) | 基于行为特征智能分析的异常目标预警追踪系统及方法 | |
| CN113033523B (zh) | 跌倒判断模型的构建方法及系统、跌倒判断方法及系统 | |
| CN106228150A (zh) | 基于视频图像的烟雾检测方法 | |
| Janku et al. | Fire detection in video stream by using simple artificial neural network | |
| CN111325133A (zh) | 一种基于人工智能识别的影像处理系统 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| Gal | Automatic obstacle detection for USV’s navigation using vision sensors | |
| CN114663805A (zh) | 一种基于换流站阀厅消防机器人的火焰定位报警系统及方法 | |
| Zhang et al. | A novel efficient method for abnormal face detection in ATM | |
| KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
| KR20230166840A (ko) | 인공지능을 이용한 객체 이동 경로 확인 방법 | |
| Fatichah et al. | Optical flow feature based for fire detection on video data | |
| Wu et al. | Real-time 2D hands detection and tracking for sign language recognition | |
| De Padua et al. | Particle filter-based predictive tracking of futsal players from a single stationary camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |