CN116704257A - 基于神经网络的多传感器数据融合火灾探测方法 - Google Patents

基于神经网络的多传感器数据融合火灾探测方法 Download PDF

Info

Publication number
CN116704257A
CN116704257A CN202310740894.7A CN202310740894A CN116704257A CN 116704257 A CN116704257 A CN 116704257A CN 202310740894 A CN202310740894 A CN 202310740894A CN 116704257 A CN116704257 A CN 116704257A
Authority
CN
China
Prior art keywords
data
layer
sensor
normalization
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310740894.7A
Other languages
English (en)
Inventor
陈祝明
邓鑫伟
王浩森
张皓云
汪屿曦
姜江宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Chaoyi Fire Fighting Equipment Co ltd
Yangtze River Delta Research Institute of UESTC Huzhou
Original Assignee
Zhejiang Chaoyi Fire Fighting Equipment Co ltd
Yangtze River Delta Research Institute of UESTC Huzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Chaoyi Fire Fighting Equipment Co ltd, Yangtze River Delta Research Institute of UESTC Huzhou filed Critical Zhejiang Chaoyi Fire Fighting Equipment Co ltd
Priority to CN202310740894.7A priority Critical patent/CN116704257A/zh
Publication of CN116704257A publication Critical patent/CN116704257A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

基于神经网络的多传感器数据融合火灾探测方法，包括如下步骤：步骤1.准备训练模型及数据集；所述数据集为利用仿真软件在模拟场景下部署NA种传感器采集的数据，所述训练模型由所述数据集训练得到；步骤2.在被探测场景中传感器采集数据；S3.将采集到的数据进行SG滤波；S4.将滤波后的数据进行格拉姆角场变换，得到传感器信号特征矩阵，将其转化成聚合矩阵；S5.将聚合矩阵送入所述步骤1得到的训练模型进行判断是否发生火灾。本发明通过SG滤波和GAF变化，将三维独立的火灾传感器信号转化为类似三通道RGB图片矩阵的形式以利用成熟的图像分类的方式通过高准确率的神经网络模型解决火灾识别准确率问题。

Description

基于神经网络的多传感器数据融合火灾探测方法
技术领域
本发明属于电子信息技术领域，涉及消防预警技术领域，尤其涉及一种基于神经网络的多传感器数据融合火灾探测方法。
背景技术
火灾探测方法主要分为两种：传统火灾识别方法和智能火灾识别方法；其中，智能火灾识别方法的典型算法理论基础有贝叶斯分类器、模糊逻辑推理以及神经网络等。
人工神经网络近年来在信号处理领域取得了巨大进展，神经网络是仿照人类神经元的活动方式构造出的新型智能算法。针对图像局部像素具有高相关性的特点，采用卷积神经网络可以大幅减少提取图像特征信息所需的参数量，卷积神经网络由卷积层、池化层、全连接层构成，通过卷积层提取图片中的空间特征，池化层对数据进行压缩处理，全连接层用于将经过卷积层提取出的特征信息映射至分类或回归任务所需的空间维度。
“Ashish Vaswani等人提出了Transformer网络结构，引入注意力机制的概念来对全局信息进行建模，能更好的建立长远的依赖关系”【Vaswani A,Shazeer N,Parmar N,etal.Attention is all you need[J].Advances in neural information processingsystems,2017,30】。“Zhuang Liu等人尝试以Transformer的思想来优化卷积神经网络，从stage宏观结构、卷积核设计、块结构激活函数与归一化层四个方面对ResNet-50网络进行修改，提出了ConvNeXt网络模型，ConvNeXt网络将多个卷积层堆叠成为一个块(block)，再将多个块级联加深网络的深度，多个相同的块级联后称为一个阶段(stage)”【Liu Z,MaoH,Wu C Y,et al.A convnet for the 2020s[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2022:11976-11986】。其中参数量、运算量最小的ConvNeXt-T网络模型stage输出通道数为(96，192，384，768)，块堆叠次数为(3，3，9，3)，块结构中间层的通道数扩大比例为4倍，参数量为2.9*107，在输入尺寸为3*100*100时浮点运算次数(floating point operations，FLOPs)为8.3216*108，在Google公开花卉图像数据集:
【https://storage.googleapis.com/download.tensorflow.org/example_images/flow er_photos.tgz】的识别准确率为91.82％。
神经网络算法在火灾识别任务中表现出极高的准确率的同时，代价是参数量和计算量巨大。家用火灾监测报警系统为轻量级的嵌入式系统，计算算力有限，因此在设计家用监测系统的火灾识别网络时需要对网络的计算量和性能折中进行考虑。
发明内容
为克服现有技术存在的缺陷，本发明公开了一种基于神经网络的多传感器数据融合火灾探测方法。
本发明所述基于神经网络的多传感器数据融合火灾探测方法,包括如下步骤：
步骤S1.准备神经网络及数据集；所述数据集为对真实居民住宅内部结构按1:1进行建模后利用仿真软件在模拟场景下部署NA种传感器采集的数据，所述神经网络由所述数据集训练得到；
步骤S2.在被探测场景中，所述NA种传感器采集数据，每次采集JF个数据；NA和JF分别为传感器种类和单次采集数据量；
步骤S3.将采集到的数据进行SG滤波；
步骤S4.将滤波后的数据进行格拉姆角场变换，得到NA个扩维后的传感器信号特征矩阵，依次将NA个扩维后的传感器信号特征矩阵分别作为图像的第一、第二...第NA通道，将其转化成维度为NA*JF*JF的聚合矩阵；
S5.将聚合矩阵送入所述步骤1得到的神经网络进行判断是否发生火灾。
优选的，所述传感器包括3种，即NA＝3，三种传感器分别为烟雾传感器、一氧化碳传感器、温度传感器。
优选的，所述步骤1中，神经网络的初始架构为ConvNeXt-T网络，训练过程为：
设置准确率下限η，所述数据集分为训练集和验证集，将训练集输入ConvNeXt-T网络进行训练，不断减小ConvNeXt-T的m,n,p参数，并用验证集验证得到的准确率,直至再减小m,n,p参数得到的准确率低于所述准确率下限η；其中m为阶段内的块堆叠次数，n为块结构中间层的通道数；p为阶段通道数量。
优选的，所述ConvNeXt-T网络包括下采样结构、卷积特征提取结构、全连接结构；
下采样结构和卷积特征提取结构分别有多个,交错排布连接,其中：
第一个下采样结构由卷积层和位于卷积层后的归一化层组成；
其余下采样结构由归一化层和位于归一化层后的卷积层组成；
卷积特征提取结构包括一个或多个块结构；
所述块结构包括顺序连接的可分离卷积层、归一化层、通道卷积层、GELU激活函数、通道卷积层和残差连接层；其中残差连接层并联在块结构的输入端和输入端之间，在输出端与前五部分级联的输出加和。
优选的，所述全连接结构FC1由三部分级联构成，其中第一部分为平均池化层；第二部分为归一化层，归一化方式为层归一化；第三部分为全连接层。
优选的，所述步骤S1中的数据集为采用步骤S2至S4采集得到。
优选的，所述步骤S3具体如下：
S301.设平滑滤波的时间窗长为N，使用k阶多项式对窗口内的N个数据进行拟合，传感器采集到的数据为xt，t为序列时间编号，t∈[1,N]；则滤波后t时刻传感器的数值
其中，a0,a1…ak为拟合多项式的系数,窗长中的每一个拟合数据点均通过上式计算得到；将上式写成矩阵形式，则：
YN＝TN×(k+1)×Ak+1---公式2
YN＝(y1,y2,,yN-1,yN)T,YN为yt组成的列向量，向量长度为N，
TN×(k+1)为N行k+1列的系数矩阵，
Ak+1＝(a0,a1,，ak-1,ak)T，
Ak+1为a0,a1…ak组成的向量长度为k+1的列向量；
S302.定义损失函数EN为目标残差的平方和，即：
EN＝||YN-XN||2＝||TN×(k+1)×Ak+1-XN||2
XN＝(x1,x2,,xN-1,xN)T,XN为xt组成的列向量，向量长度为N，║║2表示求向量2范数，即向量模的平方；
S303.求EN对Ak+1的偏导数并令其为0，解方程得到根据最小二乘得到的最优权重矩阵
公式3中T即为公式2中的TN×(k+1)；上标T和-1分别表示矩阵的转置和逆；
S304.得到SG滤波器对于一个时间窗内传感器信号的滤波转移矩阵HN×N：
HN×N＝T×(TTT)-1×TT
S305.将公式2中的Ak+1用公式3的表达式替换，即将拟合数据点的矩阵形式改写为：
得到YN＝T×(TTT)-1×TT×XN＝HN×N×XN
即YN＝HN×N×XN---公式4；
YN为进行SG滤波后的传感器时间序列向量。
优选的，所述步骤4具体包括如下步骤：
S401.转换之前需要先对数据进行最大-最小标准化处理，
其中，yt为滤波后t时刻传感器的数值。
YN为进行SG滤波后的传感器时间序列向量，YN＝(y1,y2,,yN-1,yN)T，通过公式5进行最大最小标准化可以将原始时间序列缩放到[-1,1]的范围内；
S402.将标准化后的数据y't映射至极坐标系，以数值作为极坐标夹角的余弦值，以序列时间编号t与序列长度N的比值作为极坐标半径，转化公式为：
其中t为正整数表示的序列时间编号，序列总长度为N。通过极坐标转化将时间序列映射到了极坐标表示的二维空间，其中由于标准化后数据范围为[-1，1]，通过反余弦计算arccos(x)转化后得到的极坐标夹角φt∈[0,π]，极坐标半径rt∈[0,1]；
S403.修改格拉姆矩阵中内积的定义，设xi,xj为两个向量，定义运算：
其中，φi,φj为向量xi,xj的夹角，则修改后的类格拉姆矩阵为：
其中φi,φj由公式6得到；
S404.对所述NA种传感器,分别得到转化后的NA个类格拉姆矩阵,作为NA个通道数据。
本发明公开了一种神经网络，包括下采样结构、卷积特征提取结构、全连接结构；
下采样结构和卷积特征提取结构分别有多个,交错排布连接,其中：
第一个下采样结构由卷积层和位于卷积层后的归一化层组成；
其余下采样结构由归一化层和位于归一化层后的卷积层组成；
卷积特征提取结构包括一个或多个块结构；
所述块结构包括顺序连接的可分离卷积层、归一化层、通道卷积层、GELU激活函数、通道卷积层和残差连接层；其中残差连接层并联在块结构的输入端和输入端之间，在输出端与前五部分级联的输出加和。
优选的，所述全连接结构由三部分级联构成，其中第一部分为平均池化层；第二部分为归一化层，归一化方式为层归一化；第三部分为全连接层，
本发明的有益效果在于：
1、本发明通过SG滤波和GAF变化，将三维独立的火灾传感器信号转化为类似三通道RGB图片矩阵的形式以利用成熟的图像分类的方式通过高准确率的神经网络模型解决火灾识别准确率问题。
2、本发明对ConvNeXt-T网络模型进行改进得到ConvNeXt-FiRe网络模型，在几乎不影响分类性能的前提下大幅降低网络的复杂度和运算量，使其更适用于家用火灾监测报警系统的嵌入式平台。
3、本发明使用仿真软件对真实居民住宅1：1建模后生成的火灾数据集对卷积神经网络进行针对性训练，训练成本低，训练效果好。
附图说明
图1是本发明所述火灾探测方法的一个具体实施流程示意图；
图2是改进ConvNeXt-T网络的一个具体实施方式流程图；
图3是本发明一个具体实施例中的模拟场景二维模型图；
图4是本发明所述ConvNeXt-FiRe神经网络模型的一个具体实施方式结构图；
图5是本发明所述ConvNeXt-FiRe神经网络模型中块结构的一个具体实施方式结构图；
图6是本发明所述火灾监测报警系统的一个具体实施方式架构示意图；
图7是本发明所述采集系统的一个具体实施方式结构示意图；
图8是本发明所述监测报警系统的一个具体实施方式结构示意图；
图9是本发明所述采集系统的一个软件工作流程图；
图10是本发明所述监测报警系统的一个软件工作流程图；
图中附图标记名称为：1-合并计算，2-乘法计算，IN1-图像融合网络第一输入端，IN1-图像融合网络第二输入端，R-图像融合模块第一输入端，T-图像融合模块第二输入端，F-图像融合模块输出端。
具体实施方式
下面对本发明的具体实施方式作进一步的详细说明。
本发明为了实现上述目的，本发明采用了如下技术方案：
为了使本技术领域的人员更好地理解本发明方案，下面结合附图与实施例对本发明作进一步的详细说明，本发明也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本发明的保护范畴。
本发明提供一种基于神经网络的多传感器数据融合居民住宅火灾探测方法，通过SG滤波和GAF变化，将三维独立的火灾传感器信号转化为类似三通道RGB图片矩阵的形式以利用图像分类的方式通过高准确率且适用于家用火灾监测报警系统的嵌入式平台的神经网络模型解决火灾识别准确率问题。
如图1所示，本实施例提供一种基于神经网络的多传感器数据融合居民住宅火灾探测方法，包括一种传感器信号的预处理方法，包括数据清洗与扩维整合处理，以及一种适用嵌入式系统的卷积神经网络分类模型ConvNeXt-FiRe进行火灾分类判决。
所述ConvNeXt-FiRe网络由ConvNeXt-T网络改进得到，ConvNeXt-FiRe网络工作的一个具体流程如图2所示。
步骤S1.首先准备数据及训练模型
使用仿真软件如火灾数据生成软件Thunderhead Engineering PyroSim对居民住宅场景火灾数值进行建模与仿真，建模的模拟场景的尺寸与结构均与真实居民住宅按1:1进行建模，如图3所示,建模模拟场景二维模型一般为一个类似于现有户型图的二维平面结构，部署烟雾传感器、一氧化碳传感器、温度传感器三类传感器用于采集火灾场景以及非火灾场景数据进行预处理,此时NA＝3，生成3通道软件仿真火灾数据集，将数据集按4：1划分为训练集和验证集。
数据采集过程可采用本发明中所述步骤S2至S4方法得到，也可以用别的火灾数据生成软件如祝融DFS火灾数值模拟仿真系统得到。
数据集用于对神经网络进行训练，训练时可采用交叉熵函数作为损失函数并采用Adam优化器对网络进行训练，训练的超参数设置如下：训练轮次10轮、样本批大小为8，初始学习率为5*10-4，优化器的权重衰减系数为5*10-2。训练之后的网络便可部署在监测报警系统对实时数据进行分类判决。
ConvNeXt网络将多个卷积层堆叠成为一个块(block)，再将多个块级联加深网络的深度，多个相同的块级联后称为一个阶段(stage)。ConvNeXt-T网络初始配置如下：阶段(stage)内的块堆叠次数为m:m:3*m:m，m＝3；块结构中间层的通道数扩大比例为2*n倍,n＝2；阶段的通道数量为(p，2*p，4*p，8*p),p＝96。其中m为块堆叠次数,n为块结构中间层的通道数,p为阶段通道数量。
利用训练集对ConvNeXt-T网络进行训练并得到网络在验证集的准确率为99.19％，令准确率下限η＝98％，改进ConvNeXt-T网络需要在减小网络的参数量、计算量即尽量缩小m、n、p的同时保证网络在软件仿真火灾数据集的准确率高于η。
所述神经网络可利用ConvNeXt-T网络进行训练改进得到，一个具体步骤如下：
S101.利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；并设置准确率下限η＝98％；
S102.准确率为99.19％,大于98％,m＝3，令m＝m-1，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S103.准确率为99.02％,大于98％,m＝2，令m＝m-1，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S104.准确率为98.85％,大于98％,m＝1，令n＝n-1，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S105.准确率为98.69％,大于98％,n＝1，令p＝p/2，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S106.准确率为98.62％,大于98％,p＝48，令p＝p/2，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S107.准确率为98.56％,大于98％,p＝24，令p＝p/2，利用软件仿真数据集的训练集对网络进行训练并得到网络在软件仿真验证集的准确率；
S108.准确率为95.98％,小于98％,p＝12，令p＝p*2；
S109.改进完成，确定ConvNeXt-FiRe网络参数配置。
ConvNeXt-T网络与ConvNeXt-FiRe网络参数以及进一步缩小stage输出通道数的网络对比如表一所示，以展示本发明的有益效果。
表一
具体的，一个具体的ConvNeXt-FiRe网络结构如图4所示，包括下采样结构、卷积特征提取结构、全连接结构，
图4所示的具体实施方式中,下采样结构和卷积特征提取结构分别有四个,交错排布连接,其中：
第一下采样结构DS1由两部分组成，第一部分为尺寸4*4、通道数24、步长为4的卷积层，第二部分为归一化层，卷积层和归一化层先后级联，归一化方式为层归一化；
第二下采样结构DS2、第三下采样结构DS3、第四下采样结构DS4三个下采样结构由两部分组成，第一部分为归一化层、第二部分为卷积层，卷积层的尺寸为2*2，步长为2。DS2、DS3、DS4的卷积层通道数分别为48、96、192；
卷积特征提取结构共有4个，分别为ST1、ST2、ST3、ST4，四个卷积提取结构的输入通道数dim分别为24、48、96、192，由于m＝1,卷积特征提取结构ST1、ST2、ST4分别包括一个块结构，ST3包括3个相同的块结构；图4所示的具体实施方式中，块结构的输入通道数不同。
所述块结构如图5所示，由六部分连接组成，第一部分为尺寸为7*7、通道数为输入通道数dim、步长为1的深度可分离卷积层；第二部分为归一化层，归一化方式为层归一化；第三部分为尺寸为1*1、通道数为2*dim、步长为1的通道卷积层；第四部分为GELU激活函数；第五部分为尺寸为1*1、通道数为dim、步长为1的通道卷积层；第六部分为残差连接。一至五部分依次级联，第六部分并联在块结构的输入端和输入端之间，在输出端与前五部分级联的输出加和；
全连接结构FC1由三部分构成，其中，第一部分为一个平均池化层；第二部分为一个归一化层，归一化方式为层归一化；第三部分为全连接层，输入通道数为192，输出通道数为2。
依次由第一下采样结构DS1、第一卷积提取结构ST1、第二下采样结构DS2、第二卷积提取结构ST2、第三下采样结构DS3、第三卷积提取结构ST3、第四下采样结构DS4、第四卷积提取结构ST4、全连接结构FC1级联构成整体ConvNeXt-FiRe网络结构。
改进后的ConvNeXt-FiRe网络结构通过软件代码形式存储进火灾监测报警系统中。
如图6所示，本发明提供一种火灾监测报警系统，具体包括采集系统、监测报警系统，采集系统由烟雾传感器、一氧化碳传感器、温度传感器、无线传输模块组成，采集到的数据由无线传输模块传输到监测报警系统，监测报警系统进行处理。
其中采集系统的一个具体实施方如图7所示，供电模块给微控制单元供电，微控制单元通过RS485总线采集烟雾传感器、一氧化碳传感器、温度传感器三个传感器的数据，并通过UART发送到无线通信模块，无线通模块最后通过天线将数据发送到检测报警系统。
监测报警系统的一个具体实施方式如图8所示，系统布置在消防应急箱中，由电池供电模块给微控制单元以及无线通信模块供电，本发明所述ConvNeXt-FiRe网络部署到监测报警系统的微控制单元；微控制单元通过UART读取无线通信模块接收的数据后，根据ConvNeXt-FiRe网络分类的结果通过I/O口控制报警器是否报警。所述微控制单元一般为单片机。
采集系统软件流程如图9所示，监测系统软件流程如图10所示。完成系统初始化后，具体工作步骤如下：
步骤S2.在被探测场景中，所述NA种传感器采集数据，每次采集JF个数据；
采集开始时，无线通信模块通常处于休眠状态，三个传感器每10s以10Hz采样率各采集到100个数据,即NA＝3,JF＝100，采集完成后唤醒无线通信模块；
步骤S3.将采集到的数据转置后进行SG(Savitzky-Golay滤波器)滤波；
步骤S4.将滤波后的数据进行格拉姆角场(GAF)变换，得到三个扩维后的传感器信号特征矩阵，依次将烟雾浓度特征矩阵、一氧化碳浓度特征矩阵、温度特征矩阵分别作为图像的第一、第二、第三通道，将其转化成维度为3*100*100的聚合矩阵，等效为一张100*100的三通道图像；
其中所述步骤S3具体如下：
S301.设平滑滤波的时间窗长为N，使用k阶多项式对窗口内的N个数据进行拟合，传感器采集到的数据为xt，t为序列时间编号，xt表示t时刻传感器采集到的数据
t∈[1,N]；则
滤波后t时刻传感器的数值
其中，a0,a1…ak为拟合多项式的系数,窗长中的每一个拟合数据点均通过上式计算得到；
将上式写成矩阵形式，则：
YN＝TN×(k+1)×Ak+1---公式2
YN＝(y1,y2,,yN-1,yN)T,YN为yt组成的列向量，向量长度为N，
TN×(k+1)为N行k+1列的系数矩阵，Ak+1＝(a0,a1,，ak-1,ak)T，Ak+1为a0,a1…ak组成的向量长度为k+1的列向量；
S302.定义损失函数EN为目标残差的平方和，即：
EN＝||YN-XN||2＝||TN×(k+1)×Ak+1-XN||2
XN＝(x1,x2,,xN-1,xN)T,XN为xt组成的列向量，向量长度为N，
║║2表示求向量2范数，即向量模的平方；
S303.求EN对Ak+1的偏导数并令其为0，解方程得到根据最小二乘得到的最优权重矩阵
公式3中T即为公式2中的TN×(k+1)；上标T和-1分别表示矩阵的转置和逆；
S304.得到SG滤波器对于一个时间窗内传感器信号的滤波转移矩阵HN×N：
HN×N＝T×(TTT)-1×TT
S305.将公式2中的Ak+1用公式3的表达式替换，即将拟合数据点的矩阵形式改写为：
得到YN＝T×(TTT)-1×TT×XN＝HN×N×XN
即YN＝HN×N×XN---公式4；
YN为进行SG滤波后的传感器时间序列向量。
S4.通过格拉姆角场(Gramian Angular Field，GAF)变换被清洗的三类异构传感器数据的时间序列转化为二维矩阵，并进一步将三种传感器被转化后的矩阵分别作为三个通道聚合成一个类似三通道图像数据的张量。具体步骤如下：
S401.转换之前需要先对数据进行最大-最小标准化处理，
其中，yt为滤波后t时刻传感器的数值。
YN为进行SG滤波后的传感器时间序列向量，YN＝(y1,y2,,yN-1,yN)T，通过公式5进行最大最小标准化可以将原始时间序列缩放到[-1,1]的范围内；
由于原始时间序列的数据并不是向量，而后续本发明需要采用格拉姆变换以形成向量内积组成的矩阵,因此将原始时间序列转化为带有角度的表示形式。
S402.将标准化后的数据y't映射至极坐标系，以数值作为极坐标夹角的余弦值，以序列时间编号t与序列长度N的比值作为极坐标半径，转化公式为：
其中t为正整数表示的序列时间编号，序列总长度为N。通过极坐标转化将时间序列映射到了极坐标表示的二维空间，其中由于标准化后数据范围为[-1，1]，通过反余弦计算arccos(x)转化后得到的极坐标夹角φt∈[0,π]，极坐标半径r∈[0,1]；
使用现有格拉姆矩阵的内积定义对φt进行计算后数值呈高斯分布，本发明应用于传感器的数据处理，最后生成类似图像表达的类格拉姆矩阵，高斯分布的内积数值相当于给图像加入了高斯噪声，会影响分类结果，因此本发明对格拉姆矩阵内积定义改变以使得矩阵数值不呈高斯分布。
S403.修改格拉姆矩阵中内积的定义，设xi,xj为两个向量，定义运算：
其中，φi,φj为向量xi,xj的夹角，则修改后的类格拉姆矩阵为：
其中φi,φj由公式6得到。
S404.对所述NA种传感器,分别得到转化后的NA个类格拉姆矩阵,作为图像的NA个通道数据。
例如得到经格拉姆角场转换后的二维形式的所述类格拉姆矩阵，对烟雾、CO、温度三类传感器分别重复上述步骤,NA＝3，得到的转化后的三个类格拉姆矩阵分别作为图像的三个通道数据。
本发明中，SG滤波的作用在于清除传感器信号在采集过程中，受环境噪声影响而带来的数据波动，使得信号变得更加平滑，同时也可以去除传感器信号在采集过程中因干扰引起的偶发性的离群点故障。格拉姆角场法将三种异构传感器的时间序列转化为二维矩阵，可以用在性能比较好的神经网络如ConvNeXt-T网络进行分类。
本实施例使用SG滤波以及格拉姆角场法结合，将三种异构传感器数据转换为3个100x100的矩阵数据，即NA＝3,JF＝100,类似于三通道rgb图像数据，可以通过神经网络模型进行高准确率的分类。
S5.采集系统通过无线通信模块发送处理后的数据至监测报警系统，发送完毕后无线通信模块进入低功耗的休眠模式，监测报警系统将数据输入ConvNeXt-FiRe网络进行分类，并根据网络分类结果修改标志位，若标志位置位，说明符合报警条件，则报警器报警；
基于上述技术方案，本实施例通过将三个传感器数据进行SG滤波以及GAF变换后，得到一个类似于3通道图像的3*100*100的聚合矩阵，并将该矩阵输入改进得到的ConvNeXt-FiRe网络进行分类判决并根据判决结果产生报警信号。最终以小于1％的精度代价将ConvNeXt-T网络模型的参数量和运算量降低至原模型的1.5％以下，软件仿真火灾数据集报警准确率仍然高达98％以上，适合部署到嵌入式系统处理火灾识别任务。
为了更好地说明本发明的技术效果，发明人在尺寸为400mm*400mm*500mm的亚克力立方体空间内以1:10的比例进行缩尺实验模拟火灾的发生，验证样机性能，试验火根据《GB 4715-2005点型感烟火灾探测器》标准，选取了木材阴燃火、棉绳明火两种试验火，分别模拟居民住宅起火时，家具、衣物被料等燃烧场景，在立方体顶部中央设置烟雾、CO、温度三种类传感器，两种情况分别采集10分钟，重复10次，均在90s之内感知到起火信息并发送报警信号,实验得到1200组数据，其中有15组火灾漏报数据，报警准确率为98.75％。
上述实施例仅为优选实施例，并不用以限制本发明的保护范围，在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (10)

1.基于神经网络的多传感器数据融合火灾探测方法，其特征在于,包括如下步骤：
步骤S1.准备神经网络及数据集；所述数据集为对真实居民住宅内部结构按1:1进行建模后利用仿真软件在模拟场景下部署NA种传感器采集的数据，所述神经网络由所述数据集训练得到；
步骤S2.在被探测场景中，所述NA种传感器采集数据，每次采集JF个数据；NA和JF分别为传感器种类和单次采集数据量；
步骤S3.将采集到的数据进行SG滤波；
步骤S4.将滤波后的数据进行格拉姆角场变换，得到NA个扩维后的传感器信号特征矩阵，依次将NA个扩维后的传感器信号特征矩阵分别作为图像的第一、第二...第NA通道，将其转化成维度为NA*JF*JF的聚合矩阵；
S5.将聚合矩阵送入所述步骤1得到的神经网络进行判断是否发生火灾。
2.如权利要求1所述火灾探测方法，其特征在于，所述传感器包括3种，即NA＝3，三种传感器分别为烟雾传感器、一氧化碳传感器、温度传感器。
3.如权利要求1所述火灾探测方法，其特征在于，所述步骤1中，神经网络的初始架构为ConvNeXt-T网络，训练过程为：
设置准确率下限η，所述数据集分为训练集和验证集，将训练集输入ConvNeXt-T网络进行训练，不断减小ConvNeXt-T的m,n,p参数，并用验证集验证得到的准确率,直至再减小m,n,p参数得到的准确率低于所述准确率下限η；其中m为阶段内的块堆叠次数，n为块结构中间层的通道数；p为阶段通道数量。
4.如权利要求3所述火灾探测方法，其特征在于，所述ConvNeXt-T网络包括下采样结构、卷积特征提取结构、全连接结构；
下采样结构和卷积特征提取结构分别有多个,交错排布连接,其中：
第一个下采样结构由卷积层和位于卷积层后的归一化层组成；
其余下采样结构由归一化层和位于归一化层后的卷积层组成；
卷积特征提取结构包括一个或多个块结构；
所述块结构包括顺序连接的可分离卷积层、归一化层、通道卷积层、GELU激活函数、通道卷积层和残差连接层；其中残差连接层并联在块结构的输入端和输入端之间，在输出端与前五部分级联的输出加和。
5.如权利要求4所述火灾探测方法，其特征在于，所述全连接结构FC1由三部分级联构成，其中第一部分为平均池化层；第二部分为归一化层，归一化方式为层归一化；第三部分为全连接层。
6.如权利要求1所述火灾探测方法，其特征在于，所述步骤S1中的数据集为采用步骤S2至S4采集得到。
7.如权利要求1所述火灾探测方法，其特征在于，所述步骤S3具体如下：
S301.设平滑滤波的时间窗长为N，使用k阶多项式对窗口内的N个数据进行拟合，传感器采集到的数据为xt，t为序列时间编号，t∈[1,N]；则滤波后t时刻传感器的数值
其中，a0,a1…ak为拟合多项式的系数,窗长中的每一个拟合数据点均通过上式计算得到；将上式写成矩阵形式，则：
YN＝TN×(k+1)×Ak+1---公式2
YN＝(y1,y2,,yN-1,yN)T,YN为yt组成的列向量，向量长度为N，
TN×(k+1)为N行k+1列的系数矩阵，
Ak+1＝(a0,a1,，ak-1,ak)T，
Ak+1为a0,a1…ak组成的向量长度为k+1的列向量；
S302.定义损失函数EN为目标残差的平方和，即：
EN＝||YN-XN||2＝||TN×(k+1)×Ak+1-XN||2
XN＝(x1,x2,,xN-1,xN)T,XN为xt组成的列向量，向量长度为N，║ ║2表示求向量2范数，即向量模的平方；
S303.求EN对Ak+1的偏导数并令其为0，解方程得到根据最小二乘得到的最优权重矩阵
公式3中T即为公式2中的TN×(k+1)；上标T和-1分别表示矩阵的转置和逆；
S304.得到SG滤波器对于一个时间窗内传感器信号的滤波转移矩阵HN×N：
HN×N＝T×(TTT)-1×TT
S305.将公式2中的Ak+1用公式3的表达式替换，即将拟合数据点的矩阵形式改写为：
得到YN＝T×(TTT)-1×TT×XN＝HN×N×XN
即YN＝HN×N×XN---公式4；
YN为进行SG滤波后的传感器时间序列向量。
8.如权利要求1所述火灾探测方法，其特征在于，所述步骤4具体包括如下步骤：
S401.转换之前需要先对数据进行最大-最小标准化处理，
其中，yt为滤波后t时刻传感器的数值。
YN为进行SG滤波后的传感器时间序列向量，YN＝(y1,y2,,yN-1,yN)T，通过公式5进行最大最小标准化可以将原始时间序列缩放到[-1,1]的范围内；
S402.将标准化后的数据y't映射至极坐标系，以数值作为极坐标夹角的余弦值，以序列时间编号t与序列长度N的比值作为极坐标半径，转化公式为：
其中t为正整数表示的序列时间编号，序列总长度为N。通过极坐标转化将时间序列映射到了极坐标表示的二维空间，其中由于标准化后数据范围为[-1，1]，通过反余弦计算arccos(x)转化后得到的极坐标夹角φt∈[0,π]，极坐标半径rt∈[0,1]；
S403.修改格拉姆矩阵中内积的定义，设xi,xj为两个向量，定义运算：
其中，φi,φj为向量xi,xj的夹角，则修改后的类格拉姆矩阵为：
其中φi,φj由公式6得到；
S404.对所述NA种传感器,分别得到转化后的NA个类格拉姆矩阵,作为NA个通道数据。
9.一种神经网络，其特征在于，包括下采样结构、卷积特征提取结构、全连接结构；
下采样结构和卷积特征提取结构分别有多个,交错排布连接,其中：
第一个下采样结构由卷积层和位于卷积层后的归一化层组成；
其余下采样结构由归一化层和位于归一化层后的卷积层组成；
卷积特征提取结构包括一个或多个块结构；
所述块结构包括顺序连接的可分离卷积层、归一化层、通道卷积层、GELU激活函数、通道卷积层和残差连接层；其中残差连接层并联在块结构的输入端和输入端之间，在输出端与前五部分级联的输出加和。
10.如权利要求9所述神经网络，其特征在于，所述全连接结构由三部分级联构成，其中第一部分为平均池化层；第二部分为归一化层，归一化方式为层归一化；第三部分为全连接层。
CN202310740894.7A 2023-06-20 2023-06-20 基于神经网络的多传感器数据融合火灾探测方法 Pending CN116704257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310740894.7A CN116704257A (zh) 2023-06-20 2023-06-20 基于神经网络的多传感器数据融合火灾探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310740894.7A CN116704257A (zh) 2023-06-20 2023-06-20 基于神经网络的多传感器数据融合火灾探测方法

Publications (1)

Publication Number Publication Date
CN116704257A true CN116704257A (zh) 2023-09-05

Family

ID=87844895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310740894.7A Pending CN116704257A (zh) 2023-06-20 2023-06-20 基于神经网络的多传感器数据融合火灾探测方法

Country Status (1)

Country Link
CN (1) CN116704257A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746602A (zh) * 2024-02-19 2024-03-22 及安盾(海南)科技有限公司 基于多源数据融合的火灾风险智能预警方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746602A (zh) * 2024-02-19 2024-03-22 及安盾(海南)科技有限公司 基于多源数据融合的火灾风险智能预警方法及系统
CN117746602B (zh) * 2024-02-19 2024-05-28 及安盾(海南)科技有限公司 基于多源数据融合的火灾风险智能预警方法及系统

Similar Documents

Publication Publication Date Title
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN111814875B (zh) 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN110224862B (zh) 基于多层感知器的多智能体系统网络容侵能力评估方法
Cheng et al. Wind turbine blade icing detection: A federated learning approach
CN109684314A (zh) 一种基于空间结构的无线传感器网络缺失值估计方法
CN116704257A (zh) 基于神经网络的多传感器数据融合火灾探测方法
CN108490115B (zh) 一种基于分布式在线主成分分析的空气质量异常检测方法
CN112215157B (zh) 一种基于多模型融合的人脸特征降维提取方法
CN115471016B (zh) 一种基于cisso与daed的台风预测方法
CN116524674A (zh) 基于多源数据融合的智能配电房火灾早期监测方法与系统
CN116484740A (zh) 一种基于挖掘电网空间拓扑特征的线路参数辨识方法
CN115983374A (zh) 基于优化sa-cacgan的电缆局放数据库样本扩充方法
CN115775055B (zh) 多层建筑人员疏散时间的预测方法、装置、设备及介质
CN108615053A (zh) 基于粒子群优化的流形svm模拟电路故障诊断方法
CN112597890A (zh) 基于多维泰勒网的人脸识别方法
CN117241215A (zh) 一种基于图神经网络的无线传感器网络分布式节点协作定位方法
CN113988189B (zh) 一种跨风电机组的迁移故障诊断方法
CN114817847B (zh) 一种基于多层前馈神经网络的储能电站智能监测方法
CN110309528A (zh) 一种基于机器学习的雷达方案设计方法
CN110472272B (zh) 一种基于多参数和卷积神经网络的结构损伤识别方法
CN115859344A (zh) 基于秘密共享的联邦无人机群数据安全共享方法
Hu et al. Data Customization-based Multiobjective Optimization Pruning Framework for Remote Sensing Scene Classification
CN112200030A (zh) 基于图卷积的电力系统现场作业动作风险识别方法
Sunori et al. K-Means and Competitive Neural Network Based Clustering of Climate Data
CN111179110A (zh) 虚拟电厂可变阶聚合等效鲁棒动态模型建模方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination