CN114898289B - 基于神经网络的园区可燃物识别方法及系统 - Google Patents

基于神经网络的园区可燃物识别方法及系统 Download PDF

Info

Publication number
CN114898289B
CN114898289B CN202210507716.5A CN202210507716A CN114898289B CN 114898289 B CN114898289 B CN 114898289B CN 202210507716 A CN202210507716 A CN 202210507716A CN 114898289 B CN114898289 B CN 114898289B
Authority
CN
China
Prior art keywords
layer
neural network
network model
convolution layer
combustible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210507716.5A
Other languages
English (en)
Other versions
CN114898289A (zh
Inventor
董燊
贾奕斐
洪晓宇
梁晓良
陈浩楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chen Haonan
Dong Shen
Hong Xiaoyu
Jia Yifei
Liang Xiaoliang
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210507716.5A priority Critical patent/CN114898289B/zh
Publication of CN114898289A publication Critical patent/CN114898289A/zh
Application granted granted Critical
Publication of CN114898289B publication Critical patent/CN114898289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于神经网络的园区可燃物识别方法及系统，属于智能识别技术领域。该方法包括：获取园区监控设备采集到的图像；利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图；利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，所述第一神经网络模型包括卷积层、全连接层和输出层，所述第二神经网络模型包括卷积层、池化层、全连接层、分类层和输出层。本发明通过智能识别园区内的可燃物，从而可以实现火灾的预测和预防，从源头上避免火灾的发生。

Description

基于神经网络的园区可燃物识别方法及系统
技术领域
本发明涉及智能识别技术领域，具体涉及一种基于神经网络的园区可燃物识别方法及系统。
背景技术
随着化工行业的快速发展，化工企业不断向化工园区集中，园区化已经成为化工行业发展的主要趋势。化工园区内企业集中，存储和使用的危险化学品数量较多，一旦发生事故不仅会造成人员伤亡、经济损失，还会造成人员恐慌，另外，危险化学品引起的火灾爆炸事故不但多发易发，而且危害巨大。危险化学品管理水平在化工企业安全生产、安全运行中尤为重要，其不仅直接影响企业的效益，还会影响公共安全和社会稳定。
目前，园区内的消防系统多是针对已经发生的火情进行检测，以期在早期及时检测，然后可以及时地进行灭火，但是这种方式有以下缺点：化学物品存在易燃易爆的特点，一旦出现火情可能瞬时爆燃或爆炸，而且这种事后检测的方式还存在漏检的可能，一旦漏检后果难以想象。因此，这种事后检测的方式，对于化工工业园区来说，可靠性低、风险大。
发明内容
因此，本发明实施例要解决的技术问题在于克服现有技术中的化工园区内的消防系统只能针对已经发生的火情进行检测，不能提前预防，容易导致化工品在段时间的爆燃和爆炸，安全性低的缺陷，从而提供一种基于神经网络的园区可燃物识别方法及系统。
为此，本发明提供一种基于神经网络的园区可燃物识别方法，包括以下步骤：
获取园区监控设备采集到的图像；
利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图；
利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，所述第一神经网络模型包括卷积层、全连接层和输出层，所述第二神经网络模型包括卷积层、池化层、全连接层、分类层和输出层。
可选的，所述利用第二神经网络模型对所述特征图进行识别之前，还包括：
构建用于可燃物识别的神经网络结构搜索空间；
训练面向可燃物识别的超网络模型；
使用进化算法在所述超网络模型上搜索最优神经网络结构；
将所述最优神经网络结构作为所述第二神经网络模型的网络结构。
可选的，所述将所述最优神经网络结构作为所述第二神经网络模型的网络结构之后，还包括：
将训练图像样本经过所述第一神经网络提取到的样本特征图输入至所述第二神经网络模型，输出分类概率图；
通过集中性损失函数计算所述分类概率图与金标准的误差，并通过梯度后向传播方法，获得所述第二神经网络模型的改进的权重参数。
可选的，
还包括利用第三神经网络识别出可燃物的预警等级，第三神经网络包括：输入层、隐含层、求和层和竞争层，其中，入层包括初级输入层、差分层和归一化层，所述初级输入层可燃物温度时间序列数据X1＝[X11 X21…XN1]T；
所述变形层用于对输入层的神经元进行变形，变形矩阵用下式表示：
Figure BDA0003638055350000021
式中，ΔXn1＝Xn1-X(n-1)1，指当温度数据和前次温度数据的差，n＝1,…,N；
归一化层用于对变形矩阵利用归一化系数矩阵对变形向量进行归一化处理，得到归一化矩阵，归一化系数矩阵如下式：
Figure BDA0003638055350000031
归一化矩阵如下式：
Z＝Y·δ
将归一化矩阵输入到第三神经网络的隐含层，隐含层中利用标准差σ＝0.1的高斯函数将神经元激活，得到初始概率矩阵如下式：
Figure BDA0003638055350000032
式中，
Figure BDA0003638055350000033
Znm为归一化矩阵Z中第m个样本量的第n个值，Cm为高斯函数的中心点,n＝1,…,N，m＝1,2；
求和层通过下式求出待识别可燃物属于求和层中的哪个预警等级：
Figure BDA0003638055350000034
式中ωmk为隐含层神经元与求和层神经元之间的互相关系数，由训练数据反复训练确定，,n＝1,…,N，k＝1,…,6。
可选的，所述第二神经网络模型包括：
可变形编码器和具有重构上采样结构的解码器网络，所述可变形编码器的组成依次包括输入层、第一可变形卷积层、第二可变形卷积层、第一最大池化层、第三可变形卷积层、第四可变形卷积层、第二最大池化层、第五可变形卷积层、第六可变形卷积层、第三最大池化层、第七可变形卷积层、第八可变形卷积层、第四最大池化层、第九可变形卷积层；
具有重构上采样结构的解码器网络包括第一常规卷积层、第一重构上采样层、第二常规卷积层、第三常规卷积层、第二重构上采样层、第四常规卷积层、第五常规卷积层、第三重构上采样层、第六常规卷积层、第七常规卷积层、第四重构上采样层、第八常规卷积层、第九常规卷积层、第十常规卷积层即输出层；第一常规卷积层与第九可变形卷积层连接，第一重构上采样层与第八可变形卷积层进行拼接，第二重构上采样层与第六可变形卷积层进行拼接，第三重构上采样层与第四可变形卷积层进行拼接，第四重构上采样层与第二可变形卷积层进行拼接；在每个可变形卷积层和常规卷积层的激活函数之前，均加入组标准化。
可选的，所述利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，包括：
对所述感兴趣区域分别采用M*M的卷积层提取所述感兴趣区域的整体特征、N*N的卷积层提取所述感兴趣区域的细节特征；M＞N；
对所述整体特征和所述细节特征进行特征融合，得到融合特征；
基于所述融合特征进行可燃物识别。
可选的，所述第二神经网络模型共享所述第一神经网络模型的最后一个所述池化层和所述全连接层。
可选的，所述利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图之前，还包括：
采用无监督堆栈稀疏自动编码方法来对所述第一神经网络模型和所述第二神经网络模型各层进行预训练初始化；
采用共享神经网络模型的更新机制对所述第一神经网络模型和所述第二神经网络模型进行模型微调训练；
获取到所述第一神经网络模型和所述第二神经网络模型的最佳优化参数。
可选的，所述第二神经网络模型包括下采样部分和上采样部分；所述下采样部分包括一个卷积层，一个池化层以及四个下采样块，每个下采样块内部包含三个卷积层，并且使用残差的方式连接；上采样部分包括6个上采样块，每个上采样块中包含一个上采样层和两个卷积层，每个上采样层和卷积层都有多个候选操作，只有一个候选操作在第二神经网络模型的训练和测试阶段会被激活；其中下采样部分的中间特征图通过相加的方式和上采样块中的特征图进行融合，并最终用于可燃物的识别。
本发明还提供一种基于神经网络的园区可燃物识别系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的任一种方法。
本发明实施例的技术方案，具有如下优点：
本发明实施例提供的基于神经网络的园区可燃物识别方法及系统，通过神经网络模型智能识别园区内的可燃物，从而可以实现火灾的预测和预防，从源头上避免火灾的发生，可以大大提高化工园区内的消防安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中基于神经网络的园区可燃物识别方法的一个具体示例的流程图；
图2为本发明实施例1中第二神经网络模型构建的一个具体示例的流程图；
图3为本发明实施例2中基于神经网络的园区可燃物识别系统的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种基于神经网络的园区可燃物识别方法，如图1所示，包括以下步骤：
S1：获取园区监控设备采集到的图像；
S2：利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图；
S3：利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，所述第一神经网络模型包括卷积层、全连接层和输出层，所述第二神经网络模型包括卷积层、池化层、全连接层、分类层和输出层。
本发明提供的基于神经网络的园区可燃物识别方法，通过神经网络模型智能识别园区内的可燃物，从而可以实现火灾的预测和预防，从源头上避免火灾的发生，可以大大提高化工园区内的消防安全性。
可选的，在获取到监控设备采集到的图像之后，图像识别之前，还对采集到的图像进行预处理，所述预处理包括数字化、图像去噪、灰度化和归一化。
具体的，所述图像去噪处理包括高通滤波处理：对采集到的图像做傅里叶变换，中心化处理，取绝对值；设定终止频率，计算频率域各点到中心点距离；根据设定的终止频率和上述距离计算高通滤波转换后的矩阵，对该矩阵做傅里叶逆变换，并进行中心化处理后取绝对值，即可实现对图像的高通滤波处理。
可选的，如图2所示，所述利用第二神经网络模型对所述特征图进行识别之前，即步骤S2之前，还包括：
S1a：构建用于可燃物识别的神经网络结构搜索空间；
S1b：训练面向可燃物识别的超网络模型；
S1c：使用进化算法在所述超网络模型上搜索最优神经网络结构；
S1d：将所述最优神经网络结构作为所述第二神经网络模型的网络结构。
进一步可选的，所述神经网络结构搜索空间包括所述第二神经网络模型的各参数以及各参数的取值范围，后续在搜索最优神经网络结构时在取值范围内更新各参数。在使用进化算法在所述超网络模型上搜索最优神经网络结构时，根据训练数据获取当前代神经网络结构的奖励值，并判断奖励值是否满足优化结束要求，若满足，则确定为最优神经网络结构，否则继续进行优化迭代。
其中，神经网络结构的奖励值可以根据可燃物识别的速度和准确度确定。优化结束要求可以是在多次优化过程中奖励值基本稳定。
可选的，所述将所述最优神经网络结构作为所述第二神经网络模型的网络结构之后，还包括：
将训练图像样本经过所述第一神经网络提取到的样本特征图输入至所述第二神经网络模型，输出分类概率图；分类概率图包括是可燃物的概率和不是可燃物的概率；
通过集中性损失函数计算所述分类概率图与金标准的误差，并通过梯度后向传播方法，获得所述第二神经网络模型的改进的权重参数。
可选的，所述第二神经网络模型包括UNet网络。
可选的，本发明提供的基于神经网络的园区可燃物识别方法还包括利用第三神经网络识别出可燃物的预警等级，第三神经网络包括：输入层、隐含层、求和层和竞争层，其中，入层包括初级输入层、差分层和归一化层，所述初级输入层可燃物温度时间序列数据X1＝[X11 X21 … XN1]T；
所述变形层用于对输入层的神经元进行变形，变形矩阵用下式表示：
Figure BDA0003638055350000081
式中，ΔXn1＝Xn1-X(n-1)1，指当温度数据和前次温度数据的差；
归一化层用于对变形矩阵利用归一化系数矩阵对变形向量进行归一化处理，得到归一化矩阵，归一化系数矩阵如下式：
Figure BDA0003638055350000082
归一化矩阵如下式：
Z＝Y·δ
将归一化矩阵输入到第三神经网络的隐含层，隐含层中利用标准差σ＝0.1的高斯函数将神经元激活，得到初始概率矩阵如下式：
Figure BDA0003638055350000083
式中，
Figure BDA0003638055350000084
Znm为归一化矩阵Z中第m个样本量的第n个值，Cm为高斯函数的中心点；
求和层通过下式求出待识别可燃物属于求和层中的哪个预警等级：
Figure BDA0003638055350000085
式中ωmk为隐含层神经元与求和层神经元之间的互相关系数，由训练数据反复训练确定。
可选的，所述第二神经网络模型包括：可变形编码器和具有重构上采样结构的解码器网络。
进一步可选的，所述可变形编码器的组成依次包括输入层、第一可变形卷积层、第二可变形卷积层、第一最大池化层、第三可变形卷积层、第四可变形卷积层、第二最大池化层、第五可变形卷积层、第六可变形卷积层、第三最大池化层、第七可变形卷积层、第八可变形卷积层、第四最大池化层、第九可变形卷积层；
具有重构上采样结构的解码器网络包括第一常规卷积层、第一重构上采样层、第二常规卷积层、第三常规卷积层、第二重构上采样层、第四常规卷积层、第五常规卷积层、第三重构上采样层、第六常规卷积层、第七常规卷积层、第四重构上采样层、第八常规卷积层、第九常规卷积层、第十常规卷积层即输出层；第一常规卷积层与第九可变形卷积层连接，第一重构上采样层与第八可变形卷积层进行拼接，第二重构上采样层与第六可变形卷积层进行拼接，第三重构上采样层与第四可变形卷积层进行拼接，第四重构上采样层与第二可变形卷积层进行拼接；在每个可变形卷积层和常规卷积层的激活函数之前，均加入组标准化。
可选的，所述利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，包括：
对所述感兴趣区域分别采用M*M的卷积层提取所述感兴趣区域的整体特征、N*N的卷积层提取所述感兴趣区域的细节特征；M＞N；
对所述整体特征和所述细节特征进行特征融合，得到融合特征；
基于所述融合特征进行可燃物识别。
其他可选的具体实施方式中，也可以通过上采样和下采样构建所述感兴趣区域的图片金字塔，然后分别利用同一尺寸的卷积层提取图片金字塔每一层图像的特征，并分别基于提取到的图片金字塔各层图像的特征进行可燃物识别，按照识别结果中的最大概率确定是否是可燃物。
可选的，所述第二神经网络模型共享所述第一神经网络模型的最后一个所述池化层和所述全连接层。
另外，在利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，包括：
利用所述第二神经网络模型中的空间变换层对所述感兴趣区域进行空间变换处理。
具体的，将所述感兴趣区域转换为预设尺寸范围的第一图像，仿射变换矩阵与所述第一图像的图像矩阵相乘即可完成对所述感兴趣区域的空间变换。
可选的，所述利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图之前，还包括：
采用无监督堆栈稀疏自动编码方法来对所述第一神经网络模型和所述第二神经网络模型各层进行预训练初始化，该方法通过自下上升逐层贪婪学习策略，在各层的堆叠过程中提高了训练数据在构造模型下的似然概率的变分下限，从而使训练过程达到近似的最大似然学习；
采用SSAE方法进行所述第一神经网络模型和所述第二神经网络模型的预训练时，对每一层均采用自动编码技术进行模型参数的初始化；而在完成对本层的模型参数的初始化的同时，将本层隐含层单元的激活概率作为下一层预训练网络的输入数据；
采用共享神经网络模型的更新机制对所述第一神经网络模型和所述第二神经网络模型进行模型微调训练，以优化模型参数；根据改进的损失函数与各任务间的关系，注意不同参数种类在迭代优化中的更新顺序；获取所述第一神经网络模型和所述第二神经网络模型各自的损失函数和融合后的总损失函数；由模型本身结构、所述第一神经网络模型和所述第二神经网络模型间的逻辑关系及模型的损失函数式，对所述第一神经网络模型中参数的梯度进行计算，然后计算所述第二神经网络模型中参数的梯度，最后计算所述第一神经网络模型和所述第二神经网络模型共享参数的梯度，采用能够自动调整学习速率的Adam优化算法对参数进行更新；
根据上述模型优化方法，可获取到所述第一神经网络模型和所述第二神经网络模型的最佳优化参数。
可选的，所述第二神经网络模型包括下采样部分和上采样部分；所述下采样部分包括一个卷积层，一个池化层以及四个下采样块，每个下采样块内部包含三个卷积层，并且使用残差的方式连接；上采样部分包括6个上采样块，每个上采样块中包含一个上采样层和两个卷积层，每个上采样层和卷积层都有多个候选操作，只有一个候选操作在第二神经网络模型的训练和测试阶段会被激活；其中下采样部分的中间特征图通过相加的方式和上采样块中的特征图进行融合，并最终用于可燃物的识别。
实施例2
本实施例提供一种基于神经网络的园区可燃物识别系统30，如图3所示，包括：
一个或多个处理器301；
存储装置302，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器301执行时，使得所述一个或多个处理器301实现上述实施例1所述的任一种方法。
本发明提供的基于神经网络的园区可燃物识别系统，通过神经网络模型智能识别园区内的可燃物，从而可以实现火灾的预测和预防，从源头上避免火灾的发生，可以大大提高化工园区内的消防安全性。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种基于神经网络的园区可燃物识别方法，其特征在于，包括以下步骤：
获取园区监控设备采集到的图像；
利用第一神经网络模型对所述图像进行特征提取处理，输出所述图像的特征图；
利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，所述第一神经网络模型包括卷积层、全连接层和输出层，所述第二神经网络模型包括卷积层、池化层、全连接层、分类层和输出层；
利用第三神经网络识别出可燃物的预警等级，第三神经网络包括：输入层、隐含层、求和层和竞争层，其中，输入层包括初级输入层、变形层和归一化层，所述初级输入层输入可燃物温度时间序列数据X1＝[X11 X21…XN1]T；
所述变形层用于对输入层的神经元进行变形，变形矩阵用下式表示：
Figure FDA0003914482910000011
式中，ΔXn1＝Xn1-X(n-1)1，指当前温度数据和前次温度数据的差；
归一化层用于对变形矩阵利用归一化系数矩阵对变形矩阵进行归一化处理，得到归一化矩阵，归一化系数矩阵如下式：
Figure FDA0003914482910000012
归一化矩阵如下式：
Z＝Y·δ
将归一化矩阵输入到第三神经网络的隐含层，隐含层中利用标准差σ＝0.1的高斯函数将神经元激活，得到初始概率矩阵如下式：
Figure FDA0003914482910000021
式中，
Figure FDA0003914482910000022
Znm为归一化矩阵Z中第m个样本量的第n个值，Cm为高斯函数的中心点；
求和层通过下式求出待识别可燃物属于求和层中的哪个预警等级：
Figure FDA0003914482910000023
式中ωmk为隐含层神经元与求和层神经元之间的互相关系数，由训练数据反复训练确定。
2.根据权利要求1所述的方法，其特征在于，所述利用第二神经网络模型对所述特征图进行识别之前，还包括：
构建用于可燃物识别的神经网络结构搜索空间；
训练面向可燃物识别的超网络模型；
使用进化算法在所述超网络模型上搜索最优神经网络结构；
将所述最优神经网络结构作为所述第二神经网络模型的网络结构。
3.根据权利要求2所述的方法，其特征在于，将所述最优神经网络结构作为所述第二神经网络模型的网络结构之后，还包括：
将训练图像样本经过所述第一神经网络提取到的样本特征图输入至所述第二神经网络模型，输出分类概率图；
通过集中性损失函数计算所述分类概率图与金标准的误差，并通过梯度后向传播方法，获得所述第二神经网络模型的改进的权重参数。
4.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型包括：
可变形编码器和具有重构上采样结构的解码器网络，所述可变形编码器的组成依次包括输入层、第一可变形卷积层、第二可变形卷积层、第一最大池化层、第三可变形卷积层、第四可变形卷积层、第二最大池化层、第五可变形卷积层、第六可变形卷积层、第三最大池化层、第七可变形卷积层、第八可变形卷积层、第四最大池化层、第九可变形卷积层；
具有重构上采样结构的解码器网络包括第一常规卷积层、第一重构上采样层、第二常规卷积层、第三常规卷积层、第二重构上采样层、第四常规卷积层、第五常规卷积层、第三重构上采样层、第六常规卷积层、第七常规卷积层、第四重构上采样层、第八常规卷积层、第九常规卷积层、第十常规卷积层即输出层；第一常规卷积层与第九可变形卷积层连接，第一重构上采样层与第八可变形卷积层进行拼接，第二重构上采样层与第六可变形卷积层进行拼接，第三重构上采样层与第四可变形卷积层进行拼接，第四重构上采样层与第二可变形卷积层进行拼接；在每个可变形卷积层和常规卷积层的激活函数之前，均加入组标准化。
5.根据权利要求3所述的方法，其特征在于，所述利用第二神经网络模型对所述特征图进行识别，识别出感兴趣区域，并基于所述感兴趣区域进行可燃物识别，包括：
对所述感兴趣区域分别采用M*M的卷积层提取所述感兴趣区域的整体特征、N*N的卷积层提取所述感兴趣区域的细节特征；M＞N；
对所述整体特征和所述细节特征进行特征融合，得到融合特征；
基于所述融合特征进行可燃物识别。
6.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型共享所述第一神经网络模型的最后一个所述池化层和所述全连接层。
7.一种基于神经网络的园区可燃物识别系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
CN202210507716.5A 2022-05-11 2022-05-11 基于神经网络的园区可燃物识别方法及系统 Active CN114898289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210507716.5A CN114898289B (zh) 2022-05-11 2022-05-11 基于神经网络的园区可燃物识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210507716.5A CN114898289B (zh) 2022-05-11 2022-05-11 基于神经网络的园区可燃物识别方法及系统

Publications (2)

Publication Number Publication Date
CN114898289A CN114898289A (zh) 2022-08-12
CN114898289B true CN114898289B (zh) 2023-05-02

Family

ID=82722733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210507716.5A Active CN114898289B (zh) 2022-05-11 2022-05-11 基于神经网络的园区可燃物识别方法及系统

Country Status (1)

Country Link
CN (1) CN114898289B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331377B (zh) * 2022-10-12 2022-12-27 广东广宇科技发展有限公司 一种多目标消防风险预警方法
CN116214524B (zh) * 2023-05-08 2023-10-03 国网浙江省电力有限公司宁波供电公司 用于油样回收的无人机抓载方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886245A (zh) * 2019-03-02 2019-06-14 山东大学 一种基于深度学习级联神经网络的行人检测识别方法
CN110689042A (zh) * 2019-08-20 2020-01-14 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529511B (zh) * 2016-12-13 2019-12-10 北京旷视科技有限公司 图像结构化方法及装置
EP3797404A4 (en) * 2018-05-22 2022-02-16 Magic Leap, Inc. SKELETAL SYSTEMS TO ANIMATE VIRTUAL AVATARS
US11215999B2 (en) * 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
CN109598711B (zh) * 2018-11-30 2021-03-30 电子科技大学 一种基于特征挖掘和神经网络的热图像缺陷提取方法
KR102185225B1 (ko) * 2019-04-22 2020-12-01 공주대학교 산학협력단 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
US11568310B2 (en) * 2019-06-04 2023-01-31 Lg Electronics Inc. Apparatus for generating temperature prediction model and method for providing simulation environment
CN112464579B (zh) * 2021-02-02 2021-06-01 四川大学 基于进化神经网络结构搜索食管癌病变区域识别建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886245A (zh) * 2019-03-02 2019-06-14 山东大学 一种基于深度学习级联神经网络的行人检测识别方法
CN110689042A (zh) * 2019-08-20 2020-01-14 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN114898289A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114898289B (zh) 基于神经网络的园区可燃物识别方法及系统
CN107505133B (zh) 基于自适应mrvm的滚动轴承故障概率性智能诊断方法
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN110334866B (zh) 考虑绝缘缺陷类别与故障关联性的电力设备故障概率预测方法及系统
CN110705525A (zh) 一种诊断滚动轴承故障的方法及装置
CN111026058B (zh) 基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法
Cai et al. Anomaly detection of earthquake precursor data using long short-term memory networks
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN115862073A (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN110991471A (zh) 一种高速列车牵引系统故障诊断方法
CN114510960A (zh) 一种分布式光纤传感器系统模式识别的方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
CN116578940A (zh) 一种基于混合深度自编码的轴承故障新类识别与诊断方法
CN115824519A (zh) 基于多传感器信息融合的阀门泄露故障综合诊断方法
Yu et al. Deep transfer learning rolling bearing fault diagnosis method based on convolutional neural network feature fusion
CN114331214A (zh) 基于强化学习的域自适应轴承声纹故障诊断方法及系统
Sony Towards multiclass damage detection and localization using limited vibration measurements
CN113012107A (zh) 电网缺陷检测方法及系统
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN112414446B (zh) 一种数据驱动的变速器传感器故障诊断方法
CN115526227A (zh) 一种直升机飞行数据瞬时异常检测方法
CN112309063B (zh) 混合光纤入侵信号特征谱提取方法及装置
CN113822771A (zh) 一种基于深度学习的低误检率窃电检测方法
CN114252266A (zh) 一种基于dbn-svdd模型的滚动轴承性能退化评估方法
CN111967507A (zh) 基于离散余弦变换和U-Net的时序异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230317

Address after: 473000 Nanyang City Fire Rescue Detachment, No. 1618 Jianshe East Road, Wancheng District, Nanyang City, Henan Province

Applicant after: Dong Shen

Applicant after: Jia Yifei

Applicant after: Hong Xiaoyu

Applicant after: Liang Xiaoliang

Applicant after: Chen Haonan

Address before: Room 608, Block C, Building 2, Yard 42, Qibei Road, Changping District, Beijing 102200

Applicant before: BEIJING HUALANDE TECHNOLOGY CONSULTING SERVICE CO.,LTD.

GR01 Patent grant
GR01 Patent grant