CN114418983A - 基于智能物联网的设备风险检测方法 - Google Patents

Abstract

本发明涉及人工智能、安全生产技术领域，具体涉及一种基于智能物联网的设备风险检测方法。该方法包括：取环境图像，提取环境图像获得目标特种设备信息、危险源信息和人员信息，采集危险源音频和目标特种设备音频。根据危险源信息和危险源音频获得险源热力图，根据目标特种设备信息和目标特种设备音频获得特种设备热力图。将危险源热力图与所述设备热力图叠加，获得环境危险热力图，根据人员信息获得人员分布图。将环境危险热力图和人员分布图送入预先训练好的安全隐患等级判别网络，输出安全隐患等级。本发明通过特种设备自身情况和外界影响分析了特种设备的安全隐患。

Description

基于智能物联网的设备风险检测方法

技术领域

本发明涉及人工智能、安全生产技术领域，具体涉及一种基于智能物联网的设备风险检测方法。

背景技术

特种设备是指涉及生命安全、危险性较大的锅炉、压力容器、压力管道、电梯、起重机械、客运索道、大型游乐设施和场内专用机动车辆这八大类设备。特种设备在工作运行中，因为自身和其他危险源的影响，存在一定的安全隐患。其他危险源如物料储存罐、易燃易爆物、其他特种设备等。为保障特种设备的安全运行，需要实时获得特种设备的安全隐患，及时采取相应措施。

特种设备在工作时的音频特征可以反映设备在工作时的运行情况，工作异常的特种设备会存在异常的音频特征。但特种设备使用作业环境复杂，会受到危险源、人员等多方影响，无法在复杂的作业环境中得到准确的安全隐患结果。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于智能物联网的设备风险检测方法，所采用的技术方案具体如下：

本发明提出了一种基于智能物联网的设备风险检测方法，所述方法包括：

获取环境图像；分割所述环境图像获得目标特种设备信息、危险源信息和人员信息；采集危险源音频和目标特种设备音频；

根据所述危险源信息获得第一辐射区域；根据所述危险源音频与正常作业下的标准危险源音频的差异调整所述第一辐射区域的像素值，获得危险源热力图；根据所述目标特种设备信息获得第二辐射区域；根据所述目标特种设备音频与正常作业下的标准目标特种设备音频的差异调整所述第二辐射区域的像素值，获得特种设备热力图；

将所述危险源热力图与所述设备热力图叠加，获得环境危险热力图；根据所述人员信息获得人员分布图；

将所述环境危险热力图和所述人员分布图送入预先训练好的安全隐患等级判别网络，输出安全隐患等级。

进一步地，所述安全隐患等级判别网络包括：

所述安全隐患等级判别网络的损失函数中通过环境复杂度调整网络损失值；所述环境复杂度包括音频复杂度和区域复杂度；所述音频复杂度通过所述目标特种设备音频和经去噪后的目标特种设备去噪音频的差异获得；所述区域复杂度通过所述第一辐射区域和所述第二辐射区域的交集信息获得；所述交集信息包括交集面积和交集次数；所述交集次数为以所述第二辐射区域为基础，构成交集的所述第一辐射区域的数量。

进一步地，所述音频复杂度通过所述第二音频信息和所述第二去噪音频信息的差异获得包括：

通过音频复杂度公式获得所述音频复杂度；所述音频复杂度包括：

其中，f₁为所述音频复杂度，P为所述第二音频信息，P^*为所述第二去噪音频信息。

进一步地，所述区域复杂度通过所述交集面积、所述交集次数和所述第二辐射区域面积获得包括：

通过区域复杂度公式获得所述区域复杂度；所述区域复杂度公式包括：

其中，f₂为所述复杂度公式，c_k为第k个交集的所述交集次数，s_k为第k个交集的所述交集面积，K为交集的数量，S为所述第二辐射区域面积。

进一步地，所述根据所述危险源信息获得第一辐射区域包括：

根据所述危险源信息获得危险程度，根据辐射区域半径公式获得第一辐射区域半径；以所述危险源信息的所述目标中心点为圆心，根据所述第一辐射区域半径做圆，获得所述第一辐射区域；所述辐射区域半径公式包括：

其中，R为所述第一辐射区域半径，α为修正系数，d为所述危险程度，(w,h)为所述危险源信息中目标包围框的宽和高。

进一步地，所述根据所述危险源音频与正常作业下的标准危险源音频的差异调整所述第一辐射区域的像素值包括：

根据所述危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数，根据像素值调整公式调整所述第一辐射区域；所述像素值调整公式包括：

其中，g(x,y)为所述第一辐射区域在(x,y)处的像素点调整后的像素值，(x′,y′)为所述危险源信息的目标中心点坐标，β为所述第一异常系数，d为所述危险程度，D为预设最大危险程度。

进一步地，所述根据所述危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数包括：

根据所述危险源音频获得危险源去噪音频特征，根据所述标准危险源音频获得标准危险源音频特征，根据异常系数计算公式获得所述第一异常系数；所述异常系数计算公式包括：

其中，β为所述第一异常系数，Y为所述危险源去噪音频特征，Y₀为标准危险源音频特征。

进一步地，所述将所述危险源热力图与所述设备热力图叠加，获得环境危险热力图包括：

将所述危险源热力图中的所述第一辐射区的域像素值和所述设备热力图中的所述第二辐射区域的像素值累加，当累加像素值大于所述环境危险热力图的预设像素值阈值时，将所述累加像素值设置为所述像素值阈值，获得所述环境危险热力图。

进一步地，所述根据所述人员信息获得人员分布图包括：

将所述人员信息的所述目标中心点进行透视变换，获得修正人员坐标；识别所述第二辐射区域内的所述修正人员坐标对应人员的身份信息，获得非作业人员信息；根据所述非作业人员信息获得所述人员分布图。

本发明具有如下有益效果：

本发明实施例利用音频特征反应构建热力图，通过危险源热力图和特种设备热力图反应了外界因素和自身情况对特种设备的影响，全面分析了特种设备工作环境对特种设备的影响，得到符合实际情况的安全隐患等级。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于智能物联网的设备风险检测方法流程图；

图2为本发明一个实施例所提供的去噪自编码网络结构图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于智能物联网的设备风险检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于智能物联网的设备风险检测方法的具体方案。

本发明实施例的应用场景为：化工企业等生产企业在正常生产工作中，对单个目标特种设备的安全隐患的监测。

请参阅图1，其示出了本发明一个实施例提供的一种基于智能物联网的设备风险检测方法流程图，该方法包括：

步骤S1：获取环境图像；提取环境图像获得目标特种设备信息、危险源信息和人员信息；采集危险源音频和目标特种设备音频。

利用企业生产场地内部署的监控相机按照预设采样时间采集生产环境的俯视视角的环境图像。通过对环境图像中的目标识别，分割出当前工作环境的目标特种设备信息、危险源信息和人员信息。

在本发明实施例中监控相机的采样时间为10s采集一次图像。采用目标检测网络分割出环境图像中包含目标中心点坐标和目标包围框的的目标特种设备信息、危险源信息和人员信息。目标特种设备信息中还包括设备类别，危险源信息还包括危险程度。目标检测网络具体训练过程包括：

1)以根据生产场地获得的多张场景图像作为训练数据，分别在场景图像中对特种设备、危险源和人员打上不同标签，获得标签数据。需要说明的是，特种设备的标签信息包含特种设备的类别，危险源的标签信息包括危险程度。在本发明实施例总，危险程度设置为0到9。

2)在本发明实施例中使用常用的CenterNet结构作为目标检测网络的网络结构。输入为环境图像，输出为包含目标中心点坐标和目标包围框的目标特种设备信息、危险源信息和人员信息，其中备信息中还包括设备类别，危险源信息还包括危险程度。

3)采用梯度下降法基于CenterNet网络的损失函数进行参数更新。

在危险源和特种设备处部署音频采集装置，通过音频采集装置按照固定采样时间采集实时的危险源音频和目标特种设备音频。本发明实施例中，采集音频的采样时间与采集场景图像的采样时间相同。

步骤S2：根据危险源信息和危险源音频获得危险源热力图；根据目标特种设备信息和目标特种设备音频获得特种设备热力图。

根据危险源信息在环境图像中获得每个危险源的第一辐射区域。具体包括：

根据危险源信息获得危险程度，根据辐射区域半径公式获得第一辐射区域半径。以危险源信息的目标中心点为圆心，根据第一辐射区域半径做圆，获得第一辐射区域。辐射区域半径公式包括：

其中，R为第一辐射区域半径，α为修正系数，d为危险程度，(w,h)为危险源信息中目标包围框的宽和高。在本发明实施例中，α设置为1。

以危险源信息的目标中心点为圆心，根据第一辐射区域半径做圆，获得第一辐射区域。

需要说明的是，根据目标特种设备信息获得第二辐射区域与第一辐射区域获取方法相同。在获取第二辐射区域过程中，辐射区域半径公式中的d为目标特种设备的设备类别。

根据危险源音频与正常作业下的标准危险源音频的差异调整第一辐射区域的像素值，获得危险源热力图。具体包括：

根据危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数，根据像素值调整公式调整第一辐射区域；像素值调整公式包括：

其中，g(x,y)为第一辐射区域在(x,y)处的像素点调整后的像素值，(x′,y′)为危险源信息的目标中心点坐标，β为第一异常系数，d为危险程度，D为预设最大危险程度。

需要说明的是，调整第二幅射区域像素值获得设备热力图的方法与危险源热力图的获取方法一致。在像素值调整公式中，β为目标特种设备音频与正常作业下的标准目标特种设备音频的差异获得的第二异常系数，d为目标特种设备的设备类别，D设置为1。

经过像素值调整公式调整第一辐射区域和第二辐射区域内像素值后，越靠近危险源危险源或者特种设备的像素点像素值越大，像素值越大表示安全隐患度越高。

根据危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数包括：

根据危险源音频获得危险源去噪音频特征，根据标准危险源音频获得标准危险源音频特征，根据异常系数计算公式获得第一异常系数；异常系数计算公式包括：

其中，β为第一异常系数，Y为危险源去噪音频特征，Y₀为标准危险源音频特征。

需要说明的是，第二异常系数获取方法与第一异常系数获取方法一致。标准危险源音频特征和标准目标特种设备音频特征为已知数据。

在本发明实施例中，将危险源音频输入预先训练好的去噪编码网络中，输出危险源去噪音频特征。将目标特种设备音频输入预先训练好的去噪编码网络中，输出目标特种设备去噪音频特征和目标特种设备去噪音频。需要说明的是，为了保障后续音频特征的准确性，每个危险源和每个特种设备都对应一个专属的去噪自编码网络。

以一个特种设备的去噪自编码网络举例，去噪自编码网络的训练过程具体包括：

1)采集正常工作时特种设备的音频数据集合记为P。人为在集合P内的音频数据加入噪声数据，获得数据集合Q。需要说明的是，集合P和集合Q的元素一一对应。

2)请参阅图2，其示出了本发明一个实施例提供的去噪自编码网络结构图。去噪自编码网络结构为编码-解码结构。网络中存在两个编码器，第一去噪编码器101和第二去噪编码器102。将集合Q输入至第一去噪编码器101，输出第一音频特征向量。将集合P输入至第二去噪编码器102，输出第二音频特征向量。第一去噪编码器101和第二去噪编码器102之间权值共享。将第一音频特征向量和第二音频特征向量输入至去噪解码器103中得到去除噪声信息的去噪音频信息。需要说明的是，在实际采集到的目标特种设备音频包含噪声，因此将目标特种设备音频输入至第一去噪编码器101中，以输出的第一音频特征向量作为目标特种设备去噪音频特征。将目标特种设备去噪音频特征输入至去噪解码器103中，输出目标特种设备去噪音频。

3)去噪自编码网络采用如下损失函数进行训练：

其中，N为音频数据集合的数据数量，

为第i个第一音频特征向量，

为第i个第二音频特征向量，P_i为集合P中第i个音频数据，

为去噪解码器输出的第i个去噪音频信息。

步骤S3：将危险源热力图与所述设备热力图叠加，获得环境危险热力图；根据人员信息获得人员分布图。

危险源热力图与设备热力图叠加，获得环境危险热力图包括：

将危险源热力图中的第一辐射区域像素值和设备热力图中的第二辐射区域的像素值累加，当累加像素值大于环境危险热力图的预设像素值阈值时，将累加像素值设置为像素值阈值，获得环境危险热力图。在本发明实施例中，像素值阈值设置为225。

因为环境图像为俯视视角拍摄，人员在俯视图像中的定位存在误差，需要将人员信息中的目标中心点进行透视变换。

在本发明实施例中，因为人员包围框的长度信息远大于宽度信息，所以宽度方向的误差忽略不计，修正人员坐标为

其中，(x,y)为人信息的目标中心点坐标，h^*为人员的平均包围框高度，h为当前人员的目标包围框高度。通过修正，将人员坐标修正至人员信息目标包围框底部边缘中心点，获得真实的坐标信息。

识别所述第二辐射区域内的修正人员坐标对应人员的身份信息，获得非作业人员信息。根据非作业人员信息获得人员分布图。在本发明实施例中，人员分布图是以非作业人员信息对应的人员坐标处像素点的像素值置为1、其他位置像素值置为0构成的第二辐射区域所对应特种设备的非作业人员的分布图。

在本发明实施例中，对第二辐射区域内的人员的目标包围框进行裁剪，获得人员裁剪图。将人员裁剪图送入身份检测系统中，通过人脸识别得到人员的身份信息，通过身份信息对比，判断人员是否为非作业人员。非作业人员是指除了拥有该特种设备操作权限的作业人员之外的所有人员。在其他实施例中，身份检测系统还可以利用步态识别、射频识别等方法获得人员的身份信息。

步骤S4：将环境危险热力图和人员分布图送入预先训练好的安全隐患等级判别网络，输出安全隐患等级。

安全隐患等级判别网络训练过程具体包括：

1)以第二危险热力图和人员分布图作为一组训练数据组。安全隐患等级经过独热编码后作为标签数据。将训练数据集合和标签数据都经过归一化后送入安全隐患等级判别网络中进行训练。在本发明实施例中，安全隐患等级划分为5个等级。

2)安全隐患等级判别网络采用编码-全连接结构。通过安全隐患等级判别编码器提取输入数据的特征，全连接层根据提取的特征进行分类，输出安全隐患等级。

3)安全隐患等级判别网络采用的损失网络引入环境复杂度调整网络损失值。每组训练数据对应一个环境复杂度。利用环境复杂度为不同样本分配权重，调整网络损失，使得训练完毕的网络在复杂环境下依然可以保证准确率。安全隐患等级判别网络的损失函数包括：

其中，K为训练数据集合内训练数据组数量，f^u为第u组训练数据组对应的环境复杂度，y_uc为第u组训练数据组属于安全隐患等级c的真实概率，p_uc为第u组训练数据组属于安全隐患等级c的预测概率。

在本发明实施例中，安全隐患等级判别网络采用卷积神经网络。

环境复杂度包括音频复杂度和区域复杂度。音频复杂度通过目标特种设备音频和经去噪后的目标特种设备去噪音频的差异获得。区域复杂度通过第一辐射区域和第二辐射区域的交集信息获得。交集信息包括交集面积和交集次数。交集次数为以第二辐射区域为基础，构成交集的第一辐射区域的数量。音频复杂度获取的具体方法包括：

通过音频复杂度公式获得所述音频复杂度；音频复杂度包括：

其中，f₁为音频复杂度，P为第二音频信息，P^*为第二去噪音频信息。

环境复杂度获取的具体方法包括：

通过区域复杂度公式获得区域复杂度；区域复杂度公式包括：

其中，f₂为复杂度公式，c_k为第k个交集的交集次数，s_k为第k个交集的交集面积，K为交集的数量，S为第二辐射区域面积。

在本发明实施例中，以音频复杂度和区域复杂度的均值作为环境复杂度。

特种设备作业场景的复杂程度直接影响安全隐患等级判断的准确性，本发明对特种设备的环境复杂程度和噪声复杂度进行量化，在训练过程中使网络更加关注复杂度较高的样本数据，提高安全隐患判断的准确性。

相关工作人员可根据网络输出的安全隐患等级对设备进行维护和检修或者对当前工作环境进行调整，保证特种设备工作时的安全。

综上所述，本发明实施例获获取环境图像，提取环境图像获得目标特种设备信息、危险源信息和人员信息，采集危险源音频和目标特种设备音频。根据危险源信息和危险源音频获得险源热力图，根据目标特种设备信息和目标特种设备音频获得特种设备热力图。将危险源热力图与所述设备热力图叠加，获得环境危险热力图，根据人员信息获得人员分布图。将环境危险热力图和人员分布图送入预先训练好的安全隐患等级判别网络，输出安全隐患等级。通过自身情况和外界影响分析了特种设备的安全隐患。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于智能物联网的设备风险检测方法，其特征在于，所述方法包括：

获取环境图像；分割所述环境图像获得目标特种设备信息、危险源信息和人员信息；采集危险源音频和目标特种设备音频；

根据所述危险源信息获得第一辐射区域；根据所述危险源音频与正常作业下的标准危险源音频的差异调整所述第一辐射区域的像素值，获得危险源热力图；根据所述目标特种设备信息获得第二辐射区域；根据所述目标特种设备音频与正常作业下的标准目标特种设备音频的差异调整所述第二辐射区域的像素值，获得特种设备热力图；

将所述危险源热力图与所述设备热力图叠加，获得环境危险热力图；根据所述人员信息获得人员分布图；

将所述环境危险热力图和所述人员分布图送入预先训练好的安全隐患等级判别网络，输出安全隐患等级。

2.根据权利要求1所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述安全隐患等级判别网络包括：

所述安全隐患等级判别网络的损失函数中通过环境复杂度调整网络损失值；所述环境复杂度包括音频复杂度和区域复杂度；所述音频复杂度通过所述目标特种设备音频和经去噪后的目标特种设备去噪音频的差异获得；所述区域复杂度通过所述第一辐射区域和所述第二辐射区域的交集信息获得；所述交集信息包括交集面积和交集次数；所述交集次数为以所述第二辐射区域为基础，构成交集的所述第一辐射区域的数量。

3.根据权利要求2所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述音频复杂度通过所述第二音频信息和所述第二去噪音频信息的差异获得包括：

通过音频复杂度公式获得所述音频复杂度；所述音频复杂度包括：

其中，f₁为所述音频复杂度，P为所述第二音频信息，P^*为所述第二去噪音频信息。

4.根据权利要求2所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述区域复杂度通过所述交集面积、所述交集次数和所述第二辐射区域面积获得包括：

通过区域复杂度公式获得所述区域复杂度；所述区域复杂度公式包括：

其中，f₂为所述复杂度公式，c_k为第k个交集的所述交集次数，s_k为第k个交集的所述交集面积，K为交集的数量，S为所述第二辐射区域面积。

5.根据权利要求1所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述根据所述危险源信息获得第一辐射区域包括：

根据所述危险源信息获得危险程度，根据辐射区域半径公式获得第一辐射区域半径；以所述危险源信息的所述目标中心点为圆心，根据所述第一辐射区域半径做圆，获得所述第一辐射区域；所述辐射区域半径公式包括：

其中，R为所述第一辐射区域半径，α为修正系数，d为所述危险程度，(w,h)为所述危险源信息中目标包围框的宽和高。

6.根据权利要求1所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述根据所述危险源音频与正常作业下的标准危险源音频的差异调整所述第一辐射区域的像素值包括：

根据所述危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数，根据像素值调整公式调整所述第一辐射区域；所述像素值调整公式包括：

其中，g(x,y)为所述第一辐射区域在(x,y)处的像素点调整后的像素值，(x′,y′)为所述危险源信息的目标中心点坐标，β为所述第一异常系数，d为所述危险程度，D为预设最大危险程度。

7.根据权利要求6所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述根据所述危险源音频与正常作业下的标准危险源音频的差异获得第一异常系数包括：

根据所述危险源音频获得危险源去噪音频特征，根据所述标准危险源音频获得标准危险源音频特征，根据异常系数计算公式获得所述第一异常系数；所述异常系数计算公式包括：

其中，β为所述第一异常系数，Y为所述危险源去噪音频特征，Y₀为标准危险源音频特征。

8.根据权利要求1所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述将所述危险源热力图与所述设备热力图叠加，获得环境危险热力图包括：

将所述危险源热力图中的所述第一辐射区的域像素值和所述设备热力图中的所述第二辐射区域的像素值累加，当累加像素值大于所述环境危险热力图的预设像素值阈值时，将所述累加像素值设置为所述像素值阈值，获得所述环境危险热力图。

9.根据权利要求1所述的一种基于智能物联网的设备风险检测方法，其特征在于，所述根据所述人员信息获得人员分布图包括：

将所述人员信息的所述目标中心点进行透视变换，获得修正人员坐标；识别所述第二辐射区域内的所述修正人员坐标对应人员的身份信息，获得非作业人员信息；根据所述非作业人员信息获得所述人员分布图。

Images