CN107992836A - 一种矿工不安全行为的识别方法及系统 - Google Patents

Abstract

本发明公开了一种矿工不安全行为的识别方法及系统。该方法包括：获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像；根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备；获取所述设备的音频信号；根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态；根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。采用本发明所提供的识别方法及系统，能够识别出矿工的不安全行为。

Description

一种矿工不安全行为的识别方法及系统

技术领域

本发明涉及行为安全和人工智能领域，特别是涉及一种矿工不安全行为的识别方法及系统。

背景技术

近年来我国煤矿安全生产状况明显改善，事故死亡人数也呈下降趋势，但与发达国家相比仍有较大差距；国内外煤矿历史事故案例统计分析表明：绝大多数事故发生的直接原因是矿工的不安全行为。经分析，矿工不安全行为的影响因素主要包括4个方面：①矿工作为煤矿生产活动的主体，其生理和心理等特征因素引起的动作是不安全行为发生的内因；②采煤机、掘进机等作为生产活动的工具，其本质安全化水平和运行状态将会决定矿工的动作是否直接转化为事故；③“场论”和“破窗理论”都表明，煤矿复杂的生产环境会影响矿工的行为选择，且会对设备的工作状态产生很大的影响；④煤矿组织管理活动既可直接影响矿工的行为，也会通过生产设备和作业环境间接影响矿工的行为；以上四种因素对矿工的不安全行为产生的影响过程和机理也是极其复杂的。目前，国内外在不安全行为具体管理方法和措施上有所缺陷，大多也只是停留在口号上，并且对于事故的发生也只是在事后寻找原因，构建的事故模型和提出的分析方法也大都如此，缺乏对不安全行为实时、准确、及时的识别和分类。

发明内容

本发明的目的是提供一种矿工不安全行为的识别方法及系统，以解决现有技术事故发生前缺乏对不安全行为实时、准确识别的问题。

为实现上述目的，本发明提供了如下方案：

一种矿工不安全行为的识别方法，包括：

获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像；

根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；

根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备；

获取所述设备的音频信号；

根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态；

根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。

可选的，所述根据所述矿工视频图像识别矿工的矿工行为属性，具体包括：

在所述矿工视频图像中随机截取不同的图像片段；

对所述图像片段灰度处理，得到灰度图像片段；

对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；

根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

可选的，所述根据所述环境视频图像识别当前环境，具体包括：

对所述环境视频图像归一化处理，获取归一化视频图像；

采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像；

整合所述白化后的视频图像，得到整合的视频图像；

根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

可选的，所述根据所述音频信号识别所述设备的工作状态，具体包括：

采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；

根据所述分解后的音频信号提取带有能量特征的音频频段；

根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

可选的，所述根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为，具体包括：

根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。

一种矿工不安全行为的识别系统，包括：

煤矿视频图像获取模块，用于获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像；

矿工行为属性识别模块，用于根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；

当前环境识别模块，用于根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备；

音频信号获取模块，用于获取所述设备的音频信号；

工作状态识别模块，用于根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态；

矿工不安全行为确定模块，用于根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。

可选的，所述矿工行为属性识别模块具体包括：

图像片段截取单元，用于在所述矿工视频图像中随机截取不同的图像片段；

灰度处理单元，对所述图像片段灰度处理，得到灰度图像片段；

高斯滤波单元，用于对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；

矿工行为属性识别单元，用于根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

可选的，所述当前环境识别模块具体包括：

归一化处理单元，用于对所述环境视频图像归一化处理，获取归一化视频图像；

白化单元，用于采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像；

整合单元，用于整合所述白化后的视频图像，得到整合的视频图像；

当前环境识别单元，用于根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

可选的，所述音频信号获取模块具体包括：

分解单元，用于采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；

音频频段提取单元，用于根据所述分解后的音频信号提取带有能量特征的音频频段；

工作状态识别单元，用于根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

可选的，所述矿工不安全行为确定模块具体包括：

矿工不安全行为确定单元，用于根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。

根据本发明提供的具体实施例，本发明公开了以下技术效果：采用本发明所提供的矿工不安全行为的识别方法及方法，根据煤矿视频图像能够识别出矿工当前所操作的不安全行为，从而能够在事故发生前实时、准确识别矿工不安全行为，进而能够提前预警或及时作出正确的救援措施等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的矿工不安全行为的识别方法框图；

图2为本发明所提供的矿工不安全行为的识别方法流程图；

图3为本发明所提供的矿工不安全行为的识别系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种矿工不安全行为的识别方法及系统，能够在事故发生前，实时、准确识别不安全行为以降低伤亡人数或财产损失，当事故发生后，还能根据所识别出的不安全行为快速准确的做出应对手段。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的矿工不安全行为的识别方法框图，如图1所示，本发明包括三个层面：不安全因素识别层101、因素分析交互层102、输出显示层103。

其中：(1)所述不安全因素识别层101又包括三部分：基于卷积神经网络(Convolutional Neural Network，CNN)的作业人员行为属性识别、基于卷积神经网络的工作环境场景识别以及基于受限波尔兹曼机(Restricted Boltzmann Machine，RBM)的操作设备工作状态识别。

(2)所述因素分析交互层102主要包括“人-机-环”三大因素，其中首先提取多个煤矿员工不安全行为管理手册中的不安全行为及其分类的结果构建样本库{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，其中x⁽ⁱ⁾∈Rⁿ,y⁽ⁱ⁾∈{1,2,…,k}，x为已知不安全因素属性特征，并且也已经经过标准化处理，以变量的形式储存在数据库中。给定不安全因素识别层101所识别的各不安全因素属性特征x，用假设函数针对每一个不安全行为类别j估算出概率值P(y＝j/x)，估计x的分类结果出现的概率，其中出现概率最大的类别Pi即为输出值。计算出不安全因素属性特征x属于所有不安全行为类别的概率，取最大概率Pi所对应的类别即为x的分类类别。

(3)所述输出显示层103主要包括四部分：1)行为属性显示部分：包括工种、工龄、姿态、行为等信息；2)工作环境显示部分：包括场景及场景语义等信息；3)操作设备显示部分：包括主要设备工作状态及安全状态等信息；4)因素交互显示部分：包括不安全行为描述，最大概率Pi，行为痕迹，行为性质，风险等级。其中表现形式为风险热图、玫瑰图等图表。

图2为本发明所提供的矿工不安全行为的识别方法流程图，如图2所示，一种矿工不安全行为的识别方法，包括：

步骤201：获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像。

步骤202：根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；所述步骤202包括：在所述矿工视频图像中随机截取不同的图像片段；对所述图像片段灰度处理，得到灰度图像片段；对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

解码上述的矿工视频图像，并进行视频帧的提取、前景提取以及数据的传递。

视频帧的提取：依次采用随机采样、灰度图像处理、高斯滤波，完成视频帧的提取。

其中，随机采样：所谓随机采样就是在每秒的25帧中随机选取2帧作为截取图片，为避免相邻图片帧的重复截取，造成数据冗余，在前12帧中选取第一帧，在后13帧中选区第二帧，时长1小时的视频，会产生7200张图片，将这些图片按视频文件对应的文件树规则存放在图片文件夹中。

灰度图像处理：由于黑白图像所含的信息量较小，比彩色图像更易分辨，采用灰度图像处理，将原有彩色图像处理成黑白图像，大大减少处理过程中所需要的空间和要处理的数据，本专利通过加权平均的方法进行图像灰度化，具体公式为Gray＝0.11B+0.59G+0.3R，RGB分别对应图像中的红绿蓝。

高斯滤波：由于拍摄装置和数据传输通道的局限性，获取的视频图像序列会加入大量的噪声，造成图像退化从而影响图像质量和视觉效果，故采用高斯滤波器对图像进行处理，改善图片质量。

前景提取：采用结合混合高斯背景模型来完成前景提取。主要分为两个阶段：在进行运动检测之前，首先对背景进行训练，对图像中的每一个背景采用一个混合高斯模型进行模拟，每个背景的混合高斯的个数可以自适应调整。在测试阶段，对新来的像素进行高斯混合模型(Gaussian Mixture Model，GMM)匹配，若该像素值能够匹配其中一个高斯则认为是背景，否则认为是前景，进行前景分离得到二值图片。

从redis中读取信息，依次读取视频图像信息保存下来的行为路径，并将其送入到已训练好的卷积神经网络深度学习模型中，完成图像的分类，进而完成行为的识别。

数据传递：采用Redis来实现将视频处理器与卷积神经网络模型之间的数据传递。首先我们建立一个redis消息队列，当图片被处理产生新的数据时，视频处理器作为发送方向redis消息队列中推送一条字符串数据，CNN模型作为接收方，会一直读取redis消息队列里的内容，当存在新的数据被推送时，将其从队列中取出，若redis中没有数据时读出来为空。

针对步骤202中所采用的卷积神经网络模型，前期采用上述的视频图像信息训练CNN深度学习模型，后期实时的对所采集的视频图像信息进行行为识别。

CNN深度学习模型和行为识别的步骤包括：训练CNN深度学习模型：构建CNN网络，所采集视频图像信息经过处理后，进入到卷积神经网络的第一个卷积层，进行局部卷机窗口的卷积过程和sigmoid函数的处理过程；经过卷积神经网络的第一层后进入池化层，采用平均值的方式进行池化层的采样过程；经过第二层的池化层后进入第三层的卷积过程，具体的卷积过程同第一层的卷积过程一样；第四层的池化过程与第二层的池化是一样的；经过卷积神经网络的数据处理过程后，数据被处理为一个矩阵，输入到支持向量机(SupportVector Machine，SVM)分类器进行分离。训练时，信号经过卷积神经网络的数据处理过程得到一个分类结果，将其与相应的标签数据进行比较算出相应的相对误差，通过训练一定的次数不断修正卷积神经网络中的卷机窗口上的权值使得相对误差不断减小，最后趋于收敛。

基于卷积神经网络的矿工行为属性识别，其中，卷积神经网络是人工神经网络的一种，源于对生物视觉神经网络的理解，作为监督学习框架下的深度模型，卷积神经网络具有权值共享网络，网络中的每层都是由多个二维平面组成，每个平面由多个神经元构成，同层神经元之间无连接，相邻两层神经元之间相互连接。这避免了显示特征提取，减少了普通神经网络中参数膨胀问题从而降低网络模型的复杂度，而绝大多数研究的结论都支持“矿工的不安全行为是造成事故更重要的原因”。

从认知心理学的角度分析人的行为选择可分为有意向行为和非意向行为。无论是无意向还是有意向的行为，如果能够在充分认识矿工行为属性的基础上将行为在发生的初始阶段即矿工刚刚完成一个动作之后就将其识别和分类，将为预防事故的发生和采取必要的防备措施提供充足和宝贵的时间，卷积神经网络在图像识别上很好的克服了矿工行为的复杂性和难预测性。

故通过卷积神经网络、行为数据库、煤矿内部信息库、三者相联系，将采集过来的矿工作业视频识别为工种、年龄、姿态和行为等多种属性，为安全管理人员提供可靠的信息，预防引起不安全行为，进而防止事故发生，而这多种属性将以一种变量的形式保存，为下一步的关联分析和多值回归分类做准备。

步骤203：根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备。

所述步骤203具体包括：对所述环境视频图像归一化处理，获取归一化视频图像，图片的归一化有以下三种方法，分别是简单缩放，逐样本均值消减，特征标准化，而这三种方法的目的都是为了方便数据处理，是数据都能够落在[0,1]的区间之内；采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像，采用主成分分析(Principal Component Analysis，PCA)白化方法，数据经过PCA后，将每一维都除以标准差使每一维的方差均为1，使得方差相等；由于训练数据是图像，相邻的像素之间具有较强的相关性，所以训练时的输入数据是有冗余的，白化的目的就是通过一定的变换降低输入的冗余性，使得输入数据之间具有较低的相关性，所有的特征具有相同的方差。采用主成分分析就是将输入的向量转换成一个维数相对低的近似向量；整合所述白化后的视频图像，得到整合的视频图像，将图片按批处理，整合成数据块，提高收敛速度，所谓的数据模块化，就是将整个数据集按批处理，整合成数据块，假如有5000个样本，每个样本为200维，可以将100个样本整合成一个数据块，每个数据块的大小为100*200，有50个这样的数据块，则构成三维数组，数组的大小为100*200*50；根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

采用Redis来实现将图片处理器与CNN模型之间的数据传递，具体步骤与步骤102中的数据传递步骤大致相同。

与行为识别模块CNN模型不同，要用场景图片信息训练所构建CNN深度学习模型，然后后期实时的对所采集的场景图片信息进行场景和场景语义的识别；所述训练CNN深度学习模型、场景和场景语义识别的步骤包括：训练CNN深度学习模型：构建CNN网络，所采集图片信息经过处理后，从中选取足够多的样本作为训练集(X，Y)，X为图像数据，Y是对应的场景和场景语义。将X送入到卷积神经网络中，计算得到相应的输出O，通过前向传播获得的结果O与标签Y相比较，获得实际结果与理想结果的差，然后按极小化误差的方法反向传播，调整各层的权值矩阵，使得相对误差减小，最后趋于收敛。

从redis中读取信息，依次读取图片信息保存下来的行为路径，并将其送入到已训练好的卷积神经网络深度学习模型中，完成场景和场景语义的识别；基于卷积神经网络的工作环境场景识别，其中工作环境场景是一种图像场景，图像场景是指图像内容展现的现实环境，场景识别就是通过计算机等设备对图像场景做出可靠的认知，这种认知不仅包括对图像环境的总体认知，更包括对图像中对象的出现情况和对象行为的认知；场景数据特征提取和选择是场景识别的关键部分，一般可分为三个层次：①底层的特征提取，是图像分析的基础，常用的有纹理、形状、颜色等视觉特征，比如煤矿井下煤层和岩层的区分就可以靠底层特征识别。②中层的特征提取，可以理解为由低层视觉特征推到演变得到的中层语义特征，常用的有语义主题、视觉词包等视觉特征，比如煤矿巷道由颜色和形状的底层语义推演得到。③高层次的特征提取，是对图像进行高级的抽象认知得到的语义信息，常用的有情感语义、行为语义和场景语义等，其中场景语义可以用来实现基于内容的图像表示，应用于场景分类和识别。

通过大量采集煤矿井下各个危险程度高的重要区域、机械设备、辅助设备等信息构成数据库，然后通过卷积神经网络，对于采集到的工作环境图片既可以识别场景中如背景、设备、位置等具体场景语义，也可以基于具体场景语义达到对场景识别的目的。而这些语义也将会以变量的形式保存，为关联分析和多值回归分类奠定基础。

步骤204：获取所述设备的音频信号。

步骤205：根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态。

所述步骤205具体包括：采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；根据所述分解后的音频信号提取带有能量特征的音频频段；根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

受限波尔兹曼机是一种无监督的机器学习模型，是对波尔兹曼机的一种改进，其子模块有两层，第一层为可视层(visualizable layer)，表示观测数据；第二层为隐藏层(hidden layer)，可视为一种特征提取器(feature detectors)；两层之间权重连接由权重(weights)表示。其中可视层与隐藏层之间全连接，而各层内各节点是相互独立无连接；工业生产是一套“人-机-环”系统，操作设备是该系统生产过程中主要生产要素，其能量的意外释放将有可能导致事故的发生。若能够及时的发现作业人员所操作设备的工作状态，将“机”这个因素控制在相对安全的范围之内，则会提高整个系统的安全性，操作设备的工作状态反映在方方面面，声音作为操作设备运行时发出的一种固有信号必然蕴含着设备本身丰富的结构信息和运行的状态信息，完全可以利用声信号对设备的运行状态和故障进行在线的监测和识别；通过采集煤矿井下矿工所操作设备以及工作场所附近生产设备的音频信号，借助受限波尔兹曼机算法的优势，矿工所操作设备的工作状态被有效地识别，矿工以及管理人员则可据此提早的采取可靠的预防措施，防止不安全行为和事故的发生。工作状态参数的识别也为下一步“人-机-环”三大因素交叉分析提供可靠的数据保证；受限玻尔茨曼模型：前期采用上述的操作设备音频信号训练RBM深度学习模型，后期实时的对所采集的操作设备音频信息进行工作状态识别。

训练RBM深度学习模型、操作设备工作状态识别的步骤包括：

训练RBM深度学习模型：构建受限玻尔茨曼RBM深度学习模型，进行预训练和微调。在预训练阶段，下一层与上一层构成一个典型的RBM，使用无监督的学习调节网络的参数，使用RBM的输出能够准确或近似描述输入，使之达到平衡状态。然后下一层的输出作为上一层的输入，与更上层构成新的RBM，调节参数，使新的RBM达到平衡，如此反复，直到最后一层，再通过原始输入和最终的输出有监督的学习整个网络，调节每层的权重，进行微调。

输入实时音频信号，经过已训练的RBM深度学习模型，完成操作设备工作状态的识别。

步骤206：根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。

正如步骤205中所提到的“人-机-环”三者之间关系交互复杂，若直接分析显得尤为困难，轨迹交叉理论提出，人的因素运动轨迹和物的因素运动轨迹(包括工作环境)相交引起不安全行为，进而导致事故发生。识别出3部分的不安全因素后，人的因素、物的因素(包括操作设备和工作环境)所包含的不同属性作为多个变量被提取出来。然后通过关联分析和回归多值算法并结合轨迹交叉理论，对“人-机-环”进行交互分析。其中包括一种“人-机-环”3大因素交互分析的方法，该方法包括：(1)收集并提取煤矿员工不安全行为管理手册中不安全行为及其分类结果作为样本集；(2)给定上述三种方法中所识别的不安全因素属性特征，实时识别矿工不安全行为及所属类别。

采用本发明所提供的矿工不安全行为的识别方法，在事故发生前实时、准确识别矿工不安全行为，进而能够提前预警，还能够直接将不安全行为显示出来，事故发生后能够及时作出正确的救援措施。

图3为本发明所提供的矿工不安全行为的识别系统结构图，如图3所示，一种矿工不安全行为的识别系统，包括：

煤矿视频图像获取模块301，用于获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像。

矿工行为属性识别模块302，用于根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作。

所述矿工行为属性识别模块302具体包括：图像片段截取单元，用于在所述矿工视频图像中随机截取不同的图像片段；灰度处理单元，对所述图像片段灰度处理，得到灰度图像片段；高斯滤波单元，用于对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；矿工行为属性识别单元，用于根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

当前环境识别模块303，用于根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备。

所述当前环境识别模块303具体包括：归一化处理单元，用于对所述环境视频图像归一化处理，获取归一化视频图像；白化单元，用于采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像；整合单元，用于整合所述白化后的视频图像，得到整合的视频图像；当前环境识别单元，用于根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

音频信号获取模块304，用于获取所述设备的音频信号。

所述音频信号获取模块304具体包括：分解单元，用于采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；音频频段提取单元，用于根据所述分解后的音频信号提取带有能量特征的音频频段；工作状态识别单元，用于根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

工作状态识别模块305，用于根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态。

矿工不安全行为确定模块306，用于根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。

所述矿工不安全行为确定模块306具体包括：矿工不安全行为确定单元，用于根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。

采用本发明所提供的矿工不安全行为的识别系统，能够快速识别出矿工的不安全行为，通过运用人工智能和机器学习的技术，汇集采矿、行为安全、计算机科学等信息技术手段，在识别矿工行为属性的基础上，通过与生产设备的工作状态以及井下复杂工作环境场景的不安全因素相交互，从而实时的识别矿工的不安全行为，提高企业的安全管理水平，减少事故的发生。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种矿工不安全行为的识别方法，其特征在于，包括：

获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像；

根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；

根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备；

获取所述设备的音频信号；

根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态；

根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。

2.根据权利要求1所述的识别方法，其特征在于，所述根据所述矿工视频图像识别矿工的矿工行为属性，具体包括：

在所述矿工视频图像中随机截取不同的图像片段；

对所述图像片段灰度处理，得到灰度图像片段；

对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；

根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

3.根据权利要求1所述的识别方法，其特征在于，所述根据所述环境视频图像识别当前环境，具体包括：

对所述环境视频图像归一化处理，获取归一化视频图像；

采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像；

整合所述白化后的视频图像，得到整合的视频图像；

根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

4.根据权利要求1所述识别方法，其特征在于，所述根据所述音频信号识别所述设备的工作状态，具体包括：

采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；

根据所述分解后的音频信号提取带有能量特征的音频频段；

根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

5.根据权利要求1所述的识别方法，其特征在于，所述根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为，具体包括：

根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。

6.一种矿工不安全行为的识别系统，其特征在于，包括：

煤矿视频图像获取模块，用于获取煤矿视频图像；所述煤矿视频图像包括矿工各工作地点的矿工视频图像、矿工当前工作场所的环境视频图像；

矿工行为属性识别模块，用于根据所述矿工视频图像识别矿工的矿工行为属性；所述矿工行为属性包括工种、工龄、姿态以及当前动作；

当前环境识别模块，用于根据所述环境视频图像识别当前环境；所述当前环境包括煤矿井下的工作背景、地理位置、矿工所操作的设备；

音频信号获取模块，用于获取所述设备的音频信号；

工作状态识别模块，用于根据所述音频信号识别所述设备的工作状态；所述工作状态包括正常状态、过劳状态、故障状态；

矿工不安全行为确定模块，用于根据所述矿工行为属性、所述当前环境以及所述工作状态确定矿工不安全行为。

7.根据权利要求6所述的识别系统，其特征在于，所述矿工行为属性识别模块具体包括：

图像片段截取单元，用于在所述矿工视频图像中随机截取不同的图像片段；

灰度处理单元，对所述图像片段灰度处理，得到灰度图像片段；

高斯滤波单元，用于对所述灰度图像片段高斯滤波处理，得到滤波后的图像片段；

矿工行为属性识别单元，用于根据所述滤波后的图像片段采用卷积神经网络模型识别矿工的矿工行为属性。

8.根据权利要求6所述的识别系统，其特征在于，所述当前环境识别模块具体包括：

归一化处理单元，用于对所述环境视频图像归一化处理，获取归一化视频图像；

白化单元，用于采用主成分分析白化方法对所述归一化视频图像白化处理，得到白化后的视频图像；

整合单元，用于整合所述白化后的视频图像，得到整合的视频图像；

当前环境识别单元，用于根据所述整合的视频图像采用深度卷积神经网络AlexNet模型，识别当前环境。

9.根据权利要求6所述识别系统，其特征在于，所述音频信号获取模块具体包括：

分解单元，用于采用哈尔小波对所述音频信号进行小波包分解，得到分解后的音频信号；

音频频段提取单元，用于根据所述分解后的音频信号提取带有能量特征的音频频段；

工作状态识别单元，用于根据所述带有能量特征的音频频段利用受限玻尔茨曼机识别所述设备的工作状态。

10.根据权利要求6所述的识别系统，其特征在于，所述矿工不安全行为确定模块具体包括：

矿工不安全行为确定单元，用于根据所述矿工行为属性、所述当前环境以及所述工作状态，采用关联分析和Softmax回归多值算法结合轨迹交叉理论，确定矿工不安全行为。