CN113158752A - 一种电力员工进场作业智能安全管控系统 - Google Patents

Abstract

本发明涉及一种电力员工进场作业智能安全管控系统，它包括布控球、人脸信息采集模块、人脸信息识别模块、违章行为采集模块、人脸图像库、智能识别分析模块、违章行为库、工作票智能识别模型库、告警模块、高清视频传输模块、智能化图像识别模块、图像存储模块、图像抓取模块、网络传输模块、安全管控中心和移动智能终端，智能识别分析模块包括人脸识别比对模块、违章识别比对模块和工作票识别比对模块，告警模块包括弹窗告警模块和文字告警模块；本发明具有实时监测、智能识别分析违章行为、提高管理效率的优点。

Description

一种电力员工进场作业智能安全管控系统

技术领域

本发明属于施工现场安全管理技术领域，具体涉及一种电力员工进场作业智能安全管控系统。

背景技术

我国正处于经济和社会快速发展的时期，工程建设作为国家基本建设的重要部分正在蓬勃发展，纵观整个市场经济现状，建筑业在我国国民经济中占有举足轻重的地位，而建筑施工是整个建设环节中尤为重要的一环，随着建设工程规模不断扩大、进度不断加快，在工程施工过程中体现出来的安全问题也尤为明显，为了保证工程施工质量，确保施工人员安全，提高工程建设效率，降低工程建设成本，提高工程建设队伍自身的业务水平和专业素质；因此，提供一种实时监测、智能识别分析违章行为、提高管理效率的一种电力员工进场作业智能安全管控系统是非常有必要的。

发明内容

本发明的目的是为了克服现有技术的不足，而提供一种实时监测、智能识别分析违章行为、提高管理效率的一种电力员工进场作业智能安全管控系统。

本发明的目的是这样实现的：一种电力员工进场作业智能安全管控系统，它包括布控球、人脸信息采集模块、人脸信息识别模块、违章行为采集模块、人脸图像库、智能识别分析模块、违章行为库、工作票智能识别模型库、告警模块、高清视频传输模块、智能化图像识别模块、图像存储模块、图像抓取模块、网络传输模块、安全管控中心和移动智能终端，所述的智能识别分析模块包括人脸识别比对模块、违章识别比对模块和工作票识别比对模块，所述的告警模块包括弹窗告警模块和文字告警模块。

一种电力员工进场作业智能安全管控系统的使用方法，其特征在于：它包括以下步骤：

步骤1)：建立人脸图像库、建立违章行为库、建立工作票智能识别模型库；

步骤2)：设防布控：将多个布控球安装在防控区域内，实现多方位、无死角的防控区域；

步骤3)：采集目标信息，具体包括以下步骤：

3-1：采集目标人脸特征信息；

3-2：采集目标违章行为信息；

步骤4)：智能分析识别并进行相关信息的比对，具体包括以下步骤：

4-1：智能识别现场作业人员是否达到安全准入许可条件并与人脸图像库进行比对；

4-2：智能识别现场作业人员是否与工作票智能识别模型库所列名单一致；

4-3：智能识别现场作业人员是否存在变更；

4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对；

步骤5)：判断是否存在安全隐患行为，若判断结果为否，则智能识别图像并进行存储；若判断结构为是，则启动告警模块，并通过图像抓取模块抓取安全隐患行为证据图像；

步骤6)：步骤5)抓取的安全隐患行为证据图像通过网络传输模块向安全管控中心和移动智能终端发出弹窗和文字告警，安全管控中心对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端到达施工现场对安全隐患行为及时纠正和指导。

所述的工作票智能识别模型库包括工作负责人信息识别模型、工作班成员识别模型、工作任务识别模型、工作负责人及工作班成员变更识别模型、安全措施识别模型。

所述的步骤4)中的4-1与人脸图像库进行比对采用基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法、隐马尔可夫模型方法、Gabor小波变换和图形匹配方法、人脸等密度线分析匹配方法、特定人脸子空间(FSS)算法以及奇异值分解(SVD)方法中的一种或多种，其中特征脸方法包括以下步骤：

步骤一：获得包含M张人脸图像的集合S，每张图片转换成一个N维的向量，然后把M个向量放到集合S中，如下式所示：S＝{Γ₁,Γ₂,Γ₃,......，Γ_M}；

步骤二：在获取到的人脸向量集合S后，计算得到平均图像Ψ，计算公式为：

步骤三：计算每张图片和平均图像的差值Φ，即是用S集合中的每个元素减去步骤二中的平均值，计算公式为：Φ_i＝Γ_i-Ψ；

步骤四：找到M个正交的单位向量u_n，这些单位向量是用来描述Φ分布的， u_n中的第k(k＝1，2，3......M)个向量u_k的计算公式为：

当这个λ_k取最小值时，u_k即确定，但是u_k还要满足下列公式使之为单位正交向量，计算公式为：

计算u_k其实就是计算协方差矩阵的特征向量，计算公式为：

其中，A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}，对于一个N×N维的图像来说，直接计算其特征向量计算量太大，因此采用协方差矩阵较简单，如果图像的数量小于图像的维数，那么起作用的特征向量只有M-1个而不是N^2个(因为其他的特征向量对应的特征值为0)，所以只需求解一个N×N的矩阵即可，这个矩阵即是AA^T,设此矩阵为L，那么L的第m行n列的元素可以表示为：

一旦找到L 矩阵的M个特征向量v_l，那么协方差矩阵的特征向量u_l即可表示为：

其中l＝1,......,M；

步骤五：对于一张新的人脸，可以用特征脸对其进行表示：

其中k＝1，2......，M，对于第k个特征脸u_k，计算其对应的权重，M个权重可以构成一个向量，计算公式为：Ω^T＝[ω₁,ω₂,......,ω_k]，即求得特征脸对人脸的表示，然后进行人脸识别，计算公式为：ε_k＝||Ω-Ω_k||²，其中Ω为需要判别的人脸，Ω_k为人脸图像库中的某个人脸，两者都是通过特征脸的权重来表示的，对两者求欧式距离，当距离小于阈值时说明要判别的脸和人脸图像库的第k个脸是同一个人的，当遍历所有人脸图像库都大于阈值时，根据距离值的大小又可分为是新的人脸或者不是人脸两种情况。

所述的步骤4)中的4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对采用安全帽识别算法，包括以下步骤：

S1：前端通过布控球录制现场视频并上传至管理系统服务器；

S2：服务器实时分析视频流，通过深度学习算法准确判定是否有安全隐患行为；

S3：存储安全隐患行为发生的时间，地点和现场图片并发出警报；

S4：安全管控中心能够对作业现场进行安全隐患行为制止和纠正。

其中S2中的深度学习算法采用SSD算法，主要思路就是均匀地在图片上不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比的先验框，然后利用 CNN网络提取特征后直接进行分类和回归，SSD算法提取了不同尺度的特征图来做检测，大尺度特征图可以用来检测小物体，而小特征图用来检测大物体，SSD 算法的具体步骤为：

A1：采用多尺度特征图用于检测，比较大的特征图用来检测相对比较小的的目标，而小的特征图负责用来检测大的物体；

A2：采用卷积做检测，SSD直接采用卷积对不同的特征图进行提取检测结果，对于形状为mxnxp的特征图，只需要采用3x3xp这样小的卷积核得到检测值；

A3：设置先验框，SSD借鉴了Faster R-CNN中anchors box的原理，每个单元设置尺度或者长宽比不同的先验框，预测的边界框都是以先验框为基准，一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，每个单元使用了4个不同的先验框，对于每个单元的每个先验框，其都输出一套独立的检测值，对应一个边界框，主要分为两个部分：第一部分是各个类别的置信度或者评分，值得注意的是SSD将背景也当做了一个特殊的类别，如果检测目标共有c个类别，SSD需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分,即真实的检测类别只有c-1个,在预测过程中，置信度最高的那个类别就是边界框所属的类别，特别地，当第一个置信度值最高时，表示边界框中并不包含目标,第二部分就是边界框的location，包含4个值 (cx,cy,w,h)，分别表示边界框的中心坐标以及宽高,但是真实预测值其实只是边界框相对于先验框的转换值,先验框位置用d＝(d^cx,d^cy,d^w,d^h)表示，其对应边界框用b＝(b^cx,b^cy,b^w,b^h)表示，那么边界框的预测值l其实是b相对于d 的转换值：

习惯上，我们称上面这个过程为边界框的编码，预测时，你需要反向这个过程，即进行解码，从预测值l中得到边界框的真实位置b： b^cx＝d^wl^cx+d^cx,b^cy＝d^yl^cy+d^cy,b^w＝d^wexp(l^w),b^h＝d^hexp(l^h),然而，在SSD的Caffe源码实现中还有trick，那就是设置variance超参数来调整检测值，通过bool参数variance_encoded_in_target来控制两种模式，当其为 True时，表示variance被包含在预测值中，就是上面那种情况。但是如果是 False，就需要手动设置超参数variance，用来对l的4个值进行放缩，此时边界框需要这样解码： b^cx＝d^w(variance[0]*l^cx)+d^cx,b^cy＝d^y(variance[1]*l^cy)+d^cy, b^w＝d^wexp(variance[2]*l^w),b^h＝d^hexp(variance[3]*l^h),综上所述，对于一个大小m×n的特征图，共有mn个单元，每个单元设置的先验框数目记为k，那么每个单元共需要(c+4)k个预测值，所有的单元共需要(c+4)kmn个预测值，由于SSD采用卷积做检测，所以就需要(c+4)k个卷积核完成这个特征图的检测过程；

A4：对于先验框的尺度和长宽比，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

其中m为特征图个数，s_k为先验框大小相对于图片的比例，而s_max，s_min为比例的最大值与最小值，对于长宽比，一般选取

对于特定的长宽比，按如下公式计算先验框的宽度与高度：

默认情况下，每个特征图会有一个a_r＝1且尺度为s_k的先验框，除此之外，还会设置一个尺度为

且a_r＝1的先验框，这样每个特征图都设置了两个长宽比为1但大小不同的正方形先验框，得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和边界框位置，令n_k为该特征图所采用的先验框数目，那么类别置信度需要的卷积核数量n_k*c，所以说SSD本质上是密集采样；

A5：确定损失函数，损失函数定义为位置误差(loc)与置信度误差(conf) 的加权和：

其中N为先验框的正样本数量，这里

为一个指示参数，当

时表示第i个先验框与第j个 ground truth匹配，并且ground truth的类别为p,c为类别置信度预测值,l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数,对于位置误差，其采用Smooth L1 loss，定义如下：

其中，

由于

的存在，所以位置误差仅针对正样本进行计算，值得注意的是，要先对 ground truth的g进行编码得到

因为预测值l也是编码值，若设置 variance_encoded_in_target＝True，编码时要加上variance：

对于置信度误差，其采用softmax loss:

其中

权重系数α通过交叉验证设置为1；

A6：预测过程，对于每个预测框，首先根据类别置信度确定其类别(置信度最大者)与置信度值，并过滤掉属于背景的预测框，然后根据置信度阈值过滤掉阈值较低的预测框，对于留下的预测框进行解码，根据先验框得到其真实的位置参数，解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k 个预测框，最后就是进行NMS算法，过滤掉那些重叠度较大的预测框，最后剩余的预测框即是检测结果。

本发明的有益效果：本发明建立人脸图像库、建立违章行为库、建立工作票智能识别模型库，并将多个布控球安装在防控区域内，实现多方位、无死角的防控区域，实现对防控区域的实时监测，通过布控球对目标采集人脸特征信息和违章行为信息，然后通过智能识别分析模块对现场作业人员是否达到安全准入条件、作业人员是否与工作票智能识别模型库所列名单一致(包括工作负责人、工作班成员、工作时间段、工作任务、工作负责人及工作班成员变更以及安全措施)，人员变更是否及时识别、作业人员是否存在不戴安全帽、不戴安全带等违章行为进行智能分析识别，如果存在安全隐患行为，则通过图像抓取模块抓取安全隐患行为证据图像，并通过网络传输模块向安全管控中心和移动智能终端发出弹窗和文字告警，安全管控中心对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端到达施工现场对安全隐患行为及时纠正和指导，大大提高管理效率，确保施工人员安全；本发明具有实时监测、智能识别分析违章行为、提高管理效率的优点。

附图说明

图1为本发明一种电力员工进场作业智能安全管控系统的结构框图。

图2为本发明一种电力员工进场作业智能安全管控系统的智能识别分析模块的结构框图。

图3为本发明一种电力员工进场作业智能安全管控系统的告警模块的结构框图。

图4为本发明一种电力员工进场作业智能安全管控系统的流程图。

图中：1、布控球 2、人脸信息采集模块 3、人脸信息识别模块 4、违章行为采集模块 5、人脸图像库 6、智能识别分析模块 7、违章行为库 8、工作票智能识别模型库 9、告警模块 10、高清视频传输模块 11、智能化图像识别模块 12、图像存储模块 13、图像抓取模块 14、网络传输模块 15、安全管控中心 16、人脸识别比对模块 17、违章识别比对模块18、工作票识别比对模块 19、弹窗告警模块 20、文字告警模块 21、移动智能终端。

具体实施方式

下面结合附图对本发明做进一步的说明。

实施例1

如图1-4所示，一种电力员工进场作业智能安全管控系统，它包括布控球1、人脸信息采集模块2、人脸信息识别模块3、违章行为采集模块4、人脸图像库 5、智能识别分析模块6、违章行为库7、工作票智能识别模型库8、告警模块9、高清视频传输模块10、智能化图像识别模块11、图像存储模块12、图像抓取模块13、网络传输模块14、安全管控中心15和移动智能终端21，所述的智能识别分析模块6包括人脸识别比对模块16、违章识别比对模块17和工作票识别比对模块18，所述的告警模块9包括弹窗告警模块19和文字告警模块20。

一种电力员工进场作业智能安全管控系统的使用方法，其特征在于：它包括以下步骤：

步骤1)：建立人脸图像库5、建立违章行为库7、建立工作票智能识别模型库8；

步骤2)：设防布控：将多个布控球1安装在防控区域内，实现多方位、无死角的防控区域；

步骤3)：采集目标信息，具体包括以下步骤：

3-1：采集目标人脸特征信息；

3-2：采集目标违章行为信息；

步骤4)：智能分析识别并进行相关信息的比对，具体包括以下步骤：

4-1：智能识别现场作业人员是否达到安全准入许可条件并与人脸图像库5 进行比对；

4-2：智能识别现场作业人员是否与工作票智能识别模型库8所列名单一致；

4-3：智能识别现场作业人员是否存在变更；

4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库7进行比对；

步骤5)：判断是否存在安全隐患行为，若判断结果为否，则智能识别图像并进行存储；若判断结构为是，则启动告警模块9，并通过图像抓取模块13抓取安全隐患行为证据图像；

步骤6)：步骤5)抓取的安全隐患行为证据图像通过网络传输模块14向安全管控中心15和移动智能终端21发出弹窗和文字告警，安全管控中心15对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端21 到达施工现场对安全隐患行为纠正和指导。

所述的工作票智能识别模型库8包括工作负责人信息识别模型、工作班成员识别模型、工作任务识别模型、工作负责人及工作班成员变更识别模型、安全措施识别模型。

所述的步骤4)中的4-1与人脸图像库5进行比对采用基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法、隐马尔可夫模型方法、Gabor小波变换和图形匹配方法、人脸等密度线分析匹配方法、特定人脸子空间(FSS)算法以及奇异值分解(SVD)方法中的一种或多种，其中特征脸方法包括以下步骤：

步骤一：获得包含M张人脸图像的集合S，每张图片转换成一个N维的向量，然后把M个向量放到集合S中，如下式所示：S＝{Γ₁,Γ₂,Γ₃,......，Γ_M}；

步骤二：在获取到的人脸向量集合S后，计算得到平均图像Ψ，计算公式为：

步骤三：计算每张图片和平均图像的差值Φ，即是用S集合中的每个元素减去步骤二中的平均值，计算公式为：Φ_i＝Γ_i-Ψ；

步骤四：找到M个正交的单位向量u_n，这些单位向量是用来描述Φ分布的， u_n中的第k(k＝1，2，3......M)个向量u_k的计算公式为：

当这个λ_k取最小值时，u_k即确定，但是u_k还要满足下列公式使之为单位正交向量，计算公式为：

计算u_k其实就是计算协方差矩阵的特征向量，计算公式为：

其中， A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}，对于一个N×N维的图像来说，直接计算其特征向量计算量太大，因此采用协方差矩阵较简单，如果图像的数量小于图像的维数，那么起作用的特征向量只有M-1个而不是N^2个(因为其他的特征向量对应的特征值为0)，所以只需求解一个N×N的矩阵即可，这个矩阵即是AA^T,设此矩阵为L，那么L的第m行n列的元素可以表示为：

一旦找到L 矩阵的M个特征向量v_l，那么协方差矩阵的特征向量u_l即可表示为：

其中l＝1,......,M；

步骤五：对于一张新的人脸，可以用特征脸对其进行表示：

其中k＝1，2......，M，对于第k个特征脸u_k，计算其对应的权重，M个权重可以构成一个向量，计算公式为：Ω^T＝[ω₁,ω₂,......,ω_k]，即求得特征脸对人脸的表示，然后进行人脸识别，计算公式为：ε_k＝||Ω-Ω_k||²，其中Ω为需要判别的人脸，Ω_k为人脸图像库5中的某个人脸，两者都是通过特征脸的权重来表示的，对两者求欧式距离，当距离小于阈值时说明要判别的脸和人脸图像库5的第k 个脸是同一个人的，当遍历所有人脸图像库都大于阈值时，根据距离值的大小又可分为是新的人脸或者不是人脸两种情况。

所述的步骤4)中的4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对采用安全帽识别算法，包括以下步骤：

S1：前端通过布控球1录制现场视频并上传至管理系统服务器；

S2：服务器实时分析视频流，通过深度学习算法准确判定是否有安全隐患行为；

S3：存储安全隐患行为发生的时间，地点和现场图片并发出警报；

S4：安全管控中心能够对作业现场进行安全隐患行为制止和纠正。

其中S2中的深度学习算法采用SSD算法，主要思路就是均匀地在图片上不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比的先验框，然后利用 CNN网络提取特征后直接进行分类和回归，SSD算法提取了不同尺度的特征图来做检测，大尺度特征图可以用来检测小物体，而小特征图用来检测大物体，SSD 算法的具体步骤为：

A1：采用多尺度特征图用于检测，比较大的特征图用来检测相对比较小的的目标，而小的特征图负责用来检测大的物体；

A2：采用卷积做检测，SSD直接采用卷积对不同的特征图进行提取检测结果，对于形状为mxnxp的特征图，只需要采用3x3xp这样小的卷积核得到检测值；

A3：设置先验框，SSD借鉴了Faster R-CNN中anchors box的原理，每个单元设置尺度或者长宽比不同的先验框，预测的边界框都是以先验框为基准，一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，每个单元使用了4个不同的先验框，对于每个单元的每个先验框，其都输出一套独立的检测值，对应一个边界框，主要分为两个部分：第一部分是各个类别的置信度或者评分，值得注意的是SSD将背景也当做了一个特殊的类别，如果检测目标共有c个类别，SSD需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分,即真实的检测类别只有c-1个,在预测过程中，置信度最高的那个类别就是边界框所属的类别，特别地，当第一个置信度值最高时，表示边界框中并不包含目标,第二部分就是边界框的location，包含4个值(cx,cy,w,h)，分别表示边界框的中心坐标以及宽高,但是真实预测值其实只是边界框相对于先验框的转换值,先验框位置用d＝(d^cx,d^cy,d^w,d^h)表示，其对应边界框用b＝(b^cx,b^cy,b^w,b^h)表示，那么边界框的预测值l其实是b相对于d 的转换值：

习惯上，我们称上面这个过程为边界框的编码，预测时，你需要反向这个过程，即进行解码，从预测值l中得到边界框的真实位置b： b^cx＝d^wl^cx+d^cx,b^cy＝d^yl^cy+d^cy,b^w＝d^wexp(l^w),b^h＝d^hexp(l^h),然而，在SSD的Caffe源码实现中还有trick，那就是设置variance超参数来调整检测值，通过bool参数variance_encoded_in_target来控制两种模式，当其为 True时，表示variance被包含在预测值中，就是上面那种情况。但是如果是 False，就需要手动设置超参数variance，用来对l的4个值进行放缩，此时边界框需要这样解码： b^cx＝d^w(variance[0]*l^cx)+d^cx,b^cy＝d^y(variance[1]*l^cy)+d^cy, b^w＝d^wexp(variance[2]*l^w),b^h＝d^hexp(variance[3]*l^h),综上所述，对于一个大小m×n的特征图，共有mn个单元，每个单元设置的先验框数目记为k，那么每个单元共需要(c+4)k个预测值，所有的单元共需要(c+4)kmn个预测值，由于SSD采用卷积做检测，所以就需要(c+4)k个卷积核完成这个特征图的检测过程；

A4：对于先验框的尺度和长宽比，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

其中m为特征图个数，s_k为先验框大小相对于图片的比例，而s_max，s_min为比例的最大值与最小值，对于长宽比，一般选取

对于特定的长宽比，按如下公式计算先验框的宽度与高度：

默认情况下，每个特征图会有一个a_r＝1且尺度为s_k的先验框，除此之外，还会设置一个尺度为

且a_r＝1的先验框，这样每个特征图都设置了两个长宽比为1但大小不同的正方形先验框，得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和边界框位置，令n_k为该特征图所采用的先验框数目，那么类别置信度需要的卷积核数量n_k*c，所以说SSD本质上是密集采样；

A5：确定损失函数，损失函数定义为位置误差(loc)与置信度误差(conf) 的加权和：

其中N为先验框的正样本数量，这里

为一个指示参数，当

时表示第i个先验框与第j个 ground truth匹配，并且ground truth的类别为p,c为类别置信度预测值,l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数,对于位置误差，其采用Smooth L1 loss，定义如下：

其中，

由于

的存在，所以位置误差仅针对正样本进行计算，值得注意的是，要先对 ground truth的g进行编码得到

因为预测值l也是编码值，若设置 variance_encoded_in_target＝True，编码时要加上variance：

对于置信度误差，其采用softmax loss:

其中

权重系数α通过交叉验证设置为1；

A6：预测过程，对于每个预测框，首先根据类别置信度确定其类别(置信度最大者)与置信度值，并过滤掉属于背景的预测框，然后根据置信度阈值过滤掉阈值较低的预测框，对于留下的预测框进行解码，根据先验框得到其真实的位置参数，解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k 个预测框，最后就是进行NMS算法，过滤掉那些重叠度较大的预测框，最后剩余的预测框即是检测结果。

本发明建立人脸图像库5、建立违章行为库7、建立工作票智能识别模型库 8，并将多个布控球1安装在防控区域内，实现多方位、无死角的防控区域，实现对防控区域的实时监测，通过布控球1对目标采集人脸特征信息和违章行为信息，然后通过智能识别分析模块6对现场作业人员是否达到安全准入条件、作业人员是否与工作票智能识别模型库8所列名单一致(包括工作负责人、工作班成员、工作时间段、工作任务、工作负责人及工作班成员变更以及安全措施)，人员变更是否及时识别、作业人员是否存在不戴安全帽、不戴安全带等违章行为进行智能分析识别，如果存在安全隐患行为，则通过图像抓取模块13抓取安全隐患行为证据图像，并通过网络传输模块14向安全管控中心15和移动智能终端21发出弹窗和文字告警，安全管控中心15对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端21到达施工现场对安全隐患行为及时纠正和指导，大大提高管理效率，确保施工人员安全；本发明具有实时监测、智能识别分析违章行为、提高管理效率的优点。

实施例2

如图1-4所示，一种电力员工进场作业智能安全管控系统，它包括布控球1、人脸信息采集模块2、人脸信息识别模块3、违章行为采集模块4、人脸图像库 5、智能识别分析模块6、违章行为库7、工作票智能识别模型库8、告警模块9、高清视频传输模块10、智能化图像识别模块11、图像存储模块12、图像抓取模块13、网络传输模块14、安全管控中心15和移动智能终端21，所述的智能识别分析模块6包括人脸识别比对模块16、违章识别比对模块17和工作票识别比对模块18，所述的告警模块9包括弹窗告警模块19和文字告警模块20。

一种电力员工进场作业智能安全管控系统的使用方法，其特征在于：它包括以下步骤：

步骤1)：建立人脸图像库5、建立违章行为库7、建立工作票智能识别模型库8；

步骤2)：设防布控：将多个布控球1安装在防控区域内，实现多方位、无死角的防控区域；

步骤3)：采集目标信息，具体包括以下步骤：

3-1：采集目标人脸特征信息；

3-2：采集目标违章行为信息；

步骤4)：智能分析识别并进行相关信息的比对，具体包括以下步骤：

4-1：智能识别现场作业人员是否达到安全准入许可条件并与人脸图像库5 进行比对；

4-2：智能识别现场作业人员是否与工作票智能识别模型库8所列名单一致；

4-3：智能识别现场作业人员是否存在变更；

4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库7进行比对；

步骤5)：判断是否存在安全隐患行为，若判断结果为否，则智能识别图像并进行存储；若判断结构为是，则启动告警模块9，并通过图像抓取模块13抓取安全隐患行为证据图像；

步骤6)：步骤5)抓取的安全隐患行为证据图像通过网络传输模块14向安全管控中心15和移动智能终端21发出弹窗和文字告警，安全管控中心15对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端21 到达施工现场对安全隐患行为纠正和指导。

所述的工作票智能识别模型库8包括工作负责人信息识别模型、工作班成员识别模型、工作任务识别模型、工作负责人及工作班成员变更识别模型、安全措施识别模型。

所述的步骤4)中的4-1与人脸图像库5进行比对采用基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法、隐马尔可夫模型方法、Gabor小波变换和图形匹配方法、人脸等密度线分析匹配方法、特定人脸子空间(FSS)算法以及奇异值分解(SVD)方法中的一种或多种，其中特征脸方法包括以下步骤：

步骤一：获得包含M张人脸图像的集合S，每张图片转换成一个N维的向量，然后把M个向量放到集合S中，如下式所示：S＝{Γ₁,Γ₂,Γ₃,......，Γ_M}；

步骤二：在获取到的人脸向量集合S后，计算得到平均图像Ψ，计算公式为：

步骤三：计算每张图片和平均图像的差值Φ，即是用S集合中的每个元素减去步骤二中的平均值，计算公式为：Φ_i＝Γ_i-Ψ；

步骤四：找到M个正交的单位向量u_n，这些单位向量是用来描述Φ分布的， u_n中的第k(k＝1，2，3......M)个向量u_k的计算公式为：

当这个λ_k取最小值时，u_k即确定，但是u_k还要满足下列公式使之为单位正交向量，计算公式为：

计算u_k其实就是计算协方差矩阵的特征向量，计算公式为：

其中， A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}，对于一个N×N维的图像来说，直接计算其特征向量计算量太大，因此采用协方差矩阵较简单，如果图像的数量小于图像的维数，那么起作用的特征向量只有M-1个而不是N^2个(因为其他的特征向量对应的特征值为0)，所以只需求解一个N×N的矩阵即可，这个矩阵即是AA^T,设此矩阵为L，那么L的第m行n列的元素可以表示为：

一旦找到L 矩阵的M个特征向量v_l，那么协方差矩阵的特征向量u_l即可表示为：

其中l＝1,......,M；

步骤五：对于一张新的人脸，可以用特征脸对其进行表示：

其中k＝1，2......，M，对于第k个特征脸u_k，计算其对应的权重，M个权重可以构成一个向量，计算公式为：Ω^T＝[ω₁,ω₂,......,ω_k]，即求得特征脸对人脸的表示，然后进行人脸识别，计算公式为：ε_k＝||Ω-Ω_k||²，其中Ω为需要判别的人脸，Ω_k为人脸图像库5中的某个人脸，两者都是通过特征脸的权重来表示的，对两者求欧式距离，当距离小于阈值时说明要判别的脸和人脸图像库5的第k 个脸是同一个人的，当遍历所有人脸图像库都大于阈值时，根据距离值的大小又可分为是新的人脸或者不是人脸两种情况。

所述的步骤4)中的4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对采用安全帽识别算法，包括以下步骤：

S1：前端通过布控球1录制现场视频并上传至管理系统服务器；

S2：服务器实时分析视频流，通过深度学习算法准确判定是否有安全隐患行为；

S3：存储安全隐患行为发生的时间，地点和现场图片并发出警报；

S4：安全管控中心能够对作业现场进行安全隐患行为制止和纠正。

其中S2中的深度学习算法采用SSD算法，主要思路就是均匀地在图片上不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比的先验框，然后利用 CNN网络提取特征后直接进行分类和回归，SSD算法提取了不同尺度的特征图来做检测，大尺度特征图可以用来检测小物体，而小特征图用来检测大物体，SSD 算法的具体步骤为：

A1：采用多尺度特征图用于检测，比较大的特征图用来检测相对比较小的的目标，而小的特征图负责用来检测大的物体；

A2：采用卷积做检测，SSD直接采用卷积对不同的特征图进行提取检测结果，对于形状为mxnxp的特征图，只需要采用3x3xp这样小的卷积核得到检测值；

A3：设置先验框，SSD借鉴了Faster R-CNN中anchors box的原理，每个单元设置尺度或者长宽比不同的先验框，预测的边界框都是以先验框为基准，一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，每个单元使用了4个不同的先验框，对于每个单元的每个先验框，其都输出一套独立的检测值，对应一个边界框，主要分为两个部分：第一部分是各个类别的置信度或者评分，值得注意的是SSD将背景也当做了一个特殊的类别，如果检测目标共有c个类别，SSD需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分,即真实的检测类别只有c-1个,在预测过程中，置信度最高的那个类别就是边界框所属的类别，特别地，当第一个置信度值最高时，表示边界框中并不包含目标,第二部分就是边界框的location，包含4个值 (cx,cy,w,h)，分别表示边界框的中心坐标以及宽高,但是真实预测值其实只是边界框相对于先验框的转换值,先验框位置用d＝(d^cx,d^cy,d^w,d^h)表示，其对应边界框用b＝(b^cx,b^cy,b^w,b^h)表示，那么边界框的预测值l其实是b相对于d 的转换值：

习惯上，我们称上面这个过程为边界框的编码，预测时，你需要反向这个过程，即进行解码，从预测值l中得到边界框的真实位置b： b^cx＝d^wl^cx+d^cx,b^cy＝d^yl^cy+d^cy,b^w＝d^wexp(l^w),b^h＝d^hexp(l^h),然而，在SSD的Caffe源码实现中还有trick，那就是设置variance超参数来调整检测值，通过bool参数variance_encoded_in_target来控制两种模式，当其为 True时，表示variance被包含在预测值中，就是上面那种情况。但是如果是 False，就需要手动设置超参数variance，用来对l的4个值进行放缩，此时边界框需要这样解码： b^cx＝d^w(variance[0]*l^cx)+d^cx,b^cy＝d^y(variance[1]*l^cy)+d^cy, b^w＝d^wexp(variance[2]*l^w),b^h＝d^hexp(variance[3]*l^h),综上所述，对于一个大小m×n的特征图，共有mn个单元，每个单元设置的先验框数目记为k，那么每个单元共需要(c+4)k个预测值，所有的单元共需要(c+4)kmn个预测值，由于SSD采用卷积做检测，所以就需要(c+4)k个卷积核完成这个特征图的检测过程；

A4：对于先验框的尺度和长宽比，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

其中m为特征图个数，s_k为先验框大小相对于图片的比例，而s_max，s_min为比例的最大值与最小值，对于长宽比，一般选取

对于特定的长宽比，按如下公式计算先验框的宽度与高度：

默认情况下，每个特征图会有一个a_r＝1且尺度为s_k的先验框，除此之外，还会设置一个尺度为

且a_r＝1的先验框，这样每个特征图都设置了两个长宽比为1但大小不同的正方形先验框，得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和边界框位置，令n_k为该特征图所采用的先验框数目，那么类别置信度需要的卷积核数量n_k*c，所以说SSD本质上是密集采样；

A5：确定损失函数，损失函数定义为位置误差(loc)与置信度误差(conf) 的加权和：

其中N为先验框的正样本数量，这里

为一个指示参数，当

时表示第i个先验框与第j个 ground truth匹配，并且ground truth的类别为p,c为类别置信度预测值,l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数,对于位置误差，其采用Smooth L1 loss，定义如下：

其中，

由于

的存在，所以位置误差仅针对正样本进行计算，值得注意的是，要先对 ground truth的g进行编码得到

因为预测值l也是编码值，若设置 variance_encoded_in_target＝True，编码时要加上variance：

对于置信度误差，其采用softmax loss:

其中

权重系数α通过交叉验证设置为1；

A6：预测过程，对于每个预测框，首先根据类别置信度确定其类别(置信度最大者)与置信度值，并过滤掉属于背景的预测框，然后根据置信度阈值过滤掉阈值较低的预测框，对于留下的预测框进行解码，根据先验框得到其真实的位置参数，解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k 个预测框，最后就是进行NMS算法，过滤掉那些重叠度较大的预测框，最后剩余的预测框即是检测结果。

本发明建立人脸图像库5、建立违章行为库7、建立工作票智能识别模型库 8，并将多个布控球1安装在防控区域内，实现多方位、无死角的防控区域，实现对防控区域的实时监测，通过布控球1对目标采集人脸特征信息和违章行为信息，然后通过智能识别分析模块6对现场作业人员是否达到安全准入条件、作业人员是否与工作票智能识别模型库8所列名单一致(包括工作负责人、工作班成员、工作时间段、工作任务、工作负责人及工作班成员变更以及安全措施)，人员变更是否及时识别、作业人员是否存在不戴安全帽、不戴安全带等违章行为进行智能分析识别，如果存在安全隐患行为，则通过图像抓取模块13抓取安全隐患行为证据图像，并通过网络传输模块14向安全管控中心15和移动智能终端21发出弹窗和文字告警，安全管控中心15对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端21到达施工现场对安全隐患行为及时纠正和指导大大提高管理效率，确保施工人员安全；本发明具有实时监测、智能识别分析违章行为、提高管理效率的优点。

Claims (5)

1.一种电力员工进场作业智能安全管控系统，其特征在于：它包括布控球、人脸信息采集模块、人脸信息识别模块、违章行为采集模块、人脸图像库、智能识别分析模块、违章行为库、工作票智能识别模型库、告警模块、高清视频传输模块、智能化图像识别模块、图像存储模块、图像抓取模块、网络传输模块、安全管控中心和移动智能终端，所述的智能识别分析模块包括人脸识别比对模块、违章识别比对模块和工作票识别比对模块，所述的告警模块包括弹窗告警模块和文字告警模块。

2.如权利要求1所述的一种电力员工进场作业智能安全管控系统的使用方法，其特征在于：它包括以下步骤：

步骤1)：建立人脸图像库、建立违章行为库、建立工作票智能识别模型库；

步骤2)：设防布控：将多个布控球安装在防控区域内，实现多方位、无死角的防控区域；

步骤3)：采集目标信息，具体包括以下步骤：

3-1：采集目标人脸特征信息；

3-2：采集目标违章行为信息；

步骤4)：智能分析识别并进行相关信息的比对，具体包括以下步骤：

4-1：智能识别现场作业人员是否达到安全准入许可条件并与人脸图像库进行比对；

4-2：智能识别现场作业人员是否与工作票智能识别模型库所列名单一致；

4-3：智能识别现场作业人员是否存在变更；

4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对；

步骤5)：判断是否存在安全隐患行为，若判断结果为否，则智能识别图像并进行存储；若判断结构为是，则启动告警模块，并通过图像抓取模块抓取安全隐患行为证据图像；

步骤6)：步骤5)抓取的安全隐患行为证据图像通过网络传输模块向安全管控中心和移动智能终端发出弹窗和文字告警，安全管控中心对施工现场存在的安全隐患行为及时制止和纠正，操作人员可使用移动智能终端到达施工现场对安全隐患行为及时纠正和指导。

3.如权利要求2所述的一种电力员工进场作业智能安全管控系统，其特征在于：所述的工作票智能识别模型库包括工作负责人信息识别模型、工作班成员识别模型、工作任务识别模型、工作负责人及工作班成员变更识别模型、安全措施识别模型。

4.如权利要求2所述的一种电力员工进场作业智能安全管控系统，其特征在于：所述的步骤4)中的4-1与人脸图像库进行比对采用基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法、隐马尔可夫模型方法、Gabor小波变换和图形匹配方法、人脸等密度线分析匹配方法、特定人脸子空间(FSS)算法以及奇异值分解(SVD)方法中的一种或多种，其中特征脸方法包括以下步骤：

步骤一：获得包含M张人脸图像的集合S，每张图片转换成一个N维的向量，然后把M个向量放到集合S中，如下式所示：S＝{Γ₁,Γ₂,Γ₃,......，Γ_M}；

步骤二：在获取到的人脸向量集合S后，计算得到平均图像Ψ，计算公式为：

步骤三：计算每张图片和平均图像的差值Φ，即是用S集合中的每个元素减去步骤二中的平均值，计算公式为：Φ_i＝Γ_i-Ψ；

步骤四：找到M个正交的单位向量u_n，这些单位向量是用来描述Φ分布的，u_n中的第k(k＝1，2，3......M)个向量u_k的计算公式为：

当这个λ_k取最小值时，u_k即确定，但是u_k还要满足下列公式使之为单位正交向量，计算公式为：

计算u_k其实就是计算协方差矩阵的特征向量，计算公式为：

其中，A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}，对于一个N×N维的图像来说，直接计算其特征向量计算量太大，因此采用协方差矩阵较简单，如果图像的数量小于图像的维数，那么起作用的特征向量只有M-1个而不是N^2个(因为其他的特征向量对应的特征值为0)，所以只需求解一个N×N的矩阵即可，这个矩阵即是AA^T,设此矩阵为L，那么L的第m行n列的元素可以表示为：

一旦找到L矩阵的M个特征向量v_l，那么协方差矩阵的特征向量u_l即可表示为：

其中l＝1,......,M；

步骤五：对于一张新的人脸，可以用特征脸对其进行标示：

其中k＝1，2......，M，对于第k个特征脸u_k，计算其对应的权重，M个权重可以构成一个向量，计算公式为：Ω^T＝[ω₁,ω₂,......,ω_k]，即求得特征脸对人脸的标示，然后进行人脸识别，计算公式为：ε_k＝||Ω-Ω_k||²，其中Ω为需要判别的人脸，Ω_k为人脸图像库中的某个人脸，两者都是通过特征脸的权重来表示的，对两者求欧式距离，当距离小于阈值时说明要判别的脸和人脸图像库的第k个脸是同一个人的，当遍历所有人脸图像库都大于阈值时，根据距离值的大小又可分为是新的人脸或者不是人脸两种情况。

5.如权利要求2所述的一种电力员工进场作业智能安全管控系统，其特征在于：所述的步骤4)中的4-4：智能识别现场作业人员是否存在不戴安全帽、不戴安全带等安全隐患行为并与违章行为库进行比对采用安全帽识别算法，包括以下步骤：

S1：前端通过布控球录制现场视频并上传至管理系统服务器；

S2：服务器实时分析视频流，通过深度学习算法准确判定是否有安全隐患行为；

S3：存储安全隐患行为发生的时间，地点和现场图片并发出警报；

S4：安全管控中心能够对作业现场进行安全隐患行为制止和纠正。

其中S2中的深度学习算法采用SSD算法，主要思路就是均匀地在图片上不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比的先验框，然后利用CNN网络提取特征后直接进行分类和回归，SSD算法提取了不同尺度的特征图来做检测，大尺度特征图可以用来检测小物体，而小特征图用来检测大物体，SSD算法的具体步骤为：

A1：采用多尺度特征图用于检测，比较大的特征图用来检测相对比较小的的目标，而小的特征图负责用来检测大的物体；

A2：采用卷积做检测，SSD直接采用卷积对不同的特征图进行提取检测结果，对于形状为mxnxp的特征图，只需要采用3x3xp这样小的卷积核得到检测值；

A3：设置先验框，SSD借鉴了Faster R-CNN中anchors box的原理，每个单元设置尺度或者长宽比不同的先验框，预测的边界框都是以先验框为基准，一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，每个单元使用了4个不同的先验框，对于每个单元的每个先验框，其都输出一套独立的检测值，对应一个边界框，主要分为两个部分：第一部分是各个类别的置信度或者评分，值得注意的是SSD将背景也当做了一个特殊的类别，如果检测目标共有c个类别，SSD需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分,即真实的检测类别只有c-1个,在预测过程中，置信度最高的那个类别就是边界框所属的类别，特别地，当第一个置信度值最高时，表示边界框中并不包含目标,第二部分就是边界框的location，包含4个值(cx,cy,w,h)，分别表示边界框的中心坐标以及宽高,但是真实预测值其实只是边界框相对于先验框的转换值,先验框位置用d＝(d^cx,d^cy,d^w,d^h)表示，其对应边界框用b＝(b^cx,b^cy,b^w,b^h)表示，那么边界框的预测值l其实是b相对于d的转换值：

习惯上，我们称上面这个过程为边界框的编码，预测时，你需要反向这个过程，即进行解码，从预测值l中得到边界框的真实位置b：b^cx＝d^wl^cx+d^cx,b^cy＝d^yl^cy+d^cy,b^w＝d^wexp(l^w),b^h＝d^hexp(l^h),然而，在SSD的Caffe源码实现中还有trick，那就是设置variance超参数来调整检测值，通过bool参数variance_encoded_in_target来控制两种模式，当其为True时，表示variance被包含在预测值中，就是上面那种情况。但是如果是False，就需要手动设置超参数variance，用来对l的4个值进行放缩，此时边界框需要这样解码：

b^cx＝d^w(variance[0]*l^cx)+d^cx,b^cy＝d^y(variance[1]*l^cy)+d^cy,b^w＝d^wexp(variance[2]*l^w),b^h＝d^hexp(variance[3]*l^h),综上所述，对于一个大小m×n的特征图，共有mn个单元，每个单元设置的先验框数目记为k，那么每个单元共需要(c+4)k个预测值，所有的单元共需要(c+4)kmn个预测值，由于SSD采用卷积做检测，所以就需要(c+4)k个卷积核完成这个特征图的检测过程；

A4：对于先验框的尺度和长宽比，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

其中m为特征图个数，s_k为先验框大小相对于图片的比例，而s_max，s_min为比例的最大值与最小值，对于长宽比，一般选取

对于特定的长宽比，按如下公式计算先验框的宽度与高度：

默认情况下，每个特征图会有一个a_r＝1且尺度为s_k的先验框，除此之外，还会设置一个尺度为

且a_r＝1的先验框，这样每个特征图都设置了两个长宽比为1但大小不同的正方形先验框，得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和边界框位置，令n_k为该特征图所采用的先验框数目，那么类别置信度需要的卷积核数量n_k*c，所以说SSD本质上是密集采样；

A5：确定损失函数，损失函数定义为位置误差(loc)与置信度误差(conf)的加权和：

其中N为先验框的正样本数量，这里

为一个指示参数，当

时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为p,c为类别置信度预测值,l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数,对于位置误差，其采用Smooth L1 loss，定义如下：

其中，

由于

的存在，所以位置误差仅针对正样本进行计算，值得注意的是，要先对ground truth的g进行编码得到

因为预测值l也是编码值，若设置variance_encoded_in_target＝True，编码时要加上variance：

对于置信度误差，其采用softmax loss:

其中

权重系数α通过交叉验证设置为1；

A6：预测过程，对于每个预测框，首先根据类别置信度确定其类别(置信度最大者)与置信度值，并过滤掉属于背景的预测框，然后根据置信度阈值过滤掉阈值较低的预测框，对于留下的预测框进行解码，根据先验框得到其真实的位置参数，解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k个预测框，最后就是进行NMS算法，过滤掉那些重叠度较大的预测框，最后剩余的预测框即是检测结果。

Images