CN112560745B - 一种电力作业现场人员甄别方法及相关装置 - Google Patents

一种电力作业现场人员甄别方法及相关装置 Download PDF

Info

Publication number
CN112560745B
CN112560745B CN202011539302.8A CN202011539302A CN112560745B CN 112560745 B CN112560745 B CN 112560745B CN 202011539302 A CN202011539302 A CN 202011539302A CN 112560745 B CN112560745 B CN 112560745B
Authority
CN
China
Prior art keywords
personnel
face
face feature
feature data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011539302.8A
Other languages
English (en)
Other versions
CN112560745A (zh
Inventor
李晓枫
涂小涛
郑培文
胡春潮
方燕琼
尤毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Power Technology Co Ltd
Original Assignee
China Southern Power Grid Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Power Technology Co Ltd filed Critical China Southern Power Grid Power Technology Co Ltd
Priority to CN202011539302.8A priority Critical patent/CN112560745B/zh
Publication of CN112560745A publication Critical patent/CN112560745A/zh
Application granted granted Critical
Publication of CN112560745B publication Critical patent/CN112560745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种电力作业现场人员甄别方法及相关装置，方法包括：先获取作业现场人员信息，通过获取班前会现场视频在班前会对作业现场人员进行资质审核，当发现班前会现场视频流中有人员未通过资质审核，则发出第一报警信息，当现场作业开始时，实时获取各个现场的作业现场视频流，当发现作业现场视中有无资质人员时，则发出第二报警信息，通过班前会对现场作业人员进行资质审核，能提前避免无资质人员进入作业现场，通过作业现场视频流对作业现场人员情况进行进行智能监控，能及时发现无资质人员进入具体的作业现场，整体上实现对电力施工现场进行智能监控，提高了安全监控的监管效率、规避了现有通过人工监控存在的监管盲区。

Description

一种电力作业现场人员甄别方法及相关装置
技术领域
本发明涉及电力施工安全管理技术领域，尤其涉及一种电力作业现场人员甄别方法。
背景技术
电力生产过程中，现场作业是否遵循安全规定要求进行，会对生产安全造成直接影响，目前，各个电网公司对现场作业安全管控要求日益提高。
但是，由于电力生产过程的作业点数量巨大且分布范围广，导致电力生产现场环境整体上越来越复杂，安全管控难度持续加大，而现有的安全管控主要依靠核查人员进行现场作业的安全管控，面对数量巨大且分布广泛的作业点，通过现场检查来进行安全管控存在监管效率低、容易出现监管盲区的问题。
发明内容
本发明提供了一种电力作业现场人员甄别方法及相关装置，用于解决电力施工现场安全管控监管效率低、容易出现监管盲区的技术问题。
本发明提供的一种电力作业现场人员甄别方法，包括：
获取作业现场人员信息；
响应于接收到的人员资质审核指令，对获取到的班前会现场视频流进行人脸识别，通过所述人脸识别获取第一人脸特征数据；
计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，当所述相似度低于预设阈值时，发出第一报警信息，当所述相似度不低于预设阈值时，判定所述第一人脸特征数据对应的人员通过资质审核；
基于通过资质审核人员的第一人脸特征数据更新所述作业现场人员信息；
响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度低于预设阈值时，发出第二报警信息。
优选地，对所述班前会现场视频流中人脸图像进行识别，通过所述识别获取第一人脸特征数据，具体包括：
将班前会现场视频流进行解码处理，获得图片帧；
对所述图片帧进行预处理，获得待识别人脸图片帧；
输出适于图片识别的待识别图片数据矩阵；
将待识别人脸图片帧转化成图片数据矩阵；
将图片数据矩阵标准化处理，获得标准化后的图片帧矩阵；
对标准化后的图片帧矩阵进行归一化处理，输出人脸图片的浮点型矩阵。
优选地，计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，具体包括：
基于所述浮点型矩阵计算人脸特征数据的框坐标及置信度，对图片进行可识别判断；
将置信度低于预设阈值的人脸特征数据判定为可识别的人脸特征数据矩阵；
将可识别的人脸特征数据与预先建立的人脸识别数据库中的数据进行相似度计算。
优选地，所述当所述相似度低于预设阈值时，发出第一报警信息，具体包括：
将相似度低于预设阈值的人脸特征数据对应的图像中的人员标记为无资质人员，将无资质人员的人脸图像及报警信息关联做为第一报警信息，将所述第一报警信息发送到电力作业安全监管平台。
优选地，当所述相似度不低于预设阈值时，判定所述第一人脸特征数据对应的人员通过资质审核，之后还包括：
基于所述第一人脸特征数据优化所述预先建立的人脸特征数据。
优选地，所述通过所述人脸识别获得第二人脸特征数据，具体包括：
采用DeepSort多目标跟踪算法对作业现场视频流中的图片帧进行处理，获取第二人脸特征数据。
优选地，所述人员信息包括人员名单、与人员名单对应的人脸特征信息数据、与人员名单对应的作业地点及范围，并基于所述人员信息在本地预先建立人脸特征数据库。
优选地，本发明提供的一种电力作业现场人员甄别方法还包括：
获取与作业现场视频流对应的现场信息，所述作业现场视频流对应的现场信息包括所述视频流的作业地点及范围信息；
将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度不低于预设阈值时，获取与所述第二人脸特征数据对应的人员；
基于人员名单对应的作业地点及范围信息，判断所述人员的作业地点及范围信息是否包括所述视频流的作业地点及范围信息，如果不包括，则发出第三报警信息。
本发明还提供了一种电力作业现场人员甄别装置，包括：
通信模块，用于获取作业现场第一人员信息；
指令控制模块，用于接收人员资质审核指令和无资质人员识别指令；
智能处理模块，用于对获取到的班前会现场视频流进行人脸识别，通过所述人脸识别获取第一人脸特征数据；用于将所述第一人脸特征数据与预先建立的人脸特征数据库中与第一人员信息对应的数据进行匹配，匹配失败时，发出第一报警信息；当所述开工会现场视频流中所有人脸图像识别并匹配完毕，更新所述第一作业现场人员信息；响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的所述第一人员信息相匹配，匹配失败时，发出第二报警信息。
本发明还提供了一种电力作业现场工作人员甄别设备，其特征在于，包括：
处理器；
与处理器连接的通信模块；
与处理器连接的存储器，一个或多个应用程序被存储在存储器中，并被配置为由所述处理器执行，所述一个或多个应用程序被配置用于执行如权利要求1-8任一项所述的方法。
在本发明提供的实施例中，提前获取作业现场人员信息，并通过班前会现场视频流中的第一人脸特征数据，在班前会对作业现场实际到达的人员进行资质审核，当发现班前会现场视频流中有人员未通过资质审核，则发出第一报警信息，并根据班前会资质审核情况更新作业现场人员信息，当现场作业开始时，实时获取各个现场的作业现场视频流，并通过作业现场视频获取作业现场的第二人脸特征数据，通过第二人员特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，对现场人员进行智能识别，当发现作业现场视频流中有无资质人员时，则发出第二报警信息，通过班前会对现场作业人员进行资质审核，能提前避免无资质人员进入作业现场，同时根据现场人员情况更新作业现场人员信息后，通过作业现场视频流对作业现场人员情况进行进行智能监控，能及时发现无资质人员进入具体的作业现场，通过上述方法，能够实现对电力施工现场进行智能监控，提高了安全监控的监管效率、规避了现有通过人工监控存在的监管盲区，改善电力监管的工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种电力作业现场人员甄别方法流程图
图2为本发明另一实施提供的一种电力作业现场人员甄别方法中建立人脸特征数据库的流程图
图3为本发明另一实施提供的一种电力作业现场人员甄别方法中人员资质审核方法的流程图
图4为为本发明另一实施提供的一种电力作业现场人员甄别方法中无资质人员甄别方法的流程图
图5为本发明实施例二提供的一种电力作业现场人员甄别装置结构框图
图6为本发明实施例二提供的一种电力作业现场人员甄别设备结构框图
具体实施方式
本发明实施例提供了一种电力作业现场人员甄别方法及相关装置，用于解决电力施工现场安全管控监管效率低、容易出现监管盲区的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本方案中采用智能人脸技术，实现电力作业现场安全监管智慧化管理，来提高监管效率、规避监管盲区，并降低监管人员的工作量。在现有技术的现场管控中，首先，需要对作业人员进行监管，要求作业人员的相关信息记载在工作票中，审查现场作业人员是否具备工作资质；其次，在作业现场实时监察作业过程中，实时监控是否有无票人员(无资质人员)进入，如发现无票人员及时发出报警并记录无票人员的图像。基于本方案的智能人脸识别的视频监控技术，使得电力施工现场监控人员无需持续地盯着屏幕，减轻了工作人员的负担；尤其是解决了野外电力作业过程中存在的监管问题，在野外的电力作业工过程中，施工现场光照情况变化无常、工作环境千差万别、工作位置时刻变化、人体姿态不断变化，这对人脸检测、识别算法提出了严苛的要求，尤其是遇到人员面部发生一些特殊情况，比如：大角度变化、表情变化、大面积遮挡、尺寸大范围变化等问题时，现有人脸视频监控技术的识别率会大大降低。通过本方案的识别技术及识别过程，能有效解决了野外电力作业过程中存在的监管问题，提高监管效率、规避监管盲区，并降低监管人员的工作量及工作强度，减少监管人员的工作压力，改善监管工作体验。
本发明整体上提出了一种电力作业现场工作人员甄别方法及其图像综合分析装置，通过读取工作票人员的特征信息，采用创新的图像处技术、高精度人脸检测技术、动态人脸追踪技术对采集的人员图形进行处理，完成工前会的人员资质审查及作业过程中的人员甄别，实现电力作业现场工作人员全程安全管控。
实施例一，请参阅图1，图1为本发明实施例一提供的一种电力作业现场人员甄别方法流程图，该方法由施工现场的终端执行，可以是配置在现场的移动终端或者其他计算机设备，现场终端通过连接电力系统的作业安全监管平台获得作业的数据，通过图像采集设备获取开班会及作业现场的视频图像，通过人工智能技术对作业现场实现智慧化监管，当发现违反作业要求的人员出入现场时，发出警报并通知作业现场负责人员。
一种电力作业现场人员甄别方法，具体包括：
S1：获取作业现场人员信息；
在现场作业开始前，先通过本地终端的连接接口，与电力作业安全监管平台连接，连接方式可以为4G或者WIFI连接。
通过连接监管平台获取作业现场的工作票数据，将工作票数据推送给本地终端，由本地终端的工作人员查验核对工作票内容、工作信息、人员信息等是否正确，确认正确时发出通过指令，进入后续程序。
在确认作业现场人员名单及工作内容时，形成作业现场人员名单对应的作业现场的第一人员信息，其中第一人员信息包括需要监控的作业现场的具体工作人员名单、具体人员对应的工作内容、所有工作人员(包括负责人员、管理人员以及施工人员)的个人信息，具体工作内容包括：工作任务及分工、作业地点及范围、作业环境及风险、安全措施及注意事项。
进一步，基于作业现场人员名单在预先建立的人脸特征数据库获取作业现场的人脸特征信息，并将作业现场的人脸特征信息数据与第一人员信息对应的数据下载到本地终端进行存储，建立起与人员名单对应的本地人脸特征数据库，方便后续步骤调用。
S2：接收人员资质审核指令，获取班前会现场视频流，对所述班前会现场视频流中人脸图像进行识别，通过所述识别获取第一人脸特征数据；
在现场作业开展前，所有工作人员集中开班前会(进入作业现场前)，在班前会时，对将进入工作现场的人员资质进行审核，当接收到人员资质审核指令时，开始获取班前会现场视频流，执行人员资质审核工作。
可以通过终端上的视频接口读取连接在终端上的便携式摄像装置拍的的班前会现场视频流，也可以通过连接其他视频装置获取班前会现场视频流。通过对视频流进行解码，获得图片帧，进一步对图片帧进行预处理，并输入到训练好的多卷积神经网络中转化为RGB数据矩阵，对数据矩阵进一步进行通道转变，以便根据后续步骤的需要对不同尺寸的图片进行处理，提高后续图片识别的进度，进一步对获得的图片数据进行标准化处理、归一化处理，最终获得各尺寸的图片的浮点型矩阵。
S3：计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，当所述相似度低于预设阈值时，发出第一报警信息，当所述相似度不低于预设阈值时，判断所述第一人脸特征数据对应的人员通过资质审核；
在服务器上预先建立有电力施工人员人脸特征数据库，所述预先建立的人脸特征数据库包括工作票信息及与工作票信息对应的人脸特征数据，通过所述班前会现场视频流获取班前会视频流中的第一人脸特征数据后，将第一人脸特征数据与服务器上存储的电力施工人员人脸特征数据库中数据进行相似度计算，如果相似度低于预设阈值，则说明第一人脸特征数据对应的人像不在工作票记录的作业人员名单上，此时输出报警信息，报警信息包括人脸图像，由现场工作人员查验并确认是否为工作人员外的人员，如果是，则不允许该人员进入施工现场；如果相似度不低于预设阈值，则同时将第一人脸特征数据添加到预先建立的人脸特征数据库中，对预先建立的人脸特征数据进行补充并优化，通过添加最近的人脸特征数据，有利于提高后续识别的准确性，在本实施例中，相似度的预设阈值为80％，也可以根据识别情况进行调整。
S4：基于通过资质审核人员的第一人脸特征数据更新所述作业现场人员信息；
所述现场作业人员分工信息包括人员信息、作业地点及范围；
当班前会上的所有工作人员的人脸图像识别工作完成后，根据现场识别情况，更新作业现场人员名单，并且完成在预先建立的人脸特征数据库中名单内人员的人脸特征数据的更新工作，基于原始工作票记载进一步更新现场作业人员的分工信息，包括人员信息、以及人员信息对应的作业地点和范围信息。可以理解的是，通过这个过程，获得实际进入现场的工作人员名单，以及根据工作票信息确认的人员及人员对应的工作地点及范围，如由于人员变动导致工作票信息发生调整，则调整更新获得最终的作业现场人员信息，以及人员对应的作业地点和范围信息，方便后续对作业现场人员情况进行监控。
S5：响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度低于预设阈值时，发出第二报警信息；
当完成班前会后，工作人员进入作业现场，根据接收到的指令，切换到无资质人员识别模式，获取各个作业现场的视频流、视频流对应的现场信息，现场信息包括视频流获取的地点、时间、对应的作业范围信息，同时，从视屏流中进行人像识别，并获取对应的第二人脸特征数据。
将第二人脸特征数据与预先设置的预先建立的人脸特征数据库中的更新后的第一人员信息的人脸特征数据进行相似度计算，当相似度低于预设阈值时，则发出第二报警信息，在本实施例中，相似度的预设阈值为80％，也可以根据识别情况进行调整。第二报警信息包括图片、作业现场信息，通过第二报警信息提醒监管人员或者现场负责人有无资质人员进入施工现场，需要进行处理，并将图片及作业现场信息发送到服务器，并在服务器存档以便后续调查。
在本实施例中，通过提前在班前会获取班前会的视频数据，基于视频数据对作业现场预先确定的工作人员进行资质审核，确认开班会前参与人员是否有进入作业现场的工作资质，并利用现场采集的人脸特征数据对预先建立的人脸特征数据进行补充并优化，实现了在作业开始前确定人员信息，同时根据工作人员当天的图像及现场的图像对预先建立的人脸特征数据进行了优化，有助于后续人脸识别准确性的提高。同时，在完成人员资质审核后，根据在各个作业现场获取的视频数据对作业现场进行安全管控，当发现有资质审核外的人员进入现场时，则会发出警报并提醒现场负责人员及监管平台，实现了监管智慧化，降低了人员审核及现场监控的工作量。
在本发明另一个实施例中，在实施例一步骤S2中的，对所述班前会现场视频流中人脸图像进行识别，通过所述识别获取第一人脸特征数据，具体包括：
S21：将班前会现场视频流进行解码处理，获得图片帧；
经过将终端获取的视频流数据进行解码处理，转化成为图片帧数据，并将获取的图片帧数据通过终端的输出端传输给电力作业安全监管平台。
S22：对所述图片帧进行预处理，获得待识别人脸图片帧；
将获取的带有电力作业场景的图片帧进行预处理，从中裁切出人员图片，获取人脸图片，并将不同角度的人脸图像进行矫正，输出预处理后的图片帧作为待识别人脸图片帧。
S23：输出适于图片识别的图片数据矩阵；
将预处理后的图片帧，通过opencv的flip函数，对图片进行左右翻转，输出适合于图片识别的图片数据矩阵。
S24：将待识别人脸图片帧转化成各尺度的图片数据矩阵；
通过多卷积神经网络(CNN)将预处理后的图片帧转化成各尺度RGB图片数据矩阵，并进行图片通道转变，将各尺度RGB图片数据矩阵转换为RGB三通道整型矩阵和GRAY单通道整型矩阵，以便根据后续步骤的需要对不同尺度的图片处理，提高后续图片识别精度。
S25：对各尺度的图片数据矩阵标准化处理，获得标准化后的图片帧矩阵；
通过对各图片的RGB三通道整型矩阵及GRAY单通道整型矩阵用零-均值规范化(z-score标准化)的方法，如下式所示：
Figure BDA0002854101400000091
式中：Dmean为待识别图片矩阵数据的均值，Dvar为待识别图片矩阵的标准差，d′i为标准化处理后的识别图片矩阵，di为标准化处理前的识别图片矩阵，
S26：对标准化后的图片帧矩阵进行归一化处理，输出各尺寸人脸图片的浮点型矩阵；
将标准化后的图片矩阵转换为[-1,1]的浮点型矩阵，作为检测推断前的数据输入。图片归一化处理是采用小数定标规范化，通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位数取决于属性值绝对值的最大值。其转化公式为：
Figure BDA0002854101400000101
式中：d′i为标准化处理后的识别图片矩阵，d‘’i为经过归一化处理后的识别图片矩阵。
通过上述步骤处理，输出各尺寸人脸图片的浮点型矩阵，将上述数据作为第一人脸特征数据。
在本发明另一实施例中，步骤S3中的计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，具体包括：
S31：基于所述浮点型矩阵计算人脸特征数据的框坐标及置信度，对图片进行可识别判断
采用改进型的SSD检测网络对步骤S26中的各尺寸人脸图片的浮点型矩阵计算,获得人脸的框坐标及置信度，并采用数据增强技术和锚设计策略进一步提高在在不同尺度、姿势、表情、外观、照明下人脸检测的准确度，对图片进行可识别性判断计算，当计算结果小于预设阈值时，发出可识别控制指令。
S32：将置信度低于预设阈值的人脸特征数据判定为可识别的人脸特征数据矩阵，输出可识别的人脸特征数据矩阵
组件并训练基于SE-ResNeXt Module和Dense Module等组成的骨干神经网的人脸特征提取网络，基于训练好的人脸特征提取网络提取人脸特征数据，并输出可识别的人脸特征数据矩阵。
S33：将可识别的人脸特征数据矩阵与预先建立的人脸识别数据库中的数据进行相似度计算。
将可识别的人脸特征数据矩阵与预先建立的人脸识别数据库中数据的欧氏距离进行匹配判断，计算式为：
Figure BDA0002854101400000102
其中，
Figure BDA0002854101400000103
为第k个可识别人员人脸特征数据矩阵中第i个数值与人脸特征数据库中第l个人员人脸特征数据矩阵的第i个数值的差值，其中，l为非0的自然数，当作业现场人员为多人时，此时k为大于1的自然数。通过这样的欧式距离计算就能得出追踪到的现场人员与作业现场人员信息里的人脸相似度值，并根据相似度函数得出相似度百分比，当计算出的阈值足够大时(如大于80％)，就判定该现场人员为作业现场人员信息中的某个人员。而计算出该现场人员与作业现场人员信息里所有人员的人脸特征数值的相似度百分比都低于阈值时，就认为该现场人员不是作业现场人员信息里的人员(即无资质人员)。
S34：将相似度低于预设阈值的人脸特征数据对应的图像中的人员标记为无资质人员，将无资质人员的人脸图像及报警信息关联做为第一报警信息，将所述第一报警信息发送到电力作业安全监管平台；
在本地终端进行报警后，将第一报警信息发送到电力作业安全监管平台，可以根据监管人员与现场负责人员对报警信息进行审核及确认。
S35：当所述相似度不低于预设阈值时，判定所述第一人脸特征数据对应的人员通过资质审核，匹基于所述第一人脸特征数据优化所述预先建立的人脸特征数据；
当人脸图像匹配成功时，基于Focus Loss和Triplet Focus Loss等损失函数的优化方法以所述第一人脸特征数据对预先建立的人脸特征数据库中的人脸特征数据进行滚动优化调整，获得最新的人脸特征数据，并发送到本地终端或电力安全作业监管平台中的人脸特征数据库，方便后续调用。
在本发明的另一实施例中，步骤5中获取视频流中第二人脸特征数据，具体包括：
50：采用DeepSort多目标跟踪算法对所述第二人脸特征数据进行动态人脸追踪处理
当工作人员进入工作区后，由于工作环境的差异、工作区的光照的变化、以及工作人员位置及姿态的变化、以及各种物体的遮挡，需要从现场视频中获取的人脸图片进行进一步处理，将获得的图片真经过如步骤S21-S26处理后输出的图片数据，进行人脸追踪处理，并解决光源变化、物体遮挡等对人脸信息的影响，提高人脸检测算法的鲁棒性、实时性。
在本实施例的步骤中，动态人脸追踪采用了DeepSort的多目标跟踪算法。在上述追踪算法中，用卡尔曼滤波处理逐帧数据的关联性，并用带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，形成物体的运动轨迹，在高帧速率下获得了良好的性能，并使用大规模人员现场工作视频集对卷积神经网络(CNN)在进行训练、优化，人员提取特征，增加了网络对遗失和避障的鲁棒性。输入“步骤S31”中的人脸的框坐标及置信度，通过人脸检测追踪步骤处理，输出具有避障鲁棒性、追踪敏捷性的动态人脸框坐标及置信度。
在另一个实施例中，人员信息包括人员名单、与人员名单对应的人脸特征信息数据、与人员名单对应的作业地点及范围，并基于所述人员信息在本地预先建立人脸特征数据库。在本实施例中，执行完实施例一的方法之后，继续执行以下步骤：
51：获取获取作业现场视频流及与作业现场视频流对应的现场信息，所述作业现场视频流对应的现场信息包括所述视频流的作业地点及范围信息；
具体的，在一个作业现场可能会包括多个作业地点，需要同时获取多个施工现场的视频流，以及视频流对应的作业地点及范围信息，进一步的，也可以获取视频流的时间信息，通过作业地点、范围信息、时间信息可以确定具体的有资质进入该视频流的人员，并对无资质在具体时间进入施工现场的具体作业地点、范围的人员进行监控。同时，如果是通过服务器对多个施工场地同时进行监控，也可以采取类似方案。
52：将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度不低于预设阈值时，获取与所述第二人脸特征数据对应的人员；
53：基于人员名单对应的作业地点及范围信息，判断所述人员的作业地点及范围信息是否包括所述视频流的作业地点及范围信息，如果不包括，则发出第三报警信息；
当完成班前会后，工作人员进入作业现场，根据接收到的指令，切换到无资质人员识别模式，获取各个作业现场的视频流、视频流对应的现场信息，现场信息包括视频流获取的地点、时间、对应的作业范围信息，同时，从视屏流中进行人像识别，并获取对应的第二人脸特征数据。根据作业现场第一人员信息记载的人员及工作内容，确定通过资质审核人员的工作地点及范围，可以理解的是，即使是一个作业现场，基于不同的分工，不同的工作人员有不同的工作地点及范围，部分危险区域只允许特定工作人员进入，当发现开班会上通过资质审核的人员未经许可出现在未经许可的工作地点或者范围内是，也可以发出警报并提醒现场负责人员。
当第二人脸特征数据通过相似度计算的比对为作业现场人员信息名单中的人员时，也会出现在一个作业现场可能会包括多个作业地点，而由于工作任务或者危险程度的不同，在不同的作业地点有不同的准入要求，在实施例中，在作业现场人员信息中会包含作业地点、范围、时间，根据人员名单对应的作业地点、范围、时间可以通过现场视频流中人脸识别情况判断识别出来的人员在现场信息中是否有准入资格，如根据作业现场视频流对应现场信息判断识别出来的人员无准入资格，则发出第三报警信息，第三报警信息可以发送到负责人或者识别出来人员的手持终端，同时也可以发送到安全监管平台。第三报警信息包括人员、视频流对应的作业地点、范围、视频获取时间。
参照图2，在本发明的另一实施例中，提供了另一种电力作业现场人员甄别方法，包括，步骤1，建立任连特征数据库，建立人脸特征数据库的方法：
在本实施例中建立人脸特征库由以下的步骤实现：
步骤11：连接监管平台，通过图像分析终端的无线通信接口(4G/WIFI)，与电力作业安全监管平台的连接，并访问作监管平台。
步骤12：获取工作票。按照关键字查取对应的工作票，通过监管平台将工作票推送给图像分析终端，监管平台将工作票对应的工作内容、所有工作人员(包括工作负责人)的个人信息及其人脸特征等传送到图像分析终端。
步骤13：查验工作票。工作人员在图像分析终端上，查验推送过来的工作票内容、工作人员个人信息是否正确。如不正确，发出控制指令“N”，该指令传送到“步骤12：获取工作票”的采样控制端，重新推送工作票内容，直到工作票内容、人员信息正确为止。如工作票内容、人员信息正确，发出控制指令“Y”，指令“Y”送到“步骤14：提取人脸特征”的采样控制端，获取工作票对应工作人员的人脸特征。
步骤14：提取人脸特征。当接到“步骤13：查验工作票”发来的控制指令“Y”后，从“步骤S12：获取工作票”的输出读取工作票信息，抽取工作票对应人员的人脸特征信息，送到“步骤15：存储人脸特征”。
步骤15：存储人脸特征。将“步骤14：提取人脸特征”送来的工作票人员人脸特征信息存储到图像分析终端的存储单元，建立起工作票对应人员的人脸特征数据库(简称工作票人员特征库)，用于后续步骤的调用。工作票人员特征库的信息接到输出端(10)；后续步骤调取工作票人员人脸特征数据库的控制指令，通过输入端(1I)操控调取工作票人员特征库信息。
参照图3及图4，在本发明的另一实施例中，提供了另一种电力作业现场人员甄别方法，在上一实施例建立人脸特征数据库的基础上，按下述方法进行人员资质审核及无资质人员甄别：
步骤2：读取视频流。
通过调用图像分析终端的视频接口(如：LAN/USB)读取接在其上的便携式摄像头拍摄到的电力作业现场视频流数据，当然也可以直接连接其他摄像终端获取视频流。
步骤3：获取视频帧。
经过图像分析终端的图片解码模块对读取的视频流数据进行解码处理，转化成为图片帧数据。送到下级“步骤3：获取视频帧”进行处理。同时将获取的图片帧数据通过传输给电力作业安全监管平台。
步骤4：图片预处理。通过“步骤3：读取视频流，获取视频帧”得到图片帧数据后，需对具有各种电力作业场景的视频进行图片预处理，裁剪出人员图片、扭正不同角度的人脸、并将各图片进行标准化处理。
步骤41：图片裁剪缩放。通过多卷积神经网络(CNN)将“步骤3：获取视频帧”传来的图片帧转化成多尺度的图片数据矩阵，以利于后面的步骤根据需要对不同尺度的图片处理，提供图片的检测精度。
步骤42：图片翻转。将“步骤41：图片裁剪缩放”处理好的各尺度图片。按照要求，通过opencv的flip函数，对图片进行左右翻转，输出适合于图片识别的图片数据矩阵。
步骤43：图片通道转变。将“步骤41：图片翻转”翻转好的各尺度BGR三通道图片整型矩阵。转换为RGB三通道整型矩阵和GRAY单通道整型矩阵；
步骤44：图片标准化处理：
通过对各图片的RGB三通道整型矩阵及GRAY单通道整型矩阵用零-均值规范化(z-score标准化)的方法，如下式所示：
Figure BDA0002854101400000151
式中：Dmean为待识别图片矩阵数据的均值，Dvar为待识别图片矩阵的标准差，d′i为标准化处理后的识别图片矩阵，di为标准化处理前的识别图片矩阵，
步骤45：图片归一化处理。将标准化后的图片矩阵转换为[-1,1]的浮点型矩阵，作为检测推断前的数据输入。图片归一化处理是采用小数定标规范化，通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位数取决于属性值绝对值的最大值。
其转化公式为：
Figure BDA0002854101400000152
式中：d′i为标准化处理后的识别图片矩阵，d‘’i为经过归一化处理后的识别图片矩阵。
经过步骤4生物处理后，就输出了不同尺寸人脸图片的浮点型矩阵，作为高精度人脸检测推断输入；
电力作业过程人员安全管控，可以分为两个阶段：人员资质审核与无资质人员甄别两部分。依据《电力安全工作规程》的要求：作业前应召开现场工前会，由工作负责人对工作班组所有人员进行安全交代。交代内容包括工作任务及分工、作业地点及范围、作业环境及风险、安全措施及注意事项；被交代人员应准确理解所交代的内容，并签名确认。在开工前会时，就需要对人员进行资质审核，如发现有不在工作票的人员(即无资质人员)，就应发出报警，并该人员的图片连同报警信息发给安全作业监管平台。
开完工前会，工作人员进入工作区，这时就需要进行人员甄别，如发现有不在工作票的人员进入工作区，就发出报警、把该人员的图片发给安全作业监管平台。
这两个阶段的识别模式切换由“步骤5：识别模式切换”实现。
步骤5：识别模式切换。根据电力作业过程进入哪个阶段，通过识别模式切换里的选择开关，把经“步骤4：图像预处理”处理好的图片，分别送到“步骤6：人员资质审核”或者“步骤7：无资质人员甄别”进行处理、判断，发出报警信息。
“步骤5：识别模式切换”由分段控制开关指令/模块(51)、输出切换指令/模块(52)、输入切换指令/模块(53)组成。
分段控制开关(51)的输出分别接到：输出切换模块52的控制端、输入切换模块(53)的控制端；
输出切换模块(52)的输入端接“步骤4：图像预处理”的输出端，它的控制端接分段控制开关(51)，输入切换模块(53)的A输出端接到步骤“6：人员资质审核”的输入端，输入切换模块(53)的B输出端接到步骤“7：无资质人员甄别”的输入端。
输入切换模块(53)的A输入端接“步骤6：人员资质审核”的控制信号输出端、它的B输入端接“步骤7：无资质人员甄别”的控制信号输出端，它的控制端接分段控制开关(51)，它的输出接“步骤3：获取视频帧”的采样控制端；
这样当电力作业过程开始后，工作人员集中开班前会，这时就是开始“人员资质审核”阶段，将分段控制开关(51)打到ON，这时，输入切换模块(53)就将连接在A输入端的“步骤6：人员资质审核”控制指令，经模块(53)的输出端，送到“步骤3：获取视频帧”布置的采样控制端；输出切换模块(52)就将连接输入端“步骤4：图像预处理”送来的图片，经输出切换模块(51)的A输出端，送到“6：人员资质审核”进行人员资质审核。开完班前会后，工作人员进入工作区域，开始进行相应的作业，这时就是开始“人员动态甄别”阶段，将分段控制开关(51)打到OFF，这时，输入切换模块(53)就将连接在B输入端的“步骤6：人员动态甄别”控制指令，经模块(53)的输出端，送到“步骤3：获取视频帧”布置的采样控制端；输出切换模块(52)就将连接输入端“步骤4：图像预处理”送来的图片，经输出切换模块(52)的B输出端，送到“6：无资质人员甄别”进行人员动态甄别，对工作区内移动的人员进行动态人脸甄别，找出工作区内的无资质人员。
步骤6：人员资质审核。在开展工作后，在开站班会时，启动人员资质审核步骤，将读取的视频流，经“步骤2：读取视频流”、“步骤3：获取视频帧”处理后，送到人员资质审核步骤。
步骤6：人员资质审核由以下的步骤实现：
步骤61：高精度人脸检测。将由“步骤4：图像预处理”输出图片的三维矩阵，输入到本步骤，经计算处理后，得到人脸的框坐标及置信度。在“步骤61：高精度人脸检测”采用了改进型的SSD检测网络，并创新性地融合了数据增强技术和和锚设计策略，提高在不同尺度、姿势、表情、外观、照明下人脸检测的准确度。
步骤62：面部图片可识别。将由“步骤61：高精度人脸检测”输出的人脸的框坐标及置信度和置信度，输入到本步骤，进行图片可识别性判断处理。每帧图片判断处理完，发出任务完成指令“F”，送往“获取视频帧”步骤处理；当计算出的结果小于预设的阈值时，判断为图片可识别，发出可识别控制指令“Y”。
步骤63：图片选择切换模块。依据步骤62发出的图片可识别性判断结果，控制图片的输出。当接到“步骤62：面部图像可识别”发出的控制指令“Y”后，图片选择切换模块的输出选择接在模块A端上“步骤61：高精度人脸检测”的输出，将“步骤61：高精度人脸检测”送出图片的数据，输出给下一步骤：“步骤64：人脸特征值获取”；而没接到“Y”控制指令，则不输出任何信息给下一级步骤。
步骤64：人脸特征值获取。接收“步骤63：图片选择切换模块”输出的图片数据，提取照片中人脸的特征数据。“步骤64：人脸特征值获取”中，人脸特征提取网络是由SE-ResNeXt Module和Dense Module等组成的骨干神经网络构建而成，通过采集监管平台的大量作业现场视频，并结合工前会期间摄取的作业现场视频，采用基于Focus Loss和TripletFocus Loss等损失函数的优化方法，对骨干神经网络进行离线/在线的训练改进、滚动优化调整，建立起具备敏锐性、鲁棒性的工作票人员人脸特征提取网络。这样由切换模块(63)输出的图片，经训练好的人脸特征提取网络处理后，就能输出准确的工作票人员人脸特征数据矩阵。在本步骤中，还将滚动优化调整得到工作票人员人脸的特征值存储起来，并经“步骤65：识别是否工作任务人员”的切换控制，通过输出端输出给后面的步骤用。
步骤65：识别是否工作任务人员。将由“步骤64”得到的工作人员人脸特征数据与“步骤1：建立人脸特征库”得到的工作票人员特征库数据进行比较。采用计算工作人员人脸特征数据与工作票人员特征库数据的欧氏距离来比较判断，计算式为：
Figure BDA0002854101400000181
其中，
Figure BDA0002854101400000182
为第k个可识别人员人脸特征数据矩阵中第i个数值与人脸特征数据库中第l个人员人脸特征数据矩阵的第i个数值的差值，其中，l为非0的自然数，当工作票人员为多人时，此时k为大于1的自然数。通过这样的欧式距离计算就能得出追踪到的现场人员与工作票里人员的人脸相似度值，并根据相似度函数得出相似度百分比，当计算出的阈值足够大时(如大于80％)，就判定该现场人员为工作票里的某个人员。而计算出该现场人员与工作票里所有人员特征数值的相似度百分比都低于阈值时，就认为该现场人员不是工作票里的人员(无资质人员)，发出判断控制指令“N”。
步骤66：违规报警信号处理。由报警设置模块(661)、叠加模块(662)、第1信号切换模块(663)、第1空信号设置模块(664)、第2信号切换模块(665)、第2空信号设置模块(666)，组合构成。对应于报警控制信号，将无资质人员叠加上报警信号，形成无资质人员报警信息上报电力作业安全监管平台。当接收到“步骤65：识别是否工作任务人员”发出控制指令为“N”时，产生报警信号，并截取该无资质人员人脸图片，将两信息叠加形成无资质人员信息报警信号输出，通过输出端(6O)与输出端(3O)的图片帧数据相互融合后，传输给电力作业安全监管平台。
报警编码模块(661)预设着无资质人员报警对应的编码。
报警信号叠加模块(662)的第一输入端连接“步骤63”输出的人员头像图片数据，第二输入端连接报警编码模块(661)，在叠加模块(662)将报警编码与人员头像图片数据融合，输出到信号切换模块(663)的B输入端；
第1信号切换模块(663)的A输入端连接到第1空信号设置模块(664)的输出，它的控制端接“步骤65：识别是否工作任务人员”的输出端。
第2信号切换模块(665)的A输入端连接到“步骤64：人脸特征值获取”的输出，它的B输入端连接到第2空信号设置模块(665)的输出，它的控制端接“步骤65：识别是否工作任务人员”的输出端。
当经“步骤65：识别是否工作任务人员”识别出工作人员与工作票人员特征库的人脸特征数据都不符时，向第1信号切换模块(663)的控制端发来控制指令“N”，第1信号切换模块(663)就将输出连接切换到B输入端，将融合了报警编码与无资质人员头像图片数据的信息经60输出端输出；同时控制指令“N”也发到了第2信号切换模块(665)的控制端，第2信号切换模块(665)就将输出连接切换到B输入端，将人脸特征数据的信息清0，不输出人脸特征数据。而在“步骤65：识别是否工作任务人员”未识别出任何工作人员与工作票人员特征库的人脸特征数据不相符时，不发出指令“N”；第1信号切换模块(663)就将输出连接在A输入端上，将报警编码与无资质人员头像图片数据的信息清0；该指令也发到第2信号切换模块(665)的控制端，第2信号切换模块(665)就将输出连接切换到A输入端，连接到“步骤64：人脸特征值获取”的输出，此时就将“步骤64：人脸特征值获取”滚动优化调整得到工作票人员的人脸特征数据，通过输出端(6S)输出给后面的步骤(步骤7：“无资质人员甄别”)用。
开完工前会，工作人员进入工作区，这时就需要进行人员甄别，如发现有不在工作票的人员进入工作区，就发出报警，并该人员的图片连同报警信息发给安全作业监管平台。
步骤7：无资质人员甄别：开完工前会，工作人员进入工作区，启动无资质人员甄别步骤，将“步骤5：识别模式切换”中的分段控制开关(51)打到OFF，将读取的视频流，经“步骤2：读取视频流”、“步骤3：获取视频帧”处理后，送到无资质人员甄别步骤。
步骤7：无资质人员甄别由以下的步骤实现：
在步骤6人员资质审核的步骤中，在步骤61高精度人脸检测之后，在步骤62面部图像可否识别判断之前，还包括：
步骤71：动态人脸追踪。工作进入工作区后，工作环境千差万别、工作区的光照情况变化无常、人员工作位置随时变化、会遇到各种物体造成遮挡、人体姿态不断改变，这时必须在这种人员运动的情况下，基于“步骤61：高精度人脸检测”输出的图片，进行图片的追踪处理，克服光源变化、物体遮挡等对人脸信息的影响，提高人脸检测算法的鲁棒性、实时性。动态人脸追踪采用了DeepSort的多目标跟踪算法，追踪算法中，用卡尔曼滤波处理逐帧数据的关联性，并用带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，形成物体的运动轨迹，在高帧速率下获得了良好的性能，并使用大规模人员现场工作视频集对卷积神经网络(CNN)在进行训练、优化，人员提取特征，增加了网络对遗失和避障的鲁棒性。输入“步骤61：高精度人脸检测”的人脸的框坐标及置信度，通过人脸检测追踪步骤处理，输出具有避障鲁棒性、追踪敏捷性的动态人脸框坐标及置信度。
在执行步骤71动态人脸追踪后，步骤S7其他步骤与S6相同，简单说明如下：
步骤62：面部图片可识别。将由动态人脸追踪步骤输出的人脸矩阵和置信度，输入到本步骤，进行图片可识别性判断处理。
步骤63：图片选择切换模块。依据步骤62发出的图片可识别性判断结果，控制图片的输出。
步骤64：人脸特征值获取。接收图片选择切换模块(63)输出的图片，提取照片中人脸的特征数据。
步骤65：识别是否工作任务人员。将由“步骤64”得到的工作人员人脸特征数据与“步骤6：人员资质审核”得到、工前会上审核完成的工作票人员特征库数据进行比较。发现是否有不在工作票的人员进入工作区，就发出报警控制信号。
步骤66：违规报警信号处理。对应报警控制信号，将无资质人员叠加上报警信号，形成形成无资质人员报警信息上报电力作业安全监管平台。形成的违规报警信号通过输出端，将输出端(7O)与输出端(3O)的图片帧数据相互融合后，传输给电力作业安全监管平台的图片帧数据相互融合后，传输给电力作业安全监管平台。
参照图5，在本发明另一实施例中，提供了一种电力作业现场人员甄别装置，包括：
通信模块，用于获取作业现场第一人员信息；
具体为，用于与安全监管平台或者服务器、其他终端进行数据连接，获取作业现场的第一人员信息，并安装有线和/或无线接口，可以通过无线通信接口，比如4G/5G/WIFI与安全监管平台进行数据连接；
指令控制模块，用于接收人员资质审核指令和无资质人员识别指令；
用于接受用户的模式切换指令，通常在班前会现场启动人员资质审查指令，完成人员资质审核后，根据用户的切换指令，切换到无资质人员识别模式；
图形采集模块，用于采集班前会现场视频流及作业现场视频流；
智能处理模块，用于对获取到的班前会现场视频流进行人脸识别，通过所述人脸识别获取第一人脸特征数据；用于将所述第一人脸特征数据与预先建立的人脸特征数据库中与第一人员信息对应的数据进行匹配，匹配失败时，发出第一报警信息；当所述开工会现场视频流中所有人脸图像识别并匹配完毕，更新所述第一作业现场人员信息；响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的所述第一人员信息相匹配，匹配失败时，发出第二报警信息。
参照图6，本发明还提供了一种电力作业现场工作人员甄别设备，包括
处理器；
与处理器连接的通信装置；
与处理器连接的存储器，一个或多个应用程序代码被存储在存储器中，并被配置为由所述处理器执行，所述一个或多个应用程序代码被配置用于执行上述任一实施例中所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种电力作业现场人员甄别方法，其特征在于，包括：
获取作业现场人员信息，所述作业现场人员信息包括现场人员名单及对应的人脸特征信息；
响应于接收到的人员资质审核指令，对获取到的班前会现场视频流进行人脸识别，通过所述人脸识别获取第一人脸特征数据；
计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，当所述相似度低于预设阈值时，发出第一报警信息，具体包括：将置信度低于预设阈值的人脸特征数据判定为可识别的人脸特征数据矩阵，输出可识别的人脸特征数据矩阵；将可识别的人脸特征数据矩阵与预先建立的人脸识别数据库中数据的欧氏距离进行匹配判断，计算式为：
Figure FDA0003512922680000011
其中，
Figure FDA0003512922680000012
为第k个可识别人员人脸特征数据矩阵中第i个数值与人脸特征数据库中第l个人员人脸特征数据矩阵的第i个数值的差值，其中，l为非0的自然数，k为大于1的自然数；
当所述相似度不低于预设阈值时，判定所述第一人脸特征数据对应的人员通过资质审核，并基于所述第一人脸特征数据优化所述预先建立的人脸特征数据；
基于通过资质审核人员的第一人脸特征数据更新所述作业现场人员信息；
响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度低于预设阈值时，发出第二报警信息；
所述通过所述人脸识别获得第二人脸特征数据，具体包括：
采用DeepSort多目标跟踪算法对作业现场视频流中的图片帧进行处理，具体包括：在所述DeepSort多目标跟踪算法中，采用卡尔曼滤波处理逐帧数据的关联性，用带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，并采用大规模人员现场工作视频对卷积神经网络进行训练后，利用训练后的卷积神经网络进行特征提取，获取第二人脸特征数据。
2.根据权利要求1所述的电力作业现场人员甄别方法，其特征在于，对所述班前会现场视频流中人脸图像进行识别，通过所述识别获取第一人脸特征数据，具体包括：
将班前会现场视频流进行解码处理，获得图片帧；
对所述图片帧进行预处理，获得待识别人脸图片帧；
输出适于图片识别的待识别图片数据矩阵；
将待识别人脸图片帧转化成图片数据矩阵；
将图片数据矩阵标准化处理，获得标准化后的图片帧矩阵；
对标准化后的图片帧矩阵进行归一化处理，输出人脸图片的浮点型矩阵。
3.根据权利要求2所述的电力作业现场人员甄别方法，其特征在于，计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，具体包括：
基于所述浮点型矩阵计算人脸特征数据的框坐标及置信度，对图片进行可识别判断；
将置信度低于预设阈值的人脸特征数据判定为可识别的人脸特征数据矩阵；
将可识别的人脸特征数据与预先建立的人脸识别数据库中的数据进行相似度计算。
4.根据权利要求3所述的电力作业现场人员甄别方法，其特征在于，所述当所述相似度低于预设阈值时，发出第一报警信息，具体包括：
将相似度低于预设阈值的人脸特征数据对应的图像中的人员标记为无资质人员，将无资质人员的人脸图像及报警信息关联做为第一报警信息，将所述第一报警信息发送到电力作业安全监管平台。
5.根据权利要求1所述的电力作业现场人员甄别方法，其特征在于，所述人员信息包括人员名单、与人员名单对应的人脸特征信息数据、与人员名单对应的作业地点及范围，并基于所述人员信息在本地预先建立人脸特征数据库。
6.根据权利要求5所述的电力作业现场人员甄别方法，其特征在于，还包括：
获取与作业现场视频流对应的现场信息，所述作业现场视频流对应的现场信息包括所述视频流的作业地点及范围信息；
将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度不低于预设阈值时，获取与所述第二人脸特征数据对应的人员；
基于人员名单对应的作业地点及范围信息，判断所述人员的作业地点及范围信息是否包括所述视频流的作业地点及范围信息，如果不包括，则发出第三报警信息。
7.一种电力作业现场人员甄别装置，其特征在于，包括：
通信模块，用于获取作业现场第一人员信息，所述作业现场人员信息包括现场人员名单及对应的人脸特征信息；
指令控制模块，用于接收人员资质审核指令和无资质人员识别指令；
智能处理模块，用于对获取到的班前会现场视频流进行人脸识别，通过所述人脸识别获取第一人脸特征数据；计算所述第一人脸特征数据与预先建立的人脸特征数据库中的数据的相似度，当所述相似度低于预设阈值时，发出第一报警信息，具体包括：将置信度低于预设阈值的人脸特征数据判定为可识别的人脸特征数据矩阵，输出可识别的人脸特征数据矩阵；将可识别的人脸特征数据矩阵与预先建立的人脸识别数据库中数据的欧氏距离进行匹配判断，计算式为：
Figure FDA0003512922680000031
其中，
Figure FDA0003512922680000032
为第k个可识别人员人脸特征数据矩阵中第i个数值与人脸特征数据库中第l个人员人脸特征数据矩阵的第i个数值的差值，其中，l为非0的自然数，k为大于1的自然数；
当所述相似度不低于预设阈值时，判定所述第一人脸特征数据对应的人员通过资质审核，并基于所述第一人脸特征数据优化所述预先建立的人脸特征数据；
当所述班前会现场视频流中所有人脸图像识别并匹配完毕，基于通过资质审核人员的第一人脸特征数据更新所述作业现场人员信息；
响应于接收到的无资质人员识别指令，对获取到的作业现场视频流进行人脸识别，通过所述人脸识别获得第二人脸特征数据，将所述第二人脸特征数据与更新后的现场人员对应的人脸特征数据进行相似度计算，当所述相似度低于预设阈值时，发出第二报警信息；
其中，所述通过所述人脸识别获得第二人脸特征数据，具体包括：
采用DeepSort多目标跟踪算法对作业现场视频流中的图片帧进行处理，具体包括：在所述DeepSort多目标跟踪算法中，采用卡尔曼滤波处理逐帧数据的关联性，用带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，并采用大规模人员现场工作视频对卷积神经网络进行训练后，利用训练后的卷积神经网络进行特征提取，获取第二人脸特征数据。
8.一种电力作业现场工作人员甄别设备，其特征在于，包括：
处理器；
与处理器连接的通信模块；
与处理器连接的存储器，一个或多个应用程序被存储在存储器中，并被配置为由所述处理器执行，所述一个或多个应用程序被配置用于执行如权利要求1-6任一项所述的方法。
CN202011539302.8A 2020-12-23 2020-12-23 一种电力作业现场人员甄别方法及相关装置 Active CN112560745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011539302.8A CN112560745B (zh) 2020-12-23 2020-12-23 一种电力作业现场人员甄别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011539302.8A CN112560745B (zh) 2020-12-23 2020-12-23 一种电力作业现场人员甄别方法及相关装置

Publications (2)

Publication Number Publication Date
CN112560745A CN112560745A (zh) 2021-03-26
CN112560745B true CN112560745B (zh) 2022-04-05

Family

ID=75031574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011539302.8A Active CN112560745B (zh) 2020-12-23 2020-12-23 一种电力作业现场人员甄别方法及相关装置

Country Status (1)

Country Link
CN (1) CN112560745B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
CN113111847A (zh) * 2021-04-29 2021-07-13 四川隧唐科技股份有限公司 一种工序循环的自动监测方法、装置和系统
CN113869245A (zh) * 2021-09-30 2021-12-31 南方电网电力科技股份有限公司 一种安全区域的识别方法及装置
CN115359639B (zh) * 2022-08-31 2023-10-27 深圳泰豪信息技术有限公司 一种基于电子两票的设备联动控制方法
CN115542362A (zh) * 2022-12-01 2022-12-30 成都信息工程大学 电力作业现场的高精度空间定位方法、系统、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617699B (zh) * 2013-12-02 2016-08-03 国家电网公司 一种电力作业现场安全智能监护系统
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技（深圳）有限公司 一种人脸识别方法、装置和系统
TW201741931A (zh) * 2016-05-27 2017-12-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
CN107808147B (zh) * 2017-11-17 2020-11-27 厦门美图之家科技有限公司 一种基于实时人脸点跟踪的人脸置信度判别方法
CN206894809U (zh) * 2017-11-27 2018-01-16 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统
CN107967569A (zh) * 2017-12-15 2018-04-27 国网江西省电力有限公司上饶供电分公司 一种优化现场稽查任务执行效果的方法
CN108833831A (zh) * 2018-06-15 2018-11-16 陈在新 一种电力施工智能安全监督系统
CN110047095B (zh) * 2019-03-06 2023-07-21 平安科技（深圳）有限公司 基于目标检测的跟踪方法、装置及终端设备
CN110414574A (zh) * 2019-07-10 2019-11-05 厦门美图之家科技有限公司 一种目标检测方法、计算设备及存储介质
CN111046817A (zh) * 2019-12-18 2020-04-21 深圳市捷顺科技实业股份有限公司 一种人员计数方法及相关设备

Also Published As

Publication number Publication date
CN112560745A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560745B (zh) 一种电力作业现场人员甄别方法及相关装置
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN107808139B (zh) 一种基于深度学习的实时监控威胁分析方法及系统
CN111079655B (zh) 一种基于融合神经网络的视频中人体行为识别方法
CN110781838A (zh) 一种复杂场景下行人的多模态轨迹预测方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及系统
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN113112151B (zh) 基于多维感知和企业数据量化的智慧风控评估方法与系统
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
CN115953815A (zh) 基建现场的监测方法及装置
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法
CN115049875A (zh) 一种基于深度学习的变电站中佩戴绝缘手套的检测方法
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统
CN110210321A (zh) 基于多维尺度变换网络与分块加权法的欠样本人脸识别方法
Xiang et al. Safety helmet detection algorithm in complex scenarios based on YOLOX
CN117237993B (zh) 作业现场违规行为检测方法、装置、存储介质及电子设备
CN116311082B (zh) 基于关键部位与图像匹配的穿戴检测方法及系统
CN115311743A (zh) 一种智能建筑的外部作业人员实时跟踪记录系统
CN116012783A (zh) 一种基于深度学习网络的电力实训场区域人数识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant