CN116778583A - 一种作业人员行为合规性甄别方法、装置和设备 - Google Patents

Abstract

本发明公开了一种作业人员行为合规性甄别方法、装置和设备，用于甄别现场作业人员行为的合规性。本发明包括：采用历史作业图像结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，通过目标肢体特征提取网络提取实时场景图像中的目标肢体特征，基于目标肢体特征和预设特征范围的对照结果来判断所述目标肢体特征对应的作业人员行为是否合规，其中采用双环优化算法对初始肢体特征提取网络的训练改进提高了初始肢体特征提取网络的鲁棒性和敏锐性，使在环境复杂的情况下作业人员行为合规性甄别的识别率得到提高。

Description

一种作业人员行为合规性甄别方法、装置和设备

技术领域

本发明涉及人员识别技术领域，尤其涉及一种作业人员行为合规性甄别方法、装置和设备。

背景技术

随着社会经济的快速发展和科技水平的不断提升，近年来我国电力事业得到了迅猛发展，在电力生产过程，对现场作业人员着装穿戴、安全工器具使用都有着严格的要求，如，在整个工作过程中，需要挽起袖子，卷起裤腿，佩戴完好的安全帽，不能敞胸露背，在使用梯子登高的过程中，需要有其他人员规范扶梯，在多人抬电杆时，必须同肩且步调一致，起放电杆应相互呼应，等等。因此，需要在现场作业过程中对作业人员的行为、着装及工器具使用等的合规性进行检测识别，如识别到现场作业人员安全措施不合规，要及时发出报警并将人员的图像进行记录。其中，作业人员行为合规性甄别中需要对人员着装、工器具和肢体等进行特征提取。

但在电力生产过程，多为班组协同作业，又多在野外工作，作业人员的肢体部位时常会相互被遮挡、咬合、渗透，且周围居民来回走动，车辆、物体不时穿过，会随机对作业人员肢体动作的识别造成严重的干扰，现有的作业人员行为合规性甄别方法中肢体特征提取的准确率较低，作业人员行为合规性甄别的识别率低，存在安全隐患。

发明内容

本发明提供了一种作业人员行为合规性甄别方法、装置和设备，解决了在环境复杂的情况下作业人员行为合规性甄别的识别率低的技术问题。

本发明第一方面提供了一种作业人员行为合规性甄别方法，包括：

响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵；

采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络；

当接收到电力作业监管系统的识别请求时，获取所述识别请求对应的作业区域图像并进行预处理，生成图像矩阵；

通过所述目标肢体特征提取网络提取所述图像矩阵中的目标肢体特征；

基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员行为是否合规。

可选地，所述响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵，包括：

响应模型训练请求，获取历史作业场景视频；

对所述历史作业场景视频进行裁剪和缩放，得到多个历史人体图像；

数字化多个所述历史人体图像中的像素点，生成多个第一历史图像矩阵；

按照预设亮度和预设对比度对多个所述第一历史图像矩阵的局部亮度和对比度进行调整，并将多个所述第一历史图像矩阵的倾斜角度矫正至预设角度，生成多个第二历史图像矩阵；

按照预设尺寸、预设像素和预设比例对多个所述第二历史图像矩阵进行标准化，生成多个历史图像矩阵。

可选地，所述采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，包括：

从多个所述历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵；

通过所述初始肢体特征提取网络提取所述目标历史图像矩阵中的历史肢体特征数据；

采用所述历史肢体特征数据、所述目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值；

采用所述综合优化值调整所述初始肢体特征提取网络中的参数，生成更新后的初始肢体特征提取网络；

跳转执行所述从多个所述历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵的步骤，直至所述综合优化值收敛，生成目标肢体特征提取网络。

可选地，所述双环优化算法包括自动适配滤网参数函数、外环优化函数、内环优化函数和综合优化函数；所述采用所述历史肢体特征数据、所述目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值，包括：

采用所述历史肢体特征数据和所述实际特征数据，通过所述自动适配滤网参数函数，计算自动适配滤网参数；

采用所述自动滤网参数和所述历史肢体特征数据，通过所述外环优化函数，计算外环优化值；

采用所述自动滤网参数、所述历史肢体特征数据和所述实际特征数据，通过所述内环优化函数，计算内环优化值；

采用所述外环优化值和所述内环优化值，通过所述综合优化函数，计算综合优化值。

可选地，所述历史肢体特征数据包括历史肢体像素预估数组，所述实际特征数据包括历史肢体像素实际数组，所述自动适配滤网参数函数包括第一加法器、第一减法器、第二减法器、第三减法器、第四减法器、第一对数计算模块、第二对数计算模块、第一指数计算模块、第一设定模块、第二设定模块、第三设定模块、第四设定模块、第五设定模块、第一除法器、第一乘法器、第二乘法器和第三乘法器；所述采用所述历史肢体特征数据和所述实际特征数据，通过所述自动适配滤网参数函数，计算自动适配滤网参数，包括：

所述历史肢体像素实际数组送到第一加法器的第一输入端，所述历史肢体像素预估数组送到第一加法器的第二输入端，进行加法运算；

第一设定模块输出的第一调整系数送到第一减法器的第一输入端，第一加法器的输出接到第一减法器的第二输入端，进行减法运算；

第一减法器的输出接到第一对数计算模块的输入端，进行对数运算；

第一加法器的输出还接到第二对数计算模块的输入端，进行对数运算；

第一对数计算模块的输出接到第二减法器的第一输入端，第二对数计算模块的输出接到第二减法器的第二输入端，进行减法运算；

第二减法器的输出分两路接到第一乘法器，进行乘法运算；

第一乘法器的输出接到第二乘法器的第一输入端，第二设定模块输出的第二调整系数送到第二乘法器的第二输入端，进行乘法运算；

第二乘法器的输出接到第一除法器的第一输入端，第四设定模块输出的第四调整系数送到第一除法器的第二输入端，进行除法运算；

第一除法器的输出接到第一指数计算模块的输入端，进行指数运算；

第三设定模块输出的第三调整系数送到第三减法器的第二输入端，第五设定模块输出的第五调整系数送到第三减法器的第一输入端，进行减法运算；

第一指数计算模块的输出接到第三乘法器的第二输入端，第三减法器的运算结果送到第三乘法器的第一输入端，进行乘法运算；

第三乘法器的输出接到第四减法器的第二输入端，第五设定模块输出的第五调整系数还送到第四减法器的第一输入端，进行减法运算，输出所述自动适配滤网参数。

可选地，所述历史肢体特征数据包括第一预估肢体关节点数组、第二预估肢体关节点数组及与所述第一预估肢体关节点数组和所述第二预估肢体关节数组对应的预估肢体矢量数据，所述实际特征数据包括实际历史肢体关节点数组，所述外环优化函数包括第四乘法器、第五乘法器、第七乘法器、第二加法器、第一开方器、第五减法器、第六减法器、第二除法器、第三除法器、第六设定模块、第一绝对值计算模块、第一累加器和第二累加器；所述采用所述自动滤网参数和所述历史肢体特征数据，通过所述外环优化函数，计算外环优化值，包括：

所述第一预估肢体关节点数组分两路送到第四乘法器，进行乘法运算；

所述第二预估肢体关节点数组分两路送到第五乘法器，进行乘法运算；

第四乘法器的输出接到第二加法器的第一输入端，第五乘法器的输出接到第二加法器的的第二输入端，进行加法运算；

第二加法器的输出接到第一开方器的输入端，进行开方运算；

所述第一预估肢体关节点数组还送到第五减法器的第一输入端，所述第二预估肢体关节点数组还送到第五减法器的第二输入端，进行减法运算；

第一开方器的输出接到第二除法器的第二输入端，第五减法器的输出接到第二除法器的第一输入端，进行除法运算；

第二除法器的输出接到第一累加器的输入端，进行累加运算；

第六设定模块输出的第一调整系数送到第三除法器的第二输入端，第一累加器的输出接到第三除法器的第一输入端，进行除法运算；

第三除法器的输出接到第六减法器的第二输入端，所述预估肢体矢量数据送到第六减法器的第一输入端，进行减法运算；

第六减法器的输出接到第一绝对值计算模块的输入端，进行绝对值运算；

第一绝对值计算模块的输出接到第七乘法器的第一输入端，所述自动适配滤网参数送到第七乘法器的第二输入端，进行乘法运算；

第七乘法器的输出接到第二累加器的输入端，进行累加运算，输出所述外环优化值。

可选地，所述历史肢体特征数据包括历史关节点预估置信值数组、历史肢体像素检测数组，所述实际特征数据包括n个实际历史关节点像素点数组，所述内环优化函数包括n+1个减法器、n+1个绝对值计算模块、n个除法器、n个指数计算模块、n个设定模块、大值比较模块、第八乘法器和第三累加器，n为肢体关节点数量，n为正整数；所述采用所述自动滤网参数、所述历史肢体特征数据和所述实际特征数据，通过所述内环优化函数，计算内环优化值，包括：

所述历史肢体像素检测数组分别送到第1至第n个减法器的第一输入端，n个所述实际历史关节点像素点数组分别送到对应的减法器的第二输入端，进行减法运算；

第1至第n个减法器的输出分别接到对应的绝对值计算模块的输入端，进行绝对值运算；

第1至第n个绝对值计算模块的输出分别接到对应的除法器的第一输入端，第1至第n个设定模块输出的调整系数分别送到对应的除法器的第二输入端，进行除法运算；

第1至第n个除法器的输出分别接到对应的指数计算模块的输入端，进行指数运算；

第1至第n个指数计算模块的输出分别接到大值比较模块的输入端，计算最大值；

大值比较模块的输出接到第n+1个减法器的第二输入端，所述历史关节点预估置信值数组送到第n+1个减法器的第一输入端，进行减法运算；

第n+1个减法器的输出接到第n+1个绝对值计算模块的输入端，进行绝对值运算；

第n+1个绝对值计算模块的输出接到第八乘法器的第一输入端，所述自动适配滤网参数送到第八乘法器的第二输入端，进行乘法运算；

第八乘法器的输出接到第三累加器的输入端，进行累加运算，输出所述内环优化值。

可选地，所述基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员的行为是否合规，包括：

对照所述目标肢体特征和预设特征范围；

若所述目标肢体特征处于预设特征范围，则判定所述目标肢体特征对应的工作人员行为合规；

若所述目标肢体特征不处于预设特征范围，则判定所述目标肢体特征对应的工作人员行为不合规。

本发明第二方面提供了一种作业人员行为合规性甄别装置，包括：

历史图像预处理模块，用于响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵；

网络训练模块，用于采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络；

图像预处理模块，用于当接收到电力作业监管系统的识别请求时，获取所述识别请求对应的作业区域图像并进行预处理，生成图像矩阵；

特征提取模块，用于通过所述目标肢体特征提取网络提取所述图像矩阵中的目标肢体特征；

合规性判断模块，用于基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员行为是否合规。

本发明第三方面提供了一种电子设备，包括存储器和处理器；

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令执行本发明第一方面任一项所述的作业人员行为合规性甄别方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明通过采用历史作业图像结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，通过目标肢体特征提取网络提取实时场景图像中的目标肢体特征，基于目标肢体特征和预设特征范围的对照结果来判断所述目标肢体特征对应的作业人员行为是否合规，其中采用双环优化算法对初始肢体特征提取网络的训练改进提高了初始肢体特征提取网络的鲁棒性和敏锐性，使在环境复杂的情况下作业人员行为合规性甄别的识别率得到提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的一种作业人员行为合规性甄别方法的步骤流程图；

图2为本发明实施例一提供的电力作业监管训练平台的结构示意图；

图3为本发明实施例二提供的一种作业人员行为合规性甄别方法的步骤流程图；

图4为本发明实施例二提供的自动适配滤网参数函数的计算流程图；

图5为本发明实施例二提供的外环优化函数的计算流程图；

图6为本发明实施例二提供的内环优化函数的计算流程图；

图7为本发明实施例二提供的综合优化函数的计算流程图；

图8为本发明实施例三提供的一种作业人员行为合规性甄别装置的结构框图。

具体实施方式

本发明实施例提供了一种作业人员行为合规性甄别方法、装置和设备，用于解决在环境复杂的情况下作业人员行为合规性甄别的识别率低的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例一提供的一种作业人员行为合规性甄别方法的步骤流程图。

本发明提供的一种作业人员行为合规性甄别方法，包括：

步骤101，响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵。

可以理解的是，预处理可以包括从历史作业场景视频中裁剪出人体图像、矫正人体角度、调整画面、标准化等操作，以形成满足检测精度、适合于图片识别的数据矩阵输出给后面的步骤。

步骤102，采用多个历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络。

可以理解的是，初始肢体特征提取网络为基于CNN(Convolutional NeuralNetwork，卷积神经网络)如VD-CNN,F-CNN等构建而成，灵活运用数据增强技术策略，对不同组肢体关键节点(以下简称关节点)，采用相应的增强化参数，消除不同肢体关节点分辨度的差异，提高在各种尺度、背景、照明下检测的准确度，检测、增强并提取图像中人体肢体的特征数据。泛CNN系统优化、训练结果的好坏是提高作业人员行为合规性甄别方法鲁棒性、敏锐性的关键。

需要说明的是，步骤102采用双环优化算法对初始肢体特征提取网络进行离线/在线的训练改进、滚动优化调整，以提高初始肢体特征提取网络的鲁棒性和敏锐性，提高了在环境复杂的情况下作业人员行为合规性甄别的识别率。

可选地，步骤102可以在电力作业监管训练平台中进行，请参阅图2，图2为电力作业监管训练平台的结构示意图，电力作业监管训练平台中包括物理资源层201、调度管理层202、训练环境层203和业务应用层204，确保智能识别算法可正常稳定运行，并移植到边缘侧终端上，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。

物理资源层201包括异构的计算硬件(CPU、GPU)、存储、网络设备、安全防护设备。

调度管理层202基于Kubernetes和docker开发，包含集群管理、资源虚拟化和任务调度等。

训练环境层203是以docker的形式提供的服务，包括主流学习框架TensorFlow、PyTorch、Caffe、scikit-learn、XGBoost等机器学习/深度学习环境，同时集成JupyterHub等交互式代码调试笔记本和MPI并行编程接口。系统运行环境和学习环境通过docker仓库进行版本的迭代管理。

业务应用层204包括数据处理、数据标注、模型训练、模型发布，其中模型训练模块基于各个机器学习、深度学习训练环境，通过预先编写好的训练脚本，配置好参数后挂起训练。整个训练流程由后台搭建的管道(pipeline)自动完成，围绕数据处理、数据标注、训练、模型管理流程展开模型生产。模型训练通过docker预置TensorFlow、PyTorch、Caffe、scikit-learn、XGBoost等学习环境。利用任务调度系统，用户可以向集群提交学习任务代码，任务管理系统将根据用户的配额为用户分配资源，创建用户指定的环境，并将学习任务加入任务队列，待资源空闲时，运行学习程序。用户可一键提交代码，生成分布式任务，极大减少开发成本和资源占用。

步骤103，当接收到电力作业监管系统的识别请求时，获取识别请求对应的作业区域图像并进行预处理，生成图像矩阵。

可以理解的是，电力作业监管系统用于对电力作业现场进行实时的监控和管理，可以进行人员行为合规性甄别、智能运维、智能化安防报警、智能化监管等。

步骤104，通过目标肢体特征提取网络提取图像矩阵中的目标肢体特征。

需要说明的是，目标肢体特征提取网络提取到的目标肢体特征可以包括图像中各肢体的模型数据、特征图数据、置信度数据、关节点数据及肢体矢量数据等。

步骤105，基于目标肢体特征和预设特征范围的对照结果，判断目标肢体特征对应的作业人员行为是否合规。

可以理解的是，预设特征范围可以根据作业人员安全行为规范相应的标准行为动作来设定。

在本发明实施例一中，通过采用历史作业图像结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，通过目标肢体特征提取网络提取实时场景图像中的目标肢体特征，基于目标肢体特征和预设特征范围的对照结果来判断所述目标肢体特征对应的作业人员行为是否合规，其中采用双环优化算法对初始肢体特征提取网络的训练改进提高了初始肢体特征提取网络的鲁棒性和敏锐性，使在环境复杂的情况下作业人员行为合规性甄别的识别率得到提高。

请参阅图3，图3为本发明实施例二提供的一种作业人员行为合规性甄别方法的步骤流程图。

本发明提供的一种作业人员行为合规性甄别方法，包括：

步骤301，响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵。

可选地，步骤301包括以下子步骤：

响应模型训练请求，获取历史作业场景视频；

对历史作业场景视频进行裁剪和缩放，得到多个历史人体图像；

数字化多个历史人体图像中的像素点，生成多个第一历史图像矩阵；

按照预设亮度和预设对比度对多个第一历史图像矩阵的局部亮度和对比度进行调整，并将多个第一历史图像矩阵的倾斜角度矫正至预设角度，生成多个第二历史图像矩阵；

按照预设尺寸、预设像素和预设比例对多个第二历史图像矩阵进行标准化，生成多个历史图像矩阵。

可以理解的是，在从历史作业场景视频的每一图像帧中裁剪出包含人体的部分并进行缩放，得到历史人体图像后，可以通过卷积神经网络将历史人体图像中转化为图像矩阵，以便于后面的图像处理。

将多个第一历史图像矩阵的倾斜角度矫正至预设角度，为矫正图像中的人体倾斜角度至预设角度，以便于后续步骤中初始肢体特征提取网络的识别。预设角度为预设的人体倾斜角度。

步骤302，从多个历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵。

在本发明实施例中，预设规则可以是单纯随机抽样、分层抽样、系统抽样、整群抽样或多阶段抽样等随机抽样规则。

步骤303，通过初始肢体特征提取网络提取目标历史图像矩阵中的历史肢体特征数据。

需要说明的是，图像中的人体按肢体结构可以分为头部、躯干、手臂、手、腿和脚等多个肢体部位，而每个肢体部位可以包括一个以上的关节点。初由于目标历史图像矩阵中的肢体部位时常存在部分被遮挡的情况，初始肢体特征提取网络会根据检测到的图像上未被遮挡的肢体部分，经计算处理增强后生成表征整个人体肢体的历史肢体特征数据，历史肢体特征数据可以包括图像中各肢体的模型数据、特征图数据、置信度数据、关节点数据、肢体矢量数据及像素点数据等，按肢体的遮挡情况可以分为图像中未被遮挡肢体部位相应的检测数据和被遮挡肢体部位相应的预估数据。

步骤304，采用历史肢体特征数据、目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值。

需要说明的是，实际特征数据为目标历史图像矩阵对应的实际的肢体特征数据，可以通过人为标注目标历史图像矩阵中的肢体和关节点的实际位置和区域来获取。

可选地，双环优化算法包括自动适配滤网参数函数、外环优化函数、内环优化函数和综合优化函数；步骤304包括以下子步骤：

S1、采用历史肢体特征数据和实际特征数据，通过自动适配滤网参数函数，计算自动适配滤网参数；

S2、采用自动滤网参数和历史肢体特征数据，通过外环优化函数，计算外环优化值；

S3、采用自动滤网参数、历史肢体特征数据和实际特征数据，通过内环优化函数，计算内环优化值；

S4、采用外环优化值和内环优化值，通过综合优化函数，计算综合优化值。

可选地，历史肢体特征数据包括历史肢体像素预估数组，实际特征数据包括历史肢体像素实际数组；

请参阅图4，图4为本发明实施例二提供的自动适配滤网参数函数的计算流程图，自动适配滤网参数函数包括第一加法器401、第一减法器403、第二减法器406、第三减法器414、第四减法器417、第一对数计算模块404、第二对数计算模块405、第一指数计算模块412、第一设定模块402、第二设定模块409、第三设定模块413、第四设定模块411、第五设定模块415、第一除法器410、第一乘法器407、第二乘法器408和第三乘法器416；子步骤S1包括：

历史肢体像素实际数组送到第一加法器401的第一输入端，历史肢体像素预估数组送到第一加法器401的第二输入端，进行加法运算；

第一设定模块402输出的第一调整系数送到第一减法器403的第一输入端，第一加法器401的输出接到第一减法器403的第二输入端，进行减法运算；

第一减法器403的输出接到第一对数计算模块404的输入端，进行对数运算；

第一加法器401的输出还接到第二对数计算模块405的输入端，进行对数运算；

第一对数计算模块404的输出接到第二减法器406的第一输入端，第二对数计算模块405的输出接到第二减法器406的第二输入端，进行减法运算；

第二减法器406的输出分两路接到第一乘法器407，进行乘法运算；

第一乘法器407的输出接到第二乘法器408的第一输入端，第二设定模块409输出的第二调整系数送到第二乘法器408的第二输入端，进行乘法运算；

第二乘法器408的输出接到第一除法器410的第一输入端，第四设定模块411输出的第四调整系数送到第一除法器410的第二输入端，进行除法运算；

第一除法器410的输出接到第一指数计算模块412的输入端，进行指数运算；

第三设定模块413输出的第三调整系数送到第三减法器414的第二输入端，第五设定模块415输出的第五调整系数送到第三减法器414的第一输入端，进行减法运算；

第一指数计算模块412的输出接到第三乘法器416的第二输入端，第三减法器414的运算结果送到第三乘法器416的第一输入端，进行乘法运算；

第三乘法器416的输出接到第四减法器417的第二输入端，第五设定模块415输出的第五调整系数还送到第四减法器417的第一输入端，进行减法运算，输出自动适配滤网参数。

需要说明的是，历史肢体像素预估数组指的是初始肢体特征提取网络输出的肢体像素预估数据；历史肢体像素实际数组指的是目标历史图像矩阵中被标注的实际的肢体像素数据。

可选地，历史肢体特征数据包括第一预估肢体关节点数组、第二预估肢体关节数组及与所述第一预估肢体关节点数组和所述第二预估肢体关节数组对应的预估肢体矢量数据；

请参阅图5，图5为本发明实施例二提供的外环优化函数的计算流程图，外环优化函数包括第四乘法器501、第五乘法器502、第七乘法器512、第二加法器503、第一开方器504、第五减法器505、第六减法器510、第二除法器506、第三除法器509、第六设定模块508、第一绝对值计算模块511、第一累加器507和第二累加器513；子步骤S2包括：

第一预估肢体关节点数组分两路送到第四乘法器501，进行乘法运算；

第二预估肢体关节数组分两路送到第五乘法器502，进行乘法运算；

第四乘法器501的输出接到第二加法器503的第一输入端，第五乘法器502的输出接到第二加法器503的的第二输入端，进行加法运算；

第二加法器503的输出接到第一开方器504的输入端，进行开方运算；

第一预估肢体关节数组还送到第五减法器505的第一输入端，第二预估肢体关节数组还送到第五减法器505的第二输入端，进行减法运算；

第一开方器504的输出接到第二除法器506的第二输入端，第五减法器505的输出接到第二除法器506的第一输入端，进行除法运算；

第二除法器506的输出接到第一累加器507的输入端，进行累加运算；

第六设定模块508输出的第一调整系数送到第三除法器509的第二输入端，第一累加器507的输出接到第三除法器509的第一输入端，进行除法运算；

第三除法器509的输出接到第六减法器510的第二输入端，预估肢体矢量数据送到第六减法器510的第一输入端，进行减法运算；

第六减法器510的输出接到第一绝对值计算模块511的输入端，进行绝对值运算；

第一绝对值计算模块511的输出接到第七乘法器512的第一输入端，自动适配滤网参数送到第七乘法器512的第二输入端，进行乘法运算；

第七乘法器512的输出接到第二累加器513的输入端，进行累加运算，输出外环优化值。

需要说明的是，初始肢体特征提取网络从目标历史图像矩阵中提取到的历史肢体特征数据包括所有关节点对应的多个预估肢体关节点数组和所有关节间的多个预估肢体矢量数据；

其中，预估肢体关节点数组指的是初始肢体特征提取网络输出的各关节点位置的预估数据，包括第一预估肢体关节点数组和第二预估肢体关节点数组，第一预估肢体关节点数组和第二预估肢体关节点数组指代任意两个相邻的关节点对应的预估肢体关节点数组；预估肢体矢量数据指的是初始肢体特征提取网络输出的各相邻关节点间矢量的预估数据，与第一预估肢体关节点数组和第二预估肢体关节数组对应的预估肢体矢量数据指的是第一预估肢体关节点数组对应的关节点与第二预估肢体关节点数组对应的关节点之间的矢量数据；

由于选取任意两个相邻的关节点组成的关节点组合有多个，以上外环优化函数的计算流程只针对一个关节点组合的外环优化函数值进行计算，实际应计算全部关节点组合各对应的外环优化值，以用于后续步骤的综合优化值计算。

可选地，历史肢体特征数据包括历史关节点预估置信值数组和历史肢体像素检测数组，实际特征数据包括n个实际历史关节点像素点数组；

请参阅图6，图6为本发明实施例二提供的内环优化函数的计算流程图，内环优化函数包括n+1个减法器601.1-601.n及607、n+1个绝对值计算模块602.1-602.n及608、n个除法器603.1-603.n、n个指数计算模块605.1-605.n、n个设定模块604.1-604.n、大值比较模块606、第八乘法器609和第三累加器610，n为肢体关节点数量，n为正整数；子步骤S3包括：

历史肢体像素检测数组分别送到第1至第n个减法器601.1-601.n的第一输入端，n个实际历史关节点像素点数组分别送到对应的减法器601.1-601.n的第二输入端，进行减法运算；

第1至第n个减法器601.1-601.n的输出分别接到对应的绝对值计算模块602.1-602.n的输入端，进行绝对值运算；

第1至第n个绝对值计算模块602.1-602.n的输出分别接到对应的除法器603.1-603.n的第一输入端，第1至第n个设定模块604.1-604.n输出的调整系数分别送到对应的除法器603.1-603.n的第二输入端，进行除法运算；

第1至第n个除法器603.1-603.n的输出分别接到对应的指数计算模块605.1-605.n的输入端，进行指数运算；

第1至第n个指数计算模块605.1-605.n的输出分别接到大值比较模块606的输入端，计算最大值；

大值比较模块606的输出接到第n+1个减法器607的第二输入端，历史关节点预估置信值数组送到第n+1个减法器607的第一输入端，进行减法运算；

第n+1个减法器607的输出接到第n+1个绝对值计算模块608的输入端，进行绝对值运算；

第n+1个绝对值计算模块608的输出接到第八乘法器609的第一输入端，自动适配滤网参数送到第八乘法器609的第二输入端，进行乘法运算；

第八乘法器609的输出接到第三累加器610的输入端，进行累加运算，输出内环优化值。

需要说明的是，此步骤中的n个关节点属于同个肢体部位，以上内环优化函数的计算流程只针对一个肢体部位的内环优化函数值进行计算，实际应计算全部肢体部位各对应的内环优化值，以用于后续步骤的综合优化值计算；历史关节点预估置信值数组指的是初始肢体特征提取网络输出的包括所有关节点在各个像素点的置信值的预估数据；历史肢体像素检测数组指的是初始肢体特征提取网络输出的肢体像素检测数据；实际历史关节点像素点数组指的是目标历史图像矩阵中被标注的实际的关节点像素点数组。

可选地，请参阅图7，图7为本发明实施例二提供的综合优化函数的计算流程图，综合优化函数包括第四累加器701、第五累加器704、第三加法器702、第四加法器705、第五加法器707、第七设定模块703和第八设定模块706；子步骤S4包括：

外环优化值送到第四累加器701的输入端，进行累加运算；

第四累加器701的输出接到第三加法器702的第一输入端，第七设定模块703输出的第七调整系数送到第三加法器702的第二输入端，进行加法运算；

内环优化值送到第五累加器704的输入端，进行累加运算；

第五累加器704的输出接到第四加法器705的第一输入端，第八设定模块706输出的第八调整系数送到第四加法器705的第二输入端，进行加法运算；

第三加法器702的输出接到第五加法器707的第一输入端，第四加法器705的输出接到第五加法器707的第二输入端，进行加法运算，输出综合优化值。

需要说明的是，以上综合优化函数的计算流程中输入的是全部关节点组合各对应的外环优化值和全部肢体部位各对应的内环优化值。

步骤305，采用综合优化值调整初始肢体特征提取网络中的参数，生成更新后的初始肢体特征提取网络。

需要说明的是，在计算出综合优化值后，可以利用自适应估计方法(AdaptiveEstimates)通过反向传播调整初始肢体特征提取网络中的参数。

步骤306，跳转执行步骤302，直至综合优化值收敛，生成目标肢体特征提取网络。

可以理解的是，步骤302至步骤306为从初始肢体特征提取网络得到目标肢体特征提取网络的训练过程，采用了双环优化算法对初始肢体特征提取网络进行离线/在线的训练改进、滚动优化调整，其中内环优化值表征了初始肢体特征提取网络输出与实际的肢体关节点像素点数据的最大置信度，外环优化值表征了关节点间的肢体矢量阵，通过对初始肢体特征提取网络的参数的调整，优化了初始肢体特征提取网络的识别误差。

步骤307，当接收到电力作业监管系统的识别请求时，获取识别请求对应的作业区域图像并进行预处理，生成图像矩阵。

步骤308，通过目标肢体特征提取网络提取图像矩阵中的目标肢体特征；

步骤309，基于目标肢体特征和预设特征范围的对照结果，判断目标肢体特征对应的作业人员行为是否合规。

可选地，步骤309包括以下子步骤：

对照目标肢体特征和预设特征范围；

若目标肢体特征处于预设特征范围，则判定目标肢体特征对应的工作人员行为合规；

若目标肢体特征不处于预设特征范围，则判定目标肢体特征对应的工作人员行为不合规。

在本发明实施例二中，通过采用历史作业图像结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，通过目标肢体特征提取网络提取实时场景图像中的目标肢体特征，基于目标肢体特征和预设特征范围的对照结果来判断所述目标肢体特征对应的作业人员行为是否合规，其中采用双环优化算法对初始肢体特征提取网络进行训练改进，外环优化值表征了初始肢体特征提取网络输出与实际的肢体关节点数据的最大置信度，内环优化值表征了关节点间的肢体矢量阵，通过对初始肢体特征提取网络的参数的调整，优化了初始肢体特征提取网络的识别误差，提高了初始肢体特征提取网络的鲁棒性和敏锐性，使在环境复杂的情况下作业人员行为合规性甄别的识别率得到提高。

请参阅图8，图8为本发明实施例三提供的一种作业人员行为合规性甄别装置的结构框图。

本发明提供的一种作业人员行为合规性甄别装置，包括：

历史图像预处理模块801，用于响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵；

网络训练模块802，用于采用多个历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络；

图像预处理模块803，用于当接收到电力作业监管系统的识别请求时，获取识别请求对应的作业区域图像并进行预处理，生成图像矩阵；

特征提取模块804，用于通过目标肢体特征提取网络提取图像矩阵中的目标肢体特征；

合规性判断模块805，用于基于目标肢体特征和预设特征范围的对照结果，判断目标肢体特征对应的作业人员行为是否合规。

可选地，历史图像预处理模块801具体用于：

响应模型训练请求，获取历史作业场景视频；

对历史作业场景视频进行裁剪和缩放，得到多个历史人体图像；

数字化多个历史人体图像中的像素点，生成多个第一历史图像矩阵；

按照预设亮度和预设对比度对多个第一历史图像矩阵的局部亮度和对比度进行调整，并将多个第一历史图像矩阵的倾斜角度矫正至预设角度，生成多个第二历史图像矩阵；

按照预设尺寸、预设像素和预设比例对多个第二历史图像矩阵进行标准化，生成多个历史图像矩阵。

可选地，网络训练模块802包括以下子模块：

目标选取子模块，用于从多个历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵；

特征提取子模块，用于通过初始肢体特征提取网络提取目标历史图像矩阵中的历史肢体特征数据；

双环优化计算子模块，用于采用历史肢体特征数据、目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值；

参数调整子模块，用于采用综合优化值调整初始肢体特征提取网络中的参数，生成更新后的初始肢体特征提取网络；

网络训练子模块，用于跳转到目标选取子模块执行相应的步骤，直至综合优化值收敛，生成目标肢体特征提取网络。

可选地，双环优化算法包括自动适配滤网参数函数、外环优化函数、内环优化函数和综合优化函数；双环优化计算子模块包括以下单元：

自动适配滤网参数计算单元，用于采用历史肢体特征数据和实际特征数据，通过自动适配滤网参数函数，计算自动适配滤网参数；

外环优化值计算单元，用于采用自动滤网参数和历史肢体特征数据，通过外环优化函数，计算外环优化值；

内环优化值计算单元，用于采用自动滤网参数、历史肢体特征数据和实际特征数据，通过内环优化函数，计算内环优化值；

综合优化值计算单元，用于采用外环优化值和内环优化值，通过综合优化函数，计算综合优化值。

可选地，合规性判断模块805包括以下子模块：

数据对照子模块，用于对照目标肢体特征和预设特征范围；

第一判断子模块，用于若目标肢体特征处于预设特征范围，则判定目标肢体特征对应的工作人员行为合规；

第二判断子模块，用于若目标肢体特征不处于预设特征范围，则判定目标肢体特征对应的工作人员行为不合规。

本发明实施例还提供了一种电子设备，包括存储器和处理器，存储器用于存储程序代码，并将程序代码传输给处理器，处理器用于根据程序代码中的指令执行的作业人员行为合规性甄别方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、模块、子模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种作业人员行为合规性甄别方法，其特征在于，包括：

响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵；

采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络；

当接收到电力作业监管系统的识别请求时，获取所述识别请求对应的作业区域图像并进行预处理，生成图像矩阵；

通过所述目标肢体特征提取网络提取所述图像矩阵中的目标肢体特征；

基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员行为是否合规。

2.根据权利要求1所述的作业人员行为合规性甄别方法，其特征在于，所述响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵，包括：

响应模型训练请求，获取历史作业场景视频；

对所述历史作业场景视频进行裁剪和缩放，得到多个历史人体图像；

数字化多个所述历史人体图像中的像素点，生成多个第一历史图像矩阵；

按照预设亮度和预设对比度对多个所述第一历史图像矩阵的局部亮度和对比度进行调整，并将多个所述第一历史图像矩阵的倾斜角度矫正至预设角度，生成多个第二历史图像矩阵；

按照预设尺寸、预设像素和预设比例对多个所述第二历史图像矩阵进行标准化，生成多个历史图像矩阵。

3.根据权利要求1所述的作业人员行为合规性甄别方法，其特征在于，所述采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络，包括：

从多个所述历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵；

通过所述初始肢体特征提取网络提取所述目标历史图像矩阵中的历史肢体特征数据；

采用所述历史肢体特征数据、所述目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值；

采用所述综合优化值调整所述初始肢体特征提取网络中的参数，生成更新后的初始肢体特征提取网络；

跳转执行所述从多个所述历史图像矩阵中按照预设规则选取一个作为目标历史图像矩阵的步骤，直至所述综合优化值收敛，生成目标肢体特征提取网络。

4.根据权利要求3所述的作业人员行为合规性甄别方法，其特征在于，所述双环优化算法包括自动适配滤网参数函数、外环优化函数、内环优化函数和综合优化函数；所述采用所述历史肢体特征数据、所述目标历史图像矩阵对应的实际特征数据和预设的双环优化算法，计算综合优化值，包括：

采用所述历史肢体特征数据和所述实际特征数据，通过所述自动适配滤网参数函数，计算自动适配滤网参数；

采用所述自动滤网参数和所述历史肢体特征数据，通过所述外环优化函数，计算外环优化值；

采用所述自动滤网参数、所述历史肢体特征数据和所述实际特征数据，通过所述内环优化函数，计算内环优化值；

采用所述外环优化值和所述内环优化值，通过所述综合优化函数，计算综合优化值。

5.根据权利要求4所述的作业人员行为合规性甄别方法，其特征在于，所述历史肢体特征数据包括历史肢体像素预估数组，所述实际特征数据包括历史肢体像素实际数组，所述自动适配滤网参数函数包括第一加法器、第一减法器、第二减法器、第三减法器、第四减法器、第一对数计算模块、第二对数计算模块、第一指数计算模块、第一设定模块、第二设定模块、第三设定模块、第四设定模块、第五设定模块、第一除法器、第一乘法器、第二乘法器和第三乘法器；所述采用所述历史肢体特征数据和所述实际特征数据，通过所述自动适配滤网参数函数，计算自动适配滤网参数，包括：

所述历史肢体像素实际数组送到第一加法器的第一输入端，所述历史肢体像素预估数组送到第一加法器的第二输入端，进行加法运算；

第一设定模块输出的第一调整系数送到第一减法器的第一输入端，第一加法器的输出接到第一减法器的第二输入端，进行减法运算；

第一减法器的输出接到第一对数计算模块的输入端，进行对数运算；

第一加法器的输出还接到第二对数计算模块的输入端，进行对数运算；

第一对数计算模块的输出接到第二减法器的第一输入端，第二对数计算模块的输出接到第二减法器的第二输入端，进行减法运算；

第二减法器的输出分两路接到第一乘法器，进行乘法运算；

第一乘法器的输出接到第二乘法器的第一输入端，第二设定模块输出的第二调整系数送到第二乘法器的第二输入端，进行乘法运算；

第二乘法器的输出接到第一除法器的第一输入端，第四设定模块输出的第四调整系数送到第一除法器的第二输入端，进行除法运算；

第一除法器的输出接到第一指数计算模块的输入端，进行指数运算；

第三设定模块输出的第三调整系数送到第三减法器的第二输入端，第五设定模块输出的第五调整系数送到第三减法器的第一输入端，进行减法运算；

第一指数计算模块的输出接到第三乘法器的第二输入端，第三减法器的运算结果送到第三乘法器的第一输入端，进行乘法运算；

第三乘法器的输出接到第四减法器的第二输入端，第五设定模块输出的第五调整系数还送到第四减法器的第一输入端，进行减法运算，输出所述自动适配滤网参数。

6.根据权利要求4所述的作业人员行为合规性甄别方法，其特征在于，所述历史肢体特征数据包括第一预估肢体关节点数组、第二预估肢体关节数组及与所述第一预估肢体关节点数组和所述第二预估肢体关节数组对应的预估肢体矢量数据，所述外环优化函数包括第四乘法器、第五乘法器、第七乘法器、第二加法器、第一开方器、第五减法器、第六减法器、第二除法器、第三除法器、第六设定模块、第一绝对值计算模块、第一累加器和第二累加器；所述采用所述自动滤网参数和所述历史肢体特征数据，通过所述外环优化函数，计算外环优化值，包括：

所述第一预估肢体关节点数组分两路送到第四乘法器，进行乘法运算；

所述第二预估肢体关节点数组分两路送到第五乘法器，进行乘法运算；

第四乘法器的输出接到第二加法器的第一输入端，第五乘法器的输出接到第二加法器的的第二输入端，进行加法运算；

第二加法器的输出接到第一开方器的输入端，进行开方运算；

所述第一预估肢体关节点数组还送到第五减法器的第一输入端，所述第二预估肢体关节点数组还送到第五减法器的第二输入端，进行减法运算；

第一开方器的输出接到第二除法器的第二输入端，第五减法器的输出接到第二除法器的第一输入端，进行除法运算；

第二除法器的输出接到第一累加器的输入端，进行累加运算；

第六设定模块输出的第一调整系数送到第三除法器的第二输入端，第一累加器的输出接到第三除法器的第一输入端，进行除法运算；

第三除法器的输出接到第六减法器的第二输入端，所述预估肢体矢量数据送到第六减法器的第一输入端，进行减法运算；

第六减法器的输出接到第一绝对值计算模块的输入端，进行绝对值运算；

第一绝对值计算模块的输出接到第七乘法器的第一输入端，所述自动适配滤网参数送到第七乘法器的第二输入端，进行乘法运算；

第七乘法器的输出接到第二累加器的输入端，进行累加运算，输出所述外环优化值。

7.根据权利要求4所述的作业人员行为合规性甄别方法，其特征在于，所述历史肢体特征数据包括历史关节点预估置信值数组和历史肢体像素检测数组，所述实际特征数据包括n个实际历史关节点像素点数组，所述内环优化函数包括n+1个减法器、n+1个绝对值计算模块、n个除法器、n个指数计算模块、n个设定模块、大值比较模块、第八乘法器和第三累加器，n为肢体关节点数量，n为正整数；所述采用所述自动滤网参数、所述历史肢体特征数据和所述实际特征数据，通过所述内环优化函数，计算内环优化值，包括：

所述历史肢体像素检测数组分别送到第1至第n个减法器的第一输入端，n个所述实际历史关节点像素点数组分别送到对应的减法器的第二输入端，进行减法运算；

第1至第n个减法器的输出分别接到对应的绝对值计算模块的输入端，进行绝对值运算；

第1至第n个绝对值计算模块的输出分别接到对应的除法器的第一输入端，第1至第n个设定模块输出的调整系数分别送到对应的除法器的第二输入端，进行除法运算；

第1至第n个除法器的输出分别接到对应的指数计算模块的输入端，进行指数运算；

第1至第n个指数计算模块的输出分别接到大值比较模块的输入端，计算最大值；

大值比较模块的输出接到第n+1个减法器的第二输入端，所述历史关节点预估置信值数组送到第n+1个减法器的第一输入端，进行减法运算；

第n+1个减法器的输出接到第n+1个绝对值计算模块的输入端，进行绝对值运算；

第n+1个绝对值计算模块的输出接到第八乘法器的第一输入端，所述自动适配滤网参数送到第八乘法器的第二输入端，进行乘法运算；

第八乘法器的输出接到第三累加器的输入端，进行累加运算，输出所述内环优化值。

8.根据权利要求1所述的作业人员行为合规性甄别方法，其特征在于，所述基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员的行为是否合规，包括：

对照所述目标肢体特征和预设特征范围；

若所述目标肢体特征处于预设特征范围，则判定所述目标肢体特征对应的工作人员行为合规；

若所述目标肢体特征不处于预设特征范围，则判定所述目标肢体特征对应的工作人员行为不合规。

9.一种作业人员行为合规性甄别装置，其特征在于，包括：

历史图像预处理模块，用于响应模型训练请求，获取历史作业场景视频并进行预处理，生成多个历史图像矩阵；

网络训练模块，用于采用多个所述历史图像矩阵结合预设的双环优化算法训练预设的初始肢体特征提取网络，生成目标肢体特征提取网络；

图像预处理模块，用于当接收到电力作业监管系统的识别请求时，获取所述识别请求对应的作业区域图像并进行预处理，生成图像矩阵；

特征提取模块，用于通过所述目标肢体特征提取网络提取所述图像矩阵中的目标肢体特征；

合规性判断模块，用于基于所述目标肢体特征和预设特征范围的对照结果，判断所述目标肢体特征对应的作业人员行为是否合规。

10.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令执行权利要求1至8中任一项所述的作业人员行为合规性甄别方法。