CN113762115B - 一种基于关键点检测的配网作业人员行为检测方法 - Google Patents

Abstract

本发明公开了一种基于关键点检测的配网作业人员行为检测方法，S1、获取配网现场的图像数据，对图像数据进行清洗，提取图像数据中人体关键骨骼点；S2、提取图像数据中的人体关键骨骼点，S3、对图像中提取到的人体骨骼关键点数据做预处理；S4、对筛选后的人体骨骼关键点坐标进行统一标准化操作；S5、采用S1‑S4获取批量训练数据集，搭建人体骨骼点特征提取器模型；S6、构建配网监理机器人的监测行为数据注册库；S7、用S5中训练好的模型去提取出所有传入配网监理机器人中的图像数据的人体骨骼关键点的特征向量；S8、将得到的特征向量做比对匹配；判定是否做出安全告警。该方法提升了配网现场监视系统对于配网现场的工作人员的安全隐患告警的效率。

Description

一种基于关键点检测的配网作业人员行为检测方法

技术领域

本发明涉及图像识别技术，具体的，涉及一种基于关键点检测的配网作业人员行为检测方法。

背景技术

计算机视觉是一个近几年来发展的越来越成熟的技术，基于计算机视觉技术的智能巡查机器人技术在餐饮、交通、园区管理、健身房、火车站以及变电站等场景中被广泛的应用.尤其是当前，随着人们生活水平的提高，对电力的需求也是大幅度的提升，电力需要投入的人力物力也随之大幅提升，那么电力行业从业人员的安全隐患问题的重要性就不言而喻了。随着计算机视觉技术的发展，电力行业也希望通过计算机视觉技术解决电力行业中最重要的人员安全问题，具有智能分析的配网监理机器人开始在电力行业中发挥非常积极的作用。

基于计算机视觉技术的配网监理机器人是在机器人中嵌入视觉算法监测配网现场的人员安全隐患，并在监测到安全隐患行为后及时给出告警，当前算法的一般做法是利用采集回来的数据对于定义好的配网人员安全隐患问题，如人员跌倒，摔跤等隐患提前标注好数据，然后将标注数据作为输入训练一些主流的目标检测算法模型，在实际场景应用中将配网现场的数据传入到训练的好的目标检测网络模型中，然后基于一些语义信息对当前图像中的配网工作人员的动作做判断，从而做出决策判断当前图像中的的配网工作人员是否存在一些安全隐患，如果当前图像画面中的配网工作人员存在一些安全隐患问题，那么根据终端设备采取一些手段当场或者后台返回信息给负责人，及时处理存在的安全隐患问题，节省电力行业对配网现场的人员安全隐患问题的监控人力资本，为电力行业有效的管理以及监督各个配网现场的人员安全问题给出可靠的解决方案。

但是当前算法存在一定的局限性，首先是在电力行业的配网现场的场景中，视觉背景杂乱且存在大量的冗余干扰信息，会对目标检测算法造成一定的干扰，导致目标检测算法的性能提升受限.其次是基于目标检测算法检测出目标结合配网现场的一些语义信息人为制定相应的规则找出配网现场人员的安全隐患问题，该方法在处理规则简单，视觉特征单一，明确时，智能算法可以精准的发现问题，降低图像数据的浏览量，从而提高效率。但是实际在配网现场有很多的人员安全隐患问题是无法用明确规则去制定，导致基于计算机视觉的智能算法只能找出一些人员安全隐患的疑似项，误报率会比较高，对提升工作效率帮助很有限。

发明内容

本发明的目的是解决当前电力行业中对于配网现场工作人员安全隐患识别存在不足的问题，提出一种基于关键点检测的配网作业人员行为检测方法。该方案不受配网现场场景的限制，对于不同电网的配网现场泛化性能较好，不需要再额外针对各个不同的配网现场分别训练模型，减少了一些重复的图像标注以及模型训练工作，而且开发部署方便，同时帮助开发人员与电网管理人员提升了对于配网现场的工作人员的安全隐患告警的效率。

为实现上述技术目的，本发明提供的一种技术方案是，一种基于关键点检测的配网作业人员行为检测方法，

步骤S1、获取配网现场的图像数据，对图像数据进行清，主要是去除一些不包含人体的多余图像，以及提前准备好具有代表性的配网监理机器人的监测的主要安全行为的数据；

步骤S2、通过预设的人体姿态估计算法(openpose人体关键点检测算法)去提取图像数据中人体关键骨骼点；

步骤S3、对图像中提取到的人体骨骼关键点数据做预处理，对每个提取得到的人体关键点进行筛选确认，保留代表人体主体躯干的关键点；

步骤S4、对筛选后的人体骨骼关键点坐标进行统一标准化操作；

步骤S5、采用步骤S1-S3获取批量训练数据集，搭建人体骨骼点特征提取器模型，通过训练数据集训练该模型；

步骤S6、模型训练完成后，用步骤S5中训练好的模型去提取出步骤S1中整理好的具有代表性的配网监理机器人的监测行为的本质特征，构建配网监理机器人的监测行为数据注册库F(f¹,f²,……,f^C),其中，C表示在配网监理机器人的监测行为的个数；

步骤S7、用步骤S5中训练好的模型去提取出所有传入配网监理机器人中的图像数据的人体骨骼关键点的特征向量；

步骤S8、将步骤S7中提取出的所有的人体骨骼关键点的特征向量与步骤S6中的配网监理机器人的监测行为数据注册库中的特征向量去做比对匹配；判定是否做出安全告警。

本方案中，首先利用公开的一些人体骨骼关键点的检测算法去检测配网现场的人员骨骼信息；然后再基于提取到的配网现场各个不同的工作人员的骨骼点信息去设计一个合适的损失函数来训练一个性能优异的骨骼点信息的特征提取器，该损失函数的主要作用是使提取的到骨骼点特征的同类内的损失更小而不同的类别间的损失更大；然后基于训练好的骨骼点特征提取器提取配网现场需要检测的区域中所有工作人员的骨骼点特征与提前配网监理机器人的监测行为数据注册库去做匹配，基于特征匹配的结果去判定当前图像画面中的配网工作人员是否存在一些安全隐患。

作为优选，人体骨骼关键点数据包括脖子、左肩、右肩、臀中、臀左、臀右、左膝、右膝、左脚踝、右脚踝共10个人体骨骼关键点，保留所述人体骨骼关键点所在的图像坐标，记为向量P＝[(x₁,y₁),(x₂,y₂),……,(x₁₀,y₁₀)]。

作为优选，步骤S3包括如下步骤：

步骤S31、基于所述骨骼关键点信息，生成以骨骼关键点的图像坐标为元素的骨骼关键点向量；

步骤S32、对所述骨骼关键点向量进行标准化处理，得到标准化的骨骼关键点向量。

作为优选，步骤S4包括如下步骤：

选取臀中坐标作为标准化坐标原点，选取臀中坐标至脖子坐标的距离S/标准距离L作为缩放因子进行人体骨骼关键点的标准化操作：

假设(x₄,y₄)为臀中坐标，(x₁,y₁)为脖子坐标，缩放因子为scale，则：

标准化过程为：

则标准化后坐标向量为B′＝[(x′₁,y′₁),(x′₂,y′₂),……,(x′_i,y′_i),……,(x′₁₀,y′₁₀)]，其中i≠4，臀中点坐标设置为坐标原点，因此无需参与运算。

作为优选，步骤S5中，搭建人体骨骼点特征提取器模型包括如下步骤：

基于提取到骨骼点特征的同类别之间的损失间隔更小，而不同的类别之间的损失间隔更大这一表征特点，采用softmax损失函数设计的距离损失函数表征人体骨骼点特征提取器模型，公式如下：

其中，N为训练数据集的批次数，x_n是第n个人体骨骼关键点上提取出来的特征向量，c_n是第n个人体骨骼关键点提取出来特征向量的类别；在权重W和特征向量x_n之间存在一个夹角θ，(0＜θ＜π)，分类的决策边界取决于夹角θ；α是不同配网监理机器人的监测行为项之间的决策边界,C表示配网监理机器人的监测行为的个数。

作为优选，用步骤S5中训练好的模型去提取出之前整理好的具有代表性的配网监理机器人的监测行为的本质特征，去构建配网监理机器人的监测行为数据注册库F(f¹,f²,……,f^C),其中，C表示在配网监理机器人的监测行为的个数。

作为优选，用配网监理机器人自带的相机获取现场数据，获取配网现场的人员图像，用预设的人体姿态估计算法去提取图像数据中的人体关键骨骼点，再用标准化处理提取出来的关键点，用训练好的模型去提取传入配网监理机器人中的图像数据的人体骨骼关键点的特征向量。

作为优选，若提取出的所有的人体骨骼关键点的特征向量与步骤S6中的某一个特征向量匹配成功，则该人员存在安全隐患，配网现场机器立马要给出告警提示；

若遍历配网监理机器人的监测行为数据注册库，都不存在特征向量与提取出的所有的人体骨骼关键点的特征向量成功匹配，则该人体骨骼关键点对应的工作人员不存在安全隐患，不需要给出告警。

作为优选，步骤S8中，特征向量的比对匹配包括如下步骤：

将提取出的所有的人体骨骼关键点的特征向量x与配网人员安全隐患的特征注册库中的特征向量f^c分别求余弦距离，余弦距离求法如下：

当提取出的所有的人体骨骼关键点的特征向量x与配网监理机器人的监测行为数据注册库中的特征向量f^c求得的余弦距离小于预先设定的值ξ时，即cos(θ)＜ξ时，则认为特征向量匹配成功，提取出的人体骨骼关键点所表示的人员存在属于配网监理机器人的监测行为中需要告警的第c类，此时配网现场的监理机器人立马给出告警提示；

如果配网人员安全隐患的特征注册中的特征向量得到的余弦距离都大于预设值ξ时，就认为提取出的人体骨骼关键点所表示的人员不存在配网监理机器人的监测行为中需要告警的安全隐患问题。

本发明的有益效果：发明一种基于关键点检测的配网作业人员行为检测方法，基于人体的骨骼关键点的检测信息，首先利用公开的一些人体骨骼关键点的检测算法去检测配网现场的人员骨骼信息；然后再基于提取到的配网现场各个不同的工作人员的骨骼点信息去设计一个合适的损失函数来训练一个性能优异的骨骼点信息的特征提取器，该损失函数的主要作用是使提取的到骨骼点特征的同类内的损失更小而不同的类别间的损失更大；然后基于训练好的骨骼点特征提取器提取配网现场需要检测的区域中所有工作人员的骨骼点特征与提前注册好的骨骼点特征库中的特征向量去做匹配，基于特征匹配的结果去判定当前图像画面中的配网工作人员是否存在一些安全隐患；此方案提出的方法不受配网现场场景的限制，对于不同电网的配网现场泛化性能较好，不需要再额外针对各个不同的配网现场分别训练模型，减少了一些重复的图像标注以及模型训练工作，而且开发部署方便，同时帮助开发人员与电网管理人员提升了对于配网现场的工作人员的安全隐患告警的效率。

附图说明

图1为本发明的一种基于关键点检测的配网监理机器人优化的流程简图。

图2为本发明中损失函数α不同取值对分类结果影响结果对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例：

如图1所示，一种基于关键点检测的配网作业人员行为检测方法的流程图，实施步骤如下：步骤S1、利用配网监理机器人自带的相机去获取配网现场的图像数据，对图像数据进行清洗后，主要是去除一些不包含人体的多余图像，以及提前准备好具有代表性的配网监理机器人的监测的主要安全行为的数据。

步骤S2、采用openpose人体关键点检测算法提取图像数据中人体关键骨骼点，骨骼点数量根据所用的人体关键点检测算法而定，但是必须要包括一些必要的人体骨骼关键点。

步骤S3、对图像中提取到的人体骨骼关键点数据做预处理，对每个人物提取得到的人体关键点进行筛选确认，保留一些可以代表人体主体躯干的关键点就行，包括如下子步骤：步骤S31、基于所述骨骼关键点信息，生成以骨骼关键点的图像坐标为元素的骨骼关键点向量；

步骤S32、对所述骨骼关键点向量进行标准化处理，得到标准化的骨骼关键点向量。

在本实施例中主要选取脖子、左肩、右肩、臀中、臀左、臀右、左膝、右膝、左脚踝、右脚踝共10个人体骨骼关键点，保留以上人体骨骼关键点所在的图像坐标，记为向量P＝[(x₁,y₁),(x₂,y₂),……,(x₁₀,y₁₀)]。

步骤S4、对筛选后的人体骨骼关键点坐标进行统一标准化操作，选取臀中坐标作为标准化坐标原点，选取臀中坐标至脖子坐标的距离S/标准距离L作为缩放因子进行人体骨骼关键点的标准化操作：

假设(x₄,y₄)为臀中坐标，(x₁,y₁)为脖子坐标，缩放因子为scale，则：

标准化过程为：

则标准化后坐标向量为B′＝[(x′₁,y′₁),(x′₂,y′₂),……,(x′_i,y′_i),……,(x′₁₀,y′₁₀)]，其中i≠4(由于臀中点坐标设置为坐标原点，因此无需参与运算)

步骤S5、采用步骤S1-S4获取批量训练数据集，搭建人体骨骼点特征提取器模型，通过训练数据集训练该模型；包括如下步骤基于提取到骨骼点特征的同类别之间的损失间隔更小，而不同的类别之间的损失间隔更大这一表征特点，基于一个合适的损失函数来训练一个性能优异的骨骼点信息的特征提取器模型，针对配网监理机器人的监测行为，在本实施例中，基于softmax损失函数设计的距离损失函数如下：

其中，N为训练数据集的批次数，x_n是第n个人体骨骼关键点上提取出来的特征向量，c_n是第n个人体骨骼关键点提取出来特征向量的类别(既数据的标签)；在权重W和特征向量x_n之间存在一个夹角θ，(0＜θ＜π)，分类的决策边界取决于夹角θ；α是不同配网人员安全隐患项之间的决策边界，该变量的设置以使得同类特征向量之间的间隔更小,见图2为损失函数中α不同取值对分类结果影响结果对比图，图中以二分类为例，在一定条件下，α取值越大，类内间距更小，类间间距更大；C表示配网监理机器人的监测行为的个数；该损失函数的设计最终目的是找出不同配网监理机器人的监测行为之间的重叠部分并将其分开以使得不同的配网监理机器人的监测行为之间的间隔更大。

步骤S6、模型训练完成后，用步骤S5中训练好的模型去提取出步骤S1中整理好的具有代表性的配网监理机器人的监测行为的本质特征，构建配网监理机器人的监测行为数据注册库F(f¹,f²,……,f^C),其中，C表示在配网监理机器人的监测行为的个数。

步骤S7、将要识别的图像先传到openpose算法中提取出人体骨骼关键点后，再按照步骤S4步骤做标准化操作后，传入到步骤S5训练的模型中提取所有的人体骨骼关键点的特征向量。

步骤S8、将步骤S7中提取出的所有的人体骨骼关键点的特征向量与步骤S6中的配网监理机器人的监测行为数据注册库中的特征向量去做比对匹配，若提取出的所有的人体骨骼关键点的特征向量能与步骤S6中的某一个特征向量匹配成功，则该人员存在很大的安全隐患，配网现场机器立马要给出告警提示；否则，若遍历配网监理机器人的监测行为数据注册库，都不存在特征向量能与提取出的所有的人体骨骼关键点的特征向量成功匹配，则说明该人体骨骼关键点对应的工作人员不存在安全隐患。

其中步骤S8中提到的具体特征向量比对匹配方法如下：

将提取出的所有的人体骨骼关键点的特征向量x与配网监理机器人的监测行为数据注册库中的特征向量f^c分别求余弦距离，具体余弦距离求法如下：

当提取出的所有的人体骨骼关键点的特征向量x与配网监理机器人的监测行为数据注册库中的特征向量f^c求得的余弦距离小于一个预先设定的值ξ时，即cos(θ)＜ξ时，则认为特征向量匹配成功，提取出的人体骨骼关键点所表示的人员存在属于配网监理机器人的监测行为中需要告警的第c类，此时配网现场机器人要立马要给出告警提示；如果配网监理机器人的监测行为数据注册库中的特征向量得到的余弦距离都大于预设值ξ时，就认为提取出的人体骨骼关键点所表示的人员不存在安全隐患问题。

以上所述是一种基于关键点检测的配网作业人员行为检测方法的一种实施例的所有实施步骤，此方法不受配网现场场景的限制，对于不同电网的配网现场泛化性能较好，不需要再额外针对各个不同的配网现场分别训练模型，减少了一些重复的图像标注以及模型训练工作，而且开发部署方便，同时帮助开发人员与电网管理人员提升了对于配网现场的工作人员的安全隐患告警的效率。

以上所述之具体实施方式为本发明一种基于关键点检测的配网作业人员行为检测方法的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。

Claims (7)

1.一种基于关键点检测的配网作业人员行为检测方法，其特征在于：包括如下步骤：

步骤S1、利用配网监理机器人自带的相机去获取配网现场的图像数据，对图像数据进行清洗后；

步骤S2、通过预设的人体姿态估计算法去提取图像数据中的人体关键骨骼点；

步骤S3、对图像中提取到的人体骨骼关键点数据做预处理，对每个提取得到的人体关键点进行筛选确认，保留代表人体主体躯干的关键点；

步骤S4、对筛选后的人体骨骼关键点坐标进行统一标准化操作；

步骤S5、采用步骤S1-S4获取批量训练数据集，搭建人体骨骼点特征提取器模型，通过训练数据集去训练获得该模型；

步骤S6、模型训练完成后，用步骤S5中训练好的模型去提取出步骤S1中整理好的具有代表性的配网监理机器人的监测行为的本质特征，构建配网监理机器人的监测行为数据注册库F(f¹,f²,……,f^C),其中，C表示在配网监理机器人的监测行为的个数；

步骤S7、用步骤S5中训练好的模型去提取出所有传入配网监理机器人中的图像数据的人体骨骼关键点的特征向量；

步骤S8、将步骤S7中提取出的所有的人体骨骼关键点的特征向量与步骤S6中的配网监理机器人的监测行为数据注册库中的特征向量去做比对匹配；判定是否做出安全告警；

步骤S8中，包括如下步骤：

若提取出的所有的人体骨骼关键点的特征向量与步骤S6中的某一个特征向量匹配成功，则该人员存在安全隐患，配网现场机器立马要给出告警提示；

若遍历配网监理机器人的监测行为数据注册库，都不存在特征向量与提取出的所有的人体骨骼关键点的特征向量成功匹配，则该人体骨骼关键点对应的工作人员不存在安全隐患，不需要给出告警；

步骤S8中，特征向量的比对匹配包括如下步骤：

将提取出的所有的人体骨骼关键点的特征向量x与配网监理机器人的监测行为数据注册库中的特征向量f^c分别求余弦距离，余弦距离求法如下：

当提取出的所有的人体骨骼关键点的特征向量x与配网监理机器人的监测行为数据注册库中的特征向量f^c求得的余弦距离小于预先设定的值ξ时，即cos(θ)＜ξ时，则认为特征向量匹配成功，提取出的人体骨骼关键点所表示的人员存在属于配网监理机器人的监测行为中需要告警的第c类，此时配网现场监理机器人立马给出告警提示；

如果配网监理机器人的监测行为数据注册库中的特征向量得到的余弦距离都大于预设值ξ时，就认为提取出的人体骨骼关键点所表示的人员不存在配网监理机器人的监测行为中需要告警的安全隐患问题；

步骤S5中，搭建人体骨骼点特征提取器模型包括如下步骤：

基于提取到骨骼点特征的同类别之间的损失间隔更小，而不同的类别之间的损失间隔更大这一表征特点，采用softmax损失函数设计的距离损失函数表征人体骨骼点特征提取器模型，公式如下：

其中，N为训练数据集的批次数，x_n是第n个人体骨骼关键点上提取出来的特征向量，c_n是第n个人体骨骼关键点提取出来特征向量的类别；在权重W和特征向量x_n之间存在一个夹角θ，(0＜θ＜π)，分类的决策边界取决于夹角θ；α是不同配网监理机器人的监测行为项之间的决策边界,C表示配网监理机器人的监测行为的个数。

2.根据权利要求1所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于：人体骨骼关键点数据包括脖子、左肩、右肩、臀中、臀左、臀右、左膝、右膝、左脚踝、右脚踝共10个人体骨骼关键点，保留所述人体骨骼关键点所在的图像坐标，记为向量P＝[(x₁,y₁),(x₂,y₂),……,(x₁₀,y₁₀)]。

3.根据权利要求2所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于，步骤S3包括如下步骤：

步骤S31、基于所述骨骼关键点信息，生成以骨骼关键点的图像坐标为元素的骨骼关键点向量；

步骤S32、对所述骨骼关键点向量进行标准化处理，得到标准化的骨骼关键点向量。

4.根据权利要求3所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于：

步骤S4包括如下步骤：

步骤S41、选取臀中坐标作为标准化坐标原点，选取臀中坐标至脖子坐标的距离S/标准距离L作为缩放因子进行人体骨骼关键点的标准化操作；

步骤S42、假设(x₄,y₄)为臀中坐标，(x₁,y₁)为脖子坐标，缩放因子为scale，则：

标准化过程为：

则标准化后坐标向量为B'＝[(x′₁,y′₁),(x'₂,y'₂),……,(x′_i,y′_i),……,(x′₁₀,y′₁₀)]，其中i≠4，臀中点坐标设置为坐标原点，因此无需参与运算。

5.根据权利要求1所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于：步骤S6中，包括如下步骤：

用步骤S5中训练好的模型去提取出之前整理好的具有代表性的配网监理机器人的监测行为的本质特征，去构建配网监理机器人的监测行为数据注册库F(f¹,f²,……,f^C),其中，C表示在配网监理机器人的监测行为的个数。

6.根据权利要求5所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于：步骤S7中，包括如下步骤：

用配网监理机器人自带的相机获取现场数据，获取配网现场的人员图像，用预设的人体姿态估计算法去提取图像数据中的人体关键骨骼点，用步骤S4去标准化处理提取出来的关键点，用步骤S5训练好的模型去提取传入配网监理机器人中的图像数据的人体骨骼关键点的特征向量。

7.根据权利要求1或6所述的一种基于关键点检测的配网作业人员行为检测方法，其特征在于：

预设的人体姿态估计算法包括openpose算法。