CN115830703A - 一种通过意图识别提前判断电力违规作业的方法及系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了一种通过意图识别提前判断电力违规作业的方法及系统，根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围；检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对；检测监控图像数据中的人体骨架关键节点以及手部骨架关键节点，获取所述手部骨架关键节点和所述疑似目标源的位置关系数据集；将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。本发明可以做到提前数秒对违规操作进行预警，保障安全。

Description

一种通过意图识别提前判断电力违规作业的方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种通过意图识别提前判断电力违规作业的方法及系统。

背景技术

目前的人类行为检测在工程上的应用大多都是检测简单的预警事件，例如站立、平躺、坐姿以及摔倒等。这些检测可以简单的实现对于工人目前行为状态的识别，但是无法解决更高语义理解下的任务，尤其是需要与物品进行互动的任务，例如判断电力作业是否违规。在这种情况下，需要了解操作员与操作物品的交互，提前理解并预测操作员的动作是否违规。因此，需要在只对人进行分析的基础上，添加对物品互动的分析和人类行为的预测。

发明内容

本发明提供一种通过意图识别提前判断电力违规作业的方法及系统，该方法和系统对整个电力操作流程顺序进行定义、检测和预测，相对于简单的检测系统，该方法和系统更加完善，实用和满足各项任务需求。

本发明通过下述技术方案实现：

一种通过意图识别提前判断电力违规作业的方法，包括如下步骤：

根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围，以初步排除非目标源；通过本步骤，可以缩小目标源的判定范围，快速得到交互物品为载体范围外的非目标源时的判定结果，避免物品过多，造成判定过程复杂化。

检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；这样能够更好地对载体范围内的目标源进行区分，避免具有相似形态的物品标记错误。

检测监控图像数据中的人体骨架关键节点以及手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；将手部信息和疑似目标源进行一一对应，使后续预测更加精准。

将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；

基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

作为优化，所述手部骨架关键节点包括由腕骨关节组成的手腕骨架关键节点、由手掌掌心组成的手掌骨架关键节点以及由若干手指关节以及各指尖组成的手指骨架关键节点，所述手部数据包括手腕数据、手掌数据以及手指数据，所述手腕数据包括手腕骨架关键节点的第一定位数据，所述手掌数据包括由手指骨架关键节点确认的手掌的开度以及手掌掌心与某一疑似目标源轮廓上表面之间的最大角度和最小角度的角度差，所述手指数据包括食指的指尖距离同一只手的大拇指指尖的距离变化值，以及各手指关节的定位数据，各所述手指关节包括各手指的掌指关节以及各手指的指骨间关节。

由于在电力作业中，工作人员需要俯身拿取放在载体上表面的相应的工具进行作业，因此，在工作人员的手掌高度必定高于工具(疑似目标源)的上表面，当手掌靠近某一疑似目标源时，手掌会张开，且手掌是朝向目标源的，因此，手掌掌心与该疑似目标源轮廓上表面之间的最大角度和最小角度的角度差必定小于其他的疑似目标源的轮廓上表面之间的最大角度和最小角度的角度差，食指的指尖距离同一只手的大拇指的指尖的距离变化值会在手掌张开的单位时间内变大。

作为优化，确定所述位置关系数据集的具体方式为：

根据时间维度以及第一定位数据确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；

根据时间维度确定在每个单位时间内的手掌开度值以及角度差；

根据时间维度确定食指的指尖到该疑似目标源在每个单位时间内的距离变化值；

将各单位时间内的最近距离、手掌开度值、角度差、距离变化值以及对应的意思目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，B_i,j，C_i,j，D_i,j}，其中，i表示目标源，j表示时间维度上的单位时间，A表示最近距离，B表示手掌开度值，C表示角度差，D表示距离变化值。

作为优化，所述手掌开度值与所述最近距离之间满足：在最近距离小于第一阈值时，手掌开度值满足第一条件，所述角度差与所述最近距离之间满足：在最近距离小于第二阈值时，角度差满足第二条件，所述距离变化值与所述最近距离之间满足：在最近距离小于第三阈值时，距离变化值满足第三条件，当位置关系数据集同时满足条件时，判定此疑似目标源为定目标源。

作为优化，确定所述位置关系数据集的具体方式为：

根据时间维度确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；

根据时间维度确定在每个单位时间内的手掌开度值；

根据时间维度确定在每个单位时间内大拇指、食指、中指、无名指、小指的各手指关节节点的连线轨迹；

根据时间维度确定大拇指、食指、中指、无名指、小指的各手指关节节点与所述腕骨关节节点的相对位置；

将各单位时间内的最近距离、各手指关节节点的连线轨迹、各手指关节节点与腕骨关节节点的相对位置以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，X_i,j，Y_i,j,k，Z_i,j,k,m,n}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，k表示手指类型，m表示腕骨关节节点，n表示手指关节节点，X表示手掌开度值，Y表示连线轨迹，Z表示各手指关节节点与所述腕骨关节节点的相对位置。

作为优化，所述手掌开度值、连线轨迹与所述最近距离之间满足：所述最近距离小于第四阈值时，手掌开度值满足第一条件，大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹呈弯曲状，且所述大拇指的指骨间关节的角度介于120°至170°之间，所述食指或中指的近端指间关节处的角度介于90°至160°，所述食指或中指的指骨间关节处的角度大于130°，且所述大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹的弯曲弧度均朝向某一疑似目标源，则判定此疑似目标源为定目标源。

作为优化，所述骨架时空卷积网络具体为：

其中，f_out(v_tp)表示对t时刻骨架关键节点p的运动预测输出；B(v_tp)表示t时刻关键节点p的所有关联节点的集合，Z_tp(v_tq)表示针对t时刻关键节点p及其关联节点q的归一化参数，f_in(v_tq)表示t时刻关键节点q的输入特征，w(v_tp，v_tq)表示t时刻关键节点p至其关联节点q的路径权重。

作为优化，根据任务规划设计制定既定任务流程标签，所述既定任务流程标签包括设定当前工作任务与设定下一步工作任务，其中，所述当前工作任务包括当前交互目标，所述下一步工作任务包括下一步交互目标。

作为优化，E1：判定当前交互目标是否属于载体范围内的疑似目标源，若是，则跳转至E2，否则，报警；

E2：判断当前交互目标与当前的定目标源是否为同一个，若是，则继续工作，跳转至E3，否则，报警；

E3：根据所述预测模型预测下一个定目标源，并判断下一步交互目标与下一个定目标源是否为同一个，若是，返回本步骤，直到结束，否则，进行预警提示。

本发明还公开了一种通过意图识别提前判断电力违规作业的系统，包括：

载体筛选模块，用于根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体，以初步排除非目标源；

标记模块，用于检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；

数据建立模块，用于检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；

模型生成模块，用于将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；

判定模块，用于基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明将人体手部运动以及人和物品的交互使用人工智能的方法来对于目前正在进行的操作进行理解和预测，以判断电力操作是否违规，做到提前数秒对违规操作进行预警，保障安全。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为预测到跟正确工具(目标源)互动时的示例图；

图2为预测到跟错误工具(目标源)互动时的示例图；

图3为另一个预测到跟错误工具(目标源)互动时的示例图；

图4为通过本发明得到的动作目标疑似区域的示例图；

图5为通过本发明得到的动作目标疑似区域的另一示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

一种通过意图识别提前判断电力违规作业的方法，包括如下步骤：

输入视频流通过深度卷积神经网络提取出桌面物体关键参数，包括S1和S2两个步骤。

S1、根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围，以初步排除非目标源；具体的，在本实施例中，根据工作任务确定承载定目标源的载体，这里的载体，指的是承载疑似目标源的物品，例如如图1所示，载体即为工作桌，疑似目标源为放置在工作桌上的各物品，例如钳子、纸、电线圈等。例如，本次的工作任务是要拿取图1中的桌上的电线圈，那么，确定的载体就是图1中的工作桌，工作桌外的物品均为非目标源，工作桌上除了有电线圈，还有其他物品，工作桌上的所有物品均为疑似目标源，定目标源包含在疑似目标源中，定目标源和疑似目标源均指代的是工作桌上的物品，在确定拿取的物品之前，均为疑似目标源，待确定工作人员要拿取该疑似目标源后，该疑似目标源即可变为定目标源。

通过本步骤，可以缩小目标源的判定范围，快速得到交互物品为载体范围外的非目标源时的判定结果，例如，当手部信息靠近的物品在载体范围外时，直接报警或预警，避免物品过多，造成判定过程复杂化。

根据载体所包含的第一兴趣点特征组确定包含定目标源在内的至少一个疑似目标源所在的载体的范围，将未在该载体范围内的物品作为非目标源进行排出，所述第一兴趣点特征组的特征子集包括载体的轮廓、载体的颜色、载体表面的纹路等。

S2、检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；这样能够更好地对载体范围内的目标源进行区分，避免具有相似形态的物品标记错误，例如，若载体范围内有多个形态相似的钳子，则需要通过比对多个钳子的第二兴趣点特征组对钳子进行区分。

本实施例中，将若干疑似目标源的所述第二兴趣点特征组中的兴趣点特征根据预设规则进行比对，兴趣点特征包括轮廓形状、大小、颜色、纹路(若无纹路，则不进行比对)以及标签(若无标签，则不进行比对)。

提取输入视频中人体骨架关键点及其手部骨架关键点(手部骨架关键节点)，该关键点通过特殊设计的骨架时空卷积网络对下一阶段动作以及动作目标疑似区域进行预测，然后结合识别的桌面物体参数，可以预测出最大概率的互动物品，最后通过警告逻辑进行判断是否报警，包括S3-S5。

S3、检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；将手部信息和疑似目标源进行一一对应，使后续预测更加精准。

具体的，本实施例中，所述手部骨架关键节点包括由腕骨关节组成的手腕骨架关键节点、由手掌掌心组成的手掌骨架关键节点以及由若干手指关节以及各指尖组成的手指骨架关键节点，所述手部骨架关键节点包括手腕数据、手掌数据以及手指数据，所述手腕数据包括手腕骨架关键节点的第一定位数据，所述手掌数据包括由手指骨架关键节点确认的手掌的开度以及手掌掌心与某一疑似目标源轮廓上表面之间的最大角度和最小角度的角度差，所述手指数据包括食指的指尖距离同一只手的大拇指指尖的距离变化值，以及各手指关节的定位数据，各所述手指关节包括各手指的掌指关节以及各手指的指骨间关节。手掌开度是指手掌是否打开，若手掌打开，手掌开度值为1，若手掌未打开，手掌开度值为0，在自然状态下，手指弯曲，视为手掌未打开，当手指张开时，视为手掌打开，这里的最近距离，是指腕骨关节到疑似目标源的表面的最近的直线距离。

本实施例中，确定所述位置关系数据集的具体方式为：

根据时间维度以及第一定位数据确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；手腕的运动轨迹可以理解为整个手部的运动轨迹。

根据时间维度确定在每个单位时间内的手掌开度值以及角度差；

根据时间维度确定食指的指尖到该疑似目标源在每个单位时间内的距离变化值；

将各单位时间内的最近距离、手掌开度值、角度差、距离变化值以及对应的意思目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，B_i,j，C_i,j，D_i,j}，其中，i表示目标源，j表示时间维度上的单位时间，单位时间可以为一秒，也可以为数秒，例如，当单位时间为一秒时，j取1，即为第一秒，j取2，即为第二秒，若单位时间为2秒，则j取1，代表1-2秒，j取2，代表3-4秒，A表示最近距离，B表示手掌开度值，C表示角度差，D表示距离变化值。

由于在电力作业中，工作人员需要俯身拿取放在载体上表面的相应的工具进行作业，因此，在工作人员的手掌高度必定高于工具(疑似目标源)的上表面，当手掌靠近某一疑似目标源时，手掌会张开，且手掌是朝向目标源的，因此，手掌掌心与该疑似目标源轮廓上表面之间的最大角度和最小角度的角度差必定小于其他的疑似目标源的轮廓上表面之间的最大角度和最小角度的角度差，食指的指尖距离同一只手的大拇指的指尖的距离变化值会在手掌张开的单位时间内变大。

具体的，本实施例中，所述手掌开度值与所述最近距离之间满足：在最近距离小于第一阈值时，手掌开度值满足第一条件，例如，腕骨关节到疑似目标源的最近距离为小于20cm时，手掌打开，手掌开度值为1，第一条件就是手掌开度值为1；所述角度差与所述最近距离之间满足：在最近距离小于第二阈值时，角度差满足第二条件，例如，当腕骨关节到疑似目标源的最近距离小于15cm时，角度差小于90°，这里的第二条件就是角度差小于90°，由于工作人员的手是从上至下拿取物品的，当手掌要靠近物品时，手掌位于该物品的斜上方，此时，手掌的掌心与该物品的上表面之间的最大角度和最小角度的角度差(此角度差会小于90°)会小于手掌与其他物品的上表面之间的最大角度和最小角度的角度差(这个角度差会大于90°)，所述距离变化值与所述最近距离之间满足：在最近距离小于第三阈值时，距离变化值满足第三条件，例如，当腕骨关节到疑似目标源的最近距离位于13-18cm之间时，该位置对应的其中一个单位时间内的距离变化值会大于5cm/s，这里的第三条件即为单位时间内的距离变化值大于5cm/s，即表示手处于该位置时，手指有张开动作，表示工作人员准备拿取该物品，当位置关系数据集同时满足条件时，判定此疑似目标源为定目标源。

这里，还提供了另一种情况来判定定目标源的情况。

由于腕骨关节包含了多个关节，这里任一选定一个关节作为腕骨关节，后续均由该关节作为腕骨关节。

本实施例中，确定所述位置关系数据集的具体方式为：

根据时间维度确定桡骨茎突的腕骨关节到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；

根据时间维度确定在每个单位时间内的手掌开度值；

根据时间维度确定在每个单位时间内大拇指、食指、中指、无名指、小指的各手指关节节点的连线轨迹；

根据时间维度确定大拇指、食指、中指、无名指、小指的各手指关节节点与所述腕骨关节节点的相对位置；

将各单位时间内的最近距离、各手指关节节点的连线轨迹、各手指关节节点与腕骨关节节点的相对位置以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，X_i,j，Y_i,j,k，Z_i,j,k,m,n}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，k表示手指类型，m表示腕骨关节节点，n表示手指关节节点，X表示手掌开度值，Y表示连线轨迹，Z表示各手指关节节点与所述腕骨关节节点的相对位置。

本实施例中，所述手掌开度值、连线轨迹与所述最近距离之间满足：所述最近距离小于第四阈值时，手掌开度值满足第一条件，即手掌开度值为1，手掌呈打开状态，大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹呈弯曲状，且所述大拇指的指骨间关节的角度介于120°至170°之间，所述食指或中指的近端指间关节处的角度介于90°至160°，所述食指或中指的指骨间关节处的角度大于130°，且所述大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹的弯曲弧度均朝向某一疑似目标源，则判定此疑似目标源为定目标源。

当最近距离小于第四阈值时，代表手部正向某一疑似目标源靠近，此时，若检测到大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹呈弯曲状，且大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹呈弯曲状，且所述大拇指的指骨间关节的角度介于120°至170°之间，所述食指或中指的近端指间关节处的角度介于90°至160°，所述食指或中指的指骨间关节处的角度大于130°，且所述大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹的弯曲弧度均朝向某一疑似目标源，代表正要抓取该疑似目标源，这样就可以判定该疑似目标源为正要被抓取的定目标源。

本实施例中，所述骨架时空卷积网络具体为：

其中，f_out(v_tp)表示对t时刻骨架关键节点p的运动预测输出；B(v_tp)表示t时刻关键节点p的所有关联节点的集合，Z_tp(v_tq)表示针对t时刻关键节点p及其关联节点q的归一化参数，其代表的含义为：Z_tp(v_tq)的数值为t时刻p关键节点的所有相邻节点v_tq的数量；f_in(v_tq)表示t时刻关键节点q的输入特征，其代表的含义为：v_tq→R^c的一个N维向量映射，R^c为实数集上的c维向量，向量元素包括该节点的序列号、位置、速度矢量以及相对其他节点的运动矢量；w(v_ti，v_tj)表示t时刻关键节点i至其关联节点j的路径权重，具体的，w(v_ti，v_tj)由神经网络训练得到。其计算方式为

w(v_tp，v_tq)＝w′(d(v_tp，v_tq))，

其中，d(v_tp，v_tq)为t时刻骨骼节点(关键节点)p到q的距离，距离0表示p、q相同，距离为1，表示p、q是相邻节点，距离大，w′(d(v_tp，v_tq))为求导函数，关于关键节点之间距离的权重函数，对时间进行求导。v_tp代表t时刻的关键节点p，v_tq代表t时刻的关键节点q。

将所述位置关系数据集作为神经网络模型的输入训练参数进行训练，以得到预测模型；训练过程为现有过程，神经网络模型也为现有的，这里的各个阈值，可以根据有限的实验进行设定，且各手指关节节点与所述腕骨关节节点的相对位置与最近距离之间的关系，也可以通过带入LSTM神经网络模型(长短时记忆神经网络模型)进行训练得到相关关系数据，训练过程为现有技术，这里就不再赘述了。如图4-5所示，当手部离目标源较远时，通过LSTM神经网络模型训练得到多个定目标源，即图4-5的疑似区域，疑似区域中的疑似目标源可能成会为定目标源，待手部离某一疑似目标源越来越近以后，就可以将该疑似目标源确定为定目标源。当确认好定目标源以后，可以在食指或中指的指尖至定目标源之间进行路径的标注，即图1-3中食指或中指的指尖至定目标源之间射线。

上述各关节等的定位与识别均可以通过检测器和追踪器实现，而物体的识别可以通过物体检测器进行识别，这里也不再赘述了。

基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

本实施例中，根据任务规划设计制定既定任务流程标签，所述既定任务流程标签包括设定当前工作任务与设定下一步工作任务，其中，所述当前工作任务包括当前交互目标，所述下一步工作任务包括下一步交互目标以及承载该交互目标的载体。根据任务规划能够得知每次检测的载体以及交互目标，后续只需判断检测到的定目标源与交互目标是否为同一个即可，具体过程如下：

本实施例中，E1：判定当前交互目标是否属于载体范围内的疑似目标源，若是，则跳转至E2，否则，报警；

E2：判断当前交互目标与当前的定目标源是否为同一个，若是，则继续工作，跳转至E3，否则，报警；

E3：根据所述预测模型预测下一个定目标源，并判断下一步交互目标与下一个定目标源是否为同一个，若是，返回本步骤，直到结束，否则，进行预警提示。

实施例2

本发明还公开了一种通过意图识别提前判断电力违规作业的系统，包括：

载体筛选模块，用于根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体，以初步排除非目标源；

标记模块，用于检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；

数据建立模块，用于检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；

模型生成模块，用于将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；

判定模块，用于基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

如图1-3所示，加粗白框表示下一步需要正确选取的工具，加粗黑框表示预测到将要错误互动的工具。白色细框表示识别到的桌面其他工具，且未参与人-物互动，手部圆点表示识别到的关节定位，指尖至工具之间的射线表示神经网络预测的跟定目标源的交互关系。

如图1所示，预测的下一步交互目标为右边加粗白框的线夹，且预测到的工作人员即将拿取右边加粗白框的线夹，此时，预测到交互目标与定目标源相同，不报警。

如图2-3所示，预测的交互目标与定目标源不相同，进行报警。

通过本方法可以预判到，然后进行预警。

本发明使用了人-物交互预测技术：首先使用人类运动检测器提取人体骨架关键节点，再使用人体手掌检测和追踪器对人体的手掌进行更细致的定位和关节检测，同时使用物体测器对于图片中的与工作人员进行交互物体在空间和语义上进行定位和分类。

在得到上述信息作为输入信息之后，使用空间-时序两种维度的信息对于检测操作是否发生错误进行建模。在空间上，通过神经网络对于人体骨架、人体运动的趋势、手掌的运动趋势、靠近某个物体的趋势以及各个检测对象之间的空间距离进行建模，在时序上，采用长短记忆时间网络循环模型，对于时序上前后发生的不同动作以及接触到的物体进行建模，用于增强整个模型对于识别前后发生事件的分类准确性。

实验过程：对多次操作流程进行实时系统测试，验证不同操作速度情况下系统报警成功率以及预警平均提前时间

实验输入数据：多次操作共计约60分钟视频流，与物体互动次数大于100次；

实验可变参数：操作者手部平均移动速率：低(<10cm/s)，中(10-30cm/s),高(>30cm/s)

实验结果：

结果说明：对于中低操作速度，预警成功率较为满意，预警提前时间约2秒上下。对于高速操作，由于物体之间距离较进，以及遮挡，系统反应时间等因素制约，预警效果较中低操作速度略差。

神经网络模型训练过程中，提高疑似区域预测敏感度会增加预警提前时间，但是会造成更大的错误预警概率。因此预警时间，系统敏感度等参数需要根据实际工作环境进行适应性调整。

本发明不仅对于简单的动作进行了检测，而且利用了空间上各个对象的语义信息，时序上的关联信息，让整个模型拥有更强的广泛适用性。只要检测器和追踪器可以获得信息，本发明在各个应用场景都适用，并且本发明也提供了标注数据集，这有利于让整个模型更加准确和稳定。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种通过意图识别提前判断电力违规作业的方法，其特征在于，包括如下步骤：

根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围，以初步排除非目标源；

检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；

检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；

将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；

基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

2.根据权利要求1所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述手部骨架关键节点包括由腕骨关节组成的手腕骨架关键节点、由手掌掌心组成的手掌骨架关键节点以及由若干手指关节以及各指尖组成的手指骨架关键节点，所述手部数据包括手腕数据、手掌数据以及手指数据，所述手腕数据包括手腕骨架关键节点的第一定位数据，所述手掌数据包括由手指骨架关键节点确认的手掌的开度以及手掌掌心与某一疑似目标源轮廓上表面之间的最大角度和最小角度的角度差，所述手指数据包括食指的指尖距离同一只手的大拇指指尖的距离变化值，以及各手指关节的定位数据，各所述手指关节包括各手指的掌指关节以及各手指的指骨间关节。

3.根据权利要求2所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，确定所述位置关系数据集的具体方式为：

根据时间维度以及第一定位数据确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；

根据时间维度确定在每个单位时间内的手掌开度值以及角度差；

根据时间维度确定食指的指尖到该疑似目标源在每个单位时间内的距离变化值；

将各单位时间内的最近距离、手掌开度值、角度差、距离变化值以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，B_i,j，C_i,j，D_i,j}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，B表示手掌开度值，C表示角度差，D表示距离变化值。

4.根据权利要求3所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述手掌开度值与所述最近距离之间满足：在最近距离小于第一阈值时，手掌开度值满足第一条件，所述角度差与所述最近距离之间满足：在最近距离小于第二阈值时，角度差满足第二条件，所述距离变化值与所述最近距离之间满足：在最近距离小于第三阈值时，距离变化值满足第三条件，当位置关系数据集同时满足条件时，判定此疑似目标源为定目标源。

5.根据权利要求2所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，确定所述位置关系数据集的具体方式还可以为：

根据时间维度确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；

根据时间维度确定在每个单位时间内的手掌开度值；

根据时间维度确定在每个单位时间内大拇指、食指、中指、无名指、小指的各手指关节节点的连线轨迹；

根据时间维度确定大拇指、食指、中指、无名指、小指的各手指关节节点与所述腕骨关节节点的相对位置；

将各单位时间内的最近距离、各手指关节节点的连线轨迹、各手指关节节点与腕骨关节节点的相对位置以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A_i,j，X_i,j，Y_i,j,k，Z_i,j,k,m,n}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，k表示手指类型，m表示腕骨关节节点，n表示手指关节节点，X表示手掌开度值，Y表示连线轨迹，Z表示各手指关节节点与所述腕骨关节节点的相对位置。

6.根据权利要求5所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述手掌开度值、连线轨迹与所述最近距离之间满足：所述最近距离小于第四阈值时，手掌开度值满足第一条件，大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹呈弯曲状，且所述大拇指的指骨间关节的角度介于120°至170°之间，所述食指或中指的近端指间关节处的角度介于90°至160°，所述食指或中指的指骨间关节处的角度大于130°，且所述大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹的弯曲弧度均朝向某一疑似目标源，则判定此疑似目标源为定目标源。

7.根据权利要求5所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述骨架时空卷积网络具体为：

其中，f_out(v_tp)表示对t时刻骨架关键节点p的运动预测输出；B(v_tp)表示t时刻关键节点p的所有关联节点的集合，Z_tp(v_tq)表示针对t时刻关键节点p及其关联节点q的归一化参数，f_in(v_tq)表示t时刻关键节点q的输入特征，w(v_tp，v_tq)表示t时刻关键节点p至其关联节点q的路径权重。

8.根据权利要求1所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，根据任务规划设计制定既定任务流程标签，所述既定任务流程标签包括设定当前工作任务与设定下一步工作任务，其中，所述当前工作任务包括当前交互目标，所述下一步工作任务包括下一步交互目标。

9.根据权利要求8所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，

E1：判定当前交互目标是否属于载体范围内的疑似目标源，若是，则跳转至E2，否则，报警；

E2：判断当前交互目标与当前的定目标源是否为同一个，若是，则继续工作，跳转至E3，否则，报警；

E3：根据所述预测模型预测下一个定目标源，并判断下一步交互目标与下一个定目标源是否为同一个，若是，返回本步骤，直到结束，否则，进行预警提示。

10.一种通过意图识别提前判断电力违规作业的系统，其特征在于，包括：

载体筛选模块，用于根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体，以初步排除非目标源；

标记模块，用于检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；

数据建立模块，用于检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；

模型生成模块，用于将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；

判定模块，用于基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。

Images