CN114882443A - 应用于电缆附件施工的边缘计算系统 - Google Patents

Abstract

本发明提出了应用于电缆附件施工的边缘计算系统，所述边缘计算系统包括中央处理中心、数据处理模块、信息采集模块、数据库和客户端模块，所述信息采集模块的信号输出端与数据处理模块的信号输入端连接，所述数据处理模块的信号交互端与中央处理中心的数据信号交互端连接，所述客户端模块与中央处理中心之间建立数据交互连接，所述数据库模块分别与客户端模块和中央处理中心之间建立数据交互连接。

Description

应用于电缆附件施工的边缘计算系统

技术领域

本发明提出了应用于电缆附件施工的边缘计算系统，属于电缆附件施工相关技术领域。

背景技术

电缆是一种电能或信号传输装置，一般指电缆线路中的中间连接及终端连接，与电缆一起构成电力输送网络。电缆附件在施工过程中存在多道工序，操作流程复杂，需要专业人员进行严格监管。在实际的电缆施工运行过程中，操作人员未按规章制度进行作业，导致电缆附件施工效果不佳，甚至引发安全事故。此外，安排现场人员进行监管时耗时费力、增加成本，也会由于监管不力造成不良后果。因此，利用图像处理技术对电缆附件施工中人体动作识别非常必要。

当前，人体动作识别是计算机视觉研究领域中最具挑战的方向之一。动作识别是特征提取和分类器设计相结合的过程，基于传统模型匹配方法中模型泛化能力低，抗噪声能力差；基于状态空间方法中动作类别相似性是一个局限性问题。此外，特征提取过程易受到遮挡、动态背景，摄像头移动，视角和光照变化等因素的影响，具有很大的挑战性。

为此，本发明提出一种应用于电缆附件施工的边缘计算系统。使用的卷积神经网络直接以原始人体动作视频序列为输入,通过良好的自学习能力、容错能力和并行处理能力，自动提取人体动作的多尺度特征，具有对目标区域的局部感知、层次结构化、深度特征学习等特点。提出的边缘计算系统采用网络、计算、决策核心能力为一体的开放平台，实时快速地进行数据处理；结合采集的施工人员行为视频流，分析确认电缆附件施工是否存在异常，从而进行及时查验整改，降低电缆附件施工的质量安全风险。

发明内容

本发明的目的在于提供应用于电缆附件施工的边缘计算系统，以解决上述背景技术中提到的操作人员有时未按规章制度作业，导致电缆附件施工效果不佳，甚至引发安全事故的问题，所采取的技术方案如下：

应用于电缆附件施工的边缘计算系统，所述边缘计算系统包括中央处理中心、数据处理模块、信息采集模块、数据库和客户端模块，所述信息采集模块的信号输出端与数据处理模块的信号输入端连接，所述数据处理模块的信号交互端与中央处理中心的数据信号交互端连接，所述客户端模块与中央处理中心之间建立数据交互连接，所述数据库模块分别与客户端模块和中央处理中心之间建立数据交互连接，所述数据库用于存储中央处理中心识别判断后的施工工序数据。

进一步地，所述信息采集模块包括摄像头；所述信息采集模块用于通过控制摄像头对电缆附件施工关键工序进行拍摄留存，实时采集电缆附件施工过程中的照片和视频信息。

进一步地，所述数据处理模块的运行过程包括：

步骤1、接收信息采集模块采集到的照片和视频信息；

步骤2、对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

步骤3、将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

进一步地，所述数据处理模块包括：

接收模块，用于接收信息采集模块采集到的照片和视频信息；

提取模块，用于对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

工序获取模块，用于将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

进一步地，所述中央处理中心，用于接收数据处理模块处理后得到的施工工序，并对所述施工工序进行分类处理，在完成分类处理后将施工工序分类结果存储至数据库中。

进一步地，所述客户端通过Web服务器与中央处理中心进行数据交互；所述客户端，用于为用户提供所述边缘计算系统的信息界面，用户通过客户端对数据交互过程中的相应图片或者视频的施工工序进行查看。

进一步地，所述边缘计算系统的运行过程如下：

步骤1：通过摄像头对电缆附件施工关键工序进行拍摄，获取图片和视频信息，并进行人工标记，标记出该视频片段属于哪一种施工工序，作为电缆附件施工工序识别样本集；

步骤2：利用步骤1得到的样本集进行训练，构建人体姿态估计模型，然后在MPII数据集上进行模型训练，得到人体姿态估计模型，并利用Convolutional Pose Machines神经网络提取人体关键点；

步骤3：通过LSTM时序网络来提取视频序列中的人体动作特征；

步骤4：应用时，以嵌入式linux平台作为边缘计算设备平台，平台搭载CCD摄像头，将训练的模型部署到边缘计算平台；

步骤5：读取实时视频，提取关键帧，对该帧图像采用CPM方法检测人体关键点，如检测到人体关键点，连续提取N帧图像的人体关键点，根据步骤3提取基于人体关键点的特征，然后送入训练的LSTM时序网络模型，得到该视频序列所属的施工工序。

进一步地，步骤3所述通过LSTM时序网络来提取视频序列中的人体动作特征，包括：

步骤一、根据人体骨骼关键点构建节点矩阵集合V＝{v_ti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为骨骼关键点数，关键点上的第t帧、第i个关键点的特征向量F(v_ti)由人体关键点坐标构成；

步骤二、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E₁＝{v_tiv_tj|(i,j)∈H}，H表示手部关键点集合，邻接由人体关键点自然连接构成；

步骤三、将步骤一和步骤二得到的特征作为LSTM时序网络的输入；

步骤四、利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型。

进一步地，所述手势动作分类模型的损失函数如下：

其中，N表示手部关键点数；M表示施工工序的类别数量；y_ic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则y_ic取值为1，否则，取值为0；p_ic表示对于观测样本i属于类别c的预测概率。

本发明有益效果：

本发明通过由施工人员对施工关键工序进行拍照留存，并通过LSTM时序网络来提取视频序列中的人体动作特征，进行分析处理后，对施工工序进行识别判断，从而可以根据图片和视频分析施工人员是否按流程进行施工；在此基础上，为实时分析施工人员是否按流程进行施工，保证施工监管效果，本发明基于前端对采集的施工行为视频的智能识别，布署边缘计算平台，从而建立客户端与服务器端的交互，便于对施工工序异常行为实施管控，降低电缆附件施工的安全风险。

附图说明

图1为本发明的整体模块结构图；

图2为本发明的人体姿态估计网络结构图；

图3为本发明的利用神经网络提取人体关键点示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提出了一种应用于电缆附件施工的边缘计算系统，所述边缘计算系统包括中央处理中心、数据处理模块、信息采集模块、数据库和客户端模块，所述信息采集模块的信号输出端与数据处理模块的信号输入端连接，所述数据处理模块的信号交互端与中央处理中心的数据信号交互端连接，所述客户端模块与中央处理中心之间建立数据交互连接，所述数据库模块分别与客户端模块和中央处理中心之间建立数据交互连接，所述数据库用于存储中央处理中心识别判断后的施工工序数据。

其中，所述信息采集模块包括摄像头；所述信息采集模块用于通过控制摄像头对电缆附件施工关键工序进行拍摄留存，实时采集电缆附件施工过程中的照片和视频信息。

所述中央处理中心，用于接收数据处理模块处理后得到的施工工序，并对所述施工工序进行分类处理，在完成分类处理后将施工工序分类结果存储至数据库中。

所述客户端通过Web服务器与中央处理中心进行数据交互；所述客户端，用于为用户提供所述边缘计算系统的信息界面，用户通过客户端对数据交互过程中的相应图片或者视频的施工工序进行查看。

所述数据处理模块包括：

接收模块，用于接收信息采集模块采集到的照片和视频信息；

提取模块，用于对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

工序获取模块，用于将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

并且，

所述数据处理模块的运行过程包括：

步骤1、接收信息采集模块采集到的照片和视频信息；

步骤2、对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

步骤3、将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

上述技术方案的工作原理为：应用于电缆附件施工的边缘计算系统，在工作时，首先通过摄像头对通过摄像头对电缆附件施工关键工序进行拍摄，获取图片和视频信息，将获取到的图片和视频信息送入数据处理模块进行处理，利用LSTM时序网络来提取视频序列中的人体动作特征，从而确定该视频或者图片序列所属的施工工序，并通过中央处理中心对施工工序进行分类，并将分类后的施工工序存储至数据库，用户可以通过客户端对与系统进行交互对相应图片或者视频的施工工序进行查看，可以根据任意的图片和视频信息确定施工工序，从而可以判断施工人员是否按流程进行施工，对施工工序进行抽检。

上述技术方案的效果为：通过由施工人员对施工关键工序进行拍照留存，并通过LSTM时序网络来提取视频序列中的人体动作特征，进行分析处理后，对施工工序进行识别判断，从而可以根据图片和视频分析施工人员是否按流程进行施工；在此基础上，为实时分析施工人员是否按流程进行施工，保证施工监管效果，本发明基于前端对采集的施工行为视频的智能识别，布署边缘计算平台，从而建立客户端与服务器端的交互，便于对施工工序异常行为实施管控，降低电缆附件施工的安全风险。

本发明的一个实施例，所述边缘计算系统的运行过程如下：

步骤1：通过摄像头对电缆附件施工关键工序进行拍摄，获取图片和视频信息，并进行人工标记，标记出该视频片段属于哪一种施工工序，作为电缆附件施工工序识别样本集；

步骤2：利用步骤1得到的样本集进行训练，构建人体姿态估计模型，然后在MPII数据集上进行模型训练，得到人体姿态估计模型，并利用ConvolutionalPoseMachines神经网络提取人体关键点；

步骤3：通过LSTM时序网络来提取视频序列中的人体动作特征；

步骤4：应用时，以嵌入式linux平台作为边缘计算设备平台，平台搭载CCD摄像头，将训练的模型部署到边缘计算平台；

步骤5：读取实时视频，提取关键帧，对该帧图像采用CPM方法检测人体关键点，如检测到人体关键点，连续提取N帧图像的人体关键点，根据步骤3提取基于人体关键点的特征，然后送入训练的LSTM时序网络模型，得到该视频序列所属的施工工序。

其中，步骤3所述通过LSTM时序网络来提取视频序列中的人体动作特征，包括：

步骤一、根据人体骨骼关键点构建节点矩阵集合V＝{v_ti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为骨骼关键点数，关键点上的第t帧、第i个关键点的特征向量F(v_ti)由人体关键点坐标构成；

步骤二、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E₁＝{v_tiv_tj|(i,j)∈H}，H表示手部关键点集合，邻接由人体关键点自然连接构成；

步骤三、将步骤一和步骤二得到的特征作为LSTM时序网络的输入；

步骤四、利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型。

其中，所述手势动作分类模型的损失函数如下：

其中，N表示手部关键点数；M表示施工工序的类别数量；y_ic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则y_ic取值为1，否则，取值为0；p_ic表示对于观测样本i属于类别c的预测概率。

上述技术方案的工作原理为：

步骤1：通过摄像头对电缆附件施工关键工序进行拍摄，获取图片和视频信息，并进行人工标记，标记出该视频片段属于哪一种施工工序，作为电缆附件施工工序识别样本集；

步骤2：利用步骤1得到的样本集进行训练，构建人体姿态估计模型，然后在MPII数据集上进行模型训练，得到人体姿态估计模型，并利用ConvolutionalPoseMachines神经网络提取人体关键点；

(1)构建人体姿态估计模型，模型结构如图2所示；

其中“C”和“MC”表示卷积层；

“P”表示池化层；

“Loss”表示损失函数；

“Centermap”是人体图片的中心点；用于将响应图聚拢到图像的中心坐标，ResNetLayers采用Resnet34网络；

(2)在MPII数据集上进行模型训练，得到人体姿态估计模型，检测结果如图3所示；

步骤3：通过LSTM时序网络来提取视频序列中的人体动作特征；

首选，根据人体骨骼关键点构建节点矩阵集合V＝{v_ti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为骨骼关键点数，关键点上的第t帧、第i个关键点的特征向量F(v_ti)由人体关键点坐标构成；

然后，构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E₁＝{v_tiv_tj|(i,j)∈H}，H表示手部关键点集合，邻接由人体关键点自然连接构成；

再将(1)和(2)得到的特征作为LSTM时序网络的输入；

训练人体动作分类模型，定义损失函数如下：

其中，M表示施工动作的类别数；y_ic指示变量(0或1)，如果该类别和样本i的类别相同就是1，否则是0；p_ic对于观测样本i属于类别c的预测概率；

步骤4：应用时，以嵌入式linux平台作为边缘计算设备平台，平台搭载CCD摄像头，将训练的模型部署到边缘计算平台；

步骤5：读取实时视频，提取关键帧，对该帧图像采用CPM方法检测人体关键点，如检测到人体关键点，连续提取N帧图像的人体关键点，根据步骤3提取基于人体关键点的特征，然后送入训练的LSTM时序网络模型，得到该视频序列所属的施工工序。

上述技术方案的效果为：通过由施工人员对施工关键工序进行拍照留存，并通过LSTM时序网络来提取视频序列中的人体动作特征，进行分析处理后，对施工工序进行识别判断，从而可以根据图片和视频分析施工人员是否按流程进行施工；在此基础上，为实时分析施工人员是否按流程进行施工，保证施工监管效果，本发明基于前端对采集的施工行为视频的智能识别，布署边缘计算平台，从而建立客户端与服务器端的交互，便于对施工工序异常行为实施管控，降低电缆附件施工的安全风险。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.应用于电缆附件施工的边缘计算系统，其特征在于，所述边缘计算系统包括中央处理中心、数据处理模块、信息采集模块、数据库和客户端模块，所述信息采集模块的信号输出端与数据处理模块的信号输入端连接，所述数据处理模块的信号交互端与中央处理中心的数据信号交互端连接，所述客户端模块与中央处理中心之间建立数据交互连接，所述数据库模块分别与客户端模块和中央处理中心之间建立数据交互连接。

2.根据权利要求1所述边缘计算系统，其特征在于，所述信息采集模块包括摄像头；所述信息采集模块用于通过控制摄像头对电缆附件施工关键工序进行拍摄留存，实时采集电缆附件施工过程中的照片和视频信息。

3.根据权利要求1所述边缘计算系统，其特征在于，所述数据处理模块的运行过程包括：

步骤1、接收信息采集模块采集到的照片和视频信息；

步骤2、对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

步骤3、将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

4.根据权利要求1或3所述边缘计算系统，其特征在于，所述数据处理模块包括：

接收模块，用于接收信息采集模块采集到的照片和视频信息；

提取模块，用于对接收到的照片和视频信息进行特征提取处理，提取基于照片或者视频中人体关键点的特征；

工序获取模块，用于将所述人体关键点的特征送入训练的LSTM时序网络模型，获得所述视频序列所属的施工工序。

5.根据权利要求1所述边缘计算系统，其特征在于，所述中央处理中心，用于接收数据处理模块处理后得到的施工工序，并对所述施工工序进行分类处理，在完成分类处理后将施工工序分类结果存储至数据库中。

6.根据权利要求1所述边缘计算系统，其特征在于，所述客户端通过Web服务器与中央处理中心进行数据交互；所述客户端，用于为用户提供所述边缘计算系统的信息界面，用户通过客户端对数据交互过程中的相应图片或者视频的施工工序进行查看。

7.根据权利要求1所述边缘计算系统，其特征在于，所述边缘计算系统的运行过程如下：

步骤1：通过摄像头对电缆附件施工关键工序进行拍摄，获取图片和视频信息，并进行人工标记，标记出该视频片段属于哪一种施工工序，作为电缆附件施工工序识别样本集；

步骤2：利用步骤1得到的样本集进行训练，构建人体姿态估计模型，然后在MPII数据集上进行模型训练，得到人体姿态估计模型，并利用Convolutional Pose Machines神经网络提取人体关键点；

步骤3：通过LSTM时序网络来提取视频序列中的人体动作特征；

步骤4：应用时，以嵌入式linux平台作为边缘计算设备平台，平台搭载CCD摄像头，将训练的模型部署到边缘计算平台；

步骤5：读取实时视频，提取关键帧，对该帧图像采用CPM方法检测人体关键点，如检测到人体关键点，连续提取N帧图像的人体关键点，根据步骤3提取基于人体关键点的特征，然后送入训练的LSTM时序网络模型，得到该视频序列所属的施工工序。

8.根据权利要求7所述边缘计算系统，其特征在于，步骤3所述通过LSTM时序网络来提取视频序列中的人体动作特征，包括：

步骤一、根据人体骨骼关键点构建节点矩阵集合V＝{v_ti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为骨骼关键点数，关键点上的第t帧、第i个关键点的特征向量F(v_ti)由人体关键点坐标构成；

步骤二、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E₁＝{v_tiv_tj|(i,j)∈H}，H表示手部关键点集合，邻接由人体关键点自然连接构成；

步骤三、将步骤一和步骤二得到的特征作为LSTM时序网络的输入；

步骤四、利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型。

9.根据权利要求8所述边缘计算系统，其特征在于，所述手势动作分类模型的损失函数如下：

其中，N表示手部关键点数；M表示施工工序的类别数量；y_ic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则y_ic取值为1，否则，取值为0；p_ic表示对于观测样本i属于类别c的预测概率。

Images