CN112434575B - 一种基于姿态识别的电力物联网设备远程控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于姿态识别的电力物联网设备远程控制方法及系统，包括，采集连续多帧人体姿态动作视频及电力物联网作业现场视频；利用深度学习目标检测算法对所述连续多帧人体姿态动作视频及所述电力物联网作业现场视频进行姿态识别；显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。本发明人机交互方式更便捷，姿态识别模型精简，本发明还利用5G模块进行远距离通信，由于5G模块具有高数据率、低时延这些特点，5G模块可以实时进行控制指令传输并从电力物联网设备端实时传输作业现场监控视频，方便操作人员及时调整操作。

Description

一种基于姿态识别的电力物联网设备远程控制方法及系统

技术领域

本发明涉及深度学习、嵌入式的技术领域，尤其涉及一种基于姿态识别的电力物联网设备远程控制方法及系统。

背景技术

近年来，物联网、人工智能、机器人等技术迅速发展，由于电力作业的危险性及复杂性，越来越多的解决各种电力问题的自动化设备被设计出来，例如用无人机对电力线路及相关设备进行巡视、利用一些电力自动化设备进行线路维修及故障排查等工作，电力自动化设备的出现可以很大程度上保护电力设备维护人员的安全，同时能够更高效地实施各种电力作业。

随着进行电力作业的操作种类的增加，对人与设备的交互方式以及安全保护提出了新的要求，交互方式更简洁直观对电力线路维护人员来说变得越来越重要，目前人机交互方式大多是按钮式的交互方式，而且通信方式一般也采用近距离无线通信方式，如2.4G无线模块、WIFI模块等，维护电力设备的操作人需要经过长期专门的培训才能熟悉操作，另外，有关姿态识别方面，现有的姿态识别研究大多是做理论算法研究，很少有人将姿态识别作为电力自动化设备的人机交互方式，而且现有的姿态识别模型对于嵌入式设备来讲存储量和计算量过大，此外，很多电力作业依然需要电力线路维护人员进行现场查看，可人的视距有限。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：交互方式便捷性差、姿态识别模型存储量及计算量大、短距离通信方式通信距离有限。

为解决上述技术问题，本发明提供如下技术方案：采集连续多帧人体姿态动作视频及电力物联网作业现场视频；利用深度学习目标检测算法对所述连续多帧人体姿态动作视频及所述电力物联网作业现场视频进行姿态识别；显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述深度学习目标检测算法包括LRCN网络。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述控制电力物联网设备开关状态及动作状态过程包括，根据控制连接的硬件接口类型编写控制接口函数；根据接收到的所述控制指令对所述电力物联网设备进行开关控制及动作控制。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述LRCN网络包括，所述LRCN网络结合ShuffleNet、CNN、LSTM提取所述视频中人体姿态特征。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：提取所述视频中人体姿态特征过程包括，利用所述CNN获取单帧人体姿态图像信息特征；将所述CNN的输出按时序通过所述LSTM；利用所述LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述ShuffleNet包括逐点群卷积和通道混洗。

作为本发明所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述CNN网络和所述LSTM网络不同深度的层级设置包括，根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级。

为解决上述问题，本发明还提出如下技术方案：一种基于姿态识别的电力物联网设备远程控制系统，包括视频采集模块用于采集所述连续多帧人体姿态动作视频和所述电力物联网设备作业现场视频；视频处理模块与所述视频采集模块相连接用于对所述视频进行人体姿态识别；显示模块与所述视频处理模块及所述视频采集模块相连接，用于显示所述姿态识别预测结果，显示经由控制及视频处理模块、5G通信模块、所述视频处理模块反馈回来的电力物联网设备作业现场视频；5G通信模块与所述显示模块相连接，用于传输来自所述视频处理模块预测结果对应的控制指令，反馈所述视频采集模块传回的电力物联网作业现场视频；控制及视频处理模块与所述5G通信模块模块相连接，用于接收所述控制指令，对电力物联网设备开关状态及动作状态进行控制，传输所述视频采集模块采集的电力物联网作业现场视频。

作为本发明所述的基于姿态识别的电力物联网设备远程控制系统的一种优选方案，其中：所述视频采集模块包括，视频采集模块1用于采集所述连续多帧人体姿态动作视频；视频采集模块2用于采集所述电力物联网作业现场视频；其具体包括，USB通信单元通过摄像头与所述视频处理模块相连接进行通信，驱动单元与所述USB通信单元相连接用于调用OpenCV驱动摄像头获取原始视频，视频采集接口单元与所述驱动单元相连接用于封装视频采集接口函数，供视频处理模块获取视频。

作为本发明所述的基于姿态识别的电力物联网设备远程控制系统的一种优选方案，其中：所述5G通信模块包括，底层驱动单元用于编写控制指令及视频传输协议，以及构建通信收发接口函数，通信收发单元与所述底层驱动单元相连接用于发送接口函数，传输根据人体姿识别结果得到的相应的动作指令，视频传输单元连接所述通信单元用于将接收的现场作业视频传输回所述视频处理模块经所述显示模块显示。

本发明的有益效果：便捷的人机交互方式，本发明利用人体姿态交互更简便，操作人员可以通过学习形象的姿态对机器人进行控制，操作可以更进一步细化；姿态识别模型精简，本发明中姿态识别模型主干网络采用ShuffleNet，更适用于嵌入式设备存储资源计算资源有限这一特点；远距离实时传输控制信号及作业现场视频，本发明利用5G模块进行远距离通信，由于5G模块具有高数据率、低时延这些特点，5G模块可以实时进行控制指令传输并从电力物联网设备端实时传输作业现场监控视频，方便操作人员及时调整操作。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的基本流程图；

图2为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的改进的LRCN网络结构简图；

图3为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的LRCN网络深度分级示意图；

图4为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的结构示意图；

图5为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的视频采集模块的操作步骤示意图；

图6为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的显示模块操作示意图；

图7为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的5G通信模块操作示意图；

图8为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的控制及视频处理模块操作示意图；

图9为本发明一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的系统模块间操作流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

现有的电力自动化设备人机交互大多采用各种按钮进行，按钮多时对操作人员来说太过复杂，特别当执行任务紧急时，操作人员可能会由于急乱按错按钮，导致错误操作，反而会因此带来各种问题，现有的姿态识别模型对存储及计算能力的需求很大，需要大容量存储，高性能的计算能力，设备功耗也过大。不便于在资源有限，低功耗的嵌入式设备上运行，现有的电力自动化设备进行操作时的通信方式大多采用短距离通信方式向电力自动化设备发送控制指令，操作电力自动化设备依然需要靠近作业现场，现有的电力自动化设备大多依靠人眼查看作业现场情况，人的视觉有限，一些细节性的情况有时无法明确。

参照图1～3，为本发明的一个实施例，提供了一种基于姿态识别的电力物联网设备远程控制方法，包括：

S1：采集连续多帧人体姿态动作视频及电力物联网作业现场视频。

S2：利用深度学习目标检测算法对连续多帧人体姿态动作视频及电力物联网作业现场视频进行姿态识别。需要说明的是，深度学习目标检测算法包括LRCN网络。

其中，LRCN网络包括：

LRCN网络结合ShuffleNet、CNN、LSTM提取视频中人体姿态特征。

提取视频中人体姿态特征过程包括，利用CNN获取单帧人体姿态图像信息特征；将CNN的输出按时序通过LSTM；利用LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征。

其中，ShuffleNet包括逐点群卷积和通道混洗。

CNN网络和LSTM网络不同深度的层级设置包括：

根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级。

具体的，采用LRCN(Long-term recurrent convolutional network，长时递归卷积神经网络)进行姿态识别，并从主干网络和网络深度两方面对网络进行改进，以使其适用于嵌入式设备存储及计算资源有限这些特点，改进的LRCN网络结构简图如图2所示。LRCN网络将ShuffleNet、CNN、LSTM进行结合提取视频中人体姿态特征，利用CNN获取单帧人体姿态图像信息特征，然后将CNN的输出按时序通过LSTM，通过LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征进行姿态识别。

其中，将LRCN主干网络替换为ShuffleNet。ShuffleNet作为轻量级网络的一种，专门为适用于计算力受限制的嵌入式这类移动设备设计，ShuffleNet主要利用逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle)两个操作提高CNN的计算效率，与现有模型相比，在相似的精度上可以很大程度上降低计算量。

进一步的，对LRCN网络中的CNN网络和LSTM网络设置不同深度的层级包括，根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级，设置不同层级深度对嵌入式系统是来说，可以降低计算量，降低存储空间，进而有利于嵌入式设备的功耗控制，LRCN网络深度分级示意图如图3所示。

S3：显示姿态识别预测结果，传输预测结果对应的控制指令。

S4：接收控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。需要说明的是，控制电力物联网设备开关状态及动作状态过程包括：

根据控制连接的硬件接口类型编写控制接口函数；

根据接收到的控制指令对电力物联网设备进行开关控制及动作控制。

为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中选择传统方案R9 3990X TITAN RTX AI人工智能主机与本发明方法NVIDIA Jetson Xavier NX嵌入式模块进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

在本实施例中，采用R9 3990X TITAN RTX AI人工智能主机及本发明方法NVIDIAJetson Xavier NX嵌入式模块对电力物联网设备进行远程控制测试，其通过测试结果对比如表1所示。

表1：测试结果对比表。

从上述对比结果可以看出，本发明方法相较于传统方法可节省47000元左右，传统方法需要大容量存储，设备功耗也过大，对作业现场了解不明确，传统方法大多依靠人眼查看作业现场情况，人的视觉有限，一些细节性的情况有时无法明确，且通信速度慢，无法实现实时性，而本发明方法相较于传统方法对于这些方面都有很大的改进。

实施例2

参照图4～9，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于姿态识别的电力物联网设备远程控制系统，包括：视频采集模块、视频处理模块、显示模块、5G通信模块、控制及视频处理模块，其中需要说明的是:

视频采集模块用于采集连续多帧人体姿态动作视频和电力物联网设备作业现场视频；

视频处理模块与视频采集模块相连接用于对视频进行人体姿态识别；

显示模块与视频处理模块及视频采集模块相连接，用于显示姿态识别预测结果，显示经由控制及视频处理模块、5G通信模块、视频处理模块反馈回来的电力物联网设备作业现场视频，具体的，显示模块主要包括窗口构建、显示姿态识别预测结果、显示实时获取视频，其操作步骤如图6所示。

5G通信模块与显示模块相连接，用于传输来自视频处理模块预测结果对应的控制指令，反馈视频采集模块传回的电力物联网作业现场视频；

控制及视频处理模块与5G通信模块模块相连接，用于接收控制指令，对电力物联网设备开关状态及动作状态进行控制，传输视频采集模块采集的电力物联网作业现场视频。具体的，控制及视频处理模块主要包括控制接口单元、视频获取传输，控制及视频处理模块操作步骤如图8所示

其中，视频采集模块包括:

视频采集模块1用于采集连续多帧人体姿态动作视频；

视频采集模块2用于采集电力物联网作业现场视频；

其具体包括，USB通信单元通过摄像头与视频处理模块相连接进行通信，驱动单元与USB通信单元相连接用于调用OpenCV驱动摄像头获取原始视频，视频采集接口单元与驱动单元相连接用于封装视频采集接口函数，供视频处理模块获取视频，其具体操作步骤如图5所示。

进一步的，5G通信模块包括：

底层驱动单元用于编写控制指令及视频传输协议，以及构建通信收发接口函数，通信收发单元与底层驱动单元相连接用于发送接口函数，传输根据人体姿识别结果得到的相应的动作指令，视频传输单元连接通信单元用于将接收的现场作业视频传输回视频处理模块经显示模块显示，其具体操作步骤如图7所示。

下面结合系统实例，进一步地阐述本发明的具体实施方式。

本实施例系统组成：视频采集模块1和视频采集模块2采用罗技C270摄像头模块、视频处理模块采用NVIDIA Jetson Xavier NX嵌入式模块、5G模块采用华为MH5000系列5G工业模块、显示模块采用HDMI显示器、控制及视频处理模块采用树莓派3系列模块，系统模块间操作流程如图9所示。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于姿态识别的电力物联网设备远程控制方法，其特性在于，包括：

采集连续多帧人体姿态动作视频及电力物联网作业现场视频；

利用深度学习目标检测算法对所述连续多帧人体姿态动作视频进行姿态识别；

所述深度学习目标检测算法包括LRCN网络；

所述LRCN网络包括，所述LRCN网络结合ShuffleNet、CNN、LSTM提取所述视频中人体姿态特征；

提取所述视频中人体姿态特征过程包括，利用所述CNN获取单帧人体姿态图像信息特征，将所述CNN的输出按时序通过所述LSTM，利用所述LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征；

所述ShuffleNet包括逐点群卷积和通道混洗；

所述CNN网络和所述LSTM网络不同深度的层级设置包括，根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级；

显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；

接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制；

所述控制电力物联网设备开关状态及动作状态过程包括，

根据控制连接的硬件接口类型编写控制接口函数；

根据接收到的所述控制指令对所述电力物联网设备进行开关控制及动作控制。

2.一种采用如权利要求1所述基于姿态识别的电力物联网设备远程控制方法的系统，其特征在于：包括，

视频采集模块用于采集所述连续多帧人体姿态动作视频和所述电力物联网设备作业现场视频；

视频处理模块与所述视频采集模块相连接用于对所述视频进行人体姿态识别；

显示模块与所述视频处理模块及所述视频采集模块相连接，用于显示所述姿态识别预测结果，显示经由控制及视频处理模块、5G通信模块、所述视频处理模块反馈回来的电力物联网设备作业现场视频；

5G通信模块与所述显示模块相连接，用于传输来自所述视频处理模块预测结果对应的控制指令，反馈所述视频采集模块传回的电力物联网作业现场视频；

控制及视频处理模块与所述5G通信模块相连接，用于接收所述控制指令，对电力物联网设备开关状态及动作状态进行控制，传输所述视频采集模块采集的电力物联网作业现场视频；

所述视频采集模块包括，视频采集模块1用于采集所述连续多帧人体姿态动作视频；

视频采集模块2用于采集所述电力物联网作业现场视频；

其具体包括，USB通信单元通过摄像头与所述视频处理模块相连接进行通信，驱动单元与所述USB通信单元相连接用于调用OpenCV驱动摄像头获取原始视频，视频采集接口单元与所述驱动单元相连接用于封装视频采集接口函数，供视频处理模块获取视频；

所述5G通信模块包括，底层驱动单元用于编写控制指令及视频传输协议，以及构建通信收发接口函数，通信收发单元与所述底层驱动单元相连接用于发送接口函数，传输根据人体姿识别结果得到的相应的动作指令，视频传输单元连接所述通信单元用于将接收的现场作业视频传输回所述视频处理模块经所述显示模块显示；

底层驱动单元用于编写控制指令及视频传输协议，以及构建通信收发接口函数，通信收发单元与所述底层驱动单元相连接用于发送接口函数，传输根据人体姿识别结果得到的相应的动作指令，视频传输单元连接所述通信单元用于将接收的现场作业视频传输回所述视频处理模块经所述显示模块显示。