CN110555404A

CN110555404A - 基于人体姿态识别的飞翼无人机地面站交互装置及方法

Info

Publication number: CN110555404A
Application number: CN201910810625.7A
Authority: CN
Inventors: 刘贞报; 邢轶超; 江飞鸿; 严月浩; 张军红
Original assignee: Northwest University of Technology
Current assignee: Northwestern Polytechnical University; Northwest University of Technology
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2019-12-10

Abstract

本发明公开的基于人体姿态识别的飞翼无人机地面站交互装置及方法，通过在地面站采集人体对象的控制动作，将控制动作依次输入对象检测网络模型和图像识别网络模型中，输入人体对象的姿态，最后将姿态转化为控制指令，进行无人机的控制，相对于传统的交互方式，如鼠标、键盘、遥控器等，人体姿态识别的交互模式使操作者摆脱了遥控装置的束缚，具有直接感知的优势，易于理解，便于操作，更符合人类的日常习惯，将该技术引入飞翼无人机的控制中，能够利用人体姿态更加方便、高效地操纵无人机。

Description

基于人体姿态识别的飞翼无人机地面站交互装置及方法

技术领域

本发明属于无人机交互领域，特别涉及一种基于人体姿态识别的飞翼无人机地面站交互装置及方法。

背景技术

人机交互是随着计算机技术的进步而产生并且不断发展的一种新型智能技术，在信息处理领域具有广阔的应用前景。近年来，随着人工智能技术的发展，以及相关软硬件技术的不断进步和创新，实现更加便利和自然的人机交互成为研究热点。

传统的飞翼无人机交互方法大多通过遥控装置来控制无人机的飞行姿态，这种控制方式操作起来较为繁琐，即使是在完成简单任务时，也需要充分考虑飞翼无人机的飞行状态，非常不利于高效地执行任务。近年来出现了佩戴特殊辅助设备的无人机交互方法，其利用身体部位运动的测量值作为控制信号，来简化无人机的控制方式，但该方法过度依赖特殊辅助设备，且面临花费高、便捷性差等问题。

针对目前的飞翼无人机遥控装置的操作繁琐，价格昂贵的问题，有必要开发一种陈本低廉且便于操作的控制方法。

发明内容

针对现有无人机控制装置便捷性差以及价格昂贵的问题，本发明提供了一种基于人体姿态识别的飞翼无人机地面站交互装置及方法，采用卷积神经网络的深度学习算法进行姿态识别，将对象姿态解算为控制指令后控制无人机的飞行，从而实现无人机的高效人机交互。

本发明采用如下技术方案来实现：

基于人体姿态识别的飞翼无人机地面站交互方法，包括如下步骤：

步骤1：采集人体对象执行控制动作的视频；

步骤2：根据基于深度卷积神经网络的对象检测算法，构建对象检测网络模型并进行训练；

步骤3：将获取的视频输入训练好的对象检测模型，对象检测模型输出关键帧图像中的人体对象；

步骤4：根据深度卷积神经网络的图像识别算法，构建图像识别网络模型并训练；

步骤5：将步骤3得到的关键帧图像的人体对象输入至步骤4训练好的图像识别网络模型，得到关键帧图像中人体对象的姿势；

步骤6：将步骤5得到的人体对象的姿势转换为控制指令，并发送至飞翼无人机控制其飞行状态。

优选的，对象检测网络模型的训练过程包括以下步骤：

2.1)将步骤1拍摄的视频作为候选训练集；

2.2)提取视频中与人体对象相关的关键帧图像，使用矩形框对关键帧图像中的人体对象进行人工标记，并将其作为训练的标记数据输入至对象检测网络模型；

2.3)向前传播网络，从下向上依次计算深度卷积中性网络中各层的输出值，将最后一层的输出值与标记数据进行比较，并进行计算以获得损失值；

2.4)反向传播网络，基于各层的权重和损耗值从上到下依次计算各层的损耗和梯度方向，并根据梯度下降法更新网络权重；

2.5)循环执行步骤2.3和2.4直到网络收敛，对象检测网络模型训练完成。

优选的，对步骤3得到的关键帧图像的人体对象进行图像变换和滤波预处理后，输入至图像识别网络模型。

优选的，图像识别网络模型的训练过程包括以下步骤：

4.1)将关键帧图像的人体对象作为候选训练集；

4.2)人工标记候选训练集中关键帧图像的人体对象的关键点，并提取关键点坐标作为训练的标记数据输入至图像识别网络模型；

4.3)向前传播网络，从下向上依次计算深度卷积中性网络的各层的输出值，将最后一层的输出值与标记数据进行比较，并进行计算以获得损失值；

4.4)反向传播网络，基于各层的权重和损耗值从上到下依次计算各层的损耗和梯度方向，并根据梯度下降方法更新网络权重；

4.5)循环执行步骤4.3和4.4直到网络收敛，图像识别网络模型训练完成。

优选的，步骤4.2中所述关键点为头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝。

本发明还提供了基于人体姿态识别的飞翼无人机地面站交互方法的装置，包括，拍摄单元1，用于拍摄人体对象执行控制动作的视频；

对象检测网络模型2，用于从所拍摄视频中提取与对象相关的关键帧图像中的人体对象；

图像识别网络模型3，用于通过基于深度卷积神经网络的图像识别算法，从关键帧图像中的人体对象中识别人体对象的姿态；

指令转换单元4，用于将人体对象的姿态转换为控制指令，以控制飞翼无人机的飞行。

优选的，还包括预处理单元，用于对对象检测网络模型所提取的关键帧图像的人体对象进行图像变换和滤波预处理。

本发明具有如下有益的技术效果：

本发明提供的一种基于人体姿态识别的飞翼无人机地面站交互方法，通过在地面站采集人体对象的控制动作，将控制动作依次输入对象检测网络模型和图像识别网络模型中，输入人体对象的姿态，最后将姿态转化为控制指令，进行无人机的控制，相对于传统的交互方式，如鼠标、键盘、遥控器等，人体姿态识别的交互模式使操作者摆脱了遥控装置的束缚，具有直接感知的优势，易于理解，便于操作，更符合人类的日常习惯，将该技术引入飞翼无人机的控制中，能够利用人体姿态更加方便、高效地操纵无人机。

另外采用在对象检测网络模型和图像识别网络模型，能够快速输出识别结果，并且能够保证具有较高的识别精度。

本发明提供的一种基于人体姿态识别的飞翼无人机地面站交互装置，只需一个拍摄装置，而且不需要过高的像素要求，仅需完成二维视频的拍摄，降低了控制装置的价格，而且控制便捷。

附图说明

图1是飞翼无人机地面站交互装置示意图；

图2是飞翼无人机地面站交互方法的步骤；

图3是一种飞翼无人机布局。

图中：1为拍摄单元，2为对象检测网络模型，3为图像识别网络模型，4为指令转换单元，6为升降舵，7为副翼，8为阻力方向舵。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

参照图1，一种基于人体姿态识别的飞翼无人机地面站交互装置，包括：

拍摄单元1，用于拍摄人体对象执行控制动作的视频；

图像识别网络模型3，用于通过基于深度卷积神经网络的图像识别算法，从关键帧图像中的人体对象中识别人体对象的姿态。

拍摄单元1、对象检测网络模型2、图像识别网络模型3和指令转换单元4均位于地面站计算机中，其功能均由地面站计算机完成，并通过无线信号与飞翼无人机进行通信。

预处理单元，用于对对象检测网络模型所提取的关键帧图像的人体对象进行图像变换和滤波预处理。

由于拍摄单元的图像中可能出现诸如大噪声，变形和模糊的情况，因此可能导致系统不稳定，使用图像预处理可以有效地实现图像降噪，变形校正和模糊去除等功能。预处理单元可以是对象检测网络模型的一部分，也可以依附于图像识别网络模型，也可以独立于对象检测网络模型和图像识别网络模型之间。

上述人体对象可以是人体、假体(例如，人造假人，稻草人或可以模仿人体的任何其他物体)、动物体或可以使用的任何其他物体。

姿态识别单元包括对象关键点定位单元和姿态确定单元，其中对象关键点定位单元的作用是通过深度卷积神经网络的图像识别算法获取关键帧图像中的对象关键点位置信息，姿态确定单元的作用是通过对象关键点位置信息推测出对象姿态。

参照图2，一种基于人体姿态识别的飞翼无人机地面站交互方法，主要包括如下步骤：

步骤1：采集人体对象执行控制动作的视频；

执行人员在地面站的相机前执行控制动作，相机与地面站的控制终端连接，相机录制控制动作的视频，发送给控制终端。

步骤2：根据基于深度卷积神经网络的对象检测算法，构建对象检测网络模型并进行训练。

从所拍摄视频中提取与人体对象相关的关键帧图像，检测关键帧图像中人体对象的信息，使用矩形框选择关键帧图像中的人体对象，并将其提取作为对象检测网络模型的输入，进行对象检测网络模型的训练。

对象检测网络模型采用的是深度卷积神经网络算法，各卷积层的输出通过网络从下往上依次计算，最终层输出为关键帧图像中的人体对象，训练过程包括以下步骤：

2.1)将步骤1拍摄的视频作为候选训练集。

2.2)提取视频中与人体对象相关的关键帧图像，使用矩形框对关键帧图像中的人体对象进行人工标记，并将其作为训练的标记数据输入至对象检测网络模型。

2.3)向前传播网络，从下向上依次计算深度卷积中性网络中各层的输出值，将最后一层的输出值与标记数据进行比较，并进行计算以获得损失值。

2.5)循环执行步骤2.3和2.4直到网络收敛，对象检测网络模型训练完成，最终获得的网络权重仅用于对象检测。

步骤3：将获取的视频输入训练好的对象检测模型，对象检测模型输出关键帧图像中的人体对象。

步骤4：对步骤3得到获取的关键帧图像中的人体对象进行图像预处理操作，分别执行图像变换和滤波预处理，以排除干扰信息，提高识别的精度和速度。

步骤5：根据深度卷积神经网络的图像识别算法，构建图像识别网络模型并训练，用于识别预处理后的关键帧图像中人体对象的姿势。

首先，深度卷积神经网络图像识别算法获取关键帧图像中人体对象的关键点位置信息，将获取到的人体对象的关键点位置信息输入到训练好的深度卷积神经网络，还原出相应对象的姿态信息。

关键点定位基于深度卷积神经网络图像识别算法，网络输入为预处理后的关键帧图像中的人体对象，通过网络从下到上依次计算，最终层输出为各个关键点的坐标预测值，图像识别网络模型的训练过程包括以下步骤：

5.1)将经过预处理操作的关键帧图像的人体对象作为候选训练集；

5.2)人工标记候选训练集中关键帧图像的人体对象的关键点，并提取其坐标作为训练的标记数据输入至图像识别网络模型；

5.3)向前传播网络，从下向上依次计算深度卷积中性网络的各层的输出值，将最后一层的输出值与标记数据进行比较，并进行计算以获得损失值；

5.4)反向传播网络，基于各层的权重和损耗值从上到下依次计算各层的损耗和梯度方向，并根据梯度下降方法更新网络权重；

5.5)循环执行步骤5.3和5.4直到网络收敛，图像识别网络模型训练完成，最终获得的网络权重仅用于对象关键点定位。

步骤6：将步骤4预处理后的关键帧图像的人体对象输入至步骤5训练好的图像识别网络模型，得到关键帧图像中人体对象的姿势。

步骤7：将步骤6得到的人体对象的姿势转换为控制指令，并发送至飞翼无人机以控制其飞行。

考虑到控制过程中的安全性，还可以设置一对交互开始和结束指令，交互开始指令表示开始动作，交互结束指令表示结束动作。

人体对象的关键点是人体骨架关键点，包括：头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝等，或者其它能代表姿态特征的关键点。

在进行姿态确定时采用深度卷积神经网络进行多分类，首先对网络权值进行初始化，然后将关键点坐标矩阵输入，经过卷积层、全连接层的向前传播得到输出值，求出网络的输出值与目标值之间的误差，当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层和卷积层的误差，并据此进行权值更新，然后再向更新后的网络中输入训练集，得到误差，更新权重，循环进行上述步骤，直到模型的错误率降至要求范围以内，得到对象姿态确定模型，将上述关键点位置信息输入所得模型网络即可获得其对应姿态。

人体姿态包括但不限于：右手向右摆动，左手向左摆动，双手水平向前推，双手向后收，无人机起飞指令人体姿势，无人机着陆指令人体姿势，交互启动指令人体姿势，交互结束指令姿势，无人机拍摄指令人体姿势等。对象姿态的具体数量和具体模式可以取决于相应飞翼无人机的控制要求。例如，当控制相对复杂时，需要相对大量的对象姿态来执行不同的控制。

尽管经过大量数据的训练，图像识别网络模型的识别率已经达到相当的标准，但是当对象姿态差异较小时，仍然可能导致识别错误，从而无法实现预期的控制结果，甚至导致无法预料的后果，因此，在确定姿态时，应该确保不同对象姿态的特定模式具有一定程度的差异，以降低识别错误率。

在本发明中，指令转换单元转换的控制指令包括但不限于：右飞行指令，左飞行指令，前进指令，后退指令，起飞指令，着陆指令，交互开始指令，交互结束指令，拍摄指令等。

拍摄对象视频，提取视频中包含对象的关键帧，识别关键帧图像中的对象姿态，将识别到的姿态信息转换为控制指令，这些功能都由地面站计算机来完成，并发送给飞翼无人机的飞控系统以控制飞行。

参照图3，一种飞翼无人机布局包括升降舵6、副翼7和阻力方向舵8.

其中，升降舵6用于控制飞翼无人机的俯仰操作，副翼7用于控制飞翼无人机的滚转操作，阻力方向舵主8用于控制飞翼无人机的偏航操作。

下面对人体姿态动作与各个舵面的偏转和飞翼无人机的姿态变化之间的对应关系进行示例说明：

(1)交互开始:右手举起呈敬礼状，开始整个交互控制过程；

(2)俯仰操作：双手举过头顶，升降舵上偏，飞翼无人机抬头；双手侧平举，升降舵下偏，飞机低头；

(3)滚转操作：左臂平举，右臂下垂，控制左侧副翼上偏右侧副翼下偏，飞机左滚；右臂平举，左臂下垂，控制左侧副翼下偏右侧副翼上偏，飞机右滚；

(4)偏航操作：左手叉腰，右臂下垂，控制左侧阻力方向舵张开，飞机左偏；右手叉腰，左臂下垂，控制右侧阻力方向舵张开，飞机右偏；

(5)交互结束：左手举起呈敬礼状，发送指令结束交互流程。

在无人机交互过程中，不同的对象姿态对应于不同的飞翼无人机操作控制指令，可以更加准确地进行特征提取，并实现无人机的高效控制。同时对象姿态具有良好的可扩展性，使得该方法具有更加广泛的应用范围。上述示例仅仅给出一套简单的姿态对应的指令，如需要更复杂的控制，可自行增加新的姿态，也可更改已有的姿态所对应的指令。

本发明给出的实施例仅是为了清楚地描述本发明内容而给出的示例，而不是对本发明的实施方式的完全描述。相关技术人员可以在上述描述的基础上做进一步的以不同形式进行的修改。凡在本发明的方法之内，所作的任何修改，改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.基于人体姿态识别的飞翼无人机地面站交互方法，其特征在于，包括如下步骤：

步骤1：采集人体对象执行控制动作的视频；

2.根据权利要求1所述基于人体姿态识别的飞翼无人机地面站交互方法，其特征在于，对象检测网络模型的训练过程包括以下步骤：

2.1)将步骤1拍摄的视频作为候选训练集；

3.根据权利要求1所述基于人体姿态识别的飞翼无人机地面站交互方法，其特征在于，对步骤3得到的关键帧图像的人体对象进行图像变换和滤波预处理后，输入至图像识别网络模型。

4.根据权利要求1所述基于人体姿态识别的飞翼无人机地面站交互方法，其特征在于，图像识别网络模型的训练过程包括以下步骤：

4.1)将关键帧图像的人体对象作为候选训练集；

5.根据权利要求4所述基于人体姿态识别的飞翼无人机地面站交互方法，其特征在于，步骤4.2中所述关键点为头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝。

6.一种实现权利要求1-6任一项基于人体姿态识别的飞翼无人机地面站交互方法的装置，其特征在于，包括，

拍摄单元1，用于拍摄人体对象执行控制动作的视频；

7.根据权利要求6所述基于人体姿态识别的飞翼无人机地面站交互方法的装置，其特征在于，还包括预处理单元，用于对对象检测网络模型所提取的关键帧图像的人体对象进行图像变换和滤波预处理。