CN109634300B - 基于隔空手势和超声波触觉反馈的多无人机操控系统及方法 - Google Patents

Abstract

基于隔空手势和超声波触觉反馈的无人机操控系统及方法，系统包括体感控制器、超声波相控阵、无人机主控计算机；无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别，判断出手势类型；无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机，并接收无人机的成功响应反馈信息，无人机主控计算机接收到成功响应反馈信息后，将根据识别的手势信息确定的触觉感知点作为焦点坐标下发给超声波相控阵；超声波相控阵根据焦点坐标计算每个换能器的相位延时，并触发每个换能器发射调制的超声波在焦点处聚焦，使人获得触觉感知以表明当前手势任务已顺利完成。

Description

基于隔空手势和超声波触觉反馈的多无人机操控系统及方法

技术领域

本发明融合体感控制器对手势命令的实时识别技术和超声波相控阵精确聚焦技术，使操控员执行隔空手势时即可通过对显示屏图形界面的操作和无线通讯，对无人机进行控制。属于人机交互领域。

背景技术

在70年代中后期，出现了图形用户界面WIMP(Windows、Menu、Icons、PointingDevices)的二维人机交互技术，从此强调将人的智能而不是技术放在了人机交互的中心位置，并导致许多硬件的发明：如鼠标等。现在人机交互技术已从触键操作发展到触摸屏技术，并在智能手机、大型显示屏、银行取款机等方面获得广泛的应用。随着多媒体计算机的发展和VR技术的出现，人机交互走向多通道交互的体系结构，如语音识别、姿势跟踪和视觉跟踪等。目前流行的3D手势交互操作系统的缺陷是无法实现真实的触感，导致无法达到更加逼真的效果。因此，给浮空式的3D手势与显示屏交互操作加上“力度”反馈，从而进一步控制多任务操作，就显得尤为重要。超声波相控阵技术提供了这样一种力度反馈功能。当超声波聚焦在皮肤表面，在皮肤组织中产生剪切波。由剪切波引起的位移触发皮肤内的机械感受器，使人获得触觉感知。

2009年中国军用无人机WZ-6首次出现在建国60周年阅兵大典上，之后中国开始组建无人机作战中队。一些具有多年驾驶过歼6、歼7、歼10等多种机型的歼击机王牌飞行员，成为了中国无人机作战中队首批军用无人机操控员。当他们坐在操作室内，遥控千里之外的无人机时，才发现不能像驾驶战机一样通过身体来及时感受到飞机的飞行状态，而只能通过显示屏的细微变化来察觉周围气流、飞行姿态的变化。这就给操控员的工作提出了巨大的挑战，他们既要根据前视摄像头传来的图像及时修正无人机姿态，又要兼顾不断转动的侦察摄像头保持对目标持续监控，还要单手操作键盘来给无人机的设备输入指令。这种操作模式使具有多年飞行经验的飞行员都感到异常吃力、疲惫不堪。目前我国“侦察打击一体化”的武装无人机已进入实战演习。为此，针对飞行过程中需要完成的多任务操作，如飞行运动、发射有效载荷、多飞行器编队控制等操作，提出用隔空手势加触觉反馈实现对飞行显示屏的操作。这种方式可以提高在复杂环境下对多飞行器多任务作业控制的精准性和安全性，提高操控人员操控效率和舒适度。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于隔空手势和超声波触觉反馈的多无人机操控系统及方法，增强无人机操控员在多任务作业下对目标控制的精准性和自身的舒适性。

本发明的技术解决方案是：基于隔空手势和超声波触觉反馈的无人机操控系统，包括体感控制器、超声波相控阵、无人机主控计算机；

无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别，判断出手势类型；

无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机，并接收无人机的成功响应反馈信息；

无人机主控计算机接收到成功响应反馈信息后，将根据识别的手势信息确定的触觉感知点作为焦点坐标下发给超声波相控阵；

超声波相控阵根据焦点坐标通过相位延迟的方式将发射调制的超声波在焦点处聚焦，使人获得触觉感知以表明当前手势任务已顺利完成。

优选的，在无人机主控计算机上设置图形用户界面，图形用户界面上显示与无人机主控计算机接收的手势类别对应的指令按钮。

优选的，所述的体感控制器通过红外LED灯、摄像头对设备上方40毫米到600毫米的空间，呈倒立四棱锥体状空间内的动态指尖手势和手掌动作进行捕捉。

优选的，所述的体感控制器定义的手势功能，具体包括每一帧获取掌心位置、指尖位置、手掌法向量、指尖方向、指尖速度及手指画圈、平移挥手、向前屏幕敲击，向下按键敲击和自定义手势。

优选的，所述的体感控制器具体通过下述方式对从不同角度实时捕获的手势画面进行处理：

建立自定义手势库，该库中存储无人机控制过程中使用的手势样本；

通过实时获取的两帧图像的帧差，确定指尖特征向量；根据最近邻法则对当前手势进行初步分类；

根据初步分类结果，从自定义手势库中获取同类样本使用欧式距离进行相似度计算，得出平均欧式距离；

将上述平均欧式距离与识别阈值进行比较，若平均欧式距离超出识别阈值，则当前手势类别错误，不对该手势进行后续处理；否则认为手势类别正确。

优选的，所述的识别阈值通过下述方式确定：

采集大量的手势样本数据并进行数据预处理，提取出轨迹点：所述的提取为找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来；

将提取的轨迹点进行优化处理制作成手势模板；

对上述手势模板进行手势训练，确定识别阈值。

优选的，所述的超声波相控阵包括换能器阵列、放大器模块和控制模块；

换能器阵列由换能器二维数组组成，放大器模块的数量与换能器数量一致，

控制模块产生多路矩形波，并利用低频脉冲信号对其进行调制，每路调制波经放大器模块进行放大后一一输入至换能器；

控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时，根据计算的相位延时控制换能器发射调制的超声波，超声波在焦点坐标处完成聚焦，使其在人手可检测到的频率范围内产生振动。

优选的，所述的控制模块采用CPU+FPGA的控制结构，CPU与无人机主控计算机通信；FPGA内集成配置解析模块、波形输出系统控制和波束成型器模块；配置解析模块解析无人机主控计算机下发的配置，生成多路阵源的相位信息和波形参数，下发给波形输出系统控制；波形输出系统控制将相位信息、波形参数对应的调制信息及控制信息分发到不同的通道；波束成型器模块根据相位信息、调制信息及控制信息产生相应的波形。

优选的，所述矩形波的频率40kHz，利用1-600Hz脉冲信号进行调制。

优选的，所述的无人机主控机通过超声波相控阵动态库接口函数设置焦点坐标、函数波形选择、通道选择、设置脉冲个数、设置占空比和输入电压、调制信号的选择和启停相控阵。

所述的基于隔空手势和超声波触觉反馈的多无人机操控系统建立在多无人机在线管理平台上，采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。

基于隔空手势和超声波触觉反馈的多无人机操控方法，通过下述方式实现：

从不同角度实时捕获手势画面并进行识别，根据接收的手势类别发送对应的控制指令至无人机，当接收到无人机的成功响应反馈信息后执行后续步骤，否则停止当前处理；

根据识别的手势信息确定的触觉感知点作为焦点坐标；

产生多路矩形波然后利用低频脉冲信号对每路矩形波进行调制，得到调制波；

对每路调制波进行放大；

将放大后的每路调制波进行发射，产生调制的超声波在空中传播，并在焦点坐标处完成超声波聚焦，产生超声振动，使人获得触觉感知以表明当前手势任务已顺利完成。

本发明与现有技术相比有益效果为：

(1)该系统使操控员在操作时不需要戴手套或装备，让空中的3D手势与显示屏的交互操作过程变得可触摸化。

(2)基于体感控制器和模板匹配的手势识别技术具有高可靠、高实时性、高识别率的特点。

(3)常规的超声波不仅超出人的听觉范围，也超出了人的触觉范围。采用低频声波信号对载波的调幅技术，获得焦点处人的手指或手掌所能感知的不同大小的声辐射力。

(4)使用红外光来检测人手，不容易受光照变化和复杂背景的干扰，采集到的帖图像具有较小的噪声。

(5)使用超广角相机快门传感器，运行时可达120帧每秒，一次性采集所有的像素，能够实时分析图像细节，并获取手势变化关键坐标信息。

(6)建立自定义手势库，便于快速操作、提高操作的精准度。在模板匹配的思想上，提出了基于体感控制器的动态手势轨迹识别方法，对自定义的手势进行识别训练，用于提高手势的有效性和高识别率。

附图说明

图1为本发明的系统示意图；

图2为本发明基于体感控制器的手势识别图；

图3为超声波相控阵焦平面计算声压场的坐标系统；

图4为本发明的超声波相控阵结构框图；

图5为本发明的信号调制功能时序图。

具体实施方式

下面结合附图及实例对本发明作详细说明。

本发明如图1所示，采用体感控制器作为手势输入设备，超声相控阵作为触觉感知设备。体感控制器与主机通过USB相连。超声相控阵与主机也通过USB相连。为了增加实际应用的直观显示等目的，主控计算机(亦称主机)配置无人机操纵图形用户界面。当无图形操作按钮时，手势指令与主控计算机的后台控制程序直接交互。当设置图形用户界面时，通过三维自然手势与图形用户界面进行交互。体感控制器与显示屏图形用户界面实现的交互功能包括：通过不同的手势操控按钮、菜单和直接的自定义手势指令，实现单个无人机的发射和方向控制等功能，及多个无人机编队的启动操控，同时获得手掌不同位置的触觉感知，通过力反馈显示任务完成。

一、体感控制器

体感控制器Leap Motion配置信息：三个红外LED灯，双高清摄像头，USB驱动，检测范围为设备上方40-600毫米，成倒立四棱锥体状，运行速率为120帧每秒。Leap Motion采集的基本单位是帧，能检测到10根手指和手掌，并能实时跟踪和获取它们的位置，精度可以达到毫米级。Leap Motion提供API函数可以获取Palm Position(掌心位置)和Tip Position(指尖位置)、Palm Normal(手掌法向量)、Direct(指尖方向)、Tip Velocity(指尖速度)等。通过两帧的帧差可以获得手掌的位移和旋转变化等信息，指尖坐标和指尖速度定为指尖特征向量。Leap Motion的SDK包中已定义的手势包括：TYPE_CIRCLE：手指画图、TYPE_SWIPE：平移挥手、TYPE_SCREEN_TAP：屏幕敲击、TYPE_KEY_TAP：按键敲击。用这些基本手势操控无人机图形用户界面和控件。同时设计自定义手势如简单的字母“L”、“S”、“V”和数字“1”、“2”等，用快捷手势方式实现在多任务情况下对无人机特定功能的操控，主控计算机通过体感控制器捕获手势，这个过程如图2所示，主要有以下几个部分组成：设备连接检测、手指检测、手势轨迹提取、轨迹优化、模板匹配、手势识别以及帧图像采集、图像分割及匹配识别等。

自定义手势需采集大量的手势样本数据。对数据预处理，提取出轨迹点，手势轨迹的提取就是找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来，进行优化处理制作成手势模板。经过大量的手势训练之后确定识别阈值。

对于自定义手势识别，通过最近邻法则进行手势的初步分类，然后使用欧式距离进行相似度计算。对于n维空间中的两个向量v₁(x₁，x₂，…，x_n)和v₂(y₁，y₂，…，y_n)，其欧氏距离为：

在分类以后，确定所属手势类别，和自定义手势库中的同类样本进行相似性计算，得出平均欧氏距离，将上述平均欧式距离与识别阈值进行比较，若平均欧式距离超出识别阈值，则当前手势类别错误，不对该手势进行后续处理；否则认为手势类别正确。

主控计算机根据体感控制器捕获的手势类别发送对应的控制指令至无人机，并接收无人机的成功响应反馈信息；

主控计算机接收到成功响应反馈信息后，根据识别的手势信息确定触觉感知点(触觉感知点根据实际需要确定，可以为一个手指位置、手掌位置也可以为多个手指的位置分别作为触觉感知点)，作为焦点坐标输入超声相控阵API函数。

二、超声波相控阵

超声波相控阵包括换能器阵列、放大器模块和控制模块；

换能器阵列由换能器二维数组组成，放大器模块的数量与换能器数量一致，

控制模块产生多路矩形波然后利用低频脉冲信号对矩形波进行调制，得到调制波；每路调制波经放大器模块进行放大后一一输入至换能器；

控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时，根据计算的相位延时控制换能器发射调制超声波，进而将超声波在焦点坐标处完成聚焦，在焦点目标处反射时产生一种非线性声辐射力。当超声波聚焦在皮肤表面，在皮肤组织中则产生剪切波。由剪切波引起的位移触发皮肤内的机械感受器，使人获得触觉感知。人体的手不能检测到40kHz的振动。皮肤内的机械感受器对震动的反应范围在0.4Hz到500Hz之间。本发明采用低频声波信号对超声载波调幅技术，设定1-600Hz的调幅频率，使其在人手可检测到的最佳频率范围内产生振动。通过改变调制频率，使手部振动的频率改变，从而产生不同的触觉特性。在不同频率上调制不同的聚焦点，可以在每个点产生不同的感觉。

假设一平面波，其声辐射压力可以描述为：

其中E是超声能量密度；I是超声波的声强；c为超声波在空气中传播的速度；p是超声波的RMS声压；ρ是介质密度。α是1到2之间的常数，取决于物体表面的振幅反射系数R。α＝1+R²。如果物体表面完全反射入射超声，α＝2；而如果它吸收整个入射超声，则α＝1。对于排列M行N列的换能器矩形数组，假设换能器直径是d，来自每个传感器的RMS声压在焦平面上的任何位置都是恒定的p_r，坐标系统如图3所示，则产生的焦平面声压场p(x₀，y₀)可以描述为：

其中

这里r是焦平面和换能器平面之间的距离；r₁是从m行n列换能器到焦点的距离；r₂则是m行n列换能器到焦平面上任意点的距离。k是波数。其中ξ₁和ξ₂是换能器位置的偏移量。

是聚焦超声的相位控制因子，

是单个换能器产生的球面波。函数sinc定义为：

sinc(x，y)＝sin(x)sin(y)/xy.

变量转换v_x和v_y定义为：

v_x＝(k/r)(x₀-x_c)；v_y＝(k/r)(y₀-y_c).

本例运用由256(16x16)个40kHz超声换能器组合的相控阵，具备在空间某一范围内(体感控制器的手势识别范围)任一位置创建焦点的功能。这个焦点是通过多个换能器的相位延时来实现的。超声波相控阵结构如图4所示，采用CPU+FPGA的控制结构。CPU负责与主控计算机通信，CPU与FPGA之间的通信采用PCIE/LOCAL BUS。

FPGA内集成配置解析模块、波形输出系统控制和波束成型器模块。配置解析模块解析无人机主控计算机下发的配置，并根据焦点位置和换能器位置计算每个换能器的相位延时，下发给波形输出系统控制；波形输出系统控制将相位信息及控制信息分发到不同的通道；波束成型器模块根据相位信息、调制信息及控制信息产生相应的调制波形，采用1-600Hz脉冲信号对每路40KHz的矩形波进行调制，如图5所示。

换能器驱动电压范围设计为5-20Vp-p。图4中的驱动电路功能(即放大器模块)是将FPGA输出的3.3V TTL矩形波进行放大，增强驱动能力。由于超声波换能器为容性负载，选择使用MOS管来驱动。为了增强驱动能力采用MOS管半桥驱动加MOS管推挽电路组成，其中半桥驱动使用LM5106，推挽电路采用双NMOS管组成。所以推挽电路的高端MOS管电源为5-20Vp-p可调。选择带PFC功能输出电压可调的开关电源，通过CPU控制DA输出电压来调节开关电源电压。

超声波相控阵API函数包括：设置焦点坐标(采用多个焦点同时发射或者连续发射方式)、选择阵元、脉冲个数、占空比和输入电压、调制信号选择、发射函数、开关函数(启停相控阵)等。

在多无人机在线管理平台上建立基于悬空手势和超声触觉反馈的无人机控制系统。采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。前台运行操控界面，后台运行体感控制器、超声波相控阵及与无人机等飞行载荷的无线通讯。程序载入体感控制器和超声波相控阵C++动态数据库。

无人机管理平台能够提供实时任务管理、飞行数据同步，并具备设备和团队的管理功能。管理平台具有传递无人机实时飞行图像的功能，其大型显示器用多个窗口展现多个无人机飞行图像。

在管理平台上，用自定义字母手势快捷方式“S”(Start)在后台启动手势指令系统，并触发超声波相控阵，发射超声波聚焦到手指上，手指上获得触觉感知，表明可以用手势操纵无人机的飞行。选择无人机编号，如做手势“1”，屏幕上弹出1号无人机的手势指令多按钮界面，表明进入1号无人机的控制界面，同时手指上获得触觉感知，表明这一步已完成。1号无人机控制界面将有7个按钮，分别控制无人机的发射、上升、下降、前进、后退、左转、右转命令。当用虚拟手模型触碰发射按钮，将在后台传递发射命令给无人机，得到正确的反馈后，发射超声波聚焦到手指上，使飞行员在用手势完成动作的同时，也同时感觉任务已顺利完成。同样的操作也适用于上升、下降、前进、后退、左转、右转等命令。若要操控2号无人机，则用Leap Motion自带的“SWIPE”手势返回管理平台主界面，再用自定义手势“2”进入2号无人机的控制界面，可以完成同样的操作。因此用此类手势操作可以控制多个无人机的单独飞行。在管理平台主界面上做自定义字母手势指令G(Group)，则弹出多无人机编队运行操作界面，用手势指向屏幕上的启动按钮，即可启动预定义程序，控制由多个无人机起飞组成的既定图案，实现编队操作，同时操作界面上显示出无人机群的数量、速度、高度和定位。

本发明未详细说明部分属于本领域技术人员公知常识。

Claims (6)

1.基于隔空手势和超声波触觉反馈的无人机操控系统，其特征在于：包括体感控制器、超声波相控阵、无人机主控计算机；

无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别，判断出手势类别；

无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机，并接收无人机的成功响应反馈信息；

无人机主控计算机接收到成功响应反馈信息后，将根据识别的手势类别确定的触觉感知点作为焦点坐标下发给超声波相控阵；

超声波相控阵根据焦点坐标通过相位延迟的方式将发射调制的超声波在焦点处聚焦，使人获得触觉感知以表明当前手势任务已顺利完成；

所述的超声波相控阵包括换能器阵列、放大器模块和控制模块；

换能器阵列由换能器二维数组组成，放大器模块的数量与换能器数量一致，

控制模块产生多路矩形波，并利用低频脉冲信号对其进行调制，每路调制波经放大器模块进行放大后一一输入至换能器；

控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时，根据计算的相位延时控制换能器发射调制的超声波，超声波在焦点坐标处完成聚焦，使其在人手可检测到的频率范围内产生振动；

所述的控制模块采用CPU+FPGA的控制结构，CPU与无人机主控计算机通信；FPGA内集成配置解析模块、波形输出系统控制和波束成型器模块；配置解析模块解析无人机主控计算机下发的配置，生成多路阵源的相位信息和波形参数，下发给波形输出系统控制；波形输出系统控制将相位信息、波形参数对应的调制信息及控制信息分发到不同的通道；波束成型器模块根据相位信息、调制信息及控制信息产生相应的波形；

换能器驱动电压范围设计为5-20Vp-p；所述矩形波的频率40kHz，利用1-600Hz脉冲信号进行调制；所述的无人机主控机通过超声波相控阵动态库接口函数设置焦点坐标、函数波形选择、通道选择、设置脉冲个数、设置占空比和输入电压、调制信号的选择和启停相控阵；

所述的体感控制器定义的手势功能，具体包括每一帧获取掌心位置、指尖位置、手掌法向量、指尖方向、指尖速度及手指画圈、平移挥手、向前屏幕敲击，向下按键敲击和自定义手势；

所述的体感控制器具体通过下述方式对从不同角度实时捕获的手势画面进行处理：

建立自定义手势库，该库中存储无人机控制过程中使用的手势样本；

通过实时获取的两帧图像的帧差，确定指尖特征向量；根据最近邻法则对当前手势进行初步分类；

根据初步分类结果，从自定义手势库中获取同类样本使用欧式距离进行相似度计算，得出平均欧式距离；

将上述平均欧式距离与识别阈值进行比较，若平均欧式距离超出识别阈值，则当前手势类别错误，不对该手势进行后续处理；否则认为手势类别正确。

2.根据权利要求1所述的系统，其特征在于：在无人机主控计算机上设置图形用户界面，图形用户界面上显示与无人机主控计算机接收的手势类别对应的指令按钮。

3.根据权利要求1所述的系统，其特征在于：所述的体感控制器通过红外LED灯、摄像头对设备上方40毫米到600毫米的空间，呈倒立四棱锥体状空间内的动态指尖手势和手掌动作进行捕捉。

4.根据权利要求1所述的系统，其特征在于：所述的识别阈值通过下述方式确定：

采集大量的手势样本数据并进行数据预处理，提取出轨迹点：所述的提取为找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来；

将提取的轨迹点进行优化处理制作成手势模板；

对上述手势模板进行手势训练，确定识别阈值。

5.多无人机在线管理平台，其特征在于：权利要求1-4之一所述的基于隔空手势和超声波触觉反馈的无人机操控系统建立在该多无人机在线管理平台上，采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。

6.根据权利要求1所述的基于隔空手势和超声波触觉反馈的无人机操控系统实现的多无人机操控方法，其特征在于通过下述方式实现：

从不同角度实时捕获手势画面并进行识别，根据接收的手势类别发送对应的控制指令至无人机，当接收到无人机的成功响应反馈信息后执行后续步骤，否则停止当前处理；

根据识别的手势类别确定的触觉感知点作为焦点坐标；

产生多路矩形波然后利用低频脉冲信号对每路矩形波进行调制，得到调制波；

对每路调制波进行放大；

将放大后的每路调制波进行发射，产生调制的超声波在空中传播，并在焦点坐标处完成超声波聚焦，产生超声振动，使人获得触觉感知以表明当前手势任务已顺利完成。

Images