CN106200679B - 基于多模态自然交互的单操作员多无人机混合主动控制方法 - Google Patents

Abstract

本发明提供一种基于多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。

Description

基于多模态自然交互的单操作员多无人机混合主动控制方法

技术领域

本发明涉及无人机系统技术领域，具体涉及一种基于多模态自然交互的单操作员多无人机混合主动控制方法。

背景技术

近年来随着无人机系统技术的迅猛发展，对无人机任务控制站提出了更高的要求，要求其具备集指挥控制、任务规划、通信管理、情报处理等于一体的综合能力，并且任务控制系统不再局限于地面，还可以部署在空中、海面甚至是有人机。未来任务控制站不仅限于控制同型号的单架无人机或无人机群，还将控制不同型号的无人机联合机群，及控制无人机协同有人驾驶飞机完成特定任务，同时向用更少的指挥人员控制更多数量的无人机平台方向发展，达到一人控制多个无人机的目标。

虽然近年来无人机已具有较强的智能化水平和自主控制能力，开始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的监督控制(Supervisory Control)方向发展，但在执行任务过程中任务站操作员仍然拥有操纵无人机的最终决定权，其作战使用离不开人的指挥控制，海量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大容易导致误判和误操作。公开号为CN100541370，专利号为200810100893.1的专利文献提供了一种无人机多模态控制与切换方法，其依据遥感操作信号对飞行控制系统的作用程度不同，将飞行控制系统划分为五种控制模态，然而遥感操作信号简单不易划分。

因此，研究一种基于多模态自主交互的单操作员多无人机混合主动控制方法是非常必要的，这就要求操作员必须以简单、直观的方式与无人机交互，将认知精力集中放在相关的关键活动上(例如：目视检查、精确机动等)，同时依靠无人机自主系统来完成常规化操作与行为(任务分解、路径规划、航点导航、避障等)。在这种情境下，无人机系统架构必须能够管理不同的控制模式：(1)全自主模式，无人机不需要人的介入，对操作员而言处于忽略模式；(2)半自主模式：无人机具备机载任务重规划能力，可以在人给定抽象任务条件下自主完成复杂任务的规划与执行；(3)自主飞控模式：无人机具备离线重规划能力，在人给定导航目标、编队控制指令、飞行路径(由控制站完成重规划)等前提下，进行路径跟踪和飞行控制。(4)手动模式：在手动模式下，人可以直接对各无人机和传感器进行操纵。同时。这四种控制模式是可以动态切换的。

发明内容

本发明提出了一种基于多模态自然交互的单操作员多无人机混合主动控制方法，操作员可利用语音、眼动、手势、操纵杆、触摸屏等模态与无人机进行自然交互与控制。

一种基于多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操纵杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。

所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制。

所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制。

所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制。

所述操纵杆控制模态用于操纵无人机执行底层控制任务，操作杆是直接接管无人机的控制，包括控制无人机的飞行状态或飞行轨迹，如控制无人机以多少角度向左、右飞行等。

所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为。

操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。

进一步地，所述语音控制模态是通过对语音进行识别，然后根据语音识别结果对应相应的无人机指令，如目标打击，区域探测，区域的搜索任务，属于任务层控制，搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。

所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标，其跟踪过程如下，首先检测眼睛相对于眼睛检测设备的坐标为(X_w,Y_w,Z_w)，然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(X_p,Y_p,1)即(X_w,Y_w,Z_w)＝R*(X_p,Y_p,1)，最后转换为机载传感器采集的图像中的像素坐标，无人机实时跟踪该像素坐标下的目标。该方法主要是为减少图像目标识别的区域，为后续的图像目标区域模板匹配、直方图匹配、特征点匹配等方法减少模板图像的匹配区域，同时当目标丢失后再次利用眼动检测重新跟踪目标。

所述手势控制模态是通过对单手或者双手姿态的识别，根据识别到的手指向以及手方向信号实现对单架无人机进行飞行导引，对多架无人机的编队进行控制。单一手势命令可以控制单无人机操作，如离开指令，无人机向目标相反方向移动，靠近指令，无人机向目标方向移动等。双手手势可以控制多无人机做出相应的编队飞行控制，如一字形、人字形等指令。

环境的复杂程度是根据机载传感器采集的图像，然后对图像做显著性检测或者边缘检测，根据显著性检测或边缘检测结果判断图像中目标的数目，当环境复杂度提高时，显著性的区域增加或边缘区域明显，则提示操作员向底层控制切换，如采用操纵杆等操作。

任务的复杂程度：操作员将任务分解为一系列子任务，对于每个子任务，根据操作员在处理该子任务时付出的时间，赋予一个数字值表示该子任务的工作量。

设当前包含个N任务，这些任务构成集合I。对于任务i,i∈I依据操作员完全手动处理该任务时付出的时间，赋予任务i的工作量数字值为w_i。设在t时刻需要操作员处理的任务集合其中m≤N,则t时刻操作员的工作量为：

利用上式每隔一段时间计算一次操作员的工作量，计算的结果作为这段时间的工作量；当操作员的工作量大时，任务的复杂程度增加，此时无人机任务控制站处于最高层的全自主控制状态。

任务复杂度为w，环境复杂度为ξ，无人机自主控制等级为P，三者的关系如下：

当P＞T₁时全自主控制，当T₂＜P≤T₁时半自主控制、当T₃＜P≤T₂时自主飞行控制，当P≤T₂时手动控制。

本发明通过整合不同控制模态，人与无人机系统之间可实现自然、灵活、鲁棒的交互，实现单操作员对多无人机的混合主动控制，为无人机系统完成使命任务奠定基础。

附图说明

图1为多模态自然交互的单操作员多无人机混合主动控制示意图；

图2为本发明的流程图；

图3(a)为手位置测量模型的示意图，图3(b)为手势识别实物图；

图4为执行搜索任务的无人机搜索策略示意图，

图5为环境的复杂性检测，其中图5(a)为原始图像，图5(b)为显著性检测的图像。

图6为在不需重规划条件下人为干预路径图；

图7为在不同控制模式下成功探测到目标的概率图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明旨在设计一种基于多模态自主交互的单操作员多无人机混合主动控制方法，为操作员可更好的利用语音控制模态、眼动控制模态、手势控制模态、操纵杆控制模态以及触摸屏控制模态等控制模态与无人机进行交互控制。通过整合不同模态，人与无人机系统之间可实现自然、灵活、鲁棒的交互，并且有效实现单操作员控制多无人机的功能。下面根据图1-7说明本方法的具体实施方式。

图1为单操作员多无人机混合主动控制系统示意图。操作员可利用语音、手势、眼动、操纵杆、触摸屏等传感器输入模块作为无人机的控制模态与无人机进行交互，用户可以执行部分操作，而自主系统则根据相应的指令做出应对的反应或者完成重配置。为此，设计了适合监督和协调无人机群组和单个无人机的活动的模块化架构。操作员必须能够在不同抽象级水平下(全自主、任务、导航、运动等)实施控制，利用不同的控制模态(语音、眼动、操手势、纵杆、触摸屏等)，与多无人机系统进行交互。

图2为系统流程图。操作员可利用语音控制模态、眼动控制模态、手势控制模态、操纵杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。

语音控制模态用于控制无人机执行特定的任务，首先对语音进行识别，然后根据语音识别结果对应相应的无人机指令，如目标打击，区域探测，区域的搜索任务，属于任务层控制，搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制。手势控制模态(例如：手指向、手方向信号等)用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制。操纵杆控制模态一般用于操纵无人机执行底层控制任务。

最后，无人机操作员利用触摸屏，可以改变机载传感器视角、焦距等，也可以掌握无人机的状态、当前任务，以及以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航、避障行为等。

基于无人机系统自主能力，环境和任务的复杂程度，或者出现相应的意外事件，操作员可以在最高层的全自主控制、任务层控制、导航层控制，最底层的运动层控制之间切换，对应无人机在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。通过整合不同控制模态，人与无人机系统之间可实现自然、灵活、鲁棒的交互，实现单操作员对多无人机的混合主动控制，为无人机系统完成使命任务奠定基础。

手势控制模态(例如：手指向、手方向信号等)用于对单架无人机进行飞行导引，对多架无人机的编队进行控制。单一手势命令可以控制单无人机操作，如离开指令，无人机向目标相反方向移动，靠近指令，无人机向目标方向移动等。双手手势可以控制多无人机做出相应的编队飞行控制，如一字形、人字形等指令。如表1所示为无人机手势识别中单无人机操作的基本命令。针对多无人机采用双手手势识别，如表2所示为多无人机各种编队飞行中的指令集。该指令集可以扩充。

表1单手势识别中单无人机操作的基本指令

手势命令	描述	手势命令	描述
				向上	起飞或者增加海拔	手快速运动	增加无人机的速度
着陆	着陆	手慢速运动	减慢无人机的速度
				向下	减少海拔	朝前	向前飞
向左	向左飞	悬停	悬停
				向右	向右飞	切换	是否手势识别操作无人机
朝后	向后飞	远离	远离目标

表2双手手势识别中多无人机编队的基本指令

手势命令	描述	手势命令	描述
				双手闭合	人字形编队	双手张开	一字形编队
一前一后	前后编队	双手向上	上下编队

手势主要包括手势的动作和手的位置，手势动作可以是手在不同的位置或者不同的移动速度、单一的手势动作也可以是多种手势动作的组合。比如左手向上、向下、向左、向右、手闭合等手势动作或者手在不同位置的测量。单手势识别主要针对单无人机的操作，其中基本的指令包括向上、向下、着陆，悬停，增加无人机的速度等。双手手势识别中多无人机编队指令包括双手闭合、双手张开、一前一后、双手向上等。

手势主要包括手势的动作和手的位置，采用体感传感器如Xtion、Kinect等深度图像传感器中的骨架识别中的手势动作识别。手位置测量模型的示意图如图3(a)所示，该方法采用手在不同的位置建立相应的空间模型，根据人头部所在的位置减去一个固定的值建立零点坐标。头部点的位置Head(x,y,z)，手指的位置Hand(x,y,z)，零点定位位置为O(x,y,z)＝Head(x,y,z)-T₀。当Hand_y＞O_y时手势命令为向下，对应的是减少无人机的海拔高度；当(Hand_z-O_z)/t＞T时手势命令为手快速运动，对应的是增加无人机的速度。

语音控制模态用以控制无人机执行特定的任务，首先对语音进行识别，然后根据语音识别结果对应相应的无人机指令，如目标打击，区域探测，区域的搜索任务，属于任务层控制，搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。假定每种模式都可通过分配搜索区域和特定的扩展步骤或者角度(如果采用区域搜索法)来表示。引入了价值函数C_a(a,sp,u)来估计无人机u在搜索区域a的搜索模式sp的价值，用价值函数C_p(p,u)来评估无人机u的搜索路径p的价值。在这种背景下，一旦操作员指定了一组搜索区域A＝{a₁,...,a_n}和搜索路径P＝{p₁,...,p_m}，该操作员必须与自主系统进行交互，以确保将搜索任务分配给无人机并完成实例化，然后对无人机的任务执行情况进行监督和协调。这些搜索分配可以根据任务和无人机的当前状态，以及无人机的能力重新进行分配如图4所示，区域搜索101、平行线搜索102、正方形扩大搜索103等。

操作员依据环境和任务的复杂程度，环境的复杂度可以采用图像中的物体数目作为依据，或者出现相应的意外事件，当环境的复杂度高或者操作员任务的复杂度不高时，可以从最高层切换到最底层，在全自主控制、半自主控制(机载重规划)、自主飞行控制(离线重规划)、遥控(手动控制)之间滑动切换，当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。如图5所示为图像显著性检测，根据显著性检测结果可以判断图像中目标的数目，当环境复杂度提高时，显著性的区域增加，系统会提示操作员采用向底层控制切换，如采用摇杆等操作。

在路径规划提供给定航点和限制条件(障碍物距离)的条件下，轨迹规划生成规定了位置、速度、加速度和急转的轨迹。在混合主动控制中，人可以通过干预直接对轨迹进行修改，说明人可以随时通过轨迹规划来调整当前的轨迹。事实上，在混合主动模式下，自主性和人通过结合来获取唯一位置指令。通过这种方式，在人的干预下，无人机可以背离规划轨迹。然而，在人停止干预、开启自主模式情况下，无人机则会逐渐回归规划轨迹，而无需重规划。具体而言，假定在混合主动模式下，操作员能够控制无人机的速度。在这种设置下，操作员可生成相对位置指令插入由轨迹规划生成的a_C＝(x_t,y_t,z_t)。h_C函数的计算公式为：

其中，human(t)表示操作员(通过操纵杆、手势、语音等)在t时生成的控制参考，Λ(t)是实现h_c(t)值增大或减小的线性函数。利用该函数，使h_c(t)接近释放操纵杆时自主控制所提供的值。此外，假定操作员可以在以当前规划位置为中心的球形区域内无人机，该球形代表操作员的情境相关工作空间。在操作员将无人机移出该球形区域时，重规划进程开始(与避障重规划相似)。在这种情况下，自主系统会生成新的路径和轨迹，以到达下一个航点。需要注意的是，如果当前任务的执行条件不再有效(例如：先决条件、能源、资源、以及时间限制)，路径与轨迹重规划也可引发任务重规划，如图6所示。

操作员可以通过多模态的方式(操纵杆、语音、手势等)，向系统发出这些指令，从而与无人机交互或者直接对无人机进行控制。需要注意的是，这些指令可能比较简单，并且与具体的情境有关。例如，当无人机处于闲置状态时，“向上”则表示起飞，否则表示需要无人机飞至更高高度。导航指令(左、右、前、后)也与无人机有关(例如：当发出指令“左”时，机器人移至摄像头左侧)，可能会比较抽象(需要系统对实际运动进行实例化)，也可能比较具体(例如：向左移动1米)。指令“加快”和“减慢”可以改变无人机执行指令的速度(如果无人机处于闲置状态，则指令无效)。每次启用这些指令都会使实际速度加快/减慢一定的幅度，至多达到极限值。如果收到“去往”指令，无人机则会移至地图坐标或者位置符号(地图上已有的位置符号或者操作员在执行任务的过程中标记的位置符号)所对应的特定位置。

采用多模态的多无人机混合主动控制方法，相对于全自主控制和全手动控制模式如图7展示了3种控制模式下目标发现的概率。正如预期那样，手动控制模式效率很低。事实上，在手动控制模式下，不仅多架无人机平行搜索的方式不可取，而且还因缺乏任务/路径指导，而降低了多无人机系统整体的态势感知水平，因而其有效探测次数明显低于其他两种模式。另一方面，由于假定有可靠的人/物体探测系统，因此，如果初始假设条件精确，那么自主模式下的工作效率将非常高。在这种情况下，多架无人机可以完成所有区域的扫描，并找到80％的目标。然而，如果初始假设条件并不那么精确，成功率则会迅速下降。事实上，自主系统的灵活性并不够，无法在必要时偏离规划好的活动。相反，混合主动模式的效率高于自主模式，当初始假定条件出错时，这种优势尤为明显。

Claims (6)

1.一种基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操纵杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制；

所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制；

所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制；

所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制；

所述操纵杆控制模态用于操纵无人机执行底层控制任务，包括控制无人机的飞行状态或飞行轨迹；

所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为；

操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换；当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。

2.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述语音控制模态是通过对语音进行识别，然后根据语音识别结果对应相应的无人机指令。

3.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标，其跟踪过程如下，首先检测眼睛相对于眼睛检测设备的坐标为(X_w,Y_w,Z_w)，然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(X_p,Y_p,1)即(X_w,Y_w,Z_w)＝R*(X_p,Y_p,1)，最后转换为机载传感器采集的图像中的像素坐标，无人机实时跟踪该像素坐标下的目标。

4.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述手势控制模态是通过对单手或者双手姿态的识别，根据识别到的手指向以及手方向信号实现对单架无人机进行飞行导引，对多架无人机的编队进行控制。

5.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：环境的复杂程度是根据机载传感器采集的图像，然后对图像做显著性检测或者边缘检测，根据显著性检测或边缘检测结果判断图像中目标的数目，当环境复杂度提高时，显著性的区域增加或边缘区域明显，则提示操作员向底层控制切换。

6.根据权利要求5所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：任务的复杂程度：操作员将任务分解为一系列子任务，对于每个子任务，根据操作员在处理该子任务时付出的时间，赋予一个数字值表示该子任务的工作量；

设当前包含个N任务，这些任务构成集合I；对于任务i,i∈I依据操作员完全手动处理该任务时付出的时间，赋予任务i的工作量数字值为w_i；设在t时刻需要操作员处理的任务集合其中m≤N,则t时刻操作员的工作量为：

利用上式每隔一段时间计算一次操作员的工作量，计算的结果作为这段时间的工作量；当操作员的工作量大时，任务的复杂程度增加，此时无人机任务控制站处于最高层的全自主控制状态；

任务复杂度为w，环境复杂度为ξ，无人机自主控制等级为P，三者的关系如下：

当P＞T₁时全自主控制，当T₂＜P≤T₁时半自主控制、当T₃＜P≤T₂时自主飞行控制，当P≤T₂时手动控制。