CN115357047B - 一种基于眼神追踪的无人机辅助操控方法及系统 - Google Patents

Abstract

本发明公开了一种基于眼神追踪的无人机辅助操控方法及系统，该方法包括：根据无人机的板载传感器和视觉惯性里程计进行实时建模，得到实时3D深度图；根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点；基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果；获取遥控器输入的飞行速度，并结合规划结果进行无人机控制。该系统包括：操控者交互子系统和无人机子系统。通过使用本发明，能够准确获取操控者的控制意图并根据操控者的意图实时给出满足一定安全裕度的行动规划。本发明作为一种基于眼神追踪的无人机辅助操控方法及系统，可广泛应用于无人机控制领域。

Description

一种基于眼神追踪的无人机辅助操控方法及系统

技术领域

本发明涉及无人机控制领域，尤其涉及一种基于眼神追踪的无人机辅助操控方法及系统。

背景技术

近年来无人机行业爆发出前所未有的发展速度，并广泛应用到航拍、农业、军事、信息采集等领域。但无人机飞行涉及许多安全问题，操控者需要具备一定的经验与技术。因此研发一款能够降低用户操作难度和提高任务安全性的无人机辅助操控系统，可以降低用户入门门槛和增强使用体验，有利于无人机市场的进一步拓展。无人机飞行辅助系统具有交互性，一般需要满足两点要求。首先，能够准确、及时地捕捉操控者的意图。其次，在保证安全的前提下，还应辅之以适当的行动策略。然而，现有的无人机辅助操控系统仍存在不少局限性：(1)交互方式不够友好，大部分都是远程遥控器输入。这种方式是高度不可预测的，而且有时候并不能代表操控者的真实意图。例如新手用户在不熟悉的复杂环境中操控无人机时，由于不熟练容易导致慌乱，此时通过遥控捕捉到的意图是不准确的；(2)缺乏人机交互性高的实时安全飞行规划。现有的技术通常是通过在无人机上搭载相关传感器，并利用视觉检测等方法感知障碍物。当操控者因操控不当使得无人机靠近障碍物时，无人机成功检测后急停，并通过遥控器远程反馈出现危险情况。该类方法虽然在一定程度上能规避安全问题，但是总体来说过于简单，但并没有根据操控者的意图实时给出满足一定安全裕度的行动规划，因此并没有从实际上降低用户的操作难度。另一方面，虽然目前已经有很多成熟的路径规划方法，例如RRT算法、A*算法、蚁群算法等。这些经典算法虽然能在离线或者全自动飞行的情况下能较为有效地提供无碰撞路径，但仍无法直接应用到人机交互性高的实时辅助操控系统中。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于眼神追踪的无人机辅助操控方法及系统，能够准确获取操控者的控制意图并根据操控者的意图实时给出满足一定安全裕度的行动规划。

本发明所采用的第一技术方案是：一种基于眼神追踪的无人机辅助操控方法，包括以下步骤：

根据无人机的板载传感器和视觉惯性里程计进行实时建模，得到实时3D深度图；

根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点；

基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果；

获取遥控器输入的飞行速度，并结合规划结果进行无人机控制。

进一步，所述根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点这一步骤，其具体包括：

根据眼动仪获取眼神注视点；

基于相机模型，根据内外参数矩阵将眼神注视点投影至3D深度图中，得到待处理目标位置；

对待处理目标位置进行平滑滤波，得到目标点。

进一步，所述平滑滤波的计算公式表示如下：

上式中，表示k时刻计算得到的投影点坐标向量，/>为k时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-1时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-2时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-3时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-4时刻经过平滑滤波处理后得到的投影点坐标向量。

进一步，所述基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果这一步骤，其具体包括：

以无人机当前位置为初始点X_int，确定目标点X_goal，并将采样空间设定为3D深度图内的无障碍区域；

在采样空间内进行随机采样，记为X_sample；

在树中搜索出离X_sample最近的节点，记为X_near，并生成服从均匀分布的随机数p；

若随机数p大于预设概率阈值，优化收敛速度并生成新节点放入树中；

若随机数p小于等于预设概率阈值，优化视场区域并生成新节点放入树中；

返回采样步骤，直至判断到新节点与目标节点小于预设距离，得到随机扩展树；

根据随机扩展树进行路径规划，得到规划结果。

进一步，所述若随机数大于预设概率阈值，优化收敛速度并生成新节点放入树中这一步骤，其具体包括：

若随机数p大于预设概率阈值，从节点X_near以最大步长L_max走向X_sample，生成新节点X_new；

以X_neat与X_new连线作为轴，设定切球体参数并检测切球体是否与障碍物有碰撞；

判断到所有切球体的球心离障碍物的最近距离均大于半径，将X_new加入树中。

进一步，所述切球体参数设定如下：

v_k＝X_near+(k/N)*(X_new-X_near)

上式中，v_k表示第k个切球体的球心位置，r_k表示第k个切球体的半径，ρ_max表示常数，N表示切球体的总数。

进一步，所述若随机数小于等于预设概率阈值，优化视场区域并生成新节点放入树中这一步骤，其具体包括：

若随机数p小于等于预设概率阈值，节点X_near以最大步长的一半L_max/2走向X_sample，生成新节点X_new；

以X_near与X_new连线作为轴，设定切球体半径并检测切球体是否与障碍物有碰撞；

判断到所有切球体的球心离障碍物的最近距离均大于半径，将X_new加入树中。

进一步，所述切球体参数设定如下：

v_k＝X_near+(k/N)*(X_new-X_near)

上式中，v_k表示第k个切球体的球心位置，rk表示第k个切球体的半径，ρ_max表示常数，N表示切球体的总数。

本发明所采用的第二技术方案是：一种基于眼神追踪的无人机辅助操控系统，包括：

操控者交互子系统，包括眼动仪和遥控器，所述眼动仪用于获取操控者眼神注视点，所述遥控器用于获取速度输入；

无人机子系统，包括板载传感器、视觉惯性里程计、规划模块和控制器，所述板载传感器和视觉惯性里程计用于进行实时建模，所述规划模块基于视场增强型RRT算法并根据无人机当前位置和目标点进行路径规划，所述控制器用于根据路径规划结果和速度输入进行无人机飞行控制。

本发明方法及系统的有益效果是：本发明通过眼动仪获取操控者眼神注视点作为无人机期望飞行的方向，结合遥控器获取无人机期望飞行的速度，能够准确根据用户意图对无人机进行控制，简化操控难度，通过视场增强型RRT算法进行路径规划以实时给出满足一定安全裕度的行动规划，提高无人机飞行的安全性并进一步简化操控难度。

附图说明

图1是本发明一种基于眼神追踪的无人机辅助操控方法的步骤流程图；

图2是本发明一种基于眼神追踪的无人机辅助操控系统的示意图；

图3是本发明具体实施例用户可视区域的切球体建模和示范路径1的示意图；

图4是本发明具体实施例可视区域优化路径示意图；

图5是本发明具体实施例视场增强型RRT算法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1和图2，本发明提供了一种基于眼神追踪的无人机辅助操控方法，该方法包括以下步骤：

S1、根据无人机的板载传感器和视觉惯性里程计进行实时建模，得到实时3D深度图；

具体地，操控者交互子系统的硬件部分主要由眼动仪和远程遥控器组成。其中眼动仪用于捕捉操控者眼神注视点，远程遥控器为单通道油门输入。目前绝大多数的无人机辅助系统都是直接通过遥控输入来获得操控者意图的，这种方法虽然简单直接，但对新手来说并不友好。尤其是当他们在复杂环境中操控无人机时容易紧张慌乱，此时遥控输入不能准确地代表他们的意图。本专利考虑使用眼动仪获得操控者眼神注视点作为无人机期望飞行的方向，而单油门遥控器则为无人机期望飞行的速度。

S2、根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点；

具体地，眼动仪中的图片是由无人机(配有摄像头)实时提供的。无人机系统上有许多板载传感器，结合视觉惯性里程计进行实时建模，得到周围环境的3D深度图。由于通过眼动仪获得的眼神注视点是2D的，我们需要根据深度图的内外参数矩阵，利用相机模型将像平面上的2D眼神注视点逆投影到3D深度图中。由于低维度投影到高维度中存在维度缺失的问题，我们将投影距离设为5m，具体计算公式如下：

[X_w K_w z_w 1]^T＝5*K^-1R^-1[x y 1]^T

上式中，xy为2D眼神注视点在像平面上的坐标，X_w,Y_w,Z_w为2D眼神注视点在3D深度图(世界坐标系)中的投影坐标，K和R分别为机载深度摄像头的内参和外参矩阵。

S2.1、根据眼动仪获取眼神注视点；

S2.2、基于相机模型，根据内外参数矩阵将眼神注视点投影至3D深度图中，得到待处理目标位置；

S2.3、对待处理目标位置进行平滑滤波，得到目标点。

具体地，考虑到实际应用中操控者会存在眨眼或者瞥一眼等噪声，为提高捕捉精度，我们采用平滑滤波器进行预处理，即使用前4个时刻的历史信息来对当前的检测结果进行均平滑，具体计算公式如下：

上式中，表示k时刻计算得到的投影点坐标向量，/>为k时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-1时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-2时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-3时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-4时刻经过平滑滤波处理后得到的投影点坐标向量。

S3、基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果；

具体地，无人机子系统利用板载传感器和视觉惯性里程计获得实时3D深度图。经过投影处理后的深度3D图(含局部目标点)作为规划模块的输入。在无人机安全方面，现有的方案一般是通过视觉识别技术来检测障碍物，若成功检测，则使无人机急停并向用户反馈危险信号。该类方法虽然在一定程度上能规避安全问题，但是总体来说过于简单，但并没有根据操控者的意图实时给出满足一定安全裕度的行动规划。本专利使用一系列的切球体对操控者的可视区域进行建模，并对其进行优化。用户可视区域的切球体建模平面剖图如图3所示。

图3中，以无人机到局部目标点的连线为轴的锥体为用户的可视区域，本专利采用一系列的相切的球体来近似该区域，并且在路径规划算法中作为优化对象之一进行优化。本专利提出的无人机辅助飞行系统高度依赖于用户的眼神输入，因此合理地增大可视区域既能提高用户的使用体验，也能防范碰撞隐患。对比图3和图4两种无人机规划路径(均以黑色虚线表示)，图4的整体可视区域更大，而且无遮挡，是一条更人性化、更高质量的路径。

基于以上的视场切球体建模，本专利提出视场增强型RRT路径规划算法。相比原RRT算法，增强型RRT路径规划算法有以下区别和改进:1.原RRT算法只实现了无人机与障碍物的无碰撞，而在本专利提出的增强型RRT算法可以实现切球体(用户可视区域建模)与障碍物之间无碰撞。因此视场增强型RRT算法能提供一条更人性化、更高质量的路径。2.相比起原RRT算法，视场增强型RRT需要同时优化算法收敛速度和用户可视区域，需要解决问题变得更加复杂。本专利采用随机数生成方法(概率法)进行次优化，在两个优化对象之间取得平衡。

S3.1、以无人机当前位置为初始点X_int，确定目标点X_goal，并将采样空间设定为3D深度图内的无障碍区域；

S3.2、在采样空间内进行随机采样，记为X_sample；

S3.3、在树中搜索出离X_sample最近的节点，记为X_near，并生成服从均匀分布的随机数p∈[0，1]；

S3.4、若随机数p大于预设概率阈值p_given，在保证视场无碰撞的前提下优先考虑优化收敛速度；

S3.4.1、若随机数p大于预设概率阈值p_given，从节点X_near(起点)以最大步长L_max走向X_sample(终点)，生成新节点X_new；

S3.4.2、以X_near与X_new连线作为轴，设定切球体参数并检测切球体是否与障碍物有碰撞；

v_k＝X_near+(k/N)*(X_new-X_near)

其中v_k，r_k代表第k个切球体的球心位置和半径，ρ_max为常数。

S3.4.3、判断到所有切球体的球心离障碍物的最近距离均大于半径，将X_new加入树中。

具体地，需要确保每个球心离障碍物的最近距离大于半径，即满足d(v_k)＞r_k(k＝1，2，...N).若都满足，则将X_new加入树中，否则放弃该点，回到S3.2重新抽样。

S3.5、若随机数p小于等于预设概率阈值p_given，优化视场区域并生成新节点放入树中；

S3.5.1、若随机数p小于等于预设概率阈值p_given，节点X_near(起点)以最大步长的一半L_max/2走向X_sample(终点)，生成新节点X_new；

S3.5.2、以X_near与X_new连线作为轴，设定切球体半径并检测切球体是否与障碍物有碰撞；

具体地，取切球体半径为类似地，确保每个球心离障碍物的最近距离大于半径。这里与上面的不同主要是步长减少，降低了收敛速度；但是切球体的设定半径变大了一倍，视场区域更大。若都满足，则将X_new加入树中.否则放弃该点，回到S3.2重新抽样。

S3.5.3、判断到所有切球体的球心离障碍物的最近距离均大于半径，将X_new加入树中。

S3.6、返回采样步骤，直至判断到新节点与目标节点小于预设距离，得到随机扩展树；

S3.7、根据随机扩展树进行路径规划，得到规划结果。

具体地，经过反复迭代，生成一个随机扩展树，当随机扩展树中的子节点进入了我们规定的目标区域，便可以在随机扩展树中找到一条由从初始点到目标点的路径，算法的流程图如图5所示。

S4、获取遥控器输入的飞行速度，并结合规划结果进行无人机控制。

如图2所示，一种基于眼神追踪的无人机辅助操控系统，包括：

操控者交互子系统，包括眼动仪和遥控器，所述眼动仪用于获取操控者眼神注视点，所述遥控器用于获取速度输入；

无人机子系统，包括板载传感器、视觉惯性里程计、规划模块和控制器，所述板载传感器和视觉惯性里程计用于进行实时建模，所述规划模块基于视场增强型RRT算法并根据无人机当前位置和目标点进行路径规划，所述控制器用于根据路径规划结果和速度输入进行无人机飞行控制。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

一种基于眼神追踪的无人机辅助操控装置：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于眼神追踪的无人机辅助操控方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种基于眼神追踪的无人机辅助操控方法。

上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种基于眼神追踪的无人机辅助操控方法，其特征在于，包括以下步骤：

根据无人机的板载传感器和视觉惯性里程计进行实时建模，得到实时3D深度图；

根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点；

基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果；

获取遥控器输入的飞行速度，并结合规划结果进行无人机控制；

所述基于视场增强型RRT算法，根据无人机当前位置和目标点进行路径规划，得到规划结果这一步骤，其具体包括：

以无人机当前位置为初始点X_int，确定目标点X_goal，并将采样空间设定为3D深度图内的无障碍区域；

在采样空间内进行随机采样，记为X_sample；

在树中搜索出离X_sample最近的节点，记为X_near，并生成服从均匀分布的随机数p；

若随机数p大于预设概率阈值，从节点X_near以最大步长L_max走向X_sample，生成新节点；

若随机数p小于等于预设概率阈值，节点X_near以最大步长的一半L_max/2走向X_sample，生成新节点；

以X_near与新节点连线作为轴，设定切球体参数并检测切球体是否与障碍物有碰撞；

当所有切球体的球心离障碍物的最近距离均大于半径，将新节点加入树中；

返回采样步骤，直至判断到新节点与目标节点小于预设距离，得到随机扩展树；

根据随机扩展树进行路径规划，得到规划结果；

所述切球体参数设定如下：

v_k＝X_near+(k/N)*(X_new-X_near)

上式中，v_k表示第k个切球体的球心位置，r_k表示第k个切球体的半径，ρ_max表示常数，N表示切球体的总数，X_new表示新节点。

2.根据权利要求1所述一种基于眼神追踪的无人机辅助操控方法，其特征在于，所述根据眼动仪获取眼神注视点并逆投影至3D深度图中，得到目标点这一步骤，其具体包括：

根据眼动仪获取眼神注视点；

基于相机模型，根据内外参数矩阵将眼神注视点投影至3D深度图中，得到待处理目标位置；

对待处理目标位置进行平滑滤波，得到目标点。

3.根据权利要求2所述一种基于眼神追踪的无人机辅助操控方法，其特征在于，所述平滑滤波的计算公式表示如下：

上式中，表示k时刻计算得到的投影点坐标向量，/>为k时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-1时刻经过平滑滤波处理后得到的投影点坐标向量，表示k-2时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-3时刻经过平滑滤波处理后得到的投影点坐标向量，/>表示k-4时刻经过平滑滤波处理后得到的投影点坐标向量。

4.一种如权利要求1-3任一项所述基于眼神追踪的无人机辅助操控方法的系统，其特征在于，包括：

操控者交互子系统，包括眼动仪和遥控器，所述眼动仪用于获取操控者眼神注视点，所述遥控器用于获取速度输入；

无人机子系统，包括板载传感器、视觉惯性里程计、规划模块和控制器，所述板载传感器和视觉惯性里程计用于进行实时建模，所述规划模块基于视场增强型RRT算法并根据无人机当前位置和目标点进行路径规划，所述控制器用于根据路径规划结果和速度输入进行无人机飞行控制。