CN108052901B - 一种基于双目的手势识别智能无人机远程操控方法 - Google Patents

Abstract

本发明涉及一种基于双目的手势识别智能无人机远程操控方法，包括以下步骤：操作前采集不同手势的多帧图像，根据HSV信息提取手部区域和手部特征信息，计算不同手势的手部特征信息的均值和方差；操作中利用双目相机采集当前手势图像，采用多特征分层滤波算法处理并识别当前手势图像；采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；实时将手势实际弯折曲线规划成无人机实际运动轨迹。本发明通过将手势识别的结果转化为无人机控制信号发送给无人机实现飞行轨迹的在线控制，人机协同作业实时性、准确性和可靠性高。

Description

一种基于双目的手势识别智能无人机远程操控方法

技术领域

本发明属于模式识别与自动化技术领域，具体涉及一种基于双目的手势识别智能无人机远程操控方法。

背景技术

随着无人机应用领域的拓展，无人机逐渐融入人类生产、生活，与人类关系日益紧密，因此迫切需要无人机与人紧密协调。同无人机之间的良好的人机交互是“人机共融”和“人机协作”的重要基础。手势是人与人之间非语言交流的最重要方式，若把手势交互运用到无人机飞行控制上，可使无人机与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。按手势识别使用的设备是否与身体接触，手势识别技术可分为两类：接触式手势识别和基于视觉的手势识别。接触式手势识别具有识别准确、精度较高和稳定性好的优点，但使用的设备复杂、价格高，且用户需熟练使用穿戴的特定设备后，才能进行手势识别，不利于自然交互。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。当前无人机控制的主要方式还是基于遥控器的控制，或者是在短距离内识别和跟踪简单的特定手势，但长程仍然要依靠遥控器，这种基于遥控器的控制方式对用户而言并非是一种符合人类本能习惯的交互方式，新用户需要不断地练习才能掌握控制技巧，但如果发明一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的无人机手势识别与跟踪技术还可以很方便地扩展应用到更多的人机协作领域中，应用前景广泛。

发明内容

针对现有技术中的上述不足，本发明所采用的技术方案是：一种基于双目的手势识别智能无人机远程操控方法，包括以下步骤：

步骤1：操作前，采集不同手势的多帧图像，对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息，计算不同手势的手部特征信息的均值和方差并存储在个人特征库；

步骤2：操作中，利用双目相机采集当前手势图像，采用多特征分层滤波算法与个人特征库中的手部特征信息相比对识别当前手势图像；

步骤3：采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对双目相机采集当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；

步骤4：根据弯折的方向和曲率，实时将手势实际弯折曲线规划成用以实际指导无人机飞行的轨迹曲线。

所述步骤1中对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息包括：对同一个手势的多帧图像依次进行以下处理；

步骤1.1：分别获取多帧图像的HSV信息，

步骤1.2：计算HSV信息的均值和方差，

步骤1.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤1.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤1.5：获取每帧图像的手部区域的二值图像，

步骤1.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；

步骤1.7：将手部特征信息的均值和方差存储在个人特征库；

所述手部特征信息为手部形状、手部旋转角度、手部凸包性。

所述步骤2包括：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息x_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重γ_n，如果γ_n等于0，则表示当前手势是未知手势，否则，γ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

γ_n＝γ_n1×γ_n2×γ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，x_i是当前手势的第i个特征，γ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；γ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

所述步骤2中还包括：不断提取当前手势图像的ROI区域的HSV值作为t-1时刻的HSV值存储至个人特征库中，并按照如下公式实时计算个人特征库中t时刻的HSV值：

H(t)＝β₁H(t-1)+β₂H(t-2)+β₃H(t-3) (3)

S(t)＝β₁S(t-1)+β₂S(t-2)+β₃S(t-3) (4)

H(t)＝β₁V(t-1)+β₂V(t-2)+β₃V(t-3) (5)

(β₁+β₂+β₃＝1) (6)

其中，H(t)、S(t)、H(t)为个人特征库中t时刻的HSV值，H(t-1)、S(t-1)、V(t-1)分别为个人特征库中t-1时刻的HSV值，H(t-2)、S(t-2)、V(t-2)分别为个人特征库中t-2时刻的HSV值，H(t-3)、S(t-3)、V(t-3)分别为个人特征库中t-3时刻的HSV值，β₁、β₂、P₃为个人特征库中HSV值在t-1、t-2、t-3时刻的权值。

所述步骤3包括：

步骤3.1：利用双目相机采集当前手势图像，并保存为深度图像、彩色图像；

步骤3.2：提取彩色图像的HSV空间，根据HSV空间获取跟踪ROI区域二值图像；对跟踪ROI区域二值图像进行膨胀与高斯滤波处理，获取膨胀与滤波后的ROI区域二值图像；

步骤3.3：根据步骤3.2中的ROI区域二值图像的手部二维坐标在深度图像中获取对应的跟踪ROI区域的深度值信息；将与跟踪ROI区域的深度值相差超过阈值范围的背景区域从彩色图像中删去，获取删除背景后的彩色图像；

步骤3.4：将步骤3.2中膨胀与滤波后的二值图像和步骤3.3中的删除背景后的彩色图像的重叠部分的图像作为交集图像；对交集图像采用连续自适应均值漂移Camshift算法进行处理，获取最终跟踪ROI区域；

步骤3.5：获取最终跟踪ROI区域的中心点二维坐标；依据二维坐标在深度图像中获取其对应的深度坐标，得到最终跟踪ROI区域对应的三维坐标。

所述膨胀调整参数使ROI区域向外虚化扩散为原始面积的2倍，所述高斯滤波窗口为8×8。

所述步骤3.1还包括采用双目立体匹配优化算法对双目相机采集的当前手势图像保存的深度图像进行优化，如下：

分别获取跟踪ROI区域的上下限坐标为y_上、y_下、右相机图像中的跟踪ROI区域的左侧界限x_左、左相机图像中的跟踪ROI区域的右侧界限x_右，将当前手势图像保存的深度图像截取为矩形区域ABCD并作为分割后的深度图像，再用于步骤3.3和步骤3.5；

其中，A点坐标(x_左，y_上)、B点坐标(x_右，y_上)、C点坐标(x_左，Y_下)、D点坐标(x_右，Y_下)。

所述步骤3.2中提取彩色图像的HSV空间还包括：将步骤3.4中获取的最终跟踪ROI区域HSV值作为t-1时刻的步骤3.2的提取彩色图像的HSV空间值，并按照如下公式实时计算t时刻的步骤3.2的提取彩色图像的HSV空间值：

H′(t)＝β′₁H′(t-1)+β′₂H′(t-2)+β′₃H′(t-3) (7)

S′(t)＝β′₁S′(t-1)+β′₂S′(t-2)+β′₃S′(t-3) (8)

H′(t)＝β′₁V′(t-1)+β′₂V(t-2)+β′₃V′(t-3) (9)

(β′₁+β′₂+β′₃＝1) (10)

其中，H′(t)、S′(t)、H′(t)为步骤3.2中提取彩色图像的t时刻的HSV空间值，H′(t-1)、S′(t-1)、V′(t-1)分别为步骤3.2中提取彩色图像的t-1时刻的HSV空间值，H′(t-2)、S′(t-2)、V′(t-2)分别为步骤3.2中提取彩色图像的t-2时刻的HSV空间值，H′(t-3)、S′(t-3)、V′(t-3)分别为步骤3.2中提取彩色图像的t-3时刻的HSV空间值，β′₁、β′₂、β′₃为步骤3.2中提取彩色图像的HSV空间值在t-1、t-2、t-3时刻的权值。

所述步骤4包括：

定义Q_t点和Q′_t点分别为同一时刻手势实际弯折曲线与用以实际指导无人机飞行的轨迹曲线上的点；Q_t(x_t，y_t，z_t)点坐标为步骤3.5的最终跟踪ROI区域的三维坐标，Q′_t(x′_t，y′_t，z′_t)点的坐标按照如下步骤计算：

步骤4.1：在刚开始的t＝0与t＝1时刻，Q_t点和Q′_t点是重合的；

步骤4.2：t＝2时刻的预测点Q′_t＝2三维坐标是依据t＝0到t＝1时间轨迹线段的方向与角度延伸得到；将Q′_t＝2三维坐标代入磁性轨迹约束算法的公式(11)、(12)、(13)求得：预测点Q′_t＝2到实际点Q_t＝2的单位向量

模d(2)、曲率K(2)＝μd(2)；

步骤4.3：从t＝3时刻开始，无人机(t-1)到t时间段内实际引导轨迹的曲率为根据(t-1)时刻通过公式(11)计算出的曲率K(t-1)，弯曲方向为

朝向的方向；

以Q_t为圆心，与从t-1时刻开始延伸的预测轨迹曲线弧的最大相切圆的切点，即为t时刻预测轨迹Q′_t点，从而得出Q′_t的实际三维坐标；按照上述步骤依次运算，得到用以实际指导无人机飞行的轨迹曲线；

其中，所述磁性轨迹约束算法为按照如下公式计算d(t)、

和K(t)：

其中，

为Qt′朝向Qt的单位向量，用以表示在t时刻三维空间中的无人机实际运动轨迹向手势实际弯折曲线的方向，d(t)为Q_t点和Q′_t点的模，K(t)为t时刻弯折的曲率，μ是根据不同的无人机安全飞行姿态区间而确定的固定参数，K_max是无人机机动飞行轨迹的最大安全弧度。

本发明具有以下有益效果及优点：

1.本发明有别于其它手势识别系统的特点之一，便是其具备在线个人手势特征预训练与实时更新功能，通过采集用户手势，实时提取手势特征并训练系统，从而实现了基于个人手势特征库的手势识别。这种基于个人特征库的识别系统，第一，不会因为个人手型、肤色、动作习惯等差异造成识别准确率的较大波动，将手势识别准确率提高到了99％以上；第二，允许用户个性化自定义手势，用户可以设计自己喜欢的手势作为无人机操作的控制指令，具有很高的灵活性；第三，系统会依照当前肤色信息实时更新个人特征库中的手部肤色HSV值，从而达到在复杂多变的光照环境下依然99％以上的识别率与准确率。

2.本发明提出并运用了一种“多特征分层滤波算法”，提高了静态手势识别的检测率与识别率，保证了系统的实时性能。多特征的选取采用了手掌的姿态角、手势长宽比和手势凸包性等区分性明显的特征。在识别的过程中，摄像机收集手势图片，处理器分析手势图片提取特征，通过正态分布函数作为最大概率分布准则实现对特征的权重配比。

3.该系统通过操控手势在线再编程功能，相比于以往的预编程无人机控制系统，本次基于人机协作的视觉手势识别控制系统能够实现更加灵活、个性化的控制任务。并且，系统通过对识别到的双手手势进行组合编码，可以实现多达81种控制任务类别，以及针对不同任务的灵活控制，例如:通过两手的相对距离控制无人机的飞行速度、通过不同的手势组合控制无人机做不同的特技动作等。

4.除了静态的手势识别功能以外，本系统的另外一项功能，便是无人机的动态三维手势跟踪。本系统采用的是基于双目立体视觉的RGB-D三维动态跟踪算法，使无人机实时地在操作员前方三维空间中沿着操作者手部运动的三维轨迹形状做特技飞行，并为保证跟踪的可靠性，提出了一种“高斯区域性跟踪算法”，基本避免了手部以外同类色彩区域对于手势跟踪的干扰。

5.因为双目立体处理需要消耗大量的计算处理资源，其严重影响了跟踪的实时性，针对这个问题，我们设计了一种智能优化算法，使程序只需计算识别目标相关区域的深度信息，将双目匹配计算量降低为原始计算量的10％-20％，大大提高了程序的运行效率，保证了跟踪的实时性。

6.无人机有着自己的安全飞行姿态区间，倘若姿态变化超过这个区间，很容易导致无人机失速或者坠毁，但在无人机对手势进行动态跟踪时，操作员的手很容易画出超出无人机机动范围的轨迹，此时为了既保证无人机对手势轨迹的较好跟随，又保证无人机的飞行安全，我们针对轨迹设计了“磁性曲率约束算法”，解决了无人机动态跟随时的跟随性与安全性的问题。

7.为了便于往移动终端平台(手机、平板电脑等)配备该手势遥控系统，实现无人机最大5km的超远距离手势控制，我们设计了一个集成了双目相机、图传、数传的硬件模块，使用时，只需将该模块插入移动终端平台的数据连接口，安装相应APP，即可很方便得实现超远程手势控制无人机的功能。

附图说明

图1为静态组合手势识别工作流程示意图。

图2为在线手势特征预训练。

图3为手势静态识别工作流程示意图。

图4为RGB-D三维动态跟踪算法流程示意图。

图5为双目立体匹配优化算法图解。

图6为轨迹磁性曲率约束算法图解。

图7为mini双目集成模块。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本系统将基于双目立体视觉的智能手势识别与跟踪技术同无人机飞行平台相结合，使无人机可以根据人的意图来完成不同的飞行任务，从而实现了飞行平台上自然的人机协同作业功能。本系统从功能上分为两大部分，分别为静态双手手势组合识别与动态三维手势跟踪。其中视觉静态识别模块创新性地采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制无人机的实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能；本系统具备在线任务再编程改功能，可以在操作无人机的过程中，依靠特定手势实现不同手势功能的实时重定义与切换；无人机的三维手势跟踪使用了基于RGB-D的高斯区域性跟踪算法，并对双目立体匹配计算过程进行了智能优化，在大大提升双目程序处理效率的同时，保证了跟踪的实时性与可靠性；在将跟踪控制命令发送给无人机之前，该系统会依据无人机的飞行姿态极限范围，对指导无人机飞行的轨迹控制信号进行磁性曲率约束，保证了无人机飞行的安全与可靠性。今后这种技术可以融合进手机等众多移动设备中，用户只需安装一个相关APP，并在手机接口处插上一个包含双目相机和图传数传的模块，用户通过配备该模块的手机，即可实现5公里以内的无论近距离还是远距离基于手势的对无人机的飞行控制，以及通过自定义手势控制无人机完成特殊的飞行任务和飞行轨迹，并能实时看到反馈画面。

本发明方法从功能上看主要分为两大功能：1)静态组合手势识别、2)三维动态手势跟踪。

其中静态组合手势识别的工作流程如下图1所示，包括操作前个人特征库预训练和个人特征库的建立、操作中的采用多特征分层滤波算法识别手势，以及HSV值得实时更新。

1.在线手势特征预训练。

如图2所示，首先，操作前，系统收集用户不同手势的短视频，分别获取多帧图像的HSV(Hue,Saturation,Value)信息，计算HSV信息的均值和方差，根据HSV信息的均值和方差获取ROI(region of interest，感兴趣区域)区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；根据ROI区域的HSV空间提取每帧图像的手部区域；获取每帧图像的手部区域的二值图像，分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；将手部特征信息的均值和方差存储在个人特征库；其中，手部特征信息为手部形状、手部旋转角度、手部凸包性。

2.多特征分层滤波算法。

如图3所示，在识别的时候，摄像机采集手势图像，实时计算每个手势的多个特征，本实验系统中，根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息x_i带入公式(2)、(3)获得当前手势图像与个人特征库中第n个手势的相似概率权重γ_n，如果γ_n等于0，则表示当前手势是未知手势，否则，γ_n最大时对应的序号n即为识别出的个人特征库中第n个手势的序号；

γ_n＝γ_n1×γ_n2×γ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，x_i是当前手势的第i个特征，γ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；γ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

还包括不断提取当前手势图像的ROI区域的HSV值作为t-1时刻的HSV值存储至个人特征库中，并按照如下公式实时计算t时刻的HSV值：

H(t)＝β₁H(t-1)+β₂H(t-2)+β₃H(t-3) (3)

S(t)＝β₁S(t-1)+β₂S(t-2)+β₃S(t-3) (4)

H(t)＝β₁V(t-1)+β₂V(t-2)+β₃V(t-3) (5)

(β₁+β₂+β₃＝1) (6)

其中，H(t)、S(t)、H(t)为个人特征库中t时刻的HSV值，H(t-1)、S(t-1)、V(t-1)分别为个人特征库中t-1时刻的HSV值，H(t-2)、S(t-2)、V(t-2)分别为个人特征库中t-2时刻的HSV值，H(t-3)、S(t-3)、V(t-3)分别为个人特征库中t-3时刻的HSV值，β₁、β₂、β₃为个人特征库中HSV值在t-1、t-2、t-3时刻的权值，在本系统中，这三个权值分别设定为0.4、0.3、0.3。

操控手势在线再编程功能：当操作人员在操作时要改变控制策略或者发生突发情况时，只需做“双掌”的手势，系统检测到该信号后，进程就跳转到任务重规划部分，用户页面会出现不同控制命令的窗口，用户点击想要修改的任务，即可重新录入新的操控手势，完成操控手势的在线再编程。

3.RGB-D三维坐标定位。

当单手操控的时候，系统自动跳转到“手势跟踪”模式，在该模式下，定位当前手势的三维坐标，流程如图4所示。

步骤3.1：利用双目相机采集当前手势图像，并保存为深度图像、彩色图像；

步骤3.2：提取彩色图像的HSV空间，根据HSV空间获取跟踪ROI区域二值图像，对跟踪ROI区域二值图像进行膨胀与高斯滤波处理，获取膨胀与滤波后的ROI区域二值图像；所述膨胀调整参数使ROI区域向外虚化扩散为原始面积的2倍，所述高斯滤波窗口为8×8。

步骤3.3：根据步骤3.2中的ROI区域二值图像的手部二维坐标在深度图像中获取对应的跟踪ROI区域的深度值信息；将与跟踪ROI区域的深度值相差超过阈值范围的背景区域从彩色图像中删去，获取删除背景后的彩色图像；

步骤3.4：将步骤3.2中膨胀与滤波后的二值图像和步骤3.3中的删除背景后的彩色图像的重叠部分的图像作为交集图像；对交集图像采用连续自适应均值漂移Camshift算法进行处理，获取跟踪目标的ROI区域；

步骤3.5：获取最终跟踪ROI区域的中心点二维坐标；依据二维坐标在深度图像中获取其对应的深度坐标，得到最终跟踪ROI区域的三维坐标。

双目立体视觉虽然有着不易受光照干扰、探测距离远等优点，同样一对左右眼图像，分辨率越高，检测精度越高，但高分辨率的图像在匹配过程中需要耗费大量计算资源，影响跟踪的实时性。为了在保证检测精度的同时降低计算量，提高处理效率，我们提出了一种优化算法，如下(双目立体匹配优化算法图解如图5所不)：

所述步骤3.1还包括采用双目立体匹配优化算法对双目相机采集的当前手势图像保存的深度图像进行优化，如下：

分别获取跟踪ROI区域的上下限坐标为y_上、Y_下、右相机图像中的跟踪ROI区域的左侧界限x_左、左相机图像中的跟踪ROI区域的右侧界限x_右，以(x_左，Y_上)作为矩形的左上角坐标、(x_右，Y_下)作为右下角坐标，将当前手势图像保存的深度图像截取为矩形区域ABCD并作为分割后的深度图像，再用于步骤3.3和步骤3.5；

其中，A点坐标(x_左，Y_上)、B点坐标(x_右，Y_上)、C点坐标(x_左，Y_下)、D点坐标(x_右，Y_下)。

所述步骤3.2中提取彩色图像的HSV空间还包括：将步骤3.4中获取的最终跟踪ROI区域HSV值作为t-1时刻的步骤3.2的提取彩色图像的HSV空间值，并按照如下公式实时计算t时刻的步骤3.2的提取彩色图像的HSV空间值：

H′(t)＝β′₁H′(t-1)+β′₂H′(t-2)+β′₃H′(t-3) (7)

S′(t)＝β′₁S′(t-1)+β′₂S′(t-2)+β′₃S′(t-3) (8)

H′(t)＝β′₁V′(t-1)+β′₂V(t-2)+β′₃V′(t-3) (9)

(β′₁+β′₂+β′₃＝1) (10)

其中，H′(t)、S′(t)、H′(t)为步骤3.2中提取彩色图像的t时刻的HSV空间值，H′(t-1)、S′(t-1)、V′(t-1)分别为步骤3.2中提取彩色图像的t-1时刻的HSV空间值，H′(t-2)、S′(t-2)、V′(t-2)分别为步骤3.2中提取彩色图像的t-2时刻的HSV空间值，H′(t-3)、S′(t-3)、V′(t-3)分别为步骤3.2中提取彩色图像的t-3时刻的HSV空间值，β′₁、β′₂、β′₃为步骤3.2中提取彩色图像的HSV空间值在t-1、t-2、t-3时刻的权值，在本系统中，这三个权值分别设定为0.4、0.3、0.3。

4.动态跟踪算法(磁性曲率约束算法)。

操作员用手部画轨迹引导无人机做轨迹飞行的时候，很容易画出超出无人机机动极限的轨迹，并且由于不可避免的手部颤抖或跟踪区域中心坐标点的波动，轨迹呈现为如图6所示的折线形式(以平面空间为示意图，实际其为空间三维折线)，倘若无人机依照该轨迹进行轨迹跟踪，很容易超出安全机动范围引起失速或者坠毁。为了既保证无人机对手势轨迹的较好跟随，又保证无人机的飞行安全，我们将无人机的最大机动曲率作为一个参数，实时画虚线轨迹，虚线轨迹点与当前时刻的实际轨迹点距离越远，则虚线向实际点弯折的曲率越大。

按照“磁性轨迹约束算法”中的公式计算

和K(t)，并作为t到t+1时间段内无人机实际运动轨迹的运行参数；用于指导t到t+1时间段内的曲线弯折方式与位置，依次进行，得出了一条与手势弯折轨迹(实线)磁性靠拢的无人机实际运动轨迹(圆滑曲线)。在无人机进行手势跟随时，无人机接收的指令便是基于这条磁性曲率约束后的曲线而来，既保证了无人机的安全飞行又保证了其良好的跟随性。

具体包括：

定义Q_t点和Q′_t点分别为同一时刻手势实际弯折曲线与用以实际指导无人机飞行的轨迹曲线上的点；Q_t(x_t,y_t,z_t)点坐标为步骤3.5的最终跟踪ROI区域的三维坐标，Q_t′(x_t′,y_t′,z_t′)点的坐标按照如下步骤计算：

步骤4.1：在刚开始的t＝0与t＝1时刻，Q_t点和Q′_t点是重合的；

步骤4.2：t＝2时刻的预测点Q′_t＝2三维坐标是依据t＝0到t＝1时间轨迹线段的方向与角度延伸得到；将Q′_t＝2三维坐标代入磁性轨迹约束算法的公式(11)、(12)、(13)求得：预测点Q′_t＝2到实际点Q_t＝2的单位向量

模d(2)、曲率K(2)＝μd(2)；

步骤4.3：从t＝3时刻开始，无人机(t-1)到t时间段内实际引导轨迹的曲率为根据(t-1)时刻通过公式(11)计算出的曲率K(t-1)，弯曲方向为

朝向的方向；

以Q_t为圆心，与从t-1时刻开始延伸的预测轨迹曲线弧的最大相切圆的切点(如图6所示)，即为t时刻预测轨迹Q′_t点，从而得出Q′_t的实际三维坐标；按照上述步骤依次运算，得到用以实际指导无人机飞行的轨迹曲线；

其中，所述磁性轨迹约束算法为按照如下公式计算d(t)、

和K(t)：

其中，

为Qt′朝向Qt的单位向量，用以表示在t时刻三维空间中的无人机实际运动轨迹向手势实际弯折曲线的方向，d(t)为Q_t点和Q′_t点的模，K(t)为t时刻弯折的曲率，μ是根据不同的无人机安全飞行姿态区间而确定的固定参数，K_max是无人机机动飞行轨迹的最大安全弧度。

本发明的硬件设备(mini双目集成模块)构造如下图7所示。首先，最下方有一个手机/平板电脑mini-USB接头，可插入到移动终端设备上，依靠终端设备进行算法运算与无人机图像显示；主体是一个双目相机，镜头间距为60mm，完全满足近距离内获取三维信息的精度；背部是一个集成了图传和数传的模块，用以对无人机发送控制指令，以及接收无人机传回的图像画面。

Claims (9)

1.一种基于双目的手势识别智能无人机远程操控方法，其特征在于，包括以下步骤：

步骤1：操作前，采集不同手势的多帧图像，对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息，分别计算不同手势的手部特征信息的均值和方差并存储在个人特征库；

步骤2：操作中，利用双目相机采集当前手势图像，采用多特征分层滤波算法与个人特征库中的手部特征信息相比对识别当前手势图像；

步骤3：采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对双目相机采集当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；

步骤4：根据弯折的方向和曲率，实时将手势实际弯折曲线规划成用以实际指导无人机飞行的轨迹曲线，包括：

定义Q_t点和Q′_t点分别为同一时刻手势实际弯折曲线与用以实际指导无人机飞行的轨迹曲线上的点；Q_t(x_t,y_t,z_t)点坐标为步骤3的最终跟踪ROI区域的三维坐标，Q_t′(x_t′,y_t′,z_t′)点的坐标按照如下步骤计算：

步骤4.1：在刚开始的t＝0与t＝1时刻，Q_t点和Q′_t点是重合的；

步骤4.2：t＝2时刻的预测点Q′_t＝2三维坐标是依据t＝0到t＝1时间轨迹线段的方向与角度延伸得到；将Q′_t＝2三维坐标代入磁性轨迹约束算法的公式(11)、(12)、(13)求得：预测点Q′_t＝2到实际点Q_t＝2的单位向量

模d(2)、曲率K(2)＝μd(2)；

步骤4.3：从t＝3时刻开始，无人机(t-1)到t时间段内实际引导轨迹的曲率为根据(t-1)时刻通过公式(11)计算出的曲率K(t-1)，弯曲方向为

朝向的方向；

以Q_t为圆心，与从t-1时刻开始延伸的预测轨迹曲线弧的最大相切圆的切点，即为t时刻预测轨迹Q′_t点，从而得出Q′_t的实际三维坐标；按照上述步骤依次运算，得到用以实际指导无人机飞行的轨迹曲线；

其中，所述磁性轨迹约束算法为按照如下公式计算d(t)、

和K(t)：

其中，

为Qt'朝向Qt的单位向量，用以表示在t时刻三维空间中的无人机实际运动轨迹向手势实际弯折曲线的方向，d(t)为Q_t点和Q′_t点的模，K(t)为t时刻弯折的曲率，μ是根据不同的无人机安全飞行姿态区间而确定的固定参数，K_max是无人机机动飞行轨迹的最大安全弧度。

2.按照权利要求1所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤1中对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息包括：对同一个手势的多帧图像依次进行以下处理；

步骤1.1：分别获取多帧图像的HSV信息，

步骤1.2：计算HSV信息的均值和方差，

步骤1.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤1.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤1.5：获取每帧图像的手部区域的二值图像，

步骤1.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；

步骤1.7：将手部特征信息的均值和方差存储在个人特征库。

3.按照权利要求1或2所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述手部特征信息为手部形状、手部旋转角度、手部凸包性。

4.按照权利要求1所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤2包括：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息x_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重γ_n，如果γ_n等于0，则表示当前手势是未知手势，否则，γ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

γ_n＝γ_n1×γ_n2×γ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，x_i是当前手势的第i个特征，γ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；γ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

5.按照权利要求1所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤2中还包括：不断提取当前手势图像的ROI区域的HSV值作为t-1时刻的HSV值存储至个人特征库中，并按照如下公式实时计算个人特征库中t时刻的HSV值：

H(t)＝β₁H(t-1)+β₂H(t-2)+β₃H(t-3) (3)

S(t)＝β₁S(t-1)+β₂S(t-2)+β₃S(t-3) (4)

H(t)＝β₁V(t-1)+β₂V(t-2)+β₃V(t-3) (5)

(β₁+β₂+β₃＝1) (6)

其中，H(t)、S(t)、H(t)为个人特征库中t时刻的HSV值，H(t-1)、S(t-1)、V(t-1)分别为个人特征库中t-1时刻的HSV值，H(t-2)、S(t-2)、V(t-2)分别为个人特征库中t-2时刻的HSV值，H(t-3)、S(t-3)、V(t-3)分别为个人特征库中t-3时刻的HSV值，β₁、β₂、β₃为个人特征库中HSV值在t-1、t-2、t-3时刻的权值。

6.按照权利要求1所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤3包括：

步骤3.1：利用双目相机采集当前手势图像，并保存为深度图像、彩色图像；

步骤3.2：提取彩色图像的HSV空间，根据HSV空间获取跟踪ROI区域二值图像；对跟踪ROI区域二值图像进行膨胀与高斯滤波处理，获取膨胀与滤波后的ROI区域二值图像；

步骤3.3：根据步骤3.2中的ROI区域二值图像的手部二维坐标在深度图像中获取对应的跟踪ROI区域的深度值信息；将与跟踪ROI区域的深度值相差超过阈值范围的背景区域从彩色图像中删去，获取删除背景后的彩色图像；

步骤3.4：将步骤3.2中膨胀与滤波后的二值图像和步骤3.3中的删除背景后的彩色图像的重叠部分的图像作为交集图像；对交集图像采用连续自适应均值漂移Camshift算法进行处理，获取最终跟踪ROI区域；

步骤3.5：获取最终跟踪ROI区域的中心点二维坐标；依据二维坐标在深度图像中获取其对应的深度坐标，得到最终跟踪ROI区域对应的三维坐标。

7.按照权利要求6所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述膨胀调整参数使ROI区域向外虚化扩散为原始面积的2倍，所述高斯滤波窗口为8×8。

8.按照权利要求6所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤3.1还包括采用双目立体匹配优化算法对双目相机采集的当前手势图像保存的深度图像进行优化，如下：

分别获取跟踪ROI区域的上下限坐标为y_上、y_下、右相机图像中的跟踪ROI区域的左侧界限x_左、左相机图像中的跟踪ROI区域的右侧界限x_右，将当前手势图像保存的深度图像截取为矩形区域ABCD并作为分割后的深度图像，再用于步骤3.3和步骤3.5；

其中，A点坐标(x_左，y_上)、B点坐标(x_右，y_上)、C点坐标(x_左，y_下)、D点坐标(x_右，y_下)。

9.按照权利要求6所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤3.2中提取彩色图像的HSV空间还包括：将步骤3.4中获取的最终跟踪ROI区域HSV值作为t-1时刻的步骤3.2的提取彩色图像的HSV空间值，并按照如下公式实时计算t时刻的步骤3.2的提取彩色图像的HSV空间值：

H′^(t)＝β′₁H′^(t-1)+β′₂H′^(t-2)+β′₃H′(t-3) (7)

S′^(t)＝β′₁S′^(t-1)+β′₂S′^(t-2)+β′₃S′(t-3) (8)

H′^(t)＝β′₁V′^(t-1)+β′₂V(t-2)+β′₃V′(t-3) (9)

(β′₁+β′₂+β′₃＝1) (10)

其中，H′(t)、S′(t)、H′(t)为步骤3.2中提取彩色图像的t时刻的HSV空间值，H′(t-1)、S′(t-1)、V′(t-1)分别为步骤3.2中提取彩色图像的t-1时刻的HSV空间值，H′(t-2)、S′(t-2)、V′(t-2)分别为步骤3.2中提取彩色图像的t-2时刻的HSV空间值，H′(t-3)、S′(t-3)、V′(t-3)分别为步骤3.2中提取彩色图像的t-3时刻的HSV空间值，β′₁、β′₂、β′₃为步骤3.2中提取彩色图像的HSV空间值在t-1、t-2、t-3时刻的权值。

Images