CN112959342A - 基于操作员意图识别的飞行机械臂抓取作业遥操作方法 - Google Patents

Abstract

本发明公开了基于操作员意图识别的飞行机械臂抓取作业遥操作方法，该系统由主端、从端和通讯环节组成。主端包括操作员、手控器、眼动仪、显示器和控制计算机，从端为由六旋翼无人机和五自由度机械臂组成的飞行机械臂。本发明通过记录操作员的眼动特征进行抓取目标意图识别，从而控制飞行器接近待抓取目标。辅助抓取程序利用虚拟夹具方法引导操作员通过操纵手控器完成抓取动作。复杂抓取任务操作员始终不脱离控制回路，而对于简单抓取任务，辅助抓取程序也可完全接管抓取任务，完成自主抓取。本发明将眼动信号和力反馈技术引入飞行机械臂抓取作业遥操作方法中，可以降低操作难度，减轻操作员在远程抓取控制过程中的认知负荷，提高抓取效率。

Description

基于操作员意图识别的飞行机械臂抓取作业遥操作方法

技术领域

本发明涉及飞行机械臂遥操作领域，特别是涉及一种利用眼动特征进行操作员意图识别的飞行机械臂抓取作业控制方法。

背景技术

随着旋翼飞行机器人技术的成熟，物体抓取及配送逐渐成为旋翼型飞行器研究的热点。在旋翼飞行器下加装机械臂可实现装卸物体时的自主抓取，有效提升抓取过程中的自动化程度，提高作业效率。目前飞行机械臂的抓取方法主要集中在基于人眼或视觉设备返回图像的单边遥控抓取和基于目标物体识别的自主抓取。前者飞行机械臂仅作为执行机构，需要操作员根据目标不断调整飞行器姿态，该方法对操作员有较重的认知负荷，操作员经验不足或处于疲劳状态时会影响作业效果。而后者使用图像处理和视觉定位技术对特定物体进行识别定位，通过与飞行机械臂的控制算法结合，实现物体的自主抓取，该方法实现难度大，适用于在简单环境下对单一特定物体的快速抓取，但抓取多种类形状复杂的物体或执行复杂抓取动作时，会影响该方法的准确度。因此，上述两种方法在执行多目标复杂场景抓取任务时，都具有明显的局限性。

在双边遥操作的基础上融入基于操作员意图识别的辅助控制程序，可辅助操作员完成抓取任务，提高飞行机械臂抓取作业的效率、降低操作员的操作难度与工作负荷。

发明内容

技术问题：为解决上述存在的问题，针对复杂的作业环境和抓取任务，本发明通过引入操作员视线跟踪和力反馈技术，提供了一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，可适应不同难度的作业场景，减轻操作员工作负荷，提高抓取作业遥操作的效率。

技术方案：本发明是一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，该遥操作方法基于一个由主端、从端和通讯环节组成的系统；其中，主端由操作员、视线跟踪设备、力反馈人机接口、显示器与控制计算机组成，从端为飞行机械臂，通讯环节为无线通讯方式；该遥操作方法包括以下步骤：

步骤一、控制计算机对飞行机械臂所传回的现场图像进行图像处理，并在显示器上显示作业场景的图像处理结果；

步骤二、当操作员注视显示器画面时，通过视线跟踪设备实时采集操作员的眼动特征进行操作员抓取目标意图识别，从而锁定抓取目标；

步骤三、根据操作员抓取目标意图识别结果，无人机接近目标抓取对象，通过图像采集模块进行定位测距，从而判断目标抓取物是否处于飞行机械臂工作空间，当抓取目标处于飞行机械臂工作空间时，启动辅助抓取程序；

步骤四、操作员通过力反馈人机接口控制机械臂以合适的角度和路径接近目标抓取物，同时，辅助抓取程序计算手控器在不同位置应受的反馈力，辅助操作员完成抓取动作；若执行非复杂抓取任务，辅助抓取程序可完全接管后续抓取操作，自主规划飞行机械臂运动轨迹完成抓取任务。

其中，所述视线跟踪设备采用眼动仪，用于捕捉跟踪操作员的眼动特征，并根据此信息判断抓取目标；所述力反馈人机接口为力反馈手控器，用以在辅助抓取程序中辅助操作员完成抓取动作；所述飞行机械臂由六旋翼无人机、五自由度机械臂和机械手、图像采集模块组成。

所述显示器以及控制计算机接收从端传回图像数据，进行图像处理并生成可视化界面，操作员在注视显示器时，通过视线跟踪设备捕捉操作员所注视物体，完成操作员抓取意图的识别。

所述步骤二中操作员抓取目标意图识别，其眼动特征包括操作员视线的有效注视点的位置坐标、注视时间和瞳孔直径；意图识别的过程为：

首先，根据注视点位置坐标计算注视点所属物体；

其次，对每个注视点进行瞳孔直径和注视时间的积分；

最后，在当前时间窗口内，若根据积分结果和注视点坐标综合得到的某个待抓取物的抓取意图概率大于设定阈值时，则当前抓取目标操作意图为目标锁定，否则操作意图为目标搜索。

所述步骤三中操作员抓取目标意图识别结果为目标搜索和目标锁定；目标搜索表示操作员未确定抓取目标，仍处于搜索目标阶段；目标锁定表示已确定操作员抓取目标。

所述步骤四中操作员通过力反馈人机接口控制机械臂的方法为：采用位置映射方法，将手控器末端的位置映射到飞行机械臂的末端，控制飞行机械臂末端接近目标物，并使用手控器上的按键控制机械手的松开和握紧。

所述辅助抓取程序，控制方法为采用引导性虚拟夹具方法，控制计算机根据现场环境和机械臂轨迹规划结果计算反馈力，并通过手控器作用于操作员，辅助操作员完成抓取动作。

所述虚拟夹具根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置生成，用以辅助飞行机械臂完成特定任务；采用引导型虚拟夹具引导飞行机械臂到达目标位置并实现避障。

所述步骤四中反馈力计算方法为：根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置，生成虚拟夹具的引导路径，即虚拟夹具管道的形状；并根据现场环境的复杂情况确定不同位置的管道半径；在机械臂运动过程中，控制计算机计算反馈力并将计算结果发送给力反馈手控器，防止操作员越过运动路径规划生成的虚拟夹具的管道边界，从而辅助操作者完成抓取动作；

判断操作员操作的飞行机械臂末端是否越过规划运动路径生成的虚拟夹具管道边界的准则是：

(x_tcp-x_tag)²+(y_tcp-y_tag)²+(z_tcp-z_tag)²≤R

其中，x_tcp，y_tcp，z_tcp为飞行机械臂末端位置，x_tag，y_tag，z_tag为机械臂运动路径规划结果，R为虚拟夹具管道的半径；

当飞行机械臂末端超过虚拟夹具管道时，作用给操作者的反馈力为：

其中，F_x,F_y,F_z为x,y,z方向上作用于操作员的反馈力，K_d为反馈力的阻尼系数，x_tcp,y_tcp,z_tcp,x_tag,y_tag,z_tag分别为飞行机械臂末端位置和机械臂路径规划结果；

上述虚拟夹具的管道半径为：

R＝R₀-G₀ln(1-α+ε)

其中，R₀为虚拟夹具管道的最小半径，G₀为增益。α为根据现场环境确定的环境复杂指数，其取值范围为0～1，飞行机械臂工作环境越复杂时，α越趋近于0；飞行机械臂工作环境为自由空间时，α越趋近于1。ε为一个极小的正数，用以保证1-α+ε不等于0。

所述非复杂抓取任务，辅助抓取程序可完全接管后续抓取操作，完成自主抓取任务，其过程为：

首先，判断是否处于非复杂环境，即虚拟夹具管道半径R是否大于阈值R_VPT；

其次，判断是否操作员不使用手控器进行操作，即操作员持续对手控器无操作的时间t是否大于阈值t_VPT；

最后，根据该段时间操作员的眼动特征进行意图识别，判断操作员抓取意图为目标锁定，则启动自动抓取程序，根据机械臂运动规划结果完成目标物的自主抓取。

有益效果：本发明提供的一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，具体有如下优点：

(1)引入视觉和力觉双重反馈，将现场信息进行图像处理显示在主端显示器上，并在机械臂抓取过程中使用虚拟夹具方法计算手控器反馈力，增强了操作员的临场感，提高了操作员的控制能力。

(2)引入操作员抓取目标意图识别方法，通过对操作员的眼动特征的处理，判断操作员抓取意图和目标，并在机械臂抓取过程中通过辅助抓取程序协助操作员进行抓取作业，减轻操作员在抓取过程中的认知负荷，提高抓取效率。

(3)本发明方案在双边遥操作的基础上融入基于操作员意图识别的辅助控制程序，在简单环境下，飞行机械臂可自主完成抓取作业；而在复杂环境或执行复杂任务时，操作员始终参与飞行机械臂抓取控制，以保证抓取的精度，提高了人机交互过程的可靠性。

附图说明

图1为基于操作员意图识别的飞行机械臂抓取作业遥操作系统示意图；

图2为飞行机械臂结构图；

图3为六自由度力反馈手控器结构图；

图4为基于操作员意图识别的飞行机械臂抓取作业遥操作系统原理图。

图中有：操作员1、眼动仪2、控制计算机及显示器3、手控器4、飞行机械臂5；六旋翼无人机5-1、五自由度机械臂5-2、图像采集模块5-5、起落架5-3、电池5-11；五自由度机械臂包括机械手5-4、第一关节5-10、第二关节5-9、第三关节5-8、第四关节5-7、第五关节5-6；手控器包括位置自由度一4-1、位置自由度二4-2、位置自由度三4-3、转动自由度α4-4、转动自由度β4-5、转动自由度γ4-7、按键4-6。

具体实施方式

本发明的一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法基于一个由主端、从端和通讯环节组成的系统；其中，主端由操作员、视线跟踪设备、力反馈人机接口、显示器与控制计算机组成，从端为飞行机械臂，通讯环节为无线通讯方式；该遥操作方法包括以下步骤：

步骤一、控制计算机对飞行机械臂所传回的现场图像进行图像处理，并在显示器上显示作业场景的图像处理结果；

步骤二、当操作员注视显示器画面时，通过视线跟踪设备实时采集操作员的眼动特征进行操作员抓取目标意图识别，从而锁定抓取目标；

步骤三、根据操作员抓取目标意图识别结果，无人机接近目标抓取对象，通过图像采集模块进行定位测距，从而判断目标抓取物是否处于飞行机械臂工作空间，当抓取目标处于飞行机械臂工作空间时，启动辅助抓取程序；

步骤四、操作员通过力反馈人机接口控制机械臂以合适的角度和路径接近目标抓取物，同时，辅助抓取程序计算手控器在不同位置应受的反馈力，辅助操作员完成抓取动作；若执行非复杂抓取任务，辅助抓取程序完全接管后续抓取操作，自主规划飞行机械臂运动轨迹完成抓取任务。

下面结合附图和实施例，对本发明作进一步详细说明。

参见图1所示，基于操作员意图识别的飞行机械臂抓取作业遥操作控制系统由主端、从端和通讯模块组成，所述主端包括操作员1、眼动仪2、控制计算机及显示器3、手控器4。所述通讯环节采用无线通信方式。所述从端包括飞行机械臂5和若干不同形状的待抓取的物体6。

参见图2所示，所述飞行机械臂5由六旋翼无人机5-1、五自由度机械臂5-2、图像采集模块5-5、起落架5-3、电池5-11组成。五自由度机械臂包括机械手5-4以及第一关节5-10、第二关节5-9、第三关节5-8、第四关节5-7、第五关节5-6。

参见图3所示，所述力反馈手控器4的位置自由度一4-1、位置自由度二4-2、位置自由度三4-3的转动可以改变手控器操作末端的空间位置；转动自由度α4-4、转动自由度β4-5、转动自由度γ4-7的转动可以改变手控器操作末端的姿态，按键4-6用于控制机械手的松开和握紧。控制计算机3可以通过API实时获取手控器末端所在空间坐标系的位置信息x_p、y_p、z_p和姿态信息α、β、γ；控制计算机3可以通过API实时设定当手控器操作末端处于所在空间坐标系(x_p,y_p,z_p)坐标时，沿X轴、Y轴、Z轴方向的反馈力F_x、F_y、F_z。

参见图4所示，飞行机械臂5通过图像采集模块5-5记录现场信息，并经通讯模块发送给控制计算机3，控制计算机3对现场返回图像信息进行待抓取物体识别，并对待抓取物体进行标记。

显示器3显示上述图像处理结果，在操作员1注视显示器3的过程中，眼动仪2记录操作员视线有效注视点的位置坐标、注视时间和瞳孔直径等眼动特征。控制计算机3根据上述眼动特征进行操作员抓取目标的意图识别，若意图识别结果为目标锁定，则确定待抓取目标，从而控制计算机3对飞行机械臂5下发指令，使得飞行器5接近目标物。

上述根据眼动特征进行操作员抓取目标意图识别的过程为：首先，根据注视点位置坐标计算注视点所属物体；其次，对每个注视点进行瞳孔直径和注视时间的积分；最后，在当前时间窗口内，若根据积分结果和注视点坐标综合得到的某个待抓取物的抓取意图概率大于设定阈值时，则当前抓取目标操作意图为目标锁定，否则操作意图为目标搜索。

当待抓取目标物处于飞行机械臂工作空间时，操作员1通过操纵手控器4执行抓取任务。控制计算机3采用位置映射机制，将手控器4末端的空间位置映射到飞行机械臂的末端，控制飞行机械臂末端接近目标物。当机械臂末端到达目标位置时，操作员按下按键4-6用于控制机械手的松开和握紧。手控器末端位置与飞行机械臂末端的位置映射关系为：

其中，[x_p y_p z_p]为手控器末端位置，[x y z]为飞行机械臂末端位置，S_x、S_y、S_z分别为沿X轴、Y轴、Z轴方向的放大倍数。

在操纵手控器4控制飞行机械臂接近目标物的过程中，控制计算机3根据返回的现场信息进行运动路径规划，采用引导性虚拟夹具，将计算的反馈力发送给力反馈手控器4，防止操作员1越过运动路径规划生成的管道型虚拟夹具的边界，从而辅助操作员1完成抓取动作。

虚拟夹具根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置生成，用以辅助飞行机械臂完成特定任务。采用引导型虚拟夹具计算反馈力的计算方法为：首先，根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置，生成虚拟夹具的引导路径，即虚拟夹具管道的形状；其次，根据现场环境的复杂情况确定不同位置的管道半径；最后，在机械臂运动过程中，控制计算机计算反馈力并将计算结果发送给力反馈手控器，防止操作员越过运动路径规划生成的虚拟夹具的管道边界，从而辅助操作者完成抓取动作；

判断操作员操作的飞行机械臂末端是否越过规划运动路径生成的虚拟夹具管道边界的准则是：

(x_tcp-x_tag)²+(y_tcp-y_tag)²+(z_tcp-z_tag)²≤R

其中，x_tcp，y_tcp，z_tcp为飞行机械臂末端位置，x_tag，y_tag，z_tag为机械臂运动路径规划结果，R为虚拟夹具管道的半径；

当飞行机械臂末端超过虚拟夹具管道时，作用给操作者的反馈力为：

其中，F_x,F_y,F_z为x,y,z方向上作用于操作员的反馈力，K_d为反馈力的阻尼系数，x_tcp,y_tcp,z_tcp,x_tag,y_tag,z_tag分别为飞行机械臂末端位置和机械臂路径规划结果；

上述虚拟夹具的管道半径为：

R＝R₀-G₀ln(1-α+ε)

其中，R₀为虚拟夹具管道的最小半径，G₀为增益。α为根据现场环境确定的环境复杂指数，其取值范围为0～1，飞行机械臂工作环境越复杂时，α越趋近于0；飞行机械臂工作环境为自由空间时，α越趋近于1。ε为一个极小的正数，用以保证1-α+ε不等于0。辅助抓取程序除辅助操作员1完成抓取动作外，还可以完全接管后续抓取操作。当虚拟夹具管道半径R大于阈值R_VPT时，即认为处于非复杂环境；此时，若操作员对手控器持续无操作的时间t大于阈值t_VPT；且根据该段时间操作员的眼动特征进行意图识别，判断操作员抓取意图为锁目标定，则启动自动抓取程序，完成目标物的自动抓取。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，该遥操作方法基于一个由主端、从端和通讯环节组成的系统；其中，主端由操作员、视线跟踪设备、力反馈人机接口、显示器与控制计算机组成，从端为飞行机械臂，通讯环节为无线通讯方式；该遥操作方法包括以下步骤：

步骤一、控制计算机对飞行机械臂所传回的现场图像进行图像处理，并在显示器上显示作业场景的图像处理结果；

步骤二、当操作员注视显示器画面时，通过视线跟踪设备实时采集操作员的眼动特征进行操作员抓取目标意图识别，从而锁定抓取目标；

步骤三、根据操作员抓取目标意图识别结果，无人机接近目标抓取对象，并通过图像采集模块进行定位测距，从而判断目标抓取物是否处于飞行机械臂工作空间，当抓取目标处于飞行机械臂工作空间时，启动辅助抓取程序；

步骤四、操作员通过力反馈人机接口控制机械臂以合适的角度和路径接近目标抓取物，同时，辅助抓取程序计算手控器在不同位置应受的反馈力，辅助操作员完成抓取动作；若执行非复杂抓取任务，辅助抓取程序可完全接管后续抓取操作，自主规划飞行机械臂运动轨迹完成抓取任务。

2.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于：所述视线跟踪设备采用眼动仪，用于捕捉跟踪操作员的眼动特征，并根据此信息判断抓取目标；所述力反馈人机接口为力反馈手控器，用以在辅助抓取程序中辅助操作员完成抓取动作；所述飞行机械臂由六旋翼无人机、五自由度机械臂和机械手、图像采集模块组成。

3.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述操作员抓取目标意图包括目标搜索和目标锁定；所述显示器以及控制计算机接收从端传回图像数据，进行图像处理并生成可视化界面，操作员在注视显示器时，通过视线跟踪设备捕捉操作员所注视物体，完成操作员抓取意图的识别。

4.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述操作员抓取目标意图识别，其眼动特征包括操作员视线的有效注视点的位置坐标、注视时间和瞳孔直径；意图识别的过程为：

首先，根据注视点位置坐标计算注视点所属物体；

其次，对每个注视点进行瞳孔直径和注视时间的积分；

最后，在当前时间窗口内，若根据积分结果和注视点坐标综合得到的某个待抓取物的抓取意图概率大于设定阈值时，则当前抓取目标操作意图为目标锁定，否则操作意图为目标搜索。

5.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述步骤三中操作员抓取目标意图识别结果为目标搜索和目标锁定；目标搜索表示操作员未确定抓取目标，仍处于搜索目标阶段；目标锁定表示已确定操作员抓取目标。

6.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述操作员通过力反馈人机接口控制机械臂的方法为：采用位置映射方法，将手控器末端的位置映射到飞行机械臂的末端，控制飞行机械臂末端接近目标物，并使用手控器上的按键控制机械手的松开和握紧。

7.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述辅助抓取程序，控制方法为采用引导性虚拟夹具方法，控制计算机根据现场环境和机械臂轨迹规划结果计算反馈力，并通过手控器作用于操作员，辅助操作员完成抓取动作。

8.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述虚拟夹具是根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置生成，用以辅助飞行机械臂完成特定任务；采用引导型虚拟夹具引导飞行机械臂到达目标位置并实现避障。

9.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，步骤四中所述反馈力计算方法为：

根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置，生成虚拟夹具的引导路径，即虚拟夹具管道的形状；并根据现场环境的复杂情况确定不同位置的管道半径；在机械臂运动过程中，控制计算机计算反馈力并将计算结果发送给力反馈手控器，防止操作员越过运动路径规划生成的虚拟夹具的管道边界，从而辅助操作者完成抓取动作；

判断操作员操作的飞行机械臂末端是否越过规划运动路径生成的虚拟夹具管道边界的准则是：

(x_tcp-x_tag)²+(y_tcp-y_tag)²+(z_tcp-z_tag)²≤R

其中，x_tcp，y_tcp，z_tcp为飞行机械臂末端位置，x_tag，y_tag，z_tag为机械臂运动路径规划结果，R为虚拟夹具管道的半径；

当飞行机械臂末端超过虚拟夹具管道时，作用给操作者的反馈力为：

其中，F_x,F_y,F_z为x,y,z方向上作用于操作员的反馈力，K_d为反馈力的阻尼系数，x_tcp,y_tcp,z_tcp,x_tag,y_tag,z_tag分别为飞行机械臂末端位置和机械臂路径规划结果；

上述虚拟夹具的管道半径为：

R＝R₀-G₀ln(1-α+ε)

其中，R₀为虚拟夹具管道的最小半径，G₀为增益。α为根据现场环境确定的环境复杂指数，其取值范围为0～1，飞行机械臂工作环境越复杂时，α越趋近于0；飞行机械臂工作环境为自由空间时，α越趋近于1。ε为一个极小的正数，用以保证1-α+ε不等于0。

10.根据权利要求1所述的基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，所述非复杂抓取任务，辅助抓取程序可完全接管后续抓取操作，完成自主抓取任务，其过程为：

首先，判断是否处于非复杂环境，即虚拟夹具管道半径R是否大于阈值R_VPT；

其次，判断是否操作员不使用手控器进行操作，即操作员持续对手控器无操作的时间t是否大于阈值t_VPT；

最后，根据该段时间操作员的眼动特征进行意图识别，判断操作员抓取意图为目标锁定，则启动自动抓取程序，根据机械臂运动规划结果完成目标物的自主抓取。

Images