CN108127667B - 一种基于关节角增量的机械臂体感交互控制方法 - Google Patents

Abstract

本发明涉及一种基于关节角增量的机械臂体感交互控制方法，获取机械臂关节自由度与人体手臂关节自由度的一一映射；使用Kinect传感器实时提取操作者手臂关节信息，根据操作周期计算操作者手臂关节角增量；对计算得到的关节角增量进行滤波处理，得到机械臂相应关节的关节角并发送给机械臂，控制机械臂运动。本发明提出一种新的体感控制方法，能够使用Kinect传感器采集到的操作者体感信息经过处理转化为机械臂的关节角度信息，既能保证充分利用手臂的体感信息，对机械臂臂型进行控制，又能使操作者处于自身的舒适状态，克服了现有方法的缺点。

Description

一种基于关节角增量的机械臂体感交互控制方法

技术领域

本发明属于人机交互及机器人领域，涉及一种基于关节角增量的机械臂体感交互控制方法。

背景技术

体感控制是人机交互领域的热点方向，而机械臂的体感控制是当前机器人学研究中的一个新兴方向。与机械臂的传统控制方式相比，体感控制具有许多优点：直观性，便捷性和易用性。

Kinect是微软发布的深度信息传感器，由于其能够采集多个用户信息，配置和使用简单，精度高等优点，近年来被逐渐使用在机械臂的体感控制上。使用Kienct传感器对机械臂进行体感控制可以充分发挥人手臂的灵活特点，操作者只需对自身手臂进行控制，无需附加其他设备，经Kienct传感器采集体感信息，进行处理之后转化为控制信号，对机械臂进行控制，从而完成相应任务。

使用Kinect对机械臂进行体感控制，其关键问题是找到一种控制方法，将Kinect传感器采集到的体感信息转化为机械臂的控制信号(一般控制信号为机械臂各关节角度)，既能充分利用体感信息，发挥手臂的灵活性，又能准确、灵敏的控制机械臂的运动。

现有的体感控制方法普遍直接使用关节角映射或对末端进行笛卡尔空间映射，前者由于机械臂工作空间与手臂工作空间的不同，浪费了机械臂的一部分工作空间，后者由末端位姿通过逆运动学得到机械臂每个关节角度，无法控制臂型，运算量大且没有利用手臂的灵活性，丧失了体感控制的优势；另外，现有方法往往使得操作者在操作机械臂时手臂长时间处于不舒服的姿势，降低了操作的舒适性和控制的精度，减少了有效操作时间。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于关节角增量的机械臂体感交互控制方法，能够使用Kinect传感器采集到的操作者体感信息经过处理转化为机械臂的关节角度信息，既能保证充分利用手臂的体感信息，对机械臂臂型进行控制，又能使操作者处于自身的舒适状态，克服了现有方法的缺点。

技术方案

一种基于关节角增量的机械臂体感交互控制方法，其特征在于步骤如下：

步骤1：将机械臂关节自由度与人体手臂关节自由度的一一映射：

将手臂关节的肩关节、肘关节、腕关节按照三一三原则分成七个自由度，

i＝1～7表示自由度；

如果是七自由度机械臂，从基座到末端与肩关节至腕关节一一映射：

如果是小于七自由度机械臂，从基座到末端与肩关节至腕关节进行映射，以机械臂的自由度为准；

步骤2、采用Kine ct传感器实时提取操作者手臂关节信息，根据操作周期计算操作者手臂关节角增量：

操作者手臂状态为

机械臂状态为

操作者所期望的机械臂状态为

当操作者手臂状态从

转变为

称操作者手臂由

到

的运动过程为第k个操作周期，机械臂由

转变为

的运动过程为第k个运动周期；

在操作周期开始时，Kienct传感器采集到操作者手势由握拳转为打开时，选取Kinect传感器采集视频流中相连的三个有效帧中操作者手臂的关节角，记为

j＝1～3；

如果在两个有效帧之间的关节角差值大于给定角度阈值，则两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为关节角θ_begin；

在Kienct检测到操作者手势由张开转化为握拳时，使用Kinect传感器采集视频流中相连三个有效帧中操作者手臂的关节角，记为

表示有效帧数；

如果在两个有效帧之间的关节角差值大于给定角度阈值，则两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为关节角θ_end；

得到该关节角在第k个操作周期的关节角增量Δθ＝θ_end-θ_begin；

步骤3：设机械臂当前关节角

将计算出的关节角增量作为机械臂在下一个运动周期的关节角增量，在下一个运动周期结束时的机械臂关节角的位置：

将位置信息发送给机械臂，控制机械臂运动。

有益效果

本发明提出的一种基于关节角增量的机械臂体感交互控制方法，获取机械臂关节自由度与人体手臂关节自由度的一一映射；使用Kinect传感器实时提取操作者手臂关节信息，根据操作周期计算操作者手臂关节角增量；对计算得到的关节角增量进行滤波处理，得到机械臂相应关节的关节角并发送给机械臂，控制机械臂运动。

本发明提出一种新的体感控制方法，能够使用Kinect传感器采集到的操作者体感信息经过处理转化为机械臂的关节角度信息，既能保证充分利用手臂的体感信息，对机械臂臂型进行控制，又能使操作者处于自身的舒适状态，克服了现有方法的缺点。

附图说明

图1：手臂关节自由度划分

图2：计算参考距离及第一步滤波流程图

图3：第二步滤波流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的目的在于针对基于Kinect传感器的机械臂体感控制，既能完全利用机械臂的工作空间，又能实现对臂型的控制，且保证操作者动作处于自身的舒适范围之内。为实现上述目的，本发明提出的机械臂体感控制方法具体包括步骤如下：

1、获取机械臂关节自由度与人体手臂关节自由度的一一映射；

2、使用Kinect传感器实时提取操作者手臂关节信息，根据操作周期计算操作者手臂关节角增量；

3、对计算得到的关节角增量进行滤波处理，得到机械臂相应关节的关节角并发送给机械臂，控制机械臂运动；

另外，由于使用Kinect传感器采集人体关节点坐标和手势(握拳或张开)已经具有成熟的公开算法，本发明不予陈述。

本发明使用Kinect V2传感器作为体感信息采集工具，使用Window平台的KinectSDK获取数据流。

具体实施方式

第一步：获取机械臂关节与人体手臂关节自由度的一一映射：

这一步的目的是根据机械臂的结构，将操作者的手臂关节自由度与机械臂的关节自由度一一对应起来。

手臂关节有肩关节、肘关节、腕关节，肩关节是一个典型的球关节，具有三个自由度，肘关节可以视为一个转动关节，具有一个自由度，将小臂的自转自由度划为腕关节，可视为腕关节也具有三个自由度。即

表示自由度，见附图1。

本发明仅考虑具有转动关节的串联机械臂，对于n自由度机械臂，从基座开始，根据关节顺序依次向机械臂末端，将机械臂自由度分为

关节自由度对应根据机械臂结构和自由度进行，对于七自由度机械臂，应逐次对应到手臂的七个自由度上，对于少于七自由度的机械臂，应从腕部自由度开始舍弃手臂自由度，取辨识度更大的肩部自由度和肘部自由度与机械臂关节自由度相对应，对高于七自由度的机械臂由于应用较少，不予考虑。即：

第二步：根据操作周期使用Kinect传感器实时提取操作者手臂关节信息：

这一步的目的是获取操作者体感信息，便于下一步计算控制信号。首先介绍一下操作周期和运动周期的概念，本发明提出：

体感操作者手臂状态与被操控机械臂状态之间存在一定的对应关系，在某一时刻，操作者手臂状态为

机械臂状态为

此时操作者所期望的机械臂状态为

为使机械臂达到该状态，操作者手臂状态应从

转变为

则称操作者手臂由

到

的运动过程为第k个操作周期，机械臂由

转变为

的运动过程为第k个运动周期。

这样，操作者操纵机械臂完成任务的过程即可划分为若干个操作周期，机械臂的动作过程依据操作周期划分为若干个运动周期，而操作周期的划分则由操作者决定。

在分析操作者操纵机械臂的过程时，具体分析每一个操作周期即可。

在本发明中，使用Kinect传感器采集操作者手势判断操作周期的开始与结束:操作者由握拳到手张开，五指并拢为操作周期开始的标志，操作者由手张开，五指并拢到握拳为操作周期结束的标志。

Kinect V2传感器能够采集每个用户25个关节，能够采集的关节已由Kinect传感器直接给定。由于本发明使用空间向量法求取操作者手臂关节角度，假设使用右臂进行操作，只需处理的关节包括：脊柱关节、右肩关节、右肘关节、右腕关节及右手掌。

在操作周期开始时，采集操作者手臂关节点坐标，由于关节点坐标都是基于Kinect坐标系的，因此可直接利用空间向量法求得操作者手臂关节角，由于求解方法已经有相应论文发表，本发明不再描述；在操作周期结束时，第二次采集操作者手臂关节角，得到操作周期内的操作者手臂关节角变化量。上一个操作周期结束后到下一个操作周期开始前操作者手臂的动作不会影响到机械臂。

第三步：对采集到的体感数据进行滤波处理，得到机械臂相应关节的控制信号并发送给机械臂，控制机械臂运动：

由于Kinect传感器采集到的信号具有一定的误差，且人体手臂往往无法保持精确的稳定，所以有必要进行滤波处理。

本发明采用两步滤波方法，首先进行参考距离的求取以获取手臂关节之间的参考距离：

在第一个操作周期开始之前，首先进行操作者手臂关节点的数据采集操作以提取有效帧，即使用Kinect传感器采集m帧操作者手部动作的图像，每一帧图像都可以得到一组操作者手臂关节之间的距离值，去除数据中10％最大与最小的距离值，对剩余数据取平均值，得到操作者手臂关节之间的参考距离l_i(i＝1～3)，其中l₁为操作者肩关节到肘关节的距离，l₂为操作者肘关节到腕关节的距离，l₃为操作者腕关节到手掌中心的距离。在m≥300，采集时间在十秒以上时，计算得到的参考距离较为精确。

假设在第k个操作周期：

第一步:

第一步滤波的作用是利用参考距离提取有效帧。在操作周期开始时，即Kienct传感器采集到操作者手势由握拳转为打开时，使用Kinect传感器采集操作者手臂关节坐标，使用空间向量法计算关节点之间的距离L_i(i＝1～3)，当计算的到的距离与参考距离之差均小于给定阈值时，认为该帧为有效帧，反之不是有效帧。提取参考距离与第一步的算法流程见附图2。

第二步：

在操作周期开始时，即Kienct传感器采集到操作者手势由握拳转为打开时，使用Kinect传感器采集视频流中相连三个有效帧中操作者手臂的关节角，记为

如果两有效帧之间的关节角差值大于给定角度阈值(可取五度)，则认为两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为计算的到的关节角θ_begin，算法流程如附图3所示，三帧指三个有效帧之间。至此即可得到θ_begin。

在Kienct检测到操作者手势由张开转化为握拳时，使用Kinect传感器采集视频流中相连三个有效帧中操作者手臂的关节角，记为

表示有效帧数；

如果在两个有效帧之间的关节角差值大于给定角度阈值，则两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为关节角θ_end；

得到该关节角在第k个操作周期的关节角增量Δθ＝θ_end-θ_begin；

最后，获取机械臂当前关节角

将计算出的关节角增量作为机械臂在下一个运动周期的关节角增量，即在下一个运动周期结束时有：

至此，得到机械臂的目标关节角，将目标关节角发送至机械臂控制系统，即可控制机械臂完成运动周期，到达指定位置。

经过多个操作周期与运动周期之后，即可控制机械臂完成相应任务。

Claims (1)

1.一种基于关节角增量的机械臂体感交互控制方法，其特征在于步骤如下：

步骤1：将机械臂关节自由度与人体手臂关节自由度的一一映射：

将手臂关节的肩关节、肘关节、腕关节按照三一三原则分成七个自由度，

i＝1～7表示自由度；

如果是七自由度机械臂，从基座到末端与肩关节至腕关节一一映射：

如果是小于七自由度机械臂，从基座到末端与肩关节至腕关节进行映射，以机械臂的自由度为准；

步骤2、采用Kinect传感器实时提取操作者手臂关节信息，根据操作周期计算操作者手臂关节角增量：

操作者手臂状态为

机械臂状态为

操作者所期望的机械臂状态为

当操作者手臂状态从

转变为

称操作者手臂由

到

的运动过程为第k个操作周期，机械臂由

转变为

的运动过程为第k个运动周期；

在操作周期开始时，Kinect传感器采集到操作者手势由握拳转为打开时，选取Kinect传感器采集视频流中相连的三个有效帧中操作者手臂的关节角，记为

如果在两个有效帧之间的关节角差值大于给定角度阈值，则两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为关节角θ_begin；

在Kinect传感器检测到操作者手势由张开转化为握拳时，使用Kinect传感器采集视频流中相连三个有效帧中操作者手臂的关节角，记为

表示有效帧数；

如果在两个有效帧之间的关节角差值大于给定角度阈值，则两个关节角之间有一个是坏值，舍去，如果没有，则取其平均值作为关节角θ_end；

得到该关节角在第k个操作周期的关节角增量Δθ＝θ_end-θ_begin；

步骤3：设机械臂当前关节角

将计算出的关节角增量作为机械臂在下一个运动周期的关节角增量，在下一个运动周期结束时的机械臂关节角的位置：

将位置信息发送给机械臂，控制机械臂运动。

Images