CN105334964B - 基于电磁理论的力反馈人机交互系统及方法 - Google Patents

Abstract

本发明提出了基于电磁理论的力反馈人机交互系统及方法。系统包括包括体感控制设备、电磁铁、永磁材料手套和计算机。方法包括步骤：（1）通过LeapMotion实时获取人手部的信息，然后将这些信息输送到电脑进行计算；（2）通过获取到的信息，计算出转载着电磁铁的云台的位置；（3）通过获取到的信息，利用麦克斯韦方程组，计算出空间中电磁场的分布以及计算出每个电磁铁电流的大小；（4）计算机把计算后的信息传递给单片机控制中心，单片机根据受到的命令改变云台的转动和每个线圈的电流，产生反的反馈。本发明允许操作者在操作空间内自由运动，通过传感器识别到操作者手的位置，然后通过电磁铁反馈给人手力的感觉。

Description

基于电磁理论的力反馈人机交互系统及方法

技术领域

本发明属于机器人人机交互领域，特别涉及一种基于LeapMotion体感控制器与电磁感应技术的人机交互系统及方法。

背景技术

一个成熟的人机交互系统应该有两个方面的要求:(1)人类能准确地操控机器；(2)机器能及时地把信息反馈给人类。对于鼠标、键盘等旧式交互设备已经能够很好达到这两项要求。但对于LeapMotion的遥操作系统来说，它虽然已经能很好的实现操控机器人的功能，但却缺少信息反馈，这导致机器人在实地处理问题时会遇到各种问题，如：机器人在前进时遇到阻碍、或机器人在移动物体时由于物体重量太大而无法移动。单单通过LeapMotion遥操作系统无法反馈这些信息，这会使操作准确性大幅下降，也会使人机交互的友好性大打折扣。

发明内容

为了改善LeapMotion的交互体验，本发明提出了基于电磁理论的力反馈人机交互系统及方法。

基于电磁理论的力反馈人机交互系统，其特征在于包括体感控制设备、电磁铁、永磁材料手套和计算机，永磁材料手套佩戴在操纵者手上，体感控制设备用于获取人的手部动作信息，电磁铁和永磁材料手套用于向人手反馈信息，计算机则负责处理所述信息以达到协调人机交互过程的功能；该系统将人的手势动作姿势作为控制信息，实现对机器人的控制功能；将非接触力——磁力作为反馈信息，实现机器对人的信息反馈功能。

利用所述系统的基于电磁理论的力反馈人机交互方法：当操纵者手部运动时，所述系统会实时分析手部的运动的轨迹，了解操纵者的意图，从而向机器人发出相应的工作指令；而机器人在工作时，所述系统则会根据机器人的反馈信息，算出手部应受磁力结果，根据该结果，改变改变电磁铁的电流和朝向，从而改变操纵者手部的受力。

进一步地，操纵者移动手部，通过所述系统控制机器人向前运动，机器人在运动过程中遇到障碍物而不能向前时，所述系统会让操纵者得手部感受到一个向后得磁力，使操纵者得手部不能向前运动，实现信息反馈的效果。

本发明与现有技术相比，具有如下优点和技术效果：

输入方式更灵活：传统的键鼠输入方式，操作者通过敲打键盘、鼠标进行信息输入，显得死板。本发明利用手部的手势作为交互的输入方式，摆脱了传统方式死板、固定的缺点，让交互方式更灵活。

1、信息反馈更及时：传统交互方式信息的反馈主要通过显示器进行输出。操作者在与机器交互时，若产生一个错误操作，反馈的信息需要“在显示器显示、再由操控者眼睛观测到，通过神经传到大脑进行思考，最后由大脑控制身体停止错误操作”这样一个漫长的神经反射过程。而本发明选择了力作为反馈信息。操作者在用手势与机器交互时，若产生错误操作、交互的结果直接通过力反馈到手上，阻止错误操作，避免了传统方式漫长的反射过程。

2、信息反馈更全面：本系统利用磁力作为里反馈信息。通过使用四个位置、方向以及电流大小可调控的电磁铁作为磁力产生的装置。由电磁感应定律和力的平行四边形合成法则可知，只要控制好四个电磁铁的电流大小和方向，便可产生任意大小、任意方向的力。因此可以反馈更全面的信息。

3、交互方式更立体：本系统使用手势运动进行输入，用非接触力作为反馈信息，摆脱了传统的平面交互方式，可以实现三维立体交互，使人机交互的方式越来越像人与人交互，能让机器处理的能力越来越像人类靠拢。

附图说明

图1为实例中系统结构图；

图2是电磁铁的局部坐标系(左边)与世界坐标系(右边)。

图3为把电磁铁的坐标系的原点移动到与世界坐标系的原点重合时候的示意图。

图4为电磁铁A的局部坐标系下的位置信息示意图。

图5为永磁铁旋转前示意图

图6为永磁铁旋转后的示意图。

具体实施方式

以下结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。

本实例的系统由平台上的LeapMotion、4块电磁铁以及佩戴在操纵者手上的磁性手套构成。在使用本系统时，当操纵者手部在系统范围内运动时，系统会实时分析手部的运动的轨迹，了解操纵者的意图，从而向机器人发出相应的工作指令。而机器人在工作时，系统则会根据机器人的反馈信息，算出手部应受磁力结果。根据该结果，改变改变电磁铁的电流和朝向，从而改变操纵者手部的受力。例如：操纵者移动手部，通过本系统控制机器人向前运动，机器人在运动过程中遇到障碍物而不能向前时，本系统会让操纵者得手部感受到一个向后得磁力，使操纵者得手部不能向前运动，这样便达到了信息反馈的效果。

通过本系统，可以让操纵者直接、无障碍的操控机器人的工作，也能使操纵者直观的感受到机器人工作状态，了解机器人工作结果，达到人机合一的效果。

本发明提出了一种基于电磁场理论的力反馈人机交互方式，操作者可以在操作空间内自由运动，本系统通过传感器识别到操作者手的位置，然后通过电磁铁反馈给人手力的感觉。系统结构图如图1。

本实例重点说明如何通过实际磁力的大小计算出所需通入电磁铁电流的大小。计算步骤主要为：

S1、电磁铁坐标系的变换；

S2、永磁体位置的变换；

S3、电流的计算。

所述步骤S1包括以下步骤：

定义电磁铁的局部坐标系为x_ly_lz_l(直角坐标系)，世界坐标系为x_gy_gz_g；如图2，左边是电磁铁的局部坐标系，右边是世界坐标系。电磁铁局部坐标系x_ly_lz_l的每一条轴可以看成是世界坐标系x_gy_gz_g中的一个向量，把电磁铁的坐标系的原点移动到与世界坐标系的原点重合的时候，有如图3对应关系。

假设电磁铁局部坐标系的x_l轴所对应的单位向量为A_x，则有A_x＝(x_Ax y_Ax z_Ax)^T，其中x_Ax、x_Ay、x_Az表示A_x在世界坐标系x_gy_gz_g中的分量，T表示矩阵的转置。同理：y_l轴所对应的单位向量为A_y，有A_y＝(x_Ay y_Ay z_Ay)^T，z_l轴所对应的单位向量为A_z，有A_z＝(x_Az y_Az z_Az)^T。

因此每个向量在世界坐标系x_gy_gz_g中的表示方法为：

A_x＝(x_Ax y_Ax z_Ax)^T

A_y＝(x_Ay y_Ay z_Ay)^T (1)

A_z＝(x_Az y_Az z_Az)^T

电磁铁局部坐标系中的任意点向世界坐标系x_gy_gz_g中转换的方法如下：

假设p为电磁铁局部坐标系A下的一个点，则p在世界坐标系下的表达式为：

其中，(x_p y_p z_p)^T为p在电磁铁局部坐标系下的坐标，T_A为平移向量，即世界坐标系原点指向电磁铁局部坐标系原点的向量，(A_x A_y A_z)为局部坐标系的基本单位向量。

电磁铁局部坐标系中的任意向量向世界坐标系x_gy_gz_g中转换方法如下：

假设v为电磁铁局部坐标系A下的一个向量，则v在世界坐标系下的表达式为：

其中，x_v y_v z_v为v在电磁铁局部坐标系各轴上的分量，(A_x A_y A_z)为局部坐标系的基本单位向量。

由于向量A_x A_y A_z相互垂直，内积为0，因此可得出：

其中(A_x A_y A_z)的逆矩阵等于其转置，即(A_x A_y A_z)为正交矩阵；

点p在电磁铁局部坐标系和世界坐标系下的变换公式为：

p_g＝R_Ap_l+T_A

(5)

p_l＝R_A ^T(p_g-T_A)

其中p_g为点p在世界坐标系x_gy_gz_g中的坐标，p_l为点p在局部坐标系x_ly_lz_l中的坐标，R_A为从电磁铁A的局部坐标系到世界坐标系的变换矩阵，即R_A＝(A_x A_y A_z)，T_A为从电磁铁A的局部坐标系到世界坐标系的平移向量。

向量v在电磁铁局部坐标系和世界坐标系下的变换公式为：

v_g＝R_Av_l

(6)

v_l＝R_A ^Tv_g

其中v_g为向量v在世界坐标系x_gy_gz_g中的坐标，v_l为向量v在局部坐标系x_ly_lz_l中的坐标，R_A为从电磁铁A的局部坐标系到世界坐标系的变换矩阵，即R_A＝(A_x A_y A_z)。

根据上述公式(5)、(6)，可把电磁铁统一到同一坐标系下进行计算；

所述步骤S2包括以下步骤：

本发明的反馈的磁力是根据操控者手部位置实时改变的，因此需要将把从LeapMotion获取到的永磁体的位姿信息转换到每块电磁铁的局部坐标系下，进行计算和分析。

对于LeapMotion，可以获取到的数据包括有：(1)手心所在位置H_g，(2)、手心的法向量N_g，(3)、手的方向向量D_g。而对于永磁体，它在空间中的受力可以由磁体的位置，磁体的姿态，电流的大小来确定，所以对于单个电磁铁的情形，磁体的受力可描述为：

其中(x,y,z)为位置参数，为姿态参数，I为电流参数。由于磁体是轴对称的，因此可以减少一个位置参数z，又因为磁体绕自身旋转其磁力变化不大，所以姿态也可以减少一个旋转参数γ，磁体的受力和范围条件分别表示为：

其中(x,y)的单位为厘米，单位为弧度，I单位为安培。

而将LeapMotion获取到的数据有H_g、N_g、D_g。由公式(5)可将H_g从世界坐标系转化到电磁铁局部坐标系下，转化为：

H_l＝R_A ^T(H_g-T_A)＝(x_Hly_Hlz_Hl)^T (9)

由于电磁铁模型为圆柱体，关于他自己的电磁铁坐标系的z轴中心对称，根据对称性可降低一个维度，因此有：

y_A＝z_Hl

根据求解永磁体在电磁铁A的局部坐标系下的位置信息可得图2，

由公式(5)可将D_l N_l L_l从世界坐标系转化到电磁铁局部坐标系下，转化为：

将永磁体绕自身的N轴旋转一定的角度α，使得永磁体的L轴落入(x_A,y_A)平面内，如图6。则旋转后，图形应满足以下3个条件：(1)L轴在(x_A,y_A)平面内，并与(x_A,y_A)的法向量垂直，(2)N轴没有变化(3)L垂直与N。

分析后得，满足条件的旋转角度α有2种，但2种情况结果是一致的，因此选用其中一种进行计算：

(x_A,y_A)平面的法向量为：

A_zA＝A_xA×A_yA

利用A_zA可以求得旋转后的向量坐标：

L_l1＝A_zA×N_l

D_l1＝N_l×L_l1 (13)

N_l1＝N_l

此时，永磁体的DNL轴的位置如图6所示。其中N轴和L轴落入平面之内，D轴垂直于(x_A,y_A)平面，其中虚线箭头表示旋转后的姿态。

通过分析，可得先绕D轴旋转，使得实线所表示的L轴与虚线所表示的L轴重合，设此旋转的角度为θ，然后再绕新的L轴旋转角度使得D轴与虚线的D轴重合，则实线坐标系则与虚线坐标系完全重合。

从旋转的过程可以发现，第一次绕D轴旋转使得L轴与虚线所表示的L轴重合，其转角就是实线L轴与虚线L轴的夹角，而且因为第一次是绕D轴旋转的，所以D轴的位置并没有变化，而第二次绕L轴旋转，就是使得实线D轴与虚线的D轴重合，所以第二次旋转的角度则为实线D轴与虚线D轴的夹角。而且，实线L轴其实就是公式的A_xA，N轴则为公式的-A_yA，D轴则为A_zA，以下用符号<D,N>表示向量D与向量N的夹角，所以可以求得

θ＝<A_xA,L_l1>

(14)

则求解出了永磁体的电磁铁A在局部坐标系下的位姿参数为：

y_A＝z_Hl (15)

θ＝<A_xA,L_l1>

同理可求得，永磁体B、C、D在局部坐标系下的位姿参数。

所述步骤S3包括以下步骤：

假设LeapMotion的内置坐标系为世界坐标系，电磁铁ABCD所对应的变换矩阵和平移向量分别为(R_A T_A)(R_B T_B)(R_C T_C)(R_D T_D)，设每个永磁体的局部坐标系下的位姿信息为：

电磁铁A的电流和磁场力在电磁铁A的x轴下的分量的关系的公式表达为：

其中I_A满足I_m≤I_A≤I_m+1，在此简记F_xAAAAA为F_xA，根据公式则可获取到各自坐标系下的关于电流的电磁力的分段线性函数，记为

假设需要给予永磁体的力为F＝(F_x F_y F_z)^T，根据公式，有：

在此运用高斯消去法求解线性方程组的系数矩阵和增广矩阵的秩，若不相等，则方程无解，若相等，则求解方程。显然，此方程最后的解有以下几种情况

第一种，方程对应的系数矩阵的秩等于3，则方程可表示为

第二种，方程对应的系数矩阵的秩等于2，则方程可表示为

最后一种，方程对应的系数矩阵的秩等于1，则方程可表示为

在此方程(20)、(21)、(22)都是为方程的解。可以看出方程(18)其实对应于I的取值是分段的，即随着I的不同，方程的系数矩阵和增广矩阵是不一致的。

采用枚举的方式计算方程(18)的系数矩阵和增广矩阵，因为I的取值为0 2 4 6 810，所以函数一共分为5段，又因为一共有4块电磁铁，所以在此一共有5⁴＝625种情况。每种情况对应一独立的方程。让方程的解满足各自的取值区间：

满足条件的(24)为方程的解，即为应输入电流的大小。

如上即可较好的实现本发明并取得前述的技术效果。

Claims (4)

1.基于电磁理论的力反馈人机交互系统，其特征在于包括体感控制设备、电磁铁、永磁材料手套和计算机，永磁材料手套佩戴在操纵者手上，体感控制设备用于获取人的手部动作信息，电磁铁和永磁材料手套用于向人手反馈信息，计算机则负责处理所述信息以达到协调人机交互过程的功能；该系统将人的手势动作姿势作为控制信息，实现对机器人的控制功能；将非接触力——磁力作为反馈信息，实现机器对人的信息反馈功能；所述手部动作信息包括手的法向量、方向向量和手心位置。

2.一种利用权利要求1所述系统的基于电磁理论的力反馈人机交互方法，其特征在于当操纵者手部运动时，所述系统会实时分析手部的运动的轨迹，了解操纵者的意图，从而向机器人发出相应的工作指令；而机器人在工作时，所述系统则会根据机器人的反馈信息，算出手部应受磁力结果，根据该结果，改变改变电磁铁的电流和朝向，从而改变操纵者手部的受力。

3.根据权利要求2所述的基于电磁理论的力反馈人机交互方法，其特征在于操纵者移动手部，通过所述系统控制机器人向前运动，机器人在运动过程中遇到障碍物而不能向前时，所述系统会让操纵者得手部感受到一个向后得磁力，使操纵者得手部不能向前运动，实现信息反馈的效果。

4.根据权利要求2所述的基于电磁理论的力反馈人机交互方法，其特征在于所述算出手部应受磁力结果，根据该结果，改变改变电磁铁的电流和朝向具体包括如下步骤：

S1、电磁铁坐标系的变换：

定义电磁铁的局部坐标系为直角坐标系x_ly_lz_l，世界坐标系为x_gy_gz_g；电磁铁局部坐标系x_ly_lz_l的每一条轴可以看成是世界坐标系x_gy_gz_g中的一个向量；

假设电磁铁局部坐标系的x_l轴所对应的单位向量为A_x，则有A_x＝(x_Ax y_Ax z_Ax)^T，其中x_Ax、x_Ay、x_Az表示A_x在世界坐标系x_gy_gz_g中的分量，T表示矩阵的转置；同理：y_l轴所对应的单位向量为A_y，有A_y＝(x_Ay y_Ay z_Ay)^T，z_l轴所对应的单位向量为A_z，有A_z＝(x_Az y_Az z_Az)^T；

因此每个向量在世界坐标系x_gy_gz_g中的表示方法为：

电磁铁局部坐标系中的任意点向世界坐标系x_gy_gz_g中转换的方法如下：

假设p为电磁铁局部坐标系A下的一个点，则p在世界坐标系下的表达式为：

其中，(x_p y_p z_p)^T为p在电磁铁局部坐标系下的坐标，T_A为平移向量，即世界坐标系原点指向电磁铁局部坐标系原点的向量，(A_x A_y A_z)为局部坐标系的基本单位向量；

电磁铁局部坐标系中的任意向量向世界坐标系x_gy_gz_g中转换方法如下：

假设v为电磁铁局部坐标系A下的一个向量，则v在世界坐标系下的表达式为：

其中，x_v y_v z_v为v在电磁铁局部坐标系各轴上的分量，(A_x A_y A_z)为局部坐标系的基本单位向量；

由于向量A_x A_y A_z相互垂直，内积为0，因此可得出：

其中(A_x A_y A_z)的逆矩阵等于其转置，即(A_x A_y A_z)为正交矩阵；

点p在电磁铁局部坐标系和世界坐标系下的变换公式为：

其中p_g为点p在世界坐标系x_gy_gz_g中的坐标，p_l为点p在局部坐标系x_ly_lz_l中的坐标，R_A为从电磁铁A的局部坐标系到世界坐标系的变换矩阵，即R_A＝(A_x A_y A_z)，T_A为从电磁铁A的局部坐标系到世界坐标系的平移向量；

向量v在电磁铁局部坐标系和世界坐标系下的变换公式为：

其中v_g为向量v在世界坐标系x_gy_gz_g中的坐标，v_l为向量v在局部坐标系x_ly_lz_l中的坐标，R_A为从电磁铁A的局部坐标系到世界坐标系的变换矩阵，即R_A＝(A_x A_y A_z)；

根据上述公式(5)、(6)，可把电磁铁统一到同一坐标系下进行计算；

S2、永磁体位置的变换，将把从LeapMotion获取到的永磁体的位姿信息转换到每块电磁铁的局部坐标系下；

对于LeapMotion，可获取到的数据包括有：(1)手心所在位置H_g，(2)、手心的法向量N_g，(3)、手的方向向量D_g；而对于永磁体，它在空间中的受力可以由磁体的位置，磁体的姿态，电流的大小来确定，所以对于单个电磁铁的情形，磁体的受力可描述为：

其中(x,y,z)为位置参数，为姿态参数，I为电流参数；由于磁体是轴对称的，因此可减少一个位置参数z，又因为磁体绕自身旋转其磁力变化不大，所以姿态也可减少一个旋转参数γ，磁体的受力和范围条件分别表示为：

在此限定其工作范围满足

其中(x,y)的单位为厘米，单位为弧度，I单位为安培；

而将LeapMotion获取到的数据有：手心所在位置H_g、手心的法向量N_g、手的方向向量D_g，由公式(5)可将手心所在位置H_g从世界坐标系转化到电磁铁局部坐标系下，转化为：

H_l＝R_A ^T(H_g-T_A)＝(x_Hly_Hlz_Hl)^T (9)

其中H_l为手心位置在电磁铁局部坐标系的表示，R_A为从电磁铁A的局部坐标系到世界坐标系的变换矩阵，T_A为从电磁铁A的局部坐标系到世界坐标系的平移向量；

由于电磁铁模型为圆柱体，关于他自己的电磁铁坐标系的z轴中心对称，根据对称性可降低一个维度，因此有：

由公式(5)可将世界坐标系中的D_g、N_g、L_g转化到电磁铁局部坐标系的表示的D_l、N_l、L_l，转化公式为：

将永磁体绕自身的N轴旋转一定的角度α，使得永磁体的L轴落入(x_A,y_A)平面内，旋转后应满足以下3个条件：(1)L轴在(x_A,y_A)平面内，并与(x_A,y_A)的法向量垂直，(2)N轴没有变化(3)L垂直于N；

(x_A,y_A)平面的法向量为：

利用A_zA可以求得旋转后的向量坐标：

此时，其中N轴和L轴落入平面之内，D轴垂直于(x_A,y_A)平面，通过分析，可得先绕D轴旋转，使得实线所表示的L轴与虚线所表示的L轴重合，设此旋转的角度为θ，然后再绕新的L轴旋转角度使得D轴与虚线的D轴重合，则实线坐标系则与虚线坐标系完全重合；

从旋转的过程可以发现，第一次绕D轴旋转使得L轴与虚线所表示的L轴重合，其转角就是实线L轴与虚线L轴的夹角，而且因为第一次是绕D轴旋转的，所以D轴的位置并没有变化，而第二次绕L轴旋转，就是使得实线D轴与虚线的D轴重合，所以第二次旋转的角度则为实线D轴与虚线D轴的夹角；而且，实线L轴其实就是公式的A_xA，N轴则为公式的-A_yA，D轴则为A_zA，以下用符号<D,N>表示向量D与向量N的夹角，所以可以求得

则求解出了永磁体的电磁铁A在局部坐标系下的位姿参数为：

同理求得永磁体B、C、D在局部坐标系下的位姿参数；

S3、电流的计算，

假设LeapMotion的内置坐标系为世界坐标系，电磁铁有四个，分别为ABCD，所对应的变换矩阵和平移向量分别为(R_A T_A)(R_B T_B)(R_C T_C)(R_D T_D)，设每个永磁体的局部坐标系下的位姿信息为：

电磁铁A的电流和磁场力在电磁铁A的x轴下的分量的关系的公式表达为：

其中I_A满足I_m≤I_A≤I_m+1，在此简记F_xAAAAA为F_xA，根据公式则可获取到各自坐标系下的关于电流的电磁力的分段线性函数，记为

假设需要给予永磁体的力为F＝(F_x F_y F_z)^T，根据公式，有：

在此运用高斯消去法求解线性方程组的系数矩阵和增广矩阵的秩，若不相等，则方程无解，若相等，则求解方程；显然，此方程最后的解有以下几种情况

第一种，方程对应的系数矩阵的秩等于3，则方程可表示为

第二种，方程对应的系数矩阵的秩等于2，则方程可表示为

最后一种，方程对应的系数矩阵的秩等于1，则方程可表示为

在此方程(20)、(21)、(22)都是为方程的解；方程(18)对应于I的取值是分段的，即随着I的不同，方程的系数矩阵和增广矩阵是不一致的；

采用枚举的方式计算方程(18)的系数矩阵和增广矩阵，因为I的取值为0、2、4、6、8、10，所以函数一共分为5段，又因为一共有4块电磁铁，所以在此一共有5⁴＝625种情况；每种情况对应一独立的方程，让方程的解满足各自的取值区间：

满足条件的(24)为方程的解，即为应输入电流的大小。