CN110666796A - 带可调电磁力反馈的自然人机交互方法 - Google Patents

带可调电磁力反馈的自然人机交互方法 Download PDF

Info

Publication number
CN110666796A
CN110666796A CN201910940311.9A CN201910940311A CN110666796A CN 110666796 A CN110666796 A CN 110666796A CN 201910940311 A CN201910940311 A CN 201910940311A CN 110666796 A CN110666796 A CN 110666796A
Authority
CN
China
Prior art keywords
coordinate system
hand
end effector
axis
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910940311.9A
Other languages
English (en)
Other versions
CN110666796B (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910940311.9A priority Critical patent/CN110666796B/zh
Publication of CN110666796A publication Critical patent/CN110666796A/zh
Application granted granted Critical
Publication of CN110666796B publication Critical patent/CN110666796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种带可调电磁力反馈的自然人机交互方法。所述方法包括以下步骤：首先建立整个框架涉及到的坐标系系统，确定坐标系之间的转换关系；使用两个Leap Motion运动传感器测量带噪声的人手的位置和方向数据，分别使用间隔卡尔曼滤波和改进粒子滤波进行处理，然后发送给机器人，用于控制机器人运动；当机器人末端与周围的环境发生接触时，操作平台通过电磁力向操作员提供力反馈；本发明使用了无标记的机器人控制方法，提出了一种非接触力反馈的可行方法，使得操作员可以更自然、更精确地控制机器人运动。

Description

带可调电磁力反馈的自然人机交互方法
技术领域
本发明属于人机交互领域，特别涉及一种带可调电磁力反馈的自然人机交互方法。
背景技术
在许多恶劣的非结构化的环境中，通常由操作员控制机器人来完成作业。为了保证操作过程中的精度和安全性，开发出一种高性能的人机交互界面至关重要。
人机交互是一个双向过程，不仅包括将操作员的操作指令发送给机器人，还包括将机器人感知到的信息反馈给操作员。
目前已经有不少人机交互的方法被提了出来，但是都存在一些缺点需要进一步提高。其中一类属于接触式的方法，主要是通过操作杆、数据手套、鼠标等机械设备控制机器人。但是这类方法会限制手的运动，而且力反馈装置有摩擦、滞后和非线性等缺点。操作员还经常需要做出一些不自然的操作动作，导致交互效率很低。另一大类方法属于非接触式的方法，可以细分成带标记和无标记两种。基于标记的方法在操作员的身上贴上一些物理标记，通过标记追踪人体的运动，然后将人的运动映射到机器人上。这种方法虽然对操作员运动的限制小，但是存在标记被遮挡的问题，会导致无法追踪到人体运动，造成操作事故。更好的解决方案是无标记的方法，无标记的方法可以避免标记遮挡问题，因为它不需要借助任何标记就可以追踪人体的运动。但是这种方法通常无法向操作员提供力反馈，导致操作员无法感知到机器人的受力情况，操作精度不高。高性能的人机交互方法应该兼顾操作自然和反馈充足的特点，保证操作的精度和效率。
发明内容
本发明的目的在于克服现有技术存在的上述不足，提出了带可调电磁力反馈的自然人机交互方法。本发明使用Leap Motion测量人手的位置和方向，在通过滤波器进行降噪处理后，用于控制机器人末端执行器的位姿。周围环境对机器人施加的力通过电磁力来反馈给操作员。同时在操作过程中，操作平台跟踪人手的运动，使人手一直处于Leap Motion的高精度测量区域。
本发明的目的至少通过如下技术方案之一实现。
可调节电磁力反馈的自然人机交互方法，包括如下步骤：
S1、首先建立整个框架涉及到的坐标系系统，确定坐标系之间的转换关系；
S2、使用两个运动传感器测量带噪声的人手的位置和方向数据并进行处理，然后将处理后的数据发送给机器人，用于控制机器人运动；
S3、当机器人末端与周围的环境发生接触时，操作平台通过电磁力向操作员提供力反馈。
进一步地，步骤S1中，所述框架使用了一个笛卡尔平台，在平台的末端执行器上固定安装了两个运动传感器和一个电磁铁，平台上有三条互相垂直的滑轨，一条代表X轴，一条代表Y轴，一条代表Z轴；其中滑轨Y是固定在平台上的，滑轨X的一端安装在滑轨Y上，使得滑轨X沿着滑轨Y平移；滑轨Z的一端安装在滑轨X上，使得滑轨Z沿着滑轨X平移；末端执行器安装在滑轨Z上，使得末端执行器沿着滑轨Z平移；最终实现末端执行器在三维空间中运动。
进一步地，单个运动传感器的测量空间是一个锥体，其锥角、高度和底部半径分别为89.5°、550mm和550mm；采用两个相反的运动传感器以倾斜45°朝着平台末端执行器的方向放置，用于扩大操作空间以及避免磁场对运动传感器的干扰；两个运动传感器的测量空间有重叠的部分，当人手处于这一重叠空间时，两个运动传感器传感器获得的数据被融合，以提高测量的精度；这部分重叠的空间也称为高精度测量区域。
进一步地，所述框架中，人手坐标系定义为XHYHZH，世界坐标系定义为XWYWZW；运动传感器坐标系定义为XLYLZL；
运动传感器坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面；
人手坐标系以人手掌心为原点，人手坐标系三个坐标轴定义如下：YH正方向垂直于手背向上，中指的指向为XH的正方向，ZH垂直于XH-YH平面；
世界坐标系以平台的左上角点为原点，ZW正方向竖直向上，与重力方向相反；XW正方向从平台左上角指向平台右上角，YW垂直于ZW-XW平面；
根据运动传感器和平台末端执行器之间的固定的相对位置以及根据末端执行器在平台上的相对位置，得到运动传感器坐标系XLYLZL和世界坐标系XWYWZW之间的转换矩阵；人手坐标系XHYHZH和运动传感器坐标系XLYLZL之间的关系通过运动传感器测量得到。
进一步地，步骤S2具体包括以下步骤：
S2.1、使用运动传感器测量出运动传感器坐标系下的人手的位置、速度、加速度和方向、角速度；
S2.2、由于测量数据通常带有噪声，需要对其进行降噪处理。因此，随后使用间隔卡尔曼滤波(IKF)从测量数据中估算人手的位置，使用改进粒子滤波(IPF)从测量数据中估算人手的方向；
S2.3、在通过IKF和IPF估算出人手的运动，即估算出人手的位置变化和方向变化后，映射成机器人末端执行器应该执行的运动，计算出机器人各个关节需要转动的角度，随后作为控制指令发送给机器人，实现在不使用任何标记的情况下用手控制机器人进行运动。
进一步地，步骤S2.1中，在方向测量中，运动传感器测量在运动传感器坐标系XLYLZL下的人手方向，包括翻滚角φ、俯仰角θ和偏航角ψ以及人手绕各个轴旋转的角速度(ωx,ωy,ωz)，翻滚角φ、俯仰角θ和偏航角ψ分别表示人手沿XL轴、YL轴和ZL轴的旋转；在位置测量中，运动传感器直接测量人手的位置(px,py,pz)、速度(Vx,Vy,Vz)和加速度(Ax,Ay,Az)。
进一步地，步骤S2.2中，在方向估算中，使用有限旋转上的欧拉定力，可以将欧拉角转换成四元数：
并且四元组(q0,q1,q2,q3)满足：
Figure BDA0002222687760000032
对于每一个粒子，在时刻tk，它的方向状态
Figure BDA0002222687760000033
满足：
Figure BDA0002222687760000034
其中
Figure BDA0002222687760000035
表示四元组的四个组成分量，下标k表示时刻tk，i表示第i个粒子。
根据测量出的角速度数据，粒子在tk+1时刻的方向状态可以由下式计算：
Figure BDA0002222687760000041
其中t表示两次采样的间隔时间，ωa,k,a∈(x,y,z)表示沿a轴的角速度分量；
在位置估算中，将时刻tk的第i个粒子的位置状态定义为
Figure BDA0002222687760000042
其中
Figure BDA0002222687760000043
分别表示第i个粒子在世界坐标系下沿X轴的位置和速度的估算值，
Figure BDA0002222687760000044
表示在人手坐标系下沿X轴的加速度估算值，
Figure BDA0002222687760000045
Figure BDA0002222687760000046
分别表示第i个粒子在世界坐标系下沿Y轴的位置和速度的估算值，
Figure BDA0002222687760000047
表示在人手坐标系下沿Y轴的加速度估算值，分别表示第i个粒子在世界坐标系下沿Z轴的位置和速度的估算值，
Figure BDA0002222687760000049
表示在人手坐标系下沿Z轴的加速度估算值；
把人手坐标系到Leap Motion坐标系的旋转矩阵定义为:
Figure BDA00022226877600000410
其中
Figure BDA00022226877600000411
a，b∈(X,Y,Z),
Figure BDA00022226877600000412
表示人手坐标系下的a轴和运动传感器坐标系下的b轴之间的角度。
将人手坐标系下的加速度转换到世界坐标系下的加速度表达式为:
Figure BDA00022226877600000413
其中gl表示重力加速度；
Figure BDA00022226877600000414
表示人手在世界坐标系X轴上的加速度；
Figure BDA00022226877600000415
表示人手在世界坐标系Y轴上的加速度；
Figure BDA00022226877600000416
表示人手在世界坐标系Z轴上的加速度；Ax表示人手在自身坐标系下X轴上的加速度；Ay表示人手在自身坐标系下Y轴上的加速度；Az表示人手在自身坐标系下Z轴上的加速度。
因此，状态转移矩阵可以表示为：
考虑到重力加速度的影响，系统的输入矩阵可以表示为：
Figure BDA0002222687760000053
其中，
Figure BDA0002222687760000054
表示输入常值矩阵，uk-1表示输入序列。
因为Leap Motion可以直接测量位置、速度和加速度，所以测量矩阵表示为：
Figure BDA0002222687760000055
当旋转矩阵的误差大时，加速度的计算值误差也很大。因此使用计算出来的第i个粒子的位置和通过Kalman滤波估算出来的位置之间的累计位置差距来决定每个粒子的权重，定义为：
Figure BDA0002222687760000056
其中
Figure BDA0002222687760000057
表示累计位置差距，为使用Kalman滤波估算出来的第i个粒子在每个轴上的位置，它使用了加速度而不是位置测量值，APDis的值越小，代表粒子的准确度越高；然后将世界坐标系下的人手的运动等比例的映射成机器人末端执行器的运动。
进一步地，步骤S2.3中，机器人的各个关节需要转动的角度通过机器人逆运动学方法计算。
进一步地，步骤S3中，利用电磁技术向人的手部提供力反馈，使操作员可以感受到机器人所受到的力；
人的手掌上穿戴一块小磁铁，同时一个电磁铁被安装在平台末端执行器上，可以跟着末端执行器一起运动；电磁反馈力通过改变电磁铁与人手之间的距离和电磁铁中的电流强度来进行调节；
通过反向传播神经网络(BPNN)计算为人手提供期望的反馈力、电磁铁需要的位移和电流强度；反向传播神经网络的结构为“6-14-8-4”；反向传播神经网络包括两层隐藏层，分别有14个和8个节点；反向传播神经网络的输入层有6个节点，输入的数据包括人手的位置估算值P(px,py,pz)和环境对机器人末端执行器的力fe(fe,x,fe,y,fe,z)(px，py，pz分别表示人手在世界坐标系X，Y，Z轴上的位置，fe,x，fe,y，fe,z分别表示环境对机器人末端执行器施加的力在末端坐标系的X，Y，Z轴上的分量)；输出层有4个节点，输出包括电磁铁中的电流大小I和电磁铁的位移D(dx,dy,dz)；反向传播神经网络中，用于训练和测试网络的样本通过闭环控制生成，利用传统的PID控制器产生每份样本的I和D，PID的输入为P和fe；
在反向传播神经网络网络训练完成后，当机器人末端执行器与周围环境发生了接触时，首先机器人末端执行器上的三自由度力传感器测量出环境对机器人施加的力，然后测量的力和当前人手的位置P被送到BPNN反向传播神经网络的输入端，经网络计算后，输出端输出位移D和电流I，最后将电磁铁移动到相应的位置并提供相应的电流，使得人手就可以感觉到与机器人受力相同的力反馈。该方法增强了操作员的沉浸感，不仅可以提高操作员控制机器人的精度，还可以避免由于环境与机器人之间的碰撞而造成机器人或者工件损坏。
进一步地，通过测量人手的位置实现在操作过程中平台末端执行器一直随着操作员的手部一起运动，保证了手一直处在两个运动传感器工作范围的重叠区域内，即高精度测量区域，在确保控制精度的同时扩大了操作员的工作空间；
平台末端执行器的运动速度表示为：
Figure BDA0002222687760000061
γ是相关系数，D是平台末端执行器应该移动的距离，τ代表阈值；当D>τ时，说明操作员的手即将离开Leap Motion的高精度测量区域，平台末端执行器要跟踪人手的运动；而D≤τ说明手还处于高精度区域内，平台末端执行器保持静止；为了减少平台末端执行器运动时的抖动，平滑其运动轨迹，对平台末端执行器移动距离使用均值滤波进行处理；对平台末端执行器在X，Y，Z轴上的速度分量和位移分量，分别使用PID控制。
本发明相对于现有技术具有如下的优点及效果：
1.本发明使用无标记的方法检测操作员的手部运动，不需要操作员佩戴传感器或者物理标记，侵入性小。操作员可以自然地完成交互，适合长时间作业。不需要大量专业的设备操作知识，适用于非专家用户。
2.本发明利用电磁力来提供力反馈，可以克服机械力反馈中的摩擦误差、连接累积误差、操作空间有限等缺点。操作员可以感知机器人的受力情况，提高了操作的沉浸感和准确度。
3.本发明允许操作平台自动地追踪人手的运动，使人手一直处于高精度区域。在保证操作精度的同时扩大了操作员的操作空间。
附图说明
图1是本发明实施例中带可调电磁力反馈的自然人机交互方法的流程图。
图2是本发明实施例中所建立框架的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并举实施例，对本发明具体实施进行详细说明。
目前已经有不少人机交互的方法被提了出来，但是都存在一些缺点需要进一步提高。其中一类属于接触式的方法，主要是通过操作杆、数据手套、鼠标等机械设备控制机器人。但是这类方法会限制手的运动，而且力反馈装置有摩擦、滞后和非线性等缺点。操作员还经常需要做出一些不自然的操作动作，导致交互效率很低。另一大类方法属于非接触式的方法，可以细分成带标记和无标记两种。基于标记的方法在操作员的身上贴上一些物理标记，通过标记追踪人体的运动，然后将人的运动映射到机器人上。这种方法虽然对操作员运动的限制小，但是存在标记被遮挡的问题，会导致无法追踪到人体运动，造成操作事故。更好的解决方案是无标记的方法，无标记的方法可以避免标记遮挡问题，因为它不需要借助任何标记就可以追踪人体的运动。但是这种方法通常无法向操作员提供力反馈，导致操作员无法感知到机器人的受力情况，操作精度不高。高性能的人机交互方法应该兼顾操作自然和反馈充足的特点，保证操作的精度和效率。
为了解决上述现有技术存在的问题，本发明提出了一种新的带可调电磁力反馈的自然人机交互方法。使用Leap Motion 2测量人手的位置和方向，在通过滤波器的降噪处理后，用于控制机器人末端执行器的位姿。当机器人与环境发生接触时，机器人的受力情况通过电磁力来反馈给操作员。同时在操作过程中，操作平台跟踪人手1的运动，使人手1一直处于Leap Motion 2的高精度测量区域。
实施例：
本实施例中，运动传感器采用Leap Motion。
可调节电磁力反馈的自然人机交互方法，如图1所示，包括如下步骤：
S1、首先建立整个框架涉及到的坐标系系统，确定坐标系之间的转换关系；
如图2所示，所述框架使用了一个笛卡尔平台6，在平台的末端执行器4上固定安装了两个Leap Motion2和一个电磁铁3，平台6上有三条互相垂直的滑轨，一条代表X轴，一条代表Y轴，一条代表Z轴。其中滑轨Y5-1是固定在平台6上的，滑轨X5-2的一端安装在滑轨Y5-1上，可以沿着滑轨Y5-1平移，滑轨Z5-3的一端安装在滑轨X5-2上可以沿着滑轨X5-2平移，末端执行器4安装在滑轨Z5-3上，可以沿着滑轨Z5-3平移。因此末端执行器4可以在三维空间中运动。
进一步地，单个Leap Motion 2的测量空间是一个锥体，其锥角、高度和底部半径分别为89.5°、550mm和550mm；如图2所示，采用两个相反的Leap Motion 2以倾斜45°朝着平台末端执行器4的方向放置，用于扩大操作空间以及避免磁场对Leap Motion 2的干扰；两个Leap Motion 2的测量空间有重叠的部分，当人手1处于这一重叠空间时，两个LeapMotion 2传感器获得的数据被融合，以提高测量的精度；这部分重叠的空间也称为高精度测量区域。
如图2所示，所述建立的框架中，人手坐标系定义为XHYHZH，世界坐标系定义为XWYWZW；Leap Motion坐标系定义为XLYLZL；
Leap Motion坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面；
人手坐标系以人手掌心为原点，人手坐标系三个坐标轴定义如下：YH正方向垂直于手背向上，中指的指向为XH的正方向，ZH垂直于XH-YH平面；
世界坐标系以平台6的左上角点为原点，ZW正方向竖直向上，与重力方向相反；XW正方向从平台左上角指向平台右上角，YW垂直于ZW-XW平面；
根据Leap Motion 2和平台末端执行器4之间的固定的相对位置以及根据末端执行器4在平台6上的相对位置，得到Leap Motion坐标系XLYLZL和世界坐标系XWYWZW之间的转换矩阵；人手坐标系XHYHZH和Leap Motion坐标系XLYLZL之间的关系通过Leap Motion测量得到。
S2、使用两个Leap Motion运动传感器2测量带噪声的人手的位置和方向数据并进行处理，然后将处理后的数据发送给机器人，用于控制机器人运动；具体包括以下步骤：
S2.1、使用Leap Motion 2测量出Leap Motion坐标系下的人手1的位置、速度、加速度和方向、角速度。
S2.2、由于测量数据通常带有噪声，需要对其进行降噪处理。因此，随后使用间隔卡尔曼滤波(IKF)从测量数据中估算人手1的位置，使用改进粒子滤波(IPF)从测量数据中估算人手1的方向；
S2.3、在通过IKF和IPF估算出人手1的运动，即估算出人手1的位置变化和方向变化后，映射成机器人末端执行器应该执行的运动，计算出机器人各个关节需要转动的角度，随后作为控制指令发送给机器人，实现在不使用任何标记的情况下用手控制机器人进行运动。
进一步地，步骤S2.1中，在方向测量中，Leap Motion 2测量在Leap Motion坐标系XHYHZH下的人手方向，包括翻滚角φ、俯仰角θ和偏航角ψ；它们分别表示人手1沿XL轴，YL轴，ZL轴的旋转；还要测量人手1绕各个轴旋转的角速度(ωx,ωy,ωz)；在位置测量中，运动传感器2直接测量人手的位置(px,py,pz)、速度(Vx,Vy,Vz)和加速度(Ax,Ay,Az)。
进一步地，步骤S2.2中，在方向估算中，使用有限旋转上的欧拉定力，可以将欧拉角转换成四元数：
Figure BDA0002222687760000091
并且四元组(q0,q1,q2,q3)满足：
Figure BDA0002222687760000092
对于每一个粒子，在时刻tk，它的方向状态
Figure BDA0002222687760000093
满足：
Figure BDA0002222687760000094
其中
Figure BDA0002222687760000101
表示四元组的四个组成分量，下标k表示时刻tk，i表示第i个粒子。
根据测量出的角速度数据，粒子在tk+1时刻的方向状态可以由下式计算：
Figure BDA0002222687760000102
其中t表示两次采样的间隔时间，ωa,k,a∈(x,y,z)表示沿a轴的角速度分量；
在位置估算中，将时刻tk的第i个粒子的位置状态定义为
Figure BDA0002222687760000103
其中
Figure BDA0002222687760000104
分别表示第i个粒子在世界坐标系下沿X轴的位置和速度的估算值，
Figure BDA0002222687760000105
表示在人手坐标系下沿X轴的加速度估算值，
Figure BDA0002222687760000106
Figure BDA0002222687760000107
分别表示第i个粒子在世界坐标系下沿Y轴的位置和速度的估算值，
Figure BDA0002222687760000108
表示在人手坐标系下沿Y轴的加速度估算值，分别表示第i个粒子在世界坐标系下沿Z轴的位置和速度的估算值，
Figure BDA00022226877600001010
表示在人手坐标系下沿Z轴的加速度估算值；
把人手坐标系到Leap Motion坐标系的旋转矩阵定义为:
Figure BDA00022226877600001011
其中
Figure BDA00022226877600001012
a，b∈(X,Y,Z),
Figure BDA00022226877600001013
表示人手坐标系下的a轴和运动传感器坐标系下的b轴之间的角度。
将人手坐标系下的加速度转换到世界坐标系下的加速度表达式为:
其中gl表示重力加速度；
Figure BDA0002222687760000111
表示人手1在世界坐标系X轴上的加速度；
Figure BDA0002222687760000112
表示人手1在世界坐标系Y轴上的加速度；
Figure BDA0002222687760000113
表示人手1在世界坐标系Z轴上的加速度；Ax表示人手1在自身坐标系下X轴上的加速度；Ay表示人手1在自身坐标系下Y轴上的加速度；Az表示人手1在自身坐标系下Z轴上的加速度。
因此，状态转移矩阵
Figure BDA0002222687760000114
可以表示为：
考虑到重力加速度的影响，系统的输入矩阵可以表示为：
Figure BDA0002222687760000116
其中，表示输入常值矩阵，uk-1表示输入序列。
因为Leap Motion 2可以直接测量位置、速度和加速度，所以测量矩阵表示为：
Figure BDA0002222687760000118
当旋转矩阵的误差大时，加速度的计算值误差也很大。因此使用计算出来的第i个粒子的位置和通过Kalman滤波估算出来的位置之间的累计位置差距来决定每个粒子的权重，定义为：
Figure BDA0002222687760000121
其中
Figure BDA0002222687760000122
表示累计位置差距，
Figure BDA0002222687760000123
为使用Kalman滤波估算出来的第i个粒子在每个轴上的位置，它使用了加速度而不是位置测量值，
Figure BDA0002222687760000124
的值越小，代表粒子的准确度越高；然后将世界坐标系下的人手的运动等比例的映射成机器人末端执行器的运动
进一步地，步骤S2.3中，机器人的各个关节需要转动的角度通过机器人逆运动学方法计算。
S3、当机器人末端与周围的环境发生接触时，操作平台通过电磁力向操作员提供力反馈。
其中，利用电磁技术向人的手部1提供力反馈，使操作员可以感受到机器人所受到的力；
如图2所示，人的手掌1上穿戴一块小磁铁7，同时一个电磁铁3被安装在平台末端执行器上，可以跟着末端执行器4一起运动；电磁反馈力通过改变电磁铁3与人手1之间的距离和电磁铁3中的电流强度来进行调节；
通过反向传播神经网络(BPNN)计算为人手1提供期望的反馈力、电磁铁3需要的位移和电流强度；反向传播神经网络的结构为“6-14-8-4”；反向传播神经网络包括两层隐藏层，分别有14个和8个节点；反向传播神经网络的输入层有6个节点，输入的数据包括人手1的位置估算值P(px,py,pz)和环境对机器人末端执行器的力fe(fe,x,fe,y,fe,z)(px，py，pz分别表示人手在世界坐标系下X，Y，Z轴上的位置，fe,x，fe,y，fe,z分别表示环境对机器人末端执行器施加的力在末端坐标系的X，Y，Z轴上的分量)；输出层有4个节点，输出包括电磁铁3中的电流大小I和电磁铁3的位移D(dx,dy,dz)；反向传播神经网络中，用于训练和测试网络的样本通过闭环控制生成，利用传统的PID控制器产生每份样本的I和D，PID的输入为P和fe；
在反向传播神经网络网络训练完成后，当机器人末端执行器与周围环境发生了接触时，首先机器人末端执行器上的三自由度力传感器测量出环境对机器人施加的力，然后测量的力和当前人手1的位置P被送到BPNN反向传播神经网络的输入端，经网络计算后，输出端输出位移D和电流I，最后将电磁铁3移动到相应的位置并提供相应的电流，使得人手1就可以感觉到与机器人受力相同的力反馈。该方法增强了操作员的沉浸感，不仅可以提高操作员控制机器人的精度，还可以避免由于环境与机器人之间的碰撞而造成机器人或者工件损坏。
进一步地，在操作过程中，通过测量出的人手位置，使平台末端执行器4一直随着操作员的手部一起运动，保证了手一直处在两个Leap Motion 2工作范围的重叠区域内，即高精度测量区域，在确保控制精度的同时扩大了操作员的工作空间；
平台末端执行器4的运动速度表示为：
Figure BDA0002222687760000131
γ是相关系数，D是平台末端执行器4应该移动的距离，τ代表阈值；当D>τ时，说明操作员的手1即将离开Leap Motion 2的高精度测量区域，平台末端执行器4要跟踪人手的1运动；而D≤τ说明手1还处于高精度区域内，平台末端执行器4保持静止；为了减少平台末端执行器4运动时的抖动，平滑其运动轨迹，对平台末端执行器4移动距离使用均值滤波进行处理；对平台末端执行器4在X，Y，Z轴上的速度分量和位移分量，分别使用PID控制。

Claims (10)

1.带可调节电磁力反馈的自然人机交互方法，其特征在于，包括如下步骤：
S1、首先建立整个框架涉及到的坐标系系统，确定坐标系之间的转换关系；
S2、使用两个运动传感器测量带噪声的人手的位置和方向数据并进行处理，然后将处理后的数据发送给机器人，用于控制机器人运动；
S3、当机器人末端与周围的环境发生接触时，操作平台通过电磁力向操作员提供力反馈。
2.根据权利要求1所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S1中，所述框架使用了一个笛卡尔平台，在平台的末端执行器上固定安装了两个运动传感器和一个电磁铁，平台上有三条互相垂直的滑轨，一条代表X轴，一条代表Y轴，一条代表Z轴；其中滑轨Y是固定在平台上的，滑轨X的一端安装在滑轨Y上，使得滑轨X沿着滑轨Y平移；滑轨Z的一端安装在滑轨X上，使得滑轨Z沿着滑轨X平移；末端执行器安装在滑轨Z上，使得末端执行器沿着滑轨Z平移；最终实现末端执行器在三维空间中运动。
3.根据权利要求2所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，采用两个相反的运动传感器以倾斜45°朝着平台末端执行器的方向放置，用于扩大操作空间以及避免磁场对运动传感器的干扰；两个运动传感器的测量空间有重叠的部分，当人手处于这一重叠空间时，两个运动传感器传感器获得的数据被融合，以提高测量的精度；这部分重叠的空间也称为高精度测量区域。
4.根据权利要求2所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，所述框架中，人手坐标系定义为XHYHZH，世界坐标系定义为XWYWZW；运动传感器坐标系定义为XLYLZL；
运动传感器坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面；
人手坐标系以人手掌心为原点，人手坐标系三个坐标轴定义如下：YH正方向垂直于手背向上，中指的指向为XH的正方向，ZH垂直于XH-YH平面；
世界坐标系以平台的左上角点为原点，ZW正方向竖直向上，与重力方向相反；XW正方向从平台左上角指向平台右上角，YW垂直于ZW-XW平面；
根据运动传感器和平台末端执行器之间的固定的相对位置以及根据末端执行器在平台上的相对位置，得到运动传感器坐标系XLYLZL和世界坐标系XWYWZW之间的转换矩阵；人手坐标系XHYHZH和运动传感器坐标系XLYLZL之间的关系通过运动传感器测量得到。
5.根据权利要求1所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S2具体包括以下步骤：
S2.1、使用运动传感器测量出运动传感器坐标系下的人手的位置、速度、加速度和方向、角速度；
S2.2、使用间隔卡尔曼滤波(IKF)从测量数据中估算人手的位置，使用改进粒子滤波(IPF)从测量数据中估算人手的方向；
S2.3、在通过IKF和IPF估算出人手的运动，即估算出人手的位置变化和方向变化后，映射成机器人末端执行器应该执行的运动，计算出机器人各个关节需要转动的角度，随后作为控制指令发送给机器人，实现在不使用任何标记的情况下用手控制机器人进行运动。
6.根据权利要求5所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S2.1中，在方向测量中，运动传感器测量在运动传感器坐标系XLYLZL下的人手方向，包括翻滚角φ、俯仰角θ和偏航角ψ以及人手绕各个轴旋转的角速度(ωx,ωy,ωz)，翻滚角φ、俯仰角θ和偏航角ψ分别表示人手沿XL轴、YL轴和ZL轴的旋转；在位置测量中，运动传感器直接测量人手的位置(px,py,pz)、速度(Vx,Vy,Vz)和加速度(Ax,Ay,Az)。
7.根据权利要求5所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S2.2中，在方向估算中，使用有限旋转上的欧拉定理，将欧拉角转换成四元数：
Figure FDA0002222687750000021
并且四元组(q0,q1,q2,q3)满足：
对于每一个粒子，在时刻tk，它的方向状态
Figure FDA0002222687750000023
满足：
Figure FDA0002222687750000024
其中
Figure FDA0002222687750000025
表示四元组的四个组成分量，下标k表示时刻tk，i表示第i个粒子；
根据测量出的角速度数据，粒子在tk+1时刻的方向状态由下式计算：
Figure FDA0002222687750000031
其中t表示两次采样的间隔时间，ωa,k,a∈(x,y,z)表示沿a轴的角速度分量；
在位置估算中，将时刻tk的第i个粒子的位置状态定义为
Figure FDA0002222687750000032
其中分别表示第i个粒子在世界坐标系下沿X轴的位置和速度的估算值，
Figure FDA0002222687750000034
表示在人手坐标系下沿X轴的加速度估算值，
Figure FDA0002222687750000035
分别表示第i个粒子在世界坐标系下沿Y轴的位置和速度的估算值，
Figure FDA0002222687750000037
表示在人手坐标系下沿Y轴的加速度估算值，
Figure FDA0002222687750000038
分别表示第i个粒子在世界坐标系下沿Z轴的位置和速度的估算值，表示在人手坐标系下沿Z轴的加速度估算值；
把人手坐标系到Leap Motion坐标系的旋转矩阵定义为:
Figure FDA00022226877500000310
其中a，b∈(X,Y,Z),表示人手坐标系下的a轴和运动传感器坐标系下的b轴之间的角度；
将人手坐标系下的加速度转换到世界坐标系下的加速度表达式为:
Figure FDA00022226877500000313
其中gl表示重力加速度；
Figure FDA00022226877500000314
表示人手在世界坐标系X轴上的加速度；表示人手在世界坐标系Y轴上的加速度；
Figure FDA00022226877500000316
表示人手在世界坐标系Z轴上的加速度；Ax表示人手在自身坐标系下X轴上的加速度；Ay表示人手在自身坐标系下Y轴上的加速度；Az表示人手在自身坐标系下Z轴上的加速度；
因此，状态转移矩阵Φi表示为：
Figure FDA0002222687750000041
系统的输入矩阵表示为：
Figure FDA0002222687750000042
其中，
Figure FDA0002222687750000043
表示输入常值矩阵，uk-1表示输入序列；
测量矩阵表示为：
Figure FDA0002222687750000044
使用计算出来的第i个粒子的位置和通过Kalman滤波估算出来的位置之间的累计位置差距来决定每个粒子的权重，定义为：
Figure FDA0002222687750000045
其中
Figure FDA0002222687750000046
表示累计位置差距，
Figure FDA0002222687750000047
为使用Kalman滤波估算出来的第i个粒子在每个轴上的位置，
Figure FDA0002222687750000051
的值越小，代表粒子的准确度越高；然后将世界坐标系下的人手的运动等比例的映射成机器人末端执行器的运动。
8.根据权利要求5所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S2.3中，机器人的各个关节需要转动的角度通过机器人逆运动学方法计算。
9.根据权利要求1所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，步骤S3中，利用电磁技术向人的手部提供力反馈，使操作员感受到机器人所受到的力；
人的手掌上穿戴一块小磁铁，同时一个电磁铁被安装在平台末端执行器上，跟着末端执行器一起运动；电磁反馈力通过改变电磁铁与人手之间的距离和电磁铁中的电流强度来进行调节；
通过反向传播神经网络(BPNN)计算为人手提供期望的反馈力、电磁铁需要的位移和电流强度；反向传播神经网络包括两层隐藏层，分别有14个和8个节点；反向传播神经网络的输入层有6个节点，输入的数据包括人手的位置估算值P(px,py,pz)和环境对机器人末端执行器的力fe(fe,x,fe,y,fe,z)；px，py，pz分别表示人手在世界坐标系X，Y，Z轴上的位置，fe,x，fe,y，fe,z分别表示环境对机器人末端执行器施加的力在末端坐标系的X，Y，Z轴上的分量；反向传播神经网络的输出层有4个节点，输出包括电磁铁中的电流大小I和电磁铁的位移D(dx,dy,dz)；反向传播神经网络中，用于训练和测试网络的样本通过闭环控制生成，利用传统的PID控制器产生每份样本的I和D，PID的输入为P和fe；
在反向传播神经网络网络训练完成后，当机器人末端执行器与周围环境发生了接触时，首先机器人末端执行器上的三自由度力传感器测量出环境对机器人施加的力，然后测量的力和当前人手的位置P被送到反向传播神经网络的输入端，经网络计算后，输出端输出位移D和电流I，最后将电磁铁移动到相应的位置并提供相应的电流，使得人手感觉到与机器人受力相同的力反馈。
10.根据权利要求1所述的带可调节电磁力反馈的自然人机交互方法，其特征在于，通过测量人手的位置实现在操作过程中平台末端执行器一直随着操作员的手部一起运动，保证了手一直处在两个运动传感器工作范围的重叠区域内，即高精度测量区域，在确保控制精度的同时扩大操作员的工作空间；
平台末端执行器的运动速度表示为：
γ是相关系数，D是平台末端执行器应该移动的距离，τ代表阈值；当D>τ时，说明操作员的手即将离开Leap Motion的高精度测量区域，平台末端执行器要跟踪人手的运动；而D≤τ说明手还处于高精度区域内，平台末端执行器保持静止；为了减少平台末端执行器运动时的抖动，平滑其运动轨迹，对平台末端执行器移动距离使用均值滤波进行处理；对平台末端执行器在X，Y，Z轴上的速度分量和位移分量，分别使用PID控制。
CN201910940311.9A 2019-09-30 2019-09-30 带可调电磁力反馈的自然人机交互方法 Expired - Fee Related CN110666796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940311.9A CN110666796B (zh) 2019-09-30 2019-09-30 带可调电磁力反馈的自然人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940311.9A CN110666796B (zh) 2019-09-30 2019-09-30 带可调电磁力反馈的自然人机交互方法

Publications (2)

Publication Number Publication Date
CN110666796A true CN110666796A (zh) 2020-01-10
CN110666796B CN110666796B (zh) 2022-11-18

Family

ID=69080421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940311.9A Expired - Fee Related CN110666796B (zh) 2019-09-30 2019-09-30 带可调电磁力反馈的自然人机交互方法

Country Status (1)

Country Link
CN (1) CN110666796B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334964A (zh) * 2015-11-01 2016-02-17 华南理工大学 基于电磁理论的力反馈人机交互系统及方法
US20160332305A1 (en) * 2013-12-06 2016-11-17 Commissariat Á L'Énergie Ato-Mique Et Aux Énergies Alternatives Control device with multidirectional force feedback
CN106826781A (zh) * 2017-03-16 2017-06-13 北京星和众工设备技术股份有限公司 坐标机器人
CN108406725A (zh) * 2018-02-09 2018-08-17 华南理工大学 基于电磁理论与移动跟踪的力反馈人机交互系统及方法
CN109521868A (zh) * 2018-09-18 2019-03-26 华南理工大学 一种基于增强现实与移动交互的虚拟装配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160332305A1 (en) * 2013-12-06 2016-11-17 Commissariat Á L'Énergie Ato-Mique Et Aux Énergies Alternatives Control device with multidirectional force feedback
CN105334964A (zh) * 2015-11-01 2016-02-17 华南理工大学 基于电磁理论的力反馈人机交互系统及方法
CN106826781A (zh) * 2017-03-16 2017-06-13 北京星和众工设备技术股份有限公司 坐标机器人
CN108406725A (zh) * 2018-02-09 2018-08-17 华南理工大学 基于电磁理论与移动跟踪的力反馈人机交互系统及方法
CN109521868A (zh) * 2018-09-18 2019-03-26 华南理工大学 一种基于增强现实与移动交互的虚拟装配方法

Also Published As

Publication number Publication date
CN110666796B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
Xiao et al. Sensor-based hybrid position/force control of a robot manipulator in an uncalibrated environment
JP4595727B2 (ja) 外力推定システム及び外力推定方法、並びにコンピュータ・プログラム
Du et al. Human–manipulator interface based on multisensory process via Kalman filters
CN110815258B (zh) 基于电磁力反馈和增强现实的机器人遥操作系统和方法
Xu et al. Visual-haptic aid teleoperation based on 3-D environment modeling and updating
CN112060085B (zh) 一种基于视触多尺度定位的机器人操作位姿控制方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
KR20220080070A (ko) 발자국 접촉 검출
Li et al. Integrating vision, haptics and proprioception into a feedback controller for in-hand manipulation of unknown objects
CN110794969B (zh) 面向非接触力反馈的自然人机交互方法
US20230278214A1 (en) Robot localization using variance sampling
Ahmad et al. Shape recovery from robot contour-tracking with force feedback
Dean-Leon et al. From multi-modal tactile signals to a compliant control
Du et al. Natural human–robot interface using adaptive tracking system with the unscented Kalman filter
WO2023037634A1 (ja) 指令値生成装置、方法、及びプログラム
Du et al. A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter
Chen et al. A human–robot interface for mobile manipulator
CN116107212A (zh) 一种基于切换策略的空中作业机器人力位混合控制方法
Parga et al. Tele-manipulation of robot arm with smartphone
CN110666796B (zh) 带可调电磁力反馈的自然人机交互方法
Du et al. A novel natural mobile human-machine interaction method with augmented reality
CN104564913A (zh) 并联六自由度转台液压控制系统
Kobayashi et al. Motion capture with inertial measurement units for hand/arm robot teleoperation
CN116945154A (zh) 机械臂的控制方法、装置、设备及存储介质
Zhang et al. A markerless human-manipulators interface using multi-sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221118