CN110794969A - 面向非接触力反馈的自然人机交互方法 - Google Patents

面向非接触力反馈的自然人机交互方法 Download PDF

Info

Publication number
CN110794969A
CN110794969A CN201911057165.1A CN201911057165A CN110794969A CN 110794969 A CN110794969 A CN 110794969A CN 201911057165 A CN201911057165 A CN 201911057165A CN 110794969 A CN110794969 A CN 110794969A
Authority
CN
China
Prior art keywords
coordinate system
sensor
human hand
hand
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911057165.1A
Other languages
English (en)
Other versions
CN110794969B (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911057165.1A priority Critical patent/CN110794969B/zh
Publication of CN110794969A publication Critical patent/CN110794969A/zh
Application granted granted Critical
Publication of CN110794969B publication Critical patent/CN110794969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0248—Filters characterised by a particular frequency response or filtering method
    • H03H17/0255—Filters based on statistics
    • H03H17/0257—KALMAN filters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0202—Two or more dimensional filters; Filters for complex signals
    • H03H2017/0205—Kalman filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种面向非接触力反馈的自然人机交互方法。所述方法包括如下步骤：使用运动传感器测量人手并进行坐标配准；根据测量的数据使用区间卡尔曼滤波估计人手的位置和朝向；生成反馈的电磁力并通过人手上的磁铁反馈到人手。本发明使用多个动作传感器合作实时获取操作员手的姿势，使用两个区间卡尔曼滤波器来消除测量误差的影响，本发明使用电磁力反馈机制。本发明可以克服机械力反馈中的摩擦误差，连接累积误差和有限的操作空间等问题。本发明中，操作员不仅可以感受到机器人操纵器的力并获得良好的沉浸感，还可以实时调整操作，使控制更准确可靠。本发明自然友好，适合非专业用户使用。

Description

面向非接触力反馈的自然人机交互方法
技术领域
本发明属于机器人领域，具体涉及一种面向非接触力反馈的自然人机交互方法。
背景技术
近几十年来，随着人工智能的发展，机器人机械手已经取代人类在复杂的非结构化环境中工作。在一些危险的环境中，机器人的使用频率越来越高。因此，需要一种在这种情况下使用机器人机械手执行操作的高效的人-机器人接口。目前，人机界面有很多接触方法。这些方法通常利用机械装置来控制机器人操纵器，例如计算机鼠标，操纵杆，数据手套等。然而，上述方法缺乏力反馈，导致操作者缺乏沉浸感，难以执行高精度任务。而在某些有反馈力的方法中，在力反馈装置中存在的致动动力学中存在摩擦、滞后和非线性，这削弱了相互作用。并且用户的操作空间受到触觉设备的限制。
还有一类人机交互的方法是非接触式的，在这些方法中人手不需要直接与测量设备进行接触，与接触式方法相比，操作更加自然和方便。但是这些方法中也缺乏力反馈，导致沉浸感不足，操作精度有限。同时，基于标记的非接触式方法还可能存在标记被遮挡的问题，使人机交互失效。
发明内容
本发明的目的在于克服现有技术存在的上述不足，提出了面向非接触力反馈的自然人机交互方法，它集成了无标记手势跟踪系统和非接触式电磁力反馈方法，包括一个将操作者手的运动与机器人操作联系起来的无标记手势跟踪系统，它允许操作者进行高精度的任务。
本发明的目的至少通过如下技术方案实现。
面向非接触力反馈的自然人机交互方法，包括如下步骤：
S1、使用运动传感器测量人手并进行坐标配准；
S2、根据测量的数据使用区间卡尔曼滤波估计人手的位置和朝向；
S3、生成反馈的电磁力并通过人手上的磁铁反馈到人手。
进一步地，步骤S1具体包括：
S1.1、将多个运动传感器放置在操作平台上，其中一个运动传感器放置在平台的中心，周围的运动传感器以45度的倾斜角度朝向操作平台中心的运动传感器放置，从而可以扩大底部操作空间；运动传感器自身的坐标系定义为XLYLZL；运动传感器坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面。
S1.2、选择一部分传感器来跟踪操作员在重叠空间中的手，当操作员的手掌进入重叠空间时，采用坐标配准来融合测量数据，以使测量更准确和稳定。
进一步地，步骤S1.2中，使用相关算法将周围传感器的坐标配准到中间传感器的坐标：
[xi，yi，zi]表示周围传感器的坐标系中的某一空间点的坐标，并且该点在中间传感器c的坐标系中的坐标表示为[xc，yc，zc]；两个坐标之间满足以下关系：
Figure BDA0002254599870000021
其中，T是涉及周围传感器坐标系I和中间传感器坐标系C的变换矩阵。
进一步地，步骤S2中，使用区间卡尔曼滤波估计人手的位置包括以下步骤：
S2.1.1、对于手势识别，P(Px，Py，Pz)是世界坐标系中手掌中心的位置，世界坐标系定义为XWYWZW，世界坐标系被设置成与中间传感器的坐标系重合；传感器用于测量手掌掌心在传感器坐标系的X、Y、Z轴上的坐标，因此，P(Px，Py，Pz)由从传感器坐标系到世界坐标系的方向余弦矩阵MH2S即步骤S1.2中的周围传感器坐标系I和中间传感器坐标系C的变换矩阵给出；
S2.1.2、然后，通过以下等式获得世界坐标系下手的加速度：
Figure BDA0002254599870000022
其中
Figure BDA0002254599870000023
分别表示人手在世界坐标系X、Y、Z轴上的加速度；a，b∈(X,Y,Z)，
Figure BDA0002254599870000025
表示周围传感器坐标系的a轴和世界坐标系b轴之间的角度；|g|是局部重力矢量的大小，Ax、Ay、Az是由传感器获得的手掌在传感器坐标系X，Y，Z轴的加速度测量分量；
位置估计时的区间卡尔曼滤波中的位置状态包含k时刻的位置变量、速度变量和加速度变量，为
Figure BDA0002254599870000031
Figure BDA0002254599870000032
表示人手在世界坐标系X、Y、Z轴上的速度；
位置估计时的区间卡尔曼滤波中的状态转移矩阵为
Figure BDA0002254599870000033
Figure BDA0002254599870000034
其中t表示传感器相邻两次测量数据之间的时间间隔。
位置估计时的区间卡尔曼滤波中的系统输入：
Figure BDA0002254599870000035
位置估计时测量矩阵表示为：
Figure BDA0002254599870000036
S2.1.3、最终，根据S2.1.2中确定的区间卡尔曼滤波的参数和区间卡尔曼滤波的求解步骤，由时刻k的人手位置的测量值P(Px，Py，Pz)获得人手的位置估计值Pk(Px,k,Py,k,Pz,k)。
进一步地，步骤S2中，使用区间卡尔曼滤波估计人手的朝向包括以下步骤：
S2.2.1、将时刻k的人手朝向由欧拉角转换成四元数：
Figure BDA0002254599870000041
其中翻滚角φ、俯仰角θ和偏航角ψ分别表示人手沿XL轴、YL轴和ZL轴的旋转，并且四元数组(q0,k,q1,k,q2,k,q3,k)满足
Figure BDA0002254599870000042
时刻k时的人手的朝向即四元数qk(q0,k、q1,k、q2,k、q3,k)在时间t上的微分函数为：
Figure BDA0002254599870000043
ξx、ξy、ξz表示人手绕运动传感器坐标系的X、Y、Z轴旋转的角速度分量；
S2.2.2、人手朝向估计时的区间卡尔曼滤波状态转移矩阵如下：
Figure BDA0002254599870000044
其中Δt是传感器的采样时间间隔；
S2.2.3、因为在人手的运动过程中没有额外的输入来驱动人手的运动，朝向估计时区间卡尔曼滤波中的输入矩阵Γk被定义为零矩阵。
S2.2.4、因为四元数状态由角速度确定，所以可以定义过程噪声矢量：
wk＝[0 0 0 0 wx wy wz]T；
其中wx,wy，wz代表角速度的过程噪声；
S2.2.4、使用校准的陀螺仪检测角速度，则观测矩阵Hk为：
Hk＝[0n×p In×n]；
其中n是角速度矢量的数量，p是四元数的维数；
S2.2.5、根据步骤S2.21～步骤S2.25中确定的区间卡尔曼滤波中需要使用到的参数，获得在时刻k处估计出的人手的朝向即四元数q’k，并对其进行归一化如下：
q’k＝[q'0,k/M q'1,k/M q'2,k/M q'3,k/M]
Figure BDA0002254599870000051
其中q'0,k、q'1,k、q'2,k、q'3,k由区间卡尔曼滤波的计算步骤获得，表示估计出的人手朝向即四元数q’k的四个分量。
进一步地，步骤S3中包括以下步骤：
S3.1、使用力传感器测量机器人受到的力；
S3.2、使用反向传播神经网络(BPNN)来计算用于生成反馈力的电流；
S3.3、使用闭环力控制用于减少来自线圈和磁体的意外影响，使用在电磁铁控制器上开发的传统PID控制器来控制电磁铁的电流强度；
S3.4、然后，电磁控制器调整四个线圈中的电流IA，IB，IC和ID以在磁体和线圈之间产生电磁力。
进一步地，步骤S3.2中，所述反向传播神经网络包括输入层、输出层和两个隐藏层；输入层有六个节点，分配给输入参数即步骤S2中得到的估计的人手的位置Pk(Px,k,Py,k,Pz,k)和预期的力fe(fe,x，fe,y，fe,z)；预期的力fe(fe,x，fe,y，fe,z)来自环境对机器人的力，即力传感器测量所得；输出层包括对应于电流IA，IB，IC和ID的四个节点；两个隐藏层用于改善BPNN的性能。
进一步地，步骤S3.3中，所述电磁控制器被适当地调整，使得电磁控制器不妨碍操作员手部的自由运动，并且电磁铁所产生的磁力fh应当接近预期的力fe。
进一步地，所述相关算法采用最小二乘估计(LSE)，并使用多于三个的非共线点来计算每个坐标系之间的变换矩阵。
本发明相对于现有技术具有如下的优点及效果：
本发明使用多个动作传感器合作实时获取操作员手的姿势。此外，为了更准确和可靠的机器人操作，使用两个区间卡尔曼滤波器来消除测量误差的影响。此外，本发明使用电磁力反馈机制。本发明可以克服机械力反馈中的摩擦误差，连接累积误差和有限的操作空间等问题。四个线圈的中间固定有四个线圈，产生电磁场，操作者可以通过握住磁铁来感受力。通过这种方式，操作员可以感受到机器人操纵器的力并获得良好的沉浸感。操作员可以实时调整操作，使控制更准确可靠。本发明自然友好，适合非专业用户使用。
附图说明
图1是面向非接触力反馈的自然人机交互方法流程图。
具体实施方式
以下结合实施例及附图对本发明的具体实施作进一步详细的描述，但本发明的实施方式不限于此，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现或理解的。
实施例：
面向非接触力反馈的自然人机交互方法，如图1所示，包括如下步骤：
S1、使用运动传感器测量人手并进行坐标配准，具体包括：
S1.1、将多个运动传感器放置在操作平台上，本实施例中，运动传感器采用LeapMotion运动传感器，图中的LM即为Leap Motion，其中一个运动传感器放置在平台的中心，周围的运动传感器以45度的倾斜角度朝向操作平台中心的运动传感器放置，从而可以扩大底部操作空间；运动传感器自身的坐标系定义为XLYLZL；运动传感器坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面。
S1.2、选择一部分传感器来跟踪操作员在重叠空间中的手，当操作员的手掌进入重叠空间时，采用坐标配准来融合测量数据，以使测量更准确和稳定。
步骤S1.2中，使用相关算法将周围传感器的坐标配准到中间传感器的坐标：
所述相关算法采用最小二乘估计(LSE)，并使用多于三个的非共线点来计算每个坐标系之间的变换矩阵。
[xi，yi，zi]表示周围传感器的坐标系中的某一空间点的坐标，并且该点在中间传感器c的坐标系中的坐标表示为[xc，yc，zc]；两个坐标之间满足以下关系：
Figure BDA0002254599870000061
其中，T是涉及周围传感器坐标系I和中间传感器坐标系C的变换矩阵。
S2、根据测量的数据使用区间卡尔曼滤波估计人手的位置和朝向；
步骤S2中，使用区间卡尔曼滤波估计人手的位置包括以下步骤：
S2.1.1、对于手势识别，P(Px，Py，Pz)是世界坐标系中手掌中心的位置，世界坐标系定义为XWYWZW，世界坐标系被设置成与中间传感器的坐标系重合；传感器用于测量手掌掌心在传感器坐标系的X、Y、Z轴上的坐标，因此，P(Px，Py，Pz)由从传感器坐标系到世界坐标系的方向余弦矩阵MH2S即步骤S1.2中的周围传感器坐标系I和中间传感器坐标系C的变换矩阵给出；
S2.1.2、然后，通过以下等式获得世界坐标系下手的加速度：
Figure BDA0002254599870000071
其中分别表示人手在世界坐标系X、Y、Z轴上的加速度；a，b∈(X,Y,Z)，
Figure BDA0002254599870000074
表示周围传感器坐标系的a轴和世界坐标系b轴之间的角度；|g|是局部重力矢量的大小，Ax、Ay、Az是由传感器获得的手掌在传感器坐标系X，Y，Z轴的加速度测量分量；
位置估计时的区间卡尔曼滤波中的位置状态
Figure BDA0002254599870000075
包含k时刻的位置变量、速度变量和加速度变量，为
Figure BDA0002254599870000076
Figure BDA0002254599870000077
表示人手在世界坐标系X、Y、Z轴上的速度；
位置估计时的区间卡尔曼滤波中的状态转移矩阵为
Figure BDA0002254599870000078
Figure BDA0002254599870000079
其中t表示传感器相邻两次测量数据之间的时间间隔。
因为系统没有额外的输入驱动人手运动，所以位置估计时的区间卡尔曼滤波中的系统输入：
Figure BDA0002254599870000081
位置估计时测量矩阵表示为：
S2.1.3、最终，根据S2.1.2中确定的区间卡尔曼滤波的参数和区间卡尔曼滤波的求解步骤，由时刻k的人手位置的测量值P(Px，Py，Pz)获得人手的位置估计值Pk(Px,k,Py,k,Pz,k)。
步骤S2中，使用区间卡尔曼滤波估计人手的朝向包括以下步骤：
S2.2.1、将时刻k的人手朝向由欧拉角转换成四元数：
Figure BDA0002254599870000083
其中翻滚角φ、俯仰角θ和偏航角ψ分别表示人手沿XL轴、YL轴和ZL轴的旋转，并且四元数组(q0,k,q1,k,q2,k,q3,k)满足
Figure BDA0002254599870000084
时刻k时的人手的朝向即四元数qk(q0,k、q1,k、q2,k、q3,k)在时间t上的微分函数为：
Figure BDA0002254599870000085
ξx、ξy、ξz表示人手绕运动传感器坐标系的X、Y、Z轴旋转的角速度分量；
S2.2.2、人手朝向估计时的区间卡尔曼滤波状态转移矩阵如下：
其中Δt是传感器的采样时间间隔；
S2.2.3、因为在人手的运动过程中没有额外的输入来驱动人手的运动，朝向估计时区间卡尔曼滤波中的输入矩阵Γk被定义为零矩阵。
S2.2.4、因为四元数状态由角速度确定，所以可以定义过程噪声矢量：
wk＝[0 0 0 0 wx wy wz]T；
其中wx,wy，wz代表角速度的过程噪声；
S2.2.4、使用校准的陀螺仪检测角速度，则观测矩阵Hk为：
Hk＝[0n×p In×n]；
其中n是角速度矢量的数量，p是四元数的维数；
S2.2.5、根据步骤S2.21～步骤S2.25中确定的区间卡尔曼滤波中需要使用到的参数，获得在时刻k处估计出的人手的朝向即四元数q’k，并对其进行归一化如下：
q’k＝[q'0,k/M q'1,k/M q'2,k/M q'3,k/M]
Figure BDA0002254599870000092
其中q'0,k、q'1,k、q'2,k、q'3,k由区间卡尔曼滤波的计算步骤获得，表示估计出的人手朝向即四元数q’k的四个分量。
S3、生成反馈的电磁力并通过人手上的磁铁反馈到人手，包括以下步骤：
S3.1、使用力传感器测量机器人受到的力；
S3.2、使用反向传播神经网络(BPNN)来计算用于生成反馈力的电流；
所述反向传播神经网络包括输入层、输出层和两个隐藏层；输入层有六个节点，分配给输入参数即步骤S2中得到的估计的人手的位置Pk(Px,k,Py,k,Pz,k)和预期的力fe(fe,x，fe,y，fe,z)；预期的力fe(fe,x，fe,y，fe,z)来自环境对机器人的力，即力传感器测量所得；输出层包括对应于电流IA，IB，IC和ID的四个节点；两个隐藏层用于改善BPNN的性能。
S3.3、使用闭环力控制用于减少来自线圈和磁体的意外影响，例如重力和固有的相互作用力，使用在电磁铁控制器上开发的传统PID控制器来控制电磁铁中的电流强度。
所述电磁控制器被适当地调整，使得电磁控制器不妨碍操作员手部的自由运动，并且电磁铁所产生的磁力fh应当接近预期的力fe。
S3.4、然后，电磁控制器调整四个线圈中的电流IA，IB，IC和ID以在磁体和线圈之间产生电磁力。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.面向非接触力反馈的自然人机交互方法，其特征在于，包括如下步骤：
S1、使用运动传感器测量人手并进行坐标配准；
S2、根据测量的数据使用区间卡尔曼滤波估计人手的位置和朝向；
S3、生成反馈的电磁力并通过人手上的磁铁反馈到人手。
2.根据权利要求1所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S1具体包括：
S1.1、将多个运动传感器放置在操作平台上，其中一个运动传感器放置在平台的中心，周围的运动传感器以45度的倾斜角度朝向操作平台中心的运动传感器放置，运动传感器坐标系定义为XLYLZL；运动传感器坐标系的原点为它的几何中心；运动传感器的三个坐标轴定义如下：XL正方向沿着设备的较长边并与接线口朝向相反，YL正方向垂直于传感器正面向外，ZL垂直于XL-YL平面；
S1.2、选择一部分传感器来跟踪操作员在重叠空间中的手，当操作员的手掌进入重叠空间时，采用坐标配准来融合测量数据，以使测量更准确和稳定。
3.根据权利要求2所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S1.2中，使用相关算法将周围传感器的坐标配准到中间传感器的坐标：
[xi，yi，zi]表示周围传感器的坐标系中的某一空间点的坐标，并且该点在中间传感器c的坐标系中的坐标表示为[xc，yc，zc]；两个坐标之间满足以下关系：
其中，T是涉及周围传感器坐标系I和中间传感器坐标系C的变换矩阵。
4.根据权利要求1所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S2中，使用区间卡尔曼滤波估计人手的位置包括以下步骤：
S2.1.1、对于手势识别，P(Px，Py，Pz)是世界坐标系中手掌中心的位置，世界坐标系定义为XWYWZW，世界坐标系被设置成与中间传感器的坐标系重合；传感器用于测量手掌掌心在传感器坐标系的X、Y、Z轴上的坐标，因此，P(Px，Py，Pz)由从传感器坐标系到世界坐标系的方向余弦矩阵MH2S即步骤S1.2中的周围传感器坐标系I和中间传感器坐标系C的变换矩阵给出；
S2.1.2、然后，通过以下等式获得世界坐标系下手的加速度：
Figure FDA0002254599860000021
其中
Figure FDA0002254599860000022
分别表示人手在世界坐标系X、Y、Z轴上的加速度；
Figure FDA0002254599860000023
a，b∈(X,Y,Z)，
Figure FDA0002254599860000024
表示周围传感器坐标系的a轴和世界坐标系b轴之间的角度；|g|是局部重力矢量的大小，Ax、Ay、Az是由传感器获得的手掌在传感器坐标系X，Y，Z轴的加速度测量分量；
位置估计时的区间卡尔曼滤波中的位置状态
Figure FDA0002254599860000025
包含k时刻的位置变量、速度变量和加速度变量，为
Figure FDA0002254599860000026
Vz W表示人手在世界坐标系X、Y、Z轴上的速度；
位置估计时的区间卡尔曼滤波中的状态转移矩阵为
Figure FDA0002254599860000028
Figure FDA0002254599860000029
其中t表示传感器相邻两次测量数据之间的时间间隔；
位置估计时的区间卡尔曼滤波中的系统输入：
Figure FDA00022545998600000210
位置估计时测量矩阵表示为：
Figure FDA0002254599860000031
S2.1.3、最终，根据S2.1.2中确定的区间卡尔曼滤波的参数和区间卡尔曼滤波的求解步骤，由时刻k的人手位置的测量值P(Px，Py，Pz)获得人手的位置估计值Pk(Px,k,Py,k,Pz,k)。
5.根据权利要求1所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S2中，使用区间卡尔曼滤波估计人手的朝向包括以下步骤：
S2.2.1、将时刻k的人手朝向由欧拉角转换成四元数：
Figure FDA0002254599860000032
其中翻滚角φ、俯仰角θ和偏航角ψ分别表示人手沿XL轴、YL轴和ZL轴的旋转，并且四元数组(q0,k,q1,k,q2,k,q3,k)满足
Figure FDA0002254599860000033
时刻k时的人手的朝向即四元数q0,k、q1,k、q2,k、q3,k在时间t上的微分函数为：
Figure FDA0002254599860000034
ξx、ξy、ξz表示人手绕运动传感器坐标系的X、Y、Z轴旋转的角速度分量；
S2.2.2、人手朝向估计时的区间卡尔曼滤波状态转移矩阵如下：
其中Δt是传感器的采样时间间隔；
S2.2.3、因为在人手的运动过程中没有额外的输入来驱动人手的运动，朝向估计时区间卡尔曼滤波中的输入矩阵Γk被定义为零矩阵；
S2.2.4、因为四元数状态由角速度确定，定义过程噪声矢量：
wk＝[0 0 0 0 wx wy wz]T；
其中wx,wy，wz代表角速度的过程噪声；
S2.2.4、使用校准的陀螺仪检测角速度，则观测矩阵Hk为：
Hk＝[0n×p In×n]；
其中n是角速度矢量的数量，p是四元数的维数；
S2.2.5、根据步骤S2.21～步骤S2.25中确定的区间卡尔曼滤波中需要使用到的参数，获得在时刻k处估计出的人手的朝向即四元数q’k，并对其进行归一化如下：
q’k＝[q'0,k/M q'1,k/M q'2,k/M q'3,k/M]
Figure FDA0002254599860000042
其中q'0,k、q'1,k、q'2,k、q'3,k由区间卡尔曼滤波的计算步骤获得，表示估计出的人手朝向即四元数q’k的四个分量。
6.根据权利要求1所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S3中包括以下步骤：
S3.1、使用力传感器测量机器人受到的力；
S3.2、使用反向传播神经网络(BPNN)来计算用于生成反馈力的电流；
S3.3、使用闭环力控制用于减少来自线圈和磁体的意外影响，使用在电磁铁控制器上开发的传统PID控制器来控制电磁铁的电流强度；
S3.4、然后，电磁控制器调整四个线圈中的电流IA，IB，IC和ID以在磁体和线圈之间产生电磁力。
7.根据权利要求6所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S3.2中，所述反向传播神经网络包括输入层、输出层和两个隐藏层；输入层有六个节点，分配给输入参数即步骤S2中得到的估计的人手的位置Pk(Px,k,Py,k,Pz,k)和预期的力fe(fe,x，fe,y，fe,z)；预期的力fe(fe,x，fe,y，fe,z)来自环境对机器人的力，即力传感器测量所得；输出层包括对应于电流IA，IB，IC和ID的四个节点；两个隐藏层用于改善BPNN的性能。
8.根据权利要求6所述的面向非接触力反馈的自然人机交互方法，其特征在于，步骤S3.3中，所述电磁控制器被适当地调整，使得电磁控制器不妨碍操作员手部的自由运动，并且电磁铁所产生的磁力fh应当接近预期的力fe。
9.根据权利要求3所述的面向非接触力反馈的自然人机交互方法，其特征在于，所述相关算法采用最小二乘估计(LSE)，并使用多于三个的非共线点来计算每个坐标系之间的变换矩阵。
CN201911057165.1A 2019-10-30 2019-10-30 面向非接触力反馈的自然人机交互方法 Active CN110794969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911057165.1A CN110794969B (zh) 2019-10-30 2019-10-30 面向非接触力反馈的自然人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911057165.1A CN110794969B (zh) 2019-10-30 2019-10-30 面向非接触力反馈的自然人机交互方法

Publications (2)

Publication Number Publication Date
CN110794969A true CN110794969A (zh) 2020-02-14
CN110794969B CN110794969B (zh) 2023-05-23

Family

ID=69442467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911057165.1A Active CN110794969B (zh) 2019-10-30 2019-10-30 面向非接触力反馈的自然人机交互方法

Country Status (1)

Country Link
CN (1) CN110794969B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111438499A (zh) * 2020-03-30 2020-07-24 华南理工大学 一种基于5g+工业ar的使用无约束力反馈的装配方法
CN111897421A (zh) * 2020-07-14 2020-11-06 武汉大学 一种电磁式触觉再现系统、方法及磁场预测控制方法
CN113281700A (zh) * 2021-04-20 2021-08-20 宜宾学院 一种无线电磁定位系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137761A (zh) * 2015-09-28 2015-12-09 武汉大学 三线圈姿态可调的电磁力反馈装置及其姿态计算与电流智能控制方法
CN105334964A (zh) * 2015-11-01 2016-02-17 华南理工大学 基于电磁理论的力反馈人机交互系统及方法
CN108406725A (zh) * 2018-02-09 2018-08-17 华南理工大学 基于电磁理论与移动跟踪的力反馈人机交互系统及方法
US20180356227A1 (en) * 2017-06-08 2018-12-13 Haechitech Corporation Method and apparatus for calculation of angular velocity using acceleration sensor and geomagnetic sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137761A (zh) * 2015-09-28 2015-12-09 武汉大学 三线圈姿态可调的电磁力反馈装置及其姿态计算与电流智能控制方法
CN105334964A (zh) * 2015-11-01 2016-02-17 华南理工大学 基于电磁理论的力反馈人机交互系统及方法
US20180356227A1 (en) * 2017-06-08 2018-12-13 Haechitech Corporation Method and apparatus for calculation of angular velocity using acceleration sensor and geomagnetic sensor
CN108406725A (zh) * 2018-02-09 2018-08-17 华南理工大学 基于电磁理论与移动跟踪的力反馈人机交互系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟唐宇;浦剑涛;方建军;梁岚珍;: "姿态解算与外力加速度同步估计算法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111438499A (zh) * 2020-03-30 2020-07-24 华南理工大学 一种基于5g+工业ar的使用无约束力反馈的装配方法
CN111897421A (zh) * 2020-07-14 2020-11-06 武汉大学 一种电磁式触觉再现系统、方法及磁场预测控制方法
CN113281700A (zh) * 2021-04-20 2021-08-20 宜宾学院 一种无线电磁定位系统及方法
CN113281700B (zh) * 2021-04-20 2023-10-31 宜宾学院 一种无线电磁定位系统及方法

Also Published As

Publication number Publication date
CN110794969B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Chen et al. Tracking control of robot manipulators with unknown models: A jacobian-matrix-adaption method
Park et al. Compliance-based robotic peg-in-hole assembly strategy without force feedback
Li et al. Reinforcement learning of manipulation and grasping using dynamical movement primitives for a humanoidlike mobile manipulator
Xu et al. Underwater dynamic visual servoing for a soft robot arm with online distortion correction
Xiao et al. Sensor-based hybrid position/force control of a robot manipulator in an uncalibrated environment
Vu et al. A new 6-DOF haptic device for teleoperation of 6-DOF serial robots
Chang et al. Sensor glove based on novel inertial sensor fusion control algorithm for 3-D real-time hand gestures measurements
Du et al. Human–manipulator interface based on multisensory process via Kalman filters
CN110794969B (zh) 面向非接触力反馈的自然人机交互方法
JP2019010713A (ja) ハンド制御装置、ハンド制御方法、およびハンドのシミュレーション装置
JP2007030054A (ja) ロボット装置
WO2010103399A1 (en) Robot apparatus and control method therefor
Musić et al. Human–robot team interaction through wearable haptics for cooperative manipulation
Lepora et al. Pose-based tactile servoing: Controlled soft touch using deep learning
EP1795315A1 (en) Hand-held control device for an industrial robot
Katsumata et al. Optimal exciting motion for fast robot identification. Application to contact painting tasks with estimated external forces
Li et al. Integrating vision, haptics and proprioception into a feedback controller for in-hand manipulation of unknown objects
Schreiber et al. Interactive redundant robotics: Control of the inverted pendulum with nullspace motion
Du et al. Natural human–robot interface using adaptive tracking system with the unscented Kalman filter
Du et al. A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter
Peers et al. Development of a Teleoperative Quadrupedal Manipulator​
Liang et al. A gesture-based natural human–robot interaction interface with unrestricted force feedback
Falck et al. DE VITO: A dual-arm, high degree-of-freedom, lightweight, inexpensive, passive upper-limb exoskeleton for robot teleoperation
Du et al. Natural human–machine interface with gesture tracking and cartesian platform for contactless electromagnetic force feedback
Tan et al. Uncalibrated and unmodeled image-based visual servoing of robot manipulators using zeroing neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant