CN111796679B - 一种远程电磁触觉再现系统、磁场生成及触觉预测方法 - Google Patents

一种远程电磁触觉再现系统、磁场生成及触觉预测方法 Download PDF

Info

Publication number
CN111796679B
CN111796679B CN202010563512.4A CN202010563512A CN111796679B CN 111796679 B CN111796679 B CN 111796679B CN 202010563512 A CN202010563512 A CN 202010563512A CN 111796679 B CN111796679 B CN 111796679B
Authority
CN
China
Prior art keywords
data
iron core
current
magnetic field
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010563512.4A
Other languages
English (en)
Other versions
CN111796679A (zh
Inventor
袁志勇
李潇洒
赵俭辉
袁帅英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010563512.4A priority Critical patent/CN111796679B/zh
Publication of CN111796679A publication Critical patent/CN111796679A/zh
Application granted granted Critical
Publication of CN111796679B publication Critical patent/CN111796679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种远程电磁触觉再现系统、磁场生成及触觉预测方法，系统包括本地端、远程端和边缘学习平台；本地端包括本地磁性操作杆、电磁触觉再现装置和定位设备；远程端包括操作机器人、远程操作杆和触觉传感器；本地端、远程端均配置有边缘学习平台，用于本地端设备和远程端设备控制、触觉传感器数据采集、数据收发与缓存、信号处理、计算；本地端、远程端之间通过网络连接通信。本发明提出了一种磁场生成方法，用于控制铁芯线圈产生磁场；此外本发明还提供了一种触觉预测方法，根据操作信息和历史触觉数据对当前触觉反馈进行在线预测。本发明能够进行动态准确的触觉生成，而且触觉数据的在线预测误差较小，保证了远程触觉通信的稳定性。

Description

一种远程电磁触觉再现系统、磁场生成及触觉预测方法
技术领域
本发明属于虚拟现实技术领域，涉及一种远程的电磁触觉再现系统、磁场生成及触觉预测方法，特别涉及一种利用机器学习技术，构建基于解耦和PID神经网络来控制磁场生成，以及利用监督式的双向LSTM网络对远程触觉通信数据进行预测，来实现动态、准确、稳定的远程触觉再现的系统、磁场生成及触觉预测方法。
背景技术
作为一种双向交互式的虚拟现实服务，远程触觉再现是在5G技术中的高可靠低延时通信场景中构建触觉互联网的基础([文献1])。它通过有线或无线方式将远程端的触觉信息传输到操作端，并借助触觉装置来跨区域进行实时虚拟触觉再现，能够允许用户对无法触及或者危险环境中的对象进行感知和操作。完整而准确地再现远程操作中的触觉反馈，能够在一定程度上修正视觉信息的偏差([文献2])，辅助用户完成更加精细的操作过程，提高远程操作的交互性、沉浸感和想象空间。然而，现有的远程触觉再现系统通常使用the Geomagic Touch X等机械式触觉装置来进行触觉反馈。机械连杆的存在，限制了触觉再现的操作空间和响应频率，并且机械摩擦也影响着触觉生成的准确度([文献3])。此外，受到网络延迟、延迟抖动、丢包和链路可用带宽资源可获性的影响，不稳定的触觉数据通信将极大降低本地触觉再现的沉浸感，增加远端操作的失误频率和完成时间，减低其作业效能([文献4])。
在电磁触觉装置上，Berkelman等人([文献5])最先使用电磁线圈阵列和包含永磁体的操作杆来进行触觉感知，能够在在一定范围内生成几牛顿大小的全方向转矩力。Qianqian Tong等人([文献6])通过对线圈电流的控制来调整空间磁场的强度，来实现虚拟软组织刚度的精确感知，并通过多方面的定性实验证明了电磁式触觉比起机械式触觉具有更好地沉浸感。Alaa Adel([文献7])等人设计了一种用于指尖磁力反馈的电磁触觉接口，结合操作杆的位置信息，在三维物体识别上的准确率可达66.8％。
上述的电磁式触觉装置通常是面向静态触觉感知的，然而远程触觉交互是一个动态的双向交互应用。在交互过程中，随着操作杆的运动，生成磁场也需要实时变化。这要求电磁式触觉装置不仅要控制线圈电流生成，也需要对整个线圈阵列的磁场进行监视。根据线圈阵列的磁场生成过程设计合理的磁场生成算法，是动态精确地产生电磁触觉的关键。
在触觉预测上，Carlo等人([文献8])最先引入了触觉反馈预测的概念，并用于半自动机器人的二维轨迹整形。Nicolo等人([文献9])将概念扩展到六自由度机械手的共享控制，通过触觉预测来验证人为操作是否符合系统约束，从而保证远程核废料处理的安全性。
上述触觉预测算法仅仅考虑到当前触觉反馈受历史触觉反馈的影响。实际上，双向交互过程中的触觉反馈不仅与交互对象的动力学模型相关，也和使用者的操作相关。本发明综合操作杆的运动信息和历史触觉数据对当前时刻的触觉反馈进行准确预测，以保证稳定的远程触觉通信。
参考文献：
[文献1]:A.Aijaz,M.Dohler,A.H.Aghvami,V.Friderikos,and M.Frodigh,“Realizing the tactile internet:Haptic communications over next generation5gcellular networks,”IEEE Wireless Communications,vol.24,no.2,pp.82–89,2016.
[文献2]:M.O.Ernst and M.S.Banks,“Humans integrate visual andhapticinformation in a statistically optimal fashion,”Nature,vol.415,no.6870,pp.429–433,2002.
[文献3]:Q.Tong,Z.Yuan,X.Liao,M.Zheng,T.Yuan,and J.Zhao,“Magneticlevitation haptic augmentation for virtual tissue stiffnessperception,”IEEE transactions on visualization and computer graphics,vol.24,no.12,pp.3123–3136,2017.
[文献4]:M.Rank,Z.Shi,H.J.Müller,and S.Hirche,“Predictivecommunicationquality control in haptic teleoperation with time delay andpacket loss,”IEEE Transactions on Human-Machine Systems,vol.46,no.4,pp.581–592,2016.
[文献5]:P.Berkelman,M.Miyasaka,and J.Anderson,“Co-located 3dgraphicand haptic display using electromagnetic levitation,”in HapticsSymposium(HAPTICS),2012IEEE.IEEE,2012,pp.77–81.
[文献6]:Q.Tong,Z.Yuan,M.Zheng,W.Zhu,G.Zhang,and X.Liao,“Anovelmagnetic levitation haptic device for augmentation of tissuestiffnessperception,”in Proceedings of the 22nd ACM Conference onVirtualReality Software and Technology.ACM,2016,pp.143–152.
[文献7]:A.Adel,M.M.Micheal,M.A.Self,S.Abdennadher,and I.S.Khalil,“Rendering of virtual volumetric shapes using an electromagneticbased hapticinterface,”in 2018IEEE/RSJ International Conference onIntelligent Robots andSystems(IROS).IEEE,2018,pp.1–9.
[文献8]:C.Masone,P.R.Giordano,H.H.Bülthoff,and A.Franchi,“Semiautonomous trajectory generation for mobile robots with integralhapticshared control,”in 2014IEEE International Conference on RoboticsandAutomation(ICRA).IEEE,2014,pp.6468–6475.
[文献9]:N.Pedemonte,F.Abi-Farraj,and P.R.Giordano,“Visual-basedsharedcontrol for remote telemanipulation with integral haptic feedback,”in2017IEEE International Conference on Robotics and Automation(ICRA).IEEE,2017,pp.5342–5349.
发明内容
针对远程触觉再现中现有触觉装置难以产生逼真的力反馈的问题，本发明使用一种包含三个铁芯线圈和磁性操作杆的电磁触觉装置进行触觉再现，分析了装置的电流生成和磁场生成过程，并提出了一种结合解耦和PID神经网络的双闭环控制算法来实现快速准确的磁场生成。此外，针对远程触觉通信易受网络延迟和丢包等问题的影响，本发明提出了一种基于可监督双向LSTM的触觉预测算法，根据操作杆的运动数据和历史触觉数据对当前缺失的触觉反馈数据进行在线预测。磁场生成算法和触觉预测算法均运行在边缘学习平台上，以保证远程触觉在线服务的可持续性。
本发明的系统所采用的技术方案是：一种远程电磁触觉再现系统，其特征在于：包括本地端、远程端和边缘学习平台；
所述本地端包括本地磁性操作杆、电磁触觉再现装置和定位设备；所述远程端包括操作机器人、远程操作杆和触觉传感器；
所述本地端、远程端均配置有边缘学习平台，所述边缘学习平台用于本地端设备和远程端设备控制、触觉传感器数据采集、数据收发与缓存、信号处理、计算；
所述本地端、远程端之间通过网络连接通信。
本发明的方法所采用的技术方案是：一种磁场生成方法，用于控制铁芯线圈产生磁场；其特征在于，包括以下步骤：
步骤A1：构建单个铁芯线圈的电流生成模型；
分析驱动脉冲占空比和电流间的线性关系，记线圈阻抗和感抗分别为R和L，驱动电压的直流分量为Ud，交流分量等效为Uasinωt；在正向电压占空比为d的稳态情况下，线圈回路中的电流为：
Figure BDA0002546889270000041
其中，ω表示驱动电压等效交流分量的频率，单位为rad/s；Ua表示等效交流分量的幅度，单位为V；
步骤A2：构建整个铁芯线圈阵列的磁场生成模型；
计算铁芯线圈阵列在空间点Q处所产生的磁感应强度Barray(Q,O,R,I)；
Figure BDA0002546889270000042
其中，Q表示在进行铁芯线圈阵列的磁场生成时，电磁触觉再现装置将接收的空间点Q的位置信息；每个铁芯线圈的位置、姿态和电流分别为Oi、Ri和Ii，i＝1,2,3；单个铁芯线圈在Q点产生的磁感应强度为Bcoil；
步骤A3：根据铁芯线圈的位置、姿态信息，结合电流和磁场的生成过程，对磁感应强度的参考值B_ref进行解耦(根据步骤A2的公式，在有B、Q、O、R的情况下，反向计算电流I)，并将解耦获得的值作为每个铁芯线圈设定电流的基准值；
步骤A4：检测空间磁场的生成值；
构建用于磁场误差消除的多层PID神经网络，将磁感应强度的参考值B_ref和采样值B_samp的误差作为输入，来计算输出各个铁芯线圈电流控制的参考值的增益值，并结合线圈电流基准值作为各个铁芯线圈电流控制的参考值；
步骤A5：检测铁芯线圈的电流生成值；
对于每个铁芯线圈，根据其电流生成模型，使用电流参考值计算出驱动脉冲占空比，并结合电流生成误差的比例和积分对占空比进行微调，以实现无稳态误差的电流生成，进而达到快速准确的磁场生成。
本发明还提供了一种触觉预测方法，采用远程电磁触觉再现系统；其特征在于：包括以下步骤：
步骤B1：搭建用于触觉预测的可监督双向LSTM网络模型，并采集预定时间的本地磁性操作杆运动数据和来自远程端的触觉数据，对模型进行预训练；
步骤B2：建立本地磁性操作杆的运动数据缓存队列、接收自远程端的触觉数据缓存队列和预测的触觉数据缓存队列，每个队列的长度均为m；
步骤B3：利用定位设备采集当前时刻本地磁性操作杆的运动数据，并更新运动数据队列；接收来自远程端的触觉反馈数据，并更新接收的触觉数据队列；
步骤B4：模型的在线预测和模型更新；
利用缓存队列中的m组运动数据和历史触觉数据，借助双向LSTM网络模型对当前时刻的触觉数据进行预测，并更新预测的触觉数据队列；
若接收到当前时刻的触觉数据，则根据该触觉真实值和对应预测值之间的误差对双向LSTM网络模型的权值进行更新；否则，以预测的当前时刻触觉反馈作为参考值，由电磁触觉再现装置进行触觉再现。
与现有技术相比，本发明具有如下的创新和优势：
1.双向交互的远程触觉再现系统框架，借助5G技术中的高可靠低时延通信和边缘计算技术，在满足触觉再现的实时性要求的情况下，保证其沉浸感。
2.使用基于铁芯线圈阵列的电磁触觉装置来产生触觉反馈。比起空心线圈，铁芯线圈在相同励磁电流下能激发更强的磁场，有效地提升了触觉生成的范围和强度。
3.包括磁场闭环和电流闭环的磁场控制算法，充分考虑了交互过程中操作杆运动引起的磁场生成模型变化，解耦和PID神经网络的配合能够实现快速准确的磁场跟踪。
4.同时使用操作杆运动数据和历史触觉数据，利用预先监督训练的双向LSTM网络进行当前的触觉反馈在线预测，能够补全由于网络延迟或丢包而缺失的触觉反馈序列，保证触觉再现的稳定性。
附图说明
图1为本发明实施例的系统框架图；
图2为本发明实施例的远程触觉再现示意图；
图3为本发明实施例的磁场生成方法示意图；
图4为本发明实施例的触觉预测方法流程图；
图5为本发明实施例的在线触觉预测方法示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1和图2，本发明提供的一种远程电磁触觉再现系统，包括本地端、远程端和边缘学习平台；本地端包括本地磁性操作杆、电磁触觉再现装置和定位设备；远程端包括操作机器人、远程操作杆和触觉传感器；本地端、远程端均配置有边缘学习平台，边缘学习平台用于本地端设备和远程端设备控制、触觉传感器数据采集、数据收发与缓存、信号处理、计算；本地端、远程端之间通过网络连接通信。
本实施例的操作机器人配置有6个主动旋转关节机械臂，用来控制末端夹取的远程操作杆在一定范围内进行3个位置自由度和姿态自由度操作。
本实施例的触觉传感器为硬质皮肤触觉传感器。
本实施例的电磁触觉再现装置，通过包含三个铁芯线圈的线圈阵列来产生电磁场，且每个铁芯线圈的位置和姿态均能自由调节；铁芯线圈主要由绕在圆柱形骨架上的环形铜线和位于铁芯线圈中心的软铁铁芯组成；使用H桥结构的线圈驱动电路进行铁芯线圈的交流驱动，使用周期固定的高频互补脉冲控制四个桥臂的开关情况，从而控制铁芯线圈两端正向和负向电压的持续时间，以实现对铁芯线圈电流大小和方向的快速精细调整；三个铁芯线圈各自产生的磁场向量通过驱动电流调整大小，通过铁芯线圈位姿来调整方向，能在空间任一点合成为一个任意大小和方向的磁场向量，结合本地磁性操作杆，实现完整的六自由度单点触觉再现。
本实施例使用兼有软硬件可编程性的可扩展微处理器搭建了集计算、存储和网络功能为一体的学习平台，为了实现复杂的设备控制、传感器数据采集、数据缓存、算法运行等功能。边缘平台使用嵌入式实时操作系统，具有设备控制、数据收发与缓存、信号处理、执行机器学习算法等功能。本发明借助边缘云平台缓存操作杆运动、磁场强度、触觉反馈等信息，并使用机器学习算法进行电磁式触觉装置的磁场控制算法和触觉数据的预测，以实现逼真、稳定的远程触觉再现。
整个远程电磁触觉再现系统的工作步骤为：(1)在本地端，使用者完成对本地操作杆的操作，由定位系统捕捉本地操作杆的运动信息并发送到远程端，远程端则由机械臂控制远程端操作杆完成相同操作；(2)在远程端，触觉传感器捕捉远程操作杆受到的触觉信息，并发送到本地端的触觉装置进行触觉再现。根据操作数据和触觉数据的流动过程，远程触觉再现的具体步骤为：
步骤1：运动数据流的传输。本地端向远程端传输的运动数据内容为由使用者控制本地操作杆进行的运动信息，用于驱使机械臂控制远程操作杆完成相同的运动。在本地端，本发明使用视觉-惯性融合导航方法来完成对操作杆的高频率、高精度、稳定的实时位姿捕捉，并实时发送到远程端。在远程端，本发明使用机械臂来控制远端操作杆对本地操作杆的运动进行再现，通过调整6个主动的旋转关节，来控制末端夹取的远程操作杆在一定范围内的3个位置自由度和姿态自由度。
步骤2：触觉数据流的再现。在远程端，操作杆所受到的三维触觉反馈力由交互对象提供。本发明使用硬质皮肤-触觉传感器来采集远程操作杆与物体对象的接触点法向力和切向力信息，结合操作杆的位姿来还原该三维反馈力的生成位置和大小，并实时发送到本地端。在本地端，该反馈力由电磁式触觉装置进行再现。电磁式触觉装置使用铁芯线圈阵列在空间中生成磁场，对磁场中的磁性操作杆产生相同大小和方向的磁力反馈，从而动态准确地实现对远程端触觉的再现。
本实施例针对三个位姿可调铁芯线圈组成的阵列的磁场生成过程，根据单个线圈的电流生成分析和整个线圈阵列的磁场生成分析，该过程被归纳为一个耦合的多输入多输出系统，且该耦合关系是复杂而确定的。
针对该磁场生成过程，本发明设计了一种磁场生成方法，包括电流环和磁场环两个环节。其中，电流环的控制算法部署在线圈的驱动电路上，通过调整线圈驱动脉冲的占空比来生成特定电流，且每个线圈的电流控制相互独立。磁场环的控制算法将部署在本地端的边缘学习平台上，负责整个线圈阵列的磁感应强度的跟踪，并计算出每个线圈应施加的励磁电流。
请见图3，本发明设计的一种磁场生成方法，用于控制铁芯线圈产生磁场；包括以下步骤：
步骤A1：构建单个铁芯线圈的电流生成模型；
分析驱动脉冲占空比和电流间的线性关系，记线圈阻抗和感抗分别为R和L，驱动电压的直流分量为Ud，交流分量等效为Uasinωt；在正向电压占空比为d的稳态情况下，线圈回路中的电流为：
Figure BDA0002546889270000081
其中，ω表示驱动电压等效交流分量的频率，单位为rad/s；Ua表示等效交流分量的幅度，单位为V；
步骤A2：构建整个铁芯线圈阵列的磁场生成模型；
计算铁芯线圈阵列在空间点Q处所产生的磁感应强度Barray(Q,O,R,I)；
Figure BDA0002546889270000082
其中，Q表示在进行铁芯线圈阵列的磁场生成时，电磁触觉再现装置将接收的空间点Q的位置信息；每个铁芯线圈的位置、姿态和电流分别为Oi、
Ri和Ii，i＝1,2,3；单个铁芯线圈在Q点产生的磁感应强度为Bcoil；
步骤A3：根据铁芯线圈的位置、姿态信息，结合电流和磁场的生成过程，对磁感应强度的参考值B_ref进行解耦(根据步骤A2的公式，在有B、Q、O、R的情况下，反向计算电流I)，并将解耦获得的值作为每个铁芯线圈设定电流的基准值；
步骤A4：检测空间磁场的生成值；
构建用于磁场误差消除的多层PID神经网络，将磁感应强度的参考值B_ref和采样值B_samp的误差作为输入，来计算输出各个铁芯线圈电流控制的参考值的增益值，并结合线圈电流基准值作为各个铁芯线圈电流控制的参考值；
本实施例构建的用于磁场误差消除的多层PID神经网络，是在多层PID神经网络中，定义多层PID神经网络的三个输入值分别为磁场的三维分量误差值；定义每个输入节点分别与隐含层的三个节点相连，分别代表PID控制中的比例、积分和微分处理，用于分离磁场误差的静态分量；定义输出层为三个线圈的电流控制参考值；隐含层与输出层之间的节点为全连接，用于学习磁场分量和线圈电流值之间的耦合关系，以分离磁场误差的动态分量；定义磁场误差的均方根为神经网络的目标函数，整个网络的权值由反向传播算法在线调整，以缩小磁场参考值和采样值之间的误差。
具体地，输入值为磁场分量的三维误差值。每个输入分别与隐含层的3个节点相连，分别代表PID控制中的比例、微分和微分处理，用于分离误差的静态分量。隐含层与输出层的节点之间为全连接，用于学习磁场分量和电流值之间的耦合，以分离动态误差。该神经网络的目标是输出线圈阵列电流的增益值，结合解耦所得的基准值来控制线圈电流大小，使线圈阵列生成的磁场逼近设定值，因此以磁场误差的均方根作为目标函数，通过反向传播来调整神经网络的权值，来计算线圈设定电流的增益值。该增益值将结合解耦获得的设定电流基准值，作为线圈电流控制的参考值；
本实施例中，接收线圈电流控制的参考值(I1_ref,I2_ref,I3_ref)，以及每个线圈电流的采样值(I1_samp,I2_samp,I3_samp)。由于电磁线圈的电流和驱动脉冲的占空比之间存在线性关系，本发明采用前馈PID进行电流控制。首先根据设定电流值计算出对应的电压占空比，使该前馈函数与电流生成的传递函数之积为1。然后结合电流生成误差的比例和积分对占空比进行微调，实现无稳态误差的电流生成。结合磁场环节的控制，来实现准确的磁场生成。
步骤A5：检测铁芯线圈的电流生成值；
对于每个铁芯线圈，根据其电流生成模型，使用电流参考值计算出驱动脉冲占空比，并结合电流生成误差的比例和积分对占空比进行微调，以实现无稳态误差的电流生成，进而达到快速准确的磁场生成。
在本发明的磁场生成方法中，神经网络能够自适应地对耦合误差进行逼近，PID控制的思想能够有效加快神经网络的收敛速度，通过解耦计算的输出基准值能够提高并有效避免网络陷入局部最优，从而实现快速精确的磁场生成，保证了本地端触觉再现的逼真性。
由于远程触觉再现的双向交互性，在电磁触觉装置在由于网络延迟和丢包而无法接收到来自远程端的触觉数据时，使用者将感受到操作和力反馈的不一致性，影响使用者的判断，降低远程操作的效率。为此，本发明设计了一种在线的触觉预测方法，在本地端未正常接收到触觉数据时，根据历史触觉数据来预测当前的触觉反馈来进行再现，来保证远程触觉再现的沉浸感。
在远程触觉再现过程中，触觉反馈受到物体对象的物理特性、使用者操作等因素影响，具有如下特性：1，操作杆与物体对象之间的相互作用力是连续变化的，触觉反馈也不会发生突变或者间断；2，触觉反馈是带有时间性质的，后一时刻的触觉反馈与前一时刻的触觉反馈是有关的；3，触觉反馈受到操作杆运动情况的影响，随着交互过程中使用者对操作杆的移动，触觉反馈的特性也会随之变化。由于操作杆运动和触觉反馈的连续性，触觉反馈被归纳成一个回归问题，是可以根据已有的触觉数据序列和使用者的操作信息来进行预测的。
本发明在本地端的边缘学习平台上搭建了可监督的双向LSTM网络模型，采集本地操作杆的运动信息，并结合接收的历史触觉信息，来进行当前触觉反馈的预测。
请见图4和图5，本发明设计的一种触觉预测方法，采用远程电磁触觉再现系统；包括以下步骤：
步骤B1：搭建用于触觉预测的可监督双向LSTM网络模型，并采集预定时间的本地磁性操作杆运动数据和来自远程端的触觉数据，对模型进行预训练；
包括以下子步骤：
步骤1.1：搭建包括输入层、前向传播层、后向传播层、输出层的双向LSTM网络。其中，网络的输入值为m组最近历史的运动数据和触觉数据，输出值为三维的当前触觉预测数据，前向传播层和后向传播层各包含m个LSTM单元；
步骤1.2：以1000Hz的频率收集本地操作杆的三维加速度和三维角速度数据，以及来自远程端的三维触觉反馈数据，持续5分钟，共采集30万组数据；
步骤1.3：通过频率滤波消除操作杆运动数据在指定频带外的分量，以消除原始数据中的静态漂移和高频噪声。根据最大绝对值，将各维的数据分别进行归一化处理；
步骤1.4：以m组数据为输入步长，将运动数据序列和触觉数据序列构建为由下一时刻的触觉数据监督的数据集，并以0.6:0.2:0.2的比例在数据集中划分出训练集、验证集和测试集；
步骤1.5：在离线预训练过程中，以三维触觉数据的均方误差作为损失函数，并使用Adam算法来加快模型收敛速度。当训练至模型在测试集上的误差小于0.1(N)时，停止训练并将该模型保存到边缘平台上，用于触觉反馈的在线预测。
步骤B2：建立本地磁性操作杆的运动数据缓存队列(Mn-9,Mn-8,…,Mn)、接收自远程端的触觉数据缓存队列(Hn-9,Hn-8,…,Hn)和预测的触觉数据缓存队列
Figure BDA0002546889270000111
每个队列的长度均为10；
步骤B3：利用定位设备采集当前时刻本地磁性操作杆的运动数据，并更新运动数据队列；接收来自远程端的触觉反馈数据，并更新接收的触觉数据队列；
步骤B4：模型的在线预测和模型更新；
利用缓存队列中的10组运动数据和历史触觉数据，借助双向LSTM网络模型对当前时刻的触觉数据进行预测，并更新预测的触觉数据队列；
若接收到当前时刻的触觉数据，则根据该触觉真实值和对应预测值之间的误差对双向LSTM网络模型的权值进行更新；否则，以预测的当前时刻触觉反馈作为参考值，由电磁触觉再现装置进行触觉再现。
本实施例的远程触觉再现是一种双向交互式的物联网服务，是利用5G技术中的高可靠低延时通信构建触觉互联网的关键，它通过有线或无线方式将远程端的触觉信息传输到操作端，并借助电磁触觉再现装置来跨区域进行实时触觉再现，能够允许用户对无法触及或者危险环境中的对象进行感知和操作。完整而准确的远程触觉再现，能够辅助用户完成更加精细的操作过程，极大地扩展了远程操作的应用场景。
本发明利用电磁触觉再现装置、机械臂、触觉传感器等搭建了一个远程触觉再现系统，并借助边缘平台运行学习算法，来确保快速、准确、稳定的触觉生成。本发明使用一种面向自然交互的电磁触觉再现装置来产生触觉反馈。该装置使用通电线圈阵列来激发电磁场，能够无摩擦地对位于其中的磁性操作杆产生反馈力。
本发明还设计了一种基于学习的解耦控制算法，用于快速而精确地生成电磁力反馈所需的电磁场。此外，针对远程数据传输中的延时、延时抖动及丢包等带来的触觉生成抖动问题，设计了一种基于可变步长LSTM的触觉预测方法，来保证触觉体验的动态连续性。
值得一提的是，本发明借助边缘学习技术来克服电磁式触觉装置计算能力有限和触觉通信的时延问题。具体地，使用AI控制芯片在本地端的网络边缘侧使用了集计算、存储和网络功能为一体的边缘平台。该平台使用嵌入式实时操作系统，能够缓存一些数据，负担电磁式触觉装置的磁场控制算法和触觉数据预测插值的运行，并直接转发各类数据，有效地将计算任务卸载到了边缘端，避免数据上传到远程端的时延，提升了远程触觉的服务质量可持续性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种用于控制铁芯线圈产生磁场的方法，采用远程电磁触觉再现系统；
其特征在于：所述系统包括本地端、远程端和边缘学习平台；所述本地端包括本地磁性操作杆、电磁触觉再现装置和定位设备；所述远程端包括操作机器人、远程操作杆和触觉传感器；所述本地端、远程端均配置有边缘学习平台，所述边缘学习平台用于本地端设备和远程端设备控制、触觉传感器数据采集、数据收发与缓存、信号处理、计算；所述本地端、远程端之间通过网络连接通信；所述操作机器人配置有6个主动旋转关节机械臂，用来控制末端夹取的远程操作杆在一定范围内进行3个位置自由度和姿态自由度操作；所述触觉传感器为硬质皮肤触觉传感器；所述电磁触觉再现装置，通过包含三个铁芯线圈的线圈阵列来产生电磁场，且每个铁芯线圈的位置和姿态均能自由调节；铁芯线圈主要由绕在圆柱形骨架上的环形铜线和位于铁芯线圈中心的软铁铁芯组成；使用H桥结构的线圈驱动电路进行铁芯线圈的交流驱动，使用周期固定的高频互补脉冲控制四个桥臂的开关情况，从而控制铁芯线圈两端正向和负向电压的持续时间，以实现对铁芯线圈电流大小和方向的快速精细调整；三个铁芯线圈各自产生的磁场向量通过驱动电流调整大小，通过铁芯线圈位姿来调整方向，能在空间任一点合成为一个任意大小和方向的磁场向量，结合本地磁性操作杆，实现完整的六自由度单点触觉再现；
所述方法包括以下步骤：
步骤A1：构建单个铁芯线圈的电流生成模型；
分析驱动脉冲占空比和电流间的线性关系，记线圈阻抗和感抗分别为R和L，驱动电压的直流分量为Ud，交流分量等效为Uasinωt；在正向电压占空比为d的稳态情况下，线圈回路中的电流为：
Figure FDA0003640328270000011
其中，ω表示驱动电压等效交流分量的频率，单位为rad/s；Ua表示等效交流分量的幅度，单位为V；
步骤A2：构建整个铁芯线圈阵列的磁场生成模型；
计算铁芯线圈阵列在空间点Q处所产生的磁感应强度Barray(Q，O，R，I)；
Figure FDA0003640328270000012
其中，Q表示在进行铁芯线圈阵列的磁场生成时，电磁触觉再现装置将接收的空间点Q的位置信息；O，R，I为铁芯线圈的位置、姿态和电流；每个铁芯线圈的位置、姿态和电流分别为Oi、Ri和Ii，i＝1，2，3；单个铁芯线圈在Q点产生的磁感应强度为Bcoil；
步骤A3：根据铁芯线圈的位置、姿态信息，结合电流和磁场的生成过程，对磁感应强度的参考值B_ref进行解耦，并将解耦获得的值作为每个铁芯线圈设定电流的基准值；
步骤A4：检测空间磁场的生成值；
构建用于磁场误差消除的多层PID神经网络，将磁感应强度的参考值B_ref和采样值B_samp的误差作为输入，来计算输出各个铁芯线圈电流控制的参考值的增益值，并结合线圈电流基准值作为各个铁芯线圈电流控制的参考值；
步骤A5：检测铁芯线圈的电流生成值；
对于每个铁芯线圈，根据其电流生成模型，使用电流参考值计算出驱动脉冲占空比，并结合电流生成误差的比例和积分对占空比进行微调，以实现无稳态误差的电流生成，进而达到快速准确的磁场生成。
2.根据权利要求1所述的用于控制铁芯线圈产生磁场的方法，其特征在于：步骤A4中所述构建用于磁场误差消除的多层PID神经网络，是在多层PID神经网络中，定义多层PID神经网络的三个输入值分别为磁场的三维分量误差值；定义每个输入节点分别与隐含层的三个节点相连，分别代表PID控制中的比例、积分和微分处理，用于分离磁场误差的静态分量；定义输出层为三个线圈的电流控制参考值；隐含层与输出层之间的节点为全连接，用于学习磁场分量和线圈电流值之间的耦合关系，以分离磁场误差的动态分量；定义磁场误差的均方根为神经网络的目标函数，整个网络的权值由反向传播算法在线调整，以缩小磁场参考值和采样值之间的误差。
3.一种触觉预测方法，采用权利要求1或2所述的远程电磁触觉再现系统；其特征在于：包括以下步骤：
步骤B1：搭建用于触觉预测的可监督双向LSTM网络模型，并采集预定时间的本地磁性操作杆运动数据和来自远程端的触觉数据，对模型进行预训练；
步骤B2：建立本地磁性操作杆的运动数据缓存队列、接收自远程端的触觉数据缓存队列和预测的触觉数据缓存队列，每个队列的长度均为m；
步骤B3：利用定位设备采集当前时刻本地磁性操作杆的运动数据，并更新运动数据队列；接收来自远程端的触觉反馈数据，并更新接收的触觉数据队列；
步骤B4：模型的在线预测和模型更新；
利用缓存队列中的m组运动数据和历史触觉数据，借助双向LSTM网络模型对当前时刻的触觉数据进行预测，并更新预测的触觉数据队列；
若接收到当前时刻的触觉数据，则根据触觉真实值和对应预测值之间的误差对双向LSTM网络模型的权值进行更新；否则，以预测的当前时刻触觉反馈作为参考值，由电磁触觉再现装置进行触觉再现。
4.根据权利要求3所述的触觉预测方法，其特征在于，步骤B1的具体实现包括以下子步骤：
步骤1.1：搭建包括输入层、前向传播层、后向传播层、输出层的双向LSTM网络；其中，网络的输入值为m组最近历史的运动数据和触觉数据，输出值为三维的当前触觉预测数据，前向传播层和后向传播层各包含m个LSTM单元；
步骤1.2：以预设频率收集本地磁性操作杆的三维加速度和三维角速度数据，以及来自远程端的三维触觉反馈数据；
步骤1.3：通过频率滤波消除本地磁性操作杆运动数据在指定频带外的分量，以消除原始数据中的静态漂移和高频噪声；根据最大绝对值，将各维的数据分别进行归一化处理；
步骤1.4：以m组数据为输入步长，将运动数据序列和触觉数据序列构建为由下一时刻的触觉数据监督的数据集，并将数据集中划分为训练集、验证集和测试集；
步骤1.5：在离线预训练过程中，以三维触觉数据的均方误差作为损失函数，并使用Adam算法来加快模型收敛速度；当训练至模型在测试集上的误差小于阈值时，停止训练并将该模型保存到边缘平台上，用于触觉反馈的在线预测。
CN202010563512.4A 2020-06-19 2020-06-19 一种远程电磁触觉再现系统、磁场生成及触觉预测方法 Active CN111796679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010563512.4A CN111796679B (zh) 2020-06-19 2020-06-19 一种远程电磁触觉再现系统、磁场生成及触觉预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563512.4A CN111796679B (zh) 2020-06-19 2020-06-19 一种远程电磁触觉再现系统、磁场生成及触觉预测方法

Publications (2)

Publication Number Publication Date
CN111796679A CN111796679A (zh) 2020-10-20
CN111796679B true CN111796679B (zh) 2022-07-05

Family

ID=72804423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563512.4A Active CN111796679B (zh) 2020-06-19 2020-06-19 一种远程电磁触觉再现系统、磁场生成及触觉预测方法

Country Status (1)

Country Link
CN (1) CN111796679B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018922A1 (ja) * 2022-07-19 2024-01-25 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598033A (zh) * 2015-02-05 2015-05-06 武汉大学 一种多线圈电磁式力触觉反馈装置及方法
CN105094313A (zh) * 2014-05-12 2015-11-25 意美森公司 用于为远程交互提供触觉反馈的系统和方法
CN105137761A (zh) * 2015-09-28 2015-12-09 武汉大学 三线圈姿态可调的电磁力反馈装置及其姿态计算与电流智能控制方法
CN106909178A (zh) * 2017-04-25 2017-06-30 重庆大学 基于磁流变技术的触觉再现装置
WO2017136949A1 (en) * 2016-02-12 2017-08-17 Nanoport Technology Inc. Tactile feedback by a longitudinally moved magnetic hammer
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094313A (zh) * 2014-05-12 2015-11-25 意美森公司 用于为远程交互提供触觉反馈的系统和方法
CN104598033A (zh) * 2015-02-05 2015-05-06 武汉大学 一种多线圈电磁式力触觉反馈装置及方法
CN105137761A (zh) * 2015-09-28 2015-12-09 武汉大学 三线圈姿态可调的电磁力反馈装置及其姿态计算与电流智能控制方法
WO2017136949A1 (en) * 2016-02-12 2017-08-17 Nanoport Technology Inc. Tactile feedback by a longitudinally moved magnetic hammer
CN106909178A (zh) * 2017-04-25 2017-06-30 重庆大学 基于磁流变技术的触觉再现装置
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于电磁力控制的二维力触觉再现系统研究;陈晓丽;《中国优秀硕士学位论文全文数据库（电子期刊）》;20190215(第二期);第I138-2387页 *

Also Published As

Publication number Publication date
CN111796679A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
He et al. Neural network control of a rehabilitation robot by state and output feedback
Haidegger et al. Cascade control for telerobotic systems serving space medicine
Mitrovic et al. Adaptive optimal feedback control with learned internal dynamics models
CN110815258B (zh) 基于电磁力反馈和增强现实的机器人遥操作系统和方法
KR102161570B1 (ko) 로봇 제어 장치 및 방법
Wang et al. Adaptive fuzzy visual tracking control for manipulator with quantized saturation input
Islam et al. Nonlinear control for teleoperation systems with time varying delay
Saeidi et al. Trust-based mixed-initiative teleoperation of mobile robots
CN111796679B (zh) 一种远程电磁触觉再现系统、磁场生成及触觉预测方法
Zeng et al. Encoding multiple sensor data for robotic learning skills from multimodal demonstration
Al Issa et al. Design and implementation of event-triggered adaptive controller for commercial mobile robots subject to input delays and limited communications
CN111897421B (zh) 一种电磁式触觉再现系统、方法及磁场预测控制方法
Tian et al. Wireless haptic communication under varying delay by switching-channel bilateral control with energy monitor
Lee et al. Haptic Teleoperation Systems
Yang et al. Fixed-time coordination control for bilateral telerobotics system with asymmetric time-varying delays
US9501946B1 (en) Systems and methods for stable haptic feedback over packet-switched networks
Lu et al. An adaptive fuzzy control for human-in-the-loop operations with varying communication time delays
Leung et al. Intelligent space with time sensitive applications
CN116638507A (zh) 一种自适应阻抗控制与预测控制相结合的遥操作控制方法
Lau et al. Bayesian online changepoint detection to improve transparency in human-machine interaction systems
Kawashima et al. Bilateral teleoperation with time delay using modified wave variables
Karlekar et al. Design of an Efficient Bioinspired Model for Optimizing Robotic Arm Movements via Ensemble Learning Operations
Feth et al. Control-theoretic model of haptic human-human interaction in a pursuit tracking task
Ruiz et al. A sensor fusion based robotic system architecture using human interaction for motion control
Na et al. Adaptive impedance control of a haptic teleoperation system for improved transparency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant