CN116795208A - 一种基于触觉反馈的远程实验系统及方法 - Google Patents
一种基于触觉反馈的远程实验系统及方法 Download PDFInfo
- Publication number
- CN116795208A CN116795208A CN202310426299.6A CN202310426299A CN116795208A CN 116795208 A CN116795208 A CN 116795208A CN 202310426299 A CN202310426299 A CN 202310426299A CN 116795208 A CN116795208 A CN 116795208A
- Authority
- CN
- China
- Prior art keywords
- remote
- module
- feedback
- experimental
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 239000000919 ceramic Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000004247 hand Anatomy 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Landscapes
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于远程实验技术领域，公开了一种基于触觉反馈的远程实验系统及方法，包括3D显示模块、触觉感知模块、远程通信模块和远端机器人模块，3D显示模块用于为实验者实时展示实验室的三维图像视频并接收使用反馈；触觉感知模块用于准确获取双手的压感和记录运动姿态，并定位被操作物体；远程通信模块用于处理加密高速传输实验者的动作信息至实验室，并负责将反馈信息回送至实验者；远端机器人模块用于根据指令重现实验动作，并拍摄三维视频实时获取反馈信息。本发明的触觉反馈可使实验者脱离3D虚拟交互动作的虚假感，真正实现了“可见及可控”的三维操作，触觉手套与3D虚拟画面的交互极大的方便了使用者对真实实验室的实时控制。
Description
技术领域
本发明属于远程实验技术领域，尤其涉及一种基于触觉反馈的远程实验系统及方法。
背景技术
传统的线下实验室是目前学校学生学习实验的主要方式，线下实验具有真实性的特点，学生不仅可以真实的操控实验，更能方便的接受老师的指导和纠错，非常具有参与感。但同时，如果学生因故无法到达实验室，那么实验课就失去了参与的意义。
随着学校的实验资源愈发紧张，各大中小学、辅导机构和高校纷纷提倡线上教学。科学技术的蓬勃发展也为线上实验提供了技术准备，AI科技对在线教育提供了很多助力。目前远程在线实验的形式有以下几种：教师直播或观看视频自行操作、在异地计算机2D平台上控制数字参数、虚拟仿真实验系统。这些远程方法为因故无法到达实验室的学生提供了诸多便利，目前正尽可能的向真实感的实验方向靠近。
远程实验教学的目的是打造身临其境的实验场景，使学生获得近乎真实的实验教学和参与体验感，因此仅仅实现“可控”还不足，远程实验技术的发展应朝着增加真实感而努力，真正的实现“可见及可控”。
发明内容
本发明目的在于提供一种基于触觉反馈的远程实验系统及方法，以解决上述的技术问题。
为解决上述技术问题，本发明的一种基于触觉反馈的远程实验系统及方法的具体技术方案如下：
一种基于触觉反馈的远程实验系统，包括3D显示模块、触觉感知模块、远程通信模块和远端机器人模块，所述3D显示模块用于为实验者实时展示实验室的三维图像视频并接收使用反馈；所述触觉感知模块用于准确获取双手的压感和记录运动姿态，并定位被操作物体；所述远程通信模块用于处理加密高速传输实验者的动作信息至实验室，并负责将反馈信息回送至实验者；所述远端机器人模块用于根据指令重现实验动作，并拍摄三维视频实时获取反馈信息。
进一步的，所述3D显示模块为至少一台用于三维建模的处理器和带有通讯功能的3D显示器。
进一步的，所述触觉感知模块为至少一套集成了通讯功能、数据处理功能和压力、距离传感功能的手套装置。
进一步的，所述远程通信模块为至少三个支持5G技术的无线通讯模块，分别负责3D显示模块、触觉感知模块和远端机器人模块的信号收发。
进一步的，所述远端机器人模块为至少一套包含了立体视觉摄像头、多个传感器、机械臂装置和控制服务器的系统。
进一步的，所述触觉感知模块包括装备于手套的关节和指尖处的距离和压力传感器，以及手腕处的三维坐标传感器，所述三维坐标传感器用于获取手部着力点的三维坐标位置，在三维建模后的虚拟画面中定位被操作物体；
所述关节和指尖处的距离和压力传感器根据各点位的相对距离值和其上的压力值进行深度学习，实时检测手部姿态，并结合着力点的坐标远程传输至真实端；在手套的指尖处具有触觉反馈装置，根据远端机器人模块传输的压力值施加对应点的反馈。
本发明还公开了一种基于触觉反馈的远程实验系统的实验方法，包括正向传输过程和逆向反馈过程，所述正向传输过程为远端机器人模块拍摄真实实验室内指定视角的实验台，将视频信息通过远程通信模块实时传输至3D显示模块，实验者佩戴触觉感知模块，通过检测压力、距离等传感信息来识别手部的姿态，通过深度学习算法对数据进行训练，建立手势检测模型；进而通过远程通信模块传输至远端机器人，经过信息处理后驱动机器装置进行相应的实验动作；所述逆向反馈过程为将机器装置上获得的压力反馈至模拟端的触觉感知模块，将机器装置的执行效果逆反馈至3D显示模块用于成绩评估。
进一步地，所述正向传输过程具体步骤如下：
步骤A1：实验室的三维建模：立体相机拍摄远端实验台，经3D显示模块进行三维重建，展示在显示器中；
步骤A2：触觉手势识别：根据手部动作时传感器的坐标和关节收到的压力值，利用深度学习的训练模型，实时检测手势，并进行编号；
步骤A3：操作指令传输：操作指令包含手势编号、手势原点和着力点坐标、移动方向及速度；
步骤A4：远端执行命令：指令通过远程通信模块传输至远端服务器，驱动机器人执行相应的实验操作。
进一步地，所述逆向反馈过程步骤如下：
步骤B1：远程触觉反馈：远端机器人执行操作指令后，机械臂抓握动作受到的压力值远程反馈至触觉感知模块，压电陶瓷执行器向手部相应位置施加反作用力；
步骤B2：实验效果反馈：远端实验室装设摄像头获取声、光信号，装设气体传感器获取嗅觉信息，这些信息均通过处理器的算法进行分析，从而逆向传输至3D显示模块，经过三维建模后直观展示；
步骤B3：实验成绩评估：3D显示模块的服务器中装载一套基于神经网络的成绩评估系统，其中包括对实验进程、操作步骤、实验用具的选取和实验效果等方面的测评机制，以及综合赋分统计，根据远端传输的实验反馈信息进行分数预测。
进一步地，所述正向传输过程和逆向反馈过程并向同时进行，互不影响。本发明的一种基于触觉反馈的远程实验系统及方法具有以下优点：
1.实验者无需亲自到达线下的真实实验室，可以根据自己的情况随时实验。
2.3D显示界面为实验者提供了立体的场景和真实的实验感受，营造了身临其境的实验氛围。
3.模拟端采用触觉手套牵动真实端的抓取机器，真正实现了实验者置身实验室的真实体验感。
4.触觉反馈可使实验者脱离3D虚拟交互动作的虚假感，拥有真实的施力反馈，及时掌握远端的动作响应情况，提升真实感。
5.正逆向实时同步的闭环系统实现了快速响应、同步实验，提高了使用者的体验感。
6.真实实验室设置的多传感器可以反馈光、电、温度等各类信号，使实验者实时掌握实验效果，以达到沉浸式观感。
7.针对一些安全要求较高的实验，机械臂代替人手实验可有效保护使用者的人身安全，避免实验失误造成的生命安全问题。
8.真正实现了“可见及可控”的三维操作，触觉手套与3D虚拟画面的交互极大的方便了使用者对真实实验室的实时控制。
针对一些时间周期较长的实验，无需长时间等待，可通过监控摄影机设置报警系统远程通知使用者，极大的提高了时间效率。
附图说明
图1是基于触觉反馈的远程实验系统的组成框图；
图2是基于触觉反馈的远程实验系统的模块结构和流程示意图；
图3是基于触觉反馈的远程实验系统的示例场景图；
图4是触觉感知手套的点位设置图；
图5是触觉感知模块的手势检测算法原理图；
图6是触觉感知手套在3D虚拟区域的位置示意图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于触觉反馈的远程实验系统及方法做进一步详细的描述。
如图1所示，本发明的一种基于触觉反馈的远程实验系统，包括3D显示模块、触觉感知模块、远程通信模块和远端机器人模块。
3D显示模块为至少一台用于三维建模的处理器和带有通讯功能的3D显示器。3D显示模块用于为实验者实时展示实验室的三维图像视频并接收使用反馈。
触觉感知模块为至少一套集成了通讯功能、数据处理功能和压力、距离传感功能的手套装置。触觉感知模块用于准确获取双手的压感和记录运动姿态，并定位被操作物体。具体使用原理如下：将距离和压力传感器均装备于手套的关节和指尖处，并在手腕处安装三维坐标传感器。所述触觉感知模块中的三维坐标传感器用于获取手部着力点的三维坐标位置，在三维建模后的虚拟画面中定位被操作物体。将共20个传感器编号，根据各点位的相对距离值和其上的压力值进行深度学习，实时检测手部姿态，并结合着力点的坐标远程传输至真实端。在手套的指尖处同时安装触觉反馈装置，根据远端机器人模块传输的压力值施加对应点的反馈。
远程通信模块为至少三个支持5G技术的无线通讯模块，分别负责3D显示模块、触觉感知模块和远端机器人模块的信号收发。远程通信模块用于处理加密高速传输实验者的动作信息至实验室，并负责将反馈信息回送至实验者。
远端机器人模块为至少一套包含了立体视觉摄像头、多个传感器、机械臂装置和控制服务器的系统。远端机器人模块用于根据指令重现实验动作，并拍摄三维视频实时获取反馈信息。
远端机器人模块拍摄真实实验室内指定视角的实验台，将视频信息通过远程通信模块实时传输至3D显示模块，实验者佩戴触觉感知模块，通过检测压力、距离等传感信息来识别手部的姿态，手势识别方法首先建立标准手势的坐标和压力训练数据，手势分析结果如按下、旋钮、抓握等作为标签，通过深度学习算法对数据进行训练，从而建立手势检测模型；进而通过远程通信模块传输至远端机器人，经过信息处理后驱动机器装置进行相应的实验动作，同时将机器装置上获得的压力反馈至模拟端的触觉感知模块，将机器装置的执行效果逆反馈至3D显示模块用于成绩评估。
本方面的一种基于触觉反馈的远程实验方法，不仅包括正向传输过程，还包括逆向反馈过程，所述的正向传输过程具体步骤如下：
(1)实验室的三维建模：立体相机拍摄远端实验台，经3D显示模块进行三维重建，展示在显示器中；
(2)触觉手势识别：根据手部动作时传感器的坐标和关节收到的压力值，利用深度学习的训练模型，实时检测手势，并进行编号；
(3)操作指令传输：操作指令包含手势编号、手势原点和着力点坐标、移动方向及速度；
(4)远端执行命令：指令通过远程通信模块传输至远端服务器，驱动机器人执行相应的实验操作；
所述的逆向反馈过程步骤如下：
(1)远程触觉反馈：远端机器人执行操作指令后，机械臂抓握等动作受到的压力值远程反馈至触觉感知模块，压电陶瓷执行器向手部相应位置施加反作用力；
(2)实验效果反馈：远端实验室装设摄像头获取声、光信号，装设气体传感器获取嗅觉信息，这些信息均通过处理器的算法进行分析，从而逆向传输至3D显示模块，经过三维建模后直观展示；
(3)实验成绩评估：3D显示模块的服务器中装载一套基于神经网络的成绩评估系统，其中包括对实验进程、操作步骤、实验用具的选取和实验效果等方面的测评机制，以及综合赋分统计，根据远端传输的实验反馈信息进行分数预测；
所述正向传输过程和逆向反馈过程并向同时进行，互不影响。
实施例一：一种基于触觉反馈的远程实验系统的具体工作方式
如图2所示，本实施例中的远程实验系统由3D显示模块、触觉感知模块、远程通信模块、远端机器人模块组成，其中3D显示模块包含3D显示器和处理器，触觉感知模块包含装备了传感器和压电模块的手套和处理器，远程通信模块包含三块无线通讯模块，远端机器人模块包含机械臂及其控制模块、立体相机和多种传感器。如图3所示，1为触摸感知手套，2为3D显示器，3为气体传感器，4为温度计，5为光电传感器，6为立体相机，7为机械臂，进行远程实验的具体步骤如下：
(1)3D显示准备：真实端实验室开启深度相机，不断采集rgb-d数据，并远程传输至3D显示模块，通过处理器中的KinectFusion算法对真实实验台进行三维重建，在显示器中展示画面；
(2)触觉感知：触觉感知手套如图4所示，在手腕处即20点位安装陀螺仪和角度传感器记录手腕转动的角度A，将压力传感器安装在关节处即19个点位上，将5个距离传感器安装在指尖1、4、8、12、16点位上，并以1号点位P0作为坐标原点，将距离传感器记录的各点相对于拇指指尖即1点的距离Dm(m＝4,8,12,16)及压力传感器记录的压力值Fn(n＝1,2,…,19)作为训练数据，将真正的手势结果作为标签，如图5所示，选择神经网络分类算法进行有监督的机器学习，按公式(1)获取训练结果Y，从而对手势进行实时检测；
Y＝W1*Dm+W2*Fn+W3*A-β (1)
其中，W1、W1、W1是权重矩阵，β是偏置；
(3)定位被操作物体：如图6分别在3D显示器中心点C0和手套的4点位C1上安装3D激光雷达的发送器和接收器，用于获取食指指腹相对于3D画面虚拟区域的准确坐标P1，远端立体相机同时作为机械臂的工作台坐标系原点，从而定位被操作物体；
(4)远程传输指令：将触觉感知模块预测出的手势编号和着力点坐标D3加密并串行传输至无线通讯模块，从而远程发送至远端机器人模块；
(5)远端跟随操作：远端的无线通讯模块接收指令并传输至处理器，解密后控制机械臂跟随操作；
(6)操作反馈：远端机械臂安装压力传感器，将接触实验物体时的电压值V通过无线通讯传输至触觉感知模块，驱动手套指腹处安装的压电陶瓷执行器施加压力产生电位移U，按公式(2)完成电反馈；同时，远端实验室的摄像头、温度计、光电传感器和气体传感器测量的图像、温度、光强和气体成分值将实时无线传输至3D显示模块，从而体现在虚拟现实画面中；
U＝V×d (2)
其中，U是产生的电位移，V是施加的电压，d是压电常数，压电陶瓷为635×10-12m/V；
(7)成绩评估：根据操作反馈中获得的压力和位置信息判断出实验用具的选取是否准确，根据温度、光强和气体成分判断实验结果有无超过预警值，根据触觉感知信息和远端实时图像判断操作时长、操作顺序等是否符合要求，最终根据训练学习给出综合分数。
实施例二：利用基于触觉反馈的远程实验系统进行电学试验
本实施例中远程实验系统的模块组成如图2所示，具体的工作方式如下：
(1)系统设备开启：远端机械臂就位，深度相机开启并实时传送画面至近端显示器实现模拟画面的展示，使用者佩戴触感手套完成初始化处理；
(2)操作实验电箱：使用者拨动开关时，距离D4远大于D8、D12、D16，D4匀速变化，且压力F5、F6、F7远小于Fn(n＝2,3,4,…,19)，手势检测输出代表滑动的编号；使用者旋转旋钮时，距离D4、D8、D12、D16近似相等且均小于某个数值，各点位压力Fn达到较大值，且手腕转动角度A有较大变化，从而手势检测输出代表旋转的编号；
(3)定位着力的实验用具：如图6所示，雷达获取食指点位的坐标P1后，系统算法遍历3D区域显示矩阵，输出P1所在的实验用具，结合手势检测编号无线传输至远端服务器；
(4)远端跟随操作：远端的无线通讯模块接收指令并传输至处理器，解密后控制机械臂跟随操作；
(5)实验反馈：反馈包括执行操作反馈和实验评估反馈，其中执行操作通过获取远端机械臂的触摸压力而借助电信号获得压电反馈，实验评估反馈与实施例一相同。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (10)
1.一种基于触觉反馈的远程实验系统，其特征在于，包括3D显示模块、触觉感知模块、远程通信模块和远端机器人模块，所述3D显示模块用于为实验者实时展示实验室的三维图像视频并接收使用反馈；所述触觉感知模块用于准确获取双手的压感和记录运动姿态，并定位被操作物体；所述远程通信模块用于处理加密高速传输实验者的动作信息至实验室，并负责将反馈信息回送至实验者；所述远端机器人模块用于根据指令重现实验动作，并拍摄三维视频实时获取反馈信息。
2.根据权利要求1所述的基于触觉反馈的远程实验系统，其特征在于，所述3D显示模块为至少一台用于三维建模的处理器和带有通讯功能的3D显示器。
3.根据权利要求1所述的基于触觉反馈的远程实验系统，其特征在于，所述触觉感知模块为至少一套集成了通讯功能、数据处理功能和压力、距离传感功能的手套装置。
4.根据权利要求1所述的基于触觉反馈的远程实验系统，其特征在于，所述远程通信模块为至少三个支持5G技术的无线通讯模块，分别负责3D显示模块、触觉感知模块和远端机器人模块的信号收发。
5.根据权利要求1所述的基于触觉反馈的远程实验系统，其特征在于，所述远端机器人模块为至少一套包含了立体视觉摄像头、多个传感器、机械臂装置和控制服务器的系统。
6.根据权利要求1所述的基于触觉反馈的远程实验系统，其特征在于，所述触觉感知模块包括装备于手套的关节和指尖处的距离和压力传感器，以及手腕处的三维坐标传感器，所述三维坐标传感器用于获取手部着力点的三维坐标位置，在三维建模后的虚拟画面中定位被操作物体；所述关节和指尖处的距离和压力传感器根据各点位的相对距离值和其上的压力值进行深度学习，实时检测手部姿态，并结合着力点的坐标远程传输至真实端；在手套的指尖处具有触觉反馈装置，根据远端机器人模块传输的压力值施加对应点的反馈。
7.一种如权利要求1-6任一项所述的基于触觉反馈的远程实验系统的实验方法，其特征在于，包括正向传输过程和逆向反馈过程，所述正向传输过程为远端机器人模块拍摄真实实验室内指定视角的实验台，将视频信息通过远程通信模块实时传输至3D显示模块，实验者佩戴触觉感知模块，通过检测压力、距离等传感信息来识别手部的姿态，通过深度学习算法对数据进行训练，建立手势检测模型；进而通过远程通信模块传输至远端机器人，经过信息处理后驱动机器装置进行相应的实验动作；所述逆向反馈过程为将机器装置上获得的压力反馈至模拟端的触觉感知模块，将机器装置的执行效果逆反馈至3D显示模块用于成绩评估。
8.根据权利要求7所述实验方法，其特征在于，所述正向传输过程具体步骤如下：
步骤A1：实验室的三维建模：立体相机拍摄远端实验台，经3D显示模块进行三维重建，展示在显示器中；
步骤A2：触觉手势识别：根据手部动作时传感器的坐标和关节收到的压力值，利用深度学习的训练模型，实时检测手势，并进行编号；
步骤A3：操作指令传输：操作指令包含手势编号、手势原点和着力点坐标、移动方向及速度；
步骤A4：远端执行命令：指令通过远程通信模块传输至远端服务器，驱动机器人执行相应的实验操作。
9.根据权利要求7所述实验方法，其特征在于，所述逆向反馈过程步骤如下：
步骤B1：远程触觉反馈：远端机器人执行操作指令后，机械臂抓握动作受到的压力值远程反馈至触觉感知模块，压电陶瓷执行器向手部相应位置施加反作用力；
步骤B2：实验效果反馈：远端实验室装设摄像头获取声、光信号，装设气体传感器获取嗅觉信息，这些信息均通过处理器的算法进行分析，从而逆向传输至3D显示模块，经过三维建模后直观展示；
步骤B3：实验成绩评估：3D显示模块的服务器中装载一套基于神经网络的成绩评估系统，其中包括对实验进程、操作步骤、实验用具的选取和实验效果等方面的测评机制，以及综合赋分统计，根据远端传输的实验反馈信息进行分数预测。
10.根据权利要求7所述实验方法，其特征在于，所述正向传输过程和逆向反馈过程并向同时进行，互不影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310426299.6A CN116795208A (zh) | 2023-04-20 | 2023-04-20 | 一种基于触觉反馈的远程实验系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310426299.6A CN116795208A (zh) | 2023-04-20 | 2023-04-20 | 一种基于触觉反馈的远程实验系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116795208A true CN116795208A (zh) | 2023-09-22 |
Family
ID=88035163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310426299.6A Pending CN116795208A (zh) | 2023-04-20 | 2023-04-20 | 一种基于触觉反馈的远程实验系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116795208A (zh) |
-
2023
- 2023-04-20 CN CN202310426299.6A patent/CN116795208A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kumar et al. | Mujoco haptix: A virtual reality system for hand manipulation | |
| CN111443619B (zh) | 一种虚实融合的人机协作仿真方法和系统 | |
| CN104602868B (zh) | 用于机器人训练的用户接口 | |
| Singh et al. | An interface for remote robotic manipulator control that reduces task load and fatigue | |
| Mouri et al. | Review of gifu hand and its application | |
| CN104156068A (zh) | 一种基于虚拟手交互特征层模型的虚拟维修交互操作方法 | |
| Fan et al. | Development of an integrated haptic sensor system for multimodal human–computer interaction using ultrasonic Array and cable robot | |
| Mi et al. | Gesture recognition based teleoperation framework of robotic fish | |
| US11947399B2 (en) | Determining tap locations on a handheld electronic device based on inertial measurements | |
| Caldwell et al. | Telepresence feedback and input systems for a twin armed mobile robot | |
| CN116795208A (zh) | 一种基于触觉反馈的远程实验系统及方法 | |
| Butnariu et al. | DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS. | |
| Sanches et al. | Scalable. Intuitive Human to Robot Skill Transfer with Wearable Human Machine Interfaces: On Complex, Dexterous Tasks | |
| Shanmugam et al. | A Comprehensive Review of Haptic Gloves: Advances, Challenges, and Future Directions | |
| Ziegler | Haptic displays: how can we feel virtual environments? | |
| Nitsch | Haptic human-machine interaction in teleoperation systems and its implications for the design and effective use of haptic interfaces | |
| Spano | Teleoperating Humanoids Robots using Standard VR Headsets: A Systematic Review. | |
| Charoenseang et al. | 5-finger exoskeleton for assembly training in augmented reality | |
| CN109801709A (zh) | 一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统 | |
| Thompson | Redesigning the human-robot interface: intuitive teleoperation of anthropomorphic robots | |
| US20230286159A1 (en) | Remote control system | |
| Adam | Towards more realism: Improving immersion of a virtual human-robot working cell and discussing the comparability with its real-world representation | |
| CN114816072A (zh) | 用于元宇宙交互的游戏手套系统 | |
| Yalçinkaya | Designing 3D scenarios and interaction tasks for immersive environments | |
| CN116524783A (zh) | 一种虚实临境飞行训练系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |