CN201903986U - 机器人模拟训练系统 - Google Patents
机器人模拟训练系统 Download PDFInfo
- Publication number
- CN201903986U CN201903986U CN2010206751656U CN201020675165U CN201903986U CN 201903986 U CN201903986 U CN 201903986U CN 2010206751656 U CN2010206751656 U CN 2010206751656U CN 201020675165 U CN201020675165 U CN 201020675165U CN 201903986 U CN201903986 U CN 201903986U
- Authority
- CN
- China
- Prior art keywords
- master control
- training system
- robot simulation
- steering order
- control set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Abstract
一种机器人模拟训练系统，包括：接收控制指令并根据所述控制指令与触摸装置接触的主控装置；与所述主控装置连接的用来获取并反馈接触位置以及根据所述控制指令及接触位置显示虚拟模型变化的触摸装置。上述机器人模拟训练系统通过操作主控装置与触摸装置来实现虚拟模型的虚拟操作，提供了逼真地操作环境，以提高操作过程中的互动性，降低了训练成本，并有效提高了训练效率。
Description
【技术领域】
本发明涉及遥操作技术，特别是涉及一种机器人模拟训练系统。
【背景技术】
在各种精密的操作过程中，任何一个操作失误或者误差都会带来非常严重的事故。例如，在医生的手术过程中，手术医生技能不过关、实习生操刀导致医疗事故的事件时有发生，因此，医生必须接受严格的手术训练才能够保证病人的生命安全和手术的成功实施。
对于这一类精密的操作过程而言，其训练过程往往缺乏互动性，采用学徒的模式来进行培训，例如，为培养一个熟练的外科医生，传统的外科医生手术技能培训方式常常是在动物、尸体或病人身上进行反复磨练，不能进行反复的训练，并且病人所承担的风险也非常高。
【发明内容】
基于此，有必要提供一种可提高互动性的机器人模拟训练系统。
一种机器人模拟训练系统，包括：接收控制指令并根据所述控制指令与触摸装置接触的主控装置；与所述主控装置连接的用来获取并反馈接触位置以及根据所述控制指令及接触位置显示虚拟模型变化的触摸装置。
优选地，所述主控装置包括：用来跟随拖动操作运动以生成运动状态，并反馈运动效果的力反馈设备；分别与所述力反馈设备及触摸装置连接的用来根据运动状态生成控制指令及施加于机械臂上的控制力，并根据所述运动状态及反馈的接触位置生成变形数据及运动效果的控制器；根据所述控制指令及控制力在所述触摸装置上运动的机械臂。
优选地，所述主控装置还包括：与所述控制器连接的用来显示所述机械臂在所述触摸装置上的运动的显示器。
优选地，所述显示器配合立体眼镜提供三维显示。
优选地，所述力反馈设备的数量为2个。
优选地，所述主控装置还包括：与所述控制器连接的用来获取控制指令的键盘和/或鼠标。
优选地，所述触摸装置包括：用来获取接触位置，显示虚拟模型的触摸屏；与所述触摸屏连接的用来反馈接触位置，并根据所述变形数据更新所述虚拟模型的处理器。
优选地，还包括：与所述主控装置连接的用来根据所述控制指令及接触位置显示主控装置与触摸装置的接触以及虚拟模型变化的展示装置。
上述机器人模拟训练系统通过操作主控装置与触摸装置来实现虚拟模型的虚拟操作，提供了逼真地操作环境，以提高操作过程中的互动性，降低了训练成本，并有效提高了训练效率。
上述机器人模拟训练系统通过力反馈设备进行操作，实时控制机械臂进模拟操作，并反馈模拟操作后的运动效果，实现触觉交互，提高了虚拟过程中的沉浸感。
上述机器人模拟训练系统通过显示器实时显示机械臂在触摸装置中的运动，为观摩提供了便利。
【附图说明】
图1为一个实施例中的机器人模拟训练示意图；
图2为一个实施例中的主控装置的示意图；
图3为一个实施例中的触摸装置的示意图。
【具体实施方式】
在一个实施例中，如图1所示，机器人模拟训练系统包括主控装置10以及触摸装置20，其中：
主控装置10用来接收控制指令并根据控制指令与触摸装置20接触；触摸装置20与主控装置10连接，用来获取并反馈接触位置，根据控制指令及接触位置显示虚拟模型变化。
虚拟模型指的是模拟操作场景得到的虚拟对象。例如，虚拟模型可以是在手术场景的模拟过程中所产生的虚拟的病人的脊柱三维模型。主控装置10通过与触摸装置20接触来进行操作场景的模拟，即根据主控装置10中的操作指令，触摸装置20中所显示的虚拟模型发生相对应的变化，使用者可实时地观察虚拟模型在主控装置10的作用下所发生的变化。
在另一实施例中，上述机器人模拟训练系统还包括展示装置(图中未示出)。该展示装置与主控装置10连接，用来根据控制指令及接触位置显示主控装置10与触摸装置20的接触以及虚拟模型变化的展示装置。本实施例中，展示装置由立体显示设备构成，实时接收主控装置10中的控制指令及虚拟模型的变化，将主控装置10与触摸装置20所模拟的虚拟场景实时地显示，以供他人观摩。
在一个具体的实施例中，机器人模拟训练系统如图2所示。主控装置10包括力反馈设备102、控制器104以及机械臂106。
力反馈设备102用来跟随拖动操作运动，并生成运动状态，并反馈运动效果；控制器104分别与力反馈设备102连接以及触摸装置20连接，用来根据运动状态生成控制指令及施加于机械臂106上的控制力，并根据运动状态及反馈的接触位置生成变形数据及运动效果。机械臂106根据控制指令及控制力在触摸装置20上运动。
在优选的实施例中，为方便使用者操作，力反馈设备102的数量为2个，可以是易于操作的六自由度力反馈设备Phantom Omni，由SensAble TechnologiesInc生产。使用者拖动力反馈设备102的操作手柄，使力反馈设备102的操作手柄沿任意方向移动，进而使得机械臂106逼近触摸装置20并在其上运动，并向使用者反馈运动效果，以便于让使用者得到操作过程中的触觉感受。力反馈设备102的运动状态记录了力反馈设备102的手柄位置以及使用者施加于手柄上的力。
控制器104根据运动状态生成用于控制机械臂106运动的控制指令，并根据使用者施加于力反馈设备102的手柄上的力得到施加于机械臂106上的控制力，从而实现了对机械臂106的准确控制。本实施例中，控制器104将力反馈设备102的手柄末端和机械臂106的末端都映射到相应的世界坐标系中，分别得到力反馈设备代理点和机械臂代理点，生成机械臂代理点跟随力反馈设备代理点运动的控制指令，并在力反馈设备代理点和机械臂代理点之间构建虚拟弹簧，基于刚度系数和阻尼系数计算得到机械臂代理点的控制力。
控制器104根据力反馈设备102的运动状态及触摸装置20所反馈的触摸位置来生成变形数据，该变形数据用于触摸装置20中的虚拟模型在与机械臂106接触时所发生的变化，例如，在手术的场景模拟过程中，变形数据指的是机械臂106中的手术工具与脊柱模型交互后，脊柱模型中的骨骼三角面片的位移。
在手术场景模拟过程中，控制器104使用基于层次包围盒的检测算法实时地计算机械臂106中的虚拟工具骨钻与脊柱模型的碰撞情况。若发生碰撞，则记录一组骨钻上的碰撞点和骨骼模型上碰撞的三角面片，根据骨钻的旋转轴和形状，计算三角面片的位移，进而生成变形数据，以供触摸装置20实时更新虚拟模型。
骨钻手感的模拟过程为：根据碰撞的速度和碰撞点数量，根据冲量定律、动能定理和滑动摩擦力计算骨钻力矩，并根据骨钻力矩换算为运动状态，即施加于力反馈设备上的力。
机械臂106接收控制器104中的控制指令及控制力，并在控制指令和控制力的作用下，以触摸装置20中的虚拟模型为操作对象，实现精密操作过程的模拟。本实施例中，机械臂106可以选用SensAble Technologies Inc所生产的力反馈设备Phantom Premium 3.0。根据控制指令，机械臂106通过使用者选择的虚拟工具与触摸装置20中的虚拟模型接触进行虚拟操作。
在另一实施例中，主控装置10还包括显示器(图中未示出)。显示器与控制器104连接，用来显示机械臂106在触摸装置20上的运动。本实施例中，使用者可以通过观察显示器上的虚拟手术环境，操作力反馈设备102，向机械臂106发送操作指令及施加于机械臂106上的控制力，实现对机械臂106的遥操作。在优选的实施例中，显示器为三维显示器，该显示器配合立体眼镜提供三维显示。例如，可以选用由SenseGraphics公司生产的Display 300。使用者可以佩戴立体眼镜来观察显示器中的虚拟模型。
在其它实施例中，主控装置10还包括了键盘和/或鼠标(图中未示出)。该键盘或鼠标与控制器连接，用来获取控制指令。本实施例中，使用者可通过键盘或鼠标来进行控制指令的输入，例如使用者可通过鼠标进行机械臂106末端虚拟工具的选择。例如，在进行手术场景的模拟过程中，可在图形界面的工具栏中单击鼠标左键进行相应的手术工具的选择。通过键盘对整个虚拟的手术场景进行旋转、平移及缩放操作，使得使用者更加有效直观地虚拟模型的解剖结构、机械臂的位置、手术工具与虚拟模型的碰撞等信息。
在一个具体的实施例中，如图3所示，该触摸装置20包括触摸屏202以及处理器204，其中：
触摸屏202用来获取接触位置，显示虚拟模型；处理器204与触摸屏202连接，用来反馈接触位置，并根据变形数据更新虚拟模型。
本实施例中，触摸屏202为机械臂106提供了进行操作的对象即虚拟模型，根据机械臂106与触摸屏202的接触位置及控制力，虚拟模型在触摸屏202上展示出具体的变化。
处理器204接收控制器104中的变形数据，根据变形数据更新触摸屏202中的虚拟模型，接收接触位置并反馈至控制器104中。
在主控装置10中，显示器为使用者提供了操作平台，操作平台包括了视图、工具栏和控制面板。视图用于查看虚拟模型，例如，在手术场景中，视图包括主视图、矢状图、冠状图和水平面的视图，矢状图、冠状图和水平面的视图有利于辅助使用者确定机械臂106、虚拟手术工具和虚拟模型的相对位置。通过操作平台中的工具栏进行虚拟工具的选择，例如，在虚拟手术场景中工具栏包括固定触觉引导工具、解剖刀选择工具以及骨钻选择工具，使用者通过鼠标单击工具栏上的按钮进行相应手术工具的选择。
控制面板为使用者提供了4个点进行控制精度的测试。当使用者操作力反馈设备102的手柄使机械臂106运动到指定位置的过程中，可以使用控制面板中提供的粗调和细调功能。例如，通过鼠标单击“粗调”按钮，使机械臂106快速地逼近指定位置，然后，再通过鼠标单元“细调”按钮，使机械臂106非常精确地运动到指定位置。
上述机器人模拟训练系统既可应用于手术的模拟过程中，也可以应用于其他的模拟过程中。
上述机器人模拟训练系统通过操作主控装置与触摸装置来实现虚拟模型的虚拟操作，提供了逼真地操作环境，以提高操作过程中的互动性，降低了训练成本，并有效提高了训练效率。
上述机器人模拟训练系统通过力反馈设备进行操作，实时控制机械臂进行模拟操作，并反馈模拟操作后的运动效果，实现触觉交互，提高了虚拟过程中的沉浸感。
上述机器人模拟训练系统通过显示器实时显示机械臂在触摸装置中的运动，为观摩提供了便利。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种机器人模拟训练系统，其特征在于，包括：
接收控制指令并根据所述控制指令与触摸装置接触的主控装置；
与所述主控装置连接的用来获取并反馈接触位置以及根据所述控制指令及接触位置显示虚拟模型变化的触摸装置。
2.根据权利要求1所述的机器人模拟训练系统，其特征在于，所述主控装置包括：
用来跟随拖动操作运动以生成运动状态，并反馈运动效果的力反馈设备；
分别与所述力反馈设备及触摸装置连接的用来根据运动状态生成控制指令及施加于机械臂上的控制力，并根据所述运动状态及反馈的接触位置生成变形数据及运动效果的控制器；
根据所述控制指令及控制力在所述触摸装置上运动的机械臂。
3.根据权利要求2所述的机器人模拟训练系统，其特征在于，所述主控装置还包括：
与所述控制器连接的用来显示所述机械臂在所述触摸装置上的运动的显示器。
4.根据权利要求3所述的机器人模拟训练系统，其特征在于，所述显示器配合立体眼镜提供三维显示。
5.根据权利要求2所述的机器人模拟训练系统，其特征在于，所述力反馈设备的数量为2个。
6.根据权利要求2所述的机器人模拟训练系统，其特征在于，所述主控装置还包括：
与所述控制器连接的用来获取控制指令的键盘和/或鼠标。
7.根据权利要求2所述的机器人模拟训练系统，其特征在于，所述触摸装置包括：
用来获取接触位置，显示虚拟模型的触摸屏；
与所述触摸屏连接的用来反馈接触位置，并根据所述变形数据更新所述虚拟模型的处理器。
8.根据权利要求1所述的机器人模拟训练系统，其特征在于，还包括：
与所述主控装置连接的用来根据所述控制指令及接触位置显示主控装置与触摸装置的接触以及虚拟模型变化的展示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010206751656U CN201903986U (zh) | 2010-12-22 | 2010-12-22 | 机器人模拟训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010206751656U CN201903986U (zh) | 2010-12-22 | 2010-12-22 | 机器人模拟训练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201903986U true CN201903986U (zh) | 2011-07-20 |
Family
ID=44274578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010206751656U Expired - Lifetime CN201903986U (zh) | 2010-12-22 | 2010-12-22 | 机器人模拟训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201903986U (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103166987A (zh) * | 2011-12-12 | 2013-06-19 | 中国科学院深圳先进技术研究院 | 虚拟手术中的数据同步方法及系统 |
| CN104778872A (zh) * | 2015-04-03 | 2015-07-15 | 上海交通大学 | 用于机械臂遥操作人机交互研究的仿真实验训练平台 |
| CN104835406A (zh) * | 2015-06-05 | 2015-08-12 | 安徽埃夫特智能装备有限公司 | 工业机器人教学系统 |
| CN105321415A (zh) * | 2014-08-01 | 2016-02-10 | 卓思生命科技有限公司 | 一种手术模拟系统及方法 |
| CN105513487A (zh) * | 2016-02-15 | 2016-04-20 | 苏州哈工海渡工业机器人有限公司 | 一种模块化直角坐标机器人实训台 |
| CN105513455A (zh) * | 2016-02-15 | 2016-04-20 | 苏州哈工海渡工业机器人有限公司 | 一种模块化Delta并联机器人实训台 |
| CN105989769A (zh) * | 2015-02-02 | 2016-10-05 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术模拟力反馈手术培训装置和方法 |
| CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及系统 |
| CN109521695A (zh) * | 2017-09-18 | 2019-03-26 | 宁波Gqy视讯股份有限公司 | 一种机器人的眼灯板编码方法 |
| CN110039561A (zh) * | 2019-05-14 | 2019-07-23 | 南京理工大学 | 基于点云的带电作业机器人遥操作人员培训系统及方法 |
-
2010
- 2010-12-22 CN CN2010206751656U patent/CN201903986U/zh not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103166987A (zh) * | 2011-12-12 | 2013-06-19 | 中国科学院深圳先进技术研究院 | 虚拟手术中的数据同步方法及系统 |
| CN103166987B (zh) * | 2011-12-12 | 2016-06-15 | 中国科学院深圳先进技术研究院 | 虚拟手术中的数据同步方法及系统 |
| CN105321415A (zh) * | 2014-08-01 | 2016-02-10 | 卓思生命科技有限公司 | 一种手术模拟系统及方法 |
| CN105989769A (zh) * | 2015-02-02 | 2016-10-05 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术模拟力反馈手术培训装置和方法 |
| CN105989769B (zh) * | 2015-02-02 | 2019-03-19 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术模拟力反馈手术培训装置和方法 |
| CN104778872A (zh) * | 2015-04-03 | 2015-07-15 | 上海交通大学 | 用于机械臂遥操作人机交互研究的仿真实验训练平台 |
| CN104835406A (zh) * | 2015-06-05 | 2015-08-12 | 安徽埃夫特智能装备有限公司 | 工业机器人教学系统 |
| CN105513487A (zh) * | 2016-02-15 | 2016-04-20 | 苏州哈工海渡工业机器人有限公司 | 一种模块化直角坐标机器人实训台 |
| CN105513455A (zh) * | 2016-02-15 | 2016-04-20 | 苏州哈工海渡工业机器人有限公司 | 一种模块化Delta并联机器人实训台 |
| CN109521695A (zh) * | 2017-09-18 | 2019-03-26 | 宁波Gqy视讯股份有限公司 | 一种机器人的眼灯板编码方法 |
| CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及系统 |
| CN110039561A (zh) * | 2019-05-14 | 2019-07-23 | 南京理工大学 | 基于点云的带电作业机器人遥操作人员培训系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN201903986U (zh) | 机器人模拟训练系统 | |
| US20230346494A1 (en) | Method and system for control using hand tracking | |
| JP6049788B2 (ja) | 仮想道具操作システム | |
| JP6000387B2 (ja) | 低侵襲外科システムにおいて使用するマスターフィンガー追跡システム | |
| US6088020A (en) | Haptic device | |
| Burdea | Haptics issues in virtual environments | |
| JP5702798B2 (ja) | 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置 | |
| US9483119B2 (en) | Stereo interactive method, display device, operating stick and system | |
| CN106781941A (zh) | 一种用于模拟微创穿刺手术的方法及其系统 | |
| JP6193764B2 (ja) | ヒューマンコンピュータインタラクションの制御方法及びその運用 | |
| CN107209582A (zh) | 高直观性人机界面的方法和装置 | |
| JP2009276996A (ja) | 情報処理装置、情報処理方法 | |
| US11604520B2 (en) | Position indicating device and spatial position indicating system | |
| CN105719526A (zh) | 基于力反馈的埋线提眉整形手术模拟系统 | |
| CN108334203A (zh) | 一种用于虚拟现实的虚实融合键盘系统 | |
| Wei et al. | Augmented optometry training simulator with multi-point haptics | |
| Cui et al. | Mid-air interaction with optical tracking for 3D modeling | |
| Nasim et al. | Physics-based interactive virtual grasping | |
| CN202422539U (zh) | 虚拟手术操作装置 | |
| Yeh et al. | An integrated system: virtual reality, haptics and modern sensing technique (VHS) for post-stroke rehabilitation | |
| CN208888763U (zh) | 一种用于虚拟现实的虚实融合键盘系统 | |
| CN104820492A (zh) | 一种三维触觉系统 | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程系统 | |
| CN110363841A (zh) | 一种虚拟驾驶环境中手部运动跟踪方法 | |
| Hoang et al. | 3D interactions with a passive deformable haptic glove |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term | ||
| CX01 | Expiry of patent term |
Granted publication date: 20110720 |