CN103077633A - 一种立体虚拟培训系统和方法 - Google Patents

一种立体虚拟培训系统和方法 Download PDF

Info

Publication number
CN103077633A
CN103077633A CN2013100111508A CN201310011150A CN103077633A CN 103077633 A CN103077633 A CN 103077633A CN 2013100111508 A CN2013100111508 A CN 2013100111508A CN 201310011150 A CN201310011150 A CN 201310011150A CN 103077633 A CN103077633 A CN 103077633A
Authority
CN
China
Prior art keywords
virtual
display screen
module
operation device
operating means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100111508A
Other languages
English (en)
Inventor
简培云
李东方
刘宁
戈张
宋磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Perfect Optics Ltd
Original Assignee
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Perfect Optics Ltd filed Critical Shenzhen Super Perfect Optics Ltd
Priority to CN2013100111508A priority Critical patent/CN103077633A/zh
Priority to US13/862,544 priority patent/US9355574B2/en
Publication of CN103077633A publication Critical patent/CN103077633A/zh
Priority to EP14150772.3A priority patent/EP2755194B1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Medicinal Chemistry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于3D虚拟训练系统的方法及系统，该3D虚拟训练系统包括一个3D显示屏和一个操作装置。该方法包括：初始化一个虚拟医疗训练课程并由所述3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像；获得基于操作装置和3D显示屏的用户交互输入，在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作；根据用户交互输入和手术部位来确定的一个操作结果；根据手术部位和虚拟手术操作的效果来渲染操作结果；由3D显示屏显示经渲染的操作结果的3D虚拟图像。本发明的实施例通过对3D虚拟训练系统的信息交互，提供一种结合立体显示来进行操作的立体虚拟培训系统和方法，从而提高了交互效果。

Description

一种立体虚拟培训系统和方法
技术领域
本发明涉及立体显示技术，尤其涉及立体虚拟交互的方法以及系统。
背景技术
目前的人机交互式系统的各种解决方案大都是基于2D显示的基础之上的，也就是说，用户操作所带来的直接显示效果是以2D来展现的。更进一步，采用阴影，近大远小等透视效果来近似模拟一种立体的感觉。
随着3D显示技术的发展，这种基于2D的显示界面将带来一系列的不符合现实的操作习惯。因为3D带给操作者的直观显示效果是，所有的操作界面是凸出，或者，凹进屏幕的。目前比较普遍的触摸屏的手指或者操作笔都只能在屏幕上进行二维的操作，对于真正的3D操作界面，浮在空中或者凹进屏幕的界面，这种传统的方式都会让操作者感觉并没有真正触摸到实际的界面。
这些问题在传统的虚拟仿真系统上可能会更多地体现出来，如用于各种行业的虚拟训练系统，包括在医疗领域、交通领域、远程教育等领域。现有的技术在这些领域中往往缺乏一个真正意义上的3D现实感。
本发明所公开的方法和系统可以用来解决上述的一个或多个问题以及其它相关的问题。
发明内容
本发明要解决的技术问题是提供一种可以结合立体显示来进行操作的立体虚拟培训系统和方法。
为了解决上述问题，本发明提供了一种用于3D虚拟训练系统的方法，该3D虚拟训练系统包括一个3D显示屏和一个操作装置，该方法包括：
初始化一个虚拟医疗训练课程并由所述3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;
获得基于操作装置和3D显示屏的用户交互输入，在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作;
根据用户交互输入和手术部位来确定一个操作结果;
根据手术部位和虚拟手术操作的效果来渲染操作结果;
由3D显示屏显示经渲染的操作结果的3D虚拟图像。
其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
配置操作装置的操作模式，从而调整3D显示屏上显示的虚拟手术装置的形状、类型、和大小中的至少一个。
其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
确定操作装置和3D显示屏之间的接触点的空间位置;
确定操作装置的空间操作角度;
确定操作装置的旋转操作。
其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：
感测在操作装置和3D显示屏幕之间的接触点的接触力;
根据接触力计算出操作装置相对于3D显示屏的回缩程度。
其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：
设置所述接触力的阈值；
当所述接触力高于所述阈值时，在3D显示屏上显示基于回缩程度的所述虚拟手术装置。
其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
根据操作装置的一个或多个预定区域的力反馈来控制虚拟手术装置的操作方式或操作力强度。
其中，所述根据手术部位和手术操作的效果来渲染操作结果的步骤包括：
根据手术部位来确定虚拟手术操作的显示场景的缩放因子;
利用缩放因子来控制显示场景和/或虚拟手术装置的放大或缩小操作，使得所述虚拟手术装置和显示场景相匹配。
其中，所述根据用户交互输入和手术部位来确定一个操作结果的步骤包括：
基于用户交互输入确定虚拟手术装置的空间位置;
确定对应虚拟手术装置的手术部位的空间位置;
对比虚拟手术装置的空间位置和对应的手术部位的空间位置；
基于对比结果触发一个操作事件；
确定由所述操作事件引起的操作结果。
本发明还提供了一个3D虚拟训练系统，包括：
一个3D显示屏;
一个3D系统控制器;
一个耦合到3D系统控制器并交换交互数据的操作装置，
所述3D系统控制器包括：图像数据模块、虚拟操作模块、3D显示模块、以及控制模块，其中：
图像数据模块，用于初始化一个虚拟医疗训练课程并在显示模块的控制下由3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;
虚拟操作模块，用于获得基于操作装置和3D显示屏的用户交互输入，经虚拟操作模块的处理后在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作，根据用户交互输入和手术部位来确定一个操作结果;
3D显示模块，用于根据手术部位和虚拟手术操作的效果来渲染操作结果，由3D显示屏显示经渲染的操作结果的3D虚拟图像；
控制模块，用于配置和控制3D系统控制器内的图像数据模块、虚拟操作模块、3D显示模块。
其中，虚拟操作模块用于：
配置操作装置的操作模式，从而调整3D显示屏上显示的虚拟手术装置的形状、类型和大小中的至少一个。
其中，虚拟操作模块，用于执行至少以下三种操作中的一种：
确定操作装置和3D显示屏之间的接触点的空间位置;
确定操作装置的空间操作角度;
确定操作装置的旋转操作。
其中，虚拟操作模块用于：
感测在操作装置和3D显示屏幕之间的接触点的接触力;
根据接触力计算出操作装置相对于3D显示屏的回缩程度。
其中，虚拟操作模块用于：
设置所述接触力的阈值；
当接触力高于所述阈值时，在3D显示屏上显示基于回缩程度的虚拟手术装置。
其中，虚拟操作模块用于：
根据手术部位来确定虚拟手术操作的显示场景的缩放因子；
利用缩放因子来控制显示场景和/或虚拟手术装置的放大或缩小操作，使得所述虚拟手术装置和显示场景相匹配。
其中，虚拟操作模块用于：
基于用户交互输入确定虚拟手术装置的空间位置;
确定对应虚拟手术装置的手术部位的空间位置;
对比虚拟手术装置的空间位置和对应的手术部位的空间位置；
基于对比结果触发一个操作事件；
确定由所述操作事件引起的操作结果。
其中，3D显示模块用于：
统计在虚拟手术操作和虚拟医疗训练课程的结果的数据而显示。
基于本公开的说明书、权利要求书、和附图，本领域技术人员应当理解本公开的其他方面。
附图说明
图1示出了与披露的实施例相一致的示意3D训练系统；
图2示出了与披露的实施例相一致的示意图医疗训练系统；
图3示出了与披露的实施例相一致的示意3D系统控制器的框图；
图4示出了与披露的实施例相一致的示意操作装置；
图5示出了与披露的实施例相一致的示意配置和操作流程；
图6示出了与披露的实施例相一致的操作装置的示意预配置；
图7示出了与披露的实施例相一致的在XYZ三维坐标系统中的操作棒接触点；
图8示出了与披露的实施例相一致的示意3D显示模块;
图9示出了与披露的实施例相一致的示意操作流程。
具体实施方式
下面将详细地参考如附图所示的本发明的示意实施例。在可能的情况下，附图中的各个部分提到的相同或相似的部分将采用相同的参考标记。
图1示出了与披露的实施例相一致的一个示意3D训练系统100。如图1中所示，3D训练系统100包括一个3D显示屏110、一个3D系统控制器120、和一个操作笔130。当然其他设备也可以包括在3D训练系统100中。操作笔130可和3D系统控制器120相连接，使得操作笔130和的3D系统控制器120可以交换信息来为3D训练系统100的一个用户完成一些3D虚拟训练操作。
3D显示屏110可以包括任何适当类型的显示屏，如等离子体显示面板（PDP）的显示屏、场致发射显示器（FED）的显示屏、阴极射线管（CRT）显示屏、液晶显示（LCD）的显示屏、有机发光二极管（OLED）显示屏、或其他类型的显示屏。另外，3D显示屏110也可以是触摸敏感的，即触摸屏。当然其他的显示类型也可以使用。
3D系统控制器120可包括任何适当的装置，其能够处理和显示2D图像和3D图像，例如计算机、电视机、智能电话、平板计算机、或消费者电子设备。虽然3D系统控制器120被示出为笔记本电脑，3D系统控制器120可以包括任何有计算能力的终端装置。
3D系统控制器120可包括任何适当的结构和组件，以支持3D训练系统100的操作。例如，3D系统控制器120可以包括一个处理器以及与其他设备，例如随机存取存储器（RAM）、只读存储器（ROM）、输入/输出接口、传感器驱动电路、通信接口、和存储器/数据库等，用来控制3D系统控制器120的操作。计算机程序可以储存在存储器上并在执行时加载到存储器，用于执行由所述处理器执行的各种模块和单元。上述设备并无局限性，某些设备可以被删除，其他设备也可以被加入。
操作笔130或操作装置130可包括任何适当的各种形状的3D输入设备，例如操作笔、操作棒、或操作人员可以运作的其他物体。在3D训练系统100的操作过程中，用户可以使用操作笔130通过三维显示屏110的三维图像与3D系统控制器120进行交互。3D训练系统100可以用来实现多种三维训练系统，如医疗训练系统、驾驶训练系统、或其他训练系统。图2示出了与所公开的实施例相一致的一个医疗训练系统100。在某些实施例中，手势输入装置也可以被用作操作笔130。例如，用户可以基于手势的输入设备，如摄像头或其他传感装置，使用一个或多个手指来执行与3D训练系统100的用户交互。
如图2中所示，医疗训练系统100的用户所选择的一个医疗主体150被显示在3D显示屏110上。医疗主体150可以包括任何适当的可被用来模拟真实世界的医疗主体，如人体、身体的一部分、或动物体的身体或部分等。医疗主体150可被显示成从显示屏110凹进的立体图像。另外，医疗主体150可以包括各种部件或器官，如主要器官和血管152。
选择医疗主体150后，用户可以使用操作笔在医疗主体150上来虚拟执行某些医疗操作。具体而言，用户可以在凹入的医疗主体150上执行一些接触操作。由于医疗主体150被从显示成凹入画面，操作笔130的顶部在到达医疗主体150的表面之前，会首先触摸显示屏。
为使用户有更逼真的感觉，操作笔130的顶部部分可以被配置为可伸缩，并且操作笔130的顶部缩回部分的3D图像可在显示屏上被显示为所需的医疗器械，如手术刀、手术夹子、或手术剪刀等。因此，通过紧抓操作笔130，用户可以操纵操作笔130以在医疗主体150上执行一个虚拟的医疗操作，如虚拟手术等。
图3示出与所公开的实施例相一致的一个示意3D系统控制器120的框图。如图3所示，3D系统控制器120可包括图像数据模块302、虚拟操作模块304、3D显示模块306、以及控制模块308。当然3D系统控制器120也可以包括其他模块。这些模块可以由软件、硬件、或软件和硬件的组合来实现。此外，各模块之间的连接线仅用于说明目的，这些模块之间可以互相交流信息以执行相应的操作。
图像数据模块302可被配置来收集、存储和应用某些数据以建立一个医学主体150的3D模型，其可能是手术目标或手术部位，如人体（例如，一个病人）或人体器官。这样的数据可以包括患者的手术部位的立体结构信息和特征信息。其中立体结构信息是指该手术部位各个细节的三维空间坐标描述。
例如，在一个胃手术中，手术部位（即，胃）可以被划分成几个部分，如贲门、胃底、胃体、胃窦、和幽门，立体结构信息包括这些部分内包含的细节部位的空间坐标信息，比如说胃窦上面依附的血管的空间分布区域（坐标），比如说胃体的胃壁上粘膜层、粘膜下层、肌层、浆膜层，的空间分布区域信息，总之立体结构信息包括根据手术内容的需要对手术部位的详细的空间刻画。
另外，特性信息是指手术部位的生理特性信息。例如，胃壁上的粘膜层的特征信息包括其是什么颜色的、其材质是骨骼还是脂肪或是其他、其柔韧度的强度有多大等。血管的特征信息包括里面的血压有多大、里面的血液流动速度是多少、血管壁的柔韧度有多强等。总之特征信息是包括手术部位的生理特点的详细描述。根据虚拟手术的要求，立体结构信息和特征信息互相结合来描述和描绘一个特定的手术部位（例如，胃）。
上述立体结构信息和特征信息的数据采集可以用计算机3D空间建模并根据经验给定特征信息值；或利用医疗器械对实际病人进行多次的2D扫描（需要3D空间结构复原）或一次的3D扫描来获得手术部位的空间结构信息。另外，也可通过做一些医学检查（比如说测量血压，血脂等）结合病人的基本情况（比如说性别，年龄等）以及一些医学经验给出特征信息值。
此外，图像数据模块302还可以被配置来提供一个手术部位的初始的数据模型，用于一个特定需要手术的疾病。更具体地说，在获得立体结构信息和特征信息之后，手术部位的三维模型就可以建成；有了这个三维模型后，一个特定疾病的空间信息和特性信息，例如肿瘤或胃穿孔，就可以和手术部位的三维模型相结合以获得针对特定疾病的手术部位的3D图像。
返回到图3，虚拟操作模块304可以被配置来处理和控制操作笔130，以实现基于操作笔130的虚拟手术。图4示出一个示意操作笔130。
如图4所示，操作笔130可以包括外壳131、可伸缩头部132、通信单元133、定位单元134、力反馈单元135和伸缩感应单元136。当然，某些组件可以被省略，而其他组件可以被添入。例如，操作笔130也可以包括一些辅助部件，如电池和充电单元（未示出）等，或操作笔130根据不同的应用可能会被修改或简化。
外壳131可以是任何易于把持的形状，如笔状或棒状，并且可以由任何合适的材料制成，如金属或塑料。可伸缩头部132以可伸缩的方式与外壳131连接，并可以使用各种可伸缩的结构，诸如以弹簧为基础的架构。另外，可伸缩头部132用于碰触3D显示屏的部位称之为接触部，可伸缩头部132远离外壳131的一端设计为一尖端，将该尖端作为可伸缩头部132的接触部，也可以称之为操作笔130的触点。
通信单元133与定位单元134、力反馈单元135和伸缩感应单元136电连接，用于实现操作笔130与3D系统控制器120之间的信息交互。该信息交互可以采用无线通信方式如蓝牙，无线USB等，也可以采用有线通信方式，如I2C，USB等。
定位单元134被配置为检测在实时的位置和姿态，在空间中的操作笔130，和用于传输的通信单元133发送所检测到的三维位置信息。定位单元134可以包括若干传感器，如运动轨迹传感器和姿态检测传感器。例如，陀螺仪传感器可以用于获得运动轨迹数据（例如，在空间中的操作笔130的位置信息），同时，也可以使用一个加速度计获得的方位角数据（例如，操作笔130的手势信息）。其它传感器也可使用，如地磁传感器和摄像头。例如，运动轨迹数据可以通过至少两个摄像头来获得，或者运动轨迹数据可以通过一个陀螺传感器结合至少一个摄像头来获得。
定位单元134被配置来实时检测操作笔130在空间中的位置和姿态，并将检测到的三维位置信息传送给通信单元133发送。该定位单元134可以包括若干传感器，如运动轨迹传感器和姿态检测传感器。例如，陀螺仪传感器可以用于获得运动轨迹数据（例如，在空间中的操作笔130的位置信息），同时，也可以使用一个加速度计获得方位角数据（例如，操作笔130的姿态信息）。当然，也可使用其它传感器，如地磁传感器。
当操作笔130处于初始状态下，其运动轨迹的初始位置可以被设置为定位单元134（或其他单位）在参照系中的相对位置。定位单元134检测到的三维位置信息可以是三维位置信息和姿态信息以及其他计算的信息，如操作笔130尖端的三维位置信息或根据三维位置和姿态的信息计算出的中间结果。
基于由通信单元133接收的力反馈指令，力反馈单元135被配置来执行模拟力反馈的操作，即对某些用户动作的物理反应。例如，力反馈单元135可包括一个电子机械模块以便在接收力反馈指令后模拟一个真实按钮被按压的震动，使得操作者能够身历其境地感受到3D界面的操作，以产生沉浸感。该电子机械模块可以是电动震动马达、人造肌肉膜或者是其他的模拟震动装置。
伸缩感应单元136被配置来实时检测操作笔130头部的缩进长度（即可伸缩头部132的缩进距离），并将检测到的缩进长度的信息传送给通信单元133发送。其伸缩感应操作可以采用压力传感器来实现。
例如，可伸缩头部132可包括操作笔130尖端和一个耦合在尖端和压力传感器之间的一个弹性装置，例如弹簧。当操作笔130尖端的伸缩长度变化的时候，弹性装置在压力传感器上的压力也发生变化，伸缩感应单元136就可以把压力信息转换成相应的电信号，并把转换后的信息传送给通信单元133发送。因此，操作笔130的可伸缩头部132的缩回长度就可以在该电信号的数值的基础上加以确定。当然，这里也可以使用其它的检测结构，例如光电探测器。
返回到图3，在操作中，虚拟操作模块304可以执行特定的程序，以处理来自操作笔130的数据（例如，操作笔130的三维位置信息和姿态信息）和控制操作笔130实现虚拟手术操作。在某些实施例中，用户可以同时使用一个以上的操作笔130来模拟一个以上的手术装置。图5示出由虚拟操作模块304（或连同操作笔130）执行的示意步骤或程序。这些列出的步骤或程序并没有任何特定的顺序或序列，并且某些步骤或程序可以是可选的。
如图5所示，当用于医疗虚拟手术时，操作笔130的操作模式可以在虚拟手术开始之前来确定（502）。例如，操作笔130可以被预先配置成所希望的手术装置，即，外科手术器械。图6示出了示例性的预配置的操作笔130。
如图6所示，当把操作笔130预先配置成手术装置的时候，手术装置的形状首先被确定。外科器械或外科手术装置的形状可包括各种类型的手术刀、不同类型的手术镊子、和不同类型的手术用止血钳等。
同时，手术装置的大小也可以被确定。手术装置的大小是指根据场景的需要可以放大或缩小手术装置，比如说当进行微创手术时，根据需要需将手术部位放大显示，此时的手术装置也需要放大相同的倍数，以更接近实际手术。预配置的手术装置（包括其形状和尺寸）在虚拟手术过程中被作为手术装置140（图2）显示给用户并工用户选择。
返回到图5，当用户使用操作笔13并且操作笔130接触3D显示屏，画面，操作笔在显示屏上的接触点的坐标可以实时获取（504）。图7示出XYZ三维坐标系统中的操作笔接触点。
如图7所示，当操作笔130在接触点C接触显示屏时，接触点C的平面坐标可以使用3D显示屏的触摸感应装置来实时获得。如果显示屏的平面被定义为一个z=0的空间坐标系中的平面，接触点C也可以被表示为空间坐标。
另外，参照图5和图7，使用操作笔130上的感应装置（例如，陀螺仪或地磁传感器）或其他装置（例如，监视摄像机），可以实时获取操作笔130的空间操作角度（506）。例如，操作笔130的空间操作角度可以被确定为操作笔相对于的x，y，z轴的角度。
另外，使用操作笔130（例如，陀螺仪）或其他装置上使用的旋转感测装置，操作笔130的旋转操作可以被确定（508）。例如，当操作笔130的操作模式是与具有固定的尺寸和形状的手术刀，手术刀刃方向为初始化时设定的方向，通过转动操作笔130可以来实现转动手术刀改变刀刃朝向。
此外，根据在操作笔和3D显示屏之间的接触点C上所感测的接触力，操作笔130的回缩程度可以实时计算出来（510）。操作笔130上任何点的回缩程度（或回缩值）可以表示为该点的Z坐标值。例如，在点C处的接触力（或反馈力）越大，该点的Z坐标值就越小，即从3D显示屏凹进更远。同样地，在点C处的接触力越小，该点的Z坐标值就越大，即越接近3D显示屏。当不存在接触力或接触力低于预定阈值，所述虚拟手术装置就不会出现在虚拟场景中的显示屏上。当有接触力或接触力是预定的阈值以上，所述虚拟手术装置根据其收缩程度就会被显示在显示屏上。接触力或反馈力的值可以由显示屏上的压力传感装置得到，或由操作笔130的收缩比等得到。
另外，可以通过操作笔130上某一或几个特定区域的力反馈来控制虚拟手术装置的工作方式或操作方式（512）。例如，一个或多个按钮（或虚拟按键）可以被配置在操作笔的操作模式中。对于手术用镊子在手术过程中执行“夹住”和“张开”的动作，可以设置一个执行“张开”操作的虚拟按键。当“张开”按钮被按下时，虚拟手术设备（即，一个虚拟手术镊子）可能会执行“张开”操作。其执行“张开”操作的速度和时间与按键的力度和时间相关。另外，还可以设置一个执行“夹住”操作的虚拟按键，按下该功能键时虚拟的镊子执行“夹住”的操作，其执行“夹住”操作的速度和时间与按键的力度和时间相关。当然，“张开”和“夹住”操作不能无限操作，其有最大的张开角度和夹住角度界限控制。这些虚拟功能键会根据操作笔130预先设定的工作模式自动切换。
手术装置的操作力强度可以通过操作笔130上某一特定的区域的力反馈来控制（514）。例如，如果操作笔130的操作模式是手术刀，用手术刀切割脂肪组织的力强度和用于切割的骨骼结构的力强度是不同的。用户在操作笔130的预定区域的握住程度可以表明使用手术刀的力强度，并且，从预定区域的力反馈也和手术刀上所施加的力成比例。
另外，操作笔130可以装有触觉反馈装置。通过控制触觉反馈装置，可以根据虚拟手术装置和手术目标或手术部位的3D内容的具体交互给予相应的触觉反馈（516）。例如，如果虚拟手术刀在切割脂肪组织意外切到骨结构时，操作笔130发出振动把触觉反馈给用户。
返回到图3，3D系统控制器120还包括一个3D显示模块306被配置来控制在初始配置和实时运行过程中的3D训练系统100的3D显示功能。例如，3D显示模块306可以实现带眼镜的3D显示方式，需要通过左右眼分别观看两个独立镜筒，定点裸眼3D方式或者带跟踪的裸眼3D方式，或者全息3D显示的方式等等。出于方便说明的目的，这里采取通过眼部跟踪的裸眼3D方式。
3D显示模块306可以包括各种模块和单元来实现这些3D显示功能。图8示出了一个示意3D显示模块306。
如图8所示，3D显示模块306可以包括一个3D显示场景控制模块810、一个三维显示控制模块820、和一个三维渲染模块830。3D显示场景控制模块810可以包括视差控制单元811、场景旋转和移位单元812、放大和缩小单元813。3D显示控制模块820可以包括头部（眼部）跟踪单元821和播放器单元822。3D渲染模块830可以包括手术部位渲染单元831、手术装置操作渲染单元832、和手术场景渲染单元833。当然，其他模块/单元可以加入，并且某些模块/单元可以被省略。
该3D显示控制模块820可以被配置来控制3D图像的显示。例如，由于在医疗训练系统的3D显示内容都是虚拟内容（即，从显示屏凹进），包括手术部位和手术装置。3D显示控制模块820可以使用运动视差来实现全息效果。也就是说，根据头部跟踪单元821获得的双眼观看实时空间位置，3D显示控制模块820可以计算此时左右眼看到的左右图。左图像和右图像可表示手术部位和手术装置的空间场景信息按照左眼和右眼的观看角度的分别投影。
计算出的左图像和右图像被实时发送到播放器单元822进行排图。播放器单元822可以是两图播放器（即，左图像和右图像），或者可以是多图播放器。这些图像按一定的方式进行排布来实现一个全息效果，即用户从不同的角度观看可以看到不一样的内容。
3D显示场景控制模块810可以被配置来控制实时显示操作场景，如对手术部位和手术装置的显示。例如，视差控制单元811可以控制3D显示内容的凸出和凹进的程度；场景旋转和移位单元812可根据虚拟手术的要求来确定显示场景的旋转和/或移动，并对相应的3D显示内容的旋转和/或移动进行控制。此外，放大和缩小单元813可以根据虚拟手术的手术部位来确定放大或缩小显示场景的比例因子，并控制对手术场景的放大或缩小。同时，放大和缩小单元813也可以应用相同的缩放因子来放大或缩小手术装置以匹配手术部位的放大或缩小操作。
此外，3D渲染模块830可以被配置来产生有虚拟操作的特殊效果的渲染图像。例如，手术部位渲染单元831可实时呈现虚拟手术中的手术部位的空间图像。手术装置操作渲染单元832可呈现具有特定的操作模式和操作条件的手术装置的空间图像。
手术场景渲染单元833可以呈现在用户交互（即，虚拟手术）过程中的某些操作场景的空间图像。例如，手术场景渲染单元833可呈现三维操作过程中的一个偶发事件的空间图像。也就是说，在一个虚拟的手术过程中，当操作笔或手术装置与3D显示内容进行交互时，某些没有预料的手术装置和3D显示内容之间的接触可能会触发某些事件或意外事件，其需要被渲染并显示给用户。
例如，如果操作笔130的操作模式是手术刀，在虚拟手术过程中，3D渲染模块830可以检测到虚拟手术刀切到血管，即，手术刀刀刃的空间坐标与血管的空间坐标有重叠。检测到这样的重叠后，3D渲染模块830可以触发一个偶发事件，然后手术场景渲染单元833就可以呈现血管被切割的操作场景的空间图像，比如血管周围的形状和颜色的变化，来模拟血管受损的效果。
返回到图3，3D系统控制器120还可以包括一个控制模块308，其被配置来控制3D系统控制器120内的模块的操作和/或训练系统100内的其他模块和设备的操作。即，控制模块308可以执行特定的程序以实施立体训练系统100的虚拟手术功能（或其他训练功能）。图9示出了与所公开的实施例相一致的示意操作过程。
如图9所示，在操作过程的起始，3D训练系统可以初始化一个虚拟医疗训练课程。具体而言，3D训练系统获取一个用户输入请求开始医疗训练课程，例如一个虚拟手术。用户也可输入选择手术目标、手术部位、手术条件等。
在接收用户输入之后，3D训练系统100可以获得手术目标、手术部位、以及手术条件的3D显示内容等，并且也可以把3D显示内容显示给用户（作为一个医疗主体）。同时，3D训练系统100可以获取用户对操作笔130的配置，如操作笔130的操作模式、操作方式、和其他配置，这样操作笔130就可以配置成所希望的手术装置。
初始化之后，通过操作操作笔130和3D训练系统100的3D显示内容来进行交互，用户就可以开始手术课程。3D训练系统100可以获取用户交互的输入。例如，3D训练系统100可以从操作笔130（例如，通信单元133），取得不同的位置、力反馈、和空间信息，并可以获得操作笔130和3D显示屏之间接触点的各种在显示屏上的坐标。
医疗训练课程可能使用从3D显示屏凹进的3D显示内容，并且用户可以使用操作笔130的触摸操作来执行虚拟医疗操作的各种操作。在触摸操作中，操作笔100的顶部接触显示屏，3D训练系统100可确定顶部的回缩程度，以及操作笔130的姿势及其他空间信息。
特别地，3D训练系统100可确定操作笔130的操作模式、操作笔130和显示屏之间的接触点的实时坐标、操作笔130实时空间操作角度、操作笔130回缩程度和力反馈、虚拟手术装置或设备的操作方式、手术装置的操作力强度、手术装置的触觉反馈。基于这些信息，3D培训系统100可以计算手术装置的空间位置和状态信息。
例如，如果工作模式是手术刀，手术刀的各个部分的空间位置可以计算出来，包括手术刀刀刃的空间姿势和朝向。然后，虚拟手术刀就可以在3D显示屏上以凹入方式显示，并跟从基于操作笔130的用户交互。操作方式、力强度、和力反馈也可用于计算用户的操作力度和速度等。
另外，基于用户交互和手术部位3D显示内容，3D训练系统100可以确定的操作结果。这种操作结果可包括由用户交互（即，操作手术装置）形成的正常手术，还可以包括一个用户的无意交互而形成的偶发手术（即，无意中切割其他组织）。操作结果可以相关于各种图像和其他媒介数据，比如声音。这些图像和其他媒介数据可以随后被检索获取并提交给用户。
为了把操作结果呈现给用户，3D训练系统100可以渲染操作结果的3D图像。例如，3D训练系统100可以根据手术部位的3D图像和操作结果来渲染手术部位的手术结果的3D图像。在3D图像渲染后，所渲染的3D图像可在3D显示屏上被显示给用户。
此外，3D训练系统100可以确定虚拟训练课程是否完成。如果3D训练系统100判断虚拟训练课程还未完成，则程序继续进行。另一方面，如果3D训练系统100判断虚拟训练课程已经完成，可选地，3D训练系统100可以进一步将虚拟训练课程的结果显示给用户，所述结果包括手术操作结果和/或用户刚完成的虚拟训练课程的统计数据。
通过使用公开的系统和方法，可以实现许多新的3D用户交互和培训的应用。这样，在互动或控制的立体医疗或其他培训课程时，用户可以有更真实的体验。其它有利的应用、修改、替换、以及改进也是为本技术领域的一般技术人员显而易见的。

Claims (17)

1.一种用于3D虚拟训练系统的方法，该3D虚拟训练系统包括一个3D显示屏和一个操作装置，其特征在于，该方法包括：
初始化一个虚拟医疗训练课程并由所述3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;
获得基于操作装置和3D显示屏的用户交互输入，在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作;
根据用户交互输入和手术部位来确定一个操作结果;
根据手术部位和虚拟手术操作的效果来渲染操作结果;
由3D显示屏显示经渲染的操作结果的3D虚拟图像。
2.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
配置操作装置的操作模式，从而调整3D显示屏上显示的虚拟手术装置的形状、类型、和大小中的至少一个。
3.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
确定操作装置和3D显示屏之间的接触点的空间位置;
确定操作装置的空间操作角度;
确定操作装置的旋转操作。
4.根据权利要求1所述用于3D虚拟训练系统的方法，其特征在于，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：
感测在操作装置和3D显示屏幕之间的接触点的接触力;
根据接触力计算出操作装置相对于3D显示屏的回缩程度。
5.根据权利要求4所述的用于3D虚拟训练系统的方法，其特征在于，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：
设置所述接触力的阈值；
当所述接触力高于所述阈值时，在3D显示屏上显示基于回缩程度的所述虚拟手术装置。
6.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：
根据操作装置的一个或多个预定区域的力反馈来控制虚拟手术装置的操作方式或操作力强度。
7.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，所述根据手术部位和手术操作的效果来渲染操作结果的步骤包括：
根据手术部位来确定虚拟手术操作的显示场景的缩放因子;
利用缩放因子来控制显示场景和/或虚拟手术装置的放大或缩小操作，使得所述虚拟手术装置和显示场景相匹配。
8.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，所述根据用户交互输入和手术部位来确定一个操作结果的步骤包括：
基于用户交互输入确定虚拟手术装置的空间位置;
确定对应虚拟手术装置的手术部位的空间位置;
对比虚拟手术装置的空间位置和对应的手术部位的空间位置；
基于对比结果触发一个操作事件；
确定由所述操作事件引起的操作结果。
9.根据权利要求1所述的用于3D虚拟训练系统的方法，其特征在于，显示内容还包括：
虚拟手术操作和虚拟医疗训练课程的结果的统计数据。
10.一个3D虚拟训练系统，包括：
一个3D显示屏;
一个3D系统控制器;
一个耦合到3D系统控制器并交换交互数据的操作装置，
所述3D系统控制器包括：图像数据模块、虚拟操作模块、3D显示模块、以及控制模块，其中：
图像数据模块，用于初始化一个虚拟医疗训练课程并在显示模块的控制下由3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;
虚拟操作模块，用于获得基于操作装置和3D显示屏的用户交互输入，经虚拟操作模块的处理后在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作，根据用户交互输入和手术部位来确定一个操作结果;
3D显示模块，用于根据手术部位和虚拟手术操作的效果来渲染操作结果，由3D显示屏显示经渲染的操作结果的3D虚拟图像；
控制模块，用于配置和控制3D系统控制器内的图像数据模块、虚拟操作模块、3D显示模块。
11.根据权利要求10所述的3D虚拟训练系统，其特征在于，虚拟操作模块用于：
配置操作装置的操作模式，从而调整3D显示屏上显示的虚拟手术装置的形状、类型和大小中的至少一个。
12.根据权利要求10所述的3D虚拟训练系统，其特征在于，虚拟操作模块，用于执行至少以下三种操作中的一种：
确定操作装置和3D显示屏之间的接触点的空间位置;
确定操作装置的空间操作角度;
确定操作装置的旋转操作。
13.根据权利要求10所述的3D虚拟训练系统，其特征在于，虚拟操作模块用于：
感测在操作装置和3D显示屏幕之间的接触点的接触力;
根据接触力计算出操作装置相对于3D显示屏的回缩程度。
14.根据权利要求13所述的3D虚拟训练系统，其特征在于，虚拟操作模块用于：
设置所述接触力的阈值；
当接触力高于所述阈值时，在3D显示屏上显示基于回缩程度的虚拟手术装置。
15.根据权利要求10所述的3D虚拟训练系统，其特征在于，虚拟操作模块用于：
根据手术部位来确定虚拟手术操作的显示场景的缩放因子；
利用缩放因子来控制显示场景和/或虚拟手术装置的放大或缩小操作，使得所述虚拟手术装置和显示场景相匹配。
16.根据权利要求10所述的3D虚拟训练系统，其特征在于，虚拟操作模块用于：
基于用户交互输入确定虚拟手术装置的空间位置;
确定对应虚拟手术装置的手术部位的空间位置;
对比虚拟手术装置的空间位置和对应的手术部位的空间位置；
基于对比结果触发一个操作事件；
确定由所述操作事件引起的操作结果。
17.根据权利要求10所述的3D虚拟训练系统，其特征在于，3D显示模块用于：
统计在虚拟手术操作和虚拟医疗训练课程的结果的数据而显示。
CN2013100111508A 2013-01-11 2013-01-11 一种立体虚拟培训系统和方法 Pending CN103077633A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2013100111508A CN103077633A (zh) 2013-01-11 2013-01-11 一种立体虚拟培训系统和方法
US13/862,544 US9355574B2 (en) 2013-01-11 2013-04-15 3D virtual training system and method
EP14150772.3A EP2755194B1 (en) 2013-01-11 2014-01-10 3d virtual training system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100111508A CN103077633A (zh) 2013-01-11 2013-01-11 一种立体虚拟培训系统和方法

Publications (1)

Publication Number Publication Date
CN103077633A true CN103077633A (zh) 2013-05-01

Family

ID=48154148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100111508A Pending CN103077633A (zh) 2013-01-11 2013-01-11 一种立体虚拟培训系统和方法

Country Status (3)

Country Link
US (1) US9355574B2 (zh)
EP (1) EP2755194B1 (zh)
CN (1) CN103077633A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和系统
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统
CN104575215A (zh) * 2013-10-09 2015-04-29 郑夙芬 3d护理情境模拟数字学习系统
CN104751391A (zh) * 2015-04-13 2015-07-01 上海创图网络科技发展有限公司 一种虚拟仿真培训平台的构建装置及应用
CN104978872A (zh) * 2014-04-04 2015-10-14 上海橘井泉网络科技有限公司 手术演示方法、装置和系统
CN105078579A (zh) * 2015-07-06 2015-11-25 嘉恒医疗科技（上海）有限公司 鼻内镜手术导航仿真培训系统
CN107229388A (zh) * 2017-05-02 2017-10-03 中南民族大学 一种活髓切断手术训练系统及训练方法
CN107591074A (zh) * 2017-09-05 2018-01-16 杭州市第三人民医院 一种基于3d打印制作的输尿管软镜模拟学习方法
WO2018028166A1 (zh) * 2016-08-12 2018-02-15 深圳市掌网科技股份有限公司 一种基于虚拟现实头戴式显示装置的远程互动系统及方法
CN108310630A (zh) * 2018-01-30 2018-07-24 深圳市前海未来无限投资管理有限公司 一种动作训练设备、装置及存储介质
CN109062481A (zh) * 2018-07-25 2018-12-21 北京小米智能科技有限公司 图像渲染方法及装置
CN109410721A (zh) * 2018-10-30 2019-03-01 深圳市墨优科技开发有限公司 一种急救护理训练方法及终端
CN111047937A (zh) * 2019-12-14 2020-04-21 上海工程技术大学 一种基于磁流变液的手术训练系统
CN111061375A (zh) * 2019-12-25 2020-04-24 上海褚信医学科技有限公司 基于虚拟手术的智能消毒训练方法和设备
CN111953956A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 裸眼立体异型图像三维相机生成系统及其方法
CN112201131A (zh) * 2013-12-20 2021-01-08 直观外科手术操作公司 用于医疗程序培训的模拟器系统
CN114973835A (zh) * 2022-06-22 2022-08-30 常州萃思信息科技有限公司 一种数字化深度沉浸式互动学习模型训练系统及实现方法
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
CN104200730B (zh) * 2014-09-09 2017-05-10 华中科技大学 一种用于虚拟腹腔镜手术的装置、方法及系统
EP3307196A4 (en) 2015-06-09 2019-06-19 Intuitive Surgical Operations Inc. SURGICAL SYSTEM CONFIGURATION WITH ATLAS OF SURGICAL PROCEDURES
US10354558B2 (en) 2015-08-27 2019-07-16 Tusker Medical, Inc. System and method for training use of pressure equalization tube delivery instrument
CN105139738B (zh) * 2015-09-22 2017-09-19 山东中医药大学 人体前臂骨折仿真正骨训练装置
EP3373834A4 (en) 2015-11-12 2019-07-31 Intuitive Surgical Operations Inc. SURGICAL SYSTEM WITH TRAINING OR ASSISTANCE FUNCTION
CN106502402B (zh) * 2016-10-25 2019-11-01 四川农业大学 一种三维动态情景教学方法
CN207137299U (zh) * 2016-11-17 2018-03-27 桐乡创智体育科技有限公司 皮划艇运动机
WO2018118858A1 (en) 2016-12-19 2018-06-28 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11250726B2 (en) * 2018-05-24 2022-02-15 Verily Life Sciences Llc System for simulation of soft bodies
US10665067B2 (en) * 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
CN108961907B (zh) * 2018-08-17 2020-09-25 深圳先进技术研究院 虚拟显微眼科手术训练方法和系统
CN117690331B (zh) * 2024-02-04 2024-05-14 西南医科大学附属医院 一种前列腺穿刺手术训练系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
TW558689B (en) * 2002-08-30 2003-10-21 Univ Taipei Medical Three-dimensional surgery simulation system and method
CN101589416A (zh) * 2006-10-05 2009-11-25 埃萨吉克尔斯公司 内窥镜手术训练仪
CN101984670A (zh) * 2010-11-16 2011-03-09 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
DE102010036904A1 (de) * 2010-08-06 2012-02-09 Technische Universität München Haptische Messvorrichtung und Messverfahren
CN102426486A (zh) * 2011-11-03 2012-04-25 深圳超多维光电子有限公司 一种立体交互方法及被操作设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
WO2012135653A1 (en) 2011-03-30 2012-10-04 Avisar Mordechai Method and system for simulating surgical procedures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
TW558689B (en) * 2002-08-30 2003-10-21 Univ Taipei Medical Three-dimensional surgery simulation system and method
CN101589416A (zh) * 2006-10-05 2009-11-25 埃萨吉克尔斯公司 内窥镜手术训练仪
DE102010036904A1 (de) * 2010-08-06 2012-02-09 Technische Universität München Haptische Messvorrichtung und Messverfahren
CN101984670A (zh) * 2010-11-16 2011-03-09 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
CN102426486A (zh) * 2011-11-03 2012-04-25 深圳超多维光电子有限公司 一种立体交互方法及被操作设备

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
CN104575215A (zh) * 2013-10-09 2015-04-29 郑夙芬 3d护理情境模拟数字学习系统
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统
CN112201131A (zh) * 2013-12-20 2021-01-08 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US11468791B2 (en) 2013-12-20 2022-10-11 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和系统
CN103744518B (zh) * 2014-01-28 2016-09-28 深圳超多维光电子有限公司 立体交互方法及其显示装置和系统
CN104978872A (zh) * 2014-04-04 2015-10-14 上海橘井泉网络科技有限公司 手术演示方法、装置和系统
CN104751391A (zh) * 2015-04-13 2015-07-01 上海创图网络科技发展有限公司 一种虚拟仿真培训平台的构建装置及应用
CN105078579A (zh) * 2015-07-06 2015-11-25 嘉恒医疗科技（上海）有限公司 鼻内镜手术导航仿真培训系统
WO2018028166A1 (zh) * 2016-08-12 2018-02-15 深圳市掌网科技股份有限公司 一种基于虚拟现实头戴式显示装置的远程互动系统及方法
CN107229388A (zh) * 2017-05-02 2017-10-03 中南民族大学 一种活髓切断手术训练系统及训练方法
CN107591074A (zh) * 2017-09-05 2018-01-16 杭州市第三人民医院 一种基于3d打印制作的输尿管软镜模拟学习方法
CN108310630A (zh) * 2018-01-30 2018-07-24 深圳市前海未来无限投资管理有限公司 一种动作训练设备、装置及存储介质
CN109062481A (zh) * 2018-07-25 2018-12-21 北京小米智能科技有限公司 图像渲染方法及装置
CN109410721A (zh) * 2018-10-30 2019-03-01 深圳市墨优科技开发有限公司 一种急救护理训练方法及终端
CN111047937A (zh) * 2019-12-14 2020-04-21 上海工程技术大学 一种基于磁流变液的手术训练系统
CN111061375A (zh) * 2019-12-25 2020-04-24 上海褚信医学科技有限公司 基于虚拟手术的智能消毒训练方法和设备
CN111061375B (zh) * 2019-12-25 2023-08-01 上海褚信医学科技有限公司 基于虚拟手术的智能消毒训练方法和设备
CN111953956A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 裸眼立体异型图像三维相机生成系统及其方法
CN114973835A (zh) * 2022-06-22 2022-08-30 常州萃思信息科技有限公司 一种数字化深度沉浸式互动学习模型训练系统及实现方法
CN114973835B (zh) * 2022-06-22 2024-03-22 常州萃思信息科技有限公司 一种数字化深度沉浸式互动学习模型训练系统及实现方法

Also Published As

Publication number Publication date
US9355574B2 (en) 2016-05-31
US20140199673A1 (en) 2014-07-17
EP2755194B1 (en) 2017-01-04
EP2755194A1 (en) 2014-07-16

Similar Documents

Publication Publication Date Title
CN103077633A (zh) 一种立体虚拟培训系统和方法
US11723734B2 (en) User-interface control using master controller
CN108701429B (zh) 训练机器人手术系统的用户的方法、系统、以及存储媒体
CN110800033B (zh) 虚拟现实腹腔镜式工具
CN109791801B (zh) 机器人外科手术系统中的虚拟现实训练、模拟和协作
JP5800501B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US10786315B2 (en) Interaction between user-interface and master controller
EP3364272A1 (en) Automatic localized haptics generation system
CN103744518B (zh) 立体交互方法及其显示装置和系统
KR101146091B1 (ko) 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
JP2009276996A (ja) 情報処理装置、情報処理方法
JP2016524262A (ja) ３次元ユーザインタフェース
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
JP2012161604A (ja) 空間相関したマルチディスプレイヒューマンマシンインターフェース
JP2018180840A (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
JP2019512299A (ja) 移動追尾及びシミュレーション用の装置並びに方法
AU2021256457A1 (en) System and method for augmented reality data interaction for ultrasound imaging
US20230341932A1 (en) Two-way communication between head-mounted display and electroanatomic system
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US11847267B2 (en) Input device tracking systems
JPH09305788A (ja) 情報処理装置
CN117234333A (zh) Vr物体选择方法、装置、电子设备及可读存储介质
CN113220110A (zh) 显示系统及方法
Tecchia et al. Addressing the problem of Interaction in fully Immersive Virtual Environments: from raw sensor data to effective devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130501

RJ01 Rejection of invention patent application after publication