CN109906488A - 虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统 - Google Patents

虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统 Download PDF

Info

Publication number
CN109906488A
CN109906488A CN201780067816.8A CN201780067816A CN109906488A CN 109906488 A CN109906488 A CN 109906488A CN 201780067816 A CN201780067816 A CN 201780067816A CN 109906488 A CN109906488 A CN 109906488A
Authority
CN
China
Prior art keywords
simulation
virtual reality
medical
medical procedure
trainee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780067816.8A
Other languages
English (en)
Inventor
尼夫·费希尔
利奥尔·内西基
埃兰·内格林
莫迪凯·扎斯拉夫斯基
索菲娅·斯利普内夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Simbionix Ltd
Original Assignee
Simbionix Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Simbionix Ltd filed Critical Simbionix Ltd
Publication of CN109906488A publication Critical patent/CN109906488A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • Medicinal Chemistry (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)

Abstract

提供了用于在虚拟现实手术室中模拟医疗过程以训练受训者的系统和方法。可以模拟医疗过程，并且受训者可以手动操纵医疗工具，以在虚拟现实模拟中的虚拟现实化身上执行虚拟现实中模拟的医疗过程。

Description

虚拟现实或增强现实环境下的手术室中医疗模拟的方法和 系统
相关申请的交叉引用
本专利申请要求2016年9月29日提交的共同未决的美国临时专利申请62/401,517的权益和优先权，其全部内容通过引用结合于此。
技术领域
本发明总体上涉及用于训练医务人员的医疗模拟。具体地，本发明涉及向受训者呈现手术室体验的虚拟现实或增强现实环境中的医疗模拟。
背景技术
目前，医疗模拟器可以用来训练医务人员。例如，受训者(例如，医生)可以使用计算机来执行计算机模拟手术。计算机模拟手术可以包括显示适合特定手术的图像的显示屏以及受训者可以操纵以模拟手术体验的工具(例如，触觉工具)。
例如，假设医生希望模拟对患者堵塞的心脏动脉进行手术。医生可以有与医生在实际手术中使用的工具相对应的一套触觉工具。医生在计算装置上选择对应于堵塞心脏手术的模拟。计算装置在患者的屏幕皮肤上显示。然后医生可以使用这套工具中的一个工具来通过手动操纵触觉工具将患者切开。该工具可以包括感测医生手动操纵、将信息发送到计算机模拟的传感器，并且计算机模拟可以显示与工具感测到的运动相对应的图像。用于医疗模拟的一些常用工具包括内窥镜、腹腔镜和/或其他手术室机械。
当前模拟器的一个困难在于，通常不能给受训者提供在手术室的现实体验。在实际手术中，外科医生和其他医务人员可能会分心。例如，外科医生可能在开销调用系统上被调用。护士可能在关键时刻放下传递给医生的工具。当前的医疗训练模拟器可能受限于通常不能给受训者提供现实体验。
因此，希望有一种能够在训练期间为医疗受训者提供现实体验的系统。
发明内容
本发明的一个优点可以包括经由在虚拟现实或增强现实手术室中执行医疗过程模拟来向受训者提供现实生活体验。本发明的另一优点可以包括让多个受训者同时在虚拟现实(或增强现实)手术室中进行相同模拟的能力。
本发明的另一优点可以包括在虚拟现实或增强现实手术室场景中的化身上提供过程的医疗模拟视图使得受训者体验在化身上操纵的能力。本发明的另一优点可以包括让模拟中的两个受训者远程进行相同模拟的能力。
本发明的另一优点是可以接收语音命令并将语音命令作为输入包含到模拟中。
一方面，本发明包括一种用于在虚拟现实手术室中模拟医疗过程以训练受训者的系统。系统可以包括用户输入装置，用于受训者选择要模拟的医疗过程的类型。系统还可以包括医疗工具，该工具包括运动传感器和触摸传感器，医疗工具用于受训者在模拟期间手动操纵。系统还可以包括医疗过程模拟系统，用于接收来自用户输入装置和医疗工具的输入，以执行所选择的医疗过程的模拟。系统还可以包括虚拟现实模拟系统，其耦接到医疗过程模拟系统，以i)渲染与要模拟的医疗过程的类型对应的虚拟现实手术室场景，以及ii)将所选择的医疗过程的模拟渲染到虚拟现实场景中。系统还可以包括虚拟现实头戴设备，其耦接到虚拟现实模拟系统，用于受训者观看虚拟现实场景。
在一些实施方式中，该系统包括连接模块，连接模块在医疗过程模拟系统和虚拟现实模拟系统之间传输信息，使得虚拟现实场景对应于医疗过程模拟输出。
在一些实施方式中，从虚拟现实模拟传输到医疗过程模拟的信息包括关于受训者在手术室内看向哪里的信息、医疗工具动画信息、在虚拟现实模拟中改变的医疗过程信息和/或其任意组合。
在一些实施方式中，从医疗过程模拟传输到虚拟现实模拟的信息包括医疗模拟的更新、触觉医疗工具位置、触觉医疗工具方位、触觉医疗工具类型和/或其任意组合。
在一些实施方式中，医疗模拟的更新包括患者行为、影响生命体征的变化、影响虚拟现实化身行为的变化或其任意组合。在一些实施方式中，该系统包括语音激活模块，其可以从受训者接收语音命令，并将语音命令转换成要传输到医疗模拟的信息。
在一些实施方式中，系统包括：第二用户输入装置，用于第二受训者参与模拟；第二医疗工具，用于第二受训者在模拟期间手动操纵；第二医疗过程模拟系统，其耦接到医疗过程模拟系统，用于：i)接收来自第二用户输入装置和第二医疗工具的输入，以及ii)与医疗过程模拟系统通信以参与模拟；第二虚拟现实模拟系统，耦接到第二医疗过程模拟系统，以渲染与虚拟现实模拟系统的虚拟现实手术室场景对应的虚拟现实手术室场景；以及第二虚拟现实头戴设备，耦接到虚拟现实模拟系统，用于受训者观看虚拟现实场景。
另一方面，本发明包括一种用于在虚拟现实手术室中模拟医疗过程以训练受训者的方法。方法包括经由用户输入装置接收要模拟的医疗过程的类型。方法还包括经由包括运动传感器和触摸传感器的医疗工具接收所感测到的受训者的运动和触摸。方法还包括由医疗过程模拟系统基于接收到的医疗过程的类型和所感测到的受训者的运动和触摸来执行所选择的医疗过程的模拟。方法还包括由耦接到医疗过程模拟系统的虚拟现实模拟系统i)渲染与要模拟的医疗过程的类型对应的虚拟现实手术室场景，以及ii)将所选择的医疗过程的模拟渲染到虚拟现实场景中。方法还包括通过耦接到虚拟现实模拟系统的虚拟现实头戴设备显示虚拟现实场景。
在一些实施方式中，该方法包括在医疗过程模拟系统和虚拟现实模拟系统之间传输信息，使得虚拟现实场景对应于医疗过程模拟输出。在一些实施方式中，从虚拟现实模拟传输到医疗过程模拟的信息包括关于受训者在手术室内看向哪里的信息、医疗工具动画信息、在虚拟现实模拟中改变的医疗过程信息和/或其任意组合。
在一些实施方式中，从医疗过程模拟传输到虚拟现实模拟的信息包括医疗模拟的更新、触觉医疗工具位置、触觉医疗工具方位、触觉医疗工具类型和/或其任意组合。在一些实施方式中，医疗模拟的更新包括患者行为、影响生命体征的变化、影响虚拟现实化身行为的变化或其任意组合。
在一些实施方式中，该方法包括从受训者接收语音命令，并将该语音命令转换成将在医疗模拟中使用的信息。
在一些实施方式中，该方法包括：经由第二用户输入装置接收对第二受训者参与模拟的请求；经由第二医疗工具接收感测到的运动和触摸信息；经由第二医疗过程模拟系统接收来自第二用户输入装置和第二医疗工具的输入；经由第二医疗过程模拟系统与医疗过程模拟系统通信，以参与模拟；经由第二虚拟现实模拟系统渲染与虚拟现实模拟系统的虚拟现实手术室场景对应的第二虚拟现实手术室场景；并且经由第二虚拟现实头戴设备向第二受训者显示第二虚拟现实手术室场景。
附图说明
下面参考在本段之后列出的附图描述本公开的实施方式的非限制性示例。出现在多个图中的相同特征通常在其出现的所有图中用相同的标签标记。在图中标记表示本公开的实施方式的给定特征的图标的标签可以用来引用给定特征。图中所示的特征的尺寸是为了方便和清晰的呈现而选择的，不一定按比例显示。
在说明书的结论部分中特别指出并明确要求保护被视为本发明的主题。然而，当结合附图阅读时，通过参考下面的详细描述，可以最佳地理解本发明的组织和操纵方法及其目的、特征和优势。本发明的实施方式通过示例而非限制的方式在附图中示出，其中，相同的附图标记表示相应的、类似的或相同的元件，并且其中：
图1示出了根据本发明的说明性实施方式的用于在虚拟现实手术室中模拟医疗过程以训练受训者的系统的框图；
图2示出了根据本发明的说明性实施方式的用于在虚拟现实手术室中模拟医疗过程以训练受训者的主系统和从系统的框图；
图3示出了根据本发明的说明性实施方式的用于在虚拟现实手术室中模拟医疗过程以训练受训者的方法的流程图；以及
图4a至图4f是示出根据本发明的说明性实施方式的使用图1、2的模拟系统或图3的方法的受训者的示例的示图。
应当理解，为了图示的简单和清楚，图中所示的元件不一定是精确地或按比例绘制的。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件放大，或者几个物理组件可以包括在一个功能块或元件中。此外，在认为合适的情况下，附图标记可以在附图中重复，以指示相应或类似的元件。
具体实施方式
在以下详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实施本发明。在其他情况下，没有详细描述众所周知的方法、过程和组件、模块、单元和/或电路，以免本发明模糊。关于一个实施方式描述的一些特征或元件可以与关于其他实施方式描述的特征或元件组合。为了清楚起见，不能重复讨论相同或相似的特征或元件。
虽然本发明的实施方式在这方面不受限制，但是利用诸如“处理”、“计算”、“核算”、“确定”、“建立”、“分析”、“检查”等术语的讨论可以指计算机、计算平台、计算系统或其他电子计算装置的操纵和/或过程，这些操纵和/或过程操纵表示为计算机寄存器和/或存储器内的物理(例如，电子)量的数据，和/或将其转换为类似地表示为计算机寄存器和/或存储器内的物理量的其他数据或可以存储指令以执行操纵和/或过程的其他信息非暂时性存储介质。尽管本发明的实施方式在这方面不受限制，但是本文使用的术语“多个(plurality)”和“多个(a plurality)”可以包括例如“多个(multiple)”或“两个或更多”。术语“多个(plurality)”或“多个(a plurality)”可以在整个说明书中用来描述两个或多个组件、装置、元件、单元、参数等。本文使用的术语集可以包括一个或多个项目。除非明确陈述，否则本文描述的方法实施方式不限于特定的顺序或序列。另外，所描述的一些方法实施方式或其元件可以同时、在同一时间点或并发地发生或执行。
总体上，提供了一种系统，该系统可以允许医疗模拟器在虚拟现实中向受训者提供医疗过程模拟。该系统可以包括与虚拟现实(VR)模拟系统通信的医疗过程模拟系统。受训者(例如，用户)可以经由一个或多个医疗(例如，外科手术)工具与医疗模拟器交互，并在虚拟现实(或增强现实)中体验医疗模拟。VR模拟系统可以使用头戴设备/眼镜向受训者呈现VR手术室场景。VR手术室场景可以包括手术台、生命体征监视器和/或现实生活手术室中可能存在的任何设备。
要手术的患者(例如，化身或机器人)也可以出现在手术室场景中。医疗过程模拟系统可以接收来自医疗工具的输入，并且当医疗过程模拟系统运行模拟时，VR模拟系统可以使用医疗过程模拟信息将医疗过程模拟渲染给VR患者。在模拟过程中，患者可以对受训者对一个或多个手术工具的操纵做出反应。
通常，该系统可以在一次模拟中容纳多个受训者。例如，外科医生受训者可以在患者(例如，化身)身上体验心脏手术模拟的模拟，并且护士受训者可以帮助外科医生受训者。外科医生可以看到护士受训者在虚拟现实场景中被描绘成机器人，并且护士受训者可以看到外科医生在VR场景中被描绘成机器人。外科医生受训者可以使用与医疗过程模拟器相关联的触觉工具，并且在模拟期间，护士受训者可以在VR场景中向外科医生受训者传递虚拟工具。
在一些实施方式中，使用增强现实(AR)模拟系统来代替VR模拟系统。在这些实施方式中，向受训者呈现AR场景。AR场景可以包括现实生活手术室中常见的任何物体。
图1示出了根据本发明的说明性实施方式的用于在虚拟现实(或增强现实)手术室中模拟医疗过程以训练受训者的系统的框图。该系统包括输入装置105、医疗过程模拟系统110、虚拟现实和/或增强现实(VR/AR)模拟系统115、连接模块120、医疗工具125、虚拟现实头戴设备135。为了简单起见，关于图1的讨论将集中在VR模拟系统上。然而，对于本领域普通技术人员来说显而易见的是，模拟系统可以是虚拟现实或增强现实。
连接模块120可以包括允许信息在VR模拟系统115和医疗过程模拟系统110之间流动。例如，VR模拟系统115接收的输入和/或对VR手术室场景的修改可以提供给连接模块120。由医疗过程模拟系统110接收的输入和/或医疗过程状态信息可以提供给连接模块120。连接模块120可以是存储器映射文件、一个或多个管道、TCP/IP套接字通信信道或其任意组合。
医疗过程模拟系统110可以耦接到输入装置105、医疗工具125，以接收一个或多个输入。医疗工具可以是能够感测受训者的运动和触摸的装置。医疗工具125可以是能够摄入触觉输入的装置。例如，医疗工具125可以是腹腔镜套管针或胃肠/支气管镜检查工具。输入装置105可以是平板电脑、智能电话、个人计算机、触摸屏装置或其任意组合。
医疗过程模拟系统110也可以经由连接模块120耦接到VR模拟系统115。医疗过程模拟系统110可以包括中央处理单元和/或图形处理单元。医疗过程模拟系统110可以包括二维屏幕显示。医疗过程模拟系统110可以模拟医疗过程，例如，如美国专利号7,850,456所示，该专利的全部内容通过引用结合于此。
医疗过程模拟系统110可以包括手术工具选择模块111a、平板通信模块111b、通信管理模块111c、虚拟现实(VR)/增强现实(AR)跟踪响应模块111d和/或手术过程跟踪模块111e。
平板通信模块111b可以接收受训者的输入。输入可以包括与VR/AR和/或医疗模拟相关的输入。例如，受训者可以选择特定的医疗过程来模拟和/或指定模拟中的多个参与者。在一些实施方式中，监督训练的监督者可以添加到模拟中，并经由平板电脑从模拟中接收信息。例如，监督者可以输入损伤，并且模拟可以经由表格状态(例如，血管结构状态和/或控制或不控制损伤的时间)显示给监督者。
所选择的医疗过程可以与VR模拟系统115共享，使得VR/AR模拟系统可以渲染与所选择的医疗过程对应的手术室环境。
手术工具选择模块111a可以基于所选择的医疗过程来确定可以在医疗过程模拟中使用的一个或多个手术工具(例如，触觉工具或虚拟工具)。一个或多个手术工具可以是虚拟或触觉工具。手术工具选择模块111a还可以基于在模拟中正被操作的化身上的潜在工具入口点来确定哪些手术工具在模拟中可用。例如，套管针、开放式切口和/或体腔的工具入口点。例如，支架或导管的动脉入口点可以指示腹腔镜套管针可用。在另一示例中，对于超声波模拟，超声波探头可以是可用的。手术工具选择模块111a可以包括医疗模拟中一个或多个手术工具的手术工具状态。例如，当前是否有任何工具在患者体内/体外、是否为特定入口点选择了特定工具、工具的位置、工具的方位和/或工具的属性(例如，类型和/或名称)的手术工具状态。手术工具选择模块111a还可以从VR/AR模拟系统1115接收手术工具状态信息。例如，在医疗过程期间手术工具的变化，其中，该变化是从触觉工具到虚拟工具。
VR/AR跟踪响应模块111d可以基于由虚拟现实头戴设备135感测到的受训者的头部运动来修改医疗模拟。例如，如果用户凝视VR场景中的一个用户界面元件超过5秒钟，则凝视信息可以发送到医疗模拟系统。在其他示例中，如果VR中的监测系统上麻醉剂的量发生变化，或者如果电烧灼工具的能量水平在将其应用于组织之前发生变化，则可以向医疗模拟系统发送该信息，从而可以修改模拟。
在一些实施方式中，受训者可以佩戴能够感测受训者手部运动的VR/AR手套(未示出)。在这些实施方式中，VR/AR跟踪响应模块111d可以基于所感测的手套移动来修改医疗模拟。
手术过程跟踪模块111e可以跟踪医疗过程模拟的状态，并且可以提供要报告给VR/AR模拟系统115的手术过程状态。手术过程状态可以包括在医疗过程模拟期间患者(例如，化身)的变化。例如，如果受训者已经插入工具使得化身的身体(例如，患者的身体)做出反应(例如，移动、出血和/或颤抖)，化身的生命体征改变，响应于内部胎儿的移动的腹部的移动使得超声波视图改变，和/或能量工具可能在手术中发生故障，使得在VR场景中显示消息。
通信管理模块111c可以将信息从医疗过程模拟系统110中所示的模块传输到连接模块120。通信管理模块111c可以在信息可用时发送信息或以频率发送信息。
在一些实施方式中，医疗过程模拟系统110包括从用户接收语音输入的语音识别组件。例如，如果受训者陈述“选择手术刀”，则医疗过程模拟系统110可以接收该音频输入，识别音频输入的内容(例如，经由本领域已知的语音识别技术)，并且医疗过程模拟系统110可以更新当前使用的工具，作为左套管针进入位置和/或从模拟中移除先前的工具。VR/AR护士化身可以用自己的声音重复工具名称和位置，并且护士化身在获得适当的工具并将其带到受训者的VR手部或患者(例如，化身)身体上的适当位置时可以显示给受训者。
VR模拟系统115可以耦接到虚拟现实头戴设备135。虚拟现实头戴设备可以是本领域已知的虚拟现实头戴设备。例如，虚拟现实头戴设备可以是Oculus Rift、HTC Vive或三星Gear VR。对于本领域普通技术人员显而易见的是，对于VR模拟系统115仅包括AR的实施方式，虚拟现实头戴设备135可以仅是AR头戴设备(例如，AR眼镜)。例如，微软全息透镜或本领域已知的任何AR头戴设备。
VR模拟系统115可以包括化身头部/手部移动模块116a、VR/AR跟踪响应模块116b、手术过程响应模块116c、工具手柄移动渲染模块116d、过程干扰模块116e、手术工具选择模块116f、生命体征模块116g、患者行为模块116h或其任意组合。
VR/AR跟踪响应模块116b可以使虚拟现实场景响应由虚拟现实头戴设备135感测到的受训者的头部运动。例如，如果受训者将头转向左边，则VR场景可以显示手术室的左侧。如果受训者朝着化身(例如，患者)弯腰，以便例如更清楚地看到患者身上的切口，则VR场景可以示出类似于人在现实生活中经历的缩放切口。
手术过程响应模块116c可以从医疗过程模拟系统111接收手术过程状态信息(例如，经由手术过程跟踪模块)。手术过程响应模块116c可以使VR场景根据手术过程状态来修改。手术过程响应模块116c可以包括受VR手术室场景影响的手术状态。例如，如果第二受训者将桌子撞倒在化身的开放性伤口上。
手术工具选择模块116f可以从医疗过程模拟系统110接收手术工具状态信息。手术工具状态信息可以包括插入身体的速率或工具方位。手术工具状态信息可以是使用时与工具相关的任何信息。手术工具状态信息可以是与特定工具相关的信息。例如，腹腔镜缝合器/剪切机可以包括具有缝合状态/剪切机计数器指示器的钉仓，该指示器可以在击发工具时更新。
VR模拟系统115可以基于手术工具状态信息修改VR/AR手术室场景。例如，VR/AR模拟可以在VR/AR场景中在与医疗过程模拟110中的手术工具的位置相关的位置渲染手术工具。手术工具选择模块116f可以向医疗过程模拟系统110发送虚拟手术工具的状态。
程序干扰模块116e可以随机激活干扰，该干扰可以改变受训者的行为。例如，外科医生受训者可以在VR手术室场景中寻呼，手术室门可以打开，并且工作人员可以向操纵团队中的机器人提出问题，一些工作人员(例如，机器人或其他参与者)可以开始聊天，和/或护士可以提供与所指示的工具不同的工具。
生命体征模块116g可以基于来自医疗过程模拟系统110的生命体征信息来修改VR手术室场景。例如，VR手术室场景可以包括一个或多个生命体征监视器，其可以显示生命体征信息(例如，脉搏、温度和/或氧气水平)。化身的行为可以对应于生命体征。例如，在大血管受伤的情况下，可以显示血压突然下降。
患者行为模块116h可以基于来自医疗过程模拟系统110的手术过程状态来修改化身视觉外观。例如，VR化身可以表现为出血、心悸和/或胃部紧缩。
在一些实施方式中，第二受训者可以通过第二系统参与模拟。在这些实施方式中，VR/AR模拟系统110可以接收至第二系统的输入和/或输出信息。工具手柄移动渲染模块116d可以从第二系统接收工具信息，并确定在VR手术室场景中显示什么工具信息。
化身头部/手移动模块116a可以从第二系统接收头部和/或手运动信息，并在VR场景中为第一系统的受训者渲染该移动。
VR/AR场景中的受训者和/或化身可以是医务人员，包括护士、医生、医生助理、与某些过程相关的医务人员(例如，监控髋关节置换手术的髋关节置换制造商医生)。
图2示出了根据本发明的说明性实施方式的用于在虚拟现实手术室中模拟医疗过程以训练受训者的主系统和从系统的框图。该系统可以包括主系统205、从系统210和跨系统通信模块215。
跨系统通信模块215可以允许信息在主系统205和从系统210之间流动。跨系统通信模块215可以是存储器映射文件、管道、TCP/IP套接字。
主系统205可以包括输入装置225、医疗过程模拟系统230、虚拟现实和/或增强现实(VR/AR)模拟系统235、连接模块240、医疗工具245和/或虚拟现实头戴设备250。从系统210可以包括输入装置255、医疗过程模拟系统260、虚拟现实和/或增强现实(VR/AR)模拟系统265、连接模块270、医疗工具275和/或虚拟现实头戴设备280。主系统205和/或从系统220模块可以以与上面参考图1描述的相同方式操作。
在操作期间，第一受训者可以在主系统205上运行模拟。主系统205可以启动服务器，并且可以等待来自从系统210的连接。第二受训者可以在从系统210上运行模拟。第二受训者可以在从系统210上指定将以从模式运行。跨系统通信模块215可以启动主系统205和从系统210之间的通信。主系统205向从系统210发送医疗操作模拟状态和VR/AR模拟状态。例如，语音输入、工具移动输入、VR/AR跟踪移动。从系统210可以向主系统205发送医疗操作模拟状态和VR/AR模拟状态。从系统210和主系统205可以接收相应的输入，并且用跨系统信息更新其相应的医疗操作模拟系统和VR/AR模拟系统。
跨系统通信模块215可以是存储器映射文件，其可以在两个进程之间共享信息，即使这两个进程例如在不同的终端会话中也如此。
在一些实施方式中，多个从模拟系统连接到主模拟系统。以这种方式，3个、4个和/或任意数量的受训者可以参与给定的程序模拟。
图3示出了用于在虚拟现实手术室中模拟医疗过程以训练受训者的方法的流程图。该方法包括接收(例如，经由如上面在图1中所述的输入装置105)要模拟的医疗过程的类型(步骤310)。医疗过程的类型可以由受训者、想要监视受训者的人(例如，教师)或任何其他用户来指定。医疗过程的类型可以是外科手术、使用超声波和/或其他成像方式的过程、麻醉、心血管介入和/或急诊室治疗。
可以在婴儿、儿童和/或成人身上进行手术。在一些实施方式中，在动物身上进行手术。在一些实施方式中，一旦指定了医疗过程，对应于指定的医疗过程的虚拟现实场景或增强现实场景通过VR/AR头戴设备渲染并呈现给受训者。
该方法还可以包括接收(例如，经由如上面在图1中所述的医疗工具125)所感测到的受训者的运动和触摸(步骤320)。受训者可以佩戴VR/AR手套或手持具有一个或多个用于感应触摸和运动的传感器的工具。
该方法还可以包括基于接收到的医疗过程类型和所感测到的受训者的运动和触摸来执行所选择的医疗过程的模拟(例如，经由如上面在图1中所述的医疗过程模拟系统110)(步骤330)。当受训者移动工具时，模拟可以从工具接收位置和传感器信息。模拟可以解释移动和触摸，并基于该移动和触摸来修改模拟输出。例如，受训者可以在模拟心脏上进行手术。如果受训者将工具缓慢移动到动脉附近，如VR/AR头戴设备所示，则模拟可以将该移动解释为导致心脏缓慢切割。根据位置和触摸，模拟可能会导致心脏出血或显示为开放状态。
该方法还可以包括渲染(例如，经由VR/AR模拟系统115)与要模拟的医疗过程的类型对应的虚拟现实手术室场景(步骤340)。虚拟现实手术室可以以每秒90到120帧的速度渲染。
该方法还可以包括(例如，经由VR/AR模拟系统115)将所选择的医疗过程的模拟渲染到虚拟现实场景中(步骤350)。该模拟可以渲染到VR/AR场景中的化身上。化身可以对应于手术类型(例如，儿童旁路手术)。
该方法还可以包括显示(例如，经由虚拟现实头戴设备135)虚拟现实场景(步骤360)。在一些实施方式中，该方法包括经由AR头戴设备或者AR场景显示。
在一些实施方式中，受训者选择辅助手术来模拟。例如，在VR/AR化身上模拟医疗过程期间，使用VR/AR头戴设备和触觉工具的受训者可以将触觉工具指向VR/AR化身的身体部分。VR场景中的第二化身(例如，护士机器人和/或麻醉师机器人)可以指示用户(例如，告诉用户如何最小化由于错误造成的伤害)。
图4a至图4f是示出根据本发明说明性实施方式的使用图1、图2的模拟系统或图3的方法的受训者的示例的示图。图4a示出了佩戴VR头戴设备的受训者手持两个医疗工具的示例。还示出了二维屏幕，其示出了模拟的二维视图。图4b示出了由受训者在虚拟现实头戴设备中观看的虚拟现实场景的二维截屏的示例。医疗过程模拟显示在屏幕上，手术室里有两个机器人。图4c示出了在手术室中具有护士机器人的虚拟现实场景的截屏的示例。图4d示出了手术室中护士机器人与受训者交谈的虚拟现实场景的截屏的示例。图4e示出了叠加在虚拟现实场景上的用户界面的截屏。图4f示出了用多个工具将虚拟现实场景截屏的示例，供受训者在虚拟现实中使用。
上述方法可以在数字电子电路、计算机硬件、固件和/或软件中实现。该实现方式可以作为计算机程序产品(例如，有形地包含在信息载体中的计算机程序)。该实现方式可以例如在机器可读存储装置中，用于由数据处理设备执行或控制数据处理设备的操纵。该实现方式可以例如是可编程处理器、计算机和/或多台计算机。
计算机程序可以以任何形式的编程语言编写，包括编译和/或解释语言，并且计算机程序可以以任何形式部署，包括作为独立程序或子程序、元件和/或适合在计算环境中使用的其他单元。计算机程序可以部署在一台计算机上或者在一个站点的多台计算机上执行。
方法步骤可以由执行计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操纵并生成输出来执行本发明的功能。方法步骤也可以由设备执行，并且可以实现为专用逻辑电路。该电路可以是例如FPGA(现场可编程门阵列)和/或ASIC(专用集成电路)。模块、子程序和软件代理可以指实现该功能的计算机程序、处理器、特殊电路、软件和/或硬件的部分。
举例来说，适于执行计算机程序的处理器包括通用和专用微处理器以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储装置。通常，计算机可以可操纵地耦接，以从一个或多个用于存储数据的大容量存储装置(例如，磁盘、磁光盘或光盘)接收数据和/或向其传输数据。
数据传输和指令也可以通过通信网络进行。适于包含计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，例如，包括半导体存储装置。例如，信息载体可以是EPROM、EEPROM、闪存装置、磁盘、内部硬盘、可移动磁盘、磁光盘、CD-ROM和/或DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充和/或包含到专用逻辑电路。
为了提供与用户的交互，上述技术可以在具有显示装置、发送装置和/或计算装置的计算机上实现。显示装置可以是例如阴极射线管(CRT)和/或液晶显示器(LCD)。与用户的交互可以是例如向用户信息的显示器以及用户可以通过其向计算机提供输入(例如，与用户界面元件交互)的键盘和定点装置(例如，鼠标或轨迹球)。可以使用其他类型的装置来提供与用户的交互。其他装置可以是例如以任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)提供给用户的反馈。来自用户的输入可以例如以任何形式接收，包括声音、语音和/或触觉输入。
计算装置可以包括例如计算机、具有浏览器装置的计算机、电话、IP电话、移动装置(例如，蜂窝电话、个人数字助理(PDA)装置、膝上型计算机、电子邮件装置)和/或其他通信装置。计算装置可以是例如一个或多个计算机服务器。计算机服务器可以是例如服务器群的一部分。浏览器装置包括例如具有万维网浏览器(例如，微软公司提供的Internet谷歌提供的Chrome、Mozilla公司提供的Firefox、苹果提供的Safari)的计算机(例如，台式计算机、膝上型计算机和平板电脑)。移动计算装置包括例如个人数字助理(PDA)。
网站和/或网页可以例如通过使用网络服务器的网络(例如，互联网)来提供。网络服务器可以是例如具有服务器模块的计算机(例如，微软公司提供的互联网信息服务、Apache Software Foundation提供的Apache网络服务器、Apache SoftwareFoundation提供的Apache Tomcat网络服务器)。
存储模块可以是例如随机存取存储器(RAM)模块、只读存储器(ROM)模块、计算机硬盘驱动器、存储卡(例如，通用串行总线(USB)闪存驱动器、安全数字(SD)闪存卡)、软盘和/或任何其他数据存储装置。存储在存储模块上的信息可以保存在例如数据库(例如，关系数据库系统、平面数据库系统)和/或任何其他逻辑信息存储机制中。
上述技术可以在包括后端组件的分布式计算系统中实现。后端组件可以是例如数据服务器、中间件组件和/或应用服务器。上述技术可以在包括前端组件的分布式计算系统中实现。前端组件可以是例如具有图形用户界面的客户端计算机、用户可以通过其与示例实现方式交互的网络浏览器、和/或发送装置的其他图形用户界面。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)、广域网(WAN)、互联网、有线网络和/或无线网络。
该系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是通过在相应的计算机上运行的并且彼此之间具有客户端-服务器关系的计算机程序产生的。
上述网络可以在基于分组的网络、基于电路的网络和/或基于分组的网络和基于电路的网络的组合中实现。基于分组的网络可以包括例如互联网、运营商互联网协议(IP)网络(例如，局域网(LAN)、广域网(WAN)、校园网(CAN)、城域网(MAN)、家庭网(HAN)、专用IP网络、IP专用小交换机(IPBX)、无线网络(例如，无线接入网(RAN)、802.11网络、802.16网络、通用分组无线服务(GPRS)网络、HiperLAN)和/或其他基于分组的网络。基于电路的网络可以包括例如公共交换电话网(PSTN)、专用小交换机(PBX)、无线网络(例如，RAN、码分多址(CDMA)网络、时分多址(TDMA)网络、全球移动通信系统(GSM)网络)和/或其他基于电路的网络。
本领域技术人员将认识到，在不脱离本发明的精神或本质特征的情况下，可以以其他特定形式体现本发明。因此，上述实施方式在所有方面都被认为是说明性的，而不是限制本文描述的本发明。因此，本发明的范围由所附权利要求书而不是前述说明来表示，因此，在权利要求书的等同含义和范围内的所有变化都将包含在其中。
在前面的详细描述中，阐述了许多具体细节，以便提供对本发明的理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实施本发明。在其他情况下，没有详细描述众所周知的方法、过程和组件、模块、单元和/或电路，以免本发明模糊。关于一个实施方式描述的一些特征或元件可以与关于其他实施方式描述的特征或元件组合。

Claims (14)

1.一种用于在虚拟现实手术室中模拟医疗过程以训练受训者的系统，所述系统包括：
用户输入装置，用于所述受训者选择要模拟的医疗过程的类型；
医疗工具，包括运动传感器和触摸传感器，所述医疗工具用于所述受训者在模拟期间手动操纵；
医疗过程模拟系统，接收来自所述用户输入装置和所述医疗工具的输入，以执行所选择的医疗过程的模拟；
虚拟现实模拟系统，耦接到所述医疗过程模拟系统，用以：i)渲染与要模拟的医疗过程的类型对应的虚拟现实手术室场景，以及ii)将所选择的医疗过程的模拟渲染到虚拟现实场景中；以及
虚拟现实头戴设备，耦接到虚拟现实模拟系统，用于所述受训者观看所述虚拟现实场景。
2.根据权利要求1所述的系统，还包括：
连接模块，在所述医疗过程模拟系统和所述虚拟现实模拟系统之间传输信息，使得所述虚拟现实场景对应于医疗过程模拟输出。
3.根据权利要求2所述的系统，其中，从虚拟现实模拟传输到医疗过程模拟的信息包括关于所述受训者在手术室内看向哪里的信息、医疗工具动画信息、在所述虚拟现实模拟中改变的医疗过程信息和/或其任意组合。
4.根据权利要求2所述的系统，其中，从医疗过程模拟传输到虚拟现实模拟的信息包括医疗模拟的更新、触觉医疗工具位置、触觉医疗工具方位、触觉医疗工具类型和/或其任意组合。
5.根据权利要求4所述的系统，其中，所述医疗模拟的更新包括患者行为、影响生命体征的变化、影响虚拟现实化身行为的变化或其任意组合。
6.根据权利要求1所述的系统，还包括语音激活模块，所述语音激活模块能够从所述受训者接收语音命令并将所述语音命令转换成要传输到医疗模拟的信息。
7.根据权利要求1所述的系统，其中，所述系统还包括：
第二用户输入装置，用于第二受训者参与模拟；
第二医疗工具，用于所述第二受训者在模拟期间手动操纵；
第二医疗过程模拟系统，耦接到所述医疗过程模拟系统，用以：i)接收来自所述第二用户输入装置和所述第二医疗工具的输入，以及ii)与所述医疗过程模拟系统通信以参与所述模拟；
第二虚拟现实模拟系统，耦接到所述第二医疗过程模拟系统，以渲染与所述虚拟现实模拟系统的虚拟现实手术室场景对应的虚拟现实手术室场景；以及
第二虚拟现实头戴设备，耦接到所述虚拟现实模拟系统，用于所述受训者观看虚拟现实场景。
8.一种用于在虚拟现实手术室中模拟医疗过程以训练受训者的方法，所述方法包括：
经由用户输入装置接收要模拟的医疗过程的类型；
经由包括运动传感器和触摸传感器的医疗工具接收所感测到的所述受训者的运动和触摸；
由医疗过程模拟系统基于接收到的医疗过程的类型和所感测到的所述受训者的运动和触摸来执行所选择的医疗过程的模拟；
由耦接到所述医疗过程模拟系统的虚拟现实模拟系统：i)渲染与要模拟的医疗过程的类型对应的虚拟现实手术室场景，以及ii)将所选择的医疗过程的模拟渲染到虚拟现实场景中；
通过耦接到所述虚拟现实模拟系统的虚拟现实头戴设备显示所述虚拟现实场景。
9.根据权利要求8所述的方法，还包括：
在所述医疗过程模拟系统和所述虚拟现实模拟系统之间传输信息，使得所述虚拟现实场景对应于医疗过程模拟输出。
10.根据权利要求9所述的方法，其中，从虚拟现实模拟传输到医疗过程模拟的信息包括关于所述受训者在手术室内看向哪里的信息、医疗工具动画信息、在所述虚拟现实模拟中改变的医疗过程信息和/或其任意组合。
11.根据权利要求9所述的方法，其中，从医疗过程模拟传输到虚拟现实模拟的信息包括医疗模拟的更新、触觉医疗工具位置、触觉医疗工具方位、触觉医疗工具类型和/或其任意组合。
12.根据权利要求11所述的方法，其中，所述医疗模拟的更新包括患者行为、影响生命体征的变化、影响虚拟现实化身行为的变化或其任意组合。
13.根据权利要求8所述的方法，还包括从所述受训者接收语音命令，并将所述语音命令转换成将在医疗模拟中使用的信息。
14.根据权利要求1所述的方法，其中，所述方法还包括：
经由第二用户输入装置接收对第二受训者参与模拟的请求；
经由第二医疗工具接收感测到的运动和触摸信息；
经由第二医疗过程模拟系统接收来自所述第二用户输入装置和所述第二医疗工具的输入；
经由所述第二医疗过程模拟系统与所述医疗过程模拟系统通信，以参与模拟；
经由第二虚拟现实模拟系统渲染与所述虚拟现实模拟系统的虚拟现实手术室场景对应的第二虚拟现实手术室场景；并且
经由第二虚拟现实头戴设备向所述第二受训者显示所述第二虚拟现实手术室场景。
CN201780067816.8A 2016-09-29 2017-09-29 虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统 Pending CN109906488A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662401517P 2016-09-29 2016-09-29
US62/401,517 2016-09-29
PCT/IL2017/051105 WO2018061014A1 (en) 2016-09-29 2017-09-29 Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment

Publications (1)

Publication Number Publication Date
CN109906488A true CN109906488A (zh) 2019-06-18

Family

ID=61686519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067816.8A Pending CN109906488A (zh) 2016-09-29 2017-09-29 虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统

Country Status (6)

Country Link
US (1) US20180090029A1 (zh)
EP (1) EP3519923A4 (zh)
JP (1) JP7055988B2 (zh)
CN (1) CN109906488A (zh)
RU (1) RU2769419C2 (zh)
WO (1) WO2018061014A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN110400620A (zh) * 2019-07-25 2019-11-01 上海交通大学医学院附属上海儿童医学中心 一种心脏三维模型构建方法及模拟心脏手术指导系统
CN110426223A (zh) * 2019-07-24 2019-11-08 康泰医学系统（秦皇岛）股份有限公司 医疗仪器自动检测装置及自动检测方法
CN112422901A (zh) * 2020-10-30 2021-02-26 哈雷医用(广州)智能技术有限公司 一种手术虚拟现实视频的生成方法和装置
CN113730715B (zh) * 2021-10-15 2023-10-03 核工业总医院 一种遥控麻醉辅助控制方法、装置、电子设备及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2892974C (en) * 2012-11-28 2018-05-22 Vrsim, Inc. Simulator for skill-oriented training
EP3512452A1 (en) * 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
EP3574504A1 (en) * 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US10896628B2 (en) * 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
CA3055941C (en) 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US11694575B2 (en) 2018-04-14 2023-07-04 The Trustees of the California State University Hands-on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
JP7289190B2 (ja) * 2018-06-29 2023-06-09 株式会社日立システムズ コンテンツ提示システム
TWI686764B (zh) * 2018-07-13 2020-03-01 聯新亞洲醫學教育有限公司 醫療互動系統及其運作方法
KR20210100089A (ko) * 2018-10-12 2021-08-13 퀄리티 이그제큐티브 파트너스, 인크. 가상 현실 시뮬레이션 및 방법
CN109659024A (zh) * 2018-12-12 2019-04-19 黑龙江拓盟科技有限公司 一种mr辅助的远程诊疗方法
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US20200352652A1 (en) * 2019-05-06 2020-11-12 Biosense Webster (Israel) Ltd. Systems and methods for improving cardiac ablation procedures
US11045263B1 (en) 2019-12-16 2021-06-29 Russell Nevins System and method for generating a virtual jig for surgical procedures
KR102347471B1 (ko) * 2019-12-26 2022-01-06 (의료)길의료재단 증강 현실을 이용한 모의 수술 시스템 및 방법
KR102377113B1 (ko) * 2019-12-26 2022-03-22 주식회사 엔가든 분만간호 시뮬레이션 교육 제공 방법, 이를 수행하기 위한 기록 매체 및 가상현실 다중접속 시스템
WO2021157011A1 (ja) * 2020-02-06 2021-08-12 大日本住友製薬株式会社 仮想現実動画再生装置、及びそれを使用する方法
US20210248922A1 (en) * 2020-02-11 2021-08-12 Covidien Lp Systems and methods for simulated product training and/or experience
EP3905225A1 (en) 2020-04-28 2021-11-03 Université de Strasbourg System and method for evaluating simulation-based medical training
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
CN113116349B (zh) * 2021-04-09 2023-07-04 东莞东华医院有限公司 基于vr的患者术前心理建设系统及方法
CN113362671B (zh) * 2021-07-13 2022-07-01 中国人民解放军海军工程大学 一种船用核应急演练模拟系统及演练方法
ES2936656A1 (es) * 2021-09-20 2023-03-21 Seabery Augmented Tech S L Procedimiento de simulacion y entrenamiento de operaciones de inspeccion ocular en entornos de realidad virtual o realidad aumentada y sistema que implementa dicho procedimiento
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US20230129708A1 (en) * 2021-10-23 2023-04-27 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
CL2022001356A1 (es) * 2022-05-24 2022-10-28 Simulador basado en realidad virtual inmersiva para entrenamiento de procedimientos quirúrgicos
CN115019591B (zh) * 2022-08-05 2022-11-04 上海华模科技有限公司 手术模拟方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090253109A1 (en) * 2006-04-21 2009-10-08 Mehran Anvari Haptic Enabled Robotic Training System and Method
US20090263775A1 (en) * 2008-04-22 2009-10-22 Immersion Medical Systems and Methods for Surgical Simulation and Training
US20130189663A1 (en) * 2012-01-23 2013-07-25 Eidgenossische Technische Hochschule Zurich Medical training systems and methods
US20140272863A1 (en) * 2013-03-15 2014-09-18 Peter Kim User Interface For Virtual Reality Surgical Training Simulator
WO2016040376A1 (en) * 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
US20160147308A1 (en) * 2013-07-10 2016-05-26 Real View Imaging Ltd. Three dimensional user interface

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
FR2808366B1 (fr) 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
US7202851B2 (en) * 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US9881520B2 (en) 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
US9318032B2 (en) * 2011-02-04 2016-04-19 University of Pittsburgh—of the Commonwealth System of Higher Education Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
US20150003595A1 (en) * 2011-04-25 2015-01-01 Transparency Sciences, Llc System, Method and Computer Program Product for a Universal Call Capture Device
US9092996B2 (en) * 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US10109220B2 (en) 2013-03-13 2018-10-23 Dh Cubed, Llc Instrument skill instruction and training system
CN106030683B (zh) 2013-12-20 2020-10-30 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
CA3034314C (en) * 2016-08-17 2021-04-20 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090253109A1 (en) * 2006-04-21 2009-10-08 Mehran Anvari Haptic Enabled Robotic Training System and Method
US20090263775A1 (en) * 2008-04-22 2009-10-22 Immersion Medical Systems and Methods for Surgical Simulation and Training
US20130189663A1 (en) * 2012-01-23 2013-07-25 Eidgenossische Technische Hochschule Zurich Medical training systems and methods
US20140272863A1 (en) * 2013-03-15 2014-09-18 Peter Kim User Interface For Virtual Reality Surgical Training Simulator
US20160147308A1 (en) * 2013-07-10 2016-05-26 Real View Imaging Ltd. Three dimensional user interface
WO2016040376A1 (en) * 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN110335516B (zh) * 2019-06-27 2021-06-25 王寅 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法
CN110426223A (zh) * 2019-07-24 2019-11-08 康泰医学系统（秦皇岛）股份有限公司 医疗仪器自动检测装置及自动检测方法
CN110400620A (zh) * 2019-07-25 2019-11-01 上海交通大学医学院附属上海儿童医学中心 一种心脏三维模型构建方法及模拟心脏手术指导系统
CN110400620B (zh) * 2019-07-25 2024-02-13 上海交通大学医学院附属上海儿童医学中心 一种心脏三维模型构建方法及模拟心脏手术指导系统
CN112422901A (zh) * 2020-10-30 2021-02-26 哈雷医用(广州)智能技术有限公司 一种手术虚拟现实视频的生成方法和装置
CN113730715B (zh) * 2021-10-15 2023-10-03 核工业总医院 一种遥控麻醉辅助控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
RU2019112830A (ru) 2020-10-29
US20180090029A1 (en) 2018-03-29
EP3519923A4 (en) 2020-03-25
EP3519923A1 (en) 2019-08-07
RU2769419C2 (ru) 2022-03-31
WO2018061014A1 (en) 2018-04-05
RU2019112830A3 (zh) 2021-09-09
JP7055988B2 (ja) 2022-04-19
JP2019537459A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN109906488A (zh) 虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统
Desselle et al. Augmented and virtual reality in surgery
US20180098813A1 (en) Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
Coles et al. The role of haptics in medical training simulators: A survey of the state of the art
Escobar-Castillejos et al. A review of simulators with haptic devices for medical training
KR102477325B1 (ko) 로봇 수술 시스템용 다중 패널 그래픽 사용자 인터페이스
Riener et al. Introduction to virtual reality in medicine
Douissard et al. The da Vinci surgical system
Mathew et al. Role of immersive (XR) technologies in improving healthcare competencies: a review
Smith et al. Mixed reality interaction and presentation techniques for medical visualisations
Li et al. Design and evaluation of personalized percutaneous coronary intervention surgery simulation system
Greenleaf Developing the tools for practical VR applications [Medicine]
Behringer et al. Some usability issues of augmented and mixed reality for e-health applications in the medical domain
Gupta et al. Augmented reality based human-machine interfaces in healthcare environment: benefits, challenges, and future trends
Riener et al. VR for medical training
He et al. Robotic simulators for tissue examination training with multimodal sensory feedback
WO2007019546A2 (en) System, device, and methods for simulating surgical wound debridements
Nakao et al. Transferring bioelasticity knowledge through haptic interaction
US20220293014A1 (en) Virtual reality medical simulation
Duggan et al. Exploring extended reality as a simulation training tool through naturalistic interactions and enhanced immersion
EP4243001A1 (en) Simulator system for the safe training of medical personnel
Kotranza et al. Virtual multi-tools for hand and tool-based interaction with life-size virtual human agents
Sararit et al. A VR simulator for emergency management in endodontic surgery
Negrão et al. Design and think-aloud study of an immersive interface for training health professionals in clinical skills
US10692401B2 (en) Devices and methods for interactive augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination