CN107111894B - 用于专业和教育训练的增强或虚拟现实模拟器 - Google Patents

用于专业和教育训练的增强或虚拟现实模拟器 Download PDF

Info

Publication number
CN107111894B
CN107111894B CN201580057915.9A CN201580057915A CN107111894B CN 107111894 B CN107111894 B CN 107111894B CN 201580057915 A CN201580057915 A CN 201580057915A CN 107111894 B CN107111894 B CN 107111894B
Authority
CN
China
Prior art keywords
virtual
instructions
augmented
avatar
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580057915.9A
Other languages
English (en)
Other versions
CN107111894A (zh
Inventor
R·里贝拉
K·萨尔马
S·斯塔特莱曼
S·纳姆佩鲁马尔
J·里贝拉
C·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Simx LLC
Original Assignee
Simx LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Simx LLC filed Critical Simx LLC
Publication of CN107111894A publication Critical patent/CN107111894A/zh
Application granted granted Critical
Publication of CN107111894B publication Critical patent/CN107111894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30—Anatomical models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于专业和教育训练的增强现实模拟器的方法和装置。模拟器提供跨一个或多个物理地点的训练环境，其中表示纯粹虚拟物体或人或者位于不同物理地点的真实物理物体或人的一个或多个虚拟化身被投影到物理空间中。化身与其他化身和真实物体或人交互，并随时间或响应于由其他真实或虚拟元素采取的行为或基于预定义的指令进行更新。

Description

用于专业和教育训练的增强或虚拟现实模拟器
相关申请的交叉引用；权益要求
本申请根据35U.S.C.§119(e)要求2014年9月8日提交的临时申请62/047,589的权益，其全部内容通过引用在此并入本文，如同在本文完全阐述一样。
技术领域
本公开涉及利用模拟的基于计算机的训练，并更具体地涉及用于专业和教育训练目的的增强现实模拟软件，包括但不限于医疗和机械训练。
背景技术
与纯粹的实践相比，关键事件的模拟以磨练技能的概念一直是人类训练方法的主要部分。在其核心，模拟的目标是真正地模仿事件的物理和心理体验，从而可以实现管理情感境况和心理压力的力量来保留比仅实践所能产生的可靠性更高的物理和智力的技能和经验教训。
各个行业已经采用并改进了基于模拟的训练方法，试图尽可能精确和准确地复制工作环境以为学生和专业人员准备在实践中可能遇到的关键事件。例如，在航空行业中，随着计算机技术变得更加先进和可负担，飞行模拟器随时间而改进。在医疗机构中，医疗场景模拟已经发展成为医疗训练和继续教育的标准组件，通常依赖于物理“假体”装置来代表模拟的“患者”或“对象”。
既低成本又完全浸入式的基于模拟的训练系统在许多行业中非常有限或不存在。此外，当前的模拟工具没有与计算机系统紧密地整合，所述计算机系统可满足创作模拟情况场景以用来分发和重用，或者存储和聚合以用于分析、评分和回顾。特别地关于医疗，目前在医疗教育中进行的大多数模拟涉及能够描绘人类生理学的全尺寸计算机驱动的人体模型的使用，并围绕该人体模型可以重现真实的临床环境。在这个意义上，人体模型模拟器独特地适合于能够满足对设备保真度、环境保真度和心理保真度的要求的训练场景，或者能够唤起受训者可在实际实践中期望体验的他们的情绪的能力。然而，在人体模型代表各种各样的人口统计特征或视觉上重要的临床场景的能力中仍然存在差距。此外，存在与以足够频繁的时间间隔收集工作时间有限的受训者来促进使用人体模型模拟的临床能力的维持相关联的重大后勤挑战。装备和维护采用这样的人体模型的顶尖的模拟设施所涉及的教员薪水、技术员薪水和机会成本代表了巨大的成本，并对人体模型模拟完全整合到现有课程中的能力造成显著的限制。
除了新手医务人员的训练之外，基于模拟的训练也已经被认为是维持完全许可和执业的医务人员的技能的必要部分，但是将人员在规则计划的时间之外一起带到高保真度的环境或者将高保真度的环境带到人员的规则的工作地点的后勤挑战，在这种人口规模下对基于模拟的训练表现出了几乎不可克服的挑战。现代高保真度医疗模拟系统的成本和可移植性的缺乏，在医疗教育机构之外和富裕国家之外也表现出了对其更广泛应用的障碍，尽管在社区机构中和新手中、以及发展中国家中明显需要这样的维持训练。基于人体模型的系统表现不同种族、年龄群组和视觉症状(包括皮疹)的能力有限，也代表心理保真度的降低，医疗模拟的这些方面特别与有经验的提供者的训练和热带医疗领域相关。
本部分中描述的方法是可以被从事的方法，但不一定是先前已经被构想或被从事的方法。因此，除非另外指明，否则不应该假设仅凭本部分中描述的任何方法包括在本部分中而将它们认为是现有技术。
附图说明
下面以详细描述和附图来描述本发明的示例性实施例。已经参考可以根据实现到实现变化的许多具体细节描述了本发明的实施例。因此，说明书和附图被认为是说明性的意义而不是限制性的意义。本发明范围的唯一且排他的指示符以及申请人意图的本发明范围，是本申请所发布(以这样的权利要求发布的具体形式，包括任何后续的更改) 的一组权利要求的字面和等价的范围。
图1是示出了共享的用于医疗训练的增强现实环境在多个地理位置使用的图；
图2是示出了用于汽车训练的增强现实环境的使用的图；
图3是示出了共享的用于训练的增强现实环境在多个地理位置使用以及在这些位置之间通信的图；
图4是示出了共享的用于训练的增强现实环境的使用的图，其中使用物理假体作为锚定增强现实环境的参考点；
图5是示出了用于训练的增强现实环境、用于创建环境的一系列计算设备、以及指定训练增强现实环境的指令文件的使用的图；
图6是示出了用于取回对增强现实环境保存的指令文件的一个或多个网络计算机系统的使用的图，其中可选地使用用于指令文件的市场(marketplace)；
图7是示出了用于对增强现实环境的指令文件的创作的软件的使用的图；
图8是示出了用于对增强现实环境的子组件工具的指令文件的创作的软件的使用的图；以及
图9是示出了一个或多个专用计算设备的使用的图。
具体实施方式
在下面的描述中，为了说明的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，显然，本发明可以在没有这些具体细节的情况下实施。在其他实例中，公知的结构和设备以框图形式示出以避免不必要地模糊本发明。
本文描述了提供用于基于模拟的训练的系统、方法和非暂时性计算机可读介质的技术。该方法使用增强现实(虚拟现实的特定模式 (incarnation))，以便大大提高在对训练的模拟中可用的设备保真度、环境保真度和心理保真度的程度，某些实施例还降低了成本并改进了模拟系统的可移植性，这取决于用于实现模拟系统的特定硬件。
这里，增强现实环境是指在该环境中添加虚拟的投影的两维或三维物体的情况下，用户对他们的真实物理环境的感知。与增强现实环境的概念相整合的是虚拟物体被感知为如同真实物体一样存在于真实空间中的这样的特征，适当地具有用户围绕它们走动并从不同的角度看到它们的能力。在管理这个用于训练时，描述的方法使得能够复制几乎无限数量的环境。
在一些实施例中，本文描述了用于建立增强现实环境，利用计算机应用来创作模拟场景情况，处理对虚拟物体的行为，以及记录当用户浸入在增强现实环境中时发生的事件的过程。这样的场景情况可以包括指令集和相关联的元数据以及从属指令集和数据，例如音频数据或图像数据，以及可以通过使用因特网基础设施、市场或其他分发机制来在本地或广泛地分发。
在真实空间内建立增强现实环境是指使用计算机生成虚拟模型或虚拟化身(avatar)投影到空间中，其中化身表现为好像它们物理上在空间中，并且其中多个用户可以看到彼此或者至少彼此的占位体以及化身，并与化身和彼此交互，模仿其中所有化身和用户物理上在真实空间中并且是实体物体或者存在的情况，即使在用户本身不在同一真实空间中的场景时也如此。虚拟化身可以被投影到空的物理地点，或者它们可以被投影在现有的真实物体上并部分地或全部地阻挡真实物体的实际视图，同时允许与真实物体的物理交互(例如触摸)，并允许这样的交互被检测以及基于该交互更新虚拟化身。
利用计算机应用来创作场景情况是指创作应用的使用，该创作应用输出指令集，该指令集定义虚拟化身在增强现实环境中相对于时间的外观、属性和行为，以及定义虚拟化身对增强现实中其他物体的影响以及其他物体对虚拟化身的影响。
在增强现实环境中处理对虚拟物体的行为是指使用传感器在增强现实环境中将真实物体的虚拟版本与真实物体进行匹配(其中虚拟物体占据与真实物体相同的空间)，以及使用这些虚拟物体之间的行为和交互如由它们的预编程属性定义的那样来准确地改变虚拟物体的外观或其他属性的方法。这还指基于与其他纯虚拟物体或真实物体的行为和交互如由它们的预编程属性定义的那样来改变纯虚拟物体的外观或属性的方法，而在真实环境中没有物理模拟。这可以包括纯视觉改变、移动或其他属性，例如音频发声。行为和交互的检测可以涉及使用可穿戴的或独立式的传感器，例如相机、IR信标、无线信标和惯性测量单元。一些传感器可以附接到由参与者佩戴的增强现实设备，或者它们可以附接到真实物体并与系统通信以提供关于真实和虚拟空间相对于那些物体的状态的额外信息，或者它们可以是独立的。
记录在增强现实环境中发生的事件是指除了时间的推移、参与者的视觉或音频体验、以及预编程事件的发生之外，检测和记录诸如身体移动和言语的用户行为，并使用该记录基于预定的度量来评估用户表现的方法。
图1示出了使用共享的用于训练的增强现实环境的一个可能的实施例，其中多个真实参与者和真实物体位于不同的地理空间中，共享的增强现实环境由生命体和无生命物体的虚拟化身填充。具体地，所示的图表示共享的用于医疗训练的增强现实环境在两个地点中的使用，这里的描绘利用四个面板示出了在两个不同的物理地点101和102 处同时(或由于网络和/或设备的不同处理速度导致的潜在滞后而几乎同时)发生的一个医疗训练课程(session)。所示的图在顶部两个面板中描绘了地点101和102中的真实物理空间，其仅由真实的物理物体和生命体填充。该图的底部两个面板描绘了由真实物理物体和生命体以及物体和存在的虚拟化身填充的增强现实环境。该图在图的左半部分描绘了地点101以及在图的右半部分描绘了地点102。
根据该特定实施例，包括医生103、护士104和呼吸治疗师105 的三个人类参与者同时参与医疗训练课程。参与者103和104位于情景中描绘的一个特定物理地点101，参与者105位于情景中所描绘的不同物理地点102。
医生103佩戴增强现实设备106，其是具有用投影到空间中、看起来是物理地存在于该空间内的虚拟元素向周围物理空间进行显示的能力的设备，将佩戴者浸入在增强现实环境中，并在该实施例中，其还具有内置到设备中或以模块化方式附接到设备的其他能力。具体地，所示的实施例包括因特网通信、传感器(包括多个相机、IR跟踪设备、惯性测量单元和其他传感器)、音频扬声器系统和耳机。此外，设备 106的一个实施例可以包括双眼视觉的能力，以进一步将参与者浸入在增强现实环境中。
医生的增强现实设备106正在投影三个虚拟化身107、108和109，这三个虚拟化身是计算机生成的生命体的虚拟表示，其不是物理地存在的，而是被投影到佩戴增强现实设备的个人的物理视图中以看起来是物理地存在，其可以是逼真的并与物理参与者和与其他虚拟化身交互，还可以在系统使用的过程期间体验状态的改变。
虚拟化身108是人类参与者护士105的表示，人类参与者护士105 不物理地存在于医生103位于的物理地点101中，而代之以在不同的地点102使用系统并由增强现实设备106物理地投影到医生103的视野中，其相对于固定到地点101中的床111的标记192投影的位置和方向对应于参与者105在地点102中相对于固定到床112的标记193 的位置和方向。在该实施例中，标记192和193是视觉可见的不同的样式，快速响应代码。当通过模拟系统读取标记时，将标记样式或在其他实施例中关于标记的其他独特品质与用于该模拟课程的预编程的一组标记相比较。一旦在参考集中找到匹配标记，则用于被编程为投影在该标记上的化身的数据被取回并用于将化身以三维投影在标记上。部分地使用由参与者105的增强现实设备110以及参与者103的增强现实设备106基于标记的位置和方向提供的传感器数据，由系统计算化身的适当的位置和方向。系统使用该传感器数据基于课程中的参与者相对于锚物体(例如分别固定到床111和112的标记192和193) 的相对位置和方向来计算适当的角度。化身108可以表现为参与者105 的精准的三维复制品，或者占据与参与者105相同的相对位置的通用人类化身，或者位于相同相对位置的不同占位体图形化身。
或者，可基于对场景中任何其它物理物体或标记的相对定位和方向来计算此位置和方向，其中标记是预先规划的物理物体、视觉或物理样式、或用作由系统执行相对地点和方向计算的基准点的电磁发射器，或者可以根据需要使用不同的方法(例如同时局部化和映射)来计算位置和方向。示出物理样式的示例(例如平面壁)具有虚拟标记 194，其表示基于平面表面的样式识别地点锚(虚拟标记194)在增强现实环境内的布置，其中二维虚拟化身、心脏监视器屏幕124相对于虚拟标记194放置。还示出了电磁标记的示例，例如嵌入到超声探测器126中的标记，其中这样的电磁标记类似于可视标记192和193可以通信地点、方向和身份数据。在这种情况下，标记还允许真实US 探测器126与其虚拟化身127的配准。在电磁标记的情况下，可以主动传送关于其附接到的真实物体的详细身份数据，包括关于真实物体如何与虚拟物体交互的数据，以及关于与之配准的虚拟物体(在这种情况下是虚拟超声探测器127)应当如何出现并交互的数据。在类似于视觉标记的作用的无源电磁标记的情况下，模拟系统传感器仅能够读取地点、方向和身份数据，系统将使用身份数据(例如由标记广播的代码)将正确的虚拟化身适当地配准到真实物体。通过将感测的身份数据与预编程的一组标识符进行比较，模拟系统确定哪个特定化身及其对应的属性要被投影以覆盖标记，例如在这种情况下是化身127。一旦虚拟化身被配准到物理物体，系统如预编程的那样将该化身投影在标记上，通常占据与真实物体相同的空间并精准地跟随真实物体在增强现实空间中的移动，从而覆盖真实物体。因此，当真实物体126 被配准并与虚拟物体(诸如化身107)交互时，模拟系统使用预编程的指令来确定交互的结果。例如，在增强现实空间中将真实物体126 放置在化身107的胸部并与胸部接触，还将使虚拟物体127与化身107 的胸部接触，这可以被系统检测为碰撞，并且其可以在设备121上触发US结果图像122的显示。该碰撞也被系统记录，并且如果被列为表现度量，则参与者使用探测器126可以有助于他们的表现分数。在一个未在图中明确示出的实施例中，诸如未附接到任何参与者的相机的额外传感器或三维定位系统也可以用于计算视觉或电磁标记的位置和方向。
如以上所指出的，可以监视和记录增强现实环境内的参与者、化身和/或其他物体的行为。这样的监视在评估参加训练模拟的一个或多个参与者的表现的境况中是有用的。使用诸如麦克风、相机等的至少一个传感器，增强现实设备可以检测增强现实空间内的行为的发生。检测的行为可以根据实现而变化，并可以包括但不限于参与者的物理移动、参与者的发声、参与者与虚拟化身之间的交互、两个不同虚拟化身之间的交互、物理物体和虚拟化身之间的交互、参与者与物理物体之间的交互、或其某种组合。一旦检测到，行为的发生可以被记录到计算设备的易失性或非易失性存储器。用于记录行为的数据可以变化并可以包括但不限于描述行为的文本数据、行为的视觉图像、行为的视频文件、发声的转录、发声的录音、或其某种组合。在模拟期间或在模拟结束时，可以将记录的行为与表现度量进行比较。在一些实施例中，表现度量标识一组目标行为，其中目标行为指定在模拟期间参与者应该采取的行为，或者在一些情况下，参与者不应该采取的行为。可以存在与不同目标行为相关联的等级或权重。例如，如果参与者采取最佳行为，则参与者可以得到对该行为的最高表现分数，然而，不同的行为可以是适当的行为(但不是最佳行为)，其中参与者对该行为得到较低的表现分数，以及如果没有采取适当的行为，则得到最低的表现分数。因此，系统可以将行为的记录与表现度量进行比较，以进行对一个或多个参与者的表现的评估。然后，系统生成包括指示增强现实环境中的一个或多个参与者的表现的一个或多个测量的表现评估。测量可以是参与者表现的分数、等级、对改进的建议或某个其他定量或定性的指示符，其计算可根据实现到实现而变化，并可取决于使用的表现度量和在模拟期间记录的行为。在医疗模拟的境况中，系统可以监测参与者是否订购药物，所使用/应用的剂量是否正确，参与者是否对虚拟化身正确地进行外科手术的过程，事件和行为之间的响应时间等，以评估参与者的表现。评估报告可以通过网络打印、存储和/或传送，以通知参与者和/或仲裁人模拟结果。
虚拟化身108模仿由地点102中的参与者105进行的物理行为。在该场景中，参与者105正在使用工具113，例如气囊阀门面罩 (bag-valve-mask)。使用系统将气囊阀门面罩作为虚拟工具114虚拟地投影到空间101中。工具113的使用由增强现实设备110来检测，通过设备110上的传感器和工具113的物理配置，或者替代地通过使用放置在工具113上的基准标记，或通过一些其他如前所述的标记技术。系统检测参与者105使用工具113并将虚拟工具114与化身108 一起投影，使得其他参与者看到她在地点102中的行为，模仿参与者 105在与参与者103和104相同的物理空间101中使用工具113的情况。虚拟化身129类似地模仿由参与者104在地点101中进行的物理行为。在这种情况下，发射器197提供关于参与者104的手腕的地点的额外地点数据，允许她的身体移动以更高的精确度被检测以及化身 129更准确地镜像她的身体移动。
在该实施例中，已经使用创作应用来设计和创建了其中三个真实个人103、104和105参与的增强现实医疗训练课程，该创作应用的输出是包含投影存在于共享的增强现实环境中的虚拟化身所必需的信息的文件。此输出文件包含描述虚拟化身的物理属性(包括其外观以及每个不同化身独有的不同组属性)的指令集。
在图中，地点101中的化身107和109代表人类，其中文件内的指令集包含用于设备106、110和190投影那些化身的数据。此外，由于化身107和109代表人类，所以描述它们的指令还提供关于其生理和举止的信息，生理和举止如何随着指令被执行而随时间变化，以及它们的生理、举止和外观如何响应于与真实物体、虚拟化身和虚拟干预(例如药物管理)的不同交互而改变。地点101中的化身114代表工具，并且指令集还包含关于该工具的外观和属性的数据，包括其使用如何影响其他虚拟化身。
地点101中的计算设备199和路由器198分别用作用于网络通信的主机和管道，从而允许增强现实环境中的所有化身的协调投影。在这种情况下，计算设备199正在运行可执行先前提到的指令集以构建增强现实环境的模拟执行应用。在这种情况下，计算设备199直接地或经由路由器198和195地与客户端设备106、110和190以及包含在物体118、126和191内的发射器无线通信。
作为主机，计算机设备199从感测设备接收关于所有标记的地点数据和属性数据，然后将该数据重新广播到所有投影设备以便允许所有化身的协调和同时(或接近同时)的视图并响应于化身的交互来适当地改变增强现实环境。以这种方式，所有三维化身正确地占据所有参与者的三维增强现实空间，使得当从不同角度和位置查看时，化身在一致的相同方向上占据一致的相同空间，就好像它们物理上存在一样。给予足够的计算能力，设备106或190也可以用作主机。在经由路由器198和195的因特网访问的境况中，除了访问本地数据库以外，设备199、106、110和190还可以根据需要从远程服务器下载数据，以便在模拟课程的过程中投影填充共享增强现实环境的所有化身。
主机设备199还可以被任何参与者用来在执行改变增强现实环境的指令集期间输入命令，例如创建新的化身或触发人类化身中的生理变化。使用运行模拟执行应用的主机设备199对模拟环境的控制还包括描述增强现实环境的指令集的导航，使得如果参与者必须离开模拟环境，希望重新体验特定事件或希望向前跳到稍后的时间点，可以适当地导航指令集的执行。
虚拟化身109代表不表示物理人类参与者的虚拟角色。该角色完全由系统生成，并可以与人类参与者以及其他虚拟化身交互。化身109 被设备106投影到医生103的视图中，并看起来与医生103在相同的物理空间101中。相同的虚拟角色由增强现实设备110投影到物理空间102中并被护士105看见为化身115。化身115和109两者都是相同系统生成的虚拟角色的代表，并在两个地点101和102中类似地被投影。该角色的行为和交互被投影到模拟中的所有参与者的视图中，并被由设备199执行的指令集支配。
虚拟化身107也代表不表示物理人类参与者的虚拟角色。在该场景中，化身107代表患者，其还在地点102中表示为化身116。化身 107被投影为出现在物理床111的顶部上，并且化身116被投影为出现在物理床112的顶部上，以便提供为所代表的医疗训练课程的目的的真实的患者设置。基于由设备199执行的指令集，虚拟患者完全由系统模拟并与其他参与者以及虚拟化身交互。虚拟患者的生理和物理状态由系统基于接受的生理参数以及相关联的训练情景的预编程参数来计算和模拟。模拟的参数可以包括呼吸和呼吸速率、心率、氧饱和度、听诊声音、超声图像和其它成像模态、物理征兆和结节、以及其他适当的生理参数。模拟的患者还可以与其他参与者和化身交谈或以其他语言或非语言手段交流。使用传感器，系统可以检测参与者的发声以及这些发声的内容，这些发声可以包括对系统的命令，例如用于管理药物或与虚拟化身交互诸如关于虚拟患者的病史的问题。患者的模拟的状态可以随时间或由于诸如由其他虚拟化身或物理参与者采取的行为之类的事件而演变。
虚拟患者化身107可以使用参与者的身体部分或使用虚拟的工具 (例如工具117)或物理的工具(例如工具118、113和126)来直接地交互。只存在于一个地点中的物理工具，诸如113、118和126，可以被投影到另一个地点中，例如分别为虚拟工具114、128和127。工具使用的结果可以被投影到真实屏幕上，诸如屏幕119上的结果120，或者它们可以被投影到虚拟屏幕上，诸如虚拟屏幕123上的虚拟结果 124。在这种情况下，结果120和124代表相同的结果，其分别使用真实屏幕119和虚拟屏幕123在地点101和102两者中同时地并相同地被投影。来自诸如超声126之类的要求专用机器来显示的专用工具(诸如机器121)的结果可以像在机器121上那样投影到真实屏幕上，或者如果没有真实机器存在则可以将虚拟机器投影到空间中，如同物理地点102中的虚拟机器125一样。
对虚拟化身使用真实或虚拟工具的结果由系统计算。系统使用适当的传感器检测工具的使用。在该场景中，医生103对听诊器工具118 的使用由他的增强现实设备106通过使用设备118上的无线信标来检测。或者，可以通过使用设备106上的传感器来检测该工具使用，例如，检测基准标记放置在工具118上或识别工具118的物理形状的相机。工具118当前与化身107交互的事实由系统通过将化身107的虚拟模拟空间位置与工具118和它所配准到的虚拟工具128的物理地点相关联来检测。然后系统以适当的方式输出适当的结果。在听诊器工具118被放置在患者107的模拟的三尖瓣听诊区域上的情况下，适当的心音由设备106播放，并被参与者103以与参与者103正在对真实的物理人类患者使用其设备时类似的方式无缝地听到。在这种情景下，虚拟患者107还具有胸壁触痛，当听诊器118放置在他的胸部上时，根据正在被执行以及控制增强现实环境的指令集来触发虚拟患者107 呻吟。
治疗工具(诸如气囊阀门面罩工具113)的使用类似地由系统处理。该系统通过诸如上面讨论的那些适当的机制来检测工具的使用。当工具用于患者时，基于患者的当前模拟的生理和物理状态以及特定工具的特性来计算适当的生理响应，其可以基于工具的身份被自动分配给工具的虚拟化身，基于该计算更新患者的状态，然后相应地更新患者的投影和任何生理或物理符号和结果。在这种情景下，参与者105 使用工具113(例如气囊阀门面罩)以提供漏气氧气。响应于虚拟患者116的脸部附近工具113的存在，地点102中的虚拟患者116具有较慢的呼吸，其由地点101中的虚拟患者107同时镜像，伴随呼吸改变和改善的氧合，由较高的氧饱和度百分比反映，同时显示在虚拟监视器120和124上。
在地点102中，即使参与者105处在不同的物理地点，物理参与者105也能看到与地点101中的参与者103看到的场景相似的场景。这由参与者105的增强现实设备110实现，参与者105的增强现实设备110将物理参与者103和104分别投影为虚拟化身129、130。化身129和130被投影为出现在相对于物理床112和标记193与物理参与者103和104相对于物理床111和标记192相同的相对位置中。或者，定位可以通过不同的机制来实现，例如上述机制。另外，虚拟化身115 和116被投影到地点102中，正如化身109和107分别被投影到地点101中一样。虚拟屏幕123和虚拟机器125也被投影到地点102中，以便复制物理屏幕119和物理机器121，使得参与者105能够看到参与者103和104看到的所有结果。这总体上向参与者103、104和105 提供了如下外观：他们位于相同的房间中并与相同的患者107和虚拟角色109交互，即使事实上他们在两个分离的地点101和102中。参与者还能够作为团队来交互并与患者一起无缝地履行职责，提供综合的训练体验。
图2示出了使用用于训练的增强现实环境的一个可能的实施例，其中单个真实参与者(例如机械师201)使用增强现实环境用于在单个地点的机械训练，同时虚拟训练装置(例如发动机202)使用增强现实设备203被虚拟投影到的物理空间。
机械师201正佩戴着增强现实设备203。所示的实施例除设备的增强现实能力之外包括因特网通信、包括多个相机、IR跟踪设备、惯性测量单元以及其他传感器的传感器、音频扬声器系统和耳机。
增强现实设备203正在投影虚拟化身202，虚拟化身202是计算机生成的发动机的虚拟代表，其不是物理存在的，而是由增强现实设备203投影到机械师201的物理视图中以便看起来是物理存在的，并且其是逼真的并与物理参与者和其他虚拟化身两者交互，还可以在系统使用的过程期间体验状态的改变。
在该实施例中，机械师201参与的增强现实机械训练课程已经使用创作应用被设计和创建，该创作应用的输出是包含投影存在于增强现实环境中的虚拟发动机化身202所必需的信息的文件，以及描述虚拟发动机化身的物理和交互属性的指令集。
化身202代表模拟的发动机的计算机虚拟表示，其中文件内的指令集包含用于设备203将化身202投影到机械师201的视图中的数据。此外，该指令集还描述了模拟的发动机如何受与机械师201的交互的影响，例如机械师201使用工具204进行发动机的修理。这包括会影响化身202的视觉外观的物理指令以及描述这种修理会如何影响发动机的操作的指令，其将更新模拟的发动机的内部呈现，从而允许以合成效果在发动机上进行进一步的修理和操作，并且其可以允许模拟环境预测用于模拟测试或用于评估训练课程中机械师201的表现的所修理发动机的性能特性。
工具204代表机械师201正手持的物理工具。增强现实设备203 的传感器检测工具204的使用及其身份。在该实施例中，设备203的相机检测工具204的物理形式，并使用该信息来确定工具204相对于机械师201的位置和发动机202的虚拟模拟位置的位置。在该图中，物理工具204在点205处与发动机化身202相交，其对应于虚拟发动机化身202的子组件。使用来自增强现实设备203的感测的信息，模拟系统检测到机械师201正在尝试使用工具204与发动机化身202在点205处交互，并使用文件指令，基于工具204的身份和包含在指令集中的或由模拟应用如由指令集提示的那样下载的工具属性，来确定由机械师201进行的交互对模拟的发动机具有什么影响。系统对发动机202的模拟外观进行适当的修改，并且该更新的外观经由增强现实设备203被投影到机械师201。这向机械师201提供了工具204的使用正在修理化身202的外观，如果在相同点处使用，就像修理真实的发动机那样，提供机械师201正在与真实的发动机交互的外观。由机械师201进行的修理被保存到指令集文件中，并使修理在完成之后保持不变。
在机械师201完成使用工具204对化身202进行修理之后，他可以运行虚拟发动机的模拟测试。模拟系统然后使用保存的修理来使用文件指令计算修改的发动机的适当性能，然后投影运行中的发动机的化身，从而允许机械师201评估他已经做出的改变。或者，机械师201 可以请求对他在训练情景中的表现的评估。模拟系统将由机械师201 做出的修理和所得到的性能，与包含在指令集文件中的预设参数进行比较，然后向机械师201提供分数和解释。
图3示出了使用共享的用于训练的增强现实环境的一个可能的实施例，其中多个真实参与者和真实物体位于不同的地理空间中，共享的增强现实环境由生命体和无生命物体的虚拟化身填充。具体地，所示的图表示共享的用于两个地点中的医疗训练的增强现实环境的使用，这里使用覆盖在地图320上的两个面板311和312来描绘，其描绘了不同的训练地点309和310。面板311表示在地点309处的训练课程的视图，以及面板312表示在地点310处的训练课程的视图。
根据该特定的实施例，包括呼吸治疗师304和护士302的两个人类参与者同时参与医疗训练课程。参与者302位于物理地点309处，而参与者304位于物理地点310处。尽管来自不同的物理地点，但两个参与者302和304同时参与同一共享的医疗训练课程。
参与者302和304分别佩戴增强现实设备313和314。在该实施例中，除了增强现实投影能力之外，这些设备还提供以模块化形式附接到该设备或者内置到该设备中的因特网通信、包括多个相机、IR跟踪设备、惯性测量单元以及其他传感器的传感器、音频扬声器系统和耳机。
化身303和306代表虚拟患者化身，两者代表相同的模拟患者。虚拟患者由系统完全模拟，并基于由系统执行的指令集与其他参与者以及虚拟化身交互。化身303由设备313投影到参与者302的视图中，而化身306由设备314投影到参与者304的视图中。两个化身看起来相同并以相同的方式反应，因为它们代表相同的下面的模拟患者。发生在任一地点处对任一化身的交互由在交互物理地位于的地点处的化身以及在另一地点处的化身两者反映。这是通过因特网通信促进的。在该图中，参与者304正在准备对化身306使用气囊阀门面罩315。该工具的使用由设备314上的传感器检测。设备314还检测参与者304 相对于患者化身306的空间位置。该组信息然后通过因特网(由箭头 316表示)从地点310向地点309处的设备313广播。该传送直接在两个设备之间发生，或者通过因特网服务器或一系列因特网服务器和其他设备中继，并可以在到达其目的地之前被一系列因特网服务器和其他设备首先处理和变换。所得到的信息然后由设备313使用以将虚拟化身301投影到由参与者302观察到的物理空间中，虚拟化身301 代表参与者304并相对于虚拟患者化身303位于相同的地点，如同物理参与者304相对于虚拟患者化身306的位置。
类似地，设备313检测参与者302相对于患者化身303的地点。该信息通过因特网从地点309直接地或经由因特网服务器或经由一系列因特网服务器和其他设备被传送到地点310。该信息可以在到达其目的地之前由一系列因特网服务器和其他设备首先处理和变换。所得到的信息然后被设备314用于将代表参与者302的虚拟化身305投影到参与者304观察到的物理空间中。该传送几乎瞬时地发生，允许参与者304或302采取的行为几乎立即被另一个参与者观察到，从而提供两个参与者在相同空间中工作的体验，即使他们位于地理上分离的两个不同的物理地点。另外，也可以根据需要捕获和投影非人类物体 (如工具315)，使得两个参与者看到相同的一组物体，这是由于真实物体或代表该真实物体的虚拟化身(例如虚拟工具化身317)的存在。
同样在该特定实施例中，参与者304当前正在说话308。包括该话语的音频信息由存在于设备314中的麦克风传感器记录。或者，该信息可以由存在和连接到增强现实系统的任何其他音频记录装备记录，诸如具有无线或有线因特网连接性的独立麦克风，或由不同参与者佩戴的不同增强现实设备。该信息从地点310处的设备314传送到地点309处的设备313。该传送直接发生在两个设备之间，或者通过因特网服务器或一系列因特网服务器和其他设备中继，并可以在到达其目的地之前由一系列因特网服务器和其他设备首先处理和转换。设备313然后使用其耳机向参与者302广播音频信息。或者，连接到具有音频扬声器能力的增强现实系统的任何其它设备可以用于广播音频信息，诸如具有无线或有线连接性的独立扬声器系统。这给出了化身 301向参与者302说话307的外观，即使实际物理话语正在不同的物理地点发生。还由设备314或运行启用增强现实环境的模拟执行应用的其他设备来分析话语308的内容，其中该内容被识别为对系统的命令或其他相关话语，如由模拟课程指令集所指示的。类似地，任一参与者的其他行为可以由系统记录并传送，以便允许在其他物理地点处的参与者体验那些行为，诸如物理移动或与物理物体或虚拟化身的交互。这提供了参与者302和304看起来经历参与在相同地点的训练的无缝体验，即使他们物理上位于两个不同的物理地点。
图4示出了使用共享的用于训练的增强现实环境的一个可能的实施例。具体地，所示的图表示共享的用于医疗训练的增强现实环境被两个真实的人类参与者(例如医生401和护士402)的使用。参与者 401和402分别佩戴增强现实设备406和407，在本实施例中，除了拥有增强现实投影能力，还包括内置在设备中或以模块化方式附接到设备的因特网通信、包括多个相机、无线信标跟踪传感器和其他传感器的传感器、以及耳机。
根据该特定实施例，物理患者假体403正用于模拟。物理假体403 物理地包含设备405，其是组合的传感器、无线接收机和无线发射机，进一步用作假体403的可跟踪无线信标。设备405能够与增强现实设备406和407通信，增强现实设备406和407使用来自设备的信息分别跟踪假体403到参与者401和402的相对位置。这允许设备406和 407将现实的虚拟患者化身投影到假体403的物理地点上的参与者401 和402的感知中，从而提供虚拟患者化身处于被假体403实际占据的物理地点的幻觉。此外，设备406和407将数据从信标405经由路由器408发送到膝上型计算机409，膝上型计算机409与模拟患者运行模拟执行应用。
医生401当前正在对他感知的虚拟患者化身使用真实听诊器工具 407，虚拟患者化身被投影在假体403的真实物理地点上。由于假体 403在同一地点，医生401接收由工具407和假体403之间的接触引起的触觉感觉。此外，设备406使用其传感器检测医生401正在对虚拟患者化身使用听诊器407并经由路由器408将该信息传送到膝上型设备409。设备405还检测该听诊器使用并经由路由器408将该数据传送到膝上型计算机409。膝上型计算机409使用用于模拟的指令集来确定适当的响应，然后将该适当的响应经由路由器408传送回设备 406和407。
图5示出了使用用于训练的增强现实环境的一个可能的实施例。具体地，该图描绘了一个参与者，例如医生501，使用用于医疗训练的增强现实环境。另外，示出了促进增强现实环境的若干计算机系统，包括网络路由器506、膝上型计算机507和服务器508。另外，用于该医疗训练课程的一个可能的指令文件510图形化地被表示。
医生501正在佩戴增强现实设备502并位于地点509。在该实施例中，除了增强现实投影能力之外，设备502还具有内置到设备中或以模块化方式附接到设备的其他能力。具体地，所示的实施例包括因特网通信、包括多个相机、IR跟踪设备、惯性测量单元和其他传感器的传感器、音频扬声器系统和耳机。虚拟患者化身505由设备502投影到医生501的视图中。
在该特定实施例中，指令文件510是医生501当前参与的医疗训练课程的指令文件。指令文件510可以包含若干子组件，包括所描绘的那些四个子组件：元数据511、指令512、访问权限513和事件日志 514。指令文件510由创作程序创建，该创作程序基于由创作程序的用户创建的指令和程序生成文件。
元数据511包括关于指令集的信息，其可以包括标题、模拟类型、支持的参与者数量、化身列表、运行模拟的个人使用的注释、以及参与者的注释。
指令512包括由增强现实模拟使用以控制虚拟模拟和化身并调解系统中的任何交互的指令集。化身505的物理特征包括在该指令集中。服务器508使用关于这些特征的指令来生成之后被设备502投影的三维虚拟化身。化身的行为也受这些指令管理。例如，由化身505代表的患者模拟的呼吸率由该指令集管理。运行模拟执行应用的服务器508 使用这些指令来生成和更新患者表现的呼吸率，然后更新化身505的逼真的呼吸率。
化身对交互的反应也由指令集指定。由于医生501使用听诊器504 来听诊患者化身505的三尖瓣区域，这由增强现实设备502使用其传感器来检测，在这种情况下，增强现实设备502的传感器可以包括相机或无线信标检测器。在该特定实施例中，之后将信息传送到本地因特网路由器506，其将该信息中继到服务器508。服务器508然后使用包含在指令512中的指令集来确定反应应该是什么。例如，指令集可以指定虚拟患者应该吸气，就好像它是在裸露的皮肤上暴露于冷的听诊器头的真实患者。然后这将由服务器508经由路由器506中继到设备502，设备502将更新化身505以使其逼真，然后化身吸气。另外，指令集512可以指定将从放置在真实患者的三尖瓣区域上的听诊器预期的听诊心音应由使用听诊器的参与者(在这种情况下是医生501) 听到。适当的声音文件(如由指令集指定的)将由服务器508加载，并经由路由器506传送到设备502。设备502然后将使用其耳机能力来向医生501播放该音频声音。在替代的实施例中，声音文件在课程开始时已被传送到设备502，然后在其使用被触发时仅被本地访问。另外，指令512可以指定当在患者上使用听诊器时虚拟患者模拟的心率应增加。服务器508然后更新其虚拟患者的内部表现的心率，并传送适合于指定心率的更快的心音以由设备502播放给医生501。此外，该心率的任何相关联的显示，例如虚拟监视器屏幕，将用新的心率更新。
当医生501首先开始使用听诊器工具504时，设备502可以进一步请求关于工具的信息。该请求将由路由器506中继到服务器508，服务器508将使用指令512来确定工具的性质。然后，这将被传送回设备502。设备502然后可进一步请求所有相关联的音频数据，以便在设备上高速缓存数据。该请求将由路由器506传送到服务器508，服务器508将使用指令512来确定哪些文件与工具504相关联。然后，相关联的声音文件将由服务器508传送到设备502，以减少将来的通信时间。
事件日志514包含模拟的该特定执行内发生的事件和交互的日志，在该实施例中，该模拟是医疗训练课程。例如，在该实施例中，当医生501在虚拟患者505的三尖瓣区域上使用听诊器被传送到服务器508时，如指令512所指令的，其被记录为日志并连同如下一起被附加到区域514中的文件510：行为的任何相关联的元数据，行为的时间，以及关于模拟的状态、参与者或虚拟化身或显示器的任何适当信息。如果由指令集如此指令的话，这将允许服务器508使用在计算模拟的状态的进一步演进中发生该事件的事实。这还将允许用户检查在此次模拟课程中已经发生的过去行为的历史。此外，如果由指令512 如此指令的话，由指令512指定的该事件导致的所得到的改变和交互也可以被附加到事件日志514。这还可以允许服务器508基于先前由指令文件的作者创建并包含在指令集512中的过程，在训练课程结束时创建对医生501的表现的总结和可能的评级。在训练课程结束时，事件日志514可以被复制和保存以用作课程的记录，或者其可以被删除，或者其可以为了统计目的而以其他方式被处理。
在将来，医生501可以在完成他对听诊器504的使用之后决定使用他的手物理地调整床503的配置作为医疗介入。在该实施例中，该行为将由设备502上的传感器或者替代地由床503上的传感器或标记或任何其他外部连接的传感器(例如独立的网络使能的相机)来检测。该行为将经由路由器506传送到服务器508，其中医生的物理行为将被记录在事件日志514中，并且将基于指令512计算患者模拟的适当响应。然后该响应将用于更新服务器508上的患者模拟，其然后将用于更新患者化身。然后，更新将经由路由器506传送到设备502。
在该特定实施例中，医生501正在参与的模拟课程先前由使用膝上型计算机507的本地训练仲裁人启动。仲裁人访问膝上型计算机507 上的可用训练课程的列表。该请求经由路由器506传送到服务器508，其产生可用案例的列表。为了确定案例是否可供仲裁人和医生501使用，服务器508检查特定指令文件的访问权限，例如指令文件510中的访问权限513。然后服务器508将包含在文件中的访问权限与仲裁人拥有的访问比较，并且如果仲裁人的访问足以满足这些访问权限，则文件被包括为发送到仲裁人的列表中的可用案例。
在该特定实施例中，医生501参与的模拟课程正在被同时广播到膝上型计算机507以供训练仲裁人观看。由于设备502使用其传感器感测场景并经由路由器506将其广播到服务器508，所以训练仲裁人能够看到医生501看到的场景。在另一个实施例中，在物理训练环境中可以存在不同的相机，其中该相机的音频和视频数据经由路由器506 传送到服务器508。服务器508然后将该场景重新广播到膝上型计算机507。另外，该视频信息可以由服务器508附加到事件日志514作为训练课程期间医生501的观察的记录(如果需要的话)。在其他可能的实施例中，服务器508和膝上型计算机507可以是相同的计算设备或不同的计算设备或一组计算设备，其可以位于与模拟的参与者相同的地点，或者位于不同的地点，或者位于多个不同的地点，或使用云计算分布在不同地点。指令仲裁人可以不同于参与者，或者其可以是参与者之一，或者可以没有仲裁人。仲裁人可以位于与模拟的参与者相同的地点，或者可以在远程地点。可能有一个仲裁人、多个仲裁人或者没有仲裁人。在这个场景中，使用膝上型计算机507的仲裁人还能够对当前课程进行修改。例如，仲裁人可以决定向训练课程添加额外的突发医疗并发症。这将被输入到膝上型计算机507中并经由路由器506传送到服务器508。服务器508将使用该输入与指令512组合来确定对其内部患者表现做出什么改变。然后，这些改变将用于更新患者化身和任何其他虚拟化身或虚拟屏幕，然后结果将经由路由器 506广播到设备502，然后投影到医生501的视图中。
图6示出了支持由增强现实环境的组件访问指令文件和相关联数据的基础设施的一个可能的实施例，包括服务器和客户端两者，以及其他相关联的计算设备。描绘了两种不同的场景，例如场景601和602。
在场景601的特定实施例中，从客户端(诸如增强现实设备、仲裁人使用的计算设备、或模拟服务器)向本地路由器604传送请求603，其中请求603是对指令文件或相关联数据(诸如音频记录、图形模型或子指令集)的请求。然后，路由器604将请求作为请求605传送到本地数据库服务器606。在其他实施例中，本地数据库服务器可以是与模拟系统中使用的任何其他设备相同的计算设备，例如仲裁人客户端设备或模拟服务器，或者它可以是不同的计算设备，或者可以没有本地数据库服务器。本地数据库606然后使用请求605来搜索其本地数据存储并找到所请求的数据。该数据被打包并作为响应607传送到本地路由器604，本地路由器604然后将其作为响应608传送到请求计算设备。在其他实施例中，可以存在通信链中涉及的额外的路由器或其他网络装备，或者请求设备可以与本地数据库服务器直接联网，本地数据库服务器和请求应用可以是在相同计算设备上运行的不同进程。
在情景602的特定实施例中，请求609也是对指令文件或相关联数据的请求。该请求被传送到本地路由器610，本地路由器610然后将其作为请求611传送到本地数据库服务器612。服务器612使用请求611来搜索其本地数据存储库，但是没有找到所请求的数据。服务器612然后将对数据的请求613发送到路由器610，然后路由器610 经由因特网将其作为请求614传送到模拟分发基础设施615。该基础设施可以包括一个或多个远程计算服务器或云计算基础设施。基础设施615定位服务器616上的数据请求并传送请求617。然后，服务器616使用请求617来搜索其本地数据存储库并取回请求的数据，然后将其作为响应618传送到基础设施615。基础设施615然后将接收的数据作为响应619重新传送到路由器610，路由器610将其作为响应 620传送到本地数据库服务器612。本地数据库服务器可以将得到的响应数据高速缓存在其本地数据存储库中，然后将数据作为响应621重新传送到本地路由器610，本地路由器610将数据作为响应622重新传送到请求计算设备。在其他实施例中，多个路由器或其他网络装备可以用在请求或响应的传送和重新传送中。在其他实施例中，服务器 616可以是基础设施615的一部分或者可以是独立服务器。在其他实施例中，本地数据库服务器612可以由多个计算设备组成，所有这些设备在向基础设施615进行请求之前在本地搜索数据，或者根本不存在本地数据库服务器，在这种情况下，请求设备经由路由器610将请求609直接地传送到基础设施615。在其他实施例中，响应622可以由请求设备处理，并作为结果，可以经由与请求609相同的过程来请求附加数据。在其他实施例中，请求数据可通过经由基础结构615可访问的在线市场可用，在这种情况下，关于可用数据的信息将被传送回请求者，请求者然后将决定是否购买所请求的数据。在一个可能的这样的实施例中，指令集或其他内容的原始作者可以将该内容存储在诸如服务器616的本地服务器上，并且基础设施615将调解原始服务器612对数据的请求，以及如果进行购买，调解从服务器612的运营商到服务器616的运营商的有价值报酬的转移，以及将所购买的数据从服务器616转移到服务器612。另外，基础设施615可以调解所需数据(诸如关于内容的使用的元数据)返回到服务器616。服务器612 可以被禁止在本地保存所请求的内容，因此需要经由基础设施615进行检查，以确保服务器612的运营商继续对所购买的内容具有许可权并在必要时调解任何额外的许可购买。
图7示出了用于由增强现实模拟系统使用的指令集的创作程序的一个可能的实施例。在该实施例中，作者正在创建用于在医疗训练模拟中使用的指令集。
在该特定的实施例中，包括指令集的一组状态701已经被作者创建。作者当前正在编辑一个特定的状态703，其中一些参数被显示在编辑面板702上。作者能够针对情况配置全局物理参数，诸如患者的性别704、民族705和年龄706，用于在增强现实系统的医疗训练应用中可能是适当的虚拟患者。另外，特定于所选状态703的参数是可配置的，包括生理变量心率707、血压708、氧合709和温度710。额外的参数也可用于针对每个状态被配置。这些参数对于多个状态可以是相同的，或者可以是每个状态不同的。另外，诸如714的自由文本注释可以被附加到状态以供指令仲裁人或参与者使用。
一组状态701还包括条件，例如条件711。这些条件管理模拟从一个状态到另一个状态的转变。条件还由指令集作者配置，并可以涉及模拟的任何方面，例如时间的流逝、参与者和虚拟化身的交互、虚拟化身之间的交互、真实或虚拟工具的使用、或者模拟环境中的任何其他事件。条件可以由单个条目或条目的任何布尔配置组成。当条件满足时，它们可以导致模拟从一个状态到另一个状态的转变。例如，满足条件711可以使模拟状态从状态703转变到状态715，在该示例中引起生理特征(例如虚拟患者的心率)、以及由代表患者的虚拟化身显示的和在增强现实环境中显示的虚拟心脏监视器上显示的适当的物理和交互符号的改变。
一组状态701中的一个状态可以表示结束状态或目标状态。在该实施例中，状态712是由指令集作者定义的目标状态。可以基于在模拟过程期间是否实现该目标状态来对由指令集编码的模拟中的一个或多个参与者进行评级。此外，失败状态也可以被添加到该组状态，如果达到该状态，则结束模拟或者将模拟倒回到较早的状态。在模拟终止时，由个体参与者做出的贡献以及在进展通过模拟的状态的总计组表现可以用于提供表现的反馈或评级。此外，诸如在状态之间进展所需的时间长度、不正确或不相关的行为或交互、参与者之间或参与者与虚拟化身之间的通信、以及在模拟过程期间发生的其他事件的因素可用于评级和反馈。用于进行该评级和反馈的过程以及要考虑的因素是由作者使用创作程序创作的指令集的一部分。评级和反馈可以通过增强现实系统直接提供给参与者，或者可以提供打印的或电子的报告。评级和反馈可以被永久地记录和存储，或者可以被删除，或者统计可以被编译并被传送到数据库以供存储和将来评估。可以为整个组或者基于个体向参与者提供评级和反馈。
指令集作者还可以例如通过使用加载命令713来加载其他指令集，以便在正在被创作的指令集内包括其他指令集，从而允许重新使用或编辑公共组件或模块化指令结构。诸如工具定义、音频数据或图形模型的其它数据组件也可以被加载到指令集中。可以从位于创作设备上的指令集、或者从计算机可读介质的外部部件或者从因特网加载组件。组件还可以通过市场来访问，并且作者可以能购买可重新使用的组件以在其指令集内使用。加载的组件可以被整合到一组状态或其他指令集中，并可以与新定义的指令或状态结合使用。
可使用保存命令716来在本地保存指令集，这允许使用用于模拟课程的指令集。此外，指令集可以被上载到本地数据库服务器或因特网存储数据库以用于分发。该数据库可以是指令集市场的一部分，并且其他用户然后能购买用于使用指令集的许可，潜在地包括用于模拟执行的使用或作为对指令集创作的子组件的使用。费用可基于每个指令集、每次使用或每个参与者收取。可以收集对指令集的使用的统计数据并将其传送回作者以供在将来的开发中使用或供跟踪。
图8示出了用于由增强现实模拟系统使用的指令集的创作程序的一个可能的实施例。在该实施例中，作者正在创建用于在医疗训练模拟中使用的指令集。
在该特定实施例中，作者正在设计用于特定工具(例如气囊阀门面罩801)的指令集。创作程序允许工具的外观及其特性的指定。在该示例中，工具由参与者对虚拟患者化身使用，并且作者正在配置工具对患者模拟的效果。这包括工具影响的特性802、效果的方向803、效果的大小804和工具的有效目标805。
可使用保存命令806来保存指令集。然后可将保存的工具指令集加载到其它指令集中以在创建模拟指令集中使用。该集合可以在本地保存在本地数据库服务器上，或者保存到因特网存储数据库以进行分发。该数据库可以是指令集市场的一部分，以及其他用户然后能购买用于使用指令集的许可。
根据一个实施例，本文描述的技术由一个或多个专用计算设备来实现。专用计算设备可以是硬连线的以执行所述技术，或者可以包括数字电子设备，诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，其被永久地编程以执行技术，或者可以包括被编程为根据固件、存储器、其他存储器或组合中的程序指令来执行技术的一个或多个通用硬件处理器。这样的专用计算设备还可以将定制的硬连线逻辑、ASIC或FPGA与定制编程组合起来以实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持设备、网络设备或包含硬连线的和/或程序逻辑以实现这些技术的任何其他设备。
图9是示出可以在其上实现本发明的实施例的计算机系统900的框图。计算机系统900包括用于通信信息的总线902或其它通信机制以及与总线902耦接以处理信息的硬件处理器904。硬件处理器904 可以是例如通用微处理器。
计算机系统900还包括耦接到总线902以存储信息和要由处理器 904执行的指令的主存储器906，例如随机存取存储器(RAM)或其它动态存储设备。主存储器906也可以被用于在要由处理器904执行的指令的执行期间存储临时变量或其他中间信息。当存储在处理器904 可访问的非暂时性存储介质中时，这样的指令使计算机系统900成为专用机器，其定制为执行指令中指定的操作。
计算机系统900还包括耦接到总线902以用于存储用于处理器904 的静态信息和指令的只读存储器(ROM)908或其他静态存储设备。存储设备910(诸如磁盘、光盘或固态驱动器)被提供并耦接到总线 902以用于存储信息和指令。
计算机系统900可以经由总线902耦接到显示器912(诸如阴极射线管(CRT))以向计算机用户显示信息。包括字母数字和其他键的输入设备914耦接到总线902以向处理器904通信信息和命令选择。另一种类型的用户输入设备是光标控件916，诸如鼠标、轨迹球或光标方向键，其用于向处理器904通信方向信息和命令选择并用于控制显示器912上的光标移动。该输入设备通常在两个轴(第一轴(例如 x)和第二轴(例如y))上具有两个自由度，其允许设备指定平面中的位置。
计算机系统900可以使用以下来实现本文描述的技术：定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑，这些与计算机系统结合使得或编程计算机系统900成为专用机器。根据一个实施例，本文中的技术由计算机系统900响应于处理器904执行包含在主存储器906中的一个或多个指令的一个或多个序列来执行。这样的指令可以从另一存储介质(例如存储设备910)读取到主存储器906 中。包含在主存储器906中的指令序列的执行使得处理器904执行本文描述的处理步骤。在替代的实施例中，硬连线电路可以被用于代替软件指令或与软件指令组合使用。
如本文使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂时性介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器，诸如存储设备910。易失性介质包括动态存储器，诸如主存储器906。存储介质的通常形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其他光数据存储介质、具有孔样式的任何物理介质、RAM、PROM和 EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒。
存储介质不同于但可以与传输介质结合使用。传输介质参与在存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线902的导线。传输介质还可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。
各种形式的介质可以涉及将一个或多个指令的一个或多个序列承载到处理器904以用于执行。例如，指令最初可以在远程计算机的磁盘或固态驱动器上被承载。远程计算机可将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统900本地的调制解调器可以在电话线上接收数据，并使用红外发射器将数据转换为红外信号。红外检测器可以接收承载在红外信号中的数据，并且适当的电路可以将数据放置在总线902上。总线902将数据承载到主存储器906，处理器904从主存储器906取回并执行指令。被主存储器 906接收的指令可以可选地在由处理器904执行之前或之后存储在存储设备910上。
计算机系统900还包括耦接到总线902的通信接口918。通信接口918提供到连接到本地网络922的网络链路920的双向数据通信耦接。例如，通信接口918可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或向相应类型的电话线提供数据通信连接的调制解调器。作为另一示例，通信接口918可以是用于向可兼容局域网(LAN)提供数据通信连接的LAN卡。还可以实现无线链路。在任何这样的实现中，通信接口918发送和接收携带表示各种类型的信息的数字数据流的电、电磁或光信号。
网络链路920通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路920可以通过本地网络922向主机计算机924 或向由因特网服务提供商(ISP)926操作的数据设备提供连接。ISP 926 转而通过全球分组数据通信网络(现在通常称为“因特网”928)提供数据通信服务。本地网络922和因特网928两者都使用携带数字数据流的电、电磁或光信号。通过各种网络的信号以及网络链路920上和通过通信接口918的信号(其携带去往和来自计算机系统900的数字数据)是传输介质的示例形式。
计算机系统900可以通过网络、网络链路920和通信接口918发送消息和接收数据(包括程序代码)。在因特网示例中，服务器930 可以通过因特网928、ISP 926、本地网络922和通信接口918传输请求的用于应用程序的代码。
接收的代码可以在其被接收时由处理器904执行，和/或存储在存储设备910或其他非易失性存储器中以供稍后执行。
在前述说明书中，已经参照可随实现到实现而变化的许多具体细节描述了本发明的实施例。因此，说明书和附图被认为是说明性的而非限制性的。本发明的范围的唯一且排他的指示符以及申请人意图的本发明的范围，是本申请以其特定形式所发布(包括任何后续更正) 的权利要求书的字面和等价范围。

Claims (7)

1.一种用于用来训练的增强现实模拟的方法，包括：
由运行在计算设备上的创作应用接收(a)定义虚拟化身的物理或生理属性中的至少一个的一组一个或多个值以及(b)定义医疗工具的特性的医疗工具的指定；
响应于接收到所述一组一个或多个值以及所述医疗工具的指定，由运行在所述计算设备上的所述创作应用生成用于将虚拟化身投影到增强或虚拟现实环境中的指令集；
其中生成所述指令集包括加载保存的与所述医疗工具相关联的工具指令集；
其中所述指令集包括由增强或虚拟现实应用使用以将所述虚拟化身投影到真实或虚拟空间中的指令，使得所述虚拟化身至少部分地基于通过所述创作应用定义的所述物理或生理属性中的至少一个而展示举止；
由所述增强或虚拟现实应用针对多个增强或虚拟现实设备执行所述指令集，其中所述多个增强或虚拟现实设备中的每个相应增强或虚拟现实设备基于该相应增强或虚拟现实设备的物理位置同时从展示所述举止的所述虚拟化身的不同角度投影相应的视图；
由所述多个增强或虚拟现实设备中的至少一个增强或虚拟现实设备的无线传感器检测物理或虚拟地存在于所述真实或虚拟空间中的所述医疗工具与所述虚拟化身之间的交互以及在所述交互中正使用的所述医疗工具的类型；
响应于由所述至少一个增强或虚拟现实设备的所述无线传感器检测到所述交互以及医疗工具的所述类型，基于所述虚拟化身的当前模拟的生理和物理状态、通过所述创作应用定义的所述生理属性、以及通过所述创作应用在所述指定中定义的所述医疗工具的所述特性，计算生理响应；
在每个相应增强或虚拟现实设备的相应视图内模拟所述生理响应。
2.根据权利要求1所述的方法，其中，由所述创作应用生成的所述指令集可操作为随时间或基于时间的流逝触发对所述增强或虚拟现实环境的改变，使得如所述指令集定义的在所述增强或虚拟现实环境中发生一系列事件。
3.根据权利要求2所述的方法，其中，由所述指令集定义的并随时间发生的一系列事件可操作为通过以下被导航：对共享所述增强或虚拟现实环境的所有参与者暂停执行、倒转执行、加速执行、移动到所述指令集中的任何时间点并从该点开始执行、恢复执行、或停止执行。
4.根据权利要求1所述的方法，其中生成所述指令集包括从一组预定义指令中选择、构造新指令或从外部计算机可读介质上传指令。
5.根据权利要求1所述的方法，其中所述创作应用允许作者响应于所述增强或虚拟现实环境中的任何改变而允许至少一个虚拟化身的至少一个特性改变。
6.根据权利要求1所述的方法，其中，由所述创作应用生成的指令能经由在线市场被分发给其他用户，允许对这些指令的访问的控制、对这些指令收费、或者关于这些指令的使用的数据的收集。
7.一种或多种存储指令的非暂时性计算机可读介质，其中所述指令在由一个或多个计算设备执行时，使得进行权利要求1至6中任一项所述的方法。
CN201580057915.9A 2014-09-08 2015-09-08 用于专业和教育训练的增强或虚拟现实模拟器 Active CN107111894B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462047589P 2014-09-08 2014-09-08
US62/047,589 2014-09-08
PCT/US2015/049021 WO2016040376A1 (en) 2014-09-08 2015-09-08 Augmented reality simulator for professional and educational training

Publications (2)

Publication Number Publication Date
CN107111894A CN107111894A (zh) 2017-08-29
CN107111894B true CN107111894B (zh) 2022-04-29

Family

ID=55459494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057915.9A Active CN107111894B (zh) 2014-09-08 2015-09-08 用于专业和教育训练的增强或虚拟现实模拟器

Country Status (4)

Country Link
US (2) US10672288B2 (zh)
EP (2) EP3192058A4 (zh)
CN (1) CN107111894B (zh)
WO (1) WO2016040376A1 (zh)

Families Citing this family (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US11771955B2 (en) * 2012-08-31 2023-10-03 Blue Goji Llc System and method for neurological function analysis and treatment using virtual reality systems
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) * 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
JP2018536244A (ja) 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
CN106126917A (zh) * 2016-06-22 2016-11-16 扬州立兴科技发展合伙企业（有限合伙） 一种基于虚拟现实技术的远程诊疗系统
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
CN117741956A (zh) 2016-08-02 2024-03-22 奇跃公司 固定距离虚拟和增强现实系统及方法
WO2018031054A1 (en) * 2016-08-08 2018-02-15 Cortica, Ltd. System and method for providing augmented reality challenges
US20220293014A1 (en) * 2016-09-29 2022-09-15 Simbionix Ltd. Virtual reality medical simulation
US20180098813A1 (en) * 2016-10-07 2018-04-12 Simbionix Ltd. Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
WO2018061014A1 (en) 2016-09-29 2018-04-05 Simbionix Ltd. Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
US10733780B2 (en) * 2016-10-31 2020-08-04 Dg Holdings, Inc. Portable and persistent virtual identity systems and methods
US10930086B2 (en) 2016-11-01 2021-02-23 Dg Holdings, Inc. Comparative virtual asset adjustment systems and methods
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
WO2018118858A1 (en) 2016-12-19 2018-06-28 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US20180203238A1 (en) * 2017-01-18 2018-07-19 Marshall Leroy Smith, JR. Method of education and simulation learning
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10636323B2 (en) 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
US10971030B2 (en) * 2017-01-26 2021-04-06 International Business Machines Corporation Remote physical training
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
EP3596705A1 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10438415B2 (en) * 2017-04-07 2019-10-08 Unveil, LLC Systems and methods for mixed reality medical training
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
US20180357922A1 (en) * 2017-06-08 2018-12-13 Honeywell International Inc. Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
EP3435202A1 (de) * 2017-07-25 2019-01-30 Siemens Healthcare GmbH Zuordnen eines werkzeuges zu einer greifgeste
EP4243003A1 (en) 2017-08-16 2023-09-13 Gaumard Scientific Company, Inc. Augmented reality system for teaching patient care
US11682472B2 (en) * 2017-08-25 2023-06-20 Xiang-qun XIE Augmented and virtual mixed reality methods and systems for pharmaceutical and medical research, development, and education
WO2019051492A1 (en) * 2017-09-11 2019-03-14 Cubic Corporation TOOLS AND ARCHITECTURE OF IMMERSIVE VIRTUAL ENVIRONMENT (IVE)
EP3467618A1 (en) * 2017-10-09 2019-04-10 Schwerdtfeger, Björn Mixed reality simulator for professional training
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
CN108111836A (zh) * 2017-11-21 2018-06-01 中国建筑第八工程局有限公司 基于vr技术的icu病房智能监控管理方法及系统
US11682317B2 (en) * 2017-11-28 2023-06-20 Stephen Paul Canton Virtual reality training application for surgical scrubbing-in procedure
US10901430B2 (en) * 2017-11-30 2021-01-26 International Business Machines Corporation Autonomous robotic avatars
EP3496046A1 (de) * 2018-02-13 2019-06-12 Siemens Healthcare GmbH Verfahren zur darstellung dreidimensionaler medizinischer bildinformationen
WO2019173677A1 (en) * 2018-03-09 2019-09-12 Pearson Education, Inc. Systems and methods for diagnostic applications of augmented reality
US10748342B2 (en) 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10679626B2 (en) 2018-07-24 2020-06-09 Pegah AARABI Generating interactive audio-visual representations of individuals
CN109118865A (zh) * 2018-08-16 2019-01-01 合肥职业技术学院 用药护理仿真实训系统及方法
US11712628B2 (en) * 2018-09-20 2023-08-01 Apple Inc. Method and device for attenuation of co-user interactions
WO2020060569A1 (en) * 2018-09-21 2020-03-26 Practicum Virtual Reality Media, Inc. System and method for importing a software application into a virtual reality setting
WO2020073103A1 (en) * 2018-10-12 2020-04-16 St John Ambulance Western Australia Ltd Virtual reality system
US11810202B1 (en) 2018-10-17 2023-11-07 State Farm Mutual Automobile Insurance Company Method and system for identifying conditions of features represented in a virtual model
US11024099B1 (en) 2018-10-17 2021-06-01 State Farm Mutual Automobile Insurance Company Method and system for curating a virtual model for feature identification
US11556995B1 (en) 2018-10-17 2023-01-17 State Farm Mutual Automobile Insurance Company Predictive analytics for assessing property using external data
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11244176B2 (en) 2018-10-26 2022-02-08 Cartica Ai Ltd Obstacle detection and mapping
US11087551B2 (en) * 2018-11-21 2021-08-10 Eon Reality, Inc. Systems and methods for attaching synchronized information between physical and virtual environments
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
US10873724B1 (en) 2019-01-08 2020-12-22 State Farm Mutual Automobile Insurance Company Virtual environment generation for collaborative building assessment
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US20220172633A1 (en) * 2019-02-27 2022-06-02 Siminsights, Inc. Augmented reality and virtual reality systems
US11450237B2 (en) 2019-02-27 2022-09-20 International Business Machines Corporation Dynamic injection of medical training scenarios based on patient similarity cohort identification
US11540883B2 (en) * 2019-03-08 2023-01-03 Thomas Jefferson University Virtual reality training for medical events
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11107292B1 (en) 2019-04-03 2021-08-31 State Farm Mutual Automobile Insurance Company Adjustable virtual scenario-based training environment
US11527171B2 (en) * 2019-04-22 2022-12-13 The Commons XR LLC Virtual, augmented and extended reality system
US11049072B1 (en) 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
US11032328B1 (en) 2019-04-29 2021-06-08 State Farm Mutual Automobile Insurance Company Asymmetric collaborative virtual environments
US11847937B1 (en) 2019-04-30 2023-12-19 State Farm Mutual Automobile Insurance Company Virtual multi-property training environment
US11302080B1 (en) * 2019-05-06 2022-04-12 Apple Inc. Planner for an objective-effectuator
CN110322568A (zh) * 2019-06-26 2019-10-11 杜剑波 用于专业教学的增强现实系统以及方法
US11775130B2 (en) * 2019-07-03 2023-10-03 Apple Inc. Guided retail experience
EP4004689A4 (en) * 2019-07-25 2022-08-17 Augmented Haptics Ltd SYSTEM FOR SIMULATING PHYSICAL SYSTEMS OF INTERCONNECTED ELEMENTS
US20210056391A1 (en) * 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
US11340692B2 (en) * 2019-09-27 2022-05-24 Cerner Innovation, Inc. Health simulator
US20210294940A1 (en) * 2019-10-07 2021-09-23 Conor Haas Dodd System, apparatus, and method for simulating the value of a product idea
WO2021085912A2 (ko) 2019-10-30 2021-05-06 주식회사 뉴베이스 응급환자 처치 훈련 제공 방법 및 장치
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
NO20220976A1 (en) 2020-02-14 2022-09-13 Simbionix Ltd Airway management virtual reality training
US11410359B2 (en) * 2020-03-05 2022-08-09 Wormhole Labs, Inc. Content and context morphing avatars
US11423620B2 (en) * 2020-03-05 2022-08-23 Wormhole Labs, Inc. Use of secondary sources for location and behavior tracking
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
CN113495406A (zh) 2020-04-01 2021-10-12 中强光电股份有限公司 交互式投影系统以及投影系统的交互式显示方法
FR3109237B1 (fr) * 2020-04-10 2022-08-05 Virtualisurg Système de connexion d’un dispositif d’entraînement chirurgical à un dispositif virtuel
US20220270196A1 (en) * 2020-04-26 2022-08-25 Loci, Inc. System and method for creating and transmitting an incentivized or mandated serious game safety test to occupants or users of liable property in an organization
US11602314B2 (en) * 2020-06-15 2023-03-14 Microsoft Technology Licensing, Llc Animating physiological characteristics on 2D or 3D avatars
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11756225B2 (en) * 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
WO2022066563A1 (en) * 2020-09-25 2022-03-31 Sterling Labs Llc Discovery of services
US11557097B2 (en) 2020-11-13 2023-01-17 Google Llc Triggering a collaborative augmented reality environment using an ultrasound signal
US20220191305A1 (en) * 2020-12-11 2022-06-16 International Business Machines Corporation Identifying a voice command boundary
US11831665B2 (en) * 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
US11335076B1 (en) * 2021-03-19 2022-05-17 International Business Machines Corporation Virtual reality-based device configuration
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20230075639A1 (en) * 2021-09-08 2023-03-09 MedCognition, Inc. System and method for performing physical exam on xr-based simulated patients
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
WO2023069782A1 (en) * 2021-10-23 2023-04-27 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
WO2023140432A1 (ko) * 2022-01-18 2023-07-27 정희용 메타버스 기반 교육 플랫폼
US20230237920A1 (en) * 2022-01-24 2023-07-27 Unveil, LLC Augmented reality training system
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack
WO2024102019A1 (ru) * 2022-11-11 2024-05-16 Общество с ограниченной ответственностью "МедВиар" Программно-аппаратный комплекс для профессионального медицинского образования

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767839A (en) * 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
US6749432B2 (en) * 1999-10-20 2004-06-15 Impulse Technology Ltd Education system challenging a subject's physiologic and kinesthetic systems to synergistically enhance cognitive function
US7665995B2 (en) * 2000-10-23 2010-02-23 Toly Christopher C Medical training simulator including contact-less sensors
NO20013450L (no) * 2001-07-11 2003-01-13 Simsurgery As Systemer og fremgangsmåter for interaktiv trening av prosedyrer
WO2003030724A2 (en) * 2001-10-12 2003-04-17 University Of Utah Research Foundation Anesthesia drug monitor
US8297983B2 (en) * 2004-11-30 2012-10-30 The Regents Of The University Of California Multimodal ultrasound training system
US8721344B2 (en) * 2005-07-29 2014-05-13 Koninklijke Philips N.V. Imaging system simulator
WO2008018889A2 (en) * 2005-09-29 2008-02-14 The General Hospital Corporation Medical training system for casualty simulation
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20090112538A1 (en) * 2007-10-26 2009-04-30 Joel Anderson Virtual reality simulations for health care customer management
US9396669B2 (en) * 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US20100076334A1 (en) * 2008-09-19 2010-03-25 Unither Neurosciences, Inc. Alzheimer's cognitive enabler
WO2011001299A1 (en) * 2009-06-29 2011-01-06 Koninklijke Philips Electronics, N.V. Tumor ablation training system
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
KR20110074024A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기
GB2479406A (en) * 2010-04-09 2011-10-12 Medaphor Ltd Ultrasound Simulation Training System
US20110248995A1 (en) * 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9318032B2 (en) * 2011-02-04 2016-04-19 University of Pittsburgh—of the Commonwealth System of Higher Education Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
US10354555B2 (en) * 2011-05-02 2019-07-16 Simbionix Ltd. System and method for performing a hybrid simulation of a medical procedure
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
CN102411854B (zh) * 2011-09-01 2014-01-29 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
US20130078598A1 (en) * 2011-09-12 2013-03-28 Uq, Inc. Family and child account social networking
EP2613276A1 (en) * 2012-01-04 2013-07-10 Gabriele Ceruti Method and apparatus for neuromotor rehabilitation using interactive setting systems
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
CN103426003B (zh) * 2012-05-22 2016-09-28 腾讯科技（深圳）有限公司 增强现实交互的实现方法和系统
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
US10339550B2 (en) * 2012-12-11 2019-07-02 Quest 2 Excel, Inc. Gamified project management system and method
US20140162220A1 (en) * 2012-12-11 2014-06-12 Quest 2 Excel, Inc. System, method and computer program product for gamification of business processes
US9870721B2 (en) * 2012-12-18 2018-01-16 Eric Savitsky System and method for teaching basic ultrasound skills
US10109220B2 (en) * 2013-03-13 2018-10-23 Dh Cubed, Llc Instrument skill instruction and training system
CN103941861B (zh) * 2014-04-02 2017-02-08 北京理工大学 一种应用混合现实技术的多人合作训练系统
WO2016196217A1 (en) * 2015-05-29 2016-12-08 Nike Innovate C.V. Enhancing exercise through augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof

Also Published As

Publication number Publication date
WO2016040376A1 (en) 2016-03-17
CN107111894A (zh) 2017-08-29
EP3998596A1 (en) 2022-05-18
EP3192058A4 (en) 2018-05-02
US20200279498A1 (en) 2020-09-03
US20170213473A1 (en) 2017-07-27
US10672288B2 (en) 2020-06-02
EP3192058A1 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
CN107111894B (zh) 用于专业和教育训练的增强或虚拟现实模拟器
US10438415B2 (en) Systems and methods for mixed reality medical training
Cooper et al. Transfer of training—Virtual reality training with augmented multisensory cues improves user experience during training and task performance in the real world
Satava Emerging trends that herald the future of surgical simulation
CN113706960A (zh) 一种基于vr技术的护理操作练习平台及使用方法
US20180130373A1 (en) Exercise mangement system with body sensor
Hülsmann et al. Superimposed skilled performance in a virtual mirror improves motor performance and cognitive representation of a full body motor action
US11270597B2 (en) Simulated reality technologies for enhanced medical protocol training
Girau et al. A mixed reality system for the simulation of emergency and first-aid scenarios
US20240153407A1 (en) Simulated reality technologies for enhanced medical protocol training
Stütz et al. An interactive 3D health app with multimodal information representation for frozen shoulder
Sakakura et al. Biomechanical profiles of tracheal intubation: a mannequin-based study to make an objective assessment of clinical skills by expert anesthesiologists and novice residents
Wang et al. Are multiple views superior to a single view when teaching hip surgery? A single-blinded randomized controlled trial of technical skill acquisition
US20200111376A1 (en) Augmented reality training devices and methods
Kabuye et al. A mixed reality system combining augmented reality, 3D bio-printed physical environments and inertial measurement unit sensors for task planning
US20240013672A1 (en) Simulator system for the safe training of medical personnel
Fitzgerald et al. Usability evaluation of e-motion: a virtual rehabilitation system designed to demonstrate, instruct and monitor a therapeutic exercise programme
Schott et al. Is this the vReal Life? Manipulating Visual Fidelity of Immersive Environments for Medical Task Simulation
Gupta et al. A multi-level HXRI-based approach for XR-based surgical training
Halamek et al. State-of-the art training in neonatal resuscitation
McDonald et al. Pulse!!
US20230237920A1 (en) Augmented reality training system
Chan Development and comparison of augmented and virtual reality interactions for direct ophthalmoscopy
Kakdas et al. Enhancing Medical Training through Learning from Mistakes by Interacting with an Ill-trained Reinforcement Learning Agent
Abeysuriya et al. Advancements in manikin technology: enhancing realism and effectiveness in nursing education

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant