CN111465970B - 用于教导患者护理的增强现实系统 - Google Patents

用于教导患者护理的增强现实系统 Download PDF

Info

Publication number
CN111465970B
CN111465970B CN201880067599.7A CN201880067599A CN111465970B CN 111465970 B CN111465970 B CN 111465970B CN 201880067599 A CN201880067599 A CN 201880067599A CN 111465970 B CN111465970 B CN 111465970B
Authority
CN
China
Prior art keywords
virtual
maternal
physical
external
fetal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880067599.7A
Other languages
English (en)
Other versions
CN111465970A (zh
Inventor
J·S·埃格特
S·希拉尔多
A·罗德里格斯
D·伊萨
C·M·克拉波
R·沃奥拉卡拉纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaumard Scientific Co Inc
Original Assignee
Gaumard Scientific Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaumard Scientific Co Inc filed Critical Gaumard Scientific Co Inc
Publication of CN111465970A publication Critical patent/CN111465970A/zh
Application granted granted Critical
Publication of CN111465970B publication Critical patent/CN111465970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/281—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for pregnancy, birth or obstetrics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Reproductive Health (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

一种增强现实系统，包括：物理解剖模型；显示单元，用户适于通过该显示单元接收第一视觉反馈和第二视觉反馈，第一视觉反馈来自物理解剖模型并经过显示单元，第二视觉反馈来自显示单元并包括虚拟解剖模型；跟踪系统，适于跟踪显示单元的位置和方向；以及计算装置，适于：从跟踪系统接收与显示单元的位置和方向有关的第一信号，并将第二信号发送到显示单元以使显示单元将第二视觉反馈叠加在第一视觉反馈上，第二信号基于第一信号。在一些实施例中，第二视觉反馈还包括辅助虚拟图形，该辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。

Description

用于教导患者护理的增强现实系统
相关申请的交叉引用
本申请要求2017年8月16日提交的序列号为62/546,130的美国专利申请的申请日和优先权的权益，其全部内容通过引用的方式并入本文。
技术领域
本公开大体上涉及用于教导患者护理的系统，并且更具体地，涉及用于教导患者护理的增强现实系统。
背景技术
随着医学科学的进步，提供用于教导患者护理的非人类交互形式变得越来越重要。虽然希望在允许与真实患者接触之前对医务人员进行患者护理规程培训，但教科书和闪卡缺乏学生可以从动手练习获得的重要益处。另一方面，允许无经验的学生对实际患者进行将允许动手练习的医疗程序由于对患者的固有风险而不能被认为是可行的替代方案。非人类交互式装置和系统可用于教导成功识别和治疗各种患者状况所需的技能，而不会给实际患者带来风险。
例如，经常使用医疗仪器来教导患者护理教育，以在诸如人体模型的物理模拟器上执行患者护理活动。医务人员和医科学生可以使用此类培训装置和系统来教导和评估能力，例如患者护理、医学知识、基于实践的学习和改进、基于系统的实践、专业性和沟通。患者也可以使用培训装置和系统来学习执行自我检查的正确方法。医疗保健中的“原位”模拟很受欢迎，因为它在真实的医院环境中使用了真实的患者模拟器。因此，学生被允许在他们以后可以以专业的方式对待现实生活中的患者的相同领域中练习和犯错误。然而，这种方法的一个问题是这样的设施可能会挤满真正的患者和照护者，因此模拟时间变得有限。
用户看不到现有物理模拟器的内部结构、功能和过程。另外，物理模拟器上不存在至少一些期望的外部特征，或者现有的模拟器对它们的模拟较差。为了解决这些问题，一些物理模拟器并入了用于各种治疗场景的物理模拟的流体和物理一次性用品。但是，物理模拟的流体有可能导致物理模拟器的电子装置短路。此外，物理一次性用品的寿命有限，并且不适合大规模的解剖变化性。因此，尽管现有的物理模拟器在很多方面都已经足够，但其在所有方面还不够。因此，需要一种用于在进行患者护理培训课程中使用的增强现实系统，该系统甚至更加逼真和/或包括附加的模拟特征。
附图说明
图1是根据本公开的一个或多个实施例的增强现实系统的示意图。
图2是根据本公开的一个或多个实施例的图1的增强现实系统的用户从第一虚拟解剖模型接收视觉反馈并且从第一物理解剖模型接收视觉反馈和触觉反馈两者的示意图。
图3是根据本公开的一个或多个实施例的图1的增强现实系统的用户从第二虚拟解剖模型接收视觉反馈并且从第二物理解剖模型接收视觉反馈和触觉反馈两者的示意图。
图4是根据本公开的一个或多个实施例的操作图1的系统的方法的流程图。
图5是根据本公开的一个或多个实施例的包括至少图1的增强现实系统的增强现实系统的示意图。
图6A是根据本公开的一个或多个实施例的适配为呈现在图1和/或图5的增强现实系统上的增强现实模块的图示。
图6B是根据本公开的一个或多个实施例的图6A的增强现实模块的实况模式的图示。
图6C是根据本公开的一个或多个实施例的图6A的增强现实模块的实况模式的另一图示。
图6D是根据本公开的一个或多个实施例的图6A的增强现实模块的观看模式的图示。
图6E是根据本公开的一个或多个实施例的图6A的增强现实模块的观看模式的另一图示。
图6F是根据本公开的一个或多个实施例的图6A的增强现实模块的导览模式的图示。
图6G是根据本公开的一个或多个实施例的图6A的增强现实模块的设置模式的图示。
图6H是根据本公开的一个或多个实施例的适于在选择图6G的设置模式的“无线设置”按钮时出现的扫描框的图示。
图6I是根据本公开的一个或多个实施例的适于通过使用图6H的扫描框扫描的QR码的图示。
图6J是根据本公开的一个或多个实施例的适于将虚拟解剖模型与图1和/或图5的增强现实系统的物理解剖模型配准的定制代码的图示。
图6K是根据本公开的一个或多个实施例的附接到图1和/或图5的增强现实系统的物理解剖模型的图6J的定制代码的透视图。
图6L是根据本公开的一个或多个实施例的使用图6J和图6K的定制代码与图1和/或图5的增强现实系统的物理解剖模型配准的虚拟解剖模型的透视图。
图6M是根据本公开的一个或多个实施例的在图1和/或图5的增强现实系统的观看模式下呈现的示例问题的图示。
图6N是根据本公开的一个或多个实施例的在图1和/或图5的增强现实系统的观看模式下呈现的示例消息的图示。
图7A是根据本公开的一个或多个实施例的图1和/或图5的增强现实系统的控制软件的图示，该控制软件包括增强现实中心。
图7B是根据本公开的一个或多个实施例的图7A的增强现实中心的一部分的图示。
图7C是根据本公开的一个或多个实施例的图7A的增强现实中心的实况模式的图示。
图7D是根据本公开的一个或多个实施例的图7A的增强现实中心的观看模式的图示。
图7E是根据本公开的一个或多个实施例的图7A的增强现实中心的导览模式的图示。
图8是根据本公开的一个或多个实施例的图1和/或图5的增强现实系统的链接软件的图示。
图9A是根据本公开的一个或多个实施例的使用图1和/或图5的增强现实系统生成分娩过程的实时全息动画的方法的流程图。
图9B是根据本公开的一个或多个实施例的图9A的分娩过程的图示。
图9C是根据本公开的一个或多个实施例的图9A的方法的一部分的图示。
图9D是根据本公开的一个或多个实施例的图9A的方法的另一部分的图示。
图9E是根据本公开的一个或多个实施例的图9A的方法的另一部分的图示。
图10A是根据本公开的一个或多个实施例的将通过图9A的方法生成的分娩过程的实时全息动画叠加在实时视频馈送上的方法的示意图。
图10B是根据本公开的一个或多个实施例的图10A的方法的图示。
图11是用于实现本公开的一个或多个实施例的计算装置的示意图。
具体实施方式
为了有助于对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，将理解的是，不意图限制本公开的范围。如本公开相关的领域中的技术人员通常会想到的，对所描述的装置、仪器、方法的任何改变和进一步的修改以及对本公开的原理的任何进一步的应用都是完全可以预期的。特别地，完全预期到关于一个实施例描述的特征、组件和/或步骤可以与关于本公开的其他实施例描述的特征、组件和/或步骤组合。但是，为了简洁起见，将不单独描述这些组合的许多重复内容。为了简单起见，在一些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
医疗保健模拟的目的之一是建立一种以可重现的方式紧密模仿关键临床病例的教学环境。在过去的几年中，高保真无绳(tetherless)模拟器(例如可从科玛科学公司(Gaumard Scientific Company，Inc.)获得的那些模拟器)的引入已经证明在创建逼真的教学环境方面是重大的进步。本公开针对用于教导患者护理的增强现实(AR)系统，其通过增加可用于在各种临床情况下培训医务人员的模拟器的外观、感觉和功能的真实性来扩展模拟器的功能。本文公开的AR系统提供了培训平台，在该培训平台上，可以执行团队建设场景，用于发展医疗技能和提高患者安全性。
特别地，本文公开的AR系统可以包括患者模拟器或作为其一部分，用于提供与先前可用的模拟器相比改进的逼真性和功能性。下面详细描述了有助于改进的逼真性和功能性的各种特征中的一些。本公开的AR系统允许用户练习一系列不同的场景。
因此，AR系统有助于用户在广泛的模拟场景范围中的培训以及对用户对于不同的模拟场景的响应的相应评估。因此，可以在模拟环境中获得和/或改进用户的医疗技能，而不会危及真实患者。
此外，AR系统允许多个用户在特定的分娩和/或新生儿场景下同时利用患者模拟器工作，从而有助于在逼真的、基于团队的环境中的团队培训和评估。通过允许多个用户同时与AR系统进行交互，该系统有助于在各种场景下(例如非限制性示例的医院火灾的情景下)实时培训和评估团队的合作努力。在一些实施例中，AR系统提供术前护理模拟以及术后护理模拟，从而允许用户体验、解决和评估术前和术后管理，包括术前获取患者病史和术后并发症管理。
例如，在一些实施例中，AR系统允许在特定场景的操作期间通过医院(例如，从急诊室到手术室)逼真地接收和运送患者模拟器。此外，AR系统可用于在实际医院或其他医疗环境中进行患者安全演习。
在一些实施例中，AR系统包括设计成增强教育体验的特征。例如，在一些实施例中，系统包括处理模块，用于在AR系统的运行期间模拟不同的医学和/或外科手术场景。在一些实施例中，该系统包括摄像头系统，该摄像头系统允许过程的可视化，用于汇报目的的实时视频和日志捕获。在一些实施例中，AR系统设置有以交互软件包预编程的医疗场景的工作簿，从而提供了可以在其上执行团队建设场景以用于发展医疗技能和一般患者安全性的平台。因此，本文公开的AR系统提供了一种无需花费大量费用而可容易地扩展和更新的系统，并且该系统使用户能够在模拟的患者治疗情况下通过“动手”培训来学习综合的医学和外科技能，而不会牺牲用户在使用标准的手术器械时获得的经验。
本公开引入了AR应用，其中，将静态或动态的虚拟世界叠加到真实的物理模拟器上，以便当学生拥有AR头戴装置时，他们将以提高学习速率的方式看到真实的模拟器和虚拟的叠加两者。更进一步，增强现实可以看作是一系列的叠加。例如，基本环境(例如可以是医院的ER)被记录在AR头戴式装置(例如
Figure BDA0002453703350000061
的
Figure BDA0002453703350000062
)上。然后，在特定场景期间，化身可被放置在这个基本环境中，化身包括诸如护士、医生以及可能会移动并说话的其他重要人物等人。此外，可以在该基本环境中放置物理或虚拟模拟器。因此，学生将感觉好像他们也已经与物理或虚拟模拟器一起被置于基本环境中一样，并且可以适当地治疗物理或虚拟模拟器。然后可以记录学生的活动选择及其结果，以记载临床能力。
首先参考图1，用于教导患者护理的AR系统通常由附图标记10指代。AR系统10包括物理解剖模型12、计算装置14、显示单元16和跟踪系统18。计算装置14、显示单元16和跟踪系统18连接到网络20(例如，LAN或WAN)。另外或替代地，计算装置14、显示单元16和跟踪系统18可以经由另一有线或无线链路互连。如图1所示，用户22通过显示单元16从物理解剖模型12接收视觉反馈，如箭头24所示。此外，用户22通过直接物理接触从物理解剖模型12接收触觉反馈，如箭头26所示。在一些实施例中，AR系统10还包括仪器28，用户22通过该仪器28与物理解剖模型12进行物理交互，仪器28例如移动跟踪手套、IV针、气管插管(ET)、心电图(ECG或EKG)监护仪、血压(BP)袖带、脉搏血氧仪袖带、临时体外起搏器、自动体外除颤器(AED)、手动除颤器、超声棒、听诊器、温度计、胎儿窘迫监测器、其他诊断或外科手术仪器或其任意组合。
显示单元16是用户22可佩戴的，因此在本文中也被称为AR头戴式装置16。另外或者替代地，显示单元16可以是手持的或安装在固定的位置。因此，本文描述的包括AR头戴式装置16的每个实施例可与另一合适的显示单元(例如手持式显示单元或安装在固定位置的显示单元)等同地操作。在一些实施例中，为了允许用户22经由AR头戴式装置16从物理解剖模型12接收视觉反馈24，AR头戴式装置16包括透明(或半透明)透镜(未示出)。在一些实施例中，为了允许用户22经由AR头戴式装置16从物理解剖模型12接收视觉反馈24，AR头戴式装置16包括屏幕(未示出)和捕获物理解剖模型12的素材以实时地显示在屏幕上的集成的摄像头(未示出)。在一些实施例中，AR头戴式装置16包括跟踪系统18和/或计算装置14的至少一部分或作为其一部分。可替代地，AR头戴式装置16可以包括与计算装置14分离但基本类似于计算装置14的机载计算装置，以在AR头戴式装置16上本地运行AR应用，如将在下面进一步详细描述的。
跟踪系统18在三维空间中相对于物理解剖模型12跟踪AR头戴式装置16的位置和方向。在一些实施例中，跟踪系统18以六个自由度(“6-DoF”)跟踪AR头戴式装置16的位置和方向，六个自由度包括AR头戴式装置16的x、y和z坐标，以及AR头戴式装置16的俯仰、横摆和侧倾。跟踪系统18可以是能够跟踪AR头戴式装置16的位置和方向的任何合适类型的跟踪系统(例如，跟踪基准标记，使用立体图像跟踪逆向反射红外标记，采用电磁跟踪器等)。在一些实施例中，跟踪系统18的至少一部分包括AR头戴式装置16和/或计算装置14，或者是AR头戴式装置16和/或计算装置14的一部分。跟踪系统18可以包括嵌入在AR头戴式装置16中的传感器，包括但不限于陀螺仪、加速度计、GPS传感器和/或其组合。可以利用物理世界的全息渲染(例如，物理世界的3D网格模型)来将虚拟定位与物理世界协调。例如，全息计算机和头戴式显示器(例如，从
Figure BDA0002453703350000071
可得的
Figure BDA0002453703350000072
)可用于提供全息单元以渲染物理世界中的虚拟对象。
计算装置14能够经由网络20从跟踪系统18接收与AR头戴式装置16的位置和方向有关的信号。此外，基于从跟踪系统18接收的信号，计算装置14能够经由网络20向AR头戴式装置16发送适当的信号，以增强或以其他方式改善用户22对物理解剖模型12的视野，如将在下面进一步详细讨论的。在一些实施例中，计算装置14包括AR头戴式装置16和/或跟踪系统18的至少一部分，或作为其一部分。
转到图2，物理解剖模型12包括人体模型30。人体模型30包括外部物理特征32。人体模型30的外部物理特征32可以包括例如与自然人的躯干、腿、手臂、头或其任何组合有关的一个或多个外部特性的物理表示。人体模型30的这些外部物理特征32向用户22提供视觉反馈(如图2中的箭头24aa所示)和触觉反馈(如图2中的箭头26a所示)。更具体地，用户22接收到的视觉反馈24aa来自人体模型30并通过AR头戴式装置16。在一些实施例中，人体模型30还包括内部物理结构34。人体模型30的内部物理结构34可以包括与自然人的躯干(例如脊柱、肋骨、心脏、肺、肝脏)相关的一个或多个内部特性的物理表示、自然人的躯干的另一内部特征的物理表示或其任意组合。另外或替代地，人体模型30的内部物理结构34可包括例如与自然人的腿、手臂、头或其任何组合相关的一个或多个内部特性的物理表示。人体模型30的内部物理结构34向用户22提供触觉反馈(如图2中的箭头26b所示)，而不是视觉反馈。内部物理结构34可以包括女性生殖系统、与静脉/动脉通路相关的心血管系统、与腰椎穿刺相关的中枢神经系统、主要器官和基于模拟场景的不同表示(例如，健康的肺与受COPD影响的肺、怀孕期间被挤压的器官、在内窥镜下取出胆结石等)。外部物理结构32可以包括疤痕、皮肤异常、不同的皮肤标记、皮肤变色、发绀、伤口等。
为了增强或以其他方式改善用户22对物理解剖模型12的视野，虚拟解剖模型36经由AR头戴式装置16叠加在用户22对物理解剖模型12的视野上。更具体地，虚拟解剖模型36在用户22的视场内显示在AR头戴式装置16上，以便用户22同时观看物理解剖模型12和虚拟解剖模型36两者。虚拟解剖模型36存储在计算装置14上或可由计算装置14访问。除了虚拟解剖模型36之外，多个虚拟解剖模型(未示出)可以存储在计算装置14上或可由计算装置14访问以模拟在培训针对的特定过程期间遇到的各种解剖结构和病理。在一些实施例中，物理解剖模型12和虚拟解剖模型36组合地表示自然人的特性。虚拟解剖模型36包括虚拟解剖结构38。
虚拟解剖结构38包括内部虚拟结构40。虚拟解剖结构38的内部虚拟特征40可以包括与自然人的躯干(例如脊柱、肋骨、心脏、肺、肝脏)相关的一个或多个内部特性的虚拟表示、自然人的躯干的另一内部特征的虚拟表示或其任意组合。另外或替代地，虚拟解剖结构38的内部虚拟特征40可包括例如与自然人的腿、手臂、头或其任何组合相关的一个或多个内部特性的虚拟表示。虚拟解剖结构38的内部虚拟特征40向用户22提供视觉反馈(如图2中的箭头24b所示)，而不是触觉反馈。内部虚拟特征40可以包括女性生殖系统、与静脉/动脉通路相关的心血管系统、与腰椎穿刺相关的中枢神经系统、主要器官和基于模拟场景的不同表示(例如，健康的肺与受COPD影响的肺、怀孕期间被挤压的器官、在内窥镜下取出胆结石等)的各个方面。
在一些实施例中，虚拟解剖结构38还包括外部虚拟特征42，其提供对于用户22对人体模型30的外部物理特征32的视野的增强的照相现实感(photorealism)。虚拟解剖结构38的外部虚拟特征42可包括例如与自然人的躯干、腿、手臂、头或其任何组合相关的一个或多个外部特性的虚拟表示；虚拟解剖结构38的这些外部虚拟特征42向用户22提供视觉反馈(如图2中的箭头24ab所示)，而不是触觉反馈。在一些实施例中，(使用计算装置14)将虚拟解剖结构38与人体模型30共同配准，以使虚拟解剖结构38的内部虚拟结构40和外部虚拟特征42分别与人体模型30的内部物理结构34和外部物理特征32具有准确的空间关系。外部虚拟特征42可以包括疤痕、皮肤异常、不同的皮肤标记、皮肤变色、发绀、伤口等方面。
人体模型30的外部物理特征32和虚拟解剖结构38的外部虚拟特征42可配置为通过向用户22提供视觉和触觉反馈(分别如图2中的箭头24aa、24ab和26a所示)的适当组合来逼真地模拟与自然人相关的外部特性。为此，人体模型30的外部物理特征32可以模拟与自然人相关的一些外部特性，而与自然人相关的其他外部特性通过虚拟解剖结构38的外部虚拟特征42进行模拟；另外或者替代地，可以通过人体模型30的外部物理特征32和虚拟解剖结构38的外部虚拟特征42两者来模拟与自然人相关的一个或多个外部特性。
人体模型30的内部物理结构34和虚拟解剖结构38的内部虚拟结构40可配置为通过向用户22提供视觉和触觉反馈(分别如图2中的箭头24b和26b所示)的适当组合来逼真地模拟与自然人相关的内部特性。为此，人体模型30的内部物理结构34可以模拟与自然人相关的一些内部特性，而与自然人相关的其他内部特性由虚拟解剖结构38的内部虚拟结构40进行模拟；另外或者替代地，可以通过人体模型30的内部物理结构34和虚拟解剖结构38的内部虚拟结构40两者来模拟与自然人相关的一个或多个内部特性。
在操作中，图2所示的虚拟解剖模型36和物理解剖模型12结合地提供培训平台，用于模拟恰当的气管造口术手术(包括插入气管导管)、恰当的气胸手术、伤口出血(包括恰当施加压紧压力以及，可选地，在适于阻止伤口进一步失血的位置恰当实施适当的止血带)、由战斗、爆炸、创伤、其它诊断、治疗或外科场景(包括分娩和产科手术)引起的损伤或撕裂的恰当治疗，或其任意组合，等等。在这些模拟期间，人体模型30的外部物理特征32对于用户22是可见的，但是人体模型30的内部物理结构34对于用户22是不可见的。跟踪系统18跟踪AR头戴式装置16的位置和方向，计算装置14经由网络20从跟踪系统18接收与AR头戴式装置16的位置和方向有关的信号。计算装置14经由网络20向AR头戴式装置16发送适当的信号以将虚拟解剖模型36(包括虚拟解剖结构38)叠加在物理解剖模型12上。因此，AR头戴式装置16将虚拟解剖结构38准确叠加在用户22对人体模型30的视野上。
转到图3，在示例实施例中，物理解剖模型12被省略，并由物理解剖模型44代替。物理解剖模型44包括母体人体模型46。母体人体模型46包括外部物理特征48。母体人体模型46的外部物理特征48可包括例如与自然母亲的躯干、腿、手臂、头或其任何组合相关的一个或多个外部特性的物理表示；母体人体模型46的这些外部物理特征48向用户22提供视觉反馈(如图3中的箭头24ca所示)和触觉反馈(如图3中的箭头26c所示)。更具体地，用户22接收的视觉反馈24ca来自母体人体模型46并通过AR头戴式装置16。在一些实施例中，母体人体模型46还包括内部物理结构50。母体人体模型46的内部物理结构50可以包括与自然母亲的躯干(例如，脊柱、肋骨、耻骨、子宫、子宫颈)相关的一个或多个内部特性的物理表示、自然母亲的躯干的其他内部特征的物理表示或其任意组合。另外或替代地，母体人体模型46的内部物理结构50可包括例如与自然母亲的腿、手臂、头或其任意组合相关的一个或多个内部特性的物理表示。母体人体模型46的内部物理结构50向用户22提供触觉反馈(如图3中的箭头26d所示)，而不是视觉反馈。内部物理结构50可以包括女性生殖系统、与静脉/动脉通路相关的心血管系统、与腰椎穿刺相关的中枢神经系统、主要器官和基于模拟场景的不同表示(例如，健康的肺与受COPD影响的肺、怀孕期间被挤压的器官、在内窥镜下取出胆结石等)。外部物理特征48可以包括疤痕、皮肤异常、不同的皮肤标记、皮肤变色、发绀、伤口等方面。
为了增强或以其他方式改善用户22对物理解剖模型44的视野，使用AR头戴式装置16将虚拟解剖模型52叠加在用户22对物理解剖模型44的视野上。更具体地，虚拟解剖模型52在用户22的视场内显示在AR头戴式装置16上，以便用户22同时观看物理解剖模型44和虚拟解剖模型52两者。虚拟解剖模型52存储在计算装置14上或可由计算装置14访问。除了虚拟解剖模型52之外，多个虚拟解剖模型(未示出)可以存储在计算装置14上或可由计算装置14访问以模拟在培训针对的特定过程期间遇到的各种解剖结构和病理。在一些实施例中，物理解剖模型44和虚拟解剖模型52组合地表示自然母亲和自然胎儿的特性以及他们之间的相互作用。虚拟解剖模型52包括虚拟母体解剖结构54和虚拟胎儿解剖结构56。
虚拟母体解剖结构54包括内部虚拟结构58。虚拟母体解剖结构54的内部虚拟结构58可以包括与自然母亲的躯干(例如，脊柱、肋骨、耻骨、子宫、子宫颈)相关的一个或多个内部特性的虚拟表示、自然母亲的躯干的其他内部特征的虚拟表示或其任意组合。另外地或替代地，虚拟母体解剖结构54的内部虚拟结构58可包括例如与自然母亲的腿、手臂、头或其任意组合相关的一个或多个内部特性的虚拟表示。虚拟母体解剖结构54的内部虚拟结构58向用户22提供视觉反馈(如图3中的箭头24d所示)，而不是触觉反馈。内部虚拟结构58可以包括包括女性生殖系统、与静脉/动脉通路相关的心血管系统、与腰椎穿刺相关的中枢神经系统、主要器官和基于模拟场景的不同表示(例如，健康的肺与受COPD影响的肺、怀孕期间被挤压的器官、在内窥镜下取出胆结石等)的各个方面。
在一些实施例中，虚拟母体解剖结构54还包括外部虚拟特征60，其提供对于用户22对母体人体模型46的外部物理特征48的视野的增强的照相现实感。虚拟母体解剖结构54的外部虚拟特征60可包括与自然母亲的躯干、腿、手臂、头或其任何组合相关的一个或多个外部特性的虚拟表示；虚拟母体解剖结构54的这些外部虚拟特征60向用户22提供视觉反馈(如图3中的箭头24cb所示)，而非触觉反馈。外部虚拟结构60可包括疤痕、皮肤异常、不同的皮肤标记、皮肤变色、发绀、伤口等。
母体人体模型46的外部物理特征48和虚拟母体解剖结构54的外部虚拟特征60可配置为通过向用户22提供视觉和触觉反馈(分别如图3中的箭头24ca、24cb和26c所示)的适当组合来逼真地模拟与自然母亲相关的外部特性。为此，母体人体模型46的外部物理特征48可以模拟与自然母亲相关的一些外部特性，而与自然母亲相关的其他外部特性由虚拟母体解剖结构54的外部虚拟特征60模拟；另外地或者替代地，可以通过母体人体模型46的外部物理特征48和虚拟母体解剖结构54的外部虚拟特征60来模拟与自然母亲相关的一个或多个外部特性。
母体人体模型46的内部物理结构50和虚拟母体解剖结构54的内部虚拟结构58可配置为通过向用户22提供视觉和触觉反馈(分别如图3中的箭头24d和26d所示)的适当组合来逼真地模拟与自然母亲相关的内部特性。为此，母体人体模型46的内部物理结构50可以模拟与自然母亲相关的一些内部特性，而与自然母亲相关的其他内部特性由虚拟母体解剖结构54的内部虚拟结构58模拟；另外或替代地，可以通过母体人体模型46的内部物理结构50和虚拟母体解剖结构54的内部虚拟结构58两者来模拟与自然母亲相关的一个或多个内部特性。
虚拟胎儿解剖结构56包括外部虚拟特征62。虚拟胎儿解剖结构56的外部虚拟特征62可包括例如与自然胎儿的躯干、腿、手臂、头或其任何组合相关的一个或多个外部特性的虚拟表示。另外，虚拟胎儿解剖结构56的外部虚拟特征62可以包括例如自然胎儿的羊膜囊、胎盘、脐带或其任何组合的虚拟表示。虚拟胎儿解剖结构56的外部虚拟特征62向用户22提供视觉反馈(如图3中的箭头24e所示)，而不是触觉反馈。在一些实施例中，虚拟胎儿解剖结构56还包括内部虚拟结构64以增强例如对宫内胎儿手术的培训。虚拟胎儿解剖结构56的内部虚拟结构64可以包括例如与自然胎儿的躯干、腿、手臂、头或其任何组合相关的内部特性的虚拟表示；虚拟胎儿解剖结构56的这些内部虚拟结构64向用户22提供视觉反馈(如图3中的箭头24f所示)，而不是触觉反馈。
AR系统10的物理解剖模型44还包括包含在母体人体模型46内的胎儿人体模型66。胎儿人体模型66包括外部物理特征68。胎儿人体模型66的外部物理特征68可以包括例如与自然胎儿的躯干、腿、手臂、头或其任何组合相关的一个或多个外部特性的物理表示。另外，胎儿人体模型66的外部物理特征68可以包括例如自然胎儿的羊膜囊、胎盘、脐带或其任何组合的物理表示。由于胎儿人体模型66被包含在母体人体模型46中，因此胎儿人体模型66的外部物理特征68向用户22提供了触觉反馈(如图3中的箭头26e所示)，而不是视觉反馈。在一些实施例中，胎儿人体模型66还包括内部物理结构70以增强例如对宫内胎儿手术的培训。胎儿人体模型66的内部物理结构70可以包括例如与自然胎儿的躯干、腿、手臂、头或其任何组合相关的一个或多个内部特性的物理表示；胎儿人体模型66的这些内部物理结构70向用户22提供触觉反馈(如图3中的箭头26f所示)，而不是视觉反馈。
胎儿人体模型66的外部物理特征68和虚拟胎儿解剖结构56的外部虚拟特征62可配置为通过向用户22提供视觉和触觉反馈(分别如图3中的箭头24e和26e所示)的适当组合来逼真地模拟与自然胎儿相关的外部特性。为此，胎儿人体模型66的外部物理特征68可以模拟与自然胎儿相关的一些外部特性，而与自然胎儿相关的其他外部特性通过虚拟胎儿解剖结构56的外部虚拟特征62来模拟。另外或者替代地，可以通过胎儿人体模型66的外部物理特征68和虚拟胎儿解剖结构56的外部虚拟特征62来模拟与自然胎儿相关的一个或多个外部特性。
胎儿人体模型66的内部物理结构70和虚拟胎儿解剖结构56的内部虚拟结构64可配置为通过向用户22提供视觉和触觉反馈(分别如图3中的箭头24f和26f所示)的适当组合来逼真地模拟与自然胎儿相关的内部特性。为此，胎儿人体模型66的内部物理结构70可以模拟与自然胎儿相关的一些内部特性，而与自然胎儿相关的其他内部特性通过虚拟胎儿解剖结构56的内部虚拟结构64进行模拟；另外地或者替代地，可以通过胎儿人体模型66的内部物理结构70和虚拟胎儿解剖结构56的内部虚拟结构64两者来模拟与自然胎儿相关的一个或多个内部特性。
在一些实施例中，除了跟踪AR头戴式装置16的位置和方向，跟踪系统18还能够在三维空间中相对于母体人体模型46跟踪胎儿人体模型66的位置和方向。在一些实施例中，跟踪系统18以六个自由度(“6-DoF”)跟踪胎儿人体模型66的位置和方向，六个自由度包括胎儿人体模型66的x、y和z坐标，以及胎儿人体模型66的俯仰、横摆和侧倾。跟踪系统18可以是能够跟踪胎儿人体模型66的位置和方向的任何合适类型的跟踪系统(例如，跟踪基准标记，使用立体图像跟踪逆向反射红外标记，采用电磁跟踪器等)。在一些实施例中，跟踪系统18的至少一部分包括胎儿人体模型66或者是其一部分。因此，除了经由网络20接收来自跟踪系统18的与AR头戴式装置16的位置和方向有关的信号之外，计算装置14还能够经由网络20从跟踪系统18接收与胎儿人体模型66的位置和方向有关的信号。在一些情况下，跟踪系统使用放置在胎儿人体模型上(中)的一个或多个可追踪标记(例如，物理、红外、RFID、电磁等)和计算机视觉(例如，使用合适的摄像头或其他对于类型或标记物的跟踪机制)跟踪胎儿人体模型66相对于母体人体模型46的位置和方向。在一些情况下，跟踪系统使用来自母体人体模型46的关于限定了胎儿人体模型的位置和方向的母体人体模型46的分娩机制的位置的反馈来跟踪胎儿人体模型66相对于母体人体模型46的位置和方向。
在一些实施例中，(使用计算装置14)将虚拟母体解剖结构54与母体人体模型46共同配准，以使虚拟母体解剖结构54的内部虚拟结构58和外部虚拟特征60分别与母体人体模型46的内部物理结构50和外部物理特征48具有准确的空间关系。类似地，在一些实施例中，(使用计算装置14)将虚拟胎儿解剖结构56与母体人体模型共同配准，以使虚拟胎儿解剖结构56的外部虚拟特征62和内部虚拟结构64与母体人体模型46具有准确的空间关系。另外或者替代地，在一些实施例中，(使用计算装置14)将虚拟胎儿解剖结构56与胎儿人体模型66共同配准，以使虚拟胎儿解剖结构56的外部虚拟特征62和内部虚拟结构64分别与胎儿人体模型66的外部物理特征68和内部物理结构70具有准确的空间关系。在一些情况下，通过保存物理环境的空间映射并将锚点分配给真实世界来实现共同配准。此外，在一些情况下，可以单独使用或与空间映射一起使用用户限定的虚拟解剖结构在物理人体模型上的布置，以有助于共同配准。
在操作中，图3所示的虚拟解剖模型52和物理解剖模型44结合地提供培训平台，用于模拟自然胎儿的例行妊娠触诊、确定自然胎儿在自然母亲子宫内部的位置的利奥波德动作(Leopold’s Maneuvers)、在分娩开始之前将自然胎儿从臀部位置或侧卧(横向)位置转到头向下(头顶)位置的外倒转、一个或多个宫内胎儿手术、真实的肩难产、臀部和剖宫产、其它诊断、治疗或外科场景，包括分娩和产科手术序，或其任何组合，等等。在这些模拟期间，母体人体模型46的外部物理特征48对于用户22是可见的，但是胎儿人体模型66和母体人体模型46的内部物理结构50对于用户22是不可见的。跟踪系统18跟踪AR头戴式装置16的位置和方向，计算装置14经由网络20从跟踪系统18接收与AR头戴式装置16的位置和方向有关的信号。另外，跟踪系统18跟踪胎儿人体模型66相对于母体人体模型46的位置和方向，计算装置14经由网络20从跟踪系统18接收与胎儿人体模型66的位置和方向有关的信号。计算装置14经由网络20向AR头戴式装置16发送适当的信号以将虚拟解剖模型52(包括虚拟母体解剖结构54和虚拟胎儿解剖结构56)叠加在物理解剖模型44上。更具体地，因为(使用计算装置14)将虚拟母体解剖结构54与母体人体模型46共同配准，并(使用计算装置14)将虚拟胎儿解剖结构56与胎儿人体模型46共同配准，因此，胎儿人体模型66相对于母体人体模型46的位置和方向的任何变化通过AR头戴式装置16反映在AR头戴式装置16的虚拟解剖模型52在物理解剖模型44上的叠加中。因此，虚拟母体解剖结构54和虚拟胎儿解剖结构56通过AR头戴式装置16准确地叠加在用户22对母体人体模型46的视野上。
返回至图1，并继续参考图2和图3，在一些实施例中，用户22使用器械28与物理解剖模型12或物理解剖模型44进行物理交互。在一些实施例中，除了跟踪AR头戴式装置16的位置和方向之外，跟踪系统18还能够在三维空间中跟踪器械28的位置和方向。在一些实施例中，跟踪系统18以六个自由度(“6-DoF”)跟踪器械28的位置和方向，六个自由度包括器械28的x、y和z坐标，以及器械28的俯仰、横摆和侧倾。在一些实施例中，跟踪系统18的至少一部分包括器械28或者是器械28的一部分。计算装置14能够经由网络20接收来自跟踪系统18的与器械28的位置和方向有关的信号。因此，跟踪系统18可用于确定器械28是否撞击在虚拟解剖模型36上或虚拟解剖模型52上。更具体地，基于器械28的位置和方向，使虚拟解剖模型36或虚拟解剖模型52的可变形部分经由AR头戴式装置16适当地反映由撞击器械28引起的变形。例如，当通过器械28向血管施加压力时，血管可能变得不那么圆和更平。在一些情况下，跟踪系统使用放置在器械上(中)的一个或多个可追踪标记(例如，物理、红外、RFID、电磁等)和器械28的计算机视觉(例如，使用合适的摄像头或其他类型或标记物的跟踪机制)跟踪器械28的位置和方向。
参考图2和图3，为了进一步增强或以其他方式改善培训体验，辅助虚拟图形72经由AR头戴式装置16呈现在用户22的视场中。辅助虚拟图形72包括但不包括仅限于医学数据74、指导步骤76、专家演示78、教学内容80和紧急情况82。医学数据74、指导步骤76、专家演示78、教学内容80和紧急情况82向用户22提供视觉反馈(分别如图2和图3中的箭头24g-k所示)，而不是触觉反馈。医学数据74可以包括但不限于温度、血压、脉搏、呼吸频率、其他重要医学数据或其任意组合。指导步骤76可以包括但不限于用于完成正被培训的特定过程的步骤。因此，在图1和图2的实施例中，指导步骤76可以包括用于完成例如自然胎儿的例行妊娠触诊、确定自然胎儿在自然母亲子宫内部的位置的利奥波德动作(Leopold’s Maneuvers)、在分娩开始之前将自然胎儿从臀部位置或侧卧(横向)位置转到头向下(头顶)位置的外倒转、一个或多个宫内胎儿手术、真实的肩难产、臀部和剖宫产、其它诊断、治疗或外科场景或其任何组合的步骤。另外或替代地，在图1和图3的实施例中，指导步骤76可以包括用于完成例如恰当的气管造口术手术(包括插入气管导管)、恰当的气胸手术、伤口出血(包括恰当施加压紧压力以及，可选地，在适于阻止伤口进一步失血的位置恰当实施适当的止血带)、由战斗、爆炸、创伤、其它诊断、治疗或外科场景引起的损伤或撕裂的恰当治疗，或其任意组合的步骤。专家演示78对指导步骤76进行补充，并且可以通过AR头戴式装置16叠加在物理解剖模型44上，以演示完成一个或多个指导步骤76的正确方法。教学内容80提供教学材料，例如医学研究、科学数据等，以进一步丰富培训体验。最后，紧急情况82经由AR头戴式装置16叠加在用户22对物理解剖模型44的视野之上或其周围。紧急情况82可以包括但不限于物理创伤(例如，出血)、产房条件、手术室条件、火灾、战场条件、与正在培训的程序有关的一个或多个其他紧急情况或其任意组合。除了自我指导的教学数据(例如来自物理人体模型的心肺复苏反馈(例如，压缩率和深度))之外，AR头戴式装置16还可实时显示医疗数据74(例如，生命体征和/或其他测量的医疗数据)。
尽管以上描述了物理解剖模型12和44的示例功能，但并不旨在对其进行限制。相反，应当理解，本公开的概念可应用于广泛的医学模拟功能和特征的范围。因此，在一些情况下，物理解剖模型12和44各自包括一个或多个特征，这些特征如在以下文献中公开的模拟器的背景下描述的：2017年1月27日提交的序列号为62/451,557的美国临时专利申请；序列号为14/213,932的美国专利申请，现在为2016年9月6日公布的美国专利号9,437,117；序列号为14/213,962的美国临时专利申请，现在为2016年11月22日公布的美国专利号9,501,953；序列号为15/355,982的美国专利申请，2017年3月9日公开为美国专利申请公开号2017/0069233A1；序列号为13/223,020的美国专利申请，现在为2013年4月16日公布的美国专利号8,419,438；序列号为13/031,116的美国专利申请，现在为2013年8月27日公布的美国专利号8,517,740；序列号为13/031,087的美国专利申请，现在为2014年3月25日公布的美国专利号8,678,831；序列号为13/031,102的美国专利申请，现在为2013年12月17日公布的美国专利号8,608,483；序列号为12/856,903的美国专利申请，现在为2012年4月10日公布的美国专利号8,152,532；序列号为12/708,682的美国专利申请，现在为2014年6月3日公布的美国专利号8,740,624；序列号为12/708,659的美国专利申请，现在为2013年8月6日公布的美国专利号8,500,452；序列号为11/952,606的美国专利申请，现在为2014年4月15日公布的美国专利号8,696,362；序列号为11/952,669的美国专利申请，2009年6月11日公开为美国专利申请公开号2009/0148822A1；美国专利号8,016,598；美国专利号7,976,313；美国专利号7,976,312；美国专利号7,866,983；美国专利号7,114,954；美国专利号7,192,284；美国专利号7,811,090；美国专利号6,758,676；美国专利号6,503,087；美国专利号6,527,558；美国专利号6,443,735；美国专利号6,193,519；美国专利号5,853,292；以及美国专利号5,472,345，其每一个的全部内容通过引用结合于此。
此外，在一些情况下，物理解剖模型12和44每个包括位于佛罗里达州迈阿密的科玛科学公司(Gaumard Scientific Company，Inc.)提供的医疗模拟器中提供的一个或多个特征，提供的医疗模拟器包括但不限于以下型号：
Figure BDA0002453703350000171
S221Clinical
Figure BDA0002453703350000172
S222Clinical
Figure BDA0002453703350000173
S222.100Super
Figure BDA0002453703350000174
S303 Code
Figure BDA0002453703350000175
S304Code
Figure BDA0002453703350000176
S100
Figure BDA0002453703350000177
S100
Figure BDA0002453703350000178
S200
Figure BDA0002453703350000179
S200
Figure BDA00024537033500001710
S201
Figure BDA00024537033500001711
S201
Figure BDA00024537033500001712
S203
Figure BDA00024537033500001713
S204
Figure BDA00024537033500001714
S205 Simple
Figure BDA00024537033500001715
S206 Simple
Figure BDA00024537033500001716
S3004 Pediatric
Figure BDA00024537033500001717
S3005 Pediatric
Figure BDA00024537033500001718
S3009Premie
Figure BDA00024537033500001719
S3010Newborn
Figure BDA00024537033500001720
S110
Figure BDA00024537033500001721
S110
Figure BDA00024537033500001722
S150
Figure BDA00024537033500001723
S150
Figure BDA00024537033500001724
S107多用途患者护理和CPR婴儿模拟器(S107Multipurpose Patient Care and CPRInfant Simulator)、S117多用途患者护理和CPR儿科模拟器(S117 Multipurpose PatientCare and CPR Pediatric Simulator)、S157多用途患者护理和CPR儿科模拟器(S157Multipurpose Patient Care and CPR Pediatric Simulator)、S575
Figure BDA0002453703350000181
S565
Figure BDA0002453703350000182
S560
Figure BDA0002453703350000183
S555
Figure BDA0002453703350000184
S550
Figure BDA0002453703350000185
S550.100
Figure BDA0002453703350000186
S2200
Figure BDA0002453703350000187
S2220Super
Figure BDA0002453703350000188
和/或其他患者模拟器。
在一些实施例中，虚拟解剖模型36或52在物理解剖模型12或44上叠加用户通常不可见的的特征(例如，内部器官、内部病变等的逼真的动画等)。在一些实施例中，虚拟解剖模型36或52与来自物理解剖模型12或44的物理响应同步(例如，经由计算装置14的胎儿心率的改变引起虚拟胎儿解剖结构56的移动，施加到物理解剖模型12或44的耻骨压力操纵将导致虚拟胎儿解剖结构56的偏转，等等)。在一些实施例中，AR系统10还包括扬声器(未示出)，该扬声器可操作以添加空间声音以提高模拟过程的逼真性(例如，心率哔哔声、来自虚拟解剖模型36或52的语音等)或添加对于辅助虚拟图形72的声音提示。在一些实施例中，虚拟解剖模型36或52使用虚拟元素(例如，皮肤病变、疤痕、皱纹等)增强物理解剖模型12或44的外观。在一些实施例中，虚拟解剖模型36或52添加物理解剖模型12或44不存在的特征(例如，四肢、头部、手臂、躯干)。因此，物理解剖模型12或44的一部分或全部由虚拟解剖模型36或52全息地表示。在一些实施例中，辅助虚拟图形72被添加到视觉反馈24(即，经由视觉反馈24g-k)，而不会遮挡用户22的视场。在一些实施例中，AR头戴式装置16包括一个或多个摄像头以捕获并记录用户22的注视和位置，使得可以经由网络20与计算装置14共享这种信息以在完成培训练习之后向用户22汇报。在一些实施例中，AR系统10能够经由AR头戴式装置16上的虚拟解剖模型36或52显示沿着3个正交平面的内部器官切片。
参照图4，并继续参考图1-3，通常用附图标记84指代方法。方法84包括在步骤86处，查看来自物理解剖模型(例如物理解剖模型12或44)并经过AR头戴式装置16的第一视觉反馈(例如视觉反馈24aa或24ca)；在步骤88处，使用跟踪系统18跟踪AR头戴式装置16的位置和方向；在步骤90处，使用计算装置14从跟踪系统18接收与AR头戴式装置16的位置和方向有关的第一信号；在步骤92处，使用计算装置14向AR头戴式装置16发送第二信号，以使AR头戴式装置16将第二视觉反馈(例如，视觉反馈24ab和24b，或视觉反馈24cb和24d-f)叠加在第一视觉反馈上，第二信号基于第一信号；以及在步骤94处，查看第二视觉反馈，其中第二视觉反馈来自AR头戴式装置16，并且包括虚拟解剖模型(例如，虚拟解剖模型36或52)。在一些实施例中，第二视觉反馈还包括辅助虚拟图形72(例如，视觉反馈24g-k)，辅助虚拟图形72包括以下一项或多项：医学数据74、指导步骤76、专家演示78、教学内容80和紧急情况82。
在方法84的一些实施例中，方法84是使用物理解剖模型12和虚拟解剖模型36完成的。在这样的实施例中，方法84还包括使用计算装置14将虚拟解剖结构38与人体模型30共同配准，以确保它们之间的准确空间关系，并且第二信号还基于虚拟解剖结构38与人体模型30的共同配准。
在方法84的其他实施例中，方法84是使用物理解剖模型44和虚拟解剖模型52完成的。在这样的实施例中，方法84还包括使用计算装置14将虚拟胎儿解剖结构56和/或虚拟母体解剖结构54与母体人体模型46共同配准，以确保它们之间的准确空间关系，并且第二信号还基于虚拟胎儿解剖结构56和/或虚拟母体解剖结构54与母体人体模型46的共同配准。另外或者替代地，方法84还包括使用跟踪系统18跟踪胎儿人体模型66相对于母体人体模型46的位置和方向；使用计算装置14将虚拟胎儿解剖结构56与胎儿人体模型66共同配准，以确保它们之间的准确空间关系；以及使用计算装置14从跟踪系统18接收与胎儿人体模型66相对于母体人体模型46的位置和方向有关的第三信号。在这样的实施例中，第二信号还基于第三信号以及虚拟胎儿解剖结构56与胎儿人体模型66的共同配准。
在一个实施例中，如图5所示，AR系统通常由附图标记95指代，并且至少包括系统10的组件。更具体地说，AR系统95包括计算装置14、物理解剖模型12和/或44，以及多个AR头戴式装置161、162、163和16i。计算装置14连接到网络20，并且包括统一的模拟器控制软件96(例如Gaumard的
Figure BDA0002453703350000191
软件)，用于监测和控制物理解剖模型12和/或44的生理机能，监测和控制AR头戴式装置161-i(以及用户的动作)，并支持在完成特定培训场景之前、之中或之后的数据丰富的汇报。AR头戴式装置161-i连接到网络20，并且分别包括机载跟踪系统181、182、183和18i，其适配为在三维空间中相对于物理解剖模型12和/或44跟踪AR头戴式装置161-i的位置和方向。此外，AR头戴式装置161-i每个包括与计算装置14分离但基本相似的机载计算装置14'。每个AR头戴式装置161-i的计算装置14'运行AR应用98以有助于用户对AR头戴式装置161-i可用的各种特征和场景的控制。在一些实施例中，AR系统95还包括连接到网络20并适配为运行AR链接软件99的计算装置14”，如将在下面进一步详细描述的。
在一些实施例中，统一的模拟器控制软件96可以在平板PC上进行预配置，并包括可修改的预建场景的库，以节省时间和开发资源。在一些实施例中，统一的模拟器控制软件96允许指导者控制人体模型的各种生命体征，以逼真地展示各种患者表现。在一些实施例中，统一的模拟器控制软件96允许指导者创建针对特定学习目标定制的场景，并为参与者提供广泛的标准化、可重复的学习事件。
在一些实施例中，计算装置14可以是、可以包括各种计算装置或可以作为各种计算装置的一部分；因此，如本文所使用的，附图标记14(不带后缀(')或(”))可以指代本文所述的计算装置14'和14”之一或它们的组合。在一些实施例中，AR头戴式装置16可以是、可以包括各种AR头戴式装置或可以作为其一部分；因此，如本文中所使用的，附图标记16(不具有后缀1、2、3或i)可以指代本文所述的AR头戴式装置161-i中的一个或组合。在一些实施例中，跟踪系统18可以是、可以包括各种跟踪系统或可以作为其一部分；因此，如本文中所使用的，附图标记18(不带后缀1、2、3或i)可以指代本文所述的跟踪系统181、182、183和18i中的一个或其组合。
在一个实施例中，如图6A所示，每个AR头戴式装置161-i上的AR应用98包括在启动特定场景之前呈现给用户的中心(hub)菜单(未示出)。可以在AR头戴式装置161、2、3或i的屏幕上或在另一个显示单元(例如，计算机监测器、电视机等)上向用户呈现中心菜单。中心菜单可以包括用于各种AR模拟的可选图标，取决于所需的培训课程的特定类型，可选图标包括产科AR模块100(如图6A所示)、创伤AR模块(未示出)以及儿科AR模块(未示出)，等等。产科AR模块100的图示在图6A中示出，并且包括用于实况模式102、观看模式104、导览模式106和设置模式108的可选图标。例如，产科AR模块100被设计为通过使用产科解剖结构(例如，虚拟母体解剖结构54和/或虚拟胎儿解剖结构56)的叠加以及动画以更好地可视化分娩的机制以及各种分娩并发症来改进学生的学习过程，如将在下面进一步详细描述的。这种3D动画已被证明是比书中的文字和图片更好的教学手段。
在一个实施例中，如图6B所示，实况模式102将3D胎儿和产科解剖结构(例如，虚拟母体解剖结构54和/或虚拟胎儿解剖结构56)的全息叠加投影在物理模拟器或人体模型(例如，物理解剖模型44)的上方。实况模式102还包括平视菜单(heads-up menu)110，其具有用户可以选择的各种按钮，例如，“隐藏菜单”按钮112、“返回”按钮114、“隐藏/显示皮肤”按钮116、“调整视图”按钮118和“代码放置”按钮120。在图6B所示的实施例中，“隐藏/显示皮肤”按钮116切换到隐藏位置，以使胎儿和产科解剖结构(例如，虚拟胎儿解剖结构56和虚拟母体解剖结构54的内部虚拟结构58)不可见。“代码放置”按钮120可操作为以以下将更详细描述的方式将全息动画配准到物理人体模型(例如，物理解剖模型44)。3D动画可以根据模拟的工作场景的当前状态周期性地更新。具体地，可以在AR头戴式装置161-i与统一的模拟器控制软件96之间实时通信数据，以更新胎儿旋转、胎儿位置以及母亲和孩子的生命体征，以增强用户所看到的从而改进教学体验，如下面将进一步详细描述的。因为这种数据传输为用户提供了其模拟的患者的当前状态，所以警告和指示也可以以视觉或听觉提示的形式传递给用户(和/或其他参与者)。例如，如图6C所示，实况模式102可以包括紧急面板122，该紧急面板122能够在模拟的患者的心率应当上升到正常范围之上的情况下发出警告(例如，“当前的心率高于正常参数”、“警告，建议评估”)。
在一个实施例中，如图6D所示，观看模式104允许用户播放各种分娩场景和分娩并发症以及教学技巧和操作的动画，以有助于在发生并发症的情况下的分娩。在图6C中示出了用于各种分娩场景的示例选择菜单124。此类分娩场景的示例包括但不限于正常分娩126、肩难产128、臀位分娩130，脐带绕颈分娩132和产后出血134。在从选择菜单124中选择特定分娩场景后(例如，当用户选择他/她想要查看的分娩类型时)，向用户呈现人体模型的全息图以及用于控制场景的分娩菜单。在图6E中示出了用于正常分娩126的示例性分娩菜单136。在图6E所示的实施例中，分娩菜单136包括时间线137，用户可以通过时间线137选择观看正常分娩126的哪个阶段，包括“开始下降”阶段140、“初始旋转”阶段142、“外部旋转”阶段144、“进入产道”阶段146和“分娩”阶段148。分娩菜单136还包括用于控制模拟的按钮，例如“隐藏菜单”按钮150、“返回”按钮152、“暂停/播放”按钮154、“重新开始”按钮156和“调整视图”按钮158。观看模式104中使用真人大小的3D全息图的产科解剖结构的可视化有助于增强学生学习。
在一个实施例中，如图6F所示，导览模式106提供了叠加在人体模型(例如，母体人体模型46)的站立全息图160上的各种模拟器特征的导览。使用“调整视图”按钮162，用户可以注视全息图160的各个部分，以接收与全息图160的一个或多个特定部分有关的特征的概览。导览模式106还可以包括与用户注视的全息图160的特定部分相对应的各种按钮和面板。例如，图6F示出了用户已经选择了人体模型的站立全息图160的头部以及“神经系统”按钮164的场景。响应于用户对“神经系统”按钮164的选择，导览模式106显示与人体模型(例如，母体人体模型46)的神经系统反应特征有关的信息面板166。导览模式106还可以包括各种其他按钮和面板，包括但不限于肤色面板168，该肤色面板具有用于选择各种肤色以显示在人体模型的站立全息图160上的按钮。导览模式106的框架适用于各种各样的人体模型(包括，例如人体模型30、母体人体模型46、胎儿人体模型66和/或其他人体模型)，并提供教学工具，用于学生和观察者在与人体模型互动之前、之中或之后熟悉特定人体模型的各种特征。
在实施例中，如图6G-6I所示，设置模式108关注于统一的模拟器控制软件96与AR头戴式装置161-i之间的连接性。在图6G中示出了包括“无线设置”按钮172和“蓝牙设置”按钮174的示例性连接菜单170。用户从连接性菜单170中对“无线设置”按钮172的选择向用户呈现诸如图6H所示的扫描框176，除了扫描框176不是空白的，而是扫描框176填充有用户的视场(即，由AR头戴装置161、2、3或i看到的视场)。然后用户可以将扫描框176与由统一的模拟器控制软件96产生的QR码178对齐，以在统一的模拟器控制软件96和AR头戴式装置161、2、3或i之间建立连接，如图6I所示。统一的模拟器控制软件96生成的QR代码178包含建立这样的连接(通过例如网络20)所需的所有网络设置。
在一个实施例中，如图6J-6L所示，产科AR模块100利用对象识别软件(例如VuforiaTM对象识别软件)读取和识别定制代码180，以便在真实世界中(例如，相对于物理解剖模型12和/或44)放置和定向全息图(例如，虚拟解剖模型36和/或52)。例如，该特征可以在实况模式102中用于将全息图叠加在物理人体模型上，并且可以在观看模式104中用于将全息图自动放置在真实世界的表面(例如检查表面)上。定制代码180的示例在图6J中示出。此外，在图6K中示出了定制代码180在人体模型(例如，母体人体模型46)上的放置的示例。具体地，将定制代码180放置在人体模型上的特定位置和方向上，以使得当定制代码180被AR头戴式装置161、2、3或i扫描时，它准确地将全息图(例如，虚拟解剖模型36和/或52)与人体模型(例如，物理解剖模型12和/或44)配准，如图6L所示。更具体地，图6L示出了使用定制代码180将虚拟解剖模型52(包括虚拟母体解剖结构54和虚拟胎儿解剖结构56)配准到物理解剖模型44(包括母体人体模型46和胎儿人体模型66)的实施例。在一些实施例中，使用定制代码180将全息图与人体模型配准使全息图相对于人体模型居中。使用定制代码180将全息图与人体模型配准意味着在每次使用产科AR模块100时不需要用户将全息图与人体模型手动对齐(或者至少降低了手动对齐的需求)。
在一个实施例中，如图6M和6N所示，统一的模拟器控制软件96具有将问题和消息发送到成组的AR头戴式装置161-i或发送到一个特定AR头戴式装置161、2、3或i的能力。具体地，指导者可以向成组的学生发送问题，或者可以向单个学生分开地发送问题，以评估他/她对特定培训场景的理解。例如，图6M示出了在观看模式104下的正常分娩126期间经由AR头戴式装置161、2、3和/或i询问示例问题182(即，“患者的血压是多少”)。在另一个示例中，图6N示出了在观看模式104下的正常分娩126期间示例消息184(即，“请再次检查FHR，它可能有助于您的下一个诊断步骤”)被传递到AR头戴式装置161、2、3和/或i。
在如图7A-7E所示的实施例中，统一的模拟器控制软件96包括AR中心186，被配置为控制AR应用98中的至少一些特征，该应用运行AR头戴式装置161-i。如图7A所示，AR中心186提供关于连接到统一的模拟器控制软件96的每个AR头戴式装置161-i的连接性和当前状态的反馈。此外，AR中心186允许指导者通过选择“锁定模式”按钮188(在图7A的右上角示出)来完全控制任何已连接的AR头戴式装置161、2、3或i。因此，每个AR头戴式装置161-i可以以两种不同的方式(即，指导者控制和参与者控制)运行。与AR头戴式装置161、2、3和/或i有关的反馈的示例在图7B中示出，包括连接性信息189a以及每个AR头戴式装置161-i正在运行的当前模式(例如，实况模式102、观看模式104、导览模式106或设置模式108)的图标反馈189b。如图7A所示，类似于经由AR应用98可访问的产科AR模块100，AR中心186包括实况模式190、观看模式192和导览模式194。如图7C所示，在AR中心186的实况模式190中，指导者可以选择特定场景并在人体模型(例如，物理解剖模型12和/或44)和所有连接的AR头戴式装置161-i两者上实况运行它。如图7D所示，在AR中心186的观看模式192中，指导者可以从统一的模拟器控制软件96中选择视频剪辑，并让所有连接的AR头戴式装置161-i同时观看指导视频。最后，如图7E所示，在AR中心186的导览模式194中，指导者可以通过选择人体模型(例如，母体人体模型46)的站立全息图160的不同区域，并激活所有连接的AR头戴式装置161-i上的选定区域，将人体模型的总体概览提供给所有连接的AR头戴式装置161-i。
在一个实施例中，如图8所示并继续参考图5，计算装置14”可以包括AR链接软件99，以允许不具有AR头戴式装置161-i之一的参与者仍然可以观看在特定场景下的例如实况模式190的3D动画。在图8中示出了AR链接软件99的图形输出196的示例。在一些实施例中，AR链接软件99是独立的桌面应用，其包括与AR应用98(其运行AR头戴式装置161-i)相似的特征。在一些实施例中，AR链接软件99在网络20上经由传输控制协议/互联网协议(“TC/PIP”)与计算装置14上的统一的模拟器控制软件96建立连接。在一些实施例中，AR链接软件99中的至少一部分在计算装置14上运行。
在一个示例性实施例中，如图9A-9E所示，产科AR模块100被配置为随着选定的分娩场景的进展而在锁定步骤中创建胎儿和内部产科解剖结构(例如，虚拟胎儿解剖结构56和虚拟母体解剖结构54的内部虚拟结构58)的实时可视化。例如，胎儿位置和旋转可以与其余的产科解剖结构一起动画化，以补充使用人体模型(例如，物理解剖模型44)和统一的模拟器控制软件96的实时分娩模拟。具体地，使用本公开的游戏引擎198(例如，
Figure BDA0002453703350000241
3D软件)在AR头戴式装置161-i上实时渲染产科动画。在图9A中示意性地示出了游戏引擎198的示例，其示出了由产科AR模块100利用的动画和渲染过程。
为了确保动画是逼真的、解剖上准确的并且是可实时渲染的，首先使用专业动画软件(例如，
Figure BDA0002453703350000251
3D软件、BlenderTM 3D软件、另一3D软件等)离线创建动画，如附图标记200所示。具体来说，离线动画是使用3D动画软件创建的，该软件描绘了在特定分娩阶段期间处于与胎儿的位置对应的正确姿势(例如，在胎儿位置处双腿弯曲、双腿伸展等)的胎儿。在分娩过程期间胎儿的示例性方向以及其他产科解剖结构如图9B所示。特别地，如图9B所示，随着人体模型(例如母体人体模型46)分娩的进展，胎儿经历了平移和旋转。然后，如箭头202所示，将离线创建的动画导入游戏引擎198。
然后，游戏引擎198修改导入的动画，以匹配在分娩场景期间的胎儿的位置和旋转。具体地，如图9A的箭头204所示，游戏引擎198对导入的动画进行的修改是基于来自分娩模拟器(例如，物理解剖模型44和/或统一的模拟器控制软件96)的实时反馈，以将正确的旋转赋予预先动画化的胎儿姿势。图9C描述了此两步动画过程。特别地，图9C的部分(A)、(B)和(C)示出了使用动画软件仅通过平移而没有旋转动画来对胎儿进行预动画化的第一步骤。图9C的部分(D)、(E)和(F)示出了通过使用游戏引擎198旋转预动画化的模型来实时创建期望的旋转的第二步骤。在一些实施例中，该两步动画过程得到高视觉保真度、解剖准确性和高帧频(这是AR图像的实时渲染所需的)。然后，游戏引擎198基于预先动画化的胎儿姿势200和来自分娩模拟器的实时反馈204，输出胎儿和产科解剖结构的实时动画，如图9A中由附图标记206示意性所示。在一些实施例中，然后在AR头戴式装置16上显示胎儿和产科解剖结构的实时动画。
因为胎儿的角旋转可在0到360度之间变化，所以，为了确保高视觉保真度，在一些实施例中，根据分娩进展(在离线3D动画软件200中)对于四个不同的角度位置创建胎儿姿势。游戏引擎198根据需要实时创建用于所有其他角度方向的各种胎儿姿势，以匹配来自分娩模拟器的反馈204。在图9D中示意性地示出了该过程的示例。
为了确保胎盘和脐带在旋转过程中保持附着于胎儿，对胎盘进行旋转和非旋转部分建模。旋转部分允许脐带末端保持附着于胎儿，同时胎儿被动画化为在产道中旋转。在图9E中示意性地示出了该过程的示例。具体地，图9E的部分(A)示出了胎儿的初始位置，其中胎盘的非旋转部分连接至羊膜囊的壁，并且胎盘的旋转部分(例如，脐带)连接至胎儿。相反，图9E的部分(B)示出了胎儿的旋转位置，其中脐带的末端保持附着于胎儿。
在一个实施例中，如图10A-10B所示，模拟练习的实时视频208可以叠加有全息AR动画210和/或其他计算机生成的图形。如图10B所示，AR动画210(图10B中示出)和图形从与实时视频208匹配的位置和视角在实时游戏引擎212内实时渲染。具体地，如图10A中的箭头214所示，模拟练习的实时视频208与实时摄像头姿势数据(即，位置和方向)一起馈送到实时游戏引擎212。另外，由游戏引擎198(或类似游戏引擎)产生的AR动画和图形被馈送到实时游戏引擎212中，如图10A中的箭头216所示。然后，实时游戏引擎212创建模拟练习的实时视频208以及AR动画和图形的合成视频，如图10A中的箭头218所示。最后，实时游戏引擎212将合成视频发送到视频记录模块220。在图10B中示出了模拟练习的实时视频208、AR动画210和图形以及由实时游戏引擎212创建的合成视频218的示例。具体地，如图10B所示，实时游戏引擎212可以用于将虚拟解剖模型52叠加在物理解剖模型44上。实时游戏引擎212同样适合于将虚拟解剖模型36叠加在物理解剖模型12上。
在一些实施例中，多个指令或计算机程序被存储在非暂时性计算机可读介质上，该指令或计算机程序可被一个或多个处理器访问并且可由其执行。在一些实施例中，一个或多个处理器执行多个指令(或计算机程序)以全部或部分地运行上述说明性实施例。在一些实施例中，一个或多个处理器是计算装置14(或本公开的另一计算装置)、一个或多个其他计算装置或其任意组合的一部分。在一些实施例中，非暂时性计算机可读介质是计算装置14、一个或多个其他计算装置或其任意组合的一部分。
参考图11，并继续参考图1-4，描绘了用于实现一个或多个上述网络、元素、方法和/或步骤和/或其任何组合的一个或多个实施例的计算装置14、14'和/或14"的实施例。计算装置14、14'和/或14”包括全部通过一个或多个总线14h互连的微处理器14a、输入装置14b、存储装置14c、视频控制器14d、系统存储器14e、显示器14f和通信装置14g。在一些实施例中，存储装置14c可以包括软盘驱动器、硬盘驱动器、CD-ROM、光盘驱动器、任何其他形式的存储装置和/或其任何组合。在一些实施例中，存储装置14c可以包括和/或能够接收软盘、CD-ROM、DVD-ROM或可以包含可执行指令的任何其他形式的计算机可读介质。在一些实施例中，通信装置14g可以包括调制解调器、网卡或任何其他装置，以使计算装置能够与其他计算装置进行通信。在一些实施例中，任何计算装置代表多个互连的计算机系统(无论是通过内联网还是因特网)，包括但不限于个人计算机、大型机、PDA、智能手机和蜂窝手机。
计算装置可以使用专有协议指令发送网络消息以渲染3D模型和/或医学数据。本发明的计算装置与显示单元之间的链接以及物理人体模型的编程状态与显示单元上的渲染数据/3D模型之间的同步有助于用户的增强学习体验。就这一点而言，多个用户可以同时使用多个显示单元，以从相同人体模型的不同角度显示相同的3D模型/数据，以有助于统一的教与学，包括团队培训方面。
在一些实施例中，上述说明性实施例的一个或多个组件至少包括计算装置14、14'和/或14”和/或其组件，和/或基本类似于计算装置14、14'和/或14”的一个或多个计算装置和/或其组件。在一些实施例中，计算装置14、14'和/或14'的一个或多个上述组件包括相应的多个相同组件。
在一些实施例中，计算机系统通常至少包括能够执行机器可读指令的硬件，以及用于执行产生期望的结果的动作(通常是机器可读指令)的软件。在一些实施例中，计算机系统可以包括硬件和软件的混合，以及计算机子系统。
在一些实施例中，硬件通常至少包括具有处理器能力的平台，例如客户机(也称为个人计算机或服务器)，以及手持处理装置(例如智能电话、平板计算机、个人数字助理(PDA)或个人计算装置(PCD))。在一些实施例中，硬件可以包括能够存储机器可读指令的任何物理装置，例如存储器或其他数据存储装置。在一些实施例中，其他形式的硬件包括硬件子系统，例如包括诸如调制解调器、调制解调器卡、端口和端口卡之类的传输装置。
在一些实施例中，软件包括存储在任何存储介质(例如RAM或ROM)中的任何机器代码，以及存储在其他装置(例如，软盘、闪存或CD ROM)上的机器代码。在一些实施例中，软件可以包括源代码或目标代码。在一些实施例中，软件包括能够在诸如客户机或服务器的计算装置上执行的任何指令集。
在一些实施例中，软件和硬件的组合也可以用于提供本公开的一些实施例的增强的功能和性能。在说明性实施例中，可以将软件功能直接制造到硅芯片中。因此，应理解，硬件和软件的组合也包括在计算机系统的限定内，并且因此被本公开设想为可能的等同结构和等同方法。
在一些实施例中，计算机可读介质包括例如无源数据存储装置(例如随机存取存储器(RAM))以及半永久性数据存储装置(例如，致密盘只读存储器(CD-ROM))。本公开的一个或多个说明性实施例可以实施在计算机的RAM中，以将标准计算机转换为新的特定计算机器。在一些实施例中，数据结构被限定为可以实现本公开的实施例的数据的组织。在说明性实施例中，数据结构可以提供数据的组织或可执行代码的组织。
在一些实施例中，可以将任何网络和/或其一个或多个部分设计为在任何特定架构上工作。在说明性实施例中，任何网络的一个或多个部分可以在单个计算机、局域网、客户端-服务器网络、广域网、互联网、手持式以及其他便携式和无线装置和网络上执行。
在一些实施例中，数据库可以是任何标准或专有数据库软件。在一些实施例中，数据库可以具有字段、记录、数据和可以通过数据库特定软件相关的其他数据库元素。在一些实施例中，数据可以被映射。在一些实施例中，映射是将一个数据条目与另一数据条目相关的过程。在说明性实施例中，可以将包含在字符文件的位置中的数据映射到第二表中的字段。在一些实施例中，数据库的物理位置不是限制性的，并且数据库可以是分布式的。在说明性实施例中，数据库可以远离服务器存在，并在单独的平台上运行。在说明性实施例中，数据库可以通过因特网访问。在一些实施例中，可以实现一个以上的数据库。
在一些实施例中，存储在非暂时性计算机可读介质上的多个指令可以由一个或多个处理器执行，以使一个或多个处理器全部或部分地执行或实现AR系统10、方法84和/或其任何组合的每个上述说明性实施例的上述操作。在一些实施例中，这样的处理器可以包括微处理器14a，并且这样的非暂时性计算机可读介质可以包括存储装置14c、系统存储器14e或其组合。此外，计算机可读介质可以分布在AR系统10的一个或多个组件(包括但不限于物理解剖模型12或44、AR头戴式装置16、跟踪系统18、器械28或其任何组合)之间。在一些实施例中，这样的处理器可以结合虚拟计算机系统执行多个指令。在一些实施例中，这样的多个指令可以直接与一个或多个处理器通信，和/或可以与一个或多个操作系统、中间件、固件、其他应用程序和/或其任意组合进行交互，以使一个或多个处理器来执行指令。
在第一方面，本公开介绍了一种增强现实系统，包括：物理解剖模型；显示单元，用户适于通过该显示单元接收第一视觉反馈和第二视觉反馈，第一视觉反馈来自物理解剖模型并经过该显示单元，第二视觉反馈来自该显示单元并包括虚拟解剖模型；跟踪系统，适于跟踪显示单元的位置和方向；以及计算装置，适于：从跟踪系统接收与显示单元的位置和方向有关的第一信号，并将第二信号发送到显示单元以使显示单元将第二视觉反馈叠加在第一视觉反馈上，第二信号基于第一信号。在一些实施例中，第二视觉反馈还包括辅助虚拟图形，该辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。在一些实施例中，物理解剖模型包括人体模型，人体模型包括外部物理特征，外部物理特征包括与自然人相关的一个或多个外部特性的物理表示；并且虚拟解剖模型包括虚拟解剖结构，虚拟解剖结构包括内部虚拟结构，内部虚拟结构包括与自然人相关的一个或多个内部特性的虚拟表示。在一些实施例中，计算装置还适于将虚拟解剖结构与人体模型共同配准，以确保它们之间的准确空间关系；第二信号还基于虚拟解剖结构与人体模型的共同配准。在一些实施例中，虚拟解剖结构还包括外部虚拟特征，外部虚拟特征包括与自然人相关的一个或多个外部特性的虚拟表示；虚拟解剖结构的外部虚拟特征模拟与自然人相关的一些外部特性，人体模型的外部物理特征模拟与自然人相关的其他外部特性。在一些实施例中，人体模型还包括内部物理结构，内部物理结构包括与自然人相关的一个或多个内部特性的物理表示；人体模型的内部物理结构模拟与自然人相关的一些内部特性，虚拟解剖结构的内部虚拟结构模拟与自然人相关的其他内部特性。在一些实施例中，物理解剖模型包括母体人体模型，母体人体模型包括第一外部物理特征，第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；并且虚拟解剖模型包括虚拟胎儿解剖结构，虚拟胎儿解剖结构包括第一外部虚拟特征，该第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示。在一些实施例中，计算装置还适于将虚拟胎儿解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；第二信号还基于虚拟胎儿解剖结构与母体人体模型的共同配准。在一些实施例中，物理解剖模还包括包含在母体人体模型中的胎儿人体模型，该胎儿人体模型包括第二外部物理特征，第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；并且胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性。在一些实施例中，跟踪系统还适于跟踪胎儿人体模型相对于母体人体模型的位置和方向；该计算装置还适于：将虚拟胎儿解剖结构与胎儿人体模型共同配准，以确保它们之间的准确空间关系；以及从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号；第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括内部虚拟结构，内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。在一些实施例中，计算装置还适于将虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；第二信号还基于虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型的共同配准。在一些实施例中，母体人体模型还包括内部物理结构，内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括第二外部虚拟特征，第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；并且虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
在第二方面，本公开介绍了一种方法，包括查看来自物理解剖模型并经过显示单元的第一视觉反馈；使用跟踪系统跟踪显示单元的位置和方向；使用计算装置从跟踪系统接收与显示单元的位置和方向有关的第一信号；使用计算装置向显示单元发送第二信号，以使显示单元在第一视觉反馈上叠加第二视觉反馈，第二信号基于第一信号；查看第二视觉反馈，其中第二视觉反馈来自显示单元并包括虚拟解剖模型。在一些实施例中，第二视觉反馈还包括辅助虚拟图形，该辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。在一些实施例中，物理解剖模型包括人体模型，人体模型包括外部物理特征，外部物理特征包括与自然人相关的一个或多个外部特性的物理表示；虚拟解剖模型包括虚拟解剖结构，虚拟解剖结构包括内部虚拟结构，内部虚拟结构包括与自然人相关的一个或多个内部特性的虚拟表示。在一些实施例中，该方法还包括使用计算装置将虚拟解剖结构与人体模型共同配准，以确保它们之间的准确空间关系；其中，第二信号还基于虚拟解剖结构与人体模型的共同配准。在一些实施例中，虚拟解剖结构还包括外部虚拟特征，外部虚拟特征包括与自然人相关的一个或多个外部特性的虚拟表示；虚拟解剖结构的外部虚拟特征模拟与自然人相关的一些外部特性，人体模型的外部物理特征模拟与自然人相关的其他外部特性。在一些实施例中，人体模型还包括内部物理结构，内部物理结构包括与自然人相关的一个或多个内部特性的物理表示；人体模型的内部物理结构模拟与自然人相关的一些内部特性，虚拟解剖结构的内部虚拟结构模拟与自然人相关的其他内部特性。在一些实施例中，物理解剖模型包括母体人体模型，母体人体模型包括第一外部物理特征，第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；虚拟解剖模型包括虚拟胎儿解剖结构，虚拟胎儿解剖结构包括第一外部虚拟特征，该第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示。在一些实施例中，该方法还包括使用计算装置将虚拟胎儿解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；其中，第二信号还基于虚拟胎儿解剖结构与母体人体模型的共同配准。在一些实施例中，物理解剖模还包括包含在母体人体模型中的胎儿人体模型，该胎儿人体模型包括第二外部物理特征，第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性。在一些实施例中，该方法还包括使用跟踪系统跟踪胎儿人体模型相对于母体人体模型的位置和方向；使用计算装置将虚拟胎儿解剖结构与胎儿人体模型共同配准，以确保它们之间的准确空间关系；以及使用计算装置从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号；其中，第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括内部虚拟结构，内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。在一些实施例中，该方法还包括使用计算装置将虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；其中，第二信号还基于虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型的共同配准。在一些实施例中，母体人体模型还包括内部物理结构，内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括第二外部虚拟特征，第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
在第三方面，本公开介绍了一种装置，包括非暂时性计算机可读介质；以及存储在非暂时性计算机可读介质上并且可由一个或多个处理器执行的多个指令，该多个指令包括：使一个或多个处理器使用跟踪系统来跟踪显示单元的位置和方向的指令；使一个或多个处理器从跟踪系统接收与显示单元的位置和方向有关的第一信号的指令；以及使一个或多个处理器向显示单元发送第二信号以使显示单元将第一视觉反馈叠加在第二视觉反馈上的指令，第二信号基于第一信号；其中，第二视觉反馈来自物理解剖模型并经过显示单元，第一视觉反馈来自显示单元并且包括虚拟解剖模型。在一些实施例中，第一视觉反馈还包括辅助虚拟图形，该辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。在一些实施例中，物理解剖模型包括人体模型，人体模型包括外部物理特征，外部物理特征包括与自然人相关的一个或多个外部特性的物理表示；虚拟解剖模型包括虚拟解剖结构，虚拟解剖结构包括内部虚拟结构，内部虚拟结构包括与自然人相关的一个或多个内部特性的虚拟表示。在一些实施例中，多个指令还包括使一个或多个处理器将虚拟解剖结构与人体模型共同配准以确保它们之间的准确空间关系的指令；第二信号还基于虚拟解剖结构与人体模型的共同配准。在一些实施例中，虚拟解剖结构还包括外部虚拟特征，外部虚拟特征包括与自然人相关的一个或多个外部特性的虚拟表示；虚拟解剖结构的外部虚拟特征模拟与自然人相关的一些外部特性，人体模型的外部物理特征模拟与自然人相关的其他外部特性。在一些实施例中，人体模型还包括内部物理结构，内部物理结构包括与自然人相关的一个或多个内部特性的物理表示；人体模型的内部物理结构模拟与自然人相关的一些内部特性，虚拟解剖结构的内部虚拟结构模拟与自然人相关的其他内部特性。在一些实施例中，物理解剖模型包括母体人体模型，母体人体模型包括第一外部物理特征，第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；虚拟解剖模型包括虚拟胎儿解剖结构，虚拟胎儿解剖结构包括第一外部虚拟特征，该第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示。在一些实施例中，多个指令还包括使一个或多个处理器将虚拟胎儿解剖结构与母体人体模型共同配准以确保它们之间的准确空间关系的指令；第二信号还基于虚拟胎儿解剖结构与母体人体模型的共同配准。在一些实施例中，物理解剖模还包括包含在母体人体模型中的胎儿人体模型，该胎儿人体模型包括第二外部物理特征，第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性。在一些实施例中，多个指令还包括使一个或多个处理器使用跟踪系统跟踪胎儿人体模型相对于母体人体模型的位置和方向的指令；使一个或多个处理器将虚拟胎儿解剖结构与胎儿人体模型共同配准以确保它们之间的准确空间关系的指令；以及使一个或多个处理器从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号的指令；第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括内部虚拟结构，内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。在一些实施例中，多个指令还包括使一个或多个处理器将虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型共同配准以确保它们之间的准确空间关系的指令；第二信号还基于虚拟胎儿解剖结构和虚拟母体解剖结构与母体人体模型的共同配准。在一些实施例中，母体人体模型还包括内部物理结构，内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。在一些实施例中，虚拟解剖模型还包括虚拟母体解剖结构，虚拟母体解剖结构包括第二外部虚拟特征，第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
应当理解，在不脱离本公开的范围的情况下，可以对前述内容进行各种变化。
在一些说明性实施例中，各种说明性实施例的要素和教导可以在一些或所有说明性实施例中全部或部分地组合。另外，各种说明性实施例的一个或多个要素和教导可以至少部分地省略和/或至少部分地与各种说明性实施例的一个或多个其他要素和教导相结合。
在一些说明性实施例中，尽管将不同的步骤、处理和过程描述为表现为不同的动作，但是也可以以不同的顺序、同时地和/或顺序地执行一个或多个步骤、一个或多个处理和/或一个或多个过程。在一些说明性实施例中，步骤、处理和/或过程可以合并为一个或多个步骤、处理和/或过程。
在一些说明性实施例中，可以省略每个实施例中的一个或多个操作步骤。此外，在一些情况下，可以没有相应地使用其他特征的情况下采用本公开的一些特征。此外，上述实施例和/或变形中的一个或多个可以整体或部分地与其他上述实施例和/或变形中的任何一个或多个组合。
在一些实施例的前述描述中，为了清楚起见，已诉诸特定术语。然而，本公开不旨在限于如此选择的特定术语，并且应理解，每个特定术语包括以相似方式操作以实现相似技术目的的其他技术等同物。诸如“左”和“右”、“前”和“后”、“上方”和“下方”之类的术语用作方便的词语来提供参考点，并且不应解释为限制性术语。
在本说明书中，词语“包括(comprising)”应在其“开放”的意义上理解，即在“包括(including)”的意义上理解，因此不限于其“封闭”的意义，即“仅由……组成”的意义。相应的含义应归因于出现的相应词语“包括(comprise)”、“包括(comprised)”和“包括(comprises)”。
尽管上面已经详细地描述了一些说明性实施例，但是所描述的实施例仅是说明性的而不是限制性的，并且本领域技术人员将容易理解，在不实质上脱离本公开的新颖教导和优点的情况下，在说明性实施例中许多其他修改、改变和/或替换是可能的。因此，所有这样的修改、改变和/或替换旨在被包括在如所附权利要求所限定的本公开的范围内。在权利要求中，任何装置加功能的句子旨在覆盖本文描述为执行所列举功能的结构，不仅是结构上的等同物，而且还覆盖等同的结构。此外，除了权利要求明确地一起使用词语“装置(means)”与相关功能的那些限制之外，申请人明确的意图是不调用35U.S.C.§112，第6段中的对本文权利要求的任何限制。

Claims (18)

1.一种增强现实系统，包括：
物理解剖模型；
显示单元，用户适于通过所述显示单元接收第一视觉反馈和第二视觉反馈，第一视觉反馈来自物理解剖模型并经过显示单元，第二视觉反馈来自显示单元并包括虚拟解剖模型；
跟踪系统，适于跟踪显示单元的位置和方向；以及
计算装置，适于：
从跟踪系统接收与显示单元的位置和方向有关的第一信号，以及
将第二信号发送到显示单元以使显示单元将第二视觉反馈叠加在第一视觉反馈上，所述第二信号基于所述第一信号，
其中：
所述物理解剖模型包括母体人体模型，所述母体人体模型包括第一外部物理特征，所述第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；以及
所述虚拟解剖模型包括虚拟胎儿解剖结构，所述虚拟胎儿解剖结构包括第一外部虚拟特征，所述第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示，
其中：
所述物理解剖模型还包括包含在母体人体模型中的胎儿人体模型，所述胎儿人体模型包括第二外部物理特征，所述第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；以及
所述胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，所述虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性，以及
其中：
所述跟踪系统还适于跟踪胎儿人体模型相对于母体人体模型的位置和方向；
所述计算装置还适于：
将虚拟胎儿解剖结构与胎儿人体模型共同配准，以确保它们之间的准确空间关系；以及
从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号；以及
所述第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。
2.根据权利要求1所述的增强现实系统，其中，所述第二视觉反馈还包括辅助虚拟图形，所述辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。
3.根据权利要求1所述的增强现实系统，其中，所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括内部虚拟结构，所述内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。
4.根据权利要求3所述的增强现实系统，其中：
所述计算装置还适于将虚拟母体解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；以及
所述第二信号还基于虚拟母体解剖结构与母体人体模型的共同配准。
5.根据权利要求3所述的增强现实系统，其中：
所述母体人体模型还包括内部物理结构，所述内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；以及
所述母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，所述虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。
6.根据权利要求3所述的增强现实系统，其中：
所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括第二外部虚拟特征，所述第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；以及
所述虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，所述母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
7.一种用于增强现实的方法，包括：
查看来自物理解剖模型并经过显示单元的第一视觉反馈；
使用跟踪系统跟踪显示单元的位置和方向；
使用计算装置从跟踪系统接收与显示单元的位置和方向有关的第一信号；
使用计算装置向显示单元发送第二信号，以使显示单元在第一视觉反馈上叠加第二视觉反馈，所述第二信号基于所述第一信号；以及
查看第二视觉反馈，
其中，所述第二视觉反馈来自显示单元并包括虚拟解剖模型，
其中：
所述物理解剖模型包括母体人体模型，所述母体人体模型包括第一外部物理特征，所述第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；以及
所述虚拟解剖模型包括虚拟胎儿解剖结构，所述虚拟胎儿解剖结构包括第一外部虚拟特征，所述第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示，
其中：
所述物理解剖模型还包括包含在母体人体模型中的胎儿人体模型，所述胎儿人体模型包括第二外部物理特征，所述第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；以及
所述胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，所述虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性，
其中，所述方法还包括：
使用跟踪系统跟踪胎儿人体模型相对于母体人体模型的位置和方向；
使用计算装置将虚拟胎儿解剖结构与胎儿人体模型共同配准，以确保它们之间的准确空间关系；以及
使用计算装置从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号；
其中，所述第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。
8.根据权利要求7所述的方法，其中，所述第二视觉反馈还包括辅助虚拟图形，所述辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。
9.根据权利要求7所述的方法，其中，所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括内部虚拟结构，所述内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。
10.根据权利要求9所述的方法，还包括：
使用所述计算装置将虚拟母体解剖结构与母体人体模型共同配准，以确保它们之间的准确空间关系；
其中，所述第二信号还基于虚拟母体解剖结构与母体人体模型的共同配准。
11.根据权利要求9所述的方法，其中：
所述母体人体模型还包括内部物理结构，所述内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；以及
所述母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，所述虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。
12.根据权利要求9所述的方法，其中：
所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括第二外部虚拟特征，所述第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；以及
所述虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，所述母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
13.一种用于增强现实的装置，包括：
非暂时性计算机可读介质；以及
多个指令，存储在非暂时性计算机可读介质上并且可由一个或多个处理器执行，所述多个指令包括：
使所述一个或多个处理器使用跟踪系统来跟踪显示单元的位置和方向的指令；
使所述一个或多个处理器从跟踪系统接收与显示单元的位置和方向有关的第一信号的指令；以及
使所述一个或多个处理器向显示单元发送第二信号以使显示单元将第一视觉反馈叠加在第二视觉反馈上的指令，所述第二信号基于所述第一信号；
其中，所述第二视觉反馈来自物理解剖模型并经过显示单元，所述第一视觉反馈来自显示单元并且包括虚拟解剖模型，
其中：
所述物理解剖模型包括母体人体模型，所述母体人体模型包括第一外部物理特征，所述第一外部物理特征包括与自然母亲相关的一个或多个外部特性的物理表示；以及
所述虚拟解剖模型包括虚拟胎儿解剖结构，所述虚拟胎儿解剖结构包括第一外部虚拟特征，所述第一外部虚拟特征包括与自然胎儿相关的一个或多个外部特性的虚拟表示，
其中：
所述物理解剖模型还包括包含在母体人体模型中的胎儿人体模型，所述胎儿人体模型包括第二外部物理特征，所述第二外部物理特征包括与自然胎儿相关的一个或多个外部特性的物理表示；以及
所述胎儿人体模型的第二外部物理特征模拟与自然胎儿相关的一些外部特性，所述虚拟胎儿解剖结构的第一外部虚拟特征模拟与自然胎儿相关的其他特性，
其中，所述多个指令还包括：
使所述一个或多个处理器使用跟踪系统跟踪胎儿人体模型相对于母体人体模型的位置和方向的指令；
使所述一个或多个处理器将虚拟胎儿解剖结构与胎儿人体模型共同配准以确保它们之间的准确空间关系的指令；以及
使所述一个或多个处理器从跟踪系统接收与胎儿人体模型相对于母体人体模型的位置和方向有关的第三信号；以及
其中所述第二信号还基于第三信号以及虚拟胎儿解剖结构与胎儿人体模型的共同配准。
14.根据权利要求13所述的装置，其中，所述第一视觉反馈还包括辅助虚拟图形，所述辅助虚拟图形包括以下一项或多项：医学数据、指导步骤、专家演示、教学内容和紧急情况。
15.根据权利要求13所述的装置，其中，所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括内部虚拟结构，所述内部虚拟结构包括与自然母亲相关的一个或多个内部特性的虚拟表示。
16.根据权利要求15所述的装置，其中：
所述多个指令还包括使所述一个或多个处理器将虚拟母体解剖结构与母体人体模型共同配准以确保它们之间的准确空间关系的指令；以及
所述第二信号还基于虚拟母体解剖结构与母体人体模型的共同配准。
17.根据权利要求15所述的装置，其中：
所述母体人体模型还包括内部物理结构，所述内部物理结构包括与自然母亲相关的一个或多个内部特性的物理表示；以及
所述母体人体模型的内部物理结构模拟与自然母亲相关的一些内部特性，所述虚拟母体解剖结构的内部虚拟结构模拟与自然母亲相关的其他内部特性。
18.根据权利要求15所述的装置，其中：
所述虚拟解剖模型还包括虚拟母体解剖结构，所述虚拟母体解剖结构包括第二外部虚拟特征，所述第二外部虚拟特征包括自然母亲的一个或多个外部特性的虚拟表示；以及
所述虚拟母体解剖结构的第二外部虚拟特征模拟与自然母亲相关的一些外部特性，所述母体人体模型的第一外部物理特征模拟与自然母亲相关的其他外部特性。
CN201880067599.7A 2017-08-16 2018-08-16 用于教导患者护理的增强现实系统 Active CN111465970B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762546130P 2017-08-16 2017-08-16
US62/546,130 2017-08-16
PCT/US2018/000154 WO2019035889A1 (en) 2017-08-16 2018-08-16 INCREASED REALITY SYSTEM FOR TEACHING PATIENT CARE

Publications (2)

Publication Number Publication Date
CN111465970A CN111465970A (zh) 2020-07-28
CN111465970B true CN111465970B (zh) 2022-08-30

Family

ID=65361586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067599.7A Active CN111465970B (zh) 2017-08-16 2018-08-16 用于教导患者护理的增强现实系统

Country Status (4)

Country Link
US (2) US11551578B2 (zh)
EP (2) EP4243003A1 (zh)
CN (1) CN111465970B (zh)
WO (1) WO2019035889A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627944B2 (en) 2004-11-30 2023-04-18 The Regents Of The University Of California Ultrasound case builder system and method
US11631342B1 (en) 2012-05-25 2023-04-18 The Regents Of University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US10380919B2 (en) 2013-11-21 2019-08-13 SonoSim, Inc. System and method for extended spectrum ultrasound training using animate and inanimate training objects
US11600201B1 (en) 2015-06-30 2023-03-07 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10896628B2 (en) 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US11810473B2 (en) 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation
US11495142B2 (en) * 2019-01-30 2022-11-08 The Regents Of The University Of California Ultrasound trainer with internal optical tracking
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11798677B2 (en) * 2019-12-31 2023-10-24 GE Precision Healthcare LLC Method and system for providing a guided workflow through a series of ultrasound image acquisitions with reference images updated based on a determined anatomical position
BR112022016059A2 (pt) 2020-02-14 2022-12-13 Simbionix Ltd Treinamento em realidade virtual de manejo de via aérea
ES2958292T3 (es) * 2020-03-06 2024-02-06 Hartmann Paul Ag Programa de formación basado en realidad virtual para profesionales del cuidado de heridas
CA3170280A1 (en) * 2020-03-26 2021-09-30 John Black Holographic treatment zone modeling and feedback loop for surgical procedures
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US11756225B2 (en) * 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
TWI789747B (zh) * 2021-04-22 2023-01-11 亞東學校財團法人亞東科技大學 利用擴增實境之急救訓練系統
CN113761776B (zh) * 2021-08-24 2023-03-14 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
KR102622723B1 (ko) * 2021-09-06 2024-01-09 주식회사 비티 응급처치 훈련용 시뮬레이터
WO2023069782A1 (en) * 2021-10-23 2023-04-27 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
TR2021022181A2 (tr) * 2021-12-31 2022-03-21 Sakarya Ueniversitesi Rektoerluegue Epi̇zyotomi̇ uygulamasi ve onarimi i̇çi̇n bi̇r maket destekli̇ eği̇ti̇m si̇stemi̇
WO2023137503A2 (en) * 2022-01-14 2023-07-20 Case Western Reserve University Systems, methods, and media for simulating interactions with an infant
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack
WO2023173162A1 (en) * 2022-03-14 2023-09-21 Bairamian, Daniel An augmented reality point of view synchronisation system
CN115089121A (zh) * 2022-06-26 2022-09-23 广州爱听贝科技有限公司 一种基于产程进展的分娩辅助导乐方法及装置
CN116301368B (zh) * 2023-03-10 2023-12-01 深圳职业技术学院 基于沉浸式xr教学管理平台的教学方法、系统及介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5472345A (en) 1993-04-14 1995-12-05 Gaumard Scientific Company, Inc. Gynecological simulator
US7192284B2 (en) 2000-08-17 2007-03-20 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US8016598B2 (en) 1996-05-08 2011-09-13 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US6443735B1 (en) 1996-05-08 2002-09-03 Gaumard Scientific, Inc. Computerized education system for teaching patient care
US7976312B2 (en) 1996-05-08 2011-07-12 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US20090148822A1 (en) * 2007-12-07 2009-06-11 Gaumard Scientific Company, Inc. Interactive Education System for Teaching Patient Care
US6503087B1 (en) 1996-05-08 2003-01-07 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US7811090B2 (en) * 1996-05-08 2010-10-12 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US8696362B2 (en) 1996-05-08 2014-04-15 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US6527558B1 (en) 1996-05-08 2003-03-04 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US5853292A (en) 1996-05-08 1998-12-29 Gaumard Scientific Company, Inc. Computerized education system for teaching patient care
US7976313B2 (en) 2000-08-17 2011-07-12 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
US7866983B2 (en) 2006-01-13 2011-01-11 East Tennessee State University Research Foundation Surgical simulator system
WO2009049282A2 (en) * 2007-10-11 2009-04-16 University Of Florida Research Foundation, Inc. Mixed simulator and uses thereof
US8500452B2 (en) 2010-02-19 2013-08-06 Gaumard Scientific Company, Inc. Interactive education system for teaching patient care
WO2011103489A2 (en) 2010-02-19 2011-08-25 Gaumard Scientific Company, Inc. Ultrasound phantom models, materials, and methods
US8740624B2 (en) 2010-02-19 2014-06-03 Gaumard Scientific Company, Inc. Interactive education system with physiological modeling
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US8517740B2 (en) 2011-02-18 2013-08-27 Gaumard Scientific Company, Inc. Lung compliance simulation system and associated methods
US8992230B2 (en) * 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
WO2014144647A1 (en) 2013-03-15 2014-09-18 Gaumard Scientific Company, Inc. Birthing simulation devices, systems, and methods
US9654073B2 (en) 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
WO2016040376A1 (en) 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
CN108352132A (zh) 2015-10-16 2018-07-31 维塔医疗股份公司 超声模拟方法

Also Published As

Publication number Publication date
EP3669344C0 (en) 2023-08-09
US20230094004A1 (en) 2023-03-30
EP3669344A1 (en) 2020-06-24
US11551578B2 (en) 2023-01-10
EP3669344A4 (en) 2021-04-14
EP3669344B1 (en) 2023-08-09
US20190057620A1 (en) 2019-02-21
CN111465970A (zh) 2020-07-28
WO2019035889A1 (en) 2019-02-21
EP4243003A1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
CN111465970B (zh) 用于教导患者护理的增强现实系统
US10902677B2 (en) Interactive mixed reality system and uses thereof
Reznek et al. Virtual reality and simulation: training the future emergency physician
JP2019537459A (ja) 仮想現実環境または拡張現実環境の中の手術室内での医療シミュレーションのための方法およびシステム
US20210134186A1 (en) System and Method for Multisensory Psychomotor Skill Training
Mathew et al. Role of immersive (XR) technologies in improving healthcare competencies: a review
CN110400620B (zh) 一种心脏三维模型构建方法及模拟心脏手术指导系统
WO2015027286A1 (en) A medical training simulation system and method
Campisi et al. Augmented reality in medical education and training: from physicians to patients
Grunwald et al. Advanced technologies in plastic surgery: how new innovations can improve our training and practice
Riener et al. VR for medical training
Srikong et al. Immersive technology for medical education: Technology enhance immersive learning experiences
Savir et al. Virtual reality: The future of invasive procedure training?
Preim et al. Virtual and augmented reality for educational anatomy
Dicheva et al. Digital Transformation in Nursing Education: A Systematic Review on Computer-Aided Nursing Education Pedagogies, Recent Advancements and Outlook on the Post-COVID-19 Era
Reis et al. A framework for simulation systems and technologies for medical training
Shaikh et al. Evolution and contribution of extended reality in smart healthcare systems: toward a data-centric intelligent healthcare approach
Menon ARiSE-augmented reality in surgery and education
Ostergaard et al. Simulation-based medical education
US10692401B2 (en) Devices and methods for interactive augmented reality
Uzun Augmented reality in cardiology
Satava et al. Laparoscopic surgery: Transition to the future
Hon Medical reality and virtual reality
Umoren Simulation and Game-Based Learning for the Health Professions
Anscombe A Different View: In Europe, virtual and immersive technologies are starting to change the landscape of medical simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant