CN113196413A - 360 vr体积媒体编辑器 - Google Patents

360 vr体积媒体编辑器 Download PDF

Info

Publication number
CN113196413A
CN113196413A CN201980062562.XA CN201980062562A CN113196413A CN 113196413 A CN113196413 A CN 113196413A CN 201980062562 A CN201980062562 A CN 201980062562A CN 113196413 A CN113196413 A CN 113196413A
Authority
CN
China
Prior art keywords
patient
video
path
internal anatomy
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062562.XA
Other languages
English (en)
Inventor
A·T·盖里
M·阿维萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Surgery Co
Surgical Theater Inc
Original Assignee
Surgery Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Surgery Co filed Critical Surgery Co
Publication of CN113196413A publication Critical patent/CN113196413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种方法包括：获得具体患者的内部解剖结构的医学图像；准备所述患者的三维虚拟模型；使用所述患者的所述虚拟模型产生虚拟现实环境以提供所述患者的实际组织的现实三维图像；提供界面以接收限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的用户输入，以捕获所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角；以及产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，所述患者视频被配置来在通用计算装置上播放。

Description

360 VR体积媒体编辑器
本申请要求于2018年9月24日提交的美国临时专利申请号62/735616的优先权，其全部内容以引用方式并入本文。
技术领域
本公开涉及外科手术治疗领域，且更具体地，涉及外科手术治疗准备和教育领域。
背景技术
当面临复杂的外科手术治疗时，患者在外科手术之前的数天和数周可能常常会经历恐惧和焦虑。此可能由于患者未清楚地理解手术治疗并且因此不知道将发生什么。在外科手术治疗之前让患者参与并且教育患者可帮助缓和此恐惧和焦虑。治疗医生与患者之间关于患者的病理情况和所提议解决方案的更清楚的沟通对于克服患者可能感受到的不确定性并且对于在一方面患者与另一方面医生和保健提供人之间建立信任来说至关重要。由于保健提供人如今运营所在的竞争性环境以及患者在选择医生和提供人时面临的许多选项，这也很重要。另外，通过让患者参与并教育患者相关手术治疗，患者可能更有可能采取适当的护理和步骤以确保适当恢复而不会有并发症且无需返回医院进行后续护理。然而，有关让患者参与并教育患者的现有技术，诸如向患者展示解剖结构的图像或3D模型，可能并不有效，特别当外科手术涉及抽象的或在独立图像或甚至3D模型的情境下难以理解的解剖结构的一部分时。
发明内容
在一个实例中，一种为医疗手术治疗作准备的方法包括以下步骤：获得具体患者的内部解剖结构的医学图像。所述方法还包括利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型。所述方法还包括使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像。所述方法还包括在所述计算机装置的输入装置上提供界面，以接收限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的用户输入，以捕获所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角。所述方法还包括产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，所述患者视频被配置来在通用计算装置上播放。所述方法还包括将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放。
在另一实例中，一种为医疗手术治疗作准备的方法包括以下步骤：获得具体患者的内部解剖结构的医学图像。所述方法还包括利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型。所述方法还包括使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像。所述方法还包括在所述计算机装置的输入装置上提供界面，以接收限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的用户输入，以捕获所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角。所述方法还包括产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，所述患者视频被配置来在通用计算装置上播放。所述方法还包括将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放，以用于供所述患者观察。所述方法还包括所述患者在所述通用计算装置上观察所述视频以为所述医疗手术治疗作准备。
在另一实例中，一种为医疗手术治疗作准备的方法包括以下步骤：获得具体患者的内部解剖结构的医学图像。所述方法还包括利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型。所述方法还包括使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像。所述方法还包括在所述计算机装置的输入装置上提供界面，以接收用户输入，包括限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径，以提供所述患者的实际组织的所述内部解剖结构的现实三维图像，以及接受来自所述输入装置的输入以沿着所述路径用标志标记各种位置，其中所述标志中每一个可与所述患者的实际组织的所述内部解剖结构的所述现实三维图像的具体视角视图相关联。所述方法还包括产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图。所述视频是使用平滑操作产生，以展示在所述视频自一个标志的所述具体视角视图横动到邻近标志的所述具体视角视图时逐渐转变视角变化的视图。所述患者视频被配置来在通用计算装置上播放。所述方法还包括将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放，以用于供所述患者观察。所述方法还包括所述患者在所述通用计算装置上观察所述视频以为所述医疗手术治疗作准备。
附图说明
在附图中，示出与下面提供的具体实施方式一起描述所要求保护的发明的示例性实施方案的结构。相同元件用相同元件符号表示。应当理解，示出为单个部件的元件可以用多个部件替换，并且示出为多个部件的元件可以用单个部件替换。附图不是按比例的，并且为了说明的目的，某些元件的比例可能被夸大。
图1示出了用于产生虚拟现实环境的定制360 VR视频漫游(fly-through)的示例性系统；
图2是图1的示例性媒体编辑器计算机的框图；
图3示出了由图1的示例性媒体编辑器计算机提供的示例性图形用户界面；
图4示出了用于使医生能够使用HMD虚拟地进入场景并识别路径的示例性用户界面；
图5示出了在医生虚拟地穿过患者的身体的一部分时的描绘为化身(avator)的医生的视野的视角；
图6示出了在创建或编辑路径时可针对图标启动的示例性用户界面菜单
图7是用于产生虚拟现实环境的定制360 VR视频漫游的示例性方法的流程图；并且
图8是用于实现图1的示例性媒体编辑器计算机的示例性计算机的框图；
具体实施方式
以下缩略词和定义将有助于理解详细描述：
VR-虚拟现实-计算机产生的三维环境，其可被人不同程度地探索和交互。
HMD-头戴式显示器是指可在VR环境中使用的头戴式装置。它可为有线或无线的。它还可包括一个或多个附加物，例如耳机、话筒、HD摄像机、红外摄像机、手持追踪器、位置追踪器等。
SNAP模型-SNAP病例是指使用一次或多次患者扫描(CT、MR、fMR、DTI等)以DICOM文件格式创建的3D纹理或3D对象。它还包括不同的分割预设，用于过滤3D纹理中的特定范围并且对其他范围着色。它还可包括放置在场景中的3D对象，包括用于标记所关注的特定点或解剖结构的3D形状、3D标签、3D测量标记、用于引导的3D箭头，和3D外科工具。外科工具和装置已经模型化以用于教育和患者特定演练，特别用于将动脉瘤夹具适当地设定尺寸。
MD6DM-多维完整球形虚拟现实，6自由度模型。它提供了图形模拟环境，使医生能够在完整球形虚拟现实环境中体验、计划、执行和导航介入。
漫游-也称为巡回，此描述了在沿着限定的路径穿过虚拟现实环境时的虚拟现实环境的视角视图。
已经开发了先前以引用方式并入本申请的美国专利申请号8,311,791中描述的手术演练和准备工具，以将静态CT和MRI医学图像转换为动态和交互式多维完整球形虚拟现实，六(6)自由度模型(“MD6DM”)，其可由医生用于实时模拟医疗手术治疗。MD6DM提供了图形模拟环境，使医生能够在完整球形虚拟现实环境中体验、计划、执行并导航介入。特别地，MD6DM给予外科医生使用从传统2维患者医疗扫描构建的独特多维模型来进行导航的能力，所述模型给出全体积球形虚拟现实模型中的球形虚拟现实6个自由度(即，线性自由度：x、y、z，以及角度自由度：横摆、俯仰、滚动)。
MD6DM由患者自己的医学图像数据集构建，包括CT、MRI、DTI等，并且是特定于患者的。如果外科医生需要，可以整合代表性大脑模型(例如Atlas数据)以创建部分特定于患者的模型。所述模型给出了从MD6DM上的任何点的360°球形视图。通过使用MD6DM，观察者虚拟地定位于解剖结构内部，并且可以查看并观察解剖结构和病理结构，如同他站在患者体内一般。观察者可以向上、向下、越过肩膀等来查看，并且将在彼此相关的关系中来观看原始结构，就如同在患者体内查看一样。内部结构之间的空间关系被保存，并且可以使用MD6DM来理解。
MD6DM的算法获取医学图像信息并将其构建成球形模型，所述球形模型是可以在解剖结构内“飞行”时从任何角度观察的完整、连续的实时模型。特别地，在CT、MRI等获取真实生物体并将其解构为从数千个点构建的数百个切片之后，MD6DM通过从内部和外部来表示那些点中的每个点的360°视图而将所述生物体还原为3D模型。
本文所描述的媒体编辑器利用MD6DM模型，并使用户能够根据所希望的预选路径产生并共享解剖结构的一部分的定制360 VR视频“漫游”。例如，医生可以使用媒体编辑器来产生定制“巡回”，所述定制“巡回”将沿着身体内的一部分内侧的预定路径引导患者。医生可以在办公室环境内或甚至在办公室环境外向患者呈现视频，而不依赖昂贵的外科手术演练和准备工具。医生可以与患者共享视频，例如，以便让患者参与并教育患者，用于为外科手术治疗作准备。视频还可以与其他医生共享，例如，用于教育和协作目的。应了解，尽管本文所描述的实例具体参考产生解剖结构部分的360 VR视频以用于患者与医疗专业人员之间的教育和协作目的，但可类似地产生并共享各种应用中的其他环境的360 VR视频。
应了解，尽管特定地参考医生，但本文所描述的媒体编辑器可由任何合适的用户用来产生并共享解剖结构的一部分的定制360 VR视频“漫游”。
图1示出了用于产生和共享定制360 VR视频“漫游”的示例性系统100。系统100包括媒体编辑器计算机102，所述媒体编辑器计算机被配置来接收输入104，诸如MD6DM模型或对应于虚拟现实环境的其他合适的模型或图像。媒体编辑器计算机102进一步被配置来使医生106或其他合适的用户能够经由用户界面(未示出)与输入104交互，并产生包括虚拟现实环境的漫游的定制360 VR视频(“视频”)108输出。
在一个实例中，媒体编辑器计算机102进一步被配置来将视频108通信到显示器110，因而在视频108显示在显示器110上时，使医生106能够让患者112或任何其他合适的第二用户参与并与所述患者或任何其他合适的第二用户交互。在一个实例中，媒体编辑器计算机102进一步被配置来使医生106能够经由网络114与患者112远程共享视频108。例如，媒体编辑器计算机102可让患者112能够在患者的家120中经由移动智能电话116或经由个人计算机118观看视频。
图2更详细地示出了图1的示例性媒体编辑器计算机102。媒体编辑器计算机102包括数据输入模块202，所述数据输入模块被配置来与数据源(未示出)通信且接收图1的输入104，所述输入包括表示虚拟现实环境的模型。在一个实例中，数据输入模块202被配置来接收MD6DM模型作为输入。在另一实例中，数据输入模块202被配置来接收任何合适类型的图像数据的MRI扫描、来自视频摄像机的图像。表示虚拟现实环境的模型将充当媒体编辑器计算机102被配置来产生视频108的基础。
媒体编辑器计算机102还包括路径模块204，所述路径模块被配置来将由数据输入模块202接收的模型加载到用户界面中，并且使医生106能够基于输入104创建用于漫游的路径。漫游，也称为巡回，描述了在沿着限定的路径穿过虚拟现实环境时的虚拟现实环境的视角视图。
图3示出了由路径模块204提供的示例性媒体编辑器用户界面300。路径模块204被配置来经由媒体编辑器用户界面300显示表示虚拟现实环境的图像302。应了解，尽管所示的图像302表示脑，但图像320可包括表示任何合适的虚拟现实环境(诸如心脏、肺等等)的任何合适的图像。应进一步了解，图像302可为二维图像或者图像302可为3D虚拟现实环境。
路径模块204进一步被配置来经由媒体编辑器用户界面300使医生106能够识别用于漫游的路径304。特别地，路径模块204被配置来经由媒体编辑器用户界面300使医生106能够将若干图标306定位在图像302上以限定路径304。具体地，路径模块204被配置来接收表示第一图标306a和第二图标306b的输入并且识别第一图标306a与第二图标306b之间的第一子路径308a。路径模块204进一步被配置来接收表示第三图标306c的输入并且识别第二图标306b与第三图标306c之间的第二子路径308b。应了解，路径模块204被配置来接收任何合适数目的图标306并且产生对应数目的子路径308，尽管示出了七个图标306和六个子路径308。路径模块204进一步被配置来组合第一子路径308a、第二子路径308b，以及任何附加的合适子路径308，以形成路径304。
在一个实例中，路径模块204被配置来经由拖放机构，经由媒体编辑器用户界面300接收图标306。例如，媒体编辑器用户界面300可使医生能够自菜单(未示出)选择图标306并且将图标306拖曳到图像302上。应了解，其他合适的使用界面机构可用于将图标306放置在图像302上。
在一个实例中，医生106可具备用于与用户界面300交互的HMD(未示出)。例如，路径模块204可使医生106能够使用HDM虚拟地进入由媒体编辑器用户界面300呈现的场景或虚拟环境，并且在医生106虚拟地穿过解剖结构时，通过沿着路径304放置图标306来识别路径304。此类实例提供可使医生106能够更准确地限定路径304的沉浸式体验，因为医生106可具有观察取向点，这在经由二维界面限定路径304时原本可能不可实现。
图4示出了用于使医生能够使用HMD虚拟地进入场景并识别路径的示例性用户界面400。例如，通过使用HMD，医生可经由虚拟开口404进入由颅骨402组成的场景并且放置第一图标406。在从实体上处于颅骨402内侧的视角导航穿过颅骨402时，医生然后可使用HMD进入“飞行”或虚拟地穿过颅骨402以放置附加的图标，以便创建如先前所描述的路径。在一个实例中，如图5中所示，在医生虚拟地穿过颅骨402时的医生的视野的视角可由化身502描绘。化身502表示医生在颅骨402内的虚拟位置以及医生的方向和观察角度。应了解，在医生经由HMD与用户界面400交互时，化身502可为在用户界面400上对医生不可见。而是，化身502可显示在除HMD以外的显示装置上。因而，在第一医生虚拟地导航穿过颅骨402时，第二医生可以跟随并且潜在地辅助。
返回参考图2，媒体编辑器计算机102还包括数据存储器206，所述数据存储器被配置来存储与所创建路径304相关联的数据。特别地，数据存储器206被配置来在信息正由路径模块204接收并产生时，存储关于图标306和子路径308的信息。因而，在一个实例中，媒体编辑器计算机102使医生106能够在视频108完成之前保存进展并且在稍后时间点处重新开始视频108的创建。在一个实例中，路径模块204进一步被配置来使医生能够编辑或删除存储在数据存储器206中的关于路径的信息。
媒体编辑器计算机102还包括设定模块210，所述设定模块被配置来使医生106能够定制用于整个路径304的漫游。例如，设定模块210可经由用户界面接收路径设定，所述用户界面可由右击、菜单选择等引发。
在一个实例中，所接收的路径设定可包括漫游应在视频108中发生的速度。在一个实例中，所接收的路径设定还可包括视频108应以交互式360度模式或以被动二维模式产生的指示。例如，在被动模式中，在患者112正沿着二维视频中的虚拟环境的路径304被引导时，虚拟现实环境的视角为固定的。在一个实例中，尽管在被动模式中视角为固定的，但视频可被产生为三维立体视频。然而，在交互式模式中，在患者112正沿着360度视频中的虚拟环境的路径304被引导时，患者112能够挑选视野的视角。换句话说，尽管患者112仍然沿着限定的路径304被引导，但在为患者112播放36度视频时，患者112可查看患者112希望的任何地方。
设定模块210进一步被配置来使医生106能够经由各种图标设定单独地定制每个图标306处的漫游。例如，医生106可在单独图标306上右击，以便限定用于特定图标306的一个或多个图标设定。图6示出了在创建或编辑路径时可针对图标启动的示例性用户界面菜单602。在一个实例中，图标设定可包括速度设定。尽管路径速度可在接收的路径设定中加以限定，但医生可挑选以指定选择图标之后的视频的某些部分来以备选速度播放并且因而据此在图标设定中指定。
在一个实例中，图标设定可包括取向设定。例如，设定模块210可被配置来使医生能够在沿着路径304定位于具体图标306处时限定视角视图的方向。因而，在患者112沿着不同图标306之间的路径304飞行时，取向可改变。使取向能够沿着不同图标306处的路径304改变提供了视情况导向焦点的能力。在一个实例中，图标设定还可包括观察角度设定。
在一个实例中，图标设定可包括层设定。更具体地，虚拟现实环境可包括环境内的多个视图层。例如，表示脑解剖结构的虚拟现实环境可包括骨骼层、血管层等等。层设定使医生106能够关闭或打开每个图标306处的单独层，因而使医生106能够导向患者122能够在每个图标306处观察到什么。换句话说，可能希望观察第一图标306a处的脑解剖结构的所有层并且仅观察第二图标306b处的层的子集。在一个实例中，可能希望打开或关闭用于整个路径304的层。因此，路径设定还可包括层设定。
设定模块210进一步被配置来将路径设定和图标设定存储在数据存储器206中。在一个实例中，设定模块210被配置来使医生106能够编辑或删除存储在数据存储器206中的设定。
媒体编辑器计算机102还包括视频产生模块208，所述视频产生模块被配置来沿着限定的路径304并基于由设定模块210接收的设定来产生视频108，所述视频包括由输入104表示的虚拟现实环境的漫游。特别地，视频产生模块208通过模拟沿着限定的路径304穿过虚拟现实环境的移动来产生提供虚拟环境的视角视图的视频108。在一个实例中，视频产生模块208进一步被配置来将所产生视频108存储在数据存储器206中。应了解，视频108可以任何合适的视频文件格式(诸如AVI、WMV等等)创建。
在一个实例中，图标设定可包括叉路设定。更具体地，设定模块210可使医生106能够在图标306处限定叉路。即，患者112可被给予选项以从两个或更多个路径选择以在给定图标306处前进。在此类实例中，多个视频可被产生并存储在数据存储器206中。因此，多个视频可链接在一起并且基于在各别图标306处所做的选择依序向患者呈现。
在一个实例中，当沿着路径304产生视频108时，视频产生模块208进一步被配置来进行平滑操作。更特别地，视频产生模块208被配置来外推图标306之间的信息，以便创建图标306之间的更无缝且平滑的移动。例如，第一图标306a可以第一取向配置并且第二图标306b可以第二取向配置。因而，当沿着第一子路径308a在第一图标306a与第二图标306b之间移动时，视频产生模块208被配置来在第一子路径308的过程内逐渐自第一取向移位到第二取向，而非在一个图标306处在第一取向与第二取向之间急剧转变。更特别地，视频产生模块208被配置来决定第一图标306a与第二图标308b之间的距离或时间。视频产生模块208进一步被配置来通过在决定的距离或时间内外推第一取向和第二取向来估计第一图标306a与第二图标308b之间的某一中间点处的第三取向。因而，通过在转变到第二取向之前自第一取向转变到第三取向，转变对于患者112来说被感知为较平滑的。
应了解，尽管平滑操作已被描述为在所决定距离或时间内外推第一图标306a处的第一取向和第二图标306b处的第二取向，以决定第一图标306a与第二图标306b之间的单个中间点处的一个附加第三取向，但可通过平滑过程在图标306中的任何图标之间决定并且使用任何合适数目的中间点。更特别地，使用附加中间点可导致转变对于患者112来说被感知为较平滑的。应进一步了解，尽管已关于取向描述了平滑过程，但平滑可类似地应用于其他变量或设定。例如，视频产生模块208可进一步被配置来关于图标306的相对位置的位置进行平滑操作。例如，图3中所示的路径304可通常被感知为圆形的。然而，子路径308是线性的。因而，尽管视频的意图可能是向患者112提供圆形路径304的感知，但患者112可感知沿着单独子路径的线性、非圆形运动。因此，视频产生模块208可进一步被配置来外推图标306的相对位置，以便决定沿着图标306之间的中间点的定位，以便调整子路径308以变得更圆并且为患者112提供较平滑的感知转变。
媒体编辑器计算机102还包括模拟器模块212，所述模拟器模块被配置来使医生106能够在编辑路径304时切换到预览模式或座舱(cockpit)模式，以便预览来自图标306中的任一个的视角的虚拟现实视图。通过能够在编辑过程期间实时预览虚拟现实视图，医生106能够微调每个图标306的位置和取向，以便实现意欲用于患者112的精确的希望视图。换句话说，医生106能够在编辑模式与预览或座舱模式之间双态触变。在一个实例中，模拟器模块212进一步被配置来使医生106能够通过在图标306中的全部之间飞行来预览整个路径304。因而，模拟器模块212使医生能够在产生视频之前预览巡回。
应了解，医生106可经由显示器110或HMD(未示出)预览如所描述的来自图标306中的任何一个的视角的虚拟现实视图。在一个实例中，除预览虚拟现实视图之外，医生106还可在预览并漫游穿过路径304时编辑路径304。例如，医生106可添加图标306，移除图标306，或重新定位图标306，以便微调路径304。
媒体编辑器计算机102还包括批注模块214，所述批注模块被配置来使医生106能够在沿着路径304的各种点处将批注和其他标示或附加数据添加到视频。例如，医生106可添加描述与特定图标306相关联的虚拟现实环境中的特定场景的批注，使得患者112可在观察视频时审查批注。批注可为例如编写文字、口述语或图形。在一个实例中，批注模块214被配置来将批注存储在数据存储器206中。应了解，批注模块214使医生106能够在视频由视频产生模块308产生之前，在使用路径模块204创建路径时或此后的任何时间沿着路径304添加批注。
在一个实例中，批注模块214可使医生能够将问题或测试与路径304或与单独图标306相关联，以便让患者112或学生参与并教育所述患者或学生。在一个实例中，批注可被产生来用于营销目的。在其他实例中，批注模块214可使医生106能够将附加内容(诸如，视频或模拟外科工具)与路径304或与单独图标306相关联。
媒体编辑器计算机102还包括通信模块216，所述通信模块被配置来将产生的视频108通信到患者112。在一个实例中，通信模块216将视频108通信到显示器110，用于直接个人参与和医生106与患者112之间的交互，例如在医生106的办公室。在另一实例中，通信模块216被配置来经由网络114将视频108远程地通信到患者112。例如，通信模块216可被配置来通过电子邮件经由网络114将视频108传送到患者112。在另一实例中，通信模块216可被配置来通信到存储在数据存储器206中的视频108的链路。通信模块216可例如通过电子邮件或通过文字信息通信链路。
一旦视频108被产生并共享，它可以若干有用方式加以使用。例如，患者可在家与家人一起审查视频，以便为外科手术作准备并且向家人解释将在即将来临的手术治疗期间采取什么步骤。患者可在视频108期间暂停并且指出所关注的某些区域或回答特定问题。患者可例如在智能电话上、在PC上，或经由HMD观察视频。视频108还可用来教育其他医生或用来与他人协作。例如，医生可使用视频108来“陪同”另一医生穿过解剖结构并且描述特定特征和做出关于外科手术治疗的各种点。在一个实例中，视频108的创建人可将交互式特征添加到视频108并且为患者或其他医生提供定制视频漫游体验的能力。例如，可为患者提供选项以在漫游期间从沿着视频的不同路径选择或打开和关闭解剖结构的某些层。在一个实例中，患者可在视频漫游期间回答问题并且将答案提交给医生，以便确认对外科手术治疗的理解。
图7示出了用于产生定制360 VR视频漫游的示例性方法。在框702处，媒体编辑器计算机102接收包括3D虚拟现实环境的模型的输入数据。在框704处，媒体编辑器计算机102提供用于限定虚拟现实环境内的路径的用户界面。在框706处，媒体编辑器计算机102接收指示路径和相关联设定的限定的输入。限定路径包括限定沿着路径的步骤或图标，而限定设定包括限定在沿着路径的每个步骤处的视频的性质。在框708处，媒体编辑器计算机102产生虚拟现实环境的视频漫游并且与患者或其他用户共享视频。
图8是用于实现图1的示例性媒体编辑器计算机102的示例性计算机800的示意图。示例性计算机800意欲表示各种形式的数字计算机，包括笔记本计算机、台式计算机、掌上计算机、平板计算机、智能电话、服务器和其他类似类型的计算装置。计算机800包括经由总线812由界面810可操作地连接的处理器802、存储器804、存储装置806和通信端口808。
处理器802经由存储器804处理用于在计算机800内执行的指令。在示例性实施方案中，可以使用多个处理器以及多个存储器。
存储器804可为易失性存储器或非易失性存储器。存储器804可为计算机可读取介质，诸如磁盘或光盘。存储装置806可为计算机可读取介质，诸如软磁盘装置、硬盘装置、光盘装置、磁带装置、闪存存储器、相变存储器或其他类似固态存储器装置或者装置的阵列，包括其他配置的存储局域网络中的装置。计算机程序产品可以有形地体现在诸如存储器804或存储装置806的计算机可读取介质中。
计算机800可以联接到一个或多个输入和输出装置，诸如显示器814、打印机816、扫描仪818、鼠标820和HMD 822。
如本领域技术人员将理解的，示例性实施方案可实现为或可一般地利用方法、系统、计算机程序产品或前述组合。因此，任何实施方案可以采取专用软件的形式，包括存储在存储装置中以供在计算机硬件上执行的可执行指令，其中软件可以存储在计算机可用存储介质上，所述计算机可用存储介质具有体现在介质中的计算机可用程序代码。
数据库可以使用商用计算机应用程序，诸如开源解决方案诸如MySQL，或可以在所公开的服务器或附加计算机服务器上操作的封闭解决方案如Microsoft SQL来实现。数据库可以利用关系或面向对象的范例来存储用于上面公开的示例性实施方案的数据、模型和模型参数。此类数据库可以针对如本文所公开的专门适用性使用已知的数据库编程技术来定制。
任何合适的计算机可用(计算机可读取)介质都可以用于存储包括可执行指令的软件。计算机可用或计算机可读取介质可为，例如但不限于，电子、磁性、光学、电磁、红外或半导体系统、设备、装置，或传播介质。计算机可读取介质的更特定实例(非详尽列表)将包括以下各者：具有一个或多个电线的电气连接；有形介质，诸如便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、光盘只读存储器(CDROM)、或其他有形光学或磁性存储装置；或传输介质(诸如，支持因特网或内联网的那些)。
在本文件的上下文中，计算机可用或计算机可读取介质可为可包含、存储、传送、传播或传输程序指令以供指令执行系统、平台、设备或装置使用或与其相关来使用的任何介质，其可包括包含一个或多个可编程或专用处理器/控制器的任何合适计算机(或计算机系统)。计算机可用介质可以包括在基带中或作为载波的一部分的具有在其中体现的计算机可用程序代码的传播数据信号。计算机可用程序代码可以使用任何适当介质传输，包括但不限于因特网、有线、光纤电缆、区域通信总线、射频(RF)或其他手段。
具有用于执行示例性实施方案的操作的可执行指令的计算机程序代码可以由使用任何计算机语言的常见手段来编写，计算机语言包括但不限于诸如BASIC、Lisp、VBA或VBScript的解译或事件驱动语言，或GUI实施方案诸如visual basic，诸如FORTRAN、COBOL或Pascal的编译编程语言，诸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等的面向对象、脚本或非脚本编程语言，诸如Prolog的人工智能型语言，诸如Ada的实时嵌入式语言，或者甚至使用梯形逻辑的更直接或简化编程，汇编语言或使用适当机器语言直接编程。
在术语“包括(include)”或“包括(including)”用于本说明书或权利要求中的情况下，意欲以类似于术语“包括”的方式如在用作权利要求中的过渡词时理解所述术语一样是包括性的。此外，在采用术语“或”的情况下(例如，A或B)，意欲意指“A或B或两者”。当申请人意欲指示“仅有A或B而非两者”时，那么将采用“仅有A或B而非两者”。因此，本文中的术语“或”的使用是包括性的使用，而非排他性使用。参见Bryan A.Garner的A Dictionary ofModern Legal Usage 624(第二版1995)。此外，在术语“在……中(in)”或“到……中(into)”用于本说明书或权利要求中的情况下，意欲另外意指“在……上(on)”或“到……上(onto)”。此外，在说明书或权利要求中使用术语“连接”的情况下，其意欲不仅表示“直接连接到”，而且表示“间接连接到”，例如通过另一个部件或多个部件连接。
如上所述，虽然本申请已经通过描述其实施方案来进行说明，并且虽然已经相当详细地描述实施方案，但是申请人的意图不是将所附权利要求的范围局限或以任何方式限制于此类细节。对于本领域技术人员来说，其他优点和修改将是显而易知的。因此，本申请在其更广泛的方面中不限于所示出和描述的特定细节、代表性设备和方法以及说明性实例。因此，在不脱离申请人的总体发明构思的精神或范围的情况下，可以做出从这些细节的偏离。

Claims (20)

1.一种为医疗手术治疗作准备的方法，所述方法包括以下步骤：
获得具体患者的内部解剖结构的医学图像；
利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型；
通过使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像；
在所述计算机装置的输入装置上提供界面，以接收限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的用户输入，以捕获所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角；
产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，所述患者视频被配置来在通用计算装置上播放；以及
将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放。
2.如权利要求1所述的方法，其中限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的所述步骤包括以下步骤：接受来自所述输入装置的输入以沿着所述路径用标志标记各种位置。
3.如权利要求2所述的方法，其中每个标志与所述患者的实际组织的所述内部解剖结构的所述现实三维图像的具体视角视图相关联。
4.如权利要求3所述的方法，其中所述视频是使用平滑操作产生，以展示在所述视频自一个标志的所述具体视角视图横动到邻近标志的所述具体视角视图时逐渐转变视角变化的视图。
5.如权利要求3所述的方法，其中所述具体视角视图包括所述虚拟模型内的观察角度和取向。
6.如权利要求2所述的方法，其中限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的所述步骤还包括以下步骤：接受来自所述输入装置的输入，以使每个标志与所述虚拟模型的一个或多个具体解剖结构层相关联，使得所述患者视频中的所述层的视图能够沿着所述路径打开和关闭。
7.如权利要求2所述的方法，其中限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的所述步骤还包括以下步骤：接受来自所述输入装置的输入，以使所述标志中的一个或多个与沿着所述患者视频中的所述路径的部分的行进速度相关联。
8.如权利要求2所述的方法，其中所述用户输入装置的所述界面被配置来为所述用户提供拖放界面以沿着所述路径放置所述标志。
9.如权利要求2所述的方法，其还包括以下步骤：提供头戴式显示器，以用于供所述用户用来观察所述路径以沿着所述路径放置所述标志。
10.如权利要求2所述的方法，其中标志与所述路径中的叉路相关联，所述叉路将所述路径分裂成两个不同路径，从而向所述患者视频的观察者提供选择权以选择所述两个不同路径中的一个。
11.如权利要求2所述的方法，其中标志与由所述用户使用所述界面提供的一个或多个批注或添加数据相关联。
12.如权利要求11所述的方法，其中所述批注包括问题或提问。
13.如权利要求2所述的方法，其中标志与可选择控件相关联，以提供允许观察者与部分视频交互的主动视频，或提供不允许所述观察者与所述视频的所述部分交互的被动视频。
14.如权利要求1所述的方法，其中链路被传输到所述一般计算装置以将所述患者视频下载到所述一般计算装置以播放所述视频。
15.如权利要求1所述的方法，其中所述通用计算装置为智能电话。
16.如权利要求1所述的方法，其中限定穿过所述虚拟现实环境内所述患者的所述内部解剖结构的路径的所述步骤包括以下步骤：接受来自所述输入装置的输入，以沿着所述路径用标志标记各种位置，其中每个标志与所述患者的实际组织的所述内部解剖结构的所述现实三维图像的具体视角视图相关联。
17.一种为医疗手术治疗作准备的方法，所述方法包括以下步骤：
获得具体患者的内部解剖结构的医学图像；
利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型；
通过使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像；
在所述计算机装置的输入装置上提供界面，以接收限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径的用户输入，以捕获所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角；
产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，所述患者视频被配置来在通用计算装置上播放；
将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放，以用于供所述患者观察；以及
所述患者在所述通用计算装置上观察所述视频以为所述医疗手术治疗作准备。
18.一种为医疗手术治疗作准备的方法，所述方法包括以下步骤：
获得具体患者的内部解剖结构的医学图像；
利用所述医学图像准备与所述患者的所述内部解剖结构相关联的所述患者的三维虚拟模型；
通过使用计算机装置，使用所述患者的所述虚拟模型来产生虚拟现实环境，以提供所述患者的实际组织的现实三维图像；
在所述计算机装置的输入装置上提供界面以接收用户输入，其包括以下步骤：
限定穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的路径，以提供所述患者的实际组织的所述内部解剖结构的现实三维图像，以及
接受来自所述输入装置的输入，以沿着所述路径用标志标记各种位置，其中所述标志中的每一个能够与所述患者的实际组织的所述内部解剖结构的所述现实三维图像的具体视角视图相关联；
产生患者视频，所述患者视频捕获穿过所述虚拟现实环境内的所述患者的所述内部解剖结构的所述限定的路径，所述患者视频展示所述患者的实际组织的所述内部解剖结构的所述现实三维图像的各种视角的视图，其中
所述视频是使用平滑操作产生，以展示在所述视频自一个标志的所述具体视角视图横动到邻近标志的所述具体视角视图时逐渐转变视角变化的视图，并且其中
所述患者视频被配置来在通用计算装置上播放；
将所述患者视频传输到所述通用计算装置以在所述通用计算装置上播放，以用于供所述患者观察；以及
所述患者在所述通用计算装置上观察所述视频以为所述医疗手术治疗作准备。
19.如权利要求18所述的方法，其中所述用户界面被配置来接受使所述标志中的一个或多个与以下中的一个或多个相关联：沿着所述患者视频中的所述路径的部分的行进速度，用以沿着所述患者视频中的所述路径的部分展示的解剖结构的一个或多个层，或所述路径中的叉路，所述叉路将所述路径分裂成两个不同路径，从而向患者提供选择权以在观察所述视频时选择所述两个不同路径中的一个。
20.如权利要求18所述的方法，所述用户界面被配置来接受使所述标志中的一个或多个与可选择控件相关联，以提供允许所述患者与部分视频交互的主动视频，或提供不允许所述患者与所述视频的所述部分交互的被动视频。
CN201980062562.XA 2018-09-24 2019-09-23 360 vr体积媒体编辑器 Pending CN113196413A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862735616P 2018-09-24 2018-09-24
US62/735,616 2018-09-24
PCT/US2019/052454 WO2020068681A1 (en) 2018-09-24 2019-09-23 360 vr volumetric media editor

Publications (1)

Publication Number Publication Date
CN113196413A true CN113196413A (zh) 2021-07-30

Family

ID=69952765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062562.XA Pending CN113196413A (zh) 2018-09-24 2019-09-23 360 vr体积媒体编辑器

Country Status (7)

Country Link
US (1) US20210358218A1 (zh)
EP (1) EP3844773A4 (zh)
JP (1) JP2022502797A (zh)
CN (1) CN113196413A (zh)
IL (1) IL281789A (zh)
TW (1) TW202038255A (zh)
WO (1) WO2020068681A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201098A (zh) * 2021-12-06 2022-03-18 北京泽桥医疗科技股份有限公司 一种基于三维建模的医学教学课件生成方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050233290A1 (en) * 2004-03-18 2005-10-20 Jackson Jeffery L Interactive patient education system
US20110187706A1 (en) * 2010-01-29 2011-08-04 Vesely Michael A Presenting a View within a Three Dimensional Scene
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978925B1 (en) * 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
DE102015222782A1 (de) * 2015-11-18 2017-05-18 Sirona Dental Systems Gmbh Verfahren zur Visualisierung einer Zahnsituation
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
US10636323B2 (en) * 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
US10932860B2 (en) * 2017-04-28 2021-03-02 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
US11229496B2 (en) * 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050233290A1 (en) * 2004-03-18 2005-10-20 Jackson Jeffery L Interactive patient education system
US20110187706A1 (en) * 2010-01-29 2011-08-04 Vesely Michael A Presenting a View within a Three Dimensional Scene
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
CN107613897A (zh) * 2015-10-14 2018-01-19 外科手术室公司 扩增实境的外科导航

Also Published As

Publication number Publication date
WO2020068681A1 (en) 2020-04-02
JP2022502797A (ja) 2022-01-11
EP3844773A4 (en) 2022-07-06
IL281789A (en) 2021-05-31
TW202038255A (zh) 2020-10-16
EP3844773A1 (en) 2021-07-07
US20210358218A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US11532135B2 (en) Dual mode augmented reality surgical system and method
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
US20200038119A1 (en) System and method for training and collaborating in a virtual environment
US20190236840A1 (en) System and method for patient engagement
Bernardo et al. A three-dimensional interactive virtual dissection model to simulate transpetrous surgical avenues
US20140176661A1 (en) System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
Pinter et al. SlicerVR for medical intervention training and planning in immersive virtual reality
CN104271066A (zh) 具有不用手的控制的混合图像/场景再现器
Birr et al. The LiverAnatomyExplorer: a WebGL-based surgical teaching tool
Gasques Rodrigues et al. Exploring mixed reality in specialized surgical environments
US11983824B2 (en) System and method for augmenting and synchronizing a virtual model with a physical model
CN113196413A (zh) 360 vr体积媒体编辑器
James A New Perspective on Minimally Invasive Procedures: Exploring the Utility of a Novel Virtual Reality Endovascular Navigation System
US20220130039A1 (en) System and method for tumor tracking
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Ghandorh Augmented Reality Simulation Modules for EVD Placement Training and Planning Aids

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210730