CN107613897B - 扩增实境的外科导航 - Google Patents

扩增实境的外科导航 Download PDF

Info

Publication number
CN107613897B
CN107613897B CN201680002101.XA CN201680002101A CN107613897B CN 107613897 B CN107613897 B CN 107613897B CN 201680002101 A CN201680002101 A CN 201680002101A CN 107613897 B CN107613897 B CN 107613897B
Authority
CN
China
Prior art keywords
patient
view
virtual
program instructions
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680002101.XA
Other languages
English (en)
Other versions
CN107613897A (zh
Inventor
Y·塔考
A·Y·杰里
M·安伟萨
E·泰希曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Surgical Theater Inc
Original Assignee
Surgical Theater Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Surgical Theater Inc filed Critical Surgical Theater Inc
Publication of CN107613897A publication Critical patent/CN107613897A/zh
Application granted granted Critical
Publication of CN107613897B publication Critical patent/CN107613897B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Abstract

一种扩增实境的外科导航方法包括准备与患者相关联的多维虚拟模型的步骤。所述方法还包括接收指示外科医生检视患者的当前视图的追踪信息的步骤，所述追踪信息包括所述外科医生相对于所述患者的位置和所述外科医生检视所述患者的视角。所述方法还包括基于所接收追踪信息在所述虚拟模型中识别虚拟视图的步骤，其中所识别虚拟视图对应于所述外科医生检视所述患者的视图。所述方法还包括基于所识别虚拟视图从所述虚拟模型呈现虚拟图像的步骤。所述方法还包括将所呈现虚拟图像传送到显示器的步骤，其中所呈现虚拟图像与所述外科医生的视图组合以形成所述患者的扩增实境视图。

Description

扩增实境的外科导航
相关申请的交叉引用
本申请要求2015年10月14日提交并且以引用的方式并入本文的美国临时申请序号62/241,447的权益。
发明背景
在高风险手术例如像大脑动脉瘤修复手术的过程中，当外科医生推动并切割组织以接近动脉瘤区域时，脑组织的绝对定向被显著改变。因此，基于预配准的3D图像的先进外科手术准备和辅助系统(例如图像引导和导航系统)的当前利用在协助外科医生方面是有限的。此外，诸如动脉瘤修复的手术由于包括动脉瘤区域临时性血管夹持的各种程序而为极端时间敏感的。因此，程序的效率为非常关键的，并且基于患者特定局部几何形状和动脉瘤物理性质的详细计划为基本的。为达成外科手术前准备的新水平，越来越多地利用3D CT和MRI图像。然而，对于外科手术演练而言，那些图像仅单独提供轻微的益处。
已经开发了一种手术演练和准备工具，以将静态医学图像转换为动态和交互式多维全球虚拟实境，即可由医生用于即时模拟医疗程序的六(6)个自由度模型(“MD6DM”)，所述手术演练及准备工具先前描述于以引用的方式并入本文的美国专利号8,311,791中。
MD6DM提供了图形模拟环境，使医生能够在全球虚拟实境环境中体验、计划、执行并导航介入。具体而言，MD6DM给予外科医生使用由传统2维患者医学扫描构建的独特多维模型进行导航的能力，所述模型给出全体积球形虚拟实境模型中的球形虚拟实境6个自由度(即线性；x、y、z以及角度、横摆、俯仰、滚动)。
MD6DM由患者自己的医学图像数据集(包括CT、MRI、DTI等)构建，并且为患者特定的。如果外科医生需要，可以整合代表性大脑模型，例如Atlas数据，以创建部分患者特定模型。所述模型给出了从MD6DM上的任一点的360°球形视图。使用MD6DM，观察者虚拟地定位解剖结构内部，并且可以查看并观察解剖结构和病理结构，就如同他站在患者体内一般。观察者可以向上、向下、在肩膀上等来查看，并且将相对于彼此观察原始结构，恰好如同在患者体内发现它们一样。内部结构之间的空间关系得到保存，并且可以使用MD6DM来理解。
MD6DM的算法获取医学图像信息并将其构建成球形模型，所述球形模型为当在解剖结构内“飞行”时可从任何角度检视的完整而连续的即时模型。具体而言，在CT、MRI等获取真实生物体并将其解构为由数千个点构建的数百个薄片之后，MD6DM通过表示来自内部和外部的那些点中的每个点的360°视图来将所述生物体还原为3D模型。
在一个实例中，医生可能想要利用MD6DM中可用的信息并在手术室(OR)内在实际外科手术程序期间使用它。然而，外科医生可能已经在手术期间在手术室中使用显微镜或内窥镜。因此，外科医生将他的眼睛从显微镜或内窥镜移开以查看MD6DM或其他类型的患者扫描或数据可能为低效的、分散注意力并且耗时的。此外，在已经拥挤的手术室中包括用于查看患者扫描和模型(例如MD6DM)的附加设备和系统可能为不实际或不可能的。
发明内容
一种扩增实境的外科导航系统包括一个或多个处理器、一个或多个计算机可读有形存储装置以及存储在所述一个或多个存储装置中的至少一个上的程序指令，所述程序指令由所述一个或多个处理器中的至少一个处理器执行。所述程序指令包括用于准备与患者相关联的多维虚拟模型的第一程序指令。所述程序指令还包括用于接收患者的实况视频馈送的第二程序指令。所述程序指令还还包括用于接收指示相对于患者的位置的追踪信息的第三程序指令。所述程序指令还包括用于通过将虚拟模型与基于追踪信息的实况视频馈送组合来产生患者的扩增实境视图的第四程序指令。所述程序指令还包括用于将所述患者的所述扩增实境视图传送到显示器的第五程序指令。
一种计算机程序产品包括一个或多个计算机可读有形存储装置和存储在所述一个或多个存储装置中的至少一个存储装置上的程序指令。所述程序指令包括用于准备与患者相关联的多维虚拟模型的第一程序指令。所述程序指令还包括用于接收患者的实况视频馈送的第二程序指令。所述程序指令还包括用于接收指示相对于患者的位置的追踪信息的第三程序指令。所述程序指令还包括用于通过将虚拟模型与基于追踪信息的实况视频馈送组合来产生患者的扩增实境视图的第四程序指令。所述程序指令还包括用于将所述患者的所述扩增实境视图传送到显示器的第五程序指令。
提供一种扩增实境的外科导航方法，其包括准备与患者相关联的多维虚拟模型的步骤。所述方法还包括接收患者的实况视频馈送的步骤。所述方法还包括接收指示相对于患者的位置的追踪信息的步骤。所述方法还包括通过将虚拟模型与基于追踪信息的实况视频馈送组合来产生患者的扩增实境视图的步骤。所述方法还包括将患者的扩增实境视图传送到显示器的步骤。
还提供一种扩增实境的外科导航系统，其包括：一个或多个处理器；一个或多个计算机可读有形存储装置；至少一个传感器，其用于检测关于使用者相对于患者的位置的信息；以及存储在所述一个或多个存储装置中的至少一个上的程序指令，其用于由所述一个或多个处理器中的至少一个处理器执行。此系统的程序指令包括：用于准备与患者相关联的多维虚拟模型的第一程序指令；用于接收指示使用者检视患者的当前视图的追踪信息的第二程序指令，所述追踪信息包括由传感器检测的使用者相对于患者的位置和使用者检视患者的视角；用于基于所接收的追踪信息在虚拟模型中识别虚拟视图的第三程序指令，其中所识别的虚拟视图对应于使用者检视患者的视图；用于基于所识别的虚拟视图从虚拟模型呈现虚拟图像的第四程序指令；以及用于将所呈现的虚拟图像传送到显示器的第五程序指令，其中所呈现的虚拟图像与使用者的视图组合以形成患者的扩增实境视图。
还提供上述系统，其中所述第二程序指令还被配置为当使用者相对于患者的位置和使用者检视患者的视角改变时，连续地即时接收更新的追踪信息；并且所述第三程序指令还被配置为连续地即时地识别对应于谨慎更新的追踪信息的虚拟视图，以使得虚拟视图与使用者检视患者的视图连续地同步。
还提供上述系统中的任一种，其还包括：用于接收对应于使用者检视患者的视图的实况视频馈送的第六程序指令；以及用于通过连续地即时呈现并且将虚拟图像与实况视频馈送组合来产生患者的扩增实境视图的第七程序指令，其中所述虚拟图像与基于追踪信息的实况视频馈送同步。
还提供上述系统中的任一种，其中：所述第二程序指令还被配置为接收指示第二使用者检视所述患者的当前视图的第二追踪信息，包括所述第二使用者相对于所述患者的位置和所述第二使用者检视所述患者的视角，其中所述第二使用者的当前视图不同于所述使用者检视所述患者的当前视图；所述第三程序指令还被配置为基于所接收的第二追踪信息在虚拟模型中识别第二虚拟视图，其中所识别的第二虚拟视图对应于所述第二使用者检视所述患者的视图；所述第四程序指令还被配置为基于所识别的第二虚拟视图从虚拟模型呈现第二虚拟图像；并且所述第五程序指令还被配置为将呈现的第二虚拟图像传送到第二显示器，其中在所述第一呈现虚拟图像传送到所述第一显示器的同时，所呈现的第二虚拟图像与所述第二使用者的视图组合以形成所述患者的第二扩增实境视图。
还提供一种扩增实境的外科导航方法，其包括以下步骤：准备与患者相关联的多维虚拟模型；接收指示使用者检视患者的当前视图的追踪信息，包括使用者相对于患者的位置和使用者检视患者的视角；基于所接收的追踪信息在虚拟模型中识别虚拟视图，其中所识别的虚拟视图对应于使用者的患者视图；基于所识别的虚拟视图从所述虚拟模型呈现虚拟图像；以及将所呈现的虚拟图像传送到显示器，其中所呈现的虚拟图像与使用者的视图组合以形成由显示器显示的患者扩增实境视图。
还提供了上述方法，其还包括以下任何步骤：当使用者相对于患者的位置和使用者检视患者的视角改变时，接收更新的追踪信息；识别对应于谨慎更新的追踪信息的虚拟视图，以使得虚拟视图与患者检视使用者的视图连续地同步，从而接收对应于使用者检视患者的视图的实况视频馈送；通过连续地即时呈现并且将虚拟图像与实况视频馈送组合来产生患者的扩增实境视图，其中所述虚拟图像与基于追踪信息的实况视频馈送同步；接收指示第二使用者检视患者的当前视图的第二追踪信息，所述第二追踪信息包括第二使用者相对于患者的位置和第二使用者检视患者的视角，其中所述第二使用者的当前视图不同于所述使用者检视患者的当前视图；基于所接收的第二追踪信息在虚拟模型中识别第二虚拟视图，其中所识别的第二虚拟视图对应于第二使用者检视患者的视图；基于所识别的第二虚拟视图从虚拟模型呈现第二虚拟图像；和/或在将第一呈现虚拟图像传送到第一显示器的同时，将呈现的第二虚拟图像传送到第二显示器，其中所呈现的第二虚拟图像与第二使用者的视图组合以形成患者的第二扩增实境视图。
还提供一种扩增实境的外科导航系统，其包括：一个或多个处理器；一个或多个计算机可读有形存储装置；第一传感器，其用于检测关于使用者相对于患者的位置的信息；第二传感器，其用于捕获基于所述使用者的当前活动的图像；以及存储在所述一个或多个存储装置中的至少一个存储装置上的程序指令，其用于由一个或多个处理器中的至少一个处理器执行。所述程序指令包括：第一程序指令，其用于准备与患者相关联的多维虚拟模型；第二程序指令，其用于接收指示由第一传感器检测到的使用者相对于患者的当前位置的追踪信息；第三程序指令，其用于接收并处理基于使用者的当前活动的图像，第四程序指令，其用于基于所接收的追踪信息在虚拟模型中识别虚拟视图，其中所识别的虚拟视图对应于使用者的当前活动；第五程序指令，其用于基于所识别的虚拟视图从虚拟模型呈现虚拟图像；以及第六程序指令，其用于将呈现的虚拟图像传送到显示器，其中所呈现的虚拟图像与基于使用者的当前活动的图像组合以形成患者的扩增实境视图。
还提供附加示例性实施方案，其中一些而非全部实施方案在下文中更详细地描述。
附图简述
专利或申请文件包含至少一张以黑白色呈现的照片。本专利或专利申请具有彩色附图的副本将在请求并支付必要费用之后由专利局提供。在附图中，示出与以下提供的详细描述一起描述所要求保护的发明的示例性实施方案的结构。类似元件用相同元件符号表示。应当理解，示出为单个部件的元件可用多个部件替换，并且示出为多个部件的元件可以用单个部件替换。附图不是按比例的，并且出于说明性目的，某些元件的比例可能被放大。
图1示出示例性扩增实境的外科导航系统。
图2示出示例性扩增实境的外科导航系统的框图。
图3示出在同一屏幕上的光学和扫描视图的整合视图的实例。
图4A和图4B示出来自廊道外部的肿瘤病例的示例性视图。
图5示出来自廊道内部的肿瘤病例的示例性视图。
图6示出来自廊道内部左下方的肿瘤病例的示例性视图。
图7示出来自廊道内部左侧的肿瘤病例的示例性视图。
图8示出来自廊道内部左上方的肿瘤病例的示例性视图。
图9示出来自廊道内部上方的肿瘤病例的示例性视图。
图10示出来自廊道内部右上方的肿瘤病例的示例性视图。
图11示出来自廊道内部右侧的肿瘤病例的示例性视图。
图12示出来自廊道内部右下方的肿瘤病例的示例性视图。
图13示出来自廊道外部的动脉瘤病例的示例性视图。
图14示出来自廊道内部的动脉瘤病例的示例性视图。
图15示出来自廊道内部下方的动脉瘤病例的示例性视图。
图16示出来自廊道内部左下方的动脉瘤病例的示例性视图。
图17示出来自廊道内部左侧的动脉瘤病例的示例性视图。
图18示出来自廊道内部左上方的动脉瘤病例的示例性视图。
图19示出来自廊道内部上方的动脉瘤病例的示例性视图。
图20示出来自廊道内部右上方的动脉瘤病例的示例性视图。
图21示出来自廊道内部右侧的动脉瘤病例的示例性视图。
图22示出来自廊道内部右下方的动脉瘤病例的示例性视图。
图23示出手术室中的示例性俯视图。
图24A示出示例性头戴式显示器(HMD)的前视图。
图24B示出示例性头戴式显示器(HMD)的后视图。
图25示出另一示例性头戴式显示器(HMD)。
图26示出示例性扩增实境的外科导航方法
图27示出示例性光学4视图显示格式。
图28示出在示例性场景中表示为化身的多个使用者的实例。
图29示出示例性输入控制器。
图30为用于实现图1的示例性ARS计算装置的示例性计算机的示意图。
图31A为示出用于利用可与本文公开的改进一起使用的示例性SNAP系统的示例性系统结构和接口的框图。
图31B为示出用于示例性SNAP系统的示例性SNAP工具部件的框图。
图31C为示出用于示例性SNAP系统的示例性软件接口的框图。
图32为示出可在任何示例性头戴式显示器中使用的各种传感器部件的框图。
具体实施方式
以下缩略词和定义将有助于理解详细描述：
AR-扩增实境-物理、真实世界环境的实况视图，其要素已通过计算机产生的感官要素(例如声音、视频或图形)来强化。
VR-虚拟实境-计算机产生的三维环境，其可被人不同程度地探索并交互。
HMD-头戴式显示器(图26)是指可在AR或VR环境中使用的头戴式装置。它可为有线或无线的。它也可包括一个或多个附件，例如耳机、麦克风、HD摄影机、红外摄影机、手持追踪器、位置追踪器等。
控制器-包括按钮和方向控制器的装置。它可为有线或无线的。此装置的实例为Xbox游戏台、PlayStation游戏台、Oculus触摸等。
HMD开关-允许使用者使用HMD和/或控制器与软件进行交互的开关。此开关可以通过多种方式来启用/禁用，所述方式包括：按下软件或控制器中的按钮；说出短语或单词，例如-“启动HMD”、“停止HMD”；按下脚踏开关；以及手势诸如长时间挥手。
分割-将数字图像分割为多个片段(像素集)的过程。分割的目的为将图像的表示简化和/或改变为更有意义且更容易分析的事物。
剪切-垂直于视角来移除模型化解剖结构的层(每次一个预设厚度)，以便逐个切片地揭示内部结构的过程。在内侧/近侧方向的外侧/远侧移除层。
SNAP病例-SNAP病例是指使用DICOM文件格式的一个或多个患者扫描(CT、MR、fMR、DTI等)创建的3D纹理或3D对象。它还包括不同的分割预设，其用于过滤3D纹理中的特定范围并将其他范围着色。它还可包括放置在场景中的3D对象，包括用于标记所关注的特定点或解剖结构的3D形状、3D标签、3D测量标记、用于引导的3D箭头、以及3D外科手术工具。外科手术工具和装置已经被模型化用于教育和患者特定演练，尤其用于将动脉瘤夹具适当地设定尺寸。
场景-是指3D虚拟空间，包括其中的3D纹理和3D对象。
附加传感器-允许从真实环境接收更多信息以扩增虚拟体验的装置。例如-Microsoft Kinect、Leap Motion。
化身-使用者的视点用称为“化身”的“头骨阴影”(图1-101)来指定。使用者的化身遵循外科医生的头部运动，并且例如，如果外科医生的头部向右移动，化身将向右移动，在所有方向上同样如这些。如果外科医生需要另一个视点，则可使用控制器将化身重新定位到MD6DM内部的新点。
MD6DM-多维全球虚拟实境，6自由度模型。它提供了图形模拟环境，使医生能够在全球虚拟实境环境中体验、计划、执行并导航介入。
所公开的系统在模型化系统诸如示例性外科图形工具(SNAP)上实现，其与手术室技术整合以提供高级3D能力和扩增实境，允许外科医生提高其外科手术效能并提前准备。SNAP工具为神经外科医生提供了独特虚拟实境引导，以确定在其他用途中例如移除脑肿瘤和治疗血管异常的最安全和最有效途径。
SNAP工具将开颅手术、头部位置、对病灶的接近路径的3D计划引入例如Keyhole和其他微创技术中。SNAP允许外科医生预先看到预期的外科医生眼睛视图。
使用SNAP工具，外科医生可在手术室中利用特定患者的实际CT/MRI(以及其他)扫描来执行其外科手术计划，从而允许增强的准确性和效率。SNAP还提供了创新特征，允许外科医生以可加以修改以使图像对外科医生更有用的可旋转3D格式来查看动脉和其他关键结构的后面。例如，SNAP提供旋转图像或使得其半透明的能力，以帮助外科医生可视化操作。SNAP利用先进的成像技术，允许外科医生进行“患者特定”外科手术的真实“飞行”。所述工具在手术室外提供准备支持，并且也可用于将预先计划的路径带入手术室，以便在手术期间由外科医生(以及其医护人员)使用。
SNAP通过连接到OR术中追踪导航系统来获得外科手术工具、导航探针、显微镜焦点等的追踪坐标。SNAP提供3D导航模型，其减慢扩增的情景位置感知。SNAP可从配置为收集此类信息的任何这些外科手术工具接收图像或追踪/导航信息，并且此类信息可由SNAP系统使用以便使得展示给外科医生的高分辨率图像对应于所接收的信息高分辨率。例如，SNAP图像可追踪工具在所显示图像中的位置，或者例如基于由工具提供的视觉信息来更新图像。
SNAP接近警告系统以类似于飞机上的近地警告系统(GPWS)和机载防撞系统(ACAS)、地形防撞系统(TCAS)以及用于指示并警告机组人员可能导致接近地面和其他障碍物的接近和/动作的其他类似系统的方式来操作。SNAP接近警告系统的操作包括以下主要阶段：
SNAP接近警告系统可自动标记外科医生需要避免的解剖结构。此解剖结构可包括纤维径迹、神经、血管、动脉等。-SNAP接近警告系统允许在3D或2D导航场景中手动放置标记(Market)。那些标记可标示障碍和解剖结构，以避免或标示外科医生将导航到达的目标。所放置的每个标记可被示踪、具有特定颜色、特定形状等。-SNAP接近警告系统的警告指示可为视觉(例如颜色的变化)、声音(声音)以及其他指示。
SNAP可允许创建轨迹。通过标记入口点并且然后将此入口点与上述标记/目标相关联，SNAP创建允许从入口点导航到目标的轨迹。-SNAP路径计划器允许外科医生连接若干标记、目标和入口点，并创建路径。可创建多个路径。路径可为要遵循的期望路线或要避免的路径。
SNAP向外科医生提供视觉图形引导。只要外科医生在引导标记内保持其运动，他将准确地从A点到达B点(从入口点到达目标)。所述工具为机构(例如，医院)及其相应外科医生提供减少外科手术错误、减少外科手术废物量和相关成本、减少手术室时间以及最小化手术高风险性质的机会。所述工具提供了在神经外科手术培训中保持高品质的机会，并且在手术室外进行教育：Halstedian外科手术技能培训取决于大量、各种各样的病例，以及几乎无止境的医院驻留时间。最近的发展已经迫使人们对Halstedian系统进行重新思考。最近对于Halstedian系统的一系列压力包括：工作时间有限、公众监督增加以及手术经验减少。
使用所述工具来演练可减少后续程序和调整的需要。例如，当工具用于动脉瘤外科手术时，使用所述工具可减少调整或替换动脉瘤夹具的需要。夹具的调整和更换通常可导致暂时闭塞延长和总体更长手术时间。这可增加总体手术风险。
如本领域技术人员将了解的，本文公开的示例性实施方案可实现为或可一般地利用一种方法、系统、计算机程序产品或前述的组合。因此，任何实施方案可采用完全硬件实施方案、在硬件上执行的完全软件实施方案(包括固件、常驻软件、微代码等)、或者可通常在本文中称为“系统”的将软件与硬件方面组合的实施方案形式。此外，任何实施方案可采用计算机可用存储介质上的计算机程序产品的形式，所述计算机可用存储介质具有在介质中体现的计算机可用程序代码。
例如，本文所公开特征可使用在医院环境中(例如在手术室中)提供的网络化计算机系统1来实现，如图31A所示。所述系统可提供在外科手术环境中，其中外科医生20在各种外科医护人员22支持下对患者5进行手术。此系统1整合了存取来自一个或多个数据库15A-15n的数据的一个或多个服务器(例如，PC)10A-10n，所述数据库使用计算机网络12联网在一起。系统将执行为了实现本文描述的功能和其他特征所提供的专有软件。一个或多个计算机20可用于与各种外科手术工具例如外科手术探针/摄影机32，其他外科手术工具34、和/或作为计算机18与工具之间的接口使用一个或多个计算机总线或网络30连接到计算机20的其他设备36接合。注意，在一些情况下，所有计算机18、服务器10和数据库15可容纳在单个服务器平台中。
所述系统连接到高分辨率3D显示器40，外科医生可在所述显示器上监测各种工具32、34和36的运行和活动。在一些情况下，显示器可能不具有3D能力。此外，以下描述的示例性头戴式显示器(HMD)可用于向外科医生和/或他/她的助手提供逼真图像。一个或多个此类显示器可从操作位置远程提供，例如通过经由通信网络诸如因特网的通信的连接。
所述系统被配置为具有患者特定参数7，所述参数包括患者的成像细节，包括由先前获得的患者的可用CT和MRI图像准备的图像，以及涉及模拟模型的其他信息，例如患者年龄、性别等(其中一些或全部信息可从外部实体例如医学数据库、实验室或其他来源获得)。所述系统利用从系统数据库获得的描述组织和器官特征的组织信息参数。所述系统可被配置为在需要时经由通信网络50(例如因特网)与一个或多个外部实体60交互。
可使用任何合适的计算机可用(计算机可读)介质来存储用于在一个或多个计算机上执行以实现所公开过程的软件，并且存储所公开数据和信息。计算机可用或计算机可读介质可为，例如但不限于，电子、磁性、光学、电磁、红外或半导体的系统、设备、装置、或传播介质。计算机可读介质的更特定实例(非详尽列表)将包括以下各项：具有一个或多个电线的电连接；有形介质诸如可携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光盘只读存储器(CDROM)、或其他有形光学或磁性存储装置；或传输介质诸如支持因特网或内联网的那些。注意，计算机可用或计算机可读介质甚至可包括另一种介质，所述程序可经由例如光学或磁性扫描从其中电子捕获，然后编译、解译或者在必要时以合适方式处理，然后存储在任何可接受类型的计算机存储器中。
在本文件的上下文中，计算机可用或计算机可读介质可为可包含、存储、传送、传播或传输程序以供指令执行系统、平台、设备或装置等使用或与其相关来使用的任何介质，其可包括含有一个或多个可程序化或专用处理器/控制器的任何合适计算机(或计算机系统)。计算机可用介质可包含在基带中或作为载波的一部分的具有在其中体现的计算机可用程序代码的传播数据信号。计算机可用程序代码可使用任何适当介质传输，所述介质包括但不限于因特网、有线、光纤电缆、射频(RF)或其他手段。
用于执行示例性实施方案的操作的计算机程序代码可通过使用任何计算机语言的常规手段来编写，所述计算机语言包括但不限于解译或事件驱动语言诸如BASIC、Lisp、VBA或VBScript；或GUI实施方案诸如visual basic；编译程序设计语言诸如FORTRAN、COBOL或Pascal；面向对象、脚本或非脚本程序设计语言诸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等；人工智慧型语言诸如Prolog的；即时嵌入式语言诸如Ada；或者甚至使用梯形逻辑的更直接或简化程序设计、汇编语言或使用适当机器语言的直接程序设计。
计算机程序指令可存储或以其他方式加载到计算机可读存储器中，其可指导计算装置或系统(诸如由图31A的示例性系统1所描述的系统)或其他可程序化数据处理设备以特定方式起作用，以使得存储在计算机可读存储器中的指令产生包括实现本文所指定功能/动作的指令手段的制品。
软件包括通过提供给执行装置或部件来执行的专用计算机程序指令，所述执行装置或部件可包括通用计算机的处理器、专用计算机或控制器、或其他可程序化数据处理设备或部件，其如本文所描述来定制以使得专用计算机程序的指令在执行时创建用于实现本文所指定的功能/动作的手段。因此，定制软件的计算机程序指令用于使得一系列操作在执行装置或部件或其他可程序化设备上执行，以产生计算机实现的过程，以使得指令在计算机上或其他可程序化设备上执行用于实现本公开中指定的功能/动作的步骤。这些步骤或动作可与操作者或人实施的步骤或动作以及由其他部件或设备提供的步骤或动作组合，以便执行本发明的任何数量的示例性实施方案。定制软件也可根据需要利用各种市售软件，例如计算机操作系统、数据库平台(例如MySQL)或其他COTS软件。
对于称为“外科导航高级平台”(SNAP)的示例性系统，实际患者的医学图像被转换成动态的交互式3D场景。此动态和交互式图像/模型为医学成像创建了一种新颖且独创的标准，并具有许多应用。
SNAP为外科医生(神经外科医生等)、医生以及其助手提供独特的虚拟实境引导，以确定移除肿瘤(大脑等)并治疗异常例如血管异常的最安全且最有效的途径。“外科导航高级平台”(SNAP)可用作独立系统或外科导航系统的应用，或者与用于使用第三方导航系统的程序类型的第三方导航系统一起使用。这些程序包括但不限于脑、脊柱以及耳鼻喉(ENT)。
SNAP允许外科医生在外科手术前分析并计划特定患者的病例，并且然后将该计划带入手术室(OR)，并在外科手术期间与导航系统结合使用。然后，SNAP将导航数据呈现到具有多个视点的高级交互的高品质3D图像中。
SNAP实际上是图像引导的外科手术系统，其包括呈现外科手术的即时和动态多行视线(从不同/多个视角)的医疗成像装置。图像包括扫描医学图像(基于诸如CT、MRI、超声、X射线等的扫描)以及外科手术器械。它还可包括基于视频形式显微镜或其他来源的即时视频和模型。SNAP为外科医生提供即时3D交互式引导图像。解剖结构(即头部、大脑、膝盖、肩膀等)的定向在实际患者和扫描医学图像(CT、MRI、超声、X射线等)中被标记并预配准；因此，扫描医学图像的定向与接受外科手术的患者的真实解剖结构是同步并对准的。
此外，上述预配准的标记提供了用于追踪外科手术器械和OR显微镜(和/或外科医生头部)的球形参考，并且因此允许相对于扫描医学图像在空间中呈现外科手术器械图像/模型。
患者的2D或3D解剖结构以及外科手术器械的位置和定向为即时同步的，并且与器械和标记相对于解剖结构在空间中的即时位置和定向一起呈现给外科医生。
SNAP系统能够准备具有多个扫描数据集的病例。内置的“融合”模式允许使用者选择一个数据集作为第一数据集，并添加与第一扫描数据集对准(“融合”)的第二数据集。
SNAP系统具有独特的剪切特征。ANY平面IG立方体剪切为使用者可从任何期望角度“剪切”3D模型的特征，从而基本上切割成模型并且移除一部分以暴露模型内部。剪切平面为“剪切”3D模型的平面，所述平面由2个变量(平面法线(向量)和平面位置(平面经过的空间点))来定义。
此外，SNAP系统知道将ANY平面IG立方体剪切归属于场景中的3D移动元件。由于立方体剪切平面由法线和位置定义，因此可使用场景中的移动元件来为使用者定义它。所述元件为：导航探针、3D控制器(Omni)、廊道、IG视点(眼睛摄影机)等。
另一个特征为转移函数。SNAP系统具有显示“组织特定强度”的特殊能力。将原始数据集切片收集并堆叠以重建像素的立方体，或所谓体素立方体。3D模型为体素的立方体体积。转移函数用于将每个体素强度值映射到颜色和不透明度。以此方式来控制组织强度，使外科医生能看到他通常看不到的事物。此创新特征允许外科医生看到动脉和其他关键结构后面，此特征迄今为止仍不可能实现。
SNAP可在同一屏幕上的一个或多个窗口上或在多个屏幕上显示模型。SNAP的特征和应用实例，多个特征可在屏幕上并排启用。
典型SNAP系统配置包括以下主要部件：(1)用于移动性的系统安装手推车；(2)医用级隔离变压器；(3)运行Microsoft Windows 7操作系统的个人计算机(或服务器)；(4)用于高品质图形的高端nVIDIA图形适配器；(5)27”或32”全HD触摸屏显示器；(6)医用级键盘和鼠标；以及(7)用于实现本文所描述特征的SNAP软件应用。此系统由图31B的框图示出，其中包括触摸屏监测器71的示例性可移动手推车安装的SNAP系统70被配置为具有PC 72和电力系统73，所有这些都可设置在手术室中。示例性系统70连接到在手术室中提供的导航系统75，诸如示例性图像引导外科手术(IGS)系统，SNAP系统70可从所述系统接收数据，以使得SNAP系统70可显示基于导航系统的操作的高分辨率、逼真3D图像，从而基于接受手术的特定患者的图像，用SNAP高分辨率成像能力来有效地增强导航系统的操作和显示能力。
外科导航高级平台(SNAP)意图用作用于将成像信息从CT或MR医疗扫描器转移到输出文件的软件接口和图像分割系统。提供组织分割窗口以编辑和更新组织分割，以准备病例。组织分割的变化反映在3D图像中，并且结果可作为病例文件的一部分保存。它还意图作为用于模拟/评估外科治疗选项的术前和术中软件。外科导航高级平台(SNAP)为用于模拟/评估外科手术治疗选项的术前和术中工具。
所述系统通常将提供可适用于手术室的EMC抗干扰性，并且将利用触摸屏操作来进行导航、打字和图像操纵。系统可使用病例文件来存储单独的患者病例，所述文件可根据需要加载到系统中。外科医生可使用特定患者的扫描信息(例如，MR或CT DIACOM图像数据文件)和患者数据从头开始创建病例。这些病例可根据需要进行编辑和更新。编辑窗口可用于编辑和操纵图像及文件。
可提供各种器官和组织的通用模型，其可基于患者成像或其他诊断工具或实验室输入与患者特定模型重叠。因此，对于不特别受关注的器官或其他特征，系统可使用通用模型(例如，眼睛或其他器官)，其中患者特定信息不是预期治疗所需要的。
外科导航高级平台(SNAP)显示具有即时导航数据的患者特定动态和交互式3D模型。当执行导航会话时，所述工具可用于通过指向并触摸患者体表的可见结构(即，鼻尖、耳垂)并验证SNAP屏幕上的指针指向3D模型中的相同位置来验证SNAP导航指针位置(在SNAP高分辨率显示器上提供)的准确性。
图31C示出由软件模块驱动的主要处理例程的实例，其产生由SNAP工具提供的图像。图像生成器110使用存储在数据库115上的信息(诸如通用组织图像、患者特定图像等)产生用于在显示器160上显示的逼真组织图像。图像生成器110分配每个区段的视觉表示(阴影纹理等)，并且机械特性和其他模型化特征将提供逼真图像。
类似地，使用者工具生成器将产生与由图像生成器产生的组织图像动态地交互地显示的外科手术工具的逼真图像。在一个外科手术环境中，显示在显示器160上的工具图像可表示实际外科手术工具接口140，所述图像的表示可例如由图像生成器110或使用者工具生成器120产生以供显示。外科手术工具接口可与由图像生成器110产生的组织图像动态地交互。此外，关于工具图像的说明书和详情可存储在数据库115中。注意，因为显示器160可为触摸屏显示器，所以显示器160可与其他装置诸如键盘、鼠标或其他输入装置一起用作使用者接口130。此外，显示器160可包括作为显示器160的一部分的头戴式显示器，以向外科医生和/或其他参与者提供逼真视觉图像。
SNAP工具还提供允许系统接合至向外科医生提供导航或其他功能的其他外部系统的外部系统接口150，以使得SNAP工具可产生与外部系统的输出一致的图像，例如，基于外部系统的操作来反映导航或更新成像。SNAP工具然后可适当地更新其显示图像，以在与图形工具交互的高分辨率3D图像中向外科医生提供整合视图。
一旦外科医生选择外科手术工具和其他对象，它们就被整合到由显示器160显示的虚拟外科手术场景中，并且变成模拟情景的整合元件，所述模拟情景包括逼真视觉特征以及应用于每一个那些选定项目的机械特性和操作特性特征，例如，显示的剪刀具有真实机械特性并且将如真实剪刀那样切割，并且当将动脉瘤夹具放置在血管处时，阻断血液流动。以此方式，所显示工具以逼真方式与组织模型交互，但是以外科医生可操纵来提供在真实世界中不可能提供的视点的方式，诸如通过使各种特征透明、旋转图像、逆转过程等。
显示给外科医生的交互式图像/场景由作为体积呈现元件和表面呈现元件的元件构建。此外，每个元件、体积或表面与一个或多个体积元件交互。元件之间的交互包括但不限于物理交互，例如：实施为表示由于元件运动和/或形变所导致的元件之间的交互的碰撞模型，所述模型根据物理条件例如压力、元件材料(弹性、黏性等)以及碰撞条件诸如碰撞角和元件定向来复制元件的实际物理运动。
呈现过程方程可考虑到所有照明阴影和阴影现象，并产生并入所有视觉元素的最终输出流。
使用Tissue Paint或Magic Tissue Wand算法创建并与扫描图像整合的解剖结构为图像的整合部分。例如，在应用Magic Tissue Paint及Tissue Wand算法之后，原本部分且完整的解剖结构的血管将变成具有从原始扫描图像和新创建结构组合的结构的完整解剖结构。此外，控件(复选框)允许选择新创建结构并在打开(显示新创建结构)或关闭(隐藏新创建结构)之间切换。另外，提供了用于在体积和/或网格/多边形呈现/重构中呈现新创建结构的选择的选项。
所开发的算法和软件工具为使用者提供了以2维或3维绘制任何几何形状或自由手绘形状(例如，线、圆、临床、球等)的接口。包括/封闭/捕获在所述几何形状(2或3维)内的区域被定义为“标记区域”。然后，使用者能够为此“标记区域”定义并分配任何视觉特性和任何机械性质，包括例如能够将图像的部分涂色、使它们透明或使其具有阴影。虚拟光源可提供有包括以下各项的特性：空间中的球形位置、光的颜色、光的强度、纵横比、虚拟源的几何形状等。
用Tissue Paint、Magic Tissue Wand算法创建的结构或标记区域可分配有所需机械性能特性。任何解剖结构的机械性能系数(刚度、弹性等)可由使用者调整以创建定制的机械行为。
所述系统提供即时追踪和反馈以在外科手术期间追踪真实外科手术器械。追踪系统传送手术器械在空间中相对于真实解剖结构(例如，患者头上的特定点)的定向和位置的位置和坐标。然后将器械的位置和定向发送到外科模拟系统。基于患者特定模拟以及器械的位置和定向，向外科医生提供反馈。此反馈的一个实例可为：所述系统向外科医生生成他正在解剖的组织类型的反馈，并且在外科医生解剖健康脑组织而非肿瘤的情况下报警。另外的实例为，在外科医生将器具施加在真实解剖结构上(例如，将动脉瘤夹具施加于真实患者的动脉瘤上)之后，系统允许外科医生将基于追踪而主要按照真实解剖结构来定向的模拟图像/模型旋转，并且观察并评估所放置植入物的位置和功效。
真实器械的此追踪和反馈可以多种方式实现，诸如通过使用视频系统来追踪器械和患者特征的位置和运动。可选地(或除了视频追踪的外)，可修改外科器械以能够例如通过使用GPS、加速计、磁性检测或其他位置和运动检测装置和方法来实现追踪。这些修改的器械可例如使用WiFi、蓝芽、MICS、有线USB、RF通信或其他通信方法(例如，经由图31C中的外科手术工具接口140)来与SNAP工具通信。
将SNAP系统强化并修改以使用MD6DM特征来并入下文描述的扩增实境系统。MD6DM提供了图形模拟环境，其使得医生能够在全球虚拟实境环境中体验、计划、执行并导航外科介入，同时增加了大大扩展上述SNAP系统的功能和适用性的扩增实境特征。
此修改产生本文所描述且图1所示出的扩增实境的外科导航系统(“ARS”)100，其向外科医生102或另一个使用者(例如助手、护士或其他医生)提供在同一屏幕上的光学和扫描视图的整合视图(如图3所示)。返回参考图1的系统100，外科医生102可同时在预先构建模型中以及在患者104实况中检查特定患者104解剖结构。系统100给出了进入MD6DM模型并物理地移动使用者身体并观察特定结构周围的能力。使用者可围绕目标解剖结构或病灶360°观察，并探索病灶后面以了解它如何改变患者解剖结构。因此，外科医生102不再需要使他的眼睛离开显微镜或内窥镜106以观察患者扫描、计划软件或MD6DM模型，因为虚拟图像和真实光学图像并排投影或融合在一起并显示在显示监测器108上或在头戴式显示器(HMD)160'上。
计算装置112诸如Surgical Theater“Endo SNAP”系统(例如，修改为并入MD6DM特征的如上所描述且在图31A-图31C中所示出的SNAP系统1的全部或部分)通过获得患者DICOM 2D图像并即时构建虚拟模型或获得预先构建模型来实现ARS系统100。例如，从数据库114获得数据。ARS计算装置112还被配置为基于同样从内窥镜106的追踪尖端接收的导航数据将预先构建图像与从内窥镜106接收的实况视频馈送整合，以形成具有追踪能力的患者104的扩增实境视图。应当理解，还可在显示监测器上或经由HMD 160'单独地或并行地检视多个视图(即，实况馈送和检索图像)。
图2示出ARS系统100的示例性框图。ARS计算装置112诸如Surgical Theater EndoSnap系统被配置为接收患者DICOM 2D图像202作为第一输入。ARS计算装置112还被配置为接收实况视频馈送204作为第二输入，所述视频馈送诸如来自内窥镜的视频馈送。ARS计算装置112还被配置为接收导航系统追踪数据206作为第三输入。在一个实例中，追踪数据206指示外科医生102相对于患者104的位置和定向。应当理解，基于此导航系统追踪数据206，ARS计算装置112不仅能够确定外科医生102位于房间中的何处，而且能够确定外科医生102正在朝向何处观看。例如，外科医生102可位于患者104身体的右侧。然而，例如，外科医生102可从该位置观察患者104头部的顶部或患者104头部的侧部。
然而，利用适当的导航系统追踪数据206，ARS计算装置112能够计算并精确定位视角以及位置，并且因此为手术室中的外科医生提供更独特且不同的体验。具体而言，ARS计算装置112处理三个输入202、204和206，并且将它们整合以形成具有追踪和导航能力的患者104的扩增实境视图。ARS计算装置112还被配置为将患者的扩增实境视图输出到用于观看的装置208。装置208可为例如显示监测器108或HMD 160'(或两者)。应当理解，尽管仅示出三(3)个输入，但是ARS计算装置112可被配置为从各种合适输入来源接收任何合适数量的输入，以便向外科医生102提供可有助于执行特定外科手术的更完整信息。例如，ARS计算装置112可被配置为接收附加实况视频馈送或指示外科医生在手术室内的位置的附加追踪和传感器信息。
在一个实例中，HMD 160'可向外科医生102提供患者104的直接实际透视视图，而不依赖于视频馈送。因此，在一个实例中，ARS计算装置112被配置为产生没有实况视频馈送的扩增实境视图。相反，ARS计算装置112被配置为经由HDM 160'向外科医生102呈现虚拟模型，以使得虚拟模型覆盖外科医生102的患者104实际视图，以便为外科医生提供患者104的扩增实境视图。ARS计算装置112依赖于导航系统追踪数据206以使所呈现虚拟模型与外科医生102的患者104实际视图同步。
应当理解，当外科医生102的位置、定向或视角改变时，扩增实境视图即时地连续更新。因此，当外科医生102围绕患者移动或将他的关注点调整至患者104身体的不同位置时，虚拟模型被调整，以使得扩增实境视图与这些移动同步并且保持与外科医生102的视点一致。
此外，系统可容纳任何数量的附加使用者，诸如附加外科医生、护士、助手或可在现场出现或远程定位并且经由通信网络诸如因特网连接到系统的其他使用者。系统可利用来自任何或所有这些附加使用者的信息，以使用来自这些附加使用者的信息(例如支持医疗程序的第二外科医生的动作)进一步扩增视图。另外，系统可将由外科医生看到的扩增图像提供至这些附加使用者中的任一位，无论是使用HMD显示器还是某种其他类型的显示器。因此，在一些实施方案中，助手的动作(例如辅助所述手术的护士)也可作为扩增视图的一部分或者作为附加扩增视图来显示。
使用HMD 160'来操作的过程的实例包括：1)使用者使用由SNAP计算装置112提供的病例向导来构建SNAP病例，或者从数据库114中选择预先构建的SNAP病例；2)启动HMD160'开关；以及3)根据HMD 160'的类型以及其附加传感器的配置，使用者可与场景交互并与虚拟协作场景中的其他人协作。
HMD 160'功能根据硬件的功能而分离，并且具体而言，无论它是AR或VR或两者。如果两种硬件配置可用，则两种模式将在软件中可用。使用者使用控制器、语音命令、手势、虚拟按钮以及其他附加传感器来控制所有系统功能。这允许使用者选择使他与SNAP病例交互或在协作模式下与远程使用者通信的情景最适当或最直观的方式。虚拟世界中的所有使用者交互也在SNAP显示器108监测器上可视化，以供外部观察者观看并了解使用者所看到的内容。使用者能够启用处于HMD模式之一的SNAP系统112上可用的每个功能。HMD模式中的可用功能包括但不限于以下能力：改变分割预设、选择融合层、显示/隐藏标记/路径/轨迹、从SNAP病例中取得/取出切片(剪切)、添加虚拟外科手术工具等。例如，使用控制器、语音命令、附加传感器或场景中的虚拟按钮来启用或停用这些功能。
图32示出可与任一种所公开的HMD装置一起提供的各种传感器的框图。这些传感器包括一个或多个位置检测器传感器3020(例如，GPS)、一个或多个视频和/或图像传感器3040、一个或多个音频传感器3030、一个或多个运动传感器3050、以及一个或多个输入/输出装置3060(例如高分辨率显示器、按钮、滚动装置等)。这些传感器可与HMD处理器3010通信，所述HMD处理器将通过接口3070与SNAP系统接合。还可提供其他类型的传感器和控制。
示例性功能和控制包括在控制器上按下按钮以从SNAP病例中过滤出切片，使用手势“向左滑动”以将SNAP病例向左旋转，说出关键字短语“显示方向”以使使用者离开SNAP病例视图并且给予使用者其位置的整体外观，或者在场景中按下虚拟按钮以选择用于虚拟使用的外科手术工具等等。图29示出可用作输入装置来控制系统的这些操作的示例性控制器。
在VR模式下，使用者在纯虚拟环境中与SNAP病例交互。使用者可以几种方式与场景交互，所述方式包括例如：
头部运动-使用HMD 160'的旋转传感器，系统追踪使用者的头部运动和角度并将它们投射到场景中。这允许使用者基于其运动和角度调整而在360度场景中改变他们的视图。
控制器-使用方向控制器，使用者可基于他正在查看的位置在所需方向上移动。使用其他按钮，他能够启用特定SNAP核心功能或特定模式功能。例如，按住控制器上的特定按钮可向使用者提供场景的全景视图。这允许使用者了解他在场景中的位置和定向。
语音-说出由传感器诸如麦克风接收的关键字或短语启用特定功能。例如，“跳转到标记1”会将使用者移动到预定义的标记1位置。当协作可用时，“移动到参加者2视图”将主要使用者移动到第二个“参加者”位置，并此时将主要使用者的视图相对于第二个“参加者”定向来定向。
位置传感器-使用位置追踪传感器来追踪主要使用者的移动，使用者的移动将转换为场景中的虚拟移动。在场景中追踪使用者移动允许使用者选择将启用特定功能的虚拟按钮。
手动传感器-这允许使用者看到他的手以及其位置的虚拟表示，并允许他进一步与场景中的SNAP病例进行交互。例如，使用者可与外科手术工具交互、按下虚拟按钮、或者使用手势来旋转和平移视图。
外部观察者能够在显示监测器108上观看外科医生102的虚拟体验，所述显示监测器反映外科医生102正在观察的内容并且即时地连续地调整为由外科医生102产生的运动。显示监测器108将在单个视图300上反映使用者视图，如图4A所示，或者作为3D立体的并排视图301来反映，如图4B所示，以用于支持3D检视的监测器。
在一个实例中，外部观察者在显示屏108上看到以位于场景中的化身表示的使用者身体和头部位置、旋转、以及运动。在一个实例中，观察者还能够使用软件接口与场景交互，这将反映在使用者在HMD160'上检视的场景上。因此，HMD以扩增方式将使用者(例如，外科医生)并入到场景中。
在AR模式中，除真实世界之外，外科医生102与SNAP病例交互。SNAP病例位于各种特定位置，以创建扩增世界。SNAP病例虚拟地定位于真实世界环境中的外科医生指定地点。潜在位置包括患者床上方、房间中的桌子、患者的3D打印部分、具有特殊标记的工具、以及房间中的任何其他合适位置。
作为所述过程的一部分，将使用多种不同手段中的任一种来确定患者的位置，所述手段例如通过使用患者身上或其附近的传感器、视频或其他机构。患者的各部分可在系统中配准，并且根据需要监测他们的位置，以使所显示的图像相对于空间和时间保持为精确的。
如果使用配准过程，它将显示在所配准的解剖部分上。例如，大脑的3D虚拟图像可以直接在大脑的实况视频馈送顶部放大。另外，使用追踪信息，当外科医生102移动内窥镜时，调整3D虚拟图像。在一个实例中，外科医生102的位置也被追踪，并且因此，基于外科医生102相对于患者104位置的位置，3D VR图像可被调整并与实况视频馈送同步。换言之，当外科医生102在真实世界中移动他的头部或改变他的位置时，SNAP病例虚拟地重新定位并重新定向以将其模拟为真实世界中的稳定对象。语音命令或控制器可以允许在各位置之间切换。
应当理解，系统100允许在OR中所追踪外科手术工具可视化。这通过使用由所述系统从房间中的其他系统接收的信息来完成的，所述其他系统诸如外科导航系统或可单独提供或整合到HMD中的其他附加传感器。在一个实例中，HMD 160'可包括一个或多个这些传感器，其可包括运动传感器、麦克风、视频传感器、摄影机、加速计、位置传感器等中的任一种或全部。在一个实例中，一个或多个传感器可被定位在外科医生102上或在由外科医生102使用的输入装置或其他工具上的合适位置处。
外部观察者能够在显示监测器108上观看主要使用者或医生102的虚拟体验，所述显示监测器反映使用者正在看到的内容并且即时地连续地调整由主要使用者进行的移动。此窗口完全以VR模式在单个视图上或在支持3D成像的监测器上作为3D立体的并排视图来反映使用者视图。
应当理解，可能需要配准过程以将从数据库114接收的SNAP病例与患者的解剖学扫描部分或经由内窥镜在即时视频馈送中检视的部分对准。对准是基于从患者自己的术前扫描(已经基于所述扫描来构建SNAP病例)检索的信息以及对准/配准过程信息。在一个实例中，通过从手术室中的导航系统接收配准信息并基于所接收的信息对准病例来实现对准。在另一个实例中，通过允许使用者手动地将其与解剖结构对准来实现对准。这使用控制器完成。在另一个实例中，通过使用导航系统实现配准过程并将结果与SNAP病例对准来实现对准。在另一个实例中，通过使用IR传感器来映射患者104头部并自动将其与SNAP病例对准来实现对准。
系统100的典型临床使用情况为神经外科介入，例如肿瘤切除术。在肿瘤病例下，可以经由如图4B所示的预先计划外科廊道飞行到颅骨的内部并且在CW方向上环视，所述方向包括向下、向左下方、向左、向左上方、向上方、向右上方、向右、以及向右下方，分别如图5-图12所示。使用者还可飞行到肿瘤后面并观察紧靠肿瘤的血管。在此病例实例中，临床价值在于观察到由于肿瘤所导致的后循环血管从其正常解剖位置位移的能力。使用者可沿着肿瘤的表面周围飞行至前面，以便极佳地理解前循环血管以及它们由于肿瘤所导致的位移。
应当理解，虽然贯穿本说明书的参考尤其可使用系统100结合用于脑肿瘤的外科手术来进行，但是系统100可类似地用于患者104的各种解剖部位上的各种外科应用。
例如，系统100还可应用于神经血管病例以及肿瘤病例。在一个示例性动脉瘤病例中，飞行将从廊道外部开始，如图13所示，并且然后朝向颅骨开口移动，并且面朝前方恰好在颅骨开口边缘停止，如图14所示。然后可通过导航到不同视图实现患者特定解剖学研究，所述视图包括向下、向左下方、向左、向左上方、向上、向右上方、向右、以及向右下方，分别如图15-图22所示。这些视图使外科医生能够查找动脉瘤周围的所有细节。通过利用外科手术计划工具诸如Surgical theater的外科计划器(“SRP”)和具有3D模型化动脉瘤夹具库的SNAP高级VR能力，外科医生将能够虚拟地在动脉瘤部位内飞行，同时评估并计划在患者的实际解剖结构中的3D夹具放置。外科医生将能够观察解剖结构(即颈部、穹顶等)和与夹具相关的病灶，如同他站在患者体内一般。通过将他的头部向上、向下和向后移动到他的肩膀后面，外科医生获得手术过程的独特的、从未有过的、沉浸式评估和计划，如同他在患者病灶部位内“漫游”一般。
通过将SNAP连接到追踪装置，可在外科手术期间完成所描述的“虚拟导航操作”。在一个实例中，如图23所示，传感器2302追踪患者的头部2304相对于外科医生的位置或观察点2306并且相对于工具(显微镜、内窥镜、探针等)的定向。
在一个实例中，如图24所示，HMD 160'包括一个或多个传感器2402，以便于追踪外科医生的观察点。HMD 160'显示2502外科医生在外科手术期间将需要的所有信息，如图25A所示。具体而言，外科医生可从他的视点(通过内窥镜、显微镜等)来获取实况视频，并且查看扫描和MD6DM模型。他能够获得扩增实境视图，其将来自他检视实况外科部位的视点的实况视图与患者特定MD6DM模型组合，如图2所示。
再次参考图24，应当理解，解剖结构(即，头、脑、膝盖、肩膀等)的定向在实体患者和扫描医学图像(CT、MRI、超声、X射线等)中标记并预配准。因此，在外科手术中评估的患者的扫描医学图像和真实解剖结构的定向为同步且对准的。此外，随着透镜和光学部件改进，在一个实例中，HMD 160'可具有将与所有扫描图像和MD6DM同步并对准的内置HD光学系统2404(显微镜、摄影机等)。这允许消除传统的外科显微镜，以及那些系统的当前限制。在不改变眼镜和环的情况下，更大数量的外科医生可使用真实患者上方的个别HMD和头部对接台在“显微镜”条件下协作。头部对接台用于在关键显微外科手术环境中为直接操作者保持非常复杂的场景稳定，同时允许外部观察者欣赏完全相同的AR扩增的“显微镜下”场景。
再次参考图1，系统100还可包括类似于PlayStation、Xbox、PC游戏等控制器的控制器116，但是应当理解，控制器116可为任何合适控制器。其他可能控制器类型包括将在HMD 160'上进行屏显的AR控制器、手势识别接口或语音识别控制器等。外科医生102使用这些不同控制器116在系统选项与屏幕之间移动。
将参考图26中所示的使用方法2600进一步理解系统100。在步骤2602，准备病例信息。具体而言，将患者特定DICOM(CT、MRI等)数据上传到SNAP计算装置112中并进行处理以创建MD6DM。已由SNAP计算装置112创建的MD6DM也可由临床支持技术人员或外科医生102自己编辑。技术人员可调整模型以反映特定外科医生的偏好或意图。技术人员可调整组织分割，修改应用于患者数据的组织特定强度范围，或者改变组织的透明度。外科医生102还可在准备或操作期间的任何时间编辑模型。他可将作为MD6DM的一部分的多个DICOM数据集融合，所述数据集诸如CT和DTI或CT、MRI和DTI或已上传到SNAP计算装置112中的任何其他数据集，包括术中图像。外科医生102可以若干不同方式标记或突出所关注的体积。此外，所关注的体积不限于颅骨并且可用于身体的其他部分。如果DICOM数据集包含足够信息(1mm或更小切片厚度)，并且在体积采集中收集，则可对所成像解剖结构的任何部分进行模型化。准备继续进行，直到病例信息准备好并且外科医生102对所准备的视图感到满意。
在步骤2604，在定位和配准期间，SNAP计算装置112在真实生物体(例如神经外科手术中的头部)、系统100的传感器、DICOM扫描以及MD6DM之间进行匹配或共同配准。配准或“匹配”过程给出在外科手术期间导航的能力。重要的是在外科手术开始时进行所述映射过程，此时所有装置均被引入并且患者被定位用于外科手术。映射可通过若干方法来完成。方法取决于导航系统制造商并且包括表面基准配准、扫描患者的面部或通过基于点的配准，其涉及根据系统引导触摸患者头部上的点。不同制造商使用不同类型的传感器进行配准，并且具有MD6DM的SNAP可使用任何方法和传感器。
一旦配准完成，可在步骤2606进行即时导航。具体而言，外科医生102戴上HMD160'。他将从他的视点(内置摄影机)得到实况视频图片。通过利用控制器116，外科医生能够执行多种导航功能，包括：放大和缩小；添加传统扫描视图，包括在视图之间移动以及放大和缩小；添加MD6DM模型视图，包括围绕模型察看、模拟并确定轨迹、以及在病灶后面查看；以及在扩增实境视图中导航。即时导航功能由ARS计算装置112启用，所述ARS计算装置基于外科医生的运动和动作来利用追踪信息并且将实况视频馈送与预定义扫描和模型组合以呈现待递送给外科医生的图像。
使用导航，外科医生102能够确定避免主要血管的最佳途径。他可从同一个方向在HMD 160'下并排观看真实世界视图和MD6DM模型。在治疗脑膜瘤的一个示例性应用中，外科医生102能够看到脑膜瘤的后面并且发现病灶对患者的解剖结构的影响。在MD6DM上，外科医生102能够在切除脑膜瘤时观测肿瘤的边界，并且可看到他与血管或其他重要结构有多远。
在另一个示例性应用中，外科医生102能够使用内窥镜方法执行动脉瘤切割。在进行皮肤切开和开颅手术之前，外科医生102查询MD6DM并确定轨迹以避免主要血管和其他重要结构。在标记开颅术(关键孔)后，他将开始切口。外科医生102现在使用内窥镜106用于外科手术。在HMD 160'上，来自内窥镜摄影机的视图用预先构建模型的模拟内窥镜视图来扩增。可选地，外科医生102可获得并排内窥镜摄影机视图和具有内窥镜106的定向的模型。系统中的传感器根据外科医生102的运动来移动模型视点，以使得模型与即时视图保持对准。外科医生102可在视图之间移动，以便实现最微创方法，同时避免破坏其他关键结构。
在另一个实例中，外科医生102可将ARS 100用于神经血管病变，例如动脉瘤或动静脉畸形(AVM)。在配准步骤2604之前或之后，可在开颅手术切口之前确定或确认轨迹。外科医生102可使用患者特定病例模型来确定何种方法，内窥镜检查方法或开颅方法是最合适的。在配准之后，外科医生102将使用HMD 160'或其他VR显示器来向下解剖直至动脉瘤，同时交替地查看与模型并排的内窥镜/摄影机视图。如上所述，ARS系统100经由传感器输入知道要旋转并调整模型，以使得其保持与外科医生102的视图对准。当到达动脉瘤时，外科医生102能够评估动脉瘤颈部，并且在AR模型中围绕动脉瘤获得360度视图。为了额外的精确计划，外科医生102可虚拟地将不同夹具应用于动脉瘤，以帮助确保适当的夹具尺寸。
应当理解，本文描述的系统100允许外科医生102在情景感知增加的情况下执行内窥镜外科手术。操作者具有4视图显示器2700，如图27所示，其向外科医生呈现可在显示监测器108上或通过HMD160'显示的以下信息：来自内窥镜摄影机视图2702的即时视频馈送；来自SNAP 3D患者特定模型化场景中的内窥镜虚拟实境摄影机2704的实况虚拟视频馈送；SNAP的虚拟患者特定3D模型化场景(具有病灶的解剖结构)的可调整的“God's Eye视图”2706，其中虚拟内窥镜工具相对于患者的解剖结构以正确位置和定向显示；以及2D DICOM图像(轴向/冠状/矢状)的实况3面板视图2708，其中切片在所有视图中调整至当前内窥镜末端位置。
虚拟内窥镜视图2704在位置和定向两者以及摄影机参数(缩放、视场等)中与真实内窥镜摄影机2702对准。应当理解，外科医生102具有利用头部向量调整来控制虚拟内窥镜摄影机2704以执行向右/向左/向上/向下查看的能力。此允许他使虚拟摄影机2704与真实摄影机2702脱离，并且环顾周围以获得更好的情景感知。此外，外科医生102具有通过可调整的场景剪切和组织分割来调整God’s Eye视图(整个场景的定向高级视图)以定义他的优选场景视角的能力。
在一个实例中，当虚拟摄影机视图2704未与真实摄影机2702对准时，使用者看到虚拟摄影机视图2704上的标记，所述虚拟摄影机视图向他示出与真实摄影机2702的偏移量。
在一个实例中，显示在HMD 160'上的4屏输出2700可由使用者调整。具体而言，外科医生102能够每次在所有四(4)个屏幕之间切换，并且四(4)个屏幕中的任一个在显示器上最大化以获得全视图。
应当理解，在手术室中有许多系统在外科手术期间追踪使用者状态。因此，在一个实例中，AR HMD 160'将允许使用者可视化来自这些系统的信息，并且也从手术室外部获得通知，除非静音。这允许使用者保持关注于外科手术，同时仍然能够在外科手术期间处理所需信息，而不使他的眼睛离开患者。
在一个实例中，系统100与手术室中的视频系统整合，从而允许OR中的其他人观看使用者在他的HMD 160'中看到的内容。
在一个实例中，本文所描述的系统100和方法2600可以协作模式使用。在所述模式下，外科医生102可选择允许其他远程使用者在需要时加入场景。使用者可如下与远程使用者通信：1)耳机/扬声器用于听到所有其他远程使用者；2)麦克风用于与所有远程使用者通话；并且3)视频流包括两种形式之一：在AR模式中，使用者在HMD 160'上看到的扩增视图将为流传到其他远程使用者的视频，而在VR模式中，使用者可使用控制器116来选择查看其他远程使用者所看到的内容，或将其视图更改为自己的视图。
如图28所示，在协作模式下，场景中的其他使用者将被视为化身2810，其将示出其他使用者的位置、头部和身体移动。
为了在协作模式期间与使用者和场景通信，若干特征为可用的，包括：1)用于听到所有其他远程使用者的耳机/扬声器；2)用于与所有远程使用者通话的麦克风；3)用于追踪手部运动并将它们呈现在场景上的手部追踪器(每个使用者可表示为不同颜色)；4)用于选择并标记场景中的区域的3D标记；以及5)化身，其中场景中的其他使用者将被视为化身，其将显示其他使用者位置、头部和身体移动。
在协作模式的一个示例性应用中，在OR中基于SNAP病例计划开颅手术(在配准之后)的使用者能够打开从他的AR HMD 160'到远程外科医生的视频传输，以咨询或获得关于他的计划方案的反馈。外科医生协作者能够在远程系统上可视化在OR中的外科医生102所看到的内容。远程外科医生还能够与场景交互，并通过手部运动和虚拟工具虚拟地标记区域。
在一个实例中，“探索者”模式为可用的。在此模式下，将预定义点，并在场景中以依序编号来放置。当启用探索者功能时，使用者将在那些预先计划的点之间自动地虚拟地驱动，就如同他们在汽车的后座中一般。当使用者慢慢经过这些点时，他能够旋转他的头部并评估他周围的结构。
此探索者模式可用于以协作模式培训并且也可用于内窥镜外科手术期间。具体而言，使用者将能够冻结他的位置并且在他经过他预定义的探索者路径时讨论，这是在用于测试理解的教育环境中特别有用的功能。在内窥镜外科手术期间，到达预先计划的解剖结构点的能力消除了在体内和体外来回更换内窥镜和外科导航探针以在解剖期间连续检查位置和轨迹的需要，从而潜在地缩短外科手术。
在一个实例中，追踪系统将追踪OR中的所有工具和运动并且记录。这允许在OR外部的使用者看到外科医生102通过精细的器械运动和明显头部/身体运动来虚拟地执行的操作。它还允许直接手术小组汇报外科医生102在外科手术期间的操作，并且给予外科医生102一种在病例期间评估并批评其自身运动的方式。
应当理解，任何合适类型的头戴式显示器(HMD)160'可与系统100一起使用。图25B示出HDM 2900的替代实例。例如，HDM 2900包括无线天线(未示出)。因此，HDM 2900可无线地操作，并且因此消除在手术室中对于额外电缆的需要。
HDM 2900还包括处理器和存储器(未示出)。因此，在一个实例中，HDM 2900可被配置为接收、存储并处理MD6DM模型而不依赖于ARS计算装置112。例如，HDM 2900可在进入手术室之前预先装载适当MD6DM模型或与特定患者和手术相关的模型。这在手术室中提供了更多灵活性和移动性，而不需要在已拥挤的房间中增加额外设备。
在一个实例中，HDM 2900可能不具有存储并处理完全MD6DM模型的足够存储器或处理能力。因此，在一个实例中，ARS计算装置112可被配置为产生扩增实境模型的轻量级或最低限度版本，并且在外科医生使HDM 2900进入OR之前将轻量级版本传输到HDM2900。例如，如果大脑的某一层细节对于执行某一手术并非必需的，则可从模型中移除所述层信息，从而创建可更容易地在HDM 2900上存储并处理的更轻版本。
应当理解，本文描述的示例性系统和方法可以若干方式缩放。例如，虽然已经参照单个HDM描述了示例性系统和方法，但是应当理解，所述系统可包括在外科手术期间在手术室内使用多个HDM的多个外科医生或使用者，所有这些都基于他们在房间内的位置和方向而相对同时地接收他们自己的定制扩增实境体验。另外，在外科手术时不存在于OR中的远程使用者或甚至存在于OR中的使用者可经历来自OR中的其他使用者之一的视角的扩增实境体验。
在一个实例中，手术室可包括放置在房间各处的多个摄影机或传感器，以便无论使用者处于任何位置都可追踪使用者。因此，并非限制在患者的特定侧或部分，而是使用者可在外科手术期间围绕患者360度走动，并且在房间中的任何位置从患者的任一侧或角度体验扩增实境图像。
在一个实例中，附加输入源可整合到扩增实境体验中，其可适合于向外科医生提供可能有助于在外科手术期间参考的适当信息。例如，外科医生可具有安装在头戴式装置上的附加摄影机，其可提供除了从内窥镜检查接收的视频馈送之外可扩增的另一透视实况视频馈送。在另一个实例中，附加摄影机可为浮动摄影机，其安装在手术室中的某个固定位置或者在房间各处可移动。
图30为用于实现图1的示例性AR计算装置112的示例性计算机的示意图。示例性计算机3000意图表示各种形式的数字计算机，包括膝上型计算机、桌上型计算机、手持式计算机、平板计算机、智能电话、服务器以及其他类似类型的计算装置。计算机3000包括经由总线3012通过接口3010可操作地连接的处理器3002、存储器3004、存储装置3006、以及通信端口3008。
处理器3002经由存储器3004处理用于在计算机3000内执行的指令。在一个示例性实施方案中，可使用多个处理器合多个存储器。
存储器3004可为易失性存储器或非易失性存储器。存储器3004可为计算机可读介质，诸如磁盘或光盘。存储装置3006可为计算机可读介质，诸如软盘装置、硬盘装置、光盘装置、磁带装置、闪速存储器、相变存储器或其他类似固态存储器装置或者装置阵列，包括其他配置的存储区域网络中的装置。计算机程序产品可有形地体现在计算机可读介质诸如存储器3004或存储装置3006中。
计算机3000可耦合到一个或多个输入和输出装置，诸如显示器3014、打印机3016、扫描器3018以及鼠标3020。
虽然已经通过描述实例来示出示例性系统、方法等，并且尽管已经相当详细地描述了实例，但是并不意图将所附权利要求书的范围限定或以任何方式限制于此细节。当然，不可能为了描述本文所描述的系统、方法等的目的而描述部件或方法的每个可想到的组合。其他优点和修改对于本领域技术人员而言将是显而易见的。因此，本发明不限于具体细节，以及所示出或描述的说明性实例。因此，本申请意图包括属于所附权利要求书的范围内的变化、修改和变更。此外，前面的描述并不意图限制本发明的范围。相反，本发明的范围由所附权利要求书及其等效物来决定。
在说明书或权利要求书中使用术语“包含(includes/including)”的情况下，其意图以类似于术语“包括(comprising)”的方式作为包含性的，所述术语在权利要求书中使用时作为过渡词来理解。此外，在使用术语“或”(例如，A或B)的情况下，其意图表示“A或B或两者”。当申请人意图指示“仅A或B而不是两者”时，则将采用术语“仅A或B而不是两者”。因此，本文中术语“或”的使用为包含性的，而非排他性使用。参见Bryan A.Garner,A Dictionaryof Modern Legal Usage624(1995年第2版)。此外，在说明书或权利要求书中使用术语“在...中”或“到...中”的情况下，其意图另外表示“在...上”或“到...上”。此外，在说明书或权利要求书中使用术语“连接”的情况下，其不仅意图表示“直接连接到”，而且意图表示“间接连接到”，例如通过另一个部件或多个部件连接。
本发明的许多其他示例性实施方案可通过上述特征的各种组合来提供。尽管上文使用具体实例和实施方案描述了本发明，但是本领域技术人员应当理解，可使用各种替代方案，并且等效物可替代本文描述的元件和/或步骤，而不一定偏离本发明的预期范围。在不背离本发明的预期范围的情况下，为了使本发明适于特定情况或特定需要，修改可为必要的。预期本发明不限于本文描述的特定实行方式和实施方案，而是应给予权利要求书最宽泛的合理解释以涵盖由其公开或未公开的所有新颖且和非显而易见的实施方案，无论字面上的或等效的实施方案。

Claims (13)

1.一种扩增实境的外科导航系统，其包括：
一个或多个处理器；
一个或多个计算机可读有形存储装置；
至少一个传感器，其用于检测关于使用者相对于患者的位置的信息；以及
存储在所述一个或多个存储装置中的至少一个上的程序指令，其通过所述一个或多个处理器中的至少一个执行，所述程序指令包括：
第一程序指令，其用于准备与患者相关联的多维虚拟模型；
第二程序指令，其用于接收指示使用者检视所述患者的当前视图的追踪信息，包括通过所述传感器检测到的所述使用者相对于所述患者的位置和所述使用者检视所述患者的视角；
第三程序指令，其用于基于所接收追踪信息在所述虚拟模型中识别虚拟视图，其中所识别虚拟视图对应于所述使用者检视所述患者的视图；
第四程序指令，其用于基于所识别虚拟视图从所述虚拟模型中呈现虚拟图像；以及
第五程序指令，其用于将所呈现虚拟图像传送到显示器，其中所呈现虚拟图像与所述使用者的视图组合以形成所述患者的扩增实境视图；
第六程序指令，其用于接收对应于所述使用者检视所述患者的视图的实况视频馈送；以及
第七程序指令，其用于通过连续地即时呈现虚拟图像并且将所述虚拟图像与所述实况视频馈送组合来产生所述患者的扩增实境视图，其中所述虚拟图像与基于追踪信息的所述实况视频馈送同步，
其中，所述扩增实境的外科导航系统并入有多维全球虚拟实境六自由度模型特征；
所述第二程序指令进一步被配置为当使用者相对于所述患者的位置和所述使用者检视所述患者的视角改变时，连续地即时接收更新的追踪信息；并且
所述第三程序指令进一步被配置为连续地即时地识别对应于谨慎更新的追踪信息的虚拟视图，以使得所述虚拟视图与所述使用者检视所述患者的视图连续地同步。
2.如权利要求1所述的系统，其中用于准备所述虚拟模型的所述第一程序指令被配置为基于所接收的患者特定DICOM数据来构建所述模型。
3.如权利要求1所述的系统，其中所述程序指令还包括用于接收附加数据输入的第八程序指令，并且其中所述第三程序指令被配置为将所述附加数据输入与所呈现虚拟图像整合。
4.如权利要求1所述的系统，其中：
所述第二程序指令进一步被配置为接收指示第二使用者检视所述患者的当前视图的第二追踪信息，包括所述第二使用者相对于所述患者的位置和所述第二使用者检视所述患者的视角，其中所述第二使用者的当前视图不同于所述使用者检视所述患者的当前视图；
所述第三程序指令进一步被配置为基于所接收第二追踪信息在所述虚拟模型中识别第二虚拟视图，其中所识别第二虚拟视图对应于所述第二使用者检视所述患者的视图；
所述第四程序指令进一步被配置为基于所识别第二虚拟视图从所述虚拟模型呈现第二虚拟图像；并且
所述第五程序指令进一步被配置为将所呈现的第二虚拟图像传送到第二显示器，其中在所呈现的第一虚拟图像传送到第一显示器的同时，所呈现的第二虚拟图像与所述第二使用者的视图组合以形成所述患者的第二扩增实境视图。
5.如权利要求1所述的系统，其中第三程序指令被配置为从设置于整个房间中的多个传感器之一接收追踪信息，从而能够围绕所述患者360度追踪位置。
6.如权利要求1所述的系统，其中第三程序指令被配置为从设置于由使用者佩戴的HDM上的一个或多个传感器接收追踪信息，从而能够围绕所述患者360度追踪位置。
7.一种计算机程序产品，其包括一个或多个计算机可读有形存储装置和存储在所述一个或多个存储装置中的至少一个上的程序指令，所述程序指令包括：
第一程序指令，其用于准备与患者相关联的多维虚拟模型；
第二程序指令，其用于接收指示使用者检视所述患者的当前视图的追踪信息，包括所述使用者相对于所述患者的位置和所述使用者检视所述患者的视角；
第三程序指令，其用于基于所接收追踪信息在所述虚拟模型中识别虚拟视图，其中所识别虚拟视图对应于所述使用者检视所述患者的视图；
第四程序指令，其用于基于所识别虚拟视图从所述虚拟模型中呈现虚拟图像；以及
第五程序指令，其用于将所呈现虚拟图像传送到显示器，其中所呈现虚拟图像与所述使用者的视图组合以形成所述患者的扩增实境视图；
第六程序指令，其用于接收对应于所述使用者检视所述患者的视图的实况视频馈送；以及
第七程序指令，其用于通过连续地即时呈现虚拟图像并且将所述虚拟图像与所述实况视频馈送组合来产生所述患者的扩增实境视图，其中所述虚拟图像与基于所述追踪信息的所述实况视频馈送同步，
其中，所述扩增实境的外科导航系统并入有多维全球虚拟实境六自由度模型特征；
所述第二程序指令进一步被配置为当使用者相对于所述患者的位置和所述使用者检视所述患者的视角改变时，连续地即时接收更新的追踪信息；并且
所述第三程序指令进一步被配置为连续地即时地识别对应于谨慎更新的追踪信息的虚拟视图，以使得所述虚拟视图与所述使用者检视所述患者的视图连续地同步。
8.如权利要求7所述的计算机程序产品，其中用于准备所述虚拟模型的所述第一程序指令被配置为基于接收的患者特定DICOM数据来构建所述模型。
9.如权利要求7所述的计算机程序产品，其中所述程序指令还包括用于接收附加数据输入的第八程序指令，并且其中所述第三程序指令被配置为将所述附加数据输入与所呈现虚拟图像整合。
10.如权利要求7所述的计算机程序产品，其中：
所述第二程序指令进一步被配置为接收指示第二使用者检视所述患者的当前视图的第二追踪信息，包括所述第二使用者相对于所述患者的位置和所述第二使用者检视所述患者的视角，其中所述第二使用者的当前视图不同于所述使用者检视所述患者的当前视图；
所述第三程序指令进一步被配置为基于所接收第二追踪信息在所述虚拟模型中识别第二虚拟视图，其中所识别第二虚拟视图对应于所述第二使用者检视所述患者的视图；
所述第四程序指令进一步被配置为基于所识别第二虚拟视图从所述虚拟模型呈现第二虚拟图像；并且
所述第五程序指令进一步被配置为将所呈现第二虚拟图像传送到第二显示器，其中在所呈现第一虚拟图像传送到第一显示器的同时，所呈现第二虚拟图像与所述第二使用者的视图组合以形成所述患者的第二扩增实境视图。
11.如权利要求7所述的计算机程序产品，其中第三程序指令被配置为从设置于整个房间中的多个传感器之一接收追踪信息，从而能够围绕所述患者360度追踪位置。
12.如权利要求7所述的计算机程序产品，其中第三程序指令被配置为从设置于由使用者佩戴的HDM上的一个或多个传感器接收追踪信息，从而能够围绕所述患者360度追踪位置。
13.一种扩增实境的外科导航系统，其包括：
一个或多个处理器；
一个或多个计算机可读有形存储装置；
第一传感器，其用于检测关于使用者相对于患者的位置的信息；
第二传感器，其用于捕获基于所述使用者的当前活动的图像；以及
存储在所述一个或多个存储装置中的至少一个上的程序指令，其通过所述一个或多个处理器中的至少一个执行，所述程序指令包括：
第一程序指令，其用于准备与患者相关联的多维虚拟模型；
第二程序指令，其用于接收指示由所述第一传感器检测到的使用者相对于所述患者的当前位置的追踪信息；
第三程序指令，其用于接收并处理基于所述使用者的当前活动的所述图像；
第四程序指令，其用于基于所接收追踪信息在所述虚拟模型中识别虚拟视图，其中所识别虚拟视图对应于所述使用者的当前活动；
第五程序指令，其用于基于所识别虚拟视图从所述虚拟模型呈现虚拟图像；以及
第六程序指令，其用于将所呈现虚拟图像传送到显示器，其中所呈现虚拟图像与基于所述使用者的所述当前活动的所述图像组合以形成所述患者的扩增实境视图，
第七程序指令，其用于接收对应于所述使用者检视所述患者的视图的实况视频馈送；以及
第八程序指令，其用于通过连续地即时呈现虚拟图像并且将所述虚拟图像与所述实况视频馈送组合来产生所述患者的扩增实境视图，其中所述虚拟图像与基于所述追踪信息的所述实况视频馈送同步，
其中，所述扩增实境的外科导航系统并入有多维全球虚拟实境六自由度模型特征；
所述第二程序指令进一步被配置为当使用者相对于所述患者的位置和所述使用者检视所述患者的视角改变时，连续地即时接收更新的追踪信息；并且
所述第三程序指令进一步被配置为连续地即时地识别对应于谨慎更新的追踪信息的虚拟视图，以使得所述虚拟视图与所述使用者检视所述患者的视图连续地同步。
CN201680002101.XA 2015-10-14 2016-10-13 扩增实境的外科导航 Expired - Fee Related CN107613897B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562241447P 2015-10-14 2015-10-14
US62/241,447 2015-10-14
PCT/US2016/056727 WO2017066373A1 (en) 2015-10-14 2016-10-13 Augmented reality surgical navigation

Publications (2)

Publication Number Publication Date
CN107613897A CN107613897A (zh) 2018-01-19
CN107613897B true CN107613897B (zh) 2021-12-17

Family

ID=58517893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002101.XA Expired - Fee Related CN107613897B (zh) 2015-10-14 2016-10-13 扩增实境的外科导航

Country Status (8)

Country Link
US (2) US11197722B2 (zh)
EP (1) EP3361979A4 (zh)
JP (2) JP2018534011A (zh)
CN (1) CN107613897B (zh)
BR (1) BR112018007473A2 (zh)
CA (1) CA2997965C (zh)
TW (1) TWI745307B (zh)
WO (1) WO2017066373A1 (zh)

Families Citing this family (204)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
ITUB20155830A1 (it) * 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US20190090744A1 (en) * 2016-02-29 2019-03-28 Mohamed R. Mahfouz Connected Healthcare Environment
CN109564785A (zh) 2016-08-12 2019-04-02 波士顿科学国际有限公司 具有用户界面特征的分布式交互医学可视化系统
CN109564471B (zh) * 2016-08-12 2022-08-23 波士顿科学国际有限公司 具有主/次交互特征的分布式交互医学可视化系统
EP3506830A4 (en) * 2016-08-30 2020-01-08 Abella, Gustavo APPARATUS AND METHOD FOR OPTICAL ULTRASOUND SIMULATION
US11213364B2 (en) * 2016-12-07 2022-01-04 Koninklijke Philips N.V. Image guided motion scaling for robot control
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US20180247712A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
WO2018195456A1 (en) 2017-04-20 2018-10-25 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
WO2018201155A1 (en) * 2017-04-28 2018-11-01 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
AU2018262533B2 (en) 2017-05-05 2024-01-18 Stryker European Operations Limited Surgical navigation system
KR102559598B1 (ko) 2017-05-08 2023-07-25 마시모 코오퍼레이션 동글을 이용하여 의료 시스템을 네트워크 제어기에 페어링하기 위한 시스템
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
EP3412242A1 (de) * 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11284955B2 (en) 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3336848B1 (en) * 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
WO2019046825A1 (en) * 2017-08-31 2019-03-07 The Regents Of The University Of California IMPROVED ULTRASONIC SYSTEMS AND METHODS
US10861236B2 (en) * 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
WO2020060279A1 (en) 2017-09-21 2020-03-26 Samsung Electronics Co., Ltd. Un-occluded visualization of focus with depth continuity with context in volume rendering
TWI663546B (zh) * 2017-10-02 2019-06-21 宏碁股份有限公司 可支援虛擬實境應用程式的混合實境系統及其顯示方法
WO2019083805A1 (en) * 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291465B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Surgical instruments comprising a lockable end effector socket
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11406390B2 (en) 2017-10-30 2022-08-09 Cilag Gmbh International Clip applier comprising interchangeable clip reloads
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US20190200981A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11056244B2 (en) * 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
WO2019141704A1 (en) 2018-01-22 2019-07-25 Medivation Ag An augmented reality surgical guidance system
TW201935490A (zh) * 2018-01-26 2019-09-01 美商外科劇院有限責任公司 用於患者參與之系統及方法
US10864043B2 (en) * 2018-02-09 2020-12-15 Kathleen M Douglas Interactive placement of a 3D digital representation of a surgical device or anatomic feature into a 3D radiologic image for pre-operative planning
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11213294B2 (en) 2018-03-28 2022-01-04 Cilag Gmbh International Surgical instrument comprising co-operating lockout features
EP3773305A4 (en) * 2018-04-09 2021-12-15 7D Surgical ULC SYSTEMS AND PROCEDURES FOR INTRAOPERATIVE LEADERSHIP
US10248981B1 (en) * 2018-04-10 2019-04-02 Prisma Systems Corporation Platform and acquisition system for generating and maintaining digital product visuals
TWI671762B (zh) * 2018-05-17 2019-09-11 高雄榮民總醫院 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
WO2019238214A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Visualization of medical data depending on viewing-characteristics
WO2019238209A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Gesture control of medical displays
EP3810013A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Neural network for recommendation of shoulder surgery type
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
CA3105192A1 (en) * 2018-06-27 2020-01-02 SentiAR, Inc. Gaze based interface for augmented reality environment
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
US11429333B2 (en) * 2018-09-22 2022-08-30 BadVR, Inc. Immersive data visualization
WO2020068681A1 (en) * 2018-09-24 2020-04-02 Surgical Theater Inc. 360 vr volumetric media editor
US11062527B2 (en) * 2018-09-28 2021-07-13 General Electric Company Overlay and manipulation of medical images in a virtual environment
EP3841590A1 (en) * 2018-10-12 2021-06-30 Sony Corporation Surgical support system, data processing apparatus and method
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
BR102018072428A2 (pt) * 2018-10-31 2020-05-26 Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me Sistema guia com realidade aumentada
KR102270170B1 (ko) * 2018-11-14 2021-06-25 임승준 증강 현실을 이용한 수술 보조 장치
CN109410680A (zh) * 2018-11-19 2019-03-01 叶哲伟 一种基于混合现实的虚拟手术训练方法及系统
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109545003B (zh) * 2018-12-24 2022-05-03 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
WO2020167997A1 (en) * 2019-02-12 2020-08-20 Surgical Theater, Inc. System and method for modeling neurological activity
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11331101B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Deactivator element for defeating surgical stapling device lockouts
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
CN109864820A (zh) * 2019-03-19 2019-06-11 安徽紫薇帝星数字科技有限公司 一种基于ct三维模型映射混合定位导航系统
TWI696085B (zh) * 2019-06-06 2020-06-11 崑山科技大學 虛擬實境輔助室內設計系統及其互動方法
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
US20210015583A1 (en) * 2019-07-15 2021-01-21 Surgical Theater, Inc. Augmented reality system and method for tele-proctoring a surgical procedure
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
US11871904B2 (en) 2019-11-08 2024-01-16 Covidien Ag Steerable endoscope system with augmented view
USD991279S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface
USD991278S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface for auxiliary reading
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US20210241534A1 (en) * 2020-01-31 2021-08-05 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US20230355315A1 (en) * 2020-02-28 2023-11-09 8Chili, Inc. Surgical navigation system and applications thereof
US20230093342A1 (en) * 2020-03-30 2023-03-23 Intuitive Surgical Operations, Inc. Method and system for facilitating remote presentation or interaction
EP3893239B1 (en) 2020-04-07 2022-06-22 Stryker European Operations Limited Surgical system control based on voice commands
US11832883B2 (en) * 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US20210330395A1 (en) * 2020-04-23 2021-10-28 Johnson & Johnson Surgical Vision, Inc. Location pad surrounding at least part of patient eye for tracking position of a medical instrument
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11701176B2 (en) 2020-05-06 2023-07-18 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN111651043B (zh) * 2020-05-29 2021-10-12 北京航空航天大学 一种支持定制化多通道交互的增强现实系统
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
TWI792106B (zh) 2020-07-09 2023-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與顯示系統
EP3951749A1 (en) * 2020-08-06 2022-02-09 Virtonomy GmbH Collaborative system for visual analysis of a virtual medical model
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN112258390B (zh) * 2020-09-10 2021-06-25 华中师范大学 一种高精度微观虚拟学习资源生成方法
US11138806B1 (en) * 2020-12-14 2021-10-05 MediVis, Inc. Distributed augmented reality image display and generation of composite images
US11430562B2 (en) * 2021-01-04 2022-08-30 Healthy.Io Ltd. Selective reaction to failure to complete medical action
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
CN113100935A (zh) * 2021-04-13 2021-07-13 上海大学 一种肺部穿刺手术术前穿刺路径规划方法及训练系统
WO2022229814A1 (en) * 2021-04-27 2022-11-03 Cilag Gmbh International Surgical stapler reload simulation
US11948226B2 (en) * 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
CN115437490A (zh) * 2021-06-01 2022-12-06 深圳富桂精密工业有限公司 交互方法、装置、服务器及计算机可读存储介质
CN113633387B (zh) * 2021-06-21 2024-01-26 安徽理工大学 术野追踪的扶持腹腔镜微创机器人触力交互方法和系统
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
WO2023094913A1 (en) * 2021-11-23 2023-06-01 Medtronic, Inc. Extended intelligence ecosystem for soft tissue luminal applications
WO2023114470A1 (en) * 2021-12-16 2023-06-22 University Of Miami Augmented and mixed reality incorporating pathology results in surgical settings
US20230240790A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for providing an augmented display
US11855831B1 (en) 2022-06-10 2023-12-26 T-Mobile Usa, Inc. Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1008128A3 (nl) 1994-03-10 1996-01-23 Materialise Nv Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie.
BE1008372A3 (nl) 1994-04-19 1996-04-02 Materialise Nv Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel.
US5623582A (en) 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6113395A (en) 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP3559495B2 (ja) 2000-03-28 2004-09-02 京セラ株式会社 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路
US6939138B2 (en) 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
AU2001260559A1 (en) 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US20020059284A1 (en) 2000-10-20 2002-05-16 Ran Bronstein Method for rapid transfer of data with a multi-spline model
IL143255A (en) 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
FR2836372B1 (fr) 2002-02-28 2004-06-04 Obl Procede et dispositif pour la mise en place d'implants dentaires
SE0202863D0 (sv) 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
SE525157C2 (sv) 2002-12-03 2004-12-14 Mentice Ab Simuleringssystem för invasiv kirurgi
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US7101383B1 (en) 2003-11-26 2006-09-05 Van Ess Lester J Laparoscopic instrument and method for its use
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8702580B2 (en) 2004-10-06 2014-04-22 Brainlab Ag Method and device for assisting in a tissue treatment
US8480404B2 (en) 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
JP2006223374A (ja) 2005-02-15 2006-08-31 Olympus Corp 手術支援装置、手術支援システム及び手術支援方法
US8249687B2 (en) * 2005-06-02 2012-08-21 Vital Images, Inc. Systems and methods for virtual identification of polyps
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070129626A1 (en) 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20070134637A1 (en) 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
US20070248261A1 (en) 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
GB0609988D0 (en) 2006-05-19 2006-06-28 Materialise Nv Method for creating a personalized digital planning file for simulation of dental implant placement
US20120150243A9 (en) 2006-08-31 2012-06-14 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
DE102006056884A1 (de) 2006-12-01 2008-06-05 Siemens Ag Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten
WO2008076079A1 (en) * 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
WO2008087629A2 (en) 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
US8543338B2 (en) 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
GB0703141D0 (en) 2007-02-19 2007-03-28 Materialise Dental Nv Dual transfer device for guided direct bonding
JP5335201B2 (ja) * 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
DE102007053008A1 (de) 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
US8956165B2 (en) 2008-01-25 2015-02-17 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9679499B2 (en) 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
JP5215828B2 (ja) 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
GB0822590D0 (en) 2008-12-11 2009-01-21 Materialise Nv Orthotic prosthetic cushioned device and method of making the same
WO2010083272A1 (en) 2009-01-15 2010-07-22 Simquest Llc Interactive simulation of biological tissue
US8685093B2 (en) 2009-01-23 2014-04-01 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
US9099015B2 (en) 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
US9104791B2 (en) 2009-05-28 2015-08-11 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US10580325B2 (en) 2010-03-24 2020-03-03 Simbionix Ltd. System and method for performing a computerized simulation of a medical procedure
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
WO2012033739A2 (en) 2010-09-08 2012-03-15 Disruptive Navigational Technologies, Llc Surgical and medical instrument tracking using a depth-sensing device
US9788905B2 (en) 2011-03-30 2017-10-17 Surgical Theater LLC Method and system for simulating surgical procedures
JP6072017B2 (ja) 2011-06-10 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学形状センシングに伴う動的な制約
CN102354345A (zh) 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
IN2014DN08500A (zh) 2012-05-25 2015-05-15 Surgical Theater LLC
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
EP2961325A2 (en) * 2013-02-26 2016-01-06 Butterfly Network Inc. Transmissive imaging and related apparatus and methods
EP2996557B1 (en) * 2013-03-11 2019-05-01 Institut Hospitalo-Universitaire de Chirurgie Mini -Invasive Guidee Par l'Image Anatomical site relocalisation using dual data synchronisation
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10070929B2 (en) * 2013-06-11 2018-09-11 Atsushi Tanji Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US20150019260A1 (en) * 2013-07-09 2015-01-15 Pristine Methods and systems for presenting medical information
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US9990771B2 (en) * 2013-08-28 2018-06-05 Aurelian Viorel DRAGNEA Method and system of displaying information during a medical procedure
CN105992996B (zh) 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
CA2949241A1 (en) * 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统

Also Published As

Publication number Publication date
CA2997965A1 (en) 2017-04-20
CN107613897A (zh) 2018-01-19
JP2022017422A (ja) 2022-01-25
CA2997965C (en) 2021-04-27
US20170367771A1 (en) 2017-12-28
TW201717837A (zh) 2017-06-01
US20210022812A1 (en) 2021-01-28
TWI745307B (zh) 2021-11-11
WO2017066373A1 (en) 2017-04-20
EP3361979A1 (en) 2018-08-22
US11197722B2 (en) 2021-12-14
JP2018534011A (ja) 2018-11-22
BR112018007473A2 (pt) 2018-10-23
EP3361979A4 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
CN107613897B (zh) 扩增实境的外科导航
US11532135B2 (en) Dual mode augmented reality surgical system and method
US10951872B2 (en) Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays with real time visualization of tracked instruments
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211217

CF01 Termination of patent right due to non-payment of annual fee