CN104271066A - 具有不用手的控制的混合图像/场景再现器 - Google Patents

具有不用手的控制的混合图像/场景再现器 Download PDF

Info

Publication number
CN104271066A
CN104271066A CN201380022805.XA CN201380022805A CN104271066A CN 104271066 A CN104271066 A CN 104271066A CN 201380022805 A CN201380022805 A CN 201380022805A CN 104271066 A CN104271066 A CN 104271066A
Authority
CN
China
Prior art keywords
image
instrument
user
display
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380022805.XA
Other languages
English (en)
Other versions
CN104271066B (zh
Inventor
A·Y·格里
M·艾维萨尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Surgical Theater Inc
Original Assignee
Surgical Theater Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Surgical Theater Inc filed Critical Surgical Theater Inc
Priority to CN201710993264.5A priority Critical patent/CN107822690B/zh
Publication of CN104271066A publication Critical patent/CN104271066A/zh
Application granted granted Critical
Publication of CN104271066B publication Critical patent/CN104271066B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/122—Clamps or clips, e.g. for the umbilical cord
    • A61B17/1227—Spring clips
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/128—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips
    • A61B17/1285—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring

Abstract

本发明公开一种用于通过使组织动力学模型和工具特性联接到患者特定图像来将特定患者的静态/静止医疗图像转化成与包括医疗装置的医疗工具交互作用的动态和交互式图像的系统和方法，以用于通过使组织动力学模型联接到患者特定图像来以准确和动态的方式模拟医疗过程以便模拟针对特定患者的外科手术。所述方法包括用于添加和/或调整动态组织图像的工具和在所述动态组织图像上绘制任何几何形状并且将所述形状添加到建模系统中的能力。

Description

具有不用手的控制的混合图像/场景再现器
相关申请的交叉引用
本申请要求2012年5月25日提交的美国临时申请序列号61/651,775的权益并且以引用的方式并入本文中。
背景
本申请一般来说涉及一种用于模拟外科手术过程的系统和方法。更具体来说，本申请涉及一种通过使用不用手的控制将组织动力学模型联接到患者特定图像来将静态/静止医疗图像转化成与医疗工具(例如像外科手术工具、探针和/或植入式医疗装置)交互作用的动态和交互式图像的系统和方法。
外科医生缺乏练习工具和准备工具，所述工具将为他们提供具有物理组织性质的真实视觉模型。更重要的是，需要具有包含以下各项的“完全沉浸式”外科手术工具:(i)患者特定外科手术区域(例如，动脉瘤)的真实的“逼真的”2D和/或3D显示；(ii)局部患者特定外科手术区域几何形状和物理性质的建模；(iii)使得能够操纵外科手术模型的患者特定区域并且实际上执行外科手术动作(如切割、转移和夹紧)的接口；以及(iv)向外科医生提供反馈提示的接口。
此外，允许外科医生使用不用手的控制来执行模拟的工具连同用于纠正组织模型的图形图像中的缺陷或以其它方式修改所述图形图像的装置一起也将是有用的。
概述
本发明提供多个示例性实施方案，这些实施方案包括但不限于一种用于执行医疗过程的建模系统，所述建模系统包括:显示器；图像生成器，所述图像生成器用于生成动态组织图像以便在显示器上显示，所述生成是用于在显示器上显示真实地表示对应实际生物组织的组织；用户工具生成器，所述用户工具生成器用于生成用户工具的工具模型以便在显示器上显示，所述工具模型用于通过由用户输入提供的操纵来与动态组织图像动态地交互作用；以及用户接口，所述用户接口提供用于调整显示在显示器上的动态组织图像的工具，所述调整是通过添加或修改组织的特征来进行，以补偿位于实际生物组织中但最初显示的动态组织图像中所缺少的解剖结构，以使得所显示的动态组织图像随后与添加或修改的特征一起显示在显示器上。所述工具模型在显示器上被显示为与动态组织图像动态地交互作用以便真实地模拟医疗过程。
本发明还提供一种使得用户能够执行模拟医疗过程的建模系统，所述系统包括:一个或多个计算机；显示器，所述显示器用于向用户显示图像；数据库，所述数据库用于存储特定患者的组织的物理特性；图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便生成特定患者的组织的动态真实图像以便在显示器上显示，其中所述组织的真实图像被提供为示出指示特定患者的组织的外观，所述外观包括阴影效果和纹理；用户工具库，所述用户工具库用于提供医疗过程中所使用的实际用户工具的多个用户工具模型；用户接口，所述用户接口用于从用户接受用于选择所述用户工具模型中的一个的输入；用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所选择用户工具模型的真实工具图像以便在显示器上显示；用户接口，所述用户接口用于从用户接受输入，所述输入用于动态地操纵所选择用户工具图像以便在模拟医疗过程期间与所述组织的真实图像动态地交互作用，以便在显示器上向用户实时显示；以及用户接口，所述用户接口提供用于调整显示在显示器上的动态组织图像的工具，所述调整是通过添加或修改组织的特征来进行，以补偿位于特定患者的实际生物组织中但最初显示的动态组织图像中所缺少的解剖结构，以使得所显示的动态组织图像随后与添加或修改的特征一起显示在显示器上。用户工具图像与组织的图像之间的动态交互作用是使用具有真实视觉特征的图像来显示在显示器上，所述真实视觉特征基于所存储的物理特性展示出真实的机械交互作用。
本发明进一步提供一种用于执行外科手术模拟的建模系统，所述建模系统包括:数据库，所述数据库用于存储从特定患者的医疗图像取得或得到的患者组织图像信息；所述数据库还用于存储所述组织的标准特性；显示器；图像生成器，所述图像生成器用于生成特定患者的动态组织图像以便在显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在显示器上被显示为真实地表示特定患者的对应实际组织；用户工具生成器，所述用户工具生成器用于生成用户工具的工具模型以便在显示器上显示，所述工具模型用于通过由用户提供的操纵来与所述动态组织图像动态地交互作用；以及用户接口，所述用户接口提供用于调整显示在显示器上的动态组织图像的工具，所述调整是通过添加或修改组织的特征来进行，以补偿位于特定患者的实际生物组织中但最初显示的动态组织图像中所缺少的解剖结构，以使得所显示的动态组织图像随后与添加或修改的特征一起显示在显示器上。所述工具模型在显示器上被显示为与动态组织图像动态地交互作用以便真实地模拟医疗过程。
本发明还提供一种用于使得用户能够执行模拟医疗过程的建模系统，所述系统包括:一个或多个计算机；显示器，所述显示器用于向用户显示图像；数据库，所述数据库用于存储特定患者的组织的特性；图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便基于特定患者的所存储特性生成特定患者的组织的动态真实图像以便在显示器上显示，其中所述组织的真实图像被提供为示出指示特定患者的组织的外观，所述外观包括阴影效果和纹理；用户工具库，所述用户工具库用于提供医疗过程中所使用的实际用户工具的多个用户工具模型；用户接口，所述用户接口用于从用户接受用于选择所述用户工具模型中的一个的输入；用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所选择用户工具模型的真实工具图像以便在显示器上显示；以及用户接口，所述用户接口包括用于从用户接受不用手的输入的摄像机，所述输入用于动态地操纵所选择用户工具图像和/或组织的图像以便在模拟医疗过程期间与所述组织的真实图像动态地交互作用，以便在显示器上向用户实时显示。用户工具图像与组织的图像之间的动态交互作用是使用具有真实视觉特征的图像来显示在显示器上，所述真实视觉特征展示出真实的机械交互作用。
本发明还提供一种用于使得用户能够执行模拟医疗过程的建模系统，所述系统包括:一个或多个计算机；显示器，所述显示器用于向用户显示图像；图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便生成特定患者的组织的动态真实图像以便在显示器上显示，其中所述组织的真实图像被提供为示出指示实际组织的外观，所述外观包括阴影效果和纹理；数据库，所述数据库用于存储用户工具库，所述用户工具库提供医疗过程中所使用的实际用户工具的多个用户工具模型；用户接口，所述用户接口用于从用户接受用于选择所述用户工具模型中的一个的输入；用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所选择用户工具模型的真实工具图像以便在显示器上显示；以及用户接口，所述用户接口可跟踪由用户用于特定患者的实际外科手术仪器的运动，以使得所述运动用于动态地操纵所选择用户工具图像和/或组织的图像以便在模拟医疗过程期间与所述组织的真实图像动态地交互作用，以便在显示器上向用户实时显示。
本发明进一步提供一种执行外科手术模拟的方法，所述方法包括以下步骤:
提供计算机系统；
提供连接到计算机装置的显示器；
获得关于特定患者的生物组织的患者图像信息以便存储在计算机系统中；
使用计算机系统生成特定患者的生物组织的动态图像以便在显示器上显示，所述生成使用患者图像信息以使得动态组织图像在显示器上被显示为真实地表示特定患者的对应实际组织；
使用计算机系统生成用户工具模型以便在显示器上显示，所述用户工具模型用于通过由用户输入的操纵来与动态组织图像动态地交互作用；
使用对计算机系统的用户输入调整显示在显示器上的动态组织图像，所述调整是通过添加或修改供显示的组织的特征来进行，以便补偿位于特定患者的实际生物组织中但最初显示的动态组织图像中所缺少的解剖结构，以使得所显示的动态组织图像随后与添加或修改的特征一起显示在显示器上；以及
使用计算机系统生成医疗过程的真实模拟以便在显示器上显示，所述真实模拟示出动态组织图像与用户工具模型之间的交互作用，所述交互作用是根据用户的输入。
本发明还提供额外的示例性实施方案，下文更详细地描述这些额外的实施方案中的一些但不是全部。
附图简述
通过阅读以下说明并参考附图，本发明所涉及领域的技术人员将清楚本文所述的本发明的实施例的特征和优点，其中:
图1提供示例性外科手术室系统的高层次示意图；
图1A提供用于实施示例性外科手术室系统的示例性计算机系统结构；
图2提供协作手术室概念的实例的高层次图，所述协作手术室概念使用联网在一起的多个外科手术室；
图3示出用于示例性外科手术室实施方案的分布式模拟网络概念的示例性分解图；
图4是示出示例性外科手术室系统的示例性软件功能性的框图；
图5是示出高层次真实图像生成器(RIG)平台的图；
图6提供用于示例性外科手术室系统的手术练习平台(SRP)的示例性高层次体系结构和工作流程；
图7提供示例性SRP的示例性计算机体系结构；
图8是示出用于调整动态组织图像的示例性工具的流程图；
图9是示出示例性交互式工具和组织元件的屏幕截图；
图10A和图10B是示出示例性不用手的输入交互作用的图像；
图11是示出可被用户拖动的示例性标记物和工具的屏幕截图；
图12A、图12B、图13A和图13B是示出可使用魔术组织棒工具加以修改的示例性结构的屏幕截图；以及
图14A和图14B是示出可使用组织绘制工具加以修改的示例性结构的屏幕截图。
示例性实施方案的详细描述
图1提供系统1的一种应用的示例性实施方案，其中患者特定扫描图像(CT、MRI或类似图像)(14)被馈送到系统控制台(10)；创建三维真实解剖结构显示(18)的算法将纹理、阴影、阴影效果和其它提示添加到图像；机械性质算法(16)将机械行为特性指派给图像并且将图像从静态/静止图像转变为动态和交互式图像/模型。具有或不具有力反馈的接口(20)连接到系统，从而允许外科医生/操作员(12)操纵系统所创建的图像/模型；外科医生可从工具库和植入物库中选择工具和植入物，其中包括那些工具和植入物的特性。外科医生随后在其患者机体的可操纵的、动态的和交互式的三维图像/模型上以真实的和动态的方式执行虚拟外科手术。
系统包括执行程序，所述执行程序运行和管理所有系统组件并且根据外科医生/操作员(12)的动作来更新子组件的状态。例如，当外科医生使用接口(20)推挤(如通过使用选择工具)他在所述显示(18)中看到的组织时，机械性质模型(16)接收关于所施加力的信息，例如力的方向；所使用的工具包括工具的材料和形状以及工具的其它机械特性，随后使用机械性质来根据所施加力计算所述图像的三维取向和设置的新状态；执行程序将计算出的三维矩阵发送到真实解剖结构显示(18)，所述三维矩阵是由机械性质算法(16)创建的，所述真实解剖结构显示计算由于图像改变而引起的新图像及其提示，例如，由于图像组件的新取向而引起的一组新的阴影和阴影效果得到确定。同时，机械性质模型(16)将一组参数发送到力反馈接口(20)，这些参数包括外科医生/操作员(12)需要感觉到的由于与器官交互作用而引起的力(在外科医生推挤组织或以其它方式与组织交互作用之后，器官所返回的力)的信息。在系统组件(14、16、18、20)中的每个组件处的这个新阶段计算过程以循环的方式快速且连续地执行，并且每个循环是在几毫秒的一帧时间内完成，从而允许外科医生/操作员接收实时和真实的提示以及对其动作的实时反应。
外科手术室是将一个或多个计算机(PC)2A-2n、一个或多个数据库3A-3n以及其它硬件组件(例如，网络5、6)和专有软件整合成一个完整系统1(参见图1和图1A)的系统(如图1A中所示)，这个系统被构造成尺寸大约与小型走入式壁橱一样大的沉浸式室/控制台(参见图1的控制台10)。一旦外科医生12起动了系统，外科医生就加载其患者的设置参数，所述设置参数包括患者的详情，以允许系统上载相关数据，外科手术室随后将来自患者图像14的所有患者可用CT和MRI图像加载到数据库3中并且加载与模拟的模型有关的其它信息，如患者年龄、性别等(其中的一些或全部可从例如像医疗数据库的外部实体8获得)。系统使用来自系统数据库的组织信息参数16。系统1执行分段过程并且识别器官的实体(实体是脉管、组织、肿瘤等)以便创建在装置的显示器上向外科医生展示的模拟图像模型18。系统通过反馈机构提供真实的战术反馈20以便给模拟增添进一步的真实性。
系统应用真实视觉层、来自系统数据库的机械性质和其它相关参数16以及与病例相关的特性，所有这些被应用于来自患者图像数据库3的CT和MRI图像14的顶部并且与那些图像同步。所述同步创建了“夹紧”或“附接”到脉管图像的脉管机械性质等以提供真实模拟能力。外科医生可具备“微调”所述模型并且调整器官某个区域的机械性质的能力。例如，外科医生可调整实体行为的弹性和其它机械特性。
随后，在这种设置后，外科手术室投影以真实视觉保真度呈现的三维器官模型18，所述三维器官模型真实特征，如纹理、阴影效果和具有给模拟图像增添真实性的其它特征。视觉模型18的每个区段被协调并且与来自系统数据库16的适当机械性质模型以及特定病例的相关性质相对应。
在这个阶段，系统允许外科医生在系统数据库中从系统的虚拟库16浏览和选择相关外科手术工具和他可能需要用来执行外科手术(或其它过程)的其它元件(就系统软件而言，那些工具和元件也是“实体”)。这些元件可包括:卡头和夹具；用于动脉瘤的夹子；人工心脏瓣膜；以及适用于特定病例的其它元件。(添加通过网络9(如通过互联网或专用网络)连接到系统1的额外系统1'、1″...可以产生稍后在本公开中更详细地描述的协作手术室平台。)
所有各种实体均由系统在高保真度分布式模型中表示并且以分布式体系结构起作用，例如，每个实体通常具有单独的子实体，其中所述子实体为例如“视觉实体”或“机械实体”等。每个子实体存在于不同环境(例如，下文更详细地描述的视觉系统环境、机械建模环境等)的一个中，所述不同环境分布在多个计算机中。每个这种子实体负责它自己的性能(例如，呈现实体的真实视觉或执行实体的机械操作)。
子实体通过分布式网络(在下文更详细地描述)通信以使子实体同步和协调成一个整合的实体复合模型。例如，当外科手术工具按压组织时，通过网络分布外科手术工具的压力特性(例如，位置、取向和压力量等)，子实体中的每一个负责“监听”和推断它是否受到这种外科手术工具压力的影响；一旦子实体确定它受到影响，每个这种子实体(例如，组织实体)就在其子实体模型(例如，视觉子实体)上对所述影响进行建模，呈现视觉效果(如组织流血)，并且机械性质对组织的转移进行建模。每个子实体通过网络分布变化(例如，组织位置和尺寸的变化)，这样其它子实体将能够确定它们是否受到这个变化的影响。在这个动作结束时，以上实例的组织的所有子实体(和其它实体)习惯于(并且如果需要的话)使它们的状态和模型适应于以上实例中由外科手术工具发起和启动的新动作。
因此，各种功能(子实体)可使用分布式数据和状态复制(用于保持模拟状态的本地副本)分布在连接于点对点网络中的各种计算机中，所有这些功能在网络上监听会影响它们的模拟部分的任何动作，在所述情况下，它们通过网络更新它们的参数以便保持系统准确，这可能必然影响其它子实体中的其它功能，其它功能因此将通过监听网络得知这一事实，从而引导进一步更新，等等。以此方式，系统将功能性以平行方式分布在很多计算机中，以使得更新发生的速度可以比仅使用单个计算机时更快。只有那些受变化影响的子实体需要响应，并且因此可将网络流量减少为必要流量。
外科手术室允许外科医生记录他的动作并且保存这些动作用于随后回放，以便向主治外科医生或住院医师演示他的外科手术计划或与其它外科医生分享信息，演示他正在研究的新技术，实施外科手术，等等。系统面向外科医生的接口包括外科手术接口(例如，卡头手柄)，所述外科手术接口包括力反馈，所述力反馈被传达给那些工具以允许外科医生感觉到他的动作的力反馈提示，从而真实地模拟实际过程。
一旦外科医生选择了外科手术工具和其它实体，它们就被整合到虚拟外科手术场景中并且成为模拟情景的整合元件，所述整合元件包括应用于那些所选择项目中的每一个的真实视觉特征和机械性质以及操作性质特征。例如，模拟的剪刀反映出实际剪刀的机械特性并且将在模拟中像实际剪刀所做的那样进行切割，并且动脉瘤夹子放置在模拟脉管处时会模拟阻塞血流。
接下来，外科医生在虚拟外科手术的任何阶段执行外科手术动作；外科医生可“冻结”模拟并且旋转器官来从不同的取向和视角观察他感兴趣的区域。外科医生可对虚拟外科手术“标记时间点”并且可命令“回到标记点”。例如，外科医生可在夹紧动脉瘤之前标记时间，并且在“取消”在这个时间点之后发生的所有动作时回到这个时间点。以这种方式，外科医生可评估外科手术的所选择阶段的不同外科手术方法，而无需从原始起始点开始重新开始整个外科手术。若干这类“标记点”是可用的，从而允许外科医生返回并“重新进行”在外科手术的若干所选择阶段的动作和检查/练习。外科手术室用途可包括:外科医生关于外科手术的练习；外科医生向主治外科医生或住院医师的演示；外科实践和发展、工具和方法的测试和验证，以及知识共享。如下所述的不用手的操作可用于这个特征。
协作手术室
图2示出与外科手术室一起引入的协作手术室概念的高层次示例性实现方式。通过利用下一代宽带基础结构25，使用来自不同医院的SRP 21、22、23...的个体将被连接，从而允许全国各地和世界各地的外科医生协作地规划外科手术病例，例如，来自两个或更多个分布式站点的外科医生进入他们的SRP并且关于外科手术一起对患者病例进行练习。这种协作手术室允许外科医生通过观察先前的外科手术室病例以及提供远程教学和指导来研究最佳实践方法。协作手术室允许所有连接在一起且使用SRP的医院可以获得最新的积累知识和最近的“最佳实践”。同样，如下所述的不用手的操作可用于协作手术室概念。
系统级设计
在前面的部分中概述了系统级设计描述。视觉再现引擎分析3DMRI和CT患者特定图像并且创建表示特定图像的解剖结构和特征的计算机化分段模块。医疗市场上有大量先进的医疗数字成像和通信-DICOM(1)观察器。它们的特征集的范围是:从可交叉引用的3个不同面板中的分层黑白切片，到飞越患者器官的3D图像的静态子集的完整能力。另外，存在4D和5D特征，这些特征以影片片段的形式记录器官的各种功能和动态变化。与那些所捕获的图像或移动序列可能的情况一样宏大，它们是一组固定的及时快照图像。
外科手术室进行现有的3D转化过程，并且基于随后存储在系统数据库中的物理和机械性质添加人体组织和结构特有的特征。一旦使这个基于患者的模型在虚拟世界中运动，外科手术室就引入一组虚拟外科手术工具，所述工具允许外科医生操纵(推挤、切割、夹紧等)那些模型，所述操纵与实际外科手术组织操纵类似，从而为外科医生提供直观体验。
图3提供示例性外科手术室分布式模拟网络(呈现外科手术室DIS(ST-DIS))的分解图。图中组件(即，方框)中的每一个是具有一组指定功能的隔离式计算站(所述计算站可在独立的计算机或计算机集合上执行)。所述站与常规支持网络31(例如像以太网)适当地连接，这个网络处理缓慢的不规则流量，例如传递大量DICOM数据。根据更强烈的数据处理需求，所述站由专业化分布式交互模拟(ST-DIS)网络32支持，这个网络是仅用于高优先权模拟数据的硬件隔离式网络(所述网络可在例如高带宽以太网中实施)。ST-DIS网络32携带易失性模拟信息并且允许这种精致的模拟载荷分布。
外科手术室的ST-DIS是用于从一组独立的模拟器节点建立大规模虚拟世界的网络体系结构。模拟器节点33-38由网络链接起来并且通过常见的网络协议(例如像TCP/IP)来通信。ST-DIS基础结构使得各种模拟器能够在时间和空间连贯的环境中交互操作。在外科手术室的ST-DIS ST-DIS系统中，将虚拟世界建模成一组“实体”，这些实体通过它们引起的事件彼此交互作用。模拟器节点33-38各自在模拟的虚拟世界中独立地模拟实体中的一个或多个的活动，并且通过消息在网络上向其它模拟器节点报告它们的属性和感兴趣的动作。网络上的其它模拟器节点负责“监听”网络消息、确定哪些消息是它们感兴趣的(基于它们正在模拟的实体)并且适当地做出响应。
关于分布式交互模拟的ST-DIS网络和模拟体系结构的特征之一是不需要存在中央服务器或处理器。每个模拟应用程序在它自己的存储器或数据库中维持它自己的常见虚拟环境副本。在任何实时操作之前，通过各种手段将这个环境的表示分布给所有模拟应用程序。ST-DIS基本上是点对点体系结构，在其中传输可供所有模拟器使用的数据，其中可取决于接收器的需求来拒绝或接受所述数据。通过消除所有消息所经过的中央服务器，ST-DIS减少了模拟器将重要信息发送到另一个模拟器的时间滞后。这个时间滞后(被称为延迟)可严重降低联网的模拟器的真实性并且因此降低有效性。有效的分布式模拟取决于针对模拟实体发生新的状态/事件的时间与必须对此做出反应的另一个实体感知到这个状态/事件的时间之间的非常低的延迟。由训练装置引入的任何延迟均可导致对受训者的负强化。
再次参照图3，存档服务器34一般用于执行将模拟所需的大量数据下载和保持在数据库中的任务。另外，存档服务器34可用于使所获得的数据准备好在模拟中进一步使用。请注意，由于其职责通常在本质上是全局性的，并且对于模拟活动来说不是关键的，因此存档服务器34通常仅连接到支持网络31。
图3示出包括离线“支持”网络(31)的网络体系结构，所述离线“支持”网络连接以下两者:“存档服务器”(34)，所述存档服务器加载医疗图像(CT/MRI)和存储在数据库中的额外初始化数据(例如，患者姓名、年龄等，以及如外科手术工具库的情景中将要包括的文件)；“汇报服务器”(38)，所述汇报服务器记录控制输入并将情景和所有动作存储在时间线信息中并且允许回放所述情景和动作。实时网络(32)是在模拟期间以实时的方式在系统之间传递消息的网络，用于实施这个网络的一种方式可以是分布式交互模拟(DIS)网络(32)，连接到这个网络的组件为:连接到外科医生/操作员系统接口的控制输入端(33)，这个节点具有到主机(35)的任选的直接物理连接，在DSI网络不能满足系统的实时要求并且需要那些节点之间的直接物理连接的情况下可实施所述任选的直接物理连接。主机(35)包括执行管理程序和其它模型以及模拟组件，并且所述主机负责整个系统的实时同步和计时。
例如，当外科医生选择要使用的特定工具时，手术室初始化系统(TIS)(36)针对节点中的每一个执行系统分配和设置，所述TIS分配/激活这个工具的适当模型以便针对所有节点生成准确的工具模拟(其中工具特性存储在数据库中)，从而确保通过相同的初始化来设置所有节点。图像生成器(36)执行情景的再现和可视化任务。主机(35)、TIS(36)、图像生成器(36)和汇报服务器通过离线接收和交换信息以用于从支持网络(31)初始化并且通过实时网络(32)接收和交换信息以用于“在线”和实时模拟。
从存储在数据库中的现有MRI/CT扫描中提取所需器官表面和体积数据。为获得3D器官表面数据，系统可使用DICOM观察器和数据管理系统，所述数据管理系统如OsiriX(或类似系统)，OsiriX是针对例如苹果Macintosh计算机实施的开源软件。通过“点击进入”OsiriX通过Objective C源代码基于立体像素密度值来生成器官和器官组的3D表面的能力，外科手术室添加了将关于描述成平面文件的3D表面和器官类型的信息存储在数据库中的能力。这项研究的各部分的完整集合以此方式存储在系统数据库中以使得其随后被传递到图像生成器站37，所述图像生成器站基于器官的标准特性来重新创建患者特定图像。一旦获得必要的再现数据，就将图像生成器站37的再现平台应用于图像。为此，将专有的图像生成器算法(如飞行IG；参见真实图像生成器(RIG)的单独标题中的特征)与可视化工具包整合。
IG具有独特特征，这些特征传达良好提示，如指派给视觉模型的阴影效果、纹理和材料性质，并且在RIG部分中进一步详述。IG不仅通过使用那些特征来创建真实的和完全沉浸式的环境，而且它还在硬性实时约束下处理大量视觉数据基础模型。通过DIS体系结构与“实体”设计的组合来实现的是，使网络流量最小化，并且点对点节点的解剖结构创建高效的实时系统。
在患者特定图像已成功再现后，添加各种物理库以便创建恰当的模拟。使用体现在建模平台中的广泛研究来模拟脑组织的推挤和操纵，所述建模平台如可用库的OpenTissue(或类似)集合。例如，OpenTissue是对体积壳和三维形状的其它复杂行为进行建模的库的开源集合。自定义库也可被开发使用。例如，可使用从对张力下脑组织机械性质的研究得出的脑组织物理和机械性质的特异性。实验论文是可用的，所述实验论文提供动物脑样本的机械操纵的数学模型。模拟外科手术工具与模拟组织的动态和真实的交互作用是以2012年3月30日提交的共同待决的专利申请PCT/US12/31514和2010年10月19日提交的美国专利号8,311,791中(所述专利以引用的方式并入本文中)中所描述的算法和方法来实施。工作着眼于用来创建真实模拟(特别是用于实施外科手术模拟)的各种工具和组织类型。
示例性外科手术室的软件代码是在如C++的商业环境中编写，其中所述代码被设计来在视窗操作系统、Linux系统或类似系统中运行。在编码开发过程中，重点在于代码实时执行和代码效率，这两者都旨在维持实时系统性能同时使延迟最小化。
位于图像生成器(37)中的视觉系统驱动程序被设计成具有如OpenGL或类似环境的优化器环境，实现高性能再现和与大模型的交互作用，同时维持所需的高模型保真度，从而在跨平台环境中维持高性能的同时提供对细节的关注。
出于计算效率的目的，视觉模型的实体中的每一个都具有若干细节层次(LOD)表示；在外科医生需要高分辨率的模拟场景区域中呈现高LOD，并且在外科医生没有直接兴趣或交互作用的模拟场景区域中呈现较低的LOD。例如，组织视觉模型在外科医生交互作用周围的区域中以高LOD呈现，并且在外科医生没有直接交互作用的区域中以较低的LOD呈现。可动态地调整LOD:LOD优化算法可使用外科医生的动作(如使外科手术仪器指向特定区域)来针对视觉模型的特定部分动态分配LOD。
典型系统的计算机是具有多核(多个处理器)的PC，所述多核提供灵活性和增长潜力。计算机系统包括随机存取存储器、以太网端口、系统盘和数据盘。
为了验证外科手术室(图像质量、真实性、图像控制器和操纵)，使用高级外科医生的技能和经验。外科医生用于通过以下操作来评估系统:执行特定外科手术过程，同时将这个外科手术过程与他们的大量神经外科经验以及与他们已操作并且正在外科手术室中加以模拟的特定病例相比较。
图4的外科手术室框图通过将扫描的图像DICOM 41的行数据分段(以识别软组织、脉管等)的过程从所述行数据来描述过程的功能性和流程(对比图3的实际网络连接)。随后，图像生成器指派每个区段的视觉表示(阴影、纹理等)，这个图像通过DIA 44网络连接到投影接口46并且连接到主机45，所述主机将利用通过外科医生接口47连接的外科医生动作和机械性质以及主机所包括的其它建模来更新图像生成器43，这些都将反映主机在每个模拟循环期间将发送到IG 43的新状态。
通过消除所有消息所经过的中央服务器，ST-DIS极大地减少了一个模拟器(计算机)将重要信息发送到另一个模拟器(计算机)的时间滞后。这个时间滞后(被称为延迟)如果过大，可严重降低联网的模拟器的真实性并且因此降低有效性。有效的分布式模拟取决于针对模拟实体发生新的状态/事件的时间与必须对此做出反应的另一个实体感知到这个状态/事件的时间之间的非常低的延迟。由训练装置引入的任何延迟均可导致对操作员(例如，外科医生)的负强化。
根据通信体系结构(IEEE 1278.2)的推荐实施，基础通信结构应支持数据包交换的100ms或更少的延迟以得到在模拟实体之间实时紧密联接的交互作用(例如，在空战中模拟高性能飞机，或模拟外科医生执行脑外科手术)。这个要求是基于人体反应时间，所述人体反应时间多年来已成为人工介入(HITL)飞行模拟器设计的基础。
在ST-DIS系统内，将虚拟世界建模成一组实体(如前所述)，这些实体通过它们引起的事件彼此交互作用。实体是模拟情景中的子组件，如组织、特定特性(如组织机械性质)，所述特性创建所述“组织实体”的子组。另一个实体可以是例如血管等。每个实体可以具有以分布式方式(如在不同的模拟器/计算机上)操作的若干子实体。那些子实体组合在一起以形成完整的实体模型。那些子实体例如为:拥有和模拟实体的视觉特征和特性的视觉子实体；或拥有和模拟实体的机械特征和特性的机械性质子实体。那些子实体模型代码中的每一个可在不同的计算机(或计算机组)中运行，所述计算机如PC，并且那些子实体模型代码可通过ST-DIS网络彼此通信以及与其它实体通信。模拟器节点在模拟的虚拟世界中独立地模拟一个或多个实体(或子实体)的活动，并且通过消息在ST-DIS网络上向其它模拟器节点报告它们的属性和感兴趣的动作。网络上的其它模拟器节点负责“监听”网络消息、确定哪些消息是它们感兴趣的(基于它们正在模拟的实体)并且适当地做出响应。
上述外科手术室体系结构是基于这种分布式模拟概念，从而实现传达首要保真度的先锋且独有的能力，首要保真度是创建对于开放式/经典外科手术的练习来说很重要的沉浸式情景的基本要求，其中外科医生通过直接人体感觉来与器官交互作用。由于每个实体被分为其子组件(视觉、机械性质等)，并且由于那些子组件/实体的模拟代码中的每一个在单独的计算机中运行，因此这可使计算能力最大化，并且通过这样做将创建独特的且独有的首要保真度、良好提示以及计算能力，同时在维持实时性能(例如，小于100毫秒的延迟)的情况下在硬性“实时”约束下处理太字节的信息，这是飞行模拟技术的核心能力。
外科手术室促进视觉再现引擎，这个视觉再现引擎分析3D MRI和CT患者特定图像并且创建表示特定图像的解剖结构和特征的计算机化分段模块。医疗市场上有大量先进的DICOM观察器，但与那些所捕获的图像或移动序列可能的情况一样宏大，它们是基于一组固定的及时快照图像。外科手术室采用现有的3D模型转化算法并且基于物理和机械性质添加人体组织和结构特有的特征，从而用模型创建“活的”图像，所述图像根据外科医生采取的动作并且基于模拟所述图像中每个像素的机械性质的模型和真实的视觉特性模型来改善患者特定CT/MRI图像。一旦使这个基于患者的模型在虚拟世界中运动，就引入一组虚拟外科手术工具(所述工具可包括动脉瘤夹子和夹子施放器、如骨关节植入物的植入物，或其它装置)，所述工具允许外科医生操纵(推挤、切割等)那些模型，所述操纵与实际外科手术组织操纵类似。因此，外科手术室为用户提供直观体验。
对于图像生成器，示例性实施方案的外科手术室将专有的飞行模拟图像生成器算法与如可视化工具包(VTK)的可视化代码整合。如以下部分中详述，外科手术室真实图像生成器具有传达良好提示的特征，如指派给视觉模型的阴影效果、纹理和材料性质。
真实视觉子系统
这部分聚焦于:外科手术室的“真实视觉”区段，这是对飞行模拟图像生成器的修改，所述区段能够:将卫星图像再现为真实的三维图像和模型，所述三维图像和模型被转化成外科手术室真实图像生成器(RIG)；处理CT/MRI DICOM图像并且实时再现为对于开放性/经典外科手术来说很重要的患者特定真实的和动态的CT/MRI图像和模型，其中外科医生通过直接人体感觉来与器官交互作用。
在人类因素工程学领域中使用视觉系统来创建沉浸式模拟系统是重要的；研究表明，高百分比的沉浸是由操作员(例如，飞行员或外科医生)与之交互作用的视觉系统的保真度和真实性的等级构成并引起。研究结果表明，在高保真度视觉系统上练习的操作员在比低保真度组显著更高的层次上完成记忆任务，所述任务包括自行报告置信度和意识状态。在使用高保真度、真实模拟时，发现了正确的“记住”和“得知”响应与信任得分之间的显著正相关。
如上所述，外科手术室创建外科手术部位和周围组织/结构的真实的“逼真的”数字再现。由于这个数字再现是患者特有的和“逼真的”，因此它使外科手术室与使用通用成像来创建外科手术部位的大致再现的其它模拟器或模拟无创过程(如内窥镜过程、血管过程和类似的过程)的其它系统分开，其中外科医生/操作员使有机体与具有它自己的视觉特性的摄像机对接，所述视觉特性由摄像机规格限定和限制并且与开放性/经典外科医生的裸眼直接观察的视觉特性有很大不同，其中外科医生通过他的眼睛的直接感觉来与有机体交互作用。然而，真实的“逼真的”再现呈现了由于活的生物组织的性质的复杂性而引起的可以克服的任务。为了创建如此高程度的真实性，外科手术室包括真实图像生成器附加设备(RIG)，它是一种视觉系统，其中外科手术部位连同周围组织一起的患者特定图像被真实地呈现并且可以这种通用方式操纵。
图5示出RIG体系结构框图。数据库框-基于患者特定CT/MRI、3D和分段图像的网格模块的集合、图像的预处理、平滑化、遮蔽、缩放。图形创建器框-面向图形卡的接口。ST-DIS接口框-面向ST-DIS网络的接口。这个图示出视觉系统的层次图。系统包括执行程序，所述执行程序运行和管理所有系统组件并且在通过DIS网络(502)读取所有子组件的状态时根据外科医生/操作员和所有子组件的状态来更新所述子组件的状态。操作/执行引擎(501)以如下方式负责所有软件和硬件组件的初始化:系统的所有组件利用相同的数据库(例如，外科医生选择的那组工具)来工作。当情景开始时，操作/执行引擎(502)执行循环和计时控制并且执行管理每个组件的任务以在时间范围内完成它的计算循环，所述时间范围是以如下方式来规划:系统的所有子组件及时地从其它子组件接收信息，从而允许整个系统在给定的时间范围内完成模拟循环。例如，当外科医生采取动作并且DIS网络(502)传输这个动作时，特征生成器(504)读取这个动作的相关部分/这个动作的结果，所述结果是由机械性质算法计算出，图形创建器(503)根据这个动作改变图像(例如，移动被外科医生推挤的脉管)，随后计算由于这个变化而需要施加于图像上的变化，例如，创建由脉管位置和取向的变化引起的阴影。这个循环由操作/执行引擎(501)以循环方式快速执行并且连续地管理，这是以如下方式进行:每个循环是在几毫秒的一帧时间内完成，从而允许外科医生/操作员接收实时和真实的提示。
SRP一般描述:
SRP创建真实的“逼真的”全沉浸式体验以便于神经外科医生通过将外科手术部位和周围组织/结构的患者特定DICOM数据转化成动态和交互式3D模型来计划并且实际练习脑动脉瘤夹闭外科手术。与现有的外科手术准备装置不同，SRP可提供:(i)患者特定组织的观看、感觉和机械行为的良好提示，(ii)患者特定解剖结构的3D显示，(iii)3D组织模型的实时类外科手术操纵，以及未来的(iv)对外科医生的触觉反馈以获得“完全沉浸式”体验。由于活的生物组织的结构和机械性质的复杂性，开发这种真实的“逼真的”再现将需要以下子开发(图6):(i)DICOM图像体积读取器(602)和具有内置分段感兴趣体积(VOI)模型生成器(611)的观察器，(ii)3D图像生成器(IG)(604)，(iii)实时软组织变形引擎(RTTDE)(612)，(iv)外科手术分布式交互模拟(SDIS)网络(610)，(v)模拟执行应用程序(SimExec)软件(601)，(vi)外科医生用户接口(SUI)(605)，以及(vii)用户接口解释器引擎(UIIE)(613)，(vi)用于视觉(如工具库心跳、血流等)的VisChasDB数据库(603)。
将2D患者特定DICOM数据集转化成具有准确的患者特定组织属性的分段3D VOI模型是使用DICOM体积观察器(611)(由外科手术室LLC开发的专有软件)来进行。首先，患者特定DICOM数据集经历图像增强阶段，这个阶段使用适于3D数据集(603)的数学算法。这个增强阶段将增加图像平滑度并且减少图像噪声而不影响区分不同组织类型的能力。
接下来，外科医生使用DICOM体积观察器(602)内的多面板观察窗来定义VOI，即，含有动脉瘤的外科手术部位以及周围脉管和结构。下一个步骤是组织分段，即，使用DICOM体积观察器的顶部观察窗将初始组织特定强度范围指派给组织以产生具有高分辨率、高质量、可自定义的数据结构和组织特定分段的3D VOI模型。将3D VOI模型存储在患者特定存储库中并且在操作循环期间访问所述模型，如下所示:(I)3D图像生成器(IG)(604)通过图形接口为外科医生呈现所述模型的高保真度视觉表示；(II)外科医生在外科手术用户接口(SUI)(605)内使用真实的外科手术工具操纵所述模型；(III)用户接口解释器引擎(UIIE)(613)将外科医生的操纵转换成一组数学值，实时组织变性引擎(RTTDE)(612)将所述数学值连同其它患者特定输入(例如，心跳、血流等)一起应用于所述模型。当所述模型变化时，IG(604)向外科医生实时反映那些变化，从而完成一个模拟循环。通过由IG每秒超过60次并且由RTTDE(612)每秒20次重复循环，实现平滑的、连续的、“逼真的”SRP流。
基于SDIS的体系结构:
基于SDIS的体系结构促进用于首要保真度、良好提示以及计算能力的独特的且独有的能力，同时在维持实时性能的情况下在硬性实时约束下处理大量信息，所述实时性能是飞行模拟技术的核心能力。SDIS网络的特征之一是不存在任何服务器或处理器，每个模拟器节点(节点可以是:图像生成器、用户接口、机械建模计算机等)维持它自己的常见虚拟环境(在模拟器节点中的每一个处保存和维持的脉管、组织和其它模型)的副本；每个这样的模型作为单独的“实体”处理。这个体系结构使得若干PC能够在硬性实时约束下以同步方式一起工作，从而允许SRP传达模拟场景的首要保真度的首创且独特的能力。这创建了允许练习开放性/经典外科手术的沉浸式情景，其中外科医生通过直接人体感觉来与器官交互作用。
一旦外科医生选择了外科手术工具和其它实体，它们就被整合到虚拟外科手术场景中并且成为模拟情景的整合元件，所述整合元件包括应用于那些所选择项目中的每一个的真实视觉特征和机械性质以及操作性质特征，例如，剪刀具有实际机械特性并且将像实际剪刀所做的那样进行切割，并且动脉瘤夹子在放置在脉管处时会阻塞血流。
取决于配置、需要模拟的体积以及特定应用，SRP系统由以下单元或单元的子部分的组合组成。这些单元与图4所示的用于外科手术室系统的那些单元类似，但如这部分中所述对所述单元进行修改。子组件可在多个PC中的若干分开的计算处理器单元中运行(图7):
外科医生在上面工作的工作站是用户接口101。图像生成器102与外科手术室中的类似装置类似地操作。模拟执行管理器103-使系统的实时操作同步，运行并执行建模程序。STDE工作站104-这个PC处理STDE(软组织变形引擎)。存档服务器105-这个站保存所有相关文件和数据并且能够记录过程以用于未来的汇报和数据收集，并且这个PC还用作网域控制器。IOS(指导者操作站)106是用于监督和控制训练课程，还允许指导者“插入”事件。还用作“仪式主持人”并将激活整个训练课程。一个或多个用户接口107被提供用于不用手的控制和/或用于跟踪实际外科手术仪器，如下所述。
这些计算处理器单元中的每一个通过SDIS网络与网络交换机(未示出)连接。
外科手术接口
如上文和相关申请中所述，更新的外科手术室提供一种用于将来自多种格式(例如，医疗数字成像和通信-DICOM)的场景文件(例如，医疗扫描文件)的图像混合再现(体积和表面)成交互式图像/场景的方法。输出的图像/场景可以是二维的或三维的并且将含有几何形状、视点、纹理、照明、阴影和明暗处理信息以及虚拟场景描述的其它元件。图8示出展示了更新的特征的流程图，具体详情在以下论述。
交互式图像/场景由各元件构成，所述元件为体积再现元件和表面再现元件两者。此外，每个元件(体积元件或表面元件)与一个或多个元件交互作用，所述一个或多个元件为体积元件(参见图9中所示图像的112)和/或表面元件(参见图9中的111)。
元件之间的交互作用包括但不限于物理交互作用，如:碰撞模型，这个模型被实施来表示由元件的移动和/或再成形所引起的元件之间的交互作用，所述交互作用根据如压力、元件材料(弹性、粘性等)的物理条件和如碰撞角度和元件取向的碰撞条件来复制所述元件的实际物理移动。
再现过程方程考虑了所有的照明阴影和阴影效果现象并且产生并入有所有视觉元件的最终输出流。
外科手术室再现软件对再现方程实时求解，同时反应元件之间的物理交互作用，同时维持输出图像/场景/模型的真实外观。
例如，在图9中，夹子112按压血管(体积再现元件)，这导致脉管111再成形。用户通过鼠标控制器、触摸屏、3D或6D控制器或通过下文所述的不用手的控制器来控制交互作用控制。
不用手的控制器或触摸屏:通过整合基于摄像机的装置，这个装置实时捕获和识别用户身体元件(以如下方式:可使用类似于微软公司的Kinect系统的技术，例如，参见www.xbox.com/en-US/kinect/kinect-effect，Leap Motion公司的Leap技术是另一个实例，参见live.leapmotion.com/about.html，两者均以引用的方式并入，参见图7的项目107)，或通过触摸屏或任何另一个接口，用户可通过以预定义方式放弃手来与图像/场景对接和交互作用，以便控制图像/场景(图10A和图10B)。用户尤其可以进行如下动作:
旋转、移动和转移图像/场景(参见图10A至图10B中所示的手部运动，所述运动分别使图像121、122移动和重新取向)
缩小和放大。
从库中选择元件并将它们添加到图像/场景。
从图像/场景中拖放元件。
命令一个或多个元件与一个或多个其它元件交互作用，例如放置动脉瘤夹子并且命令夹子在动脉瘤上闭合，且随后命令“闭合”，这导致夹子(表面元件)与动脉瘤(体积元件)交互作用，从而引起对动脉瘤的物理挤压和夹子的移动(形成打开的叶片和闭合的叶片)。
从图像/场景中选择元件并将它们移除。
如果图像/场景是由多个切片(如CT MRI)堆叠/建造而成，那么在切片之间滚动
通过选择对象且随后将它们拖到所需3D位置来在场景中重新定位所述对象。这允许但不限于导致工具与组织交互作用(在工具在图11中被拖到132的情况下)或在场景中执行测量(参见图11，在拖动测量标记物131的情况下)。
“患者组织”:
一般来说:由扫描仪生成的医疗图像(如MRI、CT和其它图像)提供物理信息、功能结构信息或关于扫描的解剖结构的其它信息。由于各种各样的原因，尤其是扫描仪限制，在所产生图像中并不是所有的解剖结构都清晰可见。这个现象/限制的两个实例为:
1-在MR扫描中，神经可能并不总是可见。具体实例可能在为了治疗微血管压迫的脑部扫描图像中，其中脑血管触碰神经并且在神经上造成物理压力，在那些扫描中，血管通常在扫描图像处是可见的，但无法观察到神经。
2-在MR扫描、CT扫描或其它扫描中，解剖结构的一部分可能是可见的，但由于各种各样的原因，尤其是扫描仪限制，解剖结构仅有部分是可见的。一个实例可在图像中:在CT扫描或MRI扫描中，脉管结构的部分可能是可见的，而其它部分不可见。在这个实例中，脉管图像将是失真的和/或不完整的。
“组织绘制”-所开发的算法和软件工具为用户提供接口来以二维或三维方式(例如，线、圆、诊所、球等)绘制任何几何形状或徒手绘制形状。所产生的绘制接口允许用户确定三维形状的线或壁壳和壁的厚度。用户还可确定所述形状的视觉特性:颜色、透明度等。在医疗图像内以如下方式创建新的形状:允许新创建的形状成为扫描的一部分(魔术组织)并且与扫描图像整合。例如，用户可绘制将表示神经的线。这条神经可按用户选择的长度、形状、颜色、透明度、位置和取向来创建。用户可将所述形状放置在扫描图像中观察到的现有的解剖结构(例如，扫描的可见部分)旁边并且将所述形状“连接”到现有的解剖结构。用户还将这个新绘制的形状指派给特定组织类型。一旦已创建，就将这个新的形状再现并添加到三维解剖模型。可将新的形状再现和重建为体积模型或网格/多边形模型。图14A和图14B分别在181、182处示出组织绘制的实例。
“魔术组织棒(Magic Tissue Wand)”-由于各种各样的原因，尤其是扫描仪限制，所产生的图像中并不是所有的解剖结构都可见。通常，解剖结构(例如，血管)将仅部分出现在图像中，并且整个结构将未被可视化；将存在所述解剖结构的缺失部分并且所述解剖结构将不是整个连续的/完整的解剖结构。提供算法和软件工具，所述算法和软件工具完成所述解剖结构并且重建所述图像以创建更完整的解剖结构。重建算法使用分析几何计算和对扫描图像执行的计算来基于扫描图像中现有的“暗示”、提示和其它标志分析并重新创建解剖结构，以便完成解剖结构的缺失部分。这包括类似立体像素按亨氏单位(HU)的几何和球形分布以及分布向量的创建以便分析并重新创建解剖结构的缺失部分(HU尺度是将原始线性衰减系数测量线性变换成如下测量，其中蒸馏水在标准压力和温度(STP)下的放射强度被定义为零亨氏单位(HU)-例如，空气在STP下的放射强度被定义为1000HU)。
魔术组织棒算法以互补方式连接球形分布立体像素，也就是说，立体像素将被添加到原始、不完整的解剖结构(参见图12B的项目152和图13A的项目162)，如果通过将那些立体像素添加在一起，那么解剖结构更完整，(例如，继续组合成整个/完整的解剖结构，参见图12B5的项目151和图13B的项目161)。通过将魔术组织棒算法应用于扫描图像，解剖结构将是完整的。例如，在已应用组织棒算法后，图像某个部分中不可见的脉管将被完成并且将表现为更连续的解剖结构(例如，图13B的项目161)。
体积和或网格/多边形重建-利用组织绘制和魔术组织棒算法来创建并且与扫描图像整合的解剖结构，出于任何实践考虑，是图像的整合部分。例如，最初是部分的并且在应用魔术组织绘制和组织棒算法后是完整的脉管解剖结构将变成完整的解剖结构，这个完整的解剖结构具有由原始扫描图像和新创建的结构组合而成的结构。此外，控件(复选框)允许选择新创建的结构并且在开启(示出新创建的结构)或关闭(隐藏新创建的结构)之间切换。另外，为选择以体积和或网络/多边形再现/重建来再现新创建的结构提供选项。
标记区域-所开发的算法和软件工具为用户提供接口来以二维或三维方式(例如，线、圆、临床、球等)绘制任何几何形状或徒手绘制形状。包括/封闭/捕获在所述几何形状(二维或三维)内的区域被定义为“标记区域”。用户随后拥有定义和指派任何视觉特性和任何机械性质给所述“标记区域”的能力。
视觉特性:颜色/透明度/明暗处理-利用魔术组织绘制、组织棒算法新创建的结构或标记区域可以可选自可用颜色库的颜色和可在0至100的任何等级上选择的透明度的任何所选择视觉特性来呈现。此外，新创建的结构的明暗处理和阴影效果的特性可通过调节虚拟光源的特性加以修改。虚拟光源特性包括:空间中的球形位置、光的颜色、光的强度、纵横比、虚拟源的几何形状等。
机械性质-利用组织绘制、魔术组织棒算法新创建的结构或标记区域可被指派机械性质特性。也就是说，特定组织的机械模型可联接到新创建的结构，并且因此新创建的结构将带有这类机械性质并且将根据那些机械性质动态地且静态地做出反应。例如，如果“软组织”机械性质被指派给新创建的结构，那么新创建的结构将根据软组织做出反应。例如，当新创建的结构被虚拟外科手术仪器推挤时，它将根据所施加的力和组织机械模型挤压和再成形。此外，新创建的结构与其它新创建的结构之间的交互作用、最初扫描的结构与新创建的结构之间的交互作用以及新创建的结构与最初扫描的结构之间的交互作用是无缝的。任何解剖结构的机械性质系数(刚度、弹性等)可由用户调节以创建量身定做的机械行为。
实时跟踪和反馈-用于在外科手术期间跟踪实际外科手术仪器的系统。跟踪系统传递外科手术仪器相对于实际解剖结构(例如，患者头上的特定点)的取向和位置的空间位置和坐标。随后将仪器的位置和取向发送到外科手术模拟系统。基于患者特定模拟和仪器的位置和取向，向外科医生提供反馈。这种反馈的一个实例可以是:系统向外科医生生成针对他正在剖开的组织类型的反馈，并且万一他剖开了健康的脑组织而不是肿瘤，则警告外科医生。额外实例是在外科医生将器具应用于实际解剖结构上(例如，应用于实际患者身上的动脉瘤上的动脉瘤夹子)后，系统允许外科医生旋转模拟图像/模型，所述模拟图像/模型基于跟踪按实际解剖结构来精确取向，并且观察和评估所放置植入物的位置和效力。
实际仪器的这种跟踪和反馈可以多种方式完成，如通过使用视频系统来跟踪仪器和患者特征的位置和移动。或者(或除视频跟踪外)，可修改外科手术仪器以实现跟踪，如通过使用GPS、加速度计、磁性检测或其它位置和运动检测装置和方法。例如，这些修改后的仪器可使用WiFi、蓝牙、MICS或其它通信方法与外科手术室通信。例如，图7中的接口107可用于这个特征。
本发明的许多其它示例实施方案可以通过上述特征的各种组合来提供。虽然已在上文中使用特定实施例和实施方案来描述本发明，但是本领域的技术人员应当了解，可以使用各种替代方案，并且等同物可以替代本文所述的元件和/或步骤，而未必会背离本发明的意图范围。为使本发明适于特定情形或者适于特定需要，可能需要修改，而不会背离本发明的意图范围。本发明不意图限制于本文所述的特定实现方式和实施方案，但是应当对权利要求书进行最广泛的合理解释以涵盖所有新颖的和不明显的实施方案，无论是字面的还是等同的实施方案、公开的还是未公开的实施方案均被权利要求书涵盖。

Claims (28)

1.一种用于执行医疗过程的建模系统，所述建模系统包括:
显示器；
图像生成器，所述图像生成器用于生成动态组织图像以便在所述显示器上显示，所述生成是用于在所述显示器上显示真实地表示对应实际生物组织的组织；
用户工具生成器，所述用户工具生成器用于生成用户工具的工具模型以便在所述显示器上显示，所述工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用；以及
用户接口，所述用户接口提供用于调整显示在所述显示器上的所述动态组织图像的工具，所述调整是通过添加或修改所述组织的特征来进行，以补偿位于所述实际生物组织中但最初显示的所述动态组织图像中所缺少的解剖结构，以使得所显示的所述动态组织图像随后与所述添加或修改的特征一起显示在所述显示器上，其中
所述工具模型在所述显示器上被显示为与所述动态组织图像动态地交互作用以便真实地模拟所述医疗过程。
2.如权利要求1所述的建模系统，其中所述用户接口包括触摸屏显示器。
3.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:在所述动态组织图像上绘制任何几何形状。
4.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:完成所述动态组织图像的不完整解剖结构。
5.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具提供以下能力:修改所述动态组织图像的一部分的纹理、照明、阴影和/或明暗处理
6.如以上权利要求中任一项所述的建模系统，其中所述动态组织图像包括解剖结构的图像，并且其中所述用户工具包括用于与所述解剖结构动态地交互作用的仪器。
7.如以上权利要求中任一项所述的建模系统，所述建模系统进一步包括:
数据库，所述数据库用于存储不同植入物的多个模型的库；以及
用户接口，所述用户接口用于从所述多个模型中选择一个植入物模型以便与用于与所述组织图像动态地交互作用的所述用户工具模型一起使用。
8.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:命令所述工具与所述动态组织图像的一个或多个部分交互作用。
9.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:选择所述工具的模型和/或所述动态组织图像的元件以便从所述显示的图形中移除。
10.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:通过选择对象并将所述对象拖到所需位置来在所述显示的图像中重新定位所述对象以便在所述图像中显示。
11.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:增强和整合所述动态图像中的解剖结构。
12.如以上权利要求中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:绘制任何几何形状以便添加到所述动态组织图像。
13.如以上权利要求中任一项所述的建模系统，所述建模系统进一步包括摄像机，所述摄像机用于提供用户输入以便用户进行不用手的操作。
14.一种用于使得用户能够执行模拟医疗过程的建模系统，所述系统包括:
一个或多个计算机；
显示器，所述显示器用于向所述用户显示图像；
数据库，所述数据库用于存储特定患者的组织的物理特性；
图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便生成所述特定患者的所述组织的动态真实图像以便在所述显示器上显示，其中所述组织的所述真实图像被提供为示出指示所述特定患者的所述组织的外观，所述外观包括阴影效果和纹理；
数据库，所述数据库包括用户工具库，所述用户工具库用于提供医疗过程中所使用的实际用户工具的多个用户工具模型；
用户接口，所述用户接口用于从所述用户接受用于选择所述用户工具模型中的一个的输入；
用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所述所选择用户工具模型的真实工具图像以便在所述显示器上显示；
用户接口，所述用户接口用于从所述用户接受输入，所述输入用于动态地操纵所述所选择用户工具图像以便在所述模拟医疗过程期间与所述组织的所述真实图像动态地交互作用，以便在所述显示器上向所述用户实时显示；以及
用户接口，所述用户接口提供用于调整显示在所述显示器上的所述动态组织图像的工具，所述调整是通过添加或修改所述组织的特征来进行，以补偿位于所述特定患者的实际生物组织中但最初显示的所述动态组织图像中所缺少的解剖结构，以使得所显示的所述动态组织图像随后与所述添加或修改的特征一起显示在所述显示器上，其中
所述用户工具图像与所述组织的所述图像之间的所述动态交互作用在所述显示器上被显示为提供真实视觉特征，所述真实视觉特征基于所存储的物理特性展示出真实的机械交互作用。
15.如权利要求14所述的建模系统，其中所述用户接口包括触摸屏显示器。
16.如权利要求14所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:在所述动态组织图像上绘制任何几何形状。
17.如权利要求14至16中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:完成所述动态组织图像的不完整解剖结构。
18.如权利要求14至17中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:修改所述动态组织图像的一部分的纹理、照明、阴影和/或明暗处理
19.如权利要求14至18中任一项所述的建模系统，其中所述特定患者的所述医疗图像包括动脉瘤的图像，并且其中所述动态图像包括所述动脉瘤的图像，并且再其中所述用户工具包括动脉瘤夹子施放器，所述动脉瘤夹子施放器用于施放用于与所述组织图像动态地交互作用的动脉瘤夹子模型。
20.如权利要求14至19中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:命令工具与所述动态组织图像的一个或多个部分交互作用。
21.如权利要求14至20中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:选择所述工具模型和/或所述动态组织图像的元件以便从所述显示的图像中移除。
22.如权利要求14至21中任一项所述的建模系统，其中所述用于调整所述动态组织图像的工具包括用于提供以下能力的工具:通过选择对象并将所述对象拖到所需位置来在所述显示的图像中重新定位所述对象以便在所述图像中显示。
23.如权利要求14至22中任一项所述的建模系统，其中至少一个用户接口包括用于所述用户进行不用手的操作的摄像机。
24.一种用于执行外科手术模拟的建模系统，所述建模系统包括:
数据库，所述数据库用于存储从特定患者的医疗图像取得或得到的患者组织图像信息；
数据库，所述数据库用于存储所述组织的标准特性；
显示器；
图像生成器，所述图像生成器用于生成所述特定患者的动态组织图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示所述特定患者的对应实际组织；
用户工具生成器，所述用户工具生成器用于生成用户工具的工具模型以便在显示器上显示，所述工具模型用于通过由用户提供的操纵与所述动态组织图像动态地交互作用；以及
用户接口，所述用户接口提供用于调整显示在所述显示器上的所述动态组织图像的工具，所述调整是通过添加或修改所述组织的特征来进行，以补偿位于所述特定患者的实际生物组织中但最初显示的所述动态组织图像中所缺少的解剖结构，以使得所显示的所述动态组织图像随后与所述添加或修改的特征一起显示在所述显示器上，其中
所述工具模型在所述显示器上被显示为与所述动态组织图像动态地交互作用以便真实地模拟所述医疗过程。
25.一种用于使得用户能够执行模拟医疗过程的建模系统，所述系统包括:
一个或多个计算机；
显示器，所述显示器用于向用户显示图像；
数据库，所述数据库用于存储特定患者的组织的特性；
图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便基于所述特定患者的所述存储的特性生成所述特定患者的所述组织的动态真实图像以便在所述显示器上显示，其中所述组织的所述真实图像被提供为示出指示所述特定患者的所述组织的外观，所述外观包括阴影效果和纹理；
数据库，所述数据库用于存储用户工具库，所述用户工具库用于提供医疗过程中所使用的实际用户工具的多个用户工具模型；
用户接口，所述用户接口用于从所述用户接受用于选择所述用户工具模型中的一个的输入；
用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所述所选择用户工具模型的真实工具图像以便在所述显示器上显示；以及
用户接口，所述用户接口包括用于从所述用户接受不用手的输入的摄像机，所述输入用于动态地操纵所述所选择用户工具图像和/或所述组织的所述图像以便在所述模拟医疗过程期间与所述组织的所述真实图像动态地交互作用，以便在所述显示器上向所述用户实时显示，其中
所述用户工具图像与所述组织的所述图像之间的所述动态交互作用是使用具有真实视觉特征的图像来显示在所述显示器上，所述真实视觉特征展示出真实的机械交互作用。
26.如权利要求25所述的建模系统，其中所述特定患者的所述医疗图像包括解剖结构的图像并且其中所述动态图像包括所述解剖结构的图像，并且再其中所述用户工具包括用于与所述解剖结构动态地交互作用的仪器。
27.一种执行外科手术模拟的方法，所述方法包括以下步骤:
提供计算机系统；
提供连接到所述计算机装置的显示器；
获得关于特定患者的生物组织的患者图像信息以便存储在所述计算机系统中；
使用所述计算机系统生成所述特定患者的所述生物组织的动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示所述特定患者的对应实际组织；
使用所述计算机系统生成用户工具模型以便在所述显示器上显示，所述用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用；
使用对所述计算机系统的用户输入调整显示在所述显示器上的所述动态组织图像，所述调整是通过添加或修改供显示的所述组织的特征来进行，以补偿位于所述特定患者的所述实际生物组织中但最初所显示的所述动态组织图像中所缺少的解剖结构，以使得所显示的所述动态组织图像随后与所述添加或修改的特征一起显示在所述显示器上；以及
使用所述计算机系统生成所述医疗过程的真实模拟以便在所述显示器上显示，所述真实模拟示出所述动态组织图像与所述用户工具模型之间的交互作用，所述交互作用是根据所述用户的输入。
28.一种用于使得用户能够执行模拟医疗过程的建模系统，所述系统包括:
一个或多个计算机；
显示器，所述显示器用于向用户显示图像；
图像生成器，所述图像生成器使用所述计算机中的一个或多个来执行软件以便生成特定患者的组织的动态真实图像以便在所述显示器上显示，其中所述组织的所述真实图像被提供为示出指示实际组织的外观，所述外观包括阴影效果和纹理；
数据库，所述数据库用于存储用户工具库，所述用户工具库用于提供医疗过程中所使用的实际用户工具的多个用户工具模型；
用户接口，所述用户接口用于从用户接受用于选择所述用户工具模型中的一个的输入；
用户工具生成器，所述用户工具生成器使用所述计算机中的一个或多个来执行软件以便生成所述所选择用户工具模型的真实工具图像以便在所述显示器上显示；以及
用户接口，所述用户接口可跟踪由所述用户用于所述特定患者的实际外科手术仪器的运动，以使得所述运动用于动态地操纵所述所选择用户工具图像和/或所述组织的所述图像以便在所述模拟医疗过程期间与所述组织的所述真实图像动态地交互作用，以便在所述显示器上向所述用户实时显示。
CN201380022805.XA 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器 Expired - Fee Related CN104271066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710993264.5A CN107822690B (zh) 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261651775P 2012-05-25 2012-05-25
US61/651,775 2012-05-25
PCT/US2013/042654 WO2013177520A1 (en) 2012-05-25 2013-05-24 Hybrid image/scene renderer with hands free control

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710993264.5A Division CN107822690B (zh) 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器

Publications (2)

Publication Number Publication Date
CN104271066A true CN104271066A (zh) 2015-01-07
CN104271066B CN104271066B (zh) 2017-10-24

Family

ID=49624378

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380022805.XA Expired - Fee Related CN104271066B (zh) 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器
CN201710993264.5A Expired - Fee Related CN107822690B (zh) 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710993264.5A Expired - Fee Related CN107822690B (zh) 2012-05-25 2013-05-24 具有不用手的控制的混合图像/场景再现器

Country Status (7)

Country Link
US (2) US10056012B2 (zh)
EP (1) EP2856296B1 (zh)
JP (2) JP6343606B2 (zh)
CN (2) CN104271066B (zh)
ES (1) ES2872298T3 (zh)
IN (1) IN2014DN08500A (zh)
WO (1) WO2013177520A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352184A (zh) * 2015-10-29 2018-07-31 佳能株式会社 医用图像处理装置、可安装到医用图像处理装置中的程序和医用图像处理方法
CN114267220A (zh) * 2021-12-27 2022-04-01 林华 一种外科手术教学模拟方法及系统

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526586B2 (en) * 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
US10758314B2 (en) * 2011-12-12 2020-09-01 Jack Wade Enhanced video enabled software tools for medical environments
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US9788905B2 (en) 2011-03-30 2017-10-17 Surgical Theater LLC Method and system for simulating surgical procedures
US10350431B2 (en) 2011-04-28 2019-07-16 Gt Medical Technologies, Inc. Customizable radioactive carriers and loading system
EP2856296B1 (en) * 2012-05-25 2021-04-14 Surgical Theater LLC Hybrid image/scene renderer with hands free control
US9492683B2 (en) 2013-03-15 2016-11-15 Gammatile Llc Dosimetrically customizable brachytherapy carriers and methods thereof in the treatment of tumors
US20150007031A1 (en) * 2013-06-26 2015-01-01 Lucid Global, Llc. Medical Environment Simulation and Presentation System
US20150082226A1 (en) * 2013-09-18 2015-03-19 Sharp Vision Software Llc Systems and Methods for Providing Software Simulation of Human Anatomy and Endoscopic Guided Procedures
US11547499B2 (en) * 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
US9821174B1 (en) * 2015-02-06 2017-11-21 Gammatile Llc Radioactive implant planning system and placement guide system
EP3265011A1 (en) 2015-03-01 2018-01-10 Aris MD, Inc. Reality-augmented morphological procedure
US9403033B1 (en) 2015-04-24 2016-08-02 Gammatile Llc Apparatus and method for loading radioactive seeds into carriers
US9526463B2 (en) 2015-05-06 2016-12-27 Gammatile Llc Radiation shielding
WO2017066373A1 (en) 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
JP6797525B2 (ja) * 2015-10-29 2020-12-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP6735080B2 (ja) * 2015-10-29 2020-08-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP6337868B2 (ja) * 2015-10-29 2018-06-06 キヤノンマーケティングジャパン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
CA3055023A1 (en) 2016-03-01 2017-09-08 ARIS MD, Inc. Systems and methods for rendering immersive environments
RU2618843C1 (ru) * 2016-03-02 2017-05-11 Иннокентий Константинович Алайцев Способ симуляции взаимодействий с твёрдыми телами и их обработки бормашиной с имитацией тактильной обратной связи, реализуемый на эвм
EP3179450B1 (de) * 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
US10607735B2 (en) 2016-09-06 2020-03-31 International Business Machines Corporation Hybrid rendering system for medical imaging applications
WO2018071999A1 (en) 2016-10-21 2018-04-26 Synaptive Medical (Barbados) Inc. Mixed reality training system
US10888710B1 (en) 2016-11-29 2021-01-12 Gt Medical Technologies, Inc. Transparent loading apparatus
JP6747956B2 (ja) * 2016-12-07 2020-08-26 株式会社ＯＰＥｘＰＡＲＫ 情報統合装置
US10810907B2 (en) 2016-12-19 2020-10-20 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10565802B2 (en) * 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
JP7109936B2 (ja) * 2018-02-28 2022-08-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および制御方法
US10981018B2 (en) 2019-02-14 2021-04-20 Gt Medical Technologies, Inc. Radioactive seed loading apparatus
EP3664036B1 (de) * 2019-04-30 2022-08-17 Siemens Healthcare GmbH Verfahren und system zur berechnung einer ausgabe von einem durch einen tomographen bereitgestellten scrollbaren bildstapel
US11830621B2 (en) * 2020-05-29 2023-11-28 Dartmouth-Hitchcock Clinic System and method for rapid and accurate histologic analysis of tumor margins using machine learning
CN112451070A (zh) * 2020-10-15 2021-03-09 中国医学科学院北京协和医院 一种基于HoloLens的游离腓骨瓣重建颌骨系统
EP4139932A1 (en) * 2021-04-27 2023-03-01 Cilag GmbH International Surgical stapler reload simulation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720561A (zh) * 2002-12-03 2006-01-11 曼帝丝公司 干预模拟器系统
CN1973780A (zh) * 2005-11-23 2007-06-06 通用电气公司 促进手术的方法和系统
US20100178644A1 (en) * 2009-01-15 2010-07-15 Simquest Llc Interactive simulation of biological tissue
US20100217336A1 (en) * 2006-08-31 2010-08-26 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
US20110236868A1 (en) * 2010-03-24 2011-09-29 Ran Bronstein System and method for performing a computerized simulation of a medical procedure
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1008128A3 (nl) 1994-03-10 1996-01-23 Materialise Nv Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie.
BE1008372A3 (nl) 1994-04-19 1996-04-02 Materialise Nv Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel.
US5623582A (en) 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6113395A (en) 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP3559495B2 (ja) 2000-03-28 2004-09-02 京セラ株式会社 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路
US6939138B2 (en) 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
US7261565B2 (en) 2000-05-19 2007-08-28 Simbionix Ltd. Endoscopic tutorial system for the pancreatic system
US20020059284A1 (en) 2000-10-20 2002-05-16 Ran Bronstein Method for rapid transfer of data with a multi-spline model
IL143255A (en) 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
WO2002097735A1 (en) * 2001-05-31 2002-12-05 Kent Ridge Digital Labs System and method of anatomical modeling
CA2486520A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
FR2836372B1 (fr) 2002-02-28 2004-06-04 Obl Procede et dispositif pour la mise en place d'implants dentaires
WO2003096255A2 (en) * 2002-05-06 2003-11-20 The Johns Hopkins University Simulation system for medical procedures
SE0202863D0 (sv) 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US8276091B2 (en) * 2003-09-16 2012-09-25 Ram Consulting Haptic response system and method of use
US7101383B1 (en) 2003-11-26 2006-09-05 Van Ess Lester J Laparoscopic instrument and method for its use
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8702580B2 (en) 2004-10-06 2014-04-22 Brainlab Ag Method and device for assisting in a tissue treatment
US8480404B2 (en) 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
JP2006223374A (ja) * 2005-02-15 2006-08-31 Olympus Corp 手術支援装置、手術支援システム及び手術支援方法
CA2600731A1 (en) * 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070038059A1 (en) * 2005-07-07 2007-02-15 Garrett Sheffer Implant and instrument morphing
US20070134637A1 (en) 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
US20070248261A1 (en) 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
WO2007121572A1 (en) * 2006-04-21 2007-11-01 Mcmaster University Haptic enabled robotic training system and method
GB0609988D0 (en) 2006-05-19 2006-06-28 Materialise Nv Method for creating a personalized digital planning file for simulation of dental implant placement
EP2081494B1 (en) * 2006-11-16 2018-07-11 Vanderbilt University System and method of compensating for organ deformation
DE102006056884A1 (de) 2006-12-01 2008-06-05 Siemens Ag Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten
WO2008076079A1 (en) 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
US8543338B2 (en) * 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
WO2008087629A2 (en) 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
GB0703141D0 (en) 2007-02-19 2007-03-28 Materialise Dental Nv Dual transfer device for guided direct bonding
JP2009056299A (ja) * 2007-08-07 2009-03-19 Stryker Leibinger Gmbh & Co Kg 外科手術をプランニングするための方法及びシステム
DE102007053008A1 (de) 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
US8956165B2 (en) 2008-01-25 2015-02-17 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9679499B2 (en) 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
JP5215828B2 (ja) * 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
GB0822590D0 (en) 2008-12-11 2009-01-21 Materialise Nv Orthotic prosthetic cushioned device and method of making the same
US8401686B2 (en) * 2008-12-18 2013-03-19 Align Technology, Inc. Reduced registration bonding template
US8685093B2 (en) 2009-01-23 2014-04-01 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
CN102422335B (zh) 2009-05-12 2016-03-02 美国医软科技公司 用于交互式术前评估的系统、方法和装置
US9104791B2 (en) 2009-05-28 2015-08-11 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
US8662900B2 (en) * 2009-06-04 2014-03-04 Zimmer Dental Inc. Dental implant surgical training simulation system
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
CA2787316A1 (en) * 2010-01-22 2011-07-28 The Research Foundation Of The State University Of New York System and method for prostate visualization and cancer detection
WO2012033739A2 (en) 2010-09-08 2012-03-15 Disruptive Navigational Technologies, Llc Surgical and medical instrument tracking using a depth-sensing device
US9788905B2 (en) 2011-03-30 2017-10-17 Surgical Theater LLC Method and system for simulating surgical procedures
WO2012168836A2 (en) * 2011-06-10 2012-12-13 Koninklijke Philips Electronics N.V. Dynamic constraining with optical shape sensing
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US10553130B2 (en) * 2012-05-03 2020-02-04 Regents Of The University Of Minnesota Systems and methods for analyzing surgical techniques
EP2856296B1 (en) * 2012-05-25 2021-04-14 Surgical Theater LLC Hybrid image/scene renderer with hands free control
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
KR101570857B1 (ko) * 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720561A (zh) * 2002-12-03 2006-01-11 曼帝丝公司 干预模拟器系统
CN1973780A (zh) * 2005-11-23 2007-06-06 通用电气公司 促进手术的方法和系统
US20100217336A1 (en) * 2006-08-31 2010-08-26 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
US20100178644A1 (en) * 2009-01-15 2010-07-15 Simquest Llc Interactive simulation of biological tissue
US20110236868A1 (en) * 2010-03-24 2011-09-29 Ran Bronstein System and method for performing a computerized simulation of a medical procedure
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TORU KOYAMA M. D. ET AL.: "Simulation of the surgical manipulation involved in clipping a basilar artery aneurysm: concept of virtual clipping", 《J NEUROSURG》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352184A (zh) * 2015-10-29 2018-07-31 佳能株式会社 医用图像处理装置、可安装到医用图像处理装置中的程序和医用图像处理方法
CN108352184B (zh) * 2015-10-29 2022-10-04 佳能株式会社 医用图像处理装置、可安装到医用图像处理装置中的程序和医用图像处理方法
US11810659B2 (en) 2015-10-29 2023-11-07 Canon Kabushiki Kaisha Medical image processing apparatus, program installable into medical image processing apparatus, and medical image processing method
CN114267220A (zh) * 2021-12-27 2022-04-01 林华 一种外科手术教学模拟方法及系统
CN114267220B (zh) * 2021-12-27 2024-01-26 林华 一种外科手术教学模拟方法及系统

Also Published As

Publication number Publication date
CN107822690B (zh) 2020-10-02
ES2872298T3 (es) 2021-11-02
EP2856296A4 (en) 2016-03-09
JP2018187399A (ja) 2018-11-29
US20180322806A1 (en) 2018-11-08
CN107822690A (zh) 2018-03-23
US10056012B2 (en) 2018-08-21
JP2015527090A (ja) 2015-09-17
JP6677758B2 (ja) 2020-04-08
EP2856296B1 (en) 2021-04-14
EP2856296A1 (en) 2015-04-08
CN104271066B (zh) 2017-10-24
JP6343606B2 (ja) 2018-06-13
IN2014DN08500A (zh) 2015-05-15
US20150140535A1 (en) 2015-05-21
WO2013177520A1 (en) 2013-11-28
US10943505B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
JP6677758B2 (ja) ハイブリッド画像／ハンズフリー制御によるシーンレンダラー
US20190238621A1 (en) Method and system for simulating surgical procedures
Bernardo Virtual reality and simulation in neurosurgical training
Preim et al. A survey of virtual human anatomy education systems
John The impact of Web3D technologies on medical education and training
Spicer et al. Virtual reality surgery: neurosurgery and the contemporary landscape
Ammanuel et al. Creating 3D models from radiologic images for virtual reality medical education modules
JP7432534B2 (ja) 双方向にマルチユーザの仮想現実体験を効率的にレンダリング、管理、記録、および再生するための方法及び装置
Rasool et al. Image-driven virtual simulation of arthroscopy
KR101275938B1 (ko) 가상 수술 시뮬레이션 방법 및 장치
Preim et al. Virtual and augmented reality for educational anatomy
Eriksson Haptic Milling Simulation in Six Degrees-of-Freedom: With Application to Surgery in Stiff Tissue
Tai Research on real-time physics-based deformation for haptic-enabled medical simulation
Gåsbakk et al. Medical procedural training in virtual reality
Chang-Gonzalez et al. Creation of interactive VR application that supports reasoning skills in anatomy education
Chacko et al. Virtual surgery on geometric model of real human organ data
Ghandorh Augmented Reality Simulation Modules for EVD Placement Training and Planning Aids
Mahon Tablet-Based Training for Open Reduction Internal Fixation: A Model for Complex Pelvic Trauma Surgery
Xu et al. Building Computational Virtual Reality Environment for Anesthesia
CN117953760A (zh) 心脏解剖虚拟仿真教学系统
Kockara The integrated implementation of surgical simulations through modeling by means of imaging, comprehension, visualization, deformation, and collision detection in virtual environments
Gu Investigating the suitability of Maya for biomedical modelling and simulation
Kerwin Enhancements in Volumetric Surgical Simulation
Cavusoglu SURGICAL SIMULATION TECHNOLOGIES
Acosta Stable haptic virtual reality application development platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024

CF01 Termination of patent right due to non-payment of annual fee