CN105992996A - 外科手术环境中的动态和交互式导航 - Google Patents
外科手术环境中的动态和交互式导航 Download PDFInfo
- Publication number
- CN105992996A CN105992996A CN201580008526.7A CN201580008526A CN105992996A CN 105992996 A CN105992996 A CN 105992996A CN 201580008526 A CN201580008526 A CN 201580008526A CN 105992996 A CN105992996 A CN 105992996A
- Authority
- CN
- China
- Prior art keywords
- image
- instrument
- display
- dynamic organization
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000001356 surgical procedure Methods 0.000 claims abstract description 47
- 210000003484 anatomy Anatomy 0.000 claims abstract description 35
- 230000008520 organization Effects 0.000 claims description 70
- 230000009471 action Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 17
- 238000004088 simulation Methods 0.000 claims description 10
- 210000000056 organ Anatomy 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims 2
- 238000009940 knitting Methods 0.000 claims 2
- 239000004744 fabric Substances 0.000 claims 1
- 238000011017 operating method Methods 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 abstract description 18
- 238000013459 approach Methods 0.000 abstract description 13
- 238000007428 craniotomy Methods 0.000 abstract description 4
- 238000012800 visualization Methods 0.000 abstract description 4
- 230000008676 import Effects 0.000 abstract description 2
- 230000007170 pathology Effects 0.000 abstract 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 48
- 238000002372 labelling Methods 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 15
- 206010002329 Aneurysm Diseases 0.000 description 13
- 239000000523 sample Substances 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 231100000915 pathological change Toxicity 0.000 description 7
- 230000036285 pathological change Effects 0.000 description 7
- 210000003462 vein Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000007943 implant Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003137 locomotive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010054949 Metaplasia Diseases 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015689 metaplastic ossification Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 208000018389 neoplasm of cerebral hemisphere Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 101710116822 Atrochrysone carboxylic acid synthase Proteins 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000001435 Thromboembolism Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010946 mechanistic model Methods 0.000 description 1
- IHKWXDCSAKJQKM-SRQGCSHVSA-N n-[(1s,6s,7r,8r,8ar)-1,7,8-trihydroxy-1,2,3,5,6,7,8,8a-octahydroindolizin-6-yl]acetamide Chemical compound O[C@H]1[C@H](O)[C@@H](NC(=O)C)CN2CC[C@H](O)[C@@H]21 IHKWXDCSAKJQKM-SRQGCSHVSA-N 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 238000013334 tissue model Methods 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0487—Special user inputs or interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Algebra (AREA)
- Medicinal Chemistry (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Pulmonology (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于通过将组织动力学和工具特性的模型联接到患者特定图像来将特定患者的医疗图像转化成与包括医疗装置的医疗工具交互作用的高分辨率3D动态和交互式图像以便以准确和动态的方式模拟医疗过程的系统和方法。所述方法包括用于添加和/或调整动态组织图像的工具和在所述动态组织图像上绘制和添加几何形状的能力。所述系统导入3D外科手术计划(开颅术、头位置、入路等)。外科医生建立多个视图、旋转导航图像并且与所述导航图像交互作用来看到病变后面和关键结构。所述外科医生可使得诸如肿瘤、血管和组织的结构透明从而改善可视化并且能够看到所述病变后面。所述系统可关于工具接近特定解剖结构做出警告。
Description
相关申请的交叉引用
本申请要求于2014年4月4日提交并且以引用的方式并入本文中的美国临时申请序列号61/975,330的权益。
背景
本申请大体上涉及一种用于在外科手术环境中显示外科手术过程以帮助外科手术的系统和方法。更具体地说，本申请涉及一种通过在外科手术过程期间将组织动力学模型联接到患者特定图像来将实际外科手术患者的静态/静止医疗图像转化成与医疗工具(例如像外科手术工具、探针和/或可植入医疗装置)交互作用的动态和交互式图像的系统和方法。与医疗工具的交互作用已经实现接近警告，所述接近警告是用于提供工具接近特定解剖结构的连续指示和警告的机制。
外科医生缺乏将向其提供外科手术患者的真实视觉图像的外科手术工具，其中真实物理组织性质与医疗工具(例如像外科手术工具、探针和/或可植入医疗装置)一起显示在3d显示器中。一种外科手术工具，其包括：(i)患者特定外科手术区域(例如，动脉瘤)的真实的“逼真的”2D和/或3D显示；(ii)对局部患者特定外科手术区域几何形状和物理性质的建模；(iii)接口，其使得能够操纵患者特定外科手术模型区域并且显示诸如切割、转移和夹紧的外科手术动作；以及(iv)接口，其向外科医生提供反馈提示并且给出实时3d导航，所述3d导航提供工具接近特定解剖结构的警告。
概述
大体提供用于通过将组织动力学和工具特性的模型联接到患者特定图像来将特定患者的医疗图像转化成与包括医疗装置的医疗工具交互作用的高分辨率3D动态和交互式图像以便以准确和动态的方式模拟医疗过程的示例性系统和方法。所述方法包括用于添加和/或调整动态组织图像的工具和在所述动态组织图像上绘制和添加几何形状的能力。所述系统导入3D外科手术计划(开颅术、头位置、入路等)。外科医生建立多个视图，旋转导航图像并且与导航图像交互作用来看到病变后面和关键结构。外科医生可使得诸如肿瘤、血管和组织的结构透明从而改善可视化并且能够看到病变后面。所述系统可关于工具接近特定解剖结构做出警告。
另外是多个示例性实施方案，包括但不限于一种用于对特定患者执行医疗过程的建模系统，其包括：显示器；图像生成器，所述图像生成器包括在计算机系统上执行的专用软件用于生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示特定患者的对应实际生物组织的组织；用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；以及计算机系统的用户接口，所述用户接口被配置用于允许用户通过添加或修改所述组织的特征来调整在所述显示器上显示的动态组织图像以便帮助外科手术操作。建模系统被配置用于在对特定患者的医疗过程期间在手术室中使用。
进一步提供了用于执行外科手术过程的建模系统，其包括：触摸屏显示器；数据库，所述数据库用于存储不同器官和/或组织的多个模型的库，其中所述数据库还被配置用于存储特定患者的医疗图像，其中所述建模系统被配置用于通过使用患者医疗图像为特定患者创建模型来在所述外科手术过程之前建立支持所述过程的病例；用户接口，所述用户接口用于从多个此类病例中选择所述病例以便加载在所述建模系统中；图像生成器，所述图像生成器包括在计算机系统上执行的专用软件用于基于所述选择的病例生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示特定患者的对应实际生物组织的组织；用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；计算机系统的用户接口，所述用户接口被配置用于从用户接收输入来通过所述触摸屏显示器配置建模系统；以及接口，所述接口连接到存在于手术室中的外部外科手术系统或工具的接口以便从外部外科手术系统或工具接收数据用于生成所述动态组织图像以便显示与所述外部外科手术系统或工具的操作一致。
以上的建模系统可被配置用于在对特定患者的外科手术期间在手术室中使用。
另外提供了使用建模系统(诸如本文所描述的)来支持医疗过程的方法，其包括以下步骤：
提供被配置用于手术室中的计算机系统；
提供连接到所述计算机系统的显示器；
获得关于特定患者的生物组织的患者图像信息以便存储在所述计算机系统中；
使用在计算机系统上执行的专用软件生成特定患者的生物组织的动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示特定患者的对应实际组织；
使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的动态组织图像以便调整位于特定患者的实际生物组织中的解剖结构；以及
使用计算机系统生成对特定患者执行的外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据用户的输入动态组织图像与用户工具模型之间的交互作用。
另外提供了使用建模系统(诸如本文所描述的)来支持医疗过程的方法，其包括以下步骤：
提供被配置用于手术室中的计算机系统；
提供连接到所述计算机系统的3D显示器；
获得关于特定患者的生物组织的患者图像信息；
通过使用被配置用于生成特定患者的生物组织的动态图像的患者医疗图像为特定患者创建模型来在所述外科手术之前建立支持所述外科手术的病例；
使用在计算机系统上执行的专用软件、使用所述病例生成特定患者的生物组织的动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示特定患者的对应实际组织；
使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的动态组织图像以便调整位于特定患者的实际生物组织中的解剖结构；
使用计算机系统生成对特定患者执行的外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据用户的输入动态组织图像与用户工具模型之间的交互作用；
从在外科手术期间使用的外部外科手术系统接收数据，所述数据由所述模拟工具使用来确保生物组织的所述动态图像与外部外科手术系统的操作一致；以及
提供警告用户关于一个或多个外科手术工具接近患者的特定解剖结构的能力。
本发明还提供另外的示例性实施方案，下文更详细地描述这些另外的实施方案中的一些但不是全部
附图简述
通过阅读以下说明并参考附图，本发明所涉及领域的技术人员将清楚本文所述的本发明的实例的特征和优点，其中：
图1是示出用于使用本文公开的SNAP外科手术工具的示例性系统结构和接口的框图；
图1A是示出用于移动车实施方案的示例性SNAP工具部件的框图；
图1B是用于移动车实施方案的示例性SNAP工具部件的图形表示；
图1C是示出用于示例性SNAP移动护理实施方案的示例性软件接口的框图；
图2-图11和图12-图18是用于示例性SNAP工具的示例性显示和/或控制接口的屏幕截图；并且
图11A是示出使用SNAP工具用于组合不同分割的组织数据集的示例性融合处理流水线方法的框图。
示例性实施方案的详述
本文使用的术语只用于描述示例性实施方案的目的，而不是意图成为限制。如本文所用，除非上下文另外明确说明，否则单数形式“一(a/an)”和“所述(the)”意欲也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)、(including)、(having)、(containing)”在用于本说明书中时，规定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组。
本申请并入有在2013年9月30日提交的美国专利申请序列号14/008,917和在2013年5月24日提交的PCT申请序号列PCT/US13/42654的所有教义，所述教义提供用于本文中论述的改善的设计信息。
所公开示例性外科手术图形工具(SNAP)与手术室技术整合以便提供先进的3D能力和增强现实，允许外科医生增强其外科手术执行和提前准备。例如，除其他用途外，SNAP工具给神经外科医生提供虚拟现实引导以确定移除脑肿瘤和治疗血管病变的最安全和最有效途径。
SNAP导入开颅术、头位置、到病变的路径入路的3D计划，例如用于锁孔和其他微创技术。SNAP允许外科医生提前看到预期的外科医生眼视图。
利用SNAP工具，外科医生可在手术室中利用特定患者的实际CT/MRI(及其他)扫描的同时执行其外科手术计划，允许增强的准确度和效率。SNAP还提供允许外科医生以可旋转3D形式看到后面的动脉和其他关键结构的创新特征，所述可旋转3D形式可被修改来使图像对外科医生更有用。例如，SNAP提供旋转图像或使半透明的能力以便帮助外科医生可视化操作。SNAP利用允许外科医生执行“患者专用”外科手术的现实“穿越”的先进成像技术。工具提供手术室外的准备支持并且还可用于采取预先计划的路径进入外科医生(及其工作人员)在过程期间待使用的手术室自身。
SNAP通过连接至OR术中跟踪导航系统获得外科手术工具、导航探针、显微镜焦点等的跟踪坐标。SNAP提供使增强的情景意识减弱的3D导航模式。SNAP可从这些外科手术工具中的任一个接收图像或跟踪/导航信息，所述外科手术工具被配置来收集此类信息，并且此类信息可由SNAP系统使用来致使高分辨率图像显示给外科医生以对应于所接收信息。例如，SNAP图像可跟踪工具在所显示图像中的位置，或者基于由例如工具提供的视觉信息更新图像。
SNAP接近警告系统的操作方式类似于近地警告系统(GPWS)和机载防撞系统(ACAS)、地面防撞系统(TCAS)以及飞机中的指示和警告机组人员接近和/可能致使接近地面和其他障碍物的机动的其他类似系统。SNAP接近警告系统操作包括以下主要阶段：
-SNAP接近警告系统可自动地标记外科医生需要避开的解剖结构。此类解剖结构可包括纤维轨迹、神经、血管、动脉等。
-SNAP接近警告系统允许将标记手动放置在3D或2D导航场景中。这些标记可标记障碍物和解剖结构以便避开或标记出外科医生将导航到的目标。被放置的每个标记可被标示，具有特定颜色、特定形状等。
-SNAP接近警告系统的警告的指示可以是视觉的(例如，颜色变化)、声音的(声音)和其他。
-SNAP可允许创建轨迹。通过标记进入点并随后将此进入点与上方标记/目标相关联，SNAP创建允许从进入点导航到所述目标的轨迹。
-SNAP路径计划器允许连接若干标记、目标以及进入点并且创建路径。可创建多个路径。路径可以是要遵循的所需路线或者要避开的路径。
-类似于飞机仪表着陆系统(ILS)，SNAP向外科医生提供视觉图形引导。只要外科医生将其移动维持在引导的标记内，他就将准确地从点A到点B(从进入点到目标)。
工具给机构(例如，医院)及其各自外科医生提供减少外科手术失误、降低外科手术浪费和相关成本的量、减少手术室时间并且使过程的高风险性最小化的机会。工具提供维持神经外科培训的高质量的机会和在手术室外进行教学的机会：外科手术技能的Halstedian培训依赖于大量的、多种病例以及在医院中的几乎无尽的驻留时间。近期发展已迫使反思Halstedian系统。关于Halstedian系统的近期众多压力包括：受限的工作时数、提高的群众监督以及手术经验的减少。
使用工具的训练可减少对后续过程和调整的需要。例如，当工具用于动脉瘤手术时，使用所述工具可减少调整或更换动脉瘤夹具的需要。夹具的调整和更换可通常导致延长的临时阻塞和整体较长的过程时间。这会增加整体过程风险。
本领域的技术人员应理解，本文所公开的示例性实施方案可被实现为或者可大体使用方法、系统、计算机程序产品或前述组合。因此，实施方案中的任一个可采用以下形式：完全硬件实施方案、用于硬件上的执行的完全软件实施方案(包括固件、常驻软件、微代码等)或者组合本文可大体称为“系统”的软件方面和硬件方面的实施方案。此外,实施方案中的任一个可采用以下形式:位于具有在介质上体现的计算机可用程序代码的计算机可用存储介质上的计算机程序产品。
例如，本文公开的特征可使用如图1所示的设置在医院环境(诸如手术室)中的联网计算机系统1实现。此系统可设置在外科手术环境中，其中外科医生20由各个外科手术工作人员22支持对患者5进行操作。这种系统1整合一个或多个服务器(例如，PC)10A-10n，所述服务器从使用计算机网络12一起联网的一个或多个数据库15A-15n访问数据。系统将执行提供来实现本文描述的功能和其他特征的专有软件。一个或多个计算机20可用于与各种外科手术工具，诸如外科手术探针/摄像机32、其他外科手术工具34和/或连接到计算机20的其他设备36对接，所述对接使用作为计算机18与工具之间的接口的一个或多个计算机总线或网络30。应注意，在一些情况中，计算机18、服务器10以及数据库15可全被容纳在单个服务器平台中。
系统连接到高分辨率3D显示器40，在所述显示器40上，外科医生可监测各个工具32、34以及36的操作和活动。在一些情况下，显示器可能不具有3D能力。
系统被配置为具有包括患者成像细节的患者特定参数7和其他信息，所述患者成像细节包括来自先前获取的患者可用CT和MRI图像的图像准备，所述其他信息关于模拟模型，诸如患者年龄、性别等(这些信息中的部分或全部可从例如像医疗数据库、实验室或其他源的外部实体获取)。系统使用从系统数据库获取的描述组织和器官特征的组织信息参数。系统可被配置来在需要的情况下通过诸如互联网的通信网络50与一个或多个外部实体60交互作用。
任何合适的计算机可用(计算机可读)介质可被用于存储用于在一个或多个计算机上执行的软件，以便实现公开的处理并存储公开的数据和信息。计算机可用或计算机可读介质可以是(例如但不局限于)电、磁、光学、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更具体实例(并非详尽清单)将包括以下：具有一根或多根导线的电连接、有形介质诸如便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、压缩光盘只读存储器(CDROM)或其他有形的光学或磁性存储装置；或传输介质诸如支持互联网或内联网的介质。应注意计算机可用或计算机可读介质甚至可包括另一介质，从所述另一介质可通过例如光学或磁性扫描来电子地获取程序随后编译、解译或者如有必要以其他合适的方式处理，并且随后存储在任何可接受类型的计算机存储器中。
在本文档的上下文中，计算机可用或计算机可读介质可以是可包含、存储、通信、传播或传输程序以便由指令执行系统、平台、设备或装置使用或与指令执行系统、平台、设备或装置组合使用的任何介质，所述指令执行系统、平台、设备或装置可包括任何合适的计算机(或计算机系统)，所述任何合适的计算机包括一个或多个可编程或专用处理器/控制器。计算机可用介质可包括处于基带中或作为载波一部分的传播数据信号，其中实施有计算机可用程序代码。可使用任何适当介质，包括但不限于互联网、电线、光纤电缆、射频(RF)或其他手段来传输计算机可用程序代码。
用于进行示例性实施方案操作的计算机程序代码可由常规手段使用任何计算机语言编写，所述计算机语言包括但不限于解译或事件驱动语言诸如BASIC、Lisp、VBA或VBScript，或GUI实施方案诸如visual basic，编译的编程语言诸如FORTRAN、COBOL或Pascal，面向对象、脚本或非脚本编程语言诸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等，人工智能语言诸如Prolog，实时嵌入式语言诸如Ada，或甚至使用阶梯逻辑的更直接或简化的编程，汇编程序语言，或使用适当的机器语言的直接编程。
计算机程序指令可被存储或以其他方式加载在计算机可读介质存储器中，所述存储器可引导计算装置或系统(诸如由图1的示例性系统1所描述)，或其他可编程数据处理设备，以便以特定方式起作用，使得存储在计算机可读存储器中的指令产生制品，所述制品包括实现本文所指定的功能/作用的指令手段。
软件包括通过提供给执行装置或部件而被执行的专用计算机程序指令，所述执行装置或部件可包括通用计算机、专用计算机或控制器或其他可编程数据处理设备或部件、本文所描述的定制器件的处理器，使得专用计算机程序的指令在被执行时创建用于实现本文所指定的功能/作用的手段。因此，定制软件的计算机程序指令用于致使将在执行装置或部件或者其他可编程设备上执行的一系列操作产生计算机实现的处理，使得指令在计算机或其他可编程设备上执行用于实现本公开指定的功能/作用的步骤。这些步骤或动作可与操作员或人类实现的步骤或动作以及由其他部件或设备提供的步骤或动作组合以便进行任何数量的本发明的示例性实施方案。根据需要，定制的软件还可使用各种可商购软件，诸如计算机操作系统、数据库平台(例如，MySQL)或者其他COTS软件。
对于被称为“外科手术导航先进平台”(SNAP)的示例性系统，实际患者的医疗图像被转换成动态、交互式3D场景。此动态和交互式图像/模型为医疗图像创建新型和初始标准，并且具有许多应用。
SNAP向外科医生(神经外科医生等)提供例如独特虚拟现实引导以确定移除肿瘤(大脑的等)并且治疗畸形诸如血管畸形的最安全且最有效途径。“外科手术导航先进平台”(SNAP)可用作独立系统或外科手术导航系统的应用，或者与第三方导航系统一起用于第三方导航系统所用于的过程类型。这些过程包括但不限于大脑、脊和耳鼻喉(ENT)。
SNAP允许外科医生在外科手术之前分析并计划特定患者病例，并且随后将所述计划带入手术室(OR)中并且在外科手术期间结合导航系统使用它。SNAP随后将导航数据呈现到先进交互式的高质量3D图像中，具有多个视图点。
SNAP实际是包括医疗成像装置的图像引导的外科手术系统，其呈现外科手术过程的实时和动态多个视线视图(从不同/多个角度)。图像包括扫描的医疗图像(基于扫描诸如CT、MRI、超声、X射线等)和外科手术仪器。它还可包括基于视频形成显微镜或其他源的实时视频和模型。SNAP为外科医生提供实时3D交互式引导图像。解剖结构(即，头、脑、膝、肩等)的取向在物理/患者的和扫描的医疗图像(CT、MRI、超声、X射线等)中被标记并预先对准；因此扫描的医疗图像和患者在外科手术时的真实解剖结构的取向是同步且对准的。
此外，上述的预先对准的标记提供跟踪外科手术仪器和OR显微镜(和/或外科医生头部)并且因此允许在空间上相对于扫描的医疗图像呈现外科手术仪器图像/模型的球形参考。
患者的2D或3D解剖结构以及手术仪器的位置和取向是实时同步的，并且以仪器和标记在空间中相对于解剖结构的实时位置和取向呈现给外科医生。
SNAP系统能够准备具有多个扫描数据集的病例。内置“融合”模式允许用户选择一个数据集来作为主数据集，并且添加将对准(“融合的”)至主扫描数据集的次数据集。
SNAP系统具有独特的剪裁特征。ANY平面IG立方体剪裁是这样的特征，用户可从任何所需角度“剪裁”3D模型，尤其是切割到模型中并且移除一区段以暴露模型内部。剪裁平面是3D模型被“剪裁”时的平面，由2个变量限定的平面，平面法线(向量)和平面位置(在平面穿过的空间中的点)。
此外，SNAP系统知道使ANY平面IG立方体剪裁从属场景中的3D移动元件。由于立方体剪裁平面由法线和位置限定，我们可在场景中使用移动元件来为用户限定平面。元件是：导航探针、3D控制器(Omni)、通道、IG视点(眼睛摄像机)等。
另一特征是传递函数。SNAP系统具有显示“组织特定强度”的特殊能力。初始数据集片被采集并堆叠以再构建像素立方体或我们所称作的体素立方体。3D模型是立方体体积的体素。传递函数用于将每个体素强度值映射到颜色和不透明度。以那种方式我们控制组织强度并且使得外科医生能够看到他通常无法看到的内容。此创新特征允许外科医生看到后面的动脉和其他关键结构，这是直到现在才可能的事情。
SNAP可在同一屏幕上或多个屏幕上的一个或多个窗口上呈现模型。SNAP的特征和应用的实例中，多个特征可在屏幕上被并排地激活。
典型系统配置包括以下主要部件：(1)系统安装用于移动性的车；(2)医疗级隔离变压器；(3)运行Microsoft Windows 7操作系统的个人计算机(或服务器)；(4)用于高质量图形的高端nVIDIA图形适配器；(5)27”或32”全HD触摸屏显示器；(6)医疗级键盘和鼠标；以及(7)用于实现本文所描述特征的SNAP软件应用。这种系统由图1A的框图示出,其中包括触摸屏监测器71的示例性移动车安装的SNAP系统70被配置为具有PC 72和电力系统73，所有这些可提供在手术室中。示例性系统70连接到提供在手术室中的导航系统75，诸如示例性图像引导外科手术(IGS)系统，从其SNAP系统70可接收数据，使得SNAP系统70可显示遵循导航系统操作的高分辨率真实的3D图像，从而基于正进行手术的特定患者的图像使用SNAP高分辨率成像能力有效地增强导航系统的操作和显示能力。
图1B中示出图1A的系统70的示例性车安装部分，示出安装在支架101上的带有补充显示器104的主高分辨率显示器71，带有键盘102、计算机72以及移动平台107，所有被配置用于手术室环境中。此图中未示出电力系统和导航系统。如果必要的话，则此配置可使用例如以太网联网到一个或多个另外服务器。
外科手术导航先进平台(SNAP)旨在用作软件接口和图像分割系统，以便将来自CT或MR医疗扫描仪的成像信息传递到输出文件。组织分割窗口被提供来编辑并更新组织分割以准备病例。组织分割的改变反映在3D图像中，并且结果可被保存为病例文件的一部分。它还旨在用作术前和术中的软件，以便模拟/评估外科手术治疗选项。外科手术导航先进平台(SNAP)是模拟/评估外科手术治疗选项的术前和术中工具。
系统将通常提供可适用于手术室的EMC抗扰度，并且将使用触摸屏操作来导航、打字和图像操纵。系统可使用病例文件来存储个体患者病例，所述病例文件可按需要加载到系统中。外科医生可使用扫描的信息(例如，MR或CT DIACOM图像数据文件)和特定患者的患者数据来从头开始创建病例。可按需要编辑并更新这些病例。编辑窗口可用于编辑和操纵图像和文件。
可提供各种器官和组织的通用模型，所述通用模型可基于患者成像或其他诊断工具或实验输入与患者特定模型重叠。因此，对于非特定关注的器官或其他特征，系统可使用通用模型(例如，眼睛或其他器官)，其中患者特定信息不需要用于专用治疗中。
外科手术导航先进平台显示具有实时导航数据的患者特定动态和交互式3D模型。当执行导航对话时，通过指向并触摸患者上的可见结构(即，鼻尖、耳垂)并且验证SNAP屏幕上的指针指向3D模型中的相同位置，可使用工具来验证SNAP导航指针位置(设置在SNAP高分辨率显示器上)的准确度。
图1C示出由软件模块驱动的主要处理例程的实例，所述软件模块生成由SNAP工具提供的图像。图像生成器110通过使用存储在数据库115上的信息(诸如通用组织图像、患者特定图像等)生成真实组织图像以便在显示器160上显示。图像生成器110指派每个分割(阴影纹理等等)的视觉表示，并且机械性能和其他建模特征将提供真实图像。
类似地，用户工具生成器将生成外科手术工具的真实图像，所述图像被显示为与由图像生成器生成的组织图像动态地交互作用。在外科手术环境中，在显示器160上显示的工具图像可表示实际外科手术工具接口140，所述实际手术工具接口140的表示可由例如图像生成器110或用户工具生成器120生成以便显示。外科手术工具接口可与由图像生成器110生成的组织图像动态地交互作用。同样，关于工具图像的规范和细节可存储在数据库115中。需注意，因为显示器160可以是触摸屏显示器，所以显示器160可充当用户接口130连同诸如键盘、鼠标或其他输入装置的其他装置。
SNAP工具还提供外部系统接口150，所述外部系统接口150允许系统与向外科医生提供导航或其他功能的其他外部系统对接，使得SNAP工具可基于外部系统的操作生成与外部系统的输出一致的图像，例如镜像导航或更新成像。SNAP工具可随后适当地更新它的显示图像以便向外科医生提供与图形工具交互作用的高分辨率3D图像中的整合视图。
一旦外科医生选择了外科手术工具和其他对象，它们就被整合到由显示器160显示的虚拟外科手术场景中并且成为模拟情景的整合元件，所述整合元件包括应用于那些所选择项目中的每一个的真实视觉特征和机械性质以及操作性质特征，例如，显示的剪刀具有实际机械特性并且将像实际剪刀所做的那样进行切割，并且动脉瘤夹子在放置在血管处时会阻塞血流。以此方式，显示的工具与组织模型以真实方式交互作用，但在某种程度上，外科医生可操纵来提供在现实世界中不可能的视点，诸如使多个特征透明、旋转图像、颠倒过程等。
显示给外科医生的交互式图像/场景由各元件构成，所述元件为体积渲染元件和表面渲染元件两者。此外，每个元件、体积或表面与为体积的一个或多个元件交互作用。元件之间的交互作用包括但不限于物理交互作用诸如：碰撞模型，所述模型被实现来表示由根据诸如压力、元件材料(弹性、粘性等)的物理条件和诸如碰撞角度和元件取向的碰撞条件来复制所述元件的实际物理移动的元件的移动和/或再成形所引起的元件之间的交互作用。
渲染过程方程可考虑所有的照明阴影和阴影效果现象并且产生并入有所有视觉元件的最终输出流。
使用组织绘制或魔术组织棒算法创建并且与扫描图像整合的解剖结构是图像的整合部分。例如，最初是部分的并且在应用魔术组织绘制和组织棒算法后是完整的血管解剖结构将变成完整的解剖结构，这个完整的解剖结构具有由原始扫描图像和新创建的结构组合而成的结构。此外，控件(复选框)允许选择新创建的结构并且在开启(示出新创建的结构)或关闭(隐藏新创建的结构)之间切换。另外，为选择以体积和或网络/多边形渲染/重建来渲染新创建的结构提供选项。
所开发的算法和软件工具为用户提供接口来以二维或三维方式(例如，线、圆、临床、球等)绘制任何几何形状或徒手绘制形状。包括/封闭/捕获在所述几何形状(二维或三维)内的区域被定义为“标记区域”。用户随后具有定义和指派任何视觉特性和任何机械性质给所述“标记区域”的能力。
视觉特性：颜色/透明度/阴影处理-利用魔术组织绘制、组织棒算法或标记区域的新创建的结构可以可选自可用颜色库的颜色和可在0至100的任何等级上选择的透明度的任何所选择视觉特性来呈现。此外，新创建的结构的阴影处理和阴影效果的特性可通过调节虚拟光源的特性加以修改。虚拟光源特性包括：空间中的球形位置、光的颜色、光的强度、纵横比、虚拟源的几何形状等。
机械性质-利用组织绘制、魔术组织棒算法或标记区域的新创建的结构可被指派机械性质特性。也就是说，特定组织的机械模型可联接到新创建的结构，并且因此新创建的结构将带有这类机械性质并且将根据那些机械性质动态地且静态地作出反应。例如，如果“软组织”机械性质被指派给新创建的结构，那么新创建的结构将根据软组织作出反应。例如，当新创建的结构被虚拟外科手术仪器推挤时，它将根据所施加的力和组织机械模型挤压和再成形。此外，新创建的结构与其他新创建的结构之间的交互作用、最初扫描的结构与新创建的结构之间的交互作用以及新创建的结构与最初扫描的结构之间的交互作用是无缝的。任何解剖结构的机械性质系数(刚度、弹性等)可由用户调节以创建量身定做的机械行为。
实时跟踪和反馈-用于在外科手术期间跟踪实际外科手术仪器的系统。跟踪系统传递外科手术仪器相对于实际解剖结构(例如，患者头上的特定斑点)的取向和位置的空间位置和坐标。随后将仪器的位置和取向发送到外科手术模拟系统。基于患者特定模拟和仪器的位置和取向，向外科医生提供反馈。这种反馈的一个实例可以是：系统向外科医生生成针对他正在剖开的组织类型的反馈，并且万一他剖开了健康的脑组织而不是肿瘤，则警告外科医生。另外实例是在外科医生将器具应用于实际解剖结构上(例如，应用于实际患者身上的动脉瘤上的动脉瘤夹子)后，系统允许外科医生旋转模拟图像/模型，所述模拟图像/模型基于跟踪按实际解剖结构来精确取向，并且观察和评估所放置植入物的位置和效力。
实际仪器的这种跟踪和反馈可以多种方式完成，诸如通过使用视频系统来跟踪仪器和患者特征的位置和移动。或者(或除视频跟踪外)，可修改外科手术仪器以实现跟踪，诸如通过使用GPS、加速度计、磁性检测或其他位置和运动检测装置和方法。例如，此类修改的仪器可使用WiFi、Bluetooth、MICS、有线USB、RF通信或其他通信方法(例如，通过图1C的外科手术工具接口140)来与SNAP工具通信。
图2示出与外科手术仪器201尖端相关的虚拟视图210的图像:这是增强版实例，好像虚拟摄像机被附接到仪器201的尖端那样。通过此内窥视镜视图210，如果探针尖端具有摄像机(模拟探针作为“虚拟内窥镜”)那么提供表示在SNAP平面上所看到内容的能力，以及提供预演、计划、评估和模拟内窥镜过程或其他过程的能力。外科医生可使用触摸屏工具栏220操纵图像。并且通过触摸屏幕上的模型以便旋转、缩放；因此，图1示出虚拟摄像机视图的实例。
显微镜视图是从外科手术显微镜的取向的视图或外科医生眼睛的视图。图3是并列显微镜视图230和关键结构视图235的实例。此视图可受限于通过开颅术的视图，尽管开颅术的接触受到限制，所述开颅术允许外科医生模拟到病变的导航和入路。另外，微创或锁孔入路或内窥视镜入路可被模拟和评估，从而允许外科医生尝试、评估并决定哪种入路将提供具有最小风险(例如，到病变的路线中不会有碰触血管的风险的入路)的最需要的结果(例如最大肿瘤切除)。之后，通过加载计划，外科医生可在SNAP帮助下在患者头部上钻/创建所决定的开颅术/入路，并且随后通过以上选择的入路借助于SNAP来实际地导航和执行手术。
图4示出还可提供的病变255(此处是动脉瘤)的后面视图，例如外科医生可“冰冻”指针/标记或仪器250的跟踪以便探索在系统中的图像以进一步明确仪器250在解剖结构内的取向。冰冻指针在适当位置中并且操纵图像(旋转、调焦、改变分割)使得外科医生可从后面观察动脉瘤以例如允许看到夹具250是否被正确地运用。
显示多个视点的能力提供实时地从多个视点同时观看解剖图像和外科手术仪器外科手术模型的能力，并且你可以独立地旋转、偏移、调焦每个图像。图5示出并列的显微镜视图260和矢状图265。图6示出并列的显微镜视图和冠状图。这允许外科医生通过他选择的入路导航并且看到外科医生想避开的但是在显微镜或传统跟踪导航系统中无法看到的结构(例如，隐藏在肿瘤内部或后面的血管)的3D导航图像。SNAP示出与显微镜视图(外科医生眼视图)相关并且与以同步的方式另外地看到外科医生不能看到的视图相关的视图-从病变后面的视图。
控制分割单独示出每个视点；例如，一个图像可被分割以便仅示出血管而另一个图像可被分割以便仅示出软组织。例如，图7示出多个分割视点。通过操纵组织分割，我们可清楚地看到与普通视点图245并列的动脉瘤颈240。从不同有利点的独立和同时视图被提供以便增强可视化。独立分割可被用于提高动脉瘤颈和其他关键结构的可视化。
不同模态(CT和或MRI)可在每个图像/角度中呈现，例如一个图像可来自MRI而另一图像可以来自同一患者的CT。图8示出并列的不同分割，示出CTA图像280和MRI图像285。重叠图像可被示出，其中一个图像可从多个模态中组合；例如MRI层叠/重叠在CT上。图9示出与不同左分割290和右分割295组合的CT和MRI图像的重叠。当创建历史病例研究时，患者特定静态图像(快照)或在实际外科手术期间或者在诊断期间生成的视频文件可存储在患者病例文件夹中。SNAP软件支持所有标准Windows位图图像文件格式，诸如bmp、jpeg、png和gif，并且支持所有标准Windows视频文件格式，诸如mpeg和avi。
还可提供具有渐入/渐出模态的重叠图像，其中在组合图像中，一个模态可渐入和渐出；例如，CT和MRI层叠/重叠图像，同时CT渐出或重叠图像，具有在每个模态上的分割控制；例如，CT和MRI层叠/重叠图像，同时CT被分割以仅示出血管。图10示出具有透明度的重叠，10％CTA，100％MRI。图11示出具有透明度的重叠，30％CTA，100％MRI。图11A示出示例性的融合处理流水线方法，使用SNAP工具用于不同地采取组织数据集301、302并且独立地限定且分割它们303、304从而组合它们350，以便使用由用户308指定的透明度来呈现组合图像307。
增强接近和取向指示允许外科手术仪器和或指针/标记接近特定解剖结构的指示的计算和生成。在图12中，例如示出了在用于动脉瘤颈的评估的导航探针尖端处的虚拟夹具310。导航图像可被冰冻并旋转以从多个视点检查夹具，诸如通道视图311和旋转视图312。设置在虚拟夹具上的标记允许测量颈并且贴合夹具。
通过SNAP工具，更容易地选择开颅术的尺寸，并且还允许一个人更好地识别一些重要界标。肿瘤的三维表示给出肿瘤边界、静脉和窦的优越视图，以确保当开颅术实际地开始时外科医生可远离这些结构。图13示出并列的开颅术视图310和静脉视图315。
基于对外科手术仪器和/或指针/标记到特定解剖结构的接近度的计算，外科医生可生成关于与接近和取向指示相关的阈值的危险。另外，通过在标记指针中虚拟标记距离的测量受到支持，例如到导航探针的虚拟侧面延展被呈现以便测量剩余的肿瘤和离动脉的距离。图14示出使用缩放探针320、325通过虚拟侧面延展的测量实例，而图15示出通过虚拟标记330、335来测定动脉瘤尺寸测量其中测量结果示于窗口337中的实例。
系统允许执行从任何所需平面独立地修剪3D图像的“立方体剪裁”。平面由2个变量限定，平面法线(向量)和平面位置(在平面穿过的空间中的点)。所述“立方体剪裁”可针对每个图像独立执行。图16示出不同的独立剪裁，而图17示出在不同模态上不同的剪裁。
SNAP工具具有绘制肿瘤的能力。例如，外科医生可在编辑期间使用绘制以用于病例准备和用于所有特征。这可在准备或外科手术期间被打开和关闭。图18示出绘制组织的实例。SNAP中的“病例准备”用于分析和观看驻留在本地驱动上文件夹中的DICOM对象，并且以专有格式生成被用作到导航对话输入的3D场景。这涉及将DICOM图像的2D集合转化成3D容积模型，所述3D容积模型具有使用SNAP工具完成的属性。
通过对标记指针中的距离、植入物位置的虚拟标记进行测量。植入物的SNAP组合建模(例如动脉瘤夹具或椎弓根螺钉)和使用增强现实以引导外科手术以便准确放置植入物。例如，螺钉放置的计划用SNAP执行并且螺钉模型(3D或2D)放置/定位在患者的3D/2D模型(CT、MRI等)的顶部。随后外科医生可在手术室中导航实际螺钉并且SNAP将计算与预先计划的放置相比螺钉当前在导航中的实际放置。来自SNAP的反馈可从正在被导航的螺钉的图像/模型提供，仅当螺钉的实际放置与计划放置匹配时所述螺钉的图像/模型将会变成绿色。距离、角度、取向等的测量可被实时地显示，表示相对于螺钉(或任何其他参考点)的计划放置位置的实际螺钉位置及其取向(或在导航场景中的任何其他通路、植入物、标记、探针)的测量。
SNAP导航图像可针对每个图像独立旋转、偏移、调焦等；外科医生眼视图可被独立地旋转、偏移、调焦到其他图像/视图(例如病变后面的视图等)。
改变每个分割范围的透明度和颜色。SNAP允许用户以任何特定颜色和任何特定透明度来呈现导航场景内的任何组织类型或元件。
使用SNAP
SNAP工具可由外科医生在外科手术前准备和实际外科手术期间使用。例如，SNAP可用于支持动静脉畸形病灶(Nidus)(“病灶(nest)”的拉丁文)-AVM病灶。
准备-SNAP可用于分析和观看驻留在本地驱动上文件夹中的DICOM对象，并且可用于以专有格式生成被用作到导航对话输入的3D场景。这需要将DICOM图像的2D集合转化成具有属性的3D容积模型。第一被选择的是库中的优选病例以便加载它(使它成为当前病例)并且随后通过点击导航按钮来激活导航对话模式。
计划-限定关注体积(VOI)，并且组织变形VOI指示当与外科手术中的外科手术工具/探针交互作用时使用组织机械性质来真实地反应的“活的”组织。轴向、冠状和矢状滑块控件用于限定表示将被使用的组织变形关注体积(VOI)立方体。随后，在SNAP触摸屏上的图像的交互作用和操纵被完成来计划入路角度和需要的暴露范围以充分地可视化引流静脉并且理解动脉供血器相对于AVM病灶的位置和取向。作为病例准备的部分，SNAP允许外科医生使用图像生成器来显示关注体积(VOI)窗口来限定图像，诸如用于限定用于模拟的组织变形体积。按钮随后允许外科医生显示VOI窗口来限定VOI的特性。
轴向、冠状和矢状滑块控件被设置在SNAP中以限定立方体，所述立方体表示外科手术模拟应用使用的关注体积(VOI)。调整高和低边界轴向滑块限定VOI的顶部和底部边界。调整高和底边界冠状滑块限定VOI的前和后边界。调整高和低边界矢状滑块限定VOI的左和右边界。每个轴线的滑块值设置在高和低边界域中。
可视化-组织分割窗口可用于修改应用到患者数据的组织特定强度范围。组织渲染阈值(分割默认值)特征可被使用，或者分割可被修改。通过这样做，可调整和定制分割以突出显示AVM病灶、引流静脉、供血动脉和横向窦以便最佳可视化，同时使颅骨和非关键结构更加透明。
3D导航-SNAP可与传统导航系统整合，其中一个人可同时地观察DICOM图像的2D集合(在传统导航系统上)和3D容积模型(在SNAP)上的轨迹。通过SNAP，外科医生能够使用3D血管造影来导航并且准确地瞄准AVM病灶上表面处的非栓塞供血动脉。
示例性应用
如上文所讨论的，SNAP可被用在外科手术环境中以便支持对患者的外科手术操作。本文中，我们提供一个示例性场景来举例说明其在具有脑肿瘤的示例性患者的开颅术中的使用。
外科医生通过输入其患者的设定参数来创建并且更新患者病例，所述患者的设定参数包括允许系统上载特定患者的相关数据的患者细节，随后SNAP加载患者CT、CTA、MRI和MRA图像和有关模拟模型的其他信息，诸如患者年龄、性别等。
外科医生将在传统导航系统上看到三个平面，所述三个平面将是轴向的、冠状和矢状计划，并且同时在SNAP显示器上外科医生将看到同一患者头部的三维图像。因此，SNAP显示器以更真实的观看方式示出更大的细节。
外科医生通过点击SNAP触摸屏上的导航按钮来激活导航对话模式。系统显示导航对话窗口-两个独立的IG摄像机窗口(帆布)和导航快捷窗口。
外科医生将启用融合模式，其中SNAP将示出CTA重叠MRI的组合模型并且限定工作模式，例如他将选择组合模式，其中两个层(CTA和MRI)都被显示在两个帆布上。
现在外科医生将使用透明度预设定按钮和在显示器对话窗口上的左/右按钮从而针对层(CTA和MRI)来设定所需的透明度等级。
在左帆布上外科医生将选择四个传递函数中的一个。他将通过移动传递函数对话窗口上的“键”来开始改变透明度。对于改变“键”，他将使用系统鼠标。外科医生将操纵“键”直到他得到所需的外观，例如可看到肿瘤、边界和静脉的外观。
在右帆布上外科医生将选择不同的传递函数，例如他可看见重要界标。
通过触摸SNAP屏幕来左右转动模型并且放大和缩小，外科医生得到在三维空间中肿瘤的更佳表示并且可确定将要进行的骨开口是多大。外科医生可真正地理解肿瘤与血管位于的地方之间的关系以及他将在操作中如何接近肿瘤。
外科医生将使用SNAP工具来标记重要静脉和颅骨上所需骨开口。
外科医生将使用SNAP导航指针来估测从颅骨到肿瘤的路径长度。他将指针尖端放在颅骨上的穿透点上，并且将在SNAP工具上从导航指针类型菜单中选择虚拟轨迹指针。
在SNAP显示器上，外科医生将看到具有按照他的运动来实时地移动的轨迹延展的指针。通过给出恰当的方向，他将会获得穿透长度。
外科医生具有冰冻来自导航系统的数据的选项。在这种情况下，传入数据被忽略并且在点击冰冻按钮之前指针保持在它最后的位置处。外科医生将使用SNAP左右转动模型并且放大和缩小并且他将会得到路径和周围关键部分的更好表示。
接下来，外科医生将根据他在SNAP上看到的信息开始开颅术。在打开开颅术后，外科医生开始沿路径切入，并且通过使用导航指针他可在SNAP上遵循其在右路径上，他可估测距肿瘤的距离以及他离窦和静脉有多近。
使用接近应用的实例。
路径被创建来通过锁孔开颅术朝向肿瘤导航。锁孔开颅术是较小的并且不允许外科医生看到很多结构。因此，创建到目标(肿瘤)的路径或轨迹。另外，标记或路径将被制作以标记要避开的区域。
在外科手术期间，SNAP呈现导航场景的实时3D和2D图像，所述导航场景向外科医生示出其工具位置，外科医生可遵循导航路径。外科医生还可修改路径、标记、轨迹等。所述修改以所述标记、目标等被创建的类似方式进行。标记、目标等可被拖带到不同的位置、被重新染色等。
在导航期间，外科医生应该以特定预设值(距离、角度等)偏离特定的标记、路径、轨迹等，警告将会消除。特定预设值(距离、角度等)可被修改。
导管成排第三脑室造口术目标的导向实例。-外科医生在第三脑室造口术中标记点作为目标。外科医生标记进入点。SNAP创建轨迹和可视图形以引导外科医生形成导管放置。
本发明的许多其他示例实施方案可通过上述特征的各种组合来提供。虽然已在上文中使用特定实例和实施方案来描述本发明，但是本领域的技术人员应当了解，可以使用各种替代方案，并且等同物可以替代本文所述的元件和/或步骤，而不必背离本发明的意图范围。为使本发明适于特定情形或者适于特定需要，可能需要修改，而不会背离本发明的意图范围。本发明不意图限制于本文所述的特定实现方式和实施方案，但是权利要求书进行最广泛的合理解释以涵盖所有新颖的和不明显的实施方案，无论是字面的还是等同的实施方案、公开的还是未公开的实施方案均被权利要求书涵盖。
Claims (40)
1.一种用于对特定患者执行医疗过程的建模系统，其包括：
显示器；
图像生成器，所述图像生成器包括在计算机系统上执行的专用软件用于生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示特定患者的对应实际生物组织的所述组织；
用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型以便通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；以及
所述计算机系统的用户接口，所述用户接口被配置用于允许用户通过添加或修改所述组织的特征来调整在所述显示器上显示的所述动态组织图像以便帮助外科手术操作，其中
所述建模系统被配置用于在对所述特定患者的所述医疗过程期间在手术室中使用。
2.如权利要求1所述的建模系统，其中所述用户接口包括触摸屏显示器。
3.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：在所述动态组织图像上绘制任何几何形状。
4.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：完成所述动态组织图像的不完整解剖结构。
5.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口提供以下能力：修改所述动态组织图像的一部分的纹理、照明、阴影和/或阴影处理
6.如以上权利要求中任一项所述的建模系统，其中所述动态组织图像包括解剖结构的图像，并且其中所述用户接口包括用于与所述解剖结构动态地交互作用的仪器。
7.如以上权利要求中任一项所述的建模系统，其还包括：
数据库，所述数据库用于存储不同器官和/或组织的多个模型的库；以及
用户接口，所述用户接口用于从所述多个模型中选择一个模型以便与所述用户工具模型一起使用用于与所述组织图像动态地交互作用。
8.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括由外科医生使用来对所述特定患者执行外科手术的真正外科手术工具。
9.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：选择所述工具的模型和/或所述动态组织图像的元件以便从所显示图像中移除。
10.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：通过选择对象并将所述对象操纵到所需位置以便在所述图像中显示来在所显示图像中重新定位或旋转所述对象。
11.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：增强和整合解剖结构于所述动态图像中。
12.如以上权利要求中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：绘制任何几何形状以便添加到所述动态组织图像。
13.如以上权利要求中任一项所述的建模系统，其还包括用于与在所述显示器上显示的所述图像交互作用的摄像机。
14.如以上权利要求中任一项所述的建模系统，其中所述建模系统被配置为具有接口，所述接口连接到存在于手术室中的外部外科手术系统的接口以便从所述外部外科手术系统接收数据用于生成所述动态组织图像以便显示与所述外部外科手术系统的操作一致。
15.如权利要求14所述的建模系统，其中所述外部外科手术系统是用于所述医疗过程期间的导航系统，所述医疗过程是在所述手术室中执行的外科手术过程。
16.一种使用建模系统来支持医疗过程的方法，其包括以下步骤：
提供被配置用于手术室中的计算机系统；
提供连接到所述计算机系统的显示器；
获得关于特定患者的生物组织的患者图像信息以便存储在所述计算机系统中；
使用在所述计算机系统上执行的专用软件生成所述特定患者的所述生物组织的动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示所述特定患者的对应实际组织；
使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的所述动态组织图像以便调整位于所述特定患者的所述实际生物组织中的解剖结构；以及
使用所述计算机系统生成对所述特定患者执行的所述外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据所述用户的输入所述动态组织图像与所述用户工具模型之间的交互作用。
17.如权利要求16所述的方法，其中所述用户工具模型包括由外科医生在对所述特定患者执行外科手术期间使用的实际外科手术工具的模型。
18.如权利要求16-17中任一项所述的方法，其中所述外科手术工具包括图像收集工具，所述图像收集工具被配置用于接收所述特定患者的组织的图像，以使得通过操纵所述图像收集工具，在所述显示器上显示的所述图像被修改。
19.如权利要求16-18中任一项所述的方法，其中所述调整包括绘制所述组织图像的至少一部分。
20.如权利要求16-19中任一项所述的方法，其中所述调整包括使所述组织图像的至少一部分透明。
21.如权利要求16-20中任一项所述的方法，其中所述调整包括在所述显示器上旋转图像。
22.如权利要求16-21中任一项所述的方法，其还包括以下步骤：通过使用被配置用于生成所述特定患者的所述生物组织的所述动态图像的患者医疗图像为所述特定患者创建模型来在所述医疗过程之前建立支持所述医疗过程的病例。
23.如以上权利要求中任一项所述的方法，其还包括以下步骤：从由所述外科医生使用的外部外科手术系统接收数据，所述数据由所述模拟工具使用来确保所述生物组织的所述动态图像与所述外部外科手术系统的操作一致
24.如以上权利要求中任一项所述的方法，其还包括以下步骤：从用于所述医疗过程的外科手术导航系统接收数据用于生成与所述外科手术导航系统的操作一致的所述生物组织的所述动态图像，所述医疗过程是对所述特定患者的外科手术。
25.如以上权利要求中任一项所述的方法，其还包括以下步骤：警告所述用户关于一个或多个外科手术工具接近所述患者的特定解剖结构。
26.一种使用建模系统来支持外科手术的方法，其包括以下步骤：
提供被配置用于手术室中的计算机系统；
提供连接到所述计算机系统的3D显示器；
获得关于特定患者的生物组织的患者图像信息；
通过使用被配置用于生成所述特定患者的所述生物组织的动态图像的患者医疗图像为所述特定患者创建模型来在所述外科手术之前建立支持所述外科手术的病例；
使用在所述计算机系统上执行的专用软件、使用所述病例生成所述特定患者的所述生物组织的所述动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示所述特定患者的对应实际组织；
使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的所述动态组织图像以便调整位于所述特定患者的所述实际生物组织中的解剖结构；
使用所述计算机系统生成对所述特定患者执行的所述外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据所述用户的输入所述动态组织图像与所述用户工具模型之间的交互作用；
从在所述外科手术期间使用的外部外科手术系统接收数据，所述数据由所述模拟工具使用来确保所述生物组织的所述动态图像与所述外部外科手术系统的操作一致；以及
提供警告所述用户关于一个或多个外科手术工具接近所述患者的特定解剖结构的能力。
27.如权利要求26所述的方法，其中所述调整包括绘制所述组织图像的至少一部分、使所述组织图像的至少一部分透明和/或在所述显示器上旋转图像。
28.一种用于执行外科手术过程的建模系统，其包括：
触摸屏显示器；
数据库，所述数据库用于存储不同器官和/或组织的多个模型的库，其中所述数据库还被配置用于存储特定患者的医疗图像，其中
所述建模系统被配置用于通过使用所述患者医疗图像为所述特定患者创建模型来在所述外科手术过程之前建立支持所述过程的病例；
用户接口，所述用户接口用于从多个此类病例中选择所述病例以便加载在所述建模系统中；
图像生成器，所述图像生成器包括在计算机系统上执行的专用软件用于基于所述选择的病例生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示所述特定患者的对应实际生物组织的所述组织；
用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
所述计算机系统的用户接口，所述用户接口被配置用于从所述用户接收输入来通过所述触摸屏显示器配置所述建模系统；以及
接口，所述接口连接到存在于手术室中的外部外科手术系统或工具的接口以便从所述外部外科手术系统或工具接收数据用于生成所述动态组织图像以便显示与所述外部外科手术系统或工具的操作一致，其中
所述建模系统被配置用于在对所述特定患者的外科手术期间在手术室中使用。
29.如权利要求28所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：在所述动态组织图像上绘制任何几何形状。
30.如权利要求28-29中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：完成所述动态组织图像的不完整解剖结构。
31.如权利要求28-30中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口提供以下能力：修改所述动态组织图像的一部分的纹理、照明、阴影和/或阴影处理
32.如权利要求28-31中任一项所述的建模系统，其中所述动态组织图像包括解剖结构的图像，并且其中所述用户接口包括用于与所述解剖结构动态地交互作用的仪器。
33.如权利要求28-32中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括由外科医生对所述特定患者使用的真正外科手术工具。
34.如权利要求28-33中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：选择所述工具的模型和/或所述动态组织图像的元件以便从所显示图像中移除。
35.如权利要求28-34中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：通过选择对象并将所述对象操纵到所需位置以便在所述图像中显示来在所显示图像中重新定位或旋转所述对象。
36.如权利要求28-35中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：增强和整合解剖结构于所述动态图像中。
37.如权利要求28-36中任一项所述的建模系统，其中用于调整所述动态组织图像的所述用户接口包括用于提供以下能力的工具：绘制几何形状以便添加到所述动态组织图像。
38.如权利要求28-37中任一项所述的建模系统，其还包括用于与在所述显示器上显示的所述图像交互作用的摄像机。
39.如权利要求38所述的建模系统，其中所述外部外科手术系统是导航系统供在所述外科手术期间使用。
40.如权利要求1-15或28-39中任一项所述的建模系统，其中所述建模系统被配置来向所述外科医生提供关于一个或多个外科手术工具接近所述患者的特定解剖结构的警告。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461975330P | 2014-04-04 | 2014-04-04 | |
| US61/975,330 | 2014-04-04 | ||
| PCT/US2015/024487 WO2015154069A1 (en) | 2014-04-04 | 2015-04-06 | Dynamic and interactive navigation in a surgical environment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105992996A true CN105992996A (zh) | 2016-10-05 |
| CN105992996B CN105992996B (zh) | 2019-11-26 |
Family
ID=54241363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580008526.7A Expired - Fee Related CN105992996B (zh) | 2014-04-04 | 2015-04-06 | 外科手术环境中的动态和交互式导航 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11547499B2 (zh) |
| CN (1) | CN105992996B (zh) |
| WO (1) | WO2015154069A1 (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107919034A (zh) * | 2016-10-10 | 2018-04-17 | 凯丰有限责任公司 | 现场训练装置、方法及系统 |
| CN108777001A (zh) * | 2018-06-26 | 2018-11-09 | 宁波极呈光电有限公司 | 手术模拟方法及装置 |
| CN110023883A (zh) * | 2016-10-31 | 2019-07-16 | 医达科技公司 | 用于病变移除的交互式网格放置和测量的方法和系统 |
| CN110648752A (zh) * | 2018-06-26 | 2020-01-03 | 北京埃德维亚医疗科技有限公司 | 一种医学数据三维可视化方法和设备 |
| CN110996748A (zh) * | 2018-05-23 | 2020-04-10 | 威博外科公司 | 面向机器学习的外科手术视频分析系统 |
| CN111163837A (zh) * | 2017-07-28 | 2020-05-15 | 医达科技公司 | 用于混合现实环境中手术规划的方法和系统 |
| CN111278381A (zh) * | 2017-08-28 | 2020-06-12 | 皇家飞利浦有限公司 | 对定位跟踪的介入设备的自动视场更新 |
| CN111513845A (zh) * | 2019-02-04 | 2020-08-11 | 柯惠有限合伙公司 | 促进术后组织功能的术前预测的系统和方法 |
| CN111612860A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的栓塞的Ai识别方法及产品 |
| CN112513996A (zh) * | 2018-07-09 | 2021-03-16 | 阿斯卡拉波股份有限公司 | 医疗技术装备和方法 |
| WO2021081846A1 (zh) * | 2019-10-30 | 2021-05-06 | 未艾医疗技术(深圳)有限公司 | 静脉血管肿瘤影像处理方法及相关产品 |
| CN113966204A (zh) * | 2019-12-18 | 2022-01-21 | 康坦手术股份有限公司 | 为医疗介入自动规划轨迹的方法 |
| CN114430847A (zh) * | 2019-09-19 | 2022-05-03 | 西姆博尼克斯有限公司 | 多工具医学模拟系统和方法 |
| CN114840110A (zh) * | 2022-03-17 | 2022-08-02 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11627944B2 (en) | 2004-11-30 | 2023-04-18 | The Regents Of The University Of California | Ultrasound case builder system and method |
| US10517688B2 (en) * | 2009-05-29 | 2019-12-31 | Jack Wade | Method for enhanced data analysis with specialized video enabled software tools for medical environments |
| US8311791B1 (en) | 2009-10-19 | 2012-11-13 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| US9788905B2 (en) | 2011-03-30 | 2017-10-17 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| WO2013177520A1 (en) | 2012-05-25 | 2013-11-28 | Surgical Theater LLC | Hybrid image/scene renderer with hands free control |
| US11631342B1 (en) | 2012-05-25 | 2023-04-18 | The Regents Of University Of California | Embedded motion sensing technology for integration within commercial ultrasound probes |
| US10380919B2 (en) | 2013-11-21 | 2019-08-13 | SonoSim, Inc. | System and method for extended spectrum ultrasound training using animate and inanimate training objects |
| US11547499B2 (en) | 2014-04-04 | 2023-01-10 | Surgical Theater, Inc. | Dynamic and interactive navigation in a surgical environment |
| US11188285B2 (en) * | 2014-07-02 | 2021-11-30 | Covidien Lp | Intelligent display |
| US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
| US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
| CN107454834B (zh) | 2015-02-13 | 2021-02-02 | 瑟西纳斯医疗技术有限责任公司 | 用于在骨骼中放置医疗设备的系统和方法 |
| US10601950B2 (en) | 2015-03-01 | 2020-03-24 | ARIS MD, Inc. | Reality-augmented morphological procedure |
| US20160313901A1 (en) * | 2015-04-21 | 2016-10-27 | Stephen Arnold | Interactive medical system and methods |
| US11600201B1 (en) | 2015-06-30 | 2023-03-07 | The Regents Of The University Of California | System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems |
| BR112018007473A2 (pt) | 2015-10-14 | 2018-10-23 | Surgical Theater LLC | navegação cirúrgica de realidade aumentada |
| US10460077B2 (en) * | 2016-04-12 | 2019-10-29 | GreatDef Corp. | Securely collecting and processing medical imagery |
| US20170300618A1 (en) * | 2015-10-28 | 2017-10-19 | Michael J O'Leary | Collecting and Processing Medical Imagery |
| CN105632310B (zh) * | 2016-01-25 | 2019-02-19 | 新乡医学院 | 一种人体解剖教学系统 |
| US20190206134A1 (en) | 2016-03-01 | 2019-07-04 | ARIS MD, Inc. | Systems and methods for rendering immersive environments |
| CN111329552B (zh) | 2016-03-12 | 2021-06-22 | P·K·朗 | 包括机器人的用于引导骨切除的增强现实可视化 |
| US20170312032A1 (en) * | 2016-04-27 | 2017-11-02 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
| US20190172577A1 (en) * | 2016-08-08 | 2019-06-06 | Kyoto University | Dissection process estimation device and dissection process navigation system |
| WO2018132804A1 (en) | 2017-01-16 | 2018-07-19 | Lang Philipp K | Optical guidance for surgical, medical, and dental procedures |
| US10896628B2 (en) | 2017-01-26 | 2021-01-19 | SonoSim, Inc. | System and method for multisensory psychomotor skill training |
| EP3613057A4 (en) * | 2017-04-18 | 2021-04-21 | Intuitive Surgical Operations, Inc. | GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE |
| WO2018201155A1 (en) * | 2017-04-28 | 2018-11-01 | The Brigham And Women's Hospital, Inc. | Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment |
| EP3432816B1 (en) | 2017-06-14 | 2021-01-27 | Brainlab AG | Implant placement planning |
| CN111212609B (zh) | 2017-08-14 | 2023-09-26 | 瑟西纳斯医疗技术有限责任公司 | 使用用于将医疗设备放置在骨骼中的具有形状对准的增强现实的系统和方法 |
| US10861236B2 (en) | 2017-09-08 | 2020-12-08 | Surgical Theater, Inc. | Dual mode augmented reality surgical system and method |
| WO2019051464A1 (en) | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
| WO2019148154A1 (en) | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
| US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
| WO2019163890A1 (ja) * | 2018-02-21 | 2019-08-29 | オリンパス株式会社 | 医療システムおよび医療システムの作動方法 |
| WO2019204607A1 (en) * | 2018-04-18 | 2019-10-24 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Mixed-reality endoscope and surgical tools with haptic feedback for integrated virtual-reality visual and haptic surgical simulation |
| JP7271579B2 (ja) | 2018-06-19 | 2023-05-11 | ホウメディカ・オステオニクス・コーポレイション | 整形外科手術における複合現実支援を用いた手術支援 |
| JP7165761B2 (ja) | 2018-06-28 | 2022-11-04 | スリーディー システムズ インコーポレーテッド | 統合走査モジュール較正を備えた三次元プリントシステム |
| WO2020129979A1 (ja) * | 2018-12-18 | 2020-06-25 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
| US11107213B2 (en) * | 2018-12-28 | 2021-08-31 | Biosense Webster (Israel) Ltd. | Correcting medical scans |
| US11810473B2 (en) | 2019-01-29 | 2023-11-07 | The Regents Of The University Of California | Optical surface tracking for medical simulation |
| US11495142B2 (en) * | 2019-01-30 | 2022-11-08 | The Regents Of The University Of California | Ultrasound trainer with internal optical tracking |
| US20200258216A1 (en) * | 2019-02-13 | 2020-08-13 | Siemens Healthcare Gmbh | Continuous learning for automatic view planning for image acquisition |
| US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
| US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
| CN114173692A (zh) * | 2019-07-15 | 2022-03-11 | 外科手术公司 | 用于推荐手术程序的参数的系统和方法 |
| JP2021049198A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社日立製作所 | 手術支援装置及び手術ナビゲーションシステム |
| US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
| US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
| US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
| US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
| US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
| US11510750B2 (en) * | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
| US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
| US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
| US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
| US11832888B2 (en) * | 2020-09-10 | 2023-12-05 | Dignity Health | Systems and methods for volumetric measurement of maximal allowable working volume within a surgical corridor |
| USD1013702S1 (en) * | 2020-09-22 | 2024-02-06 | Brainlab Ag | Display screen or portion thereof with graphical user interface |
| USD1021915S1 (en) * | 2020-09-22 | 2024-04-09 | Brainlab Ag | Display screen or portion thereof with a transitional graphical user interface |
| WO2022087511A1 (en) * | 2020-10-23 | 2022-04-28 | Surgical Theater, Inc. | System and method for tumor tracking |
| US20220207844A1 (en) * | 2020-12-15 | 2022-06-30 | Surgical Theater, Inc. | System and method for automatic transfer function |
| EP4304490A1 (en) | 2021-03-10 | 2024-01-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems and robotic surgery |
| WO2022212287A1 (en) * | 2021-03-29 | 2022-10-06 | Circinus Medical Technology Llc | System and method for simulating an orientation of a medical device at an insertion point |
| CN115363752B (zh) * | 2022-08-22 | 2023-03-28 | 华平祥晟(上海)医疗科技有限公司 | 智能手术路径指引系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101627411A (zh) * | 2007-01-16 | 2010-01-13 | 西姆博尼克斯有限公司 | 手术前的手术模拟 |
| US20130047103A1 (en) * | 2009-10-19 | 2013-02-21 | Surgical Theater LLC | Method and system for simulating surgical procedures |
Family Cites Families (94)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE1008128A3 (nl) | 1994-03-10 | 1996-01-23 | Materialise Nv | Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie. |
| BE1008372A3 (nl) | 1994-04-19 | 1996-04-02 | Materialise Nv | Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel. |
| US5623582A (en) | 1994-07-14 | 1997-04-22 | Immersion Human Interface Corporation | Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects |
| US5765561A (en) | 1994-10-07 | 1998-06-16 | Medical Media Systems | Video-based surgical targeting system |
| US5826206A (en) | 1996-03-12 | 1998-10-20 | Training Inovations Group, Llc | Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism |
| US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
| IL123073A0 (en) | 1998-01-26 | 1998-09-24 | Simbionix Ltd | Endoscopic tutorial system |
| US6113395A (en) | 1998-08-18 | 2000-09-05 | Hon; David C. | Selectable instruments with homing devices for haptic virtual reality medical simulation |
| JP3559495B2 (ja) | 2000-03-28 | 2004-09-02 | 京セラ株式会社 | 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路 |
| US6939138B2 (en) | 2000-04-12 | 2005-09-06 | Simbionix Ltd. | Endoscopic tutorial system for urology |
| WO2001088882A2 (en) | 2000-05-19 | 2001-11-22 | Simbionics Ltd. | Endoscopic tutorial system for the pancreatic system |
| US20020059284A1 (en) | 2000-10-20 | 2002-05-16 | Ran Bronstein | Method for rapid transfer of data with a multi-spline model |
| ES2199737T3 (es) * | 2000-12-19 | 2004-03-01 | Brainlab Ag | Procedimiento y dispositivo para el tratamiento odontologico ayudado con navegacion. |
| IL143255A (en) | 2001-05-20 | 2015-09-24 | Simbionix Ltd | Endoscopic ultrasonography simulation |
| EP1395194B1 (en) | 2001-06-13 | 2007-08-29 | Volume Interactions Pte. Ltd. | A guide system |
| US6792366B2 (en) * | 2001-12-11 | 2004-09-14 | Hitachi, Ltd. | Method and apparatus for inspecting defects in a semiconductor wafer |
| FR2836372B1 (fr) | 2002-02-28 | 2004-06-04 | Obl | Procede et dispositif pour la mise en place d'implants dentaires |
| US20110301982A1 (en) * | 2002-04-19 | 2011-12-08 | Green Jr W T | Integrated medical software system with clinical decision support |
| SE0202863D0 (sv) | 2002-09-30 | 2002-09-30 | Goeteborgs University Surgical | Improved computer-based minimal-invasive surgery simulation system |
| SE525157C2 (sv) | 2002-12-03 | 2004-12-14 | Mentice Ab | Simuleringssystem för invasiv kirurgi |
| US7850456B2 (en) | 2003-07-15 | 2010-12-14 | Simbionix Ltd. | Surgical simulation device, system and method |
| US7101383B1 (en) | 2003-11-26 | 2006-09-05 | Van Ess Lester J | Laparoscopic instrument and method for its use |
| US20050159759A1 (en) * | 2004-01-20 | 2005-07-21 | Mark Harbaugh | Systems and methods for performing minimally invasive incisions |
| US20060036167A1 (en) | 2004-07-03 | 2006-02-16 | Shina Systems Ltd. | Vascular image processing |
| US7331929B2 (en) | 2004-10-01 | 2008-02-19 | General Electric Company | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
| US8702580B2 (en) | 2004-10-06 | 2014-04-22 | Brainlab Ag | Method and device for assisting in a tissue treatment |
| US8480404B2 (en) * | 2004-11-30 | 2013-07-09 | Eric A. Savitsky | Multimodal ultrasound training system |
| US20060116576A1 (en) * | 2004-12-01 | 2006-06-01 | Scimed Life Systems, Inc. | System and use thereof to provide indication of proximity between catheter and location of interest in 3-D space |
| US7725165B2 (en) * | 2004-12-07 | 2010-05-25 | M2S, Inc. | Method and apparatus for visualizing anatomical structures |
| JP2006223374A (ja) | 2005-02-15 | 2006-08-31 | Olympus Corp | 手術支援装置、手術支援システム及び手術支援方法 |
| US9289267B2 (en) | 2005-06-14 | 2016-03-22 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for minimally invasive surgery using endoscopes |
| US8149236B2 (en) * | 2005-08-01 | 2012-04-03 | National University Corporation NARA Institute of Science and Technology | Information processing apparatus and program |
| US20070129626A1 (en) * | 2005-11-23 | 2007-06-07 | Prakash Mahesh | Methods and systems for facilitating surgical procedures |
| US20070134637A1 (en) | 2005-12-08 | 2007-06-14 | Simbionix Ltd. | Medical simulation device with motion detector |
| EP1966767A2 (en) | 2005-12-31 | 2008-09-10 | BRACCO IMAGING S.p.A. | Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet") |
| US9082319B2 (en) * | 2006-01-24 | 2015-07-14 | Carnegie Mellon University | Method, apparatus, and system for computer-aided tracking, navigation and motion teaching |
| WO2007092159A2 (en) * | 2006-02-02 | 2007-08-16 | Wake Forest University Health Sciences | Cardiac visualization systems for displaying 3-d images of cardiac voxel intensity distributions with optional physician interactive boundary tracing tools |
| US8623026B2 (en) * | 2006-02-06 | 2014-01-07 | Conformis, Inc. | Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief |
| GB0609988D0 (en) | 2006-05-19 | 2006-06-28 | Materialise Nv | Method for creating a personalized digital planning file for simulation of dental implant placement |
| US9084622B2 (en) * | 2006-08-02 | 2015-07-21 | Omnitek Partners Llc | Automated laser-treatment system with real-time integrated 3D vision system for laser debridement and the like |
| US20120150243A9 (en) | 2006-08-31 | 2012-06-14 | Catholic Healthcare West (Chw) | Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations |
| DE102006056884A1 (de) | 2006-12-01 | 2008-06-05 | Siemens Ag | Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten |
| WO2008076079A1 (en) | 2006-12-19 | 2008-06-26 | Bracco Imaging S.P.A. | Methods and apparatuses for cursor control in image guided surgery |
| US8543338B2 (en) | 2007-01-16 | 2013-09-24 | Simbionix Ltd. | System and method for performing computerized simulations for image-guided procedures using a patient specific model |
| GB0703141D0 (en) | 2007-02-19 | 2007-03-28 | Materialise Dental Nv | Dual transfer device for guided direct bonding |
| DE102007053008A1 (de) | 2007-11-05 | 2009-05-14 | Repetzki, Sebastian, Dr.-Ing. | Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage |
| CA2713122A1 (en) * | 2008-01-23 | 2009-07-30 | Sensable Technologies, Inc. | Haptically enabled dental modeling system |
| CA2712607A1 (en) * | 2008-01-25 | 2009-07-30 | Mcmaster University | Surgical guidance utilizing tissue feedback |
| WO2009094621A2 (en) | 2008-01-25 | 2009-07-30 | University Of Florida Research Foundation, Inc. | Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment |
| EP2296745B1 (en) * | 2008-05-28 | 2019-07-24 | Technion Research & Development Foundation Ltd. | Ultrasound guided robot for flexible needle steering |
| US9396669B2 (en) | 2008-06-16 | 2016-07-19 | Microsoft Technology Licensing, Llc | Surgical procedure capture, modelling, and editing interactive playback |
| US8864652B2 (en) * | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| WO2010025336A1 (en) * | 2008-08-29 | 2010-03-04 | Corindus Ltd. | Catheter simulation and assistance system |
| US9679499B2 (en) | 2008-09-15 | 2017-06-13 | Immersion Medical, Inc. | Systems and methods for sensing hand motion by measuring remote displacement |
| US8348954B2 (en) * | 2008-09-16 | 2013-01-08 | Warsaw Orthopedic, Inc. | Electronic guidance of spinal instrumentation |
| CN102187368B (zh) * | 2008-10-14 | 2015-07-15 | 皇家飞利浦电子股份有限公司 | 肿瘤分割结果的单击校正 |
| JP5215828B2 (ja) | 2008-12-02 | 2013-06-19 | 三菱プレシジョン株式会社 | 術前シミュレーションのためのモデル生成方法 |
| GB0822590D0 (en) | 2008-12-11 | 2009-01-21 | Materialise Nv | Orthotic prosthetic cushioned device and method of making the same |
| EP2387760B1 (en) | 2009-01-15 | 2019-05-01 | SimQuest LLC | Interactive simulation of biological tissue |
| US8685093B2 (en) | 2009-01-23 | 2014-04-01 | Warsaw Orthopedic, Inc. | Methods and systems for diagnosing, treating, or tracking spinal disorders |
| CN102422335B (zh) | 2009-05-12 | 2016-03-02 | 美国医软科技公司 | 用于交互式术前评估的系统、方法和装置 |
| US9104791B2 (en) | 2009-05-28 | 2015-08-11 | Immersion Corporation | Systems and methods for editing a model of a physical system for a simulation |
| US20110054295A1 (en) * | 2009-08-25 | 2011-03-03 | Fujifilm Corporation | Medical image diagnostic apparatus and method using a liver function angiographic image, and computer readable recording medium on which is recorded a program therefor |
| US8504136B1 (en) | 2009-10-06 | 2013-08-06 | University Of South Florida | See-through abdomen display for minimally invasive surgery |
| US8232990B2 (en) * | 2010-01-05 | 2012-07-31 | Apple Inc. | Working with 3D objects |
| US10580325B2 (en) | 2010-03-24 | 2020-03-03 | Simbionix Ltd. | System and method for performing a computerized simulation of a medical procedure |
| WO2011127379A2 (en) * | 2010-04-09 | 2011-10-13 | University Of Florida Research Foundation Inc. | Interactive mixed reality system and uses thereof |
| US20110282686A1 (en) * | 2010-05-12 | 2011-11-17 | General Electric Company | Medical conferencing systems and methods |
| US9392960B2 (en) * | 2010-06-24 | 2016-07-19 | Uc-Care Ltd. | Focused prostate cancer treatment system and method |
| WO2012033739A2 (en) | 2010-09-08 | 2012-03-15 | Disruptive Navigational Technologies, Llc | Surgical and medical instrument tracking using a depth-sensing device |
| US8961526B2 (en) * | 2010-11-23 | 2015-02-24 | University Of Massachusetts | System and method for orienting orthopedic implants |
| US8963914B2 (en) * | 2011-01-18 | 2015-02-24 | Rishi Rawat | Computer based system and method for medical symptoms analysis, visualization and social network |
| US9788905B2 (en) | 2011-03-30 | 2017-10-17 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| CN103619407B (zh) * | 2011-06-03 | 2016-05-11 | 奈科斯迪姆公司 | 用于在大脑的实时图像上重叠nbs功能数据的方法和系统 |
| WO2012168836A2 (en) | 2011-06-10 | 2012-12-13 | Koninklijke Philips Electronics N.V. | Dynamic constraining with optical shape sensing |
| US9498231B2 (en) * | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| CN102354345A (zh) | 2011-10-21 | 2012-02-15 | 北京理工大学 | 一种具有体感交互方式的医学影像浏览设备 |
| EP2797542B1 (en) * | 2011-12-30 | 2019-08-28 | MAKO Surgical Corp. | Systems and methods for customizing interactive haptic boundaries |
| US8992230B2 (en) * | 2012-01-23 | 2015-03-31 | Virtamed Ag | Medical training systems and methods |
| US20130267838A1 (en) | 2012-04-09 | 2013-10-10 | Board Of Regents, The University Of Texas System | Augmented Reality System for Use in Medical Procedures |
| WO2013177520A1 (en) | 2012-05-25 | 2013-11-28 | Surgical Theater LLC | Hybrid image/scene renderer with hands free control |
| US20130073310A1 (en) * | 2012-06-15 | 2013-03-21 | Richard Awdeh | Mobile health interface |
| US9563266B2 (en) | 2012-09-27 | 2017-02-07 | Immersivetouch, Inc. | Haptic augmented and virtual reality system for simulation of surgical procedures |
| US20140176661A1 (en) | 2012-12-21 | 2014-06-26 | G. Anthony Reina | System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom) |
| US9349220B2 (en) * | 2013-03-12 | 2016-05-24 | Kabushiki Kaisha Toshiba | Curve correction in volume data sets |
| KR20140112207A (ko) | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
| US9922417B2 (en) * | 2013-03-15 | 2018-03-20 | Synaptive Medical (Barbados) Inc. | System and method for detecting tissue and fiber tract deformation |
| KR20160033721A (ko) | 2013-07-16 | 2016-03-28 | 세이코 엡슨 가부시키가이샤 | 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 |
| US9283048B2 (en) * | 2013-10-04 | 2016-03-15 | KB Medical SA | Apparatus and systems for precise guidance of surgical tools |
| GB2535927B (en) * | 2014-01-24 | 2020-09-16 | Halliburton Energy Services Inc | Method and criteria for trajectory control |
| US11547499B2 (en) | 2014-04-04 | 2023-01-10 | Surgical Theater, Inc. | Dynamic and interactive navigation in a surgical environment |
| CA2949241A1 (en) | 2014-05-20 | 2015-11-26 | University Of Washington Through Its Center For Commercialization | Systems and methods for mediated-reality surgical visualization |
| WO2016162789A2 (en) | 2015-04-07 | 2016-10-13 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
| US20180092698A1 (en) | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
-
2015
- 2015-04-06 US US15/301,833 patent/US11547499B2/en active Active
- 2015-04-06 WO PCT/US2015/024487 patent/WO2015154069A1/en active Application Filing
- 2015-04-06 CN CN201580008526.7A patent/CN105992996B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101627411A (zh) * | 2007-01-16 | 2010-01-13 | 西姆博尼克斯有限公司 | 手术前的手术模拟 |
| US20130047103A1 (en) * | 2009-10-19 | 2013-02-21 | Surgical Theater LLC | Method and system for simulating surgical procedures |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107919034A (zh) * | 2016-10-10 | 2018-04-17 | 凯丰有限责任公司 | 现场训练装置、方法及系统 |
| CN107919034B (zh) * | 2016-10-10 | 2021-02-02 | 美敦力控股有限责任公司 | 现场训练装置、方法及系统 |
| CN110023883A (zh) * | 2016-10-31 | 2019-07-16 | 医达科技公司 | 用于病变移除的交互式网格放置和测量的方法和系统 |
| CN111163837A (zh) * | 2017-07-28 | 2020-05-15 | 医达科技公司 | 用于混合现实环境中手术规划的方法和系统 |
| CN111163837B (zh) * | 2017-07-28 | 2022-08-02 | 医达科技公司 | 用于混合现实环境中手术规划的方法和系统 |
| CN111278381A (zh) * | 2017-08-28 | 2020-06-12 | 皇家飞利浦有限公司 | 对定位跟踪的介入设备的自动视场更新 |
| CN111278381B (zh) * | 2017-08-28 | 2024-04-09 | 皇家飞利浦有限公司 | 对定位跟踪的介入设备的自动视场更新 |
| CN110996748A (zh) * | 2018-05-23 | 2020-04-10 | 威博外科公司 | 面向机器学习的外科手术视频分析系统 |
| CN110648752B (zh) * | 2018-06-26 | 2020-07-24 | 北京埃德维亚医疗科技有限公司 | 一种医学数据三维可视化方法和设备 |
| CN108777001A (zh) * | 2018-06-26 | 2018-11-09 | 宁波极呈光电有限公司 | 手术模拟方法及装置 |
| CN110648752A (zh) * | 2018-06-26 | 2020-01-03 | 北京埃德维亚医疗科技有限公司 | 一种医学数据三维可视化方法和设备 |
| CN112513996A (zh) * | 2018-07-09 | 2021-03-16 | 阿斯卡拉波股份有限公司 | 医疗技术装备和方法 |
| CN111513845A (zh) * | 2019-02-04 | 2020-08-11 | 柯惠有限合伙公司 | 促进术后组织功能的术前预测的系统和方法 |
| CN111612860A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的栓塞的Ai识别方法及产品 |
| CN111612860B (zh) * | 2019-02-22 | 2023-09-15 | 曹生 | 基于VRDS 4D医学影像的栓塞的Ai识别方法及产品 |
| CN114430847A (zh) * | 2019-09-19 | 2022-05-03 | 西姆博尼克斯有限公司 | 多工具医学模拟系统和方法 |
| CN114430847B (zh) * | 2019-09-19 | 2024-03-29 | 西姆博尼克斯有限公司 | 多工具医学模拟系统和方法 |
| WO2021081846A1 (zh) * | 2019-10-30 | 2021-05-06 | 未艾医疗技术(深圳)有限公司 | 静脉血管肿瘤影像处理方法及相关产品 |
| CN113966204B (zh) * | 2019-12-18 | 2024-03-29 | 康坦手术股份有限公司 | 为医疗介入自动规划轨迹的方法 |
| CN113966204A (zh) * | 2019-12-18 | 2022-01-21 | 康坦手术股份有限公司 | 为医疗介入自动规划轨迹的方法 |
| CN114840110A (zh) * | 2022-03-17 | 2022-08-02 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170035517A1 (en) | 2017-02-09 |
| US11547499B2 (en) | 2023-01-10 |
| WO2015154069A1 (en) | 2015-10-08 |
| CN105992996B (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105992996B (zh) | 外科手术环境中的动态和交互式导航 | |
| US11304759B2 (en) | Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment | |
| US20210022812A1 (en) | Surgical Navigation Inside A Body | |
| CN109464195B (zh) | 双模式增强现实外科手术系统和方法 | |
| Kersten-Oertel et al. | The state of the art of visualization in mixed reality image guided surgery | |
| Bichlmeier et al. | The virtual mirror: a new interaction paradigm for augmented reality environments | |
| JP4653542B2 (ja) | 画像処理装置 | |
| CN109996511A (zh) | 用于引导进程的系统 | |
| Pinter et al. | SlicerVR for medical intervention training and planning in immersive virtual reality | |
| JP2020506452A (ja) | Ｈｍｄｓに基づく医学画像形成装置 | |
| CN105979900A (zh) | 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化 | |
| US20210353361A1 (en) | Surgical planning, surgical navigation and imaging system | |
| TWI772917B (zh) | 電腦輔助手術路徑規劃之電腦實施方法、電腦輔助處理裝置與電腦程式產品 | |
| Ramaswamy et al. | Endoscopic exploration and measurement in 3D radiological images | |
| JPH08280710A (ja) | 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法 | |
| US20220270247A1 (en) | Apparatus for moving a medical object and method for providing a control instruction | |
| Meinzer et al. | Medical imaging: examples of clinical applications | |
| Cameron et al. | Virtual-reality-assisted interventional procedures. | |
| Preim et al. | Smart 3d visualizations in clinical applications | |
| Raposio et al. | An “augmented-reality” aid for plastic and reconstructive surgeons | |
| Hawkes | Virtual Reality and Augmented Reality in Medicine | |
| RINGL et al. | M. CITARDI, MD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1227126 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191126 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |