CN1226707C - 模拟外科过程的方法和系统 - Google Patents
模拟外科过程的方法和系统 Download PDFInfo
- Publication number
- CN1226707C CN1226707C CNB028040651A CN02804065A CN1226707C CN 1226707 C CN1226707 C CN 1226707C CN B028040651 A CNB028040651 A CN B028040651A CN 02804065 A CN02804065 A CN 02804065A CN 1226707 C CN1226707 C CN 1226707C
- Authority
- CN
- China
- Prior art keywords
- video sequence
- model
- target
- virtual instrument
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Chemical & Material Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Architecture (AREA)
- Cardiology (AREA)
- Processing Or Creating Images (AREA)
Abstract
用于在由计算机单元提供的虚拟环境中,在身体目标,诸如器官上模拟手术过程的方法和系统。该虚拟环境包括该身体目标的数学地描述的三维模型,其反映该身体目标的几何和机械特性,以及虚拟仪器,由物理进给装置控制,其使得可影响该模型。该方法包括步骤:通过视频序列表示该模型的二维投影,该视频序列包含真实身体目标的记录视图,和仅与该模型交互作用的虚拟仪器啮合。另外,本发明还涉及用于模拟包含几个外科过程的手术的方法。
Description
技术领域
本发明通常涉及模拟外科过程,更具体地说,涉及在虚拟环境中模拟最小侵入外科过程。
背景技术
在现代外科技术中,将最小侵入技术用在越来越多的应用中。在该相对新的领领域内技术的发展很快,这对外科医生产生了很大的训练需求。使得该训练更有效的一种方法是使用计算机模拟。就以处理器和存储器为形式的计算机应用来说,提供可信模拟的已知技术非常复杂并且昂贵。因此,该结果不足以提供逼真的模拟环境。解剖学呈现的可视特性实际上在模拟中很难再现并且很耗时。
在腹腔镜检查领域内,使用摄象机来向外科医生提供来自病人的图象信息。该显示屏显示该摄象机在例如腹腔内获取的图象。通过摄象机以及显示屏再现所有仪器以及外科医生所操作的解剖模型。外科医生使用显示屏上的信息来控制和操作他或她的仪器并执行实现外科手术所需的过程。由于最小侵入技术(minimal invasivetechnique)通过显示屏向外科医生提供信息,将三维真实性降低到显示屏上的二维,因此除其他方面外,图象缺少有关实际上存在的深度的信息。外科医生必须通过研究明暗分布状况、颜色等等来弥补该信息的损失。
通过现代计算机工程,可在由计算机程序创建的虚拟环境中提供逼真的训练情形。在计算机程序中,提供模拟所涉及的目标的三维模型。向用户提供应当与在实际情形中由摄象机俘获的图象信息相应的投影。这表示通过计算机绘制所有视觉信息,诸如仪器和解剖模型。然而,在计算机试图再现的图象信息与摄象机俘获的实际图象间还存在相当大的差别。在计算机中很难逼真地再现在实际情况中外科医生使用的大部分图象信息,例如,在实际情形中存在的光效应和解剖结构、诸如呼吸和脉博跳动等因素。
如果可能的话,在计算机中整个模拟外科领域内的许多复杂过程是很昂贵的。这表示模拟仅可包括缺乏连续性的短暂过程,该连续性当执行该过程通常是存在的。例如,在US5,791,907中,Ramshaw等公开了用于模拟整个手术的系统。该方案建立在显示手术中的不同过程的记录视频序列的数据库上。然后,实际模拟包括将引入表示单独过程的视频序列。随后,询问该用户许多问题。然后,播放示出由问题的回答者确定的连续手术的视频序列。
发明内容
本发明的目的是提供创建逼真模拟环境的方法和系统,该方法和系统全部或部分地解决上述问题。另一目的是提供用于逼真模拟整个手术的方法和系统。
这是通过根据附后权利要求书的方法和系统来实现的。
本发明涉及用于在由计算机单元提供的虚拟环境中模拟身体目标,诸如器官的外科过程的方法。该环境包括:所述身体目标的三维数字描述模型,其至少反映所述身体目标的几何和机械特性,以及由连接到所述处理单元的物理进给装置控制的虚拟仪器,其使得有可能影响所述模型。根据本发明的方法包括通过视频序列表示所述模型的二维投影,与仅和所述模型交互作用的虚拟仪器啮合的步骤,所述视频序列包含真实身体目标的记录视图。
在虚拟环境中,可从不同角度观看目标,但通常引入一些限制以便与实际环境类似。例如,在腹部外科手术中,能引入某些限制以便在虚拟环境中的用户能仅从在实际情形中物理上可能的各方向工作。在最小侵入手术中,使用腹腔镜摄象机来在身体内拍片。这导致用户将他或她自身限制到一个或多个视角上。因此,确定虚拟环境,即视角,以及通过该角度,用三维模型创建二维投影。该二维投影与当腹腔镜摄象机在身体内拍片时所呈现的相应。在这里,身体目标是指身体内遭受外科手术过程的某些东西,例如,器官,诸如肝脏、心脏等等,或例如,恶性肿瘤。计算机单元包括具有相关装置的计算机,例如个人计算机。
所使用的虚拟仪器受物理进给装置的控制。进给装置可包括例如,与用在实际手术中的那些类似的、并可安装在装配传感器的台上的仪器。这种物理进给装置的一个例子是由美国ImmersionCorporation制造的“腹腔镜脉冲机”。其提供五个自由度,即,绕支点(仪器插入身体的点)旋转、纵向向内和向外移动仪器的可能性、绕仪器轴旋转以及夹住功能。为允许用户与虚拟目标相互作用以及显示相对于同一目标仪器所处的位置,同样在显示屏上显示虚拟仪器。方便地,由处理单元确定在显示屏上虚拟仪器的初始位置,其后,基于随同进给装置的运动,在虚拟环境中移动它们。
由于固定用于虚拟对象的视角,二维投影实际上变成相同,尽管由于脉博、呼吸或干预存在运动。如果以获得模型化目标的真实外观为目的创建曲面描绘,则可模拟手术。如通过介绍中所述的,然而这不能产生逼真的环境。因此,根据本发明的方法使用记录的视频序列。根据本发明的方法提供显示目标的自然运动,诸如呼吸和脉博的逼真模拟环境。通过用记录的视频序列代替身体目标的三维模型的计算机创建的投影,实现相当高的真实度。本发明的基本思想是:不同人的身体器官实质上具有相同的结构。然而,器官的基于计算机的模型实质上必须与胶片中的器官类似。不象其他方案,本发明是基于器官的类似性,即,本发明可基于例如胃的类模型,并基于此应用该视频序列。然而,对受图象资料影响的类模型本身,或者是受模型的属性知识影响的图象资料来说,适应性是必需的。然而,重要的是虚拟仪器是作用于计算机模型上,而不是视频序列上。因为该视频序列包含模型中的某些受限的运动,诸如呼吸和脉博跳动,需要将基础模型做成相应的动画以便通过虚拟仪器的手术击中虚拟模型中的与可在视频序列上看到的点相同的点。
为了形像化计算机模型中的改变,需要对所显示的内容做出改变。完成此工作的一种方法是提供所述模型的那些仅受所述虚拟仪器影响的部分的再现表面,以及将所述再现表面(rendered surface)叠加在所述视频序列上。因此,与已知系统和方法相比,由于仅需要再现已经改变的那些部分,故可获得很大的优点。这节省了计算机应用,同时,最重要是对用户来说,增加了关于视觉印象的真实感。结果,基本整个目标将显示给用户作为拍片序列,一方面,这对于在二维图象中再现三维的用户可能性是重要的,另一方面,增加了“对于真实”的感觉。最好,视频序列包含整个呼吸和脉博周期。由于在某一时间周期期间,脉博跳动快于呼吸,视频序列适当地包含当脉博跳动和呼吸同时发生时开始的以及当脉博跳动和呼吸同时出现时结束的序列。其原因在于虚拟环境应当尽可能与真实环境类似。
另外,本发明允许所示的虚拟仪器将受它们与模型的相互作用的影响。由于视频序列仅是形像化的,而虚拟仪器与模型交互作用,从而使用有关模型中的深度的信息,获得有关全部隐藏或是通过突出模型的部分而部分地隐藏仪器的信息。例如,当针头刺入器官壁时其被部分隐藏,或通过位于将在其上动手术的目标的前台(foreground)的器官来隐藏仪器。
由于虚拟仪器在三维虚拟环境中工作,因此能分析用户正确地估计基于二维投影的视觉印象如何构造三维环境是重要的。因此,该方法最好包括测量虚拟仪器的运动或与目标的交互作用中的至少一个参数,该参数反映用户的技能。能被测量以评价技能的参数是时间、与组织碰撞的次数、不正确过程的次数等等。通过以结构化方法继续模拟,提高了学习,特别是对用户还没有观察过的、在模拟时不正确操作的过程的学习的可能性。
另外,本发明包括用于在由计算机单元提供的虚拟环境中,模拟在身体目标,诸如器官上的外科手术的方法,该外科手术包含多个手术过程。该环境包括数学地描述的所述身体目标的三维模型,其至少反映所述身体目标的几何和机械性能,以及受连接到所述处理单元的物理进给控制的虚拟仪器,这使得影响所述模型成为可能。该方法包括下列步骤:通过视频序列表示二维投影,所述序列包含实际身体目标的记录视图、提供反映手术的多个不同阶段期间的目标的多种状态中的所述模型、提供与各个状态期间的真实目标的自然运动相应的第一组多个视频序列、提供分别形像化表示该目标如何从一个状态改变到另一个状态的外科手术过程的第二组多个视频序列,以及允许用户在模拟过程和察看该过程的显像之间选择以便将目标从一个状态改变到另一个状态。
因此,可实现模拟整个手术。反映手术的多个不同阶段期间的目标的状态可由例如,未改变目标的初始状态、具有用于缝合的切口的目标,或具有完全缝合的目标组成。通过这种方法提供训练过程,其中通过使用图象信息保存真实过程的连续性。与基于纯包含视频部分的方案,诸如由US专利申请5,791,907中提出的、用户在处理中自己可能选择进行他们所期望实践的过程,而他们能选择仅查看他们已经很了解或不处理的过程的显像的方案的系统相比,这产生了很大的优点。除此之外,当不个别地模拟单独的外科过程,而是投入它们的环境中时,实现更大程度的全面理解度。
此外,本发明包括用于在由计算机单元提供的虚拟环境中,模拟身体目标,诸如器官上的外科过程的系统。该环境包括所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及虚拟仪器,其受连接到所述处理单元的物理进给装置的控制,使得可影响所述模型。该系统包括所述模型的二维投影,由包含真实身体目标的记录视图的视频序列表示,和仅与所述模型交互作用的虚拟仪器啮合。该系统基本上显示出与上述相应方法相同的优点。
附图说明
在下文中,将通过参考附图的例子来更详细地描述本发明,其中:
图1表示模拟环境;以及
图2a-2b表示记录视频序列。
具体实施方式
根据本发明的优选实施例的模拟环境包括处理单元1、显示屏2、如图1所示的进给装置3。通过处理单元1实现虚拟环境。处理单元例如可包括最好装备有含3D电路的图形卡的个人计算机。
图2a-2b表示过程之前、期间和之后,如何通过摄象机拍摄真实的外科过程。为允许在身体内拍摄,使用腹腔镜摄象机。图2a表示腹腔镜摄象机如何在器官内拍片,所获得的结果如图2b所示。其后,该胶片构成模拟中的视觉属性的基础。最好与图象信息分开地记录光强度、光角以及视角。从该胶片选择构成整个呼吸和脉博周期的部分。由于它具有相同的开始和结束,可将其放在一个循环内以便连续地反映病人的自然运动。这意味着存在共同构成拍片的视频序列的有限多个拍片图象。该视频序列将被用来表示不受虚拟仪器影响的模拟目标的自然运动。另外,记录实际手术,这使得可形像化整个手术。
在一个实施例中,然后基于该目标的视觉印象以及解剖学知识,在虚拟环境中创建在胶片中出现的目标的计算机模型,该目标可是器官、癌细胞等等。该计算机模型变为在计算机环境中相对自由绘制的三维模型。在另一实施例中,已经创建了人的器官和其他目标的多个类模型。不管出发点如何,模拟将基于该模型。因此,模型具有真实目标或器官所具有的几何、机械和触觉特性是很重要的。因此,可数学地整个描述该模型。数学描述的数据结构包含有关表面和体积两者的信息。为再现的目的,可使用表面信息,体积信息对了解目标内部的机械和视觉特性来说是必要的。数据结构的例子是体元或八进树(octtree)。
获得与拍片目标的模型化目标相同的透视图是重要的。在最简单的实施例中,这是通过在计算机环境中转动该模型来执行的,以便可选地确定何时找出正确的透视图。在更先进的实施例中,存在转动和/或比例化模型直到它与拍片的目标相应的算法。在比较期间,使用来自拍片序列的一个或多个图象。比较来自胶片的图象和该模型的投影的一种方式是以可能补偿为目的,通过稍微转动该模型,从来自胶片的图象开始,然后对来自该胶片的多个图象继续进行该过程。将来自该胶片的图象与该模型的特定透视图比较的另一种方式是将该图象中的急转线与投影中该模型的轮廓进行比较。用相同的方式,可确定图象中较暗部分是否比另一部分向下更深些,以及有关光源位置的信息。这些比较产生指定的将获得的透视图,然后,锁定它以便确定为与拍片的实际目标的透视图相同。
对模拟装置的用户来说,现在有限的视频序列已经呈现为该模型的投影。因此,获得用于实践的十分逼真的环境。由于该模型位于胶片后并且该虚拟仪器实际上在该模型中操作,考虑到是从该模型而不是胶片提取深度效果,能实现完全真实感。在显示屏2上向用户呈现该胶片。
该模型及其通过视频序列的显像可构成用于与用户实际交互的基础。为与真实情形类似,使用进给装置3,该进给装置基本上与在实际手术中使用的相同。然而,是将其安装在台上并连接到用于检测运动的传感器。如在实际手术中一样,用户在与显示模型的显像相同的显示屏2上查看仪器的运动。将这些仪器描绘成好象它们与真实身体啮合时那样。差别在于屏幕2上的显像不是源自于腹腔镜摄象机,而是源自于在处理单元中创建的显像。于是该虚拟仪器与模型啮合,当该模型包含必要的数据时这允许功率反馈。当然,当真实仪器与真实目标啮合时,出现目标变化;例如,用刀切入导致目标中的切口。因此,这在表示摄象机正在拍摄什么的屏幕上的真实手术中示出。在优选实施例中,在显示给用户的透视图中已经可视地改变的模型中的区域创建再现部分。然后将这些叠加在视频序列上。为使再现部分反映目标的自然运动,必须创建刚好与视频序列中存在的图象一样多的再现部分。
为创建逼真环境,同样在该优选实施例中存在用于影响在屏幕2上如何可视化虚拟仪器3的装置。由于在被动画的计算机模型的每个时刻以三维完整地描述虚拟目标,因此能确定何时在虚拟仪器和虚拟目标之间发生碰撞。实际上,例如,当针尖将要刺入组织时,出现很明显的目标变形。通过找出该仪器与该目标接触的点以及确定变形来实现相同的效果。随后,在变形区域中以及从有关当拍摄视频序列时的光源的信息来确定新表面结构,可创建新图象。该图象位于该胶片上新一层中,并且通过使用能通过特定的3D卡获得的边界透明性,可以极其小的可视边界进行叠加。通过有关目标表面以及图象中深度情况的知识,能实现虚拟仪器的显像。因此,处理单元可了解虚拟仪器的哪些部分已经由位于该仪器前的目标的部分覆盖,或者如果仪器已经刺入目标其被覆盖的部分。
有利地,还能模拟包括整个外科过程或手术的课程形式。这是基于为模拟或形像化而准备的多个过程。当形像化时,使用在该部分开始处已提及的视频记录,这显示真实的拍片手术。
应当理解,在本发明的范围内,上述实施例的各种修改是可能的;例如,可在视频序列上的几层放置模型表面结构的变化的再现部分。这种修改和类似的修改应当被视为由附后权利要求书限定的本发明所包含。
Claims (11)
1、一种用于在由处理单元提供的虚拟环境中,在身体目标上模拟外科手术过程的方法,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,由连接到所述处理单元的物理进给装置控制,以使该虚拟仪器能影响所述模型,所述方法的特征在于包括步骤:
通过视频序列表示所述模型的二维投影,所述视频序列包含真实身体目标的记录视图,
其中,所述虚拟仪器仅与所述模型交互作用。
2、如权利要求1所述的方法,进一步包括步骤:
提供所述模型的受所述虚拟仪器影响的部分的再现表面;
将所述再现表面叠加在所述视频序列上。
3、如权利要求2所述的方法,进一步包括步骤:
当记录所述视频序列时,测量光源相对于所述身体目标的位置,并且其中通过具有所述位置的光源获得所述再现表面。
4、如权利要求1所述的方法,其中所述视频序列由腹腔镜摄象机记录。
5、如权利要求1所述的方法,其中所述视频序列是与在目标的初始状态期间真实目标的自然运动对应的循环。
6、如权利要求1所述的方法,进一步包括步骤:
用腹腔镜摄象机,从相同的透视图记录真实身体目标的胶片,以及
从包含整个呼吸和脉博周期的所述胶片按顺序选择一个视频序列。
7、如权利要求1所述的方法,进一步包括步骤:
确定所述虚拟仪器的哪些部分由所述虚拟目标完全或部分覆盖,以及
仅将未被所述虚拟仪器覆盖的部分放在具有所述视频序列的层的顶部。
8、如权利要求1所述的方法,进一步包括步骤:
至少测量所述虚拟仪器的运动或与所述目标的交互作用中的一个参数,所述参数反映用户的技能。
9、如权利要求8所述的方法,其中被测量的参数是与组织的碰撞数。
10、一种用于在由计算机单元提供的虚拟环境中模拟包含在身体目标上的多个外科过程的外科手术的方法,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,受连接到所述处理单元的物理进给装置控制,这样就能够影响所述模型,所述方法的特征在于下列步骤:
通过视频序列表示所述模型的二维投影,所述视频序列包含真实身体目标的记录视图;
提供多个状态中的所述模型,所述多个状态反映手术过程中的多个不同阶段期间的该目标,
提供第一组多个视频序列,该第一组多个视频序列对应于各个状态期间真实目标的自然运动,
提供第二组多个视频序列,该第二组多个视频序列的每一个形像化表示所述目标如何从一种状态改变到另一种状态的外科手术过程,以及
允许用户以将所述目标从一个状态改变到另一状态为目的在模拟过程以及查看该过程的显像之间进行选择。
11、一种用于在由计算机单元提供的虚拟环境中,在身体目标上模拟外科过程的系统,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,由连接到所述处理单元的物理进给装置控制,这样就能够影响所述模型,所述系统的特征在于:
由视频序列表示的所述模型的二维投影,所述视频序列包含真实身体目标的记录视图,
其中,所述虚拟仪器适于仅与所述模型交互作用。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0100184A SE518252C2 (sv) | 2001-01-24 | 2001-01-24 | Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment |
SE01001841 | 2001-01-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1488127A CN1488127A (zh) | 2004-04-07 |
CN1226707C true CN1226707C (zh) | 2005-11-09 |
Family
ID=20282701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028040651A Expired - Fee Related CN1226707C (zh) | 2001-01-24 | 2002-01-15 | 模拟外科过程的方法和系统 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9153146B2 (zh) |
EP (1) | EP1354308A1 (zh) |
JP (1) | JP2004518175A (zh) |
KR (1) | KR20030083695A (zh) |
CN (1) | CN1226707C (zh) |
AU (1) | AU2002219760B2 (zh) |
IL (1) | IL157062A0 (zh) |
NO (1) | NO20033301L (zh) |
SE (1) | SE518252C2 (zh) |
WO (1) | WO2002059859A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101589416B (zh) * | 2006-10-05 | 2012-07-18 | 埃萨吉克尔斯公司 | 内窥镜手术训练仪 |
WO2016056025A1 (en) | 2014-10-08 | 2016-04-14 | Indian Council Of Medical Research (Icmr) | Neuro-endoscope box trainer |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0202864D0 (sv) * | 2002-09-30 | 2002-09-30 | Goeteborgs University Surgical | Device and method for generating a virtual anatomic environment |
SE525157C2 (sv) | 2002-12-03 | 2004-12-14 | Mentice Ab | Simuleringssystem för invasiv kirurgi |
AU2003283929A1 (en) * | 2002-12-03 | 2004-06-23 | Mentice Ab | An interventional simulator control system |
SE0203567D0 (sv) | 2002-12-03 | 2002-12-03 | Mentice Ab | An interventional simulator control system |
AU2003283932A1 (en) | 2002-12-03 | 2004-06-23 | Mentice Ab | An interventional simulator system |
WO2006016348A1 (en) | 2004-08-13 | 2006-02-16 | Haptica Limited | A method and system for generating a surgical training module |
JP4607656B2 (ja) * | 2005-05-06 | 2011-01-05 | 株式会社神戸製鋼所 | 細胞操作シミュレータ、シミュレーション方法及びプログラム |
CN100337260C (zh) * | 2005-06-23 | 2007-09-12 | 上海交通大学 | 多功能虚拟手术器械 |
JP4934679B2 (ja) * | 2005-12-27 | 2012-05-16 | サムスン エレクトロニクス カンパニー リミテッド | 9種の呼吸器疾患と関連するバクテリア種を特異的に検出するためのプライマー、プローブ、マイクロアレイおよびその方法 |
US8834170B2 (en) * | 2006-11-06 | 2014-09-16 | University Of Florida Research Foundation, Inc. | Devices and methods for utilizing mechanical surgical devices in a virtual environment |
US9911352B2 (en) * | 2006-12-27 | 2018-03-06 | Case Western Reserve University | Situated simulation for training, education, and therapy |
GB2459225B (en) * | 2007-01-16 | 2011-07-20 | Simbionix Ltd | Preoperative surgical simulation |
WO2009094621A2 (en) | 2008-01-25 | 2009-07-30 | University Of Florida Research Foundation, Inc. | Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment |
CN101404039B (zh) * | 2008-03-28 | 2010-06-16 | 华南师范大学 | 一种虚拟手术的方法及其装置 |
CN101286188B (zh) * | 2008-04-03 | 2010-06-02 | 深圳先进技术研究院 | 一种虚拟仿真系统中力觉反馈的计算方法 |
KR20110136847A (ko) * | 2009-03-12 | 2011-12-21 | 헬스 리서치 인코포레이티드 | 최소 침습 수술 트레이닝 방법 및 시스템 |
CN102117378B (zh) * | 2009-12-31 | 2012-07-25 | 苏州瑞派宁科技有限公司 | 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统 |
WO2011127379A2 (en) | 2010-04-09 | 2011-10-13 | University Of Florida Research Foundation Inc. | Interactive mixed reality system and uses thereof |
WO2012060901A1 (en) * | 2010-11-04 | 2012-05-10 | The Johns Hopkins University | System and method for the evaluation of or improvement of minimally invasive surgery skills |
US10617478B1 (en) | 2011-01-03 | 2020-04-14 | Smith & Nephew Orthopedics AG | Surgical implement selection process |
CN102122450B (zh) * | 2011-01-17 | 2012-10-17 | 东南大学 | 人工流产手术操作教学辅助装置 |
CN103456225A (zh) * | 2012-06-01 | 2013-12-18 | 苏州敏行医学信息技术有限公司 | 基于腹腔镜手术模拟系统的双手协调基础训练方法及系统 |
US20140051049A1 (en) | 2012-08-17 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Anatomical model and method for surgical training |
KR101352293B1 (ko) * | 2012-09-25 | 2014-01-23 | 최건 | 척추수술 시뮬레이션 시스템, 시뮬레이션 판단장치 및 그 판단방법 |
EP2811479B1 (en) * | 2013-06-07 | 2017-08-02 | Surgical Science Sweden AB | A user interface for a surgical simulation system |
CN104575215B (zh) * | 2013-10-09 | 2017-06-30 | 郑夙芬 | 3d护理情境模拟数字学习系统 |
KR102405656B1 (ko) * | 2013-12-20 | 2022-06-07 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 의료 절차 훈련을 위한 시뮬레이터 시스템 |
CN105096670B (zh) * | 2014-05-23 | 2018-07-06 | 香港理工大学 | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 |
CN104200730B (zh) * | 2014-09-09 | 2017-05-10 | 华中科技大学 | 一种用于虚拟腹腔镜手术的装置、方法及系统 |
US11094223B2 (en) | 2015-01-10 | 2021-08-17 | University Of Florida Research Foundation, Incorporated | Simulation features combining mixed reality and modular tracking |
CN109310392A (zh) * | 2016-06-06 | 2019-02-05 | 埃达技术股份有限公司 | 交互式腹腔镜超声引导消融计划和手术程序模拟的方法和系统 |
WO2018118858A1 (en) | 2016-12-19 | 2018-06-28 | National Board Of Medical Examiners | Medical training and performance assessment instruments, methods, and systems |
US11272985B2 (en) | 2017-11-14 | 2022-03-15 | Stryker Corporation | Patient-specific preoperative planning simulation techniques |
CN111770737A (zh) | 2017-12-28 | 2020-10-13 | 奥博斯吉科有限公司 | 显微外科手术专用触觉手控制器 |
CN108447333B (zh) * | 2018-03-15 | 2019-11-26 | 四川大学华西医院 | 一种腔镜手术剪裁操作考核方法 |
KR20200022078A (ko) | 2018-08-22 | 2020-03-03 | 장준영 | 가상 현실 의료 훈련 시스템 |
CN110895895B (zh) * | 2018-09-12 | 2021-11-19 | 北京大学 | 一种分段诊刮模拟手术的实时评价系统 |
CN109637252B (zh) * | 2019-01-14 | 2021-06-04 | 晋城市人民医院 | 一种神经外科虚拟手术训练系统 |
KR102594258B1 (ko) * | 2021-04-26 | 2023-10-26 | 한국전자통신연구원 | 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 |
CN114360349B (zh) * | 2021-12-09 | 2022-09-23 | 深圳先进技术研究院 | 手术培训装置、系统及手术器械运动信息获取方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4464123A (en) * | 1982-07-06 | 1984-08-07 | Critikon, Inc. | Arm simulator for an oscillometric blood pressure monitor |
US4907973A (en) * | 1988-11-14 | 1990-03-13 | Hon David C | Expert system simulator for modeling realistic internal environments and performance |
US5296379A (en) * | 1990-03-23 | 1994-03-22 | Peter Gorog | Apparatus and method for modeling arterial thrombus formations |
US5772442A (en) * | 1992-05-13 | 1998-06-30 | University Of Florida Research Foundation, Inc. | Apparatus and method for simulating bronchial resistance or dilation |
US5584701A (en) * | 1992-05-13 | 1996-12-17 | University Of Florida Research Foundation, Incorporated | Self regulating lung for simulated medical procedures |
US5769640A (en) | 1992-12-02 | 1998-06-23 | Cybernet Systems Corporation | Method and system for simulating medical procedures including virtual reality and control method and system for use therein |
FR2719690B1 (fr) * | 1994-05-04 | 1996-07-19 | Lille Ii Universite | Dispositif et procédé de simulation d'un examen ou d'une opération chirurgicale effectuée sur un organe simulé. |
US5821920A (en) * | 1994-07-14 | 1998-10-13 | Immersion Human Interface Corporation | Control input device for interfacing an elongated flexible object with a computer system |
US5609485A (en) * | 1994-10-03 | 1997-03-11 | Medsim, Ltd. | Medical reproduction system |
US5882206A (en) * | 1995-03-29 | 1999-03-16 | Gillio; Robert G. | Virtual surgery system |
US5791907A (en) * | 1996-03-08 | 1998-08-11 | Ramshaw; Bruce J. | Interactive medical training system |
US5800179A (en) * | 1996-07-23 | 1998-09-01 | Medical Simulation Corporation | System for training persons to perform minimally invasive surgical procedures |
US6443974B1 (en) * | 1996-07-28 | 2002-09-03 | Biosense, Inc. | Electromagnetic cardiac biostimulation |
US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
AU4249597A (en) * | 1996-09-04 | 1998-03-26 | Ht Medical Systems, Inc. | Interventional radiology interface apparatus and method |
US6929481B1 (en) * | 1996-09-04 | 2005-08-16 | Immersion Medical, Inc. | Interface device and method for interfacing instruments to medical procedure simulation systems |
US6331116B1 (en) * | 1996-09-16 | 2001-12-18 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual segmentation and examination |
JPH10111958A (ja) | 1996-10-04 | 1998-04-28 | Olympus Optical Co Ltd | コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法 |
US6061462A (en) * | 1997-03-07 | 2000-05-09 | Phoenix Licensing, Inc. | Digital cartoon and animation process |
US5945056A (en) * | 1997-05-28 | 1999-08-31 | Simutech Limited | Method of making a surgical simulator |
US5823787A (en) * | 1997-09-17 | 1998-10-20 | Medical Plastics Laboratory, Inc. | Training mannequin for management of normal and abnormal airways |
US6054992A (en) | 1997-09-19 | 2000-04-25 | Mitsubishi Electric Information Technology Center America, Inc. | cutting, jointing and tearing volumetric objects |
WO1999017265A1 (en) * | 1997-09-26 | 1999-04-08 | Boston Dynamics, Inc. | Method and apparatus for surgical training and simulating surgery |
JP4063933B2 (ja) | 1997-12-01 | 2008-03-19 | オリンパス株式会社 | 手術シミュレーション装置 |
US5947744A (en) * | 1998-01-21 | 1999-09-07 | The Chinese University Of Hong Kong | Training apparatus and method for coronary artery anastomoses featuring simulated pulsating heart |
IL123073A0 (en) * | 1998-01-26 | 1998-09-24 | Simbionix Ltd | Endoscopic tutorial system |
US7191110B1 (en) * | 1998-02-03 | 2007-03-13 | University Of Illinois, Board Of Trustees | Patient specific circulation model |
JPH11219100A (ja) | 1998-02-04 | 1999-08-10 | Mitsubishi Electric Corp | 医用シミュレータシステム |
WO1999042978A1 (en) * | 1998-02-19 | 1999-08-26 | Boston Dynamics, Inc. | Method and apparatus for surgical training and simulating surgery |
ES2228043T3 (es) * | 1998-05-28 | 2005-04-01 | Orthosoft, Inc. | Sistema quirurgico interactivo asistido por ordenador. |
US6074213A (en) * | 1998-08-17 | 2000-06-13 | Hon; David C. | Fractional process simulator with remote apparatus for multi-locational training of medical teams |
CA2315716C (en) * | 1998-11-03 | 2008-12-02 | Shade Analyzing Technologies, Inc. | Interactive dental restorative network |
US6659939B2 (en) * | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
US6468265B1 (en) * | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
US6234804B1 (en) * | 1999-03-02 | 2001-05-22 | Peter Yong | Thoracic training model for endoscopic cardiac surgery |
US6605053B1 (en) * | 1999-09-10 | 2003-08-12 | Percardia, Inc. | Conduit designs and related methods for optimal flow control |
US6544041B1 (en) * | 1999-10-06 | 2003-04-08 | Fonar Corporation | Simulator for surgical procedures |
-
2001
- 2001-01-24 SE SE0100184A patent/SE518252C2/sv not_active IP Right Cessation
-
2002
- 2002-01-15 KR KR10-2003-7009725A patent/KR20030083695A/ko not_active Application Discontinuation
- 2002-01-15 CN CNB028040651A patent/CN1226707C/zh not_active Expired - Fee Related
- 2002-01-15 IL IL15706202A patent/IL157062A0/xx unknown
- 2002-01-15 JP JP2002560109A patent/JP2004518175A/ja active Pending
- 2002-01-15 WO PCT/SE2002/000054 patent/WO2002059859A1/en active IP Right Grant
- 2002-01-15 EP EP02734893A patent/EP1354308A1/en not_active Withdrawn
- 2002-01-15 AU AU2002219760A patent/AU2002219760B2/en not_active Ceased
-
2003
- 2003-07-17 US US10/466,524 patent/US9153146B2/en active Active
- 2003-07-22 NO NO20033301A patent/NO20033301L/no unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101589416B (zh) * | 2006-10-05 | 2012-07-18 | 埃萨吉克尔斯公司 | 内窥镜手术训练仪 |
WO2016056025A1 (en) | 2014-10-08 | 2016-04-14 | Indian Council Of Medical Research (Icmr) | Neuro-endoscope box trainer |
US10902745B2 (en) | 2014-10-08 | 2021-01-26 | All India Institute Of Medical Sciences | Neuro-endoscope box trainer |
Also Published As
Publication number | Publication date |
---|---|
WO2002059859A1 (en) | 2002-08-01 |
US9153146B2 (en) | 2015-10-06 |
US20060073454A1 (en) | 2006-04-06 |
WO2002059859A8 (en) | 2004-05-27 |
SE518252C2 (sv) | 2002-09-17 |
JP2004518175A (ja) | 2004-06-17 |
NO20033301D0 (no) | 2003-07-22 |
AU2002219760B2 (en) | 2004-06-17 |
EP1354308A1 (en) | 2003-10-22 |
SE0100184D0 (sv) | 2001-01-24 |
NO20033301L (no) | 2003-07-22 |
CN1488127A (zh) | 2004-04-07 |
KR20030083695A (ko) | 2003-10-30 |
SE0100184L (sv) | 2002-07-25 |
IL157062A0 (en) | 2004-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1226707C (zh) | 模拟外科过程的方法和系统 | |
Spitzer et al. | The visible human dataset: the anatomical platform for human simulation | |
US9396669B2 (en) | Surgical procedure capture, modelling, and editing interactive playback | |
CN107822690B (zh) | 具有不用手的控制的混合图像/场景再现器 | |
EP2538398B1 (en) | System and method for transesophageal echocardiography simulations | |
AU2002219760A1 (en) | Method and system for simulation of surgical procedures | |
KR101816172B1 (ko) | 의료 훈련 시뮬레이션 시스템 및 방법 | |
Ra et al. | Spine needle biopsy simulator using visual and force feedback | |
CN111613122A (zh) | 虚实融合的血管介入手术模拟系统 | |
CN107633531A (zh) | 图像处理装置、图像处理方法以及计算机可读介质 | |
US20100284594A1 (en) | Method and Device for 3d-Navigation On Layers of Images | |
Fischer et al. | Evaluation of different visualization techniques for perception-based alignment in medical ar | |
CN115298706A (zh) | 用于在将合成元素应用于原始图像期间掩蔽所识别的对象的系统和方法 | |
Trier et al. | The visible ear surgery simulator | |
Müller et al. | The virtual reality arthroscopy training simulator | |
Sundstedt et al. | A systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments | |
Ziemek et al. | Evaluating the effectiveness of orientation indicators with an awareness of individual differences | |
Porro et al. | An integrated environment for plastic surgery support: building virtual patients, simulating interventions, and supporting intraoperative decisions | |
EP3789989A1 (en) | Laparoscopic simulator | |
Clarke | Depth perception using x-ray visualizations | |
CN114190922B (zh) | Tms头动检测方法 | |
US12033530B2 (en) | Laparoscopic simulator | |
US20230419602A1 (en) | Rendering and displaying a 3d representation of an anatomical structure | |
Goodyer et al. | 3D visualization of cardiac anatomical MRI data with para-cellular resolution | |
Jakl | Benefits and parameters of shadow in augmented reality-environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20051109 Termination date: 20190115 |
|
CF01 | Termination of patent right due to non-payment of annual fee |