CN1488127A - 模拟外科过程的方法和系统 - Google Patents

模拟外科过程的方法和系统 Download PDF

Info

Publication number
CN1488127A
CN1488127A CNA028040651A CN02804065A CN1488127A CN 1488127 A CN1488127 A CN 1488127A CN A028040651 A CNA028040651 A CN A028040651A CN 02804065 A CN02804065 A CN 02804065A CN 1488127 A CN1488127 A CN 1488127A
Authority
CN
China
Prior art keywords
model
video sequence
target
virtual instrument
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028040651A
Other languages
English (en)
Other versions
CN1226707C (zh
Inventor
��ذ���
安德斯·许尔特安德
�������ɭ
安德斯·拉森
戴维·洛夫斯特兰德
汉斯·伦罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GODEBORG UNIV SURGICAL SCIENCE AB
Original Assignee
GODEBORG UNIV SURGICAL SCIENCE AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GODEBORG UNIV SURGICAL SCIENCE AB filed Critical GODEBORG UNIV SURGICAL SCIENCE AB
Publication of CN1488127A publication Critical patent/CN1488127A/zh
Application granted granted Critical
Publication of CN1226707C publication Critical patent/CN1226707C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00707Dummies, phantoms; Devices simulating patient or parts of patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Cardiology (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

用于在由计算机单元提供的虚拟环境中,在身体目标,诸如器官上模拟手术过程的方法和系统。该虚拟环境包括该身体目标的数学地描述的三维模型,其反映该身体目标的几何和机械特性,以及虚拟仪器,由物理进给装置控制,其使得可影响该模型。该方法包括步骤:通过视频序列表示该模型的二维投影,该视频序列包含真实身体目标的记录视图,和仅与该模型交互作用的虚拟仪器啮合。另外,本发明还涉及用于模拟包含几个外科过程的手术的方法。

Description

模拟外科过程的方法和系统
技术领域
本发明通常涉及模拟外科过程,更具体地说,涉及在虚拟环境中模拟最小侵入外科过程。
背景技术
在现代外科技术中,将最小侵入技术用在越来越多的应用中。在该相对新的领领域内技术的发展很快,这对外科医生产生了很大的训练需求。使得该训练更有效的一种方法是使用计算机模拟。就以处理器和存储器为形式的计算机应用来说,提供可信模拟的已知技术非常复杂并且昂贵。因此,该结果不足以提供逼真的模拟环境。解剖学呈现的可视特性实际上在模拟中很难再现并且很耗时。
在腹腔镜检查领域内,使用摄象机来向外科医生提供来自病人的图象信息。该显示屏显示该摄象机在例如腹腔内获取的图象。通过摄象机以及显示屏再现所有仪器以及外科医生所操作的解剖模型。外科医生使用显示屏上的信息来控制和操作他或她的仪器并执行实现外科手术所需的过程。由于最小侵入技术(minimal invasivetechnique)通过显示屏向外科医生提供信息,将三维真实性降低到显示屏上的二维,因此除其他方面外,图象缺少有关实际上存在的深度的信息。外科医生必须通过研究明暗分布状况、颜色等等来弥补该信息的损失。
通过现代计算机工程,可在由计算机程序创建的虚拟环境中提供逼真的训练情形。在计算机程序中,提供模拟所涉及的目标的三维模型。向用户提供应当与在实际情形中由摄象机俘获的图象信息相应的投影。这表示通过计算机绘制所有视觉信息,诸如仪器和解剖模型。然而,在计算机试图再现的图象信息与摄象机俘获的实际图象间还存在相当大的差别。在计算机中很难逼真地再现在实际情况中外科医生使用的大部分图象信息,例如,在实际情形中存在的光效应和解剖结构、诸如呼吸和脉博跳动等因素。
如果可能的话,在计算机中整个模拟外科领域内的许多复杂过程是很昂贵的。这表示模拟仅可包括缺乏连续性的短暂过程,该连续性当执行该过程通常是存在的。例如,在US5,791,907中,Ramshaw等公开了用于模拟整个手术的系统。该方案建立在显示手术中的不同过程的记录视频序列的数据库上。然后,实际模拟包括将引入表示单独过程的视频序列。随后,询问该用户许多问题。然后,播放示出由问题的回答者确定的连续手术的视频序列。
发明内容
本发明的目的是提供创建逼真模拟环境的方法和系统,该方法和系统全部或部分地解决上述问题。另一目的是提供用于逼真模拟整个手术的方法和系统。
这是通过根据附后权利要求书的方法和系统来实现的。
本发明涉及用于在由计算机单元提供的虚拟环境中模拟身体目标,诸如器官的外科过程的方法。该环境包括:所述身体目标的三维数字描述模型,其至少反映所述身体目标的几何和机械特性,以及由连接到所述处理单元的物理进给装置控制的虚拟仪器,其使得有可能影响所述模型。根据本发明的方法包括通过视频序列表示所述模型的二维投影,与仅和所述模型交互作用的虚拟仪器啮合的步骤,所述视频序列包含真实身体目标的记录视图。
在虚拟环境中,可从不同角度观看目标,但通常引入一些限制以便与实际环境类似。例如,在腹部外科手术中,能引入某些限制以便在虚拟环境中的用户能仅从在实际情形中物理上可能的各方向工作。在最小侵入手术中,使用腹腔镜摄象机来在身体内拍片。这导致用户将他或她自身限制到一个或多个视角上。因此,确定虚拟环境,即视角,以及通过该角度,用三维模型创建二维投影。该二维投影与当腹腔镜摄象机在身体内拍片时所呈现的相应。在这里,身体目标是指身体内遭受外科手术过程的某些东西,例如,器官,诸如肝脏、心脏等等,或例如,恶性肿瘤。计算机单元包括具有相关装置的计算机,例如个人计算机。
所使用的虚拟仪器受物理进给装置的控制。进给装置可包括例如,与用在实际手术中的那些类似的、并可安装在装配传感器的台上的仪器。这种物理进给装置的一个例子是由美国ImmersionCorporation制造的“腹腔镜脉冲机”。其提供五个自由度,即,绕支点(仪器插入身体的点)旋转、纵向向内和向外移动仪器的可能性、绕仪器轴旋转以及夹住功能。为允许用户与虚拟目标相互作用以及显示相对于同一目标仪器所处的位置,同样在显示屏上显示虚拟仪器。方便地,由处理单元确定在显示屏上虚拟仪器的初始位置,其后,基于随同进给装置的运动,在虚拟环境中移动它们。
由于固定用于虚拟对象的视角,二维投影实际上变成相同,尽管由于脉博、呼吸或干预存在运动。如果以获得模型化目标的真实外观为目的创建曲面描绘,则可模拟手术。如通过介绍中所述的,然而这不能产生逼真的环境。因此,根据本发明的方法使用记录的视频序列。根据本发明的方法提供显示目标的自然运动,诸如呼吸和脉博的逼真模拟环境。通过用记录的视频序列代替身体目标的三维模型的计算机创建的投影,实现相当高的真实度。本发明的基本思想是:不同人的身体器官实质上具有相同的结构。然而,器官的基于计算机的模型实质上必须与胶片中的器官类似。不象其他方案,本发明是基于器官的类似性,即,本发明可基于例如胃的类模型,并基于此应用该视频序列。然而,对受图象资料影响的类模型本身,或者是受模型的属性知识影响的图象资料来说,适应性是必需的。然而,重要的是虚拟仪器是作用于计算机模型上,而不是视频序列上。因为该视频序列包含模型中的某些受限的运动,诸如呼吸和脉博跳动,需要将基础模型做成相应的动画以便通过虚拟仪器的手术击中虚拟模型中的与可在视频序列上看到的点相同的点。
为了形像化计算机模型中的改变,需要对所显示的内容做出改变。完成此工作的一种方法是提供所述模型的那些仅受所述虚拟仪器影响的部分的再现表面,以及将所述再现表面(rendered surface)叠加在所述视频序列上。因此,与已知系统和方法相比,由于仅需要再现已经改变的那些部分,故可获得很大的优点。这节省了计算机应用,同时,最重要是对用户来说,增加了关于视觉印象的真实感。结果,基本整个目标将显示给用户作为拍片序列,一方面,这对于在二维图象中再现三维的用户可能性是重要的,另一方面,增加了“对于真实”的感觉。最好,视频序列包含整个呼吸和脉博周期。由于在某一时间周期期间,脉博跳动快于呼吸,视频序列适当地包含当脉博跳动和呼吸同时发生时开始的以及当脉博跳动和呼吸同时出现时结束的序列。其原因在于虚拟环境应当尽可能与真实环境类似。
另外,本发明允许所示的虚拟仪器将受它们与模型的相互作用的影响。由于视频序列仅是形像化的,而虚拟仪器与模型交互作用,从而使用有关模型中的深度的信息,获得有关全部隐藏或是通过突出模型的部分而部分地隐藏仪器的信息。例如,当针头刺入器官壁时其被部分隐藏,或通过位于将在其上动手术的目标的前台(foreground)的器官来隐藏仪器。
由于虚拟仪器在三维虚拟环境中工作,因此能分析用户正确地估计基于二维投影的视觉印象如何构造三维环境是重要的。因此,该方法最好包括测量虚拟仪器的运动或与目标的交互作用中的至少一个参数,该参数反映用户的技能。能被测量以评价技能的参数是时间、与组织碰撞的次数、不正确过程的次数等等。通过以结构化方法继续模拟,提高了学习,特别是对用户还没有观察过的、在模拟时不正确操作的过程的学习的可能性。
另外,本发明包括用于在由计算机单元提供的虚拟环境中,模拟在身体目标,诸如器官上的外科手术的方法,该外科手术包含多个手术过程。该环境包括数学地描述的所述身体目标的三维模型,其至少反映所述身体目标的几何和机械性能,以及受连接到所述处理单元的物理进给控制的虚拟仪器,这使得影响所述模型成为可能。该方法包括下列步骤:通过视频序列表示二维投影,所述序列包含实际身体目标的记录视图、提供反映手术的多个不同阶段期间的目标的多种状态中的所述模型、提供与各个状态期间的真实目标的自然运动相应的第一组多个视频序列、提供分别形像化表示该目标如何从一个状态改变到另一个状态的外科手术过程的第二组多个视频序列,以及允许用户在模拟过程和察看该过程的显像之间选择以便将目标从一个状态改变到另一个状态。
因此,可实现模拟整个手术。反映手术的多个不同阶段期间的目标的状态可由例如,未改变目标的初始状态、具有用于缝合的切口的目标,或具有完全缝合的目标组成。通过这种方法提供训练过程,其中通过使用图象信息保存真实过程的连续性。与基于纯包含视频部分的方案,诸如由US专利申请5,791,907中提出的、用户在处理中自己可能选择进行他们所期望实践的过程,而他们能选择仅查看他们已经很了解或不处理的过程的显像的方案的系统相比,这产生了很大的优点。除此之外,当不个别地模拟单独的外科过程,而是投入它们的环境中时,实现更大程度的全面理解度。
此外,本发明包括用于在由计算机单元提供的虚拟环境中,模拟身体目标,诸如器官上的外科过程的系统。该环境包括所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及虚拟仪器,其受连接到所述处理单元的物理进给装置的控制,使得可影响所述模型。该系统包括所述模型的二维投影,由包含真实身体目标的记录视图的视频序列表示,和仅与所述模型交互作用的虚拟仪器啮合。该系统基本上显示出与上述相应方法相同的优点。
附图说明
在下文中,将通过参考附图的例子来更详细地描述本发明,其中:
图1表示模拟环境;以及
图2a-2b表示记录视频序列。
具体实施方式
根据本发明的优选实施例的模拟环境包括处理单元1、显示屏2、如图1所示的进给装置3。通过处理单元1实现虚拟环境。处理单元例如可包括最好装备有含3D电路的图形卡的个人计算机。
图2a-2b表示过程之前、期间和之后,如何通过摄象机拍摄真实的外科过程。为允许在身体内拍摄,使用腹腔镜摄象机。图2a表示腹腔镜摄象机如何在器官内拍片,所获得的结果如图2b所示。其后,该胶片构成模拟中的视觉属性的基础。最好与图象信息分开地记录光强度、光角以及视角。从该胶片选择构成整个呼吸和脉博周期的部分。由于它具有相同的开始和结束,可将其放在一个循环内以便连续地反映病人的自然运动。这意味着存在共同构成拍片的视频序列的有限多个拍片图象。该视频序列将被用来表示不受虚拟仪器影响的模拟目标的自然运动。另外,记录实际手术,这使得可形像化整个手术。
在一个实施例中,然后基于该目标的视觉印象以及解剖学知识,在虚拟环境中创建在胶片中出现的目标的计算机模型,该目标可是器官、癌细胞等等。该计算机模型变为在计算机环境中相对自由绘制的三维模型。在另一实施例中,已经创建了人的器官和其他目标的多个类模型。不管出发点如何,模拟将基于该模型。因此,模型具有真实目标或器官所具有的几何、机械和触觉特性是很重要的。因此,可数学地整个描述该模型。数学描述的数据结构包含有关表面和体积两者的信息。为再现的目的,可使用表面信息,体积信息对了解目标内部的机械和视觉特性来说是必要的。数据结构的例子是体元或八进树(octtree)。
获得与拍片目标的模型化目标相同的透视图是重要的。在最简单的实施例中,这是通过在计算机环境中转动该模型来执行的,以便可选地确定何时找出正确的透视图。在更先进的实施例中,存在转动和/或比例化模型直到它与拍片的目标相应的算法。在比较期间,使用来自拍片序列的一个或多个图象。比较来自胶片的图象和该模型的投影的一种方式是以可能补偿为目的,通过稍微转动该模型,从来自胶片的图象开始,然后对来自该胶片的多个图象继续进行该过程。将来自该胶片的图象与该模型的特定透视图比较的另一种方式是将该图象中的急转线与投影中该模型的轮廓进行比较。用相同的方式,可确定图象中较暗部分是否比另一部分向下更深些,以及有关光源位置的信息。这些比较产生指定的将获得的透视图,然后,锁定它以便确定为与拍片的实际目标的透视图相同。
对模拟装置的用户来说,现在有限的视频序列已经呈现为该模型的投影。因此,获得用于实践的十分逼真的环境。由于该模型位于胶片后并且该虚拟仪器实际上在该模型中操作,考虑到是从该模型而不是胶片提取深度效果,能实现完全真实感。在显示屏2上向用户呈现该胶片。
该模型及其通过视频序列的显像可构成用于与用户实际交互的基础。为与真实情形类似,使用进给装置3,该进给装置基本上与在实际手术中使用的相同。然而,是将其安装在台上并连接到用于检测运动的传感器。如在实际手术中一样,用户在与显示模型的显像相同的显示屏2上查看仪器的运动。将这些仪器描绘成好象它们与真实身体啮合时那样。差别在于屏幕2上的显像不是源自于腹腔镜摄象机,而是源自于在处理单元中创建的显像。于是该虚拟仪器与模型啮合,当该模型包含必要的数据时这允许功率反馈。当然,当真实仪器与真实目标啮合时,出现目标变化;例如,用刀切入导致目标中的切口。因此,这在表示摄象机正在拍摄什么的屏幕上的真实手术中示出。在优选实施例中,在显示给用户的透视图中已经可视地改变的模型中的区域创建再现部分。然后将这些叠加在视频序列上。为使再现部分反映目标的自然运动,必须创建刚好与视频序列中存在的图象一样多的再现部分。
为创建逼真环境,同样在该优选实施例中存在用于影响在屏幕2上如何可视化虚拟仪器3的装置。由于在被动画的计算机模型的每个时刻以三维完整地描述虚拟目标,因此能确定何时在虚拟仪器和虚拟目标之间发生碰撞。实际上,例如,当针尖将要刺入组织时,出现很明显的目标变形。通过找出该仪器与该目标接触的点以及确定变形来实现相同的效果。随后,在变形区域中以及从有关当拍摄视频序列时的光源的信息来确定新表面结构,可创建新图象。该图象位于该胶片上新一层中,并且通过使用能通过特定的3D卡获得的边界透明性,可以极其小的可视边界进行叠加。通过有关目标表面以及图象中深度情况的知识,能实现虚拟仪器的显像。因此,处理单元可了解虚拟仪器的哪些部分已经由位于该仪器前的目标的部分覆盖,或者如果仪器已经刺入目标其被覆盖的部分。
有利地,还能模拟包括整个外科过程或手术的课程形式。这是基于为模拟或形像化而准备的多个过程。当形像化时,使用在该部分开始处已提及的视频记录,这显示真实的拍片手术。
应当理解,在本发明的范围内,上述实施例的各种修改是可能的;例如,可在视频序列上的几层放置模型表面结构的变化的再现部分。这种修改和类似的修改应当被视为由附后权利要求书限定的本发明所包含。

Claims (11)

1、一种用于在由计算机单元提供的虚拟环境中,在身体目标,诸如器官上模拟外科手术过程的方法,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,由连接到所述处理单元的物理进给装置控制,其使得可影响所述模型,所述方法的特征在于包括步骤:
通过视频序列表示所述模型的二维投影,所述视频序列包含真实身体目标的记录视图,
和仅与所述模型交互作用的虚拟仪器啮合。
2、如权利要求1所述的方法,进一步包括步骤:
提供仅受所述虚拟仪器影响的所述模型的那些部分的再现表面;
将所述再现表面叠加在所述视频序列上。
3、如以上任何一个权利要求所述的方法,进一步包括步骤:
当记录所述视频序列时,测量光源相对于所述身体目标的位置,通过具有相同位置的光源使再现所述再现表面的步骤发生。
4、如以上任何一个权利要求所述的方法,其中所述视频序列由腹腔镜摄象机记录。
5、如以上任何一个权利要求所述的方法,其中所述视频序列是与在目标的初始状态期间真实目标的自然运动对应的循环。
6、如以上任何一个权利要求所述的方法,进一步包括步骤:
用腹腔镜摄象机,从相同的透视图拍摄真实身体目标,以及
从包含整个呼吸和脉博周期的所述记录胶片选择一个序列。
7、如以上任何一个权利要求所述的方法,进一步包括步骤:
确定所述虚拟仪器的哪些部分由所述虚拟目标完全或部分覆盖,以及
仅将未被所述虚拟仪器覆盖的部分放在具有所述视频序列的层的顶部。
8、如以上任何一个权利要求所述的方法,进一步包括步骤:
至少测量所述虚拟仪器的运动或与所述目标的交互作用中的一个参数,所述参数反映用户的技能。
9、如权利要求8所述的方法,其中被测量的参数与组织碰撞。
10、一种用于在由计算机单元提供的虚拟环境中模拟包含在身体目标,如器官上的多个外科过程的外科手术的方法,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,受连接到所述处理单元的物理进给装置控制,其使得可影响所述模型,所述方法的特征在于下列步骤:
通过视频序列表示所述模型的二维投影,所述视频序列包含真实身体目标的记录视图;
提供多个状态中的所述模型,所述多个状态反映手术过程中的多个不同阶段期间的该目标,
提供第一组多个视频序列,该第一组多个视频序列对应于各个状态期间真实目标的自然运动,
提供第二组多个视频序列,该第二组多个视频序列的每一个形像化表示所述目标如何从一种状态改变到另一种状态的外科手术过程,以及
允许用户以将所述目标从一个状态改变到另一状态为目的在模拟过程以及查看该过程的显像之间进行选择。
11、一种用于在由计算机单元提供的虚拟环境中,在身体目标,诸如器官上模拟外科过程的系统,所述环境包括:
所述身体目标的数学地描述的三维模型,其至少反映所述身体目标的几何和机械特性,以及
虚拟仪器,由连接到所述处理单元的物理进给装置控制,其使得可影响所述模型,所述系统的特征在于:
由视频序列表示的所述模型的二维投影,所述视频序列包含真实身体目标的记录视图,
和仅与所述模型交互作用的虚拟仪器的啮合。
CNB028040651A 2001-01-24 2002-01-15 模拟外科过程的方法和系统 Expired - Fee Related CN1226707C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0100184A SE518252C2 (sv) 2001-01-24 2001-01-24 Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment
SE01001841 2001-01-24

Publications (2)

Publication Number Publication Date
CN1488127A true CN1488127A (zh) 2004-04-07
CN1226707C CN1226707C (zh) 2005-11-09

Family

ID=20282701

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028040651A Expired - Fee Related CN1226707C (zh) 2001-01-24 2002-01-15 模拟外科过程的方法和系统

Country Status (10)

Country Link
US (1) US9153146B2 (zh)
EP (1) EP1354308A1 (zh)
JP (1) JP2004518175A (zh)
KR (1) KR20030083695A (zh)
CN (1) CN1226707C (zh)
AU (1) AU2002219760B2 (zh)
IL (1) IL157062A0 (zh)
NO (1) NO20033301L (zh)
SE (1) SE518252C2 (zh)
WO (1) WO2002059859A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337260C (zh) * 2005-06-23 2007-09-12 上海交通大学 多功能虚拟手术器械
CN101286188B (zh) * 2008-04-03 2010-06-02 深圳先进技术研究院 一种虚拟仿真系统中力觉反馈的计算方法
CN101404039B (zh) * 2008-03-28 2010-06-16 华南师范大学 一种虚拟手术的方法及其装置
CN102122450A (zh) * 2011-01-17 2011-07-13 东南大学 人工流产手术操作教学辅助装置
CN102117378B (zh) * 2009-12-31 2012-07-25 苏州瑞派宁科技有限公司 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统
CN103456225A (zh) * 2012-06-01 2013-12-18 苏州敏行医学信息技术有限公司 基于腹腔镜手术模拟系统的双手协调基础训练方法及系统
CN101627411B (zh) * 2007-01-16 2014-03-19 西姆博尼克斯有限公司 用于执行模拟的图像导引医疗过程的设备和方法
CN104200730A (zh) * 2014-09-09 2014-12-10 华中科技大学 一种用于虚拟腹腔镜手术的装置、方法及系统
CN104575215A (zh) * 2013-10-09 2015-04-29 郑夙芬 3d护理情境模拟数字学习系统
CN105096670A (zh) * 2014-05-23 2015-11-25 香港理工大学 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN105378819A (zh) * 2013-06-07 2016-03-02 外科科学瑞典有限公司 用于手术模拟系统的用户接口
CN108447333A (zh) * 2018-03-15 2018-08-24 四川大学华西医院 一种腔镜手术剪裁操作考核方法
CN109637252A (zh) * 2019-01-14 2019-04-16 晋城市人民医院 一种神经外科虚拟手术训练系统
CN110895895A (zh) * 2018-09-12 2020-03-20 北京大学 一种分段诊刮模拟手术的实时评价系统
CN112201131A (zh) * 2013-12-20 2021-01-08 直观外科手术操作公司 用于医疗程序培训的模拟器系统
CN114360349A (zh) * 2021-12-09 2022-04-15 深圳先进技术研究院 手术培训装置、系统及手术器械运动信息获取方法
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0202864D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Device and method for generating a virtual anatomic environment
EP1576566B1 (en) 2002-12-03 2018-06-13 Mentice AB An interventional simulator system
WO2004051601A1 (en) * 2002-12-03 2004-06-17 Mentice Ab An interventional simulator control system
SE0203567D0 (sv) 2002-12-03 2002-12-03 Mentice Ab An interventional simulator control system
SE525157C2 (sv) 2002-12-03 2004-12-14 Mentice Ab Simuleringssystem för invasiv kirurgi
US8924334B2 (en) 2004-08-13 2014-12-30 Cae Healthcare Inc. Method and system for generating a surgical training module
JP4607656B2 (ja) * 2005-05-06 2011-01-05 株式会社神戸製鋼所 細胞操作シミュレータ、シミュレーション方法及びプログラム
WO2007075026A1 (en) * 2005-12-27 2007-07-05 Samsung Electronics Co., Ltd Primers, probes, microarray, and method for specific detection of nine respiratory disease-associated bacterial species
GB2437763B (en) * 2006-10-05 2008-05-07 Hi Tec Medical Services Ltd Endotrainer
WO2008058039A1 (en) * 2006-11-06 2008-05-15 University Of Florida Research Foundation, Inc. Devices and methods for utilizing mechanical surgical devices in a virtual environment
AU2007342471B2 (en) * 2006-12-27 2012-05-31 Case Western Reserve University Situated simulation for training, education, and therapy
US8956165B2 (en) 2008-01-25 2015-02-17 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
KR101975808B1 (ko) * 2010-11-04 2019-08-28 더 존스 홉킨스 유니버시티 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
US10617478B1 (en) 2011-01-03 2020-04-14 Smith & Nephew Orthopedics AG Surgical implement selection process
KR101352293B1 (ko) * 2012-09-25 2014-01-23 최건 척추수술 시뮬레이션 시스템, 시뮬레이션 판단장치 및 그 판단방법
JP6794008B2 (ja) 2014-10-08 2020-12-02 インディアン カウンシル オブ メディカル リサーチ 神経内視鏡ボックストレーナー
WO2016112383A1 (en) 2015-01-10 2016-07-14 University Of Florida Research Foundation, Inc. Simulation features combining mixed reality and modular tracking
EP3463096A4 (en) * 2016-06-06 2020-02-12 EDDA Technology, Inc. METHOD AND SYSTEM FOR THE INTERACTIVE LAPAROSCOPIC ULTRASOUND-GUIDED ABLATION PLANNING AND SIMULATION OF SURGICAL PROCEDURES
WO2018118858A1 (en) 2016-12-19 2018-06-28 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
WO2019126863A1 (en) 2017-12-28 2019-07-04 Orbsurgical Ltd. Iviicrosurgery-specific haptic hand controller
KR20200022078A (ko) 2018-08-22 2020-03-03 장준영 가상 현실 의료 훈련 시스템
KR102594258B1 (ko) * 2021-04-26 2023-10-26 한국전자통신연구원 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4464123A (en) * 1982-07-06 1984-08-07 Critikon, Inc. Arm simulator for an oscillometric blood pressure monitor
US4907973A (en) * 1988-11-14 1990-03-13 Hon David C Expert system simulator for modeling realistic internal environments and performance
US5296379A (en) * 1990-03-23 1994-03-22 Peter Gorog Apparatus and method for modeling arterial thrombus formations
US5772442A (en) * 1992-05-13 1998-06-30 University Of Florida Research Foundation, Inc. Apparatus and method for simulating bronchial resistance or dilation
US5584701A (en) * 1992-05-13 1996-12-17 University Of Florida Research Foundation, Incorporated Self regulating lung for simulated medical procedures
US5769640A (en) 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
FR2719690B1 (fr) * 1994-05-04 1996-07-19 Lille Ii Universite Dispositif et procédé de simulation d'un examen ou d'une opération chirurgicale effectuée sur un organe simulé.
US5821920A (en) * 1994-07-14 1998-10-13 Immersion Human Interface Corporation Control input device for interfacing an elongated flexible object with a computer system
US5609485A (en) * 1994-10-03 1997-03-11 Medsim, Ltd. Medical reproduction system
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US5791907A (en) * 1996-03-08 1998-08-11 Ramshaw; Bruce J. Interactive medical training system
US5800179A (en) * 1996-07-23 1998-09-01 Medical Simulation Corporation System for training persons to perform minimally invasive surgical procedures
US6443974B1 (en) * 1996-07-28 2002-09-03 Biosense, Inc. Electromagnetic cardiac biostimulation
US6151009A (en) * 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6106301A (en) * 1996-09-04 2000-08-22 Ht Medical Systems, Inc. Interventional radiology interface apparatus and method
US6929481B1 (en) * 1996-09-04 2005-08-16 Immersion Medical, Inc. Interface device and method for interfacing instruments to medical procedure simulation systems
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
JPH10111958A (ja) 1996-10-04 1998-04-28 Olympus Optical Co Ltd コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法
US6061462A (en) * 1997-03-07 2000-05-09 Phoenix Licensing, Inc. Digital cartoon and animation process
US5945056A (en) * 1997-05-28 1999-08-31 Simutech Limited Method of making a surgical simulator
US5823787A (en) * 1997-09-17 1998-10-20 Medical Plastics Laboratory, Inc. Training mannequin for management of normal and abnormal airways
US6054992A (en) 1997-09-19 2000-04-25 Mitsubishi Electric Information Technology Center America, Inc. cutting, jointing and tearing volumetric objects
WO1999017265A1 (en) * 1997-09-26 1999-04-08 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
JP4063933B2 (ja) 1997-12-01 2008-03-19 オリンパス株式会社 手術シミュレーション装置
US5947744A (en) * 1998-01-21 1999-09-07 The Chinese University Of Hong Kong Training apparatus and method for coronary artery anastomoses featuring simulated pulsating heart
IL123073A0 (en) * 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US7191110B1 (en) * 1998-02-03 2007-03-13 University Of Illinois, Board Of Trustees Patient specific circulation model
JPH11219100A (ja) 1998-02-04 1999-08-10 Mitsubishi Electric Corp 医用シミュレータシステム
WO1999042978A1 (en) * 1998-02-19 1999-08-26 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
CA2333393C (en) * 1998-05-28 2007-08-07 Orthosoft Inc. Interactive computer-assisted surgical system and method thereof
US6074213A (en) * 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
EP1043959A4 (en) * 1998-11-03 2003-07-02 Shade Analyzing Technologies Inc INTERACTIVE DENTAL RESTAURATION NETWORK
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6234804B1 (en) * 1999-03-02 2001-05-22 Peter Yong Thoracic training model for endoscopic cardiac surgery
US6605053B1 (en) * 1999-09-10 2003-08-12 Percardia, Inc. Conduit designs and related methods for optimal flow control
US6544041B1 (en) * 1999-10-06 2003-04-08 Fonar Corporation Simulator for surgical procedures

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337260C (zh) * 2005-06-23 2007-09-12 上海交通大学 多功能虚拟手术器械
CN101627411B (zh) * 2007-01-16 2014-03-19 西姆博尼克斯有限公司 用于执行模拟的图像导引医疗过程的设备和方法
CN101404039B (zh) * 2008-03-28 2010-06-16 华南师范大学 一种虚拟手术的方法及其装置
CN101286188B (zh) * 2008-04-03 2010-06-02 深圳先进技术研究院 一种虚拟仿真系统中力觉反馈的计算方法
CN102117378B (zh) * 2009-12-31 2012-07-25 苏州瑞派宁科技有限公司 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统
CN102122450A (zh) * 2011-01-17 2011-07-13 东南大学 人工流产手术操作教学辅助装置
CN102122450B (zh) * 2011-01-17 2012-10-17 东南大学 人工流产手术操作教学辅助装置
CN103456225A (zh) * 2012-06-01 2013-12-18 苏州敏行医学信息技术有限公司 基于腹腔镜手术模拟系统的双手协调基础训练方法及系统
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
CN105378819A (zh) * 2013-06-07 2016-03-02 外科科学瑞典有限公司 用于手术模拟系统的用户接口
CN104575215A (zh) * 2013-10-09 2015-04-29 郑夙芬 3d护理情境模拟数字学习系统
CN112201131A (zh) * 2013-12-20 2021-01-08 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US11468791B2 (en) 2013-12-20 2022-10-11 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
CN105096670A (zh) * 2014-05-23 2015-11-25 香港理工大学 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN105096670B (zh) * 2014-05-23 2018-07-06 香港理工大学 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN104200730A (zh) * 2014-09-09 2014-12-10 华中科技大学 一种用于虚拟腹腔镜手术的装置、方法及系统
CN108447333A (zh) * 2018-03-15 2018-08-24 四川大学华西医院 一种腔镜手术剪裁操作考核方法
CN110895895A (zh) * 2018-09-12 2020-03-20 北京大学 一种分段诊刮模拟手术的实时评价系统
CN109637252A (zh) * 2019-01-14 2019-04-16 晋城市人民医院 一种神经外科虚拟手术训练系统
CN109637252B (zh) * 2019-01-14 2021-06-04 晋城市人民医院 一种神经外科虚拟手术训练系统
CN114360349A (zh) * 2021-12-09 2022-04-15 深圳先进技术研究院 手术培训装置、系统及手术器械运动信息获取方法

Also Published As

Publication number Publication date
AU2002219760B2 (en) 2004-06-17
NO20033301D0 (no) 2003-07-22
US9153146B2 (en) 2015-10-06
NO20033301L (no) 2003-07-22
IL157062A0 (en) 2004-02-08
US20060073454A1 (en) 2006-04-06
SE518252C2 (sv) 2002-09-17
EP1354308A1 (en) 2003-10-22
SE0100184L (sv) 2002-07-25
KR20030083695A (ko) 2003-10-30
CN1226707C (zh) 2005-11-09
JP2004518175A (ja) 2004-06-17
WO2002059859A8 (en) 2004-05-27
SE0100184D0 (sv) 2001-01-24
WO2002059859A1 (en) 2002-08-01

Similar Documents

Publication Publication Date Title
CN1226707C (zh) 模拟外科过程的方法和系统
Spitzer et al. The visible human dataset: the anatomical platform for human simulation
CN107822690B (zh) 具有不用手的控制的混合图像/场景再现器
US9396669B2 (en) Surgical procedure capture, modelling, and editing interactive playback
EP2538398B1 (en) System and method for transesophageal echocardiography simulations
AU2002219760A1 (en) Method and system for simulation of surgical procedures
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
Ra et al. Spine needle biopsy simulator using visual and force feedback
CN111613122A (zh) 虚实融合的血管介入手术模拟系统
CN107633531A (zh) 图像处理装置、图像处理方法以及计算机可读介质
US20100284594A1 (en) Method and Device for 3d-Navigation On Layers of Images
Fischer et al. Evaluation of different visualization techniques for perception-based alignment in medical ar
CN115298706A (zh) 用于在将合成元素应用于原始图像期间掩蔽所识别的对象的系统和方法
Müller et al. The virtual reality arthroscopy training simulator
Trier et al. The visible ear surgery simulator
Sundstedt et al. A systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments
Ziemek et al. Evaluating the effectiveness of orientation indicators with an awareness of individual differences
Porro et al. An integrated environment for plastic surgery support: building virtual patients, simulating interventions, and supporting intraoperative decisions
Mastrangelo Jr et al. Inclusion of 3-D computed tomography rendering and immersive VR in a third year medical student surgery curriculum
EP3789989A1 (en) Laparoscopic simulator
Clarke Depth perception using x-ray visualizations
CN114190922B (zh) Tms头动检测方法
US12033530B2 (en) Laparoscopic simulator
Goodyer et al. 3D visualization of cardiac anatomical MRI data with para-cellular resolution
Blezek et al. Anesthesiology training using 3D imaging and virtual reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051109

Termination date: 20190115

CF01 Termination of patent right due to non-payment of annual fee