CN112602157A - 用于仿真医疗程序的混合仿真模型 - Google Patents

用于仿真医疗程序的混合仿真模型 Download PDF

Info

Publication number
CN112602157A
CN112602157A CN201980054244.9A CN201980054244A CN112602157A CN 112602157 A CN112602157 A CN 112602157A CN 201980054244 A CN201980054244 A CN 201980054244A CN 112602157 A CN112602157 A CN 112602157A
Authority
CN
China
Prior art keywords
simulation
patient
medical procedure
model
hybrid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054244.9A
Other languages
English (en)
Inventor
P·V·乌帕德拉斯塔
J·周
M·Q-M·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN112602157A publication Critical patent/CN112602157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)

Abstract

一种用于仿真要对患者执行的医疗程序的方法和装置。接收特定于要对其执行医疗程序的患者的患者特定数据。使用患者特定数据修改通用模型，以生成针对患者定制的混合仿真模型。使用混合仿真模型以及与医疗程序或患者中的至少一个相对应的动态仿真信息来执行医疗程序的仿真。针对患者和医疗程序两者定制仿真。

Description

用于仿真医疗程序的混合仿真模型
相关申请的交叉引用
本申请要求2018年6月25日提交的美国临时申请62/689,584的权益，该申请通过整体引用并入本文。
技术领域
本公开涉及用于仿真微创医疗程序的医疗程序和方法。更具体地，本公开涉及用于提供已经针对特定患者和要对患者执行的特定医疗程序定制的混合仿真模型的系统和方法。
背景技术
微创医疗技术旨在减少在诊断或手术程序中受损的体外组织的量，从而减少患者的恢复时间、不适和有害的副作用。这样的微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可以包括成像器械，诸如内窥镜器械，其向用户提供患者解剖体内的视场。
一些微创医疗工具可以是远距操作的，或者是远程操作的，或者是计算机辅助的。远距操作系统附近的临床医生可能需要在利用远距操作系统执行医疗程序之前、期间或之后，以指令、警告、确认等形式接收指导。需要用于改善生成用于仿真医疗程序的仿真模型的过程的系统和方法。
发明内容
随附的权利要求书概括了本发明的实施例。
在实施例中，提供了一种用于仿真要对患者执行的医疗程序的方法。接收特定于要对其执行医疗程序的患者的患者特定数据。使用患者特定数据修改通用模型，以生成针对患者定制的混合仿真模型。使用混合仿真模型以及与医疗程序或患者中的至少一个相对应的动态仿真信息来执行医疗程序的仿真。针对患者和医疗程序两者定制仿真。
在另一实施例中，一种仿真系统包括计算机系统，该计算机系统被配置为接收特定于要对其执行医疗程序的患者的患者特定数据；使用患者特定数据修改通用模型，以生成针对患者定制的混合仿真模型。计算机系统被配置为使用混合仿真模型以及与医疗程序或患者中的至少一个相对应的动态仿真信息来执行医疗程序的仿真，其中针对患者和医疗程序两者定制仿真。
在又一实施例中，提供了一种用于仿真要对患者执行的医疗程序的方法。接收患者的人体测量数据和患者诊断数据。从数据库系统中选择代表性患者的通用模型。基于人体测量数据和患者诊断数据修改通用模型，以生成针对患者定制的混合仿真模型。使用混合仿真模型以及与医疗程序或患者中的至少一个相对应的动态仿真信息来执行医疗程序的仿真。针对患者和医疗程序两者定制仿真。仿真考虑了患者的解剖结构与医疗程序中使用的器械之间的仿真的相互作用的影响。仿真动态地适应于医疗程序的每个步骤，使得在每个步骤中与医疗程序相互作用的患者解剖体的一部分以较高的保真度水平渲染。
应该理解的是，前面的一般描述和下面的详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而并不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
当结合附图阅读时，根据以下详细描述可以最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了讨论的清楚，各种特征的尺寸可以任意增加或减小。另外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据实施例的医疗系统的示意图。
图1B是根据实施例的装配件的透视图。
图1C是根据实施例的用于医疗系统的外科医生的控制台的透视图。
图2是根据实施例的仿真系统的框图，该仿真系统用于仿真要对患者执行的医疗程序。
图3是图示说明根据实施例的可以在数据库系统中找到的不同类型的通用数据的框图。
图4是图示说明根据实施例的可以在数据库系统中找到的不同类型的患者特定数据的框图。
图5是图示说明根据实施例的不同类型的动态仿真信息的框图。
图6是根据实施例的用于仿真要对患者执行的医疗程序的方法的流程图图示。
图7是根据实施例的用于生成混合仿真模型的方法的流程图图示，该混合仿真模型用于仿真要对患者执行的医疗程序。
图8是根据实施例的用于使用混合仿真模型运行医疗程序的仿真的方法的流程图图示。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中说明的实施例，并且将使用特定语言来描述这些实施例。然而，将理解的是，并不旨在限制本公开的范围。在本发明各方面的以下详细描述中，阐述了许多具体细节，以提供对所公开实施例的透彻理解。然而，如本领域技术人员将理解的，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地掩盖本发明的实施例的各方面。
如本公开所涉及的领域中的技术人员通常会想到的，对本公开的原理的所描述的设备、器械、方法的任何改变和进一步的修改以及对本公开的原理的任何进一步的应用都是可以充分考虑的。特别地，充分考虑到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤结合。另外，本文提供的尺寸用于具体示例，并且可以预期的是，可以利用不同的尺寸、大小和/或比率来实现本公开的概念。为了避免不必要的描述性重复，可以根据其他说明性实施例的适用来使用或省略根据一个说明性实施例描述的一个或多个部件或动作。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在某些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
下面的实施例将根据各种器械和器械的部分在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“定位”是指物体或物体的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)中的位置。如本文所使用的，术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度-例如，滚动、俯仰和偏航)。如本文所使用的，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的定位以及该物体或物体的一部分在至少一个旋转自由度(最多六个总自由度)中的定向。
现在参考附图，附图1包括图1A、图1B和图1C，它们一起提供了可以在例如包括诊断、治疗或手术程序的医疗程序中使用的医疗系统10的示意概述。医疗系统10位于手术环境11中。在一个或多个实施例中，医疗系统10可以是在外科医生的远距操作控制下的远距操作医疗系统。在替代实施例中，医疗系统10可以在被编程为执行医疗程序或子程序的计算机的部分控制下。在其他替代实施例中，医疗系统10可以是完全自动化的医疗系统，其在被编程为利用医疗系统10执行医疗程序或子程序的计算机的完全控制下。可以用于实施本公开中描述的系统和技术的医疗系统10的一个示例是由加利福尼亚州桑尼维尔(Sunnyvale,California)的直观外科手术操作公司(Intuitive Surgical,Inc)制造的da
Figure BDA0002944247370000041
手术系统。
如图1A所示，医疗系统10通常包括装配件12，该装配件12可以安装到患者P所位于的手术台O上或定位到手术台O附近。装配件12可以被称为患者侧推车、手术推车或手术机器人。在一个或多个实施例中，装配件12可以是远距操作装配件。远距操作装配件可以被称为例如远距操作臂推车。医疗器械系统14和内窥镜成像系统15可操作地耦合至装配件12。操作员输入系统16允许外科医生或其他类型的临床医生S查看手术部位的图像或表示手术部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。
医疗器械系统14可以包括一个或多个医疗器械。在医疗器械系统14包括多个医疗器械的实施例中，多个医疗器械可以包括多个相同的医疗器械和/或多个不同的医疗器械。类似地，内窥镜成像系统15可以包括一个或多个内窥镜。在多个内窥镜的情况下，多个内窥镜可以包括多个相同的内窥镜和/或多个不同的内窥镜。
操作员输入系统16可以包括外科医生的控制台，并且可以与手术台O位于同一房间。在一些实施例中，外科医生S和操作员输入系统16可以位于与患者P不同的房间内或完全不同的建筑物内。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制设备。(一个或多个)控制设备可以包括多种输入设备中的任意数量一种或多种，诸如手柄、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手动控制器、语音识别设备、触摸屏、人体运动或存在传感器以及其他类型的输入设备。
在一些实施例中，将向(一个或多个)控制设备提供与医疗器械系统14的(一个或多个)医疗器械相同的自由度，以为外科医生提供(一个或多个)控制设备与器械是一体的感知的远程呈现，使得外科医生具有强烈的直接控制器械的感觉，就像在手术部位处一样。在其他实施例中，(一个或多个)控制设备可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，(一个或多个)控制设备是手动输入设备，其以六个自由度移动并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓紧钳口末端执行器、向电极施加电势、提供药物治疗以及致动其他类型的器械)。
当外科医生S通过操作员输入系统16观察手术部位时，装配件12支撑并操纵医疗器械系统14。可以通过内窥镜成像系统15获得手术部位的图像，内窥镜成像系统15可以由装配件12操纵。装配件12可以包括内窥镜成像系统15，并且同样也可以包括多个医疗器械系统14。一次使用的医疗器械系统14的数量通常将取决于要执行的诊断或手术程序以及手术室内的空间限制等因素。装配件12可以包括一个或多个非伺服控制的链路的运动学结构(例如，可手动定位并锁定在适当位置的一个或多个链路，通常称为安装结构)和操纵器。当操纵器采用远距操作操纵器的形式时，装配件12是远距操作装配件。装配件12包括驱动医疗器械系统14上的输入的多个马达。在实施例中，这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，该驱动系统在耦合到医疗器械系统14上时可以使医疗器械前进到自然地或手术产生的解剖学孔口中。其他电动驱动系统可以在多个自由度上移动医疗器械的远端，该多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔轴旋转)。另外，马达可以用于致动医疗器械的可关节移动(articulable)的末端执行器，以抓紧活检设备等的钳口中的组织。医疗器械系统14的医疗器械可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀、光纤或电极。其他末端执行器可以包括，例如，钳子、抓紧器、剪刀或施夹器。
医疗系统10还包括控制系统20。控制系统20包括：至少一个存储器24和至少一个处理器22，以用于在医疗器械系统14、操作员输入系统16和其他辅助系统26之间实现控制；以及其他辅助系统26，其包括例如成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。临床医生C可以在手术环境11内循环，并且可以在设置程序期间访问例如装配件12或从患者床边查看辅助系统26的显示。
尽管在图1A中控制系统20被描绘为在装配件12的外部，但在一些实施例中，控制系统20可以完全被包含在装配件12内。控制系统20还包括编程的指令(例如，存储在非暂时性计算机可读介质上)以实现根据本文公开的各方面描述的方法的一些或全部。尽管在图1A的简化示意图中将控制系统20显示为单个框，但是控制系统20可以包括两个或更多个数据处理电路，其中处理的一部分可选地在装配件12上或在装配件12附近执行，处理的另一部分在操作员输入系统16上执行等。
可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，被编程的指令可以被实现为多个分开的程序或子例程，或者它们可以被集成到本文所述的系统的许多其他方面中，包括远距操作系统。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。
控制系统20与数据库27通信，该数据库27可以存储一个或多个临床医生档案、患者和患者档案的列表、要对患者执行的程序的列表、计划执行所述程序的临床医生的列表、其他信息或其组合。临床医生档案可以包括关于临床医生的信息，包括临床医生在医疗领域工作了多长时间、临床医生获得的教育水平、临床医生对医疗系统10(或类似系统)的经验水平或其任何组合。
数据库27可以被存储在存储器24中并且可以被动态地更新。附加地或替代地，数据库27可以存储在诸如服务器或便携式存储设备的设备上，该设备可以由控制系统20经由内部网络(例如，医疗设施或远距操作系统提供商的安全网络)或外部网络(例如因特网)访问。数据库27可以分布在两个或更多位置。例如，数据库27可以存在于可以包括不同实体和/或云服务器的设备的多个设备上。附加地或替代地，数据库27可以存储在便携式用户分配的设备上，诸如计算机、移动设备、智能电话、膝上型计算机、电子徽章、平板电脑、寻呼机和其他类似的用户设备。
在一些实施例中，控制系统20可以包括一个或多个伺服控制器，该一个或多个伺服控制器从医疗器械系统14接收力和/或扭矩反馈。响应于反馈，伺服控制器将信号传输到操作员输入系统16。(一个或多个)伺服控制器还可以传输信号，以指示装配件12移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15，该医疗器械系统14和/或内窥镜成像系统15经由体内的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与装配件12分离或与装配件12集成。在一些实施例中，伺服控制器和装配件12被提供为定位在患者身体附近的远距操作臂推车的一部分。
控制系统20可以与内窥镜成像系统15耦合，并且可以包括处理器以处理捕获的图像以用于随后的显示，例如显示给外科医生的控制台上的外科医生，或者显示在位于本地和/或远程的其他合适的显示器上。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向外科医生呈现手术部位的协调的立体图像。这样的协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
在替代实施例中，医疗系统10可以包括一个以上的装配件12和/或一个以上的操作员输入系统16。装配件12的确切数量将取决于手术程序和手术室内的空间限制以及其他因素。可以将操作员输入系统16并置，或者可以将它们定位在分开的位置中。多个操作员输入系统16允许一个以上的操作员以各种组合控制一个或多个装配件12。
医疗系统10还可以用于训练和演练医疗程序。例如，医疗系统10可以与下面在图2中描述的仿真系统200结合使用，仿真系统200仿真将要对患者执行的一种或多种医疗程序。
图1B是装配件12的一个实施例的透视图，该装配件12可以被称为患者侧推车、手术推车、远距操作臂推车或手术机器人。所示的装配件12提供了对三个手术工具30a、30b、30c(例如，医疗器械系统14)和成像设备28(例如，内窥镜成像系统15)的操纵，该成像设备例如是用于捕获手术部位的图像的立体内窥镜。成像设备可以通过缆线56将信号传输到控制系统20。通过具有多个关节的远距操作机构来提供操纵。成像设备28和手术工具30a-30c可以通过患者中的切口被定位和操纵，从而将运动学远程中心保持在切口处以最小化切口的大小。当手术工具30a-30c的远端被定位在成像设备28的视场内时，手术部位的图像可以包括手术工具30a-30c的远端的图像。
装配件12包括可驱动的基座58。可驱动的基座58连接到伸缩柱57，伸缩柱57允许调整臂54的高度。臂54可以包括既旋转又向上和向下移动的旋转关节55。每个臂54可以连接到定向平台53。臂54可以被标记以促进故障排除。例如，每个臂54可以装饰有不同的数字、字母、符号、其他标识符或其组合。在图1B中，臂54从1到4编号。定向平台53可以能够旋转360度。装配件12还可以包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。
在本示例中，每个臂54连接到机械臂51。机械臂51可以直接连接到医疗器械，例如手术工具30a-30c中的一个。机械臂51可以是可远距操作的。在一些示例中，连接到定向平台53的臂54可能不可远距操作。而是，这些臂54可以在外科医生S开始用远距操作的部件进行操作之前根据需要定位。在整个手术程序中，医疗器械可能会被取下并用其他器械替代，使得器械与臂的关联在程序期间可能改变。
内窥镜成像系统(例如，内窥镜成像系统15和成像设备28)可以以包括刚性或柔性内窥镜的各种配置来提供。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一根或多根柔性光纤传输图像。基于数字图像的内窥镜具有“尖端芯片”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖体的立体图像。内窥镜器械可以是完全可消毒的装配件，其内窥镜缆线、手柄和轴都被牢固地耦合并且被气密密封。
图1C是操作员输入系统16的实施例的透视图，该操作员输入系统16可以被称为外科医生的控制台。操作员输入系统16包括用于向外科医生S呈现能够进行深度感知的手术环境的协调立体图的左眼显示器32和右眼显示器34。操作员输入系统16还包括一个或多个输入控制设备36，该一个或多个输入控制设备36又使装配件12操纵内窥镜成像系统15和/或医疗器械系统14的一个或多个器械。输入控制设备36可以提供与它们相关联的器械相同的自由度，以为外科医生S提供远程呈现，或者输入控制设备36与所述器械是一体的感知，从而使外科医生具有直接控制器械的强烈感觉。为此，可以采用位置传感器、力传感器和触觉反馈传感器(未示出)，以将来自医疗器械(例如，手术工具30a-30c或成像设备28)的位置、力和触觉通过输入控制设备36传输回外科医生的手。输入控制设备37是从用户的脚接收输入的脚踏板。操作员输入系统16、装配件12和辅助系统26的各方面可以是可调整的和可定制的，以满足外科医生S的身体需要、技能水平或偏好。
图2是仿真系统200的框图，该仿真系统200用于在医疗训练环境205中仿真对患者203(例如，患者P)执行的医疗程序202。在一个或多个实施例中，医疗程序202将在手术环境(例如，图1A中的手术环境11)中执行。
仿真系统200包括计算机系统204。计算机系统204可以包括单个计算机或彼此通信的多个计算机。计算机系统204可以包括至少一个处理器206。处理器206可以用于运行存储在存储器中的可执行代码以仿真医疗程序202。在一个实施例中，仿真系统200与图1中描述的控制系统20分离。在其他实施例中，仿真系统200可以被实施为控制系统20的一部分。在其他实施例中，可以使用图1中的控制系统20的处理器22来实施仿真系统200的处理器206。
在一个或多个实施例中，仿真系统200还包括耦合至处理器206的显示系统208。在其他实施例中，显示系统208可被认为与仿真系统200分离。显示系统208可以包括通信地耦合至处理器206的一个或多个显示设备。在一个或多个实施例中，显示系统208可以耦合至操作员输入系统16的外科医生的控制台。
仿真系统200创建混合仿真模型210，该混合仿真模型210将通用医疗数据212(例如，代表性患者的医疗数据)与患者203的患者特定数据214相集成，并且然后基于在医疗程序202的仿真(即虚拟现实仿真)期间改变的信息或参数，动态修改混合仿真模型210。生成混合仿真模型210的该过程减少了生成仿真模型所需的总时间、精力和处理资源。
仿真系统200可以从数据库系统218中检索通用医疗数据212。数据库系统218可以包括一个或多个数据库。通用医疗数据212包括不特定于特定患者203的信息。例如，通用医疗数据212可以包括关于医疗程序202的通用信息和/或关于代表性患者或代表性患者组的信息。在一个或多个实施例中，通用医疗数据212包括代表性患者或代表性患者组的通用模型219。在下面的图3中描述了可以从数据库系统218中检索的不同类型的通用医疗数据212的示例。在一个或多个实施例中，仿真系统200接收包括特定于特定患者203的信息的患者特定数据214。在下面的图4中描述了不同类型的患者特定数据214的示例。
仿真系统200将通用医疗数据212和患者特定数据214集成以生成为患者203定制的混合仿真模型210。在一个或多个实施例中，仿真系统200使用患者特定数据214以针对患者203的患者解剖体222中的感兴趣区域修改、增强或以其他方式细化通用医疗数据212。作为一个示例，患者特定数据214可以用于缩放和/或变形(morph)通用模型219。此外，可以使用患者特定数据214修改表示、邻近和/或涉及医疗程序202所指向的目标区域集224的通用模型219的部分。
目标区域集224可以包括例如患者203的患者解剖体222的一个或多个患病解剖结构。解剖结构可以包括例如器官、器官系统、肌肉、神经、动脉、静脉、骨骼、骨骼结构、韧带、某些其他类型的解剖结构或组织中的一个或多个或其组合。通过仅修改表示、邻近和/或涉及目标区域集224的通用模型219的部分，仿真系统200减少了生成为患者203定制的混合仿真模型210所需的总时间、精力和处理资源。
在一个或多个实施例中，由于通用医疗数据212与患者特定数据214的集成，混合仿真模型210用变化的保真度水平表示患者203的患者解剖体222。例如，在混合仿真模型210中用特定保真度水平表示患者解剖体222的每个解剖结构。保真度水平指示在混合仿真模型210中的建模的解剖结构与患者203的对应实际解剖结构的实际几何形状和属性相匹配的准确程度。
在一些实施例中，混合仿真模型210用保真度水平的梯度226表示患者203的患者解剖体222。例如，建模的解剖结构的保真度水平可以随着距医疗程序202的操作路径的距离的增加而减小。操作路径可以是例如用于执行医疗程序202的手术路径、程序路径或相对于患者解剖体222的一些其他路径(外部的路径和/或内部的路径)。当在图1中描述的医疗系统10将用于执行医疗程序202时，手术路径可以包括例如相对于患者203的患者解剖体222的路径，在医疗程序202期间，每个臂54和构成在图1A和图1B中描述的装配件12的医疗器械系统14的每个手术器械和工具将遵循该路径。
例如，在混合仿真模型210中的目标区域集224的表示具有比表示在医疗程序202期间将不会受到影响或不与其相互作用的解剖结构的混合仿真模型210的部分的(一个或多个)保真度水平更高的保真度水平。如果医疗程序202是心脏手术程序，则目标区域集224可以包括患者203的心脏以及心脏周围的区域。然而，心脏手术程序可能永远不会涉及患者203的四肢。因此，在混合仿真模型210中，四肢可以以比心脏甚至在患者203的胸腔内的其他解剖结构更低的保真度水平来表示。在某些情况下，患者203腹部的解剖结构将以比四肢更高的保真度水平但与心脏相比更低的保真度水平相比来表示。
由仿真系统200生成的所得混合仿真模型210可以用于运行对患者203执行的医疗程序202的高度定制的高质量仿真。例如，仿真系统200可以使用混合仿真模型210和对应于医疗程序202或患者203中的至少一个的动态仿真信息230执行医疗程序202的仿真228。仿真228可以是动态仿真。动态仿真信息230可以包括关于患者203和/或患者解剖体222将如何受到医疗程序202的影响的信息，以及关于在医疗程序202的仿真期间不保持静态的医疗程序202的其他信息。下面在图5中描述了动态仿真信息230的示例。
仿真228可以在显示系统208上渲染，使得外科医生、手术团队的成员或其他医疗人员可以使用仿真228来演练医疗程序202。因为使用混合仿真模型210和动态仿真信息230来执行医疗程序202的仿真228，所以与针对患者203使用通用模型219运行的仿真相比，仿真228在表示医疗程序202将如何针对特定患者203进行时提供了更高的整体保真度水平。
可以在例如图1A中的环境11中执行仿真228，以针对医疗程序202来演练或以其他方式训练。在一个或多个实施例中，可以使用例如图1中的医疗系统10来执行仿真228。例如，可以使用操作员输入系统16、装配件12或两者来执行仿真228。操作员输入系统16可以包括单外科医生控制台或双外科医生控制台。
当运行仿真228时，仿真228使用动态仿真信息230来考虑患者解剖体222的解剖结构与用于执行医疗程序202的器械之间的仿真的相互作用的影响。因此，仿真系统200使用动态仿真信息230对混合仿真模型210进行动态缩放或变形，以使仿真228提供的体验与实际医疗程序202更加相似。这种类型的仿真228允许外科医生或其他医疗人员以更高的真实感来演练医疗程序202。然而，因为混合仿真模型210是从使用患者特定数据214定制的通用医疗数据212开始生成的，所以与生成以最高保真度水平捕获患者203的整个患者解剖体222的模型相比，生成混合仿真模型210花费的总时间、精力和处理资源减少了。
图3是图示说明可以在数据库系统218中找到的不同类型的通用医疗数据212的框图。数据库系统218可以包括例如程序库300、通用模型库302和疾病状态库304。这三个库中的每一个都可以使用一个或多个数据库或其他类型的数据存储库来实施。
程序库300可以存储与一个或多个医疗程序有关的信息，包括在图2中描述的要对患者203执行的医疗程序202。在一个示例实施例中，程序库300存储医疗程序202的程序信息306。程序信息306识别医疗程序202的各个阶段和/或步骤。程序信息306可以例如但不限于识别：已知与要通过医疗程序202进行手术处理的一个或多个患病解剖结构相邻的解剖结构、在执行医疗程序202时医疗器械应遵循的手术路径、在将要做出术中决定的关键解剖标志、在医疗程序期间预期在沿手术路径的各种解剖结构上花费的时间长度或时间范围以及有关医疗程序202的其他类型的信息。
通用模型库302存储表示代表性患者的解剖体的一个或多个通用模型。在一个或多个实施例中，通用模型库302存储用于第一代表性患者组的第一通用模型和用于第二代表性患者组的第二通用模型。第一代表性患者组可以是健康女性，而第二代表性患者组可以是健康男性。在其他实施例中，通用模型库302存储用于第一代表性患者组的第一多个通用模型和用于第二代表性患者组的第二多个通用模型。第一多个通用模型可以包括按比例缩放至普通女性人体测量的通用模型，而第二多个通用模型可以包括按比例缩放至普通男性人体测量的通用模型。例如，第一多个通用模型可以包括用于健康女性的某个身高和体重类别的一个通用模型、用于健康女性的另一个身高和体重类别的另一个通用模型，以及用于健康女性的又一个身高和体重类别的又一个通用模型。
因此，通用模型库302存储可以由附图中用于生成混合仿真模型210的仿真系统检索的通用的、仿真就绪的模型。存储在通用模型库302中的通用模型中的任何一个可以通过仿真系统200检索并用作通用模型219，随后如图2所述的使用患者特定数据214对通用模型219进行修改。
在一个或多个实施例中，疾病状态库304存储关于任何数量的解剖结构在受各种类型的疾病状态折磨时的属性的信息。例如，疾病状态库304可以存储关于受一种疾病折磨的心脏的材料属性的信息以及关于受另一种疾病折磨的心脏的材料属性的信息。
图4是图示说明不同类型的患者特定数据214的框图。患者特定数据214可以包括例如特定于图2中描述的患者203的人体测量数据400和患者诊断数据402。用于患者203的人体测量数据400包括用于评估患者203的大小、形状和组成的数据或测量结果。人体测量数据400可以包括但不限于例如：身高测量结果404、体重测量结果406、解剖标志测量结果408、身体质量指数(BMI)测量结果410、腰臀比412、皮肤皱褶测试数据414、生物电阻抗数据416、一些其他类型的人体测量结果、或其组合。解剖标志测量结果408可以包括例如患者203的患者解剖体222的关键骨骼或其他解剖标志之间的距离的测量结果。图2中的仿真系统200可以使用人体测量数据400来生成缩放因子，该缩放因子可以应用于从图3中的通用模型库302中检索出的代表性患者的通用模型，从而为患者203定制通用模型。
患者诊断数据402包括关于患者203的特定解剖结构的信息。在一个或多个实施例中，患者诊断信息包括关于医疗程序202所指向的图2中目标区域集224的几何形状的信息，以及关于邻近于或功能上涉及目标区域集224中的每一个的一个或多个解剖结构的几何形状的信息。例如，患者诊断数据402可以包括术前成像数据418、身体检查数据420和/或提供有关目标区域集224(以及，在一些情况下，邻近于或功能上涉及目标区域集224中的每一个的解剖结构)的信息的其他类型的诊断信息。术前成像数据418可以包括但不限于例如超声图像、x射线图像、医疗共振成像(MRI)图像、计算机断层摄影(CT)图像或其他类型的成像数据。身体检查数据420可以包括关于患者解剖体222的可以从例如患者203的观察、触诊、叩诊和听诊中收集的信息。图2中的仿真系统200可以使用患者诊断数据402来修改可以从图3中的通用模型库302中检索的代表性患者的通用模型中的解剖结构的几何形状和/或其他类型的属性，从而为患者203定制通用模型。
图5是图示说明不同类型的动态仿真信息230的框图。动态仿真信息230包括关于在使用混合仿真模型210运行的医疗程序202的仿真220期间预期改变的一个或多个参数的信息。例如，动态仿真信息230可以包括生理参数数据500、器械定位信息502、视场信息504、患者姿势信息506以及其他类型的信息。在一个或多个实施例中，图2的仿真系统200使用在仿真228期间的器械定位信息502、视场信息504和患者姿势信息506来在仿真228期间动态地调整混合仿真模型210的渲染或呈现，以改善仿真228的准确性和真实性。
生理参数数据500包括用于在医疗程序202期间可能改变或预期改变的多个生理参数的数据。尤其是，生理参数数据500包括关于患者203体内的解剖结构应如何观看并且如何响应于这些解剖结构与器械之间的仿真的相互作用和/或用于执行医疗程序202的药剂的信息。例如，在医疗程序202的仿真228期间，抽吸、冲洗、阻抗式心动描记以及作为医疗程序202的一部分执行的其他步骤或程序的仿真的影响可以导致多个生理参数的仿真的改变。多个生理参数可以包括，例如但不限于，动脉和静脉压力、呼吸速率、吹入压力、对能量应用的组织响应、与一种或多种器械物理接触的组织响应和/或其他类型的生理参数。图2的仿真系统200可以使用生理参数数据500来确保医疗程序202的仿真228考虑到生理参数的仿真的改变。例如，仿真系统200可以使用生理参数数据500以便以考虑了生理参数的仿真的改变的方式，在仿真228期间动态地调整混合仿真模型210在显示系统208上的渲染。更具体地，仿真系统200可以调整混合仿真模型210的可视化以考虑这些仿真的改变。
器械定位信息502包括关于在医疗程序202的过程中器械(例如，图1中的医疗器械系统14的器械、牵开器、内窥镜、手术刀、吸管、冲洗管、激光设备、抓紧工具等)的定位可以如何改变或预期改变的信息。作为一个示例，器械定位信息502可以包括关于在医疗程序202期间内窥镜(例如图1中的内窥镜成像系统15)的定位如何预期移动或改变的信息。仿真系统200可以使用器械定位信息502以便以考虑了内窥镜的定位的这些改变的方式，在仿真228期间动态地调整混合仿真模型210在显示系统208上的渲染。
类似地，仿真系统200可以使用视场信息504以便以考虑了一个或多个视场或视角的改变的方式，在仿真228期间动态地调整混合仿真模型210在显示系统208上的渲染。视场信息504包括关于一个或多个不同视场的信息。例如，视场信息504可以包括基于器械的视场信息、基于视觉的视场信息、一些其他类型的视场或视角信息或其组合。
基于器械的视场信息可以包括例如关于外科医生或其他医疗人员在一个或多个成像器械(诸如内窥镜、相机等)的视场中可以实际看到什么样的解剖结构的信息。例如，视场信息504可以包括关于在医疗程序202的仿真期间，在成像器械移动时成像器械的定位和成像器械的视场的计算的信息。基于视觉的视场信息包括来自外科医生或其他临床医生的视角的信息。例如，视场信息可以是来自外科医生或其他临床医生在医疗程序202期间将可视的视角。
患者姿势信息506包括关于在医疗程序202期间患者203的定位和/或定向可以如何改变的信息。在一些实施例中，通过在医疗程序202期间的床位、手术台或患者203定位于其上的其他类型的结构的定位和/或定向来确定患者203的定位和/或定向。患者姿势信息506可以包括关于重力如何基于患者203的定位和/或定向来影响患者203的信息。例如，患者姿势信息506可以包括关于在医疗程序202期间患者203的定位和/或定向可能导致一个或多个解剖结构变形的信息。仿真系统200可以使用患者姿势信息506以便以考虑了患者203的姿势的这些改变的方式，在仿真228期间动态地调整混合仿真模型210在显示系统208上的渲染。
图6是用于仿真要对患者执行的医疗程序的方法600的流程图图示。在一个或多个实施例中，将在手术环境(诸如图1的手术环境11)中执行医疗程序。方法600在图6中图示说明为一组操作或过程602至608，并且继续参考图2-图5进行描述。并非所有图示说明的过程602至608都可以在方法600的所有实施例中被执行。另外，在图6中未明确图示说明的一个或多个过程可以被包括在过程602至608之前、之后、之间或作为过程602至608一部分。在一些实施例中，过程602至608中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实施，该可执行代码在由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程602处，接收特定于要对其执行医疗程序202的患者203的患者特定数据214。患者特定数据214可以包括例如人体测量数据400、患者诊断数据402或两者的组合。
在过程604处，使用患者特定数据214修改代表性患者的通用模型219，以生成针对患者203定制的混合仿真模型210。可以从数据库系统218中检索通用模型219。尤其是，在一个实施例中，可以从通用模型库302中检索通用模型219。取决于患者203的性别，通用模型219可以是健康女性或男性的解剖体的模型。在一个或多个实施例中，所选择使用的通用模型219可以表示具有与患者203共同的人体测量结果或者在患者203的选定范围内的人体测量结果的健康女性或男性的解剖体。
在一个或多个实施例中，修改通用模型219包括基于接收的患者特定数据214，沿着要沿其执行医疗程序202的操作路径来修改通用模型219中的多个解剖结构中的每一个解剖结构的表示，从而生成混合仿真模型210。在一些实施例中，在过程604中使用患者特定数据214对通用模型219的修改包括基于人体测量数据400缩放和/或变形通用模型219。此外，修改可以包括基于患者诊断数据402来调整通用模型219的一个或多个部分。例如，如果术前成像数据418指示患者203肝脏肿大并且要执行的医疗程序202涉及在对该肝脏执行活组织检查时，可以修改通用模型219使得通用模型219中的肝脏的表示被相应地放大。以这种方式，针对患者203定制了通用模型219的该部分。因此，可以基于医疗程序202所指向的目标区域集224来定制通用模型219。
在过程606处，使用混合仿真模型210以及与医疗程序202或患者203中的至少一个相对应的动态仿真信息230来执行医疗程序202的仿真228。在一个或多个实施例中，执行仿真228包括使用混合仿真模型210和在医疗程序202期间将与患者203相互作用的器械的仿真(或计算机化)版本来运行仿真228。在其他实施例中，执行仿真228可以包括外科医生、手术团队的成员或其他医疗人员使用图1中描述的医疗系统10与混合仿真模型210相互作用，从而训练或演练医疗程序202。
在过程606中的仿真228期间，动态仿真信息230用于以高于混合仿真模型210的第二部分的保真度水平的保真度水平来渲染混合仿真模型210的第一部分，混合仿真模型210的第一部分表示患者203的与医疗程序202相互作用的患者解剖体222，混合仿真模型210的第二部分表示在医疗程序202的任何步骤处均不与医疗程序202相互作用的患者解剖体222。在一个或多个实施例中，执行仿真228包括使用混合仿真模型210和动态仿真信息230动态地仿真医疗程序202，使得以保真度水平的梯度226来表示患者203的患者解剖体222。例如，在混合仿真模型210中的解剖结构的保真度水平可以随着距医疗程序202的手术路径的距离增加而在仿真期间降低。
执行仿真228可以包括使用患者姿势信息506来调整混合仿真模型210中的患者解剖体222的一个或多个解剖结构如何响应于仿真228期间对患者203的姿势的预期改变而变形。执行仿真228还可以包括基于动态仿真信息230在仿真228期间调整混合仿真模型210的可视化，以考虑解剖结构与器械之间的仿真的相互作用的影响。这些器械可以包括任意数量的手动控制的器械、机器人控制的器械或两者。
例如，仿真系统200可以考虑在医疗程序202期间一个或多个器械的定位的改变可以如何影响混合仿真模型210中沿手术路径的患者解剖体222的部分。仿真系统200可以使用该器械定位信息502来调整混合仿真模型210在显示系统208上的渲染，以帮助正在演练医疗程序202的外科医生或临床医生。仿真系统200还可以使用视场信息504以调整混合仿真模型210的渲染。在一些实施例中，仿真系统200可以基于器械的定位实际修改或重新创建混合仿真模型210的一个或多个部分。
因此，针对患者203和要对患者203执行的医疗程序202定制使用混合仿真模型210的仿真228。仿真228使混合仿真模型210动态地适应于医疗程序202的每个步骤或阶段，使得在每个步骤与医疗程序202相互作用的患者解剖体222的部分以比患者解剖体222的其他部分更高的保真度水平来渲染。这种类型的仿真228提供了具有期望的准确度水平的要对患者203执行的医疗程序202的表示。
图7是用于生成混合仿真模型的方法700的流程图图示，该混合仿真模型用于仿真要对患者执行的医疗程序。在一个或多个实施例中，医疗程序将在手术环境(诸如图1的手术环境11)中执行。方法700在图7中被图示说明为一组操作或过程702至716并且继续参考图2至图5进行描述。
此外，相比于上面图6中描述的方法600，图7中图示说明的方法700可以是用于生成混合仿真模型的更详细的方法。并非所有图示说明的过程702至716都可以在方法700的所有实施例中被执行。另外，在图7中未明确图示说明的一个或多个过程可以被包括在过程702至716之前、之后、之间或作为过程702至716的一部分。在一些实施例中，过程702至716中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实施，可执行代码在由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程702处，在仿真系统200处接收人体测量数据400和患者诊断数据402。在过程704处，基于接收的人体测量数据400选择代表性患者的通用模型219。例如，可以选择与患者203相同性别且相同身高和体重类别的代表性患者的通用模型219。在过程706处，基于人体测量数据400对通用模型219进行缩放和/或变形。该缩放和/或变形可以是基于患者203的精确身高和体重、患者203的身体质量指数和/或患者203的其他测量结果，对通用模型219的进一步细化。
在过程708处，基于关于要对患者203执行的医疗程序202的程序信息306，识别手术路径和沿着该手术路径的多个解剖结构。在过程710出，基于所接收的患者诊断数据402来修改沿手术路径的多个解剖结构中的每一个的表示，从而完成混合仿真模型210。因此，通过将通用信息与相关的患者特定信息进行组合来生成混合仿真模型210。
在过程712处，使用混合仿真模型210和动态仿真信息230运行要对患者203执行的医疗程序202的仿真228。例如，外科医生可以使用图1中描述的医疗系统10来仿真利用混合仿真模型210执行医疗程序202。在仿真228期间，仿真系统200使用动态仿真信息230来调整混合仿真模型210在显示系统208上的可视化或渲染以考虑患者203的解剖结构与医疗程序202中使用的器械和/或药剂之间的仿真的相互作用的影响。仿真228动态地适应于医疗程序202的每个步骤，使得在医疗程序202的每个步骤中与医疗程序202相互作用的患者203的患者解剖体222的部分以较高的保真度水平渲染。
在一个或多个示例实施例中，混合仿真模型210可以关于在医疗程序202的仿真228期间以更高保真度渲染什么内容是“智能”的。例如，在医疗程序202的仿真期间，可以根据需要在运行中将较高的保真度渲染应用于与器械、内窥镜、其他药剂(例如，抽吸、冲洗等)和/或重力动态相互作用的解剖结构。通过这种方法，当外科医生执行初始解剖步骤(例如放下膀胱)时，可能不需要以高保真度渲染患病的解剖结构(例如前列腺)。
在其他实施例中，混合仿真模型210可以允许仿真228以较低保真度渲染开始。随着仿真228的进行，混合仿真模型210的对应部分的渲染将基于正在仿真的医疗程序202的步骤或阶段“移(snap)”到适当的保真度水平。在一些实施例中，在医疗程序的仿真228期间，每当器械、药剂或重力与解剖结构相互作用时，混合仿真模型210将能够为任何相关的解剖结构提供期望的保真度水平。
在过程714处，基于医疗程序202的仿真228计算仿真数据。可以在仿真228期间、仿真228完成之后或两者计算可以是反馈数据的仿真数据。仿真数据可以包括关于仿真228本身的信息以及患者特定的术中数据。例如，仿真数据可以包括关于医疗程序202的仿真228如何与医疗程序202的预期性能和结果进行比较的数据。例如，仿真数据可以包括关于仿真228的效率的数据、仿真228的成功的测量结果、关于医疗程序202的每个步骤花费的时间的数据、关于医疗系统10与患者解剖体222之间的仿真的相互作用的数据、关于与患者姿势信息506相比在仿真228期间患者姿势的改变对患者解剖体222的仿真的影响的数据、其他类型的数据或它们的组合。
在一些实施例中，仿真数据包括可以用于术前计划的信息。作为一个示例，仿真数据可以用于改善医疗器械选择、改善医疗器械校准、改善医疗程序202之前的患者准备或其组合，从而增加医疗程序202的程序效率或操作效率。
在过程716处，使用所计算的仿真数据来修改混合仿真模型210，以形成更新后的混合仿真模型210。更新后的混合仿真模型210可以允许以比第一仿真228更高的保真度运行第二仿真228。在一些实施例中，在过程716处，基于用户输入来修改混合仿真模型210。在过程718处，基于所计算的仿真数据来修改动态仿真信息230，以形成更新后的动态仿真信息230。该更新后的动态仿真信息230考虑了仿真228的结果，以提供可以用于动态地调整医疗程序202的另一仿真的更新后的信息。在一些实施例中，在过程718处，基于用户输入来修改动态仿真信息230。
在过程720处，使用更新后的混合仿真模型210和更新后的动态仿真信息230执行医疗程序202的新仿真。使用更新后的混合仿真模型210和更新后的动态仿真信息230执行新仿真可以向患者203和医疗程序202两者提供更精细的定制水平。
在一些实施例中，过程714至720可以重复多次以进一步细化和定制混合仿真模型210。过程714至720可以重复任意次数，直到已经生成了具有期望的细化和总体保真度水平以及定制的混合仿真模型210的期望版本为止。在仿真228的多次运行中生成的仿真数据可以用作患者特定的术中指导数据。例如，该仿真数据可以用于生成指令，以控制医疗系统10对患者203实际执行医疗程序202。
在一些实施例中，仿真数据可以被馈送到学习算法或学习程序中，以用于提供关于如何改善医疗程序202的信息。仿真数据可以提供关于如果在医疗程序202期间被执行则将导致不太理想的结果的动作的有用信息。在一个或多个实施例中，仿真数据可以用于识别在医疗程序202期间要执行的动作的最佳集合和/或序列，以允许最佳可能的结果。在一些实施例中，仿真数据可以用于帮助训练其他外科医生或临床医生。
图8是用于使用混合仿真模型来运行医疗程序的仿真的方法的流程图图示。在一个或多个实施例中，医疗程序将在手术环境(诸如图1的手术环境11)中执行。方法800在图8中被图示说明为一组操作或过程802至806，并且继续参考图2至图5进行描述。
此外，图8中图示说明的方法800可以是用于如上面图7的过程712中所描述的运行医疗程序的仿真的更详细的方法。并非所有图示说明的过程802至806都可以在方法800的所有实施例中被执行。另外，在图8中未明确图示说明的一个或多个过程可以被包括在过程802至806之前、之后、之间或作为过程802至806的一部分。在一些实施例中，过程802至806中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实施，该可执行代码在由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程802处，渲染混合仿真模型210以在显示系统208上提供混合仿真模型210的可视化。混合仿真模型210的该可视化可以包括混合仿真模型210的一个或多个不同视图。例如，可视化可以包括关于患者解剖体222的一个或多个外部视图、关于患者解剖体222的一个或多个内部视图或其组合。
在过程804处，在医疗程序202的仿真228期间检测输入。该输入可以包括任意数量的输入。例如，输入可以包括下列项中的至少一个：用户输入、从用于执行仿真228的图1A的医疗系统10接收的系统输入、从图2中描述的仿真系统200接收的输入或一些其他类型的输入。可以从任何数量的输入设备或系统接收用户输入。例如，可以经由显示系统208、触摸屏、手势识别系统、基于凝视的识别系统、基于语音的识别系统、增强或虚拟现实系统、键盘、操纵杆、一个或多个触摸控件、鼠标、一些其他类型的输入设备或其任意组合来接收用户输入。在某些情况下，可以从操作员输入系统16接收用户输入。
在一个或多个实施例中，从医疗系统10接收的系统输入可以包括来自装配件12的任何数量的输入或输入组合。例如，可以从医疗器械系统14、内窥镜成像系统15或其组合接收系统输入。在一个或多个实施例中，来自仿真系统200的输入可以包括从动态仿真信息230中选择的输入(例如，动态仿真信息230中包括的参数的值)、来自混合仿真模型210的输入或两者。
在过程806处，使用输入来更新混合仿真模型210和动态仿真信息230。在一个或多个实施例中，更新混合仿真模型210可以包括修改混合仿真模型210的一部分、重新创建混合仿真模型210的一部分或两者。在一些实施例中，更新动态仿真信息230可以包括更新动态仿真信息230中包括的一个或多个参数的值。例如，在过程804处检测到的输入可以表示图1B中所示的手术工具30b的仿真的移动。该移动可以是例如手术工具30b在患者解剖体222内的更深的插入。该输入可以用于例如更新图5中描述的器械定位信息502。可以使用任何数量或类型的算法来执行混合仿真模型210和动态仿真信息230的更新。
在过程808处，基于更新后的混合仿真模型210和更新后的动态仿真信息230来控制医疗程序202的仿真228期间的混合仿真模型210的可视化。在一些实施例中，控制混合仿真模型210的可视化意味着可视化没有改变。例如，更新后的混合仿真模型210和更新后的动态仿真信息230可以不要求改变混合仿真模型210的可视化。
在一个或多个实施例中，控制混合仿真模型210的可视化，以便以沿着医疗程序202的操作路径(例如，手术路径)用提供最高保真度水平的方式来渲染更新后的混合仿真模型210。作为一个示例，更新后的器械定位信息502可以使混合仿真模型210的被显示的部分改变。例如，与在过程804处接收输入之前的保真度水平相比，对应于患者解剖体222内的更深位置的混合仿真模型210的部分可以以更高的保真度水平显示和渲染。
在一个或多个实施例中，仿真系统200允许基于与医疗程序202的当前步骤和/或(一个或多个)下一步骤相关的或相对应的更新后的动态仿真信息230来使混合仿真模型210的渲染适应。例如，当仿真228处于医疗程序202中的当前步骤时，仿真系统200可以使用动态仿真信息230做出有关如何在一个或多个后续步骤中渲染或可视化混合仿真模型210的预测。因此，一旦达到那些步骤，仿真系统200就能够更快且更有效地渲染与一个或多个下一步骤相对应的混合仿真模型210的部分。
在可选过程810处，可以可选地使用输出系统提供反馈。输出系统可以包括例如显示系统208、音频设备、触觉反馈系统、照明系统或其组合。音频设备可以包括但不限于例如扬声器系统、耳机、(一个或多个)耳塞、一些其他类型的音频设备或其组合。可以提供反馈以在仿真228期间帮助用户(例如，外科医生或其他临床医生)。例如，音频反馈可以用于指示何时到达患者解剖体222内的不可通过的边界或何时混合仿真模型210和/或动态仿真信息230指示正在经历或将要经历不利影响或反应。在一些情况下，触觉反馈可以用于在仿真228期间提供更真实的体验。例如，触觉反馈可以用于仿真与患者解剖体222内的硬化块的接触。
在某些情况下，在过程810处，视觉反馈可以包括用于执行医疗程序202的当前步骤和/或下一步骤的文本详细指令。在一些实施例中，视觉反馈包括标签、距离信息、定位信息、仿真的生理参数信息或其他类型的信息。距离信息可以包括例如但不限于探针的尖端与患者203的组织之间的距离。定位信息可以包括例如但不限于患者的姿势、器械或工具的定位或一些其他类型的定位信息。仿真的生理参数信息可以包括例如仿真的体温、仿真的血压、仿真的心率、仿真的脑电波或一些其他类型的仿真的生理参数值。
因此，实施例提供了用于生成在仿真医疗程序202中使用的针对患者203和要对患者203执行的医疗程序202而定制的混合仿真模型210的仿真系统200和过程。混合仿真模型210部分从患者特定数据214创建，并且部分从代表性患者的通用模型219创建。在一个或多个实施例中，患者特定数据214可以用于缩放通用模型219，并且仅使通用模型219中将与用于执行医疗程序202的器械和/或药剂以及重力相互作用或受该器械和/或药剂以及重力影响的感兴趣区域变形。此外，可以基于从运行医疗程序202的仿真获得的动态仿真信息230来动态地调整混合仿真模型210。所得的混合仿真模型210使得能够执行医疗程序202的高保真度虚拟现实仿真。与以高保真度捕获患者解剖体222的整体的模型相比，仅关注将与医疗程序202的器械和/或药剂相互作用或受器械和/或药剂影响的患者203的患者解剖体222的解剖结构的这种类型的混合仿真模型210可以具有减小的尺寸。此外，这种类型的混合仿真模型210可以增加用于执行医疗程序202的训练仿真可以被运行和存储的效率。
本发明的实施例中的一个或多个元件可以以软件实现以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，该程序或代码段可以通过在传输介质或通信链路上以载波形式体现的计算机数据信号来下载。处理器可读存储设备可以包括可以存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备的示例包括电子电路；半导体设备、半导体存储设备、只读存储器(ROM)、闪存、可擦可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储设备。可以经由计算机网络(例如因特网、内部网等)下载代码段。
注意，所呈现的过程和显示可能并非固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的要素出现。另外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出了本发明的某些示例性实施例，但是应该理解，这样的实施例仅是示例性的，而不是限制本发明，并且由于本领域普通技术人员可以进行各种其他修改，因此本发明的实施例不限于所示出和描述的具体构造和布置。

Claims (28)

1.一种用于仿真要对患者执行的医疗程序的方法，所述方法包括：
接收特定于要对其执行所述医疗程序的所述患者的患者特定数据；
使用所述患者特定数据修改通用模型，以生成针对所述患者定制的混合仿真模型；以及
使用所述混合仿真模型以及与所述医疗程序或所述患者中的至少一个相对应的动态仿真信息来执行所述医疗程序的仿真，其中针对所述患者和所述医疗程序两者定制所述仿真。
2.根据权利要求1所述的方法，其中执行所述仿真包括：
以高于所述混合仿真模型的第二部分的保真度水平的保真度水平，渲染所述混合仿真模型的第一部分，所述第一部分表示所述患者的与所述医疗程序相互作用的患者解剖体，所述第二部分表示在所述医疗程序的任何步骤中均不与所述医疗程序相互作用的患者解剖体。
3.根据权利要求1所述的方法，其中执行所述仿真包括：
使用所述混合仿真模型和所述动态仿真信息动态地仿真所述医疗程序，以使所述患者的患者解剖体以保真度水平的梯度表示，其中随着距所述医疗程序的手术路径的距离的增加，在所述仿真期间所述混合仿真模型中的解剖结构的保真度水平降低。
4.根据权利要求1所述的方法，其中执行所述仿真包括：
基于所述动态仿真信息，在所述仿真期间调整所述混合仿真模型的可视化，以考虑解剖结构与器械之间的仿真的相互作用的影响。
5.根据权利要求1所述的方法，其中执行所述仿真包括：
渲染所述混合仿真模型以在显示系统上提供所述混合仿真模型的可视化；
在所述仿真期间接收输入；以及
基于所述输入更新所述混合仿真模型和所述动态仿真信息。
6.根据权利要求5所述的方法，其中执行所述仿真还包括：
基于更新后的混合仿真模型和更新后的动态仿真信息，在所述医疗程序的所述仿真期间控制所述混合仿真模型的所述可视化。
7.根据权利要求1所述的方法，其中所述动态仿真信息包括生理参数数据、器械定位信息、视场信息和患者姿势信息。
8.根据权利要求1所述的方法，其中所述患者特定数据包括患者诊断数据，其包括术前成像数据、身体检查数据、目标区域集的几何形状或与所述目标区域集相邻的解剖结构的几何形状中的至少一个。
9.根据权利要求1所述的方法，其中所述患者特定数据包括人体测量数据，其包括身高测量结果、体重测量结果和解剖标志测量结果。
10.根据权利要求1所述的方法，其还包括：
从数据库系统中选择所述通用模型，其中所述通用模型是代表性患者或代表性患者组的通用模型。
11.根据权利要求1所述的方法，其中所述通用模型是具有在所述患者的选定范围内的人体测量结果的代表性患者的通用模型。
12.根据权利要求1所述的方法，其中执行所述仿真包括：
在所述医疗程序的所述仿真期间，响应于对所述患者的姿势的改变而调整所述患者的患者解剖体的一个或多个解剖结构如何变形。
13.根据权利要求1所述的方法，其中执行所述仿真包括：
在所述仿真期间调整所述混合仿真模型的可视化以表示成像器械的定位相对于所述患者的患者解剖体的一个或多个解剖结构的改变。
14.根据权利要求1所述的方法，其还包括：
基于所述医疗程序的所述仿真来计算仿真数据。
15.根据权利要求14所述的方法，其还包括：
基于所计算的仿真数据修改所述混合仿真模型，以形成更新后的混合仿真模型；以及
基于所计算的仿真数据修改所述动态仿真信息，以形成更新后的动态仿真信息。
16.根据权利要求15所述的方法，其还包括：
使用所述更新后的混合仿真模型和所述更新后的动态仿真信息执行所述医疗程序的新仿真。
17.根据权利要求1所述的方法，其中使用所述患者特定数据来修改所述通用模型包括：
基于接收到的所述患者特定数据，沿着要沿其执行所述医疗程序的手术路径修改所述通用模型中多个解剖结构中的每一个解剖结构的表示，从而生成所述混合仿真模型。
18.一种仿真系统，其包括：
处理器，其被配置为：
接收特定于要对其执行医疗程序的患者的患者特定数据；
使用所述患者特定数据修改通用模型，以生成针对所述患者定制的混合仿真模型；并且
使用所述混合仿真模型以及与所述医疗程序或所述患者中的至少一个相对应的动态仿真信息来执行所述医疗程序的仿真，其中针对所述患者和所述医疗程序两者定制所述仿真。
19.根据权利要求18所述的仿真系统，其中所述处理器进一步被配置为使用所述混合仿真模型和所述动态仿真信息来动态地仿真所述医疗程序，以用保真度水平的梯度来表示所述患者的患者解剖体，并且其中随着距所述医疗程序的手术路径的距离增加，在所述仿真期间所述混合仿真模型中的解剖结构的保真度水平降低。
20.根据权利要求18所述的仿真系统，其中所述处理器进一步被配置为基于所述动态仿真信息，在所述仿真期间调整所述混合仿真模型的可视化，以考虑解剖结构与所述医疗程序中使用的器械之间的仿真的相互作用的影响。
21.根据权利要求18所述的仿真系统，其中所述动态仿真信息包括生理参数数据、器械定位信息、视场信息和患者姿势信息。
22.根据权利要求18所述的仿真系统，其中所述患者特定数据包括患者诊断数据，其包括术前成像数据、身体检查数据、目标区域集的几何形状或与所述目标区域集相邻的解剖结构的几何形状中的至少一个。
23.根据权利要求18所述的仿真系统，其中所述患者特定数据包括人体测量数据，其包括身高测量结果、体重测量结果和解剖标志测量结果。
24.根据权利要求18所述的仿真系统，其中所述处理器进一步被配置为从数据库系统检索所述通用模型，并且其中所述通用模型是代表性患者或代表性患者组的通用模型。
25.根据权利要求18所述的仿真系统，其中所述通用模型是具有在所述患者的选定范围内的人体测量结果的代表性患者的通用模型。
26.根据权利要求18所述的仿真系统，其中所述处理器进一步被配置为在所述医疗程序的所述仿真期间，响应于对患者床的姿势的改变而调整所述患者的患者解剖体的一个或多个解剖结构如何变形。
27.根据权利要求18所述的仿真系统，其中所述处理器进一步被配置为在所述医疗程序的所述仿真期间调整所述混合仿真模型的可视化，以表示内窥镜的位置相对于所述患者的患者解剖体的一个或多个解剖结构的改变。
28.一种用于仿真要对患者执行的医疗程序的方法，所述方法包括：
接收所述患者的人体测量数据和患者诊断数据；
从数据库系统中选择代表性患者的通用模型；
基于所述人体测量数据和所述患者诊断数据修改所述通用模型，以生成针对所述患者定制的混合仿真模型；以及
使用所述混合仿真模型以及与所述医疗程序或所述患者中的至少一个相对应的动态仿真信息来执行所述医疗程序的仿真，
其中针对所述患者和所述医疗程序两者定制所述仿真；
其中所述仿真考虑所述患者的解剖结构与所述医疗程序中使用的器械之间的仿真的相互作用的影响；并且
其中所述仿真动态地适应于所述医疗程序中的每一个步骤，使得在所述医疗程序中的所述每一个步骤处与所述医疗程序相互作用的所述患者的患者解剖体的一部分以较高的保真度水平渲染。
CN201980054244.9A 2018-06-25 2019-06-25 用于仿真医疗程序的混合仿真模型 Pending CN112602157A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862689584P 2018-06-25 2018-06-25
US62/689,584 2018-06-25
PCT/US2019/038911 WO2020005890A1 (en) 2018-06-25 2019-06-25 Hybrid simulation model for simulating medical procedures

Publications (1)

Publication Number Publication Date
CN112602157A true CN112602157A (zh) 2021-04-02

Family

ID=67185797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054244.9A Pending CN112602157A (zh) 2018-06-25 2019-06-25 用于仿真医疗程序的混合仿真模型

Country Status (4)

Country Link
US (1) US20210259776A1 (zh)
EP (1) EP3811378A1 (zh)
CN (1) CN112602157A (zh)
WO (1) WO2020005890A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4333682A1 (en) * 2021-05-06 2024-03-13 Covidien LP Endoscope navigation system with updating anatomy model
CN115040241A (zh) * 2022-08-15 2022-09-13 湖南医科医工科技有限公司 一种病变区术前定位系统
WO2024040077A1 (en) * 2022-08-15 2024-02-22 Dasisimulations Llc Interactive planner for repair or replacement surgery
WO2024089503A1 (en) * 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346811A (zh) * 2010-07-21 2012-02-08 西门子公司 用于对心脏进行特定于患者的综合性建模的方法和系统
CN106714656A (zh) * 2014-07-28 2017-05-24 直观外科手术操作公司 用于术中分割的系统和方法
US20170312031A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346811A (zh) * 2010-07-21 2012-02-08 西门子公司 用于对心脏进行特定于患者的综合性建模的方法和系统
CN106714656A (zh) * 2014-07-28 2017-05-24 直观外科手术操作公司 用于术中分割的系统和方法
US20170312031A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单丽君: "脊柱手术机器人的设计和仿真", 大连交通大学学报, vol. 39, no. 2, pages 69 - 73 *

Also Published As

Publication number Publication date
WO2020005890A1 (en) 2020-01-02
EP3811378A1 (en) 2021-04-28
US20210259776A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
US20230215007A1 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US20230218356A1 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
Taylor et al. Medical robotics and computer-integrated surgery
US20230389999A1 (en) Systems and methods for onscreen menus in a teleoperational medical system
US20220249193A1 (en) Systems and methods for presenting augmented reality in a display of a teleoperational system
US20210259776A1 (en) Hybrid simulation model for simulating medical procedures
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
Vitiello et al. Introduction to robot-assisted minimally invasive surgery (MIS)
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
US20200246084A1 (en) Systems and methods for rendering alerts in a display of a teleoperational system
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
US20240029858A1 (en) Systems and methods for generating and evaluating a medical procedure
US20230414307A1 (en) Systems and methods for remote mentoring
US20210068799A1 (en) Method and apparatus for manipulating tissue
WO2023052881A1 (en) Real-time 3d robotic status
Falk et al. Robotics in Cardiac Surgery: Basic Principles
Taylor et al. Medical Robo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination