CN112201131B - 用于医疗程序培训的模拟器系统 - Google Patents

用于医疗程序培训的模拟器系统 Download PDF

Info

Publication number
CN112201131B
CN112201131B CN202011072053.6A CN202011072053A CN112201131B CN 112201131 B CN112201131 B CN 112201131B CN 202011072053 A CN202011072053 A CN 202011072053A CN 112201131 B CN112201131 B CN 112201131B
Authority
CN
China
Prior art keywords
simulation
simulated
procedure
surgical
preparation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011072053.6A
Other languages
English (en)
Other versions
CN112201131A (zh
Inventor
A·M·杰瑞科
J·周
B·E·米列尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN112201131A publication Critical patent/CN112201131A/zh
Application granted granted Critical
Publication of CN112201131B publication Critical patent/CN112201131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Manipulator (AREA)
  • Instructional Devices (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)

Abstract

实施方式涉及用于医疗程序培训的医疗模拟。在一些实施方式中,系统包括模拟处理部件,模拟处理部件包括至少一个处理器并且使用位置信号生成虚拟环境,该位置信号描述物理外科器械相对于物理外科部位的位置和配置中的至少一个。模拟处理部件根据位置信号的变化和根据对应于系统的用户的输入的控制信号来更新虚拟环境。更新包括在虚拟环境内移动虚拟外科器械,其中虚拟外科器械与虚拟外科部位的相互作用由物理外科器械与物理外科部位之间的物理关系至少部分限定。模拟处理部件输出指示虚拟环境的当前状态的模拟状态信号的表示。

Description

用于医疗程序培训的模拟器系统
本申请是于2014年12月19日提交的名称为“用于医疗程序培训的模拟器系统”的中国专利申请2014800760760(PCT/US2014/071521)的分案申请。
技术领域
公开的特征涉及医疗培训设备和方法,并且更具体地涉及用于培训微创外科程序和技术的医疗培训设备和方法。
背景技术
作用于患者的医疗程序能够涉及由一个或多个医疗人员进行的各种不同的任务。一些医疗程序是使用一个或多个装置(包括遥控医疗装置)执行的微创外科程序。在一些这类系统中,外科医生经由操控台操作控制装置,该操控台远程地且精确地控制与患者相互作用的外科器械以执行外科手术和其它程序。在一些系统中,系统的各种其它部件也能够被用于执行程序。例如,外科器械能够被提供在靠近患者或在患者之上定位的分离器械装置或推车上,并且视频输出装置以及其它设备和装置能够被提供在一个或多个附加单元上。
已经开发出在遥控医疗系统的使用中提供某些类型的培训的系统。例如,模拟器单元能够被耦接到外科医生操控台而不是实际的其它系统部件,从而向外科医生提供执行程序的模拟。通过这类系统,外科医生能够学习模拟的器械如何响应操控台控制装置的操纵。
然而,外科医生和各种其它人员在医疗程序期间可以在遥控医疗系统的其它部件上执行任务。例如,助理可以将器械单元的遥控臂和器械移动和定位到正确位置,这能够对程序产生显著影响。助理在程序期间也能够快速发现所需信息是有益的。
此外,将由外科医生和助理对这类任务的培训和执行进行量化是有益的,从而使这类人员能够追踪进程和改进执行。
发明内容
本申请的实施方式涉及用于医疗程序培训的医疗模拟。在一些示例实施方式中,系统包括模拟处理部件,所述模拟处理部件包括至少一个处理器并且使用位置信号生成虚拟环境,所述位置信号描述物理外科器械相对于物理外科部位的位置和配置中的至少一个。所述模拟处理部件根据所述位置信号的变化并且根据对应于所述系统的用户的输入的控制信号来更新所述虚拟环境。所述虚拟环境的更新包含在所述虚拟环境内移动虚拟外科器械,其中所述虚拟外科器械与所述虚拟环境的虚拟外科部位的相互作用由所述物理外科器械与所述物理外科部位之间的物理关系至少部分地限定。所述模拟处理部件输出指示所述虚拟环境的当前状态的模拟状态信号的表示。各种实施方式能够包括虚拟器械、解剖模型、控制操控台、显示装置、可遥控医疗装置和/或其它变体。
在一些示例实施方式中,一种方法包括通过使用模拟处理部件来协调模拟的医疗程序,并且在所述模拟的医疗程序期间接收位置信号,所述位置信号基于由至少一个受训者移动的可遥控医疗装置的元件的一个或更多个位置。所述元件相对于物理外科部位是物理可定位的,以便执行所述模拟的医疗程序。基于所述位置信号确定模拟状态信号,其中所述模拟状态信号指示所述模拟的医疗程序的当前状态,所述模拟状态信号包括来自所述可遥控医疗装置的位置信号的集成。所述模拟状态信号被发送到至少一个输出装置,至少一个输出装置可操作以输出所述模拟状态信号的表示。所述方法的各种实施方式能够包括在用于由受训者所执行的准备/设置(setup)任务的模拟的准备程序中和/或在所述模拟的准备程序之后的模拟的外科手术中接收所述位置信号、向执行任务的至少一个受训者输出实时反馈信息以及其它变体。
在一些示例实施方式中,一种方法包括在模拟的医疗程序中接收指示一个或更多个物理外科器械相对于物理模拟的外科部位的位置的位置信号。基于所述位置信号更新虚拟环境,其中所述虚拟环境实现对应于所述物理外科部位的虚拟外科部位。控制信号从控制操控台被接收并且指示由用户进行的控制操控台的一个或更多个输入控制装置的操纵。所述方法基于所述控制信号更新所述虚拟环境,所述更新包括在所述虚拟环境内移动一个或更多个虚拟外科器械。所述虚拟器械与所述虚拟外科部位的相互作用基于所述一个或更多个物理外科器械相对于所述物理外科部位的位置。模拟状态信号被输出到至少一个输出装置以引起所述模拟状态信号的表示的输出,其中所述模拟状态信号指示所述虚拟环境的当前状态。所述方法的各种实施方式能够包括物理外科器械被耦接到遥控医疗装置的关联操纵器臂,或物理外科器械相对于物理解剖模型由一个或更多个用户手动操作以及其它变体。
附图说明
图1是根据一些实施方式的包括遥控医疗系统的示例模拟系统的图解说明;
图2是图示说明与模拟系统的其它部件通信的模拟处理部件的示例的框图;
图3是根据本文所述的一种或多种实施方式图示说明用于提供模拟的准备程序的示例方法的流程图;
图4是根据本文所述的一种或多种实施方式图示说明用于提供模拟的外科手术的示例方法的流程图;
图5是能够用于自动评价模拟的医疗程序的示例系统的各方面的图解说明;
图6A和图6B是能够被显示在模拟系统的一个或更多个显示屏上的培训图像屏幕的示例;
图7A示出包括本文所述的若干部件的示例的一个示例模拟系统;
图7B示出图7A的外科医生操控台上所提供的示例显示屏;
图8是示例遥控医疗装置和解剖模型的透视图;
图9A示出包括本文所述的若干部件的示例的另一个示例模拟系统;
图9B示出图9A的外科医生操控台上所提供的示例显示屏;
图10A到图10C图示说明与解剖模型内的追踪器械有关的示例;
图11A和图11B是在模拟的医疗程序中使用解剖模型的一个示例的图解说明,该模拟的医疗程序包括使用遥控外科器械和手动外科器械两者;
图12是图示说明使用关于图11A到图11B的解剖模型的示例方法的流程图;
图13A和图13B是在模拟的医疗程序中使用解剖模型的第二示例的图解说明,该模拟的医疗程序包括使用手动外科器械;以及
图14是图示说明使用关于图13A到图13B的解剖模型的示例方法的流程图。
具体实施方式
本申请公开关于模拟的外科程序和培训训练的特征。模拟系统和方法的各种公开的实施方式提供和教导用于定位、放置特定外科程序的模拟设备的现实准备程序,以及提供和教导实际外科手术的这类设备的现实使用。模拟能够涉及在实际医疗程序的每个阶段中涉及的一些部件或所有部件,并且能够涉及在这类程序中的任何人员,从而提供高度现实的培训。在所有这些模拟的医疗程序期间执行的各种任务能够被记录和评价,其中提供关于执行的合适反馈,从而允许高度分析程序的细节,以及对医疗程序的每个功能,使受训者能够更有效地改进其技能。本文描述的各种模拟特征能够允许用户学习和实践,并且能够允许量化用户执行和追踪用户进程。
使用遥控医疗系统描述一些实施方式,诸如由加利福尼亚州Sunnyvale的Intuitive Surgical,Inc.商售的da
Figure BDA0002715296390000041
外科系统(例如,作为da
Figure BDA0002715296390000042
SiTM HDTM外科系统销售的型号IS3000)。然而,本领域技术人员将会理解本文公开的特征可以以各种方式被呈现和实施,包括遥控和(如果适用)非遥控(例如,手动)实施例和实施方式。da
Figure BDA0002715296390000043
外科系统(例如,型号IS3000;作为da
Figure BDA0002715296390000044
STM HDTM外科系统商售的型号IS2000)的实施方式仅是示例性的并且不被视为限制本文所公开的发明方面的范围。
在本文中,“准备程序”或“外科准备程序”指配置系统部件以执行一个或更多个稍后的外科手术的准备任务。“外科手术”或“外科部位程序”指包括在外科部位处的外科任务的实际外科手术。“模拟的医疗程序”或“模拟的外科程序”能够指包括准备程序和外科手术的整个模拟的程序,或能够仅包括准备程序或外科手术。术语“遥控医疗系统”指用于使用一个或更多个主控制器装置和一个或更多个从动遥控医疗装置执行外科程序的一个或更多个部件的系统。“遥控医疗装置”能够是由远程主装置控制的从动装置,并且能够包括一个或更多个元件(诸如操纵器臂和/或外科器械),响应于由一个或更多个主控制器装置(诸如由用户从遥控医疗装置远程操作的控制操控台或外科医生操控台)提供的信号,该一个或更多个元件可以被移动或操纵。“湿实验室”训练指对实际(真实)组织的任何训练,诸如组织样本、猪模型或尸体。“干实验室”训练指使用非组织模型或对象的训练,包括使用诸如泡沫(用于缝合)、电线上的环形物等对象的“无生命”训练。
图1是根据一些实施方式的包括遥控医疗系统的示例模拟系统100的图解说明。模拟系统100能够被用于模拟实际的医疗程序,而没有使用实际患者。使用模拟系统100或其变体能够执行未发生在实际的人类患者上的任何模拟的医疗程序或培训活动。例如,能够执行干实验室培训任务(例如,无生命训练)和/或湿实验室培训任务(例如,对真实组织、猪模型或尸体的训练)的模拟。
在所示的示例中,模拟系统100能够包括模拟处理部件(或“处理部件”)102、外科医生操控台104、患者侧推车106以及视觉侧推车108。如本文中的各种实施方式所述,其它部件能够附加地或替代地被包括在模拟系统100中。
模拟处理部件102能够协调、控制和/或实施涉及模拟系统100的各种其它部件的模拟。该模拟对涉及系统部件的医疗程序环境进行模拟,犹如实际患者在该医疗程序环境中被手术或正在被手术。在一些实施方式中,模拟处理部件实施和控制虚拟环境的显示,该虚拟环境包括描述实际物理外科部位的一个或更多个元件的虚拟外科部位。一些实施方式能够包括物理外科部位,该物理外科部位包括物理模型和/或对象。
在一些实施方式中,处理部件102能够协调模拟系统的模拟部件和/或监控和记录在模拟的医疗程序期间获得的参数。
模拟是涉及模拟处理部件102的交互的一个,该模拟处理部件102基于模拟内的那些部件的用户操纵接收来自系统的其它部件的多个输入。模拟处理部件基于那些输入还提供多个输出,其中输出能够协调模拟系统的部件并且经由系统100的一个或更多个部件上所提供的任何不同类型的输出装置(显示屏、扬声器、马达等)向系统的用户提供输出。例如,模拟处理部件能够经由提供到一个或更多个输出装置的模拟状态信号向用户提供输出。模拟处理部件也能够经由其输出的信号向用户提供反馈信息。
模拟状态信号能够指示包括来自一个或更多个系统部件的输入的集成(例如,影响)的模拟的医疗程序的当前状态。模拟的医疗程序的当前“状态”是在受模拟系统的部件的输入所影响的医疗程序的执行中的进程或状态的当前点。例如,在一些实施方式中,模拟状态信号能够指示关于物理外科部位的患者侧推车106的遥控医疗装置的物理遥控外科器械的当前位置,其中这些当前器械位置指示相对于模拟的医疗程序(例如,准备程序)中的部位定位外科器械的进程的当前状态。例如,模拟状态信号也能够指示医疗程序中的事件,诸如任何器械与其它器械或表面的碰撞,或部件元件的错误定位。在一些实施方式中,模拟的医疗程序的当前状态能够包括由模拟处理部件实施的虚拟环境(诸如虚拟外科部位)的当前状态。例如,模拟状态信号能够包括描述虚拟环境的数据,包括外科器械的虚拟表示和当前位置。模拟状态信号能够基于来自外科医生操控台104的控制输入来指示虚拟环境中的虚拟外科器械的当前位置,其中虚拟外科器械的位置指示模拟的医疗程序的外科任务的当前状态。
(多个)输出装置能够输出模拟状态信号的表示。表示能够使用以下各种类型的输出来被输出:诸如图形(例如,完全虚拟/合成的图像、完全的照相机图像或组合的照相机/虚拟图像)、触-压觉(tactile)、触觉、听觉等。例如,在模拟的准备程序中,输出表示能够包括物理器械、显示的视觉状态、通知、视觉文本和标记、声音提示和其它输出、触觉响应和/或其它输出的图形表示。在模拟的外科手术期间,输出表示能够包括外科部位处的显示环境,诸如物理部位的虚拟环境或图像。在一些示例中,虚拟环境的初始状态能够通过向其它部件提供各种控制输出信号由模拟处理部件选择,并且用户能够基于经由部件(诸如外科医生操控台104和/或患者侧推车106)的用户输入经由状态模拟信号经历对虚拟环境的当前更新。(多个)输出装置也能够输出提供反馈信息的信号的表示。
使用一个或更多个处理器(例如,微处理器、集成电路、逻辑和/或其它处理电路),以及如下所述的存储器、输入/输出接口和/或其它部件能够实现模拟处理部件102。在一些实施方式中,模拟处理部件102能够被实现为与模拟系统中的其它部件分离的特定外部或独立单元。在其它实施方式中,处理部件102能够被提供在模拟系统100的其它部件内或被提供为模拟系统100的其它部件中的一个的一部分,和/或被分配在系统100的多个其它部件内。
一个或更多个主操控台104(诸如外科医生操控台或控制操控台)能够被包括在系统100中以向用户(诸如外科医生受训者)提供输入控制装置以及各种其它控制装置,通过该输入控制装置能够遥控外科器械。外科医生操控台104也能够包括输出装置,诸如视觉输出装置、音频输出装置和/或触觉输出装置。用户操作该控制装置以向模拟处理部件提供控制输入信号。控制输入信号也能够从外科医生操控台104被提供到模拟系统的一个或更多个其它部件(诸如患者侧推车106和/或视觉侧推车108)操控台。例如,患者侧推车106的遥控从动器械臂能够例如由外科医生操控台的一个或更多个对应主控制装置所操作的每个外科器械来控制。下面描述这类遥控医疗装置和外科器械的一些示例。
如连接105所示,外科医生操控台104与模拟处理部件102通信。连接105能够是任何类型的通信通道,诸如一个或更多个电线或电缆、无线连接等。外科医生操控台104输出指示操控台104的控制装置的操纵的信号。例如,如果用户移动控制杆、操纵杆或转盘、选择特定按钮或触摸屏或选择其它控制装置,则对应信号被提供给模拟处理部件102。在一些实施方式中,这些信号能够是在实际医疗程序期间向遥控医疗系统的其它部件(诸如患者侧推车106和/或视觉侧推车108)所提供的标准信号,其中模拟处理部件102能够处理这些相同的信号。在其它实施方式中,针对模拟的模拟信号能够由外科医生操控台104输出。例如,模拟处理部件102能够使用输入以更新模拟的虚拟环境。
在一些实施方式中,外科医生操控台104也能够向模拟系统100的一个或更多个部件(诸如患者侧推车106和/或视觉侧推车108)输出信号。例如,由模拟处理部件100所接收的信号能够由模拟处理部件传递到这些其它部件。替代地,外科医生操控台104能够具有分离的直接连接,该连接类似于与模拟系统的一个或更多个其它部件的连接105。输出信号能够驱动这些其它部件的操作,类似于不使用模拟处理部件102的遥控医疗系统。
此外,外科医生操控台104接收来自模拟处理部件102的连接105上的信号。这些接收的信号包括在实际医疗程序中由外科医生操控台104正常接收的信号,包括用于更新外科医生操控台的视觉输出装置、音频输出装置和/或触觉输出装置的模拟状态信号,外科医生操控台的视觉输出装置、音频输出装置和/或触觉输出装置经由视频输出、音频输出和触觉输出向其用户提供模拟状态信号的表示。在一些实施方式中,这些信号能够由模拟处理部件102生成以描述由模拟处理部件102所提供且在外科医生操控台处所显示的模拟的虚拟环境的当前状态。在一些实施方式中,接收的信号能够包括由模拟系统的一个或更多个其它部件所提供的信号,诸如来自患者侧推车106和/或视觉侧推车108在模拟处理部件102处接收的并且然后从模拟处理部件102被传递到外科医生操控台104的信号。在另一些实施方式中,模拟处理部件102能够接收来自一个或更多个其它部件的信号并且能够基于由模拟处理部件运行的模拟处理或改变这些信号。处理的信号然后能够被发送到外科医生操控台104,以便于使用。在一些示例中,模拟处理部件102能够产生扩增的现实数据,该扩增的现实数据与从模拟系统的其它部件所接收的数据(诸如在外科部位处来自内窥镜或其它成像装置的图像供给或视频供给)组合或该扩增的现实数据被集成到模拟系统的其它部件所接收的数据中,并且组合的数据然后能够作为模拟状态信号被发送到外科医生操控台104。在一些实施方式中,外科医生操控台104能够具有附加分离的直接连接,该附加分离的直接连接类似于与模拟系统的一个或更多个其它部件的连接105,从而接收来自那些其它部件的信号,类似于不使用模拟处理部件102的遥控医疗系统。
在一些实施方式中,多个主操控台104能够与模拟处理部件102通信。例如,这类多个操控台能够在医疗程序期间均由专用用户同时操作,例如,在外科训练中使每个用户控制特定装置器械,使一个用户协助其它用户等。每个这类外科医生操控台104能够将信号发送到模拟处理部件102并且能够接收来自模拟处理部件的信号,例如,描述虚拟环境的信号。一些模拟实施方式能够允许操控台104处的用户向不同操控台104的不同用户传送(虚拟和/或物理的)一个或更多个外科器械的控制或者传递其它部件或输入的控制,例如,通过发送命令以经由操控台104或其它装置(例如,系统100中的其它控制面板)的输入控制装置来传送控制。在一些情况下,在该操控台处能够接收适合于每个外科医生操控台的信号,例如,基于特定操控台控制哪个器械来输出每个操控台104处的模拟的外科部位上的不同视觉观点。一些实施方式能够包括针对具有多于一个操控台104的模拟的特征。例如,虚拟指示器能够被生成并且被显示在操控台104的显示屏上,其中一个操控台104处的一个操作者(例如,专家)能够控制指示器并且指向由其它操控台104处的另一个操作者(例如,新受训者)所看到的显示对象。
一个或更多个患者侧推车106能够被包括在模拟系统100中以提供在实际的遥控医疗程序期间作出的受控装置的现实物理相互作用。例如,在模拟的医疗程序期间使用用在遥控医疗程序中的实际患者侧装置能够培训一个或更多个用户(诸如操作患者侧推车106的受训者助理)。一些受训者(例如,其它外科医生受训者)能够被培训以操作外科医生操控台104,从而控制患者侧推车106,诸如移动物理遥控臂或其它元件和/或其它功能件。这些特征使用户能够在模拟医疗程序期间被现实地、精确地以及有效地培训。
患者侧推车106能够是与系统100的其它部件分离的独立装置。推车106能够包括多个不同的机构和装置以在患者上实现遥控医疗外科手术。在一些示例中,推车106包括一个或更多个可操纵元件,诸如多个受控的操纵器臂114,每个操纵器臂114能够具有可拆卸附接到操纵器臂的一个或更多个外科器械。这类臂及其外科器械能够在特定范围和运动模式内被驱动,例如以允许外科医生操控台104的用户操纵器械以在患者上执行外科医疗手术。例如,臂中的致动器(例如,马达)和/或推车106的器械能够由来自操控台104的信号来控制并且能够驱动器械的运动以执行外科任务。
在一些实施方式中,附加患者侧推车106能够被包括在模拟中。一些患者侧推车能够包括遥控医疗装置,同时其它患者侧推车能够包括其它类型的装置(其它外科器械、视频显示器、手术室台等)。其它患者侧推车仍然能够包括遥控医疗装置和非遥控装置两者。
患者侧推车106的受训者用户能够执行涉及推车106的准备程序以允许(例如,模拟的)外科手术发生。例如,该准备程序能够包括任务,诸如将推车移动到合适位置且将每个臂114移动到合适位置的任务。在一些实施方式中,患者侧推车106的准备能够参考物理解剖模型120。例如,解剖模型120能够模拟人类患者或其它受试者的一部分,并且能够包括允许患者侧推车106的外科器械被合适地定位的各种特征。在一些示例中,为了进一步准备推车106,用户将推车106的外科器械放置到解剖模型120的合适孔口内(例如,经由端口放置被指定),使得器械获得模型120的内部内所模拟的物理外科部位的进入。其它准备任务也能够被执行,诸如在臂114上安装正确外科器械、选择且操作推车106的特定控制装置以实现所需功能、调节操纵器臂的定位以实现患者空隙或避免碰撞等。
如连接107所示,患者侧推车106与模拟处理部件102通信。连接107能够是任何类型的连接通道,诸如一个或更多个电线或电缆、无线连接等。患者侧推车106能够接收来自模拟处理部件102的信号,该模拟处理部件102控制其遥控功能,诸如臂114的移动以及附接到臂114和/或以其它方式耦接到推车106的外科器械的操纵。此外,患者侧推车106能够接收其它信号,诸如从视频输出装置、音频输出装置或推车106上的其它输出装置生成输出到推车用户的模拟状态信号(例如,数据)。在一些示例中,由患者侧推车106接收的信号能够基于实施的虚拟环境由模拟处理部件102生成,和/或能够由外科医生操控台提供并且由模拟处理部件102传送到推车106。
患者侧推车106也将连接107上的信号发送到模拟处理部件102。这类信号能够包括描述推车106的当前状态(包括如由推车106的传感器所确定的推车106的臂114和外科器械的位置和取向)的数据。例如,接头位置传感器、伺服马达位置编码器、纤维布拉格光栅形状传感器等能够用于确定与操纵器臂关联的运动学信息(位置和/或取向)。信号也能够包括描述如由内窥镜或患者侧推车106的其它成像器械捕获的物理外科部位的视觉图像和/或描述外科部位或模拟患者(例如,渲染的超声图像、患者生命体征等)的其它图像的数据。其它信号也能够被发送,诸如描述推车用户的行动或消息的输入数据、来自麦克风或由推车的装置的相互作用生成的音频数据以及其它形式的数据。描述状态的各种其它信号也能够被发送,诸如特定推车控制装置的状态、功能等。在一些实施方式中,这些信号能够是向用于实际医疗程序的遥控医疗系统的外科医生操控台104提供的标准信号,其中模拟处理部件102能够处理这些相同的信号。在其它实施方式中,针对模拟的模拟信号能够由患者侧推车106输出。例如,模拟处理部件102能够使用信号以更新模拟的虚拟环境。
在一些实施方式中,患者侧推车106能够向模拟处理部件102发送其信号,模拟处理部件102响应于被发送到外科医生操控台的信号生成合适信号。在一些情况中或在一些实施方式中,模拟处理部件能够经由连接125向外科医生操控台104直接传递来自推车106的一个或更多个信号。在另一些实施方式中,患者侧推车106能够具有到外科医生操控台104、视觉侧推车108和/或其它系统部件的附加直接连接。
在一些实施方式中,解剖模型120能够包括其自身的传感器并且能够在类似于连接107的连接上将信号提供给模拟处理部件102和/或接收来自模拟处理部件102的信号。例如,连接121能够在解剖模型120与模拟处理部件102之间提供信号。替代地,模型120能够连接到患者侧推车106,该患者侧推车106能够在模型120与模拟处理部件102之间传递信号。模型120上的这类传感器能够允许手动外科器械由模拟所追踪,如以下更详细所述。
系统100的一些实施方式能够包括其它手术室设备(例如,支撑模型120的手术台、协助台或用于附加外科手术或支撑功能等的推车),类似于解剖模型120,该其它手术室设备能够包括到模拟处理部件102的连接和通信。例如,这类其它设备能够被包括在本文描述的模拟任务和程序中并且其用于评价本文描述的模拟任务和程序。
一个或更多个视觉侧推车108能够被包括在模拟系统100的一些实施方式中以提供输出信息以协助模拟系统的用户,和/或以保持设备(诸如视觉和数据处理硬件)。视觉侧推车108能够是与系统100的其它部件分离的独立装置。例如,在一些遥控医疗系统中,视觉侧推车108能够由助理使用,诸如准备和操作患者侧推车106的助理。视觉侧推车108包括一个或更多个视觉输出装置(诸如显示屏),该一个或更多个视觉输出装置能够输出对正被执行的医疗程序有用的多个信息。例如,显示屏能够显示如由患者侧推车106的外科器械上提供的内窥照相机所捕获的外科部位的视图,这允许助理用户调节照相机到外科手术所需的位置。显示屏也能够显示其它输出信息,诸如由外科医生操控台处的外科医生所激活的一个或更多个控制装置的状态、在医疗程序中所使用的其它装置的状态等。
如连接109所示,视觉侧推车108与模拟处理部件102通信。连接109能够是任何类型的连接通道,诸如一个或更多个电线或电缆、无线连接等。视觉侧推车108能够接收来自控制其功能的模拟处理部件102的信号,诸如模拟状态信号,该模拟状态信号引起模拟外科部位的虚拟环境的显示或物理外科部位处所捕获的图像的显示、关于各种系统部件的状态信息的显示以及经由推车108的合适输出装置的任何其它类型的输出(音频输出、触觉输出等)的输出。此外,视觉侧推车108能够接收由外科医生操控台104所提供的且由模拟处理部件102传递到推车108的这类信号。
视觉侧推车108也将连接109上的信号发送到模拟处理部件102和/或系统100的其它部件。这类信号能够包括描述控制装置或由用户所激活的视觉侧推车上的其它输入装置的当前状态的数据。信号能够包括由视觉侧推车108所接收的来自其它部件(诸如患者侧推车106)的且由推车108传递到模拟处理部件102和/或外科医生操控台104的数据。在一些实施方式中,推车108输出的信号能够是向遥控医疗系统的外科医生操控台104提供的标准信号,其中模拟处理部件102能够处理这些相同的信号。在其它实施方式中,视觉侧推车108能够输出具体的模拟信号。例如,模拟处理部件102能够使用信号以更新模拟的虚拟环境。在一些实施方式中,视觉侧推车108能够将其信号发送到模拟处理部件102,该模拟处理部件102响应于被发送到外科医生操控台104和/或被发送到患者侧推车106的信号生成合适信号。在一些情况下或在一些实施方式中,模拟处理部件102能够将来自推车108的一个或更多个信号直接传递到其它部件,诸如经由连接127到外科医生操控台104。在另一些实施方式中,视觉侧推车108能够具有到外科医生操控台104、患者侧推车106和/或其它部件的附加直接连接。
在一些实施方式中,模拟系统100能够使用多个物理外科器械以更充分地模拟实际医疗程序。这些外科器械能够包括在被模拟的实际医疗程序中使用的完整实际的外科器械。例如,能够使用标准手动外科器械(诸如套管130和腹腔镜器械132),该手动外科器械能够是不需要遥控患者侧推车106的器械。此外,能够使用与患者侧推车106一起使用的外科器械(诸如外科器械134和无菌适配器/盖布器械136),该外科器械被可拆卸地附接到患者侧推车106的遥控操纵器臂。
模拟系统100的一些实施方式也能够或替代地使用非手术“假”外科器械138。这些能够是仅用于模拟系统的仿制品的器械并且不提供完整的器械功能性。例如,非手术器械138能够包括能够附接到操纵器臂114(如完整的手术器械)但是仅需要被插入到解剖模型120的套管或孔口中的部分器械。因此,轴和末端执行器能够从仿制品器械被移除,和/或仿制品器械能够是没有机构的中空器械或其它非手术版本的器械,该非手术版本的器械向用户提供在模拟的医疗程序期间准备和使用这类器械的经历。
图2是图示说明与模拟系统100的其它部件通信的模拟处理部件102的示例的框图。
模拟处理部件102能够包括可以执行模拟的各种功能的输入处理框202。在一些实施方式中,输入处理框202能够实施用于由模拟系统所提供的模拟的一个或更多个虚拟环境。例如,虚拟环境能够提供可以模拟物理外科部位或其一部分的二维(2D)环境或三维(3D)环境。在一些示例中,人体的一部分能够被模拟,包括皮肤表面和内脏器官或其它身体结构的虚拟模型,以及外科器械和在实际外科手术中使用的其它对象的虚拟模型。虚拟模型能够基于由外科医生操控台104所提供的信号210由输入处理框202来改变和更新,该信号210指示外科医生操控台上的主控制装置的操纵,该主控制装置指导患者侧推车的遥控臂上的外科器械如何被移动和操纵。信号210也能够指示其它命令,诸如进入特定使用模式、激活其它外科特征(例如,流体喷射、抽吸等)或执行其它功能。
此外,输入处理框202能够接收来自患者侧推车106的信号212。这些信号能够包括患者侧推车的操纵器臂和外科器械的位置和取向,以及如上所述的推车106上的各种控制装置的状态。输入处理框202也能够接收来自视觉侧推车108的信号214,该信号214能够包括如上所述的推车108上的各种控制装置的状态等。输入处理框202也能够接收来自追踪装置218的信号215,例如该追踪装置218能够包括手动追踪手术外科器械的解剖模型120的一个或更多个传感器。模拟系统(未示出)的其它部件能够向输入处理框202(诸如追踪部件位置的手术室传感器等)类似地提供信号。
在一些实施方式中,输入处理框202也能够接收来自模拟器用户界面(UI)220的信号216。模拟器界面220能够向模拟系统100的(多个)用户呈现一个或更多个选项或选择,从而定制和/或选择医疗程序的模拟的特征。模拟器界面220能够被呈现在模拟系统的一个或更多个部件(诸如外科操控台104、患者侧推车106和/或视觉侧推车108)上。替代地,模拟器界面能够在其自身的专用装置上被实现,诸如计算机系统(台式电脑、笔记本电脑、服务器、便携式装置等)。例如,模拟器界面220能够向用户显示选项,诸如要模拟的多个不同医疗程序,以及各种选项、设定、以及用于那些医疗程序和用于在模拟系统中使用的部件的优选。这些选择能够在信号216中被提供到输入处理框202。在一些实施方式中,单个界面220能够呈现模拟的准备程序以及模拟的外科手术的选项,因此允许统一界面以控制遥控医疗程序的所有阶段的模拟方面。
输入处理部件102也能够包括输出框204。如由输入处理框202所指示的,输出框204能够提供信号以控制或驱动模拟系统100的各种部件。例如,一些信号能够是命令部件上的功能的信号,诸如控制患者侧推车上的致动器以移动遥控操纵器臂或命令另一医疗功能(空气抽吸等)的信号。一些信号能够是引起到用户的输出的模拟状态信号。例如,输出框204能够向外科医生操控台104发送信号230输出,该外科医生操控台104在外科医生操控台的显示器上提供视频输出,诸如引起虚拟外科部位和在该部位处的虚拟外科器械的显示的数据,该虚拟外科器械对应于外科医生操控台104的控制装置的用户操纵而移动。类似地,输出框204能够向患者侧推车106发送信号232、向视觉侧推车发送信号234以及向模拟器界面220发送信号236,从而驱动与其功能相关的这些部件上的视频显示。例如,患者侧推车106和/或视觉侧推车108能够基于一个或更多个内窥镜器械或其它成像器械的位置显示示出外科部位的图形虚拟环境。还能够提供其它视觉输出,诸如状态消息。在一些实施方式中,输出框204能够向追踪装置发送信号235以提供状态、更新等。信号也能够引起到部件的其它类型的输出,诸如音频输出和触觉输出。模拟器界面220能够显示基于如信号236中所提供的从用户接收的输入能够更新其视觉外观的界面,诸如显示图形菜单项和/或其它选择和选项的图形用户界面或其它类型的界面。
模拟处理部件102也能够包括与输入处理框202通信的存储器206。存储器206能够存储输入处理框202和模拟系统100所需的各种数据。例如,用于实施模拟的程序指令和描述一个或更多个虚拟环境、三维模型的数据,以及各种设定能够被存储在存储器206中。此外,在一些实施方式中,模拟处理部件102能够基于在模拟程序期间发生的事件和行动监控参数,并且能够将这类参数存储在存储器206中。例如,参数(诸如执行程序的任务所用的时间)、部件在程序期间的位置等能够被存储,如下面所述。
图3是根据本文所述的一种或多种实施方式图示说明用于提供模拟的医疗程序的示例方法300的流程图。方法300能够由模拟处理部件102控制和/或协调。在该示例中,模拟的准备程序被描述为在预备模拟的外科手术之前和预备中配置模拟系统的一个或更多个部件,在准备程序之后能够执行该模拟的外科手术。该示例假定在模拟的准备程序中使用具有操纵器臂的患者侧推车106。其它实施方式能够包括类似的或相等的准备部件或任务。
当一个或更多个用户受训者训练准备任务时,方法300的模拟的准备程序能够被执行。例如,单个受训者能够被要求执行所有任务以获得综合培训。在其它实施方式中,多个受训者能够被同时或否则被要求执行用于如在实际外科手术中的模拟程序的准备任务。例如,一个受训者可以被要求将部件定位在手术室、另一受训者放置端口以及另一受训者定位用于停靠的操纵器臂。模拟系统的优点包括在单个系统上培训多个受训者和/或同时培训的能力。
在框302中,模拟处理部件接收模拟选项选择。这些能够是配置准备程序的各种选择,并且能够由用户从显示界面输入,该显示界面是诸如由例如外科医生操控台104和/或视觉侧推车108的显示装置所显示的图形用户界面220。选择能够包括将被准备用于模拟的外科手术类型,诸如被设计用于普通手术、泌尿道手术、妇科手术、经口咽手术、心脏手术、胸廓手术和/或小儿科外科手术的程序。选择也能够包括被用于准备程序的特定系统部件、所涉及的(多个)用户受训者的经历水平、模拟的难度水平(初学者、标准、专家等)、用于程序的时间参数等。在一些实施方式中,该界面能够是用于在准备之后所执行的模拟的外科手术的相同界面(例如,如在图4中所描述的)。
在框304中,模拟处理部件接收并且记录指示用户将定位模拟系统的一个或更多个部件的信号。这类部件能够被要求定位在模拟区域中的特定方位,例如,在区域中或位置中相对于彼此的绝对位置。例如,患者侧推车106能够相对于手术台和/或解剖模型被放置,和/或视觉侧推车108能够相对于患者侧推车106、外科医生操控台104或其它部件被放置。在一些实施方式中,附加部件(诸如外科医生操控台)能够在准备模拟期间被定位,并且被定位在使用的任何其它部件(麻醉台等)中。在一些实施方式中,能够使用传感器来追踪部件位置,诸如用于定位在物理模拟区域上方的照相机的传感器、检测部件的运动的传感器等,并且这些位置能够被发送到模拟处理部件102、由模拟处理部件102监控和记录。用户也能够指示处理部件—他或她例如通过经由视觉侧推车108或其它部件提供输入来完成放置系统的部件。模拟处理部件102能够记录参数(诸如接收的信号和完成任务所采用的时间),并且能够输出引起反馈在框期间被提供的信号。例如,反馈能够包括关于放置、图形空间图或实际和/或期望部件放置的映射图的指令的视觉和/或音频显示,当用户从合适放置偏离太多时警告,当具体措施没有被采取时报警(诸如移动患者侧推车而没有向上放置臂)等。在一些实施方式中,反馈能够被显示在系统部件的一个或更多个输出装置上。
在框306中,该方法能够接收指示用户定位模型以用于准备程序的信号。例如,在一些实施方式中,能够使用静态配准技术,其中用户能够移动患者侧推车108的操纵器臂和器械以接触一个或更多个已知方位处的模型的表面。使用传感器追踪臂的位置,模拟处理部件能够确定模型在3-D空间中相对于患者侧推车的元件的位置和取向,患者侧推车的元件是诸如操纵器臂和/或外科器械。例如,这允许将手术室和/或外科部位的实际场景被呈现,并且也能够允许模拟器系统提供(如果合适)用户当前在使用哪个(多个)端口和如何移动到正确端口的直接反馈(例如,建议、评价和/或评分)。在其它实施方式中,能够使用其它方法,诸如使用激光对准导向器或将臂停靠到约束模型的位置和取向的刚性固定装置。用户能够指示模拟处理部件—他或她已经完成定位模型。在一些实施方式中,模拟处理部件102能够记录参数(诸如传感器信号和完成任务所采用的时间),并且能够提供关于在框期间所执行的任务的用户进程的反馈,诸如更新视觉显示。
在其它实施方式中,解剖模型的定位能够在方法300中的稍后时间而不是在框306处被感测。例如,模型相对于遥控医疗装置的位置和取向能够在框310中停靠之后使用遥控臂的传感器和/或使用模型的传感器来感测。
在框308中,模拟处理部件接收和记录指示用户在物理外科部位处选择或放置端口的信号以用在外科手术中。例如,端口能够被放置在定位在物理外科部位处和/或包括物理外科部位的解剖模型中。端口是模型中的孔口或其它方位,外科器械将被插入通过该孔口或其它方位,并且该端口具有具体形式或距离要求,这取决于模拟所选择的目标解剖和外科手术。在一些实施方式中,放置端口能够包括将套管(诸如照相机套管)放置在模型的选择孔口中(例如,在一些实施方式中,模型中的传感器能够检测到选择孔口)和操作器械套管,使得期望的外科部位部分在内窥镜或其它照相机外科器械的视野内并且处于手术器械被放置在套管中的手术范围内。在一些实施方式中,系统能够使用解剖模型内的传感器和/或在停靠之后使用遥控臂中的传感器检测端口的放置(以下所述)。用户能够指示模拟处理部件—他或她已经完成放置端口。模拟处理部件102能够记录参数(诸如传感器信号和完成任务所采用的时间),并且能够提供关于在框期间所执行的任务的用户进程或正确性(诸如放置端口的位置的正确性)的反馈,包括更新视觉显示。
在框310中,模拟处理部件接收和记录指示用户将患者侧推车的操纵器臂和/或其它元件定位(“停靠”)在模型的选择端口之上或之内的合适位置和方位内的信号。例如,考虑到参数(诸如相互的操纵器碰撞避免和需要的器械运动范围),用户能够将操纵器臂定位在特定角度处、彼此间隔一距离等。模拟处理部件接收来自患者侧推车的臂中的传感器的信号,该信号指示操纵器臂的位置和取向。各种实施方式允许用户用手和/或远程控制装置来手动地移动臂或其它元件。用户能够指示模拟处理部件—他或她已经完成停靠。模拟处理部件102能够记录参数(诸如传感器信号和完成任务所采用的时间),并且能够提供关于在框期间所执行的任务的用户进程或正确性的反馈,诸如更新视觉显示。
在框312中,模拟处理部件接收和记录指示用户将患者侧推车的外科器械插入到端口中的信号。模拟处理部件接收来自患者侧推车的臂中的传感器的信号和/或来自指示外科器械相对于模型的臂和/或表面的位置的传感器和外科器械的信号。要求能够包括特定距离或插入量、将器械锁定在适当位置等。在一些实施方式中,模型中的传感器能够检测套管内的器械。
在一些实施方式中,外科器械是不发挥外科器械功能的假器械。此外,如果手动(例如,非遥控)器械被使用,则模型的传感器(和/或处于手术室中的其它方位处)能够追踪这类手动器械的位置。用户能够指示系统—外科器械的放置完成。在一些实施方式中,模拟处理部件102能够记录参数,诸如传感器信号和在框310期间完成任务所采用的时间。处理部件也能够提供框312中的反馈。这能够包括模拟处理部件102输出信号以引起各种虚拟图像、进程指示器、建议、提示、报警等的视频显示,关于模拟系统的一个或更多个显示屏的器械插入。
在框304到框312中,能够提供各种类型的视频输出。例如,助理用户能够查看显示器(例如,在视觉侧推车108处)以协助确定臂和/或外科器械在准备程序期间是否被合适地定位。外科部位的显示能够包括外科器械和在外科部位处的其它对象的当前位置。在一些实施方式中,显示器示出在患者侧推车和/或模型处的物理外科部位的捕获图像,诸如由内窥镜器械或患者侧推车的其它成像器械(例如,超声波传感器、患者生命体征传感器等)、模型照相机或传感器和/或指向物理部位的其它视觉传感器所捕获的图像。该准备能够用于培训无生命/干实验室模型或活组织模型,诸如猪或尸体培训协议。
在另一些实施方式中,显示器示出虚拟环境和虚拟外科部位,该虚拟环境和虚拟外科部位由模拟处理部件所生成并且基于物理外科部位处的外科器械和/或其它对象的检测位置。例如,能够从其操纵器臂中的传感器得知外科器械位置,并且能够从由(多个)照相机所发送的捕获图像得知部位处的其它对象的位置。模拟处理部件基于这些已知图像和位置生成虚拟环境。虚拟外科器械和对象能够被显示为出现与其物理配对件类似的配对件(如果有的话),或能够被显示为虚拟环境中具有不同外观的虚拟对象。
在一些实施方式中,虚拟环境能够包括现实环境(诸如在实际医疗程序中可见的现实环境)的显示。例如,显示的手术部位的背景能够包括体壁、血管或其它现实环境。在一些实施方式中,虚拟环境能够包括部位处的物理对象的精确表示,同时能够使部位的背景和环境看起来如实际医疗程序一样现实(例如,如图9B所示)。
在框314中,模拟处理部件能够输出反馈信息(诸如最终参数、度量、分数)和/或与准备程序有关的其它反馈。在一些实施方式中,在执行一个或更多个任务或训练期间或在完成一个或更多个任务或训练之后,反馈信息也可以或替代地被显示给受训者(例如,在框304-312中),使得受训者能够监控他或她的进程或能够比较他或她相对于从初学者到专家范围的其它人的执行。
例如,度量能够从记录的参数确定并且能够包括在准备程序期间用于各种任务的助理所花费的时间,以及在准备中使用的部件和器械的放置位置的汇总。如以下更详细所述,基于在准备程序期间由用户所完成的任务,模拟处理部件也能够确定评价和分数。模拟处理部件能够输出指示评价结果(诸如受训者如何很好地执行任务)的反馈,以及用于更好地执行任务的提示或指令。一些或所有这种信息能够被输出到模拟系统的一个或更多个显示器或其它输出装置上。
在框316中,该方法检查准备是否完成。例如,模拟处理部件102能够评价系统部件的结果位置且确定系统部件和外科器械是否被适当地放置以允许外科手术继续。如果任何放置是足够地不正确或用户要求重复阶段,则在框318中模拟处理部件引起用户重复准备程序的合适阶段或框。
如果准备完成,则在框320中,该方法能够检查模拟的外科手术是否应当在用于准备程序的相同模拟系统上起动。例如,外科模拟可能已经被指示在框302的模拟选择中。如果外科手术模拟开始,则该方法如图4所述继续。否则,该方法结束,或者可以采用各种进一步的行动以继续或重复培训,诸如在解剖模型的物理外科部位处用不同训练替换外科任务训练。
图4是根据本文所述的一种或多种实施方式图示说明用于提供模拟的外科手术的示例方法400的流程图。在该示例中,模拟的外科手术被描述为用于在外科部位(虚拟部位和/或物理部位)处执行外科任务。方法400能够由模拟处理部件102来控制和协调。
在一些实施方式中,方法400在图3的准备程序之后能够被执行。因此,这类实施方式能够提供使用具有分离外科医生操控台和患者侧推车的遥控医疗系统上的模拟框架以监控和追踪进程并且显示输出和反馈的能力,所有均在单个软件和用户界面(UI)框架下。在假定模拟系统部件的准备已经如图3所述被完成的情况下,描述方法400。
方法400的模拟的准备程序能够通过执行外科任务的一个或更多个用户受训者来执行。例如,单个受训者能够被要求使用外科医生操控台来执行模拟的外科任务。在其它实施方式中,多个受训者能够被同时或否则被要求执行用于模拟程序(如在实际外科程序中)的外科任务。例如,一个(外科医生)受训者能够被要求使用外科医生操控台来控制指令,同时不同(助理)受训者可以被要求控制外科部位处的附加手动器械,或者执行一些其它助理功能(例如,交换器械、调节患者侧推车上的臂的位置、调节内窥镜供给的亮度、调节端口、使用手动腹腔镜器械向遥控器械传送缝线、协调举宫器以协助操控台外科医生等)。在其它示例中,假设两个(或更多个)外科医生操控台处的两个(或更多个)外科医生受训者能够划分任务的控制、交换器械的控制和/或提供给彼此培训。模拟系统的优点包括在单个系统上培训多个受训者和或同时培训的能力。
在框402中,模拟处理部件能够接收用于模拟的选项和选择。这类选择能够包括将被执行的外科手术类型、将被执行的手术的特定阶段或子阶段、将被使用的特定部件和/或器械等。例如,用于向图3的准备程序提供选择的相同图形界面能够用于外科手术。
在框404中,该方法检查模拟是否仅使用外科医生操控台,而没有其它部件,诸如患者侧推车和视觉侧推车。例如,在框402中用户可以指定仅操控台的模拟。如果仅外科医生操控台被使用,则在框406中,模拟处理部件102输出信号(诸如模拟状态信号)以在操控台显示装置上显示虚拟环境。该虚拟环境能够描述外科部位,操控台的用户将要在该外科部位处进行操作。例如,3-D虚拟环境能够被显示,包括类似于对应的真实解剖结构出现的虚拟解剖结构。此外,由操控台的用户控制的虚拟外科器械也被显示在虚拟环境中。在虚拟环境中显示的特定虚拟解剖结构和虚拟外科器械能够基于框402中做出的选择,其中模拟处理部件能够基于选择的程序类型和由用户做出的其它选择确定合适的环境。
在框408中,模拟处理部件向操控台提供其它信号。信号能够包括模拟状态信号,诸如通知用户在虚拟环境中发生的任何事件或相互作用的音频数据、用于在操控台处输出触觉输出的触觉数据和/或任何其它可用数据。在一些实施方式中,提供的信号也能够包括执行反馈信息,诸如度量、分数、指令、警报、提示或其它信息。
在框410中,模拟处理部件102接收来自操控台的信号。这些信号能够包括基于操控台上的控制装置(诸如手柄、按钮、脚踏板和其它控制装置)的用户操纵的方向信号或定位信号。模拟处理部件能够基于从操控台接收的信号更新虚拟环境,包括犹如用户正在控制物理遥控外科器械一样移动虚拟外科器械以与用户输入相一致。模拟处理部件102也能够例如根据物理模型确定虚拟外科器械与虚拟解剖器械的相互作用。
在框411中,模拟处理部件记录参数,诸如在模拟程序期间通信的信号和事件。例如,这类信号和事件能够是在框406到框410中发送和接收的信号、在这些框中提供的警报或其它执行反馈、在这些框中提供的用户输入、由(多个)受训者完成外科任务所花费的时间等。
在框412中,模拟处理部件能够检查模拟的外科手术是否完成。例如,用户能够经由操控台控制装置的输入指示模拟结束。如果手术没有完成,则该方法返回框408以接收来自操控台的信号并且在虚拟环境中继续模拟。如果手术完成,则该方法继续到框438,如下面所述。
如果在框404中该方法发现模拟的外科手术没有仅使用外科医生操控台,则该方法继续到框416,其中该方法检查模拟是否将显示虚拟环境。例如,虚拟环境能够被显示在模拟系统的操控台显示器和其它显示器(诸如视觉侧推车上的显示器)上,并且能够是如以上框406所述的类似虚拟环境。如果虚拟环境将被显示,则在框418中虚拟处理部件102向一个或更多个部件输出信号(诸如模拟状态信号)以在显示器上显示虚拟环境。然后该方法行进到框416,如下面所述。
如果在框416中该方法确定非虚拟环境将被显示,则如由照相机所捕获的物理外科部位的图像将被接收和显示。在框420中,该方法检查扩增显示将被输出。扩增显示允许在由照相机所捕获的图像之上的计算机生成的图形的显示。如果不是,则过程继续到框424。如果扩增显示将被使用,则在框422中模拟处理部件处理被叠加在接收图像上的视觉叠加数据。例如,这类视觉叠加能够包括提供反馈信息(诸如警报、指令等)的文本对象、图形对象和界面对象。在一些实施方式中,视觉叠加能够提供指示器以指导系统的臂、外科器械或其它部件应当被定位的地方。
在框424中,模拟处理部件102接收来自提供物理外科部位和/或模拟患者的图像的一个或更多个内窥镜和/或其它成像器械(例如,超声波传感器、生命体征传感器等)的照相机数据。例如,内窥镜能够是在患者侧推车的臂上提供的外科器械中的一个。模拟处理部件102也确定和输出信号(诸如模拟状态信号)以显示系统的显示装置(诸如外科医生操控台104和视觉侧推车108(如果被使用)处的显示屏)上的外科部位的图像。如果扩增图像未被使用,则输出信号仅包括照相机数据。否则,框422的扩增视觉叠加信号与照相机图像组合,并且组合的信号被输出用于显示。稍后在模拟中,信号被用于更新显示。
在框426中,模拟处理部件102向外科医生操控台和其它系统部件提供任何其它信号。信号能够包括系统部件处用于输出音频的音频数据、系统部件处用于输出触觉输出的输出数据等。在一些实施方式中,这些信号能够包括从外科医生操控台接收的控制信号,模拟处理部件将该控制信号传递到患者侧推车和/或视觉侧推车。类似地,信号能够包括从患者侧推车接收的位置信号和/或控制信号,模拟处理部件将该位置信号和/或控制信号传递到医生操控台和/或视觉侧推车。在一些实施方式中,提供的信号也能够包括提供给系统部件的反馈信息,诸如度量、分数、指令、警报、提示或其它信息(和/或反馈信息能够被包括在框422中的扩增视觉数据中)。
在框428中,模拟处理部件102接收来自外科医生操控台104和其它系统部件(诸如患者侧推车106和视觉侧推车108(如果存在))的信号。例如,来自外科医生操控台的控制信号能够指示由操控台用户在操控台上进行的控制装置(诸如用于移动和否则操纵患者侧推车106的臂和外科器械的主控制杆)的操纵。来自患者侧推车的信号能够包括来自遥控臂和外科器械中的传感器的位置信号,该位置信号指示那些臂和器械的位置和取向。来自视觉侧推车的信号能够包括来自由助理用户所操作的那个推车上的控制装置的控制信号。在手动外科器械与解剖模型一起使用的一些实施方式中,模拟处理部件能够接收来自模型的信号,该信号能够包括指示被插入模型或接触模型的手动外科器械的位置的传感器信号。
在框430中,模拟处理部件记录参数,诸如在模拟程序期间通信的信号和事件。例如,这类信号和事件能够是在框418到框428中发送和接收的信号、在这些框中提供的警报或其它执行反馈、在这些框中提供的用户输入、由(多个)受训者完成外科任务所花费的时间等。
框406到框410或框416到框428在执行一个或更多个外科任务和/或模拟的外科手术的训练期间能够被实施。例如,用户(诸如受训者外科医生)能够通过遥控插入通过模型中的套管的外科器械以便通过控制虚拟器械来执行在模拟的外科部位处的模拟训练。这类训练能够包括在虚拟或物理外科部位处缝合对象、操纵对象等,或一个或更多个其它模拟任务。在一些实施方式中,助理受训者能够同时或在任务之间执行患者侧任务。
在框432中,模拟处理部件检查在外科手术模拟期间不正确的准备是否已经就位。当准备程序在外科手术之前被模拟并且包括模型端口的不正确选择、系统部件(例如,遥控臂、外科器械或解剖模型)的定位,或包括其它不正确的设定或选择时,可能发生这种情况。这类不正确的准备设定能够对下列外科手术有显著影响。例如,碰撞可以发生在臂或器械之间、运动的范围能够被限制、运动的极限能够被过早地到达等。如果使用不正确的准备执行模拟的外科手术,则在框434中模拟处理部件向模拟的一个或更多个用户输出反馈,该反馈指示不正确的准备和该不正确的准备如何影响外科手术。例如,输出反馈信息能够指示导致外科任务的非定位臂或外科器械被错过或被不充分地执行、向模拟的患者组织作出的无意识的变化等。反馈也能够指示正确的准备以允许用户改正任何错误。在一些实施方式中,这类反馈在模拟的外科手术期间在任一点处能够被输出。
在框434之后或者如果准备是正确的,则该方法继续到框436,其中该方法检查模拟外科手术是否完成。例如,这能够由一个或更多个用户向系统提供输入来指示以指示手术结束,或模拟处理部件能够基于评价的部件位置、外科部位的图像等自动地确定手术结束。如果模拟手术没有完成,则该方法返回到框416以继续显示外科部位环境并且在系统部件之间通信信号。如果模拟手术完成,则该方法继续到框438。
在框438中,模拟处理部件向模拟的用户输出反馈信息,诸如最终参数、度量、分数和/或其它反馈。在一些实施方式中,在执行一个或更多个训练期间或在完成一个或更多个训练之后,反馈信息也可以被显示给(多个)受训者(例如,在框406到框410或框416到框428中),使得受训者能够监控他或她的进程或能够比较他或她相对于从初学者到专家技术水平的其它人的数据库的执行。类似于如上用于图3的准备程序所述,度量能够从参数确定并且能够包括在外科手术期间用户为各种任务所采用的时间,以及在外科手术中使用的部件和器械的放置位置的汇总等。如下所述,基于在外科手术期间由用户所完成的外科任务,模拟处理部件也能够确定评价和/或分数。模拟处理部件能够输出指示评价结果(诸如受训者如何很好地执行任务)的反馈,以及用于更好地执行任务的提示或指令。一些或所有这种信息能够被输出到模拟系统的一个或更多个显示器和/或其它输出装置上。
模拟期间受训者执行的评价和引导
在以上关于图3和图4所述的模拟的准备程序和外科手术期间,模拟处理部件能够监控(测量)和记录与准备和外科任务关联的各种数据和参数,诸如各个程序的不同阶段处的部件的位置和运动、完成各种任务的时间等。系统能够基于记录的参数确定度量并且执行与模拟期间的一个或更多个受训者的执行关联的自动评价。系统也能够在程序期间并且基于评价向受训者提供实时执行反馈,以便在程序期间提供指导并且用于稍后的程序。
在一些实施方式中,评价能够包括自动地比较在这些程序期间记录的参数(和由此确定的度量)与用于对应任务的存储的参考参数和度量。参考参数能够是用于这些任务的正确的或最优的参数或在之前模拟的医疗程序期间之前记录的参数。与相关技能关联的参数能够被评价以测量受训者改进或比较一个受训者的执行参数和由其它受训者或由被视为具有专家技能水平的人所展示的(同时发生的或历史的)对应参数。因此,特定参数中的受训者的技能水平可以相对于同事来评价(例如,参考预期改进确定受训者的进程)或相对于专家来评价(例如,确认与高技能水平的偏差)。能够评价图3和图4的患者侧技能(与靠近患者的方位的行动(例如,操纵器臂位置和取向准备、套管端口放置、停靠、在外科任务期间的协助等)物理地关联)和外科医生侧技能(与执行图4的外科手术中的外科任务(例如,遥控或手动地定位内窥照相机和移动外科部位处的组织器械)关联)。
评价部件能够测量与由受训者所执行的任务关联的参数(诸如所有任务的全部完成时间、特定任务的完成时间、操纵器或器械的位置和取向)以及由受训者所采用的行动的其它参数。在一些情况下,评价能够包括基于与参数和比较关联的预定标准来确定一个或更多个分数,其中分数能够基于关联任务的执行指示受训者的执行水平或技能。例如,分数能够基于在程序期间执行一个或更多个任务所需的时间和/或在一个或更多个任务期间系统部件的定位或移动。与具体参数关联的受训者技能水平能够通过使用从遥控医疗系统获得的运动学传感器信息和/或其它传感器信息(诸如来自操纵器臂的传感器和外科器械的传感器的信息)来自动地记分。
对于诸如图3中的模拟的准备程序,评价系统可以使用传感器信息以确定在训练期间所引导的器械的位置和取向。例如,传感器信息能够包括在框304到框310的执行期间(例如,使用外科器械的远程中心位置和准备接合值)获得的来自操纵器臂的运动学信息以及来自在程序中使用的其它传感器的传感器信息。在一些实施方式中,能够产生运动学准备模板,该运动学准备模板限定用于具体外科任务的具体有效的或理想的操纵器位置和取向。与受训者的外科任务训练执行关联的数据与模板比较以产生执行分数。比较能够用于确定受训者是否已经适当选择用于具体外科任务训练的端口、操纵器臂准备接头和其它结构是否被适当地配置以将关联的操纵器臂放置在合适位置和取向、套管端口是否被适当地定位和间隔以允许具有最小操纵器碰撞避免的有效外科部位进入等。例如,理想的模板信息能够是聚合(cluster)或平均位置、运动和/或来自受训者和/或专家的先前执行的放置、或用于器械、臂部件的已知最优位置等。
在另一示例中,任务训练时间参数可以通过在套管停靠训练开始时起动计时器和当系统感测所有操纵器已经被适当地停靠到关联套管时停止计时器而被测量。作为另一示例,任务训练操纵器碰撞避免参数可以通过比较来自每个停靠的操纵器臂的传感器信息与模板传感器信息来测量,以确定受训者将操纵器放置到规定的理想位置和取向或放置到规定的位置和取向包络(envelope)内的接近程度。类似地,来自操纵器臂的传感器信息连同解剖模型120的已知物理尺寸能够用于确定受训者是否已经以正确的端口放置模式将套管适当地定位在模型中,或用于每个套管的运动的远程中心(随着操纵器臂移动,在空间中保持静止的每个套管上的方位)是否被正确地定位,以便最小化患者的体壁处的组织创伤。
分数能够以多种方式来确定。例如,关于为选择的外科手术选择端口放置的适当程度、或关于花费多长时间来确定正确的端口放置,受训者可以被记分。或者,关于操纵器臂如何被耦接到放置的套管(例如,关于操纵器臂碰撞避免)或关于受训者花费多长时间将操纵器臂耦接到在解剖模型中放置的套管,受训者可以被记分。
当受训者完成训练时,度量可以被取样和/或被确定以指示受训者的执行,并且这些中间评价可以被描绘在模板以获得分数。例如,历史数据可以表示具体行动应当以某一顺序被完成以便最有效地完成任务,传感器数据可以用于示出受训者执行行动的实际顺序,并且完成的行动的推荐顺序与实际顺序之间的差用于确定受训者的分数。
对于在图4的外科手术期间所执行的外科任务,该系统能够基于用于计算度量的运动学数据(例如,运动量、训练误差、器械的运动的经济性等)类似记录和确定参数,诸如一个或更多个训练任务的完成时间和臂位置。在训练和从那些参数所确定的度量期间,执行参数能够在执行外科任务期间被多次测量。在干实验室训练的一个示例中,培训训练能够要求受训者利用手术器械捡起环形物、沿着路径移动环形物到结束位置(根据需要,将环形物转移到由不同手所控制的另一器械),而没有掉落环形物,同时一直移动照相机以保持环形物和器械尖端处于视图的中心,并且同时再定位控制器以保持受训者的手处于中心控制位置。在缝合训练的另一示例中,受训者能够被要求沿部件中的缝合孔的预定路径驱动缝针,同时保持部位处于照相机的视图中,或靠近关于缝合方位的空间要求来缝合开口。在外科手术期间,患者侧任务(例如,助理受训者在外科部位处引导一个或更多个器械、控制辅助设备等)能够使其执行被类似测量。
外科手术评价的分数和/或其它结果指示用于评价的外科训练的受训者的估计水平或技能。一些实施方式能够提供图形反馈,例如,指示手术器械末端执行器与用于外科任务的理想或正确位置和/或用于组织的缝合、切割的理想方位的接近程度等。一些实施方式能够在任务执行期间输出实时反馈,诸如正确或不正确的缝合的指示器、器械位置、对受训者的提示等。一些实时反馈能够是指导的,指示器械应当如何被放置、移动或定位。
在一些示例中,基于特定用户的执行或团队的执行的第一时间能够确定参数和/或分数,并且然后在执行相同类型的程序期间在第二时间处能够记录相同参数和/或分数。然后,这些参数能够被比较以针对特定程序评价相同用户的执行或团队的执行。在另一些示例中,参数能够针对不同的用户或团队被记录,并且被比较以评价和比较不同的用户和团队。
基于模拟程序的受训者的这类记分允许将被测量的那个受训者的执行和改进。此外,受训者关于其它受训者或关于历史数据能够被记分,以便确定受训者如何能够很好地执行所需任务和/或评价受训者的相对学习速度和有效性和/或确定受训者的技能水平。另外,累积历史记分可以揭示受训者很难执行某一任务,并且这种培训能够被修改以改进用于那个任务的培训计划。
图3和图4的方法也能够用于立刻和在培训训练期间的各种角色中测量和评价多个受训者或团队的执行。例如,模拟系统能够提供用于人员团队(诸如一个或多个外科医生、助理、护士等)的培训。在一些示例中,一个或多个助理受训者能够执行图3和图4的方法的患者侧任务,并且外科医生受训者能够执行图4的方法中的外科任务同时操作操控台。受训者而不是外科医生能够使用解剖模型以实践患者侧技能(例如,端口放置、停靠、系统准备、照相机和器械插入),因为他们将在手术室中经常执行这些活动。团队也能够培训其沟通以执行和协调各种任务(诸如交换器械、调节端口、使用常规腹腔镜工具传送缝线、协调举宫器以协助操控台外科医生等)。
在提供用于受训者的这类团队的培训的一些实施方式中,除了评价个别受训者之外,上述评价和记分方法也能够被延伸以评价手术室团队的执行。例如,指示用于协调的团队任务的执行水平或技能的各种分数能够被输出。自动度量能够协助这类评价以追踪进程并且以类似于上述的方式比较历史数据。这些特征能够帮助提供用于团队的熟练标准以理解他们的效率和他们如何能够改进。
遥控医疗程序培训、评价和记分的一些示例被描述在题为“Anatomical Modeland Method for Surgical Training”的待审美国专利申请No.13/968253中,其通过引用以其整体并入本文。
图5是能够用于使用模拟系统100自动评价模拟的医疗程序的示例系统500的各方面的图解说明。如图5所示,使用医疗装置502,在该示例中该医疗装置502能够包括输入装置(诸如外科医生操控台104)和/或遥控医疗装置(诸如患者侧推车106)或能够提供关于一个或更多个医疗器械的位置和/或取向的数据的其它系统。医疗装置502提供被存储在存储器506中的参数信息504,该存储器506被包括在评价系统508中。例如,评价系统508能够被实现在模拟处理部件102中并且存储器506能够被实现在存储器206中。
参数信息504能够包括用于受训者的执行的执行参数和/或相关数据(诸如如上所述的运动学信息或其它传感器信息)。例如,信息504可以经由模拟系统中的应用程序界面(API)被提供。参数信息504能够从患者侧推车106和/或系统的其它部件被提供,诸如描述用于外科医生操控台104、视觉侧推车108上的操作者(诸如外科医生或受训者)的控制装置的位置和/或取向的信息等。
在一些实施方式中,与解剖模型120关联的解剖模型信息510(例如,物理尺寸、可能的套管端口的方位、外科操纵器或器械的方位等)也被输入到存储器506中。模板信息512也能够被输入到存储器506中,指示基线、与受训者执行参数比较期望的和/或正确的参数和数据。其它参数信息(诸如事件数据,例如,与受训者任务和任务完成相关的记录次数等)也能够被存储在存储器506中,并且该其它参数信息能够由系统100或系统500的其它部件(诸如系统的处理器514、传感器等)收集和/或确定。因此,存储器506能够是可以存储评价系统508用于实施受训者的执行的评价的信息的一个或更多个物理存储器方位。这类评价由处理器514执行,该处理器514能够是可以用于实施评价的一个或更多个信息处理装置(例如,(多个)微处理器或其它处理电路)。
评价结果(诸如一个或更多个分数)、引导反馈和/或其它信息能够经由输出装置516(诸如显示屏或其它显示装置上的可见显示、来自打印机的物理打印输出或其它输出)来输出。个别训练结果可以被添加到历史数据520(例如,根据操作者选择输入518处的输入),并且进而可以用于修改模板信息512。在一些实施例中,操作者输入装置518使培训系统操作者能够输入与培训训练有关的各种选择,诸如确认将要实施的特定外科训练任务和/或确认正被使用的特定解剖模型。评价系统能够自动地选择合适的信息(例如,适当的模板信息512)以用于实施评价。
评价系统508的实施例可以被嵌入遥控医疗系统(例如,具有经由系统的显示器所显示的输出)中或可以被实现在例如分离的小计算机系统(诸如笔记本电脑或其它电子装置)上。这类评价系统也可以被联网到中心数据库以便于来自多个医疗装置和来自医疗人员(例如,外科医生)群体的数据收集并且以便于受训者或外科医生群体内的数据和/或记分比较。
除了用于外科系统培训,本文公开的各种特征也可以基于在模拟的医疗程序中使用手动外科器械被用于任务。用于培训的记分方面能够适于在这类手动任务中的培训,诸如到达外科部位处的方位、器械界面、照相机位置、外科医生舒适度等的能力。自动记分方面能够基于通过如上所述的解剖模型和/或其它方位中的各种传感器来感测一个或更多个部件(诸如套管、外科器械等)的位置。
各种实施方式能够在模拟的程序期间和之后向受训者提供评价的结果和/或引导反馈,指示与理想或期望位置、次数、度量和/或分数、受训者水平和/或技能的差,以及用于正确或期望结果的建议和/或指令。例如,图形图能够被显示在显示装置上,指示操纵器臂被定位得与外科任务的理想或正确位置的接近程度。此外,一些实施方式在执行任务期间能够输出实时反馈,诸如外科器械的正确或不正确放置和位置的指示器、对受训者的提示、正确定位和取向的图形指示以及用于特定器械的运动和放置的可接受范围等。一些实时反馈能够是指导的,指示程序中器械应当被放置或定位的地方和时间。系统能够向人提供教程,展示如何选择模型中的端口、定位部件以及停靠操纵器臂。
图6A和图6B是如上所述能够被显示在模拟系统的一个或更多个显示屏上的培训图像屏幕600的示例。例如,屏幕600上的图像能够被显示以在准备程序期间协助和引导用户放置患者侧推车的操纵器臂。
在图6A中,显示屏600示出患者侧推车(例如,类似于以下的图7A的患者侧推车706)的示例实施方式的图像602。图像602包括三个操纵器臂604的图像。在一些实施方式中,在准备模拟程序期间,用户物理地移动对应于臂图像604的物理臂,其中模拟处理部件(或其它处理部件)经由臂传感器来感测这种运动,并且处理部件引起在屏幕600上显示的臂图像604以与物理臂一致地移动。
指示也能够被显示以指示臂相对于准备程序的特定阶段或框中的期望位置的状态。例如,图像602能够指示物理侧推车的一个或更多个臂的位置当前是不正确或次最优的。在一个示例中,显示屏600能够显示围绕在位置不正确的图像602的区域的封闭线或边界606。在该示例中,左操纵器臂604被示出在其接头的区域中为不正确的,该接头由线606所环绕。因此,线606将观看者的注意力引导到不正确的定位区域。在一些实施方式中,更精确的指示(诸如特定接头的强调区608)能够具体地指出不正确的定位。例如,强调区608能够具有特定颜色、模式或其它识别标志。图例610能够指示由强调区608所指示的特定问题,在这种情况下该特定问题是左操纵器臂(患者侧操纵器,PSM)604没有足够面向前方,例如,朝向解剖模型。如果用户期望的话,不正确的定位的附加说明能够在一些实施方式中被显示。
图6B示出显示屏600的另一示例,其中如在患者侧推车的显示图像602中所示,物理患者侧推车的不同部分被不正确地定位。线616指示具有不精确定位的图像602的区域,在该示例中该图像602的区域是内窥镜中心臂(ECM),即患者侧推车的中心臂604。强调区618指示应当被改正的臂604的特定接头。例如,图例610告知观看者强调区618指示中心内窥镜操纵器604没有被定位在“最有效点”,该“最有效点”允许那个伤害的器械在被插入患者或模型中时提供精确的或最优的视图,以用于当前选择的外科手术。在其它实施方式中,其它类型的线、边界和/或指示器能够被显示,包括视觉形式、音频形式、触觉形式或其它形式。
虚拟现实或其它生成图像(诸如屏幕600的图像)和/或叠加在照相机图像上的扩增现实(AR)重像能够被显示在系统显示装置上以指示或强调用户关注或感兴趣的系统区域。例如,操纵器臂准备接头能够具有如上所述的强调的不正确位置。另外,操纵器臂和/或器械的可达性限制能够被显示。此外,臂和/或器械之间的内部或外部碰撞的空间区域能够被强调为用户意识到的地区。
在一些实施方式中,反馈信息(诸如建议)能够被显示在屏幕600上。例如,文本建议能够指示估计的运动量,该估计的运动量能够引起强调臂到正确位置中的基调(mood)。图形建议能够相对于当前不正确位置在相同显示器600上显示正确位置(例如,以不同颜色或其它格式)。也能够提供更广泛的提示以允许用户训练判断或做出决定。这类建议能够引导培训训练中的用户学习执行任务的正确方式。
在准备程序和外科手术期间,各种其它类型的反馈信息也能够被显示在一个或更多个显示屏上,以提供关于系统准备的引导和操纵器臂的精确定位以及关于外科任务的引导。例如,文本信息消息(诸如指令和警报)能够被显示以告知用户在程序期间正确或不正确的行动或定位。一些反馈能够以其它形式被提供,诸如音频输出或触觉输出(例如,在马达控制的操纵器臂和/或外科器械上的音频输出或触觉输出)。
模拟系统因此能够向受训者提供引导和反馈,以用于程序期间的系统准备和技能,诸如干实验室或湿实验室患者侧培训情景。这也能够降低培训助理的负担,以不断抓住模拟程序期间的错误,特别是当同时培训多个受训者时。系统在外科手术和任务期间也能够提供引导和反馈,例如,以协助用户操作解剖模型处的患者侧推车(和其它部件)和/或手动器械,以及外科医生受训者操作外科医生操控台。
示例实施方式
基于本文描述的模拟系统100和方法能够实施模拟的外科程序的许多不同变体。以下描述了一些示例模拟配置。
模拟能够包括准备程序,该准备程序使用模拟外科手术准备所需要的患者侧推车106、视觉侧推车108和/或任何其它系统部件。
在一些实施方式中,仅患者侧推车106被用在准备模拟中。例如,用户能够设置推车的位置、推车的臂以及推车的外科器械,并且模拟处理部件102能够阅读这些元件的位置以及提供当前模拟状态和关于准备被执行的良好程度的反馈。例如,输出装置(诸如患者侧推车或另一部件上的显示屏和/或扬声器)能够用于输出准备程序的当前状态和/或关于准备程序的用户执行的反馈的表示。
模拟的准备程序的一些实施方式能够包括解剖模型的使用。助理受训者能够在手术台上设置解剖模型。模型能够是由刚性材料制成的无生命模型,并且能够被大约成形为像人类患者的一部分。该模型能够被设置有特定配置,用于特定外科手术。例如,在无生命的培训训练中,训练装置能够被放置在模型内(诸如在电线上被操纵的珠形物或环形物,被缝合、切割或否则用外科器械操纵的橡胶或泡沫块材料)。在湿实验室训练中,模型能够是生物标本(诸如猪模型或尸体模型)和/或一个或更多个生物标本能够被放置在无生命模型内。
在准备程序的一些实施方式中,助理受训者能够将患者侧推车定位在紧挨着解剖模型的手术位置中。在一些实施方式中,模拟处理部件102能够接收指示患者侧推车106的位置的信号并且模拟处理部件能够向显示器(诸如患者侧推车106或视觉侧推车108上的显示屏)提供信号,该信号提供程序的当前状态的指示且向助理受训者提供关于患者侧推车相对于解剖模型的定位的正确性的反馈。在一些实施方式中,助理能够定位患者侧推车的臂以接触表面上的多个点处的模型表面,该模型表面相对于患者侧推车定位模型。助理受训者然后能够将患者侧推车的臂和器械相对于解剖模型而定位。助理能够在模型中选择合适的孔口、将套管放置到模型的选择孔口中,并且然后将外科器械放置到合适的套管中。
在一些模拟中,功能齐全的外科器械被提供在患者侧推车的臂上,并且受训者能够将外科器械插入模型上的端口中。在另一些实施方式中,一个或更多个假器械被提供在患者侧推车的臂上。这些假器械能够包括可以被插入到套管中的器械的基部,但是不包括末端执行器,诸如钳子、剪刀或解剖刀。
在一些实施方式中,手动器械也能够结合解剖模型被用在医疗程序中。助理受训者能够将手动器械放置在模型的合适孔口中,并且这些器械的位置能够由模拟处理部件追踪。
在各种实施方式中,视觉侧推车108也能够或替代地被用在准备模拟中。在一些实施方式中,视觉侧推车与准备程序中的解剖模型和患者侧推车一起使用。用户能够在视觉侧推车的显示屏上查看由一个或更多个照相机(例如,定位在模型上方和/或之内)所捕获的模型和/或遥控医疗装置的臂和器械。例如,用户能够查看视觉侧推车的显示屏以基于内窥镜的视图确定外科器械是否被正确地定位,该内窥镜在用户已经定位内窥镜器械之后向显示屏提供外科部位的图像。在一些实施方式中,能够显示虚拟环境,该虚拟环境能够将解剖模型、物理外科部位和/或遥控臂和器械模型化。在一些实施方式中,用户能够被要求使用视觉侧推车上的控制装置来控制模拟程序中的一个或更多个功能。
在另一实施方式中,视觉侧推车被用在准备程序中,而无解剖模型和/或患者侧推车。例如,能够测试用户将视觉侧推车定位在手术区域内和/或相对于其它部件(诸如外科医生操控台)定位视觉侧推车。
在一些实施方式中,一个或更多个外科医生操控台能够被包括在模拟的准备程序中。例如,将外科医生操控台定位在手术区域内能够被模拟。外科医生受训者也能够被要求在准备程序期间执行一些任务,诸如解剖模型上的端口选择。外科医生操控台能够被单独地使用或连同其它部件(诸如患者侧推车、视觉侧推车和/或解剖模型)被一起使用。例如,准备程序能够仅包括外科医生操控台和解剖模型,其中将部件定位在手术区域中和在解剖模型上的器械准备被模拟。在一个示例中,基于模型的物理部位的虚拟外科部位能够由外科医生操控台来显示同时用户在模型中设置手动器械。
模拟系统的任何其它部件也能够在准备模拟中被单独地使用或连同其它部件一起被使用。例如,模拟处理部件能够监控使用的系统部件,并且助理能够被要求将每个系统部件正确地定位在手术区域或手术室内。
在一些实施方式中,准备程序能够是仅被执行的模拟。在另一些实施方式中,如在实际外科程序中,外科手术的模拟能够在准备程序之后被执行。替代地,模拟的外科手术能够自身被执行,而没有准备程序的模拟。
能够使用各种实施方式来执行外科手术的模拟。在一个实施方式中,仅外科医生操控台被使用且模拟部件提供虚拟环境模拟,在该虚拟环境模拟中虚拟外科器械被显示为:基于由操作操控台的外科医生受训者所提供的用户输入来操纵虚拟外科部位处的虚拟结构。
在另一些实施方式中,仅(多个)外科医生操控台和解剖模型被用在模拟外科手术中。例如,遥控外科器械能够是在虚拟环境中由模拟处理部件102所显示的并且由操控台受训者所控制的虚拟器械。一个或更多个真实手动器械能够被插入到模型中并且由助理受训者控制,其中使用模型的传感器由模拟处理部件来追踪手动器械位置,从而允许模拟处理部件显示虚拟遥控外科器械旁边的虚拟环境内的手动器械尖端或捕获图像的手动器械的虚拟版本。
在另一变体中,外科医生操控台和患者侧推车106被用在外科手术中。在一些示例中,虚拟环境由模拟处理部件102(例如,在外科医生操控台104的显示器上)来显示。操作外科医生操控台的受训者提供控制患者侧推车的物理臂和外科器械的输入。然而,模拟处理部件在模拟系统的显示器上显示外科部位处的这些器械的对应虚拟版本。因此,真实或假的器械能够被用于患者侧推车的外科器械。这类实施方式的一个示例在下面关于图7A和图7B被示出。
在另一变体中,外科医生操控台和患者侧推车被用在模拟的外科手术中,在该模拟的外科手术中物理外科部位被显示在外科医生操控台的显示装置上。例如,现实功能齐全的外科器械被插入到物理模型中,包括具有捕获物理外科部位的图像的照相机(或其它成像器械)的一个或多个内窥镜。图像被显示在操控台显示器上。操控台用户因此看见他或她正在操纵的实际器械。模拟系统能够协调模拟(包括记录参数)、提供引导和评价等。以下关于图9A和图9B示出这类实施方式的一个示例。
在其它变体中,向用户显示的图像能够是物理外科部位的生成的虚拟图形和捕获的图像的组合。例如,生成的虚拟器械能够被显示在其它物理器械的捕获的图像的旁边,或物理器械的图像能够被显示在生成的虚拟背景的旁边以看起来像实际外科部位。在一些实施方式中,物理外科部位的图像能够与显示在物理外科部位的图像的部分上方的扩增图像组合。例如,图形能够被叠加在物理部位的图像上以提供在医疗程序之前、期间或之后的反馈信息(诸如状态、指令、警报)和其它信息。
在其它变体中,视觉侧推车被包括在系统中。在外科部位的显示器上方的任何也能够被显示在由助理用户查看的视觉侧推车上的一个或更多个显示器上。在一些实施方式中,外科医生操控台和视觉侧推车能够以一些实施方式显示不同的图像或视图。例如,模拟系统的一些显示屏能够显示物理外科部位的内窥镜视图或照相机视图,同时系统的其它显示屏能够显示对应于物理外科部位的虚拟环境。例如,物理部位的照相机视图能够由视觉侧推车来显示以用于助理用户操作部位处的手动器械。同时,对应于物理部位的虚拟环境能够被显示在外科医生操控台上。在另一示例中,视觉侧推车能够显示指导反馈而不是由外科医生操控台显示的外科部位的图像,或除了由外科医生操控台显示的外科部位的图像之外还显示指导反馈。
图7A示出包括本文所述的若干部件的示例的模拟系统700的一个示例。外科医生操控台704能够为用户(诸如外科医生或外科医生受训者)提供控制装置,该用户坐在操控台处以操纵控制装置,并且外科医生操控台704也能够包括显示屏(图7B所示)。患者侧推车706包括许多操纵器臂714,该操纵器臂714包括臂的末端处的外科器械,并且该操纵器臂714响应于在外科医生操控台504处由用户所操作的控制装置。手术室台722被定位为邻近患者侧推车706,并且手术室台722能够包括可以接收患者侧推车的外科器械的解剖模型720(在该示例中模型由手术台上方的布所覆盖)。视觉侧推车708能够包括显示屏726和其它部件,诸如电子设备。在该示例中,显示屏726显示由模拟处理部件所生成的虚拟外科部位。例如,模型720能够仅是具有一个或更多个孔口且不具有任何内部物理外科部位的表面或对象,其中屏幕726上的虚拟外科部位不基于任何物理对应部位。在不同示例中,在屏幕726上所示的虚拟外科部位能够至少部分地对应于包括在模型720内的物理部位。模拟处理部件102能够位于系统700的一个或更多个部位(诸如外科医生操控台704、患者侧推车706等)中,或能够位于其自身的外壳(未示出)中。
在图7B中,示出示例显示屏740,该示例显示屏740被提供在外科医生操控台704上。在一些实施方式中,两个立体显示屏740能够被提供以示出3-D视图和/或屏幕740能够是接触响应的屏幕。在该示例中,显示屏740显示由模拟处理部件102所生成的虚拟环境。例如,虚拟器械尖端742(例如,末端执行器或其它末端部)被显示并且基于操控台704处的控制装置的用户操纵而在显示屏740上移动。这些显示的虚拟器械尖端742也追踪患者侧推车706处的物理器械尖端,该物理器械尖端在模型720内移动。环境中的对象也被显示,诸如由在缝合对象746的一部分中所使用的器械尖端742所抓住的线状物744。在一些实施方式中,虚拟线状物在虚拟环境内生成和/或对象746被生成为不同于模型720内的任何物理对象的新虚拟对象。在另一些实施方式中,虚拟线状物744能够对应于在模型720内由物理器械尖端所操纵的物理线状物。类似地,操纵的对象746也能够对应于模型720内的物理对象。
在一些实施方式中,如图7A所示,视觉侧推车708上的显示屏726能够显示与在操控台704的屏幕740上所显示的相同环境。这允许助理用户查看操控台用户正在查看的场景,从而允许手术程序期间更大的协助。
在另一些实施方式中,患者侧推车706上的内窥镜或其它成像装置能够捕获模型720内的物理部位的图像,并且实际物理部位的这些图像能够被显示在显示屏740和/或显示屏726上,而不是生成的虚拟环境或与一些虚拟生成的对象组合。
图8是示例遥控医疗装置800和示例解剖模型的透视图,该示例遥控医疗装置800能够被包括在患者侧推车106(类似于图7A中所示的患者侧推车706)中。装置800能够包括多个操纵器臂,其中每个臂被耦接到一个或更多个外科器械。例如,每个臂能够被视为可以耦接(“停靠”)到用于患者的模型中的每个端口或套管的遥控操纵器,并且操纵器控制套管和延伸通过套管进入模型或患者中以到达物理外科部位的器械两者。例如,一个器械802能够是照相机或内窥镜器械,并且三个其它器械804、806、808能够是外科手术器械。
解剖模型820的示例被示出,用于提高在外科手术室环境中作用在患者上的模拟。模型820能够包括多个孔822和模拟患者的表面的顶表面,并且套管和外科器械被插入通过该孔822和该顶表面。在一些实施方式中,一个套管和器械能够被插入到每个孔中,同时在其它实施方式中,多个套管和/或器械能够被插入通过单个孔(例如,单个部位)。模型820能够包括在下面或之内的中空空间,该中空空间能够保持一个或更多个物理外科部位824,在该物理外科部位824处物理训练能够发生操纵训练对象,诸如柔性材料、线状物、电线上的珠状物。
模型820被放置在对应于台上的患者的位置的方位处的手术台(诸如以上所述的台722)上。在准备模拟程序的实施方式中,不同的外科手术可以需要各种不同的端口放置,并且正被培训的用户可能必须将装置800定位在用于一个外科手术的一个方位中(例如,在手术台的足部处,模拟患者的腿之间的方位)和用于另一外科手术的第二方位中(例如,到手术台的侧部)。解剖模型820和训练的一些示例被描述在题为“Anatomical Model andMethod for Surgical Training”的待决专利申请No.13/968253中,其通过参考以其整体并入本文。
图9A示出包括本文所述的若干部件的示例的模拟系统的另一示例900。类似于图7A,外科医生操控台904能够为用户提供控制装置并且也能够包括一个或更多个显示屏(图9B中示出的示例)。患者侧推车906包括多个操纵器臂914,该操纵器臂914包括在臂的端部处的外科器械并且能够响应于由外科医生操控台904处用户所操作的控制装置。手术室台922被定位为邻近患者侧推车906,并且能够包括类似于如上所述的解剖模型920。视觉侧推车908能够包括显示屏926和其它部件,诸如电子设备。在该示例中,显示屏926显示类似于如下面在图9B中所述的外科医生操控台的屏幕上所显示的环境的虚拟环境。对应于模拟处理部件102的部件能够位于类似于如上所述的系统900的一个或更多个部件中。
模拟系统900也能够包括手动外科器械,诸如被示为腹腔镜器械的手动器械930。在一些实施方式中,手动器械930在模拟的外科手术期间能够由助理用户引导和操纵到模型920中或相对于模型920引导和操纵,同时外科医生用户使用外科医生操控台904控制遥控外科器械。外科医生受训者和助理受训者在模拟期间能够一起培训。在另一些实施方式中,外科医生受训者能够操作外科医生操控台904并且能够操作一个或更多个手动器械930,其中一个或更多个遥控操纵的器械能够由模拟系统(例如,内窥镜器械)来操作。一些实施方式能够使用遥控器械实现外科手术的模拟,并且然后使用一个或更多个手动器械实现相同的外科手术的模拟。这两个模拟的结果然后能够由系统进行比较,并且总结结果。包括手动器械930的一些实施方式在下面描述。
在图9B中,示出示例显示屏940,该示例显示屏940能够被提供在外科医生操控台904上。在该示例中,显示屏940显示由模拟处理部件102所生成的虚拟环境,其能够是2D或3D环境,并且在一些实施方式中能够被显示在接触响应的屏幕上。在该示例中,虚拟环境呈现模拟实际患者内的实际患者外科部位的内部的现实背景,包括身体组织和其它身体部件而不是图7B中生成的训练环境。虚拟器械尖端942被显示在显示屏940上并且基于操控台904处的控制装置的用户操纵在显示屏940上移动。显示的器械尖端942也追踪患者侧推车906的物理器械尖端,该物理器械尖端在模型920内的物理外科部位处移动。
虚拟环境中的对象也被显示(诸如由器械尖端或末端执行器942a所抓住的环形物944)并且沿着遵循虚拟对象948的轨道946移动作为训练。在一些实施方式中,环形物944和电线轨道946能够具有在模型920中提供的物理对应对象,该物理对应对象由对应于虚拟器械942的物理器械所操纵。在另一些实施方式中,不必有对应于一个或更多个虚拟对象的物理对象。例如,没有虚拟对象需要对应于物理器械,其中患者侧推车的物理器械能够是假器械。或者,仅虚拟器械能够对应于物理器械,该物理器械与模型的任何对象没有相互作用。
例如,器械尖端942b能够抓住虚拟对象950,该虚拟对象950没有模型920中的物理部位处的物理对应对象。在一些实施方式中,触觉输出能够通过使用外科医生操控台的一个或更多个致动器而被提供在外科医生操控台904的控制装置上,从而给用户提供操纵对象950的感受。
在一些实施方式中,器械尖端952能够被显示在屏幕840上和虚拟环境内。例如,尖端952能够对应于手动器械(诸如图9A中所示的手动器械930),该手动器械已经被插入到解剖模型920中。器械930的物理末端或尖端能够如在本文描述的一些实施方式中在模型920内被追踪,并且其对应虚拟尖端952因此在屏幕940的虚拟环境内移动。例如,虚拟尖端952能够被显示以与虚拟对象相互作用,该虚拟对象对应于模型920中的物理对象和/或对应于无对应物理对象的虚拟对象。
图10A-图10C图示说明关于在解剖模型内的追踪器械的示例。图10A是患者侧推车1002和解剖模型1004的示例实施方式1000的图解说明。患者侧推车1002的操纵器臂1006a、1006b和1006c包括分别是外科器械1008a、1008b和1008c的手术器械,并且操纵器臂1006d包括是内窥镜器械1008d的手术器械。器械1008a到1008d中的每个被分别插入到关联的套管1010a、1010b、1010c或1010d中(例如,在一些示例中器械能够是套管1010内的套管针、或套管1010能够是套管针1008的一部分,诸如用于模型1004中的初始插入)。套管1010被插入模型1004的孔口中。
例如,内窥镜器械1008d能够具有其自身的感测参考源1014,相对于感测参考源1014其能够感测插入到模型1004中的器械和套管。例如,当套管1010被移动到照相机的视图中时,内窥镜照相机能够捕获模型内的套管1010的图像。
模型1004也能够包括其自身的感测系统,用于追踪插入模型1004中(或否则与模型1004相互作用)的器械。在图10A的示例实施方式中,一个或更多个传感器被提供在模型1004内以感测套管1010。在该示例中,照相机系统1020被定位在模型1004的内部基部上以感测模型1004的内部。例如,照相机系统1020能够被定位在靠近患者侧元件(PSE)(诸如模型1004)或在患者侧元件内,或能够被定位在模型的底部或侧部的其它方位处。照相机系统1020因此继续捕获示出被插入在模型中的套管1010的位置的图像,以及示出被插入通过套管1010的外科器械1008的位置的图像。照相机系统1020因此具有其自身的感测参考源1022,该感测参考源1022是用于由照相机系统所捕获的图像的参考点。在图10A的示例中,两个照相机被示出在照相机系统1020中,以允许立体三角测量确定解剖模型中的套管1010的位置。在其它实施方式中,照相机系统1020能够包括单个照相机或其它类型传感器以捕获套管和器械的位置或运动。
图10B示出解剖模型内的照相机系统的示例视图1050,诸如具有图10A的模型1004的照相机系统1020。照相机系统1020包括两个照相机,并且左视图1052是其中一个照相机的视图,且右视图1054是另一个照相机的视图。顶表面1056和底表面1058以及模型的顶部中的孔口1060被示出。套管1010能够被查看为插入通过模型的具体孔。在具有两个照相机的该示例中,立体三角测量能够用于参考照相机的源系统来精确地确定每个套管1010的位置。在一些实施方式中,每个套管1010能够通过个别标志或其它特性与每个其它套管1010区分开。例如,每个套管1010能够具有不同的外部颜色以允许由感测系统1020简单区分每个套管1010。
图10C示出模型1004的顶表面的外表面的平面图,包括表面中的孔1060。标志1070指示特定孔,套管1010已经被插入通过特定孔由照相机系统1020检测。基于用在可视化软件中的照相机系统1020和(例如)解剖模型1004的3-D计算机辅助设计(CAD)模型的感测视图,由模拟处理部件102产生这类视图。图10C的视图能够被用于在模拟的医疗程序期间显示用于指导和引导目的的模型的端口放置。例如,示出标志使用端口的视图能够紧挨着类似视图被显示,该类似视图显示在正被模拟的特定医疗程序中使用的正确端口。
手动器械能够类似于以上所述的套管和遥控器械由感测系统1020追踪。例如,手动腹腔镜工具能够被追踪。其它器械能够包括举宫器、收缩工具、穿针工具、另一个操纵器臂或附接到模拟系统的分离部件的器械、或其它器械,其中与患者侧推车分离的器械或装置被追踪并且被合并到模拟环境中。
图11A和图11B是在模拟的医疗程序中解剖模型1100的使用的一个示例的图解说明,该模拟的医疗程序包括遥控外科器械和手动外科器械两者的使用。图11A是模型1100和插入的器械的外视图,并且图11B是模型1100的内视图。模型1100能够是类似于以上所述的模型并且包括在模型的上架部中的孔口1102,在准备程序期间套管1104被插入通过孔口1102。遥控外科器械(诸如腹腔镜器械和内窥镜)能够被插入到套管1104中。替代地,手动外科器械(诸如手动腹腔镜器械1110)能够被插入到一个或更多个套管1104中。
在该实施方式中,传感器能够被提供在模型1100内以感测套管1104和手动器械,诸如器械1110。在该示例中,照相机系统1112被定位在模型1100的内部基部上以类似于如图10A所述来感测模型1100的内部。照相机系统1112因此能够捕获示出当套管1104被插入模型中时的图像以及示出当外科器械被插入到套管1104中时的图像。在一些实施方式中,因为遥控外科器械的位置基于遥控臂中的传感器已经为已知,所以这类器械不需要被追踪,并且假器械能够被使用,例如,其不延伸到模型1100的内部中空部。
其它类型传感器能够代替照相机在其它实施方式中被使用。例如,电磁传感器、其它可选传感器等能够用于感测套管和手动外科器械。
图12是图示说明关于图11A到11B的在一个或更多个模拟的外科程序中使用解剖模型与遥控外科器械和手动外科器械两者的示例方法的流程图。在一些实施方式中,框1202到框1208能够在模拟的准备程序期间被执行,并且框1210和框1212能够在模拟的外科手术期间被执行(框1210也能够在模拟的准备程序期间被执行)。
在框1202中,模拟处理部件102能够接收模型1100相对于患者侧推车的遥控臂的位置。例如,一个臂的末端处的遥控器械能够被移动以接触(配准)多个方位中的模型以建立3-D空间中的模型的方位。在其它实施方式中,框1202能够被省略或在稍后的时间处被执行,例如,能够在下面的框1206中将器械停靠到套管之后通过使用遥控臂中的传感器确定相对于遥控器械的模型方位。
在框1204中,模拟处理部件感测套管1104插入到模型1100中并且模拟处理部件估计套管1104的位置和取向。例如,如照相机系统1112的传感器能够将信号发送到模拟处理部件。在框1206中,模拟处理部件感测遥控假器械停靠和插入到套管1104中,例如,基于来自患者侧推车的操纵器臂中的传感器的信号。在其它实施方式中,整个外科器械能够被停靠到和插入套管1104中。在框1208中,传感器(诸如照相机系统1112)和模拟处理部件感测一个或更多个手动器械(诸如器械1110)插入到套管1104中。框1206和框1208能够以任何顺序和/或至少部分地同时被执行。在框1210中,模拟处理部件生成虚拟环境并且生成对应于遥控外科器械和手动外科器械的虚拟环境中的虚拟外科器械。在框1212中,模拟处理部件基于操控台信号、感测的遥控器械以及感测的手动外科器械运行模拟的外科手术。
方法1200的一些实施方式能够使用解剖模型和/或遥控医疗装置的感测系统连同显示虚拟环境。在一些示例中,在没有遥控臂且没有模型相对于遥控臂的精确位置/取向的情况下,模型的一般图片能够被显示。例如,在不使用遥控臂运动学的情况下,通过使用模型内部的照相机,能够确认由用户放置的端口方位。在开始将遥控臂停靠到模型之前,向用户给出指令以调节不正确的端口方位。一旦臂被停靠,臂运动学能够用于估计模型相对于遥控医疗装置的位置和取向。(其它实施方式能够使用放置在解剖模型中或解剖模型上的传感器以估计模型相对于患者侧停车的姿态和方位,而不是使用遥控臂传感器)。然后,能够向受训者显示外科部位和/或手术室的整个场景。在一些实施方式中,模型中的传感器能够追踪外科器械以提供模型相对于遥控装置的方位的估计,并且在模型被撞击或由受训者移动的情况下,方位的这种估计能够在程序或手术期间被更新以继续提供精确的相对模型方位。
图13A和图13B是在模拟的医疗程序中使用解剖模型1300的示例的图解说明,该模拟的医疗程序包括使用手动外科器械。模型1300能够是类似于以上所述的模型。图13A是模型1300和插入的器械的外视图,并且图13B是模型1300的内视图。模型1300包括在模型的上部中的孔口1302。特定孔口1306能够被设计为用于通常被插入通过这些孔口的遥控器械的远程中心,但是用于遥控器械的套管在这种实施方式中不需要被放置。一个或更多个套管(诸如套管1304)在准备程序期间被插入到模型1300中,其中手动器械被插入孔口中。手动外科器械(诸如手动腹腔镜器械1310)能够被插入套管1304中。
传感器能够被提供在模型1300内以感测套管(诸如套管1304)和手动器械(诸如器械1310)。在该示例中,照相机系统1312被定位在模型1300的内部基部上以感测模型1300的内部。照相机系统1312能够捕获示出当套管1304已经被插入模型中时的图像以及示出当手动外科器械已经被插入到套管1304中时的图像。模拟处理器能够基于模型的已知几何结构和正被模拟的特定医疗程序来定位用于遥控外科器械的孔口1306。因此,这些特定孔口方位能够是假定的臂遥控中心,并且套管不需要被追踪,任何遥控外科器械也不需要与模型一起被停靠。因此,该实施方式能够用于包括使用手动外科器械和不需要使用患者侧推车的模拟,例如,遥控外科器械能够全部是在由模拟处理部件提供的虚拟环境中生成的虚拟器械。
其它类型传感器能够代替照相机被用于其它实施方式。例如,电磁传感器、其它可选传感器等能够被用于感测套管和手动外科器械。
图14是图示说明关于图13的在模拟的医疗程序中使用手动外科器械的示例方法1400的流程图。在一些实施方式中,框1402到框1406能够在模拟的准备程序期间被执行,并且框1408和框1410能够在模拟的外科手术期间被执行(框1408也能够在准备程序期间被执行)。
在框1402中,模拟处理部件102假定模型1300的位置和取向,包括假定模型中的外科部位和孔口的位置(遥控器械的远程中心),该遥控外科器械被插入该孔口中。为了做到这一点,模拟处理部件知晓模型的几何结构和其孔口和物理外科部位方位以及在正被设置的外科手术中所使用的特定孔口。在框1404中,模拟处理部件通过使用模型1300的传感器来感测套管1304插入到模型1300中,并且模拟处理部件估计套管1304的位置和取向。在框1406中,模拟处理部件感测一个或更多个手动器械(诸如器械1310)插入套管1304中。在框1408中,模拟处理部件生成虚拟环境并且生成对应于遥控外科器械和手动外科器械的虚拟环境中的虚拟外科器械。在用于模型1300中的遥控器械的手动外科器械与假定的孔口方位之间的相对位置实现在虚拟环境中相对定位这些器械。在框1410中,模拟处理部件基于(用于移动虚拟遥控外科器械的)操控台信号和感测的手动外科器械来运行模拟的外科手术并且更新虚拟环境。
在各种模拟实施方式中,本文描述的特征提供各种功能和优点。例如,模拟处理部件(例如,处理单元)能够与外科医生操控台(例如,与主控制器)和/或患者侧推车(例如,与从动操纵器臂和器械)相互作用。主操控台能够驱动患者侧推车上的具有器械或不具有器械(或具有假器械)的从动臂。
模拟系统能够模拟和提供在模拟的外科手术之前关于系统准备的引导和其它反馈以及模拟器臂的精确定位。这能够被用于使用无生命培训训练或湿实验室训练向外科医生提供标准的和一致性培训。模拟的外科手术能够在模拟的准备程序之后,该模拟的准备程序能够允许全部医疗程序被模拟。这允许受训者看到不适当执行的任务的后果。例如,在准备程序中所执行的不适当的或不正确的任务可能在后面的外科手术中具有反应,并且本文的模拟系统模拟全部效果以允许受训者学习和改进。
模拟系统能够显示虚拟环境(例如,如果安装模拟系统,则忽视内窥镜供给和器械)、组合或扩增环境(例如,具有生成的图形视觉叠加或虚拟环境对象的内窥镜供给)或全部视觉成像(例如,内窥镜)供给。例如,一些实施方式能够在外科医生操控台显示屏和一个或更多个外部显示屏(例如,2D或3D显示屏)上显示虚拟环境和/或来自患者侧推车的内窥镜视频供给。在一些示例中,在任何培训训练期间能够通过外科医生操控台上的显示系统(诸如使用来自Intuitive Surgical,Inc.的TilePro)输出虚拟图像或扩增图像,从而提供指令或执行度量。例如,虚拟现实(VR)或其它生成图像和/或叠加在照相机图像上的扩增现实(AR)重像能够被显示在系统显示装置上以指示或强调关注或感兴趣的系统区域,诸如具有强调的不正确位置的患者推车准备接头、显示的器械的可达性限制、和/或内部/外部碰撞。这能够降低培训助理的负担,以在培训程序期间抓住错误。
系统能够在操控台外科医生完成无生命培训或湿实验室训练期间记录(多个)主操控台和(多个)遥控从动医疗装置的运动学和事件,从而计算培训度量并且使用类似界面来显示这类度量作为纯粹虚拟的培训训练。附加地或替代地,系统能够在使用实际器械完成患者侧训练和准备程序期间记录遥控设置的运动学和事件、以及计算培训度量和使用类似界面显示这类度量作为纯粹虚拟的培训训练。另外,系统能够在完成猪模型上的训练模块期间(例如,在非部位培训期间)记录主操控台和从动装置的运动学和事件,从而提供度量和显示这类度量。数据的这类详细收集和量化以及受训者执行的追踪允许受训者和模拟操作者很详细地回顾培训进程,从而导致个别受训者进程以及培训程序的思考和改进,并且因此允许总的较大培训效果。
来自任何培训环境的所有数据或配置能够以相同方式局部地或远程地被记录和被存储以改进数据的可存取性、在模拟程序期间的外科医生培训的监控和受训者人员的执行、训练的标准化以及在培训期间对外科医生的反馈(例如,改进外科医生培训)。模拟系统能够对与系统架构分离的一个软件平台集中大多数培训内容,该软件平台能够避免改变系统软件的困难以适应培训(潜在地导致FDA问题等)。
遥控医疗装置外科手术提供记录、追踪以及监控外科手术和外科医生培训(与任何已有形式的外科手术不同)的空前能力。本文所述的实施方式能够有效利用这种能力和能够获得的数据(例如,用于模拟和培训目的)。遥控和非遥控系统的各种实施方式的一些附加优点能够包括以下内容。
本文所述的特征能够集中关于单个系统(例如,单个遥控医疗系统)的用户培训和评价。一些系统能够提供使用具有分离的外科医生操控台和患者侧推车的遥控医疗系统上的单个模拟框架以监控和追踪进程并且显示在单个软件和用户界面(UI)框架下的所有反馈的能力。一些系统能够提供在湿实验室训练或猪模型训练和干实验室期间使用遥控医疗系统提供扩增现实输出和反馈的能力。一些系统能够提供使用用于各种类型的培训训练的单个软件和硬件架构来组合培训数据的能力,该各种类型的培训训练包括虚拟环境训练、无生命训练、湿实验室或猪模型等。一个或更多个特征能够允许使用单个模拟架构所进行的任何培训训练或非部位实验室训练以提供实时(在程序期间)和训练结束的度量,从而引导培训和学习。
本文的特征能够改进培训数据的可存取性,尤其针对在模拟器系统上未正常实施的任务。特征能够改进培训的标准化,因为系统能够用于若干类型的培训任务。特征能够通过量化和传送反馈(除了由培训人员所提供的反馈)来改进非部位培训实验室处的外科医生培训以帮助受训者学习。另外,特征能够帮助培训人员更好地同时管理多个外科医生培训(例如,两个外科医生操控台培训)。此外,特征能够通过模拟准备程序期间所执行的任务以及通过提供由系统所确定的和为准备训练实时显示的反馈,改进由临床销售代表(CSR)或其它指指导者所进行的外科医生培训。
本文所述的特征能够扩大遥控和非遥控医疗模拟系统支持无生命培训训练、湿实验室培训情景以及基于VR的培训训练的能力。单个模拟系统能够管理和记录由外科医生例如与其CSR、与专用的培训专员(TS)一起执行的或由外科医生独立地执行的所有培训。模拟系统能够用于模拟与实际外科手术外面的系统的所有相互作用。
应当注意的是,在适当情况下,本文的各种方法中所述的框能够以与所示顺序不同的顺序被执行和/或能够与相同方法中的其它框同时(部分地同时或全部地同时)被执行。在一些实施方式中,框能够以不同顺序和/或在方法中不同时间处出现多次。
图示说明特征和实施方式的说明书和附图不应当被视为限制。能够作出各种机械的、组成的、结构的、电动的以及操作的变化,而不脱离说明书和权利要求的精神和范围。在一些示例中,为了不模糊所述特征,没有按顺序详细地示出或描述已知的电路、结构或技术。
另外,说明书的术语不意于限制权利要求的范围。例如,空间相关术语—诸如“在…之下”、“在…下面”、“下”、“在…上面”、“上”、“近侧”、“远侧”等—可以用于描述如在图中图示说明的一个元件或特征与另一元件或特征的关系。除了图中所示的位置和取向之外,这些空间相关术语还意于包含使用中或操作中的装置的不同位置(即方位)和取向(即旋转放置)。例如,如果图中的装置被翻转,则描述为在其它元件或特征“下面”或“之下”然后应是在其它元件或特征“上面”或“之上”。因此,示例性术语“在…下面”能够包含上面和下面的位置和取向两者。否则,装置可以被取向(旋转90度或以其它取向)并且本文所使用的空间相关描述被相应地理解。同样,沿着和围绕各种轴线的运动的描述包括各种具体的装置位置和取向。此外,单数形式“一”、“一个”以及“所述”意于也包括复数形式,除非上下文另有指示。被描述为耦接的部件可以是直接电或机械耦接,或其可以经由一个或更多个中间部件被间接耦接。
只要可行,参考一种实施方式详细所述的元件能够被包括在其它实施方式中,在其它实施方式中所述元件不被具体地示出或描述,除非一个或更多个元件实现非功能性或提供冲突的功能。例如,如果参考一个实施例详细描述一个元件而参考第二实施例没有描述该元件,则该元件仍然可以被包括在第二实施例中。
如本领域技术人员所知,本公开所述的功能性方法、框、特征、装置以及系统能够被集成或被分为不同组合。公开的方法和操作可以以具体顺序被呈现,但是在不同的特定实施方式中能够改变顺序。在一些实施方式中,在本公开中按次序所示的多个步骤或框能够至少部分地同时被执行。

Claims (28)

1.一种用于提供医疗程序培训的系统,所述系统包含:
模拟处理部件,其包括至少一个处理器;
医疗装置结构,其包括外科器械,其中所述医疗装置结构相对于物理外科部位定位在模拟区域内;和
系统部件,其与所述物理外科部位和所述医疗装置结构分离能够在所述模拟区域内移动,
其中所述模拟处理部件被配置成执行模拟准备程序中的操作,所述模拟准备程序中的所述操作包括:
确定所述系统部件相对于所述物理外科部位的位置;和
确定所述医疗装置结构相对于所述物理外科部位的位置;
其中所述模拟处理部件被配置成基于从所述模拟准备程序中确定的所述系统部件的所述位置和所述医疗装置结构的所述位置来执行模拟外科程序中的操作。
2.根据权利要求1所述的系统,其中所述系统部件是包括显示装置的视觉侧推车。
3.根据权利要求2所述的系统,其中所述视觉侧推车的所述显示装置被配置成显示以下中的至少一个:
在所述模拟外科程序期间的所述物理外科部位的照相机视图;
由所述模拟处理部件生成的虚拟外科部位的视图;或
与所述模拟外科程序期间提供来自系统用户的输入控制信号有关的指导性反馈。
4.根据权利要求1所述的系统,其中所述系统部件是包括显示装置的控制操控台,其中所述控制操控台包括至少一个输入控制装置,所述至少一个输入控制装置可由用户操作以生成在所述模拟外科程序期间被输入到所述模拟处理部件的控制信号。
5.根据权利要求1所述的系统,其中所述医疗装置结构包括操纵器臂,其中所述外科器械连接至所述操纵器臂,并且其中所述模拟准备程序中的操作还包括:
接收指示所述操纵器臂的位置的臂位置信号,其中所述操纵器臂和所述外科器械由至少一个用户在所述模拟准备程序期间在准备任务中定位在空间中;
比较所述操纵器臂的位置与参考臂位置;并且
基于比较所述操纵器臂的位置的结果,使得输出装置输出准备反馈信息。
6.根据权利要求1所述的系统,其中所述模拟准备程序中的操作还包括:
比较所述医疗装置结构的所述位置与参考位置;并且
基于比较所述医疗装置结构的所述位置与所述参考位置的结果,使得输出装置输出准备反馈信息。
7.根据权利要求1所述的系统,其中所述医疗装置结构包括医疗装置推车,所述医疗装置推车是能够独立于所述物理外科部位和所述系统部件在所述模拟区域中移动的独立装置,其中所述医疗装置结构的所述位置是所述医疗装置手推车在所述模拟区域中的位置。
8.根据权利要求2所述的系统,其进一步包括控制操控台,所述控制操控台包括至少一个输入控制装置,所述至少一个输入控制装置可由用户操作以生成在所述模拟外科程序期间被输入到所述模拟处理部件的控制信号,其中所述控制操控台包括显示装置,其中所述控制操控台是能够独立于所述物理外科部位、所述视觉侧推车和所述医疗装置结构在所述模拟区域中移动的独立部件,
其中所述模拟准备程序中的操作还包括确定所述控制操控台在所述模拟区域中的位置,
其中所述模拟处理部件被配置为基于从所述模拟准备程序确定的所述系统部件的所述位置、所述医疗装置结构的所述位置和所述控制操控台的所述位置来执行所述模拟外科程序中的操作。
9.根据权利要求1所述的系统,其中所述模拟外科程序中的操作包括:
读取用于所述医疗装置结构的位置信号,所述位置信号描述所述外科器械相对于所述物理外科部位的位置或配置中的至少一个,其中所述位置或所述配置中的所述至少一个基于与系统用户的输入对应的控制信号。
10.根据权利要求2所述的系统,其中所述模拟外科程序中的所述操作还包括:
确定在所述模拟外科程序期间不正确的准备是否已经就位,所述不正确的准备是由所述模拟准备程序导致的;并且
响应于确定所述不正确的准备是否已经就位,使得所述视觉侧推车的所述显示装置输出外科反馈信息以指示所述不正确的准备。
11.根据权利要求2所述的系统,其中所述模拟准备程序中的操作还包括:
比较所述视觉侧推车的所述位置与所述视觉侧推车相对于所述物理外科部位和所述医疗装置结构的参考位置;并且
基于比较所述视觉侧推车的所述位置的结果,使得输出装置输出准备反馈信息。
12.一种用于提供医疗程序训练的方法,所述方法包括:
由模拟处理部件的至少一个处理器协调在物理外科部位处的遥控医疗装置的模拟医疗程序,
在所述模拟医疗程序的模拟准备程序中:
由所述至少一个处理器确定系统部件相对于所述物理外科部位的位置,其中所述系统部件由至少一个用户在所述模拟准备程序期间在准备任务中相对于所述物理外科部位定位,其中所述系统部件能够独立于所述物理外科部位和所述遥控医疗装置移动;
由所述至少一个处理器确定所述遥控医疗装置相对于所述物理外科部位的位置,其中所述遥控医疗装置在所述模拟准备程序期间在所述准备任务期间由至少一位受训者定位;
由所述至少一个处理器在存储装置中存储所述系统部件的所述位置;
由所述至少一个处理器在所述存储装置中存储所述遥控医疗装置的所述位置;并且
基于从所述模拟准备程序确定的所述系统部件的所述位置和所述遥控医疗装置的所述位置,执行在模拟外科程序中的操作。
13.根据权利要求12所述的方法,其中所述遥控医疗装置包括医疗装置推车,所述医疗装置推车是能够独立于所述物理外科部位和所述系统部件在模拟区域中移动的独立装置,
其中所述遥控医疗装置的所述位置是所述医疗装置推车在所述模拟区域中的位置。
14.根据权利要求12所述的方法,其进一步包括:
在所述模拟医疗程序的所述模拟准备程序中,由所述至少一个处理器接收基于至少一个受训者在所述模拟医疗程序期间移动的所述遥控医疗装置的一个或多个操纵器臂的一个或多个位置的位置信号,其中所述一个或多个操纵器臂能够相对于所述物理外科部位在物理上定位,其中所述至少一个外科器械耦接至所述一个或多个操纵器臂中的至少一个,其中所述一个或多个操纵器臂由至少一个用户在所述模拟准备程序期间在所述准备任务中相对于所述物理外科部位定位;
在所述模拟准备程序的所述准备任务期间,由所述至少一个处理器将所述一个或多个操纵器臂的所述一个或多个位置存储在所述存储装置中;
由所述至少一个处理器将所述准备任务期间的所述一个或多个位置与参考任务中的一个或多个参考位置进行比较,以评估所述模拟准备程序的所述准备任务的性能;并且
使得所述至少一个处理器输出在所述模拟准备程序期间使用一个或多个输出装置的反馈信息,其中所述反馈信息至少部分基于比较所述一个或多个操纵器臂的所述一个或多个位置。
15.根据权利要求12所述的方法,所述系统部件是包括显示装置的视觉侧推车。
16.根据权利要求15所述的方法,其中所述模拟外科程序的操作包括使得所述视觉侧推车的所述显示装置显示以下至少一项:
在所述模拟外科程序期间的所述物理外科部位的照相机视图;
由所述模拟处理部件生成的虚拟外科部位的视图;或
与所述模拟外科程序期间提供来自用户的输入控制信号有关的指导性反馈。
17.根据权利要求15所述的方法,其进一步包括,在所述模拟外科程序中:
生成虚拟环境;
使得所述虚拟环境由所述视觉侧推车的所述显示装置显示;
基于来自受训者的控制信号来更新所述虚拟环境,所述更新包括在所述虚拟环境内移动虚拟外科器械,其中所述虚拟外科器械与所述虚拟环境的虚拟外科部位的相互作用至少部分地由所述遥控医疗装置的物理外科器械与所述物理外科部位之间的物理关系来限定;并且
使得更新的虚拟环境由所述视觉侧推车的所述显示装置显示。
18.根据权利要求15所述的方法,其进一步包括在遵循所述模拟准备程序的所述模拟医疗程序的模拟外科程序中:
确定在所述模拟外科程序期间不正确的准备是否已经就位,所述不正确的准备是由所述模拟准备程序导致的;并且
响应于确定所述不正确的准备是否已经就位,使得所述视觉侧推车的所述显示装置输出外科反馈信息以指示所述不正确的准备。
19.根据权利要求12所述的方法,其中所述系统部件是包括显示装置的控制操控台,其中所述控制操控台包括至少一个输入控制装置,所述至少一个输入控制装置可由用户操作以生成在所述模拟外科程序期间被输入到所述模拟处理部件的控制信号。
20.一种用于提供医疗程序训练的系统,所述系统包括:
第一操纵器臂,其用于操纵第一外科器械,其中所述第一操纵器臂可由至少一个用户相对于物理外科部位定位;
第二操纵器臂,其用于操纵第二外科器械,其中所述第二操纵器臂可由所述至少一个用户相对于所述物理外科部位定位;和
模拟处理部件,其包括至少一个处理器并且被配置为:
接收所述第一操纵器臂相对于所述物理外科部位的位置,
接收所述第二操纵器臂相对于所述物理外科部位的位置,
基于所述第一操纵器臂的所述位置和所述第二操纵器臂的所述位置配置所述第一操纵器臂和所述第二操纵器臂的模拟准备,
基于参考准备执行对所述模拟准备的评估;并且
基于所述模拟准备执行在模拟外科环境中的操作。
21.根据权利要求20所述的系统,其中对所述模拟准备的评估包括将所述第一操纵器臂的所述位置和所述第二操纵器臂的所述位置与所述参考准备的参考位置进行比较。
22.根据权利要求20所述的系统,其中所述模拟处理部件还被配置为基于所述模拟准备的评估,使得输出装置输出准备反馈信息。
23.根据权利要求20所述的系统,其中在所述模拟外科环境中的所述操作包括读取所述第一操纵器臂和所述第二操纵器臂的位置信号,所述位置信号描述所述第一外科器械和所述第二外科器械相对于所述物理外科部位的位置或配置中的至少一个,其中所述位置或所述配置中的所述至少一个基于与外科环境用户的输入对应的控制信号。
24.根据权利要求20所述的系统,其中所述第一操纵臂和所述第二操纵臂被包括在医疗装置结构中。
25.根据权利要求24所述的系统,其中:
所述医疗装置结构相对于所述物理外科部位定位在模拟区域中,并且
所述医疗装置结构包括医疗装置推车,所述医疗装置推车是能够独立于所述物理外科部位在所述模拟区域中移动的独立装置。
26.根据权利要求25所述的系统,其中所述医疗装置结构的所述位置是所述医疗装置推车在所述模拟区域中的位置。
27.根据权利要求24所述的系统,其中:
所述医疗装置结构相对于所述物理外科部位定位在模拟区域中,并且
所述系统进一步包括视觉侧推车,所述视觉侧推车包括显示装置,其中所述视觉侧推车是能够独立于所述物理外科部位和所述医疗装置结构在所述模拟区域中移动的独立装置,
其中所述模拟处理部件进一步配置成用于:
确定所述视觉侧推车在所述模拟区域中的位置;
比较所述视觉侧推车的所述位置与所述视觉侧推车相对于所述物理外科部位和所述医疗装置结构的参考位置;并且
基于所述视觉侧推车的所述位置与所述视觉侧推车的参考位置比较的结果,使得输出装置输出准备反馈信息。
28.根据权利要求24所述的系统,其中:
所述医疗装置结构相对于所述物理外科部位定位在模拟区域中,并且
所述系统进一步包括控制操控台,所述控制操控台包括至少一个输入控制装置,所述至少一个输入控制装置可由操控台用户操作以生成输入到所述模拟处理部件以用于所述模拟外科环境中的操作的控制信号,其中所述控制操控台包括显示装置,其中所述控制操控台是能够独立于所述物理外科部位和所述医疗装置结构在所述模拟区域中移动的独立部件,
其中所述模拟处理部件进一步配置成:
确定所述控制操控台在所述模拟区域中的位置,
比较所述控制操控台的所述位置与所述控制操控台相对于所述物理外科部位和所述医疗装置结构的参考位置,并且
基于所述控制操控台的所述位置与所述控制操控台的所述参考位置比较的结果,使得输出装置输出准备反馈信息。
CN202011072053.6A 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统 Active CN112201131B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361919631P 2013-12-20 2013-12-20
US61/919,631 2013-12-20
PCT/US2014/071521 WO2015095715A1 (en) 2013-12-20 2014-12-19 Simulator system for medical procedure training
CN201480076076.0A CN106030683B (zh) 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480076076.0A Division CN106030683B (zh) 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统

Publications (2)

Publication Number Publication Date
CN112201131A CN112201131A (zh) 2021-01-08
CN112201131B true CN112201131B (zh) 2022-11-18

Family

ID=53403746

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480076076.0A Active CN106030683B (zh) 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统
CN202011072053.6A Active CN112201131B (zh) 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480076076.0A Active CN106030683B (zh) 2013-12-20 2014-12-19 用于医疗程序培训的模拟器系统

Country Status (6)

Country Link
US (3) US10510267B2 (zh)
EP (2) EP3084747B1 (zh)
JP (3) JP6659547B2 (zh)
KR (2) KR102405656B1 (zh)
CN (2) CN106030683B (zh)
WO (1) WO2015095715A1 (zh)

Families Citing this family (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8423182B2 (en) * 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9805625B2 (en) 2010-10-29 2017-10-31 KindHeart, Inc. Surgical simulation assembly
WO2012058533A2 (en) 2010-10-29 2012-05-03 The University Of North Carolina At Chapel Hill Modular staged reality simulator
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
US9301811B2 (en) 2012-09-17 2016-04-05 Intuitive Surgical Operations, Inc. Methods and systems for assigning input devices to teleoperated surgical instrument functions
US10631939B2 (en) 2012-11-02 2020-04-28 Intuitive Surgical Operations, Inc. Systems and methods for mapping flux supply paths
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
EP3834752B1 (en) 2013-12-11 2024-03-13 Covidien LP Wrist and jaw assemblies for robotic surgical systems
KR102405656B1 (ko) * 2013-12-20 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
JP2017505202A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 外科用器具可視性のロボット制御
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
CN110063791B (zh) 2014-08-13 2022-04-15 柯惠Lp公司 机器人控制的具有机械优势的夹持
EP3185811A4 (en) * 2014-11-21 2018-05-23 Think Surgical, Inc. Visible light communication system for transmitting data between visual tracking systems and tracking markers
WO2016133633A1 (en) 2015-02-19 2016-08-25 Covidien Lp Repositioning method of input device for robotic surgical system
US10716639B2 (en) 2015-03-10 2020-07-21 Covidien Lp Measuring health of a connector member of a robotic surgical system
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
WO2016191364A1 (en) 2015-05-22 2016-12-01 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for controlling a concentric tube probe
EP3302335A4 (en) 2015-06-03 2019-02-20 Covidien LP OFFSET INSTRUMENT DRIVE UNIT
CN107847283B (zh) 2015-06-09 2022-02-22 直观外科手术操作公司 利用外科手术过程图集配置外科手术系统
CN107743384B (zh) 2015-06-16 2020-12-22 柯惠Lp公司 机器人外科手术系统扭矩传感感测
JP6719487B2 (ja) 2015-06-23 2020-07-08 コヴィディエン リミテッド パートナーシップ ロボット外科手術アセンブリ
US10136949B2 (en) 2015-08-17 2018-11-27 Ethicon Llc Gathering and analyzing data for robotic surgical systems
ES2610032B1 (es) * 2015-09-02 2018-01-31 Universidad Miguel Hernández Simulador clínico cadavérico
US10198969B2 (en) 2015-09-16 2019-02-05 KindHeart, Inc. Surgical simulation system and associated methods
KR102661990B1 (ko) 2015-09-18 2024-05-02 아우리스 헬스, 인크. 관형 조직망의 탐색
US10806454B2 (en) 2015-09-25 2020-10-20 Covidien Lp Robotic surgical assemblies and instrument drive connectors thereof
CN108135670B (zh) 2015-10-23 2021-02-26 柯惠Lp公司 用于检测灌注中逐步变化的手术系统
KR20180068336A (ko) * 2015-11-12 2018-06-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 훈련 또는 보조 기능들을 갖는 수술 시스템
CN108348297B (zh) 2015-11-19 2021-08-31 柯惠Lp公司 用于机器人手术系统的光学力传感器
JP6644530B2 (ja) * 2015-11-30 2020-02-12 オリンパス株式会社 内視鏡業務支援システム
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
JP2017104964A (ja) * 2015-12-11 2017-06-15 川崎重工業株式会社 マスターアーム入力装置
JP6180692B1 (ja) * 2015-12-28 2017-08-16 オリンパス株式会社 医療用マニピュレータシステム
ITUA20161926A1 (it) * 2016-03-23 2017-09-23 Medvirt Sagl Metodo per la simulazione di una endoscopia.
CN109074755B (zh) * 2016-04-06 2024-06-14 皇家飞利浦有限公司 用于使得能够分析生命体征检测器的性能的方法、设备和系统
WO2017173524A1 (en) 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
US20170294146A1 (en) * 2016-04-08 2017-10-12 KindHeart, Inc. Thoracic surgery simulator for training surgeons
CA3022164A1 (en) 2016-05-26 2017-11-30 Covidien Lp Robotic surgical assemblies
CN113328581B (zh) 2016-05-26 2024-06-11 柯惠Lp公司 器械驱动单元
CN109152612A (zh) 2016-06-03 2019-01-04 柯惠Lp公司 具有嵌入式成像仪的机器人手术系统
WO2017210074A1 (en) 2016-06-03 2017-12-07 Covidien Lp Passive axis system for robotic surgical systems
CN107735040B (zh) 2016-06-03 2021-06-18 柯惠Lp公司 用于机器人手术系统的控制臂
CN109275333B (zh) 2016-06-03 2022-05-17 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
RU2769419C2 (ru) * 2016-09-29 2022-03-31 Симбионикс Лтд. Способ и система для медицинского моделирования в операционной комнате в среде виртуальной реальности или дополненной реальности
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
WO2018089816A2 (en) * 2016-11-11 2018-05-17 Intuitive Surgical Operations, Inc. Teleoperated surgical system with surgeon skill level based instrument control
WO2018118858A1 (en) 2016-12-19 2018-06-28 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
CA3048039A1 (en) 2017-02-15 2018-08-23 Covidien Lp System and apparatus for crush prevention for medical robot applications
US10251709B2 (en) * 2017-03-05 2019-04-09 Samuel Cho Architecture, system, and method for developing and robotically performing a medical procedure activity
JP6649912B2 (ja) 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
WO2018175971A1 (en) * 2017-03-24 2018-09-27 Surgical Theater LLC System and method for training and collaborating in a virtual environment
CN106875802A (zh) * 2017-03-29 2017-06-20 张小来 一种传染病护理模拟操作方法及系统
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
CN110494095B (zh) * 2017-04-20 2023-03-21 直观外科手术操作公司 用于约束虚拟现实手术系统的系统和方法
JP7190448B2 (ja) * 2017-05-16 2022-12-15 コーニンクレッカ フィリップス エヌ ヴェ 解剖学的モデルの仮想拡張
EP3629979A4 (en) 2017-05-24 2021-02-17 Covidien LP PRESENCE DETECTION FOR ELECTROSURGICAL TOOLS IN A ROBOTIC SYSTEM
JP2020520694A (ja) 2017-05-25 2020-07-16 コヴィディエン リミテッド パートナーシップ ロボット手術システムおよびロボット手術システムのコンポーネントを覆うためのドレープ
EP3629981A4 (en) 2017-05-25 2021-04-07 Covidien LP SYSTEMS AND METHODS FOR DETECTION OF OBJECTS WITHIN A FIELD OF VIEW OF AN IMAGE CAPTURING DEVICE
US11839441B2 (en) 2017-05-25 2023-12-12 Covidien Lp Robotic surgical system with automated guidance
US20180365959A1 (en) * 2017-06-14 2018-12-20 David R. Hall Method for Posture and Body Position Correction
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11284955B2 (en) 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11270601B2 (en) 2017-06-29 2022-03-08 Verb Surgical Inc. Virtual reality system for simulating a robotic surgical environment
US10610303B2 (en) * 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools
WO2019008737A1 (ja) * 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
US11043144B2 (en) * 2017-08-04 2021-06-22 Clarius Mobile Health Corp. Systems and methods for providing an interactive demonstration of an ultrasound user interface
CN110177516B (zh) 2017-09-05 2023-10-24 柯惠Lp公司 用于机器人手术系统的碰撞处理算法
CN111132629B (zh) 2017-09-06 2024-04-16 柯惠Lp公司 手术机器人的边界缩放
US20190089692A1 (en) 2017-09-15 2019-03-21 Pearson Education, Inc. Time-based degradation of digital credentials in a digital credential platform
JP7069617B2 (ja) * 2017-09-27 2022-05-18 富士フイルムビジネスイノベーション株式会社 行動情報処理装置
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
CN107610574B (zh) * 2017-10-17 2023-04-07 上海褚信医学科技有限公司 一种模拟仿真穿刺类手术的装置及方法
US11351005B2 (en) * 2017-10-23 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for presenting augmented reality in a display of a teleoperational system
FR3072559B1 (fr) * 2017-10-24 2023-03-24 Spineguard Systeme medical comprenant un bras robotise et un dispositif medical destine a penetrer dans une structure anatomique
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
WO2019089226A2 (en) * 2017-10-30 2019-05-09 Intuitive Surgical Operations, Inc. Systems and methods for guided port placement selection
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
FR3073657B1 (fr) * 2017-11-10 2023-05-05 Virtualisurg Systeme de simulation d'acte chirurgical
KR20200099138A (ko) 2017-12-08 2020-08-21 아우리스 헬스, 인코포레이티드 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법
WO2019118767A1 (en) * 2017-12-14 2019-06-20 Auris Health, Inc. System and method for estimating instrument location
KR20200101334A (ko) 2017-12-18 2020-08-27 아우리스 헬스, 인코포레이티드 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템
GB2569655B (en) 2017-12-22 2022-05-11 Jemella Ltd Training system and device
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11410259B2 (en) * 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US20190201115A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Aggregation and reporting of surgical hub data
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
CN108122467A (zh) * 2017-12-28 2018-06-05 王震坤 腹腔镜模拟训练机
CN111491767B (zh) * 2017-12-28 2023-03-21 株式会社富士 信息提供装置、信息提供方法以及计算机可读存储介质
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11432890B2 (en) 2018-01-04 2022-09-06 Covidien Lp Systems and assemblies for mounting a surgical accessory to robotic surgical systems, and providing access therethrough
WO2019164270A1 (ko) 2018-02-20 2019-08-29 (주)휴톰 수술 최적화 방법 및 장치
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
WO2019173056A1 (en) 2018-03-08 2019-09-12 Covidien Lp Surgical robotic systems
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
CN110891469B (zh) 2018-03-28 2023-01-13 奥瑞斯健康公司 用于定位传感器的配准的系统和方法
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
KR102500422B1 (ko) 2018-03-28 2023-02-20 아우리스 헬스, 인코포레이티드 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
KR102085374B1 (ko) * 2018-04-03 2020-03-06 (주)다울디엔에스 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
EP3781367A4 (en) 2018-04-20 2022-04-20 Covidien LP SYSTEMS AND METHODS FOR POSITIONING A SURGICAL ROBOT CARRIAGE
CN111989065A (zh) 2018-04-20 2020-11-24 柯惠Lp公司 具有立体显示器的机器人手术系统中的观察者移动的补偿
US10933526B2 (en) * 2018-04-23 2021-03-02 General Electric Company Method and robotic system for manipulating instruments
JP6993927B2 (ja) * 2018-04-24 2022-02-04 株式会社日立産機システム シミュレーション装置およびシミュレーション方法
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019217247A1 (en) * 2018-05-05 2019-11-14 Mentice Inc. Simulation-based training and assessment systems and methods
KR20210010871A (ko) 2018-05-18 2021-01-28 아우리스 헬스, 인코포레이티드 로봇식 원격작동 시스템을 위한 제어기
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
KR102455671B1 (ko) 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
JP7214757B2 (ja) 2018-05-31 2023-01-30 オーリス ヘルス インコーポレイテッド 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
WO2020009830A1 (en) 2018-07-03 2020-01-09 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US10410542B1 (en) * 2018-07-18 2019-09-10 Simulated Inanimate Models, LLC Surgical training apparatus, methods and systems
KR102189334B1 (ko) 2018-07-24 2020-12-09 주식회사 라이너스 의료용 학습 관리 시스템 및 방법
JP7384160B2 (ja) * 2018-07-26 2023-11-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US10565977B1 (en) * 2018-08-20 2020-02-18 Verb Surgical Inc. Surgical tool having integrated microphones
US20210304638A1 (en) * 2018-09-04 2021-09-30 Orsi Academy cvba Chicken Model for Robotic Basic Skills Training
EP3852667A4 (en) 2018-09-17 2022-06-15 Covidien LP SURGICAL ROBOTIC SYSTEMS
US11109746B2 (en) 2018-10-10 2021-09-07 Titan Medical Inc. Instrument insertion system, method, and apparatus for performing medical procedures
WO2020075545A1 (en) * 2018-10-12 2020-04-16 Sony Corporation Surgical support system, data processing apparatus and method
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
KR102665091B1 (ko) * 2018-12-10 2024-05-13 한국전자통신연구원 의료 정보 처리 장치 및 방법
WO2020138734A1 (ko) * 2018-12-27 2020-07-02 경북대학교 산학협력단 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
KR102146719B1 (ko) 2018-12-27 2020-08-24 주식회사 홀로웍스 가상현실 기반의 정형외과 시뮬레이터의 수술 평가 시스템
US11586106B2 (en) 2018-12-28 2023-02-21 Titan Medical Inc. Imaging apparatus having configurable stereoscopic perspective
US11717355B2 (en) 2019-01-29 2023-08-08 Covidien Lp Drive mechanisms for surgical instruments such as for use in robotic surgical systems
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
EP3696794A1 (en) * 2019-02-15 2020-08-19 Virtamed AG Compact haptic mixed reality simulator
US11484372B2 (en) 2019-02-15 2022-11-01 Covidien Lp Articulation mechanisms for surgical instruments such as for use in robotic surgical systems
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
US20200320900A1 (en) * 2019-04-08 2020-10-08 Covidien Lp Systems and methods for simulating surgical procedures
US20200352652A1 (en) * 2019-05-06 2020-11-12 Biosense Webster (Israel) Ltd. Systems and methods for improving cardiac ablation procedures
WO2020236814A1 (en) * 2019-05-23 2020-11-26 Intuitive Surgical Operations, Inc. Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
KR102051309B1 (ko) * 2019-06-27 2019-12-03 주식회사 버넥트 지능형 인지기술기반 증강현실시스템
WO2020264418A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Console overlay and methods of using same
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN114503211A (zh) * 2019-08-16 2022-05-13 直观外科手术操作公司 可自动配置的模拟系统和方法
EP4021331A4 (en) 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
EP4021329A4 (en) 2019-08-30 2023-05-03 Auris Health, Inc. SYSTEM AND METHOD FOR INSTRUMENT IMAGE RELIABILITY
CN110638529B (zh) * 2019-09-20 2021-04-27 和宇健康科技股份有限公司 一种手术远程控制方法、装置、存储介质及终端设备
EP4034350A1 (en) * 2019-09-26 2022-08-03 Auris Health, Inc. Systems and methods for collision avoidance using object models
CN110815215B (zh) * 2019-10-24 2021-07-30 上海航天控制技术研究所 多模融合的旋转目标接近停靠抓捕地面试验系统及方法
WO2021086417A1 (en) 2019-10-29 2021-05-06 Verb Surgical Inc. Virtual reality systems for simulating surgical workflow with patient model and customizable operation room
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
KR102347471B1 (ko) * 2019-12-26 2022-01-06 (의료)길의료재단 증강 현실을 이용한 모의 수술 시스템 및 방법
US11602372B2 (en) 2019-12-31 2023-03-14 Auris Health, Inc. Alignment interfaces for percutaneous access
US11298195B2 (en) 2019-12-31 2022-04-12 Auris Health, Inc. Anatomical feature identification and targeting
KR20220123076A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 기법
CN111276032A (zh) * 2020-02-29 2020-06-12 中山大学中山眼科中心 一种虚拟手术训练系统
WO2021188757A1 (en) * 2020-03-20 2021-09-23 The Johns Hopkins University Augmented reality based surgical navigation system
US11690674B2 (en) * 2020-04-03 2023-07-04 Verb Surgical Inc. Mobile virtual reality system for surgical robotic systems
JP7475948B2 (ja) 2020-04-24 2024-04-30 東芝システムテクノロジー株式会社 訓練システム、方法及びプログラム
EP3923297A1 (en) 2020-06-11 2021-12-15 Koninklijke Philips N.V. Simulation mode for a medical device
US11877818B2 (en) 2020-06-26 2024-01-23 Procept Biorobotics Corporation Integration of robotic arms with surgical probes
US11096753B1 (en) * 2020-06-26 2021-08-24 Procept Biorobotics Corporation Systems and methods for defining and modifying range of motion of probe used in patient treatment
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
FR3112416A1 (fr) * 2020-07-10 2022-01-14 Universite De Lorraine Procédé et système d'assistance à l'apprentissage de la chirurgie endoscopique
KR102505016B1 (ko) * 2020-08-03 2023-03-02 (주)휴톰 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법
EP4217993A1 (en) * 2020-09-28 2023-08-02 Institut Hospitalo-Universitaire De Strasbourg Device for simulating the movement of an endoscope in an environment
KR102396104B1 (ko) * 2020-11-16 2022-05-11 아주통신주식회사 Ar 융복합 한의학 교육 장치
US20220252687A1 (en) * 2020-11-24 2022-08-11 Global Diagnostic Imaging Solutions, Llp System and method for medical simulation
CN112802594B (zh) * 2021-01-26 2023-07-25 巴超飞 一种远程诊疗系统
KR102624918B1 (ko) * 2021-02-02 2024-01-15 경북대학교 산학협력단 환자유형별 맞춤형 훈련제공이 가능한 햅틱기반 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
KR102580178B1 (ko) * 2021-02-02 2023-09-19 경북대학교 산학협력단 환자유형별 맞춤형 훈련제공이 가능한 이비인후과 및 신경외과 의학실습 시뮬레이터 및 방법
US20220280238A1 (en) * 2021-03-05 2022-09-08 Verb Surgical Inc. Robot-assisted setup for a surgical robotic system
DE102021109241B4 (de) * 2021-04-13 2023-03-16 Siemens Healthcare Gmbh System und verfahren zum bereitstellen interaktiver virtueller schulungen für mehrere medizinische mitarbeiter in echtzeit
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20240161654A1 (en) 2021-09-07 2024-05-16 Roen Surgical, Inc. Training system for renal surgery
WO2023053334A1 (ja) * 2021-09-30 2023-04-06 オリンパス株式会社 処理システム及び情報処理方法
WO2023144845A1 (en) * 2022-01-27 2023-08-03 B2Or Srl A system for performing practical surgery exercises with particular reference to the cervico-facial area
WO2023171437A1 (ja) * 2022-03-08 2023-09-14 ソニーグループ株式会社 シミュレーションシステム、情報処理装置及び情報処理方法
WO2023178092A1 (en) * 2022-03-16 2023-09-21 Intuitive Surgical Operations, Inc. Systems and methods for generating customized medical simulations
KR20240067173A (ko) 2022-11-07 2024-05-16 그리다텍 주식회사 멀티플랫폼 실습환경 공유 시스템
CN115670352B (zh) * 2023-01-05 2023-03-31 珠海视新医用科技有限公司 内窥镜防碰撞报警装置
KR102628586B1 (ko) * 2023-09-20 2024-01-25 그리다텍 주식회사 의료소모품 낙하 훈련을 위한 가상현실 시뮬레이션 방법

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4321047A (en) 1980-06-05 1982-03-23 Bradley Landis Simulator and process for teaching surgical knot tying techniques
US5403191A (en) 1991-10-21 1995-04-04 Tuason; Leo B. Laparoscopic surgery simulator and method of use
US5769640A (en) 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US5620326A (en) 1995-06-09 1997-04-15 Simulab Corporation Anatomical simulator for videoendoscopic surgical training
US6929481B1 (en) * 1996-09-04 2005-08-16 Immersion Medical, Inc. Interface device and method for interfacing instruments to medical procedure simulation systems
US6024576A (en) * 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
US6132368A (en) * 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US5945056A (en) 1997-05-28 1999-08-31 Simutech Limited Method of making a surgical simulator
WO1999017265A1 (en) * 1997-09-26 1999-04-08 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
WO1999042978A1 (en) * 1998-02-19 1999-08-26 Boston Dynamics, Inc. Method and apparatus for surgical training and simulating surgery
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
US6544041B1 (en) 1999-10-06 2003-04-08 Fonar Corporation Simulator for surgical procedures
JP2001150368A (ja) 1999-11-24 2001-06-05 Olympus Optical Co Ltd マニピュレータ制御装置
US6377011B1 (en) 2000-01-26 2002-04-23 Massachusetts Institute Of Technology Force feedback user interface for minimally invasive surgical simulator and teleoperator and other similar apparatus
US7857626B2 (en) 2000-10-23 2010-12-28 Toly Christopher C Medical physiological simulator including a conductive elastomer layer
SE518252C2 (sv) * 2001-01-24 2002-09-17 Goeteborg University Surgical Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US7798815B2 (en) 2002-04-03 2010-09-21 University Of The West Indies Computer-controlled tissue-based simulator for training in cardiac surgical techniques
DE10217630A1 (de) 2002-04-19 2003-11-13 Robert Riener Verfahren und Vorrichtung zum Erlernen und Trainieren zahnärztlicher Behandlungsmethoden
SE0202864D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Device and method for generating a virtual anatomic environment
US20050142525A1 (en) * 2003-03-10 2005-06-30 Stephane Cotin Surgical training system for laparoscopic procedures
US20070275359A1 (en) 2004-06-22 2007-11-29 Rotnes Jan S Kit, operating element and haptic device for use in surgical simulation systems
GB0420977D0 (en) * 2004-09-21 2004-10-20 Keymed Medicals & Ind Equip An instrument for use in a medical simulator
US8480404B2 (en) * 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
US20080187896A1 (en) * 2004-11-30 2008-08-07 Regents Of The University Of California, The Multimodal Medical Procedure Training System
US20070292829A1 (en) 2004-12-02 2007-12-20 King Lynn R Intravenous (iv) training system
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP4152402B2 (ja) * 2005-06-29 2008-09-17 株式会社日立メディコ 手術支援装置
WO2008018889A2 (en) 2005-09-29 2008-02-14 The General Hospital Corporation Medical training system for casualty simulation
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US7866983B2 (en) 2006-01-13 2011-01-11 East Tennessee State University Research Foundation Surgical simulator system
JP2009133878A (ja) 2006-03-03 2009-06-18 Univ Waseda 外科手術訓練装置
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
WO2007121572A1 (en) * 2006-04-21 2007-11-01 Mcmaster University Haptic enabled robotic training system and method
ES2298051B2 (es) * 2006-07-28 2009-03-16 Universidad De Malaga Sistema robotico de asistencia a la cirugia minimamente invasiva capaz de posicionar un instrumento quirurgico en respueta a las ordenes de un cirujano sin fijacion a la mesa de operaciones ni calibracion previa del punto de insercion.
US20080085499A1 (en) * 2006-10-05 2008-04-10 Christopher Horvath Surgical console operable to simulate surgical procedures
US8460002B2 (en) 2006-10-18 2013-06-11 Shyh-Jen Wang Laparoscopic trainer and method of training
US8550821B2 (en) 2007-02-14 2013-10-08 Simbionix Ltd. Simulation system for arthroscopic surgery training
US7706000B2 (en) * 2007-07-18 2010-04-27 Immersion Medical, Inc. Orientation sensing of a rod
US20090132925A1 (en) 2007-11-15 2009-05-21 Nli Llc Adventure learning immersion platform
EP2068294A1 (en) 2007-12-03 2009-06-10 Endosim Limited Laparoscopic training apparatus
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
WO2009094621A2 (en) * 2008-01-25 2009-07-30 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
JP2009236963A (ja) 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd 内視鏡手術用トレーニング装置、内視鏡手術用技能評価方法
US7843158B2 (en) * 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
WO2009132067A1 (en) * 2008-04-22 2009-10-29 Immersion Medical Systems and methods for surgical simulation and training
WO2010008846A2 (en) 2008-06-23 2010-01-21 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
JP4565220B2 (ja) 2008-07-30 2010-10-20 株式会社モリタ製作所 医療用実習装置
WO2010025338A1 (en) 2008-08-29 2010-03-04 Corindus Ltd. Catheter control system and graphical user interface
JP2010082189A (ja) 2008-09-30 2010-04-15 Olympus Corp 手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法
US20100099066A1 (en) 2008-10-21 2010-04-22 Warsaw Orthopedics, Inc. Surgical Training System and Model With Simulated Neural Responses and Elements
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US20100167249A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having augmented reality
US20100167250A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having multiple tracking systems
US20100167253A1 (en) 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator
US8480405B2 (en) 2009-02-24 2013-07-09 Innovative Surgical Designs, Inc. Surgical simulation device and assembly
KR20110136847A (ko) * 2009-03-12 2011-12-21 헬스 리서치 인코포레이티드 최소 침습 수술 트레이닝 방법 및 시스템
CN102362302B (zh) * 2009-03-20 2016-01-06 约翰斯·霍普金斯大学 用于量化技能的方法及系统
US20110117530A1 (en) * 2009-05-07 2011-05-19 Technion Research & Development Foundation Ltd. Method and system of simulating physical object incisions, deformations and interactions therewith
US8662900B2 (en) * 2009-06-04 2014-03-04 Zimmer Dental Inc. Dental implant surgical training simulation system
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
US9142144B2 (en) * 2009-06-16 2015-09-22 Simquest Llc Hemorrhage control simulator
DE102009048994A1 (de) * 2009-10-09 2011-04-14 Karl Storz Gmbh & Co. Kg Simulationssystem für das Training endoskopischer Operationen
KR101816172B1 (ko) 2009-12-07 2018-01-08 광주과학기술원 의료 훈련 시뮬레이션 시스템 및 방법
DE102009060522A1 (de) * 2009-12-23 2011-06-30 Karl Storz GmbH & Co. KG, 78532 Simulationssystem für das Training endoskopischer Operationen
US8469716B2 (en) 2010-04-19 2013-06-25 Covidien Lp Laparoscopic surgery simulator
WO2011150257A2 (en) * 2010-05-26 2011-12-01 Health Research Inc. Method and system for minimally-invasive surgery training using tracking data
JP2012005557A (ja) 2010-06-23 2012-01-12 Terumo Corp 医療用ロボットシステム
US20120053406A1 (en) 2010-09-01 2012-03-01 Conlon Sean P Minimally invasive surgery
EP4002330A1 (en) 2010-10-01 2022-05-25 Applied Medical Resources Corporation Portable laparoscopic trainer
US20120251987A1 (en) 2010-10-28 2012-10-04 Ta-Ko Huang System and method for virtual reality simulation of local dental anesthesiological techniques and skills training
WO2012060901A1 (en) * 2010-11-04 2012-05-10 The Johns Hopkins University System and method for the evaluation of or improvement of minimally invasive surgery skills
US20120115118A1 (en) 2010-11-08 2012-05-10 Marshall M Blair Suture training device
US9283675B2 (en) * 2010-11-11 2016-03-15 The Johns Hopkins University Human-machine collaborative robotic systems
US20120135387A1 (en) 2010-11-29 2012-05-31 Stage Front Presentation Systems Dental educational apparatus and method
JP5550050B2 (ja) 2010-12-14 2014-07-16 株式会社ティー・エム・シー 人体の部分模型
CA2821800A1 (en) 2010-12-15 2012-06-21 Allergan, Inc. Anatomical model
US8932063B2 (en) * 2011-04-15 2015-01-13 Ams Research Corporation BPH laser ablation simulation
KR101206340B1 (ko) * 2011-04-29 2012-11-29 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
US10354555B2 (en) * 2011-05-02 2019-07-16 Simbionix Ltd. System and method for performing a hybrid simulation of a medical procedure
CN102254476B (zh) * 2011-07-18 2014-12-10 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练方法及其系统
WO2013059575A1 (en) 2011-10-21 2013-04-25 Applied Medical Resources Corporation Simulated tissue structure for surgical training
EP2795604A1 (en) 2011-12-20 2014-10-29 Applied Medical Resources Corporation Advanced surgical simulation
US8992230B2 (en) * 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
US9424761B2 (en) * 2012-01-23 2016-08-23 Virtamed Ag Medical simulation system and method with configurable anatomy model manufacturing
US9472123B2 (en) 2012-01-27 2016-10-18 Gaumard Scientific Company, Inc. Human tissue models, materials, and methods
US9123261B2 (en) 2012-01-28 2015-09-01 Gaumard Scientific Company, Inc. Surgical simulation models, materials, and methods
US9092996B2 (en) * 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
US9607528B2 (en) * 2012-08-24 2017-03-28 Simquest International, Llc Combined soft tissue and bone surgical simulator
EP2907125B1 (en) 2012-09-26 2017-08-02 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
US9959786B2 (en) 2012-09-27 2018-05-01 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
US10121391B2 (en) 2012-09-27 2018-11-06 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
CA2885314C (en) 2012-09-28 2021-01-19 Applied Medical Resources Corporation Surgical training model for transluminal laparoscopic procedures
US20140106328A1 (en) 2012-10-17 2014-04-17 The Cleveland Clinic Foundation Surgical training apparatus
CN103077633A (zh) * 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
CA2897439A1 (en) * 2013-01-23 2014-07-31 Ams Research Corporation Surgical training system
US9087458B2 (en) 2013-03-15 2015-07-21 Smartummy Llc Dynamically-changeable abdominal simulator system
US9117377B2 (en) 2013-03-15 2015-08-25 SmarTummy, LLC Dynamically-changeable abdominal simulator system
WO2014179556A1 (en) 2013-05-01 2014-11-06 Northwestern University Surgical simulators and methods associated with the same
US9595208B2 (en) * 2013-07-31 2017-03-14 The General Hospital Corporation Trauma training simulator with event-based gesture detection and instrument-motion tracking
US9283048B2 (en) * 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
KR102405656B1 (ko) 2013-12-20 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
US20150262511A1 (en) * 2014-03-17 2015-09-17 Henry Lin Systems and methods for medical device simulator scoring
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
CN107405156B (zh) * 2015-05-19 2020-10-16 马科外科公司 用于演示对解剖体的计划自主操纵的系统和方法
US10528840B2 (en) * 2015-06-24 2020-01-07 Stryker Corporation Method and system for surgical instrumentation setup and user preferences
US10648790B2 (en) * 2016-03-02 2020-05-12 Truinject Corp. System for determining a three-dimensional position of a testing tool

Also Published As

Publication number Publication date
KR20160102464A (ko) 2016-08-30
EP4184483A1 (en) 2023-05-24
JP6916322B2 (ja) 2021-08-11
EP3084747A1 (en) 2016-10-26
US20200020249A1 (en) 2020-01-16
WO2015095715A1 (en) 2015-06-25
KR102366023B1 (ko) 2022-02-23
KR102405656B1 (ko) 2022-06-07
CN106030683B (zh) 2020-10-30
CN106030683A (zh) 2016-10-12
EP3084747B1 (en) 2022-12-14
EP3084747A4 (en) 2017-07-05
KR20220025286A (ko) 2022-03-03
JP2017510826A (ja) 2017-04-13
JP2020106844A (ja) 2020-07-09
US20220415210A1 (en) 2022-12-29
US20160314710A1 (en) 2016-10-27
US11468791B2 (en) 2022-10-11
CN112201131A (zh) 2021-01-08
US10510267B2 (en) 2019-12-17
JP7195385B2 (ja) 2022-12-23
JP2021165860A (ja) 2021-10-14
JP6659547B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
JP7195385B2 (ja) 医療処置トレーニングのためのシミュレータシステム
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
CN110800033B (zh) 虚拟现实腹腔镜式工具
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
US20230149085A1 (en) Surgical simulation device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant