CN114080195A - 与用于医疗程序的配准相关的系统和方法 - Google Patents
与用于医疗程序的配准相关的系统和方法 Download PDFInfo
- Publication number
- CN114080195A CN114080195A CN202080046360.9A CN202080046360A CN114080195A CN 114080195 A CN114080195 A CN 114080195A CN 202080046360 A CN202080046360 A CN 202080046360A CN 114080195 A CN114080195 A CN 114080195A
- Authority
- CN
- China
- Prior art keywords
- imaging device
- registration
- probe
- space
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 126
- 239000000523 sample Substances 0.000 claims abstract description 222
- 238000003384 imaging method Methods 0.000 claims abstract description 143
- 230000004913 activation Effects 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 13
- 239000012636 effector Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 4
- 230000008569 process Effects 0.000 description 49
- 210000003484 anatomy Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000001356 surgical procedure Methods 0.000 description 10
- 241001465754 Metazoa Species 0.000 description 9
- 238000002604 ultrasonography Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 210000005166 vasculature Anatomy 0.000 description 5
- 238000011960 computer-aided design Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001225 therapeutic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000010868 animal carcass Substances 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种医疗系统包括一个或多个处理器。处理器被配置为执行包括从第一成像设备接收与解剖特征相关联的图像数据的操作。图像数据与第一成像设备空间相关联。与解剖特征相关联的探针数据从第二成像设备获得。探针数据与第二成像设备空间相关联。探针数据被配准到图像数据以生成第二成像设备空间和第一成像设备空间之间的第一配准。与解剖特征相关联的解剖模型被配准到探针数据以生成解剖模型的模型空间和第二成像设备空间之间的第二配准。基于第一配准和第二配准生成模型空间和第一成像设备空间之间的第三配准。
Description
相关申请
本申请要求于2019年6月25日提交的美国临时申请第62/866,209号的优先权,该临时申请通过引用被并入本文。
技术领域
本公开涉及用于执行医疗程序的系统,并且更具体地涉及用于在医疗程序期间将解剖模型配准到实时图像数据的系统和方法。
背景技术
医疗机器人系统(例如用于执行微创手术程序的远程操作系统)提供了许多优于传统开放式手术技术的益处,包括疼痛更少、住院时间更短、恢复正常活动更快、疤痕最小、恢复时间缩短和对组织的伤害更小。因此,对此类医疗远程操作系统的需求强劲且不断增长。
医疗远程操作系统的示例包括来自加利福尼亚州桑尼维尔的IntuitiveSurgical,Inc.的daSurgical System和daSTMSurgical System。这些系统中的每一个都包括操作者的控制台、患者侧推车,高性能三维(“3-D”)视觉系统,以及Intuitive Surgical专有的铰接器械,铰接器械以人类手腕为模型。当添加到持有手术器械的操纵器的运动中时,这些铰接器械允许其末端执行器的至少六个自由度的运动,这与开放式手术的自然运动相当甚至比开放式手术的自然运动更多。
微创医疗技术旨在减少医疗程序期间受损组织量,从而减少患者恢复时间、不适和有害副作用。此类微创技术可通过患者解剖结构中的自然孔口或通过一个或多个手术切口执行。通过这些自然孔口或切口,操作者可以插入微创医疗器械(包括手术、诊断、治疗或活检器械)以到达目标组织位置。为了辅助到达目标组织位置,医疗器械的位置和移动可以与患者解剖结构的术前或术中图像相关联。用与图像相关联的图像引导器械,器械可以在解剖系统(例如肺、结肠、肠道、肾脏、心脏、循环系统等)中的自然或手术创建的通道中导航。然而,将从术前或术中图像生成的解剖模型配准到由成像设备提供的实时图像数据可能计算昂贵且耗时,并且配准质量(例如,准确性、完整性、有效性、一致性)可能不令人满意,这可能会致使图像引导程序的不确定性。
因此,为执行图像引导程序提供改进的配准将是有利的。
发明内容
本发明的实施例通过说明书后的权利要求得到最好的概括。
在一些实施例中,医疗系统包括一个或多个处理器。处理器被配置为执行操作,该操作包括:从第一成像设备接收与患者的解剖特征相关联的图像数据,该图像数据与第一成像设备空间相关联;从第二成像设备获得与解剖特征相关联的探针数据,该探针数据与第二成像设备空间相关联;将探针数据配准到图像数据以生成第二成像设备空间和第一成像设备空间之间的第一配准;将与解剖特征相关联的解剖模型配准到探针数据以生成解剖模型的模型空间和第二成像设备空间之间的第二配准;以及基于第一配准和第二配准生成模型空间和第一成像设备空间之间的第三配准。
在一些实施例中,一种方法包括从第一成像设备接收与患者的解剖特征相关联的图像数据,该图像数据与第一成像设备空间相关联;从第二成像设备获得与解剖特征相关联的探针数据,该探针数据与第二成像设备空间相关联;将探针数据配准到图像数据以生成第二成像设备空间和第一成像设备空间之间的第一配准;将与解剖特征相关联的解剖模型配准到探针数据以生成解剖模型的模型空间和第二成像设备空间之间的第二配准;以及基于第一配准和第二配准生成模型空间和第一成像设备空间之间的第三配准。
在一些实施例中,非暂时性机器可读介质包括多个机器可读指令,当由与医疗设备相关联的一个或多个处理器执行时,该多个机器可读指令适于致使一个或多个处理器执行本文描述的操作或方法中的任一项。
应当理解,前述一般描述和以下详细描述本质上都是示例性和解释性的,并且旨在提供对本公开的理解而不限制本公开的范围。就这一点而言,本公开的附加方面、特征和优点对于本领域技术人员从以下详细描述将是显而易见的。
附图说明
图1A是根据本公开的实施例在手术参考系中的远程操作医疗系统的示意图;图1B是根据本文描述原理的一个示例的患者侧系统的透视图。
图2A、图2B和图2C是根据一些实施例的用于在医疗程序期间将解剖模型配准到由成像设备提供的图像数据的系统的简化图。
图3A、图3B和图3C是根据一些实施例的从如图2A-图2C所描绘配置的成像设备捕获的图像数据的简化图。
图4A是示出根据一些实施例的用于在图像引导的手术程序或其一部分中执行解剖模型到患者解剖结构的配准的方法的流程图;图4B示出了根据一些实施例的具有识别的目标探针区域的解剖模型;图4C示出了根据一些实施例的对应于图像数据中识别的目标探针区域的估计目标探针区域;以及图4D是示出根据一些实施例的叠加在图像数据上的配准解剖模型的显示。
图5是示出根据一些实施例的用于自动确定探针设备的激活状态的方法的流程图。
图6A是示出根据一些实施例的用于在图像引导的手术程序中将探针数据配准到图像数据的方法的流程图。
图6B是示出根据一些实施例的在将探针数据配准到图像数据期间探针设备在图像数据上的投影的显示。
图7是示出根据一些实施例的用于在图像引导的手术程序中执行解剖模型到探针数据的配准的方法的流程图。
具体实施方式
出于促进对本公开原理的理解的目的,现在将参考附图中示出的实施例,并且将使用特定语言对其进行描述。然而应当理解,不旨在对本公开的范围进行限制。在本发明的方面的以下详细描述中,阐述了许多具体细节以提供对所公开实施例的透彻理解。然而,对于本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下,没有详细描述众所周知的方法、程序、部件和电路,以免不必要地混淆本发明的实施例的方面。
如本公开所涉及的领域中的技术人员通常会想到的,对所描述的设备、器械、方法以及本公开的原理的任何进一步应用的任何改变和进一步修改都被完全考虑。具体地,完全考虑到关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外,本文提供的维度用于特定示例,并且考虑到可以利用不同的尺寸、维度和/或比率来实施本公开的概念。为避免不必要的描述重复,根据一个说明性实施例描述的一个或多个部件或动作可在适用于其他说明性实施例时使用或省略。为简洁起见,将不再单独描述这些组合的多次迭代。为简单起见,在某些情况下,贯穿附图使用相同的附图标记来指代相同或相似的部分。
下面的实施例将根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所用,术语“定位”是指物体或物体的一部分在三维空间(例如,沿笛卡尔X、Y、Z坐标的三个平移自由度)中的位置。如本文所用,术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如,滚转、俯仰和偏航)。如本文所用,术语“姿态”是指物体或物体的一部分在至少一个平移自由度上的定位以及该物体或该物体的一部分在至少一个旋转自由度上的定向(多达六个总自由度)。如本文所用,术语“形状”是指沿物体测量的一组姿态、定位或定向。
本发明的方面主要根据使用计算机辅助医疗系统(例如由加利福尼亚州桑尼维尔的Intuitive Surgical,Inc.商业化的daSurgical System)的实施方式来描述。然而,知识渊博的人将理解,本文公开的发明方面可以以各种方式体现和实施,包括机器人和(如果适用)非机器人实施例和实施方式。在任何手术系统(例如daSurgicalSystem)上的实施方式仅仅是示例性的并且不应被视为限制本文公开的发明方面的范围。例如,对手术器械和手术方法的任何提及都是非限制性的,因为本文描述的工具、系统和方法可被用于动物、人类尸体、动物尸体、人类或动物解剖结构的部分、从人类或动物解剖结构移除的组织(有或没有返回人类或动物解剖结构)、非手术诊断、工业系统和通用机器人或远程操作系统。作为进一步的示例,本文描述的器械、系统和方法可被用于非医疗目的,包括工业用途、通用机器人用途、感测或操纵非组织工件、美容改进、人类或动物解剖结构的成像、采集来自人类或动物解剖结构的数据、设置或拆除系统、培训医疗或非医疗人员等。附加示例应用包括用于在从人类或动物解剖结构移除的组织上的手术(没有返回人类或动物解剖结构)以及用于在人类或动物尸体上的手术。此外,这些技术还可被用于包括或不包括手术方面的医学治疗或诊断程序。
参考附图中的图1A,用于例如包括诊断、治疗或手术程序的医疗程序的远程操作医疗系统通常由附图标记10指示,并且在具有手术参考坐标系XS、YS、ZS的手术环境内操作。如将要描述的,本公开的远程操作医疗系统在操作者的远程操作控制之下。在替代实施例中,远程操作医疗系统可以在被编程以执行程序或子程序的计算机的部分控制之下。在其他替代实施例中,在被编程以执行程序或子程序的计算机的完全控制之下的全自动医疗系统可以被用于执行程序或子程序。如图1A所示,远程操作医疗系统10通常包括远程操作组件12,该远程操作组件12安装到或靠近手术台T,患者P位于该手术台T上。远程操作组件12可被称为患者侧推车。医疗器械系统14和内窥镜成像系统15被可操作地耦合到远程操作组件12。操作者控制台16允许操作者O(例如,外科医生或其他类型的临床医生)查看手术部位的图像或查看代表手术部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。如下文将描述的,包括微创图像捕获探针19的补充成像系统17可以与医疗器械系统14和内窥镜成像系统15一起使用。与患者侧推车一起,补充成像系统17可以被称为患者侧系统。内窥镜成像系统15提供手术环境内解剖结构的外表面的图像。补充成像系统17可以是内部成像系统,例如能够在解剖结构的外表面之外成像的超声、x射线或伽马成像系统。
操作者控制台16可以位于操作者的控制台处,该操作者的控制台通常位于与手术台T相同的房间中。然而,应当理解,操作者O可以位于与患者P不同的房间或完全不同的建筑物中。操作者控制台16包括左眼显示器和右眼显示器,左眼显示器和右眼显示器用于向操作者O呈现能够实现深度感知的手术部位的协调立体视图。控制台16还包括一个或多个输入控制设备,该一个或多个输入控制设备致使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制设备可提供与其相关联的器械14相同的自由度,以向操作者O提供远程呈现或输入控制设备与器械14为一体的感知,从而操作者具有直接控制器械14的强烈感觉。为此,定位、力和触觉反馈传感器(未示出)可被采用以通过输入控制设备将定位、力和触觉从器械14传输回操作者的手。一个或多个控制设备可以包括任意数量的各种输入设备中的一个或多个,例如把手、操纵杆、轨迹球、数据手套、扳机枪、手动操作控制器、语音识别设备、触摸屏、身体运动或存在传感器等。在一些实施例中,一个或多个控制设备将被提供有与远程操作组件的医疗器械相同的自由度,以向操作者提供远程呈现、一个或多个控制设备与器械为一体的感知,使得操作者具有直接控制器械的强烈感觉,就像就在手术部位一样。在其他实施例中,一个或多个控制设备可以比相关联的医疗器械具有更多或更少的自由度,并且仍然向操作者提供远程呈现。在一些实施例中,一个或多个控制设备是手动输入设备,这些手动输入设备以六个自由度移动,并且还可以包括用于致动器械的可致动手柄(例如,用于闭合抓钳、向电极施加电势、递送药物治疗等)。
当操作者O通过控制台16查看手术部位时,远程操作组件12支撑和操纵医疗器械系统14。手术部位的图像可以由内窥镜成像系统15(例如立体内窥镜)获得,该内窥镜成像系统15可以由远程操作组件12操纵以定向内窥镜15。电子推车18可以被用于处理手术部位的图像,用于随后通过操作者控制台16显示给操作者O。一次使用的医疗器械系统14的数量通常取决于诊断或手术程序以及手术室内的空间限制等因素。远程操作组件12可以包括一个或多个非伺服控制连杆(例如,可以手动定位和锁定就位的一个或多个连杆,通常被称为设置结构)和远程操作操纵器的运动学结构。远程操作组件12包括驱动医疗器械系统14上的输入的多个马达。这些马达响应于来自控制系统(例如,控制系统20)的命令而移动。马达包括驱动系统,当该驱动系统耦合到医疗器械系统14时,可以将医疗器械推进到自然或手术创建的解剖孔口中。其他机动驱动系统可以以多个自由度移动医疗器械的远端,该多个自由度可以包括三个线性运动自由度(例如,沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动自由度(例如,绕X、Y、Z笛卡尔轴线的旋转)。此外,马达可被用于致动器械的可铰接末端执行器以抓握活检设备等的钳口中的组织。
远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器和至少一个处理器(未示出),并且通常包括多个处理器,多个处理器用于实现医疗器械系统14、内窥镜系统15、操作者控制台16和电子推车18上的监视器之间的控制。控制系统20还可以从补充成像系统17接收和处理图像。电子推车18可以容纳内窥镜成像系统15、补充成像系统17、控制系统20以及用于处理和显示捕获图像的监视器和处理器的部件。
控制系统20还包括编程指令(例如,存储指令的计算机可读介质)以实施根据本文公开的方面描述的一些或所有方法。虽然控制系统20在图1A的简化示意图中被示为单个框,但该系统可以包括两个或多个数据处理电路,其中可选地处理的一部分在远程操作组件12上或邻近远程操作组件12执行,处理的另一部分在操作者控制台16处执行,等等。可以采用多种集中式或分布式数据处理架构中的任何一种。类似地,编程指令可以被实施为多个单独的程序或子例程,或者它们可以被集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中,控制系统20支持无线通信协议,例如蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。
在一些实施例中,控制系统20可以包括从医疗器械系统14接收力和/或扭矩反馈的一个或多个伺服控制器。响应于反馈,伺服控制器将信号传输到操作者控制台16。一个或多个伺服控制器还可以传输指示远程操作组件12移动一个或多个医疗器械系统14和/或内窥镜成像系统15的信号,该一个或多个医疗器械系统14和/或内窥镜成像系统15经由身体中的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件12分开或集成。在一些实施例中,伺服控制器和远程操作组件被提供为邻近患者身体定位的远程操作臂推车的一部分。
远程操作医疗系统10还可以包括可选的操作和支持系统(未示出),例如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在替代实施例中,远程操作系统可包括多于一个的远程操作组件和/或多于一个的操作者控制台。操纵器组件的确切数量将取决于手术程序和手术室内的空间限制等因素。操作者控制台可以并置,或者它们可以被定位在单独的位置中。
图1B是远程操作组件12和附件系统17的一个实施例的透视图,该远程操作组件12和附件系统17可以一起被称为患者侧系统。所示的远程操作组件12提供对三个手术工具26(例如,器械系统14)和成像设备28(例如,内窥镜成像系统15(例如用于捕获手术部位的图像的立体内窥镜))的操纵。成像设备可以通过电缆56将信号传输到电子推车18。操纵由具有多个关节的远程操作机构提供。成像设备28和手术工具26可以通过患者体内的切口或自然孔口定位和操纵,使得在切口处维持运动学远程中心以最小化切口的尺寸。手术部位的图像可包括当手术工具26的远端被定位在成像设备28的视场内时手术工具26的远端的图像。
远程操作组件12包括可驱动底座58。可驱动底座58被连接到伸缩柱57,该伸缩柱57允许臂54高度的调节。臂54可包括既旋转又上下移动的旋转关节55。臂54中的每一个可以被连接到定向平台53。定向平台53可以能够360度旋转。远程操作组件12还可包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。
在本示例中,臂54中的每一个连接到操纵器臂51。操纵器臂51可以直接连接到手术工具26。操纵器臂51可以是可远程操作的。在一些示例中,连接到定向平台的臂54是不可远程操作的。相反,这种臂54在操作者用远程操作部件开始操作之前根据需要被定位。
附件系统17可以提供一种或多种功能,该一种或多种功能增强和/或补充由手术工具26提供的功能。附件系统17包括用来提供一种或多种附加功能的附件19。附件19可以是尺寸被设计为用于插入手术环境的微创器械。附件及其功能的示例将在下面参考图2A-图7更详细地讨论。附件19可以包括内窥镜成像系统。
内窥镜成像系统(例如,系统15、19和/或28)可以以包括刚性或柔性内窥镜的各种配置提供。刚性内窥镜包括容纳中继透镜系统的刚性管,该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一根或多根柔性光纤传输图像。基于数字图像的内窥镜具有“尖端芯片”相机设计,其中远端数字传感器(例如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)获取图像数据。内窥镜成像系统可以向观察者提供内窥镜视场(即成像区域)的二维或三维图像。二维图像可能提供有限的深度感知。三维立体内窥镜图像可以向观察者提供更准确的深度感知。立体内窥镜器械采用立体相机以捕获患者解剖结构视场的立体图像。内窥镜器械可以是完全可消毒的组件,其中内窥镜电缆、手柄和轴均刚性耦合并紧密密封。
图2A-图2C是示出根据一些实施例的用于将解剖模型配准到由成像设备捕获的图像数据的系统200的简化图。图3A-图3C是分别示出根据一些实施例的来自如图2A-图2C所描绘的系统200的成像设备210的图像数据300的简化图。在一些实施例中,图像数据300可以在医疗程序期间经由控制台16的显示器显示给操作者。
参考图2A和图3A的示例,系统200包括与成像区域或视场215相关联的成像设备210。根据一些实施例,成像设备210通常可以对应于内窥镜,例如内窥镜15。系统200进一步包括探针设备220。根据一些实施例,探针设备220通常可以对应于附件,例如附件19、插入式附件等。在一些实施例中,探针设备220包括使用与成像设备210等不同的成像形态的成像设备(例如,超声探针)。
系统200还可以包括具有末端执行器235的医疗器械230。根据一些实施例,医疗器械230通常可以对应于器械14中的任何一个。在一些实施例中,末端执行器235可以提供机械的、磁性的或能够抓握探针设备220的其他类型的抓握功能(例如,钳口)。
如图2A和图3A的示例所示,解剖特征240位于成像设备210的视场215内。解剖特征240可以包括或对应于医疗程序的目标。例如,解剖特征240可以对应于医疗程序期间被操作的器官(例如,肾脏)。
如图2A和图3A的示例所示,探针设备220位于成像设备210的视场215内。探针设备220可以对应于可在医疗程序期间使用的插入式设备。
参考图2B和图3B的示例,在一些实施例中,操作者可以控制医疗器械230以抓握和操纵探针设备220。
参考图2C和图3C的示例,操作者可以通过控制医疗器械230来使用探针设备220扫描解剖特征240或其一部分。探针设备220可以通过扫描解剖特征240来生成探针数据。
参考图4A-图7,在一些实施例中,系统200可以使用由探针设备220生成的探针数据以将解剖模型与由成像设备生成的图像数据300配准。图4A是用于在医疗程序期间使用来自探针设备220的探针数据将解剖模型配准到图像数据的方法400的简化图。图4B示出了具有识别的目标探针区域的解剖模型。图4C是示出对应于图像数据中识别的目标探针区域的估计目标探针区域的显示。图4D是示出根据一些实施例的叠加在图像数据上的配准解剖模型的显示。图4D示出了其中图像数据300被增强以包括使用配准叠加在图像数据300的解剖特征240上的解剖模型的显示。图5示出了根据一些实施例的用于自动检测用于提供探针数据的探针设备的激活的方法500。图6示出了根据一些实施例的用于将探针数据配准到图像数据的方法600。图7示出了根据一些实施例的用于将解剖模型配准到探针数据的方法。
图4A是示出用于在医疗程序期间使用由扫描解剖特征240的探针设备生成的探针数据以将解剖模型与图像数据300配准的方法400的流程图。方法400在图4A中示出为一组操作或过程410到490。并非所有所示出的过程402到490都可以在方法400的所有实施例中执行。另外,在图4A中未明确示出的一个或多个过程可以被包括在过程402到490之前、之后、之间或作为过程402到490的一部分。在一些实施例中,过程中的一个或多个可以至少部分地以存储在非暂时的、有形的、机器可读介质上的可执行代码的形式实施,当由一个或多个处理器(例如,控制系统20的处理器)运行时,该可执行代码可以致使一个或多个处理器执行过程中的一个或多个。
在过程402处,与解剖特征240相关联的解剖模型245被接收。解剖模型245与模型空间相关联。在一些实施例中,基于解剖特征240的术前数据(例如,使用术前CT扫描)和/或术间数据模型确定解剖模型245。在各种实施例中,解剖模型245可以是2D或3D模型并且可以包括解剖特征240的各种解剖特征信息。解剖特征信息可以包括,例如解剖特征240的脉管系统、脉管系统中的一个或多个特定血管分叉、血管的血流速度和方向等。
在过程410处,使用系统200的成像设备获得图像数据。图像数据与成像设备空间相关联。在图2A-图3C的示例中,成像设备210可被用于获得患者手术部位的图像数据300。成像设备210记录包括解剖特征240的手术部位的并发或实时图像并将图像数据提供到处理器(例如,控制系统20的处理器)。图像数据可以通过医疗系统10的一个或多个显示器(例如控制台16的一个或多个显示器)提供给操作者。并发图像可以是例如由定位在手术部位内的内窥镜(例如,内窥镜15)捕获的二维或三维图像。
在过程420处,探针设备的激活状态被确定。在图2A-图3C的示例中,探针设备220(例如,超声探针)的激活状态可以被确定。在示例中,探针设备220可以是缺乏独立移动能力的插入式附件。探针设备220在可由操作者控制时被称为处于激活状态,而当其不受操作者控制时被称为处于非激活状态。在示例中,操作者可以控制具有末端执行器235的医疗器械230来抓握探针设备220,然后通过控制医疗器械230来控制探针设备220。在该示例中,探针设备220处于激活状态。在另一示例中,探针设备220不受操作者可控制的任何器械的控制。在该示例中,探针设备220处于非激活状态。在一些实施例中,操作者可以(例如,使用操作者控制台16)手动指示探针设备220的激活状态(例如,激活状态或非激活状态)。在一些替代实施例中,如下面参考图5详细讨论的,探针设备220的激活状态可以被自动确定。在一些实施例中,在过程420处,如果确定探针设备220具有激活状态,则方法400可以进行到过程430到490以从探针设备220接收探针数据并且基于探针数据执行从解剖模型到成像数据的配准。在一些实施例中,在过程420处,如果确定探针设备220具有非激活状态,则方法400可以等待直到检测到探针设备220处于激活状态。
在过程430处,控制系统20的处理器从探针设备获得探针数据。在一些实施例中,探针设备220记录包括解剖特征240的手术部位的并发或实时图像(例如,通过扫描解剖特征240),并将探针数据提供到处理器(例如,控制系统20的处理器)。探针数据与探针设备空间相关联。探针数据可以通过医疗系统10的一个或多个显示器(例如控制台16的一个或多个显示器)提供给操作者。在探针设备220是超声设备的示例中,探针数据包括超声数据。在各种实施例中,探针设备220的视场可以具有三维锥台形状、圆锥台形状、切片馅饼(slice-of-pie)形状或一些其他形状。在一些实施例中,探针设备220提供与成像设备210的视场不同的视场。
在一些实施例中,在过程430处,探针设备220可以扫描解剖特征240的整个表面。替代地,在一些实施例中,过程430可以使用过程440和450以获得解剖特征240在特定局部探针区域处的局部探针数据,这可以减少扫描时间而不影响配准精度。参考图4B,在过程440处,基于解剖特征240的解剖特征元素(例如,脉管系统中的一个或多个特定血管分叉、血管的血流速度和方向等)确定目标探针区域246和248。来自这些探针区域246和248的探针数据可被用于探针数据和解剖模型245之间更准确的配准(例如,在图像处理算法中使用基于特征的配准以映射探针数据和解剖模型245中的那些解剖特征元素)。在一些实施例中,处理器可基于解剖模型245及其解剖特征元素信息确定来自特定探针区域的探针数据的2D模型(例如,横截面)或3D模型是否被用于探针数据和解剖模型245之间的改进配准。在示例中,处理器确定探针区域246包括单个血管分叉,并且来自探针数据的2D模型适合于配准。在另一示例中,处理器确定探针区域248A包括多个血管分叉,并且来自探针数据的3D模型适合于配准。
参考图4C,在过程450处,处理器可以向操作者提供指令以将器械230朝向图像数据中所示的估计探针区域246和248移动,使得探针设备220扫描图像数据300中的估计探针区域246和248。估计探针区域246和248分别对应于解剖模型245的目标探针区域246和246,并且可以基于解剖模型245和图像数据300之间的配准(例如,不使用任何探针数据的不太准确的配准)生成估计探针区域246和248。在一些实施例中,指令可以指示探针数据是为2D模型还是3D模型收集的。在2D模型的示例中(例如,对于估计探针区域246B),指令可以包括与2D横截面方向对齐的探针设备方向/定向,该2D横截面方向与探针设备方向/定向对齐。在3D模型的示例中(例如,对于估计探针区域248B),指令可以包括多个探针设备方向/定向,使得收集的探针数据足以用于探针区域的3D重建。
在过程460处,探针数据被配准到图像数据以生成第一配准。可以使用各种图像配准算法,包括例如基于强度的配准、基于特征的配准、用线性变换模型的配准、用非刚性变换模型的配准等。过程460可以生成探针设备空间和成像设备空间之间的第一配准(例如,第一变换模型)。下面参考图6A和图6B详细描述过程460的示例配准过程。在一些实施例中,在完成将探针数据配准到图像数据的配准过程之后,探针设备220的计算机辅助设计(CAD)模型可被叠加在医疗系统10的一个或多个显示器(例如基于第一配准的控制台16的一个或多个显示器)中的图像数据上。例如,可以基于第一配准确定探针设备220的CAD模型在图像数据上的位置。在一些实施例中,探针数据(例如,超声图像/视频)可以基于第一配准被叠加(有或没有探针设备220的CAD模型)在显示器中的图像数据上。
在过程470处,解剖模型被配准到探针数据以生成第二配准。可以使用各种图像配准算法,包括例如基于强度的配准、基于特征的配准、用线性变换模型的配准、用非刚性变换模型的配准等。过程460可以生成探针设备空间和成像设备空间之间的第二配准(例如,第二变换模型)。在一些实施例中,由探针设备执行解剖特征240的全扫描。在这样的实施例中,基于全扫描执行整个解剖特征的重建(2D或3D)。例如,可以使用探针数据和来自图像数据300的深度映射两者来执行3D重建。这样的全扫描可能是耗时且计算成本高的。
替代地,如下面参考图7所详细描述的,在一些实施例中,仅需要通过探针设备220对解剖特征240进行部分扫描(例如,探针区域246、248)以用于配准。来自探针区域的每一个的探针数据可被用于2D或3D配准。在示例中,来自探针区域246的探针数据的2D图像可被用于将探针数据与3D解剖模型配准(例如,使用3D解剖模型的横截面)。在另一示例中,来自探针区域248的探针数据的3D模型可被用于将探针数据与3D解剖模型配准。
在各种实施例中,可以使用来自探针设备220的探针数据来确定各种类型的解剖特征信息,来自探针设备220的探针数据可以被用于改进第二配准。在一些示例中,来自探针数据的那些类型的信息可能无法从来自成像设备210的图像数据获取。例如,探针设备220提供具有彩色多普勒的解剖特征240的超声图像,该超声图像可以提供解剖特征240的血管血流信息(例如,通过在图像上叠加颜色以指示血管中血流的速度和方向)。在一些实施例中,解剖模型(例如,包括血管的血流信息的3D模型)可以通过匹配解剖模型和探针数据中的那些类型的信息(例如,血管的血流信息)来配准到探针数据。在一些实施例中,通过将3D解剖模型与探针数据的2D图像(例如,包括一个或多个血管的横截面)配准来执行配准。
在过程480处,解剖模型被配准到图像数据以生成第三配准。可以使用第一配准和第二配准来生成第三配准。通过结合由探针设备提供的丰富信息,解剖模型和图像数据之间的第三配准的准确性被提高。在示例中,在过程480处,通过组合第一配准(例如,第一变换模型)和第二配准(例如,第二变换模型)来确定与解剖模型相关联的模型空间和与图像数据相关联的成像设备空间之间的第三配准(例如,第三变换模型)。在示例中,通过使用第二配准变换解剖模型来将解剖模型配准到图像数据。然后通过使用第一配准将探针设备空间中变换的解剖模型变换到成像设备空间,来将探针设备空间中该变换的解剖模型配准到图像数据。
在过程490处,使用第三配准的配准解剖模型与图像数据一起显示在医疗系统10的一个或多个显示器(例如控制台16的一个或多个显示器)上。参考图4D的示例,解剖模型245基于模型空间和成像设备空间之间的第三配准在显示器中叠加在图像数据300上。在一些实施例中,基于第三配准(例如,基于配准的解剖结构)对解剖特征执行(例如,由操作者使用医疗指令)一个或多个程序(例如,一个或多个手术、诊断、治疗或活检程序)。
图5是根据一些实施例的用于自动检测探针设备的激活的方法500的简化图。根据与图4A一致的一些实施例,方法500通常可以对应于方法400的过程420。
在过程510处,接收与探针设备的活动相关联的一个或多个探针活动信号。在一些实施例中,探针活动信号可以包括与探针设备的活动或休止相关的各种信号。例如,探针活动信号可以包括以下一项或多项:医疗器械的姿态;医疗器械末端执行器的抓握定位(例如,某些姿态和抓握定位可能与操作者用医疗器械抓握探针设备相关);探针数据(例如,超声探针数据中反射的存在或不存在可被用于区分探针设备是否与空气、组织或另一材料相互作用);器械运动学;当被医疗器械抓握时,探针设备相对于探针设备的标准或有效定向的定向等。
在过程520处,基于探针活动信号自动确定探针设备的激活状态。可以使用各种激活状态确定算法来确定探针设备的激活状态。在示例中,在过程530处,通过将探针活动信号与预定激活阈值进行比较来确定激活状态。在该示例中,如果探针活动信号超过预定阈值,则处理器可以确定探针设备处于激活状态,并且如果探针活动信号没有超过预定阈值,则处理器确定探针设备处于非激活状态。在另一示例中,在过程540处,训练的决策树被用于确定探针设备的激活状态。在又一示例中,在过程550处,神经网络模型(例如,机器学习模型)可被用于确定探针设备的激活状态。在一些实施例中,处理器可以在确定探针设备(例如,超声探针)接触目标解剖特征之后进一步确定探针设备处于激活状态。
在过程560处,自动确定的探针设备的激活状态由处理器(例如,控制系统20的处理器)提供。在一些实施例中,激活状态的检测(例如,当在激活状态和非激活状态之间切换时)可以致使探针设备激活状态消息通过显示系统显示给操作者。在一些实施例中,如果确定探针设备220具有激活状态,则方法400可以进行到过程430到490,以从探针设备220接收探针数据并且基于探针数据执行从解剖模型到成像数据的配准。在一些实施例中,如果确定探针设备220具有非激活状态,则方法400可以等待直到检测到探针设备220处于激活状态。
参考图6的示例,示出了根据一些实施例的用于将探针数据配准到图像数据的方法600的简化图。根据与图4A一致的一些实施例,方法600通常可以对应于方法400的过程440。如下文详细描述的,可以基于成像设备和控制探针设备的医疗器械的运动学确定探针设备空间和成像设备空间之间的初始配准,并且可以基于图像数据中的探针设备信息微调初始配准。
在过程610处,基于成像设备和/或医疗器械的运动学估计从探针设备空间到成像设备空间的初始配准,并且基于初始配准预测探针设备相对于图像数据的投影。在一些实施例中,初始配准包括具有一个或多个初始变换参数(例如平移参数、比例参数等)的初始变换。可以基于成像设备(例如,内窥镜)的运动学、医疗器械的运动学以及探针设备相对于医疗器械的定位和定向来确定包括其配准参数的初始配准(例如,基于抓夹探针设备的医疗器械的末端执行器的姿态来确定)。
参考图6B,示出了基于从探针设备空间到成像设备空间的初始配准的探针设备的预测投影650。在示例中,探针设备的预测投影650对应于基于初始配准的探针设备预期在图像数据(例如,内窥镜图像)中占据的预期轮廓。
在过程620处,将探针设备的预测投影650与图像数据中探针设备的实际投影进行比较。图像对齐算法(例如,2D或3D图像对齐算法)可被用于将预测投影650与图像数据中探针设备220的实际投影(例如,探针设备的实际轮廓)对齐。
在过程630处,基于探针设备的预测投影的比较来更新初始配准(包括其配准参数)以匹配探针设备的实际投影。在示例中,配准更新算法迭代地更新一个或多个配准参数,使得基于更新配准的探针设备的预测投影匹配探针设备的实际投影。在示例中,优化器可被用于生成最小化探针设备220的预测投影650和实际投影之间的相似性度量(例如,提供描述相似性的标量值)的配准。
在过程640处,基于更新配准(包括探针数据的更新配准参数)来将探针数据配准到图像数据。
图7是根据一些实施例的用于将解剖模型配准到探针数据的方法700的简化图。根据与图4A一致的一些实施例,方法700通常可以对应于方法400的过程460。如下文详细讨论的,在方法700中,可以执行整个解剖特征的部分扫描而不是全扫描以将解剖模型配准到探针数据,这减少了计算时间,为操作者提供更快的反馈,并节省计算能力。
在过程710处,基于解剖模型识别解剖特征的一个或多个目标属性(例如,探针区域246和/或248)。在示例中,目标属性可以包括基于解剖模型的解剖特征的一个或多个分段特征(也称为解剖特征元素(例如,肾脏的脉管系统、脉管系统中的一个或多个特定血管分叉等))。
在过程720处,使用探针设备来获得(例如,通过指示操作者扫描探针区域)解剖特征的特定部分(例如,探针区域246和/或248)的探针数据。来自探针数据的探针区域的2D或3D图像被用于识别探针数据和解剖模型中对应的目标属性。可以使用各种图像处理算法以映射探针数据和解剖模型中的特征。
在过程730处,基于在探针数据中识别的一个或多个目标属性和解剖模型中对应的目标属性来将解剖模型配准到探针数据。
处理器的一些示例可以包括非瞬时、有形、机器可读介质,该非瞬时、有形、机器可读介质包括可执行代码,当由一个或多个处理器运行时,该可执行代码可以致使一个或多个处理器执行方法400-700的过程。可以包括方法400-700的过程的机器可读介质的一些常见形式是例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带和/或处理器或计算机适用于读取的任何其他介质。
尽管已经示出和描述了说明性实施例,但是在前述公开中考虑了宽范围的修改、改变和替代,并且在一些情况下,可以在没有对应使用其他特征的情况下采用实施例的一些特征。本领域的普通技术人员会认识到许多变化、替代和修改。因此,本发明的范围应仅由所附权利要求来限制,并且适当地以与本文公开的实施例的范围一致的方式宽泛地解释权利要求。
Claims (23)
1.一种医疗系统,其包括:
一个或多个处理器,其被配置为执行操作,所述操作包括:
从第一成像设备接收与患者的解剖特征相关联的图像数据,所述图像数据与第一成像设备空间相关联;
从第二成像设备获得与所述解剖特征相关联的探针数据,所述探针数据与第二成像设备空间相关联;
将所述探针数据配准到所述图像数据以生成所述第二成像设备空间和所述第一成像设备空间之间的第一配准;
将与所述解剖特征相关联的解剖模型配准到所述探针数据以生成所述解剖模型的模型空间和所述第二成像设备空间之间的第二配准;以及
基于所述第一配准和所述第二配准生成所述模型空间和所述第一成像设备空间之间的第三配准。
2.根据权利要求1所述的医疗系统,其中所述操作还包括:
基于所述第三配准将所述模型空间的所述解剖模型变换到所述第一成像设备空间;以及
在显示器上提供变换到所述第一成像设备空间的所述解剖模型的视觉表示。
3.根据权利要求2所述的医疗系统,其中变换到所述第一成像设备空间的所述解剖模型的所述视觉表示被叠加在所述图像数据上。
4.根据权利要求1所述的医疗系统,其中所述第二成像设备是缺乏独立移动能力的附件设备。
5.根据权利要求1所述的医疗系统,还包括:
操纵器,其被配置为通过控制末端执行器抓握所述第二成像设备来控制所述第二成像设备。
6.根据权利要求5所述的医疗系统,其中从所述第二成像设备获得与所述解剖特征相关联的所述探针数据包括:
通过所述操纵器控制所述第二成像设备,以扫描所述解剖特征的至少一部分。
7.根据权利要求5所述的医疗系统,其中所述操作包括:
确定所述第二成像设备处于激活状态;以及
响应于所述第二成像设备处于激活状态的所述确定,将所述探针数据配准到所述图像数据以生成所述第一配准。
8.根据权利要求7所述的医疗系统,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备相关联的探针设备活动信号自动确定所述第二成像设备处于所述激活状态。
9.根据权利要求7所述的医疗系统,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备的激活状态相关联的训练的决策树自动确定所述第二成像设备处于所述激活状态。
10.根据权利要求7所述的医疗系统,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备的激活状态相关联的神经网络模型自动确定所述第二成像设备处于所述激活状态。
11.根据权利要求5所述的医疗系统,其中将所述探针数据配准到所述图像数据包括:
基于所述操纵器和所述末端执行器的运动学确定所述第二成像设备空间和所述第一成像设备空间之间的初始配准;以及
基于所述初始配准生成所述第一配准。
12.一种方法,其包括:
从第一成像设备接收与患者的解剖特征相关联的图像数据,所述图像数据与第一成像设备空间相关联;
从第二成像设备获得与所述解剖特征相关联的探针数据,所述探针数据与第二成像设备空间相关联;
将所述探针数据配准到所述图像数据以生成所述第二成像设备空间和所述第一成像设备空间之间的第一配准;
将与所述解剖特征相关联的解剖模型配准到所述探针数据以生成所述解剖模型的模型空间和所述第二成像设备空间之间的第二配准;以及
基于所述第一配准和所述第二配准生成所述模型空间和所述第一成像设备空间之间的第三配准。
13.根据权利要求12所述的方法,还包括:
基于所述第三配准将所述模型空间的所述解剖模型变换到所述第一成像设备空间;以及
在显示器上提供变换到所述第一成像设备空间的所述解剖模型的视觉表示。
14.根据权利要求13所述的方法,其中变换到所述第一成像设备空间的所述解剖模型的所述视觉表示被叠加在所述图像数据上。
15.根据权利要求12所述的方法,其中所述第二成像设备是缺乏独立移动能力的附件设备。
16.根据权利要求12所述的方法,还包括:
由操纵器通过控制末端执行器抓握所述第二成像设备来控制所述第二成像设备。
17.根据权利要求16所述的方法,其中从所述第二成像设备获得与所述解剖特征相关联的所述探针数据包括:
通过所述操纵器控制所述第二成像设备,以扫描所述解剖特征的至少一部分。
18.根据权利要求16所述的方法,还包括:
确定所述第二成像设备处于激活状态;以及
响应于所述第二成像设备处于激活状态的所述确定,将所述探针数据配准到所述图像数据以生成所述第一配准。
19.根据权利要求18所述的方法,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备相关联的探针设备活动信号自动确定所述第二成像设备处于所述激活状态。
20.根据权利要求18所述的方法,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备的激活状态相关联的训练的决策树自动确定所述第二成像设备处于所述激活状态。
21.根据权利要求18所述的方法,其中确定所述第二成像设备处于所述激活状态包括:
基于与所述第二成像设备的激活状态相关联的神经网络模型自动确定所述第二成像设备处于所述激活状态。
22.根据权利要求16所述的方法,其中将所述探针数据配准到所述图像数据包括:
基于所述操纵器和所述末端执行器的运动学确定所述第二成像设备空间和所述第一成像设备空间之间的初始配准;以及
基于所述初始配准生成所述第一配准。
23.一种非暂时性机器可读介质,其包括多个机器可读指令,当由与医疗设备相关联的一个或多个处理器执行时,所述多个机器可读指令适用于致使所述一个或多个处理器执行根据权利要求12-22中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962866209P | 2019-06-25 | 2019-06-25 | |
US62/866,209 | 2019-06-25 | ||
PCT/US2020/039391 WO2020264003A1 (en) | 2019-06-25 | 2020-06-24 | System and method related to registration for a medical procedure |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114080195A true CN114080195A (zh) | 2022-02-22 |
Family
ID=71738281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080046360.9A Pending CN114080195A (zh) | 2019-06-25 | 2020-06-24 | 与用于医疗程序的配准相关的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220323157A1 (zh) |
EP (1) | EP3989858A1 (zh) |
CN (1) | CN114080195A (zh) |
WO (1) | WO2020264003A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105208960A (zh) * | 2013-05-16 | 2015-12-30 | 直观外科手术操作公司 | 用于与外部成像集成的机器人医疗系统的系统和方法 |
CN109219384A (zh) * | 2016-05-31 | 2019-01-15 | 皇家飞利浦有限公司 | 内窥镜图像与超声图像的基于图像的融合 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2956792A1 (en) * | 2013-02-14 | 2015-12-23 | B-K Medical ApS | Multi-client ultrasound imaging system |
KR20170125360A (ko) * | 2015-03-12 | 2017-11-14 | 네오시스, 인크. | 가상의 환경에서 대응하는 가상의 대상을 조작하도록 물리적 대상을 이용하기 위한 방법 및 관련 장치와 컴퓨터 프로그램 제품 |
-
2020
- 2020-06-24 WO PCT/US2020/039391 patent/WO2020264003A1/en unknown
- 2020-06-24 EP EP20743905.0A patent/EP3989858A1/en active Pending
- 2020-06-24 CN CN202080046360.9A patent/CN114080195A/zh active Pending
- 2020-06-24 US US17/620,081 patent/US20220323157A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105208960A (zh) * | 2013-05-16 | 2015-12-30 | 直观外科手术操作公司 | 用于与外部成像集成的机器人医疗系统的系统和方法 |
CN108095777A (zh) * | 2013-05-16 | 2018-06-01 | 直观外科手术操作公司 | 用于与外部成像集成的机器人医疗系统的系统和方法 |
CN109219384A (zh) * | 2016-05-31 | 2019-01-15 | 皇家飞利浦有限公司 | 内窥镜图像与超声图像的基于图像的融合 |
Also Published As
Publication number | Publication date |
---|---|
EP3989858A1 (en) | 2022-05-04 |
WO2020264003A1 (en) | 2020-12-30 |
US20220323157A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230218356A1 (en) | Systems and methods for projecting an endoscopic image to a three-dimensional volume | |
KR102577474B1 (ko) | 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법 | |
JP2023133606A (ja) | 細長いデバイスに関するシステム及び方法 | |
KR20230029999A (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법 | |
US20210038340A1 (en) | Systems and methods for presenting augmented reality in a display of a teleoperational system | |
US11950869B2 (en) | System and method for providing on-demand functionality during a medical procedure | |
KR20230003408A (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법 | |
US20210315637A1 (en) | Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium | |
CN112384339B (zh) | 用于主机/工具配准和控制以进行直观运动的系统和方法 | |
US20190380798A1 (en) | Systems and methods for controlling tool with articulatable distal portion | |
US20220211270A1 (en) | Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments | |
US12011236B2 (en) | Systems and methods for rendering alerts in a display of a teleoperational system | |
US20230116795A1 (en) | Systems and methods for determining registration of robotic manipulators or associated tools and control | |
US20220323157A1 (en) | System and method related to registration for a medical procedure | |
US20240070875A1 (en) | Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system | |
US11850004B2 (en) | Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |