CN114732518A - 用于单个图像配准更新的系统和方法 - Google Patents

用于单个图像配准更新的系统和方法 Download PDF

Info

Publication number
CN114732518A
CN114732518A CN202111653274.7A CN202111653274A CN114732518A CN 114732518 A CN114732518 A CN 114732518A CN 202111653274 A CN202111653274 A CN 202111653274A CN 114732518 A CN114732518 A CN 114732518A
Authority
CN
China
Prior art keywords
pose
fiducials
image
patient
anatomical elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111653274.7A
Other languages
English (en)
Inventor
D·朱尼奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazor Robotics Ltd
Original Assignee
Mazor Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazor Robotics Ltd filed Critical Mazor Robotics Ltd
Publication of CN114732518A publication Critical patent/CN114732518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明公开了一种方法，其包含：接收关于定位在患者上或所述患者内的多个基准中的每一个的姿势的信息；使成像装置生成所述患者的一部分的单个图像，所述单个图像描绘所述多个基准中的每一个的至少一部分；基于所述信息和所述图像确定所述图像中表示的一个或多个解剖成分的姿势；以及将所述一个或多个解剖成分的所确定姿势与所述一个或多个解剖成分的预定姿势进行比较。

Description

用于单个图像配准更新的系统和方法
技术领域
本技术总体上涉及外科配准，并且更具体地涉及捕获用于配准的单个图像。
背景技术
可以在外科手术中使用图像来进行配准。图像可以在外科手术之前和/或期间获得。图像可以在整个外科手术中拍摄，并且可能需要在外科手术过程中使用成像装置。
发明内容
本公开的实例方面包含：
一种根据本公开的至少一个实施例的方法包括接收关于定位在患者上或所述患者内的多个基准中的每一个的姿势的信息；使成像装置生成所述患者的一部分的单个图像，所述单个图像描绘所述多个基准中的每一个的至少一部分；基于所述信息和所述图像确定所述图像中表示的一个或多个解剖成分的姿势；以及将所述一个或多个解剖成分的所述所确定姿势与所述一个或多个解剖成分的预定姿势进行比较。
本文的任何方面进一步包括使用所述所确定姿势更新预先存在的配准。
本文的任何方面进一步包括将所述所确定姿势与手术计划中的所述一个或多个解剖成分的目标姿势进行比较。
本文的任何方面进一步包括基于体模的使用确定所述成像装置相对于所述多个基准的位置。
本文的任何方面，其中所述多个基准包括一个或多个螺钉。
本文的任何方面，其中所述多个基准包括多个不同类型的植入物。
本文的任何方面进一步包括量化所述一个或多个解剖成分中的至少一个的姿势从所述预定姿势到所述所确定姿势的变化。
本文的任何方面，其中所述图像进一步描绘由机器人持有的装置，且其中所述方法进一步包括基于所述图像在对应于所述机器人的坐标空间中定位所述所确定姿势。
本文的任何方面，其中所述信息包括所述多个基准中的至少一个的计算机辅助设计(CAD)模型。
根据本公开的至少一个实施例的系统包括：处理器；以及存储器，所述存储器存储用于由所述处理器执行的指令，所述指令在由所述处理器执行时使所述处理器接收关于安置在患者上或患者内的多个跟踪装置的形状和姿势的信息；使成像装置生成所述患者的一部分的单个图像，所述单个图像包括所述多个跟踪装置中的每一个的至少一部分；在所述单个图像中标识所述多个跟踪装置中的每一个的所述部分；基于所述信息和所述多个跟踪装置中的每一个的所标识部分来计算所述图像中表示的一个或多个解剖成分的姿势；以及量化所述一个或多个解剖成分中的至少一个的所述计算出的姿势与所述预定姿势之间的差异。
本文的任何方面，其中所述成像装置相对于所述患者固定在第一姿势。
本文的任何方面，其中所述单个图像中的所述多个跟踪装置的所述部分中的每一个的第一表面相对于所述成像装置以大于十度且小于八十度的角度出现。
本文的任何方面，其中所述单个图像是使用荧光透视生成的。
本文的任何方面，其中所述多个跟踪装置包括多个不同类型的植入物。
本文的任何方面，其中所述多个跟踪装置中的至少一个是植入在所述患者内的螺钉。
本文的任何方面，其中所述指令进一步包括使所述处理器将所述一个或多个解剖成分的所述计算出的姿势与所述一个或多个解剖成分的预定姿势进行比较的指令。
本文的任何方面，其中所述多个跟踪装置包括一个或多个螺钉。
本文的任何方面，其中所述一个或多个解剖成分中的每一个是椎骨。
一种根据本公开的至少一个实施例的系统包括：处理器；成像装置；多个基准，所述多个基准被安置在患者上或所述患者内；以及存储器，所述存储器存储用于由所述处理器执行的指令，所述指令在由所述处理器执行时使所述处理器接收关于所述多个基准的姿势的信息；使所述成像装置生成所述患者的一部分的图像，所述图像包括所述多个基准；基于所述信息和所述图像确定所述图像中表示的一个或多个解剖组织的姿势；以及使所述所确定姿势显示在用户接口上。
本文的任何方面，其中所述所确定姿势在所述用户接口上显示为目标姿势的覆盖图。
在下文的附图和描述中阐述本公开的一个或多个方面的细节。本公开中所描述的技术的其它特征、目标和优点将从描述和图式且从权利要求书而显而易见。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。举例来说，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当上述表述中的A、B和C中的每一个都指代如X、Y和Z的一个元素或如X1-Xn、Y1-Ym和Z1-Zo的一类元素时，短语意指选自X、Y和Z的单个元素、选自同一类的元素(例如X1和X2)的组合以及选自两个或更多类的元素(例如Y1和Zo)的组合。
术语“一(a/an)”实体指所述实体中的一个或多个。如此，术语“一(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括”、“包含”和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开和其各个方面、实施例和配置的广泛性概述也不是详尽性概述。其既不旨在标识本公开的关键或重要要素，也不旨在描绘本公开的范围，而是以简化形式呈现本公开的所选概念，作为对下文呈现的更详细描述的介绍。如应了解，本公开的其它方面、实施例和配置可能单独或以组合方式利用上文所阐述或下文所详细描述的特征中的一个或多个。
在考虑下文提供的实施例描述之后，本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个实例。这些附图连同描述一起解释本公开的原理。附图简单地示出如何进行和使用本公开的优选和替代性实例，且不应解释为仅将本公开限制于所示出和所描述的实例。另外的特征和优点将根据以下对本公开的各个方面、实施例和配置的更详细描述变得显而易见，如通过以下所参考的图式所示出。
图1示出了根据本公开的实施例的系统的框图；
图2示出了根据本公开的实施例的方法的流程图；
图3是根据本公开的实施例的方法的附加流程图；以及
图4是根据本公开的实施例的方法的另一流程图。
具体实施方式
应当理解，本文中所公开的各个方面可以与描述和附图中具体呈现的组合不同的组合进行组合。还应理解，取决于实例或实施例，本文中所描述的过程或方法中的任一个的某些动作或事件可以不同的顺序执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施例，执行所公开技术可能不需要所有描述的动作或事件)。另外，出于清晰的目的，虽然本公开的某些方面被描述为由单个模块或单元执行，但应理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个实例中，所描述方法、过程和技术可以硬件、软件、固件或其任何组合实施。如果以软件实施，则可将功能以一个或多个指令或代码的形式存储在计算机可读介质上且可由基于硬件的处理单元执行所述功能。计算机可读介质可以包含非暂时性计算机可读介质，其与有形介质相对应，如数据存储介质(例如，RAM、ROM、EEPROM、闪速存储器或可以用于存储呈指令或数据结构形式的期望程序代码并且可以由计算机访问的任何其它介质)。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器(例如，英特尔酷睿i3、i5、i7或i9处理器；英特尔赛扬处理器；英特尔至强处理器；英特尔奔腾处理器；锐龙(AMD Ryzen)处理器；速龙(AMD Athlon)处理器；羿龙(AMDPhenom)处理器；苹果A10或10X融合处理器；苹果A11、A12、A12X、A12Z或A13仿生处理器；或任何其它通用微处理器)、图形处理单元(例如，英伟达精视(Nvidia GeForce)RTX 2000系列处理器、英伟达精视RTX 3000系列处理器、显卡驱动(AMD Radeon)RX 5000系列处理器、显卡驱动RX 6000系列处理器或任何其它图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”可以指代任何前述结构或者适合于所描述的技术的实施方案的任何其它物理结构。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。
在详细地解释本公开的任何实施例之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和组件布置。本公开能够具有其它实施例且能够以各种方式实践或进行。同样，应理解，本文中所使用的措词和术语是出于描述的目的且不应视为是限制性的。本文中使用“包含”、“包括”或“具有”以及其变化形式意在涵盖其后列出的项目和其等效物以及额外项目。此外，本公开可使用实例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个实例(其可由“例如(for example)”、“借助于实例”、“例如(e.g.)”、“如”或类似语言指示)不旨在且并不限制本公开的范围。
术中荧光透视与术前计算机断层扫描(CT)的配准通常涉及拍摄两幅荧光透视图像。每个图像将患者-可能还有一个或多个主治医师-暴露于已知有害的电离辐射。另外，捕获两个荧光透视图像可能是耗时的，并且可能产生额外的误差空间，因为误差量随着所捕获图像的数量的增长而增长。外科医生可能会受益于与捕获两个图像相关的动作数量和执行时间的减少，而患者可能会受益于麻醉时间的减少。
根据本公开的实施例，在图像中捕获具有已知项目大小的基准标记。基准标记可以包含已知大小和反射率的任何手术附件。本公开的实施例还包含拍摄(例如，捕获)基准标记的单个、相关角度的C形臂镜头。换句话说，C形臂镜头是成角度的，使得基准标记可用于表示缺失的深度指示。本公开的实施例可用于更新现有的、先前取得的配准或创建新的配准。
本公开的实施例有利地使得能够仅使用单个图像来生成或更新配准。本公开的实施例还减少了捕获用于配准的附加图像所需的工作量，同时还减少了患者在手术或外科手术期间经历的辐射量。本公开的实施例还有利地使得能够在涉及机器人和/或机器人臂的手术或外科手术中提高配准准确度。
首先转向图1，示出了根据本公开的至少一个实施例的系统100的框图。系统100可以用于例如获得和处理图像数据；执行本文描述的一种或多种方法；执行本文中所描述的一个或多个算法；和/或便于手术或外科手术。系统100包括计算装置102、一个或多个成像装置108、机器人130、导航系统136、数据库144和云或其它网络148。尽管如此，根据本公开的其它实施例的系统可以省略系统100的一个或多个组件。例如，在一些实施例中，系统100可以省略计算装置102的一个或多个组件。另外，根据本公开的其它实施例的系统可以不同地布置系统100的一个或多个组件(例如，成像装置108、机器人130和/或其组件，和/或导航系统136可以包括计算装置102的一个或多个组件，和/或反之亦然)，和/或包含未示出的附加组件。
计算装置102包括至少一个处理器104、至少一个通信接口106、至少一个用户接口112和至少一个存储器116。根据本公开的其它实施例的计算装置可以省略通信接口106和/或用户接口112中的一个或两个。
计算装置102的至少一个处理器104可以是本文中所标识或描述的任何处理器或任何类似处理器。所述至少一个处理器104可被配置成执行存储在所述至少一个存储器116中的指令140，所述指令140可致使所述至少一个处理器104利用或基于例如从成像装置108、存储器116、机器人臂130和/或其组件、导航系统136、数据库144和/或云148接收的数据来执行一个或多个计算步骤。指令140还可以使至少一个处理器104利用存储在存储器116中的一个或多个算法。在一些实施例中，至少一个处理器104可用于在外科手术期间，包含在成像过程或由机器人130使用导航系统136自主或半自主执行的其它过程期间，控制一个或多个成像装置108、机器人130和/或其组件(例如，一个或多个机器人臂132)和/或导航系统136。
计算装置102还可以包括至少一个通信接口106。至少一个通信接口106可以用于接收传感器数据(例如，来自一个或多个成像装置108、机器人130和/或导航系统136)、手术计划(例如，手术计划134)或其它计划数据，或来自外部源(例如，数据库144、云148和/或便携式存储介质(例如，USB驱动器、DVD、CD))的其它信息，和/或用于将指令、图像或其它信息从至少一个处理器104和/或计算装置102更广泛地传输到外部系统或装置(例如，另一计算装置102、一个或多个成像装置108、机器人130、导航系统136、数据库144、云148和/或便携式存储介质(例如，USB驱动器、DVD、CD))。至少一个通信接口106可以包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线接口(例如，被配置成通过如802.11a/b/g/n、蓝牙、蓝牙低能量、NFC、ZigBee等的一个或多个无线通信协议来传输信息)。在一些实施例中，至少一个通信接口106可用于使装置102能够与一个或多个其它处理器104或计算装置102通信，无论是减少完成计算密集型任务所需的时间还是出于任何其它原因。
至少一个用户接口112可以是或包括键盘、鼠标、轨迹球、监测器、电视、触摸屏、按钮、操纵杆、开关、杠杆和/或用于从用户接收信息和/或用于将信息提供到计算装置102的用户的任何其它装置。至少一个用户接口112可以用于例如接收与本文中所描述的任何方法的任何步骤相关的用户选择或其它用户输入；接收关于计算装置102、一个或多个成像装置108、机器人130、导航系统136和/或系统100的任何其它组件的一个或多个可配置设置的用户选择或其它用户输入；接收关于如何和/或在哪里存储和/或传送由计算装置102接收、修改和/或生成的数据的用户选择或其它用户输入；和/或基于由计算装置102接收、修改和/或生成的数据向用户显示信息(例如，文本、图像)和/或播放声音。尽管在系统100中包含至少一个用户接口112，但是系统100可以自动地(例如，在没有通过至少一个用户接口112的任何输入的情况下或以其它方式)执行本文中所描述的任何方法的步骤中的一个或多个或全部。
虽然至少一个用户接口112示出为计算装置102的部分，但在一些实施例中，计算装置102可利用与计算装置102的一个或多个其余组件分开容纳的用户接口112。在一些实施例中，用户接口112可接近计算装置102的一个或多个其它组件定位，而在其它实施例中，用户接口112可远离计算机装置102的一个或多个其它组件定位。
至少一个存储器116可以是或包括RAM、DRAM、SDRAM、其它固态存储器、本文中所描述的任何存储器或用于存储计算机可读数据和/或指令的任何其它有形的非暂时性存储器。至少一个存储器116可存储用于完成例如本文中所描述的方法200、300和/或400的任何步骤的信息或数据。至少一个存储器116可以存储例如指令140和/或一个或多个算法。在一些实施例中，存储器116还可以存储一个或多个术前计划和/或其它手术计划(例如，手术计划134)；一个或多个患者的一个或多个图像，具体包含要对其执行一个或多个外科手术的一个或多个患者的解剖特征/成分；从一个或多个成像装置108(或前述任一个)、机器人130和/或导航系统136(包含其任何组件)或其它地方接收的图像和/或其它数据；和/或与本公开有关的其它有用信息。
如上所述，指令140可以是或包括由至少一个处理器104执行的任何指令，所述指令使至少一个处理器执行本文中所描述的任何方法的一个或多个步骤。指令140可以是或包括用于确定一个或多个解剖成分(例如，一个或多个椎骨)和/或多个基准(例如，跟踪标记)的姿势的指令；用于将一个或多个解剖成分的所确定姿势与一个或多个解剖成分的预定姿势进行比较的指令；用于量化所述一个或多个解剖成分的所述所确定姿势与所述预定姿势之间的差异的指令；用于在坐标空间中定位所确定姿势的指令；用于将图像空间配准到患者空间的指令；用于操纵如机器人130和/或一个或多个机器人臂132之类的机器人和/或机器人臂以执行本文中所描述的任何一个或多个方法的指令；或以其它方式。指令140可以附加地或可替代地使至少一个处理器104和/或更一般地计算装置102能够作为机器学习引擎来操作，所述机器学习引擎接收数据并输出一个或多个阈值、标准、算法和/或可以在椎间植入物插入过程期间和/或在其中从如本文中所描述的椎间工具获得的信息可能相关的任何其它外科手术期间使用的其它参数，以增加积极的手术结果的可能性。
先前提到的一个或多个算法可以是或包括用于将从传感器(包含一个或多个成像装置108的成像传感器)和/或从计量器接收的传感器数据转换成有意义的信息(例如，将图像空间配准到患者空间，相对于给定坐标系的空间位置信息、计算出的力值、压力值、距离测量)的任何算法。一个或多个算法还可以是或包括一个或多个图像处理算法120、一个或多个姿势算法122、一个或多个配准算法124、一个或多个图像更新或比较算法126以及一个或多个配准更新或比较算法128。一个或多个算法可用于控制一个或多个成像装置108、机器人130和/或导航系统136。一个或多个算法还可以是或包括用于基于从传感器和/或计量器接收的信息向外科医生或系统100的其它用户生成一个或多个推荐，和/或用于基于这样的信息和/或这样的信息的评估来修改术前计划或其它手术计划(例如，手术计划134)的算法。在一些实施例中，一个或多个算法可以是或包含用于分析历史数据(例如，存储在数据库144中的历史数据)的机器学习算法。
数据库144可以存储本文中描述为存储在存储器116中的任何信息，包含如指令140之类的指令和/或如一个或多个算法(例如，一个或多个姿势算法122等)之类的算法。在一些实施例中，数据库144存储一个或多个术前计划或其它手术计划(例如，手术计划134)。数据库144可以附加地或可替代地存储例如关于或对应于一个或多个成像装置108、机器人130和导航系统136中的一个或多个的一个或多个特性的信息；和/或关于与外科手术相关使用的可用工具和/或设备的其它信息。数据库144可以被配置成向一个或多个成像装置108、机器人130、计算装置102、导航系统136或向系统100的或系统100外部的任何其它装置提供任何这样的信息，无论是直接地还是通过云148。在一些实施例中，数据库144可以是或包括医院图像存储系统的一部分，如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包含图像数据的电子医疗记录的另一系统。同样在一些实施例中，存储器116可存储上文所描述的信息中的任一个。
云148可以是或表示因特网或任何其它广域网。计算装置102可以使用有线连接、无线连接或两者通过通信接口106连接到云148。在一些实施例中，计算装置102可通过云148与数据库144和/或外部装置(例如，计算装置)通信。
导航系统136可以在手术或外科手术期间为外科医生和/或机器人130和/或其组件(例如，一个或多个机器人臂132)提供导航。导航系统136可以是任何现在已知的或将来开发的导航系统，包含例如Medtronic StealthStationTM S8手术导航系统。导航系统136可以包含相机或其它传感器，用于检测和/或跟踪一个或多个参考标记、导航跟踪器或在手术室或进行外科手术的其它房间内的其它物体。在一些实施例中，导航系统136可以包括多个传感器。在各种实施例中，导航系统136可用于跟踪一个或多个成像装置108、机器人130和/或一个或多个其它物体的位置，导航系统136对所述物体有瞄准线(其中导航系统是光学系统)或所述物体可以其它方式由导航系统136检测。导航系统136可用于跟踪一个或多个参考标记或阵列或其它结构的位置，所述参考标记或阵列或其它结构可用于由导航系统136的相机或其它传感器检测。导航系统136可以包含用于显示来自外部源(例如，计算装置102、云148或其它源)的一个或多个图像或来自导航相机或来自一个或多个成像装置108或来自另一传感器的视频流的显示器。在一些实施例中，系统100可在不使用导航系统136的情况下操作。
成像装置108被配置成捕获、存储和/或传输系统100的各种组件之间的图像和/或图像数据(例如，图像元数据、像素数据等)(例如，到机器人130、导航系统136、计算装置102、其任何组合等)。成像装置108可包括一个或多个传感器，所述传感器可辅助系统100确定成像装置108的位置和定向(例如，姿势)。在一些实施例中，系统100可确定成像装置108相对于系统100中的一个或多个其它组件(例如，机器人130)的位置和定向。当处理与由成像装置108捕获的图像相关的数据时，成像装置108的位置和定向的确定可以帮助系统100。在各种实例中，由成像装置108捕获的图像数据可以包括对应于患者的解剖特征或其一部分的数据。成像装置108可以是或包括例如超声扫描仪、O型臂、C型臂、G型臂或利用基于X射线的成像的任何其它装置(例如，荧光镜、CT扫描仪或其它X射线机)、磁共振成像(MRI)扫描仪、光学相干断层扫描仪、热像相机(例如，红外相机)或能够获得患者的解剖特征的图像的任何其它成像装置。在一些实施例中，成像装置108可以包括附加的或可替代的连接组件(例如，体模)，其可以便于捕获和/或处理由成像装置108捕获的图像。连接组件可过滤和/或处理所接收的与成像装置108不正交的光(例如，与非平面图像相关联的图像的侧边和/或边界)以提供与平面图像一致的图像数据(例如，图像的所有部分与成像装置108正交)。
在一些实施例中，由成像装置108捕获的一个或多个图像可用于验证手术或外科手术的配准(例如，将如与所捕获图像相关联的数据的不同数据集变换成单个坐标系，或者一个坐标系或空间与另一坐标系或空间的相关性)。例如，手术或外科手术可以包括将机器人和/或机器人臂(例如，机器人臂132)的坐标系配准到患者的坐标系。在一些实施例中，导航系统的坐标系或空间可以附加地或可替代地配准到机器人坐标系和/或患者坐标系。此后，配准可以使机器人能够移动到相对于患者的特定位置。然而，如果患者、机器人和/或导航系统中的一个或多个的位置相对于患者、机器人和/或导航系统中的任何其它一个或多个改变，则配准可能变得无效。因此，来自成像装置108的图像可用于确定所配准的实体相对于彼此是否仍处于相同位置。
由成像装置108捕获的图像还可以用于更新配准或执行附加的配准，无论是由于患者相对于机器人移动或反之亦然，还是由于任何其它原因。然后，系统100和/或其组件(例如，计算装置102)可以使用更新的或附加的向前配准。
机器人130可以是任何手术机器人或手术机器人系统。机器人130可以是或包括例如Mazor XTM隐形版机器人引导系统。机器人130可以包括一个或多个机器人臂132。在一些实施例中，机器人臂132可以辅助外科手术(例如，通过将工具保持在期望的轨迹或姿势中，通过在外科医生或其它用户操作工具时支撑工具的重量，通过在外科医生或其它用户的控制下将工具移动到特定姿势，和/或以其它方式)和/或自动地执行外科手术。
机器人臂132可以具有一个、两个、三个、四个、五个、六个、七个或更多个自由度。机器人臂132可以包括一个或多个段。每个段可以通过接头固定到至少一个相邻构件，使得机器人臂132铰接。接头可以是能够使构件相对于接头所附接的结构(例如，机器人臂的另一段)进行选择性移动的任何类型的接头。例如，接头可以是枢轴接头、铰链接头、鞍形接头或球窝接头。接头可允许构件在一维或多维中和/或沿一个轴或沿多个轴移动。虽然机器人臂132的近端可固定到基座(无论是通过接头或其它方式)，但机器人臂132的远端可支撑末端执行器。端部执行器可以是例如工具(例如，钻、锯、成像装置)或工具引导件(例如，用于沿着期望的轨迹引导活检针、消融探针或其它工具)。
机器人臂132可以包括一个或多个姿势传感器。姿势传感器可以被配置成检测机器人臂或其部分的姿势，并且可以是或包括一个或多个旋转编码器、线性编码器、增量编码器或其它传感器。来自姿势传感器的数据可被提供给机器人臂132的处理器、计算装置102的处理器104和/或导航系统136。所述数据可用于计算机器人臂132相对于预定坐标系的空间位置。这种计算出的位置可用于例如确定附接到机器人臂132的多个传感器中的一个或多个的空间位置。另外地和/或可替代地，一个或多个跟踪标记可以被固定或以其它方式附接到机器人臂132，并且导航系统136可以利用一个或多个跟踪标记来确定机器人臂132和/或由其支撑的末端执行器的空间位置(例如，相对于导航坐标系)。
本公开的实施例可以包括具有多于一个机器人臂132的系统100。例如，一个或多个机器人臂可用于支撑成像装置108。作为另一实例，可以使用多个机器人臂来保持不同的工具或医疗装置，每个工具或医疗装置可能需要同时使用以成功地完成外科手术。例如，在一些实施例中，机器人130和/或一个或多个机器人臂132可以将装置(例如，跟踪装置、基准等)保持在相对于机器人130和/或患者的固定位置处。所持装置的图像可由成像装置108捕获，系统100的一个或多个组件(例如，处理器104)可使用所述图像来确定坐标空间中的姿势。例如，在配准期间，系统100可以利用捕获的图像和其中显示的装置来将图像空间(例如，图像的坐标)配准到坐标空间(例如，装置被保持在其中的空间)。附加地或可替代地，系统100可以确定装置的姿势，所述姿势可以用于配准或用于定义坐标空间。
现在转到图2，示出了根据本公开的实施例的用于一个或多个解剖成分的单个图像姿势确定的方法200。方法200可部分地或整体地由例如计算装置102或类似装置执行，且可利用系统100和/或其一个或多个组件(例如，处理器104、一个或多个成像装置108、导航系统136和/或其组合等)。用于执行方法200和/或其一个或多个步骤的至少一个处理器可以与上述计算装置102的处理器104相同或相似。至少一个处理器可以是机器人(例如包括一个或多个机器人臂132的机器人130)的一部分或导航系统(例如导航系统136)的一部分。除了本文中所描述的任何处理器之外的处理器还可用于执行方法200。至少一个处理器可以通过执行存储在存储器(例如存储器116)中的指令(例如指令140)来执行方法200。方法200的一个或多个方面可以由机器人和/或外科机器人臂(例如，附接到机器人130的机器人臂132)和/或其组件执行或与机器人和/或外科机器人臂和/或外科机器人臂和/或其组件一起执行。方法200可以用于例如基于患者和/或系统100的一个或多个组件在例如手术或外科手术中的移动来更新配准。例如，患者在手术期间可能已经移位，并且可能需要新的配准。
方法200包括接收关于多个基准中的每一个的大小、形状、配置、姿势和/或相对位置的信息(步骤204)。多个基准可以定位在患者上或患者内。多个基准可以是或包括植入到患者体内的一个或多个螺钉、杆、椎间体或其它医疗装置。信息可以通过如用户接口112和/或通信接口(例如，通信接口106)等的用户接口来接收，并且可以由计算装置(例如，计算装置102)存储在存储器(例如，存储器116)中。在一些实施例中，可以从系统100的一个或多个组件，例如从数据库144和/或云148和/或从系统100的外部组件(例如，从其它计算装置和/或数据库))接收信息。所述信息可以包括多个基准中的一个或多个基准的CAD(计算机辅助设计)模型。所述信息可以对应于一个或多个基准的反射率。所述信息可以对应于手术计划和/或来自用于执行手术计划的机器人的数据，并且可以包含例如关于当插入到患者中时给定基准相对于患者解剖结构的姿势(例如，位置和定向)或位置或定向的信息。所述信息可以包括关于多个基准(例如，插入患者中的基准的数目、多个基准的放置的相对时间等)和/或外科手术(例如，外科手术的类型、外科手术的持续时间等)的附加数据。
所接收的信息可以至少描绘所述基准的大小、形状、配置、姿势和/或相对位置。多个基准中的每一个的大小可以是或包括每个基准的尺寸(例如，长度、宽度、高度等)。多个基准中的每一个的形状可以是针对多个基准的外形、几何形状、轮廓、表面、边缘等的信息。多个基准中的每一个的姿势可以是基准中的每一个相对于患者或在另一指定坐标空间中的位置和定向。每个基准的相对位置可以是每个基准与多个基准的其余基准的相对距离的测量。在一些实施例中，可以将信息输入到一个或多个算法(例如，姿势算法122)中，以从中提取或确定附加信息和/或将信息转换成对系统有用的信息(例如，对配准有用或与配准有关的信息)。在一些实施例中，关于多个基准的信息可以进一步存储/保存(例如，在数据库144、存储器116或其它地方)在系统100内。
方法200还包括生成患者的一部分的单个图像(步骤208)。例如，计算装置102(并且更具体地，处理器104)可以致使成像装置(例如，成像装置108)生成(例如，捕获)患者的一部分的图像，所述图像包括多个基准中的一个或多个基准。单个图像可以是例如荧光透视图像。在一些实施例中，处理器可以使成像装置相对于患者移动到第一姿势(例如，位置和定向)，使得成像装置可以观察多个基准中的每个基准。在一些实施例中，第一姿势可以是这样的位置和定向，使得成像装置看到多个基准中的每个基准，并且使得多个基准中的每个基准的相对间隔和深度信息(例如，每个基准位于坐标系中的位置以及每个基准相对于坐标系离相机多远)可以根据所捕获的图像和在步骤204中接收的信息来确定。在一些实施例中，图像可以仅捕获多个基准中的每一个的各部分。例如，在图像中仅可存在多个基准中的每一个的百分比(例如，1％、2％、5％、10％、15％、25％、50％、75％、80％、90％等)。在此类实施例中，百分比对于多个基准中的每一个可以是不同的。在一些实施例中，图像可以仅描绘基准总数的百分比(例如，仅描绘基准总数的一半)。在一些实施例中，方法200仅生成患者的所述部分的单个图像。成像装置可以将所捕获的图像发送到系统100中的一个或多个组件(例如，发送到计算装置102、数据库144等)和/或发送到系统100外部的组件。多个基准中的每个基准可以存在于图像中，并且可以与图像中的其它伪影或结构区分开。例如，在多个基准包括螺钉的实施例中，成像装置108可以发射放射波(例如，X射线)，其中检测器被定位成使得多个基准在成像装置108与检测器之间。所得图像可突出显示(例如，以不同颜色、纹理、强度和/或形状显示)定位在患者内的多个基准。如先前所指出的，多个基准可以附接或定位成接近一个或多个解剖成分(例如，内部器官、骨骼、韧带、肌腱、肌肉结构、其它软组织和/或硬组织等)。在此类实施例中，描绘患者的所述部分的图像的捕获还可以描绘所述基准附接至其上或位于近侧的一个或多个解剖成分的相对位置。
在一些实施例中，可以在手术或外科手术之前将多个基准中的一个或多个放置在患者上或患者内。例如，在手术开始之前，可以将多个基准中的一个或多个固定到患者的皮肤上(或者甚至固定到患者的骨骼解剖结构上，无论是通过小切口还是其它方式)。同样在一些实施例中，多个基准中的一个或多个基准先前可能已经被植入在患者中(例如，在初始手术期间)，从而允许系统100在后续手术(例如，补救手术)之前捕获(例如，通过成像装置108)多个基准的相对布局。系统100可以在手术时使用所捕获的信息来将多个基准的布局与在手术或外科手术期间或之后捕获的多个基准的新图像进行比较。
此外，如上所述，在一些实施例中，可以将多个基准中的一个或多个植入在患者中。例如，手术或外科手术可以针对在患者内执行的手术。在此类实施例中，多个基准中的一个或多个可以被植入在患者的特定位置(例如，解剖特征、结构等)。这可以允许系统100和/或其组件确定患者的相对解剖结构。然后可以在手术或外科手术期间和/或之后从患者移除所述多个基准。多个基准绝非限制性的，并且实例可以包含螺钉、跟踪装置、射频标识(RFID)标签等。螺钉可以是例如椎弓根螺钉、皮质螺钉、松质骨螺钉、其组合和/或类似物。
在一些实施例中，多个基准可以被定位成使得可以从图像获得深度测量。可以基于观察基准的第一表面来确定深度测量。举例来说，基准的第一表面可相对于成像装置的第一姿势成角度，使得成像装置可仅看到基准的等角(例如，透视)视图。换言之，基准既不是正交的(例如，使得成像装置仅观察基准的顶部或底部而不观察侧面)也不是横向的(例如，使得成像装置仅观察基准的侧面而不观察顶部或底部)。相反，由成像装置看到的基准的视图(并且随后出现在图像中)可以使得除了基准的顶部、底部和侧面中的至少一个之外还观察第一表面。至少两个表面的外观可以允许方法200使用在步骤204中接收的信息并且通过确定所捕获的图像中的基准的角度来确定基准的深度(例如，基准的每个点相对于坐标系离成像装置多远)。
方法200还包括确定单个捕获图像中的一个或多个解剖成分的姿势(步骤212)。所述确定可以基于在步骤204中接收的信息以及在步骤208中生成的图像。所述确定可以使用一个或多个算法，例如姿势算法122。姿势确定可以包含使用附接到或靠近一个或多个解剖成分的多个基准的坐标和/或定向。在一些实施例中，姿势算法可以被配置成基于在图像中捕获的多个基准和在步骤204中接收的信息来计算一个或多个姿势。例如，姿势算法可以确定基准附接到解剖成分或附近，并且可以使用所接收的关于基准的大小、形状、配置、姿势和/或相对位置的信息，连同在步骤208中生成的图像，来定义解剖成分的姿势。在一些实施例中，姿势算法可以输出相对于预定坐标系、机器人和/或其它组件(例如，系统100的其它组件)输出所定义的姿势。在一些实施例中，姿势算法可以是、使用人工智能(AI)、机器学习(例如，深度学习)和/或其它解决方案，或由人工智能(AI)、机器学习(例如，深度学习)和/或其它解决方案使用，以标识、检测或以其它方式识别基准和/或确定解剖成分的姿势。所确定姿势可以被发送到和/或存储在系统100的一个或多个组件中。方法200可以附加地或可替代地利用图像处理算法(例如，图像处理算法120)。图像处理算法可以接收所捕获的图像(例如，从成像装置)，并且可以过滤、处理或以其它方式数字地操纵单个图像。此类图像后处理可以提高图像的存储效率和/或可以提高图像质量以更容易地促进姿势确定(例如，通过提高传递到姿势算法的图像的质量)。
在一些实施例中，可以确定多个基准中的每一个的深度。在成像装置捕捉到基准的至少两个表面的视图的实施例中，可通过角度测量连同步骤204中所接收的信息来确定相对深度。例如，姿势算法可以确定患者的部分的图像中的基准的相对角度，并且可以使用角度和位置信息(例如，所接收的关于基准的相对位置的信息)来计算基准的姿势。每个基准的第一表面可以是姿势算法测量相对角度的表面。第一表面的选择不受限制，并且第一表面的选择可以是任意的，并且可以附加地或可替代地基于图像中基准的外观、基于用于指定第一表面的预定指令等来进行选择。第一表面的角度可以以大于0度且小于90度、大于10度且小于80度、大于20度且小于70度等的角度出现在单个图像中。然而，应当理解，上述角度范围决不限于本公开的实施例，并且在0到90度之间的附加的或可替代的角度范围是可能的。方法200可以使用所确定基准位置来进一步确定一个或多个解剖成分的姿势。例如，在多个基准已经固定到一个或多个解剖成分的实施例中，基准的姿势可以允许处理器确定一个或多个解剖成分的相对姿势。在一些实施例中，多个基准中的一个或多个可以附接在一个或多个解剖成分上或附近，这可以允许基于多个基准的相对姿势和多个基准与一个或多个解剖成分之间的已知距离来确定一个或多个解剖成分的姿势。在一些实施例中，将一个或多个解剖成分的姿势与目标姿势进行比较。例如，目标姿势可以是一个或多个解剖成分中的每一个的预测或预期姿势。比较算法可以将所确定姿势与目标姿势进行比较以确定准确度水平(例如，所确定姿势与期望姿势有多接近)。在一些实施例中，所述方法可以包含当所确定姿势在目标姿势的阈值准确度水平之外时，向用户接口(例如，用户接口112)发送警告。
方法200还包括将一个或多个解剖成分的所确定姿势与一个或多个解剖成分的预定姿势进行比较(步骤216)。一个或多个解剖成分的预定姿势可以对应于先前的配准，和/或可以由例如系统100的一个或多个组件提供。在一些实施例中，预定姿势在进行手术或外科手术之前可能已经确定。例如，预定姿势可以包括关于一个或多个解剖成分和/或多个基准应该基于先前捕获的数据(例如，在手术或外科手术之前或在先前配准期间获取的一个或多个解剖成分和/或多个基准的图像)位于何处的信息(例如，坐标、图像、其组合等)。预定姿势可以对应于术前CT或MRI图像。方法200可以实现比较算法(例如，图像更新或比较算法126)以将一个或多个解剖成分的所确定姿势与在较早时间确定的预定姿势进行比较。在一些实施例中，比较算法可以考虑患者的从确定了预定姿势的第一位置和可以计算所确定姿势的第二位置的位置变化。例如，当患者处于仰卧位置时可以确定预定姿势，并且所确定姿势可以基于患者正处于俯卧位置。比较算法可以部分地基于患者位置中的该开关将所确定姿势与预定姿势进行比较。
方法200还包括量化一个或多个解剖成分的所确定姿势与一个或多个解剖成分的预定姿势之间的差异(步骤220)。量化可利用一个或多个算法(例如，图像更新或比较算法126)来提供反映所确定姿势与预定姿势之间的差异的量。例如，所述算法可以接收所确定姿势中的一个或多个解剖成分与预定姿势中的一个或多个解剖成分的相对位置的比较结果，并且可以基于所比较的位置进行量化。量化差异可以是基于百分比的(例如，0.1％差异、0.2％差异、1％差异、5％差异、10％差异等)。在一些实施例中，基于百分比的差异可以基于与预定姿势匹配(例如，重叠、对齐等)的所确定姿势的百分比。如果报告所有解剖成分的基于百分比的差异，则基于百分比的差异可以使用加权平均，并且可以附加地或可替代地报告一个或多个解剖成分的每个解剖成分的基于百分比的差异。在一些实施例中，100％的差异可以指示所确定姿势与预定姿势没有姿势重叠。在一些实施例中，量化差异可以是位置或角度差异(例如，0.1mm差异、0.2mm差异、1mm差异、0.1度差异、0.2度差异、1度差异等)。位置差异可以基于所确定姿势与预定姿势在一个或多个方向上的相对坐标变化(例如，沿着一个或多个解剖成分的长度、宽度和/或高度的位置变化)。在一些实施例中，所述算法可以基于一个或多个解剖成分的所捕获图像上的位置差异。例如，算法可以在手术或外科手术开始之前接收一个或多个解剖成分的所捕获图像，其可以被指定为预定姿势。这样的图像可以是例如CT扫描、MRI图像或另一术前图像。图像可以是二维或三维的。所述算法可另外接收由成像装置捕获的单个图像，其可指示所确定姿势。单个图像可以是例如荧光透视图像或超声图像。单个图像可以是二维的，但是其中可以使用本公开的各方面来推断和/或计算第三维信息(包含例如通过使用成像的基准来计算深度信息)。所述算法可以比较一个或多个解剖成分的两个图像，并确定从预定姿势到所确定姿势的百分比或位置变化。
方法200还包含在坐标系中定位所确定姿势(步骤224)。方法200可以利用一个或多个算法(例如，姿势算法122)在坐标系中定位所确定姿势。例如，所述算法可以接收单个图像中的一个或多个解剖成分的所确定姿势，并且可以将所述姿势映射到坐标空间中的坐标系。在一些实施例中，坐标空间可以与患者空间相似或相同。映射可以基于当图像被捕获时成像装置(例如，成像装置108)的位置，并且可以附加地或可替代地基于多个基准相对于一个或多个解剖成分的定位。坐标空间中的一个或多个解剖成分中的每一个的姿势可以被存储/保存(例如，在数据库144中)和/或由机器人(例如，机器人130和/或一个或多个机器人臂132)用于手术或外科手术。
如基于前述公开可以理解的，本公开涵盖具有少于图2中标识的所有步骤的方法(以及方法200的对应描述)，以及包含除图2中标识的那些步骤之外的附加步骤的方法(以及方法200的对应描述)。
转到图3，示出了根据本公开的实施例的用于向用户接口显示所确定姿势的方法300。方法300可部分地或整体地由例如计算装置102或类似装置执行，且可利用系统100和/或其组件(例如，处理器104、一个或多个成像装置108、导航系统136和/或其组合等)。用于执行方法300和/或其一个或多个步骤的至少一个处理器可以与上述计算装置102的处理器104相同或相似。至少一个处理器可以是机器人(例如包括一个或多个机器人臂132的机器人130)的一部分、导航系统(例如导航系统136)的一部分，或用户接口(例如用户接口112)的一部分。除了本文中所描述的任何处理器之外的处理器还可用于执行方法300。至少一个处理器可以通过执行存储在如存储器116之类的存储器中的指令(例如指令140)来执行方法300。方法300的一个或多个方面可以由机器人和/或外科机器人臂(例如，附接到机器人130的机器人臂132)和/或其组件执行或与机器人和/或外科机器人臂和/或外科机器人臂和/或其组件一起执行。方法300可以用于例如更新配准(无论是由于患者和/或系统100的一个或多个组件在例如手术或外科手术中的移动，还是由于其它原因)。例如，患者在手术期间可能已经移位，并且可能需要新的配准来确保外科装置和/或仪器(例如机器人130)相对于患者正确地定位。方法300可以附加地或可替代地用于在用户接口上显示一个或多个解剖成分的所确定姿势，例如由外科医生在手术或外科手术期间使用。
方法300包括接收关于多个基准(定位在患者上或患者内)中的每一个的大小、形状、配置、姿势和/或相对位置的信息(步骤304)。多个基准可以是或包括植入到患者体内的一个或多个螺钉、杆、椎间体或其它医疗装置。信息可以通过如用户接口112和/或通信接口(例如，通信接口106)等的用户接口来接收，并且可以由计算装置(例如，计算装置102)存储在存储器(例如，存储器116)中。在一些实施例中，可以从系统100的一个或多个组件，例如从数据库144和/或云148和/或从系统100的外部组件(例如，从其它计算装置和/或数据库))接收信息。所述信息可以包括多个基准中的一个或多个基准的CAD(计算机辅助设计)模型。所述信息可以对应于一个或多个基准的反射率。所述信息可以对应于手术计划和/或来自用于执行手术计划的机器人的数据，并且可以包含例如关于当插入到患者中时给定基准相对于患者解剖结构的姿势(例如，位置和定向)或位置或定向的信息。所述信息可以包括关于多个基准(例如，插入患者中的基准的数目、多个基准的放置的相对时间等)和/或外科手术(例如，外科手术的类型、外科手术的持续时间等)的附加数据。在一些实施例中，信息可以包括CT、MRI或描绘多个基准中的一个或多个的其它术前图像。
所接收的信息可以至少描绘所述基准的大小、形状、配置、姿势和/或相对位置。多个基准中的每一个的大小可以是或包括每个基准的尺寸(例如，长度、宽度、高度等)。多个基准中的每一个的形状可以是针对多个基准的外形、几何形状、轮廓、表面、边缘等的信息。多个基准中的每一个的姿势可以是基准中的每一个相对于患者或在另一指定坐标空间中的位置和定向。每个基准的相对位置可以是每个基准与多个基准的其余基准的相对距离的测量。在一些实施例中，可以将信息输入到一个或多个算法(例如，姿势算法122)中，以从中提取或确定附加信息和/或将信息转换成对系统有用的信息(例如，对配准有用或与配准有关的信息)。在一些实施例中，关于多个基准的信息可以进一步存储/保存(例如，在数据库144、存储器116或其它地方)在系统100内。
方法300还包括生成患者的一部分的单个图像(步骤308)。例如，计算装置102(并且更具体地，处理器104)可以致使成像装置(例如，成像装置108)生成(例如，捕获)患者的一部分的图像，所述图像包括多个基准中的一个或多个基准。单个图像可以是例如荧光透视图像。在一些实施例中，处理器可以使成像装置相对于患者移动到第一姿势(例如，位置和定向)，使得成像装置可以观察多个基准中的每个基准。在一些实施例中，第一姿势可以是这样的位置和定向，使得成像装置看到多个基准中的每个基准，并且使得多个基准中的每个基准的相对间隔和深度信息(例如，每个基准位于坐标系中的位置以及每个基准相对于坐标系离相机多远)可以根据所捕获的图像和在步骤304中接收的信息来确定。在一些实施例中，图像可以仅捕获多个基准中的每一个的各部分。例如，在图像中仅可存在多个基准中的每一个的百分比(例如，1％、2％、5％、10％、15％、25％、50％、75％、80％、90％等)。在此类实施例中，百分比对于多个基准中的每一个可以是不同的。在一些实施例中，图像可以仅描绘基准总数的百分比(例如，仅描绘基准总数的一半)。在一些实施例中，方法300仅生成患者的所述部分的单个图像。成像装置可以将所捕获的图像发送到系统100中的一个或多个组件(例如，发送到计算装置102、数据库144等)和/或发送到系统100外部的组件。多个基准中的每个基准可以存在于图像中，并且可以与图像中的其它伪影或结构区分开。例如，在多个基准包括螺钉的实施例中，成像装置108可以发射放射波(例如，X射线)，其中检测器被定位成使得多个基准在成像装置108与检测器之间。所得图像可突出显示(例如，以不同颜色、纹理、强度和/或形状显示)定位在患者内的多个基准。如先前所指出的，多个基准可以附接或定位成接近一个或多个解剖成分(例如，内部器官、骨骼、韧带、肌腱、肌肉结构、其它软组织和/或硬组织等)。在此类实施例中，描绘患者的所述部分的图像的捕获还可以描绘所述基准附接至其上或位于近侧的一个或多个解剖成分的相对位置。
在一些实施例中，可以在手术或外科手术之前将多个基准中的一个或多个放置在患者上或患者内。例如，在手术开始之前，可以将多个基准中的一个或多个固定到患者的皮肤上(或者甚至固定到患者的骨骼解剖结构上，无论是通过小切口还是其它方式)。同样在一些实施例中，多个基准中的一个或多个基准先前可能已经被植入在患者中(例如，在初始手术期间)，从而允许系统100在后续手术(例如，补救手术)之前捕获(例如，通过成像装置108)多个基准的相对布局。系统100可以在手术时使用所捕获的信息来将多个基准的布局与在手术或外科手术期间或之后捕获的多个基准的新图像进行比较。
此外，如上所述，在一些实施例中，可以将多个基准中的一个或多个植入在患者中。例如，手术或外科手术可以针对在患者内执行的手术。在此类实施例中，多个基准中的一个或多个可以被植入在患者的特定位置(例如，解剖特征、结构等)。这可以允许系统100和/或其组件确定患者的相对解剖结构。然后可以在手术或外科手术期间和/或之后从患者移除所述多个基准。多个基准绝非限制性的，并且实例可以包含螺钉、跟踪装置、射频标识(RFID)标签等。螺钉可以是例如椎弓根螺钉、皮质螺钉、松质骨螺钉、其组合和/或类似物。
在一些实施例中，多个基准可以被定位成使得可以从图像获得深度测量。可以基于观察基准的第一表面来确定深度测量。举例来说，基准的第一表面可相对于成像装置的第一姿势成角度，使得成像装置可仅看到基准的等角(例如，透视)视图。换言之，基准既不是正交的(例如，使得成像装置仅观察基准的顶部或底部而不观察侧面)也不是横向的(例如，使得成像装置仅观察基准的侧面而不观察顶部或底部)。相反，由成像装置看到的基准的视图(并且随后出现在图像中)可以使得除了基准的顶部、底部和侧面中的至少一个之外还观察第一表面。至少两个表面的外观可以允许方法300使用在步骤304中接收的信息并且通过确定所捕获的图像中的基准的角度来确定基准的深度(例如，基准的每个点相对于坐标系离成像装置多远)。
方法300还包括确定单个捕获图像中的一个或多个解剖成分的姿势(步骤312)。所述确定可以基于在步骤304中接收的信息以及在步骤308中生成的图像。所述确定可以使用一个或多个算法，例如姿势算法122。姿势确定可以包含使用附接到或靠近一个或多个解剖成分的多个基准的坐标和/或定向。在一些实施例中，姿势算法可以被配置成基于在图像中捕获的多个基准和在步骤304中接收的信息来计算一个或多个姿势。例如，姿势算法可以确定基准附接到解剖成分或附近，并且可以使用所接收的关于基准的大小、形状、配置、姿势和/或相对位置的信息，连同在步骤308中生成的图像，来定义解剖成分的姿势。在一些实施例中，姿势算法可以输出相对于预定坐标系、机器人和/或其它组件(例如，系统100的其它组件)输出所定义的姿势。在一些实施例中，姿势算法可以是或使用人工智能(AI)、机器学习(例如，深度学习)和/或其它解决方案来标识、检测或以其它方式识别基准。所确定姿势可以被发送到和/或存储在系统100的一个或多个组件中。方法300可以附加地或可替代地利用图像处理算法(例如，图像处理算法120)。图像处理算法可以接收所捕获的图像(例如，从成像装置)，并且可以过滤、处理或以其它方式数字地操纵单个图像。此类图像后处理可以提高图像的存储效率和/或可以提高图像质量以更容易地促进姿势确定(例如，通过提高传递到姿势算法的图像的质量)。
在一些实施例中，可以确定多个基准中的每一个的深度。在成像装置捕捉到基准的至少两个表面的视图的实施例中，可通过角度测量连同步骤304中所接收的信息来确定相对深度。例如，姿势算法可以确定患者的部分的图像中的基准的相对角度，并且可以使用角度和位置信息(例如，所接收的关于基准的相对位置的信息)来计算基准的姿势。每个基准的第一表面可以是姿势算法测量相对角度的表面。第一表面的选择不受限制，并且第一表面的选择可以是任意的，并且可以附加地或可替代地基于图像中基准的外观、基于用于指定第一表面的预定指令等来进行选择。第一表面的角度可以以大于0度且小于90度、大于10度且小于80度、大于20度且小于70度等的角度出现在单个图像中。然而，应当理解，上述角度范围决不限于本公开的实施例，并且在0到90度之间的附加的或可替代的角度范围是可能的。方法300可以使用所确定基准位置来进一步确定一个或多个解剖成分的姿势。例如，在多个基准已经固定到一个或多个解剖成分的实施例中，基准的姿势可以允许处理器确定一个或多个解剖成分的相对姿势。在一些实施例中，多个基准中的一个或多个可以附接在一个或多个解剖成分上或附近，这可以允许基于多个基准的相对姿势和多个基准与一个或多个解剖成分之间的已知距离来确定一个或多个解剖成分的姿势。在一些实施例中，将一个或多个解剖成分的姿势与目标姿势进行比较。例如，目标姿势可以是一个或多个解剖成分中的每一个的预测或预期姿势。比较算法可以将所确定姿势与目标姿势进行比较以确定准确度水平(例如，所确定姿势与期望姿势有多接近)。在一些实施例中，所述方法可以包含当所确定姿势在目标姿势的阈值准确度水平之外时，向用户接口(例如，用户接口112)发送警告。
方法300还包括使所确定姿势显示在用户接口上(步骤316)。用户接口(例如用户接口112)可允许外科医生查看基于单个图像和所接收的信息确定的姿势。一个或多个解剖成分的所确定姿势可以由外科医生或技术人员参考，以便检查所确定姿势的准确度，以帮助执行外科手术，和/或确定是否需要更新的配准用于手术或外科手术。在一些实施例中，方法300可以使用户接口呈现单个图像和/或一个或多个解剖成分的所确定姿势。在一些实施例中，所确定姿势可以被呈现为元数据和/或描绘所确定姿势的图像。外科医生可以使用所述显示来调整或验证手术或外科手术。
基于组织(例如，软组织或硬组织)的类型、基于当与基线姿势值(例如，基于预定姿势)比较时一个或多个解剖成分的相对移动、其组合等，所确定姿势的呈现可以显示具有不同视觉标记的一个或多个解剖成分。例如，在预定姿势的计算与所确定姿势的计算之间已经移出位置的敏感解剖成分可能比已经移动较少的解剖成分(例如，低于预定阈值)更突出地显示(例如，更大的强度、对比度等)。在一些实施例中，可以用与一个或多个解剖成分中的每一个相关联的元数据来显示所确定姿势，这可以帮助外科医生区分一个或多个解剖成分，从而更好地在用户接口上查看一个或多个解剖成分的姿势。在一些实施例中，所确定姿势可以覆盖在一个或多个解剖成分的预定姿势上。覆盖图可以允许用户(例如外科医生)更好地在视觉上确定所确定姿势相对于预定姿势的姿势差异。还可以显示关于一个或多个解剖成分的所确定姿势与一个或多个解剖成分的预定姿势(无论是绝对还是相对)不同的量或程度的信息。
如基于前述公开可以理解的，本公开涵盖具有少于图3中标识的所有步骤的方法(以及方法300的对应描述)，以及包含除图3中标识的那些步骤之外的附加步骤的方法(以及方法300的对应描述)。
转向图4，示出了根据本公开的实施例的用于更新配准的方法400。方法400可部分地或整体地由例如计算装置102或类似装置执行，且可利用系统100和/或其组件(例如，处理器104、一个或多个成像装置108、导航系统136和/或其组合等)。用于执行方法400和/或其一个或多个步骤的至少一个处理器可以与上述计算装置102的处理器104相同或相似。至少一个处理器可以是机器人(例如包括一个或多个机器人臂132的机器人130)的一部分、导航系统(例如导航系统136)的一部分，或用户接口(例如用户接口112)的一部分。除了本文中所描述的任何处理器之外的处理器还可用于执行方法400。至少一个处理器可以通过执行存储在如存储器116之类的存储器中的指令(例如指令140)来执行方法400。方法400的一个或多个方面可以由机器人和/或外科机器人臂(例如，附接到机器人130的机器人臂132)和/或其组件执行或与机器人和/或外科机器人臂和/或外科机器人臂和/或其组件一起执行。方法400可以用于例如基于患者和/或系统100的一个或多个组件在例如手术或外科手术中的移动来更新配准。例如，患者在手术期间可能已经移位，并且可能需要新的配准来确保外科装置和/或仪器(例如机器人130)相对于患者正确地定位。方法400可以附加地或可替代地用于在用户接口上显示一个或多个解剖成分的所确定姿势，例如由外科医生在手术或外科手术期间使用。
方法400还包括接收对应于图像空间与患者空间的预先存在的配准的信息(步骤404)。所述信息可以包括例如患者的CT图像、MRI图像或另一术前图像，和/或患者的一个或多个术中图像。可以使用如成像装置108或任何其它成像装置之类的成像装置来获取任何此类图像。所述信息可以附加地或可替代地包括用于将图像空间和患者空间之一中的坐标转换为图像空间和患者空间中的另一个的函数或算法。所述信息可以包括关于一个或多个基准和/或一个或多个解剖成分的姿势(在预先存在的配准时)的信息。
方法400还包括生成患者的一部分的单个图像(步骤408)。例如，计算装置102(并且更具体地，处理器104)可以致使成像装置(例如，成像装置108)生成(例如，捕获)患者的一部分的图像，所述图像包括多个基准中的一个或多个基准。单个图像可以是例如荧光透视图像。在一些实施例中，处理器可以使成像装置相对于患者移动到第一姿势(例如，位置和定向)，使得成像装置可以观察多个基准中的每个基准。在一些实施例中，第一姿势可以是这样的位置和定向，使得成像装置看到多个基准中的每个基准，并且使得多个基准中的每个基准的相对间隔和深度信息(例如，每个基准位于坐标系中的位置以及每个基准相对于坐标系离相机多远)可以根据所捕获的图像和在步骤404中接收的信息来确定。在一些实施例中，图像可以仅捕获多个基准中的每一个的各部分。例如，在图像中仅可存在多个基准中的每一个的百分比(例如，1％、2％、5％、10％、15％、25％、50％、75％、80％、90％等)。在此类实施例中，百分比对于多个基准中的每一个可以是不同的。在一些实施例中，图像可以仅描绘基准总数的百分比(例如，仅描绘基准总数的一半)。在一些实施例中，方法400仅生成患者的所述部分的单个图像。成像装置可以将所捕获的图像发送到系统100中的一个或多个组件(例如，发送到计算装置102、数据库144等)和/或发送到系统100外部的组件。多个基准中的每个基准可以存在于图像中，并且可以与图像中的其它伪影或结构区分开。例如，在多个基准包括螺钉的实施例中，成像装置108可以发射放射波(例如，X射线)，其中检测器被定位成使得多个基准在成像装置108与检测器之间。所得图像可突出显示(例如，以不同颜色、纹理、强度和/或形状显示)定位在患者内的多个基准。如先前所指出的，多个基准可以附接或定位成接近一个或多个解剖成分(例如，内部器官、骨骼、韧带、肌腱、肌肉结构、其它软组织和/或硬组织等)。在此类实施例中，描绘患者的所述部分的图像的捕获还可以描绘所述基准附接至其上或位于近侧的一个或多个解剖成分的相对位置。
在一些实施例中，可以在手术或外科手术之前将多个基准中的一个或多个放置在患者上或患者内。例如，在手术开始之前，可以将多个基准中的一个或多个固定到患者的皮肤上(或者甚至固定到患者的骨骼解剖结构上，无论是通过小切口还是其它方式)。同样在一些实施例中，多个基准中的一个或多个基准先前可能已经被植入在患者中(例如，在初始手术期间)，从而允许系统100在后续手术(例如，补救手术)之前捕获(例如，通过成像装置108)多个基准的相对布局。系统100可以在手术时使用所捕获的信息来将多个基准的布局与在手术或外科手术期间或之后捕获的多个基准的新图像进行比较。
此外，如上所述，在一些实施例中，可以将多个基准中的一个或多个植入在患者中。例如，手术或外科手术可以针对在患者内执行的手术。在此类实施例中，多个基准中的一个或多个可以被植入在患者的特定位置(例如，解剖特征、结构等)。这可以允许系统100和/或其组件确定患者的相对解剖结构。然后可以在手术或外科手术期间和/或之后从患者移除所述多个基准。多个基准绝非限制性的，并且实例可以包含螺钉、跟踪装置、射频标识(RFID)标签等。螺钉可以是例如椎弓根螺钉、皮质螺钉、松质骨螺钉、其组合和/或类似物。
在一些实施例中，多个基准可以被定位成使得可以从图像获得深度测量。可以基于观察基准的第一表面来确定深度测量。举例来说，基准的第一表面可相对于成像装置的第一姿势成角度，使得成像装置可仅看到基准的等角(例如，透视)视图。换言之，基准既不是正交的(例如，使得成像装置仅观察基准的顶部或底部而不观察侧面)也不是横向的(例如，使得成像装置仅观察基准的侧面而不观察顶部或底部)。相反，由成像装置看到的基准的视图(并且随后出现在图像中)可以使得除了基准的顶部、底部和侧面中的至少一个之外还观察第一表面。至少两个表面的外观可以允许方法400使用在步骤404中接收的信息并且通过确定所捕获的图像中的基准的角度来确定基准的深度(例如，基准的每个点相对于坐标系离成像装置多远)。
方法400包括接收关于多个基准(定位在患者上或患者内)中的每一个的大小、形状、配置、姿势和/或相对位置的信息(步骤412)。多个基准可以是或包括植入到患者体内的一个或多个螺钉、杆、椎间体或其它医疗装置。信息可以通过如用户接口112和/或通信接口(例如，通信接口106)等的用户接口来接收，并且可以由计算装置(例如，计算装置102)存储在存储器(例如，存储器116)中。在一些实施例中，可以从系统100的一个或多个组件，例如从数据库144和/或云148和/或从系统100的外部组件(例如，从其它计算装置和/或数据库))接收信息。所述信息可以包括多个基准中的一个或多个基准的CAD(计算机辅助设计)模型。所述信息可以对应于一个或多个基准的反射率。所述信息可以对应于手术计划和/或来自用于执行手术计划的机器人的数据，并且可以包含例如关于当插入到患者中时给定基准相对于患者解剖结构的姿势(例如，位置和定向)或位置或定向的信息。所述信息可以包括关于多个基准(例如，插入患者中的基准的数目、多个基准的放置的相对时间等)和/或外科手术(例如，外科手术的类型、外科手术的持续时间等)的附加数据。在一些实施例中，所述信息可以包括CT图像、MRI图像或描绘多个基准的另一图像。
所接收的信息可以至少描绘所述基准的大小、形状、配置、姿势和/或相对位置。多个基准中的每一个的大小可以是或包括每个基准的尺寸(例如，长度、宽度、高度等)。多个基准中的每一个的形状可以是针对多个基准的外形、几何形状、轮廓、表面、边缘等的信息。多个基准中的每一个的姿势可以是基准中的每一个相对于患者或在另一指定坐标空间中的位置和定向。每个基准的相对位置可以是每个基准与多个基准的其余基准的相对距离的测量。在一些实施例中，可以将信息输入到一个或多个算法(例如，姿势算法122)中，以从中提取或确定附加信息和/或将信息转换成对系统有用的信息(例如，对配准有用或与配准有关的信息)。在一些实施例中，关于多个基准的信息可以进一步存储/保存(例如，在数据库144、存储器116或其它地方)在系统100内。
方法400还包括确定单个捕获图像中的一个或多个解剖成分的姿势(步骤416)。所述确定可以基于在步骤404和/或412中接收的信息以及在步骤408中生成的图像。所述确定可以使用一个或多个算法，例如姿势算法122。姿势确定可以包含使用附接到或靠近一个或多个解剖成分的多个基准的坐标和/或定向。在一些实施例中，姿势算法可以被配置成基于在图像中捕获的多个基准和在步骤412中接收的信息来计算一个或多个姿势。例如，姿势算法可以确定基准附接到解剖成分或附近，并且可以使用所接收的关于基准的大小、形状、配置、姿势和/或相对位置的信息，连同在步骤308中生成的图像，来定义解剖成分的姿势。在一些实施例中，姿势算法可以输出相对于预定坐标系、机器人和/或其它组件(例如，系统100的其它组件)输出所定义的姿势。在一些实施例中，姿势算法可以是或使用人工智能(AI)、机器学习(例如，深度学习)和/或其它解决方案来标识、检测或以其它方式识别基准。所确定姿势可以被发送到和/或存储在系统100的一个或多个组件中。方法400可以附加地或可替代地利用图像处理算法(例如，图像处理算法120)。图像处理算法可以接收所捕获的图像(例如，从成像装置)，并且可以过滤、处理或以其它方式数字地操纵单个图像。此类图像后处理可以提高图像的存储效率和/或可以提高图像质量以更容易地促进姿势确定(例如，通过提高传递到姿势算法的图像的质量)。
在一些实施例中，可以确定多个基准中的每一个的深度。在成像装置捕捉到基准的至少两个表面的视图的实施例中，可通过角度测量连同步骤412中所接收的信息来确定相对深度。例如，姿势算法可以确定患者的部分的图像中的基准的相对角度，并且可以使用角度和位置信息(例如，所接收的关于基准的相对位置的信息)来计算基准的姿势。每个基准的第一表面可以是姿势算法测量相对角度的表面。第一表面的选择不受限制，并且第一表面的选择可以是任意的，并且可以附加地或可替代地基于图像中基准的外观、基于用于指定第一表面的预定指令等来进行选择。第一表面的角度可以以大于0度且小于90度、大于10度且小于80度、大于20度且小于70度等的角度出现在单个图像中。然而，应当理解，上述角度范围决不限于本公开的实施例，并且在0到90度之间的附加的或可替代的角度范围是可能的。方法300可以使用所确定基准位置来进一步确定一个或多个解剖成分的姿势。例如，在多个基准已经固定到一个或多个解剖成分的实施例中，基准的姿势可以允许处理器确定一个或多个解剖成分的相对姿势。在一些实施例中，多个基准中的一个或多个可以附接在一个或多个解剖成分上或附近，这可以允许基于多个基准的相对姿势和多个基准与一个或多个解剖成分之间的已知距离来确定一个或多个解剖成分的姿势。在一些实施例中，将一个或多个解剖成分的姿势与目标姿势进行比较。例如，目标姿势可以是一个或多个解剖成分中的每一个的预测或预期姿势。比较算法可以将所确定姿势与目标姿势进行比较以确定准确度水平(例如，所确定姿势与期望姿势有多接近)。在一些实施例中，所述方法可以包含当所确定姿势在目标姿势的阈值准确度水平之外时，向用户接口(例如，用户接口112)发送警告。
方法400还包括基于一个或多个解剖成分的所确定姿势来更新图像空间与患者空间的预先存在的配准(步骤420)。方法400可以利用一个或多个算法(例如，配准更新或比较算法128)。一个或多个算法可以将一个或多个解剖成分的所确定姿势与一个或多个解剖成分的预定姿势进行比较。例如，一个或多个算法可以接收一个或多个解剖成分的所确定姿势，并将所确定姿势与预定姿势进行比较。在此类实施例中，一个或多个算法可以确定所确定姿势和预定姿势的值不匹配和/或在公差值之外。结果，一个或多个算法可以更新图像空间与患者空间的配准。配准的更新可以将所确定姿势映射到患者空间(例如，使用与所确定姿势相关联的位置和定向信息)，并且可以更新手术计划(例如，手术计划134)以反映一个或多个解剖成分相对于患者空间的改变的姿势。在一些实施例中，系统和/或其组件(例如，机器人130和/或一个或多个机器人臂132)接着可以基于更新的配准自主地或半自主地操作。在一些实施例中，配准的更新可包括删除先前配准或用新的配准替换先前配准。
新的配准可以至少部分地基于所接收的信息和图像中的一个或多个解剖成分的所确定姿势。例如，关于多个基准的信息(以及多个基准的图像)可以便于以可接受的准确度更新配准，而不管多个基准只有一个图像被生成。一个或多个算法可以输出更新的配准，其可以被传递到机器人(例如，机器人130和/或一个或多个机器人臂132)、手术计划(例如，手术计划134)和/或数据库(例如，数据库144)中的一个或多个。在一些实施例中，更新的配准然后可以由系统(例如，系统100)的一个或多个组件使用，以利用新的配准执行手术或外科手术。
如基于前述公开可以理解的，本公开涵盖具有少于图4中标识的所有步骤的方法(以及方法400的对应描述)，以及包含除图4中标识的那些步骤之外的附加步骤的方法(以及方法400的对应描述)。
前文并不打算将本公开限制于本文中所公开的一种或多种形式。在前述的具体实施方式中，出于简化本公开的目的，将本公开的例如各种特征在一个或多个方面、实施例和/或配置中聚集在一起。本公开的方面、实施例和/或配置的特征可在除上文所论述的那些之外的替代性方面、实施例和/或配置中组合。不应将本公开内容的方法解释为反映以下意图：权利要求需要比每个权利要求中明确叙述的更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施例和/或配置的全部特征。因此，将以下权利要求特此并入这个具体实施方式中，其中每个权利要求作为本公开的单独的优选实施例而独立存在。
此外，尽管描述已经包含对一个或多个方面、实施例和/或配置以及某些变化和修改的描述，但在理解本公开后，其它变化、组合和修改也在本公开的范围内，例如，如可在本领域的技术人员的技能和知识内。期望获得在准许的范围内包含替代方面、实施例和/或配置的权利，包含所要求保护的替代、可更换和/或等效的结构、功能、范围或步骤，而无论这些替代、可更换和/或等效的结构、功能、范围或步骤是否在本文中公开，且不期望公开用于任何可获专利的主题。

Claims (20)

1.一种方法，其包括：
接收关于定位在患者上或所述患者内的多个基准中的每一个的姿势的信息；
使成像装置生成所述患者的一部分的单个图像，所述单个图像描绘所述多个基准中的每一个的至少一部分；
基于所述信息和所述图像确定所述图像中表示的一个或多个解剖成分的姿势；以及
将所述一个或多个解剖成分的所确定姿势与所述一个或多个解剖成分的预定姿势进行比较。
2.根据权利要求1所述的方法，其进一步包括：
使用所述所确定姿势更新预先存在的配准。
3.根据权利要求1所述的方法，其中比较所述所确定姿势进一步包括将所述所确定姿势与手术计划中的所述一个或多个解剖成分的目标姿势进行比较。
4.根据权利要求1所述的方法，其进一步包括：
基于体模的使用确定所述成像装置相对于所述多个基准的位置。
5.根据权利要求1所述的方法，其中所述多个基准包括一个或多个螺钉。
6.根据权利要求1所述的方法，其中所述多个基准包括多个不同类型的植入物。
7.根据权利要求1所述的方法，其进一步包括：
量化所述一个或多个解剖成分中的至少一个的姿势从所述预定姿势到所述所确定姿势的变化。
8.根据权利要求1所述的方法，其中所述图像进一步描绘由机器人持有的装置，并且其中所述方法进一步包括：
基于所述图像在对应于所述机器人的坐标空间中定位所述所确定姿势。
9.根据权利要求1所述的方法，其中所述信息包括所述多个基准中的至少一个的计算机辅助设计(CAD)模型。
10.一种系统，其包括：
处理器；以及
存储器，所述存储器存储用于由所述处理器执行的指令，所述指令在由所述处理器执行时使所述处理器：
接收关于安置在患者上或所述患者内的多个跟踪装置的形状和姿势的信息；
使成像装置生成所述患者的一部分的单个图像，所述单个图像包括所述多个跟踪装置中的每一个的至少一部分；
在所述单个图像中标识所述多个跟踪装置中的每一个的所述部分；
基于所述信息和所述多个跟踪装置中的每一个的所标识部分来计算所述图像中表示的一个或多个解剖成分的姿势；以及
量化所述一个或多个解剖成分中的至少一个的计算出的姿势与预定姿势之间的差异。
11.根据权利要求10所述的系统，其中所述成像装置相对于所述患者固定在第一姿势。
12.根据权利要求11所述的系统，其中所述单个图像中的所述多个跟踪装置的所述部分中的每一个的第一表面相对于所述成像装置以大于十度且小于八十度的角度出现。
13.根据权利要求10所述的系统，其中所述单个图像是使用荧光透视生成的。
14.根据权利要求10所述的系统，其中所述多个跟踪装置包括多个不同类型的植入物。
15.根据权利要求10所述的系统，其中所述多个跟踪装置中的至少一个是植入在所述患者内的螺钉。
16.根据权利要求10所述的系统，其中所述指令进一步包括使所述处理器执行以下操作的指令：
将所述一个或多个解剖成分的所述计算出的姿势与所述一个或多个解剖成分的预定姿势进行比较。
17.根据权利要求10所述的系统，其中所述多个跟踪装置包括一个或多个螺钉。
18.根据权利要求10所述的系统，其中所述一个或多个解剖成分中的每一个是椎骨。
19.一种系统，其包括：
处理器；
成像装置；
多个基准，所述多个基准被安置在患者上或所述患者内；以及
存储器，所述存储器存储用于由所述处理器执行的指令，所述指令在由所述处理器执行时使所述处理器：
接收关于所述多个基准的姿势的信息；
使所述成像装置生成所述患者的一部分的图像，所述图像包括所述多个基准；
基于所述信息和所述图像确定所述图像中表示的一个或多个解剖组织的姿势；以及
使所确定姿势显示在用户接口上。
20.根据权利要求19所述的系统，其中所述所确定姿势在所述用户接口上显示为目标姿势的覆盖图。
CN202111653274.7A 2021-01-07 2021-12-30 用于单个图像配准更新的系统和方法 Pending CN114732518A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163134850P 2021-01-07 2021-01-07
US63/134,850 2021-01-07
US17/490,945 2021-09-30
US17/490,945 US20220215578A1 (en) 2021-01-07 2021-09-30 Systems and methods for single image registration update

Publications (1)

Publication Number Publication Date
CN114732518A true CN114732518A (zh) 2022-07-12

Family

ID=78916604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111653274.7A Pending CN114732518A (zh) 2021-01-07 2021-12-30 用于单个图像配准更新的系统和方法

Country Status (4)

Country Link
US (1) US20220215578A1 (zh)
EP (1) EP4026511A1 (zh)
CN (1) CN114732518A (zh)
AU (1) AU2021286411A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240024028A1 (en) * 2022-07-21 2024-01-25 Mazor Robotics Ltd. Systems and methods for verifying a pose of a target

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2012416B1 (en) * 2014-03-12 2015-11-26 Stichting Katholieke Univ Anatomical Image Projection System.
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
JP7233841B2 (ja) * 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
US11911110B2 (en) * 2019-01-30 2024-02-27 Medtronic Navigation, Inc. System and method for registration between coordinate systems and navigation of selected members
WO2020163352A1 (en) * 2019-02-05 2020-08-13 Smith & Nephew, Inc. Computer-assisted arthroplasty system

Also Published As

Publication number Publication date
AU2021286411A1 (en) 2022-07-21
US20220215578A1 (en) 2022-07-07
EP4026511A1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
JP7204663B2 (ja) 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法
CN110325141B (zh) 影像整合装置及影像整合方法
US7885441B2 (en) Systems and methods for implant virtual review
US9320569B2 (en) Systems and methods for implant distance measurement
US8131031B2 (en) Systems and methods for inferred patient annotation
US8682413B2 (en) Systems and methods for automated tracker-driven image selection
JP5328137B2 (ja) 用具又は埋植物の表現を表示するユーザ・インタフェイス・システム
US20080119725A1 (en) Systems and Methods for Visual Verification of CT Registration and Feedback
US20080154120A1 (en) Systems and methods for intraoperative measurements on navigated placements of implants
US20080119712A1 (en) Systems and Methods for Automated Image Registration
CN113316429A (zh) 用于在坐标系之间配准和导航的系统和方法
US20080119724A1 (en) Systems and methods for intraoperative implant placement analysis
EP4026511A1 (en) Systems and methods for single image registration update
CN114599301A (zh) 手术环境中的物体检测和避开
US9477686B2 (en) Systems and methods for annotation and sorting of surgical images
US20220198665A1 (en) Systems and methods for monitoring one or more anatomical elements
CN116829090A (zh) 用于棒插入计划和棒插入的系统
CN116490145A (zh) 用于片段跟踪的系统和方法
US20220241015A1 (en) Methods and systems for planning a surgical procedure
US20220156928A1 (en) Systems and methods for generating virtual images
US20210299877A1 (en) Robotic surgical system with graphical user interface
CN116648724A (zh) 用于监测一个或多个解剖元素的系统和方法
WO2022234568A1 (en) Systems and methods for generating multiple registrations
CN117279586A (zh) 用于生成多个配准的系统和方法
CN116509543A (zh) 一种复合型手术导航装置、方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination