CN118175969A - 用于跟踪一个或多个外科手术标志的系统和装置 - Google Patents

用于跟踪一个或多个外科手术标志的系统和装置 Download PDF

Info

Publication number
CN118175969A
CN118175969A CN202280073154.6A CN202280073154A CN118175969A CN 118175969 A CN118175969 A CN 118175969A CN 202280073154 A CN202280073154 A CN 202280073154A CN 118175969 A CN118175969 A CN 118175969A
Authority
CN
China
Prior art keywords
image
surgical
imaging device
processor
landmarks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280073154.6A
Other languages
English (en)
Inventor
S·帕夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medtronic Navigation Inc
Original Assignee
Medtronic Navigation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medtronic Navigation Inc filed Critical Medtronic Navigation Inc
Publication of CN118175969A publication Critical patent/CN118175969A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了用于跟踪一个或多个外科手术标志的系统、方法和装置。能够从成像装置接收描绘一个或多个外科手术标志的第一图像，并且能够在该第一图像之后接收描绘该一个或多个外科手术标志的第二图像。能够检测该一个或多个外科手术标志中的至少一个外科手术标志的移动，并且当所检测到的移动满足或超过移动阈值时，能够为手术室人员生成通知。

Description

用于跟踪一个或多个外科手术标志的系统和装置
背景技术
本公开整体涉及跟踪，并且更特别地涉及跟踪一个或多个外科手术标志。
外科手术机器人可辅助外科医生或其他医疗提供者实行外科手术规程，或者可自主完成一个或多个外科手术规程。成像可由医疗提供者用于诊断和/或治疗目的。患者解剖结构可随时间而变化，特别是在将医疗植入物放置在患者解剖结构中之后。
发明内容
本公开的示例性方面包括：
一种根据本公开的至少一个实施方案的用于跟踪一个或多个外科手术标志的系统包括：成像装置；处理器；和存储器，该存储器存储用于由处理器处理的数据，该数据在被处理时使得处理器：接收描绘一个或多个外科手术标志的第一图像；从成像装置接收描绘一个或多个外科手术标志的第二图像，第二图像在第一图像之后被接收；基于第一图像与第二图像的比较来检测一个或多个外科手术标志中的至少一个外科手术标志的移动；以及当所检测到的移动满足或超过移动阈值时，为手术室人员生成通知。
本文中的各方面中的任何方面，其中成像装置获得患者的不含电离辐射的图像，该图像包括第二图像。
本文中的各方面中的任何方面，其中一个或多个外科手术标志包括设置在对应的解剖元素上的参考标记、植入在对应的解剖元素上的一个或多个植入物、一个或多个解剖元素、和/或一个或多个解剖元素中的每个解剖元素的一部分。
本文中的各方面中的任何方面，其中检测至少一个外科手术标志的移动包括将至少一个外科手术标志在第一图像中的位置与至少一个外科手术标志在第二图像中的位置进行比较。
本文中的各方面中的任何方面，其中在术前获得第一图像并且在术中获得第二图像。
本文中的各方面中的任何方面，其中成像装置是第二成像装置并且系统还包括第一成像装置，其中从第一成像装置获得第一图像并且从第二成像装置获得第二图像。
本文中的各方面中的任何方面，其中第一成像装置使用第一成像模态，并且第二成像装置使用不同于第一成像模态的第二成像模态。
本文中的各方面中的任何方面，其中第一图像包括一个或多个外科手术标志的三维表示，其中第一成像装置使用电离辐射获得图像。
本文中的各方面中的任何方面，其中存储器存储用于由处理器处理的另外的数据，该另外的数据在被处理时使得处理器：基于第二图像来更新三维表示的至少一部分。
本文中的各方面中的任何方面，其中第二图像包括一个或多个外科手术标志的二维表示。
本文中的各方面中的任何方面，其中存储器存储用于由处理器处理的另外的数据，该另外的数据在被处理时使得处理器：基于至少一个外科手术标志的所检测到的移动来更新至少一个外科手术标志的三维表示。
本文中的各方面中的任何方面，其中阈值是基于在执行外科手术步骤之后至少一个外科手术标志的预测位置。
本文中的各方面中的任何方面，其中第二图像是被实时接收的。
一种根据本公开的至少一个实施方案的用于跟踪解剖元素的装置包括：处理器；和存储器，该存储器存储用于由处理器处理的数据，该数据在被处理时使得处理器：接收描绘一个或多个外科手术标志的第一图像；接收描绘一个或多个外科手术标志的第二图像，第二图像在第一图像之后被接收；基于第一图像和第二图像来检测一个或多个外科手术标志中的至少一个外科手术标志的移动；并且基于所检测到的移动来更新第一图像。
本文中的各方面中的任何方面，其中检测至少一个外科手术标志的移动包括将至少一个外科手术标志在第一图像中的位置与至少一个外科手术标志在第二图像中的位置进行比较。
本文中的各方面中的任何方面，其中一个或多个外科手术标志包括设置在对应的解剖元素上的参考标记、植入在对应的解剖元素上的一个或多个植入物、一个或多个解剖元素、和/或一个或多个解剖元素中的每个解剖元素的一部分。
本文中的各方面中的任何方面，其中第一图像是一个或多个外科手术标志的二维表示或三维表示中的至少一者，并且第二图像是一个或多个外科手术标志的二维表示或三维表示中的至少一者，其中使用第一成像模态从第一成像装置获得第一图像，并且使用第二成像模态从第二成像装置获得第二图像。
本文中的各方面中的任何方面，其中第一成像模态使用电离辐射，并且第二成像模态不含电离辐射。
本文中的各方面中的任何方面，其中更新第一图像在所检测到的移动满足或超过移动阈值时进行。
一种根据本公开的至少一个实施方案的用于跟踪一个或多个外科手术标志的系统包括：使用第一成像模态的第一成像装置；使用第二成像模态的第二成像装置；处理器；和存储器，该存储器存储用于由处理器处理的数据，该数据在被处理时使得处理器：从第一成像装置接收第一图像，该第一图像描绘一个或多个外科手术标志；从第二成像装置接收第二图像，该第二图像描绘一个或多个外科手术标志；基于第一图像和第二图像来检测一个或多个外科手术标志中的至少一个外科手术标志的移动；以及当所检测到的移动满足阈值时生成通知。
任何方面与任一个或多个其他方面组合。
本文所公开特征中的任一者或多者。
本文大体上公开特征中的任一者或多者。
本文大体上公开的特征中的任一者或多者与本文大体上公开的任一个或多个其他特征组合。
方面/特征/实施方案中的任一者与任一个或多个其他方面/特征/实施方案组合。
使用本文所公开的方面或特征中的任一者或多者。
应当理解，本文所述的任何特征可与如本文所述的任何其他特征组合来要求保护，而不管特征是否来自同一描述的实施方案。
本公开的一个或多个方面的细节在以下附图和说明书中阐述。根据说明书和附图以及权利要求，本公开中描述的技术的其他特征、目的和优点将是显而易见的。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如，表述“A、B和C中的至少一者”、“A、B或C中的至少一者”、“A、B和C中的一者或多者”、“A、B或C中的一者或多者”以及“A、B和/或C”中的每一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当上述表达中的A、B和C中的每一者是指诸如X、Y和Z的元件或诸如X1-Xn、Y1-Ym和Z1-Zo的元件类别时，该短语旨在指选自X、Y和Z的单个元件、选自相同类别的元件的组合(例如，X1和X2)，以及选自两个或更多个类别的元件的组合(例如，Y1和Zo)。
术语“一”实体是指一个或多个该实体。因此，术语“一”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括”、“包含”和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素，也不意图划定本公开的范围，而是以简化形式呈现本公开的选定概念，作为对下文呈现的更详细描述的介绍。如应当理解的，本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个特征。
在考虑下文提供的实施方案描述之后，本公开的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例，并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见，如通过以下参考的附图所示出。
图1是根据本公开的至少一个实施方案的系统的框图；
图2是根据本公开的至少一个实施方案的一个或多个外科手术标志的示意图；并且
图3是根据本公开的至少一个实施方案的流程图。
具体实施方式
应当理解，本文所公开的各个方面可与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解，取决于示例或实施方案，本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施方案，实行所公开技术可能不需要所有描述的动作或事件)。此外，虽然为了清楚起见，本公开的某些方面被描述为由单个模块或单元执行，但应当理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个示例中，所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施，则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。另选地或另外地，功能可使用机器学习模型、神经网络、人工神经网络或它们的组合(单独地或组合指令)来实施。计算机可读介质可以包括非暂态计算机可读介质，该非暂态计算机可读介质对应于有形介质，诸如数据存储介质(例如RAM、ROM、EEPROM、闪存存储器，或者可用于存储呈指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如，Intel Core i3、i5、i7或i9处理器；Intel Celeron处理器；Intel Xeon处理器；Intel Pentium处理器；AMD Ryzen处理器；AMD Athlon处理器；AMD Phenom处理器；Apple A10或10XFusion处理器；Apple A11、A12、A12X、A12Z或A13 Bionic处理器；或任何其他通用微处理器)、图形处理单元(例如，Nvidia GeForce RTX 2000系列处理器、NvidiaGeForce RTX 3000系列处理器、AMD Radeon RX 5000系列处理器、AMD Radeon RX 6000系列处理器或任何其他图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外，这些技术可在一个或多个电路或逻辑元件中完全实施。
在详细地解释本公开的任何实施方案之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实行。另外，应当理解，本文所用的措词和术语是出于描述的目的，而不应被视为是限制性的。本文中使用“包含”、“包括”或“具有”及其变化形式意在涵盖其后列出的项目及其等效物，以及附加项目。此外，本公开可使用示例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个示例(其可由“例如”、“借助于示例”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。
术语近侧和远侧在本公开中以其常规医学含义使用，近侧更靠近系统的操作者或用户并且更远离患者体内或患者身体上的外科手术关注区，而远侧更靠近患者体内或患者身体上的外科手术关注区并且更远离系统的操作者或用户。
在外科手术(例如，脊柱规程)期间，解剖元素(例如，脊柱)的多个短荧光透视图像可以被配准到患者，以在已执行诸如螺钉放置的外科手术步骤之后向外科医生提供反馈。由此，外科医生在外科手术期间不会接收到任何实时反馈。例如，在脊柱规程中，外科医生可能不会接收到关于脊柱的全局对准以及在外科手术期间所施加的变化是否匹配在全局脊柱对准方面的计划外科手术结果的反馈。
根据本公开的至少一个实施方案，提供了用于在外科手术规程(例如螺钉放置)之后将解剖元素(例如，脊柱)的术中图像匹配到解剖元素的室内级视频或室内级图像的方法、系统和装置。例如，可以在视频或图像中检测诸如螺钉的解剖标志。在外科手术期间使用视频或多个静止图像记录相同标志允许在完成各种外科手术移动时创建解剖元素(例如，脊柱)的全局图像。此技术向外科医生通知解剖元素的逐渐变化以及是否根据术前外科手术计划实现最佳矫正。
根据本公开的其他实施方案，提供了在脊柱外科手术期间使用脊柱图像的视频/图像分析来更新术中脊柱对准图像或三维表示的方法、系统和装置。螺钉轨迹可以例如经由导航来确定，并且螺钉头可以经由视频或多个图像在术中进行捕获。术前图像或者在执行任何矫正之前拍摄的图像(诸如脊柱的初始长胶片)可以用作参考图像并且随着外科手术规程的进行而逐渐改变。可附接到螺钉或骨骼标志的任何跟踪工具可以向外科医生提供实时反馈，从而提供外科手术规程的更有效执行，该跟踪工具提供脊柱的初始术中图像与在外科手术期间螺钉或骨骼标志的移动之间的对应。与脊柱的所处理的三维表示相组合，这类方法、系统或装置可以提供关于在术中三维脊柱对准的实时信息。
本公开的实施方案提供了针对以下问题中的一个或多个问题的技术解决方案：(1)跟踪一个或多个外科手术标志，(2)确定一个或多个外科手术标志的移动，以及/或者(3)向外科手术团队提供一个或多个标志的实时位置信息。
首先转向图1，示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于跟踪一个或多个外科手术标志(诸如图2中所示出的一个或多个外科手术标志200)和/或实行本文中公开的方法中的一种或多种方法的一个或多个其他方面。系统100包括计算装置102、一个或多个成像装置112、机器人114、导航系统118、数据库130和/或云或其他网络134。根据本公开的其他实施方案的系统可包括比系统100更多或更少的部件。例如，系统100可不包括成像装置112、机器人114、导航系统118、计算装置102的一个或多个部件、数据库130和/或云134。
计算装置102包括处理器104、存储器106、通信接口108和用户接口110。根据本公开的其他实施方案的计算装置可包括比计算装置102更多或更少的部件。
计算装置102的处理器104可为本文所述的任何处理器或任何类似的处理器。处理器104可被配置为执行存储在存储器106中的指令，这些指令可使处理器104利用或基于从成像装置112、机器人114、导航系统118、数据库130和/或云134接收的数据来实行一个或多个计算步骤。
存储器106可以是或包括RAM、DRAM、SDRAM、其他固态存储器、本文中描述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂态存储器。存储器106可以存储对于完成例如本文中描述的方法300或任何其他方法的任何步骤有用的信息或数据。存储器106可存储例如支持机器人114的一个或多个功能的指令和/或机器学习模型。例如，存储器106可以存储内容(例如，指令和/或机器学习模型)，该内容在由处理器104执行时启用图像处理120、分割122和/或配准124。在一些实施方案中，如果作为指令提供，则这种内容可以被组织成一个或多个应用程序、模块、包、层或引擎。另选地或另外地，存储器106可存储可由处理器104处理以实行本文所述的各种方法和特征的其他类型的内容或数据(例如，机器学习模式、人工神经网络、深度神经网络等)。因此，尽管可将存储器106的各种内容描述为指令，但应当理解，可通过使用指令、算法和/或机器学习模型来实现本文所述的功能。数据、算法和/或指令可使处理器104操纵存储在存储器106中和/或从或经由成像装置112、机器人114、数据库130和/或云134接收的数据。
计算装置102也可包括通信接口108。通信接口108可用于从外部源(诸如成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其他系统或部件)接收图像数据或其他信息，并且/或者用于将指令、图像或其他信息传输到外部系统或装置(例如，另一计算装置102、成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其他系统或部件)。通信接口108可包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线收发器或接口(被配置为例如经由诸如802.11a/b/g/n、蓝牙、NFC、ZigBee等一个或多个无线通信协议发射和/或接收信息)。在一些实施方案中，通信接口108可用于使得装置102能够与一个或多个其他处理器104或计算装置102通信，无论是减少完成计算密集型任务所需的时间还是出于任何其他原因。
计算装置102也可包括一个或多个用户接口110。用户接口110可以是或包括键盘、鼠标、轨迹球、监测器、电视、屏幕、触摸屏和/或用于从用户接收信息和/或用于向用户提供信息的任何其他装置。用户接口110可用于例如接收关于本文所述的任何方法的任何步骤的用户选择或其他用户输入。尽管如此，本文所述的任何方法的任何步骤的任何所需输入可由系统100(例如，由处理器104或系统100的另一部件)自动生成或由系统100从系统100外部的源接收。在一些实施方案中，用户接口110可用于允许外科医生或其他用户根据本公开的一个或多个实施方案修改将由处理器104执行的指令，并且/或者修改或调整显示在用户接口110上或与其相对应的其他信息的设定。
尽管用户接口110被示出为计算装置102的一部分，但在一些实施方案中，计算装置102可利用与计算装置102的一个或多个剩余部件分开容纳的用户接口110。在一些实施方案中，用户接口110可位于计算装置102的一个或多个其他部件附近，而在其他实施方案中，用户接口110可位于远离计算机装置102的一个或多个其他部件之处。
成像装置112可操作以对一个或多个标志(诸如图2中描绘的一个或多个标志200)进行成像。如将在下文详细地描述，一个或多个标志200可以包括解剖元素、参考标记、植入物或外科手术环境的任何对象或部件(例如，外科手术部位、外科手术室、外科手术室中的对象、外科手术室中的人员等)。由此，成像装置可操作以对解剖特征(例如，骨骼、静脉、组织等)、患者解剖结构的其他方面和/或外科手术环境的任何部件进行成像以产生图像数据(例如，描绘或对应于骨骼、静脉、组织等的图像数据)。如本文所用的“图像数据”是指由成像装置112生成或捕获的数据，包括呈机器可读形式、图形/视觉形式和呈任何其他形式的数据。在不同示例中，图像数据可包括对应于患者的解剖特征部或其一部分的数据。图像数据可以是或包括术前图像、术中图像、术后图像、或独立于任何外科手术规程拍摄的图像。
成像装置112可以能够拍摄/捕获二维图像或者生成三维图像表示以产生图像数据。成像装置112可以是或包括例如超声扫描仪(其可包括例如物理分开的换能器和接收器，或单个超声收发器)、O形臂、C形臂、G形臂或利用基于X射线的成像的任何其他装置(例如，荧光镜、CT扫描仪或其他X射线机)、磁共振成像(MRI)扫描仪、光学相干断层扫描(OCT)扫描仪、内窥镜、显微镜、光学相机、热成像相机(例如，红外相机)、雷达系统(其可包括例如发射器、接收器、处理器和一个或多个天线)，或任何其他适合于获得患者解剖特征部的图像的成像装置112。成像装置112可完全包含在单个外壳内，或可包括在单独外壳中或以其他方式物理分开的发射器/发送器和接收器/检测器。
在一些实施方案中，成像装置112可包括多于一个成像装置112。例如，第一成像装置可提供第一图像数据和/或第一图像，并且第二成像装置可提供第二图像数据和/或第二图像。在又其他实施方案中，同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所述的任何其他图像数据。成像装置112可操作以生成图像数据流。例如，成像装置112可被配置为在快门打开的情况下操作，或者在快门在打开与关闭之间连续交替的情况下操作，以便捕获连续图像。出于本公开的目的，除非另有指明，否则如果图像数据表示每秒两个或更多个帧，则可将图像数据视为连续的并且/或者提供为图像数据流。
在成像装置112包括多于一个成像装置的实施方案中，第一成像装置112可用于在第一时间处获得第一图像数据(例如，第一图像)，并且第二成像装置112可用于在于第一时间之后的第二时间处获得第二图像数据(例如，第二图像)。在这类实施方案中，第一成像装置112可以使用第一成像模态获得第一图像并且第二成像装置112可以使用第二成像模态获得第二图像。例如，第一成像模态可以使用电离辐射(例如，X射线)并且第二成像模态可以不含电离辐射(例如，超声)。
机器人114可以是任何外科手术机器人或外科手术机器人系统。机器人114可为或包括例如Mazor XTMStealth Edition机器人引导系统。机器人114可被配置为将成像装置112定位在一个或多个精确位置和取向上，并且/或者在稍后时间点将成像装置112返回到同一位置和取向。机器人114可另外地或另选地被配置为操纵外科手术工具(无论是否基于来自导航系统118的引导)以完成或辅助外科手术任务。在一些实施方案中，机器人114可被配置为在外科手术规程期间或结合外科手术规程而保持和/或操纵解剖元素。机器人114可包括一个或多个机器人臂116。在一些实施方案中，机器人臂116可包括第一机器人臂和第二机器人臂，但机器人114可包括多于两个机器人臂。在一些实施方案中，机器人臂116中的一个或多个机器人臂可用于保持和/或操控成像装置112。在成像装置112包括两个或更多个物理分开的部件(例如，发射器和接收器)的实施方案中，一个机器人臂116可保持一个此类部件，并且另一机器人臂116可保持另一此类部件。每个机器人臂116可能够独立于其他机器人臂定位。可在单个共享坐标空间中或在单独坐标空间中控制机器人臂116。
机器人114连同机器人臂116可具有例如一个、两个、三个、四个、五个、六个、七个或更多个自由度。此外，机器人臂116可以任何位姿、平面和/或焦点定位或能够以任何位姿、平面和/或焦点定位。该位姿包含位置和取向。因此，由机器人114(或更具体地说，由机器人臂116)保持的成像装置112、外科手术工具或其他对象可能够精确定位在一个或多个所需且特定的位置和取向上。
机器人臂116可包括一个或多个传感器，该一个或多个传感器使得处理器104(或机器人114的处理器)能够确定机器人臂(以及由机器人臂保持或固定到机器人臂的任何对象或元素)在空间中的精确位姿。
在一些实施方案中，(图2中所示出的)参考标记202(即，导航标记)可以放置在机器人114上(包括例如在机器人臂116上)、成像装置112、(图2中所示出的)解剖元素(诸如解剖元素208)或外科手术空间中的任何其他对象上。参考标记202可以由导航系统118跟踪，并且跟踪的结果可以由机器人114和/或由系统100或该系统的任何部件的操作者使用。在一些实施方案中，导航系统118可用于跟踪系统的其他部件(例如，成像装置112)，并且系统可在不使用机器人114的情况下操作(例如，外科医生例如基于由导航系统118生成的信息和/或指令来手动操纵成像装置112和/或一个或多个外科手术工具)。
在操作期间，导航系统118可为外科医生和/或外科手术机器人提供导航。导航系统118可以是任何现在已知或未来开发的导航系统，包括例如MedtronicStealthStationTMS8外科手术导航系统或其任何接替物。导航系统118可以包括一个或多个相机或其他传感器，以用于跟踪手术室或系统100中的一些或全部系统所定位的其他房间内的一个或多个参考标记202、导航跟踪器或其他对象。一个或多个相机可以是光学相机、红外相机或其他相机。在一些实施方案中，导航系统118可包括一个或多个电磁传感器。在各种实施方案中，导航系统118可用于跟踪成像装置112、机器人114和/或机器人臂116和/或一个或多个外科手术工具的位置和取向(例如，位姿)(或更具体地说，用于跟踪直接或间接以固定关系附接到前述中的一者或多者的导航跟踪器的位姿)。导航系统118可包括用于显示来自外部源(例如，计算装置102、成像装置112或其他源)的一个或多个图像或用于显示来自导航系统118的一个或多个相机或其他传感器的图像和/或视频流的显示器。在一些实施方案中，系统100可在不使用导航系统118的情况下操作。导航系统118可被配置为向外科医生或系统100的其他用户或其部件、向机器人114或系统100的任何其他元件提供关于例如一个或多个解剖元素的位姿、工具是否处于恰当轨迹中和/或如何根据术前或其他外科手术计划将工具移动到恰当轨迹中以实行外科手术任务的引导。
数据库130可存储将一个坐标系关联到另一坐标系(例如，将一个或多个机器人坐标系关联到患者坐标系和/或导航坐标系)的信息。数据库130可另外地或另选地存储例如一个或多个外科手术计划(包括例如关于目标的位姿信息和/或关于外科手术部位处和/或附近的患者的解剖结构的图像信息，以供机器人114、导航系统118和/或计算装置102或系统100的用户使用)；结合由系统100的一个或多个其他部件完成的或在这些部件的协助下完成的外科手术的一个或多个有用的图像；和/或任何其他有用的信息。数据库130可被配置为将任何此类信息提供到计算装置102或系统100的任何其他装置或系统100外部的任何其他装置，无论直接地或通过云134。在一些实施方案中，数据库130可以是或包括医院图像存储系统的一部分，诸如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包括图像数据的电子医疗记录的另一系统。
云134可以是或表示互联网或任何其他广域网。计算装置102可经由通信接口108使用有线连接、无线连接或两者连接到云134。在一些实施方案中，计算装置102可经由云134与数据库130和/或外部装置(例如，计算装置)通信。
系统100或类似系统可用于例如实行本文中描述的方法300中的任何方法的一个或多个方面。系统100或类似系统还可用于其他目的。
转到图2，示出了一个或多个外科手术标志200的示例的顶视图的示意图。一个或多个外科手术标志200可以包括设置在解剖元素208上的参考标记202、植入在解剖元素208上的植入物204、解剖元素208和/或解剖元素208的一部分210。尽管前述元件被一起示出，但将了解，外科手术标志200可以包括参考标记202、植入物204、解剖元素208、解剖元素208的部分210和/或呈它们的任何组合形式的任何其他标记。例如，一个或多个外科手术标志200可以包括解剖元素208。
参考标记202可以与上文描述的参考标记202相同或类似。在所示出的实施方案中，解剖元素208包括例如椎骨。将了解，在其他实施方案中，解剖元素208可以包括患者的任何解剖元素，诸如骨骼、器官、软组织、硬组织等。在所示出的实施方案中，植入物204包括螺钉，但将了解，在其他实施方案中，植入物204可以是任何植入物，诸如笼、销、杆或支架。如所示出，解剖元素208的部分210包括椎骨的翼部。将了解，在其他实施方案中，部分210可以是任何解剖元素208的任何部分或部分组合。
在一些实施方案中，在例如其中手术部位是“开放”的外科手术规程中，一个或多个外科手术标志200可以包括参考标记202、植入物204、解剖元素208和/或解剖元素208的部分210。换句话说，一个或多个外科手术标志200可以包括参考标记202、植入物204、解剖元素208、解剖元素208的部分210和/或它们的任何组合中的一者或多者，因为这些标记由于手术部位的开放性质而在外科手术规程期间可以是可见的。例如，在开放脊柱外科手术期间，一个或多个椎骨可以是开放可见的，并且因此，一个或多个标志可以包括一个或多个椎骨。在一些实施方案中，在手术部位“闭合”的情况下，例如在微创手术或内窥镜外科手术中，一个或多个标志200可以包括参考标记202和/或植入物204。例如，在微创外科手术脊柱规程中，参考标记202和/或植入物204可以是可见的(并且因此限定一个或多个标志200)，而解剖元素208(例如，椎骨)可能不是开放可见的，但可以通过由内窥镜提供的视场可见。
图3描绘了可用于例如跟踪一个或多个外科手术标志的方法300。
方法300(和/或该方法的一个或多个步骤)可以例如由至少一个处理器实行或者以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人114)的一部分或导航系统(诸如导航系统118)的一部分。也可以使用除本文中描述的任何处理器之外的处理器来执行方法300。至少一个处理器可通过执行存储在存储器(诸如存储器106)中的元素来执行方法300。存储在存储器中且由处理器执行的元素可使处理器执行如方法300中所示的功能的一个或多个步骤。方法300的一个或多个部分可以由执行存储器的内容中的任何内容(诸如图像处理120、分割122和/或配准124)的处理器来执行。
方法300包括接收描绘一个或多个外科手术标志的第一图像(步骤304)。该一个或多个外科手术标志可以与一个或多个外科手术标志200相同或类似。第一图像可以是例如脊柱的长胶片。第一图像可以经由用户接口(诸如用户接口110)和/或通信接口(诸如计算装置(诸如计算装置102)的通信接口108)来接收，并且可以存储在存储器(诸如计算装置的存储器106)中。第一图像还可以从外部数据库或图像存储库(例如，医院图像存储系统，诸如医学影像存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输电子病历的另一系统)接收，并且/或者经由互联网或另一网络接收。在其他实施方案中，第一图像可以从成像装置(诸如成像装置112)接收或获得，该成像装置可以是任何成像装置，诸如MRI扫描仪、CT扫描仪、任何其他基于X射线的成像装置或超声成像装置。第一图像还可以由系统(诸如系统100)的任何其他部件生成并且/或者上传到该系统的任何其他部件。在一些实施方案中，第一图像可以经由系统的任何其他部件或该系统连接到的网络的节点间接接收。
第一图像可以是二维图像、三维表示或者二维图像和/或三维表示的集合。第一图像可以描绘一个或多个外科手术标志、外科手术器械、外科手术工具或外科手术环境的任何部件。一个或多个外科手术标志可以包括设置在对应解剖元素(诸如解剖元素208)上的参考标记(诸如参考标记202)、植入在对应解剖元素上的植入物(诸如植入物204)、一个或多个解剖元素和/或一个或多个解剖元素中的每个解剖元素的一部分(诸如部分210)。在一些实施方案中，第一图像可以在术前(例如在外科手术之前)被捕获并且可以存储在系统(例如，系统100)和/或该系统的一个或多个部件(例如，数据库130)中。所存储的第一图像随后可以如上文所描述那样(例如由处理器104)在术前(例如，在外科手术之前)和/或在术中(例如，在外科手术期间)被接收。在一些实施方案中，第一图像还可以描绘与患者解剖结构相关联的多个解剖元素，除了目标解剖元素(例如，将执行外科手术或外科手术规程的肋骨或其他解剖对象)以外，该多个解剖元素还包括附带解剖元素(例如，将不执行外科手术或外科手术规程的椎骨或其他解剖对象)。第一图像可以包括对应于患者的解剖结构和/或解剖元素(和/或该解剖元素的部分)的各种特征，包括与各种所描绘的解剖元素的边界和/或轮廓相对应的梯度、与各种所描绘的解剖元素的不同表面纹理相对应的不同强度水平、它们的组合等。
在一个或多个标志包括参考标记(诸如参考标记202)的实施方案中，第一图像可以描绘参考标记。在一些实施方案中，参考标记可以具有在第一图像中可见的第一标记以及对于导航系统(诸如导航系统118)可见的第二标记。例如，参考标记可以包括可使用X射线成像装置(包括例如C形臂、O形臂、荧光镜)检测和/或跟踪的金属球，以及可由导航系统检测和/或跟踪的红外反射球。在一些实施方案中，参考标记可以附着到患者的任何部分，包括例如患者的解剖元素。将了解，参考标记可以具有任何数量的可见标记，并且任何标记可以在第一图像中可见并且/或者对于导航系统(诸如导航系统118)可见。
可以使用存储在存储器中的指令或模型来处理每个第一图像，该指令或模型在被执行时启用图像处理(诸如第一图像的图像处理120)以识别第一图像中的一个或多个标志。在其他情况下，可以使用存储在存储器中的指令或模型来处理每个第一图像，该指令或模型在被执行时启用第一图像的分割(诸如分割122)以识别第一图像中的一个或多个标志。
在一些实施方案中，图像处理和/或分割可以使用特征辨识来识别一个或多个标志的特征。在一个或多个标志包括解剖元素或解剖元素的一部分的实施方案中，例如可以在第一图像中识别椎骨、股骨或其他骨骼的轮廓。在其他实施方案中，处理器可以使用人工智能或机器学习来识别一个或多个标志。在这类实施方案中，可以向处理器提供多个训练第一图像，并且每个训练第一图像被注释为包括识别关于第一图像中的一个或多个标志的信息。执行存储在该存储器或另一存储器中的指令的处理器可以使用机器学习算法来分析第一图像，并且基于该分析来生成用于识别第一图像中的一个或多个标志的一个或多个模型。
还可以使用存储在存储器中的指令或模型来配准每个第一图像，该指令或模型在被执行时启用配准，诸如第一图像到患者的配准124。配准第一图像可以将第一图像的坐标空间与患者的坐标空间相关联。
方法300还包括接收描绘一个或多个外科手术标志的第二图像(步骤308)。在接收图像方面，接收第二图像可以与步骤304相同或类似。第二图像可以描绘与第一图像中描绘的一个或多个外科手术标志相同的一个或多个外科手术标志。在其他实施方案中，第二图像可以描绘在第一图像中描绘的一个或多个外科手术标志中的一些外科手术标志。在一些实施方案中，可以使用图像处理和/或分割来处理第二图像以识别一个或多个标志的形状、类型和/或形态。在一些实施方案中，一个或多个标志可以是植入物和/或解剖元素。将了解，在一些实施方案中，在第二图像中识别的一个或多个标志可便于自动解剖标志检测，以将来自第二图像的识别标志与第一图像中的标志匹配。
在一些实施方案中，第一图像可以在术前获得并且第二图像可以在术中获得。将了解，在其他实施方案中，第一图像和第二图像都可以在术中获得。在一些实施方案中，可以在外科手术规程期间实时接收第二图像。在这类实施方案中，步骤308可以被连续地重复，并且后续第二图像也可以被实时接收。换句话说，成像装置可以在整个外科手术规程中连续地获得一个或多个标志的图像。无论是用于无意的移动还是用于对计划移动的确认，这都使得能够跟踪一个或多个标志。
在一些实施方案中，成像装置包括第一成像装置和第二成像装置。在这类情况下，第一成像装置可用于在第一时间处获得第一图像，并且第二成像装置可用于在于第一时间之后的第二时间处获得第二图像。换句话说，可以在第一图像之后接收第二图像。在另外的情况下，第一成像装置可以使用第一成像模态获得第一图像并且第二成像装置可以使用第二成像模态获得第二图像。例如，第一成像模态可以使用电离辐射(例如，X射线)并且第二成像模态可以不含电离辐射(例如，超声)。将了解，第二成像装置可以是例如任何类型的相机、光学相机、摄像机或任何类型的非电离医疗成像仪，诸如超声装置。
本文中提供的实施方案还设想基本上同时(例如，同步地)但从不同成像装置(例如，分别从第一成像装置和第二成像装置)捕获第一图像和第二图像的情形。应理解，在基本上同时获得的图像可以使用不同成像模态来捕获，可以从不同视角来拍摄，并且/或者可以具有不同视场。在一些实施方案中，第一图像和第二图像可以具有包括一个或多个外科手术标志的(部分或完全)重叠视场。在一些实施方案中，可以捕获多于两个图像(例如，第三图像、第四图像、……、第十图像等)，并且将该图像与第一图像、第二图像或其他随后捕获的图像中的任一者进行比较。
方法300还包括检测至少一个外科手术标志的移动(步骤312)。检测至少一个外科手术标志的移动可以基于第一图像(其可以在上述步骤304中被接收)与第二图像(其可以在上述步骤308中被接收)的比较。更具体地，检测移动可以包括将至少一个外科手术标志在第一图像中的位置与至少一个外科手术标志在第二图像中的位置进行比较。在一些实施方案中，检测至少一个外科手术标志的移动可以包括将第二图像叠加在第一图像上，以及比较在第一图像和第二图像中描绘的手术标志之间的差异。可以通过视觉检测第一图像与第二图像之间的差异来确定差异。在其他情况下，可以由处理器(诸如处理器104)自动确定差异。例如，处理器可以将第一图像的每个像素与第二图像的每个对应像素进行比较，并且像素的差异可以指示第一图像与第二图像之间的差异。
在于术中获得第一图像和第二图像的实施方案中，所检测到的移动或变化可以相对于在术中在第一图像中捕获的患者姿势和取向(例如，俯卧、仰卧等)。换句话说，在一些实施方案中，手术标志(以及因此患者解剖结构，诸如脊柱)的变化可以与外科手术施加的变化相关，并且因此，所检测到的移动或变化可以直接与第一图像进行比较。
在于术前拍摄第一图像并且在术中拍摄第二图像的实施方案中，根据患者姿势的变化(例如，患者可以例如在第一图像中是直立的并且在第二图像中是仰卧的)和外科手术施加的变化来确定针对外科手术标志检测到的移动或变化。换句话说，在一些实施方案中，外科手术标志的变化可能是由于患者姿势或取向的差异和外科手术施加的变化两者。
在于术前拍摄第一图像并且在术中拍摄第二图像并且第一图像和第二图像被配准的实施方案中，随后可以使用连续的第二图像来更新第二图像以确定已在术中向解剖元素(诸如脊柱)施加外科手术标志的多少变化。换句话说，可以获得多个第二图像，并且可以将后续第二图像与先前第二图像进行比较以确定在先前第二图像与后续第二图像之间的外科手术标志(并且因此，外科手术标志所附接到的解剖元素)的变化。可以将所检测到的移动或变化与第一图像进行比较，该第一图像可以描绘解剖元素的术前形状。在这类实施方案中，所检测到的移动或变化可用于评估例如患者脊柱的全局对准和补偿机制。
方法300还包括当所检测到的移动满足或超过移动阈值时生成通知(步骤316)。该通知可以是例如听觉的、视觉的或它们的组合。该通知可以简单地警告用户移动已发生。在其他情况下，该通知可以指定已移动的标志。
移动阈值可以基于至少一个外科手术标志可呈现的可接受移动量。在一些情况下，可能不需要移动，然而，小的移动阈值可能是可接受的。在其他情况下，可预期至少一个标志由于例如外科手术步骤而移动。由此，移动阈值可以基于至少一个外科手术标志的实际移动与预测移动之间的可接受差异。更具体地，在预测移动之后至少一个外科手术标志的实际位置与至少一个外科手术标志的预期位置之间的差异可以被确定为满足或超过移动阈值。
在一些实施方案中，移动阈值可作为输入从例如用户(诸如外科医生或其他医疗提供者)接收，或者可在外科手术计划中提供。在其他实施方案中，移动阈值可通过例如处理器在术前或术中自动确定。例如，处理器可以执行接收一个或多个标志的预期位置和/或一个或多个标志的预测移动作为输入并且输出一个或多个移动阈值的模型。可以使用例如历史移动阈值、历史一个或多个标志和/或历史一个或多个标志的一个或多个历史预测移动来训练该模型。
在可在术中确定移动阈值的至少一个实施方案中，该一个或多个标志可以包括一个或多个植入物。在这类实施方案中，可以从例如导航系统(诸如导航系统118)获得每个植入物的轨迹。可以基于所确定的轨迹来确定每个植入物的预期位置，并且移动阈值可以基于预期位置。
方法300还包括基于第二图像来更新三维表示的至少一部分(步骤320)。在一些实施方案中，第一图像可以包括一个或多个外科手术标志的一个或多个三维表示。在这类实施方案中，第二图像可以包括一个或多个外科手术标志的一个或多个二维图像。可以在例如步骤308中接收第二图像，但在其他实施方案中，可以以任何方式接收第二图像。
在一些实施方案中，可以更新三维表示的至少一部分。更新部分可以对应于第二图像中描绘的部分。在这类情况下，第二图像可以描绘一个或多个外科手术标志中的一些外科手术标志以及可对应于更新部分的手术标志。因此，可以更新对应于第二图像中描绘的外科手术标志的三维表示。例如，三维表示可以描绘第一椎骨和第二椎骨并且第二图像可以描绘第一椎骨。在这类示例中，可以基于第二图像来更新第一椎骨的三维表示。
在一些实施方案中，可以更新整个三维表示。例如，第二图像或第二图像集合可以描绘整个三维表示。在这类实施方案中，第二图像或第二图像集合可用于更新三维表示中描绘的每个标志。
更新三维表示可以包括基于如第二图像中所描绘的标志的位置来更新标志的位置。更新三维表示还可以包括基于第二图像来更新边界，诸如标志的表面网格。
在一些情况下，如果在例如步骤316中没有检测到移动，则步骤320可以不进行。在其他情况下，步骤320可以与所检测到的移动无关地进行。在又其他实施方案中，如果所检测到的移动满足或超过移动阈值(诸如针对步骤216描述的移动阈值)，则步骤320可以进行。
方法300还包括基于所检测到的移动来更新至少一个外科手术标志的三维表示(步骤324)。例如，可以在步骤312中检测移动，但在其他实施方案中，可以以任何方式检测移动。除了基于至少一个外科手术标志的所检测到的移动来更新三维表示之外，步骤324可以与步骤320相同或类似。例如，可以基于所检测到的移动来确定至少一个外科手术标志的新位置，或者可以从导航系统(诸如导航系统118)接收新位置。在这类示例中，可以基于新位置来更新如三维表示中所描绘的至少一个外科手术标志的位置。
在一些情况下，如果在例如步骤316中没有检测到移动，则步骤324可以不进行。在其他情况下，如果所检测到的移动满足或超过移动阈值(诸如针对步骤216描述的移动阈值)，则步骤324可以进行。
将了解，步骤308、步骤312、步骤316、步骤320和/或步骤324可以在整个外科手术规程中重复进行。例如，可以实时连续地并且/或者以一定时间间隔接收后续第二图像。在另一示例中，可以在整个外科手术规程中连续地监测移动，这随后可以使得三维表示(例如，第一图像)被更新。通过重复步骤308、步骤312、步骤316、步骤320和/或步骤324，可以向诸如外科医生或其他医疗提供者的用户提供一个或多个解剖元素的最新位置信息。在一些实施方案中，来自步骤308的图像可用于连续地报告如与初始图像(例如，第一图像)相比的外科手术标志(并且因此，外科手术标志所附接到的解剖元素)的位置的变化。在这类实施方案中，初始图像可以被更新以反映外科手术标志和/或外科手术标志所附接到的解剖元素的移动。由此，外科医生可以能够确定在一系列外科手术移动之后解剖元素是否被正确地定位。例如，在脊柱外科手术期间，外科医生可以跟踪患者脊柱的实际移动和实际对准，并且将该实际移动和实际对准与(如可以例如存储在外科手术计划中或者从例如预测外科手术结果的预测模型获得的)预期移动和/或预期对准进行比较。在另一示例中，外科医生可以跟踪患者脊柱的移动和对准，并且确定对准和重新定位的变化是否足够或者是否需要进一步干预。在这类实施方案中，外科医生还可以考虑其他相关因素，诸如患者年龄、患者病历等。因此，所提供的系统、方法和装置有益地提供了在外科手术期间解剖元素的最新位置信息。
本公开涵盖方法300的实施方案，该实施方案包括相比上文描述的步骤更多或更少的步骤和/或与上文描述的步骤不同的一个或多个步骤。
如上所述，本公开涵盖具有少于图3中标识的步骤中的所有步骤(和方法300的对应描述)的方法，以及包括超出图3中标识的那些步骤(和方法300的对应描述)的附加步骤的方法。本公开还涵盖包括来自本文所述的一种方法的一个或多个步骤和来自本文所述的另一种方法的一个或多个步骤的方法。本文所述的任何相关性可以是或包括配准或任何其他相关性。
前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中，例如，出于简化本公开的目的，将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图：权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此，以下权利要求特此并入这个具体实施方式中，其中每项权利要求作为本公开的单独的优选实施方案而独立存在。
此外，尽管前述已经包含对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述，但在理解了本公开之后，其他变化、组合和修改在本公开的范围内，例如，可在本领域技术人员的技能和知识范围内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利，包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤，而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开，而且不意图公开用于任何可获专利的主题。

Claims (20)

1.一种用于跟踪一个或多个外科手术标志的系统，所述系统包括：
成像装置；
处理器；和
存储器，所述存储器存储用于由所述处理器处理的数据，所述数据在被处理时使得所述处理器：
接收描绘一个或多个外科手术标志的第一图像；
从所述成像装置接收描绘所述一个或多个外科手术标志的第二图像，所述第二图像在所述第一图像之后被接收；
基于所述第一图像与所述第二图像的比较来检测所述一个或多个外科手术标志中的至少一个外科手术标志的移动；以及
当所检测到的移动满足或超过移动阈值时，为手术室人员生成通知。
2.根据权利要求1所述的系统，其中所述成像装置获得患者的不含电离辐射的图像，所述图像包括所述第二图像。
3.根据权利要求1所述的系统，其中所述一个或多个外科手术标志包括设置在对应的解剖元素上的参考标记、植入在对应的解剖元素上的一个或多个植入物、一个或多个解剖元素、和/或一个或多个解剖元素中的每个解剖元素的一部分。
4.根据权利要求1所述的系统，其中检测所述至少一个外科手术标志的所述移动包括将所述至少一个外科手术标志在所述第一图像中的位置与所述至少一个外科手术标志在所述第二图像中的位置进行比较。
5.根据权利要求2所述的系统，其中在术前获得所述第一图像并且在术中获得所述第二图像。
6.根据权利要求1所述的系统，其中所述成像装置是第二成像装置并且所述系统还包括第一成像装置，其中从所述第一成像装置获得所述第一图像并且从所述第二成像装置获得所述第二图像。
7.根据权利要求6所述的系统，其中所述第一成像装置使用第一成像模态，并且所述第二成像装置使用不同于所述第一成像模态的第二成像模态。
8.根据权利要求6所述的系统，其中所述第一图像包括所述一个或多个外科手术标志的三维表示，其中所述第一成像装置使用电离辐射获得图像。
9.根据权利要求8所述的系统，其中所述存储器存储用于由所述处理器处理的另外的数据，所述另外的数据在被处理时使得所述处理器：
基于所述第二图像来更新所述三维表示的至少一部分。
10.根据权利要求9所述的系统，其中所述第二图像包括所述一个或多个外科手术标志的二维表示。
11.根据权利要求8所述的系统，其中所述存储器存储用于由所述处理器处理的另外的数据，所述另外的数据在被处理时使得所述处理器：
基于所述至少一个外科手术标志的所检测到的移动来更新所述至少一个外科手术标志的所述三维表示。
12.根据权利要求1所述的系统，其中所述阈值是基于在执行外科手术步骤之后所述至少一个外科手术标志的预测位置。
13.根据权利要求1所述的系统，其中所述第二图像是被实时接收的。
14.一种用于跟踪解剖元素的装置，所述装置包括：
处理器；和
存储器，所述存储器存储用于由所述处理器处理的数据，所述数据在被处理时使得所述处理器：
接收描绘一个或多个外科手术标志的第一图像；
接收描绘所述一个或多个外科手术标志的第二图像，所述第二图像在所述第一图像之后被接收；
基于所述第一图像和所述第二图像来检测所述一个或多个外科手术标志中的至少一个外科手术标志的移动；以及
基于所检测到的移动来更新所述第一图像。
15.根据权利要求14所述的装置，其中检测所述至少一个外科手术标志的所述移动包括将所述至少一个外科手术标志在所述第一图像中的位置与所述至少一个外科手术标志在所述第二图像中的位置进行比较。
16.根据权利要求14所述的装置，其中所述一个或多个外科手术标志包括设置在对应的解剖元素上的参考标记、植入在对应的解剖元素上的一个或多个植入物、一个或多个解剖元素、和/或一个或多个解剖元素中的每个解剖元素的一部分。
17.根据权利要求14所述的装置，其中所述第一图像是所述一个或多个外科手术标志的二维表示或三维表示中的至少一者，并且所述第二图像是所述一个或多个外科手术标志的二维表示或三维表示中的至少一者，其中使用第一成像模态从第一成像装置获得所述第一图像，并且使用第二成像模态从第二成像装置获得所述第二图像。
18.根据权利要求17所述的装置，其中所述第一成像模态使用电离辐射，并且所述第二成像模态不含电离辐射。
19.根据权利要求14所述的装置，其中更新所述第一图像在所检测到的移动满足或超过移动阈值时进行。
20.一种用于跟踪一个或多个外科手术标志的系统，所述系统包括：
第一成像装置，所述第一成像装置使用第一成像模态；
第二成像装置，所述第二成像装置使用第二成像模态；
处理器；
存储器，所述存储器存储用于由所述处理器处理的数据，所述数据在被处理时使得所述处理器：
从所述第一成像装置接收第一图像，所述第一图像描绘一个或多个外科手术标志；
从所述第二成像装置接收第二图像，所述第二图像描绘所述一个或多个外科手术标志；
基于所述第一图像和所述第二图像来检测所述一个或多个外科手术标志中的至少一个外科手术标志的移动；以及
当所检测到的移动满足阈值时生成通知。
CN202280073154.6A 2021-11-01 2022-10-20 用于跟踪一个或多个外科手术标志的系统和装置 Pending CN118175969A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/516,246 2021-11-01
US17/516,246 US20230135286A1 (en) 2021-11-01 2021-11-01 Systems, devices, and methods for tracking one or more surgical landmarks
PCT/IB2022/060105 WO2023073517A1 (en) 2021-11-01 2022-10-20 Systems and devices for tracking one or more surgical landmarks

Publications (1)

Publication Number Publication Date
CN118175969A true CN118175969A (zh) 2024-06-11

Family

ID=84179626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280073154.6A Pending CN118175969A (zh) 2021-11-01 2022-10-20 用于跟踪一个或多个外科手术标志的系统和装置

Country Status (4)

Country Link
US (1) US20230135286A1 (zh)
EP (1) EP4426223A1 (zh)
CN (1) CN118175969A (zh)
WO (1) WO2023073517A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4005492A1 (en) * 2020-11-30 2022-06-01 Koninklijke Philips N.V. Guided acquisition of a 3d representation of an anatomical structure
US20240053162A1 (en) * 2022-08-12 2024-02-15 State Farm Mutual Automobile Insurance Company Systems and methods for pedestrian guidance via augmented reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
EP3278759B1 (en) * 2016-08-02 2021-04-07 P Tech, LLC Systems for surgical navigation and visualization

Also Published As

Publication number Publication date
EP4426223A1 (en) 2024-09-11
WO2023073517A1 (en) 2023-05-04
US20230135286A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
CN118175969A (zh) 用于跟踪一个或多个外科手术标志的系统和装置
EP4026511A1 (en) Systems and methods for single image registration update
US20220241015A1 (en) Methods and systems for planning a surgical procedure
US20220198665A1 (en) Systems and methods for monitoring one or more anatomical elements
CN117769399A (zh) 基于工作体积映射的路径规划
WO2022234568A1 (en) Systems and methods for generating multiple registrations
US20230240753A1 (en) Systems and methods for tracking movement of an anatomical element
US20230240755A1 (en) Systems and methods for registering one or more anatomical elements
US11847809B2 (en) Systems, devices, and methods for identifying and locating a region of interest
US20230278209A1 (en) Systems and methods for controlling a robotic arm
US20230240659A1 (en) Systems, methods, and devices for tracking one or more objects
US20230281869A1 (en) Systems, methods, and devices for reconstructing a three-dimensional representation
CN113855232B (zh) 用于训练和使用植入计划评估模型的系统和方法
US20220354584A1 (en) Systems and methods for generating multiple registrations
US20230240790A1 (en) Systems, methods, and devices for providing an augmented display
US12133690B2 (en) Systems and methods for matching images of the spine in a variety of postures
US12004821B2 (en) Systems, methods, and devices for generating a hybrid image
US20230115512A1 (en) Systems and methods for matching images of the spine in a variety of postures
WO2024180545A1 (en) Systems and methods for registering a target anatomical element
CN118613225A (zh) 结合光学跟踪和惯性测量的分段跟踪
CN117279586A (zh) 用于生成多个配准的系统和方法
CN118678928A (zh) 用于验证标记的位姿的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication