CN116687563A - 用于确定限定跟踪器的标记位置的标记布置的技术 - Google Patents

用于确定限定跟踪器的标记位置的标记布置的技术 Download PDF

Info

Publication number
CN116687563A
CN116687563A CN202310211773.3A CN202310211773A CN116687563A CN 116687563 A CN116687563 A CN 116687563A CN 202310211773 A CN202310211773 A CN 202310211773A CN 116687563 A CN116687563 A CN 116687563A
Authority
CN
China
Prior art keywords
marker
arrangement
image data
tracker
imaging mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310211773.3A
Other languages
English (en)
Inventor
汉斯·肖普
法迪·加纳姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker European Operations Ltd
Original Assignee
Stryker European Operations Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker European Operations Ltd filed Critical Stryker European Operations Ltd
Publication of CN116687563A publication Critical patent/CN116687563A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种用于确定标记布置的方法、计算机程序产品、装置和手术导航系统，所述标记布置限定了跟踪器的标记的位置。标记可由第一成像模式和与第一成像模式不同的第二成像模式检测到。该方法包括接收使用第一成像模式捕获的标记的第一图像数据和接收使用第二成像模式捕获的标记的第二图像数据。该方法还包括基于第一图像数据和第二图像数据确定标记布置。

Description

用于确定限定跟踪器的标记位置的标记布置的技术
技术领域
本公开一般涉及例如手术导航环境中的跟踪。更详细地，提出了一种用于确定限定跟踪器的标记的位置的标记布置的技术。该技术可以实现为方法、计算机程序产品、装置或手术跟踪系统。
背景技术
手术跟踪系统被配置为跟踪手术对象，例如手术器械或手术室中的患者。常用的跟踪技术包括具有光学标记的跟踪器以及能够检测由标记发射或反射的光的相机。基于检测到的光，跟踪系统确定与跟踪器的位置和取向中的一者或两者有关的信息，从而确定与要跟踪的手术对象有关的信息。
为了使用由相机生成的图像数据来确定被跟踪的手术对象的位置或取向，跟踪系统需要知道标记的布置。例如，跟踪系统可能需要了解标记布置，以准确定位跟踪器或将特定跟踪器与其他跟踪器区分开来。可以例如由跟踪系统以在给定坐标系中标记的位置坐标的形式评估标记布置。
然而，在某些情况下，可能不能或没有足够准确地了解标记布置。此类场景包括以下情况的追踪器：在手术干预之前或期间有意或无意地已经变形的跟踪器、可能已经以患者特定方式配置的可定制跟踪器、或已经以较大制造公差制造的一次性跟踪器。
发明内容
需要一种技术，该技术允许限定跟踪器的标记的位置的标记布置被正确的确定。
根据一个方面，提供了一种用于确定限定跟踪器的标记的位置的标记布置的方法。标记可由第一成像模式和与第一成像模式不同的第二成像模式检测到。该方法包括接收使用第一成像模式捕获的标记的第一图像数据和接收使用第二成像模式捕获的标记的第二图像数据。该方法还包括基于第一图像数据和第二图像数据确定标记布置。
标记布置可以限定标记相对于彼此的位置。另外，或者在替代方案中，标记布置可以限定标记在公共坐标系中的位置。作为示例，确定标记布置可以包括确定两个或更多个或所有标记在坐标系中的位置的坐标。作为另一示例，确定标记布置可以包括确定标记的(例如，呈相对距离和/或取向的形式的)相对位置。
第一图像数据和第二图像数据中的至少一者可以表示图像、多个图像、视频、点云和多边形网格中的至少之一。第一图像数据和第二图像数据中的至少一者可以包括与捕获相应图像数据的视角、视距和时间中的至少一者相关的信息。
标记中的至少一个可以具有可由第一成像模式检测到的第一标记部分和与第一标记部分间隔开并可由第二成像模式检测到的第二标记部分。第一标记部分可以相对于第二标记部分以预先确定的几何关系布置。可以基于预先确定的几何关系进一步确定标记布置。
第一标记部分可以包括被配置为反射或发射能够由相机感测到的电磁辐射(例如，红外光、可见光和紫外光中的至少一种)的材料。第二标记部分可以包括在计算机断层扫描(CT)扫描或磁共振成像(MRI)扫描仪中可检测的材料。
标记中的至少一个可以具有可由第一成像模式和第二成像模式两者检测的第三标记部分。标记中的至少一个可以仅具有第三标记部分或仅具有第一标记部分和第二标记部分。作为示例，第三标记部分可以包括能够由第一成像模式和第二成像模式两者检测的一种或多种材料。第三标记部分可以具有不显著超过(例如超过50％)第一成像模式和第二成像模式中的一者或两者的空间分辨率的空间扩展。
第一成像模式和第二成像模式之一可以包括CT扫描仪和MRI扫描仪中的一者。第一成像模式和第二成像模式中的另一者可以包括至少一个相机(例如，立体相机)。相机可以被配置为检测电磁辐射(例如，红外光、可见光和紫外光中的至少一种)。
跟踪器的标记可以布置在公共平面中。确定标记布置可以包括在基于第一图像数据和第二图像数据中的至少一者确定的虚拟平面中虚拟地布置标记的位置。可以基于初步标记布置并且在考虑虚拟平面来确定实际的或最终的标记布置之前来确定虚拟平面。可以根据第一图像数据和第二图像数据中的至少一者来确定虚拟平面。
该方法可以包括使用所确定的标记布置将第一图像数据和第二图像数据中的至少一者或第三图像数据与跟踪器配准。该方法可以包括使用所确定的标记布置将来自第一成像模式和第二成像模式之一(例如，在第一图像数据和第二图像数据之后已经采集的第一图像数据和第二图像数据之一或第三图像数据)的CT或MRI扫描与跟踪器配准。该方法可以包括跟踪(并且可选地，可视化)带有跟踪器的手术对象相对于被配准的图像数据的位置和取向中的至少一者。
跟踪器可以具有支撑标记的可变形的基底，其中，对于基底的未变形形状，标记以预先确定(例如，平面的)布置被布置。对于基底的变形形状，可以进一步基于预先确定布置来确定标记布置。可变形基底可以是可弯曲的、可拉伸的和可压缩的中的至少一种。基底可以包括被配置为适配患者的面部或背部的表面的面罩或脊柱罩。
该方法可以包括基于第一图像数据确定限定标记的第一位置的第一布置，以及基于第二图像数据确定限定标记的第二位置的第二布置。可以基于第一布置和第二布置的组合来确定标记布置。
可以基于标记在第一布置和第二布置之间的平均位置来确定标记布置。可以基于标记在第一布置和第二布置之间的加权平均位置来确定标记布置。例如，可以处理特定标记在第一布置和第二布置中的位置以计算(可选地，加权)平均位置。
在某些情况下，朝向第一布置或第二布置对平均值进行加权。可以更多朝向具有较大空间分辨率(例如，标记的较大空间分辨率)的成像模式对平均值进行加权。可替换地，或另外，可以基于(i)和(ii)中的一个或多个对平均值进行加权，(i)已经取得第一图像数据和第二图像数据的时间序列，(ii)第一成像模式和第二成像模式中的至少一者的视角和视距中的至少一者。可以更多朝向最近捕获的图像数据对平均值进行加权。第一成像模式(或可替换地，第二成像模式)可以包括相机，并且当捕捉第一图像数据时，可以随着相机的视距的减小而更多朝向第一成像模式对平均值进行加权。捕获第一图像数据和第二图像数据之间的时间差越大，平均值可以越朝向更近捕获的图像数据进行加权。
该方法可以包括确定特定标记在第一布置或第二布置中的至少一者中的无效位置。该方法可以包括当确定特定标记在标记布置中的位置时，忽略特定标记在第一布置或第二布置中的至少一者中的无效位置。如果不能从相应的图像数据确定特定标记的位置，则该位置可以被确定为无效。如果特定标记的位置相对于一个或多个其他标记(例如，在相同标记布置中或在其他标记布置中)的预期位置和/或位置的距离超过阈值，则可以将该位置确定为无效。
该方法可以包括当标记在第一布置中的位置与标记在第二布置中的位置之间的品质标准满足误差条件时，生成误差信号。品质标准可以包括第一标记布置的标记的位置和第二标记布置的标记的位置之间的距离。品质标准可以可替代地或附加地包括第一标记布置和第二标记布置的可确定位置的存在。
该方法还可以包括尝试将第一布置的第一位置与第二布置的第二位置进行匹配。在这方面可以使用任何匹配算法。该方法还可以包括忽略第一位置中的缺少匹配的第二位置的至少一个。另外，或者在替代方案中，该方法可以包括忽略第二位置中的缺少匹配的第一位置的至少一个。在排除(例如，“过滤掉”)一个或多个被忽略的位置的情况下，然后可以执行基于第一图像数据和第二图像数据的标记布置的确定。
匹配(例如，对齐)第一位置和第二位置可以包括使用点集算法，例如用于最小化第一位置与第二位置之间的差的算法，例如迭代最近点(ICP)算法。所谓的“多余”的第一位置或第二位置可以被认为至少在下列情况之一中缺少要配准的第二位置或第一位置与之对齐：(i)“多余”的第一位置或第二位置在阈值距离内缺少匹配的第二位置或第一位置，以及(ii)“多余”的第一位置或第二位置不满足所使用的点集算法的对齐标准。
该方法还可以包括基于第一图像数据和第二图像数据确定组合图像数据。可以基于组合图像数据来确定标记布置。组合图像数据可以包括使用第一成像模式和第二成像模式中的一者来跟踪第一成像模式和第二成像模式中的另一者的成像装置。组合图像数据可以包括识别第一图像数据和第二图像数据中的标记，并对齐第一图像数据的所识别的标记和第二图像数据的所识别的标记。
根据第二方面，提供了一种计算机程序产品。该计算机程序产品包括指令，当在至少一个处理器上被执行时，所述指令使所述至少一个处理器执行本文所述的任何方法。计算机程序产品可以存储在非易失性存储介质上，例如硬盘驱动器、光盘、闪存驱动器、云计算装置或下载服务器。
根据第三方面，提供了一种用于确定限定跟踪器的标记的位置的标记布置的装置。标记可由第一成像模式和不同于第一成像模式的第二成像模式检测到。该装置被配置为接收使用第一成像模式捕获的标记的第一图像数据，并接收使用第二成像模式捕获的标记的第二图像数据。该装置还被配置为基于第一图像数据和第二图像数据来确定标记布置。
该装置可以被配置为执行如本文所述的任何方法方面和方法步骤。
根据第四方面，提供了一种手术跟踪系统，其包括本文所述的装置和跟踪器，其中跟踪器被附接至手术对象或包括被配置为附接至手术对象(例如，患者或手术器械)的接口。该接口可以包括粘合剂、夹具、螺钉和磁体中的至少一种。
附图说明
根据以下结合附图的实施例，本公开的其他细节、优点和方面将变得显而易见，其中：
图1示出了包括根据本公开的装置的手术跟踪和导航系统；
图2A示出了具有第一标记部分和第二标记部分的无源标记(passive marker)的第一示例的横截面；
图2B示出了包括第三标记部分的无源标记的第二示例的横截面；
图2C示出了无源标记的第三示例的横截面，其中第一标记部分相对于第二标记部分在空间上偏移；
图2D示出了被打印的跟踪器的第一示例的透视图；
图2E示出了被打印的跟踪器的第二示例的透视图；
图2F示出了具有通过焊点电连接到电路的LED的有源标记的示例；
图3示出了用于确定限定跟踪器的标记的位置的标记布置的方法的流程图；
图4A示出了具有四个标记的跟踪器的示例，这些标记以预定的标记布置方式被布置；
图4B示出了跟踪器标记的第一图像数据的表示；
图4C示出了跟踪器标记的第二图像数据的示例；
图4D示出了基于第一图像数据确定的第一标记布置；
图4E示出了基于第二图像数据确定的第二标记布置；
图4F示出了第一标记布置和第二标记布置的组合；
图5A示出了标记中的一个标记的第一标记布置的第一位置和第二标记布置的第二位置；
图5B示出了确定为第一位置和第二位置之间的平均位置的标记位置；
图5C示出了确定为第一位置和第二位置之间的加权平均位置的标记位置；
图5D示出了不同权重标准导致的不同标记位置；
图6A示出了第一标记布置和第二标记布置的示例，其中第一位置的特定标记的第一位置无效；
图6B示出了基于图6A所示的第一标记布置和第二标记布置确定的标记布置；
图6C示出了第一标记布置和第二标记布置的示例，其中特定标记的第一位置无效；
图6D示出了基于图6C所示的第一标记布置和第二标记布置确定的标记布置；
图7示出了第一标记布置和第二标记布置的示例，其中超过了位置距离阈值；
图8A示出了根据第一图像数据确定的标记和非标记的第一布置的示例；
图8B示出了没有根据第二图像数据确定的非标记的第二布置的示例；
图8C示出了图8A所示的第一布置与图8B所示的第二布置对齐；
图8D示出了图8C所示的第一位置和第二位置，其中忽略了多余的第一位置；
图9A示出了具有四个标记的跟踪器的示例，这些标记以预定的标记布置方式布置，类似于图4A；
图9B示出了捕获有图9A所示的标记的第一图像数据；
图9C示出了捕获有图9A所示的标记的第二图像数据；
图9D示出了包括第一图像数据和第二图像数据的组合图像数据；
图9E示出了根据图9D所示的组合图像数据确定的标记布置；
图10A示出了具有四个标记的跟踪器的示例，其中标记布置在一公共平面中；
图10B示出了由本文所述的任何方法确定的图10A所示跟踪器的标记布置；
图10C示出了图10B的标记布置的侧视图；
图10D示出了确定的标记布置，其中标记布置的位置位于虚拟平面上；
图11A示出了未变形的跟踪器基底，其上形成有八个标记；
图11B示出了在图11A的基底未变形时的预先确定标记布置；
图11C示出了由于基底适应患者皮肤表面而导致的呈变形形状的基底；
图11D示出了基于捕获由图11C所示的变形基底支撑的标记的第一图像数据和捕获的第二图像数据确定的标记布置；和
图11E示出了与变形的预先确定标记布置组合的确定的标记布置。
具体实施方式
图1示出了包括根据本公开的标记布置确定装置12的手术跟踪和导航系统10。装置12被实现为手术室中的本地计算机系统。可替换地，装置12可以至少部分地由远程服务器或云计算资源提供。
手术跟踪和导航系统10还包括具有相机16的跟踪系统14。可选地，跟踪系统14可以包括多个相机16，例如呈单独设置的相机或立体相机的形式。跟踪系统14还可以包括处理部件(未示出)。这样的处理部件可以与标记布置确定装置12(例如，呈本地计算机系统的形式)共享。在一些变型例中，标记布置确定装置12(例如，以集成软件产品的形式)被集成到跟踪系统16中。
跟踪系统14和标记布置确定装置12中的至少一者可以包括输出装置18或与输出装置18通信地联接。图1所示的示例性输出装置18包括显示器(例如，计算机监视器或平板电脑)。可选地或附加地，输出装置可以包括扬声器、虚拟现实眼镜、具有平视显示器的眼镜和触觉反馈装置中的至少一者。
手术跟踪和导航系统10还包括作为跟踪系统14的部件的跟踪器20。跟踪器20通常被配置为附接到手术对象，例如患者26。在本实现中，跟踪器20通常支持多个标记22。每个标记22可以是电磁无源或有源元件。例如，标记22中的至少一个可以是被配置为反射电磁辐射的无源元件，例如平坦反射表面、球体或反射印刷表面。附加地或替代地，标记22中的至少一个可以是能够发射电磁辐射的有源元件，例如发光二极管(LED)或白炽灯泡(其中任何一个可以联接到光纤)。相机系统14能够检测由标记22反射或发射的电磁辐射。
跟踪器20布置在患者26(例如，如图1所示的患者背部)或任何手术器械或其他手术对象的表面上。为此，跟踪器20包括被配置为附接到手术对象的接口。接口可包括粘合剂、夹具、螺钉和磁体中的至少一种。图1中所示的跟踪器20包括呈粘合剂形式的接口，该接口允许跟踪器粘合地附接到患者背部的皮肤。然而，跟踪器20可以附接到患者26的任何其他表面，例如面部或四肢。此外，追踪器20可以布置在任何其他手术对象上或附接到任何其他手术对象，例如手术器械、手术框架、跟踪系统部件或成像装置。图1所示的跟踪器20是单个装置。可选地，跟踪器20可以包括能够单独地附接到手术对象的独立的跟踪部分，其中每个跟踪部分支撑至少一个标记。然后，这些独立的跟踪部分将共同形成跟踪器20。
根据限定标记22的(例如，相对)位置的标记布置23布置标记22。图1所示的跟踪器20具有支撑标记22的柔性基底24。基底24可以是可压缩的和可拉伸的中的至少一种。因此，基底24适应于患者26的皮肤表面，并因此呈现变形的状态。结果，在外科手术开始之前或在外科手术期间，跟踪系统14可能事先不知道基底24的变形状态下的标记布置23。对于由跟踪系统14跟踪跟踪器20(例如，为了在跟踪由相机16拍摄的图像数据中可靠地识别标记布置23)和用于手术导航，确定变形状态下的标记布置23是必要的。
如图1所示的柔性基底24是标记布置23可能事先未知的许多可能的原因之一。在其他情况下，跟踪器20可以具有刚性基底，但是基底可以被弯曲(例如，用户有意地或由于磨损或撞击而无意地)。在进一步的情况下，跟踪器20可能已经以大公差制造(例如，使用诸如3D打印的增材制造技术)。在具有多个可移动的、可附接的或可拆卸的跟踪部分的可定制的跟踪器20的情况下，标记布置23可以由外科医生在外科手术之前以定制的方式布置。
可以仅根据使用诸如相机系统14的第一成像模式捕获的第一图像数据来确定标记布置23。然而，仅基于第一图像数据确定标记布置23对于手术导航目的可能不够准确(例如，在空间分辨率不足或在障碍方面)。这样，提出了一种用于由标记布置确定装置12确定标记布置23的更精确的技术。
可以使用两种不同的成像模式从跟踪器20捕获图像数据。例如，在对患者26进行CT扫描的情况下，使用CT扫描仪15作为第二成像模式来捕获带有跟踪器20的患者26的第二图像数据，而作为第一成像模式的相机系统14捕获跟踪器20的第一图像数据。可以由标记布置确定装置12在第一图像数据和第二图像数据中识别跟踪器20的标记22，例如，这允许将第二图像数据与跟踪器20(以及由此患者26)在跟踪系统14的坐标系中配准。
为了能够在两种成像模式中识别标记22，标记22被配置为可由两种成像模式检测到。在这方面存在各种可能性。
图2A示出了无源标记22的第一示例的横截面，其中第一标记部分25可由第一成像模式(此处：相机16)检测到，第二标记部分27可由第二成像模式(这里：CT扫描仪15)检测到。在图2A所示的示例中，第一标记部分25是壳体，第二标记部分27是相对于第一标记部分的壳体同心布置的球体。因此，在第一图像数据和第二图像数据中为标记22确定的位置(例如，在各自的中心方面)至少基本相同。
图2B示出了无源标记22的第二示例的横截面，该无源标记包括第三标记部分21，该第三标记部分21包括由两种成像模式可检测到(这里：可由相机16和CT扫描仪15检测到)的材料。因此，在第一图像数据和第二图像数据中为标记22确定的位置至少基本相同。
图2C示出了无源标记22的第三示例的横截面，其中第一标记部分25相对于第二标记部分27在空间上偏移。在图2C所示的示例中，第一标记部分27是球体，该球体旋拧在螺旋状的第二标记部分27上。与图2A的情况相反，第一标记部分25的中心位置29与第二标记部分27的中心位置31不重合。然而，几何关系(例如，在位置29和位置31之间的矢量或空间平移方面)可以是预先确定的，这意味着在外科手术之前它是先验已知的。因此，可以使用第一标记部分25的位置和预先确定的几何关系来确定第二标记部分27的位置(反之亦然)。
图2D示出了被打印的跟踪器20的第一示例的透视图。跟踪器20具有由第一成像模式和第二成像模式可检测到的打印标记22。例如，标记22可以用油墨印刷，该油墨包括由相机系统16可检测到的红外光反射颜料和CT扫描中可见的金属颗粒。
图2E示出了被打印的跟踪器20的第二示例的透视图。跟踪器20具有标记22，标记22具有由第一成像模式可检测到的第一标记部分25和由第二成像系统可检测到的第二标记部分27。第二标记部分27可以被打印(印刷)或包括附接元件(例如，螺钉、钉或缝钉)。
图2F示出了有源标记22的示例，该标记具有通过至少一个(此处：两个)焊点37电连接到电路35的LED 33。标记22包括呈LED33形式的第一标记部分25，因为LED可由呈相机16形式的第一成像模式检测到。标记22还包括两个呈焊点37形式的第二标记部分27，其可由呈CT扫描仪15形式的第二成像模式检测到。第一标记部分25和两个第二标记部分27之间的几何关系可以预先确定。
从图2E和2F所示的示例中可以看出，每个标记22不一定仅包括一个标记部分25、27。相反，标记可以包括多于一个第一标记部分25和/或多于一个第二标记部分27。
图3示出了用于确定标记布置23的方法的流程图100，该标记布置23限定了跟踪器20的标记22的位置。图1的标记布置确定装置12被配置为执行本文所述的任何方法步骤。为此，装置12可以包括至少一个处理器，其中由该至少一个处理器执行的计算机程序产品使至少一个处理器执行本文所述的任何方法步骤。
该方法包括在步骤102中接收使用第一成像模式捕获的标记22的第一图像数据。为此，标记22由第一成像模式可检测到。如上所述，第一成像模式可以是相机16。因此，相机16既可以用于跟踪具有标记22的跟踪器20，也可以用于在手术过程中在实际跟踪之前对标记布置23进行成像。可替换地，可以使用不同的相机或相机系统来捕获第一图像数据以用于校准目的(即，准确地确定标记布置23)并跟踪跟踪器20。用于捕获第一图像数据的相机或相机系统可以具有较高的空间分辨率，但不必满足用于跟踪的附加要求(例如高帧速率)。
第一图像数据可以表示标记22的一个或多个图像或一个或多个视频。可以从不同的视角捕获图像或视频中的至少一者。例如，第一图像数据可以由立体相机或由相对于跟踪器20移动的单个相机捕获。
该方法包括在步骤104中接收使用第二成像模式捕获的标记的第二图像数据。第二成像模式不同于第一成像模式。标记22也可由第二成像模式检测到。在图1的示例中，第一成像模式包括CT扫描仪15。第二成像模式可以可替代地包括磁共振成像(MRI)装置。步骤102和104可以以任何顺序执行并且也可以并行地执行。
该方法还包括在步骤106中基于第一图像数据和第二图像数据确定标记布置。在基于第一图像数据和第二图像数据确定标记布置23的过程中，在第一图像数据、第二图像数据或从第一图像数据和第二图像数据导出的组合图像数据中的至少一个中确定标记22的位置。可以使用图像处理技术在任何图像数据中确定特定标记22的位置(例如坐标)，所述图像处理技术可以基于具有最高强度的图像点(例如像素)、具有大对比度或大强度变化的图像点、或在多个这样的图像点的几何中心处的图像点。
确定标记位置可以包括相对于上述确定的图像点在空间上偏移地定位标记位置。可以基于第一标记部分25和第二标记部分27之间的几何关系来确定空间偏移(见图2C、2E和2F)。在第一模式和第二模式之一用于后续跟踪的情况下，使用另一成像模式在图像数据中确定的位置可以在空间上朝向跟踪成像模式的标记部分偏移。
例如，图2F所示的标记22的第一图像数据可以由相机16捕获，第二图像数据可以由CT扫描仪15捕获。第二标记部分27(即，焊点37)的图像点可以位于第二图像数据中，并且随后使用已知(即，预先确定)几何关系在空间上偏移，以与第一标记部分25(例如，LED 33)的位置对齐。因此，第一标记部分25(即LED 33)的位置可以位于第一图像数据和第二图像数据两者中。使用第一标记部分25的位置来确定标记布置可以更代表LED 33的位置，因此对于后续跟踪更准确。
类似地，可以使用几何关系来偏移根据(由相机16捕获的)第一图像数据中的图像点确定的第一标记部分25(例如，LED 33)的位置，以与第二标记部分27(即，焊点37)的图像点对齐。因此，第二标记部分27的位置可以位于第一图像数据和第二图像数据两者中。使用第二标记部分27的位置来确定标记布置可以更代表焊点27的位置，从而更准确地将第二图像数据与跟踪器20配准。
可以根据现在将更详细地描述的第一方法或第二方法来执行确定标记布置23。当然，也可以使用其他方法。根据第一方法，该方法还包括基于第一图像数据确定限定标记22的第一位置的第一布置，以及基于第二图像数据确定限定标记22的第二位置的第二布置。在这种情况下，基于第一布置和第二布置的组合来确定标记布置23。现在将参考图4A至4E解释该方法。
图4A示出了具有四个标记22的跟踪器20的示例，这些标记被布置在给定的标记布置23中，以在手术过程中使用。跟踪器20可以具有任何其他数量的标记22，例如两个、三个、五个或更多个标记22。图4A中的标记22有目的地布置在随机位置处，以便更好地表示(例如，由变形的标记基底24产生的，见图1)未知的标记布置23。
图4B示出了第一图像数据28的表示。第一图像数据28可以从(例如，由相机16捕获的)标记22的一个或多个图像导出。第一图像数据28可以包括指示标记22的捕获强度或对比度的数据，如图4B所示。这样，第一图像数据28中所表示的标记22可以具有空间扩展。
图4C示出了第二图像数据30(例如，由CT扫描仪15拍摄的)的表示。第二图像数据30可以与第一图像数据28类似地限定。第二图像数据30可以从通过标记22的X射线投影、标记22的横截面图像切片和标记22的体绘图中的至少一者导出。
图4D示出了基于第一图像数据28确定的第一标记布置32。第一标记布置32(或本文描述的任何标记布置)可以以直接或间接地限定标记22相对于彼此的位置的方式来限定。例如，第一标记布置32可以在公共坐标系中限定标记位置。替代地或附加地，第一标记布置32可以限定标记22相对于其他标记22的位置。在图4D所示的示例中，第一标记布置32限定了标记22在公共坐标系中的位置。如果第一图像数据28中表示的标记22具有空间扩展，则可以应用图像处理技术来导出专用标记坐标，如以上所解释的。
图4E示出了基于第二图像数据30确定的第二标记布置34。可以以与第一标记布置32类似或不同的方式限定第二标记布置34。在图4E所示的示例中，第二标记布置34限定了标记22相对于其他标记22的位置。
图4F示出了公共坐标系中的第一标记布置32(以正方形图标的形式)和第二标记布置34(以三角形的形式)的组合。虽然第一标记布置32和第二标记布置34中的每个标记22的位置相似，但位置并不相同，因为它们都是从不同的图像数据中确定的(并且可能具有不同的空间分辨率、不同的角度等)。可以在图3的步骤106中基于第一标记布置32和第二标记布置34以不同的方式确定感兴趣的标记布置32，如下面将描述的那样。
图5A示出了标记22中的一个示例性标记的第一标记布置32的第一位置32A或第一标记布置32中的第一位置32A以及第二标记布置34B的第二位置34A或第二标记布置34B中的第二位置34A。虽然正方形形状和三角形形状允许在第一标记布置32和第二标记布置34之间进行区分，但实际位置(例如，实际坐标)由在两种形状中的每一个的中心的圆表示。
图5B示出了在图3的步骤106中确定的标记布置23的第一标记的位置23A，作为第一位置32A和第二位置34A之间的平均位置。可以通过在第一位置32A和第二位置34A之间限定连接线36并将所确定的位置定位在连接线36上的与第一位置32A和第二位置34A相等的距离处来确定第一标记的所确定的(此处为平均)位置23A。
图5C示出了在图3的步骤106中确定的标记布置23的第一标记的位置23A，作为第一位置32A和第二位置34A之间的加权平均位置。为此，第一位置32A和第二位置34A中的一个被分配较大的权重，使得具有较大权重的位置对加权平均值的贡献更大。因此，所确定的(此处为加权平均)位置更靠近具有分配较大的权重的位置。在图5C所示的示例中，第二位置34A被分配了较大的权重。因此，第一标记的位置23A比第一位置32A更靠近第二位置34A。
分配给第一位置32A和第二位置34A的权重可以是固定的，例如60:40、3:1、75:25或任何其他比例。可以向具有较大空间分辨率或较可靠的成像质量的第一标记布置32或第二标记布置34(即，第一成像模式或第二成像模式)分配较大的权重。例如，根据CT扫描仪15的图像数据确定的第二标记布置34可以比例如根据相机16的图像数据所确定的第一标记布置32更不依赖于视角，因此更可靠。在这种情况下，第二标记布置34可以比第一标记布置32分配较大的权重。
分配给第一位置32A和第二位置34A的权重可以取决于一个或多个权重标准。因此，第一标记的位置23A也可以取决于一个或多个权重标准。图5D示出了由不同权重标准导致的标记布置23的第一标记的不同位置23A。一个或多个权重标准可以基于视角和视距中的至少一者。例如，由于任何成像模式的有限空间分辨率，在较大视距处捕获的第一图像数据28可能导致具有较低精度的第一标记布置32。在图5D所示的示例中，第一成像模式包括相机16，第二成像模式包括CT扫描仪15。因此，第一位置32A的精度可以取决于跟踪器20相对于相机16的视角和视距。在短的视距和/或最佳视角(例如，标记22至少基本上布置在垂直于相机16的光轴的平面中)处，第一图像数据可以产生具有高精度的第一位置32A。在这种情况下，第一位置32A可以被分配比第二位置34A更大的权重。在这种情况下，图5D中所示的第一标记的位置23A被布置为靠近第一位置32A，例如最左侧的第一位置23A。对于在较大视距和/或较不理想视角下捕获的第一图像数据28，可以给第一位置32A分配较小的权重，从而产生图5D所示的中心的第一标记位置23A，或甚至可以给第一位置32A分配更小的权重，以产生图5D所示的右边第一标记位置23A。因此，第一图像数据28和第二图像数据30中的至少一者可以包括用于由确定装置12评估的视角和视距信息中的至少一者。
一个或多个权重标准可以附加地或备选地基于捕获第一图像数据28和第二图像数据30之间的时间序列和时间偏移中的至少一者。在捕获第一图像数据28和第二图像数据30之间的时间内，标记22可以相对于彼此移动(例如，由于如图1所示的带有可变形跟踪器20的患者26的移动，由于跟踪器20的操作或由于温度变化而导致的无意弯曲)。在这种情况下，最近捕获的图像数据更准确地表示感兴趣的实际标记布置23。因此，根据最近捕获的图像数据28、30确定的第一标记布置32或第二标记布置34可以被分配较大的权重。分配给根据最近的图像数据28、30确定的第一位置32A或第二位置34A的权重可以随时间偏移(例如，线性地或对数地)缩放。
跟踪器22的第一标记22的位置23A可以通过例如以上述方式组合第一位置32A和第二位置34A来确定。可以以相同的方式确定跟踪器20的其他标记22的位置。结果，可以确定跟踪器20的每个标记22在标记布置23中的位置。因此，限定跟踪器20的所有标记22的位置的整个标记布置23可以被确定。结果，基于第一图像数据和第二图像数据校准跟踪器布置23。
本文提出的方法可以包括确定跟踪器20的特定标记22在第一布置32或第二布置34之一中的无效位置。如果根本无法确定位置(例如，由于第一图像数据28或第二图像数据30中关于特定标记22的信息不足)或者如果识别出不规则位置，则可以在布置32、34的一个中将特定标记22的位置确定为无效。如果位置相对于预期位置或相对于其他标记22(例如，由于患者的运动)位于距离阈值之外，则该位置可以被识别为不规则的。
图6A示出了第一标记布置32和第二标记布置34的示例，其中，第一标记布置32的特定标记22的第一位置32B无效，因为其无法被确定(例如，因为特定标记22未在第一图像数据28中被捕获到，或者第一图像数据28不包含足够的信息来识别特定标记22)。无法确定第一位置32B的事实在图6A中用带虚线的正方形表示。同样如图6A所示，可以在第二标记布置34中确定特定标记22的第二位置34B。
图6B示出了在图3的步骤106中基于图6A所示的第一标记布置32和第二标记布置34确定的标记布置23(由十字图标表示)。在图6B所示的示例中，标记布置23是基于平均位置确定的(见图5B至5D)。然而，可以替代地使用用于确定本文描述的标记布置32的任何其他方式。虽然多数标记22的位置被确定为第一标记布置32和第二标记布置34之间的平均位置(如布置在正方形图标的中心和三角形图标的中心之间的十字图标所指示的)，但是特定标记22的位置被布置在第二标记布置34的第二位置34B的中心处。即，代替确定特定标记22的平均位置，由于第一布置32中缺少相应的位置信息，所以第二标记布置34中的第二位置34B被选择为标记布置23中的标记位置23B。
图6C示出了第一标记布置32和第二标记布置34的示例，其中特定标记22的第一位置32B是无效的，因为它位于距离第一标记布置32中的其他第一位置超过距离阈值的位置。替代地或附加地，可以使用用于确定无效位置的其他标准，例如与预期位置的距离或在第一标记布置32和第二标记布置34的专用标记22的位置之间的距离。
图6D示出了基于图6C所示的第一标记布置32和第二标记布置34确定的标记布置23。与图6B所示的示例类似，特定标记22的位置被布置在第二标记布置34的相应第二位置34B的中心处，从而忽略了第一标记布置32的无效的第一位置32B。
本文提出的方法可以包括当第一布置32和第二布置34的标记22的位置之间的品质标准满足误差条件时生成误差信号。误差条件可以包括确定无效位置。误差信号可以通知用户专用标记22的无效位置，这表明与图3的步骤106中确定的标记布置23中的其他标记22的(例如，平均)位置相比，专用标记22的确定的位置的精度较低。可替换地或另外，误差信号可以请求用户获取新的图像数据或重新定位跟踪器20。
在其他情况下，误差条件可以包括针对专用标记22确定第一标记布置32的第一位置和第二标记布置34的第二位置两者都无效。在这种情况下，不能确定标记布置23的专用标记22的位置。
在其他情况下，误差条件可以包括位置距离阈值，其中对于标记22，第一标记布置32的第一位置和第二标记布置34的第二位置之间的距离不超过位置距离阈值。图7示出了第一标记布置32和第二标记布置34的示例，其中超过了位置距离阈值。第一标记布置32和第二标记布置34的大多数位置基本上重合，但是对于标记22中的一个，第一标记布置32的第一位置32B和第二标记布置34的第二位置34B在相对较大的位置距离38处间隔开。在图7所示的示例中，位置距离38超过位置距离阈值，并且将生成误差信号。
应当注意，误差条件可以包括确定无效位置，但是即使当没有确定无效位置时也可以检测到误差条件。在图7所示的示例中，第一位置32B和第二位置34B可以位于足够接近预期位置的位置，因此两者都是有效位置，但当相对于彼此观察时，第一位置32B和第二位置34B被布置在超过位置距离阈值的位置距离38处。因此，产生误差信号可以依赖于确定无效位置但也可以独立于确定无效位置。
上述无效位置与图像数据中的实际源自跟踪器20的标记22的图像点有关。因此，本文提出的方法仍然可以尝试例如，通过省略第一位置和第二位置中的一个的无效位置，而使用第一位置和第二位置中的另一个的非无效位置，来确定标记位置，如图6B和6D所示。
在一些实施方式中，第一图像数据和/或第二图像数据可以包括可能被错误地确定为第一位置或第二位置的非标记表面的图像点。例如，相机系统14可以用跟踪器20捕获患者26的第一图像数据，其中周围装置(例如，手术台或手术器械)的反射光点引起与标记22的光学信号类似的光学信号。由于相似性，可以根据呈反射光点形式的非标记确定第一位置。如本文所理解的，这种非标记还可以包括与跟踪器20不同的跟踪器的标记。
图8A示出了根据由相机系统14捕获的第一图像数据确定的标记22和非标记的第一布置32的示例。在该示例中，跟踪器20(未示出)具有五个标记22，但是由于四个反射光点(或其他非标记)被错误地确定为第一位置，所以第一标记布置32包括总共九个第一位置。
由于第二图像数据是由与第一图像数据不同的成像模式捕获的，因此可以不(或至少在较小程度上)在第二图像数据中确定非标记的位置。例如，作为第二成像模式的CT扫描仪15通常基于材料密度而不是光信号(如反射)生成图像数据。结果，导致反射光点的表面不太可能与由CT扫描仪15生成的第二图像数据中的标记22混淆。基于第二图像数据确定的第二位置包括更少非标记的位置或没有非标记的位置，因此可以使用合适的算法来过滤掉非标记的第一位置。图8B示出了根据CT扫描仪15的第二图像数据确定的第二布置34的示例。在图8B所示的示例中，未确定非标记的第二位置。结果，所有确定的第二位置都与跟踪器20的标记22相关。
准备实际过滤的初始步骤包括将第一标记布置32的第一位置与第二布置34的第二位置匹配(例如，对齐)。为此，第一标记布置32和第二标记布置34中的至少一者可以相对于另一标记布置32、34重新布置(例如，旋转、平移和缩放中的至少一种)，例如，直到第一标记布置32和第二标记布置34之间的差异最小化。将差异最小化可以包括最小化第一位置和第二位置之间的距离、最大化重合的第一位置和第二位置的数量以及最小化第一布置相对于第二布置的重新缩放中的至少一者。匹配第一位置和第二位置可以包括使用点集算法，例如用于最小化第一位置与第二位置之间的差的算法，例如迭代最近点(ICP)算法。
图8C示出了图8A所示的第一布置与图8B所示的第二布置的最终对齐。应注意，图8A至8C中所示的第一标记布置32和第二标记布置34布置在一个平面中，以便更清楚地传递对齐。应当理解，也可以用三维标记布置32、34来执行对齐。
如图8C中可以看出，第一位置中的五个可以分别与相应的第二位置匹配或对齐。然而，四个“多余”的第一位置41缺少要与之对齐的相应第二位置，因为“多余”的第一位置41是第一图像数据的错误解释的结果(并且在确定第二位置时也没有发生这种错误解释)。
因此，可以从第一标记布置32中忽略(即，过滤掉)“多余”的第一位置41。结果，减少了第一布置具有代表非标记的第一位置的的风险。图8D示出了图8C中所示的第一位置和第二位置，其中忽略了“多余”的第一位置41。
在图8A至图8D所示的示例中，仅忽略了第一标记布置32的第一位置。可替换地，可以仅忽略第二布置34的一个或多个第二位置(例如，为了消除根据CT扫描中捕获的植入物确定的非标记)。进一步可选地，可以忽略一个或多个第一位置和一个或多个第二位置，以便从两个标记布置32、34中消除非标记。
随后可以在本文描述的其他步骤中忽略任何“多余”的第一位置和“多余”的第二位置，例如基于第一标记布置32和第二标记布置34确定标记布置23。忽略“多余”的位置可以包括忽略、移除和归零多余的位置的比例因子中的至少一者。
如上所述，确定如图4A至4E所示的标记布置23包括基于第一图像数据28确定第一标记布置32和基于第二图像数据30确定第二标记布置34。另一种方法包括基于第一图像数据和第二图像数据确定组合图像数据，其中随后基于组合图像数据确定标记布置23。
图9A示出了跟踪器20的示例，该跟踪器20具有限定标记22的位置的标记布置23，类似于图4A中的跟踪器20。图9B示出了捕获的标记22的第一图像数据28，图9C示出了捕获的标记22的第二图像数据30。图9A至9C基本上对应于图4A至4C。
图9D示出了包括第一图像数据28和第二图像数据30的组合图像数据40。组合第一图像数据和第二图像数据28可以包括识别每个图像数据28、30中的对应标记22，并最小化所识别的标记22的相关对之间的距离之和。可以基于对比度、像素强度、标记22之间的距离的初步估计和标记布置的初步估计中的至少一者来识别标记22。为此，可以使用图像处理算法。
替代地或附加地，可以基于与第一成像模式和第二成像模式相关联的第一成像装置和第二成像装置(例如，相机系统14和CT扫描仪15或MRT装置)之间的已知空间关系来组合第一图像数据28和第二图像数据30。可以通过使用第一成像模式和第二成像模式中的一个跟踪第一成像装置和第二成像装置中的另一个来预先确定或获取空间关系。例如，第一成像模式可以包括相机系统14，第二成像模式可以包括CT扫描仪15，其中CT扫描仪15包括可由相机系统14跟踪的跟踪器(例如，附接到CT扫描仪15的框架)。
图9E示出了根据图9D所示的组合图像数据确定的标记布置23。因此，在中间步骤中，不需要以图4A至4F所示的方式根据图像数据确定专用的第一标记布置和第二标记布置。
图10A示出了跟踪器20的示例，该跟踪器可以与本文所呈现的任何技术一起使用。跟踪器20包括(例如刚性地)布置在公共平面中的四个标记22。图10B示出了由本文所述的任何方法确定的图10A所示的跟踪器20的标记布置23。
图10C示出了图10B中的标记布置23的侧视图。正如可以看到的(为了可见性，以夸张的方式)，由于第一图像数据28和第二图像数据30的有限精度，与图10A所示的跟踪器23的实际标记22不同，布置23中的标记位置并不精确地位于公共平面中。
因此，图3的步骤106可以进一步包括基于第一图像数据28和第二图像数据30中的至少一者确定虚拟平面42。例如，可以确定最接近标记布置23(或如图4D和4E所示的第一标记布置32和第二标记布置34中的任何一个)的标记22的位置的虚拟平面42。因此，在图3的步骤106中最初确定的标记布置23可以被视为将进一步改进的初步实体。
确定虚拟平面42可以包括确定相对于标记布置23(或第一标记布置32和第二标记布置34中的任何一个)的位置的最短距离，例如通过最小化相对于虚拟平面42的位置之间的距离之和或距离的平方。可替换地或附加地，可以确定位置与法向量之间的连接向量，所述法向量具有连接向量与法向量之间的最小标量积，其中虚拟平面42垂直于所确定的法向量布置。
然后，改进标记布置23可以进一步包括在虚拟平面42中虚拟地布置标记的“初步”位置(如图10C所示)。例如，通过将图10C所示的位置投影到平面42上，可以在虚拟平面42中布置这些位置。可选地，可以围绕位于所确定的位置的几何中心处的中心点将位置旋转到平面42上。图10D示出了改进的标记布置23，其中标记布置23的位置位于虚拟平面42上。
在图10A至10D所示的示例中，根据标记布置23的初步位置确定虚拟平面42，然后通过将初步位置布置在虚拟平面42上来确定改进的位置。可选地，可以直接根据第一图像数据28和第二图像数据30中的至少一者确定虚拟平面42，而不需要确定标记布置23的初步位置。
当在图3的步骤106中确定标记布置23时，还可以使用关于未变形的跟踪器基底24的标记22的预先确定(例如，平面)布置的知识。图11A示出了具有可变形的基底24的跟踪器20的第二示例，该基底24支撑多个标记22，但以下观察结果也适用于图1的示例性跟踪器20或任何类似的跟踪器。未变形的基底24可以是平坦的，如图11A所示。可替换地，未变形的基底24可以不是平坦的而是预变形的，例如，当基底24符合身体部位的标准轮廓(例如标准面部形状)时。
图11B示出了当基底24未变形时，(以十字形图标的形式)限定标记22的预先确定位置46的预先确定标记布置44。预先确定标记布置44可以进一步限定(例如成对)预先确定位置46之间的预先确定距离48。
图11C示出了由于基底24适配或顺应患者的皮肤表面(此处为鼻子和前额的区域)而呈变形形状的基底24。图11D示出了基于由图11C所示的变形基底24支撑的标记22的捕获的第一图像数据和第二图像数据确定的初步标记布置23(也参见图3中的步骤106)。
初步确定的标记布置23可以基于关于预先确定标记布置44的先验几何知识进行改进，见图11B。为此，预先确定标记布置44可以虚拟地变形(例如，弯曲、拉伸和压缩中的至少一者)以配合到初步标记布置23。为此，预先确定标记布置44可以以随机或以预定的图案变形，同时将预先确定标记布置44的标记的位置与初步标记布置23的标记位置对齐。在优化目标参数(例如最小化预先确定位置46之间的拉伸和最小化预先确定标记布置44的扭曲)的同时，预先确定标记布置可以变形。然后，变形的预先确定标记布置可以用于识别初步标记布置23的标记22。
图11E示出了初步标记布置23与变形的预先确定标记布置44的组合。预先确定标记布置44使得能够更容易地识别每个标记22，并且可以解决标记22的两个紧密布置的位置之间的模糊性。替代地或附加地，在可弯曲但不可拉伸的基底24的情况下，关于预先确定标记布置44的先验几何知识可以提供两个标记位置之间的最大距离。先验几何知识可以用于在图3的步骤106中确定初步标记布置23的改进版本。
该方法还可以包括使用如图3的步骤106中确定的标记布置23将第一图像数据28和第二图像数据30中的至少一者与跟踪器20进行配准。例如，第二图像数据30可以是使用标记布置23与跟踪器20进行配准的CT扫描。在配准之后，跟踪系统14可以使用关于标记布置23的知识来跟踪跟踪器20。基于得到的跟踪信息，可以在显示器18(见图1)上将配准的CT扫描定向，以用于导航或其他目的。此外，所配准的CT扫描在显示器18上相对于配备有跟踪器20的外科器械(例如螺丝刀、钻头或锉刀(burr))可以被可视化。
本文提出的用于确定标记布置23的技术允许基于第一图像数据28和第二图像数据30并且因此基于冗余信息源来确定标记布置。结果，所确定的标记布置23的精度被提高或校准。因此，跟踪、配准和导航不太容易发生位置或方向错误。换言之，提高了随后使用标记布置23的程序的准确性，例如跟踪、跟踪器校准和跟踪器类型或尺寸的验证、图像配准、跟踪器配准、向外科医生或手术机器人输出导航指令等。
关于附图中所示的示例性实施例描述的特征可以容易地组合以产生不同的实施例。因此，显而易见的是，可以以多种方式改变本公开。这种变化不应被视为偏离本发明所附权利要求所限定的范围。

Claims (20)

1.一种用于确定标记布置的方法，所述标记布置限定跟踪器的标记的位置，其中，所述标记能够由第一成像模式和不同于所述第一成像模式的第二成像模式检测，所述方法包括：
接收使用所述第一成像模式捕获的所述标记的第一图像数据；
接收使用所述第二成像模式捕获的所述标记的第二图像数据；以及
基于所述第一图像数据和所述第二图像数据确定所述标记布置。
2.根据权利要求1所述的方法，其中
所述标记布置限定(i)所述标记相对于彼此的位置和(ii)所述标记在公共坐标系中的位置中的至少一者。
3.根据权利要求1所述的方法，其中
所述标记中的至少一个具有能够由所述第一成像模式检测到的第一标记部分和与所述第一标记部分间隔开并能够由所述第二成像模式检测到的第二标记部分，并且其中，所述第一标记部分相对于所述第二标记部分以预先确定的几何关系布置。
4.根据权利要求3所述的方法，其中
基于所述预先确定的几何关系来确定所述标记布置。
5.根据权利要求1所述的方法，其中
所述标记中的至少一个具有能够由所述第一成像模式和所述第二成像模式两者检测到的第三标记部分。
6.根据权利要求1所述的方法，其中
所述第一成像模式和所述第二成像模式中的一者包括计算机断层扫描仪和磁共振成像扫描仪中的一者；并且
所述第一成像模式和所述第二成像模式中的另一者包括至少一个相机。
7.根据权利要求1所述的方法，其中
所述跟踪器的所述标记被布置在公共平面中，并且其中，确定所述标记布置包括在基于所述第一图像数据和第二图像数据中的至少一者确定的虚拟平面中虚拟地布置所述标记的位置。
8.根据权利要求1所述的方法，还包括：
使用所确定的标记布置将所述第一图像数据和所述第二图像数据中的至少一者或第三图像数据与所述跟踪器配准。
9.根据权利要求1所述的方法，其中
所述跟踪器具有支撑所述标记的可变形的基底，其中，所述标记以用于所述基底的未变形形状的预先确定布置被布置，并且其中，进一步基于所述预先确定布置来确定用于所述基底的变形形状的所述标记布置。
10.根据权利要求1所述的方法，还包括：
基于所述第一图像数据确定限定所述标记的第一位置的第一布置；
基于所述第二图像数据确定限定所述标记的第二位置的第二布置；并且
其中，基于所述第一布置和所述第二布置的组合来确定所述标记布置。
11.根据权利要求10所述的方法，其中
基于所述标记在所述第一布置和所述第二布置之间的平均位置来确定所述标记布置。
12.根据权利要求11所述的方法，其中
基于所述标记在所述第一布置和所述第二布置之间的加权平均位置来确定所述标记布置，其中，所述平均值对所述第一布置或所述第二布置加权。
13.根据权利要求12所述的方法，其中
基于(i)其中已经取得所述第一图像数据和所述第二图像数据的时间序列和(ii)所述第一成像模式和所述第二成像模式中的至少一者的视角和视距中的至少一者，对所述平均值进行加权。
14.根据权利要求10所述的方法，还包括
确定特定标记在所述第一布置或所述第二布置中的至少一者中的无效位置；和
当确定所述特定标记在所述标记布置中的所述位置时，忽略所述特定标记在所述第一布置或所述第二布置中的至少一者中的无效位置。
15.根据权利要求10所述的方法，还包括：
当所述标记在所述第一布置中的位置与所述标记在所述第二布置中的位置之间的品质标准满足误差条件时，生成误差信号。
16.根据权利要求10所述的方法，还包括：
尝试将所述第一布置的所述第一位置与所述第二布置的所述第二位置进行匹配；和
忽略以下中的至少一者：(i)缺少匹配的第二位置的所述第一位置中的至少一个和(ii)缺少匹配的第一位置的所述第二位置中的至少一个。
17.根据权利要求1所述的方法，还包括：
基于所述第一图像数据和所述第二图像数据确定组合图像数据；并且其中
基于所述组合图像数据确定所述标记布置。
18.一种包括指令的非暂时性计算机可读存储介质，当在至少一个处理器上被执行时，所述指令使所述至少一个服务器：
接收使用第一成像模式捕获的跟踪器的标记的第一图像数据；
接收使用第二成像模式捕获的所述跟踪器的所述标记的第二图像数据；和
基于所述第一图像数据和所述第二图像数据确定标记布置，所述标记布置限定所述跟踪器的所述标记的位置，其中所述标记能够由所述第一成像模式和与所述第一成像模式不同的所述第二成像模式检测到。
19.一种系统，包括：
用于确定标记布置的装置，所述标记布置限定跟踪器的标记的位置，其中所述标记能够由第一成像模式和与所述第一成像模式不同的第二成像模式检测到，所述装置被配置为：
接收使用所述第一成像模式捕获的所述标记的第一图像数据；
接收使用所述第二成像模式捕获的所述标记的第二图像数据；和
基于所述第一图像数据和所述第二图像数据确定所述标记布置。
20.根据权利要求19所述的系统，还包括所述跟踪器，其中，所述跟踪器附接到手术对象，或者包括被配置为附接到手术对象的接口。
CN202310211773.3A 2022-03-01 2023-02-27 用于确定限定跟踪器的标记位置的标记布置的技术 Pending CN116687563A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22159345.2A EP4238523A1 (en) 2022-03-01 2022-03-01 Technique for determining a marker arrangement that defines marker positions of a tracker
EP22159345.2 2022-03-01

Publications (1)

Publication Number Publication Date
CN116687563A true CN116687563A (zh) 2023-09-05

Family

ID=80623667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310211773.3A Pending CN116687563A (zh) 2022-03-01 2023-02-27 用于确定限定跟踪器的标记位置的标记布置的技术

Country Status (3)

Country Link
US (1) US20230277251A1 (zh)
EP (1) EP4238523A1 (zh)
CN (1) CN116687563A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
IT201800004552A1 (it) * 2018-04-16 2019-10-16 Sistema di visione tridimensionale multi-tracking per navigazione virtuale
CN113925609A (zh) * 2021-09-16 2022-01-14 浙江伽奈维医疗科技有限公司 一种手术中ct坐标与导航相机配准装置

Also Published As

Publication number Publication date
EP4238523A1 (en) 2023-09-06
US20230277251A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
US11123144B2 (en) Registration of frames of reference
US11589926B2 (en) Mobile surgical tracking system with an integrated fiducial marker for image guided interventions
US8988505B2 (en) Imaging system using markers
US10482614B2 (en) Method and system for registration verification
US11161248B2 (en) Automatic robotic arm calibration to camera system using a laser
US20110069867A1 (en) Technique for registering image data of an object
CN111970986A (zh) 用于执行术中指导的系统和方法
US20200129240A1 (en) Systems and methods for intraoperative planning and placement of implants
US9974615B2 (en) Determining a position of a medical device to be localized
JP2010519635A (ja) 医学的画像形成のためのポインティングデバイス
US11389252B2 (en) Rotating marker for image guided surgery
WO2015104062A1 (en) Estimation and compensation of tracking inaccuracies
CN112998856A (zh) 立体标记装置及骨科手术的三维实时定位方法
CN116687563A (zh) 用于确定限定跟踪器的标记位置的标记布置的技术
WO2022198198A1 (en) Method and system for non-contact patient registration in image‑guided surgery
US20180197346A1 (en) Method, system and apparatus for adjusting image data to compensate for modality-induced distortion
US20240122654A1 (en) Device for use in computer-aided surgery
US20220031400A1 (en) Systems and methods for tracking a surgical device
EP4397270A1 (en) Technique for determining an object marker arrangement
WO2022047572A1 (en) Systems and methods for facilitating visual assessment of registration accuracy
Trevisan et al. Augmented vision for medical applications
Zhao et al. Registration updating using marker pins in a video based neurosurgical guidance system (VISLAN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination