CN116549109A - 医疗导航方法 - Google Patents

医疗导航方法 Download PDF

Info

Publication number
CN116549109A
CN116549109A CN202310085898.6A CN202310085898A CN116549109A CN 116549109 A CN116549109 A CN 116549109A CN 202310085898 A CN202310085898 A CN 202310085898A CN 116549109 A CN116549109 A CN 116549109A
Authority
CN
China
Prior art keywords
medical
image representation
marker
representation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310085898.6A
Other languages
English (en)
Inventor
R·鲍默
M·卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of CN116549109A publication Critical patent/CN116549109A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本披露内容涉及一种医疗导航方法，该方法包括以下方法步骤：在第一视角下捕获(S100)医疗标记(20)的第一图像表示；在第二视角下捕获(S200)该医疗标记(20)的第二图像表示；基于该第一图像表示和该第二图像表示来确定(S300)该医疗标记(20)的三维表示(22)；捕获(S400)该医疗标记(20)的第三图像表示；以及基于该医疗标记(20)的第三图像表示和三维表示(22)的比较来确定(S500)该医疗标记(20)的空间位姿。本披露内容进一步涉及一种医疗导航系统(50)、一种计算机程序、以及将医疗标记(20)的三维表示(22)用于对医疗器械(41)、患者(42)和/或医疗设备(43)进行配准的用途。

Description

医疗导航方法
技术领域
本发明涉及一种特别地使用医疗标记的医疗导航方法和医疗导航系统。本发明进一步涉及一种用于在根据本发明的系统中执行根据本发明的方法的计算机程序、以及将医疗标记的三维表示用于对患者、医疗设备和/或医疗器械进行配准的用途。
背景技术
使用技术辅助工具是现代医学的重要组成部分。将用于引导医疗器械的成像方法和机器人系统用在手术和诊断两者中同样是理所当然的事。在这种背景下，使用成像方法允许辨别患者体内的各种结构，并且在此过程中获得的图像数据可以有利地用于诊断，也可以用于治疗和手术方法。
通过示例的方式，患者的3D图像数据不仅允许外科医生更好地计划手术干预，而且所述3D图像数据还可以协助所述干预的实施。特别地，在操作中获得的图像信息可以覆盖在事先获得的诊断性3D图像数据上，以便向外科医生指出视觉效果较差的组织边界。同样地，机器人手术器械可以基于3D图像数据以部分或全自动的方式得到控制或执行某些操作。
在这种背景下，将3D图像数据正确地链接到参考坐标系对上述应用至关重要。在这种情况下，参考坐标系可以是在干预期间患者的坐标系、在干预期间捕获的图像信息的坐标系或手术显微镜的机器人系统的坐标系。只有这样的链接才能允许外科医生基于图像数据或机器人辅助工具通过图像数据进行后续的无误差医疗导航。
为了医疗导航的目的而将3D图像数据链接到某一参考坐标系通常被称为“配准”。这样的配准允许将患者空间的坐标唯一地映射到图像空间的对应坐标。一旦这样的映射是已知的，位于患者空间的定义坐标处的患者结构可以在图像空间的对应坐标处表示，例如，覆盖在手术前确定的3D图像数据上。此外，位姿(位置和朝向)、以及器械和探针相对于患者空间中患者及相对于图像空间中图像的移动是可控的。
通常，这样的配准是使用医疗标记进行的，这些医疗标记允许在坐标系中确定所述标记或配备有所述标记的物体的空间位置。为此，标记的几何形状是预先确定的，并且还能够通过成像方法进行捕获。因此，通过评估这种标记的一个或多个图像，可以确定其在坐标系中的位姿(位置和朝向)。当使用一个相机时，通常会捕获至少三个标记元素以确定标记的位姿，该至少三个标记元素相对于彼此的相对空间位姿是已知的。
如果进一步地，该标记相对于物体的相对空间位姿是已知的，则该物体的空间位姿也可以在坐标系中确定。该物体可以是手术器械、探针、病床、或患者本身的部分。如果与物体的空间位姿相关的数据被提供给医疗导航系统，则该医疗导航系统可以将物体的跟踪数据与在坐标系中确定的或与之配准的其他数据一起处理。通过示例的方式，这允许以相对于解剖结构的正确空间关系对医疗器械进行虚拟表示并借助于图像引导对患者实施手术干预。
用于这种配准的标记通常具有至少三个标记元素的刚性布置。这种标记元素可以以平面方式印刷到标记上或具有升高的实施例，并且应当是可唯一识别的。在这种情况下，标记元素可以以平面方式或在不同的平面上布置。
附图5中描绘了根据现有技术的示例性标记。DE 102018119343A1中描述了一种用于校准参考坐标系中物体的方法。将标记紧固到医疗器械在DE 202015106804 U1中是已知的，并且WO 2016/059250A1披露了使用标记进行医疗器械导航。
确定医疗配准的准确性由确定标记位姿的准确性来决定。确定标记位姿的准确性不利地受限于标记的制造方法和紧固装置的公差。即使是几何形状的微小偏差也会对所确定的标记位姿产生很大的影响，特别是当用于配准的成像传感器离标记很远时尤为如此。此外，即使经配准的物体相对于紧固到其的标记的位姿发生微小的变化也会导致不正确的医疗导航，特别是在手术显微镜的情况下标记与成像传感器之间具有较大工作距离时尤为如此。
本发明的目的是克服现有技术的缺点，并提供改进的医疗导航。
发明内容
根据本发明的目的通过独立专利权利要求的主题来实现。优选发展是从属权利要求的主题。
本披露内容的第一方面涉及一种医疗导航方法。医疗导航优选地是基于叠加的图像数据对外科医生进行导航或基于患者的图像数据对机器人辅助工具进行导航。在根据本发明的方法的第一步骤中，在(从)第一视角下捕获医疗标记的第一图像表示。医疗标记优选地是具有多个标记元素的医疗标记，这些标记元素可相互区分，也就是说，这些标记元素例如按照所附附图5可单独检测。优选地，至少一些标记元素、优选地为所有标记元素可相互唯一区分。在本披露内容的范围内，视角优选地指示捕获标记的图像表示的、相对于标记的相对角度。在本披露内容的范围内，术语目标可以被同义地用于替换术语标记，在这种情况下，术语标记能够被同义地用于替换术语标记元素。根据这一替代性名称，目标具有多个可单独检测(可区分)的标记。优选地，目标的至少一些标记、优选地为所有标记可相互唯一区分。
在根据本发明的方法的进一步步骤中，在(从)第二视角下捕获医疗标记的第二图像表示。从第二视角捕获医疗标记有利地允许基于二维图像表示来得出标记的几何形状的深度信息，或基于三维图像表示来得出高度准确的深度信息。原则上，标记的二维图像表示和三维图像表示两者均可以在根据本发明的方法的范围内使用。医疗标记的第一图像表示和/或第二图像表示优选地仅由医疗标记的标记元素的图像表示组成，例如，当在使用IR光和IR反射标记元素进行的照明下捕获第一图像表示和/或第二图像表示时。同样优选地，第一图像表示和/或第二图像表示无论如何还可以对标记的特定空间形状进行成像，例如，当在使用可见光进行的照明下捕获图像表示时。
在根据本发明的方法的进一步步骤中，基于第一图像表示和第二图像表示来确定医疗标记的三维表示。为了从二维图像表示中得出深度信息，必须使用至少两个图像表示。在根据本发明的方法中，使用在任一种情况下从不同视角捕获的标记的优选多个图像表示、特别优选多种图像表示来确定三维表示。在本披露内容的范围内，标记的三维表示优选地指示标记的形状或几何形状的三维模型。特别优选地，标记的三维表示包括标记元素的几何形状及其相对于彼此的相对空间位姿。此外，了解标记的特定空间形状不是必需的，但也不会造成损害。通过光度测量方法，基于二维或三维图像表示来确定真实物体的三维表示是本领域技术人员从现有技术中已知的。为此，许多不同的软件解决方案是可商购的，并且因此可以省去对标记的3D表示的详细描述。优选地，在根据本发明的方法中，医疗标记的三维表示是在计算机辅助下、特别优选地是使用机器学习(AI)算法来确定的。因此，标记的三维表示特别优选地在数据介质上作为医疗标记的计算机可读模型提供。
在根据本发明的方法的进一步步骤中，捕获医疗标记的第三图像表示。在这种情况下，第三图像表示优选地与医疗标记的第一图像表示和/或第二图像表示属于同一类型。进一步优选地，医疗标记的第三图像表示是从第三视角捕获的。如果在根据本发明的方法中使用在任一种情况下从不同视角捕获的标记的优选多个图像表示、特别优选多种图像表示来确定三维表示，则第三图像表示优选地是该多个、特别优选多种图像表示之一。
在根据本发明的方法的进一步步骤中，基于医疗标记的第三图像表示和医疗标记的三维表示的比较来确定医疗标记的空间位姿。换言之，根据本发明，医疗标记的第三图像表示用于对医疗标记进行配准，如一开始解释的。在这种情况下，确定医疗标记的空间位姿(即，配准)是参照参考坐标系(例如，在操作中患者的坐标系、手术显微镜的坐标系和/或手术前图像数据的坐标系)来执行的。空间位姿优选地包括标记的位姿，即，位置和朝向。然而，与现有技术不同，在根据本发明的过程中，标记的几何形状(空间形状)的表示不是预先确定的，而是确定为三维表示。将该几何形状与第三图像进行比较，并根据该比较确定标记的位姿。
例如，基于先前确定的三维表示与第三图像的比较，借助于位姿估计算法(例如“透视-n-点”)来执行标记的位姿确定。例如，这种算法通过将医学标记的不同三维投影与标记的第三图像进行比较来解决优化问题。其中，每个投影分别基于标记的三维表示和标记的特定假定位姿(位置和朝向)。该算法然后确定与标记的第三图像具有最小偏差的投影。然后将与此投影相关联的位姿确定为标记的实际位姿。
如果标记优选地包括多个可区分的和单独可检测的标记元素，则三维表示优选地包含关于标记元素的空间关系(位置和相对布置)、尺寸和/或形状的信息。医学标记的第三图像与医学标记的三维表示的比较优选地包括第三图像中标记元素的空间关系、尺寸和/或形状与三维表示中标记元素的空间关系、尺寸和/或形状的比较。同样在这里，可以通过用于位姿估计的算法进行比较，并且可以基于标记的三维表示和假定位姿来确定标记的投影，以及与标记的第三图像偏差最小的投影的位姿可以被确定为标记的实际位姿。
根据本发明的方法有利地允许以提高的准确性对用于医疗导航的标记进行配准，并且进一步有利地对由于制造或由磨损或不正确的处置而引起的医疗标记几何形状的变化在很大程度上保持不变。此外，可以很容易将根据本发明的方法整合到用于对医疗标记进行配准的现有方法中。通过示例的方式，图像表示可以有利地在用于对医疗标记进行后续配准的同一设备中捕获，例如，在手术显微镜捕获。进一步有利地，在根据本发明的方法中至少在本质上考虑了用于配准的设备的成像特性。
在根据本发明的方法的优选实施方式中，第一图像表示、第二图像表示和/或第三图像表示是通过至少一种成像方法来确定的。优选地，所有图像表示都使用相同或相似的成像方法；至少对于第一图像表示和第二图像表示、或对于用于创建三维表示的图像表示，特别优选地使用相同或相似的成像方法。优选地，通过至少一个相机来捕获图像表示，由相机的图像传感器捕获的光谱范围优选地取决于所使用的照明源。通过示例的方式，在手术显微镜中使用可见光和/或红外光以用于照明目的，并且该可见光和/或红外光由相机的至少一个图像传感器捕获。同样优选地，在计算机断层扫描设备中使用x射线辐射以用于照明目的，并且该x射线辐射由x射线探测器的至少一个传感器捕获。同样优选地，使用激光扫描来捕获医疗标记的第一图像表示、第二图像表示和/或第三图像表示。有利地，根据本发明的方法可使用多种成像方法来实现，并且因此适用于非常不同的医疗设备。进一步地，在根据本发明的方法的范围内，可以使用相同或不同的(内部和外部校准的)成像方法来捕获成像表示，因此，根据本发明的方法进一步有利地具有多功能的可用性和便携性。
医疗标记优选地具有预定(标称)的几何形状。通常，尽可能准确地生产具有预定义几何形状的医疗标记。此外，在基于二维图像表示来捕获标记的空间位姿的方面，该几何形状有利地被优化，并且为此具有例如标记元素，这些标记元素布置在不同的平面中并且具有完全预定的绝对尺寸和相对空间位姿。在根据本发明的方法中，医疗标记的三维表示优选地是基于第一图像表示、第二图像表示和与标记的预定(标称)的几何形状相关的信息来确定的。根据该实施方式，三维表示的几何形状因此不是仅基于所捕获的图像表示来构建的，而是另外考虑到与标记的目标几何形状相关的信息。因此，在该实施方式中根据本发明的方法与已知的方法不同，本发明的方法是基于所捕获的图像表示来调整与预定(标称)的几何形状相关的信息。有利地，这考虑到了生产相关的变化以及由于老化或其他原因而造成的几何形状的偏差。根据该实施方式，在根据本发明的方法开始之前，优选地已经提供了医疗标记的三维表示，特别是作为模型的计算机可读数据集提供。根据本发明，该数据集是基于至少两个所捕获的图像表示来调整的。
在根据本发明的方法中，第一图像表示的坐标系KA1与第二图像表示的坐标系KA2之间的关系优选地通过刚体变换的参数集来确定。如上已经解释的，根据本发明的方法的目的在于确定医疗标记在参考坐标系中的空间位姿。该参考坐标系可以与坐标系KA1和KA2之一不同或相同。如果参考坐标系不同于坐标系KA1和KA2，则坐标系KA1和KA2之一与参考坐标系之间的关系优选地同样由刚体变换的参数集来确定。在这种情况下，刚体变换的参数集优选地包括绕x轴、y轴和z轴旋转的三个值、以及还有沿x轴、y轴和z轴平移的三个值，即，总共六个参数。
特别地，如果坐标系KA1和KA2对应于至少一个成像传感器的至少一个坐标系，则一个刚体变换的参数集足以将坐标系KA1和KA2中一个坐标系中的点映射到坐标系KA1和KA2中另一个坐标系中的点上。否则，第一图像表示的坐标系KA1与相关联成像传感器的坐标系之间的关系优选地由一组内部参数来确定。同样优选地，第二图像表示的坐标系KA2与相关联成像传感器的坐标系之间的关系由一组内部参数来确定。在这种情况下，内部参数确定了图像表示的坐标系与相关联成像传感器的坐标系之间的关系。在这种情况下，内部参数的类型特别地取决于所使用的成像传感器的类型，在这种情况下，成像传感器既指示实际的传感器，也指示所使用的光学器件。如果应当考虑到内部参数，则第一成像传感器的坐标系与第二成像传感器的坐标系之间的关系优选地由刚体变换的参数集来确定。
在进一步优选实施方式中，确定医疗标记的三维表示进一步包括使用参数集、进一步优选地使用内部参数和参数集将标记的第一图像表示变换到第二图像表示的坐标系KA2中。通过示例的方式，标记的标记元素和/或特征点在第一图像表示的坐标系中的位置、形状和/或大小通过计算被转移到标记的标记元素和/或特征点在第二图像表示的坐标系中的位置、形状和/或大小。随后，确定标记的变换后的第一图像表示与标记的第二图像表示之间的第一偏差。换言之，在第二图像表示的坐标系中确定第一图像表示的变换后的位置、形状和/或大小与对应的第二图像表示的位置、形状和/或大小之间的第一偏差。通过示例的方式，第一图像表示中的圆形标记元素的中心和半径通过计算被变换到第二图像表示的坐标系中，并且随后在第二图像表示的坐标系中确定与第二图像表示中对应标记元素的中心和半径的第一偏差。根据该实施方式，医疗标记的三维表示最终是基于所确定的第一偏差来确定的。
作为替代方案和/或另外，确定医疗标记的三维表示进一步包括使用参数集、进一步优选地使用内部参数和参数集将标记的第二图像表示变换到第一图像表示的坐标系KA1中。通过示例的方式，标记的标记元素和/或特征点在第二图像表示的坐标系中的位置、形状和/或大小通过计算被转移到标记的标记元素和/或特征点在第一图像表示的坐标系中的位置、形状和/或大小。随后，确定标记的变换后的第二图像表示与标记的第一图像表示之间的第二偏差。换言之，在第一图像表示的坐标系中确定第二图像表示的变换后的位置、形状和/或大小与对应的第一图像表示的位置、形状和/或大小之间的第二偏差。通过示例的方式，第二图像表示中的圆形标记元素的中心和半径通过计算被变换到第一图像表示的坐标系中，并且随后在第一图像表示的坐标系中确定与第一图像表示中对应标记元素的中心和半径的第二偏差。进一步优选地，医疗标记的三维表示最终是基于所确定的第二偏差来确定的。
上述实施方式有利地允许通过最小化所确定的第一偏差和/或第二偏差来优化医疗标记的三维表示。只要三维表示映射出医疗标记的几何形状并且所使用的成像传感器各自进行内部和外部校准，就可以基于参数集(刚体变换的参数集和/或基于外部和内部校准参数确定的参数集)通过计算对所捕获的图像表示进行相互转换，并且已经实现了对应的优化目标。特别优选地，确定标记的三维表示包括基于所确定的第一偏差和/或第二偏差来调整与标记的预定几何形状相关的信息或标记的预定几何形状的3D模型，目的是使这些偏差最小化。
特别地，如果使用了多于两个的所捕获图像表示，则根据本发明的方法还可以用来优化所使用的参数集。为此，医疗标记的三维表示不会改变，相反，为使所确定的第一偏差和/或第二偏差最小化，参数集会发生变化。特别优选地，对医疗标记的三维表示进行优化以及对所使用的参数集进行优化是交替进行的，和/或使用标记的不同图像表示进行的。
在根据本发明的方法的特别优选的实施方式中，医疗标记的第一图像表示由第一相机捕获，并且医疗标记的第二图像表示由第二相机捕获。换言之，在根据本发明的方法中使用了两个不同的相机。优选地，至少一个相机、特别优选地两个相机是手术显微镜的相机。通过示例的方式，第一相机是主观察器相机，并且第二相机是同一手术显微镜的环绕相机。进一步优选地，这两个相机中的至少一个或每一个可以用于捕获医疗标记的多个或多种图像表示。在同样优选的实施方式中，主观察器相机在可见光范围内捕获医疗标记的第一图像表示，并且环绕相机在红外光范围内捕获医疗标记的第二图像表示。
在上述优选实施方式中，第一相机的坐标系KK1与第一图像表示的坐标系KA1之间的关系优选地通过第一相机的第一内部参数来定义。第一内部参数特别优选地包括第一有效焦距、第一图像表示的像主点(畸变中心)的坐标、第一缩放因子和/或第一径向镜头误差系数(畸变系数)。同样优选地，第二相机的第二内部参数优选地包括第二有效焦距、第二图像表示的像主点(畸变中心)的坐标、第二缩放因子和/或第二径向镜头误差系数(畸变系数)。作为上述蔡氏相机校准的内部参数的替代方案，也可以使用其他内部参数，例如，用于张氏相机校准(参见，例如，Li等人的“Apracticalcomparison between Zhang's andTsai's calibration approaches[张氏校准方法与蔡氏校准方法之间的实际比较]”，第29届新西兰图像和视觉计算国际会议论文集，2014年11月，第166-171页，DOI：10.1145/2683405.2683443)。
在上述优选实施方式中，第一相机的坐标系KK1与第二相机的坐标系KK2之间的关系可进一步优选地基于第一外部参数和第二外部参数来确定。在这种情况下，第一外部参数优选地定义坐标系KK1与参考坐标系之间的关系，并且第二外部参数优选地定义坐标系KK2与参考坐标系之间的关系。换言之，外部参数描述相应相机的外部朝向，即，相应相机在参考坐标系中的位置和排列。根据该实施方式，定义第一图像表示的坐标系KA1与第二图像表示的坐标系KA2之间的关系的参数集可优选地基于第一内部参数和第二内部参数以及第一外部参数和第二外部参数来确定。这样的参数集优选地包含第一内部参数和第二内部参数以及基于第一外部参数和第二外部参数确定的刚体变换的参数集。
在根据本发明的方法的进一步优选的实施方式中，第一图像表示是在相机的第一位置捕获的，并且第二图像表示是在同一相机的第二位置捕获的。特别优选地，在这种情况下，相机通过已知的运动系统从第一位置移动到第二位置。已知的运动系统允许关于相机围绕x轴、y轴和z轴的旋转以及相机沿上述轴线的平移的精确规格。因此，根据本发明的方法有利地可仅使用单个相机来实施。进一步优选地，该实施方式也可通过上述实施方式中的各个相机(即，通过第一相机和第二相机)来实施。至少一个相机优选地是手术显微镜的相机，例如，主观察器相机或环绕相机。在本披露内容的范围内，已知的运动系统被理解为意指能够实现明确定义的平移和/或旋转的运动系统。特别地，运动系统的几何形状必须足够精确，以实现运动系统的这种明确定义的平移和/或旋转。这优选地通过高制造质量和/或校准来实现。
在同样优选的实施方式中，由相机捕获具有医疗标记的第一位姿的第一图像表示。换言之，捕获标记处于第一位置和朝向时该标记的图像表示。然后，由同一相机捕获具有医疗标记的第二位姿的第二图像表示。特别优选地，在这种情况下，标记通过已知的运动系统从第一位姿移动到第二位姿。已知的运动系统允许关于标记围绕x轴、y轴和z轴的旋转以及标记沿上述轴线的平移的精确规格。因此，根据本发明的方法有利地可仅使用单个相机来实施。进一步优选地，该实施方式也可通过上述实施方式中的各个相机(即，通过第一相机和第二相机)来实施。同样优选地，该实施方式也可与上述相机的移动相结合，例如，以通过同一相机从不同的观察角度(视角)捕获标记的每个位姿的图像表示。至少一个相机优选地是手术显微镜的相机，例如，主观察器相机或环绕相机。
在根据本发明的方法的进一步特别优选的实施方式中，医疗标记紧固到医疗器械。医疗器械例如是医疗探针、指针、尖锥等。优选地，医疗标记和医疗器械例如通过不可拆卸连接、整体连接、可拆卸连接、粘结连接、压入连接和/或互锁连接而彼此牢固连接或可牢固连接。
根据该优选实施方式，捕获医疗标记与医疗器械的组合的第三图像表示。于是，基于所捕获的第三图像表示和所创建的医疗标记的三维表示来确定医疗标记与医疗器械的组合的空间位姿(位姿)。确定该位姿优选地进一步包括确定医疗标记的第一位姿，并基于所确定的第一位姿来确定医疗器械、特别是医疗器械上的特征点的第二位姿。在这种情况下，第二位姿优选地通过计算确定，例如，基于医疗标记与器械之间的预定空间位姿关系，这是通过医疗标记与器械之间的连接实现的。根据本披露内容，特别是根据该实施方式，用于创建三维表示的第一图像表示和第二图像表示之一也可以用作第三图像表示，即，用于确定空间位姿。换言之，原则上捕获两个不同的图像表示是足够的。然而，通常，在实践中已经会使用多个图像表示来创建三维表示。在这种情况下，就可以针对这些所捕获的图像表示中的每一个推导出医疗标记的空间位姿，也就是说，第三图像表示特别优选地为多个图像表示之一。同样优选地，第一图像表示、第二图像表示和第三图像表示彼此不同。
这种变换例如在DE 102018119343 A1中进行了描述。在这种情况下，医疗标记与器械的组合上的测量点最初被用来确定该组合的目标点，该目标点相对于所捕获的测量点具有固定的空间关系。组合的跟踪点(例如，作为医疗器械的指针的尖端)最初是凭借将该跟踪点定位在能够被传感器感测到的预定义校准点上来进行校准的。目标点与跟踪点之间的变换、以及因此产生的测量点与跟踪点之间的变换是通过初始校准来确定的。基于这种变换，跟踪点的位置随后可基于如由捕获装置确定的测量点位置来确定。
根据本发明的方法有利地允许更准确地实施DE 102018119343A1中描述的方法，因为基于根据本发明创建的标记的三维表示，可更准确地确定标记上至少三个测量点的位置。此外，根据本发明的方法无论如何还能够与用于确定这种跟踪点位置的其他方法进行组合，特别是与用于通过图像识别直接捕获这种跟踪点的方法进行组合。通过示例的方式，根据本发明的方法用于确定医疗标记与医疗器械的组合的多个图像表示中标记的位姿。此外，针对每个图像表示，通过图像识别(可选地使用AI)确定跟踪点的第一位置，并基于所确定的标记位姿和标记与跟踪点之间的预定义空间位姿关系，通过计算确定跟踪点的第二位置。基于以这种方式针对每个图像表示确定的跟踪点的第一位置和第二位置的差异，可以例如通过最小化所述差异来不断地优化标记与跟踪点之间的空间位姿关系。一旦优化已经完成，就可以基于标记位姿非常准确地确定跟踪点，而无需对跟踪点(指针尖端等)进行计算上复杂的图像识别。有利地，为此，图像表示之间的变换不必是已知的，也就是说，所述组合可以例如在图像表示之间手动移动。
在根据本发明的方法的进一步优选的实施方式中，还进一步捕获医疗标记与医疗器械的组合的第一图像表示和第二图像表示，并基于第一图像表示和第二图像表示来确定医疗标记与医疗器械的组合的三维表示。换言之，根据该实施方式，医疗器械与医疗标记的组合被定义为新的标记。根据该实施方式，最终有利地直接基于三维表示与第三图像表示之间的比较来确定医疗标记与医疗器械的组合的空间位姿。根据该优选实施方式，在任一种情况下，为医疗标记与医疗器械的组合确定第一图像表示、第二图像表示、第三图像表示、三维表示和空间位姿。换言之，根据该实施方式，医疗标记与医疗器械的组合用于配准的目的。这有利地允许将该组合定义为根据本发明的方法中的标记，因此其可适应各种应用并且另外使用医疗器械的几何形状来进行上述优化任务，从而增加其可变性。
在根据本发明的方法的进一步优选的实施方式中，进一步对标记的三维表示进行连续监测。在这种情况下，在医疗导航期间捕获的第三图像表示、优选多个(第三)图像表示不仅用于捕获空间位姿，而且还用于不断优化医疗标记的三维表示。在根据本发明的方法的范围内，优选地监测、即定期优化上述标记与跟踪点之间的预定义空间位姿关系，该预定义空间位姿关系可以用于确定跟踪点(例如，尖端)的空间姿势(位姿)。
在特别优选的实施方式中，医疗标记和医疗器械例如通过插入式连接、夹子式连接、闩锁式连接、卡口式连接和/或夹持式连接而彼此可拆卸地连接。然而，如果医疗标记与医疗器械的组合用于配准，则可能会考虑到在各种配准期间医疗标记与器械之间相对位姿的可能变化。通过示例的方式，对医疗标记与器械的组合进行配准是在每次使用前或在开始在医疗设备中使用组合时实施的。因此，医疗标记与器械之间的可拆卸连接或不可拆卸连接的变形(例如，在存储期间发生的变形)有利地不会导致医疗器械的导航出现误差，并且有利地避免了对医疗器械的不正确导航。
本披露内容的进一步方面涉及一种医疗导航系统，该医疗导航系统包括至少一个成像传感器。至少一个成像传感器优选地是相机的图像传感器、计算机断层扫描设备的x射线传感器、或激光扫描仪的传感器。
根据本发明的系统进一步包括至少一个另外的成像传感器。优选地，根据本发明的系统具有多个成像传感器，例如，第一相机和第二相机的图像传感器。作为替代方案或另外，根据本发明的系统包括已知的运动系统，用于以定义的方式改变成像传感器和/或医疗标记的位姿。已知的运动系统优选地是手术显微镜的机器人系统。已知的运动系统优选地被设计为使成像传感器和/或医疗标记以定义的方式围绕x轴、y轴和z轴旋转，并使该成像传感器和/或该医疗标记以平移的方式沿x轴、y轴和z轴进行移位。优选地，根据本发明的系统包括至少一个另外的成像传感器和一个已知的运动系统，该运动系统用于以定义的方式改变医疗标记的位姿，医疗标记例如紧固到医疗器械。
根据本发明的系统进一步包括医疗标记。通过示例的方式，医疗标记具有如图5所描绘的几何形状。优选地，医疗标记具有多个预定大小、形状和相对位姿的标记元素。医疗标记优选地进一步包括用于建立与医疗器械的可拆卸连接的紧固装置。标记整体、或至少标记元素能够通过至少一个成像传感器捕获。捕获标记的图像表示使标记的位姿是可确定的。医疗标记整体、或至少标记元素优选地是(多个)有源标记(元素)，该(多个)有源标记(元素)被设计为发射红外、可见和/或紫外光谱中的电磁辐射。同样优选地，医疗标记整体、或至少标记元素是(多个)无源标记(元素)，该(多个)无源标记(元素)被设计为反射红外、可见和/或紫外光谱中的电磁辐射。
根据本发明的系统进一步包括控制单元，该控制单元连接到成像传感器和另外的成像传感器和/或已知的运动系统(如果分别存在的话)。根据本发明的系统进一步包括连接到控制单元的存储单元。在这种情况下，存储单元包括命令，这些命令在由控制单元执行时促使控制单元执行上述根据本发明的方法。换言之，这些命令是这样的，执行这些命令来促使控制单元：驱动成像传感器以在第一视角下捕获医疗标记的第一图像表示；驱动至少一个另外的成像传感器、已知的运动系统和/或成像传感器以在第二视角下捕获医疗标记的第二图像表示；基于第一图像表示和第二图像表示来确定医疗标记的三维表示；驱动至少一个另外的成像传感器、已知的运动系统和/或成像传感器以捕获医疗标记的第三图像表示；以及基于医疗标记的第三图像表示和三维表示的比较来确定医疗标记的空间位姿。存储单元进一步优选地包括命令，这些命令由控制单元执行以促使控制单元执行根据本发明的方法的优选实施方式。
根据本发明的控制单元的功能可以由电气或电子设备或部件(硬件)、固件(ASIC)来实施，和/或可以通过执行合适的程序(软件)来实现。优选地，根据本发明的控制单元的功能通过硬件、固件和/或软件的组合来实现或实施。通过示例的方式，根据本发明的控制单元中用于执行各个功能的各个部件采用单独的集成电路的形式，或者被布置在公共的集成电路上。
根据本发明的控制单元的各个功能进一步优选地采用一个或多个进程的形式，该一个或多个进程在一个或多个电子计算机中的一个或多个处理器上运行，并在执行一个或多个计算机程序时生成。在这种情况下，控制单元被设计为与其他部件、特别是成像传感器、至少一个另外的成像传感器和/或已知的运动系统合作，以实施本文所述的根据本发明的系统的功能。对本领域技术人员来说，进一步明显的是，多个计算机(数据处理设备、控制单元、控制器)的功能可以进行组合或者可以组合在单个设备中，或者可以使某一个数据处理设备的功能分散在多个设备上，以实现根据本发明的控制单元的功能。
在根据本发明的系统的特别优选的实施例中，该系统集成在手术显微镜中。在这种情况下，手术显微镜优选地包括一个成像传感器和至少一个另外的成像传感器和/或一个已知的运动系统，其中该已知的运动系统被设计用于对医疗器械和/或至少一个成像传感器进行定义的旋转(x，y，z)和平移(x，y，z)。根据该实施例，参考坐标系优选地是手术显微镜的坐标系。进一步优选地，成像传感器是手术显微镜的主观察器相机的图像传感器。特别优选地，另外的成像传感器是环绕相机的图像传感器。同样优选地，已知的运动系统是手术显微镜的机器人系统，用于引导医疗器械、特别是手术器械。手术显微镜的控制单元优选地被设计为根据本发明的系统的控制单元，并且特别地被设计为基于存储在手术显微镜的存储单元上的命令来执行上述根据本发明的方法。
在本披露内容的范围内，手术显微镜在最广义上被理解为适合在操作期间使用的显微镜。手术显微镜优选地具有支架，该支架允许不依靠外科医生的头部移动即可对操作区域进行成像。进一步优选地，手术显微镜包括至少一个分光器和至少两个目镜。同样优选地，手术显微镜包括至少一个成像传感器。进一步优选地，手术显微镜包括主观察器相机和环绕相机。手术显微镜可以包括用于执行手术干预的运动或机器人辅助工具。作为替代方案，手术显微镜可以指示医学工程显微镜、医学上认可的显微镜、或医学显微镜。
本披露内容的进一步方面涉及一种包括命令的计算机程序，这些命令当由上述控制单元、优选地是手术显微镜或上述系统的控制单元执行时使手术显微镜或上述系统执行上述根据本发明的方法。计算机程序优选地包括命令，这些命令当由上述控制单元、优选地是手术显微镜或上述系统的控制单元执行时使手术显微镜或上述系统根据优选实施方式之一执行上述根据本发明的方法。在这种情况下，根据本发明的计算机程序优选地存储在易失性存储器(例如，RAM元件)中，或存储在非易失性存储介质(例如，CD-ROM、闪存等)中。
本披露内容的进一步方面涉及将医疗标记的三维表示用于对医疗器械、患者和/或医疗设备进行配准的用途，其中，该三维表示是基于在第一视角下捕获的第一图像表示和在第二视角下捕获的第二图像表示来确定的，这些图像表示属于医疗标记，并且其中，该配准包括：捕获医疗标记的第三图像表示；以及基于医疗标记的第三图像表示和三维表示的比较来确定医疗标记的空间位姿。根据本发明的用途的优选发展对应于上述根据本发明的方法的优选实施方式。
通过从属权利要求中阐述的其他特征，本发明的进一步优选实施例将变得清晰。除非另外特别说明，否则本申请中阐述的本发明的各种实施例可以有利地相互组合。
附图说明
下面在说明性实施例中且参考附图对本发明进行解释，在附图中：
图1示出了在一个实施例中根据本发明的系统的示意性表示；
图2示出了在进一步实施例中根据本发明的系统的示意性表示；
图3示出了在进一步实施例中根据本发明的系统的示意性表示；
图4示出了在一个实施方式中根据本发明的方法的示意性流程图；以及
图5示出了在根据本发明的方法中和根据本发明的系统中使用的标记的示意性表示。
具体实施方式
图1示出了在一个实施例中根据本发明的系统50的示意性表示，系统50是手术显微镜10的一部分。
手术显微镜10包括病床55，该病床上安置有患者42。病床55和/或患者42定义了患者的坐标系54，从而形成参考坐标系。为了对坐标系54进行配准，在病床设置有医疗标记20.2。在这种情况下，标记20.2的坐标系对应于坐标系54。手术显微镜10进一步包括医疗设备43，该医疗设备用于通过已知的运动系统13来保持和引导医疗器械41。通过示例的方式，医疗器械是指针、尖锥、手术刀、探针等。
另外的医疗标记20.1布置在医疗器械41上。标记20.1的排列定义了相对于医疗标记20.1和/或相对于医疗器械41的坐标系53。医疗标记20.1和20.2中的每一个包括三个标记元素21，这三个标记元素能够通过成像传感器捕获并且具有预定的几何形状(特别地是大小和形状)和相对空间位姿。尽管医疗标记20.1和20.2的几何形状是根据相同的规格生产的，但由于生产相关的变化，医疗标记20.1和20.2的几何形状有所不同。
手术显微镜10进一步优选地包括第一相机11和第二相机12。第一相机11进行内部和外部校准，并且第一相机11的坐标系51能够通过刚体变换的第一参数集而被映射或变换为参考坐标系54。第二相机12同样进行内部和外部校准，并且第二相机12的坐标系52能够通过刚体变换的第二参数集而被映射或变换为参考坐标系54。因此，第一相机11的坐标系51能够通过刚体变换的第三参数集而被映射或变换为第二相机的坐标系52。第一相机11和第二相机12具有固定实施例。如果相机11、12是可枢转的，则相应地调整其参数集。
手术显微镜10进一步包括控制装置30，该控制装置为数据和信号传输目的而连接到第一相机11、第二相机12和已知的运动系统13，以便向该相机和系统传输信号并从其接收信号。控制装置30包括控制单元31、存储单元32、显示器33、以及用于接收用户输入的用户界面34。
当用户通过用户界面34选择对应程序时执行的命令被存储在存储单元32中。这些命令使控制单元31驱动第一相机11以从第一相机11的视角捕获标记20.1的第一图像表示，并驱动第二相机12以从第二相机12的视角捕获标记20.1的第二图像表示。
进一步地，根据其指定几何形状的标记20的三维表示23被存储在存储单元32中。基于通过第一相机11和第二相机12捕获的标记20.1的图像表示，控制单元31通过光度测量方法来调整标记20.1的三维表示23。特别地，控制单元31通过第一参数集将第一图像表示变换到第二相机12的坐标系52中，并确定这里与第二图像表示的偏差。同样地，控制单元31通过第二参数集将第二图像表示变换到第一相机11的坐标系51中，并确定这里与第一图像表示的偏差。然后，控制单元31通过计算改变图像表示，使得所确定的偏差最小化。基于以这种方式确定的图像表示，在偏差最小的情况下，控制单元31最终确定了标记20.1的调整后的三维表示23，并将所述三维表示存储在存储单元32中。原则上，上述步骤对于医疗标记20.2同样是可执行的，其中该医疗标记的两个图像表示由第一相机11和第二相机12捕获。在这种情况下，标记20.2的调整后的三维表示23将被创建和存储。
随后，控制单元31驱动第一相机11以捕获医疗标记20.1的第三图像表示。使用标记20.1的第三图像表示和所确定的标记20.1的调整后的表示23，控制单元31以提高的准确性确定标记20.1的空间位姿。该空间位姿能够基于第一参数集被映射或变换到患者42的坐标系54中。因此，通过医疗设备43的已知的运动系统13，可以以提高的准确性在患者42的坐标系54中对医疗器械41进行导航。进一步地，医疗器械41的当前位置可以显示在显示器33上，覆盖于在患者42的坐标系54中配准的手术前图像数据上，以协助外科医生的工作。
图2示出了在进一步实施例中根据本发明的系统50的示意性表示，该系统是手术显微镜10的一部分。由于系统50与参照图1描述的系统50相似，因此下面不对相同部件进行重复描述。相反，仅对实施例的差异进行了详细讨论。
与上述图1的实施例相比，图2中的手术显微镜10只具有一个相机11。然而，相机被布置在第二已知的运动系统13.2上，并且可通过所述运动系统在三个空间方向上移位和旋转。手术显微镜10进一步包括与参照图1解释的运动系统13相对应的第一已知的运动系统13.1。第二已知的运动系统13.2被设计为使相机11移动，因此，相机11的坐标系51相对于患者42的坐标系54进行平移和旋转。使用运动系统13.2的校准，可以得出刚体旋转的对应参数集，以便在每一个位置将相机11的坐标系51映射或变换到患者42的坐标系54中，并将相机11的第一位置的坐标系51.1映射或变换为相机11的第二位置的坐标系51.2。
手术显微镜10进一步包括控制装置30，该控制装置为数据和信号传输目的而连接到相机11、第一已知的运动系统13.1和第二已知的运动系统13.2，以便向该相机和系统传输信号并从其接收信号。当用户通过用户界面34选择对应程序时执行的命令被存储在存储单元32中。这些命令使控制单元31通过第二已知的运动系统13.2将相机11移动到第一位置以便捕获标记20.1的第一图像表示，并通过第二已知的运动系统13.2将所述相机移动到不同于第一位置的第二位置以便捕获标记20.1的第二图像表示。基于通过相机11在第二已知的运动系统13.2的两个位置捕获的标记20.1的图像表示，控制单元31通过光度测量方法来调整标记20.1的三维表示23。特别地，控制单元31将标记的第一图像表示变换到已知的运动系统13.2的第二位置处的坐标系51.2中，并确定这里与标记20.1的第二图像表示的偏差。进一步地，控制单元31将标记的第二图像表示变换到已知的运动系统13.2的第一位置处的坐标系51.1中，并确定这里与标记20.1的第一图像表示的偏差。然后，控制单元31通过计算改变图像表示，使得所确定的偏差最小化。基于以这种方式确定的图像表示，在偏差最小的情况下，控制单元31最终确定了标记20.1的调整后的三维表示23，并将所述三维表示存储在存储单元32中。原则上，上述步骤对于医疗标记20.2同样是可执行的，其中该医疗标记的图像表示是在第一相机11的两个位置中的每个位置捕获的。在这种情况下，标记20.2的调整后的三维表示23将被创建和存储。
随后，控制单元31驱动第一相机11以捕获医疗标记20.1的第三图像表示。使用标记20.1的第三图像表示和所确定的标记20.1的调整后的表示23，控制单元31以提高的准确性确定标记20.1的空间位姿。该空间位姿能够基于第一参数集被映射或变换到患者42的坐标系54中。因此，通过医疗设备43的已知的运动系统13，可以以提高的准确性在患者42的坐标系54中对医疗器械41进行导航。进一步地，医疗器械41的当前位置可以显示在显示器33上，覆盖于在患者42的坐标系54中配准的手术前图像数据上，以协助外科医生的工作。
图3示出了在进一步实施例中根据本发明的系统50的示意性表示，该系统是手术显微镜10的一部分。由于系统50与参照图1或图2描述的系统50相似，因此下面不对相同部件进行重复描述。相反，对实施例的差异进行了详细讨论。
与上述图1的实施例相比，图3中的手术显微镜10只具有一个固定相机11。手术显微镜10进一步包括控制装置30，该控制装置为数据和信号传输目的而连接到相机11和已知的运动系统13，以便向该相机和系统传输信号并从其接收信号。当用户通过用户界面34选择对应程序时执行的命令被存储在存储单元32中。这些命令使控制单元31通过已知的运动系统13将标记20.1移动到第一位置以便捕获第一图像表示，并通过已知的运动系统13将标记20.1移动到第二位置以便捕获第二图像表示。
基于通过相机11在已知的运动系统13的两个位置捕获的标记20.1的图像表示，控制单元31通过光度测量方法来调整标记20.1的三维表示23。特别地，控制单元31将标记20.1的第一图像表示变换到已知的运动系统13的第二位置处的坐标系53.2中，并确定这里与标记20.1的第二图像表示的偏差。进一步地，控制单元31将标记20.1的第二图像表示变换到已知的运动系统13的第一位置处的坐标系53.1中，并确定这里与标记20.1的第一图像表示的偏差。然后，控制单元31通过计算改变图像表示，使得所确定的偏差最小化。基于以这种方式确定的图像表示，在偏差最小的情况下，控制单元31最终确定了标记20.1的调整后的三维表示23，并将所述三维表示存储在存储单元32中。上述步骤对于改善医疗标记20.2的3D表示是不可执行的。
随后，控制单元31驱动第一相机11以捕获医疗标记20.1的第三图像表示。使用标记20.1的第三图像表示和所确定的标记20.1的调整后的表示23，控制单元31以提高的准确性确定标记20.1的空间位姿。该空间位姿能够基于第一参数集被映射或变换到患者42的坐标系54中。因此，通过医疗设备43的已知的运动系统13，可以以提高的准确性在患者42的坐标系54中对医疗器械41进行导航。进一步地，医疗器械41的当前位置可以显示在显示器33上，覆盖于在患者42的坐标系54中配准的手术前图像数据上，以协助外科医生的工作。
图4示出了在一个实施方式中根据本发明的医疗导航方法的示意性流程图。在根据本发明的方法的第一步骤S100中，在第一视角下捕获医疗标记的第一图像表示。在根据本发明的方法的第二步骤S200中，在第二视角下捕获医疗标记的第二图像表示。在根据本发明的方法的第三步骤S300中，基于第一图像表示和第二图像表示来确定医疗标记的三维表示。在根据本发明的方法的第四步骤S400中，捕获医疗标记的第三图像表示。在根据本发明的方法的第五步骤S500中，基于医疗标记的第三图像表示和三维表示来确定医疗标记的空间位姿。
图5示出了在根据本发明的方法和根据本发明的系统50中使用的标记20的示意性表示。所描绘的标记20具有布置在两个不同的平面中的两个圆形标记元素21。标记元素21中的每一个都能够使用相机捕获，并且具有与其他标记元素21的颜色不同的颜色，以实现唯一可识别性。标记元素20进一步包括紧固夹22作为紧固装置，以用于将该标记紧固到医疗器械41。用于根据本发明的方法和根据本发明的系统50的标记优选地具有多于两个，例如三个、四个或更多标记元素，其具有固定的(已知的)相对布置并且是唯一可识别的。标记元素可以印刷在表面上或可以凸起并且可以是平面的或布置在不同的平面上。
附图标记清单
10 手术显微镜
11 第一相机
12 第二相机
13 已知的运动系统
20 医疗标记
21 标记元素
22 紧固夹
23 三维表示
30 控制装置
31 控制单元(CPU)
32 存储单元
33 显示器
34 用户界面
41 医疗器械
42 患者
43 医疗设备
50 系统
51 第一相机的坐标系
52 第二相机的坐标系
53 标记/医疗器械的坐标系
54 患者的坐标系
55 病床
S100 捕获第一图像表示
S200 捕获第二图像表示
S300 确定三维表示
S400 捕获第三图像表示
S500 确定空间位姿

Claims (15)

1.一种医疗导航方法，包括以下方法步骤：
在第一视角下捕获(S100)医疗标记(20)的第一图像表示；
在第二视角下捕获(S200)该医疗标记(20)的第二图像表示；基于该第一图像表示和该第二图像表示来确定(S300)该医疗标记(20)的三维表示(22)；
捕获(S400)该医疗标记(20)的第三图像表示；以及
基于该医疗标记(20)的第三图像表示和三维表示(22)的比较来确定(S500)该医疗标记(20)的空间位姿。
2.根据权利要求1所述的方法，其中，该第一图像表示、该第二图像表示和/或该第三图像表示是通过至少一种成像方法来确定的。
3.根据权利要求1或2所述的方法，其中，该医疗标记(20)具有几何形状，并且该医疗标记(20)的三维表示(22)是基于该第一图像表示、该第二图像表示和与该标记(20)的几何形状相关的信息来确定的。
4.根据前述权利要求中任一项所述的方法，其中，该第一图像表示的坐标系与该第二图像表示的坐标系之间的关系由刚体变换的参数集来确定。
5.根据权利要求4所述的方法，其中，确定该医疗标记(20)的三维表示(22)进一步包括以下步骤：
使用该参数集将该标记(20)的第一图像表示变换到该第二图像表示的坐标系中；
确定该标记(20)的变换后的第一图像表示与该标记(20)的第二图像表示之间的第一偏差；
和/或
使用该参数集将该标记(20)的第二图像表示变换到该第一图像表示的坐标系中；
确定该标记(20)的变换后的第二图像表示与该标记(20)的第一图像表示之间的第二偏差；以及
基于该第一偏差和/或该第二偏差来确定该医疗标记(20)的三维表示(22)。
6.根据权利要求5所述的方法，其中，确定该标记(20)的三维表示(22)包括基于该第一偏差和/或该第二偏差来调整与该标记(20)的几何形状相关的信息。
7.根据前述权利要求中任一项所述的方法，其中，该第一图像表示由第一相机(11)捕获，并且该第二图像表示由第二相机(12)捕获。
8.根据权利要求4和7所述的方法，其中，该第一相机(11)的坐标系(51)与该第一图像表示的坐标系之间的关系由该第一相机(11)的第一内部参数定义，并且该第二相机(12)的坐标系(52)与该第二图像表示的坐标系之间的关系由该第二相机(12)的第二内部参数定义。
9.根据权利要求1至6中任一项所述的方法，其中，
该第一图像表示是在相机(11，12)的第一位置捕获的，并且该第二图像表示是在该相机(11，12)的第二位置捕获的；或
具有该标记的第一位姿的第一图像表示由相机(11，12)捕获，并且具有该标记的第二位姿的第二图像表示由该相机(11，12)捕获。
10.根据前述权利要求中任一项所述的方法，其中，将该医疗标记(20)紧固到医疗器械(41)，捕获医疗标记(20)与医疗器械(41)的组合的第三图像表示，并且基于该第三图像表示和该三维表示(22)的比较来确定医疗标记(20)与医疗器械(41)的组合的空间位姿。
11.根据权利要求10所述的方法，其中，进一步捕获医疗标记(20)与医疗器械(41)的组合的第一图像表示和第二图像表示并基于该第一图像表示和该第二图像表示来确定该医疗标记(20)与该医疗器械(41)的组合的三维表示(22)，并且确定医疗标记(20)与医疗器械(41)的组合的空间位姿。
12.一种医疗导航系统(50)，包括：
至少一个成像传感器；
医疗标记(20)；
至少一个另外的成像传感器和/或一个已知的运动系统(13)，其用于以定义的方式改变该成像传感器和/或该医疗标记(20)的位姿；
控制单元(31)，该控制单元连接到该成像传感器和该另外的成像传感器和/或该已知的运动系统(13)；
连接到该控制单元(31)并包括命令的存储单元(32)，这些命令在由该控制单元执行时使该控制单元执行根据权利要求1至11中任一项所述的方法。
13.根据权利要求12所述的系统，该系统集成在手术显微镜(10)中。
14.一种包括命令的计算机程序，这些命令在由根据权利要求12和13中任一项所述的系统的控制单元执行时使根据权利要求12和13中任一项所述的系统执行根据权利要求1至11中任一项所述的方法。
15.将医疗标记(20)的三维表示(22)用于对医疗器械(41)、患者(42)和/或医疗设备(43)进行配准的用途，
其中，该三维表示(22)是基于在第一视角下捕获的第一图像表示和在第二视角下捕获的第二图像表示来确定的，这些图像表示属于该医疗标记(20)，并且
其中，该配准包括：捕获该医疗标记(20)的第三图像表示；以及基于该医疗标记(20)的第三图像表示和三维表示(22)的比较来确定该医疗标记(20)的空间位姿。
CN202310085898.6A 2022-02-04 2023-02-01 医疗导航方法 Pending CN116549109A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022102698.1 2022-02-04
DE102022102698 2022-02-04

Publications (1)

Publication Number Publication Date
CN116549109A true CN116549109A (zh) 2023-08-08

Family

ID=87312713

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310118244.9A Pending CN116549110A (zh) 2022-02-04 2023-01-31 医疗校准方法
CN202310085898.6A Pending CN116549109A (zh) 2022-02-04 2023-02-01 医疗导航方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310118244.9A Pending CN116549110A (zh) 2022-02-04 2023-01-31 医疗校准方法

Country Status (3)

Country Link
US (2) US20230252681A1 (zh)
CN (2) CN116549110A (zh)
DE (2) DE102022125798A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009097A1 (en) 2014-10-17 2016-04-20 Imactis Method for navigating a surgical instrument
DE202015106804U1 (de) 2015-07-10 2016-01-26 Brainlab Ag Markersystem für die medizintechnische Navigation
DE102018119343B4 (de) 2018-08-08 2022-11-03 Carl Zeiss Meditec Ag Verfahren zur Kalibrierung von Objekten in einem Referenzkoordinatensystem und Verfahren zum Tracking von Objekten

Also Published As

Publication number Publication date
US20230248467A1 (en) 2023-08-10
CN116549110A (zh) 2023-08-08
US20230252681A1 (en) 2023-08-10
DE102022125798A1 (de) 2023-08-10
DE102023101117A1 (de) 2023-08-10

Similar Documents

Publication Publication Date Title
US10593052B2 (en) Methods and systems for updating an existing landmark registration
JP6718920B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
JP6678565B2 (ja) 定位手術用の手術ロボット及び定位手術用の手術ロボットの制御方法
EP2967297B1 (en) System for dynamic validation, correction of registration for surgical navigation
US7912532B2 (en) Method and instrument for surgical navigation
US10624540B2 (en) Method and instrument for surgical navigation
US20080021311A1 (en) Method for automatically identifying instruments during medical navigation
CN111970986A (zh) 用于执行术中指导的系统和方法
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
US20230329799A1 (en) Rotating Marker
US10846883B2 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
Staub et al. Contour-based surgical instrument tracking supported by kinematic prediction
US20230390021A1 (en) Registration degradation correction for surgical navigation procedures
CN116549109A (zh) 医疗导航方法
EP4193336A1 (en) Microscope camera calibration
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
US20230020760A1 (en) Registration and/or tracking of a patient's bone employing a patient specific bone jig
KR102612603B1 (ko) 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템
US20230032791A1 (en) Measuring method and a measuring device
US20230368418A1 (en) Accuracy check and automatic calibration of tracked instruments
Jeung et al. Intraoperative zoom lens calibration for high magnification surgical microscope
KR20220163973A (ko) 환자의 특정 뼈 지그를 사용하는 환자 뼈의 등록 및/또는 추적
Ly et al. A stereotaxic platform for small animals based on 3D computer vision and robotics
CN118139729A (zh) 用于自动化校准医学机器人的摄像头的校准方法和外科手术辅助系统
WO2022047572A1 (en) Systems and methods for facilitating visual assessment of registration accuracy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination