CN108778178B - 用于医学仪器跟踪的系统和方法 - Google Patents

用于医学仪器跟踪的系统和方法 Download PDF

Info

Publication number
CN108778178B
CN108778178B CN201680079296.8A CN201680079296A CN108778178B CN 108778178 B CN108778178 B CN 108778178B CN 201680079296 A CN201680079296 A CN 201680079296A CN 108778178 B CN108778178 B CN 108778178B
Authority
CN
China
Prior art keywords
instrument
medical instrument
marker
tip
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680079296.8A
Other languages
English (en)
Other versions
CN108778178A (zh
Inventor
R·J·F·霍曼
R·F·J·霍尔特辉泽恩
M·格拉斯
H·A·W·施迈茨
B·H·W·亨德里克斯
T·T·卡纳加萨巴帕蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108778178A publication Critical patent/CN108778178A/zh
Application granted granted Critical
Publication of CN108778178B publication Critical patent/CN108778178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学仪器跟踪。为了便于跟踪医学仪器，提供了一种用于跟踪医学仪器的系统(100)。所述系统包括仪器标记(14)、跟踪装置(16)以及处理单元(18)。所述仪器标记在标记位置(20)上被附接到所述医学仪器。所述跟踪系统被配置为检测感兴趣视野中的线段(22)并被配置为检测所附接的仪器标记。所述处理单元被配置为将在其上检测到所附接的仪器标记的线段(24)识别为所述医学仪器，并被配置为通过利用所述医学仪器(10)接触对象上的参考标记(34)来确定医学仪器尖端(28)的位置与所述标记(14)之间的偏移(26)。

Description

用于医学仪器跟踪的系统和方法
技术领域
本发明涉及医学仪器跟踪的领域，并且具体地涉及用于跟踪医学仪器的系统、用于跟踪医学仪器的方法、计算机程序单元以及计算机可读介质。
背景技术
医学仪器(诸如可操纵设备、柔性导管或更刚性的臂或轴)被使用在用于诊断和治疗医学状况的微创流程中。在某些应用和情况下，了解医学仪器的位置和取向例如对于在图像引导的手术介入中执行精细的流程而不损坏关键的周围结构(例如动脉和神经)是很有价值的。例如，WO2015/032676A1描述了用于确定介入设备的位置和形状的电磁跟踪传感器。
一些跟踪方法可能需要关于医学仪器的尺寸的信息，这些信息可以被存储在数据库中。例如，US2012/0259204A1描述了提供具有沿一轴的可见性元件的仪器，由此表征特定仪器的元件的位置被存储在数据库中。
因此，可以仅仅跟踪有限数量的已知医学仪器。
发明内容
可能存在对便于跟踪医学仪器的需要。
本发明的目的通过独立权利要求的主题来解决，其中进一步的实施例被包含在从属权利要求中。应该注意，本发明的以下描述的方面也适用于跟踪医学仪器的系统、跟踪医学仪器的方法、计算机程序单元以及计算机可读介质。
根据本发明的第一方面，提供了一种用于跟踪感兴趣视野中的细长医学仪器的系统。所述系统包括跟踪装置和处理单元。
所述跟踪装置被配置为获得所述医学仪器的图像，所述图像包括在远离所述医学仪器的尖端的标记位置处被定位在所述医学仪器上的仪器标记。
所述处理单元被配置为：i)在所获得的图像中检测至少一个线段和仪器标记；ii)通过从检测到的所述至少一个线段中选择与检测到的仪器标记相对应的线段来识别所述医学仪器；并且iii)基于所述医学仪器接触参考标记来确定所述医学仪器的所述尖端的位置的偏移。
在示例中，使用笔直且细长的医学仪器。在其中仪器正被跟踪的医学流程期间，仪器标记可以被用作参考。为了也指示医学仪器的尖端位置，即使医学仪器的一部分在对象内部，也可以确定标记与尖端位置之间的偏移。为此目的，在将仪器插入对象中之前，对象上的参考标记可能被仪器尖端接触。
可以通过跟踪装置检测由仪器尖端对参考标记的接触。例如，当参考标记在由跟踪装置提供的图像中可见时，可以从所提供的图像中检测仪器尖端与医学仪器之间的接触。在本申请的上下文中，“接触”应被理解为不仅物理上接触，而且应被理解为几乎接触，也就是说，使医学仪器足够接近参考标记，使得在跟踪图像中的一幅或多幅中，仪器和标记表示重叠。
因此，即使在跟踪图像中不能够以足够的可靠性建立仪器本身的尖端位置时，也可以检测到接触。
在示例中，在对象上提供至少一个参考标记。例如，可以在患者的外部提供一组参考标记。在这种情况下，跟踪装置除了跟踪仪器位置之外还可以跟踪患者移动。
以这种方式，可以不需要建立数据库来存储多个医学仪器的几何信息。甚至对于未知设备(与数据库内部的已知医学仪器相反)，即使医学仪器的一部分在对象内部，用户也能够简单地使用医学仪器上的仪器标记并跟踪医学仪器。因此，可以跟踪广泛范围的医学仪器。
术语“被定位在医学仪器上的仪器标记”可以包括仪器标记是附接到医学仪器的独立标记，以及仪器标记是医学仪器的集成部分。
在实施例中，单个仪器标记可以足以跟踪医学仪器。通过仪器尖端与参考标记之间的接触相互作用，可靠地确定单个标记与仪器尖端之间的偏移。
根据示例，仪器标记包括以下组中的至少一个：生物相容性反射涂料、荧光涂料、用于形成医学仪器的具有固有反射响应的材料、以及自粘胶带。
仪器标记可以被附接或喷涂在医学仪器上。
根据示例，生物相容性反射涂料和/或荧光涂料具有带宽选择性的光发射。
以这种方式，反射涂料或荧光涂料的激发/发射可以是带宽选择性的，使得过滤的光源和/或相机用于位置确定，同时场景的视频图像保持不受干扰。
备选地或另外，仪器本身的界标可以被用作仪器标记。在示例中，仪器的两个部分之间的边界可以被用作仪器标记。例如，仪器的轴与手柄部分之间的边界(该边界垂直于轴方向)在跟踪图像中可以足够清晰可见，从而使得能够进行仪器跟踪。通过检测这种转变，可以跟踪仪器而不需要将独立(人工)标记附接到设备上。
为了跟踪医学仪器，在示例中，采用具有至少一个相机的光学跟踪装置。因此，医学仪器的3D位置可以通过使用来自至少一个相机的图像来确定。在示例中，为了能够进行准确的3D跟踪，使用至少两个光学相机。作为备选或另外，可以采用单个深度分辨相机，其生成利用深度测量结果增强的光学图像作为用于3D跟踪的输入。
备选地，可以通过使用至少两个相机和光源来生成医学仪器的3D模型。例如，可以在相机系统前面旋转医学仪器，并根据图像序列来计算3D模型。相机和光源可以具有适合于所使用的反射材料的类型的特定波长滤波器。在该流程中使用的一个或多个仪器能够通过使用不同的反射材料和使用特定波长的滤波器组来识别。
根据本发明的第二方面，提供了一种用于跟踪感兴趣视野中的医学仪器的方法。所述方法包括以下步骤：
a)获得所述医学仪器的图像，所述图像包括在远离所述医学仪器的尖端的标记位置处被定位在所述医学仪器上的仪器标记；
b)在所述图像中检测所述感兴趣视野中的至少一个线段；
c)检测所述仪器标记；
d)通过从检测到的所述至少一个线段中选择与检测到的仪器标记相对应的线段来识别所述医学仪器；并且
f)通过利用所述医学仪器接触参考标记来确定医学仪器尖端的位置的偏移。
参考下文描述的实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。
附图说明
在下文中将参考以下附图来描述本发明的示范性实施例：
图1示意性地示出了用于跟踪医学仪器的系统的示例。
图2示意性地示出了感兴趣视野的示例。
图3示出了用于跟踪医学仪器的方法的示例的基本步骤。
图4示出了方法的另一示例。
图5示出了方法的另一示例。
附图仅仅被示意性地示出并且不是按比例的。相同的附图标记在整个附图中指代相同的或相似的特征。
具体实施方式
图1示意性地示出了用于跟踪感兴趣视野12中的医学仪器10的系统100。
系统100包括跟踪装置16和处理单元18。为了能够对其进行跟踪，仪器标记14在标记位置20上被定位在医学仪器10上。
术语“感兴趣视野”可以涉及医学仪器被使用于其中的视野，例如外科视野、手术视野等。
术语“医学仪器”可以涉及用于在外科手术或手术期间执行实现期望效果的特定动作(例如修改生物组织)的专门设计的工具或设备。
在如图1所示的示例中，医学仪器10可以包括笔直且细长的仪器轴30和手柄38。仪器标记14远离医学仪器尖端28被附接在仪器轴30上。备选地或另外，轴30与手柄38之间的边界可以被用作仪器标记14’。
因此，即使医学仪器尖端28例如当插入到对象中时被阻挡，仪器标记14、14’也能够提供用于指示医学仪器尖端28的位置的参考。
在示例中，仪器标记14包括以下组中的至少一个：生物相容性反射涂料、荧光涂料、用于形成医学仪器的一部分的具有固有反射响应的材料、以及自粘胶带。
与肿瘤手术中使用的荧光染料类似的荧光染料可以被用作荧光涂料，其应当是生物相容性的。荧光染料的示例包括吲哚菁绿(ICG)、荧光素、光敏素、5-氨基乙酰丙酸(ALA)、专利蓝、亚甲蓝等。
生物相容性反射涂料或荧光涂料可以被涂覆或喷涂在医学仪器上，该医学仪器诸如为例如在微创手术流程期间使用中的手术仪器或腹腔镜仪器。
基于染料或涂层材料的效率，可以在几次使用之后重新应用反射或荧光染料涂层。涂层材料能够耐高压灭菌或可消毒以重复使用。
备选地，医学仪器的一部分(例如轴30的一部分)可以由具有固有反射或荧光响应的材料制成。换句话说，医学仪器的一部分可以被用作用于指示医学仪器尖端28的位置的仪器标记。
在另一示例中，仪器标记14是一片自粘胶带，其能够围绕例如医学仪器的中心轴缠绕，直到其被牢固地固定。
自粘胶带可以由包括例如在例如医学仪器轴上滑动的硅橡胶套、热缩管或永久喷涂的、蚀刻的或雕刻的标记的材料构成。
上述仪器标记可以任选地具有在用于环绕医学仪器的方向上延伸的图案。
在如图1所示的示例中，仪器标记14具有线的图案。线的图案(例如线的数量和/或线的粗细)可以变化以区分不同的医学仪器。在另一示例中，具有相同图案的医学仪器可以通过使用例如医学仪器轴的粗细来在彼此之间区分开。
该图案的其他示例包括例如2D条形码、颜色代码等。以这种方式，可以在所有方向上检测或跟踪医学仪器。
医学仪器10由跟踪装置16跟踪。取决于应用和情况，跟踪装置16可以是光学跟踪装置、超声跟踪装置或任何其他合适的跟踪装置。
在如图1所示的示例中，跟踪装置16是包括至少两个光学传感器32(例如如图1所示的两个相机)的光学跟踪装置，其允许同时跟踪多个医学仪器。光学传感器32相对于彼此的位置和取向可以是已知的，例如经由刚性仪器结构。作为备选或另外，光学跟踪装置可以包括提供光学图像以及深度测量结果的深度分辨相机。
例如，如已经在WO2010/067281A1中描述的，光学传感器可以以相对于X射线设备确定的空间关系被支撑到医学图像系统中。
如果使用反射材料或荧光材料，则光学传感器32可以包括适合于所使用的反射或荧光材料的类型的波长滤波器。可以通过使用不同的反射材料和使用特定波长的滤波器组来识别在流程中使用的多个医学仪器之一。
跟踪系统16可以被集成到手术装置中作为医学图像系统(例如，如上所述的C形臂X射线系统)的一部分或作为独立的跟踪单元。
在下文中，为了便于对本技术的解释，本文将一般性地讨论光学跟踪装置，但是应理解，其他跟踪装置也在本技术的范围内。
图2示意性地示出了内部具有医学仪器10的感兴趣视野12的示例。
跟踪系统100被配置为检测感兴趣视野12中的线段22(用实线指示)并且检测仪器标记14或标记14’，如图1所示。处理单元18被配置为选择与检测到的仪器标记相对应的线段24(用虚线指示)作为医学仪器10，并且使用标记位置20作为参考来确定医学仪器尖端28的尖端位置的偏移26。
术语“偏移”涉及空间距离。
医学仪器的尖端位置可以包括医学仪器的可能延伸部分，例如(刚性)连接部分的长度，例如附接到螺丝刀的椎弓根螺钉。
现在参考图1和图2，在操作期间，跟踪系统16对感兴趣视野12进行成像并采集感兴趣视野12的图像数据。图像可以针对镜头畸变而被校正，使得现实世界中的直线在图像中可见为直线。然而，如果使用低失真镜头，则可以省略该步骤。
处理单元18被配置为在所采集的图像数据中检测直线，例如经由霍夫变换。
处理单元18还被配置为确定检测到的直线中的每个的端点。对于每个检测到的直线，可以存储跨度线端点和相机中心的平面。
处理单元18还被配置为确定针对每个检测到的直线的每对平面的交点。这会得到具有起点和终点的3D线描述。
沿着检测到的直线(或在延伸部分上)，例如利用模式识别在至少一幅相机图像上检测仪器标记14。在其上检测到所附接的仪器标记14的直线能够被识别为医学仪器并且能够被跟踪。
当例如在跟踪图像中检测到在所跟踪的医学仪器10与参考标记34之间的重叠或交叉时，即当仪器10与参考标记34的距离低于预定阈值时，操作者能够初始化尖端位置。参考标记34通常是用于跟踪患者运动的感兴趣视野内的标记或接近用于跟踪患者运动的感兴趣视野的标记。
参考标记34被提供为由医学仪器尖端28接触，并且在由跟踪装置获得的图像中可见。参考标记34可以例如具有圆形形状，但是可以使用不同的形状以便更可靠地建立由医学仪器尖端28对标记34的接触。例如，图1所示的标记34具有尾部延伸的圆形体，以在仪器10邻近标记时进一步改进标记34在跟踪图像中的可见性。
处理单元还可以被配置为沿着所选择的线段24检测在仪器标记14与所接触的参考标记34之间的距离，并且使用检测到的距离作为用于确定标记14与尖端位置28之间的偏移26的输入。
备选地，跟踪装置16被配置为采集感兴趣视野12的图像数据。处理单元18被配置为根据所采集的图像数据来生成3D模型并且基于标记位置20来计算针对尖端位置的偏移26。
在(未示出的)实施例中，跟踪图像可以在显示屏上对用户可见。在这种情况下，关于仪器尖端28与参考标记34之间的接触相互作用的反馈可以被给出在增强现实视图中。因此，能够向用户给出视觉反馈，即仪器校准已经被成功地建立，换句话说，尖端偏移已经被确定。基于此，用户可以随后启动其中将仪器尖端插入到对象中的介入流程。
此外，一旦尖端偏移被初始化，则可以使用沿线段在仪器标记14与尖端位置28之间的所保存的距离在患者数据上显示虚拟仪器(未示出)。患者数据可以是3D断层摄影数据集，其在微创介入之前被配准。3D断层摄影数据集可以是例如CT/MR(计算机断层摄影/磁共振)数据集或XperCT/VasoCT/血管造影数据集。
备选地，患者数据可以是实况X射线数据，除了所跟踪的相机图像中的一幅或多幅之外还可以将该实况X射线数据示出给用户。
图3示出了用于跟踪仪器的方法200的示例的基本步骤。该方法包括以下步骤：
在也被称为步骤a)的第一步骤202中，采集医学仪器的图像，所述图像包括在远离医学仪器的尖端的标记位置处被定位在医学仪器上的仪器标记。
在也被称为步骤b)的第二步骤204中，在图像中检测感兴趣视野中的至少一个线段。
在也被称为步骤c)的第三步骤206中，检测仪器标记。
在也被称为步骤d)的第四步骤208中，通过从检测到的至少一个线段中选择与检测到的仪器标记相对应的线段来识别医学仪器。
在也被称为步骤e)的任选步骤210中，基于所选择的线段的取向来确定医学仪器的取向。
在也被称为步骤f)的第五个步骤212中，通过利用医学仪器接触参考标记来确定医学仪器尖端的位置的偏移。
图4示出了另一示例，其中方法200的步骤f)还包括以下子步骤：f1)提供222参考标记；f2)使用224医学仪器尖端来接触参考标记；f3)沿着所选择的线段检测226在仪器标记与所接触的参考标记之间的距离；并且f4)使用228检测到的距离作为偏移。
在本发明的另一示范性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上执行根据前述实施例中的一个所述的方法的方法步骤。
因此，计算机程序单元可以被存储在计算机单元中，所述计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引发对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装备为执行本发明的方法。
本发明的该示范性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序二者。
另外，计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示范性实施例的流程。
根据本发明的另外的示范性实施例，提出了一种计算机可读介质，例如，CD-ROM，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。
计算机程序可以被存储和/或被分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的电信系统被分布。
然而，计算机程序也可以被呈现在如万维网的网络上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个所述的方法。
必须指出，本发明的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法类权利要求来描述的，而其他实施例是参考装置类权利要求来描述的。然而，除非另有说明，本领域技术人员将从以上和以下的描述中推断出，除属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本申请中被公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应当被认为是说明性或示范性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员在实践请求保护的发明时通过研究附图、说明书以及权利要求书能够理解并实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (14)

1.一种用于跟踪感兴趣视野中的细长医学仪器(10)的系统(100)，包括：
跟踪装置(16)；以及
处理单元(18)；
其中，所述跟踪装置被配置为获得所述医学仪器的图像，所述图像包括在远离所述医学仪器的尖端(28)的标记位置(20)处被定位在所述医学仪器上的仪器标记(14)，并且
其中，所述处理单元被配置为：
i)在所获得的图像中检测至少一个线段(22)和所述仪器标记；ii)通过从检测到的所述至少一个线段(22)中选择与检测到的仪器标记相对应的线段(24)来识别所述医学仪器；并且iii)基于所述医学仪器(10)接触参考标记(34)来确定所述医学仪器的所述尖端(28)的位置的偏移(26)。
2.根据权利要求1所述的系统，其中，所述处理单元还被配置为沿着所选择的线段(24)检测在所述仪器标记(14)与所接触的参考标记(34)之间的距离，并且被配置为使用检测到的距离来确定所述偏移(26)。
3.根据权利要求1或2所述的系统，其中，所述仪器标记包括以下组中的至少一个：
生物相容性反射涂料；
荧光涂料；
用于形成所述医学仪器的具有固有反射响应的材料；以及
自粘胶带。
4.根据权利要求3所述的系统，其中，所述生物相容性反射涂料和/或所述荧光涂料具有带宽选择性的光发射。
5.根据权利要求1或2所述的系统，其中，所述仪器标记具有沿着所述医学仪器的表面在切线方向上延伸的图案。
6.根据权利要求1或2所述的系统，其中，所述仪器标记包括所述仪器的两个部分之间的边界。
7.根据权利要求6所述的系统，其中，所述仪器标记是针的轴与手柄之间的边界。
8.根据权利要求1或2所述的系统，其中，所述跟踪装置被配置为采集所述感兴趣视野的图像数据；并且
其中，所述处理单元被配置为根据所采集的图像数据来生成3D模型并且被配置为基于所述标记位置来计算所述尖端的所述位置的所述偏移。
9.根据权利要求1或2所述的系统，其中，所述跟踪装置是包括至少一个相机的光学跟踪系统。
10.一种用于跟踪感兴趣视野中的医学仪器的方法(200)，包括以下步骤：
a)获得(202)所述医学仪器的图像，所述图像包括在远离所述医学仪器的尖端的标记位置处被定位在所述医学仪器上的仪器标记；
b)在所述图像中检测(204)所述感兴趣视野中的至少一个线段；
c)检测(206)所述仪器标记；
d)通过从检测到的所述至少一个线段中选择与检测到的仪器标记相对应的线段来识别(208)所述医学仪器；并且
f)通过利用所述医学仪器接触参考标记来确定(212)医学仪器尖端的位置的偏移。
11.根据权利要求10所述的方法，其中，步骤f)还包括：
f1)提供(222)参考标记；
f2)使用(224)所述医学仪器尖端来接触所述参考标记；
f3)沿着所选择的线段检测(226)在所述仪器标记与所接触的参考标记之间的距离，并且
f4)使用(228)检测到的距离作为所述偏移。
12.一种用于跟踪感兴趣视野中的医学仪器的装置，包括：
用于获得所述医学仪器的图像的模块，所述图像包括在远离所述医学仪器的尖端的标记位置处被定位在所述医学仪器上的仪器标记；
用于在所述图像中检测所述感兴趣视野中的至少一个线段的模块；
用于检测所述仪器标记的模块；
用于通过从检测到的所述至少一个线段中选择与检测到的仪器标记相对应的线段来识别所述医学仪器的模块；以及
用于通过利用所述医学仪器接触参考标记来确定医学仪器尖端的位置的偏移的模块。
13.根据权利要求12所述的装置，其中，用于确定医学仪器尖端的位置的偏移的所述模块还包括：
用于提供参考标记的模块；
用于使用所述医学仪器尖端来接触所述参考标记的模块；
用于沿着所选择的线段检测在所述仪器标记与所接触的参考标记之间的距离的模块，以及
用于使用检测到的距离作为所述偏移的模块。
14.一种计算机可读介质，其存储有计算机程序，当所述计算机程序由计算机运行时，所述计算机程序使所述计算机执行根据权利要求10或11所述的方法的步骤。
CN201680079296.8A 2015-12-18 2016-12-16 用于医学仪器跟踪的系统和方法 Active CN108778178B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15201029 2015-12-18
EP15201029.4 2015-12-18
PCT/EP2016/081346 WO2017103046A2 (en) 2015-12-18 2016-12-16 Medical instrument tracking

Publications (2)

Publication Number Publication Date
CN108778178A CN108778178A (zh) 2018-11-09
CN108778178B true CN108778178B (zh) 2021-10-01

Family

ID=55023932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079296.8A Active CN108778178B (zh) 2015-12-18 2016-12-16 用于医学仪器跟踪的系统和方法

Country Status (5)

Country Link
US (1) US11007014B2 (zh)
EP (1) EP3389538B1 (zh)
JP (1) JP6878435B2 (zh)
CN (1) CN108778178B (zh)
WO (1) WO2017103046A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
SG10201807900SA (en) * 2018-09-12 2020-04-29 Techssisted Surgical Pte Ltd System and method for monitoring a device
US11766298B2 (en) * 2019-05-03 2023-09-26 Neil Glossop Systems, methods, and devices for registering and tracking organs during interventional procedures
KR102443385B1 (ko) * 2020-10-13 2022-09-16 주식회사 고영테크놀러지 의료용 3차원 영상 측정 장치 및 의료 영상 정합 시스템
KR102478842B1 (ko) * 2020-10-13 2022-12-20 주식회사 고영테크놀러지 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038449A1 (en) * 1998-01-28 1999-08-05 Cosman Eric R Optical object tracking system
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN102625669A (zh) * 2009-06-08 2012-08-01 外科视象设备公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
US20120259204A1 (en) * 2011-04-08 2012-10-11 Imactis Device and method for determining the position of an instrument in relation to medical images
CN104272349A (zh) * 2012-06-20 2015-01-07 皇家飞利浦有限公司 多相机设备跟踪
WO2015032676A1 (en) * 2013-09-06 2015-03-12 Koninklijke Philips N.V. Navigation system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856826B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
GB0204549D0 (en) 2002-02-27 2002-04-10 Depuy Int Ltd A surgical instrument system
US7993353B2 (en) * 2002-06-04 2011-08-09 Brainlab Ag Medical tracking system with universal interface
US7166114B2 (en) 2002-09-18 2007-01-23 Stryker Leibinger Gmbh & Co Kg Method and system for calibrating a surgical tool and adapter thereof
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
US7809184B2 (en) 2005-05-04 2010-10-05 Brainlab Ag Devices and methods for automatically verifying, calibrating and surveying instruments for computer-assisted surgery
US8170302B1 (en) * 2005-09-30 2012-05-01 Ut-Battelle, Llc System and method for generating motion corrected tomographic images
RU2434600C2 (ru) * 2006-03-31 2011-11-27 Конинклейке Филипс Электроникс, Н.В. Хирургическая система, управляемая по изображениям
EP1952779B1 (de) 2007-02-01 2012-04-04 BrainLAB AG Medizintechnische Instrumenten-Identifizierung
WO2010067281A1 (en) * 2008-12-11 2010-06-17 Koninklijke Philips Electronics N.V. System and method for generating images of a patient's interior and exterior
EP2429398A1 (en) 2009-05-13 2012-03-21 Koninklijke Philips Electronics N.V. System for detecting global patient movement during imaging procedures
US20120156092A1 (en) 2009-09-08 2012-06-21 Koninklijke Philips Electronics N.V. Sterilization coat
CA2718686C (en) 2009-10-20 2015-07-14 Imris Inc. Imaging system using markers
US8848977B2 (en) * 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
JP6130856B2 (ja) * 2012-01-03 2017-05-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ポジション決定装置
NL2008205C2 (en) 2012-01-31 2013-08-01 Umc Utrecht Holding Bv Tracking of an endoscopic device.
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
EP2953569B1 (en) 2013-02-11 2022-08-17 Neomedz Sàrl Tracking apparatus for tracking an object with respect to a body
US20150032676A1 (en) * 2013-07-23 2015-01-29 Twenty-Ten, Inc. System and method for segmenting social media participants by attitudinal segment
IL236003A (en) * 2014-11-30 2016-02-29 Ben-Yishai Rani Model and method for registering a model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038449A1 (en) * 1998-01-28 1999-08-05 Cosman Eric R Optical object tracking system
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN102625669A (zh) * 2009-06-08 2012-08-01 外科视象设备公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
US20120259204A1 (en) * 2011-04-08 2012-10-11 Imactis Device and method for determining the position of an instrument in relation to medical images
CN104272349A (zh) * 2012-06-20 2015-01-07 皇家飞利浦有限公司 多相机设备跟踪
WO2015032676A1 (en) * 2013-09-06 2015-03-12 Koninklijke Philips N.V. Navigation system

Also Published As

Publication number Publication date
JP6878435B2 (ja) 2021-05-26
US20200281660A1 (en) 2020-09-10
US11007014B2 (en) 2021-05-18
WO2017103046A3 (en) 2017-07-27
JP2019501704A (ja) 2019-01-24
CN108778178A (zh) 2018-11-09
EP3389538A2 (en) 2018-10-24
EP3389538B1 (en) 2022-11-02
WO2017103046A2 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN108778178B (zh) 用于医学仪器跟踪的系统和方法
US11883118B2 (en) Using augmented reality in surgical navigation
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP7350470B2 (ja) 解剖学的画像における内視鏡の位置及び光軸の表示
BR102018077046A2 (pt) Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos
JP6559532B2 (ja) Ｘ線透視画像のリアルタイムシミュレーション
EP3544538B1 (en) System for navigating interventional instrumentation
CN106901719B (zh) 用于使工具可视化的坐标系统之间的配准
CN108113693B (zh) 计算机断层摄影图像校正
CN106913332B (zh) 探知位置和取向以使工具可视化
JP7216655B2 (ja) Ｏｓｓ奥行短縮検出システム
CN111466935B (zh) 医学成像设备、用于支持医务人员的方法和存储介质
JP6608546B2 (ja) 生検容器
JP5213201B2 (ja) 体内挿入器具の種類を識別可能な手術支援システム
US12035980B2 (en) System and method for tracking positioning of medical instrument by using augmented reality
US20220096165A1 (en) Interventional device tracking
WO2024107628A1 (en) Systems and methods for robotic endoscope system utilizing tomosynthesis and augmented fluoroscopy
CN115702444A (zh) 用于确定工具定位及其基准标记物的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant