CN107708568B - 配准的基准标记、系统和方法 - Google Patents

配准的基准标记、系统和方法 Download PDF

Info

Publication number
CN107708568B
CN107708568B CN201580081222.3A CN201580081222A CN107708568B CN 107708568 B CN107708568 B CN 107708568B CN 201580081222 A CN201580081222 A CN 201580081222A CN 107708568 B CN107708568 B CN 107708568B
Authority
CN
China
Prior art keywords
fiducial
markers
fiducial markers
clusters
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580081222.3A
Other languages
English (en)
Other versions
CN107708568A (zh
Inventor
德田淳一
波多伸彦
加藤贵久
布莱恩·宁尼
劳伦·肖万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brigham and Womens Hospital Inc
Canon USA Inc
Original Assignee
Brigham and Womens Hospital Inc
Canon USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brigham and Womens Hospital Inc, Canon USA Inc filed Critical Brigham and Womens Hospital Inc
Publication of CN107708568A publication Critical patent/CN107708568A/zh
Application granted granted Critical
Publication of CN107708568B publication Critical patent/CN107708568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3933—Liquid markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28—Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/285—Invasive instruments, e.g. catheters or biopsy needles, specially adapted for tracking, guiding or visualization by NMR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/58—Calibration of imaging systems, e.g. using test probes, Phantoms; Calibration objects or fiducial markers such as active or passive RF coils surrounding an MR active material

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

提供了使用基准标记和处理算法来自动检测和配准医疗图像的示例性方法、装置和系统。通过或者对具有不同数量、尺寸、形状、结构或材料特性的基准标记进行聚类，或者通过使用布置成环形形状的基准标记，其中基准标记的布置是不对称的，然后应用特征提取来提取基准标记对象，并且将基准标记对象与基准框架的模型配准，可以实现自动配准。

Description

配准的基准标记、系统和方法
技术领域
本公开一般而言涉及用于医疗成像的系统、方法和设备，并且更具体地涉及使用基准标记和处理算法对医疗图像的自动检测和配准。
背景技术
图像引导的经皮肿瘤消融被广泛用于治疗诸如肝癌和肾癌的癌症。那些疗法包括冷冻消融、射频消融(RFA)、微波消融(MWA)、激光消融和不可逆电穿孔(IRE)。一些有用的成像模态(modalities)包括超声成像、计算机断层扫描(CT)和核磁共振成像(MRI)。
虽然超声和CT常常是用于将探针引导到目标病变中并监视治疗效果的成像模态，但MRI可以是优选的，因为不使用电离辐射并且在其它模态中肿瘤可能不会呈现出与周围组织的独特对比。手术中MRI可以提供高分辨率的二维或三维图像，具有优异的软组织对比度。此外，MRI在消融疗法期间对热效应的监视提供独特的优势：在冷冻消融中，“冰球”的形成可以作为MR图像上的信号空隙被监视；在RFA、MWA和激光消融中，基于质子共振频率(PRF)移位方法的MR测温法使得能够监视组织中的热剂量。MRI描绘肿瘤和监视热效应的能力的组合使得医师能够在手术期间确保足够的消融余量，从而能够减少肿瘤复发。此外，MRI不会使患者和临床工作人员暴露于电离辐射。
尽管在目标定位和治疗监视方面具有这些优点，但MRI引导带来了技术挑战；典型的MR台架(gantry)不能让医师在获取图像的等角点方便地接近患者。因此需要将患者从台架上移出，以进行探针放置，然后移回台架进行成像。不像其它成像模态(诸如超声和CT荧光检查)那样，这种移入和移出做法使医师无法在插入探针时相对于目标检查探针位置。一种解决方案是在开放配置的扫描仪中治疗患者。开放配置的扫描仪允许医师在扫描期间接近患者。但是，与常规的闭孔扫描仪相比，由于成像能力有限，开放配置的扫描仪尚未成为主流。
另一种解决方案是使用探针引导设备来引导探针。探针引导设备可以在MRI扫描仪外机械地维持探针轨迹。因此，只要目标位置保持不变，探针就可以插入到目标中。依赖于设备的固定方式，这些设备可以被分类为“台式、台架式和地板安装式”系统或“患者安装式”系统。患者安装式系统直接附连到患者的皮肤而不是房间(或图像坐标系统)，因此可以假设系统比其它类别的设备更不易受患者运动的影响。此外，因为患者安装式系统被设计为安装在皮肤上的探针入口点处，并且只需要使探针在入口点附近成角度的机制，所以它能够以相对简单的机制实现探针引导。
因此，仍然需要将设备相对于治疗区域准确地放置在患者身上。另外，即使对于患者安装式系统，也仍然必须考虑患者的运动。身体表面和内部器官都可以独立移动，并且造成设备和目标病变的位移。倘若用于计划和探针放置的成像发生在操作中的不同时间点，那么需要在整个操作中跟踪由于身体的运动而引起的设备的位移。
尽管基准标记(fiducial marker)是用来辅助的整体工具，但是使用基准标记进行图像配准或辅助治疗计划的自动化方法在用来提供准确放置和患者运动时仍然是有限的且容易出错。因此，期望提供一种用于自动化图像分析和图像配准的、不具有上述缺点的系统和方法。
发明内容
根据本发明的至少一个实施例，提供了一种包括自动配准方法的装置。这种方法包括以下步骤：(1)获得医疗设备的图像数据，(2)检测图像数据内的基准标记对象，以及(3)将基准标记对象与基准框架的模型配准。配准中所涉及的医疗设备包括作为医疗设备上的基准框架布置的多个基准标记，基准框架包括基准标记的至少两个集群，每个集群包括不同数量、尺寸、形状(例如，球形、长椭球形、扁椭球形、三轴椭球形、圆柱体、管等等)、结构或材料特性(例如，具有不同磁场响应的合金)的(一个或多个)基准标记；布置成环形形状的至少三个基准标记，其中基准标记的布置是不对称的；或者其组合。
检测图像数据内的基准标记对象的步骤包括以下步骤：应用特征增强来增强基准标记对象，并应用特征提取来提取基准标记对象，其中在不需要特征提取步骤的健壮性的实施例中可以省略第一步骤。对于聚类实施例，这个步骤还包括应用聚类算法来定义基准标记对象的集群。然后为每个基准标记对象或者为基准标记对象的每个集群定义代表点。
将基准标记对象与基准框架的模型配准的步骤包括：代表点的点到点匹配。对于环形实施例，该步骤还包括旋转环形状，直到基准标记对象的代表点与基准框架的模型匹配(然后执行点到点匹配)。
还提供了一种系统，包括：包括基准框架的医疗设备，其中基准框架包括基准标记的至少两个集群，每个集群包括不同的数量、尺寸、形状、结构或材料性质的(一个或多个)基准标记；布置成环形形状的至少三个基准标记，其中基准标记的布置是不对称的；或者其组合。该系统还包括存储用于执行基准配准的方法的计算机可执行程序的非暂态计算机可读存储介质。基准配准的方法包括：检测图像数据内的基准标记对象，并将基准标记对象与基准框架的模型配准。
还提供了一种与断层摄影术一起使用的装置，包括医疗设备和作为医疗设备上的基准框架布置的多个基准标记，基准框架包括基准标记的至少两个集群，每个集群包括不同数量、尺寸、形状、结构或材料特性的基准标记。在一些实施例中，存在基准标记的至少三个集群。
在一些实施例中，该装置被配置为使得基准标记能移除地附连以在医疗设备上形成基准框架，使得通过将杆延伸到医疗设备中的不同孔中或者将基准标记放在医疗设备上的不同凹穴中，基准标记的配置可以例如像移动标记一样容易地布置。
当结合附图和所提供的权利要求阅读本公开的示例性实施例的以下详细描述时，本公开的这些和其它目的、特征和优点将变得清楚。
附图说明
当结合示出本公开的说明性实施例的附图进行以下详细描述时，本公开的其它目的、特征和优点将变得清楚。
图1是阐述根据本公开一方面的、用于自动图像处理的示例处理的步骤的流程图。
图2是由导航软件、针引导机器人和MRI扫描仪组成的针引导机器人系统的系统图。
图3a-3d是来自导航软件的图形用户界面的图像，该界面呈现2D和3D表示中针引导机器人与患者之间的关系。该界面还示出了在当前位置可以作为机器人的目标的范围。
图4a-4c示出了具有环形形状的示例性可配置基准框架。图4a是包含基准的可配置基准框架的图像。图4b是图4a的框架的MR图像，并且图4c是包含基准框架的针引导设备的模型的3D表示。
图5a-5b是具有环形形状和不对称布置的基准标记的示例性基准框架的图。
图6a-6d是在基准框架中具有不同数量(图6a)、尺寸(图6b)、形状(图6c)和结构(图6d)的基准标记的示例性聚类基准框架的图。
贯穿所有附图，除非另有说明，否则相同的标号和字符用来表示所示实施例的相同特征、元件、部件或部分。而且，虽然现在将参考附图详细地描述主体公开，但是这是结合说明性示例性实施例进行的。旨在可以对所描述的示例性实施例进行改变和修改，而不背离由所附权利要求定义的本公开的真实范围和精神。
具体实施方式
实施例是基于提供基准标记、系统和方法的目的，基准标记、系统和方法包括可以使用基于图像的自动设备配准来自适应地补偿由于患者运动引起的设备的位移的软件系统。该系统包括患者安装并且例如可以指引或定位针进入患者的医疗设备、断层摄影成像设备以及导航软件。导航软件从成像设备中取回图像并且可以帮助临床医生例如在图像上确定针插入路径并将其发送到针引导设备。
I.成像和医疗设备
如本文所述的基准标记、系统和方法可以与结合任何断层摄影成像使用的任何医疗设备一起使用。断层摄影成像可以是例如MRI、CT或超声。医疗设备可以是患者安装式设备，诸如像针放置设备。
可以与本发明结合使用的医疗设备的一个示例在全部内容通过引用并入本文的美国专利公开2014/0275979中描述。该参考文献提供了具有双环机制的MRI兼容的身体安装式针引导设备。
可以使用如本文所述的基准标记、系统和方法的其它医疗设备包括用于针放置或用于辅助诊断或手术中的工具放置的其它独立式或患者安装式医疗设备。例如，在图像引导的前列腺活组织检查和近距离放射治疗中，由孔的网格组成的针引导模板常常被用来将针指引到病灶中。
如本文所述的基准标记、系统和方法还可以在医疗行业之外使用。例如，在一些实施例中，三维跟踪传感器用在运动捕获设备中，诸如用于为电影创建逼真的计算机图形模型。
如本文所述的系统和方法的实施例在图1中描述。首先获得102医疗设备。医疗设备的获得还可以包括例如在手术部位上放置或固定到患者身上。接下来，获得104设备和患者的医疗图像数据。这个图像数据是例如MRI或CT数据。然后检测106医疗图像数据中的基准标记对象。为此，首先对数据应用108特征增强108(诸如基于导数的操作)。接下来，应用110特征提取。当基准被布置为集群时，应用112聚类算法。在基准被布置成环形的实施例中，不使用这个步骤(如由虚线所指示的)。然后定义114代表点。下一个步骤涉及配准120基准标记对象。对于基准点被布置成环形的实施例，环被旋转或翻转116。这可以是全部或部分旋转或180°翻转。然后，应用118点到点匹配。根据点到点匹配中的数据，定义122图像上的目标。基于配准，相对于设备计算124目标坐标。然后调整设备以将针引导至目标。
II.机器人控制软件
在一些实施例中，提供了具有三层部件的软件系统，这三层部件包括导航软件200、逻辑控制层206和物理控制接口208(图2)。这些部件被实现为独立的软件处理，并经由例如以太网和通用串行总线(USB)相互通信。但是，在其它实施例中，这些部件中的两个以上被集成到单个软件处理中。
这三个部件的细节如下：
导航软件
导航软件200是系统中的顶层部件，并且在图2中被举例说明。导航软件200例如作为用于医师和/或操作者的主要用户界面工作。其实现方式在本文中被描述为用于3D切片机(3D Slicer，开源医疗图像计算软件[Gering 2001，Andriy 2012])的插件模块，并且通过这个软件或其它软件，从既包括控制台212又包括MRI硬件214的MRI系统204接收图像。导航软件200帮助医师执行以下任务。
针放置计划。医师可以通过指定计划图像上的皮肤进入点和目标来定义针放置的轨迹。该软件沿着任一平面显示计划图像的截面并允许医师通过用鼠标点击来指定点。一旦轨迹被定义，它可以沿着轨迹用一个平面对3D图像重新切片，以便医师可以找到路径周围的任何关键结构和障碍物(图3a-3d)。所定义的轨迹被传送到机器人控制服务器。但是，移动致动器的最终决定优选由站在台架边的医师做出；只有当医生按下脚踏开关时，致动器才被通电。
设备到图像的配准。该软件可以在校准图像中自动检测嵌入在设备中的标记，以将设备配准到图像坐标系统。在下面的章节中描述检测和配准基准标记的本发明实施例的算法的细节。一旦设备被配准，软件就覆盖设备的模型和图像上的可访问范围，以便操作者可以确认所有目标在范围内(图3a-3d)。线性变换矩阵使用例如OpenIGTLink协议[Tokuda2009]经网络传送到机器人控制服务器。
监视和确认探针放置。该软件可以被用来在手术期间的任何时候用覆盖在图像上的3D模型来可视化设备的当前位置和朝向(图3b)。此外，它还可以显示示出以计划的轨迹和目标插入患者的探针的确认图像(图3c)。那些特征允许医师监视设备并确认探针的放置。
逻辑控制层
逻辑控制层(LCL)206位于系统的中间层，并且与导航软件200和低级物理控制层(PCL)208接口。这个层202可以封装设备的硬件和运动学结构，并向上层提供与设备无关的应用程序接口(API)。因此，LCL 206由以下子部件组成：
到上层的TCP/IP网络接口。通过这个接口，LCL从上层接收到硬件的命令(包括目标位置)，并且将硬件的当前状态提供给上层(包括针引导的当前位置以及设备的状态)。它还向上层提供作为运动学计算(参见下面的运动学引擎)的结果的所需针插入深度。这个接口的特有特征在于LCL向上层提供基准框架的配置，其中基于基准的设备到图像的配准被执行，从而保持上层独立于硬件。这个实施例的网络接口符合OpenIGTLink协议[Tokuda2009]，因此它可以与几乎任何与OpenIGTLink兼容的软件进行通信。
运动学引擎。然后，从上层接收到的与硬件无关的命令可以基于针引导设备的运动学被转化为各个致动器的目标位置，并被发送到PCL。另一方面，这个实施例中的从PCI接收到的各个致动器的当前位置被转化为针引导的位置和朝向并被发送到上层。
到下层的串行接口。LCL通过通用串行总线(USB)与下层子部件通信。通过这个示例性接口，各个致动器的目标位置和其它依设备而定的命令被发送到PCL 208，同时设备的当前状态和各个致动器的编码器读数被发送到LCD。通过这个接口交换的信息依赖于运动学结构，但是独立于物理硬件(例如，马达驱动器和编码器)。
物理控制层
物理控制层(PCL)208的角色是提供独立于物理输入/输出(I/O)但依赖于运动学结构的接口。在一些实施例中，PCI在配备有用于与设备控制服务器通信的USB接口以及用于读取来自编码器和脚踏开关的输入并且向马达驱动器给出各个马达的目标速度的数字输入/输出接口的、基于Linux的嵌入式计算机上运行。一旦控制器接收到用于各个致动器的目标位置，它就对各个马达执行闭环PID控制，以将两个环定位在指定位置。在这个过程中，PCL可以可选地继续发送环的当前位置和其它设备状态。
III.基准框架
基准框架包含多个基准标记。标记可以全部是相同的形状和尺寸，诸如全部是球形标记，或者基准框架可以包含具有不同尺寸和/或形状的基准标记。基准标记在基准框架内的放置是环形形状或者两个或更多个集群。如果以环形形状布置，那么基准标记不对称地布置。如果以集群布置，那么集群各自具有不同数量、尺寸、形状、结构或材料特性的(一个或多个)基准标记。如果集群具有方向性，那么必须至少有一个集群，使得该集群的方向性允许该集群以六个自由度(6DOF)固定。对于具有只允许集群在小于6DOF中固定的方向性的集群，必须至少有两个集群。如果集群不具有方向性，那么必须有至少三个集群。在一些实施例中，存在2、3、4、5、6、7、8、9或10个集群。在医疗设备具有四个角的一些实施例中，一般存在位于设备的角处的四个集群。
在一些实施例中，集群中的所有基准标记都在同一个平面中。集群不需要在不同集群中具有相同数量的基准标记。每个集群可以有1、2、3、4、5、6、7、8、9、10、11、12、13、14、15或更多个基准标记。每个集群中基准标记的最大数量以及集群的最大数量受到基准标记和集群与医疗设备的尺寸的相对尺寸的限制(例如，匹配框尺寸的对象将不会现实地具有数十个弹珠(marble)尺寸的集群，因为这会使对象太难看)。可以基于医疗设备所需的配准的期望准确度来选择集群的数量，其中越多的集群提供越高的准确度。在一些实施例中，特别是在使用不同形状的基准标记的实施例中，使用多个球形基准标记。
在一些实施例中，医疗设备或医疗设备的一部分被制造成允许可配置的集群。例如，医疗设备可以具有围绕环或在设备的每个边缘处均等或随机间隔的多个凹穴或孔。然后，当需要配准设备时，基准标记被放在凹穴或孔中(如果是孔，那么基准标记可以具有适合放到孔中的针状突起；将基准标记固定到医疗设备的其它可移除样式也是预期的)。可以基于特定应用所需的配准质量来定义创建的集群的数量和基准标记的数量。图4a是具有环形的基准框架和不对称布置的基准标记的示例实现方式，其中医疗设备的环形部分也允许可配置的集群。该框架由附连至圆形模板的10个完全相同的圆柱形液体容器组成；模板具有沿着直径为110mm的圆的每6度一个的60个孔，从而允许标记的不同配置。每个液体容器通过3D打印制成，并具有直径为10mm并填充有钆-二亚乙基三胺五乙酸(Gd-DTPA)溶液的球形腔体。由于该溶液在T1加权的MR图像上看起来是明亮的球形对象，因此被填充的容器作为标记工作。图4b是沿着平行于圆的平面的框架的MR图像，并且标记的中心点由本文描述的标记检测算法检测。图4c是针引导设备、球形标记和检测到的中心点的模型的3D表示。
球形基准标记
本文描述的本发明的一个实施例包括对球形基准标记的使用。用于这个实施例的算法依靠具有具体直径dM的个体基准标记的球形形状以及基准标记的圆形配置(例如，环形)。这在图5a和5b中举例说明。通过图像处理可以容易地检测球形形状的图像数据。而且，可以容易地制造球形标记。示例性球形基准标记是填充有Gd-DTPA溶液的3D打印的球形液体容器。
球形标记以具有预定义直径DF的2D圆对准，但2D圆具有不规则的间距，使得配置是不对称的，这意味着在围绕中心旋转和/或翻转圆之后，基准框架永远不会看起来相同。给定在圆的中心处定义的基准坐标系的原点，以及其垂直于圆的z轴，第i个标记的坐标可以定义如下：
Figure GDA0002648171820000101
其中NM是球形标记的数量。
实现不对称要求的简单方式是满足以下条件：
δi≠δj(0≤i＜j≤NM)
其中δi是围绕圆的中心的标记i和i+1之间的角度：
δi＝θi+1-θi(1＜i＜NM-1)
δN＝2π-θN
虽然用于一些实施例的基准标记是球形的，但是该术语并不意味着暗示完美球形形态。而是，球形形状的误差量不应当大到足以损害本文如下所述的算法将基准标记定义为具有球形形状并应用对象的增强的能力。
聚类检测到的标记以及集群的识别
我们的基于基准的配准策略要求每个基准标记在断层摄影图像中可见并且具有球形形状，这可以如本文所述的那样容易地增强和检测。那些球形标记被布置成形成至少三个集群。为了简化聚类，我们以这样一种方式定义集群：使得同一集群中任何给定的两个标记之间的距离等于或小于Lc，而不同集群中的标记之间的距离大于Lc mm。给定第i个集群中第j个标记的位置pi,j，
||pij-pkl||≤Lc，其中i＝k
||pij-pkl||＞Lc，其中i≠k (1)
每个集群中基准标记的数量是独特的，使得可以通过对其中识别出的标记进行计数来容易地识别集群。
关于基准标记的配置的先验知识在等式(1)中定义，以对检测到的基准标记进行聚类。给定集群数NC以及同一集群LC中的点之间的最大距离，将检测到的点p1,p2,...,pn按以下步骤聚类到
Figure GDA0002648171820000111
中：
1.将p1指派给C1，并令当前点的索引i＝2。
2.计算pi与每个集群的第一个点之间的距离(如果第一个点已经被指派)。如果pi与集群的第一点Cj之间的距离小于LC，那么将pi指派给Cj。如果没有一个集群的第一个点位于距离pi在LC内，那么将pi指派给没有点被指派的集群之一。
3.将i递增1。如果i≤n，那么重复步骤2。
到那些步骤结束时，所有的点都应当被指派给集群
Figure GDA0002648171820000112
因为我们配置了基准标记，使得每个集群具有独特的基准标记数量，所以可以基于指派给它的点的数量来识别每个集群。
可替代地，可以使用其它众所周知的在聚类分析中使用的聚类算法。例如，可以使用分层聚类或k均值聚类。在分层聚类中，算法从具有一个点的聚类开始，并且基于集群之间的距离逐渐地合并它们，直到集群的数量变成预定数量。k均值聚类将检测到的点分成给定数量的集群，使得“集群内平方和”最小化。集群内平方和被定义为每个点与每个集群中的点的最近平均值之间的平方距离之和。
聚类基准标记
在一些实施例中，在医疗设备上使用的基准框架由聚类的基准标记组成。可以有1、2、3、4、5、6、7、8或更多个集群。每个集群与每个其它集群能区分，因为每个集群将具有不同数量的基准标记、不同尺寸的基准标记、不同形状的基准标记、以不同结构布置在集群中的基准标记或者具有不同材料特性的基准标记。
集群可以包含不同数量的基准标记。如图6a中所例示的，基准框架具有三个不同的集群，其中每个集群具有不同数量(2、3和4个)的基准标记。集群可以包含单个基准标记，或者它可以包含2、3、4、5、6、7、8或更多个基准标记。该数量仅受限于与基准放置在其上的医疗设备相比的基准的相对尺寸。
集群可以包含不同尺寸的基准。如图6b中所例示的，基准框架具有四个不同的集群，其中两个集群具有小基准标记，两个集群具有较大的基准标记。当使用多个尺寸的基准标记时，基准标记必须具有足够不同的尺寸以在图像数据中清楚地区分。
集群可以包含不同形状的基准。如图6c中所例示的，基准框架具有四个不同的集群，其中基准的形状是球、椭圆(扁、长或三轴)、圆柱体或管(例如，形成环、螺旋等等)。在一些实施例中，不同形状的圆柱体(包括高或矮)可以被用作不同的形状。
集群可以以不同的结构排列。如图6d中所例示的，示出了三个集群，每个集群具有每基准框架的三个球形基准标记。在这个图中，一个集群的基准形成等边三角形，而其它集群的基准形成锐角和钝角三角形。不同的结构不需要形成几何形状并且，可替代地，可以是随机的。但是，集群必须将其基准标记配置为使得不同的集群能够彼此区分。
集群可以包含具有不同材料特性的基准，使得基准标记对象在MRI图像或增强的MRI图像中是能区分的。例如，可以使用不同的MRI造影剂或不同浓度的MRI造影剂来创建基准。
在一些实施例中，集群可以包含这些差异中的两个或更多个。例如，一些集群可以具有不同尺寸的基准标记，而另一些可以具有不同形状的基准标记。
IV.检测基准标记
特征增强
可以增强具有球形标记的形状的图像对象，以提高后续步骤中通过特征提取进行标记检测的成功率。有许多方式来执行特征增强。增强图像对象的一种常见做法是基于导数的操作，其中计算相邻体素的一阶或二阶空间导数以增强或抑制图像的具体特征。
在一些实施例中，特征增强是基于导数的操作，即，所谓的Canny边缘检测[Canny，J.，A Computational Approach To Edge Detection，IEEE Trans.Pattern Analysis andMachine Intelligence，8(6)：679-698,，1986]，其中在每个体素处计算高斯的一阶导数以提取图像上对象的边缘。在Canny边缘检测之后，图像上的任何形状都被轮廓化，因此可以在以下步骤中被检查以检测具体的形状。
在一些实施例中，特征增强是基于导数的操作，即，由Frangi提出的滤波器[Frangi AF等人，Med.Image Comput.Comput.Interv.(MICCAI'98)，Lect.NotesComput.Sci.Springer Verlag；1998，第130-7页]。这是Sato等人和Lorenz等人提出的“血管滤波器”的一般化形式；它基于Hessian矩阵的特征值确定在灰度图像中的每个区域处存在管状、板状或斑点状结构的可能性[Y.Sato等人；Proc.CVRMed-MRCAS’97,LNCS，第213-222页，1997；C.Lorenz等人；Proc.CVRMed-MRCAS’97,LNCS，第233-242页，1997]。“血管”函数被定义为：
V0(s)＝0或者
Figure GDA0002648171820000131
如果λ2＞0orλ3＞0 (2)
其中s是用于在给定位置x处的原始图像的Hessian矩阵的尺度，λ1、λ2和λ3是Hessian矩阵的第一、第二和第三特征值(|λ1|≤|λ2|≤|λ3|)，S是Frobenius矩阵范数
Figure GDA0002648171820000132
并且
Figure GDA0002648171820000133
Figure GDA0002648171820000134
α、β和c是控制测量RA、RB和S的灵敏度的阈值。响应于血管函数V0(s)的结构的形状和对比度依赖于特征值之间的关系。例如，当|λ1|≈0、|λ1|＜＜|λ2|、λ2≈λ3、λ2＞0和λ3＞0时，V0(s)增强了明亮的管状结构。响应于函数V0(s)的结构的尺寸依赖于尺度参数s。
实施例的一个实现方式使用由Antiga实现的Frangi做法[Antiga 2008]作为Insight分段和配准工具包(ITK)中的C++类。在这个实现中，RA和RB被进一步一般化，以将上面提到的结构视为N维图像中的M维结构(即，对于斑点M＝0，对于血管M＝1，对于板M＝2)：
Figure GDA0002648171820000141
Figure GDA0002648171820000142
当在框架中使用球形标记时，令M＝0的情况下将血管函数应用于基准框架的图像以增强明亮的球形结构。当在框架中使用管状标记时，令M＝1的情况下应用血管函数以增强它们。
在一些实施例中，在没有应用特征增强操作的步骤的情况下检测基准标记对象。应用特征增强操作的步骤和其它对象增强步骤被用来增加特征提取的健壮性。但是，在一些实施例中，不需要这种健壮性的增加。在此类实施例中，特征提取算法可以能够在不采取这个步骤的情况下将标记与其它对象区分开。因此，可以预期，在一些实施例中，检测图像数据内的基准标记对象的步骤包括：应用特征提取以提取基准标记对象，并且为每个基准标记对象或为基准标记对象的每个集群定义代表点。
特征提取
接下来，使用基于形状的特征提取来检测具有基准标记的形状的图像对象。
特征提取的一个示例是阈值化，其中只有在给定强度范围内的体素被提取为对象。当标记对象内的体素的强度范围是已知的、或者可以假设标记比任何其它对象都呈现更高的体素强度时，这种做法是有用的。
特征提取的另一个示例是模板匹配。在这种做法中，使用称为模板图像的目标形状的小图像。在每个点处评估模板图像与给定图像之间的图像相似度。具有高度相似性的点被识别为检测到的特征的中心。
特征提取的另一个示例是Hough变换。特征提取的一个示例是Hough变换。因此，在一些实施例中，由血管函数增强的对象结构随后由Hough变换算法[Duda RO，HartPE.Comm.ACM.1972；15：11-5]检测。Hough变换算法被广泛用来提取具有由参数集合表示的具体形状(诸如直线、圆和椭圆)的图像对象。该算法可以应用于3D图像中球形对象的检测。
对于球形对象，球的表面可以被参数化为：
(x-a)2+(y-b)2+(z-c)2＝r2 (7)
其中，a、b、c和r是定义3D图像中的球的尺寸和位置的参数。Hough变换算法的第一步是使用所谓的“累加器空间”的投票过程。在检测球形对象时累加器空间的尺寸是四，并且累加器空间上的每个点与原始图像对应。在投票过程中，算法检查原始图像中候选对象(即，高强度区域)中的每个点，并且计算其表面包含给定点的所有球的参数集合(a,b,c,r)。然后将每个参数集作为点映射到累加器空间中以进行“投票”。因此，在累加器空间上的(a,b,c,r)处的这些点的密度表示：在所有点被检查之后，由(a,b,c,r)给出的球表面有多大可能包含原始图像上的高强度区域；与累加器图像上的高密度点对应的球有可能是要被检测的对象。在我们的基准标记检测中，我们将r约束成r＝dM/2。在Hough变换之后，计算每个球形对象的质心的位置。
Hough变换可以用在具有分析形状的对象可以由参数表示的其它实施例中。分析形状的示例包括椭圆形、圆柱形或其它形状，并且对象的表面可以类似于针对球所描述的那样进行参数化。当然，对于一些此类对象，必须增加所使用的参数的数量以便具体描述3D图像中对象的尺寸和位置。
代表点定义
对于每个对象或集群，确定代表点。这个代表点可以是质心。定义代表点的其它方法是例如选择每个基准标记对象的最高点、计算焦点、计算(例如，锥体的)顶点或类似的方法。此类方法在本领域中一般是已知的。
V.配准基准标记
在基准标记配准处理的这个实施例中讨论的最后一个步骤是将标记的模型与检测到的标记进行匹配。这个步骤由四个子步骤组成：1)将二维平面拟合到检测到的标记；2)估计检测到的标记与之对准的圆；3)将模型圆与估计的圆匹配；4)找到与模型和检测到的标记匹配的旋转。第一个子步骤是通过主成分分析(PCA)实现的；PCA将点变换到新的坐标系，其中最大方差沿着第一轴出现，第二大方差沿着第二轴出现，并且最小方差沿着第三轴出现。因此，拟合到这些点的平面由该新坐标系定义。令检测到的标记的坐标为X＝(x1,x2,...,xN)。主成分分解可以使用3×3的矩阵W：
Figure GDA0002648171820000161
其中T是表示被转换到新空间的标记的坐标的N×3矩阵，
Figure GDA0002648171820000162
是表示被移位以使得经验均值为零的标记的坐标的N×3矩阵，(
Figure GDA0002648171820000163
Figure GDA0002648171820000164
其中
Figure GDA0002648171820000165
)。W的第k列与
Figure GDA0002648171820000166
的第k个特征向量对应，其表示新坐标空间中的第k个轴的法向量。由于第三个轴具有最小方差，因此所有标记都在由第一个和第二个轴定义的平面中。
标记的中心可以通过由圆上三个不同点定义的两个弦的垂直二等分线的交点来估计。在我们的实现方式中，从点的所有NC3组合计算出的二等分线被平均，以估计标记的中心。给定从检测到的标记P1、P2和P3中选择的三个标记，由M12和M23表示的P1P2和P2P3的二等分点可以通过下式获得：
m12＝(p1+p2)/2
m23＝(p2+p3)/2
其中p1、p2和p3是P1、P2和P3的二维位置向量。P1P2和P2P3的垂直二等分线的法向量为：
n12＝R90°v12
n23＝R90°v23
其中v12＝p2-p1并且v23＝p3-p2，并且R90°是绕x原点逆时针旋转90度：
Figure GDA0002648171820000171
由H12表示的、M1在P1P2的垂直二等分线上的投影通过下式来计算：
h12＝m12+{(m23-m12)·n12}·n12
两个垂直二等分线的交点C可以使用标量参数a来表示：
c＝m23+a·n23
由于C到M2H上的投影必须是H，因此
Figure GDA0002648171820000172
使用这个关系，标量参数a可以计算如下：
Figure GDA0002648171820000173
因此，
Figure GDA0002648171820000174
将模型中的圆拟合到检测到的标记的变换是：
Tc+(p)＝Rc+·p+c
其中R+＝(w1 T,w2 T,w3 T)。在翻转(或围绕x轴或y轴旋转180度)之后，圆也可以拟合到模型。在这种情况下，变换是：
Tc-(p)＝Rc-·p+c＝Rc+·Rx,180°·p+c
其中Rx,180°是围绕x轴逆时针旋转180度
Figure GDA0002648171820000175
最后一步是找到在变换Tc+或Tc-之后将所有模型标记拟合到检测到的标记的圆的绕轴的旋转。给定关于z轴旋转的角度θ，最终变换可以被描述为：
Tθ(p)＝Rc·Rz(θ)·p+c
其中
Rc＝Rc+或Rc＝Rc-＝Rc+·Rx,180°
我们将拟合优度定义为变换后的模型标记与检测到的标记之间最近点的均方距离：
Figure GDA0002648171820000181
使用这个拟合优度，我们的问题可以被描述为：
Figure GDA0002648171820000182
虽然θ是连续参数，但是我们可以通过假设经变换的模型标记之一总是匹配检测到的标记之一来限制搜索空间。为了将第一个模型标记匹配到第l个检测到的标记：
Figure GDA0002648171820000184
Rz(θ1,l)·p1＝Rc -1(ql-c)
因此，θ1,l是p1与ql′＝Rc -1(ql-c)之间的旋转角度。使用θ1,l，最小化拟合优度E的θ可以被重写为：
Figure GDA0002648171820000183
最后，可以通过将解θ代入Tθ(p)来计算配准变换。
在现实世界应用中，在检测标记和后续处理步骤中存在误差。为了最小化标记检测误差的影响，基于模型与由Tθ(p)识别出的检测到的标记之间的标记的对应性，通过点到点配准来进一步优化配准矩阵。
将基准标记模型配准到检测到的基准标记由用于配准的初始估计的集群到集群匹配以及用于估计的配准的细化的点到点匹配组成。对于集群到集群匹配，为基准标记模型和检测到的基准标记都计算用于每个集群的基准标记的平均位置。使用点到点配准算法来匹配模型中的平均位置和检测到的基准标记。点到点配准给出了配准矩阵的初始估计。一旦模型中的集群和检测到的基准标记匹配，就使用迭代最近点(ICP)算法来匹配各个标记。因为ICP通过使模型中的点与检测到的基准标记之间的距离最小化来匹配它们，所以不需要单独地识别标记。
VI.应用
对于本文所述的基准标记、系统和方法的应用可以使用双环针引导设备来应用。如在美国专利公开2014/0275979中所描述的，双DOF RCM运动是通过双环机制实现的，该双环机制由以固定角度耦合在一起的两个环形旋转台组成。这些环形台可以被手动旋转或者由诸如超声波致动器的马达驱动。通过独立地旋转两个台，可以绕远程中心在两个方向上旋转针引导件。这些台还具有用于PID控制的嵌入式编码器。下部和上部旋转台的目标角度θ1和θ2可以通过下式计算：
Figure GDA0002648171820000191
Figure GDA0002648171820000192
其中，r是上部旋转台的半径，pt是目标位置，pn是上部旋转台与针引导轴的交点，并且pv是上部旋转台与下部环的轴的交点。xn和yn是pn的x和y元素。从针引导件的入口起的针插入深度由下式给出：
d＝|pn-pt| (3)
临床工作流程
使用上述双环设备描述示例性临床工作流程。在这个实施例中，双环设备的主动2-DOF机制绕给定的皮肤进入点倾斜被动针引导件，以使针与到病变的轨迹对准，该病变在患者的3D手术中图像上被识别。提供临床工作流程以在MRI指导下将消融探针引入目标病变中。要注意的是，患者可以在整个手术过程中停留在患者台上，并且只在获取图像时才被移动到扫描仪的台架中；其它步骤可以在台架外执行：
1.第一个三维(3D)图像(计划图像)被获取并传送到导航软件。
2.入口和目标点在导航软件上定义。
3.针引导设备安装在患者身体上，使得其远程运动中心(RCM)被设置到既定的进入点。
4.第二个3D图像(校准图像)被获取并传送到导航软件。
5.导航软件自动检测并定位附连到设备的基准标记。
6.导航软件将设备与图像坐标系之间的空间关系发送给设备控制器，使得控制器可以将目标坐标从图像坐标系变换到设备坐标系。
7.导航软件将目标和入口点的坐标发送到设备控制器。
8.设备控制器驱动致动器以将针引导件对准指定的轨迹。
9.医师使用该引导件将探针插入目标，其中目标确定是手动或自动的。
10.获取3D图像(确认图像)以确认探针放置。
11.步骤9和10可以重复，直到多个探针被正确放置。
一旦探针被放置在计划的位置，就执行冷冻消融。通过在整个冻融循环中获得的MR图像来监视冷冻组织相对于目标肿瘤的程度。
本文给出的系统和方法结合在美国专利公开2014/0275979中描述的具有双环机制的MRI兼容的身体安装式针引导设备进行描述，该专利整体上通过引用并入本文。但是，如本文所述的系统和方法可以与结合任何断层摄影成像使用的医疗设备一起使用。
设备到图像配准
我们通过使用仿真和成像实验来测试我们的配准算法。目标是在各种成像条件下(包括不同的设备位置和朝向、空间分辨率、信噪比(SNR)以及基准标记的配置)评估所提出的配准方法的精度、速度和健壮性。
仿真
通过生成三个平移参数(x,y,z)和欧拉角(α,β,γ)来创建随机刚性变换，其中对于平移参数的范围是(-150mm，150mm)，对于α和γ的范围是(-π,π)并且对于β的范围是(-π/2,π/2)。该变换的矩阵表示是：
T＝Rp+t
其中t＝(x,y,z)并且
Figure GDA0002648171820000211
然后将随机刚性变换应用于作为基准标记的模型的点集。然后，变换基准标记的合成3D栅格图像以来自变换后的点集的给定空间分辨率在3D图像中被渲染。在这个渲染步骤中，考虑部分体积效应，以计算在标记边界处的体素的信号强度。部分体积效应对于配准算法实现比体素尺寸更小的精度是至关重要的。最后，通过将具有可变标准偏差的噪声(诸如高斯噪声)添加到合成3D图像来生成仿真的基准图像。一旦仿真的基准图像被创建，基准框架的变换就通过向图像应用设备到图像配准来估计。将估计的变换与用来生成合成图像的原始变换进行比较。
成像实验
配准算法也使用人体模型的MR图像进行评估。我们创造了一个台，其可以将设备和基准标记以已知位置和朝向置于台架中。在每个位置和朝向上获取3D MR图像，使用所提出的算法执行设备到图像配准以估计设备的位置和朝向，然后将那些估计与由该台给出的位置和方向进行比较。图像是在3T MRI扫描仪(MAGNETOM Verio，西门子医疗，Erlangen，德国)中用身体矩阵线圈和多切片T2加权半傅里叶获取单发涡流自旋回波(HASTE)序列获取的。
评估由于患者运动引起的目标确定误差的仿真
测试了临床手术期间可能的设备移位。这种移动将是由于通过使用在MR引导的肾脏冷冻消融期间获得的3D图像而引起的皮肤表面和内部器官的运动。图像是在探针放置过程中周期性获取的，因此它们表示那些结构的位移。设备放置仿真器被用来估计设备可能的位置和朝向，如果它已经放在皮肤的进入点的话。
成像协议
所有图像都是使用与用于验证设备到图像配准的成像研究相同的扫描仪来获取的。在如本文所述的一个实施例中，在使用相同的身体矩阵线圈和多切片2D MRI的探针放置过程期间获取多切片T2加权的MR图像。
潜在的设备和目标位移的估计
身体安装式设备的具体挑战是机器人的位置和朝向在它被物理地安装在患者身上之前是未知的。如“临床工作流程”部分中所描述的，在检查计划图像时，设备将不在患者身上存在。这个限制会造成设备放置错位，其中在放置之后发现目标不在可访问的范围内。为了允许医师预期设备如何安装在患者身上，我们实现了简单的方法，以在将设备物理地安装到患者身上之前估计设备的可能位置和朝向。
我们的方法是基于由医师计划的皮肤入口点，以及从在手术开始时获取的计划图像生成的患者的3D表面模型。为了生成3D表面模型，通过用阈值二值化图像来对图像中患者的身体进行分段。然后使用行进立方体算法将分段的身体的表面提取为多边形模型。使用表面模型和皮肤进入点的坐标，估计接触身体安装设备的患者身体区域。在这个估计中，我们假设设备主要在基座的环形内边缘接触皮肤，并且环内的区域大致是平面。在这些假设下，设备的朝向可以由环内皮肤区域中的多边形的法向量的均值来近似。设备的位置通过在维持朝向的同时将设备的RCM与皮肤进入点匹配来计算。
分析每个3D图像以估计潜在的设备和目标位移。通过使用开源医疗图像计算软件3D Slicer对患者身体进行手动分段；图像首先用阈值二值化，然后用绘图工具编辑。分段的图像被保存为标签图像，并使用行进立方体算法转换为3D表面模型。在原始3D图像上还识别了皮肤上的探针插入点，并将其映射到表面模型上。基于探针插入点和患者身体的3D表面模型，使用前一部分中描述的方法来估计设备的可能位置和朝向。
使用初始图像和在不同时间点获取的其它图像之间的肾脏区域的图像配准来分析目标的位移。我们假设目标的运动随肾脏移动，并且肾脏的运动近似为刚性配准。为了专注于肾脏，粗略地手动计数以创建掩模，并用它来限制区域以评估两个图像的相似性。刚性配准是基于互信息的最大化。在对同一手术中的所有图像进行分析之后，计算设备在针放置过程中从其原始位置的位移。基于目标和肾脏的估计位移，将目标相对于针引导设备的相对位置计算为潜在的位置误差。
本发明的(一个或多个)实施例也可以由系统或装置的计算机实现，其中计算机读出并执行记录在存储介质(其也可以被更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)，以执行上述(一个或多个)实施例中的一个或多个实施例的功能，和/或计算机包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，并且可以由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以便执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能所执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括独立计算机或独立处理器的网络来读出和执行计算机可执行指令。计算机可以与例如包括MRI硬件和控制台的MRI系统组合或者可以与成像系统分离。计算机可执行指令可以从例如网络或存储介质中提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的储存、光盘(诸如压缩盘(CD)、数字多样化盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等等当中的一种或多种。
定义
参考本描述，阐述了具体细节以便提供对所公开的示例的透彻理解。在其它情况下，众所周知的方法、过程、部件和电路没有详细描述，以免不必要地延长本公开。
应当理解的是，如果元件或部分在本文中被称为“在另一个元件或部分上”、“抵靠”、“连接到”或“耦合到”另一个元件或部分，那么它可以直接在另一个元件或部分上、抵靠、连接或耦合到另一个元件或部分，或者可以存在中间元件或部分。相反，如果元件被称为“直接在另一个元件或部分上”、“直接连接到”或“直接耦合到”另一个元件或部分，那么不存在中间元件或部分。当术语“和/或”被使用时，如果提供的话，那么它包括一个或多个相关联列出的项的任何和所有组合。
在本文中可以使用空间相对术语(诸如“在...之下”、“在...下面”、“在...下方”、“下部”、“在...之上”、“上部”、“近”、“远”等)描述一个元件或特征与另一个(或多个)元件或(一个或多个)特征的(一个或多个)的关系，如各个图中所示。但是，应当理解的是，空间相对术语旨在涵盖除附图中描绘的朝向之外的设备在使用或操作中的不同朝向。例如，如果附图中的设备被翻转，那么被描述为在其它元件或特征“下方”或“下面”的元件将被定位在所述其它元件或特征“之上”。因此，相对空间术语(诸如“在...下方”)可以涵盖上方和下方的朝向。设备可以以其它方式定向(旋转90度或在其它朝向)，并且相应地解释本文使用的空间相对描述符。类似地，在适用的情况下，相对空间术语“近”和“远”也可以是可互换的。
如本文所使用的，术语“大约”意味着例如在10％以内、在5％以内或更少。在一些实施例中，术语“大约”可以意味着在测量误差内。
本文可以使用术语第一、第二、第三等来描述各种元件、部件、区域、零件和/或部分。应当理解的是，这些元件、部件、区域、零件和/或部分不应当受这些术语的限制。这些术语仅用来区分一个元件、部件、区域、零件或部分与另一个区域、零件或部分。因此，下面讨论的第一元件、部件、区域、零件或部分可以被称为第二元件、部件、区域、零件或部分，而不背离本文的教导。
如本文所使用的，上下文中使用的用于区分基准标记的集群的“能区分”意味着各种集群的配置(数量、尺寸、形状、结构或材料特性)可以以至少在物理框架上的标记的集群与图像上检测到的标记的集群之间确立一一对应关系的确定性与其它集群中的每一个区分。一旦集群被区分，就可以在图像坐标系中定位该集群。
本文所使用的术语仅用于描述特定实施方式的目的，而并非旨在限制。如本文所使用的，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。应当进一步理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元件和/或部件的存在，但并不排除未明确陈述的一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。
在描述附图中所示的示例实施例时，为了清楚起见而采用了具体的术语。但是，本专利说明书的公开不限于所选择的具体术语，并且应当理解的是，每个具体元件包括以类似方式操作的所有技术等同物。
虽然已经参考示例性实施例描述了本公开，但是应当理解的是，本公开不限于所公开的示例性实施例。以下权利要求的范围应当被赋予最宽泛的解释，以便涵盖所有此类修改以及等同的结构和功能。

Claims (17)

1.一种自动配准的方法，包括以下步骤：
获得医疗设备的图像数据，医疗设备包括布置为医疗设备上的基准框架的多个基准标记，所述基准框架包括：
(a)基准标记的至少两个集群，每个集群包括不同数量、尺寸、形状、结构或材料特性的基准标记，
(b)布置成环形形状的至少三个基准标记，其中基准标记的布置是不对称的，或者
(c)(a)和(b)的组合；
通过以下操作来检测图像数据内的基准标记对象：
对图像数据应用特征增强来增强基准标记对象，该特征增强包括基准标记的形状数据，
基于基准标记的形状数据应用特征提取来提取基准标记对象，以及
对于包括所述基准标记的至少两个集群的医疗设备的图像数据，应用聚类算法以定义基准标记对象的集群；
为每个所提取的基准标记对象或基准标记对象的每个集群定义代表点；以及
将基准标记对象与基准框架的模型进行配准，该配准步骤包括：
(a)对于包括所述基准标记的至少两个集群的医疗设备的图像数据，将每个集群的代表点与基准框架的模型进行点到点匹配，或者
(b)对于所述布置成环形形状的至少三个基准标记的图像数据，旋转该环形形状，直到基准标记对象的代表点与基准框架的模型匹配为止。
2.如权利要求1所述的方法，其中特征增强包括Hessian矩阵。
3.如权利要求2所述的方法，还包括使用Hessian矩阵的特征值来增强可能属于基准标记对象的体素。
4.如权利要求3所述的方法，其中Hessian矩阵的特征值包括方向性并且定义基准标记对象的形状信息。
5.如权利要求1所述的方法，其中特征提取包括Hough变换算法。
6.如权利要求1所述的方法，其中定义代表点包括为每个基准标记对象或基准标记对象的每个集群计算质心。
7.如权利要求1所述的方法，还包括在集群代表点与基准框架的模型的点到点匹配之后，进行每个基准标记对象的点到点匹配。
8.如权利要求1所述的方法，其中所述多个基准标记是球形的。
9.如权利要求1所述的方法，其中所述基准标记的至少两个集群包括每集群一个到六个之间的基准标记，并且其中每个集群具有不同数量的基准标记。
10.如权利要求1所述的方法，具有基准标记的两个到十个集群，所述基准标记的两个到十个集群包括每集群两个到六个之间的基准标记，并且每个集群内的基准标记的空间布置是不同的。
11.如权利要求10所述的方法，具有三个或四个集群。
12.如权利要求1所述的方法，包括基准标记的至少三个集群，所述基准标记的至少三个集群包括每集群一个到六个之间的基准标记，其中每个集群包括具有不同尺寸的至少一个基准标记。
13.如权利要求1所述的方法，其中所述多个基准标记包括球形、长椭球形、扁椭球形、三轴椭球形、圆柱体和管中的至少三个。
14.如权利要求1所述的方法，其中医疗设备还包括：
基座，适合放在身体表面上；以及
开口，用于提供通过医疗设备对身体表面的视觉和物理访问，并且基准标记以围绕医疗设备中的开口的环形形状被布置。
15.一种系统，包括：
医疗设备，包括基准框架，其中基准框架包括：
(a)基准标记的至少两个集群，每个集群包括不同数量、尺寸、形状、结构或材料特性的基准标记，
(b)布置成环形形状的至少三个基准标记，其中基准标记的布置是不对称的，或者
(c)(a)和(b)的组合；以及
非暂态计算机可读存储介质，存储用于执行基准配准的方法的计算机可执行程序，所述方法包括：
通过以下操作来检测图像数据内的基准标记对象：
对图像数据应用特征增强来增强基准标记对象，该特征增强包括基准标记的形状数据，
基于基准标记的形状数据应用特征提取来提取基准标记对象，以及
对于包括所述基准标记的至少两个集群的医疗设备的图像数据，应用聚类算法以定义基准标记对象的集群；
为每个所提取的基准标记对象或基准标记对象的每个集群定义代表点；以及
将基准标记对象与基准框架的模型进行配准，该配准步骤包括：
(a)对于包括所述基准标记的至少两个集群的医疗设备的图像数据，将每个集群的代表点与基准框架的模型进行点到点匹配，或者
(b)对于所述布置成环形形状的至少三个基准标记的图像数据，旋转该环形形状，直到基准标记对象的代表点与基准框架的模型匹配为止。
16.如权利要求15所述的系统，其中医疗设备还包括适于放在身体表面上的基座和用于提供通过医疗设备对身体表面的视觉和物理访问的开口，并且基准标记以围绕开口的环形形状被布置。
17.一种自动配准的方法，包括以下步骤：
获得医疗设备的图像数据，医疗设备包括布置为医疗设备上的基准框架的多个球形基准标记，所述基准框架包括布置成环形形状的至少三个基准标记，其中基准标记的布置是不对称的；
通过以下操作来检测图像数据内的基准标记对象：
对图像数据应用特征增强来增强基准标记对象，该特征增强包括球形基准标记的形状数据，以及
基于球形基准标记的形状数据应用特征提取来提取基准标记对象；
为每个所提取的基准标记对象定义代表点；以及
将基准标记对象与基准框架的模型进行配准，该配准步骤包括旋转所述环形形状直到基准标记对象的代表点与基准框架的模型匹配为止。
CN201580081222.3A 2015-06-30 2015-06-30 配准的基准标记、系统和方法 Active CN107708568B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/038549 WO2017003453A1 (en) 2015-06-30 2015-06-30 Fiducial markers, systems, and methods of registration

Publications (2)

Publication Number Publication Date
CN107708568A CN107708568A (zh) 2018-02-16
CN107708568B true CN107708568B (zh) 2020-11-20

Family

ID=57608760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081222.3A Active CN107708568B (zh) 2015-06-30 2015-06-30 配准的基准标记、系统和方法

Country Status (5)

Country Link
EP (1) EP3316784B1 (zh)
JP (1) JP6609330B2 (zh)
CN (1) CN107708568B (zh)
ES (1) ES2886675T3 (zh)
WO (1) WO2017003453A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3057757B1 (fr) 2016-10-21 2021-04-16 Medtech Dispositif et procede de recalage automatique pour des images intra operatoires 3d
JP6974030B2 (ja) * 2017-05-09 2021-12-01 賢一郎 蓮見 レジストレーションマーカー、レジストレーションマーカーの活用プログラム、及びロボットシステムの作動方法
JP6999895B2 (ja) * 2017-07-06 2022-01-19 株式会社島津製作所 放射線撮影装置および放射線画像検出方法
US11202652B2 (en) * 2017-08-11 2021-12-21 Canon U.S.A., Inc. Registration and motion compensation for patient-mounted needle guide
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10893911B2 (en) 2017-11-26 2021-01-19 Canon U.S.A., Inc. Automated image cropping for enhanced automatic device-to-image registration
EP3509013A1 (en) * 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
JP7252268B2 (ja) 2018-03-17 2023-04-04 キヤノン ユーエスエイ，インコーポレイテッド ３ｄ医用画像データにおける皮膚表面上の仮想デバイス配置のための方法
US10780507B2 (en) 2018-06-17 2020-09-22 Arevo, Inc. Embedding fiducial marks into articles of manufacture with non-trivial dimensional variations
US20200121219A1 (en) * 2018-10-19 2020-04-23 Canon U.S.A., Inc. Structure masking or unmasking for optimized device-to-image registration
US11786307B2 (en) * 2018-10-19 2023-10-17 Canon U.S.A., Inc. Visualization and manipulation of results from a device-to-image registration algorithm
CN111345886A (zh) * 2018-12-21 2020-06-30 深圳先进技术研究院 磁共振图像与超声换能器坐标系转换方法、装置、设备及存储介质
EP4069128A4 (en) * 2019-12-05 2023-05-03 Xact Robotics Ltd. METHODS AND SYSTEMS FOR ASSISTING A USER IN POSITIONING AN AUTOMATIC MEDICAL DEVICE RELATIVE TO A PATIENT'S BODY
CN111388091A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 光标尺、坐标系配准的方法
US11607277B2 (en) * 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
WO2021258113A1 (en) 2020-06-19 2021-12-23 Remedy Robotics, Inc. Systems and methods for guidance of intraluminal devices within the vasculature
CN111759463B (zh) * 2020-07-31 2022-03-15 南京普爱医疗设备股份有限公司 一种提高手术机械臂定位精度的方法
US11887347B2 (en) 2020-08-06 2024-01-30 Canon U.S.A., Inc. Device-to-image registration method, apparatus, and storage medium
WO2023278789A1 (en) 2021-07-01 2023-01-05 Remedy Robotics, Inc. Vision-based position and orientation determination for endovascular tools
US11707332B2 (en) 2021-07-01 2023-07-25 Remedy Robotics, Inc. Image space control for endovascular tools
CN113591977A (zh) * 2021-07-29 2021-11-02 武汉联影智融医疗科技有限公司 点对匹配方法、装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4923459A (en) * 1987-09-14 1990-05-08 Kabushiki Kaisha Toshiba Stereotactics apparatus
CN101035462A (zh) * 2004-09-01 2007-09-12 皇家飞利浦电子股份有限公司 基于磁共振标记的位置和方向探针
CN101257844A (zh) * 2005-04-29 2008-09-03 范德比特大学 利用图像导航提供到达活体耳蜗的通路的系统和方法
JP2009233294A (ja) * 2008-03-28 2009-10-15 Bionic Co Ltd Ｃｔ撮影用マーカーおよび３次元断層撮影像の作成方法
CN101861125A (zh) * 2007-10-01 2010-10-13 皇家飞利浦电子股份有限公司 定量临床和临床前成像
CN102076378A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 用于近距离放射治疗的方法和系统
CN102334044A (zh) * 2009-02-25 2012-01-25 皇家飞利浦电子股份有限公司 混合型 pet/mr 系统中mr 线圈的衰减校正
WO2013116862A1 (en) * 2012-02-03 2013-08-08 The Regents Of The University Of Michigan Retained object tag and detection method
WO2013163381A1 (en) * 2012-04-26 2013-10-31 Focal Therapeutics, Inc. Surgical implant for marking soft tissue
CN103918008A (zh) * 2011-11-08 2014-07-09 皇家飞利浦有限公司 用于交互式图像标注的系统与方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613013A (en) * 1994-05-13 1997-03-18 Reticula Corporation Glass patterns in image alignment and analysis
US6119032A (en) * 1997-12-31 2000-09-12 U.S. Philips Corporation Method and system for positioning an invasive device by magnetic resonance (MR) imaging of an MR visible device
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
JP2001017422A (ja) * 1999-07-08 2001-01-23 Toshiba Iyo System Engineering Kk 画像処理装置および画像処理装置用マーカー部材
US6381485B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies, Inc. Registration of human anatomy integrated for electromagnetic localization
DE10009166A1 (de) * 2000-02-26 2001-08-30 Philips Corp Intellectual Pty Verfahren zur Lokalisierung von Objekten in der interventionellen Radiologie
JP4408067B2 (ja) * 2004-06-11 2010-02-03 国立大学法人大阪大学 ３次元断層撮影像作成方法およびコンピュータシステム
JP4542877B2 (ja) * 2004-11-18 2010-09-15 イマグノーシス株式会社 医用撮影用マーカー
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
GB0602739D0 (en) * 2006-02-10 2006-03-22 Ccbr As Breast tissue density measure
WO2007100293A1 (en) * 2006-03-01 2007-09-07 Sidec Technologies Ab Method of applying alignment markers for cryo-microscopy
US9408627B2 (en) * 2006-03-07 2016-08-09 Hirdesh SAHNI Image guided whole body stereotactic needle placement device
JP4126318B2 (ja) * 2006-06-23 2008-07-30 三菱重工業株式会社 放射線治療装置制御装置および放射線治療装置の制御方法
DK2211749T3 (en) * 2007-04-16 2019-02-04 Neuroarm Surgical Ltd METHODS, DEVICES AND SYSTEMS THAT CAN BE USED FOR REGISTRATION
CN101675355B (zh) * 2007-05-04 2017-04-19 皇家飞利浦电子股份有限公司 具有对由mr线圈导致的辐射吸收进行校正的混合mr/pet
US8175677B2 (en) * 2007-06-07 2012-05-08 MRI Interventions, Inc. MRI-guided medical interventional systems and methods
US8503745B2 (en) * 2009-05-13 2013-08-06 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
GB0908784D0 (en) * 2009-05-21 2009-07-01 Renishaw Plc Apparatus for imaging a body part
SG178536A1 (en) * 2009-08-22 2012-03-29 Univ Leland Stanford Junior Imaging and evaluating embryos, oocytes, and stem cells
JP2016513540A (ja) * 2013-03-15 2016-05-16 ザ クリーブランド クリニック ファウンデーションＴｈｅ Ｃｌｅｖｅｌａｎｄ ＣｌｉｎｉｃＦｏｕｎｄａｔｉｏｎ 手術中の位置調整および誘導を容易にするシステム
US9222996B2 (en) 2013-03-15 2015-12-29 The Brigham And Women's Hospital, Inc. Needle placement manipulator with two rotary guides
US20150098636A1 (en) * 2013-10-09 2015-04-09 United Sciences, Llc Integrated tracking with fiducial-based modeling

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4923459A (en) * 1987-09-14 1990-05-08 Kabushiki Kaisha Toshiba Stereotactics apparatus
CN101035462A (zh) * 2004-09-01 2007-09-12 皇家飞利浦电子股份有限公司 基于磁共振标记的位置和方向探针
CN101257844A (zh) * 2005-04-29 2008-09-03 范德比特大学 利用图像导航提供到达活体耳蜗的通路的系统和方法
CN101861125A (zh) * 2007-10-01 2010-10-13 皇家飞利浦电子股份有限公司 定量临床和临床前成像
JP2009233294A (ja) * 2008-03-28 2009-10-15 Bionic Co Ltd Ｃｔ撮影用マーカーおよび３次元断層撮影像の作成方法
CN102076378A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 用于近距离放射治疗的方法和系统
CN102334044A (zh) * 2009-02-25 2012-01-25 皇家飞利浦电子股份有限公司 混合型 pet/mr 系统中mr 线圈的衰减校正
CN103918008A (zh) * 2011-11-08 2014-07-09 皇家飞利浦有限公司 用于交互式图像标注的系统与方法
WO2013116862A1 (en) * 2012-02-03 2013-08-08 The Regents Of The University Of Michigan Retained object tag and detection method
WO2013163381A1 (en) * 2012-04-26 2013-10-31 Focal Therapeutics, Inc. Surgical implant for marking soft tissue

Also Published As

Publication number Publication date
EP3316784A4 (en) 2019-08-07
JP2018529399A (ja) 2018-10-11
JP6609330B2 (ja) 2019-11-20
WO2017003453A1 (en) 2017-01-05
EP3316784B1 (en) 2021-08-04
EP3316784A1 (en) 2018-05-09
CN107708568A (zh) 2018-02-16
ES2886675T3 (es) 2021-12-20

Similar Documents

Publication Publication Date Title
CN107708568B (zh) 配准的基准标记、系统和方法
US10420626B2 (en) Fiducial markers, systems, and methods of registration
US11202652B2 (en) Registration and motion compensation for patient-mounted needle guide
Nam et al. Automatic registration between 3D intra-operative ultrasound and pre-operative CT images of the liver based on robust edge matching
US9247880B2 (en) Image fusion for interventional guidance
CN104169969B (zh) 多模态可变形配准
Nicolau et al. An augmented reality system to guide radio‐frequency tumour ablation
US9993211B2 (en) System and method for automatic detection and registration of medical images
EP2081494A2 (en) Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
Šuligoj et al. Automated marker localization in the planning phase of robotic neurosurgery
Tokuda et al. Configurable automatic detection and registration of fiducial frames for device-to-image registration in MRI-guided prostate interventions
EP3564903A1 (en) Lower to higher resolution image fusion
Hrinivich et al. Simultaneous automatic segmentation of multiple needles using 3D ultrasound for high‐dose‐rate prostate brachytherapy
US9681856B2 (en) Image fusion for interventional guidance
Aylward et al. Intra-operative 3D ultrasound augmentation
Alam et al. An investigation towards issues and challenges in medical image registration
US10945709B2 (en) Systems, methods and computer readable storage media storing instructions for image-guided interventions based on patient-specific models
EP3292835B1 (en) Ent image registration
Nagy et al. A framework for semi-automatic fiducial localization in volumetric images
Hellwich et al. Patient registration using photogrammetric surface reconstruction from smartphone imagery
Tuna et al. Differential image based robot to MRI scanner registration with active fiducial markers for an MRI-guided robotic catheter system
Gomes‐Fonseca et al. Surface‐based registration between CT and US for image‐guided percutaneous renal access–A feasibility study
Tuna et al. MRI Distortion Correction and Robot-to-MRI Scanner Registration for an MRI-Guided Robotic System
Šušteršič et al. Application of active contours method in assessment of optimal approach trajectory to brain tumor
Baluwala et al. Automatic landmark detection using statistical shape modelling and template matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant