CN114025658A - 用于使用血管路线图的运动调整设备引导的系统和方法 - Google Patents

用于使用血管路线图的运动调整设备引导的系统和方法 Download PDF

Info

Publication number
CN114025658A
CN114025658A CN202080047404.XA CN202080047404A CN114025658A CN 114025658 A CN114025658 A CN 114025658A CN 202080047404 A CN202080047404 A CN 202080047404A CN 114025658 A CN114025658 A CN 114025658A
Authority
CN
China
Prior art keywords
images
motion
patient
medical device
interventional medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080047404.XA
Other languages
English (en)
Inventor
M·G·瓦格纳
P·F·莱斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wisconsin Alumni Research Foundation
Original Assignee
Wisconsin Alumni Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wisconsin Alumni Research Foundation filed Critical Wisconsin Alumni Research Foundation
Publication of CN114025658A publication Critical patent/CN114025658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于创建患者的运动调整或运动补偿图像以引导介入性医疗手术的系统和方法。该方法包括显示静态路线图和多个动态图像，以使用运动变换示出在静态路线图上对准的介入性医疗设备。静态路线图上的介入性医疗设备的对准是基于以下各项中的一项的用户选择：用户选择的介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像，或者静态路线图相对于介入医疗设备的运动调整以产生示出患者运动的多个图像。

Description

用于使用血管路线图的运动调整设备引导的系统和方法
关联申请的交叉引用
本申请基于2019年6月27日提交的第16/455,331号美国专利申请，要求其权益，并要求其优先权，在此通过引用整体并入本文。
关于联邦资助研究的说明
本发明是在国家卫生研究院授予的EB024553项下的政府支持下完成的。政府具有本发明中的某些权利。
背景技术
本发明涉及介入放射系统和方法。更具体地，本发明涉及用于在存在患者运动的情况下引导介入设备部署的系统和方法。
介入性放射学是现代医疗保健的一个关键组成部分，可降低风险，加快患者的康复时间。然而，这些手术可能成本高昂，更重要地，需要在许多复杂系统之间进行完全协调，才能取得成功。一般地，安排这些手术的介入放射科医生必须克服许多不同的问题。例如，在手术过程中，放射科医生不仅必须能够有效地操纵自己，还必须能够在相对狭窄的空间内操纵他们的器械。这可能特别困难，因为典型的成像系统仅允许接近患者的紧密间隙(例如，钻孔bore)，并且不幸的是，在这些紧密间隙中，手术期间所需的器械往往很麻烦。
困难还源于对源自患者的从理想的偏离，这可能包括来自患者移动(例如呼吸)的伪影、不同大小和形状的解剖结构，等等。进一步，其他困难源于在允许的时间内准确获取完成手术所需的图像。例如，一些解剖结构、器械等等，在图像中可能不够清晰或明亮。其他示例源于成像系统，其中，图像必须在特定时间量内被获取、被处理和被显示。如果这些问题同时出现，诸如在患者移动时获取难以查看的解剖区域图像，则它们可能变得特别困难。因此，介入性放射学领域在很大程度上依赖于介入放射科医生的技能和知识来克服这些问题并做出有效完成手术的决策。
典型并且广泛使用的介入性放射学手术的示例是用于微创手术的荧光透视(fluoroscopic)图像引导。这种手术，特别是经动脉栓塞手术，目前在处理原发性和转移性肝肿瘤患者中起着关键作用。在肝栓塞手术中，经由荧光透视将导管引导至内脏动脉或肝动脉的特定分支，其中颗粒或微球直接输送至肿瘤的供血动脉(例如，防止肿瘤进一步生长，减少肿瘤的血液供应，提供局部治疗等)。由于靶向区域，准确、快速地放置导管对于减少手术时间和实现良好的肿瘤结果至关重要。为了有效放置器械(如导管、导丝等)，需要显示该区域以及器械的图像。然而，一些解剖结构，包括脉管系统，几乎不可能从荧光透视图像中辨别出来。因此，通常，在放置或操作器械之前，通过向脉管系统区域注射造影剂、获取造影增强血管系统的透视图像并在造影增强脉管系统上显示静态2D数字减影血管造影(“DSA”)来创建脉管系统的参考。
DSA血管图像可与实时荧光透视图像重叠或并排显示，同时操纵器械，直到器械形状与期望的血管分支的路径一致。不幸地，这种方法可能很困难，而且很费时，因为这些器械经常需要重新定位。更重要地，这种方法未能考虑到该特定解剖区域的性质，具体地，由于患者的移动(例如，呼吸运动、心脏运动等)，脉管系统的真实形状持续地移动和改变形状。因此，即使在指示患者在获取要进行数字减影的血管图像期间进行屏气时，也固有地引入了减影伪影。更进一步地，不精确的图像引导可能源于考虑患者移动的失败，因为DSA图像仅在特定时间点显示脉管系统的静态图像。
因此，期望用于介入设备引导的改进的系统和方法。
发明内容
本发明提供了系统和方法，该系统和方法通过提供用于创建患者的运动调整或运动补偿图像来引导介入性医疗手术，从而克服上述缺点。该方法包括显示静态路线图和多个动态图像，以使用运动补偿示出在静态路线图上对准的介入性医疗设备。静态路线图上的介入性医疗设备的对准是基于以下各项中的一项的用户选择：介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像，或者静态路线图相对于介入性医疗设备的运动调整以产生示出患者运动的多个图像。
根据本公开的另一个非限制性示例，提供了一种用于创建患者的运动调整的图像的方法，以引导介入性医疗手术。该方法包括获取具有非造影增强脉管系统的患者的第一多个图像，获取具有对比增强脉管系统的患者的第二多个图像，以及使用第一多个图像和第二多个图像生成患者脉管系统的静态路线图。该方法还包括使用第一多个图像和第二多个图像生成患者的运动模型，使用部署在患者内的介入性医疗设备获取患者的第三多个图像，以及使用第三多个图像生成患者或介入性医疗设备中的一个的运动跟踪数据。该方法还包括使用运动跟踪数据和运动模型生成运动变换，并显示静态路线图和第三多个图像，以显示使用运动变换在静态路线图上对准的介入医疗设备。静态路线图上的介入性医疗设备的对准是基于以下各项中的一项的用户选择的介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像，或者静态路线图相对于介入性医疗设备的运动调整以产生示出患者运动的多个图像。
根据本公开的另一个非限制性示例，提供了一种荧光透视成像系统，包括被耦合在一端的X射线源组件，和被耦合在另一端的X射线检测器阵列组件以及计算机系统。计算机系统配置为控制X射线源组件和X射线检测器阵列组件以获取具有非造影增强脉管系统的患者的第一多个图像，并控制X射线源组件和X射线检测器阵列组件以获取具有造影增强脉管系统的患者的第二多个图像。计算机系统被进一步编程为使用第一多个图像和第二多个图像生成患者脉管系统的静态路线图，使用第一多个图像和第二多个图像生成患者的运动模型，以及控制X射线源组件和X射线检测器阵列组件，以使用部署在患者体内的介入性医疗设备获取患者的第三多个图像。计算机系统还被配置为使用第三多个图像生成患者或介入性医疗设备中的一个的运动跟踪数据，使用运动跟踪数据和运动模型生成运动变换，以及显示静态路线图和第三多个图像，以使用运动变换显示在静态路线图上对准的介入性医疗设备。静态路线图上的介入医疗设备的对准是基于以下各项中的一项的用户选择：介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像，或者静态路线图相对于介入医疗设备的运动调整以产生示出患者运动的多个图像。
本发明的前述以及其他方面和优点将从以下描述而显现。在该说明书中，参考形成其一部分的附图，附图中作为图解示出本发明的优选实施例的附图。然而，这样的实施例不必要表示本发明的全部范围，并因参考权利要求和本文以用于解释本发明的范围。
附图说明
图1是根据本公开的一些非限制性示例的示例性“C型臂”X射线成像系统的框图。
图2是根据本公开的一些非限制性示例的处理架构的示意图的示例。
图3是根据本公开的系统的一个非限制性示例的特定流程。
图4是根据本公开的阐述用于创建脉管系统模型的过程的一个非限制性示例的流程图。
图5是根据本公开的在生成动态脉管系统模型中使用了叠加样条网格和图像块的脉管系统的图像。
图6是根据本公开的在生成动态脉管系统模型中使用的欧拉数和相应二值化图像的图表。
图7是根据本公开的阐述在动态脉管系统模型内生成呼吸模型的一个非限制性示例的流程图。
图8是根据本公开的在生成动态脉管系统模型中使用的具有叠加的和彩色的边缘的荧光透视图像。
图9是根据本公开的阐述在动态脉管系统模型内生成实时跟踪系统的一个非限制性示例的流程图。
图10是根据本公开的示出了动态血管模型的定量评估的一组相关图。
图11是示出了从动态脉管系统模型生成的地面真值图像和估计的脉管系统图像之间的比较的一组相关图像，。
图12是根据本公开的用于在荧光透视图像内自动分割医疗器械的神经网络的一个非限制性示例的架构的示意图。
图13是以四个示例提供对典型DSA手术、图12的神经网络的输出和地面真值图像之间的结果进行比较的视觉表示的一组图像。
图14是示出根据本公开的实施二维(“2D”)荧光透视引导系统的示例的框图。
图15是根据本公开的示出了视线另一2D荧光透视引导系统的示例的另一框图。
图16是示出了脉管系统的简化的移动的图像，例如，仅限于由呼吸引起的全身运动。
图17是根据本公开生成的一组两个荧光透视图像。
图18是根据本公开生成的一组另外两个荧光透视图像。
图19是示出了用户在运动补偿和运动调整之间进行选择的显示的示例。
图20是根据本公开的示出了实现三维(“3D”)荧光透视引导系统的一个非限制性示例的框图。
图21是根据本公开的呼吸状态与脉管系统在Z维上的相对运动的关系图。
具体实施方式
在详细解释本发明的非限制性示例之前，应当理解，本发明在本申请中不限于在下面说明书中阐述或附图中示出的构造细节和部件配置。本发明能够以其他非限制性示例实施，并且能够以各种方式实践或执行。另外，要理解的是，使用本文所使用的措辞及术语是为了描述的目的并且不应被认为是限制性的。此外，本文中使用的“右”、“左”、“前”、“后”、“高”、“低”、“上”、“下”、“顶”、或“底”及其变体是为了描述的目的而不应该被认为是限制性的。在本文中，“包括“(including)、“包括”(comprising)或“具有”(having)及其变体的使用意味着涵盖之后列出的条目和它们的等效物以及附加的条目。除非另外指定或限制，术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛地使用，并且涵盖直接和间接的安装、连接、支撑和耦合。此外，“连接”和“耦合”不仅限于物理的或机械的连接或耦合。
除非另有规定或限制，否则类似于“A、B和C中的至少一者”、“A、B和C中的一者或多者”等的短语意指A、B或C，或A、B和/或C的任何组合，包括与A、B和/或C的多个或单个实例的组合。
如本文所用，术语“控制器”包括如下设备：能够执行计算机程序的任何设备，或包括被配置为执行所描述的功能的逻辑门的任何设备。例如，这可以包括处理器、微控制器、现时可编程门阵列、可编程逻辑控制器等。
如上文所描述的，当前的荧光透视引导系统无法解决患者移动的问题(例如，由于呼吸、心脏移动等引起的移动)。这些问题包括从DSA手术中引入的脉管系统不断移动的伪影，因此，DSA图像仅是特定时刻处脉管系统的快照。这可能会导致引导不精确，因为目标区域是静态的，即使脉管系统和器械(例如，由于移动的脉管系统)持续地运动。附加地，没有运动补偿的静态DSA图像可能需要介入放射科医生重新定位、移除或重新插入器械以完成该手术。手术时间的增加增加了患者的辐射暴露，可能需要附加剂量的造影剂才能有效地看到器械
先前已作出尝试以解决并补偿患者的运动。例如，外部传感器(例如，心电图(“ECG”)电极、超声波传感器)已用于个体，以基于与呼吸周期的特定时间点对应的传感器数据从一系列先前拍摄的图像中选择和显示特定的荧光透视图像。这些基于传感器的尝试在很大程度上依赖于这些外部传感器，这些外部传感器通常无法有效地与特定的脉管系统表示相关联，并且会阻碍手术图像的使用。其他先前的用于运动补偿的基于成像的系统要么需要在视场内使用外部传感器，要么对应用做出不精确的假设(例如，假设周围软组织与脉管系统相对应，而事实上，荧光透视图像中可见的高造影对象与脉管系统相比以不同的速度或方向移动)。
本发明克服了这些挑战，提供了显示静态路线图和多个图像的系统和方法，以示出使用运动变换在静态路线图上对准的介入医疗设备。静态路线图上的介入医疗设备的对准是基于以下各项中的一项的用户选择：(i)介入医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像，或者(ii)静态路线图相对于介入医疗设备的运动调整以产生示出患者运动的多个图像。
在一个非限制性示例中，系统和方法可以通过在荧光透视图像序列中提取曲线特征来跟踪呼吸运动，而不是依赖附加的成像模态或外部传感器来跟踪呼吸运动。附加地，该方法不需要在视场中存在特定结构来确定呼吸状态，因此适用于更广泛种类的手术。进一步，该方法允许通过利用自由呼吸条件下的造影增强图像序列，基于呼吸运动来跟踪脉管系统的局部变形。
在本公开的一些非限制性示例中，用于荧光透视设备引导的运动补偿系统克服了与先前系统相关联的缺点，同时提供了明显的优点。这些优点包括减少手术时间、提高手术精确性、减少所需的造影剂量以及减少辐射暴露时间(例如，经由更快的手术)。在一些非限制性示例中，本公开包括用于呼吸运动跟踪和原生荧光透视图像中脉管系统变形的估计的技术。运动跟踪和估计可以简化微创手术(诸如肝栓塞)的工作流程，从而允许提高手术的精确性和速度(例如，减少器械的重新定位)。具体地，该系统和方法可以利用造影增强的脉管系统荧光透视图像创建运动模型，并从原生(例如，非造影)透视图像序列中提取曲线背景特征。重要地，这些荧光透视图像不需要患者进行屏气，因此这些荧光透视图像可以在自由呼吸条件下获得。用于实现运动调整的两个模型建立了呼吸状态(例如，从曲线背景特征推断)与相同呼吸状态下血管形态之间的关系。因此，在如上文所描述地获取血管形态之后，并且在实时成像手术中，曲线特征检测被应用于实时荧光透视图像以确定要显示的血管掩模。这将创建动态运动调整血管掩模，该掩模可叠加在包括介入医疗设备的实时荧光透视图像上。
现在转到图1，示出了可与本公开的系统和方法一起使用的一个成像系统的示例。在该非限制性示例中，示出了所谓的“C型臂”X射线成像系统100。然而，这只是一个示例，并且固定位置、单源、双平面和其他架构也可以容易地与本公开的系统和方法一起使用。
在图1的非限制性示例中，C型臂X射线成像系统100包括台架102，台架102具有一个C型臂，X射线源组件104被耦合在C型臂的一端，X射线检测器阵列组件106被耦合在C型臂的另一端。台架102使得X射线源组件104和检测器阵列组件106能够围绕受试者108以不同的位置和角度取向，诸如定位在台110上的医疗患者或正在接受检查的对象。当受试者108是医疗患者时，该配置使得医生能够接近受试者108。
X射线源组件104包括至少一个X射线源，该X射线源向在台架102的相对侧上的X射线检测器阵列组件106投射X射线束，该X射线束可以是X射线的扇形束或锥形束。X射线检测器阵列组件106包括至少一个X射线检测器，X射线检测器包括多个X射线检测器元件。可包括在X射线检测器阵列组件106中的X射线检测器的示例包括平板检测器，诸如所谓的“小平板”检测器，其中检测器阵列面板可以是约为厘米的尺寸。这样的检测器面板允许覆盖大约十二厘米的视场。
容纳在X射线检测器阵列组件106中的一个或多个X射线检测器中的X射线检测器元件一起感测穿过受试者108的投射的X射线。每个X射线检测器元件产生可以表示冲击的X射线束的强度的电信号，并且因此表示X射线束在穿过受试者108时的衰减。在一些配置中，每个X射线检测器元件能够对冲击检测器的X射线光子的数量计数。在为了获取X射线投射数据的扫描期间，台架102和安装在其上的部件围绕C型臂X射线成像系统100的等中心旋转。
台架102包括支撑基座112。支撑臂114可旋转地固定到支撑基座112以用于围绕水平枢轴116旋转。枢轴116与台110的中心线对准，并且支撑臂114从枢轴116径向向外延伸以在其外端上支撑C型臂驱动组件118。C型臂台架102可滑动地固定到驱动组件118并且与驱动电动机(未示出)耦合，该驱动电动机滑动C型臂台架102以使其围绕C轴旋转，如箭头120所指示。枢轴116和C轴是正交的并且在C型臂X射线成像系统100的等中心处彼此交叉，该交叉由黑圈指示并且位于台110上方。
X射线源组件104和X射线检测器阵列组件106径向向内延伸到枢轴116，使得该X射线束的中心射线穿过系统的等中心点。因此，在从放置在台110上的受试者108获取X射线衰减数据期间，X射线束的中心射线可以关于系统等中心点围绕枢轴116、C轴或这两者旋转。在扫描期间，围绕系统等中心点旋转X射线源和检测器阵列以从不同的角度获取X射线衰减投射数据。作为示例，检测器阵列每秒能够获取30个投影或视图。
C型臂X射线成像系统100还包括操作者工作站122，其通常将包括显示124、一个或多个输入设备126(诸如键盘和鼠标)以及计算机处理器128。计算机处理器128可以包括运行可商购操作系统的可商购的可编程机器。操作者工作站122提供操作者界面，使得扫描控制参数能够被输入C型臂X射线成像系统100。通常，操作者工作站122与数据存储服务器130和图像重建系统132通信。例如，操作者工作站122、数据存储服务器130和图像重建系统132可以经由通信系统134来连接，该通信系统134可以包括任何适合的网络连接，无论是有线的、无线的或两者的结合。作为示例，通信系统134可以包括专有的或专用的网络，以及开放网络，诸如因特网。
操作者工作站122还与控制C型臂X射线成像系统100操作的控制系统136通信。控制系统136通常包括C轴控制器138、枢轴控制器140、X射线控制器142、数据采集系统(“DAS”)144以及台控制器146。X射线控制器142将功率和定时信号提供给X射线源组件104，并且台控制器146可操作以将台110移动到C型臂X射线成像系统100内的不同位置和取向。
X射线源组件104与X射线检测器阵列组件106耦合到的台架102的旋转由C轴控制器138和枢轴控制器140控制，C轴控制器138和枢轴控制器140分别控制台架102围绕C轴和围绕枢轴116的旋转。响应于来自操作者工作站122的运动指令，C轴控制器138和枢轴控制器140将功率提供给C型臂X射线成像系统100内的电动机，该电动机分别产生围绕C轴和枢轴116的旋转。例如，由操作者工作站122执行的程序向C轴控制器138和枢轴控制器140生成运动指令，以在规定的扫描路径中移动台架102，从而移动X射线源组件104和X射线检测器阵列组件106。
DAS 144对来自X射线检测器阵列组件106中的一个或者多个X射线检测器的数据进行采样，并将数据转换为数字信号以便随后处理。例如，数字化的X射线数据从DAS 144传送到数据存储服务器130。然后图像重建系统132从数据存储服务器130检取X射线数据并从中重建图像。图像重建系统130可以包括可商用计算机处理器，或者可以是高度并行的计算机架构，诸如包括多核处理器和大规模并行、高密度计算设备的系统。可选地，还可以在操作者工作站122中的处理器128上执行图像重建。然后可以将重建的图像传送回数据存储服务器130以供存储或者传送给操作者工作站122以向操作者或临床医生显示。
C型臂X射线成像系统100还可以包括一个或多个联网的工作站148。作为示例，联网的工作站148可包括显示器150、一个或多个输入设备152(诸如键盘和鼠标)、以及处理器154。联网的工作站148可以位于与操作者工作站122相同的设施内，或位于不同的设施中，诸如不同的医疗机构或诊所。
联网的工作站148，不管是在与操作者工作站122相同的设施内或不同的设施中，可以经由通信系统132获得对数据存储服务器130、图像重建服务器134或两者的远程访问。因此，多个联网的工作站148可以访问数据存储服务器130、图像重建系统132、或二者。以这种方式，可以在数据存储服务器130、图像重建系统132以及联网的工作站148之间交换X射线数据、重建的图像或其他数据，使得数据或图像可以由联网的工作站148远程处理。此数据可以以任何合适的格式来被交换，诸如根据传输控制协议(“TCP”)、因特网协议(“IP”)或其他已知的或合适的协议。
尽管下文将参考双平面荧光透视成像系统(例如，“C型臂”X射线成像系统100)的使用来描述本公开，但在其他非限制性示例中，可以使用其他成像系统(例如，单平面荧光透视成像系统)。
图2是用于创建患者的运动调整图像以引导介入性医疗手术的过程流程200的示意图。过程200包括(例如，经由X射线成像系统100)从具有造影增强的脉管系统的患者获取具有非造影增强的脉管系统的多个图像202，以及获取第二多个图像204。这两个多个图像都可以在整个呼吸周期中获取(例如，从吸气开始到呼气结束)。过程200包括生成患者脉管系统的静态路线图206和生成患者的运动模型208，其中每个都使用第一多个图像202和第二多个图像204。过程200进一步包括获取第三多个图像210，其中介入性医疗设备部署在患者体内(例如，在手术中插入)。
过程200还可以包括通过使用第三多个图像为患者或介入性医疗设备生成运动跟踪数据212。过程200可以进一步包括使用运动模型208和运动跟踪数据212生成运动变换214。然后，过程200包括显示静态路线图216和使用运动变换214示出了在静态路线图上对准的介入性医疗设备的第三多个图像210。介入性医疗设备的对准基于以下用户选择：(1)介入性医疗设备相对于静态路线图的运动补偿，以产生不示出患者运动(例如，由于呼吸运动引起的脉管运动)的多个图像，以及(2)静态路线图相对于介入医疗设备的运动调整，以产生示出患者运动的多个图像。
图3示出了更详细的过程220，其是用于创建患者的运动调整图像的过程200的更具体实现。具体地，过程220包括在整个呼吸周期(例如，从吸气开始到呼气结束)期间首先获取患者的非造影图像222(例如，掩模图像)和造影增强图像224。在一些非限制性示例中，可使用特定手术获取造影增强图像224，该特定手术确保仅在动脉相期间获取造影增强图像224，使得感兴趣的脉管系统被充分造影，并且在所有捕获的帧中都清晰可见。具体地，过程220包括自动检测造影剂到达脉管系统以确定注射的动脉、组织和静脉相的步骤。然后，仅可利用动脉相造影增强图像。例如，通过计算每帧的平均强度来估计造影剂到达。附加地，还计算包括当前帧在内的过去帧的平均强度。当当前平均强度高于一行中两帧的平均强度时，该算法会发出造影剂已到达的信号。然后，相位可以通过计算Y维中的质心来确定。由于造影剂通常注射在图像底部(例如肝脏手术)，因此质心向下移动，并在动脉相结束时达到转折点，这可用于确定并且因此仅利用动脉相造影图像(例如，造影剂到达和动脉相结束时事件之间的图像)。随后，质心在灌注相向上移动，在静脉相再次向下移动。
一旦获取并选择了非造影图像222和造影图像224(例如，仅利用动脉相期间的造影图像)，过程220生成经减影的图像，经减影的图像通过从非造影图像222的造影图像224的减影而形成。这些经减影的图像可用于生成患者脉管系统的静态路线图228。例如，静态路线图228可以通过在呼吸状态一致时对经减影的图像进行平均来生成，例如，在呼气结束时(例如，λt＝0)对经减影的图像中的一些或全部进行平均。非造影图像222和造影图像224还用于生成脉管系统运动模型230，脉管运动模型230是运动模型208的具体实现。过程220还包括来自非造影图像的跟踪特征232。如下文更详细地讨论的，跟踪特征232可以包括曲线特征的标识和跟踪。附加地或替代地，跟踪特征232可以包括非造影图像内的质心的标识和跟踪，如下文所讨论(例如，关于3D引导系统)。
过程220进一步包括获取多个现时(live)图像234，这些现时图像234包括图像中的介入性医疗器械，并用于跟踪呼吸状态236，呼吸状态236是(例如，关于过程200)的运动跟踪数据的特定形式。多个现时图像234还用于从多个现时图像234中提取介入性医疗器械。一旦提取，如步骤240所指示，可以增强医疗器械的图像(例如，压缩、拉长、改变颜色等)
如将进一步描述的，过程220还包括使用对呼吸状态236和脉管系统运动模型230的跟踪来生成变换的路线图238。在一种情况下，变换的路线图238可以是医疗器械图像相对于静态路线图238的运动补偿。替代地，在另一种情况下，变换的路线图238可以是静态路线图相对于医疗器械的图像(例如，从实时图像234中提取)的运动调整。过程220可以生成现时图像234的实时显示242，以及至少两种配置中任一种的变换的路线图238。在第一配置中，显示现时图像234和静态路线图228，并且变换的路线图238是重叠在路线图238上的医疗设备图像的运动补偿。在第二显示中，显示现时图像234和医疗设备的图像，并且变换的路线图238是应用于静态路线图228以显示患者移动的运动补偿。介入性放射科医生可以基于介入性放射科医生用户选择，在第一显示和第二显示之间切换，以改变哪个图像是运动补偿的(例如，医疗器械或静态路线图)。
图4示出了生成脉管系统运动模型230的特定过程的示例。脉管系统运动模型230利用通过从非造影荧光透视图像222减去造影荧光透视图像224所生成的经减影的图像。然而，在减影之前，在步骤252处匹配并配准非造影荧光透视图像222和造影荧光透视图像224，这确保非造影荧光透视图像222内的每个图像在时间上有效地与造影荧光透视图像224内的每个图像相对应。在步骤252处，可以将非造影图像序列定义为
Figure BDA0003437370880000131
，并且可以将造影图像序列定义为
Figure BDA0003437370880000132
。在两个图像序列标识符中，t表示给定图像的采集时间。然后，将每个造影图像与非造影图像匹配，使得各个图像之间的均方误差最小化。例如，图像
Figure BDA0003437370880000133
表示与在时间t处获取的造影帧相对应的非造影帧，并且可以通过等式1确定。例如，等式1确定在时间t处获取的给定造影图像的相对应的非造影图像的时间点tm。因此，等式1返回对应于给定造影帧的非造影帧的索引的值。在一些非限制性示例中，如果多于一个非造影图像(例如，5个)对应于给定造影图像，则可以对非造影图像进行平均以生成要利用相对应的造影图像进行减影的平均非造影图像，如下文所讨论的。
Figure BDA0003437370880000134
尽管图像对可能在时间上相互对应，但不能保证两幅图像的呼吸状态是准确的。例如，器官或其他解剖结构的位置的细微差异可能会导致减影伪影。为了避免该问题，可以使用块匹配配准技术将非造影图像配准到相对应的造影图像。因此，
Figure BDA0003437370880000141
可分为不同的块Bi，并且可以通过根据等式2将灰度值差最小化来针对每个块估计平移向量Δi如等式2所示，n表示每个块的像素数，E[X]表示x的期望值。
Figure BDA0003437370880000142
然后使用三次样条插值(cubic spline interpolation)计算最终图像变换。图5中示出了来自该手术的输出的示例。虚线250表示解析块(parsed block)，而实线251表示重叠在图像上的计算出的三次样条曲线。如图5所示，浅灰色区域表示固定图像和配准的移动图像之间的差异。
在匹配和配准了相对应的帧之后(例如，步骤252)，在步骤254处对图像进行减影和去噪，以生成经减影的图像。例如，对配准的图像对进行减影，得到差分图像
Figure BDA0003437370880000143
。由于减影增加了噪声方差，因此应用维纳滤波器来减少噪声并简化分割。
一旦对相对应的图像进行减影，并且在步骤254处减轻了噪声，就可以应用全局阈值算法来分割脉管系统，由二值化步骤256表示。此阈值基于由二值图像中连接的部件数减影这些对象中的孔数所确定的欧拉数。例如，给定任何图像，小于图像中最小灰度值的阈值的欧拉数为1，因为所有像素都被视为同一对象的部分。
当阈值增加时(例如，就在图6的图形中表示的“1”之后)，孔开始出现在对象内，这导致欧拉数变为负值。阈值的进一步增加导致分割分成多个对象，这再次增加了欧拉数(例如，就在图6的图形中表示的“2”之后)。在达到第二正峰值(例如，图6中的图中表示为“3”)之后，欧拉数开始减少。在本公开中，在第二正峰值(例如，在图6的图形中表示为“3”)之后的该局部极小值(例如，在图6的图形中表示为“4”)被用作阈值。换句话说，所使用的阈值是那些高于第二正峰值处的阈值(例如，在图6的图中表示为“3”)。图6中示出了在二值化进程256之后的图像的输出的示例，其中表示了四个输出图像，并且其中每个图像具有特定的阈值和相对应的欧拉数。典型地，使用的阈值是在第二极大值之后出现的值(例如，X>20阈值)。
尽管生成血管运动模型230的进程涉及二值化步骤256，但在一些非限制性示例中，可以省略或绕过二值化步骤256。这种方式，例如，在步骤254处对经减影的图像进行去噪，并在步骤258处直接用于估计脉管系统的运动，如下文所描述的。在一些情况下，避免二值化步骤256对于不习惯于观看二值化图像的放射科医生是可取的。
来自二值化进程256的输出图像表示每个帧的分割的脉管系统，表示为
Figure BDA0003437370880000152
。在完成二值化进程256以产生分割的图像之后，在步骤258处估计脉管系统的运动。例如，由于呼吸运动引起的脉管系统的变形可以通过使用微分同胚形变配准(diffeomorphicdemons)方法跟踪相邻帧之间的像素运动来估计。该方法对于每个像素估计平移向量，确保图像变形及其逆变形都是平滑的。可根据等式3描述变换。
Figure BDA0003437370880000151
一旦变换被计算，每个单独血管像素的呼吸运动可以使用单个参数λt参数化，该参数λt表示时间t(例如，在步骤230处)处的呼吸状态。因此，根据等式4，给定呼吸状态的每个血管像素的位置pi可以通过线性函数(或其他参数化)来近似。
pi(λt)＝pi(0)+λt·(pi(1)-pi(0)) (4)
在等式4中，pi(0)表示初始造影增强序列中最呼出的呼吸状态(即λt＝0)下的像素位置。相反地，pi(1)表示在最吸入状态(即λt＝1)中指向其位置的平移向量。在一些非限制性示例中，如果患者的呼吸运动超过初始造影图像序列的运动，则在现时跟踪期间λt可以假设值超出范围[0,1]然而，由于参数化(例如，根据等式4的线性函数)，脉管系统的运动可以外推到范围[0,1]之外的值。
在运动估计步骤258的替代示例中，等式5(在下文)是可用于为每个像素生成平移向量的成本代价函数(cost function)，该平移向量跟踪相邻掩模帧之间的运动，但该平移向量基于给定呼吸状态的多个呼吸变量，而不是给定呼吸状态的单个呼吸变量(例如，类似于等式3)。
Figure BDA0003437370880000161
例如，关于等式5，t0是常数偏移，tc是与胸部呼吸相关联的运动向量，td是与横隔膜呼吸相关联的运动向量。通过将rc设置为等于0，该成本函数也可用于为给定呼吸状态生成单个呼吸变量。平移向量tc和td可分别使用相对应的呼吸参数(变量)rc和rd来单独地进行参数化，以针对每个平移向量和相对应的呼吸参数(例如，类似于等式4)生成相对应的参数化(例如，线性函数)。因此，如下文将讨论的，如果(多个)呼吸变量已知，则脉管系统运动模型230可以生成(多个)相对应的平移向量。在多个平移向量配置的情况下，如果使用两个提取的呼吸参数(变量)来提取两个相对应的平移向量，则可以将两个相对应的平移向量相加以生成组合的平移向量。
在一些非限制性示例中，可在步骤258处通过使用利用规则步长梯度下降优化方法的二维(“2D”)仿射图像配准，或者使用微分同胚形变配准方法，来估计脉管系统的运动。这将生成描述脉管系统变形的变换矩阵，并使用单个参数λt或者替代地，表示时间t处的呼吸状态的多个呼吸变量的多参数方法进行参数化，该参数λt表示时间t处的呼吸状态(使用步骤230)，。具体地，参数化是针对每个矩阵元素完成的，而不是针对微分同胚形变配准方法的每个像素完成的。这将生成参数化矩阵，该参数化矩阵可以针对每个呼吸状态λt计算。
一旦在步骤258处估计脉管系统的运动，就创建脉管系统运动模型230，并且可将就脉管系统运动模型230存储在例如操作者工作站122或联网的，工作站148中。
图7示出了用于生成呼吸运动模型260的示例过程，该示出了用于生成呼吸运动模型260被配置为从图像中提取(多个)呼吸状态，将(多个)呼吸状态输入到脉管系统运动模型230中以从患者(例如，特定形式的运动跟踪数据)生成呼吸运动跟踪数据(例如，(多个)平移向量)。
如前文所讨论的，呼吸运动模型260通常通过仅利用原生荧光透视图像来确定患者的当前呼吸状态(例如，236的特定实现)，因此不需要外部传感器来确定困扰先前系统的呼吸状态。呼吸运动模型260的生成首先在所有非造影图像(例如，先前定义为
Figure BDA0003437370880000171
)上生成平均图像。此平均图像会模糊移动边缘，但保留静态边缘(例如，肋骨附近的边缘)。然后，呼吸运动模型260在步骤262继续针对每个非造影荧光透视图像(例如，在先前定义为
Figure BDA0003437370880000172
的图像集内)以及上文的平均图像检测边缘。在一些非限制性示例中，如所实现的，检测边缘262可以包括利用坎尼(Canny)边缘检测器。例如，将坎尼(Canny)边缘检测器应用于第一原生图像帧(即
Figure BDA0003437370880000173
)以沿解剖结构提取轮廓。在其他非限制性示例中，不是利用坎尼(Canny)边缘检测器，而是可以在步骤262处通过使用卷积以及高斯核的导数来检测边缘。
一旦检测到边缘，从检测边缘262步骤输出的每个非造影图像(例如，边缘过滤的非造影图像)中减去从检测边缘步骤262输出的平均图像(例如，边缘过滤的平均图像)，以生成边缘过滤的经减影的图像。在一些非限制性示例中，利用从非造影图像中减去的平均图像可以消除非移动边缘，这在跟踪特征时可能会导致问题。在步骤264处，通过使用拓扑保持细化算法，使用边缘滤波的经减影的图像提取中心线，这将所有轮廓减少为一个像素细的中心线。然后，通过跟踪端点到端点的每个轮廓像素，可以从中心线提取一组曲线特征，作为连接的2D坐标的列表。端点定义为仅连接到一个其他轮廓像素的轮廓像素或连接到两个以上轮廓像素的分支点。如步骤266所指示的，在剩余的非造影图像帧上跟踪来自第一非造影图像帧的每个特征fi的位置，以在步骤268生成跟踪数据。例如，这可以通过创建成本图像
Figure BDA0003437370880000181
来实现，该成本图像
Figure BDA0003437370880000182
是通过首先对给定的非造影图像应用(坎尼)Canny边缘检测器，然后应用高斯平滑滤波器(或者在某些情况下，卷积以及高斯核的导数)形成的，以及从已经从检测边缘步骤262输出的先前确定的平均图像中减去该图像。然后可以利用Nelder-Mead算法优化成本函数。图8中示出了成本图像的示例及其叠加在成本图像上的突出显示的曲线特征。
确定特征如何在空间上移动的平移向量di(t)可通过使用等式6将沿曲线特征的平均灰度值最大化来估计。
Figure BDA0003437370880000183
然后，特征运动可基于(多个)呼吸状态通过线性函数来近似。时间t处的特征fi的每个点fij的坐标可由等式7描述。换句话说，所选择的(多个)特征的移动可用于生成将特征的移动与呼吸状态相关联的线性函数。
fij(λt)＝fij(0)+λt·di(1) (7)
在给定呼吸状态的多呼吸参数实现中(例如，使用rc和rd)，可以生成单独的线性函数(类似于等式7)，将胸部的移动(例如，胸部特征)与呼吸参数rc相关，以及将横膈膜的运动(例如，横膈膜特征)与呼吸参数rd相关。使用该信息，在步骤269处，可以完成参数化以形成呼吸模型260。
对于将特征与单一呼吸状态关联的线性函数(例如，等式7)，一些特征不适合跟踪呼吸运动，因此不在等式7中使用。因此，如步骤268处所指示的，确定仅包含有助于呼吸状态估计的可靠跟踪特征(例如，横膈膜和胸部)的子集。该特征子集可通过首先由|fi|为给定特征fi中的点数来创建。然后，从子集中排除所有|fi|<25的特征。换言之，省略具有小于25个点的初始捕获特征。类似地，仅具有||di(1)||≥2.5mm的特征被使用。这意味着在整个呼吸周期中，仅使用移动长度大于2.5mm的特征。因此，省略具有通常较小移动长度的其余特征。为给定的特征指定特定的所需移动长度(例如，平移长度)，有助于避免静态特征或那些只有很少移动的特征。最后，为了去除所有帧中未成功跟踪的特征，计算并使用准则ca。根据等式8，根据成本图像中每个特征随时间变化的平均灰度值计算准则ca。
Figure BDA0003437370880000191
关于等式8，变量nt表示造影增强图像序列中的时间帧数量。具有ca(fi)<τa的特征从特征集中排除。在一些非限制性示例中，τa可以是任何数字，尽管根据本实施例，使用了τa＝0.3的阈值，这是根据经验确定的。通过上文三个准则的其余特征用于确定呼吸状态(例如，用于等式7的计算)。
一旦生成了脉管系统运动模型230和呼吸运动模型260，即可利用实时系统280(例如，步骤234、236、238、240、242的具体实现)，如图9所示。实时系统280从获取现时图像282开始(例如，类似于现时图像234)。然后，如步骤284所指示的，在呼吸运动模型260内优化现时图像282内的给定现时图像以分析和提取曲线特征以确定呼吸状态。例如，可对于从现时荧光透视图像采集导出的给定荧光透视图像帧
Figure BDA0003437370880000192
来估计呼吸状态。如上所述，基于提取的曲线特征集确定呼吸状态。因此，对于给定的荧光透视图像帧
Figure BDA0003437370880000193
计算成本图像
Figure BDA0003437370880000194
这与计算
Figure BDA0003437370880000195
的进程相同。一旦计算完成，使用等式9(例如，利用呼吸运动模型260)对整个呼吸状态范围进行线性搜索，以找到当前呼吸状态λt。
Figure BDA0003437370880000196
如步骤286所指示的，在找到当前呼吸状态λt之后，当前状态λt可以是先前生成的脉管系统运动模型230的输入。该输入λt为每个血管像素生成相对应的(多个)平移向量。然后，根据显示选择(例如，经由用户选择实现的)，每个像素的(多个)平移向量可应用于脉管系统的静态路线图，以生成动态血管掩模288以对脉管系统进行运动补偿。替代地，可以反转(多个)平移向量，然后将其应用于医疗器械的图像以对医疗器械进行运动补偿。如步骤290所指示的，可以显示这些实现中的任何一个。一旦显示，实时系统280通过首先利用另一现时透视图像(例如，在现时图像282内)来重复这些步骤。因此，实时系统280执行脉管系统的精确表示的实时显示，该脉管系统在任何时间点影响个体的呼吸状态。
如上所述，对脉管系统运动模型230进行评估，以确定模型被执行地有多好。使用数字4D CT模体(美国北卡罗来纳州达勒姆杜克大学XCAT)对模型执行定量评估，该模型提供逼真的人体解剖学，包括复杂的呼吸和心脏运动模型。呼吸运动可以通过改变呼吸周期长度、最大横膈膜运动和前后方向的最大胸部扩张来改变。每个参数都可以单独更改。对于每个时间帧，以0.25mm的各向同性空间分辨率生成CT体积。然后，使用28.95x 21.00cm视场的正交投影在前后方向投影该体积。通过将肝动脉系统中血管的衰减设置为120亨氏单位(“HU”)来模拟造影增强图像。附加的泊松噪声被添加到图像中以模拟真实的图像质量。总共生成了四组测试数据集。每个数据集包含4个子数据集，每个子数据集包含一个呼吸周期内的造影增强图像序列和原生图像序列，以及四个呼吸周期内的跟踪序列。所有序列的时间分辨率均为每秒5帧。在每个图像序列中修改呼吸运动参数，以模拟非规则呼吸，如下文表1所示。具体地，表1显示了四组数据集，每组数据集均具有修改的呼吸参数，包括：周期长度、横膈膜运动、胸部运动和对比度噪声比(“CNR”)。
Figure BDA0003437370880000201
表1
为了评估呼吸运动跟踪本身的精度，根据等式10计算估计的呼吸状态
Figure BDA0003437370880000211
和真实状态λt之间的绝对误差eλ。
Figure BDA0003437370880000212
除了绝对误差计算外，还将每个帧的估计的动态血管掩模与地面真值(ground-truth)血管位置和形状进行比较。根据众所周知的
Figure BDA0003437370880000213
Dice系数以及周长误差的第99个百分位来测量精度。鉴于地面真值和估计的血管分割，计算沿估计的血管分割的轮廓的每个点的周长误差，作为到地面真值分割中最近轮廓点的距离。
上文四组呼吸状态跟踪的定量评估结果如图10所示。图10中的直方图以百分比表示绝对误差的分布，其中线270表示第50个百分位，而条272表示第90个百分位。图10右下角的曲线图显示了第4组所有序列的地面真值(即，表示为实线274)和估计的呼吸状态(即，表示为有点276的虚线)。黑色垂直虚线示出了不同序列之间的边界。
对于组1，每个图像序列中只有呼吸周期长度变化，绝对误差为1.03±1.22％。对于组2，在每个序列中仅改变最大横膈膜运动，观察到误差为1.03±1.37％。组3改变最大前后运动的误差为1.03±1.22％。对于组4，所有参数都被动态地修改，CNR为15时的绝对误差为1.01±1.21％，CNR为50时的绝对误差为1.09±1.25％。估计的动态血管掩模的精度为所有序列产生了相似的Dice值，介于0.94±0.01和0.96±0.01之间。组1至组3的估计的血管掩模轮廓的第99百分位误差分别为0.92±0.21mm、0.86±0.29mm和0.64±0.09mm。对于组4，CNR为15的误差为0.96±0.19mm，使用CNR为50的误差为0.86±0.23mm。所有结果的概述见下表2。
Figure BDA0003437370880000221
表2
图11显示了不同呼吸状态下地面真值和估计的血管掩模的叠加。具体地，图11中的第一行图像是用于估计三个不同时间帧的呼吸状态的原生图像帧。第二行示出与原生图像重叠的动态路线图(红色)。第三行示出估计的动态血管和地面真值动态血管的重叠。一致区域显示为白色，而地面真值掩模本身示出为绿色。估计的掩模单独示出在最后一行的品红色中。
如上文所讨论，可以创建血管路线图(例如，脉管系统运动模型230)，以提供脉管系统当前状态的准确表示，从而允许在介入性放射学手术中对于器械的准确参考。然而，在荧光透视手术中，器械，尤其是导丝，可能很难从周围组织中辨别出来。因此，在一些非限制性示例中，构想通过利用神经网络从荧光透视图像分割器械，并随后将器械叠加到血管路线图(例如，脉管系统运动模型230)上，来提供器械的清晰表示。在这种情况下，器械的清晰表示可以显示在单独的屏幕上，旁边是动态血管掩模288或静态路线图228的图像。替代地，不是动态血管掩模288或静态路线图228一起显示，医疗器械的连续和相连表示可以与静态或动态图像覆盖或叠加。
先前的系统曾试图提供器械(例如，导丝)的清晰表示，但未成功。例如，用于导丝分割的一种先前方法是对先前获取的非造影图像(例如，掩模图像)进行减影，然后进行全局阈值化。然而，这种技术不适合于呼吸运动的应用，因为减影伪影会使可靠地分割导丝变得困难。用于荧光透视图像中导丝分割的其他技术包括，例如，使用基于黑森(Hessian)滤波器的线增强滤波器或可转向滤波器。不幸的是，这些尝试并不能确保将器械表示为单个相连的路径。线增强滤波器试图解决这个问题，包括结合使用诸如Dijkstra算法或自动驱动向量之类的路径搜索方法。类似地，Vincent等人和Birith等人提出的一种不同方法，使用基于强度加权距离变换的局部最小路径搜索来检测曲线结构。通过评估增加路径长度的最小路径，可以降低蛮力方法的指数复杂性。相反地，已经提出了基于优化的技术，使用相邻帧之间的非刚性配准或使用相位一致性优化样条来检测曲线特征。
最后，提出了基于机器学习的方法，该方法使用分类方法标识小分段，然后使用线性规划或基于主成分分析的层级结构的形状模型进行组合。许多提出的方法需要计算昂贵的迭代方法，并且所有方法的稳健性都取决于手动定义的线检测特征。
本公开中提出的深度学习方法克服了与先前尝试相关的问题。由于包括导丝在内的器械的弯曲性质、不一致的形状和不平衡的等级频率，以前的系统很难提取连续和相连的形状。相反，先前的尝试提取了器械的不相连并且不连续形状。类似地，通过包括减影的先前的尝试，患者的运动(例如呼吸运动)可能会创建不需要的伪影。根据本公开的系统和方法克服了先前系统的上述缺陷，例如，通过从给定的荧光透视图像分割整个器械，使得从荧光透视图像中提取医疗器械的连续并且相连的图像。具体地，提取的医疗器械的连续并且相连的图像不需要使用算法或层级结构形状模型。例如，先前的机器学习方法输入包含医疗器械的荧光透视图像，并输出医疗器械的不相连并且不连续的图像。因此，这些先前的方法需要其他算法或层级结构形状模型来连接医疗器械的不相连的分段或部分，以创建医疗器械的连续表示。值得注意地，根据本公开的系统和方法可以对于包含医疗器械的给定荧光透视图像输出医疗器械的连续并且相连的图像。
具体地，如图12所示，神经网络300基于SegNet架构，使用具有来自“ImageNetLarge Scale Visual Recognition Challenge(图像网大规模视觉识别挑战)”数据集的预训练的权重的VGG-16网络。神经网络300包括总共91层，其分组在编码器级302或解码器级304中。编码器级302通常用于减少信息，并且由特定层组成。编码器级302包括被配置为接收给定图像的第一输入层306。编码器302后面通常是十三层308，其中每一层308包括卷积层、批量归一化层和整流器线性单元(“ReLU”)。层308在图12中被指定为实心框。编码器302还包括五个最大池化层310，其将输入图像的尺寸从1024x 1024像素减小到32x32像素。最大池化层310在图12中被指定为虚线框。解码器304通常具有与编码器302相同的级，但顺序相反。附加地，解码器304已经利用未池化层312替换了池化层310，未池化层312在图12中被指定为虚线框。未池化层312对减少的信息进行上采样并定位对象。将给定池化层310连接到相对应的非池化层312的实线指示池化窗口内最大值的索引的转发(forward)。解码器304进一步包括层314，该层314在图12中被指定为虚线的softmax(柔性最大值传输函数)，并且用于归一化输出。解码器304和神经网络300的最后一层是使用两类(例如，导丝和背景)的加权交叉熵损失函数的分类层(未示出)。
为了训练神经网络300，将图像数据随机分为训练(60％)、验证(20％)和测试(20％)数据集。使用单个图形处理单元(“GPU”)(例如，美国加利福尼亚州圣克拉拉市，NVIDIA Geforce GTX 1080Ti)进行训练。使用随机梯度下降技术执行训练，初始学习率为0.001，动量为0.9，L2正则化为0.0005，批量大小设置为1个图像。由于两类的先验概率非常不同(所有像素中约99.6％为背景像素)，因此调整了类别权重以避免网络偏向背景类别。因此，基于训练数据确定每个类别的相对频率。然后将类别权重设置为相对频率的倒数。神经网络300经过56768次迭代(1个历元)的训练，收到了99.91％的验证准确率。
为了提高图像质量，可以通过提供当前图像和过去两帧作为神经网络300的输入来训练神经网络300。有利地，这允许神经网络300学习跟踪图像中的移动部分，由于噪声，这些运动部分通常比静态对象更容易检测。在其他非限制性示例中，可以通过提供当前图像以及过去四帧来训练神经网络300。
基于上文数据集进行训练后，通过将测试数据集上的分割结果与基于掩模减影的分割算法进行比较，对神经网络300进行评估。为每个仅包含解剖背景的测试图像创建相对应的掩模图像，假设在获取掩模和测试图像之间没有发生运动。将用于导丝图像的相同量的泊松噪声添加到掩模图像中，模拟实际的临床采集。然后从测试图像中减去掩模图像，使用取向线增强滤波器进行滤波，并全局阈值化以提取导丝像素。基于训练数据集选择强度阈值。根据假阳性率和假阴性率、Hausdorff距离以及
Figure BDA0003437370880000252
Dice系数来测量两种算法的分割精度。这些结果如下表3所示，表3比较了深度学习和基于掩模减影的分割的
Figure BDA0003437370880000253
-Dice系数(“SDC”)、假阳性率(“FPR”)、假阴性率(“FNR”)和Hausdorff距离(“HSDF”)。
Figure BDA0003437370880000251
表3
图13直观地表示了不同方法之间的比较结果。例如，第一列图像显示起始图像，第二列图像是从神经网络300输出的结果图像，第三列图像表示来自掩模减影分割算法的结果，最后一列是地面真值列(例如，叠加在荧光透视图像上的器械示例的图像)。
在一些非限制性示例中，在获取的荧光透视图像具有较大的强度变化，包括图像噪声并且具有相对于整个图像的小设备信号(例如，在胸部/腹部手术中)的情况下，分割器械(如导丝)的深度学习方法可能比先前的尝试更有利。例如，尽管先前基于减影的方法消除了背景强度的较大变化，并允许使用基于阈值的分割，但在存在噪声的情况下进行精确分割仍然具有挑战性。事实上，基于减影的分割通常是不连续的或不完整的，尽管使用了从训练数据集中得到的优化阈值。附加地，基于减影的结果是在不模拟通常在掩模和导丝图像之间发生的呼吸运动的情况下获得的。因此，如果在呼吸运动期间获得，则已经存在的减影伪影将变得更糟，因为这会引入附加的、通常更糟的减影伪影。因此，深度学习方法允许精确分割具有曲线形状(例如，导丝)的器械。
在一些非限制性示例中，可以组合脉管系统运动模型230(以及相对应的系统或处理)和器械深度学习分割方法中的部件。例如，各个系统内的部件可以形成以创建引导系统320、340。
图14示出了引导系统320的框图。如图所示，引导系统320具有已经引入的类似部件。因此，这些部件的先前描述也适用于引导系统320内的部件。引导系统320包括非造影荧光透视图像集322和造影对比度透视图像集324的获取。这些图像集中的每一个类似于先前讨论的图像集，并且如上文所描述的，用于生成脉管系统运动模型230和呼吸运动模型260。图像集316、318中的每一个都可以在介入性手术之前获得，并且血管运动模型230和呼吸运动模型260可以在介入性手术之前生成。
在生成脉管系统运动模型230和呼吸运动模型260的同时，或者在某些情况下，在获取图像集316、318之前，可以训练神经网络300。可以使用训练图像316来训练神经网络300，训练图像316可以是例如先前获取的荧光透视图像，该透视图像包括拟在手术中使用的器械。尽管下文讨论将参考导丝进行描述，但也可以使用其他器械。例如，可以使用其他曲线器械，如导管。然而，神经网络300需要对于要使用的特定器械进行训练。替代地，在某些情况下，如果神经网络300先前已被训练以提取连续并且相连的导丝，则在随后的手术中，在该手术之前无需再次训练中性网络300。
一旦准备好神经网络300，将导丝插入患者体内(即，手术已经开始)时(例如，经由X射线成像系统100)获取实时荧光透视图像326。在一些情况下，如图所示，如果介入性放射科医生期望，实时荧光透视图像322可以显示在显示器331上(例如，类似于显示器150、显示器124等)。相应地，实时荧光透视图像326内的给定图像被取向到神经网络300和呼吸运动模型260两者。如先前所讨论的，输入到神经网络300的实时荧光透视图像326内的给定图像将输出导丝328的连续并且相连的图像，该图像可显示在显示器330上(例如，类似于显示器150、显示器124等)。附加地，实时荧光透视图像326中的给定图像被取向到呼吸运动模型260，呼吸运动模型260分析并随后从给定图像中提取曲线特征，以在呼吸运动模型260中使用以确定呼吸状态332(例如，λt)。呼吸状态332被输入到脉管系统运动模型230中，以确定呼吸状态332的每个像素的相对应的(多个)平移向量。将每个像素的(多个)平移向量应用于脉管系统运动模型230内先前生成的静态路线图，以生成动态脉管掩模334。动态血管掩模334可以显示在显示器336上(例如，类似于显示器150、显示器124等)。
引导系统320内的显示器331、330、336允许介入性放射科医生单独地查看关键特征。例如，在该手术期间，显示器336示出脉管系统的运动补偿表示，其在压缩中起作用并且在呼吸周期期间改变脉管系统的空间位置。这是有利的，因为脉管系统难以在原生的未经处理的荧光透视图像中查看，并且先前的脉管系统的分割技术不示出脉管系统的精确移动表示，而是示出脉管系统的静态表示。在该手术中，介入性放射科医生还可以在显示器330上查看导丝(或其他器械)的清晰表示。在一些非限制性示例中，在显示器330上显示之前，可以调整医疗器械328的连续并且相连的图像(例如，增加尺寸、改变颜色等)。这是有利的，因为与脉管系统类似，包括导丝在内的一些器械即使不是不可能，也很难在原生的未经处理的荧光透视图像中查看。最后，介入性放射科医生可以在显示器326上查看实时荧光透视图像326。因此，介入放射科医生可以查看期望的任何屏幕，以有效地将导丝引导至目标。
在某些情况下，可能期望在显示之前组合图像，以便介入性放射科医生可以查看单个显示，而不是在显示器(例如显示器331、330、336)之间不断转移焦点。因此，在一些非限制性示例中，提供了允许单个显示的引导系统340，使得介入性放射科医生只需要查看单个显示即可有效地完成介入性手术。
图15示出了引导系统340的框图。引导系统340具有已经引入的类似部件，特别是考虑到引导系统320。因此，这些部件的先前描述也适用于引导系统340内的部件。例如，实时荧光透视图像326内的给定图像被取向到呼吸运动模型260，呼吸运动模型260分析并随后从给定图像中提取曲线特征，以在呼吸运动模型260内进行比较该曲线特征，以确定呼吸状态332(例如，λt)。此外，输入到神经网络300的实时荧光透视图像326内的给定图像将输出导丝328的连续并且相连的图像。然而，在对准器械步骤339中，器械328的连续并且相连的图像以特定方式与静态脉管路线图和呼吸状态332的每个像素的(多个)平移向量组合。这些被组合的方式，例如，如何应用运动补偿，取决于用户选择338(例如，致动按钮、用户界面等)。
例如，用户选择338可以选择第一状态，将呼吸状态332的每个像素的(多个)平移向量的倒数应用于器械328的连续并且相连的图像。该医疗器械的运动补偿图像与静态脉管路线图(例如，也从脉管系统运动模型230输出)重叠。来自第一状态的输出显示在显示器346上(例如，类似于显示器150、显示器124等)。第一状态将运动补偿应用于导丝，同时保持脉管系统图像(例如，静态脉管系统路线图)静止。因此，该第一状态对于介入性放射科医生是有利的，因为目标(例如，脉管系统的部分)是静止的。然而，根据特定的呼吸状态移动(例如，平移、压缩)导丝以补偿呼吸运动。因此，可以校正导丝的位置，使得导丝与静态脉管路线图对准这允许介入性放射科医生将导丝引导至目标位置，该目标位置是静止的(例如，静态路线图)并操纵导丝，使得导丝的明显移动(例如，在显示器上)只能由介入性放射科医生引起。
用户选择338还可以选择对准器械步骤339的第二状态。如上文所讨论的，对准器械步骤339接收器械328的连续并且相连的图像、静态脉管系统路线图以及呼吸状态332的每个像素的(多个)平移向量。然而，在第二状态中，将每个像素的(多个)平移向量应用于静态脉管路线图以生成动态血管掩模(例如，动态血管掩模334)，并且动态血管掩模器械328的连续并且相连的图像与动态血管掩模重叠。该第二状态将运动补偿应用于脉管系统的图像，以与后续图像一起生成移动脉管系统的“视频”。这使得介入性放射科医生能够清楚地查看相对于目标脉管系统的精确表示的导丝。例如，作为脉管系统的部分的导丝的期望目标点在整个呼吸周期中移动和变形，并且理想地与导丝重合(例如，导丝与动态血管掩模334对准)。因此，具体地，脉管系统形成实时视频，使得介入性放射科医生能够准确地将导丝引导到目标位置。
在一些非限制性示例中，可在X射线成像系统100上实现引导系统320、340。在一些情况下，可以修改X射线成像系统100以有效地运行神经网络300(例如，包括GPU、并行处理器等)。
图16示出了用于显示静态路线图和动态“移动”脉管系统的图示，以示出使用运动变换在静态路线图上对准的介入性医疗设备。即，如将要描述的，介入性医疗设备在静态路线图上的对准可以基于用户选择。运动调整为用户实现至少两个不同显示选项的对准。例如，运动调整可以包括介入性医疗设备相对于静态路线图的运动补偿，以产生不示出患者运动的多个图像。替代地，运动调整可以是相对于介入性医疗设备的静态路线图，以产生示出患者运动的多个图像。
图16示出了两种不同呼吸状态中的脉管系统。在所示的示例中，在第一呼吸状态350的第一位置和第二呼吸状态352的第二位置示出相同的脉管系统。正如在两种呼吸状态350、352期间仅重叠同一脉管系统的这两个位置时所见，未能对于患者的运动进行调整会模糊原本清晰的信息。为了增加进一步的复杂性，上文所描述的系统和方法不仅在图3的现时图像234的获取期间补偿或调整患者运动，而且还必须相对于静态路线图228补偿或调整移动的现时图像234。此外，脉管系统不是在患者运动期间简单移动的刚性结构。相反，脉管系统平移、旋转、压缩、延伸等。即使在所有这些生物结构之外，介入性医疗设备也必须根据解剖结构的变化进行跟踪和调整。因此，如图16所示，由两种呼吸状态之间的现时图像中的血管移动引起的模糊信息仅是本公开所描述的一层复杂性。
同样，上文所描述的系统和方法能够在患者的整个移动范围内执行运动补偿或运动调整，包括压缩、膨胀、变形、平移、旋转等等。图17示出了从引导系统320的第一实现输出的荧光透视图像(例如，没有静态脉管路线图)。图17中的顶部荧光透视图像示出血管处于更加压缩/收缩状态(例如呼气期间)，而图17中的底部荧光透视图像示出血管处于减压/扩张状态(例如吸气期间)。
图18示出了从引导系统340的第二实现输出的荧光透视图像(例如，具有静态脉管图像)。如图所示，脉管系统不会从顶部透视图像移动到底部透视图像，这是在不同的时间点获取的。相反，每个荧光透视图像示出仅导丝移动。
如图19所示，根据本公开的显示设计为允许用户在(1)运动补偿和(2)运动调整之间进行选择。即，用户可以使用上文所描述的系统和方法，使用介入性医疗设备相对于静态路线图的运动补偿来显示图像，以产生不示出患者运动的多个图像。替代地，用户可以使用上文所描述的系统和方法，使用静态路线图相对于介入性医疗设备的运动调整来显示图像，以产生示出患者运动的多个图像。
具体地，参考图19，根据本公开的显示380。显示380示出静态血管路线图382(以实线显示)。显示380还示出介入性医疗设备384。显示380用于说明目的，以示出用户可以在(1)介入性医疗设备相对于静态路线图的运动补偿以产生不示出患者运动的多个图像和(2)静态路线图相对于介入医疗设备的运动调整以产生示出患者运动的多个图像，二者之间选择。
如果选择了运动补偿，则静态血管路线图382将被示出在永久显示中，并且在图3的现时图像234中移动的介入性医疗设备384的显示被呈现为与静态血管路线图382一致地对准。因此，这被称为“运动补偿”，因为应用补偿以去除用户的运动显现。即，从用户在查看图像的显示380时的固定外部视角来看，静态血管路线图382和介入性医疗设备384不随患者运动(诸如呼吸运动)而移动。相反，静态血管路线图382显示为静止结构，并且当介入性医疗设备384通过静态血管路线图382推进时在其中对准。
替代地，如果选择了运动调整，则调整静态血管路线图382以跟踪图3的现时图像234中介入性医疗设备384的运动。以这种方式，静态血管路线图382在实线所示的静态位置和随着介入性医疗设备384的移动而移动的轨迹之间进行运动调整，因为它移动到第二位置386。即，当静态血管路线图382移动到第二位置386时，它同样移动到第二位置388以与介入医疗设备384保持对准。以这种方式，在显示380中显示患者运动，诸如呼吸运动。即，在查看图像的显示380时，从用户的固定外部视角来看，静态血管路线图382和介入性医疗设备384确实随着患者运动(诸如呼吸运动)而移动，使得静态血管路线图382显示为移动的，并且在介入性医疗设备384推进通过静态血管路线图382并移动到第二位置386时与介入性医疗设备384对准。
尽管已经描述了引导系统320、340用于荧光透视引导的二维实现，但在一些非限制性示例中，希望具有能够实现三维引导的引导系统。三维引导系统400利用一些先前公开的部件。因此，上面已讨论的部件也涉及三维引导系统400。
图20是三维引导系统400的框图，3D引导系统400可在X射线成像系统100(或上文讨论的修改变体)上实现，并可包括造影2D荧光透视图像集402、非造影2D荧光透视图像集404和3D造影X射线图像集406的获取。造影2D荧光透视图像集402和非造影2D荧光透视图像集404可以分别与图像集324、322相同(例如，两个图像集包含整个呼吸周期的荧光透视图像)。替代地，可以通过使用下文的进程来获取图像集402、404。
在一些非限制性示例中，所需的荧光透视成像脉管系统可以是门静脉系统，并且可以通过执行肠系膜上动脉造影获取。为了注射造影剂，可以在荧光透视图像引导下将血管造影导管(例如，5Fr大小)放置在肠系膜上动脉中，然后注射造影剂(例如，碘)，然后注射生理盐水。当注射的造影剂从肠系膜上动脉引流至门静脉时，获取荧光透视图像(例如，通过成像系统100的单模式或双平板模式)。例如，造影2D荧光透视图像集402可以以特定采样率(例如，每秒15帧)获得，并且包括贯穿患者整个呼吸周期的荧光透视图像。在造影剂已经排出之后(例如，造影剂的残余物不留在脉管系统中)，或者相反地，在注射造影剂之前，可以获取非造影2D荧光透视图像集404，使得图像集包括贯穿患者整个呼吸周期的透视图像。
一旦获取了图像集402、404，或者在获取两者之前，可以获取3D对比X射线图像集406。可通过首先使用动脉内注射(例如，在肠系膜上动脉中)，然后使用盐水注射来获取3D图像集。在注射之后，患者在获取图像集406期间执行屏气。具体地，图像集406包括在X射线检测器阵列组件106的两个不同空间位置处获取的X射线图像。例如，在3D造影X射线图像集406内，以X射线源组件104和X射线检测器阵列组件106围绕水平枢转轴116的不同枢转角度获取多个X射线图像。因此，在多个平面上获取图像集406内的图像。在一些非限制性示例中，枢转角度可以在0°到360°之间，其间有任何步进尺寸。在其他非限制性示例中，仅图像集406内的两个透视图像需要来自单独的平面以外推脉管系统的3D体积。在又一非限制性示例中，为了避免从两个造影图像集402、406的获取中产生附加的辐射和造影剂注入，可以在造影2D荧光透视图像集402的获取期间获得3D造影荧光透视图像集406。例如，可以选择特定的目标位置，并且如果获取了来自两个不同平面的荧光透视图像，则可以通过3D体积空间中的2D点的反投影的交点来确定3D位置，这将在下文中更详细地讨论
一旦获取3D造影X射线图像集406，就可以生成3D体积。然后，脉管系统408(例如，门静脉系统)的3D体积可以从3D体积提取，或者从3D体积(例如，从3D体积中的其他解剖部分)去除。例如，可以通过首先应用高斯滤波器(例如，标准偏差1.5)来降低噪声来实现这一点。然后，还可以使用全局阈值方法(例如，阈值＝-250)来仅提取脉管系统408的3D体积，类似于用于生成脉管系统运动模型230的过程。附加地，可以执行相连部件分析，以查找二值化体积中的所有相连区域。在某些情况下，只有最大的区域可以用来表示脉管系统。例如，较小的区域可以手动解析并删除，因为它们通常是噪声和瑕疵。来自这些的输出产生脉管系统408的3D体积。
尽管呼吸运动跟踪利用不同的处理来跟踪呼吸状态，但曲线特征的提取可被替换以确定呼吸状态(例如，替换呼吸运动计算414)。引导系统400包括生成呼吸运动模型414，该呼吸运动模型414利用荧光透视图像内区域之间的亮度差，其中区域可以包括横膈膜上方和下方的位置。具体地，为了生成呼吸运动模型414，可以对于图像集404内的给定荧光透视图像计算x维中的平均亮度。例如，计算x维中的平均亮度有助于减少信息，其在等式11中被表示为
Figure BDA0003437370880000331
。本质上，在x维中使用平均值或和的输出是相同的，因为平均值归一化在等式11中抵消了。在一些非限制性示例中，除了计算x维中的平均亮度，总和、最大值、中值、最小值等也可用于减少信息。x维计算可用于确定y维中的质心，该质心用作呼吸状态的指标。具体地，y维中的质心与点(y方向上的)相关，其中质心上方的所有像素值之和与质心下方的所有像素值之和相同。y方向上的质心计算与r(t)计算相同。一旦为给定图像计算了y维上的质心，呼吸状态r(t)就根据等式11与y方向上的质心相关。该过程用于计算非造影2D荧光透视图像集404内所有给定图像的呼吸状态。关于等式11，变量t表示时间，It(x，y是在时间t处获取的荧光透视图像。该方法可用于单平面或双平面获取。对于双平面数据，平均每个图像的呼吸状态。
Figure BDA0003437370880000332
图21示出了等式11的输出(例如呼吸状态)与脉管系统在Z维上的估计的运动的关系图。如图所示，呼吸状态与脉管系统在Z维上的相对运动密切相关。
再次参考图20，为了创建脉管运动模型416，对造影图像集402和非造影图像集404进行减影。更具体地，对于造影图像集402内的每一帧，原生2D图像集404内的相对应的帧多得多。因此，对于采集时间的造影图像集402内的每一帧，选择与该采集时间相对应的非造影图像集404内的最佳相对应的帧中的五个。例如，为了标识图像对，可以计算并最小化均方误差以生成造影和非造影帧对。这类似于等式1的过程。然而，典型地，如上所述，非造影图像多于造影图像。因此，对于每个造影图像，存在许多匹配的非造影图像(例如，5个、10个等)。可以从匹配的非个图像的数量中选择最佳匹配，例如5个最佳匹配，或者替代地可以使用单个最佳匹配。如果使用了超过一个最佳匹配，则将平均图像。然后，基于非造影图像的最佳匹配从平均图像中减去相对应的造影图像，或者从最佳匹配的非造影图像中减去相对应的造影图像。对所有造影图像完成此减影。减影去除任何解剖背景。
然后，为了创建脉管运动模型416，定义了成本函数CF，该定义了成本函数CF将脉管系统408的3D体积中的所有点投影到2D图像空间中。一旦3D体积408被投影到2D图像空间中，就为经减影的图像中的所有投影点计算平均平方亮度，其中输出被定义为成本。
然后，使用上述成本函数计算所有经减影的图像帧。一旦评估了，标识成本最低的减影的2D帧并选择其作为起始帧。通过将估计仿射变换矩阵的成本函数最小化，该经减影的2D帧用于执行3D到2D配准。最小化是使用规则步长梯度下降算法来执行的。该算法适用于具有不同模糊核的经减影的图像的模糊版本，其从大核开始以允许更大的平移。在第一步中，只考虑刚体运动，然后考虑仿射参数。可以向成本函数中添加正则化项，以避免脉管系统的大变形。之后，3D到2D配准将应用于剩余的经减影的图像帧。在一些非限制性示例中，上一帧或下一帧的结果用作初始化。
在为每个经减影的2D帧生成变换矩阵后，针对变换矩阵的每个参数估计线性函数，或在某些情况下估计上文所讨论的参数化，该变换矩阵将呼吸状态映射或关联到各个参数。因此，每个经减影的2D帧的呼吸状态用作x，每个经减影的2D帧的参数用作y。然后使用使用双平方成本函数的稳健回归方法进行估计，并在转换矩阵内的呼吸状态和参数之间生成线性关系。
在一些非限制性示例中，如上文所讨论的，脉管系统408的3D体积仅通过荧光透视图像的两个不同的平面生成。因此，在一些情况下，造影荧光透视图像集402可用于生成脉管系统408的3D体积，并且脉管系统运动模型416的生成将略有不同。例如，该替代方法不使用获取的3D DSA，而是在2D投影图像的两个帧中限定目标。使用目标位置的周围邻域随时间跟踪该目标位置。对于所有后续帧，将成本函数最小化，该成本函数计算原始图像中目标周围的片块(patch)与当前图像中变换的目标周围的片块之间的均方误差。在跟踪两个图像序列中的目标之后，可以通过确定到3D体积的两个平面的投影射线并计算交点(或者如果没有确切的交点，则计算到两条线的最近点)来针对每个2D经减影的帧计算相对应的3D位置，以生成3D体积408。然后，使用3元素平移向量来估计3D目标位置和呼吸状态之间的线性关系以创建脉管系统运动模型416，而不是使用上文所讨论的仿射变换矩阵。
一旦生成呼吸运动模型414和脉管系统运动模型416，就可以在420处生成器械的3D体积。首先，经由X射线成像系统100获取实时荧光透视图像418，实时荧光透视图像418包括从不同平面获取的器械。然后，处理实时荧光透视图像418内的这些图像以分割器械，并创建器械的3D体积(例如，在420处)。为了分割器械，计算当前图像相对于每个非造影图像帧的均方误差，并从给定/当前图像中减去最佳非对比图像帧(例如，具有最小误差的图像帧)。然后应用线检测滤波器，随后应用动态阈值，该阈值随每个图像行的平均强度变化，以对图像进行二值化。在一些非限制性示例中，而不是在该处理中，可以通过使用神经网络(例如，如先前所描述的神经网络300)来执行器械分割。
对分割的2D图像进行二值化后，使用拓扑保持细化对分割的二值化2D图像进行细化，并提取所有可能的曲线节段。然后，应用2D路径搜索，该2D路径搜索查找表示器械中心线的单个相连路径。曲线段集表示有向图，其中每个节段表示节点，并且连接权重由两个节段的端点之间的欧氏距离和节段之间的角度定义。附加地，所有未使用节段的点数将添加到每条路径的最终成本中。Dijkstra方法用于寻找穿过节段的将总成本最小化的路径。在针对从两个不同平面获取的两个实时图像进行分割(或从神经网络300输出)2D设备路径之后，对来自两个平面的相对应的点对进行标识，相对应的点对表示相同的3D点。这可以通过构造2D图像来实现，其中每个像素表示潜在点对，从左到右的所有像素表示在来自第一平面(从尖端处开始)的设备路径上的点，从上到下的像素表示在第二平面(从尖端处开始)上的点。每个像素的值是投影3D射线从焦点到2D平面上相应点之间的距离。然后，单调函数标识点对应关系，该点对应关系可通过查找使贯穿图像从左上像素到下边界或者右边界的成本最小化的路径来确定。路径上的每个像素表示一个点对应关系。然后，通过分别重建每对相对应的点来计算3D设备路径，其中点被反向投影到体积空间中，交点(或到两条线最近的点)表示3D位置。该进程在步骤420处生成器械的3D中心线。然后，如果确定了3D中心线，则也可以在步骤420处生成器械的3D体积。例如，器械的横截面(或任何期望的横截面)和直径(或任何期望的直径)用于沿3D中心线挤压以生成器械的3D体积。替代地，3D中心线方法可仅用于初始化。例如，对于所有后续帧(例如，在实时荧光透视图像418内)，可以使用3D到2D配准来跟踪器械。这允许在不首先分割设备的情况下进行重建，并且在某些情况下可能更稳健。因此，表示来自先前帧的3D设备中心线的点云被转投影到2D图像空间中，并且基于平均平方亮度计算成本函数。然后，通过使成本函数最小化(例如使用Nelder-Mead单纯形方法(Nelder-Mead Simplexapproach))来估计仿射变换，以确定与先前时间帧相比器械位置和取向的变化。如果P表示表示来自先前帧的设备中心线的点集，则可根据等式12基于当前现时图像I确定变换。
Figure BDA0003437370880000361
Figure BDA0003437370880000362
新设备位置可由等式13描述，点集为Pn。
Rn＝(T·x0，T·x1，…T，xn} (13)
一旦生成呼吸运动模型414、脉管系统运动模型416和器械的3D体积，即可进行介入性放射学手术。如上文所讨论的，实时荧光透视图像418可被引导至呼吸运动模型414以确定由附图标记422指示的呼吸状态r(t)。在已经确定呼吸状态r(t)422之后，将呼吸状态输入到脉管系统运动模型416以，根据先前计算的线性关系(例如，变换矩阵/3元素平移向量与呼吸状态之间的估计的线性关系)生成相对应的变换矩阵(或3元素平移向量)。
对准器械步骤428可在操作者工作站122、联网的工作站148等等上实现，并可对器械的3D体积或脉管系统408的3D体积应用运动补偿。在第一实现中，对准器械步骤428接收对应于呼吸状态422的变换矩阵/3元素平移向量，对变换矩阵/3元素平移向量进行逆运算，并将其应用于器械的3D体积，从而在空间上操纵器械。然而，替代地，在一些非限制性示例中，变换矩阵/3元素平移向量的逆可应用于器械的3D中心线，并且随后，可挤压空间操纵的3D中心线以生成空间操纵的器械的3D体积。然后，脉管系统408的3D体积可以与器械的运动补偿3D体积叠加，并且可以显示在显示器430上(例如，类似于显示器150、显示器124等)。这允许脉管系统的相对静态表示(例如，脉管系统的3D体积)与器械的运动补偿3D体积对准，使得器械的明显运动只能由介入性放射科医生的操作引起。
校准器械步骤428还可将运动补偿应用于脉管系统408的3D体积。例如，校准器械步骤428接收对应于呼吸状态422的变换矩阵/3元素平移向量(例如，来自脉管系统运动模型416)，并将其应用于脉管系统408的3D体积。然后，在步骤420处，该脉管系统的空间操纵的3D体积可与器械的3D体积叠加，以将其显示在显示器430上。这允许医疗器械在脉管系统的空间移动的3D表示上对准。在一些非限制性示例中，介入性放射科医生可以轻松地在任一实现方案(例如，校准器械步骤428)之间转换/切换。
与从一种呼吸状态到另一种呼吸状态的脉管系统的不同部分的空间操纵相关的移动数据(例如，上文的平移矩阵/3元素平移向量)可用于生成脉管系统的3D运动补偿表示，或者替代的，医疗器械的3D运动补偿表示。例如，如果呼吸状态已知，则指示该呼吸状态下脉管系统应如何移动的移动数据也已知。然后可将该移动数据应用于脉管系统的3D体积(例如，在完全吸入或呼出状态的r(t)处)以操纵观察平面内脉管系统的3D体积，使得3D体积表示该呼吸状态下脉管系统的真实方向。替代地，该移动数据也可应用于医疗器械，以基于脉管系统3D体积的特定位置的移动来移动医疗器械。例如，如果医疗器械460位于脉管系统中平移、旋转、压缩、延伸等的部分，则脉管系统的该移动的逆(inverse)将应用于医疗器械。例如，这可能是有利的，因为目标(例如，脉管系统)可以是静态3D体积，而器械可以基于该特定呼吸状态下脉管系统的移动而移动(例如，压缩、延伸、旋转、平移)。如上文所提到的，介入性放射科医生可基于用户选择在引导系统400的第一状态和第二状态之间切换，在第一状态，移动数据应用于脉管系统的3D体积以在观察平面内移动血管的3D体积(例如，补偿脉管系统的呼吸运动)，在第二状态，将移动数据应用于医疗器械的3D体积，以在观察平面内移动医疗器械的3D体积(例如，补偿脉管系统的呼吸运动)
上文所描述的系统可以被配置或以其他方式用于根据本公开执行手术。特别地，如将进一步详细描述的，已经根据一个或多个优选非限制性示例描述了本发明，并且应当理解，除了那些明确说明的以外，许多等效物、替代物、变型和修改是可能的，并且在本发明的范围内。

Claims (21)

1.一种创建患者的运动调整图像以引导介入性医疗手术的方法，所述方法包括：
获取具有非造影增强脉管系统的患者的第一多个图像；
获取具有造影增强的脉管系统的所述患者的第二多个图像；
使用所述第一多个图像和所述第二多个图像生成所述患者的脉管系统的静态路线图；
使用所述第一多个图像和所述第二多个图像生成所述患者的运动模型；
利用部署在所述患者体内的介入性医疗设备获取所述患者的第三多个图像；
使用所述第三多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪数据；
使用所述运动跟踪数据和所述运动模型生成运动变换；
显示所述静态路线图以及所述第三多个图像，以使用所述运动变换示出在所述静态路线图上对准的所述介入性医疗设备，其中所述介入性医疗设备在所述静态路线图上的对准是基于以下各项中的一项的用户选择：
所述介入性医疗设备相对于所述静态路线图的运动补偿，以产生不示出患者运动的多个图像；以及
所述静态路线图相对于所述介入性医疗设备的运动调整，以产生示出患者运动的多个图像。
2.如权利要求1所述的方法，进一步包括使用神经网络从所述第三多个图像中提取所述介入性医疗设备。
3.如权利要求1所述的方法，进一步包括通过使用所述第一多个图像确定曲线特征来生成所述运动模型。
4.如权利要求1所述的方法，进一步包括通过确定第三多个图像内的曲线特征来生成所述运动跟踪路线图。
5.如权利要求1所述的方法，进一步包括使用所述第三多个图像确定所述患者的呼吸状态，并使用所述运动模型和所述呼吸状态确定所述运动变换中反映的运动调整。
6.如权利要求5所述的方法，其中确定所述患者的所述呼吸状态包括使用所述第三多个图像计算一维平均亮度。
7.如权利要求6所述的方法，其中，所述患者的所述呼吸状态是使用变换来确定的，所述变换被配置为针对上述第三多个图像中的一个或多个像素生成平移向量。
8.如权利要求1所述的方法，其中所述第一多个图像、所述第二多个图像和所述第三多个图像中的至少一个包括三维图像。
9.如权利要求1所述的方法，其中产生不示出患者运动的多个图像的所述介入性医疗设备相对于所述静态路线图的运动补偿不呈现相对于所述用户的静态显示，所述静态显示仅示出由于所述用户的推进的所述介入性医疗设备的移动。
10.如权利要求1所述的方法，其中产生示出患者运动的多个图像的所述静态路线图相对于所述介入性医疗设备的运动调整呈现相对于用户的动态显示，所述动态显示示出患者和所述介入性医疗设备由于生理运动以及所述介入性医疗设备由所述用户进行的推进的移动。
11.一种荧光透视成像系统，所述荧光透视成像系统包括：
X射线源组件，所述X射线源组件耦合在一端处，以及X射线检测器阵列组件，所述X射线检测器阵列组件耦合在另一端处；
计算机系统，所述计算机系统被配置为控制所述X射线源组件以及所述X射线检测器阵列组件，以获取具有非造影增强脉管系统的患者的第一多个图像；
控制所述X射线源组件以及所述X射线检测器阵列组件，以获取具有造影增强脉管系统的所述患者的第二多个图像；
使用所述第一多个图像和所述第二多个图像生成所述患者脉管系统的静态路线图；
使用所述第一多个图像以及所述第二多个图像生成所述患者的运动模型；
控制所述X射线源组件以及所述X射线检测器阵列组件，以使用部署在所述患者体内的介入性医疗设备获取所述患者的第三多个图
像；
使用所述第三多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪数据；
使用所述运动跟踪数据和所述运动模型生成运动变换；
显示所述静态路线图以及所述第三多个图像，以使用所述运动变换示出在所述静态路线图上对准的所述介入性医疗设备，其中所述介入性医疗设备在所述静态路线图上的对准是基于以下用户选择中的一
个：
所述介入性医疗设备相对于所述静态路线图的运动补
偿，以产生不示出患者运动的多个图像；以及
所述静态路线图相对于所述介入性医疗设备的运动调
整，以产生示出患者运动的多个图像。
12.如权利要求11所述的系统，其中所述计算机系统进一步被配置为使用神经网络从所述第三多个图像中提取所述介入性医疗设备。
13.如权利要求11所述的系统，其中所述计算机系统进一步被配置为通过使用所述第一多个图像确定曲线特征来生成所述运动模型。
14.如权利要求11所述的系统，其中所述计算机系统进一步被配置为通过确定第三多个图像内的曲线特征来生成所述运动变换。
15.如权利要求11所述的系统，其中所述计算机系统进一步被配置为使用所述第三多个图像确定所述患者的呼吸状态，并且使用所述运动模型以及所述呼吸状态确定反映在所述运动变换中的运动调整。
16.如权利要求15所述的系统，其中所述计算机系统进一步被配置为使用所述第三多个图像计算一维平均亮度，以确定所述患者的所述呼吸状态。
17.如权利要求16所述的系统，其中所述计算机系统进一步被配置为使用变换，所述变换被配置为在所述第三多个图像内对于针对一个或多个像素生成平移向量，以确定所述患者的所述呼吸状态。
18.如权利要求11所述的系统，其中所述第一多个图像、所述第二多个图像和所述第三多个图像中的至少一个包括三维图像。
19.如权利要求11所述的系统，其中产生不示出患者运动的多个图像的所述介入医疗设备相对于所述静态路线图的运动补偿不呈现相对于所述用户的静态显示，所述静态呈现仅示出由于所述用户的推进的所述介入性医疗设备的移动。
20.如权利要求11所述的系统，其中产生示出患者运动的多个图像的所述静态路线图相对于所述介入医疗设备的的运动调整呈现相对于用户的动态显示，所述动态显示示出患者和所述介入性医疗设备由于生理运动和所述介入性医疗设备由所述用户进行的推进的移动。
21.一种创建患者的运动调整图像以指导介入性医疗手术的方法，所述方法包括：
获取具有造影增强的脉管系统的患者的多个图像；
使用所述多个图像生成所述患者的脉管系统的静态路线图；
使用所述多个图像生成所述患者的运动模型；
使用部署在所述患者体内的介入性医疗设备获取所述患者的另一多个图像；
使用所述另一多个图像生成所述患者或者所述介入性医疗设备中的一个的运动跟踪数据；
使用所述运动跟踪数据和所述运动模型生成运动变换；
显示所述静态路线图以及所述另一多个图像，以使用所述运动变换示出在所述静态路线图上对准的所述介入性医疗设备，其中所述介入性医疗设备在所述静态路线图上的对准是基于以下各项中的一项的用户选择：
所述介入性医疗设备相对于所述静态路线图的运动补偿，以产生不示出患者运动的多个图像；或者
所述静态路线图相对于所述介入性医疗设备的运动调整，以产生示出患者运动的多个图像。
CN202080047404.XA 2019-06-27 2020-06-26 用于使用血管路线图的运动调整设备引导的系统和方法 Pending CN114025658A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/455,331 2019-06-27
US16/455,331 US11087464B2 (en) 2019-06-27 2019-06-27 System and method for motion-adjusted device guidance using vascular roadmaps
PCT/US2020/039853 WO2020264317A1 (en) 2019-06-27 2020-06-26 System and method for motion-adjusted device guidance using vascular roadmaps

Publications (1)

Publication Number Publication Date
CN114025658A true CN114025658A (zh) 2022-02-08

Family

ID=74042889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080047404.XA Pending CN114025658A (zh) 2019-06-27 2020-06-26 用于使用血管路线图的运动调整设备引导的系统和方法

Country Status (5)

Country Link
US (1) US11087464B2 (zh)
EP (1) EP3989798A4 (zh)
JP (1) JP7562583B2 (zh)
CN (1) CN114025658A (zh)
WO (1) WO2020264317A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140436A1 (zh) * 2022-12-30 2024-07-04 上海术之道机器人有限公司 介入器械的运动规划方法、系统、程序单元和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264751B2 (ja) * 2019-07-08 2023-04-25 株式会社ニューフレアテクノロジー 検査装置及び検査方法
EP4173001A4 (en) * 2020-06-29 2024-07-24 Ge Prec Healthcare Llc SYSTEMS AND METHODS FOR RESPIRATORY SUPPORT RECOMMENDATIONS
KR102398522B1 (ko) * 2021-02-08 2022-05-17 광주과학기술원 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치
WO2022218773A1 (en) * 2021-04-12 2022-10-20 Koninklijke Philips N.V. Navigating an interventional device
KR102305965B1 (ko) * 2021-05-25 2021-09-29 재단법인 아산사회복지재단 가이드와이어 검출 방법 및 장치
DE102021003956A1 (de) * 2021-08-02 2023-02-02 Ziehm Imaging Gmbh Verfahren zum Betreiben eines medizinischen Bildgebungsgeräts zur lagerichtigen Darstellung von nicht-anatomischen Strukturen während einer bildgebenden Untersuchung und Vorrichtung hierfür
US20230083936A1 (en) * 2021-09-14 2023-03-16 GE Precision Healthcare LLC Method and systems for motion-stabilized clinical tool tracking and visualization
US12102393B2 (en) * 2021-11-16 2024-10-01 Metal Industries Research & Development Centre Surgical robotic arm control system and control method thereof
US12086963B2 (en) * 2022-02-22 2024-09-10 GE Precision Healthcare LLC System and method for dynamic phase correction for x-ray phase-contrast imaging
EP4410213A1 (en) * 2023-02-06 2024-08-07 Siemens Healthineers AG Method and device for generating a vessel imaging sequence

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4878115A (en) 1987-09-25 1989-10-31 University Of Kentucky Research Foundation Dynamic coronary roadmapping
US8442618B2 (en) 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US6385476B1 (en) 1999-09-21 2002-05-07 Biosense, Inc. Method and apparatus for intracardially surveying a condition of a chamber of a heart
EP1135748A1 (en) 1999-09-30 2001-09-26 Koninklijke Philips Electronics N.V. Image processing method and system for following a moving object in an image sequence
DE10247299A1 (de) 2002-10-10 2004-04-22 Philips Intellectual Property & Standards Gmbh Bildverarbeitungseinheit und Verfahren für die Zuordnung von gespeicherten zu aktuellen Aufnahmen
JP4804005B2 (ja) 2002-11-13 2011-10-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 境界構造を検出するための医用ビューイングシステム及び方法
EP1709905A1 (en) 2005-04-06 2006-10-11 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Belt system for measuring respiration dependent girth change during magnetic resonance imaging
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
US20080275356A1 (en) 2007-05-03 2008-11-06 Peter Stasz Respiratory sensing belt using piezo film
US8423121B2 (en) 2008-08-11 2013-04-16 Siemens Aktiengesellschaft Method and system for guidewire tracking in fluoroscopic image sequences
JP5537262B2 (ja) * 2010-05-28 2014-07-02 株式会社東芝 Ｘ線画像診断装置
CN103002809B (zh) 2010-07-19 2016-01-06 皇家飞利浦电子股份有限公司 适应性的路线图绘制
US8948487B2 (en) 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
JP2016507304A (ja) * 2013-02-11 2016-03-10 アンジオメトリックス コーポレーション 物体を検出及び追跡するとともに重ね合わせるシステム
EP3013234B1 (en) 2013-06-28 2019-10-02 Koninklijke Philips N.V. Nearest available roadmap selection
JP2014004465A (ja) 2013-08-28 2014-01-16 Toshiba Corp 画像処理装置、ｘ線診断装置及びプログラム
EP3200155B1 (en) * 2014-05-14 2019-07-31 Sync-RX, Ltd. Object identification
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10433915B2 (en) 2016-05-16 2019-10-08 TrackX Technology, LLC System and method for image localization of effecters during a medical procedure
JP7066476B2 (ja) 2017-03-28 2022-05-13 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法及びｘ線診断装置
WO2019075529A1 (en) 2017-10-19 2019-04-25 Navi Medical Technologies Pty Ltd DETERMINING THE LOCATION OF A CATHETER IN PEDIATRIC PATIENTS
US11707242B2 (en) * 2019-01-11 2023-07-25 Pie Medical Imaging B.V. Methods and systems for dynamic coronary roadmapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140436A1 (zh) * 2022-12-30 2024-07-04 上海术之道机器人有限公司 介入器械的运动规划方法、系统、程序单元和存储介质

Also Published As

Publication number Publication date
EP3989798A4 (en) 2023-06-21
US20200410666A1 (en) 2020-12-31
JP7562583B2 (ja) 2024-10-07
JP2022539078A (ja) 2022-09-07
EP3989798A1 (en) 2022-05-04
US11087464B2 (en) 2021-08-10
WO2020264317A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7562583B2 (ja) 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法
US11707242B2 (en) Methods and systems for dynamic coronary roadmapping
US7844126B2 (en) Multi-feature time filtering for enhancing structures in noisy images
JP4374234B2 (ja) 医療的侵襲処置計画の方法及び装置
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
US8597211B2 (en) Determination of indicator body parts and pre-indicator trajectories
US8942455B2 (en) 2D/3D image registration method
US20060058643A1 (en) Medical viewing system and method for detecting boundary structures
US9173626B2 (en) Method for performing dynamic registration, overlays, and 3D views with fluoroscopic images
CN107249464B (zh) 荧光成像中的鲁棒钙化跟踪
JP2015515913A (ja) 管腔の線形マッピングのための方法
JP2016507304A (ja) 物体を検出及び追跡するとともに重ね合わせるシステム
KR101028365B1 (ko) 연속된 컴퓨터 단층촬영의 폐결절 다단계 정합 방법 및 장치
JP2006051359A (ja) 医療的侵襲処置計画、並びに侵襲型器具の位置決定及び進路誘導のための方法並びに装置
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
JP2014014673A (ja) 血管造影画像の取得方法
US9186087B2 (en) Combined cardiac and respiratory motion compensation for atrial fibrillation ablation procedures
US11850083B2 (en) Device for modifying an imaging of a tee probe in X-ray data
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
Panayiotou et al. A statistical method for retrospective cardiac and respiratory motion gating of interventional cardiac x‐ray images
EP3756547A1 (en) Automated coronary angiography analysis
US11341720B2 (en) Imaging reconstruction system and method
WO2013130086A1 (en) Integrated image registration and motion estimation for medical imaging applications
CN113538419B (zh) 一种图像处理方法和系统
Metz et al. Registration of $3 {\rm D}+{\rm t} $ Coronary CTA and Monoplane $2 {\rm D}+{\rm t} $ X-Ray Angiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination