CN111161326B - 用于可变形图像配准的无监督深度学习的系统和方法 - Google Patents

用于可变形图像配准的无监督深度学习的系统和方法 Download PDF

Info

Publication number
CN111161326B
CN111161326B CN201911086104.8A CN201911086104A CN111161326B CN 111161326 B CN111161326 B CN 111161326B CN 201911086104 A CN201911086104 A CN 201911086104A CN 111161326 B CN111161326 B CN 111161326B
Authority
CN
China
Prior art keywords
ultrasound
image
time
images
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911086104.8A
Other languages
English (en)
Other versions
CN111161326A (zh
Inventor
王博
托马斯·郭-法·福
德斯蒙德·特克·本·杨
吉姆利·米特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111161326A publication Critical patent/CN111161326A/zh
Application granted granted Critical
Publication of CN111161326B publication Critical patent/CN111161326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/4814—MR combined with ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明题为“用于可变形图像配准的无监督深度学习的系统和方法”。提供了一种方法。该方法包括在扫描持续时间内同时采集受检者的解剖区域的多个磁共振(MR)图像和多个超声图像。该方法还包括训练基于无监督深度学习的可变形配准网络。该训练包括基于多个MR图像训练MR配准子网络以生成MR变形和变换矢量，基于多个超声图像训练超声配准子网络以生成超声变形和变换矢量，以及基于多个MR图像和多个超声图像训练MR到超声子网络以在每个时间点生成MR图像和超声图像的对应对之间的MR到超声的变形和变换矢量。

Description

用于可变形图像配准的无监督深度学习的系统和方法
背景技术
本文公开的主题涉及图像配准，更具体地说，涉及在可变形图像配准中利用无监督深度学习的系统和方法。
磁共振成像(MRI)对于引导介入和治疗变得越来越重要，因为它提供软组织对比，使得能够在规划/诊断阶段标测病理组织(例如肿瘤)的位置和边界。然而，由于磁体孔中有限的患者空间和低成像帧率，很难将实时MRI集成到介入和治疗工作流程中。因此，实时MR图像在介入/治疗阶段通常是不可用的，这增加了在规划阶段不作为目标的健康组织区域的侵入性进入或治疗的风险。此外，由于缺乏对病理组织边界的实时追踪，临床医生可能无法完全接近或治疗病理组织。虽然在规划阶段从MR图像中分割或手动跟踪病变/肿瘤可以提供基准的初始位置，但是由于生理运动，该初始位置可能不是目标病变/肿瘤的真实位置。
超声成像可以提供实时成像。然而，超声成像提供较差的软组织对比度，这限制了定位或勾画病理或目标病变的能力。将实时超声成像与预先采集的MR图像(在不同时间采集的)相链接是耗时的、计算量大的，并且可能具有不利地影响介入程序的精度和结果的不准确性。此外，MRI和超声成像中的图像对比度和空间分辨率不同，这增加了对准或配准MRI和超声图像的难度。因此，需要成像方法，其在介入/治疗阶段提供足够的软组织对比度，同时还提供目标病变的实时位置信息。
发明内容
下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。
在第一实施方案中，提供了用于为介入程序提供实时图像引导的方法。该方法包括：在介入程序之前，从患者处同时采集在每个时间点匹配的MR成像扫描仪中的时间序列磁共振(MR)图像组和第一时间序列超声图像体积组；将时间序列MR图像组中的每个MR图像在时间上匹配到第一时间序列超声图像组中的对应超声图像体积；执行中间变换，以将利用其他MR图像对比度采集技术采集的病变或结构解剖轮廓转移到时间序列MR图像组中，以补充时间序列MR图像组中可用的结构解剖信息；以及对于时间序列MR图像组和第一时间序列超声图像体积组两者，分别利用在某一时间点的MR图像和对应的超声图像体积作为相应的MR参考图像组和超声参考图像组中的参考点，计算相应的第一组变形和变换矢量，使得在参考点的对象的位置、形状、取向和大小与在不同时间的同一对象的位置、形状、取向和大小匹配。该方法还包括：在介入程序期间，采集第二时间序列超声图像组，使得在每个时间点，超声图像描绘随着时间推移在位置、形状、取向或大小上变化的患者的感兴趣解剖体的变形；利用第二时间序列超声图像组，计算在当前时间点的感兴趣解剖体的超声图像和在参考点的超声参考图像组的超声图像之间的第二组变形和变换矢量；将第一和第二组变形和变换矢量应用于时间序列MR图像组的先前采集的MR图像，以生成变换的MR图像；将变换的MR图像显示为感兴趣解剖体的真实位置、形状和取向的表示；以及使用变换的MR图像进行引导来执行介入程序。
在另一个实施方案中，提供了方法。该方法包括在扫描持续时间内同时采集受检者的解剖区域的多个磁共振(MR)图像和多个超声图像。该方法还包括训练基于无监督深度学习的可变形配准网络。该训练包括基于多个MR图像训练MR配准子网络以生成MR变形和变换矢量，基于多个超声图像训练超声配准子网络以生成超声变形和变换矢量，以及基于多个MR图像和多个超声图像训练MR到超声子网络以在每个时间点生成MR图像和超声图像的对应对之间的MR到超声的变形和变换矢量。
在另一个实施方案中，提供了介入引导系统。该系统包括编码处理器可执行例程的存储器。该系统还包括被配置为访问存储器和执行处理器可执行例程的处理部件。当由处理部件执行时，例程使得处理部件接收在介入程序之前在扫描持续时间内同时采集的受检者的解剖区域的多个磁共振(MR)图像和第一多个超声图像。当由处理部件执行时，例程还使得处理部件利用第一多个超声图像及其对应的来自多个MR图像的MR图像来确定MR到超声的变换，然后训练基于无监督深度学习的可变形配准网络来生成来自两个时间点的多个超声图像的超声图像之间的变形和变换矢量，以经由变形和变换矢量以及MR到超声的变换来获得MR到超声的映射。当由处理部件执行时，例程进一步使得处理部件在介入程序期间接收受检者的解剖区域的第二多个超声图像。当由处理部件执行时，例程甚至进一步使得处理部件利用训练的基于无监督深度学习的可变形配准网络来确定来自当前时间点的第二多个超声图像的超声图像和来自第一多个超声图像的参考超声图像之间的解剖区域的二次变形和变换矢量，以将MR到超声的变形和变换矢量应用于来自多个MR图像的参考MR图像，并且随后将二次变形和变换矢量应用于参考MR图像，以生成表示在当前时间点的解剖区域的变换的MR图像。当由处理部件执行时，例程还进一步使得处理部件在介入程序期间显示变换的MR图像。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1A和图1B示出了根据本公开的各方面的组合磁共振(MR)和超声成像系统的实施方案的示意图；
图2示出了根据本公开的各方面的神经网络的实施方案的示意图；
图3示出了根据本公开的各方面的示出图2的神经网络的训练的实施方案的示意图；并且
图4示出了根据本公开的各方面的组合磁共振和超声图像引导的介入程序的实施方案的流程图。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。
提供了一些广义信息，以提供本公开的各方面的一般背景，并且有利于理解和解释本文所述的某些技术概念。
如本文所讨论的深度学习方法可基于人工神经网络，因此可能涵盖深度神经网络、全互连网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、小波滤波器组或其他神经网络架构。这些技术在本文中被称为深度学习技术，但是可也特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。
如本文所讨论，深度学习技术(可也称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示以及用于学习和处理此类表示的人工神经网络。例如，深度学习方法可表征为它们使用一个或多个算法来提取一类关注数据的高度抽象概念或对其进行建模。这可以使用一个或多个处理层来完成，其中每个层通常对应于不同级别的抽象，并且因此可能采用或利用初始数据的不同方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征作为对应于数据中的不同的特征级别或分辨率的不同的层。一般来讲，可将一个表示空间到下一级表示空间的处理视为过程的一个“阶段”。过程的每个阶段可由单独的神经网络或由一个较大神经网络的不同部分来执行。
如本文所用，术语“虚拟实时MR图像”是指对应于患者或患者的感兴趣解剖体的当前状态(例如呼吸状态或位置)的先前采集的MR图像的显示。因此，显示这些MR图像提供了患者的“实时”MR成像，即使所采用的当前图像模态是超声。通过显示准确表示成像视野内解剖结构的位置的正确的先前采集的MR图像或MR图像组，描述了系统和过程，当采用诸如超声的另一成像模态时，该系统和过程能够实时观察对应的MR图像。MR和实时体积超声成像相结合有可能以实时超声帧率为临床医生提供MR图像的软组织图像质量。
本公开提出了用于利用基于无监督深度学习的快速可变形配准的系统和方法，该配准可以应用于利用MR图像和超声图像两者的广泛的介入应用(例如，放射治疗、活检、外科介入等)。本文公开的MR图像和超声图像是同时采集的，并用于在规划阶段(在介入程序之前)训练神经网络。神经网络包括超声图像(超声到超声)配准子网络、MR图像配准子网络和MR到超声的图像变换程序。MR到超声的图像变换程序将超声到超声配准子网络和MR图像配准子网络的配准合并在一起，以增强估计变形的一致性。超声到超声配准子网络允许在任意两个时间点之间对超声图像体积进行对准或配准。考虑来自MR图像的信息能够为超声图像配准实现更准确和鲁棒的图像配准网络。在介入阶段，训练的超声图像配准子网络可以用于配准在感兴趣解剖体中可能已经发生变化(例如，由于生理运动或患者移位)的当前时间采集的超声图像。这些实时超声图像可以通过将它们配准到在规划阶段采集的超声图像而链接到预先采集的MR图像，并用于变换图像以供显示，从而在介入程序期间提供实时图像引导。所公开的实施方案提供了MR的软组织对比度优势和超声的实时成像能力。
考虑到前面的评论，图1A和图1B示出了组合MR和超声成像系统10的实施方案的示意图，其可以用于放射治疗或其他治疗或手术或介入程序的非侵入性运动管理，如本文所述。组合MR和超声成像系统10可以类似于2018年1月12日提交的名称为“Image-guidedBiopsy Techniques”(图像引导活检技术)的美国专利申请号15/870,519中描述的系统，该申请可以以引用的方式全文并入本文。组合MR和超声成像系统10包括磁共振(MR)成像系统12和超声成像系统14。超声成像系统14可以通信地耦接到MR兼容超声探头16。MR兼容超声探头16可以是被配置为与MR成像系统12结合使用的超声探头。因此，MR兼容超声探头(如2018年2月15日提交的名称为“Magnetic Resonance Compatible Ultrasound Probe”(磁共振兼容超声探头)的美国专利申请号15/897,964中所述，该申请可以以引用的方式全文并入本文)可以包含低含量或不包含铁磁材料(例如，铁、镍、钴)，如参照图1更详细讨论的。用于图像引导介入的系统具有两个部件。第一个是组合MR和超声成像系统10，其包括超声成像系统14和MR兼容超声成像探头16，如图1A所描绘。还应注意，为了便于更简单的工作流程，超声探头16能够以高时间分辨率进行三维(3D)体积采集，以允许在每个时间点采集超声图像体积。此外，除了MR兼容之外，3D超声探头16是电子可操纵和免提的。这允许超声图像视野被电子操纵，从而不需要机器人或机械超声探头保持器来改变成像视野。以这种方式，可以容易地采集同时的MR图像和超声图像。此外，在介入程序期间，可以以与介入前MR+超声程序中大致相同的方式毫不困难地使用和定位相同的超声探头。这进一步简化了工作流程，因为在介入前和介入程序之间使用了大致相同的成像设置，并且使用了相同的超声探头和采用了相同的方式。
来自MR和超声系统的数据被流式传输并存储在存储器系统22中，该存储器系统22包含神经网络25，并且可以连接到其他数据存储或处理系统。在介入程序期间，如图1B所示，第二部件11可以包括活检系统18、用于放射治疗的LINAC系统、或者外科或介入系统。活检系统18表示介入部件，其也可以是放射治疗系统、外科介入系统或另一医学介入部件。活检系统18可以由通过MR成像系统12获得的图像结合通过超声成像系统14获得的图像来引导。在某些实施方案中，代替活检系统，系统11可以包括治疗系统，诸如用于放射治疗的LINAC系统或外科介入或医学介入系统。应当注意，所描述的系统和过程需要活检程序或介入程序中的两个阶段，即活检前阶段(例如，患者特定规划阶段)，其中进行同时的MR和超声成像；以及实际活检阶段或程序(例如，介入/治疗阶段)，其中进行超声成像和针插入。这在图1B中可见，其中系统控制器块20中的显示器26、处理器24、存储器22和网络接口25可以与MR和超声程序期间使用的相同，或者是允许与系统控制器块20相同功能的不同系统块。
组合MR和超声成像系统10还可以包括系统控制器块20，该系统控制器块20通信地耦接到组合MR和超声成像系统10的其他元件，包括MR成像系统12、超声成像系统14和治疗系统18。控制器20可以包括存储器22和处理器24。在一些实施方案中，存储器22可以包括一个或多个有形的、非暂时性的计算机可读介质，其存储可由处理器24执行的指令和/或将由处理器24处理的数据。例如，存储器22可以包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器，诸如闪存存储器、硬盘驱动器、光盘和/或类似物。另外，处理器24可以包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任意组合。此外，存储器22可以存储可由处理器24执行的指令，以执行本文描述的方法。另外，存储器22可以存储通过MR成像系统12和超声成像系统14获得的图像和/或由处理器24利用的算法，以基于来自MR成像系统12和超声成像系统14的图像输入来帮助引导治疗系统18，如下面更详细讨论的。存储器22还可以存储神经网络25，当被训练时，神经网络25用作基于无监督深度学习的可变形配准网络，如下面更详细描述的。在某些实施方案中，系统10可以耦接到包括网络25的远程数据库。此外，控制器20可以包括显示器26，其可以用于显示由MR成像系统12和超声成像系统14获得的图像。
应当注意，采集的MR图像和超声图像的类型可能不同。为了效率并且也为了匹配采集帧率，一个实施方案具有随着时间推移与三维(3D)超声图像同时采集的二维(2D)MR图像，即，在每个时间点将时间序列2D MR图像与时间序列3D超声图像匹配。在这种情况下，时间序列3D超声图像中的内源性基准结构/标记可能对于时间序列2D MR图像不常见。在某些实施方案中，MR图像和/或超声图像可以是随时间推移采集的叠加2D图像。
另选地，将时间序列2D MR图像分类成对应的集合，每个集合表示相同的呼吸状态，可以生成与时间序列3D(4D)超声图像在时间上匹配的重新格式化的时间序列3D(4D)MR图像。这增加了超声图像中的内源性基准结构/标记在MR图像中常见的可能性。然而，即使不是这种情况，下面公开的技术也提供MR图像和超声图像之间的充分匹配或配准。在另一个实施方案中，以足够快的采集速度，时间序列3D(4D)MR图像与时间序列3D(4D)超声图像同时采集，以产生在时间上匹配的对应时间序列3D体积图像。由于在参考时间点设置的MR图像和对应的超声图像体积是在同一时间点采集的，所以在MR和超声中可视化的感兴趣器官具有相同的形状、取向和特征轮廓，使得MR到超声的变换更容易进行。
图2示出了神经网络25(例如，基于无监督深度学习的可变形配准网络)的实施方案的示意图。网络25为MR和超声互补使用的一般介入/治疗应用提供了快速可变形的配准框架。特别地，如下文更详细描述的，内源性基准标记(例如，对象)在相同的成像模态内被配准(例如，超声到超声或MR到MR)。神经网络25被训练成限制特定的感兴趣解剖体的可能变形和变换的空间。例如，神经网络25确定随生理运动变化的解剖结构的位置、形状、取向和/或大小的变形和变换的空间。神经网络25与基于物理的模型结合能够实现用于执行准确配准的更高效的技术。此外，神经网络25(和基于物理的模型)能够实现用于确定变形和变换场或矢量的更高效的技术，这些场或矢量随后被应用于使用不同成像模态采集的图像，即使图像对比度和/或空间分辨率变化。
网络25包括MR图像配准网络或子网络28和超声图像配准网络或子网络30。如下所述，该实施方案包括在规划阶段采集同时的MR图像和超声图像作为训练数据，以训练神经网络25。第一组超声图像是时间上链接到对应的MR图像组的参考组。MR图像被用于训练MR图像配准网络28，以确定MR确定的变形和变换场或矢量(例如，使得在参考时间点的对象的位置、形状、取向和大小与在不同时间的相同对象的位置、形状、取向和大小匹配)。超声图像被用于训练超声图像配准网络，以确定超声确定的变形和变换场或矢量(例如，使得在参考时间点的对象的位置、形状、取向和大小与在不同时间的相同对象的位置、形状、取向和大小匹配)。每个子网络28、30最小化其相应的输入(例如，图像对)的配准误差。网络25还包括MR到超声图像配准网络或子网络32。时间上链接的MR图像和超声图像(即，每个时间点的MR图像和超声图像)被用于训练MR到超声图像配准网络32，以确定MR到超声的变形和变换场或矢量(例如，二次变形和变换场或矢量)。MR到超声的变形和变换场或矢量被用作子网络28、30的输入，以增强由每个子网络28、30确定的变形和变换场或矢量之间的一致性。变形一致性约束可以基于一系列先验信息，例如，基于过去数据的所勾画的感兴趣区域和周围解剖结构的形状统计、ROI中组织的机械特性、基于它们的图像质量水平的来自每个模态的变形场估计的置信水平等。用于在规划MR图像和超声图像之间进行变换的初始仿射变换矩阵，以及用于在介入阶段配准规划超声图像和第一超声图像的另一种变换，可以被串接并用于将变形从MR变换到超声图像空间，在超声图像空间中，我们增强单独地基于MR图像和超声图像估计的变形的一致性。
一致性增强部件(即子网络32)可以理解为类似于生成对抗网络(GAN)中的鉴别器，在该网络中，由鉴别器检查由生成器生成的合成样本，以确定其被分类为好的还是坏的。在公开的实施方案中，一致性增强部件执行类似的功能。通过与MR到MR子网络28生成的变形进行比较，由一致性增强部件检查由超声到超声子网络30生成的变形。
在某些实施方案中，基于物理的模型(例如，诸如前列腺的感兴趣解剖体的模型)可以在变形场上添加常数或正则化。特别地，基于物理的模型降低了可用的自由度，并确定了什么是允许的变形/变换。对于在规划阶段没有观察到的变形，与用于活检的针插入一样，允许变形/变换的基于物理的模型可以用来模拟该过程，并生成合成图像以在训练数据集中表示这种类型的变形。通过这样做，训练的网络可以预测从病人的呼吸和移动到针插入的各种变形，以获得准确的配准结果。
在训练之后，在治疗/介入阶段，训练后的网络25将一对超声图像作为输入，并实时预测变形/变换场或矢量。第二组超声图像是在介入/治疗阶段期间的当前时间采集的体积数据集。通过仅使用超声图像实时预测变形/变换场或矢量，相同的变形/变换场或矢量然后被应用于参考MR图像组，使得新的MR图像组(具有所应用的变形/变换场或矢量)是当前时间的身体或解剖区域的良好和准确的表示(即，当前时间的感兴趣的解剖结构的位置、形状、取向和/或大小的更正确的表示)。因此，目标病变或肿瘤的正确位置可以相对于介入/治疗设备位置来表示。
来自介入前MR+超声程序(即规划阶段)的先前采集的MR图像的显示提供了在介入程序期间感兴趣器官的位置、形状和布置的准确表示，而不必在介入程序期间实时采集MR图像。因此，介入程序可以在MR扫描仪之外的任何适当位置执行。如更详细描述的，在某些实施方案中，公开的技术涉及首先确定在参考点的MR图像和超声图像体积之间的一组变形和变换矢量。随后，在介入前程序中在参考时间点的超声图像体积(变形和变换矢量的中间集合)和介入程序中在某个时间点的超声图像体积之间确定变形和变换矢量。此外，在介入程序期间超声图像体积的时间点之间的第二组变形和变换矢量被确定。通过利用线性变换过程的特性，变换的MR图像可以显示为感兴趣解剖体的真实位置、形状和取向的表示，并使用变换的MR图像进行引导来执行介入程序。
如下所述，本公开解决了多模态图像以及经历了可变形(仿射)变换的图像的配准的一般问题。本公开中描述的技术解决了以下情况。普遍的问题是将在先前时间采集的图像与在当前时间采集的图像配准，其中感兴趣解剖体的变化可能是由于生理运动或患者移位所导致。目的是将在规划阶段期间采集的具有良好软组织对比度和更好的目标病变或肿瘤勾画的MR图像配准或匹配到在介入/治疗阶段期间的实时位置变换。
在第一种情况下，内源性基准标记在MR图像和超声图像两者中都可见且常见。在这种情况下，让M(t)表示时间t上的MR图像组(2D或3D)。让Up(t)表示时间t上的超声图像组(3D)。M(t)和Up(t)表示在规划或介入前阶段期间采集的图像。类似地，让UT(t)表示在介入阶段期间采集的超声图像。在规划阶段期间，同时采集时间序列MR图像和超声图像，使得每个MR图像M(t)在时间上与超声体积数据集Up(t)匹配。因此，{M(t1),M(t2),…,M(tn)}表示在规划阶段期间的不同时间点采集的MR图像组的时间序列，其具有时间上匹配的对应的超声时间序列{Up(t1),Up(t2),…,Up(tn)}。如果假设t＝t1处的图像是参考或目标图像，则变形和变换场或矢量(对于到不同的时间点的MR到MR和超声到超声的变形和变换，分别由E(t)和Z(t)表示)对于每个时间点为E(t):M(t1)→M(tm) (1)
和Z(t):Up(t1)→Up(tm) (2)
对于一些时间点tm。注意，在该实施方案中隐含的是，也可以采集与时间序列MR图像具有不同图像对比度的MR图像。这些图像是T1加权的、T2加权的或一些其他参数类型的图像，其包含优选用于观察感兴趣解剖体中的病变或结构的图像对比度。假设这些病变或结构轮廓使用已知和确定的方法(通过中间变换)被转移到时间序列MR图像{M(t1),M(t2),…,M(tn)}。因此，本文所述的变形和变换过程也转移病变或结构轮廓，并且在介入程序期间可用于图像引导。这在通用MR数据变形网络42(E*)中表示。
因为时间序列MR图像可以是2D图像，而时间序列超声图像可以是3D图像或体积，所以相同的内源性基准标记在两种图像模态中可能可见，也可能不可见。如果相同的内源性基准标记在两种图像模态中都可见，那么变形场和变换场是等效的，使得E(t)＝Z(t)。
因此，在介入阶段期间，在某个时间t，实时确定将在该时间点的超声图像与在规划或介入前阶段期间采集的参考或目标图像相匹配的变形和变换场或矢量，其中：
Z'(t):Up(t1)→UT(t)。 (3)
注意，t1表示在介入前或规划阶段时间序列超声体积图像组{Up(t)}中选择的某个参考时间点。通过将Z'(t)与在规划阶段期间确定的可用变形和变换场或矢量{Z(ti)}(其中i是某个下标)相匹配，对应的变形和变换场或矢量E(ti)可以被应用于参考或目标MR图像M(t1)，以产生表示在当前时间t的目标病变或肿瘤的位置的MR图像，即M(ti)。然后，在每个当前时间点t重复的该程序使用MR图像提供实时成像指导，该MR图像具有良好的软组织对比度和目标病变或肿瘤的勾画。我们注意到，为了计算效率和减少介入程序时间，可以通过使用来自介入前或规划阶段的训练的超声到超声变形和变换子网络30来快速确定变换Z'(t)的确定。
注意，Z'(t)可以直接应用于参考或目标MR图像M(t1)。然而，空间分辨率和图像对比度的差异可能会在变形和变换场或矢量E(t)和Z(t)之间产生一些不一致，这就需要使用特定于MR图像的对应的变形和变换场或矢量E(t)。变形/变换的数据一致性可以通过在每个时间点比较E(t)和Z(t)来检查。
在第二种情况下，内源性标记在MR图像和超声图像中不完全可见或不常见。由于MR图像可能主要是2D图像，3D超声图像中的内源性基准标记在2D MR图像中可能不存在。此外，空间分辨率和图像对比度的差异可能会在变形和变换场或矢量E(t)和Z(t)之间产生一些不一致。
在这些情况下，需要确定同时采集的MR图像和超声图像对之间的进一步配准。MR图像和超声图像对之间的变形和变换场或矢量可以由H(t)表示，其中
H(ti):M(ti)→Up(ti)。 (4)
在介入、规划或治疗阶段期间，如在等式(3)中那样确定用于将参考或目标超声图像Up(t1)配准到当前超声图像UT(ti)的变形和变换场或矢量。然而，为了正确地变形和变换参考或目标MR图像M(t1)，还必须应用二次和对应的MR到超声的变形和变换场或矢量。因此，为了获得在介入或治疗阶段期间的当前时间点的目标病变或肿瘤的正确MR表示，必须首先将H(ti)应用于M(ti)，然后是Z'(ti)。即：
Z'(ti){H(ti){M(ti)}}＝MT(ti)。 (5)
在第三种情况下，在介入阶段和规划阶段期间的运动是不匹配的。可能存在介入或治疗阶段期间的运动不能与规划阶段期间遇到的运动匹配的情况。在这些情况下，Z'(t)不能与在规划阶段期间确定的变形和变换场或矢量集{Z(ti)}匹配。因此，为了正确地变形和变换参考或目标MR图像M(t1)，首先确定参考或目标时间点的MR到超声的变形。注意，这可以在规划阶段的图像采集之后和介入或治疗阶段之前确定。那么，
H(t1):M(t1)→Up(t1)。 (6)
在介入或治疗阶段采集的当前超声图像与参考或目标超声图像配准，如等式(3)所示。随后，在介入或治疗阶段期间的当前时间点的目标病变或肿瘤的正确MR表示将H(t1)应用于M(t1)，然后是Z'(ti)。即：
Z'(ti){H(t1){M(t1)}}＝MT(ti) (7)
随后的讨论教导了一种使用神经网络和训练数据集实时计算或确定变形和变换场或矢量(E(t),Z(t),H(t))的高效方式。特别地，在一个实施方案中，MR配准子网络28的训练数据集由多对MR图像或体积组成。对于每对MR图像组，一个图像被指定为“运动”图像，另一个被设置为目标或参考图像。配准网络28使用空间变换网络的思想将“运动”图像采样并扭曲到目标/参考图像，并且最小化衡量扭曲的“运动”图像和目标/参考图像之间的相异度的损失函数。超声子网络30与超声图像类似地工作。超声配准子网络30和MR配准子网络28的训练数据集以相同的方式设计，唯一的区别在于除了确定H(t)之外，没有跨模态配准。对于在不同时间点的图像，对同一模态内的图像执行训练，并且对于同一时间点，横跨不同模态的图像执行训练。与监督方法不同，本技术不需要知道训练数据集中图像对之间的真实变形场，这可能非常难以生成。
一般来说，基于学习的图像配准，无论是监督的还是无监督的，都在训练中使用通过从训练数据集中随机采样图像/体积对而生成的图像对。这是为了确保数据集中感兴趣解剖体的所有可能的变形和变换都通过随机采样捕获，因此训练的系统可以一般化以处理测试数据集的图像中可能看不见的基准结构。即，
Ei(tm):M(ti)→M(tm) (8)
和Zi(tm):Up(ti)→Up(tm)， (9)
其中，Ei(tm)和Zi(tm)分别表示在作为参考或目标的第i时间点和MR到MR和超声到超声图像的某个第m时间点tm之间的可能变形和变换的随机采样。本技术利用在时间上同步的同时MR图像和超声图像。这样，在规划阶段采集的训练图像对提供了一系列空间变形/变换估计，这些空间变形/变换估计表示了在介入阶段期间采集的图像中将观察到的那些空间变形/变换估计。特别是，如果假设每个患者在规划和介入阶段两者期间都有相似的呼吸模式或其他重复运动。然而，即使运动或呼吸模式在规划阶段和介入阶段之间不重复或不可再现，所公开的技术也能够实现变形/变换。
如上所述，对于在规划阶段没有观察到的变形，与用于活检的针插入一样，允许变形/变换的基于物理的模型可以模拟该过程，并生成合成图像以在训练数据集中表示这种类型的变形。通过这样做，训练的网络可以预测从病人的呼吸和移动到针插入的各种变形，以获得准确的配准结果。
所公开技术的另一个重要组成部分是在训练过程中时间同步的MR和超声信息的融合。这个步骤很重要，并且它将所公开的技术与过去的技术区别开来，过去的技术不能验证或校准基于超声的跟踪或配准，并且因此不能校正仅超声配准中的误差。通过在规划阶段利用同时的MRI和超声图像采集，所公开的技术在时间上匹配MRI和超声图像组或体积，以能够更好地确定变形/变换场或矢量。此外，通过使用时间序列超声体积图像组，可以在介入程序之前为该特定患者训练超声图像的变形/变换子网络。这允许更短的介入程序时间。这种方法还定制或个性化该患者特定的呼吸器、心脏或生理运动的变形/变换网络，而不是使用可能引入误差的通用网络。对于第一对应的MR图像和超声图像，所公开的技术执行仿射配准以将它们配准在一起，仿射变换矩阵被保存，并且随后将被用作快速确定其他可能配准(即，变形和变换场或矢量)的起点。
在某些实施方案中，对准或配准MR图像和超声图像的一种方式是仅配准每对对应的MR图像和超声图像，然后基于MR图像和超声图像之间的重叠，裁剪具有视场大小的共同配准的MR图像和超声图像。在对每对对应的MR图像和超声图像重复应用上述程序之后，形成一系列配准和裁剪的MR图像和超声图像，其可以被视为双通道多模态数据。在这个预处理步骤之后，可以接着执行多模态配准。然而，在这种方法中，训练系统只能预测裁剪图像中的变形，因此，整个图像变形不可用。因此，在优选实施方案中，利用了图2中的网络架构。
图3示出了示出图2的神经网络25的训练的实施方案的示意图。图3示出了在患者特定规划阶段期间对不同子网络的训练的输入。如所描绘的，在扫描持续时间内同时采集的多个MR图像34(例如，时间序列MR图像组)和多个超声图像36(例如，时间序列超声图像组)被提供作为训练的输入。特别地，多个MR图像34被提供给MR图像配准子网络28，用于子网络28的训练，以确定MR确定的变形和变换场或矢量(如块38中所示)。多个超声图像36被提供给超声图像配准子网络30，用于子网络30的训练，以确定超声确定的变形和变换场或矢量(如块40中所示)。在某些实施方案中，MR变形数据42和超声变形数据44可以分别作为训练输入提供给子网络28、30。如前所述，每个子网络28、30最小化其自身图像对的配准误差(即，在参考时间点的参考或目标图像和在不同时间点的另一图像之间)。匹配的成对变形和变换场或矢量用于训练MR到超声图像配准网络32(如块46中所示)，以确定每个时间点的MR到超声变形和变换场或矢量(例如，二次变形和变换场或矢量)。MR到超声的变形和变换场或矢量被用作子网络28、30的输入，以增强由每个子网络28、30确定的变形和变换场或矢量之间的一致性，从而提供从一个时间点到另一个时间点的更准确的变形和变换。
图4示出了提供虚拟实时磁共振图像的方法48的流程图，用于对患者的介入程序(例如，治疗或活检(例如，前列腺活检))进行直接成像引导。方法48由两个成像阶段组成：(1)规划阶段或介入前阶段(例如，活检前或治疗前阶段)(即，步骤50至53)；以及(2)介入/治疗阶段(例如活检阶段)(步骤54至62)。规划阶段的步骤可以发生在介入/治疗阶段之前的任何时间，并且可以发生在不同的位置或相同的位置。例如，规划阶段可以在MR扫描仪中进行，并且介入程序(例如，治疗或活检)可以在MR扫描仪之外进行，诸如在标准临床检查室中进行。
在规划阶段期间，在步骤50中，患者的感兴趣解剖体(例如前列腺)的MR图像(时间序列超声图像组)和超声图像(例如时间序列超声图像组)被同时采集。在某些实施方案中，在每个时间帧，在超声图像中识别一个或多个内源性基准标记。例如，内源性基准标记可以包括血管、前列腺的结构解剖体或可疑病变本身。在步骤52中，利用MR图像和超声图像训练神经网络，以确定相应的变形和变换场或矢量(例如，MR确定的变形和变换场或矢量以及超声确定的变形和变换场或矢量以及MR到超声的变形和变换场或矢量)。在某些实施方案中(例如，上面讨论的第二和第三种情况)，在步骤53中，神经网络被用来确定在每个时间点t1的MR到超声的变形。第二种情况是当内源性标记在MR图像和超声图像中不完全可见或不常见(并且使用等式5)时。第三种情况是当在介入阶段和规划阶段期间的运动不匹配(使用等式7)时。
在介入/治疗阶段期间，在步骤54中，患者的感兴趣解剖体(例如前列腺)的超声图像(时间序列超声图像组)被实时采集。在某些实施方案中，超声图像可以用于定位更早识别的相同的内源性基准标记。在步骤56中，在某个时间t，该时间点的超声图像与在规划阶段期间采集的参考或目标超声图像相匹配的变形和变换场或矢量(例如，二次变形和变换场或矢量)被实时确定。
在某些实施方案中(例如，在内源性基准标记在MR图像和超声图像中都可见且常见的第一种情况下)，在步骤57中，找到在时间t的变换匹配(例如，Z(t)←→Z'(ti))。在步骤62中，显示表示当前时间点的变换的MR图像(例如，具有校正变换)，以提供介入程序的实时引导。
另选地，在某些实施方案中(例如，第二种情况)，在步骤58中，MR到超声的变形和变换场或矢量被应用于先前采集的参考或目标MR图像(对应于在时间上链接的目标或参考超声图像)，以将其与参考超声对准。在步骤59中，二次变形和变换场或矢量被应用以将预先采集的超声与在当前时间点的超声对准，从而生成表示在当前时间点的感兴趣解剖体(例如，胰腺)的变换的MR图像。在步骤62中，显示表示当前时间点的变换的MR图像(例如，具有校正变换)，以提供介入程序的实时引导。
在某些实施方案中(例如，第三种情况)，在步骤60中，MR到超声的变形和变换场或矢量被应用于先前采集的参考或目标MR图像(对应于在时间上链接的目标或参考超声图像)，以将其与参考超声对准。在步骤61中，二次变形和变换场或矢量被应用以将预先采集的超声与在当前时间点的超声对准，从而生成表示在当前时间点的感兴趣解剖体(例如，胰腺)的变换的MR图像。在步骤62中，显示表示当前时间点的变换的MR图像(例如，具有校正变换)，以提供介入程序的实时引导。在介入程序期间，在步骤62中，可以重复步骤54至61中的一个或多个，直到程序结束。
所公开的实施方案的技术效果包括提供用于提供实时可变形配准的系统和方法，以便在更快、更准确和鲁棒的介入程序的实时图像引导中使用。特别地，基于无监督深度学习的可变形配准网络被训练(在MR图像和超声图像上)，并被用于显著提高计算速度，以能够实时处理超声图像并能够实现实时可变形配准。基于无监督深度学习的可变形配准网络还包括多个配准网络和一致性增强部件，以最小化配准误差。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (11)

1.一种用于为介入程序提供实时图像引导的方法，包括：
在所述介入程序之前：
从患者处同时采集在每个时间点匹配的MR成像扫描仪中的时间序列MR图像组和第一时间序列超声图像体积组；
将所述时间序列MR图像组中的每个MR图像在时间上匹配到所述第一时间序列超声图像体积组中的对应超声图像体积；
执行中间变换，以将利用其他MR图像对比度采集技术采集的病变或结构解剖轮廓转移到所述时间序列MR图像组中，以补充所述时间序列MR图像组中可用的结构解剖信息；
对于所述时间序列MR图像组和所述第一时间序列超声图像体积组两者，分别利用在某一时间点的MR图像和对应的超声图像体积作为相应的MR参考图像组和超声参考图像体积组中的参考点，计算相应的第一组变形和变换矢量，使得在所述参考点的对象的位置、形状、取向和大小与在不同时间的同一对象的位置、形状、取向和大小匹配，其中包括：训练基于无监督深度学习的可变形配准网络来获得从所述参考点到所述不同时间的所述MR图像到超声图像体积的变换来获得MR到超声的映射；
并且在所述介入程序期间：
采集第二时间序列超声图像体积组，使得在每个时间点，
所述第二时间序列超声图像体积组的所述超声图像体积描绘随着时间推移在位置、形状、取向或大小上变化的所述患者的感兴趣解剖体的变形；
利用所述第二时间序列超声图像体积组，计算在当前时间点的所述感兴趣解剖体的超声图像体积和在所述参考点的所述超声参考图像体积组的所述超声图像体积之间的第二组变形和变换矢量，其中包括：利用所述训练的基于无监督深度学习的可变形配准网络来确定所述第二组变形和变换矢量；
将所述第一组和所述第二组变形和变换矢量应用于所述时间序列MR图像组的先前采集的MR图像，以生成变换的MR图像；
将所述变换的MR图像显示为感兴趣解剖体的真实位置、形状和取向的表示；以及
使用所述变换的MR图像进行引导来执行所述介入程序。
2.根据权利要求1所述的方法，其中，所述时间序列MR图像组和所述第一时间序列超声图像体积组是在不同时间点采集的二维图像、在不同时间点采集的三维图像或者在不同时间点采集的二维图像的堆叠。
3.根据权利要求1所述的方法，包括提供在所述同时的MR和超声采集期间在介入前治疗阶段中确定的所述第一组变形和变换矢量作为神经网络的训练的输入，所述神经网络确定随生理运动变化的解剖结构的位置、形状、取向或大小的变形和变换的空间。
4.根据权利要求3所述的方法，其中，在所述介入程序期间，所述训练的神经网络被配置为快速确定所述第二变形和变换矢量，所述第二变形和变换矢量表征所述解剖结构从参考状态或时间点的位置、形状、取向或大小的变化。
5.根据权利要求4所述的方法，包括提供来自其他患者的变形和变换作为用于训练所述神经网络的附加输入。
6.根据权利要求1所述的方法，其中，当所述感兴趣解剖体的位置、形状、取向或大小随时间变化时，利用描述所述感兴趣解剖体的变形的所述超声图像体积，提供所述感兴趣解剖体的运动的物理允许范围，从而为任何时间点加速从所述参考点的所述第二变形和变换矢量的所述确定。
7.根据权利要求1所述的方法，其中，在所述介入程序之前，对于给定的解剖结构，独立计算所述MR图像和超声图像体积两者的变形和变换矢量，并将其用作所述计算的精度和准确度的内部检查。
8.根据权利要求7所述的方法，包括，当超声确定的和MR确定的变形和变换矢量之间存在不一致时，在所述参考点将所述MR确定的变形和变换矢量应用于所述MR图像，以生成所述变换的MR图像，所述变换的MR图像是所述当前时间点的感兴趣解剖结构的位置、形状、取向或大小的更正确的表示。
9.根据权利要求1所述的方法，其中，将所述第一组和所述第二组变形和变换矢量应用于所述先前采集的MR图像以生成所述变换的MR图像包括：
将所述第一组变形和变换矢量应用于表示在参考或目标时间点的所述感兴趣解剖体的所述先前采集的MR图像；以及
随后应用所述第二组变形和变换矢量来生成所述变换的MR图像。
10.一种介入引导系统，包括：
存储器，所述存储器对处理器可执行例程进行编码；
处理部件，所述处理部件被配置为访问所述存储器并执行所述处理器可执行例程，其中，所述例程在由所述处理部件执行时使所述处理部件：
接收在介入程序之前在扫描持续时间内同时采集的受检者的解剖区域的多个MR图像和第一多个超声图像；
利用所述第一多个超声图像及其对应的来自所述多个MR图像的MR图像来确定MR到超声的变换，然后训练基于无监督深度学习的可变形配准网络来生成来自两个时间点的所述多个超声图像的超声图像之间的变形和变换矢量，以经由所述变形和变换矢量以及所述MR到超声的变换来获得MR到超声的映射；
在所述介入程序期间，接收所述受检者的所述解剖区域的第二多个超声图像；
利用所述训练的基于无监督深度学习的可变形配准网络来确定来自在当前时间点的所述第二多个超声图像的超声图像和来自所述第一多个超声图像的参考超声图像之间的所述解剖区域的二次变形和变换矢量，以将所述变形和变换矢量应用于来自所述多个MR图像的参考MR图像，并且随后将所述二次变形和变换矢量应用于所述参考MR图像，以生成表示在所述当前时间点的所述解剖区域的变换的MR图像；以及
在所述介入程序期间显示所述变换的MR图像。
11.根据权利要求10所述的介入引导系统，其中，所述处理部件被配置为独立地训练所述基于无监督深度学习的可变形配准网络，以基于所述多个MR图像生成MR特定的变形和变换矢量，并且基于所述多个超声图像生成超声特定的变换矢量。
CN201911086104.8A 2018-11-08 2019-11-08 用于可变形图像配准的无监督深度学习的系统和方法 Active CN111161326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/184,690 2018-11-08
US16/184,690 US10842445B2 (en) 2018-11-08 2018-11-08 System and method for unsupervised deep learning for deformable image registration

Publications (2)

Publication Number Publication Date
CN111161326A CN111161326A (zh) 2020-05-15
CN111161326B true CN111161326B (zh) 2023-09-08

Family

ID=70550431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086104.8A Active CN111161326B (zh) 2018-11-08 2019-11-08 用于可变形图像配准的无监督深度学习的系统和方法

Country Status (2)

Country Link
US (1) US10842445B2 (zh)
CN (1) CN111161326B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR20210038903A (ko) 2018-07-30 2021-04-08 하이퍼파인 리서치, 인크. 자기 공명 이미지 재구성을 위한 딥 러닝 기술
CA3107776A1 (en) 2018-08-15 2020-02-20 Hyperfine Research, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CA3133351A1 (en) 2019-03-14 2020-09-17 Hyperfine, Inc. Deep learning techniques for generating magnetic resonance images from spatial frequency data
DE102020122552A1 (de) 2020-08-28 2022-03-03 Siemens Healthcare Gmbh Verfahren, einrichtung und system zur bestimmung von biopsieparametern
EP3967232A1 (en) * 2020-09-10 2022-03-16 Koninklijke Philips N.V. Method for providing a source of secondary medical imaging
CN112330724B (zh) * 2020-10-15 2024-04-09 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
US11762951B2 (en) * 2020-11-18 2023-09-19 Adobe Inc. Generative image congealing
CN113012204B (zh) * 2021-04-09 2024-01-16 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN113192014B (zh) * 2021-04-16 2024-01-30 深圳市第二人民医院(深圳市转化医学研究院) 改进脑室分割模型的训练方法、装置、电子设备和介质
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113763441B (zh) * 2021-08-25 2024-01-26 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统
CN113729941B (zh) * 2021-09-23 2024-01-30 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN116096313B (zh) * 2021-12-17 2023-10-31 上海卓昕医疗科技有限公司 穿刺定位系统及其控制方法
CN114359356A (zh) * 2021-12-28 2022-04-15 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法、设备及介质
US20230314543A1 (en) * 2022-02-16 2023-10-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging
CN116269311A (zh) * 2023-02-10 2023-06-23 常州市儿童医院(常州市第六人民医院) 针对儿童的磁共振成像系统与成像方法
CN116071226B (zh) * 2023-03-06 2023-07-18 中国科学技术大学 基于注意力网络的电镜图像配准系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
CN102750692A (zh) * 2012-05-31 2012-10-24 东南大学 结合多模态造影剂进行图像配准的方法
DE102011085894A1 (de) * 2011-11-08 2013-05-08 Siemens Aktiengesellschaft Verfahren und elektronische Recheneinrichtung zur Bildgebung und Bildgebungssystem
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233681B2 (en) * 2004-09-24 2012-07-31 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and a blood vessel and tissue surface image for the subject
FR2914466B1 (fr) * 2007-04-02 2009-06-12 Inst Nat Rech Inf Automat Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons.
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
KR102114415B1 (ko) * 2013-01-29 2020-05-22 삼성전자주식회사 의료 영상 정합 방법 및 장치
US10806947B2 (en) * 2013-03-12 2020-10-20 General Electric Company Methods and systems to determine respiratory phase and motion state during guided radiation therapy
WO2015031576A1 (en) 2013-08-28 2015-03-05 Siemens Aktiengesellschaft Systems and methods for estimating physiological heart measurements from medical images and clinical data
US10945709B2 (en) * 2015-02-20 2021-03-16 Emory University Systems, methods and computer readable storage media storing instructions for image-guided interventions based on patient-specific models
US10580159B2 (en) 2017-01-31 2020-03-03 Siemens Healthcare Gmbh Coarse orientation detection in image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
DE102011085894A1 (de) * 2011-11-08 2013-05-08 Siemens Aktiengesellschaft Verfahren und elektronische Recheneinrichtung zur Bildgebung und Bildgebungssystem
CN102750692A (zh) * 2012-05-31 2012-10-24 东南大学 结合多模态造影剂进行图像配准的方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adversarial deformation regularization for training image registration neural networks;Hu Y等;《International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham》;20180926;774-782 *

Also Published As

Publication number Publication date
US10842445B2 (en) 2020-11-24
US20200146635A1 (en) 2020-05-14
CN111161326A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
Li et al. Magnetic resonance image (MRI) synthesis from brain computed tomography (CT) images based on deep learning methods for magnetic resonance (MR)-guided radiotherapy
US8145012B2 (en) Device and process for multimodal registration of images
US8942455B2 (en) 2D/3D image registration method
US20170084036A1 (en) Registration of video camera with medical imaging
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
Reinertsen et al. Clinical validation of vessel-based registration for correction of brain-shift
US20050251029A1 (en) Radiation therapy treatment plan
EP3463097B1 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
EP1516290A2 (en) Physiological model based non-rigid image registration
CN112348858A (zh) 多模态图像的可变形配准
CN108430376B (zh) 提供投影数据集
Hallpike et al. Medical image registration: an overview
Banerjee et al. 4D ultrasound tracking of liver and its verification for TIPS guidance
Warfield et al. Intraoperative segmentation and nonrigid registration for image guided therapy
EP3234917B1 (en) Method and system for calculating a displacement of an object of interest
Mezheritsky et al. 3D ultrasound generation from partial 2D observations using fully convolutional and spatial transformation networks
Guo et al. Ultrasound frame-to-volume registration via deep learning for interventional guidance
Wodzinski et al. Application of demons image registration algorithms in resected breast cancer lodge localization
Li Computer-assisted navigation techniques for MRI-guided percutaneous interventions
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
Shanmuganathan et al. Two-Step Rigid and Non-Rigid Image Registration for the Alignment of Three-Dimensional Echocardiography Sequences from Multiple Views
徐睿 et al. 3D non-rigid image registration algorithm for MR-guided microwave thermocoagulation of liver tumors
Maris et al. Deformable surface registration for breast tumors tracking: a phantom study
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant