CN111127521B - 用于生成和跟踪目标的形状的系统和方法 - Google Patents

用于生成和跟踪目标的形状的系统和方法 Download PDF

Info

Publication number
CN111127521B
CN111127521B CN201911386237.7A CN201911386237A CN111127521B CN 111127521 B CN111127521 B CN 111127521B CN 201911386237 A CN201911386237 A CN 201911386237A CN 111127521 B CN111127521 B CN 111127521B
Authority
CN
China
Prior art keywords
shape
model
image
target
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911386237.7A
Other languages
English (en)
Other versions
CN111127521A (zh
Inventor
孙善辉
陈章
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN111127521A publication Critical patent/CN111127521A/zh
Application granted granted Critical
Publication of CN111127521B publication Critical patent/CN111127521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本公开提供了用于生成和跟踪目标的形状的系统和方法。所述方法可以包括获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像。所述方法可以包括利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数。所述方法可以包括基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定所述目标的至少一种形状。所述方法可以进一步包括通过渲染所述目标的形状，来生成所述目标的第二分辨率可视化视图。

Description

用于生成和跟踪目标的形状的系统和方法
交叉引用
本申请要求于2019年10月25日提交的美国申请号为US 16/664,710的优先权，其全部内容通过引用的方式并入本文。
技术领域
本申请总体上涉及图像处理技术，尤其涉及用于生成和跟踪医学图像中的目标的形状的系统和方法。
背景技术
诸如磁共振成像(MRI)系统或计算机断层摄影(CT)系统之类的成像系统被广泛用于医学诊断和/或治疗。成像系统可以提供高分辨率(HR)图像和/或低分辨率(LR)图像。图像可以是二维(2D)图像或三维(3D)图像。与LR图像相比，HR图像可以提供丰富的诊断信息。以心脏磁共振(CMR)成像为例，HR容积CMR(例如，HR 3D CMR)可以为心血管疾病提供丰富的诊断信息。但是，HRCMR通常比LRCMR需要更长的采集时间。在临床上，获取HR CMR是一项艰巨的任务，因为患者需要长时间屏住呼吸，并且会牺牲平面图像质量以提高获取速率。低切片分辨率CMR(例如，2D多层切片成像)在临床应用中广为接受。但是，二维多层LR成像包括一些缺点，例如，由呼吸运动、心脏运动、患者运动以及嘈杂的ECG门控引起的切片间的移位，和由整个心脏的切片覆盖范围不完整引起的3D模型的顶端区域的大切片厚度和切片覆盖范围不足。在某些情况下，针对LR图像中目标(例如心脏)的2D分割算法可以会产生高分辨率的平面内分割，但是它无法避免上述问题。直接执行3D分割(例如，基于深度学习的3D分割算法)可以需要平面外插值，该插值会使表面过平滑来减轻切片伪影，并导致大量计算。在某些情况下，对于某些进行运动的目标(例如，心脏或肺)，目标的形状在不同的时间点会有所不同。通过在不同时间点跟踪目标的形状，可以获得诊断信息(例如，心肌应力的估计)。例如，应力估计可以促进对心肌收缩和松弛的了解。因此，期望提供能够用于从低分辨率图像中生成目标的高分辨率分割并基于高分辨率分割跟踪目标的形状的系统和/或方法，以便提供准确的目标评估或视图并保持高效成像。
发明内容
在本公开的第一方面，提供了一种用于生成和跟踪目标的形状的方法。所述方法包括：获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数可以包括至少一个形状方差系数和至少一个姿势变换参数；基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定目标的至少一种形状。所述方法还包括：通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
在本公开的第二方面，提供了一种用于生成和跟踪目标的形状的系统。所述系统包括采集模块、形状参数确定模块和第一形状确定模块。所述采集模块用于获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像；所述形状参数确定模块用于利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数包括至少一个形状方差系数和至少一个姿势变换参数；所述第一形状确定模块用于基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定所述目标的至少一种形状。所述系统还包括渲染模块，所述渲染模块用于通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
在本公开的第三方面，提供了一种用于生成和跟踪目标的形状的装置，其包括处理器，所述处理器用于执行生成和跟踪目标的形状的方法。所述方法包括：获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数可以包括至少一个形状方差系数和至少一个姿势变换参数；基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定目标的至少一种形状。所述方法还包括：通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
在本公开的第四方面，提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行生成和跟踪目标的形状的方法。所述方法包括：获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数可以包括至少一个形状方差系数和至少一个姿势变换参数；基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定目标的至少一种形状。所述方法还包括：通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
本公开的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本公开的一部分附加特性对于本领域技术人员是明显的。本公开的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本公开将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本公开的一些实施例所示的示例性成像系统的示意图；
图2是根据本公开的一些实施例所示的示例性MRI扫描仪的示意图。
图3是根据本公开的一些实施例所示的可以在其上应用处理设备的计算设备的示例性硬件和/或软件组件的示意图；
图4是根据本公开的一些实施例所示的移动设备的示例性硬件组件和/或软件组件的示意图；
图5是根据本公开的一些实施例所示的示例性处理设备的框图；
图6是根据本公开的一些实施例所示的示例性心脏磁共振(CMR)电影成像的示意图；
图7是根据本公开的一些实施例所示的用于生成目标的分割形状的示例性过程的流程图；
图8A是根据本公开的一些实施例所示的确定一个或以上形状参数的示例性过程的流程图；
图8B是说明根据本公开的一些实施例所示的将目标形状适配于低分辨率数据的示意图；
图8C是根据本公开的一些实施例所示的使用预测模型确定一个或以上形状参数的简化方案的示意图；
图9A是根据本公开的一些实施例所示的确定一个或以上形状参数的示例性过程的流程图；
图9B是根据本公开的一些实施例所示的使用预测模型确定一个或以上形状参数的简化方案的示意图；
图9C是根据本公开的一些实施例所示的使用预测模型确定一个或以上形状参数的另一种简化方案的示意图；
图10是根据本公开的某些实施例所示的确定用于预测一个或以上形状参数的预测模型的示例性过程的流程图；
图11是根据本公开的一些实施例所示的卷积神经网络(CNN)模型的示例性结构的示意图；
图12是根据本公开的一些实施例所示的用于跟踪目标的形状随时间的变化的示例性过程的流程图；
图13是根据本公开的一些实施例所示的使用运动参数预测模型确定运动参数的简化方案的示意图；以及
图14是根据本公开的某些实施例所示的确定用于预测运动参数的预测模型的示例性过程的流程图。
具体实施方式
为了更清楚地说明本公开的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本公开。在其他情况下，为了避免不必要地模糊本公开的一些方面，本公开已经以相对高级别概略地描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本公开的原则和范围的情况下，本公开中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本公开不限于所示的实施例，而是符合与权利要求一致的最广泛范围。
本公开中所使用的术语仅用于描述特定的示例性实施例，并不限制本公开的范围。如本公开使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本公开说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
将理解的是，本公开中使用的术语“系统”、“引擎”、“单元”、“模块”和/或“块”是一种在升序中区分不同级别的不同组件、元件、零件、部分或组件的方法。然而，可以使用其它可以达到相同目的表达取代以上术语。
通常，本公开所使用的词“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑或软件指令的集合。本公开描述的模块，单元或块可以被实现为软件和/或硬件，并且可以被存储在任何类型的非暂时性计算机可读介质或另一存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。将意识到，软件模块可以是可从其他模块/单元/块或从其自身调用的，和/或可以响应于检测到的事件或中断而被调用。配置为在计算设备(例如，如图3所示的处理器310)上执行的软件模块/单元/块可以在计算机可读介质(例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质)上提供，或以数字下载的形式提供(并且可以最初以压缩或可安装的格式存储，需要在执行之前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入在固件中，例如可擦可编程只读内存(EPROM)。还将意识到，硬件模块/单元/块可以被包括在连接的逻辑组件中，例如门和触发器，和/或可以包括在可编程单元中，例如可编程门阵列或处理器。本公开描述的模块/单元/块或计算设备功能可以被实现为软件模块/单元/块，但是可以以硬件或固件来表示。通常，本公开描述的模块/单元/块是指可以与其他模块/单元/块组合或者被划分为子模块/子单元/子块的逻辑模块/单元/块，不管其物理组织或存储如何。所述描述可以适用于系统、发动机或其一部分。
将理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接至”或“耦合至”另一单元、引擎、模块或块时，它可以直接在其他单元、引擎、模块或块上，与之连接或与之通信，或者可以存在中间单元、引擎、模块或块，除非上下文另有明确说明。在本公开中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
根据以下对附图的描述，本公开的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本公开说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本公开的范围。应当理解的是，附图并不是按比例绘制的。
本公开提供了用于医学成像和/或医学治疗的系统和组件。在一些实施例中，医疗系统可以包括成像系统。成像系统可以包括单模态成像系统和/或多模态成像系统。单模态成像系统可包括例如磁共振成像(MRI)系统。示例性MRI系统可包括超导磁共振成像系统、非超导磁共振成像系统等。所述多模态成像系统可包括例如计算机断层摄影-磁共振成像(MRI-CT)系统、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)系统、数字减影血管造影-磁共振成像(DSA-MRI)系统等。在一些实施例中，医疗系统可以包括治疗系统。所述治疗系统可以包括治疗计划系统(TPS)、图像引导放疗设备(IGRT)等。图像引导放疗设备(IGRT)可以包括治疗设备和成像设备。所述治疗设备可以包括线性加速器、回旋加速器、同步加速器等，被配置为对受试者进行放射治疗。所述治疗设备可包括各种粒子的加速器，包括例如光子、电子、质子或重离子。所述成像设备可以包括MRI扫描仪、CT扫描仪(例如，锥形束计算机断层扫描(CBCT)扫描仪)、数字放射学(DR)扫描仪、电子门成像设备(EPID)等。
本公开的各种实施例可以提供作为用于生成和跟踪目标形状的系统和方法。在一些实施例中，系统可以从第一分辨率图像中生成目标的第二分辨率分割形状。在一些实施例中，第一分辨率可以等于第二分辨率。在一些实施例中，第一分辨率可以与第二分辨率不同。例如，第一分辨率低于第二分辨率。第一分辨率图像可以被认为是低分辨率(LR)图像。所生成的第二分辨率分割形状可以被认为是高分辨率(HR)分割形状。所述系统可以从低分辨率(LR)图像中生成目标的高分辨率(HR)分割形状。例如，系统可以通过用第一预测模型(例如，本公开描述的目标形状参数预测模型(SPPM))处理第一分辨率图像(例如，LR图像)来产生一个或以上形状参数。所述一个或以上形状参数可以包括形状方差和/或至少一个姿势变换参数。所述姿势变换参数可以是仿射变换参数。在一些实施例中，所述第一预测模型可以是单个机器学习回归模型(例如，CNN模型)。可以通过训练第一初始模型(例如，初始SPPM)来生成所述第一预测模型。所述第一预测模型可以用于预测所述形状方差和/或至少一个姿势变换参数。在一些实施例中，所述第一预测模型可以是端对端网络模型，包括第一预测子模型和第二预测子模型。可以通过训练初始姿势变换参数预测模型来生成第一预测子模型，并且可以通过训练初始形状方差预测模型来生成第二预测子模型。所述第一预测子模型可用于预测所述至少一个姿势变换参数，所述第二预测子模型可用于所述预测形状方差。所述系统可以基于所述一个或以上形状参数和形状模型来确定目标的形状。在一些实施例中，可以通过平均形状、形状协方差派生的特性向量矩阵、以及所述一个或以上形状参数(例如，方程(1))来描述形状模型。所述系统还可以通过渲染所述目标的形状，来生成所述目标的第二分辨率可视化视图(例如，高分辨率的可视化的3D形状模型)。在一些实施例中，所述系统可以从LR图像中生成目标的HR分割形状。所述系统通过提供目标(例如，心脏)的可视化以便准确评估目标(例如，心血管生理机能)。
以MRI电影成像为例，MRI电影成像技术可以提供图像序列，所述图像序列包括在不同时间点(例如，在不同心动阶段)的至少两个第一分辨率图像帧(例如，3D CMR立体图像)。在一些实施例中，所述至少两个第一分辨率图像帧中的每个第一分辨率图像帧可以包括使用2D成像生成的至少两个切片图像。在一些实施例中，所述系统可以采用本公开描述的第一预测模型和形状模型来从所述第一分辨率图像帧中确定或分割目标的形状。在一些实施例中，对于运动的目标(例如，心脏或肺)，目标的形状可以随时间变化。在不同时间帧，目标的形状可以不同。所述系统可以跟踪目标的形状随时间的变化，以便在整个或部分图像序列中的图像帧中实现目标的分割。在本公开中，可以将图像中成像的受试者(例如，患者)或受试者的一部分简称为受试者或受试者的一部分。例如，可以将图像中成像的目标(例如患者的心脏、肝脏、肺等)简称为“目标”。在本公开中，可以将对图像中的目标的操作简称为对目标的操作。例如，从图像中分割出包含目标(例如，患者的心脏、肝脏、肺等)的图像简称为对目标的分割。所述系统可以将先前图像帧的分割传播到当前图像帧的分割。例如，所述系统可以确定图像序列的第一图像帧中目标的第一形状，所述系统可以基于所述第一形状和运动模型(例如，方程(8))确定图像序列的第二图像帧中目标的第二形状。相应地，所述系统可以依次确定后续图像帧中目标的形状。所述运动模型可以追踪连续的图像帧中的目标的形状的变化。所述运动模型可以用运动参数、平均运动和运动协方差矩阵派生的特征向量矩阵来描述。在一些实施例中，可以根据第二预测模型(例如，本公开描述的目标运动参数预测模型(MPPM))确定运动参数。可以通过训练第二初始模型(例如，初始MPPM)来生成第二预测模型。
除非另外说明，以下描述的示例性实施例参考MRI系统。但是，应当理解，这仅是出于说明的目的，并不旨在限制本公开的范围。本公开披露的系统和方法可以适用于其他成像技术(例如，CT)。仅作为示例，CT系统可以基于本公开披露的第一预测模型和形状模型从第一分辨率CT图像中(例如，LR CT图像)生成目标的HR分割。CT系统可以基于第二预测模型和运动模型从第一分辨率CT图像序列(例如，LRCT图像序列)中生成目标的第二分辨率分割(例如，HR分割)。
应当注意，本公开的实施例与使用相应的预测模型、形状模型和/或运动模型从LR图像(或LR图像序列)中生成目标的HR分割有关。本公开的一些实施例的系统和方法还可以应用于HR图像(或HR图像序列)。例如，所述系统还可以使用相同或相似的预测模型、形状模型和/或运动模型从HR图像(或HR图像序列)中生成目标的分割。
图1是根据本公开的一些实施例所示的示例性成像系统的示意图。如图所示，成像系统100可以包括扫描仪110、网络120、终端130、处理设备140和存储设备150。成像系统100的组件可以以一种或多种各种方式连接。仅作为示例，如图1所示，扫描仪110可以通过网络120连接到处理设备140。又例如，扫描仪110可以直接连接到处理设备140(如连接扫描仪110和处理设备140的虚线中的双向箭头所示)。再例如，存储设备150可以直接或通过网络120连接到处理设备140。作为又一个示例，终端设备(例如，131、132、133等)可以直接连接到处理设备140(如连接终端130和处理设备140的虚线箭头所示)，也可以通过网络120连接到处理设备140。
扫描仪110可以扫描位于其检测区域内的对象，并生成与所述对象有关的数据。在本公开中，“受试者”和“对象”可互换使用。仅作为示例，所述对象可以包括患者、人造物体等。又例如，所述对象可以包括患者的特定部分、器官和/或组织。例如，所述对象可以包括头部、大脑、颈部、身体、肩膀、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚等，或其任意组合。在一些实施例中，扫描仪110可以是闭孔扫描仪或开孔扫描仪。在本公开中，图1所示的X轴、Y轴和z轴可以形成正交坐标系。图1所示的X轴和z轴可以是水平的，Y轴可以是垂直的。如图所示，从面向MRI扫描仪110的正面的方向看时，X轴的正X方向可以是从MRI扫描仪110的右侧向左侧的方向；图1所示的Y轴的正Y方向可以是从MRI扫描仪110的下部向上部的方向；图1所示的Z轴的正Z方向可以表示所述对象从扫描仪110的扫描通道(或称为孔)移出的方向。关于扫描仪110的更多描述可以在本公开的其他地方找到，例如图2及其描述。
网络120可以包括可以促进成像系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，成像系统100的一个或以上组件(例如，扫描仪110、终端130、处理设备140或存储设备150)可以通过网络120与成像系统100的一个或以上其他组件传输信息和/或数据。例如，处理设备140可以经由网络120从存储设备150获得与时间帧序列相对应的至少两个MR图像。在一些实施例中，网络120可以是有线网络或无线网络等或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括诸如基站和/或互联网交换点之类的有线和/或无线网络接入点，MRI系统100的一个或以上组件可以通过这些接入点连接到网络120以交换数据和/或信息。
终端130可以包括移动设备131、平板计算机132、膝上型计算机133等，或其任何组合。在一些实施例中，移动设备131可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，终端130可以远程操作MRI扫描仪110和/或处理设备140。在一些实施例中，终端130可以经由无线连接来操作扫描仪110和/或处理设备140。在一些实施例中，终端130可以接收用户输入的信息和/或指令，并通过网络120将接收到的信息和/或指令发送给扫描仪110或处理设备140。在一些实施例中，终端130可以从处理设备140接收数据和/或信息。在一些实施例中，终端130可以是处理设备140的一部分。在一些实施例中，可以省略终端130。
处理设备140可以处理从MRI扫描仪110、终端130和/或存储设备150获得的数据和/或信息。例如，处理设备140可以从存储设备150或扫描仪110获得与医学扫描(例如，MRI扫描)的时间帧序列中的至少一个时间帧对应的至少一个第一分辨率图像。处理设备140可以从所述至少一个第一分辨率图像中确定至少一个目标的形状。又例如，处理设备140可以获得一个或以上训练好的机器学习模型(例如，SPPM和MPPM)。训练好的机器学习模型可以基于样本集不定期地(例如周期性地或不周期性地)进行更新，所述样本集至少部分地不同于用来确定原始的训练好的机器学习模型的原始样本集。例如，可以基于一个样本集来更新训练后的机器学习模型，所述样本集包括原始样本集中没有的新样本、先前版本的原始的训练好的机器学习模型使用机器学习模型处理的样本等或其组合。在一些实施例中，训练好的机器学习模型的确定和/或更新可以在一个处理设备上执行，训练好的机器学习模型可以应用在不同的处理设备上。在一些实施例中，训练好的机器学习模型的确定和/或更新可以在与成像系统100不同的系统的服务器上，或者在与处理设备140不同的服务器上执行。例如，训练好的机器学习模型的确定和/或更新可以在供应商的第一系统上执行，该供应商提供和/或维护此类机器学习模型和/或授权使用训练样本以确定和/或更新训练好的机器学习模型，然后可以在供应商的客户的第二系统上执行所述提供的机器学习模型进行图像重建。在一些实施例中，响应于目标分割的请求，可以在线来执行训练好的机器学习模型。在一些实施例中，训练好的机器学习模型的确定和/或更新也可以离线进行。
在一些实施例中，处理设备140可以是单个服务器或服务器组。在一些实施例中，处理设备140可以是本地的也可以是远程的。例如，处理设备140可以经由网络120访问扫描仪110、终端130和/或存储设备150中存储或获取的信息和/或数据。又例如，处理设备140可以直接连接到扫描仪110(如图1中虚线箭头所示，连接处理设备140和扫描仪110)、终端130(如图1中虚线箭头所示，连接处理设备140和终端130)和/或存储设备150访问存储或获取的信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。在一些实施例中，处理设备140可以在本公开图3所示的一个或以上组件的计算设备300上实现。
存储设备150可以存储数据和/或指令。在一些实施例中，存储设备150可以存储从扫描仪110、终端130和/或处理设备140获得的数据。例如，存储设备150可以存储由扫描仪110获取的至少两个图像。又例如，存储设备150可以存储一个或以上预测模型，用于生成第二分辨率分割形状(即，具有第二分辨率的目标的形状)和/或跟踪对应于时间帧序列的多种形状。在一些实施例中，存储设备150可以存储处理设备140可以执行或用于执行本公开中描述的示例性方法的数据和/或指令。例如，存储设备150可以存储处理设备140可以执行以执行一个或以上用于生成和/或跟踪目标形状的操作的指令。在一些实施例中，存储设备150可以包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等或其任意组合。在一些实施例中，所述存储设备150可以在云平台上实现。
在一些实施例中，存储设备150可以连接到网络120以与成像系统100的一个或以上组件(例如，扫描仪110、处理设备140、终端130等)通信。成像系统100的一个或以上组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接到成像系统100的一个或以上组件(例如，扫描仪110、处理设备140、终端130等)或与之通信。在一些实施例中，存储设备150可以是处理设备140的一部分。
在一些实施例中，成像系统100还包括与成像系统100的一个或以上组件(例如，扫描仪110、处理设备140、终端130、存储设备150等)相连接的一个或以上电源
(图1中未显示)。
图2是根据本公开的一些实施例所示的示例性扫描仪的示意图。以MRI扫描仪为例，可以将扫描仪110指定为MRI扫描仪。MRI扫描仪的一个或以上组件如图2所示。如图所示，主磁铁201可以产生第一磁场(或称为主磁场)，所述第一磁场可以施加于放置在所述磁场内的对象(也称为受试者)。主磁铁201可以包括需要电源(图中未示出)操作的电阻磁体或超导磁体。可选地，主磁体201可以包括永磁体。主磁体201可以包括容纳目标物的孔腔。主磁体201还可以控制所产生的主磁场的均匀性。主磁体201中可以安装匀场线圈。安装在主磁体201的间隙中的匀场线圈可以补偿主磁体201的磁场的不均匀性。匀场线圈可由匀场电源供电。
梯度线圈202可以位于主磁体201的内部。梯度线圈202可以产生第二磁场(或称为梯度场，包括梯度场Gx、Gy和Gz)。第二磁场可以叠加在由主磁体201产生的主磁场上，并使主磁场失真，从而使对象质子的磁取向随其在梯度场内的位置而变化，从而将空间信息编码为由成像对象的区域生成的MR信号。梯度线圈202可以包括X线圈(例如，被配置为生成对应于X方向的梯度场Gx)，Y线圈(例如，被配置为生成对应于Y方向的梯度场Gy)，和/或z线圈(例如，被配置为生成对应于z方向的梯度场Gz)(图2中未显示)。在一些实施例中，z线圈可以基于圆形(麦克斯韦)线圈来设计，X线圈和Y线圈可以基于鞍形(Golay)线圈配置来设计。三组线圈可以产生用于位置编码的三个不同的磁场。梯度线圈202可以允许MR信号的空间编码以用于图像重建。梯度线圈202可以与X梯度放大器204、Y梯度放大器205或z梯度放大器206中的一个或以上连接。三个放大器的一个或以上可以连接到波形发生器216。波形产生器216可产生梯度波形以施加于X梯度放大器204、Y梯度放大器205和/或Z梯度放大器206。放大器可以放大波形。放大的波形可以是梯度线圈202中的线圈中的一个，分别在X轴、Y轴或z轴上产生磁场。梯度线圈202可以被设计用于闭孔MRI扫描仪或开孔MRI扫描仪。在一些情况下，梯度线圈202的三组线圈都可以被通电，由此生成三个梯度场。在本公开的一些实施例中，X线圈和Y线圈可以通电以在X方向和Y方向上产生梯度场。这里，在图2的描述中，X轴、Y轴、z轴、X方向、Y方向和z方向与图1中描述的相同或相似。
在一些实施例中，射频(RF)线圈203可以位于主磁体201内，并用作发射器、或/和接收器。RF线圈203可以与RF电子器件209连接，RF电子器件209可以被配置或用作波形发送器和/或波形接收器的一个或以上集成电路(IC)。RF电子器件209可以连接到射频功率放大器(RFPA)207和模数转换器(ADC)208。
当用作发射器时，RF线圈203可以产生RF信号，所述RF信号提供第三磁场，所述第三磁场用于产生与被成像的对象的区域有关的MR信号。第三磁场可以垂直于主磁场。波形发生器216可以产生RF脉冲。RF脉冲可以由RFPA 207放大，由RF电子器件209处理，施加于RF线圈203。基于放大的RF脉冲，响应于RF电子器件209产生的强大电流，RF线圈203可以产生RF信号。
当用作接收器时，RF线圈可以负责检测MR信号(例如回声)。在激发之后，由对象产生的MR信号可以被RF线圈203检测。然后，接收放大器可以从RF线圈203接收检测的MR信号，放大检测的MR信号，并将放大的MR信号提供给ADC 208。ADC 208可以将MR信号从模拟信号转换为数字信号。然后，数字MR信号可以被发送到处理设备140以进行采样。
在一些实施例中，梯度线圈202和RF线圈203可以环向定位在对象的周围。本领域的普通技术人员可以理解，主磁体201、梯度线圈202和RF线圈203可以以各种布局形式围绕对象布置。
在一些实施例中，RFPA 207可以放大RF脉冲(例如，RF脉冲的功率、RF脉冲的电压)，从而生成放大的RF脉冲以驱动RF线圈203。RFPA 207可以包括基于晶体管的RFPA、基于真空管的RFPA等，或其任意组合。基于晶体管的RFPA可以包括一个或以上晶体管。基于真空管的RFPA可以包括三极管、四极管、速调管等，或其任意组合。在一些实施例中，RFPA 207可以包括线性RFPA或非线性RFPA。在一些实施例中，RFPA 207可以包括一个或以上RFPA。
在一些实施例中，MRI扫描仪110可以进一步包括对象定位系统(未示出)。对象定位系统可以包括对象支架和运输装置。可以将对象放置在对象支架上，并通过运输装置将其放置在主磁体201的孔内。
图3是根据本公开的一些实施例所示的可以在其上应用处理设备的计算设备的示例性硬件和/或软件组件的示意图。如图3所示，计算设备300可以包括处理器310、存储器320、输入/输出(I/O)330和通信端口340。
处理器310可以根据本公开描述的技术执行计算机指令(程序代码)，并执行处理设备140的功能。计算机指令可以包括执行在本公开中描述的特定功能的例程、程序、对象、组件、信号、数据结构、过程、模块和功能。例如，处理器310可以处理从扫描仪110、终端130、存储设备150和/或MRI系统100的任何其他组件获得的数据。具体地，处理器310可以处理从扫描仪110获得的一个或以上测量数据集(例如，MR扫描数据)。例如，处理器310可以基于数据集来重建MR图像。在一些实施例中，重建的图像可以存储在存储设备150、存储器320等。重建图像可以是二维图像或三维图像。重建的图像可以是低分辨率图像或高分辨率图像。在一些实施例中，处理器310可以从低分辨率图像中确定高分辨率目标(例如，心脏或肺)的形状。在一些实施例中，处理器310可以进一步跟踪目标的形状随时间的变化。
出于说明目的，在计算设备300中仅描述了一个处理器。但是，应注意，本公开中的计算设备300还可以包括多个处理器，因此，如本公开中所述由一个处理器执行的方法的操作也可以由多个处理器联合或分别执行。例如，如果在本公开中，计算设备300的处理器中同时执行操作A和B，则应当理解，操作A和操作B也可以由两个不同的处理器共同或分别在计算设备300中执行(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。
存储器320可以存储从MRI扫描仪110、终端130、存储设备150或MRI系统100的任何其他组件获得的数据/信息。在一些实施例中，存储装置320可以包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等或其任意组合。例如，大容量存储设备可以包括磁盘、光盘、固态驱动器等。在一些实施例中，存储器320可以存储一个或以上程序和/或指令以执行在本公开中描述的示例性方法。例如，存储器320可以存储用于处理设备140的程序，所述程序用于生成和跟踪目标的形状。
I/O 330可以输入或输出信号、数据或信息。在一些实施例中，I/O 330可以使用户与处理设备140交互。在一些实施例中，I/O 330可以包括输入设备和输出设备。
仅作为示例，处理设备140的用户(例如，操作员)可以通过I/O 330输入与将要成像/扫描的对象(例如，患者)有关的数据。与对象有关的数据可以包括身份信息(例如，姓名、年龄、性别、病史、合同信息、体格检查结果等)和/或包括必须执行的MRI扫描性质的测试信息。用户还可以输入操作MRI扫描仪110所需的参数，例如图像对比度和/或比率、感兴趣区域(ROI)、切片厚度、成像类型(例如，T1加权成像、T2加权成像、质子密度加权成像等)、T1、T2、回波类型(自旋回波、快速自旋回波(FSE)、快速恢复FSE、单次激发FSE、梯度回波、具有稳定状态的快速成像等)、翻转角值、采集时间(TA)、回波时间(TE)、重复时间(TR)、回波列长度(ETL)、相数、激励数(NEX)、反转时间、带宽(例如，RF接收器带宽、RF发射器带宽等)、扫描类型、采样类型等，或其任意组合。I/O还可以显示基于采样数据生成的MR图像。
通信端口340可以连接到网络(例如，网络120)以促进数据通信。通信端口340可以在处理设备140与MRI扫描仪110、终端130或存储设备150之间建立连接。所述连接可以是有线连接、无线连接或两者的组合，以实现数据传输和接收。在一些实施例中，通信端口340可以是标准化端口，如RS232、RS485等。在一些实施例中，通信端口340可以是专门设计的通信端口。例如，通信端口340可以是根据医学数字成像和通信(DICOM)协议来设计的。
图4是根据本公开的一些实施例所示的可以在其上应用终端的移动设备的示例性硬件和/或软件组件的示意图。如图4所示，移动设备400可以包括通信平台410、显示器420、图形处理单元(GPU)430、中央处理单元(CPU)440、I/O 450、内存460和存储器490。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备400内。在一些实施例中，可以将移动操作系统470(例如，iOS、Android、WindowsPhone等)和一个或以上应用程序480从存储器490加载到内存460中，以便由CPU 440执行。应用程序480可以包括浏览器或任何其他合适的移动应用程序，用于从处理设备140接收和渲染与图像处理有关的信息或其他信息。可以经由I/O450来实现与信息流的用户交互，并经由网络120将其提供给处理设备140和/或MRI系统100的其他组件。
为了实施本公开描述的各种模块、单元及其功能，计算机硬件平台可用作本申请中描述的一个或以上组件的硬件平台。这样的计算机的硬件元件、操作系统和编程语言本质上是常规的，并且假定本领域普通技术人员对其了解充分，以调整那些技术来产生和跟踪本公开所述的目标的形状。包含用户接口组件的计算机能够被用作个人计算机(personal computer(PC))或其他类型的工作站或终端设备，被适当程序化后也可以作为服务器使用。可知，本领域技术人员应熟悉该计算机装置的结构、程序设计和一般操作，因此，附图对其应是不解自明的。
图5是根据本公开的一些实施例所示的示例性处理设备的框图。在一些实施例中，处理设备140可以在图2所示的计算设备300(例如，处理器310)或图4所示的CPU 440上实施。如图5所示，处理设备140可以包括采集模块502、形状参数确定模块504、第一形状确定模块506、渲染模块508、第一预测模型确定模块508、运动参数确定模块510、第二形状确定模块512和第二预测模型确定模块514。上述每个模块可以是被设计为根据存储在一个或以上存储介质中的一组指令来执行某些操作的硬件电路，和/或硬件电路和所述一个或以上存储介质的任意组合。
采集模块502可以获得一个或以上图像(例如，LR图像或HR图像)，所述图像包括待分割的目标(例如，心脏、肝脏或肺部)。在一些实施例中，采集模块502可以获得至少一个第一分辨率图像。所述第一分辨率图像可以是LR图像或HR图像。所述第一分辨率图像可以对应于医学扫描(例如，MRI扫描)的时间帧序列中的一个时间帧。所述第一分辨率图像可以是由扫描仪(例如，扫描仪110)获取的一系列图像帧中的图像帧。采集模块502可以从扫描仪110、处理设备140、本公开披露的一个或以上存储设备(例如，存储设备150)等中获取至少一个第一分辨率图像。所述第一分辨率图像可以被指定为LR图像。在一些实施例中，所述LR图像可以是3D LR立体图像。在一些实施例中，采集模块502可以获得用于训练机器学习模型的训练数据。例如，采集模块502可以获得用于训练形状参数预测模型(SPPM)的多组训练数据。又例如，采集模块502可以获取至少两个图像对，以形成用于训练运动参数预测模型(MPPM)的训练数据。
形状参数确定模块504可以利用预测模型从所述至少一个第一分辨率图像(例如，3D LR立体图像)中确定与目标形状有关的一个或以上形状参数。在一些实施例中，所述形状参数可以包括至少一个形状方差系数和至少一个姿势变换参数(例如，仿射变换矩阵)。所述预测模型可以是目标SPPM。目标SPPM可以由第一预测模型确定模块508生成。所述形状参数确定模块504可以将LR图像输入到目标SPPM，并使用目标SPPM输出形状方差系数和姿势变换参数。关于确定形状方差系数和姿势变换参数的更多描述可以在本公开的其他地方找到(例如，图7、图8A和/或图9A及其描述)。
第一形状确定模块506可以基于所述一个或以上形状参数和形状模型，确定所述至少一个LR图像(例如，3DLR立体图像)中的目标的至少一种形状。在一些实施例中，所述形状模型可以是统计形状模型。所述形状模型可以通过关于目标的形状、平均形状和第一特征向量矩阵的形状参数来描述。第一特征向量矩阵可以基于形状协方差矩阵来计算。第一特征向量也可以被称为形状协方差矩阵。如本公开所使用的，可以结合图7中所示的方程式(1)来描述所述形状模型。例如，第一形状确定模块506可以获得仿射变换矩阵、形状方差、平均形状和形状协方差矩阵派生的特征向量矩阵。第一形状确定模块506可以将它们引入等式(1)以生成目标的形状向量。形状向量可以包括在目标上标记的至少两个标记点的坐标。关于确定目标的形状的更多描述可以在本公开的其他地方找到(例如，图7及其描述)。
渲染模块508可以通过渲染所确定的目标的形状来生成目标的第二分辨率可视化视图。在一些实施例中，第二分辨率可以等于第一分辨率。在一些实施例中，第二分辨率可以与第一分辨率不同。例如，第二分辨率可以高于第一分辨率。第二分辨率可视化视图可以被认为是高分辨率的图像(也称为HR分割)。在一些实施例中，渲染模块508可以基于所确定的形状向量中的标记点的坐标，通过连接至少两个标记点来生成网格表面。网格表面可以包括至少两个表面网格。每个网格的特征点(例如，顶点、基底)可以对应于对应标记点的坐标。渲染模块508可以渲染所述至少两个表面网格以生成目标的高分辨率可视化视图(例如，目标的高分辨率3D模型)。在一些实施例中，渲染模块508可以使目标的一部分网格表面具有特定的纹理(例如，特定的颜色或特定的阴影)。在一些实施例中，可以通过用各种纹理渲染目标的形状来生成目标的可视化。例如，心脏的左心室(LV)可以用红色绘制，而心脏的右心室(RV)可以用绿色绘制。
第一预测模型确定模块508可以被配置生成目标SPPM。在一些实施例中，第一预测模型确定模块508可以通过采集模块502获得多组训练数据。所述多组训练数据可以与至少两个样本相关联。所述至少两个样本中的每个样本可以包括第一分辨率图像，所述第一分辨率图像包括一个样本受试者(例如，患有心脏病的患者)的目标(例如，心脏)。在一些实施例中，第一分辨率图像可以是LR图像或HR图像。在一些实施例中，第一分辨率图像可以是2D图像或3D图像(也称为3D立体图像或体积图像)。如本公开所使用的，可以选择至少两个LR3D立体图像作为训练样本。与训练样本相关联的多组训练数据可以形成训练集。在一些实施例中，第一预测模型确定模块508可以通过采集模块502获得初始SPPM。初始SPPM可以是机器学习回归模型。示例性机器学习回归模型可以包括决策树模型、深度学习神经网络模型、回归树模型、随机森林模型等，或其组合。示例性深度学习神经网络模型可以包括卷积神经网络模型(CNN)、多层感知器神经网络(MLP)、全卷积神经网络(FCN)模型、生成对抗网络(GAN)、反向传播(BP)机器学习模型、径向基函数(RBF)机器学习模型、深度置信网(DBN)、艾尔曼机器学习模型等，或其组合。如这里所使用的，初始SPPM可以是CNN模型(例如，图11所示的CNN模型1100)。第一预测模型确定模块508可以将多组训练数据输入到初始SPPM以训练初始SPPM。第一预测模型确定模块508可以执行一个或以上迭代来训练初始SPPM。所述一个或以上迭代可以被执行以更新初始SPPM的至少两个学习参数，直到满足终止条件为止。例如，当包括更新参数的初始模型的损失函数低于第一阈值时，终止条件可能被满足。又例如，当迭代过程的迭代计数超过第二阈值时，终止条件可以被满足。再例如，当包含更新的参数的初始模型的损失函数收敛时，终止条件可以被满足。如果两个或以上连续迭代中的损失函数的值的变化小于某个值(或近似于一个恒定值)，则可以认为发生收敛。第一预测模型确定模块508可以将训练好的SPPM指定为目标SPPM。在一些实施例中，第一预测模型确定模块508可以离线执行训练过程。目标SPPM可以存储在存储设备(例如，存储设备150)中。关于确定SPPM的更多描述可以在本公开的其他地方找到(例如，图10-11，及其描述)。
在一些实施例中，处理设备140可以跟踪目标的形状随时间的变化。仅出于说明目的，采集模块502可以分别获得与第N时间帧(例如，图6所示的第二图像帧t2)和第N-1时间帧(例如，图6所示的第一图像帧t1)对应的第一分辨率图像，其中N是等于或大于2的整数。第一形状确定模块506可以基于与第N-1时间帧相对应的第一分辨率图像来确定目标的形状。第二形状确定模块512可以基于与第N-1时间帧相对应的目标的形状和所述目标的运动模型来确定与第N时间帧相对应的目标的形状。在一些实施例中，所述运动模型可以通过运动参数、平均运动和第二特征向量矩阵来描述。所述第二特征向量矩阵可以基于运动协方差矩阵来计算。所述第二特征向量也可以被称为运动协方差矩阵。所述运动模型可以用于确定关于两个连续图像帧(例如，在第N-1时间帧的第一图像帧和在第N时间帧的第二图像帧)的运动场。如本公开所使用的，运动模型可以表示为在图12中例证的等式(8)。运动参数确定模块510可以使用目标MMPM来确定所述运动参数。所述目标MMPM可以由第二预测模型确定模块514生成。在一些实施例中，处理设备140可以基于至少两个图像序列中的至少两个样本电影图像帧来确定平均运动和运动协方差矩阵。第二特征向量矩阵可以通过运动协方差矩阵推导出。第二形状确定模块512可以获得运动参数、平均运动和运动协方差矩阵派生的特征向量矩阵。第二形状确定模块512可以将它们引入等式(8)以确定所述运动场。第二形状确定模块512可以将所述确定的运动场应用于所述第一图像帧的形状，进而确定所述第二图像帧的目标的形状。关于确定所述运动场的更多描述可以在本公开的其他地方找到(例如，图12及其描述)。
第二预测模型确定模块514可以被配置生成目标SPPM。第二预测模型确定模块514可以通过采集模块502获得至少两个图像对以形成训练数据。所述至少两个图像对中的每个图像对可以包括两个连续的图像帧。例如，对应于第一时间帧(第M-1时间帧)的第一图像帧和对应于第二时间帧(第M时间帧)的第二图像帧，其中M是小于或等于2的整数。所述至少两个图像对可以与至少两个样本相关联。所述至少两个样本中的每个样本可以包括由至少两个图像帧组成的图像序列(例如，电影MR图像序列)。所述图像序列可以通过样本受试者获得。所述样本受试者可以是例如本公开的图7中所述的接受检查的受试者，诸如患有心脏病的患者。第二预测模型确定模块514可以通过采集模块502获得初始MPPM。初始MPPM可以是类似于初始SPPM的机器学习回归模型。如本公开所使用的，初始MPPM可以是CNN模型。第二预测模型确定模块514可以将训练数据输入到初始运动预测模型，以训练初始MPPM。在一些实施例中，第二预测模型确定模块514可以执行一个或以上迭代以训练初始MPPM。可以执行一个或以上迭代以更新初始MPPM的至少两个学习参数，直到满足终止条件为止。例如，当包括更新的参数的初始MPPM的损失函数低于第三阈值时，终止条件可以得到满足。又例如，当迭代过程的迭代次数超过第四阈值时，终止条件可以得到满足。再例如，当包括更新的参数的初始MPPM的损失函数收敛时，终止条件可以得到满足。如果两个或以上连续迭代中的损失函数的值的变化小于某个值(或近似于一个恒定值)，则可以认为已发生收敛。第二预测模型确定模块514可以将训练好的MPPM指定为目标MPPM。在一些实施例中，第二预测模型确定模块514可以离线执行训练过程。所述目标MPPM可以存储在存储设备(例如，存储设备150)中。关于确定MPPM的更多描述可以在本公开的其他地方找到(例如，图12-14及其描述)。
在一些实施例中，在图5中所示的一个或以上模块可以在图1中所示的示例性MRI系统100的至少一部分中实现。例如，采集模块502、形状参数确定模块504、第一形状确定模块506、渲染模块508、第一预测模型确定模块508、运动参数确定模块510、第二形状确定模块512，和/或第二预测模型确定模块514可以集成到控制台(未示出)中。通过控制台，用户可以设置用于扫描对象、控制成像过程、控制用于图像重建的参数、查看重建图像等参数。在一些实施例中，控制台可以通过处理设备140和/或终端130来实施。在一些实施例中，第一预测模型确定模块508或第二预测模型确定模块514可以集成到终端130中。
在一些实施例中，处理设备140不包括第一预测模型确定模块508和/或第二预测模型确定模块514。由其他设备确定的一个或以上目标机器学习模型(例如，SPPM和MPPM)可以存储在MRI系统100中(例如，存储设备150、存储设备320、存储器490)，或存储在处理设备140能够通过网络120访问的外部设备中。在一些实施例中，这种设备可以包括与第一预测模型确定模块508和/或第二预测模型确定模块514相同或相似的部分。
图7是根据本公开的一些实施例所示的用于生成目标的分割形状(例如，高分辨率分割形状)的示例性过程的流程图。在一些实施例中，过程700可以在图1所示的成像系统100中实现。例如，过程700可以作为指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140调用和/或执行(例如，处理设备140的处理器310、或图5中所示的处理设备140中的一个或以上模块)。以下描述的过程700的操作旨在说明。在一些实施例中，过程700可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，图7所描述的过程700的操作的顺序并非旨在限制。
在702中，处理设备(例如，处理设备140的采集模块502)可以获得至少一个第一分辨率图像。所述第一分辨率图像可以对应于医学扫描(例如，MRI扫描)的时间帧序列中的一个时间帧。所述第一分辨率图像可以是由扫描仪(例如，MRI扫描仪)获取的图像帧序列中的图像帧。在一些实施例中，所述至少一个第一分辨率图像可以从扫描仪110、处理设备140、本公开中披露的一个或以上存储设备(例如，存储设备150)等中获得。在一些实施例中，所述第一分辨率图像可以被指定为低分辨率(LR)图像。在一些实施例中，所述第一分辨率图像可以被指定为高分辨率图像。
以MR图像为例，可以将所述第一分辨率图像指定为具有第一分辨率的MR图像。在一些实施例中，扫描仪110通过扫描受试者或受试者的至少一部分生成MR图像。MR图像可以是二维(2D)图像或三维(3D)图像。在2D图像中，其最小的离散元素可以称为一个像素。在3D图像中，其最小的离散元素可以称为体素(“体像素”或“体积元素”)。在一些实施例中，3D图像可以是由多个2D切片组成的3D堆栈或3D立体图像。例如，在2D多层切片成像中，对象的感兴趣区域(ROI)可以被分成至少两个切片。可以生成多个切片中的每个切片的2D切片图像。可以构造多个切片图像以组成3D立体图像。
MRI电影成像技术可以用于生成至少两个图像帧的图像序列，每个图像帧对应于时间帧序列中的一个时间帧。仅作为示例，图6示出了根据本公开的一些实施例的示例性心脏磁共振(CMR)电影成像。如图6所示，CMR电影成像可以提供4D CMR数据(3D+t，即3D CMR立体图像和对应于3D立体图像的时间帧)，例如第一时间帧t1的第一3D CMR立体图像、第二时间帧t2的第二3D CMR立体图像、第三时间帧t3的第三3D CMR立体图像、...、第n时间帧tn的第n 3D CMR立体图像。在CMR电影成像中，时间帧可以对应于心动周期中的心动阶段。3DCMR立体图像可以是图像序列的图像帧。在一些实施例中，不同时间帧内的CMR立体图像可以不同。在这些CMR立体图像中的目标的形状可以不同。在临床应用中，可以使用2D成像技术通过多个切片图像形成3D CMR立体图像。例如，第一3D CMR立体图像可以由四个切片图像S1-S4构成，如图6所示。以类似的方式，可以通过多个切片图像来构造其他CMR立体图像(例如，第二3D CMR立体图像，...，第n 3D CMR立体图像)。
在一些实施例中，3D立体图像和/或切片图像可以是HR图像和/或LR图像。例如，图6所示的第一CMR立体图像可以是3D HR图像或3D LR图像。切片图像(如图6所示的S1、S2、S3或S4)可以是2D HR图像或2D LR图像。在一些实施例中，如果切片图像是HR图像，相应地，那么由HR切片图像构成的3D立体图像可以被认为是HR图像。如果切片图像是LR图像，相应地，那么由则由LR切片图像构成的3D立体图像可以被认为是LR图像。在2D多层切片成像中，切片分辨率可以与接收扫描的切片的厚度相关联。如果切片厚度较大(例如10mm、9mm、8mm等)，则可以生成LR切片图像。如果切片厚度较小(例如3mm、2mm、1mm等)，则可以生成HR切片图像。在一些实施例中，切片厚度可以是预定的，这取决于一个或以上因素，包括扫描目的、临床考虑、关于切片厚度的用户说明、或其他扫描参数。例如，扫描仪110可以通过设置相对较大的切片厚度，来生成至少两个LR切片图像，以便缩短扫描时间。又例如，扫描仪110可以通过设置相对较小的切片厚度，来生成至少两个HR切片图像，尽管其扫描时间比低分辨率切片MR更长，但是扫描仪110可以获得精细的扫描图像。在临床应用中，低分辨率切片MR已被广泛接受。
仅出于说明的目的，扫描仪110可以使用2D多层切片成像来生成至少两个LR切片图像。所述至少两个LR切片图像的至少一部分可以用于构造图像序列的图像帧。所述图像序列可以包括至少两个LR立体图像。所述图像帧可以是LR立体图像。在一些实施例中，所述至少两个LR切片图像和所构造的LR立体图像可以被存储在存储设备(例如，存储设备150)中。采集模块502可以从存储设备150获得至少一个图像帧(例如，LR立体图像)。
在一些实施例中，所述LR立体图像可以包括受试者的ROI中的一个或以上目标。所述目标可以是受试者(例如，患者)的特定部位、器官和/或组织。例如，目标可以包括头部、大脑、颈部、肺、肩膀、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚等或其任何组合。如图6所示，所述目标可以是受试者的心脏。CMR立体图像可以会在不同的时间帧呈现出不同的心脏形状。又例如，所述目标可以是心脏的特定部分，例如左心室(LV)心外膜、左心室(LV)心内膜、右心室(RV)心包、右心室(RV)心内膜、左心房、二尖瓣或右心房或其组合。通过所述目标的形状可以有助于在某些疾病(例如，心血管疾病)的定量分析诊断。例如，如果所述心脏形状(或心脏形态)能够被精确分割，则有助于心血管生理机能的准确评估，诸如左室容积、左室质量和射血分数。所述目标的精确分割对诊断是有益的。
在704中，处理设备(例如，处理设备140的形状参数确定模块504)可以利用预测模型确定与所述至少一个LR图像(例如，3D LR立体图像)中的目标的形状有关的一个或以上形状参数。在一些实施例中，所述形状参数可以包括至少一个形状方差系数和至少一个姿势变换参数。如本公开所使用的，所述预测模型可以被称为形状参数预测模型(SPPM)。
所述目标的形状可以根据目标SPPM来确定。例如，所述目标SPPM可以将3D LR立体图像作为输入，并通过处理3D LR立体图像来生成一个或以上形状参数。在一些实施例中，可以基于机器学习回归模型构造所述目标SPPM。示例性机器学习回归模型可以包括决策树模型、深度学习神经网络模型、回归树模型、随机森林模型、梯度提升树等，或其组合。示例性深度学习神经网络模型可以包括卷积神经网络模型(CNN)、多层感知器神经网络(MLP)、全卷积神经网络(FCN)模型、生成对抗网络(GAN)、反向传播(BP)机器学习模型、径向基函数(RBF)机器学习模型、深度置信网(DBN)、艾尔曼机器学习模型等，或其组合。仅出于说明目的，可以基于CNN模型(例如，图11中所示的CNN模型1100)构造SPPM。应当注意的是，所述SPPM可以基于所述机器学习回归模型中的一个或以上来构造，所述变化不脱离本公开的保护范围。
在一些实施例中，可以从第一预测模型确定模块508、存储设备150或任何其他存储设备获得所述目标SPPM。例如，第一预测模型确定模块508可以使用机器学习算法并基于至少两个数据对训练初始模型(在本公开中也称为初始SPPM)来生成所述目标SPPM。示例性的机器学习算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等，或其组合。所述至少两个数据对中的每个数据对可以包括第一分辨率样本图像(例如，LR样本图像的LR数据)和对应于第一分辨率样本图像的第二分辨率网格表面。例如，第一分辨率样本图像可以是LR样本图像，第二分辨率网格表面可以是HR网格表面。所述至少两个数据对可以用于训练初始模型。在训练期间，第一预测模型确定模块508可以最小化包括更新后的参数的初始模型的损失函数以便迭代更新初始模型的参数。当满足终止条件时，第一预测模型确定模块508可以终止迭代训练过程。一个示例性的终止条件可以是包括更新的参数的初始模型的损失函数低于第一阈值。另一个示例性终止条件可以是迭代过程的迭代计数达到或超过第二阈值。另一示例性终止条件可以是包括更新的参数的初始模型的损失函数收敛。当满足终止条件时，第一预测模型确定模块508可以终止训练过程，并将训练后的初始模型指定为目标SPPM。所述目标SPPM可以用于预测输入的第一分辨率图像(例如，输入的LR图像)中与所述目标有关的一个或以上形状参数。所述一个或以上形状参数至少包括一个形状方差系数(例如，图8C、图9B和图9C中的B)和至少一个姿势变换参数(例如，图8C、图9B和图9C中的T)。关于生成所述目标SPPM的更多描述可以在本公开的其他地方找到(例如，图10及其描述)。
在一些实施例中，可以基于单个机器学习模型来构造SPPM。所述SPPM可以用于同时提供形状方差和姿势变换参数。例如，形状参数确定模块504可以使用单个SPPM(例如，图8C所示的网络模型840)同时确定形状方差和姿势变换参数。
在一些实施例中，可以基于至少两个子模型，例如第一预测子模型和第二预测子模型，来构造所述SPPM。第一预测子模型可以用于提供姿势变换参数，第二预测子模型可以用于提供形状方差。在一些实施例中，第一预测子模型和第二预测子模型是相互关联的。例如，第一预测子模型和第二预测子模型分别是单独的网络层。第一预测子模型和第二预测子模型可以构成端到端网络(例如，图9B和9C所示的网络1和网络2)。第一预测子模型和第二预测子模在706中，处理设备(例如，处理设备140的第一形状确定模块506)可以基于一个或以上形状参数和形状模型，从至少一个第一分辨率图像(例如3D LR立体图像)中确定目标的至少一种形状。在一些实施例中，所述形状模型可以是统计形状模型。所述形状模型可以通过与目标形状相关的一个或以上形状参数、平均形状和形状协方差矩阵派生的特征向量矩阵来描述。仅作为示例，第一形状确定模块506可以获得所述形状模型的多个变量，例如所述一个或以上形状参数、所述平均形状和所述第一特征向量矩阵(即由形状协方差矩阵派生的特征向量矩阵)。第一形状确定模块506可以将这些已知变量输入到形状模型来确定所述目标的形状。具体地，第一形状确定模块506可以基于所述形状模型来确定所述目标的形状向量。如本公开所使用的，在计算机视觉领域中，所述物体的形状是指在图像空间中的形状向量。所述形状向量可以包括在立体图像中的目标的表面(例如，轮廓)上标记的至少两个标记点的坐标。型可以同时被训练为端到端网络，以确定所述目标SPPM。
在一些实施例中，所述形状模型可以根据等式(1)描述：
fshape＝T×(fmeanshape+B×P) (1)
其中，fshape表示目标的形状向量，T表示仿射变换，所述仿射变换将平均形状从平均形状空间转换为图像空间，fmeanshape表示从至少两个样本中获得的目标的平均形状，B是形状方差系数，P是第一特征向量矩阵(即，形状协方差矩阵派生的特征向量矩阵)。在一些实施例中，通过调整B，处理设备可以使用与平均形状相关的形状方差来描绘变形的形状。在一些实施例中，仿射变换可用于描述所述目标从第一图像空间到第二图像空间的姿势变化。例如，仿射变换可以包括平移变换、旋转变换、比例变换等，或其任意组合。仿射变换矩阵可以包括平移系数、旋转系数、比例系数中的至少一个。如这里所使用的，所述仿射变换矩阵可以被指定为姿势变换参数。在一些实施例中，所述目标的仿射变换矩阵和形状方差可以由目标SPPM处理输入的第一分辨率立体图像(例如，LR立体图像)来确定。在一些实施例中，所述平均形状和所述形状协方差矩阵派生的特征向量矩阵可以是所述形状模型的先验知识。如果确定了所述仿射变换矩阵和所述形状方差，则可以基于等式(1)来确定所述目标的形状。
在一些实施例中，可以基于至少两个样本来确定所述平均形状。所述至少两个样本中的每个样本可以是包括所述目标(例如心脏)的HR或LR立体图像(例如3D CMR立体图像)。在一些实施例中，可以选择至少两个HR立体图像作为确定所述目标的平均形状的样本。对于每个样本，可以预先对所述目标进行表面分割，并获得所述目标的形状。应该理解的是，所述至少两个样本中的目标具有多种形状。所述样本可以是来自样本受试者(例如，样本患者)的数据。在一些实施例中，对于所述目标的每个分割形状，在所述目标表面上标记有相同数量(或计数)的标记点。所述标记点在各自的图像空间中的坐标可以被记录下来。在一些实施例中，所述目标表面上标记点的数量(或计数)可以根据不同的要求来设置。所述标记点的数量(或计数)可以对应于所述目标的类型。在一些实施例中，所述至少两个分割出的目标形状可以与公共图像空间(例如参考图像空间)对齐。所述平均形状可以基于所述至少两个对齐的形状的中值或平均值来确定。形状对齐过程可以滤除在所述至少两个形状之间发生的平移、缩放和/或旋转效应。在一些实施例中，可以通过普鲁克分析(Procrustes analysis)来实现形状对齐过程。
仅作为示例，在图像空间中，所述样本中目标的形状可以由形状向量表示。设形状向量为ai，形状向量包括至少两个标记点的坐标。假定所述形状是3D形状。
定。例如，形状向量可以与公共图像空间对齐。然后，对齐的形状向量的中值或平均值可以被指定为平均形状。形状协方差矩阵C也可以基于平均形状和至少两个训练样本，使用主成分分析(PCA)算法来确定。在一些实施例中，特征值和特征向量可以通过PCA算法从形状协方差矩阵得出。具体地，可以通过PCA算法来计算与形状协方差矩阵相关联的特征值。特征向量对应于特征值。计算出的特征值可以从大到小排序。然后，可以选择与预定数量的特征向量(例如，前d个特征值)相对应的特征向量。所选择的特征向量(例如，对应于前d个特征值的前d个特征向量)可以形成第一特征向量矩阵P。
仅作为示例，处理设备140可以执行迭代过程以确定平均形状。例如，所述目标的至少两个形状向量可以与第一参考空间(例如，与样本A相对应的图像空间)对齐。处理设备140可以为对齐的样本确定第一平均形状。然后，目标的至少两个形状向量可以与第一平均形状空间对齐。以此类推，处理设备140可以重复对齐操作，直到所生成的平均形状满足条件为止(例如，所生成的平均形状被视为收敛)。在一些实施例中，如果平均形状接近一个恒定值，则认为生成的平均形状是收敛的。例如，如果连续迭代之间的平均形状的变化降到一个阈值以下或接近恒定值，则生成的平均形状被认为是收敛的。处理设备140可以将满足条件的最终平均形状指定为形状模型的平均形状。在一些实施例中，对于每个迭代，平均形状可以根据等式(3)确定：/>
在一些实施例中，形状协方差矩阵C可以根据平均形状确定。例如，形状协方差矩阵可以根据如下(4)确定：
然后，可以通过PCA算法来计算与形状协方差矩阵相关联的特征值和特征向量。特征向量对应于特征值。计算出的特征值可以从大到小排序。然后，可以选择与预定数量的特征向量(例如，前d个特征值)相对应的特征向量。所选择的特征向量(例如，对应于前d个特征值的前d个特征向量)可以形成第一特征向量矩阵P。
根据等式(1)，当所述形状模型的这些变量(包括仿射变换矩阵、形状方差、平均形状和形状协方差矩阵派生的特征向量矩阵)已知时，第一形状确定模块506可以使用形状模型来确定所述目标的形状向量。第一形状确定模块506可以基于所确定的形状向量来生成所述目标的分割。在一些实施例中，对于包括至少两个图像帧的图像序列的每个图像帧，第一形状确定模块506可以基于所述形状模型，从对应的图像帧中确定所述目标的形状。
在一些实施例中，确定平均形状和/或形状协方差矩阵的特征向量矩阵可以是一个离线过程。例如，处理设备140可以预先确定平均形状和形状协方差矩阵。所确定的平均形状和形状协方差派生的特征向量矩阵可以存储在存储设备150中。当执行操作706时，第一形状确定模块506可以从存储设备150调用平均形状和形状协方差派生的特征向量矩阵，并将它们引入等式(1)。进一步将仿射变换矩阵和形状方差引入到等式(1)来确定所述目标的形状向量。
在708中，处理设备(例如，处理设备140的渲染模块508)可以通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。在一些实施例中，第二分辨率可以与第一分辨率相同。在一些实施例中，第二分辨率可以与第一分辨率不同。例如，第一分辨率低于第二分辨率。第二分辨率可视化视图可以被认为是高分辨率(HR)的可视化视图。
例如，渲染模块508可以基于所确定的形状向量中的标记点的坐标，通过来连接至少两个标记点来生成网格表面。所述网格表面可以包括至少两个表面网格。每个网格的特征点(例如，顶点、底部)对应于相应标记点的坐标。渲染模块508可以渲染所述至少两个表面网格，以生成所述目标的第二分辨率可视化视图(例如，所述目标的高分辨率3D模型)。在一些实施例中，渲染模块508可以使所述目标的一部分网状表面具有特定的纹理(例如，特定的颜色或特定的阴影)。在一些实施例中，可以通过用各种纹理渲染目标的形状，来生成目标的可视化。例如，心脏的LV可以用红色呈现，而心脏的RV可以用绿色呈现。
图8A是根据本公开的一些实施例所示的确定一个或以上形状参数的示例性过程的流程图。在一些实施例中，过程800可以在图1所示的成像系统100中实现。例如，过程800可以作为指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140(例如，处理设备140的处理器310、或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下所述的过程800的操作旨在说明。在一些实施例中，过程800可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，图8A所述的过程800的操作的顺序并非旨在限制。
在802中，处理设备(例如，处理设备140的采集模块502)可获取第一分辨率图像。所述第一分辨率图像可以是LR图像或HR图像。仅出于说明目的，将所述第一分辨率图像指定为LR图像。例如，采集模块502可以从扫描仪110获得所述LR图像。又例如，采集模块502可以从存储设备(例如，存储设备150)中搜索由扫描仪110先前获取的LR图像。在一些实施例中，例如在电影MRI中，在对受试者进行扫描期间，MRI扫描仪可以生成包括至少两个LR图像的图像序列，以实现较短的扫描时间。在一些实施例中，所述LR图像可以是2D图像或3D图像(也称为3D立体图像或体积图像)。仅出于说明目的，所述LR图像可以是3D立体图像(例如，图6所示的3D CMR立体图像)。所述至少两个LR图像中的每一个LR图像可以是与时间帧(例如，心动周期的心动阶段)相对应的图像帧。所述LR图像包括在受试者ROI中的目标。所述目标需要从LR图像中分割出来，也就是说，需要基于LR图像来确定所述目标的形状。关于第一分辨率图像的更多描述可以在本公开的其他地方找到(例如，过程700的操作702)，在此不再重复。
在804中，处理设备(例如，处理设备140的采集模块502)可以获取预测模型。例如，所述预测模型可以是目标形状参数预测模型(SPPM)，用于预测与所述目标的形状有关的一个或以上形状参数。所述一个或以上形状参数可以包括至少一个形状方差和至少一个姿势变换参数。如本公开所使用的，所述SPPM可以基于单个机器学习模型来构造。仅出于说明目的，所述机器学习模型可以是CNN模型。可以通过基于来自至少两个样本的至少两个数据对训练初始模型(例如，初始SPPM)以生成目标SPPM。所述样本可以包括来自样本受试者的数据。所述样本受试者可以是例如本公开的图7中所述的接受检查的受试者，例如，患有心脏病的患者。所述样本可以是包括所述目标的HR 3D立体图像和/或LR 3D立体图像。仅出于说明目的，所述至少两个样本中的一个样本可以是包括所述目标(例如心脏)的LR 3D立体图像。所述至少两个数据对中的每个数据对可以包括与LR 3D立体图像相对应的LR数据和与LR样本图像相对应的HR网格表面。所述HR网格表面可以是先验知识。以LRCMR立体图像为例，如图8B所示，LR CMR立体图像810可以通过主动形状模型或主动外观模型来拟合得到的LR CMR数据820。所述至少两个数据对可以输入到初始SPPM进行训练。在一些实施例中，可以对LR 3D立体图像进行预处理，例如，从LR 3D立体图像中分割目标。可以将来自LR 3D体的分割出的目标拟合成LR数据进行训练。在一些实施例中，当满足条件(例如，终止条件)时，可以将训练好的模型指定为目标SPPM。在训练期间，处理设备(例如，第一预测模型确定模块508)可以使用机器学习算法(例如，随机梯度下降(SGD)算法)来最小化当前模型的损失函数以便迭代更新模型的参数。损失函数可以是回归损失函数，例如，包括均方误差(MSE)函数、平均绝对误差(MAE)函数、Huber损失函数、Log-cosh损失函数、分位数损失函数等。示例性终止条件可以包括包含更新的参数的初始模型的损失函数低于第一阈值，迭代过程的迭代计数达到或超过第二阈值，包括更新的参数的初始模型的损失函数收敛等。当迭代训练过程满足终止条件时，处理设备可以将训练后的模型指定为目标SPPM。在一些实施例中，目标SPPM可以是CNN模型(例如，图11所示的CNN模型1100)。在一些实施例中，训练后的模型可以存储在存储设备(例如，存储设备150)中。处理设备可以从存储设备获得目标SPPM。关于生成预测模型的更多描述可以在本公开的其他地方找到(例如，图10和/或图11及其描述)。
在806，处理设备(例如，处理设备140的形状参数确定模块504)可以将所述第一分辨率图像(LR图像)输入到预测模型(例如目标SPPM)中，同时确定至少一个形状方差和至少一个姿势变换参数。
图8C示出了用于根据本公开的一些实施例使用预测模型确定一个或以上形状参数的简化框架。如图8C所示，附图标记830表示与输入的第一分辨率图像相对应的第一分辨率数据(例如，与输入的LR图像相对应的LR数据)，附图标记840表示用于预测与第一分辨率图像(例如，LR图像)中的目标的形状有关的形状参数的网络模型(例如，基于CNN模型的SPPM)，附图标记850表示预测的形状参数。预测的形状参数850可以包括形状方差(B)和姿势变换参数(T)。在一些实施例中，姿势变换参数可以是仿射变换矩阵。仿射变换矩阵可以包括平移系数(例如，平移矩阵)、旋转系数(例如，旋转矩阵)、比例系数(例如，缩放矩阵)等，或其任意组合。姿势变换参数可以表示为仿射变换矩阵。网络模型840可以处理第一分辨率数据830，以同时生成仿射变换矩阵T和形状方差B。在一些实施例中，可以将所生成的仿射变换矩阵T和形状方差B发送到处理设备(例如，第一形状确定模块506)。处理设备可以基于形状模型(例如，等式(1))确定目标的形状向量。可以基于形状向量来确定目标的分割形状。处理设备(例如，渲染模块508)可以渲染目标的形状以生成目标的第二分辨率可视化视图(例如，所述形状的HR 3D模型)。在一些实施例中，第二分辨率可以高于第一分辨率。在一些实施例中，第二分辨率可以与第一分辨率相同。
图9A是根据本公开的一些实施例所示的确定一个或以上形状参数的示例性过程的流程图。在一些实施例中，过程900可以在图1所示的成像系统100中实现。例如，过程900可以作为指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140(例如，处理设备140的处理器310、或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下所述的过程900的操作旨在说明。在一些实施例中，过程900可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，图9所述的过程900的操作的顺序并非旨在限制。
在902中，处理设备(例如，处理设备140的采集模块502)可以获取第一分辨率图像。所述第一分辨率图像可以是LR图像或HR图像。仅出于说明目的，将所述第一分辨率图像指定为LR图像。例如，采集模块502可以从扫描仪110获得LR图像。又例如，采集模块502可以从存储设备(例如，存储设备150)中搜索由扫描仪110先前获取的LR图像。在一些实施例中，例如在电影MRI中，在对受试者进行扫描期间，MRI扫描仪可以生成包括至少两个LR图像的图像序列，以实现较短的扫描时间。在一些实施例中，所述LR图像可以是2D图像或3D图像(也称为3D立体图像或立体图像)。仅出于说明目的，所述LR图像可以是3D立体图像(例如，图6所示的3D CMR立体图像)。所述至少两个LR图像中的每一个LR图像可以是与时间帧(例如，心动周期的心动阶段)相对应的图像帧。所述LR图像可以包括在受试者的ROI中的目标。所述目标需要从LR图像中分割出来，也就是说，需要基于所述LR图像来确定所述目标的分割形状。关于第一分辨率图像的更多描述可以在本公开的其他地方找到(例如，过程700的操作702)，在此不再重复。
在904，处理设备(例如，处理设备140的采集模块502)可以获取所述第一预测子模型(也称为姿势变换参数预测模型)和第二预测子模型(也称为形状方差预测模型)。所述第一预测子模型和所述第二预测子模型可以组合以构造形状参数预测模型(SPPM)。在一些实施例中，所述第一预测子模型可用于生成至少一个姿势变换参数(例如，T)，所述第二预测子模型可用于生成形状方差(例如，B)。在一些实施例中，所述第一预测子模型和所述第二预测子模型可以是相同类型的机器学习模型。例如，所述第一预测子模型和所述第二预测子模型是CNN模型。在一些实施例中，所述第一预测子模型和所述第二预测子模型可以是不同类型的机器学习模型。例如，所述第一预测子模型可以是CNN模型，而所述第二预测子模型可以是决策树模型。如本公开所使用的，所述第一预测子模型和所述第二预测子模型可以分别基于CNN模型来构造。所述第一预测子模型和所述第二预测子模型可以形成端到端网络模型(例如，图9B或图9C所示的网络1和网络2)。
在一些实施例中，所述第一预测子模型和所述第二预测子模型可以分别通过训练第一初始模型(也称为初始姿势变换参数预测模型)和第二初始模型(也称为初始形状方差预测模型)来生成。在一些实施例中，可以基于来自至少两个样本的至少两个数据对来训练第一初始模型。所述样本可以是来自样本受试者的数据。所述样本受试者可以是例如本公开的图7中所述的接受检查的受试者，例如患有心脏病的患者。所述样本可以是包括所述目标的HR 3D立体图像和/或LR 3D立体图像。仅出于说明目的，所述至少两个样本中的一个样本可以是包括所述目标(例如心脏)的LR 3D立体图像。所述至少两个数据对中的每个数据对可以包括与LR 3D立体图像相对应的LR数据和与LR 3D立体图像相对应的HR 3D网格表面。所述HR 3D网格表面可以基于先有知识来确定。例如，HR 3D模型可以通过统计形状模型(例如，等式(1))来表示。所述LR数据可以被输入到第一初始模型以进行训练。在一些实施例中，可以对LR 3D立体图像进行预处理，例如，从LR 3D立体图像中分割出目标。所述从LR3D立体图像中分割出的目标形状可以用于训练。在训练期间，处理设备(例如，第一预测模型确定模块508)可以使用机器学习算法(例如，随机梯度下降(SGD)算法)最小化当前的第一模型的第一损失函数以便迭代更新模型的参数，。所述第一损失函数可以是回归损失函数，包括，例如，均方误差(MSE)函数、平均绝对误差(MAE)函数、Huber损失函数、Log-cosh损失函数、分位数损失函数等。当迭代训练满足终止条件时，处理设备可以将训练后的第一初始模型指定为第一预测子模型。第一预测子模型可以输出姿势变换参数(例如，T)。姿势变换参数可以是仿射变换矩阵。在一些实施例中，可以将所述第一预测子模型的输入和输出组合作为训练第二预测子模型的输入。例如，如图9B所示，输入的第一分辨率数据910和输出的姿势变换参数930(例如，仿射变换矩阵)可以用于确定图像块940。图像块可以对应于LR数据910的一部分。可以类似地生成对应于所述至少两个LR图像的至少两个图像块。所述至少两个图像块可以被用作第二预测子模型(例如，网络2950)的训练数据。又例如，如图9C所示，输出的姿势变换参数990(例如，仿射变换矩阵)可以用来使用网格发生器(未示出)来创建变换域。在一些实施例中，变换域可以包括采样网格，所述采样网格是对输入的LR数据970进行采样以产生变换输出的一组点。输入的LR数据970和采样网格被用作采样器的输入，以生成图像块9910。可以类似地生成对应于所述至少两个LR图像的至少两个图像块。所述至少两个图像块可以被用作第二预测子模型(例如，网络29920)的训练数据。在训练过程中，处理设备可以使用机器学习算法(例如，随机梯度下降(SGD)算法)最小化当前的第二模型的第二损失函数以便迭代更新模型的参数。第二损失函数可以是回归损失函数，与第一损失函数相同或相似。当迭代训练满足终止条件时，处理设备可以将训练后的第二初始模型指定为第二预测子模型。所述第二预测子模型可以输出形状方差(例如，B)。
在一些实施例中，可以通过联合训练所述第一初始模型和所述第二初始模型来生成第一预测子模型和第二预测子模型。例如，在训练期间，当第一损失函数和第二损失函数同时满足终止条件时，处理设备可以分别将训练好的第一初始模型和训练好第二初始模型分别指定为第一预测子模型和第二预测子模型。如果第一损失函数或第二损失函数中的至少一个未能满足终止条件，处理设备可以继续训练第一初始模型和第二初始模型，直到同时满足两个损失函数的终止条件为止。
在906中，处理设备(例如，处理设备140的形状参数确定模块504)可以将第一分辨率图像(例如，LR图像)输入到第一预测子模型，来确定至少一个姿势变换参数。在一些实施例中，所述姿势变换参数可以是仿射变换矩阵。所述仿射变换矩阵可以包括平移系数、旋转系数或比例系数中的至少一个。
在908中，处理设备(例如，处理设备140的形状参数确定模块504)可以基于所述至少一个姿势变换参数和第一分辨率图像(例如，LR图像)，使用第二预测子模型来确定形状方差。
仅作为示例，图9B示出了根据本公开的一些实施例所示的使用预测模型确定一个或以上形状参数的简化方案。所述预测模型可以是包括第一预测子模型和第二预测子模型的目标SPPM。所述第一预测子模型和所述第二预测子模型可以是CNN模型，例如图9B中所示的网络1(920)和网络2(950)。如图9B所示，第一分辨率数据910(例如，3DLR立体图像的LR数据)可以被用作网络1(920)(即，第一预测子模型)的输入。第一预测子模型可以输出姿势变换参数T 930。在一些实施例中，姿势变换参数可以表示为仿射变换矩阵。在一些实施例中，输出的姿势变换参数可以存储在存储设备(例如，存储设备150)中。在一些实施例中，第一分辨率数据(例如，LR数据)910和姿势变换参数可以组合以确定图像块940。具体地，可以通过使用仿射变换矩阵对第一分辨率数据(例如，LR数据)910进行仿射变换来确定图像块940。图像块940可以是第一分辨率数据(例如，LR数据)910的一部分。图像块940可以包括所述目标的至少一部分(例如，心脏的LV或心脏的RV)。图像块940可以被当作网络2(950)(即，第二预测子模型)的输入。第二预测子模型可以输出形状方差B 960。在一些实施例中，输出的形状方差可以存储在存储设备(例如，存储设备150)中。
仅作为示例，图9C示出了用于根据本公开的一些实施例的使用预测模型确定一个或以上形状参数的另一简化方案。类似于图9B，预测模型可以是目标SPPM，包括第一预测子模型和第二预测子模型。所述第一预测子模型和所述第二预测子模型可以是CNN模型，例如图9C中所示的网络1(980)和网络2(9920)。如图9C所示，第一分辨率数据970(例如，3DLR立体图像的LR数据)可以被用作网络1(980)(即，第一预测子模型)的输入。所述第一预测子模型可以输出姿势变换参数T 990。在一些实施例中，所述姿势变换参数可以表示为仿射变换矩阵。在一些实施例中，输出的姿势变换参数可以存储在存储设备(例如，存储设备150)中。在一些实施例中，所述姿势变换参数可使用网格生成器创建变换域。变换域可以包括采样网格，所述采样网格是一组点，第一分辨率数据(例如，LR数据)970应当在这组点处进行采样以产生变换后的输出。第一分辨率数据(例如，LR数据)970和采样网格可以被输入到采样器以产生图像块9910。图像块9910可以是第一分辨率数据(例如，LR数据)970的一部分。图像块9910可以包括所述目标的至少一部分(例如，心脏中的LV或心脏的RV)。图像块9910可以被当作网络2(9920)(即，第二预测子模型)的输入。所述第二预测子模型可以输出形状方差B 9930。在一些实施例中，输出的形状方差可以存储在存储设备(例如，存储设备150)中。
图10是根据本公开的一些实施例所示的用于确定用于预测一个或以上形状参数的目标预测模型的示例性过程的流程图。如本公开所使用的，所述预测模型可以被称为形状参数预测模型(SPPM)。在一些实施例中，过程1000可以在图1所示的成像系统100中实现。例如，过程1000可以作为指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140(例如，处理设备140的处理器310、或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下所述的过程1000的操作旨在说明。在一些实施例中，过程1000可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，图10所述的过程1000的操作的顺序并非旨在限制。
在1002中，处理设备(例如，处理设备140的采集模块502)可以获取多组训练数据。所述多组训练数据可以与至少两个样本相关联。所述至少两个样本中的每个样本可以包括MR图像，所述MR图像包括样本受试者的目标(例如，心脏)。在一些实施例中，所述MR图像可以是低分辨率(LR)图像或高分辨率(HR)图像。在一些实施例中，所述MR图像可以是2D图像或3D图像(也称为3D立体图像或体图像)。如本公开所使用的，可以选择至少两个LR 3D立体图像作为训练样本。与训练样本相关联的多组训练数据可以形成训练集。在一些实施例中，可以对训练集中的样本图像进行预处理。例如，所述样本图像需要适合模型架构(例如，CNN架构)，而原始尺寸不适合模型架构的一个或以上样本图像需要调整大小以适合模型架构。又例如，所述样本图像可以需要具有相同的尺寸，例如，192×192×80，原始尺寸不同的一个或以上样本图像需要重新调整为该尺寸。所述多组训练数据中的每组可以包括一个数据对。所述数据对可以包括与LR 3D立体图像相对应的LR数据和与LR 3D立体图像相对应的HR3D网格表面。在一些实施例中，包括在所述数据对中的LR 3D立体图像是经过处理的，例如，从LR 3D立体图像中分割出目标。从LR 3D立体图像中分割出的目标形状可用于训练。
在1004中，处理设备(例如，处理设备140的采集模块502)可以获取初始参数预测模型(例如，初始SPPM)。在一些实施例中，初始SPPM可以作为应用程序或其一部分存储在存储设备中。例如，采集模块502可以从存储设备(例如，存储设备150)获得初始SPPM。
初始SPPM可以是机器学习回归模型。示例性的机器学习回归模型可以包括决策树模型、深度学习神经网络模型、回归树模型、随机森林模型等，或其组合。示例性深度学习神经网络模型可以包括卷积机器学习模型(CNN)、全卷积神经网络(FCN)模型、生成对抗网络(GAN)、反向传播(BP)机器学习模型、径向基函数(RBF)机器学习模型、深度置信网(DBN)、艾尔曼机器学习模型等，或其组合。在一些实施例中，机器学习回归模型可以包括多个层，例如，一个输入层、多个隐藏层和一个输出层。多个隐藏层可以包括一个或以上卷积层、一个或以上池化层、一个或以上批归一化层、一个或以上激活层、一个或以上全连接层、一个损失函数层等。多个层中的每个层可以包括至少两个节点。将LR图像和/或与LR图像相对应的LR数据作为机器学习回归模型的训练输入，一个或以上形状参数作为训练输出。所述一个或以上形状参数可以包括形状方差系数和姿势变换参数。
在一些实施例中，所述机器学习模型可以由至少两个结构参数和至少两个学习参数定义。在机器学习模型的训练过程中，可以使用多组训练数据来更改所述至少两个学习参数，而在使用多组训练数据的机器学习模型训练期间，所述至少两个结构参数可以不会更改。可以在训练机器学习模型之前由用户设置和/或调整所述至少两个结构参数。所述机器学习模型的示例性结构参数可以包括层内核的大小、层的总数(或数量)、每层节点的数量(或数量)、学习率、最小批尺寸、回合等。所述机器学习模型的示例性学习参数可以包括两个连接的节点之间的连接权值、与节点有关的偏差向量等。所述两个连接节点之间的连接权值可以是表征一个节点的输出值的比例，以作为另一个连接节点的输入值。与节点有关的偏置向量可以是控制偏离原点的节点的输出值。
在一些实施例中，可以通过初始化机器学习回归模型(例如CNN模型)的至少两个学习参数来生成初始SPPM。可以在训练机器学习模型之前初始化、设置和/或调整至少两个学习参数的参数值，以获得初始化的机器学习模型。机器学习模型的示例性学习参数可以包括层内核的大小、层的总数(或数量)、每层节点的数量(或数量)、学习率、批尺寸、回合、两个连接的节点之间的连接权值、与节点有关的偏差向量等。
在1006中，处理设备(例如，处理设备140的第一预测模型确定模块508)可以将多组训练数据输入到初始SPPM以训练所述初始模型。例如，第一预测模型确定模块508可以从采集模块502获得多组训练数据和所述初始SPPM。第一预测模型确定模块508可以将训练数据输入到所述初始SPPM。
在一些实施例中，处理设备可以使用机器学习算法训练所述初始SPPM。示例性的机器学习算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等，或其组合。例如，所述初始SPPM可以通过随机梯度下降(SGD)算法进行训练。在一些实施例中，处理设备可以执行一个或以上迭代来训练所述初始SPPM。可以执行一个或以上迭代以更新所述初始SPPM的至少两个学习参数，直到满足终止条件为止。例如，当包括更新的参数的初始模型的损失函数低于第一阈值时，终止条件可能得到满足。又例如，当迭代过程的迭代计数超过第二阈值时，终止条件可以得到满足。再例如，当包含更新的参数的初始模型的损失函数收敛时，终止条件可以会得到满足。如果两个或以上连续迭代中的损失函数的值的变化小于某个值(或近似于一个恒定值)，则可以认为已发生收敛。
在每一次迭代中，处理设备可以根据SGD算法最小化包括更新的参数的初始模型的损失函数来更新所述初始SPPM的参数(如操作1008所示)。在一些实施例中，包括更新的参数的初始模型可以指当前训练回合中的当前模型。损失函数可以测量输出解(例如，预测值)与最佳解(例如，真值)的差距。损失函数可以是回归损失函数，例如包括均方误差(MSE)函数、平均绝对误差(MAE)函数、Huber损失函数、Log-cosh损失函数、分位数损失函数等。仅出于说明目的，可以选择MSE函数作为模型的损失函数。
MSE函数可以根据等式(5)描述如下：
目标的平均形状之间的仿射变换来确定真值。对于训练样本，可以获得目标的每种形状。平均形状可以是目标的形状的均值(请参考Procrustes分析)。真值可以通过将目标的每种形状转换到平均形状空间来确定，例如，通过主动形状模型(ASM)或图像配准算法。
处理设备可以基于每个训练回合中的损失函数(例如，等式(5))来确定训练损失值。在一些实施例中，处理设备可以根据训练损失值，使用SGD算法迭代更新模型的参数，直到满足终止条件为止。在1010中，处理设备(例如，第一预测模型确定模块508)可以确定在每个训练回合中是否满足终止条件。例如，如果当前训练回合中模型的损失函数的训练损失值低于第一阈值，则训练过程可以终止。又例如，如果迭代过程的迭代计数超过第二阈值，则训练过程可以终止。再例如，如果当前训练回合中模型的损失函数收敛，则训练过程可以终止。
在1012中，当训练过程完成时，处理设备(例如，第一预测模型确定模块508)可以将当前训练的SPPM指定为目标预测模型(例如，目标SPPM)。换句话说，当前模型的参数可以被指定为目标SPPM的参数。应当注意，指定目标SPPM的精度可以等于或大于期望的精度阈值(例如，80％、85％、90％等)。可以通过验证集来测量目标SPPM的准确性。所述验证集类似于用于训练SPPM的训练集。在验证过程中，如果不满足所述指定的目标SPPM的精度，处理设备可以通过使用新的训练数据训练模型来调整所述指定的目标SPPM的参数，直到精度等于或大于所述精度阈值为止。
仅作为示例，所述初始SPPM可以是CNN模型。图11示出了根据本公开的一些实施例的CNN模型的示例性结构。如图11所示，CNN模型1100可以包括输入层1120、隐藏层1140和输出层1160。多个隐藏层1140可以包括一个或以上卷积层、一个或以上整流线性单元层(ReLU层)、一个或以上池化层、一个或以上全连接层等，或其组合。
如本公开所使用的，所述模型的层可以是用于处理该层的输入数据的算法或函数。不同的层可以对它们各自的输入执行不同种类的处理。连续层可以使用来自连续层的前一层的输出数据作为输入数据。在一些实施例中，每个层可以包括一个或以上节点(例如，神经单元)。在一些实施例中，每个节点可以连接到上一层中的一个或以上节点。每层中的节点数可以相同或不同。在一些实施例中，每个节点可以对应一个激活函数。如本公开所使用的，对于给定的一个输入或一组输入，节点的激活函数定义节点的输出。所述激活函数可以包括sigmoid函数、tanh函数、ReLU函数、ELU函数、PReLU函数等，或其任意组合。
在一些实施例中，所述至少两个节点可以用于处理输入数据。在神经网络模型中，节点可以是指神经单元。例如，神经单元可以根据等式(6)输出值，如下所示：
foutput＝f(∑iwixi+b) (6)
其中，foutput表示神经单元的输出值.f(·)表示激活函数.wi表示与输入向量的元素相对应的权重值，xi表示输入向量的元素，b表示与输入向量相对应的偏置项。权重值和偏置项可以是CNN模型的参数。在一些实施例中，可以基于SGD算法迭代更新权重值和偏置项。
为了说明的目的，如图11所示，CNN模型1100的示例性隐藏层1140包括卷积层1140-1、池化层1140-2和全连接层1140-N。如结合过程1000所描述的，处理设备140可以获取训练集作为输入层1120的输入。
所述输入的训练数据可以是向量的形式。卷积层1140-1可以包括至少两个卷积核(例如，A、B、C和D)。例如，所述至少两个卷积核的数目(或计数)可以在16到64的范围内，例如32。所述至少两个卷积核可用于对来自先前层(例如，输入层1120)的输出执行卷积运算。在一些实施例中，每个卷积核可以过滤输入向量的一部分(例如，一个区域)以实现数据降维。
池化层1140-2可以将卷积层1140-1的输出作为输入。池化层1140-2可以包括至少两个池化节点(例如，E、F、G和H)。所述每个池化节点都可以对其输入执行池化操作，例如最大池化、平均池化或L2-范数池化。例如，所述至少两个池节点可以用于对卷基层1140-1的输出进行采样，从而可以减少数据处理的计算负荷并提高MRI系统100的数据处理速度。
全连接层1140-N可以包括至少两个神经单元(例如，O、P、M和N)。全连接层1140-N中的至少两个神经单元可以与上一层中的所有激活以及输出向量完全连接。输出层1160可以基于全连接层1140-N的输出向量以及在全连接层1140-N中获得的对应权值和偏置项来确定输出。输出值可以被指定为形状方差和姿势变换参数。在一些实施例中，所述处理设备可以访问MRI系统100中的多个处理单元，例如GPU。多个处理单元可以在CNN模型的某些层中执行并行处理。可以以这样的方式执行并行处理：即可以将CNN模型的一层中不同节点的计算分配给两个或以上处理单元。例如，一个GPU可以运行与内核A和B相对应的计算，而另一个GPU可以运行与卷积层1140-1中的内核C和D相对应的计算。类似地，可以由多个GPU并行地执行与CNN模型中的其他类型层中的不同节点相对应的计算。
如结合图6所描述的，在临床应用中，电影MRI可以提供不同的时间帧下的目标的图像。在电影MRI中，可以获得包括至少两个图像帧的图像序列。在一些实施例中，对于每个图像帧(例如3D CMR立体图像)，MRI系统100可以基于形状模型(例如，等式(1))和目标SPPM(例如，图8C、图9B或图9C所示的模型)从低分辨率图像中确定高分辨率的目标分割。所述目标的分割形状可以提供诊断信息(例如，心脏左心室的立体图像或质量)。对于某些运动(例如，心脏运动、呼吸运动)的目标(例如，心脏或肺部)，所述目标的形状可以会随时间变化。为了诊断分析，需要跟踪不同图像帧中的形状之间的对应关系。例如，可以基于不同图像帧的心肌区域中的点对应关系来进行应力估计。所述应力分析可用于估计心肌的收缩和松弛。所述应力分析可以是有助于心脏病医生理解和/或评估心脏功能和/或诊断决定的临床测量。为了提供丰富的诊断信息，成像系统100可以执行一个或以上操作以跟踪目标的形状随时间的变化。
图12是根据本公开的一些实施例所示的用于跟踪目标的形状随时间的变化的示例性过程的流程图。在一些实施例中，过程1200可以在图1所示的成像系统100中实施。例如，过程1200可以以指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140(例如，处理设备140的处理器310、或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下所述的过程1200的操作旨在说明。在一些实施例中，过程1200可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，如图12所述的过程1200的操作顺序并非旨在限制。
在1202中，处理设备(例如，处理设备140的采集模块502)可以获得对应于第N时间帧(例如，图6中所示的第二图像帧t2)和第N-1时间帧(例如，图6所示的第一图像帧t1)的第一分辨率图像(例如，LR图像)，其中N是等于或大于2的整数。
如结合图6所述，在MRI电影成像中，MRI设备(例如，MRI扫描仪)可以获取包括至少两个图像帧的图像序列，每个图像帧对应于一个时间帧。在一些实施例中，所述图像帧可以包括一系列2D切片图像。在临床应用中，可以在扫描协议中设置相对较大的切片厚度，以减少扫描时间。由于切片厚度相对较大，相应生成的一系列2D切片图像可以是LR切片图像。相应地，可以生成由一系列2DLR切片图像组成的LR 3D立体图像。在一些实施例中，图像序列可以存储在存储设备(例如，存储设备150)中。采集模块502可以从存储设备150获得所述一个或以上的图像帧。
在1204中，处理设备(例如，处理设备140的第一形状确定模块506)可以确定对应于第N-1时间帧的第一分辨率图像中的目标的形状。
在一些实施例中，处理设备可以基于形状模型(例如，等式(1))和目标SPPM(例如，图8C、图9B或图9C所示的模型)确定对应于第N-1时间帧的目标(例如，心脏或肺部)的形状。例如，第一形状确定模块506可以使用目标SPPM来确定与第一图像帧中的目标的形状相关的一个或以上形状参数。所述一个或以上形状参数可以包括形状方差系数(例如，图8C、图9B或图9C所示的B)和至少一个姿势变换参数(例如，图8C、图9B或图9C所示的T)。在一些实施例中，所述姿势变换参数可以是仿射变换参数，其将平均形状从平均形状空间变换到图像空间。处理设备140可以分别基于等式(3)和等式(4)来确定平均形状和形状协方差矩阵。第一特征向量矩阵可以由形状协方差矩阵推导出。在一些实施例中，可以预先确定平均形状和形状协方差矩阵。第一形状确定模块506可以将形状参数、平均形状和形状协方差矩阵导出的特征向量矩阵输入到等式(1)，并确定目标的形状。可以将所述形状定义为通过形状模型生成的形状向量。所述形状向量可以包括与目标有关的至少两个标记点的坐标。可以基于所述至少两个标记点生成所述目标的网状表面。在一些实施例中，可以确定的与第N-1时间帧相对应的目标的形状输入到目标运动参数预测模型(MPPM)，用于确定第N时间帧对应的目标相关的运动参数。
在1206中，处理设备(例如，处理设备140的第二形状确定模块512)可以基于第N-1时间帧的目标的形状和目标的运动模型，确定对应于第N时间帧的目标的形状。
在一些实施例中，所述运动模型可以用于确定连续图像帧(例如，第N-1时间帧的第二图像帧和第N时间帧的第二图像帧)之间相关的运动场。可以根据运动场将先前图像帧的目标的分割传播到后续图像帧。在一些实施例中，所述运动场可以包括至少两个运动向量。体素(或像素)的运动向量可以表示一个图像中的体素(或像素)相对于另一图像中对应的体素(或像素)发生的位移。换句话说，运动场可以描述在不同图像帧中，目标的形状的标记点之间的点对应关系。出于说明目的，如果图像帧A中体素的坐标为(x，y，z)，所述体素的运动场为(Δx，Δy，Δz)，由于从图像帧A到图像帧B的运动场引起的图像变形，图像帧B和图像帧A之间的对应体素可以表示为：
B(x+Δx，y+Δy，z+Δz)＝A(x，y，z) (7)
如果处理设备可以确定先前图像帧的目标的形状和当前图像帧的目标的形状之间的点对应关系，则可以基于所述点对应关系来确定当前图像帧的目标的形状。例如，令第一图像帧是相对于第二图像帧的先前图像帧，如果确定了第一图像帧和第二图像帧之间的运动场，第二形状确定模块512可以通过将确定的运动场应用于第一图像帧的目标的形状来确定第二图像帧的目标的形状。
在一些实施例中，图像帧之间的运动场可以根据等式(8)定义的运动模型确定，如下：
fmotion＝fmeanmotion+Bm×Pm (8)
其中，fmotion表示两个连续图像帧之间的运动场，fmeanmotion表示与不同时间帧中目标的形状有关的干均运动，Bm表示运动参数，Pm表示第二特征向量矩阵(即，运动协放差矩阵派生的特征向量矩阵)。
在一些实施例中.可以基于来自至少两个图像序列的至少两个样本电影图像帧来确定平均运动。所述图像序列可以包括至少两个3D电影图像帧。在一些实施例中，3D图像帧可以是HR立体图像和/或LR立体图像。仅出于说明的目的，可以选择HR立体图像作为样本电影图像帧。在一些实施例中所述至少两个3D图像帧可以对齐到相同的图像空间。可以在对准过程之后确定所述至少两个3D图像帧之间的运动场。在一些实施例中，可以基于运动场的中值或平均值来确定平均运动。例如，假设运动场矩阵为mi，运动场的个数(或计数)为n，平均运动为平均运动可以根据等式(9)确定：
在一些实施例中，运动协方差矩阵Cm可以基于所确定的平均运动来确定。例如，运动协方差矩阵可以根据等式(10)确定：
可以通过PCA算法计算与运动协方差矩阵Cm相关联的特征值和特征向量。特征向量对应于特征值。计算出的特征值可以从大到小排序。然后，可以选择与预定数量的特征向量(例如，前d个特征值)相对应的特征向量。所选择的特征向量(例如，对应于前d个特征值的前d个特征向量)可以形成第二特征向量矩阵Pm。
基于等式(8)，如果已知变量fmeanmotion、Bm和Pm，则可以确定fmotion。在一些实施例中，可以便用目标MPPM确定运动参数Bm。在一些实施例中，所述目标MPPM可以是类似干所描述的SPPM的机器学习回归模型。在一些实施例中，可以基干来自电影图像帧的至少两个图像，通过训练初始模型(例如，初始MPPM)来生成目标MPPM。例如，所述至少两个图像对中的每个图像对可以包括对应干第一时间帧M-1的第一第一分辨率图像(例如，第一LR图像)和对应于第二时间帧M的第二第一分辨率图像(例如，第二LR图像)，其中M是等于或大于2的整数。第一第一分辨率图像帧和第二第一分辨率图像帧是两个连续的图像帧。在一些实施例中，当满足条件(例如，终止条件)时，可以将训练好的模型指定为目标MPPM。
处理设备(例如，第二形状确定模块512)可以将先前的图像帧和当前的图像帧作为目标MPPM的输入，并输出运动参数。
图13示出了根据本公开的一些实施例的使用运动参数预测模型(MPPM)确定运动参数的简化方案。如图13所示，附图标记1310表示与第N-1时间帧和第N时间帧对应的两个连续的第一分辨率图像(例如，LR图像)，附图标记1320表示用于预测与输入的LR图像有关的运动参数的网络模型(例如，基于CNN模型的MPPM)，附图标记1330表示预测的运动参数(例如，Bm)。在一些实施例中，处理设备可以将两个连续的第一分辨率图像1310输入到网络模型1320，网络模型1320可以生成与第一分辨率图像有关的运动参数1330。
在一些实施例中，处理设备可以基于两个图像的对应体素的坐标差，确定前一个图像帧(例如，第N-1时间帧的第一图像帧)与当前图像帧(例如，第N时间帧的第一图像帧)之间的运动场。应当理解，运动场可以描述两个图像(例如，包括先前图像帧和当前图像帧的两个连续图像帧)之间的点对应关系。处理设备还可以通过将所确定的运动场应用于先前图像帧中的目标的形状来确定当前图像帧中的目标的形状(例如，根据等式(7))。
对于图像序列，如果已知第一图像帧中目标的形状和所有后续图像帧，处理设备可以基于运动模型和目标MPPM，将第一图像帧的分割传播给所有后续图像帧。例如，处理设备首先确定图像序列的第一图像帧中目标的第一形状，然后处理设备可以基于第一形状和运动模型(例如，方程(8))确定图像序列的第二图像帧中目标的第二形状。这样，处理设备可以确定后续图像帧中目标的形状。
在一些实施例中，处理设备140可以通过渲染所确定的目标的形状来进一步生成第二分辨率的可视化视图。在一些实施例中，第二分辨率可以高于第一分辨率。在一些实施例中，第二分辨率可以等于第一分辨率。
图14是根据本公开的一些实施例所示的确定用于预测运动参数的目标预测模型的示例性过程的流程图。如本公开所使用的，所述预测模型可以被称为运动参数预测模型(MPPM)。过程1400可以类似于过程1000。在一些实施例中，过程1400可以在图1所示的成像系统100中实现。例如，过程1400可以作为指令的形式存储在存储设备(例如，存储设备150或处理设备140的存储器320)中，并且可以由处理设备140(例如，处理设备140的处理器310、或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下描述的过程1400的操作旨在说明。在一些实施例中，过程1400可以利用未描述的一个或以上附加操作，和/或没有所讨论的一个或以上操作来完成。另外，如图14所描述的过程1400的操作的顺序并非旨在限制。
在1402中，处理设备(例如，处理设备140的采集模块502)可以获取至少两个图像对以形成训练数据。所述至少两个图像对中的每个图像对可以包括两个连续的图像帧。例如，对应于第一时间帧M-1的第一图像帧和对应于第二时间帧M的第二图像帧，其中M是小于或等于2的整数。所述至少两个图像对可以与至少两个样本相关联。所述至少两个样本中的每个样本可以包括由至少两个图像帧组成的图像序列(例如，电影MR图像序列)。图像序列来自样本受试者。样本受试者可以是例如本公开的图7中所述的接受检查的受试者，诸如患有心脏病的患者。所述图像帧可以是低分辨率(LR)图像或高分辨率(HR)图像。在一些实施例中，所述图像帧可以是2D图像或3D图像(也称为3D立体图像或立体图像)。如本公开所使用的，可以选择由3D立体图像组成的至少两个图像序列作为训练样本。来自图像序列的多组图像对可以被分组。所述多组图像对可以形成训练集。在一些实施例中，训练集可以存储在存储设备(例如，存储设备150)中。
在1404中，处理设备(例如，处理设备140的采集模块502)可以获取初始运动参数预测模型(MPPM)。在一些实施例中，初始MPPM可以作为应用程序或其一部分存储在存储设备中。例如，采集模块502可以从存储设备(例如，存储设备150)获得初始MPPM。
初始MPPM可以是类似于初始SPPM的机器学习回归模型。示例性机器学习回归模型可以包括决策树模型、深度学习神经网络模型、回归树模型、随机森林模型、梯度提升树等，或其组合。在一些实施例中，初始MPPM的结构可以与初始SPPM的结构相同或相似。例如，初始MPPM可以包括多个层，例如输入层、多个隐藏层和输出层。多个隐藏层可以包括一个或以上卷积层、一个或以上池化层、一个或以上批归一化层、一个或以上激活层、一个或以上全连接层、一个损失函数层等。多个层中的每个层可以包括至少两个节点。在训练初始MPPM中，可以将两个连续的图像帧作为训练输入，将与输入图像帧的运动参数作为训练输出。
仅出于说明目的，初始MPPM可以是CNN模型。CNN模型的结构可以与图11中所示的CNN模型1100相同或相似。例如，CNN模型可以包括一个输入层、多个隐藏层和一个输出层。多个隐藏层可以包括一个或以上卷积层、一个或以上整流线性单元层(ReLU层)、一个或以上池化层、一个或以上全连接层等，或其组合。训练数据(例如，至少两个图像对)可以由输入层输入到CNN模型。隐藏层可以执行卷积操作、池化操作等。输出层可以输出预测的运动参数。关于CNN模型的更详细描述可以在本公开的其他地方找到(例如，图11及其描述)，在此不再赘述。
在1406中，处理设备(例如，处理设备140的第二预测模型确定模块514)可以将训练数据输入到初始运动预测模型以训练模型。在一些实施例中，可以从采集模块502或存储设备150获得训练数据。例如，第二预测模型确定模块514可以从采集模块502获得训练数据和初始MPPM。第二预测模型确定模块514可以将训练数据输入到初始MPPM。
在一些实施例中，处理设备可以使用机器学习算法训练初始运动预测模型。示例性的机器学习算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等，或其组合。例如，可以通过随机梯度下降(SGD)算法训练模型。训练过程可以是回归过程。处理设备可以执行一个或以上迭代以训练初始MPPM。可以执行一个或以上迭代以更新初始MPPM的至少两个学习参数，直到满足终止条件为止。
在每一次迭代中，处理设备可以根据SGD算法最小化包括更新的参数的初始MPPM的损失函数来更新初始MPPM的参数(如操作1408所示)。损失函数可以测量输出解(例如，预测值)与最佳解(例如，真值)的差距。与训练数据有关的真值(即真实运动参数Bm)可以是先验知识。在一些实施例中，损失函数可以是回归损失函数，例如包括均方误差(MSE)函数、平均绝对误差(MAE)函数、Huber损失函数、Log-cosh损失函数、分位数损失函数等。例如，可以选择MSE函数(例如，公式(5))作为初始MPPM的损失函数。处理设备可以基于每个训练回合中的损失函数来确定训练损失值。处理设备可以基于训练损失值使用SGD算法迭代地更新模型的参数，直到满足终止条件。
在1410中，处理设备(例如，第二预测模型确定模块514)可以在每个训练回合中确定是否满足终止条件。在一些实施例中，如果满足终止条件，则训练过程可以会终止。可以进行操作1412。例如，在当前训练回合中，如果包括更新的参数的模型的损失函数的训练损失值低于第三阈值，则训练过程可以终止。又例如，在当前训练轮次中，如果迭代过程的迭代次数超过第四阈值，则训练过程可以会终止。在一些实施例中，第一阈值(在操作1010中示出)、第二阈值(在操作1010中示出)、第三阈值和第四阈值可以相同或不同。再例如，在本轮训练中，如果包含更新的参数的模型的损失函数收敛，则训练过程可以会终止。
在1412中，当训练过程完成时，处理设备(例如，第二预测模型确定模块514)可以将当前训练好的MPPM指定为目标MPPM。在一些实施例中，如果不满足终止条件，则可以执行下一个迭代，直到满足终止条件为止。
类似于目标SPPM，指定的目标MPPM的精度也可以等于或大于期望的精度阈值(例如，80％、85％、90％等)。所述目标MPPM的精度可以通过验证集来衡量。所述验证集类似于用于训练MPPM的训练集。所述验证集可以包括至少两个图像对，每个图像对包括两个连续的图像帧。在使用验证集进行验证的过程中，如果所述目标MPPM的精度不满足，处理设备可以通过使用新的训练数据训练模型来调整指定目标MPPM的参数，直到所述模型精度等于或大于精度阈值为止。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本公开的限制。虽然此处并未明确说明，但本领域的普通技术人员可以会对本公开进行各种修改、改进和修正。该类修改、改进和修正在本公开中被建议，所以该类修改、改进、修正仍属于本公开示范实施例的精神和范围。
同时，本公开使用了特定词语来描述本公开的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本公开至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本公开的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本公开的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改良。相应地，本公开的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本公开的各方面可以表现为位于一个或以上计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。
计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本公开各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上作为独立软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局部区域网络(LAN)或广域网(WAN)，或者可以在云计算环境中(例如，使用Internet服务提供者通过Internet)与外部计算机建立连接，也可以以软件即服务(SaaS)之类的服务形式提供连接。
此外，所陈述的处理元件或序列的顺序，或数字、字母或其他名称的使用，并不旨在将所要求保护的过程和方法限于任何顺序，除非可以在权利要求中指定。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本公开实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本公开披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本公开的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本公开的所述方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本公开一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可以精确。
本公开中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本公开以达到所有目的，与上述文件相关的任何起诉文档记录、与本公开件不一致或冲突的任何上述文件或对迟早与本公开件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本公开件相关联的术语之间存在任何不一致或冲突，那么本公开件中的描述、定义和/或术语使用应当优先。
最后，应当理解的是，本公开中所述实施例仅用以说明本公开实施例的原则。其他的变形也可以属于本公开的范围。因此，作为示例而非限制，本公开实施例的替代配置可视为与本公开的指导一致。相应地，本公开的实施例不仅限于本公开明确介绍和描述的实施例。

Claims (11)

1.一种用于生成和跟踪目标的形状的方法，其特征在于，所述方法包括：
获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像；
利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数包括至少一个形状方差系数和至少一个姿势变换参数，所述预测模型为经过训练获得的机器学习回归模型；其中包括：
使用所述预测模型同时确定所述至少一个形状方差系数和所述至少一个姿势变换参数；
或
所述预测模型包括第一预测子模型和第二预测子模型，所述利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数还包括：使用所述第一预测子模型确定所述至少一个姿势变换参数；以及使用所述第二预测子模型确定所述至少一个形状方差系数；
基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定所述目标的至少一种形状；以及
跟踪所述目标的形状随时间的变化。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
3.根据权利要求1所述的方法，其特征在于，所述形状模型通过与所述目标的形状相关的一个或以上形状参数、平均形状以及与形状协方差矩阵相关联的第一特征向量矩阵来描述。
4.根据权利要求1所述的方法，其特征在于，所述跟踪所述目标的形状随时间的变化包括：
基于对应于第N-1时间帧的所述目标的形状和运动模型，确定对应于第N时间帧的所述目标的形状，其中，N是等于或大于2的整数。
5.根据权利要求4所述的方法，其特征在于，所述运动模型通过运动参数、平均运动和与运动协方差矩阵相关联的第二特征向量矩阵来描述。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
使用第二预测模型生成所述运动参数，其中，所述第二预测模型是通过基于至少两个图像对训练第二初始模型而生成的，所述至少两个图像对中的每一个图像对包括对应于第M-1时间帧的第一第一分辨率图像和对应于第M时间帧的第二第一分辨率图像，M是等于或大于2的整数。
7.根据权利要求6所述的方法，其特征在于，所述第二预测模型包括第二机器学习回归模型。
8.一种用于生成和跟踪目标的形状的系统，其特征在于，所述系统包括采集模块、形状参数确定模块和第一形状确定模块，其中，
所述采集模块用于获得与医学扫描的时间帧序列中的至少一个时间帧相对应的至少一个第一分辨率图像；
所述形状参数确定模块用于利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数，其中，所述一个或以上形状参数包括至少一个形状方差系数和至少一个姿势变换参数，所述预测模型为经过训练获得的机器学习回归模型；其中包括：
使用所述预测模型同时确定所述至少一个形状方差系数和所述至少一个姿势变换参数；
或
所述预测模型包括第一预测子模型和第二预测子模型，所述利用预测模型确定与所述至少一个第一分辨率图像中的目标的形状有关的一个或以上形状参数还包括：使用所述第一预测子模型确定所述至少一个姿势变换参数；以及使用所述第二预测子模型确定所述至少一个形状方差系数；
所述第一形状确定模块用于基于所述一个或以上形状参数和形状模型，从所述至少一个第一分辨率图像中确定所述目标的至少一种形状；以及
所述系统还用于跟踪所述目标的形状随时间的变化。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括渲染模块，所述渲染模块用于通过渲染所述目标的形状来生成所述目标的第二分辨率可视化视图。
10.一种用于生成和跟踪目标的形状的装置，其特征在于，包括至少一个处理器以及计算机可读存储介质，其中，
所述计算机可读存储介质用于存储计算机指令；
所述至少一个处理器用于执行所述计算机指令以实现如权利要求1-7中任意一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取所述存储介质中的计算机指令后，计算机运行如权利要求1-7中任意一项所述的方法。
CN201911386237.7A 2019-10-25 2019-12-27 用于生成和跟踪目标的形状的系统和方法 Active CN111127521B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/664,710 2019-10-25
US16/664,710 US11348230B2 (en) 2019-10-25 2019-10-25 Systems and methods for generating and tracking shapes of a target

Publications (2)

Publication Number Publication Date
CN111127521A CN111127521A (zh) 2020-05-08
CN111127521B true CN111127521B (zh) 2024-03-01

Family

ID=70504253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911386237.7A Active CN111127521B (zh) 2019-10-25 2019-12-27 用于生成和跟踪目标的形状的系统和方法

Country Status (2)

Country Link
US (1) US11348230B2 (zh)
CN (1) CN111127521B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210058676A (ko) * 2019-11-13 2021-05-24 영남대학교 산학협력단 심장신호 처리장치 및 방법, 이를 포함하는 모니터링 시스템
JP2021175126A (ja) * 2020-04-28 2021-11-01 キヤノン株式会社 分割パターン決定装置、分割パターン決定方法、学習装置、学習方法およびプログラム
EP4178446A4 (en) * 2020-08-10 2023-06-07 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN113469981B (zh) * 2021-07-09 2022-07-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496899A (zh) * 2002-10-11 2004-05-19 伊顿公司 用于乘员跟踪的基于运动的图像分割器
CN1781123A (zh) * 2003-03-07 2006-05-31 西门子共同研究公司 用于跟踪运动对象的整体形状的系统及方法
CN1831846A (zh) * 2006-04-20 2006-09-13 上海交通大学 基于统计模型的人脸姿势识别方法
CN1906634A (zh) * 2003-11-19 2007-01-31 西门子共同研究公司 利用外观和形状来检测和匹配解剖结构的系统和方法
CN1965332A (zh) * 2004-02-20 2007-05-16 西门子共同研究公司 利用鲁棒信息融合来基于多模组成部分地跟踪对象的方法和系统
CN101204335A (zh) * 2007-12-14 2008-06-25 浙江工业大学 基于统计模型的心脏运动分析方法
CN102133139A (zh) * 2011-01-21 2011-07-27 华南理工大学 一种假手控制系统及其控制方法
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN105637536A (zh) * 2013-07-02 2016-06-01 外科信息科学股份有限公司 脑图像流水线和脑图像区域位置和形状预测的方法和系统
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106934385A (zh) * 2017-03-24 2017-07-07 深圳市唯特视科技有限公司 一种基于3d扫描的人物身体形状估计方法
CN107704810A (zh) * 2017-09-14 2018-02-16 南京理工大学 一种适用于医疗护理的表情识别方法
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109544598A (zh) * 2018-11-21 2019-03-29 电子科技大学 目标跟踪方法、装置及可读存储介质
CN109754447A (zh) * 2018-12-28 2019-05-14 上海联影智能医疗科技有限公司 图像生成方法、装置、设备和存储介质
CN110151210A (zh) * 2019-05-21 2019-08-23 上海联影医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读介质
CN110298897A (zh) * 2019-04-03 2019-10-01 上海联影医疗科技有限公司 用于正电子发射断层成像图像重建的系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
US20090048506A1 (en) * 2007-08-13 2009-02-19 Fong-Ichimura Alina K Method and system for assessing brain function using functional magnetic resonance imaging
US10321892B2 (en) * 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
US20130184462A1 (en) * 2010-09-30 2013-07-18 Council Of Scientific & Industrial Research Method for predicting and modeling anti-psychotic activity using virtual screening model
US9292933B2 (en) * 2011-01-10 2016-03-22 Anant Madabhushi Method and apparatus for shape based deformable segmentation of multiple overlapping objects
US9824457B2 (en) * 2014-08-28 2017-11-21 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
US10664979B2 (en) * 2018-09-14 2020-05-26 Siemens Healthcare Gmbh Method and system for deep motion model learning in medical images

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496899A (zh) * 2002-10-11 2004-05-19 伊顿公司 用于乘员跟踪的基于运动的图像分割器
CN1781123A (zh) * 2003-03-07 2006-05-31 西门子共同研究公司 用于跟踪运动对象的整体形状的系统及方法
CN1906634A (zh) * 2003-11-19 2007-01-31 西门子共同研究公司 利用外观和形状来检测和匹配解剖结构的系统和方法
CN101551865A (zh) * 2003-11-19 2009-10-07 美国西门子医疗解决公司 利用外观和形状来检测和匹配解剖结构的系统和方法
CN101551908A (zh) * 2003-11-19 2009-10-07 美国西门子医疗解决公司 利用外观和形状来检测和匹配解剖结构的系统和方法
CN1965332A (zh) * 2004-02-20 2007-05-16 西门子共同研究公司 利用鲁棒信息融合来基于多模组成部分地跟踪对象的方法和系统
CN1831846A (zh) * 2006-04-20 2006-09-13 上海交通大学 基于统计模型的人脸姿势识别方法
CN101204335A (zh) * 2007-12-14 2008-06-25 浙江工业大学 基于统计模型的心脏运动分析方法
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN102133139A (zh) * 2011-01-21 2011-07-27 华南理工大学 一种假手控制系统及其控制方法
CN105637536A (zh) * 2013-07-02 2016-06-01 外科信息科学股份有限公司 脑图像流水线和脑图像区域位置和形状预测的方法和系统
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106934385A (zh) * 2017-03-24 2017-07-07 深圳市唯特视科技有限公司 一种基于3d扫描的人物身体形状估计方法
CN107704810A (zh) * 2017-09-14 2018-02-16 南京理工大学 一种适用于医疗护理的表情识别方法
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109544598A (zh) * 2018-11-21 2019-03-29 电子科技大学 目标跟踪方法、装置及可读存储介质
CN109754447A (zh) * 2018-12-28 2019-05-14 上海联影智能医疗科技有限公司 图像生成方法、装置、设备和存储介质
CN110298897A (zh) * 2019-04-03 2019-10-01 上海联影医疗科技有限公司 用于正电子发射断层成像图像重建的系统和方法
CN110151210A (zh) * 2019-05-21 2019-08-23 上海联影医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Affine-Transformation Parameters Regression for Face Alignment;Xuan Li 等;《IEEE SIGNAL PROCESSING LETTERS》;20160131;第23卷(第1期);55-59 *
Robust brain ROI segmentation by deformation regression and deformable shape model;Zhengwang Wu 等;《Medical Image Analysis》;20171110;第43卷;198-213 *
石华伟 等.基于统计模型的遗传粒子滤波器人体运动跟踪.《计算机应用研究》.2008,第25卷(第04期),1090-1092、1099. *

Also Published As

Publication number Publication date
US20210125331A1 (en) 2021-04-29
CN111127521A (zh) 2020-05-08
US11348230B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111127521B (zh) 用于生成和跟踪目标的形状的系统和方法
US11300645B2 (en) Deep learning techniques for magnetic resonance image reconstruction
US11270446B2 (en) Systems and methods for image processing
EP3123447B1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
US20200327662A1 (en) Systems and methods for image generation
US11120585B2 (en) Systems and methods for image reconstruction
CN113168688A (zh) 使用磁共振线性加速器(mr线性加速器)的实时患者运动监测
CN113168689A (zh) 用于实时患者运动监测的机器学习方法
Cordier et al. Extended modality propagation: image synthesis of pathological cases
Qiao et al. Fast automatic step size estimation for gradient descent optimization of image registration
CN115605915A (zh) 一种图像重建系统和方法
CN113436290A (zh) 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统
Xu et al. Nesvor: Implicit neural representation for slice-to-volume reconstruction in mri
CN114450599B (zh) 麦克斯韦并行成像
CN110546685B (zh) 图像分割和分割预测
CN112767504A (zh) 用于图像重建的系统和方法
Smal et al. Reversible jump MCMC methods for fully automatic motion analysis in tagged MRI
US11969283B2 (en) Generating synthetic electron density images from magnetic resonance images
CN111161371B (zh) 成像系统和方法
Böttger et al. Application of a new segmentation tool based on interactive simplex meshes to cardiac images and pulmonary MRI data
WO2023219963A1 (en) Deep learning-based enhancement of multispectral magnetic resonance imaging
US20220328195A1 (en) System and method for heart strain determination
Bergvall et al. A fast and highly automated approach to myocardial motion analysis using phase contrast magnetic resonance imaging
Caan et al. Nonrigid point set matching of white matter tracts for diffusion tensor image analysis
CN115049752A (zh) 一种基于三维卷积神经网络的pet呼吸运动图像伪影配准校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant