CN111242928A - 基于多视角学习的心房全自动分割跟踪定位方法 - Google Patents

基于多视角学习的心房全自动分割跟踪定位方法 Download PDF

Info

Publication number
CN111242928A
CN111242928A CN202010038896.8A CN202010038896A CN111242928A CN 111242928 A CN111242928 A CN 111242928A CN 202010038896 A CN202010038896 A CN 202010038896A CN 111242928 A CN111242928 A CN 111242928A
Authority
CN
China
Prior art keywords
segmentation
data
atrial
pixel
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010038896.8A
Other languages
English (en)
Inventor
肖晶晶
丁海艳
司东岳
吴艳芳
尹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital Army Medical University
Original Assignee
Second Affiliated Hospital Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital Army Medical University filed Critical Second Affiliated Hospital Army Medical University
Priority to CN202010038896.8A priority Critical patent/CN111242928A/zh
Publication of CN111242928A publication Critical patent/CN111242928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

本发明涉及一种基于多视角学习的心房全自动分割跟踪定位方法，属于图像分析技术领域。所述方法为将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上；其中，输入的图像将被裁剪成固定尺寸的体层数据，每个分支都将对断层数据进行逐层分割；裁剪后的体层数据将经历四个下采样阶段，再经历四个上采样阶段，每个阶段都用三维卷积核对特征进行提取，最后输出分割后的图像尺寸与输入尺寸一致；本发明可提高心房核磁后处理的效率，降低主观因素导致的误差，并实现端到端的心房自动分割。

Description

基于多视角学习的心房全自动分割跟踪定位方法
技术领域
本发明属于图像分析技术领域，涉及基于多视角学习的心房全自动分割跟踪定位方法。
背景技术
在众多医学影像学手段中，心脏磁共振(Cardiac Magnetic Resonance，CMR)的软组织对比度最高，其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征改变等进行“一站式”观察，从而成为心功能和心肌局限性纤维化评价的金标准。在房颤消融术前精确分析评估患者的心房结构及纤维化程度，可以判断患者预后，指导治疗方案的选择，对提高房颤病人治疗效果，降低医疗成本有重大意义。虽然心脏核磁检查在心脏疾病诊断、危险分层及预后判断上具有独特价值，但是将该技术广泛应用于临床依然面临三大亟待解决的难题：
1)心脏核磁影像伪影重，心房壁薄，分割重建难度高；
2)CMR数据处理需要专业医师人工勾画，非常耗时；
3)临床高水平的影像诊断医师缺口大。
因此，研究心房壁核磁影像的精确自动分割算法，对提高医生诊断的时效性具有重要意义。目前，心房分割主要在单视角层面进行(例如水平位)，但是不同层面的心房呈现连接相关，因此结合心房三维结构在其他视角上的投影约束，可以进一步提高分割精度。因此，本项目将利用多视角学习机制，通过三维卷积神经网络实现心房的全自动分割跟踪定位。
发明内容
有鉴于此，本发明的目的在于提供一种基于多视角学习的心房全自动分割跟踪定位方法。首先要将心房壁分割出来，为了提高临床诊断的时效性，本项目将针对心房核磁影像构建多视角学习网络，从而实现端到端的左心房分割，该技术的突破可缩短临床心脏核磁影像的后处理时间。
为达到上述目的，本发明提供如下技术方案：
基于多视角学习的心房全自动分割跟踪定位方法，所述方法为：
将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上；其中，输入的图像将被裁剪成固定尺寸的体层数据，每个分支都将对断层数据进行逐层分割；
裁剪后的体层数据将经历四个下采样阶段，再经历四个上采样阶段，每个阶段都用三维卷积核对特征进行提取，最后输出分割后的图像尺寸与输入尺寸一致；
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化，算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss，其中，Dice系数的计算方法为：
Figure BDA0002367019650000021
其中，N代表裁剪后的体层数据里像素总个数，pi为预测的分割结果里i位置上像素的预测值，gi代表分割结果的金标准里i位置上像素的对应值；交叉熵的计算方法为：
Figure BDA0002367019650000022
融合Dice系数及交叉熵，网络训练的总Loss计算方式为：
Loss＝λ(1-D)+(1-λ)C
其中，λ为调和系数，用以调和Dice系数与交叉熵在计算梯度时的影响程度。
可选的，所述方法还包括测试阶段，算法将对输入的核磁影像数据进行裁剪，从而获得出M例尺寸一致的三维数据，设计的分割网络会对裁剪出的每一例数据进行预测；每个像素可能被包含在Z∈[1，M]个裁剪后的数据中，在单个视角上的分割预测值为多次预测后的平均值，用以提高预测结果的鲁棒性：
Figure BDA0002367019650000023
其中，
Figure BDA0002367019650000024
为在第j个裁剪的数据中，i位置上像素对应的预测值。
可选的，所述算法将融合冠状位、矢状位、横断位不同分支上面的分割结果，获得最终的分割结果预测：
Figure BDA0002367019650000025
其中，η1+η2+η3＝1，该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定；当
Figure BDA0002367019650000026
的时候，则认为i位置上像素为心房壁位置所在。
本发明的有益效果在于：可提高心房核磁后处理的效率，降低主观因素导致的误差，并实现端到端的心房自动分割。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为心房分割的多视角神经网络结构图；
图2为核磁影像多点区域裁剪示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
针对心脏核磁左心房的三维智能分割问题，本项目提出了基于多视角学习的三维深度神经网络，通过从不同视角对核磁影像进行分割，保证了分割结果的空间一致性与平滑性。为实现上述发明目的，本技术发明提供以下技术方案：
算法设计了多视角分割跟踪定位网络，分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上。其中，输入的图像将被裁剪成固定尺寸的体层数据，每个分支都将对断层数据进行逐层分割。
进一步的，裁剪后的体层数据将经历四个下采样阶段，再经历四个上采样阶段，每个阶段都用三维卷积核对特征进行提取，最后输出分割后的图像尺寸与输入尺寸一致。
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化，算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss，其中，Dice系数的计算方法为：
Figure BDA0002367019650000041
其中，N代表裁剪后的体层数据里像素总个数，pi为预测的分割结果里i位置上像素的预测值，gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为：
Figure BDA0002367019650000042
融合Dice系数及交叉熵，网络训练的总Loss计算方式为：
Loss＝λ(1-D)+(1-λ)C
其中，λ为调和系数，用以调和Dice系数与交叉熵在计算梯度时的影响程度。
进一步的，在测试阶段，算法将对输入的核磁影像数据进行裁剪，从而获得出M例尺寸一致的三维数据，设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1，M]个裁剪后的数据中，因此其在单个视角上的分割预测值为多次预测后的平均值，用以提高预测结果的鲁棒性：
Figure BDA0002367019650000043
其中，
Figure BDA0002367019650000044
为在第j个裁剪的数据中，i位置上像素对应的预测值。
进一步的，算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果，获得最终的分割结果预测：
Figure BDA0002367019650000045
其中，η1+η2+η3＝1，该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定。当
Figure BDA0002367019650000046
的时候，则认为i位置上像素为心房壁位置所在。
在本发明的一种具体实施方式中，上述技术方案包括以下步骤：
第一个步骤：算法设计了多视角分割算法，分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上(如图1所示)。
其中，输入的图像将被裁剪成固定尺寸的体层数据(如图2所示)，每个分支都将对断层体数据进行逐层分割。
进一步的，裁剪后的体层数据将经历四个下采样阶段，再经历四个上采样阶段，每个阶段都是用三维卷积核对特征进行提取，最后输出分割后的图像尺寸与输入尺寸一致。
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化，算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss，其中，Dice系数的计算方法为：
Figure BDA0002367019650000051
其中，N代表裁剪后的体层数据里像素总个数，pi为预测的分割结果里i位置上像素的预测值，gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为：
Figure BDA0002367019650000052
融合Dice系数及交叉熵，网络训练的总Loss计算方式为：
Loss＝λ(1-D)+(1-λ)C
其中，λ为调和系数，用以调和Dice系数与交叉熵在计算梯度时的影响程度。
进一步的，在测试阶段，算法将对输入的核磁影像数据进行裁剪，从而获得出M例尺寸一致的三维数据，设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1，M]个裁剪后的数据中，因此其在单个视角上的分割预测值为：
Figure BDA0002367019650000053
其中，
Figure BDA0002367019650000054
为在第j个裁剪的数据中，i位置上像素对应的预测值。
进一步的，算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果，获得最终的分割结果预测：
其中，η1+η2+η3＝1，具体的数值根据训练的结果以及不同视角的分辨率共同决定。当
Figure BDA0002367019650000055
的时候，则认为i位置上像素为心房壁位置所在。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.基于多视角学习的心房全自动分割跟踪定位方法，其特征在于：所述方法为：
将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上；其中，输入的图像将被裁剪成固定尺寸的体层数据，每个分支都将对断层数据进行逐层分割；
裁剪后的体层数据将经历四个下采样阶段，再经历四个上采样阶段，每个阶段都用三维卷积核对特征进行提取，最后输出分割后的图像尺寸与输入尺寸一致；
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化，算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss，其中，Dice系数的计算方法为：
Figure FDA0002367019640000011
其中，N代表裁剪后的体层数据里像素总个数，pi为预测的分割结果里i位置上像素的预测值，gi代表分割结果的金标准里i位置上像素的对应值；交叉熵的计算方法为：
Figure FDA0002367019640000012
融合Dice系数及交叉熵，网络训练的总Loss计算方式为：
Loss＝λ(1-D)+(1-λ)C
其中，λ为调和系数，用以调和Dice系数与交叉熵在计算梯度时的影响程度。
2.根据权利要求1所述的基于多视角学习的心房全自动分割跟踪定位方法，其特征在于：所述方法还包括测试阶段，算法将对输入的核磁影像数据进行裁剪，从而获得出M例尺寸一致的三维数据，设计的分割网络会对裁剪出的每一例数据进行预测；每个像素可能被包含在z∈[1，M]个裁剪后的数据中，在单个视角上的分割预测值为多次预测后的平均值，用以提高预测结果的鲁棒性：
Figure FDA0002367019640000013
其中，
Figure FDA0002367019640000014
为在第j个裁剪的数据中，i位置上像素对应的预测值。
3.根据权利要求1所述的基于多视角学习的心房全自动分割跟踪定位方法，其特征在于：所述算法将融合冠状位、矢状位、横断位不同分支上面的分割结果，获得最终的分割结果预测：
Figure FDA0002367019640000015
其中，η1+η2+η3＝1，该组调和参数的具体数值根据训练的结果以及不同视角的分辨率共同决定；当
Figure FDA0002367019640000016
的时候，则认为i位置上像素为心房壁位置所在。
CN202010038896.8A 2020-01-14 2020-01-14 基于多视角学习的心房全自动分割跟踪定位方法 Pending CN111242928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010038896.8A CN111242928A (zh) 2020-01-14 2020-01-14 基于多视角学习的心房全自动分割跟踪定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010038896.8A CN111242928A (zh) 2020-01-14 2020-01-14 基于多视角学习的心房全自动分割跟踪定位方法

Publications (1)

Publication Number Publication Date
CN111242928A true CN111242928A (zh) 2020-06-05

Family

ID=70871108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010038896.8A Pending CN111242928A (zh) 2020-01-14 2020-01-14 基于多视角学习的心房全自动分割跟踪定位方法

Country Status (1)

Country Link
CN (1) CN111242928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113143A (zh) * 2021-04-12 2021-07-13 重庆大学 一种考虑延迟强化核磁影像的心肌梗死危险程度评估系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109727270A (zh) * 2018-12-10 2019-05-07 杭州帝视科技有限公司 心脏核磁共振图像的运动机理和纹理特征分析方法和系统
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110543911A (zh) * 2019-08-31 2019-12-06 华南理工大学 一种结合分类任务的弱监督目标分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727270A (zh) * 2018-12-10 2019-05-07 杭州帝视科技有限公司 心脏核磁共振图像的运动机理和纹理特征分析方法和系统
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110543911A (zh) * 2019-08-31 2019-12-06 华南理工大学 一种结合分类任务的弱监督目标分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113143A (zh) * 2021-04-12 2021-07-13 重庆大学 一种考虑延迟强化核磁影像的心肌梗死危险程度评估系统
CN113113143B (zh) * 2021-04-12 2024-03-01 重庆大学 一种考虑延迟强化核磁影像的心肌梗死危险程度评估系统

Similar Documents

Publication Publication Date Title
Yang et al. Simultaneous left atrium anatomy and scar segmentations via deep learning in multiview information with attention
CN110934606B (zh) 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质
Militello et al. A semi-automatic approach for epicardial adipose tissue segmentation and quantification on cardiac CT scans
US7567696B2 (en) System and method for detecting the aortic valve using a model-based segmentation technique
US6563941B1 (en) Model-based registration of cardiac CTA and MR acquisitions
CN102855618B (zh) 用于图像产生和图像分析的方法
US20070237380A1 (en) Three-dimensional medical image display device equipped with pre-processing system implementing clinical protocol
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
CN107072531A (zh) 用于心肌壁动力学的分析的方法和系统
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
CN110599499B (zh) 基于多路卷积神经网络的mri图像心脏结构分割方法
He et al. Automatic segmentation and quantification of epicardial adipose tissue from coronary computed tomography angiography
EP2391986B1 (en) Gradient based image analysis for transmural perfusion
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
Termeer et al. CoViCAD: Comprehensive visualization of coronary artery disease
CN113066091A (zh) 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质
Slomka et al. Application and translation of artificial intelligence to cardiovascular imaging in nuclear medicine and noncontrast CT
CN116630463B (zh) 一种基于多任务学习的增强ct图像生成方法和系统
Yang et al. Multiview sequential learning and dilated residual learning for a fully automatic delineation of the left atrium and pulmonary veins from late gadolinium-enhanced cardiac MRI images
Fadil et al. A deep learning pipeline for automatic analysis of multi-scan cardiovascular magnetic resonance
CN111312373B (zh) 一种pet/ct图像融合自动标注方法
CN113889261B (zh) 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法
CN115830016A (zh) 医学图像配准模型训练方法及设备
Dang et al. LVSegNet: a novel deep learning-based framework for left ventricle automatic segmentation using magnetic resonance imaging
CN111242928A (zh) 基于多视角学习的心房全自动分割跟踪定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605