CN111553895B - 基于多尺度细粒度的磁共振左心房分割方法 - Google Patents

基于多尺度细粒度的磁共振左心房分割方法 Download PDF

Info

Publication number
CN111553895B
CN111553895B CN202010336245.7A CN202010336245A CN111553895B CN 111553895 B CN111553895 B CN 111553895B CN 202010336245 A CN202010336245 A CN 202010336245A CN 111553895 B CN111553895 B CN 111553895B
Authority
CN
China
Prior art keywords
segmentation
atrial
brois
result
wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010336245.7A
Other languages
English (en)
Other versions
CN111553895A (zh
Inventor
肖晶晶
李梦
丁海艳
司东岳
吴艳芳
尹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital Army Medical University
Original Assignee
Second Affiliated Hospital Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital Army Medical University filed Critical Second Affiliated Hospital Army Medical University
Priority to CN202010336245.7A priority Critical patent/CN111553895B/zh
Publication of CN111553895A publication Critical patent/CN111553895A/zh
Application granted granted Critical
Publication of CN111553895B publication Critical patent/CN111553895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种基于多尺度细粒度的磁共振左心房分割方法，属于医学图像分析技术领域，包括以下步骤：S1：构建三维神经网络提取影像的特征图谱；S2：针对特征图谱进行心房壁分割时，分解为两部分：第一部分为将心房壁分割任务变换为心房腔分割，直接得到分割结果；第二部分为根据心房腔位置生成许多尺度一致的边缘感兴趣区域BROIs进行细粒度分割；S3：利用Dice系数和交叉熵联合计算训练过程中的loss评估分割效果；S4：将BROIs中的分割误差类型进行分类；S5：将评估心房分割结果与BROIs中分割结果的一致性用于全局平滑约束，一致性越差的结果则正则项
Figure DDA0002466323410000011
值越大。

Description

基于多尺度细粒度的磁共振左心房分割方法
技术领域
本发明属于医学图像分析技术领域，涉及一种基于多尺度细粒度的磁共振左心房分割方法。
背景技术
早期进行心房磁共振分析时，临床医生主要依赖主观经验利用手动分割软件(例如：3D slicer，ITK-SNAP等)完成。由于心房壁薄，磁共振成像部分容积效应严重，因此医生需要反复从多个视角、不同层面去推测才能确定心房壁的位置。为了简化标注过程，Siebermair等人假设心房壁厚度均匀(都为四个像素点)，医生只需标注出心外膜即可确定心内膜位置，但实际上心房壁的厚度并不相同。准确的测量壁厚才可以在术前规划合适的能量进行消融，于是Bisbal等人手动分割出了心房壁的内外膜，从而辅助规划复发病人手术时的最佳消融路径。但是，心房手动分割耗时长、容易受主观因素影响，许多研究者开始尝试将深度学习应用在心房的自动分割中。其中，Mortazi等人尝试利用2D深度神经网络分别从冠状位、矢状位、轴位对影像进行学习，完成了核磁亮血序列的心房分割。但是该方法针对同一任务需要训练三个网络分支，训练过程的计算开销大。Xiong等人尝试从影像的不同尺度上充分挖掘图像信息，设计了双支神经网络进行心房内外膜的分割。值得注意的是，上述算法并没有针对心房解剖结构的特点进行设计，难以克服心房壁薄由柔性运动形变导致的分割难题，如正样本像素(心房壁像素)远远小于负样本像素(非心房壁像素)带来的训练难题。面向心房进行分割时，由于心房壁非常薄、部分容积效应严重，导致训练中的正负像素点比例严重失衡，求解过程容易出现多个优化解，结合先验知识可进一步约束求得最优解。因此，要克服心房分割中特有的难点，需要充分利用心脏解剖结构等先验知识，通过构建结构化风险最小的损失函数，设计适合于心房分割的深度学习网络。
发明内容
有鉴于此，本发明的目的在于结合心脏解剖结构的先验知识，通过定义心腔分割任务及多尺度边缘感兴趣区域分割任务，最后实现心房壁的细粒度分割，该技术的突破可缩短临床心脏磁共振图像的后处理时间。
为达到上述目的，本发明提供如下技术方案：
一种基于多尺度细粒度的磁共振左心房分割方法，包括以下步骤：
S1：构建三维神经网络提取影像的特征图谱；
S2：针对特征图谱进行心房壁分割时，分解为两部分：
第一部分为将心房壁分割任务变换为心房腔分割，直接得到分割结果，以降低房壁数据不均衡对分割算法产生的严重影响；
第二部分为根据心房腔位置生成许多尺度一致的边缘感兴趣区域BROIs进行细粒度分割，以准确定位心房内外膜从而准确的判断心房壁位置；
S3：利用Dice系数和交叉熵联合计算训练过程中的loss评估分割效果；
S4：将BROIs中的分割误差类型进行分类；
S5：将评估心房分割结果与BROIs中分割结果的一致性用于全局平滑约束，一致性越差的结果则正则项
Figure BDA0002466323390000021
值越大。
进一步，构建完成三维神经网络后，设计含先验信息的房壁分割损失函数，包括：心房腔分割的损失函数
Figure BDA0002466323390000022
边缘感兴趣区域的损失函数
Figure BDA0002466323390000023
以及一致性约束正则项
Figure BDA0002466323390000024
Figure BDA0002466323390000025
其中，Pcav,Pwall,PROIs分别对应心房腔、心房壁以及BROIs的分割真值，
Figure BDA0002466323390000026
为网络的预测值。
进一步，步骤S3中，为了降低数据不均衡对训练造成的影响，分割误差采用Dice系数进行评价，衡量两个样本重叠部分：
Figure BDA0002466323390000027
其中，D∈[0,1],“0”标示完全不重合，“1”表示完整的重叠，其对应的损失函数为：
Figure BDA0002466323390000028
进一步，步骤S4中，所述BROIs中的分割误差类型进行如下分类：
I类错误：心房壁与心房腔或心房外组织互相错误识别；
II类错误：心房腔与心房外组织相互错误识别；
BROIs的分割误差由以下公式计算：
Figure BDA0002466323390000029
其中，
Figure BDA00024663233900000210
分别对应犯I类或者II类错误时的误差，λI+λII＝1，λI＜λII用以调节不同类型错误对最终损失的影响。
本发明的有益效果在于：针对心脏磁共振图像左心房的三维智能分割问题，本项目提出了基于多尺度的三维深度神经网络，通过许多尺度一致的边缘感兴趣区域对磁共振影像进行细粒度分割，保证了分割结果的空间一致性与平滑性。该技术的突破可提高心房磁共振图像后处理的效率，降低主观因素导致的误差，并实现端到端的心房自动分割。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为基于多尺度深度神经网络的心房分割网络框架图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
由于心房壁非常薄、形态变化多，图像中标记为正样本的像素(心房像素)远远小于负样本的像素(非心房像素)，求解过程容易出现多个优化解。为了缓解数据不均衡的影响，本发明拟借助心脏解剖结构的先验知识，通过定义心腔分割任务及细粒度区域分割任务，最后实现心房壁的分割。
如图1所示，本发明提供一种基于多尺度细粒度的磁共振左心房分割方法，包括以下步骤：
S1：为了节省训练过程中的计算开销，首先构建三维神经网络代替三个分支网络对影像提取特征图谱；
S2：针对特征图谱进行心房壁分割时，分解为两部分：
第一部分为将心房壁分割任务变换为心房腔分割，直接得到分割结果，以降低房壁数据不均衡对分割算法产生的严重影响，保证分割结果的空间一致性；
第二部分为根据心房腔位置生成许多尺度一致的边缘感兴趣区域(boundaryregions of interest,BROIs)进行细粒度分割，评估心房分割结果与BROIs中分割结果的一致性用以保证全局平滑性，实现心房内外膜的定位从而准确的判断心房壁位置；
S3：利用Dice系数和交叉熵联合计算训练过程中的loss评估分割效果；
构建完成三维神经网络后，设计含先验信息的房壁分割损失函数，包括：心房腔分割的损失函数
Figure BDA0002466323390000041
边缘感兴趣区域的损失函数
Figure BDA0002466323390000042
以及一致性约束正则项
Figure BDA0002466323390000043
Figure BDA0002466323390000044
其中，Pcav,Pwall,PROIs分别对应心房腔、心房壁以及BROIs的分割真值，
Figure BDA0002466323390000045
为网络的预测值。
为了降低数据不均衡对训练造成的影响，分割误差采用Dice系数进行评价，衡量两个样本重叠部分：
Figure BDA0002466323390000046
其中，D∈[0,1],“0”标示完全不重合，“1”表示完整的重叠，其对应的损失函数为：
Figure BDA0002466323390000047
S4：将BROIs中的分割误差类型进行分类：
I类错误：心房壁与心房腔或心房外组织互相错误识别；
II类错误：心房腔与心房外组织相互错误识别；
显然II类错误比I类错误严重而应该占比较大的误差权重，因此设计BROIs的分割误差由以下公式计算：
Figure BDA0002466323390000051
其中，
Figure BDA0002466323390000052
分别对应犯I类或者II类错误时的误差，λI+λII＝1，λI＜λII用以调节不同类型错误对最终损失的影响。
S5：将评估心房分割结果与BROIs中分割结果的一致性用于全局平滑约束，一致性越差的结果则正则项
Figure BDA0002466323390000053
值越大。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于多尺度细粒度的磁共振左心房分割方法，其特征在于：包括以下步骤：
S1：构建三维神经网络提取影像的特征图谱；构建完成三维神经网络后，设计含先验信息的房壁分割损失函数，包括：心房腔分割的损失函数
Figure FDA0003681434420000011
边缘感兴趣区域的损失函数
Figure FDA0003681434420000012
以及一致性约束正则项
Figure FDA0003681434420000013
Figure FDA0003681434420000014
其中，Pcav，Pwall，PBROIs 分别对应心房腔、心房壁以及BROIs的分割真值，
Figure FDA0003681434420000015
为网络的预测值；
S2：针对特征图谱进行心房壁分割时，分解为两部分：
第一部分为将心房壁分割任务变换为心房腔分割，直接得到分割结果；
第二部分为根据心房腔位置生成许多尺度一致的边缘感兴趣区域BROIs进行细粒度分割；
S3：利用Dice系数和交叉熵联合计算训练过程中的loss评估分割效果；分割误差采用Dice系数进行评价，衡量两个样本重叠部分：
Figure FDA0003681434420000016
其中，D∈[0，1],“0”标示完全不重合，“1”表示完整的重叠，其对应的损失函数为：
Figure FDA0003681434420000017
S4：将BROIs中的分割误差类型进行分类；所述BROIs中的分割误差类型进行如下分类：
I类错误：心房壁与心房腔或心房外组织互相错误识别；
II类错误：心房腔与心房外组织相互错误识别；
BROIs的分割误差由以下公式计算：
Figure FDA0003681434420000018
其中，
Figure FDA0003681434420000019
分别对应犯I类或者II类错误时的误差，λI+λII＝1，λI＜λII用以调节不同类型错误对最终损失的影响；
S5：将评估心房分割结果与BROIs中分割结果的一致性用于全局平滑约束，一致性越差的结果则正则项
Figure FDA00036814344200000110
值越大。
CN202010336245.7A 2020-04-24 2020-04-24 基于多尺度细粒度的磁共振左心房分割方法 Active CN111553895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336245.7A CN111553895B (zh) 2020-04-24 2020-04-24 基于多尺度细粒度的磁共振左心房分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336245.7A CN111553895B (zh) 2020-04-24 2020-04-24 基于多尺度细粒度的磁共振左心房分割方法

Publications (2)

Publication Number Publication Date
CN111553895A CN111553895A (zh) 2020-08-18
CN111553895B true CN111553895B (zh) 2022-08-02

Family

ID=72003988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336245.7A Active CN111553895B (zh) 2020-04-24 2020-04-24 基于多尺度细粒度的磁共振左心房分割方法

Country Status (1)

Country Link
CN (1) CN111553895B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法
WO2017070322A1 (en) * 2015-10-21 2017-04-27 Toth, Landy Controlled and precise treatment of cardiac tissues
CN108601540A (zh) * 2015-12-07 2018-09-28 智能解决方案技术公司 心房颤动检测系统及使用方法
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110197492A (zh) * 2019-05-23 2019-09-03 山东师范大学 一种心脏mri左心室分割方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564590A (zh) * 2018-04-20 2018-09-21 上海理工大学 一种基于心脏磁共振电影短轴图像的右心室多图谱分割方法
US10950016B2 (en) * 2018-06-11 2021-03-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for reconstructing cardiac images
CN110533668B (zh) * 2019-07-30 2021-09-21 北京理工大学 基于统计约束损失函数的脑梗塞病灶自动分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法
WO2017070322A1 (en) * 2015-10-21 2017-04-27 Toth, Landy Controlled and precise treatment of cardiac tissues
CN108601540A (zh) * 2015-12-07 2018-09-28 智能解决方案技术公司 心房颤动检测系统及使用方法
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110197492A (zh) * 2019-05-23 2019-09-03 山东师范大学 一种心脏mri左心室分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的左心房分割算法研究;代洋洋;《中国优秀硕士学位论文全文数据库》;20200215(第02期);第E062-257页 *

Also Published As

Publication number Publication date
CN111553895A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
US11813047B2 (en) Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
CN111047594B (zh) 肿瘤mri弱监督学习分析建模方法及其模型
US8098918B2 (en) Method and system for measuring left ventricle volume
US8538109B2 (en) Method and system for dynamic pulmonary trunk modeling and intervention planning
CN109166133A (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
CN107038728A (zh) 基于迭代重建的轮廓自动化确定
CN107680107B (zh) 一种基于多图谱的扩散张量磁共振图像的自动分割方法
JP6762658B2 (ja) ４ｄ ｍｒ画像データのフロー分析
CN103310458A (zh) 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法
CA2752370A1 (en) Segmentation of structures for state determination
Yan et al. Atlas-based liver segmentation and hepatic fat-fraction assessment for clinical trials
CN109509193A (zh) 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN111738997A (zh) 一种基于深度学习的计算新冠肺炎病变区域占比的方法
El Berbari et al. An automated myocardial segmentation in cardiac MRI
Shi et al. Shape-based 4D left ventricular myocardial function analysis
Kannan et al. Effective fuzzy clustering techniques for segmentation of breast MRI
EP3477324A1 (en) Improving left ventricle segmentation in contrast-enhanced cine mri datasets
US20120008833A1 (en) System and method for center curve displacement mapping
KR101251822B1 (ko) 동적조영증강 폐 전산화단층촬영 영상에서 관류 분석 시스템 및 방법
CN112348826B (zh) 一种基于测地线距离和V-net的交互式肝脏分割方法
CN111553895B (zh) 基于多尺度细粒度的磁共振左心房分割方法
CN104915989A (zh) 基于ct影像的血管三维分割方法
Piazzese et al. Statistical shape models of the heart: applications to cardiac imaging
Udupa et al. Fuzzy model-based body-wide anatomy recognition in medical images
CN114511564B (zh) 基于dce-mri对乳腺癌残存肿瘤负荷的影像分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant