CN111281387B - 基于人工神经网络的左心房与心房瘢痕的分割方法及装置 - Google Patents

基于人工神经网络的左心房与心房瘢痕的分割方法及装置 Download PDF

Info

Publication number
CN111281387B
CN111281387B CN202010159177.1A CN202010159177A CN111281387B CN 111281387 B CN111281387 B CN 111281387B CN 202010159177 A CN202010159177 A CN 202010159177A CN 111281387 B CN111281387 B CN 111281387B
Authority
CN
China
Prior art keywords
atrial
left atrium
network
scar
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010159177.1A
Other languages
English (en)
Other versions
CN111281387A (zh
Inventor
张贺晔
陈军
张冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010159177.1A priority Critical patent/CN111281387B/zh
Publication of CN111281387A publication Critical patent/CN111281387A/zh
Application granted granted Critical
Publication of CN111281387B publication Critical patent/CN111281387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

本申请提供了一种基于人工神经网络的左心房与心房瘢痕的分割方法及装置，包括：利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；获取患者的当前心脏医学图像的当前图像特征；通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。提升了左心房和心房瘢痕的分割效率，分割结果更准确。

Description

基于人工神经网络的左心房与心房瘢痕的分割方法及装置
技术领域
本申请涉及医学检测领域，特别是基于人工神经网络的左心房与心房瘢痕的分割方法及装置。
背景技术
心房瘢痕的量化能够对射频导管消融前后的房颤患者进行分级，从而对房颤患者制定有效的诊疗计划十分重要。心房瘢痕的量化通常需要左心房和心房瘢痕分割信息。临床上，由于钆延迟增强心脏磁共振成像(late gadolinium-enhanced cardiac magneticresonance,LGE CMR)技术可以无创地检测和定位心房瘢痕，LGE CMR已被有效的用于对心房瘢痕的准确量化。但是临床实践过程依赖于医生在LGE CMR图像上手动地分割左心房和心房瘢痕。该过程十分耗时和低效。
由于心房瘢痕小，分布离散，易受噪声的影响。并且在LGE CMR图像中，主动脉壁，二尖瓣等器官和组织亦具有与心房瘢痕相似的强度，干扰心房瘢痕的准确识别。
因为心房瘢痕位于心房壁内，所以目前心房瘢痕的量化主要依赖于两阶段的分割框架对左心房和心房瘢痕进行分割：先分割左心房，然后利用分割的左心房再去分割心房瘢痕。2013年Kairm等人在《心脏磁共振杂志》总结了当前流行的两阶段的分割框架。这些两阶段的分割框架通常利用图割法、主动轮廓模型等其他方法分割左心房，然后利用阈值法、聚类法等无监督方法分割心房瘢痕。这些无监督方法易受噪声和LGE CMR图像质量的影响。在2017年和2018年，Yang等人在《IEEE国际生物医学影像研讨会》和《医学物理学杂志》上提出基于深度学习和支持向量机的监督方法来分割左心房瘢痕，提高了心房瘢痕分割的准确度。但是，这些分割框架都局限于需要人工对两个分割任务进行关联。而且在模型学习期间，两个独立的分割任务之间不存在反馈环。因此，它容易引起分割错误累积问题，这可能进一步导致不正确的心房瘢痕的量化。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的基于人工神经网络的左心房与心房瘢痕的分割方法及装置，包括：
一种基于人工神经网络的左心房与心房瘢痕的分割方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；
获取患者的当前心脏医学图像的当前图像特征；
通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
进一步地，
所述图像特征，包括：心房特征和/或心房瘢痕特征，和/或由按设定规律自所述心房特征、所述心房瘢痕特征中提取的特征组成的一维或两维以上的综合特征；其中，
所述心房特征，包括：心房区域图像灰度值；
和/或，
所述心房瘢痕特征，包括：心房瘢痕区域图像灰度值；
和/或，
所述对应关系，包括：函数关系；所述图像特征为所述函数关系的输入参数，所述左心房和心房瘢痕分割结果为所述函数关系的输出参数；
确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果，还包括：
当所述对应关系包括函数关系时，将所述当前图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前左心房和心房瘢痕分割结果。
进一步地，所述建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系的步骤，包括：
获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据；
分析所述图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系。
进一步地，所述获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据的步骤，包括：
收集不同心脏状况的患者的所述图像特征和所述左心房和心房瘢痕分割结果；
对所述图像特征进行分析、并结合预存的专家经验信息，选取与所述左心房和心房瘢痕分割结果相关的数据作为所述图像特征；
将所述左心房和心房瘢痕分割结果、以及选取的所述图像特征构成的数据对，作为样本数据。
进一步地，
所述网络结构，包括级连生成网络，以及，级连判别网络；其中，所述连接生成网络提取所述图像特征，并通过注意力机制对左心房和左心房瘢痕的相对位置关系进行建模；所述连接判别网络通过与所述连接生成网络进行对抗学习，降低图像特征的类别不平衡；
和/或，
所述网络参数，包括：卷积层数，空洞卷积层数，BN层数，激活函数种类，卷积核大小，卷积核个数，池化层数，上采样层数，输出层数，初始权值，以及，偏置值中的至少之一。
进一步地，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述图像特征输入到所述网络结构，通过所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应左心房和心房瘢痕分割结果之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述图像特征输入到所述训练完成的所述网络结构中，以所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应左心房和心房瘢痕分割结果之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
进一步地，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差函数更新所述网络参数；
通过更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
一种基于人工神经网络的左心房与心房瘢痕的分割装置，包括：
建立模块，用于利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；
获取模块，用于获取患者的当前心脏医学图像的当前图像特征；
确定模块，用于通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于人工神经网络的左心房与心房瘢痕的分割方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于人工神经网络的左心房与心房瘢痕的分割方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；获取患者的当前心脏医学图像的当前图像特征；通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。将不平衡心房目标的语义分割进一步转化为分割图的真假识别减弱类别不平衡，同时使的模型更关注细节的分割，提升了心房瘢分割化过程的效率，分割结果更准确；实现自动的端到端的分割框架，不再局限于依赖两个阶段的分割，而且消除了人工干预；可扩展性强。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的步骤流程图；
图2是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的人工神经网络结构示意图；
图3是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的编码-解码子网络结构示意图；
图4是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的多尺度空洞子网络结构示意图；
图5是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的级连判别网络结构示意图；
图6-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房的分割结果的度量对比示意图；
图6-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的心房瘢痕的分割结果的度量对比示意图；
图7-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房和心房瘢痕的分割结果在DSC指标对比示意图；
图7-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房和心房瘢痕的分割结果在JI指标对比示意图；
图7-c是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房和心房瘢痕的分割结果在ASD指标对比示意图；
图7-d是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房和心房瘢痕的分割结果在NMI指标对比示意图；
图8-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的未使用级连连接(NC)的分割模型的预测的心房瘢痕分割的过分割率对比示意图；
图8-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的未使用级连连接(NC)的分割模型的预测的心房瘢痕分割的欠分割率对比示意图；
图8-c是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的未使用反向约束(NRC)的分割模型的预测的左心房分割的欠分割率对比示意图；
图9-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的构建左心房以及心房瘢痕分割任务关联性的优越度对比示意图；
图9-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的该级连能够构建左心房以及心房瘢痕分割任务关联性的大小示意图；
图10-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的左心房分割性能对比示意图；
图10-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的心房瘢痕分割性能对比示意图；
图11-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的预测的左心房体积与真实标签之间的关联性示意图；
图11-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的预测的左心房瘢痕体积与真实标签之间的关联性示意图；
图12-a是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的预测的消融前(Pre-ablation)的心房瘢痕百分比与真实标签之间的一致性示意图；
图12-b是本申请一具体实现提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法的预测的消融后(Post-ablation)的心房瘢痕百分比与真实标签之间的一致性示意图；
图13是本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割装置的结构框图；
图14是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本发明任一实施例中，级连是一种有效的结构可以用来自动关联任务，并且可以提高多任务模型的性能。对于多任务问题，级连操作将任务设计为级连模式，前面的任务传递有效的信息给后面的任务，后面的任务根据传递的有效信息进行建模。
参照图1，示出了本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割方法，包括：
S110、利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；
S120、获取患者的当前心脏医学图像的当前图像特征；
S130、通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；获取患者的当前心脏医学图像的当前图像特征；通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。将不平衡心房目标的语义分割进一步转化为分割图的真假识别减弱类别不平衡，同时使的模型更关注细节的分割，提升了心房瘢痕分割过程的效率，分割结果更准确；实现自动的端到端的分割框架，不再局限于依赖两个阶段的分割，而且消除了人工干预；可扩展性强。
需要说明的是，该本申请实施例中公开的方法可扩展应用于左心房与心房壁分割，心房壁与心房瘢痕分割等其它具包含关系的不平衡目标的自动分割过程中。
下面，将对本示例性实施例中基于人工神经网络的左心房与心房瘢痕的分割方法作进一步地说明。
如上述步骤S110所述，利用设有特征增强层的人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系。
例如：利用人工神经网络算法来分析左心房和心房瘢痕分割结果对应的心脏医学图像的显示状态规律，通过人工神经网络的自学习、自适应特性找到患者心脏医学图像的图像特征与左心房和心房瘢痕分割结果间的映射规律。
例如：可以利用人工神经网络算法，通过对大量不同志愿者(包括但不限于如下的一种或多种：年龄，体重，性别，病况等)的心脏医学图像的图像特征汇总收集，选取若干志愿者的心脏医学图像的图像特征及左心房和心房瘢痕分割结果作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合心脏医学图像的图像特征及左心房和心房瘢痕分割结果之间的关系，最终使神经网络能准确拟合出不同患者的心脏医学图像的图像特征及左心房和心房瘢痕分割结果的对应关系。
在一实施例中，所述图像特征，包括：心房特征和/或心房瘢痕特征，和/或由按设定规律自所述心房特征、所述心房瘢痕特征中提取的特征组成的一维或两维以上的综合特征；
可选地，所述心房特征，包括：心房区域图像灰度值；
可选地，所述心房瘢痕特征，包括：心房瘢痕区域图像灰度值；
在一实施例中，所述对应关系，包括：函数关系。
优选地，所述图像特征为所述函数关系的输入参数，所述左心房和心房瘢痕分割结果为所述函数关系的输出参数；
由此，通过多种形式的对应关系，可以提升对当前左心房和心房瘢痕分割结果确定的灵活性和便捷性。
在一实施例中，可以结合下列描述进一步说明步骤S110中“建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系”的具体过程。
如下列步骤所述：获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据；
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据”的具体过程。
如下列步骤所述：收集不同心脏状况的患者的所述图像特征和所述左心房和心房瘢痕分割结果；
例如：数据搜集：搜集不同健康状况的患者的图像特征及对应的左心房和心房瘢痕分割结果；以及，搜集不同年龄的患者的图像特征及对应的左心房和心房瘢痕分割结果；以及，搜集不同性别的患者的图像特征及对应的左心房和心房瘢痕分割结果。
由此，通过多种途径收集运行数据，有利于增加运行数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
如下列步骤所述：对所述图像特征进行分析、并结合预存的专家经验信息，选取与所述左心房和心房瘢痕分割结果相关的数据作为所述图像特征(例如：选取对左心房和心房瘢痕分割结果有影响的图像特征作为输入参数，将指定参数作为输出参数)；
例如：通过将已确诊的志愿者的相关数据中的图像特征作为输入参数，将其相关数据中的左心房和心房瘢痕分割结果作为输出参数。
如下列步骤所述：将所述左心房和心房瘢痕分割结果、以及选取的所述图像特征构成的数据对，作为样本数据。
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
由此，通过对收集到的图像特征进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
如下列步骤所述：分析所述图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
例如：根据不同的年龄、病情、性别等对心脏情况具有影响的数据特性及其所蕴含的规律，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
优选地，所述网络结构，包括级连生成网络，以及，级连判别网络；其中，所述连接生成网络提取所述图像特征，并通过注意力机制对左心房和左心房瘢痕的相对位置关系进行建模；所述连接判别网络通过与所述连接生成网络进行对抗学习，降低图像特征的类别不平衡。
优选地，所述网络参数，包括：卷积层数，空洞卷积层数，BN层数，激活函数种类，卷积核大小，卷积核个数，池化层数，上采样层数，输出层数，初始权值，以及，偏置值中的至少之一。
参照图2-4，作为一种示例，所述网络结构为Icascade-GAN网络结构，包含级连生成网络和级连判别网络两个部分；
其中，所述级连生成网络用于为左心房和心房瘢痕空间位置关系进行建模。其包括两个子网络，分别为：用于实现对左心房分割的编码-解码子网络，子网络结构如图2所示，以及用于实现对心房瘢痕分割的多尺度空洞子网络，子网络结构如图3所示。
其中，图2所示出的编码-解码子网络的结构中，Cn1×n1(n2)@n3表示步长为n2卷积核为n3的n1×n1的卷积操作，
其中，图3所示出的多尺度空洞子网络框架。Cn1×n1(n2)@n3表示步长为n2，卷积核为n3的n1×n1的卷积操作；Dn1×n1(n2rn4)@n3表示步长为n2，卷积核为n3，空洞因子为n4的n1×n1的空洞卷积操作
其中，n1，n2，n3，以及n4表示为图中对应位置的数字。
上述两个子网络通过注意力级连进行关联。在模型前向预测及训练的过程中，两个子网络充分利用分割的左心房作为注意力图去建立注意力级连连接，在端到端的分割的框架中缩小心房瘢痕的学习范围，削弱其他噪声的影响，进一步粗略地关注小的心房房瘢痕。其注意力机制级连表示为：
I表示图像，fl表示左心房分割子网络，θl表示对应的网络参数，表示图像通道相拼接操作。
在模型训练的过程中，它通过一个反向限制主要利用心房瘢痕去确定部分左心房边界减弱模型可能产生欠分割的左心房。该反向约束表示为：
fs表示左心房瘢痕分割子网络，θs表示对应的网络参数，表示基于像素点的点乘操作。该级连生成网络将左心房和心房瘢痕的分割整合为一个步，导致最佳模型学习与预测。
参照图4，所述级连判别网络用于进一步将对左心房和心房瘢痕这两个不平衡目标的语义分割任务转换为识别分割图的真假问题，减轻了左心房不平衡目标之间巨大的形状及大小差异的影响，从而让分割网络做出一致的优化，其网络结构如图4所示。
其中，所述级连判别网络包括局部判别器和全局判别器，为了使模型关注细节生成，特别是对于小的心房瘢痕。通过所述级连判别网络，限制由级连生成网络生成的像素朝着真实图像中的真实像素生成，而不是从某些不同的图像中生成像素。
在级连判别网络判断的过程中，首先基于全局判别器产生单个概率值实现对整个分割图的判别；然后，基于全局判别器的信息，局部判别器生成一个置信图，以对分割图的局部区域进行识别，这可以使级连生成网络更加关注细节生成。
在本实施例提出的级连判别网络中，通过将左心房和心房瘢痕的分割图在通道上进行连接，以进行联合识别。因此，进一步将左心房和心房瘢痕的联合分割当作为基于级连判别网络的生成对抗任务。该任务的学习完全依赖于级连生成网络和级连判别网络的对抗训练。由于生成对抗网络的训练通常会遇到不稳定问题，因此采用特征匹配技术。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
如下列步骤所述，选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述图像特征输入到所述网络结构，通过所述网络结构和所述网络参数进行训练，得到实际训练结果；确定所述实际训练结果与所述训练样本中的相应左心房和心房瘢痕分割结果之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差函数更新所述网络参数；通过更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
例如：若测试误差满足要求，则网络训练测试完成。
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
如下列步骤所述，选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述图像特征输入到所述训练完成的所述网络结构中，以所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应左心房和心房瘢痕分割结果之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
如上述步骤S120所述，获取患者的当前心脏医学图像的当前图像特征；
如上述步骤S130所述，通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果。
例如：实时识别出患者的心脏医学图像的图像特征。
由此，通过基于对应关系，根据当前图像特征有效地识别出心脏医学图像的当前左心房和心房瘢痕分割结果，从而为医生的诊断提供准确的判断依据，且判断结果精准性好。
在一个可选例子中，步骤S130中确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，可以包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
在一个可选例子中，步骤S130中确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，还可以包括：当所述对应关系可以包括函数关系时，将所述当前图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前左心房和心房瘢痕分割结果。
由此，通过基于对应关系或函数关系，根据当前图像特征确定当前左心房和心房瘢痕分割结果，确定方式简便，确定结果可靠性高。
例如，用训练所得到的人工神经网络模型去检测测试集中每一个样例的左心房和心房瘢痕分割结果。
在一个可选实施方式中，还可以包括：验证所述当前左心房和心房瘢痕分割结果与实际左心房和心房瘢痕分割结果是否相符的过程。
可选地，可以接收到所述当前左心房和心房瘢痕分割结果与实际左心房和心房瘢痕分割结果不符的验证结果、和/或确定所述对应关系中没有与所述当前图像特征相同的图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：设备本身无法获知到实际左心房和心房瘢痕分割结果，需要有医生的反馈操作才行，即如果设备智能判断出左心房和心房瘢痕分割结果，医生通过操作反馈其与实际的状态不符，设备才能获知。
验证所述当前左心房和心房瘢痕分割结果与实际左心房和心房瘢痕分割结果是否相符(例如：可以通过AR显示模块对实际左心房和心房瘢痕分割结果进行显示，以验证确定的所述当前左心房和心房瘢痕分割结果与实际左心房和心房瘢痕分割结果是否相符)。
当所述当前左心房和心房瘢痕分割结果与实际左心房和心房瘢痕分割结果不符、和/或所述对应关系中没有与所述当前图像特征相同的图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：可以根据维护后的对应关系，根据所述当前图像特征确定当前左心房和心房瘢痕分割结果。例如：将维护后的所述对应关系中与所述当前图像特征相同的图像特征对应的左心房和心房瘢痕分割结果，确定为当前左心房和心房瘢痕分割结果。
由此，通过对确定的图像特征与左心房和心房瘢痕分割结果之间的对应关系的维护，有利于提升对左心房和心房瘢痕分割结果确定的精准性和可靠性。
参照图6-a～12-b，在一具体实现中，实验平台是Ubuntu16.04服务器，具有4张Tesla P40(每张显卡的显存是24g)。使用的深度学习框架是Tensorflow 1.2.1。模型训练使用的优化器是利用Adam，在模型训练的过程中，生成网络和辨别网络的初始学习率分别为0.001和0.0001，衰减率都为0.96。
通过以下六种标准来衡量本申请实施例中提出的人工神经网络模型Icascade-GAN的性能：
(1)预测值与真实值之间的DICE相关性(Dice Similarity Coefficient,DSC)，其中，DSC值越高，模型分割性能越好；
(2)预测值与真实值之间的交并比(Jaccard Index,JI)，其中，JI值越高，模型分割性能越好；
(3)预测值与真实值之间的平均表面距离(Average Surface Distance,ASD)，其中，ASD值越低，模型分割性能越好；
(4)预测值与真实值之间的归一化的互信息(Normalized Mutual Information,NMI)，其中，NMI值越高，模型分割性能越好；
(5)预测的过分割率(False Positive Rate,FPR)和欠分割率(False NegativeRate,FNR)，其中，FPR与FNR值越低，模型的分割性能越好；
(6)相关性分析和一致性分析。
需要说明的是，级连生成网络通过注意力级连与反向限制关联左心房和瘢痕的分割任务。为验证级连生成网络的有效性，进行了单任务分割实验：左心房分割(STL)和心房瘢痕分割(STS)；不使用注意力级连实验(NC)和不使用反向约束实验(NRC)，实验对比结果如图6-a和6-b所示。
从图中可以看出，本申请实施例中提出的级连生成网络实现最好的分割结果。同时，注意力级连能够使得模型更关注小的瘢痕块，能够有效降低心房瘢痕的过分割率。
级连判别网络通过生成对抗方式降低不平衡目标分类的影响。为验证级连判别网络的有效性，进行了全局判别实验只对整个分割图进行判别(GBD)；局部判别实验只对分割图2x2局部区域进行判别(LBD)；不使用判别器(ND)实验；不使用级连结构实验(NDC)，实验对比结果如图7-a至7-d所示。
从图中可以看出，本申请提出的级连生成网络基本实现最好的分割结果，证明了级连判别网络的有效性。
其中，通过图8-a证明了相对于不使用级连连接的分割模型，使用级连连接的分割模型得到心房瘢痕具有更低的过分割率。
同时如图8-b所示，能够发现使用级连连接的分割模型得到左心房瘢痕也具有更低的欠分割率。这些证明了级连生成网络的有效性。最后，通过反向约束去降低左心房分割的欠分割率以使得模型能够关注所有的心房瘢痕块。
同时通过图8-c证明了相对于不使用反向约束的分割模型，使用反向约束的分割模型得到左心房具有更低的欠分割率。
需要说明的是，为了分析注意力级连对不平衡心房目标分割任务进行关联的可行性。首先进行了不同可行的级连的实验并计算pairwise tournament matrix。如图9-a和9-b所示，LP5，LP4，LP3，LP2和LP1表示不同的级连连接，心房分割网络前向传递给心房瘢痕分割网络的级连信息分别为心房分割网络第一个上采样块输出的信息，第二个上采样块输出的信息，第三上采样块输出的信息，第四上采样块的第一卷积层输出的信息和第四个上采样块的第二卷积层输出的信息。此外，LP0表示通过注意力级连。基于配对tournament矩阵，本申请实施例中进一步获得如图12-b所示的关联矩阵，其中每个值表示通过相应的级连连接实现的两个分割任务之间的相关性。AS表示左心房和心房瘢痕的分割任务。如图12-b所示，注意力级连获得了两个分割任务之间的最佳相关性。
需要说明的是，在本申请实施例中提出的分割模型中，采用了多尺度空洞网络来学习小的心房瘢痕信息。为了验证多尺度空洞结构具有更好的性能，还对只具有空洞卷积的密集连接(DWD)，无空洞卷积(DWOD)和无多尺度信息(NS)的密集连接进行了实验。使用ROC曲线下的面积(AUC)和PR曲线下的面积称为平均精度(AP)进行分割性能的比较。如表一所示，本申请实施例中提出的多尺度空洞网络实现了最高的AUC和AP。
Area DWD DWOD NS Icascade-GAN
AUC 0.9463 0.9581 0.9598 0.9620
AP 0.8629 0.8652 0.8663 0.8764
表一
在本申请实施例中提出的分割模型中，将2x2局部区域判别与全局区域判别一起应用于分割图，其中，使用局部判别的原因是使模型关注小的心房瘢痕的生成。为了研究不同局部区域对对抗规则化的影响，进一步进行了两个实验，使用两个不同的局部区域1x1和4x4(LBD_1和LBD_4)。如图7所示，本申请实施例中提出的分割模型在使用2x2的局部区域判别的时候实现了最佳性能。
需要说明的是，将提出的分割模型与广泛使用且基于最新技术的深度学习方法进行比较，以进一步证明模型的分割性能。将Icascade-GAN与2DUnet，3D Unet，3D DenseNet，SegNet以及Xia等人在2018年的左心房分割挑战中获得最高性能的方法进行了比较。还将Icascade-GAN与基于标准差(SD)的阈值法进行比较。为了公平地比较不同的方法，使用相同的训练和测试数据集，分割结果如图10-a和图10-b所示。通过对比左心房与心房瘢痕的分割结果，我们的分割模型获得了最高的DSC,JI,NMI以及最低的ASD。
需要说明的是，心房瘢痕的量化与心房瘢痕百分比有关，心房瘢痕百分比由左心房壁和心房瘢痕的体积信息定义。因此，通过假设左心房壁厚为2.25mm，进一步利用分割结果来估计心房壁和心房瘢痕的体积以及瘢痕百分比。
如图11-a和11-b所示，可以看到左心房和心房瘢痕体积与真实标签之间的的皮尔森相关系数分别为0.9669和0.9786，具有很高的相关性。此外，图12-a和图12-b报告了使用Bland-Altman对估计的心房瘢痕百分比与真实标签之间的一致性。图中水平的虚线之间的区域表示使用我们的分割模型和真实标签之差的平均值1.96SD。图12-a和图12-b显示，本申请实施例的分割模型预测的心房瘢痕百分比与真实标签相比具有较低的误差估计。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图13，示出了本申请一实施例提供的一种基于人工神经网络的左心房与心房瘢痕的分割装置，其特征在于，包括：
建立模块1310，用于利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；
获取模块1320，用于获取患者的当前心脏医学图像的当前图像特征；
确定模块1330，用于通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
在一实施例中，所述图像特征，包括：心房特征和/或心房瘢痕特征，和/或由按设定规律自所述心房特征、所述心房瘢痕特征中提取的特征组成的一维或两维以上的综合特征；其中，
所述心房特征，包括：心房区域图像灰度值；
和/或，
所述心房瘢痕特征，包括：心房瘢痕区域图像灰度值；
和/或，
所述对应关系，包括：函数关系；所述图像特征为所述函数关系的输入参数，所述左心房和心房瘢痕分割结果为所述函数关系的输出参数；
确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果，还包括：
当所述对应关系包括函数关系时，将所述当前图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前左心房和心房瘢痕分割结果。
在一实施例中，所述建立模块1310，包括：
获取子模块，用于获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据；
分析子模块，用于分析所述图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系。
在一实施例中，所述获取子模块，包括：
收集子模块，用于收集不同心脏状况的患者的所述图像特征和所述左心房和心房瘢痕分割结果；
分析子模块，用于对所述图像特征进行分析、并结合预存的专家经验信息，选取与所述左心房和心房瘢痕分割结果相关的数据作为所述图像特征；
样本数据生成子模块，用于将所述左心房和心房瘢痕分割结果、以及选取的所述图像特征构成的数据对，作为样本数据。
在一实施例中，
所述网络结构，包括级连生成网络，以及，级连判别网络；
和/或，
所述网络参数，包括：卷积层数，空洞卷积层数，BN层数，激活函数种类，卷积核大小，卷积核个数，池化层数，上采样层数，输出层数，初始权值，以及，偏置值中的至少之一。
在一实施例中，
所述训练子模块，包括：
训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述图像特征输入到所述网络结构，通过所述网络参数进行训练，得到实际训练结果；
训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应左心房和心房瘢痕分割结果之间的实际训练误差是否满足预设训练误差；
训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
测试子模块，用于对所述网络结构和所述网络参数进行测试，所述测试子模块，包括：
测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述图像特征输入到所述训练完成的所述网络结构中，以所述训练完成的所述网络参数进行测试，得到实际测试结果；
测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应左心房和心房瘢痕分割结果之间的实际测试误差是否满足设定测试误差；
测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
在一实施例中，
所述训练子模块，还包括：
网络参数更新子模块，用于当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差函数更新所述网络参数；
第一重训练子模块，用于通过所述网络结构和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
所述测试子模块，还包括：
第二重训练子模块，用于当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
参照图14，示出了本发明的一种基于人工神经网络的左心房与心房瘢痕的分割方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图14中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图14中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于人工神经网络的左心房与心房瘢痕的分割方法。
也即，上述处理单元16执行上述程序时实现：利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；获取患者的当前心脏医学图像的当前图像特征；通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的基于人工神经网络的左心房与心房瘢痕的分割方法：
也即，给程序被处理器执行时实现：利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；获取患者的当前心脏医学图像的当前图像特征；通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的基于人工神经网络的左心房与心房瘢痕的分割方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于人工神经网络的左心房与心房瘢痕的分割方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；具体地，获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据；分析所述图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系；其中，所述网络结构为Icascade-GAN网络结构，所述Icascade-GAN网络结构包含级连生成网络和级连判别网络；所述级连生成网络用于通过注意力机制对左心房和心房瘢痕空间位置关系进行建模，包括用于实现对左心房分割的编码-解码子网络和用于实现对心房瘢痕分割的多尺度空洞子网络；所述级连判别网络通过与所述级连生成网络进行对抗学习，降低图像特征的类别不平衡，所述级连判别网络包括局部判别器和全局判别器；在级连判别网络判断的过程中，首先基于全局判别器产生单个概率值实现对整个分割图的判别；然后，基于全局判别器的信息，局部判别器生成一个置信图，以对分割图的局部区域进行识别；所述图像特征，包括：心房特征和心房瘢痕特征，和由按设定规律自所述心房特征、所述心房瘢痕特征中提取的特征组成的一维或两维以上的综合特征；其中，所述心房特征，包括：心房区域图像像素值；所述心房瘢痕特征，包括：心房瘢痕区域图像像素值；
获取患者的当前心脏医学图像的当前图像特征；
通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
2.根据权利要求1所述的方法，其特征在于，
所述对应关系，包括：函数关系；所述图像特征为所述函数关系的输入参数，所述左心房和心房瘢痕分割结果为所述函数关系的输出参数；
确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果，还包括：
当所述对应关系包括函数关系时，将所述当前图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前左心房和心房瘢痕分割结果。
3.根据权利要求1所述的方法，其特征在于，所述获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据的步骤，包括：
收集不同心脏状况的患者的所述图像特征和所述左心房和心房瘢痕分割结果；
对所述图像特征进行分析、并结合预存的专家经验信息，选取与所述左心房和心房瘢痕分割结果相关的数据作为所述图像特征；
将所述左心房和心房瘢痕分割结果、以及选取的所述图像特征构成的数据对，作为样本数据。
4.根据权利要求3所述的方法，其特征在于，
所述网络参数，包括：卷积层数，空洞卷积层数，BN层数，激活函数种类，卷积核大小，卷积核个数，池化层数，上采样层数，输出层数，初始权值，以及，偏置值中的至少之一。
5.根据权利要求1-4任一项所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述图像特征输入到所述网络结构，通过所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应左心房和心房瘢痕分割结果之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述图像特征输入到所述训练完成的所述网络结构中，以所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应左心房和心房瘢痕分割结果之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
6.根据权利要求5所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述预设训练误差时，通过所述网络结构的误差函数更新所述网络参数；
通过更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述预设训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
7.一种基于人工神经网络的左心房与心房瘢痕的分割装置，其特征在于，包括：
建立模块，用于利用人工神经网络的自学习能力，建立心脏医学图像的图像特征与左心房和心房瘢痕分割结果之间的对应关系；具体地，获取用于建立所述图像特征与所述左心房和心房瘢痕分割结果之间的对应关系的样本数据；分析所述图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述图像特征与所述左心房和心房瘢痕分割结果的所述对应关系；其中，所述网络结构为Icascade-GAN网络结构，所述Icascade-GAN网络结构包含级连生成网络和级连判别网络；所述级连生成网络用于通过注意力机制对左心房和心房瘢痕空间位置关系进行建模，包括用于实现对左心房分割的编码-解码子网络和用于实现对心房瘢痕分割的多尺度空洞子网络；所述级连判别网络包括局部判别器和全局判别器，所述级连判别网络通过与所述级连生成网络进行对抗学习，降低图像特征的类别不平衡；在级连判别网络判断的过程中，首先基于全局判别器产生单个概率值实现对整个分割图的判别；然后，基于全局判别器的信息，局部判别器生成一个置信图，以对分割图的局部区域进行识别；所述图像特征，包括：心房特征和心房瘢痕特征，和由按设定规律自所述心房特征、所述心房瘢痕特征中提取的特征组成的一维或两维以上的综合特征；其中，所述心房特征，包括：心房区域图像像素值；所述心房瘢痕特征，包括：心房瘢痕区域图像像素值；
获取模块，用于获取患者的当前心脏医学图像的当前图像特征；
确定模块，用于通过所述对应关系，确定与所述当前图像特征对应的当前左心房和心房瘢痕分割结果；具体地，确定与所述图像特征对应的当前左心房和心房瘢痕分割结果，包括：将所述对应关系中与所述当前图像特征相同的图像特征所对应的左心房和心房瘢痕分割结果，确定为所述当前左心房和心房瘢痕分割结果。
8.一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202010159177.1A 2020-03-09 2020-03-09 基于人工神经网络的左心房与心房瘢痕的分割方法及装置 Active CN111281387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010159177.1A CN111281387B (zh) 2020-03-09 2020-03-09 基于人工神经网络的左心房与心房瘢痕的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010159177.1A CN111281387B (zh) 2020-03-09 2020-03-09 基于人工神经网络的左心房与心房瘢痕的分割方法及装置

Publications (2)

Publication Number Publication Date
CN111281387A CN111281387A (zh) 2020-06-16
CN111281387B true CN111281387B (zh) 2024-03-26

Family

ID=71019195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010159177.1A Active CN111281387B (zh) 2020-03-09 2020-03-09 基于人工神经网络的左心房与心房瘢痕的分割方法及装置

Country Status (1)

Country Link
CN (1) CN111281387B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245878B (zh) * 2023-05-08 2023-08-18 中山大学附属第五医院 一种心肌局灶性瘢痕检测方法、风险预测方法和相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110381813A (zh) * 2017-03-02 2019-10-25 圣犹达医疗用品心脏病学部门有限公司 用于在电生理标测期间区分脂肪组织和瘢痕组织的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5438029B2 (ja) * 2008-01-31 2014-03-12 コーニンクレッカ フィリップス エヌ ヴェ 短軸遅延強調心臓ｍｒｉの自動三次元セグメント化
US20150150643A1 (en) * 2013-12-02 2015-06-04 The Johns Hopkins University Personalized computational modeling of atrial fibrosis to guide catheter ablation of atrial fibrillation
US10354758B2 (en) * 2014-08-28 2019-07-16 Siemens Healthcare Gmbh System and method for patient-specific image-based simulation of atrial electrophysiology
EP3573520A4 (en) * 2017-01-27 2020-11-04 Arterys Inc. AUTOMATED SEGMENTATION USING FULLY CONVOLUTIVE NETWORKS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381813A (zh) * 2017-03-02 2019-10-25 圣犹达医疗用品心脏病学部门有限公司 用于在电生理标测期间区分脂肪组织和瘢痕组织的系统和方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN chen,et al.Deep Learning for CardiacImage Segmentation:A Review.Frontiers in cardiovascular medicine.2020,第1-33页. *
GUANG YANG,ET AL.Simultaneous left atrium anatomy and scar segmentations via deep learning in multiview information with attention.ELSEVIER.2020,第215-228页. *
JUN CHEN ,ET AL.JAS-GAN:Generative Adversaria lNetwork Based Joint Atrium and Scar Segmentations on Unbalanced Atria lTargets.IEEE.2022,第103-115页. *

Also Published As

Publication number Publication date
CN111281387A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
Chen et al. Deep learning for cardiac image segmentation: a review
CN109242844B (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
Shan et al. A novel segmentation method for breast ultrasound images based on neutrosophic l‐means clustering
CN106340021B (zh) 血管提取方法
CN112070781B (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
CN107993221B (zh) 心血管光学相干断层oct图像易损斑块自动识别方法
Zhang et al. Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination
CN110400298B (zh) 心脏临床指标的检测方法、装置、设备及介质
Athanasiou et al. A novel semiautomated atherosclerotic plaque characterization method using grayscale intravascular ultrasound images: comparison with virtual histology
Habijan et al. Overview of the whole heart and heart chamber segmentation methods
Leclerc et al. A fully automatic and multi-structural segmentation of the left ventricle and the myocardium on highly heterogeneous 2D echocardiographic data
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN107451995A (zh) 在cta图像中提取心血管方法、装置、设备及存储介质
CN116309571B (zh) 一种基于半监督学习的三维脑血管分割方法和装置
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111145160A (zh) 钙化区域所处冠脉分支的确定方法、装置、服务器及介质
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
CN111281387B (zh) 基于人工神经网络的左心房与心房瘢痕的分割方法及装置
CN112419282B (zh) 脑部医学影像中动脉瘤的自动检测方法及系统
Brunenberg et al. Automatic IVUS segmentation of atherosclerotic plaque with stop & go snake
CN113033667A (zh) 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置
Sengan et al. Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning
Helmy et al. Deep learning and computer vision techniques for microcirculation analysis: A review
CN111598870B (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
CN116167957A (zh) cTTE图像处理方法、计算机设备、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant