CN111870279B - 超声图像左室心肌的分割方法、系统及应用 - Google Patents
超声图像左室心肌的分割方法、系统及应用 Download PDFInfo
- Publication number
- CN111870279B CN111870279B CN202010763494.4A CN202010763494A CN111870279B CN 111870279 B CN111870279 B CN 111870279B CN 202010763494 A CN202010763494 A CN 202010763494A CN 111870279 B CN111870279 B CN 111870279B
- Authority
- CN
- China
- Prior art keywords
- network
- data
- left ventricular
- ventricular myocardium
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004165 myocardium Anatomy 0.000 title claims abstract description 65
- 230000002861 ventricular Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 27
- 210000005240 left ventricle Anatomy 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000002604 ultrasonography Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 5
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 abstract description 2
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 206010008479 Chest Pain Diseases 0.000 description 2
- 206010042434 Sudden death Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000011265 2D-echocardiography Methods 0.000 description 1
- 208000003017 Aortic Valve Stenosis Diseases 0.000 description 1
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 206010002906 aortic stenosis Diseases 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001174 endocardium Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001969 hypertrophic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 206010047302 ventricular tachycardia Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Vascular Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种超声图像左室心肌的分割方法、系统及应用，获取超声数据，将数据分为训练集、验证集和测试集并标记；增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；使用Pytorch实现分割网络，保存在验证集上性能最好的模型；基于分割的结果，测量厚度。本发明基于卷积神经网络的超声图像左室心肌的分割方法，能够自动的分割舒张末期的左室心肌，并在网络中加入左室心肌的形状信息辅助网络学习，提出的混合损失函数分别从3个角度进行优化，学习的时候进一步加强边界信息；基于分割的结果能自动的测量厚度，整个过程无需任何后处理。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种超声图像左室心肌的分割方法、系统及应用。
背景技术
目前，肥厚型心肌病(hypertrophic cardiomyopathy，HCM)是一种常见的常染色体显性遗传性心血管疾病，在人群中的发病率约1：500-1：200，病死率约1.4％-2.2％，可导致胸闷、胸痛、呼吸困难、反复晕厥、心房颤动、室性心动过速、心力衰竭甚至猝死等严重后果，是年轻人和运动员猝死的最常见原因。目前HCM主要诊断标准为左心室壁肥厚，通常指二维超声心动图测量的室间隔或左心室壁厚度≥15mm，或者由明确家族史者厚度≥13mm，通常不伴有左心室腔的扩大，需排除负荷增加如高血压、主动脉瓣狭窄和先天性主动脉瓣下隔膜等引起的左心室壁增厚。
由于超声具有无辐射、非侵入性、实时等诸多优点，在筛查患者是否患有HCM时通常作为首选的成像模态；然而，由于超声图像信噪比低，从图像中确定心内膜、心外膜边界需要医生具备丰富的临床经验，这个过程可重复性差，而且每个医生确定的边界不同，导致测量的厚度有差异。因此，开发一套有效的计算机辅助自动分割左室心肌的方法并自动的测量厚度具有重要的临床研究意义。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的技术判断病人是否心肌肥厚，主要是凭借医生丰富的临床经验，找到心内膜、心外膜的边界来测量厚度，看测量值是否达到了肥厚性心肌病的诊断标准，但该过程重复性差，而且由于临床经验不同，测量的厚度有差异。
(2)传统的机器学习方法，首先需要手动的提取特征，但是由于不同的HCM患者左室心肌解剖结构差异大；而且像传统的分割方法如图谱分割需要较长的时间。
解决以上问题及缺陷的难度为：数据量对模型的泛化性至关重要，但相对于自然图像，医学图像往往比较匮乏，而且标记数据的过程耗时、耗力还需具备丰富的临床经验，因此需要解决数据量少的问题；在超声图像中，左室心肌只占据着整幅图像的小部分，因此需要解决正负样本比例失衡的问题；还有心内膜、心外膜边界不清晰的问题。
解决以上问题及缺陷的意义为：通过扩充数据，增加训练集样本的多样化，训练的模型泛化性更好；正负样本比例均衡模型学习的时候将对样本赋予同样的权重；网络学习的时候加入边界信息能有效的减轻过分割、欠分割的现象。
发明内容
针对现有技术存在的问题，本发明提供了一种超声图像左室心肌的分割方法、系统及应用。
本发明是这样实现的，一种超声图像左室心肌的分割方法，所述超声图像左室心肌的分割方法包括：
获取超声数据，将数据分为训练集、验证集和测试集并标记；
增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
基于分割的结果，测量厚度。
进一步，所述超声图像左室心肌的分割方法具体包括：
(1)选取舒张末期的帧数据，原图像大小是600*800；
(2)将数据按照8：1：1分为训练集、验证集和测试集；
(3)在医生的监督下完成100例数据的标记；
(4)截取左室心肌的大致区域，将尺寸大小统一到448*448，并对数据做直方图均衡化、归一化操作；
(5)使用Pytorch实现网络框架；
(6)提出一个混合损失函数；
(7)在训练网络的时候本发明加入左室心肌的形状信息来辅助网络学习；
(8)通过Adam优化算法优化网络，得到训练好参数的网络；
(9)在测试集上进行测试，评估算法性能；
(10)基于分割结果，测量厚度。
进一步，所述(4)对超声数据进行预处理包括：
1)通过旋转增大训练集的样本；
2)在超声数据上截取左室心肌的大致区域，将所有数据的尺寸调整一致，对图像做直方图均衡化；
3)计算出训练集的均值以及标准差，训练集、验证集跟测试集分别减均值，再除以标准差，完成数据归一化。
进一步，所述(5)使用Pytorch编程实现网络框架包括：
1)使用Pytorch实现分割网络，整个分割网络由两个类似encoder-decoder的架构通过级联而成，在两个网络中，使用ASPP模块获取高层次的文本信息。第一个网络以resnet34为编码器，在解码器部分，每个模块将对应的编码器部分的特征图进行相加弥补由于连续的步长卷积导致的高层次的信息丢失的问题；
2)第二个网络的编码器部分使用了空洞卷积来增大感受野，解码器使用了残差网络。
进一步，所述(6)提出的混合损失函数，各个函数如下：
1)使用交叉熵损失函数从像素的角度优化：
2)使用Dice Loss从特征图的角度优化：
3)使用MS-SSIM loss从块的角度进行优化：
分割损失函数：
Lseg＝Lbce+Lms-ssim+Ldice。
进一步，所述(7)将左室心肌的形状信息添加到网络中包括：
1)在第一个网络中，再添加一个解码器模块，该模块用边界监督，以sigmod为激活函数，交叉熵为损失函数；
2)在第二个网络的输出再添加卷积核大小为3的卷积，以sigmod为激活函数，而以边界作为监督，交叉熵为损失函数。
进一步，所述(8)通过Adam优化算法优化网络包括：
1)使用二维卷积神经网络训练二维数据，batch size设为4；
2)学习率的初始值设定为1e-4；
3)权重衰减系数设为0.0005。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取超声数据，将数据分为训练集、验证集和测试集并标记；
增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
基于分割的结果，测量厚度。
本发明的另一目的在于提供一种运行所述超声图像左室心肌的分割方法的超声图像左室心肌的分割系统，所述超声图像左室心肌的分割系统包括：
超声数据采集模块，用于获取超声数据，将数据分为训练集、验证集和测试集并标记；
超声数据处理模块，用于增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
分割网络模块，用于使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
厚度测量模块，用于基于分割的结果，测量厚度。
本发明的另一目的在于提供一种图像处理系统，所述图像处理系统搭载所述的超声图像左室心肌的分割系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明包括在二维超声心动图上选取舒张末期的帧数据；在医生的监督下完成数据的标记，然后将数据集分为训练集、验证集和测试集；对超声数据进行预处理，通过旋转增大训练集的样本，在原图中截取左室心肌的区域并将图像调整到同样的大小，由于超声图像信噪比低，对数据做直方图均衡化、归一化操作；基于Python3.5使用Pytorch搭建整个网络框架；由于左室心肌跟周围组织之间的边界不明显，我们在网络中加入了左室心肌的形状信息来辅助网络学习，并提出了一个混合损失函数，进一步较少过分割、欠分割的现象；通过不断优化损失函数，保存在验证集上性能最好的模型；基于分割的结果测量厚度。本发明可用于舒张末期二尖瓣短轴切面左室心肌的自动分割，并基于分割的结果测量厚度，进而判断病人是否得了肥厚性心肌病。本发明基于卷积神经网络的超声图像左室心肌的分割方法，能够自动的分割舒张末期的左室心肌，并在网络中加入左室心肌的形状信息辅助网络学习，提出的混合损失函数分别从3个角度进行优化，学习的时候进一步加强边界信息；基于分割的结果能自动的测量厚度，整个过程无需任何后处理。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的超声图像左室心肌的分割方法流程图。
图2是本发明实施例提供的超声图像左室心肌的分割系统的结构示意图；
图2中：1、超声数据采集模块；2、超声数据处理模块；3、分割网络模块；4、厚度测量模块。
图3是本发明实施例提供的训练数据样例图像示意图。
图4是本发明实施例提供的神经网络结构示意图。
图5是本发明实施例提供的测试数据分割结果示意图。
图6是本发明实施例提供的对测试数据测厚度结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种超声图像左室心肌的分割方法、系统及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的超声图像左室心肌的分割方法包括以下步骤：
S101：获取超声数据，将数据分为训练集、验证集和测试集并标记；
S102：增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
S103：使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
S104：基于分割的结果，测量厚度。
本发明提供的超声图像左室心肌的分割方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的超声图像左室心肌的分割方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的超声图像左室心肌的分割系统包括：
超声数据采集模块1，用于获取超声数据，将数据分为训练集、验证集和测试集并标记；
超声数据处理模块2，用于增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
分割网络模块3，用于使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
厚度测量模块4，基于分割的结果，测量厚度。
下面结合附图对本发明的技术方案作进一步的描述。
本发明实施例提供的基于卷积神经网络的超声图像左室心肌的分割方法具体包括以下步骤：
(1)：选取舒张末期的帧数据，原图像大小是600*800，如图3(a)所示；
(2)：将数据按照8：1：1分为训练集、验证集和测试集；
(3)：在医生的监督下完成100例数据的标记；
(4)：截取左室心肌的大致区域，将尺寸大小统一到448*448，并对数据做直方图均衡化、归一化操作，如图3(b)所示；
(5)：使用Pytorch实现网络框架；
(6)：提出了一个混合损失函数；
(7)：由于左室心肌跟周围组织之间的边界不清晰，在训练网络的时候本发明加入左室心肌的形状信息来辅助网络学习；
(8)：通过Adam优化算法优化网络，得到训练好参数的网络；
(9)：在测试集上进行测试，评估算法性能；
(10)：基于分割结果，测量厚度。
在本发明的优选实施例中(4)对超声数据进行预处理，按如下步骤进行：
1)通过旋转增大训练集的样本；
2)在超声数据上截取左室心肌的大致区域，将所有数据的尺寸调整一致，对图像做直方图均衡化；
3)计算出训练集的均值以及标准差，训练集、验证集跟测试集分别减均值，再除以标准差，完成数据归一化。
在本发明的优选实施例中(5)使用Pytorch编程实现网络框架，按如下步骤进行：
1)使用Pytorch实现分割网络，网络框架如图4所示，整个分割网络由两个类似encoder-decoder的架构通过级联而成，在两个网络中，本发明使用ASPP模块获取高层次的文本信息。第一个网络以resnet34为编码器，在解码器部分，每个模块将对应的编码器部分的特征图进行相加来弥补由于连续的步长卷积导致的高层次的信息丢失的问题；
2)第二个网络的编码器部分使用了空洞卷积来增大感受野，为了防止网络过深导致的梯度消失问题，解码器使用了残差网络。
在本发明的优选实施例中(6)提出的混合损失函数，各个函数如下：
本发明中从：像素(pixel)、块(patch)以及特征图(map)3个角度进行优化目标函数。
1)使用交叉熵损失函数从像素的角度优化：
2)使用Dice Loss从特征图的角度优化：
3)使用MS-SSIM loss从块的角度进行优化：
因此，本发明的分割损失函数：
Lseg＝Lbce+Lms-ssim+Ldice
在本发明的优选实施例中(7)将左室心肌的形状信息添加到网络中，按如下步骤进行：
1)在第一个网络中，再添加一个解码器模块，该模块用边界监督，以sigmod为激活函数，交叉熵为损失函数；
2)在第二个网络的输出再添加卷积核大小为3的卷积，以sigmod为激活函数，而以边界作为监督，交叉熵为损失函数。
在本发明的优选实施例中(8)通过Adam优化算法优化网络，按如下步骤进行：
1)本发明使用二维卷积神经网络训练二维数据，batch size设为4；
2)学习率的初始值设定为1e-4；
3)权重衰减系数设为0.0005。
下面结合测试对本发明的技术效果作详细的描述。
在本发明的优选实施例中(9)在测试集上进行测试，评估算法性能，按如下步骤进行：
1)本发明所使用的测试数据集具备完整的Ground-truth标记；
2)本发明在测试数据上计算Dice系数来评估网络的分割性能，Dice系数的计算公式为：
其中，pn为像素n的分割结果，gn为对应的Ground-truth值。
如图5所示为本发明网络训练数据集上训练完成后，在测试数据上测试的定性结果，图5(b)Ground-truth，基准实验unet的分割结果，图5(a)Ground-truth，本发明的分割结果，可以看到分割结果与Ground-truth有较高的一致性，边界处过分割欠分割的现象明显减弱。图6表示基于分割结果测量的厚度，图6(a)表示基于标记图测量的厚度，基于本发明的模型测量的厚度，图6(b)表示基于标记图测量的厚度，表示基于unet分割的结果测量的厚度；表1为Dice系数对比实验结果，可以看到，本发明基于卷积神经网络的超声图像左室心肌的分割方法，对左室心肌的分割结果有明显提升。
表1Dice系数对比实验结果
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种超声图像左室心肌的分割方法，其特征在于，所述超声图像左室心肌的分割方法包括：
获取超声数据，将数据分为训练集、验证集和测试集并标记；
增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
基于分割的结果，测量厚度；
所述超声图像左室心肌的分割方法具体包括：
(1)选取舒张末期的帧数据，原图像大小是600*800；
(2)将数据按照8：1：1分为训练集、验证集和测试集；
(3)在医生的监督下完成100例数据的标记；
(4)截取左室心肌的大致区域，将尺寸大小统一到448*448，并对数据做直方图均衡化、归一化操作；
(5)使用Pytorch实现网络框架；
(6)提出一个混合损失函数；各个函数如下：
1)使用交叉熵损失函数从像素的角度优化：
2)使用Dice Loss从特征图的角度优化：
3)使用MS-SSIMloss从块的角度进行优化：
混合损失函数：
Lseg＝Lbce+Lms-ssim+Ldice；
(7)在训练网络的时候加入左室心肌的形状信息来辅助网络学习；
(8)通过Adam优化算法优化网络，得到训练好参数的网络；
(9)在测试集上进行测试，评估算法性能；
(10)基于分割结果，测量厚度。
2.如权利要求1所述的超声图像左室心肌的分割方法，其特征在于，所述步骤(4)包括：
1)通过旋转增大训练集的样本；
2)在超声数据上截取左室心肌的大致区域，将所有数据的尺寸调整一致，对图像做直方图均衡化；
3)计算出训练集的均值以及标准差，训练集、验证集跟测试集分别减均值，再除以标准差，完成数据归一化。
3.如权利要求1所述的超声图像左室心肌的分割方法，其特征在于，所述步骤(5)包括：
1)使用Pytorch实现分割网络，整个分割网络由两个encoder-decoder的架构通过级联而成，在两个网络中，使用ASPP模块获取高层次的文本信息；第一个网络以resnet34为编码器，在解码器部分，每个模块将对应的编码器部分的特征图进行相加弥补由于连续的步长卷积导致的高层次的信息丢失的问题；
2)第二个网络的编码器部分使用了空洞卷积来增大感受野，解码器使用了残差网络。
4.如权利要求1所述的超声图像左室心肌的分割方法，其特征在于，所述步骤(7)包括：
1)在第一个网络中，再添加一个解码器模块，该模块用边界监督，以sigmod为激活函数，交叉熵为损失函数；
2)在第二个网络的输出再添加卷积核大小为3的卷积，以sigmod为激活函数，而以边界作为监督，交叉熵为损失函数。
5.如权利要求1所述的超声图像左室心肌的分割方法，其特征在于，所述(8)包括：
1)使用二维卷积神经网络训练二维数据，batch size设为4；
2)学习率的初始值设定为1e-4；
3)权重衰减系数设为0.0005。
6.一种运行权利要求1～5任意一项所述超声图像左室心肌的分割方法的超声图像左室心肌的分割系统，其特征在于，所述超声图像左室心肌的分割系统包括：
超声数据采集模块，用于获取超声数据，将数据分为训练集、验证集和测试集并标记；
超声数据处理模块，用于增强训练集样本多样性，截取左室心肌大致区域，对数据做直方图均衡化、归一化操作；
分割网络模块，用于使用Pytorch实现分割网络，保存在验证集上性能最好的模型；
厚度测量模块，用于基于分割的结果，测量厚度。
7.一种图像处理系统，其特征在于，所述图像处理系统搭载权利要求6所述的超声图像左室心肌的分割系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763494.4A CN111870279B (zh) | 2020-07-31 | 2020-07-31 | 超声图像左室心肌的分割方法、系统及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763494.4A CN111870279B (zh) | 2020-07-31 | 2020-07-31 | 超声图像左室心肌的分割方法、系统及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111870279A CN111870279A (zh) | 2020-11-03 |
| CN111870279B true CN111870279B (zh) | 2022-01-28 |
Family
ID=73205021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010763494.4A Active CN111870279B (zh) | 2020-07-31 | 2020-07-31 | 超声图像左室心肌的分割方法、系统及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111870279B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435198A (zh) * | 2020-12-03 | 2021-03-02 | 西安交通大学 | 一种焊缝射线检测底片图像增强方法、存储介质及设备 |
| CN112914610B (zh) * | 2021-01-22 | 2023-03-24 | 华中科技大学同济医学院附属同济医院 | 基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法 |
| CN113689441A (zh) * | 2021-08-30 | 2021-11-23 | 华东师范大学 | 一种基于DeepLabV3网络的左心室超声动态分割方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| WO2019194865A1 (en) * | 2018-04-02 | 2019-10-10 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN110739050A (zh) * | 2019-12-20 | 2020-01-31 | 深圳大学 | 一种左心室全参数及置信度的量化方法 |
| CN110974305A (zh) * | 2019-12-13 | 2020-04-10 | 山东大学齐鲁医院 | 基于深度学习的远程心脏超声三维成像系统及方法 |
| CN111127431A (zh) * | 2019-12-24 | 2020-05-08 | 杭州求是创新健康科技有限公司 | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 |
| CN111222548A (zh) * | 2019-12-30 | 2020-06-02 | Oppo广东移动通信有限公司 | 相似图像检测方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100573190C (zh) * | 2007-09-04 | 2009-12-23 | 西安电子科技大学 | 基于支撑矢量机的合成孔径雷达遮挡目标识别方法 |
| US9526412B2 (en) * | 2014-01-21 | 2016-12-27 | Kabushiki Kaisha Topcon | Geographic atrophy identification and measurement |
| US10827938B2 (en) * | 2018-03-30 | 2020-11-10 | Cardiologs Technologies Sas | Systems and methods for digitizing electrocardiograms |
| US10664702B2 (en) * | 2016-12-30 | 2020-05-26 | International Business Machines Corporation | Method and system for crop recognition and boundary delineation |
| US10699412B2 (en) * | 2017-03-23 | 2020-06-30 | Petuum Inc. | Structure correcting adversarial network for chest X-rays organ segmentation |
| GB201705876D0 (en) * | 2017-04-11 | 2017-05-24 | Kheiron Medical Tech Ltd | Recist |
| US10970829B2 (en) * | 2017-08-24 | 2021-04-06 | Siemens Healthcare Gmbh | Synthesizing and segmenting cross-domain medical images |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| US20200126236A1 (en) * | 2018-10-22 | 2020-04-23 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Image Segmentation using IOU Loss Functions |
| CN109741346B (zh) * | 2018-12-30 | 2020-12-08 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| US10453197B1 (en) * | 2019-02-18 | 2019-10-22 | Inception Institute of Artificial Intelligence, Ltd. | Object counting and instance segmentation using neural network architectures with image-level supervision |
| CN110348445B (zh) * | 2019-06-06 | 2021-07-27 | 华中科技大学 | 一种融合空洞卷积和边缘信息的实例分割方法 |
| CN110189342B (zh) * | 2019-06-27 | 2022-03-01 | 中国科学技术大学 | 脑胶质瘤区域自动分割方法 |
| CN110349162B (zh) * | 2019-07-17 | 2021-10-22 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN110675419B (zh) * | 2019-10-11 | 2022-03-08 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN110837836B (zh) * | 2019-11-05 | 2022-09-02 | 中国科学技术大学 | 基于最大化置信度的半监督语义分割方法 |
-
2020
- 2020-07-31 CN CN202010763494.4A patent/CN111870279B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| WO2019194865A1 (en) * | 2018-04-02 | 2019-10-10 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN110974305A (zh) * | 2019-12-13 | 2020-04-10 | 山东大学齐鲁医院 | 基于深度学习的远程心脏超声三维成像系统及方法 |
| CN110739050A (zh) * | 2019-12-20 | 2020-01-31 | 深圳大学 | 一种左心室全参数及置信度的量化方法 |
| CN111127431A (zh) * | 2019-12-24 | 2020-05-08 | 杭州求是创新健康科技有限公司 | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 |
| CN111222548A (zh) * | 2019-12-30 | 2020-06-02 | Oppo广东移动通信有限公司 | 相似图像检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GPU accelerated simplified harmonic spherical approximation equations for three-dimensional optical imaging;任胜寒 等;《Chinese Optics Letters》;20161231;第84-88页 * |
| 基于卷积神经网络的心脏右心室图像分割;计雪伟;《中国优秀硕士学位论文全文数据库》;20200331;第1-67页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111870279A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111870279B (zh) | 超声图像左室心肌的分割方法、系统及应用 | |
| Mitchell et al. | Multistage hybrid active appearance model matching: segmentation of left and right ventricles in cardiac MR images | |
| Swift et al. | A machine learning cardiac magnetic resonance approach to extract disease features and automate pulmonary arterial hypertension diagnosis | |
| CN110197713B (zh) | 一种医疗影像的处理方法、装置、设备和介质 | |
| CN111493935B (zh) | 基于人工智能的超声心动图自动预测识别方法及系统 | |
| CN110400298B (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
| US7460699B2 (en) | System and method for a semi-automatic quantification of delayed enchancement images | |
| Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
| DeVore et al. | Quantitative evaluation of fetal right and left ventricular fractional area change using speckle‐tracking technology | |
| CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
| US20140270447A1 (en) | Systems, methods and computer readable storage media storing instructions for automatically segmenting images of a region of interest | |
| Van Der Geest et al. | Evaluation of a new method for automated detection of left ventricular boundaries in time series of magnetic resonance images using an active appearance motion model | |
| CN110874860A (zh) | 基于混合损失函数的对称监督模型的目标提取方法 | |
| Carapella et al. | Standardized image post-processing of cardiovascular magnetic resonance T1-mapping reduces variability and improves accuracy and consistency in myocardial tissue characterization | |
| Fadil et al. | A deep learning pipeline for automatic analysis of multi-scan cardiovascular magnetic resonance | |
| CN111612756A (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| Alandejani et al. | Training and clinical testing of artificial intelligence derived right atrial cardiovascular magnetic resonance measurements | |
| Kim et al. | Fully automated quantification of cardiac chamber and function assessment in 2-D echocardiography: clinical feasibility of deep learning-based algorithms | |
| Lin et al. | Echocardiography-based AI detection of regional wall motion abnormalities and quantification of cardiac function in myocardial infarction | |
| CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
| Maragna et al. | Artificial intelligence based multimodality imaging: a new frontier in coronary artery disease management | |
| CN111798463B (zh) | 一种头颈部ct图像中多器官自动分割方法 | |
| Penso et al. | Cardiovascular magnetic resonance images with susceptibility artifacts: artificial intelligence with spatial-attention for ventricular volumes and mass assessment | |
| US20190197683A1 (en) | System and methods for diagnostic image analysis and image quality assessment | |
| Yang et al. | Self-supervised learning assisted diagnosis for mitral regurgitation severity classification based on color Doppler echocardiography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |