CN111915626B - 心脏超声图像的心室区域自动分割方法、装置及存储介质 - Google Patents
心脏超声图像的心室区域自动分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111915626B CN111915626B CN202010819754.5A CN202010819754A CN111915626B CN 111915626 B CN111915626 B CN 111915626B CN 202010819754 A CN202010819754 A CN 202010819754A CN 111915626 B CN111915626 B CN 111915626B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- ventricular region
- data
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 110
- 230000002861 ventricular Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 14
- 230000000747 cardiac effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 4
- 239000003623 enhancer Substances 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 3
- 210000005242 cardiac chamber Anatomy 0.000 abstract 1
- 210000005240 left ventricle Anatomy 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000005241 right ventricle Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种心脏超声图像的心室区域自动分割方法、装置及存储介质，涉及图像处理技术领域。该方法中，利用心室区域自动分割模型，得到待分割超声图像中每个像素的分割结果。其中的心室区域自动分割模型，较传统U‑Net方法对模型的网络结构做出了改进，该模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层，该解码器可以更好的从多维度得到图像的信息，进而增加分割的准确率。本发明中的心室区域自动分割模型能够有效提高模型训练速度和准确率，进而提高了自动分割超声心动图中左心室区域的速度和准确率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，尤其涉及心脏超声图像的心室区域自动分割方法、装置及存储介质。
背景技术
心脏射血分数是判断心力衰竭类型的重要指征，是测量心脏功能的重要方法之一。心脏射血分数具体是指：心脏在舒张期充满血液后，在收缩期射出血液的百分比。而获得这一指标的第一步，便依赖于心脏图像的心室分割。
近年来，针对心脏图像自动分割已经提出并使用了多种不同的方法，从大的方向上主要分为两大类：一是对传统的分割算法的扩展和改良；二是将深度学习、机器学习等AI算法引入进来。第一种方法分割速度快，但是精度较低，容易受到噪声影响，因此业界也越来越多的使用第二种方法来处理图像分割问题。不过，虽然随着深度学习技术的发展，相关的医学图像分割技术也逐渐完善，但是使用深度学习的分割方法仍存在不足，主要问题如下：
1)超声心动图存在噪声较为明显，待分割区域位置较为固定等特点。现有使用神经网络的分割技术没有从多尺度中表达足够的信息，仍然有很大的改进空间。
2)目前图像分割模型训练时的优化目标函数仍然使用传统的MSE(均方误差函数)，这样会使模型训练结果无法收敛。对于图像分割问题，在优化函数的选择上与传统分类问题的选择大不相同。
发明内容
为了解决现有技术的不足，本发明提供了一种超声心动图的左心室区域自动分割方法、装置及存储介质，以快速准确的自动分割出超声心动图中左心室区域。
本发明提供了如下技术方案：
一方面，本发明提供了一种心脏超声图像的心室区域自动分割方法，所述方法包括：
获取数据集，并将所述数据集分割为训练集和验证集；所述数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
对所述训练集和验证集中的数据进行预处理；
构建心室区域自动分割模型，所述心室区域自动分割模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层；所述多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；
将预处理后的训练集中的数据输入构建好的心室区域自动分割模型，进行训练，并在预处理后的验证集上进行调参，直到得到最优的模型及其对应参数；
获取待分割超声图像，并对所述待分割超声图像进行预处理；将预处理后的待分割超声图像输入所述训练好的心室区域自动分割模型中，得到所述待分割超声图像中每个像素的分割结果。
优选地，所述对所述训练集和验证集中的数据进行预处理，包括：
提取所述数据集中待训练的超声心动图原始图像的感兴趣区域；
将截取后的图像和对应的标签图像统一放缩为同一大小；
对缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
针对每一张经过数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增N倍，N为大于1的正整数。
优选地，所述构建心室区域自动分割模型，包括：
基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且以多维度拼接型反卷积上采样层作为所述心室区域自动分割模型的解码器的上采样反卷积层；
获取基于ImageNet图片数据集训练而成的VGG16模型；
利用迁移学习的方式，将所述VGG16模型的参数作为所述心室区域自动分割模型的编码器的模型参数；
利用dice系数作为所述心室区域自动分割模型的模型评估指标，所述dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；所述心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；
其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；loss(s1,s2)为两张图片s1、s2的损失值；C为与0的差值小于一阈值的任意数值。
优选地，所述构建心室区域自动分割模型，包括：使用python中的Keras构建心室区域自动分割模型，Keras后台为Tensorflow。
另一方面，本发明还提供了一种心脏超声图像的心室区域自动分割装置，所述装置包括：
数据集获取单元，用于获取数据集，并将所述数据集分割为训练集和验证集；所述数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
预处理单元，用于对所述数据集获取单元获取的训练集和验证集中的数据进行预处理；
模型构建单元，用于构建心室区域自动分割模型，所述心室区域自动分割模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层；所述多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；
模型训练单元，用于将所述预处理单元预处理的训练集中的数据输入所述模型构建单元构建好的心室区域自动分割模型，进行训练，并在所述预处理单元预处理的验证集上进行调参，直到得到最优的模型及其对应参数；
图像分割单元，用于获取待分割超声图像，并对所述待分割超声图像进行预处理；将预处理后的待分割超声图像输入所述模型训练单元训练好的心室区域自动分割模型中，得到所述待分割超声图像中每个像素的分割结果。
优选地，所述预处理单元包括：
感兴趣区域提取子单元，用于提取所述数据集中待训练的超声心动图原始图像的感兴趣区域；
缩放子单元，用于将所述感兴趣区域提取子单元截取后的图像和对应的标签图像统一放缩为同一大小；
数据增强子单元，用于对所述缩放子单元缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
数据量扩增子单元，用于针对每一张经过数据增强子单元进行数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增N倍，N为大于1的正整数。
优选地，所述模型构建单元包括：
编码器和解码器获取子单元，用于基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且以多维度拼接型反卷积上采样层作为所述心室区域自动分割模型的解码器的上采样反卷积层；
基础模型获取子单元，用于获取基于ImageNet图片数据集训练而成的VGG16模型；
模型参数获取子单元，用于利用迁移学习的方式，将所述基础模型获取子单元获得的所述VGG16模型的参数作为所述编码器获取子单元得到的所述心室区域自动分割模型的编码器的模型参数；将dice系数作为所述心室区域自动分割模型的模型评估指标，所述dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；所述心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；
其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；loss(s1,s2)为两张图片s1、s2的损失值；C为与0的差值小于一阈值的任意数值。
优选地，所述模型构建单元具体用于，使用python中的Keras构建心室区域自动分割模型，Keras后台为Tensorflow。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，计算机程序运行时，执行上述心脏超声图像的心室区域自动分割方法。
本发明具有以下有益效果：
1)本发明较传统U-Net方法对模型的网络结构做出了改进，该模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层，采用了多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接。相比U-Net方法中单维度反卷积上采样，每一个上采样层只使用了一个反卷积层，本发明中模型的解码器使用多个上采样层可以更好的从多维度得到图像的信息，进而增加分割的准确率。通过使用本发明中PU-Unet模型的训练结果曲线图(附图4)与使用传统U-Net方法的训练结果曲线图(附图5)的对比可知，本发明中的模型能够有效提高模型训练速度和准确率，进而提高了自动分割超声心动图中左心室区域的速度和准确率。
2)本发明使用loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)作为模型的优化目标函数，相比于传统将MSE作为目标优化函数，收敛速度更快。
3)本发明仅需训练一个模型就可以用于超声心动图分割，且使用工业界流行的Tensorflow的上级框架Keras进行开发，代码简洁，易于部署。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种心脏超声图像的心室区域自动分割方法的流程示意图；
图2为本发明一个实施例提供的心室区域自动分割模型总体框架图；
图3为本发明一个实施例提供的金字塔型多层次上采样层结构示意图；
图4为使用本发明一个实施例提供的心室区域自动分割模型的训练结果曲线图；
图5为使用传统U-Net神经网络的训练结果曲线图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，其示出了本发明实施例提供的一种心脏超声图像的心室区域自动分割方法的流程示意图。该方法包括以下步骤：
步骤1：获取数据集，并将数据集分割为训练集和验证集；
其中，数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
数据集可以采用各种公开的样本集，如2019年公开的CA-MUS数据集，从该数据集中选取500组心脏超声图像以及对应的分割标签图像作为本发明实施例中的数据集。
按数量比例将数据集随机分割为训练集和验证集，如训练集包括450组心脏超声图像以及对应标签图像，验证集包括50组心脏超声图像以及对应标签图像。
对于分割标签图像，本实施例中将心脏图像分割为左心室，心室壁，右心室，其他部分四个部分，将左心室部分像素值设为3，心室壁为2，右心室为1，其他部分设为0。
步骤2：对训练集和验证集中的数据进行预处理。
在一种可能的实施方式中，对训练集和验证集中的数据进行预处理可以按照如下步骤实施：
S201、提取数据集中待训练的超声心动图原始图像的感兴趣区域；
S202、将截取后的图像和对应的标签图像统一放缩为同一大小；
S203、对缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
S204、针对每一张经过数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增10倍。
例如，将图像中存在的文字部分和纯黑色区域截除。然后将截取后的图像统一缩放为224*224大小的灰度图像。由于缩放过程中可能会产生图像的变形，这里使用已有的超声心脏图模型调整图像中心脏的形状，并同时对图像进行增强，增强后的图像相较于原图像来说增强了对比度和图像像素点位置的准确性。然后对所有图像进行数据归一化，使得图像的图像矩阵变成均值为0，方差为1。最后再通过旋转变换与水平翻转变换的方式，将数据和标签的数量扩增N倍，N为大于1的正整数，优选地，N＝10。
步骤3：构建心室区域自动分割模型。
其中，心室区域自动分割模型为神经网络模型，其结构图见图2。
本发明实施例使用的神经网络模型一个新的编码-解码型神经网络模型，称为PU-Unet模型(Pyramid Upsampling Unet)，该模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层；多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；如图2所示，采用了三个反卷积上采样层，然后将得到的三个结果进行拼接。明显区别于传统的U-net网络结构，相比U-Net方法中单维度反卷积上采样，每一个上采样层只使用了一个反卷积层，本发明实施例中模型的解码器使用多个上采样层可以更好的从多维度得到图像的信息，进而增加分割的准确率。
PU-Unet模型分为编码器和解码器。编码器可使用现在流行的卷积神经网络结构。
解码器中上采样卷积层为金字塔型多层次上采样层，其结构如图3所示。经过这些卷积层后，图像大小变为14*14。此时再通过多层次上采样的方式将图像扩大，一共分别进行4次上采样，每次扩大2倍，分别变成28*28，56*56，112*112，224*224，最后输出224*224*1的分割图像，分割图像的像素点分别表示左心室部分，心室壁部分，右心室部分和其他部分。
在一种可能的实施方式中，构建心室区域自动分割模型可以通过以下步骤实施：
S301、基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且心室区域自动分割模型的解码器的上采样反卷积层为金字塔型多层次上采样层；
本实施例中模型的编码器基于VGG16卷积神经网络得到。编码器包括VGG16模型中的13个卷积层，弃除剩下的3层全连接层。
S302、获取基于ImageNet图片数据集训练而成的VGG16模型；
S303、利用迁移学习的方式，将步骤S302中得到的VGG16模型的参数作为所述心室区域自动分割模型的编码器的模型参数；利用dice系数作为所述心室区域自动分割模型的模型评估指标，dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；
其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；loss(s1,s2)为两张图片s1、s2的损失值，C为与0的差值小于一阈值的任意数值，即C为任意近似于0的常数，优选地，取C＝10的负4次方。
步骤4：将预处理后的训练集中的数据输入构建好的心室区域自动分割模型，进行训练，并在预处理后的验证集上进行调参，直到得到最优的模型及其对应参数。
Python是一种跨平台的计算机程序设计语言；Tensorflow是一个基于数据流编程(dataflow programming)的符号数学系统，主要运用于深度学习算法的编程实现。Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。本发明实施例中，使用python中的Keras构建模型，Keras后台为Tensorflow，代码简洁，易于部署。每次使用50组数据进行训练，以100次训练为一个循环，做到一次迭代训练所有的数据。
在一种可能的实施方式中，模型的训练可以按照以下步骤实施：
S401、记录下每次训练的损失值与分割准确率。
S402、根据验证集上的损失值与准确率，修改参数并重新训练网络，直到选出最好的模型及其对应参数。
步骤5：获取待分割超声图像，并对待分割超声图像进行预处理；将预处理后的待分割超声图像输入训练好的心室区域自动分割模型中，得到待分割超声图像中每个像素的分割结果。
本发明实施例中，较传统U-Net方法对模型的网络结构做出了改进，该模型的解码器的上采样反卷积层为金字塔型多层次上采样层，该解码器能为分割提供比较细节的信息，将分割的细节信息还原，进而提高分割的精度。通过使用本发明中PU-Unet模型的训练结果曲线图(附图4)与使用传统U-Net方法的训练结果曲线图(附图5)的对比可知，本发明中的模型能够有效提高模型训练速度和准确率，进而提高了自动分割超声心动图中左心室区域的速度和准确率。
本发明实施例中，使用loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)作为模型的优化目标函数，相比于传统将MSE作为目标优化函数，收敛速度更快。
本发明实施例中，仅需训练一个模型就可以用于超声心动图分割，且使用工业界流行的Tensorflow的上级框架Keras进行开发，代码简洁，易于部署。
对应于本发明实施例提供的一种心脏超声图像的心室区域自动分割方法，本发明还提供了一种心脏超声图像的心室区域自动分割的装置，该装置包括：
数据集获取单元，用于获取数据集，并将所述数据集分割为训练集和验证集；所述数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
预处理单元，用于对所述数据集获取单元获取的训练集和验证集中的数据进行预处理；
模型构建单元，用于构建心室区域自动分割模型，所述心室区域自动分割模型的解码器的上采样反卷积层为多维度拼接型反卷积上采样层；多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；
模型训练单元，用于将所述预处理单元预处理的训练集中的数据输入所述模型构建单元构建好的心室区域自动分割模型，进行训练，并在所述预处理单元预处理的验证集上进行调参，直到得到最优的模型及其对应参数；
图像分割单元，用于获取待分割超声图像，并对所述待分割超声图像进行预处理；将预处理后的待分割超声图像输入所述模型训练单元训练好的心室区域自动分割模型中，得到所述待分割超声图像中每个像素的分割结果。
在一种可能的实施方式中，所述预处理单元包括：
感兴趣区域提取子单元，用于提取所述数据集中待训练的超声心动图原始图像的感兴趣区域；
缩放子单元，用于将所述感兴趣区域提取子单元截取后的图像和对应的标签图像统一放缩为同一大小；
数据增强子单元，用于对所述缩放子单元缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
数据量扩增子单元，用于针对每一张经过数据增强子单元进行数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增N倍，N为大于1的正整数。
在一种可能的实施方式中，所述模型构建单元包括：
编码器和解码器获取子单元，用于基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且以金字塔型多层次上采样层作为所述心室区域自动分割模型的解码器的上采样反卷积层；
基础模型获取子单元，用于获取基于ImageNet图片数据集训练而成的VGG16模型；
模型参数获取子单元，用于利用迁移学习的方式，将所述基础模型获取子单元获得的所述VGG16模型的参数作为所述编码器获取子单元得到的所述心室区域自动分割模型的编码器的模型参数；将dice系数作为所述心室区域自动分割模型的模型评估指标，所述dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；所述心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；
其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；
loss(s1,s2)为两张图片s1、s2的损失值，C为与0的差值小于一阈值的任意数值。
在一种可能的实施方式中，所述模型构建单元具体用于，使用python中的Keras构建心室区域自动分割模型，Keras后台为Tensorflow。
对应于本发明实施例提供的一种心脏超声图像的心室区域自动分割方法，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有包括计算机程序，其中，计算机程序运行时，执行上述心脏超声图像的心室区域自动分割方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种心脏超声图像的心室区域自动分割方法，其特征在于，所述方法包括：
获取数据集，并将所述数据集分割为训练集和验证集；所述数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
对所述训练集和验证集中的数据进行预处理；
构建心室区域自动分割模型，所述心室区域自动分割模型的解码器的每个上采样反卷积层均为多维度拼接型反卷积上采样层；所述多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；
将预处理后的训练集中的数据输入构建好的心室区域自动分割模型，进行训练，并在预处理后的验证集上进行调参，直到得到最优的模型及其对应参数；
获取待分割超声图像，并对所述待分割超声图像进行预处理；将预处理后的待分割超声图像输入所述训练好的心室区域自动分割模型中，得到所述待分割超声图像中每个像素的分割结果；
其中，所述构建心室区域自动分割模型，包括：
基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且以多维度拼接型反卷积上采样层作为所述心室区域自动分割模型的解码器的上采样反卷积层；
获取基于ImageNet图片数据集训练而成的VGG16模型；
利用迁移学习的方式，将所述VGG16模型的参数作为所述心室区域自动分割模型的编码器的模型参数；
利用dice系数作为所述心室区域自动分割模型的模型评估指标，所述dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；所述心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；loss(s1,s2)为两张图片s1、s2的损失值；C为与0的差值小于一阈值的任意数值。
2.根据权利要求1所述的方法，其特征在于，所述对所述训练集和验证集中的数据进行预处理，包括：
提取所述数据集中待训练的超声心动图原始图像的感兴趣区域；
将截取后的图像和对应的标签图像统一放缩为同一大小；
对缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
针对每一张经过数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增N倍，N为大于1的正整数。
3.根据权利要求1所述的方法，其特征在于，所述构建心室区域自动分割模型，包括：使用python中的Keras构建心室区域自动分割模型，Keras后台为Tensorflow。
4.一种心脏超声图像的心室区域自动分割装置，其特征在于，所述装置包括：
数据集获取单元，用于获取数据集，并将所述数据集分割为训练集和验证集；所述数据集包括待训练的超声心动图原始图像以及对应的人工标注的标签图像；
预处理单元，用于对所述数据集获取单元获取的训练集和验证集中的数据进行预处理；
模型构建单元，用于构建心室区域自动分割模型，所述心室区域自动分割模型的解码器的每个上采样反卷积层均为多维度拼接型反卷积上采样层；所述多维度拼接型反卷积上采样层用于采用多个反卷积上采样层进行多维度上采样，然后将得到的多个上采样结果进行拼接；
模型训练单元，用于将所述预处理单元预处理的训练集中的数据输入所述模型构建单元构建好的心室区域自动分割模型，进行训练，并在所述预处理单元预处理的验证集上进行调参，直到得到最优的模型及其对应参数；
图像分割单元，用于获取待分割超声图像，并对所述待分割超声图像进行预处理；将预处理后的待分割超声图像输入所述模型训练单元训练好的心室区域自动分割模型中，得到所述待分割超声图像中每个像素的分割结果；
其中，所述模型构建单元包括：
编码器和解码器获取子单元，用于基于VGG16卷积神经网络，得到心室区域自动分割模型的编码器；且以多维度拼接型反卷积上采样层作为所述心室区域自动分割模型的解码器的上采样反卷积层；
基础模型获取子单元，用于获取基于ImageNet图片数据集训练而成的VGG16模型；
模型参数获取子单元，用于利用迁移学习的方式，将所述基础模型获取子单元获得的所述VGG16模型的参数作为所述编码器获取子单元得到的所述心室区域自动分割模型的编码器的模型参数；将dice系数作为所述心室区域自动分割模型的模型评估指标，所述dice系数的公式为：Dice(s1,s2)＝2*comm(s1,s2)/(len(s1)+len(s2))；所述心室区域自动分割模型的目标损失函数：loss(s1,s2)＝1-2log(comm(s1,s2)+C)+log(len(s1)+len(s2)+C)；
其中，Dice(s1,s2)是两张图片s1、s2的各自像素点的个数；comm(s1,s2)是两张图片s1、s2的点乘后各个元素的相加和；len(s1)、len(s2)是两张图片s1、s2的各自像素点的个数；s1为预测分割图，s2为实际分割图；loss(s1,s2)为两张图片s1、s2的损失值；C为与0的差值小于一阈值的任意数值。
5.根据权利要求4所述的装置，其特征在于，所述预处理单元包括：
感兴趣区域提取子单元，用于提取所述数据集中待训练的超声心动图原始图像的感兴趣区域；
缩放子单元，用于将所述感兴趣区域提取子单元截取后的图像和对应的标签图像统一放缩为同一大小；
数据增强子单元，用于对所述缩放子单元缩放后的图像进行数据增强，所述数据增强包括：直方图均衡化或像素值归一化；
数据量扩增子单元，用于针对每一张经过数据增强子单元进行数据增强的图像，采用旋转变换与水平翻转变换，将图像的数据量扩增N倍，N为大于1的正整数。
6.根据权利要求4所述的装置，其特征在于，所述模型构建单元具体用于，使用python中的Keras构建心室区域自动分割模型，Keras后台为Tensorflow。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有包括计算机程序，其中，计算机程序运行时，执行如权利要求1-3任一项所述的心脏超声图像的心室区域自动分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819754.5A CN111915626B (zh) | 2020-08-14 | 2020-08-14 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819754.5A CN111915626B (zh) | 2020-08-14 | 2020-08-14 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111915626A CN111915626A (zh) | 2020-11-10 |
| CN111915626B true CN111915626B (zh) | 2024-02-02 |
Family
ID=73284123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010819754.5A Active CN111915626B (zh) | 2020-08-14 | 2020-08-14 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915626B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112559A (zh) * | 2021-04-07 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 一种超声图像的分割方法、装置、终端设备和存储介质 |
| CN113570569B (zh) * | 2021-07-26 | 2024-04-16 | 东北大学 | 一种基于深度学习的心脏室间隔抖动自动检测系统 |
| CN114926725A (zh) * | 2022-07-18 | 2022-08-19 | 中邮消费金融有限公司 | 一种基于图像分析的线上金融团伙欺诈识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置和存储介质 |
| CN110197492A (zh) * | 2019-05-23 | 2019-09-03 | 山东师范大学 | 一种心脏mri左心室分割方法及系统 |
| CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
| CN111179275A (zh) * | 2019-12-31 | 2020-05-19 | 电子科技大学 | 一种医学超声图像分割方法 |
| CN111353514A (zh) * | 2018-12-20 | 2020-06-30 | 马上消费金融股份有限公司 | 模型训练方法、图像识别方法、装置及终端设备 |
-
2020
- 2020-08-14 CN CN202010819754.5A patent/CN111915626B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置和存储介质 |
| CN111353514A (zh) * | 2018-12-20 | 2020-06-30 | 马上消费金融股份有限公司 | 模型训练方法、图像识别方法、装置及终端设备 |
| CN110197492A (zh) * | 2019-05-23 | 2019-09-03 | 山东师范大学 | 一种心脏mri左心室分割方法及系统 |
| CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
| CN111179275A (zh) * | 2019-12-31 | 2020-05-19 | 电子科技大学 | 一种医学超声图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| GNNI U-net：基于组归一化与最近邻插值的 MRI 左心室轮廓精准分割网络;高强，高敬阳，赵地;《计算机科学》;第1-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111915626A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915626B (zh) | 心脏超声图像的心室区域自动分割方法、装置及存储介质 | |
| CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
| US20230186476A1 (en) | Object detection and instance segmentation of 3d point clouds based on deep learning | |
| CN110475505B (zh) | 利用全卷积网络的自动分割 | |
| EP3671531A1 (en) | Semantic segmentation of non-euclidean 3d data sets using deep learning | |
| CN110189323B (zh) | 一种基于半监督学习的乳腺超声图像病灶分割方法 | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN111242956A (zh) | 基于U-Net超声胎心和胎肺深度学习联合分割方法 | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN113159040A (zh) | 医学图像分割模型的生成方法及装置、系统 | |
| CN113159223A (zh) | 一种基于自监督学习的颈动脉超声图像识别方法 | |
| JP7411079B2 (ja) | シーケンシングプラットフォームの特異的エラーを減らした体細胞突然変異検出装置及び方法 | |
| Singla et al. | Speckle and shadows: ultrasound-specific physics-based data augmentation applied to kidney segmentation | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Singla et al. | Speckle and shadows: ultrasound-specific physics-based data augmentation for kidney segmentation | |
| CN114841985A (zh) | 基于目标检测的高精度处理及神经网络硬件加速方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province Applicant after: Neusoft Education Technology Group Co.,Ltd. Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |