CN111062948A - 一种基于胎儿四腔心切面图像的多组织分割方法 - Google Patents

一种基于胎儿四腔心切面图像的多组织分割方法 Download PDF

Info

Publication number
CN111062948A
CN111062948A CN201911128241.3A CN201911128241A CN111062948A CN 111062948 A CN111062948 A CN 111062948A CN 201911128241 A CN201911128241 A CN 201911128241A CN 111062948 A CN111062948 A CN 111062948A
Authority
CN
China
Prior art keywords
segmentation
net
model
fetal
dcc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911128241.3A
Other languages
English (en)
Other versions
CN111062948B (zh
Inventor
张冀聪
许璐
刘明远
沈镇榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Innovation Research Institute of Beihang University
Original Assignee
Hefei Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Innovation Research Institute of Beihang University filed Critical Hefei Innovation Research Institute of Beihang University
Priority to CN201911128241.3A priority Critical patent/CN111062948B/zh
Publication of CN111062948A publication Critical patent/CN111062948A/zh
Application granted granted Critical
Publication of CN111062948B publication Critical patent/CN111062948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明的一种基于胎儿四腔心切面图像的多组织分割方法，可解决现有的超声成像技术的局限性使得胎儿先心病的筛查工作负担较大而且准确率较低的技术问题。包括以下步骤：收集并获取胎儿四腔心切面图像数据；对获取的图像数据进行处理并将处理后的数据按设定比例分成训练集和测试集；基于深度学习框架搭建多组织分割模型，基于训练集对模型进行训练，并进行参数优化；基于优化后的多组织分割模型对处理后的测试集数据进行多组织分割。本发明可以实现四腔心切面的多组织自动分割，能实质性地减轻医生的和工作负担对临床经验的依赖性，减少临床上的人力需求，有利于基层医院的医生进行筛查与诊断，减少误诊与漏诊情况的出现。

Description

一种基于胎儿四腔心切面图像的多组织分割方法
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种基于胎儿四腔心切面图像的多组织分割方法。
背景技术
在中国，先天性心脏病的发病率居常见的新生儿先天性出生缺陷之首，给家庭和社会造成严重的经济和心理负担。胎儿超声心动图是临床上检查识别胎儿先心病的唯一手段，而四腔心切面作为超声心动图的标准切面，是医生在筛查过程中必选的诊断切面。但超声成像技术的局限性使得胎儿先心病的筛查工作负担较大，对医生专业知识和临床经验的依赖性较高，导致医生使用四腔心切面进行诊断的准确率和效率较低，容易出现误诊与漏诊，错过最佳的干预引产时间。
在深度学习方法出现之前，超声图像分割的研究大多都是采用传统的图像分割方法，主要利用图像特征、形状信息、时间约束等先验信息进行图像分割，但这些方法在超声图像分割上实现的性能十分有限。而近些年来，应用于计算机视觉领域的深度学习方法日渐成熟，为实现医学影像的自动分析及辅助医生实现疾病的高精度智能诊断提供了新的契机。
发明内容
本发明提出的一种基于胎儿四腔心切面图像的多组织分割方法，可解决现有的超声成像技术的局限性使得胎儿先心病的筛查工作负担较大而且准确率较低的技术问题。
为实现上述目的，本发明采用了以下技术方案：
一种基于胎儿四腔心切面图像的多组织分割方法，包括以下步骤：
S100、收集并获取胎儿四腔心切面图像数据，所述胎儿四腔心切面图像已经由临床医生标注过用于疾病筛查相关的结构；
S200、对步骤S100获取的图像数据进行灰度处理、图像归一化处理，并将处理后的数据按设定比例分成训练集和测试集；
S300、基于深度学习框架搭建多组织分割模型，并利用diceloss 作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice 系数和像素准确率作为指标衡量其性能；
S400、基于步骤S300优化后的多组织分割模型对步骤S200处理后的测试集数据进行多组织分割。
进一步的，所述S300中基于深度学习框架搭建多组织分割模型具体为构建DW-Net模型，所述DW-Net模型包括串联组成的链式扩张卷积网络(Dilated ConvolutionalChain,DCC)即DCC模块和W-Net模块，是一个端到端(end-to-end)的卷积神经网络；
所述DCC模块用于从原始的胎儿超声四腔心切面图像中聚合多尺度的上下文信息，通过综合全局信息和局部信息实现目标区域(Region ofInterest,ROI)的准确定位；
所述W-Net用于通过两个串联的编码器-解码器(encoder-decoder) 网络对DCC所得分割结果的边界进行平滑优化。
进一步的，所述S300基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能；
具体步骤如下：
S301、首先搭建DCC模型；具体为构造了一个9层的扩张卷积网络命名为DCN_34，让网络的扩张率按照斐波那契数列的规律逐层增长 ri＝1,1,2,3,5,8,13,21,34；
将DCN_34的每一层定义为三个连续操作组成的复合函数：3×3扩张卷积，实例归一化，以及整流线性单元(Rectified LinearUnit,ReLU)，并将每层生成的特征图级联起来作为每个DCN_34的输出；
其中所述DCC模块由两个DCN_34串联(cascade)组成，网络的扩张率呈[1,1,2,3,5,8,13,21,34；1,1,2,3,5,8,13,21,34]的锯齿波结构，从而实现胎儿超声四腔心切面上关键解剖结构的精准定位。
S302、在DCC模型后面搭建W-Net模型；
所述W-Net模块包括两个U-Net串联在一起并放置在DCC模块后，通过对DCC模块处理后得到的特征图执行重复的“编码-解码”过程，从而实现对分割所得解剖结构的边界进行平滑优化，生成更精准的分割图像；
所述W-Net模块包括两个U-Net组成,其中，第一个U-Net用于从 DCC模块生成的特征图中提取粗糙特征(coarse features)，第二个U-Net 则通过处理粗糙特征得到更精细的分割结果，同时两个U-Net之间有 between-net connections，第一个U-Net的decoder部分对应连接第二个 U-Net的encoder部分，确保前一个U-Net的信息可以更好的传给第二个U-Net，从而实现由粗分割到细分割(coarse-to-refined)的过程。
在任意一个U-Net中，编码器分为3个step，每个step由3个重复的卷积层组成，之后通过步长(stride)为2的最大池化操作 (max-pooling operation)来进行下采样过程；
每个卷积层的卷积核的大小为3×3，有20个特征通道(feature channels)，每一步卷积运算之后都要依次执行批量归一化(batch normalization)和ReLU；
解码器与编码器的结构完全对称，通过反卷积(deconvolution)来执行上采样过程。
进一步的，每个U-Net中编码器的输出特征图和解码器的输入特征图通过skipconnection级联起来，并且将第一个U-Net中解码器的输出特征图也同第二个U-Net中的编码器的输入特征图进行级联，从而描绘出心脏结构的边界细节，实现更精确的区域边界分割。
S303、设置DW-Net模型的超参数；
训练过程采用Adam optimizer作为权重更新的优化算法，每10个 epoch权值衰减为0.1，总共训练了100个epoch；初始学习率设置为 0.0004，batch size设置为1，使用标准正态分布进行权重初始化。
进一步的，所述S300基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，其中dice loss损失函数如下：
Figure BDA0002277524200000041
其中，c表示目标区域的类别，C表示目标区域的类别数量；r表示像素，H和W分别表示图像的高度和宽度；Gc(m,n)∈{0,1}表示像素 r所属类别c的真实值(groundtruth)，Sc(m,n)∈[0,1]表示模型预测像素r 属于类别c的概率；ac是类别c的权重值，将图像背景权重a0定义为 0.05，其余7个解剖结构权重a1～a7定义为1。
进一步的，所述S300中基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能，并进行参数优化；
具体包括：
S3031、读入训练集数据，依据损失函数和反向传播算法进行端到端的训练，更新权重参数；
S3032、训练完成后，依据dice系数、像素准确度(PA)指标优化模型，保存网络参数；
其中，dice系数的公式为：
Figure BDA0002277524200000042
其中，c表示目标区域的类别，Pc表示模型分割出属于类别c的区域，Qc表示真正属于类别c的区域；
其中，像素准确率的公式为：
Figure BDA0002277524200000043
其中，c表示目标区域的类别，C表示目标区域的类别数量；pc表示模型分割的结果中真正属于类别c的像素，qc表示真正属于类别c 的所有像素。
由上述技术方案可知，本发明的基于胎儿四腔心切面图像的多组织分割方法可实现胎儿先心病超声四腔心切面的图像自动分割，可以实现从复杂的超声胎儿心脏的四腔心切面中自动分割出左心室、左心房、右心室、右心房、降主动脉，心脏外膜和胸腔外轮廓，辅助医生进行诊断。
本发明提出了通过分割四腔心切面图来提取临床指标进行病情分析的计算机辅助诊断模式，运用深度学习方法来实现这一分割任务；能实质性地减轻医生的和工作负担对临床经验的依赖性，减少临床上的人力需求，有利于基层医院的医生进行筛查与诊断，减少误诊与漏诊情况的出现。因此，本发明的研究成果在胎儿先心病的辅助诊断上具有非常重要的临床价值和广阔的市场应用前景。
具体有益效果如下：
(1)本发明可以实现四腔心切面的多组织自动分割：运用深度学习，提出了一个新的算法来实现这一分割任务。能实质性地减轻医生的和工作负担对临床经验的依赖性，减少临床上的人力需求，有利于基层医院的医生进行筛查与诊断，减少误诊与漏诊情况的出现。
(2)本发明具有较好的模型稳定性和临床适用性：训练模型时所使用的超声图像数据由不同的临床医生采集且采集角度具有一定的差异性，实验测试结果表明网络模型具有较好的鲁棒性。由于四腔心切面没有标准化的采集规范，导致在临床实际中四腔心切面的采集质量参差不齐，因此本项目的实验结果为模型具备更广泛的临床适用性提供了可能性。
附图说明
图1是本发明的方法流程图；
图2是本发明实施例的DW-Net算法模块结构示意图；
图3是本发明实施例的DCC模块结构示意图；
图4是本发明实施例的W-Net模型结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的基于胎儿四腔心切面图像的多组织分割方法，包括：
S100、收集并获取胎儿四腔心切面图像数据，所述胎儿四腔心切面图像已经由临床医生标注过用于疾病筛查相关的结构；
S200、对步骤S100获取的图像数据进行灰度处理、图像归一化处理，并将处理后的数据按设定比例分成训练集和测试集；
S300、基于深度学习框架搭建多组织分割模型，并利用dice loss 作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice 系数和像素准确率作为指标衡量其性能，并进行参数优化；
S400、基于步骤S300优化后的多组织分割模型对步骤S200处理后的测试集数据进行多组织分割。
结合图2-图4针对上述步骤可解释为：
本发明实施例提出了一种基于深度学习的多组织分割算法 DW-Net；DW-Net由两个模块(module)串联组成——链式扩张卷积网络 (Dilated Convolutional Chain,DCC)和W-Net，是一个端到端(end-to-end) 的卷积神经网络，其整体架构图如附图2所示。DCC模块的主要作用在于从原始的胎儿超声四腔心切面图像中聚合多尺度的上下文信息，通过综合全局信息和局部信息实现各目标区域(Region ofInterest,ROI)的准确定位。由DCC没有下采样操作，因此可以减少固有数据结构和细节信息的丢失。W-Net通过两个串联的编码器-解码器(encoder-decoder) 网络对DCC所得分割结果的边界进行平滑优化。
1)DCC
将“锯齿波”策略应用到了DCC模块中，以达到提升局部信息利用率的目的。本发明实施例构造了一个9层的扩张卷积网络Dilated Convolutional Network_34(DCN_34)，让网络的扩张率按照斐波那契数列的规律逐层增长ri＝1,1,2,3,5,8,13,21,34,例如附图3。我们将DCN_34的每一层定义为三个连续操作组成的复合函数：3×3扩张卷积，实例归一化(instance normalization)，以及整流线性单元(Rectified Linear Unit,ReLU)，并将每层生成的特征图(feature map)级联(concatenate)起来作为每个DCN_34的输出。我们提出的DCC模块由两个DCN_34串联 (cascade)组成，网络的扩张率呈[1,1,2,3,5,8,13,21,34；1,1,2,3,5,8,13,21,34] 的“锯齿波”结构，这样的构造方式能提高局部信息的利用率，有利于抑制网格效应，聚合不同尺度下的全局和局部信息，从而实现胎儿超声四腔心切面上各关键解剖结构的精准定位(localization)。
2)W-net
本发明实施例提出的W-Net模块也具有典型的编码器-解码器结构，将两个U-Net串联在一起并放置在DCC模块后，通过对DCC模块处理后得到的特征图执行重复的“编码-解码”过程，从而实现对分割所得解剖结构的边界进行平滑优化，生成更精准的分割图像。W-Net的结构由两个U-Net组成,例如附图4所示。其中，第一个U-Net用于从DCC模块生成的征图中提取粗糙特征(coarse features)，第二个U-Net则通过处理粗糙特征得到更精细的分割结果，实现由粗分割到细分割 (coarse-to-refined)的过程。在任意一个U-Net中，编码器分为3个step，每个step由3个重复的卷积层组成，之后通过步长(stride)为2的最大池化操作(max-pooling operation)来进行下采样过程；每层卷积核的大小为 3×3，每一步卷积运算之后都要依次执行批量归一化(batch normalization)和ReLU。解码器与编码器的结构完全对称，通过反卷积 (deconvolution)来执行上采样过程。该模块中的每个特征图都有20个特征通道(feature channels)。为了让在较高分辨率的图层中丢失的底层信息得以传播，我们将每个U-Net中编码器的输出特征图和解码器的输入特征图通过skipconnection级联起来，并且将第一个U-Net中解码器的输出特征图也同第二个U-Net中的编码器的输入特征图进行级联，从而可以描绘出心脏结构的边界细节，实现更精确的区域边界分割。
其中对于步骤S300基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能，并进行参数优化；具体步骤如下：
S301、首先搭建DCC模型；具体为构造了一个9层的扩张卷积网络命名为DCN_34，让网络的扩张率按照斐波那契数列的规律逐层增长 ri＝1,1,2,3,5,8,13,21,34；
将DCN_34的每一层定义为三个连续操作组成的复合函数：3×3扩张卷积，实例归一化，以及整流线性单元(Rectified LinearUnit,ReLU)，并将每层生成的特征图级联起来作为每个DCN_34的输出；
其中所述DCC模块由两个DCN_34串联(cascade)组成，网络的扩张率呈[1,1,2,3,5,8,13,21,34；1,1,2,3,5,8,13,21,34]的锯齿波结构，从而实现胎儿超声四腔心切面上关键解剖结构的精准定位。
S302、在DCC模型后面搭建W-Net模型；
所述W-Net模块包括两个U-Net串联在一起并放置在DCC模块后，通过对DCC模块处理后得到的特征图执行重复的“编码-解码”过程，从而实现对分割所得解剖结构的边界进行平滑优化，生成更精准的分割图像；
具体的说，所述两个U-Net组成,其中，第一个U-Net用于从DCC 模块生成的特征图中提取粗糙特征(coarse features)，第二个U-Net则通过处理粗糙特征得到更精细的分割结果，同时两个U-Net之间有 between-net connections，第一个U-Net的decoder部分对应连接第二个 U-Net的encoder部分，确保前一个U-Net的信息可以更好的传给第二个U-Net，从而实现由粗分割到细分割(coarse-to-refined)的过程；
在任意一个U-Net中，编码器分为3个step，每个step由3个重复的卷积层组成，之后通过步长(stride)为2的最大池化操作 (max-pooling operation)来进行下采样过程；
每个卷积层的卷积核的大小为3×3，有20个特征通道(feature channels)，每一步卷积运算之后都要依次执行批量归一化(batch normalization)和ReLU；
解码器与编码器的结构完全对称，通过反卷积(deconvolution)来执行上采样过程。
每个U-Net中编码器的输出特征图和解码器的输入特征图通过 skip connection级联起来，并且将第一个U-Net中解码器的输出特征图也同第二个U-Net中的编码器的输入特征图进行级联，从而描绘出心脏结构的边界细节，实现更精确的区域边界分割。
S303、设置DW-Net模型的超参数；
训练过程采用Adam optimizer作为权重更新的优化算法，每10个epoch权值衰减为0.1，总共训练了100个epoch；初始学习率设置为 0.0004，batch size设置为1，使用标准正态分布进行权重初始化。
针对步骤S303以下具体说明：
其中，所述S300基于深度学习框架搭建多组织分割模型，并利用 dice loss作为损失函数，其中dice loss损失函数如下：
Figure BDA0002277524200000091
其中，c表示目标区域的类别，C表示目标区域的类别数量；r表示像素，H和W分别表示图像的高度和宽度；Gc(m,n)∈{0,1}表示像素r所属类别c的真实值(groundtruth)，Sc(m,n)∈[0,1]表示模型预测像素r 属于类别c的概率；ac是类别c的权重值，将图像背景权重a0定义为 0.05，其余7个解剖结构权重a1～a7定义为1。
所述S300中基于步骤S200中的训练集对模型进行训练，用dice 系数和像素准确率作为指标衡量其性能，并进行参数优化；
具体包括：
S3031、读入训练集数据，依据损失函数和反向传播算法进行端到端的训练，更新权重参数；
S3032、训练完成后，依据dice系数、像素准确度(PA)指标优化模型，保存网络参数；
其中，dice系数的公式为：
Figure BDA0002277524200000101
其中，c表示目标区域的类别，Pc表示模型分割出属于类别c的区域，Qc表示真正属于类别c的区域；
其中，像素准确率的公式为：
Figure BDA0002277524200000102
其中，c表示目标区域的类别，C表示目标区域的类别数量；pc表示模型分割的结果中真正属于类别c的像素，qc表示真正属于类别c的所有像素。
以下是本发明实施例的应用实例：
1.数据收集
甲医院是一家以治疗心肺血管疾病为主的三甲医院，汇集了全国各地一百多家医院胎儿先心病的病例，包含大多数地方医院难以确诊的疑难杂症，构建了一个阳性病例占比较大的临床数据库。本应用实例的实验数据来该医院超声心动科，是从其临床数据库中随机抽取组成。因此，该数据集具有一定的代表性和通用性。本应用实例使用的四腔心切面数据来自于780名孕妇的产前超声检查，共有780张切面；每一张四腔心切面图像同时由3名专业临床医生进行标注，再由主任医师从中挑选最准确的一张。标注内容对应着四腔心切面上与胎儿先心病筛查相关的7个关键解剖结构，分别为左心房(LA)、右心房(RA)、左心室(LV)、右心室(RV)、心外膜(EP)、降主动脉(DAO)、胸腔(thorax)。
2.图像预处理
预处理阶段对图像进行了灰度处理和归一化(normalization)操作。
为了保证实验结果的有效性，本实施例按照三比一的比例，将处理后的数据随机分为训练集和测试集，两组数据集之间没有重叠。本实施将利用训练集数据集来训练网络模型。用测试集进行结果验证。
3.模型搭建和训练
基于Python的深度学习框架TensorFlow进行了模型的搭建，在 DellC4130机架式Linux服务器上完成了所有的训练和测试实验，使用 NVIDIA Tesla K80GPU显卡。
训练过程采用Adam optimizer作为权重更新的优化算法，每10个 epoch权值衰减为0.1，总共训练了100个epoch。初始学习率设置为 0.0004，batch size设置为1，使用标准正态分布进行权重初始化。所有模型都可以进行端到端(end-to-end)的训练。
本应用实例通过以下两个评价指标对实验所涉及的各模型的表现结果进行评估：Dice系数、像素准确度(PA)。实验结果证明，我们的DW-Net算法最好。
由上可知，本发明实施例提出新型神经网络结构DW-Net：基于卷积神经网络的DW-Net由两个子结构——链式扩张卷积网络(Dilated Convolutional Chain,DCC)和W-Net组成：(1)DCC通过扩张卷积(dilated convolutions)来获得更大的感受野，聚合多尺度的上下文语义，捕获更多的全局信息，实现目标区域的精准定位；(2)W-Net通过对DCC生成的特征图(feature map)进行重复的上、下采样来抑制扩张卷积带来的网格效应(griddingissue)，实现目标区域边界的精细分割。
综上，本发明提出了通过分割四腔心切面图来提取临床指标进行病情分析的计算机辅助诊断模式，运用深度学习方法来实现这一分割任务；能实质性地减轻医生的和工作负担对临床经验的依赖性，减少临床上的人力需求，有利于基层医院的医生进行筛查与诊断，减少误诊与漏诊情况的出现。因此，本发明的研究成果在胎儿先心病的辅助诊断上具有非常重要的临床价值和广阔的市场应用前景。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于胎儿四腔心切面图像的多组织分割方法，其特征在于：包括以下步骤：
S100、收集并获取胎儿四腔心切面图像数据，所述胎儿四腔心切面图像已经由临床医生标注过用于疾病筛查相关的结构；
S200、对步骤S100获取的图像数据进行灰度处理、图像归一化处理，并将处理后的数据按设定比例分成训练集和测试集；
S300、基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能；
S400、基于步骤S300优化后的多组织分割模型对步骤S200处理后的测试集数据进行多组织分割。
2.根据权利要求1所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：
所述S300中基于深度学习框架搭建多组织分割模型具体为构建DW-Net模型，所述DW-Net模型包括串联组成的链式扩张卷积网络(Dilated Convolutional Chain,DCC)即DCC模块和W-Net模块，是一个端到端(end-to-end)的卷积神经网络；
所述DCC模块用于从原始的胎儿超声四腔心切面图像中聚合多尺度的上下文信息，通过综合全局信息和局部信息实现目标区域(Region ofInterest,ROI)的准确定位；
所述W-Net用于通过两个串联的编码器-解码器(encoder-decoder)网络对DCC所得分割结果的边界进行平滑优化。
3.根据权利要求2所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：所述S300基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能，并进行参数优化；
具体步骤如下：
S301、首先搭建DCC模型；具体为构造了一个9层的扩张卷积网络命名为DCN_34，让网络的扩张率按照斐波那契数列的规律逐层增长ri＝1,1,2,3,5,8,13,21,34；
将DCN_34的每一层定义为三个连续操作组成的复合函数：3×3扩张卷积，实例归一化，以及整流线性单元(Rectified LinearUnit,ReLU)，并将每层生成的特征图级联起来作为每个DCN_34的输出；
其中所述DCC模块由两个DCN_34串联(cascade)组成，网络的扩张率呈[1,1,2,3,5,8,13,21,34；1,1,2,3,5,8,13,21,34]的锯齿波结构，从而实现胎儿超声四腔心切面上关键解剖结构的精准定位。
S302、在DCC模型后面搭建W-Net模型；
所述W-Net模块包括两个U-Net串联在一起并放置在DCC模块后，通过对DCC模块处理后得到的特征图执行重复的“编码-解码”过程，同时两个U-Net之间有between-netconnections，第一个U-Net的decoder部分对应连接第二个U-Net的encoder部分，确保前一个U-Net的信息可以更好的传给第二个U-Net；从而实现对分割所得解剖结构的边界进行平滑优化，生成更精准的分割图像；
S303、设置DW-Net模型的超参数；
训练过程采用Adam optimizer作为权重更新的优化算法，每10个epoch权值衰减为0.1，总共训练了100个epoch；初始学习率设置为0.0004，batch size设置为1，使用标准正态分布进行权重初始化。
4.根据权利要求3所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：所述W-Net模块包括两个U-Net组成,其中，第一个U-Net用于从DCC模块生成的特征图中提取粗糙特征(coarse features)，第二个U-Net则通过处理粗糙特征得到更精细的分割结果，实现由粗分割到细分割(coarse-to-refined)的过程；
在任意一个U-Net中，编码器分为3个step，每个step由3个重复的卷积层组成，之后通过步长(stride)为2的最大池化操作(max-pooling operation)来进行下采样过程；
每个卷积层的卷积核的大小为3×3，有20个特征通道(feature channels)，每一步卷积运算之后都要依次执行批量归一化(batch normalization)和ReLU；
解码器与编码器的结构完全对称，通过反卷积(deconvolution)来执行上采样过程。
5.根据权利要求4所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：
每个U-Net中编码器的输出特征图和解码器的输入特征图通过skip connection级联起来，并且将第一个U-Net中解码器的输出特征图也同第二个U-Net中的编码器的输入特征图进行级联，从而描绘出心脏结构的边界细节，实现更精确的区域边界分割。
6.根据权利要求1所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：所述S300基于深度学习框架搭建多组织分割模型，并利用dice loss作为损失函数，其中diceloss损失函数如下：
Figure FDA0002277524190000031
其中，c表示目标区域的类别，C表示目标区域的类别数量；r表示像素，H和W分别表示图像的高度和宽度；Gc(m,n)∈{0,1}表示像素r所属类别c的真实值(ground truth)，Sc(m,n)∈[0,1]表示模型预测像素r属于类别c的概率；ac是类别c的权重值，将图像背景权重a0定义为0.05，其余7个解剖结构权重a1～a7定义为1。
7.根据权利要求1所述的基于胎儿四腔心切面图像的多组织分割方法，其特征在于：
所述S300中基于步骤S200中的训练集对模型进行训练，用dice系数和像素准确率作为指标衡量其性能，并进行参数优化；
具体包括：
S3031、读入训练集数据，依据损失函数和反向传播算法进行端到端的训练，更新权重参数；
S3032、训练完成后，依据dice系数、像素准确度(PA)指标优化模型，保存网络参数；
其中，dice系数的公式为：
Figure FDA0002277524190000041
其中，c表示目标区域的类别，Pc表示模型分割出属于类别c的区域，Qc表示真正属于类别c的区域；
其中，像素准确率的公式为：
Figure FDA0002277524190000042
其中，c表示目标区域的类别，C表示目标区域的类别数量；pc表示模型分割的结果中真正属于类别c的像素，qc表示真正属于类别c的所有像素。
CN201911128241.3A 2019-11-18 2019-11-18 一种基于胎儿四腔心切面图像的多组织分割方法 Active CN111062948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128241.3A CN111062948B (zh) 2019-11-18 2019-11-18 一种基于胎儿四腔心切面图像的多组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128241.3A CN111062948B (zh) 2019-11-18 2019-11-18 一种基于胎儿四腔心切面图像的多组织分割方法

Publications (2)

Publication Number Publication Date
CN111062948A true CN111062948A (zh) 2020-04-24
CN111062948B CN111062948B (zh) 2022-09-13

Family

ID=70298004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128241.3A Active CN111062948B (zh) 2019-11-18 2019-11-18 一种基于胎儿四腔心切面图像的多组织分割方法

Country Status (1)

Country Link
CN (1) CN111062948B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709424A (zh) * 2020-06-28 2020-09-25 北京航空航天大学 基于多病种胎儿四腔心切面的多部件语义分割方法
CN111754489A (zh) * 2020-06-28 2020-10-09 北京航空航天大学 一种胎儿超声心动图中四腔心分割方法
CN112348780A (zh) * 2020-10-26 2021-02-09 首都医科大学附属北京安贞医院 一种胎儿心脏的测量方法及装置
CN112802023A (zh) * 2021-04-14 2021-05-14 北京小白世纪网络科技有限公司 基于终身学习的胸膜病变分割的知识蒸馏方法及装置
CN112967279A (zh) * 2021-04-02 2021-06-15 慧影医疗科技（北京）有限公司 一种检测肺结节的方法、装置、存储介质和电子设备
CN113270171A (zh) * 2021-06-18 2021-08-17 上海市第一人民医院 一种基于人工智能的孕期b超检测辅助方法
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及系统
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN116013520A (zh) * 2022-12-27 2023-04-25 上海市第一妇婴保健院 预测发育性协调障碍的方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180099119A (ko) * 2017-02-28 2018-09-05 연세대학교 산학협력단 Ｃｔ 영상 데이터베이스 기반 심장 영상의 영역화 방법 및 그 장치
CN108701354A (zh) * 2016-05-09 2018-10-23 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
US20190223725A1 (en) * 2018-01-25 2019-07-25 Siemens Healthcare Gmbh Machine Learning-based Segmentation for Cardiac Medical Imaging
CN110163907A (zh) * 2019-05-28 2019-08-23 无锡祥生医疗科技股份有限公司 胎儿颈部透明层厚度测量方法、设备及存储介质
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
CN110363772A (zh) * 2019-08-22 2019-10-22 西南大学 基于对抗网络的心脏mri分割方法及系统
CN110400298A (zh) * 2019-07-23 2019-11-01 中山大学 心脏临床指标的检测方法、装置、设备及介质
CN110432929A (zh) * 2019-07-11 2019-11-12 暨南大学 基于超声图像的产时头盆关系自动测量方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701354A (zh) * 2016-05-09 2018-10-23 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
KR20180099119A (ko) * 2017-02-28 2018-09-05 연세대학교 산학협력단 Ｃｔ 영상 데이터베이스 기반 심장 영상의 영역화 방법 및 그 장치
US20190223725A1 (en) * 2018-01-25 2019-07-25 Siemens Healthcare Gmbh Machine Learning-based Segmentation for Cardiac Medical Imaging
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
CN110163907A (zh) * 2019-05-28 2019-08-23 无锡祥生医疗科技股份有限公司 胎儿颈部透明层厚度测量方法、设备及存储介质
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
CN110432929A (zh) * 2019-07-11 2019-11-12 暨南大学 基于超声图像的产时头盆关系自动测量方法和装置
CN110400298A (zh) * 2019-07-23 2019-11-01 中山大学 心脏临床指标的检测方法、装置、设备及介质
CN110363772A (zh) * 2019-08-22 2019-10-22 西南大学 基于对抗网络的心脏mri分割方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FRANCESCO RENNA 等: "Convolutional Neural Networks for Heart Sound Segmentation", 《2018 26TH EUROPEAN SIGNAL PROCESSING CONFERENCE》 *
GOPALKRISHNA VENI 等: "ECHOCARDIOGRAPHY SEGMENTATION BASED ON A SHAPE-GUIDED DEFORMABLE MODEL DRIVEN BY A FULLY CONVOLUTIONAL NETWORK PRIOR", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018)》 *
JINGFEI HU 等: "S-UNet: A Bridge-Style U-Net Framework with a Saliency Mechanism for Retinal Vessel Segmentation", 《IEEE ACCESS》 *
胡玉进 等: "基于BiSeNet的小儿超声心动图左心分割方法", 《中国生物医学工程学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754489A (zh) * 2020-06-28 2020-10-09 北京航空航天大学 一种胎儿超声心动图中四腔心分割方法
CN111709424A (zh) * 2020-06-28 2020-09-25 北京航空航天大学 基于多病种胎儿四腔心切面的多部件语义分割方法
CN112348780A (zh) * 2020-10-26 2021-02-09 首都医科大学附属北京安贞医院 一种胎儿心脏的测量方法及装置
CN112967279A (zh) * 2021-04-02 2021-06-15 慧影医疗科技（北京）有限公司 一种检测肺结节的方法、装置、存储介质和电子设备
CN112802023A (zh) * 2021-04-14 2021-05-14 北京小白世纪网络科技有限公司 基于终身学习的胸膜病变分割的知识蒸馏方法及装置
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113270171B (zh) * 2021-06-18 2022-11-01 上海市第一人民医院 一种基于人工智能的孕期b超检测辅助方法
CN113270171A (zh) * 2021-06-18 2021-08-17 上海市第一人民医院 一种基于人工智能的孕期b超检测辅助方法
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113436173B (zh) * 2021-06-30 2023-06-27 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及系统
CN114066913B (zh) * 2022-01-12 2022-04-22 广东工业大学 一种心脏图像分割方法及系统
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN116013520A (zh) * 2022-12-27 2023-04-25 上海市第一妇婴保健院 预测发育性协调障碍的方法、装置及电子设备
CN116013520B (zh) * 2022-12-27 2023-11-17 上海市第一妇婴保健院 预测发育性协调障碍的方法、装置及电子设备

Also Published As

Publication number Publication date
CN111062948B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111062948B (zh) 一种基于胎儿四腔心切面图像的多组织分割方法
CN110464380B (zh) 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN109528230B (zh) 一种基于多级变换网络的乳腺肿瘤分割方法及装置
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN109215040B (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN112700867A (zh) 一种基于迁移学习的covid-19患者的分级诊断系统
US20230154006A1 (en) Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN109214388B (zh) 一种基于个性化融合网络的肿瘤分割方法及装置
CN114119516B (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
Li et al. Optical coherence tomography vulnerable plaque segmentation based on deep residual U-Net
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN114419000B (zh) 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN116797609A (zh) 全局-局部特征关联融合的肺部ct图像分割方法
CN113889261B (zh) 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
CN113011514B (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN113362332A (zh) Oct影像下冠状动脉管腔轮廓的深度网络分割方法
CN117275677A (zh) 一种有效识别乳腺超声影像肿块良恶性方法
CN114926486B (zh) 一种基于多层级改进的甲状腺超声图像智能分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant