CN112561918A - 卷积神经网络的训练方法和病灶分割方法 - Google Patents
卷积神经网络的训练方法和病灶分割方法 Download PDFInfo
- Publication number
- CN112561918A CN112561918A CN202011634830.1A CN202011634830A CN112561918A CN 112561918 A CN112561918 A CN 112561918A CN 202011634830 A CN202011634830 A CN 202011634830A CN 112561918 A CN112561918 A CN 112561918A
- Authority
- CN
- China
- Prior art keywords
- block
- convolutional neural
- neural network
- output
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 81
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 230000000644 propagated effect Effects 0.000 claims abstract description 3
- 230000003902 lesion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims 2
- 238000012047 cause and effect analysis Methods 0.000 claims 1
- 238000012043 cost effectiveness analysis Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000005096 rolling process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 71
- 238000002595 magnetic resonance imaging Methods 0.000 description 17
- 210000004556 brain Anatomy 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 208000032382 Ischaemic stroke Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010008092 Cerebral artery thrombosis Diseases 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002888 effect on disease Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
本发明提供了一种卷积神经网络的训练方法，该卷积神经网络包括输入层、中间层和输出层；该网络训练方法包括：初始化中间层的网络参数；基于输入层接收的训练样本图片，前向传播计算卷积神经网络的期望输出；计算期望输出和所述输出层接收的训练样本图片对应的标签之间的误差；反向传播所述误差，并更新中间层的网络参数；采用交叉熵函数和Dice函数结合成的Dice‑CE函数对误差进行损失评估；在误差被评估为损失最小时，对应的中间层的网络参数作为卷积神经网络的最终参数。通过交叉熵损失函数和Dice函数的结合用于计算损失函数，能够降低多检率，漏检率，最终达到精确分割的效果。
Description
技术领域
本发明涉及医学图像处理领域，尤其涉及卷积神经网络的训练方法和基于卷积神经网络的病灶分割方法。
背景技术
病灶的精确分割对于疾病诊断、治疗方案改善、手术规划以及术后评估等至关重要。医学图像分割领域中，基于深度学习的病灶分割方法获得了广泛的关注。目前，在大多数的图像分割方法中，卷积神经网络因具有提取图像特征的优点，而被广泛应用。
基于卷积神经网络的训练是图像分割中重要的步骤。根据数据集的标注程度，医学图像分割可使用3种不同的学习方式，分别为无监督、全监督、半监督及弱监督。无监督学习指已知数据没有任何标签，按照一定的偏好，训练一个智能算法，将所有的数据映射到多个不同标签的过程。全监督学习指已知数据和其一一对应的标签，训练一个智能算法，将输入数据映射到标签的过程。弱监督和半监督学习是一种介于两者之间的学习方式。无监督学习虽然不需要标签，但其在网络训练过程中只能取用低级的底层信息，很难具备准确性。全监督学习方式的优势在于分割精度高，但过于依赖标签，标签的获取成为很多任务进行全监督学习的障碍。
另外，对于脑部的医学图像等图像数据样本较少的情形，由于缺乏足够的数据而难以支撑深度学习。并且，脑部的伪影较多，所以相关技术对上下文的语义信息和空间信息获取不足，从而导致分割精度不高。
发明内容
本发明实施例提供一种卷积神经网络的训练方法和病灶分割方法，使得卷积神经网络的训练过程中人工干预程度低，训练得到的卷积神经网络在进行病灶分割时，可以实现全自动、快速分割，并达到较高的分割精度。
本发明实施方式提供了一种卷积神经网络的训练方法，该卷积神经网络包括输入层、中间层和输出层；该训练方法包括：初始化中间层的网络参数；基于输入层接收的训练样本图片，前向传播计算卷积神经网络的期望输出；计算期望输出和输出层接收的训练样本图片对应的标签之间的误差；反向传播所述误差，并更新中间层的网络参数；采用交叉熵函数和Dice函数结合成的Dice-CE函数对误差进行损失评估；在误差被评估为损失最小时，对应的中间层的网络参数作为卷积神经网络的最终参数。
本发明实施方式还提供了一种基于卷积神经网络的病灶分割方法，包括：将待分割样本输入至卷积神经网络，得到病灶分割结果；其中，卷积神经网络采用上述提及的卷积神经网络的训练方法训练得到。
在本发明实施方式中，通过交叉熵损失函数和Dice函数的结合用于计算损失函数，能够降低多检率，漏检率，最终达到精确分割的效果。
附图说明
图1为本发明第一实施方式中的卷积神经网络的网络结构；
图2为本发明第三实施方式中的卷积神经网络的网络结构；
图3为本发明第四实施方式中的卷积神经网络的网络结构；
图4为本发明第四实施方式中的卷积神经网络中卷积块Conv-block的结构；
图5为本发明第四实施方式中的卷积神经网络中识别块Identify-block的结构；
图6为本发明第四实施方式中的卷积神经网络中卷积块Conv-block的空洞卷积结构；
图7为本发明第五实施方式中的卷积神经网络中的栈式自编码器预训练网络；
图8为本发明第七实施方式中的基于卷积神经网络的病灶分割方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明第一实施方式提供了一种卷积神经网络的训练方法。如图1所示，卷积神经网络模型包括输入层，中间层和输出层。中间层包括一层或多层结构，如卷积层，池化层，反卷积层。该卷积神经网络的训练方法包括如下步骤：
输入层接收输入样本数据；
初始化中间层的网络参数，如中间层的权重和偏置；
基于输入层接收的样本数据，前向传播计算该卷积神经网络的期望输出；
计算上述期望输出和原样本数据对应的标签之间的损失函数；
反向传播该损失函数数值，并更新中间层的网络参数。
该卷积神经网络的训练方法中采用的损失函数是利用交叉熵函数和Dice函数结合成的Dice-CE函数。
本发明实施方式的卷积神经网络的训练方法适用于医学图像处理领域，那么，输入样本数据即为训练样本图片，比如MRI(核磁共振)医学图像。脑部MRI是医学常用的影像学检查方法，对于缺血性脑卒中，脑肿瘤，脑炎性病变，脑先天性异常等疾病具有良好的检查效果。与正常脑组织相比，上述脑部疾病的病灶体积非常小，会造成数据的类不平衡。
在图像分割中，交叉熵损失函数是最常见的损失函数。该函数表征的是真实样本标签和期望输出之间的距离，交叉熵损失函数的值越小，真实样本标签和期望输出越接近。经典的交叉熵损失函数表示为：
其中，N为样本数据总数，ln表示自然对数；ytrue为真实样本标签，ypred为所述期望输出。
由公式(1)可知，交叉熵损失函数中的第一项ytrue·lnypred，当ytrue为1时，ypred越接近真实样本标签1，漏检率越小，损失函数越小；交叉熵损失函数的第二项(1-true)·(1-lnypred)，当ytrue为0时，ypred越接近真实样本标签0，多检率越小，损失函数越小。
交叉熵损失函数同等对待图像数据中的每个像素点，没有考虑类间不平衡问题，因此仅用交叉熵损失函数作为网络训练的损失函数容易忽略少类。
Dice损失函数本质是衡量两个样本的重叠部分，Dice损失函数的表达式为：
其中，X和Y分别为两个样本集合，|X|和|Y|分别为每个集合中的元素数，|X∩Y|为两个样本集合中的共同元素。其数值范围为0到1，其中1表示两个样本的完整重叠。
Dice损失函数没有考虑真正的负体素，其不会受类平衡问题的影响，因此Dice损失函数比较适用于样本极度不均匀的情形。但是一般情形下，适用Dice损失函数会对反向传播造成不利的影响，容易使得网络训练变得不稳定。而且Dice损失函数并非交叉熵函数那样对每个像素点进行分类预测，所以它精确度不够高，容易产生多检病灶。
本实施方式采用的损失函数是利用交叉熵函数和Dice函数结合成的Dice-CE函数。利用Dice损失函数综合测量整个预测概率图，而不是所有体素的简单平均值，另外，利用交叉熵函数精确预测分类每个像素点，最终达到精确分割的效果。因此Dice-CE函数可适用于样本数据少、样本类间极不平衡、分割精度要求高的语义分割环境。
本发明第二实施方式提供了一种卷积神经网络的训练方法，是在本发明第一实施方式的基础上做了改进。本发明第二实施方式采用的Dice-CE函数的表达式定义为
LDice-E＝-(αLCE+(1-α)·LDice) (3)
其中，0<α<1。α的数值可以通过搜索网络法获得。公式(3)中的Dice-CE损失函数综合了交叉熵函数和Dice损失函数的特点，即利用Dice函数综合测量整个预测概率图的基础上可以大大降低漏检率，并根据交叉熵函数精确预测分类每个像素点，又可降低多检率，最终达到精确分割的效果。
在一实施方式中，交叉熵损失函数还可以采用如公式(4)所示的形式：
其中，0<β<1。
和公式(1)相比，公式(4)通过给不同的类别添加不同的权重来调整损失函数。如果希望漏检率小，则可以给β设置一个较大的数值，如果希望多检率小，可以给(1-β)设置一个较大的数值，即给β设置一个较小的数值。因此公式(4)可以在一定程度上再次降低类间不平衡的影响。
在一实施方式中，Dice损失函数还可以采用如公式(5)所示的形式：
由公式(5)可知，该Dice损失函数是用于比较期望输出和真实样本标签的相关度，如果该函数值越接近1说明效果越好。公式(5)中的分子关注的是期望输出和真实样本标签之间的共同激活值，而公式(5)中的分母与两者激活量相关，公式(5)产生一种根据目标标签来归一化的效果，使得较容易从少类中学习。
本发明第三实施方式提供了一种卷积神经网络的训练方法，提供了一种中间层的具体结构和前向传播计算的具体方法。
该卷积神经网络的中间层可分为4个部分，分别为：第一块A0、第二块A1、第三块A2和第四块A3，参见图2。输入层接收到的训练样本图片(以下简称“输入的样本数据”)首先经过第一块A0进行第一次特征提取，第一块A0的输出数据为第一特征图片(以下简称“第一数据”)。将第一数据输入到第二块A1中进行第二次特征提取，得到第二特征图片(以下简称“第二数据”)。以此类推，将第二数据输入到第三块A2中进行第三次特征提取，得到第三特征图片(以下简称“第三数据”)。将第三数据输入到第四块A3中进行第三次特征提取，得到第四特征图片(以下简称“第四数据”)。
在一实施方式中，如图2所示，输入的样本数据尺寸为64×64×64，特征数为3，即输入样本数据为64×64×64×3。经过第一块A0的处理，第一数据为32×32×32×16；经过第二块A1的处理，第二数据为32×32×32×32；经过第三块A2的处理，第三数据为16×16×16×64；经过第四块A3的处理，第四数据为8×8×8×128。对于多模态的MRI图像，信息非常复杂。本实施方式在合理的规模下，利用深层次的卷积神经网络结构进行网络训练，可以比较浅的对应网络更具有表现力，可捕获足够的高级特征，提高该卷积神经网络结构训练数据能力。
在一实施方式中，卷积神经网络的前向传播计算期望输出的方法如图2所示。基于第二数据计算得出第一预测值，再计算第一预测值和输入的样本数据的真实标签之间的第一损失函数Loss1。基于第三数据计算得出第二预测值，再计算第二预测值和输入的样本数据的真实标签之间的第二损失函数Loss2。基于第四数据计算得出第三预测值，再计算第三预测值和输入的样本数据的真实标签之间的第三损失函数Loss3。将第一损失函数Loss1、第二损失函数Loss2和第三损失函数Loss3相乘，得出最终的损失函数Loss0。
本实施方式中的第一损失函数Loss1、第二损失函数Loss2和第三损失函数Loss3可采用本发明任一实施方式中的损失函数的算法。
上述对于中间层的划分仅是为了方便描述而做出的，并不限定中间层的具体结构，本领域技术人员可以根据实际需要构建具体的中间层结构。
本发明第四实施方式提供了一种卷积神经网络的训练方法，是在第三实施方式的基础上对中间层的结构做了改进。
图3示出了本实施方式中卷积神经网络的训练方法所应用的网络结构，为方便描述，该网络结构可以命名为3D-ResDeConvNet(Residual Depth Convolutional Network)。由图中可看出，3D-ResDeConvNet由卷积层、池化层、反卷积层、损失函数等部分组成。
如图3所示，第一块A0包括填充层(Zero padding),卷积层和池化层。第二块A1包括一个卷积块(Conv-block)和两个识别块(Identify-block)。第三块A2包括一个卷积块(Conv-block)和三个识别块(Identify-block)。第四块A3中包括一个卷积块(Conv-block)和五个识别块(Identify-block)。对于中间层的每一块，各个卷积块(Conv-block)和识别块(Identify-block)采用同分辨率级联的特征融合结构，能够保证信息的完整性。由图2可知输入样本数据为64×64×64×3。经过第一块A0的处理，第一数据为32×32×32×16；经过第二块A1的处理，第二数据为32×32×32×32；经过第三块A2的处理，第三数据为16×16×16×64；经过第四块A3的处理，第四数据为8×8×8×128。基于第二数据，经过一个卷积层(Conv 1,32,BN,ReLU)、解卷积层(DeConv 32,x2)组合及一个卷积层(Conv 1,2,BN,ReLU)得到第一预测值为64×64×64×2,再计算第一预测值和输入的样本数据的真实标签之间的第一损失函数Loss1；基于第三数据，经过一个卷积层(Conv 1,64,BN,ReLU)、解卷积层(DeConv 64,x2)组合，一个解卷积层(DeConv 32,x2)和一个卷积层(Conv 1,2,BN,ReLU)得到第二预测值64×64×64×2,再计算第二预测值和输入的样本数据的真实标签之间的第二损失函数Loss2；基于第四数据，经过一个卷积层(Conv 1,64,BN,ReLU)、解卷积层(DeConv 64,x2)组合，两个解卷积层(DeConv 64,x2).(DeConv 32,x2)和一个卷积层(Conv1,2,BN,ReLU)得到第三预测值64×64×64×2,再计算第三预测值和输入的样本数据的真实标签之间的第三损失函数Loss3；将第一损失函数Loss1、第二损失函数Loss2和第三损失函数Loss3相乘，得出最终的损失函数Loss0。
上述每一块的具体结构，可以根据输入样本数据的尺寸具体设计，此处仅为举例，并不限定每一块的具体结构。
虽然深层的卷积神经网络结构具有较强的函数拟合能力，但是在网络传递过程中，各个层级之间的参数需要相乘，尤其是激活函数的导数在0和1之间，网络越深，连乘后值越小，甚至会发生连乘后值为0，即梯度消失现象。本发明的实施方式采用残差结构来满足既加深网络层数又不至于梯度消失。残差结构的宗旨在于将残差块的输入x和经过该模块的输出f(x)进行像素加和，作为该模块的最终输出,公式为y＝x+f(x)，对其进行求导，得到的导函数为1+f′(x)。由此梯度值最小为1而非0，能够彻底杜绝梯度消失问题，也有效抑制了梯度爆炸问题。残差结构不但大量地减少了计算量，而且保留了丰富的高维特征信息。
本实施方式中的卷积块(Conv-block)和识别块(Identify-block)采用了不同的残差结构。图4示出了卷积块(Conv-block)的结构，卷积块(Conv-block)的作用是进行下采样。另外，下采样的操作设置在卷积块(Conv-block)里面而非不同的卷积块(Conv-block)之间，可以保证信息的完整性。在卷积块(Conv-bloc)k中，第一层卷积层的strict参数设为2，使数据尺度缩小2倍。卷积块(Conv-block)中采用卷积层而非池化层进行下采样操作，可以将丢失有用信息的伤害缩小到最小。
图5示出了识别块(Identify-block)的结构。识别块(Identify-block)的作用主要是用于提取特征。通过直接将输入信息绕道传到输出，保护信息的完整性，彻底杜绝了梯度消失这个问题。
在一实施方式中，卷积块(Conv-block)还可采用如图6所示的空洞卷积结构(atrous-conv)，卷积块(Conv-block)包括第一卷积层、第二卷积层和第三卷积层，用于依次对卷积块(Conv-block)的输入进行特征提取，得到第一输出；其中，第一卷积层、第二卷积层和第三卷积层的卷积核进行了扩大；卷积块(Conv-block)还包括第四卷积层，对卷积块(Conv-block)的输入进行特征提取，得到第二输出；第一输出和所述第二输出相加，得到卷积块(Conv-block)的输出。空洞卷积结构(atrous-conv)可以避免全卷积网络(FCN)中连续重复地最大池化和步长大于1的卷积造成的特征图分辨率降低的问题，在不增加非零参数数量和计算量的同时，扩大卷积核，进而有效的控制感受野的大小，做到对小尺度区域和大尺度区域的权衡。空洞卷积虽然扩大了滤波器，但参数的量和计算操作的量都没有增大，所以可以简单精准地控制CNN特征地图响应的空间分辨率，可以避免空间层级化信息丢失，更好的重建小尺度物体信息。
本实施方式中的3D-ResDeConvNet结构具有如下优点：采用同分辨率级联的特征融合结构保证了信息的完整性；使用残差结构杜绝了梯度消失问题；采用空洞卷积结构扩大感受野，防止重要信息的丢失；网络层级较深、但每一隐层都较瘦，参数的数量可控；使用较少的池化层，利用卷积层设步长进行下采样操作，既保证信息的完整性又能够提高传播速度。
本发明第五实施方式提供了一种卷积神经网络的训练方法，其在第一至四实施方式的基础上做了改进，在初始化中间层的网络参数时还包括预训练的步骤。
在医学图像中，如果缺乏大规模的训练数据，则不足以拟合复杂的3D-ResDeConvNet网络，导致过拟合的发生。本实施方式采用无监督栈式自编码器作为预训练网络，通过预训练可以减轻过拟合，加快训练速度。
本实施方式的预训练网络包括第一自编码器、第二自编码器和第三自编码器。本实施方式中的自编码器模拟人脑对外界事物逐层进行，逐步抽象的认知过程，采用了逐层学习的策略，对深层网络层级间的参数进行“剖分”式学习。
如图7所示，本实施方式采用三个自编码器构成一个栈式自编码器(stacked autoencoder，SAE)。训练样本数据首先输入至第一自编码器，训练第一块A0和第二块A1的网络参数，根据训练好的第一块A0和第二块A1的网络参数算出所述第一自编码器的输出。将该第一自编码器的输出作为第二个自编码器的训练样本，输入到第二自编码器，训练第三块A2的网络参数，并根据训练好的第三块A2的网络参数算出所述第二自编码器的输出。将该第二自编码器的输出作为第三个自编码器的训练样本，输入到第三自编码器，训练第四块A3的网络参数，并根据训练好的第四块A3的网络参数算出所述第三自编码器的输出。
将训练好的第一块A0，第二块A1，第三块A2和第四块A3的网络参数代入至3D-ResDeConvNet网络中，可以得到优化后的初值。
本实施方式通过将相邻层级视为浅层神经网络得到参数，进一步，获取初始化参数后的层级通过“复合”形成深度神经网路。采取本实施方式中的栈式自编码器可获得优化的初值，可以避免过早地陷入局部最优，求得稳定状态下的参数逼近最优参数，降低过拟合。
本发明第六实施方式提供了一种卷积神经网络的训练方法，其在第一至五实施方式的基础上做了改进，在前向传播计算所述卷积神经网络的期望输出之前，该训练方法还包括对训练样本数据进行预处理。
本实施方式中采用采用缺血性脑卒中的MRI(核磁共振)图像作为原始数据。MRI有三种模态，分别为DWI、ADC、T2。采用FSE序列获得T2，使用SE-EPI序列获得DWI，采集原始数据后，使用扩散扫描原始数据计算得出ADC图。本实施方式中对原始数据首先采用线性插值法将所有图像重新采样，例如像素大小1.77mm×1.77mm，并根据DWI图像获得相应的T2图像和ADC图像。
在一实施方式中，将原始数据格式是脑部dcm文件按照顺序转变成三维mhd图像格式。使用Simple Insight Toolkit(SimpleITK)进行图像读取，将MRI的mhd格式转至numpy。因为它们的域值差距过大而无法统一归一化，然后将DWI、ADC、T2各自归一化。
在一实施方式中，可采用水平翻转，垂直翻转以及对图像做一定角度的旋转的方式实现数据增强，增加样本数。
在一实施方式中，采用N×N×N的三维图像块代替整个三维图像作为样本数据输入网络模型，该三维图像块群可以修改正负样本的比例，降低类间不平衡的问题，减少过拟合。另外，采用较小的图像块能够增大训练批次，不但加快训练速度，而且使训练更有效。
例如，首先将原始三维图像使用中心8×8×8，边长N×N×N的滑动窗口按顺序切割成三维图像块。然后将分割后的三维图像块进行重采样，保留所有含病变区域的图像块并随机让某些三维图像块进行水平翻转或者垂直翻转。最后在每轮训练中随机抽取和含病变图像块数量为2:1的无病变图像块，将两者顺序打乱后放入网络进行训练。
本发明第七实施方式提供了一种基于卷积神经网络的病灶分割方法，适用于医学图像处理中的病灶分割领域，比如适用于MRI医学图像中病灶的分割。
本实施方式通过将训练样本和病灶标签输入至卷积神经网络，采用前述实施方式中的训练方法，得到卷积神经网络。其中病灶标签由经验丰富的脑科专家手动注释。在实际应用中，在训练好卷积神经网络之后，将待分割图像输入到该训练好的卷积神经网络，即可得到病灶分割结果。
本实施方式中的病灶分割方法采用深层卷积网络从原始图像中捕获足够多的高级特征，并能够避免过拟合导致效果差的问题。因为采用了Dice-CE函数作为损失函数，针对样本数据少，样品类间不平衡、分割精度要求高的分割环境，如病灶体积较小的疾病，缺血性脑卒中等，具有良好的检查效果，能够降低类间不平衡的影响，提高病灶分割精度。
在一实施方式中，MRI缺血性脑卒中的原始数据来自于合作医院提供的296位缺血性脑卒中患者。其中154例样本进行训练和测试网络，剩余142例样本用于验证网络效果。患者62％为男性，平均年龄为56.21。MRI的测量来自三个MRI西门子扫描仪，两个3T MRI扫描仪的名称分别Skyra和Trio，剩余一个1.5T MRI扫描仪的名称为Avanto。使用FSE序列获得T2，使用SE-EPI序列获得DWI，两个b值分别为0和1000s/mm^2。采集原始数据后，使用扩散扫描原始数据计算ADC图。T2，DWI和ADC图像要确保相同的切片位置，以便图像的评估和测量。
在一实施方式中，如图8所示，首先向MRI在DWI、ADC、T2三种模态下的图片数据和病灶标签进行数据预处理得到预处理后的MRI图片数据和预处理后的病灶标签。将预处理后的MRI图片数据和预处理后的病灶标签进行数据切割，再将切割后的三维图像块输入至3D ResDeConvNet网络进行网络训练。
在一实施方式中，将三维图像块按照之前分割顺序拼接回三维图像，然后使用连通法产生连通块，这样预测样本结果的连通块同原始标签的连通块可以进行比较。
在一实施方式中，后处理利用后处理DenseCRF进行分割结果的处理,可以对边缘起到一定的平滑作用，进一步提升分割效果。
本实施方式的病灶分割方法人工干预程度低、鲁棒性较强、分割精度较高、时间消耗较少，因此能被应用于实际的医学临床检测和诊断中，满足现代医学发展的要求。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (12)
1.一种卷积神经网络的训练方法，所述卷积神经网络包括输入层、中间层和输出层；
其特征在于，所述训练方法包括：
初始化所述中间层的网络参数；
基于所述输入层接收的训练样本图片，前向传播计算所述卷积神经网络的期望输出；
计算所述期望输出和所述输出层接收的所述训练样本图片对应的标签之间的误差；
反向传播所述误差，并更新所述中间层的网络参数；
采用交叉熵函数和Dice函数结合成的Dice-CE函数对所述误差进行损失评估；
在所述误差被评估为损失最小时，对应的所述中间层的网络参数作为所述卷积神经网络的最终参数。
2.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述Dice-CE函数为，LDice-E＝-(αLCE+(1-α)·LDice)，其中0＜α＜1，LCE为所述交叉熵函数，LDice为所述Dice函数。
3.根据权利要求2所述的卷积神经网络的训练方法，其特征在于，所述交叉熵函数表示为：
其中，0＜β＜1，N为所述训练样本图片的总数，In表示自然对数；ytrue为所述标签，ypred为所述期望输出。
4.根据权利要求2所述的卷积神经网络的训练方法，其特征在于，所述Dice函数表示为：
其中，N为所述训练样本图片的总数，ytrue为所述标签，ypred为所述期望输出。
5.根据权利要求1至4任一项所述的卷积神经网络的训练方法，其特征在于，所述中间层划分为：第一块A0、第二块A1、第三块A2和第四块A3；
其中，所述输入层接收到的训练样本图片经所述第一块进行第一次特征提取，得到第一特征图片；
所述第一特征图片经所述第二块进行第二次特征提取，得到第二特征图片；
所述第二特征图片经所述第三块进行第三次特征提取，得到第三特征图片；
所述第三特征图片经所述第四块进行第四次特征提取，得到第四特征图片；
所述前向传播计算所述卷积神经网络的期望输出，包括：
基于所述第二特征图片、所述第三特征图片和所述第四特征图片，分别计算第一预测值、第二预测值和第三预测值；
所述计算所述期望输出和所述输出层接收的所述训练样本图片对应的标签之间的误差，包括：
分别计算所述第一预测值、所述第二预测值和所述第三预测值与所述标签之间的第一偏差、第二偏差和第三偏差；
所述第一偏差、所述第二偏差和所述第三偏差相乘，得到所述误差。
6.根据权利要求5所述的卷积神经网络的训练方法，其特征在于，所述初始化所述中间层的网络参数，包括：
构建包括第一自编码器、第二自编码器和第三自编码器的栈式自编码器；
将所述训练样本图片输入到所述第一自编码器，训练所述第一块和所述第二块的网络参数，并用训练好的所述第一块和所述第二块的网络参数算出所述第一自编码器的输出；
将所述第一自编码器的输出作为所述第二自编码器的训练样本，输入到所述第二自编码器，训练所述第三块的网络参数，并用训练好的所述第三块的网络参数算出所述第二自编码器的输出；
将所述第二自编码器的输出作为所述第三自编码器的训练样本，输入到所述第三自编码器，训练所述第四块的网络参数，并用训练好的所述第四块的网络参数算出所述第三自编码器的输出；
将训练好的所述第一块、所述第二块、所述第三块和所述第四块的网络参数作为所述第一块、所述第二块、所述第三块和所述第四块的网络参数的初值。
7.根据权利要求5所述的卷积神经网络的训练方法，其特征在于，所述第二块包括一个卷积块和两个识别块；所述第三块包括一个卷积块和三个识别块；所述第四块包括一个卷积块和五个识别块；
每一个卷积块具有第一残差结构，每一个识别块具有第二残差结构；
所述第一残差结构利用卷积层进行下采样，所述第一残差结构的输入和经过所述第一残差结构的输出进行像素加和处理，作为所述第一残差结构的最终输出；
所述第二残差结构的输入直接传到所述第二残差结构的输出。
8.根据权利要求7所述的卷积神经网络的训练方法，其特征在于，所述卷积块包括第一卷积层、第二卷积层和第三卷积层，用于依次对所述卷积块的输入进行特征提取，得到第一输出；其中，所述第一卷积层、所述第二卷积层和所述第三卷积层的卷积核进行了扩大；
所述卷积块还包括第四卷积层，对所述卷积块的输入进行特征提取，得到第二输出；
所述第一输出和所述第二输出相加，得到所述卷积块的输出。
9.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，在前向传播计算所述卷积神经网络的期望输出之前，所述训练方法还包括：对所述训练样本图片进行预处理。
10.根据权利要求9所述的卷积神经网络的训练方法，其特征在于，所述预处理包括以下任意之一或任意组合：
归一化处理，数据增强，数据切割。
11.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述数据输出包括对多个输出的数据进行数据拼接，将经过所述数据拼接的数据进行后处理。
12.一种病灶分割方法，其特征在于，包括：
将待分割样本输入至卷积神经网络，得到病灶分割结果；
其中，所述卷积神经网络采用如权利要求1至11中任一项所述的卷积神经网络的训练方法训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634830.1A CN112561918A (zh) | 2020-12-31 | 2020-12-31 | 卷积神经网络的训练方法和病灶分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634830.1A CN112561918A (zh) | 2020-12-31 | 2020-12-31 | 卷积神经网络的训练方法和病灶分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112561918A true CN112561918A (zh) | 2021-03-26 |
Family
ID=75035073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011634830.1A Pending CN112561918A (zh) | 2020-12-31 | 2020-12-31 | 卷积神经网络的训练方法和病灶分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561918A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628230A (zh) * | 2021-08-10 | 2021-11-09 | 上海慧虎信息科技有限公司 | 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778682A (zh) * | 2017-01-11 | 2017-05-31 | 厦门中控生物识别信息技术有限公司 | 一种卷积神经网络模型的训练方法及其设备 |
| CN108182441A (zh) * | 2017-12-29 | 2018-06-19 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| CN110020684A (zh) * | 2019-04-08 | 2019-07-16 | 西南石油大学 | 一种基于残差卷积自编码网络的图像去噪方法 |
| CN110121293A (zh) * | 2017-11-24 | 2019-08-13 | 佳能医疗系统株式会社 | 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法 |
| WO2020151307A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
-
2020
- 2020-12-31 CN CN202011634830.1A patent/CN112561918A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778682A (zh) * | 2017-01-11 | 2017-05-31 | 厦门中控生物识别信息技术有限公司 | 一种卷积神经网络模型的训练方法及其设备 |
| CN110121293A (zh) * | 2017-11-24 | 2019-08-13 | 佳能医疗系统株式会社 | 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法 |
| CN108182441A (zh) * | 2017-12-29 | 2018-06-19 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| WO2020151307A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
| CN110020684A (zh) * | 2019-04-08 | 2019-07-16 | 西南石油大学 | 一种基于残差卷积自编码网络的图像去噪方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628230A (zh) * | 2021-08-10 | 2021-11-09 | 上海慧虎信息科技有限公司 | 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN110335261B (zh) | 一种基于时空循环注意力机制的ct淋巴结检测系统 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| Birenbaum et al. | Multi-view longitudinal CNN for multiple sclerosis lesion segmentation | |
| Birenbaum et al. | Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks | |
| US20210350179A1 (en) | Method for detecting adverse cardiac events | |
| Biffi et al. | Explainable anatomical shape analysis through deep hierarchical generative models | |
| US20230281809A1 (en) | Connected machine-learning models with joint training for lesion detection | |
| CN112674720B (zh) | 基于3d卷积神经网络的阿尔茨海默症的预判断方法 | |
| EP3712849B1 (en) | Automated uncertainty estimation of lesion segmentation | |
| Jha et al. | Alzheimer’s disease detection using sparse autoencoder, scale conjugate gradient and softmax output layer with fine tuning | |
| CN113763442A (zh) | 一种可变形医学图像配准方法及系统 | |
| CN112819831B (zh) | 基于卷积Lstm及多模型融合的分割模型生成方法及装置 | |
| Yan et al. | Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension | |
| Liu et al. | AHU-MultiNet: adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network | |
| Li et al. | Automatic prostate and peri-prostatic fat segmentation based on pyramid mechanism fusion network for T2-weighted MRI | |
| Wong et al. | Brain image segmentation of the corpus callosum by combining Bi-Directional Convolutional LSTM and U-Net using multi-slice CT and MRI | |
| CN112561918A (zh) | 卷积神经网络的训练方法和病灶分割方法 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| La Rosa et al. | MPRAGE to MP2RAGE UNI translation via generative adversarial network improves the automatic tissue and lesion segmentation in multiple sclerosis patients | |
| Liu et al. | Glioma segmentation of optimized 3D U-net and prediction of multi-modal survival time | |
| CN114511602A (zh) | 基于图卷积Transformer的医学图像配准方法 | |
| CN114332463A (zh) | 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质 | |
| Lin et al. | Usformer: A Light Neural Network for Left Atrium Segmentation of 3D LGE MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |