发明内容
针对现有技术的不足,本发明提出一种肺部数字病理图像自动定量分析方法,其中包括:
步骤1、将肺部数字病理图像输入基础特征提取网络,生成基础特征图,该基础特征图经过多尺度膨胀卷积网络处理,得到第一融合特征;
步骤2、将该第一融合特征输入至边缘信息增强网络,得到边缘增强特征图,并将该边缘增强特征图分别与多张基础特征提取网络生成该基础特征图过程中的中间特征相融合,得到多张第二融合特征;
步骤3、根据该第二融合特征的语义信息,得到该肺部数字病理图像中每一像素对应的类别。
所述的肺部数字病理图像自动定量分析方法,其特征在于
该步骤1包括:对肺部数字病理图片进行裁剪并下采样后输入该基础特征提取网络;
该步骤3包括:对该第二融合特征进行上采样,得到和该肺部数字病理图像尺寸相同的语义特征图,将该语义特征图中每一像素具有的类别作为该肺部数字病理图像中对应像素的类别。
所述的肺部数字病理图像自动定量分析方法,其中基础特征提取网络的结构采用ResNet-101。
所述的肺部数字病理图像自动定量分析方法,其中步骤1包括:将基础特征图分别输入到1×1的卷积层,三种不同膨胀系数的3×3的卷积层和池化层中来提取对应的特征图,最后通过融合层将这五种不同尺度的特征图融合在一起,得到该第一融合特征。
所述的肺部数字病理图像自动定量分析方法,其中裁减的尺寸为1024×1024,下采样的尺寸为512×512;基础特征提取网络的结构采用深度为101层,宽度为2048个通道的ResNet-101网络结构;从基础特征提取网络的卷积层输出选取32×32×512和64×64×256这两个尺度的特征图作为该中间特征。
本发明还提出了一种肺部数字病理图像自动定量分析系统,其中包括:
模块1,用于将肺部数字病理图像输入基础特征提取网络,生成基础特征图,该基础特征图经过多尺度膨胀卷积网络处理,得到第一融合特征;
模块2,用于将该第一融合特征输入至边缘信息增强网络,得到边缘增强特征图,并将该边缘增强特征图分别与多张基础特征提取网络生成该基础特征图过程中的中间特征相融合,得到多张第二融合特征;
模块3,用于根据该第二融合特征的语义信息,得到该肺部数字病理图像中每一像素对应的类别。
所述的肺部数字病理图像自动定量分析系统,其特征在于
该模块1包括:对肺部数字病理图片进行裁剪并下采样后输入该基础特征提取网络;
该模块3包括:对该第二融合特征进行上采样,得到和该肺部数字病理图像尺寸相同的语义特征图,将该语义特征图中每一像素具有的类别作为该肺部数字病理图像中对应像素的类别。
所述的肺部数字病理图像自动定量分析系统,其中基础特征提取网络的结构采用ResNet-101。
所述的肺部数字病理图像自动定量分析系统,其中模块1包括:将基础特征图分别输入到1×1的卷积层,三种不同膨胀系数的3×3的卷积层和池化层中来提取对应的特征图,最后通过融合层将这五种不同尺度的特征图融合在一起,得到该第一融合特征。
所述的肺部数字病理图像自动定量分析系统,其中裁减的尺寸为1024×1024,下采样的尺寸为512×512;基础特征提取网络的结构采用深度为101层,宽度为2048个通道的ResNet-101网络结构;从基础特征提取网络的卷积层输出选取32×32×512和64×64×256这两个尺度的特征图作为该中间特征。
由以上方案可知,本发明的优点在于:
本发明通过引入多尺度网络结构将不同尺度的特征图融合在一起,使得特征信息更加丰富,提升了分割精度。通过引入边缘信息增强网络结构与不同尺度特征图进行像素融合,有效抑制背景信息,提升目标相应值,将前景和背景有效分隔开,提升分割精度。
具体实施方式
本发明包括:步骤S1将病理图像进行裁剪和缩放;步骤S2将裁剪缩放的图片传到基础网络中提取基础特征图;步骤S3使用多尺度膨胀卷积网络结构对基础特征图进行处理,提取更加丰富的语义特征信息;步骤S4对步骤S3产生的特征图进一步处理,提取边缘特征图。将基础网络结构不同尺度的特征图分别与边缘特征图进行融合来有效抑制背景信息,提升目标信息;步骤S5通过解码器输出分割结果,计算出每个类别的占比,完成各个类别的定量分析。本发明在基于深度学习语义分割算法的基础上结合了多尺度信息和边缘信息增强算法。利用特征图的多尺度信息来提取深层次的语义信息和外观信息,提升了算法分割精度;同时借助边缘信息增强算法抑制背景特征信息,提高目标响应,有效提升了病理图像自动定量分析的精度。
具体来说本发明方法包括以下步骤:
S1、首先输入原始图片,并对原始病理图片进行裁剪和缩放,为了能够得到较大的感受野,将图片裁剪范围设为1024×1024。同时为了能够使裁剪之后的图片放到网络里面进行训练,我们将裁剪之后的图片缩放到512×512大小,这样我们既可以降低训练的硬件需求又可以保留病理图像充分的特征信息;
S2、将预处理之后的图片传到基础网络结构里面提取基础特征图。由于语义分割对于基础特征的要求较高,因此采用较深和较宽的ResNet-101网络结构来提取病理图片丰富的语义信息;
S3、基础特征图经过多尺度膨胀卷积网络结构,来提取不同尺度的特征信息。多尺度膨胀卷积网络结构由不同膨胀系数的卷积层组成,可以融合不同感受野的特征信息,提升分割精度。
S4、通过边缘信息增强网络结构来对S3中的多尺度信息进行进一步的特征提取,然后将得到的边缘特征信息和对应尺度的特征图进行融合得到边缘信息增强特征图。
S5、最后通过解码器网络结构输出最终的分割结果,然后通过分割结果对病理图像的不同成分进行自动化定量分析。
所述步骤S1中对原始病理图片裁剪,为了能够得到较大的感受野获取更多的上下文信息图片裁剪的尺寸设为1024×1024。虽然裁剪之后的病理图片可以得到更多的感受野和上下文信息,但是由于图片太大对电脑硬件设备要求很高,普通硬件设备无法高效的对当前网络结构进行训练与测试。于是将图片缩放至512×512,这样既能够减少硬件资源占用提升训练和测试速度,又不会损失太多的图像信息。
所述步骤S2对预处理之后的图片进行特征提取用于后续的分割。基础特征的好坏直接影响到语义分割的精度,为了能够获取到足够丰富的语义信息,我们选用了ResNet-101作为基础网络结构,该网络结构在网络深度和网络宽度都可以满足语义分割对于基础特征的要求。
所述步骤S3使用不同膨胀系数的卷积层来融合不同尺度的特征信息提升分割精度。
述步骤S4边缘信息增强网络结构来增强分割边缘信息,然后将不同尺度的特征图分别和对应尺度的边缘特征信息进行融合来抑制无用的背景信息,提高目标的信息响应值,从而提升分割精度。
所述步骤S5使用解码器网络结构将特征图通过线性插值法上采样到原图大小得到病理图片的分割结果,最后通过分割结果来计算得到各个类别的定量分析结果。
为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
本发明解决上述技术问题的技术方案是:
本发明的方法流程如图1所示。
具体步骤:
步骤S1:由于原始病理图像比较大,无法整张传到网络里面进行训练。首先我们对病理图片进行裁剪,为了能够得到更大的感受野和更加丰富的上下文信息,将裁减的尺寸设为1024×1024大小。同时为了能够将裁剪之后的病理图片放到网络里面进行高效训练,将裁剪之后的病理图片缩减为512×512,这样既可以在一定程度上保留病理图片的信息,又可以在网络中进行高效的训练。
步骤S2:然后我们将裁剪缩放之后的图片传到基础网络结构中提取基础特征信息。由于语义分割需要丰富的语义信息才能够取得较高的分割精度,因此需要一个合适的网络宽度和深度来提取特征。我们选取的是ResNet-101作为基础网络结构。该网络结构的深度为101层,宽度为2048个通道,在网络深度和网络宽度都可以满足语义分割对于基础特征的要求。同时为了解决网络太深造成梯度消失问题,该网络引入了残差块的网络结构,ResNet-101网络结构就是由不同数量的残差块组合而成。残差块的结构如图2所示,X表示输入的特征图,经过两个网络层之后得到特征图F(X),最后残差结构将F(X)和X相加得到残差块的输出结果,这样就可以有效的保留上一层的信息,防止信息的流失。
步骤S3:将S2中的特征图传到多尺度膨胀卷积网络结构中,来提取多尺度的特征,通过融合不同尺度的特征图片来提升分割精度。网络结构如图3所示,将S2中的特征图分别输入到1×1的卷积,三种不同膨胀系数的3×3的卷积和池化层中来提取对应的特征图,最后通过融合层将这五种不同尺度的特征图融合在一起,在网络结构中引入多尺度信息,提升分割精度。
步骤S4:将S3得到的结果传输到边缘信息增强网络结构中得到信息增强之后的特征图T(X),然后将T(X)分别与尺度为32×32×512和64×64×256的特征图进行特征融合得到两种不同尺度的特征信息。利用多尺度丰富的语义信息,获得准确的像素分类结果,实现对前景和背景的分割指导。
基础网络结构是ResNet-101,此网络结构会有很多卷积层,每一个卷积层都会输出的特征图,并且特征图会随着网络的深度逐渐变小,上述选取了32×32×512和64×64×256这两个尺度的特征图作为我们的融合特征,可以直接通过Resnet-101卷积层输出得到。
此网络结构类似于残差网络结构,既保留了前面32和64特征信息,又可以引进多尺度膨胀卷积特征信息,这样就可以让我们的特征图信息更加丰富,更有利于我们的分割。
语义分割本质上可以理解为是分类算法,对每一个像素来进行分类。分类效果的好坏最主要的因素就是丰富的特征信息。因此我们将不同尺度的特征信息融合进来,来得到对每一个像素点的更加准确的分类结果。这样所有的像素点整合在一起就是我们最后的分割结果。
步骤S5:通过解码网络结构进行上采样双线性插值得到2X和4X的特征,然后与基础网络结构中对应大小的低级特征融合在一起,最后再双线性插值得到与原始图片相同大小的分割预测。通过我们分割的结果对每一个类别的像素数量进行统计,最后得到每一个类别像素数量和占比,从而实现病例图片的自动定量分析。
为了评估算法的性能,本发明采用了像素准确率,分类准确率,平均交并比和加权交并比这四个评价指标来全方位评价我们算法的性能。
本实将数据集划分为9:1的比例来训练和测试本发明的分割算法。图4对应的是我们需要分割的6个类别图片。下表1为本发明的实验结果表格。
表1
以下为与上述方法实施例对应的系统实施例,本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种肺部数字病理图像自动定量分析系统,其中包括:
模块1,用于将肺部数字病理图像输入基础特征提取网络,生成基础特征图,该基础特征图经过多尺度膨胀卷积网络处理,得到第一融合特征;
模块2,用于将该第一融合特征输入至边缘信息增强网络,得到边缘增强特征图,并将该边缘增强特征图分别与多张基础特征提取网络生成该基础特征图过程中的中间特征相融合,得到多张第二融合特征;
模块3,用于根据该第二融合特征的语义信息,得到该肺部数字病理图像中每一像素对应的类别。
所述的肺部数字病理图像自动定量分析系统,其特征在于
该模块1包括:对肺部数字病理图片进行裁剪并下采样后输入该基础特征提取网络;
该模块3包括:对该第二融合特征进行上采样,得到和该肺部数字病理图像尺寸相同的语义特征图,将该语义特征图中每一像素具有的类别作为该肺部数字病理图像中对应像素的类别。
所述的肺部数字病理图像自动定量分析系统,其中基础特征提取网络的结构采用ResNet-101。
所述的肺部数字病理图像自动定量分析系统,其中模块1包括:将基础特征图分别输入到1×1的卷积层,三种不同膨胀系数的3×3的卷积层和池化层中来提取对应的特征图,最后通过融合层将这五种不同尺度的特征图融合在一起,得到该第一融合特征。
所述的肺部数字病理图像自动定量分析系统,其中裁减的尺寸为1024×1024,下采样的尺寸为512×512;基础特征提取网络的结构采用深度为101层,宽度为2048个通道的ResNet-101网络结构;从基础特征提取网络的卷积层输出选取32×32×512和64×64×256这两个尺度的特征图作为该中间特征。