CN111784671B - 基于多尺度深度学习的病理图像病灶区域检测方法 - Google Patents

基于多尺度深度学习的病理图像病灶区域检测方法 Download PDF

Info

Publication number
CN111784671B
CN111784671B CN202010622537.7A CN202010622537A CN111784671B CN 111784671 B CN111784671 B CN 111784671B CN 202010622537 A CN202010622537 A CN 202010622537A CN 111784671 B CN111784671 B CN 111784671B
Authority
CN
China
Prior art keywords
image
neural network
convolution neural
pathological
full convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010622537.7A
Other languages
English (en)
Other versions
CN111784671A (zh
Inventor
高忠科
安建鹏
袁涛
曲志勇
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010622537.7A priority Critical patent/CN111784671B/zh
Publication of CN111784671A publication Critical patent/CN111784671A/zh
Application granted granted Critical
Publication of CN111784671B publication Critical patent/CN111784671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

一种基于多尺度深度学习的病理图像病灶区域检测方法:对病理切片图像数据进行预处理;构建全卷积神经网络,全卷积神经网络为特征金字塔结构,特征金字塔结构中自底向上的特征提取部分由一个预训练的ResNet50组成,特征金字塔结构的自顶向下部分将ResNet50输出的特征进行融合并生成最终的概率图输出,选择Adam优化器用于对全卷积神经网络参数进行梯度更新,全卷积神经网络的损失函数选用Focal Loss损失函数,对构建好的全卷积神经网络进行训练;对全卷积神经网络进行测试,是将需要进行判断病理切片图像进行预处理后,输入到训练好的全卷积神经网络中,输出为病灶区域的二值化图像。本发明为病理医生对病人病灶区域的快速判别提供有力的参考数据。

Description

基于多尺度深度学习的病理图像病灶区域检测方法
技术领域
本发明涉及一种病理切片图像病灶区域判断系统。特别是涉及一种基于多尺度深度学习的病理图像病灶区域检测方法。
背景技术
病理诊断是疾病诊断的金标准,病理切片分析为病理诊断提供了依据。临床病理诊断的准确率与病理医生的经验直接相关,这种经验积累除了平时的学习和研究外,还与他们的阅片数量有着很大的关系,而且基于病理医生主观经验的分析结果很难复制,因此即使是经过严格培训的病理医生,他们之间对同一位患者的诊断结果也存在或多或少的差异,这种主观差异性以及之前所提到的疲劳阅片等因素势必会导致一定的误诊与漏诊。病理切片的数字化被认为是病理学发展过程中的重要转折点,高质量全切片数字化图像加速了病理图像在临床病理诊断中的应用,同时也改变了传统病理医生的阅片方式。
近年来,随着数字病理切片在临床病理诊断中的不断应用,高质量数字病理切片的大量积累为病理分析提供了大数据基础。同时深度学习在图像上近年来也取得了巨大成功,使得对于病理识别与诊断的性能提升提供了基础。深度学习中神经网络的多层构架使其可以逐层的提取原始数据中隐藏的高级抽象特征,这使得神经网络可以直接面对原始数据进行训练。当数据量不断増大的时候,神经网络的性能可以不断提高,而当下医疗行业不断增加的数据量为提升神经网络模型的性能提供了有利条件。
由于病理切片图像的高分辨率特性和临床经验的需求,导致计算机辅助诊断难度较大。
发明内容
本发明所要解决的技术问题是,提供一种基于多尺度深度学习的病理图像病灶区域检测方法。
本发明所采用的技术方案是:一种基于多尺度深度学习的病理图像病灶区域检测方法,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)获得原始的数字扫病理切片图像数据集,由专业医生对数据集中的每一张病理切片图像Xi进行手工标注,所述的手工标注包含病灶、血管和脂肪区域的标注,根据手工标注的结果生成与每一张病理切片图像Xi对应的掩膜图像Yi;
(2)对病理切片图像数据集进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题;
(3)对数据集中的每一张病理切片图像Xi进行裁剪切块,每个图像块分辨率为512×512;
2)构建全卷积神经网络,全卷积神经网络为特征金字塔结构,特征金字塔结构中自底向上的特征提取部分由一个预训练的ResNet50组成,特征金字塔结构的自顶向下部分将ResNet50输出的特征进行融合并生成最终的概率图输出,选择Adam优化器用于对全卷积神经网络参数进行梯度更新,全卷积神经网络的损失函数选用Focal Loss损失函数,对构建好的全卷积神经网络进行训练;
3)对全卷积神经网络测试时,将需要进行判断病理切片图像进行预处理后,输入到训练好的全卷积神经网络中,输出为病灶区域的二值化图像,为病理医生快速检测诊断提供参考。
本发明的基于多尺度深度学习的病理图像病灶区域检测方法,结合病理影像学与专业病理医生的判片习惯,构建卷积神经网络的多尺度特征融合的训练方法,分割出特定的病灶区域,实现对病理图像中病灶区域的判断准确性。本发明可应用于辅助病理医生判别病灶区域,通过分析数字扫描的病理切片图像,为实现病理医生对病人病灶区域的快速判别提供有力的参考数据,降低病理医生的误诊率。
附图说明
图1是本发明基于多尺度深度学习的病理图像病灶区域检测方法的训练流程图;
图2是本发明基于多尺度深度学习的病理图像病灶区域检测方法测试流程图。
具体实施方式
下面结合实施例和附图对本发明的基于多尺度深度学习的病理图像病灶区域检测方法做出详细说明。
本发明公开了一种基于多尺度深度学习的病理图像病灶区域检测方法,涉及深度学习与病理图像领域,解决高分辨率病理切片图像中病灶区域的检测,减少误诊率问题,其技是通过提出一种深度学习模型,结合病理医生评片方法,实现多尺度图层特征的共享,为病理医生对病理切片病灶区域的快速且准确的检测提供有效的参考数据。
本发明的基于多尺度深度学习的病理图像病灶区域检测方法,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)获得原始的数字扫病理切片图像数据集,由专业医生对数据集中的每一张病理切片图像Xi进行手工标注,所述的手工标注包含病灶、血管和脂肪区域的标注,根据手工标注的结果生成与每一张病理切片图像Xi对应的掩膜图像Yi;
(2)对病理切片图像数据集进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题;
如:经过专业医生从数据集中选定目标图像Hsource,将数据集中除Hsource以外的其他病理切片图像选定为Htarget,以Hsource的颜色基为标准替换Htarget颜色基,同时保留Htarget的相对染色密度,染色均一化矩阵Vsource表示为:
Figure BDA0002563514510000021
其中P99表示99分位数,Wtarget表示相对光密度分离出的颜色基矩阵。
然后,使用反向比尔-朗伯变换将每个通道和每个像素的源光密度与目标图像进行染色均一化,再将其转换回像素强度空间,公式表示为:
Figure BDA0002563514510000022
c表示图像的三通道,x表示像素位置,target表示选定目标图像,ic,x,source表示转换后的每个像素点值,i0表示最大强度值,e为自然常数。
(3)对数据集中的每一张病理切片图像Xi进行裁剪切块,每个图像块分辨率为512×512;
所述的图像裁剪切块,包括在40×图层下对每一张病理切片图像Xi进行不重叠裁剪切块,同时对该张病理切片图像Xi所对应掩膜图像Yi在相同坐标下进行裁剪切块,得到图像块数据集
Figure BDA0002563514510000031
其中裁剪切块得到的每个图像块的分辨率为4096×4096,N表示病理切片图像数量,xi和yi分别表示在第i张病理切片图像中的图像块的左上角点在横坐标轴与纵坐标轴上的坐标;对图像块数据集A进行降采样得到降采样后的图像块数据集
Figure BDA0002563514510000032
降采样后的每个图像块的分辨率为512×512;将图像块数据集A中每个图像块再进行不重叠裁剪切块,得到高分辨率数据集
Figure BDA0002563514510000033
该高分辨率数据集中每个图像块的分辨率为512×512,图像块数据集A中每个坐标点(xi,yi)裁剪出ni个图像块,j表示在第i张病理切片图像中的索引。
2)构建全卷积神经网络,全卷积神经网络为特征金字塔结构,特征金字塔结构中自底向上的特征提取部分由一个预训练的ResNet50组成,特征金字塔结构的自顶向下部分将ResNet50输出的特征进行融合并生成最终的概率图输出,选择Adam优化器用于对全卷积神经网络参数进行梯度更新,全卷积神经网络的损失函数选用Focal Loss损失函数,对构建好的全卷积神经网络进行训练;其中,
所述的ResNet结构通过短路机制加入了残差单元,利用残差学习来解决退化问题。ResNet直接使用步长为2的卷积做下采样,并且用全局平局池化层替换了全连接层。ResNet在的结构每两个卷积层间增加了短路机制,这就形成了残差学习。当需要更深层网络更深时,ResNet进行的是每三个卷积层间的残差学习,第1卷积层和第3卷积层的卷积核大小为1×1,第2卷积层的卷积核大小为3×3。
对于一个堆积层结构,输入为u时学习到的特征记为H(u),可以学习到残差F(u)=H(u)–u。当残差为0时,此时堆积层仅仅做了恒等映射,网络性能不会下降,这也会使得堆积层在输入特征基础上学习到新的特征,从而拥有更好的性能。
残差单元可以表示为:
zl=ul+F(ul,Wl)
ul+1=r(zl)
其中ul和ul+1分别表示的是第l个残差单元的输入和输出,zl表示的是激活函数的输入,F表示残差映射,r是ReLU激活函数,基于上式,求得从浅层l到深层L的学习特征为:
Figure BDA0002563514510000034
利用链式规则,可以求得反向过程的梯度:
Figure BDA0002563514510000035
loss表示为损失函数值,式子的第一个因子
Figure BDA0002563514510000041
表示的损失函数到达L的梯度,小括号中的常数1表明短路机制可以无损地传播梯度。
特征金字塔结构分为两部分:自底向上的部分和自顶向下的部分,其中,
自底向上的部分为ResNet50,共分为五级,其中,第一级无输出,第二级最后一个残差块conv2的输出为C2,第三级最后一个残差块conv3的输出为C3,第四级最后一个残差块conv4的输出为C4,第五级最后一个残差块conv5的输出为C5,并且输出C2、C3、C4和C5相对于输入图像依次具有4、8、16和32像素的步长提取特征;
自顶向下的部分为特征图上采样,是通过双线性插值方法得到高分辨率特征图后,再依次采用一个1×1卷积核和一个3×3卷积核进行维度一致的处理,最后再通过跳跃连接分别与C2、C3、C4和C5相加;
关于线性插值的解释是,已知数据(a0,w0)与(a1,w1),计算[a0,a1]区间内某一位置a在直线上的w值:
Figure BDA0002563514510000042
Figure BDA0002563514510000043
双线性插值是有两个变量的插值函数的线性插值扩展,核心思想是在两个方向分别进行一次线性插值。例如需要得到未知函数f在点P=(a,w)的值,假设我们已知函数f在Q11=(a1,w1)、Q12=(a1,w2),Q21=(a2,w1)以及Q22=(a2,w2)四个点的值。分别在a方向和w方向进行线性插值,得到最后结果:
Figure BDA0002563514510000044
所述的ResNet50中的每个卷积操层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层;
每个卷积层都依据以下公式来提取特征图:
Figure BDA0002563514510000045
其中
Figure BDA0002563514510000046
为向下取整,xin表示输入特征图大小,xout表示输出特征图大小,padding表示填充特征图像素点的大小,s表示步长,b表示卷积的核大小;
ReLU非线性激活层给神经元引入了非线性因素,ReLU非线性激活层公式如下:
f(x)=max(0,x)
批归一化就是通过规范化函数,将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布,所述规范化函数如下式:
Figure BDA0002563514510000047
式中,
Figure BDA0002563514510000051
Figure BDA0002563514510000052
其中,λd为第d个神经元原始激活值,
Figure BDA0002563514510000053
为经过规范化操作后的规范值;η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值,τ是为了增加训练稳定性而加入的小的常量数据,
Figure BDA0002563514510000054
为根据均值和集合S中神经元各自激活值求出的激活值标准差,
Figure BDA0002563514510000055
和ρd表示在训练过程中神经元学习到对应的两个调节因子。
所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维,池化操作层公式如下:
Figure BDA0002563514510000056
其中
Figure BDA0002563514510000057
为向下取整,xin表示输入特征图大小,xout表示输出特征图大小,padding表示填充特征图像素点的大小,s表示步长,e表示池化窗口大小;
在池化操作层中,采用如下公式实现全卷积神经网络中池化操作梯度的计算:
Figure BDA0002563514510000058
其中,loss表示为损失函数值,Pooling_in表示为池化操作层输入,Pooling_out表示为池化操作层输出,Pooling.backward表示为池化操作层的反向传播。
所述的选择Adam优化器用于对全卷积神经网络参数进行梯度更新,更新规则如下:
(1)计算t时间梯度的指数移动平均数
首先计算梯度
Figure BDA0002563514510000059
其中,gt表示在t时间步上对参数θt所求的梯度,
Figure BDA00025635145100000510
表示梯度算子,J(θt-1)表示一个可微分的随机标量函数;
根据梯度计算t时间梯度的指数移动平均数mt,公式如下:
mt=β1mt-1+(1-β1)gt
将一阶矩向量m初始化为0,β1为指数衰减率,默认为0.9,用于控制权重分配;
(2)计算梯度平方的指数移动平均数vt,公式如下:
Figure BDA00025635145100000511
将二阶矩向量v初始化为0,β2为指数衰减率,默认为0.999,用于控制之前的梯度平方的影响情况;
(3)由于一阶矩向量m初始化为0,会导致t时间梯度的指数移动平均数mt偏向于0,要对t时间梯度的指数移动平均数mt进行偏差纠正,降低偏差对训练初期的影响:
Figure BDA00025635145100000512
其中,
Figure BDA0002563514510000061
为进行偏差纠正后的梯度均值;
(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数vt偏向0,对梯度平方的指数移动平均数进行纠正,公式如下:
Figure BDA0002563514510000062
其中,
Figure BDA0002563514510000063
为进行偏差纠正后的二阶原始矩估计;
(5)更新网络的参数θt,公式如下:
Figure BDA0002563514510000064
其中,α为学习率,默认学习率α的初始值为0.001,θt-1为更新前的网络的参数,常数ε=10-8,避免除数变为0;
在对全卷积神经网络进行训练时,随着训练次数的增加,学习率α逐渐衰减,衰减公式为:
Figure BDA0002563514510000065
其中,decayrate表示为衰减率,epoch_num表示为训练的次数,α0表示为初始学习率。
所述的Focal Loss损失函数是基于交叉熵损失CE的改进,所述的交叉熵损失CE表达式如下:
Figure BDA0002563514510000066
其中p表示预测概率,label表示标签值;
而病理切片图像中的病灶区域一般相对于整张病理切片图像面积占比较小,因此在交叉熵损失CE的表达式中加上一个参数ξ,即:
Figure BDA0002563514510000067
加上超参数γ,得到所述的Focal Loss损失函数Lfl,公式为:
Figure BDA0002563514510000068
其中,超参数γ使得减少易分类病理切片图像的损失,使得全卷积神经网络更关注于困难的、错分的病理切片图像,ξ来平衡类别不均衡。
所述的对构建好的全卷积神经网络进行训练,训练流程图如图1所示,共训练50轮,每轮训练流程分为3步:
(1)从降采样后的图像块数据集Al中随机抽取一个图像块进行训练,批处理大小为1,对全卷积神经网络进行训练,并更新全卷积神经网络参数;
(2)以高分辨率数据集Ah对更新参数后的全卷积神经网络进行训练,输入的图像块为对应于上一轮高分辨率数据集Al中同一物理尺度下的ni个图像块,即批处理大小为ni进行训练,输出ni张特征图,按照图像块坐标拼接并进行下采样操作得到特征图T1;
(3)以第(1)中随机抽取一个病理切片图像对第(2)步训练好的全卷积神经网络进行训练得到与特征图T1大小相同的特征图T2,并将特征图T1和特征图T2融合输入FocalLoss损失函数Lfl,并进行反向传播;
(4)重复第(1)步~第(3)步,直至将降采样后的图像块数据集Al中所有图像块抽取训练后,一轮完成,下一轮重复第(1)步~第(4)步,经过50轮后得到最终训练好的全卷积神经网络。
3)将需要进行判断病理切片图像进行预处理后,输入到训练好的全卷积神经网络中,输出为病灶区域的二值化图像,为病理医生快速检测诊断提供参考。
全卷积神经网络测试,测试流程图如图2所示,从4×图层下进行裁剪切块,得到n块大小为512×512像素,同时记录下每个图像块左上角的坐标,设置批处理大小为128,输入训练好的全卷积神经网络,得到n个概率图,根据输入的图像块坐标,重新拼接成与4×图层下病理切片图像大小相同的概率图,设置阈值0.5,对概率图进行阈值二值化处理。
基于多尺度深度学习的病理图像病灶区域检测方法的应用是在获取数字扫描病理切片图像的基础上,通过基于多尺度深度学习的病理图像病灶区域检测方法,得到用于专业病理医生对病人的病灶区域判别的参考数据。

Claims (8)

1.一种基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)获得原始的数字扫病理切片图像数据集,由专业医生对数据集中的每一张病理切片图像Xi进行手工标注,所述的手工标注包含病灶、血管和脂肪区域的标注,根据手工标注的结果生成与每一张病理切片图像Xi对应的掩膜图像Yi;
(2)对病理切片图像数据集进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题;
(3)对数据集中的每一张病理切片图像Xi进行裁剪切块,每个图像块分辨率为512×512;
所述的图像裁剪切块,包括在40×图层下对每一张病理切片图像Xi进行不重叠裁剪切块,同时对该张病理切片图像Xi所对应掩膜图像Yi在相同坐标下进行裁剪切块,得到图像块数据集
Figure FDA0003648029280000011
其中裁剪切块得到的每个图像块的分辨率为4096×4096,其中N表示病理切片图像数量,xi和yi分别表示在第i张病理切片图像中的图像块的左上角点在横坐标轴与纵坐标轴上的坐标;对图像块数据集A进行降采样得到降采样后的图像块数据集
Figure FDA0003648029280000012
l代表低分辨率,降采样后的每个图像块的分辨率为512×512;将图像块数据集A中每个图像块再进行不重叠裁剪切块,得到高分辨率数据集
Figure FDA0003648029280000013
h代表高分辨率,该高分辨率数据集中每个图像块的分辨率为512×512,图像块数据集A中每个坐标点(xi,yi)裁剪出ni个图像块,j表示在第i张病理切片图像中的索引;
2)构建全卷积神经网络,全卷积神经网络为特征金字塔结构,特征金字塔结构中自底向上的特征提取部分由一个预训练的ResNet50组成,特征金字塔结构的自顶向下部分将ResNet50输出的特征进行融合并生成最终的概率图输出,选择Adam优化器用于对全卷积神经网络参数进行梯度更新,全卷积神经网络的损失函数选用Focal Loss损失函数,对构建好的全卷积神经网络进行训练;
3)对全卷积神经网络测试时,将需要进行判断病理切片图像进行预处理后,输入到训练好的全卷积神经网络中,输出为病灶区域的二值化图像,为病理医生快速检测诊断提供参考。
2.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤2)中所述的特征金字塔结构分为两部分:自底向上的部分和自顶向下的部分,其中,自底向上的部分为ResNet50,共分为五级,其中,第一级无输出,第二级最后一个残差块conv2的输出为C2,第三级最后一个残差块conv3的输出为C3,第四级最后一个残差块conv4的输出为C4,第五级最后一个残差块conv5的输出为C5,并且输出C2、C3、C4和C5相对于输入图像依次具有4、8、16和32像素的步长提取特征;
自顶向下的部分为特征图上采样,是通过双线性插值方法得到高分辨率特征图后,再依次采用一个1×1卷积核和一个3×3卷积核进行维度一致的处理,最后再通过跳跃连接分别与C2、C3、C4和C5相加。
3.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤2)中所述的ResNet50中的每个卷积操层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层;
每个卷积层都依据以下公式来提取特征图:
Figure FDA0003648029280000021
其中
Figure FDA0003648029280000022
为向下取整,xin表示输入特征图大小,xout表示输出特征图大小,padding表示填充特征图像素点的大小,s表示步长,b表示卷积的核大小;
ReLU非线性激活层给神经元引入了非线性因素,ReLU非线性激活层公式如下:
f(x)=max(0,x)
批归一化就是通过规范化函数,将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布,所述规范化函数如下式:
Figure FDA0003648029280000023
式中,
Figure FDA0003648029280000024
Figure FDA0003648029280000025
其中,λd为第d个神经元原始激活值,
Figure FDA0003648029280000026
为经过规范化操作后的规范值;η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值,τ是为了增加训练稳定性而加入的小的常量数据,
Figure FDA0003648029280000027
为根据均值和集合S中神经元各自激活值求出的激活值标准差,
Figure FDA0003648029280000028
和ρd表示在训练过程中神经元学习到对应的两个调节因子。
所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维,池化操作层公式如下:
Figure FDA0003648029280000029
其中
Figure FDA00036480292800000210
为向下取整,xin表示输入特征图大小,xout表示输出特征图大小,padding表示填充特征图像素点的大小,s表示步长,e表示池化窗口大小;
在池化操作层中,采用如下公式实现全卷积神经网络中池化操作梯度的计算:
Figure FDA00036480292800000211
其中,loss表示为损失函数值,Pooling_in表示为池化操作层输入,Pooling_out表示为池化操作层输出,Pooling.backward表示为池化操作层的反向传播。
4.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤2)中所述的选择Adam优化器用于对全卷积神经网络参数进行梯度更新,更新规则如下:
(1)计算t时间梯度的指数移动平均数
首先计算梯度
Figure FDA0003648029280000031
其中,gt表示在t时间步上对参数θt所求的梯度,
Figure FDA0003648029280000032
表示梯度算子,J(θt-1)表示一个可微分的随机标量函数;
根据梯度计算t时间梯度的指数移动平均数mt,公式如下:
mt=β1mt-1+(1-β1)gt
将一阶矩向量m初始化为0,β1为指数衰减率,默认为0.9,用于控制权重分配;
(2)计算梯度平方的指数移动平均数vt,公式如下:
Figure FDA0003648029280000033
将二阶矩向量v初始化为0,β2为指数衰减率,默认为0.999,用于控制之前的梯度平方的影响情况;
(3)由于一阶矩向量m初始化为0,会导致t时间梯度的指数移动平均数mt偏向于0,要对t时间梯度的指数移动平均数mt进行偏差纠正,降低偏差对训练初期的影响:
Figure FDA0003648029280000034
其中,
Figure FDA0003648029280000035
为进行偏差纠正后的梯度均值;
(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数vt偏向0,对梯度平方的指数移动平均数进行纠正,公式如下:
Figure FDA0003648029280000036
其中,
Figure FDA0003648029280000037
为进行偏差纠正后的二阶原始矩估计;
(5)更新网络的参数θt,公式如下:
Figure FDA0003648029280000038
其中,α为学习率,默认学习率α的初始值为0.001,θt-1为更新前的网络的参数,常数ε=10-8,避免除数变为0;
在对全卷积神经网络进行训练时,随着训练次数的增加,学习率α逐渐衰减,衰减公式为:
Figure FDA0003648029280000039
其中,decayrate表示为衰减率,epoch_num表示为训练的次数,α0表示为初始学习率。
5.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤2)中所述的Focal Loss损失函数是基于交叉熵损失CE的改进,所述的交叉熵损失CE表达式如下:
Figure FDA0003648029280000041
其中p表示预测概率,label表示标签值;
而病理切片图像中的病灶区域一般相对于整张病理切片图像面积占比较小,因此在交叉熵损失CE的表达式中加上一个参数ξ,即:
Figure FDA0003648029280000042
加上超参数γ,得到所述的Focal Loss损失函数Lfl,公式为:
Figure FDA0003648029280000043
其中,超参数γ使得减少易分类病理切片图像的损失,使得全卷积神经网络更关注于困难的、错分的病理切片图像,ξ来平衡类别不均衡。
6.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤2)中所述的对构建好的全卷积神经网络进行训练,共训练50轮,每轮训练流程分为3步:
(1)从降采样后的图像块数据集Al中随机抽取一个图像块进行训练,批处理大小为1,对全卷积神经网络进行训练,并更新全卷积神经网络参数;
(2)以高分辨率数据集Ah对更新参数后的全卷积神经网络进行训练,输入的图像块为对应于上一轮高分辨率数据集Al中同一物理尺度下的ni个图像块,即批处理大小为ni进行训练,输出ni张特征图,按照图像块坐标拼接并进行下采样操作得到特征图T1;
(3)以第(1)中随机抽取一个病理切片图像对第(2)步训练好的全卷积神经网络进行训练得到与特征图T1大小相同的特征图T2,并将特征图T1和特征图T2融合输入Focal Loss损失函数Lfl,并进行反向传播;
(4)重复第(1)步~第(3)步,直至将降采样后的图像块数据集Al中所有图像块抽取训练后,一轮完成,下一轮重复第(1)步~第(4)步,经过50轮后得到最终训练好的全卷积神经网络。
7.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,步骤3)所述的全卷积神经网络测试,是从4×图层下进行裁剪切块,得到n块大小为512×512像素,同时记录下每个图像块左上角的坐标,设置批处理大小为128,输入训练好的全卷积神经网络,得到n个概率图,根据输入的图像块坐标,重新拼接成与4×图层下病理切片图像大小相同的概率图,设置阈值0.5,对概率图进行阈值二值化处理。
8.根据权利要求1所述的基于多尺度深度学习的病理图像病灶区域检测方法,其特征在于,应用是在获取数字扫描病理切片图像的基础上,通过基于多尺度深度学习的病理图像病灶区域检测方法,得到用于专业病理医生对病人的病灶区域判别的参考数据。
CN202010622537.7A 2020-06-30 2020-06-30 基于多尺度深度学习的病理图像病灶区域检测方法 Active CN111784671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622537.7A CN111784671B (zh) 2020-06-30 2020-06-30 基于多尺度深度学习的病理图像病灶区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622537.7A CN111784671B (zh) 2020-06-30 2020-06-30 基于多尺度深度学习的病理图像病灶区域检测方法

Publications (2)

Publication Number Publication Date
CN111784671A CN111784671A (zh) 2020-10-16
CN111784671B true CN111784671B (zh) 2022-07-05

Family

ID=72761514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622537.7A Active CN111784671B (zh) 2020-06-30 2020-06-30 基于多尺度深度学习的病理图像病灶区域检测方法

Country Status (1)

Country Link
CN (1) CN111784671B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419246B (zh) * 2020-11-12 2022-07-22 复旦大学 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN112489788A (zh) * 2020-11-25 2021-03-12 武汉大学中南医院 一种用于癌症诊断的多模态影像分析方法及系统
CN112488213A (zh) * 2020-12-03 2021-03-12 杭州电子科技大学 一种基于多尺度特征学习网络的火灾图片分类方法
CN112418170B (zh) * 2020-12-11 2024-03-01 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112862089B (zh) * 2021-01-20 2023-05-23 清华大学深圳国际研究生院 一种具有可解释性的医学图像深度学习方法
CN112967266B (zh) * 2021-03-23 2024-02-06 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积面积计算方法
CN113269734B (zh) * 2021-05-14 2023-04-07 成都市第三人民医院 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN113837039B (zh) * 2021-09-13 2023-10-24 常州大学 一种基于卷积神经网络的果实生长形态视觉辨识方法
CN114266794B (zh) * 2022-02-28 2022-06-10 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114638292B (zh) * 2022-03-10 2023-05-05 中国医学科学院北京协和医院 一种基于多尺度分析的人工智能病理辅助诊断系统
CN114638807B (zh) * 2022-03-22 2023-10-20 无锡雪浪数制科技有限公司 一种基于深度学习的金属板材表面缺陷检测方法
CN114820502B (zh) * 2022-04-21 2023-10-24 济宁医学院附属医院 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法
CN115274099B (zh) * 2022-09-26 2022-12-30 之江实验室 一种人与智能交互的计算机辅助诊断系统与方法
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质
CN117237334B (zh) * 2023-11-09 2024-03-26 江西联益光学有限公司 一种基于深度学习的手机镜头杂光检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110781953A (zh) * 2019-10-24 2020-02-11 广州乐智医疗科技有限公司 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097559A (zh) * 2019-04-29 2019-08-06 南京星程智能科技有限公司 基于深度学习的眼底图像病灶区域标注方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110781953A (zh) * 2019-10-24 2020-02-11 广州乐智医疗科技有限公司 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Feature Pyramid Networks for Object Detection";Tsung-Yi Lin etc.;《arXiv:1612.03144v2[cs.CV]》;20170419;论文第3节 *

Also Published As

Publication number Publication date
CN111784671A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111798464A (zh) 基于深度学习的淋巴瘤病理图像智能识别方法
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN113344951A (zh) 一种边界感知双重注意力引导的肝段分割方法
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN117132774B (zh) 一种基于pvt的多尺度息肉分割方法及系统
CN114693719A (zh) 基于3D-SE-Vnet的脊柱图像分割方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN115471470A (zh) 一种食管癌ct图像分割方法
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN115578406A (zh) 基于上下文融合机制的cbct颌骨区域分割方法及系统
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
CN112862745B (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant