CN114266898A - 一种基于改进EfficientNet的肝癌识别方法 - Google Patents
一种基于改进EfficientNet的肝癌识别方法 Download PDFInfo
- Publication number
- CN114266898A CN114266898A CN202210027716.5A CN202210027716A CN114266898A CN 114266898 A CN114266898 A CN 114266898A CN 202210027716 A CN202210027716 A CN 202210027716A CN 114266898 A CN114266898 A CN 114266898A
- Authority
- CN
- China
- Prior art keywords
- convolution
- efficientnet
- mbconv
- size
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 201000007270 liver cancer Diseases 0.000 title claims abstract description 44
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000001575 pathological effect Effects 0.000 claims abstract description 23
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 9
- 210000004185 liver Anatomy 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 22
- 239000011800 void material Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002779 inactivation Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000000405 serological effect Effects 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种基于改进EfficientNet的肝癌识别方法，包括以下步骤：获取肝癌病理切面照片和正常肝脏切片照片构建数据集；对构建的数据集进行预处理；将数据集分为训练集、验证集和测试集；构建基于改进EfficientNet的分类模型并对改进EfficientNet分类模型进行学习训练；针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进，将原有SENet模块替换为SKNet，形成改进EfficientNet网络模型；对改进EfficientNet的分类模型进行学习训练，保存训练好的模型；输入待识别的肝癌病理切片图像，通过训练好的改进EfficientNet分类模型对肝癌病理切片图像进行识别，无需人工干预即可得到对应的分析识别结果。本发明结合EfficientNet高速度与精度、SKNet高特征提取能力的优点，在减少模型参数的同时更好的对肝癌病理切片图像进行识别。
Description
技术领域
本发明属于图像识别技术领域，具体设计一种基于改进EfficientNet的肝癌识别方法。
背景技术
肝癌的主要诊断方法是血清检查和病理活检。血清检查经常需要与影像学检查配合已作出准确的判断，病理活检是诊断肝癌最直接的方法。收集患者可疑区域的组织以进行直接检查，传统的疾病分类取决于医生的经验，判断标准的主观差异和病变的非线性特征会在一定程度上影响监测结果的准确性。而现在主流的辅助诊断方法多采用SVM等，同样会受到主观因素的干扰。
现有技术存在的问题或者缺陷：现在的肝癌诊断方法主要依赖人工识别，而人工识别容易受到主观因素的干扰，影响判断。当前基于CNN的分类模型朝向了更深或更宽层的复杂结构演进。虽然在一定程度上取得不错效果，但是深层意味着网络模型具有更多的参数，这不仅增加了计算开销，同时对计算机硬件设备要求更高。
发明内容
本发明要解决的技术问题在于针对现有技术的缺陷，本发明提供了一种基于改
包括以下步骤。
S1：数据采集，获取肝癌病理切片照片和正常肝脏切片照片，并将照片缩放成预设大小后构建数据集。
S2：数据预处理，对构建的数据集进行预处理，所述预处理包括灰度化、几何变换和图像增强。
S3：数据集划分，将数据集分为训练集、验证集和测试集。
S4：构建基于改进EfficientNet的分类模型并对改进EfficientNet分类模型进行学习训练；针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进，将原有SENet模块替换为SKNet，首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作，形成SK-MBConv网络结构；将SK-MBConv融合原始EfficientNet模型，形成改进EfficientNet网络模型；对改进EfficientNet分类模型进行学习训练，将训练数据集中的肝癌病理切片图像输入改进EfficientNet分类模型进行训练，保存训练好的模型。
S5：肝癌识别，输入待识别的肝癌病理切片图像，通过训练好的改进
EfficientNet分类模型对肝癌病理切片图像进行识别，获得特征向量，利用全连接层进行肝癌识别判定，并得到相应的识别结果。
所述S2中灰度化的方法为：Grey＝0.30*R+0.59*G+0.11*B，其中，R为第一个通道即f＝0时的数据，G为第一个通道即f＝1时的数据，B为第三个通道即f＝2时的数据，将3个通道的数据进行组合，得到单通道的灰度数据，灰度数据的数据形式为(n ,x ,y)，其中n为图片编号，x与y为灰度处理后图片对应位置像素点。
所述S2中几何变换的方法为：通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差。
所述S3中训练集、验证集与测试集的比例为6：1：3，所述训练集用于网络进行参数训练，获取肝癌切片分类识别模型；所述验证集用于检测训练得到的网络是过拟合还是欠拟合，所述测试集来测试模型的正确率和误差，以验证模型的有效性。
所述S4中的SKNet具体为：选择性卷积核机制SKNet采用非线性的方法融合来自不同核的特征，使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小，其包含了三个操作：Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关；Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择；Select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。
所述S4中的选择性卷积核机制SKNet的具体方法为。
1)Split：使用不同的卷积核对输入特征图进行卷积；对输入向量X进行不同3×3和5×5的完整卷积操作，得到两个特征图
和
为进一步提高效率，使用膨胀大小为2，卷积核为3×3的空洞卷积替代传统5×5的卷积。
2)Fuse：将多个分支的结果通过逐元素求和来融合，以获得选择权重的全局和综合表示；首先两个特征图进行求和操作，得到新的特征图U:
，再通过简单的全局平均池化来嵌入全局信息，生成信道统计信息S∈RC其中C是模型图中S的特征维数，其公式为：
其中，
表示全局平均池化，
表示将步骤一Split融合后得到的新的特征图，H、W分别代表特征图Uc的高和宽，i和j代表
在H和W上不同的通道图，
表示对每一个通道图的所有像素值求平均值得到的新的通道图。
然后对输出S做全连接找到每一个通道占的比重z，确保卷积核的准确性和自适应性，其公式为：
其中，δ表示ReLU函数，
表示批正则化处理BN；
表示全连接层，
表示通道s的权重；z的通道数为d，d表示特征图降维后的维度，其公式为：
其中，C表示特征维数，r表示维数的降低率，L表示d的极小值，取值32。
3)Select：根据选择权重聚合不同大小内核的特征图,首先通过softmax回归出通道和卷积核之间的权重信息，输出矩阵
，
，两分支情况下，
为冗余矩阵，
，其公式为：
其中，
，a，b分别表示
,
的平滑注意力向量，
表示A的第c行，
表示a的第c个元素值；对于B向量同理。
然后将
，
分别与Split卷积后的特征
和
进行相乘再求和操作；其公式为：
所述S4中的SK-EfficientNet的网络模型为。
将SK-MBConv融合原始EfficientNet模型，形成改进EfficientNet网络模型，由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成；包括以下阶段。
第一阶段，对输入的图像进行3×3卷积，再依次经过批归一化层和Swish激活函数，输出一个维度为112×112×32的特征图。
第二阶段，对前一阶段输出的112×112×32的特征图进行SK-MBConv，即改进移动翻转瓶颈卷积，其中SK-MBConv扩张比例为1，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长1×1，输出一个维度112×112×16的特征图。
第三阶段，对前一阶段输出的112×112×16的特征图进行两次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为56×56×24的特征图。
第四阶段，对前一阶段输出的56×56×24的特征图进行两次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为28×28×40的特征图。
第五阶段，对前一阶段输出的28×28×40的特征图进行三次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为2×2，第二次和第三次的核步长为1×1，输出一个维度为14×14×80的特征图。
第六阶段，对前一阶段输出的14×14×80的特征图进行三次SK-MBConv，其中三次SK-MBConv的扩张比例都为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为1×1，输出一个维度为14×14×112的特征图。
第七阶段，对前一阶段输出的14×14×112的特征图进行四次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二、三、四次SK-MBConv的核步长为1×1，输出一个维度为7×7×192的特征图。
第八阶段，对前一阶段输出的7×7×192的特征图进行一次SK-MBConv，其中SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为1×1，输出一个维度为7×7×320的特征图。
第九阶段，对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数，输出分类结果。
所述S4中对改进EfficientNet分类模型进行训练的方法为：在模型训练过程中，采用Adam作为优化器，设置初始学习率为0.03，每100个epoch学习率衰减50％，batchsize大小为16，为防止过拟合，将正则化系数设为
0.0005，损失函数使用交叉熵损失函数，设定训练300个epoch，连续20个
epoch模型损失值无下降则停止训练，保存模型。采用改进EfficientNet作为基础网络进行训练，包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成；首先利用卷积核为32核3×3×3，步长为2×2对输入的224×224×3的图像进行升维操作，得到维度维112×112×32的特征图，接着进行SK-MBConv卷积操作，先经过k×k的深度卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息，两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作；当出现相同的SK-MBConv时，进行连接失活和输入的跳跃连接；最后经过1×1的逐点卷积恢复原通道，并使用全连接层进行分类；每一个卷积操作后都会进行批归一化和Swish激活函数。
本发明与现有技术相比，具有的有益效果是：对目前大多数深度卷积神经网络模型识别所需网络参数数量较多，速度慢，精确度不够高的问题，本发明提供了一种基于改进EfficientNet的肝癌识别方法，结合EfficientNet高速度与精度、SKNet高特征提取能力的优点，在减少模型参数的同时更好地对肝癌病理切片图像进行识别，本发明的改进EfficientNet模型具有以下优点：(1)模型所需参数更少；(2)模型识别精确度更高；(3)模型识别速度更快；(4)模型更方便部署与应用。
附图说明
图1是本发明实施例的控制流程图。
图2是本发明实施例的SK-MBConv网络结构图。
图3是本发明实施例的选择性卷积核机制结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于改进改进EfficientNet的肝癌识别方法，包括以下步骤。
步骤1：数据采集，获取肝癌病理切片照片和正常肝脏切片照片，并将照片缩放成预设大小后构建数据集。具体地，将照片数据进行缩放，达到指定大小，方便后续网络进行学习与识别。其中，肝癌病理切片照片645张，正常肝脏切片照片600张，共计1245张。
步骤2：数据预处理，对构建的数据集进行预处理，所述预处理包括灰度化、几何变换和图像增强；具体地，由于数据量较少，可能无法发挥深度神经网络的全部性能，因此对数据集以旋转的方式进行扩充。为避免网络学习到在制作切片过程中导致的错误颜色特征，对数据进行灰度处理，将其处理为单通道的灰度图，帮助网络可以更好地对特征进行提取。
下面对预处理的过程进行具体阐述。
灰度化：由于不同的病理切片处理方式不同，会导致得到的病理切片图像呈现不同的颜色特征，因此对数据进行灰度处理，增强模型识别的泛化能力与鲁棒性。本方案采用的灰度处理方法为Grey＝0.30*R+0.59*G+0.11*B，其中R为第一个通道即f＝0时的数据，G为第一个通道即f＝1时的数据，B为第三个通道即f＝2时的数据，将3个通道的数据进行组合，得到单通道的灰度数据，灰度数据的数据形式为(n ,x ,y) ,其中n为图片编号，x与y为灰度处理后图片对应位置像素点。
几何变换：通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差，以提高变形适应性。
图像增强： 1)高斯模糊添噪：对图像添加椒盐噪声和高斯噪声，模拟拍摄不同清晰度的样本。2)颜色增亮：以指数方式更改每个像素的饱和度S和亮度V分量，并保持色相H不变，以增加照明变化。S和V通道分别使用从[0.25，4]均匀得出的系数进行缩放； 3)统一图像尺寸：最后将所有图像的尺寸统一为256×256像素。
步骤3：数据集划分，将数据集划分为训练集、验证集与测试集。具体地，将数据集按照6：1：3的比例划分为训练集、验证集与测试集。其中训练集用于网络进行参数训练，获取肝癌切片分类识别模型；验证集用于检测训练得到的网络是否发生欠拟合；测试集用于对网络识别效果进行评价。
步骤4：构建基于改进EfficientNet的分类模型并对改进EfficientNet分类模型进行学习训练；将训练数据集中的植物病害图像输入改进EfficientNet分类模型进行训练，保存训练好的模型。
1)构建SK-MBConv核心模块。
针对EfficientNet的核心模块移动翻转瓶颈卷积(mobile inverted bottleneckconvolution，MBConv)进行改进，将原有SENet模块替换为SKNet，首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作，形成SK-MBConv网络结构，具体为。
首先对特征图进行1×1普通卷积升维，再分别进行 3×3深度可分离卷积和dilation为2的3×3空洞卷积，得到两个新的特征图
和
，再将两个分支的结果通过逐元素求和来融合，得到新的特征图U，接着将新的特征图U依次经过全局平均池化层、两个全连接层和softmax操作，再经过1×1普通卷积降维，最后将Dropout失活函数得到的特征图与原始特征图进行融合，得到最终的特征图。
选择性卷积核机制SKNet采用一种非线性的方法融合来自不同核的特征可以使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小，其包含了三个操作：Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关；Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择；Select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。
1)Split：使用不同的卷积核对输入特征图进行卷积；对输入向量X进行不同3×3和5×5的完整卷积操作，得到两个特征图
和
为进一步提高效率，使用膨胀大小为2，卷积核为3×3的空洞卷积替代传统5×5的卷积。
2)Fuse：将多个分支的结果通过逐元素求和来融合，以获得选择权重的全局和综合表示；首先两个特征图进行求和操作，得到新的特征图U:
,再通过简单的全局平均池化来嵌入全局信息，生成信道统计信息S∈RC,其中C是模型图中S的特征维数，其公式为：
其中，
表示全局平均池化，
表示将步骤一Split融合后得到的新的特征图，H、W分别代表特征图
的高和宽，i和j代表
在H和W上不同的通道图，
表示对每一个通道图的所有像素值求平均值得到的新的通道图。
然后对输出S做全连接找到每一个通道占的比重z，确保卷积核的准确性和自适应性，其公式为：
其中，δ表示ReLU函数，
表示批正则化处理BN；
表示全连接层，
表示通道s的权重；z的通道数为d，d表示特征图降维后的维度，其公式为：
其中，C表示特征维数，r表维数的降低率，L表示d的极小值，取值32。
3)Select：根据选择权重聚合不同大小内核的特征图；首先通过softmax回归出通道和卷积核之间的权重信息，输出矩阵
，
，两分支情况下，
为冗余矩阵，
，其公式为：
其中，
，a，b分别表示
,
的平滑注意力向量，
表示A的第c行，
表示a的第c个元素值；对于B向量同理。
然后将
，
分别与Split卷积后的特征
和
进行相乘再求和操作；其公式为：
2)构建改进EfficientNet识别模型，将SK-MBConv融合原始EfficientNet模型，形成改进EfficientNet网络模型，由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成；第一阶段，对输入的224×224×3的图像进行3×3卷积，再依次经过批归一化层和Swish激活函数，输出一个维度为112×112×32的特征图。第二阶段，对前一阶段输出的112×112×32的特征图进行SK- MBConv(改进移动翻转瓶颈卷积)，其中
SK-MBConv扩张比例为1，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长1×1，输出一个维度为112×112×16的特征图。第三阶段，对前一阶段输出的112×112×16的特征图进行两次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为56×56×24的特征图。第四阶段，对前一阶段输出的56×56×24的特征图进行两次SK-MBConv，其中第一次SK- MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为28×28×40的特征图。第五阶段，对前一阶段输出的28×28×40的特征图进行三次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为2×2，第二次和第三次的核步长为1×1，输出一个维度为1414×80的特征图。第六阶段，对前一阶段输出的14×14×80的特征图进行三次SK-MBConv，其中三次SK-MBConv的扩张比例都为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为1×1，输出一个维度为14×14×112的特征图。第七阶段，对前一阶段输出的14×14×112的特征图进行四次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二、三、四次SK-MBConv的核步长为1×1，输出一个维度为7×7×192的特征图。第八阶段，对前一阶段输出的7×7×192的特征图进行一次SK-MBConv，其中SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为1×1，输出一个维度为7×7×320的特征图。第九阶段，对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数，输出分类结果。
3)模型参数设置，在模型训练过程中，采用Adam作为优化器，设置初始学习率为0.03，每100个epoch学习率衰减50％，batchsize大小为16，为防止过拟合，将正则化系数设为0.0005，损失函数使用交叉熵损失函数，设定训练300个epoch，连续20个epoch模型损失值无下降则停止训练，保存模型。
4)模型训练，采用改进EfficientNet作为基础网络进行训练，包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成。首先利用卷积核为32核3×3×3，步长为2×2对输入的224×224×3的图像进行升维操作，得到维度维112×112×32的特征图，接着进行SK-MBConv卷积操作，先经过kxk的深度卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作。当出现相同的SK-MBConv时，进行连接失活和输入的跳跃连接。最后经过1×1的逐点卷积恢复原通道，并使用全连接层进行分类。注意该模块中的每一个卷积操作后都会进行批归一化和Swish激活函数。
步骤5：输入待识别的肝癌病理切片图像，通过训练好的改进EfficientNet分类模型对肝癌病理切片图像进行识别，获得特征向量，利用全连接层进行病害识别判定，并得到相应的识别结果。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进EfficientNet的肝癌识别方法，包括以下步骤：
S1：数据采集，获取肝癌病理切片照片和正常肝脏切片照片，并将照片缩放成预设大小后构建数据集；
S2：数据预处理，对构建的数据集进行预处理，所述预处理包括灰度化、几何变换和图像增强；
S3：数据集划分，将数据集分为训练集、验证集和测试集；
S4：构建基于改进EfficientNet的分类模型并对改进EfficientNet分类模型进行学习训练；针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进，将原有SENet模块替换为SKNet，首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作，形成SK-MBConv网络结构；将SK-MBConv融合原始EfficientNet模型，形成改进EfficientNet网络模型；对改进EfficientNet分类模型进行学习训练，将训练数据集中的肝癌病理切片图像输入改进EfficientNet分类模型进行训练，保存训练好的模型；
S5：肝癌识别，输入待识别的肝癌病理切片图像，通过训练好的改进
EfficientNet分类模型对肝癌病理切片图像进行识别，获得特征向量，利用全连接层进行肝癌识别判定，并得到相应的识别结果。
2.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S1中数据采集的方法为：
获取肝癌病理切片照片和正常肝脏切片照片，并将照片缩放成预设大小后构建数据集；
具体地，将照片数据进行缩放，达到指定大小，方便后续网络进行学习与识别，
其中，肝癌病理切片照片645张，正常肝脏切片照片600张，共计1245张。
3.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S2中灰度化的方法为：
Grey＝0.30*R+0.59*G+0.11*B，其中，R为第一个通道即f＝0时的数据，G为第一个通道即f＝1时的数据，B为第三个通道即f＝2时的数据，将3个通道的数据进行组合，得到单通道的灰度数据，灰度数据的数据形式为(n,x,y)，其中n为图片编号，x与y为灰度处理后图片对应位置像素点。
4.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S2中几何变换的方法为：
通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差。
5.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S3中数据集划分方法为：
训练集、验证集与测试集的比例为6：1：3，所述训练集网络进行参数训练，获取肝癌切片分类识别模型；所述验证集用于检测训练得到的网络是过拟合还是欠拟合，所述测试集来测试模型的正确率和误差，以验证模型的有效性。
6.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S4中的SKNet具体为：
选择性卷积核机制SKNet采用非线性的方法融合来自不同核的特征，使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小，其包含了三个操作：Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关；Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择；Select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。
7.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S4中的选择性卷积核机制SKNet的具体方法为：
1)Split：使用不同的卷积核对输入特征图进行卷积；对输入向量X进行不同3×3和5×5的完整卷积操作，得到两个特征图
和
为进一步提高效率，使用膨胀大小为2，卷积核为3×3的空洞卷积替代传统5×5的卷积；
2)Fuse：将多个分支的结果通过逐元素求和来融合，以获得选择权重的全局和综合表示；首先两个特征图进行求和操作，得到新的特征图U:
,再通过简单的全局平均池化来嵌入全局信息，生成信道统计信息S∈RC,其中C是模型图中S的特征维数，其公式为：
其中，
表示全局平均池化，
表示将步骤一Split融合后得到的新的特征图，H、W分别代表特征图
的高和宽，i和j代表
在H和W上不同的通道图，
表示对每一个通道图的所有像素值求平均值得到的新的通道图；
然后对输出S做全连接找到每一个通道占的比重z，确保卷积核的准确性和自适应性，其公式为：
其中，δ表示ReLU函数，
表示批正则化处理BN；
表示全连接层，
表示通道s的权重；z的通道数为d，d表示特征图降维后的维度，其公式为：
其中，C表示特征维数，r表维数的降低率，L表示d的极小值，取值32；
3)Select：根据选择权重聚合不同大小内核的特征图；首先通过softmax回归出通道和卷积核之间的权重信息，输出矩阵
，
，两分支情况下，
为冗余矩阵，
，其公式为：
其中，
，a，b分别表示
,
的平滑注意力向量，
表示A的第c行，
表示a的第c个元素值；对于B向量同理；
然后将
，
分别与Split卷积后的特征
和
进行相乘再求和操作；其公式为：
8.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S4中的改进EfficientNet的网络模型为：
将SK-MBConv融合原始EfficientNet模型，形成改进EfficientNet网络模型，由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成；包括以下阶段：
第一阶段，对输入的图像进行3×3卷积，再依次经过批归一化层和Swish激活函数，输出一个维度为112×112×32的特征图；
第二阶段，对前一阶段输出的112×112×32的特征图进行SK-MBConv，即改进移动翻转瓶颈卷积，其中SK-MBConv扩张比例为1，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长1×1，输出一个维度112×112×16的特征图；
第三阶段，对前一阶段输出的112×112×16的特征图进行两次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为56×56×24的特征图；
第四阶段，对前一阶段输出的56×56×24的特征图进行两次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二次SK-MBConv的核步长为1×1，输出一个维度为28×28×40的特征图；
第五阶段，对前一阶段输出的28×28×40的特征图进行三次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为2×2，第二次和第三次的核步长为1×1，输出一个维度为14×14×80的特征图；
第六阶段，对前一阶段输出的14×14×80的特征图进行三次SK-MBConv，其中三次SK-MBConv的扩张比例都为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为1×1，输出一个维度为14×14×112的特征图；
第七阶段，对前一阶段输出的14×14×112的特征图进行四次SK-MBConv，其中第一次SK-MBConv的扩张比例为6，深度卷积核大小为5×5，空洞卷积核大小为5×5，核步长为2×2，第二、三、四次SK-MBConv的核步长为1×1，输出一个维度为7×7×192的特征图；
第八阶段，对前一阶段输出的7×7×192的特征图进行一次SK-MBConv，其中SK-MBConv的扩张比例为6，深度卷积核大小为3×3，空洞卷积核大小为3×3，核步长为1×1，输出一个维度为7×7×320的特征图；
第九阶段，对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数，输出分类结果。
9.根据权利要求1所述的基于改进EfficientNet的肝癌识别方法，其特征在于，所述S4中对改进EfficientNet分类模型进行训练的方法为：
在模型训练过程中，采用Adam作为优化器，设置初始学习率为0.03，每100个epoch学习率衰减50％，batchsize大小为16，为防止过拟合，将正则化系数设为0.0005，损失函数使用交叉熵损失函数，设定训练300个epoch，连续20个epoch模型损失值无下降则停止训练，保存模型；采用改进EfficientNet作为基础网络进行训练，包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成；首先利用卷积核为32核3×3×3，步长为2×2对输入的224×224×3的图像进行升维操作，得到维度维112×112×32的特征图，接着进行SK-MBConv卷积操作，先经过k×k的深度卷积和dilation为2的3×3空洞卷积，对输入特征进行不同卷积核大小的完整卷积操作，再通过全局平均池化来获得全局信息，两个全连接层找到不同卷积核所占权重比，最后在通道方向进行softmax操作；当出现相同的SK-MBConv时，进行连接失活和输入的跳跃连接；最后经过1×1的逐点卷积恢复原通道，并使用全连接层进行分类；每一个卷积操作后都会进行批归一化和Swish激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210027716.5A CN114266898A (zh) | 2022-01-11 | 2022-01-11 | 一种基于改进EfficientNet的肝癌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210027716.5A CN114266898A (zh) | 2022-01-11 | 2022-01-11 | 一种基于改进EfficientNet的肝癌识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114266898A true CN114266898A (zh) | 2022-04-01 |
Family
ID=80832812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210027716.5A Withdrawn CN114266898A (zh) | 2022-01-11 | 2022-01-11 | 一种基于改进EfficientNet的肝癌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266898A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970694A (zh) * | 2022-05-12 | 2022-08-30 | 河北师范大学 | 一种网络安全态势评估方法及其模型训练方法 |
| CN115439849A (zh) * | 2022-09-30 | 2022-12-06 | 杭州电子科技大学 | 基于动态多策略gan网络的仪表数字识别方法及系统 |
| CN115527031A (zh) * | 2022-09-16 | 2022-12-27 | 山东科技大学 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
| CN116704350A (zh) * | 2023-06-16 | 2023-09-05 | 浙江时空智子大数据有限公司 | 基于高分辨遥感影像水域变化监测方法、系统及电子设备 |
| CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
-
2022
- 2022-01-11 CN CN202210027716.5A patent/CN114266898A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970694A (zh) * | 2022-05-12 | 2022-08-30 | 河北师范大学 | 一种网络安全态势评估方法及其模型训练方法 |
| CN115527031A (zh) * | 2022-09-16 | 2022-12-27 | 山东科技大学 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
| CN115527031B (zh) * | 2022-09-16 | 2024-04-12 | 山东科技大学 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
| CN115439849A (zh) * | 2022-09-30 | 2022-12-06 | 杭州电子科技大学 | 基于动态多策略gan网络的仪表数字识别方法及系统 |
| CN115439849B (zh) * | 2022-09-30 | 2023-09-08 | 杭州电子科技大学 | 基于动态多策略gan网络的仪表数字识别方法及系统 |
| CN116704350A (zh) * | 2023-06-16 | 2023-09-05 | 浙江时空智子大数据有限公司 | 基于高分辨遥感影像水域变化监测方法、系统及电子设备 |
| CN116704350B (zh) * | 2023-06-16 | 2024-01-30 | 浙江时空智子大数据有限公司 | 基于高分辨遥感影像水域变化监测方法、系统及电子设备 |
| CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
| CN116721302B (zh) * | 2023-08-10 | 2024-01-12 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| Tian et al. | Deep learning on image denoising: An overview | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN114266898A (zh) | 一种基于改进EfficientNet的肝癌识别方法 | |
| CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| Klibisz et al. | Fast, simple calcium imaging segmentation with fully convolutional networks | |
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN112052877B (zh) | 一种基于级联增强网络的图片细粒度分类方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN112215119A (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| Wang et al. | A generalizable and robust deep learning algorithm for mitosis detection in multicenter breast histopathological images | |
| CN114565620B (zh) | 一种基于骨架先验和对比损失的眼底图像血管分割方法 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN115018711B (zh) | 一种用于仓库调度的图像超分辨率重建方法 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
| CN110717451A (zh) | 一种基于深度学习的药用植物叶部病害图像识别方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220401 |
|
| WW01 | Invention patent application withdrawn after publication |