CN113989833A - 一种基于EfficientNet网络的口腔粘膜性疾病识别方法 - Google Patents
一种基于EfficientNet网络的口腔粘膜性疾病识别方法 Download PDFInfo
- Publication number
- CN113989833A CN113989833A CN202111163927.3A CN202111163927A CN113989833A CN 113989833 A CN113989833 A CN 113989833A CN 202111163927 A CN202111163927 A CN 202111163927A CN 113989833 A CN113989833 A CN 113989833A
- Authority
- CN
- China
- Prior art keywords
- oral
- network
- data
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 37
- 201000010099 disease Diseases 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 35
- 208000004179 Oral Leukoplakia Diseases 0.000 claims abstract description 19
- 201000008557 oral mucosa leukoplakia Diseases 0.000 claims abstract description 19
- 210000002200 mouth mucosa Anatomy 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 206010030983 oral lichen planus Diseases 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 8
- 238000013508 migration Methods 0.000 claims abstract description 7
- 230000005012 migration Effects 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 4
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 28
- 210000000214 mouth Anatomy 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000003296 saliva Anatomy 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 208000025157 Oral disease Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000030194 mouth disease Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000002741 leukoplakia Diseases 0.000 description 1
- 201000011486 lichen planus Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于EfficientNet网络的口腔粘膜性疾病识别方法。其用于对口腔白斑和口腔扁平苔藓进行诊断识别，提高了诊断的效率、识别的准确率。本发明采用的方法为：1)在白光下采集口腔白斑和口腔扁平苔藓图像，获得口腔粘膜性疾病的数据集；2)对采集的图像进行预处理，包括数据清洗，去除异常数据，对图像进行数据增强，扩增数据集，将扩增后的数据集按照7:3划分为训练集和测试集；3)选取EfficientNetB0作为主干网络并进行改进；4)采用二次迁移学习方法对模型进行训练；5)对收敛的模型进行渐进式微调进行渐进式微调，将卷积层逐渐释放并微调可训练层，直至将整个网络训练完成，最后以ACC准确率作为指标变化，选出最佳的微调卷积层的深度，作为最佳诊断网络。
Description
技术领域
本发明涉及图像识别分类技术领域，具体涉及一种基于EfficientNet网络的口腔粘膜性疾病识别方法。
背景技术
随着现代社会的发展，人们生活水平的提高，口腔疾病受到越来越多的关注。口腔白斑和口腔扁平苔藓都属于常见的口腔黏膜性疾病。两者很容易被人混淆，其中，口腔白斑属于癌前病变或潜在的恶性疾患范畴，口腔扁平苔藓是一种常见的口腔黏膜慢性炎症。口腔黏膜性疾病的主要症状相似度高，导致了扁平苔藓与白斑难以鉴别。
目前，传统的临床诊断方法主要是在大量观察的基础上，进行定性的描述。这种方法，一方面检验工作量大，检验效率低，医师工作时易疲劳或粗心引起错误的识别，影响病情诊断；另一方面，对病理图像的分析识别易受医师经验和视觉分辨率的限制，容易产生主观因素，缺乏科学客观的定量依据，还会因为需要进一步病理活检而延长检查周期。
因此研究口腔粘膜性疾病识别方法不仅可以减轻医师的工作负担提高医生的工作效率，还能减轻病人的痛苦以及降低疾病导致的经济损失。
近年来，随着深度学习领域的快速发展，卷积神经网络在医疗图像处理中得到了广泛的应用。卷积神经网络可以从大量样本数据中学习到相应有效的特征，避免复杂的特征提取过程，可以通过简单的非线性模型从原始图像中提取出更加抽象的特征，高效精准区分图像。但是口腔黏膜性疾病的识别仍极具挑战，一方面口腔疾病的病损部位不固定，病症复杂多样。另一方面由于涉及病人隐私以及考虑数据的安全性，口腔疾病数据较少，这些都为口腔疾病的识别带来困难。因此基于EfficientNet网络研究端到端的图像识别分类具有重要的现实意义。
发明内容
有鉴于此，本发明提供一种基于EfficientNet网络的口腔粘膜性疾病识别方法，该方法利用迁移学习解决图像数据较少的问题，采用渐进式微调策略训练网络来提升识别准确率。
为解决现有技术存在的问题，本发明所采用的技术方案为一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：包括如下步骤：
步骤1)在白光下由医生通过相机进行拍摄，采集口腔白斑和口腔扁平苔藓两种口腔黏膜性疾病图像，用于后续的模型训练与测试；
步骤2)将采集到的口腔黏膜性疾病数据进行预处理，对数据进行清洗，删除掉病理特征不明显，且口腔内含有大量噪声的数据，对清洗后的数据利用Opencv开源库共进行五种数据扩增，将扩增后的数据按照7:3随机划分为训练集和测试集，训练集用于模型参数的训练，测试集用于对模型进行测评；
步骤3)选取EfficientNetB0作为主干网络，对网络进行改进；
步骤4)采用二次迁移学习方法对模型进行训练；
步骤5)对步骤4)中收敛的模型进行渐进式微调进行渐进式微调，利用带动量SGD算法对模型进行微调，公式如下：
vt+1＝βvt+(1-β)g
wt+1＝wt-α×vt+1
两个式子中超参数β用于调节梯度的衰减效果，vt表示初始动量，g是梯度，α是学习速率，w是权重，将动量初始值设置0.9，学习速率(Learning Rate)初始值设置为0.0001，将卷积层逐渐释放并微调可训练层，直至将整个网络训练完成，最后以ACC准确率作为指标变化，选出最佳的微调卷积层的深度，作为最佳诊断网络。
进一步,所述步骤3)的改进方法为：
步骤3.1)将网络的顶层去掉，构建新的分类层，加入一层全局池化层GAP,一层2048个神经元的全连接层，一层BN(Batch Normalization，BN)层，一层1024个神经元的全连接层，一层BN层，以及最后的输出层包含2个神经元的Softmax分类器；
步骤3.2)对激活函数进行改进，使用Mish激活函数Mish的表达式为：
f(x)＝x*tanh(ln(1+ex))
步骤3.3)对损失函数进行改进，使用Focal Loss作为损失函数，Focal Loss源于二分类交叉熵损失函数：
L＝-ylogy′-(1-y)log(1-y′)
在原先的基础式子中新加入一个调节因子γ，
Lfl＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
(1-y′)γ称为调节系数，当y′趋于0时，调制系数趋于1，对于整体的loss贡献很大；当y′趋于1时，调制系数趋于0；
在上面式子的基础上，再引入一个平衡因子，公式如下所示：
Lfl＝-αy(1-y′)γlogy′-(1-α)(1-y)(y′)γlog(1-y′)
整理上面的式子得到本文损失函数Focal Loss式子如下式所示，LFL＝-αt(1-y′)γlog(y′)。
进一步，步骤4)的训练方法为：
步骤4.1)将改进后的EfficientNetB0在ISIC2018皮肤数据集进行一次迁移学习，将训练的参数保存；
步骤4.2)将步骤4.1)保存的参数迁移至步骤2)中划分的口腔数据训练集上进行训练，直至模型收敛。
进一步，步骤2)中的噪声包括医生的医疗器具、病人口腔的唾液。
进一步，步骤2)中的五种数据包括图像旋转90°、增加对比度、随机裁剪、水平翻转以及加入高斯噪声。
与现有技术相比，本发明包括以下有益效果：
1)本发明方法对口腔白斑和口腔扁平苔藓进行识别，网络整体结构基于EfficientNetB0进行改进，保留网络原有的特征提取层，对顶层进行重新修改使网络更适合口腔数据集的训练；同时将网络中激活函数全部换为Mish，来获取更丰富的语义信息；对损失函数进行改进，使用Focal Loss作为损失函数，解决难易样本分类不平衡问题；
2)本发明在迁移学习方面，共进行两次迁移，将在IamgeNet上训练的参数先迁移至ISIC2018皮肤数据集上，训练完成后将参数保存再迁移至口腔数据集中，通过二次迁移学习方法，解决ImageNet自然图像与口腔疾病图像特征差异较大的问题，避免了在迁移过程中出现负迁移效应；
3)本发明最后采用SGD优化算法微调网络模型，以提高网络的整体稳定性和泛化能力，提升网络整体的识别精度。
4)本发明方法能够有效提升口腔白斑和口腔扁平苔藓识别的精度，检测的效率，法对辅助医生进行诊断，降低漏诊率和误诊率都有十分重要的作用。
附图说明
图1为本发明基于EfficientNet网络的口腔粘膜性疾病识别方法流程图；
图2为本发明使用数据增强图像旋转90°后的样本图；其中(a)为口腔白斑疾病原图；(b)为口腔白斑疾病旋转90°图；
图3为本发明使用数据增强随机增加对比度后的样本图；其中(a)为口腔白斑疾病原图；(b)为口腔白斑疾病增加对比度图；
图4为本发明使用数据增强随机裁剪后的样本图；其中(a)为口腔白斑疾病原图；(b)为口腔白斑疾病随机剪裁图；
图5为本发明使用数据增强水平翻转后的样本图；其中(a)为口腔白斑疾病原图；(b)为口腔白斑疾病水平反转图；
图6为本发明使用数据增强高斯噪声后的样本图；其中(a)为口腔白斑疾病原图；(b)为口腔白斑疾病增加高斯噪声图；
图7为本发明中改进的EfficientNetB0网络结构图；
图8为本发明中激活函数Mish的函数图像；
图9为本发明中二次迁移学习过程的结构图；
图10为本发明中渐进式微调结构图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于EfficientNet网络的口腔粘膜性疾病识别方法，步骤为：
步骤1.在白光下由专业医生通过Canon EOS 60D相机进行拍摄，共采集两种口腔黏膜性疾病图像，包括口腔白斑和口腔扁平苔藓，采集图像总数为826张，口腔白斑为380张，口腔扁平苔藓为446张，格式均为PNG，分辨率为5184×3456，所有图像数据均经过口腔医生的病例确诊后进行拍摄收集，将这些图像数据用于后续的模型训练与测试；
步骤2.如图1所示，先将采集到的口腔黏膜性疾病数据进行预处理，包括将数据进行缩放，缩放至224×224，并对数据进行清洗，删除掉病理特征不明显，且口腔内含有大量噪声的数据，噪声包括医生的医疗器具、病人口腔的唾液等。对清洗后的数据进行扩增，利用Opencv开源库共进行五种数据扩增，包括图像旋转90°(如图2)、增加对比度(如图3)、随机裁剪(如图4)、水平翻转(如图5)以及加入高斯噪声(如图6)。将扩增后的数据按照7:3随机划分为训练集和测试集，训练集用于模型参数的训练，测试集用于对模型进行测评；
步骤3.选取EfficientNetB0作为主干网络，对网络进行改进：
表1是EfficientNetB0的网络结构
步骤3.1.如图7所示，将网络的顶层去掉，保留特征提取层，构建新的分类层，加入一层全局池化层GAP,一层2048个神经元的全连接层，一层BN(Batch Normalization，BN)层，一层1024个神经元的全连接层，一层BN层，以及最后的输出层包含2个神经元的Softmax分类器；
步骤3.2对激活函数进行改进，使用Mish激活函数，表达式是：
f(x)＝x*tanh(ln(1+ex))
如图8所示，为本发明中激活函数Mish的函数图像。在负值的时候是允许比较小的负梯度流入，保证信息流动。并且激活函数无边界，避免了饱和这一问题，Mish函数在每一点上都保证了平滑，从而使梯度下降得效果比Relu要更好。
步骤3.3.对损失函数进行改进，使用Focal Loss作为损失函数，Focal Loss源于二分类交叉熵损失函数：
L＝-ylogy′-(1-y)log(l-y′)
在原先的基础式子中新加入一个调节因子γ。γ的作用是减少容易分类的样本损失，使整体模型重点放在困难的、容易分类错误的样本上。
Lfl＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
(1-y′)γ称为调节系数，当y′趋于0时，调制系数趋于1，对于整体的loss贡献很大，表明模型增加对这类样本学习；当y′趋于1时，调制系数趋于0，也就是对于整体的loss贡献很小，表明模型减少对这类样本的学习。
在上面式子的基础上，再引入一个平衡因子α，用来平衡正负样本数量，降低正样本或者负样本的权重，防止类别不均衡。公式如下所示：
Lfl＝-αy(1-y′)γlogy′-(1-α)(1-y)(y′)γlog(1-y′)
整理上面的式子得到本文损失函数Focal Loss式子如下式所示，使用下面的式子解决样本数量不平衡问题，以及难易样本不平衡问题。
LFL＝-αt(1-y′)γlog(y′)
步骤4.IamgeNet自然图像在颜色、轮廓，形状大小等诸多特征上与口腔黏膜性图像相比差距较大，二者并没有十分相似的特征，进行迁移时容易使模型过拟合或者发生负迁移效应。如果源域数据与目标域数据特征更相似，模型训练的结果会更好。因此在迁移学习的基础上提出改进，进行二次迁移学习。如图9所示，为二次迁移学习过程结构图。
步骤4.1.将在ImageNet上学习到的权重先迁移到与口腔数据特征更相似的ISIC2018皮肤数据集上，在ISIC2018皮肤数据集进行一次迁移学习，将训练的参数保存；
步骤4.2.将步骤4.1保存的参数迁移至步骤2中划分的口腔数据训练集上进行训练，直至模型收敛。
步骤5.对步骤4中收敛的模型进行渐进式微调，如图10所示，利用带动量SGD算法对模型进行微调，公式如下：
vt+1＝βvt+(1-β)g
wt+1＝wt-α×vt+1
上面两个式子中超参数β用于调节梯度的衰减效果，vt表示初始动量，g是梯度，α是学习速率，w是权重。与普通SGD算法相比改进之处在于，在开始训练时累计了动量使训练速度加快。当在局部最优值附近震荡时，梯度为0，但是因为有初始动量，可以跳出局部最优的陷阱。将动量初始值设置0.9，学习速率(Learning Rate)初始值设置为0.0001。将卷积层逐渐释放并微调可训练层，直至将整个网络训练完成。最后以ACC准确率作为指标变化，选出最佳的微调卷积层的深度，作为最佳诊断网络。
步骤6.用步骤2中划分好的测试集图像对步骤5中最佳模型进行测试验证。
利用如下指标：
评价指标采用包括准确率(Accuracy，Acc)、灵敏度(Sensitivity，Sen)、特异性(Specificity，Spe)和AUC(Area Under The Curve，Auc)面积共四个不同的性能指标对模型进行整体充分评估。
表2改进EfficientNet模型的对比实验结果
| Methods | Acc/％ | Sen/％ | Spe/％ | Auc/％ | Time/min |
| AlexNet | 73.16 | 68.24 | 92.79 | 90.13 | 56 |
| Vgg16 | 75.28 | 73.61 | 92.52 | 91.48 | 47 |
| ResNet50 | 86.52 | 82.18 | 95.72 | 96.44 | 53 |
| InceptionV3 | 79.78 | 73.84 | 93.83 | 93.94 | 58 |
| Xception | 78.53 | 78.36 | 95.22 | 94.48 | 49 |
| DenseNet201 | 86.13 | 82.18 | 94.75 | 94.77 | 51 |
| EfficientNet | 86.81 | 85.25 | 96.17 | 96.23 | 55 |
| iEfficientNet(ours) | 92.93 | 90.05 | 97.13 | 98.41 | 45 |
综上所述，改进的模型方法在所有评价指标中均取得最高值，在时间上改进的模型的时间同样最短，二次迁移学习大大提高了模型的收敛速度，使训练时间大幅降低。在多种方法的改进下，缩短运行时间的同时，提升了模型的识别准确率和泛化能力，增强了模型的鲁棒性和网络整体的稳定性。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。
Claims (5)
1.一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：包括如下步骤：
步骤1)在白光下由医生通过相机进行拍摄，采集口腔白斑和口腔扁平苔藓两种口腔黏膜性疾病图像，用于后续的模型训练与测试；
步骤2)将采集到的口腔黏膜性疾病数据进行预处理，对数据进行清洗，删除掉病理特征不明显，且口腔内含有大量噪声的数据，对清洗后的数据利用0pencv开源库共进行五种数据扩增，将扩增后的数据按照7∶3随机划分为训练集和测试集，训练集用于模型参数的训练，测试集用于对模型进行测评；
步骤3)选取EfficientNetB0作为主干网络，对网络进行改进；
步骤4)采用二次迁移学习方法对模型进行训练；
步骤5)对步骤4)中收敛的模型进行渐进式微调进行渐进式微调，利用带动量SGD算法对模型进行微调，公式如下：
υt+1＝βvt+(1-β)g
wt+1＝wt-α×υt+1
两个式子中超参数β用于调节梯度的衰减效果，vt表示初始动量，g是梯度，α是学习速率，w是权重，将动量初始值设置0.9，学习速率(Learning Rate)初始值设置为0.0001，将卷积层逐渐释放并微调可训练层，直至将整个网络训练完成，最后以ACC准确率作为指标变化，选出最佳的微调卷积层的深度，作为最佳诊断网络。
2.根据权利要求1所述的一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：所述步骤3)的改进方法为：
步骤3.1)将网络的顶层去掉，构建新的分类层，加入一层全局池化层GAP，一层2048个神经元的全连接层，一层BN(Batch Normalization，BN)层，一层1024个神经元的全连接层，一层BN层，以及最后的输出层包含2个神经元的Softmax分类器；
步骤3.2)对激活函数进行改进，使用Mish激活函数Mish的表达式为：
f(x)＝x*tanh(ln(1+ex))
步骤3.3)对损失函数进行改进，使用FocalLoss作为损失函数，FocalLoss源于二分类交叉熵损失函数：
L＝-ylogy′-(1-y)log(1-y′)
在原先的基础式子中新加入一个调节因子γ，
Lfl＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
(1-y′)γ称为调节系数，当y′趋于0时，调制系数趋于1，对于整体的loss贡献很大；当y′趋于1时，调制系数趋于0；
在上面式子的基础上，再引入一个平衡因子，公式如下所示：
Lfl＝-αy(1-y′)γlogy′-(1-α)(1-y)(y′)γlog(1-y′)
整理上面的式子得到本文损失函数Focal Loss式子如下式所示，LFL＝-αt(1-y′)γlog(y′)。
3.根据权利要求1或2所述的一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：所述的步骤4)的训练方法为：
步骤4.1)将改进后的EfficientNetB0在ISIC2018皮肤数据集进行一次迁移学习，将训练的参数保存；
步骤4.2)将步骤4.1)保存的参数迁移至步骤2)中划分的口腔数据训练集上进行训练，直至模型收敛。
4.根据权利要求3所述的一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：所述步骤2)中的噪声包括医生的医疗器具、病人口腔的唾液。
5.根据权利要求4所述的一种基于EfficientNet网络的口腔粘膜性疾病识别方法，其特征在于：所述步骤2)中的五种数据包括图像旋转90°、增加对比度、随机裁剪、水平翻转以及加入高斯噪声。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163927.3A CN113989833B (zh) | 2021-09-30 | 2021-09-30 | 一种基于EfficientNet网络的口腔粘膜性疾病识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163927.3A CN113989833B (zh) | 2021-09-30 | 2021-09-30 | 一种基于EfficientNet网络的口腔粘膜性疾病识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989833A true CN113989833A (zh) | 2022-01-28 |
| CN113989833B CN113989833B (zh) | 2024-06-14 |
Family
ID=79737544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111163927.3A Active CN113989833B (zh) | 2021-09-30 | 2021-09-30 | 一种基于EfficientNet网络的口腔粘膜性疾病识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989833B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972297A (zh) * | 2022-06-15 | 2022-08-30 | 北京理工大学 | 口腔健康监测方法及装置 |
| CN117747091A (zh) * | 2024-01-04 | 2024-03-22 | 首都医科大学附属北京口腔医院 | 一种口腔黏膜病损辅助诊断系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN112464816A (zh) * | 2020-11-27 | 2021-03-09 | 南京特殊教育师范学院 | 基于二次迁移学习的地方手语识别方法、装置 |
| CN112598603A (zh) * | 2021-02-01 | 2021-04-02 | 福建医科大学附属口腔医院 | 一种基于卷积神经网络的口腔龋病图像智能识别方法 |
| US20210166385A1 (en) * | 2018-11-13 | 2021-06-03 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, computer-readable medium, and electronic device |
-
2021
- 2021-09-30 CN CN202111163927.3A patent/CN113989833B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210166385A1 (en) * | 2018-11-13 | 2021-06-03 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, computer-readable medium, and electronic device |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN112464816A (zh) * | 2020-11-27 | 2021-03-09 | 南京特殊教育师范学院 | 基于二次迁移学习的地方手语识别方法、装置 |
| CN112598603A (zh) * | 2021-02-01 | 2021-04-02 | 福建医科大学附属口腔医院 | 一种基于卷积神经网络的口腔龋病图像智能识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 管子玉;谢飞;任文研;沈雪敏;许鹏飞;王和旭;: "基于多任务学习的口腔白斑与扁平苔藓的分割与识别", 西北大学学报(自然科学版), no. 01, 9 January 2020 (2020-01-09) * |
| 谢飞;穆昱;管子玉;沈雪敏;许鹏飞;王和旭;: "基于具有空间注意力机制的Mask R-CNN的口腔白斑分割", 西北大学学报(自然科学版), no. 01, 9 January 2020 (2020-01-09) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972297A (zh) * | 2022-06-15 | 2022-08-30 | 北京理工大学 | 口腔健康监测方法及装置 |
| CN117747091A (zh) * | 2024-01-04 | 2024-03-22 | 首都医科大学附属北京口腔医院 | 一种口腔黏膜病损辅助诊断系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989833B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113257413B (zh) | 基于深度学习的癌症预后生存预测方法、设备及存储介质 | |
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN108305249B (zh) | 基于深度学习的全尺度病理切片的快速诊断和评分方法 | |
| WO2020087960A1 (zh) | 一种影像识别的方法、装置、终端设备和医疗系统 | |
| CN113989833A (zh) | 一种基于EfficientNet网络的口腔粘膜性疾病识别方法 | |
| CN112733961A (zh) | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 | |
| CN114693961B (zh) | 眼底照片分类方法、眼底图像处理方法和系统 | |
| CN109948671B (zh) | 图像分类方法、装置、存储介质以及内窥镜成像设备 | |
| CN111369501B (zh) | 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法 | |
| CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
| CN112950587B (zh) | 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 | |
| CN111341443A (zh) | 一种基于深度学习的超声甲状腺结节智能评估方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
| CN110084796B (zh) | 一种复杂纹理ct图像的分析方法 | |
| CN116012639A (zh) | 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 | |
| Izzaty et al. | Multiclass classification of histology on colorectal cancer using deep learning | |
| Alam et al. | Benchmarking deep learning frameworks for automated diagnosis of OCULAR TOXOPLASMOSIS: A comprehensive approach to classification and segmentation | |
| US11717151B2 (en) | Method for early diagnosis of keratoconus based on multi-modal data | |
| CN116310525A (zh) | 一种基于对比表示蒸馏与输出蒸馏的病理图像分类方法 | |
| CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
| Resita et al. | Color RGB and structure GLCM method to feature extraction system in endoscope image for the diagnosis support of otitis media disease | |
| CN112633336A (zh) | 一种基于多尺度特征融合的肺结节识别分类方法 | |
| CN113344022A (zh) | 一种基于深度学习的胸片检测方法 | |
| CN112862782A (zh) | 一种基于R-Unet的人眼玻璃体混浊程度分级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |