CN110796249B - 耳内镜图像神经网络模型构建方法及分类处理方法 - Google Patents

耳内镜图像神经网络模型构建方法及分类处理方法 Download PDF

Info

Publication number
CN110796249B
CN110796249B CN201910930100.7A CN201910930100A CN110796249B CN 110796249 B CN110796249 B CN 110796249B CN 201910930100 A CN201910930100 A CN 201910930100A CN 110796249 B CN110796249 B CN 110796249B
Authority
CN
China
Prior art keywords
neural network
network model
otoscope
training
otitis media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910930100.7A
Other languages
English (en)
Other versions
CN110796249A (zh
Inventor
蔡跃新
余晋刚
李远清
郑亿庆
刘楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Original Assignee
South China University of Technology SCUT
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Sun Yat Sen Memorial Hospital Sun Yat Sen University filed Critical South China University of Technology SCUT
Priority to CN201910930100.7A priority Critical patent/CN110796249B/zh
Publication of CN110796249A publication Critical patent/CN110796249A/zh
Application granted granted Critical
Publication of CN110796249B publication Critical patent/CN110796249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种基于深度学习的耳内镜图像神经网络模型构建方法及智能分类处理方法，该模型构建方法包括步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型。本发明同时公开了一种基于深度学习的耳内镜图像智能分类处理方法，该智能分类处理方法还包括步骤D：通过步骤C获得的最优神经网络模型，对新增的耳内镜图像进行智能分类，输出分类结果。

Description

耳内镜图像神经网络模型构建方法及分类处理方法
技术领域
本发明涉及耳内镜图像的建模及处理方法，具体是指一种基于深度学习的耳内镜图像神经网络模型构建方法及智能分类处理方法，该建模及处理方法适用于机器学习、生物医学和图像处理领域。
背景技术
人工智能(AI)在计算机医学领域发展得已较成熟，特别是在近年来人工智能飞速发展，使其在图像处理的准确度上与医生不相上下。在国内医疗信息化和分级诊疗的大背景之下，人工智能与医学影像的市场空间在不断地增长。
中耳炎是最常见的耳部疾病，而其中又属慢性化脓性中耳炎与分泌性中耳炎最常见。慢性化脓性中耳炎是中耳黏膜，骨膜或骨质的化脓性炎症，以反复性耳流脓、听力下降和鼓膜穿孔为主要特征，早期排查能防止恶化，避免发展为神经性耳聋或骨质破坏，此外，最新对于慢性化脓性中耳炎的分类方式将其分为活动期与静止期，其手术方案略有区别，静止期可直接进行手术，而活动期需先给予抗炎治疗待脓液止住3个月后方可实行手术。分泌性中耳炎尤其在儿童时期多发，其流行性统计分析结果表明，在我国有90%的学龄前儿童患过分泌性中耳炎，大部分能够自愈，而部分则不能自愈，此类儿童患有分泌性中耳炎若得不到及时治疗，将会导致其言语功能发育障碍，早期筛查具有十分重要的意义；成人型分泌性中耳炎发病率较低，多伴有鼻咽部疾病。
然而，传统医疗服务模式单一、总体服务能力低下，无法负荷大规模人群眼部疾病的筛查和诊治，导致有限的医疗资源与我国耳病人群庞大医疗需求之间的供需矛盾日益突出。因此，亟需进行医疗服务模式的变革，以提升我国耳科医疗总体服务能力，打破医疗供需不平衡的恶性循环。
发明内容
本发明的目的之一在于提供一种基于深度学习的耳内镜图像神经网络模型构建方法，该模型构建方法能够用于图像的分类处理。
本发明的这一目的通过如下的技术方案来实现：一种基于深度学习的耳内镜图像神经网络模型构建方法，其特征在于，该方法包括如下步骤：
步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；
步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；
步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型。
本发明中，所述步骤A中构建数据集的方法如下：
(a1)利用某医院耳鼻喉科的耳内镜数据库，获取耳内镜的图像组成耳内镜数据集；
(a2)按照病变程度将耳内镜图像分成正常、分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期四种类型，并且进行标注；
(a3)筛除各种类型中图像模糊以及未拍摄到病变部位的耳内镜图像；
(a4)随机选取耳内镜数据集的病例，使用交叉验证方法，划分多个测试集以及训练集，耳内镜数据集中一个病例会包含多张病例图像，具体划分时确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全在训练集，要么全在测试集。
本发明中，所述步骤B中神经网络模型的训练方法如下：
(b1)加载预训练的神经网络模型，所述神经网络模型包括但不限于InceptionV3模型、ResNet50模型等模型；
(b2)微调预训练的神经网络模型：去除神经网络模型中最后的全连接层，更换为输出个数为类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于耳内镜图像分类的新的神经网络模型；
(b3)在每个构建的训练集上训练获得的新的神经网络模型，获得训练得到的神经网络模型。
上述步骤(b3)中，训练获得的新的神经网络模型的训练方法普遍采用随机梯度下降法。
本发明中，所述步骤C中验证步骤B训练得到的神经网络模型性能的方法如下：
(c1)使用准确率评估训练得到的神经网络模型在多折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
(c2) 验证该最优神经网络模型的性能：在正常与分泌性中耳炎，以及慢性化脓性中耳炎活动期与静止期两种疑难情况之间，绘出最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际新增耳内镜图像的智能分类。
评估是人作为第三者去看待模型优劣的这个动作(evaluate)，即模型在交叉验证中受到测试，其性能指标结果为平均准确率。
多折交叉验证的含义为，对于某一个模型，之前已经在数据集上随机划分了多次，产生了多组训练集-测试集。那么该模型的性能指标则为该模型在每一组训练集上训练，在对应的测试集上测试，取得的多组准确率的平均值，即平均准确率。
验证的含义是将模型用于每一折的测试集中的这个动作(validation)。作为优选实施方式，使用AUC验证该最优神经网络模型的性能，AUC的含义是ROC曲线下包围的面积。
本发明的目的之二在于提供一种基于深度学习的耳内镜图像智能分类处理方法，该智能分类处理方法对应耳内镜图像分类的准确度高。
本发明的这一目的通过如下的技术方案来实现：一种基于深度学习的耳内镜图像智能分类处理方法，其特征在于，该方法包括如下步骤：
步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；
步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；
步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型；
步骤D：通过步骤C获得的最优神经网络模型，对新增的耳内镜图像进行智能分类，输出分类结果。
本发明中，所述步骤A中构建数据集的方法如下：
(a1)利用某医院耳鼻喉科的耳内镜数据库，获取耳内镜的图像组成耳内镜数据集；
(a2)按照病变程度将耳内镜图像分成正常、分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期四种类型，并且进行标注；
(a3)筛除各种类型中图像模糊以及未拍摄到病变部位的耳内镜图像；
(a4)随机选取耳内镜数据集的病例，使用交叉验证方法，划分多个测试集以及训练集，耳内镜数据集中一个病例会包含多张病例图像，具体划分时确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全在训练集，要么全在测试集。
本发明中，所述步骤B中神经网络模型的训练方法如下：
(b1)加载预训练的神经网络模型，所述神经网络模型包括但不限于InceptionV3模型、ResNet50模型等模型；
(b2)微调预训练的神经网络模型：去除神经网络模型中最后的全连接层，更换为输出个数为类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于耳内镜图像分类的新的神经网络模型；
(b3)在每个构建的训练集上训练获得的新的神经网络模型，获得训练得到的神经网络模型。
上述步骤(b3)中，训练获得的新的神经网络模型的训练方法普遍采用随机梯度下降法。
本发明中，所述步骤C中验证步骤B训练得到的神经网络模型性能的方法如下：
(c1)使用准确率评估训练得到的神经网络模型在多折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
(c2) 验证该最优神经网络模型的性能：在正常与分泌性中耳炎，以及慢性化脓性中耳炎活动期与静止期两种疑难情况之间，绘出最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际新增耳内镜图像的智能分类。
本发明中，所述步骤D的具体过程为：将新增的耳内镜图片输入获得的最优神经网络模型中，通过该最优神经网络模型输出新增的耳内镜图片对应于分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期三种类型中耳炎的分类结果，并且给出分类结果的辅助说明图。
本发明项目所研发的AI产品可应用于大型医院，基层医院，普通家庭等场合，同时解决大医院中人流负荷重，基层医院设备不足，家庭中就医延误等问题。可望推动与落实“分级诊疗”，开拓新的思路与方法，可将就医分为三级，“一级分诊”，即当中耳炎识别方法于家用时，可在患者自觉耳部不适时自主使用AI方法进行初筛，提供就医指导，“二级分诊”，即AI识别与根据基层医院医生判断，进行初步判断及治疗决策，主要在基层医院完成；“三级分诊”，及完成图像处理专家模式，由专家介入患者疾病治疗，进一步完成图像处理，分级诊疗可极大提高疾病就诊率，诊疗效率，节省医生诊疗资源支出。因此，耳内镜中耳炎智能图像处理方法对社会具有很大意义
相比于现有技术，本发明的有益效果为：能够利用医院的已有数据，在数据驱动的方式下训练出准确度达到专家水平的图像处理模型，并且能够利用弱监督技术，输出对图像处理结果的定性解释图片，便于人类理解。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细说明。
图1为本发明图像智能分类处理方法的步骤框图；
图2为本发明图像智能分类处理方法采集的各个类别的耳内镜图像；
图3为本发明图像智能分类处理方法输出的辅助说明图实例；
图4a为本发明最优InceptionV3模型与人类专家的性能比较ROC曲线图；
图4b为本发明最优InceptionV3模型与人类专家的性能比较另一ROC曲线图。
实施方式
如图1所示的一种基于深度学习的耳内镜图像智能分类处理方法，包括如下步骤：
步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；
步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；
步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型；
步骤D：通过步骤C获得的最优神经网络模型，对新增的耳内镜图像进行智能分类，输出分类结果。
其中，步骤A至步骤C为基于深度学习的耳内镜图像神经网络模型构建方法。
本实施例中，步骤A中构建数据集的方法如下：
(a1)利用某医院耳鼻喉科的耳内镜数据库，获取耳内镜的图像组成耳内镜数据集；
(a2)按照病变程度将耳内镜图像分成正常、分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期四种类型，并且进行标注；
(a3)筛除各种类型中图像模糊以及未拍摄到病变部位的耳内镜图像；
(a4)随机选取耳内镜数据集的病例，分为测试集以及训练集，使用五折交叉验证方法，重复多次产生五个训练集与测试集，耳内镜数据集中一个病例会包含多张病例图像，具体划分时确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全在训练集，要么全在测试集。
本发明采用的耳内镜中耳炎图像数据集来自某医院，该医院耳鼻喉科具有丰富的医疗信息资源，并且每一张图像都是由数个权威医师共同标注的4类图像，同时借助了其他听力设施如纯音测听、声导抗来确保标注准确，数据集可信度极高，病变类型标签可靠，可用于后续的模型训练，所采集的各个类别的耳内镜图像如图2所示。
本发明中，四分类评价标准如下：
(1)耳内镜图像无病变，正常鼓膜为一椭圆形灰白色半透明状薄膜，紧张部有光锥，判为类别0；
(2)分泌性中耳炎鼓室负压内陷、渗出液、鼓室积液、鼓膜失去正常光泽，呈淡黄、橙红或琥珀色、鼓室未充满时可见气泡征或气液平面、锤骨短突突起，光锥变短，判为类别1；
(3)慢性化脓性中耳炎活动期可见鼓膜穿孔，流脓，并有红肿发炎症状，判为类别2；
(4)慢性化脓性中耳炎静止期可见鼓膜穿孔，但较干燥，无流脓和发炎症状，判为类别3。
本实施例中，步骤B中神经网络模型的训练方法如下：
(b1)加载预训练的神经网络模型，神经网络模型采用InceptionV3模型，也可以采用ResNet50模型等模型；
(b2)微调预训练的神经网络模型：去除神经网络模型中最后的全连接层，更换为输出个数为类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于耳内镜图像分类的新的神经网络模型；
(b3)在每个构建的训练集上训练获得的新的神经网络模型，获得训练得到的神经网络模型，具体地，使用Adam优化器，批大小设置为72，初始学习率0.001，每8个周期下降一次学习率，将新的学习率设置为原学习率的0.1倍。
在本发明实施例中，对于InceptionV3，输入图像被缩放至299×299像素，而对于ResNet-50 与 MobileNet-V2，则使用224×224的输入分辨率。所有缩放操作均通过添加黑边的方法保持宽高比，并使用双线性采样方法，最大限度保留信息。
本实施例中，训练网络时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。其具体参数为最大值为图像宽度0.1倍的随机平移及左右拉伸、由0.9到1.1倍的随机缩放，在0度到30度之间的随机旋转，以及50%几率的左右翻转。确保每个训练批次中输入的都是网络从未见过的训练样本。
本实施例中，步骤C中验证步骤B训练得到的神经网络模型性能的方法如下：
(c1)使用准确率评估训练得到的神经网络模型在多折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
(c2) 使用AUC验证该最优神经网络模型的性能：在正常与分泌性中耳炎，以及慢性化脓性中耳炎活动期与静止期两种疑难情况之间，绘出最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际耳内镜图像的处理。
本实施例中，步骤D的具体过程为：将新增的耳内镜图片输入获得的最优神经网络模型中，通过该最优神经网络模型输出新增的耳内镜图片对应于分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期三种类型中耳炎的分类结果，并且给出分类结果的辅助说明图。
辅助说明图的产生方法为：在神经网络中，对于分类分数最大的输出节点，往输入层求梯度，所得的与输入图像大小的矩阵，其每个元素的大小表明了该像素对于该类别分类分数的贡献，因此可以用于解释神经网络产生结果的原因。
具体地，对于每张输入图片，求得梯度矩阵后，在每个像素上取绝对值，并将RGB三个分量相对的梯度绝对值相加，作为该像素的显著性值。对整个矩阵归一化后，使用71×71的高斯核模糊该矩阵，经过上色后即为该图片的辅助说明图。其具体实现示例如图3所示。
为了进一步说明本发明分类方法的优点，最后将在真实数据集上应用本发明所提出的方法，并与通用深度卷积神经网络对比。真实数据集包含了6065张大小从500×500像素到700×700像素之间的耳镜图像。其中1040张图像属于正常鼓膜，2613张图像属于分泌性中耳炎，1661张图像属于慢性化脓性中耳炎静止期，751张图像属于慢性化脓性中耳炎活动期。
实验使用五折交叉验证，在切分数据集时确保同一个病例的不同图片不会同时出现在训练集与测试集中。实验使用准确率作为评价指标，即测试集中分类正确的图像数，占测试集图像总数的比例。
最终评估的性能为所有折测试集上性能的平均值。获得的结果如表1所示。
表1：使用不同网络结构的性能对比
选择其中最优的InceptionV3与人类专家在关键类别上的二分类图像处理结果比较，由图4a和图4b的ROC曲线图可见模型显著优于人类专家水平。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的耳内镜图像神经网络模型构建方法，其特征在于，该方法包括如下步骤：
步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；
所述步骤A中构建数据集的方法如下：
(a1)利用医院耳鼻喉科的耳内镜数据库，获取耳内镜的图像组成耳内镜数据集；(a2)按照病变程度将耳内镜图像分成正常、分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期四种类型，并且进行标注；
(a3)筛除各种类型中图像模糊以及未拍摄到病变部位的耳内镜图像；
(a4)随机选取耳内镜数据集的病例，使用交叉验证方法，划分多个测试集以及训练集，耳内镜数据集中一个病例会包含多张病例图像，具体划分时确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全在训练集，要么全在测试集；
步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；
所述步骤B中神经网络模型的训练方法如下：
(b1)加载预训练的神经网络模型，所述神经网络模型采用InceptionV3模型或者ResNet50模型；
(b2)微调预训练的神经网络模型：去除神经网络模型中最后的全连接层，更换为输出个数为类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于耳内镜图像分类的新的神经网络模型；
(b3)在每个构建的训练集上训练获得的新的神经网络模型，获得训练得到的神经网络模型；
步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型；
所述步骤C中验证步骤B训练得到的神经网络模型性能的方法如下：
(c1)使用准确率评估训练得到的神经网络模型在多折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
(c2)验证该最优神经网络模型的性能：在正常与分泌性中耳炎，以及慢性化脓性中耳炎活动期与静止期两种疑难情况之间，绘出最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际新增耳内镜图像的智能分类。
2.一种基于深度学习的耳内镜图像智能分类处理方法，其特征在于，该方法包括如下步骤：
步骤A：从医院病例数据库中选取耳内镜图像构建耳内镜数据集，将数据集划分为测试集以及训练集；
所述步骤A中构建数据集的方法如下：
(a1)利用医院耳鼻喉科的耳内镜数据库，获取耳内镜的图像组成耳内镜数据集；(a2)按照病变程度将耳内镜图像分成正常、分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期四种类型，并且进行标注；
(a3)筛除各种类型中图像模糊以及未拍摄到病变部位的耳内镜图像；
(a4)随机选取耳内镜数据集的病例，使用交叉验证方法，划分多个测试集以及训练集，耳内镜数据集中一个病例会包含多张病例图像，具体划分时确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全在训练集，要么全在测试集；
步骤B：加载预训练的神经网络模型，在所得到的训练集上微调预训练的神经网络模型，获得训练得到的神经网络模型；
所述步骤B中神经网络模型的训练方法如下：
(b1)加载预训练的神经网络模型，所述神经网络模型采用InceptionV3模型或者ResNet50模型；
(b2)微调预训练的神经网络模型：去除神经网络模型中最后的全连接层，更换为输出个数为类型种数的全连接层，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于耳内镜图像分类的新的神经网络模型；
(b3)在每个构建的训练集上训练获得的新的神经网络模型，获得训练得到的神经网络模型；
步骤C：在测试集上验证步骤B训练得到的神经网络模型的性能，筛选出最优神经网络模型；
所述步骤C中验证步骤B训练得到的神经网络模型性能的方法如下：
(c1)使用准确率评估训练得到的神经网络模型在多折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
(c2)验证该最优神经网络模型的性能：在正常与分泌性中耳炎，以及慢性化脓性中耳炎活动期与静止期两种疑难情况之间，绘出最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际新增耳内镜图像的智能分类；
步骤D：通过步骤C获得的最优神经网络模型，对新增的耳内镜图像进行智能分类，输出分类结果。
3.根据权利要求2所述的基于深度学习的耳内镜图像智能分类处理方法，其特征在于：所述步骤D的具体过程为：将新增的耳内镜图片输入获得的最优神经网络模型中，通过该最优神经网络模型输出新增的耳内镜图片对应于分泌性中耳炎、慢性化脓性中耳炎活动期、慢性化脓性中耳炎静止期三种类型中耳炎的分类结果，并且给出分类结果的辅助说明图。
CN201910930100.7A 2019-09-29 2019-09-29 耳内镜图像神经网络模型构建方法及分类处理方法 Active CN110796249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910930100.7A CN110796249B (zh) 2019-09-29 2019-09-29 耳内镜图像神经网络模型构建方法及分类处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910930100.7A CN110796249B (zh) 2019-09-29 2019-09-29 耳内镜图像神经网络模型构建方法及分类处理方法

Publications (2)

Publication Number Publication Date
CN110796249A CN110796249A (zh) 2020-02-14
CN110796249B true CN110796249B (zh) 2024-01-05

Family

ID=69440034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910930100.7A Active CN110796249B (zh) 2019-09-29 2019-09-29 耳内镜图像神经网络模型构建方法及分类处理方法

Country Status (1)

Country Link
CN (1) CN110796249B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488912B (zh) * 2020-03-16 2020-12-11 哈尔滨工业大学 一种基于深度学习神经网络的喉部疾病诊断系统
AU2022316224A1 (en) * 2021-07-23 2024-02-01 Photonicare Inc. System for multimodal approach to computer assisted diagnosis of otitis media and methods of use
CN113712542A (zh) * 2021-08-27 2021-11-30 中山大学孙逸仙纪念医院 基于深度学习的耳鸣脑电图卷积神经网络模型构建方法
CN115546614B (zh) * 2022-12-02 2023-04-18 天津城建大学 一种基于改进yolov5模型的安全帽佩戴检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108399616A (zh) * 2018-02-11 2018-08-14 西安理工大学 基于深度残差网络的骨科病病变分类分级方法
CN110232408A (zh) * 2019-05-30 2019-09-13 清华-伯克利深圳学院筹备办公室 一种内镜图像处理方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108399616A (zh) * 2018-02-11 2018-08-14 西安理工大学 基于深度残差网络的骨科病病变分类分级方法
CN110232408A (zh) * 2019-05-30 2019-09-13 清华-伯克利深圳学院筹备办公室 一种内镜图像处理方法及相关设备

Also Published As

Publication number Publication date
CN110796249A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110796249B (zh) 耳内镜图像神经网络模型构建方法及分类处理方法
EP3659067B1 (en) Method of modifying a retina fundus image for a deep learning model
Skarzyński et al. A hearing screening program for children in primary schools in Tajikistan: a telemedicine model
CN107169527B (zh) 基于协同深度学习的医学图像分类方法
CN110084252B (zh) 基于深度学习的糖尿病视网膜病变图像标注方法
CN110517256A (zh) 一种基于人工智能的早期癌辅助诊断系统
Li et al. Modelling and analysing the dynamics of disease progression from cross-sectional studies
CN110309853A (zh) 基于变分自编码器的医学图像聚类方法
CN112580580A (zh) 一种基于数据增强与模型融合的病理性近视识别方法
CN111191684B (zh) 一种基于深度学习的具有智能图像分类诊断功能的可视耳内镜
Georgopoulos Advanced time-frequency analysis and machine learning for pathological voice detection
CN109480775A (zh) 一种基于人工智能的新生儿黄疸识别装置、设备、系统
Lu et al. Machine learning-based prediction of the outcomes of cochlear implantation in patients with cochlear nerve deficiency and normal cochlea: a 2-year follow-up of 70 children
CN111784687A (zh) 一种基于深度学习的青光眼眼底图像检测方法
CN116091449A (zh) 一种基于无监督异构蒸馏框架的视网膜oct图像病变分类方法
CN113435488B (zh) 一种图像采样概率提升方法及其应用
Taylor et al. Automated Hearing Impairment Diagnosis Using Machine Learning
Li et al. Uncovering disease regions using pseudo time-series trajectories on clinical trial data
Pasha et al. Experimenting Diabetic Retinopathy Classification Using Retinal Images
Jobanputra et al. Classical approaches and new deep learning trends to assist in accurately and efficiently diagnosing ear disease from otoscopic images
Safari et al. On the Use of Offline Short Tests for Scoring and Classifying Purposes
Liu et al. Unveiling the Network and Community Structures of Emotion Dysregulation: Sex Differences and Implications for Anxiety
Puangarom et al. 3-LbNets: Tri-Labeling Deep Convolutional Neural Network for the Automated Screening of Glaucoma, Glaucoma Suspect, and No Glaucoma in Fundus Images
Charih Machine learning in audiology: Applications and implications
DiLorenzo Conjoint audiogram estimation via Gaussian process classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant