CN110826629A - 一种基于细粒度分类的耳镜图像辅助诊断方法 - Google Patents

一种基于细粒度分类的耳镜图像辅助诊断方法 Download PDF

Info

Publication number
CN110826629A
CN110826629A CN201911085774.8A CN201911085774A CN110826629A CN 110826629 A CN110826629 A CN 110826629A CN 201911085774 A CN201911085774 A CN 201911085774A CN 110826629 A CN110826629 A CN 110826629A
Authority
CN
China
Prior art keywords
image
local
classification
images
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911085774.8A
Other languages
English (en)
Inventor
李远清
肖立超
余晋刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911085774.8A priority Critical patent/CN110826629A/zh
Publication of CN110826629A publication Critical patent/CN110826629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；将两个分类结果平均，即得到对该图像的最终诊断结果；本发明仅要求训练集中的图像有类别标签的标注，不要求有定位信息的标注，相比强监督的细粒度分类方法简化了数据收集与标注过程；本发明同时融合了全局信息与局部信息，能够处理更细粒度的特征，相对直接使用通用卷积神经网络而言，对耳镜图像有更好的分类性能。

Description

一种基于细粒度分类的耳镜图像辅助诊断方法
技术领域
本发明属于计算机视觉及医学图像辅助诊断技术领域，以融合不同尺度的信息为出发点，具体涉及一种基于细粒度分类的耳镜图像辅助诊断方法。
背景技术
细粒度图像分类的目标为区分一个基本类别下的众多子类，在现有的实践中，包括区分不同种类的鸟，不同型号的汽车、飞机等。为了能够区分外观相近的子类，其关键在于找到具有判别力的局部信息。传统方法上一般需要使用人工标注的特征点辅助寻找这些定位信息，例如人工对鸟类头部、翅膀以及尾部标注出关键点，对数据标注人员的要求较高。已有的公知方法中，也有致力于在弱监督条件下能够寻找出具有关键信息的局部图像的方法，如《两级注意模型在深度卷积神经网络细粒度图像分类中的应用》提出的两级注意力方法，此方法可以在预训练模型的帮助下筛选输入图像的主体部分，并提取出多个关键部位，在聚类后分别输入到深度卷积神经网络中提取特征，拼接后使用支持向量机获得局部分类结果，最后将局部分类结果与使用整张图片获得的全局结果融合，可以提高分类性能。此公知方法的优点在于框架简单而有效，但要求有一个包含目标数据集的预训练模型，大幅度限制了它的使用范围。如果应用的目标领域不在ImageNet的1000种类别之中，将无法筛选输入图像的主体部分。
基于医学图像的辅助诊断与细粒度分类的现有实践相似，都要求根据细微的局部差别区分不同的疾病子类，例如使用耳镜图像区分慢性化脓性中耳炎的活动期与静止期。在使用耳镜图像辅助诊断的现有公知方法中，也使用了关键点定位技术，如迈伯勒的《发展中国家中耳炎的鼓膜影像诊断分析》，首先使用人工提取的特征方法定位到锤骨以及鼓膜上，使用人工定义的测量方法获得每个部位的特征数据，再使用决策树分类获得诊断结果，但人工选择的特征由于不一定是最适合分类的，存在性能和鲁棒性的问题。因此在医学图像辅助诊断中也引入了深度学习方法，是用深度卷积神经网络在训练集上仅提供类别标签，训练后的模型在测试集上即有良好的性能，免去了人工调整与设计的局限性，但在特征提取及分类方面，现有的公知方法并没有实现弱监督地利用局部信息，即在仅提供类别标签的情况下，自动识别关键部位，提取局部特征，以提高分类的准确率。
为了在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率为此我们提出一种基于细粒度分类的耳镜图像辅助诊断方法。
发明内容
本发明的目的在于提供一种基于细粒度分类的耳镜图像辅助诊断方法，在仅提供类别标签的情况下，自动识别关键部位，提取局部信息与全局信息融合，提高分类的准确率。
为实现上述目的，本发明提供如下技术方案：一种基于细粒度分类的耳镜图像辅助诊断方法，所述辅助诊断方法如下：
步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；
步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；
步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。
作为本发明的一种优选的技术方案，所述全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。
作为本发明的一种优选的技术方案，所述显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。
作为本发明的一种优选的技术方案，所述局部选择器使用区域提取算法为输入的全局图像提取众多候选的局部图像，并根据显著性图为每个局部图像打分，最后返回分数最高的k张局部图像。
作为本发明的一种优选的技术方案，所述局部分类器为使用训练集中图像提取的局部图像与原全局图像的类别标签训练所得的卷积神经网络。
作为本发明的一种优选的技术方案，图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小。
作为本发明的一种优选的技术方案，在训练时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。
与现有技术相比，本发明的有益效果是：
(1)本发明仅要求训练集中的图像有类别标签的标注，不要求有定位信息的标注，如关键位置的边界框，关键点，蒙版，相比强监督的细粒度分类方法简化了数据收集与标注过程；
(2)本发明同时融合了全局信息与局部信息，能够处理更细粒度的特征，相对直接使用通用卷积神经网络而言，对耳镜图像有更好的分类性能；
(3)本发明图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小，提高了图像特征提取的准确度。
附图说明
图1为本发明的细粒度分类方法流程图；
图2为本发明的实施例中局部选择器的流程与效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供一种技术方案：一种基于细粒度分类的耳镜图像辅助诊断方法，辅助诊断方法如下：
步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；
步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；
步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。
本实施例中，优选的，全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。
本实施例中，优选的，显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。
本实施例中，优选的，局部选择器使用区域提取算法为输入的全局图像提取众多候选的局部图像，并根据显著性图为每个局部图像打分，最后返回分数最高的k张局部图像。
本实施例中，优选的，局部分类器为使用训练集中图像提取的局部图像与原全局图像的类别标签训练所得的卷积神经网络。
本实施例中，优选的，图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小。
本实施例中，优选的，在训练时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。
全局分类器可以使用深度卷积神经网络实现，包括通用的InceptionV3、ResNet-50以及MobileNet-V2，值得注意的是，可以使用其他任意深度卷积神经网络结构。具体地，在本发明实施例中，InceptionV3、ResNet-50由于在ImageNet数据集上预训练的模型支持任意分辨率，因此将输入图像在保持宽高比的情况下缩放使最长边为600像素；在使用MobileNet-V2时，最长边则为224像素；预训练模型在训练集上使用样本图像及样本图像的类别标签微调后，即可用作全局分类器。
局部选择器实现弱监督定位功能，其接收来自全局分类器的显著性图，通过区域提取与区域打分，选择出具有高判别力的局部图像，其执行步骤如说明书附图图2所示。在本实施例中，显著性图基于Simonyan K.提出的显著图实现，其原理为对神经网络最后的柔性最大值传输函数层对应某个类别的节点，求其相对输入图像的梯度的绝对值，即为该类别的显著图，其物理意义为衡量输入图像每个像素对输出分数的贡献，因此具有很强的定位能力。由于在耳镜图像中，病灶都位于鼓膜区域内，而且在测试阶段输入图像的类别是未知的，因此在本实施例中，对所有类别节点求显著图，相加后归一化，即为弱监督定位所用的显著性图。区域选择的目的是在输入图像中产生候选区域，为了简化起见，本实施例使用了一系列的滑动窗口，即边长分别为400，299以及99像素的正方形，以20像素的步长，在原图像上滑动，产生一系列的候选区域。区域打分即为对每一个候选区域打分，具体为候选区域在显著性图对应区域上的平均强度。通过这一系列操作，即可选择出与主体相关的k个局部图像。本实施例对于每张输入图像，在每个尺度上选择2个分数最高的局部图像，一共选择6个局部图像。
本实施例的局部分类器可以使用深度卷积神经网络实现，处理局部选择器获得的局部图像。在训练时，对训练集的所有样本图像，使用全局分类器提取显著性图后，经过局部选择器选择得到对应的局部图像；局部图像的标签即为对应的样本图像的标签。具体地，在本发明实施例中，InceptionV3作为局部分类器时，输入图像被缩放至299×299像素，而对于ResNet-50与MobileNet-V2，则使用224×224的输入分辨率。
在本实施例中，训练网络时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。其具体参数为最大值为图像宽度0.1倍的随机平移及左右拉伸、由0.9到1.1倍的随机缩放，在0度到30度之间的随机旋转，以及50％几率的左右翻转，确保每个训练批次中输入的都是网络从未见过的训练样本。
为了进一步说明本发明提出的细粒度分类方法的优点，最后将在真实数据集上应用本发明所提出的方法，并与通用深度卷积神经网络对比。真实数据集包含了6065张大小从500×500像素到700×700像素之间的耳镜图像。其中1040张图像属于正常鼓膜，2613张图像属于分泌性中耳炎，1661张图像属于慢性化脓性中耳炎静止期，751张图像属于慢性化脓性中耳炎活动期。实验使用五折交叉验证，在切分数据集时确保同一个病例的不同图片不会同时出现在训练集与测试集中。实验使用准确率作为评价指标，即测试集中分类正确的图像数，占测试集图像总数的比例，获得的结果如表1所示。相对于直接使用通用深度卷积神经网络，本发明所提出的方法在使用各种网络结构时都能够有效提升分类的准确率。
表1使用不同网络结构的性能对比
Figure BDA0002265358320000061
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述辅助诊断方法如下：
步骤一：输入图像，使用全局分类器，获得全局分类结果，以及显示主体区域的显著性图；
步骤二：使用显著性图，通过局部选择器，选择k张病灶所在的局部图像，并将其输入局部分类器，获得每张局部图像对应的分类结果，求平均后即为局部分类结果；
步骤三：将两个分类结果平均，即得到对该图像的最终诊断结果。
2.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述全局分类器为使用训练集的整张图像与对应的类别标签训练所得的卷积神经网络。
3.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述显著性图由全局分类器产生，可以显示区域对分类结果的贡献程度，产生方法为在神经网络中分别对每个类别出输节点到输入求偏导，取绝对值后求和，再归一化。
4.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述局部选择器使用区域提取算法为输入的全局图像提取众多候选的局部图像，并根据显著性图为每个局部图像打分，最后返回分数最高的k张局部图像。
5.根据权利要求1所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：所述局部分类器为使用训练集中图像提取的局部图像与原全局图像的类别标签训练所得的卷积神经网络。
6.根据权利要求4或5所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：图像提取时使用双线性插值算法对图片进行缩放，利用卷积核对图像进行卷积处理，确定处理后图像各特征图大小。
7.根据权利要求1-6任一项所述的一种基于细粒度分类的耳镜图像辅助诊断方法，其特征在于：在训练时对输入图像进行数据增强操作，包括：平移、缩放、旋转、左右翻转以及左右拉伸。
CN201911085774.8A 2019-11-08 2019-11-08 一种基于细粒度分类的耳镜图像辅助诊断方法 Pending CN110826629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911085774.8A CN110826629A (zh) 2019-11-08 2019-11-08 一种基于细粒度分类的耳镜图像辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911085774.8A CN110826629A (zh) 2019-11-08 2019-11-08 一种基于细粒度分类的耳镜图像辅助诊断方法

Publications (1)

Publication Number Publication Date
CN110826629A true CN110826629A (zh) 2020-02-21

Family

ID=69553434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911085774.8A Pending CN110826629A (zh) 2019-11-08 2019-11-08 一种基于细粒度分类的耳镜图像辅助诊断方法

Country Status (1)

Country Link
CN (1) CN110826629A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524093A (zh) * 2020-03-23 2020-08-11 中润普达(十堰)大数据中心有限公司 一种异常舌象的智能筛查方法及其系统
CN112185550A (zh) * 2020-09-29 2021-01-05 强联智创（北京）科技有限公司 一种分型方法、装置以及设备
CN113103256A (zh) * 2021-04-22 2021-07-13 达斯琪(重庆)数字科技有限公司 一种服务机器人视觉系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147840A (zh) * 2019-05-22 2019-08-20 桂林电子科技大学 基于显著性无监督部件划分的弱结构物体细粒度分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147840A (zh) * 2019-05-22 2019-08-20 桂林电子科技大学 基于显著性无监督部件划分的弱结构物体细粒度分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖立超等: "FINE-GRAINED CLASSIFICATION OF ENDOSCOPIC TYMPANIC MEMBRANE IMAGES", 《WEB OF SCIENCE》, pages 230 - 234 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524093A (zh) * 2020-03-23 2020-08-11 中润普达(十堰)大数据中心有限公司 一种异常舌象的智能筛查方法及其系统
CN112185550A (zh) * 2020-09-29 2021-01-05 强联智创（北京）科技有限公司 一种分型方法、装置以及设备
CN113103256A (zh) * 2021-04-22 2021-07-13 达斯琪(重庆)数字科技有限公司 一种服务机器人视觉系统

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110363134B (zh) 一种基于语义分割的人脸遮挡区定位方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN108090906B (zh) 一种基于区域提名的宫颈图像处理方法及装置
CN103218603B (zh) 一种人脸自动标注方法及系统
CN110633758A (zh) 针对小样本或样本不平衡的癌症区域检测定位的方法
CN110826629A (zh) 一种基于细粒度分类的耳镜图像辅助诊断方法
CN109344851B (zh) 图像分类显示方法和装置、分析仪器和存储介质
De Guzman et al. Design and evaluation of a multi-model, multi-level artificial neural network for eczema skin lesion detection
CN107835654A (zh) 图像处理装置、图像处理方法和图像处理程序
Fujita et al. A practical plant diagnosis system for field leaf images and feature visualization
CN109670489B (zh) 基于多实例学习的弱监督式早期老年性黄斑病变分类方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
Huang et al. Automated hemorrhage detection from coarsely annotated fundus images in diabetic retinopathy
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN112419452B (zh) 一种胃癌pd-l1数字病理切片图像快速合并系统及方法
Zhang et al. Polar coordinate sampling-based segmentation of overlapping cervical cells using attention U-Net and random walk
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
CN106803248A (zh) 模糊车牌图像模糊度评价方法
Han et al. Adaptive super-resolution for person re-identification with low-resolution images
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
CN110874576B (zh) 一种基于典型相关分析融合特征的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination