CN117636337A - 一种针对细菌性和真菌性角膜炎的分类方法 - Google Patents
一种针对细菌性和真菌性角膜炎的分类方法 Download PDFInfo
- Publication number
- CN117636337A CN117636337A CN202311509761.5A CN202311509761A CN117636337A CN 117636337 A CN117636337 A CN 117636337A CN 202311509761 A CN202311509761 A CN 202311509761A CN 117636337 A CN117636337 A CN 117636337A
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- confusion
- keratitis
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001580 bacterial effect Effects 0.000 title claims abstract description 65
- 208000014260 Fungal keratitis Diseases 0.000 title claims abstract description 64
- 206010023332 keratitis Diseases 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013145 classification model Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 69
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 208000015181 infectious disease Diseases 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 5
- 230000002458 infectious effect Effects 0.000 description 5
- 230000000813 microbial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 206010017533 Fungal infection Diseases 0.000 description 2
- 208000031888 Mycoses Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000006069 Corneal Opacity Diseases 0.000 description 1
- 206010061788 Corneal infection Diseases 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 208000023715 Ocular surface disease Diseases 0.000 description 1
- 206010064996 Ulcerative keratitis Diseases 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 201000007717 corneal ulcer Diseases 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012774 diagnostic algorithm Methods 0.000 description 1
- 231100000676 disease causative agent Toxicity 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000009629 microbiological culture Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011309 routine diagnosis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种针对细菌性和真菌性角膜炎的分类方法，包括下述步骤：获取包含细菌性角膜炎和真菌性角膜炎的图像数据集；将预处理后的图像数据集输入预先设立的神经网络进行数据增强；构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。本发明通过设计混淆特征交互模块去学习到更具表达力的特征，并且设计混淆损失去引导模型学习混淆特征，从而提高分类准确度。
Description
技术领域
本发明属于图像处理的技术领域，具体涉及一种针对细菌性和真菌性角膜炎的分类方法。
背景技术
感染性角膜炎是一种角膜感染，也称为感染性角膜溃疡或角膜混浊。在全球范围内，传染性角膜炎是导致失明的第五大原因，可分为微生物性角膜炎(细菌、真菌或寄生虫)，或病毒性角膜炎。感染性角膜炎主要的诱发因素包括戴隐形眼镜、眼部损伤和眼表疾病。根据最新的流行病学数据，微生物性角膜炎在全球范围内每年的病例数可能超过200万例。其中，细菌性角膜炎和真菌性角膜炎是微生物性角膜炎中最常见的两种致病原因。患了微生物性角膜炎的患者，如果没有得到及时的治疗，其视力往往会受到一定的影响，严重者甚至会失明。目前，常规的诊断是病史+体征+微生物检查等多种手段结合的方法。其中基于角膜浸润的培养仍然是确定由细菌或真菌引起的感染性角膜炎的金标准，但是基于微生物培养的方法非常耗费时间(需要数天)，这样就可能导致患者错过最佳的治疗时间。因此采用人工智能技术去辅助角膜炎的诊断，在提高效率的同时，也提升了准确率，对患者的快速康复具有重大意义。
计算机辅助诊断技术处理角膜炎的诊断的核心是对于细菌性角膜炎和真菌性角膜炎图像的分类。尽管多数情况下细菌性感染和真菌性感染的角膜炎在临床特征上存在这一定的差别，但这并不是绝对的。先前的一些研究表明，如果只依靠一些临床症状上的差异，普通眼科医生区分细菌性角膜炎和真菌性角膜炎的准确率为49.3–67.1％，而经过训练的角膜专家在同一任务中可以达到66.00–75.90％。也就是说，仅靠图像去完成对角膜炎分类是比较困难的。目前，人工智能技术在这一领域的研究与应用还处于起步阶段。Kuo等人的文章“Adeep learning approach in diagnosing fungal keratitis based oncorneal photographs”使用DenseNet121在其收集的角膜炎数据集上达到了69.4％的准确率(从微生物性角膜炎中判断出哪个是真菌性感染)，同时他们邀请了3名非角膜专科的眼科医生和3名角膜专家来完成相同的任务。非角膜专科的眼科医生在该任务中达到了67.1％的平均准确率，而角膜专家的准确率达到了75.9％。Hung等人的研究“Using slit-lamp images for deep learning-based identification of bacterial and fungalkeratitis:Model development and validation with different convolutionalneural networks”收集了580例患者的1330张裂隙灯图像并手工标注了角膜区域来构建角膜炎的自动诊断算法去区分细菌性角膜炎和真菌性角膜炎，该算法包括一个分割出眼角膜区域的分割模型U2Net和分类模型DenseNet161。除此之外，该模型还将患者的性别和信息与图像的特征向量进行拼接，然后得到融合后的特征再输入到分类器，该模型最终取得了约80％的准确率。这种双阶段的分类虽然在效果上要比单阶段的要好，但是需要手工标注角膜区域和训练分割模型，效率比较低。当前大多数这方面的研究是直接将现有的神经网络模型应用到角膜炎的自动分类中，并没有充分考虑到角膜炎图像的特性，因此效果不是很令人满意。
从前面提到的一些研究工作来看，基于图像的角膜炎自动诊断是很困难的。基于收集的角膜炎数据集进行研究，观察到细菌性角膜炎和真菌性角膜炎会产生相似的临床特征，同时图像中的背景区域占绝大部分，这些区域对于分类是没有什么帮助的，尤其是存在一些相似的临床特征，这反而可能影响分类器的判断。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种针对细菌性和真菌性角膜炎的分类方法，本发明创新性地提出了一个混淆特征交互模块，通过学习并去除对于分类不起作用的一部分特征从而提高分类的效果。
为了达到上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种针对细菌性和真菌性角膜炎的分类方法，包括下述步骤：
获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
作为优选的技术方案，所述预处理为：将图像数据集统一调整为设定大小，将细菌性角膜炎图像对应的标签设为0，真菌性角膜炎图像对应的标签设为1。
作为优选的技术方案，所述数据增强是采用水平翻转、垂直翻转、亮度对比度的随机调整以及Random Erasing，并且在最后进行数据的归一化处理。
作为优选的技术方案，所述采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，具体为：
基于ImageNet大型数据集上预训练的卷积神经网络作为特征提取器，该过程用公式表示如下：
f＝AVG(R(x))
其中x表述经过数据增强后的图像，R表示卷积神经网络，AVG表示全局平均池化，f是一个n维的特征向量；
重新构建分类器使得输出的概率向量维度与分类数目一致，分类器实际上是一个全连接层，用以下公式表示：
p＝FC(f)
其中p表示模型输出的概率向量，也就是分类的预测结果。
作为优选的技术方案，所述混淆特征交互模块具体为：
将特征提取模块获取的特征向量输入到一个多层感知机中，通过多层感知机去提取图像的混淆特征，表示如下：
fc＝MLP(f)
得到的混淆特征会fc与图像的整体特征f进行交互，由于fc是通过f得到的，从集合的角度出发，认为fc是f的子集；使用向量按位相减的操作实现fc和f的交互，通过这个按位相减的操作，相当于从f中消除了其中的混淆特征，从而得到更能表示图像自身特性的细粒度特征向量fa，该过程表示如下：
fa＝Sig(f-fc)
其中Sig表示激活函数Sigmoid。
作为优选的技术方案，对分类模型进行训练的过程中，
所述交叉熵损失具体表达式如下：
CrossEntropy(p,f)＝-(ylog(p1)+(1-y)log(1-p1))
其中m表示一次训练时选取的样本数，p1是模型预测样本是正例的概率，y是图像标签，如果样本属于正例，取值为1，否则取值为0；
所述多类相似性损失具体表达式如下：
其中，sik表示样本对fi和fk的余弦相似度，α、β、λ表示超参数，这个损失函数的输入是经过混淆特征交互之后的fa；
所述混淆损失具体表达式如下：
其中pk表示一次训练中第k个样本对应的特征向量，i和j表示索引位置，即表示pk中第i个元素的值，/>表示pk中元素的最大值，n表示分类任务的类别数；当最小化lcf时，/>
作为优选的技术方案，还包括下述步骤：使用训练好的分类模型在测试集上进行验证，具体为：
使用了torchvision工具包中提供的预训练权重作为网络的初始化参数，并使用标准的SGD在反向传播阶段更新，设定学习率，并且使用CosineAnnealingLR策略在每个训练周期动态调整学习率，按照预设的训练周期和批大小进行训练；在每次训练周期结束后，在测试集上验证模型的准确率，准确率最高的模型将会被保存下来。
第二方面，本发明还提供了一种针对细菌性和真菌性角膜炎的分类系统，应用于所述的一种针对细菌性和真菌性角膜炎的分类方法，包括数据采集模块、数据增强模块、模型构建模块、模型训练模块以及图像分类模块；
所述数据采集模块，用于获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
所述数据增强模块，用于将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
所述模型构建模块，用于构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
所述模型训练模块，用于基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
所述图像分类模块，用于使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
第三方面，本发明还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的一种针对细菌性和真菌性角膜炎的分类方法。
第四方面，本发明还提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的一种针对细菌性和真菌性角膜炎的分类方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明基于ResNet18，整个模型的参数量只有11.3M，而ResNe18的参数量是11.2M，我们增加了少量的参数准确率提高了2.1％；
(2)本发明提出混淆特征交互模块，通过混淆损失驱动模型学习并去除对于分类不起作用的混淆特征，将图像原本的全局特征向量与混淆特征向量进行按位相减，去除图像的呼啸特征，获得更加能表示图像特性的特征向量，从而提高分类准确率；
(3)本发明提出混淆损失，该损失是为了学习到对于分类不起作用的特征，其设计思想如下：混淆特征是不蕴涵分类信息的，因此由混淆特征向量所得到的概率向量应该对于每个类别的置信度分数是一致的；
(4)混淆特征交互模型和混淆损失都是作用于提取到的图像特征向量及其之后的阶段，因此可作为一个即插即用的模块嵌入到绝大多数神经网络当中；
(5)结合度量学习领域的多类相似性来提高同类别的特征向量的相似度并降低不同类别的特征向量的相似度，从而解决角膜炎图像存在的类内方差大类间方差小的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种针对细菌性和真菌性角膜炎的分类方法流程图；
图2为本发明整体网络结构图；
图3为本发明实施例使用的ResNet18结构图；
图4为本发明实施例ResNet18每个块的内部结构图；
图5为本发明实施例混淆特征交互模块的内部结构图；
图6为本发明实施例一种针对细菌性和真菌性角膜炎的分类系统的结构示意图；
图7为本发明实施例电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
如图1所示，本实施例提供的一种针对细菌性和真菌性角膜炎的分类方法，包括以下步骤：
S1、获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理。
在一个实施例中，为了构建角膜炎图像数据集，与中山大学眼科中心的专家进行合作，获取他们近些年来收集的关于细菌性角膜炎和真菌性角膜炎的图像，并且由专业的医生确认过这些病例不存在多种感染并存的情况。本实施例中确保每位患者只保留最多五张图像在数据集中。经过筛选后，数据集中包含666张细菌性角膜炎和767张真菌性角膜炎的图像，并且将图像统一调整为512*512*3的大小，其中3表示图像的通道数。并且为了进行五折交叉验证，本发明以患者为单位将数据集平均分成五份。最后设定细菌性角膜炎图像对应的标签为0，真菌性角膜炎图像对应的标签为1。
S2、将预处理后的图像数据集输入预先设立的神经网络进行数据增强。
在一个实施例中，所述步骤S2将图像输入到神经网络前进行数据增强，避免过拟合的具体操作如下：
对输入的图像进行数据增强操作，包括水平翻转、垂直翻转、亮度对比度的随机调整以及Random Erasing，并且最后进行数据的归一化处理。
在一个更具体的实施例中，数据增强中采用了水平反正，随机翻转，亮度和对比度的随机调整，这些操作发生的概率都是0.5，接着对图像进行归一化处理，使用的方差和均值是由ImageNet数据集计算得来的，方差σ＝[0.229,0.224,0.225],均值μ＝[0.485，0.456，0.406]。最后使用论文“Random Erasing Data Augmentation”中提出来的RandomErasing来对图像进行最后的处理。
S3、构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量。
S31、针对特征提取模块，本实施例采用了Kaiming He等人的文章“Deep ResidualLearning for Image Recognition”提出的ResNet18作为特征提取器。ResNet18的网络结构如图3所示，共由5个网络块组成，这些块的具体结构如图4所示。每经过一个网络块，数据的宽和高都会变为原来的一半，而通道数不断增多。在经过最后一个卷积层后，输入的数据维度就从原来的512*512*3变成16*16*512，紧接着再通过一个全局平均池化层就能得到一个512维的可以表示图像特征的向量f。
在一个实施例中，以经典的卷积神经网络ResNet18提取图像的特征的具体操作如下：
采用了torchvison提供的基于ImageNet大型数据集上预训练的ResNet18作为特征提取器，该过程用公式可以表示为：
f＝AVG(R(x)) (1)
其中x表述经过数据增强后的图像，R表示ResNet18，AVG表示全局平均池化，f是一个n维的特征向量，在本方法中，n＝512；
另外重新构建分类器使得输出的概率向量维度与分类数目一致，分类器实际上是一个全连接层，用以下公式表示：
p＝FC(f) (2)
其中p表示模型输出的概率向量，也就是分类的预测结果，在本方法中，p∈R2。
S32、针对混淆特征交互模块，通常在角膜炎图像中对于分类有帮助的区域主要集中在图像的中心病变区域，图像中的背景区域是没有蕴含有用信息的，而且细菌性角膜炎和真菌性角膜炎会存在者一些相似的临床特征，这也导致了角膜炎图像中很多区域都是非常相似的(本发明称为混淆区域)，从而导致分类困难。而由ResNet18提取出来的特征是图像的全局特征，因此其中一部分混淆特征是对分类不起作用的(从混淆区域中学习到的特征)，这些特征的存在反正还会影响分类的准确度。因此本发明提出了混淆特征交互模块。
这个模块的具体结构如图5所示，使用一个多层感知机自适应地从图像的全局特征表示f中提取到混淆特征fc,然后将f与fc进行一个交互操作，在本实施例中这个操作使用减法实现，最后再通过Sigmoid激活函数得到表达能力更强的特征向量fa。
在一个实施例中，混淆特征交互模块的具体步骤如下：
在步骤S3中获取的特征向量会输入到一个多层感知机中，通过多层感知机去提取图像的混淆特征，该过程可以用以下公式表示：
fc＝MLP(f) (3)
得到的混淆特征会与图像的整体特征f进行交互，从而去除f中对于分类不起作用的那一部分混淆特征，从而得到更精细的特征向量。在本方法中，其简单的使用相减实现，该过程用以下公式表示：
fa＝Sig(f-fc) (4)
其中Sig表示激活函数Sigmoid。
S33、针对分类器，从图2可以看到，整个网络中包含两个分类器，分别用于得到混淆概率向量pc和预测结果概率向量pa；这两个分类器结构上是一致的，都是一个输入节点数为512输出节点数为2的全连接层。
S4、对分类模型进行训练；
本实施例使用所提出的BF loss训练网络：
Lbf＝αLce+βLms+γLcf (5)
其中Lce、Lms、Lcf分别表示交叉熵损失、多类相似性损失、混淆损失，α、β、γ表示权重项，在本方法中全都为1。具体如下：
S41、交叉熵损失用于衡量真实值和模型预测值之间的差异，具体表达式为：
CrossEntropy(p,y)＝-(ylog(p1)+(1-y)log(1-p1)) (7)
其中m表示一次训练时选取的样本数，p1是模型预测样本是正例的概率，y是图像标签，如果样本属于正例，取值为1，否则取值为0；
S42、本实施例中引入了度量学习领域的技术去解决角膜炎图像存在着类内方差大类间方差小的问题。多类相似性用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度。该loss源自于文章“Multi-Similarity Loss with GeneralPair Weighting for Deep Metric Learning”，可用以下公式表示：
其中，sik表示样本对(fi和fk)的余弦相似度，α、β、λ表示超参数，实际中取值分别为2，50，0.5；注意这个损失函数的输入是经过混淆特征交互之后的fa。
S43、混淆损失是针对混淆特征而提出来的，旨在驱动模型提取到对于分类不起作用的特征。在此方法中，混淆特征被定义为那些对分类不起作用的特征，比如图形的背景信息特征和不同角膜炎间相似的临床特征。由于混淆特征是不蕴涵分类信息的，因此由fc所获得的概率向量pc应该对于每个类别的置信度分数是一致的。具体来说，对于一个n分类任务，pc中类别i的概率值都应该为/>这意味着分类器无法从fc中获取有用的信息，所以只能对每个类别都给出一致的预测值。本实施例通过设计混淆损失，使得pc中元素的最大值为/>此时/>其公式表示如下：
其中pk表示一次训练中第k个样本对应的特征向量，i和j表示索引位置，即表示pk中第i个元素的值，/>表示pk中元素的最大值，n表示分类任务的类别数。当最小化lcf时，/>
S5、验证分类模型；
在一个实施例中，使用pytorch深度学习框架完成上述框架的搭建。本实施例使用了torchvision工具包中提供的预训练权重作为网络的初始化参数，并使用标准的SGD(动量＝0.9，权值decay＝0.05)在反向传播阶段更新这些值。学习率设置为0.0005，并且使用来CosineAnnealingLR策略在每个训练周期动态调整学习率，总的训练周期设置为120，训练的批大小为16。在每次训练周期结束后，会在测试集上验证模型的准确率，准确率最高的模型会保存下来。
为了避免偶然性，本实施例使用五折交叉验证去评估模型的性能。首先将数据集均等分成五份，每次训练取其中一份作为测试集，其余部分作为训练集。这样子进行五次训练之后，共得到五个模型，取这五个模型在各自测试集上的评估指标的均值作为衡量这个方法性能的标准。目前本发明所提方法的平均准确率达到了83.67％，比本发明的基准模型ResNet18高了2.1％。
S6、使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
本发明以角膜炎图像的特点出发提出一种根据图像自动诊断角膜炎的方法，通过设计混淆特征交互模块去学习到更具表达力的特征，并且设计混淆损失去引导模型学习混淆特征，从而提高分类准确度。所提的混淆特征交互模块和混淆损失可嵌入到任意的分类任务当中。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的一种针对细菌性和真菌性角膜炎的分类方法相同的思想，本发明还提供了一种针对细菌性和真菌性角膜炎的分类系统，该系统可用于执行上述一种针对细菌性和真菌性角膜炎的分类方法。为了便于说明，一种针对细菌性和真菌性角膜炎的分类系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图6，在本申请的另一个实施例中，提供了一种一种针对细菌性和真菌性角膜炎的分类系统100，该系统包括包括数据采集模块101、数据增强模块102、模型构建模块103、模型训练模块104以及图像分类模块105；
所述数据采集模块101，用于获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
所述数据增强模块102，用于将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
所述模型构建模块103，用于构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
所述模型训练模块104，用于基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
所述图像分类模块105，用于使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
需要说明的是，本发明的一种针对细菌性和真菌性角膜炎的分类系统与本发明的一种针对细菌性和真菌性角膜炎的分类方法一一对应，在上述一种针对细菌性和真菌性角膜炎的分类方法的实施例阐述的技术特征及其有益效果均适用于一种针对细菌性和真菌性角膜炎的分类的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的一种针对细菌性和真菌性角膜炎的分类系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述一种针对细菌性和真菌性角膜炎的分类系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图7，在一个实施例中，提供了一种实现一种针对细菌性和真菌性角膜炎的分类方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如针对细菌性和真菌性角膜炎的分类程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如针对细菌性和真菌性角膜炎的分类程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图7仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的针对细菌性和真菌性角膜炎的分类程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，包括下述步骤：
获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
2.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，所述预处理为：将图像数据集统一调整为设定大小，将细菌性角膜炎图像对应的标签设为0，真菌性角膜炎图像对应的标签设为1。
3.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，所述数据增强是采用水平翻转、垂直翻转、亮度对比度的随机调整以及Random Erasing，并且在最后进行数据的归一化处理。
4.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，所述采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，具体为：
基于ImageNet大型数据集上预训练的卷积神经网络作为特征提取器，该过程用公式表示如下：
f＝AVG(R(x))
其中x表述经过数据增强后的图像，R表示卷积神经网络，AVG表示全局平均池化，f是一个n维的特征向量；
重新构建分类器使得输出的概率向量维度与分类数目一致，分类器实际上是一个全连接层，用以下公式表示：
p＝FC(f)
其中p表示模型输出的概率向量，也就是分类的预测结果。
5.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，所述混淆特征交互模块具体为：
将特征提取模块获取的特征向量输入到一个多层感知机中，通过多层感知机去提取图像的混淆特征，表示如下：
fc＝MLP(f)
得到的混淆特征会fc与图像的整体特征f进行交互，由于fc是通过f得到的，从集合的角度出发，认为fc是f的子集；使用向量按位相减的操作实现fc和f的交互，通过这个按位相减的操作，相当于从f中消除了其中的混淆特征，从而得到更能表示图像自身特性的细粒度特征向量fa，该过程表示如下：
fa＝Sig(f-fc)
其中Sig表示激活函数Sigmoid。
6.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，对分类模型进行训练的过程中，
所述Cross-Entropy Loss具体表达式如下：
CrossEntropy(p,y)＝-(ylog(p1)+(1-y)log(1-p1))
其中m表示一次训练时选取的样本数，p1是模型预测样本是正例的概率，y是图像标签，如果样本属于正例，取值为1，否则取值为0；
所述Multi-Similarity Loss具体表达式如下：
其中，sik表示样本对fi和fk的余弦相似度，α、β、λ表示超参数，这个损失函数的输入是经过混淆特征交互之后的fa；
所述Confusion Loss具体表达式如下：
其中pk表示一次训练中第k个样本对应的特征向量，i和j表示索引位置，即表示pk中第i个元素的值，/>表示pk中元素的最大值，n表示分类任务的类别数；当最小化lcf时，
7.根据权利要求1所述一种针对细菌性和真菌性角膜炎的分类方法，其特征在于，还包括下述步骤：使用训练好的分类模型在测试集上进行验证，具体为：
使用了torchvision工具包中提供的预训练权重作为网络的初始化参数，并使用标准的SGD在反向传播阶段更新，设定学习率，并且使用CosineAnnealingLR策略在每个训练周期动态调整学习率，按照预设的训练周期和批大小进行训练；在每次训练周期结束后，在测试集上验证模型的准确率，准确率最高的模型将会被保存下来。
8.一种针对细菌性和真菌性角膜炎的分类系统，其特征在于，应用于权利要求1-7中任一项所述的一种针对细菌性和真菌性角膜炎的分类方法，包括数据采集模块、数据增强模块、模型构建模块、模型训练模块以及图像分类模块；
所述数据采集模块，用于获取包含细菌性角膜炎和真菌性角膜炎的图像数据集，对所述图像数据集进行预处理；
所述数据增强模块，用于将预处理后的图像数据集输入预先设立的神经网络进行数据增强；
所述模型构建模块，用于构建分类模型，所述分类模型包括特征提取模块、混淆特征交互模块和分类器；所述特征提取模块用于采用经典的卷积神经网络提取数据增强后图像数据集的图像的特征，所述混淆特征交互模块用于去除对于分类不起作用的混淆特征，获得更加能表示图像特性的特征向量，所述分类器用于得到混淆概率向量和预测结果概率向量；
所述模型训练模块，用于基于交叉熵损失、多类相似性损失和混淆损失对分类模型进行训练，直至模型收敛；所述交叉熵损失用于衡量真实值和模型预测值之间的差异；所述多类相似性损失用于提高同类别图像的特征向量的相似度，降低不同类别图像的特征向量的相似度；所述混淆损失用于驱动分类模型提取到对于分类不起作用的特征；
所述图像分类模块，用于使用训练好的分类模型对细菌性和真菌性角膜炎图像进行分类。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的一种针对细菌性和真菌性角膜炎的分类方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的一种针对细菌性和真菌性角膜炎的分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311509761.5A CN117636337A (zh) | 2023-11-14 | 2023-11-14 | 一种针对细菌性和真菌性角膜炎的分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311509761.5A CN117636337A (zh) | 2023-11-14 | 2023-11-14 | 一种针对细菌性和真菌性角膜炎的分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117636337A true CN117636337A (zh) | 2024-03-01 |
Family
ID=90017335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311509761.5A Pending CN117636337A (zh) | 2023-11-14 | 2023-11-14 | 一种针对细菌性和真菌性角膜炎的分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636337A (zh) |
-
2023
- 2023-11-14 CN CN202311509761.5A patent/CN117636337A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN112381178B (zh) | 一种基于多损失特征学习的医学影像分类方法 | |
| CN111862009A (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
| CN111738302A (zh) | 一种基于多模态数据对阿尔茨海默病进行分类诊断的系统 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Yang et al. | Discriminative dictionary learning for retinal vessel segmentation using fusion of multiple features | |
| CN116523840B (zh) | 一种基于深度学习的肺部ct图像检测系统以及方法 | |
| Thangavel et al. | EAD-DNN: Early Alzheimer's disease prediction using deep neural networks | |
| CN111046978A (zh) | 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 | |
| CN112017788B (zh) | 基于强化学习模型的疾病排序方法、装置、设备及介质 | |
| CN113408593A (zh) | 一种基于改进的ResNeSt卷积神经网络模型的糖尿病性视网膜病变图像分类方法 | |
| CN117636337A (zh) | 一种针对细菌性和真菌性角膜炎的分类方法 | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估系统 | |
| Guefrachi et al. | Automated diabetic retinopathy screening using deep learning | |
| Cao et al. | Alzheimer’s Disease Stage Detection Method Based on Convolutional Neural Network | |
| CN116403717B (zh) | 基于深度学习的近视预测方法、装置、终端设备和介质 | |
| Vijayaraghavan | Detection and Revelation of Multiple Ocular Diseases using Transfer Learning Techniques | |
| Nagaraj et al. | Deep Learning Framework for Diabetic Retinopathy Diagnosis | |
| Ali et al. | Classifying Three Stages of Cataract Disease using CNN | |
| Mostafa et al. | Deep Learning-Based Classification of Ocular Diseases Using Convolutional Neural Networks | |
| Saju et al. | Improved AO based Classification Framework for Eye Diseases | |
| Kaleel et al. | Ocular Disease Prediction Using Feature Maps with Convolutional Neural Network (CNN) Method | |
| CN117115896A (zh) | 基于多粒度特征学习的细菌性角膜炎和真菌性角膜炎裂隙灯图像分类方法 | |
| Shakil et al. | Toward Precision Diagnosis of Otitis Media: Introducing A Novel EARnet-AR Model | |
| Sharma et al. | Automated Diagnosis Model for Glaucoma Detection: A Deep Learning Feature Fusion and LS-SVM based Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |