CN112348792A - 一种基于小样本学习和自监督学习的x光胸片图像分类方法 - Google Patents
一种基于小样本学习和自监督学习的x光胸片图像分类方法 Download PDFInfo
- Publication number
- CN112348792A CN112348792A CN202011218079.7A CN202011218079A CN112348792A CN 112348792 A CN112348792 A CN 112348792A CN 202011218079 A CN202011218079 A CN 202011218079A CN 112348792 A CN112348792 A CN 112348792A
- Authority
- CN
- China
- Prior art keywords
- self
- learning
- network
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000002601 radiography Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 129
- 238000013135 deep learning Methods 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000003745 diagnosis Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 206010003598 Atelectasis Diseases 0.000 claims description 3
- 206010014561 Emphysema Diseases 0.000 claims description 3
- 206010016654 Fibrosis Diseases 0.000 claims description 3
- 206010030113 Oedema Diseases 0.000 claims description 3
- 206010035600 Pleural fibrosis Diseases 0.000 claims description 3
- 206010035664 Pneumonia Diseases 0.000 claims description 3
- 208000007123 Pulmonary Atelectasis Diseases 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000000747 cardiac effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000004761 fibrosis Effects 0.000 claims description 3
- 239000012530 fluid Substances 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 230000008595 infiltration Effects 0.000 claims description 3
- 238000001764 infiltration Methods 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 claims description 3
- 201000003144 pneumothorax Diseases 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007306 turnover Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于小样本学习和自监督学习的X光胸片图像分类方法，属于图像分类技术领域。所述方法包括步骤：获取所有X光胸片图像，将未确定诊断结果的X光胸片图像划入无标签训练集Ts，将已确定诊断结果的X光胸片图像划分为两组：分别为带标签训练集T和带标签测试集Te；在深度学习框架中构建深度学习网络；将所述无标签训练集Ts和所述带标签训练集T输入深度学习网络中，对所述深度学习网络进行训练，根据损失函数更新所述深度学习网络。利用自监督学习和小样本学习的互补性，将自监督学习作为小样本学习的一个辅助任务通道，使特征提取器可以学习更丰富的图像特征。
Description
技术领域
本发明涉及图像分类技术领域，更具体地，涉及一种基于小样本学习和自监督学习的X光胸片图像分类方法。
背景技术
深度学习取得了巨大的成就，在各种计算机视觉挑战性问题上实现了最先进的或人类水平的性能。CNN卷积神经网络是常用于进行图像分类的深度学习方法，然而，训练一个普通卷积神经网络，往往需要大量携带标记的样本，才能得到较高的性能，不然训练好的模型在测试数据上的泛化性能会变差，甚至出现过拟合的状况。
医学图像分类是医学图像处理与分析领域的复杂而关键的步骤，其目的是提取医学图像相关特征，再通过某种方式为医学影像进行分类，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。而在人工智能和深度学习的研究领域中，多数图像处理的计算机视觉任务都是基于自然图像的。由于自然图像样本易获取，且标注成本较低，因此得到大量标记样本并不难。但在与医学图像有关的视觉任务中，存在着样本数量少、人工标注成本过高、以及类别严重不均等问题，实际应用中单一病种数据量不足，数据分散，病种分散，这使得普通的CNN网络很难适用于与医学图像相关的视觉任务中，准确率得不到保障。因此要引入小样本学习和自监督学习的思路来处理相关问题。
公开号为CN111553890A公开日：2020-08-18提出的一种基于增量学习的X光正位胸片多任务检测方法通过深度表征学习结合小样本训练学习，在样本数量少的基础上，利用多语义任务和多标签的增量学习方法进行胸片多任务检测，用已有知识去学习识别新的疾病种类，但是仅仅通过小样本学习对有限的标记样本进行分类学习可能效果不理想。
发明内容
为克服上述现有技术所述的仅通过小样本学习对少量的标记样本进行分类学习效果不理想的技术问题，本发明提供了一种基于小样本学习和自监督学习的X光胸片图像分类方法，技术方案如下：
一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，包括如下步骤：
S1：获取X光胸片图像，将未确定诊断结果的X光胸片图像划入无标签训练集Ts，将已确定诊断结果的X光胸片图像备注相应诊断结果的标签后划入带标签数据集；
S2：将带标签数据集划分为带标签训练集T和带标签测试集Te；对带标签训练集T、带标签测试集Te和无标签训练集Ts中的所有X光胸片图像进行统一调整图像尺寸处理；
S3：对带标签训练集T、无标签训练集Ts分别进行数据增强处理；
S4：在深度学习框架中构建深度学习网络；
S5：将所述无标签训练集Ts和所述带标签训练集T输入深度学习网络中，对所述深度学习网络进行训练，根据综合损失函数Lsum更新所述深度学习网络；
S6：将预设数量的epoch作为一个训练段，并在完成每一个训练段的训练后，将带标签测试集Te中的所有X光胸片图像依次输入深度学习网络中的特征提取器和小样本分类网络，统计小样本分类网络的输出结果符合X光胸片图像标签的数量，从而得到当前深度学习网络测试准确率；若当前输出的测试准确率大于上一次输出的测试准确率，则保存当前网络所使用的神经网络里面卷积层中的权重参数，输出深度学习网络图像分类模型；若当前输出的测试准确率小于等于上一次输出的测试准确率，则不保存当前网络所使用的神经网络里面卷积层中的权重参数。
进一步地，步骤S2中，所述统一调整图像尺寸处理的步骤包括：通过拉伸的方式统一将所有X光胸片图像长宽比例调整为1:1，然后将X光胸片图像的长和宽都调整为256像素。
进一步地，步骤S3中，对所述带标签训练集T进行数据增强处理的步骤包括对X光胸片图像进行水平翻转、垂直翻转、仿射变换处理；对所述无标签训练集Ts进行数据增强处理的步骤包括对X光胸片图像进行随机裁剪，水平翻转处理。
进一步地，步骤S4中，所述深度学习网络包括：特征提取器，小样本分类网络，自监督学习网络；特征提取器的输出端分别连接小样本分类网络和自监督学习网络的输入端，所述特征提取器采用ResNext50卷积神经网络。
进一步地，所述带标签数据集中的X光胸片图像划入带标签训练集T和带标签测试集Te，划分的依据是随机选取。
进一步地，所述综合损失函数Lsum的计算公式为：
Lsum＝Lcls+λLself
其中，λ表示权重平衡参数，使用标准正态分布的方法随机初始化；
Lcls表示小样本分类网络的小样本分类损失函数，其计算公式是：
Lcls＝cross_entropy(softmax(C),Labeltruth)
C＝cos(F(xj),wj)
其中，wj是自定义权重，表示第j次训练时进行余弦相似度计算的一个权重。xj表示第j个输入小样本分类网络的X光胸片图像，F表示特征提取器，C表示特征提取器F提取的图像特征与自定义权重wj的余弦相似度，Labeltruth表示当前输入的X光胸片图像的标签，cross_entropy(·)表示交叉熵损失函数；
Lself表示自监督学习网络的自监督学习损失函数，其计算公式是：
Lself＝cross_entropy(softmax(rot(F(xi)),Labelrot)
其中，xi表示第i个输入自监督学习网络的X光胸片图像，F表示特征提取器，在进行图像特征的自监督学习时，需要将特征提取器提取的图像特征在预设角度中随机选择一个角度进行旋转，rot(·)表示在自监督学习网络中对提取的图像特征进行随机旋转的操作，cross_entropy(·)表示交叉熵损失函数；Labelrot表示图像特征旋转角度的标签。
进一步地，步骤S2中，所述带标签数据集中的标签包括：健康、肺不张、心脏肿大、积液、浸润、肿块、结节、肺炎、气胸、实变、水肿、肺气肿、纤维化、胸膜增厚、肺疵。
进一步地，所述带标签训练集T每个标签下的样本数量不超过20张且不少于5张，以构成小样本学习的训练集；带标签测试集Te由未选入带标签训练集T的样本组成，其中带标签测试集Te中每个标签下的样本数量不超过带标签训练集T中该标签下样本数量的二分之一；其他样本数据归入无标签训练集Ts，作为自监督学习所使用的数据集。
进一步地，步骤S5中，所述对所述深度学习网络进行训练总共有30-50段，每一段训练中包括300-500个epoch；其中，每训练一个epoch时，从带标签训练集T中随机抽取5类标签样本，每类标签样本抽取各5张图片，组成一个一共有25个样本的数据集，依次送入特征提取器和小样本分类网络中进行训练；同时，每训练一个epoch，就将无标签训练集Ts中的数据送入特征提取器和自监督学习网络中，进行图像特征的自监督学习，直到完成预设数量的训练段后得到测试准确率最高的神经网络里面卷积层中的权重参数，作为本次训练最终输出深度学习网络图像分类模型的训练结果。
进一步地，进行图像特征的自监督学习的步骤包括：
在每段训练中，都将得到的图像特征按预设的角度随机进行旋转，按照旋转的角度为旋转后的图像特征分配相应标签；以其旋转度数为类别标签，每一次训练都将所有数据送入自监督学习网络包含的分类器中，对旋转处理后的图像特征进行分类预测，用分类结果和旋转度数标签计算出自监督学习损失函数Lself。
损失函数的作用在于，将神经网络每一次训练得出的结果与真实结果进行比较，衡量两个值的距离，再通过反向回归调整神经网络的参数。通过这种方式在每一次训练中逐步提高神经网络的精确度。
与现有技术相比，本发明技术方案的有益效果是：
本发明的一种基于小样本学习和自监督学习的X光胸片图像分类方法，有别于传统深度学习的图像分类网络框架和训练模式，增加了自监督学习网络作为网络学习时的辅助任务，并改变训练策略，联合自监督学习和小样本学习的两个方面共同优化分类模型。增加自监督学习网络，能有效利用大量未经标注过的图像数据，使网络特征提取器捕获更多图像特征。每一次训练都随机抽取定量的图片样本送入特征提取器，使网络特征提取器可以多次学习数据集中数量过少的样本，弥补由于某些类别图像样本过少导致此类图像在神经网络中的训练次数和特征提取次数过少的缺陷。保证方法简单性和灵活性，并在节省人力物力的同时，强化特征提取器对X光胸片图像的特征理解能力，增强该方法在样本量过少且类别不平衡的医学图像数据中的泛化能力。
附图说明
图1为本发明的概要流程图。
图2为步骤S5流程展开图
图3为深度学习框架中的深度学习网络结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
基于小样本学习和自监督学习训练X光胸片图像分类模型的方法的概要流程图如图1所示，包括如下步骤：
S1：获取X光胸片图像，将未确定诊断结果的X光胸片图像划入无标签训练集Ts，将已确定诊断结果的X光胸片图像备注相应诊断结果的标签，划入带标签数据集；
所述诊断结果的标签包括：健康、肺不张、心脏肿大、积液、浸润、肿块、结节、肺炎、气胸、实变、水肿、肺气肿、纤维化、胸膜增厚、肺疵。
S2：将带标签数据集划分为两组，分别为带标签训练集T和带标签测试集Te；对带标签训练集T、带标签测试集Te和无标签训练集Ts中的所有X光图像进行统一调整图像尺寸处理。
带标签训练集T和带标签测试集Te的划分方法是：从带标签数据集每个标签下的样本中随机选取5到20张样本放入所述带标签训练集T的对应标签下，从带标签数据集每个标签下剩余的样本中随机选取样本放入带标签测试集Te的对应标签下，所述带标签测试集Te每个标签的样本数量不超过带标签训练集T中该标签样本数量的一半，将带标签数据集划分进入带标签训练集T和带标签测试集Te之后剩余的样本全部划入无标签训练集Ts。
所述统一调整图像尺寸处理是指：通过拉伸的方式统一将所有X光胸片图像长宽比例调整为1:1，然后将X光胸片图像的长和宽都调整为256像素。
S3：对带标签训练集T、无标签训练集Ts分别进行数据增强处理。
具体地，所述对带标签训练集T进行数据增强处理是指对带标签训练集T中的X光胸片图像以0.5的概率进行水平翻转数据增强并以0.5的概率进行垂直翻转数据增强，再进行仿射变换数据增强；所述水平翻转数据增强和垂直翻转数据增强均保存原图和翻转后的图像。
其中仿射变换的参数包括旋转角度参数、平移参数和缩放比例参数：旋转角度参数可选的区间为0-20°，本实施例中旋转角度参数设置为20°；宽度平移参数a和高度平移参数b可选的区间均为0-0.5，在本实施例中设置为(a＝0.5,b＝0.5)，设图像原宽度为width，高度为height，宽度的平移区间为-width*a<x<width*a，高度的平移区间为-height*b<x<height*b；缩放比例的参数设置为宽0.8、高1.2，对图像的长宽同时进行缩放。
所述对无标签训练集Ts进行数据增强处理是指对无标签训练集Ts中的图像进行以0.5的概率进行水平翻转数据增强；再将水平数据增强后的图片随机裁剪成100*100像素的大小。所述水平翻转数据增强处理既存储原图也存储水平翻转后的图像。
S4：在深度学习框架Pytorch中构建深度学习网络模型，深度学习网络结构图如图3所示。
深度学习网络模型由特征提取器ResNext50模型、小样本分类网络以及自监督学习网络组成。
所述特征提取器用于提取训练带标签训练集T和无标签训练集Ts中的图像特征，特征提取器使用的是ResNext50卷积神经网络；本发明使用ResNext50网络代替传统分类算法常用的VGG16网络。ResNext50网络是针对ResNet网络的改进，增加网络模型中每一个网络块的分支数量，保证了网络结构简明，而且需要手动调节的参数量少，计算量比同效果的其他网络少。网络模型内部的每一个网络块都使用了跳跃链接，缓解了神经网络在训练过程中出现的梯度消失问题，避免因为网络过深而导致训练误差过大。同时，该网络相比于同等深度的网络模型而言，准确率更高。
所述小样本分类网络用于接收训练带标签训练集T经过特征提取后的图像特征，并对带标签训练集T中图像进行分类，用分类结果和病症标签计算出小样本分类损失函数Lcls；
所述自监督学习网络用于接收无标签训练集Ts经过特征提取后的图像特征，并进行自监督学习得到自监督学习损失函数Lself。
S5：将所述无标签训练集Ts和所述带标签训练集T输入所述深度学习网络中，对所述深度学习网络进行训练得到综合损失函数Lsum，根据所述综合损失函数Lsum更新深度学习网络，具体地，如图2步骤S5的流程展开图所示，对深度学习网络进行的训练包括：
对所述深度学习网络进行训练总共有30-50段，每一段训练中包括300-500个epoch，优选的，本实施例中所述训练总共有50段，每一段训练中包括500个epoch。
训练分为两部分：小样本分类网络训练和自监督学习网络训练。每进行一个epoch时，从所述带标签训练集T中随机抽取5类标签样本，每类标签样本中随机抽取各5张图像，组成一个一共有25个样本的数据集，将所述数据集中的25个样本依次送入特征提取器和小样本分类网络中进行小样本分类网络训练；同时，每训练一个epoch，就将无标签训练集Ts中的所有图像依次送入特征提取器和自监督学习网络中，进行图像特征的自监督学习；其中，一个epoch表示随机选出的25个训练样本被训练算法遍历一次的训练周期。
在进行小样本分类网络训练和自监督学习网络训练时，分别计算小样本分类网络的小样本分类损失函数Lcls和自监督学习网络的自监督学习损失函数Lself；使用标准正态分布的方法随机初始化权重平衡参数λ。
通过Lcls、Lself、λ，计算得到综合损失函数：Lsum＝Lcls+λLself；
其中，小样本分类损失函数Lcls的计算公式是：
Lcls＝cross_entropy(softmax(C),Labeltruth)；
C＝cos(F(xj),wj)；
F代表特征提取器；wj是自定义权重，使用标准正态分布的方法进行随机初始化，自定义权重wj可以通过网络反向传递进行更新；cos()是余弦相似度的计算公式，cos(F(xj),wj)用来计算提取到的特征和自定义权重wj的相似度；Labeltruth指的是样本正确的标注类别。
在小样本分类网络训练中使用cos()函数来处理带标签训练集T由特征提取器提取后的图像特征，计算提取到的图像特征与它原本真实标签的余弦相似度，调整小样本分类损失函数Lals，是因为它比起基于欧几里得距离的相似度，可以减少在训练过程中出现的组内变异，提高小样本分类网络在小样本数据应用中的泛化能力，从而能得到在新数据集中更好的泛化能力，避免产生过拟合现象。
自监督学习损失函数Lself的计算公式是：
Lself＝cross_entropy(softmax(rot(F(xi)),Labelrot)；
其中rot代表在自监督学习网络中对提取的图像特征进行随机旋转的操作，Labelrot代表的是图像特征经过旋转之后的特征标签。
所述自监督学习具体包括：
在50段训练中，每段训练都将得到的图像特征从预设的角度(0°，90°、180°、270°)随机选取一个角度进行旋转，按照旋转的角度分配四个标签，分别是0(原图像特征)，1(旋转90度后的图像特征)，2(旋转180度后的图像特征)，3(旋转270度后的图像特征)；
以其旋转度数为类别标签，每一次训练都将所有数据送入自监督学习网络包含的分类器中，对旋转处理后的图像特征进行分类预测，用分类结果和旋转度数标签计算出自监督学习损失函数Lself。
将综合损失函数Lsum分别反向传递到小样本分类网络训练过程和自监督学习网络训练过程中的特征提取器，不断调整网络的参数，直到完成所述50段训练后，停止训练。
S6：每一个训练段完成训练后，用特征提取器ResNext50以及小样本分类网络遍历带标签测试集Te，并输出测试的准确率。若测试准确率对比上一次测试有所提高，则保存当前网络所使用的神经网络里面卷积层中的权重参数，输出深度学习网络图像分类模型，直到50段的训练段后得到测试准确率最高的神经网络的卷积层中的权重参数，作为本次训练最终输出深度学习网络图像分类模型的训练结果。
利用步骤S6最终输出的所述深度学习网络图像分类模型进行图像分类包括步骤：
获取待分类图像，通过拉伸的方式统一将待分类图像长宽比例调整为1:1，并将待分类图像长和宽都调整为256像素；
调用步骤S6所保存的神经网络里面卷积层中的权重参数填入深度学习网络中，将待分类图像输入深度学习网络中；
深度学习网络输出图像分类。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，包括如下步骤：
S1：获取X光胸片图像，将未确定诊断结果的X光胸片图像划入无标签训练集Ts，将已确定诊断结果的X光胸片图像备注相应诊断结果的标签后划入带标签数据集；
S2：将带标签数据集划分为带标签训练集T和带标签测试集Te；对带标签训练集T、带标签测试集Te和无标签训练集Ts中的所有X光胸片图像进行统一调整图像尺寸处理；
S3：对带标签训练集T、无标签训练集Ts分别进行数据增强处理；
S4：在深度学习框架中构建深度学习网络；
S5：将所述无标签训练集Ts和所述带标签训练集T输入深度学习网络中，对所述深度学习网络进行训练，根据综合损失函数Lsum更新所述深度学习网络；
S6：将预设数量的epoch作为一个训练段，并在完成每一个训练段的训练后，将带标签测试集Te中的所有X光胸片图像依次输入深度学习网络中的特征提取器和小样本分类网络，统计小样本分类网络的输出结果符合X光胸片图像标签的数量，从而得到当前深度学习网络测试准确率；若当前输出的测试准确率大于上一次输出的测试准确率，则保存当前网络所使用的神经网络里面卷积层中的权重参数，输出深度学习网络图像分类模型；若当前输出的测试准确率小于等于上一次输出的测试准确率，则不保存当前网络所使用的神经网络里面卷积层中的权重参数。
2.根据权利要求1所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，步骤S2中，所述统一调整图像尺寸处理的步骤包括：通过拉伸的方式统一将所有X光胸片图像长宽比例调整为1:1，然后将X光胸片图像的长和宽都调整为256像素。
3.根据权利要求1所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，步骤S3中，对所述带标签训练集T进行数据增强处理的步骤包括对X光胸片图像进行水平翻转、垂直翻转、仿射变换处理；对所述无标签训练集Ts进行数据增强处理的步骤包括对X光胸片图像进行随机裁剪，水平翻转处理。
4.根据权利要求1所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，步骤S4中，所述深度学习网络包括：特征提取器，小样本分类网络，自监督学习网络；特征提取器的输出端分别连接小样本分类网络和自监督学习网络的输入端，所述特征提取器采用ResNext50卷积神经网络。
5.根据权利要求1所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，所述带标签数据集中的X光胸片图像划入带标签训练集T和带标签测试集Te，划分的依据是随机选取。
6.根据权利要求1所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，所述综合损失函数Lsum的计算公式为：
Lsum＝Lcls+λLself
其中，λ表示权重平衡参数，使用标准正态分布的方法随机初始化；
Lcls表示小样本分类网络的小样本分类损失函数，其计算公式是：
Lcls＝cross_entropy(softmax(C),Labeltruth)
C＝cos(F(xj),wj)
其中，wj是自定义权重，表示第j次训练时进行余弦相似度计算的一个权重。xj表示第j个输入小样本分类网络的X光胸片图像，F表示特征提取器，C表示特征提取器F提取的图像特征与自定义权重wj的余弦相似度，Labeltruth表示当前输入的X光胸片图像的标签，cross_entropy(·)表示交叉熵损失函数；
Lself表示自监督学习网络的自监督学习损失函数，其计算公式是：
Lself＝cross_entropy(softmax(rot(F(xi)),Labelrot)
其中，xi表示第i个输入自监督学习网络的X光胸片图像，F表示特征提取器，在进行图像特征的自监督学习时，需要将特征提取器提取的图像特征在预设角度中随机选择一个角度进行旋转，rot(·)表示在自监督学习网络中对提取的图像特征进行随机旋转的操作，cross_entropy(·)表示交叉熵损失函数；Labelrot表示图像特征旋转角度的标签。
7.根据权利要求6所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，步骤S2中，所述带标签数据集中的标签包括：健康、肺不张、心脏肿大、积液、浸润、肿块、结节、肺炎、气胸、实变、水肿、肺气肿、纤维化、胸膜增厚、肺疵。
8.根据权利要求7所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，所述带标签训练集T每个标签下的样本数量不超过20张且不少于5张，以构成小样本学习的训练集；带标签测试集Te由未选入带标签训练集T的样本组成，其中带标签测试集Te中每个标签下的样本数量不超过带标签训练集T中该标签下样本数量的二分之一；其他样本数据归入无标签训练集Ts，作为自监督学习所使用的数据集。
9.根据权利要求8所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，步骤S5中，所述对所述深度学习网络进行训练总共有30-50段，每一段训练中包括300-500个epoch；其中，每训练一个epoch时，从带标签训练集T中随机抽取5类标签样本，每类标签样本抽取各5张图片，组成一个一共有25个样本的数据集，依次送入特征提取器和小样本分类网络中进行训练；同时，每训练一个epoch，就将无标签训练集Ts中的数据送入特征提取器和自监督学习网络中，进行图像特征的自监督学习，直到完成预设数量的训练段后得到测试准确率最高的神经网络里面卷积层中的权重参数，作为本次训练最终输出深度学习网络图像分类模型的训练结果。
10.根据权利要求9所述的一种基于小样本学习和自监督学习的X光胸片图像分类方法，其特征在于，进行图像特征的自监督学习的步骤包括：
在每段训练中，都将得到的图像特征按预设的角度随机进行旋转，按照旋转的角度为旋转后的图像特征分配相应标签；
以其旋转度数为类别标签，每一次训练都将所有数据送入自监督学习网络包含的分类器中，对旋转处理后的图像特征进行分类预测，用分类结果和旋转度数标签计算出自监督学习损失函数Lself。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218079.7A CN112348792A (zh) | 2020-11-04 | 2020-11-04 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218079.7A CN112348792A (zh) | 2020-11-04 | 2020-11-04 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348792A true CN112348792A (zh) | 2021-02-09 |
Family
ID=74428646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011218079.7A Pending CN112348792A (zh) | 2020-11-04 | 2020-11-04 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348792A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861995A (zh) * | 2021-03-15 | 2021-05-28 | 中山大学 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
| CN112949583A (zh) * | 2021-03-30 | 2021-06-11 | 京科互联科技(山东)有限公司 | 复杂城市场景的目标检测方法、系统、设备及存储介质 |
| CN112949658A (zh) * | 2021-03-10 | 2021-06-11 | 清华大学 | 一种具有稳定性能的深度学习方法 |
| CN113012133A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 一种新冠肺炎诊断系统、介质及设备 |
| CN113052236A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于NASNet的肺炎图像分类方法 |
| CN113139053A (zh) * | 2021-04-15 | 2021-07-20 | 广东工业大学 | 一种基于自监督对比学习的文本分类方法 |
| CN113327666A (zh) * | 2021-06-21 | 2021-08-31 | 青岛科技大学 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
| CN113378937A (zh) * | 2021-06-11 | 2021-09-10 | 西安电子科技大学 | 一种基于自监督增强的小样本图像分类方法及系统 |
| CN113781461A (zh) * | 2021-09-16 | 2021-12-10 | 人工智能与数字经济广东省实验室(广州) | 一种病人智能监控排序方法 |
| CN113837238A (zh) * | 2021-09-02 | 2021-12-24 | 南京大学 | 一种基于自监督和自蒸馏的长尾图像识别方法 |
| CN113836200A (zh) * | 2021-06-30 | 2021-12-24 | 山东易华录信息技术有限公司 | 一种采用自监督方式进行深度学习图像识别装置 |
| CN113947027A (zh) * | 2021-10-26 | 2022-01-18 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的高铁受电弓运行监测方法 |
| CN113989556A (zh) * | 2021-10-27 | 2022-01-28 | 南京大学 | 一种小样本医学影像分类方法和系统 |
| CN114580571A (zh) * | 2022-04-01 | 2022-06-03 | 南通大学 | 一种基于迁移互学习的小样本电力设备图像分类方法 |
| CN114821198A (zh) * | 2022-06-24 | 2022-07-29 | 齐鲁工业大学 | 基于自监督和小样本学习的跨域高光谱图像分类方法 |
| CN116010794A (zh) * | 2023-02-17 | 2023-04-25 | 苏芯物联技术(南京)有限公司 | 一种基于小样本标签数据的焊接缺陷实时智能检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
| CN110516685A (zh) * | 2019-05-31 | 2019-11-29 | 沈阳工业大学 | 基于卷积神经网络的晶状体浑浊程度检测方法 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN111860193A (zh) * | 2020-06-24 | 2020-10-30 | 贵州大学 | 一种基于文本的行人检索自监督视觉表示学习系统及方法 |
-
2020
- 2020-11-04 CN CN202011218079.7A patent/CN112348792A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
| CN110516685A (zh) * | 2019-05-31 | 2019-11-29 | 沈阳工业大学 | 基于卷积神经网络的晶状体浑浊程度检测方法 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN111860193A (zh) * | 2020-06-24 | 2020-10-30 | 贵州大学 | 一种基于文本的行人检索自监督视觉表示学习系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| JONG-CHYI SU ET AL.: "When Does Self-supervision Improve Few-shot Learning?", 《ARXIV》 * |
| 何龙, 机械工业出版社 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949658B (zh) * | 2021-03-10 | 2022-07-08 | 清华大学 | 一种具有稳定性能的深度学习方法 |
| CN112949658A (zh) * | 2021-03-10 | 2021-06-11 | 清华大学 | 一种具有稳定性能的深度学习方法 |
| CN112861995B (zh) * | 2021-03-15 | 2023-03-31 | 中山大学 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
| CN112861995A (zh) * | 2021-03-15 | 2021-05-28 | 中山大学 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
| CN113052236A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于NASNet的肺炎图像分类方法 |
| CN113012133A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 一种新冠肺炎诊断系统、介质及设备 |
| CN112949583A (zh) * | 2021-03-30 | 2021-06-11 | 京科互联科技(山东)有限公司 | 复杂城市场景的目标检测方法、系统、设备及存储介质 |
| CN113139053A (zh) * | 2021-04-15 | 2021-07-20 | 广东工业大学 | 一种基于自监督对比学习的文本分类方法 |
| CN113139053B (zh) * | 2021-04-15 | 2024-03-05 | 广东工业大学 | 一种基于自监督对比学习的文本分类方法 |
| CN113378937A (zh) * | 2021-06-11 | 2021-09-10 | 西安电子科技大学 | 一种基于自监督增强的小样本图像分类方法及系统 |
| CN113378937B (zh) * | 2021-06-11 | 2023-08-11 | 西安电子科技大学 | 一种基于自监督增强的小样本图像分类方法及系统 |
| CN113327666A (zh) * | 2021-06-21 | 2021-08-31 | 青岛科技大学 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
| CN113836200A (zh) * | 2021-06-30 | 2021-12-24 | 山东易华录信息技术有限公司 | 一种采用自监督方式进行深度学习图像识别装置 |
| CN113837238A (zh) * | 2021-09-02 | 2021-12-24 | 南京大学 | 一种基于自监督和自蒸馏的长尾图像识别方法 |
| CN113837238B (zh) * | 2021-09-02 | 2023-09-01 | 南京大学 | 一种基于自监督和自蒸馏的长尾图像识别方法 |
| CN113781461A (zh) * | 2021-09-16 | 2021-12-10 | 人工智能与数字经济广东省实验室(广州) | 一种病人智能监控排序方法 |
| CN113947027A (zh) * | 2021-10-26 | 2022-01-18 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的高铁受电弓运行监测方法 |
| CN113989556A (zh) * | 2021-10-27 | 2022-01-28 | 南京大学 | 一种小样本医学影像分类方法和系统 |
| CN113989556B (zh) * | 2021-10-27 | 2024-04-09 | 南京大学 | 一种小样本医学影像分类方法和系统 |
| CN114580571B (zh) * | 2022-04-01 | 2023-05-23 | 南通大学 | 一种基于迁移互学习的小样本电力设备图像分类方法 |
| CN114580571A (zh) * | 2022-04-01 | 2022-06-03 | 南通大学 | 一种基于迁移互学习的小样本电力设备图像分类方法 |
| CN114821198B (zh) * | 2022-06-24 | 2022-09-06 | 齐鲁工业大学 | 基于自监督和小样本学习的跨域高光谱图像分类方法 |
| CN114821198A (zh) * | 2022-06-24 | 2022-07-29 | 齐鲁工业大学 | 基于自监督和小样本学习的跨域高光谱图像分类方法 |
| CN116010794A (zh) * | 2023-02-17 | 2023-04-25 | 苏芯物联技术(南京)有限公司 | 一种基于小样本标签数据的焊接缺陷实时智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348792A (zh) | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 | |
| Bertinetto et al. | Learning feed-forward one-shot learners | |
| Yan et al. | Crowd counting via perspective-guided fractional-dilation convolution | |
| Guo et al. | Liver steatosis segmentation with deep learning methods | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| Zhang et al. | Semi-supervised action quality assessment with self-supervised segment feature recovery | |
| CN115115830A (zh) | 一种基于改进Transformer的家畜图像实例分割方法 | |
| Lin et al. | Two stream active query suggestion for active learning in connectomics | |
| Wang et al. | CLC-Net: Contextual and local collaborative network for lesion segmentation in diabetic retinopathy images | |
| Wu et al. | Automatic cataract detection with multi-task learning | |
| CN115147646A (zh) | 一种基于超分辨率重构和数据增强的园林工程小目标害虫检测方法 | |
| Holste et al. | Self-supervised learning of echocardiogram videos enables data-efficient clinical diagnosis | |
| CN112991281B (zh) | 视觉检测方法、系统、电子设备及介质 | |
| CN112802072B (zh) | 基于对抗学习的医学图像配准方法及系统 | |
| CN113643297A (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN107680037B (zh) | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 | |
| Yang et al. | The research on detection of crop diseases ranking based on transfer learning | |
| Vicas et al. | Deep convolutional neural nets for objective steatosis detection from liver samples | |
| Dawoud et al. | Edge-based self-supervision for semi-supervised few-shot microscopy image cell segmentation | |
| Thanh et al. | Self-supervised visual feature learning for polyp segmentation in colonoscopy images using image reconstruction as pretext task | |
| Zhang et al. | Semi-supervised medical image segmentation with distribution calibration and non-local semantic constraint | |
| CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
| CN111178174A (zh) | 基于深度卷积神经网络的尿液有形成分图像识别方法 | |
| CN111144368A (zh) | 基于长短时记忆神经网络的学生行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210209 |