CN116778268A - 一种适用于医学影像目标分类的样本选择偏差缓解方法 - Google Patents
一种适用于医学影像目标分类的样本选择偏差缓解方法 Download PDFInfo
- Publication number
- CN116778268A CN116778268A CN202310437022.3A CN202310437022A CN116778268A CN 116778268 A CN116778268 A CN 116778268A CN 202310437022 A CN202310437022 A CN 202310437022A CN 116778268 A CN116778268 A CN 116778268A
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- new
- task
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 13
- 230000000116 mitigating effect Effects 0.000 claims description 10
- 238000005284 basis set Methods 0.000 claims description 7
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 6
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 101100455978 Arabidopsis thaliana MAM1 gene Proteins 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000004698 lymphocyte Anatomy 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 210000001772 blood platelet Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 210000003714 granulocyte Anatomy 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010052360 Colorectal adenocarcinoma Diseases 0.000 description 1
- 235000010676 Ocimum basilicum Nutrition 0.000 description 1
- 240000007926 Ocimum gratissimum Species 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003651 basophil Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000002798 bone marrow cell Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000112 colonic effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003979 eosinophil Anatomy 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 150000003278 haem Chemical class 0.000 description 1
- 230000002489 hematologic effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001616 monocyte Anatomy 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 230000000771 oncological effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011458 pharmacological treatment Methods 0.000 description 1
- 210000004765 promyelocyte Anatomy 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于医学影像目标分类的样本选择偏差缓解方法，在小样本图像分类基础上，研究通过特征变换解决小样本任务中新类数据偏移问题，构建新集样本特征变换网络模型。新类和基类共享特征提取方式，利用新类样本特征向特定的方向偏斜、接近于特定基类样本特征方向的特点，以特定基类特征的平均作为任务质心，新类移除它们在任务质心方向的投影，从而增加新类样本特征的数据差异，提高新类特征的辨识度。本发明对小样本学习样本选择偏差问题的理论研究、小样本学习在医学影像目标分类的广泛应用具有重要的意义。同时，对我国突破小样本学习实现跨域理论瓶颈起到重要推动作用。
Description
技术领域
本发明涉及计算机图像分类领域，具体为一种适用于医学影像目标分类的样本选择偏差缓解方法。
背景技术
医学影像分类是计算机辅助诊断中的一个重要课题，其目的是利用计算机进行计算，以帮助提高诊断的正确性。医学影像的分类因其专业领域的特殊性，面临着如下两大难题。首先，收集真正有价值的医学影像数据集是一项非常昂贵的工作,如何在样本量稀少的情况下能够快速地泛化到没有见过的分类任务当中，这是困扰医学影像目标分类任务的瓶颈问题。其次，医学影像中含有大量的病理信息和模态信息，要了解这些专业的信息必须要有领域知识，单凭视觉的相似度判别无法准确地进行分类，从而产生了类内差异性和类间相似性问题。
小样本学习是在训练集样本很少的条件下，完成相应的学习任务，期望在学习大量的基类后，只需少量样本就可以迅速学习掌握新类。通常小样本学习可以使用少量样本进行学习。
在计算机视觉和人工智能领域，小样本图像分类是一个迫切需要解决的问题。目前已有的大量样本数据的分类方法是依靠样本数量，而实际的样本量不够，例如军事、医疗、工业、天文行业，这些数据的收集往往会耗费大量的人力、物力代价，难以进行大量的数据采集。因此，对小样本图像分类进行研究是一项非常有意义的工作。
在目前的技术中，基于深度度量的分类方法主要是通过对样本和类原型之间的距离进行比较来判别类别。通常将数据增强和迁移学习相结合，以弥补数据量不够和模型过拟合，这些方法对许多小样本分类具有良好的效果，但是与多样本的图像分类方法相比，目前的小样本图像分类效果并不理想。现有的小样本分类方法没有很好地解决样本的选择偏差问题。
发明内容
本发明的目的在于提供一种适用于医学影像目标分类的样本选择偏差缓解方法技术，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种适用于医学影像目标分类的样本选择偏差缓解方法，包括以下步骤：
S1，准备数据集，预训练图像得到特征提取器，用于提取图像特征，此处采用ResNet-18作为特征提取器，借助迁移学习的思想，利用基集训练特征提取器，用Baseline++等方法进行分类，再将新集送进特征提取器，得到新集的样本特征；
S2，对新集样本特征进行变换，构建新集样本特征变换网络模型；
S3，利用新集样本特征变换网络模型对查询集图像进行分类。
其中，所述步骤S1包括：
S11，基集为Db，将基集样本分为/>和/>这两个数据集类别互斥，将Dtrain作为基集的训练模型，Dtest作为新集对模型测试；
S12，对于N-way K-shot分类任务，分别对特定的医学影像数据集Dtrain随机选出N个类别，每个类别中随机挑出A个样本，其中K个样本作为支持样本Si，其余A-K个样本用作查询集Qi，Si和Qi组成一个任务Ti，并且对于Dtest有任务目的是划分出训练和测试所需支持集和查询集；
S13，利用基集预训练特征提取器fθ，fθ采用ResNet-18结构，将所有的支持样本输入参数固定的特征提取器fθ中，得到对应的支持样本特征fθ(Sck)。
其中，所述步骤S2构建新集样本特征变换网络模型，这个网络模型包括，基集样本选择模块，任务质心计算模块，投影特征移除模块；
其中，所述步骤S3构建的新集样本特征变换网络模型包括：
S31，取所有支持集样本特征的平均因为基集和新集之间域转移了，导致新集分布向某些特定方向转移，发现新集样本的方向接近一些特定的基类样本倾斜方向，因此找出确定的基集特定样本以近似任务质心，并以所有支持集样本的特征的平均作为参考。计算公式为：
在n-way K-shot任务，给定新集规范化特征xn∈S,||xn||＝1,i∈[1,2,...,N×K]，计算S所有样本特征的平均值。
S32，依据与/>的余弦相似度在基类样本中寻找k个最合适的样本,Dcosine是计算余弦相似度，DtopK即包含基类中余弦相似度最接近的前k个样本,计算公式为：
其中，符号Dcosine表示两个向量之间的余弦距离，而DtopK是选择余弦相似度最接近的前k个样本。
S33，基于余弦相似度，加权聚合来近似任务质心，计算公式为：
其中，p是控制基样本相对权值的超参数。方程4中的p被设为0.5。
S34，近似任务质心ctask,计算公式为：
其中，符号L2表示L2的归一化。ctask比更好，因为/>很容易在支持集数据上过拟合，远不能代表新集的真正质心，新集在一定方向上倾向于相关的有限的基集样本方向，所以从基集中前k个相似样本外推任务质心更精确。
S35，为了减少在任务质心附近的新集所造成的抽样偏差，对在支持集和查询集的所有新类样本，经过去除它们的特征在任务质心的投影，缓解样本选择偏差，对此使用一种特征变换以提取到近似任务质心的投影，在去除沿着任务方向的特征分量后，将新类的分布推离近似的质心，计算出差异性更大的新的新类样本,计算公式为：
其中xn∈S∪Q。
其中，所述步骤S4包括：
S41，测试过程，每个任务由支持集/>和查询集/>组成，测试集的查询集/>输入到特征提取器fθ，得到特征。
S42，用支持集样本训练一个新的线性分类器fw，设ω＝[ω1,ω2,...,ωN]∈Rd×N为分类器的可学习参数，其中d为所提取特征的维数。我们对每个类c的权值向量进行归一化，其中||ωn＝1||,n∈[1,2,...,N]，以消除特征向量的大小的影响。一个样本x属于c类的概率可以表示为：
其中，β是一个可缩放的超参数。在支持集上训练后，权值向量[ω1,ω2,...,ωN]可以看作是新类的原型，用于预测查询集q中的样本。
S43，特征送入度量模块中，计算出查询样本与所有支持样本之间的余弦距离。
S44，查询样本的预测类别取距离最小的支持样本类别。
与现有技术比，本发明达到的有益效果是：
一般的小样本学习先在基集上进行预训练，得到特征提取网络，再利用支持集训练softmax分类器，它更新了softmax的参数，少量更新之前的卷积网络，提高了分类准确度，但还是不够，它对之前的卷积网络影响不大，所以特征提取部分的网络还是按照基集的域训练的，用基集的域特征提取器提取目标域的特征，结果精度低。通过把基集的域与查询集的域联系在一起，能够提高泛化能力，则从数据集特征的尺度上根本解决小样本的跨域问题。
经实验，新类的数据与基类中某些类的样本数据有共同的特定方向的偏斜，新类中的所有类的样本数据越靠近质心，会更容易造成错误的分界，因为这些样本在某个维度上的共同点多，所以去除了这些靠近质心的样本点在特定维度上的起着扰乱分辨的共同点，则样本间的差异性大，精度高。样本经过特征提取网络后变为了向量形式的特征，移除了这些特征在都靠近质心的某个方向上共同分向量。经实验验证此方法有效。本发明对小样本学习样本偏差问题的理论研究、推动小样本精确分类技术在医学影像目标分类的广泛应用具有非常重要的意义。
附图说明
图1为小样本图像分类流程；
图2为本发明实施例提供的一种适用于医学影像目标分类的样本选择偏差缓解方法流程图。
具体实施方式
为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
参照图1和2的一种适用于医学影像目标分类的样本选择偏差缓解方法，包括以下步骤：
S1，准备数据集，预训练图像得到特征提取器，用于提取图像特征，此处采用ResNet-18作为特征提取器，借助迁移学习的思想，利用基集训练特征提取器，用Baseline++等方法进行分类，再将新集送进特征提取器，得到新集的样本特征；
S2，对新集样本特征进行变换，构建新集样本特征变换网络模型；
S3，利用新集样本特征变换网络模型对查询集图像进行分类。
其中，所述步骤S1包括：
S11，基集为Db，将基集样本分为/>和/>这两个数据集类别互斥，将Dtrain作为基集的训练模型，Dtest作为新集对模型测试；
S12，对于N-way K-shot分类任务，分别对特定的医学影像数据集Dtrain随机选出N个类别，每个类别中随机挑出A个样本，其中K个样本作为支持样本Si，其余A-K个样本用作查询集Qi，Si和Qi组成一个任务Ti，并且对于Dtest有任务目的是划分出训练和测试所需支持集和查询集；
S13，利用基集预训练特征提取器fθ，fθ采用ResNet-18结构，将所有的支持样本输入参数固定的特征提取器fθ中，得到对应的支持样本特征fθ(Sck)。
其中，所述步骤S2构建新集样本特征变换网络模型，这个网络模型包括，基集样本选择模块，任务质心计算模块，投影特征移除模块；
其中，所述步骤S3构建的新集样本特征变换网络模型包括：
S31，取所有支持集样本特征的平均因为基集和新集之间域转移了，导致新集分布向某些特定方向转移，发现新集样本的方向接近一些特定的基类样本倾斜方向，因此找出确定的基集特定样本以近似任务质心，并以所有支持集样本的特征的平均作为参考。计算公式为：
在n-way K-shot任务，给定新集规范化特征xn∈S,||xn||＝1,i∈[1,2,...,N×K]，计算S所有样本特征的平均值。
S32，依据与/>的余弦相似度在基类样本中寻找k个最合适的样本,Dcosine是计算余弦相似度，DtopK即包含基类中余弦相似度最接近的前k个样本,计算公式为：
其中，符号Dcosine表示两个向量之间的余弦距离，而DtopK是选择余弦相似度最接近的前k个样本。
S33，基于余弦相似度，加权聚合来近似任务质心，计算公式为：
其中，p是控制基样本相对权值的超参数。方程4中的p被设为0.5。
S34，近似任务质心ctask,计算公式为：
其中，符号L2表示L2的归一化。ctask比更好，因为/>很容易在支持集数据上过拟合，远不能代表新集的真正质心，新集在一定方向上倾向于相关的有限的基集样本方向，所以从基集中前k个相似样本外推任务质心更精确。
S35，为了减少在任务质心附近的新集所造成的抽样偏差，对在支持集和查询集的所有新类样本，经过去除它们的特征在任务质心的投影，缓解样本选择偏差，对此使用一种特征变换以提取到近似任务质心的投影，在去除沿着任务方向的特征分量后，将新类的分布推离近似的质心，计算出差异性更大的新的新类样本,计算公式为：
其中xn∈S∪Q。
其中，所述步骤S4包括：
S41，测试过程，每个任务由支持集/>和查询集/>组成，测试集的查询集/>输入到特征提取器fθ，得到特征。
S42，用支持集样本训练一个新的线性分类器fw，设ω＝[ω1,ω2,...,ωN]∈Rd×N为分类器的可学习参数，其中d为所提取特征的维数。我们对每个类c的权值向量进行归一化，其中||ωn＝1||,n∈[1,2,...,N]，以消除特征向量的大小的影响。一个样本x属于c类的概率可以表示为：
其中，β是一个可缩放的超参数。在支持集上训练后，权值向量[ω1,ω2,...,ωN]可以看作是新类的原型，用于预测查询集q中的样本。
S43，特征送入度量模块中，计算出查询样本与所有支持样本之间的余弦距离。
S44，查询样本的预测类别取距离最小的支持样本类别。
为了测试本发明提出方法有效性，本发明在3个公开的医学图像数据集上进行验证，分别是NCT-CRC-HE-100K数据集(PATHOLOGY)，NIH-ChestXray14数据集(CHEST)和PBC数据集(BLOOD)。对其随机采样并重建了三个轻量级子集。
PATHOLOGY来自NCT-CRC-HE-100K数据集。这是一组100,000个不重叠的图像斑块，提取自86张HE染色的人类癌症组织切片和正常组织中提取的一组非重叠图像块，图像分辨率为64*64，它们来自NCT生物库(国家肿瘤疾病中心)和UMM病理档案(曼海姆大学医学中心)。它是由病理学家创建的，通过手动将整个幻灯片图像中的组织区域划分为以下九个组织类别：脂肪(ADI)、背景(BACK)、碎片(DEB)、淋巴细胞(LYM)、粘液(MUC)、平滑肌(MUS)、正常结肠粘膜(NORM)、癌症相关基质(STR)、结直肠腺癌上皮(TUM)。本发明使用其中三个作为新数据集，其余六个作为基础数据集。
CHEST来源于NIH-ChestXray14数据集，NIH ChestXRay14包含超过100,000张标有14种病症的胸部X光片，图像分辨率为64*64，也可用224*224的大小。选择数量最少的三种疾病作为新数据集，随机选取其他类别图像作为基础数据集。
BLOOD来源于PBC数据集，该数据集总共包含单个正常细胞的17,092张图像，这些图像是使用分析仪在巴塞罗那医院诊所的核心实验室中的分析仪获取的。该数据集在以下八组中进行组织：中性粒细胞，嗜酸性粒细胞，嗜碱性粒细胞，淋巴细胞，单核细胞，未成熟的粒细胞(早幼粒细胞、骨髓细胞和超幼粒细胞)，红细胞和血红素和血小板粒细胞或血栓细胞。图像的大小为360*363像素，格式为JPG，并由专家注释。这些图像是从没有感染血液学或肿瘤疾病的个体中捕获的，在收集血液时没有任何药理治疗。选择其中三种作为新数据集，其余五种作为基础数据集。
对于三个医学数据集，从每个类中随机选择1或5张图像作为训练样本，其余15张图像作为测试样本。更具体地说，构建了3-way K-shot(K＝{1,5})任务。最后，得到95％置信区间的平均准确度。
其中分类准确率acc是实验中正确分类的样本数与总样本数的比值。
将提出的方法与最先进的方法进行比较,表1,2,3分别是PATHOLOGY、CHEST、BLOOD三个数据集上的对比结果。
表1:PATHOLOGY数据集上的对比结果
| 方法/Acc(％) | 1-shot | 5-shot |
| MAML | 56.45 | 74.16 |
| MAML+本发明 | 58.72 | 76.39 |
| Baseline++ | 61.89 | 79.97 |
| Baseline+++本发明 | 63.75 | 80.58 |
| ProtoNet | 60.03 | 79.30 |
| ProtoNet+本发明 | 62.82 | 80.36 |
表2:CHEST数据集上的对比结果
| 方法/Acc(％) | 1-shot | 5-shot |
| MAML | 39.96 | 46.83 |
| MAML+本发明 | 41.72 | 47.92 |
| Baseline++ | 42.92 | 50.39 |
| Baseline+++本发明 | 43.39 | 50.89 |
| ProtoNet | 38.42 | 46.43 |
| ProtoNet+本发明 | 39.92 | 46.88 |
表3:BLOOD数据集上的对比结果
| 方法/Acc(％) | 1-shot | 5-shot |
| MAML | 54.28 | 56.54 |
| MAML+本发明 | 56.29 | 57.38 |
| Baseline++ | 60.23 | 63.27 |
| Baseline+++本发明 | 63.16 | 65.49 |
| ProtoNet | 57.40 | 71.60 |
| ProtoNet+本发明 | 65.26 | 73.13 |
本发明公开了一种适用于医学影像目标分类的样本选择偏差缓解方法，在小样本图像分类基础上，研究通过特征变换解决小样本任务中新类数据偏移问题，构建新集样本特征变换网络模型，以特定基类特征的平均作为任务质心，新类移除它们在任务质心方向的投影，从而增加新类样本特征的数据差异，提高新类特征的辨识度。本发明对小样本学习样本选择偏差问题的理论研究、小样本学习在医学影像目标分类的广泛应用具有非常重要的意义。同时，对我国突破小样本学习实现跨域理论瓶颈起到重要推动作用。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，包括以下步骤：
S1，准备数据集，预训练图像得到特征提取器，用于提取图像特征，此处采用ResNet-18作为特征提取器，借助迁移学习的思想，利用基集训练特征提取器，用Baseline++等方法进行分类，再将新集送进特征提取器，得到新集的样本特征；
S2，对新集样本特征进行变换，构建新集样本特征变换网络模型；
S3，利用新集样本特征变换网络模型对查询集图像进行分类。
2.根据权利要求1所述的一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，步骤S1包括：
S11，基集为Db，将基集样本分为/>和这两个数据集类别互斥，将Dtrain作为基集的训练模型，Dtest作为新集对模型测试；
S12，对于N-way K-shot分类任务，分别对特定的医学影像数据集Dtrain随机选出N个类别，每个类别里随机挑出A个样本，其中K个样本作为支持样本Si，其余的A-K个样本用作查询集Qi，Si和Qi组成一个任务Ti，并且对于Dtest有任务目的是划分出训练和测试所需支持集和查询集；
S13，利用基集预训练特征提取器fθ，fθ采用ResNet-18结构，将所有的支持样本输入参数固定的特征提取器fθ中，得到对应的支持样本特征fθ(Sck)。
3.根据权利要求1所述的一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，步骤S2构建新集样本特征变换网络模型，这个网络模型包括，基集样本选择模块，任务质心计算模块，投影特征移除模块。
4.根据权利要求1所述的一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，步骤S3构建的新集样本特征变换网络模型包括：
S31，取所有支持集样本特征的平均
S32，依据与/>的余弦相似度在基类样本中寻找k个最合适的样本,Dcosine即余弦相似度，DtopK即包含基类中余弦相似度最接近的前k个样本。
S33，基于余弦相似度，加权聚合来近似任务质心；
S34，近似任务质心ctask；
S35，对在支持集和查询集的所有新类样本，经过移除它们的特征在任务质心的投影，缓解样本选择偏差，对此使用一种特征变换以提取到近似任务质心的投影。
5.根据权利要求1所述的一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，步骤S31的计算公式是：
在N-way K-shot任务，给定新集规范化特征xn∈S,||xn||＝1,i∈[1,2,...,N×K]，计算S所有样本特征的平均值。
6.根据权利要求4所述的一种适用于医学影像目标分类的样本选择偏差缓解方法，其特征在于，步骤S32计算公式为：
其中，符号Dcosine表示两个向量之间的余弦距离，而DtopK是选择余弦相似度最接近的前k个样本。
7.根据权利要求4所述的基于新类样本特征变换的样本选择偏差缓解方法，其特征在于，步骤S33计算公式如下：
其中，p是控制基样本相对权值的超参数，方程4中的p被设为0.5。
8.根据权利要求4所述的基于新类样本特征变换的样本选择偏差缓解方法，其特征在于，步骤S34计算公式如下：
其中，符号L2表示L2的归一化。
9.根据权利要求4所述的基于新类样本特征变换的样本选择偏差缓解方法，其特征在于，步骤S35计算公式为：
其中xn∈S∪Q。
10.根据权利要求1所述的基于新类样本特征变换的样本选择偏差缓解方法，其特征在于，包括测试步骤S4：
S41，测试过程，每个任务由支持集/>和查询集/>组成，测试集的查询集/>输入到特征提取器fθ；
S42，用支持集样本训练一个新的线性分类器fw，设ω＝[ω1,ω2,...,ωN]∈Rd×N为分类器的可学习参数，其中d为所提取特征的维数。对每个类n的权值向量进行归一化，其中||ωn＝1||,n∈[1,2,...,N]，以消除特征向量的大小的影响。一个样本x属于n类的概率可以表示为：
其中，β是一个可缩放的超参数。在支持集上训练后，权值向量[ω1,ω2,...,ωN]可以看作是新类的原型，用于预测查询集q中的样本；
S43，特征送入度量模块中，计算出查询样本与所有支持样本之间的余弦距离；
S44，查询样本的预测类别取距离最小的支持样本类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437022.3A CN116778268A (zh) | 2023-04-20 | 2023-04-20 | 一种适用于医学影像目标分类的样本选择偏差缓解方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437022.3A CN116778268A (zh) | 2023-04-20 | 2023-04-20 | 一种适用于医学影像目标分类的样本选择偏差缓解方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778268A true CN116778268A (zh) | 2023-09-19 |
Family
ID=87991946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310437022.3A Pending CN116778268A (zh) | 2023-04-20 | 2023-04-20 | 一种适用于医学影像目标分类的样本选择偏差缓解方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778268A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
| CN109255096A (zh) * | 2018-07-25 | 2019-01-22 | 西北工业大学 | 一种基于微分代数的地球同步卫星轨道不确定演化方法 |
| CN113537305A (zh) * | 2021-06-29 | 2021-10-22 | 复旦大学 | 一种基于匹配网络少样本学习的图像分类方法 |
| CN113591660A (zh) * | 2021-07-24 | 2021-11-02 | 中国石油大学(华东) | 基于元学习的微表情识别方法 |
| CN114546754A (zh) * | 2020-11-26 | 2022-05-27 | 北京四维图新科技股份有限公司 | 自动化智能监控方法、系统及地图数据云平台 |
| CN114782752A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
| CN114821173A (zh) * | 2022-04-27 | 2022-07-29 | 武汉轻工大学 | 图像分类方法、装置、设备及存储介质 |
| CN115294381A (zh) * | 2022-05-06 | 2022-11-04 | 兰州理工大学 | 基于特征迁移和正交先验的小样本图像分类方法及装置 |
| CN115731411A (zh) * | 2022-10-27 | 2023-03-03 | 西北工业大学 | 一种基于原型生成的小样本图像分类方法 |
| CN115830401A (zh) * | 2023-02-14 | 2023-03-21 | 泉州装备制造研究所 | 一种小样本图像分类方法 |
| WO2023053569A1 (ja) * | 2021-09-28 | 2023-04-06 | 株式会社Ｊｖｃケンウッド | 機械学習装置、機械学習方法、および機械学習プログラム |
-
2023
- 2023-04-20 CN CN202310437022.3A patent/CN116778268A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679078A (zh) * | 2017-08-29 | 2018-02-09 | 银江股份有限公司 | 一种基于深度学习的卡口图像车辆快速检索方法及系统 |
| CN109255096A (zh) * | 2018-07-25 | 2019-01-22 | 西北工业大学 | 一种基于微分代数的地球同步卫星轨道不确定演化方法 |
| CN114546754A (zh) * | 2020-11-26 | 2022-05-27 | 北京四维图新科技股份有限公司 | 自动化智能监控方法、系统及地图数据云平台 |
| CN113537305A (zh) * | 2021-06-29 | 2021-10-22 | 复旦大学 | 一种基于匹配网络少样本学习的图像分类方法 |
| CN113591660A (zh) * | 2021-07-24 | 2021-11-02 | 中国石油大学(华东) | 基于元学习的微表情识别方法 |
| WO2023053569A1 (ja) * | 2021-09-28 | 2023-04-06 | 株式会社Ｊｖｃケンウッド | 機械学習装置、機械学習方法、および機械学習プログラム |
| CN114821173A (zh) * | 2022-04-27 | 2022-07-29 | 武汉轻工大学 | 图像分类方法、装置、设备及存储介质 |
| CN114782752A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
| CN115294381A (zh) * | 2022-05-06 | 2022-11-04 | 兰州理工大学 | 基于特征迁移和正交先验的小样本图像分类方法及装置 |
| CN115731411A (zh) * | 2022-10-27 | 2023-03-03 | 西北工业大学 | 一种基于原型生成的小样本图像分类方法 |
| CN115830401A (zh) * | 2023-02-14 | 2023-03-21 | 泉州装备制造研究所 | 一种小样本图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈晨;王亚立;乔宇;: "任务相关的图像小样本深度学习分类方法研究", 集成技术, no. 03, 15 May 2020 (2020-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | An application of transfer learning and ensemble learning techniques for cervical histopathology image classification | |
| Nithya et al. | Evaluation of machine learning based optimized feature selection approaches and classification methods for cervical cancer prediction | |
| Boumaraf et al. | Conventional machine learning versus deep learning for magnification dependent histopathological breast cancer image classification: A comparative study with visual explanation | |
| Alquran et al. | Cervical net: A novel cervical cancer classification using feature fusion | |
| Li et al. | A deep learning-based computer-aided diagnosis method of X-ray images for bone age assessment | |
| Taormina et al. | Performance of fine-tuning convolutional neural networks for HEP-2 image classification | |
| Venmathi et al. | An automatic brain tumors detection and classification using deep convolutional neural network with VGG-19 | |
| Elhassan et al. | Classification of atypical white blood cells in acute myeloid leukemia using a two-stage hybrid model based on deep convolutional autoencoder and deep convolutional neural network | |
| Tirado-Martin et al. | BioECG: Improving ECG biometrics with deep learning and enhanced datasets | |
| Yan et al. | Interval feature transformation for time series classification using perceptually important points | |
| Routray et al. | Ensemble Learning with Symbiotic Organism Search Optimization Algorithm for Breast Cancer Classification & Risk Identification of Other Organs on Histopathological Images | |
| Liang et al. | Figure-ground image segmentation using feature-based multi-objective genetic programming techniques | |
| Tawalbeh et al. | Deep Feature Engineering in Colposcopy Image Recognition: A Comparative Study | |
| Pacal | A novel Swin transformer approach utilizing residual multi-layer perceptron for diagnosing brain tumors in MRI images | |
| Shovon et al. | Addressing uncertainty in imbalanced histopathology image classification of her2 breast cancer: An interpretable ensemble approach with threshold filtered single instance evaluation (sie) | |
| CN117520914A (zh) | 一种单细胞分类方法、系统、设备及计算机可读存储介质 | |
| CN116778268A (zh) | 一种适用于医学影像目标分类的样本选择偏差缓解方法 | |
| Rozendo et al. | Classification of non-Hodgkin lymphomas based on sample entropy signatures | |
| Thakur et al. | RNN-CNN based cancer prediction model for gene expression | |
| Al-Naima et al. | Resilient back propagation algorithm for breast biopsy classification based on artificial neural networks | |
| Nejad et al. | A novel image categorization strategy based on salp swarm algorithm to enhance efficiency of MRI images | |
| He et al. | Intestinal polyp recognition based on salient codebook locality-constrained linear coding with annular spatial pyramid matching | |
| Singh et al. | IOT Based Deep Learning framework to Diagnose Breast Cancer over Pathological Clinical Data | |
| Abirami et al. | Diagnosis of Tuberculosis Using Deep Learning Models | |
| Win | Comparison of C4. 5 and Weighted C4. 5 Decision Trees for Breast Cancer Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |