CN113052802A - 基于医学图像的小样本图像分类方法、装置及设备 - Google Patents

基于医学图像的小样本图像分类方法、装置及设备 Download PDF

Info

Publication number
CN113052802A
CN113052802A CN202110266710.9A CN202110266710A CN113052802A CN 113052802 A CN113052802 A CN 113052802A CN 202110266710 A CN202110266710 A CN 202110266710A CN 113052802 A CN113052802 A CN 113052802A
Authority
CN
China
Prior art keywords
category
feature
medical images
medical
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110266710.9A
Other languages
English (en)
Other versions
CN113052802B (zh
Inventor
路通
蔡淳昊
袁明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110266710.9A priority Critical patent/CN113052802B/zh
Publication of CN113052802A publication Critical patent/CN113052802A/zh
Application granted granted Critical
Publication of CN113052802B publication Critical patent/CN113052802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本申请公开了一种基于医学图像的小样本图像分类方法、装置及设备，属于图像分类技术领域。所述方法包括：获取辅助图像集，辅助图像集中包含已标注的m张第一医学图像，m张第一医学图像属于多个第一类别；对m张第一医学图像进行特征提取，得到每个第一类别的第一特征；获取小样本图像集，小样本图像集包括支撑集和查询集，支撑集中包含已标注的n张第二医学图像，n张第二医学图像属于多个第二类别，查询集中包含属于第二类别且未标注的第三医学图像，第二医学图像和第三医学图像所对应的场景与第一类别相关，n＜m；根据第一特征提取每个第二类别的第二特征；根据第二特征对第三医学图像进行分类。本申请中可以提高图像分类的准确性。

Description

基于医学图像的小样本图像分类方法、装置及设备
技术领域
本申请实施例涉及图像分类技术领域，特别涉及一种基于医学图像的小样本图像分类方法、装置及设备。
背景技术
在医学成像中，疾病的准确诊断和评估取决于医学图像的采集和图像解释。在过去，医学图像的解释依靠于医生人工解释，但这样的方式受到医生的主观性、以及人力不足的限制。近年来，随着深度学习技术的广泛应用，可以结合深度学习技术来对医学图像进行自动化操作，而医学图像的分类是其中的一个较为重要的任务。由于医学图像的获取要求较高，且医学图像的分类任务往往使用一个小的数据集，若将其视为通用分类任务则很可能使得模型过拟合，因此，将医学图像的分类任务视为小样本图像的分类任务是更恰当的做法。
小样本图像的分类任务是指对于一些模型未见过的新类别，模型需要在每个类别仅有少数几个有类别标注的样本的情况下，完成对这几个类别和其他一些无标注样本的分类。一般来说，我们把这些有类别标注的样本的集合称为支撑集，而待分类的无标注样本的集合称为查询集。对于基于医学图像的小样本图像的分类任务来说，由于医学图像的类内差异往往较高，如图1所示，(a)～(d)皆为CT(Computerized Tomography，计算机断层显像)图像，(e)～(h)皆为MR(Magnetic Resonance，磁共振)图像，在每类仅有数个样本的情况下，模型对这些新类别的认识往往与它们的真实分布有所偏差，这正是小样本图像分类任务的难点所在。
发明内容
本申请实施例提供了一种基于医学图像的小样本图像分类方法、装置及设备，用于解决医学图像中的随机噪声影响图像分类的准确性的问题。所述技术方案如下：
一方面，提供了一种基于医学图像的小样本图像分类方法，所述方法包括：
获取辅助图像集，所述辅助图像集中包含已标注的m张第一医学图像，所述m张第一医学图像属于多个第一类别；
对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征；
获取小样本图像集，所述小样本图像集包括支撑集和查询集，所述支撑集中包含已标注的n张第二医学图像，所述n张第二医学图像属于多个第二类别，所述查询集中包含属于所述第二类别且未标注的第三医学图像，所述第二医学图像和所述第三医学图像所对应的场景与所述第一类别相关，n＜m；
根据所述第一特征提取每个第二类别的第二特征；
根据所述第二特征对所述第三医学图像进行分类。
在一种可能的实现方式中，所述对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征，包括：
利用特征提取器对所述m张第一医学图像进行特征提取，得到每张第一医学图像的第一特征向量；
对属于同一类别的所有第一医学图像的第一特征向量进行均值运算，得到每个第一类别的第一特征。
在一种可能的实现方式中，所述根据所述第一特征提取每个第二类别的第二特征，包括：
对所述n张第二医学图像进行特征提取，得到每个第二类别的局部特征；
根据所述支撑集和所述第一特征计算每个第二类别的外部特征，所述外部特征是由与所述第二类别相关的所有相似度构成的，所述相似度用于指示所述第二类别与各个第一类别之间的相似程度；
对于每个第二类别，根据所述第二类别的局部特征和所述第二类别的外部特征生成所述第二类别的第二特征。
在一种可能的实现方式中，所述对所述n张第二医学图像进行特征提取，得到每个第二类别的局部特征，包括：
利用特征提取器对所述n张第二医学图像进行特征提取，得到每张第二医学图像的第二特征向量；
对属于同一类别的所有第二医学图像的第二特征向量进行均值运算，得到每个第二类别的局部特征。
在一种可能的实现方式中，所述根据所述支撑集和所述第一特征计算每个第二类别的外部特征，包括：
计算所述支撑集中每张第二医学图像与各个第一类别之间的相似度；
对属于同一类别的所有第二医学图像对应的相似度进行均值运算，得到每个第二类别与各个第一类别之间的相似度；
对于每个第二类别，将与所述第二类别相关的所有相似度构成所述第二类别的外部特征。
在一种可能的实现方式中，所述计算所述支撑集中每张第二医学图像与各个第一类别之间的相似度，包括：
对于每张第二医学图像，将所述第二医学图像的第二特征向量和每个第一类别的第一特征相连；
将得到的每个向量分别输入第一全连接网络，得到所述第二医学图像与每个第一类别之间的相似度。
在一种可能的实现方式中，所述根据所述第二类别的局部特征和所述第二类别的外部特征生成所述第二类别的第二特征，包括：
将所述第二类别的局部特征和所述第二类别的外部特征相连；
将得到的向量输入第二全连接网络，得到所述第二类别的第二特征。
在一种可能的实现方式中，所述根据所述第二特征对所述第三医学图像进行分类，包括：
利用特征提取器对所述第三医学图像进行特征提取，得到所述第三医学图像的第三特征向量；
根据所述第三特征向量和所有第二类别的第二特征，计算所述第三医学图像与每个第二类别之间的相关性；
将相关性最大的第二类别确定为所述第三医学图像的类别。
一方面，提供了一种基于医学图像的小样本图像分类装置，所述装置包括：
获取模块，用于获取辅助图像集，所述辅助图像集中包含已标注的m张第一医学图像，所述m张第一医学图像属于多个第一类别；
提取模块，用于对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征；
所述获取模块，还用于获取小样本图像集，所述小样本图像集包括支撑集和查询集，所述支撑集中包含已标注的n张第二医学图像，所述n张第二医学图像属于多个第二类别，所述查询集中包含属于所述第二类别且未标注的第三医学图像，所述第二医学图像和所述第三医学图像所对应的场景与所述第一类别相关，n＜m；
所述提取模块，还用于根据所述第一特征提取每个第二类别的第二特征；
分类模块，用于根据所述第二特征对所述第三医学图像进行分类。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于医学图像的小样本图像分类方法。
本申请实施例提供的技术方案的有益效果至少包括：
少样本图像的分类任务中的医学图像中可能存在随机噪声，可以从辅助图像集中提取出每个第一类别的第一特征，得到已知类别的置信度高的特征表示，由于第一类别与少样本图像集中的医学图像所对应的场景相同，所以，可以根据第一特征对少样本图像进行分类，从而提高图像分类的准确性。
通过提取出第二类别的局部特征和外部特征，从而使得模型对于自然条件下的医学图像中可能出现的各种随机噪声更加鲁棒，提高模型在医学图像分类场景下的小样本图像分类任务上的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是医学图像的类内差异的示意图；
图2是本申请一个实施例提供的基于医学图像的小样本图像分类方法的方法流程图；
图3是本申请一个实施例提供的ResNet-12的结构示意图；
图4是本申请一个实施例提供的提取第二类别的第二特征的方法流程图；
图5是本申请一个实施例提供的第二全连接网络的结构示意图；
图6是本申请一个实施例提供的对第三医学图像进行分类的方法流程图；
图7是本申请一个实施例提供的模型的结构示意图；
图8是本申请一个实施例提供的基于医学图像的小样本图像分类装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图2，其示出了本申请一个实施例提供的基于医学图像的小样本图像分类方法的方法流程图，该基于医学图像的小样本图像分类方法可以应用于计算机设备中。该基于医学图像的小样本图像分类方法，可以包括：
步骤201，获取辅助图像集，该辅助图像集中包含已标注的m张第一医学图像，m张第一医学图像属于多个第一类别。
辅助图像集中的第一医学图像可以根据图像分类的应用场景进行选择，本实施例不作限定。
在一个应用场景中，可以选择结肠癌CT图像集(https://wiki.cancerimagingarchive.net/display/Public/CT+COLONOG RAPHY#dc149b9170f54aa29e88f1119e25ba3e)和AMRG Cardiac Atlas(http://www.cardiacatlas.org/studies/amrg-cardiac-atlas/)的并集作为辅助图像集。
辅助图像集Sbase中包含有大量的第一医学图像，该辅助图像集中共包含Nbase个类别的第一医学图像，将其集合记为Cbase。为了便于区分，本实施例中将辅助图像集中包含的的类别称为第一类别。每张第一医学图像都具有尽可能准确的标注信息，即，每张第一医学图像属于哪个第一类别是已知的。
步骤202，对m张第一医学图像进行特征提取，得到每个第一类别的第一特征。
具体的，对m张第一医学图像进行特征提取，得到每个第一类别的第一特征，可以包括：利用特征提取器对m张第一医学图像进行特征提取，得到每张第一医学图像的第一特征向量；对属于同一类别的所有第一医学图像的第一特征向量进行均值运算，得到每个第一类别的第一特征。
本实施例中，可以将特征提取器记为fθ(·)，将提取到的所有第一医学图像的第一特征向量记为
Figure BDA0002972305830000061
则对于每个第一类别i∈Cbase，取从属于该第一类别的所有第一医学图像的第一特征向量的均值为该第一类别的第一特征ci。
在利用特征提取器来提取第一特征向量时，对于输入的每张第一医学图像，首先将该第一医学图像的尺寸以双线性插值算法缩放至84×84，并对R(红)、G(绿)、B(蓝)三个通道分别作归一化，使其在整个数据集上的均值为0且标准差为1。接下来，将归一化后的第一医学图像输入ResNet-12进行特征的提取。
请参考图3，本实施例中的ResNet-12由四个通道数不同的Basic Block和一个5×5的Average Pooling层构成，这4个Basic Block的输入通道数/输出通道数依次为：3/64，64/160，160/320，320/640。
一个输入通道数为nin，输出通道数为nout的Basic Block由3组Conv-BN-LeakyReLU层，以及一个丢弃概率为0.3的Dropout层和一个2×2的Max Pooling层依次构成。这3组Conv-BN-LeakyReLU层的输入通道数/输出通道数依次为nin/nout，nout/nout和nout/nout。一个输入通道数为nin，输出通道数为nout的Conv-BN-LeakyReLU层的结构位：由一个输入通道数为nin，输出通道数为nout，padding为1的3×3二维卷积层、一个二维BatchNorm层和一个负斜率为0.1的LeakyReLU激活函数依次构成。
步骤203，获取小样本图像集，该小样本图像集包括支撑集和查询集，该支撑集中包含已标注的n张第二医学图像，n张第二医学图像属于多个第二类别，该查询集中包含属于第二类别且未标注的第三医学图像，第二医学图像和第三医学图像所对应的场景与第一类别相关，n＜m。
本实施例中将支撑集记为Snovel，将查询集记为Qnovel，且支撑集Snovel中包含少量已标注的第二医学图像。
步骤204，根据第一特征提取每个第二类别的第二特征。
请参考图4，根据第一特征提取每个第二类别的第二特征，可以包括以下几个子步骤：
子步骤2041，对n张第二医学图像进行特征提取，得到每个第二类别的局部特征。
具体的，对n张第二医学图像进行特征提取，得到每个第二类别的局部特征，可以包括：利用特征提取器对n张第二医学图像进行特征提取，得到每张第二医学图像的第二特征向量；对属于同一类别的所有第二医学图像的第二特征向量进行均值运算，得到每个第二类别的局部特征。
本实施例中，可以利用fθ(·)对所有第二医学图像进行特征提取，得到第二特征向量记为
Figure BDA0002972305830000081
对于每个第二类别i∈Cnovel，取从属于该第二类别的所有第二医学图像的第二特征向量的均值为该第二类别的局部特征
Figure BDA0002972305830000082
子步骤2042，根据支撑集和第一特征计算每个第二类别的外部特征，该外部特征是由与第二类别相关的所有相似度构成的，该相似度用于指示第二类别与各个第一类别之间的相似程度。
具体的，根据支撑集和第一特征计算每个第二类别的外部特征，可以包括：计算支撑集中每张第二医学图像与各个第一类别之间的相似度；对属于同一类别的所有第二医学图像对应的相似度进行均值运算，得到每个第二类别与各个第一类别之间的相似度；对于每个第二类别，将与第二类别相关的所有相似度构成第二类别的外部特征。
在实现时，对于每个第二类别i，遍历支撑集中类别标签为i的所有第二医学图像j，并计算每张第二医学图像j与所有第一类别的第一特征的相似度
Figure BDA0002972305830000083
每个相似度为取值在[0，1]之间的实数。在得到每张第二医学图像j与所有第一类别的第一特征的相似度
Figure BDA0002972305830000084
之后，可以通过类内求取平均值的方式计算每个第二类别与各个第一类别之间的相似度
Figure BDA0002972305830000085
最后，将与第二类别i相关的所有的这样的相似度构成向量si称为第二类别i的外部特征，即，
Figure BDA0002972305830000091
其中，计算支撑集中每张第二医学图像与各个第一类别之间的相似度，可以包括：对于每张第二医学图像，将第二医学图像的第二特征向量和每个第一类别的第一特征相连；将得到的每个向量分别输入第一全连接网络，得到第二医学图像与每个第一类别之间的相似度。
本实施例中，可以通过第一全连接网络来预测每张第二医学图像j与各个第一类别之间的相似度
Figure BDA0002972305830000092
在一种实现方式中，第一全连接网络由3层全连接层构成，这3个全连接层的输入输出维度数依次为(输入维度数)/256、256/64、64/1，且每个全连接层后都连接一个BatchNorm层和一个LeakyReLU激活函数(拥有0.1的负斜率)。
子步骤2043，对于每个第二类别，根据第二类别的局部特征和第二类别的外部特征生成第二类别的第二特征。
具体的，根据第二类别的局部特征和第二类别的外部特征生成第二类别的第二特征，可以包括：将第二类别的局部特征和第二类别的外部特征相连；将得到的向量输入第二全连接网络，得到第二类别的第二特征。
本实施例中，对于每个第二类别i，可以将其局部特征和外部特征相连接得到一个nI维向量，然后将nI维向量输入第二全连接网络gψ，得到一个nO维向量ci，这个nO维向量记为第二类别i的第二特征。
请参考图5，第二全连接网络由3层全连接层构成，这3个全连接层的输入输出维度数依次为nI/128、128/128、128/nO，且每个全连接层后都连接一个BatchNorm层和一个LeakyReLU激活函数(拥有0.1的负斜率)。
步骤205，根据第二特征对第三医学图像进行分类。
请参考图6，根据第二特征对第三医学图像进行分类，可以包括以下几个子步骤：
子步骤2051，利用特征提取器对第三医学图像进行特征提取，得到第三医学图像的第三特征向量。
本实施例中，可以利用fθ(·)对所有第三医学图像进行特征提取，得到第三特征向量记为
Figure BDA0002972305830000101
子步骤2052，根据第三特征向量和所有第二类别的第二特征，计算第三医学图像与每个第二类别之间的相关性。
在得到每个第二类别i的第二特征后，可以计算第三医学图像j与第二类别i的相关性。在一种实现方式中，相关性可以用欧式距离表示，则相关性的计算公式为
Figure BDA0002972305830000102
这里
Figure BDA0002972305830000103
为两向量间的平方欧式距离。
子步骤2053，将相关性最大的第二类别确定为第三医学图像的类别。
在得到第三医学图像与每个第二类别之间的相关性之后，可以从中选择相关性最大的第二类别，将该第二类别确定为第三医学图像所属的类别。
请参考图7所示的模型的示意图，本实施例的计算机设备中存储有该模型，且计算机设备通过该模型实施上述小样本图像分类的方法。需要说明的是，图7中的已知类别为上文中所说的第一类别，未知类别为上文中所说的第二类别。
综上所述，本申请实施例提供的基于医学图像的小样本图像分类方法，少样本图像的分类任务中的医学图像中可能存在随机噪声，可以从辅助图像集中提取出每个第一类别的第一特征，得到已知类别的置信度高的特征表示，由于第一类别与少样本图像集中的医学图像所对应的场景相同，所以，可以根据第一特征对少样本图像进行分类，从而提高图像分类的准确性。
通过提取出第二类别的局部特征和外部特征，从而使得模型对于自然条件下的医学图像中可能出现的各种随机噪声更加鲁棒，提高模型在医学图像分类场景下的小样本图像分类任务上的准确率。
请参考图8，其示出了本申请一个实施例提供的基于医学图像的小样本图像分类装置的结构框图，该基于医学图像的小样本图像分类装置可以应用于计算机设备中。该基于医学图像的小样本图像分类装置，可以包括：
获取模块810，用于获取辅助图像集，辅助图像集中包含已标注的m张第一医学图像，m张第一医学图像属于多个第一类别；
提取模块820，用于对m张第一医学图像进行特征提取，得到每个第一类别的第一特征；
获取模块810，还用于获取小样本图像集，小样本图像集包括支撑集和查询集，支撑集中包含已标注的n张第二医学图像，n张第二医学图像属于多个第二类别，查询集中包含属于第二类别且未标注的第三医学图像，第二医学图像和第三医学图像所对应的场景与第一类别相关，n＜m；
提取模块820，还用于根据第一特征提取每个第二类别的第二特征；
分类模块830，用于根据第二特征对第三医学图像进行分类。
在一个可选的实施例中，提取模块820，还用于：
利用特征提取器对m张第一医学图像进行特征提取，得到每张第一医学图像的第一特征向量；
对属于同一类别的所有第一医学图像的第一特征向量进行均值运算，得到每个第一类别的第一特征。
在一个可选的实施例中，提取模块820，还用于：
对n张第二医学图像进行特征提取，得到每个第二类别的局部特征；
根据支撑集和第一特征计算每个第二类别的外部特征，外部特征是由与第二类别相关的所有相似度构成的，相似度用于指示第二类别与各个第一类别之间的相似程度；
对于每个第二类别，根据第二类别的局部特征和第二类别的外部特征生成第二类别的第二特征。
在一个可选的实施例中，提取模块820，还用于：
利用特征提取器对n张第二医学图像进行特征提取，得到每张第二医学图像的第二特征向量；
对属于同一类别的所有第二医学图像的第二特征向量进行均值运算，得到每个第二类别的局部特征。
在一个可选的实施例中，提取模块820，还用于：
计算支撑集中每张第二医学图像与各个第一类别之间的相似度；
对属于同一类别的所有第二医学图像对应的相似度进行均值运算，得到每个第二类别与各个第一类别之间的相似度；
对于每个第二类别，将与第二类别相关的所有相似度构成第二类别的外部特征。
在一个可选的实施例中，提取模块820，还用于：
对于每张第二医学图像，将第二医学图像的第二特征向量和每个第一类别的第一特征相连；
将得到的每个向量分别输入第一全连接网络，得到第二医学图像与每个第一类别之间的相似度。
在一个可选的实施例中，提取模块820，还用于：
将第二类别的局部特征和第二类别的外部特征相连；
将得到的向量输入第二全连接网络，得到第二类别的第二特征。
在一个可选的实施例中，分类模块830，还用于：
利用特征提取器对第三医学图像进行特征提取，得到第三医学图像的第三特征向量；
根据第三特征向量和所有第二类别的第二特征，计算第三医学图像与每个第二类别之间的相关性；
将相关性最大的第二类别确定为第三医学图像的类别。
综上所述，本申请实施例提供的基于医学图像的小样本图像分类装置，少样本图像的分类任务中的医学图像中可能存在随机噪声，可以从辅助图像集中提取出每个第一类别的第一特征，得到已知类别的置信度高的特征表示，由于第一类别与少样本图像集中的医学图像所对应的场景相同，所以，可以根据第一特征对少样本图像进行分类，从而提高图像分类的准确性。
通过提取出第二类别的局部特征和外部特征，从而使得模型对于自然条件下的医学图像中可能出现的各种随机噪声更加鲁棒，提高模型在医学图像分类场景下的小样本图像分类任务上的准确率。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于医学图像的小样本图像分类方法。
本申请一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于医学图像的小样本图像分类方法。
需要说明的是：上述实施例提供的基于医学图像的小样本图像分类装置在进行基于医学图像的小样本图像分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于医学图像的小样本图像分类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于医学图像的小样本图像分类装置与基于医学图像的小样本图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种基于医学图像的小样本图像分类方法，其特征在于，所述方法包括：
获取辅助图像集，所述辅助图像集中包含已标注的m张第一医学图像，所述m张第一医学图像属于多个第一类别；
对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征；
获取小样本图像集，所述小样本图像集包括支撑集和查询集，所述支撑集中包含已标注的n张第二医学图像，所述n张第二医学图像属于多个第二类别，所述查询集中包含属于所述第二类别且未标注的第三医学图像，所述第二医学图像和所述第三医学图像所对应的场景与所述第一类别相关，n＜m；
根据所述第一特征提取每个第二类别的第二特征；
根据所述第二特征对所述第三医学图像进行分类。
2.根据权利要求1所述的方法，其特征在于，所述对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征，包括：
利用特征提取器对所述m张第一医学图像进行特征提取，得到每张第一医学图像的第一特征向量；
对属于同一类别的所有第一医学图像的第一特征向量进行均值运算，得到每个第一类别的第一特征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征提取每个第二类别的第二特征，包括：
对所述n张第二医学图像进行特征提取，得到每个第二类别的局部特征；
根据所述支撑集和所述第一特征计算每个第二类别的外部特征，所述外部特征是由与所述第二类别相关的所有相似度构成的，所述相似度用于指示所述第二类别与各个第一类别之间的相似程度；
对于每个第二类别，根据所述第二类别的局部特征和所述第二类别的外部特征生成所述第二类别的第二特征。
4.根据权利要求3所述的方法，其特征在于，所述对所述n张第二医学图像进行特征提取，得到每个第二类别的局部特征，包括：
利用特征提取器对所述n张第二医学图像进行特征提取，得到每张第二医学图像的第二特征向量；
对属于同一类别的所有第二医学图像的第二特征向量进行均值运算，得到每个第二类别的局部特征。
5.根据权利要求4所述的方法，其特征在于，所述根据所述支撑集和所述第一特征计算每个第二类别的外部特征，包括：
计算所述支撑集中每张第二医学图像与各个第一类别之间的相似度；
对属于同一类别的所有第二医学图像对应的相似度进行均值运算，得到每个第二类别与各个第一类别之间的相似度；
对于每个第二类别，将与所述第二类别相关的所有相似度构成所述第二类别的外部特征。
6.根据权利要求5所述的方法，其特征在于，所述计算所述支撑集中每张第二医学图像与各个第一类别之间的相似度，包括：
对于每张第二医学图像，将所述第二医学图像的第二特征向量和每个第一类别的第一特征相连；
将得到的每个向量分别输入第一全连接网络，得到所述第二医学图像与每个第一类别之间的相似度。
7.根据权利要求3所述的方法，其特征在于，所述根据所述第二类别的局部特征和所述第二类别的外部特征生成所述第二类别的第二特征，包括：
将所述第二类别的局部特征和所述第二类别的外部特征相连；
将得到的向量输入第二全连接网络，得到所述第二类别的第二特征。
8.根据权利要求3所述的方法，其特征在于，所述根据所述第二特征对所述第三医学图像进行分类，包括：
利用特征提取器对所述第三医学图像进行特征提取，得到所述第三医学图像的第三特征向量；
根据所述第三特征向量和所有第二类别的第二特征，计算所述第三医学图像与每个第二类别之间的相关性；
将相关性最大的第二类别确定为所述第三医学图像的类别。
9.一种基于医学图像的小样本图像分类装置，其特征在于，所述装置包括：
获取模块，用于获取辅助图像集，所述辅助图像集中包含已标注的m张第一医学图像，所述m张第一医学图像属于多个第一类别；
提取模块，用于对所述m张第一医学图像进行特征提取，得到每个第一类别的第一特征；
所述获取模块，还用于获取小样本图像集，所述小样本图像集包括支撑集和查询集，所述支撑集中包含已标注的n张第二医学图像，所述n张第二医学图像属于多个第二类别，所述查询集中包含属于所述第二类别且未标注的第三医学图像，所述第二医学图像和所述第三医学图像所对应的场景与所述第一类别相关，n＜m；
所述提取模块，还用于根据所述第一特征提取每个第二类别的第二特征；
分类模块，用于根据所述第二特征对所述第三医学图像进行分类。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7任一所述的基于医学图像的小样本图像分类方法。
CN202110266710.9A 2021-03-11 2021-03-11 基于医学图像的小样本图像分类方法、装置及设备 Active CN113052802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110266710.9A CN113052802B (zh) 2021-03-11 2021-03-11 基于医学图像的小样本图像分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110266710.9A CN113052802B (zh) 2021-03-11 2021-03-11 基于医学图像的小样本图像分类方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113052802A true CN113052802A (zh) 2021-06-29
CN113052802B CN113052802B (zh) 2024-04-09

Family

ID=76511819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110266710.9A Active CN113052802B (zh) 2021-03-11 2021-03-11 基于医学图像的小样本图像分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113052802B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408463A (zh) * 2021-06-30 2021-09-17 吉林大学 一种基于距离度量的细胞图像小样本分类系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170766A1 (en) * 2007-01-12 2008-07-17 Yfantis Spyros A Method and system for detecting cancer regions in tissue images
CN105118068A (zh) * 2015-09-29 2015-12-02 常熟理工学院 一种小样本条件下医学图像自动标注方法
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
CN110472737A (zh) * 2019-08-15 2019-11-19 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110569886A (zh) * 2019-08-20 2019-12-13 天津大学 一种双向通道注意力元学习的图像分类方法
CN110717554A (zh) * 2019-12-05 2020-01-21 广东虚拟现实科技有限公司 图像识别方法、电子设备及存储介质
CN111046910A (zh) * 2019-11-12 2020-04-21 北京三快在线科技有限公司 图像分类、关系网络模型训练、图像标注方法及装置
KR20200058297A (ko) * 2018-11-19 2020-05-27 고려대학교 산학협력단 설명 가능한 소수샷 영상 분류 방법 및 장치
CN111340083A (zh) * 2020-02-20 2020-06-26 京东方科技集团股份有限公司 医学图像的处理方法、装置、设备及存储介质
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170766A1 (en) * 2007-01-12 2008-07-17 Yfantis Spyros A Method and system for detecting cancer regions in tissue images
CN105118068A (zh) * 2015-09-29 2015-12-02 常熟理工学院 一种小样本条件下医学图像自动标注方法
KR20200058297A (ko) * 2018-11-19 2020-05-27 고려대학교 산학협력단 설명 가능한 소수샷 영상 분류 방법 및 장치
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
CN110472737A (zh) * 2019-08-15 2019-11-19 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110569886A (zh) * 2019-08-20 2019-12-13 天津大学 一种双向通道注意力元学习的图像分类方法
CN111046910A (zh) * 2019-11-12 2020-04-21 北京三快在线科技有限公司 图像分类、关系网络模型训练、图像标注方法及装置
CN110717554A (zh) * 2019-12-05 2020-01-21 广东虚拟现实科技有限公司 图像识别方法、电子设备及存储介质
CN111340083A (zh) * 2020-02-20 2020-06-26 京东方科技集团股份有限公司 医学图像的处理方法、装置、设备及存储介质
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ARMAN AFRASIYABI ET AL.: "Associative Alignment for Few-Shot Image Classification", 《ARXIV》 *
CHUNHAO CAI, MINGLEI YUAN，TONG LU: "An Iterative Feature Selection Mechanism for Few-Shot Image Classification", 《25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》, 10 June 2021 (2021-06-10) *
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
QILING TANG ET AL.: "Medical image classification via multiscale representation learning", 《ARTIFICIAL INTELLIGENCE IN MEDICINE》 *
傅桂霞 等: "融合Gabor特征与卷积特征的小样本行人重识别", 《山东大学学报(工学版)》 *
吕磊 等: "基于深度卷积神经网络的小样本车型分类方法", 《兵器装备工程学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408463A (zh) * 2021-06-30 2021-09-17 吉林大学 一种基于距离度量的细胞图像小样本分类系统
CN113408463B (zh) * 2021-06-30 2022-05-10 吉林大学 一种基于距离度量的细胞图像小样本分类系统

Also Published As

Publication number Publication date
CN113052802B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
CN107748900B (zh) 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
Ilea et al. CTex—an adaptive unsupervised segmentation algorithm based on color-texture coherence
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Keceli et al. Combining 2D and 3D deep models for action recognition with depth information
CN111400528B (zh) 一种图像压缩方法、装置、服务器及存储介质
US11893497B2 (en) Method and apparatus for acquiring feature data from low-bit image
CN112434172A (zh) 一种病理图像预后特征权重计算方法及系统
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN113052802B (zh) 基于医学图像的小样本图像分类方法、装置及设备
CN114037699A (zh) 一种病理图像分类方法、设备、系统及存储介质
Dar et al. EfficientU-net: a novel deep learning method for breast tumor segmentation and classification in ultrasound images
Yao Application of higher education management in colleges and universities by deep learning
CN112418067A (zh) 一种基于深度学习模型的简便人脸识别在线学习方法
Wu et al. A vision-based indoor positioning method with high accuracy and efficiency based on self-optimized-ordered visual vocabulary
CN116797938A (zh) 一种基于对比学习预训练的sar舰船分类方法
Valério et al. Deepmammo: deep transfer learning for lesion classification of mammographic images
CN115631526A (zh) 基于自监督学习技术的被遮挡的人脸表情识别方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant