CN114758320A - 一种小样本图像分类方法、装置、设备及介质 - Google Patents

一种小样本图像分类方法、装置、设备及介质 Download PDF

Info

Publication number
CN114758320A
CN114758320A CN202210403647.3A CN202210403647A CN114758320A CN 114758320 A CN114758320 A CN 114758320A CN 202210403647 A CN202210403647 A CN 202210403647A CN 114758320 A CN114758320 A CN 114758320A
Authority
CN
China
Prior art keywords
feature
sample
layer
prototype
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210403647.3A
Other languages
English (en)
Inventor
陈芝琳
王云田
郁健峰
朱元豪
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Corp
Original Assignee
China Automotive Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Corp filed Critical China Automotive Innovation Corp
Priority to CN202210403647.3A priority Critical patent/CN114758320A/zh
Publication of CN114758320A publication Critical patent/CN114758320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种小样本图像分类方法，包括:获取支持图像集和查询图像集；支持图像集包括若干个分类标签，每个分类标签对应若干张支持图像，支持图像的数量小于预设数量阈值，查询图像集包括若干张待分类的查询图像；将每个分类标签对应的若干张支持图像和查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个分类标签对应的若干张支持图像的第一原型特征和查询图像的第二原型特征；根据每个分类标签对应的若干张支持图像的第一原型特征，确定每个分类标签的第三原型特征；基于第二原型特征和第三原型特征之间的相似度，从若干个分类标签中确定查询图像所属的目标标签。避免因样本特征数据少导致的训练过拟合的问题。

Description

一种小样本图像分类方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种小样本图像分类方法、装置、设备及介质。
背景技术
由于自动驾驶需要感知的对象庞杂，无法对每个对象采集足够多的样本数据，交通标志牌数据稀少却在交通参与中起着重要的信息提高作用，这对相应的数据特征学习带来了极大的挑战。
传统的深度学习算法对于小样本交通牌数据学习很容易出现过拟合的问题，导致小样本交通牌数据学习的精度较低。
发明内容
本申请为克服上述现有技术存在的缺陷而提供一种能够避免因样本特征数据少导致训练过拟合、分类精度高的小样本图像分类方法、装置、设备及介质。
为解决上述技术问题，本申请提供以下技术方案：
根据本申请实施例的第一方面，提供一种小样本图像分类方法，所述方法包括:
获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个示例性的实施方式中，所述跨层特征遍历提取包括奇数层特征遍历提取和偶数层特征遍历提取；
所述将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征，包括：
将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征。
在一个示例性的实施方式中，所述将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征，包括：
将每个所述分类标签对应的若干张支持图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一逐层特征提取结果、第一奇数层特征提取结果和第一偶数层特征提取结果；
将所述查询图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到所述查询图像的第二逐层特征提取结果、第二奇数层特征提取结果和第二偶数层特征提取结果；
基于所述第一逐层特征提取结果、所述第一奇数层特征提取结果和所述第一偶数层特征提取结果，融合得到每个所述分类标签对应的若干张支持图像的第一特征融合结果；
基于所述第二逐层特征提取结果、所述第二奇数层特征提取结果和所述第二偶数层特征提取结果，融合得到所述查询图像的第二特征融合结果；
将所述第一特征融合结果作为第一原型特征；将所述第二特征融合结果作为第二原型特征。
在一个示例性的实施方式中，所述方法还包括：
获取样本支持图像集和样本查询图像集，所述样本支持图像集包括若干个样本支持分类标签，每个所述样本分类标签对应若干张样本支持图像，所述样本查询图像集包括若干张样本查询图像，所述样本查询图像标注有样本查询分类标签；
将每个所述样本分类标签对应的若干张样本支持图像和所述样本查询图像分别输入预设卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征和所述样本查询图像的第二样本原型特征；
根据每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征，确定每个所述样本分类标签的第三样本原型特征；
计算所述第二样本原型特征和所述样本查询分类标签之间的第一相似度；计算所述第三样本原型特征特征和所述样本支持标签特征之间的第二相似度；
根据所述第一相似度与所述第二相似度，确定损失信息；
根据所述损失信息，对所述预设卷积神经网络进行训练，得到所述卷积神经网络。
在一个示例性的实施方式中，所述获取支持图像集和查询图像集，包括：
获取交通标志图像；
对所述交通标志图像进行数据增强，得到增强后的交通标志图像；
从所述增强后的交通标志图像中获取所述支持图像集和所述查询图像集。
在一个示例性的实施方式中，所述基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签，包括：
计算所述第二原型特征和所述第三原型特征之间的欧氏距离；
根据所述欧式距离，确定所述相似度；
基于所述相似度从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个示例性的实施方式中，所述对所述交通标志图像进行数据增强，包括：
采用仿射变换、色度变换和噪声添加中的至少一种方式，对所述交通标志图像进行数据增强。
根据本申请实施例的第二方面，提供一种小样本图像分类装置，所述装置包括：
分类模块，用于获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
图像特征提取模块，用于将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
标签特征提取模块，根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
目标标签确定模块，用于基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个示例性的实施方式中，所述装置还包括：
获取模块，用于获取交通标志图像；
数据增强模块，用于对所述交通标志图像进行数据增强，得到增强后的交通标志图像。
根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程由所述处理器加载并执行以实现上述的小样本图像分类方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现上述的小样本图像分类方法。
采用上述技术方案，本申请具有如下有益效果：
本申请提供的一种小样本图像分类方法、装置、设备及介质，通过将每个分类标签对应的若干张支持图像和查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个分类标签对应的若干张支持图像的第一原型特征和查询图像的第二原型特征，再根据每个分类标签对应的若干张支持图像的第一原型特征，确定每个分类标签的第三原型特征，基于第二原型特征和第三原型特征之间的相似度，从若干个分类标签中确定查询图像所属的目标标签；通过输入卷积神经网络后进行逐层特征遍历提取和跨层特征遍历提取得到的图像原型特征，有利于避免因样本特征数据少导致的训练过拟合的问题，从而提高分类精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种小样本图像分类方法的流程示意图；
图2为本申请实施例提供的一种提取第一原型特征的过程示意图；
图3为本申请实施例提供的一种提取第二原型特征的过程示意图；
图4为本申请实施例提供的一种卷积神经网络的训练流程图；
图5为本申请实施例提供的一种小样本图像分类装置的结构框图；
图6为本申请实施例提供的运行一种小样本图像分类方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请实施例的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参阅图1，其所示为本申请实施例提供的一种小样本图像分类方法的流程示意图,该小样本图像分类方法包括：
步骤S101：获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
步骤S102:将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
步骤S103:根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
步骤S104:基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个具体的实施例中，通过步骤S101获取支持图像集和查询图像集；在步骤S102中，将每个分类标签对应的若干张支持图像和查询图像分别输入卷积神经网络，其中，各个图像输入卷积神经网络后进行若干层特征遍历提取，若干层特征遍历提取包括逐层特征遍历提取和跨层特征遍历提取，即每个分类标签对应的若干张支持图像和查询图像分别进行逐层特征遍历提取和跨层特征遍历提取，得到每个分类标签对应的若干张支持图像的第一原型特征和查询图像的第二原型特征，由于步骤S102采用卷积神经网络进行逐层特征遍历提取和跨层特征遍历提取，可以提取到更多的图像原型特征，避免了传统的深度学习算法下仅进行逐层特征遍历提取时，造成图像特征在逐层提取的过程中部分特征消失，进而导致因样本特征数据少造成训练过拟合的问题，能够提高分类精度；在步骤S103中，将每个分类标签对应的若干张支持图像的第一原型特征进行融合，得到融合原型特征，再将融合原型特征作为每个所述分类标签的第三原型特征，由于第一原型特征相较于传统的深度学习算法下更精确，进而使得第三原型特征更精确；通过步骤S104计算第二原型特征与第三原型特征之间的相似度，基于相似度确定查询图像所述的目标标签。
本实施例是利用卷积神经网络通过逐层特征遍历提取和跨层特征遍历提取进行图像的原型特征提取，相较于传统深度学习算法下的仅进行逐层特征遍历提取，可以在提取的过程中保留更多的原始细节特征，避免造成图像特征在逐层提取的过程中部分特征消失的问题，进而防止因样本特征数据少造成训练过拟合的问题，达到能够提高图像分类精度的效果。
具体的，本申请实施例中所述跨层特征遍历提取包括奇数层特征遍历提取和偶数层特征遍历提取；
本申请实施例还可以包括将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征的步骤，该步骤具体包括：
将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征。
在一个具体的实施例中，通过将跨层特征遍历提取设定为奇数层特征遍历提取和偶数层特征遍历提取，可以保证每层特征都能被提取两次，进一步提高分类精度，并且避免部分特征被遗漏导致图像样本数据特征少，造成训练过拟合的问题。
请参阅图2-图3，其所示分别为本申请实施例提供的一种提取第一原型特征的过程示意图和本申请实施例提供的一种提取第二原型特征的过程示意图，本申请实施例还可以包括将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征的步骤，该步骤具体包括：
将每个所述分类标签对应的若干张支持图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一逐层特征提取结果、第一奇数层特征提取结果和第一偶数层特征提取结果；
将所述查询图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到所述查询图像的第二逐层特征提取结果、第二奇数层特征提取结果和第二偶数层特征提取结果；
基于所述第一逐层特征提取结果、所述第一奇数层特征提取结果和所述第一偶数层特征提取结果，融合得到每个所述分类标签对应的若干张支持图像的第一特征融合结果；
基于所述第二逐层特征提取结果、所述第二奇数层特征提取结果和所述第二偶数层特征提取结果，融合得到所述查询图像的第二特征融合结果；
将所述第一特征融合结果作为第一原型特征；将所述第二特征融合结果作为第二原型特征。
在一个具体的实施例中，第一逐层特征提取结果先分别与第一奇数层特征提取结果和第一偶数层特征提取结果进行融合，得到第一融合结果和第二融合结果，再将第一融合结果和第二融合结果进行融合，才能得到第一特征融合；第二逐层特征提取结果先分别与第二奇数层特征提取结果和第二偶数层特征提取结果进行融合，得到第三融合结果和第四融合结果，再将第三融合结果和第四融合结果进行融合，才能得到第二特征融合；使得逐层特征提取结果和跨层特征提取结果能够充分融合，进一步提高分类精度。
请参阅图4，其所示为本申请实施例提供的一种卷积神经网络的训练流程图，该卷积神经网络的训练包括：
步骤S201：获取样本支持图像集和样本查询图像集，所述样本支持图像集包括若干个样本支持分类标签，每个所述样本分类标签对应若干张样本支持图像，所述样本查询图像集包括若干张样本查询图像，所述样本查询图像标注有样本查询分类标签；
步骤S202：将每个所述样本分类标签对应的若干张样本支持图像和所述样本查询图像分别输入预设卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征和所述样本查询图像的第二样本原型特征；
步骤S203：根据每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征，确定每个所述样本分类标签的第三样本原型特征；
步骤S204：计算所述第二样本原型特征和所述样本查询分类标签之间的第一相似度；计算所述第三样本原型特征特征和所述样本支持标签特征之间的第二相似度；
步骤S205：根据所述第一相似度与所述第二相似度，确定损失信息；
步骤S206：判断所述损失信息是否达到预设条件，若是，则执行步骤S207，若否，则重复步骤S201～S206；
步骤S207：得到所述卷积神经网络。
在一个具体的实施例中，通过步骤S201获取样本支持图像集和样本查询图像集，其中，样本支持图像集包括若干个样本支持分类标签，样本查询图像标注有样本查询分类标签；在步骤S202中，设置有预设卷积神经网络，将每个样本分类标签对应的若干张样本支持图像和样本查询图像分别输入预设卷积神经网络，进行若干层特征遍历提取，其中，若干层特征遍历提取包括逐层特征遍历提取和跨层特征遍历提取，即每个所述样本分类标签对应的若干张样本支持图像和样本查询图像分别进行逐层特征遍历提取和跨层特征遍历提取，得到每个样本分类标签对应的若干张样本支持图像的第一样本原型特征和样本查询图像的第二样本原型特征；在步骤S203中，将每个样本分类标签对应的若干张样本支持图像的第一样本原型特征进行融合，得到样本原型融合特征，将样本原型融合特征作为每个样本分类标签的第三样本原型特征；在步骤S204中，计算第二样本原型特征和样本查询分类标签之间的第一欧式距离，根据第一欧式距离，确定第一相似度，计算第三样本原型特征特征和样本支持标签特征之间的第二欧式距离，根据第二欧式距离，确定第二相似度；在步骤S205中，根据第一相似度与第二相似度，确定损失信息；通过步骤S206判断损失信息是否达到预设条件，若是，则执行步骤S207，得到若否，则重复步骤S201～S206；通过步骤S207得到卷积神经网络。
具体的，本申请实施例还可以包括获取支持图像集和查询图像集的步骤，该步骤具体包括：
获取交通标志图像；
对所述交通标志图像进行数据增强，得到增强后的交通标志图像；
从所述增强后的交通标志图像中获取所述支持图像集和所述查询图像集。
在一个具体的实施例中，先将交通标志图像进行数据增强，再从增强后的交通标志图像中获取支持图像集和查询图像集，利用已有的交通标志图像创造出更多的交通标志图像，有助于在交通标志图像数量较少的情况下，能够使支持图像集和查询图像集中的图像数量满足要求。
具体的，本申请实施例还可以包括基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签的步骤，该步骤具体包括：
计算所述第二原型特征和所述第三原型特征之间的欧氏距离；
根据所述欧式距离，确定所述相似度；
基于所述相似度从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个具体的实施例中，相似度的计算公式为：
Figure BDA0003600963910000111
其中，Si_score表示相似度，Qfeature表示第二原型特征，
Figure BDA0003600963910000112
表示第三原型特征，当Si_score最大时，
Figure BDA0003600963910000113
代表的分类标签即为查询图像所属的目标标签。
具体的，本申请实施例还可以包括对所述交通标志图像进行数据增强的步骤，该步骤具体包括：
采用仿射变换、色度变换和噪声添加中的至少一种方式，对所述交通标志图像进行数据增强。
由本申请实施例的上述技术方案可见，本申请实施例利用卷积神经网络通过逐层特征遍历提取和跨层特征遍历提取进行图像的原型特征提取，相较于传统深度学习算法下的仅进行逐层特征遍历提取，可以在提取的过程中保留更多的原始细节特征，避免造成图像特征在逐层提取的过程中部分特征消失的问题，进而防止因样本特征数据少造成训练过拟合的问题，达到能够提高图像分类精度的效果。
与上述实施例提供的小样本图像分类方法相对应，本申请实施例还提供一种小样本图像分类装置，由于本申请实施例提供的小样本图像分类装置与上述实施例提供的小样本图像分类方法相对应，因此前述小样本图像分类方法的实施方式也适用于本实施例提供的小样本图像分类装置，在本实施例中不再详细描述。
请参阅图5，其所示为本申请实施例提出的一种小样本图像分类装置的结构框图，该小样本图像分类装置包括：
分类模块，用于获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
图像特征提取模块，用于将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
标签特征提取模块，根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
目标标签确定模块，用于基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
在一个具体的实施例中，在一个具体的实施例中，通过分类模块获取支持图像集和查询图像集；在图像特征提取模块中，将每个分类标签对应的若干张支持图像和查询图像分别输入卷积神经网络，其中，各个图像输入卷积神经网络后进行若干层特征遍历提取，若干层特征遍历提取包括逐层特征遍历提取和跨层特征遍历提取，即每个分类标签对应的若干张支持图像和查询图像分别进行逐层特征遍历提取和跨层特征遍历提取，得到每个分类标签对应的若干张支持图像的第一原型特征和查询图像的第二原型特征，由于图像特征提取模块采用卷积神经网络进行逐层特征遍历提取和跨层特征遍历提取，可以提取到更多的图像原型特征，避免了传统的深度学习算法下仅进行逐层特征遍历提取时，造成图像特征在逐层提取的过程中部分特征消失，进而导致因样本特征数据少造成训练过拟合的问题，能够提高分类精度；在标签特征提取模块中，将每个分类标签对应的若干张支持图像的第一原型特征进行融合，得到融合原型特征，再将融合原型特征作为每个所述分类标签的第三原型特征，由于第一原型特征相较于传统的深度学习算法下更精确，进而使得第三原型特征更精确；通过目标标签确定模块计算第二原型特征与第三原型特征之间的相似度，基于相似度确定查询图像所述的目标标签。
本实施例是利用卷积神经网络通过逐层特征遍历提取和跨层特征遍历提取进行图像的原型特征提取，相较于传统深度学习算法下的仅进行逐层特征遍历提取，可以在提取的过程中保留更多的原始细节特征，避免造成图像特征在逐层提取的过程中部分特征消失的问题，进而防止因样本特征数据少造成训练过拟合的问题，达到能够提高图像分类精度的效果。
具体的，本申请实施例还可以包括卷积神经网络的训练过程，该过程具体包括：
样本图像集获取模块，用于获取样本支持图像集和样本查询图像集，所述样本支持图像集包括若干个样本支持分类标签，每个所述样本分类标签对应若干张样本支持图像，所述样本查询图像集包括若干张样本查询图像，所述样本查询图像标注有样本查询分类标签；
样本特征提取模块，用于将每个所述样本分类标签对应的若干张样本支持图像和所述样本查询图像分别输入预设卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征和所述样本查询图像的第二样本原型特征；
样本特征确定模块，用于根据每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征，确定每个所述样本分类标签的第三样本原型特征；
相似度计算模块，用于计算所述第二样本原型特征和所述样本查询分类标签之间的第一相似度；并用于计算所述第三样本原型特征特征和所述样本支持标签特征之间的第二相似度；
损失信息确定模块，用于根据所述第一相似度与所述第二相似度，确定损失信息；
判断模块，用于判断所述损失信息是否达到预设条件；
卷积神经网络获取模块，用于获取所述卷积神经网络。
在一个具体的实施例中，通过样本图像集获取模块获取样本支持图像集和样本查询图像集，其中，样本支持图像集包括若干个样本支持分类标签，样本查询图像标注有样本查询分类标签；在样本特征提取模块中，设置有预设卷积神经网络，将每个样本分类标签对应的若干张样本支持图像和样本查询图像分别输入预设卷积神经网络，进行若干层特征遍历提取，其中，若干层特征遍历提取包括逐层特征遍历提取和跨层特征遍历提取，即每个所述样本分类标签对应的若干张样本支持图像和样本查询图像分别进行逐层特征遍历提取和跨层特征遍历提取，得到每个样本分类标签对应的若干张样本支持图像的第一样本原型特征和样本查询图像的第二样本原型特征；在样本特征确定模块中，将每个样本分类标签对应的若干张样本支持图像的第一样本原型特征进行融合，得到样本原型融合特征，将样本原型融合特征作为每个样本分类标签的第三样本原型特征；在相似度计算模块中，计算第二样本原型特征和样本查询分类标签之间的第一欧式距离，根据第一欧式距离，确定第一相似度，计算第三样本原型特征特征和样本支持标签特征之间的第二欧式距离，根据第二欧式距离，确定第二相似度；在损失信息确定模块中，根据第一相似度与第二相似度，确定损失信息；通过判断模块判断损失信息是否达到预设条件。
具体的，本申请实施例还可以包括获取支持图像集和查询图像集的模块，具体包括：
获取模块，用于获取交通标志图像；
数据增强模块，用于对所述交通标志图像进行数据增强，得到增强后的交通标志图像。
在一个具体的实施例中，先通过获取模块获取交通标志图像，再通过数据增强模块将交通标志图像进行数据增强，进而得以从增强后的交通标志图像中获取支持图像集和查询图像集，利用已有的交通标志图像创造出更多的交通标志图像，有助于在交通标志图像数量较少的情况下，能够使支持图像集和查询图像集中的图像数量满足要求。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例的小样本图像分类装置利用卷积神经网络通过逐层特征遍历提取和跨层特征遍历提取进行图像的原型特征提取，相较于传统深度学习算法下的仅进行逐层特征遍历提取，可以在提取的过程中保留更多的原始细节特征，避免造成图像特征在逐层提取的过程中部分特征消失的问题，进而防止因样本特征数据少造成训练过拟合的问题，达到能够提高图像分类精度的效果。
本申请实施例还提供了一种电子设备，包括处理器和存储器，存储器中存储有至少一条指令或者至少一段程序，至少一条指令或者至少一段程由处理器加载并执行以实现如上述方法实施例所提供的小样本图像分类方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及小样本图像分类。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述电子设备可以包括计算机终端、服务器或者类似的运算装置。图6是本申请实施例提供的运行一种小样本图像分类方法的电子设备的硬件结构框图，如图6所示，该电子设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，电子设备内的处理器、网络接口及存储器可通过总线或其他方式连接，在本说明书实施例所示图6中以通过总线连接为例。
其中，处理器(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本申请对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的小样本图像分类方法。
本申请实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令或者至少一段程序，至少一条指令或者至少一段程序由处理器加载并执行以实现方法实施例提供的小样本图像分类方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多小样本图像分类和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种小样本图像分类方法，其特征在于，所述方法包括:
获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
2.根据权利要求1所述的小样本图像分类方法，其特征在于，所述跨层特征遍历提取包括奇数层特征遍历提取和偶数层特征遍历提取；
所述将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征，包括：
将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征。
3.根据权利要求2所述的小样本图像分类方法，其特征在于，所述将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征，包括：
将每个所述分类标签对应的若干张支持图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一逐层特征提取结果、第一奇数层特征提取结果和第一偶数层特征提取结果；
将所述查询图像输入卷积神经网络，进行逐层特征遍历提取、奇数层特征遍历提取和偶数层特征遍历提取，得到所述查询图像的第二逐层特征提取结果、第二奇数层特征提取结果和第二偶数层特征提取结果；
基于所述第一逐层特征提取结果、所述第一奇数层特征提取结果和所述第一偶数层特征提取结果，融合得到每个所述分类标签对应的若干张支持图像的第一特征融合结果；
基于所述第二逐层特征提取结果、所述第二奇数层特征提取结果和所述第二偶数层特征提取结果，融合得到所述查询图像的第二特征融合结果；
将所述第一特征融合结果作为第一原型特征；将所述第二特征融合结果作为第二原型特征。
4.根据权利要求1所述的小样本图像分类方法，其特征在于，所述方法还包括：
获取样本支持图像集和样本查询图像集，所述样本支持图像集包括若干个样本支持分类标签，每个所述样本分类标签对应若干张样本支持图像，所述样本查询图像集包括若干张样本查询图像，所述样本查询图像标注有样本查询分类标签；
将每个所述样本分类标签对应的若干张样本支持图像和所述样本查询图像分别输入预设卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征和所述样本查询图像的第二样本原型特征；
根据每个所述样本分类标签对应的若干张样本支持图像的第一样本原型特征，确定每个所述样本分类标签的第三样本原型特征；
计算所述第二样本原型特征和所述样本查询分类标签之间的第一相似度；计算所述第三样本原型特征特征和所述样本支持标签特征之间的第二相似度；
根据所述第一相似度与所述第二相似度，确定损失信息；
根据所述损失信息，对所述预设卷积神经网络进行训练，得到所述卷积神经网络。
5.根据权利要求1所述的小样本图像分类方法，其特征在于，所述获取支持图像集和查询图像集，包括：
获取交通标志图像；
对所述交通标志图像进行数据增强，得到增强后的交通标志图像；
从所述增强后的交通标志图像中获取所述支持图像集和所述查询图像集。
6.根据权利要求1所述的小样本图像分类方法，其特征在于，所述基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签，包括：
计算所述第二原型特征和所述第三原型特征之间的欧氏距离；
根据所述欧式距离，确定所述相似度；
基于所述相似度从所述若干个分类标签中确定所述查询图像所属的目标标签。
7.根据权利要求5所述的小样本图像分类方法，其特征在于，所述对所述交通标志图像进行数据增强，包括：
采用仿射变换、色度变换和噪声添加中的至少一种方式，对所述交通标志图像进行数据增强。
8.一种小样本图像分类装置，其特征在于，所述装置包括：
分类模块，用于获取支持图像集和查询图像集；所述支持图像集包括若干个分类标签，每个所述分类标签对应若干张支持图像，所述支持图像的数量小于预设数量阈值，所述查询图像集包括若干张待分类的查询图像；
图像特征提取模块，用于将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络，进行逐层特征遍历提取和跨层特征遍历提取，得到每个所述分类标签对应的若干张支持图像的第一原型特征和所述查询图像的第二原型特征；
标签特征提取模块，根据每个所述分类标签对应的若干张支持图像的第一原型特征，确定每个所述分类标签的第三原型特征；
目标标签确定模块，用于基于所述第二原型特征和所述第三原型特征之间的相似度，从所述若干个分类标签中确定所述查询图像所属的目标标签。
9.根据权利要求8所述的小样本图像分类装置，其特征在于，所述装置还包括：
获取模块，用于获取交通标志图像；
数据增强模块，用于对所述交通标志图像进行数据增强，得到增强后的交通标志图像。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程由所述处理器加载并执行以实现如权利要求1～7中任一项所述的小样本图像分类方法。
11.一种计算机可读存储介质，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求1～7中任一项所述的小样本图像分类方法。
CN202210403647.3A 2022-04-18 2022-04-18 一种小样本图像分类方法、装置、设备及介质 Pending CN114758320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210403647.3A CN114758320A (zh) 2022-04-18 2022-04-18 一种小样本图像分类方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210403647.3A CN114758320A (zh) 2022-04-18 2022-04-18 一种小样本图像分类方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114758320A true CN114758320A (zh) 2022-07-15

Family

ID=82330210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210403647.3A Pending CN114758320A (zh) 2022-04-18 2022-04-18 一种小样本图像分类方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114758320A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168257A (zh) * 2023-04-23 2023-05-26 安徽大学 基于样本生成的小样本图像分类方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168257A (zh) * 2023-04-23 2023-05-26 安徽大学 基于样本生成的小样本图像分类方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN109583325B (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
US10762376B2 (en) Method and apparatus for detecting text
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN111754541B (zh) 目标跟踪方法、装置、设备及可读存储介质
CN113111871B (zh) 文本识别模型的训练方法及装置、文本识别方法及装置
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN111476284A (zh) 图像识别模型训练及图像识别方法、装置、电子设备
CN110276406B (zh) 表情分类方法、装置、计算机设备及存储介质
US9141874B2 (en) Feature extraction and use with a probability density function (PDF) divergence metric
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
CN111414916A (zh) 图像中文本内容提取生成方法、装置及可读存储介质
Xu et al. End-to-end subtitle detection and recognition for videos in East Asian languages via CNN ensemble
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN111797821A (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
CN114758320A (zh) 一种小样本图像分类方法、装置、设备及介质
US9311523B1 (en) Method and apparatus for supporting object recognition
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
EP3623991A1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
CN112084988B (zh) 车道线实例聚类方法、装置、电子设备和存储介质
CN116563840B (zh) 基于弱监督跨模态对比学习的场景文本检测与识别方法
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination