CN116630721A - 基于局部特征补全的图像分类方法、装置、设备及介质 - Google Patents

基于局部特征补全的图像分类方法、装置、设备及介质 Download PDF

Info

Publication number
CN116630721A
CN116630721A CN202310708513.7A CN202310708513A CN116630721A CN 116630721 A CN116630721 A CN 116630721A CN 202310708513 A CN202310708513 A CN 202310708513A CN 116630721 A CN116630721 A CN 116630721A
Authority
CN
China
Prior art keywords
feature
image
local feature
local
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310708513.7A
Other languages
English (en)
Other versions
CN116630721B (zh
Inventor
邹昆
熊欢
董帅
翁佩纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202310708513.7A priority Critical patent/CN116630721B/zh
Publication of CN116630721A publication Critical patent/CN116630721A/zh
Application granted granted Critical
Publication of CN116630721B publication Critical patent/CN116630721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于局部特征补全的图像分类方法、装置、设备及介质，其中，图像分类方法包括：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；采用属性特征对第一局部特征进行补全，获取补全后的第三局部特征；根据第三局部特征和第二局部特征，分别获取第一支持集图像的第一全局特征以及第一查询集图像的第二全局特征；根据第二全局特征和第一全局特征中属于各图像类别的特征的相似度，获取第一查询集图像的预测类别。采用用于表征图像类别所对应的类别关键特征的属性特征对第一支持集图像的第一局部特征进行补全，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，从而提高图像分类的准确率。

Description

基于局部特征补全的图像分类方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于局部特征补全的图像分类方法、装置、设备及介质。
背景技术
相关技术为了解决机器学习在样本量较少或者标注样本较少场景中效果较差的问题，提出了小样本学习方法，该方法旨在通过少量样本学习到解决问题的模型。
在基于小样本学习的图像分类任务中，一般采用随机裁剪等方式获取样本图像的局部子图来对样本图像进行扩充，而采用随机裁剪等方式所获取的局部子图存在信息缺失的情况，从而导致图像分类准确率较低。
发明内容
本申请实施例的目的在于提供一种基于局部特征补全的图像分类方法、装置、设备及介质，用以改善基于小样本学习的图像分类任务的图像分类准确率。
第一方面，本申请实施例提供一种基于局部特征补全的图像分类方法，包括：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；采用全局特征获取模块，根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
在上述方案的实现过程中，采用用于表征图像类别所对应的类别关键特征的属性特征对第一支持集图像的第一局部特征进行补全，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，从而提高图像分类的准确率。
在第一方面的一种实现方式中，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征所对应的图像类别；确定所述图像类别所对应的所述属性特征；根据所述第一局部特征与所述属性特征之间的相似度，确定所述属性特征的权重；采用所述属性特征的权重，将所述属性特征与所述第一局部特征进行加权融合，获取补全后的所述第三局部特征。
在上述方案的实现过程中，基于第一局部特征中各特征与属性特征之间的相似度，确定属性特征的权重，从而将属性特征加权融合到第一局部特征中的各特征中，获得第三局部特征，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，进而提高图像分类的准确率。
在第一方面的一种实现方式中，所述根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征，包括：采用局部特征注意力网络，获取所述第三局部特征的第一注意力系数以及所述第二局部特征的第二注意力系数；所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度；根据所述第一注意力系数，将所述第三局部特征中的每个特征进行加权融合，获取所述第一支持集图像的第一全局特征；根据所述第二注意力系数，将所述第二局部特征中的每个特征进行加权融合，获取所述第一查询集图像的第二全局特征。
在上述方案的实现过程中，采用属性特征注意力网络分别为第二局部特征和第三局部特征分配注意力系数，使得全局特征获取模块在采用局部特征计算全局特征时，能够聚焦于第一支持集图像与第一查询集图像的公共部分，从而忽略无关的背景噪声，进一步提高了上述图像分类方法的图像分类准确率。
在第一方面的一种实现方式中，在所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征之前，所述方法还包括：针对所述第一支持集图像中各图像类别，获取各图像类别所标注的属性；针对各所述属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；所述局部特征提取模块中的特征提取网络由所述训练集预训练；采用特征提取网络，提取所述训练图像的图像特征，所述特征提取网络由所述训练集预训练；融合所述图像特征，获取当前属性的属性特征。
在上述方案的实现过程中，通过训练集中对各图像类别所标注的属性即可实现属性特征的提取，从而实现对第一局部特征的补全，提高了上述图像分类方法的图像分类效率以及图像分类准确率。
在第一方面的一种实现方式中，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征中的主体局部特征和背景局部特征；采用所述属性特征对所述主体局部特征进行补全，获取补全后的第三局部特征；所述第三局部特征包括补全后的所述主体局部特征和所述背景局部特征。
在上述方案的实现过程中，在对局部特征进行补全时，仅对主体局部特征进行补全，而未对背景局部特征进行补全，一方面，减少了数据处理量，提高了上述图像分类方法的图像分类效率；另一方面，有效降低了背景噪声对图像分类任务的干扰，提高了上述图像分类方法的图像分类准确率。
在第一方面的一种实现方式中，所述确定所述第一局部特征中的主体局部特征和背景局部特征，包括：获取所述第一支持集图像的原图特征；根据所述第一局部特征与所述原图特征的相似度，确定第一局部特征中的主体局部特征和背景局部特征。
在上述方案的实现过程中，采用第一局部特征与第一支持图像原图特征之间的相似度确定第一局部特征的主体局部特征和背景局部特征，能够快速准确地获得第一局部特征的主体局部特征和背景局部特征，在提高上述图像分类方法的图像分类效率的同时，还提高了图像分类准确率。
在第一方面的一种实现方式中，提取所述第一局部特征以及所述第二局部特征的步骤、获取补全后的所述第三局部特征的步骤、获取所述第一全局特征以及所述第二全局特征的步骤以及获取所述预测类别的步骤分别由图像分类模型中的局部特征提取模块、局部特征补全模块、全局特征获取模块以及类别预测模块执行；
所述方法还包括：采用图像分类模型中的局部特征提取模块，分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征；采用所述图像分类模型中的局部特征补全模块，根据所述属性特征对所述第四局部特征进行补全，获取补全后的第六局部特征；采用所述图像分类模型中的全局特征获取模块，根据所述第六局部特征和所述第五局部特征，分别获取所述第二支持集图像的第三全局特征以及所述第二查询集图像的第四全局特征；采用所述图像分类模型中的类别预测模块，根据所述第四全局特征和所述第三全局特征中属于各图像类别的特征的相似度，获取所述第二查询集图像的预测类别；根据所述第二查询集图像的所述预测类别和所述第二查询集图像所设置的图像类别标注，计算损失函数值，并根据所述损失函数值更新所述图像分类模型的参数。
在上述方案的实现过程中，在训练图像分类模型时，采用用于表征图像类别所对应的类别关键特征的属性特征对第二支持集图像的第四局部特征进行补全，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，从而提高图像分类模型的图像分类准确率。
第二方面，本申请实施例提供一种图像分类模型训练装置，包括：
局部特征获取单元，用于分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；
局部特征补全单元，用于采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；
全局特征获取单元，用于根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；
类别预测单元，用于根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和通信总线，其中所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器中存储有可被所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于局部特征补全的图像分类方法的流程示意图；
图2为本申请实施例提供的图像分类模型的结构示意图；
图3为本申请实施例提供的局部特征补全模块中补全局部特征的示意图；
图4为本申请实施例提供的局部特征补全模块中补全主体局部特征的示意图；
图5为本申请实施例提供的图像分类装置的结构示意图；
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
小样本学习(Few-Shot Learning，FSL)，是一种机器学习方法，旨在解决数据有限的机器学习任务。在基于小样本学习的图像分类任务中，由于样本图像的数量较少，一般会采用随机裁剪等方式获取图像的局部子图来对样本图像进行扩充。
采用随机裁剪等方式所获取的局部子图会存在信息缺失的情况，而采用存在信息缺失的局部子图对图像进行分类会导致图像分类的准确率降低。
基于此，本申请实施例提供一种基于局部特征补全的图像分类方法，该方法采用属性特征对支持集图像的局部特征进行补全，使得支持集图像的局部特征包含较多的特征信息，避免由于局部子图存在信息缺失所导致的图像分类准确率较低的问题。
上述基于局部特征补全的图像分类方法可以应用于无法获取足够数量标注图像或者获取足够数量标注图像的难度较大的场景中，例如在医疗领域中，对于一些不常见的疾病，可能没有足够数量的标注图像来对图像分类模型进行训练；又例如在目标识别领域中，对于一些不常见的目标，也没有足够数量的标注图像来对图像分类模型进行训练。当然，上述基于局部特征补全的图像分类方法不局限于应用在标注图像数量不足的场景，还可以应用于样本较为充足的场景中。
请参见图1，本申请实施例提供一种基于局部特征补全的图像分类方法，该方法包括：
步骤S110：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；
步骤S120：采用属性特征对第一局部特征进行补全，获取补全后的第三局部特征；其中，属性特征用以表征第一支持集图像中各图像类别所对应的类别关键特征；
步骤S130：根据第三局部特征和第二局部特征，分别获取第一支持集图像的第一全局特征以及第一查询集图像的第二全局特征；
步骤S140：根据第二全局特征和第一全局特征中属于各图像类别的特征的相似度，获取第一查询集图像的预测类别。
请参见图2，上述基于局部特征补全的图像分类方法采用图像分类模型200进行图像分类，图像分类模型200包括、局部特征提取模块210、局部特征补全模块220、全局特征获取模块230和类别预测模块240。其中，局部特征提取模块210包括：
局部子图获取子模块211，用于通过随机或非随机的裁剪、随机或非随机的丢弃等方式对输入图像进行处理以获得输入图像的局部子图，并将局部子图输入特征提取网络212；
特征提取网络212，用于提取输入图像的特征。
需要指出的是，在基于小样本学习的图像分类任务中，图像分类模型所涉及的数据集可以包括训练集、支持集和查询集，其中，训练集用于对特征提取网络212进行预训练，训练集中的训练图像均带有图像类别标注。
本申请实施例中的图像分类模型在应用过程中，图像分类模型的输入为第一支持集图像和第一查询集图像，第一支持集包含少量带有图像类别标注的图像，第一查询集中所包含的图像为不带图像类别标注的待分类图像，第一支持集图像可以为第一支持集中的部分或全部的图像，第一查询集图像可以为第一查询集中的部分或全部的图像。对于第一查询集图像中的每一张待分类图像，图像分类模型可以在第一支持集图像中查找与第一查询集图像中待分类图像最为相似的图像，从而确定待分类图像的图像类别。
在步骤S110中，局部子图获取子模块211的输入为第一支持集图像和第一查询集图像，局部子图获取子模块211的输出为第一支持集图像的第一支持集局部子图以及第一查询集图像的第一查询集局部子图，特征提取网络212用于分别在第一支持集局部子图和第一查询集局部子图中提取第一局部特征和第二局部特征。
上述步骤S120中的属性特征用于表征第一支持集图像中各图像类别所对应的类别关键特征，可以理解的是，若将图像类别视为一种小类，则可以将图像类别这一小类所对应的类别关键特征确定为各图像类别的属性特征，也可以将图像类别这一小类所对应的上位类别的类别关键特征确定为各图像类别的属性特征。
上述步骤S120中的属性特征用于表征第一支持集图像中各图像类别所对应的类别关键特征，例如图像类别为“麻雀”，其属性特征包括“鸟喙”、“羽毛”、“鸟尾”、“鸟脚”、“翅膀”等能够表征“麻雀”这一小类所属上位类别“鸟类”的类别关键特征。使用属性特征对第一支持集图像的第一局部特征进行补全，获得第三局部特征，为经过随机裁剪后所获得的局部特征补充了特征信息，使得局部特征可以更加充分的表征局部子图所对应的特征信息。
上述第一局部特征和第二局部特征中的“第一”和“第二”仅是用于区别从第一支持集图像和从第一查询集图像中所获得的局部特征，而并不是对局部特征数量的具体限定。可以理解的是，第一局部特征和第二局部特征中均可以包含一个或多个特征，第一局部特征中的每个特征对应第一支持集图像一个局部子图，第二局部特征中的每个特征对应第一查询集图像的一个局部子图。
上述步骤S130获取第一全局特征和第二全局特征的方法可以为：采用全局特征获取模块对第三局部特征中的每个特征进行融合获得第一支持集图像的第一全局特征，第三局部特征中的每个特征可以是由第一局部特征中的对应特征补全产生的；采用全局特征获取模块对第二局部特征中的每个特征进行融合获得第一查询集图像的第二全局特征。
可以理解的是，由于第一支持集图像带有图像类别标注，因此可以通过第一支持集图像中所带有的图像类别标注来获取第一全局特征所对应的图像类别，因此上述步骤S140可以将与第二全局特征相似度最大的第一全局特征所对应的图像类别确定为第一查询集图像的预测类别。
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，步骤S120采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定第一局部特征所对应的图像类别；确定图像类别所对应的属性特征；根据第一局部特征与属性特征之间的相似度，确定属性特征的权重；采用属性特征的权重，将属性特征与第一局部特征进行加权融合，获取补全后的所述第三局部特征。该实施方式例如：
请参见图3，在某一图像分类场景下，第一局部特征(即图中的局部特征)包括两个特征，并确定这两个特征属于“麻雀”这一图像类别；确定“麻雀”这一图像类别的属性特征包括鸟喙属性特征、羽毛属性特征、鸟尾属性特征、鸟脚属性特征、翅膀属性特征等；针对第一局部特征中的两个特征，分别计算每个特征与属性特征计算余弦相似度，属性特征与第一局部特征中特征的余弦相似度越大则表示两者的相关性越大，表示该属性特征为第一局部特征中的特征所缺失的特征信息的概率就越大，则为该属性特征分配较高的权重，所分配权重的计算方法可以为：
其中，表示图像类别k的第j个属性特征关于第一局部特征中第i个特征的权重；/>表示图像类别k的第一局部特征中的第i个特征；/>表示图像类别k的第j个属性特征；N表示图像类别k所具有的属性特征的序号集合；s表示图像类别k的第一局部特征中的特征的序号集合；λ为一个可调节的超参数；
采用属性特征的权重，将属性特征与第一局部特征进行加权融合的方法为：
其中，表示第三局部特征中的第i个特征；/>表示第三局部特征；
可以理解的是，为属性特征所分配的权重可以与其与第一局部特征中的特征之间的相似度呈正相关。
可以理解的是，除了上述计算公式中将所有属性特征均与其权重相乘然后叠加到第一局部特征的计算方式，还可以预先设置相似度阈值，满足相似度阈值的属性特征与其权重相乘后叠加到第一局部特征中，当然还可以将相似度较大的预设数量的属性特征与其权重相乘后叠加到第一局部特征中。
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，步骤S130根据第三局部特征和第二局部特征，分别获取第一支持集图像的第一全局特征以及第一查询集图像的第二全局特征，包括：采用局部特征注意力网络，获取第三局部特征的第一注意力系数以及第二局部特征的第二注意力系数；第一注意力系数和第二注意力系数分别用于表征第三局部特征中的每个特征和第二局部特征中的每个特征对于分类预测的重要程度；根据第一注意力系数，将第三局部特征中的每个特征进行加权融合，获取第一支持集图像的第一全局特征；根据第二注意力系数，将第二局部特征中的每个特征进行加权融合，获取第一查询集图像的第二全局特征。该实施方式例如：
全局特征获取模块包括局部特征注意力网络，在步骤S130中，局部特征注意力网络的输入为第三局部特征和第二局部特征，输出为第三局部特征的第一注意力系数以及第二局部特征的第二注意力系数/>其中，xt为第二局部特征。第一注意力系数/>和第二注意力系数/>的计算方法为：
首先，计算相似度矩阵：
其中，表示第三局部特征中类别k的第i个局部特征；xt j第二局部特征中的第j个局部特征；/>表示相似度矩阵(local similaritymatrix)；s为随机裁剪数量；
其次，计算相似性系数：
其中，表示第三局部特征中类别k的第i个局部特征与第二局部特征的相似性系数；/>表示第二局部特征中第j个局部特征与第三局部特征的相似性系数；/>表示特征转化；/>用于进行残差计算；
最后，计算第一注意力系数和第二注意力系数：
其中，表示第一支持集图像中类别k的第i个第三局部特征的注意力系数；/>表示第一查询集图像xt的第j个局部特征的注意力系数；
第一注意力系数和第二注意力系数使得第一全局特征和第二全局特征能够更多的聚焦于第一支持集图像与第一查询集图像的公共部分，即在计算第一全局特征时，为与第二局部特征相似度较高的第三局部特征中的特征的第一注意力系数赋予较大数值；在计算第二全局特征时，为与第三局部特征相似度较高的第二局部特征中的特征的第二注意力系数赋予较大数值；
第一全局特征和第二全局特征的计算方法可以是：
其中，表示第一全局特征中图像类别k的全局特征；/>表示图像类别k的第三局部特征中的第i个特征；/>表示图像类别k的第三局部特征中的第i个特征的第一注意力系数；/>表示第二全局特征；E(xt)j表示第一查询集图像xt的第j个局部特征；/>表示第一查询集图像xt的第j个局部特征的注意力系数；Q表示第一查询集图像的集合。
本申请实施例中的图像分类模型在训练过程中，图像分类模型的输入为第二支持集图像和第二查询集，其中第二支持集图像中包含少量带有图像类别标注的图像，第二查询集图像中包含的图像为带有图像类别标注的待分类图像，第二支持集图像可以为第二支持集中的部分或全部的图像，第二查询集图像可以为第二查询集中的部分或全部的图像。第二支持集图像用于对图像分类模型进行训练，第二查询集图像用于对图像分类模型进行测试，并通过测试结果更新图像分类模型的参数。
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，在步骤S120采用属性特征对第一局部特征进行补全，获取补全后的第三局部特征之前，所述方法还包括：针对第一支持集图像中各图像类别，获取各图像类别所标注的属性；针对各属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；局部特征提取模块中的特征提取网络由训练集预训练；采用局部特征提取模块中的特征提取网络，提取训练图像的图像特征；融合图像特征，获取当前属性的属性特征。该实施方式例如：
设定训练集为Dbase＝{(x1,y1),……,(xM,yM)}，yM∈Cbase，其中，xM为训练图像，yM为xM的图像类别标注；Cbase为训练集中的图像类别集合；
针对属性ai，在训练集中查找到的标注有相同属性的图像类别为Cn∈Cbase；n表示训练集中有n个图像类别标注有属性ai；
属性ai的属性特征的计算方法可以为：
表示Dbase中类别为/>的全部或部分训练图像；fθ表示特征提取网络；fθ()表示将图像输入特征提取网络后所获得的输出。
需要指出的是，特征提取网络fθ为采用训练集所训练的用于提取特征的网络，其可以采用上述局部特征提取模块210中的特征提取网络212，也可以为其他由上述训练集所训练的特征提取网络。
可选地，属性的标注方法可以为：若训练集采用例如miniImageNet和tieredImageNet等既有的带有图像类别标注数据集，数据集中的图像类别标注来自于WordNet中的同义词集Synsets，而Synsets的同义词之间具有一定的上下位关系和部分关系，例如水果fruit是香蕉banana的上位词，例如桌脚是桌子的部分词，可以看出部分关系能在一定程度上表征当前图像类别所具有的属性，因此可以在数据集中查询出对应图像类别的语义关系网中的上位词和部分词，选取图像类别的上位词的部分词作为当前图像类别的属性。属性标注的方法还可以为：人工标注图像类别所对应的属性。
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，步骤S120采用属性特征对第一局部特征进行补全，获取补全后的第三局部特征，包括：确定第一局部特征中的主体局部特征和背景局部特征；采用属性特征对主体局部特征进行补全，获取补全后的第三局部特征；第三局部特征包括补全后的主体局部特征和背景局部特征。该实施方式例如：
可以采用阈值分割法、基于颜色的图像分割法、基于纹理的图像分割法或基于深度学习的识别方法来将第一局部特征中的特征确定为主体局部特征或背景局部特征。
其中，阈值分割法：通过设置固定的像素阈值来区分第一支持集图像的局部子图的前景部分和背景部分，若前景部分在局部子图中的占比大于预设阈值，则将根据该局部子图所对应的特征确定为主体局部特征，否则将该局部子图所对应的特征确定为背景局部特征；
基于颜色的图像分割法：利用第一支持集图像的局部子图中不同颜色区域的亮度、饱和度等特征来区分局部子图的前景部分和背景部分，若前景部分在局部子图中的占比大于预设阈值，则将根据该局部子图所对应的特征确定为主体局部特征，否则将该局部子图所对应的特征确定为背景局部特征；
基于纹理的图像分割方法：利用第一支持集图像的局部子图中不同纹理特征(例如边缘、斑点等)来区分局部子图的前景部分和背景部分，若前景部分在局部子图中的占比大于预设阈值，则将根据该局部子图所对应的特征确定为主体局部特征，否则将该局部子图所对应的特征确定为背景局部特征；
基于深度学习的识别方法：使用深度学习模型进行背景部分和前景部分的识别，若前景部分在局部子图中的占比大于预设阈值，则将根据该局部子图所对应的特征确定为主体局部特征，否则将该局部子图所对应的特征确定为背景局部特征。
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，确定第一局部特征中的主体局部特征和背景局部特征的方法可以为：获取第一支持集图像的原图特征；根据第一局部特征与原图特征的相似度，确定第一局部特征中的主体局部特征和背景局部特征。该实施方式例如：
请参见图4，局部特征补全模块包括用于获取背景局部特征和主体局部特征的背景筛选子模块213，第一局部特征与原图特征的相似度的计算方法可以为：
其中，cos(·)表示计算两个向量之间的余弦相似度；pk为第一支持集图像的原图特征；
在计算出第一局部特征中各特征与原图特征的相似度后，根据预设的相似度阈值thresholdk获取第一局部特征中的主体局部特征和背景局部特征，例如，将小于相似度阈值thresholdk的特征确定为背景局部特征，将/>大于等于相似度阈值thresholdk的特征确定为主体局部特征；
此时，第三局部特征为：
作为上述基于局部特征补全的图像分类方法的一种可选实施方式，提取所述第一局部特征以及所述第二局部特征的步骤、获取补全后的所述第三局部特征的步骤、获取所述第一全局特征以及所述第二全局特征的步骤以及获取所述预测类别的步骤分别由图像分类模型中的局部特征提取模块、局部特征补全模块、全局特征获取模块以及类别预测模块执行；
该方法还包括：采用图像分类模型中的局部特征提取模块，分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征；采用图像分类模型中的局部特征补全模块，根据属性特征对第四局部特征进行补全，获取补全后的第六局部特征；采用图像分类模型中的全局特征获取模块，根据第六局部特征和第五局部特征，分别获取第二支持集图像的第三全局特征以及第二查询集图像的第四全局特征；采用图像分类模型中的类别预测模块，根据第四全局特征和第三全局特征中属于各图像类别的特征的相似度，获取第二查询集图像的预测类别；根据第二查询集图像的预测类别和第二查询集图像所设置的图像类别标注，计算损失函数值，并根据损失函数值更新图像分类模型的参数。
可以理解的是，在对图像分类模型的训练过程中，对第四局部特征进行补全的步骤请参考上述对第一局部特征进行补全的步骤；获取第三全局特征和第四全局特征的步骤请参考上述获取第一全局特征和第二全局特征的步骤；针对第二支持集图像的属性特征的获取步骤请参考上述获取第一支持集图像属性特征的步骤。
可选地，在计算第四全局特征和第三全局特征中属于各图像类别的特征相似度时，相似度可以采用余弦相似度。
可选地，损失函数的计算方法可以为：
其中，表示第四全局特征中第二查询集图像x′t相对于类别k′的全局特征；/>表示第三全局特征中类别k′相对于第二查询集图像x′t的全局特征；表示第四全局特征中第二查询集图像xt′相对于类别c′的全局特征；表示第三全局特征中类别c′相对于第一查询集图像xt′的全局特征。
可选地，在计算出损失函数值后，可以采用反向传播法更新图像分类模型的参数。
请参见图5，基于相同的发明构思，本申请实施例还提供一种图像分类装置300，该装置包括：
局部特征获取单元310，用于采用局部特征提取模块，分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；
局部特征补全单元320，用于采用局部特征补全模块，采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；
全局特征获取单元330，用于根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；
类别预测单元340，用于根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
作为上述图像分类装置的一种可选实施方式，局部特征补全单元320用于：确定所述第一局部特征所对应的图像类别；确定所述图像类别所对应的所述属性特征；根据所述第一局部特征与所述属性特征之间的相似度，确定所述属性特征的权重；采用所述属性特征的权重，将所述属性特征与所述第一局部特征进行加权融合，获取补全后的所述第三局部特征。
作为上述图像分类装置的一种可选实施方式，全局特征获取单元330用于：采用局部特征注意力网络，获取所述第三局部特征的第一注意力系数以及所述第二局部特征的第二注意力系数；所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度；根据所述第一注意力系数，将所述第三局部特征中的每个特征进行加权融合，获取所述第一支持集图像的第一全局特征；根据所述第二注意力系数，将所述第二局部特征中的每个特征进行加权融合，获取所述第一查询集图像的第二全局特征。
作为上述图像分类装置的一种可选实施方式，图像分类装置300还包括：
属性特征获取单元，用于针对所述第一支持集图像中各图像类别，获取各图像类别所标注的属性；针对各所述属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；所述局部特征提取模块中的特征提取网络由所述训练集预训练；采用所述局部特征提取模块中的特征提取网络，提取所述训练图像的图像特征；融合所述图像特征，获取当前属性的属性特征。
作为上述图像分类装置的一种可选实施方式，局部特征补全单元320用于：确定所述第一局部特征中的主体局部特征和背景局部特征；采用所述属性特征对所述主体局部特征进行补全，获取补全后的第三局部特征；所述第三局部特征包括补全后的所述主体局部特征和所述背景局部特征。
作为上述图像分类装置的一种可选实施方式，局部特征补全单元320确定所述第一局部特征中的主体局部特征和背景局部特征的方法为：获取所述第一支持集图像的原图特征；根据所述第一局部特征与所述原图特征的相似度，确定第一局部特征中的主体局部特征和背景局部特征。
作为上述图像分类装置的一种可选实施方式，图像分类装置300还包括：
图像分类模型训练单元，用于采用图像分类模型中的所述局部特征提取模块，分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征；采用所述图像分类模型中的所述局部特征补全模块，根据所述属性特征对所述第四局部特征进行补全，获取补全后的第六局部特征；采用所述图像分类模型中的所述全局特征获取模块，根据所述第六局部特征和所述第五局部特征，分别获取所述第二支持集图像的第三全局特征以及所述第二查询集图像的第四全局特征；采用所述图像分类模型中的所述类别预测模块，根据所述第四全局特征和所述第三全局特征中属于各图像类别的特征的相似度，获取所述第二查询集图像的预测类别；根据所述第二查询集图像的所述预测类别和所述第二查询集图像所设置的图像类别标注，计算损失函数值，并根据所述损失函数值更新图像分类模型的参数。
本申请实施例提供的图像分类装置，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。
图6为本申请实施例提供的一种电子设备的示意图。参照图6，电子设备400包括：处理器410、存储器420以及通信接口430，这些组件通过通信总线440和/或其他形式的连接机构(未示出)互连并相互通讯。
其中，存储器420包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器410以及其他可能的组件可对存储器420进行访问，读和/或写其中的数据。
处理器410包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器410可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通信接口430包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。例如，通信接口430可以是以太网接口；可以是移动通信网络接口，例如3G、4G、5G网络的接口；还是可以是具有数据收发功能的其他类型的接口。
在存储器420中可以存储一个或多个计算机程序指令，处理器410可以读取并运行这些计算机程序指令，以实现本申请实施例提供的基于局部特征补全的图像分类方法以及其他期望的功能。
可以理解，图6所示的结构仅为示意，电子设备400还可以包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。例如，电子设备400可以是单台服务器(或其他具有运算处理能力的设备)、多台服务器的组合、大量服务器的集群等，并且，既可以是物理设备也可以是虚拟设备。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供基于局部特征补全的图像分类方法。例如，计算机可读存储介质可以实现为图6中电子设备400中的存储器420。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于局部特征补全的图像分类方法，其特征在于，所述方法包括：
分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；
采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；
根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；
根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
2.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：
确定所述第一局部特征所对应的图像类别；
确定所述图像类别所对应的所述属性特征；
根据所述第一局部特征与所述属性特征之间的相似度，确定所述属性特征的权重；
采用所述属性特征的权重，将所述属性特征与所述第一局部特征进行加权融合，获取补全后的所述第三局部特征。
3.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，所述根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征，包括：
采用局部特征注意力网络，获取所述第三局部特征的第一注意力系数以及所述第二局部特征的第二注意力系数；所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度；
根据所述第一注意力系数，将所述第三局部特征中的每个特征进行加权融合，获取所述第一支持集图像的第一全局特征；
根据所述第二注意力系数，将所述第二局部特征中的每个特征进行加权融合，获取所述第一查询集图像的第二全局特征。
4.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，在所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征之前，所述方法还包括：
针对所述第一支持集图像中各图像类别，获取各图像类别所标注的属性；
针对各所述属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；
采用特征提取网络，提取所述训练图像的图像特征，所述特征提取网络由所述训练集预训练；
融合所述图像特征，获取当前属性的属性特征。
5.根据权利要求1～4中任一项所述的基于局部特征补全的图像分类方法，其特征在于，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：
确定所述第一局部特征中的主体局部特征和背景局部特征；
采用所述属性特征对所述主体局部特征进行补全，获取补全后的第三局部特征；所述第三局部特征包括补全后的所述主体局部特征和所述背景局部特征。
6.根据权利要求5所述的基于局部特征补全的图像分类方法，其特征在于，所述确定所述第一局部特征中的主体局部特征和背景局部特征，包括：
获取所述第一支持集图像的原图特征；
根据所述第一局部特征与所述原图特征的相似度，确定第一局部特征中的主体局部特征和背景局部特征。
7.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，提取所述第一局部特征以及所述第二局部特征的步骤、获取补全后的所述第三局部特征的步骤、获取所述第一全局特征以及所述第二全局特征的步骤以及获取所述预测类别的步骤分别由图像分类模型中的局部特征提取模块、局部特征补全模块、全局特征获取模块以及类别预测模块执行；
所述方法还包括：
采用图像分类模型中的局部特征提取模块，分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征；
采用所述图像分类模型中的局部特征补全模块，根据所述属性特征对所述第四局部特征进行补全，获取补全后的第六局部特征；
采用所述图像分类模型中的全局特征获取模块，根据所述第六局部特征和所述第五局部特征，分别获取所述第二支持集图像的第三全局特征以及所述第二查询集图像的第四全局特征；
采用所述图像分类模型中的类别预测模块，根据所述第四全局特征和所述第三全局特征中属于各图像类别的特征的相似度，获取所述第二查询集图像的预测类别；
根据所述第二查询集图像的所述预测类别和所述第二查询集图像所设置的图像类别标注，计算损失函数值，并根据所述损失函数值更新所述图像分类模型的参数。
8.一种基于局部特征补全的图像分类装置，其特征在于，所述装置包括：
局部特征获取单元，用于分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；
局部特征补全单元，用于采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；
全局特征获取单元，用于根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；
类别预测单元，用于根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
9.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1～7中任一项所述的方法。
CN202310708513.7A 2023-06-14 2023-06-14 基于局部特征补全的图像分类方法、装置、设备及介质 Active CN116630721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310708513.7A CN116630721B (zh) 2023-06-14 2023-06-14 基于局部特征补全的图像分类方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310708513.7A CN116630721B (zh) 2023-06-14 2023-06-14 基于局部特征补全的图像分类方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116630721A true CN116630721A (zh) 2023-08-22
CN116630721B CN116630721B (zh) 2024-02-13

Family

ID=87613455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310708513.7A Active CN116630721B (zh) 2023-06-14 2023-06-14 基于局部特征补全的图像分类方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116630721B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
US20200265272A1 (en) * 2019-02-19 2020-08-20 Fujitsu Limited Apparatus and method for training classification model and apparatus for performing classification by using classification model
CN114359572A (zh) * 2021-11-25 2022-04-15 深圳市优必选科技股份有限公司 多任务检测模型的训练方法、装置及终端设备
CN115953630A (zh) * 2023-01-09 2023-04-11 西北工业大学 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法
WO2023082415A1 (zh) * 2021-11-15 2023-05-19 深圳先进技术研究院 一种点云补全方法和装置
CN116188900A (zh) * 2023-01-10 2023-05-30 南京大学 一种基于全局和局部特征增广的小样本图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265272A1 (en) * 2019-02-19 2020-08-20 Fujitsu Limited Apparatus and method for training classification model and apparatus for performing classification by using classification model
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
WO2023082415A1 (zh) * 2021-11-15 2023-05-19 深圳先进技术研究院 一种点云补全方法和装置
CN114359572A (zh) * 2021-11-25 2022-04-15 深圳市优必选科技股份有限公司 多任务检测模型的训练方法、装置及终端设备
CN115953630A (zh) * 2023-01-09 2023-04-11 西北工业大学 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法
CN116188900A (zh) * 2023-01-10 2023-05-30 南京大学 一种基于全局和局部特征增广的小样本图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAOQUAN ZHANG ET AL.: "Prototype Completion with Primitive Knowledge for Few-Shot Learning", 《ARXIV:2009.04960V6》, pages 1 - 10 *
SHANE ZHAO: "局部特征融合为全局特征笔记", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/silence2015/article/details/79748812> *
大雄007: "一文读懂注意力机制", pages 1 - 7, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/393940472> *
胖虎: "【小样本分类】Prototype Completion with Primitive Knowledge for Few-Shot Learning", pages 1 - 6, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/408084595> *

Also Published As

Publication number Publication date
CN116630721B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN113762309B (zh) 对象匹配方法、装置及设备
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN110889437A (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2022028147A1 (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN109977253A (zh) 一种基于语义和内容的快速图像检索方法及装置
CN115238888A (zh) 图像分类模型的训练方法、使用方法、装置、设备及介质
CN112100493B (zh) 文档排序方法、装置、设备及存储介质
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN111881900B (zh) 语料生成、翻译模型训练、翻译方法、装置、设备及介质
CN111274813A (zh) 语言序列标注方法、装置存储介质及计算机设备
CN116630721B (zh) 基于局部特征补全的图像分类方法、装置、设备及介质
CN112948526A (zh) 用户画像的生成方法及装置、电子设备、存储介质
CN109033078B (zh) 语句类别识别方法及装置、存储介质、处理器
CN111598000A (zh) 基于多任务的人脸识别方法、装置、服务器和可读存储介质
CN116109732A (zh) 图像标注方法、装置、处理设备及存储介质
CN116016421A (zh) 促进在计算装置中执行的基于媒体的内容共享的方法、计算装置可读存储介质以及计算装置
CN113569091A (zh) 视频数据的处理方法、装置
Sawatzky et al. Harvesting information from captions for weakly supervised semantic segmentation
CN112580750A (zh) 图像识别方法、装置、电子设备及存储介质
CN116433992A (zh) 基于全局特征补全的图像分类方法、装置、设备及介质
CN111914863A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN116958732A (zh) 图像识别模型的训练方法和装置、存储介质及电子设备
CN115204138A (zh) 文本匹配方法、装置、设备及存储介质
CN116956014A (zh) 分类模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant