CN116977796A - 零样本图像识别方法、系统、设备及存储介质 - Google Patents

零样本图像识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116977796A
CN116977796A CN202311237308.3A CN202311237308A CN116977796A CN 116977796 A CN116977796 A CN 116977796A CN 202311237308 A CN202311237308 A CN 202311237308A CN 116977796 A CN116977796 A CN 116977796A
Authority
CN
China
Prior art keywords
frequency domain
features
feature
training
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311237308.3A
Other languages
English (en)
Other versions
CN116977796B (zh
Inventor
张勇东
殷婉婷
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311237308.3A priority Critical patent/CN116977796B/zh
Publication of CN116977796A publication Critical patent/CN116977796A/zh
Application granted granted Critical
Publication of CN116977796B publication Critical patent/CN116977796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种零样本图像识别方法、系统、设备及存储介质，它们是一一对应的方案，方案中：将频域特征引入到零样本学习任务中，与现有的在RGB域中学习和训练模型的零样本识别任务相比，本发明对于局部重要特征的识别度更高，定位更加精准，同时本发明注重于学习重要的语义知识，从而进行更加细致的视觉语义信息交互，显著提高零样本任务的性能，使图像识别能力更强，识别结果的准确度更高。

Description

零样本图像识别方法、系统、设备及存储介质
技术领域
本发明涉及零样本图像识别技术领域，尤其涉及一种零样本图像识别方法、系统、设备及存储介质。
背景技术
图像识别作为计算机视觉的关键任务之一，近年来取得了巨大的进展。然而大多数图像处理方法仍然严重依赖昂贵和劳动密集型人工标注的数据，零样本学习（ZSL）的提出有效地缓解了这一数据稀缺问题。它模拟了人类的认知过程，可应用于具有缺失样本的各种现实场景中，如稀有物种的识别。
传统的零样本学习（CZSL）只学习可见类的视觉特征，而一种新的替代方法广义零样本学习（GZSL）在测试集中同时包含可见类和未见类。GZSL将视觉特征与语义描述（如人工标注的属性和word2vec）在一个联合嵌入空间中对齐，其中的word2vec是一种将单词转换成向量形式模型。这样，识别任务就变成了最近邻搜索问题。CZSL在真实的场景中不具有实用性，使GZSL成为更有前途的替代方案。
现有的ZSL方法（包含以上CZSL与GZSL）通常直接从RGB（红绿蓝通道）域学习视觉特征，会影响某些属性的识别。然而，RGB域中的细粒度属性容易受到背景噪声的影响难以有效区分，导致零样本图像识别结果的准确度不佳。
发明内容
本发明的目的是提供一种零样本图像识别方法、系统、设备及存储介质，可以更好的提升图像识别能力，提升图像识别结果的准确度。
本发明的目的是通过以下技术方案实现的：
一种零样本图像识别方法，包括：
构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块；
训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型；
训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
一种零样本图像识别系统，包括：
模型构建单元，用于构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块；
模型训练单元，用于训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型；
图像识别单元，用于训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，将频域特征引入到零样本学习任务中，与现有的在RGB域中学习和训练模型的零样本识别任务相比，本发明对于局部重要特征的识别度更高，定位更加精准，同时本发明注重于学习重要的语义知识，从而进行更加细致的视觉语义信息交互，显著提高零样本任务的性能，使图像识别能力更强，识别结果的准确度更高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种零样本图像识别方法的流程图；
图2为本发明实施例提供的一种零样本图像识别模型的训练过程示意图；
图3为本发明实施例提供的掩码残差聚合模块的示意图；
图4为本发明实施例提供的相位增广模块的示意图；
图5为本发明实施例提供的CAM可视化示意图；
图6为本发明实施例提供的一种零样本图像识别系统的示意图；
图7为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
下面对本发明所提供的一种零样本图像识别方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种零样本图像识别方法，如图1所示，其主要包括如下步骤：
步骤1、构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块。
步骤2、训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型。
本发明实施例中，通过语义对齐损失函数可以学习到重要的语义知识，进行更加细致的视觉语义信息交互；此处所述的重要的语义知识是指更具有判别性的语义（即具有判别性的属性信息），比如，两只鸟的嘴巴翅膀形状都很相似难以区分，只有翅膀颜色不同，那么，翅膀颜色这个属性信息即为重要的语义知识。
步骤3、训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
本发明实施例提供的上述方案，首次将频域特征引入到零样本学习任务中。与现有的在RGB域中学习和训练模型的零样本识别任务相比，本发明对于局部重要特征的识别度更高，定位更加精准。同时本发明注重于学习重要的语义知识，从而进行更加细致的视觉语义信息交互，显著提高零样本任务的性能。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。
一、数据准备。
数据集包括图片和属性两个部分。图片又分为可见类别和不可见类别（不可见类别指在训练过程中没有出现过的图片类别），其中可见类别图片用于模型的训练，模型测试则使用可见类别图片和不可见类别图片的混合数据。属性特征为312维度乘以200维度的矩阵。属性特征经过一个输入为312、输出为2048的两层全连接层映射成一个2048×200的矩阵，作为语义信息。
二、构建零样本图像识别模型并进行训练。
本发明实施例中，构建了包含特征提取器、掩码残差聚合模块、相位增广模块与识别模块的零样本图像识别模型，并利用前述数据进行训练，训练过程如图2所示，由于识别模块不参与训练，因此，图2未示出识别模块。下面针对训练过程进行介绍。
1、特征提取器。
每次取设定数量的训练集数据集图像输入至零样本图像识别模型中，通过特征提取器进行全局特征提取，示例性的：一次取128张训练集数据集图像。图片首先经过一个卷积神经网络网络（CNN）获得图片的特征图（全局特征），每张图片对应特征图维度为2048×28×28。此处的卷积神经网络网络作为特征提取器。
示例性的：卷积神经网络网络可以选择ResNet101网络（101层的残差网络）。
2、掩码残差聚合模块。
为了更好地融合并灵活关注局部和全局信息，引入了一个掩码残差聚合模块，以在RGB域中生成增强特征，如图3展示了掩码残差聚合模块的示意图。具体来说，是从特征提取器中提取的全局特征，其中C、H和W分别表示通道数、高度和宽度，/>为实数集符号。
之后，利用m个可学习的卷积运算和Sigmoid函数（即注意力层）生成m个掩码，其中，第i个可学习的卷积运算记为Gi，对应的第i个掩码记为Ni，生成方式表示为：
；
其中，，m为正整数，/>表示全局特征，Sigmoid(.)为Sigmoid函数，它是一种S型函数；卷积运算可以为1×1的卷积运算。
再基于每一掩码获取对应的注意力特征，具体的，基于第i个掩码Ni，获得第i个注意力特征，表示为：
；
其中，表示第i个注意力特征，/>表示两个矩阵的元素乘法，R(.)表示广播操作，将Ni广播为和/>相同的维度。
然后，将获得的注意力特征再次添加到原始全局特征中，获得对应的初步增强特征，对于第i个注意力特征，将其与全局特征/>融合，获得第i个初步增强特征，表示为：
；
其中，表示第i个初步增强特征。初步增强特征可以最大限度地保留全局和局部特征。
最终，获得所有初步增强特征（）后，经过一个卷积层（1×1卷积）获得最终的增强特征/>，它的维度与全局特征/>的维度相同；之后，将最终的增强特征变换为频域特征，记为/>，示例性的，可通过二维DFT（离散傅里叶变换）实现。
训练过程中，一个批次中每一训练图像均经过上述方式的处理获得对应的频域特征，将它们综合为频域特征集合。
3、相位增广模块。
受傅里叶变换的一个著名性质的启发，相位分量显示了更多的高层语义信息。增加特征的相位并保持幅值恒定，以增强模型对语义部分的敏感性。相位增广模块如图4所示，对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征。
（1）对于当前频域特征，从频域特征集合中随机选出一个频域特征（除去当前频域特征之外的频域），记为，计算/>的相位，记为/>，并与当前频域特征的相位组合为新的合成相位，表示为：
；
其中，P(.)为相位计算函数，为当前频域特征/>的相位，/>为当前频域特征的序号，/>，/>为训练批次的大小（例如/>），即频域特征集合中频域特征的数目，图4左下方的/>表示不包含当前前频域特征的相位，也就是随机选出一个频域特征不包含当前频域特征/>；/>为当前频域特征对应的新的合成相位，/>为频域上的点，/>为比例系数。此外，由于增广特征的相位信息中存在干扰信息，也可以将其视为困难样本，鼓励模型更多地关注相位学习，即语义信息的学习。
之后，将当前频域特征的振幅记为/>，通过下式计算出新的频域特征，表示为：
；
其中，为当前频域特征对应的新的频域特征，它的维度与全局特征的维度相同，/>表示两个矩阵的元素乘法，j为虚数单位，e为自然常数。
频域特征集合中的K个频域特征均经过以上方式处理，获得对应新的频域特征。
4、识别模块。
训练阶段，识别模块的输入是新的频域特征，输出训练图像对应的图像识别结果，即图像类别。
5、计算总损失函数。
对于每一图片对应的属性，提取出对应的语义信息，图2右侧的为语义信息集合，单个语义信息记为/>，将语义信息与相应频域特征对应的新的频域特征投影到一个联合嵌入空间中，之后，使用距离函数（例如，余弦距离函数）约束对齐，计算出损失Lzsr，以及使用L2范数进行约束对齐，计算出损失Latt，综合以上两部分损失作为语义对齐损失函数。此部分中，语义信息与新的频域特征是相互对应的，它们来自同一训练图像及对应的属性。在语义对齐损失函数的约束下，每一训练图像的频域特征均为与语义对齐的特征向量。
同时，利用识别模块输出的图像识别结果与对应训练图像的类别标签（已知信息）计算分类损失函数，计算时可以带入交叉熵损失函数进行计算。
综合以上语义对齐损失函数与交叉熵损失函数训练所述零样本图像识别模型，优化模型参数。
本发明实施例中，后续涉及的参数优化流程可参照常规技术实现，本发明不赘述。
三、推理阶段。
本发明实施例中，相位增广模块作为训练阶段的辅助模块，训练完毕后将被移除。推理阶段的流程为：将待识别的图像输入至训练后的零样本图像识别模型，获得图像识别结果，具体的，待识别的图像经特征提取器提取全局特征，经掩码残差聚合模块获得增强特征并转化为频域特征，再经识别模块获得图像识别结果。
本发明实施例提供的上述方案可以装载于计算机或者服务器，使用可见类别图片进行训练，训练完毕后可用于识别未被标注的未知类别物体（种类）；例如识别新发现的鸟类或者其他物种等。图5展示了模型在推理过程中的类激活映射（CAM）图，虚线左侧部分对应于可见类，虚线左侧部分的第一列为基线方案生成的CAM图，虚线左侧部分的第二列为本发明方案生成的CAM图；虚线右侧部分对应于不可见类，虚线右侧部分的第一列为基线方案生成的CAM图，虚线右侧部分的第二列为本发明方案生成的CAM图，可以看到模型有着准确的属性定位和识别功能，从而有效解释了模型的性能，在CUB数据集上精度可达70.7%；其中，基线方案为DVBE方法，DVBE的全称为：Domain-aware visual bias eliminating forgeneralized zero-shot learning（用于广义零发射学习的领域感知视觉偏差消除）。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种零样本图像识别系统，其主要用于实现前述实施例提供的方法，如图6所示，该系统主要包括：
模型构建单元，用于构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块；
模型训练单元，用于训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型；
图像识别单元，用于训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
需要说明的是，上述系统中所涉及的各项技术细节已经在之前的实施例一中做了详细的介绍，故不再赘述。
实施例三
本发明还提供一种处理设备，如图7所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种零样本图像识别方法，其特征在于，包括：
构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块；
训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型；
训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
2.根据权利要求1所述的一种零样本图像识别方法，其特征在于，利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征包括：
利用m个可学习的卷积运算和Sigmoid函数生成m个掩码，基于每一掩码获取对应的注意力特征；其中，m为正整数，Sigmoid函数是一种S型函数；
将每一注意力特征分别与所述全局特征融合，获得对应的初步增强特征；
获得所有初步增强特征后经过卷积层处理，获得最终的增强特征；
将所述最终的增强特征转换为频域特征。
3.根据权利要求2所述的一种零样本图像识别方法，其特征在于，
将第i个可学习的卷积运算记为Gi，对应的第i个掩码记为Ni，生成方式表示为：
；
其中，，/>表示全局特征，Sigmoid(.)为Sigmoid函数；
基于第i个掩码Ni，获得第i个注意力特征，表示为：
；
其中，表示第i个注意力特征，/>表示两个矩阵的元素乘法，R(.)表示广播操作；
对于第i个注意力特征，将其与全局特征/>融合，获得第i个初步增强特征，表示为：
；
其中，表示第i个初步增强特征。
4.根据权利要求1所述的一种零样本图像识别方法，其特征在于，所述对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征包括：
对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，计算出相应的相位后与当前频域特征的相位组合为新的合成相位，再结合当前频域特征的振幅获得新的频域特征。
5.根据权利要求4所述的一种零样本图像识别方法，其特征在于，所述对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，计算出相应的相位后与当前频域特征的相位组合为新的合成相位包括：
将随机选出其它单个频域特征记为，计算其相位，记为/>，并与当前频域特征的相位组合为新的合成相位，表示为：
；
其中，P(.)为相位计算函数，为当前频域特征/>的相位，/>为当前频域特征的序号，/>，/>为训练批次的大小，即频域特征集合中频域特征的数目；/>为当前频域特征对应的新的合成相位，/>为频域上的点，/>为比例系数。
6.根据权利要求4所述的一种零样本图像识别方法，其特征在于，所述再结合当前频域特征的振幅获得新的频域特征表示为：
；
其中，为当前频域特征/>的振幅，/>为当前频域特征对应的新的频域特征，/>表示两个矩阵的元素乘法，j为虚数单位，e为自然常数。
7.根据权利要求1所述的一种零样本图像识别方法，其特征在于，所述基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数包括：
将语义信息与相应频域特征对应的新的频域特征投影到一个联合嵌入空间中，之后，使用距离函数约束对齐，计算出第一部分损失Lzsr，以及使用L2范数进行约束对齐，计算出第二部分损失Latt，综合以上两部分损失作为语义对齐损失函数。
8.一种零样本图像识别系统，其特征在于，包括：
模型构建单元，用于构建零样本图像识别模型，其包括：特征提取器、掩码残差聚合模块、相位增广模块与识别模块；
模型训练单元，用于训练所述零样本图像识别模型，训练过程如下：特征提取器从训练图像中提取出全局特征，掩码残差聚合模块利用所述全局特征生成多个掩码，基于每一掩码获取对应的注意力特征，将每一注意力特征分别与所述全局特征融合，获得增强特征，再将所述增强特征转换为频域特征，一个训练批次中所有训练图像对应的频域特征形成频域特征集合；对于当前频域特征，相位增广模块从频域特征集合中随机选出其它单个频域特征，结合选出的其它单个频域特征的相位以及当前频域特征的振幅获得新的频域特征，识别模块利用所述新的频域特征进行图像识别；基于给定的训练图像对应语义信息对所述新的频域特征进行语义对齐，并计算语义对齐损失函数，以及基于给定的训练图像对应的类别标签与图像识别结果计算分类损失函数，利用语义对齐损失函数与分类损失函数训练所述零样本图像识别模型；
图像识别单元，用于训练完毕后，从训练后的零样本图像识别模型中移除相位增广模块，利用特征提取器、掩码残差聚合模块与识别模块对输入的待识别的图像进行图像识别。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
CN202311237308.3A 2023-09-25 2023-09-25 零样本图像识别方法、系统、设备及存储介质 Active CN116977796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311237308.3A CN116977796B (zh) 2023-09-25 2023-09-25 零样本图像识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311237308.3A CN116977796B (zh) 2023-09-25 2023-09-25 零样本图像识别方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116977796A true CN116977796A (zh) 2023-10-31
CN116977796B CN116977796B (zh) 2024-02-23

Family

ID=88483579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311237308.3A Active CN116977796B (zh) 2023-09-25 2023-09-25 零样本图像识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977796B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104643A1 (en) * 2018-09-27 2020-04-02 Salesforce.Com, Inc. Prediction-Correction Approach to Zero Shot Learning
CN111222471A (zh) * 2020-01-09 2020-06-02 中国科学技术大学 基于自监督域感知网络的零样本训练及相关分类方法
CN112801105A (zh) * 2021-01-22 2021-05-14 之江实验室 一种两阶段的零样本图像语义分割方法
CN113139591A (zh) * 2021-04-14 2021-07-20 广州大学 一种基于增强多模态对齐的广义零样本图像分类方法
KR20210098082A (ko) * 2020-01-31 2021-08-10 연세대학교 산학협력단 자기 지도 기반의 제로샷 인식 장치 및 방법
CN114383845A (zh) * 2022-01-06 2022-04-22 合肥工业大学 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法
CN114627312A (zh) * 2022-05-17 2022-06-14 中国科学技术大学 零样本图像分类方法、系统、设备及存储介质
US20220215662A1 (en) * 2021-01-06 2022-07-07 Dalian University Of Technology Video semantic segmentation method based on active learning
US20220277218A1 (en) * 2021-02-26 2022-09-01 Inception Institute of Artificial Intelligence Ltd Domain specific pre-training of cross modality transformer model
CN115631365A (zh) * 2022-09-29 2023-01-20 浙江大学 一种融合知识图谱的跨模态对比零样本学习方法
US20230081645A1 (en) * 2021-01-28 2023-03-16 Tencent Technology (Shenzhen) Company Limited Detecting forged facial images using frequency domain information and local correlation
CN116629345A (zh) * 2023-03-27 2023-08-22 阿里巴巴（中国）有限公司 针对大规模预训练语言模型的提示学习方法和交互系统
CN116775922A (zh) * 2023-05-16 2023-09-19 中国航空综合技术研究所 基于语言与视觉细节特征融合的遥感图像跨模态检索方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104643A1 (en) * 2018-09-27 2020-04-02 Salesforce.Com, Inc. Prediction-Correction Approach to Zero Shot Learning
CN111222471A (zh) * 2020-01-09 2020-06-02 中国科学技术大学 基于自监督域感知网络的零样本训练及相关分类方法
KR20210098082A (ko) * 2020-01-31 2021-08-10 연세대학교 산학협력단 자기 지도 기반의 제로샷 인식 장치 및 방법
US20220215662A1 (en) * 2021-01-06 2022-07-07 Dalian University Of Technology Video semantic segmentation method based on active learning
CN112801105A (zh) * 2021-01-22 2021-05-14 之江实验室 一种两阶段的零样本图像语义分割方法
US20230081645A1 (en) * 2021-01-28 2023-03-16 Tencent Technology (Shenzhen) Company Limited Detecting forged facial images using frequency domain information and local correlation
US20220277218A1 (en) * 2021-02-26 2022-09-01 Inception Institute of Artificial Intelligence Ltd Domain specific pre-training of cross modality transformer model
CN113139591A (zh) * 2021-04-14 2021-07-20 广州大学 一种基于增强多模态对齐的广义零样本图像分类方法
CN114383845A (zh) * 2022-01-06 2022-04-22 合肥工业大学 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法
CN114627312A (zh) * 2022-05-17 2022-06-14 中国科学技术大学 零样本图像分类方法、系统、设备及存储介质
CN115631365A (zh) * 2022-09-29 2023-01-20 浙江大学 一种融合知识图谱的跨模态对比零样本学习方法
CN116629345A (zh) * 2023-03-27 2023-08-22 阿里巴巴（中国）有限公司 针对大规模预训练语言模型的提示学习方法和交互系统
CN116775922A (zh) * 2023-05-16 2023-09-19 中国航空综合技术研究所 基于语言与视觉细节特征融合的遥感图像跨模态检索方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUAN XU 等: "Zero-shot learning for compound fault diagnosis of bearings", 《EXPERT SYSTEMS WITH APPLICATIONS》, vol. 190, pages 1 - 11 *
兰红;方治屿;: "零样本图像识别", 电子与信息学报, no. 05 *
林克正;李昊天;白婧轩;李骜;: "语义自编码结合关系网络的零样本图像识别算法", 模式识别与人工智能, no. 03, pages 24 - 34 *
段立娟 等: "基于多模态联合语义感知的零样本目标检测", 《北京航空航天大学学报》, pages 1 - 10 *
陈祥凤;陈雯柏;: "度量学习改进语义自编码零样本分类算法", 北京邮电大学学报, no. 04, pages 73 - 79 *

Also Published As

Publication number Publication date
CN116977796B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
Nataraj et al. Detecting GAN generated fake images using co-occurrence matrices
Guan et al. MFC datasets: Large-scale benchmark datasets for media forensic challenge evaluation
Liao et al. Guidance and evaluation: Semantic-aware image inpainting for mixed scenes
Wang et al. Detection and localization of image forgeries using improved mask regional convolutional neural network
CN103699532B (zh) 图像颜色检索方法和系统
CN102750385B (zh) 基于标签检索的相关性—质量排序图像检索方法
Kadam et al. [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1
CN110879963B (zh) 一种敏感表情包检测方法、装置与电子设备
CN111932431B (zh) 基于水印分解模型的可见水印去除方法和电子设备
CN111275784A (zh) 生成图像的方法和装置
Stylianou et al. Hotels-50k: A global hotel recognition dataset
CN109871490A (zh) 媒体资源匹配方法、装置、存储介质和计算机设备
CN107545049A (zh) 图片处理方法及相关产品
Chen et al. JSNet: a simulation network of JPEG lossy compression and restoration for robust image watermarking against JPEG attack
Zhang et al. No one can escape: A general approach to detect tampered and generated image
Fu et al. A multi-task learning model with adversarial data augmentation for classification of fine-grained images
CN111046213B (zh) 一种基于图像识别的知识库构建方法
Abbas et al. Deep neural networks for automatic flower species localization and recognition
CN106709915A (zh) 一种图像重采样操作检测方法
CN114155556A (zh) 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及系统
CN116977796B (zh) 零样本图像识别方法、系统、设备及存储介质
CN114708582B (zh) 基于ai和rpa的电力数据智慧稽查方法及装置
Zhou et al. Geometric rectification‐based neural network architecture for image manipulation detection
Wu et al. Review of imaging device identification based on machine learning
Annadani et al. Augment and adapt: A simple approach to image tampering detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant