CN114724001A - 一种图像多属性识别方法、装置、设备及存储介质 - Google Patents

一种图像多属性识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114724001A
CN114724001A CN202210651851.7A CN202210651851A CN114724001A CN 114724001 A CN114724001 A CN 114724001A CN 202210651851 A CN202210651851 A CN 202210651851A CN 114724001 A CN114724001 A CN 114724001A
Authority
CN
China
Prior art keywords
attribute
image
sample
image sample
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210651851.7A
Other languages
English (en)
Inventor
王光新
谭昶
张友国
贾若然
姜殿洪
冯祥
韩辉
李亚玲
张慧萍
宋薇薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Iflytek Information Technology Co Ltd
Original Assignee
iFlytek Co Ltd
Iflytek Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd, Iflytek Information Technology Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202210651851.7A priority Critical patent/CN114724001A/zh
Publication of CN114724001A publication Critical patent/CN114724001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像多属性识别方法、装置、设备及存储介质，方法包括：获取目标图像；基于第一属性识别模型预测目标图像的多属性类别；第一属性识别模型采用多个图像样本和对应的样本标签训练得到；多个图像样本包括第一种样本和/或第二种样本以及第三种样本，第一种样本对应的样本标签包括对应样本在多属性维度下的预测属性类别，第二种样本对应的样本标签包括对应样本在多属性维度中一部分维度下的真实属性类别和另一部分维度下的预测属性类别，第三种样本对应的样本标签包括对应样本在多属性维度下的真实属性类别，预测属性类别基于采用第三种样本和对应的样本标签训练得到的第二属性识别模型预测。本发明提供的方法具有较好的识别效果。

Description

一种图像多属性识别方法、装置、设备及存储介质
技术领域
本发明涉及图像属性识别技术领域，尤其涉及一种图像多属性识别方法、装置、设备及存储介质。
背景技术
图像多属性识别指的是，识别图像在多个属性维度下的属性类别，比如，对于行人图像，多个属性维度可以包括行人上衣类型、行人发型，其中，行人上衣类型这一属性维度下的属性类别可以包括长袖和短袖，发型这一属性维度下的属性类别可以包括秃头、长发和短发，识别行人图像在上衣类型、发型这两个属性维度下的属性类别，即识别行人图像在行人上衣类型这一属性维度下的属性类别为长袖还是短袖，在行人发型这一属性维度下的属性类别为秃头、长发还是短发。
目前，实现图像多属性识别的思路为，采用标注有多属性类别的图像样本训练得到多属性识别模型，再使用训练得到的多属性识别模型对待识别图像进行多属性识别。可以理解的是，若要获得较好的多属性识别效果，则需要训练得到性能较好的多属性识别模型，若要训练得到性能较好的多属性识别模型，则需要大量的高质量标注数据。然而，由于人工对图像进行多属性类别标注成本较高且效率较低，同时可能存在属性类别漏标的情况，因此，高质量标注数据较少。
发明内容
有鉴于此，本发明提供了一种图像多属性识别方法、装置、设备及存储介质，用以解决因高质量标注数据较少而无法训练出性能较佳的多属性识别模型，进而导致基于多属性识别模型对待识别图像进行识别时，无法获得较好识别效果的问题，其技术方案如下：
一种图像多属性识别方法，包括：
获取目标图像；
基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
可选的，所述基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别，包括：
对所述目标图像进行增强处理，得到所述目标图像对应的增强后图像；
基于所述第一属性识别模型，分别对所述目标图像和所述目标图像对应的增强后图像提取特征向量；
将对所述目标图像提取的特征向量与对所述增强后图像提取的特征向量融合，融合后特征向量作为所述目标图像对应的目标特征向量；
以所述目标图像对应的目标特征向量为依据，基于所述第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别。
可选的，所述第二属性识别模型的训练过程包括：
从第一图像样本集中获取图像样本，其中，所述第一图像样本集中包括所述第三种图像样本；
基于第二属性识别模型对获取的图像样本提取特征向量，得到获取的图像样本对应的特征向量；
以使第二属性识别模型根据获取的图像样本对应的特征向量预测的多个属性维度下的属性类别，与获取的图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致为目标，对第二属性识别模型进行参数更新。
可选的，所述第一属性识别模型的训练过程包括：
采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练，其中，所述第二图像样本集包括所述第一种图像样本和/或所述第二种图像样本，以及所述第三种图像样本；
采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练，其中，所述第一图像样本集中包括所述第三种图像样本。
可选的，所述采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练，包括：
从所述第二图像样本集中获取图像样本作为第二图像样本，并对所述第二图像样本进行增强处理，得到所述第二图像样本对应的增强后样本；
基于第一属性识别模型，分别对所述第二图像样本和所述第二图像样本对应的增强后样本提取特征向量；
将对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第二图像样本对应的目标特征向量；
基于更新目标，对第一属性识别模型进行参数更新，其中，所述更新目标包括：使第一属性识别模型根据所述第二图像样本对应的目标特征向量预测的多个属性维度下的属性类别与所述第二图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致。
可选的，所述更新目标还包括：使对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量接近。
可选的，所述基于更新目标，对第一属性识别模型进行参数更新，包括：
以所述第二图像样本对应的目标特征向量为依据，基于第一属性识别模型，预测所述第二图像样本属于所述多个属性维度下各属性类别的概率；
基于所述第二图像样本属于所述多个属性维度下各属性类别的概率以及所述第二图像样本对应的样本标签，确定第一预测损失；
基于对所述第二图像样本提取的特征向量和对所述第二图像样本对应的增强后样本提取的特征向量，确定第二预测损失；
基于所述第一预测损失和所述第二预测损失，对第一属性识别模型进行参数更新。
可选的，第一属性识别模型包括：特征提取模块和所述多个属性维度分别对应的属性分类器；
所述采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练，包括：
从所述第一图像样本集获取图像样本作为第一图像样本，并对所述第一图像样本进行增强处理，得到所述第一图像样本对应的增强后样本；
基于所述特征提取模块，分别对所述第一图像样本和所述第一图像样本对应的增强后样本提取特征向量；
将对所述第一图像样本提取的特征向量与对所述第一图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第一图像样本对应的目标特征向量；
针对所述多个属性维度中的每个属性维度对应的属性分类器，以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新。
可选的，所述以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新，包括：
以所述第一图像样本对应的目标特征向量为依据，基于该属性维度对应的属性分类器，预测所述第一图像样本属于该属性维度下各属性类别的概率；
基于所述第一图像样本属于该属性维度下各属性类别的概率，以及所述第一图像样本对应的样本标签中该属性维度下的属性类别，确定该属性维度下的预测损失；
基于该属性维度下的预测损失，对该属性维度对应的属性分类器进行参数更新。
一种图像多属性识别装置，包括：图像获取模块和多属性识别模块；
所述图像获取模块，用于获取目标图像；
所述多属性识别模块，用于基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
一种图像多属性识别设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任一项所述的图像多属性识别方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的图像多属性识别方法的各个步骤。
本发明提供的图像多属性识别方法、装置及存储介质，可利用第三种图像样本和第三种图像样本在多个属性维度下的真实属性类别（即全属性标注类别）训练得到第二属性识别模型，可基于训练得到的第二属性识别模型预测第一种图像样本（未标注任何属性维度下的属性类别）在多个属性维度下的属性类别，也可基于训练得到的第二属性识别模型预测第二种图像样本（标注了部分属性维度下的属性类别）在多个属性维度下的属性类别，从而得到第一种图像样本对应的样本标签（包括所有属性维度下的预测属性类别）和第二种图像样本对应的样本标签（包括一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别），在此基础上，可利用多个图像样本（第一种图像样本和/或第二种图像样本，以及第三种图像样本）和多个图像样本分别对应的样本标签训练得到第一属性识别模型，进而可利用训练得到的第一属性识别模型预测目标图像在多个属性维度下的属性类别。本发明提供的图像多属性识别方法无需获取较多高质量的标注样本即可构建出性能较佳的第一属性识别模型，利用性能较佳的第一属性识别模型对目标图像进行属性识别能够获得较好的识别效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明涉及的硬件架构的示意图；
图2为本发明实施例提供的图像多属性识别方法的流程示意图；
图3为本发明实施例提供的第二属性识别模型的训练过程的流程示意图；
图4为本发明实施例提供的第二属性识别模型的结构及训练过程的示意图；
图5为本发明实施例提供的第一属性识别模型的第一种训练方式的流程示意图；
图6为本发明实施例提供的第一属性识别模型的第二种训练方式的流程示意图；
图7为本发明实施例提供的第一属性识别模型的结构及第二种训练方式的示意图；
图8为本发明实施例提供的第一属性识别模型的第三种训练方式的流程示意图；
图9为本发明实施例提供的图像多属性识别装置的结构示意图；
图10为本发明实施例提供的图像多属性识别设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于图像多属性标注任务需要耗费大量的人力物力，常常导致多属性识别模型的训练效果受到数据量级的限制，大量未标注图像未得到有效的利用，同时标注数据内的属性漏标现象也会对训练效果造成干扰，为了能够训练得到性能较佳的多属性识别模型，同时能充分利用未标注数据以及减少属性漏标对训练过程的干扰，本发明提出了一种效果较好的多属性识别方法。
在介绍本发明提供的多属性识别方法之前，先对本发明涉及的硬件架构进行说明。
在一种可能的实现方式中，如图1所示，本发明涉及的硬件架构可以包括：电子设备101和服务器102。
示例性的，电子设备101可以是任何一种可与用户进行人机交互的电子产品，例如，PC、笔记本电脑、平板电脑、掌上电脑、PAD等。
应注意的是，图1仅仅是一种示例，电子设备的类型可以有多种，不限于图1中的笔记本电脑。
示例性的，服务器102可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务器中心。服务器102可以包括处理器、存储器以及网络接口等。
示例性的，电子设备101可以通过无线通信网络与服务器102建立连接并通信；示例性的，电子设备101可以通过有线通信网络与服务器102建立连接并通信。
电子设备101可获取待识别图像，将待识别图像发送至服务器102，服务器102按本发明提供的图像多属性识别方法对待识别图像进行属性识别，将属性识别结果发送至电子设备101。
在另一种可能的实现方式中，本发明涉及的硬件架构可以包括：电子设备。电子设备为具有较强数据处理能力的电子产品，例如，PC、手机等。电子设备获取待识别图像，按本发明提供的图像多属性识别方法对待识别图像进行属性识别。
本领域技术人员应能理解上述电子设备和服务器仅为举例，其它现有的或今后可能出现的电子设备或服务器如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
接下来通过下述实施例对本发明提供的图像多属性识别方法进行介绍。
第一实施例
请参阅图2，示出了本发明实施例提供的图像多属性识别方法的流程示意图，可以包括：
步骤S201：获取目标图像。
其中，目标图像为待识别图像，即待识别属性的图像，目标图像可以为任何类型的图像，比如，行人图像、车辆图像等。
步骤S202：基于预先训练得到的第一属性识别模型，预测目标图像在多个属性维度下的属性类别。
若将属性维度的数量表示为N，则N为大于或等于2的整数。需要说明的是，目标图像在N个属性维度下的属性类别指的是，目标图像在N个属性维度中每个属性维度下的属性类别。示例性的，N=3，3个属性维度为D1、D2、D3，目标图像在3个属性维度下的属性类别指的是，目标图像在属性维度D1下的属性类别、在属性维度D2下的属性类别、在属性维度D3下的属性类别。另外需要说的是，具体的属性维度和属性维度的数量，可根据具体的应用场景设定，示例性的，应用场景为场景X，属性维度为3个，分别为D1、D2、D3，则步骤S202及其它部分提及的“N个属性维度”均指的是场景X下的3个属性维度D1、D2、D3。
具体的，基于预先训练得到的第一属性识别模型，预测目标图像在N个属性维度下的属性类别的过程包括：针对N个属性维度中的每个属性维度，基于预先训练得到的第一属性识别模型，预测目标图像属于该属性维度下各设定属性类别的概率，根据目标图像属于该属性维度下各设定属性类别的概率，确定目标图像在该属性维度下的属性类别；以得到目标图像在N个属性维度下的属性类别。
示例性的，N=3，3个属性维度为D1、D2、D3，属性维度D1下的各设定属性类别为d11、d12和d13，属性维度D2下的各设定属性类别为d21和d22，属性维度D3下的各设定属性类别为d31、d32和d33，基于预先训练得到的第一属性识别模型，预测目标图像在N个属性维度下的属性类别的过程为：针对属性维度D1，基于第一属性识别模型预测目标图像属于d11的概率、属于d12的概率、属于d13的概率，根据这三个概率确定目标图像在属性维度D1下的属性类别；针对属性维度D2，基于第一属性识别模型预测目标图像属于d21的概率、属于d22的概率，根据这两个概率确定目标图像在属性维度D2下的属性类别；针对属性维度D3，基于第一属性识别模型预测目标图像属于d31的概率、属于d32的概率、属于d33的概率，根据这三个概率确定目标图像在属性维度D3下的属性类别。
本实施例中的第一属性识别模型采用多个图像样本和多个图像样本分别对应的样本标签训练得到。其中，多个图像样本包括第一种图像样本和/或第二种图像样本，以及，第三种图像样本。后续以多个图像样本包括第一种图像样本、第二种图像样本和第三种图像样本为例进行介绍。
需要说明的是，三种图像样本的不同之处在于：第一种图像样本对应的样本标签包括对应图像样本在N个属性维度下的预测属性类别，第二种图像样本对应的样本标签包括对应图像样本在N个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，第三种图像样本对应的样本标签包括对应图像样本在N个属性维度下的真实属性类别。示例性的，N=3，3个属性维度为D1、D2、D3，I1为第一种图像样本、I2为第二种图像样本、I3为第三种图像样本，I1对应的样本标签包括I1在属性维度D1下的预测属性类别、在属性维度D2下的预测属性类别、在属性维度D3下的预测属性类别，I2对应的样本标签包括I2在属性维度D1下的真实属性类别、在属性维度D2下的真实属性类别、在属性维度D3下的预测属性类别，I3对应的样本标签包括I1在属性维度D1下的真实属性类别、在属性维度D2下的真实属性类别、在属性维度D3下的真实属性类别。
其中，第二种图像样本对应的样本标签中的真实属性类别和第三种图像样本对应的样本标签中的真实属性类别为标注的属性类别，第二种图像样本对应的样本标签中的预测属性类别和第一种图像样本对应的样本标签中的预测属性类别为预测的属性类别，其基于第二属性识别模型预测得到，第二属性识别模型采用第三种图像样本和第三种图像样本对应的样本标签训练得到。
本实施例中的第一种图像样本原本为未标注任何属性维度下的属性类别的图像样本（即无属性标注样本），第二种图像样本原本为标注有部分属性维度下的属性类别的图像样本（即部分属性标注样本），第三种图像样本原本为标注有所有属性维度下的属性类别的图像样本（即全属性标注样本）。示例性的，N=3，3个属性维度为D1、D2、D3，第三种图像样本标注有属性维度D1下的属性类别、属性维度D2下的属性类别、属性维度D3下的属性类别，第二种属性样本标注有属性维度D1下的属性类别和属性维度 D2下的属性类别，第一种图像样本没有标注任何属性维度下的属性类别。
鉴于第三种图像样本（即全属性标注样本）因难以获得而数量较少，第一种图像样本（即无属性标注样本）因容易获得而数量较多，因漏标情况存在部分第二种图像样本（即部分属性标注样本），为了最终能够训练得到性能较佳的第一属性识别模型，同时充分利用第一种图像样本，以及减少属性漏标对训练过程的干扰，本发明提出如下策略：
采用第三种图像样本和第三种图像样本在N个属性维度下的真实属性类别，训练第二属性识别模型，利用训练得到的第二属性识别模型预测第一种图像样本在N个属性维度下的属性类别，以得到第一种图像样本在多属性类别下的预测属性类别，利用训练得到的第二属性识别模型预测第二种图像样本在N个属性维度下的属性类别，以得到第二种图像样本在N个属性维度中未标注属性类别的属性维度下的预测属性类别，如此可获得第一种图像样本对应的样本标签（包括所有属性维度下的预测属性类别）和第二种图像样本对应的样本标签（包括一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别），进而可基于第一种图像样本、第一种图像样本对应的样本标签、第二种图像样本、第二种图像样本对应的样本标签、第三种图像样本和第三种图像样本对应的样本标签训练第一属性识别模型。
接下来结合一个例子，对获取第一种图像样本对应的样本标签和第二种图像样本对应的样本标签的过程进行说明。N=3，3个属性维度为D1、D2、D3，I1为第一种图像样本，I2为第二种图像样本，图像样本I1没有标注任何属性维度下的属性类别，图像样本I2标注有属性维度D1下的属性类别和属性维度 D2下的属性类别：对于图像样本I1，采用第二属性识别模型预测I1在属性维度D1下的属性类别、在属性维度D2下的属性类别、在属性维度C下的属性类别，以得到I1在属性维度D1下的预测属性类别、在属性维度D2下的预测属性类别、在属性维度D3下的预测属性类别，将I1在属性维度D1下的预测属性类别、在属性维度D2下的预测属性类别、在属性维度D3下的预测属性类别，作为I1对应的样本标签；对于图像样本I2，采用第二属性识别模型预测I2在属性维度D1下的属性类别、在属性维度D2下的属性类别、在属性维度D3下的属性类别，以得到I2在属性维度D1下的预测属性类别、在属性维度D2下的预测属性类别、在属性维度D3下的预测属性类别，将第二种图像样本在属性维度D1下的真实属性类别（即标注的属性类别）、在属性维度D2下的真实属性类别（即标注的属性类别）和在属性维度D3下的预测属性类别，作为I2对应的样本标签。
本发明实施例提供的图像多属性识别方法，可利用第三种图像和第三种图像样本在N个属性维度下的真实属性类别（即全属性标注类别）训练得到第二属性识别模型，进而可基于训练得到的第二属性识别模型预测第一种图像样本在N个属性维度下的属性类别和第二种图像样本在N个属性维度下的属性类别，从而得到第一种图像样本对应的样本标签（包括N个属性维度下的预测属性类别）和第二种图像样本对应的样本标签（包括N个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别），在此基础上，可利用所有图像样本和所有图像样本对应的样本标签训练得到第一属性识别模型，进而可利用训练得到的第一属性识别模型预测目标图像在N个属性维度下的属性类别。本发明实施例提供的图像多属性识别方法无需获取较多高质量的标注样本即可获得性能较佳的第一属性识别模型，利用性能较佳的第一属性识别模型对待识别图像进行属性识别能够获得较好的识别效果，同时，本发明实施例提供的图像多属性识别方法能够充分利用无标注图像样本，还能降低属性漏标对模型训练的影响。
第二实施例
本实施例对第二属性识别模型的训练过程以及利用训练得到的第二属性识别模型对第一种图像样本和第二种图像样本进行多属性类别预测的过程进行介绍。
首先对第二属性识别模型的训练过程进行介绍。
请参阅图3，示出了第二属性识别模型的训练过程的流程示意图，可以包括：
步骤S301：从第一图像样本集中获取图像样本。
其中，第一图像样本集中包括第三种图像样本。
步骤S302：基于第二属性识别模型对获取的图像样本提取特征向量，得到获取的图像样本对应的特征向量。
具体的，如图4所示，第二属性识别模型包括特征提取模块，可基于第二属性识别模型的特征提取模块对获取的图像样本提取特征向量。
步骤S303：以使第二属性识别模型根据获取的图像样本对应的特征向量预测的N个属性维度下的属性类别，与获取的图像样本对应的样本标签包含的N个属性维度下的属性类别趋于一致为目标，对第二属性识别模型进行参数更新。
具体的，步骤S303的实现过程可以包括：
步骤S3031、以获取的图像样本对应的特征向量为依据，基于第二属性识别模型，预测获取的图像样本属于N个属性维度下各设定属性类别的概率。
其中，图像样本属于N个属性维度下各设定属性类别的概率指的是，图像样本属于N个属性维度中每个属性维度下各设定属性类别的概率。
如图4所示，第二属性识别模型除了包括特征提取模块外，还包括N个属性维度分别对应的属性分类器，在进行概率预测时，将特征提取模块提取的特征向量分别输入各属性维度分别对应的属性分类器，每个属性维度对应的属性分类器根据输入的特征向量，预测样本图像属于对应属性维度下各设定属性类别的概率。
步骤S3032、根据获取的图像样本属于N个属性维度下各设定属性类别的概率，以及获取的图像样本对应的样本标签，确定第二属性识别模型的预测损失。
具体的，可首先根据获取的图像样本属于N个属性维度下各设定属性类别的概率，以及获取的图像样本对应的样本标签，确定第二属性识别模型在各属性维度下的预测损失，然后根据第二属性识别模型在各属性维度下的预测损失确定第二属性识别模型的最终预测损失。
具体的，可基于如下的交叉熵损失函数，确定第二属性识别模型的预测损失：
Figure 878750DEST_PATH_IMAGE001
(1)
其中，N表示属性维度的总数量，
Figure 966529DEST_PATH_IMAGE002
表示第i个属性维度Di下的设定属性类别的总数量，假设获取的图像样本为I，
Figure 152791DEST_PATH_IMAGE003
表示图像样本I属于第i个属性维度Di下的第j个设定属性类别的概率，若第i个属性维度Di下的第j个设定属性类别与图像样本I对应的样本标签中属性维度Di下的属性类别相同，则
Figure 344738DEST_PATH_IMAGE004
为1，否则，
Figure 565635DEST_PATH_IMAGE004
为0。
步骤S3033、根据第二属性识别模型的预测损失，对第二属性识别模型进行参数更新。
按上述S301~步骤S303的过程对第二属性识别模型进行多次迭代训练，直至满足训练结束条件（比如，达到预设的训练次数，或者，第二属性识别模型的性能满足要求）。
训练结束后，便可利用训练得到的第二属性识别模型对第一种图像样本、第二种图像样本进行属性类别预测。
具体的，利用训练得到的第二属性识别模型对第一种图像样本进行属性类别预测的过程可以包括：将第一种图像样本输入训练得到的第二属性识别模型，得到第二属性识别模型输出的第一种图像样本在N个属性维度下的属性类别。
更为具体的，将第一种图像样本输入训练得到的第二属性识别模型，得到第二属性识别模型输出的第一种图像样本在N个属性维度下的属性类别的过程可以包括：将第一种图像样本输入训练得到的第二属性识别模型中的特征提取模块，得到第一种图像样本对应的特征向量；将第一种图像样本对应的特征向量分别输入训练得到的第二属性识别模型中各属性维度分别对应的属性分类器，得到第一种图像样本属于各属性维度下各设定属性类别的概率；根据第一种图像样本属于各属性维度下各设定属性类别的概率，确定第一种图像样本在各属性维度下的属性类别。
利用训练得到的第二属性识别模型对第二种图像样本进行属性类别预测的过程与利用训练得到的第二属性识别模型对第一种图像样本进行属性类别预测的过程类似，本实施例在此不做赘述。
第三实施例
本实施例对第一属性识别模型的训练过程，以及利用训练得到的第一属性识别模型预测目标图像在N个属性维度下的属性类别的过程进行介绍。
首先对第一属性识别模型的训练过程进行介绍。
第一属性识别模型的训练方式有多种，请参阅图5，示出了第一属性识别模型的第一种训练方式的流程示意图，可以包括：
步骤S501：从第二图像样本集中获取图像样本作为第二图像样本。
其中，第二图像样本集中包括第一种图像样本、第二种图像样本和第三种图像样本。
步骤 S502：基于第一属性识别模型对第二图像样本提取特征向量。
第一属性识别模型可以包括特征提取模块，可将第二图像样本输入第一属性识别模型的特征提取模块进行特征向量的提取。
步骤S503：以使第一属性识别模型根据对第二图像样本提取的特征向量预测的N个属性维度下的属性类别，与第二图像样本对应的样本标签包含的N个属性维度下的属性类别趋于一致为目标，对第一属性识别模型进行参数更新。
具体的，可首先以对第二图像样本提取的特征向量为依据，基于第一属性识别模型，预测第二图像样本属于N个属性维度下各设定属性类别的概率，然后根据第二图像样本属于N个属性维度下各设定属性类别的概率和第二图像样本对应的样本标签，确定第一属性识别模型的预测损失，最后根据第一属性识别模型的预测损失对第一属性识别模型进行参数更新。
第一属性识别模块除了包括特征提取模块外，还包括N个属性维度分别对应的属性分类器，在基于特征提取模块对第二图像样本提取特征向量后，可将提取的特征向量分别输入N个属性维度分别对应的属性分类器，以得到第二图像样本属于N个属性维度下各设定属性类别的概率。
在得到第二图像样本属于N个属性维度下各设定属性类别的概率后，便可根据得到的概率和第二图像样本对应的样本标签，确定第一属性识别模型的预测损失，具体的，可基于交叉熵损失函数确定第一属性识别模型的预测损失L：
具体的，第一属性识别模型的预测损失可根据下式确定：
Figure 60202DEST_PATH_IMAGE005
(2)
其中，N表示属性维度的总数量，
Figure 858393DEST_PATH_IMAGE006
表示第n个属性维度Dn下的设定属性类别的总数量，
Figure 251370DEST_PATH_IMAGE007
表示第二图像样本属于第n个属性维度Dn下的第m个设定属性类别dnm的概率，若第二图像样本对应的样本标签中属性维度Dn下的属性类别与dnm相同，则
Figure 451407DEST_PATH_IMAGE008
为1，否则
Figure 851296DEST_PATH_IMAGE008
为0。
按上述步骤S501~步骤S503的过程采用不同的图像样本对第一属性识别模型进行多次迭代训练，直至满足训练结束条件（比如，达到预设的训练次数，或者，第一属性识别模型的性能满足要求）。
为了能够获得性能更佳的第一属性识别模型，本实施例提供了第一属性识别模型的第二种训练方式，请参阅图6，示出了第一属性识别模型的第二种训练方式的流程示意图，可以包括：
步骤S601：从第二图像样本集中获取图像样本作为第二图像样本。
其中，第二图像样本集中包括第一种图像样本、第二种图像样本和第三种图像样本。
步骤S602：对第二图像样本进行增强处理，得到第二图像样本对应的增强后样本。
本实施例中的增强处理可以但不限定为包括以下处理中的一种或多种的组合：随机对比度增强处理、随机亮度增强处理、随机饱和度增强处理、随机水平翻转增强处理、CutMix处理等。
随机对比度增强指的是，对图像的对比度随机调整，以得到与原始图像不同对比度的图像。对一图像进行随机对比度增强处理的方式为，计算通道中图像像素的平均值mean，将每个像素的每个分量 x 调整为：(x - mean) * contrast_factor + mean，其中，contrast_factor为用于调整对比度的调整因子，一般为设置在0-3之间的浮点数。
随机亮度增强处理指的是，对图片的亮度随机调整，以得到与原始图像不同亮度的图像。对一图像进行亮度增强处理的方式为，将RGB图像转换为HSV图像后，随机调整其亮度通道内的像素值后再转换为原RGB图像。
随机饱和度增强处理指的是，对图像的饱和度随机调整，以得到与原始图像不同饱和度的图像：对一图像进行随机饱和度增强处理的方式为，将RGB图像转换为HSV图像后，向饱和通道添加偏移量，再转换回RGB图像。
随机水平翻转增强指的是，对包含目标的图片区域，以区域水平中轴线为中心进行水平翻转。
CutMi处理指的是，将一图像的某一部分进行裁剪叠加到另一图像上。
步骤S603：基于第一属性识别模型，分别对第二图像样本和第二图像样本对应的增强后样本提取特征向量。
如图7所示，第一属性识别模型包括特征提取模块，可基于第一属性识别模型的特征提取模块分别对第二图像样本和第二图像样本对应的增强后样本提取特征向量。
步骤S604：将对第二图像样本提取的特征向量与对第二图像样本对应的增强后样本提取的特征向量融合，融合后特征作为第二图像样本对应的目标特征向量。
可选的，将对第二图像样本提取的特征向量与对第二图像样本对应的增强后样本提取的特征向量融合的方式为，将对第二图像样本提取的特征向量与对第二图像样本对应的增强后样本提取的特征向量求和。
步骤S605：基于更新目标，对第一属性识别模型进行参数更新。
其中，更新目标包括：使第一属性识别模型根据第二图像样本对应的目标特征向量预测的N个属性维度下的属性类别，与第二图像样本对应的样本标签包含的N个属性维度下的属性类别趋于一致。
优选的，为了加强第一属性识别模型对与噪声（图像增强时添加的处理）无关的不变性特征的学习，在第二样本图像对应的样本标签中的预测属性类别为错误的属性类别时，减少其影响，在增强模型训练数据覆盖面的同时，尽可能保证模型所提取特征的分类能力，更新目标还可以包括：使对第二图像样本提取的特征向量与对第二图像样本对应的增强后样本提取的特征向量接近。
具体的，基于更新目标，对第一属性识别模型进行参数更新的过程可以包括：
步骤S6051、以第二图像样本对应的目标特征向量为依据，基于第一属性识别模型，预测第二图像样本属于N个属性维度下各属性类别的概率。
如图7所示，第一属性识别模块除了包括特征提取模块外，还包括N个属性维度分别对应的属性分类器，在获得第二图像样本对应的目标特征向量后，可将第二图像样本对应的目标特征向量分别输入N个属性维度分别对应的属性分类器，以得到第二图像样本属于N个属性维度下各设定属性类别的概率。
步骤S6052、基于第二图像样本属于N个属性维度下各设定属性类别的概率以及第二图像样本对应的样本标签，确定第一预测损失。
具体的，针对N个属性维度中的每个属性维度，可根据第二图像样本属于该属性维度下各设定属性类别的概率，以及第二图像样本对应的样本标签中该属性维度下的属性类别，确定第一属性识别模型在该属性维度下的预测损失，以得到第一属性识别模型在各属性维度下的预测损失，根据第一属性识别模型在各属性维度下的预测损失确定第一预测损失。
具体的，可基于交叉熵损失函数确定第一预测损失：
Figure 136783DEST_PATH_IMAGE009
(3)
式(3)中的N、
Figure 545899DEST_PATH_IMAGE010
表示的含义可参见式(2)，本实施例在此不做赘述。
步骤S6053、基于对第二图像样本提取的特征向量和对第二图像样本对应的增强后样本提取的特征向量，确定第二预测损失。
具体的，可按下式确定第二预测损失：
Figure 741388DEST_PATH_IMAGE011
(4)
其中，
Figure 702391DEST_PATH_IMAGE012
表示对第二图像样本提取的特征向量，
Figure 849076DEST_PATH_IMAGE013
表示对第二图像样本对应的增强后样本提取的特征向量。
步骤S6054、基于第一预测损失和第二预测损失，对第一属性识别模型进行参数更新。
具体的，可将第一预测损失与第二预测损失融合，根据融合后损失对第一属性识别模型进行参数更新。可选的，将第一预测损失与第二预测损失融合的方式可以为如下方式中的任一种：将第一预测损失与第二预测损失求和、将第一预测损失与第二预测损失加权求和等。
需要说明的是，若上述的更新目标只包括“使第一属性识别模型根据第二图像样本对应的目标特征向量预测的N个属性维度下的属性类别，与第二图像样本对应的样本标签包含的N个属性维度下的属性类别趋于一致”，则只需要确定上述的第一预测损失，进而基于第一预测损失对第一属性识别模型进行参数更新。
按上述步骤S601~步骤S605的过程采用不同的图像样本对第一属性识别模型进行多次迭代训练，直至满足训练结束条件。
为了能够获得性能更佳的第一属性识别模型，本实施例提供了第三种训练方式，请参阅图8，示出了第一属性识别模型的第三种训练方式的流程示意图，可以包括：
步骤S801：采用第二图像样本集中的图像样本和第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练。
具体的，可按上述的第一种训练方式（即步骤S501~步骤S503）或上述的第二种训练方式（即步骤S601~步骤S605），对第一属性识别模型进行第一阶段的训练。优选采用上述的第二种训练方式（即步骤S601~步骤S605），对第一属性识别模型进行第一阶段的训练。
步骤S802：采用第一图像样本集中的图像样本和第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练。
具体的，步骤S802的实现过程可以包括：
步骤S8021、从第一图像样本集获取图像样本作为第一图像样本，并对第一图像样本进行增强处理，得到第一图像样本对应的增强后样本。
需要说明的是，此处的增强处理与上述S602中的增强处理相同。
步骤S8022、基于第一属性识别模型，分别对第一图像样本和第一图像样本对应的增强后样本提取特征向量。
具体的，基于第一属性识别模型的特征提取模块分别对第一图像样本和第一图像样本对应的增强后样本提取特征向量。
步骤S8023、将对第一图像样本提取的特征向量与对第一图像样本对应的增强后样本提取的特征向量融合，融合后特征作为第一图像样本对应的目标特征向量。
具体的，可将对第一图像样本提取的特征向量与对第一图像样本对应的增强后样本提取的特征向量求和。
步骤S8024、针对N个属性维度中的每个属性维度对应的属性分类器，以使该属性维度对应的属性分类器根据第一图像样本对应的目标特征向量预测的属性类别，与第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新。
需要说明的是，进行第二阶段训练得到目的是，对N个属性维度分别对应的属性分类器进行优化，此阶段，固定特征提取模块的参数，只对N个属性维度分别对应的属性分类器进行参数更新。
其中，以使该属性维度对应的属性分类器根据第一图像样本对应的目标特征向量预测的属性类别，与第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新的过程可以包括：
步骤a1、以第一图像样本对应的目标特征向量为依据，基于该属性维度对应的属性分类器，预测第一图像样本属于该属性维度下各属性类别的概率。
步骤a2、基于第一图像样本属于该属性维度下各属性类别的概率，以及第一图像样本对应的样本标签中该属性维度下的属性类别，确定该属性维度下的预测损失。
步骤a3、基于该属性维度下的预测损失，对该属性维度对应的属性分类器进行参数更新。
按上述步骤S8021~步骤S8024的过程采用不同的图像样本对第一阶段训练后的第一属性识别模型进行多次迭代训练，直至满足训练结束条件。
在训练结束后，便可基于训练得到的第一属性识别模型预测目标图像在N个属性维度下的属性类别。
若第一属性识别模型按上述的第一种训练方式训练得到，则基于训练得到的第一属性识别模型预测目标图像在N个属性维度下的属性类别的过程可以包括：首先基于训练得到第一属性识别模型对目标图像提取特征向量，然后以对目标图像提取的特征向量为依据，利用第一属性识别模型预测目标图像在N个属性维度下的属性类别。更为具体的，将目标图像输入第一属性识别模型中的特征提取模块，得到特征向量，然后将特征提取模块对目标图像提取的特征向量输入第一属性识别模型中N个属性维度分别对应的属性分类器，得到目标图像属于N个属性维度下各设定属性类别的概率，根据目标图像属于N个属性维度下各设定属性类别的概率，确定目标图像在N个属性维度下的属性类别。
若第一属性识别模型按上述的第二种训练方式或第三种训练方式训练得到，则基于训练得到的第一属性识别模型预测目标图像在N个属性维度下的属性类别的过程可以包括：首先，对目标图像进行增强处理，得到目标图像对应的增强后图像，接着，基于第一属性识别模型分别对目标图像和目标图像对应的增强后图像提取特征向量，然后，将对目标图像提取的特征向量与对目标图像对应的增强后图像提取的特征向量融合，融合向量作为目标图像对应的目标特征向量，最后，以目标图像对应的目标特征向量为依据，基于第一属性识别模型预测目标图像在N个属性维度下的属性类别。更为具体的，可将目标图像和目标图像对应的增强后图像分别输入第一属性识别模型中的特征提取模块进行特征向量的提取，在获得目标图像对应的目标特征向量后，可将目标图像对应的目标特征向量输入第一属性识别模型中N个属性维度分别对应的属性分类器，得到目标图像属于N个属性维度下各设定属性类别的概率，根据目标图像属于N个属性维度下各设定属性类别的概率，确定目标图像在N个属性维度下的属性类别。
经由本实施例提供的第一属性识别模型的训练过程可知，本发明在训练第一属性识别模型时，除了使用第三种图像样本（即全属性标注样本）外，还使用了第二种图像样本（即部分属性标注样本）和第一种图像样本（即无属性标注样本），第二种图像样本和第一种图像样本的引入，提升了第一属性识别模型在不同类型数据下的鲁棒性，提升了第一属性识别模型在自然场景下的识别准确率，另外，由于所使用的第三种图像样本的数量较少，因此，节省了标注成本。
第四实施例
本发明实施例还提供了一种图像多属性识别装置，下面对本发明实施例提供的图像多属性识别装置进行描述，下文描述的图像多属性识别装置与上文描述的图像多属性识别方法可相互对应参照。
请参阅图9，示出了本发明实施例提供的图像多属性识别装置的结构示意图，可以包括：图像获取模块901和多属性识别模块902。
图像获取模块901，用于获取目标图像；
多属性识别模块902，用于基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别。其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
可选的，多属性识别模块902在基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别时，具体用于：
对所述目标图像进行增强处理，得到所述目标图像对应的增强后图像；
基于所述第一属性识别模型，分别对所述目标图像和所述目标图像对应的增强后图像提取特征向量；
将对所述目标图像提取的特征向量与对所述增强后图像提取的特征向量融合，融合后特征向量作为所述目标图像对应的目标特征向量；
以所述目标图像对应的目标特征向量为依据，基于所述第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别。
可选的，本发明实施例提供的图像多属性识别装置还可以包括：第一训练模块。第一训练模块用于对第二属性识别模型进行训练。
第一训练模块在对第二属性识别模型进行训练时，具体用于：
从第一图像样本集中获取图像样本，其中，所述第一图像样本集中包括所述第三种图像样本；
基于第二属性识别模型对获取的图像样本提取特征向量，得到获取的图像样本对应的特征向量；
以使第二属性识别模型根据获取的图像样本对应的特征向量预测的多个属性维度下的属性类别，与获取的图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致为目标，对第二属性识别模型进行参数更新。
可选的，本发明实施例提供的图像多属性识别装置还可以包括：第二训练模块。第二训练模块用于对第一属性识别模型进行训练。
第二训练模块在对第一属性识别模型进行训练时，具体用于：
采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练，其中，所述第二图像样本集包括所述第一种图像样本和/或所述第二种图像样本，以及所述第三种图像样本；
采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练，其中，所述第一图像样本集中包括所述第三种图像样本。
第二训练模块在采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练时，具体用于：
从所述第二图像样本集中获取图像样本作为第二图像样本，并对所述第二图像样本进行增强处理，得到所述第二图像样本对应的增强后样本；
基于第一属性识别模型，分别对所述第二图像样本和所述第二图像样本对应的增强后样本提取特征向量；
将对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第二图像样本对应的目标特征向量；
基于更新目标，对第一属性识别模型进行参数更新，其中，所述更新目标包括：使第一属性识别模型根据所述第二图像样本对应的目标特征向量预测的多个属性维度下的属性类别与所述第二图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致。
可选的，所述更新目标还包括：使对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量接近。
可选的，第二训练模块在基于更新目标，对第一属性识别模型进行参数更新时，具体用于：
以所述第二图像样本对应的目标特征向量为依据，基于第一属性识别模型，预测所述第二图像样本属于所述多个属性维度下各属性类别的概率；
基于所述第二图像样本属于所述多个属性维度下各属性类别的概率以及所述第二图像样本对应的样本标签，确定第一预测损失；
基于对所述第二图像样本提取的特征向量和对所述第二图像样本对应的增强后样本提取的特征向量，确定第二预测损失；
基于所述第一预测损失和所述第二预测损失，对第一属性识别模型进行参数更新。
可选的，第一属性识别模型包括：特征提取模块和所述多个属性维度分别对应的属性分类器；
第二训练模块在采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练时，具体用于：
从所述第一图像样本集获取图像样本作为第一图像样本，并对所述第一图像样本进行增强处理，得到所述第一图像样本对应的增强后样本；
基于所述特征提取模块，分别对所述第一图像样本和所述第一图像样本对应的增强后样本提取特征向量；
将对所述第一图像样本提取的特征向量与对所述第一图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第一图像样本对应的目标特征向量；
针对所述多个属性维度中的每个属性维度对应的属性分类器，以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新。
可选的，第二训练模块在以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新时，具体用于：
以所述第一图像样本对应的目标特征向量为依据，基于该属性维度对应的属性分类器，预测所述第一图像样本属于该属性维度下各属性类别的概率；
基于所述第一图像样本属于该属性维度下各属性类别的概率，以及所述第一图像样本对应的样本标签中该属性维度下的属性类别，确定该属性维度下的预测损失；
基于该属性维度下的预测损失，对该属性维度对应的属性分类器进行参数更新。
本发明实施例提供的图像多属性识别装置，可利用第三种图像和第三种图像样本在N个属性维度下的真实属性类别（即全属性标注类别）训练得到第二属性识别模型，进而可基于训练得到的第二属性识别模型预测第一种图像样本在N个属性维度下的属性类别和第二种图像样本在N个属性维度下的属性类别，从而得到第一种图像样本对应的样本标签（包括N个属性维度下的预测属性类别）和第二种图像样本对应的样本标签（包括N个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别），在此基础上，可利用所有图像样本和所有图像样本对应的样本标签训练得到第一属性识别模型，进而可利用训练得到的第一属性识别模型预测目标图像在多个属性维度下的属性类别。本发明实施例提供的图像多属性识别装置无需获取较多高质量的标注样本即可获得性能较佳的第一属性识别模型，利用性能较佳的第一属性识别模型对待识别图像进行属性识别能够获得较好的识别效果，同时，本发明实施例提供的图像多属性识别装置能够充分利用无标注图像样本，还能降低属性漏标对模型训练的影响。
第五实施例
本发明实施例还提供了一种图像多属性识别设备，请参阅图10，示出了该图像多属性识别设备的结构示意图，该图像多属性识别设备可以包括：至少一个处理器1001，至少一个通信接口1002，至少一个存储器1003和至少一个通信总线1004；
在本发明实施例中，处理器1001、通信接口1002、存储器1003、通信总线1004的数量为至少一个，且处理器1001、通信接口1002、存储器1003通过通信总线1004完成相互间的通信；
处理器1001可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器1003可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory）等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取目标图像；
基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
第六实施例
本发明实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取目标图像；
基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种图像多属性识别方法，其特征在于，包括：
获取目标图像；
基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
2.根据权利要求1所述的图像多属性识别方法，其特征在于，所述基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别，包括：
对所述目标图像进行增强处理，得到所述目标图像对应的增强后图像；
基于所述第一属性识别模型，分别对所述目标图像和所述目标图像对应的增强后图像提取特征向量；
将对所述目标图像提取的特征向量与对所述增强后图像提取的特征向量融合，融合后特征向量作为所述目标图像对应的目标特征向量；
以所述目标图像对应的目标特征向量为依据，基于所述第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别。
3.根据权利要求1所述的图像多属性识别方法，其特征在于，所述第二属性识别模型的训练过程包括：
从第一图像样本集中获取图像样本，其中，所述第一图像样本集中包括所述第三种图像样本；
基于第二属性识别模型对获取的图像样本提取特征向量，得到获取的图像样本对应的特征向量；
以使第二属性识别模型根据获取的图像样本对应的特征向量预测的多个属性维度下的属性类别，与获取的图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致为目标，对第二属性识别模型进行参数更新。
4.根据权利要求1所述的图像多属性识别方法，其特征在于，所述第一属性识别模型的训练过程包括：
采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练，其中，所述第二图像样本集包括所述第一种图像样本和/或所述第二种图像样本，以及所述第三种图像样本；
采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练，其中，所述第一图像样本集中包括所述第三种图像样本。
5.根据权利要求4所述的图像多属性识别方法，其特征在于，所述采用第二图像样本集中的图像样本和所述第二图像样本集中的图像样本对应的样本标签，对第一属性识别模型进行第一阶段的训练，包括：
从所述第二图像样本集中获取图像样本作为第二图像样本，并对所述第二图像样本进行增强处理，得到所述第二图像样本对应的增强后样本；
基于第一属性识别模型，分别对所述第二图像样本和所述第二图像样本对应的增强后样本提取特征向量；
将对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第二图像样本对应的目标特征向量；
基于更新目标，对第一属性识别模型进行参数更新，其中，所述更新目标包括：使第一属性识别模型根据所述第二图像样本对应的目标特征向量预测的多个属性维度下的属性类别与所述第二图像样本对应的样本标签包含的多个属性维度下的属性类别趋于一致。
6.根据权利要求5所述的图像多属性识别方法，其特征在于，所述更新目标还包括：使对所述第二图像样本提取的特征向量与对所述第二图像样本对应的增强后样本提取的特征向量接近。
7.根据权利要求6所述的图像多属性识别方法，其特征在于，所述基于更新目标，对第一属性识别模型进行参数更新，包括：
以所述第二图像样本对应的目标特征向量为依据，基于第一属性识别模型，预测所述第二图像样本属于所述多个属性维度下各属性类别的概率；
基于所述第二图像样本属于所述多个属性维度下各属性类别的概率以及所述第二图像样本对应的样本标签，确定第一预测损失；
基于对所述第二图像样本提取的特征向量和对所述第二图像样本对应的增强后样本提取的特征向量，确定第二预测损失；
基于所述第一预测损失和所述第二预测损失，对第一属性识别模型进行参数更新。
8.根据权利要求4~7中任一项所述的图像多属性识别方法，其特征在于，第一属性识别模型包括：特征提取模块和所述多个属性维度分别对应的属性分类器；
所述采用第一图像样本集中的图像样本和所述第一图像样本集中的图像样本对应的样本标签，对第一阶段训练后的第一属性识别模型进行第二阶段的训练，包括：
从所述第一图像样本集获取图像样本作为第一图像样本，并对所述第一图像样本进行增强处理，得到所述第一图像样本对应的增强后样本；
基于所述特征提取模块，分别对所述第一图像样本和所述第一图像样本对应的增强后样本提取特征向量；
将对所述第一图像样本提取的特征向量与对所述第一图像样本对应的增强后样本提取的特征向量融合，融合后特征作为所述第一图像样本对应的目标特征向量；
针对所述多个属性维度中的每个属性维度对应的属性分类器，以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新。
9.根据权利要求8所述的图像多属性识别方法，其特征在于，所述以使该属性维度对应的属性分类器根据所述第一图像样本对应的目标特征向量预测的属性类别，与所述第一图像样本对应的样本标签中该属性维度下的属性类别趋于一致为目标，对该属性维度对应的属性分类器进行参数更新，包括：
以所述第一图像样本对应的目标特征向量为依据，基于该属性维度对应的属性分类器，预测所述第一图像样本属于该属性维度下各属性类别的概率；
基于所述第一图像样本属于该属性维度下各属性类别的概率，以及所述第一图像样本对应的样本标签中该属性维度下的属性类别，确定该属性维度下的预测损失；
基于该属性维度下的预测损失，对该属性维度对应的属性分类器进行参数更新。
10.一种图像多属性识别装置，其特征在于，包括：图像获取模块和多属性识别模块；
所述图像获取模块，用于获取目标图像；
所述多属性识别模块，用于基于预先训练得到的第一属性识别模型，预测所述目标图像在多个属性维度下的属性类别；其中：
所述第一属性识别模型采用多个图像样本和所述多个图像样本分别对应的样本标签训练得到；
所述多个图像样本包括第一种图像样本和/或第二种图像样本，以及第三种图像样本，所述第一种图像样本对应的样本标签包括对应图像样本在多个属性维度下的预测属性类别，所述第二种图像样本对应的样本标签包括对应图像样本在所述多个属性维度中一部分属性维度下的真实属性类别和另一部分属性维度下的预测属性类别，所述第三种图像样本对应的样本标签包括对应图像样本在所述多个属性维度下的真实属性类别；
所述真实属性类别为标注的属性类别，所述预测属性类别为基于第二属性识别模型预测的属性类别，所述第二属性识别模型采用所述第三种图像样本和所述第三种图像样本对应的样本标签训练得到。
11.一种图像多属性识别设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~9中任一项所述的图像多属性识别方法的各个步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~9中任一项所述的图像多属性识别方法的各个步骤。
CN202210651851.7A 2022-06-10 2022-06-10 一种图像多属性识别方法、装置、设备及存储介质 Pending CN114724001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210651851.7A CN114724001A (zh) 2022-06-10 2022-06-10 一种图像多属性识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651851.7A CN114724001A (zh) 2022-06-10 2022-06-10 一种图像多属性识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114724001A true CN114724001A (zh) 2022-07-08

Family

ID=82232818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651851.7A Pending CN114724001A (zh) 2022-06-10 2022-06-10 一种图像多属性识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114724001A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376804A1 (en) * 2013-06-21 2014-12-25 Xerox Corporation Label-embedding view of attribute-based recognition
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN111951933A (zh) * 2020-08-07 2020-11-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN114092746A (zh) * 2021-11-29 2022-02-25 北京易华录信息技术股份有限公司 一种多属性识别方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376804A1 (en) * 2013-06-21 2014-12-25 Xerox Corporation Label-embedding view of attribute-based recognition
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN111951933A (zh) * 2020-08-07 2020-11-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN114092746A (zh) * 2021-11-29 2022-02-25 北京易华录信息技术股份有限公司 一种多属性识别方法、装置、存储介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINCHUL SHIN ET AL.: "Semi-supervised Learning with a Teacher-Student Network for Generalized Attribute Prediction", 《ARXIV.ORG》 *
YUNSHENG XIONG ET AL.: "Non-locally Enhanced Feature Fusion Network for Aircraft Recognition in Remote Sensing Images", 《REMOTE SENSING》 *
凌弘毅: "基于知识蒸馏方法的行人属性识别研究", 《计算机应用与软件》 *

Similar Documents

Publication Publication Date Title
CN109543714B (zh) 数据特征的获取方法、装置、电子设备及存储介质
US11392792B2 (en) Method and apparatus for generating vehicle damage information
CN109117781B (zh) 多属性识别模型的建立方法、装置及多属性识别方法
CN109377494B (zh) 一种用于图像的语义分割方法和装置
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN110826567B (zh) 光学字符识别方法、装置、设备及存储介质
CN111931859B (zh) 一种多标签图像识别方法和装置
WO2021012493A1 (zh) 短视频关键词提取方法、装置及存储介质
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN110349161B (zh) 图像分割方法、装置、电子设备、及存储介质
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN112232506A (zh) 网络模型训练方法、图像目标识别方法、装置和电子设备
US20200151518A1 (en) Regularized multi-metric active learning system for image classification
CN113140012B (zh) 图像处理方法、装置、介质及电子设备
CN111428740A (zh) 网络翻拍照片的检测方法、装置、计算机设备及存储介质
CN111797266B (zh) 图像处理方法和装置、存储介质和电子设备
CN115375656A (zh) 息肉分割模型的训练方法、分割方法、装置、介质及设备
CN114724001A (zh) 一种图像多属性识别方法、装置、设备及存储介质
CN115375657A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN111737575B (zh) 内容分发方法、装置、可读介质及电子设备
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN114882226A (zh) 图像处理方法、智能终端及存储介质
CN111353536B (zh) 图像的标注方法、装置、可读介质和电子设备
CN114429628A (zh) 图像处理方法、装置、可读存储介质及电子设备
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220708