CN109919166B - 获取属性的分类信息的方法和装置 - Google Patents

获取属性的分类信息的方法和装置 Download PDF

Info

Publication number
CN109919166B
CN109919166B CN201711316202.7A CN201711316202A CN109919166B CN 109919166 B CN109919166 B CN 109919166B CN 201711316202 A CN201711316202 A CN 201711316202A CN 109919166 B CN109919166 B CN 109919166B
Authority
CN
China
Prior art keywords
attribute
classification
model
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711316202.7A
Other languages
English (en)
Other versions
CN109919166A (zh
Inventor
陈锡
谭文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201711316202.7A priority Critical patent/CN109919166B/zh
Publication of CN109919166A publication Critical patent/CN109919166A/zh
Application granted granted Critical
Publication of CN109919166B publication Critical patent/CN109919166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种获取属性的分类信息的方法和装置,属于图像识别领域。所述方法包括:将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,基于特征提取模型与多个属性分类模型,获取目标图像对应的多种属性的分类信息。采用本公开,可以提高获取图像的属性的分类信息的效率。

Description

获取属性的分类信息的方法和装置
技术领域
本公开是关于图像识别领域,尤其是关于一种获取属性的分类信息的方法和装置。
背景技术
随着图像识别技术的发展,图像识别系统可以对监控的过程中采集到的视频图像进行图像识别,获取视频图像中出现的监控对象的某预设属性的分类信息,该监控对象可以是人物、车辆等。如果监控对象为人物,则预设的属性可以为性别,而性别对应的分类信息可以是“男”或“女”。
在实现本公开的过程中,发明人发现至少存在以下问题:
相关技术中,如果需要获取上述人物的图像中包含的多种属性的分类信息,则需要对每种属性分别设置一个特征提取模型和一个属性分类模型,这些模型的计算量比较庞大,从而,导致获取图像的属性的分类信息的效率较低。
发明内容
本公开提供一种获取属性的分类信息的方法和装置,可以解决获取图像的属性的分类信息的效率较低的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种获取属性的分类信息的方法,所述方法包括:
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对所述特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;
当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
可选的,根据所述每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型,包括:
根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;
根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;
基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;
基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型。
可选的,根据所述每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述多个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型,包括:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
可选的,所述根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据,包括:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
可选的,所述特征提取模型为目标监控对象类型对应的特征提取模型,所述属性分类模型为目标监控对象类型对应的属性分类模型,所述当获取到待获取分类信息的目标图像时,将所述目标图像输入特征提取模型之前,还包括:
获取视频采集设备采集到的视频图像帧,如果检测到所述视频图像帧中包含对应目标监控对象类型的区域图像,则将所述区域图像作为待获取分类信息的目标图像。
可选的,所述当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息,包括:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
可选的,所述方法还包括:
添加至少一个新增属性对应的属性分类模型;
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
根据本公开实施例的第二方面,提供一种获取属性的分类信息的装置,所述装置包括:
第一获取模块,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
第一训练模块,用于根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对所述特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;
第二获取模块,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
可选的,所述第一训练模块,用于:
根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;
根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;
基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;
基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型。
可选的,所述第一训练模块,用于:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
可选的,所述第一训练模块,用于:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
可选的,所述装置,还包括:
采集模块,用于获取视频采集设备采集到的视频图像帧,如果检测到所述视频图像帧中包含对应目标监控对象类型的区域图像,则将所述区域图像作为待获取分类信息的目标图像。
可选的,所述第二获取模块,用于:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
可选的,所述装置,还包括:
添加模块,用于添加至少一个新增属性对应的属性分类模型;
第三获取模块,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
第二训练模块,用于根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
第四获取模块,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
根据本公开实施例的第三方面,提供一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面所述的获取属性的分类信息的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的获取属性的分类信息的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,服务器将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入多个训练后的属性分类模型,得到目标图像对应的多种属性的分类信息。这样,一个特征提取模型提取出来的特征信息,可以同时给多个属性分类模型作为输入,不再需要多次进行特征提取,从而,可以提高获取图像的属性的分类信息的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。在附图中:
图1是根据一示例性实施例示出的一种获取属性的分类信息方法的流程图;
图2是根据一示例性实施例示出的一种特征提取模型与多个属性分类模型的架构示意图;
图3是根据一示例性实施例示出的一种添加属性分类模型的示意图;
图4是根据一示例性实施例示出的一种获取属性的分类信息方法的流程图;
图5是根据一示例性实施例示出的一种获取属性的分类信息的示意图;
图6是根据一示例性实施例示出的一种获取属性的分类信息装置的示意图;
图7是根据一示例性实施例示出的一种获取属性的分类信息装置的示意图;
图8是根据一示例性实施例示出的一种获取属性的分类信息装置的示意图;
图9是根据一示例性实施例示出的一种服务器的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开一示例性实施例提供了一种获取属性的分类信息的方法,该方法可以应用于服务器。
服务器可以包括处理器、存储器、收发器等部件。处理器,可以为CPU(CentralProcessing Unit,中央处理单元)等,可以用于训练特征提取模型、训练属性分类模型、提取目标图像的目标特征信息、获取每种属性对应的分类信息等处理。存储器,可以为RAM(Random Access Memory,随机存取存储器),Flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如多个样本图像、多个样本图像对应的特征信息、每个样本图像对应的每种属性的分类信息等。收发器,可以用于与视频采集设备进行数据传输,例如,接收视频采集设备发送的视频图像帧,收发器可以包括天线、匹配电路、调制解调器等。
如图1所示,该方法的处理流程可以包括如下的步骤:
在步骤101中,将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息。
在实施中,图像中可以包含有多种不同类型的对象的图像,每种对象可以具有多种属性,技术人员可以根据需要进行预先设置,此处不作限定。例如,图像中可以包含有人物的图像,人物的属性可以有性别、年龄、体型、发型、戴眼镜、戴帽子、戴口罩、行走方式、衣着款式、衣着颜色、拎东西、背包等;图像中还可以包含有车辆的图像,车辆的属性可以有车型、颜色、品牌等。上述属性可以作为该图像对应的信息进行存储。进而,可以基于各个属性分类信息对多个图像实现结构化管理,提高图像管理的效率;还可以根据上述属性对图像进行搜索,例如在图像间进行以图搜图,提高搜索图像的效率。
技术人员可以预先建立特征提取模型,用于提取图像的特征信息。还可以根据预设的多种属性,建立每种属性对应的属性分类模型,用于获取每种属性对应的分类信息。如图2所示,特征提取模型与多个属性分类模型可以处于同一个计算网络中,特征提取模型的输出作为每个属性分类模型的输入。
在训练的过程中,服务器可以获取多个样本图像,并且可以获取到技术人员预先设置的每个样本图像对应的多种属性的基准分类信息。以样本图像为人物图像为例,样本图像1对应的基准分类信息可以是“性别为女、发型为长发”,样本图像2对应的基准分类信息可以是“性别为男、发型为短发”。服务器可以将获取到的多个样本图像进行图像预处理,将样本图像转换为输入计算网络所需要的数据格式,同时,还可以将预先设置的基准分类信息转换为所需要的数据格式。进而,可以将转换数据格式后的多个样本图像输入特征提取模型,分别得到每个样本图像的特征信息。该特征信息可以是特征矩阵或特征向量,此处不作限定。将得到的每个样本图像的特征信息,作为每个属性分类模型的输入,分别输入每种属性对应的属性分类模型,输出得到每个样本图像对应的每种属性的分类信息。例如,样本图像1通过计算网络得到的分类信息可以是“性别为女、发型为短发”,样本图像2通过计算网络得到的分类信息可以是“性别为女、发型为长发”。通过计算网络得到的分类信息可能与预先设置的基准分类信息存在误差。
可选的,不同类型的对象可以对应不同的计算网络,即不同类型的对象可以具有对应的特征提取模型与多个属性分类模型。在训练的过程中,可以获取特定对象类型的样本图像进行训练。例如,如果获取的是人物对应的样本图像,则训练出的特征提取模型与多个属性分类模型用于提取人物图像的多种属性的分类信息;如果获取的是车辆对应的样本图像,则训练出的特征提取模型与多个属性分类模型用于提取车辆图像的多种属性的分类信息。
在步骤102中,根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型。
在实施中,通过上述过程中得到的每个样本图像对应的多种属性的分类信息,与预设的每个样本图像对应的多种属性的基准分类信息可能存在误差。训练的目的在于,减少得到的分类信息与预设的基准分类信息之间的误差。因此,可以根据每个样本图像对应的多种属性的分类信息以及预设的每个样本图像对应的多种属性的基准分类信息之间的误差,分别对特征提取模型与多个属性分类模型进行模型参数调整。服务器可以继续获取其他的样本图像,基于上述过程继续对模型参数进行调整。当每个样本图像对应的多种属性的分类信息以及预设的每个样本图像对应的多种属性的基准分类信息之间的误差达到预设范围内时,可以认为训练完成,即得到训练后的特征提取模型与多个训练后的属性分类模型。
可选的,特征提取模型的训练过程可以如下:根据每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在多个样本图像中所占的比例值,得到第一比例值集合;根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在多个样本图像中所占的比例值,得到第二比例值集合;基于第一损失函数、第一比例值集合中每种属性对应的比例值、以及第二比例值集合中每种属性对应的比例值,确定特征提取模型对应的修正数据;基于特征提取模型对应的修正数据,对特征提取模型进行模型参数调整,得到训练后的特征提取模型。
在实施中,对特征提取模型进行训练的目的在于,使得得到的每种属性的概率分布信息接近于基准的概率分布信息,实现同类属性聚合、异类属性远离。例如,对于戴眼镜的属性,可以在得到的所有样本图像的分类信息中,统计具有“戴眼镜”属性的样本图像的数目,并将上述数目除以样本图像的总数目,计算具有“戴眼镜”属性的样本图像的比例值(如0.3)。同时,可以在预先设置的所有样本图像的基准分类信息中,统计具有“戴眼镜”属性的样本图像的数目,并将上述数目除以样本图像的总数目,计算具有“戴眼镜”属性的样本图像的比例值(如0.4)。
对预先设置的所有属性,都可以进行上述处理得到每个属性对应的比例值,在得到的分类信息中统计得到的比例值归为第一比例值集合,在预先设置的基准分类信息中统计的到的比例值归为第二比例值集合。将上述第一比例值集合中的比例值与在上述第二比例值集合中对应的比例值,通过第一损失函数计算得到特征提取模型对应的修正数据。该损失函数可以是center loss(中心损失函数),此处不作限定。具体的,可以是根据上述损失函数,计算其梯度信息,作为修正数据,并将修正数据与原模型参数进行相乘,对模型参数进行调整。服务器可以继续获取其他的样本图像,基于上述过程继续对特征提取模型的模型参数进行调整。当上述损失函数达到预设范围内时,可以认为训练完成,得到训练后的特征提取模型。
可选的,属性分类模型的训练过程可以如下:在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是多种属性中的任一属性,分类j是属性i对应的所有分类中的任一分类;在预设的每个样本图像对应的属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;根据属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及对应每个分类的基准分类信息所占的比例值,确定属性i的属性分类模型对应的修正数据;分别基于多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
在实施中,对属性分类模型进行训练的目的在于,使得得到的分类信息接近于对应的预先设置的基准分类信息。上述过程中得到的分类信息可以是向量的形式,以衣着颜色的属性为例,假设衣着颜色可以有“红色”、“黑色”、“白色”三种分类结果。如果得到的分类信息为[0.2,0.7,0.3],其中,各个向量元素可以表示有0.2的概率为红色、有0.7的概率为黑色、有0.3的概率为白色,判断得到取值最大的为0.7,则此时可以认为对应图片中人物的衣着颜色为黑色。衣着颜色为黑色的基准分类信息可以是[0,1,0],即分类结果为“黑色”的属性值0.7对应的基准属性值为1。在得到的所有样本图像的分类信息中,选取出分类结果中衣着颜色为“黑色”的所有样本图像,并将对应的属性值提取出来,例如,样本图像1、4、6的衣着颜色分类结果都为“黑色”,其对应的属性值分别为0.9、0.8、0.7。
进而,可以将各个衣着颜色分类结果都为“黑色”的属性值与对应的基准属性值,通过第二损失函数计算得到衣着颜色的属性分类模型对应的“黑色”分类的修正数据。该损失函数可以是softmax loss函数,此处不作限定。同理,分别计算得到“红色”分类的修正数据、“白色分类”的修正数据,整合得到衣着颜色的属性分类模型对应的修正数据。属性分类模型对应的修正数据可以是矩阵的形式,此处不作限定。
在属性分类模型训练的过程中,对于概率分布较小的属性分类,经过上述得到的修正数据的过程,其对应的修正数据可能也比较小,调整后的属性分类模型对该属性分类的分类结果准确性仍然比较低,可能需要更多次的调整才能训练完成。因此,在计算修正数据的过程中,可以将每个分类的基准分类信息的概率分布信息考虑进来,让概率分布较小的属性分类与概率分布较大的属性分类的修正数据对各自的属性分类模型的影响相同或相似。具体的,对于任一属性,可以在预先设置的基准分类信息中,统计该属性对应的每个分类的基准分类信息所占的比例。例如,对于戴眼镜的属性,可以在所有的样本图像预先设置的基准分类信息中,统计属性为“戴眼镜”的所有样本图像的数目,将上述数目除以样本图像的总数目,可以得到“戴眼镜”所占的比例值(如0.4)。同理,可以得到“未戴眼镜”所占的比例值(如0.6)。基于上述比例值,可以确定每种分类结果对应的修正数据系数,例如,“戴眼镜”对应的修正数据系数可以为0.6,“未戴眼镜”对应的修正数据系数可以为0.4。确定修正系数的规则可以是基于归一化的规则,此处不作限定。进而,可以将上述过程中得到的修正数据乘上相应的修正数据系数,得到权重调整后的修正数据,整合得到戴眼镜的属性分类模型对应的修正数据。
服务器可以继续获取其他的样本图像,基于上述过程继续对衣着颜色的属性分类模型的模型参数进行调整。当上述损失函数达到预设范围内时,可以认为训练完成,得到训练后的衣着颜色的属性分类模型。同理,其他的属性分类模型经过上述训练过程,得到多个训练后的属性分类模型,此处不再赘述。
可选的,可以在已有的模型基础上,添加新的属性分类模型,相应的处理可以如下:添加至少一个新增属性对应的属性分类模型;将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入包含至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含至少一个新增属性的多种属性的分类信息;根据每个样本图像对应的包含至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含至少一个新增属性的多种属性的基准分类信息,分别对特征提取模型与包含至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入包含至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到目标图像对应的包含至少一个新增属性的多种属性的分类信息。
如图3所示,当需要新添加属性时,可以为该新添加的属性建立对应的属性分类模型,添加进原有的属性分类模型中,并且在训练过程中,预先设置的样本图像的基准分类信息需要添加对应的基准分类信息。从而,可以基于上述训练过程对特征提取模型与包含新添加的属性分类模型的多个属性分类模型进行训练,具体过程此处不再赘述。这样,只需要付出比较少的计算空间代价,就可以对新添加的属性进行分类信息的获取。
可选的,可以根据以下公式,计算属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj
其中,Xj’为属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值。
根据属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定属性i的属性分类模型对应的修正数据。
在实施中,以上述戴眼镜的属性为例,可以在所有的样本图像预先设置的基准分类信息中,统计属性为“戴眼镜”的所有样本图像的数目,将上述数目除以样本图像的总数目,可以得到“戴眼镜”所占的比例值(如0.4)。同理,可以得到“未戴眼镜”所占的比例值(如0.6)。将得到的比例值通过上述公式,可以得到“戴眼镜”对应的修正数据为Xj’|j=“戴眼镜”=Xj|j=“戴眼镜”×(0.4×0.6)/0.4,即Xj’|j=“戴眼镜”=0.6×Xj|j=“戴眼镜”,Xj|j=“戴眼镜”为上述未考虑“戴眼镜”的概率分布信息得到的修正数据。同理,可以得到“未戴眼镜”对应的修正数据为Xj’|j=“未戴眼镜”=0.4×Xj|j=“未戴眼镜”。进而,可以将“戴眼镜”对应的修正数据与“未戴眼镜”对应的修正数据进行整合,得到戴眼镜的属性分类模型对应的修正数据。后续处理与上述过程相同,此处不再赘述。
在步骤103中,当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入多个训练后的属性分类模型,得到目标图像对应的多种属性的分类信息。
在实施中,当特征提取模型与多个属性分类模型训练完成后,可以用于对未知属性分类信息的图像进行获取。当服务器获取到待获取分类信息的目标图像时,可以将该目标图像转换为后续处理所需的数据格式,然后,可以将转换数据格式后的目标图像输入训练后的特征提取模型,输出得到目标图像对应的目标特征信息。进而,可以将得到的目标特征信息作为输入,分别输入每种属性对应的属性分类模型,输出得到目标图像中每种属性的分类信息。
可选的,服务器可以对视频图像帧进行属性分类信息获取,相应的处理可以如下:获取视频采集设备采集到的视频图像帧,如果检测到视频图像帧中包含对应目标监控对象类型的区域图像,则将区域图像作为待获取分类信息的目标图像。
如图4所示,具体的步骤可以如下:
在步骤1031中,视频采集设备采集视频图像帧,将视频图像帧发送给服务器。
在实施中,视频采集设备可以是监控摄像头,对监控区域进行视频监控。视频图像帧中可以出现多个包含对应监控对象类型的区域图像,例如可以出现多个人物,或者可以同时出现人物与车辆,此处不做限定,皆在本方案可处理的范围内。服务器可以用于对监控图像中出现的人物、车辆等特定监控对象类型,进行属性分类信息的获取。视频采集设备将采集到的视频图像发送给服务器。
在步骤1032中,服务器获取视频采集设备采集到的视频图像帧,对视频图像帧进行检测,得到包含对应目标监控对象类型的区域图像,作为待获取分类信息的目标图像。
在实施中,服务器在接收到视频图像后,可以对每一个视频图像帧进行检测。当检测到符合监控对象类型的区域图像时,例如检测到人物的图像或车辆的图像时,可以将上述区域图像截取下来,并且可以将区域图像转换为后续处理所需的数据格式。
在步骤1033中,服务器将目标图像输入训练后的特征提取模型,输出得到对应的目标特征信息,将目标特征信息分别输入多个属性分类模型,输出得到目标图像对应的多种属性的分类信息。
在实施中,服务器可以将转换数据格式后的区域图像输入训练后的特征提取模型,输出得到目标图像对应的目标特征信息。进而,可以将得到的目标特征信息作为输入,分别输入每种属性对应的属性分类模型,输出得到目标图像中每种属性的分类信息。具体过程与上述过程相同或相类似,此处不再赘述。可选的,还可以根据区域图像对应的监控对象类型,获取对应的特征提取模型与多个属性提取模型进行后续处理,此处不再赘述。例如,如果区域图像对应的监控对象类型为人物,则可以获取人物对应的特征提取模型与多个属性提取模型,进行后续处理。如图5所示,经过上述过程,可以得到该视频图像帧中的预设属性的分类信息。
可选的,还可以根据需要仅仅对部分属性进行分类,相应的处理可以如下:当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入至少一种目标属性对应的训练后的属性分类模型,得到目标图像对应的至少一种目标属性的分类信息。
在实施中,对于目标图像,可能不需要获取所有预设的属性,则可以将需要提取的至少一种目标属性的标识与目标图像一起发送至服务器。当服务器接收到目标图像与需要提取的目标属性的标识时,可以调用上述特征提取模型以及需要提取的目标属性对应的属性分类模型。进而,服务器可以将转换数据格式后的目标图像输入训练后的特征提取模型,输出得到目标图像对应的目标特征信息。进而,可以将得到的目标特征信息作为输入,分别输入调用的属性分类模型,输出得到目标图像中所需属性的分类信息。这样,可以不获取不必要的属性的分类信息,减少服务器的计算量,提高获取图像的属性的分类信息的效率。
本公开实施例中,服务器将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入多个训练后的属性分类模型,得到目标图像对应的多种属性的分类信息。这样,一个特征提取模型提取出来的特征信息,可以同时给多个属性分类模型作为输入,不再需要多次进行特征提取,从而,可以提高获取图像的属性的分类信息的效率。
本公开又一示例性实施例提供了一种获取属性的分类信息的装置,如图6所示,该装置包括:
第一获取模块610,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
第一训练模块620,用于根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对所述特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;
第二获取模块630,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
可选的,所述第一训练模块620,用于:
根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;
根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;
基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;
基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型。
可选的,所述第一训练模块620,用于:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
可选的,所述第一训练模块620,用于:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
可选的,如图7所示,所述装置,还包括:
采集模块640,用于获取视频采集设备采集到的视频图像帧,如果检测到所述视频图像帧中包含对应目标监控对象类型的区域图像,则将所述区域图像作为待获取分类信息的目标图像。采集模块可以是视频采集设备,如摄像头等。
可选的,所述第二获取630模块,用于:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
可选的,如图8所示,所述装置还包括:
添加模块650,用于添加至少一个新增属性对应的属性分类模型;
第三获取模块660,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
第二训练模块670,用于根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
第四获取模块680,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例中,服务器将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入多个训练后的属性分类模型,得到目标图像对应的多种属性的分类信息。这样,一个特征提取模型提取出来的特征信息,可以同时给多个属性分类模型作为输入,不再需要多次进行特征提取,从而,可以提高获取图像的属性的分类信息的效率。
需要说明的是:上述实施例提供的获取属性的分类信息的装置在获取属性的分类信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的获取属性的分类信息的装置与获取属性的分类信息的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本公开再一示例性实施例提供了一种服务器。
参照图9,服务器900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理部件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述获取属性的分类信息的方法。
服务器900还可以包括一个电源组件926被配置为执行服务器900的电源管理,一个有线或无线网络接口950被配置为将服务器900连接到网络,和一个输入输出(I/O)接口958。服务器900可以操作基于存储在存储器932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
服务器900可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对所述特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;
当获取到待获取属性的分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
可选的,根据所述每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型,包括:
根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;
根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;
基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;
基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型。
可选的,根据所述每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述多个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型,包括:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
可选的,所述根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据,包括:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
可选的,所述特征提取模型为目标监控对象类型对应的特征提取模型,所述属性分类模型为目标监控对象类型对应的属性分类模型,所述当获取到待获取分类信息的目标图像时,将所述目标图像输入特征提取模型之前,还包括:
获取视频采集设备采集到的视频图像帧,如果检测到所述视频图像帧中包含对应目标监控对象类型的区域图像,则将所述区域图像作为待获取分类信息的目标图像。
可选的,所述当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息,包括:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
可选的,所述方法还包括:
添加至少一个新增属性对应的属性分类模型;
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
本公开实施例中,服务器将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,分别对特征提取模型与所述多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与多个训练后的属性分类模型;当获取到待获取分类信息的目标图像时,将目标图像输入训练后的特征提取模型,得到目标特征信息,将目标特征信息分别输入多个训练后的属性分类模型,得到目标图像对应的多种属性的分类信息。这样,一个特征提取模型提取出来的特征信息,可以同时给多个属性分类模型作为输入,不再需要多次进行特征提取,从而,可以提高获取图像的属性的分类信息的效率。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种获取属性的分类信息的方法,其特征在于,所述方法包括:
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述多个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型;
根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;
根据所述预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;
基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;
基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型;
当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
2.根据权利要求1所述的方法,其特征在于,根据所述每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述多个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型,包括:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据,包括:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
4.根据权利要求1所述的方法,其特征在于,所述当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息,包括:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
添加至少一个新增属性对应的属性分类模型;
将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
6.一种获取属性的分类信息的装置,其特征在于,所述装置包括:
第一获取模块,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入多个属性分类模型,得到每个样本图像对应的多种属性的分类信息;
第一训练模块,用于根据每个样本图像对应的多种属性的分类信息、以及预设的每个样本图像对应的多种属性的基准分类信息,对所述多个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型;
第一训练模块,用于根据所述每个样本图像对应的多种属性的分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第一比例值集合;根据预设的每个样本图像对应的多种属性的基准分类信息,确定具有每种属性的样本图像分别在所述多个样本图像中所占的比例值,得到第二比例值集合;基于第一损失函数、所述第一比例值集合中每种属性对应的比例值、以及所述第二比例值集合中每种属性对应的比例值,确定所述特征提取模型对应的修正数据;基于所述特征提取模型对应的修正数据,对所述特征提取模型进行模型参数调整,得到训练后的特征提取模型;
第二获取模块,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述多个训练后的属性分类模型,得到所述目标图像对应的多种属性的分类信息。
7.根据权利要求6所述的装置,其特征在于,所述第一训练模块,用于:
在每个样本图像对应的属性i的分类信息中,获取对应的分类结果为分类j的分类信息,基于第二损失函数、所述对应的分类结果为分类j的分类信息、以及所述属性i对应的预设基准值,确定所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,其中,属性i是所述多种属性中的任一属性,所述分类j是所述属性i对应的所有分类中的任一分类;
在预设的每个样本图像对应的所述属性i的基准分类信息中,分别确定对应每个分类的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的修正数据、以及所述对应每个分类的基准分类信息所占的比例值,确定所述属性i的属性分类模型对应的修正数据;
分别基于所述多个属性分类模型中的每个属性分类模型对应的修正数据,对每个属性分类模型进行模型参数调整,得到多个训练后的属性分类模型。
8.根据权利要求7所述的装置,其特征在于,所述第一训练模块,用于:
根据以下公式,计算所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据:
Xj’=Xj×(A1×A2×……×An)/Aj,其中,Xj’为所述属性i的属性分类模型中与分类j相对应的模型部分的进行权重调整后的修正数据,Xj为所述属性i的属性分类模型中与分类j相对应的模型部分的修正数据,A1、A2、……An为所述对应每个分类的基准分类信息所占的比例值,Aj为对应分类j的基准分类信息所占的比例值;
根据所述属性i的属性分类模型中与每个分类相对应的模型部分的进行权重调整后的修正数据,确定所述属性i的属性分类模型对应的修正数据。
9.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
采集模块,用于获取视频采集设备采集到的视频图像帧,如果检测到所述视频图像帧中包含对应目标监控对象类型的区域图像,则将所述区域图像作为待获取分类信息的目标图像。
10.根据权利要求6所述的装置,其特征在于,所述第二获取模块,用于:
当获取到待获取分类信息的目标图像以及至少一种目标属性的标识时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述至少一种目标属性对应的训练后的属性分类模型,得到所述目标图像对应的所述至少一种目标属性的分类信息。
11.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
添加模块,用于添加至少一个新增属性对应的属性分类模型;
第三获取模块,用于将多个样本图像,输入特征提取模型,分别得到每个样本图像的特征信息,将所述每个样本图像的特征信息分别输入包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型,得到每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息;
第二训练模块,用于根据每个样本图像对应的包含所述至少一个新增属性的多种属性的分类信息、以及预设的每个样本图像对应的包含所述至少一个新增属性的多种属性的基准分类信息,分别对所述特征提取模型与所述包含所述至少一个新增属性对应的属性分类模型的多个属性分类模型进行模型参数调整,得到训练后的特征提取模型与包含至少一个新增属性对应的训练后的属性分类模型的多个训练后的属性分类模型;
第四获取模块,用于当获取到待获取分类信息的目标图像时,将所述目标图像输入所述训练后的特征提取模型,得到目标特征信息,将所述目标特征信息分别输入所述包含所述至少一个新增属性对应的属性分类模型的多个训练后的属性分类模型,得到所述目标图像对应的包含所述至少一个新增属性的多种属性的分类信息。
12.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至5所述的任一获取属性的分类信息的方法。
CN201711316202.7A 2017-12-12 2017-12-12 获取属性的分类信息的方法和装置 Active CN109919166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711316202.7A CN109919166B (zh) 2017-12-12 2017-12-12 获取属性的分类信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711316202.7A CN109919166B (zh) 2017-12-12 2017-12-12 获取属性的分类信息的方法和装置

Publications (2)

Publication Number Publication Date
CN109919166A CN109919166A (zh) 2019-06-21
CN109919166B true CN109919166B (zh) 2021-04-09

Family

ID=66956633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711316202.7A Active CN109919166B (zh) 2017-12-12 2017-12-12 获取属性的分类信息的方法和装置

Country Status (1)

Country Link
CN (1) CN109919166B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929622B (zh) 2019-11-15 2024-01-05 腾讯科技(深圳)有限公司 视频分类方法、模型训练方法、装置、设备及存储介质
CN112307262A (zh) * 2020-02-28 2021-02-02 钱秀华 一种图像识别方法和服务器
CN111652165B (zh) * 2020-06-08 2022-05-17 北京世纪好未来教育科技有限公司 口型评测方法、设备及计算机存储介质
CN113033281B (zh) * 2020-12-16 2024-04-09 浙江大华技术股份有限公司 一种对象重识别的方法、装置及设备
CN115237605B (zh) * 2022-09-19 2023-03-28 四川大学 Cpu与gpu间的数据传输方法及计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740903A (zh) * 2016-01-29 2016-07-06 北京大学 多属性识别方法及装置
CN105825191A (zh) * 2016-03-23 2016-08-03 厦门美图之家科技有限公司 基于人脸多属性信息的性别识别方法、系统及拍摄终端
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106778820A (zh) * 2016-11-25 2017-05-31 北京小米移动软件有限公司 识别模型确定方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740903A (zh) * 2016-01-29 2016-07-06 北京大学 多属性识别方法及装置
CN105825191A (zh) * 2016-03-23 2016-08-03 厦门美图之家科技有限公司 基于人脸多属性信息的性别识别方法、系统及拍摄终端
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
CN106778820A (zh) * 2016-11-25 2017-05-31 北京小米移动软件有限公司 识别模型确定方法及装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置

Also Published As

Publication number Publication date
CN109919166A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109919166B (zh) 获取属性的分类信息的方法和装置
US20190102603A1 (en) Method and apparatus for determining image quality
CN110991380B (zh) 人体属性识别方法、装置、电子设备以及存储介质
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
US20160275343A1 (en) System and method for recognizing offensive images
CN103973977A (zh) 一种预览界面的虚化处理方法、装置及电子设备
CN111695495B (zh) 人脸识别方法、电子设备及存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
US11501564B2 (en) Mediating apparatus and method, and computer-readable recording medium thereof
CN106056083B (zh) 一种信息处理方法及终端
CN110222718A (zh) 图像处理的方法及装置
CN109725721B (zh) 用于裸眼3d显示系统的人眼定位方法及系统
CN103841410A (zh) 基于图像特征信息的半参考视频QoE客观评估方法
CN115620384B (zh) 模型训练方法、眼底图像预测方法及装置
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN113657195A (zh) 人脸图像识别方法、设备、电子装置和存储介质
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN111582278B (zh) 人像分割方法、装置及电子设备
WO2021078037A1 (zh) 人脸皮肤检测方法及装置
CN116959113A (zh) 步态识别方法及装置
CN112396016A (zh) 一种基于大数据技术的人脸识别系统
CN112101185A (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
CN112036277A (zh) 一种人脸识别方法、电子设备以及计算机可读存储介质
CN112950641B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113127663B (zh) 目标图像搜索方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant