CN112508135A - 模型训练方法、行人属性预测方法、装置及设备 - Google Patents

模型训练方法、行人属性预测方法、装置及设备 Download PDF

Info

Publication number
CN112508135A
CN112508135A CN202110144322.3A CN202110144322A CN112508135A CN 112508135 A CN112508135 A CN 112508135A CN 202110144322 A CN202110144322 A CN 202110144322A CN 112508135 A CN112508135 A CN 112508135A
Authority
CN
China
Prior art keywords
attribute
attributes
correlation
pedestrian
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110144322.3A
Other languages
English (en)
Other versions
CN112508135B (zh
Inventor
董帅
冯子钜
叶润源
毛永雄
张伟熙
黄迪
任力
邹昆
李文生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Xidao Technology Co ltd
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
Zhongshan Xidao Technology Co ltd
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Xidao Technology Co ltd, University of Electronic Science and Technology of China Zhongshan Institute filed Critical Zhongshan Xidao Technology Co ltd
Priority to CN202110144322.3A priority Critical patent/CN112508135B/zh
Publication of CN112508135A publication Critical patent/CN112508135A/zh
Application granted granted Critical
Publication of CN112508135B publication Critical patent/CN112508135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Abstract

本申请提供一种模型训练方法、行人属性预测方法、装置及设备,涉及计算机视觉领域。该方法通过在模型训练过程中加入属性关系约束损失值,使得模型在训练过程中可以学习到属性之间的相关性对预测结果的影响,这样训练后的模型在进行属性预测时,则会将属性之间的相关性也考虑在内,可有效提高模型的属性预测精度。

Description

模型训练方法、行人属性预测方法、装置及设备
技术领域
本申请涉及计算机视觉领域,具体而言,涉及一种模型训练方法、行人属性预测方法、装置及设备。
背景技术
随着互联网的发展,使用机器代替人工对图像中的行人属性进行分析已是比较常见的做法。其中行人属性是指在行人图像中观察到的特征,例如,性别、年龄、衣着类型等。
目前行人属性识别方法中大多都单独分析每一个属性,即对各个属性进行独立预测,而这种方式在进行多个属性预测时,预测精度较低。
发明内容
本申请实施例的目的在于提供一种模型训练方法、行人属性预测方法、装置及设备,用以改善现有技术中属性预测精度较低的问题。
第一方面,本申请实施例提供了一种模型训练方法,用于对行人属性预测模型进行训练,所述方法包括:将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;基于每个属性的第一预测结果计算获得属性预测损失值;获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
在上述实现过程中,通过在模型训练过程中加入属性关系约束损失值,使得模型在训练过程中可以学习到属性之间的相关性对预测结果的影响,这样训练后的模型在进行属性预测时,则会将属性之间的相关性也考虑在内,可有效提高模型的属性预测精度。
可选地,所述获取所述多个属性之间的属性关系约束损失值,包括:
获取表征所述多个属性中两两属性之间的第一相关性的提升度;
根据所述提升度确定用于约束两两属性之间的第一相关性的约束函数;
将两两属性各自的第一预测结果代入所述约束函数中,计算获得相应的约束值;
根据所述约束值与所述提升度,获取所述属性关系约束损失值。
在上述实现过程中,通过针对不同提升度获得对应的约束函数,以使得在模型训练过程中可学习不同相关性类型对预测结果的影响,这样在进行预测时,可考虑属性之间的相关性,提高对属性的预测精度。
可选地,通过以下公式计算获得所述属性关系约束损失值:
Figure 275494DEST_PATH_IMAGE001
其中,
Figure 192634DEST_PATH_IMAGE002
表示所述属性关系约束损失值,m表示多个属性的个数,
Figure 159322DEST_PATH_IMAGE003
表示第i个属 性与第j个属性之间的提升度,
Figure 492214DEST_PATH_IMAGE004
表示第i个属性与第j个属性之间的约束函数,
Figure 555854DEST_PATH_IMAGE005
表示第i个属性对应的第一预测结果,
Figure 565267DEST_PATH_IMAGE006
表示第j个属性对应的第一预测结果。
在上述实现过程中,将提升度作为属性关系约束的权值,表明属性间存在相关性的概率越大,则越要施加更大的损失,从而促使模型在训练过程中学习属性之间的相关性对预测结果的影响。
可选地,所述获取表征所述多个属性中两两属性之间的相关性的提升度,包括:
从预先构建的第一提升度矩阵中查找获得表征所述多个属性中两两属性之间的第一相关性的提升度;
其中,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性。
在上述实现过程中,通过提升度矩阵为存储提升度,可便于对各个属性之间的相关性进行维护。
可选地,所述多张训练图像为在第一场景中采集的图像,所述方法还包括:
采集第二场景中的多张目标图像,所述第二场景为与所述第一场景不同的场景;
将所述多张目标图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对所述多个属性中每个属性的第二预测结果;
根据每个属性的第二预测结果获取所述多个属性之间的第二相关性;
确定所述第一相关性与所述第二相关性之间的差异;
若所述差异小于预设差异值,则利用所述多张目标图像与所述多张训练图像重新对所述行人属性预测模型进行训练。
在上述实现过程中,为了便于行人属性预测模型在第二场景中应用,采集少量的第二场景中的目标图像,将目标图像与训练图像一起作为训练样本对行人属性预测模型进行重新训练,可有效减少模型训练的数据量且提高模型在新场景中的适用性。
可选地,所述方法还包括:
获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性;
获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征对应两个属性之间的第二相关性;
所述确定所述第一相关性与所述第二相关性之间的差异,包括:
比较所述第一提升度矩阵与所述第二提升度矩阵中对应元素值的差值是否小于预设阈值;
若是,则确定所述差异小于预设差异值。
在上述实现过程中,在无法直接比较第一相关性和第二相关性之间的差异时,可将其转化为比较两个提升度矩阵中的元素值,如此快速比较第一相关性和第二相关性之间的差异。
可选地,所述方法还包括:
获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征两个属性之间的第一相关性;
根据所述第一提升度矩阵生成属性之间的第一关系图;
获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征两个属性之间的第二相关性;
根据所述第二提升度矩阵生成属性之间的第二关系图;
所述确定所述第一相关性与所述第二相关性之间的差异,包括:
比较所述第一关系图与所述第二关系图中的连通度是否相等;
若是,则确定所述差异小于预设差异值。
在上述实现过程中,在无法直接比较第一相关性和第二相关性之间的差异时,可将其转化为比较两个关系图的连通度,如此快速比较第一相关性和第二相关性之间的差异。
可选地,所述方法还包括:
获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性;
根据所述第三相关性确定与所述至少一个新增属性相关的目标候选属性;
从所述多张训练图像中确定标注有所述目标候选属性的样本图像;
对所述样本图像标注所述至少一个新增属性;
利用新标注的样本图像与所述多张训练图像重新训练所述行人属性预测模型。
在上述实现过程中,为了便于模型适应对新增属性的预测,可通过属性之间的相关性来获取相应的样本图像,然后对模型进行重新训练,以提高部分属性样本数量受限时,其模型预测的精度。
可选地,所述获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性,包括:
确定从所述多个属性中选择的与至少一个新增属性相关的至少一个候选属性;
从所述多张训练图像中确定标注有所述至少一个候选属性的目标训练图像;
对所述目标训练图像标注所述至少一个新增属性;
根据新标注的目标训练图像,获取所述至少一个新增属性与所述至少一个候选属性中两两属性之间的第三相关性。
在上述实现过程中,通过从训练图像中确定标注有与新增属性相关的候选属性的目标训练图像,然后从目标训练图像中可有效且快速统计出与新增属性与候选属性的相关性,从而可实现新增属性的快速扩展,并快速实现模型对新增属性的适用性。
第二方面,本申请实施例提供了一种行人属性预测方法,所述方法包括:
获取待预测图像;
将所述待预测图像输入行人属性预测模型中,获得所述行人属性预测模型针对多个属性中每个属性的预测结果;
其中,所述行人属性预测模型为通过第一方面提供的模型训练方法训练获得的。
在上述实现过程中,通过对行人属性预测模型进行预先训练,可使得模型在预测时将属性之间的相关性也考虑在内,使得模型对每个属性的预测精度更高。
第三方面,本申请实施例提供一种模型训练装置,用于对行人属性预测模型进行训练,所述装置包括:
预测模块,用于将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;
属性损失获取模块,用于基于每个属性的第一预测结果计算获得属性预测损失值;
关系损失获取模块,用于获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;
参数更新模块,用于根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
可选地,所述关系损失获取模块,用于获取表征所述多个属性中两两属性之间的第一相关性的提升度;根据所述提升度确定用于约束两两属性之间的第一相关性的约束函数;将两两属性各自的第一预测结果代入所述约束函数中,计算获得相应的约束值;根据所述约束值与所述提升度,获取所述属性关系约束损失值。
可选地,通过以下公式计算获得所述属性关系约束损失值:
Figure 832301DEST_PATH_IMAGE001
其中,
Figure 968884DEST_PATH_IMAGE002
表示所述属性关系约束损失值,m表示多个属性的个数,
Figure 824713DEST_PATH_IMAGE003
表示第i个属 性与第j个属性之间的提升度,
Figure 818077DEST_PATH_IMAGE004
表示第i个属性与第j个属性之间的约束函数,
Figure 510090DEST_PATH_IMAGE005
表示第i个属性对应的第一预测结果,
Figure 434052DEST_PATH_IMAGE006
表示第j个属性对应的第一预测结果。
可选地,所述关系损失获取模块,用于从预先构建的第一提升度矩阵中查找获得表征所述多个属性中两两属性之间的第一相关性的提升度;其中,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性。
可选地,所述多张训练图像为在第一场景中采集的图像,所述装置还包括:
第一重训练模块,用于采集第二场景中的多张目标图像,所述第二场景为与所述第一场景不同的场景;将所述多张目标图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对所述多个属性中每个属性的第二预测结果;根据每个属性的第二预测结果获取所述多个属性之间的第二相关性;确定所述第一相关性与所述第二相关性之间的差异;若所述差异小于预设差异值,则利用所述多张目标图像与所述多张训练图像重新对所述行人属性预测模型进行训练。
可选地,所述装置还包括:
提升度矩阵获取模块,用于获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性;获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征对应两个属性之间的第二相关性;
所述第一重训练模块,用于比较所述第一提升度矩阵与所述第二提升度矩阵中对应元素值的差值是否小于预设阈值;若是,则确定所述差异小于预设差异值。
可选地,所述装置还包括:
关系图获取模块,用于获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征两个属性之间的第一相关性;根据所述第一提升度矩阵生成属性之间的第一关系图;获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征两个属性之间的第二相关性;根据所述第二提升度矩阵生成属性之间的第二关系图;
所述第一重训练模块,用于比较所述第一关系图与所述第二关系图中的连通度是否相等;若是,则确定所述差异小于预设差异值。
可选地,所述装置还包括:
第二重训练模块,用于获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性;根据所述第三相关性确定与所述至少一个新增属性相关的目标候选属性;从所述多张训练图像中确定标注有所述目标候选属性的样本图像;对所述样本图像标注所述至少一个新增属性;利用新标注的样本图像与所述多张训练图像重新训练所述行人属性预测模型。
可选地,所述第二重训练模块,用于确定从所述多个属性中选择的与至少一个新增属性相关的至少一个候选属性;从所述多张训练图像中确定标注有所述至少一个候选属性的目标训练图像;对所述目标训练图像标注所述至少一个新增属性;根据新标注的目标训练图像,获取所述至少一个新增属性与所述至少一个候选属性中两两属性之间的第三相关性。
第四方面,本申请实施例提供一种行人属性预测装置,所述装置包括:
图像获取模块,用于获取待预测图像;
属性预测模块,用于将所述待预测图像输入行人属性预测模型中,获得所述行人属性预测模型针对多个属性中每个属性的预测结果;
其中,所述行人属性预测模型为通过第一方面提供的模型训练方法训练获得的。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种用于执行模型训练方法或行人属性预测方法的电子设备的结构示意图;
图2为本申请实施例提供的一种模型训练方法的流程图;
图3为本申请实施例提供的一种对行人属性预测模型在新场景中进行重新训练的过程示意图;
图4为本申请实施例提供的一种对行人属性预测模型在新增属性的应用场景下进行重训练的过程示意图;
图5为本申请实施例提供的一种对行人属性预测模型在新场景中且新增属性的应用场景下进行重训练的过程示意图;
图6为本申请实施例提供的一种行人属性预测模型的网络分支的结构示意图;
图7为本申请实施例提供的一种行人属性预测方法的流程图;
图8为本申请实施例提供的一种模型训练装置的结构框图;
图9为本申请实施例提供的一种行人属性预测装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种模型训练方法,通过在模型训练过程中加入属性关系约束损失值,使得模型在训练过程中可以学习到属性之间的相关性对预测结果的影响,这样训练后的模型在进行属性预测时,则会将属性之间的相关性也考虑在内,使得预测结果更准确。
请参照图1,图1为本申请实施例提供的一种用于执行模型训练方法或行人属性预测方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器110,例如CPU,至少一个通信接口120,至少一个存储器130和至少一个通信总线140。其中,通信总线140用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器110执行时,电子设备执行下述图2或图7所示方法过程。在电子设备执行模型训练方法时,其中存储器130可用于存储训练图像,以及预测结果等信息,处理器110即可用于根据损失值对模型的网络参数进行更新。
可以理解,图1所示的结构仅为示意,所述电子设备还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本申请实施例提供的一种模型训练方法的流程图,该方法包括如下步骤:
步骤S110:将多张训练图像输入行人属性预测模型中,获得行人属性预测模型输出的针对多个属性中每个属性的第一预测结果。
其中,多张训练图像可以是通过摄像头采集的某一场景中的图像,如商场、地铁等场所。行人的多个属性包括但不限于:年龄、性别、是否长发、是否穿裙子、是否带帽子等,在实际应用中,可以根据需求设定需要预测的多个属性。
在训练时,需要对训练图像进行标注,即标注训练图像中行人的属性,其标签数据可以是表征训练图像中行人所具有的属性的概率值,如为0或1,如对于属性“是否穿裙子”,如果某张训练图像中其行人有穿裙子,则该属性对应的标签数据即为1,若行人没有穿裙子,则该属性对应的标签数据为0,按照该方式即可对每张训练图像进行标注。
然后将携带有标签数据的多张训练图像输入行人属性预测模型中,获得行人属性预测模型输出的第一预测结果,其第一预测结果可以包括图像中行人所具有多个属性中每个属性的概率。
其中,行人属性预测模型可以为神经网络模型,如卷积神经网络模型、快速循环卷积神经网络模型、YOLO模型,或者是基于这些模型的改进模型等。在实际应用中,可以根据需求选择相应的模型作为行人属性预测模型。
步骤S120:基于每个属性的第一预测结果计算获得属性预测损失值。
行人属性预测模型可以输出每个属性的第一预测结果。在一些实施方式中,行人属性预测模型内部可以通过多个网络分支对多个属性进行预测,即每个网络分支用于输出其中一个属性的第一预测结果。
基于每个属性的第一预测结果与图像中该属性的标签数据的差异,通过相应的损失函数计算对应的属性预测损失值。其中,损失函数可以为交叉熵代价函数、均方误差、均方根误差等,实际应用中,可以根据需求选择一种损失函数进行损失值的计算。
其中,最后获得的属性预测损失值可以是指每个属性对应的损失值进行加和或者加权求和获得的,即属性预测损失值表示的是多个属性的预测损失之和。
步骤S130:获取多个属性之间的属性关系约束损失值。
一般行人的属性之间可能具有一定的相关性,如行人为长发,则其不可能是秃头,穿长裙的行人一般为女性,所以,有些属性之间具有一定的相关性。
属性关系约束损失值即为基于多个属性之间的第一相关性确定的,这样在模型训练过程中加入属性关系约束损失值,使得模型可以学习到属性之间的相关性对预测结果的影响,以提高模型对属性的预测精度。
步骤S140:根据属性预测损失值以及属性关系约束损失值更新行人属性预测模型的网络参数。
在进行网络参数更新时,可以将属性预测损失值和属性关系约束损失值进行加和或者加权求和的方式获得总损失值,然后可判断总损失值是否超出预设范围,若超出,则将总损失值回传行人属性预测模型中,对模型中的网络参数进行更新。
训练过程中,循环执行上述步骤,继续对行人属性预测模型进行训练,在损失函数达到收敛或者当迭代次数达到预设次数时,表示训练完成,则停止训练。
在上述实现过程中,通过在模型训练过程中加入属性关系约束损失值,使得模型在训练过程中可以学习到属性之间的相关性对预测结果的影响,这样训练后的模型在进行属性预测时,则会将属性之间的相关性也考虑在内,可有效提高模型的属性预测精度。
在一些实施方式中,属性之间的相关性可以用提升度来表征,提升度表示在含有X的条件下,同时含有Y的概率,与只看Y发生的概率之比。提升度反映了X与Y的相关性,提升度大于1且越高表明正相关性越高,提升度小于1且越低表明负相关性越高,提升度等于1则表明没有相关性。提升度的计算公式表示如下:
Figure 957437DEST_PATH_IMAGE007
有数据表明,行人属性之间并非是完全相互独立的,部分属性之间还存在有强相关关系。以公开属性分析数据集Wider Attribute为例,其计算出的各个属性之间的提升度如表1所示。
表1
Figure 324965DEST_PATH_IMAGE009
其中,表1中的“MA”表示属性“男性”,“LH”表示属性“长发”,“SG”表示属性“戴眼镜”,“HA”表示属性“戴帽子”,“TS”表示属性“穿短袖”,“LS”表示属性“穿长袖”,“FO”表示属性“穿正装”,“SH”表示属性“穿短裤”,“JF”表示属性“穿牛仔裤”,“LP”表示属性“穿长裤”,“SK”表示属性“穿裙子”,“FM”表示属性“戴口罩”,“LO”表示属性“衣服有明显Logo”,“ST”表示属性“穿条纹衣服”等属性。
可以理解地,上述表1中仅列出了部分属性之间的提升度,对于其他属性之间的提升度也可以根据相应数据集进行计算获得。
属性可以分为相对属性和二值属性,前者的值是连续的,比如年龄,后者的值是离散的,比如性别。对于二值属性,提升度的计算方法可以采用统计计数,对于相对属性,其提升度的计算方法可以先对属性进行区间离散化,再进行统计计数,当然也可以采用其他属性方法计算提升度。
用提升度来表示属性之间的相关性,在模型训练过程中,这些相关性可以作为先验知识来指导模型对行人属性的学习,利用这种先验知识对模型的训练进行约束,在优化损失函数的时候倾向于选择满足约束梯度减少的方向,使得最终训练的模型倾向于符合先验知识。这种约束类似于正则化约束,对模型的训练具有引导作用。例如,如果已知穿裙子的大概率为女性,将这作为一个先验知识,如果模型的预测结果包括男性和穿裙子,那么就该对预测结果加以惩罚,反之则进行奖励,如此可促使模型学习属性之间的相关性对预测结果的影响。
在一些实施方式中,获取属性关系约束损失值的方式如下:
获取表征多个属性中两两属性之间的第一相关性的提升度;
根据提升度确定用于约束两两属性之间的第一相关性的约束函数;
将两两属性各自的第一预测结果代入约束函数中,计算获得相应的约束值;
根据约束值与提升度,获取属性关系约束损失值。
其中,多个属性中两两属性之间的提升度可以从预先建立的表1(实际应用中表1包含更多的数据)中查找获得。
约束函数为根据上述的先验知识施加在损失函数中的正则项,其可以根据属性之间的相关性的类型设置不同的约束函数,如下表2所示:
表2
Figure 566590DEST_PATH_IMAGE010
Figure 22805DEST_PATH_IMAGE011
其中,x,y表示两个属性各自的第一预测结果。在获得多个属性中每两个属性之间的提升度后,可基于提升度判断两个属性的相关性的类型,如相关、不相关和单向相关,如属性1和属性2的提升度大于1,则表示两个属性正相关,小于1则表示两个属性负相关,等于1表示不相关,或者如属性1到属性2的提升度大于1,但是属性2到属性1的提升度小于1,则表示这两个属性单向相关。如此可根据两个属性的相关性的类型来选择对应的约束函数,然后将两个属性的第一预测结果代入到该约束函数中,计算出相应的约束值。如此,针对一对属性即可计算出一个约束值。
然后可通过以下公式计算获得所述属性关系约束损失值:
Figure 603959DEST_PATH_IMAGE001
其中,
Figure 939126DEST_PATH_IMAGE002
表示所述属性关系约束损失值,m表示多个属性的个数,
Figure 854998DEST_PATH_IMAGE003
表示第i个属 性与第j个属性之间的提升度,
Figure 933812DEST_PATH_IMAGE004
表示第i个属性与第j个属性之间的约束函数,
Figure 369473DEST_PATH_IMAGE005
表示第i个属性对应的第一预测结果,
Figure 328071DEST_PATH_IMAGE006
表示第j个属性对应的第一预测结果。
上式中,将属性之间的提升度作为属性关系约束的权值,表明属性间存在相关性的概率越大,则越要施加更大的损失,这样可促使模型学习属性之间的相关性。
在上述实现过程中,通过针对不同提升度获得对应的约束函数,以使得在模型训练过程中可学习不同相关性类型对预测结果的影响,这样在进行预测时,可考虑属性之间的相关性,提高对属性的预测精度。
另外,为了便于查找获得两个属性之间的提升度,还可以将表1中的数据转换为提升度矩阵,即提升度矩阵为一个二维矩阵,其中的每个元素值即表示两个属性之间的提升度。
而在样本不均衡时,可能导致提升度存在偏差,所以,还可以对提升度矩阵进行截 断处理,如
Figure 278709DEST_PATH_IMAGE012
;然后再从处理后的提升度矩 阵中查找获得多个属性中两两属性之间的提升度,在进行后续的计算。
可以理解地,对于提升度矩阵的处理方法还可以有其他方式,如归一化等,在此不一一列举。
所以,获得两两属性之间的提升度的方式可以是从预先构建的第一提升度矩阵中查找获得表征多个属性中两两属性之间的第一相关性的提升度,此时第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性。
其中,第一提升度矩阵也可以通过表1转换获得的提升度矩阵,这样可便于通过提升度矩阵对表1的数据进行维护。
另外,本申请实施例中的行人属性预测模型还可以为多任务模型,即该行人属性 预测模型除了可以进行属性预测外,还可以进行目标检测、人脸识别等,这样在训练时需要 考虑这些任务的综合损失如
Figure 98897DEST_PATH_IMAGE013
其中,
Figure 638332DEST_PATH_IMAGE014
为目标检测损失值,
Figure 580880DEST_PATH_IMAGE015
为人脸识别损失值,
Figure 956498DEST_PATH_IMAGE016
为属性预测损失值,
Figure 564066DEST_PATH_IMAGE017
为属性关系约束损失值。将这些损失值进行加和获得总损失后,再将总损失传回行人属 性预测模型中,对行人属性预测模型的网络参数进行更新。
在模型训练中加入了属性关系约束损失值后,其精度对比结果如表3所示。
表3
属性 无处理 样本增强 关系约束损失
Male 0.94223 0.95032 0.95454
Long Hair 0.84103 0.85980 0.87107
Sunglasses 0.67079 0.73428 0.73363
Hat 0.93659 0.94776 0.95258
T-shirt 0.77032 0.78928 0.80105
Long leeve 0.95492 0.96025 0.96469
Formal 0.78753 0.80842 0.82099
Shorts 0.90103 0.91059 0.91823
Jeans 0.73254 0.74618 0.76665
Long pants 0.96343 0.97111 0.97378
Skirt 0.82373 0.84545 0.85345
Face Mask 0.72519 0.73721 0.76067
Logo 0.87919 0.89125 0.89517
Stripe 0.59422 0.61599 0.64881
平均精度均值 0.82305 0.84056 0.85109
可见,在添加属性关系约束损失值后,可有效提升“戴口罩”和“穿条纹衣服”等属性的预测精度,而这些属性对应的样本数量(即训练图像)一般较少,所以,通过该方式可以在属性对应的样本数量较少时,提高其属性的预测精度。
另外,由于不同地区或不同场景下,其用户的偏好具有明显不同,因此属性也存在倾向性,如在北方,戴帽子、围围巾、穿羽绒服是比较常见的属性,而在南方地区则比较罕见;还比如在写字楼,身着正装、秃头、戴眼镜的人的比例比较高,而在居民社区,小孩子的比例比较高。所以,如果采用一个场景下的图像来训练行人属性预测模型,但是有的部分属性样本数量受限时,则将该行人属性预测模型应用在另一场景中时,则可能其准确率会在一定程度上受影响。
所以,若上述的多张训练图像为在第一场景中采集的图像,则本申请实施例中,还可以采集第二场景中的多张目标图像,第二场景为与第一场景不同的场景,然后将多张目标图像输入行人属性预测模型中,获得行人属性预测模型输出的针对每个属性的第二预测结果,再根据每个属性的第二预测结果获取多个属性之间的第二相关性,然后确定第一相关性与第二相关性之间的差异,若差异小于预设差异值,则利用多张目标图像与多张训练图像重新对行人属性预测模型进行训练。
其中,第一场景与第二场景不同可以理解为是图像所采集的区域不同,或者行人的属性趋向存在一定差异,如不同季节、不同环境、南方和北方,写字楼和居民社区等。
在将上述利用多张训练图像训练好的行人属性预测模型对多张目标图像中的行人属性进行预测,获得针对多个属性中每个属性的第二预测结果。根据第二预测结果获得多个属性之间的第二相关性的方式可以是通过第二预测结果计算每两个属性之间的提升度,即用提升度来表征第二相关性。
或者也可以对多张目标图像中的属性进行标注,根据标注数据来统计获得每两个属性之间的提升度。
在上述实现过程中,为了便于行人属性预测模型在第二场景中应用,采集少量的第二场景中的目标图像,将目标图像与训练图像一起作为训练样本对行人属性预测模型进行重新训练,可有效减少模型训练的数据量且提高模型在新场景中的适用性。
在一些实施方式中,为了便于比较第一相关性与第二相关性之间的差异,可以先获取表征第一相关性的第一提升度矩阵,第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性,以及获取表征第二相关性的第二提升度矩阵,第二提升度矩阵中的每个元素值表征对应两个属性之间的第二相关性。
其中,第一提升度矩阵采用上述实施例中所示的方式获得,而第二提升度矩阵可以是先根据每个属性的第二预测结果计算出每两个属性之间的提升度后,根据提升度构建的矩阵。
这样,在比较第一相关性和第二相关性之间的差异时,可以转化为比较第一提升度矩阵与第二提升度矩阵中对应元素值的差值是否小于预设阈值,若是,则表明第一相关性和第二相关性之间的差异小于预设差异值。
例如,依次遍历第一提升度矩阵的各个元素,然后查找到第二提升度矩阵中对应的元素,如将第一提升度矩阵如下所示:
Figure 36635DEST_PATH_IMAGE018
第二提升度矩阵如下所示:
Figure 87768DEST_PATH_IMAGE019
由于属性关系会随着场景变化而变化,所以不同场景下属性对应的提升度矩阵可能存在一定差异,这种差异可以用来评估行人属性预测模型是否适用于新场景的标准,所以,可以通过获取两个提升度矩阵中对应元素的差值来确定出差异。
在进行差值计算时,是将第一提升度矩阵中的元素
Figure 199949DEST_PATH_IMAGE020
与第二提升度矩阵中的元 素
Figure 424257DEST_PATH_IMAGE021
的元素值进行差值计算,i取0到m,j取0到n。这样可获得每个对应元素的差值,若这些 差值均小于预设阈值,则认为第一相似性与第二相似性之间的差异小于预设差异值。
其中,预设阈值可以根据实际需求设定,而预设差异值在这种情况下可能并不是实际的数值,其只是判断差异的标准,其可以等同于预设阈值。
而在一些其他方式中,还可以在有超过预设数量的差值小于预设阈值时,也可认为第一相似性与第二相似性之间的差异小于预设差异值,例如,第一提升度矩阵和第二提升度矩阵包括有16个元素,若预设数量设置为10,则在超过10个对应元素的差值小于预设阈值时,认为差异小于预设差异值,表示两个提升度矩阵相似性较大。
在上述实现过程中,在无法直接比较第一相关性和第二相关性之间的差异时,可将其转化为比较两个提升度矩阵中的元素值,如此快速比较第一相关性和第二相关性之间的差异。
在一些其他方式中,比较第一相关性与第二相关性之间的差异的方式还可以为:根据第一提升度矩阵生成属性之间的第一关系图以及根据第二提升度矩阵生成属性之间的第二关系图,然后比较第一关系图与第二关系图中的连通度是否相等,若是,则确定第一相关性与第二相关性之间的差异小于预设差异值。
其中,关系图是指有向连通图,其可以根据提升度矩阵中提升度的值来建立各个属性之间的关系图,如提升度大于1表示两个属性为强相关性,则在关系图中这两个属性作为一条边的两个节点,若提升度等于1,则在关系图中这两个属性之间不会有直接连接线,按照该方式即可构建两个关系图。
其连通度的计算方式可参照现有技术中的相关计算方式,在此不详细描述,若两个关系图的连通度相等,这认为第一提升度矩阵与第二提升度矩阵的相似性较大,即第一相关性与第二相关性之间的差异较小。
当然,还可以在两个关系图的连通度之间的差值小于预设值时,认为第一相关性与第二相关性之间的差异小于预设差异值。
在上述实现过程中,在无法直接比较第一相关性和第二相关性之间的差异时,可将其转化为比较两个关系图的连通度,如此快速比较第一相关性和第二相关性之间的差异。
当然,其判断第一相关性与第二相关之间的差异的方式还可以有其他方式,在此不一一举例说明。
在第一相关性与第二相关性之间的差异较小时,表明其行人属性预测模型比较能适应第二场景,所以可以将采集的少量的目标图像进行标注,然后一并和多张训练图像一起作为训练样本重新对行人属性预测模型进行训练,此时可只需采集和标注少量的目标图像即可,减少了工作量。
但是在第一相关性与第二相关性之间的差异较大时,即差异大于或等于预设差异值时,则认为该行人属性预测模型不适用于第二场景,此时可以重新采集大量的第二场景的目标图像,然后将这些目标图像与前述的训练图像一起作为训练样本对行人属性预测模型进行训练,以使得行人属性预测模型可以适用于第二场景,提高行人属性预测模型对第二场景中行人属性的预测精度。
上述实施例中对行人属性预测模型在新场景中进行重新训练的过程可以如图3所示。
若行人属性预测模型是针对第一场景中的训练图像进行训练获得的,其是用来预测行人的多个属性,而为了提高行人属性预测模型对新增属性的预测精度,在一些实施方式中,还可以对行人属性预测模型再进行训练,其实现过程如下:
获取至少一个新增属性以及与至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性,根据第三相关性确定与至少一个新增属性相关的目标候选属性,然后从多张训练图像中确定表征有目标候选属性的样本图像,对样本图像表征至少一个新增属性,再利用新标注的样本图像与多张训练图像重新训练行人属性预测模型。
例如,初始的多个属性包括属性1、属性2和属性3,新增属性包括属性4,为了增加训练的样本图像,可以从多个属性中选择与属性4相关的候选属性,如可人为选择候选属性,若属性2和属性3为属性4的相关属性,则将属性2和属性3作为候选属性。
在获得候选属性后,可按照上述方式获得属性4分别与属性2和属性3之间的第三相关性,即计算属性4分别与属性2和属性3之间的提升堵,并可构建提升度矩阵,为了进一步确定出与属性4相关的属性,则可基于提升度矩阵中的提升度来选择与属性4相关的目标候选属性,如提升度矩阵中属性3与属性4为强相关,而属性2与属性4之间的相关性不大,则可将属性3作为目标候选属性。
为了使得模型学习多个属性中与新增属性之间的相关性,则可以从多张训练图像中筛选出标注有目标候选属性,即属性4的图像作为样本图像,如多张训练图像中有100张图像标注有属性4,则将这100张图像作为样本图像,然后再对样本图像重新新增标注属性3,这样这100张图像中即标注了属性4和属性3以及其他属性。最后将这100张样本图像与剩余的训练图像一起输入行人属性预测模型中,重新对行人属性预测模型进行训练。
在上述实现过程中,为了便于模型适应对新增属性的预测,可通过属性之间的相关性来获取相应的样本图像,然后对模型进行重新训练,以提高部分属性样本数量受限时,其模型预测的精度。
在一些实施方式中,获得属性之间的第三相关性的方式可以为:确定从多个属性中选择的与至少一个新增属性相关的至少一个候选属性,然后从多张训练图像中确定标注有至少一个候选属性的目标训练图像,对目标训练图像表征至少一个新增属性,根据新标注的目标训练图像,获取新增属性与候选属性中两两属性之间的第三相关性。
例如,可以人为从多个属性中选择与新增属性相关的候选属性,如属性2和属性3作为新增属性4的候选属性,然后从多张训练图像中查找标注有属性2和/或属性3的目标训练图像,如有200张训练图像中标注有属性2和/或属性3,则这200张训练图像即为目标训练图像。然后对这200张目标训练图像表征新增属性4,然后可统计这新标注的200张目标训练图像中属性4分别与属性2和属性3之间的提升度,作为属性4分别与属性2和属性3之间的第三相关性。
上述实施例中对行人属性预测模型在新增属性的应用场景下进行重训练的过程如图4所示。
在上述实现过程中,通过从训练图像中确定标注有与新增属性相关的候选属性的目标训练图像,然后从目标训练图像中可有效且快速统计出与新增属性与候选属性的相关性,从而可实现新增属性的快速扩展,并快速实现模型对新增属性的适用性。
另外,对于行人属性预测模型在新场景中且新增属性的应用时,则可结合上述实施例中的实现过程对行人属性预测模型重新进行训练,其过程可以如图5所示。如先采集新场景的图像,然后通过行人属性预测模型对图像进行属性预测,获得每个属性的预测结果,再根据预测结果获取属性之间的提升度矩阵,然后判断该提升度矩阵与上述获得的第一提升度矩阵(即在初始场景中对行人属性预测模型进行训练获得的多个属性的第一提升度矩阵)之间的相似性,若满足相似性,则将采集的新场景的图像标注新属性,然后在多张训练图像中检索标注有与新属性相关的候选属性的训练图像,若这些训练图像数量足够,则将这些训练图像新标注新属性,构成样本图像,若这些训练图像数量较少,则可重新采集大量的新场景的图像,重新进行预测然后计算提升度矩阵。获得样本图像后,可将样本图像加入剩余的训练图像中,重新训练行人属性预测模型。
在上述实现过程中,通过对行人属性预测模型重新进行训练,使得模型能够在新场景且新增属性的应用中,重新学习新场景中各个属性之间的相关性对属性预测结果的影响,从而确保行人属性预测模型在新场景中对属性的预测依然能有较高的预测精度。
行人属性预测模型在对新增属性进行预测时,还可以对行人属性预测模型新增属性预测网络分支,即用于对新增属性的预测,如图6所示,Hair为新增属性,则可在行人属性预测模型中新增对Hair检测的网络分支。在训练时,可以一并更新新增属性预测网络分支的相关网络参数,以提高模型对新增属性的预测精度。
需要说明的是,属性之间的相关性也可不仅仅用提升度来表征,如也可以用置信度来表征,在相关性为置信度时,其获得属性关系约束损失值的方式与上述通过提升度来获得的方式类似,为了描述的简洁,在此不再重复描述。
上述训练获得行人属性预测模型后,可将行人属性预测模型部署至终端设备中,用于对行人属性分析,以构建用户画像,然后可基于用户画像实现广告的精准投放等应用。
请参照图7,图7为本申请实施例提供的一种行人属性预测方法的流程图,该方法包括如下步骤:
步骤S210:获取待预测图像。
待预测图像可以是指采集的需要进行行人属性预测的图像,其可以是多张也可以是一张。
步骤S220:将待预测图像输入行人属性预测模型中,获得行人属性预测模型针对多个属性中每个属性的预测结果。
该行人属性预测模型是通过上述模型训练方法进行训练获得的,所以该行人属性预测模型对多个属性的预测有较高的精度,能够更加准确获得每个属性的预测结果。其中,预测结果可以包括图像中行人具有每个属性的概率或者直接获得图像中行人所具有的属性。
在上述实现过程中,通过对行人属性预测模型进行预先训练,可使得模型在预测时将属性之间的相关性也考虑在内,使得模型对每个属性的预测精度更高。
请参照图8,图8为本申请实施例提供的一种模型训练装置200的结构框图,该装置200可以是电子设备上的模块、程序段或代码。应理解,该装置200与上述图2方法实施例对应,能够执行图2方法实施例涉及的各个步骤,该装置200具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置200包括:
预测模块210,用于将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;
属性损失获取模块220,用于基于每个属性的第一预测结果计算获得属性预测损失值;
关系损失获取模块230,用于获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;
参数更新模块240,用于根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
可选地,所述关系损失获取模块230,用于获取表征所述多个属性中两两属性之间的第一相关性的提升度;根据所述提升度确定用于约束两两属性之间的第一相关性的约束函数;将两两属性各自的第一预测结果代入所述约束函数中,计算获得相应的约束值;根据所述约束值与所述提升度,获取所述属性关系约束损失值。
可选地,通过以下公式计算获得所述属性关系约束损失值:
Figure 423437DEST_PATH_IMAGE001
其中,
Figure 832422DEST_PATH_IMAGE002
表示所述属性关系约束损失值,m表示多个属性的个数,
Figure 431899DEST_PATH_IMAGE003
表示第i个属性 与第j个属性之间的提升度,
Figure 459898DEST_PATH_IMAGE004
表示第i个属性与第j个属性之间的约束函数,
Figure 579164DEST_PATH_IMAGE005
表 示第i个属性对应的第一预测结果,
Figure 768837DEST_PATH_IMAGE006
表示第j个属性对应的第一预测结果。
可选地,所述关系损失获取模块230,用于从预先构建的第一提升度矩阵中查找获得表征所述多个属性中两两属性之间的第一相关性的提升度;其中,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性。
可选地,所述多张训练图像为在第一场景中采集的图像,所述装置200还包括:
第一重训练模块,用于采集第二场景中的多张目标图像,所述第二场景为与所述第一场景不同的场景;将所述多张目标图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对所述多个属性中每个属性的第二预测结果;根据每个属性的第二预测结果获取所述多个属性之间的第二相关性;确定所述第一相关性与所述第二相关性之间的差异;若所述差异小于预设差异值,则利用所述多张目标图像与所述多张训练图像重新对所述行人属性预测模型进行训练。
可选地,所述装置200还包括:
提升度矩阵获取模块,用于获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性;获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征对应两个属性之间的第二相关性;
所述第一重训练模块,用于比较所述第一提升度矩阵与所述第二提升度矩阵中对应元素值的差值是否小于预设阈值;若是,则确定所述差异小于预设差异值。
可选地,所述装置200还包括:
关系图获取模块,用于获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征两个属性之间的第一相关性;根据所述第一提升度矩阵生成属性之间的第一关系图;获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征两个属性之间的第二相关性;根据所述第二提升度矩阵生成属性之间的第二关系图;
所述第一重训练模块,用于比较所述第一关系图与所述第二关系图中的连通度是否相等;若是,则确定所述差异小于预设差异值。
可选地,所述装置200还包括:
第二重训练模块,用于获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性;根据所述第三相关性确定与所述至少一个新增属性相关的目标候选属性;从所述多张训练图像中确定标注有所述目标候选属性的样本图像;对所述样本图像标注所述至少一个新增属性;利用新标注的样本图像与所述多张训练图像重新训练所述行人属性预测模型。
可选地,所述第二重训练模块,用于确定从所述多个属性中选择的与至少一个新增属性相关的至少一个候选属性;从所述多张训练图像中确定标注有所述至少一个候选属性的目标训练图像;对所述目标训练图像标注所述至少一个新增属性;根据新标注的目标训练图像,获取所述至少一个新增属性与所述至少一个候选属性中两两属性之间的第三相关性。
请参照图9,图9为本申请实施例提供的一种行人属性预测装置300的结构框图,该装置300可以是电子设备上的模块、程序段或代码。应理解,该装置300与上述图7方法实施例对应,能够执行图7方法实施例涉及的各个步骤,该装置300具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置300包括:
图像获取模块310,用于获取待预测图像;
属性预测模块320,用于将所述待预测图像输入行人属性预测模型中,获得所述行人属性预测模型针对多个属性中每个属性的预测结果;
其中,所述行人属性预测模型为通过上述的模型训练方法训练获得的。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,执行如图2或图7所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,包括:将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;基于每个属性的第一预测结果计算获得属性预测损失值;获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
综上所述,本申请实施例提供一种模型训练方法、行人属性预测方法、装置及设备,通过在模型训练过程中加入属性关系约束损失值,使得模型在训练过程中可以学习到属性之间的相关性对预测结果的影响,这样训练后的模型在进行属性预测时,则会将属性之间的相关性也考虑在内,可有效提高模型的属性预测精度。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种模型训练方法,其特征在于,用于对行人属性预测模型进行训练,所述方法包括:
将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;
基于每个属性的第一预测结果计算获得属性预测损失值;
获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;
根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
2.根据权利要求1所述的方法,其特征在于,所述获取所述多个属性之间的属性关系约束损失值,包括:
获取表征所述多个属性中两两属性之间的第一相关性的提升度;
根据所述提升度确定用于约束两两属性之间的第一相关性的约束函数;
将两两属性各自的第一预测结果代入所述约束函数中,计算获得相应的约束值;
根据所述约束值与所述提升度,获取所述属性关系约束损失值。
3.根据权利要求2所述的方法,其特征在于,通过以下公式计算获得所述属性关系约束损失值:
Figure 869900DEST_PATH_IMAGE001
其中,
Figure 561912DEST_PATH_IMAGE002
表示所述属性关系约束损失值,m表示多个属性的个数,
Figure 298924DEST_PATH_IMAGE003
表示第i个属性与第j个属性之间的提升度,
Figure 822309DEST_PATH_IMAGE004
表示第i个属性与第j个属性之间的约束函数,
Figure 436175DEST_PATH_IMAGE005
表示第i个属性对应的第一预测结果,
Figure 412221DEST_PATH_IMAGE006
表示第j个属性对应的第一预测结果。
4.根据权利要求2所述的方法,其特征在于,所述获取表征所述多个属性中两两属性之间的相关性的提升度,包括:
从预先构建的第一提升度矩阵中查找获得表征所述多个属性中两两属性之间的第一相关性的提升度;
其中,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性。
5.根据权利要求1所述的方法,其特征在于,所述多张训练图像为在第一场景中采集的图像,所述方法还包括:
采集第二场景中的多张目标图像,所述第二场景为与所述第一场景不同的场景;
将所述多张目标图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对所述多个属性中每个属性的第二预测结果;
根据每个属性的第二预测结果获取所述多个属性之间的第二相关性;
确定所述第一相关性与所述第二相关性之间的差异;
若所述差异小于预设差异值,则利用所述多张目标图像与所述多张训练图像重新对所述行人属性预测模型进行训练。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征对应两个属性之间的第一相关性;
获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征对应两个属性之间的第二相关性;
所述确定所述第一相关性与所述第二相关性之间的差异,包括:
比较所述第一提升度矩阵与所述第二提升度矩阵中对应元素值的差值是否小于预设阈值;
若是,则确定所述差异小于预设差异值。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取表征所述第一相关性的第一提升度矩阵,所述第一提升度矩阵中的每个元素值表征两个属性之间的第一相关性;
根据所述第一提升度矩阵生成属性之间的第一关系图;
获取表征所述第二相关性的第二提升度矩阵,所述第二提升度矩阵中的每个元素值表征两个属性之间的第二相关性;
根据所述第二提升度矩阵生成属性之间的第二关系图;
所述确定所述第一相关性与所述第二相关性之间的差异,包括:
比较所述第一关系图与所述第二关系图中的连通度是否相等;
若是,则确定所述差异小于预设差异值。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性;
根据所述第三相关性确定与所述至少一个新增属性相关的目标候选属性;
从所述多张训练图像中确定标注有所述目标候选属性的样本图像;
对所述样本图像标注所述至少一个新增属性;
利用新标注的样本图像与所述多张训练图像重新训练所述行人属性预测模型。
9.根据权利要求8所述的方法,其特征在于,所述获取至少一个新增属性以及与所述至少一个新增属性相关的至少一个候选属性中两两属性之间的第三相关性,包括:
确定从所述多个属性中选择的与至少一个新增属性相关的至少一个候选属性;
从所述多张训练图像中确定标注有所述至少一个候选属性的目标训练图像;
对所述目标训练图像标注所述至少一个新增属性;
根据新标注的目标训练图像,获取所述至少一个新增属性与所述至少一个候选属性中两两属性之间的第三相关性。
10.一种行人属性预测方法,其特征在于,所述方法包括:
获取待预测图像;
将所述待预测图像输入行人属性预测模型中,获得所述行人属性预测模型针对多个属性中每个属性的预测结果;
其中,所述行人属性预测模型为通过权利要求1-9任一所述的方法训练获得的。
11.一种模型训练装置,其特征在于,用于对行人属性预测模型进行训练,所述装置包括:
预测模块,用于将多张训练图像输入所述行人属性预测模型中,获得所述行人属性预测模型输出的针对多个属性中每个属性的第一预测结果;
属性损失获取模块,用于基于每个属性的第一预测结果计算获得属性预测损失值;
关系损失获取模块,用于获取所述多个属性之间的属性关系约束损失值,所述属性关系约束损失值为基于所述多个属性之间的第一相关性确定的;
参数更新模块,用于根据所述属性预测损失值以及所述属性关系约束损失值更新所述行人属性预测模型的网络参数。
12.一种行人属性预测装置,其特征在于,所述装置包括:
图像获取模块,用于获取待预测图像;
属性预测模块,用于将所述待预测图像输入行人属性预测模型中,获得所述行人属性预测模型针对多个属性中每个属性的预测结果;
其中,所述行人属性预测模型为通过权利要求1-9任一所述的方法训练获得的。
13.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-10任一所述的方法。
CN202110144322.3A 2021-02-03 2021-02-03 模型训练方法、行人属性预测方法、装置及设备 Active CN112508135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110144322.3A CN112508135B (zh) 2021-02-03 2021-02-03 模型训练方法、行人属性预测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110144322.3A CN112508135B (zh) 2021-02-03 2021-02-03 模型训练方法、行人属性预测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112508135A true CN112508135A (zh) 2021-03-16
CN112508135B CN112508135B (zh) 2021-04-30

Family

ID=74952542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110144322.3A Active CN112508135B (zh) 2021-02-03 2021-02-03 模型训练方法、行人属性预测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112508135B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505761A (zh) * 2021-09-08 2021-10-15 阿里巴巴达摩院(杭州)科技有限公司 车辆属性提取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106971154A (zh) * 2017-03-16 2017-07-21 天津大学 基于长短记忆型递归神经网络的行人属性预测方法
CN107506786A (zh) * 2017-07-21 2017-12-22 华中科技大学 一种基于深度学习的属性分类识别方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN109117781A (zh) * 2018-08-07 2019-01-01 北京飞搜科技有限公司 多属性识别模型的建立方法、装置及多属性识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106971154A (zh) * 2017-03-16 2017-07-21 天津大学 基于长短记忆型递归神经网络的行人属性预测方法
CN107506786A (zh) * 2017-07-21 2017-12-22 华中科技大学 一种基于深度学习的属性分类识别方法
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN109117781A (zh) * 2018-08-07 2019-01-01 北京飞搜科技有限公司 多属性识别模型的建立方法、装置及多属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI DONG 等: "Recognition of Complex Objects by Hierarchical Attributes", 《2018 10TH INTERNATIONAL CONFERENCE ON MODELLING, IDENTIFICATION AND CONTROL (ICMIC)》 *
董帅 等: "基于多视图循环神经网络的三维物体识别", 《电子科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505761A (zh) * 2021-09-08 2021-10-15 阿里巴巴达摩院(杭州)科技有限公司 车辆属性提取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112508135B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN110033007B (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN109101938A (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN111401339B (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN109033955A (zh) 一种人脸跟踪方法和系统
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN117133035A (zh) 一种面部表情识别方法、系统及电子设备
Huo et al. Semisupervised learning based on a novel iterative optimization model for saliency detection
CN117061322A (zh) 物联网流量池管理方法及系统
CN111510368A (zh) 家庭群组识别方法、装置、设备及计算机可读存储介质
CN110348516B (zh) 数据处理方法、装置、存储介质及电子设备
CN110532838A (zh) 对象检测装置和方法及存储介质
CN112508135B (zh) 模型训练方法、行人属性预测方法、装置及设备
CN114359787A (zh) 目标属性识别方法、装置、计算机设备及存储介质
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN112541010B (zh) 一种基于逻辑回归的用户性别预测方法
CN109033078B (zh) 语句类别识别方法及装置、存储介质、处理器
CN116311347A (zh) 人员在岗检测方法、电子设备和计算机可读存储介质
CN111414922B (zh) 特征提取方法、图像处理方法、模型训练方法及装置
CN114495220A (zh) 一种目标身份识别方法、装置以及存储介质
CN110472680B (zh) 目标分类方法、装置和计算机可读存储介质
CN111353349B (zh) 人体关键点检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant