CN110516569A - 一种基于身份和非身份属性交互学习的行人属性识别方法 - Google Patents

Abstract

本发明提供一种基于身份和非身份属性交互学习的行人属性识别方法。首先，采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，利用身份属性的识别优势促进非身份属性识别率的提高，并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果。行人属性分为身份属性和非身份属性的潜在关系为：相同身份的行人之间，必然具有相同的非身份属性；非身份属性差异大的行人之间，其身份属性差异一般较大。最后，采用mini‑batch随机梯度下降算法对目标函数进行优化，实现行人属性的识别。

Description

一种基于身份和非身份属性交互学习的行人属性识别方法

技术领域

本发明涉及一种基于身份和非身份属性交互学习的行人属性识别方法。

背景技术

行人属性是指行人的一系列可描述的高级语义特征，包括行人的身份、性别、年龄、发型、衣着、配饰和携带物等。其中，身份、性别和年龄属于全局属性，而发型、配饰、衣着和携带物等是局部属性。行人属性识别是能够利用一系列高级语义行人属性，从海量大量视频中里初步筛选出符合给定属性的行人目标的一种有效的视频图像侦查手段，具有重要的科研和实战意义。同人脸识别技术相比，行人属性识别包括对全局的身份、年龄、性别属性以及局部的发型、衣着、配饰和携带物等属性的识别，用行人的多个属性组合来代替单一的人脸属性，更加全面地刻画行人，适用于更广泛的图像视频侦查场景，因此更加符合公安机关打击犯罪的现实需求，具有更广泛的应用研究价值。

对于行人属性识别的研究，目前多数基于深度学习的识别方法的做法是分别给每个属性识别任务设置一个Softmax目标函数，然后对所有属性识别任务同时进行优化。但是，这种做法除了共享特征之外，各个属性识别任务之间缺乏进一步的交互，特别是身份属性与非身份属性无法进行有效地交互。其次，实际中视频监控系统常常是会有多个视角不同的摄像头同时布控的，视角的变化会同时给身份属性和非身份属性的识别造成困难，因此行人属性识别的准确率是具有一定的提升空间的。

发明内容

本发明要解决的技术问题，在于提供一种基于身份和非身份属性交互学习的行人属性识别方法，达到提升行人属性识别准确率的目的。

本发明提出的方法：一种基于身份和非身份属性交互学习的行人属性识别方法，包括：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，通过目标函数进行优化，实现了行人的属性的识别。

进一步地，所述一种具有对视角变化鲁棒性的行人特征学习方法为：首先，利用卷积神经网络提取输入的行人图像的特征映射(FeatureMap)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达，具有对视角变化的鲁棒性。

进一步地，所述行人身份属性和非身份属性交互学习的目标函数，具体设计如下：

L＝G+αA+βB (1)

其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性。

进一步地，所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：

其中，N是样本总数，i，j是样本下标序号；l是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；分别是i，j样本的身份属性标签；是由G中各个非身份属性的Softmax函数预测的i，j样本的非身份属性结果。

进一步地，所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：

其中，分别是i，j，k样本的身份属性标签；为i，j，k样本的非身份属性标签；F_i,F_j,F_k为i，j，k样本的视角鲁棒性行人特征，即步骤4的样本行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：

本发明具有如下优点：该方法具有对视角变化鲁棒性的特征学习能力以及身份属性和非身份属性交互学习的能力，从而利用身份属性的识别优势促进对非身份属性识别率的提高，并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果，进而实现提升行人属性识别的准确率的目的。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明中的基于身份和非身份属性交互学习的行人属性识别方法示意图。

具体实施方式

本发明基于身份和非身份属性交互学习的行人属性识别方法，包括：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，采用mini-batch随机梯度下降算法对目标函数进行优化，实现了行人的属性的识别。

所述方法在行人图像的特征学习方面，采用了一种具有对视角变化鲁棒性的行人特征学习方法。首先，利用卷积神经网络提取输入的行人图像的特征映射(Feature Map)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达。

所述方法中的行人身份属性和非身份属性交互学习的目标函数，具体如下：

L＝G+αA+βB (1)

其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性。

所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：

其中，N是样本总数，i，j是样本下标序号；l是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；分别是i，j样本的身份属性标签；是由G中各个非身份属性的Softmax函数预测的i，j样本的非身份属性结果。

所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：

其中，分别是i，j，k样本的身份属性标签；为i，j，k样本的非身份属性标签；F_i,F_j,F_k为i，j，k样本的视角鲁棒性行人特征，即步骤4的样本行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：

本发明一种具体实施方式：

如图1所示，为了简化本发明的网络方法构图，图1中所采用的基本特征学习模块(Basic Feature Learning Module,B-FLM)是采用卷积(Convolutional,Conv)神经网络，包括Conv1、Conv2、Conv3以及Conv4，实际中可以采用已经存在的任何一款深度网络结构，例如DenseNet,ResNet,GoogLeNet等。在图1中B-FLM包括四个最大池化(Max Pooling,MP)层，包括MP1、MP2、MP3以及MP4，其中池化层采用池化窗口皆为3×3，滑动步长统一采用2像素。进一步，假定输入图像的分辨率为128×64，基于图1所示的网络结构，本发明所提出的一种基于身份和非身份属性交互学习的行人属性识别方法的具体步骤如下：

步骤一，具有对视角变化鲁棒性的行人特征学习：首先，将行人图像输入B-FLM中提取图像的特征映射(Feature Map)；其次，将所得的特征映射输入到对视角变化鲁棒的特征学习模块(View-point Variation Robustness Feature Learning Module,VVR-FLM)，进行水平平均池化(Horizonal Average Pooling,HAP)、垂直平均池化(Vertical AveragePooling,VAP)、对角平均池化(Diagonal Average Pooling,DAP)和反对角平均池化(Anti-diagonal Average Pooling,AAP)；然后，对各个方向平均池化后的特征映射再各自送入空间归一化(Spatial Normalization,SN)层，包括SN1、SN2、SN3以及SN4，得到四种方向的行人特征；最后，用一个连接(Concatenation,CAT)层，把得到的四种方向的行人特征串联起来，作为最终的行人图像特征。

步骤二、行人的身份属性和非身份属性交互学习，假定一共有M个行人属性待识别，id表示其中的身份属性，nid表示其中的非身份属性(nonidentification)则身份属性和非身份属性相交互的目标函数设计L如下：

L＝G+αA+βB (1)

其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重。A的定义如下：

其中，N样本总数，i，j是样本下标序号；l是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；分别是i，j样本的身份属性标签；是由G中各个非身份属性的Softmax函数预测的i，j样本的非身份属性结果。

B的定义如下：

其中，分别是i，j，k样本的身份属性标签；为i，j，k样本的非身份属性标签；F_i,F_j,F_k为i，j，k样本的视角鲁棒性行人特征(即步骤一中VVR-FLM输出的特征)；d依然为欧式距离计算公式；τ为三元指示函数，其定义如下：

最终，采用mini-batch随机梯度下降算法对公式(1)的进行优化，在优化的过程中充分借助A和B两个交互函数项，实现了行人的身份属性和非身份属性交互学习，所得到的算法模型可以实现行人属性识别，即：公式(1)的G包括M个属性的Softmax函数，可以用于行人属性的预测。值得一提的是，非身份属性的识别通常是闭集的识别任务，例如性别是二分类、衣着类别可预先定义好、年龄段估计也可实现划定年龄区段，因此非身份属性的识别可以直接使用对应属性的Softmax函数进行预测。但是，身份属性识别通常是开集识别任务，即实际测试数据集中的行人和训练集中行人完全不是同一批行人，不具有相同的身份，此时无法直接使用身份属性的Softmax函数进行身份属性识别。为了解决这个问题，通常采用特征距离排序来实现行人身份属性识别，即：通过步骤一可以得到行人图像的特征，再计算未知身份的行人图像特征与所有已知身份的行人图像特征的欧式距离并进行排序，将距离最近的已知身份的行人图像的身份作为未知身份的行人图像的身份，实现身份属性识别。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，通过目标函数进行优化，实现了行人的属性的识别。

2.根据权利要求1所述的一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：所述一种具有对视角变化鲁棒性的行人特征学习方法为：首先，利用卷积神经网络提取输入的行人图像的特征映射(Feature Map)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达，具有对视角变化的鲁棒性。

3.根据权利要求1所述的一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：所述的行人身份属性和非身份属性交互学习的目标函数，具体设计如下：

L＝G+αA+βB (1)

其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性。

4.根据权利要求3所述的一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：

其中，N是样本总数，i，j是样本下标序号；l是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；分别是i，j样本的身份属性标签；是由G中各个非身份属性的Softmax函数预测的i，j样本的非身份属性结果。

5.根据权利要求3所述的一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：

其中，分别是i，j，k样本的身份属性标签；为i，j，k样本的非身份属性标签；F_i,F_j,F_k为i，j，k样本的视角鲁棒性行人特征，即步骤4的样本行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：