CN109190472A - 基于图像与属性联合引导的行人属性识别方法 - Google Patents

Abstract

一种基于图像与属性联合引导的行人属性识别方法：获取图像特征和属性特征；构建图像‑属性相互引导机制，包括分别构建图像引导属性的特征和行人属性引导图像的特征；将图像引导属性的特征和行人属性引导图像的特征输入到长短期记忆模型中，得到一种图像与属性相互引导的行人属性识别模型；求出行人属性结果，使用交叉熵目标函数，通过不断训练来优化行人属性结果。本发明通过图像特征和属性特征之间的相互引导能够使模型更好的学习图像特征与属性特征之间的相互关系，并在属性识别过程中加入注意力机制，让模型能够进一步的完善两个特征的分布来提高行人属性识别的精度。

Description

基于图像与属性联合引导的行人属性识别方法

技术领域

本发明涉及一种行人属性识别方法。特别是涉及一种基于图像与属性联合引导的行人属性识别方法。

背景技术

为了保障人民的生命财产安全，世界各国大多推出了平安城市的发展规划，在城市的不同角落装上数以百万级的监控摄像头，这些摄像头每时每刻都在获取图像信息，然后进行分析研究。其中行人是视频监控中重要的关注对象。对其进行属性识别，主要是分析真实监控场景下的行人属性，比如性别、年龄、衣服类型等，对于视频监控领域的行人检索和行人重识别等领域有很重要的作用。提高行人属性识别效果能够有效甄别出对社会有危害的人或物，保障人们的生命财产安全。因此行人属性识别有着非常重要的研究价值和现实意义。

传统的行人属性识别都是采用人工提取特征，人工提取特征不但成本高，而且属性识别的效果也差强人意。除此之外在传统行人属性识别方法往往是对每一个属性单独预测，忽略了不同属性之间的关联。近年来，随着深度学习的发展，利用卷积神经网络自动提取图像特征的方法大大地提高了行人属性识别的效果。

虽然行人属性识别取得了一些进展，但是由于行人图像(特别是远距离拍摄的图像)分辨效率低，姿势、角度、光照等变化非常大，而且行人属性之间的关系较为复杂，因此识别效果还有待提高，其主要原因于在进行属性识别的过程，将图像和属性单独进行训练，没有去挖掘两者之间的关系，一些改进的方法也是通过提高视觉方面的优化来提高识别性能。比如WPAL-network和JRL-network都是对图像特征进行优化处理，这些方法的确能够提高识别性能，但是缺忽略了属性特征对整体识别效果的作用。

发明内容

本发明所要解决的技术问题是，提供一种使得模型能够更好的学习到图像特征与属性特征之间的内在联系的基于图像与属性联合引导的行人属性识别方法。

本发明所采用的技术方案是：一种基于图像与属性联合引导的行人属性识别方法，包括如下步骤：

1)获取图像特征和属性特征，其中，图像特征用I表示，行人属性特征有L个，每个特征用One-Hot的向量S_t来表示，即行人的属性特征S＝[S₁,S₂,…S_L]；

2)构建图像-属性相互引导机制，包括分别构建图像引导属性的特征和行人属性引导图像的特征；

3)将图像引导属性的特征和行人属性引导图像的特征输入到长短期记忆模型中，得到一种图像与属性相互引导的行人属性识别模型如下：

其中，是图像对行人属性的引导特征，是行人属性对图像的引导特征，f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重；

4)求出行人属性结果p_t＝softmax(h_t-1)，使用交叉熵目标函数，通过不断训练来优化行人属性结果p_t＝softmax(h_t-1)，使用交叉熵目标函数训练来优化行人属性结果公式如下：

其中I表示图像特征，S表示行人属性特征，S_i表示第i个行人属性特征，S_N是停止标志。

步骤1)包括：

将图像输入到VGGNet或GoogleNet或ResNet卷积神经网络提取图像特征，获得图像特征I，对于属性特征，用One-Hot的向量S_t来表示，引入两个属性嵌入矩阵W_e和W_c。

步骤2)所述的构建图像引导属性的特征，是首先将图像特征I经过一个Softmax函数得到图像特征的权重分布，将Softmax函数用Ψ表示，然后将图像特征权重与每个行人属性特征S_t做内积得到图像对属性的引导特征计算方法如下：

式中，W_e是属性嵌入矩阵，Ψ(I)是图像特征I的权重分布。

步骤2)所述的行人属性引导图像的特征，是将每个行人属性特征S_t嵌入到图像特征I中，通过对每个行人属性特征S_t与图像特征I进行内积运算实现属性的嵌入，然后经过双曲正切函数得到行人属性对图像的引导特征用Φ表示双曲正切函数，引导特征计算方法如下：

式中，W_c是属性嵌入矩阵。

步骤3)或者是采用如下方式：

将图像引导属性的特征和行人属性引导图像的特征合并在一起，得到融合的图像与行人属性的引导特征g_t，将所述的引导特征g_t输入到长短期记忆模型中，得到一组含有输入信息的编码端隐藏层，用h_j表示，输入的引导特征g_t有n个，全部含有输入信息的编码端隐藏层H表示为：

H＝(h₁,…,h_j,…,h_n) (4)

通过编码端隐藏层h_j和解码端隐藏层h_t-1求出能够优化编码端隐藏层的权重分布ω_t,j，计算方法如下：

e_t,j＝f_att(h_t-1,h_j) (5)

其中f_att表示求内积函数，exp表示自然数e，e_t,j表示编码端隐藏层h_j和解码端隐藏层h_t-1之间相关性。

最后利用权重分布ω_t,j和编码端隐藏层h_j得到上下文向量z_t作为长短期记忆模型的输入，计算方法如下

得到基于注意力机制的图像与属性相互引导的行人属性识别模型：

f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层，z_t表示上下文向量，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重。

本发明的基于图像与属性联合引导的行人属性识别方法，通过图像特征和属性特征之间的相互引导能够使模型更好的学习图像特征与属性特征之间的相互关系，并在属性识别过程中加入注意力机制，让模型能够进一步的完善两个特征的分布来提高行人属性识别的精度。本发明的特点如下：

(1)有效性：通过在RAP和PETA两个行人属性识别数据集上进行试验，发现本发明的性能比现有的行人属性识别方法性能要高出很多，说明本发明能够有效的识别行人属性。

(2)新颖性：该发明首次提出了利用图像特征和属性特征相互引导进行属性识别，让模型在训练过程中充分学习两者之间的内在关系。并引入了attention机制均衡两种特征引导的权重分布。

(3)实用性：该发明能够有效识别真实监控场景下的行人属性，对其他深度学习领域，比如行人检索和行人重识别有重要的推动作用，此外对于建成平安城市和城市监控系统的完善都有很多积极作用。

附图说明

图1是本发明的基于图像与属性联合引导的行人属性识别方法的流程图。

具体实施方式

下面结合实施例和附图对本发明的基于图像与属性联合引导的行人属性识别方法做出详细说明。

如图1所示，本发明的基于图像与属性联合引导的行人属性识别方法，包括如下步骤：

1)获取图像特征和属性特征，其中，图像特征用I表示，行人属性特征有L个，每个特征用One-Hot的向量S_t来表示，即行人的属性特征S＝[S₁,S₂,…S_L]，包括：

将图像输入到VGGNet或GoogleNet或ResNet卷积神经网络提取图像特征，获得图像特征I，对于属性特征，用One-Hot的向量S_t来表示，为了方便利用属性特征，引入两个属性嵌入矩阵W_e和W_c。

2)构建图像-属性相互引导机制，包括分别构建图像引导属性的特征和行人属性引导图像的特征；其中，

(1)所述的构建图像引导属性的特征，是首先将图像特征I经过一个Softmax函数得到图像特征的权重分布，将Softmax函数用Ψ表示，然后将图像特征权重与每个行人属性特征S_t做内积得到图像对属性的引导特征计算方法如下：

式中，W_e是属性嵌入矩阵，Ψ(I)是图像特征I的权重分布。

(2)所述的行人属性引导图像的特征，是将每个行人属性特征S_t嵌入到图像特征I中，通过对每个行人属性特征S_t与图像特征I进行内积运算实现属性的嵌入，然后经过双曲正切函数得到行人属性对图像的引导特征用Φ表示双曲正切函数，引导特征计算方法如下：

式中，W_c是属性嵌入矩阵。

3)将图像引导属性的特征和行人属性引导图像的特征输入到长短期记忆模型(LSTM)中，得到一种图像与属性相互引导的行人属性识别模型如下：

其中，是图像对行人属性的引导特征，是行人属性对图像的引导特征，f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层(给出所有字母的解释)，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重；

通过图像与属性相互引导的行人属性识别模型，能够得到一个比较高性能的行人属性识别结果。但是，研究发现由于输入有两个引导特征，无论进行对何种属性进行判断都会对两种特征进行相同的关注，这是不合理的，因为行人的属性分布并不均匀，有些属性倾向于图像对属性的引导，一些空间属性，例如“戴帽子”这类属性，这些属性在图像的不同位置，然后引导模型去学习这些空间属性。而有些属性则倾向于属性对图像的引导，比如年龄、性别等不能通过空间位置学习的属性。需要属性告诉模型具体的性别和年龄，然后模型再去学习不同性别和年龄的图像特征。为了解决这种问题，还可以采用如下方式在模型中引入attention机制，提高模型对不同属性的学习识别能力。特别说明的是，如下方式在本发明中不是必要的，可以没有，具体：

将图像引导属性的特征和行人属性引导图像的特征合并在一起，得到融合的图像与行人属性的引导特征g_t，将所述的引导特征g_t输入到长短期记忆模型(LSTM)中，得到一组含有输入信息的编码端隐藏层，用h_j表示，输入的引导特征g_t有n个，全部含有输入信息的编码端隐藏层H表示为：

H＝(h₁,…,h_j,…,h_n) (4)

通过编码端隐藏层h_j和解码端隐藏层h_t-1求出能够优化编码端隐藏层的权重分布ω_t,j，计算方法如下：

e_t,j＝f_att(h_t-1,h_j) (5)

其中f_att表示求内积函数，exp表示自然数e，e_t,j表示编码端隐藏层h_j和解码端隐藏层h_t-1之间相关性。

最后利用权重分布ω_t,j和编码端隐藏层h_j得到上下文向量z_t作为长短期记忆模型的输入，计算方法如下

得到基于注意力机制的图像与属性相互引导的行人属性识别模型：

f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层，z_t表示上下文向量，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重。

4)求出行人属性结果p_t＝softmax(h_t-1)，将行人属性识别看成一种多分类问题，因此使用交叉熵目标函数，通过不断训练来优化行人属性结果p_t＝softmax(h_t-1)，进一步提高属性识别结果。使用交叉熵目标函数训练来优化行人属性结果公式如下：

其中I表示图像特征，S表示行人属性特征，S_i表示第i个行人属性特征，S_N是停止标志。

Claims (5)

1.一种基于图像与属性联合引导的行人属性识别方法，其特征在于，包括如下步骤：

1)获取图像特征和属性特征，其中，图像特征用I表示，行人属性特征有L个，每个特征用One-Hot的向量S_t来表示，即行人的属性特征S＝[S₁,S₂,…S_L]；

2)构建图像-属性相互引导机制，包括分别构建图像引导属性的特征和行人属性引导图像的特征；

3)将图像引导属性的特征和行人属性引导图像的特征输入到长短期记忆模型中，得到一种图像与属性相互引导的行人属性识别模型如下：

其中，是图像对行人属性的引导特征，是行人属性对图像的引导特征，f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重；

4)求出行人属性结果p_t＝softmax(h_t-1)，使用交叉熵目标函数，通过不断训练来优化行人属性结果p_t＝softmax(h_t-1)，使用交叉熵目标函数训练来优化行人属性结果公式如下：

其中I表示图像特征，S表示行人属性特征，S_i表示第i个行人属性特征，S_N是停止标志。

2.根据权利要求1所述的基于图像与属性联合引导的行人属性识别方法，其特征在于，步骤1)包括：

将图像输入到VGGNet或GoogleNet或ResNet卷积神经网络提取图像特征，获得图像特征I，对于属性特征，用One-Hot的向量S_t来表示，引入两个属性嵌入矩阵W_e和W_c。

3.根据权利要求1所述的基于图像与属性联合引导的行人属性识别方法，其特征在于，步骤2)所述的构建图像引导属性的特征，是首先将图像特征I经过一个Softmax函数得到图像特征的权重分布，将Softmax函数用Ψ表示，然后将图像特征权重与每个行人属性特征S_t做内积得到图像对属性的引导特征计算方法如下：

式中，W_e是属性嵌入矩阵，Ψ(I)是图像特征I的权重分布。

4.根据权利要求1所述的基于图像与属性联合引导的行人属性识别方法，其特征在于，步骤2)所述的行人属性引导图像的特征，是将每个行人属性特征S_t嵌入到图像特征I中，通过对每个行人属性特征S_t与图像特征I进行内积运算实现属性的嵌入，然后经过双曲正切函数得到行人属性对图像的引导特征用Φ表示双曲正切函数，引导特征计算方法如下：

式中，W_c是属性嵌入矩阵。

5.根据权利要求1所述的基于图像与属性联合引导的行人属性识别方法，其特征在于，步骤3)或者是采用如下方式：

将图像引导属性的特征和行人属性引导图像的特征合并在一起，得到融合的图像与行人属性的引导特征g_t，将所述的引导特征g_t输入到长短期记忆模型中，得到一组含有输入信息的编码端隐藏层，用h_j表示，输入的引导特征g_t有n个，全部含有输入信息的编码端隐藏层H表示为：

H＝(h₁,…,h_j,…,h_n) (4)

通过编码端隐藏层h_j和解码端隐藏层h_t-1求出能够优化编码端隐藏层的权重分布ω_t,j，计算方法如下：

e_t,j＝f_att(h_t-1,h_j) (5)

其中f_att表示求内积函数，exp表示自然数e，e_t,j表示编码端隐藏层h_j和解码端隐藏层h_t-1之间相关性。

最后利用权重分布ω_t,j和编码端隐藏层h_j得到上下文向量z_t作为长短期记忆模型的输入，计算方法如下

得到基于注意力机制的图像与属性相互引导的行人属性识别模型：

f_t代表遗忘门，i_t代表输入门，o_t代表输出门，c_t代表当前时刻细胞状态，c_t-1代表前一个时刻在细胞状态，h_t代表当前时刻的隐藏层，h_t-1代表前一个时刻的隐藏层，z_t表示上下文向量，σ表示sigmoid函数，tanh表示双曲正切函数，W表示与所相乘的不同变量的权重。