CN112069908B - 基于共现属性的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于共现属性的行人重识别方法，具体按照以下步骤实施：建立数据集，对数据集中常用的单一语义属性进行组合，得到共现属性；使用二进制表示法表征共现属性；利用训练集共现属性和线性支持向量机来训练共现属性分类器；使用共现属性分类器在验证集中计算每个行人图像共现属性标签；通过LMNN算法计算度量矩阵M，分析度量矩阵以进一步寻找积极的共现属性；目标图像和验证集中每个行人参考图像进行距离匹配，通过该距离来判别是否为同一行人，从而实现行人图像的相似性匹配。本发明中环境影响较小，在不同的视角光照下，重识别准确率较高，计算复杂度大大降低，在大规模数据集上也能有良好的识别效果。

Description

基于共现属性的行人重识别方法

技术领域

本发明属于图片分析及检索方法技术领域，涉及一种基于共现属性的行人图像重识别方法。

背景技术

随着科技的发展，监控摄像头也开始出现在城市各个角落，智能化城市正在建设，街道、超市、小区、各种地区都能找到监控的踪影。计算机视觉、机器学习和物联网(物联网)结合领域的积极研究在过去几年中形成了智能城市的概念。一个强大的、自动化的视觉监控系统对确保智能环境中的公共安全和安保非常有帮助。

行人重识别，指输入一个行人图像，能够在不同的摄像头所拍摄的画面，或者相同摄像头所拍摄的不同画面中，重新识别出该目标行人的技术。目前进行行人重识别主要有特征提取和度量学习两种办法。现在所面对的问题是，行人图像中复杂多变的环境条件，如摄像头视角，光照，天气等变化，行人外观的多变性，大量图像低分辨率。对此国内外学者们也进行了多方面的研究，结合中级语义特征，卷积神经网络，深度学习，步态识别等对行人重识别算法进行了优化提高。

深度学习不仅应用于提取高层特征，也为度量学习的研究带来了革新。虽然深度学习在规模较小的数据集上的结果没有很明显的提升，但随着研究方法的成熟以及较大规模的数据集的出现，深度学习在行人重识别领域越来越受研究者们青睐。

如何提高行人重识别的准确率，提取行人图像中不变特征是目前研究的热点方向。现有的基于底层特征(颜色，纹理)提取的方法受光照视角等条件的影响较大，导致行人重识别识别率低。

发明内容

本发明的目的是提供一种基于共现属性的行人图像重识别方法，具有从语义特征方面对行人重识别算法进行优化，从而在大规模数据集中进行更加精准的行人匹配的特点。

本发明所采用的技术方案是，一种基于共现属性的行人重识别方法，具体按照以下步骤实施：

步骤1、建立数据集，对数据集中常用的单一语义属性进行组合，得到共现属性；

步骤2、经步骤1后，使用二进制表示法表征共现属性；

步骤3、待步骤2完成后，利用步骤2中的训练集共现属性和线性支持向量机来训练共现属性分类器；

步骤4、使用步骤3完成的共现属性分类器在验证集中计算每个行人图像共现属性标签；

步骤5、通过LMNN算法计算度量矩阵M，分析度量矩阵以进一步寻找积极的共现属性；

步骤6、目标图像和验证集中每个行人参考图像进行距离匹配，通过该距离来判别是否为同一行人，从而实现行人图像的相似性匹配。

步骤1具体按照以下步骤实施：

步骤1.1、建立VIPeR数据集：包括632个行人的1264张图像，每个行人有两张图像，采集自摄像头a和摄像头b，每张图像大小调整为128x48；

步骤1.2、将数据集中人类的语义属性分为三种直觉类型:身体特征、行为特征和粘附的人类特征；

步骤1.3、在数据集中选取常见的单一属性特征；

步骤1.4、将单一属性进行组合得到共现属性。

步骤2中，将身体特征和粘附的人类特征使用二元标签和多级标签进行二进制表示法表征。

步骤3具体为:利用步骤2中的训练集共现属性提取局部特征集合ELF特征向量，通过线性支持向量机SVM_i(i∈1，...，N)，训练共现属性分类器，其中N是共现属性的数目。

步骤4具体为：

步骤4.1、将每个行人图像应用共现属性分类器计算一个信号距离h_i，即

h_i＝SVM_i(e)， (1)

其中i代表第i个图像，h_i代表第i个图像信号距离，SVM为线性支持向量机，e代表从一个人的图像中提取的ELF向量，使用信号距离作为置信度；

步骤4.2、平衡可能值的范围，估计置信度x_i＝2h′_i-1，使用公式

其中h_i′是第i个经过缩放后的信号距离，h_i代表应用共现属性分类器所得到的信号距离，max或min返回最大值或最小值t是正样本和负样本数之和；行人重识别的特征向量是x_i＝[x₁,x₂,...,x_N]^T，其中，x₁，x₂，...，x_N分别为第一个，第二个，……，第N个共现属性的特征向量，N代表共现属性总数，T代表正负样本总数。

步骤5具体为：

步骤5.1、利用LMNN对度量矩阵M进行训练，度量矩阵M是正半定的，表示为

其中，M为结果矩阵，λ_i是第i个图像的特征值、q_i是第i图像的特征向量，T代表正负样本总数，N为选用的共现属性总数；

步骤5.2、计算累积量分配比C_m从λ₁到λ_m使用公式

其中，C_m为第k个图像特征值的累积量分配比，N为选用的共现属性总数，m为选用的特征值总数，λ_k代表从特征值λ₁到λ_m中第k个特征值，λ_i代表所有图像中第i个图像的特征值；

步骤5.3、当计算特征向量之间距离时，为了确定特征向量中的第l个共现属性的元素q_i，l对q_i的影响，需要计算了特征向量之间的权重比w_i，l：

其中，w_i，l为特征向量之间的权重比，q_i，l代表第l个共现属性的元素，q_i，j代表特征向量中第j个共现属性的元素，N代表共现属性总数；

步骤5.4、然后计算出累积重量比率W_i，l，

其中，W_i，l代表前l个特征向量的累计重量比率，i代表第i张图像，l代表特征向量中l个共现属性，w_i，k代表第k个特征向量的权重比，w_i，k(k∈1，...，l)按降序排列。

步骤6具体为：根据步骤5中得到的度量矩阵M，使用K最近邻算法缩短属于同一个人的特征向量之间的距离，同时延长来自不同人的向量之间的距离，特征x_a，x_b之间的距离d为

d²＝(x_a-x_b)^TM(x_a-x_b). (7)

d代表特征向量之间的距离，x_a代表参考图像a的特征向量，x_b代表待匹配图像b的特征向量，M代表LMNN算法得到的正半定矩阵，T代表正负样本总数；通过特征向量之间的距离来判断行人是否为同一行人，d越小，a的特征向量更相似b的特征向量，即行人图像相似性越高。

本发明的有益效果是：

本发明在现有的中级语义特征基础上，设计共现属性，同时寻找对行人重识别识别率更有帮助的的语义，主要是从语义特征方面对行人重识别算法进行优化。与底层特征和单个语义属性的行人重识别的方法相比，本发明中环境影响较小，在不同的视角光照下，重识别准确率都高于以上方法，而相对于基于深度学习的行人重识别，计算复杂度大大降低，在大规模数据集上也能有良好的识别效果。

附图说明

图1是基于共现属性的行人重识别方法中身体特征与粘附的人类特征结合共现属性例子；

图2是基于共现属性的行人重识别方法中用于表示身体和粘附的人类特征的共现属性二进制标签；

图3是基于共现属性的行人重识别方法的框架图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1-3所示，一种基于共现属性的行人重识别方法，具体按照以下步骤实施：

步骤1、建立数据集，对数据集中常用的单一语义属性进行组合，得到共现属性；

步骤2、经步骤1后，使用二进制表示法表征共现属性；

步骤3、待步骤2完成后，利用步骤2中的训练集共现属性和线性支持向量机来训练共现属性分类器；

步骤4、使用步骤3完成的共现属性分类器在验证集中计算每个行人图像共现属性标签；

步骤5、通过LMNN算法计算度量矩阵M，分析度量矩阵以进一步寻找积极的共现属性；

步骤6、目标图像和验证集中每个行人参考图像进行距离匹配，通过该距离来判别是否为同一行人，从而实现行人图像的相似性匹配。

步骤1具体按照以下步骤实施：

步骤1.1、建立VIPeR数据集：包括632个行人的1264张图像，每个行人有两张图像，采集自摄像头a和摄像头b，每张图像大小调整为128x48；将数据集均分为训练集和验证集，确保每个集合中共现属性的正确样本数为48及以上。训练集用于训练共现属性分类器，验证集用来评估实验性能。

步骤1.2、将数据集中人类的语义属性分为三种直觉类型:身体特征、行为特征和粘附的人类特征；身体特征是个人特有的特征，并且不会随着时间的推移而发生显著的变化(例如，性别，年龄，发型和胡子)。行为特征是诸如手势或步态等暂时性变化。粘附的人类特征取决于一个人的外表，被定义为暂时粘附在一个人身上的东西(例如衣服或太阳镜)。如图1所示，结合两种特征有三种方法:结合身体特征和粘附的人类特征(例如，“穿裙子的女人”)，结合身体特征(例如，“20多岁的男人”)，以及结合粘附的人类特征(例如，“穿短袖和短裤”)，这些语义属性的组合被称为共现属性。

步骤1.3、在数据集中选取常见的单一属性特征；本例中选取了15个常见的单一属性，如下表1所示：

步骤1.4、将单一属性进行组合得到共现属性。将15个单一属性进行组合得到共现属性，去掉23个不常见的共现属性后(例如,“穿西装外套和短裤”)，得到96个常用于识别的共现属性，如下表2所示：其中包括59个P&A属性，22个P&P属性，15个A&A属性。

步骤2中，将身体特征和粘附的人类特征使用二元标签如性别(男性或女性)和太阳镜(有或没有)和多级标签如年龄(如20岁，30岁，或40岁以上)和上衣(如长袖，短袖，或西装外套)进行二进制表示法表征。当两个特征L₁和L₂类简单组合时，组合中的类数为L₁L₂。例如，把步骤1中的单一属性性别(L₁＝2)和单一属性上衣(L₂＝3)结合起来时，我们可以得到L₁L₂＝6个共现属性的二元标签。如图2所示，二元标签表示为”男子穿长袖衣服”、”男子穿短袖衣服”、”男子穿西装”、”女子穿长袖衣服”、”女子穿短袖衣服”和”女子穿西装”(具有真或假属性)。在L₁L₂个单属性组合中，目标行人图像为正确样本，非目标行人图像为错误样本，正确样本中所包含的的共现属性记作积极属性,则其余L₁L₂-1个记作消极属性。例如，图3中的目标行人为穿长袖的女子，则积极属性是“女子&长袖”，其余二者组合的属性为消极属性。

步骤3具体为:利用步骤2中的训练集共现属性提取局部特征集合ELF特征向量，通过线性支持向量机SVM_i(i∈1，...，N)，训练共现属性分类器，其中N是共现属性的数目。

步骤4具体为：

步骤4.1、将每个行人图像应用共现属性分类器计算一个信号距离h_i，即

h_i＝SVM_i(e)， (1)

其中i代表第i个图像，h_i代表第i个图像信号距离，SVM为线性支持向量机，e代表从一个人的图像中提取的ELF向量，使用信号距离作为置信度；当设定的距离为正时，图像被赋予正标签，当设定的距离为负时，图像被赋予负标签。

步骤4.2、平衡可能值的范围，估计置信度x_i＝2h′_i-1，使用公式

其中h_i′是第i个经过缩放后的信号距离，h_i代表应用共现属性分类器所得到的信号距离，max或min返回最大值或最小值t是正样本和负样本数之和；行人重识别的特征向量是x_i＝[x₁,x₂,...,x_N]^T，其中，x₁，x₂，...，x_N分别为第一个，第二个，……，第N个共现属性的特征向量，N代表共现属性总数，T代表正负样本总数。

步骤5具体为：

步骤5.1、利用LMNN对度量矩阵M进行训练，度量矩阵M是正半定的，表示为

其中，M为结果矩阵，λ_i是第i个图像的特征值、q_i是第i图像的特征向量，T代表正负样本总数，N为选用的共现属性总数；

步骤5.2、计算累积量分配比C_m从λ₁到λ_m使用公式

其中，C_m为第k个图像特征值的累积量分配比，N为选用的共现属性总数，m为选用的特征值总数，λ_k代表从特征值λ₁到λ_m中第k个特征值，λ_i代表所有图像中第i个图像的特征值；

步骤5.3、当计算特征向量之间距离时，为了确定特征向量中的第l个共现属性的元素q_i，l对q_i的影响，需要计算了特征向量之间的权重比w_i，l：

其中，w_i，l为特征向量之间的权重比，q_i，l代表第l个共现属性的元素，q_i，j代表特征向量中第j个共现属性的元素，N代表共现属性总数；

步骤5.4、然后计算出累积重量比率W_i，l，

其中，W_i，l代表前l个特征向量的累计重量比率，i代表第i张图像，l代表特征向量中l个共现属性，w_i，k代表第k个特征向量的权重比，w_i，k(k∈1，...，l)按降序排列。

步骤6具体为：根据步骤5中得到的度量矩阵M，使用K最近邻算法缩短属于同一个人的特征向量之间的距离，同时延长来自不同人的向量之间的距离，特征x_a，x_b之间的距离d为

d²＝(x_a-x_b)^TM(x_a-x_b). (7)

d代表特征向量之间的距离，x_a代表参考图像a的特征向量，x_b代表待匹配图像b的特征向量，M代表LMNN算法得到的正半定矩阵，T代表正负样本总数；通过特征向量之间的距离来判断行人是否为同一行人，d越小，a的特征向量更相似b的特征向量，即行人图像相似性越高。

Claims (4)

1.一种基于共现属性的行人重识别方法，其特征在于，具体按照以下步骤实施：

步骤1、建立数据集，对数据集中常用的单一语义属性进行组合，得到共现属性，具体按照以下步骤实施：

步骤1.1、建立VIPeR数据集：包括632个行人的1264张图像，每个行人有两张图像，采集自摄像头a和摄像头b，每张图像大小调整为128x48；

步骤1.2、将数据集中人类的语义属性分为三种直觉类型:身体特征、行为特征和粘附的人类特征；

步骤1.3、在数据集中选取常见的单一属性特征；

步骤1.4、将单一属性进行组合得到共现属性；

步骤2、经步骤1后，使用二进制表示法表征共现属性；

步骤3、待步骤2完成后，利用步骤2中的训练集共现属性和线性支持向量机来训练共现属性分类器；

步骤4、使用步骤3完成的共现属性分类器在验证集中计算每个行人图像共现属性标签，具体为：

步骤4.1、将每个行人图像应用共现属性分类器计算一个信号距离h_i，即

h_i＝SVM_i(e)， (1)

其中i代表第i个图像，h_i代表第i个图像信号距离，SVM为线性支持向量机，e代表从一个人的图像中提取的ELF向量，使用信号距离作为置信度；

步骤4.2、平衡可能值的范围，估计置信度x_i＝2h′_i-1，使用公式

其中h_i′是第i个经过缩放后的信号距离，h_i代表应用共现属性分类器所得到的信号距离，max或min返回最大值或最小值t是正样本和负样本数之和；行人重识别的特征向量是x_i＝[x₁,x₂,...,x_N]^T，其中，x₁，x₂，...，x_N分别为第一个，第二个，……，第N个共现属性的特征向量，N代表共现属性总数，T代表正负样本总数；

步骤5、通过LMNN算法计算度量矩阵M，分析度量矩阵以进一步寻找积极的共现属性，具体为：

步骤5.1、利用LMNN对度量矩阵M进行训练，度量矩阵M是正半定的，表示为

其中，M为结果矩阵，λ_i是第i个图像的特征值、q_i是第i图像的特征向量，T代表正负样本总数，N为选用的共现属性总数；

步骤5.2、计算累积量分配比C_m从λ₁到λ_m使用公式

其中，C_m为第k个图像特征值的累积量分配比，N为选用的共现属性总数，m为选用的特征值总数，λ_k代表从特征值λ₁到λ_m中第k个特征值，λ_i代表所有图像中第i个图像的特征值；

步骤5.3、当计算特征向量之间距离时，为了确定特征向量中的第l个共现属性的元素q_i,l对q_i的影响，需要计算了特征向量之间的权重比w_i，l；

其中，w_i,l为特征向量之间的权重比，q_i,l代表第l个共现属性的元素，q_i,j代表特征向量中第j个共现属性的元素，N代表共现属性总数；

步骤5.4、然后计算出累积重量比率W_i,l，

其中，W_i，l代表前l个特征向量的累计重量比率，i代表第i张图像，l代表特征向量中l个共现属性，w_i，k代表第k个特征向量的权重比，w_i，k(k∈1，...，l)按降序排列；

步骤6、目标图像和验证集中每个行人参考图像进行距离匹配，通过该距离来判别是否为同一行人，从而实现行人图像的相似性匹配。

2.根据权利要求1所述的一种基于共现属性的行人重识别方法，其特征在于，所述步骤2中，将身体特征和粘附的人类特征使用二元标签和多级标签进行二进制表示法表征。

3.根据权利要求1所述的一种基于共现属性的行人重识别方法，其特征在于，所述步骤3具体为:利用步骤2中的训练集共现属性提取局部特征集合ELF特征向量，通过线性支持向量机SVM_i(i∈1，...，N)，训练共现属性分类器，其中N是共现属性的数目。

4.根据权利要求1所述的一种基于共现属性的行人重识别方法，其特征在于，所述步骤6具体为：根据步骤5中得到的度量矩阵M，使用K最近邻算法缩短属于同一个人的特征向量之间的距离，同时延长来自不同人的向量之间的距离，特征x_a，x_b之间的距离d为

d²＝(x_a-x_b)^TM(x_a-x_b). (7)

d代表特征向量之间的距离，x_a代表参考图像a的特征向量，x_b代表待匹配图像b的特征向量，M代表LMNN算法得到的正半定矩阵，T代表正负样本总数；通过特征向量之间的距离来判断行人是否为同一行人，d越小，a的特征向量更相似b的特征向量，即行人图像相似性越高。