CN109766748B - 一种基于投影变换与字典学习的行人再识别的方法 - Google Patents
一种基于投影变换与字典学习的行人再识别的方法 Download PDFInfo
- Publication number
- CN109766748B CN109766748B CN201811425215.2A CN201811425215A CN109766748B CN 109766748 B CN109766748 B CN 109766748B CN 201811425215 A CN201811425215 A CN 201811425215A CN 109766748 B CN109766748 B CN 109766748B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- dictionary
- matrix
- method based
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009466 transformation Effects 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000009977 dual effect Effects 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 16
- 230000036544 posture Effects 0.000 description 4
- 102100040160 Rabankyrin-5 Human genes 0.000 description 3
- 101710086049 Rabankyrin-5 Proteins 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于投影变换与字典学习的行人再识别的方法,属于数字图像识别技术领域。本发明首先提取训练样本和测试样本的底层视觉特征,将特征映射到低维判别性空间,使同一行人之间特征的歧义性达到最小,不同行人特征的发散性达到最大,再引入不连贯性正则项,使不同行人之间的编码系数尽可能地相互独立。基于字典学习的方法首先根据训练样本图像的特征,学习得到一个具有判别性的字典,然后利用字典的判别性,产生更具表达能力与判别性的编码系数,来代替原始视觉特征进行行人的相似性度量,在测试阶段通过迭代求解不同视角下行人的编码系数,从进行相似性度量。从客观指标上,本发明的识别率明显的由于其他的传统方法。
Description
技术领域
本发明涉及一种基于投影变换与字典学习的行人再识别的方法,属于数字图像识别技术领域。
背景技术
随着视频监控系统大量的普及,仅仅依靠人工浏览和研判的方式来实现行人再识别耗费了大量的人力和物力,摄像机网络环境嘈杂、人为无法控制导致很难提升准确率。由于利用计算机视觉技术对跨视角识别指定的人具备快速性、高效性,使得行人重识别技术受到越来越多的关注。在最近这五年里,行人重识别在目标追踪和行为分析[2]等方面有着至关重要的应用。例如,在刑侦工作方面可用于跨视角的嫌疑犯追踪;在商业上,可以判断同一个客户对商场里商品的感兴趣程度。
虽然,行人重识别有广阔的应用前景,但在现实生活场景中仍面临着巨大的挑战。因不同摄像机下行人的视角、姿态、光照强度、背景杂波、遮挡等发生显著的变化,这些变化导致同一个人在不同摄像机下外貌特征相差很大,很难判断是否是同一人,而不同的人因行人体型、姿态衣着等外貌特征相似比同一个人在不同的摄像头下更相似,区分开不同的人也极其困难。为了减轻这些变化,传统的方法主要有两种:一种是为行人设计鲁棒性和判别性的描述子,为了区分不同的人。郑等人认为行人在水平方向发生视角变化,在垂直方向上基本稳定不变,因此将行人图片在垂直方向上分成6个条带,再分别每个条带上提取HSV直方图颜色特征和Gabor滤波纹理描述两种特征,串联形成最终的特征向量。度量学习就是使用训练集学习一个度量模型让同类人之间的差异性很小,不同类人之间的差异性很大。Mignon等人通过PCCA(Pairwise Constrained Component Analysis)学习投影矩阵,将行人的特征投影到低维空间,在这个空间里,正样本特征之间的马氏距离小于某个阈值,同时负样本特征之间的马氏距离大于这个阈值。
以上两种方法中,利用特征表示的方法直接提取特征进行匹配,不需要训练阶段,但颜色特征严重受光照条件的影响,纹理特征又受图像分辨率的影响,导致很难提取鲁棒性和判别性的特征,从而限制了算法的性能。
发明内容
本发明要解决的技术问题是提供一种基于投影变换与字典学习的行人再识别的方法,以用于解决光照和姿态的变化,背景杂波、遮挡等导致的行人匹配困难问题。
本发明的技术方案是:一种基于投影变换与字典学习的行人再识别的方法,包括如下步骤:
Step1、构建特征数据在两个视角下的训练样本、测试样本;
Step2、构建一种投影变换与字典学习的行人再识别方法的学习模型;
Step2.1、将原始的特征投影到低维的判别性空间,使同一行人之间特征的歧义性达到最小,不同行人特征的发散性达到最大;
其中,Pa:a视角下的映射矩阵,pai表示Pa中的第i列,Pb:b视角下的映射矩阵,pbi表示Pb中的第i列,Ca:a视角下的行人编码系数,Cai:为Ca的第i列,Cb:b视角下的行人编码系数,Cbi:为Cb的第i列,D:字典,di表示D中的第i列,α,λ均为大于0的实数,||·||F表示Frobenius范数,||·||2表示l2范数,||·1表示l1范数,||·||2表示范数的平方运算符,T为矩阵的转置,如PT为矩阵P的转置;
Step3、迭代求解学习模型中映射矩阵Pa和Pb以及字典D,从而进行相似性度量;
具体地,所述步骤Step1的具体步骤如下:
Step1.1、从公开数据集上PRID2011的图片提取GOG特征;
Step1.2、然后对特征数据进行降维,降维后的每张图片的数据为一个列向量(n×1),作为一个行人在一个视角下的样本;所有行人在一个视角下的样本数据为特征矩阵(n×m),n为特征的维数,m为行人的个数;
Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵,分别得到在两个视角下的特征矩阵,随机选取一半行人特征为训练样本,剩下的一半行人特征和干扰图片特征为测试样本。
具体地,所述步骤Step3的具体步骤如下:
Step3.1、已知公式1,求解映射矩阵Pa和Pb;
其中,Λa为Pa的拉格朗日对偶变量构成的对角矩阵;
其中,Λa为Pb的拉格朗日对偶变量构成的对角矩阵;
Step3.2、已知公式1,使用ADMM算法迭代求解D,同时引入辅助变量B,T,且D=B,当第t+1次更新后的字典与第t次更新后的字典相差为0.0000001时,即|D(t+1)-Dt|≤0.0000001时,迭代终止;
其中,η为实数,取值为0.999。
具体地,所述步骤Step4的具体步骤如下:
具体地,所述的α,λ的值分别为0.4和0.0005。
本发明的有益效果是:
1、本发明的行人再识别方法对复杂背景及行人姿态变换的鲁棒性效果较好。
2、本发明针对每个视角下行人的采用相应的投影矩阵,将特征投影到判别性低维空间,传统方法是直接使用行人的原始特征学习字典,使学习到字典性能有限,因此本发明提出的行人再识别方法相比其他方法辨别行人性能明显提升。
附图说明
图1为本发明的流程图;
图2为行人再识别的匹配说明;
图3为本发明使用的公共数据集PRID2011的行人图像;
图4为本发明使用的公共数据集PRID2011上的干扰图片。
具体实施方式
下面结合附图和具体实施例,对本发明做进一步的说明。
实施例1,如图1-4所示,一种基于投影变换与字典学习的行人再识别的方法,包括如下步骤:
Step1、构建特征数据在两个视角下的训练样本、测试样本;
Step2、构建一种投影变换与字典学习的行人再识别方法的学习模型;
Step2.1、将原始的特征投影到低维的判别性空间,使同一行人之间特征的歧义性达到最小,不同行人特征的发散性达到最大;
其中,Pa:a视角下的映射矩阵,pai表示Pa中的第i列,Pb:b视角下的映射矩阵,pbi表示Pb中的第i列,Ca:a视角下的行人编码系数,Cai:为Ca的第i列,Cb:b视角下的行人编码系数,Cbi:为Cb的第i列,D:字典,di表示D中的第i列,α,λ均为大于0的实数,||·||F表示Frobenius范数,||·||2表示l2范数,||·||1表示l1范数,||·||2表示范数的平方运算符,T为矩阵的转置,如PT为矩阵P的转置;
Step3、迭代求解学习模型中映射矩阵Pa和Pb以及字典D,从而进行相似性度量;
进一步地,所述步骤Step1的具体步骤如下:
Step1.1、从公开数据集上PRID2011的图片提取(Gaussian Of Gaussian)GOG特征;
图3为PRID2011数据集上的正样本,每一列为同一行人,图4为PRID2011数据集上的干扰图片。
Step1.2、然后对特征数据进行降维,降维后的每张图片的数据为一个列向量(n×1),作为一个行人在一个视角下的样本;所有行人在一个视角下的样本数据为特征矩阵(n×m),n为特征的维数,m为行人的个数;
Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵,分别得到在两个视角下的特征矩阵,随机选取一半行人特征为训练样本,剩下的一半行人特征和干扰图片特征为测试样本。
进一步地,所述步骤Step3的具体步骤如下:
Step3.1、已知公式1,求解映射矩阵Pa和Pb;
其中,Λa为Pa的拉格朗日对偶变量构成的对角矩阵;
其中,Λa为Pb的拉格朗日对偶变量构成的对角矩阵;
Step3.2、已知公式1,使用(Alternating Direction Method of Multipliers)ADMM算法迭代求解D,同时引入辅助变量B,T,且D=B,当第t+1次更新后的字典与第t次更新后的字典相差为0.0000001时,即|D(t+1)-Dt|≤0.0000001时,迭代终止;
其中,η为实数,取值为0.999。
进一步地,所述步骤Step4的具体步骤如下:
进一步地,所述的α,λ的值分别为0.4和0.0005,这两个具体值在本方明中所使用的数据集上识别率更高。
行人再识别(Person Re-identification)是利用计算机视觉技术判断图像序列(gallery集)中是否存在特定行人(probe集)的技术,如图2所示。图2中左边的一副为probe集,右边为gallery集,即从右边的gallery集找出与probe中相匹配的行人。
表1为PRID2011数据集本文中的方法和其他方法匹配率(%)比较,由表1可知,本发明与其他先进的方法在Rank1,Rank5,Rank10,Rank20上进行对比,结果如表1所示,虽然Rank5比次好的匹配率低1.5%,但是Rank1,Rank10,Rank20比次好的匹配率分别提升了2.5%,1.3%,0.9%。这表明本发明的算法具有较高的识别性能。
方法 | Rank1 | Rank5 | Rank10 | Rank20 |
LOMO+kCCA(2014) | 14.30 | 37.40 | 47.60 | 62.50 |
LOMO+MFA(2014) | 22.30 | 45.60 | 57.20 | 68.20 |
LOMO+KLFDA(2014) | 22.40 | 46.50 | 58.10 | 68.60 |
LOMO+XQDA(2015) | 26.70 | 49.90 | 61.90 | 73.81 |
GOG+XQDA(2016) | 35.9 | 60.1 | 68.5 | 78.1 |
LOMO+NullSpace(2016) | 29.80 | 52.90 | 66.00 | 76.50 |
LOMO+M(2017) | 15.2 | 36.1 | 48.3 | 60.4 |
LOMO+LADF(2017) | 16.2 | 34.0 | - | 59.5 |
LOMO+DMLV(2017) | 27.80 | 48.40 | 59.50 | 72.70 |
本发明的方法 | 38.40 | 58.60 | 69.80 | 79.00 |
表1
以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种基于投影变换与字典学习的行人再识别的方法,其特征在于:包括如下步骤:
Step1、构建特征数据在两个视角下的训练样本、测试样本;
Step2、构建一种投影变换与字典学习的行人再识别方法的学习模型;
Step2.1、将原始的特征投影到低维的判别性空间,使同一行人之间特征的歧义性达到最小,不同行人特征的发散性达到最大;
其中,Pa:a视角下的映射矩阵,pai表示Pa中的第i列,Pb:b视角下的映射矩阵,pbi表示Pb中的第i列,Ca:a视角下的行人编码系数,Cai:Ca的第i列,Cb:b视角下的行人编码系数,Cbi:Cb的第i列,D:字典,di表示D中的第i列,α,λ均为大于0的实数,||·||F表示Frobenius范数,||·||2表示l2范数,||·||1表示l1范数,||·||2表示范数的平方运算符,T为矩阵的转置;
Step3、迭代求解学习模型中映射矩阵Pa和Pb以及字典D,从而进行相似性度量;
2.根据权利要求1所述的一种基于投影变换与字典学习的行人再识别的方法,其特征在于:所述步骤Step1的具体步骤如下:
Step1.1、从公开数据集上PRID2011的图片提取GOG特征;
Step1.2、然后对特征数据进行降维,降维后的每张图片的数据为一个列向量(n×1),作为一个行人在一个视角下的样本;所有行人在一个视角下的样本数据为特征矩阵(n×m),n为特征的维数,m为行人的个数;
Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵,分别得到在两个视角下的特征矩阵,随机选取一半行人特征为训练样本,剩下的一半行人特征和干扰图片特征为测试样本。
5.根据权利要求1所述的一种基于投影变换与字典学习的行人再识别的方法,其特征在于:所述的α,λ的值分别为0.4和0.0005。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811425215.2A CN109766748B (zh) | 2018-11-27 | 2018-11-27 | 一种基于投影变换与字典学习的行人再识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811425215.2A CN109766748B (zh) | 2018-11-27 | 2018-11-27 | 一种基于投影变换与字典学习的行人再识别的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109766748A CN109766748A (zh) | 2019-05-17 |
CN109766748B true CN109766748B (zh) | 2022-09-23 |
Family
ID=66449885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811425215.2A Active CN109766748B (zh) | 2018-11-27 | 2018-11-27 | 一种基于投影变换与字典学习的行人再识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766748B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110579967B (zh) * | 2019-09-23 | 2020-06-30 | 中南大学 | 基于同时降维和字典学习的过程监控方法 |
CN110826417B (zh) * | 2019-10-12 | 2022-08-16 | 昆明理工大学 | 一种基于判别字典学习的跨视角行人重识别方法 |
CN111353443B (zh) * | 2020-03-02 | 2023-06-20 | 南京信息工程大学 | 一种基于跨视图核协同表示的行人再识别方法 |
CN113177487B (zh) * | 2021-05-06 | 2023-07-18 | 南京信息工程大学 | 行人重识别方法、装置、计算机设备和存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073880A (zh) * | 2011-01-13 | 2011-05-25 | 西安电子科技大学 | 利用稀疏表示进行人脸识别的集成方法 |
US9633263B2 (en) * | 2012-10-09 | 2017-04-25 | International Business Machines Corporation | Appearance modeling for object re-identification using weighted brightness transfer functions |
CN103605952B (zh) * | 2013-10-27 | 2016-11-23 | 西安电子科技大学 | 基于拉普拉斯正则组稀疏的人体行为识别方法 |
CN104281845B (zh) * | 2014-10-29 | 2017-08-25 | 中国科学院自动化研究所 | 基于旋转不变字典学习模型的人脸识别方法 |
US20180173940A1 (en) * | 2016-12-19 | 2018-06-21 | Canon Kabushiki Kaisha | System and method for matching an object in captured images |
CN106778687B (zh) * | 2017-01-16 | 2019-12-17 | 大连理工大学 | 基于局部评估和全局优化的注视点检测方法 |
CN106778921A (zh) * | 2017-02-15 | 2017-05-31 | 张烜 | 基于深度学习编码模型的人员再识别方法 |
CN107679461A (zh) * | 2017-09-12 | 2018-02-09 | 国家新闻出版广电总局广播科学研究院 | 基于对偶综合‑解析字典学习的行人再识别方法 |
CN108446589B (zh) * | 2018-02-07 | 2022-03-22 | 杭州电子科技大学 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
CN108345860A (zh) * | 2018-02-24 | 2018-07-31 | 江苏测联空间大数据应用研究中心有限公司 | 基于深度学习和距离度量学习的人员再识别方法 |
CN108509854B (zh) * | 2018-03-05 | 2020-11-17 | 昆明理工大学 | 一种基于投影矩阵约束结合判别字典学习的行人再识别方法 |
-
2018
- 2018-11-27 CN CN201811425215.2A patent/CN109766748B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109766748A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766748B (zh) | 一种基于投影变换与字典学习的行人再识别的方法 | |
CN107506700B (zh) | 基于广义相似性度量学习的行人再识别方法 | |
Grundmann et al. | 3D shape context and distance transform for action recognition | |
CN109376591B (zh) | 深度学习特征与视觉特征联合训练的船只目标检测方法 | |
CN105205449B (zh) | 基于深度学习的手语识别方法 | |
CN105354581B (zh) | 融合颜色特征与卷积神经网络的彩色图像特征提取方法 | |
CN110991389B (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
CN112580590A (zh) | 一种基于多语义特征融合网络的指静脉识别方法 | |
CN109447123B (zh) | 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法 | |
CN105528595A (zh) | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 | |
CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
CN110874576B (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
CN110490894B (zh) | 基于改进的低秩稀疏分解的视频前背景分离方法 | |
Bappy et al. | Real estate image classification | |
CN106845375A (zh) | 一种基于层级化特征学习的动作识别方法 | |
CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
CN115496950A (zh) | 邻域信息嵌入的半监督判别字典对学习的图像分类方法 | |
CN105957112A (zh) | 基于快速uncls的高光谱亚像素探测方法 | |
CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
CN106022226B (zh) | 一种基于多方向多通道条形结构的行人再辨识方法 | |
Fritz et al. | Object recognition using local information content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |