CN107909049B - 基于最小二乘判别分析距离学习的行人重识别方法 - Google Patents

基于最小二乘判别分析距离学习的行人重识别方法 Download PDF

Info

Publication number
CN107909049B
CN107909049B CN201711227802.6A CN201711227802A CN107909049B CN 107909049 B CN107909049 B CN 107909049B CN 201711227802 A CN201711227802 A CN 201711227802A CN 107909049 B CN107909049 B CN 107909049B
Authority
CN
China
Prior art keywords
pedestrian
matrix
distance
calculating
projection matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711227802.6A
Other languages
English (en)
Other versions
CN107909049A (zh
Inventor
杨钊
胡晓
陶大鹏
王汝欣
林旭
王志葵
杜烨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201711227802.6A priority Critical patent/CN107909049B/zh
Publication of CN107909049A publication Critical patent/CN107909049A/zh
Application granted granted Critical
Publication of CN107909049B publication Critical patent/CN107909049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于最小二乘判别分析距离学习的行人重识别方法，包括步骤：从两个监控摄像机中收集行人图像，进行归一化处理，提取视觉特征，组成训练样本集；对训练样本集进行目标点判别分析，计算出子空间投影矩阵，进行低维空间投影，计算每个行人的样本均值，得到低维目标点；对原始样本点采用线性回归的方法与相应的低维目标点进行逼近，得到代价函数；通过最小二乘的方法求解线性回归问题，得到投影矩阵，该投影矩阵与其转置的乘积得到马氏距离矩阵；根据马氏距离矩阵计算待查询行人与目标行人数据集特征向量的距离，得到候选查询图像，完成行人重识别任务。本发明能够提高行人重识别的准确性，提高了视频监控分析的工作效率。

Description

基于最小二乘判别分析距离学习的行人重识别方法
技术领域
本发明属于视频监控分析技术领域，尤其是一种基于最小二乘判别分析距离学习的行人重识别方法。
背景技术
行人重识别是视频监控领域中的一个重要技术，是指给定一个待查询的目标行人图像，需要在另外一个监控摄像机图像中找出该行人的其他图像。由于不同摄像头的安装环境不同，同一个行人在不同监控下形状、姿态及光照具有较大的变化，同时行人图像具有较低的分辨率，给行人重识别任务带来较大的困难。
为了解决这一问题，通常是对行人图像提取不同类型的视觉特征，包括颜色直方图、纹理特征、空间布局特征，得到行人图像有效的特征表示。然后计算目标行人与待查询数据库中行人的距离，按距离从小到大进行排序，得到查询结果。在距离的计算过程中，直接采用欧氏距离计算效果不好，采用距离学习的方法能够提高行人重识别的准确性。距离学习的目的主要是学习一个新的度量空间，使得同一行人在不同监控下图像之间的距离更小，不同行人之间距离更大。因此如何设计性能优越且计算效率高的距离学习算法，具有重要的现实意义，能够极大地提高行人重识别的准确性。
发明内容
为了进一步提高行人重识别的准确性，本发明提出了基于最小二乘判别分析距离学习的行人重识别方法。
本发明采用如下技术方案来实现：基于最小二乘判别分析距离学习的行人重识方法，包括以下步骤：
步骤1、从两个不同的监控摄像机中收集行人图像，将所收集的行人图像进行归一化处理，得到分辨率大小一致的图像，并提取相应的视觉特征，组成训练样本集用作距离学习训练；
步骤2、对步骤1所提取好的训练样本集进行目标点判别分析，计算出子空间投影矩阵，然后对训练样本进行低维空间投影，并计算每个行人的样本均值，得到低维目标点；
步骤3、得到低维目标点后，对原始样本点采用线性回归的方法与相应的低维目标点进行逼近，得到代价函数；通过最小二乘的方法求解线性回归问题，得到投影矩阵，该投影矩阵与其转置的乘积得到马氏距离矩阵；
步骤4、根据马氏距离矩阵计算待查询行人与目标行人数据集特征向量的距离，按从小到大的顺序排列，得到候选查询图像，完成行人重识别任务。
优选地，所述步骤1中，针对每一个行人，分别从两个不同的监控摄像机中选取同一个行人的两幅图像，每一个人的两幅图像作为一个相似训练样本对，多个人的相似训练样本对组成算法的训练样本集；所述步骤2为：对提取好的训练样本进行线性判别分析，首先计算相似训练样本对的类间散布矩阵和类内散布矩阵，采用Fisher准则的方法，计算子空间投影矩阵，然后对训练样本对进行低维空间投影，计算每对行人低维样本点的中心作为每个行人的样本均值。
优选地，步骤3所述代价函数为：
Figure BDA0001487575210000021
其中，
Figure BDA0001487575210000022
为相对应的低维目标点；W是子空间投影矩阵，L是投影矩阵；λ是最小二乘正则化参数；Xp∈Rc×d，为来自第一个监控摄像机的训练样本；Xg∈Rc ×d，为来自第二个监控摄像机的训练样本；c表示行人的个数，d表示行人图像特征的维数，Xp与Xg组成相似对[Xp；Xg]。
优选地，步骤3所述投影矩阵为线性变换矩阵，所述线性变换矩阵L为：
Figure BDA0001487575210000023
其中I是与XTX维数相同的单位矩阵，n是对应维数。
优选地，步骤4根据马氏距离矩阵计算待查询行人与目标行人数据集特征向量的距离，公式如下：
Figure BDA0001487575210000024
优选地，步骤1中，从两个不同的监控摄像机中取每个人的多张图像，并进行归一化，提取视觉特征，组成训练样本集。
本发明相对于现有技术具有如下的有益效果：
本发明提出基于最小二乘判别分析距离学习的行人重识别方法，由于采用判别分析的方法计算目标点，可以提高距离学习的性能；其次采用最小二乘法求解线性回归模型，具有解析解，能够极大地提高距离学习的效率。
附图说明
图1为本发明的流程图；
图2为本发明生成判别分析目标点的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1：
本实施例的基于最小二乘判别分析距离学习的行人重识别方法，通过最小二乘的方法学习马氏距离来解决行人重识别问题，其流程如图1所示，具体实现包括以下步骤：
步骤1、从两个不同的监控摄像机中收集行人图像，将所收集的行人图像进行归一化处理，得到分辨率大小一致的图像，并提取相应的视觉特征，组成训练样本集用作距离学习训练。
本实施例针对每一个行人，分别从两个监控视频中选取同一个行人的两幅图像，每一个人的两幅图像作为一个相似训练样本对，多个人的相似训练样本对组成算法的训练样本集。来自第一个监控摄像机A的训练样本记作Xp∈Rc×d，来自第二个监控摄像机B的训练样本记作Xg∈Rc×d，c表示行人的个数，d表示行人图像特征的维数，Xp与Xg组成相似对[Xp；Xg]。
步骤2、对步骤1所提取好的训练样本集进行目标点判别分析，计算出子空间投影矩阵W，然后对训练样本进行低维空间投影，并计算每个行人的样本均值，得到低维目标点
Figure BDA0001487575210000031
在本步骤低维目标点生成方法中，训练样本集中来自两个不同监控视频的行人图像所组成的行人对可以认为是一类图像，多个行人对就有多类图像。如图2所示，本实施例对提取好的训练样本[Xp；Xg]进行线性判别分析(Linear Discriminant Analysis,LDA)，首先计算该训练样本对的类间散布矩阵和类内散布矩阵，采用Fisher准则的方法，计算子空间投影矩阵W，然后对训练样本对进行低维空间投影，计算每对行人低维样本点的中心作为每个行人的样本均值，这些中心构成低维目标点。图2中，第一个相似训练样本对(图2中两个圆形符号)的低维样本点的中心为21；第二个相似训练样本对(图2中两个三角形符号)的低维样本点的中心为22；第三个相似训练样本对(图2中两个五角星符号)的低维样本点的中心为23。
其中，类间散布矩阵SW和类内散布矩阵SB的计算公式分别如下：
Figure BDA0001487575210000041
Figure BDA0001487575210000042
可以得到Fisher准则代价函数：
Figure BDA0001487575210000043
该代价函数可以通过通用的特征值分解的方法求解。对矩阵
Figure BDA0001487575210000044
进行特征值分解，将最大的r个特征值对应的特征向量按顺序排列可以得到子空间投影矩阵W。
步骤3、得到低维目标点后，对原始样本点采用线性回归的方法与相应的低维目标点进行逼近，得到代价函数；通过最小二乘的方法求解线性回归问题，得到投影矩阵L，该投影矩阵与其转置的乘积得到马氏距离矩阵。
本实施例中，投影矩阵选用线性变换矩阵；上述采用线性回归方法所建立的代价函数应该包括关于线性变换矩阵的正则化项，得到的线性变换矩阵具有解析解形式。
通过线性回归的方式将原始样本点与上述低维目标点进行逼近，其代价函数为：
Figure BDA0001487575210000045
其中
Figure BDA0001487575210000046
为相对应的低维目标点；λ是最小二乘正则化参数。采用最小二乘的方法求解上述代价函数，得到线性变换矩阵L：
Figure BDA0001487575210000047
其中I是与XTX维数相同的单位矩阵，n是对应维数；为了表述方便，定义：
Figure BDA0001487575210000048
上述线性变换矩阵可以表述为：
Figure BDA0001487575210000049
该变换矩阵与其转置的乘积可以得到马氏距离矩阵M＝LLT。
步骤4、在步骤3所学习得到的马氏距离矩阵可以用于计算任意给定两幅行人图像的距离，并且不同监控中同一行人的距离更小，不同行人的距离更大，可以提高行人重识别的准确性。具体应用于行人重识别任务时，给定一个待查询行人的图像，按同样特征提取方法计算出该行人特征向量，根据步骤3学习出的马氏距离矩阵计算该待查询行人与目标行人数据集特征向量的距离，按从小到大的顺序排列，得到候选查询图像，完成行人重识别任务。
根据马氏距离矩阵计算任意给定两幅行人图像的距离，公式如下：
Figure BDA0001487575210000051
实施例2：
本实施例与实施例1相类似，其主要特点是每个人在每个监控中可以采用多张行人图像进行距离学习，也包括步骤1-4。步骤1中，在每个监控摄像机中取每个人的多张图像，并进行归一化，提取视觉特征，组成训练集。步骤2中，采用实施例1中的方法计算子空间投影矩阵W，然后计算每个样本均值作为低维目标点
Figure BDA0001487575210000052
。步骤3中，采用线性回归的方法，将原始样本点每一个行人图像与相应的低维目标点进行逼近，得到线性变换矩阵L，从而得到马氏距离矩阵M。步骤4与实施例1相同。
实施例2相对于实施例1需要更多的训练样本，但可以进一步提高距离学习的有效性，可以根据具体每个行人样本的情况进行选择实施。
以上所述，仅为本发明专利发明优选的实施方式，但发明专利的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (7)

1.基于最小二乘判别分析距离学习的行人重识别 方法，其特征在于，包括以下步骤：
步骤1、从两个不同的监控摄像机中收集行人图像，将所收集的行人图像进行归一化处理，得到分辨率大小一致的图像，并提取相应的视觉特征，组成训练样本集用作距离学习训练；
步骤2、对步骤1所提取好的训练样本集进行目标点判别分析，计算出子空间投影矩阵，然后对训练样本进行低维空间投影，并计算每个行人的样本均值，得到低维目标点；
步骤3、得到低维目标点后，对原始样本点采用线性回归的方法与相应的低维目标点进行逼近，得到代价函数；通过最小二乘的方法求解线性回归问题，得到投影矩阵，该投影矩阵与其转置的乘积得到马氏距离矩阵；
步骤4、根据马氏距离矩阵计算待查询行人与目标行人数据集特征向量的距离，按从小到大的顺序排列，得到候选查询图像，完成行人重识别任务；
所述步骤1中，针对每一个行人，分别从两个不同的监控摄像机中选取同一个行人的两幅图像，每一个人的两幅图像作为一个相似训练样本对，多个人的相似训练样本对组成算法的训练样本集；
所述步骤2为：对提取好的训练样本进行线性判别分析，首先计算相似训练样本对的类间散布矩阵和类内散布矩阵，采用Fisher准则的方法，计算子空间投影矩阵，然后对训练样本对进行低维空间投影，计算每对行人低维样本点的中心作为每个行人的样本均值。
2.根据权利要求1所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，步骤3所述代价函数为：
Figure FDA0002421357630000011
其中，
Figure FDA0002421357630000012
为相对应的低维目标点；W是子空间投影矩阵，L是投影矩阵；λ是最小二乘正则化参数；Xp∈Rc×d，为来自第一个监控摄像机的训练样本；Xg∈Rc×d，为来自第二个监控摄像机的训练样本；c表示行人的个数，d表示行人图像特征的维数，Xp与Xg组成相似对[Xp；Xg]。
3.根据权利要求2所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，步骤3所述投影矩阵为线性变换矩阵。
4.根据权利要求3所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，所述线性变换矩阵L为：
Figure FDA0002421357630000021
其中I是与XTX维数相同的单位矩阵，n是对应维数。
5.根据权利要求1或4所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，所述马氏距离矩阵M＝LLT，其中L为投影矩阵。
6.根据权利要求5所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，步骤4根据马氏距离矩阵计算待查询行人与目标行人数据集特征向量的距离，公式如下：
Figure FDA0002421357630000022
7.根据权利要求1所述的基于最小二乘判别分析距离学习的行人重识别方法，其特征在于，步骤1中，从两个不同的监控摄像机中取每个人的多张图像，并进行归一化，提取视觉特征，组成训练样本集。
CN201711227802.6A 2017-11-29 2017-11-29 基于最小二乘判别分析距离学习的行人重识别方法 Active CN107909049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711227802.6A CN107909049B (zh) 2017-11-29 2017-11-29 基于最小二乘判别分析距离学习的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711227802.6A CN107909049B (zh) 2017-11-29 2017-11-29 基于最小二乘判别分析距离学习的行人重识别方法

Publications (2)

Publication Number Publication Date
CN107909049A CN107909049A (zh) 2018-04-13
CN107909049B true CN107909049B (zh) 2020-07-31

Family

ID=61849017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711227802.6A Active CN107909049B (zh) 2017-11-29 2017-11-29 基于最小二乘判别分析距离学习的行人重识别方法

Country Status (1)

Country Link
CN (1) CN107909049B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214430B (zh) * 2018-08-15 2021-10-22 天津大学 一种基于特征空间拓扑分布的行人重识别方法
CN109034109B (zh) * 2018-08-16 2021-03-23 新智数字科技有限公司 一种基于聚类算法的行人重识别方法和装置
CN112446361A (zh) * 2020-12-16 2021-03-05 上海芯翌智能科技有限公司 一种训练数据的清洗方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107122795A (zh) * 2017-04-01 2017-09-01 同济大学 一种基于核化特征和随机子空间集成的行人再辨识方法
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
CN107330397A (zh) * 2017-06-28 2017-11-07 苏州经贸职业技术学院 一种基于大间隔相对距离度量学习的行人重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107122795A (zh) * 2017-04-01 2017-09-01 同济大学 一种基于核化特征和随机子空间集成的行人再辨识方法
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
CN107330397A (zh) * 2017-06-28 2017-11-07 苏州经贸职业技术学院 一种基于大间隔相对距离度量学习的行人重识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Interactive Metric Learning System for Similar Image Search using Linear Discriminant Analysis";Nipon Lerthirunwong and Ikuko Shimizu;《The 1st IEEE Global Conference on Consumer Electronics 2012》;20121231;第206-209页 *
"Regressive Virtual Metric Learning";Micha¨el Perrot, and Amaury Habrard;《Proceedings of the Advances in Neural Information Processing Systems》;20151231;pp1810-1818 *
"正则化最小二乘线性判别分析算法";刘遵雄，曾丽辉;《江西电力职业技术学院学报》;20100331;第23卷(第1期);第35-39页 *

Also Published As

Publication number Publication date
CN107909049A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
Li et al. Activity recognition using dynamic subspace angles
CN103136516B (zh) 可见光与近红外信息融合的人脸识别方法及系统
CN103218609B (zh) 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN107203745B (zh) 一种基于跨域学习的跨视角动作识别方法
CN110781766B (zh) 基于特征谱正则化的格拉斯曼流形判别分析图像识别方法
CN107909049B (zh) 基于最小二乘判别分析距离学习的行人重识别方法
Khan et al. Head pose estimation through multi-class face segmentation
Wang et al. Head pose estimation with combined 2D SIFT and 3D HOG features
CN107145841B (zh) 一种基于矩阵的低秩稀疏人脸识别方法及其系统
Faraki et al. Approximate infinite-dimensional region covariance descriptors for image classification
Ma et al. CovGa: a novel descriptor based on symmetry of regions for head pose estimation
Huang et al. Complete local Fisher discriminant analysis with Laplacian score ranking for face recognition
CN111401429B (zh) 基于聚类自适应典型相关分析的多视角图像聚类方法
Parde et al. Deep convolutional neural network features and the original image
CN109241932B (zh) 一种基于运动方差图相位特征的热红外人体动作识别方法
Ng et al. Multi-layer age regression for face age estimation
CN109389017B (zh) 行人再识别方法
Liu et al. Dfdnet: Discriminant face descriptor network for facial age estimation
Duan et al. Local feature learning for face recognition under varying poses
CN101482917B (zh) 一种基于二阶二维主分量分析的人脸识别系统和方法
CN111127407A (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN109598262A (zh) 一种儿童人脸表情识别方法
Chen et al. Low-rank representation with contextual regularization for moving object detection in big surveillance video data
Del Coco et al. Assessment of deep learning for gender classification on traditional datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant