CN107330397B - 一种基于大间隔相对距离度量学习的行人重识别方法 - Google Patents

一种基于大间隔相对距离度量学习的行人重识别方法 Download PDF

Info

Publication number
CN107330397B
CN107330397B CN201710510540.8A CN201710510540A CN107330397B CN 107330397 B CN107330397 B CN 107330397B CN 201710510540 A CN201710510540 A CN 201710510540A CN 107330397 B CN107330397 B CN 107330397B
Authority
CN
China
Prior art keywords
pedestrian
matrix
feature expression
camera
expression vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710510540.8A
Other languages
English (en)
Other versions
CN107330397A (zh
Inventor
董虎胜
陆萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Trade and Commerce
Original Assignee
Suzhou Institute of Trade and Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Trade and Commerce filed Critical Suzhou Institute of Trade and Commerce
Priority to CN201710510540.8A priority Critical patent/CN107330397B/zh
Publication of CN107330397A publication Critical patent/CN107330397A/zh
Application granted granted Critical
Publication of CN107330397B publication Critical patent/CN107330397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于大间隔相对距离度量学习的行人重识别方法，包括步骤：在训练数据集中，对行人图像的特征表达向量进行降维处理并将降维后的向量进一步投影到类内子空间；根据投影后的特征表达向量及对应的标签信息通过优化损失函数学习马氏距离度量矩阵；在测试数据集中，利用学习到的马氏距离度量矩阵对不同摄像机下的行人图像进行行人重识别。由于在类内子空间通过相对距离比较学习马氏距离度量矩阵，获得的度量矩阵具有更强的鲁棒性，在测试集上显著提升了行人重识别的准确率。

Description

一种基于大间隔相对距离度量学习的行人重识别方法
技术领域
本发明涉及视频监控技术领域，具体涉及一种基于大间隔相对距离度量学习的行人重识别方法。
背景技术
近年来，随着网络技术的发展以及社会安防需求的增长，智能视频监控的应用得到了大量的普及。由于视频监控能够以直观、准确、及时与丰富的图像展示当前状态或还原事发现场，成为了打击犯罪、公安刑侦、司法取证等工作的有效手段，也因此被广泛应用于各种场所。当前，在机关单位、小区、街道路口、车站、地铁等公共场合基本上建立起了比较完备的视频监控网络，它们所存储的视频为安全防范，实时监控跟踪以及事件分析提供了有效的数据保障。为了对比较大的范围进行有效的监控，当前的视频监控系统一般采用具有不重叠视域的摄像机对需要重点覆盖的区域进行监控。在一些基于视频监控系统的应用中，比如跨摄像机的行人跟踪与基于视频的行人检索中，常常需要根据特定的外观信息，对不同摄像机下的行人进行身份关联，即通过行人外观信息对不同摄像机捕获的行人画面进行匹配。这种对具有不重叠视域摄像机捕捉到的行人画面根据外观进行身份匹配的工作即为行人重识别。
但是由于不同摄像机的内部参数存在差异，行人在不同摄像机画面中受光照、摄像机视角与行人姿态等因素的影响，即使是同一行人在不同摄像机画面中的外观会存在巨大的差异，导致不同摄像机下根据行人外观进行身份匹配的重识别工作相当困难。
尽管行人重识别的方法各有不同，但总体上大致都可以分为两个阶段。第一阶段是特征表达的提取，即从行人画面(已从摄像机监控视频中裁切出)中计算一些具有判别性的特征表达，获得关于行人外观的数字化表达。第二阶段是采用一些距离/相似度计算方法计算不同摄像机下的两张行人画面间的距离/相似度，并确定两张图像中的行人是否为同一人；针对第二阶段的距离度量研究中，传统方法一般采用标准的距离函数度量行人间的相似性，如欧式距离、巴氏距离等，但是，其存在距离度量的鲁棒性差的问题，导致行人重识别的准确率低。
发明内容
本申请提供一种基于大间隔相对距离度量学习的行人重识别方法，包括步骤：
在训练数据集中，对不同摄像机下的行人图像的特征表达向量进行降维处理，并将降维处理后的特征表达向量投影到类内子空间；
根据投影后的各特征表达向量及其对应的标签信息通过优化损失函数学习马氏距离度量矩阵；
在测试数据集中，利用从训练集中学习获得的马氏距离度量矩阵对不同摄像机下的行人图像进行行人重识别。
一种实施例中，对不同摄像机下的训练数据集的行人图像的特征表达向量进行降维处理，具体为：
将训练数据集中摄像机a下行人图像的特征表达向量拼成矩阵
Figure BDA0001335609740000021
将训练数据集中摄像机b下行人图像的特征表达向量拼成矩阵
Figure BDA0001335609740000022
其中d为特征向量的维度，n和m为特征表达向量的个数；
首先将X与Z拼接为矩阵
Figure BDA0001335609740000023
并计算其中所有样本的均值向量
Figure BDA0001335609740000024
其中yi指代矩阵Y的第i列；
对摄像机a和摄像机b下的行人图像的特征表达向量分别作去均值处理，即对矩阵Y执行运算
Figure BDA0001335609740000025
其中1n+m为n+m维元素全为1的列向量；
计算
Figure BDA0001335609740000026
中所有去均值后样本的协方差矩阵；
对所述协方差矩阵进行特征值分解运算，并获取前d′个最大特征值所对应的特征向量；
将所述前d′个最大特征值所对应的特征向量拼成PCA投影矩阵：
Figure BDA0001335609740000027
分别将摄像机a和摄像机b下的特征表达矩阵x与Z使用所述PCA投影矩阵Wpca向低维空间作投影运算，获得降维后的矩阵：
Figure BDA0001335609740000028
和
Figure BDA0001335609740000029
其中1n与1m为n维与m维元素全为1的列向量。
一种实施例中，将降维处理后的行人图像的特征表达向量投影到类内子空间，具体为：
计算降维后的所有特征表达向量的类内协方差矩阵：
Figure BDA00013356097400000210
其中，
Figure BDA00013356097400000211
为所有具有相同身份标签的跨摄像机行人图像对所组成的集合，x′i与z′j分别为X′与Z′的第i、j列，指代X所属摄像机下的第i张图片与Z所属摄像机下的第j张图片，x′i与z′j为同一行人在不同摄像机下的特征表达向量；
对所述类内协方差矩阵
Figure BDA00013356097400000212
进行特征值分解运算，获取按降序排列的各特征值所对应的特征向量，并拼成类内子空间投影矩阵：
Figure BDA00013356097400000213
分别将降维处理后的行人图像的特征表达向量使用所述类内子空间投影矩阵Wintra投影到类内子空间,采用矩阵运算为：
Figure BDA0001335609740000031
Figure BDA0001335609740000032
其中，
Figure BDA0001335609740000033
为一个对角矩阵，主对角线上的元素为按降序排列的
Figure BDA0001335609740000034
各特征值的平方根倒数。
一种实施例中，根据向类内子空间投影后的特征表达向量及其对应的标签信息通过优化损失函数学习马氏距离度量矩阵，具体为：
目标函数为：
Figure BDA0001335609740000035
其中，
Figure BDA0001335609740000036
为
Figure BDA0001335609740000037
在摄像机b下的正确匹配图像特征表达向量集合，而
Figure BDA0001335609740000038
则为
Figure BDA0001335609740000039
在摄像机b下的错误匹配图像特征表达向量集合，
Figure BDA00013356097400000310
为关于
Figure BDA00013356097400000311
三元组的函数，用于约束与
Figure BDA00013356097400000312
错误匹配图像中最的小距离比正确匹配距离
Figure BDA00013356097400000313
高于一个常数阈值δ，
Figure BDA00013356097400000314
为马氏距离函数，其由一个半正定矩阵M所参数化；
采用加速邻近端梯度优化方法对所述目标函数求解，获取最优马氏距离度量矩阵。
一种实施例中，利用所述在训练集上学习获得的马氏距离度量矩阵对测试数据集中不同摄像机下的行人图像进行行人重识别，具体为：将测试数据集中摄像机a下每一张图片的特征表达向量与摄像机b下所有图像提取的特征表达向量两两计算马氏距离，并按马氏距离由小到大排序，将马氏距离最小的图像作为正确匹配的图片对。
一种实施例中，还包括获取数据集中所有图像的特征表达向量的步骤：
对行人图像大小进行归一化处理；
对归一化处理后的行人图像进行特征表达向量提取；
将所有行人图像的特征表达向量与其所对应的标签划分为训练数据集和测
试数据集。
依据上述实施例的行人重识别方法，由于先对训练数据集中的特征表达向量进行降维，再将降维后的特征表达向量投影到类内子空间，进而在类内子空间通过相对距离比较学习马氏距离度量矩阵，最后，在测试集上使用学习到的马氏距离度量矩阵进行行人重识别，该方法能够有效避免训练数据集中正、负样本不平衡所带来的影响，能够学习到鲁棒性强的马氏距离度量矩阵，提升行人重识别的准确率。
附图说明
图1为行人重识别方法流程图；
图2为特征表达向量提取过程示意图；
图3为一公开数据集中的不同摄像机下部分行人图片示意图；
图4为行人重识别方法仿真结果比较图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
为了避免在度量学习中正确匹配行人图片对的数量远低于不同行人图片对所带来的样本不平衡问题，本例提供一种基于大间隔相对距离度量学习的行人重识别方法，通过将样本投影到类内子空间，采用新设计的具有更强约束的损失函数，使本例提出的行人重识别方法能够获得更优的距离度量矩阵，从而大大提高行人重识别的准确率。
本例以从监控视频画面中裁剪出的仅包含行人的矩形画面作为行人图像，提取这些行人图像的特征表达向量，并将这些特征表达向量及对应的身份标签所组成的数据划分为训练数据集和测试数据集，在训练数据集上，按大间隔相对距离度量学习算法学习得到马氏距离度量矩阵，在测试数据集上利用学习到的距离度量矩阵计算不同摄像机下行人画面的距离，实现行人身份验证(即完成行人重识别工作)，具体包括如下步骤，其流程图如图1所示。
S1：获取行人图像的特征表达向量，并划分为训练数据集与测试数据集。
具体的，对行人图像大小作归一化处理，即将所有行人图像统一到相同的大小；利用现有的特征表达向量提取算法计算归一化处理后的行人图像的特征表达向量，将所有行人图像的特征表达向量与其所对应的标签(如，行人身份验证标签)组成数据集，再将数据集划分为训练数据集和测试数据集。
其中，对行人图像大小归一化处理的具体过程是：如图2所示，给定一张行人图像，首先将该行人图像调整为128像素×64像素，然后采用前景分割算法获得图像中的行人。再对前景行人图像划分为8个等高度的水平条，对于最顶端与最底端分别去除1/2水平条高度后，将获得的裁剪后的图像再划分为7个等高水平条，这样的划分可以获得具有覆盖的15个水平条；从每个水平条中分别提取HSV联合直方图、RGB联合直方图、尺度不变局部三元模式(Local Ternary Pattern,LTP)纹理特征与显著颜色名称(Salient Color Names,SCN)直方图。其中，HSV与RGB联合直方图每个颜色通道作8位量化，因此，获得的HSV/RGB联合直方图均为512维，LTP直方图为182维，SCN直方图为16维；将各个水平条上提取的特征向量按顺序逐一拼接起来，得到整幅图像完整的特征表达向量，最终的维度为18030。
S2：在训练数据集中，对不同摄像机下行人图像的特征表达向量进行降维处理并将降维处理后的特征表达向量投影到类内子空间。
为了提高运算速度，对不同摄像机下的行人图像的特征向量首先进行无监督的PCA降维处理，且，降维时采用保留所有能量的方案，降维处理的具体过程如下。
将训练数据集中摄像机a下行人图像的特征表达向量拼成矩阵
Figure BDA0001335609740000051
将训练数据集中摄像机b下行人图像的特征表达向量拼成矩阵
Figure BDA0001335609740000052
其中d为特征向量的维度，n和m为特征表达向量的个数；
首先将X与Z拼接为矩阵
Figure BDA0001335609740000053
并计算其中所有样本的均值向量
Figure BDA0001335609740000054
其中yi指代矩阵Y的第i列；
对摄像机a和摄像机b下的行人图像的特征表达向量分别作去均值处理，即对矩阵Y执行运算
Figure BDA0001335609740000055
其中1n+m为n+m维元素全为1的列向量；
计算
Figure BDA00013356097400000513
中所有去均值后样本的协方差矩阵；
对所述协方差矩阵进行特征值分解运算，并获取前d′个最大特征值所对应的特征向量；
将所述前d′个最大特征值所对应的特征向量拼成PCA投影矩阵：
Figure BDA0001335609740000056
分别将摄像机a和摄像机b下的特征表达矩阵X与Z使用所述PCA投影矩阵Wpca向低维空间作投影运算，获得降维后的矩阵：
Figure BDA0001335609740000057
和
Figure BDA0001335609740000058
其中1n与1m为n维与m维元素全为1的列向量。
另外，将降维处理后的行人图像的特征表达向量投影到类内子空间的过程如下。
计算降维后的特征矩阵的类内协方差，获取类内协方差矩阵：
Figure BDA0001335609740000059
其中，
Figure BDA00013356097400000510
为所有具有相同身份标签的跨摄像机行人图像对所组成的集合，x′i与z′j分别为X′与Z′的第i、j列，指代X所属摄像机下的第i张图片与Z所属摄像机下的第j张图片，x′i与z′j为同一行人在不同摄像机下的特征表达向量；
对类内协方差矩阵
Figure BDA00013356097400000511
进行特征值分解运算，获取按降序排列的各特征值所对应的特征向量，并拼成类内子空间投影矩阵：
Figure BDA00013356097400000512
分别将降维处理后的行人图像的特征表达向量使用所述类内子空间投影矩阵Wintra投影到类内子空间：
Figure BDA0001335609740000061
其中，中
Figure BDA0001335609740000062
为一个对角矩阵，主对角线上的元素为按降序排列的
Figure BDA00013356097400000623
各特征值的平方根倒数。
通过公式(2)向类内子空间投影操作能够有效地抑制具有较大方差的特征向量的维度，从而使得具有相同标签的跨摄像机特征向量间的距离得到降低。
S3：根据投影后的特征表达向量及其对应的标签信息通过优化损失函数学习马氏距离度量矩阵。
本例中，从跨摄像机的行人图像特征表达向量及对应的标签中学习马氏距离度量矩阵的目标函数的表达式如下：
Figure BDA0001335609740000063
其中，
Figure BDA0001335609740000064
为
Figure BDA0001335609740000065
在摄像机b下的正确匹配图像集合，而
Figure BDA0001335609740000066
则为
Figure BDA0001335609740000067
在摄像机b下的错误匹配图像集合，
Figure BDA0001335609740000068
为关于
Figure BDA0001335609740000069
三元组的函数，用于约束与
Figure BDA00013356097400000610
错误匹配图像中最的小距离比正确匹配距离
Figure BDA00013356097400000611
高于一个常数阈值δ，
Figure BDA00013356097400000612
为马氏距离函数，其由一个半正定矩阵M所参数化；并将
Figure BDA00013356097400000621
作为约束函数。
公式(3)中采用了Log-logistic损失函数，能够为正确匹配样本对与错误匹配样本对提供一个柔性区分间隔，此外该函数为一凸函数，保证了公式(3)为凸优化问题其最优解唯一，该函数的光滑可微性也为公式(3)的优化求解带来了方便。此外，
Figure BDA00013356097400000613
采用了三元组来比较
Figure BDA00013356097400000614
的正确匹配图像对与所有错误匹配图像对间的相对距离，避免了从不平衡数据中学习到的度量矩阵不够鲁棒的缺点；而
Figure BDA00013356097400000615
约束了即使
Figure BDA00013356097400000616
的错误匹配图像中即使最小的距离也要比正确匹配距离高出δ，这是一个非常严格的约束条件，保证了正确匹配图像
Figure BDA00013356097400000617
在最终按距离排序时，其位置能够有效地被向前推(Top Push)。
另外，本例采用了高效的加速邻近端梯度(Accelerated Proximal Gradient,APG)优化方法对公式(3)进行求解，获取最优马氏距离度量矩阵。具体的，为了更高效方便地求解公式(3)，首先对公式(3)进行恒等变换，将约束条件
Figure BDA00013356097400000622
采用示性函数整合到目标函数中：
Figure BDA00013356097400000618
式中
Figure BDA00013356097400000619
为关于矩阵M是否属于d′×d′大小半正矩阵集合
Figure BDA00013356097400000620
的示性函数，其中，
Figure BDA0001335609740000071
进一步，将公式(4)拆分为如下两部分：
Figure BDA0001335609740000072
Figure BDA0001335609740000073
采用APG的迭代优化策略，首先对f(M)执行梯度下降，再优化h(M)，如此迭代直到达到收敛条件阈值。令Vt(t≥1)为已搜索到的最优点，在此点处对f(M)线性化，创建邻近点算子(Proximal Operator)如下：
Figure BDA0001335609740000074
其中，||·||F为Frobenius范数，<·>为矩阵内积运算，ηt为步长值。式中
Figure BDA0001335609740000075
为函数f(M)在Vt点的梯度；
进一步，
Figure BDA0001335609740000076
其中，
Figure BDA0001335609740000077
Figure BDA0001335609740000078
Figure BDA0001335609740000079
为了加快对(9)的运算速度，避免公式(12)中的外积运算所带来的巨大运算量，实际数值运算采用了矩阵化运算，
Figure BDA00013356097400000710
式中N+为对每个a摄像机下每个
Figure BDA00013356097400000711
在摄像机b下作添补后的正确匹配图片数，这样使得对于所有
Figure BDA00013356097400000712
在摄像机b下都具有相同的正确匹配图片数，从而可以进行矩阵化运算。G(t)为一个3维矩阵，其中的元素为
Figure BDA00013356097400000713
Figure BDA00013356097400000714
为G(t)中第2个维度上的第l个2维矩阵，
Figure BDA00013356097400000715
与
Figure BDA00013356097400000716
是两上对角矩阵，它们主对角线上的元素的和分别为
Figure BDA00013356097400000717
的行和与列和。采用式(13)的计算效率远高于式(9)，特别是在N+＝1的情况下，即对每个摄像机a下的行人图片，在摄像机b下仅有1张正确匹配图片。
对式(8)丢弃与M无关项f(Vt)，并添加
Figure BDA00013356097400000718
可获得其等价形式：
Figure BDA00013356097400000719
从而获得解
Figure BDA00013356097400000720
接下来根据APG优化h(M)，即将
Figure BDA0001335609740000081
向半正定锥投影。首先对
Figure BDA0001335609740000082
作特征值分解，
Figure BDA0001335609740000083
取
Figure BDA0001335609740000084
后获得
Figure BDA0001335609740000085
接下来，根据获得的Mt与前一步获得的Mt-1作外插值获得Vt+1，即
Figure BDA0001335609740000086
其中
Figure BDA0001335609740000087
重复上述步骤直到
Figure BDA0001335609740000088
即算法收敛(∈为指定的收敛阈值)，此时获得的Mt即为所求最优马氏距离度量矩阵M(亦即式(3)的解)。
以VIPeR数据集为例，如图3所示展示了从该数据集中随机选取的部分行人图像示例。将数据集随机划分为不相交的两部分，其中一部分作为训练数据集，另一部分作为测试数据集，如在VIPeR上，将其中包含的632个行人(每个行人在两个摄像机下各一张图片)随机划分为2个各含316个行人子集，前316人图片的向类内子空间投影后的特征表达向量用于训练，后316人投影后的特征表达向量用作为测试集。
以举例说明学习获得马氏距离度量矩阵的具体过程如下：
步骤1：初始化M0与V1均为d′×d′大小的单位阵，θ0＝1，收敛阈值∈＝10-5；
步骤2：更新θt+1：
Figure BDA0001335609740000089
步骤3：对每个摄像机a下的行人图片，使用当前迭代中获得的Mt按
Figure BDA00013356097400000810
计算其与所有摄像机b下的行人图片间距离，并根据式(15)获得与其距离最小的错误匹配图片序号；
步骤4：按公式(10)与(13)计算梯度
Figure BDA00013356097400000811
步骤5：采用线搜索方法估计式(8)中的步长ηt；
步骤6：按式(14)计算f(M)在Vt点处的最优解在
Figure BDA00013356097400000812
步骤7：将
Figure BDA00013356097400000813
向半正定锥投影获得第t步迭代中式(3)的最优解Mt；
步骤8：更新Vt+1：
Figure BDA00013356097400000814
步骤9：根据式(4)计算损失函数，如果当前损失函数与上次损失函数差值大于收敛阈值∈，则转到步骤2，否则认为算法收敛，输出最优解Mt。
S4：在测试数据集中，利用马氏距离度量矩阵对摄像机a和摄像机b下的行人图像进行行人重识别。
具体为：将测试数据集中摄像机a下每一张图片的特征表达向量与摄像机b下所有图像提取的特征表达向量两两计算马氏距离，并按马氏距离由小到大排序，将马氏距离最小的图像作为正确匹配的图片对；即，对所有测试数据集中的特征表达向量使用Wpca与均值特征向量作PCA投影到d′维度，再使用Wintra向类内子空间投影，对测试数据集中摄像机a下一个行人图像的向类内子空间投影后的特征表达向量，与摄像机b下的所有行人图像的类内子空间投影后特征表达向量根据
Figure BDA0001335609740000091
计算马氏距离，对获得的距离按距离由小到大升序排列，排在靠前位置的被认为与摄像机a下行人图像最为匹配的摄像机b下行人图像，重复计算马氏距离及排序操作，直到摄像机a下所有行人图像都有摄像机b下所有行人图像完成距离计算与排序操作。
如图4所示，为本例与其它公开方法在VIPeR数据集上的重识别累积匹配准确率(Cumulative Matching Characteristic,CMC)曲线，其中SSSVM为每个行人训练一个SVM分类器，并采用最小二乘半耦合词典创建特征空间与分类器空间之间的对应关系；NFST将行人图片的特征表达向量投影到类内散布矩阵的零空间再进行匹配，该方法能够有效地解决小样本问题且具有闭合形式的解；MLAPG方法在求解度量矩阵时对正、负样本对采用了不对称加权的策略来解决样本不平衡导致的度量矩阵不够鲁棒的缺点；XQDA方法在求解距离度量矩阵的同时还求解一个低维投影矩阵，从而无需先对特征向量降维再学习度量矩阵；PolyMap方法对跨摄像机的行人图片特征向量首先采用二次多项式核函数进行映射，再学习相似度函数计算不同摄像机下图片之间的相似度；MLF方法通过学习中层滤波器特征，利用RankSVM算法来计算行人图片间的相似度，但运算耗时较长；SalMatch方法采用了对行人图片首先计算其显著性图，再使用该显著性图对RankSVM计算的相似度进行加权；KISSME为从统计推理角度出发提出的一种快速度量学习方法，该算法简单高效，具有闭合形式的解，但是对PCA维度相当敏感；PCCA方法从训练样本中学习到一个低维投影矩阵，因此可以直接处理高维样本，并在降维后的子空间中实现行人图片的匹配；PRDC方法从概率角度出发，旨在学习一个投影子空间使得错误匹配图像间距离高于正确匹配图像间距离的概率最大化。LMRDL为本发明实施例的准确率结果。可以看出本实施例在识别准确率明显优于其他方法。此外，由于采用了高效的APG优化方法，本发明方法求解速度也很快。
与现有技术相比，本发明具有以下的有益效果：
传统的度量学习往往直接不同摄像机下的行人图像对施加硬约束，即匹配图像对的距离应小于某一阈值，而不匹配图像应大于此阈值。但这种约束过于僵硬，因为无法保证不同行人的两张图像均满足固定的阈值条件，另外受到不平衡数据的影响较重。以往的基于三元组的度量学习方法或者不处理类内图像对，或者在目标函数中同时约束类内距离与类间距离，但需要对两者进行平衡。而本发明所提出的度量学习方法是在将样本投影到内类子空间后再学习相对距离度量，该方法不仅能够有效地避免不平衡样本所带来的度量矩阵不够鲁棒的缺点，还能够降低不同摄像机下类内行人图像的距离，不必对类内距离与类间距离进行平衡。在行人重识别任务上的实验结果证实了本发明提出的方法的有效性。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种基于大间隔相对距离度量学习的行人重识别方法，其特征在于，包括步骤：
在训练数据集中，对不同摄像机下行人图像的特征表达向量进行降维处理并将降维后的特征表达向量投影到类内子空间；
根据投影后的各特征表达向量及其对应的标签信息通过优化损失函数学习马氏距离度量矩阵；具体为：
目标函数为：
Figure FDA0002578357520000011
其中，
Figure FDA0002578357520000012
为
Figure FDA0002578357520000013
在摄像机b下的正确匹配图像特征表达向量集合，而
Figure FDA0002578357520000014
则为
Figure FDA0002578357520000015
在摄像机b下的错误匹配图像特征表达向量集合，
Figure FDA0002578357520000016
为关于
Figure FDA0002578357520000017
三元组的函数，用于约束与
Figure FDA0002578357520000018
错误匹配图像中最的小距离比正确匹配距离
Figure FDA0002578357520000019
高于一个常数阈值δ，
Figure FDA00025783575200000110
为马氏距离函数，其由一个半正定矩阵M所参数化；
采用加速邻近端梯度优化方法对所述目标函数求解，获取最优马氏距离度量矩阵；
在测试数据集中，利用从训练集中学习获得的马氏距离度量矩阵对不同摄像机下的行人图像进行行人重识别。
2.如权利要求1所述的行人重识别方法，其特征在于，所述对训练数据集中不同摄像机下行人图像的特征表达向量进行降维处理，具体为：
将训练数据集中摄像机a下行人图像的特征表达向量拼成矩阵
Figure FDA00025783575200000111
将训练数据集中摄像机b下行人图像的特征表达向量拼成矩阵
Figure FDA00025783575200000112
其中d为特征向量的维度，n和m为特征表达向量的个数；
首先将X与Z拼接为矩阵
Figure FDA00025783575200000113
并计算其中所有样本的均值向量
Figure FDA00025783575200000114
其中yi指代矩阵Y的第i列；
对摄像机a和摄像机b下的行人图像的特征表达向量分别作去均值处理，即对矩阵Y执行运算
Figure FDA00025783575200000115
其中1n+m为n+m维元素全为1的列向量；
计算
Figure FDA00025783575200000116
中所有去均值后样本的协方差矩阵；
对所述协方差矩阵进行特征值分解运算，并获取前d′个最大特征值所对应的特征向量；
将所述前d′个最大特征值所对应的特征向量拼成PCA投影矩阵：
Figure FDA00025783575200000117
分别将摄像机a和摄像机b下的特征表达矩阵X与Z使用所述PCA投影矩阵Wpca向低维空间作投影运算，获得降维后的矩阵：
Figure FDA0002578357520000021
和
Figure FDA0002578357520000022
其中1n与1m为n维与m维元素全为1的列向量。
3.如权利要求2所述的行人重识别方法，其特征在于，所述将降维处理后的行人图像的特征表达向量投影到类内子空间，具体为：
计算降维后的所有特征表达向量的类内协方差矩阵：
Figure FDA0002578357520000023
其中，
Figure FDA0002578357520000024
为所有具有相同身份标签的跨摄像机行人图像对所组成的集合，x′i与z′j分别为X′与Z′的第i、j列，指代X′所属摄像机下的第i张图片与Z′所属摄像机下的第j张图片，x′i与z′j为同一行人在不同摄像机下的特征表达向量；
对所述类内协方差矩阵
Figure FDA0002578357520000029
进行特征值分解运算，获取按降序排列的各特征值所对应的特征向量，并拼成类内子空间投影矩阵：
Figure FDA0002578357520000025
分别将降维处理后的行人图像的特征表达向量使用所述类内子空间投影矩阵Wintra投影到类内子空间,采用矩阵运算即为：
Figure FDA0002578357520000026
其中，
Figure FDA0002578357520000027
为一对角矩阵，主对角线上的元素为按降序排列的
Figure FDA0002578357520000028
各特征值的平方根倒数。
4.如权利要求1所述的行人重识别方法，其特征在于，所述利用在训练集上学习获得的马氏距离度量矩阵对测试数据集中不同摄像机下的行人图像进行行人重识别，具体为：将所述测试数据集中摄像机a下每一张图片的特征表达向量与摄像机b下所有图像的特征表达向量两两计算马氏距离，并按马氏距离由小到大排序，将马氏距离最小的图像视与检索图像正确匹配的结果。
5.如权利要求1所述的行人重识别方法，其特征在于，还包括训练数据集和测试数据集的特征表达向量的获取步骤：
对行人图像大小进行归一化处理；
对归一化处理后的行人图像进行特征表达向量提取；
将所有行人图像的特征表达向量与其所对应的标签组成数据集；
将所述数据集划分为训练数据集和测试数据集。
CN201710510540.8A 2017-06-28 2017-06-28 一种基于大间隔相对距离度量学习的行人重识别方法 Active CN107330397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710510540.8A CN107330397B (zh) 2017-06-28 2017-06-28 一种基于大间隔相对距离度量学习的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710510540.8A CN107330397B (zh) 2017-06-28 2017-06-28 一种基于大间隔相对距离度量学习的行人重识别方法

Publications (2)

Publication Number Publication Date
CN107330397A CN107330397A (zh) 2017-11-07
CN107330397B true CN107330397B (zh) 2020-10-02

Family

ID=60198654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710510540.8A Active CN107330397B (zh) 2017-06-28 2017-06-28 一种基于大间隔相对距离度量学习的行人重识别方法

Country Status (1)

Country Link
CN (1) CN107330397B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909049B (zh) * 2017-11-29 2020-07-31 广州大学 基于最小二乘判别分析距离学习的行人重识别方法
CN108446613A (zh) * 2018-03-08 2018-08-24 常州大学 一种基于距离中心化与投影向量学习的行人重识别方法
CN108537181A (zh) * 2018-04-13 2018-09-14 盐城师范学院 一种基于大间距深度度量学习的步态识别方法
CN109063591B (zh) * 2018-07-12 2021-10-15 杭州电子科技大学 一种基于距离分布度量学习的行人再识别方法
CN108549883A (zh) * 2018-08-06 2018-09-18 国网浙江省电力有限公司 一种人脸再识别方法
CN109271895B (zh) * 2018-08-31 2022-03-04 西安电子科技大学 基于多尺度特征学习和特征分割的行人重识别方法
CN109903271B (zh) * 2019-01-29 2022-05-13 福州大学 胎盘植入b超图像特征提取与验证方法
CN110032984B (zh) * 2019-04-22 2020-01-31 广东石油化工学院 基于非对称映射半耦合字典对的低分辨率行人重学习方法
CN110135363B (zh) * 2019-05-13 2022-09-27 苏州经贸职业技术学院 基于判别词典嵌入行人图像检索方法、系统、设备及介质
CN110210335B (zh) * 2019-05-16 2021-05-11 上海工程技术大学 一种行人重识别学习模型的训练方法、系统和装置
CN111126135B (zh) * 2019-11-11 2023-12-01 上海蠡图信息科技有限公司 一种基于统一划分的特征自适应行人再识别方法
CN112069908B (zh) * 2020-08-11 2024-04-05 西安理工大学 基于共现属性的行人重识别方法
CN111967381B (zh) * 2020-08-16 2022-11-11 云知声智能科技股份有限公司 一种人脸图像质量评分标注方法及装置
CN112069961B (zh) * 2020-08-28 2022-06-14 电子科技大学 一种基于度量学习的少样本文档版面分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793702A (zh) * 2014-02-28 2014-05-14 武汉大学 基于协同尺度学习的行人重识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711146B2 (en) * 2006-03-09 2010-05-04 General Electric Company Method and system for performing image re-identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793702A (zh) * 2014-02-28 2014-05-14 武汉大学 基于协同尺度学习的行人重识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Similarity Metric Learning for Face Recognition;Qiong Cao等;《ICCV2013：IEEE International Conference on Computer Vision》;20131231;第2408~2415页 *

Also Published As

Publication number Publication date
CN107330397A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107330397B (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN107506700B (zh) 基于广义相似性度量学习的行人再识别方法
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
Chen et al. Unconstrained face verification using deep CNN features
Sankaranarayanan et al. Triplet probabilistic embedding for face verification and clustering
Chen et al. An end-to-end system for unconstrained face verification with deep convolutional neural networks
Cheng et al. Exploiting effective facial patches for robust gender recognition
US7702596B2 (en) Probabilistic boosting tree framework for learning discriminative models
US7596247B2 (en) Method and apparatus for object recognition using probability models
Ranjan et al. Unconstrained age estimation with deep convolutional neural networks
Ghorbani et al. HOG and LBP: Towards a robust face recognition system
Lin et al. Learning pairwise dissimilarity profiles for appearance recognition in visual surveillance
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
US20060018521A1 (en) Object classification using image segmentation
CN111126240B (zh) 一种三通道特征融合人脸识别方法
Demirkus et al. Probabilistic temporal head pose estimation using a hierarchical graphical model
Wang et al. Improving human action recognition by non-action classification
Demirkus et al. Hierarchical temporal graphical model for head pose estimation and subsequent attribute classification in real-world videos
Chen et al. Unconstrained face verification using fisher vectors computed from frontalized faces
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN115862055A (zh) 基于对比学习和对抗训练的行人重识别方法及装置
CN112052722A (zh) 行人身份再识别方法及存储介质
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
CN112766180B (zh) 一种基于特征融合和多核学习的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant