CN109389017A - 行人再识别方法 - Google Patents
行人再识别方法 Download PDFInfo
- Publication number
- CN109389017A CN109389017A CN201710684257.7A CN201710684257A CN109389017A CN 109389017 A CN109389017 A CN 109389017A CN 201710684257 A CN201710684257 A CN 201710684257A CN 109389017 A CN109389017 A CN 109389017A
- Authority
- CN
- China
- Prior art keywords
- matrix
- pedestrian
- training set
- class
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种行人再识别方法,包括:在获得行人图像的特征表达向量后,对训练集中的样本使用核零空间边界Fisher判别分析方法学习投影矩阵,将样本投影到类内散布矩阵的零空间中,在所述类内散布矩阵零空间中同一行人的所有图片的特征表达向量将塌陷为一个点,同时使不同行人的特征表达向量间尽可能分开,从而实现最优的行人身份匹配。本发明能够有效地避免当前在行人再识别中所遇到的小样本问题,提升行人重识别的准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体地,涉及行人在识别方法,尤其是基于核零空间边界Fisher判别分析的行人再识别方法。
背景技术
在由多摄像机构成的分布式视频监控网络中,常常需要从监控画面中获得具有特定外观的某一特定人物,从而进一步分析其在视频中的行为与运动轨迹,获得关于此人的更为丰富的信息。但是在分布式视频监控中,由于多摄像机通常被安置于不同的区域以实现对更大范围的监控,各个摄像机之间会存在有监控盲区,也就是摄像机视野存在不相交的情况。此时,当行人从某一摄像机画面中消失后,需要在另一摄像机捕获到的行人画面中将此行人识别出来,这项工作即被称为行人再识别。
行人再识别作为分布式视频监控中一种重要的行人自动检索与识别技术,是多摄像机跟踪与行人的行为分析等应用的重要基础。行人再识别通过利用行人画面的图像特征实现跨摄像机的自动身份验证,能够帮助视频侦查员快速、准确地发现特定对象,对于提高公安部门侦查效率与维护公共安全具有重要的意义。
由于在视频监控环境中,摄像机通常被架设在比较高的位置,使得监控画面捕捉到的行人通常分辨率比较低、画面尺寸比较小。这种情况下,诸如人脸、步态等信息无法获得,从而只能采用行人的衣着外观信息来进行识别与检索。但是在不同摄像机拍摄的画面中,受摄像机的内部参数差异的影响,以及不同摄像机成像时光照、视角、遮挡与行人姿态等因素的影响,即使是同一行人在不同摄像机的监控画面中也会存在外观差异巨大的情况。此外,同一摄像机下还会存在不同的行人穿着相似的情况,这些都导致行人再识别工作相当困难。
当前的行人再识别技术大致可以分为两类:(1)基于特征表达的行人再识别技术;(2)基于相似性/距离模型的行人再识别技术。基于特征表达的方法主要关注于从行人画面中提取出具有强判别性的特征描述子,并采用一些不需要学习的方法来计算不同摄像机下行人画面的特征表达向量。当然,为了能够降低不同摄像机下光照、视角、遮挡与行人姿态所带来的外观差异,还要求这些特征表达需要具有比较强的鲁棒性。而基于相似性/距离模型的行人再识别技术则主要强调利用已有的不同摄像机捕捉到的行人图像数据,从中学习获得相似性/距离模型的参数,并将学习到的模型应用到新的图像对上,确定两张图像中的行人是否为同一人。
在已公开的论文及专利中已有大量的关于基相似度/距离学习模型的行人再识别匹配模型。如文献[1]中提出的RDC方法通过最大化不匹配图片对间距离要大于匹配图片对距离的概率,学习获得投影子空间。文献[2]提出一种用于KNN分类的大间隔度量学习方法,通过迭代优化获得一个度量矩阵,使得同类样本与不同类样本间存在一个大的间隔来区分类别。文献[3]中提出了一种具有闭合形式解的度量学习方法,该方法无需迭代优化,非常高效。文献[4]中采用了局部Fisher判别分析方法从训练数据中学习Fisher投影矩阵进行行人再识别。文献[5]中为每个行人类别训练一个SVM分类器,再利用最小二乘耦合词典学习方法实现不同摄像机下行人的匹配。但是上述各方法学习马氏距离度量时,均需要对行人图像的特征表达向量作主成分分析(Principle Component Analysis,PCA),再在使用PCA投影后的子空间中学习,无法直接对高维数据直接进行处理。而PCA尽管能够降低样本的维度,但也可能会带来数据的判别性降低问题。
文献[1]Zheng W S,Gong S,Xiang T.Re-identification by relativedistance comparison [J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2013,35(3):653–668。
文献[2]Weinberger K Q,Saul L K.Distance metric learning for largemargin nearest neighbor classification[J].The Journal of Machine LearningResearch,2009,10:207–244。
文献[3]Koestinger M,Hirzer M,Wohlhart P,et al.Large scale metriclearning from equivalence constraints[C]//Computer Vision and PatternRecognition(CVPR),2012IEEE Conference on.2012:2288–2295。
文献[4]Zhang Y,Li B,Lu H,et al.Sample-Specific SVM Learning forPerson Re-identification[C]//IEEE Conference on Computer Vision and PatternRecognition.IEEE,2016:1278-1287。
文献[5]Pedagadi S,Orwell J,Velastin S,et al.Local Fisher DiscriminantAnalysis for Pedestrian Re-identification[C]//Computer Vision and PatternRecognition.IEEE,2013:3318-3325。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种行人再识别方法。
根据本发明提供的行人再识别方法,包括:
获取原始监控视频中的所有初始单个行人图像,所述所有初始单个行人图像的集合构成数据集;
将所述数据集中初始单个行人图像缩放至预设的统一尺寸,得到缩放后的行人图像;
提取每一个缩放后的行人图像的特征表达向量;
将数据集中所有行人的特征表达向量及对应的行人身份标签信息划分为训练集和测试集;
根据训练集的特征表达向量构建训练集特征矩阵X,训练集特征矩阵X的每一列作为一个训练样本,所述训练样本对应于训练集中的一张行人图片;
利用核函数计算训练集的核矩阵,并对所述核矩阵进行去中心化,得到去中心化的核矩阵;
计算训练集中各个训练样本在所述去中心化的核矩阵的核空间中的类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵;
根据所述类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵计算训练集在所述核空间中的类内散布矩阵Sw、类间散布矩阵Sb以及完全散布矩阵St;
从完全散布矩阵St的零空间的补空间、类内散布矩阵Sw的零空间、类间散布矩阵Sb的零空间中的补空间,这三个空间的交集中获得训练集的最优子空间投影矩阵,该最优子空间即为所述核零空间;
根据摄像头的不同将所述测试集划分为检索图片集和匹配图片集,根据测试集的特征表达向量分别构建检索图片集的特征矩阵Xp和匹配图片集的特征矩阵Xg;
分别计算训练集特征矩阵X与检索图片集的特征矩阵Xp的核矩阵Kp,其中xi为X的第i列,为Xp的第j列,k(·)为核函数;计算训练集特征矩阵X与匹配图片集的特征矩阵Xg的核矩阵Kg;其中Kp与Kg的各列为所述测试集中各个训练样本在所述核空间中的特征表达;
将Kp与Kg的各列均投影至从训练集学习的所述核零空间中,得到检索图片集与匹配图片集中各样本在核零空间内的低维表达;
对检索图片集的投影矩阵和匹配图片集的核零空间内低维表达进行两两计算欧式距离,对于每一个检索图片均按照欧式距离的大小顺序排列匹配图片集中的图片;
将与所述检索图片之间欧式距离最小的匹配图片作为识别结果。
可选地,所述提取每一个缩放后的行人图像的特征表达向量,包括:
将所述缩放后的行人图像划分为具有相同大小的密集网格单元,并将所述缩放后的行人图像划分为等高度的多个水平条;
将从所述密集网格单元中提取到的数字化特征与从水平条提取出的数字化特征进行拼接处理,得到所述缩放后的行人图像的特征表达向量。
可选地,所述利用核函数计算训练集特征矩阵的核矩阵,并对所述核矩阵进行去中心化,得到去中心化的核矩阵,包括:
假设训练集特征矩阵X∈Rd×N,各个训练样本对应的标签向量为y∈RN;其中d为特征向量的维度,N为特征向量的个数即行人图像数,yi∈{1,2,…,c},其中c为行人个数;
通过核函数计算训练集特征矩阵的核矩阵K∈RN×N,K为一个Gram矩阵,核矩阵K中的元素记为Kij=<Φ(xi),Φ(xj)>,即Φ(xi)与Φ(xj)的内积,Φ(x)为对训练集中元素x的映射函数,Kij为核矩阵K第i行第j列的元素,采用核函数有k(xi,xj)=<Φ(xi),Φ(xj)>的非显式映射;
对所述核矩阵进行去中心化的计算公式如下:
式中:去中心化的核矩阵,N为特征表达向量的个数,1为所有元素均为1的N×N矩阵。
可选地,所述类内KNN图邻接矩阵Aw和类间KNN惩罚图邻接矩阵Ab的定义如下:
式中:为与训练集中样本xi具有相同身份标签的kw个最近邻的集合,ci为xi的身份标签,为与xi具有不同身份标签的kb个最近邻的集合;类似的,为与训练集中样本xj具有相同身份标签的kw个最近邻的集合,cj为xj的身份标签,为与xj具有不同身份标签的kb个最近邻的集合;其中,Aw∈RN×N与Ab∈RN×N分别为KNN图邻接矩阵和类间KNN惩罚图邻接矩阵,Aw(i,j)与Ab(i,j)为KNN图邻接矩阵和类间KNN惩罚图邻接矩阵的第i行第j列元素;
计算Aw与Ab时需要计算训练集中的样本在所述核空间中的最近邻,所采用的距离计算公式如下:
d2(xi,xj)=k(xi,xi)+k(xj,xj)-2k(xi,xj) (3)
式中:d2(xi,xj)为的第i列与第j列之间的距离即样本xi与样本xj在核空间的距离,k(ci,xj)为样本xi与样本xj的核函数值,k(xi,xi)与k(xj,xj)为样本xi、xj各自与自身的核函数值。
可选地,所述根据所述类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵计算训练集的所述核空间的类内散布矩阵Sw、类间散布矩阵Sb以及完全散布矩阵St;包括:
类内KNN图与类间KNN惩罚图的Laplacian矩阵为:Lw与Lb,具体的:
Lw=Dw-Aw (4)
Lb=Db-Ab (5)
其中:Dw与Db均为对角矩阵,且主对角线元素分别为Aw与Ab的行和,即:
计算训练集的核空间类内散布矩阵Sw:
Sw=(I-M)TKLwKT(I-M) (8)
其中:I为一个N×N的单位矩阵,M为一个所有元素均为1/N的N×N的矩阵,KT为矩阵的转置运算;
计算训练集在所述核空间的类间散布矩阵Sb:
Sb=(I-M)TKLbKT(I-M) (9)
计算训练集在所述核空间的整体散布矩阵St:
St=K(I-M)(I-M)TKT (10)。
可选地,所述从完全散布矩阵St的零空间的补空间、类内散布矩阵Sw的零空间、类间散布矩阵Sb的零空间中的补空间这三个空间的交集中获得训练集的最优子空间投影矩阵;包括:
对训练集的散布矩阵St作特征值分解St=UΛUT,其中Λ为具有N-1个非零元的对角阵,且Λ的对角线元素即为St的所有特征值;对所述特征值按降序排序后,将非零特征值所对应的特征向量U中对应的列重新拼为新的矩阵后,再执行来保证得到的投影矩阵是单位正交矩阵;
对训练集的类内散布矩阵Sw左乘以及右乘得到新的矩阵即
对作特征值分解后,取零特征值所对应的特征向量组成矩阵V;
对训练集的类间散布矩阵Sb左乘以及右乘得到新的矩阵即
对作特征值分解后,将非零特征值按降序排序,并将降序排序后的特征值所对应的特征向量拼成矩阵H;
则最优投影矩阵为:
其中,Φ(X)=(Φ(x1),Φ(x2),...,Φ(xN))为对所有特征矩阵X的各列使用Φ(·)函数映射后的训练集矩阵,(·).,1:m为取矩阵的前m列。
可选地,所述将Kp与Kg的各列投影至从训练集学习的核零空间中,得到检索图片集与匹配图片集中各样本在核零空间内的低维表达;包括:
根据矩阵、V矩阵、H矩阵,分别计算检索图片集与匹配图片集中的样本与在经Φ(·)函数映射后,使用W投影矩阵计算投影到核零空间中的低维表达结果与具体的:
式中分别为检索样本与匹配样本的核空间表达。
可选地,所述对计算检索图片集的核零空间低维特征表达和匹配图片集的核零空间低维特征表达,两两作欧式距离计算,包括:
检索图片集中的第i幅图片与匹配图片集中第j幅图片它们的核零空间低维特征表达间欧氏距离的计算公式如下:
式中为计算向量的L2范数,即取与间的欧氏距离。
与现有技术相比,本发明具有如下的有益效果:
本发明提供的行人再识别方法能够有效地避免在度量学习中无法直接处理高维数据的问题,同时在学习投影子空间中也无需对矩阵求逆,降低了运算量。通过将样本投影到样本类内散布矩阵的核零空间中,能够实现将同一行人的所有图片塌陷为一个点,从而能够获得更优的距离度量,大大提高行人再识别的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明提供的行人再识别方法的流程示意图;
图2为本发明一实施例行人再识别中常用评价数据集VIPeR中的几组行人图像示意图;
图3为本发明一实施例匹配结果的可视化效果图;其中,第一列为VIPeR数据集中a摄像机下的检索图像,第二列中为使用本发明提出的算法进行匹配后的b摄像机下排在前二十位的匹配图像,其中正确匹配的图像被加上线框以突出显示;
图4为本发明中的行人再识别方法与其他方法在VIPeR数据集上采用累积匹配特征(Cumulative Matching Characteristic,CMC)曲线进行性能评价的比较示意图;
图5为本发明中的行人再识别方法与其他方法在VIPeR数据集的训练耗时对比示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为本发明提供的行人再识别方法的流程示意图,如图1所示,所述方法以原始监控画面中裁切出的单个行人图像作为输入内容。在输入图像上提取特征向量后,将数据集划分为训练数集与测试集,其中测试集又进一步划分为检索图片集(probe set)与匹配图片集(gallery set)。在训练数集上通过创建核矩阵、学习核零空间的投影矩阵后,再将测试集中probe set与gallery set分别投影到学习到的核零空间中,再采用欧氏距离计算probe set与gallery set下任意两张图片间的距离,实现行人再识别。具体的,包含有以下步骤:
步骤1:首先将数据集内所有行人图像缩放到相同的高度与宽度,从每张图片中提取d维特征向量。在本实施例中,设置的图像大小128像素×64像素,在将图像缩放后,采用从密集网格与划分水平条分别提取数字化特征表达再拼接的方式获得图像的最终特征表达向量;从图像中提取密集网格特征的过程如下:
步骤1.1:以10×10大小的窗口在图像上移动,移动时水平与垂直方向上的步长均为5像素,保证每次移动时与前一次的窗口具有50%的覆盖。移动窗口时,从图像左上角由左向右滑动,到达图像右侧边缘时向下移动一行再从左向右滑动。从每个滑动窗口中分别提取8×8×8的联合RGB与HSV颜色直方图,并提取192维的尺度不变局部三元模式(ScaleInvariant Local Ternary Pattern,SILTP)直方图。直到在整张图像上滑动窗口中的特征表达全部提取完毕。
步骤1.2:对于在某一个高度上一行内的所有滑动窗口中提取的RGB颜色直方图,在直方图的512个bin上分别取各个滑动窗口中提取的直方图在该bin上的最大值,即完成最大池化运算;同理,对联合HSV直方图与SILTP直方图也执行相同的操作。
步骤1.3:将行人图像作2×2大小的无覆盖密集网格划分,对于每个网格中的4个像素取平均值,将图像缩小到原来的1/4大小。对缩小后的图像再执行步骤1.1与步骤1.2。
步骤1.4:继续执行一次步骤1.3后,将在不同大小情况下图像中提取的所有特征向量进行拼接,实现不同空间尺度上的行人外观特征表达向量的提取。
从图像中提取水平条特征表达向量的过程如下:
步骤1.5:采用前景侵害算法检测出图像中的行人,将无关的背景去除。
步骤1.6:将去除了背景的行人图像首先划分为8个等高水平条,再切除最顶部与最底部各1/2水平条高度,再将裁剪后的图像划分为7个等高水平条。
步骤1.7:从15个水平条中分别提取8×8×8的HSV/RGB联合直方图,192维的SILTP纹理直方图,与16维的颜色名称(Color Names,CN)直方图。
步骤1.8:将各个水平条上提取的特征表达向量全部拼接。
步骤1.9:将提取的密集网格中的特征表达向量与水平条中提取的特征表达向量进行拼接,获得各行人图像的最终特征表达向量。
步骤2:将提取的行人特征表达向量及对应的身份标签划分为训练集与测试集。以数据集VIPeR为例,如图2所示展示了从该数据集中随机选取的部分行人图像示例,将数据集中632个行人随机划分为不相交的两部分(训练集和测试集无交集),其中第一部分316人的图片作为训练集,第二部分中316人作为测试集。在测试集中,VIPeR的a摄像机中的图片用作为probe set,而b摄像机下的图片用作为gallery set。
步骤3:将训练集中图片提取获得的特征表达向量拼成矩阵X,使用核函数计算训练样本核矩阵。以使用线性核(Linear Kernel)为例,核矩阵的计算方法为K=XTX+c,其中c为指定的常数,本实施例中取c=0。再计算训练集特征矩阵X与测试集probe set矩阵Xp的核矩阵Kρ=XTXρ+c,及训练集特征矩阵X与gallery set矩阵Xg的核矩阵Kg=XTXg+c。
步骤4:根据公式(3)计算训练集在核空间中的类内kw个最近邻与kb个类间的最近邻,由此得到训练集在核空间中的类内图的邻接矩阵Aw与类间惩罚图的邻接矩阵Ab。进一步按式(4)和式(5)计算Aw与Ab的Laplacian矩阵Lw与Lb。
步骤5:按式(8)计算训练集在核空间中的类内散布矩阵Sw。
步骤6:按式(9)计算训练集在核空间中的类间散布矩阵Sb。
步骤7:按式(10)计算训练集在核空间中的整体散布矩阵St。
步骤8:对训练集的散布矩阵St作特征值分解St=UΛUT,再对非零特征值按降序排序,将排序后的非零特征值所对应的特征向量拼为新的矩阵再执行
步骤9:利用获得的与Sw,按式(11)计算并对其作特征值分解,取所有零特征值所对应的特征向量组成矩阵V;
步骤10:利用获得的V与Sb,按式(12)计算并将其作特征值分解,再对获得的非零特征值按降序排序,将排序后的非零特征值所对应的特征向量拼为新的矩阵H。
步骤11:利用获得的V与H矩阵,按式(14)与式(15)计算测试集probe set与gallery set中样本在映射到核空间后再作投影的低维表达。
步骤12:按式(16)计算probe set与gallery set下所有图片对之间的距离,获得一距离矩阵,矩阵的每一行为所有gallery set下图片与一张probe set下图片间的距离。对距离矩阵的每一行按升序排序,获得排在靠前位置上的对应的gallery set中的图片的序号,即完成了行人再识别任务。
如图3所示,给出了使用本发明提出的采用核零空间边界Fisher判别分析的行人再识别方法在VIPeR数据集上进行行人再识别的部分匹配结果。其中左侧为测试集中probeset中的图像,右侧为gallery set中按与probe图像的距离由小到大排列的匹配图像,加红框的图像为正确匹配图像。由此图可以看出本实施例所提出的方法能够比较好地完成行人再识别任务。
如图4所示,为在VIPeR数据集上的一实施例与其它公开方法的再识别累积匹配特征(Cumulative Matching Characteristic,CMC)曲线对比,其中KNSMFA(Kernel NullSpace Marginal Fisher Analysis)为本发明实施例的准确率结果。与本发明提出的方法对比的均为近年来提出的一些优秀的方法。图4中:PCCA表示成对约束元件分析(PairwiseConstrained Component Analysis)方法,PRDC表示概率相对距离比较(ProbabilisticRelative Distance Comparison)方法,KISSME表示简单直接度量(Keep It Simple andStraightforward Metric)学习方法,SalMatch表示显著性匹配(Salience Matching)方法,XQDA表示跨视角二次判别分析(Cross-view Quadratic Discriminant Analysis)方法,MLAPG表示采用加速邻近点梯度优化的度量学习(Metric Learning by AcceleratedProximal Gradient)方法,KLFDA表示核化局部Fisher判别分析(Kernel Local FisherDiscriminant Analysis)方法,SCSP表示带有空间约束的二次核相似度方法(SpatiallyConstrained Similarity using Polynomial kernel),MirroRep表示采用镜像表达(Mirror Representation)的方法,SSSVM表示样本特定的支持向量机(Sample SpecificSupporter Vector Machine)方法,NFST表示零空间Folly-Sammon变换(Null Folly-Sammon Transformation)方法,Mid-level Filter表示学习中层滤波器特征的方法。从图4的对比结果可以看出本实施例在识别准确率明显优于其他方法。
如图5所示,为在VIPeR数据集上的一实施例与其它公开方法的训练耗时对比,其中,LMNN(Large Margin Nearest Neighbor)表示学习大间隔近邻度量的算法,ITML(Information Theoretic Metric Learning)表示基于信息论的度量学习算法。由图中可以看出本方法在使用线性核函数时耗时非常少,运算效率上显著优于其他方法。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种行人再识别方法,其特征在于,包括:
获取原始监控视频中的所有初始单个行人图像,所述所有初始单个行人图像的集合构成数据集;
将所述数据集中初始单个行人图像缩放至预设的统一尺寸,得到缩放后的行人图像;
提取每一个缩放后的行人图像的特征表达向量;
将数据集中所有行人的特征表达向量及对应的行人身份标签信息划分为训练集和测试集;
根据训练集的特征表达向量构建训练集特征矩阵X,训练集特征矩阵X的每一列作为一个训练样本,所述训练样本对应于训练集中的一张行人图片;
利用核函数计算训练集的核矩阵,并对所述核矩阵进行去中心化,得到去中心化的核矩阵;
计算训练集中各个训练样本在所述去中心化的核矩阵的核空间中的类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵;
根据所述类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵计算训练集在所述核空间中的类内散布矩阵Sw、类间散布矩阵Sb以及完全散布矩阵St;
从完全散布矩阵St的零空间的补空间、类内散布矩阵Sw的零空间、类间散布矩阵Sb的零空间中的补空间,这三个空间的交集中获得训练集的最优子空间投影矩阵,该最优子空间即为所述核零空间;
根据摄像头的不同将所述测试集划分为检索图片集和匹配图片集,根据测试集的特征表达向量分别构建检索图片集的特征矩阵Xp和匹配图片集的特征矩阵Xg;
分别计算训练集特征矩阵X与检索图片集的特征矩阵Xp的核矩阵Kp,其中xi为X的第i列,为Xp的第j列,k(·)为核函数;计算训练集特征矩阵X与匹配图片集的特征矩阵Xg的核矩阵Kg;其中Kp与Kg的各列为所述测试集中各个训练样本在所述核空间中的特征表达;
将Kp与Kg的各列均投影至从训练集学习的所述核零空间中,得到检索图片集与匹配图片集中各样本在核零空间内的低维表达;
对检索图片集的投影矩阵和匹配图片集的核零空间内低维表达进行两两计算欧式距离,对于每一个检索图片均按照欧式距离的大小顺序排列匹配图片集中的图片;
将与所述检索图片之间欧式距离最小的匹配图片作为识别结果。
2.根据权利要求1所述的行人再识别方法,其特征在于,所述提取每一个缩放后的行人图像的特征表达向量,包括:
将所述缩放后的行人图像划分为具有相同大小的密集网格单元,并将所述缩放后的行人图像划分为等高度的多个水平条;
将从所述密集网格单元中提取到的数字化特征与从水平条提取出的数字化特征进行拼接处理,得到所述缩放后的行人图像的特征表达向量。
3.根据权利要求1所述的行人再识别方法,其特征在于,所述利用核函数计算训练集特征矩阵的核矩阵,并对所述核矩阵进行去中心化,得到去中心化的核矩阵,包括:
假设训练集特征矩阵X∈Rd×N,各个训练样本对应的标签向量为y∈RN;其中d为特征向量的维度,N为特征向量的个数即行人图像数,yi∈{1,2,…,c},其中c为行人个数;
通过核函数计算训练集特征矩阵的核矩阵K∈RN×N,K为一个Gram矩阵,核矩阵K中的元素记为Kij=<Φ(xi),Φ(xj)>,即Φ(xi)与Φ((xj)的内积,Φ(x)为对训练集中元素x的映射函数,Kij为核矩阵K第i行第j列的元素,采用核函数有k(xi,xj)=<Φ(xi),Φ(xj)>的非显式映射;
对所述核矩阵进行去中心化的计算公式如下:
式中:去中心化的核矩阵,N为特征表达向量的个数,1为所有元素均为1的N×N矩阵。
4.根据权利要求3所述的行人再识别方法,其特征在于,所述类内KNN图邻接矩阵Aw和类间KNN惩罚图邻接矩阵Ab的定义如下:
式中:为与训练集中样本xi具有相同身份标签的kw个最近邻的集合,ci为xi的身份标签,为与xi具有不同身份标签的kb个最近邻的集合;类似的,为与训练集中样本xj具有相同身份标签的kw个最近邻的集合,cj为xj的身份标签,为与xj具有不同身份标签的kb个最近邻的集合;其中,Aw∈RN×N与Ab∈RN×N分别为KNN图邻接矩阵和类间KNN惩罚图邻接矩阵,Aw(i,j)与Ab(i,j)为KNN图邻接矩阵和类间KNN惩罚图邻接矩阵的第i行第j列元素;
计算Aw与Ab时需要计算训练集中的样本在所述核空间中的最近邻,所采用的距离计算公式如下:
d2(xi,xj)=k(xi,xi)+k(xj,xj)-2k(xi,xj) (3)
式中:d2(xi,xj)为的第i列与第j列之间的距离即样本xi与样本xj在核空间的距离,k(xi,xj)为样本xi与样本xj的核函数值,k(xi,xi)与k(xj,xj)为样本xi、xj各自与自身的核函数值。
5.根据权利要求4所述的行人再识别方法,其特征在于,所述根据所述类内KNN图邻接矩阵和类间KNN惩罚图邻接矩阵计算训练集的所述核空间的类内散布矩阵Sw、类间散布矩阵Sb以及完全散布矩阵St;包括:
类内KNN图与类间KNN惩罚图的Laplacian矩阵为:Lw与Lb,具体的:
Lw=Dw-Aw (4)
Lb=Db-Ab (5)
其中:Dw与Db均为对角矩阵,且主对角线元素分别为Aw与Ab的行和,即:
计算训练集的核空间类内散布矩阵Sw:
其中:I为一个N×N的单位矩阵,M为一个所有元素均为I/N的N×N的矩阵,为矩阵的转置运算;
计算训练集在所述核空间的类间散布矩阵Sb:
计算训练集在所述核空间的整体散布矩阵St:
6.根据权利要求5所述的行人再识别方法,其特征在于,所述从完全散布矩阵St的零空间的补空间、类内散布矩阵Sw的零空间、类间散布矩阵Sb的零空间中的补空间这三个空间的交集中获得训练集的最优子空间投影矩阵;包括:
对训练集的散布矩阵St作特征值分触其中Λ为具有N-1个非零元的对角阵,且Λ的对角线元素即为St的所有特征值;对所述特征值按降序排序后,将非零特征值所对应的特征向量U中对应的列重新拼为新的矩阵后,再执行来保证得到的投影矩阵是单位正交矩阵;
对训练集的类内散布矩阵Sw左乘以及右乘得到新的矩阵即
对作特征值分解后,取零特征值所对应的特征向量组成矩阵V;
对训练集的类间散布矩阵Sb左乘以及右乘得到新的矩阵即
对阵特征值分解后,将非零特征值按降序排序,并将降序排序后的特征值所对应的特征向量拼成矩阵H;
则最优投影矩阵为:
其中,Φ(x)=(Φ(x1),Φ(x2),...,Φ(xN))为对所有特征矩阵X的各列使用Φ(·)函数映射后的训练集矩阵,(·)·,1:m为取矩阵的前m列。
7.根据权利要求6所述的行人再识别方法,其特征在于,所述将Kp与Kg的各列投影至从训练集学习的核零空间中,得到检索图片集与匹配图片集中各样本在核零空间内的低维表达;包括:
根据矩阵、V矩阵、H矩阵,分别计算检索图片集与匹配图片集中的样本与在经Φ(·)函数映射后,使用W投影矩阵计算投影到核零空间中的低维表达结身与具体的:
式中分别为检索样本与匹配样本的核空间表达。
8.根据权利要求7所述的行人再识别方法,其特征在于,所述对计算检索图片集的核零空间低维特征表达和匹配图片集的核零空间低维特征表达,两两作欧式距离计算,包括:
检索图片集中的第i幅图片与匹配图片集中第j幅图片它们的核零空间低维特征表达间欧氏距离的计算公式如下:
式中为计算向量的L2范数,即取与间的欧氏距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710684257.7A CN109389017B (zh) | 2017-08-11 | 2017-08-11 | 行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710684257.7A CN109389017B (zh) | 2017-08-11 | 2017-08-11 | 行人再识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109389017A true CN109389017A (zh) | 2019-02-26 |
CN109389017B CN109389017B (zh) | 2021-11-16 |
Family
ID=65414416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710684257.7A Active CN109389017B (zh) | 2017-08-11 | 2017-08-11 | 行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109389017B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126123A (zh) * | 2019-08-29 | 2020-05-08 | 西安理工大学 | 一种基于压缩的增量核零空间变换行人再识别方法 |
CN112069908A (zh) * | 2020-08-11 | 2020-12-11 | 西安理工大学 | 基于共现属性的行人重识别方法 |
CN112132873A (zh) * | 2020-09-24 | 2020-12-25 | 天津锋物科技有限公司 | 一种基于计算机视觉的多镜头行人识别与跟踪 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003049033A1 (en) * | 2001-12-03 | 2003-06-12 | Honda Giken Kogyo Kabushiki Kaisha | Face recognition using kernel fisherfaces |
CN101650944A (zh) * | 2009-09-17 | 2010-02-17 | 浙江工业大学 | 基于保类内核Fisher判别法的说话人辨别实现方法 |
US20150078655A1 (en) * | 2013-09-18 | 2015-03-19 | Canon Kabushiki Kaisha | Devices, systems, and methods for large-scale linear discriminant analysis of images |
CN104504407A (zh) * | 2014-12-17 | 2015-04-08 | 西南大学 | 基于多核Fisher判别分析的电子鼻特征选择优化方法 |
CN106682653A (zh) * | 2017-03-09 | 2017-05-17 | 重庆信科设计有限公司 | 一种基于knlda的rbf神经网络人脸识别方法 |
-
2017
- 2017-08-11 CN CN201710684257.7A patent/CN109389017B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003049033A1 (en) * | 2001-12-03 | 2003-06-12 | Honda Giken Kogyo Kabushiki Kaisha | Face recognition using kernel fisherfaces |
CN101650944A (zh) * | 2009-09-17 | 2010-02-17 | 浙江工业大学 | 基于保类内核Fisher判别法的说话人辨别实现方法 |
US20150078655A1 (en) * | 2013-09-18 | 2015-03-19 | Canon Kabushiki Kaisha | Devices, systems, and methods for large-scale linear discriminant analysis of images |
CN104504407A (zh) * | 2014-12-17 | 2015-04-08 | 西南大学 | 基于多核Fisher判别分析的电子鼻特征选择优化方法 |
CN106682653A (zh) * | 2017-03-09 | 2017-05-17 | 重庆信科设计有限公司 | 一种基于knlda的rbf神经网络人脸识别方法 |
Non-Patent Citations (5)
Title |
---|
DAPENG CHEN等: "Similarity Learning with Spatial Constraints for Person Re-identification", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
F. DUFRENOIS等: "A null space based one class kernel Fisher discriminant", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 * |
XINGZHU LIANG等: "Null Space Diversity Fisher Discriminant Analysis for Face Recognition", 《IISA 2016: RECENT DEVELOPMENTS IN INTELLIGENT SYSTEMS AND INTERACTIVE APPLICATIONS》 * |
ZHANG LI等: "Learning a discriminative null space for person re⁃identification", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
罗东华: "基于有效线性判别零空间理论的模式识别算法", 《控制工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126123A (zh) * | 2019-08-29 | 2020-05-08 | 西安理工大学 | 一种基于压缩的增量核零空间变换行人再识别方法 |
CN111126123B (zh) * | 2019-08-29 | 2023-03-24 | 西安理工大学 | 一种基于压缩的增量核零空间变换行人再识别方法 |
CN112069908A (zh) * | 2020-08-11 | 2020-12-11 | 西安理工大学 | 基于共现属性的行人重识别方法 |
CN112069908B (zh) * | 2020-08-11 | 2024-04-05 | 西安理工大学 | 基于共现属性的行人重识别方法 |
CN112132873A (zh) * | 2020-09-24 | 2020-12-25 | 天津锋物科技有限公司 | 一种基于计算机视觉的多镜头行人识别与跟踪 |
Also Published As
Publication number | Publication date |
---|---|
CN109389017B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kembhavi et al. | Vehicle detection using partial least squares | |
Zhao et al. | Learning mid-level filters for person re-identification | |
Mu et al. | Discriminative local binary patterns for human detection in personal album | |
Jiang et al. | Recognizing human actions by learning and matching shape-motion prototype trees | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN109214420A (zh) | 基于视觉显著性检测的高纹理图像分类方法及系统 | |
CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
CN107330397A (zh) | 一种基于大间隔相对距离度量学习的行人重识别方法 | |
Cerna et al. | Face detection: Histogram of oriented gradients and bag of feature method | |
CN104036284A (zh) | 基于Adaboost算法的多尺度行人检测方法 | |
CN106845513B (zh) | 基于条件随机森林的人手检测器及方法 | |
Cheng et al. | Person re-identification by articulated appearance matching | |
Wang et al. | Head pose estimation with combined 2D SIFT and 3D HOG features | |
CN109344842A (zh) | 一种基于语义区域表达的行人重识别方法 | |
CN108509925A (zh) | 一种基于视觉词袋模型的行人重识别方法 | |
Bansal et al. | Joint spectral correspondence for disparate image matching | |
CN109389017A (zh) | 行人再识别方法 | |
Zhu et al. | Detecting natural scenes text via auto image partition, two-stage grouping and two-layer classification | |
Chung et al. | Building recognition using sketch-based representations and spectral graph matching | |
CN114863464A (zh) | 一种pid图纸图件信息的二阶识别方法 | |
Gou et al. | mom: Mean of moments feature for person re-identification | |
Zheng et al. | Weight-based sparse coding for multi-shot person re-identification | |
Kumar et al. | Intelligent parking vehicle identification and classification system | |
Imran et al. | Image-Based Automatic Energy Meter Reading Using Deep Learning | |
Liu et al. | Natural scene character recognition using markov random field |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |