CN108921064A - 基于多特征融合的行人重识别方法 - Google Patents

基于多特征融合的行人重识别方法 Download PDF

Info

Publication number
CN108921064A
CN108921064A CN201810642499.4A CN201810642499A CN108921064A CN 108921064 A CN108921064 A CN 108921064A CN 201810642499 A CN201810642499 A CN 201810642499A CN 108921064 A CN108921064 A CN 108921064A
Authority
CN
China
Prior art keywords
pedestrian
feature
distance
character representation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810642499.4A
Other languages
English (en)
Other versions
CN108921064B (zh
Inventor
廖开阳
李聪
武吉梅
赵凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810642499.4A priority Critical patent/CN108921064B/zh
Publication of CN108921064A publication Critical patent/CN108921064A/zh
Application granted granted Critical
Publication of CN108921064B publication Critical patent/CN108921064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多特征融合的行人重识别方法。首先执行行人的提取，将行人从背景中提取出来；其次执行人体部位识别，识别出人体突出的三个部分；然后执行多个特征的提取，建立行人的特征表示模型；接下来对行人特征表示模型进行特征变化，以消除不同摄像机特征空间分布不一致的影响；接下来根据变换后的多个特征设计一个适合行人重识别的距离度量方法；最后执行应用提出的距离度量方法对训练集与测试集的行人特征表示模型进行距离度量，得出匹配结果，实现在广域摄像网络的行人重识别。本发明基于多特征融合的行人重识别方法能够建立一个鲁棒的特征表示模型和一个适合行人重识别的距离度量方法，实现在广域摄像网络的行人重识别。

Description

基于多特征融合的行人重识别方法
技术领域
本发明属于图像检索技术领域，涉及一种基于多特征融合的行人重识别方法与一种加权的距离度量方法。
背景技术
近年来，人工智能的一门分支学科“机器视觉”被广泛重视，它通过研究相关的理论和技术，建立能从图像或视频中获取“感兴趣信息”的智能系统，使计算机代替人眼及大脑，对周围环境进行感知、解释和理解。而随着科技的进步，摄像机已经被广泛用于对各种场所的实时监控，例如：市区道路、学校、广场、军事基地等等。随着监控摄像机越来越普遍的应用，传统的依靠人工的监控方式已经很难在有限的时间内完成如此巨大的工作量，因此，监控的自动化和智能化成为了监控领域的发展趋势。
在广域摄相机网络中跟踪一个行人是一个棘手的问题，近几年，大型摄相机网络监控系统有了更高安全性的迫切要求。传感器的价格大幅下降，极大地促进了广域摄相机网络的快速发展。尽管如此，随着公共场所规模的不断增长，很难在每一个场所都部署一个摄像头，事实上，在大多数广域摄相机网络中，总有一些区域不能被摄像机覆盖。这些被称为“盲区”的区域非常的关键，因为很难从“盲区”获得任何信息。这个问题引出了一个新的问题，通常被称为行人重识别问题。获取了一个行人的图像，行人重识别就是检测同一个行人是否存在于不同相机、不同时间、不同地点所获得的其他图像中。
在行人重识别领域已经确定了两种主流的方法：分别是基于视觉特征的方法和基于生物特征的方法。基于视觉特征的方法仅使用视觉信息来建立一个行人的特征，基于视觉特征的方法分为两种：基于单幅图像(single-shot)和基于多幅图像(multiple-shot)，前者使用单个图像来建立每个行人的特征表示模型；后者使用同一个人的多幅图像来构建此行人的特征表示模型。目前大多数现有的方法都是利用视觉特征，视觉特征有很多种，如：颜色特征(L.Bazzani,M.Cristani,A.Perina,et al.Multiple-Shot Person Re-identification by hpe Signature[C].International Conference on PatternRecognition,2010:1413-1416.)、轮廓特征(LIU Wanjun,LIU Daqian,FEI Bowen,etal.Object Contour Tracking Based On Locally Model Matching[J].ComputerEngineering AndApplications,2015.)、纹理特征(O.Oreifej,R.Mehran,andM.Shah.Human identity recognition in aerial images[C].In IEEE Computer Visionand Pattern Recognition,2010:709-716.)等,但是由于现实环境的复杂，如：遮挡，光线，类间干扰等因素的影响，仅利用单一特征识别率并不足以满足实际应用的要求。与基于视觉特征的方法相比，基于生物特征的方法利用生物识别技术来构建行人特征，尽管在面部识别和步态识别(A.Bissacco and S.Soatto.Hybrid Dynamical Models of HumanMotion for the Recognition of Human Gaits.International Journal of ComputerVision,85(1):101-114,May2009.)方面的研究很多，但是生物特征通常需要更高分辨率的摄相机配置和精度更高的传感器部署，而目前的真实环境满足不了如此精密的硬件配置。
发明内容
本发明的目的在于提供一种基于多特征融合的行人重识别方法，能够一定程度上克服遮挡、视角、光线等干扰因素的影响，实现在广域摄像机网络中的行人重识别。
为实现上述目的本发明采用以下技术方案：
基于多特征融合的行人重识别方法，包括以下步骤：
步骤1、对训练集中的图像进行行人的提取，将行人从图片背景中提取出来；
步骤2、对步骤1得到的行人图像进行人体部位识别，将人体分为头部、上半身与下半身三部分；
步骤3、利用步骤2得到的人体三个部分，在上半身与下半身分别提取颜色特征、轮廓特征与纹理特征，在头部提取颜色特征与轮廓特征，根据获取的诸多特征建立此行人的特征表示模型；
步骤4、将步骤3得到的两个行人的特征表示模型进行特征变换，通过学习一个特征投影矩阵，将摄像头A下行人图像的特征向量变换到摄像头B下行人图像的特征空间中，从而消除不同监控摄像头特征空间分布不一致问题；
步骤5、在马氏距离函数的基础上，将步骤4变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一种加权距离度量方法；
步骤6、对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。
所述步骤3具体按照以下方法实施：
步骤3.1、在提取颜色特征之前，先对行人图像进行如下处理：将每个行人图像投影到HSV颜色空间中，为了应对光照变化和颜色变化，先利用SIFT特征计算出关键点坐标，再以其为圆心提取一个圆形区域，具体如下：
对于每一个SIFT特征关键点向量k＝[x,y]T-其中x和y是关键点的坐标-提取以k为中心Φ为半径的圆形图像区域S；
步骤3.2、经步骤3.1后，进行加权高斯颜色直方图特征的提取，具体方法如下：
在每个提取的S区域利用高斯分布函数计算加权高斯色直方图特征向量bi和i分别表示直方图的bins和提取直方图的图像通道；
步骤3.3、轮廓特征是利用分层梯度方向直方图提取的，具体方法为：
首先将行人图像投影到HSV颜色空间中，然后提取三个PHOG特征向量m和i分别是直方图的bins和提取直方图的图像通道。PHOG特征最终在中积累，I是图像通道的总数量；
步骤3.4、步骤3.2、3.3都是在人体三个部分均提取了特征，但纹理特征仅在上半身与下半身提取，因为头部的纹理特征没有较高的区别度，具体方法如下：
Haralick纹理特征是基于灰度共生矩阵(Gray-level co-occurrence matrix，GLCM)提取的，所以识别出的人体部位首先被转换到灰度颜色空间，为了降低计算成本，上半身(T)和下半身(L)两个区域都被扩展到Ng灰度级别，利用四邻接分别从四个方向计算灰度共生矩阵，四个灰度共生矩阵最终被用来提取Haralick的特征f1，f2，…，f14，因此，分别提取出两个特征向量：和
步骤3.5、利用步骤3.1-3.4提取的诸多特征得到行人特征表示模型。
所述步骤4具体按照以下方法实施：
步骤4.1、给定两个行人图像的特征向量Xa和Xb，其距离可以定义为一种马氏距离形式的距离：
D(Xa,Xb)＝(Xa-Xb)ΤM(Xa-Xb) (1)；
步骤4.2、由于距离函数的非负性，表达式中矩阵M是一个半正定矩阵，通过对矩阵进行特征值分解M＝LΤL，其距离可以转化为：
步骤4.3、从上面公式推导，看特征转换的本质在于学习一个投影矩阵L，将特征向量投影到新的特征空间中，从而消除不同监控摄像头特征空间分布的不一致。
所述步骤5具体按照以下方法实施：
步骤5.1、在计算加权高斯颜色直方图距离之前，先进行以下步骤：计算l2-范数距离，利用一种RANSAC算法检测SIFT特征的匹配：如果两个匹配的SIFT特征关键点不在同一个主体上，则匹配被拒绝，以上工作提高了结果的准确性，因为在加权高斯颜色直方图距离计算中不考虑不属于同一身体部分的SIFT特征，给定一个SIFT匹配，采用χ2加权距离测量方法来匹配相关加权高斯颜色直方图特征，加权距离χ2计算为：
其中和分别是特征表示模型A和特征表示模型B在图像通道i上的加权高斯颜色直方图向量，Ak和Bk分别是两个SIFT特征关键点。χ2(·,·)函数计算χ2距离，ψi是归一化权重。加权函数m(·,·)是Mahalanob距离函数，用来处理遮挡和姿态变化，每个直方图之间的距离都是这样加权的：
m(k1,k2)＝max(dM(k1x,k1y),dM(k2x,k2y))
(4)；
其中kl和k2是两个SIFT特征的关键点向量，而dM(·,·)是马氏距离函数计算出的每个身体部位之间的距离，最后，通过计算特征表示模型A和特征表示模型B每一对匹配的距离，给出了加权高斯颜色直方图距离dwgch(A,B)；
步骤5.2、类似于加权高斯颜色直方图距离的计算，使用加权χ2距离来计算PHOG特征矩阵之间的距离，给出两个行人特征表示模型A和B的PHOG特征矩阵，A和B之间的距离是这样计算的：
和是在图像通道i上特征向量A和特征向量B的PHOG特征，λi是归一化权重；
步骤5.3、给定两个行人特征表示模型A和B，一个l2范数距离用来比较在相同身体部分提取的Haralick纹理特征向量，最后的距离dhar(A,B)是由每对Haralick纹理特征向量的l2范数距离取平均值得到的；
步骤5.4、最后，两个行人图像特征表示模型A和特征表示模型B之间的总距离是这样计算的：
d(A,B)＝αdwgch(A,B)
+βdphog(A,B)
+γdhar(A,B)
(6)。
所述步骤6具体按照以下方法实施：对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。
(1)本发明具有以下优点：本发明基于多特征融合的行人重识别方法中将人体分为三部分，再分别提取多个特征，一定程度上解决了视角、光照与遮挡等因素的影响，提高了行人特征表示模型的鲁棒性；
(2)本发明基于多特征融合的行人重识别方法中提出了一种基于投影矩阵的特征变换方法，将来源于不同监控摄像头行人图像的特征向量进行变换，从而消除差异；
(3)本发明基于多特征融合的行人重识别方法中提出了一种特征加权距离度量方法，解决了行人重识别领域的距离度量问题，提高了匹配结果的准确性；
(4)本发明基于多特征融合的行人重识别方法，既适用于基于单幅图像(single-shot)的行人重识别，也适用于基于多幅图像(multiple-shot)的行人重识别。
附图说明
图1是本发明基于多特征融合的行人重识别方法的框架图；
图2是步骤4特征变换原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细阐述。
基于多特征融合的行人重识别方法的框架图，如图2所示，可将其分为三大部分，分别为：训练集图像处理部分、测试集图像处理部分和距离度量部分。训练集图像处理部分的处理对象是目标所在视频库，产生视频库中每个行人的特征表示模型；测试集图像处理部分的处理对象是所有查询目标，产生每个查询目标的特征表示模型；距离度量部分的处理对象是前两个部分生成的特征表示模型，将训练集与测试集生成的特征表示模型进行距离度量，得出匹配结果。
训练集图像处理部分完成对目标所在视频库中所有行人的特征表示模型的建立，对每幅图像进行SIFT特征提取、加权高斯颜色直方图提取、分层梯度方向直方图提取、灰度共生矩阵提取，根据提取的特征得到一个行人的特征表示模型，以供距离度量部分的比对。
测试集图像处理部分完成对所有目标对象的特征表示模型的建立，对每幅图像进行SIFT特征提取、加权高斯颜色直方图提取、分层梯度方向直方图提取、灰度共生矩阵提取，根据提取的特征得到一个行人的特征表示模型，以供距离度量部分的比对。
距离度量部分完成对训练集图像处理部分和测试集图像处理部分生成的特征表示模型的比对，得出匹配结果。
本发明基于多特征融合的行人重识别方法，具体按照以下步骤实施：
步骤1、对训练集中的图像进行行人的提取，将行人从图片背景中提取出来，具体方法为：
行人提取是采用N.Jojic,A.Perina,M.Cristani,et al.Stel componentanalysis:Modeling spatial correlations in image class structure[C].ComputerVision and Pattern Recognition,2044-2051,2009.的方法，将行人从背景中提取出来。
步骤2、对步骤1得到的行人图像进行人体部位识别，具体方法为：
根据步骤1得到的行人图像，对其进行进一步处理，将人体突出的三个部分(头部、上半身与下半身)划分出来，人体部位识别是采用M.Farenzena,L.Bazzani,A.Perina,etal.Person re-identification by symmetry-driven accumulation of local features[C].Computer Vision and Pattern Recognition,2360-2367,2010.的方法。
步骤3、利用步骤2得到的人体三个部分，在上半身与下半身分别提取颜色特征、轮廓特征与纹理特征，在头部提取颜色特征与轮廓特征(因为不同行人头部的纹理特征区别度不高，故不在头部提取纹理特征)，根据获取的诸多特征建立此行人的特征表示模型，具体按照以下步骤实施：
步骤3.1、在提取颜色特征之前，先对行人图像进行如下处理：
将每个行人图像投影到HSV颜色空间中，为了应对光照变化和颜色变化，先利用SIFT特征计算出关键点坐标，再以其为圆心提取一个圆形区域，具体如下：
对于每一个SIFT特征关键点向量k＝[x,y]T-其中x和y是关键点的坐标-提取以k为中心Φ为半径的圆形图像区域S。
步骤3.2、经步骤3.1后，进行加权高斯颜色直方图特征的提取，具体方法如下：
在每个提取的S区域利用高斯分布函数计算加权高斯色直方图特征向量bi和i分别表示直方图的bins和提取直方图的图像通道。
步骤3.3、轮廓特征是利用分层梯度方向直方图(Pyramid Histogram ofOriented Gradients，PHOG)提取的，具体方法为：
首先将行人图像投影到HSV颜色空间中，然后提取三个PHOG特征向量m和i分别是直方图的bins和提取直方图的图像通道。PHOG特征最终在中积累，I是图像通道的总数量。
步骤3.4、步骤3.2、3.3都是在人体三个部分均提取了特征，但纹理特征仅在上半身与下半身提取，因为头部的纹理特征没有较高的区别度，具体方法如下：
Haralick纹理特征是基于灰度共生矩阵(Gray-level co-occurrence matrix，GLCM)提取的，所以识别出的人体部位首先被转换到灰度颜色空间。为了降低计算成本，上半身(T)和下半身(L)两个区域都被扩展到Ng灰度级别。利用四邻接分别从四个方向计算灰度共生矩阵，四个灰度共生矩阵最终被用来提取Haralick的特征f1，f2，…，f14。因此，分别提取出两个特征向量：和
步骤3.5、利用步骤3.1-3.4提取的诸多特征得到行人特征表示模型。
步骤4、将步骤3得到的两个行人的特征表示模型进行特征变换，通过学习一个特征投影矩阵，将摄像头A下行人图像的特征向量变换到摄像头B下行人图像的特征空间中，从而消除不同监控摄像头特征空间分布不一致问题，具体按照以下步骤实施：
步骤4.1、给定两个行人图像的特征向量Xa和Xb，其距离可以定义为一种马氏距离形式的距离：
D(Xa,Xb)＝(Xa-Xb)ΤM(Xa-Xb)
(1)
步骤4.2、由于距离函数的非负性，表达式中矩阵M是一个半正定矩阵。通过对矩阵进行特征值分解M＝LΤL，其距离可以转化为：
步骤4.3、从上面公式推导，可以看特征转换的本质在于学习一个投影矩阵L，将特征向量投影到新的特征空间中，从而消除不同监控摄像头特征空间分布的不一致(如图2)。
步骤5、在马氏距离函数的基础上，将步骤4变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一种加权距离度量方法，具体按照以下步骤实施：
步骤5.1、在计算加权高斯颜色直方图距离之前，先进行以下步骤：计算l2-范数距离，利用一种RANSAC算法检测SIFT特征的匹配，如果两个匹配的SIFT特征关键点不在同一个主体上，则匹配被拒绝。以上工作提高了结果的准确性，因为在加权高斯颜色直方图距离计算中不考虑不属于同一身体部分的SIFT特征。给定一个SIFT匹配，采用χ2加权距离测量方法来匹配相关加权高斯颜色直方图特征，加权距离χ2计算为：
其中和分别是特征表示模型A和特征表示模型B在图像通道i上的加权高斯颜色直方图向量，Ak和Bk分别是两个SIFT特征关键点。χ2(·,·)函数计算χ2距离，ψi是归一化权重。加权函数m(·,·)是Mahalanob距离函数，用来处理遮挡和姿态变化。每个直方图之间的距离都是这样加权的：
m(k1,k2)＝max(dM(k1x,k1y),dM(k2x,k2y))
(4)
其中kl和k2是两个SIFT特征的关键点向量，而dM(·,·)是马氏距离函数计算出的每个身体部位之间的距离。最后，通过计算特征表示模型A和特征表示模型B每一对匹配的距离，给出了加权高斯颜色直方图距离dwgch(A,B)。
步骤5.2、类似于加权高斯颜色直方图距离的计算，使用加权χ2距离来计算PHOG特征矩阵之间的距离。给出两个行人特征表示模型A和B的PHOG特征矩阵，A和B之间的距离是这样计算的：
和是在图像通道i上特征向量A和特征向量B的PHOG特征，λi是归一化权重。
步骤5.3、给定两个行人特征表示模型A和B，一个l2范数距离用来比较在相同身体部分提取的Haralick纹理特征向量。最后的距离dhar(A,B)是由每对Haralick纹理特征向量的l2范数距离取平均值得到的。
步骤5.4、最后，两个行人图像特征表示模型A和特征表示模型B之间的总距离是这样计算的：
步骤6、对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。
本发明基于多特征融合的行人重识别方法，从功能执行上讲，首先执行对训练集中图像进行行人提取与人体部位识别；其次执行对训练集中图像提取颜色特征、轮廓特征与纹理特征；然后执行利用提取的诸多特征建立行人特征表示模型；接下来对测试集中图像进行相同的行人特征表示模型建立过程；接下来对行人特征表示模型进行特征变化，以消除不同摄像机特征空间分布不一致的影响；接下来执行在马氏距离函数的基础上，将变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一个针对行人重识别的距离函数；最后执行利用本发明提出的距离度量方法，将训练集与测试集的行人特征表示模型进行比对，得到匹配结果。本发明基于多特征融合的行人重识别方法，充分利用了颜色信息、轮廓信息和纹理信息，并提出了一种针对行人重识别的距离度量方法，实现在大规模的摄像网络中进行行人重识别。
以上所述为本发明较佳实施例，对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。

Claims (5)

1.基于多特征融合的行人重识别方法，其特征在于，包括以下步骤：
步骤1、对训练集中的图像进行行人的提取，将行人从图片背景中提取出来；
步骤2、对步骤1得到的行人图像进行人体部位识别，将人体分为头部、上半身与下半身三部分；
步骤3、利用步骤2得到的人体三个部分，在上半身与下半身分别提取颜色特征、轮廓特征与纹理特征，在头部提取颜色特征与轮廓特征，根据获取的诸多特征建立此行人的特征表示模型；
步骤4、将步骤3得到的两个行人的特征表示模型进行特征变换，通过学习一个特征投影矩阵，将摄像头A下行人图像的特征向量变换到摄像头B下行人图像的特征空间中，从而消除不同监控摄像头特征空间分布不一致问题；
步骤5、在马氏距离函数的基础上，将步骤4变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一种加权距离度量方法；
步骤6、对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。
2.根据权利要求1所述的基于多特征融合的行人重识别方法，其特征在于，所述步骤3具体按照以下方法实施：
步骤3.1、在提取颜色特征之前，先对行人图像进行如下处理：
将每个行人图像投影到HSV颜色空间中，为了应对光照变化和颜色变化，先利用SIFT特征计算出关键点坐标，再以其为圆心提取一个圆形区域，具体如下：
对于每一个SIFT特征关键点向量k＝[x,y]T-其中x和y是关键点的坐标-提取以k为中心Φ为半径的圆形图像区域S；
步骤3.2、经步骤3.1后，进行加权高斯颜色直方图特征的提取，具体方法如下：
在每个提取的S区域利用高斯分布函数计算加权高斯色直方图特征向量bi和i分别表示直方图的bins和提取直方图的图像通道；
步骤3.3、轮廓特征是利用分层梯度方向直方图提取的，具体方法为：
首先将行人图像投影到HSV颜色空间中，然后提取三个PHOG特征向量m和i分别是直方图的bins和提取直方图的图像通道。PHOG特征最终在中积累，I是图像通道的总数量；
步骤3.4、步骤3.2、3.3都是在人体三个部分均提取了特征，但纹理特征仅在上半身与下半身提取，因为头部的纹理特征没有较高的区别度，具体方法如下：
Haralick纹理特征是基于灰度共生矩阵提取的，所以识别出的人体部位首先被转换到灰度颜色空间，为了降低计算成本，上半身(T)和下半身(L)两个区域都被扩展到Ng灰度级别，利用四邻接分别从四个方向计算灰度共生矩阵，四个灰度共生矩阵最终被用来提取Haralick的特征f1，f2，…，f14，因此，分别提取出两个特征向量：和
步骤3.5、利用步骤3.1-3.4提取的诸多特征得到行人特征表示模型。
3.根据权利要求1所述的基于多特征融合的行人重识别方法，其特征在于，所述步骤4具体按照以下方法实施：
步骤4.1、给定两个行人图像的特征向量Xa和Xb，其距离可以定义为一种马氏距离形式的距离：
D(Xa,Xb)＝(Xa-Xb)TM(Xa-Xb) (1)；
步骤4.2、由于距离函数的非负性，表达式中矩阵M是一个半正定矩阵，通过对矩阵进行特征值分解M＝LTL，其距离可以转化为：
D(Xa,Xb)＝(Xa-Xb)TM(Xa-Xb)
＝(Xa-Xb)TLTL(Xa-Xb)
＝[L·(Xa-Xb)]T[L·(Xa-Xb)]
＝||L·(Xa-Xb)||2
＝||L·Xa-L·Xb||2 (2)；
步骤4.3、从上面公式推导，看特征转换的本质在于学习一个投影矩阵L，将特征向量投影到新的特征空间中，从而消除不同监控摄像头特征空间分布的不一致。
4.根据权利要求1所述的基于多特征融合的行人重识别方法，其特征在于，所述步骤5具体按照以下方法实施：
步骤5.1、在计算加权高斯颜色直方图距离之前，先进行以下步骤：计算l2-范数距离，利用一种RANSAC算法检测SIFT特征的匹配：如果两个匹配的SIFT特征关键点不在同一个主体上，则匹配被拒绝，以上工作提高了结果的准确性，因为在加权高斯颜色直方图距离计算中不考虑不属于同一身体部分的SIFT特征，给定一个SIFT匹配，采用χ2加权距离测量方法来匹配相关加权高斯颜色直方图特征，加权距离χ2计算为：
其中和分别是特征表示模型A和特征表示模型B在图像通道i上的加权高斯颜色直方图向量，Ak和Bk分别是两个SIFT特征关键点。χ2(·,·)函数计算χ2距离，ψi是归一化权重。加权函数m(·,·)是Mahalanob距离函数，用来处理遮挡和姿态变化，每个直方图之间的距离都是这样加权的：
m(k1,k2)＝max(dM(k1x,k1y),dM(k2x,k2y)) (4)；
其中kl和k2是两个SIFT特征的关键点向量，而dM(·,·)是马氏距离函数计算出的每个身体部位之间的距离，最后，通过计算特征表示模型A和特征表示模型B每一对匹配的距离，给出了加权高斯颜色直方图距离dwgch(A,B)；
步骤5.2、类似于加权高斯颜色直方图距离的计算，使用加权χ2距离来计算PHOG特征矩阵之间的距离，给出两个行人特征表示模型A和B的PHOG特征矩阵，A和B之间的距离是这样计算的：
和是在图像通道i上特征向量A和特征向量B的PHOG特征，λi是归一化权重；
步骤5.3、给定两个行人特征表示模型A和B，一个l2范数距离用来比较在相同身体部分提取的Haralick纹理特征向量，最后的距离dhar(A,B)是由每对Haralick纹理特征向量的l2范数距离取平均值得到的；
步骤5.4、最后，两个行人图像特征表示模型A和特征表示模型B之间的总距离是这样计算的：
d(A,B)＝αdwgch(A,B)
+βdphog(A,B)
+γdhar(A,B)
(6)。
5.根据权利要求1所述的基于多特征融合的行人重识别方法，其特征在于，所述步骤6具体按照以下方法实施：
对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。
CN201810642499.4A 2018-06-21 2018-06-21 基于多特征融合的行人重识别方法 Active CN108921064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810642499.4A CN108921064B (zh) 2018-06-21 2018-06-21 基于多特征融合的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810642499.4A CN108921064B (zh) 2018-06-21 2018-06-21 基于多特征融合的行人重识别方法

Publications (2)

Publication Number Publication Date
CN108921064A true CN108921064A (zh) 2018-11-30
CN108921064B CN108921064B (zh) 2021-09-10

Family

ID=64419757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810642499.4A Active CN108921064B (zh) 2018-06-21 2018-06-21 基于多特征融合的行人重识别方法

Country Status (1)

Country Link
CN (1) CN108921064B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110197154A (zh) * 2019-05-30 2019-09-03 汇纳科技股份有限公司 融合部位纹理三维映射的行人重识别方法、系统、介质及终端
CN110288677A (zh) * 2019-05-21 2019-09-27 北京大学 一种基于可形变结构的行人图像生成方法和装置
CN113128441A (zh) * 2021-04-28 2021-07-16 安徽大学 一种属性和状态引导的结构嵌入车辆重识别系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325122A (zh) * 2013-07-03 2013-09-25 武汉大学 基于双向排序的行人检索方法
CN103793702A (zh) * 2014-02-28 2014-05-14 武汉大学 基于协同尺度学习的行人重识别方法
US20160239711A1 (en) * 2013-10-18 2016-08-18 Vision Semanatics Limited Visual Data Mining
CN106960182A (zh) * 2017-03-02 2017-07-18 云南大学 一种基于多特征集成的行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325122A (zh) * 2013-07-03 2013-09-25 武汉大学 基于双向排序的行人检索方法
US20160239711A1 (en) * 2013-10-18 2016-08-18 Vision Semanatics Limited Visual Data Mining
CN103793702A (zh) * 2014-02-28 2014-05-14 武汉大学 基于协同尺度学习的行人重识别方法
CN106960182A (zh) * 2017-03-02 2017-07-18 云南大学 一种基于多特征集成的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REHMAN S U 等: "Person re-identification post-rank optimization via hypergraph-based learning", 《NEUROCOMPUTING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110288677A (zh) * 2019-05-21 2019-09-27 北京大学 一种基于可形变结构的行人图像生成方法和装置
CN110197154A (zh) * 2019-05-30 2019-09-03 汇纳科技股份有限公司 融合部位纹理三维映射的行人重识别方法、系统、介质及终端
CN113128441A (zh) * 2021-04-28 2021-07-16 安徽大学 一种属性和状态引导的结构嵌入车辆重识别系统和方法
CN113128441B (zh) * 2021-04-28 2022-10-14 安徽大学 一种属性和状态引导的结构嵌入车辆重识别系统和方法

Also Published As

Publication number Publication date
CN108921064B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN105023008B (zh) 基于视觉显著性及多特征的行人再识别方法
CN106056050B (zh) 一种基于自适应三维人体运动统计模型的多视角步态识别方法
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN108921064A (zh) 基于多特征融合的行人重识别方法
CN101261677B (zh) 人脸的特征提取方法
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN106682598A (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN110268444A (zh) 一种用于经颅磁刺激诊疗的人头姿态跟踪系统
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN107292907A (zh) 一种对跟随目标进行定位的方法以及跟随设备
CN104392223A (zh) 二维视频图像中的人体姿态识别方法
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN112989889B (zh) 一种基于姿态指导的步态识别方法
Labati et al. Weight estimation from frame sequences using computational intelligence techniques
Tu et al. Histogram equalization and image feature matching
CN111462310A (zh) 一种基于多视几何的螺栓缺陷空间定位方法
Yangping et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection
CN115203663B (zh) 小视角远距离视频步态精准识别身份认证系统
CN113316080B (zh) 基于Wi-Fi与图像融合指纹的室内定位方法
Liu et al. Recognition and location of typical automotive parts based on the RGB-D camera
CN114612963A (zh) 一种人脸识别安全系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant