CN112200009A - 一种社区监控场景下基于关键点特征对齐的行人重识别方法 - Google Patents

一种社区监控场景下基于关键点特征对齐的行人重识别方法 Download PDF

Info

Publication number
CN112200009A
CN112200009A CN202010967190.XA CN202010967190A CN112200009A CN 112200009 A CN112200009 A CN 112200009A CN 202010967190 A CN202010967190 A CN 202010967190A CN 112200009 A CN112200009 A CN 112200009A
Authority
CN
China
Prior art keywords
pedestrian
feature
image
human body
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010967190.XA
Other languages
English (en)
Other versions
CN112200009B (zh
Inventor
孙浩云
张卫山
尹广楹
张大千
徐亮
管洪清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Sui Zhi Information Technologies Co ltd
Original Assignee
Qingdao Sui Zhi Information Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Sui Zhi Information Technologies Co ltd filed Critical Qingdao Sui Zhi Information Technologies Co ltd
Priority to CN202010967190.XA priority Critical patent/CN112200009B/zh
Publication of CN112200009A publication Critical patent/CN112200009A/zh
Application granted granted Critical
Publication of CN112200009B publication Critical patent/CN112200009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人脸检测、深度学习技术领域，具体公开了一种社区监控场景下基于关键点特征对齐的行人重识别方法，该方法在社区场景下对行人图像或视频进行多角度分析，对人体躯干在现实生活中的三维特征进行关键点标记对齐，其中，BF‑ASM对多姿态下的行人图像进行了精细化的特征选择以及对齐，而精细化分布式SILTP方法对细化的局部特征建立特征向量，并且经由加权计算整合出全局特征向量的特征表示，对建立的全局特征向量集合进行度量学习，自动地得出使识别差异度明显的马氏距离判断函数。本发明通过对人体的局部识别效果达到了细粒度的优化，在以往的行人重识别方法之上能够高效识别社区复杂场景下的行人，并且能够识别出特定的人群。

Description

一种社区监控场景下基于关键点特征对齐的行人重识别方法
技术领域
本发明涉及图像检索、人工智能、深度学习技术领域，特别涉及一种社区监控场景下基于关键点特征对齐的行人重识别方法。
背景技术
行人重识别技术是图像检索中的一个重要研究领域，且在社区监控场景下适用于对行人进行关键点特征分析并识别，由各个特征的分析结果逐渐上升到全局的人体特征匹配结果，以完成对特殊人群的精确识别。行人重识别技术是行人识别的优化方向之一，突破摄像机分辨率、摄影角度以及行人状态的限制，能够从复杂的环境中针对行人得出有效的识别结果。
行人重识别是一项复杂的工作，仅仅靠某一部位的识别(如人脸识别)无法精确地判断出特殊人群，并且仅仅靠宽泛的外部特征(如帽子颜色、鞋子型号等)也无法对判断结果进行细化。
一般来讲，主要以部位匹配的方式实现行人重识别技术。针对来自于视频或者图像序列的数据源，可以根据人体在现实生活中的三维结构进行切割。其中，水平切割和矩形领域切割将行人图像分割为不同的部分以进行特征匹配，然而这种切割方式所产生的“部位”无法准确反映人体的现实特征。而根据部位(手、脚、头部等)进行分割可以减少位置误差，但是部位匹配时所产生的误差依赖于具体算法的设计。本发明以该匹配方式为基础，针对行人重识别技术的局限性以及部位匹配准确率的问题进行优化，提出了一种社区监控场景下的行人重识别方法，该方法由块及面，基于关键点特征对齐的方式，逐步上升到全局特征的匹配。其中与关键点特征对齐有关的技术优化和度量学习相关的内容为本专利的重点。
发明内容
为了解决对以往的行人重识别方法的局限性的分析与研究的问题，本发明的目的是提供一种社区监控场景下基于关键点特征对齐的行人重识别方法。该方法对局部特征识别的过程进行优化，提出基于人体部位关键点特征对齐和活动形状模型(active shapemodels，简称ASM)的人体特征识别算法，本发明将该方法命名为基于人体部位特征的ASM匹配模型(对应英文名称为Body features based active shape models，又称BF-ASM)，提高了行人重识别方法的识别准确率、精度以及效率。另外本发明在前人的方法上进行改进，提出了一种精细化分布式SILTP方法以进行局部特征的整合。并且，本发明还参考了度量学习的原理优化特征向量的距离函数，使行人重识别有更高的区分度。
为了解决上述技术问题，本发明的技术方案是：
一种社区监控场景下基于关键点特征对齐的行人重识别方法，包括以下步骤：
步骤1：提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；
步骤2：对训练集中的所有行人图像进行HSV直方图均衡化，并且经过两次下采样，以扩充原有训练集；
步骤3：对训练集中的所有行人图像标定其关键特征点，要求这些点能够以人体部位为单位形成轮廓；
步骤4：将标记好的训练集经由BF-ASM方法进行处理，生成针对该训练集的平均人体匹配模型；
步骤5：输入待检测行人图像，以步骤4中的平均人体匹配模型自动进行特征点标注，该模型能够调整其偏移量、角度、大小以标记待检测图像中的行人部位；
步骤6：将经过步骤5标记的待检测行人图像和经由步骤3标记的训练集图像按照特征点轮廓分为多个人体部位图像；
步骤7：对于每个图，使用SILTP方法对人体各部位图像进行处理；
步骤8：经由步骤7得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示；
步骤9：自定义全局特征向量的距离函数，该函数以度量学习的方式得出；
步骤10：将待检测行人图像的全局特征向量与训练集中的每个图像所对应的全局特征向量以步骤9中的距离函数进行距离计算，并且按照距离升序排序输出对比结果。
优选地，在所述步骤2中，所提到的HSV直方图均衡化方法，旨在对复杂场景(如背景过暗或过亮的背景)下行人与背景像素的对比度。首先对行人图像求出HSV直方图，随后按照所求直方图，将不同灰度级下的像素数量进行重新分配，使像素尽可能的往更大的灰度范围中扩散。经由该步骤所得图像中的行人轮廓更加鲜明。
优选地，在所述步骤2中，所提到的两次图像下采样，即池化操作，主要目的是对图像进行成比例的放缩，放缩后的两种大小的图像扩充了之前的训练集，为BF-ASM模型的训练作准备。经由不同大小的图像对模型进行训练，能够使模型的尺寸敏感度变高，能够更好地对齐不同尺寸中的行人人体部位。
优选地，在所述步骤4中，所提到的BF-ASM方法，参考了人脸匹配中的ASM方法，使其能够应用于人体部位轮廓的对齐。首先对于每个图，根据所标注的特征点生成特征点向量。其次，进行形状归一化，使用Procrustes方法将图像进行对齐操作，以获得平均人体部位形状模型，该模型概括了训练集中行人部位轮廓的大概情况，并且为每个特征点建立局部纹理特征。
优选地，在所述步骤5中，依据步骤4中所生成的特征点对应局部纹理特征，平均形状模型在新的待检测的图像中进行偏移量、旋转角度、缩放量上的修正，以自动地对人体部位特征进行精确标注。
优选地，在所述步骤7中，SILTP方法，即尺度不变局部三值模式方法，能够通过特定的SILTP算子对图像像素进行三值(00、01、10)编码，以达到对人体部位的特征提取，该算子对检测范围内的噪声具有更高的鲁棒性。同时，所形成的局部特征向量为(x,y,z),分别代表图中包含的三个编码值的数量。并且，每个特征所对应的权重组成了权重向量，通过与权重向量进行点乘，能够使识别效果具有倾向性(即部位的重要程度)。
优选地，进一步的，在所述步骤9中，度量学习的目的是使相同行人的全局特征向量之间距离更小，而不同行人的全局特征向量之间距离更大。对训练集做好标签，并且将训练集按照标签分为相似对集合S和不同对集合D，假设集合所对应的向量对(pic1,pic2)在马氏距离函数中的表示为
Figure BDA0002682773930000031
将集合S和集合D中的向量对在上式中不断进行迭代，以S间距离最小化和D间距离在规定范围c之外为目标，对变换半正定矩阵A进行学习，从而确定距离变换函数。
采用上述技术方案，本发明提供的一种社区监控场景下基于关键点特征对齐的行人重识别方法，具有以下有益效果：通过将人体各部位进行高精度分块，能够对不同姿势和角度变化下的行人进行特征点对齐并提取特征，由局部到全局，并且能够大幅度规避复杂环境所造成的识别度影响，使行人重识别的准确度得到提高。另外，还运用了度量学习的原理使相同行人的距离缩小，同时使不同行人的距离增大，提高识别效果的区分程度。
附图说明
本发明附有相关的附图说明，以对行人重识别方法的具体实施流程进行详细说明。另外，本发明所涉及到的实施例仅用于参考和理解，并不构成对本发明的不当限定。
图1为本发明实施例中行人重识别方法的总体流程图；
图2为本发明所提到的BF-ASM方法的具体建模流程图；
图3为本发明所提到的BF-ASM方法的关键点对齐过程图；
图4为本发明所改进的精细化分布式SILTP方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面对社区监控场景下基于人体部位特征对齐的行人重识别方法进行详细说明，图1是本发明实施例中行人重识别方法的总体流程，对图中的各个步骤进行分解，与本例相关的主要示例性实施方法概括如下：使用BF-ASM方法进行人体部位特征精确选取和对齐，以及使用改进的精细化分布式SILTP方法进行人体部位局部特征的提取以及行人全局特征的整合：步骤1：提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；步骤2：对训练集中的所有行人图像进行HSV直方图均衡化，并且经过两次下采样，以扩充原有训练集；步骤3：对训练集中的所有行人图像标定其关键特征点，要求这些点能够以人体部位为单位形成轮廓；步骤4：将标记好的训练集经由BF-ASM方法进行处理，生成针对该训练集的平均人体匹配模型；步骤5：输入待检测行人图像，以步骤4中的平均人体匹配模型自动进行特征点标注，该模型能够调整其偏移量、角度、大小以标记待检测图像中的行人部位；步骤6：将经过步骤5标记的待检测行人图像和经由步骤3标记的训练集图像按照特征点轮廓分为多个人体部位图像；步骤7：对于每个图，使用SILTP方法对人体各部位图像进行处理；步骤8：经由步骤7得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示；步骤9：自定义全局特征向量的距离函数，该函数以度量学习的方式得出；步骤10：将待检测行人图像的全局特征向量与训练集中的每个图像所对应的全局特征向量以步骤9中的距离函数进行距离计算，并且按照距离升序排序输出对比结果。首先提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；监控视频一般来自于不同角度的摄像头，且行人的姿态也不尽相同，所处环境复杂度较高，需要进行特殊处理。该方法在社区场景下对行人图像或视频进行多角度分析，对人体躯干在现实生活中的三维特征进行关键点标记对齐，以提高局部识别效果的准确性和精确度。其中，BF-ASM对多姿态下的行人图像进行了精细化的特征选择以及对齐，而精细化分布式SILTP方法对细化的局部特征建立特征向量，并且经由加权计算整合出全局特征向量的特征表示，对建立的全局特征向量集合进行度量学习，自动地得出使识别差异度明显的马氏距离判断函数。经由该方法的以上技术步骤，对人体的局部识别效果达到了细粒度的优化，在以往的行人重识别方法之上能够高效识别社区复杂场景下的行人，并且能够识别出特定的人群。
可以理解的，经过两次池化操作，在不影响原训练集主要特征的情况下对图像进行成比例的压缩，以扩充原有的训练集。上述训练集包含了不同大小的图像，经过上述训练集建立的BF-ASM平均人体部位形状模型能够在不同大小的图像中正确并且准确地对关键人体部位特征进行标注；相比于以往的行人重识别方法对局部特征的选取方式，本专利所提出的BF-ASM方法能够更加精细地选取人体部位，BF-ASM所产生的关键特征点能够在关键人体部位周围形成轮廓；本发明所提出的BF-ASM方法能够根据训练集的总体情况进行平均人体部位形状模型建模，该平均人体部位形状模型又称平均人体部位关键点对齐模型，该模型的每个关键点具有相应的纹理特征值。纹理特征值主要用于在新的未标记关键特征点的图像中，在上述模型对其进行自动标注的过程中，计算关键特征点的正确偏移方向，以使上述模型能够正确的对该行人图像进行关键特征点的对齐与标注；本发明在原有的局部特征切割与提取方法上作出改进，提出一种精细化分布式SILTP方法。其中，使用SILTP方法的目的在于使对于不同大小的部位特征提取保持较高的鲁棒性。并且，局部特征切割的方式基于BF-ASM方法中生成的平均人体部位形状模型，经过该模型自动标注并对齐后的关键点所成人体部位区域范围更加精细。另外精细化分布式SILTP方法中引入了各部位所对应的权重，令识别过程具有倾向性，使主要特征和全局特征的匹配更加精确。经过精细化分布式SILTP方法，每个图像包括待匹配图像得到一个全局特征的向量表示，通过适当的距离判断函数可对相似程度进行计算。运用度量学习的原理，将相同行人的全局特征对和不同行人的局部特征对进行分组，分别称集合S与集合D。将集合S与集合D迭代至马氏距离函数并进行训练，以集合S中每个特征对的平均距离为目标函数进行最小化，从而得到适当的马氏距离函数表示。该距离函数使行人识别的区分效果更加明显。经由该距离函数，在待匹配行人图像与训练集图像之间进行距离计算，并且按照距离升序输出匹配结果，具有最小距离的匹配结果所对应的训练集图像即为最相似的行人图像。
如图1中行人图像预处理部分所述，为了使复杂环境下行人图像的对比程度和锐度增强，使行人轮廓能够得到更好的表现，对所有的行人图像进行HSV直方图均衡化，直方图均衡化的目的主要是使各灰度级下的像素点尽可能在保持原分布情况的条件下向更大的灰度级范围中进行扩散，使行人部分在苛刻的光照环境下仍能保持较高的辨识度。随后，经过两次下采样操作，在保证主特征不发生较大变化的情况下生成两组不同大小的行人缩略图，将这两种缩略图同原训练集整合为新的训练集对BF-ASM方法进行训练，能够使BF-ASM方法所生成的平均人体部位特征对齐模型(即平均人体形状模型)在图像大小不一的情况下仍然能够准确按照模型特征点对齐待匹配图像中的人体部位特征。
BF-ASM方法需要以标记好特征点的训练集为基础，经过不断地迭代与自我对齐，从而生成代表训练集人体部位轮廓情况的平均人体形状模型。其中，特征点应该能够按顺序对关键部位(胳膊、脚、头等)形成轮廓，以便对齐后的图像能够在相应特征位置进行纹理特征提取。以上一步所述的扩展后的训练集为基础，经过如图2所详细描述的BF-ASM建模过程，生成平均人体形状模型。首先，对每一个图，将该图所有的特征点坐标整合以形成特征点向量。其次多次经历如下的迭代过程：
1、通过Procrustes方法调整旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量使每个行人躯干模型(特征点集)对齐到第一个行人躯干模型(特征点集)。
2、对齐后的模型或多或少有一些偏差，此时取所有图像的特征点向量并且求出平均特征点向量(即平均模型)。
3、再次令每个行人躯干的各个特征点调整旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量，并且对应至平均特征点向量中。
4、判断偏差值，偏差值若小于一定范围则停止循环，否则回到1。
综上，便得到了一个误差率较小的，能够反映训练集行人人体部位分布情况的平均人体部位形状模型。最后，还需对每一个特征点进行纹理值计算，如图2所述的建立局部特征的过程中所述。以训练数据集中的某个图(以下称图j)中的第i个特征点为例：首先选择其前后两个点，即第i-1个和第i+1个特征点，并且连成一条线，称线段FL；然后通过第i个特征点，作FL的垂线FQ；在第i个特征点的FQ方向前后选择m个像素点，算上特征点i所占像素共2m+1个像素点；对这2m+1像素点进行灰度值求导，得到图j中第i个特征点的纹理gij；对其它的图也经过上述步骤，得i在其它图的纹理gi1,gi2,…,gin，并且据此求其平均avg(gi)和方差S(gi)。并且构造偏移判断用距离函数：
d(i)＝√((g-avg(g))〖〖S(gi)〗^(-1)(g-avg(g))〗^T)
该函数表示，新图中对于特征点i，在当前所对准的位置上与正确的特征点位置之间的偏差量。
如图3所述，待检测图像作为没有特征标记点的新图，使用建立好的BF-ASM平均模型进行对齐并生成人体部位轮廓点标注。根据上述公式算出偏差量，并据此对平均模型的旋转角度、缩放尺度、水平方向偏移量、竖直方向偏移量进行调整。参见图3的变化方向描述部分。
对于每个图，使用SILTP方法对人体各部位图像进行处理。经过一个各部位所对应的权重向量的点乘运算，得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示。该方法较以往的粗略分割并合并特征的方法相比，局部特征的划分更加细致，权重向量的设置更加体现了局部特征在识别中的重要程度，是专利的创新点之一。本方法又称精细化分布式SILTP方法，详细过程见图4。
自定义全局特征向量的距离函数，该函数以度量学习的方式得出。对训练集做好标签，并且将训练集按照标签分为相似对集合S和不同对集合D，假设集合所对应的向量对(pic1,pic2)在马氏距离函数中的表示为
d(pic1,pic2)＝√((pic1-pic2)^T A(pic1-pic2))
将集合S和集合D中的向量对在上式中不断进行迭代，以S间距离最小化和D间距离在规定范围c之外为目标，对变换半正定矩阵A进行学习，从而确定距离变换函数。
最终，将待检测行人图像的全局特征向量同训练集中每一个图像的全局特征向量，以上述d(pic1,pic2)距离函数进行判断，按照所计算出的距离进行升序排序，排在第一的匹配结果所对应标签即为匹配结果，且相似度与其距离成反比。
综上，BF-ASM方法通过训练集生成的平均形状模型能够精确地对齐并提取新图像中的人体部位，并且每一块的人体部位经过SILTP方法形成三维向量，由精确块组成精确面，各部位的SILTP三维向量组成表示整个行人特征的全局特征向量，相较于以前的粗略切割提取方法，特征提取与匹配效果在准确度和精确度方面得到了提高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：包括以下步骤：
步骤1：提取来自于监控视频的行人图像数据，作为关键点特征点对齐模型的训练数据集；
步骤2：对训练集中的所有行人图像进行HSV直方图均衡化，并且经过两次下采样，以扩充原有训练集；
步骤3：对训练集中的所有行人图像标定其关键特征点，要求这些点能够以人体部位为单位形成轮廓；
步骤4：将标记好的训练集经由BF-ASM方法进行处理，生成针对该训练集的平均人体匹配模型；
步骤5：输入待检测行人图像，以步骤4中的平均人体匹配模型自动进行特征点标注，该模型能够调整其偏移量、角度、大小以标记待检测图像中的行人部位；
步骤6：将经过步骤5标记的待检测行人图像和经由步骤3标记的训练集图像按照特征点轮廓分为多个人体部位图像；
步骤7：对于每个图，使用SILTP方法对人体各部位图像进行处理；
步骤8：经由步骤7得到各部位图像所对应的特征值向量，并且将每个特征值向量融合为一个特征值向量，作为整个图像的全局特征表示；
步骤9：自定义全局特征向量的距离函数，该函数以度量学习的方式得出；
步骤10：将待检测行人图像的全局特征向量与训练集中的每个图像所对应的全局特征向量以步骤9中的距离函数进行距离计算，并且按照距离升序排序输出对比结果。
2.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤1中，还包括使用HSF直方图对整个训练数据集进行直方图均衡化，使行人轮廓对比度更强，减少复杂环境对行人识别所带来的影响。
3.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤2中，还包括经过两次池化操作，在不影响原训练集主要特征的情况下对图像进行成比例的压缩，以扩充原有的训练集；上述训练集包含了不同大小的图像，经过上述训练集建立的BF-ASM平均人体部位形状模型能够在不同大小的图像中正确并且准确地对关键人体部位特征进行标注。
4.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤4中，所述BF-ASM所产生的关键特征点能够在关键人体部位周围形成轮廓。
5.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤5中，还包括根据训练集的总体情况进行平均人体部位形状模型建模，该平均人体部位形状模型又称平均人体部位关键点对齐模型，该模型的每个关键点具有相应的纹理特征值；纹理特征值主要用于在新的未标记关键特征点的图像中，在上述模型对其进行自动标注的过程中，计算关键特征点的正确偏移方向，以使上述模型能够正确的对该行人图像进行关键特征点的对齐与标注。
6.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤7中，还包括在原有的局部特征切割与提取方法上通过使用SILTP方法使对于不同大小的部位特征提取保持较高的鲁棒性；并且，局部特征切割的方式基于BF-ASM方法中生成的平均人体部位形状模型，经过该模型自动标注并对齐后的关键点所成人体部位区域范围更加精细；另外精细化分布式SILTP方法中引入了各部位所对应的权重，令识别过程具有倾向性，使主要特征和全局特征的匹配更加精确；经过精细化分布式SILTP方法，每个图像包括待匹配图像得到一个全局特征的向量表示，通过适当的距离判断函数可对相似程度进行计算。
7.根据权利要求1所述的社区监控场景下基于关键点特征对齐的行人重识别方法，其特征在于：在所述步骤9中，还包括运用度量学习的原理，将相同行人的全局特征对和不同行人的局部特征对进行分组，分别称集合S与集合D；将集合S与集合D迭代至马氏距离函数并进行训练，以集合S中每个特征对的平均距离为目标函数进行最小化，从而得到适当的马氏距离函数表示；该距离函数使行人识别的区分效果更加明显；经由该距离函数，在待匹配行人图像与训练集图像之间进行距离计算，并且按照距离升序输出匹配结果，具有最小距离的匹配结果所对应的训练集图像即为最相似的行人图像。
CN202010967190.XA 2020-09-15 2020-09-15 社区监控场景下基于关键点特征对齐的行人重识别方法 Active CN112200009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010967190.XA CN112200009B (zh) 2020-09-15 2020-09-15 社区监控场景下基于关键点特征对齐的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010967190.XA CN112200009B (zh) 2020-09-15 2020-09-15 社区监控场景下基于关键点特征对齐的行人重识别方法

Publications (2)

Publication Number Publication Date
CN112200009A true CN112200009A (zh) 2021-01-08
CN112200009B CN112200009B (zh) 2023-10-17

Family

ID=74015147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010967190.XA Active CN112200009B (zh) 2020-09-15 2020-09-15 社区监控场景下基于关键点特征对齐的行人重识别方法

Country Status (1)

Country Link
CN (1) CN112200009B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN108520226A (zh) * 2018-04-03 2018-09-11 东北大学 一种基于躯体分解和显著性检测的行人重识别方法
CN108710824A (zh) * 2018-04-10 2018-10-26 国网浙江省电力有限公司信息通信分公司 一种基于局部区域划分的行人识别方法
CN108960013A (zh) * 2017-05-23 2018-12-07 上海荆虹电子科技有限公司 一种行人再识别方法及装置
CN109344842A (zh) * 2018-08-15 2019-02-15 天津大学 一种基于语义区域表达的行人重识别方法
CN109801326A (zh) * 2017-11-13 2019-05-24 杭州梅德珥智能科技有限公司 一种用于获取人体体型数据的图像测量方法
CN110472491A (zh) * 2019-07-05 2019-11-19 深圳壹账通智能科技有限公司 异常人脸检测方法、异常识别方法、装置、设备及介质
CN111259756A (zh) * 2020-01-10 2020-06-09 西安培华学院 基于局部高频次特征和混合度量学习的行人重识别方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN108960013A (zh) * 2017-05-23 2018-12-07 上海荆虹电子科技有限公司 一种行人再识别方法及装置
CN109801326A (zh) * 2017-11-13 2019-05-24 杭州梅德珥智能科技有限公司 一种用于获取人体体型数据的图像测量方法
CN108520226A (zh) * 2018-04-03 2018-09-11 东北大学 一种基于躯体分解和显著性检测的行人重识别方法
CN108710824A (zh) * 2018-04-10 2018-10-26 国网浙江省电力有限公司信息通信分公司 一种基于局部区域划分的行人识别方法
CN109344842A (zh) * 2018-08-15 2019-02-15 天津大学 一种基于语义区域表达的行人重识别方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
CN110472491A (zh) * 2019-07-05 2019-11-19 深圳壹账通智能科技有限公司 异常人脸检测方法、异常识别方法、装置、设备及介质
CN111259756A (zh) * 2020-01-10 2020-06-09 西安培华学院 基于局部高频次特征和混合度量学习的行人重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
E.KOMAGAL.ET AL: ""Face recognition across pose for PTZ camare video surveillance applications"", 《2017TH NINTH INTERNATIONAL CONFERENCE ON ADVANCES IN PATTERN RECOGNITION》 *
WU .ET AL: ""Independent metric learning with aligned multi-part", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
刘翠响等: ""最小均衡化后的行人重识别"", 《深圳大学学报》 *
许明星: ""基于图像的人体特征提取和测量"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN112200009B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
Lee et al. Simultaneous traffic sign detection and boundary estimation using convolutional neural network
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
US10198623B2 (en) Three-dimensional facial recognition method and system
CN109299643B (zh) 一种基于大姿态对准的人脸识别方法及系统
CN106127170B (zh) 一种融合关键特征点的训练方法、识别方法及系统
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
CN104268539A (zh) 一种高性能的人脸识别方法及系统
CN104574375A (zh) 结合彩色和深度信息的图像显著性检测方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
CN110991398A (zh) 一种基于改进步态能量图的步态识别方法及系统
CN111768447A (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN112784869A (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN108805915A (zh) 一种抗视角变化的近景影像区域特征匹配方法
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN111274944A (zh) 一种基于单张图像的三维人脸重建方法
CN103353941A (zh) 基于视角分类的自然标志物注册方法
Potje et al. Extracting deformation-aware local features by learning to deform
CN108053425B (zh) 一种基于多通道特征的高速相关滤波目标跟踪方法
CN112200009B (zh) 社区监控场景下基于关键点特征对齐的行人重识别方法
CN108564020A (zh) 基于全景3d图像的微手势识别方法
CN112906629A (zh) 人脸表情分类器的训练、人脸表情的识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant