CN110969087A - 一种步态识别方法及系统 - Google Patents
一种步态识别方法及系统 Download PDFInfo
- Publication number
- CN110969087A CN110969087A CN201911056585.8A CN201911056585A CN110969087A CN 110969087 A CN110969087 A CN 110969087A CN 201911056585 A CN201911056585 A CN 201911056585A CN 110969087 A CN110969087 A CN 110969087A
- Authority
- CN
- China
- Prior art keywords
- features
- gait
- global
- pedestrian
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002776 aggregation Effects 0.000 claims abstract description 54
- 238000004220 aggregation Methods 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000011176 pooling Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000013467 fragmentation Methods 0.000 claims abstract description 24
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000011524 similarity measure Methods 0.000 claims abstract description 4
- 239000012634 fragment Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 abstract description 26
- 230000011218 segmentation Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种步态识别方法及系统，包括：对训练集中的图像序列进行预处理，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；对全局聚合特征和局部聚合特征进行水平、垂直金字塔分片和池化，得到多个分片特征，计算多种损失；使用多种损失反向传播训练模型，得到训练好的识别模型；对待识别图像序列进行预处理后输入识别模型，得到待识别步态特征向量；使用相似度度量进行匹配，识别行人。通过减少降采样次数，从而保留了行人轮廓图更完整的信息，联合水平金字塔分片和垂直金字塔分片的方法，同时采用多种损失函数，对于视角敏感问题和行人姿态变化问题具有更强的鲁棒性，能够达到更高的识别精度。
Description
技术领域
本申请涉及模式识别领域，尤其涉及一种步态识别方法及系统。
背景技术
生物识别技术衡量人们独特的身体和行为特征，以识别个人的身份。步态是个体的行走模式，是最重要的生物识别方式之一。步态识别的优点是它可以在没有用户合作的情况下进行远距离操作，并且难以掩饰。因此步态识别适用于许多应用，例如人员识别，刑事调查和医疗保健。
在步态识别领域中，常见的方法是首先从视频所有序列中得到一个人的轮廓序列，然后输入神经网络再得到特征向量，最后计算特征向量之间的欧式距离来进行匹配。但是，以往的方法在遇到较严重的跨视角问题和同一个人换装或者背包等行人姿态改变的情景难以达到可实用的精度。
综上所述，需要提供一种能够对跨视角问题和行人姿态改变的情景具有较强鲁棒性和较高精度的步态识别方法及系统。
发明内容
为解决以上问题，本申请提出了一种步态识别方法及系统。
一方面，本申请提出一种步态识别方法，包括：
对训练集中的图像序列进行预处理后，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；
使用多个所述分片特征计算多种损失；
使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量；
使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
优选地，所述对训练集中的图像序列进行预处理和所述对待识别图像序列进行预处理，均包括：
从所述图像序列中每个帧中，获取行人轮廓区域的顶部、底部、左边和右边坐标；
根据上述四个坐标，从与坐标对应的帧中裁剪出第一行人轮廓图像；
对所述第一行人轮廓图像的大小进行归一化，得到第二行人轮廓图像；
在保持所述第二行人轮廓图像的纵横比的同时调整第二行人轮廓图像的尺寸；
得到轮廓序列，该序列包括调整尺寸后的第二行人轮廓图像。
优选地，所述输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征，包括：
输入轮廓序列至待训练模型，使用卷积和激活层以及池化层对所述轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征；
将多个所述降采样特征合并，得到全局降采样特征；
将所述全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征，得到全局特征和多个轮廓图像特征；
对多个所述轮廓图像特征进行池化，得到局部聚合特征；
合并所述局部聚合特征与所述全局特征，得到全局聚合特征。
优选地，所述分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个扩充分片特征，包括：
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征；
将所述多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征；
对多个所述分片输出特征进行通道扩充，得到多个分片特征。
优选地，所述使用多个所述分片特征计算多种损失，包括：
分别计算所述多个分片特征的第一损失；
将所述多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到步态特征向量；
将步态特征向量输入第二全连接层，得到步态输出特征；
使用所述步态输出特征计算第二损失。
优选地，所述对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量，包括：
对待识别图像序列进行预处理，得到待识别轮廓序列；
将所述待识别轮廓序列输入训练好的识别模型，得到待识别步态特征向量。
优选地，所述多种损失包括：三方损失、中心损失、交叉熵损失。
优选地，所述第一损失和所述第二损失分别包括一种或多种损失。
优选地，所述相似度度量包括：欧式距离、余弦距离、标准化欧式距离、马氏距离。
第二方面，本申请提出一种步态识别系统，包括：
预处理模块，用于对训练集中的图像序列进行预处理，对待识别图像序列进行预处理；
模型训练模块，用于对预处理后的训练集中的图像序列进行降采样和特征提取，得到全局聚合特征和局部聚合特征；分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；使用多个所述分片特征计算多种损失；使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
步态识别模块，用于使用训练好的识别模型，根据预处理后的待识别图像序列得到待识别步态特征向量；使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
本申请的优点在于：通过减少降采样的次数，从而保留了行人轮廓图更完整的信息，联合了水平金字塔分片和垂直金字塔分片的方法，同时采用了多种损失函数，对于视角敏感问题和行人姿态的变化问题具有更强的鲁棒性，在实际的步态识别场景能够达到更高的识别精度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：
图1是本申请提供的一种步态识别方法的步骤示意图；
图2是本申请提供的一种步态识别方法的预处理示意图；
图3是本申请提供的一种步态识别方法的模型训练示意图；
图4是本申请提供的一种步态识别方法的金字塔分片示意图；
图5是本申请提供的一种步态识别系统的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本申请的实施方式，提出一种步态识别方法，如图1所示，包括：
S101，对训练集中的图像序列进行预处理后，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；
S102，分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；
S103，使用多个分片特征计算多种损失；
S104，使用多种损失进行反向传播训练模型，得到训练好的识别模型；
S105，对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量；
S106，使用相似度度量对待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
如图2所示，对训练集中的图像序列进行预处理和对待识别图像序列进行预处理，均包括：
从图像序列中每个帧中，获取行人轮廓区域的顶部、底部、左边和右边坐标；
根据上述四个坐标，从与坐标对应的帧中裁剪出第一行人轮廓图像；
对第一行人轮廓图像的大小进行归一化，得到第二行人轮廓图像；
在保持第二行人轮廓图像的纵横比的同时调整第二行人轮廓图像的尺寸；
得到轮廓序列，该序列包括调整尺寸后的第二行人轮廓图像。
输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征，包括：
输入轮廓序列至待训练模型，使用卷积和激活层以及池化层对轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征；
将多个降采样特征合并，得到全局降采样特征；
将全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征，得到全局特征和多个轮廓图像特征；
对多个轮廓图像特征进行池化，得到局部聚合特征；
合并局部聚合特征与全局特征，得到全局聚合特征。
其中，如图3所示，在使用卷积和激活层以及池化层对轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征时，使用的卷积和激活层的数量可以为一层或多层。优选地，使用一层或少量的池化层进行对得到每个轮廓图像的特征进行降采样处理，得到降采样特征。
将全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征的次数可以根据需要，设定为1次或多次，经过处理后，得到全局特征和多个轮廓图像特征。同时，每次特征提取是所用的卷积和激活层的数量不限，可以根据需要，设定为1层或多层。
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个扩充分片特征，包括：
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征；
将多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征；
对多个分片输出特征进行通道扩充，得到多个分片特征。
优选地，最大池化和平均池化同时进行。
其中，分片特征为多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征的和。
如图4所示，分片的数量根据分片的次数确定。分片的次数可以根据需要，设定为1次或多次。
以对全局聚合特征进行水平金字塔分片，分片次数为3次为例，则得到的全局水平分片特征的数量为7个，即20+21+22＝7。则多个分片特征包括进行最大池化和平均池化后的7个全局水平分片特征、7个全局垂直分片特征、7个局部水平分片特征和7个局部垂直分片特征，共28个分片特征。
使用多个分片特征计算多种损失，包括：
分别计算多个分片特征的第一损失；
将多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到步态特征向量；
将步态特征向量输入第二全连接层，得到步态输出特征；
使用所态输出特征计算第二损失。
对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量，包括：
对待识别图像序列进行预处理，得到待识别轮廓序列；
将待识别轮廓序列输入训练好的识别模型，得到待识别步态特征向量。
多种损失包括：三方损失(Triplet Loss)、中心损失(Cemter Loss)、交叉熵损失(Cross Entropy Loss)。
各损失通过使用其对应的损失函数计算得到。
三放损失函数还包括其变种：批量硬三方损失(Batch-hard Triplet Loss)函数和批量软三方损失(Batch-soft Triplet Loss)函数等。
交叉熵损失函数还包括其变种：标签平滑(Label Smoothing)交叉熵损失函数、L-Softmax损失函数、AMSoftmax损失函数等。
第一损失和第二损失分别包括一种或多种损失。即第一损失包括一种或多种损失，第二损失包括一种或多种损失。
第一损失和第二损失包括的一种或多种损失，可以相同，也可以不同。
即假设第一损失包括：三放损失和中心损失，则第二损失可以包括：三放损失和/或中心损失，也可以包括与第一损失包括的损失不同的一种或多种损失。
相似度度量包括：欧式距离、余弦距离、标准化欧式距离、马氏距离等。
训练集中还包括与图像序列对应的行人标签。
下面，对本申请实施例进行进一步说明。
选取一个训练集，将训练集中的图像序列进行数据预处理，如图2所示，首先，分别为图像序列中的每一帧获取行人轮廓区域的顶部、底部、左边和右边坐标。其次根据这4个坐标对轮廓图像进行裁剪，得到紧凑的行人轮廓图像(第一行人轮廓图像)。然后，将轮廓图像的大小归一化得到第二行人轮廓图像，优选地，使第二行人轮廓图像的高度为64个像素，并保持轮廓图像的纵横比。最后将第二行人轮廓图像调整为64×64的尺寸，其中宽度不足64像素的部分，用黑色像素补全，从而得到图像序列中的每一帧序列所对应的黑白轮廓图序列，该黑白轮廓图序列(轮廓序列)包括调整尺寸后的第二行人轮廓图像。
将轮廓序列和对应的行人标签共同输入进网络(训练模型)中。
训练模型的结构如图3所示，以只采用一层下采样(降采样)层为例。只采用一层降采样层能够保留更多轮廓图的信息，同时联合局部与全局注意力机制，以及竖直和水平方向上的金字塔分片方法，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征，输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征。对多个所述分片输出特征进行通道扩充，增强特征的可鉴别性，得到多个分片特征。将各分片特征和与其对应的行人标签输入进第一损失包括的损失函数中，计算第一损失；将多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到步态特征向量；将步态特征向量输入第二全连接层，得到步态输出特征；使用所述步态输出特征计算第二损失。
以第一损失包括三方损失函数和中心损失函数，第二损失包括标签平滑交叉熵损失函数为例。将各分片特征和与其对应的行人标签输入三方损失函数和中心损失函数，将步态输出特征和与其对应的行人标签输入标签平滑交叉熵损失函数，计算损失误差值，得到多种损失。
具体地，各损失根据需要设定权重，多种损失可以是第一损失和第二损失的和。
优选地，中心损失的损失误差值有0.0003的权重，其余另外两个损失权重都为1。
优选地，中心损失函数使用随机梯度下降(Stochastic gradient descent,SGD)优化器，学习率为0.1，momentum设置为0.9，三方损失函数和标签光滑的交叉熵损失函数使用Adam优化器，学习率设置为0.0001。迭代次数为200000，每100000次迭代，学习率降低10倍。
使用多种所述损失进行反向传播训练模型，调整网络模型的参数，对网络模型进行优化，得到训练好的识别模型。其中模型可以根据训练次数或多种多种损失的损失误差值，确定其是否训练好。即，可以设置训练次数，当训练次数达到设置的训练次数时，训练完成；也可以设置损失误差值阈值，当损失误差值低于阈值时，则训练完成。
保存训练好的识别模型。
加载训练好的模型，对待识别图像序列进行预处理后，输入至训练好的识别模型，得到待识别步态特征向量。
使用训练好的识别模型对进行预处理后待识别图像序列进行识别时，直至得到多个分片特征处，处理步骤与模型训练时相同，区别在于，得到的多个分片特征只输入第一全连接层和批量规范化层进行降维(特征维度的降低)和归一化处理，得到待识别步态特征向量。
使用相似度度量对待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。优选地，利用欧式距离进行检索匹配。
交叉熵损失函数的公式：
其中，N代表分类人的数量，y是人的真实标签，pi是第i类人的预测标签。qi是一个控制变量。
带有标签光滑的交叉熵损失函数，即将qi的表示方法进行改进为：
其中，ε是一个常量，优选地设置为0.1。
三方损失函数：
LTriplet＝[dp-dn+α]+
其中，dp是特征对于正样本之间的距离，dn是特征对于负样本之间的距离，α是间隔常量，优选地，设置为0.2。[z]+代表max(z,0)。
中心损失函数：
其中，tj代表在mini-batch中的第j帧图像预测标签值，yj是在mini-batch中的第j帧图像真实标签值。
代表第yj类特征的中心值，
代表第tj类特征，B是BatchSize的大小。
总损失(多种损失)函数：
L＝LID+LTriplet+PLC
优选地，β＝0.0003。
根据本申请的实施方式，还提出一种步态识别系统，如图5所示，包括：
预处理模块101，用于对训练集中的图像序列进行预处理，对待识别图像序列进行预处理；
模型训练模块102，用于对预处理后的训练集中的图像序列进行降采样和特征提取，得到全局聚合特征和局部聚合特征；分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；使用多个分片特征计算多种损失；使用多种损失进行反向传播训练模型，得到训练好的识别模型；
步态识别模块103，用于使用训练好的识别模型，根据预处理后的待识别图像序列得到待识别步态特征向量；使用相似度度量对待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
步态识别模块还包括数据库，用于保存行人步态特征向量。
本申请的方法中，通过减少降采样的次数，从而保留了行人轮廓图更完整的信息，联合了水平金字塔分片和垂直金字塔分片的方法，同时采用了多种损失函数，对于视角敏感问题(不同视角的行人步态的变化)和行人姿态的变化问题具有更强的鲁棒性，泛化能力更好，在实际的步态识别场景能够达到更高的识别精度。并且通过使用第一全连接层对特征维度的降低，步态识别检索的时间复杂度更低。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种步态识别方法，其特征在于，包括：
对训练集中的图像序列进行预处理后，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；
使用多个所述分片特征计算多种损失；
使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量；
使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
2.根据权利要求1所述的步态识别方法，其特征在于，所述对训练集中的图像序列进行预处理和所述对待识别图像序列进行预处理，均包括：
从所述图像序列中每个帧中，获取行人轮廓区域的顶部、底部、左边和右边坐标；
根据上述四个坐标，从与坐标对应的帧中裁剪出第一行人轮廓图像；
对所述第一行人轮廓图像的大小进行归一化，得到第二行人轮廓图像；
在保持所述第二行人轮廓图像的纵横比的同时调整第二行人轮廓图像的尺寸；
得到轮廓序列，该序列包括调整尺寸后的第二行人轮廓图像。
3.根据权利要求1所述的步态识别方法，其特征在于，所述输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征，包括：
输入轮廓序列至待训练模型，使用卷积和激活层以及池化层对所述轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征；
将多个所述降采样特征合并，得到全局降采样特征；
将所述全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征，得到全局特征和多个轮廓图像特征；
对多个所述轮廓图像特征进行池化，得到局部聚合特征；
合并所述局部聚合特征与所述全局特征，得到全局聚合特征。
4.根据权利要求1所述的步态识别方法，其特征在于，所述分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个扩充分片特征，包括：
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征；
将所述多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征；
对多个所述分片输出特征进行通道扩充，得到多个分片特征。
5.如权利要求1所述的步态识别方法，其特征在于，所述使用多个所述分片特征计算多种损失，包括：
分别计算所述多个分片特征的第一损失；
将所述多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到步态特征向量；
将步态特征向量输入第二全连接层，得到步态输出特征；
使用所述步态输出特征计算第二损失。
6.如权利要求5所述的步态识别方法，其特征在于，所述对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量，包括：
对待识别图像序列进行预处理，得到待识别轮廓序列；
将所述待识别轮廓序列输入训练好的识别模型，得到待识别步态特征向量。
7.如权利要求1所述的步态识别方法，其特征在于，所述多种损失包括：三方损失、中心损失、交叉熵损失。
8.如权利要求5所述的步态识别方法，其特征在于，所述第一损失和所述第二损失分别包括一种或多种损失。
9.如权利要求1所述的步态识别方法，其特征在于，所述相似度度量包括：欧式距离、余弦距离、标准化欧式距离、马氏距离。
10.一种步态识别系统，其特征在于，包括：
预处理模块，用于对训练集中的图像序列进行预处理，对待识别图像序列进行预处理；
模型训练模块，用于对预处理后的训练集中的图像序列进行降采样和特征提取，得到全局聚合特征和局部聚合特征；分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；使用多个所述分片特征计算多种损失；使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
步态识别模块，用于使用训练好的识别模型，根据预处理后的待识别图像序列得到待识别步态特征向量；使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911056585.8A CN110969087B (zh) | 2019-10-31 | 2019-10-31 | 一种步态识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911056585.8A CN110969087B (zh) | 2019-10-31 | 2019-10-31 | 一种步态识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969087A true CN110969087A (zh) | 2020-04-07 |
| CN110969087B CN110969087B (zh) | 2023-11-21 |
Family
ID=70029962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911056585.8A Active CN110969087B (zh) | 2019-10-31 | 2019-10-31 | 一种步态识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969087B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582126A (zh) * | 2020-04-30 | 2020-08-25 | 浙江工商大学 | 基于多尺度行人轮廓分割融合的行人重识别方法 |
| CN111814624A (zh) * | 2020-06-28 | 2020-10-23 | 浙江大华技术股份有限公司 | 视频中行人步态识别训练方法、步态识别方法及存储装置 |
| CN111898483A (zh) * | 2020-07-14 | 2020-11-06 | 杭州飞步科技有限公司 | 图像识别的方法、装置、电子设备及存储介质 |
| CN112733814A (zh) * | 2021-03-30 | 2021-04-30 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN113239784A (zh) * | 2021-05-11 | 2021-08-10 | 广西科学院 | 一种基于空间序列特征学习的行人重识别系统及方法 |
| CN113469095A (zh) * | 2021-07-13 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种基于步态的人物二次核验方法及装置 |
| CN113486734A (zh) * | 2021-06-18 | 2021-10-08 | 广东技术师范大学 | 一种步态识别方法、系统、设备及存储介质 |
| CN113887358A (zh) * | 2021-09-23 | 2022-01-04 | 南京信息工程大学 | 按部分学习解耦表征的步态识别方法 |
| CN114140873A (zh) * | 2021-11-09 | 2022-03-04 | 武汉众智数字技术有限公司 | 一种基于卷积神经网络多层次特征的步态识别方法 |
| WO2022174523A1 (zh) * | 2021-02-22 | 2022-08-25 | 豪威芯仑传感器(上海)有限公司 | 一种提取行人的步态特征的方法、步态识别方法及系统 |
| WO2024036809A1 (zh) * | 2022-08-16 | 2024-02-22 | 中国银联股份有限公司 | 一种生物特征提取方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
| CN109583298A (zh) * | 2018-10-26 | 2019-04-05 | 复旦大学 | 基于集合的跨视角步态识别方法 |
| US20190156113A1 (en) * | 2017-11-22 | 2019-05-23 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local gabor feature extraction method for automatic gait recognition |
| CN109902646A (zh) * | 2019-03-08 | 2019-06-18 | 中南大学 | 一种基于长短时记忆网络的步态识别方法 |
| CN110059577A (zh) * | 2019-03-26 | 2019-07-26 | 北京迈格威科技有限公司 | 行人属性信息提取方法及装置 |
| CN110163175A (zh) * | 2019-05-28 | 2019-08-23 | 杭州电子科技大学 | 一种基于改进vgg-16网络的步态识别方法及系统 |
-
2019
- 2019-10-31 CN CN201911056585.8A patent/CN110969087B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| US20190156113A1 (en) * | 2017-11-22 | 2019-05-23 | King Fahd University Of Petroleum And Minerals | Multi-kernel fuzzy local gabor feature extraction method for automatic gait recognition |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109583298A (zh) * | 2018-10-26 | 2019-04-05 | 复旦大学 | 基于集合的跨视角步态识别方法 |
| CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
| CN109902646A (zh) * | 2019-03-08 | 2019-06-18 | 中南大学 | 一种基于长短时记忆网络的步态识别方法 |
| CN110059577A (zh) * | 2019-03-26 | 2019-07-26 | 北京迈格威科技有限公司 | 行人属性信息提取方法及装置 |
| CN110163175A (zh) * | 2019-05-28 | 2019-08-23 | 杭州电子科技大学 | 一种基于改进vgg-16网络的步态识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| CASTRO FM，ET AL: "2014 22nd International Conference on Pattern Recognition", pages 1692 - 1697 * |
| CASTRO FM. ET AL: "Pyramidal Fisher Motion for Multiview Gait Recognition", pages 1692 - 1697 * |
| HANQING CHAO，ET AL: "GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition", pages 8126 - 8133 * |
| MARI´N-JIME´NEZ MJ，ET AL: "Human action recognition from simple feature pooling", vol. 17, no. 1, pages 17 - 36 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582126B (zh) * | 2020-04-30 | 2024-02-27 | 浙江工商大学 | 基于多尺度行人轮廓分割融合的行人重识别方法 |
| CN111582126A (zh) * | 2020-04-30 | 2020-08-25 | 浙江工商大学 | 基于多尺度行人轮廓分割融合的行人重识别方法 |
| CN111814624A (zh) * | 2020-06-28 | 2020-10-23 | 浙江大华技术股份有限公司 | 视频中行人步态识别训练方法、步态识别方法及存储装置 |
| CN111898483A (zh) * | 2020-07-14 | 2020-11-06 | 杭州飞步科技有限公司 | 图像识别的方法、装置、电子设备及存储介质 |
| CN111898483B (zh) * | 2020-07-14 | 2023-12-19 | 杭州飞步科技有限公司 | 图像识别的方法、装置、电子设备及存储介质 |
| WO2022174523A1 (zh) * | 2021-02-22 | 2022-08-25 | 豪威芯仑传感器(上海)有限公司 | 一种提取行人的步态特征的方法、步态识别方法及系统 |
| CN112733814B (zh) * | 2021-03-30 | 2021-06-22 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN112733814A (zh) * | 2021-03-30 | 2021-04-30 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN113239784A (zh) * | 2021-05-11 | 2021-08-10 | 广西科学院 | 一种基于空间序列特征学习的行人重识别系统及方法 |
| CN113486734A (zh) * | 2021-06-18 | 2021-10-08 | 广东技术师范大学 | 一种步态识别方法、系统、设备及存储介质 |
| CN113486734B (zh) * | 2021-06-18 | 2023-11-21 | 广东技术师范大学 | 一种步态识别方法、系统、设备及存储介质 |
| CN113469095A (zh) * | 2021-07-13 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种基于步态的人物二次核验方法及装置 |
| CN113887358A (zh) * | 2021-09-23 | 2022-01-04 | 南京信息工程大学 | 按部分学习解耦表征的步态识别方法 |
| CN113887358B (zh) * | 2021-09-23 | 2024-05-31 | 南京信息工程大学 | 按部分学习解耦表征的步态识别方法 |
| CN114140873A (zh) * | 2021-11-09 | 2022-03-04 | 武汉众智数字技术有限公司 | 一种基于卷积神经网络多层次特征的步态识别方法 |
| WO2024036809A1 (zh) * | 2022-08-16 | 2024-02-22 | 中国银联股份有限公司 | 一种生物特征提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969087B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969087A (zh) | 一种步态识别方法及系统 | |
| CN110188641B (zh) | 图像识别和神经网络模型的训练方法、装置和系统 | |
| CN108197587B (zh) | 一种通过人脸深度预测进行多模态人脸识别的方法 | |
| US11651229B2 (en) | Methods and systems for face recognition | |
| CN105426850B (zh) | 一种基于人脸识别的关联信息推送设备及方法 | |
| US20210064871A1 (en) | Apparatus and method for recognition of text information | |
| CN108921107B (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
| CN109344731B (zh) | 基于神经网络的轻量级的人脸识别方法 | |
| CN111898547A (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
| Sarfraz et al. | Head Pose Estimation in Face Recognition Across Pose Scenarios. | |
| CN102938065B (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
| CN105139040A (zh) | 一种排队状态信息检测方法及其系统 | |
| KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN111898621B (zh) | 一种轮廓形状识别方法 | |
| CN101833654B (zh) | 基于约束采样的稀疏表示人脸识别方法 | |
| CN113269070B (zh) | 融合全局和局部特征的行人重识别方法、存储器及处理器 | |
| CN111428619B (zh) | 基于有序回归和软标签的三维点云头部姿态估计系统和方法 | |
| CN113312989B (zh) | 一种基于聚合描述子与注意力的指静脉特征提取网络 | |
| KR101687217B1 (ko) | 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템 | |
| CN107871103B (zh) | 一种人脸认证方法和装置 | |
| CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及系统 | |
| CN107545243A (zh) | 基于深度卷积模型的黄种人脸识别方法 | |
| CN109344720B (zh) | 一种基于自适应特征选择的情感状态检测方法 | |
| AU2013271337A1 (en) | Biometric verification | |
| CN112070010B (zh) | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Weiming Information Technology Co.,Ltd. Applicant after: Institute of Information Technology, Zhejiang Peking University Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Institute of Information Technology, Zhejiang Peking University Applicant before: Hangzhou Weiming Information Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200407 Assignee: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2023330000927 Denomination of invention: A Gait Recognition Method and System Granted publication date: 20231121 License type: Common License Record date: 20231219 |