CN111401303A - 一种身份与视角特征分离的跨视角步态识别方法 - Google Patents

一种身份与视角特征分离的跨视角步态识别方法 Download PDF

Info

Publication number
CN111401303A
CN111401303A CN202010267353.3A CN202010267353A CN111401303A CN 111401303 A CN111401303 A CN 111401303A CN 202010267353 A CN202010267353 A CN 202010267353A CN 111401303 A CN111401303 A CN 111401303A
Authority
CN
China
Prior art keywords
identity
gait
visual angle
characteristic
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010267353.3A
Other languages
English (en)
Other versions
CN111401303B (zh
Inventor
贲晛烨
翟鑫亮
陈雷
李玉军
魏文辉
袁嫡伽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010267353.3A priority Critical patent/CN111401303B/zh
Publication of CN111401303A publication Critical patent/CN111401303A/zh
Application granted granted Critical
Publication of CN111401303B publication Critical patent/CN111401303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种身份与视角特征分离的跨视角步态识别方法,包括:A、搭建步态身份特征和视角特征分离网络:包括视角编码器、身份编码器以及步态解码器;B、构建跨视角训练数据列表:根据步态能量图的标签,离线地选择三元组来构建跨视角训练数据列表;C、训练步态身份特征和视角特征分离网络:根据步态身份特征和视角特征分离网络及跨视角训练数据列表,获取损失函数,优化步态身份特征和视角特征分离网络;D、识别跨视角步态:根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,进行步态识别。本发明解决了步态识别中的视角变化所引起的识别率低的问题,提升了步态识别的精度。

Description

一种身份与视角特征分离的跨视角步态识别方法
技术领域
本发明涉及一种身份与视角特征分离的跨视角步态识别方法,属于深度学习和生物特征识别技术领域。
背景技术
基于生物特征的身份识别和身份验证技术在日常生活中的需求量越来越大,这是因为这项技术在公共安全和安防系统中的重要性日益凸显。近年来,许多生物识别技术(如:人脸识别、指纹识别等)已经大规模应用到日常生活中的身份认证以及身份识别环节。但是,现有的这些生物识别技术,诸如:指纹、静脉、虹膜、人脸等都需要在接触式或近距离配合的情况下才能发挥作用,无法进行远距离的身份识别。
步态识别作为一种新兴的生物特征识别技术,是利用人的走路姿势来区分不同个体。与现有的成熟的生物识别技术(如:人脸识别、指纹识别、虹膜识别等等)不同,步态识别技术可以在目标无意识且无需主动配合的情况下工作,并且可以在100米范围内的远距离情况下进行身份识别。然而,步态识别的准确率受视角变化的影响巨大,当在识别过程中,同一个行人的视角跨度较大时,步态识别的有效性将大大降低。
为了解决视角变化时的步态识别问题,现有的方法一般分为两类:一类是基于模型的方法,另一类是基于运动的方法。基于模型的方法的目的是提取鲁棒的步态特征,此类方法的模型建立和匹配识别过程非常复杂,这限制了其推广应用。基于运动的方法避免了复杂的模型建立过程,这类方法直接提取行人的运动特征而无需拟合任何参数。但是,基于运动的方法对视角变化非常敏感,视角差异越大识别率越低,所以如何提取视角不变性特征是此类方法的关键。
发明内容
针对现有技术的不足,本发明提供了一种身份与视角特征分离的跨视角步态识别方法。
发明概述:
一种身份与视角特征分离的跨视角步态识别方法,包括步态身份特征和视角特征分离网络搭建、构建跨视角训练数据列表、步态身份特征和视角特征分离网络训练以及跨视角步态识别四个阶段。
为了对步态样本的身份步态信息和视角特征进行分离,搭建步态身份特征和视角特征分离网络。为了优化步态身份特征和视角特征分离网络,离线选择三元组来构建跨视角训练数据列表并设计了多种损失函数来指导网络训练。本发明解决了步态识别中的视角变化所引起的识别率低的问题,提升了步态识别的精度。
术语解释:
1、步态能量图(Gait Energy Image,GEI):是将一个步态周期的图像序列对应像素点取平均后得到的图像,如图1所示,由于其具有提取方法简单以及能很好的表现步态的速度、形态等优点,成为了步态识别中常用的特征。
2、ResNet-18网络:是ResNet神经网络模型中含有17个卷积层和1个全连接层的版本,ResNet是2015年所提出的一种残差神经网络,由于其在图像识别领域表现优秀,目前已成为常用的神经网络模型;另外,ResNet神经网络在ImageNet数据集上进行了训练,可供图像识别等任务使用。
3、梯度下降:是迭代优化算法的一种,通过计算误差函数对参数的偏导数来确定优化方向,目前是深度器学习算法中用来优化模型参数最常采用的算法。
4、反向传播:是建立在梯度下降算法基础上的一种神经网络学习算法,它能够将误差反向依次传递神经网的每一层以进行参数更新,其本质上是链式求导。
5、注册数据集:是指提前录入的已知标签的样本所构成的数据集,用来与查询样本进行比对,并把该查询样本识别为与注册数据集中最相似的那个样本的标签。
本发明的技术方案如下:
一种身份与视角特征分离的跨视角步态识别方法,包括步骤如下:
A、搭建步态身份特征和视角特征分离网络
为了达到视角特征和身份特征分离的目的,将步态身份特征和视角特征分离网络设计成两个编码器即视角编码器和身份编码器以及一个步态解码器的形式。所述步态身份特征和视角特征分离网络包括视角编码器、身份编码器以及步态解码器,所述视角编码器用来编码输入步态能量图的视角特征,视角特征是指步态能量图来源的视角;所述身份编码器则用来编码输入步态能量图的身份特征,身份特征是指步态能量图来源的身份;将所述视角编码器及所述身份编码器的特征输出进行拼接,再送入所述步态解码器用来恢复出原始输入;
B、构建跨视角训练数据列表
根据步态能量图的标签即该步态能量图属于哪个视角的标签和属于哪个身份的标签,离线地选择三元组来构建跨视角训练数据列表;
C、训练步态身份特征和视角特征分离网络
根据步骤A搭建的步态身份特征和视角特征分离网络以及步骤B构建的跨视角训练数据列表,获取步态身份特征和视角特征分离网络训练的损失函数,优化步态身份特征和视角特征分离网络;
D、识别跨视角步态
根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到特征表达,将查询样本的特征与注册数据集的所有特征进行比对,得到的识别结果。
根据本发明优选的,步骤A,搭建步态身份特征和视角特征分离网络,包括:
a、搭建所述视角编码器:基于现有的ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块(Conv4_x)的输出经一个平均池化和一个1×1卷积操作,最后的输出作为所述视角编码器输出的视角特征,输入步态能量图至所述视角编码器,得到d维视角特征,d∈[512,1024];
b、搭建所述身份编码器:基于现有的ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块(Conv4_x)的输出经一个平均池化和一个1×1卷积操作,最后的输出作为所述身份编码器输出的身份特征;输入步态能量图至所述身份编码器,得到d维身份特征;
c、搭建所述步态解码器:为了恢复原始大小的图像,采用五层转置卷积层进行上采样操作;将步骤a所得到的视角特征和步骤b得到的身份特征进行拼接,输入到所述步态解码器进行上采样恢复,输出一幅二维图像。
根据本发明优选的,所述步骤B,构建跨视角训练数据列表,包括:
d、读取共包含N个人的步态能量图作为训练数据集,随机选取一张步态能量图作为锚样本,遍历与锚样本身份特征相同的所有步态能量图,随机选取一张作为正样本;遍历与锚样本身份特征不同但视角特征相同的所有步态能量图,随机选取一张将作为负样本;将这三个样本的路径分别添加到跨视角训练数据列表当中;
e、将步骤d重复M次,得到容量为3*M个的训练数据的跨视角训练数据列表。
根据本发明优选的,步骤C,训练步态身份特征和视角特征分离网络,包括:
f、初始化步骤A中构建的步态身份特征和视角特征分离网络的网络参数:即采用ResNet-18网络在ImageNet上预训练的参数初始化身份编码器和视角编码器的参数,以高斯分布随机初始化步态解码器的参数;
根据步骤e所产生的跨视角训练数据列表,得到3*M个的训练数据,即{xi,i=1,2,…,3*M},xi指跨视角训练数据列表中的第i张步态能量图;将{xi,i=1,2,…,3*M}分别输入到步骤a、步骤b搭建的视角编码器、身份编码器中,分别得到3*M个视角特征{fi v,i=1,2,…,3*M}和3*M个身份特征{fi s,i=1,2,…,3*M};fi v是指xi的d维视角特征;fi s是指xi的d维身份特征;将每个训练数据得到的视角特征和身份特征进行拼接,即将视角特征的尾部和身份特征的头部连接在一起,构成一个2d维的向量,将此2d维的向量送入到步骤c所述的步态解码器中,得到3*M张输出图像{xi′,i=1,2,…,3*M};
g、分别计算如下损失函数,包括重构损失
Figure BDA0002441783240000041
视角回归损失
Figure BDA0002441783240000042
身份模糊损失
Figure BDA0002441783240000043
身份分类损失
Figure BDA0002441783240000044
三元组损失
Figure BDA0002441783240000045
分别如式(I)、(II)、(Ⅲ)、(Ⅳ)、(Ⅴ)所示:
Figure BDA0002441783240000046
Figure BDA0002441783240000047
式(II)中,
Figure BDA0002441783240000048
表示二维视角标签,
Figure BDA0002441783240000049
θi是样本xi所对应的角度值(以弧度表示),W1是一个可学习的维度为2×d的映射矩阵;
Figure BDA00024417832400000410
Figure BDA00024417832400000411
式(Ⅲ)和(Ⅳ)中,W2是一个可学习的维度为N×d的映射矩阵,softmax()表示柔性最大函数,
Figure BDA00024417832400000412
Figure BDA00024417832400000413
式(Ⅴ)中,
Figure BDA00024417832400000414
Figure BDA00024417832400000415
分别表示锚样本、正样本和负样本,α表示余量(Margin);
将上述5种损失加在一起,得到最终的损失函数,即步态身份特征和视角特征分离网络训练的损失函数
Figure BDA00024417832400000416
如式(VI)所示:
Figure BDA00024417832400000417
根据式(VI)计算得到的损失函数,采用梯度下降和反向传播算法优化步态身份特征和视角特征分离网络的网络参数;
h、重复步骤f至步骤g,直到式(VI)得到的
Figure BDA0002441783240000051
收敛为止,得到训练好的步态身份特征和视角特征分离网络。
根据本发明优选的,步骤D,识别跨视角步态,包括:
i、根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到对应的特征表达;
j、将查询样本的特征表达和步骤i的所述注册数据集中的每个特征表达进行欧氏距离计算,得到与查询样本特征表达欧氏距离最小的所述注册数据集中的特征表达,输出该特征表达的身份标签作为查询样本的标签,得到识别结果。
本发明的有益效果为:
1、本发明所涉及的一种身份与视角特征分离的跨视角步态识别方法,能够将步态特征中的视角特征和身份特征进行分离,仅用只包含身份特征的特征进行识别,大大提升了跨视角步态识别的精度。
2、本发明所涉及的一种身份与视角特征分离的跨视角步态识别方法,能够将身份特征中所包含的视角特征进行去除,得到不包含视角特征的身份特征,提高了抗视角干扰能力。
附图说明
图1是本发明步态能量图的示意图;
图2是本发明一种身份与视角特征分离的跨视角步态识别方法的流程示意图;
图3为本发明视角编码器或身份编码器的网络结构示意图;
图4为本发明步态解码器的网络结构示意图;
图5是在查询视角为0°、注册视角为54°情况下本发明方法与现有的步态识别方法识别率对比图;
图6是在查询视角为0°、注册视角为90°情况下本发明方法与现有的步态识别方法识别率对比图;
图7是在查询视角为72°、注册视角为144°情况下本发明方法与现有的步态识别方法识别率对比图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
实施例1
一种身份与视角特征分离的跨视角步态识别方法,如图2所示,包括步骤如下:
A、搭建步态身份特征和视角特征分离网络
为了达到视角特征和身份特征分离的目的,将步态身份特征和视角特征分离网络设计成两个编码器即视角编码器和身份编码器以及一个步态解码器的形式。步态身份特征和视角特征分离网络包括视角编码器、身份编码器以及步态解码器,视角编码器用来编码输入步态能量图的视角特征,视角特征是指步态能量图来源的视角;身份编码器则用来编码输入步态能量图的身份特征,身份特征是指步态能量图来源的身份;将视角编码器及所述身份编码器的特征输出进行拼接,再送入所述步态解码器用来恢复出原始输入;
B、构建跨视角训练数据列表
根据步态能量图的标签即该步态能量图属于哪个视角的标签和属于哪个身份的标签,离线地选择三元组来构建跨视角训练数据列表;
C、训练步态身份特征和视角特征分离网络
根据步骤A搭建的步态身份特征和视角特征分离网络以及步骤B构建的跨视角训练数据列表,获取步态身份特征和视角特征分离网络训练的损失函数,优化步态身份特征和视角特征分离网络;
D、识别跨视角步态
根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到特征表达,将查询样本的特征与注册数据集的所有特征进行比对,得到的识别结果。
实施例2
根据实施例1所述的一种身份与视角特征分离的跨视角步态识别方法,其区别在于:
步骤A,搭建步态身份特征和视角特征分离网络,包括:
a、搭建视角编码器:基于现有的ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块(Conv4_x)的输出经一个平均池化和一个1×1卷积操作,最后的输出作为视角编码器输出的视角特征,输入步态能量图至视角编码器,得到d维视角特征,d∈[512,1024];
b、搭建身份编码器:基于现有的ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块(Conv4_x)的输出经一个平均池化和一个1×1卷积操作,最后的输出作为身份编码器输出的身份特征;输入步态能量图至身份编码器,得到d维身份特征;
视角编码器或身份编码器的网络结构如图3所示。图3中,Basic Block指构成ResNet-18的基础残差模块,由两个核为3x3的卷积层(Conv)构成,每个卷积层后面会经过一个批量归一化层(BatchNorm)和一个激活层(Relu)。基础残差模块当中第一个卷积层的输入会通过一条捷径(Shortcut)直接连接到第二激活层之前并相加在一起。基于ResNet-18的视角编码器和身份编码器都是先经过一个7x7卷积层、批量归一化层和激活层,再经过一系列基础残差模块后,最后接一个平均池化层(AvgPool)和1x1卷积层。
c、搭建步态解码器:为了恢复原始大小的图像,采用五层转置卷积层进行上采样操作;步态解码器的网络结构如图4所示,图4中,ConvTrans是指用于上采样的转置卷积层。步态解码器是由5个转置卷积层构成,除了最后一个转置卷积层外,其它转置卷积层后面都会经过一个批量归一化层(BatchNorm)和一个激活层(Relu)。
由于具体网络参数受步骤a和步骤b的输入步态能量图的大小影响,当输入步态能量图的大小为64*44时步态解码器的网络参数如表1所示。
表1
名称 核大小 步幅 填充 输出填充 输出通道数
ConvTran1 5×4 2 1 1 512
ConvTran2 3×3 2 1 1 256
ConvTran3 3×2 2 1 1 64
ConvTran4 3×2 2 1 1 32
ConvTran5 2×2 2 0 0 1
将步骤a所得到的视角特征和步骤b得到的身份特征进行拼接,输入到步态解码器进行上采样恢复,输出一幅二维图像。
步骤B,构建跨视角训练数据列表,包括:
d、读取共包含N个人的步态能量图作为训练数据集,随机选取一张步态能量图作为锚样本,遍历与锚样本身份特征相同的所有步态能量图,随机选取一张作为正样本;遍历与锚样本身份特征不同但视角特征相同的所有步态能量图,随机选取一张将作为负样本;将这三个样本的路径分别添加到跨视角训练数据列表当中;
e、将步骤d重复M次,得到容量为3*M个的训练数据的跨视角训练数据列表。
步骤C,训练步态身份特征和视角特征分离网络,包括:
f、初始化步骤A中构建的步态身份特征和视角特征分离网络的网络参数:即采用ResNet-18网络在ImageNet上预训练的参数初始化身份编码器和视角编码器的参数,以高斯分布随机初始化步态解码器的参数;
根据步骤e所产生的跨视角训练数据列表,得到3*M个的训练数据,即{xi,i=1,2,…,3*M},xi指跨视角训练数据列表中的第i张步态能量图;将{xi,i=1,2,…,3*M}分别输入到步骤a、步骤b搭建的视角编码器、身份编码器中,分别得到3*M个视角特征{fi v,i=1,2,…,3*M}和3*M个身份特征{fi s,i=1,2,…,3*M};fi v是指xi的d维视角特征;fi s是指xi的d维身份特征;将每个训练数据得到的视角特征和身份特征进行拼接,即将视角特征的尾部和身份特征的头部连接在一起,构成一个2d维的向量,将此2d维的向量送入到步骤c步态解码器中,得到3*M张输出图像{xi′,i=1,2,…,3*M};
g、分别计算如下损失函数,包括重构损失
Figure BDA0002441783240000081
视角回归损失
Figure BDA0002441783240000082
身份模糊损失
Figure BDA0002441783240000083
身份分类损失
Figure BDA0002441783240000084
三元组损失
Figure BDA0002441783240000085
分别如式(I)、(II)、(Ⅲ)、(Ⅳ)、(Ⅴ)所示:
Figure BDA0002441783240000086
Figure BDA0002441783240000087
式(II)中,
Figure BDA0002441783240000088
表示二维视角标签,
Figure BDA0002441783240000089
θi是样本xi所对应的角度值(以弧度表示),W1是一个可学习的维度为2×d的映射矩阵;
Figure BDA00024417832400000810
Figure BDA00024417832400000811
式(Ⅲ)和(Ⅳ)中,W2是一个可学习的维度为N×d的映射矩阵,softmax()表示柔性最大函数,
Figure BDA00024417832400000812
Figure BDA00024417832400000813
式(Ⅴ)中,
Figure BDA0002441783240000091
Figure BDA0002441783240000092
分别表示锚样本、正样本和负样本,α表示余量(Margin);
将上述5种损失加在一起,得到最终的损失函数,即步态身份特征和视角特征分离网络训练的损失函数
Figure BDA0002441783240000093
如式(VI)所示:
Figure BDA0002441783240000094
根据式(VI)计算得到的损失函数,采用梯度下降和反向传播算法优化步态身份特征和视角特征分离网络的网络参数;
h、重复步骤f至步骤g,直到式(VI)得到的
Figure BDA0002441783240000095
收敛为止,得到训练好的步态身份特征和视角特征分离网络。
步骤D,识别跨视角步态,包括:
i、根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到对应的特征表达;
j、将查询样本的特征表达和步骤i的注册数据集中的每个特征表达进行欧氏距离计算,得到与查询样本特征表达欧氏距离最小的注册数据集中的特征表达,输出该特征表达的身份标签作为查询样本的标签,得到识别结果。
在CASIA-B数据库上的实验设置为:输入步态能量图大小为64*44,优化器采用Adam,其学习率设置为1e-4,使用pytorch实现,批量M设置为64,在一块NVIDIA GTX 2080Ti显卡上训练了50K次。
本实施例方法在查询视角为0°、注册视角为54°情况下与现有的步态识别方法识别率对比图如图5所示,本实施例方法在查询视角为0°、注册视角为90°情况下与现有的步态识别方法识别率对比图如图6所示,本实施例方法在查询视角为72°、注册视角为144°情况下与现有的步态识别方法识别率对比图如图7所示,图5、图6和图7都是在CASIA-B数据库上的实验结果。
表2是本实施例在CASIA-B数据库上的跨视角识别结果。
表2
Figure BDA0002441783240000096
Figure BDA0002441783240000101
由图5、图6、图7及表2可知,与现有的步态识别方法相比,本发明方法大大提升了跨视角步态识别的精度。

Claims (6)

1.一种身份与视角特征分离的跨视角步态识别方法,其特征在于,包括步骤如下:
A、搭建步态身份特征和视角特征分离网络
所述步态身份特征和视角特征分离网络包括视角编码器、身份编码器以及步态解码器,所述视角编码器用来编码输入步态能量图的视角特征,视角特征是指步态能量图来源的视角;所述身份编码器则用来编码输入步态能量图的身份特征,身份特征是指步态能量图来源的身份;将所述视角编码器及所述身份编码器的特征输出进行拼接,再送入所述步态解码器用来恢复出原始输入;
B、构建跨视角训练数据列表
根据步态能量图的标签即该步态能量图属于哪个视角的标签和属于哪个身份的标签,离线地选择三元组来构建跨视角训练数据列表;
C、训练步态身份特征和视角特征分离网络
根据步骤A搭建的步态身份特征和视角特征分离网络以及步骤B构建的跨视角训练数据列表,获取步态身份特征和视角特征分离网络训练的损失函数,优化步态身份特征和视角特征分离网络;
D、识别跨视角步态
根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到特征表达,将查询样本的特征与注册数据集的所有特征进行比对,得到的识别结果。
2.根据权利要求1所述的一种身份与视角特征分离的跨视角步态识别方法,其特征在于,步骤A,搭建步态身份特征和视角特征分离网络,包括:
a、搭建所述视角编码器:基于ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块的输出经一个平均池化和一个1×1卷积操作,最后的输出作为所述视角编码器输出的视角特征,输入步态能量图至所述视角编码器,得到d维视角特征,d∈[512,1024];
b、搭建所述身份编码器:基于ResNet-18网络,去掉ResNet-18网络的第5个残差模块,将第4个残差模块的输出经一个平均池化和一个1×1卷积操作,最后的输出作为所述身份编码器输出的身份特征;输入步态能量图至所述身份编码器,得到d维身份特征;
c、搭建所述步态解码器:采用五层转置卷积层进行上采样操作;将步骤a所得到的视角特征和步骤b得到的身份特征进行拼接,输入到所述步态解码器进行上采样恢复,输出一幅二维图像。
3.根据权利要求1所述的一种身份与视角特征分离的跨视角步态识别方法,其特征在于,所述步骤B,构建跨视角训练数据列表,包括:
d、读取共包含N个人的步态能量图作为训练数据集,随机选取一张步态能量图作为锚样本,遍历与锚样本身份特征相同的所有步态能量图,随机选取一张作为正样本;遍历与锚样本身份特征不同但视角特征相同的所有步态能量图,随机选取一张将作为负样本;将这三个样本的路径分别添加到跨视角训练数据列表当中;
e、将步骤d重复M次,得到容量为3*M个的训练数据的跨视角训练数据列表。
4.根据权利要求3所述的一种身份与视角特征分离的跨视角步态识别方法,其特征在于,步骤C,训练步态身份特征和视角特征分离网络,包括:
f、初始化步骤A中构建的步态身份特征和视角特征分离网络的网络参数:即采用ResNet-18网络在ImageNet上预训练的参数初始化身份编码器和视角编码器的参数,以高斯分布随机初始化步态解码器的参数;
根据步骤e所产生的跨视角训练数据列表,得到3*M个的训练数据,即{xi,i=1,2,…,3*M},xi指跨视角训练数据列表中的第i张步态能量图;将{xi,i=1,2,…,3*M}分别输入到步骤a、步骤b搭建的视角编码器、身份编码器中,分别得到3*M个视角特征{fi v,i=1,2,…,3*M}和3*M个身份特征{fi s,i=1,2,…,3*M};fi v是指xi的d维视角特征;fi s是指xi的d维身份特征;将每个训练数据得到的视角特征和身份特征进行拼接,即将视角特征的尾部和身份特征的头部连接在一起,构成一个2d维的向量,将此2d维的向量送入到步骤c所述的步态解码器中,得到3*M张输出图像{xi′,i=1,2,…,3*M};
g、分别计算如下损失函数,包括重构损失
Figure FDA0002441783230000021
视角回归损失
Figure FDA0002441783230000022
身份模糊损失
Figure FDA0002441783230000023
身份分类损失
Figure FDA0002441783230000024
三元组损失
Figure FDA0002441783230000025
分别如式(I)、(II)、(Ⅲ)、(Ⅳ)、(Ⅴ)所示:
Figure FDA0002441783230000026
Figure FDA0002441783230000027
式(II)中,
Figure FDA0002441783230000028
表示二维视角标签,
Figure FDA0002441783230000029
θi是样本xi所对应的角度值,W1是一个可学习的维度为2×d的映射矩阵;
Figure FDA0002441783230000031
Figure FDA0002441783230000032
式(Ⅲ)和(Ⅳ)中,W2是一个可学习的维度为N×d的映射矩阵,softmax()表示柔性最大函数,
Figure FDA0002441783230000033
Figure FDA0002441783230000034
式(Ⅴ)中,
Figure FDA0002441783230000035
Figure FDA0002441783230000036
分别表示锚样本、正样本和负样本,α表示余量;
将上述5种损失加在一起,得到最终的损失函数,即步态身份特征和视角特征分离网络训练的损失函数
Figure FDA0002441783230000037
如式(VI)所示:
Figure FDA0002441783230000038
根据式(VI)计算得到的损失函数,采用梯度下降和反向传播算法优化步态身份特征和视角特征分离网络的网络参数;
h、重复步骤f至步骤g,直到式(VI)得到的
Figure FDA0002441783230000039
收敛为止,得到训练好的步态身份特征和视角特征分离网络。
5.根据权利要求1-4任一所述的一种身份与视角特征分离的跨视角步态识别方法,其特征在于,步骤D,识别跨视角步态,包括:
i、根据训练好的步态身份特征和视角特征分离网络,取出身份编码器,将查询样本和与查询样本视角不同的注册数据集送入该身份编码器当中得到对应的特征表达;
j、将查询样本的特征表达和步骤i的所述注册数据集中的每个特征表达进行欧氏距离计算,得到与查询样本特征表达欧氏距离最小的所述注册数据集中的特征表达,输出该特征表达的身份标签作为查询样本的标签,得到识别结果。
6.根据权利要求4所述的一种身份与视角特征分离的跨视角步态识别方法,其特征在于,初始化步骤A中构建的步态身份特征和视角特征分离网络的网络参数,是指:采用ResNet-18网络在ImageNet上预训练的参数初始化身份编码器和视角编码器的参数,以高斯分布随机初始化步态解码器的参数。
CN202010267353.3A 2020-04-08 2020-04-08 一种身份与视角特征分离的跨视角步态识别方法 Active CN111401303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010267353.3A CN111401303B (zh) 2020-04-08 2020-04-08 一种身份与视角特征分离的跨视角步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010267353.3A CN111401303B (zh) 2020-04-08 2020-04-08 一种身份与视角特征分离的跨视角步态识别方法

Publications (2)

Publication Number Publication Date
CN111401303A true CN111401303A (zh) 2020-07-10
CN111401303B CN111401303B (zh) 2022-06-14

Family

ID=71433081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010267353.3A Active CN111401303B (zh) 2020-04-08 2020-04-08 一种身份与视角特征分离的跨视角步态识别方法

Country Status (1)

Country Link
CN (1) CN111401303B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001254A (zh) * 2020-07-23 2020-11-27 浙江大华技术股份有限公司 一种行人识别的方法及相关装置
CN112232224A (zh) * 2020-10-19 2021-01-15 西安建筑科技大学 一种lstm与cnn相结合的跨视角步态识别方法
CN114120076A (zh) * 2022-01-24 2022-03-01 武汉大学 基于步态运动估计的跨视角视频步态识别方法
CN114360058A (zh) * 2021-12-31 2022-04-15 北京航空航天大学 一种基于行走视角预测的跨视角步态识别方法
CN114627424A (zh) * 2022-03-25 2022-06-14 合肥工业大学 一种基于视角转化的步态识别方法和系统
CN114677755A (zh) * 2022-03-14 2022-06-28 山东大学 一种基于分层及分块特征融合的跨视角步态识别方法
CN118379799A (zh) * 2024-06-21 2024-07-23 山东大学 基于解耦和鉴别联合学习的跨视角步态识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596026A (zh) * 2018-03-16 2018-09-28 中国科学院自动化研究所 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN110659586A (zh) * 2019-08-31 2020-01-07 电子科技大学 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596026A (zh) * 2018-03-16 2018-09-28 中国科学院自动化研究所 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN110659586A (zh) * 2019-08-31 2020-01-07 电子科技大学 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TRONG-NGUYEN NGUYEN AND JEAN MEUNIER: "APPLYING ADVERSARIAL AUTO-ENCODER FOR ESTIMATING HUMAN WALKING GAIT QUALITY INDEX", 《ARXIV:1908.06188V1》 *
TRONG-NGUYEN NGUYEN AND JEAN MEUNIER: "Estimation of gait mormality index based on point clouds through deep auto-encoder", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》 *
TZEWEI YEOH ET AL.: "Stacked Progressive Auto-encoders for Clothing-Invariant Gait Recognition", 《2017 INTERNATIONAL CONFERENCE ON COMPUTER ANALYSIS OF IMAGES AND PATTERNS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001254A (zh) * 2020-07-23 2020-11-27 浙江大华技术股份有限公司 一种行人识别的方法及相关装置
CN112001254B (zh) * 2020-07-23 2021-07-13 浙江大华技术股份有限公司 一种行人识别的方法及相关装置
CN112232224A (zh) * 2020-10-19 2021-01-15 西安建筑科技大学 一种lstm与cnn相结合的跨视角步态识别方法
CN114360058A (zh) * 2021-12-31 2022-04-15 北京航空航天大学 一种基于行走视角预测的跨视角步态识别方法
CN114360058B (zh) * 2021-12-31 2024-05-28 北京航空航天大学 一种基于行走视角预测的跨视角步态识别方法
CN114120076A (zh) * 2022-01-24 2022-03-01 武汉大学 基于步态运动估计的跨视角视频步态识别方法
CN114120076B (zh) * 2022-01-24 2022-04-29 武汉大学 基于步态运动估计的跨视角视频步态识别方法
CN114677755A (zh) * 2022-03-14 2022-06-28 山东大学 一种基于分层及分块特征融合的跨视角步态识别方法
CN114677755B (zh) * 2022-03-14 2024-04-26 山东大学 一种基于分层及分块特征融合的跨视角步态识别方法
CN114627424A (zh) * 2022-03-25 2022-06-14 合肥工业大学 一种基于视角转化的步态识别方法和系统
CN118379799A (zh) * 2024-06-21 2024-07-23 山东大学 基于解耦和鉴别联合学习的跨视角步态识别方法及系统

Also Published As

Publication number Publication date
CN111401303B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111401303B (zh) 一种身份与视角特征分离的跨视角步态识别方法
CN107145842B (zh) 结合lbp特征图与卷积神经网络的人脸识别方法
CN103218609B (zh) 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
Shams et al. Iris recognition based on LBP and combined LVQ classifier
CN109934195A (zh) 一种基于信息融合的反欺骗三维人脸识别方法
Khan et al. A neuro-cognitive approach for iris recognition using back propagation
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
Hou et al. Finger-vein biometric recognition: A review
CN111274915B (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统
Gupta et al. Fingerprint indexing schemes–a survey
CN105138974B (zh) 一种基于Gabor编码的手指多模态特征融合方法
Jiang A review of the comparative studies on traditional and intelligent face recognition methods
CN111079514A (zh) 一种基于clbp和卷积神经网络的人脸识别方法
CN110516533A (zh) 一种基于深度度量的行人再辨识方法
CN115578589B (zh) 一种无监督超声心动图切面识别方法
Fan et al. Smoothness-driven consensus based on compact representation for robust feature matching
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
CN110263726B (zh) 一种基于深度相关性特征学习的指静脉识别方法及装置
CN112036511A (zh) 基于注意力机制图卷积神经网络的图像检索方法
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
Hassin et al. Machine Learning System for Human–Ear Recognition Using Scale Invariant Feature Transform
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN118196843A (zh) 一种基于图神经网络的oct指纹匹配方法
CN112131950B (zh) 一种基于Android手机的步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant