CN111209809B - 一种基于暹罗网络的多输入跨视角步态识别方法及装置 - Google Patents
一种基于暹罗网络的多输入跨视角步态识别方法及装置 Download PDFInfo
- Publication number
- CN111209809B CN111209809B CN201911362076.8A CN201911362076A CN111209809B CN 111209809 B CN111209809 B CN 111209809B CN 201911362076 A CN201911362076 A CN 201911362076A CN 111209809 B CN111209809 B CN 111209809B
- Authority
- CN
- China
- Prior art keywords
- gait
- network
- verification
- loss function
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于暹罗网络的多输入跨视角步态识别方法及装置,其中,所述方法包括:基于行人步态数据集,获取能量图probe和gallery,以及基于OU‑ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative;搭建改进的步态验证暹罗网络,得到L21和L22,以及搭建改进的步态识别暹罗网络,得到L23、L24、L25和L26;得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低,以及得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低;对其他行人重复进行上述过程来进行跨视角验证和识别;对所述验证和识别的效果进行评估。在本发明实施中,适合一对一的步态验证。
Description
技术领域
本发明涉及步态识别的技术领域,尤其涉及一种基于暹罗网络的多输入跨视角步态识别方法及装置。
背景技术
目前,步态识别是一种生物特征,其原始数据是呈现步行者的视频序列。它特别适用于远距离的人体识别,与指纹、虹膜等其他生物特征相比,不需要被识别者进行配合。因此,在远距离和不受控制的场景中,步态特征更容易进行人体识别。随着人工智能和计算机技术发展,生产管理、安防监控等领域对人的身份辨识和智能化管理需求逐步迫切,而通过传统的人脸识别等方法往往存在许多弊端,特别是工业车间光线不充足的复杂场景下难以实现远距离身份辨识,而步态识别可根据人的行走步态体型特征进行识别,解决复杂环境远距离身份识别难题,是未来远距离场景身份识别的主流方向。
然而,步态识别容易受到个体内变化的影响,如视野、服装、步行速度、鞋子和摄像机视角等;目前步态识别的主要方法有两种:第一类是重建人体3D模型,但是此类方法通常需要在完全控制和协作环境下的多个校准相机。第二类是人工提取人体步态视角不变下的特征,但是此类方法只有在特定环境条件下才能有较好效果。现在缺乏一种针对视角变化下的步态进行匹配的识别方法。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于暹罗网络的多输入跨视角步态识别方法及装置,针对一对一和一对多的匹配方式提出了步态验证暹罗网络和步态识别暹罗网络,分别在不同的匹配方式下有更好的基准。
为了解决上述技术问题,本发明实施例提供了一种基于暹罗网络的多输入跨视角步态识别方法,所述方法包括:
基于行人步态数据集,通过计算行人步态周期获取能量图probe和gallery,以及基于OU-ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative;
基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22,以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26;
通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低,以及通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低;
当所述对比损失函数和所述三重对比损失函数达到最低时,对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别;
对所述验证和识别的效果进行评估。
可选的,所述行人步态数据集需对每个行人进行轮廓提取,进行二值化处理;
通过所述二值化处理,在同一视角下,得到由二值轮廓序列构成的二值轮廓图,每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值;
通过所述二值轮廓图中的二值轮廓的宽高比变化周期,得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期;
通过分析所述步态周期后,对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像,所述平均轮廓图像包括能量图probe和gallery。
可选的,所述步态验证暹罗网络包括第一验证模块和第二验证模块,其中,所述第一验证模块包括2个平行卷积网络,所述第二验证模块包括1个平行卷积网络;
所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
可选的,所述步态识别暹罗网络包括第一识别模块和第二识别模块,其中,所述第一识别模块包括3个并行卷积网络,所述第二识别模块包括2个并行卷积网络;
所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
可选的,所述基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22包括:
将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中,所述第一验证模块输出所述能量图probe和gallery的GIEs的特征向量的欧式距离平方L21;
将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块,所述第二验证模块输出为所述能量图probe和gallery的差的GIEs的特征向量的长度平方L22。
可选的,所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26包括:
将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至所述第一识别模块的3个并行卷积网络中,所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方L23,以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方L24;
将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图,将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图;将所述第一识别能量图和所述第二识别能量图分别输入至所述第二识别模块的2个并行卷积网络,所述第二识别模块输出所述第一识别能量图的特征向量的长度平方L25,以及所述第二识别能量图的特征向量的长度平方L26。
可选的,所述通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低包括:
通过计算求得所述L21和L22的均值L2ave;
基于所述均值L2ave,通过计算得出对比损失函数Lcont,其中,所述对比损失函数Lcont的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,y1m和y2m表示第m个输入能量图对所属的行人识别符ID,margin表示赋值为3,表示第m个输入能量图对在第一验证模块和第二验证模块下的L21和L22的平均L2范数;
基于所述均值L2AVE和对比损失函数Lcont,对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得所述对比损失函数达到最低,即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。
可选的,所述通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低包括:
通过计算求得所述L23和L25的均值L21ave,以及求得所述L24和L26的均值L22ave;
基于所述均值L21ave和L22ave,通过计算得出对三重比损失函数Ltrip,其中,所述三种对比损失函数Ltrip的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,margin表示赋值为3;
基于所述均值L21ave、L22ave和三重比损失函数Ltrip,对所述步态识别暹罗网络中的所述第一识别模块和所述第二识别模块的并行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得均值L21ave小于均值L22ave,使三重比损失函数Ltrip达到最低。
可选的,所述OU-ISIR MVLP数据集在所述跨视角验证和识别完成之后,采用等错误率EERs作为验证评估指标,采用一级识别率Rank-1作为识别评估指标,对跨视角验证和识别效果进行评估。
另外,本发明实施例还提供一种基于暹罗网络的多输入跨视角步态识别装置,所述装置包括:输入设备、存储模块、处理器和输出设备;
所述输入设备用于向所述处理器发送两个步态数据的数据和判断指令;
所述存储模块用于存储所述行人步态数据集和所述OU-ISIR MVLP数据集;
所述处理器用于从所述存储模块的数据集中选择行人,获取能量图probe和gallery以及相应的正样本能量图positive和负样本能量图negative,进行所述权利要求1-9的计算过程,通过训练和调整卷积网络参数,使所述最低对比损失函数的最低三重对比损失函数均达到最低,得到经过优化的步态验证暹罗网络和步态识别暹罗网络;
所述输出设备用于输出经过优化的所述步态验证暹罗网络和所述步态识别暹罗网络的识别和验证结果以及评估结果。
在本发明实施中,通过利用数据集获得特定行人和其他行人的能量图,建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络,由两个不同的模块进行判断,利用特征向量在二维空间的距离进行比较,判断能量图是否被准确地识别;在此基础之上,对识别和验证暹罗网络进行训练并调整卷积网络参数,当损失函数足够低,即准确度足够高时,步态验证和步态识别的暹罗网络能够应用到实际测试中,适合于一对一的步态验证,所采用的模块融合的验证和识别的方式具有高准确率的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别方法的流程示意图;
图2是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别装置的结构组成示意图;
图3是本发明实施例中步态验证暹罗网络的结构示意图;
图4是本发明实施例中步态识别暹罗网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例
请参阅图1,图1是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别方法的流程示意图。
如图1所示,一种基于暹罗网络的多输入跨视角步态识别方法,所述方法包括:
S11:基于行人步态数据集,通过计算行人步态周期获取能量图probe和gallery,以及基于OU-ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative;
在本发明具体实施过程中,所述行人步态数据集需对每个行人进行轮廓提取,进行二值化处理;通过所述二值化处理,在同一视角下,得到由二值轮廓序列构成的二值轮廓图,每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值;通过所述二值轮廓图中的二值轮廓的宽高比变化周期,得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期;通过分析所述步态周期后,对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像,所述平均轮廓图像包括能量图probe和gallery。需要说明的是,所述gallery用于判断是否与probe属于同一行人。
在本发明具体实施过程中,所述OU-ISIR MVLP数据集在所述跨视角验证和识别完成之后,采用等错误率EERs作为验证评估指标,采用一级识别率Rank-1作为识别评估指标,对跨视角验证和识别效果进行评估。
S12:基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22,以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26;
在本发明具体实施过程中,所述步态验证暹罗网络包括第一验证模块和第二验证模块,其中,所述第一验证模块包括2个平行卷积网络,所述第二验证模块包括1个平行卷积网络;结合附图3所示,附图3示出本发明实施例中步态验证暹罗网络的结构示意图,所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
具体的,所述基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22包括:将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中,所述第一验证模块输出所述能量图probe和gallery的GIEs的特征向量的欧式距离平方L21;将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块,所述第二验证模块输出为所述能量图probe和gallery的差的GIEs的特征向量的长度平方L22。
在本发明具体实施过程中,所述步态识别暹罗网络包括第一识别模块和第二识别模块,其中,所述第一识别模块包括3个并行卷积网络,所述第二识别模块包括2个并行卷积网络;结合附图4所示,附图4示出本发明实施例中步态识别暹罗网络的结构示意图,所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
具体的,所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26包括:将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至所述第一识别模块的3个并行卷积网络中,所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方L23,以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方L24;将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图,将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图;将所述第一识别能量图和所述第二识别能量图分别输入至所述第二识别模块的2个并行卷积网络,所述第二识别模块输出所述第一识别能量图的特征向量的长度平方L25,以及所述第二识别能量图的特征向量的长度平方L26。
S13:通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低,以及通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低;
具体的,所述通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低包括:
通过计算求得所述L21和L22的均值L2ave;
基于所述均值L2ave,通过计算得出对比损失函数Lcont,其中,所述对比损失函数Lcont的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,y1m和y2m表示第m个输入能量图对所属的行人识别符ID,margin表示赋值为3,表示第m个输入能量图对在第一验证模块和第二验证模块下的L21和L22的平均L2范数;
基于所述均值L2AVE和对比损失函数Lcont,对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得所述对比损失函数达到最低,即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。
具体的,所述通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低包括:
通过计算求得所述L23和L25的均值L21ave,以及求得所述L24和L26的均值L22ave;
基于所述均值L21ave和L22ave,通过计算得出对三重比损失函数Ltrip,其中,所述三种对比损失函数Ltrip的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,margin表示赋值为3;
基于所述均值L21ave、L22ave和三重比损失函数Ltrip,对所述步态识别暹罗网络中的所述第一识别模块和所述第二识别模块的并行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得均值L21ave小于均值L22ave,使三重比损失函数Ltrip达到最低。
S14:当所述对比损失函数和所述三重对比损失函数达到最低时,对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别;
具体的,当所述对比损失函数和所述三重对比损失函数达到最低时,对其他行人重复S12-S13的过程进行跨视角验证和识别。
S15:对所述验证和识别的效果进行评估。
具体实施中,采用了OU-ISIR MVLP数据集,包括了10307行人的步态数据,对于每个人和每个视角下包含两段序列;其中,5153人用于训练暹罗卷积网络和调整暹罗卷积网络参数,5154人用于测试,其结果被进行评估;对于验证和识别的效果进行评估,采用EERs作为验证性能指标,采用Rank-1作为识别评估指标;在步态识别暹罗网络下EERs的均值达到2.4;在步态识别暹罗网络下Rank-1的均值达到52.7。在实际运用中,在采用本实验或类似的数据集进行训练后,便可对实际随机的行人进行验证和识别,同样具备高准确率。
在本发明实施中,通过利用数据集获得特定行人和其他行人的能量图,建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络,由两个不同的模块进行判断,利用特征向量在二维空间的距离进行比较,判断能量图是否被准确地识别;在此基础之上,对识别和验证暹罗网络进行训练并调整卷积网络参数,当损失函数足够低,即准确度足够高时,步态验证和步态识别的暹罗网络能够应用到实际测试中,适合于一对一的步态验证,所采用的模块融合的验证和识别的方式具有高准确率的特点。
实施例
请参阅图2,图2是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别装置的结构组成示意图。
如图2所示,一种基于暹罗网络的多输入跨视角步态识别装置,所述装置包括:输入设备11、存储模块12、处理器13和输出设备14;
所述输入设备11用于向所述处理器发送两个步态数据的数据和判断指令;
所述存储模块12用于存储所述行人步态数据集和所述OU-ISIR MVLP数据集;
所述处理器13用于从所述存储模块的数据集中选择行人,获取能量图probe和gallery以及相应的正样本能量图positive和负样本能量图negative,进行所述权利要求1-9的计算过程,通过训练和调整卷积网络参数,使所述最低对比损失函数的最低三重对比损失函数均达到最低,得到经过优化的步态验证暹罗网络和步态识别暹罗网络;
所述输出设备14用于输出经过优化的所述步态验证暹罗网络和所述步态识别暹罗网络的识别和验证结果以及评估结果。
具体地,本发明实施例的装置相关功能模块的工作原理可参见方法实施例的相关描述,这里不再赘述。
在本发明实施中,通过利用数据集获得特定行人和其他行人的能量图,建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络,由两个不同的模块进行判断,利用特征向量在二维空间的距离进行比较,判断能量图是否被准确地识别;在此基础之上,对识别和验证暹罗网络进行训练并调整卷积网络参数,当损失函数足够低,即准确度足够高时,步态验证和步态识别的暹罗网络能够应用到实际测试中,适合于一对一的步态验证,所采用的模块融合的验证和识别的方式具有高准确率的特点。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于暹罗网络的多输入跨视角步态识别方法及装置进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述方法包括:
基于行人步态数据集,通过计算行人步态周期获取能量图probe和gallery,以及基于OU-ISIR MVLP数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative;
基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22,以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26;
通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低,以及通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低;
当所述对比损失函数和所述三重对比损失函数达到最低时,对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别;
对所述验证和识别的效果进行评估。
2.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述行人步态数据集需对每个行人进行轮廓提取,进行二值化处理;
通过所述二值化处理,在同一视角下,得到由二值轮廓序列构成的二值轮廓图,每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值;
通过所述二值轮廓图中的二值轮廓的宽高比变化周期,得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期;
通过分析所述步态周期后,对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像,所述平均轮廓图像包括能量图probe和gallery。
3.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述步态验证暹罗网络包括第一验证模块和第二验证模块,其中,所述第一验证模块包括2个平行卷积网络,所述第二验证模块包括1个平行卷积网络;
所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
4.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述步态识别暹罗网络包括第一识别模块和第二识别模块,其中,所述第一识别模块包括3个并行卷积网络,所述第二识别模块包括2个并行卷积网络;
所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数,并均由5个卷积层、2个池化层和1个全连接层构成。
5.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述基于所述能量图probe和gallery,搭建改进的步态验证暹罗网络,并通过所述改进的步态验证暹罗网络得到L21和L22包括:
将所述能量图probe和gallery分别输入至第一验证模块的2个平行卷积网络中,所述第一验证模块输出所述能量图probe和gallery的GIEs的特征向量的欧式距离平方L21;
将所述能量图probe和gallery处理为单张能量图并输入至第二验证模块,所述第二验证模块输出为所述能量图probe和gallery的差的GIEs的特征向量的长度平方L22。
6.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative,搭建改进的步态识别暹罗网络,并通过所述改进的步态识别暹罗网络得到L23、L24、L25和L26包括:
将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至第一识别模块的3个并行卷积网络中,所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方L23,以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方L24;
将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图,将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图;将所述第一识别能量图和所述第二识别能量图分别输入至第二识别模块的2个并行卷积网络,所述第二识别模块输出所述第一识别能量图的特征向量的长度平方L25,以及所述第二识别能量图的特征向量的长度平方L26。
7.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述通过所述L21和L22计算得出对比损失函数,并训练步态验证暹罗网络的卷积网络参数,使得所述对比损失函数达到最低包括:
通过计算求得所述L21和L22的均值L2ave;
基于所述均值L2ave,通过计算得出对比损失函数Lcont,其中,所述对比损失函数Lcont的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,y1m和y2m表示第m个输入能量图对所属的行人识别符ID,margin表示赋值为3,表示第m个输入能量图对在第一验证模块和第二验证模块下的L21和L22的平均L2范数;
基于所述均值L2AVE和对比损失函数Lcont,对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得所述对比损失函数达到最低,即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。
8.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述通过所述L23、L24、L25和L26计算得出三重对比损失函数,并训练步态识别暹罗网络的卷积网络参数,使得所述三重对比损失函数达到最低包括:
通过计算求得所述L23和L25的均值L21ave,以及求得所述L24和L26的均值L22ave;
基于所述均值L21ave和L22ave,通过计算得出对三重比损失函数Ltrip,其中,所述三重比损失函数Ltrip的具体计算公式如下:
其中,M表示数据集中与行人匹配的能量图的数量,margin表示赋值为3;
基于所述均值L21ave、L22ave和三重比损失函数Ltrip,对所述步态识别暹罗网络中的第一识别模块和第二识别模块的并行卷积网络的卷积网络参数进行训练;
基于所述训练的结果,使得均值L21ave小于均值L22ave,使三重比损失函数Ltrip达到最低。
9.根据权利要求1所述的一种基于暹罗网络的多输入跨视角步态识别方法,其特征在于,所述OU-ISIR MVLP数据集在所述跨视角验证和识别完成之后,采用等错误率EERs作为验证评估指标,采用一级识别率Rank-1作为识别评估指标,对跨视角验证和识别效果进行评估。
10.一种基于暹罗网络的多输入跨视角步态识别装置,其特征在于,所述装置包括:输入设备、存储模块、处理器和输出设备;
所述输入设备用于向所述处理器发送两个步态数据的数据和判断指令;
所述存储模块用于存储所述行人步态数据集和所述OU-ISIR MVLP数据集;
所述处理器用于从所述存储模块的数据集中选择行人,获取能量图probe和gallery以及相应的正样本能量图positive和负样本能量图negative,进行所述权利要求1-9的基于暹罗网络的多输入跨视角步态识别方法,通过训练和调整卷积网络参数,使最低对比损失函数的最低三重对比损失函数均达到最低,得到经过优化的步态验证暹罗网络和步态识别暹罗网络;
所述输出设备用于输出经过优化的所述步态验证暹罗网络和所述步态识别暹罗网络的识别和验证结果以及评估结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911362076.8A CN111209809B (zh) | 2019-12-24 | 2019-12-24 | 一种基于暹罗网络的多输入跨视角步态识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911362076.8A CN111209809B (zh) | 2019-12-24 | 2019-12-24 | 一种基于暹罗网络的多输入跨视角步态识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209809A CN111209809A (zh) | 2020-05-29 |
CN111209809B true CN111209809B (zh) | 2023-03-28 |
Family
ID=70786454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911362076.8A Active CN111209809B (zh) | 2019-12-24 | 2019-12-24 | 一种基于暹罗网络的多输入跨视角步态识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209809B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001254B (zh) * | 2020-07-23 | 2021-07-13 | 浙江大华技术股份有限公司 | 一种行人识别的方法及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067474A (zh) * | 2017-03-07 | 2017-08-18 | 深圳市吉美文化科技有限公司 | 一种增强现实处理方法及装置 |
CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
CN108805078A (zh) * | 2018-06-11 | 2018-11-13 | 山东大学 | 基于行人平均状态的视频行人再识别方法及系统 |
CN109190446A (zh) * | 2018-07-06 | 2019-01-11 | 西北工业大学 | 基于三元组聚焦损失函数的行人再识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2846821T3 (es) * | 2010-07-14 | 2021-07-29 | Ecole Polytechnique Fed Lausanne Epfl | Sistema y método para la evaluación de la marcha en 3D |
-
2019
- 2019-12-24 CN CN201911362076.8A patent/CN111209809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067474A (zh) * | 2017-03-07 | 2017-08-18 | 深圳市吉美文化科技有限公司 | 一种增强现实处理方法及装置 |
CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
CN108805078A (zh) * | 2018-06-11 | 2018-11-13 | 山东大学 | 基于行人平均状态的视频行人再识别方法及系统 |
CN109190446A (zh) * | 2018-07-06 | 2019-01-11 | 西北工业大学 | 基于三元组聚焦损失函数的行人再识别方法 |
Non-Patent Citations (1)
Title |
---|
基于ZMP 轨迹的双足机器人步态规划及仿真;陈再励 等;《技术应用》;20190430;第29-33页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111209809A (zh) | 2020-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764308B (zh) | 一种基于卷积循环网络的行人重识别方法 | |
CN106897675B (zh) | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 | |
CN106096535B (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
CN109800710B (zh) | 行人重识别系统及方法 | |
CN109165682B (zh) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 | |
CN108648188B (zh) | 一种基于生成对抗网络的无参考图像质量评价方法 | |
CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
CN110781928B (zh) | 一种提取图像多分辨率特征的图像相似度学习方法 | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN109635636B (zh) | 基于属性特征和加权的分块特征相融合的行人再识别方法 | |
CN111178208A (zh) | 基于深度学习的行人检测方法、装置及介质 | |
CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
CN106462724A (zh) | 基于规范化图像校验面部图像的方法和系统 | |
CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
CN110968734A (zh) | 一种基于深度度量学习的行人重识别方法及装置 | |
CN113066065B (zh) | 无参考图像质量检测方法、系统、终端及介质 | |
CN115690542A (zh) | 一种基于改进yolov5的航拍绝缘子定向识别方法 | |
CN111209809B (zh) | 一种基于暹罗网络的多输入跨视角步态识别方法及装置 | |
CN109145743A (zh) | 一种基于深度学习的图像识别方法及装置 | |
CN110472495B (zh) | 一种基于图形推理全局特征的深度学习人脸识别方法 | |
Tao et al. | Electric insulator detection of UAV images based on depth learning | |
CN114882537A (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
CN106683074A (zh) | 一种基于雾霾特性的图像篡改检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |