CN112001254B - 一种行人识别的方法及相关装置 - Google Patents

Abstract

本申请公开了一种行人识别的方法及相关装置，该方法包括：获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列；其中，第一步态序列对应第一步态视角；确定与验证步态序列匹配的至少一个第二步态视角；将第一步态序列和第二步态视角输入至跨视角步态生成模型，以获取待识别行人在各个第二步态视角下的第二步态序列；获取第二步态序列与验证步态序列之间的第一相似度，并基于第一相似度确定待识别行人的身份。通过本申请所提供的技术方案，可以较为快速准确的识别行人的身份信息。

Description

一种行人识别的方法及相关装置

技术领域

本申请涉及计算机视觉领域，特别是涉及一种行人识别的方法及相关装置。

背景技术

步态识别时一种利用行人行走姿态方式进行行人身份识别的技术。其中，步态可以通过行人行走影像获得，且具有不易伪装，识别距离远的优点，可广泛应用于地铁、机场、校园等智能安防监控场景。随着监控智能化的发展，如何利用步态识别快速且准确识别行人身份是当下需要解决的技术问题。

发明内容

本申请主要解决的技术问题是提供一种可快速准确的识别行人身份的技术方案，具体提供了一种行人识别的方法及相关装置。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种行人识别的方法，所述方法包括：

获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列；其中，所述第一步态序列对应第一步态视角；

确定与所述验证步态序列匹配的至少一个第二步态视角；

将所述第一步态序列和所述第二步态视角输入至跨视角步态生成模型，以获取所述待识别行人在各个所述第二步态视角下的第二步态序列；

获取所述第二步态序列与所述验证步态序列之间的第一相似度，并基于所述第一相似度确定所述待识别行人的身份。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种跨视角步态生成模型，包括：

指定视角步态生成模块，用于根据待识别行人的第一步态序列和第二步态视角生成待识别行人在所述第二步态视角下的第二步态序列；

视角判断模块，用于识别所述第二步态序列对应的步态视角，并判断所述第二步态序列所对应的步态视角与所述第二步态视角是否匹配；

身份判断模块，用于判断所述第二步态序列与指定视角下的验证步态序列是否匹配，以判断所述待识别行人的身份。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种终端装置，所述装置包括存储器、处理器和视频获取单元，所述存储器和所述视频获取单元分别与所述处理器耦接，其中，

所述视频获取单元在所述处理器的控制下，获取待处理视频并反馈至所述处理器，以利用所述处理器所述待处理视频中所包括的待识别行人进行身份识别；

所述存储器存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行如上所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，所述存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上所述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请所提供的技术方案，通过获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列，其中，第一步态序列对应第一步态视角，然后确定与验证步态序列匹配的至少一个第二步态视角，再将第一步态序列和第二步态视角输入至跨视角步态生成模型，以获取待识别行人在各个第二步态视角下的第二步态序列，计算获取第二步态序列与验证步态序列之间的第一相似度，并基于第一相似度确定待识别行人的身份，即在本申请所提供的技术方案中通过先确定与验证步态序列匹配的至少一个第二步态视角，然后基于第一步态序列和第二步态视角可以快速生成待识别行人在第二步态视角下的第二步态序列，再基于与验证步态序列视角相同的第二步态序列和验证步态序列之间的相似度，确定待识别行人的身份，可以较为准确地识别出待识别行人的身份。

附图说明

图1为本申请一种行人识别的方法一实施例中的流程示意图；

图2为本申请一种行人识别的方法另一实施例中的流程示意图；

图3为本申请一种行人识别的方法又一实施例中的流程示意图；

图4为本申请一种行人识别的方法再一实施例中的流程示意图；

图5为本申请一种行人识别的方法再一实施例中的流程示意图；

图6为本申请一种行人识别的方法再一实施例中的流程示意图；

图7为本申请一种跨视角步态生成模型一实施例中的结构示意图；

图8为本申请一种终端装置一实施例中的结构示意图；

图9为本申请一种存储介质一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种行人识别的方法一实施例中的流程示意图。在当前实施例中，本申请所提供的方法的执行主体是终端装置，在当前实施例中本申请所提供的方法包括：

S110：获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列。

在识别待识别行人的身份时，首先获取若干个验证步态序列，并自待处理视频中获取待识别行人所对应的第一步态序列。

其中，在一实施例中，步骤S110中是获取终端装置中存储的所有验证步态序列，以及分别待处理视频中所包括的所有待识别行人所对应的第一步态序列。如，当待处理视频中包括a个待识别行人时，则对应的步骤S110中则是获取a个待识别行人所对应的第一步态序列。

在另一实施例中，当验证步态序列是终端装置中识别的历史行人的步态序列时，由于行人是流动性的对应的验证步态序列具有一定的实时性，则对应的步骤S110中获取预设时间段内的识别的行人的步态序列。如可以获取的是以当前时间为基准点往前2小时内的识别的行人的步态序列。

其中，待处理视频是包括待识别行人的视频。待处理视频可以是拍摄装置实时采集获得的视频，也可以是非实时采集所得的包括待识别行人的视频。第一步态序列是指待处理视频中所包括的待识别行人所对应的序列。验证步态序列可以是预存的用于验证待识别行人身份的步态序列，也可以是在识别当前待识别行人之前终端装置识别所得的历史行人的步态序列。

其中，第一步态序列对应第一步态视角，在本申请所提供的技术方案中将验证步态序列对应的视角定义为验证步态视角。其中，步态序列的视角是指拍摄装置在拍摄行人时相对行人的视角，步态序列的视角是基于用于拍摄行人的拍摄装置与行人视角之间相对的视角确定，具体在此不做特别限定。对应的第一步态视角为拍摄第一步态序列对应的待识别行人时的视角，验证步态视角为拍摄验证步态序列所对应的行人时的视角。

S120：确定与验证步态序列匹配的至少一个第二步态视角。

在获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列之后，进一步确定与验证步态序列匹配的至少一个第二步态视角。其中，第二步态序列是满足预设条件的验证步态序列对应的验证步态视角。

进一步地，请参见图2，图2为本申请一种行人识别的方法另一实施例中的流程示意图。在当前实施例中，上述步骤S120进一步包括步骤S201至步骤S202。

S201：获取第一步态序列与每个验证步态序列之间的第二相似度。

在获取到若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列之后，进一步计算获取第一步态序列与每个验证步态序列之间的第二相似度。

S202：选取第二相似度满足预设条件的验证步态序列作为候选验证步态序列，并将候选验证步态序列所对应的步态视角作为第二步态视角。

计算获取第一步态序列与每个验证步态序列之间的第二相似度之后，选取第二相似度满足预设条件的验证步态序列作为候选验证步态序列。其中，预设条件为预先设定的用于选取候选验证步态序列的条件。在一实施例中，预设条件至少包括：第二相似度最大的预设数量个验证步态序列。

请参见图3，图3为本申请一种行人识别的方法又一实施例中的流程示意图。

在图3所对应的实施例中，上述步骤S201获取第一步态序列与每个验证步态序列之间的第二相似度，包括：

S301：将第一步态序列、每个验证步态序列分别输入至步态识别模型，以获取第一步态序列对应的第一步态特征与第一步态视角，以及每个验证步态序列对应的验证步态特征与验证步态视角。

其中，步态识别模型用于对步态序列进行识别以获取步态序列对应的步态特征和步态视角。其中步态识别模型是预先利用样本视频训练构建的、由多层卷积神经网络及一层全连接层组成的模型，步态识别模型具有时域和空间域特征融合能力。其中，样本视频是由具有时间同步功能的视频获取设备获取的。

在获取若干个验证步态序列以及第一步态序列之后，进一步将第一步态序列输入至步态识别模型，进而获取到第一步态序列对应的第一步态特征和第一步态视角，同时也会将每个验证步态序列输入至步态识别模型进而获取到验证步态序列对应的验证步态特征与验证步态视角。

在另一实施例中，当验证步态序列为预设的步态序列时，会对应为验证步态序列关联保存对应的验证步态视角和验证步态特征，以备需要时直接对应调用。

在又一实施例中，当验证步态序列是终端装置中所识别的历史行人的步态序列时，则可以直接将在对历史行人的步态序列进行行人身份识别时所获取的第一步态特征和第一步态视角输出，作为当前验证步态序列对应的验证步态特征和验证步态视角。在当前实施例中，在将第一步态序列输入至步态识别模型中获取到第一步态特征和第一步态视角后，本申请所提供的方法进一步还包括将所获取的第一步态特征、第一步态视角、第一步态序列以及识别所得的行人身份进行关联保存，以用作后续至少部分时间内的验证步态序列。

在又一实施例中，也可以是直接将验证步态序列输入至上述步态识别模型，直接获取得到验证步态特征和验证步态视角。

S302：分别获取第一步态特征与每个验证步态特征之间的第二相似度。

在获取得到第一步态特征和每个验证步态序列的验证步态特征之后，进一步计算获取第一步态特征和每个验证步态特征之间的第二相似度。其中，当获取到多个第一步态序列时，对应的在步骤S301获取到多个第一步态特征，则会对应在步骤S302中分别计算各个第一步态特征与每个验证步态特征之间的第二相似度。

上述步骤S202中的选取第二相似度满足预设条件的验证步态序列作为候选验证步态序列，在图3所示意的实施例中进一步包括：

S303：按照由大至小对每个验证步态特征对应的第二相似度进行排序。

在计算获取到第一步态特征与每个验证步态特征之间的第二相似度之后，将所得的第二相似度按照由大至小进行排序，即对每个验证步态特征对应的第二相似度进行排序，获得排序结果。

在另一实施例中，当在一个待处理视频中获取到的是多个待识别行人对应的第一步态序列时，则在步骤S303中会分别对每个第一步态序列与各个验证步态序列之间的第二相似度进行排序。如，当在第一待处理视频中获取到多个待识别行人对应的第一步态序列A和B时，且分别获取到第一步态序列A和B与每个验证步态序列之间的第二相似度，则步骤S303会分别对第一步态序列A与每个验证步态序列之间的第二相似度按照从大到小进行排序，同时也会对第一步态序列B与每个验证步态序列之间的第二相似度按照从大到小进行排序。

S304：选取排序靠前的预设数量个第二相似度所对应的验证步态序列，以作为候选验证步态序列。

根据第二相似度的排序结果，选取排序靠前的预设数量个第二相似度所对应的验证步态序列，以作为候选验证步态序列。其中，预设数量为根据经验值预先设定的，具体在此不做限定，以实际的需求进行设定调整。候选验证步态序列为用于最后进行行人身份验证时所选取的验证步态序列，即第二步态视角所对应的验证步态序列。

在另一实施例中，当在一个待处理视频中获取到的是多个待识别行人对应的第一步态序列时，且在分别获取每个第一步态序列所对应的验证步态序列排序结果后，则对应的分别在各个排序结果中选取排序靠前的预设数量个第二相似度所对应的验证步态序列，以作为各个第一步态序列对应的候选验证步态序列。接上述实施例，当在第一待处理视频中分别获取到多个待识别行人对应的第一步态序列A和B时，则步骤S304中会选取A对应的排序结果中排序靠前的预设数量个第二相似度所对应的验证步态序列，以作为A的候选验证步态序列；同时步骤S304也会选取B对应的排序结果中排序靠前的预设数量个第二相似度所对应的验证步态序列，以作为B的候选验证步态序列。

S305：将候选验证步态序列所对应的步态视角作为第二步态视角。

在确定了候选验证步态序列之后，进一步将候选验证步态序列所对应的步态视角作为当前待识别行人对应的第二步态视角输出，以用于下述的视角转换获取待识别行人在各个第二步态视角下的第二步态序列。

在另一实施例中，当待处理视频中包括多个待识别行人时，则在步骤S305中分别将各个待识别行人对应的候选验证步态序列的步态视角输出作为第二步态视角，以用于下述视角转换分别获取各个待识别人在各个第二步态视角下的第二步态序列。

在图3所对应的实施例中，通过第一步态特征与每个验证步态特征的第二相似度，然后选取预设数量个最大的第二相似度所对应的验证步态序列，以作为候选验证步态序列，进而将候选验证步态序列对应的验证步态视角为第二视角，即本实施例中基于第一步态特征与每个验证步态特征的相似度可选取到较为准确的第二视角，为后续准确识别待识别行人提供了技术前提。

S130：将第一步态序列和第二步态视角输入至跨视角步态生成模型，以获取待识别行人在各个第二步态视角下的第二步态序列。

在确定了第二步态视角之后，进一步将第一步态序列和每个第二步态视角输入至跨视角步态生成模型，进而获取到待识别行人在各个第二步态视角下的第二步态序列。

其中，跨视角步态生成模型是利用样本视频进行训练获得。其中样本视频是由具有时间同步功能的视频获取设备获取的。

S140：获取第二步态序列与验证步态序列之间的第一相似度，并基于第一相似度确定待识别行人的身份。

在获取到待识别行人在各个第二步态视角下的第二步态序列之后，进一步获取第二步态序列与验证步态序列之间的第一相似度，然后基于第一相似度确定待识别行人的身份。

进一步地，在获取到第二步态序列之后，是计算所获取的第二步态序列与每个验证步态序列之间的第一相似度，然后根据所得的第一相似度确定待识别行人的身份。具体地可以是直接基于第一相似度，将第一相似度最高的验证步态序列对应的验证行人身份输出为待识别行人的身份。在另一实施例中，在计算获得第一相似度之后，也可以是对第一相似度执行预设的运算，进而根据运算结果的排序确定待识别行人的身份。

本申请图1所对应的实施例中所提供的技术方案，通过获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列，其中，第一步态序列对应第一步态视角，然后确定与验证步态序列匹配的至少一个第二步态视角，再将第一步态序列和第二步态视角输入至跨视角步态生成模型，以获取待识别行人在各个第二步态视角下的第二步态序列，计算获取第二步态序列与验证步态序列之间的第一相似度，并基于第一相似度确定待识别行人的身份，即在本申请所提供的技术方案中通过先确定与验证步态序列匹配的至少一个第二步态视角，然后基于第一步态序列和第二步态视角可以快速生成待识别行人在第二步态视角下的第二步态序列，再基于与验证步态序列视角相同的第二步态序列和验证步态序列之间的相似度，确定待识别行人的身份，可以较为准确地识别出待识别行人的身份。

请参见图4，图4为本申请一种行人识别的方法再一实施例中的流程示意图。在当前实施例中，上述步骤S140中的获取第二步态序列与验证步态序列之间的第一相似度之前，本申请所提供的方法进一步包括步骤S401至步骤S402。

S401：获取候选验证步态序列对应的候选验证步态特征。

其中，可以是通过将候选验证步态序列输入至步态识别模型，进而获取到当前候选验证步态序列对应的候选验证步态特征。其中，候选验证特征为选择作为候选验证步态序列的验证步态序列所对应的验证步态特征。

在另一实施例中，当上述验证步态序列为预设的步态序列时，则可以直接获取与当前候选验证步态序列关联保存的候选验证步态特征。

在又一实施例中，当验证步态序列是终端装置中所识别的历史行人的步态序列时，则可以直接将在对历史行人的步态序列进行行人身份识别时所获取的第一步态特征输出，作为当前验证步态序列对应的验证步态特征，进而在步骤S401中可以直接将候选验证步态序列对应的验证步态特征输出为候选验证步态特征。

S402：将第二步态序列输入至步态识别模型，以获取第二步态序列对应的第二步态特征。

对应的，将跨视角步态生成模型生成的第二步态序列输入至步态识别模型，进而获取到第二步态序列对应的第二步态特征。其中，需要说明的是，在此并不限定步骤S401和步骤S402的执行顺序，即步骤S401和步骤S402可以是同时执行，也可以是一前一后相继执行，具体依据不同实施例中的设定执行顺序为准。

在当前实施例中，上述步骤S140中的获取第二步态序列与验证步态序列之间的第一相似度进一步包括步骤S403。

S403：分别获取每组对应同一步态视角的第二步态特征与候选验证步态特征之间的第一相似度。

在分别获取到验证步态序列和第二步态序列之后，进一步获取每组对应的同一步态视角的第二步态特征与候选验证步态特征之间的第一相似度，进而基于所获取的第一相似度确定当前待识别行人的身份。其中，相似度至少包括欧式距离和/或余弦距离。其中，可以是直接基于第一相似度直接确定待识别行人的身份，如可以直接将最大第一相似度所对应的候选验证步态特征相对的身份信息输出为当前待识别行人的身份，在另一实施例中可对第一相似度再次进行进一步地处理，进而获得目标相似度，进而基于目标相似度确定待识别行人的身份，具体可以参见下文图5所对应的实施例，在此不再详述。

请参见图5，图5为本申请一种行人识别的方法再一实施例中的流程示意图。在当前实施例中，上述步骤S140基于第一相似度确定待识别行人的身份，进一步包括步骤S501至步骤S503。

S501：将与每个步态视角对应的第一相似度分别与预设权重比相乘，得到与每个步态视角对应的优化相似度值。

在获取到第二步态序列与验证步态序列之间的第一相似度之后，进一步将与每个步态视角对应的第一相似度与预设权重比进行相乘，以得到与每个步态视角对应的优化相似值。如，在一实施例中，当包括步态视角a，b和c，且步态视角a，b和c对应的第一相似度依次为s1、s2和s3，预设的权重比为ξ，则会分别将s1、s2和s3与ξ相乘，进而得到与步态视角a，b和c依次对应的优化相似度值f1、f2和f3。其中，预设权重比是预先根据经验值进行设定，在此不再详述。

S502：分别将每组对应同一步态视角的优化相似度值和第二相似度进行叠加，以得到多个目标相似度。

在求得与每个步态视角对应的优化相似度值之后，分别将分组对应同一个步态视角的优化相似度值和第二相似度进行叠加，以得到多个目标相似度。接上述实施例，步态视角a，b和c对应的第二相似度依次为S1、S2和S3，则在将第一相似度s1、s2和s3与预设权重比ξ相乘得到与步态视角a，b和c依次对应的优化相似度值f1、f2和f3之后，将步态视角a，b和c分别所对应的优化相似度值f1、f2和f3与第二相似度依次为S1、S2和S3分别进行叠加，进而得到多个第二步态序列对应的目标相似度。

其中，第二相似度为每个第一步态序列与每个验证步态序列之间的相似度，第二相似度对应的步态视角为相应的候选验证步态序列所对应的步态视角，也可以理解为第二相似度对应的步态视角为上述当前第一步态序列对应的第二步态视角。

S503：将最大的目标相似度对应的候选验证步态序列的身份信息输出作为待识别行人的身份。

在计算获得多个目标相似度之后，进一步对多个目标相似度进行排序，以获取到多个目标相似度中的最大值，然后将最大的目标相似度对应的候选验证步态序列的身份信息输出作为当前待识别行人的身份。

当前实施例中本申请所提供的技术方案，通过提出先使用原始视角的待识别行人第一步态序列进行步态特征提取与第二相似度比较，然后通过第二相似度确定了第二视角，进而使用跨视角步态生成模型生成待识别行人的在第二视角下的第二步态序列，在对第二步态序列进行步态特征提取和第一相似度比较后获得优化相似度值，再结合原始视角下的第一步态序列的识别结果和第二相似度，计算求得目标相似度，进而可以较好地提高步态识别效果，降低计算耗时。

请参见图6，图6为本申请一种行人识别的方法再一实施例中的流程示意图。上述步骤S110中的获取待处理视频中待识别行人所对应的第一步态序列，进一步包括步骤S601至步骤S604。

S601：利用行人检测算法按照时间顺序自待处理视频所包括的各帧图像中依次提取包括待识别行人的行人检测框。

在获取到待处理视频之后，进一步利用行人检测算法按照视频的拍摄时间的前后顺序自待处理视频中提取包括行人的行人检测框。其中，也可以将上述步骤简单理解为，按照时间顺序自待处理视频所包括的各帧图像中依次提取所包括每个待识别行人的行人检测框。如，当待处理视频中包括多个待识别行人时，则对应的步骤S601中则会获取到多个待识别行人的行人检测框。其中，需要说明的是，在获取到行人检测框时利用预设的身份标识规则对行人进行身份标识，以与其他的待识别行人进行区分。

进一步地，当待处理视频中有预设数量帧的图像中均包括多个待识别行人时，则会进一步分别获取每个待识别行人在整个待处理视频中各帧图像中的所对应的行人检测框，并运用相同的身份标识码标识同一个待识别行人在所有帧图像中对应的行人检测框。

其中，行人检测算法为预先设定的用于自待处理视频中提取包括行人的算法，具体在此不做限定。

S602：使用行人分割算法对每帧图像中的行人检测框进行分割，以得到每帧图像中的人身部分和背景部分。

在利用行人检测算法按照时间顺序自待处理视频所包括的各帧图像中依次提取包括待识别行人的行人检测框之后，进一步利用行人分割算法对每一帧图像中的行人检测框进行分割，进而得到每帧图像中的人身部分和背景部分。

进一步地，当每帧图像中包括多个行人检测框时，则对应的，会利用步骤S602将每个行人检测框分别进行分割，进而分别得到每个行人检测框对应的人身部分和背景部分。

S603：分别将每帧图像进行二值化处理，得到二值化图像。

其中二值化图像中人身部分的像素值和背景部分的像素值不同。

分别对每帧图像进行二值化处理，进而得到二值化图像。其中，需要说明的是，在当前实施例中采用不同的像素值分别标注人身部分和背景部分。

S604：将按照时间顺序将二值化图像组合形成第一步态序列。

按照待处理视频的时间顺序，进而将二值化图像组合形成第一步态序列。如，当待处理视频中存在15帧包括待识别行人P1，待识别行人的检测框记为p1₁-p1₁₅，则对应的至少将15帧所包括的p1₁-p1₁₅组合输出形成对应待识别行人P1的第一步态序列。对应的，当待处理视频中包括n个待识别行人时，则会对应形成n个第一步态序列。

对应的，如若待处理视频中包括n个待识别行人时，且对应形成n个第一步态序列时，则可以通过执行上述各个实施例中的方法并行识别n个待识别行人，进而获取到n个待识别行人的身份信息。

如在一实施例中，对包括待识别行人的待处理视频执行上述步骤S601至步骤S604，进而获取形成第一步态序列X，同时获取若干验证步态序列。然后将第一步态序列和若干验证步态序列分别输入至步态识别模型进而提取第一步态序列X的第一步态特征Fq及第一步态视角Aq，以及验证步态序列对应的验证步态特征(Y1,Y2…Yn)及验证步态视角(A1,A2,…An)，再计算第一步态特征与所有验证步态特征(Y1,Y2…Yn)的第二相似度(S1,S2…Sn)，并对所得的第二相似度排序。

选取与第一步态序列相似度最大的前k个验证步态序列对应的验证步态特征和验证步态视角，并输出记为候选验证步态特征(Ys1,Ys2…Ysn)与候选验证步态视角(As1,As2…Ask)，同时候选验证步态视角输出为第二步态视角，再将第一步态序列X与第二步态视角序列A作为跨视角步态生成模型输入，生成待识别行人在第二步态视角(As1,As2…Ask)下的第二步态序列(Xs1,Xs2…Xsk)。其中，需要说明的是，是依次将第一步态序列X和一个第二步态视角输入至跨视角步态生成模型，进而获取到一个第二步态序列，接上述实施例，将第一步态序列X分别与第二步态视角序列A(As1,As2…Ask)中的每个第二步态视角输入至跨视角步态生成模型，进而会得到k个第二步态序列Xs1,Xs2…Xsk。然后将所得的第二步态序列分别输入至步态识别模型进而获取到第二步态序列(Xs1,Xs2…Xsk)的步态特征(Fq1,Fq2…Fqk)。然后分别计算步态特征(Fq1,Fq2…Fqk)与对应的候选验证步态序列的验证步态特征(Ys1,Ys2…Ysn)之间的第一相似度(Ss1,Ss2…Ssk)，分别将第一相似度Ss1,Ss2…Ssk)乘预设权重比ξ以得到优化相似度值(f1，f2…fk)，然后将每组对应同一步态视角的优化相似度值和对应的第二相似度(S1,S2…Sn)进行叠加进而获取到目标相似度，并对目标相似度进行重新排序，然后将最大目标相似度对应的候选验证步态序列的身份信息输出为待识别行人的身份。其中，预设权重比ξ的取值范围0～1，且可以通过对训练集统计取预设权重比的最优值。

需要说明的是，本申请所提供的技术方案中还包括：利用样本视频对步态识别模型和跨视角步态生成模型进行训练。

其中，样本视频是由具有时间同步功能的视频获取设备获取的，其中，跨视角步态生成模型是用于生成同一行人指定视角的步态序列，步态识别模型和跨视角步态生成模型的构建过程请参见下文对应部分的阐述。

其中步态识别模型由多层卷积神经网络及一层全连接层组成，具有时域和空间域特征融合能力。步态识别模型的输入为步态序列，具体地步态序列可以表示为四维输入向量，四维输入向量包括时间序列维、特征通道维、特征高度维度和特征宽度维，其中，每个四维输入向量的数值为0或1，经多层卷积神经网络输出为步态特征向量及步态视角特征向量，步态特征向量为高维特征向量用于待识别行人与验证行人之间的相似度计算，步态视角特征向量为一维特征值，表示行人与摄像机间的方位相对角度关系，不包含俯仰角度关系。其中，步态特征向量经全连接层可输出步态身份特征向量。其中，对于步态识别模型进行训练可分别调用三元组损失函数、交叉熵损失函数及L1损失函数。其中，步态特征向量使用三元组损失函数进行训练，步态身份特征向量使用交叉熵损失函数进行训练，步态角度特征使用L1损失函数训练。经过利用样本视频多次训练后所获得的步态识别模型，具有提取包含行人身份信息的步态特征向量及表征行人与相机相对方位角特征的功能。

跨视角步态生成模型包括指定视角步态生成模块、身份判别模块和视角判别模块三个部分。其中，指定视角步态生成模块用于生成同一行人指定视角下的步态序列，指定视角步态生成模块的输入为原视角步态序列中所包括的轮廓图像和指定视角组合的特征向量，上述原视角步态序列中所包括的轮廓图像为三维输入向量。如，当原视角步态序列中包括15张轮廓图像，则对应的会分别将每张轮廓图像与指定视角组合的特征向量输入至指定视角步态生成模块中，进而得到15张指定视角下的轮廓图像，再将所得的15张指定视角下的轮廓图像进行组合以生成得到指定视角下的步态序列。其中，三维输入向量分别为特征通道维、特征高度维度和特征宽度维，生成的步态序列所包括的二值化图像尺寸为1*H*W，数值为0或1，指定视角特征向量表示为一维连续值特征向量，组合方式是将三维的步态序列与复制指定视角产生的三维指定视角特征向量按照特征通道维度进行拼接，拼接后的特征尺寸为2*H*W；输出为指定视角下的行人二值化图像，在这里将输出的指定视角下的行人二值化图像定义为第二步态轮廓图像，进而将所得的多张指定视角下的行人二值化图像组合并定义为第二步态序列。

其中，身份判别模块用于判断生成模型输出的第二步态轮廓图像的身份信息，输入为第一步态轮廓图像和第二步态视角的按特征通道维度拼接的组合向量，具体组合向量可以表示为三维输入向量。其中，第一步态轮廓图像为第一步态序列中所包括的二值化图像，三维输入向量包括特征通道维、特征高度维度和特征宽度维，数值分别为0或1，尺寸为2*H*W，身份判别模块输出为一维特征，数值范围是0～1，表示第一步态轮廓图像与第二步态轮廓图像属于同一身份行人的概率。

其中，视角判别模块用于判断指定视角步态生成模块输出的第二步态轮廓图像的视角信息，输入为二值化图像与和对应视角组合的特征向量，表示为三维输入向量，其中，三维输入向量包括特征通道维、特征高度维度和特征宽度维，三维输入向量中的每个元素的数值为0或1，尺寸为2*H*W，并且三维输入向量的组合方式与指定视角步态生成模块的输入特征组合方式相同。视角判别模块的输出为一维特征，数值范围是0～1，表示第二步态轮廓图像的视角与第二步态视角的相似程度。

如上所述，用于训练跨视角步态生成模型的样本视频的训练集是由具有时间同步功能的视频获取设备获取，其中，视频获取设备至少包括摄像机。具体地，是将同一身份同一时间不同拍摄角度的摄像机拍摄的行人二值化图像组合成多视角行人的步态序列集合，从中任取两张二值化图像(X1和X2，对应拍摄视角为A1和A2)，将X1与A2组合(其中，组合方式为上述跨视角步态生成模型输入特征的组合方式)作为生成模型输入，X2作为生成模型的标注输出真值，X2与生成模型输出的X2’一同计算L1损失，经过训练跨视角步态生成模型将生成与X2接近的指定视角A2的二值化图像G(X1,A2)；X1与G(X1,A2)组合和X1与X2组合(其中，组合方式为身份判别模块输入的组合方式)分别作为身份判别模块输入，标注真值分别为0和1，使用生成对抗损失作为损失函数，经过循环训练，可进一步提高身份判别模块判别行人身份的能力，同时跨视角步态生成模型生成的指定视角下的二值化图像G(X1,A2)将具有与X2相同的身份信息。X2与A2组合和G(X1,A2)与A2组合(组合方式为上述视角判别模块输入的组合方式)分别作为视角判别模块输入，标注真值分别为1和0，使用生成对抗损失作为损失函数，经过多次训练，可以较好地提高视角判别模块判别待识别行人的步态序列的步态视角的能力，同时跨视角步态生成模型生成的指定视角二值步态图像G(X1,A2)将具有A2的指定视角信息。

本申请所提供的技术方案中，通过训练得到可对原始视角下的步态序列进行视角转换的跨视角步态生成模型，跨视角步态生成模型包含1个生成模型和2个判别模型，结合L1损失函数、身份对抗损失函数和视角对抗损失函数，可保留原始视角下的身份效果，提高步态序列视角转换效果。同时，通过提出时间同步的样本视频采集方法，可较好地解决了跨视角步态生成模型的数据集采集问题。

请参见图7，图7为本申请一种跨视角步态生成模型一实施例中的结构示意图。在当前实施例中，本申请所提供的跨视角步态生成模型700包括：

指定视角步态生成模块710，用于根据待识别行人的第一步态序列和第二步态视角生成待识别行人在第二步态视角下的第二步态序列。

视角判断模块730，用于识别第二步态序列对应的步态视角，并判断第二步态序列对应的步态视角与第二步态视角是否匹配。

身份判断模块720，用于判断第二步态序列与指定视角下的验证步态序列是否匹配，以判断待识别行人的身份。

请参见图8，图8为本申请一种终端装置一实施例中的结构示意图。在当前实施例中，本申请所提供的终端装置800包括耦接的处理器801和存储器802。其中，终端装置800可以执行图1至图7及其对应的任意一个实施例中所述的行人识别的方法。

其中，存储器802包括本地储存(图未示)，且存储有计算机程序，计算机程序被执行时可以实现图1至图7及其所对应的任意一个实施例中所述的方法。

处理器801与存储器802耦接，处理器801用于运行计算机程序，以执行如上图1至图7及其对应的任意一个实施例中所述的行人识别的方法。

参见图9，图9为本申请一种存储介质一实施例结构示意图。该存储介质900存储有能够被处理器运行的计算机程序901，该计算机程序901用于实现如上图1至图6及其对应的任意一个实施例中所描述的行人识别的方法。具体地，上述存储介质900可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种行人识别的方法，其特征在于，所述方法包括：

获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列；其中，所述第一步态序列对应第一步态视角；

获取所述第一步态序列与每个所述验证步态序列之间的第二相似度；

选取所述第二相似度满足预设条件的所述验证步态序列作为候选验证步态序列，并将所述候选验证步态序列所对应的步态视角作为第二步态视角；

将所述第一步态序列和所述第二步态视角输入至跨视角步态生成模型，以获取所述待识别行人在各个所述第二步态视角下的第二步态序列；

获取所述第二步态序列与所述验证步态序列之间的第一相似度，并基于所述第一相似度确定所述待识别行人的身份。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一步态序列与每个所述验证步态序列之间的第二相似度，包括：

将所述第一步态序列、每个所述验证步态序列分别输入至步态识别模型，以获取所述第一步态序列对应的第一步态特征与第一步态视角，以及每个所述验证步态序列对应的验证步态特征与验证步态视角；

分别获取所述第一步态特征与每个所述验证步态特征之间的第二相似度；

所述选取所述第二相似度满足预设条件的所述验证步态序列作为候选验证步态序列，包括：

按照由大至小对每个所述验证步态特征对应的所述第二相似度进行排序；

选取排序靠前的预设数量个第二相似度所对应的所述验证步态序列，以作为候选验证步态序列。

3.根据权利要求1所述的方法，其特征在于，所述获取所述第二步态序列与所述验证步态序列之间的第一相似度之前，所述方法进一步包括：

获取所述候选验证步态序列对应的候选验证步态特征；

将所述第二步态序列输入至步态识别模型，以获取所述第二步态序列对应的第二步态特征；

所述获取所述第二步态序列与所述验证步态序列之间的第一相似度，进一步包括：

分别获取每组对应同一步态视角的所述第二步态特征与所述候选验证步态特征之间的第一相似度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一相似度确定所述待识别行人的身份，进一步包括：

将与每个步态视角对应的所述第一相似度分别与预设权重比相乘，得到与每个步态视角对应的优化相似度值；

分别将每组对应同一步态视角的所述优化相似度值和所述第二相似度进行叠加，以得到多个目标相似度，其中，所述第二相似度对应的步态视角为相应的所述候选验证步态序列所对应的步态视角；

将最大的所述目标相似度对应的候选验证步态序列的身份信息输出作为所述待识别行人的身份。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用样本视频对步态识别模型和所述跨视角步态生成模型进行训练；

其中，所述样本视频是由具有时间同步功能的视频获取设备获取的。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理视频中待识别行人所对应的第一步态序列，进一步包括：

利用行人检测算法按照时间顺序自所述待处理视频所包括的各帧图像中依次提取包括所述待识别行人的行人检测框；

使用行人分割算法对每帧图像中的所述行人检测框进行分割，以得到每帧图像中的人身部分和背景部分；

分别将每帧图像进行二值化处理，得到二值化图像，其中所述二值化图像中所述人身部分的像素值和所述背景部分的像素值不同；

将按照时间顺序将所述二值化图像组合形成所述第一步态序列。

7.一种行人识别的模型，其特征在于，包括：

指定视角步态生成模块，用于获取若干个验证步态序列以及待处理视频中待识别行人所对应的第一步态序列，其中，所述第一步态序列对应第一步态视角；所述指定视角步态生成模块还用于获取第一步态序列与每个验证步态序列之间的第二相似度；选取所述第二相似度满足预设条件的所述验证步态序列作为候选验证步态序列，并将所述候选验证步态序列所对应的步态视角作为第二步态视角，还用于根据待识别行人的第一步态序列和第二步态视角生成待识别行人在所述第二步态视角下的第二步态序列；

视角判断模块，用于识别所述第二步态序列对应的步态视角，并判断所述第二步态序列所对应的步态视角与所述第二步态视角是否匹配；

身份判断模块，用于获取所述第二步态序列与所述验证步态序列之间的第一相似度，并基于所述第一相似度确定所述待识别行人的身份。

8.一种终端装置，其特征在于，所述装置包括存储器、处理器和视频获取单元，所述存储器和所述视频获取单元分别与所述处理器耦接，其中，

所述视频获取单元在所述处理器的控制下，获取待处理视频并反馈至所述处理器，以利用所述处理器所述待处理视频中所包括的待识别行人进行身份识别；

所述存储器存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行权利要求1至6任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至6任一项所述的方法。

Images