CN109271888A - 基于步态的身份识别方法、装置、电子设备 - Google Patents

基于步态的身份识别方法、装置、电子设备 Download PDF

Info

Publication number
CN109271888A
CN109271888A CN201810998094.4A CN201810998094A CN109271888A CN 109271888 A CN109271888 A CN 109271888A CN 201810998094 A CN201810998094 A CN 201810998094A CN 109271888 A CN109271888 A CN 109271888A
Authority
CN
China
Prior art keywords
pedestrian
tracking
target pedestrian
target
need
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810998094.4A
Other languages
English (en)
Inventor
高原
黄磊
彭菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN201810998094.4A priority Critical patent/CN109271888A/zh
Priority to PCT/CN2018/119766 priority patent/WO2020042419A1/zh
Publication of CN109271888A publication Critical patent/CN109271888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于步态的身份识别方法，属于身份识别技术领域，解决现有技术中多行人场景下基于步态的身份识别方法的准确率的问题。本申请公开了一种基于步态的身份识别方法包括：对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；确定所述目标行人的剪影图像序列；分别基于各目标行人的剪影图像序列，获取所述目标行人的步态能量图；基于目标行人的步态能量图，对所述目标行人进行身份识别。本申请实施例中通过结合行人检测、跟踪和行人重识别技术进行视频图像序列中的相同和不同目标行人的识别，提升了视频图像序列中目标行人识别的准确率，有助于提升多人场景下基于步态的身份识别的准确率。

Description

基于步态的身份识别方法、装置、电子设备
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于步态的身份识别方法、装置、电子设备及存储介质。
背景技术
生物特征识别是通过各种高科技信息检测手段、利用人体所固有的生理或行为特征来进行个人身份鉴定。生物特征主要包括生理特征和行为特征两种。行为特征是指从人所执行的运动中提取来的特征，如步态、笔迹等特征，这些特征多为后天形成的特性。近几年来，随着生物认证技术的快速发展，基于步态特征的身份识别技术在门禁系统、安全监控、人机交互、医疗诊断等领域的应用日益广泛。然而，发明人经过对现有技术的研究发现，安全监控环境通常为复杂的。因为人是非刚体，在移动时比车辆更具灵活性，其轮廓特征在不断变化，并且多人环境中，极易出现行人遮挡，行人步态特征不易提取，因此，在多行人场景如何准确确定同一行人的步态信息的准确率较低，多人场景下基于步态的身份识别准确率仍然较低。
可见，现有技术中的多行人场景下基于步态的身份识别方法的准确率还有待提高。
发明内容
本申请提供一种基于步态的身份识别方法，有助于提升多人场景下基于步态的身份识别的准确率。
为了解决上述问题，第一方面，本申请实施例提供了一种基于步态的身份识别方法包括：
对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；
确定所述目标行人的剪影图像序列；
分别基于各目标行人的所述剪影图像序列，获取所述目标行人的步态能量图；
基于所述目标行人的步态能量图，对所述目标行人进行身份识别。
可选的，所述对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人的步骤，包括：
按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；
按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；
根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
可选的，所述基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果的步骤，包括：
针对每个所述检测跟踪周期执行以下操作：
基于当前检测跟踪周期对应的跟踪帧图像，对所述视频图像序列中预先确定的目标行人进行跟踪，确定所述当前检测跟踪周期对应的跟踪结果；
对相对所述当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果；
根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人；
其中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
可选的，所述预先确定的目标行人通过以下至少一种方式确定：
若当前检测跟踪周期为首个检测跟踪周期，则根据所述检测跟踪周期的检测帧图像的检测结果确定；
若当前检测跟踪周期非首个检测跟踪周期，则根据相对所述当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和所述当前检测跟踪周期的检测帧图像的检测结果确定。
可选的，所述跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；
所述检测结果包括：当前检测到的目标行人的检测框；
所述根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人的步骤，包括：
对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；
对于每个所述目标行人对，根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息；
对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；
对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
可续的，所述根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据所述目标行人对中包括的两个目标行人的行人特征，确定所述两个目标行人之间的相似度，其中，所述两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；
若根据所述相似度确定所述两个目标行人为同一人，则通过所述当前检测到的目标行人的检测框更新所述需跟踪的目标行人的跟踪器；
若根据所述相似度确定所述两个目标行人非同一人，则将所述目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至所述需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
可选的，所述对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据预先获取的行人特征，确定未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；
若根据所述两两相似度确定相应的未构成目标行人对的所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将所述处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过所述当前检测到的目标行人的检测框创建恢复为正常跟踪状态的所述需跟踪的目标行人的跟踪器；
若根据所述两两相似度确定所述当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，则将所述当前检测到的目标行人补充至需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
第二方面，本申请实施例提供了一种基于步态的身份识别验证装置，包括：
目标行人确定模块，用于对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；
剪影图像序列确定模块，用于确定所述目标行人的剪影图像序列；
步态能量图确定模块，用于分别基于各目标行人的所述剪影图像序列，获取所述目标行人的步态能量图；
身份识别模块，用于基于所述目标行人的步态能量图，对所述目标行人进行身份识别。
可选的，在对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人时，所述目标行人确定模块进一步包括：
检测跟踪周期确定子模块，用于按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；
周期目标行人确定子模块，用于按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；
跟踪结果确定子模块，用于根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
可选的，在基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果时，所述周期目标行人确定子模块，进一步包括：
跟踪单元，用于针对每个所述检测跟踪周期，基于当前检测跟踪周期对应的跟踪帧图像，对所述视频图像序列中预先确定的目标行人进行跟踪，确定所述当前检测跟踪周期对应的跟踪结果；
检测单元，用于针对每个所述检测跟踪周期，对相对所述当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果；
行人重识别单元，用于针对每个所述检测跟踪周期，根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人；
其中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
可选的，所述预先确定的目标行人通过以下至少一种方式确定：
若当前检测跟踪周期为首个检测跟踪周期，则根据所述检测跟踪周期的检测帧图像的检测结果确定；
若当前检测跟踪周期非首个检测跟踪周期，则根据相对所述当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和所述当前检测跟踪周期的检测帧图像的检测结果确定。
可选的，所述跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；
所述检测结果包括：当前检测到的目标行人的检测框；
在根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人时，所述行人重识别单元进一步用于：
对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；
对于每个所述目标行人对，根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息；
对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；
对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
可选的，所述根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据所述目标行人对中包括的两个目标行人的行人特征，确定所述两个目标行人之间的相似度，其中，所述两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；
若根据所述相似度确定所述两个目标行人为同一人，则通过所述当前检测到的目标行人的检测框更新所述需跟踪的目标行人的跟踪器；
若根据所述相似度确定所述两个目标行人非同一人，则将所述目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至所述需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
可选的，所述对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据预先获取的行人特征，确定未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；
若根据所述两两相似度确定相应的未构成目标行人对的所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将所述处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过所述当前检测到的目标行人的检测框创建恢复为正常跟踪状态的所述需跟踪的目标行人的跟踪器；
若根据所述两两相似度确定所述当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，则将所述当前检测到的目标行人补充至需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的基于步态的身份识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的基于步态的身份识别方法的步骤。
本申请实施例公开的基于步态的身份识别方法，通过对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；确定所述目标行人的剪影图像序列；分别基于各目标行人的剪影图像序列，获取所述目标行人的步态能量图；基于目标行人的步态能量图，对所述目标行人进行身份识别，解决了现有技术中多人场景下基于步态识别的身份识别准确率较低的问题。本申请实施例中通过结合行人检测、跟踪和行人重识别技术进行视频图像序列中的相同和不同目标行人的识别，提升了视频图像序列中目标行人识别的准确率，有助于提升多人场景下基于步态的身份识别的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的基于步态的身份识别方法流程图；
图2是本申请实施例二的基于步态的身份识别方法中检测跟踪和行人重识别步骤的流程图；
图3是本申请实施例三的基于步态的身份识别装置的结构示意图之一；
图4是本申请实施例三的基于步态的身份识别装置的结构示意图之二；
图5是本申请实施例三的基于步态的身份识别装置的一个子模块结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本实施例公开的一种基于步态的身份识别方法，如图1所示，该方法包括：步骤110至步骤140。
步骤110，对视频图像序列进行行人检测、跟踪和行人重识别，确定该视频图像序列中的目标行人。
在具体应用过程中，输入的视频图像序列可以为实时的摄像机监控视频序列，或播放的视频流中的一段视频。视频图像序列由一帧一帧的视频图像依序排列组成。通常视频图像序列中的视频图像中包括多个目标行人的影像。
对于输入的视频图像序列，为了提升行人识别的效率，优选的，分周期对视频图像序列中的目标行人进行检测和跟踪。
例如，每20帧视频图像作为一个检测跟踪周期，通过每个检测跟踪周期中第一帧视频图像进行目标行人检测，并提取目标行人的行人特征，然后，通过每个检测跟踪周期的后续帧视频图像，对检测到的目标行人进行跟踪。
进一步的，对于连续的两个检测跟踪周期，通过从后一个检测跟踪周期的第一帧视频图像中检测到的目标行人，更新前一个检测跟踪周期中的目标行人跟踪结果。
例如，对于在两个检测跟踪周期中都检测到的目标行人，在后一个检测跟踪周期中继续进行跟踪；对于前一个检测跟踪周期中跟丢的，在后一个检测跟踪周期的第一帧视频图像中又重新检测到的目标行人，在后一个检测跟踪周期中继续进行跟踪；对于前一个检测跟踪周期中没有检测到在后一个检测跟踪周期中检测到的目标行人，在后一个检测跟踪周期中继续进行跟踪；在前一个检测跟踪周期中检测到但在后一个检测跟踪周期中没有检测到的目标行人，将其暂时确定为跟丢的目标行人，在后续的检测跟踪周期中判断是否重新检测到跟丢的目标行人。
直至处理完输入的视频图像序列的最后一个检测跟踪周期中的视频图像，既可以得到在该视频图像序列中检测到的每个目标行人，以及该目标行人在该帧视频图像中的所处区域信息和行人特征，并且，又能够确定每个目标行人的最终跟踪状态，即正常跟踪状态或丢失状态。
步骤120，确定该目标行人的剪影图像序列。
本申请具体实施时，在对检测帧图像进行行人检测时，会为每一个检测到的目标行人分配一个唯一标识，并且，不同检测帧图像检测到的同一个目标行人沿用相同的标识。因此，在最后一个检测跟踪周期中检测到的目标行人也具有唯一标识，并且，在最后一个检测跟踪周期中确认跟踪丢失的目标行人也具有唯一标识。
在对每个检测跟踪周期中的检测帧图像进行行人检测时，还会确定检测到的每个目标行人的检测框，检测框用于指示目标行人在该检测帧图像中所处的图像区域。在基于该检测跟踪周期的跟踪帧图像，对检测到的目标行人进行行人跟踪时，通过该检测框初始化跟踪器，进一步通过跟踪器跟踪目标行人的在各跟踪帧图像中的所处区域。
然后，根据某个目标行人的检测框进一步确定该目标行人在检测帧图像中的图像区域，或根据目标行人的跟踪框进一步确定该目标行人在跟踪帧图像中的图像区域；通过将目标行人在检测帧图像中或在跟踪帧图像中的图像区域输入至预先训练的U型网络(Unity Networking，简称UNet，或U型网络，一种基于时序的网络模型)，可以得到该目标行人的剪影图像。
通过此方法，可以确定每个目标行人基于不同视频图像帧的剪影图像。
最后，将同一个目标行人对应的剪影图像按照该剪影图像所属视频图像帧的先后顺序进行排列，得到该同一个目标行人对应的剪影图像序列。
本申请的一个实施例中，在训练U型网络时，训练数据为彩色图像数据，标签是相应的二值图像，将制作好的训练数据集送入U型网络中，然后，通过前向计算损失函数的方法，并进行误差反向传播修改权重，进行网络优化，反复训练此网络使其损失达到最小，最后，得到一个准确的用于行人分割的U型网络。
在提取剪影图像时，由于每个目标行人的检测框或跟踪框大小不同、同一个目标行人在不同视频图像帧中对应的检测框和跟踪框大小也可能不同，因此，在将某一目标行人的检测框或跟踪框确定的图像区域的图像输入至U型网络之前，首先需要对输入的图像区域对应的图像进行归一化处理，将输入的图像归一化到指定大小，如473×473×3大小的图像。
步骤130，分别基于各目标行人的剪影图像序列，获取目标行人的步态能量图。
通常，20至25个不同的姿态序列可以很好地表征一个人的步态特征，因此，在申请具体实施时设置剪影图像序列阈值Th＝20。在对视频图像序列进行检测和跟踪的过程中，当确定的某一目标行人的剪影图像序列中包括的剪影图像数量大于剪影图像序列阈值Th时，则可以进一步根据该剪影图像序列进行步态识别。
例如，通过以下公式确定目标行人的步态能量图：
其中，ID为目标行人的标识，x和y是剪影图像坐标，表示标识为ID的目标行人的剪影图像序列中第t个剪影图像的(x,y)点的像素值，CountID表示标识为ID的目标行人的剪影图像序列中Th个剪影图像的(x,y)点的像素值累加和；GEI(x,y)ID表示标识为ID的目标行人的剪影图像序列(x,y)点对应的步态能量图。
步骤140，基于目标行人的步态能量图，对目标行人进行身份识别。
在本申请的一些实施例中，可以通过预先训练的神经网络模型对目标行人的步态能量图进行识别，确定该目标行人的步态特征。
然后，将该目标行人的步态特征与预设数据库中的步态特征进行匹配，确定与对该目标行人的步态特征匹配的用户的身份信息，作为该目标用户的身份信息。至此，实现了对目标用户基于步态信息进行身份识别。
在本申请的一些实施例中，可以采用包括1个卷积层，2个残差块以及2个全连接层的卷积神经网络用于提取步态特征。在训练阶段选择若干行人的步态能量图作为训练样本，其中，样本数据为用户的步态能量图，样本标签为用户类别。
在训练过程中，首先将训练样本送入卷积神经网络，然后，先进行一次卷积(conv)操作，再对卷积结果进行降采样，之后，经过两个残差块以及两个全连接层进行前向传递求误差损失，最后，进行误差反传训练网络。其中，训练时采用的步态能量图可以为预设数据库中的步态能量图，也可以是公共数据库中的步态能量图。在识别过程中，可以将卷积神经网络的某个特征输出层的特征矢量作为输入步态能量图的步态特征。
本申请实施例公开的基于步态的身份识别方法，通过对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；确定所述目标行人的剪影图像序列；分别基于各目标行人的剪影图像序列，获取所述目标行人的步态能量图；基于目标行人的步态能量图，对所述目标行人进行身份识别，解决了现有技术中多人场景下基于步态识别的身份识别准确率较低的问题。本申请实施例中通过结合行人检测、跟踪和行人重识别技术进行视频图像序列中的相同和不同目标行人的识别，提升了视频图像序列中目标行人识别的准确率，有助于提升多人场景下基于步态的身份识别的准确率。
实施例二
基于前述实施例，本实施例公开的一种基于步态的身份识别方法的具体实施方案。
在本申请的一个实施例中，对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人的步骤，包括：按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
以将本申请公开的身份识别应用于视频监控领域为例，输入的视频图像序列中包括若干帧视频图像，拍摄每帧视频图像之间的时间间隔很短，内容变化不大，如果对每帧视频图像都进行行人检测，并提取行人特征，会造成行人数据冗余，同时也会降低身份识别的效率，因此，本申请基于检测跟踪周期进行行人检测，以提升身份识别的效率，避免行人特征冗余。
例如，将每20帧视频图像对应一个检测跟踪周期，仅对各检测跟踪周期中的第一帧视频图像进行行人检测，确定其中包括的目标行人。
进一步的，为了避免仅对每个检测跟踪周期的第一帧视频图像进行行人检测时，由于某个检测到的目标行人快速运动，导致目标行人被跟丢的情况发生，本申请基于每个检测跟踪周期中第二帧及以后的视频图像帧对检测到的目标行人进行跟踪。
如图2所示，可选的，基于每个检测跟踪周期对应的视频图像，对视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个检测跟踪周期对应的目标行人的跟踪结果的步骤，包括针对每个所述检测跟踪周期执行步骤210至步骤240的操作。
步骤210，基于当前检测跟踪周期对应的跟踪帧图像，对视频图像序列中预先确定的目标行人进行跟踪，确定该当前检测跟踪周期对应的跟踪结果。
本申请的实施例中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
本实施例中，以视频图像序列包括三个检测跟踪周期，每个检测跟踪周期对应20帧视频图像为例详细说明基于每个检测跟踪周期对应的视频图像，对视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个检测跟踪周期对应的目标行人的跟踪结果的具体实施方案。
具体实施时，预先确定的目标行人通过以下至少一种方式确定：若当前检测跟踪周期为首个检测跟踪周期，则根据检测跟踪周期的检测帧图像的检测结果确定；若当前检测跟踪周期非首个检测跟踪周期，则根据相对当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和该当前检测跟踪周期的检测帧图像的检测结果确定。
对于检测跟踪周期为首个检测跟踪周期，根据检测跟踪周期的检测帧图像的检测结果确定目标行人。
首先，对第一个检测跟踪周期对应的检测帧图像进行行人检测，确定所述检测帧图像中包括的目标行人。具体实施时，为了标识视频图像序列中检测到的目标行人，对于检测帧图像中检测到的目标行人分配一个唯一的标识。例如，第一个检测跟踪周期的检测帧图像中检测到3个目标行人，则这3个目标行人的标识可以分别设置为1、2、3。本申请实施例中，将检测帧图像中检测到的目标行人，确定为需跟踪的目标行人。
进一步的，为了后续进行目标行人比对，以及生成目标行人的剪影图像序列，本申请在具体实施时，还需要创建目标信息队列，用于存储检测到的目标行人的信息，例如，存储目标行人的标识、与该标识对应的行人特征和剪影图像等信息。
例如，在对第一个检测跟踪周期中的检测帧图像进行行人检测之后，对于确定的目标行人1，根据目标行人1在检测帧图像中所处的图像区域，即根据目标行人1的检测框对应的图像区域，确定目标行人1的图像。然后，将目标行人1的图像输入至预先训练好的行人重识别特征提取模型，基于行人重识别技术提取目标行人1的行人特征，将提取到的行人特征存储到目标信息队列中目标行人1对应的信息中。
进一步的，还可以将目标行人1的图像输入至预先训练好的U型网络，确定目标行人1对应视频图像序列中第一帧视频图像的剪影图像，并将确定的剪影图像存储目标信息队列中目标行人1对应的信息中。
按照上述方法，可以分别获取检测到的目标行人1、目标行人2和目标行人3的行人特征和对应视频图像序列中第一帧视频图像的剪影图像，并存储到目标信息队列中。
步骤220，对相对该当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果。
然后，基于检测跟踪周期对应的跟踪帧图像，对视频图像序列中预先确定的目标行人进行跟踪，确定该检测跟踪周期对应的跟踪结果。
对于第一个检测跟踪周期，基于第2到第20个跟踪帧图像，对第一个检测帧图像检测到的3个目标行人进行跟踪。在对目标行人进行跟踪时，首先根据检测框初始化跟踪器，然后通过跟踪器对每一个跟踪帧图像中的目标行人进行跟踪。对目标进行跟踪的具体方法参见现有技术，本实施例不再赘述。
在对目标行人进行跟踪时，可以获取每一个跟踪帧图像中各目标行人的跟踪器的所处区域，即各目标行人在相应跟踪帧图像中所处的图像区域。进一步的，根据各目标行人在相应跟踪帧图像中所处的图像区域，可以确定各目标行人在相应跟踪帧图像中的图像。
然后，通过将各目标行人在相应跟踪帧图像中的图像输入至预先训练好的U型网络，确定各目标行人对应视频图像序列中第2帧视频图像至第20帧视频图像的剪影图像。并存储到各目标行人的信息队列中。
具体实施过程中，如果检测到的某个目标行人，如目标行人2，走出了视频监控范围，则在相应的跟踪帧图像中，跟踪器将跟踪不到目标行人2，此时，确定目标行人2为跟踪丢失状态。在本申请的一些实施例中，可以创建跟踪丢失队列存储跟踪丢失的目标行人的信息。
例如，当确定目标行人2跟踪丢失后，将目标行人2的信息从目标信息队列中转移到跟踪丢失队列中。同时，删除目标行人2的跟踪器。在当前检测跟踪周期中，将不再对目标新行人2进行跟踪。而对于在检测跟踪帧中跟踪到的目标行人，将持续对其进行跟踪。
在跟踪的过程中会对当前跟踪帧中的所有需跟踪的目标行人的跟踪结果进行置信度评分，若其中存在某些目标行人的置信度评分低于预设的置信度阈值则确定该目标行人跟踪丢失。
具体实施时，跟踪算法需要能反映每一次跟踪结果的可靠程度，否则可能造成行人目标跟丢、跟错的情况。置信度指标是平均峰值相关能量(average peak-tocorrelation energy，APCE)，反映响应图的波动程度和检测目标的置信水平。在本申请的一个实施例中，置信度评分的计算公式为：当这个评分大于预设的置信度阈值时，认为是高置信度的跟踪结果，其中，Fmax，Fmin分别表示反映响应图中的像素值最大值和最小值；w,h表示反映响应图的水平垂直像素数量；Fw,h表示反映响应图中每一个位置的像素值。
基于第一个检测跟踪周期的19个跟踪帧图像，对视频图像序列中首次出现的3个目标行人进行跟踪后，将确定检测到的3个目标行人的跟踪结果。其中，跟踪结果包括：处于正常跟踪状态的需跟踪的目标行人的标识、跟踪器、行人特征、至少一帧剪影图像，以及处于跟踪丢失状态的需跟踪的目标行人的标识、行人特征、至少一帧剪影图像。
步骤230，根据上述跟踪结果和检测结果进行行人重识别，确定该下一个检测跟踪周期需要跟踪的目标行人。
接下来对第二个检测跟踪周期的检测帧图像进行行人检测，确定检测结果。
对视频图像帧进行行人检测的具体实施方式参见现有技术，本申请的实施例中不再赘述。通过对第二个检测跟踪周期的检测帧图像进行行人检测，确定的检测结果包括：检测帧图像中包括的目标行人、每个目标行人对应的检测框。
进一步的，还可以采用与第一个检测跟踪周期中相同的方式，确定每个目标行人对应第二个检测帧图像(即视频图像序列中第21帧视频图像)的行人特征和剪影图像。假设对第二个检测跟踪周期的检测帧图像进行行人检测，确定其中包括3个目标行人，分别对检测到的3个目标行人分配与之前的检测跟踪周期中检测到的目标行人不同的标识。例如，将第二个检测跟踪周期的检测帧图像中检测到的3个目标行人分别标识为目标行人-1，-2和-3。
之后，根据第一个检测跟踪周期的跟踪结果和第二个检测跟踪周期中检测帧图像的检测结果进行行人重识别，确定第二个检测跟踪周期需要跟踪的目标行人。
在本申请的一些实施例中，跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；检测结果包括：当前检测到的目标行人的检测框。
具体实施时，根据跟踪结果和检测结果进行行人重识别，确定下一个检测跟踪周期需要跟踪的目标行人的步骤，包括：对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；对于每个目标行人对，根据目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新需跟踪的目标行人的信息；对未构成目标行人对的当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
在本申请的一些实施例中，对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配包括：确定处于正常跟踪状态的需跟踪的目标行人的跟踪器与当前检测到的目标行人的检测框的重叠部分的大小，例如，确定跟踪器的所处区域与检测框的所处区域的重叠部分占上述最小所处区域的比例。由上述第一个检测跟踪周期的跟踪结果可知，处于正常跟踪状态的目标行人包括目标行人1和目标行人3，由上述第二个检测跟踪周期的检测结果可知当前检测到的目标行人包括目标行人-1、目标行人-2和目标行人-3，首先，根据目标行人1和目标行人3的跟踪器分别与目标行人-1、目标行人-2和目标行人-3的检测框的重叠部分的大小，确定目标行人对。假设目标行人1的跟踪器和目标行人-1的检测框的重叠部分的大小满足预设条件，则确定目标行人1和目标行人-1为目标行人对。再假设目标行人3的跟踪器和目标行人-1、目标行人-2，以及目标行人-3的检测框的重叠部分的大小均不满足预设条件，则确定目标行人3、目标行人-2、目标行人-3未构成目标行人对。
在对目标行人基于所处区域进行匹配之后，所处区域重叠度较高的需跟踪的目标行人和当前检测到的目标行人将被匹配为目标行人对。进一步的，为了提升同一行人的判断准确率，还需要基于行人特征对目标行人对中的两个目标行人进行行人重识别。
在本申请的一些实施例中，根据目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新需跟踪的目标行人的信息的步骤，包括：根据目标行人对中包括的两个目标行人的行人特征，确定该两个目标行人之间的相似度，其中，该两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；若根据相似度确定该两个目标行人为同一人，则通过当前检测到的目标行人的检测框更新需跟踪的目标行人的跟踪器；若根据相似度确定该两个目标行人非同一人，则将目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至上述需跟踪的目标行人中；其中，行人特征为通过行人重识别技术获取的。
例如，对于目标行人对中需跟踪的目标行人的目标行人1和当前检测到的目标行人-1，进一步通过计算目标行人1和目标行人-1的行人特征的相似度距离确定目标行人1和目标行人-1的相似度。若相似度满足预设相似度条件，则确定目标行人1和目标行人-1是同一个人，通过当前检测到的目标行人-1的检测框更新需跟踪的目标行人1的跟踪器，以便在第二个检测跟踪周期中继续跟踪目标行人1。若相似度不满足预设相似度条件，则确定目标行人1和目标行人-1不是同一个人，认为需跟踪的目标行人1走出了视频监控范围，将目标行人1设置为丢失状态，删除需跟踪的目标行人1的跟踪器。同时，将当前检测到的目标行人-1补充至需跟踪的目标行人中，并将目标行人-1的标识、行人特征以及剪影图像等信息保存到目标信息队列。优选的，本申请实施例中的行人特征为通过行人重识别技术获取的。
在本申请的另一些实例中，在对目标行人基于所处区域进行匹配之后，对未构成目标行人对的当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新需跟踪的目标行人的信息的步骤，包括：根据预先获取的行人特征，确定未构成目标行人对的当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；若根据两两相似度确定相应的未构成目标行人对的当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过当前检测到的目标行人的检测框创建恢复为正常跟踪状态的该需跟踪的目标行人的跟踪器；若根据两两相似度确定当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，即当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人均不匹配，则将当前检测到的目标行人补充至需跟踪的目标行人中；其中，行人特征为通过行人重识别技术获取的。
例如，对于当前检测到的目标行人-2和-3，将其进一步和跟踪丢失队列中的目标行人2进行行人重识别。首先跟据目标行人2的行人特征和目标行人-2和-3的行人特征，分别确定目标行人2和目标行人-2的相似度、目标行人2和目标行人-3的相似度。
然后，根据确定的相似度进一步确定当前检测到的目标行人是否为曾经跟踪丢失的目标行人。
例如，若目标行人2和目标行人-2的相似度满足预设相似度条件，则确定目标行人2和目标行人-2为同一个目标行人，此时，将处于跟踪丢失状态的需跟踪的目标行人2恢复为正常跟踪状态，并通过当前检测到的目标行人的检测框创建目标行人2的跟踪器。
再例如，目标行人2和目标行人-3的相似度不满足预设相似度条件，则确定目标行人2和目标行人-3不是同一个目标行人，此时，将当前检测到的目标行人补充至需跟踪的目标行人中，并将目标行人-3的标识、行人特征以及剪影图像等信息保存到目标信息队列。其中，行人特征为通过行人重识别技术获取的。
在本申请的一些实施例中，处于跟踪丢失状态的需跟踪的目标行人可能为0个、1个或多个。在对需跟踪的目标行人和当前检测到的目标行人的所处区域进行匹配时，如果需跟踪的目标行人和当前检测到的目标行人全部被匹配为目标行人对，则可以确定当前不存在处于跟踪丢失状态的需跟踪的目标行人。因此，在对目标行人基于所处区域进行匹配之后，不需要执行对未构成目标行人对的当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新需跟踪的目标行人的信息的步骤。
在本申请的另一些实施例中，在对目标行人基于所处区域进行匹配之后，对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人3，将其设置为丢失状态。删除目标行人3的跟踪器，并将目标行人3的信息转移至跟踪丢失队列中。
在本申请的另一些实施例中，将所述当前检测到的目标行人补充至需跟踪的目标行人中之后，还包括：若所述当前检测到的目标行人被检测到的次数小于预设数量，则将其从需跟踪的目标行人中移除。例如，若所述当前检测到的目标行人，仅在少数几个检测跟踪周期中被检测到，则认为该目标行人为临时闯入视频监控范围的行人，或发生了跟踪错误，不予对其进行身份识别。若所述当前检测到的目标行人在后续的预设数量的检测跟踪周期中持续被检测到，则认为该目标行人为新出现在视频监控范围的行人，持续对其进行跟踪。
步骤240，判断是否所有检测跟踪周期处理结束，若是，则结束；否则，跳转至步骤210。
本申请具体实施时，针对连续的检测跟踪周期，循环执行上述步骤210至步骤230，直至最后一个检测跟踪周期结束。
本申请实施例中，对各检帧图像中每个目标行人的图像提取行人特征所采用的行人重识别特征提取模型可以通过以下方法训练。
首先，构建网络结构。
由于目标行人的图像通常比较小，而且目标行人图像不是方形的，因此不适合直接使用具有高分辨率和丰富细节的ImageNet(ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库)预训练的卷积神经网络，本申请实施例采用的卷积神经网络模型结构包括：3层卷积层(卷积核大小3×3)，6个Inception模块和两个全连接层。如表1所示Inception模块结构，其中Conv表示卷积层，Pooling表示池化层，表格中每一行代表一个支路。
其次，构建训练样本。
现有技术中的单个数据集的数量较少且样本种类较单一，为了保证训练所得到的Reid-CNN网络具有很好的泛化能力，因此网络训练的数据选择了多个行人重识别数据集，如CUHK03数据集、CUHK01数据集、PRID、VIPeR、3DPeS、iLIDS和Shinpuhkan，然后将上述行人重识别数据集合并成一个大的数据集作为网络的输入，这样保证网络可以学习到更多丰富场景特征信息。
样本数据为图像，样本标签为行人的标识或者属性。
最后，基于生成的训练样本训练卷积神经网络模型。
本申请实施例通过首先根据所处区域进行行人匹配，然后进一步根据行人特征进行目标行人匹配，确定不同视频图像帧中的同一个目标行人，提升了识别视频图像序列中目标行人的准确率，进一步提升基于步态进行身份识别的准确率。
通过根据后续视频检测周期中检测到的目标行人与跟踪丢失的目标行人进行匹配，可以避免跟踪错误导致的视频图像序列中拍摄的行人识别不准确。
本申请在进行目标行人检测与跟踪的同时，使用行人重识别技术能够在多行人背景下或者跨摄像头条件下进行准确的行人标识，有利于准确的提取行人的剪影图像序列。此外，本申请基于卷积神经网络进行自适应的步态特征提取，弥补了传统步态特征提取方法很难准确提取具有代表性的步态特征的缺陷。两者相结合很好地实现了在实时的摄像机监控条件下基于步态进行行人的身份识别。
在本申请的一些实施例中，确定该目标行人的剪影图像序列的步骤具体为：根据获取的目标行人在视频图像序列中每帧视频图像中的剪影图像，确定该目标行人的剪影图像序列，包括：按照剪影图像对应的视频图像帧在所述视频图像序列中的前后位置对每个目标行人的预先获取的剪影图像分别排序，确定每个目标行人的剪影图像序列；其中，每个目标行人的剪影图像通过以下方式获取：根据对检测帧图像进行行人检测时确定的每个目标行人的检测框，获取各目标行人在检测帧图像中的图像；以及，根据对跟踪帧图像进行行人跟踪时确定的每个目标行人的跟踪器，获取各所述目标行人在跟踪帧图像中的图像；将所述目标行人在各帧视频图像中的图像分别输入至预先训练的U型网络，分别确定所述目标行人对应各帧视频图像的剪影图像。
例如，在对最后一个检测跟踪周期对应的视频图像进行检测跟踪之后，确定了处于正常跟踪状态的需跟踪的目标行人和跟踪丢失的目标行人，每个处于正常跟踪状态的需跟踪的目标行人和跟踪丢失的目标行人都被唯一标识，并且在目标信息队列或跟踪丢失队列中都存储有相应的剪影图像。通过将同一个标识对应的所有剪影图像按照该剪影图像所属视频图像帧在视频图像队列中的先后顺序进行排列，就得到了该同一标识对应的目标行人的剪影图像序列。具体实施时，在获取剪影图像时，可以对每个标识对应的目标行人的剪影图像，按照获取的先后顺序分别依次存储，则可以更快速的获取目标行人的剪影图像序列。
实施例三
本实施例公开的一种基于步态的身份识别装置，如图3所示，所述装置包括：
目标行人确定模块310，用于对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；
剪影图像序列确定模块320，用于确定所述目标行人的剪影图像序列；
步态能量图确定模块330，用于分别基于各目标行人的剪影图像序列，获取所述目标行人的步态能量图；
身份识别模块340，用于基于目标行人的步态能量图，对所述目标行人进行身份识别。
可选的，在对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人时，如图4所示，所述目标行人确定模块310进一步包括：
检测跟踪周期确定子模块3101，用于按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；
周期目标行人确定子模块3102，用于按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；
跟踪结果确定子模块3103，用于根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
可选的，在基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果时，如图5所示，所述周期目标行人确定子模块3102，进一步包括：
跟踪单元31021，用于针对每个所述检测跟踪周期，基于当前检测跟踪周期对应的跟踪帧图像，对所述视频图像序列中预先确定的目标行人进行跟踪，确定所述当前检测跟踪周期对应的跟踪结果；
检测单元31022，用于针对每个所述检测跟踪周期，对相对所述当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果；
行人重识别单元31023，用于针对每个所述检测跟踪周期，根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人；
其中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
可选的，所述预先确定的目标行人通过以下至少一种方式确定：
若当前检测跟踪周期为首个检测跟踪周期，则根据所述检测跟踪周期的检测帧图像的检测结果确定；
若当前检测跟踪周期非首个检测跟踪周期，则根据相对所述当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和所述当前检测跟踪周期的检测帧图像的检测结果确定。
可选的，所述跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；所述检测结果包括：当前检测到的目标行人的检测框，在根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人时，所述行人重识别单元31023进一步用于：
对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；
对于每个所述目标行人对，根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息；
对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；
对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
可选的，所述根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据所述目标行人对中包括的两个目标行人的行人特征，确定所述两个目标行人之间的相似度，其中，所述两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；
若根据所述相似度确定所述两个目标行人为同一人，则通过所述当前检测到的目标行人的检测框更新所述需跟踪的目标行人的跟踪器；
若根据所述相似度确定所述两个目标行人非同一人，则将所述目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至上述需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
可选的，所述对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据预先获取的行人特征，确定未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；
若根据所述两两相似度确定相应的未构成目标行人对的所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将所述处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过所述当前检测到的目标行人的检测框创建恢复为正常跟踪状态的所述需跟踪的目标行人的跟踪器；
若根据所述两两相似度确定所述当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，即所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的各目标行人均不匹配，则将所述当前检测到的目标行人补充至需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
在本申请的另一些实施例中，将所述当前检测到的目标行人补充至需跟踪的目标行人中之后，还包括：若所述当前检测到的目标行人被检测到的次数小于预设数量，则将其从需跟踪的目标行人中移除。
本实施例公开的基于步态的身份识别装置用于实现实施例一所述的基于步态的身份识别方法，所述装置的各个模块的具体实施方式参见实施例一中相应步骤的具体实施方式，本实施例不再赘述。
本申请实施例公开的基于步态的身份识别装置，通过对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；根据获取的所述目标行人在视频图像序列中每帧视频图像中的剪影图像，确定所述目标行人的剪影图像序列；分别基于各目标行人的剪影图像序列，获取所述目标行人的步态能量图；基于目标行人的步态能量图，对所述目标行人进行身份识别，解决了现有技术中多人场景下基于步态识别的身份识别准确率较低的问题。本申请实施例中通过结合行人检测、跟踪和行人重识别技术进行视频图像序列中的相同和不同目标行人的识别，提升了视频图像序列中目标行人识别的准确率，有助于提升多人场景下基于步态的身份识别的准确率。
本申请实施例通过首先根据所处区域进行行人匹配，然后进一步根据行人特征进行目标行人匹配，确定不同视频图像帧中的同一个目标行人，提升了识别视频图像序列中目标行人的准确率，进一步提升基于步态进行身份识别的准确率。
通过根据后续视频检测周期中检测到的目标行人与跟踪丢失的目标行人进行匹配，可以避免跟踪错误导致的视频图像序列中拍摄的行人识别不准确。
本申请在进行目标行人检测与跟踪的同时，使用行人重识别技术能够在多行人背景下或者跨摄像头条件下进行准确的行人标识，有利于准确的提取行人的剪影图像序列。此外，本申请基于卷积神经网络进行自适应的步态特征提取，弥补了传统步态特征提取方法很难准确提取具有代表性的步态特征的缺陷。两者相结合很好地实现了在实时的摄像机监控条件下基于步态进行行人的身份识别。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一所述的基于步态的身份识别方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一所述的基于步态的身份识别方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种基于步态的身份识别方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (16)

1.一种基于步态的身份识别方法，其特征在于，包括：
对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；
确定所述目标行人的剪影图像序列；
分别基于各目标行人的所述剪影图像序列，获取所述目标行人的步态能量图；
基于所述目标行人的步态能量图，对所述目标行人进行身份识别。
2.根据权利要求1所述的方法，其特征在于，所述对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人的步骤，包括：
按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；
按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；
根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
3.根据权利要求2所述的方法，其特征在于，所述基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果的步骤，包括：
针对每个所述检测跟踪周期执行以下操作：
基于当前检测跟踪周期对应的跟踪帧图像，对所述视频图像序列中预先确定的目标行人进行跟踪，确定所述当前检测跟踪周期对应的跟踪结果；
对相对所述当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果；
根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人；
其中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
4.根据权利要求3所述的方法，其特征在于，所述预先确定的目标行人通过以下至少一种方式确定：
若当前检测跟踪周期为首个检测跟踪周期，则根据所述检测跟踪周期的检测帧图像的检测结果确定；
若当前检测跟踪周期非首个检测跟踪周期，则根据相对所述当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和所述当前检测跟踪周期的检测帧图像的检测结果确定。
5.根据权利要求3所述的方法，其特征在于，所述跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；
所述检测结果包括：当前检测到的目标行人的检测框；
所述根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人的步骤，包括：
对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；
对于每个所述目标行人对，根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息；
对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；
对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据所述目标行人对中包括的两个目标行人的行人特征，确定所述两个目标行人之间的相似度，其中，所述两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；
若根据所述相似度确定所述两个目标行人为同一人，则通过所述当前检测到的目标行人的检测框更新所述需跟踪的目标行人的跟踪器；
若根据所述相似度确定所述两个目标行人非同一人，则将所述目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至所述需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
7.根据权利要求5所述的方法，其特征在于，所述对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据预先获取的行人特征，确定未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；
若根据所述两两相似度确定相应的未构成目标行人对的所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将所述处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过所述当前检测到的目标行人的检测框创建恢复为正常跟踪状态的所述需跟踪的目标行人的跟踪器；
若根据所述两两相似度确定所述当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，则将所述当前检测到的目标行人补充至需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
8.一种基于步态的身份识别装置，其特征在于，包括：
目标行人确定模块，用于对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人；
剪影图像序列确定模块，用于确定所述目标行人的剪影图像序列；
步态能量图确定模块，用于分别基于各目标行人的所述剪影图像序列，获取所述目标行人的步态能量图；
身份识别模块，用于基于所述目标行人的步态能量图，对所述目标行人进行身份识别。
9.根据权利要求8所述的装置，其特征在于，在对视频图像序列进行行人检测、跟踪和行人重识别，确定所述视频图像序列中的目标行人时，所述目标行人确定模块进一步包括：
检测跟踪周期确定子模块，用于按照每个检测跟踪周期对应视频图像帧的预设数量，确定视频图像序列中连续的检测跟踪周期分别对应的视频图像；
周期目标行人确定子模块，用于按照从前向后的顺序，分别基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果；
跟踪结果确定子模块，用于根据最后一个所述检测跟踪周期对应的目标行人的跟踪结果，确定所述视频图像序列中的目标行人。
10.根据权利要求9所述的装置，其特征在于，在基于每个所述检测跟踪周期对应的视频图像，对所述视频图像序列中的目标行人进行检测、跟踪和行人重识别，确定每个所述检测跟踪周期对应的目标行人的跟踪结果时，所述周期目标行人确定子模块，进一步包括：
跟踪单元，用于针对每个所述检测跟踪周期，基于当前检测跟踪周期对应的跟踪帧图像，对所述视频图像序列中预先确定的目标行人进行跟踪，确定所述当前检测跟踪周期对应的跟踪结果；
检测单元，用于针对每个所述检测跟踪周期，对相对所述当前检测跟踪周期的下一个检测跟踪周期的检测帧图像进行行人检测，确定检测结果；
行人重识别单元，用于针对每个所述检测跟踪周期，根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人；
其中，所述检测帧图像为每个检测跟踪周期对应预设数量的视频图像序列中的第一帧视频图像，所述跟踪帧图像为每个检测跟踪周期对应的视频图像序列中除第一帧视频图像以外的视频图像。
11.根据权利要求10所述的装置，其特征在于，所述预先确定的目标行人通过以下至少一种方式确定：
若当前检测跟踪周期为首个检测跟踪周期，则根据所述检测跟踪周期的检测帧图像的检测结果确定；
若当前检测跟踪周期非首个检测跟踪周期，则根据相对所述当前检测跟踪周期的前一个检测跟踪周期对应的跟踪结果和所述当前检测跟踪周期的检测帧图像的检测结果确定。
12.根据权利要求10所述的装置，其特征在于，所述跟踪结果至少包括：处于正常跟踪状态的需跟踪的目标行人及该目标行人的跟踪器、处于跟踪丢失状态的需跟踪的目标行人；
所述检测结果包括：当前检测到的目标行人的检测框；
在根据所述跟踪结果和所述检测结果进行行人重识别，确定所述下一个检测跟踪周期需要跟踪的目标行人时，所述行人重识别单元进一步用于：
对所述处于正常跟踪状态的需跟踪的目标行人与当前检测到的目标行人的所处区域进行匹配，确定目标行人对；
对于每个所述目标行人对，根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息；
对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息；
对于未构成目标行人对的处于正常跟踪状态的需跟踪的目标行人，将其设置为丢失状态。
13.根据权利要求12所述的装置，其特征在于，所述根据所述目标行人对中包括的需跟踪的目标行人和当前检测到的目标行人的相似度进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据所述目标行人对中包括的两个目标行人的行人特征，确定所述两个目标行人之间的相似度，其中，所述两个目标行人包括：需跟踪的目标行人和当前检测到的目标行人；
若根据所述相似度确定所述两个目标行人为同一人，则通过所述当前检测到的目标行人的检测框更新所述需跟踪的目标行人的跟踪器；
若根据所述相似度确定所述两个目标行人非同一人，则将所述目标行人对中包括的需跟踪的目标行人设置为丢失状态，并删除该需跟踪的目标行人的跟踪器，以及将所述当前检测到的目标行人补充至所述需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
14.根据权利要求12所述的装置，其特征在于，所述对未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的目标行人进行行人重识别，以更新所述需跟踪的目标行人的信息的步骤，包括：
根据预先获取的行人特征，确定未构成目标行人对的所述当前检测到的每个目标行人与处于跟踪丢失状态的需跟踪的每个目标行人之间的两两相似度；
若根据所述两两相似度确定相应的未构成目标行人对的所述当前检测到的目标行人与处于跟踪丢失状态的需跟踪的目标行人为同一人，则将所述处于跟踪丢失状态的需跟踪的目标行人恢复为正常跟踪状态，并通过所述当前检测到的目标行人的检测框创建恢复为正常跟踪状态的所述需跟踪的目标行人的跟踪器；
若根据所述两两相似度确定所述当前检测到的目标行人非处于跟踪丢失状态的需跟踪的目标行人，则将所述当前检测到的目标行人补充至需跟踪的目标行人中；
其中，所述行人特征为通过行人重识别技术获取的。
15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的基于步态的身份识别方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任意一项所述的基于步态的身份识别方法的步骤。
CN201810998094.4A 2018-08-29 2018-08-29 基于步态的身份识别方法、装置、电子设备 Pending CN109271888A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810998094.4A CN109271888A (zh) 2018-08-29 2018-08-29 基于步态的身份识别方法、装置、电子设备
PCT/CN2018/119766 WO2020042419A1 (zh) 2018-08-29 2018-12-07 基于步态的身份识别方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810998094.4A CN109271888A (zh) 2018-08-29 2018-08-29 基于步态的身份识别方法、装置、电子设备

Publications (1)

Publication Number Publication Date
CN109271888A true CN109271888A (zh) 2019-01-25

Family

ID=65154459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810998094.4A Pending CN109271888A (zh) 2018-08-29 2018-08-29 基于步态的身份识别方法、装置、电子设备

Country Status (2)

Country Link
CN (1) CN109271888A (zh)
WO (1) WO2020042419A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046599A (zh) * 2019-04-23 2019-07-23 东北大学 基于深度融合神经网络行人重识别技术的智能监控方法
CN110245609A (zh) * 2019-06-13 2019-09-17 深圳力维智联技术有限公司 行人轨迹生成方法、装置及可读存储介质
CN111565225A (zh) * 2020-04-27 2020-08-21 银河水滴科技（北京）有限公司 一种人物行动轨迹确定方法及装置
CN111626242A (zh) * 2020-05-30 2020-09-04 哈尔滨理工大学 一种基于深度学习的步态识别系统
CN111914690A (zh) * 2020-07-15 2020-11-10 西安米克斯智能技术有限公司 一种视频识别中目标对象中长期跟踪方法
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN112016353A (zh) * 2019-05-30 2020-12-01 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN112132873A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于计算机视觉的多镜头行人识别与跟踪
CN112163499A (zh) * 2020-09-23 2021-01-01 电子科技大学 一种基于融合特征的小目标行人检测方法
CN112200022A (zh) * 2020-09-23 2021-01-08 上海联影医疗科技股份有限公司 图像处理方法、医疗成像设备和存储介质
CN112307979A (zh) * 2020-10-31 2021-02-02 成都新潮传媒集团有限公司 一种人员属性识别方法、装置及计算机设备
CN112668493A (zh) * 2020-12-30 2021-04-16 上海交通大学 基于gan和深度学习的换装行人再识别定位跟踪系统
CN112906466A (zh) * 2021-01-15 2021-06-04 深圳云天励飞技术股份有限公司 图像关联方法、系统及设备以及图像搜索方法及系统
CN113312953A (zh) * 2021-01-05 2021-08-27 武汉大学 基于步态识别的类人机器人身份鉴别方法及系统
CN113344975A (zh) * 2021-06-24 2021-09-03 西安天和防务技术股份有限公司 一种多目标跟踪方法、装置及电子设备
CN113963437A (zh) * 2021-10-15 2022-01-21 武汉众智数字技术有限公司 一种基于深度学习的步态识别序列获取方法和系统
CN114012742A (zh) * 2022-01-05 2022-02-08 北京动思创新科技有限公司 一种髋关节助力装置的控制系统
CN114394063A (zh) * 2022-01-18 2022-04-26 北京邮电大学 一种基于步态分析的汽车无钥匙进入安全防护系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597887B (zh) * 2020-04-08 2023-02-03 北京大学 一种行人再识别方法及系统
CN111553234B (zh) * 2020-04-22 2023-06-06 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN114067299A (zh) * 2020-07-31 2022-02-18 郑州信大先进技术研究院 一种车牌识别方法
CN112101176B (zh) * 2020-09-09 2024-04-05 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112686178B (zh) * 2020-12-30 2024-04-16 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN112766057B (zh) * 2020-12-30 2022-05-13 浙江大学 一种面向复杂场景细粒度属性驱动的步态数据集合成方法
CN113139521B (zh) * 2021-05-17 2022-10-11 中国大唐集团科学技术研究院有限公司中南电力试验研究院 一种用于电力监控的行人越界标监测方法
CN113283362B (zh) * 2021-06-04 2024-03-22 中国矿业大学 一种跨模态的行人重识别方法
CN113420679B (zh) * 2021-06-26 2024-04-26 南京搜文信息技术有限公司 一种人工智能跨相机多目标追踪系统及追踪方法
CN113657169B (zh) * 2021-07-19 2023-06-20 浙江大华技术股份有限公司 一种步态识别方法、装置、系统和计算机可读存储介质
CN113537121B (zh) * 2021-07-28 2024-06-21 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备
CN118298515B (zh) * 2024-06-06 2024-09-10 山东科技大学 一种基于骨架数据生成步态剪影图的步态数据扩充方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN106919921A (zh) * 2017-03-06 2017-07-04 重庆邮电大学 结合子空间学习与张量神经网络的步态识别方法及系统
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587541B (zh) * 2009-06-18 2011-02-02 上海交通大学 基于人体轮廓的人物识别方法
CN105518744B (zh) * 2015-06-29 2018-09-07 北京旷视科技有限公司 行人再识别方法及设备
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
CN107563313B (zh) * 2017-08-18 2020-07-07 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN106919921A (zh) * 2017-03-06 2017-07-04 重庆邮电大学 结合子空间学习与张量神经网络的步态识别方法及系统
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG LIANG 等: "Person Re-identification in the Wild", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
周纪强: "监控视频中多类目标检测与多目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046599A (zh) * 2019-04-23 2019-07-23 东北大学 基于深度融合神经网络行人重识别技术的智能监控方法
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN111950321B (zh) * 2019-05-14 2023-12-05 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN112016353A (zh) * 2019-05-30 2020-12-01 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN112016353B (zh) * 2019-05-30 2024-05-21 普天信息技术有限公司 一种基于视频的人脸图像进行身份识别方法及装置
CN110245609A (zh) * 2019-06-13 2019-09-17 深圳力维智联技术有限公司 行人轨迹生成方法、装置及可读存储介质
CN111565225A (zh) * 2020-04-27 2020-08-21 银河水滴科技（北京）有限公司 一种人物行动轨迹确定方法及装置
CN111565225B (zh) * 2020-04-27 2023-08-04 银河水滴科技(宁波)有限公司 一种人物行动轨迹确定方法及装置
CN111626242A (zh) * 2020-05-30 2020-09-04 哈尔滨理工大学 一种基于深度学习的步态识别系统
CN111914690A (zh) * 2020-07-15 2020-11-10 西安米克斯智能技术有限公司 一种视频识别中目标对象中长期跟踪方法
CN111914690B (zh) * 2020-07-15 2023-11-10 西安米克斯智能技术有限公司 一种视频识别中目标对象中长期跟踪方法
CN112200022A (zh) * 2020-09-23 2021-01-08 上海联影医疗科技股份有限公司 图像处理方法、医疗成像设备和存储介质
CN112163499A (zh) * 2020-09-23 2021-01-01 电子科技大学 一种基于融合特征的小目标行人检测方法
CN112132873A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于计算机视觉的多镜头行人识别与跟踪
CN112307979A (zh) * 2020-10-31 2021-02-02 成都新潮传媒集团有限公司 一种人员属性识别方法、装置及计算机设备
CN112668493A (zh) * 2020-12-30 2021-04-16 上海交通大学 基于gan和深度学习的换装行人再识别定位跟踪系统
CN112668493B (zh) * 2020-12-30 2022-11-11 上海交通大学 基于gan和深度学习的换装行人再识别定位跟踪系统
CN113312953A (zh) * 2021-01-05 2021-08-27 武汉大学 基于步态识别的类人机器人身份鉴别方法及系统
CN113312953B (zh) * 2021-01-05 2022-10-04 武汉大学 基于步态识别的类人机器人身份鉴别方法及系统
CN112906466A (zh) * 2021-01-15 2021-06-04 深圳云天励飞技术股份有限公司 图像关联方法、系统及设备以及图像搜索方法及系统
CN113344975A (zh) * 2021-06-24 2021-09-03 西安天和防务技术股份有限公司 一种多目标跟踪方法、装置及电子设备
CN113963437A (zh) * 2021-10-15 2022-01-21 武汉众智数字技术有限公司 一种基于深度学习的步态识别序列获取方法和系统
CN114012742B (zh) * 2022-01-05 2022-03-29 北京动思创新科技有限公司 一种髋关节助力装置的控制系统
CN114012742A (zh) * 2022-01-05 2022-02-08 北京动思创新科技有限公司 一种髋关节助力装置的控制系统
CN114394063A (zh) * 2022-01-18 2022-04-26 北京邮电大学 一种基于步态分析的汽车无钥匙进入安全防护系统

Also Published As

Publication number Publication date
WO2020042419A1 (zh) 2020-03-05

Similar Documents

Publication Publication Date Title
CN109271888A (zh) 基于步态的身份识别方法、装置、电子设备
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110427905A (zh) 行人跟踪方法、装置以及终端
JP7097641B2 (ja) 畳み込み知覚ハッシュアルゴリズムに基づくループ検出方法
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN110188720A (zh) 一种基于卷积神经网络的目标检测方法及系统
CN110175993A (zh) 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN108460403A (zh) 一种图像中多尺度特征融合的目标检测方法与系统
CN109948526A (zh) 图像处理方法及装置、检测设备及存储介质
CN108960059A (zh) 一种视频动作识别方法及装置
CN106778464A (zh) 一种基于深度学习的行人重识别方法和装置
CN108073888A (zh) 一种教学辅助方法及采用该方法的教学辅助系统
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN108764085A (zh) 基于生成对抗网络的人群计数方法
CN109919977A (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110163836A (zh) 基于深度学习用于高空巡检下的挖掘机检测方法
CN105740773A (zh) 基于深度学习和多尺度信息的行为识别方法
CN109919245A (zh) 深度学习模型训练方法及装置、训练设备及存储介质
Hsu et al. Deep hierarchical network with line segment learning for quantitative analysis of facial palsy
CN110097574A (zh) 一种已知刚体的实时位姿估计方法
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN110322509A (zh) 基于层级类激活图的目标定位方法、系统及计算机设备
CN108280398A (zh) 一种基于多视角融合的步态识别方法及系统
CN112465858A (zh) 基于概率网格滤波的语义视觉slam方法
CN110348492A (zh) 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination