CN116721463A - 基于质量评估的步态识别方法、装置、电子设备及介质 - Google Patents

基于质量评估的步态识别方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116721463A
CN116721463A CN202310637515.1A CN202310637515A CN116721463A CN 116721463 A CN116721463 A CN 116721463A CN 202310637515 A CN202310637515 A CN 202310637515A CN 116721463 A CN116721463 A CN 116721463A
Authority
CN
China
Prior art keywords
gait
frame
feature
sequence
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310637515.1A
Other languages
English (en)
Inventor
侯赛辉
曹春水
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinhe Shuidi Technology Ningbo Co ltd
Original Assignee
Yinhe Shuidi Technology Ningbo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinhe Shuidi Technology Ningbo Co ltd filed Critical Yinhe Shuidi Technology Ningbo Co ltd
Priority to CN202310637515.1A priority Critical patent/CN116721463A/zh
Publication of CN116721463A publication Critical patent/CN116721463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于质量评估的步态识别方法、装置、电子设备及介质，所述方法针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果；这样，将质量感知融入到步态序列处理和步态特征提取，得到更具有判别度的步态特征。

Description

基于质量评估的步态识别方法、装置、电子设备及介质
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种基于质量评估的步态识别方法、装置、电子设备及介质。
背景技术
近年来，随着人工智能技术的不断发展，越来越多的生物特征可以被提取出来并用于身份验证，目前市的有人脸验证、指纹验证、声纹验证，以及步态验证。在通过步态识别模型进行步态验证的过程中，由于没有考虑质量评估机制，输入到步态识别模型的步态图像序列包含分割质量很差的帧，而在步态特征提取的过程中对于同一个剪影序列中的帧赋予相同的权重，这就导致质量很差的图像帧影响了提取的步态特征的精度，进而影响步态验证的效果。
发明内容
有鉴于此，本申请的目的在于提供一种基于质量评估的步态识别方法、装置、电子设备及介质，能够降低分割质量差的步态图像帧对步态特征精度影响，从而提高步态验证的精度。
本申请实施例提供的一种基于质量评估的步态识别方法，包括：
针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
在一些实施例中，所述的基于质量评估的步态识别方法中，所述质量属性包括：步态图片的清晰度、步态图片中的剪影和/或关键点的遮挡程度。
在一些实施例中，所述的基于质量评估的步态识别方法中，确定该帧步态图片的质量评分之后，所述方法还包括：
筛选出质量评分符合预设质量条件的步态图片，并更新步态图片序列。
在一些实施例中，所述的基于质量评估的步态识别方法中，当所述步态图片序列为剪影图片序列时，所述提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
提取步态图片序列表征每张步态图片中细节信息的目标步态特征序列，并基于每帧步态图片的质量评分融合所述目标步态特征序列，得到第一融合步态特征；
提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征；
二次融合第一融合步态特征、第二融合步态特征，得到融合后的待识别步态特征。
在一些实施例中，所述的基于质量评估的步态识别方法中，提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征，包括：
将步态图片序列输入至训练好的剪影特征提取模型，通过剪影特征提取模型的第一部分卷积层提取步态图片序列的底层步态特征序列；
基于每帧步态图片的质量评分融合所述底层步态特征序列，得到包括步态图片序列上下文信息的底层融合步态特征；
通过剪影特征提取模型的第二部分卷积层提取底层融合步态特征的上下文信息，得到表征步态图片序列上下文信息的第二融合步态特征。
在一些实施例中，所述的基于质量评估的步态识别方法中，当步态图片序列为关键点图片序列时，提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
将步态图片序列输入至关键点特征提取模型，通过关键点特征提取模型提取所述步态图片序列的帧级关键点特征序列；
根据每帧步态图片的质量评分，对帧级关键点特征序列中的每一帧级关键点特征加权，输出加权后的帧级关键点特征序列；
融合加权后的帧级关键点特征序列，输出融合后的待识别步态特征。
在一些实施例中，所述的基于质量评估的步态识别方法中，基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，包括：
计算所述待识别步态特征和预先构建的步态特征库中至少部分步态特征之间的相似度；
从所述至少部分步态特征中筛选出相似度符合预设相似度条件的目标步态特征。
在一些实施例中，还提供一种基于质量评估的步态识别装置，所述装置包括：
确定模块，用于针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
融合模块，用于提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
检索模块，用于基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的基于质量评估的步态识别方法的步骤。
在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的基于质量评估的步态识别方法的步骤。
本申请实施例中提供一种基于质量评估的步态识别方法、装置、电子设备及介质，所述方法针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果；这样，将质量感知融入到步态序列处理和步态特征提取，降低低质量的步态图片帧对步态特征的影响，从而得到更具有判别度的步态特征，提高步态验证的精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所述剪影序列的示意图；
图2示出了本申请实施例所述基于质量评估的步态识别方法的方法流程图；
图3示出了本申请实施例所述提取步态图片序列的帧级步态特征序列的方法流程图；
图4示出了本申请实施例所述剪影特征提取模型的结构示意图；
图5示出了本申请实施例所述关键点特征提取模型结构示意图；
图6示出了本申请实施例所述基于所述待识别步态特征在预先构建的步态特征库进行检索的方法流程图；
图7示出了本申请实施例所述基于质量评估的步态识别装置的结构示意图；
图8示出了本申请实施例所述电子设备的结构示意图
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
近年来，随着人工智能技术的不断发展，越来越多的生物特征可以被提取出来并用于身份验证，目前市的有人脸验证、指纹验证、声纹验证，以及步态验证。在通过步态识别模型进行步态验证的过程中，由于没有考虑质量评估机制，输入到步态识别模型的步态图像序列包含分割质量很差的帧，而在步态特征提取的过程中对于同一个剪影序列中的帧赋予相同的权重，这就导致质量很差的图像帧影响了提取的步态特征的精度，进而影响步态验证的效果。
请参照图1，图1示出了一组剪影序列；在图1中可以看到，输入到步态识别模型的剪影序列包含分割质量很差的帧，如图1中(e)所示；在步态特征提取的过程中对于同一个剪影序列中的帧赋予相同的权重，如图(d)的分割质量明显弱于图(a)-(c)，但是图(d)所示的剪影在步态特征提取的过程中通常被赋予和图(a)-(c)相同的权重。这样，就会由于部分剪影图像不能很好的表征人物的行走姿态，从而使得提取出的步态特征判别度下降。
基于此，本申请实施例中提供一种基于质量评估的步态识别方法、装置、电子设备及介质，所述方法针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果；这样，将质量感知融入到步态序列处理和步态特征提取，降低低质量的步态图片帧对步态特征的影响，从而得到更具有判别度的步态特征，提高步态验证的精度。
请参照图2，图2示出了本申请实施例所述基于质量评估的步态识别方法的方法流程图，具体的，所述基于质量评估的步态识别方法包括以下步骤S201-S203:
S201、针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
S202、提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
S203、基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
所述方法将质量感知融入到步态序列处理和步态特征提取，降低低质量的步态图片帧对步态特征的影响，从而得到更具有判别度的步态特征，提高步态验证的精度。
在所述步骤S201中，针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分。
所述多帧步态图片序列中包括多帧步态图片，每帧步态图片中携带行走姿态信息。所述行走姿态信息可以为人体轮廓剪影、人体关键点信息；所述人体关键点是能够表征行走姿态特征的点。
这样，所述步态图片可以为剪影图片、关键点图像。
根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分，所述质量属性包括：步态图片的清晰度、步态图片中的剪影和/或关键点的遮挡程度。
如果步态图片质量低，例如步态图片清晰度不够，或者如图1中(d)、(e)中，图片中的剪影或者关键点被遮挡，这样就会影响提取出的步态特征的判别度。
因此，本申请实施例将质量评估融入到步态序列处理和步态特征提取中，降低低质量图片的权重，从而得到从而能够提取更具有判别力的步态特征。
在根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分时，具体的，将多帧步态图片序列输入至训练好的质量评估模块，通过所述质量评估模块提取所述每帧步态图片中的质量属性特征，并基于提取的质量属性特征确定该帧步态图片的质量评分。
这里，所述多帧步态图片可以为视频。
本申请实施例中，通过分割、姿态估计等方法解析输入视频中每个行人的行走序列，并对序列中每帧步态图片的质量根据模糊、遮挡等情况进行评分，评分的取值范围归一化到0到1之间。
具体而言，本申请实施例中，所述质量评估模块可以采用以下两种模型。
第一：基于不确定性的质量评估模块
在对输入视频进行分割、姿态估计等方法的步态序列提取模型中，引入不确定性估计模块作为质量评估模块，在模型推理阶段，对于每一帧的前向传播过程，对模型参数进行K次随机的dropout，得到K组结果。通过计算K次结果的熵，可以对每一个样本提供一个不确定性得分，得分越高，意味着步态序列提取模型认为预测结果越不可信，整张步态图片中的不确定性分数越高，意味着这张图像的质量越低，反之亦然。将不确定性分数归一化到[0,1]，输出[0,1]内的不确定性分数为质量评分。丢弃质量评分低于0.1的帧。
第二：基于CNN的质量评估模块
我们人工标注一个步态序列质量数据集，其中样本为提取的步态序列，标签为人工标注的质量评分，取值为[0,1]。在传统分割网络/姿态估计解析网络/人体解析网络中添加一个质量评估模块，在步态序列质量数据集中进行微调，输出结果为质量评分。
本申请实施例中，所述的基于质量评估的步态识别方法还包括：确定该帧步态图片的质量评分之后，所述方法还包括：
筛选出质量评分符合预设质量条件的步态图片，并更新步态图片序列。
所述预设质量条件为以下之一：质量评分大于或等于预设评分阈值，预设数目个质量评分排序在先的步态图片。
示例性的，所述预设评分阈值为0.1，即保留质量评分大于或等于0.1的步态图片，舍弃质量评分小于0.1的步态图片。
在所述步骤S202中，提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征。
具体的，本申请实施例中，提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
通过步态特征提取模型提取步态图片序列的帧级步态特征序列；所述帧级步态特征序列包括多个帧级步态特征，每一帧级步态特征对应一质量评分；
利用质量评分对不同帧级步态特征进行加权融合，得到融合后的待识别步态特征。
利用质量评分对不同帧级步态特征进行加权融合，即帧级步态特征乘以一个0到1之间的质量评分，从而减少质量较差的步态图像帧对于序列特征的影响。
本申请实施例中，由于剪影图片序列和关键点图片序列所包含的信息不同，因此，采用的不同的融合策略。
当所述步态图片序列为剪影图片序列时，所述提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，具体包括：
提取步态图片序列的不同种类的帧级步态特征序列；
分别基于每帧步态图片的质量评分融合每种种类的帧级步态特征序列，得到多种的融合步态特征；
二次融合多种的融合步态特征，得到融合后的待识别步态特征。
其中，所述帧级步态特征序列的种类包括：表征每帧步态图片细节信息的帧级步态特征序列，表征步态图片序列上下文信息的帧级步态特征序列。
具体的，请参照图3，所述的基于质量评估的步态识别方法中，当所述步态图片序列为剪影图片序列时，所述提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括以下步骤S301-S303:
S301、提取步态图片序列表征每张步态图片中细节信息的目标步态特征序列，并基于每帧步态图片的质量评分融合所述目标步态特征序列，得到第一融合步态特征；
S302、提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征；
S303、二次融合第一融合步态特征、第二融合步态特征，得到融合后的待识别步态特征。
这样，第一融合步态特征能够表征剪影图片序列中每一剪影图像的细节特征，也即能够表征步态细节特征；第二融合步态特征能够表征剪影图像序列的上下文特征，也即能够表征不同步态特征之间的联系，这样，二次融合后的待识别步态特征既包括足够丰富的细节特征，又包括不同步态特征之间的联系，从而使得所述待识别步态特征更具判别力，提高步态认证的可靠程度。
本申请实施例中，通过剪影特征提取模型提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征。
具体的，提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征，包括：
将步态图片序列输入至训练好的剪影特征提取模型，通过剪影特征提取模型的第一部分卷积层提取步态图片序列的底层步态特征序列；
基于每帧步态图片的质量评分融合所述底层步态特征序列，得到包括步态图片序列上下文信息的底层融合步态特征；
通过剪影特征提取模型的第二部分卷积层提取底层融合步态特征的上下文信息，得到表征步态图片序列上下文信息的第二融合步态特征。
本申请实施例中，所述剪影特征提取模型还能够同时得到第一融合步态特征；具体的，剪影特征提取模型的多个卷积层提取步态图片序列的目标步态特征序列，并基于每帧步态图片的质量评分融合所述目标步态特征序列，得到第一融合步态特征。
这里，提取目标步态特征序列和提取底层步态特征序列时，可以共用至少部分卷积层。
本申请实施例中，所述剪影特征提取模型为GaitSet模型。
请参照图4，图4示出了所述剪影特征提取模型的结构示意图；将剪影图片序列输入至剪影特征提取模型，该模型中包含两个分支：i.第一个分支(蓝色)对于每张剪影提取帧级特征，在最后阶段利用质量感知得分对帧级特征进行加权融合得到集合特征；ii.第二个分支(黄色)在底层就对于帧级特征利用质感感知得分进行加权融合得到集合特征，然后再利用CNN进行进一步特征提取；iii.将上述两种不同方法得到的集合特征通过水平金字塔映射，得到最终的步态特征。这里，第一个分支是高层再融合，这样更有利于保留每一帧的细节，第二个分支是底层就融合，这样更容易捕捉剪影图片序列中的上下文信息。
本申请实施例中，当步态图片序列为关键点图片序列时，提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
将步态图片序列输入至关键点特征提取模型，通过关键点特征提取模型提取所述步态图片序列的帧级关键点特征序列；
根据每帧步态图片的质量评分，对帧级关键点特征序列中的每一帧级关键点特征加权，输出加权后的帧级关键点特征序列；
融合加权后的帧级关键点特征序列，输出融合后的待识别步态特征。
本申请实施例中，所述关键点特征提取模型采用GaitGraph模型。
请参照图5，图5示出了本申请实施例所述关键点特征提取模型结构示意图；将关键点图片序列输入至关键点特征提取模型中的多组ResGCN模块中，其中ResGCN模块包括图卷积层，2d卷积层，瓶颈层等，通过多组ResGCN模块提取出帧级关键点特征序列；利用质量评分对帧级关键点序列特征加权，输出加权后的帧级关键点特征序列；.为输出的加权后的帧级关键点特征序列做平均池化，输入到全连接层，输出最终的、融合后的待识别步态特征。
在所述步骤S102中，基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征。
请参照图6，基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，包括以下步骤S601-S602:
S601、计算所述待识别步态特征和预先构建的步态特征库中至少部分步态特征之间的相似度；
S602、从所述至少部分步态特征中筛选出相似度符合预设相似度条件的目标步态特征。
本申请实施例中，步态特征库中至少部分步态特征，可以是全部的步态特征，也可以是基于筛选条件筛选出的部分步态特征，所述筛选条件可以是年龄、性别、城市等条件。
计算所述待识别步态特征和预先构建的步态特征库中至少部分步态特征之间的相似度，具体的，通过矩阵乘法计算待识别步态特征和至少部分步态特征之间的余弦相似度。
所述预设相似度条件，可以为预设相似度阈值，或者相似度排序在先的预设数目个步态特征。
示例性的，预设相似度阈值为0.7，筛选出相似度大于等于0.7的目标步态特征。
本申请实施例中，筛选出相似度符合预设相似度条件的目标步态特征按照相似度从大到小的顺序排列，以便根据相似度大小进行后续的验证工作。
基于同一发明构思，本申请实施例中还提供了与基于质量评估的步态识别方法对应的基于质量评估的步态识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述基于质量评估的步态识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参照图7，图7示出了本申请实施例所述基于质量评估的步态识别装置的结构示意图，具体的，所述装置包括：
确定模块701，用于针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
融合模块702，用于提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
检索模块703，用于基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
本申请实施例所述的基于质量评估的步态识别装置针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果；这样，将质量感知融入到步态序列处理和步态特征提取，降低低质量的步态图片帧对步态特征的影响，从而得到更具有判别度的步态特征，提高步态验证的精度。
本申请实施例所述的基于质量评估的步态识别装置中，所述质量属性包括：步态图片的清晰度、步态图片中的剪影和/或关键点的遮挡程度。
本申请实施例所述的基于质量评估的步态识别装置中还包括：
筛选模块，用于在确定该帧步态图片的质量评分之后，筛选出质量评分符合预设质量条件的步态图片，并更新步态图片序列。
本申请实施例所述的基于质量评估的步态识别装置中，当所述步态图片序列为剪影图片序列时，所述融合模块，在提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征时，具体用于：
提取步态图片序列表征每张步态图片中细节信息的目标步态特征序列，并基于每帧步态图片的质量评分融合所述目标步态特征序列，得到第一融合步态特征；
提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征；
二次融合第一融合步态特征、第二融合步态特征，得到融合后的待识别步态特征。
本申请实施例所述的基于质量评估的步态识别装置中，所述融合模块，在提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征，包括：
将步态图片序列输入至训练好的剪影特征提取模型，通过剪影特征提取模型的第一部分卷积层提取步态图片序列的底层步态特征序列；
基于每帧步态图片的质量评分融合所述底层步态特征序列，得到包括步态图片序列上下文信息的底层融合步态特征；
通过剪影特征提取模型的第二部分卷积层提取底层融合步态特征的上下文信息，得到表征步态图片序列上下文信息的第二融合步态特征。
本申请实施例所述的基于质量评估的步态识别装置中，当步态图片序列为关键点图片序列时，所述融合模块，在提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征时，具体用于：
将步态图片序列输入至关键点特征提取模型，通过关键点特征提取模型提取所述步态图片序列的帧级关键点特征序列；
根据每帧步态图片的质量评分，对帧级关键点特征序列中的每一帧级关键点特征加权，输出加权后的帧级关键点特征序列；
融合加权后的帧级关键点特征序列，输出融合后的待识别步态特征。
本申请实施例所述的基于质量评估的步态识别装置中，所述检索模块，在基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征时，具体用于：
计算所述待识别步态特征和预先构建的步态特征库中至少部分步态特征之间的相似度；
从所述至少部分步态特征中筛选出相似度符合预设相似度条件的目标步态特征。
基于同一发明构思，本申请实施例中还提供了与基于质量评估的步态识别方法对应的电子设备，由于本申请实施例中的电子设备解决问题的原理与本申请实施例上述基于质量评估的步态识别方法相似，因此电子设备的实施可以参见方法的实施，重复之处不再赘述。
请参照图8，图8示出了本申请实施例所述电子设备的结构示意图，具体的，所述电子设备800包括：处理器802、存储器801和总线，所述存储器801存储有所述处理器802可执行的机器可读指令，当电子设备800运行时，所述处理器802与所述存储器801之间通过总线通信，所述机器可读指令被所述处理器802执行时执行所述的基于质量评估的步态识别方法的步骤。
基于同一发明构思，本申请实施例中还提供了与基于质量评估的步态识别方法对应的计算机可读存储介质，由于本申请实施例中的计算机可读存储介质解决问题的原理与本申请实施例上述基于质量评估的步态识别方法相似，因此计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。
一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的基于质量评估的步态识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，平台服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于质量评估的步态识别方法，其特征在于，所述方法包括：
针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
2.根据权利要求1所述的基于质量评估的步态识别方法，其特征在于，所述质量属性包括：步态图片的清晰度、步态图片中的剪影和/或关键点的遮挡程度。
3.根据权利要求1所述的基于质量评估的步态识别方法，其特征在于，确定该帧步态图片的质量评分之后，所述方法还包括：
筛选出质量评分符合预设质量条件的步态图片，并更新步态图片序列。
4.根据权利要求1所述的基于质量评估的步态识别方法，其特征在于，当所述步态图片序列为剪影图片序列时，所述提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
提取步态图片序列表征每张步态图片中细节信息的目标步态特征序列，并基于每帧步态图片的质量评分融合所述目标步态特征序列，得到第一融合步态特征；
提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征；
二次融合第一融合步态特征、第二融合步态特征，得到融合后的待识别步态特征。
5.根据权利要求4所述的基于质量评估的步态识别方法，其特征在于，提取步态图片序列的底层步态特征序列，并基于每帧步态图片的质量评分融合所述底层步态特征序列，得到表征步态图片序列上下文信息的第二融合步态特征，包括：
将步态图片序列输入至训练好的剪影特征提取模型，通过剪影特征提取模型的第一部分卷积层提取步态图片序列的底层步态特征序列；
基于每帧步态图片的质量评分融合所述底层步态特征序列，得到包括步态图片序列上下文信息的底层融合步态特征；
通过剪影特征提取模型的第二部分卷积层提取底层融合步态特征的上下文信息，得到表征步态图片序列上下文信息的第二融合步态特征。
6.根据权利要求1所述的基于质量评估的步态识别方法，其特征在于，当步态图片序列为关键点图片序列时，提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征，包括：
将步态图片序列输入至关键点特征提取模型，通过关键点特征提取模型提取所述步态图片序列的帧级关键点特征序列；
根据每帧步态图片的质量评分，对帧级关键点特征序列中的每一帧级关键点特征加权，输出加权后的帧级关键点特征序列；
融合加权后的帧级关键点特征序列，输出融合后的待识别步态特征。
7.根据权利要求1所述的基于质量评估的步态识别方法，其特征在于，基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，包括：
计算所述待识别步态特征和预先构建的步态特征库中至少部分步态特征之间的相似度；
从所述至少部分步态特征中筛选出相似度符合预设相似度条件的目标步态特征。
8.基于质量评估的步态识别装置，其特征在于，所述装置包括：
确定模块，用于针对多帧步态图片序列，根据每帧步态图片中多种类别质量属性的特征，确定该帧步态图片的质量评分；
融合模块，用于提取步态图片序列的帧级步态特征序列，并基于每帧步态图片的质量评分融合所述帧级步态特征序列，得到融合后的待识别步态特征；
检索模块，用于基于所述待识别步态特征在预先构建的步态特征库进行检索，得到至少一个目标步态特征，以基于所述至少一个目标步态特征确定多帧步态图片的步态识别结果。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任意一项所述的基于质量评估的步态识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的基于质量评估的步态识别方法的步骤。
CN202310637515.1A 2023-05-31 2023-05-31 基于质量评估的步态识别方法、装置、电子设备及介质 Pending CN116721463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310637515.1A CN116721463A (zh) 2023-05-31 2023-05-31 基于质量评估的步态识别方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310637515.1A CN116721463A (zh) 2023-05-31 2023-05-31 基于质量评估的步态识别方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116721463A true CN116721463A (zh) 2023-09-08

Family

ID=87869023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310637515.1A Pending CN116721463A (zh) 2023-05-31 2023-05-31 基于质量评估的步态识别方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116721463A (zh)

Similar Documents

Publication Publication Date Title
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109145784B (zh) 用于处理视频的方法和装置
CN111428088A (zh) 视频分类方法、装置及服务器
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN109472191B (zh) 一种基于时空上下文的行人重识别与追踪方法
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN108960059A (zh) 一种视频动作识别方法及装置
CN105005777A (zh) 一种基于人脸的音视频推荐方法及系统
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN113076905B (zh) 一种基于上下文交互关系的情绪识别方法
CN111339812A (zh) 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
CN112861659B (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN114519863A (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113673308B (zh) 对象识别方法、装置和电子系统
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
US8270731B2 (en) Image classification using range information
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination