CN110175553B

CN110175553B - 基于步态识别与人脸识别建立特征库的方法及装置

Info

Publication number: CN110175553B
Application number: CN201910434698.0A
Authority: CN
Inventors: 黄永祯; 史伟康; 乔艳涛; 侯康伟
Original assignee: Yinhe Shuidi Technology Ningbo Co ltd
Current assignee: Yinhe shuidi Technology (Ningbo) Co.,Ltd.
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2021-07-30
Anticipated expiration: 2039-05-23
Also published as: CN110175553A

Abstract

本申请提供了基于步态识别与人脸识别建立特征库的方法及装置，首先获取监控视频，从监控视频中筛选出每一个行人特征的监控图像；然后提取行人的人脸特征，并确定行人特征的监控图像在监控视频中的出现时间；再通过监控图像在监控视频中的出现时间、以及预设时间段，确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频，提取步态特征视频中行人的步态特征；最后针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征，建立特征库，从而提高身份识别过程中的准确率。

Description

基于步态识别与人脸识别建立特征库的方法及装置

技术领域

本申请涉及计算机技术领域，尤其是涉及一种基于步态识别与人脸识别建立特征库的方法及装置。

背景技术

在进行安全检查或者对目标人员追踪过程中，通过采集并识别生物特征中的人脸图像后，比对人脸图像数据库，从而确定检查是否通过或者确定目标人员的行动路线，但是由于人脸易于伪装，并且在人脸识别时拍摄的人脸图像质量需要达到要求，导致对采集、识别人脸图像结果出现误差的现象，影响安全检查的效率、准确率，从而错误指导对目标人员的追踪。

发明内容

有鉴于此，本申请的目的在于提供基于步态识别与人脸识别建立特征库的方法及装置，以提高身份识别过程中的准确率。

第一方面，本申请实施例提供了基于步态识别与人脸识别建立特征库的方法，其中，所述方法包括：

获取监控视频，从所述监控视频中筛选出每一个行人特征的监控图像；

对每一个所述行人特征的监控图像进行如下操作：

根据所述行人特征的监控图像，提取所述行人的人脸特征，并根据所述监控视频，确定所述行人特征的监控图像在所述监控视频中的出现时间；

通过所述监控图像在所述监控视频中的出现时间、以及预设时间段，确定在所述监控视频中包含所述监控图像、且视频时长为所述预设时间段的步态特征视频；

根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征；

针对每一个所述行人的人脸特征、以及每一个所述行人的人脸特征对应的所述步态特征，建立特征库。

本申请的一实施例中，所述根据所述步态特征视频，提取所述步态特征视频对应的步态特征，包括：

根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓；

基于所述人体轮廓，提取所述行人的步态特征。

本申请的一实施例中，所述根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓，包括：

计算所述步态特征视频中所述行人的步态序列中连续多个图像中处于同一位置的像素点的像素值差；

根据所述像素值差，确定所述步态序列中的人体轮廓。

本申请的一实施例中，所述根据所述行人特征的监控图像，提取所述行人的人脸特征，包括：

针对所述行人特征的监控图像，以及训练好的人脸特征提取模型，确定所述行人的人脸特征。

本申请的一实施例中，根据以下方式训练得到所述人脸特征提取模型：

获取训练样本集合，所述训练样本集合包含多组训练样本，其中，每组训练样本中包括样本图像和所述样本图像对应的参考人脸特征；

将所述训练样本集合中的每组训练样本分别输入至所述人脸特征提取模型中进行训练，得到每组训练样本中样本图像对应的人脸特征；通过比对每组训练样本对应的人脸特征和参考人脸特征，确定每组训练样本对应的预测结果，所述预测结果表示所述样本图像对应的人脸特征为所述参考人脸特征的概率；

基于每组训练样本对应的预测结果，确定所述人脸特征提取模型进行人脸特征提取的准确率；

若所述准确率不满足预设条件，调整所述人脸特征提取模型的模型参数，并重新执行训练过程，直至所述准确率满足所述预设条件，确定所述人脸特征提取模型训练完成，得到所述人脸特征提取模型。

第二方面，本申请实施例还提供基于步态识别与人脸识别建立特征库的装置，其中，所述装置包括：

获取模块，用于获取监控视频，从所述监控视频中筛选出每一个行人特征的监控图像；

处理模块，用于对每一个所述行人特征的监控图像进行如下操作：

创建模块，用于针对每一个所述行人的人脸特征、以及每一个所述行人的人脸特征对应的所述步态特征，建立特征库。

本申请的一实施例中，所述处理模块中，在根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征时，具体用于：

基于所述人体轮廓，提取所述行人的步态特征。

本申请的一实施例中，所述处理模块中，在根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓时，具体用于：

根据所述像素值差，确定所述步态序列中的人体轮廓。

本申请的一实施例中，所述处理模块中，在根据所述行人特征的监控图像，提取所述行人的人脸特征时，具体用于：

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的任一种可能的实施方式中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面的任一种可能的实施方式中的步骤。

本申请实施例提供了基于步态识别与人脸识别建立特征库的方法及装置，首先获取监控视频，从监控视频中筛选出每一个行人特征的监控图像；然后提取行人的人脸特征，并确定行人特征的监控图像在监控视频中的出现时间；再通过监控图像在监控视频中的出现时间、以及预设时间段，确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频，提取步态特征视频中行人的步态特征；最后针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征，建立特征库，从而在进行安全检查或者对目标人员追踪时根据人脸识别，以及人脸识别对应的步态特征进行身份识别，避免人脸识别易于伪装，且图像质量不高导致识别不准确的问题，提高身份识别过程中的准确率。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的基于步态识别与人脸识别建立特征库的方法的流程示意图；

图2示出了本申请实施例所提供的人脸特征提取模型训练的方法的流程示意图；

图3示出了本申请实施例所提供的基于步态识别与人脸识别建立特征库的装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备400的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请可适用的应用场景做出介绍。本申请可适用于在火车站、机场、小区等安全检查通道的场景下。

现有技术中，通过采集并识别生物特征中的人脸图像后，比对人脸图像数据库，从而确定检查是否通过或者确定目标人员的行动路线，但是由于人脸易于伪装，并且在人脸识别时拍摄的人脸图像质量需要达到要求，导致对采集、识别人脸图像结果出现误差的现象，影响安全检查的准确率，从而错误指导对目标人员的追踪。

本申请所提供的基于步态识别与人脸识别建立特征库的方法及装置，首先获取监控视频，从监控视频中筛选出每一个行人特征的监控图像；然后提取行人的人脸特征，并确定行人特征的监控图像在监控视频中的出现时间；再通过监控图像在监控视频中的出现时间、以及预设时间段，确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频，提取步态特征视频中行人的步态特征；最后针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征，建立特征库，从而在进行安全检查或者对目标人员追踪时根据人脸识别，以及人脸识别对应的步态特征进行身份识别，避免人脸识别易于伪装，且图像质量不高导致识别不准确的问题，提高身份识别过程中的准确率。

为便于对本实施例进行理解，首先对本申请实施例所公开的基于步态识别与人脸识别建立特征库的方法进行详细介绍。

实施例一

参见图1所示，为本申请实施例所提供的基于步态识别与人脸识别建立特征库的方法的流程示意图，该方法包括以下步骤：

步骤101、获取监控视频，从监控视频中筛选出每一个行人特征的监控图像。

可选地，在预设的场景下安装摄像机拍摄视频，也可以在现有已经安装摄像机的场景下获取摄像机拍摄的视频，从而在监控视频中筛选行人特征的监控图像。当监控图像中存在两个人同时出现在一张监控图像时，通过图像分割方法，得到每一个行人的图像特征的监控图像，在此不限定图像分割的具体方法。

步骤102、对每一个行人特征的监控图像进行处理。

步骤1021、根据行人特征的监控图像，提取行人的人脸特征，并根据监控视频，确定行人特征的监控图像在监控视频中的出现时间。

具体的，针对行人特征的监控图像，以及训练好的人脸特征提取模型，确定行人的人脸特征，其中，人脸特征提取模型在下文中进行详细介绍，在此暂不展开说明。

可选地，通过对行人特征的监控图像进行特征定位，基于特征定位，计算特征值并进行特征值归一化，然后提取行人的人脸特征；还可以根据Adaboost算法对人脸进行检测后提取人脸特征，在此并不限定提取行人的人脸特征的方法。

示例性的，监控视频的时长为30分钟，行人A在该监控视频中的第13分钟时刻出现，并被拍摄下其图像特征的监控图像，那么行人A图像特征的监控图像在监控视频中的出现时间为第13分钟的时刻，行人B在该监控视频中的第25分钟时刻出现，并被拍摄下其图像特征的监控图像，那么行人B图像特征的监控图像在监控视频中的出现时间为第25分钟的时刻。

步骤1022、通过监控图像在监控视频中的出现时间、以及预设时间段，确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频。

示例性的，监控视频的时长为30分钟，行人A图像特征的监控图像在监控视频中的出现时间为第13分钟的时刻，通常采集行人的一个完整步态信息需要5～10秒，那么通过预设时间段、以及行人A在监控视频中的出现时间，确定在监控视频中需要采集的行人A预设时间段的步态特征视频，其中，预设时间段可以根据实际应用场景进行调整。

步骤1023、根据步态特征视频，提取步态特征视频中行人的步态特征。

具体的，根据步态特征视频，确定步态特征视频中所述行人的步态序列，并提取步态序列中的人体轮廓；基于人体轮廓，提取行人的步态特征。

这里，通过计算步态特征视频中行人的步态序列中连续多个图像中处于同一位置的像素点的像素值差，确定步态序列中的人体轮廓。

示例性的，步态特征视频中包含30帧步态特征图像，按照视频中行人步态移动的先后顺序，将30帧步态特征图像进行排列，得到步态序列，基于步态序列中连续30个图像的同一位置像素点的像素值，计算同一位置像素点的像素值差值，从而确定人体的轮廓。

步骤103、针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征，建立特征库。

如图2所示，示出了本申请实施例所提供的人脸特征提取模型训练的方法的流程示意图；根据以下步骤训练得到人脸特征提取模型：

步骤201、获取训练样本集合。

具体的，训练样本集合包含多组训练样本，其中，每组训练样本中包括样本图像和样本图像对应的参考人脸特征。

步骤202、利用训练样本集合对待训练的人脸特征提取模型进行训练。

步骤2021、将训练样本集合中的每组训练样本分别输入至人脸特征提取模型中，得到每组训练样本中样本图像对应的人脸特征；通过比对每组训练样本对应的人脸特征和参考人脸特征，确定每组训练样本对应的预测结果，预测结果表示样本图像对应的人脸特征为参考人脸特征的概率。

示例性的，训练样本集合中包含50组训练样本，每组训练样本中包括样本图像、以及样本图像对应的参考人脸特征，假设训练样本集合中的一张样本图像中参考人脸特征包含眼睛特征数据、鼻子特征数据、嘴巴特征数据，将该样本图像输入至人脸特征提取模型进行训练，得到预测的人脸特征包含眼睛特征数据、鼻子特征数据、嘴巴特征数据，通过分别对比人脸特征与参考人脸特征的眼睛特征数据、鼻子特征数据、嘴巴特征数据，并计算眼睛特征数据、鼻子特征数据、嘴巴特征数据之间的差值，然后计算三个差值的平均值，得到预测结果；还可以对人脸特征与参考人脸特征的眼睛特征数据、鼻子特征数据、嘴巴特征数据进行加权求和后，计算求和后二者的差值，得到预测结果。

步骤2022、基于每组训练样本对应的预测结果，确定人脸特征提取模型进行人脸特征提取的准确率。

根据上述训练样本的举例，假设通过对比人脸特征与参考人脸特征，得到有45组训练样本对应的人脸特征与参考人脸特征是完全相同或者在允许误差范围内，那么人脸特征提取模型进行人脸特征提取的准确率为90％，假设通过对比人脸特征与参考人脸特征，得到有5组训练样本对应的人脸特征与参考人脸特征是完全相同或者在允许误差范围内，那么人脸特征提取模型进行人脸特征提取的准确率为10％。

步骤2023、若准确率不满足预设条件，调整人脸特征提取模型的模型参数，并重新执行训练过程，直至准确率满足预设条件，确定人脸特征提取模型训练完成，得到人脸特征提取模型。

本实施例所提供的基于步态识别与人脸识别建立特征库的方法，首先获取监控视频，从监控视频中筛选出每一个行人特征的监控图像；然后提取行人的人脸特征，并确定行人特征的监控图像在监控视频中的出现时间；再通过监控图像在监控视频中的出现时间、以及预设时间段，确定在监控视频中包含监控图像、且视频时长为预设时间段的步态特征视频，提取步态特征视频中行人的步态特征；最后针对每一个行人的人脸特征、以及每一个行人的人脸特征对应的步态特征，建立特征库，从而在进行安全检查或者对目标人员追踪时根据人脸识别，以及人脸识别对应的步态特征进行身份识别，避免人脸识别易于伪装，且图像质量不高导致识别不准确的问题，提高身份识别过程中的准确率。

实施例二

参见图3所示，为本申请实施例所提供的基于步态识别与人脸识别建立特征库的装置的结构示意图；该装置包括：获取模块301、处理模块302、创建模块303，具体的：

获取模块301，用于获取监控视频，从所述监控视频中筛选出每一个行人特征的监控图像；

处理模块302，用于对每一个所述行人特征的监控图像进行如下操作：

创建模块303，用于针对每一个所述行人的人脸特征、以及每一个所述行人的人脸特征对应的所述步态特征，建立特征库。

本申请一实施例中，所述处理模块302中，在根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征时，具体用于：

基于所述人体轮廓，提取所述行人的步态特征。

本申请一实施例中，所述处理模块302中，在根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓时，具体用于：

根据所述像素值差，确定所述步态序列中的人体轮廓。

本申请一实施例中，所述处理模块302中，在根据所述行人特征的监控图像，提取所述行人的人脸特征时，具体用于：

本申请一实施例中，根据以下方式训练得到所述人脸特征提取模型：

实施例三

基于同一技术构思，本申请实施例还提供了一种电子设备。参照图4所示，为本申请实施例提供的电子设备400的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

对每一个所述行人特征的监控图像进行如下操作：

一种可能的设计中，处理器401执行的处理中，所述根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征，包括：

基于所述人体轮廓，提取所述行人的步态特征。

一种可能的设计中，处理器401执行的处理中，所述根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓，包括：

根据所述像素值差，确定所述步态序列中的人体轮廓。

一种可能的设计中，处理器401执行的处理中，所述根据所述行人特征的监控图像，提取所述行人的人脸特征，包括：

一种可能的设计中，处理器401执行的处理中，根据以下方式训练得到所述人脸特征提取模型：

实施例四

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述基于步态识别与人脸识别建立特征库的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于步态识别与人脸识别建立特征库的方法的步骤，从而提高了身份识别过程中的准确率。

本申请实施例所提供的基于步态识别与人脸识别建立特征库的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.基于步态识别与人脸识别建立特征库的方法，其特征在于，所述方法包括：

对每一个所述行人特征的监控图像进行如下操作：

针对每一个所述行人的人脸特征、以及每一个所述行人的人脸特征对应的所述步态特征，建立特征库；

其中，所述根据所述行人特征的监控图像，提取所述行人的人脸特征，包括：

针对所述行人特征的监控图像，以及训练好的人脸特征提取模型，确定所述行人的人脸特征；

其中，根据以下方式训练得到所述人脸特征提取模型：

将所述训练样本集合中的每组训练样本分别输入至所述人脸特征提取模型中进行训练，得到每组训练样本中样本图像对应的人脸特征；

通过比对每组训练样本对应的人脸特征和参考人脸特征，确定每组训练样本对应的预测结果，所述预测结果表示所述样本图像对应的人脸特征为所述参考人脸特征的概率；

2.根据权利要求1所述的方法，其特征在于，所述根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征，包括：

基于所述人体轮廓，提取所述行人的步态特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓，包括：

根据所述像素值差，确定所述步态序列中的人体轮廓。

4.基于步态识别与人脸识别建立特征库的装置，其特征在于，所述装置包括：

创建模块，用于针对每一个所述行人的人脸特征、以及每一个所述行人的人脸特征对应的所述步态特征，建立特征库；

其中，所述处理模块中，在根据所述行人特征的监控图像，提取所述行人的人脸特征时，还用于：

其中，根据以下方式训练得到所述处理模块中的所述人脸特征提取模型：

5.根据权利要求4所述的装置，其特征在于，所述处理模块中，在根据所述步态特征视频，提取所述步态特征视频中所述行人的步态特征时，具体用于：

基于所述人体轮廓，提取所述行人的步态特征。

6.根据权利要求5所述的装置，其特征在于，所述处理模块中，在根据所述步态特征视频，确定所述步态特征视频中所述行人的步态序列，并提取所述步态序列中的人体轮廓时，具体用于：

根据所述像素值差，确定所述步态序列中的人体轮廓。

7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至3任一所述的基于步态识别与人脸识别建立特征库的方法的步骤。

8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至3任一所述的基于步态识别与人脸识别建立特征库的方法的步骤。