CN114333023A - 基于角度估计的人脸步态多模态加权融合身份识别方法与系统 - Google Patents

Abstract

本发明公开了一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统，所述方法包括：采集人脸RGB图像及行人步态图像序列；在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测；利用人脸关键点坐标集对人脸角度进行估计；判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除；将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取；将采集到的行人步态序列图像进行行人实例分割，分割出行人轮廓掩膜，得到对应目标的步态轮廓图；通过质量估计模块估计步态轮廓质量，并对质量较低的轮廓图进行图像补全；对符合质量步态轮廓图序列及补全后的步态轮廓图序列进行特征提取；基于人脸角度估计进行多模态加权融合。

Description

基于角度估计的人脸步态多模态加权融合身份识别方法与 系统

技术领域

本发明涉及基于计算机视觉技术的身份识别技术领域，尤其涉及一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统。

背景技术

目前，基于人脸图像进行身份识别技术已较广泛应用于各行业的身份认证和识别。但由于人脸识别涉及人脸图像敏感信息，且受限于近距离、角度偏转、光照、局部遮挡等因素，在监控场景下的身份识别系统的性能受到严重影响。为此有研究开发步态识别系统，利用人的行走姿态作为身份信息进行中远距离的身份识别。

此外，将人脸步态两种模态融合的身份识别系统，如专利CN 206224519 U，“基于动态人脸识别和步态识别融合的智能身份识别系统”，采集动态的人脸图像序列和步态视频图像序列，分别提取人脸和步态特征与各模态数据库内的特征进行匹配，而最终识别结果是两种模态独立判定，没有结合两种模态的特点及使用场景进行融合以提升系统识别性能。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统，该方法与系统利用人脸角度估计判断目标偏转角度，自适应对人脸和步态两种模态特征进行加权匹配，提升监控场景中多模态身份识别系统的识别准确率。

本发明的目的通过以下的技术方案来实现：

一种基于角度估计的人脸步态多模态加权融合身份识别方法，包括

S1采集人脸RGB图像及行人步态图像序列；

S2在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测；

S3利用人脸关键点坐标集对人脸角度进行估计；

S4判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除；

S5将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取；

S6将采集到的行人步态序列图像进行行人实例分割，分割出行人轮廓掩膜，得到对应目标的步态轮廓图；

S7通过质量估计模块估计步态轮廓质量，并对质量较低的轮廓图进行图像补全；

S8对符合质量步态轮廓图序列及补全后的步态轮廓图序列进行特征提取；

S9基于人脸角度估计进行多模态加权融合。

一种基于角度估计的人脸步态多模态加权融合身份识别系统，包括

人脸模块，用于对采集图像进行人脸检测并裁剪人脸图，将人脸图像输入至人脸质量估计模块筛选出质量达标的待识别图像，利用深度神经网络提取的人脸特征与人脸特征数据库进行匹配，得到人脸身份分数；

步态模块，用于对采集的行人图像序列，进行行人实例分割得到步态轮廓图，输入至步态轮廓质量估计模块，对符合质量要求的步态轮廓序列图进行步态特征提取，并与步态数据库中的步态特征进行匹配得到步态身份分数，对质量不满足的步态轮廓图则是利用图像处理进行补全后进行身份识别；

加权融合模块，用于将目标对象的拍摄角度定义为0°、45°、90°、135°四个区间，利用人脸图像关键点进行的角度估计，根据角度偏转区间对人脸和步态的匹配分数进行加权融合，得到最终的身份识别结果。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

在监控场景下对识别目标提取人脸和步态特征，估计其偏转角度对多模态特征进行分数层的加权融合，实现自适应角度变化的鲁棒身份识别。

附图说明

图1是基于角度估计的人脸步态多模态加权融合身份识别方法流程图；

图2是角度加权区间图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为基于角度估计的人脸步态多模态加权融合身份识别方法流程，包括：

采集人脸RGB图像及行人步态图像序列；

利用监控摄像头拍摄目标对象行走视频或包含人脸的图像数据，用于输入至人脸模块和步态模型进行身份识别。

利用深度神经网络MTCNN进行人脸检测在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测，得出人脸图像及其关键点坐标。

利用人脸关键点坐标集对人脸角度进行估计；

利用人脸图像对应的关键点坐标集P_source{u，v}，与预设的正脸关键点三维坐标集Q_target{X_w，Y_w，Z_w}进行联合求解得到其旋转矩阵R_3×3和平移向量t_3×1：

利用opencv的solvePnP函数进行求解；将的得到的旋转矩阵R_3×3转为欧拉角{θ_x，θ_y，θ_z}：

θ_x＝arctan(R₃₂，R₃₃)

θ_z＝arctan(R₂₁，R₁₁)

以此对目标对象进行角度估计，为后续的加权融合进行预处理。

将得到得人脸图像进行HSV颜色通道变换进行光照估计，判断人脸图像是否过暗或者过曝以判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除。

将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取，将提取到的特征与人脸数据库中已注册的人脸特征计算余弦相似度，得到人脸匹配分数F_face。

将采集到的行人步态序列图像输入至基于深度卷积神经网络实现的实例分割模块，分割出行人轮廓掩膜，得到对应目标的步态轮廓图。

将分割出来的步态轮廓图输入至一个轻量化的二分类分类器筛选出质量较低的轮廓图，进行腐蚀膨胀等图像操作处理以进行图像补全。该质量估计模块是一个二分类分类器，由人工标注好坏轮廓图像各1000张作为训练数据，使用BCE损失函数优化mobilenet结构得到的。

对符合质量步态轮廓图序列及补全后的步态轮廓图序列输入至GaitSet深度步态特征提取网络中进行特征提取，将提取到的特征与步态数据库中已注册的步态特征计算余弦相似度，得到步态匹配分数F_gait。

基于人脸角度估计进行多模态加权融合。

将目标对象的拍摄角度定义为0°、45°、90°、135°这几个区间，利用人脸图像关键点进行的角度估计，以偏转角度与四个区间角度的最小差值作为目标对象偏转区间，目标落于90°、45°和135°、0°时采用不同的加权策略，如下公式：

其中，F_face为人脸匹配分数，F_gait为步态匹配分数，在90°时，人脸匹配分数的权重与步态权重的比例为2：1最高，在45°和135°区间时比例为1：1，在0°/180°时为1：2最低，这是由于人脸识别的置信度会随着人脸图像的偏转角度的增大而降低，当0°时为大侧脸，一半的人脸特征受偏转的自遮挡而损失。利用上述方法，基于角度偏转对人脸和步态的匹配分数进行加权融合，得到最终的身份识别结果。

本实施例还提供了一种基于角度估计的人脸步态多模态加权融合身份识别系统，包括：

人脸模块，用于对采集图像进行人脸检测并裁剪人脸图，将人脸图像输入至人脸质量估计模块筛选出质量达标的待识别图像，利用深度神经网络提取的人脸特征与人脸特征数据库进行匹配，得到人脸身份分数；

步态模块，用于对采集的行人图像序列，进行行人实例分割得到步态轮廓图，输入至步态轮廓质量估计模块，对符合质量要求的步态轮廓序列图进行步态特征提取，并与步态数据库中的步态特征进行匹配得到步态身份分数，对质量不满足的步态轮廓图则是利用图像处理进行补全后进行身份识别；

加权融合模块，用于将目标对象的拍摄角度定义为0°、45°、90°、135°四个区间，利用人脸图像关键点进行的角度估计，根据角度偏转区间对人脸和步态的匹配分数进行加权融合，得到最终的身份识别结果。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，包括：

S1采集人脸RGB图像及行人步态图像序列；

S2在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测；

S3利用人脸关键点坐标集对人脸角度进行估计；

S4判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除；

S5将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取；

S6将采集到的行人步态序列图像进行行人实例分割，分割出行人轮廓掩膜，得到对应目标的步态轮廓图；

S7通过质量估计模块估计步态轮廓质量，并对质量较低的轮廓图进行图像补全；

S8对符合质量步态轮廓图序列及补全后的步态轮廓图序列进行特征提取；

S9基于人脸角度估计进行多模态加权融合。

2.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S1中将行走视频或包含人脸的图像数据输入至人脸模块和步态模型进行身份识别。

3.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S2中利用深度神经网络MTCNN进行人脸检测，得出人脸图像及其关键点坐标。

4.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S3具体包括：利用人脸图像对应的关键点坐标集P_source{u，v}，与预设的正脸关键点三维坐标集Q_target{X_w，Y_w，Z_w}进行联合求解得到其旋转矩阵R_3×3和平移向量t_3×1：

利用opencv的solvePnP函数进行求解；将的得到的旋转矩阵R_3×3转为欧拉角{θ_x，θ_y，θ_z}：

θ_x＝arctan(R₃₂，R₃₃)

θ_z＝arctan(R₂₁，R₁₁)

以此对目标对象进行角度估计。

5.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S5中将提取到的特征与人脸数据库中已注册的人脸特征计算余弦相似度，得到人脸匹配分数F_face。

6.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S7中质量估计模块为一个轻量化的二分类分类器，具体包括将分割出来的步态轮廓图输入至轻量化的二分类分类器筛选出质量较低的轮廓图，进行腐蚀膨胀图像操作处理以进行图像补全。

7.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S8具体包括将符合质量和补全后的步态轮廓图序列输入至GaitSet深度步态特征提取网络中进行特征提取，将提取到的特征与步态数据库中已注册的步态特征计算余弦相似度，得到步态匹配分数F_gait。

8.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法，其特征在于，所述S9具体包括：将目标对象的拍摄角度定义为0°、45°、90°、135°，利用人脸图像关键点进行的角度估计，以偏转角度与四个区间角度的最小差值作为目标对象偏转区间，目标落于90°、45°和135°、0°时采用不同的加权策略，如下公式：

其中，F_face为人脸匹配分数，F_gait为步态匹配分数，在90°时，人脸匹配分数的权重与步态权重的比例为2∶1最高，在45°和135°区间时比例为1∶1，在0°/180°时为1∶2最低。

9.一种基于角度估计的人脸步态多模态加权融合身份识别系统，其特征在于，所述系统包括：

人脸模块，用于对采集图像进行人脸检测并裁剪人脸图，将人脸图像输入至人脸质量估计模块筛选出质量达标的待识别图像，利用深度神经网络提取的人脸特征与人脸特征数据库进行匹配，得到人脸身份分数；

步态模块，用于对采集的行人图像序列，进行行人实例分割得到步态轮廓图，输入至步态轮廓质量估计模块，对符合质量要求的步态轮廓序列图进行步态特征提取，并与步态数据库中的步态特征进行匹配得到步态身份分数，对质量不满足的步态轮廓图则是利用图像处理进行补全后进行身份识别；

加权融合模块，用于将目标对象的拍摄角度定义为0°、45°、90°、135°四个区间，利用人脸图像关键点进行的角度估计，根据角度偏转区间对人脸和步态的匹配分数进行加权融合，得到最终的身份识别结果。

Images