CN114463555A - 步态特征提取方法及装置 - Google Patents

Abstract

本申请公开了一种步态特征提取方法及装置。其中，该步态特征提取方法包括：获取目标对象采集的图像序列；基于所述图像序列，确定所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征。通过本申请的步态特征提取方法可以提取到较为优良且运动细节较为丰富的步态特征。

Description

步态特征提取方法及装置

技术领域

本申请涉及特征提取技术领域，特别是涉及一种步态特征提取方法及装置。

背景技术

随着科技的发展，步态特征成为了识别领域内关注的重要的生物特征之一，因此，步态特征的提取在识别领域内起到了至关重要的作用。

目前的步态特征提取方法提取到的步态特征信息不太准确，容易受到衣物等外界因素的影响。

发明内容

本申请提供一种步态特征提取方法及装置，使得通过本申请的步态特征提取方法可以提取到较为优良且运动细节较为丰富的步态特征，以提高利用本申请提取的步态特征进行步态识别的识别准确率。

为达到上述目的，本申请提供一种步态特征提取方法，该方法包括：

获取目标对象采集的图像序列；

基于所述图像序列，确定所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；

基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征。

其中，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征的步骤包括：

基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态空间特征；

对所述目标对象的步态空间特征进行时间维度上的信息提取，得到所述目标对象的步态特征。

其中，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态空间特征的步骤包括：

分别提取所述步态轮廓图序列、所述骨骼关键点序列和所述身体部位划分图序列的步态空间特征；

将所述步态轮廓图序列的步态空间特征、所述骨骼关键点序列的步态空间特征和所述身体部位划分图序列的步态空间特征进行融合，得到所述目标对象的步态空间特征。

其中，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征，之后包括：

将所述步态特征划分成多个子块；

通过每个子块单独对应的映射函数对所述每个子块进行映射；

将所述多个子块的映射结果进行拼接，得到所述目标对象的最终步态特征。

其中，所述将所述步态特征划分成多个子块的步骤包括：

将所述步态特征水平划分成所述多个子块。

其中，所述通过每个子块单独对应的映射函数对所述每个子块进行映射的步骤包括：

将多个子块一一对应地输入至多个全连接神经网络，以使每个全连接神经网络对接收到的子块进行映射；

所述将所述多个子块的映射结果进行拼接的步骤包括：

将所述多个全连接神经网络的输出进行拼接，得到所述目标对象的最终步态特征。

其中，所述提取所述目标对象的步态特征，之后包括：

基于所述步态特征，对所述目标对象进行身份识别。

其中，所述利用所述待处理步态特征，对所述目标对象进行身份识别，包括：

确定各候选步态特征和所述步态特征的相似度；其中，所述候选步态特征基于对应的历史对象的步态特征确定的；

基于确定的各个相似度，对所述目标对象进行身份识别。

其中，基于确定的各个相似度，对所述目标对象进行身份识别，包括：

响应于所述各个相似度中存在第一相似度，将所述第一相似度对应的历史对象的身份信息确定为所述目标对象的身份信息；所述第一相似度是大于第一相似度阈值的相似度中的最大值。

其中，所述历史对象包括具有目标权限的对象；

基于确定的各个相似度，对所述目标对象进行身份识别，包括：

响应于所述各个相似度中存在大于第二相似度阈值的相似度，确定所述目标对象具有所述目标权限。

其中，所述方法还包括：

若确定所述目标对象不具有目标权限，发出报警信号。

其中，所述方法还包括：

响应于所述历史对象触发的步态特征创建操作，确定针对所述历史对象采集的图像序列；

将从所述针对所述历史对象采集的图像序列中提取到的步态特征，确定为所述历史对象的候选步态特征。

其中，所述候选步态特征保存在预设存储空间中，所述方法还包括：

响应于所述历史对象触发的特征删除指令，从所述预设存储空间中删除所述特征删除指令指示的候选步态特征。

为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。

为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。

本申请步态特征提取方法中，获取目标对象的图像序列，基于目标对象的图像序列获取目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；然后基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列提取目标对象的步态特征；如此利用目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列的三种特征图进行目标对象的步态特征提取，通过骨骼关键点续序列可以抵消衣物、背包带来的影响，且利用身体部位划分图序列可以提取到部件的运动状态，从而提取到步态的运动细节，从而使得通过本申请的步态特征提取方法可以提取到较为优良且运动细节较为丰富的步态特征，以提高利用本申请提取的步态特征进行步态识别的识别准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请步态特征提取方法一实施方式的流程示意图；

图2是本申请步态特征提取方法中步态空间特征提取模型一实施方式的结构示意图；

图3是本申请步态特征提取方法中步态时间特征提取模块一实施方式的结构示意图；

图4是本申请步态特征提取方法另一实施方式的流程示意图；

图5是本申请步态特征提取方法中步态特征分块映射处理方法的流程示意图；

图6是本申请步态特征提取方法中步态特征提取模型一实施方式的结构示意图；

图7是本申请应用本申请步态特征提取方法的报警系统的结构示意图；

图8是本申请电子设备一实施方式的结构示意图；

图9是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。

具体地，如图1所示，本申请的步态特征提取方法包括以下步骤。可以理解的是，本申請步态特征提取方法的执行主体不受限制，例如可为服务器或终端。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。

S101：获取目标对象采集的图像序列。

可以获取目标对象的图像序列，以便后续基于目标对象的图像序列确定目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；然后基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列提取目标对象的步态特征。

其中，目标对象的种类不受限制，例如可以为人、狗、猪或猫等。

可选地，可以获取目标对象的行走图像序列或跑步图像序列。其中，目标对象的图像序列中目标对象的腿部应当无遮挡、且比较清晰完整，如此可以提取到清晰且有效的步态特征。

可以通过摄像装置采集到目标对象的图像序列。具体地，通过摄像装置拍摄目标对象的步行或跑步视频，对目标对象进行检测和跟踪等预处理，并在视频中截取目标对象行走较为清晰完整的腿部无遮挡的视频段，得到目标对象的图像序列。

S102：基于图像序列，确定目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列。

可以对图像序列进行处理，得到目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；以便后续基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列提取目标对象的步态特征。

可选地，可以利用语义分割技术将图像序列中图像中的前景(即目标对象)与背景分离并进行二值化处理，得到目标对象的步态轮廓图序列。在其他可替换的实施例中，可以利用步态轮廓提取模型对图像序列中图像进行处理，得到图像序列中每一张图像的步态轮廓图，从而得到目标对象的步态轮廓图序列。

可选地，可以使用目标对象骨骼关键点检测技术提取图像序列中图像中的目标对象骨骼关键点，得到目标对象的骨骼关键点序列。在其他可替换的实施例中，可以利用采用人体姿态估计算法来提取图像序列中图像中的目标对象骨骼关键点，得到目标对象的骨骼关键点序列。

另外，可以使用身体部件识别技术提取图像序列中图像中的目标对象的各个身体部位，得到目标对象的身体部位划分图序列。

经过上述方法得到目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列后，可以对这三种不同的序列进行尺寸归一化处理，以便后续基于这三种不同的序列提取目标对象的步态特征。

S103：基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取目标对象的步态特征。

基于上述步骤得到目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列后，可以基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取目标对象的步态特征。

可选地，基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列提取目标对象的步态空间特征；然后对目标对象的步态空间特征进行时间维度上的信息提取，得到目标对象的步态特征。

在一实现方式中，可以分别对目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列进行步态空间特征提取；然后对步态轮廓图序列的空间特征进行时间维度上的信息提取，得到步态轮廓图序列对应的步态特征；且对骨骼关键点序列的空间特征进行时间维度上的信息提取，得到骨骼关键点序列的步态特征；且对身体部位划分图的空间特征进行时间维度上的信息提取，得到身体部位划分图的步态特征；接着将态轮廓图序列对应的步态特征、骨骼关键点序列的步态特征和身体部位划分图的步态特征进行融合，得到目标对象的步态特征。

在另一实现方式中，分别提取步态轮廓图序列、骨骼关键点序列和身体部位划分图序列的步态空间特征；将步态轮廓图序列的步态空间特征、骨骼关键点序列的步态空间特征和身体部位划分图序列的步态空间特征进行融合，得到目标对象的步态空间特征；对目标对象的步态空间特征进行时间维度上的信息提取，得到目标对象的步态特征；在时间维度上的信息提取之前就进行特征融合，可以减少参数量，提高训练效率，且对三种序列的空间特征的融合结果进行时间维度上的提取，提取的空间信息更丰富，进行时间提取得到的目标对象的步态特征更为优良。

具体地，在该实现方式中，可以将步态轮廓图序列、骨骼关键点序列和身体部位划分图序列分别输入到图2所示的步态空间特征提取模型的三个分支中，以使步态空间特征提取模型的三个分支分别对步态轮廓图序列、骨骼关键点序列和身体部位划分图序列进行步态空间特征提取，并且步态空间特征提取模型将三个分支提取到的步态空间特征进行融合，得到目标对象的步态空间特征，使得最终提取的空间特征包含更丰富的信息，从而基于步态空间特征提取到的步态特征更加优良。

其中，步态空间特征提取模型的三个分支的结构具体可根据实际情况进行设定，在此不做限定。例如，步态空间特征提取模型的三个分支可以由多层二维卷积神经网络组成；其中浅层神经网络主要提取输入的多维多特征步态序列的边缘信息、纹理信息等浅层特征；而深层神经网络则能够对整体信息进行了抽象表示，提取输入的多维多特征步态序列的深层特征，隐含了对象的体型、姿态、身体各部分之间的关联等多种信息。另外，步态空间特征提取模型的分支中还可设有残差结构，残差结构用于将浅层特征和深层特征进行连接，实现了多级特征的组合。

另外，步态空间特征提取模型的三个分支可具有相同或不相同的结构。

得到目标对象的步态空间特征后，可以将目标对象的步态空间特征输入到步态时间特征提取模块，以利用步态时间特征提取模块对目标对象的步态空间特征进行时间维度上的信息提取，得到目标对象的步态特征。

其中，步态时间特征提取模块的结构具体可根据实际情况进行设定，在此不做限定。例如，如图3所示，步态时间特征提取模块可以由两层二维和一层三维卷积神经网络组成的，其中二维卷积神经网络的卷积核尺寸为1×1，如此能够在不改变特征尺寸和通道维度的情况下引入更多的非线性运算，提升模型的表示能力；三维卷积神经网络则是增加了对时间维度的处理，捕获在时间维度上的身体各个部位的变化特性。同样，为了进一步提升提取特征的有效性，在此步态时间特征提取模块中，使用了残差结构和特征融合机制。来实现对目标对象步态的时间信息提取。

在本实施方式中，获取目标对象的图像序列，基于目标对象的图像序列获取目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；然后基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列提取目标对象的步态特征；如此利用目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列的三种特征图进行目标对象的步态特征提取，通过骨骼关键点续序列可以抵消衣物、背包带来的影响，且利用身体部位划分图序列可以提取到部件的运动状态，从而提取到步态的运动细节，从而使得通过本申请的步态特征提取方法可以提取到较为优良且运动细节较为丰富的步态特征，以提高利用本申请提取的步态特征进行步态识别的识别准确率。

进一步地，考虑到目标对象运动时，身体的各部分的位置和形态变化的程度不同，如头部以某一高度小幅度上下运动，手臂在身侧前后晃动或有其他动作，腿部前后运动等等。可以将目标对象的步态特征划分成多个子块，每个子块通过其单独对应的映射函数进行映射，对多个子块的映射结果进行融合得到最终的步态特征，使得最终的步态特征中每个身体部件的步态特征都相对较为明显，如此不会忽略一些运动幅度较小的部件的运动细节，从而可以提高利用目标对象的步态特征进行身份识别的准确率。具体地，如图4所示，本申请提供一种应用上述步态特征分块处理并融合的技术特征的步态特征提取方法，该步态特征提取方法包括以下步骤。

S201：获取目标对象的图像序列。

S202：基于图像序列，获取目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列。

S203：基于目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取目标对象的步态特征。

S204：将步态特征划分成多个子块。

基于上述步骤得到目标对象的步态特征后，可以将步态特征划分成多个子块，以便后续对每个子块利用其单独对应的映射函数进行映射，对多个子块的映射结果进行融合得到最终的步态特征，使得最终的步态特征中每个身体部件的步态特征都相对较为明显，如此不会忽略一些运动幅度较小的部件的运动细节，并且可以精细地适应不同分块的运动特点，从而可以提高利用目标对象的步态特征进行身份识别的准确率。

其中，步态特征的分块方式具体可根据实际情况进行设定，在此不做限制。例如可以将步态特征水平划分成多个子块。又例如，可以将步态特征按部件划分成多个子块。

考虑到人体运动过程中，相同水平方向上的身体部件运动状态相似，其他方向上(例如相同竖直方向上)身体部件运动状态则差异较大，运动状态相似的区域，包含的运动细节信息趋于一致，如此较为优选的是，将步态特征水平划分成多个子块。

S205：对每个子块利用其单独对应的映射函数进行映射。

基于上述步骤将步态特征划分成多个子块后，可以通过每个子块单独对应的映射函数对每个子块进行映射。

可选地，在步骤S205中，通过每个子块单独对应的映射函数对每个子块进行映射，即子块和映射函数是一一对应的，且不同子块对应的映射函数相互独立且参数互不影响，如此才能更好地保留每个子块所包含的运动细节信息。例如，若步态特征被水平划分为n个子块，则相应地需要利用n个映射函数(例如全连接神经网络)分别对n个子块进行映射处理，得到这n个子块的映射结果。

可选地，映射函数可以为全连接神经网络，如此通过对不同位置进行加权求和降低特征位置对判别的影响。在其他可替换的实施例中，映射函数可以为卷积神经网络(例如可为卷积核尺寸为1×1的卷积神经网络)，如此可以引入更多的非线性表达。

S206：对多个子块的映射结果进行拼接，得到目标对象的最终步态特征。

基于上述步骤得到多个子块的映射结果后，可以将多个子块的映射结果进行拼接，得到目标对象的最终步态特征。

可选地，可以按照多个子块在步态特征中的位置，将多个子块的映射结果进行拼接，得到目标对象的最终步态特征。例如，如图5所示，将步态特征水平划分成A、B、C和D四个子块，然后利用A的映射函数、B的映射函数、C的映射函数和D的映射函数分别对A子块、B子块、C子块和D子块进行映射，得到A子块的映射结果A’、B子块的映射结果B’、C子块的映射结果C’和D子块的映射结果D’，按照步态特征中A子块、B子块、C子块和D子块的位置，将A’、B’、C’和D’进行拼接。

步骤S204、S205和S206综合来说就是，采用分块的策略将步态特征图划分为N个子块，使用参数互不影响的独立的映射函数将各个子块分别映射到判别空间，再在判别空间将映射后的特征向量按分块前的位置进行拼接得到最终的步态特征。

S207：基于最终步态特征确定目标对象是否具有目标权限。

基于上述步骤得到目标对象的最终步态特征后，可以基于目标对象的最终步态特征确认目标对象是否具有目标权限。可以理解的是，在其他可替换的实施例中，也可基于目标对象的步态特征(即步骤S203的输出)确认目标对象是否具有目标权限。在目标对象具有目标权限的情况下，保持正常状态或响应目标对象指令。

可选地，目标权限的权限种类不受限制，可以根据实际情况进行设定。例如目标权限可为开门权限、设备控制权限、账户登录权限和支付权限。

在步骤S207中，可以将目标对象的最终步态特征和具有目标权限的用户的最终步态特征进行匹配；若目标对象的最终步态特征成功匹配上一个具有目标权限的用户，则目标对象具有目标权限；若目标对象的最终步态特征与所有具有目标权限的用户的最终步态特征均不匹配，则目标对象没有目标权限。

其中，目标对象的最终步态特征和具有目标权限的用户的最终步态特征进行匹配的步骤的具体过程可以为：计算目标对象的最终步态特征和具有目标权限的用户的最终步态特征之间的余弦距离；若余弦距离大于阈值，则判定目标对象的最终步态特征和具有目标权限的用户的最终步态特征不匹配；若余弦距离小于阈值，则判定目标对象的最终步态特征和具有目标权限的用户的最终步态特征匹配。当然在其他可替换的实施例中，也可通过目标对象的最终步态特征和具有目标权限的用户的最终步态特征之间的相似度或欧式距离，确认目标对象的最终步态特征和具有目标权限的用户的最终步态特征是否匹配。

另外，若需要通过目标对象的最终步态特征确认目标对象的身份，则可以在目标对象和底库中样本的最终步态特征之间的距离(余弦距离或欧式距离)中的最小距离小于阈值的情况下，将目标对象的身份归为最终步态特征距离目标对象最小距离的样本的身份。

可选地，本申请具体可通过如图6所示的步态特征提取网络实现上述步态特征提取方法，得到目标对象的最终步态特征。

具体地，可利用步态轮廓图提取模块对目标对象的图像序列中图像进行处理，得到图像序列中每一张图像的步态轮廓图，从而得到目标对象的步态轮廓图序列。利用轮廓图空间特征提取分支对步态轮廓图序列进行步态空间特征提取。

可利用骨骼关键点提取模块提取图像序列中图像中的目标对象骨骼关键点，得到目标对象的骨骼关键点序列。利用关键点空间特征提取分支对骨骼关键点序列进行步态空间特征提取。

可利用身体部位划分图提取模块提取图像序列中图像中的目标对象的各个身体部位，得到目标对象的身体部位划分图序列。利用身体部位空间特征提取分支对身体部位划分图序列进行步态空间特征提取。

利用融合模块将步态轮廓图序列的步态空间特征、骨骼关键点序列的步态空间特征和身体部位划分图序列的步态空间特征进行融合，得到目标对象的步态空间特征。

利用时间特征提取模块对目标对象的步态空间特征进行时间维度上的信息提取，得到目标对象的步态特征。

利用分块模块将步态特征划分成多个子块。

利用子块单独映射模块对每个子块利用其单独对应的映射函数进行映射，得到每个子块的映射结果。

利用拼接模块将多个子块的映射结果进行融合，得到目标对象的最终步态特征。

在利用步态特征提取网络对目标对象的图像序列进行步态特征提取之前，可以利用训练数据对步态特征提取网络的至少部分模块进行训练。例如，可以利用训练数据对步态特征提取网络中的轮廓图空间特征提取分支、关键点空间特征提取分支、身体部位空间特征提取分支、融合模块、时间特征提取模块、分块模块、子块单独映射模块和拼接模块进行训练。

具体地，可以利用三元组损失函数和/或交叉熵损失函数等损失函数对步态特征提取网络的至少部分模块进行训练。

此外，可以将上述步态特征提取方法应用到身份识别方法中，如此可基于上述步态特征提取方法确定的目标对象的步态特征，对目标对象进行身份识别。

具体地，可以通过对比各候选步态特征和目标对象的步态特征的相似度的方式，确定目标对象的身份信息。

其中，候选步态特征是基于本申请步态特征提取方法提取的对应的历史对象的步态特征。

历史对象的候选步态特征的采集过程可如下所示：响应于历史对象触发的步态特征创建操作，确定针对历史对象采集的图像序列；将基于本申请的步态特征提取方法从针对历史对象采集的图像序列中提取到的步态特征，确定为历史对象的候选步态特征。

另外，基于上述方法确定的所有候选步态特征可以组合成步态底库，并存储于预设存储空间(例如服务器或终端)中，以便基于本申请步态特征提取方法确定目标对象身份时，可以调取预设存储空间中的候选步态特征进行对比。

可选地，可以响应于用户操作指令，对存储于预设存储空间中的候选步态特征执行删除或增加操作。例如，可以响应于历史对象触发的特征删除指令，从预设存储空间中删除特征删除指令指示的候选步态特征。

可选地，上述的身份识别可以理解为确定目标对象的身份(例如人名)。较为优选的是，响应于各个相似度中存在第一相似度，将第一相似度对应的历史对象的身份信息确定为目标对象的身份信息；第一相似度是大于第一相似度阈值的相似度中的最大值，如此基于目标对象的步态特征可以确定出较为准确的身份信息，并且通过第一相似度阈值，可以避免在目标对象不属于所有候选步态特征对应的历史对象中的情况下将最大的相似度对应的历史对象的身份误归于目标对象的身份。其中，第一相似度阈值可以根据实际情况进行设定，在此不做限定，例如可为90％或80％。

此外，上述的身份识别不仅限于理解为确定目标对象的身份(例如人名)，还可以理解为确定目标对象是否具有目标权限。如此，上述的历史对象可以包括具有目标权限的对象；通过对比各候选步态特征和目标对象的步态特征的相似度的方式，确定目标对象的身份信息的步骤的实施过程可以为：确定各候选步态特征和目标对象的步态特征的相似度；响应于各个相似度中存在大于第二相似度阈值的相似度，确定目标对象具有目标权限。另外，若确认目标对象具有目标权限，可以保持正常状态或响应目标对象指令。若确定目标对象不具有目标权限，可以发出报警信息，以保护具有目标权限的用户。其中，第二相似度阈值可以根据实际情况进行设定，在此不做限定，例如可为70％或80％。

可选地，上述目标权限可以包括登录权限、查询信息权限、访问权限、调用权限等，在此不做限定。

具体地，可以将上述步态特征提取方法应用到如图7所示的报警系统中，以避免安装在房屋入口处的多种探测器的麻烦，如此只需要在需要监控的区域安装一个摄像装置即能实现对房屋的安全监控，且利用步态信息远距离、非接触、不易伪装等特点，来对屋内人员进行身份识别，能够应对传统人脸监控情境下人脸拍摄不清晰、入侵者遮挡脸部无法识别等问题。

其中，如图7所示，报警系统可以包括用来采集目标对象的图像序列的摄像装置(可以为智能摄像头)。该摄像装置可以配置有电动云台系统，可以实现对屋内环境进行多角度的监控，使得监控范围更大，安全系数更高。

报警系统还包括服务器，服务器可以用于获取摄像装置采集的目标对象的图像序列，并应用上述步态特征提取方法确认目标对象是否具有目标权限，如此可以直接远距离地分析走路姿态而不需要目标对象的配合，且不管目标对象的脸部是否被遮挡，都可以通过目标对象的步态特征判定目标对象是否具有目标权限。

服务器还可以在基于上述的步态特征提取方法确认目标对象不具有目标权限的情况下，发出报警信号，以保护具有目标权限的用户。

例如，可以在目标对象不具有目标权限的情况下，服务器发送报警信号给报警模组，以使报警模组发出高分贝警铃声或亮起警示灯。

又例如，可以在目标对象不具有目标权限的情况，服务器给具有目标权限的用户或管理终端发出报警信号。

进一步地，可以在发出报警信号的同时，服务器存储目标对象的录像，并将目标对象的路径发送给具有目标权限的用户或管理终端，以使用户或管理者知晓入侵者是谁，并且保留入侵者入侵证据。

在上述的报警系统实际应用前，可以先对底库进行编辑，以将具有目标权限的用户的步态图像序列录入到底库中，以便后续基于底库确认目标对象是否具有目标权限。其中，底库可存储于服务器中，以便后续服务器基于采集的目标对象的图像序列和底库确认目标对象是否具有用户权限。

在对底库进行编辑时，用户可以进行步态底库的增加和删除操作，以应对朋友、亲戚、保姆等来家里做客小住或久住离开的情况，使得使用体验更加智能和灵活。

请参阅图8，图8是本申请电子设备20一实施方式的结构示意图。本申请电子设备20包括处理器22，处理器22用于执行指令以实现本申请上述任一实施方式的方法及任意不冲突的组合所提供的方法。

电子设备20可为摄像装置或服务器等设备，在此不做限定。

处理器22还可以称为CPU(Central Processing Unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。

电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。

请参阅图9，图9为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种步态特征提取方法，其特征在于，所述方法包括：

获取目标对象采集的图像序列；

基于所述图像序列，确定所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列；

基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征的步骤包括：

基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态空间特征；

对所述目标对象的步态空间特征进行时间维度上的信息提取，得到所述目标对象的步态特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态空间特征的步骤包括：

分别提取所述步态轮廓图序列、所述骨骼关键点序列和所述身体部位划分图序列的步态空间特征；

将所述步态轮廓图序列的步态空间特征、所述骨骼关键点序列的步态空间特征和所述身体部位划分图序列的步态空间特征进行融合，得到所述目标对象的步态空间特征。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的步态轮廓图序列、骨骼关键点序列和身体部位划分图序列，提取所述目标对象的步态特征，之后包括：

将所述步态特征划分成多个子块；

通过每个子块单独对应的映射函数对所述每个子块进行映射；

将所述多个子块的映射结果进行拼接，得到所述目标对象的最终步态特征。

5.根据权利要求4所述的方法，其特征在于，所述通过每个子块单独对应的映射函数对所述每个子块进行映射的步骤包括：

将多个子块一一对应地输入至多个全连接神经网络，以使每个全连接神经网络对接收到的子块进行映射；

所述将所述多个子块的映射结果进行拼接的步骤包括：

将所述多个全连接神经网络的输出进行拼接，得到所述目标对象的最终步态特征。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述提取所述目标对象的步态特征，之后包括：

基于所述步态特征，对所述目标对象进行身份识别。

7.根据权利要求6所述的方法，其特征在于，所述利用所述待处理步态特征，对所述目标对象进行身份识别，包括：

确定各候选步态特征和所述步态特征的相似度；其中，所述候选步态特征基于对应的历史对象的步态特征确定的；

基于确定的各个相似度，对所述目标对象进行身份识别。

8.根据权利要求7所述的方法，其特征在于，基于确定的各个相似度，对所述目标对象进行身份识别，包括：

响应于所述各个相似度中存在第一相似度，将所述第一相似度对应的历史对象的身份信息确定为所述目标对象的身份信息；所述第一相似度是大于第一相似度阈值的相似度中的最大值。

9.根据权利要求7所述的方法，其特征在于，所述历史对象包括具有目标权限的对象；

基于确定的各个相似度，对所述目标对象进行身份识别，包括：

响应于所述各个相似度中存在大于第二相似度阈值的相似度，确定所述目标对象具有所述目标权限。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

若确定所述目标对象不具有目标权限，发出报警信号。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

响应于所述历史对象触发的步态特征创建操作，确定针对所述历史对象采集的图像序列；

将从所述针对所述历史对象采集的图像序列中提取到的步态特征，确定为所述历史对象的候选步态特征。

12.根据权利要求11所述的方法，其特征在于，所述候选步态特征保存在预设存储空间中，所述方法还包括：

响应于所述历史对象触发的特征删除指令，从所述预设存储空间中删除所述特征删除指令指示的候选步态特征。

13.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行指令以实现如权利要求1-12中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有程序和/或指令，其特征在于，所述程序和/或指令被执行时实现权利要求1-12中任一项所述方法的步骤。

Images