CN115830712A - 一种步态识别方法、装置、设备和存储介质 - Google Patents
一种步态识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115830712A CN115830712A CN202211578594.5A CN202211578594A CN115830712A CN 115830712 A CN115830712 A CN 115830712A CN 202211578594 A CN202211578594 A CN 202211578594A CN 115830712 A CN115830712 A CN 115830712A
- Authority
- CN
- China
- Prior art keywords
- gait
- node
- pedestrian
- nodes
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000004931 aggregating effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种步态识别方法、装置、设备和存储介质，方法包括：基于行人在预置时间段内的步态序列提取步态序列中各帧图像的前景图像和关键点；针对每帧前景图像建立一个图卷积神经网络，将每帧前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；基于每帧前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；对行人的一组前景图像的节点特征进行特征处理，得到行人在预置时间段内的步态特征向量，根据行人在预置时间段内的步态特征向量进行步态识别，改善了现有技术存在的识别精度不高的技术问题。
Description
技术领域
本申请涉及步态识别技术领域，尤其涉及一种步态识别方法、装置、设备和存储介质。
背景技术
步态识别是通过视频序列中人们走路姿态进行身份识别，与其他生物识别技术相比，步态识别具有非接触、远距离和不易伪装的优点，安防等领域具有广泛的应用前景。但在实际复杂环境中，步态识别应用仍然存在一些问题。现有技术通常采用步态轮廓图或步态能量图进行步态识别，容易受光照条件、复杂背景的影响，导致识别精度不高。
发明内容
本申请提供了一种步态识别方法、装置、设备和存储介质，用于改善现有技术存在的识别精度不高的技术问题。
有鉴于此，本申请第一方面提供了一种步态识别方法，包括：
基于行人在预置时间段内的步态序列提取所述步态序列中各帧图像的前景图像和关键点；
针对每帧所述前景图像建立一个图卷积神经网络，将每帧所述前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；
基于每帧所述前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；
对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，根据行人在所述预置时间段内的步态特征向量进行步态识别。
可选的，所述建立节点的连接关系，包括：
根据人体结构关系建立节点的固定连接关系；
根据行人的步态变化，在各个节点附近搜索没有固定连接关系的其他节点建立动态的连接关系。
可选的，动态的连接关系的建立过程为：
根据各节点的类型设置各节点对应的距离阈值；
若两个没有固定连接关系的节点之间的距离小于对应的距离阈值，则在该两个没有固定连接关系的节点之间建立连接关系。
可选的，所述基于每帧所述前景图像提取各节点的特征，包括：
在每帧所述前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧所述前景图像中各个关键点的所述目标区域，保留所述目标区域内的像素点的像素值，并将未包含在所述目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征。
可选的，所述对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，包括：
将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；
将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；
对行人的所述步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；
对行人的所述步态特征矩阵进行卷积处理，将得到的卷积特征与所述步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在所述预置时间段内的步态特征向量。
本申请第二方面提供了一种步态识别装置，包括：
提取单元，用于基于行人在预置时间段内的步态序列提取所述步态序列中各帧图像的前景图像和关键点；
建立单元，用于针对每帧所述前景图像建立一个图卷积神经网络，将每帧所述前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；
聚合单元，用于基于每帧所述前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；
识别单元，用于对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，根据行人在所述预置时间段内的步态特征向量进行步态识别。
可选的，所述聚合单元，具体用于：
在每帧所述前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧所述前景图像中各个关键点的所述目标区域，保留所述目标区域内的像素点的像素值，并将未包含在所述目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征；
通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征。
可选的，所述识别单元，具体用于：
将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；
将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；
对行人的所述步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；
对行人的所述步态特征矩阵进行卷积处理，将得到的卷积特征与所述步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在所述预置时间段内的步态特征向量；
根据行人在所述预置时间段内的步态特征向量进行步态识别。
本申请第三方面提供了一种步态识别设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的步态识别方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的步态识别方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种步态识别方法，包括：基于行人在预置时间段内的步态序列提取步态序列中各帧图像的前景图像和关键点；针对每帧前景图像建立一个图卷积神经网络，将每帧前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；基于每帧前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；对行人的一组前景图像的节点特征进行特征处理，得到行人在预置时间段内的步态特征向量，根据行人在预置时间段内的步态特征向量进行步态识别。
本申请中，通过行人的步态序列提取行人的前景图像和关键点，并针对每帧前景图像建立一个图卷积神经网络来提取各帧前景图像的节点特征，通过关键点信息来提取节点特征，有助于改善采用步态轮廓图或步态能量图进行步态识别所存在的识别精度低的问题，通过结合前景图像中的步态信息以及行人的关键点信息提取更具有步态属性的步态特征向量，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，可以增强相关节点之间的关联度，有助于提高识别精度，从而改善了现有技术存在的识别精度不高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种步态识别方法的一个流程示意图；
图2为本申请实施例提供的一组前景图像；
图3为本申请实施例提供的图2中各帧前景图像对应的关键点之间的固定连接关系图；
图4为本申请实施例提供的固定的节点连接关系和动态的节点连接关系的对比示意图；
图5为本申请实施例提供的颈部关键点的前景图像的提取过程示意图；
图6为本申请实施例提供的节点聚合示意图；
图7为本申请实施例提供的步态特征向量的提取过程流程图；
图8为本申请实施例提供的一种步态识别装置的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请实施例提供了一种步态识别方法，包括：
步骤101、基于行人在预置时间段内的步态序列提取步态序列中各帧图像的前景图像和关键点。
可以通过摄像头采集行人在预置时间段内(如1分钟、5分钟等)的步态视频，得到行人的步态序列，通过提取步态序列中各帧图像的步态剪影，得到步态序列各帧图像的前景图像，从而可以得到如图2所示的一组前景图像，其中，步态剪影的具体提取过程属于现有技术，在此不再进行赘述。
还可以采用姿态估计方法对步态序列进行姿态估计，提取行人的2D关键点，本申请实施例中的行人的关键点包括头、左肩、右肩、左手、右手、颈部、髋部、左腰、右腰、左膝、右膝、左脚和右脚的13个关键点。
步骤102、针对每帧前景图像建立一个图卷积神经网络，将每帧前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系。
对于行人在一段时间内的步态序列，可以获取到由多帧前景图像组成的前景图像序列，对于每帧前景图像建立一个图卷积神经网络，将每帧前景图像的关键点作为对应的图卷积神经网络的节点，并根据关键点的连接关系建立节点的连接关系，从而可以通过图卷积神经网络可以表示每帧前景图像中各关键点的连接关系。
进一步，建立节点的连接关系的具体过程为：
首先，根据人体结构关系建立节点的固定连接关系，如，头可以分别与左肩、右肩建立固定连接关系，左肩与左手可以建立固定连接关系，右肩与右手可以建立固定连接关系，具体可以参考图3，图3为图2中各帧前景图像对应的关键点之间的固定连接关系。
然后，根据行人的步态变化，在各个节点附近搜索没有固定连接关系的其他节点建立动态的连接关系。具体的，根据各节点的类型设置各节点对应的距离阈值，具体距离阈值的大小可以根据实际情况进行设置，在此不做具体限定；若两个没有固定连接关系的节点之间的距离小于对应的距离阈值，则在该两个没有固定连接关系的节点之间建立连接关系，若两个没有固定连接关系的节点之间的距离大于或等于对应的距离阈值，则两个没有固定连接关系的节点之间无连接关系，其中，两个节点之间的距离可以根据两个节点对应的关键点在图像中的像素位置计算得到，具体可以参考图4，图4中的左图只建立了节点间的固定连接关系，右图为在固定连接关系的基础上增加了动态的节点连接关系，即右图中的连接线段1、2和3。这样，对于每一个行人的一帧前景图像，可以建立关键点的连接关系，也即节点的连接关系，以节点邻接表的形式对某帧前景图像的关键点的连接关系进行表示，具体可以参考表1，其中，“*”表示存在连接关系。
表1节点邻接表
由于行人的步态变化，在不同帧的前景图像中，两个关键点之间的距离会动态变化，从而使得对于不同帧的前景图像对应的图卷积神经网络中的节点的连接关系也会动态变化。由于每个行人都有自己特定的步态属性，本申请实施例根据行人行走时的步态和关键点的动态特征，动态建立图卷积神经网络的节点连接关系，本申请通过建立节点的固定连接关系和动态连接关系，以便更充分的提取出行人的步态属性，进而提高步态识别准确率。
步骤103、基于每帧前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征。
对于步态序列图像中的人体关键点，随着行人的行走而变化，可以采用时空域的pooling提取特征，或者利用人体关键点的相互位置变化和相对速度提取特征，但该方法不能挖掘出人体关键点之间更多层次的关联，如从手到肩、髋部、颈部、膝部等的关联。为了改善该问题，本申请实施例通过图卷积神经网络建立这些更多层次的关联关系以获取更具有识别度的步态特征。
但对于步态序列图像中的人体关键点，若应用到图卷积神经网络中，需要进行特征提取，从而需要获得一种对齐图像的特征，才能使各个节点的特征具有一致性；目前没有一个很好的方法可以选择关键点周围的较大区域，并且使得各个关键点的特征能够对齐。若对人体关键点的3d坐标采用关联计算特征的方法，对坐标进行归一化处理，该过程还是没能对关键点周围区域的图像计算特征，导致最终的步态识别精度不高。为了改善该问题，本申请实施例对于每个人体关键点，在关键点的周围区域提取合适的可对齐的图像，然后进行特征提取，使得能够适用于图卷积神经网络的计算。具体的，本申请实施例在基于每帧前景图像提取各节点的特征时，在每帧前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；针对每帧前景图像中各个关键点的目标区域，保留目标区域内的像素点的像素值，并将未包含在目标区域的像素点设置为0，得到各关键点的前景图像；将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征。
对于图卷积神经网络，需要提取各个节点的特征，可以在每个关键点的周围选择一个固定大小的正方形，然后采用一个共享权重的预置卷积神经网络提取特征作为各关键点对应的节点的特征。本申请实施例中，每个行人的前景图像为正方形，以每个关键点为中心点，选择一个固定尺寸的正方形作为各关键点的目标区域，此目标区域需要包含比较多的前景区域，以获得更多的节点特征，可以选择目标区域的边长为前景图像边长的0.8；然后将前景图像中的未包含在此目标区域中的像素点的像素值全部设置为0，得到各关键点的前景区域，这时得到的关键点的前景图像作为该关键点对应的节点的特征提取的输入图像，用于提取节点的特征。各关键点的前景图像的提取过程可以参考图5提供的颈部关键点的前景图像的提取过程。
通过图5可知，关键点的目标区域为固定尺寸的正方形，它的范围可能超过了行人的前景图像的范围，但是在接下来的处理中，只是在行人的前景图像的范围内取值，所以超过的区域可以忽略掉，然后在行人的前景图像中，将包含在目标区域之外的像素点的像素值全部设置为0，即将目标区域外设置为背景；这样，每个关键点的前景图像和行人的前景图像的尺寸相同，可以采用一个相同的卷积神经网络提取特征，也可以将各个关键点的目标区域和行人的前景图像对齐后，再进行特征提取。
在获取到各个关键点的前景图像后，将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征，本申请实施例中的预置卷积神经网络可以是7层的卷积神经网络，具体网络结构可以采用现有的卷积神经网络结构，在此不做具体限定。
对于图卷积神经网络，一个节点的完整特征包括邻居节点的特征，通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，可以得到行人的一组前景图像的节点特征，各节点的邻居节点可以通过各节点之间的连接关系确定。在本申请实施例中，图卷积神经网络的结构可以根据行人的行走情况(即各节点之间的连接关系的改变)而改变，从而可以更好的获得各节点更具有代表性的节点特征。具体的，在提取到各个节点自身的特征后，可以根据节点邻接表，将某个节点和它的邻居节点的特征进行聚合，如，右脚，右脚与右手、右脚与左膝，可以以右脚进行特征聚合。节点和邻居节点的特征聚合可以递归的进行，即可以采用多层的图卷积进行处理，这样每个节点可以和周围的一定范围内的节点进行聚合，有助于增强特征表示，提高相关节点之间的关联度，从而提高步态识别精度，本申请实施例优选采用2层的图卷积神经网络来进行节点与邻居节点的特征聚合。
节点聚合过程可以参考图6，图6以左肩节点为例，示意了左肩节点与其邻居节点(或邻接节点)的聚合过程，在通过预置卷积神经网络提取到各个节点的特征向量后，可以根据节点邻接表获取各节点之间的连接关系，通过连接可以获取到左肩节点对应的邻居节点，即左手、左膝、髋部以及右肩，根据左肩节点与各邻居节点之间的权重以及各邻居节点的特征向量可以计算得到邻居节点信息(也即邻接节点信息)，具体可以通过各邻居节点的权重与各邻居节点的特征向量进行加权求和计算得到邻居节点信息，其中，节点之间的权重可以通过节点之间的距离计算得到；然后通过激活函数对邻居节点信息进行映射后再与左肩节点进行聚合，得到初步的左肩节点聚合信息，通过网络中的学习权重对左肩节点聚合信息进行加权，再输入到激活函数中进行映射，得到最终聚合后的左肩节点特征。其他节点的聚合过程与左肩节点聚合过程类似，在此不再进行赘述。
步骤104、对行人的一组前景图像的节点特征进行特征处理，得到行人在预置时间段内的步态特征向量，根据行人在预置时间段内的步态特征向量进行步态识别。
通过上述特征提取过程，可以提取得到每一帧前景图像中的每一个节点的特征，将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；对行人的步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；对行人的步态特征矩阵进行卷积处理，将得到的卷积特征与步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在预置时间段内的步态特征向量。
请参考图7，对于行人的一组步态序列图像提取到N帧前景图像，每一帧前景图像有13个节点特征，则依次通过7层的卷积神经网络(Conv×7)和两层的图卷积神经网络(GConv×2)可以提取得到的N*13个节点特征；将多帧前景图像的节点特征按时间轴取最大值，可以得到N*1个节点向量；通过两层卷积层将每个节点向量转换为一个二维矩阵，尺寸为P*Q，这样可以得到N个P*Q的步态特征矩阵，对行人的N个步态特征矩阵在x维度、y维度上分别进行最大值池化(Maxpooling)处理，从而将P*Q大小的步态特征矩阵分别转换为P大小的特征向量和Q大小的特征向量，将x维度、y维度上处理后得到的特征向量进行拼接，得到N个P+Q大小的步态拼接向量；同时，对行人的N个P*Q大小的步态特征矩阵进行卷积处理，得到N个P+Q大小的卷积特征，将得到的N个P+Q大小的卷积特征与N个P+Q大小的步态拼接向量进行融合，即对应位置的特征值进行相加，可以得到N个P+Q大小的步态融合特征，并将得到的步态融合特征输入到两个全连接层(FC×2)中依次进行处理，得到的输出向量即为行人在预置时间段内的步态特征向量。通过行人在预置时间段内的步态特征向量可以识别两段不同时间段内的步态序列是否属于相同的行人，具体可以通过计算两段时间段内的步态特征向量之间的相似度来判别两段不同时间段内的步态序列是否属于相同的行人，从而实现步态识别。
本申请实施例中，通过行人的步态序列提取行人的前景图像和关键点，并针对每帧前景图像建立一个图卷积神经网络来提取各帧前景图像的节点特征，通过关键点信息来提取节点特征，有助于改善采用步态轮廓图或步态能量图进行步态识别所存在的识别精度低的问题，通过结合前景图像中的步态信息以及行人的关键点信息提取更具有步态属性的步态特征向量，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，可以增强相关节点之间的关联度，有助于提高识别精度，从而改善了现有技术存在的识别精度不高的技术问题。
以上为本申请提供的一种步态识别方法的一个实施例，以下为本申请提供的一种步态识别装置的一个实施例。
请参考图8，本申请实施例提供的一种步态识别装置，包括：
提取单元，用于基于行人在预置时间段内的步态序列提取步态序列中各帧图像的前景图像和关键点；
建立单元，用于针对每帧前景图像建立一个图卷积神经网络，将每帧前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；
聚合单元，用于基于每帧前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；
识别单元，用于对行人的一组前景图像的节点特征进行特征处理，得到行人在预置时间段内的步态特征向量，根据行人在预置时间段内的步态特征向量进行步态识别。
建立节点的连接关系，包括：
根据人体结构关系建立节点的固定连接关系；
根据行人的步态变化，在各个节点附近搜索没有固定连接关系的其他节点建立动态的连接关系。
作为进一步地改进，动态的连接关系的建立过程为：
根据各节点的类型设置各节点对应的距离阈值；
若两个没有固定连接关系的节点之间的距离小于对应的距离阈值，则在该两个没有固定连接关系的节点之间建立连接关系。
作为进一步地改进，基于每帧前景图像提取各节点的特征，包括：
在每帧前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧前景图像中各个关键点的目标区域，保留目标区域内的像素点的像素值，并将未包含在目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征。
作为进一步地改进，聚合单元，具体用于：
在每帧前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧前景图像中各个关键点的目标区域，保留目标区域内的像素点的像素值，并将未包含在目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征；
通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征。
作为进一步地改进，识别单元，具体用于：
将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；
将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；
对行人的步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；
对行人的步态特征矩阵进行卷积处理，将得到的卷积特征与步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在预置时间段内的步态特征向量；
根据行人在预置时间段内的步态特征向量进行步态识别。
本申请实施例中，通过行人的步态序列提取行人的前景图像和关键点，并针对每帧前景图像建立一个图卷积神经网络来提取各帧前景图像的节点特征，通过关键点信息来提取节点特征，有助于改善采用步态轮廓图或步态能量图进行步态识别所存在的识别精度低的问题，通过结合前景图像中的步态信息以及行人的关键点信息提取更具有步态属性的步态特征向量，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，可以增强相关节点之间的关联度，有助于提高识别精度，从而改善了现有技术存在的识别精度不高的技术问题。
本申请实施例还提供了一种步态识别设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的步态识别方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的步态识别方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种步态识别方法，其特征在于，包括：
基于行人在预置时间段内的步态序列提取所述步态序列中各帧图像的前景图像和关键点；
针对每帧所述前景图像建立一个图卷积神经网络，将每帧所述前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；
基于每帧所述前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；
对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，根据行人在所述预置时间段内的步态特征向量进行步态识别。
2.根据权利要求1所述的步态识别方法，其特征在于，所述建立节点的连接关系，包括：
根据人体结构关系建立节点的固定连接关系；
根据行人的步态变化，在各个节点附近搜索没有固定连接关系的其他节点建立动态的连接关系。
3.根据权利要求2所述的步态识别方法，其特征在于，动态的连接关系的建立过程为：
根据各节点的类型设置各节点对应的距离阈值；
若两个没有固定连接关系的节点之间的距离小于对应的距离阈值，则在该两个没有固定连接关系的节点之间建立连接关系。
4.根据权利要求1所述的步态识别方法，其特征在于，所述基于每帧所述前景图像提取各节点的特征，包括：
在每帧所述前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧所述前景图像中各个关键点的所述目标区域，保留所述目标区域内的像素点的像素值，并将未包含在所述目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征。
5.根据权利要求1所述的步态识别方法，其特征在于，所述对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，包括：
将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；
将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；
对行人的所述步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；
对行人的所述步态特征矩阵进行卷积处理，将得到的卷积特征与所述步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在所述预置时间段内的步态特征向量。
6.一种步态识别装置，其特征在于，包括：
提取单元，用于基于行人在预置时间段内的步态序列提取所述步态序列中各帧图像的前景图像和关键点；
建立单元，用于针对每帧所述前景图像建立一个图卷积神经网络，将每帧所述前景图像的关键点作为对应的图卷积神经网络的节点，并建立节点的连接关系；
聚合单元，用于基于每帧所述前景图像提取各节点的特征，并通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征；
识别单元，用于对行人的一组前景图像的节点特征进行特征处理，得到行人在所述预置时间段内的步态特征向量，根据行人在所述预置时间段内的步态特征向量进行步态识别。
7.根据权利要求6所述的步态识别装置，其特征在于，所述聚合单元，具体用于：
在每帧所述前景图像中分别选择以各个关键点为中心点的预置大小区域作为各关键点的目标区域；
针对每帧所述前景图像中各个关键点的所述目标区域，保留所述目标区域内的像素点的像素值，并将未包含在所述目标区域的像素点设置为0，得到各关键点的前景图像；
将各关键点的前景图像作为对应节点的输入图像输入到预置卷积神经网络中进行特征提取，得到各节点的特征；
通过图卷积神经网络将各节点和对应的邻居节点的特征进行聚合，得到行人的一组前景图像的节点特征。
8.根据权利要求6所述的步态识别装置，其特征在于，所述识别单元，具体用于：
将行人的一组前景图像的节点特征按时间轴取最大值，得到行人的一组节点向量；
将行人的一组节点向量进行矩阵化处理，得到行人的步态特征矩阵；
对行人的所述步态特征矩阵在x维度、y维度上分别进行最大值池化处理，并将x维度、y维度上处理后得到的特征向量进行拼接，得到步态拼接向量；
对行人的所述步态特征矩阵进行卷积处理，将得到的卷积特征与所述步态拼接向量进行融合，并将得到的步态融合特征输入到两个全连接层中依次进行处理，得到行人在所述预置时间段内的步态特征向量；
根据行人在所述预置时间段内的步态特征向量进行步态识别。
9.一种步态识别设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的步态识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-5任一项所述的步态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211578594.5A CN115830712B (zh) | 2022-12-06 | 2022-12-06 | 一种步态识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211578594.5A CN115830712B (zh) | 2022-12-06 | 2022-12-06 | 一种步态识别方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830712A true CN115830712A (zh) | 2023-03-21 |
| CN115830712B CN115830712B (zh) | 2023-12-01 |
Family
ID=85545644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211578594.5A Active CN115830712B (zh) | 2022-12-06 | 2022-12-06 | 一种步态识别方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830712B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246351A (zh) * | 2023-05-11 | 2023-06-09 | 天津医科大学第二医院 | 一种基于图像处理的老年人步态识别方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
| CN110059598A (zh) * | 2019-04-08 | 2019-07-26 | 南京邮电大学 | 基于姿态关节点的长时程快慢网络融合的行为识别方法 |
| CN110084156A (zh) * | 2019-04-12 | 2019-08-02 | 中南大学 | 一种步态特征提取方法及基于步态特征的行人身份识别方法 |
| CN111428658A (zh) * | 2020-03-27 | 2020-07-17 | 大连海事大学 | 一种基于模态融合的步态识别方法 |
| CN112101176A (zh) * | 2020-09-09 | 2020-12-18 | 元神科技(杭州)有限公司 | 一种结合用户步态信息的用户身份识别方法及系统 |
| US20210312321A1 (en) * | 2020-04-06 | 2021-10-07 | Huawu DENG | Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks |
-
2022
- 2022-12-06 CN CN202211578594.5A patent/CN115830712B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
| CN110059598A (zh) * | 2019-04-08 | 2019-07-26 | 南京邮电大学 | 基于姿态关节点的长时程快慢网络融合的行为识别方法 |
| CN110084156A (zh) * | 2019-04-12 | 2019-08-02 | 中南大学 | 一种步态特征提取方法及基于步态特征的行人身份识别方法 |
| CN111428658A (zh) * | 2020-03-27 | 2020-07-17 | 大连海事大学 | 一种基于模态融合的步态识别方法 |
| US20210312321A1 (en) * | 2020-04-06 | 2021-10-07 | Huawu DENG | Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks |
| CN112101176A (zh) * | 2020-09-09 | 2020-12-18 | 元神科技(杭州)有限公司 | 一种结合用户步态信息的用户身份识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| YUQI ZHANG等: "Cross-View Gait Recognition by Discriminative Feature Learning", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 29, pages 1001, XP011757084, DOI: 10.1109/TIP.2019.2926208 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246351A (zh) * | 2023-05-11 | 2023-06-09 | 天津医科大学第二医院 | 一种基于图像处理的老年人步态识别方法和系统 |
| CN116246351B (zh) * | 2023-05-11 | 2023-07-18 | 天津医科大学第二医院 | 一种基于图像处理的老年人步态识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830712B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
| Kocabas et al. | Multiposenet: Fast multi-person pose estimation using pose residual network | |
| Toshev et al. | Deeppose: Human pose estimation via deep neural networks | |
| CN111339918B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111368943B (zh) | 图像中对象的识别方法和装置、存储介质及电子装置 | |
| CN111144284B (zh) | 深度人脸图像的生成方法、装置、电子设备及介质 | |
| CN113963032A (zh) | 一种融合目标重识别的孪生网络结构目标跟踪方法 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN111783506A (zh) | 目标特征的确定方法、装置和计算机可读存储介质 | |
| Lee et al. | HGO-CNN: Hybrid generic-organ convolutional neural network for multi-organ plant classification | |
| CN113936309A (zh) | 一种基于面部分块的表情识别方法 | |
| CN115830712B (zh) | 一种步态识别方法、装置、设备和存储介质 | |
| CN112052771A (zh) | 一种对象重识别方法及装置 | |
| CN116994022A (zh) | 对象检测方法、模型训练方法、装置、电子设备和介质 | |
| Nguyen et al. | Combined YOLOv5 and HRNet for high accuracy 2D keypoint and human pose estimation | |
| Watson et al. | Person re-identification combining deep features and attribute detection | |
| CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
| CN104376312A (zh) | 基于词袋压缩感知特征提取的人脸识别方法 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| CN116959113A (zh) | 步态识别方法及装置 | |
| CN111416938B (zh) | 一种增强现实合拍方法、设备及计算机可读存储介质 | |
| WO2023147775A1 (en) | Methods, systems, and media for identifying human coactivity in images and videos using neural networks | |
| CN112560637B (zh) | 一种基于深度学习的服饰解析方法、设备及存储介质 | |
| CN112749711B (zh) | 视频获取方法和装置及存储介质 | |
| CN114708654A (zh) | 一种将骨骼信息映射为图像的人物识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |