CN111428658A - 一种基于模态融合的步态识别方法 - Google Patents

一种基于模态融合的步态识别方法 Download PDF

Info

Publication number
CN111428658A
CN111428658A CN202010231644.7A CN202010231644A CN111428658A CN 111428658 A CN111428658 A CN 111428658A CN 202010231644 A CN202010231644 A CN 202010231644A CN 111428658 A CN111428658 A CN 111428658A
Authority
CN
China
Prior art keywords
gait
samples
sample
sequence
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010231644.7A
Other languages
English (en)
Other versions
CN111428658B (zh
Inventor
刘晓凯
尤昭阳
毕胜
刘祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202010231644.7A priority Critical patent/CN111428658B/zh
Publication of CN111428658A publication Critical patent/CN111428658A/zh
Application granted granted Critical
Publication of CN111428658B publication Critical patent/CN111428658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于模态融合的步态识别方法，属于模式识别技术领域，为解决现有步态识别技术受光照条件以及复杂背景或协变量影响较大，导致轮廓图提取不准确，从而影响识别精度以及由于缺少人体基本属性信息而使其特征表达能力受到限制，同时由于关键点序列是非结构化数据，难以用深度网络进行建模，多采用凭经验人工设计特征的方法，无法最大化挖掘有效的判别特征，影响识别准确率及泛化能力的问题。本发明采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。

Description

一种基于模态融合的步态识别方法
技术领域
本发明涉及模式识别技术领域，具体而言，尤其涉及一种基于模态融合的步态识别方法。
背景技术
步态识别是计算机视觉和模式识别领域内一个非常新的研究方向，是一种新的生物特征识别技术，旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，步态识别作为一种生物识别技术，具有其他生物认证技术所不具有的独特优势，即在远距离或低视频质量情况下的识别潜力大，且步态难以隐藏或伪装等，但是要设计并实现一个实用性强的步态识别系统是非常复杂且困难的。由于人的行走姿势受各种因素的影响，在不同环境条件下行走姿势有或多或少的变化，因此步态识别的计算较复杂，识别的准确度还不够高，如何更准确的识别步态特征是步态识别领域面临的难题。步态序列图像是一个复杂、具有非常高维数的视觉模式，图像获取过程中的不确定性，使得步态识别过程受到各种外界因素的干扰。如何消除复杂背景以及各种协变量的影响，准确提取运动人体的目标特征成为步态特征提取以及后续处理的关键。现有步态识别技术仍然存在以下不足：
1、通过步态轮廓图或步态能量图进行步态识别，受光照条件、复杂背景以及协变量影响较大，往往导致轮廓图提取不准确，从而影响识别精度。
2、通过骨架信息进行步态识别，从步态视频序列中获取人体关键点序列，但是这种表达方式由于缺少了人体基本属性信息(如体型)而使其特征表达能力受到限制；另外由于关键点序列是非结构化数据，难以用深度网络进行建模，故现有技术多采用凭经验人工设计特征的方法，因此无法最大化挖掘有效的判别特征，极大地影响了其识别准确率及泛化能力。
发明内容
根据上述提出的技术问题，而提供一种基于模态融合的步态识别方法。本发明采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。
本发明采用的技术手段如下：
一种基于模态融合的步态识别方法，包括如下步骤：
S1、采集步态视频序列；
S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；
S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；
S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；
S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；
S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；
S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；
S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；
S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。
进一步地，所述步骤S4具体为：
S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；
S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；
S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；
S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；
S46、输入待测试的步态关键点序列；
S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；
S48、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。
进一步地，所述步骤S7具体为：
S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；
S73、反向传播，更新网络，完成卷积神经网络的训练；
S74、输入多张待检测样本的步态轮廓图；
S75、利用训练好的卷积神经网络提取步态特征；
S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S77、计算待检索行人步态特征与检索库中行人步态特征之间的距离，即针对一个待检索行人步态特征，计算其特征与检索库中所有行人步态特征之间的欧几里得距离D，并将该距离进行保存。
进一步地，所述步骤S8具体为：
S81、分别读取所述步骤S39中保存的余弦相似度S和所述步骤S77保存的欧几里得距离D；
S82、因为余弦相似度越大则表示样本间相似度越大，而欧几里得距离越小则表示样本越相似，因此融合公式为：DS＝D–λS，根据实验得出λ＝10，DS即为融合后距离；
S83、按照融合后距离DS由小到大的顺序将检索库中样本进行排序，越靠前则表示与待检索行人ID一致。
较现有技术相比，本发明具有以下优点：
1、本发明提供的步态识别方法，针对协变量、光照以及复杂背景的影响，采用关键点序列来表征步态的方式，解决了轮廓图或者能量图表示的步态特征在协变量等条件下鲁棒性较低问题，提升了识别准确率。
2、本发明提供的步态识别方法，针对使用骨架信息导致的人体属性缺失问题，以及在携带物条件下，特定的人体关键点比如手是固定在某一位置的，导致信息冗余，因此使用轮廓图来表示步态特征，提升识别准确率
3、本发明提供的步态识别方法，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合，既解决了协变量等影响下鲁棒性较低问题，又丰富了特征的表示形式，增加人体属性信息，有效地提升了识别准确率。
基于上述理由本发明可在模式识别等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本实施例中，采用CASIA-B数据集，NM：正常行走条件，BG：携带物条件，CL：穿大衣条件。如下表所示：
Figure BDA0002429465900000051
如图1所示，本发明提供了一种基于模态融合的步态识别方法，包括如下步骤：
S1、采集步态视频序列；
S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；
S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；
S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；
进一步地，作为本发明优选的实施方式，在训练多尺度时空图卷积网络阶段，目的是训练多尺度时空图卷积网络使其能提取到代表行人步态的特征，故多尺度时空图卷积网络以分类的形式进行训练，步骤S4具体为：
S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；
S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；交叉熵损失函数为：
Figure BDA0002429465900000061
其中，N为样本个数，yi为第i个样本的真实值，
Figure BDA0002429465900000062
为预测值。
S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；对比损失为：
Figure BDA0002429465900000063
其中，N为样本个数，d为两个样本特征间的距离，yi为第i个样本的标签，margin为设定的阈值。
S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；
S46、输入待测试的步态关键点序列；
S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；
S38、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。具体的，余弦相似度计算过程如下：
对两个特征向量进行二范数归一化，然后再进行点积运算，即计算两个向量夹角的余弦值
Figure BDA0002429465900000071
f1，f2为两个特征向量。
S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；
S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；
S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；
进一步地，作为本发明优选的实施方式，所述步骤S7具体为：
S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；
S73、反向传播，更新网络，完成卷积神经网络的训练；
S74、输入多张待检测样本的步态轮廓图；
S75、利用训练好的卷积神经网络提取步态特征；
S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S77、计算待检索行人步态特征与检索库中行人步态特征之间的距离，即针对一个待检索行人步态特征，计算其特征与检索库中所有行人步态特征之间的欧几里得距离D，并将该距离进行保存。具体的，欧几里得距离的计算过程如下：
Figure BDA0002429465900000081
其中，f1,f2为两个n维特征向量。
S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；
进一步地，作为本发明优选的实施方式，所述步骤S8具体为：
S81、分别读取所述步骤S39中保存的余弦相似度S和所述步骤S77保存的欧几里得距离D；
S82、因为余弦相似度越大则表示样本间相似度越大，而欧几里得距离越小则表示样本越相似，因此融合公式为：DS＝D–λS，根据实验得出λ＝10，DS即为融合后距离；
S83、按照融合后距离DS由小到大的顺序将检索库中样本进行排序，越靠前则表示与待检索行人ID一致。
S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。对于一个待检索样本来说，若S83中排序第一的样本与待检索样本ID相同，则令r＝1，否则r＝0，因此
Figure BDA0002429465900000082
其中N为待检索样本数。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (4)

1.一种基于模态融合的步态识别方法，其特征在于，包括如下步骤：
S1、采集步态视频序列；
S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；
S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；
S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；
S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；
S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；
S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；
S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；
S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。
2.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S4具体为：
S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；
S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；
S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；
S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；
S46、输入待测试的步态关键点序列；
S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；
S48、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。
3.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S7具体为：
S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；
S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；
S73、反向传播，更新网络，完成卷积神经网络的训练；
S74、输入多张待检测样本的步态轮廓图；
S75、利用训练好的卷积神经网络提取步态特征；
S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；
S77、计算待检索行人步态特征与检索库中行人步态特征之间的距离，即针对一个待检索行人步态特征，计算其特征与检索库中所有行人步态特征之间的欧几里得距离D，并将该距离进行保存。
4.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S8具体为：
S81、分别读取所述步骤S39中保存的余弦相似度S和所述步骤S77保存的欧几里得距离D；
S82、因为余弦相似度越大则表示样本间相似度越大，而欧几里得距离越小则表示样本越相似，因此融合公式为：DS＝D–λS，根据实验得出λ＝10，DS即为融合后距离；
S83、按照融合后距离DS由小到大的顺序将检索库中样本进行排序，越靠前则表示与待检索行人ID一致。
CN202010231644.7A 2020-03-27 2020-03-27 一种基于模态融合的步态识别方法 Active CN111428658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010231644.7A CN111428658B (zh) 2020-03-27 2020-03-27 一种基于模态融合的步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010231644.7A CN111428658B (zh) 2020-03-27 2020-03-27 一种基于模态融合的步态识别方法

Publications (2)

Publication Number Publication Date
CN111428658A true CN111428658A (zh) 2020-07-17
CN111428658B CN111428658B (zh) 2024-02-20

Family

ID=71549786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231644.7A Active CN111428658B (zh) 2020-03-27 2020-03-27 一种基于模态融合的步态识别方法

Country Status (1)

Country Link
CN (1) CN111428658B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131970A (zh) * 2020-09-07 2020-12-25 浙江师范大学 一种基于多通道时空网络和联合优化损失的身份识别方法
CN112434622A (zh) * 2020-11-27 2021-03-02 浙江大华技术股份有限公司 基于卷积神经网络的行人分割与步态识别一体化方法
CN112818808A (zh) * 2021-01-27 2021-05-18 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法
CN113469221A (zh) * 2021-06-09 2021-10-01 浙江大华技术股份有限公司 身份识别模型的训练方法和身份识别方法以及相关设备
WO2022174523A1 (zh) * 2021-02-22 2022-08-25 豪威芯仑传感器(上海)有限公司 一种提取行人的步态特征的方法、步态识别方法及系统
CN115830712A (zh) * 2022-12-06 2023-03-21 凯通科技股份有限公司 一种步态识别方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084066A (ko) * 2009-01-15 2010-07-23 충북대학교 산학협력단 컨투어렛 변환과 퍼지 선형판별분석기법을 이용한 걸음걸이인식 방법
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN109446991A (zh) * 2018-10-30 2019-03-08 北京交通大学 基于全局和局部特征融合的步态识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084066A (ko) * 2009-01-15 2010-07-23 충북대학교 산학협력단 컨투어렛 변환과 퍼지 선형판별분석기법을 이용한 걸음걸이인식 방법
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN109446991A (zh) * 2018-10-30 2019-03-08 北京交通大学 基于全局和局部特征融合的步态识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131970A (zh) * 2020-09-07 2020-12-25 浙江师范大学 一种基于多通道时空网络和联合优化损失的身份识别方法
CN112434622A (zh) * 2020-11-27 2021-03-02 浙江大华技术股份有限公司 基于卷积神经网络的行人分割与步态识别一体化方法
CN112818808A (zh) * 2021-01-27 2021-05-18 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法
CN112818808B (zh) * 2021-01-27 2024-01-19 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法
WO2022174523A1 (zh) * 2021-02-22 2022-08-25 豪威芯仑传感器(上海)有限公司 一种提取行人的步态特征的方法、步态识别方法及系统
CN113469221A (zh) * 2021-06-09 2021-10-01 浙江大华技术股份有限公司 身份识别模型的训练方法和身份识别方法以及相关设备
CN115830712A (zh) * 2022-12-06 2023-03-21 凯通科技股份有限公司 一种步态识别方法、装置、设备和存储介质
CN115830712B (zh) * 2022-12-06 2023-12-01 凯通科技股份有限公司 一种步态识别方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111428658B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111428658B (zh) 一种基于模态融合的步态识别方法
Hasani et al. Spatio-temporal facial expression recognition using convolutional neural networks and conditional random fields
Tay et al. Aanet: Attribute attention network for person re-identifications
Jiang et al. Multi-layered gesture recognition with Kinect.
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN111310668B (zh) 一种基于骨架信息的步态识别方法
CN106778501B (zh) 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
CN112149538A (zh) 一种基于多任务学习的行人重识别方法
Yang et al. Simultaneous spotting of signs and fingerspellings based on hierarchical conditional random fields and boostmap embeddings
Xia et al. Face occlusion detection using deep convolutional neural networks
CN112381047A (zh) 一种人脸表情图像的增强识别方法
Pang et al. Analysis of computer vision applied in martial arts
CN114821786A (zh) 一种基于人体轮廓和关键点特征融合的步态识别方法
Leng Co‐metric learning for person re‐identification
CN111753684A (zh) 一种利用目标姿势进行生成的行人重识别方法
CN116612497A (zh) 一种基于服装风格特征融合的换衣行人重识别方法
Chikkanna et al. Kinect based real-time gesture spotting using HCRF
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Jain et al. Unsupervised temporal segmentation of human action using community detection
Nickfarjam et al. Shape-based human action recognition using multi-input topology of deep belief networks
Zhang et al. Representative fashion feature extraction by leveraging weakly annotated online resources
Nasim Facial Expression Recognition Using Weighted Distance Transform
Chughtai et al. Object detection and segmentation for scene understanding via random forest
Paul et al. An Adam based CNN and LSTM approach for sign language recognition in real time for deaf people

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant