CN108921062B - 一种联合多步态特征协同字典的步态识别方法 - Google Patents
一种联合多步态特征协同字典的步态识别方法 Download PDFInfo
- Publication number
- CN108921062B CN108921062B CN201810640150.7A CN201810640150A CN108921062B CN 108921062 B CN108921062 B CN 108921062B CN 201810640150 A CN201810640150 A CN 201810640150A CN 108921062 B CN108921062 B CN 108921062B
- Authority
- CN
- China
- Prior art keywords
- gait
- depth
- energy map
- sparse
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005021 gait Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 50
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000000354 decomposition reaction Methods 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011160 research Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种联合多步态特征协同字典的步态识别方法，包括以下步骤：步态周期检测、深度图像的预处理、深度图像的特征提取、骨骼特征的提取、联合多特征协同字典的步态识别。该发明实现了一种新的联合步态骨骼特征和稀疏深度能量图的协同识别方法，不仅能够有效地提取具有显著差异性的步态特征，又能联合和互补多类型的步态特征，发挥每种类型特征的优势，提高了步态识别过程中的准确性和鲁棒性，为身份识别提供了一个有效和科学的解决方案。本发明充分考虑到了实际环境中摄像机与运动目标之间距离远近对深度图像成像产生的影响，并给出了具体的解决方案，使得深度图像不仅有效地与背景分割，还有效地消除了噪声的影响。
Description
技术领域
本发明涉及步态识别技术领域，具体涉及一种联合多步态特征协同字典的步态识别方法，主要涉及包括生物特征识别、身份识别、Kinect视频处理、图像处理、深度图像的步态特征识别和多特征融合的步态识别。
背景技术
步态识别作为生物识别的重要手段，因其可远距离识别、难以伪造和不需要配合等独特优势成为研究热点，并在门禁系统、医疗诊断和人机交互等领域具有很好的应用前景，特别是随着Kinect设备的发展，更是将步态识别带入了一个新的研究热潮。
理论上，根据人体步态可以远距离的识别出该人的身份，但是由于行走时各种限制条件，如环境、携带因素等的影响，往往结果总是差强人意。在背景复杂、光照强、带有携带物等的条件下时，很难使步态识别的效果达到最佳。传统的步态识别主要用普通的摄像机来记录目标的行走，大部分研究都基于所捕获的个体轮廓图使用非模型或构建模型的方法进行步态分析。基于非模型的方法计算量小，但对光照和背景敏感，当目标具有携带物或有遮挡物时，不准确的步态轮廓成为研究难题。而构建模型法计算复杂，能提取的有效信息量少。使用Kinect作为捕捉步态的工具，能够解决光照和背景等问题，并可利用红外深度传感器进行背景自动减影，即使在穿裙子还是大衣都可以识别出人体关节点的位置。当前基于Kinect的步态识别方法主要分为骨骼模型法和深度图像法。
骨骼模型法是指根据人体关键关节点构建一个骨骼模型，并将人体骨骼模型的移动特征或骨骼特征作为步态特征进行识别。此类方法的主要依据是Kinect捕捉的3D人体关节点位置坐标，关节点位置的准确性是整个方法的关键。因为整个骨骼模型就是25个3D关节点坐标组成的，因此这种方法的特征基本都是与关节点相关的，如长度、角度、距离或点坐标，有着建模简单，计算量小，高效等优势。但是当数据量增大的时候，单凭骨骼信息提取的特征的显著差异性会降低，例如相同身高范围的人会增多，缺乏代表性。
深度图像法是指将Kinect采集的深度图像作为研究对象，主要是通过表征步态模式，观察随着时间的推移个体的深度轮廓变化，并结合人体运动动力学进行研究。Kinectv2的深度传感器采用TOF(Time of Flight)技术，通过记录光源投射到每个像素点的光线发射与反射间的相位变化来计算光线飞行时间，从而计算光源到每个像素点的距离来取得深度信息，深度图像就是由这些目标到传感器的距离深度构成的图像。因此，深度图像所含的人体和步态信息是比较全面和充分的。这类的方法的缺点是深度图像数据量大，计算耗时较骨骼类方法更长。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种联合多步态特征协同字典的步态识别方法。
本发明的目的可以通过采取如下技术方案达到：
一种联合多步态特征协同字典的步态识别方法，包括下述步骤：
S1、步态周期检测步骤，对输入的步态数据，通过使用欧氏距离度量求出运动目标的步长，然后随着时间的变化，选择两脚间距离最小的三个极值之间的数据作为一个步态周期，即选取两脚合并时作为步态周期的起点，在自然状态下行走，经过两次合并后作为步态周期的结束点。起点和结束点共同决定一个步态周期；
S2、深度图像的预处理步骤，索引图像是人体与背景分割的图像，因此使用索引图与深度图相结合的方式，将运动目标与背景分割。这种方法分割后的图像会存在一些噪声，对图像进行中值滤波去除噪声点，再以第一帧的质心作为基点，把其他帧的图像质心平移到相同位置中。最后按比例缩放和规整图像，得到统一尺寸的、与背景分割的深度图像。
S3、深度图像的特征提取步骤，在深度图像预处理的基础上，本发明进一步研究深度图像的特征。对于一个步态序列，深入分析它的形状、轮廓图和研究在时空模式的统计特征，提出活动深度能量图的构建方案，并对其进行改进，给出一种新的稀疏深度能量图的特征提取方法。
S31、活动深度能量图的提取；
在同一个步态序列中，相邻帧之间会存在相对静止和相对运动的区域。其中，相对静止的区域是身躯部位，活动的区域最明显的是四肢部位。为了减弱静止的部位的计算量和增强活动区域的变化度，利用差分的思想来计算深度图像相邻帧之间的帧差信息，并对使用取平均的方法计算得到每个步态序列的活动深度能量图(Active Depth EnergyImage,ADEI)，公式如下：
其中，EADEI记为ADEI，步态序列帧数为N帧，DI(x,y,t)为某一帧的深度图像，x,y为深度图像中像素点的坐标，t＝1,2,...,N-1为帧数的指标。除此以外，通过平均每帧图像计算得到步态深度能量图，记为GDEI；
S32、稀疏深度能量图的提取；
为了得到更好的特征，分别将活动深度能量图和步态深度能量图进行RPCA分解，并把分解后的深度能量图进行加权叠加，从而得到稀疏深度能量图。首先，对步态深度能量图(GDEI)进行RPCA分解，其低秩矩阵L是相对静态的部分，而稀疏矩阵是S是包含了大量运动目标的动态信息，这部分正是步态的主要信息。此时可以认为稀疏矩阵S代表着运动目标的动态信息，即是从原图像中恢复稀疏活动矩阵S，记此为步态稀疏能量图(GSEI)，计算公式如下所示：
其中，EGDEI记为GDEI，rpca(x)表示x的RPCA分解，LGDEI表示RPCA分解后GDEI的低秩矩阵，SGDEI表示RPCA分解后GDEI的稀疏矩阵，EGSEI表示GSEI。另一方面，活动深度能量图(ADEI)是根据深度步态序列的相邻帧的相对变化得来的，本身就是稀疏的，而且含有的动态信息比较多，因此更容易受到其他不可预测的噪声的影响。RPCA分解后，其低秩矩阵L包含了大量步态信息，而稀疏矩阵S只含有少量前景像素。此时便是从原图像中恢复稀疏低秩矩阵，将此记为活动稀疏能量图(ASEI)，公式如下所示：
其中，EADEI记为ADEI，rpca(x)表示x的RPCA分解，LADEI表示RPCA分解后ADEI的低秩矩阵，SADEI表示RPCA分解后ADEI的稀疏矩阵，EASEI表示ASEI。从上述分析可知，虽然将深度能量图分解能得到更显著的特征，但是同时也会失去一些特征，使得特征不够完整。为了解决这个问题，本发明提出一种稀疏深度能量图(SDEI)的构建方法，整合两种稀疏能量图的特征信息，具体方法如下：
ESDEI＝(EGSEI+EASEI)/2＝(SGDEI+LADEI)/2
其中，ESDEI记为SDEI，EGSEI表示GSEI，EASEI表示ASEI，SGDEI表示RPCA分解后GDEI的稀疏矩阵，LADEI表示RPCA分解后ADEI的低秩矩阵。对于每个步态序列，根据上述步骤求出稀疏深度能量图，构成深度特征。
S4、骨骼特征的提取步骤；
骨骼特征具有计算简单、直观和高效等优点，因此选取手臂长、上身躯干、双肩长、长腿长和高度作为骨骼特征。根据人体的对称性，分别计算左右两边的骨骼长度值，并通过加和平均的方法得到骨骼特征。分别记手臂长、上身躯干、双肩长、长腿长和高度为dk,k＝1,2,...,5，则第Pi个关节点到第Pj个关节点的骨骼长度的计算公式如下：
dk＝||Pi-Pj||2
最后，求得统计值均值mean与标准差std作为最终骨骼特征SF：
SF＝{mean(dk),std(dk)}。
S5、联合多特征协同字典的步态识别步骤；
将骨骼类特征与稀疏深度能量图按顺序组成一个联合多特征字典，记为F：
F＝[vec(SF),vec(ESDEI)]
其中，SF为骨骼特征，ESDEI记为SDEI。结合协同表示方法，利用联合多特征协同字典法求解如下的公式：
上式中，y为测试样本，λ为正则化参数，从而解得联合协同系数α。分别将训练集和测试样本的联合多特征协同字典记为X和Y，按如下公式计算重构残差r：
N为训练样本的个数。将所得的重构残差选用最近邻准则分类，得到识别结果。
本发明相对于现有技术具有如下的优点及效果：
1、本发明结合现代先进的视频技术Kinect，为解决步态识别问题提供一个全新的解决思路和方法。目前基于Kinect的步态研究都是对骨骼信息或者深度信息，还没有一种将两者结合的方法。本发明提出的方法能够有效的将两者在特征层进行结合，使步态信息更为全面。
2、本发明充分考虑到了实际环境中摄像机与运动目标之间距离远近对深度图像成像产生的影响，并给出了具体的解决方案，使得深度图像不仅有效地与背景分割，还有效地消除了噪声的影响。
3、本发明对深度图像深入研究，给出了活动深度能量图的提取方法，该方法有效地消除了深度能量图中存在的大量冗余信息，更加显著地体现了步态的动态特性。
4、本发明通过对深度能量图的大量分析，进一步对活动深度能量图改进，提出了稀疏深度能量图的构建方法。该方法不仅能够达到提高特征的完整性、增加有效的步态信息量的目的，还能最大化识别效果。
5、本发明实现了一种新的联合步态骨骼特征和稀疏深度能量图的协同识别方法，不仅能够有效地提取具有显著差异性的步态特征，又能联合和互补多类型的步态特征，发挥每种类型特征的优势，提高了步态识别过程中的准确性和鲁棒性，为身份识别提供了一个有效和科学的解决方案。
附图说明
图1是联合多特征协同字典的步态识别方法的流程方框图；
图2是行走目标随着时间变化的步长曲线图；其中，
图2(a)是第k个步态序列的步长曲线图；
图2(b)是第k+1个步态序列的步长曲线图；
图3是深度图像、索引图像和与背景分割后的深度图像；其中，
图3(a)是原始数据显示得到的深度图像；
图3(b)是原始数据显示得到的索引图像；
图3(c)是与背景分割后的深度图像；
图4是深度图像、步态深度能量图和活动深度能量图的示例图；其中，
图4(a)是预处理后得到的深度图像1；
图4(b)是预处理后得到的深度图像2；
图4(c)是预处理后得到的深度图像3；
图4(d)是预处理后得到的深度图像4；
图4(e)是预处理后得到的深度图像5；
图4(f)是预处理后得到的深度图像6；
图4(g)是预处理后得到的深度图像7；
图4(h)是预处理后得到的深度图像8；
图4(i)是步态深度能量图；
图4(j)是活动深度能量图；
图5是步态深度能量图和活动深度能量图的RPCA分解结果图；其中，
图5(a)是原步态深度能量图；
图5(b)是经过RPCA分解后，步态深度能量图的低秩矩阵示例图；
图5(c)是经过RPCA分解后，步态深度能量图的稀疏矩阵示例图；
图5(d)是原活动深度能量图；
图5(e)是经过RPCA分解后，活动深度能量图的低秩矩阵示例图；
图5(f)是经过RPCA分解后，活动深度能量图的稀疏矩阵示例图；
图6是骨骼模型图；
图7是某个步态序列的5个骨骼特征示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明公开了一种联合多特征协同字典的步态识别方法，该方法主要包括以下五个步骤：S1、步态周期检测，S2、深度图像的预处理，S3、深度图像特征的提取，S4、骨骼特征提取和S5、联合多特征协同字典的步态识别。下面分别进行介绍：
S1、步态周期检测步骤；
步态周期可以通过脚部的骨骼关节点信息检测得到。首先，通过使用欧氏距离度量求出运动目标的步长。图2给出了连续两个步态序列随着时间变化的步长曲线图，其中，横坐标表示帧数，纵坐标表示人行走的步长。然后选择随着时间的变化，两脚间距离最小的三个极值之间的数据作为一个步态周期，即选取两脚合并时作为步态周期的起点，在自然状态下行走，经过两次合并后作为步态周期的结束点。起点和结束点共同决定一个步态周期。
S2、深度图像的预处理步骤；
该步骤为步态识别方法的优选步骤。Kinect获取得到的原始深度图像、索引图像如图3中图3(a)、图3(b)所示。索引图像是人体与背景分割的图像，因此使用索引图与深度图相结合的方式，将运动目标与背景分割，得到人体目标与背景分离的深度图，即图3(c)。这种方法分割后的图像会存在一些噪声，对图像进行中值滤波去除噪声点。由于运动目标是正面对着Kinect行走的，人行走方向也随着走动有所偏差。为了减少误差，需要对图像进行规整。以第一帧的质心作为基点，把其他帧的图像质心平移到相同位置中。最后按比例缩放和规整图像，得到统一尺寸的、与背景分割的深度图像，最终结果如图4(a)-图4(h)所示。
S3、深度图像的特征提取步骤；
在深度图像预处理的基础上，本发明进一步研究深度图像的特征。对于一个步态序列，深入分析它的形状、轮廓图和研究在时空模式的统计特征，提出活动深度能量图的构建方案，并对其进行改进，给出一种新的稀疏深度能量图的特征提取方法。
S31、活动深度能量图提取；
在同一个步态序列中，相邻帧之间会存在相对静止和相对运动的区域。其中，相对静止的区域是身躯部位，活动的区域最明显的是四肢部位。为了减弱静止的部位的计算量和增强活动区域的变化度，利用差分的思想来计算深度图像相邻帧之间的帧差信息，并对使用取平均的方法计算得到每个步态序列的活动深度能量图(Active Depth EnergyImage,ADEI)，如图4(j)所示，公式如下：
其中，EADEI记为ADEI，步态序列帧数为N帧，DI(x,y,t)为某一帧的深度图像，x,y为深度图像中像素点的坐标，t＝1,2,...,N-1为帧数的指标。除此以外，通过平均每帧图像计算得到步态深度能量图，记为GDEI，如图4(i)所示；
S32、稀疏深度能量图提取；
为了得到更好的特征，分别将活动深度能量图和步态深度能量图进行RPCA分解，并把分解后的深度能量图进行加权叠加，从而得到稀疏深度能量图。首先对步态深度能量图(GDEI)进行RPCA分解，图5(a)给出了步态深度能量图，图5(b)是经过分解后步态深度能量图的低秩矩阵，图5(c)是经过分解后步态深度能量图的稀疏矩阵。从这些图中可以发现，其低秩矩阵L是相对静态的部分，而稀疏矩阵是S是包含了大量运动目标的动态信息，这部分正是步态的主要信息。此时可以认为稀疏矩阵S代表着运动目标的动态信息，即是从原图像中恢复稀疏活动矩阵S，记此为步态稀疏能量图(GSEI)，计算公式如下所示：
其中，EGDEI记为GDEI，rpca(x)表示x的RPCA分解，LGDEI表示RPCA分解后GDEI的低秩矩阵，SGDEI表示RPCA分解后GDEI的稀疏矩阵，EGSEI表示GSEI。另一方面，活动深度能量图(ADEI)是根据深度步态序列的相邻帧的相对变化得来的，本身就是稀疏的，而且含有的动态信息比较多，因此更容易受到其他不可预测的噪声的影响。图5(d)给出了活动深度能量图，图5(e)是经过分解后活动深度能量图的低秩矩阵，图5(f)是经过分解后活动深度能量图的稀疏矩阵。RPCA分解后，由图5(d)-图5(f)中可以得出其低秩矩阵L包含了大量步态信息，而稀疏矩阵S只含有少量前景像素。此时便是从原图像中恢复稀疏低秩矩阵，将此记为活动稀疏能量图(ASEI)，公式如下所示：
其中，EADEI记为ADEI，rpca(x)表示x的RPCA分解，LADEI表示RPCA分解后ADEI的低秩矩阵，SADEI表示RPCA分解后ADEI的稀疏矩阵，EASEI表示ASEI。从上述分析可知，虽然将深度能量图分解能得到更显著的特征，但是同时也会失去一些特征，使得特征不够完整。为了解决这个问题，本发明提出一种稀疏深度能量图(SDEI)的构建方法，整合两种稀疏能量图的特征信息，具体方法如下：
ESDEI＝(EGSEI+EASEI)/2＝(SGDEI+LADEI)/2
其中，ESDEI记为SDEI，EGSEI表示GSEI，EASEI表示ASEI，SGDEI表示RPCA分解后GDEI的稀疏矩阵，LADEI表示RPCA分解后ADEI的低秩矩阵。对于每个步态序列，根据上述步骤求出稀疏深度能量图，构成深度特征。
S4、骨骼特征的提取步骤；
骨骼特征具有计算简单、直观和高效等优点(骨骼模型见图6)，因此选取手臂长、上身躯干、双肩长、长腿长和高度作为骨骼特征。根据人体的对称性，分别计算左右两边的骨骼长度值，并通过加和平均的方法得到骨骼特征。分别记手臂长、上身躯干、双肩长、长腿长和高度为dk,k＝1,2,...,5，则第Pi个关节点到第Pj个关节点的骨骼长度的计算公式如下：
dk＝||Pi-Pj||2
图7给出了计算得到的骨骼特征示例图。最后，求得统计值均值mean与标准差std作为最终骨骼特征SF：
SF＝{mean(dk),std(dk)}。
S5、联合多特征协同字典的步态识别步骤；
将骨骼类特征与稀疏深度能量图按顺序组成一个联合多特征字典，记为F：
F＝[vec(SF),vec(ESDEI)]
其中，SF为骨骼特征，ESDEI记为SDEI。结合协同表示方法，利用联合多特征协同字典法求解如下的公式：
上式中，y为测试样本，λ为正则化参数。本实例中λ取为0.001，从而解得联合协同系数α。分别将训练集和测试样本的联合多特征协同字典记为X和Y，按如下公式计算重构残差r：
N为训练样本的个数。将所得的重构残差选用最近邻准则分类，得到识别结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (2)
1.一种联合多步态特征协同字典的步态识别方法，其特征在于，所述的步态识别方法包括：
步态周期检测步骤，对输入的步态数据，首先通过使用欧氏距离度量求出运动目标的步长，然后选择两脚间距离最小的三个极值之间的数据作为一个步态周期，即选取两脚合并时作为步态周期的起点，在自然状态下行走，经过两次合并后作为步态周期的结束点，起点和结束点共同决定一个步态周期；
深度图像的特征提取步骤，对于一个步态序列，深入分析步态序列的形状、轮廓图和研究在时空模式的统计特征，构建活动深度能量图和步态深度能量图，然后将活动深度能量图和步态深度能量图进行RPCA分解，并把分解后的深度能量图进行加权叠加，从而得到稀疏深度能量图；
骨骼特征的提取步骤，选取手臂长、上身躯干、双肩长、长腿长和高度作为骨骼特征，根据人体的对称性，分别计算左右两边的骨骼长度值，并通过加和平均的方法得到骨骼特征，分别记手臂长、上身躯干、双肩长、长腿长和高度为dk,k＝1,2,...,5，则第Pi个关节点到第Pj个关节点的骨骼长度的计算公式如下：dk＝||Pi-Pj||2，最后，求得统计值均值mean与标准差std作为最终骨骼特征SF：
SF＝{mean(dk),std(dk)}；
联合多特征协同字典的步态识别步骤，将骨骼类特征与稀疏深度能量图按顺序组成一个联合多特征字典，记为F：
F＝[vec(SF),vec(ESDEI)]
其中，SF为骨骼特征，ESDEI表示SDEI，即稀疏深度能量图，结合协同表示方法，利用联合多特征协同字典法求解如下的公式：
上式中，y为测试样本，λ为正则化参数，从而解得联合协同系数α，分别将训练集和测试样本的联合多特征协同字典记为X和Y，按如下公式计算重构残差r：
N为训练样本的个数，将所得的重构残差选用最近邻准则分类，得到识别结果其中，所述的深度图像的特征提取步骤包括：
活动深度能量图的提取子步骤，在同一个步态序列中，相邻帧之间会存在相对静止和相对运动的区域，其中，相对静止的区域是身躯部位，活动的区域最明显的是四肢部位，利用差分的思想来计算深度图像相邻帧之间的帧差信息，并对使用取平均的方法计算得到每个步态序列的活动深度能量图，公式如下：
其中，EADEI记为活动深度能量图，步态序列帧数为N帧，DI(x,y,t)为某一帧的深度图像，x,y为深度图像中像素点的坐标，t＝1,2,...,N-1为帧数的指标，然后，通过平均每帧图像计算得到步态深度能量图；
稀疏深度能量图的提取子步骤，分别将活动深度能量图和步态深度能量图进行RPCA分解，并把分解后的深度能量图进行加权叠加，从而得到稀疏深度能量图，其中，所述的稀疏深度能量图的提取子步骤的过程如下：
对步态深度能量图进行RPCA分解，其中，低秩矩阵L对应相对静态的部分，稀疏矩阵S对应运动目标的动态信息，即是从原图像中恢复稀疏矩阵S，记此为步态稀疏能量图，计算公式如下所示：
其中，EGDEI表示GDEI，即步态深度能量图，rpca(x)表示x的RPCA分解，LGDEI表示RPCA分解后GDEI的低秩矩阵，SGDEI表示RPCA分解后GDEI的稀疏矩阵，EGSEI表示GSEI，即步态稀疏能量图；
从原图像中恢复稀疏低秩矩阵，将此记为活动稀疏能量图，计算公式如下所示：
其中，EADEI表示ADEI，即活动深度能量图，rpca(x)表示x的RPCA分解，LADEI表示RPCA分解后ADEI的低秩矩阵，SADEI表示RPCA分解后ADEI的稀疏矩阵，EASEI表示ASEI，即活动稀疏能量图；
整合以上两种稀疏能量图的特征信息，构建稀疏深度能量图，构成深度特征，计算公式如下所示：
ESDEI＝(EGSEI+EASEI)/2＝(SGDEI+LADEI)/2
其中，ESDEI表示SDEI，即稀疏深度能量图，EGSEI表示GSEI，EASEI表示ASEI，SGDEI表示RPCA分解后GDEI的稀疏矩阵，LADEI表示RPCA分解后ADEI的低秩矩阵。
2.根据权利要求1所述的一种联合多步态特征协同字典的步态识别方法，其特征在于，所述的步态识别方法在所述的深度图像的特征提取步骤之前，还包括：
深度图像的预处理步骤，将Kinect获取得到的原始深度图像、索引图像相结合的方式，实现运动目标与背景分割，得到人体目标与背景分离的深度图，然后对图像进行中值滤波去除噪声点，以第一帧的质心作为基点，把其他帧的图像质心平移到相同位置中，最后按比例缩放和规整图像，得到统一尺寸的、与背景分割的深度图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810640150.7A CN108921062B (zh) | 2018-06-21 | 2018-06-21 | 一种联合多步态特征协同字典的步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810640150.7A CN108921062B (zh) | 2018-06-21 | 2018-06-21 | 一种联合多步态特征协同字典的步态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921062A CN108921062A (zh) | 2018-11-30 |
| CN108921062B true CN108921062B (zh) | 2022-03-22 |
Family
ID=64420235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810640150.7A Expired - Fee Related CN108921062B (zh) | 2018-06-21 | 2018-06-21 | 一种联合多步态特征协同字典的步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921062B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109938740B (zh) * | 2019-03-08 | 2022-04-15 | 深圳大学 | 一种步态周期检测方法、装置及计算机可读存储介质 |
| CN110222568B (zh) * | 2019-05-05 | 2023-09-29 | 暨南大学 | 一种基于时空图的跨视角步态识别方法 |
| WO2021217542A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳大学 | 步态识别方法、装置、终端及存储介质 |
| CN114404214B (zh) * | 2020-10-28 | 2024-02-13 | 北京机械设备研究所 | 一种外骨骼步态辨识装置 |
| JPWO2022249746A1 (zh) * | 2021-05-27 | 2022-12-01 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063702A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 |
| CN105335696A (zh) * | 2015-08-26 | 2016-02-17 | 湖南信息职业技术学院 | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 |
| CN106650619A (zh) * | 2016-11-15 | 2017-05-10 | 上海师范大学 | 一种人体动作识别方法 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105684004A (zh) * | 2013-08-23 | 2016-06-15 | 耐克创新有限合伙公司 | 会话和群组 |
-
2018
- 2018-06-21 CN CN201810640150.7A patent/CN108921062B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063702A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 |
| CN105335696A (zh) * | 2015-08-26 | 2016-02-17 | 湖南信息职业技术学院 | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 |
| CN106650619A (zh) * | 2016-11-15 | 2017-05-10 | 上海师范大学 | 一种人体动作识别方法 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
Non-Patent Citations (1)
| Title |
|---|
| "步态骨骼模型的协同表示识别方法";关桂珍等;《计算机科学与探索》;20170116;第143-152页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921062A (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921062B (zh) | 一种联合多步态特征协同字典的步态识别方法 | |
| Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
| CN109684925B (zh) | 一种基于深度图像的人脸活体检测方法及设备 | |
| Campo et al. | Multimodal stereo vision system: 3D data extraction and algorithm evaluation | |
| CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN112200162B (zh) | 基于端到端网络的非接触式心率测量方法、系统和装置 | |
| JP2017016593A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| CN103733226A (zh) | 快速的有关节运动的跟踪 | |
| Tulyakov et al. | Robust real-time extreme head pose estimation | |
| CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| Zhang et al. | A swarm intelligence based searching strategy for articulated 3D human body tracking | |
| JP6166297B2 (ja) | 姿勢推定装置 | |
| CN106203255A (zh) | 一种基于时间对齐的行人重识别方法及系统 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN111105486A (zh) | 一种多视角小白鼠动态三维重建方法 | |
| CN106204601A (zh) | 一种基于波段扫描形式的活体高光谱序列图像并行配准方法 | |
| Li et al. | MF-SRCDNet: Multi-feature fusion super-resolution building change detection framework for multi-sensor high-resolution remote sensing imagery | |
| Kanaujia et al. | 3D human pose and shape estimation from multi-view imagery | |
| CN117173792A (zh) | 一种基于三维人体骨架的多人步态识别系统 | |
| CN116092189A (zh) | 一种基于rgb数据和骨骼数据的双模态人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220322 |