CN108537196A - 基于运动历史点云生成的时空分布图的人体行为识别方法 - Google Patents

基于运动历史点云生成的时空分布图的人体行为识别方法 Download PDF

Info

Publication number
CN108537196A
CN108537196A CN201810345459.3A CN201810345459A CN108537196A CN 108537196 A CN108537196 A CN 108537196A CN 201810345459 A CN201810345459 A CN 201810345459A CN 108537196 A CN108537196 A CN 108537196A
Authority
CN
China
Prior art keywords
stdm
sample
action
human
mhpc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810345459.3A
Other languages
English (en)
Other versions
CN108537196B (zh
Inventor
张良
刘婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201810345459.3A priority Critical patent/CN108537196B/zh
Publication of CN108537196A publication Critical patent/CN108537196A/zh
Application granted granted Critical
Publication of CN108537196B publication Critical patent/CN108537196B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于运动历史点云生成的时空分布图的人体行为识别方法。其包括生成MHPC；生成STDM；提取颜色矩特征向量；提取LBP特征向量；训练和测试KELM分类器，最后将输出结果采用决策层融合后得到人体动作类型标签等步骤。本发明能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。用时空分布图来表示人体动作要比深度图像更加全面，提取的特征也更加有区别力；提取的颜色矩特征和LBP特征能够有效地表征人体动作类别，解决了利用点云提取特征复杂的问题。利用决策层融合进行分类，能够避免特征层融合不兼容和高维度的缺点。

Description

基于运动历史点云生成的时空分布图的人体行为识别方法
技术领域
本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于运动历史点云(Motion History Point Cloud，MHPC)生成的时空分布图(Spatio-temporalDistribution Map，STDM)的人体行为识别方法。
背景技术
人体行为识别在智能视频监控、视频内容检索、人体运动分析、辅助医疗等领域有着广泛的应用，国内外的专家学者对此进行了大量的研究。最初行为识别的方法大多是基于传统的RGB信息，产生了人体关键姿态、剪影、时空特征等方法。但是由于RGB信息易受光照、相机角度、背景变化等因素的影响，使得行为识别仍然面临着挑战。近些年来随着深度传感器的发展，使得深度图像获取技术得到普及。相比于彩色图像，深度图像仅与物体的空间位置有关，能够直接反映物体表面的三维特征，并且不易受光照变化、颜色和纹理的影响。利用深度图像的人体行为识别方法大致包括，将深度图像进行投影生成深度运动图像(Depth motion map,DMM)的方法、将深度图像映射为点云数据后提取特征的方法。
将一个深度图像序列中的每一帧深度图像投影到三个正交的笛卡尔坐标平面上，可相应地得到前视图mapf，侧视图maps，俯视图mapt。将上述得到的三个投影视图序列的相邻帧进行差分运算，然后取绝对值累加，可得到深度运动图像(DMM)。虽然DMM计算简单，但是只包含三个视觉下的动作信息，不能方便地获得其他视角下的动作信息。动作的空间和时间信息对动作识别有重要的影响，但是DMM捕获的只是运动过程中动作的空间能量分布，缺少动作的时间能量分布。将深度图像映射为点云数据进行人体行为识别的方法，由于得到的点云数据量庞大，会给提取点云特征带来极大的困难。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于运动历史点云生成的时空分布图的人体行为识别方法。
为了达到上述目的，本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法包括按顺序进行的下列步骤：
(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；
(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；
(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；
(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；
(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。
在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。
在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像STDM，其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相邻点的帧号进行差分运算并取绝对值叠加；将MHPC投影到YOZ平面和XOZ平面上生成STDM的过程类似，只需将上述z坐标值相应地变成x坐标值和y坐标值即可,由此依次得到STDMf、STDMs、STDMt；然后利用旋转公式将MHPC绕Y轴左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM。
在步骤(3)中，所述的从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维的方法是：先将STDM分成若干网格，然后计算每一个网格的9维直方图向量，然后将所有网格的9维直方图向量串联起来构成该STDM的颜色矩特征向量，最后将每个STDM的颜色矩特征向量进行串联作为该动作样本的颜色矩特征向量；采用PCA进行降维时保存80％-95％的主成分分量。
在步骤(4)中，所述的从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维的方法是：提取时先设置检测窗口的大小为a×a，然后计算每个检测窗口中像素点的LBP特征值，得到该检测窗口的LBP直方图，并对直方图进行归一化，之后将所有检测窗口中的直方图特征串联起来，得到该STDM的LBP特征向量，最后将每个STDM的LBP特征向量进行串联作为人体动作样本的LBP特征向量；采用PCA进行降维时保存80％-95％的主成分分量。
在步骤(5)中，所述的选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签的方法是：将经过步骤(3)与步骤(4)得到的训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行分别训练，然后将经过步骤(3)与步骤(4)得到的测试样本的颜色矩特征向量和LBP特征向量分别输入到上述已经训练好的两个KELM分类器中进行分类测试，两个KELM分类器的输出为概率矩阵，最后结合相应的KELM分类器的权重系数得到所需要的人体动作类别标签。
本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法首先将深度图像生成运动历史点云，然后将旋转的和未旋转的运动历史点云投影到笛卡尔坐标系平面生成时空分布图，能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。另外，时空分布图不仅能够捕获动作的空间能量分布，而且还可捕获动作的时间能量分布以及动作的空间密度分布情况，用时空分布图来表示人体动作要比深度运动图像更加全面，提取的特征也更加有区别力。由运动历史点云投影后生成时空分布图，在生成时进行坐标归一化，增加了对类内差异的鲁棒性。由运动历史点云投影后生成时空分布图，使得4维的人体形状和动作信息编码到时空分布图上，提取的颜色矩特征和LBP特征能够有效地表征人体动作类别，解决了利用点云提取特征复杂的问题。利用决策层融合进行分类，能够避免特征层融合不兼容和高维度的缺点。
附图说明
图1为本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法总体流程图。
图2为运动历史点云生成框图。
图3为高手挥舞动作生成的MHPC图。
图4为投影后的MHPC效果图。
图5为生成的STDM效果图。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法进行详细说明。
如图1所示，本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法包括按顺序进行的下列步骤：
(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；
具体方法如下：运动历史点云(MHPC)是将一个动作序列压缩成一个包含空间信息与时间信息的点的集合，公式为MHPC＝{P1,P2,...,Pnum}，其中num表示MHPC中点的个数。点云中任一点的坐标定义为Pj(x,y,z,h),j∈(1,num)，其中Pj.x,Pj.y,Pj.z是指在相机坐标系下点的x,y,z坐标值，用来记录动作的发生位置；Pj.h指深度图像的帧号，用来记录该点的发生时间。将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成，具体过程如图2所示。高手挥舞动作生成的MHPC如图3所示。
(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；
具体方法如下：
MHPC的坐标系方向如图3所示，以屏幕右方为X轴正方向，屏幕上方为Y轴正方向，垂直屏幕向外为Z轴正方向。
将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面、XOZ平面，依次记为STDMf、STDMs、STDMt。
然后利用下面的旋转公式将MHPC绕Y轴左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；本发明中θ选择±25°,±45°，生成四个STDM，记为STDMθ,θ∈(±25°,±45°)。此操作相当于是将从θ角度下观察的人体动作投影到XOY平面，这样可以补充左右偏离摄像头θ视角下的动作信息。投影后的点云效果如图4所示，其中将MHPC直接投影到三个正交的笛卡尔坐标平面的效果图如图4中的(a)-(c)所示；将MHPC绕Y轴左右旋转45度，然后投影到XOY平面上的效果图如图4中的(d)、(e)所示。
MHPC是一个三维的立体，利用旋转公式可以将其旋转任意角度。根据MHPC的坐标系，利用下式将MHPC绕Y轴旋转θ度：
通过旋转可以得到不同视角下的MHPC，由此获得不同视角下整个人体动作的状态。
由于投影之后的点云在同一坐标下有好多重叠的点，这些重叠的点可能来自于同一帧深度图像，那么这些点的帧号P.h是相同的。这些重叠的点也可能来自于不同帧的深度图像，那么这些点的帧号P.h是不同的。利用这些重叠的点的分布情况我们生成STDM。STDM定义为一个三通道的彩色图像，不同的通道记录人体动作样本的时间或空间能量信息。这些时间与空间能量信息在STDM上表现为不同的颜色与形状和纹理特征，可以用来表征动作类别。
下面以MHPC投影到XOY平面上生成的STDM为例进行说明，STDM的R通道是在当前坐标系下z坐标值不同的点的个数，反映了动作的空间密度分布情况；G通道是相邻点的z坐标值进行做差运算并取绝对值叠加，捕获的是动作的绝对空间能量分布；而B通道是相邻点的帧号P.h进行做差运算并取绝对值叠加，捕获的是动作的时间能量空间分布。假设在由投影到XOY平面生成的STDM图像坐标系下有m个重叠的点，那么这个点的定义公式如下：
MHPC投影到YOZ平面和XOZ平面生成STDM的定义与投影到XOY平面生成STDM的定义类似，只需将定义中的z坐标值相应地变成x坐标值和y坐标值即可。由于映射到相机坐标系中点的x,y,z坐标值属于实数，并且变化范围较小，不能直接将其作为STDM的坐标，所以将其进行归一化为固定值后作为STDM的坐标，这样能够极大地减小类内差异。在本发明中，将所有人体动作样本的y坐标值都归一化到0-1023，将x,z坐标值都归一化到0-511。旋转后的MHPC反映的是角度变化后的动作信息，所以旋转角度后生成的STDM包含不同视角下的动作信息，本发明共生成7个STDM来表示1个MHPC。最后生成的STDMf,s,θ尺寸为512×1024，STDMt尺寸为512×512，在后续提取特征时将尺寸分别调整到64×128和64×64大小，生成的分别与图4(a)-(e)对应的STDM效果图如图5(a)-(e)所示。
由此可见，STDM增加了两个通道用来记录投影后同一坐标系下重叠点的不同特性，是对深度图像信息的补充。STDM不仅捕获了人体运动的空间能量分布，而且还捕获了人体运动的时间能量分布，并且让时间信息与空间信息在同一张图像上展示出来，表现出丰富的颜色信息和纹理信息，可以更加全面地表征人体动作的运动信息。
(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；
图像中的任何颜色分布均可以用它的矩来表示，由于颜色分布信息主要集中在低阶矩中，因此采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以表达图像的颜色分布。对于YUV图像，图像的颜色矩一共需要9个分量，每个通道3个低阶矩。由于上述得到的STDM是RGB信息，在提取颜色矩特征时，需要将其进行颜色空间转换，由RGB空间转换为YUV空间。三个颜色矩的数学定义：
其中，pi,j表示彩色图像第i个颜色通道分量中灰度为j的像素点出现的概率，N表示彩色图像中像素点的个数。图像的3个分量Y,U,V(YUV颜色空间)的前三阶颜色矩组成一个9维直方图向量，即彩色图像的颜色矩特征表示如下：
Colormom＝[μY,σY,sY,μU,σU,sU,μV,σV,sV]
在本发明中，经过步骤二的操作每个MHPC可以得到7个STDM，即STDMf,s,t,±25°,±45°，分别对每个STDM提取颜色矩特征向量Cf,…C-45°，提取时先将STDM分成若干网格，然后计算每一个网格的9维直方图向量Colormom，然后将所有网格的9维直方图向量Colormom串联起来构成该STDM的颜色矩特征向量C，最后将每个STDM的颜色矩特征向量(Cf,…C-45°)进行串联作为一个MHPC(即一个动作样本)的颜色矩特征向量，即Color＝[Cf,Cs,Ct,C+25°,C-25°,C+45°,C-45°]。由于串联后的颜色特征向量的维度很大，其中冗余或无关的量对识别效果会产生影响，所以采用PCA进行降维。PCA可以将可能具有相关性的高维变量合成线性无关的低维变量，称为主成分，新的低维数据集会尽可能地保留原始数据的变量，一般保存80％-95％的主成分分量。
(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；
局部二值模式(Local Binary Patterns,LBP)是描述图像的局部空间结构的非参数化算子，其在纹理特征的分类中具有较高的区分能力。本发明采用圆形LBP算子LBP(n,R)，其中n表示周围像素点个数，R表示邻域半径。给定一个图像中任一个像素点gc，它的邻域像素均匀分布在以像素点gc为中心，半径为R(R＞0)的圆上。以像素点gc的灰度值为阈值，与像素点gc相邻的n个像素点的值同阈值比较大小后，产生n位二进制数，即为像素点gc的LBP值(通常转换为十进制数即LBP码)。像素点(x,y)的LBP特征值可由以下公式计算：
其中，f(x,y)为像素点(x,y)的像素值。采用统一化模式(Uniform Pattern)，在此模式下提取的LBP特征值维数为n(n-1)+3。n与半径R需根据实验确定。
在本发明中，经过步骤二的操作每个MHPC可以得到7个STDM，即STDMf,s,t,±25°,±45°。分别对每个STDM提取LBP特征向量Lf,…L-45°，提取时先设置检测窗口的大小为a×a，然后计算每个检测窗口中像素点的LBP特征值，得到该检测窗口的LBP直方图，并对直方图进行归一化。之后将所有检测窗口中的直方图特征串联起来，得到该STDM的LBP特征向量L。最后将每个STDM的LBP特征向量(Lf,…L-45°)进行串联作为一个MHPC(即一个人体动作样本)的LBP特征向量，即LBP＝[Lf,Ls,Lt,L+25°,L-25°,L+45°,L-45°]。由于串联后的LBP特征向量的维度很大，其中冗余或无关的量会对识别效果产生影响，所以采用PCA技术进行降维。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量，称为主成分，新的低维数据集会尽可能地保留原始数据的变量，一般保存80％-95％的主成分分量。
LBP在纹理特征的分类中具有较高的区分能力，具有旋转和灰度不变性等优点，而且其实现简单、计算量小、计算效率高等优点，将其和STDM结合可以很好地捕捉到深度图像能量中的纹理等细节信息，使特征具有更好的可辨识性。
(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。
极限学习机(Extreme learning machine，ELM)是在单隐含层前馈神经网络(SLFNs)的基础上发展起来的一种高效学习算法。本发明使用基于高斯核函数(RBF)的ELM，即KELM进行分类。与ELM相比，KELM不仅具有更好的性能，而且更加稳定。
将经过步骤(3)与步骤(4)得到的训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行分别训练，然后将经过步骤(3)与步骤(4)得到的测试样本的颜色矩特征向量和LBP特征向量分别输入到上述已经训练好的两个KELM分类器中进行分类测试，两个KELM分类器的输出为概率矩阵，最后结合相应的KELM分类器的权重系数得到所需要的人体动作类别标签。

Claims (6)

1.一种基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：
(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；
(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；
(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；
(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；
(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。
2.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。
3.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(2)中，所述的将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM的方法是：在生成STDM的过程中需将x,y,z坐标值进行归一化为某固定值后作为STDM的坐标值；首先将MHPC投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像STDM，其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相邻点的帧号进行差分运算并取绝对值叠加；将MHPC投影到YOZ平面和XOZ平面上生成STDM的过程类似，只需将上述z坐标值相应地变成x坐标值和y坐标值即可,由此依次得到STDMf、STDMs、STDMt；然后利用旋转公式将MHPC绕Y轴左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM。
4.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(3)中，所述的从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维的方法是：先将STDM分成若干网格，然后计算每一个网格的9维直方图向量，然后将所有网格的9维直方图向量串联起来构成该STDM的颜色矩特征向量，最后将每个STDM的颜色矩特征向量进行串联作为该人体样本的颜色矩特征向量；采用PCA进行降维时保存80％-95％的主成分分量。
5.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(4)中，所述的从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维的方法是：提取时先设置检测窗口的大小为a×a，然后计算每个检测窗口中像素点的LBP特征值，得到该检测窗口的LBP直方图，并对直方图进行归一化，之后将所有检测窗口中的直方图特征串联起来，得到该STDM的LBP特征向量，最后将每个STDM的LBP特征向量进行串联作为人体动作样本的LBP特征向量；采用PCA进行降维时保存80％-95％的主成分分量。
6.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(5)中，所述的选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签的方法是：将经过步骤(3)与步骤(4)得到的训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行分别训练，然后将经过步骤(3)与步骤(4)得到的测试样本的颜色矩特征向量和LBP特征向量分别输入到上述已经训练好的两个KELM分类器中进行分类测试，两个KELM分类器的输出为概率矩阵，最后结合相应的KELM分类器的权重系数得到所需要的人体动作类别标签。
CN201810345459.3A 2018-04-17 2018-04-17 基于运动历史点云生成的时空分布图的人体行为识别方法 Expired - Fee Related CN108537196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810345459.3A CN108537196B (zh) 2018-04-17 2018-04-17 基于运动历史点云生成的时空分布图的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810345459.3A CN108537196B (zh) 2018-04-17 2018-04-17 基于运动历史点云生成的时空分布图的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN108537196A true CN108537196A (zh) 2018-09-14
CN108537196B CN108537196B (zh) 2021-08-31

Family

ID=63481298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810345459.3A Expired - Fee Related CN108537196B (zh) 2018-04-17 2018-04-17 基于运动历史点云生成的时空分布图的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN108537196B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993103A (zh) * 2019-03-29 2019-07-09 华南理工大学 一种基于点云数据的人体行为识别方法
CN110909691A (zh) * 2019-11-26 2020-03-24 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技（杭州）有限公司 一种提取行人颜色特征的方法及终端设备
CN111339980A (zh) * 2020-03-04 2020-06-26 镇江傲游网络科技有限公司 基于时空直方图的动作识别方法及装置
CN113591797A (zh) * 2021-08-23 2021-11-02 苏州大学 一种深度视频行为识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2165733C2 (ru) * 1999-03-15 2001-04-27 Слива Сергей Семенович Способ оценки общего функционального состояния человека
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
CN103955682A (zh) * 2014-05-22 2014-07-30 深圳市赛为智能股份有限公司 基于surf兴趣点的行为识别方法及装置
US20150104096A1 (en) * 2013-10-11 2015-04-16 Stanley K. Melax 3d object tracking
CN105740833A (zh) * 2016-02-03 2016-07-06 北京工业大学 一种基于深度序列的人体行为识别方法
CN106997049A (zh) * 2017-03-14 2017-08-01 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2165733C2 (ru) * 1999-03-15 2001-04-27 Слива Сергей Семенович Способ оценки общего функционального состояния человека
CN102324041A (zh) * 2011-09-09 2012-01-18 深圳泰山在线科技有限公司 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
US20150104096A1 (en) * 2013-10-11 2015-04-16 Stanley K. Melax 3d object tracking
CN103955682A (zh) * 2014-05-22 2014-07-30 深圳市赛为智能股份有限公司 基于surf兴趣点的行为识别方法及装置
CN105740833A (zh) * 2016-02-03 2016-07-06 北京工业大学 一种基于深度序列的人体行为识别方法
CN106997049A (zh) * 2017-03-14 2017-08-01 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ABUBAKRELSEDIK KARALI等: ""Motion History of Skeletal Volumes for Human Action Recognition"", 《ISVC 2012: ADVANCES IN VISUAL COMPUTING》 *
C. CHEN等: ""Action Recognition from Depth Sequences Using Depth Motion Maps-Based Local Binary Patterns"", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
S. M. M. AHSAN等: ""Histogram of spatio temporal local binary patterns for human action recognition"", 《2014 JOINT 7TH INTERNATIONAL CONFERENCE ON SOFT COMPUTING AND INTELLIGENT SYSTEMS (SCIS) AND 15TH INTERNATIONAL SYMPOSIUM ON ADVANCED INTELLIGENT SYSTEMS (ISIS)》 *
刘文评: ""基于深度信息的行为表示与识别"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993103A (zh) * 2019-03-29 2019-07-09 华南理工大学 一种基于点云数据的人体行为识别方法
CN110909691A (zh) * 2019-11-26 2020-03-24 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN110909691B (zh) * 2019-11-26 2023-05-05 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技（杭州）有限公司 一种提取行人颜色特征的方法及终端设备
CN111339980A (zh) * 2020-03-04 2020-06-26 镇江傲游网络科技有限公司 基于时空直方图的动作识别方法及装置
CN111339980B (zh) * 2020-03-04 2020-10-09 镇江傲游网络科技有限公司 基于时空直方图的动作识别方法及装置
CN113591797A (zh) * 2021-08-23 2021-11-02 苏州大学 一种深度视频行为识别方法
CN113591797B (zh) * 2021-08-23 2023-07-28 苏州大学 一种深度视频行为识别方法

Also Published As

Publication number Publication date
CN108537196B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN108537196A (zh) 基于运动历史点云生成的时空分布图的人体行为识别方法
Sankaranarayanan et al. Learning from synthetic data: Addressing domain shift for semantic segmentation
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Pishchulin et al. Learning people detection models from few training samples
Tao et al. Rank preserving sparse learning for Kinect based scene classification
CN107944428B (zh) 一种基于超像素集的室内场景语义标注方法
Aurangzeb et al. Human behavior analysis based on multi-types features fusion and Von Nauman entropy based features reduction
Han et al. Weakly-supervised learning of category-specific 3D object shapes
CN108573231A (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
Zhang et al. Learning category-specific 3D shape models from weakly labeled 2D images
Chen et al. Local convex-and-concave pattern: An effective texture descriptor
CN108564043B (zh) 一种基于时空分布图的人体行为识别方法
Stein et al. Towards unsupervised whole-object segmentation: Combining automated matting with boundary detection
Satta et al. Exploiting dissimilarity representations for person re-identification
CN115496920B (zh) 基于事件相机的自适应目标检测方法、系统与设备
Obulesu et al. Image retrieval based local motif patterns code
CN103034859B (zh) 一种获取姿势模型的方法及装置
CN112580442B (zh) 一种基于多维金字塔层次模型的行为识别方法
CN114565946A (zh) 一种基于自注意力机制轻量级网络的指纹活体检测方法
Kalboussi et al. A spatiotemporal model for video saliency detection
CN110458037A (zh) 基于多视角间共性特性挖掘的多任务动作识别方法
Sedai et al. Evaluating shape and appearance descriptors for 3D human pose estimation
Huang et al. Human contour extraction from rgbd camera for action recognition
CN110751153A (zh) 一种室内场景rgb-d图像的语义标注方法
Ge et al. Feature representation based on intrinsic structure discovery in high dimensional space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210831

CF01 Termination of patent right due to non-payment of annual fee