CN106056093B - 基于二分类进化特征学习的人体行为识别方法 - Google Patents

基于二分类进化特征学习的人体行为识别方法 Download PDF

Info

Publication number
CN106056093B
CN106056093B CN201610410959.1A CN201610410959A CN106056093B CN 106056093 B CN106056093 B CN 106056093B CN 201610410959 A CN201610410959 A CN 201610410959A CN 106056093 B CN106056093 B CN 106056093B
Authority
CN
China
Prior art keywords
video
vector
reverse
feature
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610410959.1A
Other languages
English (en)
Other versions
CN106056093A (zh
Inventor
张向荣
焦李成
韩文辉
冯婕
白静
李阳阳
侯彪
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610410959.1A priority Critical patent/CN106056093B/zh
Publication of CN106056093A publication Critical patent/CN106056093A/zh
Application granted granted Critical
Publication of CN106056093B publication Critical patent/CN106056093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二分类进化特征学习的人体行为识别方法,主要解决现有技术对视频中的行为识别率低的问题。其识别过程为:(1)输入训练集和测试集所有视频,提取包含有局部和全局空间信息的多种特征;(2)对提取得到的每一种特征进行费舍向量变换,得到变换后的特征;(3)对每一个变换后的特征计算正向和逆向进化序列;(4)计算每一个序列的正向和逆向进化步长;(5)将正向步长作为类别1,逆向步长作为类别‑1,使用二分类支持向量机进行分类,得到判别面的法向量;(6)将判别面的法向量作为原视频的特征表示用多分类支持向量机进行识别。本发明增强了视频表示的判别性,提高了对视频中人体行为的识别率,可用于智能监控。

Description

基于二分类进化特征学习的人体行为识别方法
技术领域
本发明属于机器学习、计算机视觉领域,特别涉及一种人体行为识别方法,可用于视频中目标检测及跟踪的后处理。
背景技术
人体行为识别包括从视频序列中抽取相关的视觉信息,并用一种合适的方式进行表达,最后解释这些信息以实现学习和识别人的行为,研究人体的行为模式将为人们的生活带来全新的交互方式。
目前基于不同的研究目的,用于人体行为识别的方法被大量提出。其中比较重要的研究分为以下三个部分:
1.基于特征提取的研究。对于人体的表示一般可以分为全局表示和局部表示两种。全局表示首先需要在视频中定位出人体动作的位置,即目标检测;然后把人体作为一个整体,编码整个区域,该区域也叫兴趣区域ROI,通常ROI通过背景消减方法进行获取,这种方法能够从轮廓、边界和光流中获取信息。最早使用轮廓信息的是Bokick和Davis。他们通过对视频中动作轮廓和不同帧之间差异的处理获取人体行为的运动能量MEI和运动历史图MHI,这两个图可以表示行为的动作。虽然MEI和MHI比较容易获取,但是由于其包含了大量的噪声,对视角变化也比较敏感,所以并不能很好地对行为进行表示。相对来说,局部表示对于视角的变化和遮挡不是很敏感,这也是其被广泛使用的原因。局部表示比较著名的是时空兴趣点STIP。Wiliems等人提取出STIP后将SURF扩展成了3DSURF,Laptev等人则提取了梯度直方图HOG和光流直方图HOF,并将这两个特征组合起来表示人体行为。
2.基于特征编码的研究。目前这个方向的热门方法包括稀疏表示和低秩表示。它们首先通过一些方法得到一个无序的编码字典,然后对视频样本的特征进行稀疏或低秩编码,从而得到一个具有判别性的稀疏表示。S.Mohsen等人在稀疏编码的基础上加入了非负约束,从而提高了稀疏编码的识别精度。Chen等人则在S.Hohsen的基础上又加入了对编码矩阵的局部约束,借此获取样本的局部信息。此外,Xiao等人在稀疏编码的基础上加入特征空间位置的限制,保证了编码空间的局部相似性。Zheng等人使用了低秩模型,并且通过图的构造引入样本的局部相似性。另外也有通过字典学习的方法学习得到一个具有判别性的字典,然后使用该字典对样本进行编码从而得到具有判别性的编码矩阵。
3.基于分类方法的研究。动态时间调整算法TRJW是一种距离测量方法,该方法主要用于测量两个不同维数模板之间的距离,从而找到两个不同维数模板之间最短的匹配路径。Veeraraghavan等人对归一化的形状特征序列使用TRJW算法。Yao等人引入动态时空调整算法,它除了在时间维上对齐外,还可以在图像的位置和尺度上对齐。隐马尔科夫模型HMM和动态贝叶斯网络是基于状态转移的模型,它们的思想是把每个动作表示成一组相关状态,不同的动作对应不同的状态集合,不同的状态之间以一定的概率进行转移。HMM需要两个先决条件,其一是状态转移只与它的前一个状态有关,而与它之前的历史状态无关,即当前状态只受前一个状态的影响;其二是观测结果只与当前状态有关,所以每个序列的观测结果是独立的。Feng和Perona使用了姿态和状态相关联的静态HMM模型。Ahmad和Lee等人考虑到多视角问题,将HMM扩展到多维信号来处理不同视角的问题。除了在人物的动作上进行模拟,HMM还可以对人体的部位进行模拟,即把人体的部位表示成一组相关的状态。这样处理降低了模型的复杂度,模型的训练阶段会更加简单。Ikizler和Forsyth等人使用3D身体部位轨迹来进行分类。他们使用HMM对每个部位单独进行训练,对于每个部位,不同动作的状态以相似的概率进行连接,使得动作可以进行自动的分割。
以上的研究中,特征提取方法的研究历史最长,提出来的方法最多,但是对于不同行为、不同背景、不同遮挡和光照的复杂行为视频,这些方法的判别能力普遍较低,性能不稳定。基于特征编码的方法一般计算代价巨大,在大的数据集上容易受时间和硬件的影响,而基于概率模型的方法常常需要概率先验知识,同时模型相对复杂,应用受到限制。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于二分类特征学习的人体行为识别方法,以获取视频中人体行为随时间的变化关系,提高行为的识别率。
实现本发明的技术思路是:提取包含局部信息和全局信息的局部和全局特征,从特征中提取出表示人体行为随时间变化的正向和逆向顺序序列,从序列中学习得到正向、逆向序列的判别面法向量,将法向量作为从行为中学习得到的二分类特征并将其应用到人体行为识别领域,具体步骤如下:
1、一种基于二分类进化特征学习的人体行为识别方法,包括如下步骤:
(1)输入训练集和测试集的所有视频,每个视频中只含有一种行为,分别提取每一个视频的四种局部特征:密度轨迹、方向梯度直方图、方向光流直方图和运动边界直方图;
(2)将提取出来的所有视频的第cd种特征向量按行排列到一起构成特征矩阵Vcd中的第i行表示从视频集中第i个视频提取出来的编号为cd的特征向量,其中cd∈{1,2,3,4},表示不同特征的编号,分别对应上述四种特征,i∈{1,2,...,N},N表示所有视频的个数,Dcd表示第cd种特征的维数,表示N行Dcd列的实数空间;
(3)从每一个特征矩阵Vcd中随机抽取5%行数据构成矩阵并使用主成分分析对其降维,用降维后的数据构建高斯混合模型GMM并求解,得到求解后的高斯混合模型参数gmmcd,该gmmcd中包括第cd类特征所对应GMM模型的权值、均值和方差;
(4)根据(3)中计算得到的高斯混合模型参数gmmcd,对每一个视频对应的特征矩阵Vi,cd进行费舍向量变换,得到Vi,cd对应的费舍特征向量Vi,cd_fv,其中下标i表示视频集中的第i个视频;
(5)对每一个费舍特征向量Vi,cd_fv计算正向和逆向进化序列:
(5a)每一个Vi,cd_fv表示,其中xij表示第i个视频的第j个局部特征向量,n表示第i个视频的特征向量个数,符号[·]T表示矩阵的转置;
(5b)计算Vi,cd_fv对应的正向进化序列:
其中voij表示第i个视频对应正向进化序列Vi,cd_order中的第j个向量,计算公式为j∈{1,2,...,n};
(5c)计算Vi,cd_fv对应的逆向进化序列:
其中vrij表示第i个视频对应逆向进化序列Vi,cd_reverse中的第j个向量,计算公式为j∈{1,2,...,n};
(6)对每一个正向进化序列Vi,cd_order和逆向进化序列Vi,cd_reverse计算进化步长:
(6a)计算正向进化序列Vi,cd_order的进化步长:
其中uoik表示第i个视频对应正向进化步长Ui,cd_order中的第k个向量,计算公式为B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B;
(6b)计算逆向进化序列Vi,cd_reverse的进化步长:
其中urik表示第i个视频对应逆向进化步长Ui,cd_reverse中的第k个向量,计算公式:B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B;
(7)对每一个费舍特征Vi,cd提取二分类进化特征,即设定每一个正向进化步长Ui,cd_order的类别标签为1,每一个逆向进化步长Ui,cd_reverse的类别标签为-1,构建进化步长数据集(TRi,cd,Yi,cd);在进化步长数据集(TRi,cd,Yi,cd)上训练一个二分类支持向量机分类器,得到二分类支持向量机判别面的法向量wi,cd即为Vi,cd的二分类进化特征,其中样本样本标签Yi,cd=[1m×1;(-1)m×1]∈R2m×1,符号";"表示按行排列,1m×1表示m行1列值为1的向量,(-1)m×1表示m行1列值为-1的向量;
(8)将属于训练集的视频第cd种特征的二分类进化特征集合作为训练样本集TR,将属于测试集的视频第cd种特征的二分类进化特征集合作为测试样本集TE,在训练样本集TR上训练一个多分类支持向量机模型并对测试样本集TE进行分类,得到分类结果,该结果的正确率即为第cd种特征的人体行为识别正确率。
本发明与现有技术相比,具有以下优点:
1.本发明使用人体行为随时间正向和逆向进化序列的判别面法向量作为人体行为的特征表示,判别力更强,识别的正确率更高。
2、本发明学习得到的特征包括了空间维和时间维上的信息,信息量更加丰富,对人体行为的表示更加全面。
3、本发明使用的特征学习方法对干扰信息具有鲁棒性,对拍摄角度具有明显的容忍性。
4、本发明学习得到的特征较原有特征在维数上减少一半,训练和识别过程更加高效。
附图说明
图1是本发明的实现流程图;
图2是本发明的实现细节图;
图3是本发明实验中所用的两种数据集;
具体实施方式
参照图1,本发明包括两个部分:视频表示、视频分类,其实施步骤如下:
一.视频表示
步骤1,输入训练集和测试集的所有视频,每个视频中只含有一种行为,分别提取每一个视频的四种局部特征:密度轨迹TRJ、方向梯度直方图HOG、方向光流直方图HOF和运动边界直方图MBH;
视频中的行为指的是走、跑、跳、拳击等这些人体动作,所有视频由若干个动作者分别执行完成,一个视频中只含有一个动作者的一种行为。
密度轨迹特征TRJ和运动边界直方图特征MBH的提取过程见Heng Wang和CordeliaSchmid等人于2013年发表于计算机视觉国际期刊International Journal of ComputerVision(IJCV)上的文章Dense Trajectories and Motion Boundary Descriptors forAction Recognition。
方向梯度直方图特征HOG的提取过程见Navneet Dalal和Bill Triggs于2005年发表于国际计算机视觉与模式识别会议conference on computer vision and patternrecognition(CVPR)上的文章Histograms of oriented gradients for humandetection。
方向光流直方图特征HOF的提取过程见Ivan Laptev和Marcin Marszalek等人于2008年发表于国际计算机视觉与模式识别会议onference on computer vision andpattern recognition(CVPR)上的文章Learning realistic human actions frommovies。
步骤2,用提取得到的特征构建特征矩阵。
将提取出来的所有视频的第cd种特征向量按行排列到一起构成特征矩阵Vcd中的第i行表示从视频集中第i个视频提取出来的编号为cd的特征向量,其中cd∈{1,2,3,4},表示不同特征的编号,分别对应上述四种特征,i∈{1,2,...,N},N表示所有视频的个数,Dcd表示第cd种特征的维数,表示N行Dcd列的实数空间;
步骤1共提取了四种特征,每一种特征对应一个特征矩阵,即TRJ对应第一个特征矩阵V1、HOG对应第二个特征矩阵V2、HOF对应第三个特征矩阵V3,MBH对应第四个特征矩阵V4
步骤3,构建特征矩阵的高斯混合模型GMM。
3a)从特征矩阵中随机抽取5%条特征向量,并使用主分量分析方法对抽取出来的特征进行降维,其目的是保留数据主要信息的同时降低数据的维数,便于后续计算;
3b)对降维后的数据构建GMM模型并求解,得到GMM模型的权值、均值和方差。每一种特征对应一个GMM模型,GMM模型的构建和求解过程如下:
3b1)构建GMM模型。在GMM模型中,数据可以看作是从多个高斯分布中组合得到的。每个GMM模型由K个高斯分布组成,每个高斯分布称为一个分布,将这些分布线性组合到一起得到GMM模型概率密度函数:
p(x)表示数据x来自GMM模型的概率,uk为第k个高斯分布的均值,Σk为第k个高斯分布的方差,πk为第k个高斯分布的组合系数,即权值,N(x|uk,∑k)表示均值为x|μk方差为Σk的高斯分布;
3b2)求解GMM模型
求解过程就是根据已有的数据计算出GMM模型的概率分布和每个分布的权值、均值与方差,其步骤如下:
3b2a)计算数据xi由第k个分布生成的概率:
3b2b)计算第k分布的均值uk和方差Σk
其中DN为特征矩阵中特征向量的个数;
3b2c)重复迭代步骤3b2a)和步骤3b2b),直到均值uk和方差Σk的值不在变化,此时uk和Σk即为求解GMM模型得到的第k个分布的均值和方差。
步骤4,根据求解得到的高斯混合模型参数gmmcd对每一个视频对应的特征矩阵Vi,cd进行费舍向量变换,得到Vi,cd对应的费舍特征Vi,cd_fv,其中下标i表示视频集中的第i个视频。
4a)输入包括n个特征向量的特征矩阵Vi,cd和混合高斯模型参数:
gmmcd={ωlll,l=1,...,L},
为表述方便,用符号H表示特征矩阵Vi,cd,即hf表示H中的第f个特征向量,L为混合高斯模型中包含的高斯模型个数,ωl、μl和σl分别为第l个高斯模型的权值、均值和方差;
4b)对每一个高斯模型,初始化三个累计变量
4c)对每一个特征向量hf计算中间变量并更新累计变量:
4c1)计算中间变量γf(l):
4c2)更新每一个累计变量:
4d)对每一个高斯模型计算费舍参数:
其中为费舍权值,为费舍均值,为费舍方差;
4e)将所有的费舍参数连接成费舍向量
4f)费舍向量规范化得到费舍特征:
能量规范化:
l2范数规范化:
步骤5,对每一个费舍特征Vi,cd_fv计算正向和逆向进化序列。
5a)每一个Vi,cd_fv表示,其中xij表示第i个视频的第j个局部特征向量,n表示第i个视频的特征向量个数,符号[·]T表示矩阵的转置;
5b)计算Vi,cd_fv对应的第i个视频编号为cd的特征对应的正向进化序列:其中voij表示第i个视频对应正向进化序列Vi,cd_order中的第j个向量,计算公式为j∈{1,2,...,n};
5c)计算Vi,cd_fv对应的第i个视频编号为cd的特征对应的逆向进化序列:其中vrij表示第i个视频对应逆向进化序列Vi,cd_reverse中的第j个向量,计算公式为j∈{1,2,...,n}。
步骤6,对每一个正向进化序列Vi,cd_order和逆向进化序列Vi,cd_reverse计算进化步长。
6a)计算正向进化序列Vi,cd_order的进化步长:
其中uoik表示第i个视频对应正向进化步长Ui,cd_order中的第k个向量,计算公式为B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B;
6b)计算逆向进化序列Vi,cd_reverse的进化步长:
其中urik表示第i个视频对应逆向进化步长Ui,cd_reverse中的第k个向量,计算公式:B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B。
步骤7,对每一个费舍特征Vi,cd提取二分类进化特征。
7a)设定每一个正向进化步长Ui,cd_order的类别标签为1,每一个逆向进化步长Ui,cd_reverse的类别标签为-1,构建进化步长训练数据集(TRi,cd,Yi,cd),构建步骤如下:
7a1)将正向进化步长Ui,cd_order和逆向进化步长Ui,cd_reverse按行排列得到训练数据TRi,cd
7a2)新建2×m行1列值为0的标签向量Yi,cd,对TRi,cd中的每一行进行遍历,如果TRi,cd中的第p行来自于Ui,cd_order,将Yi,cd中第p个值设为1,反之,将Yi,cd中第p个值设为-1,其中正向进化步长Ui,cd_order和逆向进化步长Ui,cd_reverse均属于m行Dcd列的实数空间,TRi,cd属于2×m行Dcd列的实数空间;
7b)在进化步长训练数据集(TRi,cd,Yi,cd)上训练一个二分类支持向量机分类器,训练完成后二分类支持向量机判别面的法向量wi,cd即为Vi,cd的二分类进化特征,其中训练样本样本标签Yi,cd=[1m×1;(-1)m×1]∈R2m×1,符号";"表示按行排列,1m×1表示m行1列值为1的向量,(-1)m×1表示m行1列值为-1的向量。
二.视频分类
步骤8,视频分类,得到识别结果。
将属于训练集的视频第cd种特征的二分类进化特征集合作为训练样本集TR,将属于测试集的视频第cd种特征的二分类进化特征集合作为测试样本集TE,在训练样本集TR上训练一个多分类支持向量机模型并对测试样本集TE进行分类,得到分类结果,该结果的正确率即为第cd种特征的人体行为识别正确率。
本发明的效果可以通过以下仿真实验进一步说明:
1.仿真条件
仿真实验在Intel Core(TM)i5-2410M CPU、主频2.3GHz,内存10G,Ubuntu14.04.01平台、MATLAB 2015.A环境下进行。本实验分别在KTH数据集和YouTube数据集上利用本发明方法和现有方法进行分类测试,并进行结果对比。
其中现有方法包括基于密度轨迹TRJ的方法、基于KLT轨迹的方法、基于SIFT轨迹的方法、基于密度cuboids的方法、基于运动结构特征的方法、基于方向光流直方图HOF的方法、基于视频立方体的方法和Kmp特征融合方法。
2.仿真内容与结果
仿真1,在KTH数据集上使用本发明方法和现有方法进行识别测试的实验。该数据库包括6类行为(散步、慢跑、跑步、拳击、挥手和拍手),由25个不同的人分别在四个场景下执行完成,一共包括599段视频。背景相对静止,镜头有远近差异,摄像机的运动比较轻微。
用本发明方法和现有的几种方法对图3(a)所示的KTH数据集进行测试,结果如表1,
表1本发明方法与现有几种方法在KTH数据集上的分类结果对比
从表1可以看出,KTH数据集上对比方法的最高识别精度为97.6%,本发明中提出来的方法识别精度为98.7%,提升1.1个百分点。现有方法大多考虑了空间维上的信息,对于时间维上的信息考虑不够,本发明中提出来的方法着重捕获了行为在时间维上的顺序关系,同时加入了旋转不变性、位移不变性和光照不变性等特征,从而提升了识别正确率。实验结果证明,本发明方法能够对人体行为进行有效的表示,达到了较好的人体行为识别效果。
仿真2,在YouTube数据集上使用本发明方法和现有方法进行识别测试的实验。该数据库包括11类行为(投篮、骑自行车、跳水、打高尔夫、骑马、颠足球、荡秋千、打网球、蹦床上跳跃、打排球和牵狗散步),由25个不同的人分别在不同场景下执行完成,一共包括1600段视频。视频背景和执行者的衣着、动作姿态变化多样,镜头和视角大幅变化,摄像机的运动明显,识别难度较大。
用本发明方法和现有的几种方法对图3(b)所示的YouTube数据集进行测试,结果如表2,
表2本发明方法与现有几种方法在YouTube数据集上的分类结果对比
从表2中可以看出,本发明在YouTube数据集上的识别正确率依然优于对比方法。对比方法中最高的识别精度为87.6%,本发明中提出来的方法将识别精度提高到92.0%,提升4.4个百分点。这进一步证明,本发明中所使用的特征学习方法能够有效地用于视频中人体行为的识别。

Claims (3)

1.一种基于二分类进化特征学习的人体行为识别方法,包括如下步骤:
(1)输入训练集和测试集的所有视频,每个视频中只含有一种行为,分别提取每一个视频的四种局部特征:密度轨迹、方向梯度直方图、方向光流直方图和运动边界直方图;
(2)将提取出来的所有视频的第cd种特征向量按行排列到一起构成特征矩阵Vcd中的第i行表示从视频集中第i个视频提取出来的编号为cd的特征向量,其中cd∈{1,2,3,4},表示不同特征的编号,分别对应上述四种特征,i∈{1,2,...,N},N表示所有视频的个数,Dcd表示第cd种特征的维数,表示N行Dcd列的实数空间;
(3)从每一个特征矩阵Vcd中随机抽取5%行数据构成矩阵并使用主成分分析对其降维,用降维后的数据构建高斯混合模型GMM并求解,得到求解后的高斯混合模型参数gmmcd,该gmmcd中包括第cd类特征所对应GMM模型的权值、均值和方差;
(4)根据(3)中计算得到的高斯混合模型参数gmmcd,对每一个视频对应的特征矩阵Vi,cd进行费舍向量变换,得到Vi,cd对应的费舍特征向量Vi,cd_fv,其中下标i表示视频集中的第i个视频;
(5)对每一个费舍特征向量Vi,cd_fv计算正向和逆向进化序列:
(5a)每一个Vi,cd_fv表示,其中xij表示第i个视频的第j个局部特征向量,n表示第i个视频的特征向量个数,符号[·]T表示矩阵的转置;
(5b)计算Vi,cd_fv对应的正向进化序列:
其中voij表示第i个视频对应正向进化序列Vi,cd_order中的第j个向量,计算公式为j∈{1,2,...,n};
(5c)计算Vi,cd_fv对应的逆向进化序列:
其中vrij表示第i个视频对应逆向进化序列Vi,cd_reverse中的第j个向量,计算公式为j∈{1,2,...,n};
(6)对每一个正向进化序列Vi,cd_order和逆向进化序列Vi,cd_reverse计算进化步长:
(6a)计算正向进化序列Vi,cd_order的进化步长:
其中uoik表示第i个视频对应正向进化步长Ui,cd_order中的第k个向量,计算公式为B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B;
(6b)计算逆向进化序列Vi,cd_reverse的进化步长:
其中urik表示第i个视频对应逆向进化步长Ui,cd_reverse中的第k个向量,计算公式:B∈{2,3,...,7,...,15}表示进化步长计算范围,k∈{1,2,...,m},m=n-B;
(7)对每一个费舍特征Vi,cd提取二分类进化特征,即设定每一个正向进化步长Ui,cd_order的类别标签为1,每一个逆向进化步长Ui,cd_reverse的类别标签为-1,构建进化步长数据集(TRi,cd,Yi,cd);在进化步长数据集(TRi,cd,Yi,cd)上训练一个二分类支持向量机分类器,得到二分类支持向量机判别面的法向量wi,cd即为Vi,cd的二分类进化特征,其中样本样本标签Yi,cd=[1m×1;(-1)m×1]∈R2m×1,符号";"表示按行排列,1m×1表示m行1列值为1的向量,(-1)m×1表示m行1列值为-1的向量;
(8)将属于训练集的视频第cd种特征的二分类进化特征集合作为训练样本集TR,将属于测试集的视频第cd种特征的二分类进化特征集合作为测试样本集TE,在训练样本集TR上训练一个多分类支持向量机模型并对测试样本集TE进行分类,得到分类结果,该结果的正确率即为第cd种特征的人体行为识别正确率。
2.根据权利要求1所述的方法,其中步骤(4)中对每一个视频对应的特征矩阵Vi,cd通过费舍向量变换,得到Vi,cd对应的费舍特征Vi,cd_fv,按如下步骤进行:
4a)输入包括n个特征向量的特征矩阵向量Vi,cd和混合高斯模型参数:
gmmcd={ωlll,l=1,...,L},
为表述方便,用符号H表示特征矩阵Vi,cd,即hf表示H中的第f个特征向量,L为混合高斯模型中包含的高斯模型个数,ωl、μl和σl分别为第l个高斯模型的权值、均值和方差;
4b)对每一个高斯模型,初始化三个累计变量
4c)对每一个特征向量hf计算中间变量并更新累计变量:
4c1)计算中间变量γf(l):
4c2)更新每一个累计变量:
4d)对每一个高斯模型计算费舍参数:
其中为费舍权值,为费舍均值,为费舍方差;
4e)将所有的费舍参数连接成费舍向量
4f)对费舍向量进行规范化得到费舍特征:
能量规范化:
l2范数规范化:
3.根据权利要求1所述的方法,其中步骤(7)中构建进化步长数据集(TRi,cd,Yi,cd),按如下步骤进行:
(7a)将正向进化步长Ui,cd_order和逆向进化步长Ui,cd_reverse按行排列得到训练数据TRi,cd
(7b)新建2×m行1列值为0的标签向量Yi,cd,对TRi,cd中的每一行进行遍历,如果TRi,cd中的第p行来自于Ui,cd_order,将Yi,cd中第p个值设为1,反之,将Yi,cd中第p个值设为-1,其中正向进化步长Ui,cd_order和逆向进化步长Ui,cd_reverse均属于m行Dcd列的实数空间,TRi,cd属于2×m行Dcd列的实数空间。
CN201610410959.1A 2016-06-13 2016-06-13 基于二分类进化特征学习的人体行为识别方法 Active CN106056093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610410959.1A CN106056093B (zh) 2016-06-13 2016-06-13 基于二分类进化特征学习的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610410959.1A CN106056093B (zh) 2016-06-13 2016-06-13 基于二分类进化特征学习的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN106056093A CN106056093A (zh) 2016-10-26
CN106056093B true CN106056093B (zh) 2019-05-21

Family

ID=57170007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610410959.1A Active CN106056093B (zh) 2016-06-13 2016-06-13 基于二分类进化特征学习的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN106056093B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629316A (zh) * 2018-05-08 2018-10-09 东北师范大学人文学院 一种多视角的视频异常事件检测方法
CN109508698B (zh) * 2018-12-19 2023-01-10 中山大学 一种基于二叉树的人体行为识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
CN104834918A (zh) * 2015-05-20 2015-08-12 中国科学院上海高等研究院 一种基于高斯过程分类器的人体行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010201891B2 (en) * 2009-05-13 2015-02-12 The University Of Sydney A method and system for data analysis and synthesis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
CN104834918A (zh) * 2015-05-20 2015-08-12 中国科学院上海高等研究院 一种基于高斯过程分类器的人体行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense Trajectories and Motion Boundary Descriptors for Action Recognition;Heng Wang等;《International Journal of Computer Vision(IJCV)》;20130306;第103卷(第1期);第60-79页
Histograms of oriented gradients for human detection;Navneet Dalal等;《conference on computer vision and pattern recognition(CVPR)》;20050625;第886-893页
Learning realistic human actions from movies;Ivan Laptev等;《conference on computer vision and pattern recognition(CVPR)》;20080628;第1-8页

Also Published As

Publication number Publication date
CN106056093A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
Host et al. An overview of Human Action Recognition in sports based on Computer Vision
Xiaohan Nie et al. Joint action recognition and pose estimation from video
Vinyes Mora et al. Deep learning for domain-specific action recognition in tennis
CN106778854A (zh) 基于轨迹和卷积神经网络特征提取的行为识别方法
CN110188637A (zh) 一种基于深度学习的行为识别技术方法
CN110348364B (zh) 一种无监督聚类与时空域深度网络相结合的篮球视频群体行为识别方法
Wang et al. Learning attentional recurrent neural network for visual tracking
Rangasamy et al. Deep learning in sport video analysis: a review
CN113536922A (zh) 一种加权融合多种图像任务的视频行为识别方法
Sahoo et al. HAR-depth: a novel framework for human action recognition using sequential learning and depth estimated history images
Willems et al. Exemplar-based Action Recognition in Video.
Xiao et al. Overview: Video recognition from handcrafted method to deep learning method
Park et al. Binary dense sift flow based two stream CNN for human action recognition
CN106056093B (zh) 基于二分类进化特征学习的人体行为识别方法
Sakib et al. Event Detection from Cricket Videos Using Video-Based CNN Classification of Umpire Signals
Du et al. Semantic Extraction of Basketball Game Video Combining Domain Knowledge and In‐Depth Features
Li et al. Analytical Model of Action Fusion in Sports Tennis Teaching by Convolutional Neural Networks
Alhejaily et al. Automatic Team Assignment and Jersey Number Recognition in Football Videos
Yoon et al. Spatio-temporal representation matching-based open-set action recognition by joint learning of motion and appearance
Al Shami Generating Tennis Player by the Predicting Movement Using 2D Pose Estimation
De Souza Action Recognition in Videos: Data-efficient approaches for supervised learning of human action classification models for video
CN105590100A (zh) 基于判别性超体素的人体动作识别方法
Wang et al. Return Strategy and Machine Learning Optimization of Tennis Sports Robot for Human Motion Recognition
Hovad et al. Classification of Tennis Actions Using Deep Learning
Li Deep Learning Based Sports Video Classification Research

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant