CN105160290A - 一种基于改进型稠密轨迹的移动边界采样的行为识别方法 - Google Patents

一种基于改进型稠密轨迹的移动边界采样的行为识别方法 Download PDF

Info

Publication number
CN105160290A
CN105160290A CN201510386962.XA CN201510386962A CN105160290A CN 105160290 A CN105160290 A CN 105160290A CN 201510386962 A CN201510386962 A CN 201510386962A CN 105160290 A CN105160290 A CN 105160290A
Authority
CN
China
Prior art keywords
image feature
probability
level image
low
moving boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510386962.XA
Other languages
English (en)
Inventor
田茜
徐海燕
王臻
马慧
陈萍萍
吴建辉
李红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201510386962.XA priority Critical patent/CN105160290A/zh
Publication of CN105160290A publication Critical patent/CN105160290A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进型稠密轨迹的移动边界采样的行为识别方法,研究表明改进型稠密轨迹在行为识别上可以取得最先进的结果,但是它耗内存且计算复杂。因此,在不影响识别率的情况下,用移动边界采样方法来减少轨迹数,能节省内存并提高后期的处理速度。首先基于移动边界采样的改进型稠密轨迹来提取局部底层特征;其次使用Fisher核对局部底层特征进行聚类,形成Fisher向量,以提高特征的紧凑性、有序性;在FV作为分类器的输入之前对它们采用LDA/CA的降维技术来提高存储效率、训练和测试的时间并且进一步提高特征辨别性;最后对于不同的描述器采用后融合技术进行数据的结合或者FV向量之间的融合,从而来提高识别率。

Description

一种基于改进型稠密轨迹的移动边界采样的行为识别方法
技术领域
本发明涉及一种基于改进型稠密轨迹的移动边界采样的行为识别方法,尤其涉及一种利用计算机技术、数字图像处理技术、模式识别技术等实现行为识别分类与判别的方法,属于人工智能识别领域中关于行为特征提取与识别的技术。
背景技术
1、行为识别技术
行为识别已经成为人工智能中的一个重要的研究方向,它主要应用在实时视频监督、安全监控、人机交互等方面,其关键技术是特征的提取和分类方法的实现。研究人员提出了大量的行为识别方法,其中特征提取的方法主要分为三大类:一是基于空时兴趣点的特征提取,二是基于轨迹的特征提取,三是基于动态纹理的特征提取。其中特征聚类的方法主要有词袋(Bag-of-Words,简称BOW)、基于Fisher核的方法(FV)和基于局部聚类描述器向量(vectoroflocallyaggregateddescriptors,简称VLAD)。基于BOW的聚类方法常用的分类器是卡方支持向量机(χ2-SupportVectorMachine,简称χ2-SVM),而基于Fisher核和VLAD的聚类方法的分类器是线性SVM/线性极值学习机(extremelearningmachine,简称ELM)。
2、基于Fisher核的聚类理论
基于Fisher核的聚类方法的数学描述是:视频代表V=(X1,…,XH)由H个底层局部特征Xi组成,Xi为D维向量,V∈RH×D。假设Θ=(μkkk:k=1,...,K)代表K个高斯混合模型(GaussianMixtureModel,简称GMM)的常量,μk、Σk和Πk分别是GMM的均值、协方差和权重,其中Σk为对角矩阵,用表示Σk的对角向量。它们可以通过视频的训练样本进行训练得到。底层局部特征Xi在对应的高斯混合模型k上的后验概率为:
q i k = ( X i - μ k ) T Σ k - 1 ( X i - μ k ) Σ t = 1 K ( X i - μ t ) T Σ t - 1 ( X i - μ t )
其中qik∈RH×K。对于高斯混合模型k,每一维数据对应的均值和方差为:
u j k = 1 N Π k Σ i = 1 H q i k X j i - μ i k σ k
v j k = 1 N Π k Σ i = 1 H q i k [ ( X j i - μ i k σ k ) 2 - 1 ]
其中j=1,2,…,D。每个视频的Fisher向量就是由这K个高斯混合模型对应的均值和方差组成,视频的Fisher向量为:
Φ(V)=[···uk···vk···]T
[·]T表示的是向量的转置。所以对于每个描述器每个训练样本和测试样本都是由2KD维的Fisher向量组成。
3、基于概率/权重融合的分类器
每个描述器对应的Fisher向量分别作为分类器的输入,从而对分类器进行训练,得到N个分类器分别对应为X1,…,XN。每个分类器得到的每类概率为P(ωk/Xi),其中k=1,…,m,假设总共有m类。采用六种结合规则进行概率融合,六种规则对应为:概率最大、最小、中值、乘积、求和、权重选举等规则,其中z为对应为预测类。
(31)概率最大规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m max i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(32)概率最小规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m min i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(33)中值规则
如果 1 N Σ i = 1 N P ( ω j / X i ) = max k = 1 m 1 N Σ i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(34)乘积规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m Π i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(35)求和规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m Σ i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(36)权重选举规则
如果z→ωj,表示z对应为第j类,其中
Δ k i = 1 i f P ( ω k / X i ) = max i = 1 N P ( ω j / X i ) 0 o t h e r w i s e .
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于改进型稠密轨迹的移动边界采样的行为识别方法,使用移动边界采样方法来减少兴趣点的数目即轨迹点的数目,在不影响识别率情况下,从而减少消耗内存并且提高处理速度;对于不同的描述器分别采用前融合和后融合技术进行数据的结合,来提高行为识别的识别率并比较不同的融合对性能的影响。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于改进型稠密轨迹的移动边界采样的行为识别方法,包括如下步骤:
(1)建立移动边界图片:首先通过特征匹配来评估连续两帧图片的单应性,然后根据单应性求取纠正帧,最后根据该连续两帧图片中的第一帧和纠正帧求取光流,移动边界图片的像素值对应为光流的梯度幅度;
(2)建立底层特征描述器:基于改进型稠密轨迹通过移动边界图片进行采样来提取HOG(Histogramoforientedgradients,方向直方图)、HOF(Histogramofopticalflow,光流直方图)、MBH(Motionboundaryhistory,移动边界直方图)和Dentr(trajectorydescriptor,轨迹描述器)四个底层特征描述器,然后使用PCA(无监督的学习算法)提取四个底层特征描述器对应特征的特征值和特征向量,将HOG、HOF、MBH和Dentr四个底层特征描述器的维数分别降到64、64、128、20,即将HOG、HOF、MBH和Dentr四个底层特征描述器的底层特征向量的维数D分别降到64、64、128、20;将降维后的HOG、HOF、MBH和Dentr四个底层特征描述器分别记为X1、X2、X3和X4
(3)建立中层特征描述器:使用Fisher核对步骤(2)得到的四个底层特征描述器分别进行聚类,各自得到2KD维的Fisher向量,其中K为Fisher核中所选的高斯混合模型的数量;
(4)使用LDA/PCA(有监督的学习算法/无监督的学习算法)对步骤(3)得到的Fisher向量进行降维;
(5)使用步骤(4)得到的Fisher向量进行分类器训练和测试,包括如下步骤:
(51)对X1、X2、X3和X4分别进行训练和测试,得到在当前分类器下各类的概率P(ωk/Xi),P(ωk/Xi)表示样本在底层特征描述器Xi下属于类ωk的概率,其中i=1,2,3,4;对样本在四个底层特征描述器下属于类ωk的概率按照特定规则进行融合,即进行位置3融合(可称为后融合),得到融合后的样本属于类ωk的概率并输出;所述特定规则为最大、最小、中值、权重选举、求和或求积;
(52)对四个底层描述器对应的Fisher向量进行融合,即进行位置2融合(可称为前融合),得到融合后的Fisher向量,再使用LDA/PCA对融合后的Fisher向量进行降维,最后输入到分类器中进行训练和测试,得到样本属于类ωk的概率并输出。
优选的,所述步骤(1)中,使用光流梯度幅值求取移动边界图片,采样点对应移动边界图片区域。
优选的,所述步骤(5)中,分类器包括支持向量机和极限学习机两种,通过输出的样本属于类ωk的概率对这两种分类器的运行速度和识别率进行比较。
优选的,所述步骤(5)中,所述支持向量机具体为概率评估分类器,所述极限学习机具体为权重评估分类器。
优选的,所述步骤(51)中,特定规则包括最大、最小、中值、权重选举、求和和求积,分别采用各种特定规则进行位置3融合,得到各种特定规则下的融合结果,即各种特定规则下样本属于类ωk的概率;通过输出的概率哪一种特定规则更适合样本的识别。
优选的,所述步骤(3)中,K=256;通过实验知道,这个取值在识别率和速度上能够有很好的折中。
有益效果:本发明提供的基于改进型稠密轨迹的移动边界采样的行为识别方法,基于改进型稠密轨迹在移动边界上采样的方法和Fisher核的聚类方法,构建了一个适用于行为识别的特征提取的方法,在得到Fisher向量后,有两种处理方式:①分别对不同描述器的Fisher向量进行训练,并且训练集采用LDA/PCA进行学习,保留具有判别性的特征向量,将它们输入到线性分类器中进行分类,这样可以节约训练和测试的时间,并且能够提高识别率,然后对各个分类器输出的概率进行不同规则的融合;②将不同的描述器的Fisher向量合并成一个Fisher向量,即位置2融合,对这个Fisher向量采用LDA/PCA进行学习,然后将它输入到线性分类器中进行分类。本方法得到的最优结果是使KTH库上的识别率在97%以上,使UCF11库上的识别率在92%之上。
附图说明
图1为本发明的流程图;
图2为在KTH库上最佳规则下的混淆矩阵图;
图3为在UCF11库上最佳规则下的混淆矩阵图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于改进型稠密轨迹的移动边界采样的行为识别方法,包括如下步骤:
(1)建立移动边界图片:首先通过特征匹配来评估连续两帧图片的单应性,然后根据单应性求取纠正帧,最后根据该连续两帧图片中的第一帧和纠正帧求取光流,移动边界图片的像素值对应为光流的梯度幅度;
(2)建立底层特征描述器:基于改进型稠密轨迹通过移动边界图片进行采样来提取HOG、HOF、MBH和Dentr四个底层特征描述器,然后使用PCA提取四个底层特征描述器对应特征的特征值和特征向量,将HOG、HOF、MBH和Dentr四个底层特征描述器的维数分别降到64、64、128、20,即将HOG、HOF、MBH和Dentr四个底层特征描述器的底层特征向量的维数D分别降到64、64、128、20;将降维后的HOG、HOF、MBH和Dentr四个底层特征描述器分别记为X1、X2、X3和X4
(3)建立中层特征描述器:使用Fisher核对步骤(2)得到的四个底层特征描述器分别进行聚类,各自得到2KD维的Fisher向量,其中K为Fisher核中所选的高斯混合模型的数量;
(4)使用LDA/PCA对步骤(3)得到的Fisher向量进行降维;
(5)使用步骤(4)得到的Fisher向量进行分类器训练和测试,包括如下步骤:
(51)对X1、X2、X3和X4分别进行训练和测试,得到在当前分类器下各类的概率P(ωk/Xi),P(ωk/Xi)表示样本在底层特征描述器Xi下属于类ωk的概率,其中i=1,2,3,4;对样本在四个底层特征描述器下属于类ωk的概率按照特定规则进行融合,即进行位置3融合(可称为后融合),得到融合后的样本属于类ωk的概率并输出;所述特定规则为最大、最小、中值、权重选举、求和或求积;
(52)对四个底层描述器对应的Fisher向量进行融合,即进行位置2融合(可称为前融合),得到融合后的Fisher向量,再使用LDA/PCA对融合后的Fisher向量进行降维,最后输入到分类器中进行训练和测试,得到样本属于类ωk的概率并输出。
所述步骤(1)中,使用光流梯度幅值求取移动边界图片,采样点对应移动边界图片区域。
所述步骤(5)中,分类器包括支持向量机和极限学习机两种,通过输出的样本属于类ωk的概率对这两种分类器的运行速度和识别率进行比较。
所述步骤(5)中,所述支持向量机具体为概率评估分类器,所述极限学习机具体为权重评估分类器。
所述步骤(51)中,特定规则包括最大、最小、中值、权重选举、求和和求积,分别采用各种特定规则进行位置3融合,得到各种特定规则下的融合结果,即各种特定规则下样本属于类ωk的概率;通过输出的概率哪一种特定规则更适合样本的识别。
所述步骤(3)中,K=256;通过实验知道,这个取值在识别率和速度上能够有很好的折中。
下面结合实施例对本发明在具体实施时的一些细节问题进行说明。
1、选用的测试数据库为KTH和UCF11行为识别库,KTH库有25个人在4中不同的环境进行的六种活动。这里的训练集选的是(1,4,11,12,13,14,15,16,17,18,19,20,21,23,24,25),其它的均为测试集。UCF11库是在自然环境下采样的11类活动,每类活动分成25组,这里采用留一组交叉测试和训练的方法,然后进行平均得到识别率。
2、使用改进型稠密轨迹的移动边界采样方法来提取特征,实验表明,相对于空时兴趣点提取特征,稠密轨迹有着更高的识别率;具体过程如下:
21)读入所有的行为识别库,基于改进型稠密轨迹的移动边界采样方法来提取HOG、HOF、MBH和Dentr这四个底层特征描述器。每个视频对应的底层特征描述器的维数为M×D,其中M为一个视频的采样数,D为底层特征描述器的维数(底层特征描述器的底层特征向量的维数),HOG、HOF、MBH和Dentr对应的维数分别为96、108、192、30。考虑数据的相关性和Fisher向量的维数为2KD,为了减少数据的存储空间和去除数据的相关性,对不同的描述器分别使用PCA技术,将HOG、HOF、MBH和Dentr的维数分别降到64、64、128、20。
22)设行为识别库由Q个训练集组成,用矩阵表示为v1,v2,...,vQ,根据这Q个训练集对HOG求K个高斯模型。
23)根据步骤22)中的K个高斯模型求每个训练集中的采样点在第k个高斯模型上的后验概率为在第k个高斯模型上,训练集vi对应的某一维的均值和方差分别为
v j k = 1 N Π k Σ i = 1 H q i k [ ( X j i - μ i k σ k ) 2 - 1 ]
24)将训练集和测试集都映射到步骤22)中的K个高斯模型上,根据步骤23)来求每个样本集对应的中层向量,得到各自的中层向量Y1,Y2,...,YN,Z1,Z2,…ZH:
构成训练矩阵A=[Y1,Y2,...,YN]和测试矩阵B=[Z1,Z2,…ZH],视频向量按类顺序排列。
25)根据训练矩阵A对其用LDA/PCA方法,提高数据的辨别性和代表性,通过有监督/无监督的训练得到的特征向量为C,对测试矩阵B使用C将其映射到高维的空间中去再对其来进行分类。
3、分类,对于给定的测试视频,将其投影到特征子空间中,得到坐标向量y=BC:
31)使用线性支持向量机/极限学习机对其进行分类,首先使用训练矩阵AC对分类器进行训练,然后将测试向量y输入到分类器中,得到的每类分类概率为xi∈RM×c,其中M为测试的视频数,c为活动的类别;
32)重复上面的步骤求HOF,MBH,Dentr对应的分类概率x1,x2,…xG
4、根据24)得到不同描述器的FV,再根据25)得到不同描述器降维后的FV向量,将这些向量进行合并,排列成一个FV向量即位置2融合,然后将它作为一个FV进行训练和测试。有两种结合方式,一种是四个描述器对应的FV全部进行结合(全融合),一种是去除Dentr对应的FV进行结合(缺Dentr融合)。
5、根据上面不同的分类概率进行概率融合,使用6中规则分别对它们进行融合,对应的规则为:
(51)概率最大规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m max i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(52)概率最小规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m min i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(53)中值规则
如果 1 N Σ i = 1 N P ( ω j / X i ) = max k = 1 m 1 N Σ i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(54)乘积规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m Π i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(55)求和规则
如果 max i = 1 N P ( ω j / X i ) = max k = 1 m Σ i = 1 N P ( ω k / X i ) , z→ωj,表示z对应为第j类。
(56)权重选举规则
如果z→ωj,表示z对应为第j类,其中
Δ k i = 1 i f P ( ω k / X i ) = max j = 1 m P ( ω j / X i ) 0 o t h e r w i s e
遍历所用的概率融合规则与位置2融合进行识别率的对比,如表2和表3所示。
下面详细说明本发明的实验结果:
1、本发明的实验采用的数据库是国际通用的KTH、UCF11和HMDB51行为识别数据库。KTH库一共包含25位志愿者,每个志愿者在4中不同的环境下做6类活动,其中四种不同的环境对应为室外、室内,室外加尺寸变化,室外加不同的衣服,6类活动分别为走路、慢跑、跑步、拍手、双手挥手、拳击;像素为160*120,共600个视频。我们选择25个人中的16个人的视频作为训练库,另外9人的视频作为测试库。UCF11库总共有11类活动,每类活动分成25组,它的背景和光线条件都比较复杂。HMDB51有51类活动,它从电影中采集得到即称自然环境下的视频。
2、实验一:表1显示移动边界采样对轨迹数的影响,实验表明使用移动边界采样技术可以很大程度上减少轨迹数。
表1移动边界采样对轨迹数的影响
3、实验二:表2,表3为测试不同的融合方案和学习方案下的实验。实验表明,使用移动边界采样技术的改进型稠密轨迹的识别率与改进型稠密轨迹相当,而它的轨迹数比改进型稠密轨迹减半。KTH最佳规则下的IDT-MB和IDT对应的识别率分别为97.22%、96.76%,UCF11对应的识别率分别为92.51%、95.16%。
4、实验三:图3为在最优规则下获得的混淆矩阵,实验表明,KTH中活动的混淆主要发生双手挥手混淆到鼓掌,跑步混淆到慢跑上。UCF11中,混淆主要发生在投篮和打网球之间。
表2使用SVM在KTH库上对比IDT-MB和IDT的识别率
表3使用ELM在UCF11库上对比IDT-MB和IDT的识别率
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:包括如下步骤:
(1)建立移动边界图片:首先通过特征匹配来评估连续两帧图片的单应性,然后根据单应性求取纠正帧,最后根据该连续两帧图片中的第一帧和纠正帧求取光流,移动边界图片的像素值对应为光流的梯度幅度;
(2)建立底层特征描述器:基于改进型稠密轨迹通过移动边界图片进行采样来提取HOG、HOF、MBH和Dentr四个底层特征描述器,然后使用PCA提取四个底层特征描述器对应特征的特征值和特征向量,将HOG、HOF、MBH和Dentr四个底层特征描述器的维数分别降到64、64、128、20,即将HOG、HOF、MBH和Dentr四个底层特征描述器的底层特征向量的维数D分别降到64、64、128、20;将降维后的HOG、HOF、MBH和Dentr四个底层特征描述器分别记为X1、X2、X3和X4
(3)建立中层特征描述器:使用Fisher核对步骤(2)得到的四个底层特征描述器分别进行聚类,各自得到2KD维的Fisher向量,其中K为Fisher核中所选的高斯混合模型的数量;
(4)使用LDA/PCA对步骤(3)得到的Fisher向量进行降维;
(5)使用步骤(4)得到的Fisher向量进行分类器训练和测试,包括如下步骤:
(51)对X1、X2、X3和X4分别进行训练和测试,得到在当前分类器下各类的概率P(ωk/Xi),P(ωk/Xi)表示样本在底层特征描述器Xi下属于类ωk的概率,其中i=1,2,3,4;对样本在四个底层特征描述器下属于类ωk的概率按照特定规则进行融合,即进行位置3融合,得到融合后的样本属于类ωk的概率并输出;所述特定规则为最大、最小、中值、权重选举、求和或求积;
(52)对四个底层描述器对应的Fisher向量进行融合,即进行位置2融合,得到融合后的Fisher向量,再使用LDA/PCA对融合后的Fisher向量进行降维,最后输入到分类器中进行训练和测试,得到样本属于类ωk的概率并输出。
2.根据权利要求1所述的基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:所述步骤(1)中,使用光流梯度幅值求取移动边界图片,采样点对应移动边界图片区域。
3.根据权利要求1所述的基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:所述步骤(5)中,分类器包括支持向量机和极限学习机两种,通过输出的样本属于类ωk的概率对这两种分类器的运行速度和识别率进行比较。
4.根据权利要求3所述的基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:所述步骤(5)中,所述支持向量机具体为概率评估分类器,所述极限学习机具体为权重评估分类器。
5.根据权利要求1所述的基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:所述步骤(51)中,特定规则包括最大、最小、中值、权重选举、求和和求积,分别采用各种特定规则进行位置3融合,得到各种特定规则下的融合结果,即各种特定规则下样本属于类ωk的概率。
6.根据权利要求1所述的基于改进型稠密轨迹的移动边界采样的行为识别方法,其特征在于:所述步骤(3)中,K=256。
CN201510386962.XA 2015-07-03 2015-07-03 一种基于改进型稠密轨迹的移动边界采样的行为识别方法 Pending CN105160290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510386962.XA CN105160290A (zh) 2015-07-03 2015-07-03 一种基于改进型稠密轨迹的移动边界采样的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510386962.XA CN105160290A (zh) 2015-07-03 2015-07-03 一种基于改进型稠密轨迹的移动边界采样的行为识别方法

Publications (1)

Publication Number Publication Date
CN105160290A true CN105160290A (zh) 2015-12-16

Family

ID=54801142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510386962.XA Pending CN105160290A (zh) 2015-07-03 2015-07-03 一种基于改进型稠密轨迹的移动边界采样的行为识别方法

Country Status (1)

Country Link
CN (1) CN105160290A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169414A (zh) * 2017-04-13 2017-09-15 南京邮电大学 一种基于稠密轨迹小片段的异常行为检测方法
CN107194366A (zh) * 2017-06-06 2017-09-22 西安电子科技大学 基于稠密轨迹协方差描述子的行为识别方法
CN108256435A (zh) * 2017-12-25 2018-07-06 西安电子科技大学 基于部件因果关系的视频行为识别方法
CN109582963A (zh) * 2018-11-29 2019-04-05 福建南威软件有限公司 一种基于极限学习机的档案自动分类方法
CN110163144A (zh) * 2019-05-17 2019-08-23 成都信息工程大学 一种从视频中自动识别人体行为的方法
CN110717601A (zh) * 2019-10-15 2020-01-21 厦门铅笔头信息科技有限公司 一种基于有监督学习和无监督学习的反欺诈方法
CN115223002A (zh) * 2022-05-09 2022-10-21 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280555A1 (en) * 2006-06-01 2007-12-06 Mei Chen Image registration based on concentric image partitions
CN103164694A (zh) * 2013-02-20 2013-06-19 上海交通大学 一种人体动作识别的方法
CN103927561A (zh) * 2014-04-29 2014-07-16 东南大学 一种基于概率融合和降维技术的行为识别方法
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280555A1 (en) * 2006-06-01 2007-12-06 Mei Chen Image registration based on concentric image partitions
CN103164694A (zh) * 2013-02-20 2013-06-19 上海交通大学 一种人体动作识别的方法
CN103927561A (zh) * 2014-04-29 2014-07-16 东南大学 一种基于概率融合和降维技术的行为识别方法
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENG WANG 等: "Action Recognition with Improved Trajectories", 《IEEE INTERNATIONALCONFERENCE ON COMPUTER VISION 2013》 *
ZHEN-ZHONG LAN 等: "Multimedia classification and event detection using double fusion", 《MULTIMEDIA TOOLS AND APPLICATION》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169414A (zh) * 2017-04-13 2017-09-15 南京邮电大学 一种基于稠密轨迹小片段的异常行为检测方法
CN107194366A (zh) * 2017-06-06 2017-09-22 西安电子科技大学 基于稠密轨迹协方差描述子的行为识别方法
CN107194366B (zh) * 2017-06-06 2020-04-14 西安电子科技大学 基于稠密轨迹协方差描述子的行为识别方法
CN108256435A (zh) * 2017-12-25 2018-07-06 西安电子科技大学 基于部件因果关系的视频行为识别方法
CN108256435B (zh) * 2017-12-25 2019-10-11 西安电子科技大学 基于部件因果关系的视频行为识别方法
CN109582963A (zh) * 2018-11-29 2019-04-05 福建南威软件有限公司 一种基于极限学习机的档案自动分类方法
CN110163144A (zh) * 2019-05-17 2019-08-23 成都信息工程大学 一种从视频中自动识别人体行为的方法
CN110717601A (zh) * 2019-10-15 2020-01-21 厦门铅笔头信息科技有限公司 一种基于有监督学习和无监督学习的反欺诈方法
CN110717601B (zh) * 2019-10-15 2022-05-03 厦门铅笔头信息科技有限公司 一种基于有监督学习和无监督学习的反欺诈方法
CN115223002A (zh) * 2022-05-09 2022-10-21 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备
CN115223002B (zh) * 2022-05-09 2024-01-09 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备

Similar Documents

Publication Publication Date Title
Li et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classification
Girdhar et al. Actionvlad: Learning spatio-temporal aggregation for action classification
CN105160290A (zh) 一种基于改进型稠密轨迹的移动边界采样的行为识别方法
Shao et al. Slicing convolutional neural network for crowd video understanding
Sun et al. Human action recognition using factorized spatio-temporal convolutional networks
Sultani et al. Human action recognition across datasets by foreground-weighted histogram decomposition
Gall et al. Hough forests for object detection, tracking, and action recognition
CN104036287B (zh) 一种基于人类运动显著轨迹的视频分类方法
CN104376326B (zh) 一种用于图像场景识别的特征提取方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
Xia et al. An evaluation of deep learning in loop closure detection for visual SLAM
CN103605986A (zh) 一种基于局部特征的人体动作识别方法
CN104036255A (zh) 一种人脸表情识别方法
CN103226713B (zh) 一种多视角行为识别方法
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN101515328B (zh) 一种用于鉴别具有统计不相关性的局部保持投影方法
Wang et al. Spatial weighting for bag-of-features based image retrieval
CN103440501A (zh) 基于非参数空间判决隐狄利克雷模型的场景分类方法
CN104598889A (zh) 人体行为识别的方法和装置
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
CN105868711B (zh) 一种基于稀疏低秩的人体行为识别方法
CN104881651B (zh) 一种基于随机投影和Fisher向量的人物行为识别方法
CN103927561B (zh) 一种基于概率融合和降维技术的行为识别方法
CN104376308A (zh) 一种基于多任务学习的人体动作识别方法
Hu et al. Action recognition using multiple pooling strategies of CNN features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151216

RJ01 Rejection of invention patent application after publication