CN108288015A - 基于时间尺度不变性的视频中人体动作识别方法及系统 - Google Patents
基于时间尺度不变性的视频中人体动作识别方法及系统 Download PDFInfo
- Publication number
- CN108288015A CN108288015A CN201710018095.3A CN201710018095A CN108288015A CN 108288015 A CN108288015 A CN 108288015A CN 201710018095 A CN201710018095 A CN 201710018095A CN 108288015 A CN108288015 A CN 108288015A
- Authority
- CN
- China
- Prior art keywords
- video
- action
- sub
- frame
- subsegment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Abstract
本发明公开了一种基于时间尺度不变性的视频中人体动作识别方法及系统,包括步骤:S1基于原始视频构造子动作视频段;S2分别获取各子动作视频段的代表帧;S3获得各代表帧的光流强度图像集;S4分别获得各代表帧的图像卷积特征和光流卷积特征;S5分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;S6采用LSTM神经网络对子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果;S7融合多阶段的动作识别结果,得最终的动作识别结果。本发明对视频中持续时长变化差异很大的动作具有很好的适应性,可提升视频中人体动作特征描述的精确性和人体动作识别率。
Description
技术领域
本发明属于自动视频分析技术领域,涉及一种基于时间尺度不变性的视频中人体动作识别方法及系统。
背景技术
随着计算机技术的发展,如何利用计算机自动的对视频进行分析和理解显得越来越迫切。人体作为视频数据中人们关注的主要对象,识别视频中人体行为并生成人们更容易理解的高级语义信息就成为了用计算机分析和理解视频的主要内容。从应用角度来讲,作为计算机视觉领域的重要研究内容,人体行为识别将会满足智能视频监控、智能监护、基于内容的视频分析等任务对自动分析以及智能化的需求,推动社会发展进步。
发明内容
本发明的目的是提供一种基于时间尺度不变性的视频中人体动作识别方法及系统。
为达到上述目的,本发明采用如下技术方案:
一、一种基于时间尺度不变性的视频中人体动作识别方法,包括步骤:
S1利用子动作聚类法将原始视频拆分为多个视频子段,基于视频子段构造子动作视频段,所述的原始视频为原始视频训练样本或待测试原始视频;
S2分别获取各子动作视频段的代表帧,得代表帧集;所述代表帧的采样位置Loc(spα)为:
其中,Loc(spα)表示第p段子动作视频段S'p的代表帧spα的采样位置;kp-1表示S'p-1中最后一帧图像在原始视频序列中的序号;kp表示S'p中最后一帧图像在原始视频序列中的序号;k0=0,ka=n;表示下取整;α为步长参数,0<α≤2;
S3在代表帧所对应的子动作视频段中,基于代表帧及其相邻帧图像计算帧间光流,获得各代表帧的光流强度图像集;
S4采用各原始视频训练样本的代表帧集以及光流强度图像集训练卷积神经网络;以各原始视频训练样本和待测试原始视频的代表帧集以及光流强度图像集为输入,采用训练后的卷积神经网络分别提取出各原始视频训练样本和待测试原始视频中各代表帧的图像卷积特征和光流卷积特征;
S5对各原始视频训练样本和待测试原始视频分别执行:分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;
S6采用各原始视频训练样本的子动作特征集训练LSTM神经网络,采用训练后的LSTM神经网络对待测试原始视频的子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果R=[L1,…,Lp,…La],Lp表示第p个子动作视频段S'p的动作识别结果;
S7融合多阶段的动作识别结果,得最终的动作识别结果
步骤S1中,所述的利用子动作聚类法将原始视频拆分为多个视频子段,具体为:
计算原始视频中各帧图像的二进制特征,基于帧间图像的二进制特征的海明距离,将原始视频拆分为多个视频子段。
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a=m,将视频子段集作为子动作视频段集,视频子段集中各视频子段即子动作视频段。
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a>m,执行如下子步骤:
(1a)从视频子段集中选择帧数最多的视频子段,利用子动作聚类法将将其拆分为两个视频子段,形成新的视频子段集;
(1b)判断新的视频子段集中视频子段数是否达到a,若达到,将该新的视频子段集作为子动作视频段集,该新的视频子段集中各视频子段即子动作视频段;否则,对新的视频子段集重复子步骤(1a)。
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a<m,执行如下步骤:
(2a)从视频子段集中选择帧数最少的视频子段,将该帧数最少的视频子段合并到其相邻的两个视频子段中帧数较少的视频子段中,形成新的视频子段集;
(2b)判断新的视频子段集中视频子段数是否达到a,若达到,将该新的视频子段集作为子动作视频段集,该新的视频子段集中各视频子段即子动作视频段;否则,对新的视频子段集重复子步骤(2a)。
步骤S5中采用求和运算分别融合各代表帧的图像卷积特征和光流卷积特征。
二、基于时间尺度不变性的视频中人体动作识别系统,包括:
子动作视频段构造模块,用来利用子动作聚类法将原始视频拆分为多个视频子段,基于视频子段构造子动作视频段,所述的原始视频为原始视频训练样本或待测试原始视频;
代表帧获取模块,用来分别获取各子动作视频段的代表帧,得代表帧集;所述代表帧的采样位置Loc(spα)为:
其中,Loc(spα)表示第p段子动作视频段S'p的代表帧spα的采样位置;kp-1表示S'p-1中最后一帧图像在原始视频序列中的序号;kp表示S'p中最后一帧图像在原始视频序列中的序号;k0=0,ka=n;表示下取整;α为步长参数,0<α≤2;
帧间光流获取模块,用来在代表帧所对应的子动作视频段中,基于代表帧及其相邻帧图像计算帧间光流,获得各代表帧的光流强度图像集;
卷积特征获取模块,用来采用各原始视频训练样本的代表帧集以及光流强度图像集训练卷积神经网络;以各原始视频训练样本和待测试原始视频的代表帧集以及光流强度图像集为输入,采用训练后的卷积神经网络分别提取出各原始视频训练样本和待测试原始视频中各代表帧的图像卷积特征和光流卷积特征;
特征融合模块,用来对各原始视频训练样本和待测试原始视频分别执行:分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;
动作识别模块,用来采用各原始视频训练样本的子动作特征集训练LSTM神经网络,采用训练后的LSTM神经网络对待测试原始视频的子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果R=[L1,…,Lp,…La],Lp表示第p个子动作视频段S'p的动作识别结果;
动作识别结果融合模块,用来融合多阶段的动作识别结果,得最终的动作识别结果
和现有技术相比,本发明的主要有益效果为:
对视频中持续时长变化差异很大的动作具有很好的适应性,提升了视频中人体动作特征描述的精确性和人体动作识别率。
附图说明
图1为本发明方法的具体流程示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
参见图1,本发明实施例提供的一种基于时间尺度不变性的视频中人体动作识别方法,具体包括以下步骤:
步骤1:利用子动作聚类法将原始视频拆分为多个视频子段,并基于视频子段构造子动作视频段。
本步骤的具体实施过程如下:
对原始视频序列V=[v1,…,vi,…,vn]计算每帧图像的二进制特征,根据帧间图像二进制特征的海明距离将原始视频序列分解为m个视频子段,记为:
其中:
vi表示原始视频序列中第i帧图像,i=1,2,…,n,n表示原始视频序列中图像总帧数;
V'表示视频子段集,Sj表示第j个视频子段,j=1,2,...m;k0=0,km=n。
基于m个视频子段构造a(a为经验值,其取值范围为3~15,具体实施时根据动作识别结果进行调整,本实施例中a取为7)段子动作视频段,具体为:
若a=m,构造的子动作视频段集记为V”=[S'1,…,S'p,…S'a],S'p表示子动作视频段集V”中第p个子动作视频段,p=1,2,...a;其中,S'p=Sj,p=j。
若a>m,从视频子段集V'=[S1,…,Sj,…Sm]中选择帧数最多的视频子段,利用子动作聚类法将其拆分为两个视频子段,形成新的视频子段集;对新的视频子段集重复该拆分步骤,直至视频子段集中视频子段数达到a,此时的视频子段集即子动作视频段集V”=[S'1,…,S'p,…S'a]。
若a<m,从视频子段集中选择帧数最少的视频子段,将该帧数最少的视频子段合并到其相邻的两个视频子段中帧数较少的视频子段中,形成新的视频子段集;对新的视频子段集重复该合成步骤,直至视频子段集中视频子段数达到a,此时的视频子段集即子动作视频段集V”=[S'1,…,S'p,…S'a]。
最终得到子动作视频段集V”=[S1',…,Sp',…Sa',]其中kp-1+1表示S'p中第一帧图像在原始视频序列中序号,kp表示S'p中最后一帧图像在原始视频序列中的序号,1≤p≤a,k0=0,ka=n。
步骤2:分别获取各子动作视频段的代表帧,得代表帧集。
具体描述如下:
对V”=[S'1,…,S'p,…S'a]中各子动作视频段S'p,从中采样一帧图像作为该子动作视频段S'p的代表帧spα,spα的采样位置为Loc(spα),Loc(spα)即代表帧spα在原始视频序列中序号。
采样位置Loc(spα)的计算公式如下:
其中,表示下取整;α表示步长参数,0<α≤2。α为经验值,具体实施时根据动作识别结果进行调整,本实施例中取α=1。
最终得到代表帧集Va=[s1α,…,spα,…saα],其中,spα表示第p段子动作视频段S'p的代表帧。
步骤3:基于代表帧及其相邻帧图像计算帧间光流,获得各代表帧的光流强度图像集。
子动作视频段S'p中,取与代表帧spα相邻的前t帧图像和后t帧图像计算帧间光流,并将计算所得帧间光流值缩放到[0,255]间的整数,即得到代表帧spα的光流强度图像集OFpα。本发明中t为经验值,其优选的取值范围为5~10。
本实施例中t取5,所得光流强度图像集OFpα如下:
OFpα=[ofpα1x,ofpα1y,…,ofpαqx,ofpαqy,…,ofpα10x,ofpα10y] (3)
其中,ofpαqx表示代表帧和第q个相邻帧图像在X方向的帧间光流,ofpαqy表示代表帧和第q个相邻帧图像在Y方向的帧间光流,q=1,2,...10。这里,X方向即图像的横向水平方向,Y方向即图像的纵向水平方向。
步骤4:基于代表帧集和各代表帧的光流强度图像集分别获得代表帧的图像卷积特征和各光流强度图像的光流卷积特征。
基于代表帧集Va和各代表帧spα的光流强度图像集OFpα进行卷积神经网络特征的训练和学习,分别得到代表帧的图像卷积特征集CNNrgb=[crgb1,…,crgbp,…crgba]和光流强度图像的光流卷积特征集CNNof=[cof1,…,cofp,…,cofa];其中,crgbp表示代表帧集中第p个代表帧spα的图像卷积特征,cofp表示代表帧集中第p个代表帧spα的光流强度图像集的光流卷积特征。
步骤5:采用求和运算对图像卷积特征CNNrgb和相对应的光流卷积特征CNNof进行融合,融合公式为:
fp=crgbp+cofp (4)
其中,fp表示spα所在子动作视频段S'p的融合特征。
所有子动作视频段的融合特征构成子动作特征集,记为CONV=[f1,…,fp,…fa]。
步骤6:将子动作特征集CONV=[f1,…,fp,…fa]中各融合特征依次采用LSTM(长短记忆递归)神经网络进行动作识别,得到多阶段的动作识别结果R=[L1,…,Lp,…La],其中,Lp表示第p个子动作视频段的动作识别结果。
步骤7:融合多阶段动作的识别结果R=[L1,…,Lp,…La],获得最终的动作识别结果Rfinal。
融合公式如下:
本发明包括训练和动作分类测试阶段。训练阶段,采用训练样本及其融合特征训练确定CNN网络和LSTM神经网络的权重参数。动作分类测试阶段,采用训练后的CNN网络和LSTM神经网络提取动作特征并进行分类,给出分类结果。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.基于时间尺度不变性的视频中人体动作识别方法,其特征是,包括:
S1利用子动作聚类法将原始视频拆分为多个视频子段,基于视频子段构造子动作视频段,所述的原始视频为原始视频训练样本或待测试原始视频;
S2分别获取各子动作视频段的代表帧,得代表帧集;所述代表帧的采样位置Loc(spα)为:
其中,Loc(spα)表示第p段子动作视频段S'p的代表帧spα的采样位置;kp-1表示S'p-1中最后一帧图像在原始视频序列中的序号;kp表示S'p中最后一帧图像在原始视频序列中的序号;k0=0,ka=n;表示下取整;α为步长参数,0<α≤2;
S3在代表帧所对应的子动作视频段中,基于代表帧及其相邻帧图像计算帧间光流,获得各代表帧的光流强度图像集;
S4采用各原始视频训练样本的代表帧集以及光流强度图像集训练卷积神经网络;以各原始视频训练样本和待测试原始视频的代表帧集以及光流强度图像集为输入,采用训练后的卷积神经网络分别提取出各原始视频训练样本和待测试原始视频中各代表帧的图像卷积特征和光流卷积特征;
S5对各原始视频训练样本和待测试原始视频分别执行:分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;
S6采用各原始视频训练样本的子动作特征集训练LSTM神经网络,采用训练后的LSTM神经网络对待测试原始视频的子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果R=[L1,…,Lp,…La],Lp表示第p个子动作视频段S'p的动作识别结果;
S7融合多阶段的动作识别结果,得最终的动作识别结果
2.如权利要求1所述的基于时间尺度不变性的视频中人体动作识别方法,其特征是:
步骤S1中,所述的利用子动作聚类法将原始视频拆分为多个视频子段,具体为:
计算原始视频中各帧图像的二进制特征,基于帧间图像的二进制特征的海明距离,将原始视频拆分为多个视频子段。
3.如权利要求1所述的基于时间尺度不变性的视频中人体动作识别方法,其特征是:
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a=m,将视频子段集作为子动作视频段集,视频子段集中各视频子段即子动作视频段。
4.如权利要求1所述的基于时间尺度不变性的视频中人体动作识别方法,其特征是:
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a>m,执行如下子步骤:
(1a)从视频子段集中选择帧数最多的视频子段,利用子动作聚类法将将其拆分为两个视频子段,形成新的视频子段集;
(1b)判断新的视频子段集中视频子段数是否达到a,若达到,将该新的视频子段集作为子动作视频段集,该新的视频子段集中各视频子段即子动作视频段;否则,对新的视频子段集重复子步骤(1a)。
5.如权利要求1所述的基于时间尺度不变性的视频中人体动作识别方法,其特征是:
步骤S1中,所述的基于视频子段构造子动作视频段,具体为:
将视频子段数量记为m,所有视频子段构成视频子段集;将子动作视频段的数量记为a,所有子动作视频段构成子动作视频段集,a为经验值,其取值范围为3~15;
若a<m,执行如下步骤:
(2a)从视频子段集中选择帧数最少的视频子段,将该帧数最少的视频子段合并到其相邻的两个视频子段中帧数较少的视频子段中,形成新的视频子段集;
(2b)判断新的视频子段集中视频子段数是否达到a,若达到,将该新的视频子段集作为子动作视频段集,该新的视频子段集中各视频子段即子动作视频段;否则,对新的视频子段集重复子步骤(2a)。
6.如权利要求1所述的基于时间尺度不变性的视频中人体动作识别方法,其特征是:
步骤S5中采用求和运算分别融合各代表帧的图像卷积特征和光流卷积特征。
7.基于时间尺度不变性的视频中人体动作识别系统,其特征是,包括:
子动作视频段构造模块,用来利用子动作聚类法将原始视频拆分为多个视频子段,基于视频子段构造子动作视频段,所述的原始视频为原始视频训练样本或待测试原始视频;
代表帧获取模块,用来分别获取各子动作视频段的代表帧,得代表帧集;所述代表帧的采样位置Loc(spα)为:
其中,Loc(spα)表示第p段子动作视频段S'p的代表帧spα的采样位置;kp-1表示S'p-1中最后一帧图像在原始视频序列中的序号;kp表示S'p中最后一帧图像在原始视频序列中的序号;k0=0,ka=n;表示下取整;α为步长参数,0<α≤2;
帧间光流获取模块,用来在代表帧所对应的子动作视频段中,基于代表帧及其相邻帧图像计算帧间光流,获得各代表帧的光流强度图像集;
卷积特征获取模块,用来采用各原始视频训练样本的代表帧集以及光流强度图像集训练卷积神经网络;以各原始视频训练样本和待测试原始视频的代表帧集以及光流强度图像集为输入,采用训练后的卷积神经网络分别提取出各原始视频训练样本和待测试原始视频中各代表帧的图像卷积特征和光流卷积特征;
特征融合模块,用来对各原始视频训练样本和待测试原始视频分别执行:分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;
动作识别模块,用来采用各原始视频训练样本的子动作特征集训练LSTM神经网络,采用训练后的LSTM神经网络对待测试原始视频的子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果R=[L1,…,Lp,…La],Lp表示第p个子动作视频段S'p的动作识别结果;
动作识别结果融合模块,用来融合多阶段的动作识别结果,得最终的动作识别结果
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710018095.3A CN108288015B (zh) | 2017-01-10 | 2017-01-10 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710018095.3A CN108288015B (zh) | 2017-01-10 | 2017-01-10 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108288015A true CN108288015A (zh) | 2018-07-17 |
CN108288015B CN108288015B (zh) | 2021-10-22 |
Family
ID=62831168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710018095.3A Active CN108288015B (zh) | 2017-01-10 | 2017-01-10 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108288015B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960207A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
CN109271889A (zh) * | 2018-08-29 | 2019-01-25 | 中山大学 | 一种基于双层lstm神经网络的动作识别方法 |
CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技(深圳)有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
CN109886130A (zh) * | 2019-01-24 | 2019-06-14 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
CN110263870A (zh) * | 2019-06-26 | 2019-09-20 | 深圳市悦动天下科技有限公司 | 运动状态识别方法、装置、智能终端和存储介质 |
CN110287816A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 车门动作检测方法、装置和计算机可读存储介质 |
CN111222370A (zh) * | 2018-11-26 | 2020-06-02 | 浙江宇视科技有限公司 | 一种案件研判方法、系统及装置 |
CN111353519A (zh) * | 2018-12-24 | 2020-06-30 | 北京三星通信技术研究有限公司 | 用户行为识别方法和系统、具有ar功能的设备及其控制方法 |
CN111611847A (zh) * | 2020-04-01 | 2020-09-01 | 杭州电子科技大学 | 基于尺度注意力空洞卷积网络的视频动作检测方法 |
CN114419524A (zh) * | 2022-03-29 | 2022-04-29 | 之江实验室 | 一种基于伪光流辅助的视频分类方法及系统 |
CN117115155A (zh) * | 2023-10-23 | 2023-11-24 | 江西拓世智能科技股份有限公司 | 一种基于ai直播的图像分析方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1011074A2 (en) * | 1998-12-17 | 2000-06-21 | Xerox Corporation | A method and system for real time feature based motion analysis for key frame selection from a video |
US20140037216A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Identifying scene boundaries using group sparsity analysis |
CN104679779A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 视频分类的方法和装置 |
CN105512610A (zh) * | 2015-11-25 | 2016-04-20 | 华南理工大学 | 一种基于感兴趣点位置信息的视频中人体动作识别方法 |
CN105912985A (zh) * | 2016-04-01 | 2016-08-31 | 上海理工大学 | 基于能量函数的人体骨架关节点的行为动作表示方法 |
-
2017
- 2017-01-10 CN CN201710018095.3A patent/CN108288015B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1011074A2 (en) * | 1998-12-17 | 2000-06-21 | Xerox Corporation | A method and system for real time feature based motion analysis for key frame selection from a video |
US20140037216A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Identifying scene boundaries using group sparsity analysis |
CN104679779A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 视频分类的方法和装置 |
CN105512610A (zh) * | 2015-11-25 | 2016-04-20 | 华南理工大学 | 一种基于感兴趣点位置信息的视频中人体动作识别方法 |
CN105912985A (zh) * | 2016-04-01 | 2016-08-31 | 上海理工大学 | 基于能量函数的人体骨架关节点的行为动作表示方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960207B (zh) * | 2018-08-08 | 2021-05-11 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
CN108960207A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
CN109271889A (zh) * | 2018-08-29 | 2019-01-25 | 中山大学 | 一种基于双层lstm神经网络的动作识别方法 |
CN109271889B (zh) * | 2018-08-29 | 2021-10-08 | 中山大学 | 一种基于双层lstm神经网络的动作识别方法 |
CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技(深圳)有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
CN111222370A (zh) * | 2018-11-26 | 2020-06-02 | 浙江宇视科技有限公司 | 一种案件研判方法、系统及装置 |
CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
CN109670548B (zh) * | 2018-12-20 | 2023-01-06 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
CN111353519A (zh) * | 2018-12-24 | 2020-06-30 | 北京三星通信技术研究有限公司 | 用户行为识别方法和系统、具有ar功能的设备及其控制方法 |
CN109886130A (zh) * | 2019-01-24 | 2019-06-14 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
CN109886130B (zh) * | 2019-01-24 | 2021-05-28 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
CN110287816A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 车门动作检测方法、装置和计算机可读存储介质 |
CN110287816B (zh) * | 2019-06-05 | 2021-12-28 | 北京字节跳动网络技术有限公司 | 车门动作检测方法、装置和计算机可读存储介质 |
CN110263870A (zh) * | 2019-06-26 | 2019-09-20 | 深圳市悦动天下科技有限公司 | 运动状态识别方法、装置、智能终端和存储介质 |
CN110263870B (zh) * | 2019-06-26 | 2023-04-18 | 深圳市悦动天下科技有限公司 | 运动状态识别方法、装置、智能终端和存储介质 |
CN111611847A (zh) * | 2020-04-01 | 2020-09-01 | 杭州电子科技大学 | 基于尺度注意力空洞卷积网络的视频动作检测方法 |
CN114419524B (zh) * | 2022-03-29 | 2022-08-05 | 之江实验室 | 一种基于伪光流辅助的视频分类方法及系统 |
CN114419524A (zh) * | 2022-03-29 | 2022-04-29 | 之江实验室 | 一种基于伪光流辅助的视频分类方法及系统 |
CN117115155A (zh) * | 2023-10-23 | 2023-11-24 | 江西拓世智能科技股份有限公司 | 一种基于ai直播的图像分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108288015B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108288015A (zh) | 基于时间尺度不变性的视频中人体动作识别方法及系统 | |
CN103237201B (zh) | 一种基于社会化标注的案件视频研判方法 | |
CN106529477B (zh) | 基于显著轨迹和时空演化信息的视频人体行为识别方法 | |
CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
CN105488456B (zh) | 基于自适应阈值调整拒识子空间学习的人脸检测方法 | |
CN104156734B (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
CN103479367B (zh) | 一种基于面部运动单元识别的驾驶员疲劳检测方法 | |
CN110575663B (zh) | 一种基于人工智能的体育辅助训练方法 | |
CN105069434B (zh) | 一种视频中人体动作行为识别方法 | |
CN108257158A (zh) | 一种基于循环神经网络的目标预测与跟踪方法 | |
CN107256392A (zh) | 一种联合图像、语音的全面情绪识别方法 | |
CN110119672A (zh) | 一种嵌入式疲劳状态检测系统及方法 | |
CN105160318A (zh) | 基于面部表情的测谎方法及系统 | |
CN104281853A (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
CN110136101A (zh) | 一种基于孪生距离比对的轮胎x光病疵检测方法 | |
CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
CN104268514A (zh) | 一种基于多特征融合的手势检测方法 | |
CN102880865A (zh) | 基于肤色与形态特征的动态手势识别方法 | |
CN113963304B (zh) | 基于时序-空间图的跨模态视频时序动作定位方法及系统 | |
CN107301409A (zh) | 基于Wrapper特征选择Bagging学习处理心电图的系统及方法 | |
CN106127161A (zh) | 基于级联多层检测器的快速目标检测方法 | |
CN110059765A (zh) | 一种矿物智能识别分类系统与方法 | |
CN101561881B (zh) | 人体非程式化运动的情感识别方法 | |
CN107578015B (zh) | 一种基于深度学习的第一印象识别与回馈系统及方法 | |
CN109446964A (zh) | 基于端到端单级多尺度检测器的面部检测分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |