CN108241849A - 基于视频的人体交互动作识别方法 - Google Patents

基于视频的人体交互动作识别方法 Download PDF

Info

Publication number
CN108241849A
CN108241849A CN201710750516.1A CN201710750516A CN108241849A CN 108241849 A CN108241849 A CN 108241849A CN 201710750516 A CN201710750516 A CN 201710750516A CN 108241849 A CN108241849 A CN 108241849A
Authority
CN
China
Prior art keywords
feature
video
human body
classification
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710750516.1A
Other languages
English (en)
Other versions
CN108241849B (zh
Inventor
叶青
郭新然
张永梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201710750516.1A priority Critical patent/CN108241849B/zh
Publication of CN108241849A publication Critical patent/CN108241849A/zh
Application granted granted Critical
Publication of CN108241849B publication Critical patent/CN108241849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于视频的人体交互动作识别方法，包括以下步骤：S1：对输入的视频帧图像采用帧间差分法进行运动目标检测；S2：对处理后获得的运动目标进行特征提取，包括：S21：对处理后获得的运动目标采用局部时空特征与全局光流特征相结合的方式提取人体交互动作特征；S22：对所述光流和时空兴趣点进行描述，形成特征描述子HOF和HOG；S23；将所述局部时空特征与全局光流特征分别通过BP神经网络，以获得在某一特征下动作类别的概率矩阵；S3：通过对利用不同特征得到的概率矩阵赋予不同权值进行加权求和以得到融合概率矩阵，概率最大的动作类别即为该帧的动作类别；S4：将初始分类序列输入到改进的正态分布BP神经网络中，获得最终的交互动作分类。

Description

基于视频的人体交互动作识别方法
技术领域
本发明属于计算机视觉领域，可用于人体交互姿态或动作分析研究。
背景技术
基于视觉的人体交互动作分析一直都是计算机视觉领域的研究热点之一， 其不仅具有重要的理论意义，而且具有广阔的应用前景。在智能视频监控系统 中，由于“抢劫”“打架”等现象的存在，对场景中人与人的交互动作分析与理解技 术的重要性显的尤为突出；在巨大的视频数据库中，人的交互动作识别可以根 据预先定义的动作模式自动检索，使得在视频数据库中检索特定的事件变得非 常方便；虚拟现实主要通过计算机对复杂数据进行可视化操作和仿真模拟，创 建出虚拟的仿真场景，并基于人体运动模式对人体建模，以在此场景中实现和 处理人与虚拟世界的交互。另外，人体交互行为检测和识别研究在视频会议、 医学临床诊断等领域也起着相当重要的作用，有着广阔的应用前景。
人体交互行为识别主要是从视频中捕捉到运动目标，对其提取可以表示某 一动作的特征，进行分类表示。但是由于人体是非刚性物体，其运动特征多， 轨迹多变，细节信息量巨大，而且两人进行交互动作时易发生遮挡，导致自动 捕捉和分析人体运动有较大的难度。上述传统方法大部分都是首先对单人原子 行为进行分析，再通过相关方法实现交互行为识别。当交互人体不能精确分割 时，将影响识别率。且当进行交互动作时，不同动作阶段对最终分类提供的信 息量不同，但上述传统方法未考虑这一点。
因此，相对于已经取得不错效果的单人行为识别，交互动作识别已经成为 人们的研究重点。
发明内容
本发明的目的在于，针对现有人体交互动作识别方法中很难有效的提取人 与人交互动作中的特征、建立多个目标之间的复杂交互模型问题，提供一种基 于视频的人体交互动作识别技术。
为达上述目的，本发明采用的技术方案如下所示：
一种基于视频的人体交互动作识别方法，包括以下步骤：
S1：对输入的视频帧图像进行处理，采用帧间差分法进行运动目标检测， 检测公式为：
其中，x,y表示图像中横纵坐标位置，Dt(x,y)表示帧差图像中(x,y)点的像素值，It(x,y)表示t时刻图像(x,y)点的像素值，It-1(x,y)表示t-1时刻图像(x,y)点的像素值， Rt(x,y)表示检测结果，值为1表示图像(x,y)点为运动目标，值为0表示图像(x,y) 点为背景，T表示设定的阈值；
S2：对处理后获得的运动目标进行特征提取；该步骤分别包括以下内容： S21：提取模块用于对对处理后获得的运动目标采用局部时空特征与全局光流特 征相结合的方式提取人体交互动作特征；S22：对所述光流和时空兴趣点进行描 述，形成特征描述子HOF和HOG；S23；将所述局部时空特征与全局光流特征 分别通过BP神经网络，以获得在某一特征下动作类别的概率矩阵；
S3：通过对利用不同特征得到的概率矩阵赋予不同权值进行加权求和，以 得到融合概率矩阵，从中找到概率最大的动作类别即为该帧的动作类别，分类 公示如下：
P＝Wa*Pa+Wb*Pb；
其中P代表该帧的动作类别融合概率，Wa代表特征A的权值，Pa代表通过 特征A得到的该帧动作类别概率，Wb代表特征B的权值，Pb代表通过特征B 得到的该帧动作类别概率；
S4：通过将初始分类序列输入到改进的正态分布BP神经网络中，从而获得 最终的交互动作分类，实现人体交互动作识别。
根据本发明提出的基于视频的人体交互动作识别方法，所述光流特征是通 过Lucas-Kanade算法来计算的，所述算法是一种两帧差分的光流估计算法，计 算两帧在时间t到t+δt之间每个像素点未知的移动，其中t表示某一时刻t，δt 表示一个很小的时间变化区域；根据图像序列计算光流的公式如下所示：
fxu+fyv+ft＝0
其中，fx，fy，ft分别表示图像中像素点的灰度沿X,Y,T三个方向的偏导数，u,v分别表示光流的水平方向和垂直方向的移动分量。
根据本发明提出的人体交互动作识别方法，视频序列的所述时空兴趣点是 通过基于Harris角点的时空特征点提取算法进行提取的；根据以下公式建立时 空角点矩阵：
上述函数g中的第一个因数是点·,具体表述为
其中，Lx,Ly,Lt空间分别为图像在(x,y,t)方向上的梯度，是空间域尺度因 子，是时间域尺度因子，g为高斯核函数定义如下：
根据下式确定所求的时空兴趣点：
H＝det(M)-k*trace3(M)＝λ1λ2λ3-k(λ1+λ2+λ3)3
H值最大的点即为所求的兴趣点,矩阵M的三个特征值λ1，λ2，λ3分别对 应着视频序列I在(x,y,t)三个方向上的变化，当这三个值都比较大时，表示视频 序列I在这三个方向上的变化都很大，因此这一点即为时空兴趣点。
根据本发明提出的基于视频的人体交互动作识别方法，所述光流的大小和 方向分别通过下述公式计算：
其中Vx(x,y)和Vy(x,y)分别表示x轴方向和y轴方向的光流分量；
根据下式得到光流方向直方图H＝(G1，G2…Gb)：
其中，bk为第K个方向区间，且k＝1,2，…,b，这里b为把360度的光流方 向划分为等分扇形区的个数。
根据本发明提出的基于视频的人体交互动作识别方法，所述改进的正态分 布BP神经网络，其学习过程由正向传播和反向传播两部分组成；输入数据从输 入层经过隐含层神经元处理后，传入输出层，每一层神经元的状态只影响下一 层神经元的状态；如果输出层得不到期望的输出，则转入反向传播，此时误差 信号从输出层传播并调整各层间连接权值和阈值，使得误差不断减小，直到达 到精度要求。
与现有技术相比，本发明具有以下有益效果：
传统的人体交互动作识别方法中，大部分都是首先对单人原子行为进行分 析，再通过相关方法实现交互行为识别。当交互人体不能精确分割时，将影响 识别率，而且没有考虑到不同动作阶段对识别提供的信息量不同。本发明针对 这些问题，考虑了解决方案，本方法将交互的人看作一个整体，提取局部时空 特征和全局特征，降低了对精确分割的要求和特征的局限性。通过改进的正态 分布BP神经网络进行交互动作的分类识别，提高了分类的合理性。
附图说明
图1为本发明的人体交互动作识别方法一具体实施例的流程图；
图2为本发明中加权初始分类的流程图；
图3为本发明中改进的正态分布BP神经网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要有以下几个步骤组成：运动目标检测，特征提取，初始分类， 人体交互动作识别。
实验平台选用一台高性能的计算机，Visual Studio 2010配置OpenCV2.4.2 的开发平台。
总设计方案方块流程请参见图1，详细技术方案如下所示：
一、运动目标检测步骤
本步骤对输入的视频帧图像进行处理，根据式(1)，拟采用帧间差分法进 行运动目标检测。它的基本思想是利用视频图像序列前后相邻帧之间的差(求 绝对值)，然后用设定的阈值来提取变化区域，能较为容易地检测出视频图像 序列中的运动人体。
其中，x,y表示图像中横纵坐标位置，Dt(x,y)表示帧差图像中(x,y)点的像素值，It(x,y)表示t时刻图像(x,y)点的像素值，It-1(x,y)表示t-1时刻图像(x,y)点的像素值， Rt(x,y)表示检测结果，值为1表示图像(x,y)点为运动目标，值为0表示图像(x,y) 点为背景，T表示设定的阈值。
二、特征提取步骤
对步骤一处理后获得的运动目标进行特征提取工作。本发明拟采用局部时 空特征与全局光流特征相结合的方法提取人体交互动作特征。
步骤1：提取光流和时空兴趣点
A.采用Lucas-Kanade算法计算运动区域光流。所述算法是一种两帧差分的 光流估计算法，计算两帧在时间t到t+δt之间每个像素点未知的移动，其中t 表示某一时刻t，δt表示一个很小的时间变化区域；根据图像序列计算光流的公 式如下所示：
fxu+fyv+ft＝0 (2)
其中，fx，fy，ft分别表示图像中像素点的灰度沿X,Y,T三个方向的偏导数， u,v分别表示光流的水平方向和垂直方向的移动分量。
B.采用基于Harris角点的时空特征点提取算法提取视频序列的时空兴趣 点。在时空域内的时空特征点应该具有在三个正交的方向上的梯度值比较大的 特征。根据(3)式建立时空角点矩阵：
上述函数g中的第一个因数是点·,具体表述为
其中，Lx,Ly,Lt空间分别为图像在(x,y,t)方向上的梯度，是空间域尺度因 子，是时间域尺度因子，g为高斯核函数定义如下：
根据式(5)确定所求的时空兴趣点：
H＝det(M)-k*trace3(M)＝λ1λ2λ3-k(λ1+λ2+λ3)3 (5)
H值最大的点即为所求的兴趣点,矩阵M的三个特征值λ1，λ2，λ3分别对 应着视频序列I在(x,y,t)三个方向上的变化，当这三个值都比较大时，表示视频 序列I在这三个方向上的变化都很大，因此这一点即为时空兴趣点。
步骤2：对光流和时空兴趣点进行描述，形成特征描述子HOF(HistogramsofOriented Optical Flow,光流方向信息直方图)与HOG(Histogram of OrientedGradient,方向梯度直方图):
A.光流直方图用于计算光流分布。根据式(6)(7)计算光流大小和方向：
其中Vx(x,y)和Vy(x,y)分别表示x轴方向和y轴方向的光流分量；
根据式(8)得到光流方向直方图H＝(G1，G2…Gb)：
其中,bk为第K个方向区间，且k＝1,2，…,b，这里b为把360度的光流方向 划分为等分扇形区的个数。
B.由于检测到的时空兴趣点只是一些孤立的点，这些点反映了视频序列中 人体动作发生显著变化的位置，只用这些关键点位置信息几乎不足够识别，因 此需要利用特征描述子将这些兴趣点周围所包含的时空信息进行描述，转化为 时空特征。梯度方向直方图类似于光流直方图。以时空特征点为中心，构建时 空立方体，计算其梯度大小和方向，获得梯度方向直方图。
步骤3：通过BP神经网络进行分类
将步骤2所获得的光流特征和局部时空特征分别通过BP神经网络，获得在 某一特征下动作类别的概率矩阵。
BP算法根据式(9)(10)进行计算，其学习过程由正向传播和反向传播 两部分组成。输入数据从输入层经过隐含层神经元处理后，传入输出层，每一 层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出， 则转入反向传播，此时误差信号从输出层传播并调整各层间连接权值和阈值， 使得误差不断减小，直到达到精度要求。
正向算法：netj＝∑wijoi，oj＝f(netj) (9)
其中Wij为权值，f为相应的激活函数。
反向传播：首先定义误差函数
其中tj为理想输出值，yj为实际输出值。采用梯度下降法调整权值，使得误 差函数最优。
三、初始分类步骤
考虑到不同特征的特性和分类识别的效果，采用加权分类融合获得初始交 互动作类别。如图2所示，分别将视频每帧的光流分类概率矩阵卷积一个权值1， 视频每帧的局部时空特征分类概率矩阵卷积一个权值2，其中权值1和权值2之 和等于1，将处理后的两个分类概率矩阵做求和处理，得到一个分类概率矩阵和。 之后求分类概率矩阵和的最大值，即为该帧视频的动作类别，完成加权初始分 类。
经过步骤二处理后可以得到一帧图像中两个概率矩阵，包括利用局部时空 特征进行分类，得到属于每个动作的概率，同时可以利用全局光流特征进行分 类，得到属于每个动作的概率。考虑到不同特征对于交互动作识别的局限性及 效果的影响，通过式(11)，对利用不同特征得到的概率矩阵赋予不同权值， 进行加权求和，得到融合概率矩阵，找到概率最大的动作类别，即为该帧的动 作类别。
P＝Wa*Pa+Wb*Pb (11)
其中P代表该帧的动作类别融合概率，Wa代表特征A的权值，Pa代表通过 特征A得到的该帧动作类别概率，Wb代表特征B的权值，Pb代表通过特征B 得到的该帧动作类别概率；
通过步骤一、步骤二、步骤三的依次运行，可以得到人体交互动作视频中 一帧的动作分类结果。重复运行步骤一、二、三，直至人体交互视频处理结束， 可得到视频序列的分类结果序列，即初始分类。
四、人体交互动作识别步骤
在一个人体交互动作视频中，当两个人有接触及其前后一段时间的视频序 列内，包含信息量最大，对交互动作识别提供更有效的判别，其变化趋势类似 于正态分布函数，因此，考虑改进BP神经网络。在传统的BP神经网络中，根 据式(12)卷积正态分布函数，使得输入层不同位置读入的数据对最终的识别 起到不同的作用。
将得到的初始分类序列输入到改进的正态分布BP神经网络中，获得最终的 交互动作分类，实现人体交互动作识别。附图3为本发明中改进的正态分布BP 神经网络的示意图。其中，传统的BP神经网络包含输入层，隐层，输出层，输 入层数据与相关权值卷积经过激活函数进入下一层，同理得到输出数据，误差 反向传播调整权证，直至收敛。本专利改进的正态分布BP神经网络，将一个正 态函数与传统的BP神经网络卷积，使得其实现强调某些数据的功能。
综上所述，本发明提出的基于视频的人体交互动作识别方法，是将进行交 互的人看作一个整体，对交互视频每帧提取局部时空特征和光流全局特征，利 用BP神经网络分别进行分类，通过加权融合获得初始分类，最后利用改进的正 态分布BP神经网络进行动作识别，识别精确度高，系统运行成本较低。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的 模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例 描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个 或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成 多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中 部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本 质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.一种基于视频的人体交互动作识别方法，其特征在于，包括以下步骤：
S1：对输入的视频帧图像进行处理，采用帧间差分法进行运动目标检测，检测公式为：
Dt(x,y)＝|It(x,y)-It-1(x,y)|，
其中，x,y表示图像中横纵坐标位置，Dt(x,y)表示帧差图像中(x,y)点的像素值，It(x,y)表示t时刻图像(x,y)点的像素值，It-1(x,y)表示t-1时刻图像(x,y)点的像素值，Rt(x,y)表示检测结果，值为1表示图像(x,y)点为运动目标，值为0表示图像(x,y)点为背景，T表示设定的阈值；
S2：对处理后获得的运动目标进行特征提取；该步骤分别包括以下内容：S21：提取模块用于对处理后获得的运动目标采用局部时空特征与全局光流特征相结合的方式提取人体交互动作特征；S22：对所述光流和时空兴趣点进行描述，形成特征描述子HOF和HOG；S23；将所述局部时空特征与全局光流特征分别通过BP神经网络，以获得在某一特征下动作类别的概率矩阵；
S3：通过对利用不同特征得到的概率矩阵赋予不同权值进行加权求和，以得到融合概率矩阵，从中找到概率最大的动作类别即为该帧的动作类别，分类公示如下：
P＝Wa*Pa+Wb*Pb；
其中P代表该帧的动作类别融合概率，Wa代表特征A的权值，Pa代表通过特征A得到的该帧动作类别概率，Wb代表特征B的权值，Pb代表通过特征B得到的该帧动作类别概率；
S4：通过将初始分类序列输入到改进的正态分布BP神经网络中，从而获得最终的交互动作分类，实现人体交互动作识别。
2.根据权利要求1所述的基于视频的人体交互动作识别方法，其特征在于，所述光流特征是通过Lucas-Kanade算法来计算的，所述算法是一种两帧差分的光流估计算法，计算两帧在时间t到t+δt之间每个像素点未知的移动，其中t表示某一时刻t，δt表示一个很小的时间变化区域；根据图像序列计算光流的公式如下所示：
fxu+fyv+ft＝0
其中，fx，fy，ft分别表示图像中像素点的灰度沿X,Y,T三个方向的偏导数，u,v分别表示光流的水平方向和垂直方向的移动分量。
3.根据权利要求2所述的基于视频的人体交互动作识别方法，其特征在于，视频序列的所述时空兴趣点是通过基于Harris角点的时空特征点提取算法进行提取的；根据以下公式建立时空角点矩阵：
上述函数g的第一个因数是点·,其具体表述为
其中，Lx,Ly,Lt空间分别为图像在(x,y,t)方向上的梯度，是空间域尺度因子，是时间域尺度因子，g为高斯核函数定义如下：
根据下式确定所求的时空兴趣点：
H＝det(M)-k*trace3(M)＝λ1λ2λ3-k(λ1+λ2+λ3)3
H值最大的点即为所求的兴趣点,矩阵M的三个特征值λ1，λ2，λ3分别对应着视频序列I在(x,y,t)三个方向上的变化，当这三个值都比较大时，表示视频序列I在这三个方向上的变化都很大，因此这一点即为时空兴趣点。
4.根据权利要求3所述的基于视频的人体交互动作识别方法，其特征在于，所述光流的大小和方向分别通过下述公式计算：
其中Vx(x,y)和Vy(x,y)分别表示x轴方向和y轴方向的光流分量,
根据下式得到光流方向直方图H＝(G1，G2…Gb)：
其中，bk为第K个方向区间，且k＝1,2，…,b，这里b为把360度的光流方向划分为等分扇形区的个数。
5.根据权利要求1所述的基于视频的人体交互动作识别方法，其特征在于，所述改进的正态分布BP神经网络，其学习过程由正向传播和反向传播两部分组成；输入数据从输入层经过隐含层神经元处理后，传入输出层，每一层神经元的状态只影响下一层神经元的状态；如果输出层得不到期望的输出，则转入反向传播，此时误差信号从输出层传播并调整各层间连接权值和阈值，使得误差不断减小，直到达到精度要求。
CN201710750516.1A 2017-08-28 2017-08-28 基于视频的人体交互动作识别方法 Active CN108241849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710750516.1A CN108241849B (zh) 2017-08-28 2017-08-28 基于视频的人体交互动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710750516.1A CN108241849B (zh) 2017-08-28 2017-08-28 基于视频的人体交互动作识别方法

Publications (2)

Publication Number Publication Date
CN108241849A true CN108241849A (zh) 2018-07-03
CN108241849B CN108241849B (zh) 2021-09-07

Family

ID=62700324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710750516.1A Active CN108241849B (zh) 2017-08-28 2017-08-28 基于视频的人体交互动作识别方法

Country Status (1)

Country Link
CN (1) CN108241849B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344755A (zh) * 2018-09-21 2019-02-15 广州市百果园信息技术有限公司 视频动作的识别方法、装置、设备及存储介质
CN109343363A (zh) * 2018-10-30 2019-02-15 清华大学 基于光计算的运动测控系统
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109410198A (zh) * 2018-10-25 2019-03-01 北京奇艺世纪科技有限公司 一种时序动作检测方法、装置及设备
CN109697409A (zh) * 2018-11-27 2019-04-30 北京文香信息技术有限公司 一种运动图像的特征提取方法及起立动作图像的识别方法
CN110222598A (zh) * 2019-05-21 2019-09-10 平安科技（深圳）有限公司 一种视频行为识别方法、装置、存储介质和服务器
CN110313916A (zh) * 2019-07-17 2019-10-11 军事科学院系统工程研究院军需工程技术研究所 一种糖尿病足患者足底压力特征识别方法
CN110334607A (zh) * 2019-06-12 2019-10-15 武汉大学 一种视频人体交互行为识别方法及系统
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110619261A (zh) * 2019-03-05 2019-12-27 北方工业大学 基于多特征融合的人体交互行为识别方法、系统及装置
CN110781847A (zh) * 2019-10-30 2020-02-11 辽宁鼎汉奇辉电子系统工程有限公司 一种基于神经网络动作行为识别的方法
CN111353519A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 用户行为识别方法和系统、具有ar功能的设备及其控制方法
CN111401308A (zh) * 2020-04-08 2020-07-10 蚌埠学院 一种基于光流效应的鱼类行为视频识别方法
CN111460876A (zh) * 2019-06-05 2020-07-28 北京京东尚科信息技术有限公司 用于识别视频的方法和装置
CN111507275A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种基于深度学习的视频数据时序信息提取方法及装置
CN111860086A (zh) * 2019-06-26 2020-10-30 广州凡拓数字创意科技股份有限公司 基于深度神经网络的手势识别方法、装置及系统
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN112766062A (zh) * 2020-12-30 2021-05-07 河海大学 一种基于双流深度神经网络的人体行为识别方法
CN113255597A (zh) * 2021-06-29 2021-08-13 南京视察者智能科技有限公司 一种基于transformer的行为分析方法、装置及其终端设备
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN114299602A (zh) * 2021-11-09 2022-04-08 北京九州安华信息安全技术有限公司 一种微幅度动作图像处理方法
CN117196449A (zh) * 2023-11-08 2023-12-08 讯飞智元信息科技有限公司 一种视频识别方法、系统以及相关装置
CN117788656A (zh) * 2024-02-28 2024-03-29 广州趣丸网络科技有限公司 视频生成方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345623A (zh) * 2013-07-11 2013-10-09 中国科学院自动化研究所 一种基于鲁棒相对属性的行为识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
CN103680145A (zh) * 2013-12-06 2014-03-26 河海大学 一种基于局部图像特征的人车自动识别方法
CN103902966A (zh) * 2012-12-28 2014-07-02 北京大学 基于序列时空立方体特征的视频交互事件分析方法及装置
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN104700086A (zh) * 2015-03-20 2015-06-10 清华大学 一种用于视频分析的人机交互主题动作挖掘方法
CN104978561A (zh) * 2015-03-25 2015-10-14 浙江理工大学 融合梯度和光流特征的视频动作行为识别方法
CN105046195A (zh) * 2015-06-09 2015-11-11 浙江理工大学 基于非对称广义高斯模型的人体行为识别方法
CN105320917A (zh) * 2014-06-27 2016-02-10 南京理工大学 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902966A (zh) * 2012-12-28 2014-07-02 北京大学 基于序列时空立方体特征的视频交互事件分析方法及装置
CN103345623A (zh) * 2013-07-11 2013-10-09 中国科学院自动化研究所 一种基于鲁棒相对属性的行为识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
CN103680145A (zh) * 2013-12-06 2014-03-26 河海大学 一种基于局部图像特征的人车自动识别方法
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN105320917A (zh) * 2014-06-27 2016-02-10 南京理工大学 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN104700086A (zh) * 2015-03-20 2015-06-10 清华大学 一种用于视频分析的人机交互主题动作挖掘方法
CN104978561A (zh) * 2015-03-25 2015-10-14 浙江理工大学 融合梯度和光流特征的视频动作行为识别方法
CN105046195A (zh) * 2015-06-09 2015-11-11 浙江理工大学 基于非对称广义高斯模型的人体行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂序彦 等: "《广义人工智能》", 31 August 2012, 国防工业出版社 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12051236B2 (en) * 2018-09-21 2024-07-30 Bigo Technology Pte. Ltd. Method for recognizing video action, and device and storage medium thereof
CN109344755B (zh) * 2018-09-21 2024-02-13 广州市百果园信息技术有限公司 视频动作的识别方法、装置、设备及存储介质
US20220130146A1 (en) * 2018-09-21 2022-04-28 Bigo Technology Pte. Ltd. Method for recognizing video action, and device and storage medium thereof
CN109344755A (zh) * 2018-09-21 2019-02-15 广州市百果园信息技术有限公司 视频动作的识别方法、装置、设备及存储介质
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109389089B (zh) * 2018-10-14 2022-03-08 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109410198A (zh) * 2018-10-25 2019-03-01 北京奇艺世纪科技有限公司 一种时序动作检测方法、装置及设备
CN109410198B (zh) * 2018-10-25 2022-04-22 北京奇艺世纪科技有限公司 一种时序动作检测方法、装置及设备
CN109343363A (zh) * 2018-10-30 2019-02-15 清华大学 基于光计算的运动测控系统
CN109697409A (zh) * 2018-11-27 2019-04-30 北京文香信息技术有限公司 一种运动图像的特征提取方法及起立动作图像的识别方法
CN111353519A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 用户行为识别方法和系统、具有ar功能的设备及其控制方法
CN110619261A (zh) * 2019-03-05 2019-12-27 北方工业大学 基于多特征融合的人体交互行为识别方法、系统及装置
CN110619261B (zh) * 2019-03-05 2022-03-22 北方工业大学 基于多特征融合的人体交互行为识别方法、系统及装置
CN110222598A (zh) * 2019-05-21 2019-09-10 平安科技（深圳）有限公司 一种视频行为识别方法、装置、存储介质和服务器
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
WO2020232886A1 (zh) * 2019-05-21 2020-11-26 平安科技（深圳）有限公司 一种视频行为识别方法、装置、存储介质和服务器
CN111460876A (zh) * 2019-06-05 2020-07-28 北京京东尚科信息技术有限公司 用于识别视频的方法和装置
US11967134B2 (en) 2019-06-05 2024-04-23 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and device for identifying video
CN111460876B (zh) * 2019-06-05 2021-05-25 北京京东尚科信息技术有限公司 用于识别视频的方法和装置
CN110334607B (zh) * 2019-06-12 2022-03-04 武汉大学 一种视频人体交互行为识别方法及系统
CN110334607A (zh) * 2019-06-12 2019-10-15 武汉大学 一种视频人体交互行为识别方法及系统
CN111860086A (zh) * 2019-06-26 2020-10-30 广州凡拓数字创意科技股份有限公司 基于深度神经网络的手势识别方法、装置及系统
CN110313916A (zh) * 2019-07-17 2019-10-11 军事科学院系统工程研究院军需工程技术研究所 一种糖尿病足患者足底压力特征识别方法
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110781847A (zh) * 2019-10-30 2020-02-11 辽宁鼎汉奇辉电子系统工程有限公司 一种基于神经网络动作行为识别的方法
CN111401308A (zh) * 2020-04-08 2020-07-10 蚌埠学院 一种基于光流效应的鱼类行为视频识别方法
CN111507275B (zh) * 2020-04-20 2023-10-10 北京理工大学 一种基于深度学习的视频数据时序信息提取方法及装置
CN111507275A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种基于深度学习的视频数据时序信息提取方法及装置
CN112766062A (zh) * 2020-12-30 2021-05-07 河海大学 一种基于双流深度神经网络的人体行为识别方法
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN113255597A (zh) * 2021-06-29 2021-08-13 南京视察者智能科技有限公司 一种基于transformer的行为分析方法、装置及其终端设备
CN114299602A (zh) * 2021-11-09 2022-04-08 北京九州安华信息安全技术有限公司 一种微幅度动作图像处理方法
CN117196449A (zh) * 2023-11-08 2023-12-08 讯飞智元信息科技有限公司 一种视频识别方法、系统以及相关装置
CN117196449B (zh) * 2023-11-08 2024-04-09 讯飞智元信息科技有限公司 一种视频识别方法、系统以及相关装置
CN117788656B (zh) * 2024-02-28 2024-04-26 广州趣丸网络科技有限公司 视频生成方法、装置及设备
CN117788656A (zh) * 2024-02-28 2024-03-29 广州趣丸网络科技有限公司 视频生成方法、装置及设备

Also Published As

Publication number Publication date
CN108241849B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN108241849A (zh) 基于视频的人体交互动作识别方法
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN110188637A (zh) 一种基于深度学习的行为识别技术方法
CN109919981A (zh) 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
Xu et al. Adversarial adaptation from synthesis to reality in fast detector for smoke detection
Zhang et al. DAAL: Deep activation-based attribute learning for action recognition in depth videos
Singh et al. Human activity recognition based on silhouette directionality
CN104063871B (zh) 可穿戴设备的图像序列场景分割方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Si et al. Hand-raising gesture detection in real classrooms using improved R-FCN
Ardiyanto et al. Partial least squares-based human upper body orientation estimation with combined detection and tracking
Fei et al. Flow-pose Net: An effective two-stream network for fall detection
CN114821764A (zh) 一种基于kcf追踪检测的手势图像识别方法及系统
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
Xiao et al. Human action recognition based on convolutional neural network and spatial pyramid representation
Pang et al. Dance video motion recognition based on computer vision and image processing
Zhang et al. Key frame extraction based on quaternion Fourier transform with multiple features fusion
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN113869127A (zh) 人体行为的检测方法、监控设备、电子设备以及介质
Liu et al. Weighted sequence loss based spatial-temporal deep learning framework for human body orientation estimation
Niu A Lightweight Two-stream Fusion Deep Neural Network Based on ResNet Model for Sports Motion Image Recognition
Li et al. Occluded person re-identification method based on multiscale features and human feature reconstruction
Yang et al. An end-to-end noise-weakened person re-identification and tracking with adaptive partial information
Kumar et al. CNN-LSTM Hybrid model based human action recognition with skeletal representation using joint movements based energy maps
Pan A method of key posture detection and motion recognition in sports based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant