CN108629301B - 一种人体动作识别方法 - Google Patents

一种人体动作识别方法 Download PDF

Info

Publication number
CN108629301B
CN108629301B CN201810373614.2A CN201810373614A CN108629301B CN 108629301 B CN108629301 B CN 108629301B CN 201810373614 A CN201810373614 A CN 201810373614A CN 108629301 B CN108629301 B CN 108629301B
Authority
CN
China
Prior art keywords
descriptor
dense
optical flow
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810373614.2A
Other languages
English (en)
Other versions
CN108629301A (zh
Inventor
范敏
韩琪
刘亚玲
陈欢
胡雅倩
范理波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810373614.2A priority Critical patent/CN108629301B/zh
Publication of CN108629301A publication Critical patent/CN108629301A/zh
Application granted granted Critical
Publication of CN108629301B publication Critical patent/CN108629301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，主要包括以下步骤：1)输入视频流。2)计算输入视频的光流场并进行特征点采样，提取稠密特征点。3)计算特征点的轨迹。4)沿该特征点轨迹计算稠密描述符。5)对相邻两帧视频图像在时间上求导得到时序上的运动图像，再计算运动图像的空间梯度，得到运动梯度描述符HMG。6)对各个描述符分别进行特征编码。7)对各个描述符作正则化处理后，将稠密描述符与运动梯度描述符以串联形式相连接形成特征向量。8)对特征向量进行训练和学习得到人体动作识别模型。9)利用所述人体动作识别模型对人体动作进行识别。本发明在提高动作识别精度的同时缩减了计算开销。

Description

一种人体动作识别方法
技术领域
本发明涉及机器视觉领域，具体是一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法。
背景技术
人体动作识别是计算机视觉领域研究的重要分支之一，其在视频监控、视频检索、人机交互、虚拟现实、移动分析等领域有着极大的应用价值。但人体动作本身具有较大自由度，因相机运动、视角变化造成的类间差异，动作的识别与人体姿势、相关目标及场景的复杂关系等因素给人体动作识别带来极大的挑战性。
在动作识别中，通常采用的基于底层像素的特征表示对复杂背景有着较强的鲁棒性，但是单独采用全局或者局部特征来描述运动信息存在局限性，所以将多个特征相结合的识别方法受到研究者们的关注。并且，视频主要包含两类信息：视频帧中的静态信息和视频帧之间的运动信息。视频中的人体运动信息又具有时序性和空间性，充分发到动作信息在时间和空间位置上的关联关系是非常必要的。
为准确实现人体动作识别，运动信息的特征表示是非常关键的环节。由于视频中存在相机移动，并且稠密采样会产生过多的特征点需要被跟踪，其中只有部分可用于有效的特征计算，造成人体动作的特征表示不够准确，同时也带来了大量计算。
发明内容
本发明的目的是解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，其特征在于，主要包括以下步骤：
1)输入视频流。
2)计算输入视频的光流场并进行特征点采样，提取稠密特征点。
进一步，提取稠密特征点的主要步骤如下：
2.1)对输入视频进行光流计算，得到光流梯度幅值的运动边界。
2.2)在光流计算中，对运动边界设定阈值形成一个“掩膜”并进行稠密采样。
掩膜MB(i,j)如下所示：
Figure BDA0001638927060000021
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量。 Tω为二维光流图。
Figure BDA0001638927060000022
为光流的分量u对v求导得到的值。
Figure BDA0001638927060000023
为光流的分量v对v求导得到的值。
Figure BDA0001638927060000024
为光流的分量v对u求导得到的值。
Figure BDA0001638927060000025
为光流的分量u对u求导得到的值。max表示最大值。Ostu(*)表示取(*)的最大类间方差。
其中，二维光流图Tω如下所示：
Tω＝(Tu,Tv)。 (2)
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量。ω为水平方向u和垂直方向v所在的平面。
其中，光流场ω如下所示：
ω＝(u,v)。 (3)
式中，u为光流场水平方向。v为光流场垂直方向。
光流场在水平方向u的分量Tu对v求导得到的值Tv u如下所示：
Figure BDA0001638927060000026
式中，v为光流场垂直方向。Tu表示光流场在水平方向u的分量。
光流场在垂直方向v的分量Tv对v求导得到的值
Figure BDA0001638927060000027
如下所示：
Figure BDA0001638927060000028
式中，v为光流场垂直方向。Tv为光流场在垂直方向v的分量。
光流场在垂直方向v的分量Tv对u求导得到的值
Figure BDA0001638927060000029
如下所示：
Figure BDA00016389270600000210
式中，u为光流场水平方向。Tv为光流场在垂直方向v的分量。
光流场在水平方向u的分量Tu对u求导得到的值
Figure BDA00016389270600000211
如下所示：
Figure BDA00016389270600000212
式中，u为光流场水平方向。Tu表示光流场在水平方向u的分量。
2.3)通过“掩膜”来保留稠密采样中具有判别性、有效地采样点。
2.4)将位于掩膜内的稠密采样点记为稠密特征点。
3)依据设定的视频帧数，计算特征点的轨迹。
4)沿所述特征点轨迹计算稠密描述符HOG、稠密描述符HOF、稠密描述符MBH和稠密描述符Traj。稠密描述符MBH包括MBHx 和MBHy两个分量。
稠密描述符HOG主要描述静态外观信息。稠密描述符HOF描述局部运动信息。稠密描述符MBHx描述光流梯度在x方向上的移动信息。稠密描述符MBHy描述光流梯度在y方向上的移动信息。稠密描述符Traj主要描述轨迹的长度和位移信息。
进一步，计算稠密描述符的主要步骤如下：
4.1)对所述视频流的每帧视频按照S个空间尺度进行划分。
4.2)针对每个尺度，以W为步长对所述图像进行特征点采样。
4.3)利用中值滤波对所述采样点进行跟踪。
采样点P在第t帧的位置记为采样点Pt，如下所示：
Pt＝(xt,yt)。 (8)
式中，xt为采样点Pt在图像x轴方向的坐标。yt为采样点Pt在图像y轴方向的坐标。
第t帧采样点Pt在下一帧，即第t+1帧的位置记为采样点Pt+1，如下所示：
Figure BDA0001638927060000031
式中，M为中值滤波核。
Figure BDA0001638927060000032
为采样点Pt坐标(xt,yt)对应的中值位置。ω为光流场。
4.4)在尺度S处，将连续帧的采样点连接，从而形成轨迹 (Pt,Pt+1,Pt+2,...)。
设定轨迹的长度为L帧，轨迹形状S如下所示：
S＝(ΔPt,ΔPt+1,...,ΔPt+L-1)。 (10)
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量。ΔPt+1为第t+1帧采样点Pt+1和第t+2帧采样点Pt+2构成的向量。ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量。
其中，向量ΔPt如下所示：
ΔPt＝(Pt+1-Pt)＝(xt+1-xt,yt+1-yt)。 (11)
式中，Pt+1为第t+1帧采样点。Pt为第t帧采样点。xt+1为采样点 Pt+1的横坐标。yt+1为采样点Pt+1的纵坐标。xt为采样点Pt在图像x轴方向的坐标。yt为采样点Pt在图像y轴方向的坐标。
向量ΔPt+1如下所示：
ΔPt+1＝(Pt+2-Pt+1)＝(xt+2-xt+1,yt+2-yt+1)。 (12)
式中，Pt+1为第t+1帧采样点。Pt+2为第t+2帧采样点。xt+1为采样点Pt+1的横坐标。yt+1为采样点Pt+1的纵坐标。xt+2为采样点Pt+1的横坐标。yt+2为采样点Pt+1的纵坐标。
ΔPt+L-1＝(Pt+L-Pt+L-1)＝(xt+L-xt+L-1,yt+L-yt+L-1)。 (13)
式中，Pt+L-1为第Pt+L-1帧采样点。Pt+L为第t+L帧采样点。xt+L为采样点Pt+1的横坐标。yt+L为采样点Pt+1的纵坐标。xt+L-1为采样点Pt+1的横坐标。yt+L-1为采样点Pt+1的纵坐标。
4.5)对轨迹形状S进行归一化处理，得到轨迹特征Traj。
Figure BDA0001638927060000041
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量。ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量。i 为任意帧。L为轨迹长度。ΔPi为第i帧采样点Pi和第i+1帧采样点Pi+1构成的向量。
4.6)在轨迹(Pt,Pt+1,Pt+2,...)上构建N×N×L为单位的时空立方体。将立方体细分为nσ×nσ×nτ大小的时空网格。其中，nσ为图像x轴方向上的像素点。y轴方向上的像素点等于图像x轴方向上的像素点。 nτ为图像z轴方向上的视频帧数。
在所述立方体中计算HOG特征、HOF特征、MBHx特征、MBHy 特征和轨迹特征Traj。
4.6.1)计算HOG特征的主要步骤如下：
4.6.1.1)将所述图像灰度化。
4.6.1.2)采用Gamma校正法对所述图像进行颜色空间的标准化。
4.6.1.3)将所述图像划分为n*n的像素。
4.6.1.4)计算所述图像每个像素的梯度。
4.6.1.5)统计每个像素的梯度直方图。
4.6.1.6)每m*m个像素组成一个块。串联所述块内所述像素特征，即得到HOG特征。
4.6.2)对所述图像的光流方向进行加权统计。统计光流方向信息直方图，从而得到HOF特征。
4.6.3)提取MBHx特征，即在图像x方向上计算HOG特征。
4.6.4)提取MBHy特征，即在图像y方向上计算HOG特征。
4.6.5)利用公式12计算轨迹特征Traj。
5)对相邻两帧视频图像在时间上求导，得到时序上的运动图像。计算所述时序上的运动图像的空间梯度，从而得到运动梯度描述符 HMG。
进一步，计算运动梯度描述符HMG的主要步骤如下：
5.1)对相邻两帧图像在时间上求导。
Figure BDA0001638927060000051
式中，T(i,i+1)为运动图像，表示第i帧和第i+1帧视频图像对时间的导数。i表示视频帧数。Fi是第i帧视频图像。Fi+1是第i+1帧视频图像。time为时间。
5.2)计算运动图像的空间梯度，得到人体动作在空间上的运动信息。
Figure BDA0001638927060000052
式中，X(i,i+1)表示运动图像在水平方向的导数，记作X。Y(i,i+1) 表示运动图像在垂直方向的导数，记作Y。x表示图像水平方向。y 表示图像垂直方向。
计算运动图像的幅值mag和角度θ：
Figure BDA0001638927060000053
5.3)统计运动图像的幅值mag和角度θ，得到运动梯度描述符。
6)利用FV编码分别对分别对稠密描述符HOG、稠密描述符 HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG进行特征编码。
7)分别对稠密描述符HOG、稠密描述符HOF、稠密描述符 MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG 作正则化处理。正则化处理后，将稠密描述符与运动梯度描述符以串联形式相连接形成特征向量。
进一步，特征融合的主要步骤如下：
7.1)利用主成分分析法分别对稠密描述符HOG、稠密描述符 HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符进行降维。
7.2)利用Fisher Vector分别对各个描述符进行特征编码，并采用L2正则化对Fisher向量进行归一化处理。
7.3)将各个描述符的Fisher向量以串联的形式相连接形成一组特征向量，得到新的特征描述符IDT-MB+HMG。
IDT-MB+HMG描述符的构成形式：
IDT-MB+HMG:{HOG,HOF,MBHx,MBHy,Traj,HMG}。(18)
式中，稠密描述符HOG主要描述静态外观信息。稠密描述符 HOF描述局部运动信息。稠密描述符MBHx描述光流梯度在x方向上的移动信息。稠密描述符MBHy描述光流梯度在y方向上的移动信息。稠密描述符Traj主要描述轨迹的长度和位移信息。运动梯度描述符HMG描述动作信息在时间和空间位置的内在关联。
7.4)将特征描述符IDT-MB+HMG作为线性支持向量机分类器的输入。
8)利用线性支持向量机对特征融合得到的特征向量进行训练和学习，得到人体动作识别模型。
9)利用所述人体动作识别模型对人体动作进行识别。
本发明的技术效果是毋庸置疑的。本发明的目的是针对通常用于动作识别的稠密采样方法会受到相机运动、背景信息冗余等干扰问题，提出了一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法。在轨迹特征计算中，采用基于运动边界的改进型稠密采样策略，去除无效的采样点，减少轨迹数目。同时为增强特征表达效果和改善识别效果，在轨迹特征基础上引入运动梯度直方图，形成新的特征描述符，补充表达了人体动作在时间和空间上的运动信息。本发明算法在数据集UCF50、HMDB51上提高动作识别精度的同时也缩减了计算开销，取得了不错的识别效果。
附图说明
图1-a为HMDB51数据集中的样本帧；
图1-b为UCF50数据集中的样本帧；
图2为人体动作识别整体流程图；
图3为稠密轨迹描述符形成过程；
图4为IDT与运动边界上的密集轨迹的比较；
图5为捕获HMG描述符的运动信息可视化的过程。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例：
一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，主要包括以下步骤：
1)输入视频流。本实施例选取人体动作识别常用的标准视频集 HMDB51、UCF50作为动作识别测试数据集。
HMDB51数据主要来源于电影、Internet、YouTube、Google等视频剪辑。这个数据集包含51个动作类别，共有6,766个视频片段。 UCF50数据集包括了来自YouTube的真实世界视频,总共有6,618 个视频剪辑。这些行动包含了从普通体育到日常生活练习。对于所有50个类别，视频分成25个组。对于每个组，至少有4个动作片段。如图1所示的视频样本帧。
2)如图2所示的人体动作识别方法的整体流程图。计算输入视频的光流场并进行特征点采样，提取稠密特征点。
3)依据设定轨迹长度为15帧，计算特征点的轨迹，如图3所示。
提取稠密特征点的主要步骤如下：
3.1)对输入视频通过调用Opencv库中的Farneback方法计算光流，得到光流梯度幅值的运动边界。
3.2)在光流计算中，对运动边界设定阈值形成一个“掩膜”并进行稠密采样，如图4所示。图4为IDT与运动边界上的密集轨迹的比较，其中点为采样点，虚线框为运动轨迹。
掩膜MB(i,j)如下所示：
Figure BDA0001638927060000081
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量。 Tω为二维光流图。
Figure BDA0001638927060000082
为光流的分量u对v求导得到的值。
Figure BDA0001638927060000083
为光流的分量v对v求导得到的值。
Figure BDA0001638927060000084
为光流的分量v对u求导得到的值。
Figure BDA0001638927060000085
为光流的分量u对u求导得到的值。max表示最大值。Ostu(*)表示取(*)的最大类间方差。
其中，二维光流图Tω如下所示：
Tω＝(Tu,Tv)。 (2)
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量。ω为水平方向u和垂直方向v所在的平面。
其中，光流场ω如下所示：
ω＝(u,v)。 (3)
式中，u为光流场水平方向。v为光流场垂直方向。
光流场在水平方向u的分量Tu对v求导得到的值
Figure BDA0001638927060000086
如下所示：
Figure BDA0001638927060000087
式中，v为光流场垂直方向。Tu表示光流场在水平方向u的分量。
光流场在垂直方向v的分量Tv对v求导得到的值
Figure BDA0001638927060000088
如下所示：
Figure BDA0001638927060000089
式中，v为光流场垂直方向。Tv为光流场在垂直方向v的分量。
光流场在垂直方向v的分量Tv对u求导得到的值
Figure BDA00016389270600000810
如下所示：
Figure BDA00016389270600000811
式中，u为光流场水平方向。Tv为光流场在垂直方向v的分量。
光流场在水平方向u的分量Tu对u求导得到的值
Figure BDA00016389270600000812
如下所示：
Figure BDA0001638927060000091
式中，u为光流场水平方向。Tu表示光流场在水平方向u的分量。
3.3)通过“掩膜”来保留稠密采样中具有判别性、有效地采样点。
3.4)将位于掩膜内的稠密采样点记为稠密特征点。
4)沿所述特征点轨迹计算稠密描述符HOG、稠密描述符HOF 稠密描述符MBH和稠密描述符Traj。稠密描述符MBH包括MBHx 和MBHy两个分量。
稠密描述符HOG主要描述静态外观信息。稠密描述符HOF描述局部运动信息。稠密描述符MBHx描述光流梯度在x方向上的移动信息。稠密描述符MBHy描述光流梯度在y方向上的移动信息。稠密描述符Traj主要描述轨迹的长度和位移信息。
计算稠密描述符的主要步骤如下：
4.1)对所述视频流的每帧视频划分为8个尺度空间。
4.2)针对每个尺度，以5帧视频为步长对所述图像进行特征点采样。
4.3)利用中值滤波对所述采样点进行跟踪。
采样点Pt在第t帧的位置记为采样点，如下所示：
Pt＝(xt,yt)。 (8)
式中，xt为采样点Pt在图像x轴方向的坐标。yt为采样点Pt在图像y轴方向的坐标。
第t帧采样点Pt在下一帧，即第t+1帧的位置记为采样点Pt+1，如下所示：
Figure BDA0001638927060000092
式中，M为中值滤波核。
Figure BDA0001638927060000093
为采样点Pt坐标(xt,yt)对应的中值位置。ω为光流场。
4.4)在尺度S处，将连续帧的采样点连接，从而形成轨迹 (Pt,Pt+1,Pt+2,...)。
设定轨迹的长度为L＝15帧，轨迹形状S如下所示：
S＝(ΔPt,ΔPt+1,...,ΔPt+L-1)。 (10)
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量。ΔPt+1为第t+1帧采样点Pt+1和第t+2帧采样点Pt+2构成的向量。ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量。
其中，向量ΔPt如下所示：
ΔPt＝(Pt+1-Pt)＝(xt+1-xt,yt+1-yt)。 (11)
式中，Pt+1为第t+1帧采样点。Pt为第t帧采样点。xt+1为采样点 Pt+1的横坐标。yt+1为采样点Pt+1的纵坐标。xt为采样点Pt在图像x轴方向的坐标。yt为采样点Pt在图像y轴方向的坐标。
向量ΔPt+1如下所示：
ΔPt+1＝(Pt+2-Pt+1)＝(xt+2-xt+1,yt+2-yt+1)。 (12)
式中，Pt+1为第t+1帧采样点。Pt+2为第t+2帧采样点。xt+1为采样点Pt+1的横坐标。yt+1为采样点Pt+1的纵坐标。xt+2为采样点Pt+1的横坐标。yt+2为采样点Pt+1的纵坐标。
ΔPt+L-1＝(Pt+L-Pt+L-1)＝(xt+L-xt+L-1,yt+L-yt+L-1)。 (13)
式中，Pt+L-1为第Pt+L-1帧采样点。Pt+L为第t+L帧采样点。xt+L为采样点Pt+1的横坐标。yt+L为采样点Pt+1的纵坐标。xt+L-1为采样点Pt+1的横坐标。yt+L-1为采样点Pt+1的纵坐标。
4.5)对轨迹形状S进行归一化处理，得到轨迹特征Traj。
Figure BDA0001638927060000101
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量。ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量。i 为任意帧。L为轨迹长度。ΔPi为第i帧采样点Pi和第i+1帧采样点Pi+1构成的向量。
在轨迹的长度达到15帧时，行轨迹校对。这样可使得具有微小或较大的平均漂移和变化的轨迹将被修剪，保留有效的轨迹。
4.6)在轨迹(Pt,Pt+1,Pt+2,...)上构建32×32×15为单位的时空立方体。将立方体细分为2×2×3大小的时空网格。
在所述立方体中计算HOG特征、HOF特征、MBHx特征、MBHy 特征和轨迹特征Traj，其维度分别是96、108、96、96、30。。
4.6.1)计算HOG特征的主要步骤如下：
4.6.1.1)将所述图像灰度化。
4.6.1.2)采用Gamma校正法对所述图像进行颜色空间的标准化。
4.6.1.3)将所述图像划分为8*8的像素。
4.6.1.4)计算所述图像每个像素的梯度。
4.6.1.5)统计每个像素的梯度直方图。
4.6.1.6)每6*6个像素组成一个块。串联所述块内所述像素特征，即得到HOG特征。
即在得到运动图像的幅值和角度后，以块为单位对响应值聚合。在空间上以8*8个像素点为单位聚合，时间上以每6帧为一个单位聚合，且响应值被量化为8个方向，就可得到每块的特征为8个维度。在3*3*2为单位的时空立方体内将每一块的特征值连接，得到 144维的运动梯度描述符。
4.6.2)对所述图像的光流方向进行加权统计。统计光流方向信息直方图，从而得到HOF特征。
4.6.3)提取MBHx特征，即在图像x方向上计算HOG特征。
4.6.4)提取MBHy特征，即在图像y方向上计算HOG特征。
4.6.5)利用公式12计算轨迹特征Traj。
5)为补充表达人体动作在时空间的运动信息，先对相邻两帧视频图像在时间上求导得到时序上的运动图像，然后计算运动图像的空间梯度，得到运动梯度描述符HMG，如图5所示。
计算运动梯度描述符HMG的主要步骤如下：
5.1)对相邻两帧图像在时间上求导。
Figure BDA0001638927060000111
式中，T(i,i+1)为运动图像，表示第i帧和第i+1帧视频图像对时间的导数。i表示视频帧数。Fi是第i帧视频图像。Fi+1是第i+1帧视频图像。time为时间。
5.2)计算运动图像的空间梯度，得到人体动作在空间上的运动信息。
Figure BDA0001638927060000121
式中，X(i,i+1)表示运动图像在水平方向的导数，记作X。Y(i,i+1) 表示运动图像在垂直方向的导数，记作Y。x表示图像水平方向。y 表示图像垂直方向。
计算运动图像的幅值mag和角度θ：
Figure BDA0001638927060000122
5.3)在计算运动图像的幅值和角度后，以块为单位对响应值聚合。在空间上以8*8个像素点为单位聚合，时间上以每6帧为一个单位聚合，且响应值被量化为8个方向，就可得到每块的特征为8 个维度。在3*3*2为单位的时空立方体内将每一块的特征值连接，得到144维的运动梯度描述符。
6)利用FV编码分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG进行特征编码。除FV编码外，还可以采用的基于超向量的编码方法包括超矢量编码(SVC)和局部聚合描述符矢量 (VLAD)。FisherVector(FV编码)保留一阶、二阶统计信息，比 VLAD和SVC更能充分表达图像信息，而且FV是基于高斯混合模型GMM，使用后验概率将每个描述符“软分配”给码本。FV编码的效果要优于VLAD和SVC。同时，FV只需简单的线性分类器就能取得较好的分类效果。本实施例采用FV编码。
7)分别对稠密描述符HOG、稠密描述符HOF、稠密描述符 MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG 作正则化处理。正则化处理后，将稠密描述符与运动梯度描述符以串联形式相连接形成特征向量。
特征融合的主要步骤如下：
7.1)利用主成分分析法分别对稠密描述符(HOG、HOF、MBHx、 MBHxy、Traj)和运动梯度描述符进行降维。
7.2)利用Fisher Vector分别对各个描述符进行特征编码，其中取FV编码中高斯混合模型GMM中的视觉词典大小K＝256。并采用L2正则化对Fisher向量进行归一化处理。
7.3)将各个描述符的Fisher向量以串联的形式相连接形成一组特征向量，得到新的特征描述符IDT-MB+HMG。
IDT-MB+HMG描述符的构成形式：
IDT-MB+HMG:{HOG,HOF,MBHx,MBHy,Traj,HMG}。 (18)
式中，稠密描述符HOG主要描述静态外观信息。稠密描述符 HOF描述局部运动信息。稠密描述符MBHx描述光流梯度在x方向上的移动信息。稠密描述符MBHy描述光流梯度在y方向上的移动信息。稠密描述符Traj主要描述轨迹的长度和位移信息。运动梯度描述符HMG描述动作信息在时间和空间位置的内在关联。
7.4)将特征描述符IDT-MB+HMG作为分类器的输入。
8)线性分类在一定程度上也可降低计算复杂度，故本发明采用线性支持向量机对输入的特征进行模型的训练、学习。
9)利用所述人体动作识别模型对人体动作进行识别。
在结果中，通过分析对比六类特征(HOG,HOF,MBHx,MBHy, Traj,HMG)在HMDB51数据集中识别效果，可以看出，由六类特征相融合得到的IDT-MB+HMG描述符的识别效果最佳。融入HMG特征后，整体的识别精度由原来的53.79％提高到了57.58％，可见HMG 特征是对稠密特征IDT在运动信息上的补充表示。
在单个特征的识别率上，虽然HMG的计算过程与HOG类似，但在识别效果上HMG要高于HOG，从特征融合的角度可看出HMG 特征并不能完全取代HOG特征在静态外观信息上的作用。同时，可得出HMG特征的识别效果与IDT特征中的HOF特征相近。Traj特征是基于光流场的特征点轨迹，包含特征点坐标、位移等运动信息，从识别效果来看，其在特征表示中不处于主导地位。从图3可以看出，在计算HMG特征时，是由简单的时间和空间推到得到的，并未涉及光流计算，而光流计算需要大量的计算开销，所以HMG的特征计算在一定程度上节省了计算成本。
本发明在提取稠密特征IDT前加入对运动边界的阈值设定，也提高了算法的计算速度。但在在运动边界的阈值设定中存在小部分运动信息的丢失，导致IDT-MB较IDT的识别精度略有下降。在融入HMG描述符后，进一步增强了人体动作在时间和空间上的表达效果，使得整体识别率得到提高。
总体来说，本发明方法是在保证动作识别精确度的前提下，减少不必要的轨迹计算，从而加快特征编码速度，减少计算复杂度。
10)验证本实施例所述方法的有效性。选取最常用的几种相关人体动作识别方法对应程序，对比实验的参数设置完全相同，动作识别对比效果，如表1、表2和表3所示。
表1在数据集HMDB51和UCF50上的稠密描述符效果对比
Figure BDA0001638927060000141
表2 HOG\HOF\MBH\Traj\HMG特征在HMDB51数据集中识别效果对比(‘/’表示未添加)
Figure BDA0001638927060000142
表3本发明在数据集UCF50、HMDB51中的识别效果
Figure BDA0001638927060000143
根据表1、表2和表3可以看出，本实施例所述方法对人体动作的识别准确率最高。

Claims (3)

1.一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，其特征在于，主要包括以下步骤：
1)输入所述视频流；
2)计算输入视频的光流场并进行特征点采样，提取稠密特征点；
提取稠密特征点的主要步骤如下：
2.1)对输入视频进行光流计算，得到光流梯度幅值的运动边界；
2.2)在光流计算中，对运动边界设定阈值形成一个“掩膜”并进行稠密采样；
掩膜MB(I,J)如下所示：
Figure FDA0003447913430000011
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量；Tω为二维光流图；
Figure FDA0003447913430000012
为光流的分量u对v求导得到的值；
Figure FDA0003447913430000013
为光流的分量v对v求导得到的值；
Figure FDA0003447913430000014
为光流的分量v对u求导得到的值；
Figure FDA0003447913430000015
为光流的分量u对u求导得到的值；max表示最大值；Ostu(*)表示取(*)的最大类间方差；
其中，二维光流图Tω如下所示：
Tω＝(Tu,Tv)； (2)
式中，Tu和Tv分别为光流场在水平方向u和垂直方向v的分量；ω为水平方向u和垂直方向v所在的平面；
其中，光流场ω如下所示：
ω＝(u,v)； (3)
式中，u为光流场水平方向；v为光流场垂直方向；
光流场在水平方向u的分量Tu对v求导得到的值
Figure FDA0003447913430000016
如下所示：
Figure FDA0003447913430000017
式中，v为光流场垂直方向；Tu表示光流场在水平方向u的分量；
光流场在垂直方向v的分量Tv对v求导得到的值
Figure FDA0003447913430000018
如下所示：
Figure FDA0003447913430000019
式中，v为光流场垂直方向；Tv为光流场在垂直方向v的分量；
光流场在垂直方向v的分量Tv对u求导得到的值
Figure FDA00034479134300000110
如下所示：
Figure FDA0003447913430000021
式中，u为光流场水平方向；Tv为光流场在垂直方向v的分量；
光流场在水平方向u的分量Tu对u求导得到的值
Figure FDA0003447913430000022
如下所示：
Figure FDA0003447913430000023
式中，u为光流场水平方向；Tu表示光流场在水平方向u的分量；
2.3)通过“掩膜”来保留稠密采样中具有判别性、有效的采样点；
2.4)将位于掩膜内的稠密采样点记为稠密特征点；
3)依据设定的视频帧数，计算特征点的轨迹；
4)沿所述特征点轨迹计算稠密描述符HOG、稠密描述符HOF、稠密描述符MBH和稠密描述符Traj；稠密描述符MBH包括MBHx和MBHy两个分量；
稠密描述符HOG主要描述静态外观信息；稠密描述符HOF描述局部运动信息；稠密描述符MBHx描述光流梯度在x方向上的移动信息；稠密描述符MBHy描述光流梯度在y方向上的移动信息；稠密描述符Traj主要描述轨迹的长度和位移信息；
5)对相邻两帧视频图像在时间上求导，得到时序上的运动图像；计算所述时序上的运动图像的空间梯度，从而得到运动梯度描述符HMG；
6)利用FV编码分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG进行特征编码；
7)分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG作正则化处理；正则化处理后，将稠密描述符和运动梯度描述符以串联形式相连接形成特征向量；
特征融合的主要步骤如下：
7.1)利用主成分分析法分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符进行降维；
7.2)利用Fisher Vector分别对各个描述符进行特征编码，并采用L2正则化对Fisher向量进行归一化处理；
7.3)将各个描述符的Fisher向量以串联的形式相连接形成一组特征向量，得到新的特征描述符IDT-MB+HMG；
IDT-MB+HMG描述符的构成形式：
IDT-MB+HMG:{HOG,HOF,MBHx,MBHy,Traj,HMG}； (8)
式中，稠密描述符HOG主要描述静态外观信息；稠密描述符HOF描述局部运动信息；稠密描述符MBHx描述光流梯度在x方向上的移动信息；稠密描述符MBHy描述光流梯度在y方向上的移动信息；稠密描述符Traj主要描述轨迹的长度和位移信息；运动梯度描述符HMG描述动作信息在时间和空间位置的内在关联；
7.4)将特征描述符IDT-MB+HMG作为线性支持向量机分类器的输入；
8)利用线性支持向量机对特征融合得到的特征向量进行训练和学习，得到人体动作识别模型；
9)利用所述人体动作识别模型对人体动作进行识别。
2.根据权利要求1所述的一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，其特征在于，计算稠密描述符的主要步骤如下：
1)对所述视频流的每帧视频按照S个空间尺度进行划分；
2)针对每个尺度，以W为步长对所述图像进行特征点采样；
3)利用中值滤波对所述采样点进行跟踪；
采样点P在第t帧的位置记为采样点Pt，如下所示：
Pt＝(xt,yt)； (9)
式中，xt为采样点Pt在图像x轴方向的坐标；yt为采样点Pt在图像y轴方向的坐标；
第t帧采样点Pt在下一帧，即第t+1帧的位置记为采样点Pt+1，如下所示：
Figure FDA0003447913430000031
式中，M为中值滤波核；
Figure FDA0003447913430000032
为采样点Pt坐标(xt,yt)对应的中值位置；ω为光流场；
4)在尺度S处，将连续帧的采样点连接，从而形成轨迹(Pt,Pt+1,Pt+2,...)；
设定轨迹的长度为L帧，轨迹形状S如下所示：
S＝(ΔPt,ΔPt+1,...,ΔPt+L-1)； (11)
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量；ΔPt+1为第t+1帧采样点Pt+1和第t+2帧采样点Pt+2构成的向量；ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量；
其中，向量ΔPt如下所示：
ΔPt＝(Pt+1-Pt)＝(xt+1-xt,yt+1-yt)； (12)
式中，Pt+1为第t+1帧采样点；Pt为第t帧采样点；xt+1为采样点Pt+1的横坐标；yt+1为采样点Pt+1的纵坐标；xt为采样点Pt在图像x轴方向的坐标；yt为采样点Pt在图像y轴方向的坐标；
向量ΔPt+1如下所示：
ΔPt+1＝(Pt+2-Pt+1)＝(xt+2-xt+1,yt+2-yt+1)； (13)
式中，Pt+1为第t+1帧采样点；Pt+2为第t+2帧采样点；xt+1为采样点Pt+1的横坐标；yt+1为采样点Pt+1的纵坐标；xt+2为采样点Pt+2的横坐标；yt+2为采样点Pt+2的纵坐标；
ΔPt+L-1＝(Pt+L-Pt+L-1)＝(xt+L-xt+L-1,yt+L-yt+L-1)； (14)
式中，Pt+L-1为第Pt+L-1帧采样点；Pt+L为第t+L帧采样点；xt+L为采样点Pt+L的横坐标；yt+L为采样点Pt+L的纵坐标；xt+L-1为采样点Pt+L-1的横坐标；yt+L-1为采样点Pt+L-1的纵坐标；
5)对轨迹形状S进行归一化处理，得到轨迹特征Traj；
Figure FDA0003447913430000041
式中，ΔPt为第t帧采样点Pt和第t+1帧采样点Pt+1构成的向量；ΔPt+L-1为第t+L-1帧采样点Pt+L-1和第t+L帧采样点Pt+L构成的向量；i为任意帧；L为轨迹长度；ΔPi为第i帧采样点Pi和第i+1帧采样点Pi+1构成的向量；
6)在轨迹(Pt,Pt+1,Pt+2,...)上构建N×N×L为单位的时空立方体；将立方体细分为nσ×nσ×nτ大小的时空网格；其中，nσ为图像x轴方向上的像素点；y轴方向上的像素点等于图像x轴方向上的像素点；nτ为图像z轴方向上的视频帧数；
在所述立方体中计算HOG特征、HOF特征、MBHx特征、MBHy特征和轨迹特征Traj；
6.1)计算HOG特征的主要步骤如下：
6.1.1)将所述图像灰度化；
6.1.2)采用Gamma校正法对所述图像进行颜色空间的标准化；
6.1.3)将所述图像划分为n*n的像素；
6.1.4)计算所述图像每个像素的梯度；
6.1.5)统计每个像素的梯度直方图；
6.1.6)每m*m个像素组成一个块；串联所述块内所述像素特征，即得到HOG特征；
6.2)对所述图像的光流方向进行加权统计；统计光流方向信息直方图，从而得到HOF特征；
6.3)提取MBHx特征，即在图像x方向上计算HOG特征；
6.4)提取MBHy特征，即在图像y方向上计算HOG特征；
6.5)利用公式12计算轨迹特征Traj。
3.根据权利要求1所述的一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，其特征在于，计算运动梯度描述符HMG的主要步骤如下：
1)对相邻两帧图像在时间上求导；
Figure FDA0003447913430000051
式中，T(i,i+1)为运动图像，表示第i帧和第i+1帧视频图像对时间的导数；i表示视频帧数；Fi是第i帧视频图像；Fi+1是第i+1帧视频图像；time为时间；
2)计算运动图像的空间梯度，得到人体动作在空间上的运动信息；
Figure FDA0003447913430000052
式中，X(i,i+1)表示运动图像在水平方向的导数，记作X；Y(i,i+1)表示运动图像在垂直方向的导数，记作Y；x表示图像水平方向；y表示图像垂直方向；
计算运动图像的幅值mag和角度θ：
Figure FDA0003447913430000061
3)统计运动图像的幅值mag和角度θ，得到运动梯度描述符。
CN201810373614.2A 2018-04-24 2018-04-24 一种人体动作识别方法 Active CN108629301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810373614.2A CN108629301B (zh) 2018-04-24 2018-04-24 一种人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810373614.2A CN108629301B (zh) 2018-04-24 2018-04-24 一种人体动作识别方法

Publications (2)

Publication Number Publication Date
CN108629301A CN108629301A (zh) 2018-10-09
CN108629301B true CN108629301B (zh) 2022-03-08

Family

ID=63694289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810373614.2A Active CN108629301B (zh) 2018-04-24 2018-04-24 一种人体动作识别方法

Country Status (1)

Country Link
CN (1) CN108629301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508684B (zh) * 2018-11-21 2022-12-27 中山大学 一种视频中人体行为识别的方法
CN110119707B (zh) * 2019-05-10 2021-02-02 苏州大学 一种人体动作识别方法
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN113361542B (zh) * 2021-06-02 2022-08-30 合肥工业大学 一种基于深度学习的局部特征提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN105488519A (zh) * 2015-11-13 2016-04-13 同济大学 一种基于视频尺度信息的视频分类方法
CN105512618A (zh) * 2015-11-27 2016-04-20 北京航空航天大学 视频跟踪方法
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN106980823A (zh) * 2017-03-14 2017-07-25 天津大学 一种基于帧间自相似的动作识别方法
CN107194366A (zh) * 2017-06-06 2017-09-22 西安电子科技大学 基于稠密轨迹协方差描述子的行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686451B2 (en) * 2015-01-21 2017-06-20 Toyota Jidosha Kabushiki Kaisha Real time driving difficulty categorization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN105488519A (zh) * 2015-11-13 2016-04-13 同济大学 一种基于视频尺度信息的视频分类方法
CN105512618A (zh) * 2015-11-27 2016-04-20 北京航空航天大学 视频跟踪方法
CN106980823A (zh) * 2017-03-14 2017-07-25 天津大学 一种基于帧间自相似的动作识别方法
CN107194366A (zh) * 2017-06-06 2017-09-22 西安电子科技大学 基于稠密轨迹协方差描述子的行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Action Recognition with Improved Trajectories;Heng Wang等;《2013 IEEE International Conference on Computer Vision》;20140303;第3551-3558页 *
Dense Trajectories and Motion Boundary Descriptors for Action Recognition;Heng Wang等;《International Journal of Computer Vision》;20130306;第60-79页 *
Histograms of Motion Gradients for Real-time Video Classification;Ionut C. Duta等;《2016 14th International Workshop on Content-Based Multimedia Indexing (CBMI)》;20160630;第1-6页 *
Motion boundary based sampling and 3D co-occurrence descriptors for action recognition;Xiaojiang Peng等;《Image and Vision Computing》;20140703;action recognition *

Also Published As

Publication number Publication date
CN108629301A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
Jiao et al. New generation deep learning for video object detection: A survey
CN108629301B (zh) 一种人体动作识别方法
CN109508684B (zh) 一种视频中人体行为识别的方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
Li et al. Delving into egocentric actions
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
Mei et al. Robust multitask multiview tracking in videos
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN110688965B (zh) 基于双目视觉的ipt模拟训练手势识别方法
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN111832393B (zh) 一种基于深度学习的视频目标检测方法与装置
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN106709419B (zh) 一种基于显著轨迹空间信息的视频人体行为识别方法
Li et al. Distortion-Adaptive Salient Object Detection in 360$^\circ $ Omnidirectional Images
Zhu et al. Action recognition in broadcast tennis video
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Luo et al. Traffic analytics with low-frame-rate videos
Polatsek et al. Novelty-based spatiotemporal saliency detection for prediction of gaze in egocentric video
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
Liu et al. Correlation filter with motion detection for robust tracking of shape-deformed targets
CN109299702B (zh) 一种基于深度时空图的人体行为识别方法及系统
CN110598647A (zh) 一种基于图像识别的头部姿态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant