CN109961019B - 一种时空行为检测方法 - Google Patents

一种时空行为检测方法 Download PDF

Info

Publication number
CN109961019B
CN109961019B CN201910153037.0A CN201910153037A CN109961019B CN 109961019 B CN109961019 B CN 109961019B CN 201910153037 A CN201910153037 A CN 201910153037A CN 109961019 B CN109961019 B CN 109961019B
Authority
CN
China
Prior art keywords
space
time
layer
convolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910153037.0A
Other languages
English (en)
Other versions
CN109961019A (zh
Inventor
桑农
张士伟
李致远
高常鑫
邵远杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910153037.0A priority Critical patent/CN109961019B/zh
Publication of CN109961019A publication Critical patent/CN109961019A/zh
Priority to US16/965,015 priority patent/US11120270B2/en
Priority to PCT/CN2020/070684 priority patent/WO2020173226A1/zh
Application granted granted Critical
Publication of CN109961019B publication Critical patent/CN109961019B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种时空行为检测方法，包括对样本视频中所有帧进行对象检测，获取候选对象集合；计算样本视频中所有帧间光流信息，获取运动集合；构建附加对象注意机制和运动注意机制的时空卷积‑反卷积网络；对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；计算测试样本视频中各时间片段对应的行为类别与稀疏系数，获取对象行为时空位置。本发明通过对象检测和光流预测，不仅减少行为搜索空间，而且时空行为检测具有良好的鲁棒性。

Description

一种时空行为检测方法
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种时空行为检测方法。
背景技术
行为分析是当前计算机视觉中一个重要而活跃的研究热点，它不但在社会安全领域有着广泛应用，比如监控环境下的异常行为检测、商场中的偷窃行为检测识别，还在人机交互中有着不可取代的地位，比如服务机器人对老人的行为进行有效的预测以防止意外发生，除此之外，还可用于现有的社交网络、直播平台等色情、反动、暴力等行为的检测与识别。
目前的行为检测方法，从需要的监督信息上划分为两大类：一种为基于强监督的方法，其监督信号包括检测框，行为在时间上的起始和截至标记以及视频标签；另一种为基于弱有监督的方法，其监督信号只有视频的类别标记。目前对第一类方法研究较多，并且在公开数据集上取得了较好的性能，但还仍然不能满足实际需求，因为在实际场景下如果要取得可接受的性能需要大量的样本标记，而且由于行为标记的困难和特殊性导致这种需求很难被满足。第二类方法基于弱有监督的方法更好的利用现有的仅包含类别标记的样本，能够以自学习的方式有效地挖掘行为特征。但是行为必须具备三要素，分别是行为执行者、特定运动信息和时序性，现有的方法没能同时集中解决这三个方面。目前的方法主要是利用多实例学习和模型自学的注意机制来定位目标行为，使得这类方法鲁棒性低，在复杂场合中、以及对象较多的时候会极大地降低该类方法的性能。
由此可见，现有时空行为检测方法存在需要大量的人力物力、不实用、鲁棒性较低的技术问题。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种时空行为检测方法，旨在解决因现有技术无法有效结合执行者、特定运动信息和时序性识别行为而导致弱有监督时空行为检测方法鲁棒性差的问题。
为实现上述目的，本发明提供了一种时空行为检测方法，包括：
(1)对样本视频中所有帧进行对象检测，获取候选对象集合；
(2)计算样本视频中所有帧间光流信息，获取运动集合；
(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；
(4)以时空卷积-反卷积网络为输入，对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；
(5)以基于交叉熵函数的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；
(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及其分布概率图，获取对象行为时空位置。
优选地，所述步骤(1)具体包括：
(1.1)将样本视频中包含的图像缩放到同一尺寸下；
(1.2)利用目标检测器和FPN分别对归一化后的图像进行对象检测，获取两种对象检测框结果；
(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；
(1.4)利用快速跟踪方法和滤波器对未被筛选的对象检测框进行跟踪，找回未检出的对象位置。
优选地，所述步骤(2)具体包括：
(2.1)对光流信息包含的光流水平和竖直方向上的值进行归一化；
(2.2)在光流图水平和竖直方向上利用勾股定理，获取单通道的灰度图；
(2.3)根据灰度图获取运动信息区间。
优选地，所述步骤(3)具体包括：
(3.1)全局平均池化时空卷积网络中下采样层的最后一层，获取卷积层的向量化表达；
(3.2)将卷积层的向量化表达与下层样的最后一层相加获取反卷积网络上采样层的第一层；
(3.3)在反卷积网络的每一层特征图上叠加对应下采样层的特征图，完成时空卷积和反卷积网络的构建；
(3.4)对时空反卷积网络上采样层的最后一层特征图采用全局平均池化做向量化表达；
(3.5)在上述时空卷积和反卷积网络中选取任一层的特征图中加入对象显著性监督；
(3.6)在上述时空卷积和反卷积网络中选取任一层的特征图中加入运动显著性监督，完成时空卷积-反卷积网络的构建；
(3.7)在卷积层的向量化表达和反卷积层的向量化表达后均连接全连接层，所述全连接层用于对行为类别的预测。
优选地，所述步骤(4)具体包括：
(4.1)样本视频分成的T个时间片段通过时空卷积后，将时空卷积网络连接的全连接层的特征xi(i＝1,...,T)拼接；
(4.2)采用全局平均池化方法计算T维的权值向量w＝[w1,w2,...,wT]；
(4.3)在上述时空卷积-反卷积网络中增加根据权值向量获取的稀疏约束，完成网络结构S的构建。
优选地，所述步骤(6)具体包括：
(6.1)对热力图上采样获取的检测框进行非极大抑制，获取对象候选框；
(6.2)通过计算样本视频中各时间片段对应的权值向量，筛选行为的时间区间；
(6.3)将对象候选框对应的空间位置和时间区间结合，获取对象行为时空位置。
优选地，所述步骤(6.1)具体包括：
(6.1.1)利用基于梯度的类别激活图(Grad-CAM)计算行为的概率分布图；
(6.1.2)在热力图上进行密采样，获取多尺度的检测框；
(6.1.3)对各检测框进行阈值为0.3的非极大抑制，获取对象候选框；
(6.1.4)对对象候选框进行排序，排序公式如下：
Figure GDA0002912023830000041
其中，sum(H(x,y,w,h))表示区间[x,y,w,h]，超参数ε设置为0.00002，(x,y)代表对象候选框在热力图上对应的起始坐标，w,h分别代表候选框的宽与高，H代表候选框中所有热量值；
(6.1.5)对获取的对象候选框进行修正，修正公式如下：
Figure GDA0002912023830000042
其中，Bt表示t时刻的对象检测框，Bs为上述获取的对象候选框，函数S表示将Bs调整尺寸与Bt-1一致，同时保持中心不变。
优选地，所述获取行为的概率分布图的具体步骤包括：
a.计算网络结构S中第c类和第k层特征图对应通道权重akc；
b.基于上述获取的通道权重和特征图，计算基于梯度的类别激活图：
Figure GDA0002912023830000043
其中，
Figure GDA0002912023830000044
为第c类的行为的类别激活图。
优选地，所述步骤(3.4)具体包括：
(3.4.1)根据对象集合中包含的对象检测框构建对象显著性图AH；
(3.4.2)在时空卷积和反卷积网络的第m层的特征图中加入对象显著性监督，获取模型输出：
fo＝(1+AH·fm)/(1+a)
其中，fm为第m层特征图，fo为加入对象显著性监督后的模型输出，超参a用于调整对象显著性程度。
优选地，所述步骤(3.5)具体包括：
(3.5.1)在输入序列中，利用光流法提取序列中的光流图AM；
(3.5.2)在时空卷积和反卷积网络的第m层的特征图中加入运动显著性监督，获取模型输出：
fo'＝(1+AM·fm)/(1+β)
其中，fm为第m层特征图，fo'为加入运动显著性监督后的模型输出，超参β用于调整运动显著性程度。
所述步骤(4.3)增加稀疏约束后，时空卷积和反卷积网络的目标函数为：
l＝lclass+λlsparse
其中，lsparse＝||w||1为稀疏损失，用于强制淘汰稀疏系数为0的部分保留稀疏系数为非0值部分，lclass为用于分类交叉熵损失，λ为权重系数。
基于网络结构S的学习，筛选稀疏权重为非零的特征图，淘汰稀疏权重近似为零的特征图，通常，权重系数越大对应的特征图更有可能包含行为。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
(1)本发明提供的时空行为检测技术，在深度模型学习时，有效考虑对象和运动这两个属性，并将所有的特征进行端到端学习，能够为行为检测提供更加判别的特征。同时，通过对象检测和光流预测的方法，不仅减少行为搜索空间，而且在对象很多的复杂场景中具有较好的鲁棒性。
(2)本发明提供的时空行为检测技术，利用稀疏约束的方法，在行为检测中时间和空间定位可一次性完成，相比于其他方法独立的两步法，不仅检测更具有可靠性，同时检测效率大大提升。
(3)本发明提供的时空行为检测技术，不仅利用时空卷积网络考虑行为的时空特征，而且设计了时空反卷积结构，有效弥补时空卷积结构的时间损失，更加有利于对视频的帧级定位。
附图说明
图1是本发明提供的基于弱有监督的行为检测方法流程图；
图2是本发明提供的时空卷积-反卷积网络；
图3是本发明提供的弱有监督时序检测结构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种基于弱有监督的时空行为检测方法，包括：
1对样本视频中所有帧进行对象检测，获取候选对象集合；
2计算样本视频中所有帧间光流信息，获取运动集合；
3基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；
4以时空卷积-反卷积网络为输入，对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；
5以基于交叉熵函数的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；
6以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及其分布概率图，获取对象行为时空位置。
优选地，所述步骤(1)具体包括：
(1.1)将样本视频中包含的图像缩放到同一尺寸下，实施例中为300*300像素；
(1.2)利用目标检测器(Faster-RCNN)和FPN(Feature Pyramid Network)分别对归一化后的图像进行对象检测，获取两种对象检测框结果；
(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；优选地，所述非极大抑制的阈值设置为0.5；
(1.4)利用快速跟踪方法和滤波器未被筛选的对象检测框进行跟踪，找回未检出的对象位置；
优选地，对剩余检测框在在时间上相隔10帧之内不连续且IoU(Intersectionover Union)大于0.5的检测框进行向前或向后跟踪。
优选地，所述步骤(2)具体包括：
(2.1)对光流信息包含的光流水平和竖直方向上的值进行归一化；
优选地，在对样本视频的所有帧间光流计算过程中采用密光流(Dense flow)，设置的参数包括：最大的边界值(Bound)为15，采样步长为1。将在此设置下计算得到的水平和竖直方向的光流图进行归一化处理；
(2.2)在光流图水平和竖直方向上利用勾股定理，获取单通道的灰度图；
(2.3)根据灰度图获取运动信息区间。
优选地，如图2所示，步骤(3)具体包括：
(3.1)全局平均池化时空卷积网络中下采样层的最后一层，获取卷积层的向量化表达；
(3.2)将卷积层的向量化表达与下层样的最后一层相加获取反卷积网络上采样层的第一层；
(3.3)在反卷积网络的每一层特征图上叠加对应下采样层的特征图，完成时空卷积和反卷积网络的构建；
(3.4)对时空反卷积网络上采样层的最后一层特征图采用全局平均池化做向量化表达；
优选地，在上述时空卷积和反卷积网络中输入样本视频需进行预处理，将视频帧归一化到3*160*160的尺寸中，并归一化到相同的正态分布中。
(3.5)在上述时空卷积和反卷积网络中选取任一层的特征图中加入对象显著性监督；
优选地，步骤(3.5)中加入对象显著性监督的方法为：根据对象集合中包含的对象检测框构建对象显著性图AH，有对象的检测框设置为1，剩余设置为0，在时空卷积和反卷积网络的第m层的特征图中加入对象显著性监督，即：
fo＝(1+AH·fm)/(1+a)
其中，fm为第m层特征图，fo为加入对象显著性监督后的模型输出，超参a用于调整对象显著性程度，该实施例中设置为0.5，将一定程度的保存背景信息。
(3.6)在上述时空卷积和反卷积网络中选取任一层的特征图中加入运动显著性监督，完成时空卷积-反卷积网络的构建；
优选地，步骤(3.6)中加入运动显著性监督的方法为：在输入序列中，通过光流法提取该序列的光流图AM，在时空卷积和反卷积网络的第m层的特征图中加入运动显著性监督，即：
fo'＝(1+AM·fm)/(1+β)
其中，fm为第m层特征图，fo'为加入运动显著性监督后的模型输出，超参β用于调整运动显著性程度，该实施例中设置为1，在增加运动注意的同时保留一定的非运动信息。
(3.7)在卷积层的向量化表达和反卷积层的向量化表达后均连接全连接层，所述全连接层用于行为类别的预测。
优选地，如图3所示，步骤(4)具体包括：
(4.1)将样本视频分成T个时间片段，均输入时空卷积-反卷积网络，并将时空卷积网络对应的全连接层的特征xi(i＝1,...,T)拼接；
(4.2)采用全局平均池化方法计算T维的权值向量w＝[w1,w2,...,wT]；
(4.3)在上述时空卷积-反卷积网络中增加稀疏约束，获取网络结构S。
优选地，在构建基于稀疏约束的时间定位网络结构S时，具体包括如下步骤：
a.将时空卷积网络下层样的最后一层通过全局平均池化方法降至一维向量；
b.分别为各片段对应的一维向量增加一个权值向量w＝[w1,w2,...,wT]；
c.将权值向量与一维向量相乘后均值求和，求取的特征一方面添加全连接层用于行为分类，另一方面用于时空反卷积网络；
优选地，上述步骤(4.3)中增加稀疏约束后，时空卷积和反卷积网络的目标函数为：
l＝lclass+λlsparse
其中，lsparse＝||w||1为稀疏损失，用于强制淘汰稀疏系数为0的部分保留稀疏系数为非0值部分，lclass为用于分类交叉熵损失，λ为权重系数，本实施例中λ＝0.0001。
优选地，所述步骤(5)对网络结构S进行训练的过程中，首先将时空卷积-反卷积网络在数据集Kinetics做预训练，其次，在目标数据做网络训练，学习率设置为0.001，训练160轮。
基于网络结构S的学习，筛选稀疏权重为非零的特征图，淘汰稀疏权重近似为零的特征图，通常，权重系数越大对应的特征图更有可能包含行为。
优选地，所述步骤(6)中计算测试样本视频中各时间片段对应的行为类别采用基于梯度的类别激活图方法进行空间定位行为。
优选地，所述步骤(6)中在对测试样本视频进行行为检测时，分为空间检测和时间检测；具体包括如下步骤：
(6.1)对热力图上采样获取的检测框进行非极大抑制，获取对象候选框；
优选地，获取行为概率分布图的具体步骤为：
a.获取网络结构S中全局平均池化后特征图对应每个通道的权重
Figure GDA0002912023830000101
Figure GDA0002912023830000102
其中，
Figure GDA0002912023830000103
表示第c类(0≤c≤L-1，L表示总的行为类别数)目标在k层特征图的权重，yc表示第c类行为目标的得分，
Figure GDA0002912023830000104
表示第k层特征图所处位置(i,j)对应的激活值；
b.基于梯度的类别激活图，计算行为的概率分布图，即热力图：
Figure GDA0002912023830000105
其中，
Figure GDA0002912023830000106
为第c类的行为的类别激活图；
优选地，步骤(6.1)的具体步骤包括：
(6.1.1)利用基于梯度的类别激活图(Grad-CAM)计算行为的概率分布图；
(6.1.2)在热力图上进行密采样，获取多尺度的检测框；
(6.1.3)对各检测框进行阈值为0.3的非极大抑制，获取对象候选框；
(6.1.4)对对象候选框进行排序，排序公式如下：
Figure GDA0002912023830000107
其中，sum(H(x,y,w,h))表示区间[x,y,w,h]，超参数ε设置为0.00002，(x,y)代表对象候选框在热力图上对应的起始坐标，w,h分别代表候选框的宽与高，H代表候选框中所有热量值；
(6.1.5)对获取的对象候选框进行修正，修正公式如下：
Figure GDA0002912023830000111
其中，Bt表示t时刻的对象检测框，Bs为上述获取的对象候选框，函数S表示将Bs调整尺寸与Bt-1一致，同时保持中心不变，通过上述方式可实现对每个时刻的向后更新，从而解决了显著图无法涵盖行为全身的问题。
(6.2)通过计算样本视频中时间片段对应的权值向量，筛选行为的时间区间；
优选地，非0的片段作为行为的时间区间。
(6.3)将对象候选框对应的空间位置和时间区间结合，获取对象行为时空位置。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种时空行为检测方法，其特征在于，包括：
(1)对样本视频中所有帧进行对象检测，获取候选对象集合；
(2)计算样本视频中所有帧间光流信息，获取运动集合；
(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；
(4)利用时空卷积-反卷积网络对样本视频的各时间片段进行时空卷积-反卷积处理，得到各时间片段对应的处理结果，并为各处理结果添加对应的稀疏变量和稀疏约束得到网络结构S；
(5)以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；
(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及分布概率图，获取对象行为时空位置。
2.如权利要求1所述的时空行为检测方法，其特征在于，所述步骤(1)具体包括：
(1.1)将样本视频中包含的图像缩放到同一尺寸下；
(1.2)利用目标检测器和FPN分别对归一化后的图像进行对象检测，获取两种对象检测框结果；
(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；
(1.4)利用快速跟踪方法和滤波器对未被筛选的对象检测框进行跟踪，找回未检出的对象位置。
3.如权利要求1或2所述的时空行为检测方法，其特征在于，所述步骤(2)具体包括：
(2.1)对光流信息包含的光流水平和竖直方向上的值进行归一化；
(2.2)在光流图水平和竖直方向上利用勾股定理，获取单通道的灰度图；
(2.3)根据灰度图获取运动信息区间。
4.如权利要求3所述的时空行为检测方法，其特征在于，所述时空卷积-反卷积网络包括时空卷积网络和反卷积网络，所述步骤(3)具体包括：
(3.1)全局平均池化时空卷积网络中下采样层的最后一层，获取卷积层的向量化表达；
(3.2)将卷积层的向量化表达与下采样层的最后一层相加获取反卷积网络上采样层的第一层；
(3.3)在反卷积网络的每一层特征图上叠加对应下采样层的特征图，完成时空卷积和反卷积网络的构建；
(3.4)对反卷积网络上采样层的最后一层特征图采用全局平均池化做向量化表达；
(3.5)在上述时空卷积和反卷积网络中选取任一层的特征图中加入对象显著性监督；
(3.6)在上述时空卷积和反卷积网络中选取任一层的特征图中加入运动显著性监督，完成时空卷积-反卷积网络的构建；
(3.7)在卷积层的向量化表达和反卷积层的向量化表达后均连接全连接层，所述全连接层用于对行为类别进行预测。
5.如权利要求4所述的时空行为检测方法，其特征在于，所述步骤(4)具体包括：
(4.1)样本视频分成的T个时间片段通过时空卷积后，将时空卷积网络连接的全连接层的特征xi拼接，其中i＝1,...,T；
(4.2)采用全局平均池化方法计算T维的权值向量w＝[w1,w2,...,wT]；
(4.3)在上述时空卷积-反卷积网络中增加根据权值向量获取的稀疏约束，完成网络结构S的构建。
6.如权利要求5所述的时空行为检测方法，其特征在于，所述步骤(6)具体包括：
(6.1)对热力图上采样获取的检测框进行非极大抑制，获取对象候选框；
(6.2)通过计算样本视频中各时间片段对应的权值向量，筛选行为的时间区间；
(6.3)将对象候选框对应的空间位置和时间区间结合，获取对象行为时空位置。
7.如权利要求6所述的时空行为检测方法，其特征在于，所述步骤(6.1)具体包括：
(6.1.1)利用基于梯度的类别激活图Grad-CAM计算行为的概率分布图；
(6.1.2)在热力图上进行密采样，获取多尺度的检测框；
(6.1.3)对各检测框进行阈值为0.3的非极大抑制，获取对象候选框；
(6.1.4)对对象候选框进行排序，排序公式如下：
Figure FDA0002912023820000031
其中，sum(H(x,y,w,h))表示区间[x,y,w,h]内的热量总和，超参数ε设置为0.00002，(x,y)代表对象候选框在热力图上对应的起始坐标，w,h分别代表候选框的宽与高，H代表候选框中所有热量值；
(6.1.5)对获取的对象候选框进行修正。
8.如权利要求4所述的时空行为检测方法，其特征在于，所述步骤(3.4)具体包括：
(3.4.1)根据对象集合中包含的对象检测框构建对象显著性图AH；
(3.4.2)在时空卷积和反卷积网络的第m层特征图中加入对象显著性监督，获取模型输出：
fo＝(1+AH·fm)/(1+a)
其中，fm为第m层特征图，fo为加入对象显著性监督后的模型输出，超参a用于调整对象显著性程度。
9.如权利要求4所述的时空行为检测方法，其特征在于，所述步骤(3.5)具体包括：
(3.5.1)在样本视频的各时间片段中，利用光流法提取序列中的光流图AM；
(3.5.2)在时空卷积和反卷积网络的第m层特征图中加入运动显著性监督，获取模型输出：
fo'＝(1+AM·fm)/(1+β)
其中，fm为第m层特征图，fo'为加入运动显著性监督后的模型输出，超参β用于调整运动显著性程度。
10.如权利要求5所述的时空行为检测方法，其特征在于，所述步骤(4.3)增加稀疏约束后，时空卷积-反卷积网络的目标函数为：
l＝lclass+λlsparse
其中，lsparse＝||w||1为稀疏损失，用于强制淘汰稀疏系数为0的部分，保留稀疏系数为非0值部分，lclass为基于交叉熵的分类损失，λ为权重系数。
CN201910153037.0A 2019-02-28 2019-02-28 一种时空行为检测方法 Expired - Fee Related CN109961019B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910153037.0A CN109961019B (zh) 2019-02-28 2019-02-28 一种时空行为检测方法
US16/965,015 US11120270B2 (en) 2019-02-28 2020-01-07 Spatiotemporal action detection method
PCT/CN2020/070684 WO2020173226A1 (zh) 2019-02-28 2020-01-07 一种时空行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910153037.0A CN109961019B (zh) 2019-02-28 2019-02-28 一种时空行为检测方法

Publications (2)

Publication Number Publication Date
CN109961019A CN109961019A (zh) 2019-07-02
CN109961019B true CN109961019B (zh) 2021-03-26

Family

ID=67023971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910153037.0A Expired - Fee Related CN109961019B (zh) 2019-02-28 2019-02-28 一种时空行为检测方法

Country Status (3)

Country Link
US (1) US11120270B2 (zh)
CN (1) CN109961019B (zh)
WO (1) WO2020173226A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961019B (zh) 2019-02-28 2021-03-26 华中科技大学 一种时空行为检测方法
CN110378288B (zh) * 2019-07-19 2021-03-26 合肥工业大学 一种基于深度学习的多级时空运动目标检测方法
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN110909677B (zh) * 2019-11-22 2024-04-02 国网安徽省电力有限公司检修分公司 多目标跟踪及行为分析的方法、系统及存储介质
CN110909819A (zh) * 2019-12-02 2020-03-24 集美大学 基于时域的电磁信息泄漏检测方法、终端设备及存储介质
CN111259790B (zh) * 2020-01-15 2023-06-20 上海交通大学 用于中短时视频的从粗到细的行为快速检测与分类方法及系统
CN111695590B (zh) * 2020-04-24 2022-05-03 浙江大学 约束优化类激活映射的深度神经网络特征可视化方法
US11922667B2 (en) * 2020-04-28 2024-03-05 Rakuten Group, Inc. Object region identification device, object region identification method, and object region identification program
CN112184767A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
CN112419227B (zh) * 2020-10-14 2024-02-20 北京大学深圳研究生院 基于小目标搜索缩放技术的水下目标检测方法和系统
CN112434655B (zh) * 2020-12-07 2022-11-08 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法
CN112731567B (zh) * 2021-01-11 2021-09-21 河海大学 一种用于超高频微波的时空协同干湿增强判别方法
CN117015726A (zh) 2021-03-09 2023-11-07 株式会社东芝 闪烁器阵列及使用其的放射线检测器、放射线检查装置
CN113313682B (zh) * 2021-05-28 2023-03-21 西安电子科技大学 基于时空多尺度分析的无参考视频质量评价方法
CN113469331B (zh) * 2021-06-28 2024-02-13 中国科学技术大学 基于全局和局部时空图卷积的车辆尾气预测方法及系统
CN113822172B (zh) * 2021-08-30 2024-06-14 中国科学院上海微系统与信息技术研究所 一种视频时空行为检测方法
CN113920387B (zh) * 2021-09-13 2023-08-08 西北大学 一种短时rPPG信号检测模型的构建方法及检测方法
CN113887419B (zh) * 2021-09-30 2023-05-12 四川大学 一种基于提取视频时空信息的人体行为识别方法及系统
CN114220169A (zh) * 2021-12-16 2022-03-22 山东大学 一种基于Yolo-TSM的轻量级实时监控异常行为检测方法
CN114373194A (zh) * 2022-01-14 2022-04-19 南京邮电大学 基于关键帧与注意力机制的人体行为识别方法
CN114613004B (zh) * 2022-02-28 2023-08-01 电子科技大学 一种人体动作的轻量化在线检测方法
CN114998805A (zh) * 2022-06-14 2022-09-02 南京邮电大学 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法
CN115841642B (zh) * 2022-11-30 2023-11-07 中国电子科技集团公司第十研究所 动态特征辅助的可见光火情检测识别方法、设备及介质
CN116524414B (zh) * 2023-06-26 2023-10-17 广州英码信息科技有限公司 一种打架行为识别方法、系统及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN104933417B (zh) * 2015-06-26 2019-03-15 苏州大学 一种基于稀疏时空特征的行为识别方法
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
CN108805015B (zh) 2018-04-26 2021-09-03 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
KR20210055038A (ko) * 2018-07-16 2021-05-14 악셀 로보틱스 코포레이션 자율 매장 추적 시스템
CN109190479A (zh) 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN109961019B (zh) 2019-02-28 2021-03-26 华中科技大学 一种时空行为检测方法
US11468538B2 (en) * 2019-04-05 2022-10-11 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A two-level attention-based interaction model for multi-person activity recognition;Lihua Lu et al;《Neurocomputing》;20180927;第322卷;第195-205页 *
CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos;Zheng Shou et al;《arXiv:1703.01515v2 [cs.CV]》;20170613;第1-14页 *
Discriminative Part Selection for Human Action Recognition;Shiwei Zhang et al;《IEEE TRANSACTIONS ON MULTIMEDIA》;20180430;第20卷(第4期);第769-780页 *
Recurrent Spatial-Temporal Attention Network for Action Recognition in Videos;Wenbin Du et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180331;第27卷(第3期);第1347-1360页 *
VideoLSTM convolves, attends and flows for action recognition;Zhenyang Li et al;《Computer Vision and Image Understanding》;20181231;第166卷;第41-50页 *
Weakly Supervised Action Localization by Sparse Temporal Pooling Network;Phuc Nguyen et al;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第6752-6761页 *

Also Published As

Publication number Publication date
WO2020173226A1 (zh) 2020-09-03
US20210248378A1 (en) 2021-08-12
US11120270B2 (en) 2021-09-14
CN109961019A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109961019B (zh) 一种时空行为检测方法
US10210391B1 (en) Method and system for detecting actions in videos using contour sequences
US10607098B2 (en) System of a video frame detector for video content identification and method thereof
CN111178183B (zh) 人脸检测方法及相关装置
US9111148B2 (en) Unsupervised learning of feature anomalies for a video surveillance system
US7822275B2 (en) Method for detecting water regions in video
US20170358093A1 (en) Method and apparatus for updating a background model
CN110097028B (zh) 基于三维金字塔图像生成网络的人群异常事件检测方法
CN104268594A (zh) 一种视频异常事件检测方法及装置
US9904868B2 (en) Visual attention detector and visual attention detection method
US20070058837A1 (en) Video motion detection using block processing
CN114241511B (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN113534832A (zh) 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
Vijayan et al. A fully residual convolutional neural network for background subtraction
CN114743262A (zh) 行为检测方法、装置、电子设备及存储介质
Kalshetty et al. Abnormal event detection model using an improved ResNet101 in context aware surveillance system
CN112532999B (zh) 基于深度神经网络的数字视频删帧篡改检测方法
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN116665015B (zh) 一种基于YOLOv5的红外序列图像弱小目标检测方法
CN113762007A (zh) 一种基于外观和动作特征双预测的异常行为检测方法
CN115331152B (zh) 一种消防识别方法和系统
CN116611977A (zh) 失联人员路径溯源及救援方法和装置
Katkar et al. Detection and Tracking the Criminal Activity using Network of CCTV cameras
Wang et al. Tiny drone object detection in videos guided by the bio-inspired magnocellular computation model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210326