CN110188654B - 一种基于移动未裁剪网络的视频行为识别方法 - Google Patents

一种基于移动未裁剪网络的视频行为识别方法 Download PDF

Info

Publication number
CN110188654B
CN110188654B CN201910443353.1A CN201910443353A CN110188654B CN 110188654 B CN110188654 B CN 110188654B CN 201910443353 A CN201910443353 A CN 201910443353A CN 110188654 B CN110188654 B CN 110188654B
Authority
CN
China
Prior art keywords
video
segment
candidate
score
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910443353.1A
Other languages
English (en)
Other versions
CN110188654A (zh
Inventor
李春国
徐煜耀
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910443353.1A priority Critical patent/CN110188654B/zh
Publication of CN110188654A publication Critical patent/CN110188654A/zh
Application granted granted Critical
Publication of CN110188654B publication Critical patent/CN110188654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于移动未裁剪网络的视频行为识别方法，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。

Description

一种基于移动未裁剪网络的视频行为识别方法
技术领域
本发明涉及属于计算机视觉与人工智能、多媒体信号处理领域，特别是涉及一种基于移动未裁剪网络的视频行为识别方法。
背景技术
目前，一些研究机构通过手工裁剪的方式制作了一些数据集，如THUMOS14和ActivityNet。这些数据集都是一些长视频，但是均附有一个标注文件，来说明这个视频中哪类动作起始时间与结束时间。虽然这些精确的时间注解可以缓解训练网络时的困难，但是这将很大程度上制约视频行为识别算法在实际场景中的应用。这主要有以下几个原因：首先，注释每个动作实例的非常耗时；其次，微博、YouTube等视频网站上的大量视频一般不会对动作进行裁剪，在这样的大规模数据中修剪视频将是不切实际的；另外，更重要的是，对于动作边界的定义很模糊，没有关于动作的起止时间范围的合理定义。因此，这些动作的时间标注是裁定人的主观意识，在不同的人之间不一致，这将对网络的训练造成影响。
现实生活中的视频往往是未经过裁剪的视频，因此，如何克服未裁剪视频的上述问题并将这些视频数据整理成可用的数据集显得尤为重要。对于视频而言，对它进行视频层面的类别标记是比较容易的。如何利用这些只进行了视频层面类别标记但没有进行行为裁剪的视频，来帮助提升行为识别算法的适用性将显得至关重要。由于这些视频没有具体的动作时间标记来帮助网络进行训练，因此称这类任务是弱监督行为检测(WeaklySupervised Action Detection，WSD)。所谓的行为检测就是给视频中的行为进行起止时间的标定，并给出行为的分类。然而，这种弱监督方式也带来了新的挑战，因为算法不仅需要学习每个动作类的视觉模式，而且还需要自动推理可能的动作实例的时间位置。因此在完成这类任务时，需要同时兼顾这两个层面。Wang等人提出了一种新的端到端训练的深度学习网络——未裁剪网络(UntrimmedNet)。在没有动作实例的时间标注的情况下，UntrimmedNet可以直接将一个未裁剪的视频作为输入，仅仅利用它的视频级标签来学习网络权重，让网络能够实现对视频中行为起止时间段的标定。
本发明在UntrimmedNet的基础上，对其结构进行了改进，利用移动有效卷积网络代替了UntrimmedNet中原来的视频特征提取器，使网络的训练不那么耗时，这里记这种结构为移动未裁剪网络(Mobile-Untrimmed-Net，MU-Net)。另外，本发明提出了一种分数相邻比较法，运用于MU-Net中，使得时序段检测精度得以上升。
发明内容
为了解决以上问题，本发明提供一种基于移动未裁剪网络的视频行为识别方法，为了有效利用长时序未裁剪视频数据集，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率，为达此目的，本发明提供一种基于移动未裁剪网络的视频行为识别方法，包括以下步骤：
(1)将输入的视频进行基于镜头的采样；
(2)将采样后的视频候选段利用移动有效卷积网络提取特征；
(3)将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数；
(4)将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算；
(5)将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。
作为本发明进一步改进，所述步骤(1)中对输入的视频进行基于镜头的采样，具体步骤为：
步骤1.1：对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值，如果这个差值大于某一阈值，阈值设定为0.0715，那么就可以认为这里发生了一次镜头切换，然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段。
作为本发明进一步改进，所述步骤(2)中将采样后的视频候选段利用移动有效卷积网络提取特征，具体步骤为：
步骤2.1：将步骤1.1基于镜头采样得到的视频候选段，对其进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)。
作为本发明进一步改进，所述步骤(3)中将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数，具体步骤为：
步骤3.1：基于镜头采样得到的视频候选段经过步骤2.1得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成，假设目前有C个动作类别，全连接层构造了一个线性映射
Figure BDA0002072793290000031
能够将特征向量φ(c)转换成C维的分数向量xc(c)，将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (5)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
Figure BDA0002072793290000032
其中，
Figure BDA0002072793290000033
表示的是向量xc(c)在第i个类别上的绝对分数。为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而
Figure BDA0002072793290000037
表示的是SoftMax分类分数。
作为本发明进一步改进，所述步骤(4)中将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算，具体步骤为：
步骤4.1：对经过步骤1.1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段，对于每一个视频候选段，将步骤2.1得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)；
xs(c)＝wsTφ(c) (7)
其中，
Figure BDA0002072793290000034
就是模型的参数，T表示转置，然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较；
Figure BDA0002072793290000035
这里式中，xs(c)称为原始候选片段c的原始分数，而
Figure BDA0002072793290000036
表示的是SoftMax分数。
作为本发明进一步改进，所述步骤(5)中将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域，具体步骤为：
步骤5.1：将步骤4.1得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除；
步骤5.2：将经过步骤5.1背景剔除之后的视频候选段中的注意力权重与另一个阈值，阈值取0.5比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段，如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段，这就一定程度上避免了使用一个大阈值可能会将一个动作实例分割成几个片段的情况发生，需要注意的是，这里的低分数区也不能过低，如果该分数值低于某一阈值，也会将其视为非该类动作区域，这里将此阈值设置为0.1。
作为本发明进一步改进，所述THUMOS14数据集来自于行为识别竞赛，竞赛名字即为THUMOS，该数据集主要针对两类任务一个是行为识别任务，另一个是时序行为检测任务，针对行为识别任务，它有101个动作类别，且训练集即为UCF101的数据集，这些都是已经裁剪过的视频。对于时序检测任务，它有20个动作类别，这些是未裁剪的视频，该数据集包含了四个部分：训练集、评估集、背景集、测试集。
作为本发明进一步改进，建立模型的实验平台如下：Ubuntu14系统，采用GeForceGTX 980显卡，采用Caffe框架来进行网络的训练与测试，使用基于Nesterov动量优化的小批次法来训练，并在每个全连接层中使用Dropout法进行正则化，防止过拟合，将每个视频候选段分割成8片段，并从每个片段中随机选择一个帧，将输入帧的大小调整到240×320，并采用固定角裁剪和基于水平翻转的尺度抖动来进行数据增强，然后，将输入调整为3×8×224×224，训练时初始学习率设置为0.001，当验证误差饱和4次时，学习率降低10倍，训练网络的动量设置为0.9，权重衰减设置为0.0005，小批次的大小设置为8。
有益效果：本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。
附图说明
图1为移动未裁剪网络的视频行为识别整体流程；
图2为移动有效卷积网络的网络结构；
图3为类激活序列相邻分数比较法示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种基于移动未裁剪网络的视频行为识别方法，为了有效利用长时序未裁剪视频数据集，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。
下面以公开数据集THUMOS 2014为例，结合附图对本发明一种基于移动未裁剪网络的视频行为识别方法的具体实施方式作进一步详细说明。
步骤1：将输入的视频进行基于镜头的采样。
对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值。如果这个差值大于某一阈值(这里设定为0.0715)，那么就可以认为这里发生了一次镜头切换。然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段。
步骤2：将步骤1基于镜头采样得到的视频候选段，进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)。移动有效卷积网络的结构可见说明书附图2所示。
步骤3：基于镜头采样得到的视频候选段经过步骤2得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成。假设目前有C个动作类别，全连接层构造了一个线性映射
Figure BDA0002072793290000051
能够将特征向量φ(c)转换成C维的分数向量xc(c)，可以将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (9)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
Figure BDA0002072793290000061
其中，
Figure BDA0002072793290000062
表示的是向量xc(c)在第i个类别上的绝对分数。为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而
Figure BDA0002072793290000067
表示的是SoftMax分类分数。
步骤4：对经过步骤1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段。对于每一个视频候选段，将步骤2得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)。
xs(c)＝wsTφ(c) (11)
其中，
Figure BDA0002072793290000063
就是模型的参数，T表示转置。然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较。
Figure BDA0002072793290000064
这里式中，xs(c)称为原始候选片段c的原始分数，而
Figure BDA0002072793290000068
表示的是SoftMax分数。
步骤5：将步骤4得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除。再将经过背景剔除之后的视频候选段中的注意力权重与另一个阈值(取0.5)比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段。如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段，这就一定程度上避免了使用一个大阈值可能会将一个动作实例分割成几个片段的情况发生。需要注意的是，这里的低分数区也不能过低，如果该分数值低于某一阈值，也会将其视为非该类动作区域，这里将此阈值设置为0.1。该过程可见说明书附图3所示
步骤6：在数据集THUMOS 2014上的测试结果如表1表2所示；
表1 视频行为识别测试结果
Figure BDA0002072793290000065
表2 时序行为检测结果
Figure BDA0002072793290000066
Figure BDA0002072793290000071
本发明中模型训练的超参数为：
Figure BDA0002072793290000072
至此完成了基于移动未裁剪网络的视频行为识别方法的训练和推理流程。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.一种基于移动未裁剪网络的视频行为识别方法，包括以下步骤，其特征在于：
(1)将输入的视频进行基于镜头的采样；
所述步骤(1)中对输入的视频进行基于镜头的采样，具体步骤为：
步骤1.1：对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值，如果这个差值大于某一阈值，阈值设定为0.0715，那么就可以认为这里发生了一次镜头切换，然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段；
(2)将采样后的视频候选段利用移动有效卷积网络提取特征；
所述步骤(2)中将采样后的视频候选段利用移动有效卷积网络提取特征，具体步骤为：
步骤2.1：将步骤1.1基于镜头采样得到的视频候选段，对其进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)；
(3)将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数；
所述步骤(3)中将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数，具体步骤为：
步骤3.1：基于镜头采样得到的视频候选段经过步骤2.1得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成，假设目前有C个动作类别，全连接层构造了一个线性映射
Figure FDA0003919845500000011
能够将特征向量φ(c)转换成C维的分数向量xc(c)，将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (1)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
Figure FDA0003919845500000012
其中，
Figure FDA0003919845500000013
表示的是向量xc(c)在第i个类别上的绝对分数，为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而
Figure FDA0003919845500000014
表示的是SoftMax分类分数；
(4)将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算；
所述步骤(4)中将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算，具体步骤为：
步骤4.1：对经过步骤1.1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段，对于每一个视频候选段，将步骤2.1得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)；
xs(c)＝wsTφ(c) (3)
其中，
Figure FDA0003919845500000021
就是模型的参数，T表示转置，然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较；
Figure FDA0003919845500000022
这里式中，xs(c)称为原始候选片段c的原始分数，而
Figure FDA0003919845500000023
表示的是SoftMax分数；
(5)将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域；
所述步骤(5)中将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域，具体步骤为：
步骤5.1：将步骤4.1得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除；
步骤5.2：将经过步骤5.1背景剔除之后的视频候选段中的注意力权重与另一个阈值，阈值取0.5比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段，如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段。
2.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：建立模型的实验平台如下：Ubuntu 14系统，采用GeForce GTX 980显卡，采用Caffe框架来进行网络的训练与测试，使用基于Nesterov动量优化的小批次法来训练，并在每个全连接层中使用Dropout法进行正则化，防止过拟合，将每个视频候选段分割成8片段，并从每个片段中随机选择一个帧，将输入帧的大小调整到240×320，并采用固定角裁剪和基于水平翻转的尺度抖动来进行数据增强，然后，将输入调整为3×8×224×224，训练时初始学习率设置为0.001，当验证误差饱和4次时，学习率降低10倍，训练网络的动量设置为0.9，权重衰减设置为0.0005，小批次的大小设置为8。
CN201910443353.1A 2019-05-27 2019-05-27 一种基于移动未裁剪网络的视频行为识别方法 Active CN110188654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910443353.1A CN110188654B (zh) 2019-05-27 2019-05-27 一种基于移动未裁剪网络的视频行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443353.1A CN110188654B (zh) 2019-05-27 2019-05-27 一种基于移动未裁剪网络的视频行为识别方法

Publications (2)

Publication Number Publication Date
CN110188654A CN110188654A (zh) 2019-08-30
CN110188654B true CN110188654B (zh) 2023-04-07

Family

ID=67717928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443353.1A Active CN110188654B (zh) 2019-05-27 2019-05-27 一种基于移动未裁剪网络的视频行为识别方法

Country Status (1)

Country Link
CN (1) CN110188654B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104855B (zh) * 2019-11-11 2023-09-12 杭州电子科技大学 一种基于时序行为检测的工作流识别方法
CN111444969B (zh) * 2020-03-30 2022-02-01 西安交通大学 一种弱监督的ivoct图像异常区域检测方法
CN111797771B (zh) * 2020-07-07 2022-09-09 南京理工大学 一种基于迭代学习的弱监督视频行为检测方法及系统
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112733595A (zh) * 2020-12-02 2021-04-30 国网湖南省电力有限公司 一种基于时间分段网络的视频动作识别方法及存储介质
CN113283282B (zh) * 2021-03-10 2024-05-28 北京工业大学 一种基于时域语义特征的弱监督时序动作检测方法
CN114022827B (zh) * 2022-01-05 2022-06-17 阿里巴巴（中国）有限公司 产线作业管理与视频处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种视角无关的时空关联深度视频行为识别方法;吴培良;《电子与信息学报》;20181221;全文 *

Also Published As

Publication number Publication date
CN110188654A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188654B (zh) 一种基于移动未裁剪网络的视频行为识别方法
CN112035669B (zh) 基于传播异质图建模的社交媒体多模态谣言检测方法
Das et al. Sign language recognition using deep learning on custom processed static gesture images
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
US20170177972A1 (en) Method for analysing media content
CN111738105B (zh) 公式识别方法、装置、电子设备和存储介质
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
WO2021051598A1 (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
CN110516536A (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN109325440B (zh) 人体动作识别方法及系统
CN103984959A (zh) 一种基于数据与任务驱动的图像分类方法
CN113536922A (zh) 一种加权融合多种图像任务的视频行为识别方法
WO2019136960A1 (zh) 一种爬取网站数据的方法、存储介质、服务器及装置
CN109871885A (zh) 一种基于深度学习和植物分类学的植物识别方法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN112507912B (zh) 一种识别违规图片的方法及装置
Shen et al. Hierarchical Attention Based Spatial-Temporal Graph-to-Sequence Learning for Grounded Video Description.
CN111639594B (zh) 图像描述模型的训练方法及装置
CN115713715A (zh) 一种基于深度学习的人体行为识别方法及识别系统
CN112991280A (zh) 视觉检测方法、系统及电子设备
CN110163103B (zh) 一种基于视频图像的生猪行为识别方法和装置
Matheven et al. Fake news detection using deep learning and natural language processing
CN111242114B (zh) 文字识别方法及装置
CN110738129B (zh) 一种基于r-c3d网络的端到端视频时序行为检测方法
CN109859244B (zh) 一种基于卷积稀疏滤波的视觉跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant