CN110188654A - 一种基于移动未裁剪网络的视频行为识别方法 - Google Patents
一种基于移动未裁剪网络的视频行为识别方法 Download PDFInfo
- Publication number
- CN110188654A CN110188654A CN201910443353.1A CN201910443353A CN110188654A CN 110188654 A CN110188654 A CN 110188654A CN 201910443353 A CN201910443353 A CN 201910443353A CN 110188654 A CN110188654 A CN 110188654A
- Authority
- CN
- China
- Prior art keywords
- video
- segment
- candidate
- score
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000004913 activation Effects 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 210000003813 thumb Anatomy 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 7
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种基于移动未裁剪网络的视频行为识别方法，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。
Description
技术领域
本发明涉及属于计算机视觉与人工智能、多媒体信号处理领域，特别是涉及一种基于移动未裁剪网络的视频行为识别方法。
背景技术
目前，一些研究机构通过手工裁剪的方式制作了一些数据集，如THUMOS14和ActivityNet。这些数据集都是一些长视频，但是均附有一个标注文件，来说明这个视频中哪类动作起始时间与结束时间。虽然这些精确的时间注解可以缓解训练网络时的困难，但是这将很大程度上制约视频行为识别算法在实际场景中的应用。这主要有以下几个原因：首先，注释每个动作实例的非常耗时；其次，微博、YouTube等视频网站上的大量视频一般不会对动作进行裁剪，在这样的大规模数据中修剪视频将是不切实际的；另外，更重要的是，对于动作边界的定义很模糊，没有关于动作的起止时间范围的合理定义。因此，这些动作的时间标注是裁定人的主观意识，在不同的人之间不一致，这将对网络的训练造成影响。
现实生活中的视频往往是未经过裁剪的视频，因此，如何克服未裁剪视频的上述问题并将这些视频数据整理成可用的数据集显得尤为重要。对于视频而言，对它进行视频层面的类别标记是比较容易的。如何利用这些只进行了视频层面类别标记但没有进行行为裁剪的视频，来帮助提升行为识别算法的适用性将显得至关重要。由于这些视频没有具体的动作时间标记来帮助网络进行训练，因此称这类任务是弱监督行为检测(WeaklySupervised Action Detection，WSD)。所谓的行为检测就是给视频中的行为进行起止时间的标定，并给出行为的分类。然而，这种弱监督方式也带来了新的挑战，因为算法不仅需要学习每个动作类的视觉模式，而且还需要自动推理可能的动作实例的时间位置。因此在完成这类任务时，需要同时兼顾这两个层面。Wang等人提出了一种新的端到端训练的深度学习网络——未裁剪网络(UntrimmedNet)。在没有动作实例的时间标注的情况下，UntrimmedNet可以直接将一个未裁剪的视频作为输入，仅仅利用它的视频级标签来学习网络权重，让网络能够实现对视频中行为起止时间段的标定。
本发明在UntrimmedNet的基础上，对其结构进行了改进，利用移动有效卷积网络代替了UntrimmedNet中原来的视频特征提取器，使网络的训练不那么耗时，这里记这种结构为移动未裁剪网络(Mobile-Untrimmed-Net，MU-Net)。另外，本发明提出了一种分数相邻比较法，运用于MU-Net中，使得时序段检测精度得以上升。
发明内容
为了解决以上问题，本发明提供一种基于移动未裁剪网络的视频行为识别方法，为了有效利用长时序未裁剪视频数据集，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率，为达此目的，本发明提供一种基于移动未裁剪网络的视频行为识别方法，包括以下步骤：
(1)将输入的视频进行基于镜头的采样；
(2)将采样后的视频候选段利用移动有效卷积网络提取特征；
(3)将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数；
(4)将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算；
(5)将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。
作为本发明进一步改进，所述步骤(1)中对输入的视频进行基于镜头的采样，具体步骤为：
步骤1.1：对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值，如果这个差值大于某一阈值，阈值设定为0.0715，那么就可以认为这里发生了一次镜头切换，然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段。
作为本发明进一步改进，所述步骤(2)中将采样后的视频候选段利用移动有效卷积网络提取特征，具体步骤为：
步骤2.1：将步骤1.1基于镜头采样得到的视频候选段，对其进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)。
作为本发明进一步改进，所述步骤(3)中将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数，具体步骤为：
步骤3.1：基于镜头采样得到的视频候选段经过步骤2.1得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成，假设目前有C个动作类别，全连接层构造了一个线性映射能够将特征向量φ(c)转换成C维的分数向量xc(c)，将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (5)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
其中，表示的是向量xc(c)在第i个类别上的绝对分数。为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而表示的是SoftMax分类分数。
作为本发明进一步改进，所述步骤(4)中将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算，具体步骤为：
步骤4.1：对经过步骤1.1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段，对于每一个视频候选段，将步骤2.1得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)；
xs(c)＝wsTφ(c) (7)
其中，就是模型的参数，T表示转置，然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较；
这里式中，xs(c)称为原始候选片段c的原始分数，而表示的是SoftMax分数。
作为本发明进一步改进，所述步骤(5)中将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域，具体步骤为：
步骤5.1：将步骤4.1得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除；
步骤5.2：将经过步骤5.1背景剔除之后的视频候选段中的注意力权重与另一个阈值，阈值取0.5比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段，如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段，这就一定程度上避免了使用一个大阈值可能会将一个动作实例分割成几个片段的情况发生，需要注意的是，这里的低分数区也不能过低，如果该分数值低于某一阈值，也会将其视为非该类动作区域，这里将此阈值设置为0.1。
作为本发明进一步改进，所述THUMOS14数据集来自于行为识别竞赛，竞赛名字即为THUMOS，该数据集主要针对两类任务一个是行为识别任务，另一个是时序行为检测任务，针对行为识别任务，它有101个动作类别，且训练集即为UCF101的数据集，这些都是已经裁剪过的视频。对于时序检测任务，它有20个动作类别，这些是未裁剪的视频，该数据集包含了四个部分：训练集、评估集、背景集、测试集。
作为本发明进一步改进，建立模型的实验平台如下：Ubuntu14系统，采用GeForceGTX 980显卡，采用Caffe框架来进行网络的训练与测试，使用基于Nesterov动量优化的小批次法来训练，并在每个全连接层中使用Dropout法进行正则化，防止过拟合，将每个视频候选段分割成8片段，并从每个片段中随机选择一个帧，将输入帧的大小调整到240×320，并采用固定角裁剪和基于水平翻转的尺度抖动来进行数据增强，然后，将输入调整为3×8×224×224，训练时初始学习率设置为0.001，当验证误差饱和4次时，学习率降低10倍，训练网络的动量设置为0.9，权重衰减设置为0.0005，小批次的大小设置为8。
有益效果：本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。
附图说明
图1为移动未裁剪网络的视频行为识别整体流程；
图2为移动有效卷积网络的网络结构；
图3为类激活序列相邻分数比较法示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种基于移动未裁剪网络的视频行为识别方法，为了有效利用长时序未裁剪视频数据集，本发明在未裁剪网络的基础上，提出基于移动未裁剪网络的视频行为识别方法。本发明先对长时序未裁剪视频进行基于镜头的采样，再利用移动有效卷积网络提取候选段的特征，然后通过分类模块对其生成动作分类分数，接着利用选择模块针对某一动作类别对所有候选段进行排序，最后通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。本发明在THUMOS 2014数据集上的行为识别正确率达到了81.9％。另外，本发明在交并比阈值设为0.3的前提下，在此数据集上行为时序检测的平均均值精度达到了28.3。另一方面，可以通过此发明实现为未裁剪的视频数据集进行行为时序标定，进而提升标定效率。
下面以公开数据集THUMOS 2014为例，结合附图对本发明一种基于移动未裁剪网络的视频行为识别方法的具体实施方式作进一步详细说明。
步骤1：将输入的视频进行基于镜头的采样。
对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值。如果这个差值大于某一阈值(这里设定为0.0715)，那么就可以认为这里发生了一次镜头切换。然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段。
步骤2：将步骤1基于镜头采样得到的视频候选段，进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)。移动有效卷积网络的结构可见说明书附图2所示。
步骤3：基于镜头采样得到的视频候选段经过步骤2得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成。假设目前有C个动作类别，全连接层构造了一个线性映射能够将特征向量φ(c)转换成C维的分数向量xc(c)，可以将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (9)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
其中，表示的是向量xc(c)在第i个类别上的绝对分数。为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而表示的是SoftMax分类分数。
步骤4：对经过步骤1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段。对于每一个视频候选段，将步骤2得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)。
xs(c)＝wsTφ(c) (11)
其中，就是模型的参数，T表示转置。然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较。
这里式中，xs(c)称为原始候选片段c的原始分数，而表示的是SoftMax分数。
步骤5：将步骤4得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除。再将经过背景剔除之后的视频候选段中的注意力权重与另一个阈值(取0.5)比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段。如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段，这就一定程度上避免了使用一个大阈值可能会将一个动作实例分割成几个片段的情况发生。需要注意的是，这里的低分数区也不能过低，如果该分数值低于某一阈值，也会将其视为非该类动作区域，这里将此阈值设置为0.1。该过程可见说明书附图3所示
步骤6：在数据集THUMOS 2014上的测试结果如表1表2所示；
表1 视频行为识别测试结果
表2 时序行为检测结果
本发明中模型训练的超参数为：
至此完成了基于移动未裁剪网络的视频行为识别方法的训练和推理流程。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (8)
1.一种基于移动未裁剪网络的视频行为识别方法，包括以下步骤，其特征在于：
(1)将输入的视频进行基于镜头的采样；
(2)将采样后的视频候选段利用移动有效卷积网络提取特征；
(3)将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数；
(4)将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算；
(5)将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域。
2.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述步骤(1)中对输入的视频进行基于镜头的采样，具体步骤为：
步骤1.1：对于一个输入视频，提取每一帧的HOG特征，并计算相邻帧之间的HOG特征差值，如果这个差值大于某一阈值，阈值设定为0.0715，那么就可以认为这里发生了一次镜头切换，然后，从每一个镜头中按顺序采样固定的K帧，得到视频候选段。
3.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述步骤(2)中将采样后的视频候选段利用移动有效卷积网络提取特征，具体步骤为：
步骤2.1：将步骤1.1基于镜头采样得到的视频候选段，对其进行稀疏采样，得到视频帧输入到移动有效卷积网络中，以此来进行特征提取，提取到的特征向量记为φ(c)。
4.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述步骤(3)中将移动有效卷积网络提取的特征利用分类模块进行类别打分，得到相应的行为类别分数，具体步骤为：
步骤3.1：基于镜头采样得到的视频候选段经过步骤2.1得到特征向量φ(c)之后，利用分类模块对其进行类别打分，其中分类模块由全连接层与SoftMax层组成，假设目前有C个动作类别，全连接层构造了一个线性映射能够将特征向量φ(c)转换成C维的分数向量xc(c)，将这个过程表示为如式(1)所示：
xc(c)＝Wcφ(c) (1)
在得到这个分数向量之后，利用SoftMax函数对其进行分数归一化，得到相对的分数值，可见式(2)所示：
其中，表示的是向量xc(c)在第i个类别上的绝对分数。为了更清晰的说明，这里把xc(c)称为片段候选区c初始的分类分数，而表示的是SoftMax分类分数。
5.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述步骤(4)中将不同的视频候选段通过选择模块利用注意力机制针对某一类别进行注意力权重计算，具体步骤为：
步骤4.1：对经过步骤1.1采样得到的视频候选段，通过学习一个注意力权重来加强那些具有判别能力的候选段的地位，并抑制那些只拥有背景运动没有所需动作实例的候选段，对于每一个视频候选段，将步骤2.1得到的特征向量φ(c)进行一个如式(3)所示的线性变换，就能学习到注意力权重值xs(c)；
xs(c)＝wsTφ(c) (3)
其中，就是模型的参数，T表示转置，然后，这些不同片段候选区的注意力权重通过SoftMax层，得到如式(4)所示的分数，然后将不同片段候选区的该分数进行比较；
这里式中，xs(c)称为原始候选片段c的原始分数，而表示的是SoftMax分数。
6.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述步骤(5)中将不同视频候选段的注意力权重通过类激活序列相邻分数比较法，选出动作最有可能存在的时序区域，具体步骤为：
步骤5.1：将步骤4.1得到的不同视频候选段的注意力权重构成一个类激活序列，首先设定一个阈值0.0001，当候选段的注意力权重小于这个阈值时，这里就认为它是背景片段，把它剔除；
步骤5.2：将经过步骤5.1背景剔除之后的视频候选段中的注意力权重与另一个阈值，阈值取0.5比较，当视频候选段c的某一类别k的注意力大于该阈值时，就认为该片段候选区是类别k行为的片段，如果一个低分数片段位于两个高分数片段中间，则将此低分数片段也视为动作实例所在时序段，这就一定程度上避免了使用一个大阈值可能会将一个动作实例分割成几个片段的情况发生，需要注意的是，这里的低分数区也不能过低，如果该分数值低于某一阈值，也会将其视为非该类动作区域，这里将此阈值设置为0.1。
7.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：所述THUMOS14数据集来自于行为识别竞赛，竞赛名字即为THUMOS，该数据集主要针对两类任务一个是行为识别任务，另一个是时序行为检测任务，针对行为识别任务，它有101个动作类别，且训练集即为UCF101的数据集，这些都是已经裁剪过的视频。对于时序检测任务，它有20个动作类别，这些是未裁剪的视频，该数据集包含了四个部分：训练集、评估集、背景集、测试集。
8.根据权利要求1所述的一种基于移动未裁剪网络的视频行为识别方法，其特征在于：建立模型的实验平台如下：Ubuntu 14系统，采用GeForce GTX 980显卡，采用Caffe框架来进行网络的训练与测试，使用基于Nesterov动量优化的小批次法来训练，并在每个全连接层中使用Dropout法进行正则化，防止过拟合，将每个视频候选段分割成8片段，并从每个片段中随机选择一个帧，将输入帧的大小调整到240×320，并采用固定角裁剪和基于水平翻转的尺度抖动来进行数据增强，然后，将输入调整为3×8×224×224，训练时初始学习率设置为0.001，当验证误差饱和4次时，学习率降低10倍，训练网络的动量设置为0.9，权重衰减设置为0.0005，小批次的大小设置为8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910443353.1A CN110188654B (zh) | 2019-05-27 | 2019-05-27 | 一种基于移动未裁剪网络的视频行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910443353.1A CN110188654B (zh) | 2019-05-27 | 2019-05-27 | 一种基于移动未裁剪网络的视频行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110188654A true CN110188654A (zh) | 2019-08-30 |
| CN110188654B CN110188654B (zh) | 2023-04-07 |
Family
ID=67717928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910443353.1A Active CN110188654B (zh) | 2019-05-27 | 2019-05-27 | 一种基于移动未裁剪网络的视频行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188654B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104855A (zh) * | 2019-11-11 | 2020-05-05 | 杭州电子科技大学 | 一种基于时序行为检测的工作流识别方法 |
| CN111444969A (zh) * | 2020-03-30 | 2020-07-24 | 西安交通大学 | 一种弱监督的ivoct图像异常区域检测方法 |
| CN112150442A (zh) * | 2020-09-25 | 2020-12-29 | 帝工(杭州)科技产业有限公司 | 基于深度卷积神经网络及多实例学习的新冠诊断系统 |
| CN112733595A (zh) * | 2020-12-02 | 2021-04-30 | 国网湖南省电力有限公司 | 一种基于时间分段网络的视频动作识别方法及存储介质 |
| CN113283282A (zh) * | 2021-03-10 | 2021-08-20 | 北京工业大学 | 一种基于时域语义特征的弱监督时序动作检测方法 |
| WO2022007193A1 (zh) * | 2020-07-07 | 2022-01-13 | 南京理工大学 | 一种基于迭代学习的弱监督视频行为检测方法及系统 |
| CN114022827A (zh) * | 2022-01-05 | 2022-02-08 | 阿里巴巴（中国）有限公司 | 产线作业管理与视频处理方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480642A (zh) * | 2017-08-18 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于时域分段网络的视频动作识别方法 |
| CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
| CN109389055A (zh) * | 2018-09-21 | 2019-02-26 | 西安电子科技大学 | 基于混合卷积和注意力机制的视频分类方法 |
-
2019
- 2019-05-27 CN CN201910443353.1A patent/CN110188654B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480642A (zh) * | 2017-08-18 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于时域分段网络的视频动作识别方法 |
| CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
| CN109389055A (zh) * | 2018-09-21 | 2019-02-26 | 西安电子科技大学 | 基于混合卷积和注意力机制的视频分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴培良: "一种视角无关的时空关联深度视频行为识别方法", 《电子与信息学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104855A (zh) * | 2019-11-11 | 2020-05-05 | 杭州电子科技大学 | 一种基于时序行为检测的工作流识别方法 |
| CN111104855B (zh) * | 2019-11-11 | 2023-09-12 | 杭州电子科技大学 | 一种基于时序行为检测的工作流识别方法 |
| CN111444969A (zh) * | 2020-03-30 | 2020-07-24 | 西安交通大学 | 一种弱监督的ivoct图像异常区域检测方法 |
| WO2022007193A1 (zh) * | 2020-07-07 | 2022-01-13 | 南京理工大学 | 一种基于迭代学习的弱监督视频行为检测方法及系统 |
| CN112150442A (zh) * | 2020-09-25 | 2020-12-29 | 帝工(杭州)科技产业有限公司 | 基于深度卷积神经网络及多实例学习的新冠诊断系统 |
| CN112733595A (zh) * | 2020-12-02 | 2021-04-30 | 国网湖南省电力有限公司 | 一种基于时间分段网络的视频动作识别方法及存储介质 |
| CN113283282A (zh) * | 2021-03-10 | 2021-08-20 | 北京工业大学 | 一种基于时域语义特征的弱监督时序动作检测方法 |
| CN113283282B (zh) * | 2021-03-10 | 2024-05-28 | 北京工业大学 | 一种基于时域语义特征的弱监督时序动作检测方法 |
| CN114022827A (zh) * | 2022-01-05 | 2022-02-08 | 阿里巴巴（中国）有限公司 | 产线作业管理与视频处理方法、装置、设备及存储介质 |
| CN114022827B (zh) * | 2022-01-05 | 2022-06-17 | 阿里巴巴（中国）有限公司 | 产线作业管理与视频处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110188654B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188654B (zh) | 一种基于移动未裁剪网络的视频行为识别方法 | |
| Das et al. | Sign language recognition using deep learning on custom processed static gesture images | |
| CN112035669B (zh) | 基于传播异质图建模的社交媒体多模态谣言检测方法 | |
| Zeng et al. | Breaking winner-takes-all: Iterative-winners-out networks for weakly supervised temporal action localization | |
| Huang et al. | Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications | |
| He et al. | Multi-scale FCN with cascaded instance aware segmentation for arbitrary oriented word spotting in the wild | |
| CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
| CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN103984959A (zh) | 一种基于数据与任务驱动的图像分类方法 | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| CN109977895B (zh) | 一种基于多特征图融合的野生动物视频目标检测方法 | |
| CN105740758A (zh) | 基于深度学习的互联网视频人脸识别方法 | |
| CN109919252B (zh) | 利用少数标注图像生成分类器的方法 | |
| CN113536922A (zh) | 一种加权融合多种图像任务的视频行为识别方法 | |
| WO2019136960A1 (zh) | 一种爬取网站数据的方法、存储介质、服务器及装置 | |
| CN107729936B (zh) | 一种改错题自动评阅方法及系统 | |
| CN103984943A (zh) | 一种基于贝叶斯概率框架的场景文本识别方法 | |
| CN107945210B (zh) | 基于深度学习和环境自适应的目标跟踪方法 | |
| CN109325440A (zh) | 人体动作识别方法及系统 | |
| CN111695539A (zh) | 一种手写汉字的评价方法、装置及电子设备 | |
| CN111026898A (zh) | 一种基于交叉空间池化策略的弱监督图像情感分类与定位方法 | |
| CN114359199A (zh) | 一种基于深度学习的鱼类计数方法、装置、设备和介质 | |
| Wang et al. | Action unit detection and key frame selection for human activity prediction | |
| CN116977725A (zh) | 一种基于改进卷积神经网络的异常行为识别方法及装置 | |
| CN111242114B (zh) | 文字识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |