CN111914778B - 一种基于弱监督学习的视频行为定位方法 - Google Patents
一种基于弱监督学习的视频行为定位方法 Download PDFInfo
- Publication number
- CN111914778B CN111914778B CN202010790719.5A CN202010790719A CN111914778B CN 111914778 B CN111914778 B CN 111914778B CN 202010790719 A CN202010790719 A CN 202010790719A CN 111914778 B CN111914778 B CN 111914778B
- Authority
- CN
- China
- Prior art keywords
- feature
- video
- mask
- cas
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000004913 activation Effects 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 210000003918 fraction a Anatomy 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 14
- 210000003813 thumb Anatomy 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 12
- 230000004807 localization Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009189 diving Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000035582 behavioral recognition Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于弱监督学习的视频行为定位方法，建立深度特征增强和选择网络模型并进行训练，将一段待测试视频输入训练后的深度特征增强和选择网络模型，通过训练后的深度特征增强和选择网络模型预测分类分数和得到平均CAS；只检测预测得分大于预先设置好的阈值的CAS；通过线性插值使经过深度特征增强和选择网络模型后的待测视频长度还原为原始长度，然后，对平均CAS进行阈值运算，之后再进行膨胀操作，最后再获取行为实例的开始时间bi和结束时间ei，完成定位。本发明方法对弱监督行为定位具有有效性。
Description
技术领域
本发明涉及视频行为定位方法，特别涉及一种基于弱监督学习的视频行为定位方法。
背景技术
视频行为定位技术，就是对于一个未裁剪视频，通过计算机检测是否和何时发生了特定的行为。具体来说，需要回答三个问题：视频里有行为吗,行为什么时候开始,什么时候结束。
在硬设备的快速发展，以及视频数据量爆炸式增长的时代下，传统的方法采用人力去查看视频并分析视频对数据量迅速增长的现在无疑是一件费时费力且效率低下的做法。因此，使用计算机取代传统的人工视频监控、视频分析等工作是当今社会的一个必然趋势。无论是在学术研究还是工业应用，都对视频行为分析的需求越来越高，因为视频中人的行为分析能够在很多场合给社会带来很多便利，减少人力资源的消耗，如：监控摄像头。随着社会经济的发展，监控摄像头普遍存在于各行各业，如商场安防、交通管理以及学校等各个地方，也相对应的生成了难以计数的视频数据。而使用视频行为定位技术，通过对实时数据进行快速地分析，可以有效快捷地监测异常行为并定位异常时间，以避免人力和财力的浪费。如，人为查看摄像头记录容易遗漏异常行为或发现异常行为已经太晚了的情况，而使用带有人工智能的摄像头的商场可以避免上述问题。除此以外，行为定位技术也应用于基于内容的视频检索。由于通讯设备的快速发展，3G、4G和5G相继诞生，使得视频信息传输更加快捷，因此在互联网上视频数据量也在快速增长。因此利用人工智能对小视频和直播视频进行审查或者检索以减少人力资源是社会所需技术。
早期，科研人员大多在已裁剪的视频数据上进行行为识别的研究，即通过训练网络将一个未知的已裁剪视频进行分类。目前，对于已裁剪视频的行为识别技术已有了很好地研究成果。然而，在现实场景中所取得的视频数据多为未裁剪视频，且视频内可能包含多个行为实例及背景，使用人力对视频进行裁剪也是一种人力资源的浪费，因此对视频中每个行为进行分类和定位变得尤为重要，视频行为定位问题也随之被提出并研究。
视频行为定位技术由于标签的不同,可大致分为全监督行为定位、半监督行为定位与弱监督行为定位等。全监督行为定位需要每个行为实例的分类标签和精确的时间边界注释。半监督行为定位则对部分视频帧标签缺失的情况下进行研究。它们都需要人类对视频帧进行手动标注，这是一项复杂且耗费时间与金钱的工作。而基于弱监督的行为定位技术则大不相同，其在训练过程中仅使用弱监督标签，能进一步地减少人力资源和时间的浪费。弱监督标签种类繁多，有行为列表,单一时间戳,视频级别注释等。
不同的帧判别性不同，对于行为分类任务网络倾向于寻找最具有判别性的视频帧，而对于定位任务网络则倾向于找到所有视频帧。在基于弱监督学习的视频行为定位任务中，通常只使用视频级别注释标签进行训练，使得学者们常常会把任务公式化为多实例分类任务，从而面临一个重大的挑战，即网络倾向于学习最具有判别性的视频帧而忽略了其余相关的帧。
发明内容
针对现有技术存在的上述问题，本发明要解决的技术问题是一种定位准确性高的视频行为定位方法。
为解决上述技术问题，本发明采用如下技术方案：一种基于弱监督学习的视频行为定位方法，包括如下步骤：
S100：建立深度特征增强和选择网络模型并训练：
S110：特征提取模块，采集视频片段的特征信息，使用UntrimmedNet采集视频片段的外观和运动特征信息，并储存；
令UntrimmedNet是相应的提取到的特征其中D是特征的维数，T表示特征片段数；
S120：特征增强和选择模块
S121：将S110得到的特征信息作为输入，对输入的特征信息先调整维度大小，使其适合于特征增强和选择模块的嵌入特征；
S122：特征增强，对于得到的嵌入特征，通过在它的特征维度上执行融合函数来获得特征分数；
S123：基于特征增强生成的特征分数生成三个掩码以增强不同视频片段；
S124：选择部分，在三个掩码选择一个掩码与嵌入特征进行元素乘积生成输出特征，/>
其中，称为输出特征，/>表示被选中的掩码；
S130：分类模块，构建两个独立的两个分支，将S124得到输出特征输入到每个时域卷积层中，然后紧跟着softmax层以输出每个分支的分支分数Ai和每个分支的类激活序列CASi；
计算两个分支的CAS平均，再沿类别维度应用softmax层，所述CAS平均是指分支分数的平均和类激活序列的平均/>
S140：计算深度特征增强和选择网络模型的总体损失，并采用梯度下降法进行反向传播，更新S110-S130步骤中各个模块的参数，得到训练后的深度特征增强和选择网络模型；
S200：时序行为定位，将一段待测试视频输入训练后的深度特征增强和选择网络模型，对于待测试视频产生一组值{bi,ei,c,si}，通过训练后的深度特征增强和选择网络模型预测分类分数和得到平均CAS；
只检测分类分数大于预先设置好的阈值的CAS；
通过线性插值使经过深度特征增强和选择网络模型后的待测视频长度还原为原始长度，然后，对平均CAS进行阈值运算之后再进行膨胀操作，最后再获取行为实例的开始时间bi和结束时间ei，完成定位。
作为改进，所述S121中对输入的特征信息调整维度大小的方法为：
Femb＝max(Wemb*X+bemb,0) (1)
其中，表示嵌入特征，d是卷积核的数量，Wemb和bemb分别是卷积核的权重和偏置，X是输入的已提取的特征。
作为改进，所述S122中特征增强中，嵌入特征获得特征分数的方法为：
其中，表示嵌入第j个片段特征/>的特征分数。
作为改进，所述S123中特征增强中，基于特征增强生成的特征分数生成三个掩码以增强不同视频帧的方法为：
1)第一个掩码是擦除掩码：
设置阈值tera，然后对于每个像素，通过将大于阈值的像素设置为0，小于阈值的像素设置为1来产生擦除掩码Mera∈RT×1，对于每一个视频，阈值tera值不同，公式如(4)：
其中，μ是擦除比例因子，表示第i个片段的特征分数，/>表示第i个片段对应的擦除掩码值；
2)第二个掩码是增强掩码：
增强掩码是通过对融合分数应用sigmoid激活函数以计算而的，参见公式(5)：
其中，是增强掩码，/>包含所有片段的特征分数；
3)第三个掩码：将原始掩码设置为第三个掩码，其值均为1。
作为改进，所述S124在三个掩码选择一个掩码的方法为：设置选择每个掩码的概率，其中擦除掩码和增强掩码的概率分别为γera和λimp,以及原始掩码的概率是1-γera-λimp，根据每个掩码的概率进行选择。
作为改进，所述S130中计算每个分支的分支分数Ai和每个分支的类激活序列CASi的方法为：
CASi＝softmax(Ai) (7)；
其中，Ai为每个分支的分支分数，CASi为每个分支的类激活序列， 和/>分别是第i个分支上的改成卷积核权重和改成卷积核偏置，在训练过程中为Fdrop，在预测过程中是Femb，C是行为类别的数量，而C+1表示增加了背景类。
作为改进，所述S130中计算两个分支的CAS平均的方法为：
其中，和/>分别被称为平均分支分数和平均CAS，/>
作为改进，所述S140中计算总体损失的方法为：
总体损失L由分类损失Lcls和正则化损失Lnorm组成：
L＝Lcls+αLnorm (11)；
其中，α是超参数；
在平均CASes上沿类别维度执行最大池化，以获得预测得分所述分类损失Lcls如公式(9)：
其中，yc，pc分别表示第c个类别对应的真实标签和预测的类别分数；
所述正则化损失Lnorm如公式(10)：
其中，K是分支数，表示第i个分支在类别c上的分数，/>表示在类别c上的平均分数。
相对于现有技术，本发明至少具有如下优点：
本发明提出了深度特征增强和选择网络模型，该网络通过计算每个片段的特征分数来选择片段，然后生成不同的掩码以保持较高的分类精度，并使网络增强具有较少判别性的特征,该模型对弱监督行为定位具有有效性。
附图说明
图1为本发明深度特征增强和选择网络的模型架构图。
图2为时域卷积层。
图3中(a)是一个未裁剪的视频，(b)是网络识别出了视频中具有判别性的视频帧，(c)是擦除最具判别性的视频帧之后的视频。
图4中(a)是一个未裁剪的视频，(b)是网络识别出了视频中具有判别性的视频帧，(c)是增强最具判别性的视频帧之后的视频。
图5为三个行为示例的可视化。
具体实施方式
下面对本发明作进一步详细说明。
参见图1，一种基于弱监督学习的视频行为定位方法，包括如下步骤：
S100：建立深度特征增强和选择网络模型并训练：
S110：特征提取模块，采集视频片段的特征信息，使用UntrimmedNet采集视频片段的运动特征信息，并储存。
令UntrimmedNet输出的是相应的提取到的特征其中D是特征的维数，T表示特征片段数。
两种特征提取模块的输入均是视频片段。首先将每个未裁剪的视频划分为互不重叠的片段，对于每一个片段分别对其RGB图像和光流图像进行采样，用于特征提取模块提取特征，输出是相应的提取到的特征其中D是特征的维数，T表示特征片段数。每个片段特征都代表某一刻的高级尺度的外观或运动信息。提取模块UntrimmedNet采用经过预训练的现有模型，之后不在对其进行调整。提取完特征之后，将提取的特征单独存储，并在训练过程中，直接将这些特征用作网络的输入，以提高网络训练效率。
S120：特征增强和选择模块，特征增强和选择模块旨在选择和增强具有不同判别性级别的片段，以引导网络学习行为的整个时间间隔。
S121：将S110得到的特征信息作为输入，对输入的特征信息先调整维度大小，使其适合于特征增强和选择模块的嵌入特征。
作为改进，所述S121中对输入的特征信息调整维度大小的方法为：
Femb＝max(Wemb*X+bemb,0) (1)
其中，表示嵌入特征，d是卷积核的数量，Wemb和bemb分别是卷积核的权重和偏置，X是输入的已提取的特征。
由于所输入的特征最初可能并不是为弱监督行为定位而训练的，因此在该模块之前，使用一个时域卷积层以及ReLU激活函数作为特征嵌入层，以调整特征维度大小，使其更适合于特征增强和选择模块的嵌入特征。
时域卷积层是一维卷积层，它对时间邻域执行卷积运算，如图2所示，左边是一维的时序特征，右边是一维卷积。通过时域卷积操作可以增强特征之间的时间关系，因此常用于处理时域信息，如文本、音频等。在本文中，因为时序定位任务着重于时间信息，需要对每个行为进行定位，所以采用时域卷积来获取时间关系。只有对视频中的时间信息进行建模，才能够了解视频中所发生的行为。此外，在使用的特征提取模块中提取的视频特征已经能够很好地表示外观和运动信息，因此网络后续部分不再需要2D卷积对空间信息进行提取，也不需要使用3D卷积提取时空信息，从而减少了网络的计算量。
S122：特征增强，对于得到的嵌入特征，通过在它的特征维度上执行融合函数来获得特征分数。
作为改进，所述S122中特征增强中，嵌入特征获得特征分数的方法为：
其中，表示嵌入第j个片段特征/>的特征分数。
在特征增强部分中，需要网络识别每一片段的重要程度，以便后续的视频片段增强部分能够有效地对一部分的视频片段增强。因此，为每一片段赋予一个特征分数，使得视频片段增强部分能够基于该分数来确定要增强的视频片段。
S123：特征增强：基于特征增强生成的特征分数生成三个掩码以增强不同视频片段。作为改进，所述S123中视频片段增强中，基于特征增强生成的特征分数生成三个掩码以增强不同视频片段的方法为：
1)第一个掩码是擦除掩码：
设置阈值tera，然后对于每个像素，通过将大于阈值的像素设置为0，小于阈值的像素设置为1来产生擦除掩码Mera∈RT×1，公式如(3)：
使用阈值tera以擦除一定比例的视频片段，因此在这里阈值tera并不是一个预先设置好的常量。对于每一个视频，阈值tera值不同，公式如(4)：
其中，μ是擦除比例因子，表示第i个片段的特征分数，/>表示第i个片段对应的擦除掩码值；通过擦除掩码，相应的生成的输出特征将擦除最具有判别性的片段，从而使后续层将注意力集中在具有较低判别性的视频片段上，并对其进行增强。
在弱监督行为定位中，网络倾向于定位最具有判别性的视频片段并给予它们高分，而其他相关片段分数则过低。这些相关的视频片段也是行为实例的一部分，由于对网络正确识别视频类别没有影响而被抑制，使得网络在定位行为实例时定位不完整。因此使用了一个简单有效的方法，即使用掩码擦除最具有判别性的视频片段。如图3所示，(a)是一个未裁剪的视频帧序列，(b)是通过网络识别出了视频中具有判别性的行为帧(带有边框的视频帧，即从左向右第8和9视频帧是网络认为最具有判别性的帧)，当把最有判别性的视频帧擦除后(即图片中(c)的行为视频)，网络则失去了能够帮助网络分类的信息。为了能够正确地分类，网络在学习过程中不得不将焦点指向判别性较弱的视频帧，即图中带有黄色边框的视频帧。
2)第二个掩码是增强掩码：
增强掩码是通过对融合分数应用sigmoid激活函数以计算而的，参见公式(5)：
其中，是增强掩码，/>包含所有片段的特征分数它用于增强最具有判别性的视频片段，从而提高分类精度。
对于一个未知的视频，需要网络先对其正确地分类，之后网络所预测的它的定位才有意义。因此高分类精度是高定位精度的前提。而加入擦除掩码虽然能够提高网络的定位能力，但是仅使用擦除掩码可能会导致网络的分类能力下降。这是由于网络对能够帮助网络正确分类的视频片段的关注度减弱，因此需要加入增强掩码以增强最具有判别性的视频片段以保持网络对这些片段的关注度。如图4所示，(a)是一个未裁剪的视频帧序列，(b)是通过网络识别出了视频中具有判别性的行为帧(带有边框的视频帧则是网络认为最具有判别性的帧，从左向右第5和6帧)，当把不是最有判别性的视频帧削弱以后(即图片中(c)的行为视频)，网络则能完全专注于能够帮助网络分类的最具有判别性的视频帧。
第三个掩码：将原始掩码设置为第三个掩码，其值均为1。为了防止信息丢失，设置了原始掩码以保证视频特征信息完整。
S124：选择部分，在三个掩码选择一个掩码与嵌入特征进行元素乘积生成输出特征，/>
其中，称为输出特征，/>表示被选中的掩码。
作为改进，所述S124在三个掩码选择一个掩码的方法为：设置选择每个掩码的概率，其中擦除掩码和增强掩码的概率分别为γera和γimp,以及原始掩码的概率是1-γera-γimp，根据每个掩码的概率进行选择。具体实施时，也可以随机选择一个掩码。
S130：分类模块，由于想要获得更丰富的特征信息，因此，并行构建两个独立的两个分支，将S124得到输出特征输入到每个时域卷积层中，然后紧跟着softmax层以输出每个分支的分支分数Ai和每个分支的类激活序列CASi；
计算两个分支的CAS平均，再沿类别维度应用softmax层，所述CASes平均是指分支分数的平均和类激活序列的平均/>
作为改进，所述S130中计算每个分支的分支分数Ai和每个分支的类激活序列CASi的方法为：
CASi＝softmax(Ai) (7)；
其中，Ai为每个分支的分支分数，CASi为每个分支的类激活序列， 和/>分别是第i个分支上的改成卷积核权重和改成卷积核偏置，在训练过程中为Fdrop，在预测过程中是Femb，C是行为类别的数量，而C+1表示增加了背景类(即无行为的类别)。
使用固定视频片段作为行为的先验条件，生成难负例数据作为背景类进行训练。具体来说，只对训练集中的视频生成背景类。对于每一个视频，计算器光流通量，并对每一帧执行平均操作，然后将其根据光流强度排序，按一定比例选取光流强度最低的视频帧拼接成一个伪视频并标记为背景类。
作为改进，所述S130中计算两个分支的CAS平均的方法为：
其中，和/>分别被称为平均分支分数和平均CAS，/>平均CAS融合两条分支的信息合并为完整的行为信息。
S140：计算深度特征增强和选择网络模型的总体损失，并采用梯度下降法进行反向传播，更新S110-S130步骤中各个模块的参数，得到训练后的深度特征增强和选择网络模型。
作为改进，所述S140中计算总体损失的方法为：
总体损失L由分类损失Lcls和正则化损失Lnorm组成：
L＝Lcls+αLnorm (11)；
其中，α是超参数，以调节正则化损失在总损失中的比重。
为了获得视频级别的分类预测，在平均CAS上沿类别维度执行最大池化，以获得预测得分所述分类损失Lcls如公式(9)：
其中，yc，pc分别表示第c个类别对应的真实标签和预测的类别分数。
在网络优化过程中，为防止过拟合会对损失函数进行正则化。常见的正则化损失有L1范式和L2范式。L1范数是指向量中各个元素的绝对值之和，而L2范数则是向量各元素的平方和然后开方。在本发明中，为防止一个分支的分类分数接近0而另一分支的分类分数几乎爆炸，在没有经过softmax层的原始分数序列上引入了一个新的正则项所述正则化损失Lnorm如公式(10)：
其中，K是分支数，表示第i个分支在类别c上的分数，/>表示在类别c上的平均分数。
S200：时序行为定位，将一段待测试视频输入训练后的深度特征增强和选择网络模型，对于待测试视频产生一组值{bi,ei,c,si}，通过训练后的深度特征增强和选择网络模型预测分类分数和得到平均CAS；
只检测分类分数大于预先设置好的阈值的CAS。
通过线性插值使经过深度特征增强和选择网络模型后的待测视频长度还原为原始长度，然后，对平均CAS进行阈值运算之后再进行膨胀操作，最后再获取行为实例的开始时间bi和结束时间ei，完成定位。
此处的，对平均CAS进行阈值运算，即对于每一帧的预测分数，大于预先设置的阈值则为1，否则为0。通过阈值操作，可以得到行为实例的起始与终止时间。然后再进行膨胀操作，即使用预定义的膨胀滤波器对阈值化后的平均CAS进行膨胀滤波，连接被错误拆分的行为实例。
试验验证：
数据集
在视频行为定位任务中使用的数据集是Thumos’14和ActivityNet数据集。在两个数据集中，使用未修剪的视频数据集。而且，无需利用视频的时间行为注释就可以训练网络。
①Thumos’14：Thumos’14数据集包含大量在开源视频中的真实的人类动作，由人类的日常活动和体育动作组成。根据研究任务，Thumos’14数据集分为两个部分，即行为识别数据集和时序动作检测数据集。本次实验使用后者来训练和评估网络。实验使用验证集(不使用时间行为边界注释)进行训练，并采用测试集(使用时间行为边界注释)进行评估。
②ActivityNet：ActivityNet数据集由大型挑战赛ActivityNet Challenge给出。它有两个版本，分别是ActivityNet1.2和ActivityNet1.3。对于本文的实验，使用ActivityNet1.2版本进行试验。
评估指标
实验遵循标准评估协议，即平均精度AP(Average Precision)是用于评估单个行为类别结果的指标，mAP(mean Average Precision)则是对所有行为类别的结果进行平均操作。对于每个被检测的实例，其预测值与相对应的真实标签的时序交并比(IoU)大于预定的阈值即为真。
本实验报告不同时序交并比(IoU)阈值下的mAP.其中，在Thumos’14数据集上报告了时序交并比(IoU)阈值从0.1到0.5的mAP结果，而在ActivityNet1.2数据集上提供了时序交并比(IoU)阈值从0.5到0.95的mAP结果。mAP值是使用数据集提供的评估代码来计算的。在THUMOS’14数据集上报告的所有结果均是五次运行结果的平均值。
实验结果与分析
1.Thumos’14数据集测试结果与分析
表1关于THUMOS’14测试集的结果
在表1中，报告了THUMOS’14测试集的结果。提出的方法在平均IoU下超出了对弱监督时序行为进行定位的最新方法，使用I3D特征的结果在平均IoU下超出了最好的方法1.3％。此外，可以看到，无论使用UntrimmedNet网络作为特征提取模块还是使用I3D网络作为特征提取模块，所提出的方法在大多数IoU阈值上均胜过大多数以前的工作，特别是在IoU＝0.2时，使用I3D特征的结果在比最好的方法高2.3％，表明了方法的可行性。
然而，根据表1中的结果，可以观察到在高IoU阈值下的结果并不是很理想。通过分析，认为这是由于模型在擦除最具有判别性的视频帧之后使得网络发现了过多的视频帧，从而在定位时生成了包括静态帧在内的过于完整的实例，以至于导致了误报。如图5所示，一些简单的行为实例，例如潜水实例可能被过度地检测到。
2.ActivityNet数据集测试结果比较
表2关于ActivityNet1.2验证集的结果
表2显示了ActivityNet1.2验证集上的结果。本次实验的网络使用的参数数量较少，但是在性能依旧具有可比性。在ActivityNet1.2数据上训练所使用的参数数量更少，特别是使用I3D特征时，参数少了大约1/3，表明所提出模型的有效性。但是，与在Thumos’14测试集上的情况类似，可以观察到在高IoU阈值(即IoU＝0.95)下的结果并不是很理想。通过分析认为其原因与上述一致，都是由于网络检测到了过于完整的实例从而导致误报。
4.消融实验
为了分析网络的贡献，进行了一系列消融研究。实验采用UntrimmedNet作为特征提取模块，并使用thumos’14测试集的结果进行报告。通过分别移除擦除掩码和增强掩码的模型进行实验，并以去除擦除掩码和增强掩码的模型作为基线进行实验。表4中显示了消融实验的结果，结果显示基线加擦除掩码的方法与基线加增强掩码的方法的结果均比基线的结果好，表明模型中的两种掩码都是有效的，在一定程度上提高了网络的定位能力。以及结果表明完整的网络模型能达到最好的效果，进一步说明两种掩码对所提出方法的性能都有积极影响，并且两种掩码不会产生互斥导致精度降低。
表4在Thumos’14测试集上的消融实验
| 方法 | Avg(0.1:0.5) |
| 基线 | 36.3 |
| 基线+擦除掩码 | 36.8 |
| 基线+增强掩码 | 36.6 |
| 完整的网络模型 | 37.5 |
5.定性结果
在图5中绘制了一些定性示例，这些示例是在THUMOS’14个测试集上使用UntrimmedNet特征得到的，以证明模型的有效性并讨论其缺点。
每个实例都展示了三条分支，‘GT’表示行为实例真实标签，灰色的线条为行为实例的行为发生区域，白色的部分则不包含行为实例。‘Base’表示基线模型的结果，灰色的线条表示基线模型预测的行为的实例的行为发生区域，白色的部分则为预测的背景区域。‘Full’表示完整的网络模型的结果，灰色的线条表示完整的模型预测的行为的实例的行为发生区域，白色的部分则为预测的背景区域。
三个行为实例展示的三条分支上方对应的展示了几帧视频帧；
第一个行为实例中，从左向右第1,2,3和5视频帧为视频帧，第4视频帧则为背景帧。
第二个行为实例中，从第2,3和4视频帧左向右为视频帧，第1和5视频帧则为背景帧。
第三个行为实例中，从左向右第2,3,4和5视频帧为视频帧，第1视频帧则为背景帧。
图5中前两个示例分别是跳水和跳远，其行为结构都比较简单。与基线相比，完整模型学习的背景帧更少，增强掩码和擦除掩码的组合使用，在一定程度上也限制了网络对于背景帧的学习，如在跳远实例中，基线在视频最开始部分将背景误定位了行为实例，而完整的模型则没有此现象。但是，所提出的模型也过度检测了两个视频中的某些实例。在第三个示例中的推铅球行为中，我们的模型发现的视频帧比基线的更多，表明了擦除掩码是能够使网络发现更多的视频帧。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种基于弱监督学习的视频行为定位方法，其特征在于，包括如下步骤：
S100：建立深度特征增强和选择网络模型并训练：
S110：特征提取模块，采集视频片段的特征信息，使用UntrimmedNet采集视频片段的外观和运动特征信息，并储存；
令UntrimmedNet是相应的提取到的特征其中D是特征的维数，T表示特征片段数；
S120：特征增强和选择模块
S121：将S110得到的特征信息作为输入，对输入的特征信息先调整维度大小，使其适合于特征增强和选择模块的嵌入特征；
对输入的特征信息调整维度大小的方法为：
Femb＝max(Wemb*X+bemb,0) (1)
其中，表示嵌入特征，d是卷积核的数量，Wemb和bemb分别是卷积核的权重和偏置，X是输入的已提取的特征；
S122：特征增强，对于得到的嵌入特征，通过在它的特征维度上执行融合函数来获得特征分数；
嵌入特征获得特征分数的方法为：
其中，表示嵌入第j个片段特征/>的特征分数；
S123：基于特征增强生成的特征分数生成三个掩码以增强不同视频片段，具体方法为：
1)第一个掩码是擦除掩码：
设置阈值tera，然后对于每个像素，通过将大于阈值的像素设置为0，小于阈值的像素设置为1来产生擦除掩码Mera∈RT×1，对于每一个视频，阈值tera值不同，公式如(4)：
其中，μ是擦除比例因子，表示第i个片段的特征分数，/>表示第i个片段对应的擦除掩码值；
2)第二个掩码是增强掩码：
增强掩码是通过对融合分数应用sigmoid激活函数以计算而的，参见公式(5)：
其中，是增强掩码，/>包含所有片段的特征分数；
3)第三个掩码：将原始掩码设置为第三个掩码，其值均为1；
S124：选择部分，在三个掩码选择一个掩码与嵌入特征进行元素乘积生成输出特征，/>
其中，称为输出特征，/>表示被选中的掩码；
在三个掩码选择一个掩码的方法为：设置选择每个掩码的概率，其中擦除掩码和增强掩码的概率分别为γera和γimp,以及原始掩码的概率是1-γera-γimp，根据每个掩码的概率进行选择；
S130：分类模块，构建两个独立的两个分支，将S124得到输出特征输入到每个时域卷积层中，然后紧跟着softmax层以输出每个分支的分支分数Ai和每个分支的类激活序列CASi；
计算两个分支的CAS平均，再沿类别维度应用softmax层，所述CAS平均是指分支分数的平均和类激活序列的平均/>
计算每个分支的分支分数Ai和每个分支的类激活序列CASi的方法为：
CASi＝softmax(Ai) (7)；
其中，Ai为每个分支的分支分数，CASi为每个分支的类激活序列， 和/>分别是第u个分支上的改成卷积核权重和改成卷积核偏置，在训练过程中为Fdrop，在预测过程中是Femb，C是行为类别的数量，而C+1表示增加了背景类；
计算两个分支的CAS平均的方法为：
其中，和/>分别被称为平均分支分数和平均CAS，/>
S140：计算深度特征增强和选择网络模型的总体损失，并采用梯度下降法进行反向传播，更新S110-S130步骤中各个模块的参数，得到训练后的深度特征增强和选择网络模型；
计算总体损失的方法为：
总体损失L由分类损失Lcls和正则化损失Lnorm组成：
L＝Lcls+αLnorm (11)；
其中，α是超参数；
在平均CASes上沿类别维度执行最大池化，以获得预测得分所述分类损失Lcls如公式(9)：
其中，yc，pc分别表示第c个类别对应的真实标签和预测的类别分数；
所述正则化损失Lnorm如公式(10)：
其中，K是分支数，表示第i个分支在类别c上的分数，/>表示在类别c上的平均分数；
S200：时序行为定位，将一段待测试视频输入训练后的深度特征增强和选择网络模型，对于待测试视频产生一组值{bi,ei,c,si}，通过训练后的深度特征增强和选择网络模型预测分类分数和得到平均CAS；
只检测分类分数大于预先设置好的阈值的CAS；
通过线性插值使经过深度特征增强和选择网络模型后的待测视频长度还原为原始长度，然后，对平均CAS进行阈值运算之后再进行膨胀操作，最后再获取行为实例的开始时间bi和结束时间ei，完成定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790719.5A CN111914778B (zh) | 2020-08-07 | 2020-08-07 | 一种基于弱监督学习的视频行为定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790719.5A CN111914778B (zh) | 2020-08-07 | 2020-08-07 | 一种基于弱监督学习的视频行为定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914778A CN111914778A (zh) | 2020-11-10 |
| CN111914778B true CN111914778B (zh) | 2023-12-26 |
Family
ID=73283712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010790719.5A Active CN111914778B (zh) | 2020-08-07 | 2020-08-07 | 一种基于弱监督学习的视频行为定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914778B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668492B (zh) * | 2020-12-30 | 2023-06-20 | 中山大学 | 一种自监督学习与骨骼信息的行为识别方法 |
| CN113095128B (zh) * | 2021-03-01 | 2023-09-19 | 西安电子科技大学 | 基于k最远交叉一致性正则化的半监督时序行为定位方法 |
| CN113516032B (zh) * | 2021-04-29 | 2023-04-18 | 中国科学院西安光学精密机械研究所 | 基于时域注意力的弱监督监控视频异常行为检测方法 |
| CN113420592B (zh) * | 2021-05-14 | 2022-11-18 | 东南大学 | 一种基于代理度量模型的弱监督视频行为定位方法 |
| CN113591731B (zh) * | 2021-08-03 | 2023-09-05 | 重庆大学 | 一种基于知识蒸馏的弱监督视频时序行为定位方法 |
| CN116030538B (zh) * | 2023-03-30 | 2023-06-16 | 中国科学技术大学 | 弱监督动作检测方法、系统、设备及存储介质 |
| CN116503959B (zh) * | 2023-06-30 | 2023-09-08 | 山东省人工智能研究院 | 基于不确定性感知的弱监督时序动作定位方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN110348345A (zh) * | 2019-06-28 | 2019-10-18 | 西安交通大学 | 一种基于动作连贯性的弱监督时序动作定位方法 |
| CN110516536A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于时序类别激活图互补的弱监督视频行为检测方法 |
| CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
| CN110765921A (zh) * | 2019-10-18 | 2020-02-07 | 北京工业大学 | 一种基于弱监督学习和视频时空特征的视频物体定位方法 |
| CN111080678A (zh) * | 2019-12-31 | 2020-04-28 | 重庆大学 | 一种基于深度学习的多时相sar图像变化检测方法 |
| CN111291699A (zh) * | 2020-02-19 | 2020-06-16 | 山东大学 | 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10824916B2 (en) * | 2018-09-10 | 2020-11-03 | Sri International | Weakly supervised learning for classifying images |
-
2020
- 2020-08-07 CN CN202010790719.5A patent/CN111914778B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN110348345A (zh) * | 2019-06-28 | 2019-10-18 | 西安交通大学 | 一种基于动作连贯性的弱监督时序动作定位方法 |
| CN110516536A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于时序类别激活图互补的弱监督视频行为检测方法 |
| CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
| CN110765921A (zh) * | 2019-10-18 | 2020-02-07 | 北京工业大学 | 一种基于弱监督学习和视频时空特征的视频物体定位方法 |
| CN111080678A (zh) * | 2019-12-31 | 2020-04-28 | 重庆大学 | 一种基于深度学习的多时相sar图像变化检测方法 |
| CN111291699A (zh) * | 2020-02-19 | 2020-06-16 | 山东大学 | 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| Forcing the Whole Video as Background: An Adversarial Learning Strategy forWeakly Temporal Action Localization;Ge yongxin等;MM‘22：Proceedings of the 30th ACM international conference on multimedia;第5371-5379页 * |
| Spatial Enhancement and Temporal Constraint for Weakly Supervised Action Localization;Ge Yongxin等;IEEE SIGNAL PROCESSING LETTERS;第1520-1524页 * |
| 基于单目视频和无监督学习的轻轨定位方法;姚萌 等;电子与信息学报;第40卷(第9期);第2127-2134页 * |
| 基于小波多尺度积的图像配准方法;葛永新 等;计算机科学;第33卷(第2期);第242-245页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914778A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914778B (zh) | 一种基于弱监督学习的视频行为定位方法 | |
| Saleh et al. | A realistic fish-habitat dataset to evaluate algorithms for underwater visual analysis | |
| Boom et al. | A research tool for long-term and continuous analysis of fish assemblage in coral-reefs using underwater camera footage | |
| Elfeki et al. | Video summarization via actionness ranking | |
| US20210326638A1 (en) | Video panoptic segmentation | |
| Nepovinnykh et al. | Identification of Saimaa ringed seal individuals using transfer learning | |
| US8503768B2 (en) | Shape description and modeling for image subscene recognition | |
| CN111126401B (zh) | 一种基于上下文信息的车牌字符识别方法 | |
| US11809519B2 (en) | Semantic input sampling for explanation (SISE) of convolutional neural networks | |
| CN113963251A (zh) | 一种海洋生物检测方法、系统和设备 | |
| CN115115969A (zh) | 视频检测方法、装置、设备、存储介质和程序产品 | |
| Conrady et al. | Automated detection and classification of southern African Roman seabream using mask R-CNN | |
| CN109582960B (zh) | 基于结构化关联语义嵌入的零示例学习方法 | |
| Chawla et al. | Classification of computer generated images from photographic images using convolutional neural networks | |
| CN113780335B (zh) | 一种小样本商品图像分类方法、装置、设备及存储介质 | |
| Wang et al. | Image splicing tamper detection based on deep learning and attention mechanism | |
| CN111858999B (zh) | 一种基于分段困难样本生成的检索方法及装置 | |
| CN114782997A (zh) | 基于多损失注意力自适应网络的行人重识别方法及系统 | |
| Williams et al. | Detecting marine animals in underwater video: Let's start with salmon | |
| CN110717544B (zh) | 一种垂直鱼眼镜头下行人属性分析方法及系统 | |
| CN113192108A (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
| CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
| Greenwell et al. | Implicit land use mapping using social media imagery | |
| Chen et al. | What Do Deep Saliency Models Learn about Visual Attention? | |
| Sirigineedi et al. | Improving Fisheries Management through Deep learning based Automated fish counting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |