CN110032926B - 一种基于深度学习的视频分类方法以及设备 - Google Patents
一种基于深度学习的视频分类方法以及设备 Download PDFInfo
- Publication number
- CN110032926B CN110032926B CN201910133098.0A CN201910133098A CN110032926B CN 110032926 B CN110032926 B CN 110032926B CN 201910133098 A CN201910133098 A CN 201910133098A CN 110032926 B CN110032926 B CN 110032926B
- Authority
- CN
- China
- Prior art keywords
- video
- sections
- weight
- feature map
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 23
- 238000000605 extraction Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的视频分类方法以及设备。其中，所述方法包括：获取视频的数据集及其类别标签，和将该获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，和通过卷积神经网络，提取该分为N段后的视频的视频空间加权特征，和通过卷积神经网络，提取该分为N段后的视频的视频时间加权特征，和获得该分为N段后的视频的视频多尺度特征，和融合该N段视频特征计算预测得分，得到最终视频分类，和存储该训练好的视频分类模型，应用该训练好的视频分类模型，对测试视频进行分类。通过上述方式，能够实现提高视频特征提取的效果和准确度。
Description
技术领域
本发明涉及视频技术领域，尤其涉及一种基于深度学习的视频分类方法以及设备。
背景技术
随着高清视频设备等硬件器材的不断发展，基于视频分类技术的人工智能广泛应用在视频兴趣推荐、视频安防、智能家居等方面，应用场景极其广阔。对于视频提供平台来说，对视频进行分类，当用户播放某个视频后，可以为用户推荐同类视频，提高用户对视频平台的满意度。对安防公司来说，对视频中的异常行为进行分类，采取相应的安全措施，比如可以监控银行ATM(Automatic Teller Machine，自动取款机)取款机的异常取款，及时发出警报。
传统的视频分类方法主要有两个过程：人工提取视频特征和视频理解。人工提取视频特征主要是基于视频内容主体的几何形状或轮廓的基础，在一些简单的特定场景中的精确度尚可接受，然而在实际应用中，非常容易受光照条件各异、视角多样性、背景复杂、类内变化大等诸多因素的影响导致视频特征提取效果不佳，准确度一般。
近几年随着深度神经网络在图像领域取得重大突破，将其应用在视频分类领域取得了不错的效果。利用CNN(Convolutional Neural Networks，卷积神经网络)的卷积操作代替人工提取特征的过程，通过训练网络的参数得到最优的特征表达，其分类效果一般要比传统方法好。深度学习不仅具有优良的泛用性，同时避免了复杂的手工特征提取过程，用机器的特征学习代替了基于人类先验经验的特征提取，获得了比手工特征分类结果更好的准确率。
通常视频帧内的不同区域和视频序列中的不同位置的帧包含的信息量不同，对分类结果起到的重要性则不同；通过对视频帧的空间特征加权可以使网络能够关注每帧的显著性区域，对不同帧的特征图加权相当于为视频不同位置的帧加权，即为视频时间特征加权；空间加权和时间加权使得网络能够有区别性的对待不同的帧和帧区域，更好的表示视频的特征，从而提高视频分类的精确度。
卷积神经网络的卷积层或池化层的核维度往往为两维，在网络学习过程中通常只能学习到特征图的空间特征，而不能学习到通道之间的特征；采用三维卷积核或池化核，可以在学习特征图空间特征的同时学习到视频的时间特征。
全局池化操作主要应用在深度学习提取的最后一层特征图上，直接将特征图大小缩减至一维，可能损失大量信息。因此，采用多尺度多方式的池化核，将结果进行拼接后再送入全连接层能够尽可能保留更多的信息。
通常视频的不同位置包含的信息量不同，视频的重要信息往往出现在中间区域，因此为不同时间段的视频设置不同的权重，使得每段视频具有区分性，融合各段加权后的得分获得最终的预测分数。
但是，发明人发现现有技术中至少存在如下问题：
现有的视频分类方案中的人工提取视频特征的过程主要是基于视频内容主体的几何形状或轮廓的基础，在某些简单的特定场景中的精确度尚可接受，然而在实际应用中，非常容易受光照条件各异、视角多样性、背景复杂、类内变化大等诸多因素的影响导致视频特征提取效果不佳，准确度一般。
发明内容
有鉴于此，本发明的目的在于提出一种基于深度学习的视频分类方法以及设备，能够实现提高视频特征提取的效果和准确度。
根据本发明的一个方面，提供一种基于深度学习的视频分类方法，包括：
获取视频的数据集及其类别标签；
将所述获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像；
通过卷积神经网络，提取所述分为N段后的视频的视频空间加权特征；
通过卷积神经网络，提取所述分为N段后的视频的视频时间加权特征；
获得所述分为N段后的视频的视频多尺度特征；
融合所述N段视频特征计算预测得分，得到最终视频分类；
存储所述得到的最终的视频分类即训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类。
其中，所述将所述获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，可以包括：
将视频等分为N段，训练阶段每段视频随机选择M帧，测试阶段每段视频选择等距离M帧，将n＝N×M帧图像堆叠，得到通道数为3的图像块，设置输入网络的视频帧分别记为X＝{x1,x2,...,xn}，n表示输入网络的总帧数。
其中，所述卷积神经网络，包括：
至少一个三维卷积层、至少一个三维池化层和至少一个全连接层。
其中，所述通过卷积神经网络，提取所述分为N段后的视频的视频空间加权特征，包括：
设置每帧图像提取到的某层空间特征为V＝{v1,v2,...,vn}，空间提取网络的最后一层特征图为g，每一帧特征图与最后一层特征图点乘后做归一化操作得到每帧权重wi＝softmax(vi·g)，将权重与原始特征相乘得到加权空间特征 V′＝{v1w1,v2w2,...,vnwn}。
其中，所述通过卷积神经网络，提取所述分为N段后的视频的视频时间加权特征，包括：
设置网络中某一帧的某一层的特征图大小为H×W×C，计算每个特征图的权重，特征图乘上权重获得带有区分性的时间特征。
其中，所述计算特征图的时间权重，可以包括：
将特征图利用卷积操作将通道数缩小r倍，即通道数变为C/r；
利用大小为H×W的平均池化将特征图大小变为1×1，即特征图变为 1×1×C/r；
在第三维度上利用ReLU函数做非线性变换；
同样利用卷积操作将通道数恢复至C，最后通过sigmoid函数获得归一化时间权重W＝{w1,w2,...,wC}。
其中，所述获得所述分为N段后的视频的视频多尺度特征，可以包括：
设置卷积神经网络最后一层特征图大小为H×W×C，直接利用大小为H×W 的池化核获得1×1×C的特征送入全连接层计算预测分值将导致较大信息损失；
采用不同大小的池化核和池化方式包括取平均值或者取最大值的方式，获得多尺度的特征，然后拼接送入全连接层将避免信息损失。
其中，所述融合所述N段视频特征计算预测得分，得到最终视频分类，包括：
不同段视频对视频分类结果的重要性不同，设每段视频的重要性分别为 w1,w2,...wN，视频的预测得分分别为C1,C2,...,CN，权重乘上得分后累加得到最终融合分数，即由以下公式计算得到：
其中，权重设置倾向于中间段权重偏高，开始和结束段权重偏低，权重和为1。
其中，所述存储所述得到的最终的视频分类即训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类，包括：
存储所述得到的最终的视频分类即训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类，通过训练好的卷积神经网络获得最后预测得分，选择分数最高类别作为分类结果。
根据本发明的另一个方面，提供一种基于深度学习的视频分类设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的基于深度学习的视频分类方法。
根据本发明的另一个方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于深度学习的视频分类方法。
可以发现，以上方案，可以获取视频的数据集及其类别标签，和将该获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，和通过卷积神经网络，提取该分为N段后的视频的视频空间加权特征，和通过卷积神经网络，提取该分为N段后的视频的视频时间加权特征，和获得该分为N段后的视频的视频多尺度特征，和融合该N段视频特征计算预测得分，得到最终视频分类，和存储该得到的最终的视频分类即训练好的视频分类模型，应用该训练好的视频分类模型，对测试视频进行分类，能够实现可以通过充分发挥深度学习自我学习特征能力的优势，能自动学习更为有用的语义特征，避免了传统人工筛选视频特征所导致的局限性，能够实现提高视频特征提取的效果和准确度。
进一步的，以上方案，可以采用深度学习中3D卷积与2D卷积相结合的方法，对特征进行提取，以适应视频片段中视频分类对时间和空间的双重要求，其中3D卷积采用三维卷积提取时间方向的特征，捕捉相关运动信息；通过并采用3Dpooling技术不仅仅降低了计算量，并且在时间方向具有良好的不变性，提高了识别的准确度以及鲁棒性。
进一步的，以上方案，可以对2D卷积特征提取的过程中引入了特征图加权，对特征图进行自我学习的加权，得到感兴趣区域的特征图表示，从而使得网络更加关注于特征图中权重更大的部分，增加视频分类的准确度。
进一步的，以上方案，可以对3D卷积提取过程中，不同于2D卷积特征图加权，其是针对于时间特征进行加权，从而最终增加视频分类的准确度。
进一步的，以上方案，可以在对特征表示的过程中，采用不同尺度不同池化核大小对特征图进行，可以有效缓解以往pooling过程中过度削减重要表示特征的弊端，使得保留更多的表示级特征，增强整个识别算法过程中的鲁棒性以及准确性。
进一步的，以上方案，由于不同段视频对视频分类结果的重要性不同，引入不同固定权重对每个段进行加权，其中中间段权重比两端权重更大，从而得到更合理的视频特征表示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于深度学习的视频分类方法实施例的流程示意图；
图2是本发明基于深度学习的视频分类方法一实施例将特征图利用卷积操作计算时间权重的一举例示意图；
图3是本发明基于深度学习的视频分类方法一实施例在2D卷积最后得到特征图过程的一举例示意图；
图4是本发明基于深度学习的视频分类设备一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种基于深度学习的视频分类方法，能够实现提高视频特征提取的效果和准确度。
请参见图1，图1是本发明基于深度学习的视频分类方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
在步骤101中，获取包括视频类别的视频。其中，视频样本库可以是视频分类数据库例如美图视频分类数据库，其中可以包括多类常见视频行为，例如唱歌、跳舞和打篮球等，可以包括数万条视频数据，其中训练、验证和测试集的比例可以按需要进行配置，例如训练、验证和测试集的比例可以是8:1:1。
在102步骤中，通过稀疏采样得到网络输入，将输入视频平均分成M段，其中每段视频随机采样N帧，得到视频表示为
其中Smn代表是对应的第m段中随机采样第n帧，随机采样帧位置在训练过程中可以保证其多样性，使网络适应动作实例化的变化。
在本实施例中，对102步骤中稀疏采样得到的视频表示，对其进行数据增强，其中数据增强可以包括裁剪，缩放，翻转等。
在步骤103中，采用3D(3Dimensions，三维)卷积神经网络提取数据增强后的视频表示，可以具体描述为，通过UCF101数据集预训练的3D卷积神经网络参数，通过网络对输入视频表示样本进行特征提取，最终得到输入视频的时间方向的特征表示。
在本实施例中，3D卷积可以采用3D-Resnet(Residual Neural Network，深度残差网络)18结构，可以包括18层，可以由3D卷积层和3D-pooling(3维 -池化层)层组成。
在本实施例中，3D卷积层中的卷积操作是用数量为n，卷积核大小为 cw*ch*cl，对上一层特征图进行卷积操作，通过时间域方向的卷积，可以更好的捕捉运动信息，3D卷积运算的计算公式可以为：
在本实施例中，3D-pooling层与3D卷积可以一样，都可以是将卷积操作扩展到三维，是用尺度为pw*ph*pl的卷积核对上一层的特征图进行池化，其中池化层可以大大减少计算量，并在时间方向具有良好的不变性，提高分类的鲁棒性以及准确度。
在104步骤中，通过对自学习特征权重对特征图进行加权，得到具有强能力的特征表示。
在本实施例中，请参见图2，图2是本发明基于深度学习的视频分类方法一实施例将特征图利用卷积操作计算时间权重的一举例示意图。如图2所示，可以将特征图利用卷积操作将通道数缩小r倍，即通道数变为C/r；利用大小为 H×W的平均池化将特征图大小变为1×1，即特征图变为1×1×C/r；在第三维度上利用ReLU函数做非线性变换；同样利用卷积操作将通道数恢复至C，最后通过sigmoid函数获得归一化时间权重W＝{w1,w2,...,wC}。
在105步骤中，采用2D卷积对输入视频表示提取空间维度的信息，具体描述可以是，通过ImageNet(计算机视觉系统识别项目)数据集预训练2D卷积神经网络参数，通过网络对输入视频表示样本进行特征提取，最终得到输入视频的空间方向的特征表示。
在本实施例中，其中在2D卷积的过程中，由于得到的特征图表示为 n*l*w*h，其中n代表输入视频表示的图片个数，l代表特征图个数，w和h分别代表特征图的宽和高，因此，需要通过3D-pooling将其特征图转化成1*l*w*h。
在106步骤中，可以通过对特征图加权即特征图和相同维度的自学习权重相乘得到感兴趣区域的特征图表示，从而使得网络更加关注于特征图中权重更大的部分，增加视频分类的准确度。
在步骤107中，以往的pooling过程中，为了降低计算量，因此很容易过分丢失有效的特征表示，因此可以通过多尺度池化核对特征图进行池化，得到不同池化后的特征图，在降低计算量的同时，减小特征的丢失，从而提升了网络的准确度。
在本实施例中，请参见图3，图3是本发明基于深度学习的视频分类方法一实施例在2D卷积最后得到特征图过程的一举例示意图。如图3所示，在2D 卷积最后得到的特征图，其维度为n*l*w*h，通过不同的3D-pooling来提取最后一层卷积层的特征，然后将不同pooling得到的特征拼接在一起得到最终的特征表示。
在108步骤中，把3D卷积得到的特征图和2D卷积得到的特征图拼接在一起，从而得到了同时具有空间以及时间维度的特征表示。
在109步骤中，经过softmax函数层，输出结果为M×N的二维向量，其中 M代表视频段个数，N代表视频类别数。
其中，该softmax函数表示如下：
其中ak表示全连接网络的输出，其输出个数为C，即输出为a1,a2,...,aC，因此可以通过上述公式将输出值归一化为概率值。
在步骤110中，可以对不同段进行加权，即
最终得到1×N的一维向量，返回最大概率所在的index即为预测的结果。
需要说明的是，本发明基于深度学习的视频分类方法一实施例还可以包括以下步骤：
采用像素通道来处理视频的每一帧像素信息；
通过2D卷积来提取视频空间维度的特征；
通过3D卷积来提取视频时间方向的特征，提取视频中时序方向的信息；
在提取空间方向特征的过程中，采用自学习的权重对特征图层面进行加权，得到感兴趣区域的特征图表示；
在提取时间方向特征的过程中，采用自学习的权重对特征图时间层面进行加权，得到具有强时间特征的有效表示；
通过不同池化核大小进行池化，得到的不同尺度的特征图，减少空间信息的过度损失。
可选地，在本实施例中，可以将视频等分为N段，训练阶段每段视频随机选择M帧，测试阶段每段视频选择等距离M帧；将n＝N×M帧图像堆叠，得到通道数为3的图像块，可以预设输入网络的视频帧分别记为X＝{x1,x2,...,xn}，n 表示输入网络的总帧数。
可选地，在本实施例中，该卷积神经网络，可以包括：
若干三维卷积层、三维池化层和全连接层等；
可选地，在本实施例中，可以设置每帧图像提取到的某层空间特征为V＝{v1,v2,…,vn}，空间提取网络的最后一层特征图为g，每一帧特征图与最后一层特征图点乘后做归一化操作得到每帧权重wi＝softmax(vi·g)，将权重与原始特征相乘得到加权空间特征V′＝{v1w1,v2w2,...,vnwn}。
可选地，在本实施例中，可以设置网络中某一层的特征图大小为H×W×C，计算时间权重，每层特征图乘上权重获得带有区分性的时间特征。
可选地，在本实施例中，为了减少计算量，在计算时间权重时可以将特征图利用卷积操作将通道数缩小r倍，即通道数变为C/r；利用大小为H×W的平均池化将特征图大小变为1×1，即特征图变为1×1×C/r；在第三维度上利用ReLU 函数做非线性变换；同样利用卷积操作将通道数恢复至C，最后通过sigmoid 函数获得归一化时间权重W＝{w1,w2,…,wC}。
可选地，在本实施例中，为了获得时间维度特征，卷积核和池化核的维度为三维，大小为P×Q×R，一共有m个核，能够同时获得特征图的空间和时间特征，输出特征图在(x,y,z)处的值由下列公式计算得到：
可选地，在本实施例中，可以设置设卷积神经网络最后一层特征图大小为 H×W×C，直接利用大小为H×W的池化核获得1×1×C的特征送入全连接层计算预测分值将导致较大信息损失；采用不同大小的池化核和池化方法(取平均值或者取最大值)获得多尺度的特征，然后拼接送入全连接层将避免信息损失。
可选地，在本实施例中，可以不同段视频对视频分类结果的重要性不同，设每段视频的重要性分别为w1,w2,…wN，视频的预测得分分别为C1,C2,…,CN，权重乘上得分后累加得到最终融合分数，即由以下公式计算得到：
其中，权重设置倾向于中间段权重偏高，开始和结束段权重偏低，权重和为1。
可选地，在本实施例中，可以是视频均分N段，每段选择具有固定间隔的 M帧送入训练好的卷积神经网络获得最后预测得分，选择分数最高类别作为分类结果。
在本实施例中，可以充分发挥了深度学习自我学习特征能力的优势，能够自动学习更为有用的语义特征，避免了传统人工筛选特征所导致的局限性，能够实现提高视频特征提取的效果和准确度。
在本实施例中，可以采用深度学习中3D卷积与2D卷积相结合的方法，对特征进行提取，以适应视频片段中视频分类对时间和空间的双重要求，其中3D 卷积采用三维卷积提取时间方向的特征，捕捉相关运动信息；通过并采用 3Dpooling技术不仅仅降低了计算量，并且在时间方向具有良好的不变性，提高了识别的准确度以及鲁棒性。
在本实施例中，可以对2D卷积特征提取的过程中引入了特征图加权，对特征图进行自我学习的加权，得到感兴趣区域的特征图表示，从而使得网络更加关注于特征图中权重更大的部分，增加视频分类的准确度。
在本实施例中，可以对3D卷积提取过程中，不同于2D卷积特征图加权，其是针对于时间进行加权，从而最终增加视频分类的准确度。
在本实施例中，可以在对特征表示的过程中，采用不同尺度不同池化核大小对特征图进行，可以有效缓解以往pooling过程中过度削减重要表示特征的弊端，使得保留更多的表示级特征，增强整个识别算法过程中的鲁棒性以及准确性。
在本实施例中，由于不同段视频对视频分类结果的重要性不同，引入不同固定权重对每个段进行加权，其中中间段权重比两端权重更大，从而得到更合理的视频特征表示。
可以发现，在本实施例中，可以获取视频的数据集及其类别标签，
和将该获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，和通过卷积神经网络，提取该分为N段后的视频的视频空间加权特征，和通过卷积神经网络，提取该分为N段后的视频的视频时间加权特征，和获得该分为N段后的视频的视频多尺度特征，和融合该N段视频特征计算预测得分，得到最终视频分类，和存储该得到的最终的视频分类即训练好的视频分类模型，应用该训练好的视频分类模型，对测试视频进行分类，能够实现可以通过充分发挥深度学习自我学习特征能力的优势，能自动学习更为有用的语义特征，避免了传统人工筛选视频特征所导致的局限性，能够实现提高视频特征提取的效果和准确度。
进一步的，在本实施例中，可以采用深度学习中3D卷积与2D卷积相结合的方法，对特征进行提取，以适应视频片段中视频分类对时间和空间的双重要求，其中3D卷积采用三维卷积提取时间方向的特征，捕捉相关运动信息；通过并采用3Dpooling技术不仅仅降低了计算量，并且在时间方向具有良好的不变性，提高了识别的准确度以及鲁棒性。
进一步的，在本实施例中，可以对2D卷积特征提取的过程中引入了特征图加权，对特征图进行自我学习的加权，得到感兴趣区域的特征图表示，从而使得网络更加关注于特征图中权重更大的部分，增加视频分类的准确度。
进一步的，在本实施例中，可以对3D卷积提取过程中，不同于2D卷积特征图加权，其是针对于时间特征进行加权，从而最终增加视频分类的准确度。
进一步的，在本实施例中，可以在对特征表示的过程中，采用不同尺度不同池化核大小对特征图进行，可以有效缓解以往pooling过程中过度削减重要表示特征的弊端，使得保留更多的表示级特征，增强整个识别算法过程中的鲁棒性以及准确性。
进一步的，在本实施例中，由于不同段视频对视频分类结果的重要性不同，引入不同固定权重对每个段进行加权，其中中间段权重比两端权重更大，从而得到更合理的视频特征表示。
本发明还提供一种基于深度学习的视频分类设备，能够实现提高视频特征提取的效果和准确度。
请参见图4，图4是本发明基于深度学习的视频分类设备一实施例的结构示意图。该基于深度学习的视频分类设备40，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的基于深度学习的视频分类方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明又提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种基于深度学习的视频分类方法，其特征在于，包括：
获取视频的数据集及其类别标签；
将所述获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像；
通过2D卷积神经网络，提取所述分为N段后的视频的视频空间加权特征；
通过3D卷积神经网络，提取所述分为N段后的视频的视频时间加权特征；
获得所述分为N段后的视频的视频多尺度特征；
融合所述N段视频特征计算预测得分，得到最终视频分类；
存储所述的训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类；
其中，所述将所述获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，包括：
将视频等分为N段，训练阶段每段视频随机选择M帧，测试阶段每段视频选择等距离M帧，将n＝N×M帧图像堆叠，得到通道数为3的图像块，设置输入网络的视频帧分别记为X＝{x1,x2,…,xn},n表示输入网络的总帧数；
其中，所述通过2D卷积神经网络，提取所述分为N段后的视频的视频空间加权特征的步骤，包括：设置每帧图像提取到的某层空间特征为V＝{v1,v2,....,vn}，空间提取的最后一层特征图为g，每一帧特征图与最后一层特征图点乘后做归一化处理得到每帧权重wi＝softmax(vi·g)，将权重与原始特征相乘得到加权空间特征V′＝{v1w1,v2w2,....,vnwn}；
其中，所述通过3D卷积神经网络，提取所述分为N段后的视频的视频时间加权特征的步骤，包括：设置网络中某一层的特征图大小为H×W×C，通道数为C，计算时间权重，每层特征图乘上权重获得带有区分性的时间特征；
其中，所述融合所述N段视频特征计算预测得分，得到最终视频分类的步骤，包括：不同段视频对视频分类结果的重要性不同，设每段视频的重要性分别为w1,w2,…wN 视频的预测得分分别为C1,C2,.....,CN，权重乘上得分后累加得到最终融合分数，即由以下公式计算得到：
其中，权重设置倾向于中间段权重偏高，开始和结束段权重偏低，权重和为1；
其中，所述获得所述分为N段后的视频的视频多尺度特征，可以包括：
设置卷积神经网络最后一层特征图大小为H×W×C，直接利用大小为H×W的池化核获得1×1×C的特征送入全连接层计算预测分值将导致较大信息损失；
采用不同大小的池化核和池化方式包括取平均值或者取最大值的方式，获得多尺度的特征，然后拼接送入全连接层将避免信息损失。
2.如权利要求1所述的基于深度学习的视频分类方法，其特征在于，所述卷积神经网络，包括：
至少一个三维卷积层、至少一个三维池化层和至少一个全连接层。
3.如权利要求1所述的基于深度学习的视频分类方法，其特征在于，所述计算时间权重的步骤，包括：
将特征图利用卷积操作将通道数缩小r倍，即通道数变为C/r；
利用大小为H×W的平均池化将特征图大小变为1×1，即特征图变为1×1×C/r ；
在第三维度上利用ReLU函数做非线性变换；
同样利用卷积操作将通道数恢复至C，最后通过sigmoid函数获得归一化时间权重W＝{w1,w2,...,wC}。
4.如权利要求1所述的基于深度学习的视频分类方法，其特征在于，所述存储所述训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类，包括：
存储所述得到的训练好的视频分类模型，应用所述训练好的视频分类模型，对测试视频进行分类，通过训练好的卷积神经网络获得最后预测得分，选择分数最高类别作为分类结果。
5.一种基于深度学习的视频分类设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的基于深度学习的视频分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910133098.0A CN110032926B (zh) | 2019-02-22 | 2019-02-22 | 一种基于深度学习的视频分类方法以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910133098.0A CN110032926B (zh) | 2019-02-22 | 2019-02-22 | 一种基于深度学习的视频分类方法以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110032926A CN110032926A (zh) | 2019-07-19 |
| CN110032926B true CN110032926B (zh) | 2021-05-11 |
Family
ID=67234961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910133098.0A Active CN110032926B (zh) | 2019-02-22 | 2019-02-22 | 一种基于深度学习的视频分类方法以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032926B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110400575B (zh) | 2019-07-24 | 2024-03-29 | 腾讯科技（深圳）有限公司 | 通道间特征提取方法、音频分离方法和装置、计算设备 |
| CN110602526B (zh) * | 2019-09-11 | 2021-09-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
| CN110738129B (zh) * | 2019-09-20 | 2022-08-05 | 华中科技大学 | 一种基于r-c3d网络的端到端视频时序行为检测方法 |
| CN110674887A (zh) * | 2019-10-08 | 2020-01-10 | 中兴飞流信息科技有限公司 | 一种基于视频分类的端到端道路拥堵检测算法 |
| CN110807369B (zh) * | 2019-10-09 | 2024-02-20 | 南京航空航天大学 | 基于深度学习和注意力机制的短视频内容智能分类方法 |
| CN110766096B (zh) * | 2019-10-31 | 2022-09-23 | 北京金山云网络技术有限公司 | 视频分类方法、装置及电子设备 |
| CN110991254B (zh) * | 2019-11-08 | 2023-07-04 | 深圳大学 | 超声图像视频分类预测方法及系统 |
| CN110929780B (zh) * | 2019-11-19 | 2023-07-11 | 腾讯科技（深圳）有限公司 | 视频分类模型构建、视频分类的方法、装置、设备及介质 |
| CN111046232B (zh) * | 2019-11-30 | 2024-06-14 | 北京达佳互联信息技术有限公司 | 一种视频分类方法、装置及系统 |
| CN110996123B (zh) * | 2019-12-18 | 2022-01-11 | 广州市百果园信息技术有限公司 | 一种视频处理方法、装置、设备及介质 |
| CN113010736B (zh) * | 2019-12-20 | 2024-09-06 | 北京金山云网络技术有限公司 | 一种视频分类方法、装置、电子设备及存储介质 |
| CN111209433A (zh) * | 2020-01-03 | 2020-05-29 | 北京工业大学 | 一种基于特征增强的视频分类算法 |
| CN111209883B (zh) * | 2020-01-13 | 2023-08-04 | 南京大学 | 一种基于多源运动特征融合的时序自适应视频分类方法 |
| CN111242081B (zh) * | 2020-01-19 | 2023-05-12 | 深圳云天励飞技术有限公司 | 视频检测方法、目标检测网络训练方法、装置及终端设备 |
| CN111274995B (zh) * | 2020-02-13 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置、设备和计算机可读存储介质 |
| WO2021169784A1 (en) * | 2020-02-28 | 2021-09-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for obtaining aggregated multi-scale first and second dimensional receptive field information |
| CN111259874B (zh) * | 2020-05-06 | 2020-07-28 | 成都派沃智通科技有限公司 | 一种基于深度学习的校园安全视频监测方法 |
| CN113781519A (zh) * | 2020-06-09 | 2021-12-10 | 华为技术有限公司 | 目标跟踪方法和目标跟踪装置 |
| CN111859023B (zh) * | 2020-06-11 | 2024-05-03 | 中国科学院深圳先进技术研究院 | 视频分类方法、装置、设备及计算机可读存储介质 |
| CN111914119B (zh) * | 2020-08-12 | 2022-03-18 | 山东大学 | 一种基于动静态特征融合的视频摘要方法 |
| CN112464831B (zh) * | 2020-12-01 | 2021-07-30 | 马上消费金融股份有限公司 | 视频分类方法、视频分类模型的训练方法及相关设备 |
| CN112288050B (zh) * | 2020-12-29 | 2021-05-11 | 中电科新型智慧城市研究院有限公司 | 一种异常行为识别方法、识别装置、终端设备及存储介质 |
| CN112784734A (zh) | 2021-01-21 | 2021-05-11 | 北京百度网讯科技有限公司 | 一种视频识别方法、装置、电子设备和存储介质 |
| CN113015022A (zh) * | 2021-02-05 | 2021-06-22 | 深圳市优必选科技股份有限公司 | 行为识别方法、装置、终端设备及计算机可读存储介质 |
| CN113469142B (zh) * | 2021-03-12 | 2022-01-14 | 山西长河科技股份有限公司 | 一种监控视频时空信息融合的分类方法、装置及终端 |
| CN113111822B (zh) * | 2021-04-22 | 2024-02-09 | 深圳集智数字科技有限公司 | 用于拥堵识别的视频处理方法、装置与电子设备 |
| CN113033500B (zh) * | 2021-05-06 | 2021-12-03 | 成都考拉悠然科技有限公司 | 动作片段检测方法、模型训练方法及装置 |
| CN113850829B (zh) * | 2021-09-28 | 2024-07-26 | 深圳万兴软件有限公司 | 基于高效深度网络的视频镜头分割方法、装置及相关组件 |
| CN114037930B (zh) * | 2021-10-18 | 2022-07-12 | 苏州大学 | 基于时空增强网络的视频动作识别方法 |
| CN114611584B (zh) * | 2022-02-21 | 2024-07-02 | 上海市胸科医院 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
| CN114494981B (zh) * | 2022-04-07 | 2022-08-05 | 之江实验室 | 一种基于多层次运动建模的动作视频分类方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330362A (zh) * | 2017-05-25 | 2017-11-07 | 北京大学 | 一种基于时空注意力的视频分类方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894125B (zh) * | 2010-05-13 | 2012-05-09 | 复旦大学 | 一种基于内容的视频分类方法 |
| CN105005773A (zh) * | 2015-07-24 | 2015-10-28 | 成都市高博汇科信息科技有限公司 | 一种融合时域信息和空域信息的行人检测方法 |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN107977634A (zh) * | 2017-12-06 | 2018-05-01 | 北京飞搜科技有限公司 | 一种针对视频的表情识别方法、装置及设备 |
-
2019
- 2019-02-22 CN CN201910133098.0A patent/CN110032926B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330362A (zh) * | 2017-05-25 | 2017-11-07 | 北京大学 | 一种基于时空注意力的视频分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110032926A (zh) | 2019-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032926B (zh) | 一种基于深度学习的视频分类方法以及设备 | |
| Deng et al. | Learning to predict crisp boundaries | |
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| US11900646B2 (en) | Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN108830211A (zh) | 基于深度学习的人脸识别方法及相关产品 | |
| CN111401177A (zh) | 基于自适应时空注意力机制的端到端行为识别方法及系统 | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN110569814B (zh) | 视频类别识别方法、装置、计算机设备及计算机存储介质 | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN114283351A (zh) | 视频场景分割方法、装置、设备及计算机可读存储介质 | |
| CN114283350A (zh) | 视觉模型训练和视频处理方法、装置、设备及存储介质 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN115905613A (zh) | 音视频多任务学习、评估方法、计算机设备及介质 | |
| CN105389588A (zh) | 基于多语义码本图像特征表示方法 | |
| CN118015715A (zh) | 基于深度融合网络的分布式aigc伪造检测方法 | |
| CN117133059B (zh) | 一种基于局部注意力机制的人脸活体检测方法及装置 | |
| CN111310516A (zh) | 一种行为识别方法和装置 | |
| CN111126177B (zh) | 人数统计的方法及装置 | |
| CN114841887B (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN116993987A (zh) | 一种基于轻量级神经网络模型的图像语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230308 Address after: 550002 No. 2-4, Floor 2, No. 9, Boai Road, Nanming District, Guiyang City, Guizhou Province Patentee after: GUIZHOU SISO ELECTRONICS Co.,Ltd. Address before: 518000 Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) |