CN112084887A - 一种基于注意力机制的自适应视频分类方法及系统 - Google Patents
一种基于注意力机制的自适应视频分类方法及系统 Download PDFInfo
- Publication number
- CN112084887A CN112084887A CN202010838907.0A CN202010838907A CN112084887A CN 112084887 A CN112084887 A CN 112084887A CN 202010838907 A CN202010838907 A CN 202010838907A CN 112084887 A CN112084887 A CN 112084887A
- Authority
- CN
- China
- Prior art keywords
- video
- video stream
- target domain
- domain
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007246 mechanism Effects 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 49
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000007547 defect Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- NVNSXBXKNMWKEJ-UHFFFAOYSA-N 5-[[5-(2-nitrophenyl)furan-2-yl]methylidene]-1,3-diphenyl-2-sulfanylidene-1,3-diazinane-4,6-dione Chemical compound [O-][N+](=O)C1=CC=CC=C1C(O1)=CC=C1C=C1C(=O)N(C=2C=CC=CC=2)C(=S)N(C=2C=CC=CC=2)C1=O NVNSXBXKNMWKEJ-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于注意力机制的自适应视频分类方法及系统，在本申请提供的方法中，先获取无监督视频流作为目标域视频流；再获取有有标注的图像数据和视频数据作为源域数据集；然后利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；最后基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。基于本申请提供的基于注意力机制的自适应视频分类方法及系统，将针对现有模型的缺陷，采用web上的图像和视频数据作为源域数据集，增加源域数据的多样性，并通过注意力机制降低源域数据的噪声影响，提高分类准确性。
Description
技术领域
本申请涉及视频分类技术领域，特别是涉及一种基于注意力机制的自适应视频分类方法及系统。
背景技术
视频分类是计算机视觉中经过深入研究的问题，是指给定一个视频片段，对其中包含的内容进行分类，类别通常是动作，场景，物体等，在监视和人机交互等领域具有许多重要的应用。一般采用基于深度学习的方法来进行视频分类，但是训练深度神经网络通常需要大量的带标记数据集，然而视频领域的多样性和人工标注的昂贵性，足够多的标记数据是难以获得的，因此无监督的自适应视频分类方法逐渐成为研究热点。
目前现有的自适应视频分类模型对于源域数据的选择具有一定的局限性，当源域数据和目标域数据差异较大时会降低分类器性能，而且源域数据中噪声的影响也会使得分类器获得较差的准确性。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种基于注意力机制的自适应视频分类方法，包括：
获取无监督视频流作为目标域视频流；
获取有标注的图像数据和视频数据作为源域数据集；
利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数；
基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签。
可选地，所述获取有标注的图像数据和视频数据作为源域数据集，包括：
基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；
对所述源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取。
可选地，采用生成对抗网络作为所述领域自适应模型；
所述生成对抗网络包括图像生成对抗网络和视频生成对抗网络；
所述图像生成对抗网络包括二维卷积神经网络模型，所述视频生成对抗网络包括三维卷积神经网络模型。
可选地，所述利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数，包括：
将所述目标域视频流和所述源域数据集输入所述二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对所述源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与所述目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重；
将所述目标域视频流、所述源域数据集、第一权重输入所述三维卷积神经网络模型进行视频特征训练，基于注意力机制对所述源域数据集中的视频数据中视频帧的视频特征与所述目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出所述目标域视频流的特征参数。
可选地，所述基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签，包括：
采用softmax激活函数基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签；
将所述类别标签添加至所述目标域视频流。
根据本申请的另一个方面，提供了一种基于注意力机制的自适应视频分类系统，包括：
目标域视频流获取模块，其配置成获取无监督视频流作为目标域视频流；
源域数据集生成模块，其配置成获取有标注的图像数据和视频数据作为源域数据集；
特征参数输出模块，其配置成利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数；
类别标签添加模块，其配置成基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签。
可选地，所述源域数据集生成模块，还配置成：
基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；
对所述源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取。
可选地，采用生成对抗网络作为所述领域自适应模型；
所述生成对抗网络包括图像生成对抗网络和视频生成对抗网络；
所述图像生成对抗网络包括二维卷积神经网络模型，所述视频生成对抗网络包括三维卷积神经网络模型。
可选地，所述特征参数输出模块，还配置成：
将所述目标域视频流和所述源域数据集输入所述二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对所述源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与所述目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重；
将所述目标域视频流、所述源域数据集、第一权重输入所述三维卷积神经网络模型进行视频特征训练，基于注意力机制对所述源域数据集中的视频数据中视频帧的视频特征与所述目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出所述目标域视频流的特征参数。
可选地，所述类别标签添加模块，还配置成：
采用softmax激活函数基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签；
将所述类别标签添加至所述目标域视频流。
本申请提供了一种基于注意力机制的自适应视频分类方法及系统，在本申请提供的方法中，先获取无监督视频流作为目标域视频流；再获取有标注的图像数据和视频数据作为源域数据集；然后利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；最后基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。
基于本申请提供的基于注意力机制的自适应视频分类方法及系统，将针对现有模型的缺陷，采用web上的图像和视频数据作为源域数据集，增加源域数据的多样性，并通过注意力机制降低源域数据的噪声影响，提高分类准确性。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请实施例的基于注意力机制的自适应视频分类方法流程示意图；
图2是根据本申请实施例的图像GAN模型示意图；
图3是根据本申请实施例的视频GAN模型示意图；
图4是根据本申请实施例的2D-CNN模型流程图；
图5是根据本申请实施例的3D-CNN模型流程图；
图6是根据本申请实施例的一种基于注意力机制的自适应视频分类系统结构示意图；
图7是根据本申请实施例的计算设备示意图；
图8是根据本社情实施例的计算机可读存储介质示意图。
具体实施方式
目前，在视频分类领域中，较常采用基于深度学习的方法来进行视频分类，可以采用三维卷积视频网络模型例如C3D，P3D，I3D等，因为其共同学习视频帧内容和运动的特征而适用于视频分类领域。其中I3D使用全3D滤波器，而P3D将时空卷积分解为空间卷积和时间卷积，先进行空间卷积再进行时间卷积。还有一些经典的模型例如LRCNs，它是LSTM和ConvNet结合进行视频分类的方法，首先在图像分类任务上训练好ConvNet分类器，它就可以很好地提取视频帧的表观特征；而对于时序特征的提取，则可以通过直接增加LSTM层来实现，因为LSTM能够将多个时刻的状态作为当前时刻的输入，从而允许时间维度上的信息得以保留。
在领域自适应中大多基于生成对抗网络，例如PixelDA模型能够从源分布中生成逼真的样本，而其他像DANN(英文全称Domain-Adversarial Training of NeuralNetworks)则是学习域不变的特征表示。其他相关工作包括ADDA(英文全称AdversarialDiscriminative Domain Adaptation)，它通过在源域上预先训练分类器来学习分段模型，然后在之后添加对抗性组件以实现领域自适应；或是通过结合域混淆损失和转移域之间的类相关性以保留类特定信息来学习域不一致。
图1是根据本申请实施例的一种基于注意力机制的自适应视频分类方法流程示意图。参见图1所知，本申请实施例提供的一种基于注意力机制的自适应视频分类方法可以包括：
步骤S101：获取无监督视频流作为目标域视频流；
步骤S102：获取有标注的图像数据和视频数据作为源域数据集；
步骤S103：利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；
步骤S104：基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。
本申请提供了一种基于注意力机制的自适应视频分类方法，在本申请提供的方法中，先获取无监督视频流作为目标域视频流；再获取有标注的图像数据和视频数据作为源域数据集；然后利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；最后基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。基于本申请提供的基于注意力机制的自适应视频分类方法，能够有效利用Web上的带标注图像和视频，并通过注意力机制减少了源域数据的噪声影响，提升了模型的准确率。本实施例提及的图像数据和视频数据可以是人物、风景等不同类型的图像或是视频数据，本发明对此不做限定。
首先，参见上述步骤S101，先获取待分类的视频流作为目标域视频流，而且待分类的视频流是无监督的，即待分类的视频流不具有分类标签。另外，作为目标域视频流的待分类的视频流可以从目标域数据集中获取的，本申请实施例中选取的目标域数据集为UCF-101数据集，它包含101个动作类别，充分满足视频类型的多样性。
获取目标域视频流后，接下来执行步骤S102，获取有标注的图像数据和有标注的视频数据，作为源域数据集。在本申请一可选实施例中，获取源域数据集时，可以基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；对源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取，或是其他对图像的降噪等处理。
具体来讲，源域数据集为网络上的有标注的数据(来自公共搜索引擎的结果)，其中图像数据使用标准图像搜索引擎收集800-900张图像，而视频数据在YouTube收集25个类别，每个类别50个视频的视频数据集。
上文提及，在获取源于数据集后，需要通过预处理进行调整。其中对于图像数据，提取图像的224×224的随机裁剪；对于视频数据，首先可以以类似的方式调整视频大小，然后使用Hecate工具提取关键帧和视频块，对于每个视频块，提取24帧。由于使用的源域数据集是Web数据，会具有很大的噪声影响，因此采用了基于注意力的模块减少噪声影响。
本申请实施例提供的方法从web网络上获取带标注的图像和视频，获得方式较为简单，数据种类较为丰富，能够有效的提高视频分类模型的泛化能力，使其能够适用于多种类别的视频分类数据。
在获取了目标域视频流和源域数据集后，执行步骤S103，利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练。
在本实施例中，预设的领域自适应模型采用生成对抗网络(GenerativeAdversarial Networks，简称GAN)，其中，生成对抗网络包括图像生成对抗网络和视频生成对抗网络；而图像生成对抗网络包括二维卷积神经网络(2D Convolutional NeuralNetworks，简称2D-CNN)模型，视频生成对抗网络包括三维卷积神经网络(3DConvolutional Neural Networks，简称3D-CNN)模型。
领域自适应模型的目标是学习编码器GAN-E，它可以产生不同领域也无法区分的特征表示。领域自适应模型采用生成对抗网络GAN，GAN由图像GAN和视频GAN组成，其中图像GAN包括三组，分别用于区分有监督的网络图像和有监督的网络视频帧、区分有监督的网络视频帧和目标帧(即，无监督的目标域视频帧。)、区分有监督的网络图像和目标帧(即，无监督的目标域视频帧)，其中需要区分的两组互为“真实”特征比对；视频GAN包括一组，用于区分有监督的网络视频帧和目标帧，这两组互为“真实”特征比对。GAN包括生成器和鉴别器。生成器由编码器和解码器组成，编码器中获得的特征被送至解码器，解码器可以重建原始特征向量。鉴别器将生成器生成的特征作为输入，将其与“真实”特征进行比对判别为真或假，最终生成器和鉴别器的博弈操作将使得生成器中的编码器GAN-E产生不同领域也无法区分的特征表示。
在本申请实施例中，编码器GAN-E的输出(解码器的输入)即分别为2D-CNN和3D-CNN的输出，也就是说，在图像GAN中，编码器GAN-E由2D-CNN组成，而在视频GAN中，编码器GAN-E为3D-CNN，值得注意的是，3D-CNN模型的初始化权重是经过图像GAN的训练获得的编码器GAN-E的权重。
也就是说，领域自适应模型中，整体GAN包含图像GAN以及视频GAN两个部分，GAN包含生成器和鉴别器两个部分，其中生成器又包含编码器和解码器，通过GAN结构形成最佳编码器，在编码器后加入分类器进行最终分类。
如图2所示，对于图像GAN，初始的编码器输入为E(I)、E(T)为例，其它两组的训练过程与之相同。图像GAN的输入为E(I)、E(T)，经过解码器再经过判别器，通过不断判别循环使得最终编码器产生不同领域也无法区分的特征表示，在其后加入分类器。
对于视频GAN，如图3所举的例子，视频GAN的输入为3D-E(T)和D-E(V)。，经过解码器再经过判别器，通过不断判别循环使得最终编码器产生不同领域也无法区分的特征表示，在其后加入分类器。
在本申请一可选实施例中，利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练时，可先将目标域视频流和源域数据集输入二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重。然后，将目标域视频流、源域数据集、第一权重输入三维卷积神经网络模型进行视频特征训练，基于注意力机制对源域数据集中的视频数据中视频帧的视频特征与目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出目标域视频流的特征参数。
2D-CNN，它的作用是学习图像特征，训练模型权重，采用它分别学习三组模型权重，其输入分别为有监督的网络图像、有监督的网络视频帧和无监督的目标域视频帧，其输出的三组模型权重将分别作为领域自适应模型的输入。采用的2D-CNN模型为ResNet-34架构，在其中加入了基于注意力的机制，将有监督的网络图像和有监督的网络视频帧的图像特征与目标域视频帧的特征进行比对，根据其相似性对有监督的网络图像和有监督的网络视频帧赋予不同的权重，以减少噪声的干扰。
同时，在ResNet-34架构的最后加入注意力网络，通过计算有监督的网络图像特征和有监督的网络视频帧的图像特征与目标域视频帧特征的相似性，对有监督的网络图像和有监督的网络视频帧赋予不同的权重。
具体地，在计算有监督的网络图像特征的注意力权重时，给定一组网络图像
为每一个图像
计算注意力分数αi，令E(xI)表示图像xI经由ResNet-34架构(即2D-CNN)得到的嵌入特征表示，A代表具体的注意力网络，计算注意力分数的过程为：
选取其中相似性最高的部分：
其中mit为相似性最高的前T个分数。
对前T个分数求和：
最后计算得到图像的计算注意力分数：
其中τ为参数权重(根据不同数据集和网络模型，在训练过程中获取)。由此得到了图像的注意力分数，视频帧的注意力分数计算采用的相同方式。
3D-CNN，用来学习视频的时空特征，采用它分别学习两组权重，其输入分别为有监督的网络视频帧和无监督的目标域视频帧，学习到的两组权重就是这两组输入视频帧在经由网络训练后的网络参数(网络参数即为视频帧的时空特征)。该模型采用经过领域自适应模型训练后的2D-CNN模型的权重作为初始化权重，其输出的模型权重也将分别作为领域自适应模型的编码器输入部分。
3D-CNN模型中也加入了基于注意力的机制，将有监督的网络视频祯的特征与目标域视频祯的特征进行比对，根据其相似性对有监督的网络视频祯赋予不同的权重，以减少噪声的干扰。其中，3D-CNN模型中的基于注意力机制计算方式与上述2D-CNN模型的基于注意力机制的计算方式相同。
如图4所示的例子，对于2D-CNN，输入为有监督的网络图像(I)、有监督的网络视频帧(V)和无监督的目标域视频帧(T)，经由2D-CNN后，两组数据进入注意力机制网络，最终得到三组输出：E(I)、E(T)、E(V)。
而对于3D-CNN，如图5所示，输入为有监督的网络视频帧(V)和无监督的目标域视频帧(T),其中由2D-CNN得到的输出E(T)、E(V)作为3D-CNN的初始化权重，经由3D-CNN后，据进入注意力机制网络，最终得到两组输出：3D-E(T)、3D-E(V)。
最后执行步骤S104，基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。
进一步地说，采用softmax激活函数基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签；然后将类别标签添加至所述目标域视频流。
即通过领域自适应模型后，已经获得了编码器GAN-E，它可以产生不同领域也无法区分的特征表示，在编码器后连接分类器，采用softmax激活函数产生目标域视频的类别标签。
总体来说，本申请实施例提出一种基于注意力机制的自适应视频分类方法，这是一种两阶段的模型训练方法，首先使用标准2D-CNN学习图像模型，将学习的空间权重转移到3D-CNN，然后继续对视频进行训练，而且模型整体采用了迁移学习的思想。
基于同一发明构思，如图6所示，本申请实施例还提供了一种基于注意力机制的自适应视频分类系统，包括：
目标域视频流获取模块610，其配置成获取无监督视频流作为目标域视频流；
源域数据集生成模块620，其配置成获取有标注的图像数据和视频数据作为源域数据集；
特征参数输出模块630，其配置成利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；
类别标签添加模块640，其配置成基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。
在本申请一可选实施例中，源域数据集生成模块620，还配置成：
基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；
对源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取。
在本申请一可选实施例中，采用生成对抗网络作为领域自适应模型；生成对抗网络包括图像生成对抗网络和视频生成对抗网络；图像生成对抗网络包括二维卷积神经网络模型，视频生成对抗网络包括三维卷积神经网络模型。
在本申请一可选实施例中，特征参数输出模块630，还配置成：
将目标域视频流和源域数据集输入二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重；
将目标域视频流、源域数据集、第一权重输入所述三维卷积神经网络模型进行视频特征训练，基于注意力机制对源域数据集中的视频数据中视频帧的视频特征与目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出目标域视频流的特征参数。
在本申请一可选实施例中，类别标签添加模块640，还配置成：
采用softmax激活函数基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签；将类别标签添加至所述目标域视频流。
本申请提供了一种基于注意力机制的自适应视频分类方法及系统，在本申请提供的方法中，先获取无监督视频流作为目标域视频流；再获取有标注的图像数据和视频数据作为源域数据集；然后利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；最后基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。
基于本申请提供的基于注意力机制的自适应视频分类方法及系统，将针对现有模型的缺陷，采用web上的图像和视频数据作为源域数据集，增加源域数据的多样性，并通过注意力机制降低源域数据的噪声影响，提高分类准确性。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备，参照图7，该计算设备包括存储器720、处理器710和存储在所述存储器720内并能由所述处理器710运行的计算机程序，该计算机程序存储于存储器720中的用于程序代码的空间730，该计算机程序在由处理器710执行时实现用于执行任一项根据本发明的方法步骤731。
本申请实施例还提供了一种计算机可读存储介质。参照图8，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序731′，该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于注意力机制的自适应视频分类方法，包括：
获取无监督视频流作为目标域视频流；
获取有标注的图像数据和视频数据作为源域数据集；
利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数；
基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签。
2.根据权利要求1所述的方法，其特征在于，所述获取有标注的图像数据和视频数据作为源域数据集，包括：
基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；
对所述源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取。
3.根据权利要求1所述的方法，其特征在于，采用生成对抗网络作为所述领域自适应模型；
所述生成对抗网络包括图像生成对抗网络和视频生成对抗网络；
所述图像生成对抗网络包括二维卷积神经网络模型，所述视频生成对抗网络包括三维卷积神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数，包括：
将所述目标域视频流和所述源域数据集输入所述二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对所述源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与所述目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重；
将所述目标域视频流、所述源域数据集、第一权重输入所述三维卷积神经网络模型进行视频特征训练，基于注意力机制对所述源域数据集中的视频数据中视频帧的视频特征与所述目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出所述目标域视频流的特征参数。
5.根据权利要求1所述的模型，其特征在于，所述基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签，包括：
采用softmax激活函数基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签；
将所述类别标签添加至所述目标域视频流。
6.一种基于注意力机制的自适应视频分类系统，包括：
目标域视频流获取模块，其配置成获取无监督视频流作为目标域视频流；
源域数据集生成模块，其配置成获取有标注的图像数据和视频数据作为源域数据集；
特征参数输出模块，其配置成利用预设的领域自适应模型对所述目标域视频流和源域数据集进行特征训练，以输出所述目标域视频流的特征参数；
类别标签添加模块，其配置成基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签。
7.根据权利要求6所述的系统，其特征在于，所述源域数据集生成模块，还配置成：
基于预设网络数据集分别选取有标注的图像数据和视频数据作为源域数据集；
对所述源域数据集进行预处理；其中，预处理包括数据大小的调整和/或视频帧的提取。
8.根据权利要求7所述的系统，其特征在于，
采用生成对抗网络作为所述领域自适应模型；
所述生成对抗网络包括图像生成对抗网络和视频生成对抗网络；
所述图像生成对抗网络包括二维卷积神经网络模型，所述视频生成对抗网络包括三维卷积神经网络模型。
9.根据权利要求8所述的系统，其特征在于，所述特征参数输出模块，还配置成：
将所述目标域视频流和所述源域数据集输入所述二维卷积神经网络模型进行图像特征训练，基于注意力机制分别对所述源域数据集中图像数据的图像特征、视频数据中视频帧的图像特征与所述目标域视频流中视频帧的图像特征进行比对，输出图像特征比对后的第一权重；
将所述目标域视频流、所述源域数据集、第一权重输入所述三维卷积神经网络模型进行视频特征训练，基于注意力机制对所述源域数据集中的视频数据中视频帧的视频特征与所述目标域视频流中视频帧的视频特征进行比对，输出视频特征比对后的第二权重，进而输出所述目标域视频流的特征参数。
10.根据权利要求9所述的系统，其特征在于，所述类别标签添加模块，还配置成：
采用softmax激活函数基于所述目标域视频流的特征参数对所述目标域视频流进行分类，生成所述目标域视频流的类别标签；
将所述类别标签添加至所述目标域视频流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010838907.0A CN112084887A (zh) | 2020-08-19 | 2020-08-19 | 一种基于注意力机制的自适应视频分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010838907.0A CN112084887A (zh) | 2020-08-19 | 2020-08-19 | 一种基于注意力机制的自适应视频分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112084887A true CN112084887A (zh) | 2020-12-15 |
Family
ID=73729431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010838907.0A Pending CN112084887A (zh) | 2020-08-19 | 2020-08-19 | 一种基于注意力机制的自适应视频分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084887A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822353A (zh) * | 2021-09-15 | 2021-12-21 | 南京邮电大学 | 一种基于类相关矩阵特征值分解的域自适应方法 |
| CN113869307A (zh) * | 2021-09-16 | 2021-12-31 | 中国农业科学院农业资源与农业区划研究所 | 一种跨类别果实数据集自动标注系统和方法 |
| CN116468959A (zh) * | 2023-06-15 | 2023-07-21 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
| CN113822353B (zh) * | 2021-09-15 | 2024-05-17 | 南京邮电大学 | 一种基于类相关矩阵特征值分解的域自适应方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| EP3364342A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing and video compression |
| US20180288086A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for cyberbot network detection |
| CN109389055A (zh) * | 2018-09-21 | 2019-02-26 | 西安电子科技大学 | 基于混合卷积和注意力机制的视频分类方法 |
| CN110119703A (zh) * | 2019-05-07 | 2019-08-13 | 福州大学 | 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 |
| CN110413838A (zh) * | 2019-07-15 | 2019-11-05 | 上海交通大学 | 一种无监督视频摘要模型及其建立方法 |
| CN110717421A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 一种基于生成对抗网络的视频内容理解方法及装置 |
| CN110728294A (zh) * | 2019-08-30 | 2020-01-24 | 北京影谱科技股份有限公司 | 一种基于迁移学习的跨领域图像分类模型构建方法和装置 |
| CN111242157A (zh) * | 2019-11-22 | 2020-06-05 | 北京理工大学 | 联合深度注意力特征和条件对抗的无监督域自适应方法 |
-
2020
- 2020-08-19 CN CN202010838907.0A patent/CN112084887A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
| EP3364342A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing and video compression |
| US20180288086A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for cyberbot network detection |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN109389055A (zh) * | 2018-09-21 | 2019-02-26 | 西安电子科技大学 | 基于混合卷积和注意力机制的视频分类方法 |
| CN110119703A (zh) * | 2019-05-07 | 2019-08-13 | 福州大学 | 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 |
| CN110413838A (zh) * | 2019-07-15 | 2019-11-05 | 上海交通大学 | 一种无监督视频摘要模型及其建立方法 |
| CN110728294A (zh) * | 2019-08-30 | 2020-01-24 | 北京影谱科技股份有限公司 | 一种基于迁移学习的跨领域图像分类模型构建方法和装置 |
| CN110717421A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 一种基于生成对抗网络的视频内容理解方法及装置 |
| CN111242157A (zh) * | 2019-11-22 | 2020-06-05 | 北京理工大学 | 联合深度注意力特征和条件对抗的无监督域自适应方法 |
Non-Patent Citations (1)
| Title |
|---|
| KAE, A等: "Image to Video Domain Adaptation Using Web Supervision", 《2020 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》, 14 May 2020 (2020-05-14), pages 556 - 564 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822353A (zh) * | 2021-09-15 | 2021-12-21 | 南京邮电大学 | 一种基于类相关矩阵特征值分解的域自适应方法 |
| CN113822353B (zh) * | 2021-09-15 | 2024-05-17 | 南京邮电大学 | 一种基于类相关矩阵特征值分解的域自适应方法 |
| CN113869307A (zh) * | 2021-09-16 | 2021-12-31 | 中国农业科学院农业资源与农业区划研究所 | 一种跨类别果实数据集自动标注系统和方法 |
| CN116468959A (zh) * | 2023-06-15 | 2023-07-21 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
| CN116468959B (zh) * | 2023-06-15 | 2023-09-08 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chin et al. | Adascale: Towards real-time video object detection using adaptive scaling | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN109598231B (zh) | 一种视频水印的识别方法、装置、设备及存储介质 | |
| US20180114071A1 (en) | Method for analysing media content | |
| JP7007829B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US10685236B2 (en) | Multi-model techniques to generate video metadata | |
| JP2023537705A (ja) | オーディオ・ビジュアル・イベント識別システム、方法、プログラム | |
| CN110942011B (zh) | 一种视频事件识别方法、系统、电子设备及介质 | |
| CN111027576B (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| CN113255625B (zh) | 一种视频检测方法、装置、电子设备和存储介质 | |
| Liu et al. | Attentive cross-modal fusion network for RGB-D saliency detection | |
| CN114283351A (zh) | 视频场景分割方法、装置、设备及计算机可读存储介质 | |
| Zhang et al. | Multiple adverse weather conditions adaptation for object detection via causal intervention | |
| CN110717421A (zh) | 一种基于生成对抗网络的视频内容理解方法及装置 | |
| CN112084887A (zh) | 一种基于注意力机制的自适应视频分类方法及系统 | |
| Ehsan et al. | An accurate violence detection framework using unsupervised spatial–temporal action translation network | |
| CN112131429A (zh) | 一种基于深度预测编码网络的视频分类方法及系统 | |
| US20230154139A1 (en) | Systems and methods for contrastive pretraining with video tracking supervision | |
| KR102334388B1 (ko) | 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치 | |
| CN112214626B (zh) | 图像识别方法、装置、可读存储介质及电子设备 | |
| CN114022938A (zh) | 视素识别的方法、装置、设备和存储介质 | |
| CN111259701B (zh) | 行人再识别方法、装置及电子设备 | |
| EP3401843A1 (en) | A method, an apparatus and a computer program product for modifying media content | |
| CN116612537B (zh) | 一种基于背景弱化及一致性计算的半监督动作检测方法 | |
| CN116052220B (zh) | 行人重识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |