CN111046232A - 一种视频分类方法、装置及系统 - Google Patents
一种视频分类方法、装置及系统 Download PDFInfo
- Publication number
- CN111046232A CN111046232A CN201911206100.9A CN201911206100A CN111046232A CN 111046232 A CN111046232 A CN 111046232A CN 201911206100 A CN201911206100 A CN 201911206100A CN 111046232 A CN111046232 A CN 111046232A
- Authority
- CN
- China
- Prior art keywords
- video
- classified
- video data
- classification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 74
- 238000013145 classification model Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种视频分类方法、装置、电子设备以及存储介质，用以至少解决相关技术中视频分类方法无法兼顾分类准确度以及分类速度的问题，方法包括：使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频分类方法、装置及系统。
背景技术
随着移动社交媒体技术的快速发展，短视频作为一种具有娱乐性的内容展示形式，深受大众的喜爱。由于短视频制作门槛低，内容生产迅速，因此每天会产生大量的新内容。现有的短视频APP为了可以方便用户更快的找到自己所喜爱的短视频进行观看，往往需要对对新产生视频进行分类或者添加各类分类标签。
由于短视频生产速度快且数据量极大，因而在现有技术中往往会利用深度学习算法来进行视频图像的识别与分类。而其中，卷积神经网络(Convolutional NeuralNetworks,CNN)作为深度学习的一个重要分支，凭借其超强的特征提取能力以及端到端的全局优化能力，在视觉目标检测、分类识别任务中有着广泛的应用。
但是，通过深度学习模型实现视频分类存在的问题在于，由于深度学习模型属于计算密集型算法，在CPU上处理速度慢，造成其难以在实时性要求较高的任务中使用，即便采用专门的GPU平台处理，仍旧需要考虑相应的网络优化提速方法。尤其是针对短视频平台这种典型的用户内容生成(User Generated Content，UGC)平台来说，其数据大多数是视频内容，多帧的融合会进一步加剧资源的效果，减慢运算速度。
为了尽量减少深度学习模型在视频分类识别过程中处理速度较慢而无法保证实时性的问题，现有技术中提供了一种可以基于视频中单帧图像进行分类的深度学习模型，该图像分类模型主要针对单帧图像进行识别，因而运算速度较快，然而该图像分类模型存在的确定在于无法保证分类结果的准确度。
由此可见，如何在保证分类准确度的情况下，尽可能地提高视频分类的速度，成为现有技术亟待解决的问题。
发明内容
本公开提供一种视频分类方法、装置及系统，以至少解决相关技术中视频分类方法无法兼顾分类准确度以及分类速度的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频分类方法，包括：
使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
在一种实施方式中，根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，包括：确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；将所述平均距离确定为所述待分类视频数据的稳定性指标。
在一种实施方式中，根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：
其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。
在一种实施方式中，根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，包括：根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；当确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。
在一种实施方式中，根据所述待分类视频的稳定性指标，判断所述视频数据是否为稳定数据，包括：根据所述稳定性指标与预设阈值之间的大小关系，确定所述视频数据是否为稳定数据；当所述稳定性指标小于所述预设阈值时，则确定所述视频数据为稳定数据；当所述稳定性指标在所述预设阈值以上时，则确定所述视频数据为非稳定数据。
在一种实施方式中，所述特征提取模型、所述视频分类模型以及所述图像分类模型为通过对相同数据集进行训练而得到的。
根据本公开实施例的第二方面，提供一种视频分类的装置，包括：
特征提取单元，被配置为执行使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
稳定性确定单元，被配置为执行根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；
分类单元，被配置为执行根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
在一种实施方式中，稳定性确定单元被配置为执行：确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；将所述平均距离确定为所述待分类视频数据的稳定性指标。
在一种实施方式中，，稳定性确定单元被配置为执行：根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：
其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。
在一种实施方式中，稳定性确定单元被配置为执行：根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；则分类单元具体被配置为执行：当所述稳定性确定单元确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当所述稳定性确定单元确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。
在一种实施方式中，稳定性确定单元被配置为执行：当所述稳定性指标小于所述预设阈值时，则确定所述待分类视频数据为稳定数据；当所述稳定性指标在所述预设阈值以上时，则确定所述待分类视频数据为非稳定数据。
在一种实施方式中，所述特征提取模型、所述视频分类模型以及所述图像分类模型为通过对相同数据集进行训练而得到的。
根据本公开实施例的第三方面，提供一种视频分类电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一项视频分类方法步骤。
根据本公开实施例的第四方面，提供一种存储介质，包括：当所述存储介质中的指令由视频分类电子设备的处理器执行时，使得所述视频分类电子设备能够执行上述第一方面中任一项视频分类方法步骤。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括：
当其在设备上运行时，使得项目打包设备执行：上述第一方面中任一项视频分类方法步骤。
本公开的实施例提供的技术方案至少带来以下有益效果：
采用本公开实施例提供的视频分类方法，在对待分类视频数据进行分类前，首先会使用基于卷积神经网络的特征提取模型对该待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集，进一步地可以根据获取到的多帧视频特征集，来确定待分类视频数据的稳定性指标，最后根据待分类视频的稳定性指标，确定与待分类视频数据对应的分类模型，并利用该分类模型对所述待分类视频数据进行分类。由于在进行视频分类过程中，增加了根据待分类视频稳定性指标来选择分类模型的步骤，相比于现有技术中针对所有视频均采用同一种视频分类模型的方案，本公开实施例所提供的视频分类方法可以根据待分类视频本身的特性，更加灵活地选择合适的分类模型进行视频分类，即保证了视频分类的处理效率，同时又保证了视频分类的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频分类方法的流程图。
图2是根据一示例性实施例示出的一种视频分类装置的框图。
图3是根据一示例性实施例示出的一种视频分类电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下结合附图，详细说明本公开的实施例所提供的技术方案。
本公开的实施例提供了一种视频分类方法，用以至少解决相关技术中视频分类方法无法兼顾分类准确度以及分类速度的问题。
本公开的实施例提供的视频分类方法的执行主体，可以但不限于为手机、平板电脑、个人电脑(Personal Computer，PC)、智能电视以及任何可以运行应用程序的终端设备中的至少一种。或者，该方法的执行主体也可以是安装在上述设备上的应用程序本身。此外该方法的执行主体还可以是服务器，例如，视频网站的服务器、短视频APP的服务器、新闻网站的服务器以及广告网站的服务器，等等。
为便于描述，下文以该方法的执行主体为短视频APP的服务器为例，对本公开的实施例所提供的视频分类方法进行介绍。可以理解，该方法的执行主体为短视频APP的服务器只是一种示例性的说明，并不应理解为对本公开实施例的限定。
图1是根据一示例性实施例示出的一种视频分类方法的流程图，如图1所示，该视频分类方法用于短视频APP服务器中，包括以下步骤：
在步骤S101中，使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到待分类视频数据的多帧视频特征集；
其中，该预先训练得到的、基于卷积神经网络的特征提取模型可以由依次连接的归一化层、激活函数层、多层卷积层以及池化层组成。在本方案中，短视频APP服务器可以将待分类的视频输入该特征提取模型中，以使得该特征提取模型分别对输入的每帧视频帧进行卷积运算，进而得到每帧视频帧对应的特征，进而得到由该视频中各视频帧对应特征所组成的多帧视频特征集。
在本方案中，由于多帧视频帧均是从同一个待分类视频中采集得到的，因而连续的多帧视频帧在画面内容上往往存在相同部分，因此特征提取模型针对连续的多帧视频帧所提取到的特征可能也是相同的。为了避免特征提取模型在进行特征提取时，针对连续多帧视频帧进行卷积运算而造成处理资源的浪费，在本方案中，针对输入的待分类视频，该特征提取模型可以仅对按照预设的播放时间间隔提取视频帧进行特征提取，比如，针对一部帧速率为30帧/秒，时长10s的短视频为例，特征提取模型可以确定该短视频每秒所对应的视频关键帧，并根据确定的该视频关键帧进行卷积运算，以提取该视频关键帧所对应的特征，即针对该10s的短视频只需要提取10帧视频帧所对应的特征即可，而不需要针对每秒的30帧视频帧，一共300帧视频帧均进行特征提取，从而可以减少模型的计算量，提高模型训练的效率。
另外，这里还需要说明的是，为了尽可能地减少特征提取模型的运算量，提高特征提取模型的运算速度，在本公开实施例中，在训练该特征提取模型时，往往需要朝着模型结构小且运算速度快的方向进行设计。
具体地，在本公开实施例中，可以通过以下三个方面来训练结构小且运算速度快的特征提取模型：
方式1，将特征提取模型输入数据的尺寸调小；
具体地，可以将特征提取模型的输入设置为112×112以下，以减小该特征提取模型的运算时间，则在这种情况下，短视频APP服务器在将待分类视频输入该特征提取模型之前，可以将待分类视频中的多帧视频帧分别调整为与特征提取模型输入对应的大小，比如112×112，以使得输入的视频帧与特征提取模型的卷积神经网络相匹配。
方式2，减少特征提取模型中卷积神经网络的网络结构；
具体地，可以通过减少特征提取模型中卷积层数量的方式，以达到减少网络结构的目的。在本公开实施例中，该特征提取模型的卷积层数量小于16层。
方式3，使用快速卷积算子构建特征提取模型；
在本公开实施例中，具体可以采用element-wise或者depth-wise作为卷积算子，来构建特征提取模型。
在本公开实施例中，可以采用下述方式训练特征提取模型：
首先，可以按照上述方式构建结构小且运算速度快的初始特征提取模型，该初始特征提取模型包括特征提取层和分类层。其中，分类层包括预设数量个权重数据，权重数据对应于预设的视频类别，用于确定输入的视频属于权重数据对应的视频类别的概率。通常，特征提取层可以包括卷积层、池化层等，用于生成视频的特征数据，特征数据可以用于表征诸如视频中的图像的颜色、形状等特征。分类层包括全连接层，全连接用于根据特征提取层输出的特征数据生成一个特征向量。权重数据包括权重系数，权重系数可以与特征数据相乘，权重数据还可以包括偏置值，利用权重系数和偏置值可以得到该权重数据对应的概率值，该概率值用于表征输入的视频属于该权重数据对应的视频类别的概率。通过固定上述预设数量权重数据中的、除样本视频集对应的权重数据之外的其他权重数据，以及调整样本视频集对应的权重数据，以完成对初始特征提取模型进行训练。
采用上述方案，可以预先训练得到一个网络结构小且运算速度快的特征提取模型，并利用该特征提取模型快速高效地完成对待分类视频的特征提取。
在步骤S102中，根据通过执行步骤101所获取到的多帧视频特征集，确定待分类视频数据的稳定性指标；
其中，待分类视频数据的稳定性指标可以用于表征待分类视频数据中连续两帧视频帧所对应画面的变化程度。比如，连续两帧视频帧画面中背景画面的变化、人物动作的变化、色彩变化、亮度变化以及场景变化，等等。
在本公开实施例中，可以根据待分类视频数据所对应的多帧视频特征集中任意两个特征之间的余弦距离(cosine distance)来表示这两个特征所对应的视频帧之间画面内容的变化程度，进而可以根据该多帧视频特征集中两两特征之间余弦距离，计算该多帧视频特征集中所有特征之间余弦距离的平均值，进而通过该平均值表示该待分类视频数据的画面内容变化程度，即在本公开实施例中可以将该平均值作为该待分类视频数据的稳定性指标。
具体地，本公开实施例中所提供的确定待分类视频数据稳定性指标的方法可以包括：确定多帧视频特征集中任意两个特征之间的余弦距离，并确定多帧视频特征集中两个特征之间平均距离，将平均距离确定为待分类视频数据的稳定性指标。进一步地，在本公开实施例中，可以采用下述公式[1]来计算多帧视频特征集中两个特征之间平均距离：
在上述公式[1]中，K表示多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。通过上述公式[1]，可以计算得到多帧视频特征集中所有特征之间余弦距离的平均距离，且不会出现重复计算。
具体地，假设多帧视频特征集中存在5条特征，分别为feature1,feature2,feature3,feature4,feature5，则采用上述公式[1]，只需要根据feature1分别与feature2，feature3，feature4，feature5之间的余弦距离，feature2分别与feature3，feature4，feature5之间的余弦距离，feature3分别与feature4，feature5之间的余弦距离，以及feature4与feature5之间的余弦距离，计算该多帧视频特征集中所有特征之间余弦距离的平均距离。
在通过上述公式[1]计算出多帧视频特征集中所有特征之间余弦距离的平均距离后，短视频APP服务器可以根据该平均距离与预先设置阈值之间的大小关系，来确定待分类视频数据是否为稳定数据，具体地，本公开实施例可以通过下述方法来确定待分类视频数据是否为稳定数据：当稳定性指标(即平均距离)小于预设阈值时，则确定待分类视频数据为稳定数据；当稳定性指标(即平均距离)在预设阈值以上时，则确定待分类视频数据为非稳定性数据。
在本公开实施例中，该阈值可以被设置为threshold＝0.2，则具体可以根据下述方式来确定待分类视频数据是否为稳定数据：
稳定数据：If stablefeature＜threshold；
非稳定数据：If stablefeature≥threshold。
在步骤S103中，根据通过执行步骤102确定的待分类视频稳定性指标，确定与待分类视频数据对应的预先训练好的分类模型，并利用分类模型对所述待分类视频数据进行分类。
具体地，在本公开实施例中，短视频APP服务器可以采用下述方法确定待分类视频所对应的分类模型：当确定视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当确定视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。
在本公开实施例中，可以使用与训练特征提取模型相同的样本数据集，来训练该视频分类模型以及图像分类模型。同时，在本公开实施例中，可以采用步骤S101中与训练特征提取模型相同的方法来训练视频分类模型以及图像分类模型，或者在本公开实施例中还可以采用其他训练方法来训练视频分类模型以及图像分类模型。由于分类模型的训练方法属于一种比较成熟相关技术，因而在本公开实施例中对视频分类模型以及图像分类模型的具体训练过程不再详述。
在本公开实施例中，当通过执行步骤102确定待分类的视频数据为稳定数据时，则说明待分类视频数据在播放过程中连续两帧视频帧所对应画面内容的变化较少，比如，在一段自拍短视频中，该视频画面中人物、背景、颜色以及亮度等特征往往较为固定，仅有视频人物的表情和动作可能发生一些改变，则针对该类为稳定数据的视频，在进行视频分类时选择基于单帧图像进行分类的图像分类模型即可满足识别精度的相关要求，同时还可以以提高识别速度。
而当过执行步骤102确定待分类的视频数据为非稳定数据时，则说明待分类视频数据在播放过程中连续两帧视频帧所对应画面内容的变化较大。比如，在一段极限运动视频中，在视频播放过程中，连续视频帧对应的画面中人物、背景、颜色以及亮度等特征在短时间内会有较大的变化，针对该类为非稳定数据的视频，在如果仍然采用基于单帧图像进行分类的图像分类模型进行分类，可能会导致分类结果准确度较低，因而针对该类不具备稳定性的视频，在进行视频分类时可以选择视频分类模型，以提高识别精度。
采用本公开实施例提供的视频分类方法，在对待分类视频数据进行分类前，首先会使用基于卷积神经网络的特征提取模型对该待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集，进一步地可以根据获取到的多帧视频特征集，来确定待分类视频数据的稳定性指标，最后根据待分类视频的稳定性指标，确定与待分类视频数据对应的分类模型，并利用该分类模型对所述待分类视频数据进行分类。由于在进行视频分类过程中，增加了根据待分类视频稳定性指标来选择分类模型的步骤，相比于现有技术中针对所有视频均采用同一种视频分类模型的方案，本公开实施例所提供的视频分类方法可以根据待分类视频本身的特性，更加灵活地选择合适的分类模型进行视频分类，即保证了视频分类的处理效率，同时又保证了视频分类的准确度。
图2是根据一示例性实施例示出的一种视频分类装置框图。参照图2，该装置包括特征提取单元121，稳定性确定单元122和分类单元123。
该特征提取单元121被配置为执行使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
该稳定性确定单元122被配置为执行根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；
该分类单元123被配置为执行根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
在一种实施例中，稳定性确定单元122具体被配置为执行确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；将所述平均距离确定为所述待分类视频数据的稳定性指标。
在一种实施例中，稳定性确定单元122具体被配置为执行以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：
其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。
在一种实施例中，稳定性确定单元122具体被配置为执行根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；
则分类单元123具体被配置为执行：当所述稳定性确定单元确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；当所述稳定性确定单元确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。
在一种实施例中，稳定性确定单元122具体被配置为执行当所述稳定性指标小于所述预设阈值时，则确定所述待分类视频数据为稳定数据；当所述稳定性指标在所述预设阈值以上时，则确定所述待分类视频数据为非稳定数据。
在一种实施例中，特征提取模型、视频分类模型以及图像分类模型为通过对相同数据集进行训练而得到的。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
采用本公开实施例提供的视频分类装置，在对待分类视频数据进行分类前，首先会使用基于卷积神经网络的特征提取模型对该待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集，进一步地可以根据获取到的多帧视频特征集，来确定待分类视频数据的稳定性指标，最后根据待分类视频的稳定性指标，确定与待分类视频数据对应的分类模型，并利用该分类模型对所述待分类视频数据进行分类。由于在进行视频分类过程中，增加了根据待分类视频稳定性指标来选择分类模型的步骤，相比于现有技术中针对所有视频均采用同一种视频分类模型的方案，本公开实施例所提供的视频分类方法可以根据待分类视频本身的特性，更加灵活地选择合适的分类模型进行视频分类，即保证了视频分类的处理效率，同时又保证了视频分类的准确度。
图3是根据一示例性实施例示出的一种用于视频分类电子设备300的结构示意图。请参考图3，在硬件层面，该视频分类电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据同步装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标；
根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
上述如本公开图3所示实施例揭示的视频分类电子设备执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的方法，并实现视频分类装置在图1所示实施例中的功能，本公开实施例在此不再赘述。
当然，除了软件实现方式之外，本公开的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器804，上述指令可由电子设备300的处理器320执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频分类方法，其特征在于，包括：
使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；
根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
2.根据权利要求1所述的视频分类方法，其特征在于，根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，包括：
确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；
将所述平均距离确定为所述待分类视频数据的稳定性指标。
3.根据权利要求2所述的视频分类方法，其特征在于，根据以下公式确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离：
其中，K表示所述多帧视频特征集中特征的个数，featurei表示所述多帧视频特征集中第i个特征，featurej表示所述多帧视频特征集中第j个特征。
4.根据权利要求2所述的视频分类方法，其特征在于，根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，包括：
根据所述待分类视频的稳定性指标，确定所述视频数据是否为稳定数据；
当确定所述视频数据为稳定数据时，则确定预先训练好的图像分类模型为与所述待分类视频数据对应的分类模型；
当确定所述视频数据为非稳定数据时，则确定预先训练好的视频分类模型为与所述待分类视频数据对应的分类模型。
5.根据权利要求4所述的视频分类方法，其特征在于，根据所述待分类视频的稳定性指标，判断所述视频数据是否为稳定数据，包括：
根据所述稳定性指标与预设阈值之间的大小关系，确定所述视频数据是否为稳定数据；
当所述稳定性指标小于所述预设阈值时，则确定所述视频数据为稳定数据；
当所述稳定性指标在所述预设阈值以上时，则确定所述视频数据为非稳定数据。
6.根据权利要求4所述的视频分类方法，其特征在于，所述特征提取模型、所述视频分类模型以及所述图像分类模型为通过对相同数据集进行训练而得到的。
7.一种视频分类装置，其特征在于，包括：
特征提取单元，被配置为执行使用预先训练得到的基于卷积神经网络的特征提取模型对待分类视频数据进行多帧特征提取，以得到所述待分类视频数据的多帧视频特征集；
稳定性确定单元，被配置为执行根据所述多帧视频特征集，确定所述待分类视频数据的稳定性指标，其中，所述待分类视频数据的稳定性指标用于表征所述待分类视频数据中连续两帧视频帧所对应画面的变化程度；
分类单元，被配置为执行根据所述待分类视频的稳定性指标，确定与所述待分类视频数据对应的预先训练好的分类模型，并利用所述分类模型对所述待分类视频数据进行分类。
8.根据权利要求7所述的视频分类装置，其特征在于，稳定性确定单元被配置为执行：
确定所述多帧视频特征集中任意两个特征之间的余弦距离，并确定所述多帧视频特征集中两个特征之间平均距离；
将所述平均距离确定为所述待分类视频数据的稳定性指标。
9.一种视频分类电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一权项所述的视频分类方法。
10.一种存储介质，当所述存储介质中的指令由视频分类电子设备的处理器执行时，使得所述视频分类电子设备能够执行如权利要求1至6中任一权项所述的视频分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911206100.9A CN111046232B (zh) | 2019-11-30 | 2019-11-30 | 一种视频分类方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911206100.9A CN111046232B (zh) | 2019-11-30 | 2019-11-30 | 一种视频分类方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046232A true CN111046232A (zh) | 2020-04-21 |
| CN111046232B CN111046232B (zh) | 2024-06-14 |
Family
ID=70234174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911206100.9A Active CN111046232B (zh) | 2019-11-30 | 2019-11-30 | 一种视频分类方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046232B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065533A (zh) * | 2021-06-01 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 一种特征提取模型生成方法、装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032845A1 (en) * | 2016-07-26 | 2018-02-01 | Viisights Solutions Ltd. | Video content contextual classification |
| CN109862391A (zh) * | 2019-03-18 | 2019-06-07 | 网易（杭州）网络有限公司 | 视频分类方法、介质、装置和计算设备 |
| CN109977779A (zh) * | 2019-02-26 | 2019-07-05 | 北京交通大学 | 对视频创意中插入的广告进行识别的方法 |
| CN110032926A (zh) * | 2019-02-22 | 2019-07-19 | 哈尔滨工业大学（深圳） | 一种基于深度学习的视频分类方法以及设备 |
| CN110070067A (zh) * | 2019-04-29 | 2019-07-30 | 北京金山云网络技术有限公司 | 视频分类方法及其模型的训练方法、装置和电子设备 |
| CN110147700A (zh) * | 2018-05-18 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置、存储介质以及设备 |
| CN110389652A (zh) * | 2019-01-03 | 2019-10-29 | 上海工程技术大学 | 一种基于Leap Motion的起落架虚拟维修教学方法 |
-
2019
- 2019-11-30 CN CN201911206100.9A patent/CN111046232B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032845A1 (en) * | 2016-07-26 | 2018-02-01 | Viisights Solutions Ltd. | Video content contextual classification |
| CN110147700A (zh) * | 2018-05-18 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置、存储介质以及设备 |
| CN110389652A (zh) * | 2019-01-03 | 2019-10-29 | 上海工程技术大学 | 一种基于Leap Motion的起落架虚拟维修教学方法 |
| CN110032926A (zh) * | 2019-02-22 | 2019-07-19 | 哈尔滨工业大学（深圳） | 一种基于深度学习的视频分类方法以及设备 |
| CN109977779A (zh) * | 2019-02-26 | 2019-07-05 | 北京交通大学 | 对视频创意中插入的广告进行识别的方法 |
| CN109862391A (zh) * | 2019-03-18 | 2019-06-07 | 网易（杭州）网络有限公司 | 视频分类方法、介质、装置和计算设备 |
| CN110070067A (zh) * | 2019-04-29 | 2019-07-30 | 北京金山云网络技术有限公司 | 视频分类方法及其模型的训练方法、装置和电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065533A (zh) * | 2021-06-01 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 一种特征提取模型生成方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046232B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200334830A1 (en) | Method, apparatus, and storage medium for processing video image | |
| CN110012302B (zh) | 一种网络直播监测方法及装置、数据处理方法 | |
| CN109508406B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| US10685236B2 (en) | Multi-model techniques to generate video metadata | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN111738243A (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| CN111918130A (zh) | 视频封面确定方法、装置、电子设备及存储介质 | |
| US20230093746A1 (en) | Video loop recognition | |
| WO2020259449A1 (zh) | 一种短视频的生成方法及装置 | |
| CN113518256A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
| CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
| WO2023045635A1 (zh) | 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN112507167A (zh) | 一种识别视频合集的方法、装置、电子设备及存储介质 | |
| CN112182281B (zh) | 一种音频推荐方法、装置及存储介质 | |
| CN116665083A (zh) | 一种视频分类方法、装置、电子设备及存储介质 | |
| CN112492382B (zh) | 视频帧提取方法、装置、电子设备和存储介质 | |
| CN111046232B (zh) | 一种视频分类方法、装置及系统 | |
| CN110636322B (zh) | 多媒体数据的处理方法、装置、智能终端及存储介质 | |
| CN110147464B (zh) | 视频推荐方法、装置、电子设备及可读存储介质 | |
| CN111476132A (zh) | 视频场景识别方法、装置及电子设备、存储介质 | |
| CN110019951B (zh) | 一种生成视频缩略图的方法及设备 | |
| US20240161382A1 (en) | Texture completion | |
| CN110781345B (zh) | 视频描述生成模型的获取方法、视频描述生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |