CN113033682A - 视频分类方法、装置、可读介质、电子设备 - Google Patents

视频分类方法、装置、可读介质、电子设备 Download PDF

Info

Publication number
CN113033682A
CN113033682A CN202110349130.6A CN202110349130A CN113033682A CN 113033682 A CN113033682 A CN 113033682A CN 202110349130 A CN202110349130 A CN 202110349130A CN 113033682 A CN113033682 A CN 113033682A
Authority
CN
China
Prior art keywords
label
video
classification
target video
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110349130.6A
Other languages
English (en)
Other versions
CN113033682B (zh
Inventor
杜正印
李伟健
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110349130.6A priority Critical patent/CN113033682B/zh
Priority claimed from CN202110349130.6A external-priority patent/CN113033682B/zh
Publication of CN113033682A publication Critical patent/CN113033682A/zh
Application granted granted Critical
Publication of CN113033682B publication Critical patent/CN113033682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种视频分类方法、装置、可读介质、电子设备，包括：获取目标视频；通过目标特征提取模型获取目标视频的第一特征，根据第一特征确定目标视频对应的第一标签，以及第一标签的第一置信度；将目标视频输入预先训练好的视频分类模型，确定目标视频对应的第二标签，以及第二标签的第二置信度；根据第一标签、第一置信度、第二标签和第二置信度确定目标视频所属的分类标签。通过上述技术方案，在使用通过机器学习的方式得到的视频分类模型确定目标视频的分类标签的基础上，还能够通过额外的特征提取模型提取目标视频中的特征数据以辅助视频理解，在一定程度上提高了视频分类的准确性。

Description

视频分类方法、装置、可读介质、电子设备
技术领域
本公开涉及视频技术领域，具体地，涉及一种视频分类方法、装置、可读介质、电子设备。
背景技术
视频标签对于视频内容的理解起着至关重要的作用。目前视频标签的识别主要都是基于有监督的机器学习方法，通过端到端的方式从标注数据中进行自动学习，然后将学习到的模型在新发文数据上进行自动预测。为了优化模型效果，需要大量的标注数据，而且增加人工标注数据对于模型效果提升带来的边际收益递减，而且模型对于一些内容特征相似度高，需要较高层次语义理解能力的分类容易混淆，单纯靠模型的优化无法达到更加准确的分类效果。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种视频分类方法，所述方法包括：
获取目标视频；
通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；
将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；
根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
第二方面，本公开提供一种视频分类装置，所述装置包括：
获取模块，用于获取目标视频；
第一处理模块，用于通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；
第二处理模块，用于将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；
分类模块，用于根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时第一方面中所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面中所述方法的步骤。
通过上述技术方案，在使用通过机器学习的方式得到的视频分类模型确定目标视频的分类标签的基础上，还能够通过额外的特征提取模型提取目标视频中的特征数据以辅助视频理解，在一定程度上提高了视频分类的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开一示例性实施例示出的一种视频分类方法的流程图。
图2是根据本公开又一示例性实施例示出的一种视频分类方法的流程图。
图3是根据本公开又一示例性实施例示出的一种视频分类方法的中确定标签映射表的方法的流程图。
图4是根据本公开又一示例性实施例示出的一种视频分类方法的流程图。
图5是根据本公开一示例性实施例示出的一种视频分类装置的结构框图。
图6示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据本公开一示例性实施例示出的一种视频分类方法的流程图。如图1所示，所述方法包括步骤101至步骤104。
在步骤101中，获取目标视频。该目标视频可以是任意形式的需要进行标签分类的视频。例如可以是短视频平台中用户所发布的短视频，也可以是其他视频平台中用户所发布的长视频。
在步骤102中，通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度。
该目标特征提取模型可以是单独训练得到的特征提取模型，也可以是其他输入为视频的机器学习模型中，对输入视频提取特征的网络部分，例如，可以是视频推荐模型中提取推荐特征的特征提取网络，也可以是例如视频分割模型中对分割特征进行提取的特征提取网络等等。
该目标视频的第一特征则会根据该目标特征提取模型的类型来确定，例如，在通过上述视频推荐模型中的特征提取网络对该第一特征进行提取时，该第一特征为该目标视频中的推荐特征，在通过上述视频分割模型中的特征提取网络对该第一特征进行提取时，该第一特征则可以为该目标视频中的分割特征。
在获取到该目标视频的第一特征之后，可以根据该第一特征来确定该目标视频的第一标签。确定该第一标签的方法可以为多种，例如，可以通过分类器对该目标视频的第一特征进行分类预测，以得到该目标视频对应的第一标签；另外，还可以通过聚类模型来确定该第一标签，具体方法会在后述内容中进行描述。
该第一标签的第一置信度也即根据该第一特征确定该目标视频属于该第一标签的概率。例如，在通过分类器对该目标视频的第一特征进行分类预测以得到该第一标签的情况下，该第一标签的第一置信度也即可以为在通过分类器进行分类预测时，所得到的该目标视频属于该第一标签类型的概率。
在步骤103中，将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度。
该视频分类模型可以为用于对视频进行常规分类的机器学习模型，该视频分类模型所能够分类得到的标签可以包括例如搞笑、美食、时尚、旅游、亲子、汽车、游戏、音乐、科技等等常规的视频分类。该视频分类模型的训练方法则可以为通过人工标注的训练样本视频训练得到。
虽然该视频分类模型中也会对目标视频中的特征进行提取，再对提取到的视频特征进行分类，但由于视频分类模型整个模型是同时训练得到的，因此训练好的该视频分类模型中所提取的视频特征为该目标视频的分类特征，与其他单独训练得到或者在其他的神经网络模型中训练得到的该目标特征提取模型所提取到的该第一特征为不同特征空间中的视频特征，不会相同。
在步骤104中，根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
在分别通过该目标特征提取模型得到第一标签和第一置信度，并通过视频分类模型得到该第二标签和该第二置信度之后，便可以根据相应的规则确定该目标视频所述的分类标签。例如，可以将置信度较高的标签确定为该目标视频所属的分类标签等等。
通过上述技术方案，在使用通过机器学习的方式得到的视频分类模型确定目标视频的分类标签的基础上，还能够通过额外的特征提取模型提取目标视频中的特征数据以辅助视频理解，在一定程度上提高了视频分类的准确性。
图2是根据本公开又一示例性实施例示出的一种视频分类方法的流程图。如图2所示，所述方法还包括步骤201至步骤204。
在步骤201中，通过目标特征提取模型获取目标视频的第一特征。
在步骤202中，将所述第一特征作为预先训练好的聚类模型的输入，确定所述目标视频所属的聚类簇和所述目标视频属于所述聚类簇的第一概率。
在步骤203中，根据预设的标签映射表和所述聚类簇确定所述目标视频对应的所述第一标签，所述标签映射表中包括所述聚类簇与分类标签之间的对应关系。
在步骤204中，将所述第一概率确定为所述第一置信度。
上述步骤202至步骤204给出了通过聚类模型确定该第一标签和第一置信度的具体方法。
其中，该聚类模型为提前训练好的聚类模型，能够将该目标特征提取模型提取得到的第一特征划分到训练过程中已经确定的聚类簇中。该标签映射表可以是在该聚类模型训练过程中所确定得到的，具体可以如图3所示的步骤301至步骤304中所示。
在步骤301中，获取视频训练样本。
在步骤302中，通过所述目标特征提取模型获取所述视频训练样本的第二特征，并通过所述第二特征训练所述聚类模型，得到所述视频训练样本所属的聚类簇。在训练该聚类模型的过程中所使用的该目标特征提取模型，与本公开方法中获取目标视频的第一特征的目标特征提取模型相同，例如获取目标视频的第一特征的目标特征提取模型为视频推荐模型中的特征提取网络的情况下，训练该聚类模型的过程中获取该视频训练样本的第二特征的目标特征提取网络，也为视频推荐模型中的特征提取网络。
在步骤303中，将每个所述聚类簇中的所有所述视频训练样本都输入所述视频分类模型中进行标签预测，得到各个聚类簇对应的分类标签，其中，各个聚类簇对应的分类标签，为各个聚类簇中的所有视频训练样本分别对应的分类标签中，占比最高的分类标签。
训练该聚类模型的过程中，会将每个视频训练样本都划分至一个聚类簇中，而每个聚类簇中都会包括一个或多个视频训练样本。为了确定该聚类簇中的视频训练样本所述的标签，分别将各聚类簇中的视频训练样本都输入视频分类模型中进行标签的识别，该视频分类模型与确定该目标视频对应的第二标签的视频分类模型相同。在确定聚类簇中的所有视频训练样本所属的标签类型之后，便可以通过聚类簇中占比最高的分类标签确定为与该聚类簇对应的分类标签。例如，在某一ID为1的聚类簇中包括20个视频训练样本，其中有18个通过视频分类模型确定得到的分类标签都为标签1，有2个为视频训练样本通过视频分类模型确定得到的分类标签为标签2，则可以将占比为18/20的该标签1确定为与该ID为1的聚类簇所对应的分类标签。
在步骤304中，将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。其中，聚类簇可以通过聚类簇ID来记录。
这样，对于任一没有标注的训练数据都可以直接用于对该聚类模型的训练，充分利用了海量的无监督训练数据，进一步提高了视频分类的准确性。
在一种可能的实施方式中，所述标签映射表还通过以下方法得到：确定各个聚类簇的纯度，所述聚类簇的纯度为所述聚类簇对应的分类标签，在所述聚类簇中的所有视频训练样本分别对应的分类标签中所占的比例。例如，上述在ID为1的聚类簇中包括20个视频训练样本，其中有18个通过视频分类模型确定得到的分类标签都为标签1，有2个为视频训练样本通过视频分类模型确定得到的分类标签为标签2，占比为18/20的该标签1应该被确定为与该ID为1的聚类簇所对应的分类标签，该ID为1的聚类簇的纯度则可以为该占比18/20＝0.9。
上述步骤304中确定该标签映射表的过程中，则可以仅将纯度大于纯度阈值的聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。这样能够保证该标签映射表的准确度。
图4是根据本公开又一示例性实施例示出的一种视频分类方法的流程图。如图4所示，所述方法还包括步骤401至步骤404。
在步骤201中，判断所述第二置信度是否小于第一阈值，若是，则转至步骤402，若否，则转至步骤404。
在步骤402中，判断所述第一置信度是否大于第二阈值，若是，则转至步骤403，若否，则转至步骤404。
在步骤403中，将所述第一标签确定为所述目标视频所属的分类标签。
在步骤404中，将所述第二标签确定为所述目标视频所属的分类标签。
也即，在第二置信度小于第一阈值、且第一置信度大于第二阈值的情况下，将第一标签确定为目标视频所属的分类标签；
在第二置信度小于第一阈值、且第一置信度不大于第二阈值的情况下，将第二标签确定为目标视频所属的分类标签；
在第二置信度不小于第一置信度阈值的情况下，将第二标签确定为目标视频所属的分类标签。
在一种可能的实施方式中，所述目标视频为播放量高于播放量阈值的视频。其中，在该目标视频为播放量高于播放量阈值的视频时，该目标特征提取模型可以为视频推荐模型中的特征提取网络。考虑到该视频推荐模型是基于交互行为的推荐特征所训练得到的模型，因此在播放量较高的视频中，该模型提取得到的推荐特征也即该第一特征表现更好，包含的语义信息更多，因此可以在该目标视频为高播放量视频的情况下，使用视频推荐模型中的特征提取网络作为该目标特征提取模型，从而进一步提高视频分类的准确性。
图5是根据本公开一示例性实施例示出的一种视频分类装置的结构框图。如图5所示，所述装置包括：获取模块10，用于获取目标视频；第一处理模块20，用于通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；第二处理模块30，用于将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；分类模块40，用于根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
通过上述技术方案，在使用通过机器学习的方式得到的视频分类模型确定目标视频的分类标签的基础上，还能够通过额外的特征提取模型提取目标视频中的特征数据以辅助视频理解，在一定程度上提高了视频分类的准确性。
在一种可能的实施方式中，所述第一处理模块20包括：第一处理子模块，用于将所述第一特征作为预先训练好的聚类模型的输入，确定所述目标视频所属的聚类簇和所述目标视频属于所述聚类簇的第一概率；第二处理子模块，用于根据预设的标签映射表和所述聚类簇确定所述目标视频对应的所述第一标签，所述标签映射表中包括所述聚类簇与分类标签之间的对应关系；第三处理子模块，用于将所述第一概率确定为所述第一置信度。
在一种可能的实施方式中，所述标签映射表通过以下方法得到：获取视频训练样本；通过所述目标特征提取模型获取所述视频训练样本的第二特征，并通过所述第二特征训练所述聚类模型，得到所述视频训练样本所属的聚类簇；将每个所述聚类簇中的所有所述视频训练样本都输入所述视频分类模型中进行标签预测，得到各个聚类簇对应的分类标签，其中，各个聚类簇对应的分类标签，为各个聚类簇中的所有视频训练样本分别对应的分类标签中，占比最高的分类标签；将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
在一种可能的实施方式中，所述标签映射表还通过以下方法得到：确定各个聚类簇的纯度，所述聚类簇的纯度为所述聚类簇对应的分类标签，在所述聚类簇中的所有视频训练样本分别对应的分类标签中所占的比例；所述将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表还包括：将纯度大于纯度阈值的聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
在一种可能的实施方式中，所述分类模块40包括：第一分类子模块，用于在所述第二置信度小于第一阈值、且所述第一置信度大于第二阈值的情况下，将所述第一标签确定为所述目标视频所属的分类标签；第二分类子模块，用于在所述第二置信度小于所述第一阈值、且所述第一置信度不大于所述第二阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签；第三分类子模块，用于在所述第二置信度不小于所述第一置信度阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签。
在一种可能的实施方式中，所述目标特征提取模型为预先训练好的视频推荐模型，所述第一特征为所述目标视频的推荐特征，所述第二特征为所述视频训练样本的推荐特征。
在一种可能的实施方式中，所述目标视频为播放量高于播放量阈值的视频。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标视频；通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取目标视频的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种视频分类方法，所述方法包括：获取目标视频；通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度包括：将所述第一特征作为预先训练好的聚类模型的输入，确定所述目标视频所属的聚类簇和所述目标视频属于所述聚类簇的第一概率；根据预设的标签映射表和所述聚类簇确定所述目标视频对应的所述第一标签，所述标签映射表中包括所述聚类簇与分类标签之间的对应关系；将所述第一概率确定为所述第一置信度。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述标签映射表通过以下方法得到：获取视频训练样本；通过所述目标特征提取模型获取所述视频训练样本的第二特征，并通过所述第二特征训练所述聚类模型，得到所述视频训练样本所属的聚类簇；将每个所述聚类簇中的所有所述视频训练样本都输入所述视频分类模型中进行标签预测，得到各个聚类簇对应的分类标签，其中，各个聚类簇对应的分类标签，为各个聚类簇中的所有视频训练样本分别对应的分类标签中，占比最高的分类标签；将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述标签映射表还通过以下方法得到：确定各个聚类簇的纯度，所述聚类簇的纯度为所述聚类簇对应的分类标签，在所述聚类簇中的所有视频训练样本分别对应的分类标签中所占的比例；所述将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表还包括：将纯度大于纯度阈值的聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
根据本公开的一个或多个实施例，示例5提供了示例1的方法，所述根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签包括：在所述第二置信度小于第一阈值、且所述第一置信度大于第二阈值的情况下，将所述第一标签确定为所述目标视频所属的分类标签；在所述第二置信度小于所述第一阈值、且所述第一置信度不大于所述第二阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签；在所述第二置信度不小于所述第一置信度阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签。
根据本公开的一个或多个实施例，示例6提供了示例3的方法，所述目标特征提取模型为预先训练好的视频推荐模型，所述第一特征为所述目标视频的推荐特征，所述第二特征为所述视频训练样本的推荐特征。
根据本公开的一个或多个实施例，示例7提供了示例1的方法，所述目标视频为播放量高于播放量阈值的视频。
根据本公开的一个或多个实施例，示例8提供了一种视频分类装置，所述装置包括：获取模块，用于获取目标视频；第一处理模块，用于通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；第二处理模块，用于将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；分类模块，用于根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
根据本公开的一个或多个实施例，示例9提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-7中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例10提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-7中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种视频分类方法，其特征在于，所述方法包括：
获取目标视频；
通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；
将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；
根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度包括：
将所述第一特征作为预先训练好的聚类模型的输入，确定所述目标视频所属的聚类簇和所述目标视频属于所述聚类簇的第一概率；
根据预设的标签映射表和所述聚类簇确定所述目标视频对应的所述第一标签，所述标签映射表中包括所述聚类簇与分类标签之间的对应关系；
将所述第一概率确定为所述第一置信度。
3.根据权利要求2所述的方法，其特征在于，所述标签映射表通过以下方法得到：
获取视频训练样本；
通过所述目标特征提取模型获取所述视频训练样本的第二特征，并通过所述第二特征训练所述聚类模型，得到所述视频训练样本所属的聚类簇；
将每个所述聚类簇中的所有所述视频训练样本都输入所述视频分类模型中进行标签预测，得到各个聚类簇对应的分类标签，其中，各个聚类簇对应的分类标签，为各个聚类簇中的所有视频训练样本分别对应的分类标签中，占比最高的分类标签；
将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
4.根据权利要求3所述的方法，其特征在于，所述标签映射表还通过以下方法得到：
确定各个聚类簇的纯度，所述聚类簇的纯度为所述聚类簇对应的分类标签，在所述聚类簇中的所有视频训练样本分别对应的分类标签中所占的比例；
所述将各个聚类簇与所述分类标签之间的对应关系确定为所述标签映射表还包括：
将纯度大于纯度阈值的聚类簇与所述分类标签之间的对应关系确定为所述标签映射表。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签包括：
在所述第二置信度小于第一阈值、且所述第一置信度大于第二阈值的情况下，将所述第一标签确定为所述目标视频所属的分类标签；
在所述第二置信度小于所述第一阈值、且所述第一置信度不大于所述第二阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签；
在所述第二置信度不小于所述第一置信度阈值的情况下，将所述第二标签确定为所述目标视频所属的分类标签。
6.根据权利要求3所述的方法，其特征在于，所述目标特征提取模型为预先训练好的视频推荐模型，所述第一特征为所述目标视频的推荐特征，所述第二特征为所述视频训练样本的推荐特征。
7.根据权利要求1所述的方法，其特征在于，所述目标视频为播放量高于播放量阈值的视频。
8.一种视频分类装置，其特征在于，所述装置包括：
获取模块，用于获取目标视频；
第一处理模块，用于通过目标特征提取模型获取所述目标视频的第一特征，根据所述第一特征确定所述目标视频对应的第一标签，以及所述第一标签的第一置信度；
第二处理模块，用于将所述目标视频输入预先训练好的视频分类模型，确定所述目标视频对应的第二标签，以及所述第二标签的第二置信度；
分类模块，用于根据所述第一标签、所述第一置信度、所述第二标签和所述第二置信度确定所述目标视频所属的分类标签。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202110349130.6A 2021-03-31 视频分类方法、装置、可读介质、电子设备 Active CN113033682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110349130.6A CN113033682B (zh) 2021-03-31 视频分类方法、装置、可读介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110349130.6A CN113033682B (zh) 2021-03-31 视频分类方法、装置、可读介质、电子设备

Publications (2)

Publication Number Publication Date
CN113033682A true CN113033682A (zh) 2021-06-25
CN113033682B CN113033682B (zh) 2024-04-30

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564496A (zh) * 2022-03-01 2022-05-31 北京有竹居网络技术有限公司 一种内容推荐方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500340A (zh) * 2013-09-13 2014-01-08 南京邮电大学 基于主题知识迁移的人体行为识别方法
CN110769267A (zh) * 2019-10-30 2020-02-07 北京达佳互联信息技术有限公司 一种视频的展示方法、装置、电子设备及存储介质
CN111582233A (zh) * 2020-05-21 2020-08-25 北京澎思科技有限公司 数据处理方法、电子设备和存储介质
CN112069981A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112270238A (zh) * 2020-10-22 2021-01-26 腾讯科技（深圳）有限公司 一种视频内容识别方法和相关装置
CN112489092A (zh) * 2020-12-09 2021-03-12 浙江中控技术股份有限公司 细粒度工业运动模态分类方法、存储介质、设备和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500340A (zh) * 2013-09-13 2014-01-08 南京邮电大学 基于主题知识迁移的人体行为识别方法
CN110769267A (zh) * 2019-10-30 2020-02-07 北京达佳互联信息技术有限公司 一种视频的展示方法、装置、电子设备及存储介质
CN111582233A (zh) * 2020-05-21 2020-08-25 北京澎思科技有限公司 数据处理方法、电子设备和存储介质
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112069981A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN112270238A (zh) * 2020-10-22 2021-01-26 腾讯科技（深圳）有限公司 一种视频内容识别方法和相关装置
CN112489092A (zh) * 2020-12-09 2021-03-12 浙江中控技术股份有限公司 细粒度工业运动模态分类方法、存储介质、设备和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564496A (zh) * 2022-03-01 2022-05-31 北京有竹居网络技术有限公司 一种内容推荐方法及装置
CN114564496B (zh) * 2022-03-01 2023-09-19 北京有竹居网络技术有限公司 一种内容推荐方法及装置

Similar Documents

Publication Publication Date Title
CN109919244B (zh) 用于生成场景识别模型的方法和装置
CN111476309A (zh) 图像处理方法、模型训练方法、装置、设备及可读介质
CN110598157A (zh) 目标信息识别方法、装置、设备及存储介质
CN109961032B (zh) 用于生成分类模型的方法和装置
CN110633423B (zh) 目标账号识别方法、装置、设备及存储介质
CN112364829B (zh) 一种人脸识别方法、装置、设备及存储介质
CN110826567B (zh) 光学字符识别方法、装置、设备及存储介质
CN112883968B (zh) 图像字符识别方法、装置、介质及电子设备
CN113222983A (zh) 图像处理方法、装置、可读介质和电子设备
CN111460288B (zh) 用于检测新闻事件的方法和装置
CN114090779B (zh) 篇章级文本的层级多标签分类方法、系统、设备及介质
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
CN113033707A (zh) 视频分类方法、装置、可读介质及电子设备
CN113971400B (zh) 一种文本检测方法、装置、电子设备及存储介质
WO2023124793A1 (zh) 图像推送方法和装置
CN114187557A (zh) 确定关键帧的方法、装置、可读介质及电子设备
CN113033682B (zh) 视频分类方法、装置、可读介质、电子设备
CN113033680A (zh) 视频分类方法、装置、可读介质及电子设备
CN115359400A (zh) 视频识别方法、装置、介质及电子设备
CN113420723A (zh) 获取视频热点的方法、装置、可读介质和电子设备
CN114428867A (zh) 数据挖掘方法、装置、存储介质及电子设备
CN111460214B (zh) 分类模型训练方法、音频分类方法、装置、介质及设备
CN113033682A (zh) 视频分类方法、装置、可读介质、电子设备
CN114612909A (zh) 字符识别方法、装置、可读介质及电子设备
CN112926623A (zh) 识别合成视频的方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant