CN111626251A - 一种视频分类方法、视频分类装置及电子设备 - Google Patents
一种视频分类方法、视频分类装置及电子设备 Download PDFInfo
- Publication number
- CN111626251A CN111626251A CN202010490211.3A CN202010490211A CN111626251A CN 111626251 A CN111626251 A CN 111626251A CN 202010490211 A CN202010490211 A CN 202010490211A CN 111626251 A CN111626251 A CN 111626251A
- Authority
- CN
- China
- Prior art keywords
- video
- classified
- training
- category
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 121
- 238000000605 extraction Methods 0.000 claims abstract description 56
- 238000005070 sampling Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 153
- 239000011159 matrix material Substances 0.000 claims description 91
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003058 natural language processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 22
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 241000282326 Felis catus Species 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 101100494773 Caenorhabditis elegans ctl-2 gene Proteins 0.000 description 5
- 101100112369 Fasciola hepatica Cat-1 gene Proteins 0.000 description 5
- 241000282412 Homo Species 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 5
- 101100005271 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-1 gene Proteins 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于视频处理领域，公开了一种视频分类方法、装置、电子设备及计算机可读存储介质。该方法包括：按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列；将待分类视频帧序列输入至已训练的特征提取模型，得到待分类视频的特征向量；基于预设的分类器对待分类视频的特征向量进行预测，得到待分类视频的预测向量，其中，该分类器基于类别之间的相关性及已训练的图卷积网络而生成；根据待分类视频的预测向量，确定待分类视频的类别。通过本申请方案，基于已训练的图卷积网络及特征提取模型实现对视频的多标签分类，且分类过程中考虑类别之间的相关性，可提升分类的准确率。
Description
技术领域
本申请属于视频处理技术领域，尤其涉及一种视频分类方法、视频分类装置、电子设备及计算机可读存储介质。
背景技术
随着各种短视频应用程序的普及以及第五代移动通讯技术的正式商用，视频正取代图片及文字成为人们日常生活及工作中的首要信息载体。因此，以视频分类为代表的视频理解技术受到了学术界及工业界越来越多的关注，成为了计算机视觉领域的一个基础方向。
当前对视频进行分类时，往往仅能将视频划分至某一特定类别。然而，考虑到视频中所包含的信息较多，对视频进行单一的分类可能会导致分类不准确的问题。
发明内容
本申请提供了一种视频分类方法、视频分类装置、电子设备及计算机可读存储介质，可以提升视频分类的准确性。
第一方面，本申请提供了一种视频分类方法，包括：
按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，上述待分类视频帧序列包括上述待分类视频中的至少一帧视频帧；
将上述待分类视频帧序列输入至已训练的特征提取模型，得到上述待分类视频的特征向量；
基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，其中，上述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
根据上述待分类视频的预测向量，确定上述待分类视频的类别。
第二方面，本申请提供了一种视频分类装置，包括：
应用采样单元，用于按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，上述待分类视频帧序列包括上述待分类视频中的至少一帧视频帧；
应用提取单元，用于特征向量将上述待分类视频帧序列输入至已训练的特征提取模型，得到上述待分类视频的特征向量；
应用预测单元，用于基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，其中，上述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
应用分类单元，用于根据上述待分类视频的预测向量，确定上述待分类视频的类别。
第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，通过本申请方案，先按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，上述待分类视频帧序列包括上述待分类视频中的至少一帧视频帧，然后将上述待分类视频帧序列输入至已训练的特征提取模型，得到上述待分类视频的特征向量，接着基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，其中，上述分类器基于类别之间的相关性及已训练的图卷积网络而生成，最后根据上述待分类视频的预测向量来确定上述待分类视频的类别。本申请方案基于图卷积网络及特征提取模型实现对视频的多标签分类，且分类过程中所使用的分类器还考虑到了类别之间的相关性，可提升分类的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频分类方法的实现流程示意图；
图2是本申请实施例提供的视频分类方法的场景实例图；
图3是本申请实施例提供的对特征提取模型及图卷积网络进行训练的实现流程示意图；
图4是本申请实施例提供的通过自然语言处理模型得到特征矩阵的工作流程示意图；
图5是本申请实施例提供的通过卷积神经网络得到待分类训练视频的特征向量的工作流程的示意；
图6是本申请实施例提供的特征提取模型与图卷积网络在训练过程中的工作流程示意图；
图7是本申请实施例提供的与视频分类方法相关的训练过程及应用过程的示意图；
图8是本申请实施例提供的视频分类装置的结构框图；
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1示出了本申请实施例提供的一种视频分类方法，详述如下：
步骤101，按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列；
在本申请实施例中，电子设备可以接收用户所输入的视频作为待分类视频；或者，电子设备也可以接收其它设备所发送的视频作为待分类视频；或者，电子设备还可以将本地所存储的任一视频作为待分类视频，此处不对待分类视频的获取方式作出限定。电子设备在获得待分类视频后，可以按照预设的采样频率对该待分类视频进行下采样，其中，该采样频率可由用户自己进行设定，也可以由电子设备的系统进行设定，此处不作限定。仅作为示例，采样频率可以被设定为1赫兹(Hz)，也即每一秒进行一次采样操作。通过下采样的操作，电子设备可以获得待分类视频中的至少一帧视频帧，将这些至少一帧视频帧基于时序排成序列，即可得到待分类视频帧序列。
步骤102，将待分类视频帧序列输入至已训练的特征提取模型，得到待分类视频的特征向量；
在本申请实施例中，电子设备所采用的特征提取模型可以是基于卷积神经网络(Convolutional Neural Network，CNN)而构建的。当然，电子设备也可以基于其它的深度学习网络来构建特征提取模型，此处不作限定。通过已训练的特征提取模型，电子设备可以获得待分类视频的特征向量，该特征向量即可用于表征待分类视频中的各类特征。
步骤103，基于预设的分类器对待分类视频的特征向量进行预测，得到待分类视频的预测向量；
在本申请实施例中，电子设备可继续通过一分类器对待分类视频的特征向量进行预测，其中，该分类器基于视频的类别之间的相关性及已训练的图卷积网络(GraphConvolutional Network，GCN)而生成。具体地，该分类器实际为一分类矩阵；基于此，本步骤中，可以将分类器与待分类视频的特征向量进行矩阵乘法运算，所得结果即为待分类视频的预测向量。
步骤104，根据待分类视频的预测向量，确定待分类视频的类别。
在本申请实施例中，该预测向量有至少一个维度，每一维度关联有一视频的类别。可以认为，该预测向量中的某一维度上的数值，指示了待分类视频属于该维度所关联的类别的概率；该数值越大，则表明待分类视频越有可能属于该维度所关联的类别；该数值越小，则表明待分类视频越不可能属于该维度所关联的类别；因而，可以根据预测向量中的各个维度上的数值，确定待分类视频的类别。示例性地，电子设备可以对待分类视频的预测向量进行二值化处理，并基于该预测向量的二值化结果，确定待分类视频所属的类别。可选地，在得到了待分类视频的类别后，可以基于该类别对待分类视频进行类别标签的标注，以方便用户后续基于该类别标签对视频进行查找。
具体地，步骤104包括：
A1、基于预设的预测阈值，对待分类视频的预测向量进行二值化处理，得到待分类视频的二值化预测结果；
其中，预测阈值可以由用户进行设定；或者，也可以由电子设备的系统进行设定，此处不作限定。仅作为示例，该预测阈值可以被设定为0.4；则针对待分类视频的预测向量上的任一维度，若该维度上的数值大于0.4，则该维度的二值化结果为1，若该维度上的数值小于或等于0.4，则该维度的二值化结果为0。举例来说，某一待分类视频的预测向量为[0.1,0.6,0.35,0.7]，其中，与第一个维度所关联的类别为“星星”，与第二个维度所关联的类别为“人”，与第三个维度所关联的类别为“海洋”，与第四个维度所关联的类别为“骑车”；在对该预测向量进行二值化处理后，所得到的二值化预测结果为[0,1,0,1]。
A2、在二值化预测结果中，确定目标维度；
其中，目标维度指的是二值化预测结果中，所表示的数值为预设数值的维度，该预设数值具体指的是1。举例来说，步骤A1中的二值化预测结果[0,1,0,1]中，属于目标维度的是第二个维度及第四个维度。
A3、将目标维度所关联的类别确定为待分类视频的类别。
其中，二值化预测结果中的每一维度均唯一的关联了一种类别。可以认为，目标维度所关联的类别即为待分类视频最有可能属于的类别，因而，可以将目标维度所关联的类别确定为待分类视频的类别。举例来说，通过步骤A2已确定二值化预测结果[0,1,0,1]中的目标维度为第二个维度及第四个维度，而与第二个维度所关联的类别为“人”，与第四个维度所关联的类别为“骑车”，因而，可确定该待分类视频的类别即为“人”及“骑车”。
请参阅图2，图2给出了本申请实施例所提供的视频分类方法的一种场景的示例。假定从待分析视频中所抽取到的待分类视频帧序列共有3帧视频帧。其中，视频帧A中包含的有猫“Cat1”这一主体及狗“Dog1”这一主体，视频帧B中包含的有猫“Cat1”这一主体，视频帧C中包含的有猫“Cat1”这一主体，同时还露出有人的一个手掌。也即，由于该待分类视频展现了动物与人之间的交互过程，该待分类视频不仅可以被分类至“猫”及“狗”的类别下，而且可以被分类至“人”的类别下。在现有技术中，由于难以对该手掌进行准确的捕捉及识别，且“Cat1”的出现次数较多，可能导致其仅被分类至“猫”的类别下，这样的分类是不准确的。而采用本方案，只要已训练的分类器预先已经基于多个展现了动物与人之间的交互过程的视频而接收到了对应的先验信息(也即“动物”类别及“人”类别之间的强相关性信息)，不仅可以将待分类视频分类至“猫”及“狗”的类别下，而且还可以基于“动物”类别及“人”类别之间的强相关性信息将待分类视频分类至“人”的类别下，不会因为视频帧C中只出现了人的一个手掌而无法对其进行分类，可使得分类结果更加准确。
请参阅图3，本申请实施例所提出的视频分类方法中还可以包括对特征提取模型及图卷积网络的训练。其中，步骤301、302及303仅与图卷积网络相关，步骤304及305仅与特征提取模型相关，详述如下：
步骤301，基于预设的类别标签列表构建特征矩阵；
在本申请实施例中，先生成类别标签的先验信息，其中，类别标签用于指示视频的类别。基于此，可首先获取类别标签列表，该类别标签列表中包含有至少一个类别标签，并通过该类别标签列表构建相应的特征矩阵。举例来说，类别标签列表可以包含有星星、人、海洋及骑车等不同的类别标签。
可选地，可基于不同的应用场景来分别构建对应的应用场景下的类别标签列表的特征矩阵，则步骤301包括：
B1、获取输入的应用场景；
B2、确定与该应用场景相关联的类别标签列表；
其中，研发人员在开始训练之前，可以先输入感兴趣的应用场景。仅作为示例，可以有如下几种不同的应用场景：主体场景、动作场景及地点场景。每一应用场景可预先关联有对应的类别标签列表，例如，在主体场景下，可以以主体类别进行类别标签的划分，则对应的类别标签列表中可以包含如下类别标签：人、猫及狗等；在动作场景下，可以以动作类别进行类别标签的划分，则对应的类别标签列表中可以包含如下类别标签：打球、滑雪及骑车等；在地点场景下，可以以地点类别进行类别标签的划分，则对应的类别标签列表中可以包含如下类别标签：草地、沙滩及海洋等。
B3、提取该类别标签列表中各个类别标签的特征向量，以得到该类别标签列表的特征矩阵。
其中，电子设备可以基于预设的自然语言处理(Natural Language Processing，NLP)模型对类别标签列表中的各个类别标签进行特征向量的提取操作。该自然语言处理模型可以是word2vec模型，也可以是BERT(Bidirectional Encoder Representation fromTransformers)模型或其它语言模型，此处不作限定。在获得各个类别标签的特征向量后，将这些特征向量拼接为一个矩阵，该矩阵即为类别标签列表的特征矩阵。该特征矩阵可作为待训练的图卷积矩阵的初始状态state_init。
请参阅图4，图4给出了通过自然语言处理模型得到特征矩阵的工作流程的示意。假定类别标签列表中有k个标签，记作label 1、label 2……label k；通过一NLP模型，可得到k个d维的特征向量；其中，d的取值由NLP模型而确定，可通过对NLP模型的模型参数进行调整而实现对d的取值的调整，此处不对d的取值作出限定，例如，可以将d设定为128；将这k个d维的特征向量拼接在一起，即可得到一k×d维的矩阵；该矩阵即为特征矩阵，也即待训练的图卷积矩阵的初始状态state_init。
步骤302，基于预设的训练数据集构建标签邻接矩阵；
在本申请实施例中，为了继续获得类别标签的先验信息，还需要基于预设的训练数据集构建标签邻接矩阵，其中，训练数据集包括至少一个训练视频，每一训练视频至少与类别标签列表中的一个类别标签相关联。考虑到研发人员自己对训练视频进行类别标签的标注的繁琐性，可以采用现有的已公开的数据集作为训练数据集。例如，当应用场景为动作场景时，可以将something-something数据集作为训练数据集，该something-something数据集已基于动作类别对各个视频进行了类别标签的标注。
可选地，可通过统计的方式构建得到标签邻接矩阵，则步骤302包括：
C1、在训练数据集中，统计与类别标签列表中的每一类别标签相关联的训练视频的数量；
其中，由于视频中所包含的信息过多，对于一特定的训练视频来说，其可能属于多个类别。例如，当前社会下，猫及狗等动物通常为人所驯养的宠物，则一包含有猫和/或狗的视频中，往往也会包含有人；也即，该视频除了可标注有类别标签“猫”和/或“狗”之外，还可标注有类别标签“人”。基于此，可基于类别标签列表中所包含的类别标签，对训练数据集中所包含的训练视频进行统计。
C2、基于与类别标签列表中的每一类别标签相关联的训练视频的数量，构建条件概率矩阵；
其中，假定类别标签列表中所包含的类别标签的数量为k，则可基于与类别标签列表中的每一类别标签相关联的训练视频的数量，构建得到一k×k维的条件概率矩阵P，以使得Pij可以表征在训练视频关联有第j个类别标签时，同时关联有第i个类别标签的概率；也即，Pij的分母为训练数据集中与第j个类别标签(label j)相关联的训练视频的数量，分子为训练数据集中同时与第i个类别标签(label i)及第j个类别标签(label j)相关联的训练视频的数量。举例来说，假定第1个类别标签为“人”，第2个类别标签为“猫”；训练数据集中有10个训练视频标注有类别标签“人”；这10个标注有类别标签“人”的训练视频中又有3个训练视频同时标注有类别标签“猫”；则可确定P21为0.3。
C3、对条件概率矩阵进行二值化处理，得到标签邻接矩阵。
其中，研发人员可以预先设定一概率阈值t，本申请实施例中不对t的具体取值作出限定，例如，可以将t设定为0.4、0.5或0.6等数值。则本步骤中，可通过以下公式，对条件概率矩阵进行二值化处理：
通过上式可知，当Pij大于概率阈值时，该Pij的二值化结果为1；反之，当Pij小于或等于概率阈值时，该Pij的二值化结果为0。
需要注意的是，在类别标签列表及训练数据集未发生更改的情况下，步骤301及步骤302在训练的过程中，仅需执行一次即可。
步骤303，将标签邻接矩阵及特征矩阵输入至待训练的图卷积网络，得到待训练的分类器；
在本申请实施例中，所获得的标签邻接矩阵A及特征矩阵state_init为用于表示类别间的相关性的先验信息。为了获得准确分类的分类器，可将标签邻接矩阵A及特征矩阵state_init输入至图卷积网络中，以得到图卷积网络的输出；该图卷积网络的输出即为分类器。需要注意的是，由于此时仍处于模型的训练过程中，随着训练过程中图卷积网络的网络参数的优化，该分类器也将被不断的优化，因而，本申请实施例将在模型的训练过程中所得的分类器称为待训练的分类器。假定类别标签的数量为k，通过自然语言处理模型所得到的类别标签的特征向量为d维，则标签邻接矩阵A的维度为k×k，特征矩阵state_init的维度为k×d；在将标签邻接矩阵A及特征矩阵state_init输入至图卷积网络后，得到该图卷积网络所输出的D×k维的最终状态state_final，该最终状态state_final即为分类器，表现为矩阵形式；也即，分类器实际上为一分类矩阵。其中，D的取值由图卷积网络而确定，可通过对图卷积网络的网络参数进行调整而实现对D的取值的调整，此处不对D的取值作出限定。例如，可以将D设定为1024。
步骤304，按照预设的采样频率对待分类训练视频进行下采样，得到待分类训练视频帧序列；
在本申请实施例中，与步骤101相似，可按照预设的采样频率对待分类训练视频进行下采样，得到待分类训练视频帧序列。其中，待分类训练视频为训练数据集中的任一训练视频，待分类训练视频帧序列包括待分类训练视频中的至少一帧视频帧。需要注意的是，步骤101中所采用的采样频率与本步骤中所采用相同的采样频率；也即，在模型训练及应用的过程中，电子设备将采用相同的采样频率对视频进行下采样。
可选地，可以根据训练数据集中各个训练视频的平均时长确定所需要采用的采样频率。例如，平均视频的时长越长，所对应的采样频率越小，以避免下采样所得到的待分类训练视频帧序列过长；平均时长越短，所对应的采样频率越大，以避免下采样所得到的待分类训练视频帧序列过短。通过这样的方式，使得电子设备所获得的待分类训练视频帧序列可以维持在一个合理的长短范围内。
步骤305，将待分类训练视频帧序列输入至待训练的特征提取模型，得到待分类训练视频的特征向量；
在本申请实施例中，待训练的特征提取模型为卷积神经网络，具体为采用了3D卷积结构的卷积神经网络。通过该特征提取模型，对待分类训练视频帧序列进行特征提取，可得到该特征提取模型是输出的D维的特征向量；可以认为，该D维的特征向量即为待分类训练视频的特征描述子。其中，D的取值由该特征提取模型而确定，可通过对特征提取模型的模型参数进行调整而实现对D的取值的调整，此处不对D的取值作出限定。但需要注意的是，该特征向量的维度的取值与步骤304中所得到的D×k维的最终状态state_final中D的取值是相同的；也即，步骤304中得到的是D×k维的分类器，步骤305得到的是D维的待分类训练视频的特征向量。
请参阅图5，图5给出了通过卷积神经网络得到待分类训练视频的特征向量的工作流程的示意。待分类训练视频先通过下采样得到待分类训练视频帧序列，随后将该待分类训练视频帧序列输入至卷积神经网络中，获得卷积神经网络所输出的待分类训练视频的特征向量，该特征向量为D维。
步骤306，基于待训练的分类器对待分类训练视频的特征向量进行预测，得到待分类训练视频的预测向量；
在本申请实施例中，可基于待训练的分类器对待分类训练视频的特征向量进行预测，具体为将分类器(也即最终状态state_final这一分类矩阵)与待分类训练视频的特征向量作矩阵乘法；也即，将D维的待分类训练视频的特征向量与D×k维的分类器进行矩阵乘法运算，得到k维的待分类训练视频的预测向量。
步骤307，根据待分类训练视频的预测向量及与待分类训练视频相关联的类别标签计算损失，并基于反向传播算法更新待训练的特征提取模型及待训练的图卷积网络，直至损失达到收敛，得到已训练的特征提取模型及已训练的图卷积网络，并获得已训练的图卷积网络所输出的分类器。
在本申请实施例中，待分类训练视频原本就已关联有至少一个类别标签，这些原本就已与待分类训练视频相关联的类别标签代表的是真实值；而待分类训练视频的预测向量表示了通过待训练的模型(包括特征提取模型及图卷积网络)所预测得到的与待分类训练视频相关联的类别标签，也即预测向量代表的是预测值。电子设备可通过真实值、预测值及预设的损失函数计算损失，其中，该损失函数可以采用基于sigmoid的交叉熵损失函数。在计算得到损失后，可基于反向传播(Back Propagation，BP)算法对待训练的特征提取模型及待训练的图卷积网络进行优化，并返回执行步骤303及后续步骤(也即反复进行训练)，直至损失达到收敛(也即获得最小损失)。此时，可认为特征提取模型及图卷积网络已训练完成，保留当前时刻的特征提取模型及图卷积网络所输出的分类器，并将该特征提取模型及分类器投入后续的应用过程；也即，可以使用当前时刻的特征提取模型及分类器执行步骤101至104。
请参阅图6，以特征提取模型基于CNN构建为例，图6给出了特征提取模型与图卷积网络在训练过程中的工作流程的示意，详述如下：
一方面，通过CNN提取出待分类训练视频的D维的特征向量；另一方面，将k×d维的初始状态state_init(也即特征矩阵)及k×k维的标签邻接矩阵A输入GCN，得到D×k维的最终状态state_final；将该最终状态state_final作为分类器，与D维的特征向量作矩阵乘法，得到k维的预测向量；基于BP算法最小化该预测向量及与待分类训练视频相关联的类别标签的损失函数，以此实现对CNN及GCN的网络参数的优化。
请参阅图7，仍以特征提取模型基于CNN构建为例，图7给出了与视频分类方法相关的训练过程及应用过程的示意，详述如下：
在训练过程中，CNN的输入由训练数据集而得；GCN的输入由基于类别标签列表及训练数据集的先验信息(包括特征矩阵及标签邻接矩阵)而得；该CNN及GCN一起，构成了一分类网络，通过该分类网络获得训练过程中的输出，并基于优化函数(也即损失函数)对该分类网络进行优化；在优化完成后，即可将分类网络投入应用。在应用过程中，向分类网络输入待分类视频，即可得到分类网络所输出的多标签的分类结果。
由上可见，在本申请实施例中，结合图卷积网络和特征提取模型构建一个能够端到端训练的分类网络，其中，图卷积网络通过挖掘类别标签间的相关性对特征提取模型所提取到的特征进行分类，可以有效提升分类网络的性能，使得分类准确性大大增加。且图卷积网络在训练完成后，仅保留其所输出的最终状态作为分类器投入应用中，不需要引入额外的运算量，提升了分类效率。
对应于前文所提出的视频分类方法，本申请实施例提供了一种视频分类装置，上述视频分类装置集成于电子设备。请参阅图8，本申请实施例中的视频分类装置800包括：
应用采样单元801，用于按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，上述待分类视频帧序列包括上述待分类视频中的至少一帧视频帧；
应用提取单元802，用于特征向量将上述待分类视频帧序列输入至已训练的特征提取模型，得到上述待分类视频的特征向量；
应用预测单元803，用于基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，其中，上述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
应用分类单元804，用于根据上述待分类视频的预测向量，确定上述待分类视频的类别。
可选地，上述预设的分类器为分类矩阵；上述应用预测单元803，具体用于将上述分类器与上述待分类视频的特征向量作矩阵乘法，得到上述待分类视频的预测向量。
可选地，上述应用分类单元804，包括：
预测向量二值化处理子单元，用于基于预设的预测阈值，对上述待分类视频的预测向量进行二值化处理，得到上述待分类视频的二值化预测结果；
目标维度确定子单元，用于在上述二值化预测结果中，确定目标维度，其中，上述目标维度上的数值为预设数值；
视频类别确定子单元，用于将上述目标维度所关联的类别确定为上述待分类视频的类别。
可选地，上述视频分类装置800还包括：
特征矩阵构建单元，用于基于预设的类别标签列表构建特征矩阵，其中，上述类别标签列表中包含有至少一个类别标签，每一类别标签用于指示一类别；
标签邻接矩阵建单元，用于基于预设的训练数据集构建标签邻接矩阵，其中，上述训练数据集包括至少一个训练视频，每一训练视频至少与上述类别标签列表中的一个类别标签相关联；
分类器获取单元，用于将上述标签邻接矩阵及上述特征矩阵输入至待训练的图卷积网络，得到待训练的分类器；
训练下采样单元，用于按照上述采样频率对待分类训练视频进行下采样，得到待分类训练视频帧序列，其中，上述待分类训练视频为上述训练数据集中的任一训练视频，上述待分类训练视频帧序列包括上述待分类训练视频中的至少一帧视频帧；
训练提取单元，用于将上述待分类训练视频帧序列输入至待训练的特征提取模型，得到上述待分类训练视频的特征向量；
训练预测单元，用于基于上述待训练的分类器对上述待分类训练视频的特征向量进行预测，得到上述待分类训练视频的预测向量；
训练优化单元，用于根据上述待分类训练视频的预测向量及与上述待分类训练视频相关联的类别标签计算损失，并基于反向传播算法更新上述待训练的特征提取模型及待训练的图卷积网络，直至上述损失达到收敛，得到已训练的特征提取模型及已训练的图卷积网络，并获得已训练的图卷积网络所输出的分类器。
可选地，上述特征矩阵构建单元，包括：
应用场景获取子单元，用于获取输入的应用场景；
类别标签列表确定子单元，用于确定与上述应用场景相关联的类别标签列表；
特征矩阵获取子单元，用于提取上述类别标签列表中各个类别标签的特征向量，以得到上述类别标签列表的特征矩阵。
可选地，上述特征矩阵获取子单元，包括：
类别标签特征向量提取子单元，用于基于预设的自然语言处理模型提取上述类别标签列表中各个类别标签的特征向量；
类别标签特征向量拼接子单元，用于将上述类别标签列表中各个类别标签的特征向量进行拼接，得到上述类别标签列表的特征矩阵。
可选地，上述标签邻接矩阵构建单元，包括：
视频数量统计子单元，用于在上述训练数据集中，统计与上述类别标签列表中的每一类别标签相关联的训练视频的数量；
条件概率矩阵构建子单元，用于基于与上述类别标签列表中的每一类别标签相关联的训练视频的数量，构建条件概率矩阵；
条件概率矩阵二值化子单元，用于对上述条件概率矩阵进行二值化处理，得到标签邻接矩阵。
由上可见，通过本申请实施例，视频分类装置结合图卷积网络和特征提取模型构建一个能够端到端训练的分类网络，其中，图卷积网络通过挖掘类别标签间的相关性对特征提取模型所提取到的特征进行分类，可以有效提升分类网络的性能，使得分类准确性大大增加。且图卷积网络在训练完成后，仅保留其所输出的最终状态作为分类器投入应用中，不需要引入额外的运算量，提升了分类效率。
本申请实施例还提供了一种电子设备，请参阅图9，本申请实施例中的电子设备9包括：存储器901，一个或多个处理器902(图9中仅示出一个)及存储在存储器901上并可在处理器上运行的计算机程序。其中：存储器901用于存储软件程序以及单元，处理器902通过运行存储在存储器901的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器902通过运行存储在存储器901的上述计算机程序时实现以下步骤：
按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，上述待分类视频帧序列包括上述待分类视频中的至少一帧视频帧；
将上述待分类视频帧序列输入至已训练的特征提取模型，得到上述待分类视频的特征向量；
基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，其中，上述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
根据上述待分类视频的预测向量，确定上述待分类视频的类别。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述预设的分类器为分类矩阵；上述基于预设的分类器对上述待分类视频的特征向量进行预测，得到上述待分类视频的预测向量，包括：
将上述分类器与上述待分类视频的特征向量作矩阵乘法，得到上述待分类视频的预测向量。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述对上述待分类视频的预测向量进行二值化处理，以得到上述待分类视频的类别，包括：
基于预设的预测阈值，对上述待分类视频的预测向量进行二值化处理，得到上述待分类视频的二值化预测结果；
在上述二值化预测结果中，确定目标维度，其中，上述目标维度上的数值为预设数值；
将上述目标维度所关联的类别确定为上述待分类视频的类别。
在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，处理器902通过运行存储在存储器901的上述计算机程序时实现以下步骤：
基于预设的类别标签列表构建特征矩阵，其中，上述类别标签列表中包含有至少一个类别标签，每一类别标签用于指示一类别；
基于预设的训练数据集构建标签邻接矩阵，其中，上述训练数据集包括至少一个训练视频，每一训练视频至少与上述类别标签列表中的一个类别标签相关联；
将上述标签邻接矩阵及上述特征矩阵输入至待训练的图卷积网络，得到待训练的分类器；
按照上述采样频率对待分类训练视频进行下采样，得到待分类训练视频帧序列，其中，上述待分类训练视频为上述训练数据集中的任一训练视频，上述待分类训练视频帧序列包括上述待分类训练视频中的至少一帧视频帧；
将上述待分类训练视频帧序列输入至待训练的特征提取模型，得到上述待分类训练视频的特征向量；
基于上述待训练的分类器对上述待分类训练视频的特征向量进行预测，得到上述待分类训练视频的预测向量；
根据上述待分类训练视频的预测向量及与上述待分类训练视频相关联的类别标签计算损失，并基于反向传播算法更新上述待训练的特征提取模型及待训练的图卷积网络，直至上述损失达到收敛，得到已训练的特征提取模型及已训练的图卷积网络，并获得已训练的图卷积网络所输出的分类器。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述基于预设的类别标签列表构建特征矩阵，包括：
获取输入的应用场景；
确定与上述应用场景相关联的类别标签列表；
提取上述类别标签列表中各个类别标签的特征向量，以得到上述类别标签列表的特征矩阵。
在上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述提取上述类别标签列表中各个类别标签的特征向量，以得到上述类别标签列表的特征矩阵，包括：
基于预设的自然语言处理模型提取上述类别标签列表中各个类别标签的特征向量；
将上述类别标签列表中各个类别标签的特征向量进行拼接，得到上述类别标签列表的特征矩阵。
在上述第四种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述基于预设的训练数据集构建标签邻接矩阵，包括：
在上述训练数据集中，统计与上述类别标签列表中的每一类别标签相关联的训练视频的数量；
基于与上述类别标签列表中的每一类别标签相关联的训练视频的数量，构建条件概率矩阵；
对上述条件概率矩阵进行二值化处理，得到标签邻接矩阵。
应当理解，在本申请实施例中，所称处理器902可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器901可以包括只读存储器和随机存取存储器，并向处理器902提供指令和数据。存储器901的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器901还可以存储设备类别的信息。
由上可见，通过本申请实施例，电子设备结合图卷积网络和特征提取模型构建一个能够端到端训练的分类网络，其中，图卷积网络通过挖掘类别标签间的相关性对特征提取模型所提取到的特征进行分类，可以有效提升分类网络的性能，使得分类准确性大大增加。且图卷积网络在训练完成后，仅保留其所输出的最终状态作为分类器投入应用中，不需要引入额外的运算量，提升了分类效率。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频分类方法，其特征在于，包括：
按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，所述待分类视频帧序列包括所述待分类视频中的至少一帧视频帧；
将所述待分类视频帧序列输入至已训练的特征提取模型，得到所述待分类视频的特征向量；
基于预设的分类器对所述待分类视频的特征向量进行预测，得到所述待分类视频的预测向量，其中，所述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
根据所述待分类视频的预测向量，确定所述待分类视频的类别。
2.如权利要求1所述的视频分类方法，其特征在于，所述预设的分类器为分类矩阵；所述基于预设的分类器对所述待分类视频的特征向量进行预测，得到所述待分类视频的预测向量，包括：
将所述分类器与所述待分类视频的特征向量作矩阵乘法，得到所述待分类视频的预测向量。
3.如权利要求1所述的视频分类方法，其特征在于，所述根据所述待分类视频的预测向量，确定所述待分类视频的类别，包括：
基于预设的预测阈值，对所述待分类视频的预测向量进行二值化处理，得到所述待分类视频的二值化预测结果；
在所述二值化预测结果中，确定目标维度，其中，所述目标维度上的数值为预设数值；
将所述目标维度所关联的类别确定为所述待分类视频的类别。
4.如权利要求1至3任一项所述的视频分类方法，其特征在于，所述视频分类方法还包括：
基于预设的类别标签列表构建特征矩阵，其中，所述类别标签列表中包含有至少一个类别标签，每一类别标签用于指示一类别；
基于预设的训练数据集构建标签邻接矩阵，其中，所述训练数据集包括至少一个训练视频，每一训练视频至少与所述类别标签列表中的一个类别标签相关联；
将所述标签邻接矩阵及所述特征矩阵输入至待训练的图卷积网络，得到待训练的分类器；
按照所述采样频率对待分类训练视频进行下采样，得到待分类训练视频帧序列，其中，所述待分类训练视频为所述训练数据集中的任一训练视频，所述待分类训练视频帧序列包括所述待分类训练视频中的至少一帧视频帧；
将所述待分类训练视频帧序列输入至待训练的特征提取模型，得到所述待分类训练视频的特征向量；
基于所述待训练的分类器对所述待分类训练视频的特征向量进行预测，得到所述待分类训练视频的预测向量；
根据所述待分类训练视频的预测向量及与所述待分类训练视频相关联的类别标签计算损失，并基于反向传播算法更新所述待训练的特征提取模型及待训练的图卷积网络，直至所述损失达到收敛，得到已训练的特征提取模型及已训练的图卷积网络，并获得已训练的图卷积网络所输出的分类器。
5.如权利要求4所述的视频分类方法，其特征在于，所述基于预设的类别标签列表构建特征矩阵，包括：
获取输入的应用场景；
确定与所述应用场景相关联的类别标签列表；
提取所述类别标签列表中各个类别标签的特征向量，以得到所述类别标签列表的特征矩阵。
6.如权利要求5所述的视频分类方法，其特征在于，所述提取所述类别标签列表中各个类别标签的特征向量，以得到所述类别标签列表的特征矩阵，包括：
基于预设的自然语言处理模型提取所述类别标签列表中各个类别标签的特征向量；
将所述类别标签列表中各个类别标签的特征向量进行拼接，得到所述类别标签列表的特征矩阵。
7.如权利要求4所述的视频分类方法，其特征在于，所述基于预设的训练数据集构建标签邻接矩阵，包括：
在所述训练数据集中，统计与所述类别标签列表中的每一类别标签相关联的训练视频的数量；
基于与所述类别标签列表中的每一类别标签相关联的训练视频的数量，构建条件概率矩阵；
对所述条件概率矩阵进行二值化处理，得到标签邻接矩阵。
8.一种视频分类装置，其特征在于，包括：
应用采样单元，用于按照预设的采样频率对待分类视频进行下采样，得到待分类视频帧序列，其中，所述待分类视频帧序列包括所述待分类视频中的至少一帧视频帧；
应用提取单元，用于特征向量将所述待分类视频帧序列输入至已训练的特征提取模型，得到所述待分类视频的特征向量；
应用预测单元，用于基于预设的分类器对所述待分类视频的特征向量进行预测，得到所述待分类视频的预测向量，其中，所述分类器基于类别之间的相关性及已训练的图卷积网络而生成；
应用分类单元，用于根据所述待分类视频的预测向量，确定所述待分类视频的类别。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010490211.3A CN111626251A (zh) | 2020-06-02 | 2020-06-02 | 一种视频分类方法、视频分类装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010490211.3A CN111626251A (zh) | 2020-06-02 | 2020-06-02 | 一种视频分类方法、视频分类装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111626251A true CN111626251A (zh) | 2020-09-04 |
Family
ID=72271993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010490211.3A Pending CN111626251A (zh) | 2020-06-02 | 2020-06-02 | 一种视频分类方法、视频分类装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626251A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749737A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 图像分类方法及装置、电子设备、存储介质 |
| CN113177603A (zh) * | 2021-05-12 | 2021-07-27 | 中移智行网络科技有限公司 | 分类模型的训练方法、视频分类方法及相关设备 |
| CN113220940A (zh) * | 2021-05-13 | 2021-08-06 | 北京小米移动软件有限公司 | 视频分类方法、装置、电子设备及存储介质 |
| CN113836992A (zh) * | 2021-06-15 | 2021-12-24 | 腾讯科技（深圳）有限公司 | 识别标签的方法、训练标签识别模型的方法、装置及设备 |
| WO2023035877A1 (zh) * | 2021-09-08 | 2023-03-16 | 北京有竹居网络技术有限公司 | 视频的识别方法、装置、可读介质和电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180053057A1 (en) * | 2016-08-18 | 2018-02-22 | Xerox Corporation | System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture |
| CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
| CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| US20190220699A1 (en) * | 2018-01-15 | 2019-07-18 | Gyrfalcon Technology Inc. | System and method for encoding data in an image/video recognition integrated circuit solution |
| CN110097000A (zh) * | 2019-04-29 | 2019-08-06 | 东南大学 | 基于局部特征聚合描述符和时序关系网络的视频行为识别方法 |
| CN110347873A (zh) * | 2019-06-26 | 2019-10-18 | Oppo广东移动通信有限公司 | 视频分类方法、装置、电子设备及存储介质 |
| CN110751224A (zh) * | 2019-10-25 | 2020-02-04 | Oppo广东移动通信有限公司 | 视频分类模型的训练方法、视频分类方法、装置及设备 |
| CN110781818A (zh) * | 2019-10-25 | 2020-02-11 | Oppo广东移动通信有限公司 | 视频分类方法、模型训练方法、装置及设备 |
| CN110866512A (zh) * | 2019-11-21 | 2020-03-06 | 南京大学 | 一种基于视频分类的监控摄像机遮挡检测方法 |
-
2020
- 2020-06-02 CN CN202010490211.3A patent/CN111626251A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180053057A1 (en) * | 2016-08-18 | 2018-02-22 | Xerox Corporation | System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture |
| US20190220699A1 (en) * | 2018-01-15 | 2019-07-18 | Gyrfalcon Technology Inc. | System and method for encoding data in an image/video recognition integrated circuit solution |
| CN109710800A (zh) * | 2018-11-08 | 2019-05-03 | 北京奇艺世纪科技有限公司 | 模型生成方法、视频分类方法、装置、终端及存储介质 |
| CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| CN110097000A (zh) * | 2019-04-29 | 2019-08-06 | 东南大学 | 基于局部特征聚合描述符和时序关系网络的视频行为识别方法 |
| CN110347873A (zh) * | 2019-06-26 | 2019-10-18 | Oppo广东移动通信有限公司 | 视频分类方法、装置、电子设备及存储介质 |
| CN110751224A (zh) * | 2019-10-25 | 2020-02-04 | Oppo广东移动通信有限公司 | 视频分类模型的训练方法、视频分类方法、装置及设备 |
| CN110781818A (zh) * | 2019-10-25 | 2020-02-11 | Oppo广东移动通信有限公司 | 视频分类方法、模型训练方法、装置及设备 |
| CN110866512A (zh) * | 2019-11-21 | 2020-03-06 | 南京大学 | 一种基于视频分类的监控摄像机遮挡检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749737A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 图像分类方法及装置、电子设备、存储介质 |
| CN113177603A (zh) * | 2021-05-12 | 2021-07-27 | 中移智行网络科技有限公司 | 分类模型的训练方法、视频分类方法及相关设备 |
| CN113177603B (zh) * | 2021-05-12 | 2022-05-06 | 中移智行网络科技有限公司 | 分类模型的训练方法、视频分类方法及相关设备 |
| WO2022237065A1 (zh) * | 2021-05-12 | 2022-11-17 | 中移智行网络科技有限公司 | 分类模型的训练方法、视频分类方法及相关设备 |
| CN113220940A (zh) * | 2021-05-13 | 2021-08-06 | 北京小米移动软件有限公司 | 视频分类方法、装置、电子设备及存储介质 |
| CN113220940B (zh) * | 2021-05-13 | 2024-02-09 | 北京小米移动软件有限公司 | 视频分类方法、装置、电子设备及存储介质 |
| CN113836992A (zh) * | 2021-06-15 | 2021-12-24 | 腾讯科技（深圳）有限公司 | 识别标签的方法、训练标签识别模型的方法、装置及设备 |
| CN113836992B (zh) * | 2021-06-15 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 识别标签的方法、训练标签识别模型的方法、装置及设备 |
| WO2023035877A1 (zh) * | 2021-09-08 | 2023-03-16 | 北京有竹居网络技术有限公司 | 视频的识别方法、装置、可读介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626251A (zh) | 一种视频分类方法、视频分类装置及电子设备 | |
| Cai et al. | A modified YOLOv3 model for fish detection based on MobileNetv1 as backbone | |
| Kaymak et al. | A brief survey and an application of semantic image segmentation for autonomous driving | |
| CN109711463B (zh) | 基于注意力的重要对象检测方法 | |
| WO2021164326A1 (zh) | 一种视频处理方法、装置、设备及计算机可读存储介质 | |
| CN112183577A (zh) | 一种半监督学习模型的训练方法、图像处理方法及设备 | |
| CN110245579B (zh) | 人流密度预测方法及装置、计算机设备及可读介质 | |
| CN108197592B (zh) | 信息获取方法和装置 | |
| US11163989B2 (en) | Action localization in images and videos using relational features | |
| EP3765995B1 (en) | Systems and methods for inter-camera recognition of individuals and their properties | |
| CN113780243B (zh) | 行人图像识别模型的训练方法、装置、设备以及存储介质 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
| WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
| CN111783713A (zh) | 基于关系原型网络的弱监督时序行为定位方法及装置 | |
| CN112257855B (zh) | 一种神经网络的训练方法及装置、电子设备及存储介质 | |
| CN115620304A (zh) | 文本识别模型的训练方法、文本识别方法及相关装置 | |
| CN112651267A (zh) | 识别方法、模型训练、系统及设备 | |
| Cho et al. | An image generation approach for traffic density classification at large-scale road network | |
| CN115240647A (zh) | 声音事件检测方法、装置、电子设备及存储介质 | |
| WO2021174513A1 (zh) | 一种图像处理系统、方法以及包括该系统的自动驾驶车辆 | |
| CN114387465A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113837977A (zh) | 对象跟踪方法、多目标跟踪模型训练方法及相关设备 | |
| CN112132175A (zh) | 对象分类方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |