CN110334689B - 视频分类方法和装置 - Google Patents

视频分类方法和装置 Download PDF

Info

Publication number
CN110334689B
CN110334689B CN201910640913.2A CN201910640913A CN110334689B CN 110334689 B CN110334689 B CN 110334689B CN 201910640913 A CN201910640913 A CN 201910640913A CN 110334689 B CN110334689 B CN 110334689B
Authority
CN
China
Prior art keywords
fusion model
video
classified
network structure
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910640913.2A
Other languages
English (en)
Other versions
CN110334689A (zh
Inventor
龙翔
何栋梁
李甫
迟至真
周志超
赵翔
王平
孙昊
文石磊
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910640913.2A priority Critical patent/CN110334689B/zh
Publication of CN110334689A publication Critical patent/CN110334689A/zh
Priority to US16/830,895 priority patent/US11256920B2/en
Application granted granted Critical
Publication of CN110334689B publication Critical patent/CN110334689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了视频分类方法和装置。该方法的一具体实施方式包括：获取待分类视频；提取待分类视频的多种模态的特征集合；将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。该实施方式提高了视频分类的准确度。

Description

视频分类方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及视频分类方法和装置。
背景技术
视频分类是通过分析、理解视频信息，将视频分到事先定义好的类别中去。视频分类是计算机视觉中最基本、最重要的任务之一。它在大量的现实应用中起着关键作用，包括基于视频的搜索、视频的推荐等等。随着数码相机、智能手机和监控摄像机的增加，视频数量激增，如何有效、高效地识别和理解视频内容是一个严峻的挑战。同时，视频分类技术还是视频标签、视频检索、视频标题生成等多种其他视频技术重要基础。提高视频通用分类的准确性，也可以间接的提高其他视频技术的效果。
发明内容
本申请实施例提出了视频分类方法和装置。
第一方面，本申请实施例提供了一种视频分类方法，包括：获取待分类视频；提取待分类视频的多种模态的特征集合；将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。
在一些实施例中，提取待分类视频的多种模态的特征集合，包括：将待分类视频分别输入至每种模态对应的卷积神经网络，得到待分类视频的多种模态的特征集合。
在一些实施例中，后融合模型包括多个并列的注意力模块、全连接层和激活函数层，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享。
在一些实施例中，将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息，包括：对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；拼接多个第一输出信息，得到拼接第一输出信息；将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到待分类视频的该模态的类别信息。
在一些实施例中，融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息，包括：将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息。
在一些实施例中，多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。
在一些实施例中，将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息，包括：按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，得到第二输出信息；将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，得到待分类视频的类别信息。
在一些实施例中，多模态融合模型通过如下步骤训练得到：初始化神经网络结构搜索网络；执行以下训练步骤：运行神经网络结构搜索网络，确定网络结构，其中，网络结构的输出端与多模态融合模型的输入端连接；交替更新网络结构和多模态融合模型的参数；确定多模态融合模型的分类准确率是否变化；响应于确定多模态融合模型的分类准确率不变，确定多模态融合模型训练完成；响应于确定多模态融合模型的分类准确率变化，继续执行训练步骤。
在一些实施例中，运行神经网络结构搜索网络，确定网络结构，包括：一次运行神经网络结构搜索网络，确定第一网络结构；交替更新网络结构和多模态融合模型的参数，包括：固定第一网络结构，计算分类损失，以及利用反向传播方法，更新多模态融合模型的参数；运行神经网络结构搜索网络，确定网络结构，还包括：多次运行神经网络结构搜索网络，确定第二网络结构；以及交替更新网络结构和多模态融合模型的参数，还包括：固定多模态融合模型，计算分类损失，以及利用策略梯度方法，更新神经网络结构搜索网络的参数。
在一些实施例中，神经网络结构搜索网络包括长短期记忆网络和全局向量，长短期记忆网络包括多个串行的长短期记忆网络单元，当运行神经网络结构搜索网络时，每个长短期记忆网络单元依次选择模态、注意力模块的数目和激活函数中的一项。
在一些实施例中，模态顺序通过如下步骤确定：响应于确定多模态融合模型的分类准确率不变，确定神经网络结构搜索网络训练完成；运行神经网络结构搜索网络，确定多个串行的长短期记忆网络单元选择的模态顺序。
第二方面，本申请实施例提供了一种视频分类装置，包括：获取单元，被配置成获取待分类视频；提取单元，被配置成提取待分类视频的多种模态的特征集合；分类单元，被配置成将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合单元，被配置成融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。
在一些实施例中，提取单元进一步被配置成：将待分类视频分别输入至每种模态对应的卷积神经网络，得到待分类视频的多种模态的特征集合。
在一些实施例中，后融合模型包括多个并列的注意力模块、全连接层和激活函数层，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享。
在一些实施例中，分类单元进一步被配置成：对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；拼接多个第一输出信息，得到拼接第一输出信息；将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到待分类视频的该模态的类别信息。
在一些实施例中，融合单元进一步被配置成：将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息。
在一些实施例中，多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。
在一些实施例中，融合单元进一步被配置成：按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，得到第二输出信息；将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，得到待分类视频的类别信息。
在一些实施例中，多模态融合模型通过如下步骤训练得到：初始化神经网络结构搜索网络；执行以下训练步骤：运行神经网络结构搜索网络，确定网络结构，其中，网络结构的输出端与多模态融合模型的输入端连接；交替更新网络结构和多模态融合模型的参数；确定多模态融合模型的分类准确率是否变化；响应于确定多模态融合模型的分类准确率不变，确定多模态融合模型训练完成；响应于确定多模态融合模型的分类准确率变化，继续执行训练步骤。
在一些实施例中，运行神经网络结构搜索网络，确定网络结构，包括：一次运行神经网络结构搜索网络，确定第一网络结构；交替更新网络结构和多模态融合模型的参数，包括：固定第一网络结构，计算分类损失，以及利用反向传播方法，更新多模态融合模型的参数；运行神经网络结构搜索网络，确定网络结构，还包括：多次运行神经网络结构搜索网络，确定第二网络结构；以及交替更新网络结构和多模态融合模型的参数，还包括：固定多模态融合模型，计算分类损失，以及利用策略梯度方法，更新神经网络结构搜索网络的参数。
在一些实施例中，神经网络结构搜索网络包括长短期记忆网络和全局向量，长短期记忆网络包括多个串行的长短期记忆网络单元，当运行神经网络结构搜索网络时，每个长短期记忆网络单元依次选择模态、注意力模块的数目和激活函数中的一项。
在一些实施例中，模态顺序通过如下步骤确定：响应于确定多模态融合模型的分类准确率不变，确定神经网络结构搜索网络训练完成；运行神经网络结构搜索网络，确定多个串行的长短期记忆网络单元选择的模态顺序。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的视频分类方法和装置，首先提取所获取的待分类视频的多种模态的特征集合；然后将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；最后融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。从而提高了视频分类的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的视频分类方法的一个实施例的流程图；
图3是根据本申请的视频分类方法的又一个实施例的流程图；
图4是后融合模型的结构示意图；
图5是多模态融合模型的结构示意图；
图6是多模态融合模型训练方法的一个实施例的流程图；
图7是神经网络结构搜索网络的结构示意图；
图8是网络结构与多模态融合模型的组合结构示意图；
图9是根据本申请的视频分类装置的一个实施例的结构示意图；
图10是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的视频分类方法或视频分类装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括视频采集设备101、网络102和服务器103。网络102用以在视频采集设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
视频采集设备101可以通过网络102向服务器103发送其采集的视频。视频采集设备101可以是硬件，也可以是软件。当视频采集设备101为硬件时，可以是支持视频采集功能的各种电子设备。包括但不限于摄像头、摄像机、相机和智能手机等等。当视频采集设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器。例如视频分类服务器。视频分类服务器可以对获取到的待分类视频等数据进行分析等处理，生成处理结果(例如待分类视频的类别信息)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的视频分类方法一般由服务器103执行，相应地，视频分类装置一般设置于服务器103中。
应该理解，图1中的视频采集设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的视频采集设备、网络和服务器。
继续参考图2，其示出了根据本申请的视频分类方法的一个实施例的流程200。该视频分类方法，包括以下步骤：
步骤201，获取待分类视频。
在本实施例中，视频分类方法的执行主体(例如图1所示的服务器103)可以从视频采集设备(例如图1所示的视频采集设备101)获取待分类视频。其中，待分类视频可以是包含任意内容的视频，其内容可以包括但不限于动作、活动、事件等。
步骤202，提取待分类视频的多种模态的特征集合。
在本实施例中，上述执行主体可以提取待分类视频的多种模态的特征集合。其中，视频可以具有多种模态的特征，包括但不限于RGB特征、光流特征和音频特征等等。
在本实施例的一些可选的实现方式中，上述执行主体可以对待分类视频进行基于颜色直方图的特征提取，得到待分类视频的RGB特征集合；上述执行主体还可以对待分类视频进行基于光流法的特征提取，得到待分类视频的光流特征集合；同时，上述执行主体可以还可以对待分类视频中的音频进行特征提取，得到待分类视频的音频特征集合。
在本实施例的一些可选的实现方式中，上述执行主体可以将待分类视频分别输入至每种模态对应的卷积神经网络(Convolutional Neural Network，CNN)，得到待分类视频的多种模态的特征集合。其中，每种模态对应的卷积神经网络可以用于提取每种模态的特征集合，其是利用各种机器学习方法和训练样本对现有的卷积神经网络进行有监督训练而得到的。
步骤203，将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息。
在本实施例中，上述执行主体可以将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息。其中，每种模态对应的后融合模型可以用于基于每种模态的特征集合对视频进行分类，是利用各种机器学习方法和训练样本对现有的视频分类模型进行有监督训练而得到的。
步骤204，融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。
在本实施例中，上述执行主体可以融合待分类视频的多种模态的类别信息，以得到待分类视频的类别信息。
在本实施例的一些可选的实现方式中，上述执行主体可以从待分类视频的多种模态的类别信息中选取一种模态的类别信息，作为待分类视频的类别信息。
在本实施例的一些可选的实现方式中，上述执行主体可以对待分类视频的多模态的类别信息进行加权运算，基于运算结果确定待分类视频的类别信息。
在本实施例的一些可选的实现方式中，上述执行主体可以将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息。其中，多模态融合模型可以用于基于多种模态的类别信息对视频进行分类，是利用各种机器学习方法和训练样本对现有的循环神经网络进行有监督训练而得到的。
本申请实施例提供的视频分类方法，首先提取所获取的待分类视频的多种模态的特征集合；然后将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；最后融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。从而提高了视频分类的准确度。
进一步参考图3，其示出了根据本申请的视频分类方法的又一个实施例的流程300。
在本实施例中，后融合模型可以采用Attention Cluster(注意力聚合模型)。引入不同模态的不同Attention Cluster，能够更好捕获特征间的组合关系。
具体地，后融合模型可以包括多个并列的注意力模块、全连接层和激活函数层。多个并列的注意力模块的输出端与全连接层的输入端连接，全连接层的输出端与激活函数层的输入端连接。通常，不同模态对应的后融合模型的注意力模块的数目可以不同。并且，注意力模块数目多的后融合模型的注意力模块的参数可以被注意力模块数目少的后融合模型共享。不同注意力模块数目的后融合模型的全连接层的输入维度不同。此外，不同模态对应的后融合模型的激活函数层的激活函数也可以不同。其中，激活函数层的激活函数可以例如是linear、sigmoid、tanh或relu等等中的任意一项。
实践中，注意力模块的数目是后融合模型的一个重要超参。由于注意力模块的参数共享，就不需要针对每种超参都训练注意力模块的参数。通常，只需训练出注意力模块数目最多的后融合模型的注意力模块的参数，其余后融合模型对应取用注意力模块数目最多的后融合模型的部分注意力模块的参数即可。而不同注意力模块数目的后融合模型的全连接层由于输入维度不同，其全连接层的参数相互独立。因此，需要针对每种超参都训练全连接层的参数。
图4示出了后融合模型的结构示意图。以注意力模块数目为4和8的两个后融合模型为例，图4左侧的部分是注意力模块数目为4的后融合模型，图4右侧的部分是注意力模块数目为8的后融合模型。在图4中，标注“attention”的方框表示注意力模块。标注“FC 4”的方框表示注意力模块数目为4的后融合模型的全连接层。标注“relu”的方框表示注意力模块数目为4的后融合模型的激活函数层。标注“FC 8”的方框表示注意力模块数目为8的后融合模型的全连接层。标注“tanh”的方框表示注意力模块数目为4的后融合模型的激活函数层。此外，从图4中可以看出，注意力模块数目为4的后融合模型的4个注意力模块的参数与注意力模块数目为8的后融合模型的前4个注意力模块的参数相同。即，注意力模块数目为4的后融合模型和注意力模块数目为8的后融合模型共享这4个注意力模块的参数。而注意力模块数目为4和8的两个后融合模型的全连接层由于输入维度不同，其全连接层的参数相互独立。
在本实施例中，多模态融合模型可以采用基于门控循环单元(Gated RecurrentUnit，GRU)的结构。具体地，多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。多个串行的门控循环单元中的最后一个门控循环单元的输出端与全连接层的输入端连接，全连接层的输出端与激活函数层的输入端连接。通常，每个门控循环单元被输入一种模态的类别信息。激活函数层的激活函数可以例如是softmax。
图5示出了多模态融合模型的结构示意图。以门控循环单元数目为3的多模态融合模型为例，标注“GRU”的方框表示门控循环单元。标注“FC”的方框表示全连接层。标注“softmax”的方框表示激活函数层。标注“score”的方框表示多模态融合模型输出的视频的类别信息。
在本实施例中，视频分类方法包括以下步骤：
步骤301，获取待分类视频。
步骤302，提取待分类视频的多种模态的特征集合。
在本实施例中，步骤301-302的具体操作已在图2所示的实施例中步骤201-202中进行了详细的介绍，在此不再赘述。
步骤303，对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息。
在本实施例中，对于每种模态，视频分类方法的执行主体(例如图1所示的服务器103)可以将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，以得到多个第一输出信息。通常，每一个注意力模块均被输入该模态的特征集合。并且，每一个注意力模块对该模态的特征集合进行处理后均输出一个第一输出信息。
步骤304，拼接多个第一输出信息，得到拼接第一输出信息。
在本实施例中，上述执行主体可以拼接该模块对应的后融合模型的多个并列的注意力模块输出的多个第一输出信息，以得到拼接第一输出信息。
步骤305，将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到待分类视频的该模态的类别信息。
在本实施例中，上述执行主体可以将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，以使拼接第一输出信息依次经过全连接层和激活函数层的处理，得到待分类视频的该模态的类别信息。
步骤306，按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，得到第二输出信息。
在本实施例中，上述执行主体可以按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，以得到第二输出信息。通常，每一个门控循环单元被输出一种模态的类别信息。模态顺序可以确定每一个模态的类别信息被输入至多个串行的门控循环单元中的哪一个门控循环单元。
步骤307，将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，得到待分类视频的类别信息。
在本实施例中，上述执行主体可以将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，以使第二输出信息依次经过全连接层和激活函数层的处理，得到待分类视频的类别信息。
从图3中可以看出，与图2对应的实施例相比，本实施例中的视频分类方法的流程300突出了后融合模型对视频进行分类的步骤，以及多模态融合模型对多种模态的类别信息进行融合的步骤。由此，本实施例描述的方案中的后融合模型的注意力模块的参数共享，节省了训练后融合模型的成本。同时，利用多模态融合模型对多种模态的类别信息进行融合，进一步提高了视频分类的准确度。
进一步参考图6，其示出了多模态融合模型训练方法一个实施例的流程600。该多模态融合模型训练方法，包括以下步骤：
在本实施例中，采用类似ENAS(Efficient Neural Architecture Search viaParameter Sharing，参数共享的高效神经网络结构搜索)的框架，进行神经网络自动搜索。
具体地，神经网络结构搜索网络可以包括长短期记忆网络(Long Short-TermMemory，LSTM)和全局向量。其中，长短期记忆网络可以包括多个串行的长短期记忆网络单元。当运行神经网络结构搜索网络时，每个长短期记忆网络单元可以依次选择模态、注意力模块的数目和激活函数中的一项。
图7示出了神经网络结构搜索网络的结构示意图。其中，标注“LSTM”的方框表示长短期记忆网络单元。标注“g”的方框表示全局向量。“A,B,C,D,E…”表示多种模态的特征。“4,8,16,32,64,128”表示多个注意力模块的数目。“linear,sigmoid,tanh,relu”表示多种激活函数。当运行神经网络结构搜索网络时，第一个长短期记忆网络单元选择一种模态的特征，第二个长短期记忆网络单元选择一个注意力模块的参数，第三个长短期记忆网络单元选择一种激活函数，以此规律循环选择。因此，当进行N(N为正整数)种模态的特征融合时，长短期记忆网络单元的数目为N的3倍，且执行N的3倍个步骤，选择N的3倍个超参。神经网络结构搜索网络按顺序输出所有长短期记忆网络单元选择的超参。而神经网络结构搜索网络输出的超参可以确定网络结构。其中，网络结构的输出端可以与多模态融合模型的输入端连接。
图8示出了网络结构与多模态融合模型的组合结构示意图。以神经网络结构搜索网络输出的超参(B,64,tanh,A,32,relu,C,8,tanh)为例，图8的上方的部分是网络结构，图8的下方的部分是多模态融合模型。在图8中，对于网络结构，标注“Feature B”、“FeatureA”和“Feature C”的方框分别表示不同模态的特征。标注“Attention Cluster B 64”的方框表示64个并列的注意力模块。标注“Attention Cluster A 32”的方框表示32个并列的注意力模块。标注“Attention Cluster C 8”的方框表示8个并列的注意力模块。标注“FC B64”的方框表示输入维度为64的全连接层。标注“FC A 32”的方框表示输入维度为32的全连接层。标注“FC C 8”的方框表示输入维度为8的全连接层。标注“tanh”、“relu”的方框表示不同激活函数层。对于多模态融合模型，标注“GRU”的方框表示门控循环单元。标注“FC”的方框表示全连接层。标注“softmax”的方框表示激活函数层。标注“score”的方框表示多模态融合模型输出的视频的类别信息。
在本实施例中，多模态融合模型训练方法包括以下步骤：
步骤601，初始化神经网络结构搜索网络。
在本实施例中，多模态融合模型训练方法的执行主体(例如图1所示的服务器103)可以初始化神经网络结构搜索网络。通常，神经网络结构搜索网络中的长短期记忆网络的参数和全局向量被初始化为一些不同的小随机数。
步骤602，运行神经网络结构搜索网络，确定网络结构。
在本实施例中，上述执行主体运行神经网络结构搜索网络，并基于神经网络结构搜索网络输出的超参确定网络结构。其中，网络结构的输出端可以与多模态融合模型的输入端连接。网络结构的注意力模块和全连接层的参数也可以被预先初始化。
步骤603，交替更新网络结构和多模态融合模型的参数。
在本实施例中，上述执行主体可以交替更新网络结构和多模态融合模型的参数。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下步骤更新网络结构和多模态融合模型的参数：
首先，一次运行神经网络结构搜索网络，确定第一网络结构。
之后，固定第一网络结构，计算分类损失，以及利用反向传播方法，更新多模态融合模型的参数。
然后，多次运行神经网络结构搜索网络，确定第二网络结构。
最后，固定多模态融合模型，计算分类损失，以及利用策略梯度方法，更新神经网络结构搜索网络的参数。
通常，一次运行神经网络结构搜索网络会得到一个输出，并根据这一个输出确定一个网络结构，即为第一网络结构。多次运行神经网络结构搜索网络会得到多个输出，并根据这多个输出确定多个网络结构，即为第二网络结构。
步骤604，确定多模态融合模型的分类准确率是否变化。
在本实施例中，上述执行主体可以确定多模态融合模型的分类准确率是否变化。若多模态融合模型的分类准确率不变，执行步骤605；若多模态融合模型的分类准确率变化，说明多模态融合模型尚未训练完成，返回执行步骤602。
步骤605，确定多模态融合模型训练完成。
在本实施例中，在多模态融合模型的分类准确率不变的情况下，确定多模态融合模型训练完成。
在本实施例的一些可选的实现方式中，在多模态融合模型的分类准确率不变的情况下，上述执行主体可以确定神经网络结构搜索网络训练完成。此时，运行神经网络结构搜索网络，根据输出中的特征的顺序，即可确定多个串行的长短期记忆网络单元选择的模态顺序。通常，输出中的特征的顺序与模态顺序一致。
进一步参考图9，作为对上述各图所示方法的实现，本申请提供了一种视频分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图9所示，本实施例的视频分类装置900可以包括：获取单元901、提取单元902、分类单元903和融合单元904。其中，获取单元901，被配置成获取待分类视频；提取单元902，被配置成提取待分类视频的多种模态的特征集合；分类单元903，被配置成将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合单元904，被配置成融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。
在本实施例中，视频分类装置900中：获取单元901、提取单元902、分类单元903和融合单元904的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，提取单元902进一步被配置成：将待分类视频分别输入至每种模态对应的卷积神经网络，得到待分类视频的多种模态的特征集合。
在本实施例的一些可选的实现方式中，后融合模型包括多个并列的注意力模块、全连接层和激活函数层，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享。
在本实施例的一些可选的实现方式中，分类单元903进一步被配置成：对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；拼接多个第一输出信息，得到拼接第一输出信息；将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到待分类视频的该模态的类别信息。
在本实施例的一些可选的实现方式中，融合单元904进一步被配置成：将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息。
在本实施例的一些可选的实现方式中，多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。
在本实施例的一些可选的实现方式中，融合单元904进一步被配置成：按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，得到第二输出信息；将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，得到待分类视频的类别信息。
在本实施例的一些可选的实现方式中，多模态融合模型通过如下步骤训练得到：初始化神经网络结构搜索网络；执行以下训练步骤：运行神经网络结构搜索网络，确定网络结构，其中，网络结构的输出端与多模态融合模型的输入端连接；交替更新网络结构和多模态融合模型的参数；确定多模态融合模型的分类准确率是否变化；响应于确定多模态融合模型的分类准确率不变，确定多模态融合模型训练完成；响应于确定多模态融合模型的分类准确率变化，继续执行训练步骤。
在本实施例的一些可选的实现方式中，运行神经网络结构搜索网络，确定网络结构，包括：一次运行神经网络结构搜索网络，确定第一网络结构；交替更新网络结构和多模态融合模型的参数，包括：固定第一网络结构，计算分类损失，以及利用反向传播方法，更新多模态融合模型的参数；运行神经网络结构搜索网络，确定网络结构，还包括：多次运行神经网络结构搜索网络，确定第二网络结构；以及交替更新网络结构和多模态融合模型的参数，还包括：固定多模态融合模型，计算分类损失，以及利用策略梯度方法，更新神经网络结构搜索网络的参数。
在本实施例的一些可选的实现方式中，神经网络结构搜索网络包括长短期记忆网络和全局向量，长短期记忆网络包括多个串行的长短期记忆网络单元，当运行神经网络结构搜索网络时，每个长短期记忆网络单元依次选择模态、注意力模块的数目和激活函数中的一项。
在本实施例的一些可选的实现方式中，模态顺序通过如下步骤确定：响应于确定多模态融合模型的分类准确率不变，确定神经网络结构搜索网络训练完成；运行神经网络结构搜索网络，确定多个串行的长短期记忆网络单元选择的模态顺序。
下面参考图10，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器103)的计算机系统1000的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电子设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、提取单元、分类单元和融合单元。其中，这些单元的名称在种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待分类视频的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待分类视频；提取待分类视频的多种模态的特征集合；将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种视频分类方法，包括：
获取待分类视频；
提取所述待分类视频的多种模态的特征集合；
将所述多种模态的特征集合对应输入至每种模态对应的后融合模型，得到所述待分类视频的多种模态的类别信息，其中，后融合模型包括多个并列的注意力模块，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享；
其中，后融合模型还包括全连接层和激活函数层；
所述将所述多种模态的特征集合对应输入至每种模态对应的后融合模型，得到所述待分类视频的多种模态的类别信息，包括：
对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；
拼接所述多个第一输出信息，得到拼接第一输出信息；
将所述拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到所述待分类视频的该模态的类别信息；融合所述待分类视频的多种模态的类别信息，得到所述待分类视频的类别信息。
2.根据权利要求1所述的方法，其中，所述提取所述待分类视频的多种模态的特征集合，包括：
将所述待分类视频分别输入至每种模态对应的卷积神经网络，得到所述待分类视频的多种模态的特征集合。
3.根据权利要求1所述的方法，其中，所述融合所述待分类视频的多种模态的类别信息，得到待分类视频的类别信息，包括：
将所述待分类视频的多种模态的类别信息输入至多模态融合模型，得到所述待分类视频的类别信息。
4.根据权利要求3所述的方法，其中，所述多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。
5.根据权利要求4所述的方法，其中，所述将所述待分类视频的多种模态的类别信息输入至多模态融合模型，得到所述待分类视频的类别信息，包括：
按照模态顺序将所述待分类视频的多种模态的类别信息对应输入至所述多模态融合模型的多个串行的门控循环单元，得到第二输出信息；
将所述第二输出信息依次输入至所述多模态融合模型的全连接层和激活函数层，得到所述待分类视频的类别信息。
6.根据权利要求3-5之一所述的方法，其中，所述多模态融合模型通过如下步骤训练得到：
初始化神经网络结构搜索网络；
执行以下训练步骤：运行所述神经网络结构搜索网络，确定网络结构，其中，所述网络结构的输出端与所述多模态融合模型的输入端连接；交替更新所述网络结构和所述多模态融合模型的参数；确定所述多模态融合模型的分类准确率是否变化；响应于确定所述多模态融合模型的分类准确率不变，确定所述多模态融合模型训练完成；
响应于确定所述多模态融合模型的分类准确率变化，继续执行所述训练步骤。
7.根据权利要求6所述的方法，其中，所述运行所述神经网络结构搜索网络，确定网络结构，包括：
一次运行所述神经网络结构搜索网络，确定第一网络结构；
所述交替更新所述网络结构和所述多模态融合模型的参数，包括：
固定所述第一网络结构，计算分类损失，以及利用反向传播方法，更新所述多模态融合模型的参数；
所述运行所述神经网络结构搜索网络，确定网络结构，还包括：
多次运行所述神经网络结构搜索网络，确定第二网络结构；以及
所述交替更新所述网络结构和所述多模态融合模型的参数，还包括：
固定所述多模态融合模型，计算分类损失，以及利用策略梯度方法，更新所述神经网络结构搜索网络的参数。
8.根据权利要求6所述的方法，其中，所述神经网络结构搜索网络包括长短期记忆网络和全局向量，所述长短期记忆网络包括多个串行的长短期记忆网络单元，当运行所述神经网络结构搜索网络时，每个长短期记忆网络单元依次选择模态、注意力模块的数目和激活函数中的一项。
9.根据权利要求8所述的方法，其中，所述模态顺序通过如下步骤确定：
响应于确定所述多模态融合模型的分类准确率不变，确定所述神经网络结构搜索网络训练完成；
运行所述神经网络结构搜索网络，确定所述多个串行的长短期记忆网络单元选择的模态顺序。
10.一种视频分类装置，包括：
获取单元，被配置成获取待分类视频；
提取单元，被配置成提取所述待分类视频的多种模态的特征集合；
分类单元，被配置成将所述多种模态的特征集合对应输入至每种模态对应的后融合模型，得到所述待分类视频的多种模态的类别信息，其中，后融合模型包括多个并列的注意力模块，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享；
其中，后融合模型还包括全连接层和激活函数层；
所述分类单元，进一步被配置成：
对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；
拼接所述多个第一输出信息，得到拼接第一输出信息；
将所述拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到所述待分类视频的该模态的类别信息；融合单元，被配置成融合所述待分类视频的多种模态的类别信息，得到所述待分类视频的类别信息。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201910640913.2A 2019-07-16 2019-07-16 视频分类方法和装置 Active CN110334689B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910640913.2A CN110334689B (zh) 2019-07-16 2019-07-16 视频分类方法和装置
US16/830,895 US11256920B2 (en) 2019-07-16 2020-03-26 Method and apparatus for classifying video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910640913.2A CN110334689B (zh) 2019-07-16 2019-07-16 视频分类方法和装置

Publications (2)

Publication Number Publication Date
CN110334689A CN110334689A (zh) 2019-10-15
CN110334689B true CN110334689B (zh) 2022-02-15

Family

ID=68145144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910640913.2A Active CN110334689B (zh) 2019-07-16 2019-07-16 视频分类方法和装置

Country Status (2)

Country Link
US (1) US11256920B2 (zh)
CN (1) CN110334689B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970633B1 (en) * 2020-05-13 2021-04-06 StradVision, Inc. Method for optimizing on-device neural network model by using sub-kernel searching module and device using the same
JP7486349B2 (ja) * 2020-05-28 2024-05-17 キヤノン株式会社 ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置
KR20210153386A (ko) * 2020-06-10 2021-12-17 삼성전자주식회사 멀티미디어 컨텐츠를 생성하는 디스플레이 장치 및 그 동작방법
CN111783649B (zh) 2020-06-30 2024-01-23 北京百度网讯科技有限公司 视频类型检测方法、装置、电子设备与存储介质
CN112231497B (zh) * 2020-10-19 2024-04-09 腾讯科技（深圳）有限公司 信息分类方法、装置、存储介质及电子设备
CN112749300B (zh) * 2021-01-22 2024-03-01 北京百度网讯科技有限公司 用于视频分类的方法、装置、设备、存储介质和程序产品
CN113011382A (zh) * 2021-04-12 2021-06-22 北京明略软件系统有限公司 视频片段分类模型构建方法、系统、电子设备及存储介质
CN113095428B (zh) * 2021-04-23 2023-09-19 西安交通大学 一种融合脑电和刺激源信息的视频情感分类方法及系统
CN113343921B (zh) * 2021-06-30 2024-04-09 北京达佳互联信息技术有限公司 视频识别方法、装置、电子设备及存储介质
CN113343936A (zh) * 2021-07-15 2021-09-03 北京达佳互联信息技术有限公司 视频表征模型的训练方法及训练装置
CN113780146B (zh) * 2021-09-06 2024-05-10 西安电子科技大学 基于轻量化神经架构搜索的高光谱图像分类方法及系统
CN113807440B (zh) * 2021-09-17 2022-08-26 北京百度网讯科技有限公司 利用神经网络处理多模态数据的方法、设备和介质
US20240005701A1 (en) * 2021-09-23 2024-01-04 Intel Corporation Methods and apparatus for team classification in sports analysis
CN113822382B (zh) * 2021-11-22 2022-02-15 平安科技（深圳）有限公司 基于多模态特征表示的课程分类方法、装置、设备及介质
CN114818961B (zh) * 2022-05-10 2024-04-02 西安交通大学 一种滚动轴承多模态信息多级融合监测方法及系统
CN115134676B (zh) * 2022-09-01 2022-12-23 有米科技股份有限公司 一种音频辅助视频补全的视频重构方法及装置
CN116563751B (zh) * 2023-04-19 2024-02-06 湖北工业大学 一种基于注意力机制的多模态情感分析方法及系统
CN117574961B (zh) * 2024-01-15 2024-03-22 成都信息工程大学 一种将适配器注入预训练模型的参数高效化方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
US20180144248A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. SENTINEL LONG SHORT-TERM MEMORY (Sn-LSTM)
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
CN108829719B (zh) * 2018-05-07 2022-03-01 中国科学院合肥物质科学研究院 一种非事实类问答答案选择方法及系统
CN108829677B (zh) * 2018-06-05 2021-05-07 大连理工大学 一种基于多模态注意力的图像标题自动生成方法
US10860858B2 (en) * 2018-06-15 2020-12-08 Adobe Inc. Utilizing a trained multi-modal combination model for content and text-based evaluation and distribution of digital video content to client devices
CN109190683A (zh) * 2018-08-14 2019-01-11 电子科技大学 一种基于注意力机制和双模态图像的分类方法
CN109271644A (zh) * 2018-08-16 2019-01-25 北京紫冬认知科技有限公司 一种翻译模型训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144248A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. SENTINEL LONG SHORT-TERM MEMORY (Sn-LSTM)
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器

Also Published As

Publication number Publication date
US20210019531A1 (en) 2021-01-21
CN110334689A (zh) 2019-10-15
US11256920B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110334689B (zh) 视频分类方法和装置
CN109344908B (zh) 用于生成模型的方法和装置
CN109104620B (zh) 一种短视频推荐方法、装置和可读介质
CN111582453B (zh) 生成神经网络模型的方法和装置
US11341186B2 (en) Cognitive video and audio search aggregation
CN110807515A (zh) 模型生成方法和装置
US20120198342A1 (en) Automatic generation of task scripts from web browsing interaction history
CN111368973B (zh) 用于训练超网络的方法和装置
CN113158909B (zh) 基于多目标跟踪的行为识别轻量化方法、系统、设备
CN111382555A (zh) 数据处理方法、介质、装置和计算设备
CN111291765A (zh) 用于确定相似图片的方法和装置
CN111046275A (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN111753746B (zh) 属性识别模型训练方法、识别方法、电子设备、存储介质
CN113657087B (zh) 信息的匹配方法及装置
CN111340220A (zh) 用于训练预测模型的方法和装置
CN113762321A (zh) 多模态分类模型生成方法和装置
CN113033707B (zh) 视频分类方法、装置、可读介质及电子设备
CN115062779A (zh) 基于动态知识图谱的事件预测方法及装置
CN112465737B (zh) 图像处理模型训练方法、图像处理方法及图像处理装置
CN111291564B (zh) 一种用于词向量获取的模型训练方法、装置和存储介质
CN111444335B (zh) 中心词的提取方法及装置
CN115495615B (zh) 视频与文本的互检方法、装置、设备、存储介质及终端
CN113255819B (zh) 用于识别信息的方法和装置
CN117011737A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN112417260B (zh) 本地化推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant