CN111460876B - 用于识别视频的方法和装置 - Google Patents

用于识别视频的方法和装置 Download PDF

Info

Publication number
CN111460876B
CN111460876B CN201910485621.6A CN201910485621A CN111460876B CN 111460876 B CN111460876 B CN 111460876B CN 201910485621 A CN201910485621 A CN 201910485621A CN 111460876 B CN111460876 B CN 111460876B
Authority
CN
China
Prior art keywords
lgd
video
local
global
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910485621.6A
Other languages
English (en)
Other versions
CN111460876A (zh
Inventor
姚霆
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910485621.6A priority Critical patent/CN111460876B/zh
Priority to US17/611,673 priority patent/US11967134B2/en
Priority to JP2021568598A priority patent/JP7355851B2/ja
Priority to PCT/CN2020/080264 priority patent/WO2020244279A1/zh
Priority to EP20819453.0A priority patent/EP3958168A4/en
Publication of CN111460876A publication Critical patent/CN111460876A/zh
Application granted granted Critical
Publication of CN111460876B publication Critical patent/CN111460876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于识别视频的方法和装置。该方法的一具体实施方式包括：获取待识别视频；将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间‑时间特征。该实施方式通过局部和全局特征传播学习视频中的空间‑时间特征，从而提高了对视频的识别准确度。

Description

用于识别视频的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于识别视频的方法和装置。
背景技术
今天的数字内容本身就是多媒体。特别是，随着富传感器移动设备的激增，图像和视频成为日常通信的媒体。因此，对多媒体内容的理解变得非常重要，这加速了视觉领域中的各种技术的发展。其中，这些技术成功的根本突破是特征学习。这可以通过卷积神经网络(Convolutional Neural Networks，CNN)的成功来证明，其展示了视觉特征中的高学习能力和概括性。
从图像到视频域的自然扩展是通过直接在视频帧上使用二维卷积神经网络(2DCNN)或者在视频片段上使用三维卷积神经网络(3D CNN)。然而，由于每个卷积操作仅处理相邻像素的局部窗口，无法充分捕获感受野的全局视图，导致忽视了远程像素的相关性。由于视频信息的复杂性以及视频内容在时间上长短不一，这种缺陷在视频识别领域暴露的更加明显。
发明内容
本申请实施例提出了用于识别视频的方法和装置。
第一方面，本申请实施例提供了一种用于识别视频的方法，包括：获取待识别视频；将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间-时间特征。
在一些实施例中，LGD模型包括多个级联的LGD模块、局部和全局结合分类器和全连接层。
在一些实施例中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。
在一些实施例中，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在局部到全局的传播方向上，基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量。
在一些实施例中，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：将上一LGD模块的全局路径的残差值附加到上一LGD模块的局部特征图上，生成当前LGD模块的局部特征图；以及基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量，包括：线性嵌入上一LGD模块的全局特征向量和当前LGD模块的局部特征图的全局平均池化，生成当前LGD模块的全局特征向量。
在一些实施例中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。
在一些实施例中，将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，包括：基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征；将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征；将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在一些实施例中，每个LGD模块是LGD-2D模块或LGD-3D模块。
在一些实施例中，基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征，包括：将待识别视频分割成多个待识别视频片段；从多个待识别视频片段中选取多帧待识别视频帧；将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在一些实施例中，多个待识别视频片段中的每个待识别视频片段选取至少一帧待识别视频帧。
在一些实施例中，基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征，包括：将待识别视频分割成多个待识别视频片段；将多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习多个待识别视频片段的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在一些实施例中，多个级联的LGD-3D模块将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。
在一些实施例中，局部和全局结合分类器是基于核的分类器。
第二方面，本申请实施例提供了一种用于识别视频的装置，包括：获取单元，被配置成获取待识别视频；识别单元，被配置成将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间-时间特征。
在一些实施例中，LGD模型包括多个级联的LGD模块、局部和全局结合分类器和全连接层。
在一些实施例中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。
在一些实施例中，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在局部到全局的传播方向上，基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量。
在一些实施例中，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：将上一LGD模块的全局路径的残差值附加到上一LGD模块的局部特征图上，生成当前LGD模块的局部特征图；以及基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量，包括：线性嵌入上一LGD模块的全局特征向量和当前LGD模块的局部特征图的全局平均池化，生成当前LGD模块的全局特征向量。
在一些实施例中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。
在一些实施例中，识别单元，包括：学习子单元，被配置成基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征；合成子单元，被配置成将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征；识别子单元，被配置成将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在一些实施例中，每个LGD模块是LGD-2D模块或LGD-3D模块。
在一些实施例中，学习子单元进一步被配置成：将待识别视频分割成多个待识别视频片段；从多个待识别视频片段中选取多帧待识别视频帧；将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在一些实施例中，多个待识别视频片段中的每个待识别视频片段选取至少一帧待识别视频帧。
在一些实施例中，学习子单元进一步被配置成：将待识别视频分割成多个待识别视频片段；将多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习多个待识别视频片段的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在一些实施例中，多个级联的LGD-3D模块将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。
在一些实施例中，局部和全局结合分类器是基于核的分类器。
第三方面，本申请实施例提供了一种服务器，该服务器包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于识别视频的方法和装置，首先获取待识别视频；然后将待识别视频输入至预先训练的LGD模型，以得到待识别视频的类别。通过局部和全局特征传播学习视频中的空间-时间特征，从而提高了对视频的识别准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的用于识别视频的方法的一个实施例的流程图；
图3是根据本申请的用于识别视频的方法的又一个实施例的流程图；
图4是LGD模块的结构示意图；
图5是LGD模块的学习示意图；
图6是根据本申请的用于识别视频的方法的另一个实施例的流程图；
图7是LGD-2D模块的结构示意图；
图8是根据本申请的用于识别视频的方法的再一个实施例的流程图；
图9是LGD-3D模块的结构示意图；
图10是根据本申请的用于识别视频的装置的一个实施例的结构示意图；
图11是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于识别视频的方法或用于识别视频的装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括视频采集设备101、网络102和服务器103。网络102用以在视频采集设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类别，例如有线、无线通信链路或者光纤电缆等等。
视频采集设备101可以通过网络102向服务器103发送其采集的动作视频。视频采集设备101可以是硬件，也可以是软件。当视频采集设备101为硬件时，可以是支持视频采集功能的各种电子设备。包括但不限于摄像头、摄像机、相机和智能手机等等。当视频采集设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器。例如视频识别服务器。视频识别服务器可以对获取到的待识别视频等数据进行分析等处理，生成处理结果(例如待识别视频的类别)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于识别视频的方法一般由服务器103执行，相应地，用于识别视频的装置一般设置于服务器103中。
应该理解，图1中的视频采集设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的视频采集设备、网络和服务器。
继续参考图2，其示出了根据本申请的用于识别视频的方法的一个实施例的流程200。该用于识别视频的方法，包括以下步骤：
步骤201，获取待识别视频。
在本实施例中，用于识别视频的方法的执行主体(例如图1所示的服务器103)可以从视频采集设备(例如图1所示的视频采集设备101)获取其采集的视频，作为待识别视频。其中，待识别视频可以是包含任意内容的视频，其内容可以包括但不限于动作、活动、事件等。
步骤202，将待识别视频输入至预先训练的LGD模型，得到待识别视频的类别。
在本实施例中，上述执行主体可以将待识别视频输入至预先训练的LGD(Localand Global Diffusion，局部和全局特征传播)模型，以得到待识别视频的类别。
在本实施例中，LGD模型可以通过局部和全局特征传播学习视频中的空间-时间特征。具体地，LGD模型可以是一个新的三维神经网络结构，用于同步地学习待识别视频中的局部特征和全局特征。通常，这种结构由基本的LGD模块构成。其中，每个LGD模块可以通过局部特征和全局特征相互传播来同时更新局部特征和全局特征。这种传播操作有效地结合了局部和全局两方面的信息，从而获得了更加强大的视频特征表达。
本申请实施例提供的用于识别视频的方法，首先获取待识别视频；然后将待识别视频输入至预先训练的LGD模型，以得到待识别视频的类别。通过局部和全局特征传播学习视频中的空间-时间特征，从而提高了对视频的识别准确度。
进一步参考图3，其示出了根据本申请的用于识别视频的方法的又一个实施例的流程300。
在本实施例中，LGD模型可以包括多个级联的LGD模块、局部和全局结合分类器和全连接层。
在本实施例中，用于识别视频的方法可以包括以下步骤：
步骤301，获取待识别视频。
在本实施例中，步骤301的具体操作已在图2所示的实施例中步骤201中进行了详细的介绍，在此不再赘述。
步骤302，基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征。
在本实施例中，用于识别视频的方法的执行主体(例如图1所示的服务器103)可以利用多个级联的LGD模块对待识别视频进行处理，并行学习待识别视频的局部特征和全局特征。其中，LGD模块可以包括两种不同结构，称为LGD-2D和LGD-3D，具有不同的局部变换函数和训练策略。具体将在图6和图8所示的实施例中进行介绍。
在本实施例的一些可选的实现方式中，每个LGD模块可以包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。为了便于理解，图4示出了LGD模块的结构示意图。其中，LGD模块可以是具有局部路径和全局路径相互影响的单元。这样，包括多个级联的LGD模块的LGD模型就是一个双路径网络，旨在模拟局部和全局视频信息。两条路径之间的传播使得能够有效地通过学习的视频特征来捕获远程像素的相关性。
在本实施例的一些可选的实现方式中，每个LGD模块的传播方向可以包括全局到局部的传播方向和局部到全局的传播方向。其中，在全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图。例如，将上一LGD模块的全局路径的残差值附加到上一LGD模块的局部特征图上，生成当前LGD模块的局部特征图。其中，在局部到全局的传播方向上，基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量。例如，线性嵌入上一LGD模块的全局特征向量和当前LGD模块的局部特征图的全局平均池化，生成当前LGD模块的全局特征向量。
例如，LGD模块可以通过如下公式模拟两个路径之间的交互：
Figure BDA0002085288490000091
其中，l为正整数，表示多个级联的LGD模块中的第l个LGD模块。{xl-1,gl-1}表示第l-1个LGD模块的输出对，其又被作为第l个LGD模块的输入对。{xl,gl}表示第l个LGD模块的输出对。
Figure BDA0002085288490000092
表示第l个LGD模块输出的局部特征图。
Figure BDA0002085288490000093
表示第l个LGD模块输出的全局特征向量。C、T、H和W分别为4D数据的通道数、时间长度、高度和宽度。
Figure BDA0002085288490000094
为全体C×T×H×W维向量构成的向量组。
Figure BDA0002085288490000095
为全体C维向量构成的向量组。
Figure BDA0002085288490000096
表示LGD模块内部的详细操作。
为了便于理解，图5示出了LGD模块的学习示意图。其中，每个
Figure BDA0002085288490000097
块内部的详细操作可以分解为如下两个传播方向：
其一，全局到局部的传播方向。该方向是学习从局部特征图xl-1到具有全局特征向量gl-1的优先级的更新的局部特征图xl的变换。目标是将全局优先级定制为全局残差值。全局残差值可以通过如下公式传播到每个位置：
Figure BDA0002085288490000098
其中，
Figure BDA0002085288490000099
是投影矩阵。
Figure BDA00020852884900000910
为全体C×C维向量构成的向量组。
Figure BDA00020852884900000911
是上采样操作，将残差向量复制到每个位置。
Figure BDA00020852884900000912
是局部变换函数(即3D卷积)。函数
Figure BDA00020852884900000913
的选择取决于网络架构。ReLU是线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。
其二，局部到全局的传播方向。该方向是用局部特征图xl更新全局特征变量gl。这里，通过如下公式线性嵌入全局特征向量gl-1和局部特征图xl的全局平均池化(GlobalAverage Pooling，GAP)：
Figure BDA00020852884900000914
其中，
Figure BDA00020852884900000915
和
Figure BDA00020852884900000916
是结合局部特征和全局特征的投影矩阵。
Figure BDA00020852884900000917
是局部特征图xl的全局平均池化。
在本实施例的一些可选的实现方式中，每个LGD模块可以通过至少三个投影矩阵(例如Wx,g、Wg,x和Wg,g)生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。例如，每个投影矩阵的低秩逼近为：W＝W1W2。其中，
Figure BDA0002085288490000101
Figure BDA0002085288490000102
Figure BDA0002085288490000103
为全体
Figure BDA0002085288490000104
维向量构成的向量组，
Figure BDA0002085288490000105
为全体
Figure BDA0002085288490000106
维向量构成的向量组。当
Figure BDA0002085288490000107
时，参数以及计算成本可以大大降低。通过交叉验证，当
Figure BDA0002085288490000108
时，不会对性能产生负面影响。并且，通过这种近似，每个LGD模块的附加参数的数量从3C2减少为
Figure BDA0002085288490000109
步骤303，将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征。
在本实施例中，上述执行主体可以利用局部和全局结合分类器来综合待识别视频的局部特征和全局特征，生成待识别视频的合并特征。也就是说，局部和全局结合分类器能够将局部路径和全局路径的最终特征结合在一起。
在本实施例的一些可选的实现方式中，局部和全局结合分类器可以是基于核的分类器。
例如，考虑两个视频之间的相似度度量的核表达。形式上，将{xL,gL}和{x'L,g'L}表示为两个视频的最后输出对，在局部和全局特征上选择双线性核，可以在神经网络中进行端到端训练。其中，核函数为：
Figure BDA00020852884900001010
其中，N＝L×H×W，是空间-时间位置的数量。＜·,·>2是双线性核。
Figure BDA00020852884900001011
表示xL中第i个位置的特征向量。通过张量素描投影
Figure BDA00020852884900001012
逼近双线性核，可以有效地减少特征空间的维数。通过分解核函数，特征图可以表示为：
Figure BDA00020852884900001013
其中，[·,·]表示两个向量的连接。
Figure BDA00020852884900001014
将{xL,gL}结合成高维向量。整个过程可以在神经网络中进行端到端的训练。
步骤304，将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在本实施例中，上述执行主体可以将待识别视频的合并特征输入至全连接层中进行类标签预测，以得到待识别视频的类别。
从图3中可以看出，与图2对应的实施例相比，本实施例中的用于识别视频的方法的流程300突出了识别视频的步骤。由此，本实施例描述的方案中的LGD模型可以包括多个级联的LGD模块、局部和全局结合分类器和全连接层。利用多个级联的LGD模块并行学习待识别视频的局部特征和全局特征，利用局部和全局结合分类器合成待识别视频的合并特征，并利用全连接层预测类标签。结合局部特征和全局特征，进一步提高了对视频的识别准确度。
进一步参考图6，其示出了根据本申请的用于识别视频的方法的另一个实施例的流程600。
在本实施例中，LGD模型可以包括多个级联的LGD模块、局部和全局结合分类器和全连接层。其中，每个LGD模块是LGD-2D模块。为了便于理解，图7示出了多个级联的LGD-2D模块的结构示意图。
在本实施例中，用于识别视频的方法，包括以下步骤：
步骤601，获取待识别视频。
在本实施例中，步骤601的具体操作已在图3所示的实施例中步骤301中进行了详细的介绍，在此不再赘述。
步骤602，将待识别视频分割成多个待识别视频片段。
在本实施例中，用于识别视频的方法的执行主体(例如图1所示的服务器103)可以将待识别视频分割成多个待识别视频片段。
步骤603，从多个待识别视频片段中选取多帧待识别视频帧。
在本实施例中，上述执行主体可以从多个待识别视频片段中选取多帧待识别视频帧。其中，多帧待识别视频帧可以是多个非连续视频帧。通常，每个待识别视频片段选取至少一帧待识别视频帧。例如，受时间片段网络(Temporal Segment Network，TSN)的启发，每个待识别视频片段选取一帧待识别视频帧。
步骤604，将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在本实施例中，上述执行主体可以将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
这里，学习视频特征的直接方式可以是直接采用2D卷积作为局部变换函数
Figure BDA0002085288490000121
因此，在LGD-2D模块的局部路径中，共享的2D CNN可以作为骨干网络独立执行。LGD-2D模块的输入是多个非连续视频帧，并且全局路径学习这些非连续视频帧的全局特征。需要说明的是，初始局部特征图x1是通过在输入帧上应用单个局部变换函数
Figure BDA0002085288490000122
进行运算来实现的。并且，初始全局特征向量
Figure BDA0002085288490000123
是x1的的全局平均值。
步骤605，将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征。
步骤606，将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在本实施例中，步骤605-606的具体操作已在图3所示的实施例中步骤303-304中进行了详细的介绍，在此不再赘述。
从图6中可以看出，与图3对应的实施例相比，本实施例中的用于识别视频的方法的流程600突出了识别视频的步骤。由此，本实施例描述的方案利用LGD-2D模块并行学习非连续视频帧的局部特征和全局特征，来得到视频的局部特征和全局特征。
进一步参考图8，其示出了根据本申请的用于识别视频的方法的再一个实施例的流程800。
在本实施例中，LGD模型可以包括多个级联的LGD模块、局部和全局结合分类器和全连接层。其中，每个LGD模块是LGD-3D模块。为了便于理解，图9示出了多个级联的LGD-3D模块的结构示意图。
在本实施例中，用于识别视频的方法可以包括以下步骤：
步骤801，获取待识别视频。
在本实施例中，步骤801的具体操作已在图3所示的实施例中步骤301中进行了详细的介绍，在此不再赘述。
步骤802，将待识别视频分割成多个待识别视频片段。
在本实施例中，用于识别视频的方法的执行主体(例如图1所示的服务器103)可以将待识别视频分割成多个待识别视频片段。
步骤803，将多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习多个待识别视频片段的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在本实施例中，上述执行主体可以将多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习多个待识别视频片段的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
这里，视频特征学习的另一个主要分支是3D CNN。遵循3D CNN的行规设置，将多个待识别视频片段输入至LGD-3D模块，并利用3D卷积作为局部变换函数
Figure BDA0002085288490000131
然而，3D CNN的训练计算量更大，模型也较2D CNN更大。因此，选择伪三维卷积，将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。
这里，以基于ResNet-50主干的LGD-3D为例，LGD-3D首先用一个1×3×3空间卷积和3×1×1时间卷积替换原始ResNet-50中的每个3×3卷积核，然后基于每个残差单元构建LGD模块。空间卷积的所有权重都可以从预训练的ResNet-50模型中初始化输入视频片段的尺寸设置为16×112×112，由16个连续帧组成，分辨率为112×112。通过2个最大池化层和2个时间步幅，视频片段的长度将减少两倍，因此通过小的输入分辨率和时间合并可以有效地减少计算成本和训练时间。通过基于核的分类器将具有维度4×7×7的最终局部特征和全局特征结合。通过重复更多LGD模块，可以轻松地扩展到ResNet-101或更深的网络。
这里，考虑到通过基于核的分类器从头开始训练整个网络的困难，提出了一个训练LGD模型的两阶段策略，具体如下：
首先，第一阶段：在训练开始时，在没有组合分类器的情况下优化基本网络，并调整局部特征和全局特征。其中，优化函数可以为：
Figure BDA0002085288490000132
其中，{xL,gL}表示输入视频的最后一个输出对。y表示输入视频的类别。
Figure BDA0002085288490000133
表示具有投影矩阵W的softmax交叉熵损失。总损失包括全局特征和局部平均横后的局部特征的分类误差。
然后，第二阶段：在基本网络训练之后，将整体网络的损失调整为：
Figure BDA0002085288490000141
其中，φ(·)是特征映射。
步骤804，将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征。
步骤805，将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在本实施例中，步骤804-805的具体操作已在图3所示的实施例中步骤303-304中进行了详细的介绍，在此不再赘述。
从图8中可以看出，与图3对应的实施例相比，本实施例中的用于识别视频的方法的流程800突出了识别视频的步骤。由此，本实施例描述的方案利用LGD-3D模块并行学习视频片段的局部特征和全局特征，来得到视频的局部特征和全局特征。
进一步参考图10，作为对上述各图所示方法的实现，本申请提供了一种用于识别视频的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，本实施例的用于识别视频的装置1000可以包括：获取单元1001和识别单元1002。其中，获取单元1001，被配置成获取待识别视频；识别单元1002，被配置成将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间-时间特征。
在本实施例中，用于识别视频的装置1000中：获取单元1001和识别单元1002的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201和步骤202的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，LGD模型包括多个级联的LGD模块、局部和全局结合分类器和全连接层。
在本实施例的一些可选的实现方式中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。
在本实施例的一些可选的实现方式中，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在局部到全局的传播方向上，基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量。
在本实施例的一些可选的实现方式中，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：将上一LGD模块的全局路径的残差值附加到上一LGD模块的局部特征图上，生成当前LGD模块的局部特征图；以及基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量，包括：线性嵌入上一LGD模块的全局特征向量和当前LGD模块的局部特征图的全局平均池化，生成当前LGD模块的全局特征向量。
在本实施例的一些可选的实现方式中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。
在本实施例的一些可选的实现方式中，识别单元1002，包括：学习子单元(图中未示出)，被配置成基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征；合成子单元(图中未示出)，被配置成将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征；识别子单元(图中未示出)，被配置成将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。
在本实施例的一些可选的实现方式中，每个LGD模块是LGD-2D模块或LGD-3D模块。
在本实施例的一些可选的实现方式中，学习子单元进一步被配置成：将待识别视频分割成多个待识别视频片段；从多个待识别视频片段中选取多帧待识别视频帧；将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在本实施例的一些可选的实现方式中，多个待识别视频片段中的每个待识别视频片段选取至少一帧待识别视频帧。
在本实施例的一些可选的实现方式中，学习子单元进一步被配置成：将待识别视频分割成多个待识别视频片段；将多个待识别视频片段输入至多个级联的LGD-2D模块，并行学习多个待识别视频片段的局部特征和全局特征，作为待识别视频的局部特征和全局特征。
在本实施例的一些可选的实现方式中，多个级联的LGD-3D模块将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。
在本实施例的一些可选的实现方式中，局部和全局结合分类器是基于核的分类器。
下面参考图11，其示出了适于用来实现本申请实施例的服务器(例如图1所示的服务器103)的计算机系统1100的结构示意图。图11示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元和识别单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待识别视频的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：获取待识别视频；将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间-时间特征。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种用于识别视频的方法，包括：
获取待识别视频；
将所述待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到所述待识别视频的类别，其中，所述LGD模型通过局部和全局特征传播学习所述待识别视频中的空间-时间特征，所述LGD模型包括多个级联的LGD模块，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在所述全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在所述局部到全局的传播方向上，基于所述当前LGD模块的局部特征图和所述上一LGD模块的全局特征向量学习所述当前LGD模块的全局特征向量。
2.根据权利要求1所述的方法，其中，所述LGD模型还包括局部和全局结合分类器和全连接层。
3.根据权利要求2所述的方法，其中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。
4.根据权利要求1所述的方法，其中，所述基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：
将所述上一LGD模块的全局路径的残差值附加到所述上一LGD模块的局部特征图上，生成所述当前LGD模块的局部特征图；以及
所述基于所述当前LGD模块的局部特征图和所述上一LGD模块的全局特征向量学习所述当前LGD模块的全局特征向量，包括：
线性嵌入所述上一LGD模块的全局特征向量和所述当前LGD模块的局部特征图的全局平均池化，生成所述当前LGD模块的全局特征向量。
5.根据权利要求4所述的方法，其中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。
6.根据权利要求2或3所述的方法，其中，所述将所述待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到所述待识别视频的类别，包括：
基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征；
将所述待识别视频的局部特征和全局特征输入至所述局部和全局结合分类器，合成所述待识别视频的合并特征；
将所述待识别视频的合并特征输入至所述全连接层，得到所述待识别视频的类别。
7.根据权利要求6所述的方法，其中，每个LGD模块是LGD-2D模块或LGD-3D模块。
8.根据权利要求7所述的方法，其中，所述基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征，包括：
将所述待识别视频分割成多个待识别视频片段；
从所述多个待识别视频片段中选取多帧待识别视频帧；
将所述多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习所述多帧待识别视频帧的局部特征和全局特征，作为所述待识别视频的局部特征和全局特征。
9.根据权利要求8所述的方法，其中，所述多个待识别视频片段中的每个待识别视频片段选取至少一帧待识别视频帧。
10.根据权利要求7所述的方法，其中，所述基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征，包括：
将所述待识别视频分割成多个待识别视频片段；
将所述多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习所述多个待识别视频片段的局部特征和全局特征，作为所述待识别视频的局部特征和全局特征。
11.根据权利要求10所述的方法，其中，所述多个级联的LGD-3D模块将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。
12.根据权利要求2-5之一所述的方法，其中，所述局部和全局结合分类器是基于核的分类器。
13.一种用于识别视频的装置，包括：
获取单元，被配置成获取待识别视频；
识别单元，被配置成将所述待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到所述待识别视频的类别，其中，所述LGD模型通过局部和全局特征传播学习所述待识别视频中的空间-时间特征，所述LGD模型包括多个级联的LGD模块，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在所述全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在所述局部到全局的传播方向上，基于所述当前LGD模块的局部特征图和所述上一LGD模块的全局特征向量学习所述当前LGD模块的全局特征向量。
14.一种服务器，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-12中任一所述的方法。
CN201910485621.6A 2019-06-05 2019-06-05 用于识别视频的方法和装置 Active CN111460876B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910485621.6A CN111460876B (zh) 2019-06-05 2019-06-05 用于识别视频的方法和装置
US17/611,673 US11967134B2 (en) 2019-06-05 2020-03-19 Method and device for identifying video
JP2021568598A JP7355851B2 (ja) 2019-06-05 2020-03-19 ビデオを識別するための方法及び装置
PCT/CN2020/080264 WO2020244279A1 (zh) 2019-06-05 2020-03-19 用于识别视频的方法和装置
EP20819453.0A EP3958168A4 (en) 2019-06-05 2020-03-19 METHOD AND DEVICE FOR IDENTIFICATION OF VIDEO

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485621.6A CN111460876B (zh) 2019-06-05 2019-06-05 用于识别视频的方法和装置

Publications (2)

Publication Number Publication Date
CN111460876A CN111460876A (zh) 2020-07-28
CN111460876B true CN111460876B (zh) 2021-05-25

Family

ID=71683147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485621.6A Active CN111460876B (zh) 2019-06-05 2019-06-05 用于识别视频的方法和装置

Country Status (5)

Country Link
US (1) US11967134B2 (zh)
EP (1) EP3958168A4 (zh)
JP (1) JP7355851B2 (zh)
CN (1) CN111460876B (zh)
WO (1) WO2020244279A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307885A (zh) * 2020-08-21 2021-02-02 北京沃东天骏信息技术有限公司 模型构建及训练方法和装置、时序动作定位方法和装置
CN112257728B (zh) * 2020-11-12 2021-08-17 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
US11989939B2 (en) * 2021-03-17 2024-05-21 Samsung Electronics Co., Ltd. System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training
US11748987B2 (en) * 2021-04-19 2023-09-05 Larsen & Toubro Infotech Ltd Method and system for performing content-aware deduplication of video files
KR102513285B1 (ko) * 2022-05-25 2023-03-23 오드컨셉 주식회사 멀티 집중 모듈을 이용한 표현 학습 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法
CN108416288A (zh) * 2018-03-04 2018-08-17 南京理工大学 基于全局与局部网络融合的第一视角交互动作识别方法
CN108960140A (zh) * 2018-07-04 2018-12-07 国家新闻出版广电总局广播科学研究院 基于多区域特征提取和融合的行人再识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008673A1 (en) * 2010-07-12 2012-01-12 VQLink Incorporated System, Method, and Apparatus for Detecting and Classifying Artifacts in Digital Images and Video
US9563950B2 (en) * 2013-03-20 2017-02-07 Cornell University Methods and tools for analyzing brain images
CN105740773B (zh) * 2016-01-25 2019-02-01 重庆理工大学 基于深度学习和多尺度信息的行为识别方法
US11423651B2 (en) * 2016-02-09 2022-08-23 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification
CN106056082B (zh) 2016-05-31 2019-03-08 杭州电子科技大学 一种基于稀疏低秩编码的视频动作识别方法
CN106022310B (zh) * 2016-06-14 2021-08-17 湖南大学 基于htg-hog和stg特征的人体行为识别方法
CN106650674B (zh) 2016-12-27 2019-09-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于混合池化策略的深度卷积特征的动作识别方法
CN109472248B (zh) * 2018-11-22 2022-03-25 广东工业大学 一种行人重识别方法、系统及电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108416288A (zh) * 2018-03-04 2018-08-17 南京理工大学 基于全局与局部网络融合的第一视角交互动作识别方法
CN108960140A (zh) * 2018-07-04 2018-12-07 国家新闻出版广电总局广播科学研究院 基于多区域特征提取和融合的行人再识别方法

Also Published As

Publication number Publication date
JP2022532669A (ja) 2022-07-15
JP7355851B2 (ja) 2023-10-03
CN111460876A (zh) 2020-07-28
US11967134B2 (en) 2024-04-23
EP3958168A4 (en) 2023-01-04
EP3958168A1 (en) 2022-02-23
WO2020244279A1 (zh) 2020-12-10
US20220215649A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN111460876B (zh) 用于识别视频的方法和装置
US11636283B2 (en) Committed information rate variational autoencoders
CN111402143B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN111832570A (zh) 一种图像语义分割模型训练方法及系统
CN114021696A (zh) 用于高保真图像变换的条件轴向变换层
CN113177450A (zh) 行为识别方法、装置、电子设备和存储介质
CN115082300B (zh) 图像生成模型的训练方法、图像生成方法及装置
CN114519667A (zh) 一种图像超分辨率重建方法及系统
CN116738911A (zh) 布线拥塞预测方法、装置及计算机设备
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN114444653A (zh) 一种数据增广对深度学习模型性能影响评估方法及系统
CN113920583A (zh) 细粒度行为识别模型构建方法及系统
CN111898338A (zh) 文本生成方法、装置和电子设备
US20230254230A1 (en) Processing a time-varying signal
KR20230038164A (ko) 신경망 기반의 특징점 학습 장치 및 방법
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN114419517A (zh) 视频帧处理方法、装置、计算机设备及存储介质
CN114399708A (zh) 一种视频动作迁移深度学习系统和方法
CN113706385A (zh) 一种视频超分辨率方法、装置、电子设备及存储介质
CN116310660B (zh) 一种增强样本的生成方法及装置
CN115861901B (zh) 视频分类方法、装置、设备及存储介质
CN117787380A (zh) 模型获取方法、装置、介质及设备
CN116597173A (zh) 图像处理方法及装置、存储介质及电子设备
CN116309151A (zh) 图片去压缩失真网络的参数生成方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant