CN115238123A - 模型训练方法和装置、视频搜索方法和装置、设备及介质 - Google Patents

模型训练方法和装置、视频搜索方法和装置、设备及介质 Download PDF

Info

Publication number
CN115238123A
CN115238123A CN202210906433.8A CN202210906433A CN115238123A CN 115238123 A CN115238123 A CN 115238123A CN 202210906433 A CN202210906433 A CN 202210906433A CN 115238123 A CN115238123 A CN 115238123A
Authority
CN
China
Prior art keywords
video
data
training
video data
sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210906433.8A
Other languages
English (en)
Inventor
刘杰
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210906433.8A priority Critical patent/CN115238123A/zh
Publication of CN115238123A publication Critical patent/CN115238123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种模型训练方法和装置、视频搜索方法和装置、设备及介质，属于人工智能技术领域。该方法包括：获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。本申请实施例能够构建精度更高的数据转换模型。

Description

模型训练方法和装置、视频搜索方法和装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种模型训练方法和装置、视频搜索方法和装置、设备及介质。
背景技术
采用图像或文本模态的数据来检索视频内容，需要将视频数据转换为二进制数据或与检索数据匹配的低维数据。相关技术中，将视频数据转换为二进制数据主要采用自监督学习来构建将视频数据转换为二进制数据的数据转换模型，但是模型训练过程中存在离散优化问题，导致所构建的数据转换模型的精度下降。
发明内容
本申请实施例的主要目的在于提出一种模型训练方法和装置、视频搜索方法和装置、设备及介质，旨在提高数据转换模型构建的精度提高。
为实现上述目的，本申请实施例的第一方面提出了一种模型训练方法，所述方法包括：
获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
在一些实施例，每一所述训练视频数据包括至少两个视频帧，所述对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列，包括：
对每一个所述视频帧进行特征提取，得到视频帧特征；
将所述训练视频数据的每一所述视频帧特征进行特征序列转换，得到至少两个视频帧特征序列。
在一些实施例，所述对每一个所述视频帧进行特征提取，得到视频帧特征，包括：
通过全局分层编码器对每一所述视频帧进行编码处理，得到全局视频级别特征；
通过后向分层编码器对所述全局视频级别特征进行编码处理，得到逆向视频框架特征；
通过双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征；
通过前向分层编码器对所述框架级别特征进行编码处理，得到所述视频帧特征。
在一些实施例，所述双向分层解码器包括：单向卷积层和双向卷积层，所述通过所述双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征，包括：
通过所述单向卷积层对所述逆向视频框架特征进行卷积处理，得到卷积数据；
通过所述双向卷积层对所述卷积数据进行卷积处理，得到所述框架级别特征。
在一些实施例，所述将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列，包括：
将所述至少两个所述视频帧特征序列进行均值池化处理，得到视频级信息；
根据预设的邻域函数对所述视频级信息进行邻域计算，得到邻域结构；
根据所述邻域结构对所述至少两个所述视频帧特征序列进行索引转换，得到所述至少两个视频索引序列。
为实现上述目的，本申请实施例的第二方面提出了一种视频搜索方法，所述方法包括：
获取原始视频数据；
将所述原始视频数据输入数据转换模型；其中，所述数据转换模型由第一方面的模型训练方法得到；
通过所述数据转换模型将所述原始视频数据进行数据转换，得到视频序列数据；
获取查询信息；
根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据；
根据所述目标序列数据从至少两个所述原始视频数据中筛选出目标视频数据。
在一些实施例，所述根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据，包括：
对所述查询信息进行二进制转换，得到查询序列；
根据所述查询序列从至少两个所述视频序列数据中筛选出所述目标序列数据。
为实现上述目的，本申请实施例的第三方面提出了一种模型训练装置，所述装置包括：
数据获取模块，用于获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
提取模块，用于对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
索引转换模块，用于将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
分类模块，用于根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
训练模块，用于根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法，或者第二方面所述的方法。
为实现上述目的，本申请实施例的第五方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法，或者第二方面所述的方法。
本申请提出的模型训练方法和装置、视频搜索方法和装置、设备及介质，其通过视频标识根据视频帧特征序列得到，则根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，以训练得到的数据转换模型能够将相似的视频数据转换为相似度的哈希码，而将不同的视频数据转换为不同的哈希码，因此，构建精度更高的数据转换模型。
附图说明
图1是本申请实施例提供的模型训练方法的流程图；
图2是图1中的步骤S102的流程图；
图3是图2中的步骤S201的流程图；
图4是图3中的步骤S303的流程图；
图5是图1中的步骤S103的流程图；
图6是本申请实施例提供的视频搜索方法的流程图；
图7是图6中的步骤S605的流程图；
图8是本申请实施例提供的模型训练装置的结构示意图；
图9是本申请实施例提供的视频搜索装置的结构示意图；
图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自编码器(Auto-Encoder)：自编码器是一种无监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法)，利用输入数据X本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出XR。在时间序列异常检测场景下，异常对于正常来说是少数，所以我们认为，如果使用自编码器重构出来的输出XR跟原始输入的差异超出一定阈值(threshold)的话，原始时间序列即存在了异常。通过算法模型包含两个主要的部分：Encoder(编码器)和Decoder(解码器)。编码器的作用是把高维输入X编码成低维的隐变量h从而强迫神经网络学习最有信息量的特征；解码器的作用是把隐藏层的隐变量h还原到初始维度，最好的状态就是解码器的输出能够完美地或者近似恢复出原来的输入,即XR≈X。
跨模态化检索(cross-modal-retrieval)：跨模态检索将一种类型的数据作为查询去检索另一种相关类型的数据。主要的3种模态(modalities)，分别是自然语言(写和说等)、视觉信号(图片和视频等)以及声音信号(对声音的编码以及韵律等)。跨模态检索在方法上主要分为两大类，一类是实值表示学习(real-valued representation learning)，另一类是二值表示学习(binary representation learning)，也称为跨模态哈希方法。实值表示学习直接对从不同模态提取到的特征进行学习；而二值表示学习是对从不同模态提取到的特征先映射到汉明二值空间，然后在此空间中进行学习。
哈希码：哈希码并不是完全唯一的，它是一种算法，让同一个类的对象按照自己不同的特征尽量的有不同的哈希码，但不表示不同的对象哈希码完全不同。
邻域：邻域是指集合上的一种基础的拓扑结构。在集合论中，它是以点a为中心的任何开区间，记作：U(a)。在拓扑学和相关的数学领域中，邻域是拓扑空间中的基本概念。有邻域公理(邻域公理是现代数学拓扑结构的基础概念)、开邻域和闭邻域、去心邻域等相关研究的著作。
长短期记忆网络(Long Short-Term Memory，LSTM)：长短期记忆网络，是一种时间递归神经网络(RNN)，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络，文献或其他资料中LSTM区块可能被描述成智能网络单元，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。
均值池化(mean-pooling)：均值池化即对局部接受域中的所有值求均值。常用的池化方法有最大池化(max-pooling)和均值池化(mean-pooling)。根据相关理论，特征提取的误差主要来自两个方面：(1)邻域大小受限造成的估计值方差增大；(2)卷积层参数误差造成估计均值的偏移。
随着短视频的发展，如何高效地查找视频数据已经成为短视频搜索的技术关键，因此，跨模态化检索成为广泛研究的领域。例如，查询数据为图像模态和文本模态，通过图像模态和文本模态的数据来检索视频内容的匹配项。由于视频数据的模态和图像模态、文字模态不同，且不同模态的异构数据位于不同维度的特征空间，所以根据图像模态、文本模态的数据来检索视频数据难以查找到准确的视频数据。为了消除不同模态数据的异质性，传统的方法则是将所有的数据于一个空间学习，以将多媒体流数据转化为二进制哈希流与其他低维数据相匹配。相关技术中，通过自监督学习来训练数据的相关性并计算得出多模态化数据到二进制数据的映射，并通过预设标签集完成二进制编码在学习中的离散优化问题，但是预设标签集由自监督学习模型自主学习得到，所以在实际应用时，不同标签的多模态数据大都具有相似的二进制编码，则影响视频数据转换为二进制的视频序列的精度。
基于此，本申请实施例提供了一种模型训练方法和装置、视频搜索方法和装置、设备及介质，通过对训练视频数据进行特征提取以得到视频帧特征序列，并将视频帧特征序列进行索引转换得到视频索引序列，则根据视频索引序列对训练视频数据进行分类处理得到视频标识，则根据视频标识和训练视频数据集对预设的自监督学习模型进行模型训练以得到数据转换模型，使得模型训练更加准确，则通过数据转换模型将类似的视频数据进行转换得到相似的哈希码，而不同的视频数据具有不同的哈希码，从而提高视频数据转换的精确度，使得视频搜索更加准确。
本申请实施例提供的模型训练方法和装置、视频搜索方法和装置、设备及介质，具体通过如下实施例进行说明，首先描述本申请实施例中的模型训练方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的模型训练方法，涉及人工智能技术领域。本申请实施例提供的模型训练方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现模型训练方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的模型训练方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S105。
步骤S101，获取训练视频数据集；其中，训练视频数据集包括至少两个训练视频数据；
步骤S102，对每一训练视频数据进行特征提取，得到至少两个视频帧特征序列；
步骤S103，将至少两个视频帧特征序列进行索引转换，得到至少两个视频索引序列；
步骤S104，根据至少两个视频索引序列对至少两个训练视频数据进行分类处理，得到视频标识；
步骤S105，根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
本申请实施例所示意的步骤S101至步骤S105，通过获取至少两个训练视频数据，并对每一训练视频数据进行特征提取得到至少两个视频帧特征序列，并将至少两个视频帧特征序列进行索引转换得到至少两个视频索引序列，以根据至少两个视频索引序列对至少两个训练视频数据进行分类处理得到视频标识。因此，视频标识根据视频帧特征序列得到，则根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，以训练得到的数据转换模型能够对相似的视频数据转换为相似度的哈希码，而对于不同的视频数据转换为不同的哈希码，则根据哈希码进行视频搜索得到更加准确的视频数据。
在一些实施例的步骤S101中，对训练视频数据集进行训练前需要先获取训练视频数据，并将至少两个训练视频数据汇集成训练视频数据集。其中，通过预设的第三方互联网平台获取训练视频数据，且获取的训练视频数据的视频类型涉及各个领域，则根据训练视频数据集进行模型训练更加准确。
在一些实施例的步骤S102中，训练视频数据包括多个视频帧，因此对每一训练视频数据进行特征提取，也即对视频帧进行特征提取，则多个视频帧提取的特征以得到视频帧特征序列。
在一些实施例的步骤S103中，得到每一训练视频数据的视频帧特征序列，则对每一视频帧特征序列进行索引转换以得到视频索引序列。将视频帧特征序列进行索引转换，其中，索引转换也即将视频帧特征进行向量化，以得到特征向量，则视频索引序列中每一个索引对应于一个视频帧特征的特征向量。其中，视频索引序列中索引由至少两个特征元素和特征元素的值组成，若训练视频数据集得到特征元素具有256个，则特征向量对应的特征元素为256，且每一个特征元素具有自己的序号，且每一个特征元素具有对应的值，特征元素对应的值则表示该视频帧的特征，且通过特征向量中0、1来表示该视频帧存在哪些特征元素。因此，通过视频索引序列可以确定训练视频数据中每一视频帧对应的视频帧特征，以根据视频索引序列即可确定训练视频数据的特征。
需要说明的是，若视频索引序列为{vi,...,vk}，且vi包括为表示为第i个视频帧对应的特征向量，且特征向量vi＝{t1,...,tn}，n为特征元素的数量，若vi中t2、t7对应的值为1，其余值为0，则表示第i个视频帧的视频帧特征为t2、t7特征元素。若t2表示人物特征，t7表示年龄特征为20-30岁之间，则该视频帧对应的视频帧特征为该人物的年龄特征为20-30岁。因此，通过视频索引序列即可确定训练视频数据中每一帧视频帧的特征，使得训练视频数据的特征分析更加简易。
在一些实施例的步骤S104中，根据至少两个视频索引序列对至少两个训练视频数据进行分类处理，也即根据视频索引序列清楚每一个训练视频数据中视频帧的特征，则根据至少两个视频索引序列将至少两个训练视频数据进行分类，以将至少两个训练视频数据合理分类，并根据分类后的训练视频数据的大小构建对应的视频标识，则根据视频标识即可确定每一训练视频数据的特征，使得类似的训练视频数据的关联更加紧密。
在一些实施例的步骤S105中，自监督学习模型对训练视频数据进行自监督学习，以通过学习两个训练视频数据的相似或不相似进行编码来构建表征。其中，视频帧中相邻特征是相似的，而特征相隔较远的视频帧是不相似，因此，通过视频索引序列对训练视频数据进行分类得到视频标识，则根据视频标识和训练视频数据集对自监督学习模型进行训练，使得自监督学习模型训练得到的数据转换模型进行数据转换更加准确。因此，得到数据转换模型能够将相似的视频数据转换为类似的哈希码，而将不同的视频数据转换为不同的哈希码，则根据哈希码进行视频搜索时查找视频数据更加准确。
需要说明的是，自监督学习模型使用训练视频数据集来构造伪标签，并根据伪标签将训练视频数据转换为哈希码，但是不同伪标签的训练视频数据转换出具有相似的哈希码，因此通过哈希码搜索视频数据则会存在误差。预先对训练视频数据进行特征提取得到视频帧特征序列，并将视频帧特征序列进行索引转换得到视频索引序列，再根据视频索引序列将训练视频数据进行分类处理以得到每一训练视频数据的视频标识，则根据视频标识和训练视频数据集对自监督学习模型进行训练以构建数据转换模型，由于预先根据训练视频数据的特征对训练视频数据进行分类，以将训练视频数据集内类似的训练视频数据转换为相似的哈希码，而不同的训练视频数据仍具有不同的哈希码，则通过哈希码查找视频数据更加准确。
请参阅图2，在一些实施例中，每一所述训练视频数据包括至少两个视频帧，步骤S102可以包括但不限于包括步骤S201至步骤S202：
步骤S201，对每一个视频帧进行特征提取，得到视频帧特征；
步骤S202，将训练视频数据的每一视频帧特征进行特征序列转换，得到至少两个视频帧特征序列。
在一些实施例的步骤S201中，由于每一训练视频数据包括至少两个视频帧，则对训练视频数据进行特征提取时，先对训练视频数据进行分解得到至少两个视频帧，对每一个视频帧进行特征提取以得到视频帧特征。
在一些实施例的步骤S202中，得到每一视频帧的视频帧特征后，对训练视频数据的视频帧特征进行特征序列转换，以按照视频帧的排序将每一个视频帧特征汇集成视频帧特征序列，并通过视频帧特征序列确定每一视频帧的视频帧特征。其中，每一个视频帧进行视频特征提取的视频帧特征不同。因此，按照视频帧的时间顺序确定每一个视频帧特征在视频帧特征序列的位置，也即确定序列中的序号，并将对应的视频帧特征输入到对应序号的位置中以构建视频帧特征序列，使得视频帧特征序列构建更加简易，且通过视频帧特征序列可以知晓训练视频数据的特征变化。
请参阅图3，在一些实施例中，步骤S201可以包括但不限于包括步骤S301至步骤S304：
步骤S301，通过全局分层编码器对每一视频帧进行编码处理，得到全局视频级别特征；
步骤S302，通过后向分层编码器对全局视频级别特征进行编码处理，得到逆向视频框架特征；
步骤S303，通过双向分层解码器对逆向视频框架特征进行解码处理，得到框架级别特征；
步骤S304，通过前向分层编码器对框架级别特征进行编码处理，得到视频帧特征。
需要说明的是，通过将视频帧输入编码器和解码器进行特征提取以得到视频帧特征。为了让训练视频数据变成计算机更好处理的形式，需要对训练视频数据进行预处理，且预处理后的训练视频数据能够最大保留原始训练视频数据的信息，使最后编码后的数据能够最大还原原始的训练视频数据。其中，编码器为自编码器，且自编码器包括：全局分层编码器、后向分层编码器和前向分层编码器，解码器包括双向分层解码器。通过全局分层解码器将视频帧进行编码处理，也即将高维输入的视频帧编码成低维的全局视频级别特征，通过分后分层编码器对全局视频级别特征进行编码处理得到逆向视频框架特征，再通过双向分层解码器对逆向视频框架特征进行解码处理以重构框架级别特征，最后将框架级别特征输入前向分层编码器进行编码处理得到视频帧特征。因此，通过全局分层编码器、后向分层编码器、前向分层编码器和双向分层解码器对视频帧进行编码后解码，再对解码的框架级别特征进行编码以得到视频帧特征，使得视频帧的特征提取更加精确，以优化训练视频数据的特征提取。
在一些实施例的步骤S301中，在本实施例中，全局分层编码器包括两个全局卷积层，且全局卷积层为长短期记忆网络，通过将视频帧输入全局卷积层以进行编码处理得到全局视频级别特征，且全局视频级别特征为Vg。
在一些实施例的步骤S302中，后向分层解码器包括后向卷积层，后向卷积层为长短期记忆网络，通过将全局视频级别特征输入后向卷积层，且后向卷积层设置数量与视频帧数量一致，且每一个视频帧输入对应的后向卷积层，则一个后向卷积层输出一个逆向视频框架特征，则训练视频数据输入多个后向卷积层的输出为逆向视频框架特征序列。设逆向视频框架特征序列为(Vr1，Vr2,……,Vrm)。
在一些实施例的步骤S303中，通过将逆向视频框架特征输入双向分层解码器，且双向分层解码器根据逆向视频框架特征进行视频级别特征重构，以得到框架级别特征。其中，若输入逆向视频框架特征序列至双向分层解码器进行逐个解码处理，得到框架级别特征序列为(V1,V2，……，Vm)。
在一些实施例的步骤S304中，前向分层解码器包括前向卷积层，且前向卷积层为长短期记忆网络，前向卷积层的数量与视频帧数量一致，则通过将每一个视频帧输入对应的前向卷积层，则一个前向卷积层输出一个视频帧特征。若训练视频数据中视频帧分别输入前向卷积层，以通过多个前向卷积层分别输出视频帧特征，并将多个视频帧特征汇集得到视频帧特征序列，设视频帧特征序列为(Vf1，Vf2,……，Vfm-1，Vfm)。因此,通过全局分层编码器、后向分层编码器、双向分层编码器和前向分层编码器对视频帧进行编码、解码处理以得到视频帧特征，使得视频帧的特征提取更加准确。
请参阅图4，在一些实施例中，双向分层解码器包括：单向卷积层和双向卷积层，步骤S303可以包括但不限于包括步骤S401至步骤S402：
步骤S401，通过单向卷积层对逆向视频框架特征进行卷积处理，得到卷积数据；
步骤S402，通过双向卷积层对卷积数据进行卷积处理，得到框架级别特征。
在一些实施例的步骤S401中，单向卷积层为长短期记忆网络，通过单层卷积层对逆向视频框架特征进行卷积处理以得到卷积数据，使得逆向视频框架特征转换为卷积数据操作简易，以便于根据卷积数据转换为框架级别特征。
在一些实施例的步骤S402中，双向卷积层为双向长短时记忆神经网络，通过构造单向卷积层和双向卷积层，能够减少将卷积数据进行卷积处理得到框架级别特征的时间，使得框架级别特征重构的计算量减少。
需要说明的是，通过在长短期记忆网络上增加双向长短时记忆神经网络，不仅能够使框架级别特征重构的计算时间减少，还能够通过双向分层解码器将视频数据转换为二进制的哈希码。由于长短期记忆网络不能够生成二进制的哈希码，通过增加一个双向长短时记忆神经网络，且长短期记忆网络将视频数据的特征转换为隐藏变量后，通过双向长短时记忆神经网络根据视频标识和隐藏变量将视频数据转换为二进制的哈希码，使得视频数据转换更加简易。
请参阅图5，在一些实施例中，步骤S103还可以包括但不限于包括步骤S501至步骤S503：
步骤S501，将至少两个视频帧特征序列进行均值池化处理，得到视频级信息；
步骤S502，根据预设的邻域函数对视频级信息进行邻域计算，得到邻域结构；
步骤S503，根据邻域结构对至少两个视频帧特征序列进行索引转换，得到至少两个视频索引序列。
在一些实施例的步骤S501中，由于视频帧特征序列包括训练视频数据的视频帧，则至少两个视频帧特征序列进行均值池化处理，也即对至少两个视频帧特征序列的局部接受域中所有的值求均值以得到训练视频数据的视频级信息。
在一些实施例的步骤S502中，根据预设的邻域函数对视频既信息进行邻域计算以得到邻域结构，通过邻域结构分析每一训练视频的邻域相近还是远离，则根据邻域结构确定训练视频数据的特征是否类似。
在一些实施例的步骤S503中，根据邻域结构对至少两个视频帧特征序列进行索引转换以得到至少两个视频索引序列，则构建的视频索引序列能够区分出类似的训练视频数据和不同的训练视频数据，则根据至少两个视频索引序列对训练视频数据的分类处理得到的视频标识更加准确。由于相同视频标识的训练视频数据类似，而不同视频标识的训练视频数据不同，则根据视频标识和训练视频数据集对自监督学习模型进行训练以得到更加准确的数据转换模型，所以数据转换模型能够将类似的视频数据转换为相似的哈希码，而不同的视频数据转换为不同的哈希码，从而根据哈希码搜索视频数据也更加准确。
请参阅图6，另外，本申请实施例还公开了一种视频搜索方法，方法包括但不限于包括步骤S601至步骤S606：
步骤S601，获取原始视频数据；
步骤S602，将原始视频数据输入数据转换模型；其中，数据转换模型由上述的模型训练方法得到；
步骤S603，通过数据转换模型将原始视频数据进行数据转换，得到视频序列数据；
步骤S604，获取查询信息；
步骤S605，根据查询信息从至少两个视频序列数据中筛选出目标序列数据；
步骤S606，根据目标序列数据从至少两个原始视频数据中筛选出目标视频数据。
本申请实施例所示意的步骤S601至步骤S606，通过将原始视频数据输入数据转换模型，通过数据转换模型将原始视频数据进行数据转换得到视频序列数据，且视频序列数据为二进制的哈希码，通过将多模态的原始视频数据转换为二进制的哈希码，当需要查询原始视频数据时。通过获取查询信息，并根据查询信息从视频序列数据中筛选出目标序列数据，再根据目标序列数据从至少两个原始视频数据中筛选出目标视频数据。其中，数据转换模型由上述模型训练方法得到，因此通过数据转换模型能够将类似的原始视频数据转换为相似的哈希码，不同的原始视频数据转换为不同的哈希码，则通过哈希码查找原始视频数据，使得原始视频数据查找更加准确。
在一些实施例的步骤S601中，视频搜索方法运行于服务器，且目标视频叔根据用户端上传或者从第三方平台获取以得到。其中，获取源视频数据后，且源视频数据的数据格式包括以下任意一种：mp4、flv、avi、mkv、rm、rmvb，则将源视频数据的数据格式进行统一化处理得到原始视频数据，且原始视频数据的数据格式统一为avi格式。因此，通过统一数据格式的原始视频数据，以便于原始视频数据进行数据转换更加简易。
在一些实施例的步骤S603中，数据转换模型由上述的模型训练方法得到，因此，将原始视频数据输入数据转换模型进行数据转换得到视频序列数据，且视频序列数据为二进制的哈希码，则将相似的原始视频数据转换为类似的哈希码，而不同的原始视频数据转换为不同的哈希码，以便于根据低维度的查询信息快速查找到原始视频数据。
在一些实施例的步骤S604中，查询信息根据用户端发送的查询数据以获取，当用户端上传查询数据，且查询数据包括以下任意一种：图像数据、文本数据和语音数据。若查询数据为图像数据，则对图像数据进行OCR识别以得到图像内容，且图像内容为查询信息。若查询数据为文本数据，则对文本数据进行语义理解以得到文本内容，且文本内容为查询信息，若查询数据为语音数据，则对语音数据进行语音内容识别以得到语音内容，且语音内容为查询信息。因此，通过获取用户端所发送的查询数据，并通过查询数据获取查询信息，以便于根据查询信息从至少两个视频序列数据中筛选出目标序列数据。
在一些实施例的步骤S605中，由于查询信息为低维度信息，所有根据查询信息从至少两个视频序列数据进行筛选，以从至少两个视频序列数据中筛选出与查询信息匹配的目标序列数据。
在一些实施例的步骤S606中，由于原始视频数据与视频序列数据相对应，因此根据目标序列数据从至少两个原始视频数据中筛选出目标视频数据，以从至少两个原始视频数据中获取与目标序列数据匹配的目标视频数据。
请参阅图7，在一些实施例中，步骤S605可以包括但不限于包括步骤S701至步骤S702：
步骤S701，对查询信息进行二进制转换，得到查询序列；
步骤S702，根据查询序列从至少两个视频序列数据中筛选出目标序列数据。
在一些实施例的步骤S701中，由于目标序列数据为二进制的哈希码，将查询信息进行二进制转换得到查询序列，则查询序列和视频序列数据都为二进制的哈希码，所以根据查询序列可快速匹配视频序列数据。
在一些实施例的步骤S702中，通过查询序列从至少两个视频序列数据中筛选出目标序列数据，以根据查询序列和至少两个视频序列数据进行相似度计算以得到每个视频序列数据的相似度，并获取至少两个视频序列数据中相似度最高的视频序列数据作为目标序列数据，使得目标序列数据筛选简易，则根据目标序列数据从至少两个原始视频数据中筛选出与查询信息匹配度更高的目标视频数据。
本申请实施例通过获取训练视频数据，对训练视频数据进行特征提取得到至少两个视频帧特征序列，并将至少两个视频帧特征序列进行索引转换得到至少两个视频索引序列，并根据至少两个视频索引序列对训练视频数据集进行分类处理得到视频标识，根据视频标识和训练视频数据集对预设的自监督学习模型进行训练得到数据转换模型。接收用户端或者从第三方平台获取原始视频数据，将原始视频数据输入数据转换模型，数据转换模型对原始视频数据进行数据转换得到视频序列数据，且视频序列数据的二进制的哈希码，通过接收用户端发送的查询数据，从查询数据中获取查询信息，对查询信息进行二进制转换得到查询序列，并根据查询序列从至少两个视频序列数据中筛选出目标序列数据，然后根据目标序列数据从至少两个原始视频数据中筛选出目标视频数据。因此，通过预先构建视频标识，则根据视频标识和训练视频数据集对自监督学习模型进行训练得到数据转换模型，则数据转换模型能够将类似的原始视频数据转换为类似的视频序列数据，不同的原始视频数据转换为不同的视频序列数据，则根据查询序列从至少两个视频序列数据中查找到目标序列数据更加准确，且根据目标序列数据从至少两个原始视频数据中查找出目标视频数据与查询信息更加匹配。
请参阅图8，本申请实施例还提供一种模型训练装置，可以实现上述模型训练方法，该装置包括：
数据获取模块801，用于获取训练视频数据集；其中，训练视频数据集包括至少两个训练视频数据；
提取模块802，用于对每一训练视频数据进行特征提取，得到至少两个视频帧特征序列；
索引转换模块803，用于将至少两个视频帧特征序列进行索引转换，得到至少两个视频索引序列；
分类模块804，用于根据至少两个视频索引序列对至少两个训练视频数据进行分类处理，得到视频标识；
训练模块805，用于根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
该模型训练装置的具体实施方式与上述模型训练方法的具体实施例基本相同，在此不再赘述。
请参阅图9，本申请实施例还提供一种视频搜索装置，可以实现上述视频搜索方法，该装置包括：
视频获取模块901，用于获取原始视频数据；
输入模块902，用于将原始视频数据输入数据转换模型；其中，数据转换模型由上述的模型训练方法得到；
数据转换模块903，用于通过数据转换模型将原始视频数据进行数据转换，得到视频序列数据；
信息获取模块904，用于获取查询信息；
序列筛选模块905，用于根据查询信息从至少两个视频序列数据中筛选出目标序列数据；
视频筛选模块906，用于根据目标序列数据从至少两个原始视频数据中筛选出目标视频数据。
本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述模型训练方法，或视频搜索方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图10，图10示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器101，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器102，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器102可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器102中，并由处理器101来调用执行本申请实施例的模型训练方法，或视频搜索方法；
输入/输出接口103，用于实现信息输入及输出；
通信接口104，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线105，在设备的各个组件(例如处理器101、存储器102、输入/输出接口103和通信接口104)之间传输信息；
其中处理器101、存储器102、输入/输出接口103和通信接口104通过总线105实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述模型训练方法，或视频搜索方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的模型训练方法和装置、视频搜索方法和装置、设备及介质，其通过视频标识根据视频帧特征序列得到，则根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，以训练得到的数据转换模型能够对于相似的视频数据转换为相似度的哈希码，而对于不同的视频数据转换为不同的哈希码，则根据查询序列从至少两个视频序列数据中查找到目标序列数据更加准确，且根据目标序列数据从至少两个原始视频数据中查找出目标视频数据与查询信息更加匹配。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1-5，或图6-7中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种模型训练方法，其特征在于，所述方法包括：
获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
2.根据权利要求1所述的方法，其特征在于，每一所述训练视频数据包括至少两个视频帧，所述对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列，包括：
对每一个所述视频帧进行特征提取，得到视频帧特征；
将所述训练视频数据的每一所述视频帧特征进行特征序列转换，得到至少两个视频帧特征序列。
3.根据权利要求2所述的方法，其特征在于，所述对每一个所述视频帧进行特征提取，得到视频帧特征，包括：
通过全局分层编码器对每一所述视频帧进行编码处理，得到全局视频级别特征；
通过后向分层编码器对所述全局视频级别特征进行编码处理，得到逆向视频框架特征；
通过双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征；
通过前向分层编码器对所述框架级别特征进行编码处理，得到所述视频帧特征。
4.根据权利要求3所述的方法，其特征在于，所述双向分层解码器包括：单向卷积层和双向卷积层，所述通过所述双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征，包括：
通过所述单向卷积层对所述逆向视频框架特征进行卷积处理，得到卷积数据；
通过所述双向卷积层对所述卷积数据进行卷积处理，得到所述框架级别特征。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列，包括：
将所述至少两个所述视频帧特征序列进行均值池化处理，得到视频级信息；
根据预设的邻域函数对所述视频级信息进行邻域计算，得到邻域结构；
根据所述邻域结构对所述至少两个所述视频帧特征序列进行索引转换，得到所述至少两个视频索引序列。
6.一种视频搜索方法，其特征在于，所述方法包括：
获取原始视频数据；
将所述原始视频数据输入数据转换模型；其中，所述数据转换模型由权利要求1至5任一项所述的模型训练方法得到；
通过所述数据转换模型将所述原始视频数据进行数据转换，得到视频序列数据；
获取查询信息；
根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据；
根据所述目标序列数据从至少两个所述原始视频数据中筛选出目标视频数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据，包括：
对所述查询信息进行二进制转换，得到查询序列；
根据所述查询序列从至少两个所述视频序列数据中筛选出所述目标序列数据。
8.一种模型训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
提取模块，用于对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
索引转换模块，用于将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
分类模块，用于根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
训练模块，用于根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至5任一项所述的方法的步骤，或者如权利要求6至7任一项所述的方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至5任一项所述的方法的步骤，或者如权利要求6至7任一项所述的方法的步骤。
CN202210906433.8A 2022-07-29 2022-07-29 模型训练方法和装置、视频搜索方法和装置、设备及介质 Pending CN115238123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210906433.8A CN115238123A (zh) 2022-07-29 2022-07-29 模型训练方法和装置、视频搜索方法和装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210906433.8A CN115238123A (zh) 2022-07-29 2022-07-29 模型训练方法和装置、视频搜索方法和装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115238123A true CN115238123A (zh) 2022-10-25

Family

ID=83676987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210906433.8A Pending CN115238123A (zh) 2022-07-29 2022-07-29 模型训练方法和装置、视频搜索方法和装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115238123A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229332A (zh) * 2023-05-06 2023-06-06 浪潮电子信息产业股份有限公司 一种视频预训练模型的训练方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229332A (zh) * 2023-05-06 2023-06-06 浪潮电子信息产业股份有限公司 一种视频预训练模型的训练方法、装置、设备及存储介质
CN116229332B (zh) * 2023-05-06 2023-08-04 浪潮电子信息产业股份有限公司 一种视频预训练模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114239560B (zh) 三维图像分类方法、装置、设备和计算机可读存储介质
WO2014176580A2 (en) Content based search engine for processing unstructurd digital
CN114638960A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN117079299B (zh) 数据处理方法、装置、电子设备及存储介质
CN114722826B (zh) 模型的训练方法和装置、电子设备、存储介质
CN112231580B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN114998583B (zh) 图像处理方法、图像处理装置、设备及存储介质
US20230055263A1 (en) Stratification in non-classified heterogeneous object labels
CN114637847A (zh) 模型的训练方法、文本分类方法和装置、设备、介质
CN115238123A (zh) 模型训练方法和装置、视频搜索方法和装置、设备及介质
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
CN114519397A (zh) 基于对比学习的实体链接模型的训练方法、装置、设备
CN103279581A (zh) 一种利用紧凑视频主题描述子进行视频检索的方法
CN113392929A (zh) 一种基于词嵌入与自编码器融合的生物序列特征提取方法
CN117594167A (zh) 电池材料设计方法和装置、计算机设备及存储介质
CN116741396A (zh) 文章归类方法和装置、电子设备和存储介质
CN116977714A (zh) 图像分类方法、装置、设备、存储介质和程序产品
CN115828153A (zh) 基于人工智能的任务预测方法、装置、设备和介质
CN115619903A (zh) 文本图像合成模型的训练、合成方法、装置、设备及介质
CN114897053A (zh) 一种子空间聚类方法、装置、设备及存储介质
CN118154381B (zh) 基于aigc的图表自动生成方法、装置和电子设备
CN118133992B (zh) 模型训练方法、对象识别方法、电子设备及可读存储介质
CN116702011A (zh) 基于表格数据的分类预测方法、装置、设备和介质
CN115994541B (zh) 界面语义数据生成方法、装置、计算机设备和存储介质
CN113872852B (zh) 外发邮件的监控方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination