CN113590881A - 视频片段检索方法、视频片段检索模型的训练方法及装置 - Google Patents

视频片段检索方法、视频片段检索模型的训练方法及装置 Download PDF

Info

Publication number
CN113590881A
CN113590881A CN202110910711.2A CN202110910711A CN113590881A CN 113590881 A CN113590881 A CN 113590881A CN 202110910711 A CN202110910711 A CN 202110910711A CN 113590881 A CN113590881 A CN 113590881A
Authority
CN
China
Prior art keywords
video
sample
candidate
text
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110910711.2A
Other languages
English (en)
Other versions
CN113590881B (zh
Inventor
聂礼强
刘萌
王蕴潇
程志勇
王英龙
雷小强
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Shandong University
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Beijing Dajia Internet Information Technology Co Ltd filed Critical Shandong University
Priority to CN202110910711.2A priority Critical patent/CN113590881B/zh
Publication of CN113590881A publication Critical patent/CN113590881A/zh
Application granted granted Critical
Publication of CN113590881B publication Critical patent/CN113590881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开关于一种视频片段检索方法、视频片段检索模型的训练方法、装置、电子设备及存储介质，该方法包括：获取待查询视频的视频特征和检索文本的文本特征；将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段；其中，预先训练的视频片段检索模型，为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，目标候选视频片段从候选样本视频片段库中获取，候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段。采用本方法，有利于提高得到的目标视频片段的准确率。

Description

视频片段检索方法、视频片段检索模型的训练方法及装置
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频片段检索方法、视频片段检索模型的训练方法、视频片段检索方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展，视频数量呈爆炸式增长，尤其短视频和直播视频；为了从这些视频中快速检索得到感兴趣的目标视频片段，视频片段检索任务得到了广泛的研究关注。
相关技术中，目前的视频片段检索方法，一般是通过滑动窗口将视频划分为多种尺度的候选视频片段，并根据候选视频片段和查询文本对神经网络进行训练，以通过训练好的神经网络输出目标视频片段；但是，不同的目标视频片段的持续时间长度不一样，通过采用滑动窗口的机制，预先生成多尺度的候选视频片段，灵活性较低，难以覆盖尽可能多的潜在视频片段，导致通过神经网络检索得到的目标视频片段的准确率较低。
发明内容
本公开提供一种视频片段检索方法、视频片段检索模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中得到的目标视频片段的准确率较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频片段检索方法，包括：
获取待查询视频的视频特征和检索文本的文本特征；
将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；
其中，所述预先训练的视频片段检索模型，为根据样本视频、样本文本以及与所述样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，所述目标候选视频片段从候选样本视频片段库中获取，所述候选样本视频片段库中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
在一示例性实施例中，所述获取待查询视频的视频特征和检索文本的文本特征，包括：
获取待查询视频的视觉特征和所述检索文本的初始文本特征；
对所述视觉特征进行映射处理，得到所述待查询视频的视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；
通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征；所述文本特征和所述视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，所述通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征，包括：
通过注意力机制，获取所述视频特征中每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重；
根据每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重，对所述各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；
将针对于每个视频帧的文本特征进行组合，得到所述检索文本的文本特征。
在一示例性实施例中，所述预先训练的视频片段检索模型通过下述方式训练得到：
获取样本视频的样本视频特征和样本文本的样本文本特征；
将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；
根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，在将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况之后，还包括：
通过所述待训练的视频片段检索模型，得到所述各候选样本视频片段的时间信息；所述时间信息包括对应的候选样本视频片段的开始时间和结束时间；
所述根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的预测样本视频片段，包括：
获取所述各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；
根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况；
从所述各候选样本视频片段中筛选出所述目标匹配度情况最大的候选样本视频片段，作为与所述样本文本匹配的目标候选视频片段。
在一示例性实施例中，所述根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况，包括：
针对每个候选样本视频片段，将所述候选样本视频片段与除所述候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的匹配度情况的权重；
根据所述权重，对所述其余候选样本视频片段的匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的匹配度情况总和；
将所述候选样本视频片段的匹配度情况和所述匹配度情况总和进行相加，得到所述候选样本视频片段与所述样本文本之间的目标匹配度情况。
在一示例性实施例中，所述根据所述预测样本视频片段与所述样本文本之间的匹配度情况确定损失值，包括：
将所述目标候选视频片段与除所述目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的目标匹配度情况的权重；
根据所述权重，对所述其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的目标匹配度情况总和；
将所述目标候选视频片段的目标匹配度情况和所述目标匹配度情况总和进行相加，得到所述目标候选视频片段与所述样本文本之间的匹配情况；
根据所述匹配情况和预设阈值确定所述损失值。
在一示例性实施例中，所述根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型，包括：
若所述损失值大于或者等于预设损失值，则根据所述损失值调整所述待训练的视频片段检索模型的模型参数；
对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于所述预设损失值，则将所述训练后的视频片段检索模型，作为所述训练完成的视频片段检索模型。
根据本公开实施例的第二方面，提供一种视频片段检索模型的训练方法，包括：
获取样本视频的样本视频特征和样本文本的样本文本特征；
将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；其中，所述各候选样本视频片段中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同；
根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，所述获取样本视频的样本视频特征和样本文本的样本文本特征，包括：
获取样本视频的视觉特征和所述样本文本的初始文本特征；
对所述视觉特征进行映射处理，得到所述样本视频的样本视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；
通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述样本文本的样本文本特征；所述样本文本特征和所述样本视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，所述将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况，包括：
将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述各候选样本视频片段的视频特征和待匹配文本特征；
分别获取所述各候选样本视频片段的视频特征和待匹配文本特征之间的相似度情况，对应作为所述各候选样本视频片段与所述样本文本之间的匹配度情况。
在一示例性实施例中，所述将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述各候选样本视频片段的视频特征和待匹配文本特征，包括：
通过所述待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对所述样本视频特征进行多次处理，对应得到所述各候选样本视频片段的视频特征；
通过所述待训练的视频片段检索模型中的第二层次卷积模块和第二层次池化模块，对所述样本文本特征进行多次处理，对应得到所述各候选样本视频片段的待匹配文本特征；
其中，所述第一层次卷积模块和所述第二层次卷积模块共享卷积参数，所述第一层次池化模块和所述第二层次池化模块共享池化参数；所述第一层次卷积模块中的各个卷积层的卷积参数和所述第一层次池化模块中的各个池化层的池化参数对应相同，所述第二层次卷积模块中的各个卷积层的卷积参数和所述第二层次池化模块中的各个池化层的池化参数对应相同。
在一示例性实施例中，所述在将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况之后，还包括：
通过所述待训练的视频片段检索模型，得到所述各候选样本视频片段的时间信息；所述时间信息包括对应的候选样本视频片段的开始时间和结束时间；
所述根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段，包括：
获取所述各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；
根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况；
从所述各候选样本视频片段中筛选出所述目标匹配度情况最大的候选样本视频片段，作为与所述样本文本匹配的目标候选视频片段。
在一示例性实施例中，所述根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况，包括：
针对每个候选样本视频片段，将所述候选样本视频片段与除所述候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的匹配度情况的权重；
根据所述权重，对所述其余候选样本视频片段的匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的匹配度情况总和；
将所述候选样本视频片段的匹配度情况和所述匹配度情况总和进行相加，得到所述候选样本视频片段与所述样本文本之间的目标匹配度情况。
在一示例性实施例中，所述根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，包括：
将所述目标候选视频片段与除所述目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的目标匹配度情况的权重；
根据所述权重，对所述其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的目标匹配度情况总和；
将所述目标候选视频片段的目标匹配度情况和所述目标匹配度情况总和进行相加，得到所述目标候选视频片段与所述样本文本之间的匹配情况；
根据所述匹配情况和预设阈值确定所述损失值。
在一示例性实施例中，所述根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型，包括：
若所述损失值大于或者等于预设损失值，则根据所述损失值调整所述待训练的视频片段检索模型的模型参数；
对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于所述预设损失值，则将所述训练后的视频片段检索模型，作为所述训练完成的视频片段检索模型。
根据本公开实施例的第三方面，提供一种视频片段检索装置，包括：
特征获取单元，被配置为执行获取待查询视频的视频特征和检索文本的文本特征；
特征输入单元，被配置为执行将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；
其中，所述预先训练的视频片段检索模型，为根据样本视频、样本文本以及与所述样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，所述目标候选视频片段从候选样本视频片段库中获取，所述候选样本视频片段库中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
在一示例性实施例中，所述特征获取单元，还被配置为执行获取待查询视频的视觉特征和所述检索文本的初始文本特征；对所述视觉特征进行映射处理，得到所述待查询视频的视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征；所述文本特征和所述视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，所述特征获取单元，还被配置为执行通过注意力机制，获取所述视频特征中每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重；根据每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重，对所述各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；将针对于每个视频帧的文本特征进行组合，得到所述检索文本的文本特征。
在一示例性实施例中，所述装置还包括模型训练单元，被配置为执行获取样本视频的样本视频特征和样本文本的样本文本特征；将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，所述模型训练单元，还被配置为执行通过所述待训练的视频片段检索模型，得到所述各候选样本视频片段的时间信息；所述时间信息包括对应的候选样本视频片段的开始时间和结束时间；获取所述各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况；从所述各候选样本视频片段中筛选出所述目标匹配度情况最大的候选样本视频片段，作为与所述样本文本匹配的目标候选视频片段。
在一示例性实施例中，所述模型训练单元，还被配置为执行针对每个候选样本视频片段，将所述候选样本视频片段与除所述候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的匹配度情况的权重；根据所述权重，对所述其余候选样本视频片段的匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的匹配度情况总和；将所述候选样本视频片段的匹配度情况和所述匹配度情况总和进行相加，得到所述候选样本视频片段与所述样本文本之间的目标匹配度情况。
在一示例性实施例中，所述模型训练单元，还被配置为执行将所述目标候选视频片段与除所述目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的目标匹配度情况的权重；根据所述权重，对所述其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的目标匹配度情况总和；将所述目标候选视频片段的目标匹配度情况和所述目标匹配度情况总和进行相加，得到所述目标候选视频片段与所述样本文本之间的匹配情况；根据所述匹配情况和预设阈值确定所述损失值。
在一示例性实施例中，所述模型训练单元，还被配置为执行若所述损失值大于或者等于预设损失值，则根据所述损失值调整所述待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于所述预设损失值，则将所述训练后的视频片段检索模型，作为所述训练完成的视频片段检索模型。
根据本公开实施例的第四方面，提供一种视频片段检索装置，包括：
获取单元，被配置为执行获取样本视频的样本视频特征和样本文本的样本文本特征；
输入单元，被配置为执行将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；其中，所述各候选样本视频片段中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同；
筛选单元，被配置为执行根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
训练单元，被配置为执行根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，所述获取单元，还被配置为执行获取样本视频的视觉特征和所述样本文本的初始文本特征；对所述视觉特征进行映射处理，得到所述样本视频的样本视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述样本文本的样本文本特征；所述样本文本特征和所述样本视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，所述输入单元，还被配置为执行将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述各候选样本视频片段的视频特征和待匹配文本特征；分别获取所述各候选样本视频片段的视频特征和待匹配文本特征之间的相似度情况，对应作为所述各候选样本视频片段与所述样本文本之间的匹配度情况。
在一示例性实施例中，所述输入单元，还被配置为执行通过所述待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对所述样本视频特征进行多次处理，对应得到所述各候选样本视频片段的视频特征；通过所述待训练的视频片段检索模型中的第二层次卷积模块和第二层次池化模块，对所述样本文本特征进行多次处理，对应得到所述各候选样本视频片段的待匹配文本特征；其中，所述第一层次卷积模块和所述第二层次卷积模块共享卷积参数，所述第一层次池化模块和所述第二层次池化模块共享池化参数；所述第一层次卷积模块中的各个卷积层的卷积参数和所述第一层次池化模块中的各个池化层的池化参数对应相同，所述第二层次卷积模块中的各个卷积层的卷积参数和所述第二层次池化模块中的各个池化层的池化参数对应相同。
在一示例性实施例中，所述筛选单元，还被配置为执行通过所述待训练的视频片段检索模型，得到所述各候选样本视频片段的时间信息；所述时间信息包括对应的候选样本视频片段的开始时间和结束时间；获取所述各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；根据所述匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况；从所述各候选样本视频片段中筛选出所述目标匹配度情况最大的候选样本视频片段，作为与所述样本文本匹配的目标候选视频片段。
在一示例性实施例中，所述筛选单元，还被配置为执行针对每个候选样本视频片段，将所述候选样本视频片段与除所述候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的匹配度情况的权重；根据所述权重，对所述其余候选样本视频片段的匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的匹配度情况总和；将所述候选样本视频片段的匹配度情况和所述匹配度情况总和进行相加，得到所述候选样本视频片段与所述样本文本之间的目标匹配度情况。
在一示例性实施例中，所述训练单元，还被配置为执行将所述目标候选视频片段与除所述目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到所述其余候选样本视频片段的目标匹配度情况的权重；根据所述权重，对所述其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到所述其余候选样本视频片段的目标匹配度情况总和；将所述目标候选视频片段的目标匹配度情况和所述目标匹配度情况总和进行相加，得到所述目标候选视频片段与所述样本文本之间的匹配情况；根据所述匹配情况和预设阈值确定所述损失值。
在一示例性实施例中，所述训练单元，还被配置为执行若所述损失值大于或者等于预设损失值，则根据所述损失值调整所述待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于所述预设损失值，则将所述训练后的视频片段检索模型，作为所述训练完成的视频片段检索模型。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所述的视频片段检索方法，或者如第二方面的任一项实施例中所述的视频片段检索模型的训练方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，包括：当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的任一项实施例中所述的视频片段检索方法，或者如第二方面的任一项实施例中所述的视频片段检索模型的训练方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的任一项实施例中所述的视频片段检索方法，或者如第二方面的任一项实施例中所述的视频片段检索模型的训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
获取待查询视频的视频特征和检索文本的文本特征；将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；这样，通过从多种视频片段中获取目标视频片段，有利于在目标视频片段的持续时间长度不一样的情况下，覆盖尽可能多的潜在视频片段，从而提高了目标视频片段的检索准确率，进而提高了得到的目标视频片段的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频片段检索模型的训练方法的应用环境图。
图2是根据一示例性实施例示出的一种视频片段检索方法的流程图。
图3是根据一示例性实施例示出的一种视频片段检索模型的训练方法的流程图。
图4是根据一示例性实施例示出的获取样本视频的样本视频特征和样本文本的样本文本特征的步骤的流程图。
图5是根据一示例性实施例示出的另一种视频片段检索模型的训练方法的流程图。
图6是根据一示例性实施例示出的根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段的流程图。
图7是根据一示例性实施例示出的一种视频片段检索装置的框图。
图8是根据一示例性实施例示出的一种视频片段检索模型的训练装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本公开所提供的视频片段检索模型的训练方法，可以应用于如图1所示的应用环境中。参照图1，该应用环境图包括终端110。终端110是具有视频片段检索功能的电子设备，该电子设备可以是智能手机、平板电脑或个人计算机等等。图1中以终端110是智能手机为例进行说明，终端110获取待查询视频的视频特征和检索文本的文本特征；将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段；其中，预先训练的视频片段检索模型，为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，目标候选视频片段从候选样本视频片段库中获取，候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
需要说明的是，本公开实施例提供的视频片段检索方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现；其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种视频片段检索方法的流程图，如图2所示，视频片段检索方法用于如图1所示的终端中，包括以下步骤：
在步骤S210中，获取待查询视频的视频特征和检索文本的文本特征。
其中，待查询视频是指需要查询的完整视频，检索文本是指在查询视频时所输入的文本。
举例说明，终端根据用户输入的检索文本，在本地数据库中用户所指定的待查询视频中，查找出与用户输入的检索文本匹配的目标视频片段，并在终端界面上展示该目标视频片段，便于用户进行观看。
在步骤S220中，将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段。
其中，与检索文本匹配的候选视频片段，是指最终得到的目标视频片段。
其中，预先训练的视频片段检索模型，为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，目标候选视频片段从候选样本视频片段库中获取，候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
比如，针对1-30S的样本视频，如果按照5S为单位进行划分，可以得到1-5S、6-10S、11-15S、16-20S、21-25S、26-30S的候选样本视频片段；如果按照10S为单位进行划分，可以得到1-10S、11-20S、21-30S的候选样本视频片段；如果按照15S为单位进行划分，可以得到1-15S、16-30S的候选样本视频片段。
具体地，终端根据候选视频片段与检索文本之间的匹配度分数，从候选视频片段中筛选出匹配度分数最大的候选视频片段，作为与检索文本匹配的目标视频片段。
举例说明，假设候选视频片段包括候选视频片段A1、候选视频片段A2、候选视频片段A3、候选视频片段A4和候选视频片段A5，且候选视频片段A5的匹配度分数最大，则将候选视频片段A5，作为与检索文本匹配的目标视频片段。
上述视频片段检索方法，获取待查询视频的视频特征和检索文本的文本特征；将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段；这样，通过从多种视频片段中获取目标视频片段，有利于在目标视频片段的持续时间长度不一样的情况下，覆盖尽可能多的潜在视频片段，从而提高了目标视频片段的检索准确率，进而提高了得到的目标视频片段的准确率。
在一示例性实施例中，获取待查询视频的视频特征和检索文本的文本特征，包括：获取待查询视频的视觉特征和检索文本的初始文本特征；对视觉特征进行映射处理，得到待查询视频的视频特征，以及对初始文本特征进行映射处理，得到处理后的初始文本特征；通过注意力机制，对处理后的初始文本特征进行再次映射处理，得到检索文本的文本特征；文本特征和视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
本公开实施例提供的技术方案，通过注意力机制，使得待查询视频的视频特征和检索文本的文本特征的格式相同，且存在语义关联，有利于减少模态间的语义鸿沟，便于后续对候选视频片段和检索文本进行准确匹配。
在一示例性实施例中，通过注意力机制，对处理后的初始文本特征进行再次映射处理，得到检索文本的文本特征，包括：通过注意力机制，获取视频特征中每个视频帧的特征与处理后的初始文本特征中各单词的特征之间的注意力权重；根据每个视频帧的特征与处理后的初始文本特征中各单词的特征之间的注意力权重，对各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；将针对于每个视频帧的文本特征进行组合，得到检索文本的文本特征。
本公开实施例提供的技术方案，有利于进一步减少模态间的语义鸿沟，便于后续对候选视频片段和检索文本进行准确匹配。
在一示例性实施例中，预先训练的视频片段检索模型通过下述方式训练得到：获取样本视频的样本视频特征和样本文本的样本文本特征；将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况；根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段；根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
本公开实施例提供的技术方案，通过对待训练的视频片段检索模型进行反复训练，有利于提高通过训练得到的视频片段检索模型输出的目标视频片段的准确率。
在一示例性实施例中，在将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况之后，还包括：通过待训练的视频片段检索模型，得到各候选样本视频片段的时间信息；时间信息包括对应的候选样本视频片段的开始时间和结束时间。
那么，根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的预测样本视频片段，包括：获取各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；根据匹配度情况和时序交并比，得到各候选样本视频片段与样本文本之间的目标匹配度情况；从各候选样本视频片段中筛选出目标匹配度情况最大的候选样本视频片段，作为与样本文本匹配的目标候选视频片段。
本公开实施例提供的技术方案，有利于提高与样本文本匹配的目标候选视频片段的确定准确率。
在一示例性实施例中，根据匹配度情况和时序交并比，得到各候选样本视频片段与样本文本之间的目标匹配度情况，包括：针对每个候选样本视频片段，将候选样本视频片段与除候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的匹配度情况的权重；根据权重，对其余候选样本视频片段的匹配度情况进行加权求和处理，得到其余候选样本视频片段的匹配度情况总和；将候选样本视频片段的匹配度情况和匹配度情况总和进行相加，得到候选样本视频片段与样本文本之间的目标匹配度情况。
本公开实施例提供的技术方案，有利于进一步提高候选样本视频片段与样本文本之间的目标匹配度情况的确定准确率。
在一示例性实施例中，根据预测样本视频片段与样本文本之间的匹配度情况确定损失值，包括：将目标候选视频片段与除目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的目标匹配度情况的权重；根据权重，对其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到其余候选样本视频片段的目标匹配度情况总和；将目标候选视频片段的目标匹配度情况和目标匹配度情况总和进行相加，得到目标候选视频片段与样本文本之间的匹配情况；根据匹配情况和预设阈值确定损失值。
本公开实施例提供的技术方案，有利于提高损失值的确定准确率，使得通过损失值训练得到的视频片段检索模型更加准确。
在一示例性实施例中，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型，包括：若损失值大于或者等于预设损失值，则根据损失值调整待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于预设损失值，则将训练后的视频片段检索模型，作为训练完成的视频片段检索模型。
本公开实施例提供的技术方案，通过对待训练的视频片段检索模型进行反复训练，有利于提高通过训练得到的视频片段检索模型输出的目标视频片段的准确率。
图3是根据一示例性实施例示出的一种视频片段检索模型的训练方法的流程图，如图3所示，视频片段检索模型的训练方法用于如图1所示的终端中，包括以下步骤：
在步骤S310中，获取样本视频的样本视频特征和样本文本的样本文本特征。
其中，样本视频是指用于训练的待查询视频，可以是各种类型的视频，比如短视频、微电影、电影、电视剧等；样本文本是指用于训练的检索文本，可以是各种类型的文本，比如一句话(如他在滑板上做了一个翻转动作)、一段话、一个关键词等。
需要说明的是，样本视频和样本文本是成对的，可以是正样本对，也可以是负样本对；正样本对是指相互匹配的视频-文本对，负样本对是指不匹配的视频-文本对。
其中，样本视频的样本视频特征，用于表征样本视频的特征信息，可以通过特征矩阵表示；样本文本的样本文本特征，用于表征样本文本的特征信息，也可以通过特征矩阵表示。
具体地，终端获取成对的样本视频和样本文本，通过预设的视频特征提取指令，提取样本视频的样本视频特征，以及通过预设的文本特征提取指令，提取样本文本的样本文本特征。
此外，终端还可以将样本视频输入到预先训练的视频特征提取模型，通过预先训练的视频特征提取模型对样本视频进行视频特征提取处理，得到样本视频的样本视频特征；将样本文本输入到预先训练的文本特征提取模型，通过预先训练的文本特征提取模型对样本文本进行文本特征提取处理，得到样本文本的样本文本特征。
在步骤S320中，将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况。
其中，各候选样本视频片段中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
其中，视频片段检索模型是一种用于针对同一个待查询视频，输出不同时间长度的候选视频片段的视频特征和文本特征的孪生匹配网络模型，用于解决弱监督的跨模态视频片段检索任务；在实际场景中，通过视频片段检索模型可以一次性输出多种不同时间长度的候选视频片段及其对应的视频特征和文本特征，比如输出同一个待查询视频的各种时间长度的候选视频片段，且同一时间长度的候选视频片段可以构成一个完整的待查询视频。
其中，候选视频片段是指样本视频中的一段视频；时间长度是指候选视频片段的视频时长，比如5秒、10秒、1分钟等；每一种时间长度的候选视频片段有多个，且可以构成完整的样本视频。比如，针对样本视频M，时间长度A的候选视频片段包括候选视频片段A1、候选视频片段A2、候选视频片段A3、候选视频片段A4，且候选视频片段A1、候选视频片段A2、候选视频片段A3、候选视频片段A4可以构成完整的样本视频；时间长度B的候选视频片段包括候选视频片段B1、候选视频片段B2、候选视频片段B3，且候选视频片段B1、候选视频片段B2、候选视频片段B3可以构成完整的样本视频。
需要说明的是，现有技术中，通过滑动窗口将视频划分为多种尺度的候选视频片段，是指通过离线的方式，预先把某个视频划分为几种时间长度的候选视频片段，比如将视频N划分为候选视频片段A1(对应时间长度A)、候选视频片段B1(时间长度B)、候选视频片段C1(对应时间长度C)、候选视频片段D1(对应时间长度D)。
其中，候选视频片段的视频特征，用于表征候选视频片段的视觉特征信息，可以通过特征矩阵表示；候选视频片段的文本特征，是指样本文本的文本特征中，特定于该候选视频片段的文本特征，也可以通过特征矩阵表示。
具体地，终端将样本视频的样本视频特征和样本文本的样本文本特征，输入待训练的视频片段检索模型，通过待训练的视频片段检索模型对样本视频的样本视频特征和样本文本的样本文本特征进行多次卷积处理和池化处理，对应得到不同时间长度的候选视频片段的视频特征和待匹配文本特征；获取不同时间长度的候选视频片段的视频特征和待匹配文本特征之间的相似度分数，根据相似度分数从不同时间长度的候选视频片段中筛选出目标候选视频片段。
其中，候选视频片段的视频特征和待匹配文本特征之间的匹配度情况，是指视频特征和待匹配文本特征之间的余弦相似度分数。
具体地，终端获取每个候选视频片段的视频特征和文本特征之间的初始相似度分数；获取每个候选视频片段的其余候选视频片段的初始相似度分数的加权和，根据加权和对每个候选视频片段的初始相似度分数进行调整，得到每个候选视频片段的调整后的初始相似度分数，作为每个候选视频片段的相似度分数；从不同时间长度的候选视频片段中，筛选出相似度分数最大的候选视频片段，作为目标视频片段。
在步骤S330中，根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段。
其中，目标候选视频片段是指不同时间长度的候选视频片段中，匹配度情况最大的候选视频片段。
具体地，终端根据匹配度情况，从各候选样本视频片段中筛选出匹配度情况最大的候选样本视频片段，作为与样本文本匹配的目标候选视频片段。
在步骤S340中，根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
其中，损失值用于衡量视频片段检索模型的视频片段检索准确率，也可以用于衡量视频片段检索模型是否训练完毕。
具体地，终端将匹配分数输入到损失函数中，得到待训练的视频片段检索模型的损失值；根据损失值对待训练的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于预设损失值，则停止训练，并将该训练后的视频片段检索模型作为训练完成的视频片段检索模型。
上述视频片段检索模型的训练方法中，获取样本视频的样本视频特征和样本文本的样本文本特征；将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况；其中，各候选样本视频片段中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同；根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段；根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型；这样，根据样本视频的视频特征和样本文本的文本特征，对待训练的视频片段检索模型进行训练，使得训练后的视频片段检索模型可以灵活输出各种时间长度的候选视频片段，且同一时间长度的候选视频片段用于构成完整的样本视频，有利于在目标视频片段的持续时间长度不一样的情况下，覆盖尽可能多的潜在视频片段，从而提高了目标视频片段的检索准确率，进而提高了得到的目标视频片段的准确率；同时，先根据相似度分数从不同时间长度的候选视频片段中筛选出目标视频片段，并将针对目标视频片段的其余候选视频片段的相似度分数，作为目标视频片段的相似度分数的辅助信息，以对待训练的视频片段检索模型进行训练，使得训练后的视频片段检索模型可以更好地对候选视频片段和查询文本进行匹配，从而提高了候选视频片段和查询文本的匹配度的确定准确率，进一步提高了得到的目标视频片段的准确率。
在一示例性实施例中，如图4所示，在步骤S310中，获取样本视频的样本视频特征和样本文本的样本文本特征，具体可以通过以下步骤实现：
在步骤S410中，获取样本视频的视觉特征和样本文本的初始文本特征。
其中，视觉特征用于表征样本视频的三维视频特征信息；初始文本特征是指样本文本中的单词的语义特征和上下文信息。
具体地，终端通过预先训练的视觉特征提取模型，提取样本视频的视觉特征；通过预先训练的初始文本特征提取模型，提取样本文本的初始文本特征。
在步骤S420中，对视觉特征进行映射处理，得到样本视频的视频特征，以及对初始文本特征进行映射处理，得到处理后的初始文本特征。
其中，对视觉特征进行映射处理，是指将视觉特征以特征矩阵的形式进行表示；对初始文本特征进行映射处理，是指将初始文本特征以特征矩阵的形式进行表示。
具体地，终端对样本视频的视觉特征进行全连接处理，以将视觉特征映射到公共空间中，得到样本视频的视频特征；终端对样本文本的初始文本特征进行全连接处理，以将初始文本特征映射到公共空间中，得到样本视频的处理后的初始文本特征。
举例说明，参考图5，在视觉分支中，终端利用预训练的C3D(Convolutional 3D，三维卷积网络)模型为每一个样本视频
Figure BDA0003203520400000161
提取视觉特征，其中vi表示样本视频的第i帧，nv表示样本视频的总帧数；然后，利用全连接网络将提取出的视觉特征映射到公共空间当中，得到样本视频的视频特征
Figure BDA0003203520400000162
其中
Figure BDA0003203520400000163
表示第i帧的视觉特征。其中，C3D模型是指是在二维卷积网络的基础上拓展了时序维度，以用于三维视频特征的提取。
进一步地，参考图5，在文本分支中，终端利用预训练的GloVe(Global Vectors，全局向量)模型为样本文本
Figure BDA0003203520400000164
提取初始文本特征，其中qi表示第i个单词，nq表示当前样本文本包含的单词数目；然后，用GRU(Gate Recurrent Unit，门控循环单元)网络捕获样本文本中的单词的上下文信息，并利用全连接网络将初始文本特征和上下文信息映射到公共空间当中，得到样本文本的处理后的初始文本特征
Figure BDA0003203520400000165
其中
Figure BDA0003203520400000166
表示第i个单词的特征表示。其中，GloVe模型是一种通过统计共现矩阵为单词学习语义特征表示的模型，GRU网络是循环神经网络的一种变体，通过门控机制控制序列信息的输入和遗忘，以解决循环神经网络在长期记忆中梯度消失的问题。
在步骤S430中，通过注意力机制，对处理后的初始文本特征进行再次映射处理，得到样本文本的文本特征；文本特征和视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
其中，文本特征和视频特征对应的特征矩阵的结构相同，是指文本特征和视频特征对应的特征矩阵的格式相同，即行数和列数相同，且每行和每列包含的元素个数相同。在特征矩阵中的对应位置上存在语义关联，是指文本特征的特征矩阵中的每个位置的元素，与视频特征的特征矩阵中的对应位置的元素存在语义关联。
其中，注意力机制是指控制信息的权重的机制。
具体地，终端通过注意力机制，获取样本视频中的每个视频帧与样本文本中的每个单词之间的注意力权重；根据注意力权重对样本文本中的每个单词的特征表示进行加权处理，得到特定于每个视频帧的文本特征；将特定于每个视频帧的文本特征进行拼接处理，得到样本文本的文本特征。
举例说明，参考图5，终端利用注意力机制将处理后的初始文本特征Fq映射到视觉空间当中，使映射后的文本特征
Figure BDA0003203520400000167
具有与视频特征Fv相同的形状，并且在特征矩阵的对应位置上具有语义关联，具体计算公式如下：
Figure BDA0003203520400000171
其中，ai,j是第i个候选片段和第j个单词之间的注意力权重，
Figure BDA0003203520400000172
是特定于第i个视频帧的文本特征。
本公开实施例提供的技术方案，通过注意力机制，使得样本视频的视频特征和样本文本的文本特征的格式相同，且存在语义关联，有利于减少模态间的语义鸿沟，便于后续对候选视频片段和样本文本进行准确匹配。
在一示例性实施例中，将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况，包括：将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到各候选样本视频片段的视频特征和待匹配文本特征；分别获取各候选样本视频片段的视频特征和待匹配文本特征之间的相似度情况，对应作为各候选样本视频片段与样本文本之间的匹配度情况。
本公开实施例提供的技术方案，通过将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况，有利于后续根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段。
在一示例性实施例中，上述步骤S220，将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到各候选样本视频片段的视频特征和待匹配文本特征，具体包括：通过待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对样本视频特征进行多次处理，对应各候选样本视频片段的视频特征；通过待训练的视频片段检索模型中的第二层次卷积模块和第二层次池化模块，对样本文本特征进行多次处理，对应得到各候选样本视频片段的待匹配文本特征；其中，第一层次卷积模块和第二层次卷积模块共享卷积参数，第一层次池化模块和第二层次池化模块共享池化参数；第一层次卷积模块中的各个卷积层的卷积参数和第一层次池化模块中的各个池化层的池化参数对应相同，第二层次卷积模块中的各个卷积层的卷积参数和第二层次池化模块中的各个池化层的池化参数对应相同。
其中，各候选样本视频片段的视频特征，和各候选样本视频片段的待匹配文本特征都是一一对应的。
其中，第一层次卷积模块中包括多个一维卷积层，每个一维卷积层可以输出一种时间长度的候选视频片段；卷积参数是指卷积核大小和卷积步长。
其中，第一层次池化模块中包括多个最大值池化层，池化参数是指最大值池化层的池化尺寸和步长，其值与对应卷积层的卷积核大小和卷积步长相同。
具体地，终端通过第一层次卷积模块中的第一个卷积层，对样本视频特征进行卷积处理，得到视频特征的卷积结果；通过第一层次池化模块中的第一个最大值池化层，对视频特征进行最大池化处理，得到视频特征的最大池化结果；将视频特征的卷积结果和视频特征的最大池化结果进行融合处理，得到第一个视频特征，即第一种时间长度的候选视频片段的视频特征；接着，通过第一层次卷积模块中的第二个卷积层和第一层次池化模块中的第二个最大值池化层，对第一视频特征进行卷积处理和最大池化处理，得到第二个视频特征，即第二种时间长度的候选视频片段的视频特征；以此类推，直到通过第一层次卷积模块中的最后一个卷积层和第一层次池化模块中的最后一个最大值池化层，得到最后一个视频特征，即最后一种时间长度的候选视频片段的视频特征。
进一步地，跟得到不同时间长度的候选视频片段的视频特征的过程类似，终端通过第二层次卷积模块中的第一个卷积层，对样本文本特征进行卷积处理，得到文本特征的卷积结果；通过第二层次池化模块中的第一个最大值池化层，对文本特征进行最大池化处理，得到文本特征的最大池化结果；将文本特征的卷积结果和文本特征的最大池化结果进行融合处理，得到第一个文本特征，即第一种时间长度的候选视频片段的文本特征；接着，通过第二层次卷积模块中的第二个卷积层和第二层次池化模块中的第二个最大值池化层，对第一文本特征进行卷积处理和最大池化处理，得到第二个文本特征，即第二种时间长度的候选视频片段的文本特征；以此类推，直到通过第二层次卷积模块中的最后一个卷积层和第二层次池化模块中的最后一个最大值池化层，得到最后一个文本特征，即最后一种时间长度的候选视频片段的文本特征；最后，根据不同时间长度的候选视频片段的视频特征和不同时间长度的候选视频片段的文本特征，得到不同时间长度的候选视频片段的视频特征和文本特征
举例说明，参考图5，引入一个层次卷积模块对视觉分支进行处理，该模块由多个一维卷积层组成，每个卷积层具有不同大小的卷积核，其中每个卷积层可以输出一种尺寸的候选片段。形式上，将每个卷积层表示为：
Figure BDA0003203520400000181
其中，
Figure BDA0003203520400000182
和
Figure BDA0003203520400000183
分别表示第l层卷积层的卷积核大小和卷积步长，
Figure BDA0003203520400000184
Figure BDA0003203520400000185
是第l层卷积层的输入，特别地，
Figure BDA0003203520400000186
需要说明的是，为了使训练过程更稳定，我们在每一层卷积层上增加了残差连接，最终表示为：
Figure BDA0003203520400000187
其中，
Figure BDA0003203520400000188
和
Figure BDA0003203520400000189
是第l层最大值池化层的池化尺寸和步长，其值与第l层卷积层的卷积核大小
Figure BDA00032035204000001810
和卷积步长
Figure BDA00032035204000001811
一致。
接着，将映射后的文本特征
Figure BDA00032035204000001812
送入一个与视觉分支相同的层次卷积模块，并通过共享两个模块的网络参数，约束网络捕获一致性信息，进一步减小跨模态语义差异，具体计算公式如下：
Figure BDA00032035204000001813
其中，
Figure BDA0003203520400000191
是第l层卷积层的输入，特别地，
Figure BDA0003203520400000192
进一步地，将每一层得到的视频特征和文本特征各自聚合到一个集合当中，并分别用共享参数的全连接网络进行映射，得到视频特征表示
Figure BDA0003203520400000193
和文本特征表示
Figure BDA0003203520400000194
其中
Figure BDA0003203520400000195
和
Figure BDA0003203520400000196
分别是第i个候选视频片段的视频特征表示和文本特征表示，nm是候选视频片段的总数目。
本公开实施例提供的技术方案，通过视频片段检索模型的层次卷积模块一次性生成多种不同时间长度的候选视频片段，相对于滑动窗口的方式更加高效快捷，而且有利于覆盖尽可能多的潜在候选视频片段，使得最终得到的目标视频片段更加猪准确；同时，通过共享参数的方式，从视频和文本两种模态中捕获一致性信息，减小了跨模态语义差异，有利于更精确地对候选视频片段和样本文本进行匹配。
在一示例性实施例中，通过待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对视频特征进行多次处理，对应得到不同时间长度的候选视频片段的视频特征，具体包括：分别通过第一层次卷积模块中的各个卷积层对相应的视频特征进行处理，得到对应时间长度的候选视频片段的第一视频特征，以及分别通过第一层次池化模块中的各个池化层对相应的视频特征进行处理，得到对应时间长度的候选视频片段的第二视频特征；对应时间长度的种数为一种或者至少两种；分别将各种时间长度的候选视频片段的第一视频特征和第二视频特征进行融合处理，得到不同时间长度的候选视频片段的视频特征。
举例说明，以第一层次卷积模块中的第一个卷积层为例，假设第一层次卷积模块中的每个卷积层只有一种尺度的卷积核和第一层次卷积模块中的每个最大值池化层只有一种尺度的池化尺寸，则终端通过第一层次卷积模块中的第一个卷积层对视频特征进行处理，得到对应一种时间长度的候选视频片段的第一视频特征；通过第一层次池化模块中的第一个最大值池化层对视频特征进行处理，得到对应一种时间长度的候选视频片段的第二视频特征；将该种时间长度的候选视频片段的第一视频特征和第二视频特征进行融合处理，得到该种时间长度的候选视频片段的视频特征。
举例说明，以第一层次卷积模块中的第一个卷积层为例，假设第一层次卷积模块中的每个卷积层包括两种尺度的卷积核和第一层次卷积模块中的每个最大值池化层包括两种尺度的池化尺寸，则终端通过第一层次卷积模块中的第一个卷积层对视频特征进行两次卷积处理，得到对应两种时间长度的候选视频片段的第一视频特征；通过第一层次池化模块中的第一个最大值池化层对视频特征进行两次池化处理，得到对应两种时间长度的候选视频片段的第二视频特征；分别将这两种时间长度的候选视频片段的第一视频特征和第二视频特征进行融合处理，得到这两种时间长度的候选视频片段的视频特征。
需要说明的是，第一层次卷积模块中的其他卷积层和第一层次池化模块中的其他最大值池化层的处理方式，跟第一层次卷积模块中的第一个卷积层和第一层次池化模块中的第一个最大值池化层的处理方式一样，在此不再赘述。
需要说明的是，通过待训练的视频片段检索模型中的第二层次卷积模块和第二层次池化模块，对文本特征进行多次处理，对应得到不同时间长度的候选视频片段的文本特征的具体处理方式，跟通过待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对视频特征进行多次处理，对应得到不同时间长度的候选视频片段的视频特征的具体处理方式类似，在此不再赘述。
本公开实施例提供的技术方案，在每一个卷积层内部采用多种尺度的卷积核，从而在每一层卷积层均可得到多种时间长度的候选视频片段，进而增加了候选视频片段生成的灵活性和效率。
在一示例性实施例中，在将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况之后之后，还包括：通过待训练的视频片段检索模型，得到各候选样本视频片段的时间信息；时间信息包括对应的候选样本视频片段的开始时间和结束时间。
举例说明，参考图5，不同的卷积层具有不同大小的感受野，因此可以得到不同时间尺度的候选视频片段；终端利用卷积层的位置和感受野大小，可以计算出每个候选视频片段对应的时间信息
Figure BDA0003203520400000201
具体计算公式如下：
Figure BDA0003203520400000202
其中，rl表示第l层卷积层的感受野尺寸，l表示第l层卷积层的累计步长，
Figure BDA0003203520400000203
和
Figure BDA0003203520400000204
分别是第l层第j个候选视频片段的开始信息和结束时间。
本公开实施例提供的技术方案，在得到不同时间长度的候选视频片段的视频特征和文本特征的同时，还可以得到不同时间长度的候选视频片段的时间信息，便于后续根据时间信息，从不同时间长度的候选视频片段中筛选出目标视频片段。
在一示例性实施例中，如图6所示，根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段，具体可以通过以下步骤实现：
在步骤S610中，获取各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比。
其中，时序交并比是指任意两个候选视频片段的时间信息之间的交集和并集的比值。
具体地，终端获取每个候选视频片段的视频特征和文本特征之间的余弦相似度分数，作为每个候选视频片段的初始相似度分数；获取任意两个候选视频片段的时间信息之间的交集和并集的比值，作为任意两个候选视频片段的时间信息之间的时序交并比。
举例说明，参考图5，终端对每个候选视频片段的视频特征表示和文本特征表示计算余弦相似度分数si，具体计算公式如下：
Figure BDA0003203520400000211
接着，终端计算任意两个候选时刻片段
Figure BDA0003203520400000212
和
Figure BDA0003203520400000213
之间的时序交并比δi,j，具体计算公式如下：
Figure BDA0003203520400000214
其中，
Figure BDA0003203520400000215
和
Figure BDA0003203520400000216
分别是第i个候选视频片段的开始时间和结束时间，
Figure BDA0003203520400000217
和
Figure BDA0003203520400000218
分别是第j个候选视频片段的开始时间和结束时间。
在步骤S620中，根据匹配度情况和所述时序交并比，得到各候选样本视频片段与所述样本文本之间的目标匹配度情况。
具体地，针对每个候选视频片段，终端利用其余候选视频片段的时序交并比，对其余候选视频片段的初始相似度分数进行加权求和处理，并结合每个候选视频片段的初始相似度分数，得到每个候选视频片段的相似度分数。
在步骤S630中，从各候选样本视频片段中筛选出目标匹配度情况最大的候选样本视频片段，作为与样本文本匹配的目标候选视频片段。
本公开实施例提供的技术方案，将每个候选视频片段的初始相似度分数进行调整后，得到每个候选视频片段的相似度分数，再从所有的候选视频片段中筛选出相似度分数最大的目标视频片段，有利于提高筛选出的目标视频片段的准确率。
在一示例性实施例中，根据匹配度情况和所述时序交并比，得到各候选样本视频片段与样本文本之间的目标匹配度情况，具体包括：针对每个候选样本视频片段，将候选样本视频片段与除候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的匹配度情况的权重；根据权重，对其余候选样本视频片段的匹配度情况进行加权求和处理，得到其余候选样本视频片段的匹配度情况总和；将候选样本视频片段的匹配度情况和匹配度情况总和进行相加，得到候选样本视频片段与样本文本之间的目标匹配度情况。
举例说明，针对每一个候选视频片段，终端将其余所有候选视频片段与其的时序交并比进行归一化，并作为权重对其余候选视频片段的初始相似度分数进行加权求和；最后，利用加权求和的结果增强当前候选视频片段的初始相似度分数，得到当前候选视频片段的相似度分数；具体计算公式如下：
Figure BDA0003203520400000219
其中，si表示第i个候选视频片段的初始相似度分数，
Figure BDA00032035204000002110
表示第i个候选视频片段增强后的初始相似度分数，即第i个候选视频片段的相似度分数，λ表示平衡系数，nc表示候选视频片段的数目，即nc＝nm-1。
本公开实施例提供的技术方案，根据初始相似度分数和时序交并比，得到每个候选视频片段的视频特征和文本特征之间的相似度分数，实现了对每个候选视频片段的初始相似度分数进行调整的目的，进而提高了后续目标视频片段的确定准确率。
在一示例性实施例中，根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，具体包括：将目标候选视频片段与除目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的目标匹配度情况的权重；根据权重，对其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到其余候选样本视频片段的目标匹配度情况总和；将目标候选视频片段的目标匹配度情况和目标匹配度情况总和进行相加，得到目标候选视频片段与样本文本之间的匹配情况；根据匹配情况和预设阈值确定损失值。
举例说明，终端计算相似度分数最高的目标视频片段[ts,te]与其余候选片段
Figure BDA0003203520400000221
的时序交并δi，具体计算公式如下：
Figure BDA0003203520400000222
其中，ts和te分别是相似度分数最高的目标视频片段的开始时间和结束时间，
Figure BDA0003203520400000223
和
Figure BDA0003203520400000224
分别是第i个候选视频片段的开始时间和结束时间。
接着，终端通过归一化后的时序交并比，对其余候选视频片段的相似度分数进行加权聚合；最后，将加权结果与相似度分数最大值
Figure BDA0003203520400000225
的和，作为样本文本与样本视频的匹配分数S，具体计算公式如下：
Figure BDA0003203520400000226
其中，是平衡系数。
本公开实施例提供的技术方案，根据针对目标视频片段的其余候选视频片段的相似度分数，对目标视频片段的相似度分数进行调整，有利于综合考虑目标视频片段的相邻视频片段，便于从相邻视频片段中挖掘情境信息作为辅助，进一步提高了样本文本与样本视频的匹配分数的确定准确率。
在一示例性实施例中，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型，具体包括：若损失值大于或者等于预设损失值，则根据损失值调整待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于预设损失值，则将训练后的视频片段检索模型，作为训练完成的视频片段检索模型。
其中，预设阈值是指匹配分数的边界阈值；预设损失值是预先设置的损失值，可以根据实际情况进行调整，具体本公开不做限定。
具体地，终端将匹配分数和预设阈值输入到对比损失函数中，计算得到损失值；将损失值和预设损失值进行对比，若损失值大于或者等于预设损失值，则根据损失值调整待训练的视频片段检索模型的模型参数，并重复执行步骤S220至步骤S250，以对模型参数调整后的视频片段检索模型进行反复训练；当根据训练后的视频片段检索模型得到的损失值小于预设损失值，则停止训练。
举例说明，终端从每一个批次的数据中采样正负样本对，并通过下述公式计算损失值L：
Figure BDA0003203520400000231
其中，V是指样本视频，Q是指样本文本，S是指匹配分数，Δ是边界阈值，(V,Q)和(Q,V)为正样本对，(V-,Q)和(Q-,V)为负样本对。
本公开实施例提供的技术方案，通过对待训练的视频片段检索模型进行多次训练，有利于提高通过训练好的视频片段检索模型输出的不同时间长度的候选视频片段及其对应的视频特征和文本特征的准确率，进一步提高了得到的目标视频片段的准确率。
为了更清晰阐明本公开实施例提供的视频片段检索模型的训练方法，以下以一个具体的实施例对该视频片段检索模型的训练方法进行具体说明。在一个实施例中，如图5所示，本公开还提供了另一种视频片段检索模型的训练方法，利用预训练模型提取视频和文本的特征表示，并进一步映射到公共空间中；利用多尺度孪生模块生成多尺度候选片段，并共享视觉和文本分支的参数；利用情境多示例学习模块挖掘情境信息，评估视频和查询文本的相似度；具体包括以下内容：
参考图5，本公开提出了一个孪生匹配网络，命名为SAN，用于解决弱监督跨模态视频片段检索任务；模型主要包含两部分：多尺度孪生模块和情境多示例学习模块；特别地，多尺度孪生模块通过层次卷积一次性生成多尺度的候选视频片段，并将视觉和文本特征递进地映射到一个对偶的公共空间当中；此外，多尺度孪生模块通过共享参数的方式约束模型从视觉和文本两种模态中捕获一致性信息，从而更好地对视频片段和查询文本进行匹配；而情境多示例学习模块基于多示例学习算法从视频中挖掘关键片段，并进一步从相邻视频片段中挖掘情境信息作为补充，以进行更精确的匹配。
需要说明的是，在训练时，将成对的视频-文本对送入上述模型中，依次提取特征、生成候选片段、跨模态匹配、计算损失；在送入的一个批次的数据中，所有相互匹配的视频-文本对视为正样本对，所有不匹配的视频-文本对视为负样本对。在测试时，将查询文本和待查询视频送入模型中，在多尺度孪生模块中得到所有候选片段与查询文本的相似度得分(即候选片段的视频特征和文本特征的余弦相似度分数)，其中相似度得分最高的候选片段即用户要检索的目标片段。
上述视频片段检索模型的训练方法，可以达到以下技术效果：(1)为了尽可能多的覆盖潜在的候选视频片段，本方法采用层次卷积网络一次性生成多尺度的候选视频片段，相对于滑动窗口更加高效快捷；(2)为了更精确地对视频和查询文本进行匹配，本方法引入孪生结构，通过共享视觉和文本分支的网络参数来约束网络从两种模态中捕获一致性信息，减小了跨模态语义差异；(3)本方法通过从相邻视频片段中挖掘情境信息作为辅助，进一步提高了评估候选视频片段和查询文本相似度的准确率；(4)本方法大幅度提高了弱监督跨模态视频片段检索的召回率。
应该理解的是，虽然图2-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
图7是根据一示例性实施例示出的一种视频片段检索装置的框图。参照图7，该装置包括特征获取单元710和特征输入单元720。
特征获取单元710，被配置为执行获取待查询视频的视频特征和检索文本的文本特征。
特征输入单元720，被配置为执行将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段。
其中，预先训练的视频片段检索模型，为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，目标候选视频片段从候选样本视频片段库中获取，候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
在一示例性实施例中，特征获取单元710，还被配置为执行获取待查询视频的视觉特征和检索文本的初始文本特征；对视觉特征进行映射处理，得到待查询视频的视频特征，以及对初始文本特征进行映射处理，得到处理后的初始文本特征；通过注意力机制，对处理后的初始文本特征进行再次映射处理，得到检索文本的文本特征；文本特征和视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，特征获取单元710，还被配置为执行通过注意力机制，获取视频特征中每个视频帧的特征与处理后的初始文本特征中各单词的特征之间的注意力权重；根据每个视频帧的特征与处理后的初始文本特征中各单词的特征之间的注意力权重，对各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；将针对于每个视频帧的文本特征进行组合，得到检索文本的文本特征。
在一示例性实施例中，视频片段检索装置还包括模型训练单元，被配置为执行获取样本视频的样本视频特征和样本文本的样本文本特征；将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况；根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段；根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，模型训练单元，还被配置为执行通过待训练的视频片段检索模型，得到各候选样本视频片段的时间信息；时间信息包括对应的候选样本视频片段的开始时间和结束时间；获取各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；根据匹配度情况和时序交并比，得到各候选样本视频片段与样本文本之间的目标匹配度情况；从各候选样本视频片段中筛选出目标匹配度情况最大的候选样本视频片段，作为与样本文本匹配的目标候选视频片段。
在一示例性实施例中，模型训练单元，还被配置为执行针对每个候选样本视频片段，将候选样本视频片段与除候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的匹配度情况的权重；根据权重，对其余候选样本视频片段的匹配度情况进行加权求和处理，得到其余候选样本视频片段的匹配度情况总和；将候选样本视频片段的匹配度情况和匹配度情况总和进行相加，得到候选样本视频片段与样本文本之间的目标匹配度情况。
在一示例性实施例中，模型训练单元，还被配置为执行将目标候选视频片段与除目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的目标匹配度情况的权重；根据权重，对其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到其余候选样本视频片段的目标匹配度情况总和；将目标候选视频片段的目标匹配度情况和目标匹配度情况总和进行相加，得到目标候选视频片段与样本文本之间的匹配情况；根据匹配情况和预设阈值确定损失值。
在一示例性实施例中，模型训练单元，还被配置为执行若损失值大于或者等于预设损失值，则根据损失值调整待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于预设损失值，则将训练后的视频片段检索模型，作为训练完成的视频片段检索模型。
图8是根据一示例性实施例示出的一种视频片段检索模型的训练装置的框图。参照图8，该装置包括获取单元810，输入单元820，筛选单元830和训练单元840。
获取单元810，被配置为执行获取样本视频的样本视频特征和样本文本的样本文本特征。
输入单元820，被配置为执行将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到样本视频的各候选样本视频片段与样本文本之间的匹配度情况；其中，各候选样本视频片段中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对样本视频进行划分得到多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
筛选单元830，被配置为执行根据匹配度情况，从各候选样本视频片段中筛选出与样本文本匹配的目标候选视频片段。
训练单元840，被配置为执行根据目标候选视频片段与样本文本之间的匹配度情况确定损失值，根据损失值对待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
在一示例性实施例中，获取单元810，还被配置为执行获取样本视频的视觉特征和样本文本的初始文本特征；对视觉特征进行映射处理，得到样本视频的样本视频特征，以及对初始文本特征进行映射处理，得到处理后的初始文本特征；通过注意力机制，对处理后的初始文本特征进行再次映射处理，得到样本文本的样本文本特征；样本文本特征和样本视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
在一示例性实施例中，输入单元820，还被配置为执行将样本视频特征和样本文本特征输入待训练的视频片段检索模型，得到各候选样本视频片段的视频特征和待匹配文本特征；分别获取各候选样本视频片段的视频特征和待匹配文本特征之间的相似度情况，对应作为各候选样本视频片段与样本文本之间的匹配度情况。
在一示例性实施例中，输入单元820，还被配置为执行通过待训练的视频片段检索模型中的第一层次卷积模块和第一层次池化模块，对样本视频特征进行多次处理，对应得到各候选样本视频片段的视频特征；通过待训练的视频片段检索模型中的第二层次卷积模块和第二层次池化模块，对样本文本特征进行多次处理，对应得到各候选样本视频片段的待匹配文本特征；其中，第一层次卷积模块和第二层次卷积模块共享卷积参数，第一层次池化模块和第二层次池化模块共享池化参数；第一层次卷积模块中的各个卷积层的卷积参数和第一层次池化模块中的各个池化层的池化参数对应相同，第二层次卷积模块中的各个卷积层的卷积参数和第二层次池化模块中的各个池化层的池化参数对应相同。
在一示例性实施例中，筛选单元830，还被配置为执行通过待训练的视频片段检索模型，得到各候选样本视频片段的时间信息；时间信息包括对应的候选样本视频片段的开始时间和结束时间；获取各候选样本视频片段中，任意两个候选样本视频片段的时间信息之间的时序交并比；根据匹配度情况和时序交并比，得到各候选样本视频片段与样本文本之间的目标匹配度情况；从各候选样本视频片段中筛选出目标匹配度情况最大的候选样本视频片段，作为与样本文本匹配的目标候选视频片段。
在一示例性实施例中，筛选单元830，还被配置为执行针对每个候选样本视频片段，将候选样本视频片段与除候选样本视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的匹配度情况的权重；根据权重，对其余候选样本视频片段的匹配度情况进行加权求和处理，得到其余候选样本视频片段的匹配度情况总和；将候选样本视频片段的匹配度情况和匹配度情况总和进行相加，得到候选样本视频片段与样本文本之间的目标匹配度情况。
在一示例性实施例中，训练单元840，还被配置为执行将目标候选视频片段与除目标候选视频片段之外的其余候选样本视频片段的时间信息之间的时序交并比，进行归一化处理，得到其余候选样本视频片段的目标匹配度情况的权重；根据权重，对其余候选样本视频片段的目标匹配度情况进行加权求和处理，得到其余候选样本视频片段的目标匹配度情况总和；将目标候选视频片段的目标匹配度情况和目标匹配度情况总和进行相加，得到目标候选视频片段与样本文本之间的匹配情况；根据匹配情况和预设阈值确定损失值。
在一示例性实施例中，训练单元840，还被配置为执行若损失值大于或者等于预设损失值，则根据损失值调整待训练的视频片段检索模型的模型参数；对模型参数调整后的视频片段检索模型进行反复训练，直到根据训练后的视频片段检索模型得到的损失值小于预设损失值，则将训练后的视频片段检索模型，作为训练完成的视频片段检索模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于执行视频片段检索方法或者视频片段检索模型的训练方法的电子设备900的框图。例如，电子设备900可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图9，电子设备900可以包括以下一个或多个组件：处理组件902、存储器904、电源组件906、多媒体组件908、音频组件910、输入/输出(I/O)的接口912、传感器组件914以及通信组件916。
处理组件902通常控制电子设备900的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备Z00的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述电子设备900和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件916发送。在一些实施例中，音频组件910还包括扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示器和小键盘，传感器组件914还可以检测电子设备900或电子设备900组件的位置改变，用户与电子设备900接触的存在或不存在，设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备900的处理器920执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频片段检索方法，其特征在于，所述方法包括：
获取待查询视频的视频特征和检索文本的文本特征；
将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；
其中，所述预先训练的视频片段检索模型，为根据样本视频、样本文本以及与所述样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，所述目标候选视频片段从候选样本视频片段库中获取，所述候选样本视频片段库中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
2.根据权利要求1所述的视频片段检索方法，其特征在于，所述获取待查询视频的视频特征和检索文本的文本特征，包括：
获取待查询视频的视觉特征和所述检索文本的初始文本特征；
对所述视觉特征进行映射处理，得到所述待查询视频的视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；
通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征；所述文本特征和所述视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。
3.根据权利要求2所述的视频片段检索方法，其特征在于，所述通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征，包括：
通过注意力机制，获取所述视频特征中每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重；
根据每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重，对所述各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；
将针对于每个视频帧的文本特征进行组合，得到所述检索文本的文本特征。
4.根据权利要求1所述的视频片段检索方法，其特征在于，所述预先训练的视频片段检索模型通过下述方式训练得到：
获取样本视频的样本视频特征和样本文本的样本文本特征；
将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；
根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
5.一种视频片段检索模型的训练方法，其特征在于，所述方法包括：
获取样本视频的样本视频特征和样本文本的样本文本特征；
将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；其中，所述各候选样本视频片段中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同；
根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
6.一种视频片段检索装置，其特征在于，包括：
特征获取单元，被配置为执行获取待查询视频的视频特征和检索文本的文本特征；
特征输入单元，被配置为执行将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；
其中，所述预先训练的视频片段检索模型，为根据样本视频、样本文本以及与所述样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，所述目标候选视频片段从候选样本视频片段库中获取，所述候选样本视频片段库中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。
7.一种视频片段检索模型的训练装置，其特征在于，包括：
获取单元，被配置为执行获取样本视频的样本视频特征和样本文本的样本文本特征；
输入单元，被配置为执行将所述样本视频特征和所述样本文本特征输入待训练的视频片段检索模型，得到所述样本视频的各候选样本视频片段与所述样本文本之间的匹配度情况；其中，所述各候选样本视频片段中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同；
筛选单元，被配置为执行根据所述匹配度情况，从所述各候选样本视频片段中筛选出与所述样本文本匹配的目标候选视频片段；
训练单元，被配置为执行根据所述目标候选视频片段与所述样本文本之间的匹配度情况确定损失值，根据所述损失值对所述待训练的视频片段检索模型进行训练，得到训练完成的视频片段检索模型。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的视频片段检索方法，和/或，如权利要求5所述的视频片段检索模型的训练方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的视频片段检索方法，和/或，如权利要求5所述的视频片段检索模型的训练方法。
10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4任一项所述的视频片段检索方法，和/或，如权利要求5所述的视频片段检索模型的训练方法。
CN202110910711.2A 2021-08-09 2021-08-09 视频片段检索方法、视频片段检索模型的训练方法及装置 Active CN113590881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910711.2A CN113590881B (zh) 2021-08-09 2021-08-09 视频片段检索方法、视频片段检索模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110910711.2A CN113590881B (zh) 2021-08-09 2021-08-09 视频片段检索方法、视频片段检索模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN113590881A true CN113590881A (zh) 2021-11-02
CN113590881B CN113590881B (zh) 2024-03-19

Family

ID=78256549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110910711.2A Active CN113590881B (zh) 2021-08-09 2021-08-09 视频片段检索方法、视频片段检索模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN113590881B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329053A (zh) * 2022-01-07 2022-04-12 腾讯科技（深圳）有限公司 特征提取模型训练、媒体数据检索方法和装置
CN114390365A (zh) * 2022-01-04 2022-04-22 京东科技信息技术有限公司 用于生成视频信息的方法和装置
CN114707018A (zh) * 2022-03-30 2022-07-05 腾讯科技（深圳）有限公司 视频内容推送方法、装置及相关设备
CN115131695A (zh) * 2022-03-18 2022-09-30 北京奇艺世纪科技有限公司 视频检测模型的训练方法、视频检测方法及装置
CN115171014A (zh) * 2022-06-30 2022-10-11 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN116186329A (zh) * 2023-02-10 2023-05-30 阿里巴巴（中国）有限公司 视频处理、搜索、索引构建方法、装置、设备及存储介质
CN117095085A (zh) * 2023-08-24 2023-11-21 摩尔线程智能科技(北京)有限责任公司 视频生成方法和装置、介质和计算机设备
WO2024001057A1 (zh) * 2022-07-01 2024-01-04 深圳先进技术研究院 一种基于注意力片段提示的视频检索方法
CN117591698A (zh) * 2024-01-19 2024-02-23 腾讯科技（深圳）有限公司 视频检索模型的训练方法、视频检索方法、装置及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218608A (zh) * 2013-04-19 2013-07-24 中国科学院自动化研究所 一种网络暴力视频的识别方法
CN109089133A (zh) * 2018-08-07 2018-12-25 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN110121118A (zh) * 2019-06-17 2019-08-13 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110598049A (zh) * 2019-09-26 2019-12-20 北京字节跳动网络技术有限公司 用于检索视频的方法、装置、电子设备和计算机可读介质
CN111209439A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 视频片段检索方法、装置、电子设备及存储介质
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN111930999A (zh) * 2020-07-21 2020-11-13 山东省人工智能研究院 逐帧跨模态相似度关联实施文本查询定位视频片段方法
CN112101114A (zh) * 2020-08-14 2020-12-18 中国科学院深圳先进技术研究院 一种视频目标检测方法、装置、设备以及存储介质
CN112182292A (zh) * 2020-09-30 2021-01-05 百度(中国)有限公司 视频检索模型的训练方法、装置、电子设备及存储介质
CN112261491A (zh) * 2020-12-22 2021-01-22 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
CN112380394A (zh) * 2020-10-27 2021-02-19 浙江工商大学 面向文本到视频片段定位的渐进式定位方法
CN112685597A (zh) * 2021-03-12 2021-04-20 杭州一知智能科技有限公司 一种基于擦除机制的弱监督视频片段检索方法和系统
WO2021092632A2 (en) * 2021-02-26 2021-05-14 Innopeak Technology, Inc. Weakly-supervised text-based video moment retrieval via cross attention modeling
CN113094550A (zh) * 2020-01-08 2021-07-09 百度在线网络技术（北京）有限公司 视频检索方法、装置、设备和介质
CN113128431A (zh) * 2021-04-25 2021-07-16 北京亮亮视野科技有限公司 视频片段检索方法、装置、介质与电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218608A (zh) * 2013-04-19 2013-07-24 中国科学院自动化研究所 一种网络暴力视频的识别方法
CN109089133A (zh) * 2018-08-07 2018-12-25 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
WO2020253657A1 (zh) * 2019-06-17 2020-12-24 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110121118A (zh) * 2019-06-17 2019-08-13 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110598049A (zh) * 2019-09-26 2019-12-20 北京字节跳动网络技术有限公司 用于检索视频的方法、装置、电子设备和计算机可读介质
CN113094550A (zh) * 2020-01-08 2021-07-09 百度在线网络技术（北京）有限公司 视频检索方法、装置、设备和介质
CN111209439A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 视频片段检索方法、装置、电子设备及存储介质
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN111930999A (zh) * 2020-07-21 2020-11-13 山东省人工智能研究院 逐帧跨模态相似度关联实施文本查询定位视频片段方法
CN112101114A (zh) * 2020-08-14 2020-12-18 中国科学院深圳先进技术研究院 一种视频目标检测方法、装置、设备以及存储介质
CN112182292A (zh) * 2020-09-30 2021-01-05 百度(中国)有限公司 视频检索模型的训练方法、装置、电子设备及存储介质
CN112380394A (zh) * 2020-10-27 2021-02-19 浙江工商大学 面向文本到视频片段定位的渐进式定位方法
CN112261491A (zh) * 2020-12-22 2021-01-22 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
WO2021092632A2 (en) * 2021-02-26 2021-05-14 Innopeak Technology, Inc. Weakly-supervised text-based video moment retrieval via cross attention modeling
CN112685597A (zh) * 2021-03-12 2021-04-20 杭州一知智能科技有限公司 一种基于擦除机制的弱监督视频片段检索方法和系统
CN113128431A (zh) * 2021-04-25 2021-07-16 北京亮亮视野科技有限公司 视频片段检索方法、装置、介质与电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390365A (zh) * 2022-01-04 2022-04-22 京东科技信息技术有限公司 用于生成视频信息的方法和装置
CN114390365B (zh) * 2022-01-04 2024-04-26 京东科技信息技术有限公司 用于生成视频信息的方法和装置
CN114329053A (zh) * 2022-01-07 2022-04-12 腾讯科技（深圳）有限公司 特征提取模型训练、媒体数据检索方法和装置
CN114329053B (zh) * 2022-01-07 2024-09-10 腾讯科技（深圳）有限公司 特征提取模型训练、媒体数据检索方法和装置
CN115131695A (zh) * 2022-03-18 2022-09-30 北京奇艺世纪科技有限公司 视频检测模型的训练方法、视频检测方法及装置
CN114707018A (zh) * 2022-03-30 2022-07-05 腾讯科技（深圳）有限公司 视频内容推送方法、装置及相关设备
CN114707018B (zh) * 2022-03-30 2024-10-25 腾讯科技（深圳）有限公司 视频内容推送方法、装置及相关设备
CN115171014B (zh) * 2022-06-30 2024-02-13 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN115171014A (zh) * 2022-06-30 2022-10-11 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
WO2024001057A1 (zh) * 2022-07-01 2024-01-04 深圳先进技术研究院 一种基于注意力片段提示的视频检索方法
CN116186329B (zh) * 2023-02-10 2023-09-12 阿里巴巴（中国）有限公司 视频处理、搜索、索引构建方法、装置、设备及存储介质
CN116186329A (zh) * 2023-02-10 2023-05-30 阿里巴巴（中国）有限公司 视频处理、搜索、索引构建方法、装置、设备及存储介质
CN117095085A (zh) * 2023-08-24 2023-11-21 摩尔线程智能科技(北京)有限责任公司 视频生成方法和装置、介质和计算机设备
CN117591698A (zh) * 2024-01-19 2024-02-23 腾讯科技（深圳）有限公司 视频检索模型的训练方法、视频检索方法、装置及设备
CN117591698B (zh) * 2024-01-19 2024-04-26 腾讯科技（深圳）有限公司 视频检索模型的训练方法、视频检索方法、装置及设备

Also Published As

Publication number Publication date
CN113590881B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN113590881B (zh) 视频片段检索方法、视频片段检索模型的训练方法及装置
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN109800325B (zh) 视频推荐方法、装置和计算机可读存储介质
CN110602527B (zh) 视频处理方法、装置及存储介质
CN105631408B (zh) 基于视频的面孔相册处理方法和装置
US11455491B2 (en) Method and device for training image recognition model, and storage medium
CN109684510B (zh) 视频排序方法、装置、电子设备及存储介质
JP7059326B2 (ja) 情報処理方法、装置及び記憶媒体
JP2021519474A (ja) ビデオ処理方法及び装置、電子機器並びに記憶媒体
CN115100472B (zh) 展示对象识别模型的训练方法、装置和电子设备
CN112148980B (zh) 基于用户点击的物品推荐方法、装置、设备和存储介质
CN105550336B (zh) 单一实体实例的挖掘方法和装置
CN110941727B (zh) 一种资源推荐方法、装置、电子设备及存储介质
CN113792207A (zh) 一种基于多层次特征表示对齐的跨模态检索方法
CN110532345A (zh) 一种未标注数据的处理方法、装置及存储介质
CN111582383B (zh) 属性识别方法及装置、电子设备和存储介质
CN112509123A (zh) 三维重建方法、装置、电子设备及存储介质
CN112115894A (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN114722238B (zh) 视频推荐方法、装置、电子设备、存储介质及程序产品
CN113505256A (zh) 特征提取网络训练方法、图像处理方法及装置
CN111814538A (zh) 目标对象的类别识别方法、装置、电子设备及存储介质
CN110019907B (zh) 一种图像检索方法及装置
CN111241844A (zh) 一种信息推荐方法及装置
CN111428806B (zh) 图像标签确定方法、装置、电子设备及存储介质
CN111753069A (zh) 语义检索方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant