CN113128431A - 视频片段检索方法、装置、介质与电子设备 - Google Patents
视频片段检索方法、装置、介质与电子设备 Download PDFInfo
- Publication number
- CN113128431A CN113128431A CN202110448436.7A CN202110448436A CN113128431A CN 113128431 A CN113128431 A CN 113128431A CN 202110448436 A CN202110448436 A CN 202110448436A CN 113128431 A CN113128431 A CN 113128431A
- Authority
- CN
- China
- Prior art keywords
- features
- semantic
- candidate segments
- query statement
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供一种视频片段检索方法、装置、介质与电子设备。其中，视频片段检索方法包括：将原始视频分割为多个候选片段；提取每个所述候选片段的视觉特征；在获取到查询语句时，解析所述查询语句中的语义特征；将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。通过本公开实施例提供的技术方案，将视觉特征和语义特征进行融合得到融合特征，实现使文本与视觉结构之间互相增强以及相互补充，进一步基于融合特征从候选片段中检索与查询预计匹配的视频片段，有利于提升视频片段检索的精度。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种视频片段检索方法、装置、计算机可存储介质与电子设备。
背景技术
随着数字设备的普及和社交媒体的发展，视频已经成为人们通信、娱乐中最流行的视觉媒体之一。然而，由于视频中包括复杂结构、不同类型的运动目标、大量和丰富的语义信息等参数，这些参数为自动地进行视频理解和应用带来了极大的挑战。因此，利用计算机来帮助人类处理、分析、理解、使用视频，满足现实社会的要求，成为了当前多媒体分析、计算机视觉领域的一个重要方向。
相关技术中，通过设置视频时间检索任务，即基于给定的查询语句，在一个给定的视频中寻找与查询语句匹配的视频片段，能够实现满足检索需求的视频片段的检索。然而，由于该任务主要基于整个视频的文本进行特征提取，因此导致视频片段的检索精度较低。
需要说明的是，在上述背景技术分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种视频片段检索方法、视频片段检索装置、介质与电子设备，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的视频片段的检索精度较低的问题。
根据本公开实施例的一方面，提供一种视频片段检索方法，包括：将原始视频分割为多个候选片段；提取每个所述候选片段的视觉特征；在获取到查询语句时，解析所述查询语句中的语义特征；将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。
在本公开的一种示例性实施例中，所述在获取到查询语句时，解析所述查询语句中的语义特征包括：将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征；基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树；获取所述语义角色树中语义角色之间的关系特征；基于所述角色特征和所述关系特征生成所述查询语句的语义特征。
在本公开的一种示例性实施例中，将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征包括：基于语言表征模型将所述查询语句分割为所述语义角色；基于双向长短期记忆网络Bi-LSTM将所述语义角色对应的单词转化为嵌入向量；基于注意力机制策略与所述嵌入向量从所述语义角色树中获取所述全局的角色特征、所述动词的角色特征和所述名词的角色特征。
在本公开的一种示例性实施例中，所述基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树包括：基于名词节点的语义角色，与对应的动词节点相连；以及将所述动词节点与全局节点相连，构造出所述语义角色树。
在本公开的一种示例性实施例中，所述获取所述语义角色树中语义角色之间的关系特征包括：基于平均池化操作获取所述语义角色树中相邻节点之间的传递信息，基于所述传递信息表示所述语义角色之间的关系特征。
在本公开的一种示例性实施例中，所述将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征包括：基于预设的神经网络全连接层的超参数对所述语义特征进行预处理，得到预处理特征；基于激活函数将所述预处理特征转化为激活特征；将所述激活特征和所述视觉特征执行哈达玛积运算，得到所述候选片段的融合特征。
在本公开的一种示例性实施例中，所述将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征包括，还包括：将所述候选片段的融合特征输入多头注意力机制模型学习所述候选片段之间的时序关系；基于所述时序关系更新所述融合特征。
在本公开的一种示例性实施例中，所述基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段包括：对三个层级的所述融合特征分配可学习的权重；将分配所述权重后的三个层级的所述融合特征进行融合相加，得到每个所述候选片段的分数；基于所述分数确定匹配度，以由所述匹配度确定与所述查询语句匹配的所述视频片段。
在本公开的一种示例性实施例中，所述提取每个所述候选片段的视觉特征包括：基于预训练的3D卷积神经网络模型提取所述候选片段的视觉特征。
根据本公开实施例的另一方面，提供一种视频片段检索装置，包括：分割模块，用于将原始视频分割为多个候选片段；提取模块，用于提取每个所述候选片段的视觉特征；解析模块，用于在获取到查询语句时，解析所述查询语句中的语义特征；融合模块，用于将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；检索模块，用于基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。
根据本公开的另一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如上述任意一项所述的视频片段检索方法。
根据本公开的另一方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的视频片段检索方法。
本公开实施例的技术方案，通过分别获得候选片段的视觉特征，和查询语句的语义特征，并将视觉特征和语义特征进行融合得到融合特征，实现使文本与视觉结构之间互相增强以及相互补充，进一步基于融合特征从候选片段中检索与查询预计匹配的视频片段，有利于提升视频片段检索的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种视频片段检索方法的流程图；
图2示出本公开示例性实施例中另一种视频片段检索方法的流程图；
图3示出本公开示例性实施例中再一种视频片段检索方法的流程图；
图4示出本公开示例性实施例中又一种视频片段检索方法的流程图；
图5示出本公开示例性实施例中多头上下文注意力机制模型的结构示意图；
图6示出本公开示例性实施例中生成多层语义特征的流程示意图；
图7示出本公开示例性实施例中生成视频特征的流程示意图；
图8示出本公开示例性实施例中生成融合特征的流程示意图；
图9示出本公开示例性实施例中一种视频片段检索装置的方框图；
图10示出本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的征、结构或性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述定细节中的一个或更多，或者可以采用其它的、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1是本公开示例性实施例中视频片段检索方法的流程图。
参考图1，根据本公开的一个实施例的视频片段检索方法可以包括：
步骤S102，将原始视频分割为多个候选片段。
其中，在原始视频中检索满足查询语句的视频片段，通过将原始视频进行分割，可以得到多个长度不等的候选视频。
比如，可以通过时域片段网络(TSN)将视频在时域分割成多个片段。
步骤S104，提取每个候选片段的视觉特征。
其中，视觉特征包括但不限于行为特征、动作相似度标注、场景与物体特征等。
比如，可以基于3D-CNN(3D卷积神经网络，3D Convolutional Neural Networksfor Human Action Recognition)对视频进行分割操作。
步骤S106，在获取到查询语句时，解析查询语句中的语义特征。
其中，查询语句的语义分析包括但不限于：语义角色标注、蕴含分析、句子表示、语义依存分析等。
语义角色标注(Semantic Role Labeling，SRL)用于标注句子中某些短语为给定谓词的论元(语义角色)，如施事、受事、时间和地点等。
文本蕴含(Textual Entailment)是指两个文本片段的指向关系。
句子表示研究的是用一个k维的向量表示一句话的含义，常用句子向量在文本检索、问答系统中计算文档间的相似度。
语义依存分析(Semantic Dependency Parsing，SDP)用于分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。进而能够直接获取深层的语义信息。
步骤S108，将语义特征与候选片段的视觉特征进行融合，得到候选片段的融合特征。
其中，通过将查询语句的语义特征和候选片段的视觉特征进行融合，得到融合特征，可以理解为语义特征和视觉特征之间的适配性越高，则具有该视觉特征的候选片段为与查询预计匹配的视频片段的概率越高。
步骤S110，基于融合特征从多个候选片段中检索与查询语句匹配的视频片段。
在该实施例中，通过分别获得候选片段的视觉特征，和查询语句的语义特征，并将视觉特征和语义特征进行融合得到融合特征，实现使文本与视觉结构之间互相增强以及相互补充，进一步基于融合特征从候选片段中检索与查询预计匹配的视频片段，有利于提升视频片段检索的精度。
如图2所示，对本公开的实施例的视频片段检索方法的各步骤进行详细说明。
在本公开的一种示例性实施例中，步骤S106，在获取到查询语句时，解析查询语句中的语义特征包括：
步骤S202，将查询语句分割为不同的语义角色，获取语义角色的角色特征。
步骤S204，基于全局-动词-名词的层级结构将语义角色构造为语义角色树。
步骤S206，获取语义角色树中语义角色之间的关系特征。
步骤S208，基于角色特征和关系特征生成查询语句的语义特征。
具体地，可以分别通过嵌入Embedding和注意力方法，得到全局层级特征，动词层级特征以及名词层级特征，这些特征包括单个节点的语义特征和节点和节点之间的关系特征。
在该实施例中，通过对查询语句进行分割操作获得语义角色的角色特征，并进一步基于语义角色生成语义角色树，以基于语义角色树得到树节点之间的节点关系，作为语义角色之间的关系特征，基于角色特征和关系特征得到的查询语句的语义特征，能够有效地获取细粒度的语义信息，并可以学习到不同模态之间丰富的关系信息。
以进一步将语义特征作为检索所需的特征之一，从而能够在检索时兼顾细粒度的文本语义结构信息，以提升检索精度。
如图3所示，在本公开的一种示例性实施例中，步骤S202，将获取到查询语句时，解析查询语句中的语义特征包括：
步骤S302，基于语言表征模型将查询语句分割为语义角色。
步骤S304，基于双向长短期记忆网络Bi-LSTM将语义角色对应的单词转化为嵌入向量。
具体地，对于给定的查询语句S＝{s1,s2,...,sL}，sl表示第l个单词，L表示句子中单词的数量，通过一个Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短时记忆网络)获得每个单词的embedding，即嵌入向量。
步骤S306，基于注意力机制策略与嵌入向量从语义角色树中获取全局的角色特征、动词的角色特征和名词的角色特征。
进一步地，随后采用一个基于注意力机制的策略获得三个语义层级的特征。
用g(s)表示全局层级的特征，g(v)表示动词层级的特征，g(n)表示名词层级的特征。其中，由于句子中动词和名词的数量一般都大于1，因此又有：
其中Nv，Nn分别表示句子中动词和名词的数量。
在该实施例中，通过结合Bi-LSTM和注意力机制，获取查询语句中每个单词的embedding向量，基于embedding向量，得到基于语义角色的三个语义层级的角色特征，以基于角色特征得到查询语句的语义特征。
在本公开的一种示例性实施例中，基于全局-动词-名词的层级结构将语义角色构造为语义角色树包括：
基于名词节点的语义角色，与对应的动词节点相连。
以及将动词节点与全局节点相连，构造出语义角色树。
具体地，通过以下策略构造语义角色树，包括：(1)对于每个名词的主语，宾语和状语，将动词和名词相连；(2)将所有动词与全局节点相连。这样便将查询语句转化为一个语义角色树。随后，通过Embedding和注意力方法，得到全局层级特征，动词层级特征以及名词层级特征。
在本公开的一种示例性实施例中，获取语义角色树中语义角色之间的关系特征包括：
基于平均池化操作获取语义角色树中相邻节点之间的传递信息，基于传递信息表示语义角色之间的关系特征。
具体地，注意力机制可以分为三步：一是信息输入；二是计算注意力分布α；三是根据注意力分布α来计算输入信息的加权平均。
基于公式(1)得到：
其中，W1和W2表示两个可学习的系数矩阵，exp表示计算自然指数，
其中，MeanPooling表示平均池化操作，Ni表示第i个节点的邻居，r∈{s,v,n}，通过上面的步骤，就得到了代表三个语义层级的特征e(s)，e(v)，e(n)。
如图4所示，在本公开的一种示例性实施例中，步骤S108，将语义特征与候选片段的视觉特征进行融合，得到候选片段的融合特征包括：
步骤S402，基于预设的神经网络全连接层的超参数对语义特征进行预处理，得到预处理特征。
步骤S404，基于激活函数将预处理特征转化为激活特征。
步骤S406，将激活特征和视觉特征执行哈达玛积运算，得到候选片段的融合特征。
步骤S108，将语义特征与候选片段的视觉特征进行融合，得到候选片段的融合特征包括，还包括：
步骤S408，将候选片段的融合特征输入多头注意力机制模型学习候选片段之间的时序关系。
步骤S410，基于时序关系更新融合特征。
具体地，本发明首先通过如下方法将视觉特征和不同语义层级的文本特征进行融合：
其中，ReLU为激活函数，Wg和bg是全连接层的超参数，⊙是Hadamard积，
是融合后的特征。我们记
r∈{s,v,n}。
图5示出了多头上下文注意力机制模型的结构，包括第一线性变换模块502Linear、用于归一化计算的Scaled-Product Attention模块504、concat模块506和第一线性变换模块508Linear，在融合过后的候选片段特征之间采用了一个多头上下文注意力机制去学习视频时序上的关系：
首先定义了一个基于上下文的注意力机制操作，记为CT-Attn。
headi＝CT-Attn(QF＝F(r)Wi Q,KF＝F(r)Wi K,VF＝F(r)Wi V) (7)
其中，headi表示第i个注意力头，
分别为三个可学习的系数矩阵，H表示注意力中多头的数量。之后，通过一个线性变换WO得到最终的融合特征
下面对图5和公式(7)中的Q、K和V进行解释：
对于Q，比如翻译目标单词为I的时候，Q为I。
而source中的“我”“是”“中国人”都是K。
那么Q就要与每一个source中的K进行对齐(相似度计算)；"I"与"我"的相似度，"I"与"是"的相似度；"I"与"中国人"的相似度。
相似度的值进行归一化后会生成对齐概率值(“I"与source中每个单词的相似度(和为1))，也可以注意力值。
而V代表每个source中输出的context vector；如果为RNN模型的话就是对应的状态向量；即key与value相同。
然后相应的V与相应的P进行加权求和，就得到了context vector。
在该实施例中，通过将视频特征和多层语义特征进行融合，得到融合特征，并且该融合特征兼顾了文本和视频之间的关系，以及视频内部时序上的关系，即上下文内容之间的关联性，因此基于该融合特征执行视频片段的检索，有利于在保证较简单的模型框架的前提下，提高视频片段检索的精确性。
在本公开的一种示例性实施例中，基于融合特征从多个候选片段中检索与查询语句匹配的视频片段包括：对三个层级的融合特征分配可学习的权重；将分配权重后的三个层级的融合特征进行融合相加，得到每个候选片段的分数；基于分数确定匹配度，以由匹配度确定与查询语句匹配的视频片段。
具体地，通过分配可学习的权重将三个层级的特征相加融合，得到最后每一个候选片段的分数：
其中，γs，γv，γn分别表示三个可学习的参数，它们用来融合三个语义层级的特征，这样就得到融合后的特征
最后让融合后的特征通过一个预测器得到最后每个候选片段的分数。其中，q1,...,qM表示M个候选片段的最后得分。
在该实施例中，通过为每层的融合特征分配一个可学习的权重，并将分配的权重的每层的融合特征相加，然后基于Predictor函数计算候选片段的分数，分数越高则表明该片段与查询语句的匹配程度越高，基于该方式，完成视频片段的检索，得到与查询语句匹配度最高的视频片段。
在本公开的一种示例性实施例中，提取每个候选片段的视觉特征包括：基于预训练的3D卷积神经网络模型提取候选片段的视觉特征。
具体地，对于给定的视频V，使用任意一种采样分割的方法，得到一系列的候选片段
其中pm表示第m个候选片段，M表示所有候选片段的数量。
然后通过预训练的3D-CNN网络作为视频特征提取器提取它们的特征，这样得到了每个候选片段对应的视觉特征：
其中，um表示第m个候选片段对应的视觉特征，Encoder表示预训练的3D-CNN网络模型。
另外，模型的损失函数如下：
其中，ym表示第m个候选片段的标签，N表示训练过程中视频—文本对的总数。
如图6所示，602示出了查询语句，通过语义角色提取器604进行提取，得到全局的语义角色、动词的语义角色和名词的语义角色，如606所示，基于语义角色得到语义角色树608，经过语义角色嵌入模块610和注意力机制模块612，得到多层的语义特征614，包括全局特征、动词特征和名词特征。
如图7所示，原始视频702经过视频分割模块704得到多个候选片段706，多个候选片段706经过视频特征提取器708得到视频特征710。
如图8所示，图7中得到的视频特征802分别与图6中得到的全局特征804、动词特征806以及名词特征808进行融合，通过上下文注意力机制模型810得到融合特征812，融合特征812通过候选片段打分模型814进行打分，通过二元交叉熵损失模型816计算模型损失。
对应于上述实施例，本公开还提供一种视频片段检索装置，可以用于执行上述实施例。
图9是本公开示例性实施例中一种视频片段检索装置的方框图。
参考图9，根据本公开的一个实施例的视频片段检索装置900可以包括：分割模块902，用于将原始视频分割为多个候选片段；提取模块904，用于提取每个所述候选片段的视觉特征；解析模块906，用于在获取到查询语句时，解析所述查询语句中的语义特征；融合模块908，用于将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；检索模块910，用于基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。
由于装置900的各功能已在其对应的实施例中予以详细说明，本公开于此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中，上述存储单元存储有程序代码，上述程序代码可以被上述处理单元1010执行，使得上述处理单元1010执行本说明书上述“示例性”分中描述的根据本发明各种示例性实施方式的步骤。例如，上述处理单元1010可以执行如本公开实施例所示的。
存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性”分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、分地在用户设备上执行、作为一个独立的软件包执行、分在用户计算设备上分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外计算设备(例如利用因网服务提供商来通过因网连接)。
此外，上述附图仅是根据本发明示例性实施例的所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。
Claims (12)
1.一种视频片段检索方法，其特征在于，包括：
将原始视频分割为多个候选片段；
提取每个所述候选片段的视觉特征；
在获取到查询语句时，解析所述查询语句中的语义特征；
将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；
基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。
2.根据权利要求1所述的视频片段检索方法，其特征在于，所述在获取到查询语句时，解析所述查询语句中的语义特征包括：
将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征；
基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树；
获取所述语义角色树中语义角色之间的关系特征；
基于所述角色特征和所述关系特征生成所述查询语句的语义特征。
3.根据权利要求2所述的视频片段检索方法，其特征在于，所述将所述查询语句分割为不同的语义角色，获取所述语义角色的角色特征包括：
基于语言表征模型将所述查询语句分割为所述语义角色；
基于双向长短期记忆网络Bi-LSTM将所述语义角色对应的单词转化为嵌入向量；
基于注意力机制策略与所述嵌入向量从所述语义角色树中获取所述全局的角色特征、所述动词的角色特征和所述名词的角色特征。
4.根据权利要求2所述的视频片段检索方法，其特征在于，所述基于全局-动词-名词的层级结构将所述语义角色构造为语义角色树包括：
基于名词节点的语义角色，与对应的动词节点相连；以及
将所述动词节点与全局节点相连，构造出所述语义角色树。
5.根据权利要求2所述的视频片段检索方法，其特征在于，所述获取所述语义角色树中语义角色之间的关系特征包括：
基于平均池化操作获取所述语义角色树中相邻节点之间的传递信息，基于所述传递信息表示所述语义角色之间的关系特征。
6.根据权利要求1所述的视频片段检索方法，其特征在于，所述将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征包括：
基于预设的神经网络全连接层的超参数对所述语义特征进行预处理，得到预处理特征；
基于激活函数将所述预处理特征转化为激活特征；
将所述激活特征和所述视觉特征执行哈达玛积运算，得到所述候选片段的融合特征。
7.根据权利要求6所述的视频片段检索方法，其特征在于，所述将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征包括，还包括：
将所述候选片段的融合特征输入多头注意力机制模型学习所述候选片段之间的时序关系；
基于所述时序关系更新所述融合特征。
8.根据权利要求6所述的视频片段检索方法，其特征在于，所述基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段包括：
对三个层级的所述融合特征分配可学习的权重；
将分配所述权重后的三个层级的所述融合特征进行融合相加，得到每个所述候选片段的分数；
基于所述分数确定匹配度，以由所述匹配度确定与所述查询语句匹配的所述视频片段。
9.根据权利要求1至8中任一项所述的视频片段检索方法，其特征在于，所述提取每个所述候选片段的视觉特征包括：
基于预训练的3D卷积神经网络模型提取所述候选片段的视觉特征。
10.一种视频片段检索装置，其特征在于，包括：
分割模块，用于将原始视频分割为多个候选片段；
提取模块，用于提取每个所述候选片段的视觉特征；
解析模块，用于在获取到查询语句时，解析所述查询语句中的语义特征；
融合模块，用于将所述语义特征与所述候选片段的视觉特征进行融合，得到所述候选片段的融合特征；
检索模块，用于基于所述融合特征从所述多个候选片段中检索与所述查询语句匹配的视频片段。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1-8任一项所述的视频片段检索方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的视频片段检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110448436.7A CN113128431B (zh) | 2021-04-25 | 2021-04-25 | 视频片段检索方法、装置、介质与电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110448436.7A CN113128431B (zh) | 2021-04-25 | 2021-04-25 | 视频片段检索方法、装置、介质与电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128431A true CN113128431A (zh) | 2021-07-16 |
| CN113128431B CN113128431B (zh) | 2022-08-05 |
Family
ID=76780321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110448436.7A Active CN113128431B (zh) | 2021-04-25 | 2021-04-25 | 视频片段检索方法、装置、介质与电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128431B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590881A (zh) * | 2021-08-09 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频片段检索方法、视频片段检索模型的训练方法及装置 |
| CN113963304A (zh) * | 2021-12-20 | 2022-01-21 | 山东建筑大学 | 基于时序-空间图的跨模态视频时序动作定位方法及系统 |
| CN114429119A (zh) * | 2022-01-18 | 2022-05-03 | 重庆大学 | 一种基于多交叉注意力的视频与字幕片段检索方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919078A (zh) * | 2019-03-05 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种视频序列选择的方法、模型训练的方法及装置 |
| CN110225368A (zh) * | 2019-06-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种视频定位方法、装置及电子设备 |
| CN111368142A (zh) * | 2020-04-15 | 2020-07-03 | 华中科技大学 | 一种基于生成对抗网络的视频密集事件描述方法 |
| CN112053690A (zh) * | 2020-09-22 | 2020-12-08 | 湖南大学 | 一种跨模态多特征融合的音视频语音识别方法及系统 |
| CN112308080A (zh) * | 2020-11-05 | 2021-02-02 | 南强智视(厦门)科技有限公司 | 面向指向性视觉理解和分割的图像描述预测方法 |
| CN112380394A (zh) * | 2020-10-27 | 2021-02-19 | 浙江工商大学 | 面向文本到视频片段定位的渐进式定位方法 |
-
2021
- 2021-04-25 CN CN202110448436.7A patent/CN113128431B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919078A (zh) * | 2019-03-05 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种视频序列选择的方法、模型训练的方法及装置 |
| CN110225368A (zh) * | 2019-06-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种视频定位方法、装置及电子设备 |
| CN111368142A (zh) * | 2020-04-15 | 2020-07-03 | 华中科技大学 | 一种基于生成对抗网络的视频密集事件描述方法 |
| CN112053690A (zh) * | 2020-09-22 | 2020-12-08 | 湖南大学 | 一种跨模态多特征融合的音视频语音识别方法及系统 |
| CN112380394A (zh) * | 2020-10-27 | 2021-02-19 | 浙江工商大学 | 面向文本到视频片段定位的渐进式定位方法 |
| CN112308080A (zh) * | 2020-11-05 | 2021-02-02 | 南强智视(厦门)科技有限公司 | 面向指向性视觉理解和分割的图像描述预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHIZHE CHEN等: "Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning", 《ARXIV:2003.00392V1》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590881A (zh) * | 2021-08-09 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频片段检索方法、视频片段检索模型的训练方法及装置 |
| CN113590881B (zh) * | 2021-08-09 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 视频片段检索方法、视频片段检索模型的训练方法及装置 |
| CN113963304A (zh) * | 2021-12-20 | 2022-01-21 | 山东建筑大学 | 基于时序-空间图的跨模态视频时序动作定位方法及系统 |
| CN113963304B (zh) * | 2021-12-20 | 2022-06-28 | 山东建筑大学 | 基于时序-空间图的跨模态视频时序动作定位方法及系统 |
| CN114429119A (zh) * | 2022-01-18 | 2022-05-03 | 重庆大学 | 一种基于多交叉注意力的视频与字幕片段检索方法 |
| CN114429119B (zh) * | 2022-01-18 | 2024-05-28 | 重庆大学 | 一种基于多交叉注意力的视频与字幕片段检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128431B (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679039B (zh) | 用于确定语句意图的方法和装置 | |
| CN112131350B (zh) | 文本标签确定方法、装置、终端及可读存储介质 | |
| CN113128431B (zh) | 视频片段检索方法、装置、介质与电子设备 | |
| CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN116775847B (zh) | 一种基于知识图谱和大语言模型的问答方法和系统 | |
| CN109493977A (zh) | 文本数据处理方法、装置、电子设备及计算机可读介质 | |
| CN112131883B (zh) | 语言模型训练方法、装置、计算机设备和存储介质 | |
| CN114676234A (zh) | 一种模型训练方法及相关设备 | |
| CN113705315B (zh) | 视频处理方法、装置、设备及存储介质 | |
| Shi et al. | Watch it twice: Video captioning with a refocused video encoder | |
| JP2023022845A (ja) | ビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN113672708A (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
| CN113987169A (zh) | 基于语义块的文本摘要生成方法、装置、设备及存储介质 | |
| CN113392265A (zh) | 多媒体处理方法、装置及设备 | |
| CN112287069A (zh) | 基于语音语义的信息检索方法、装置及计算机设备 | |
| CN112131345B (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
| US20230008897A1 (en) | Information search method and device, electronic device, and storage medium | |
| CN113705191A (zh) | 样本语句的生成方法、装置、设备及存储介质 | |
| CN117093687A (zh) | 问题应答方法和装置、电子设备、存储介质 | |
| CN110659392B (zh) | 检索方法及装置、存储介质 | |
| CN112085120A (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
| CN113919360A (zh) | 语义理解方法、语音交互方法、装置、设备及存储介质 | |
| CN117056474A (zh) | 会话应答方法和装置、电子设备、存储介质 | |
| CN116361511A (zh) | 一种复合语义的视频检索方法、装置、设备及存储介质 | |
| CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |