CN108304506B - 检索方法、装置及设备 - Google Patents

Abstract

本申请实施例公开了一种检索方法、装置及设备，属于AI技术领域。所述方法包括：获取被检索对象和检索信息；采用第一循环神经网络提取被检索对象中包含的各个第一元素的特征表示；根据各个第一元素的特征表示和检索信息的特征表示，分别计算每个第一元素与检索信息之间的匹配程度；根据各个第一元素与检索信息之间的匹配程度，获取至少两个第一元素序列与检索信息之间的相似度，每个第一元素序列中包括至少一个第一元素；提取与检索信息之间的相似度最高的第一元素序列作为检索结果。本申请实施例相较于采用滑动窗口的方式，无需对被检索对象中的第一元素进行重复处理，降低了检索过程的复杂度，有助于提升检索速度。

Description

检索方法、装置及设备

技术领域

本申请实施例涉及AI(Artificial Intelligence，人工智能)技术领域，特别涉及一种检索方法、装置及设备。

背景技术

在视频检索领域，目前存在一种检索需求，给定检索信息，从目标视频中检索出与该检索信息相关的视频片段。其中，检索信息可以是一关于视频内容的自然语言描述语句，如“一个女人将风筝收回来”。

在相关技术中，采用下述方式实现上述检索需求：使用滑动窗口对目标视频进行采样，获取滑动窗口内的视频片段；分别提取滑动窗口内的视频片段的特征表示，以及检索信息的特征表示；通过线性变换或者神经网络将视频片段的特征表示和检索信息的特征表示映射到同一空间，并进行相似度计算，最终提取出与检索信息相似度最高的视频片段作为检索结果。

在视频采样的过程中，由于要考虑视频片段不同的时间位置及时长，被检索的目标视频中的每一帧要被多次重复处理，复杂度很高。

发明内容

本申请实施例提供了一种检索方法、装置及设备，以降低检索时的复杂度。所述技术方案如下：

一方面，本申请实施例提供一种检索方法，所述方法包括：

获取被检索对象和检索信息；

采用第一循环神经网络提取所述被检索对象中包含的各个第一元素的特征表示；

根据各个所述第一元素的特征表示和所述检索信息的特征表示，分别计算每个第一元素与所述检索信息之间的匹配程度；

根据各个所述第一元素与所述检索信息之间的匹配程度，获取至少两个第一元素序列与所述检索信息之间的相似度，其中，每个第一元素序列中包括至少一个第一元素；

提取与所述检索信息之间的相似度最高的第一元素序列作为检索结果。

另一方面，本申请实施例提供一种检索装置，所述装置包括：

信息获取模块，用于获取被检索对象和检索信息；

特征提取模块，用于采用第一循环神经网络提取所述被检索对象中包含的各个第一元素的特征表示；

匹配计算模块，用于根据各个所述第一元素的特征表示和所述检索信息的特征表示，分别计算每个第一元素与所述检索信息之间的匹配程度；

相似度获取模块，用于根据各个所述第一元素与所述检索信息之间的匹配程度，获取至少两个第一元素序列与所述检索信息之间的相似度，其中，每个第一元素序列中包括至少一个第一元素；

结果提取模块，用于提取与所述检索信息之间的相似度最高的第一元素序列作为检索结果。

再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法。

又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法。

本申请实施例提供的技术方案中，通过分别计算被检索对象中包含的每个第一元素与检索信息之间的匹配程度，根据上述匹配程度获取至少两个第一元素序列与检索信息之间的相似度，而后提取与检索信息之间的相似度最高的第一元素序列作为检索结果，相较于采用滑动窗口的方式，无需对被检索对象中的第一元素进行重复处理(包括特征提取、变换、映射等处理)，降低了检索过程的复杂度，有助于提升检索速度。

附图说明

图1是本申请一个实施例提供的检索方法的流程图；

图2是本申请另一个实施例提供的检索方法的流程图；

图3是本申请一个实施例提供的模型的示意图；

图4是本申请一个实施例提供的检索装置的框图；

图5是本申请一个实施例提供的计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，例如该计算机设备可以是PC(Personal Computer，个人计算机)、服务器、手机、平板电脑、多媒体播放设备、可穿戴设备等。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为“设备”进行介绍说明，但对此不构成限定。

本申请实施例提供的方法，可应用于针对给定的自然语言描述语句，从视频中检索获取与该自然语言描述语句相关的视频片段的应用场景中，也即被检索对象为视频，检索信息为自然语言描述语句。此外，所述的被检索对象除视频之外，还可以是文本或者音频，所述的检索信息除自然语言描述语句之外，还可以是视频(或视频片段)、音频(或音频片段)或者其它文本信息，也即本申请实施例提供的方法对于其它应用场景中解决类似的问题，同样适用。在下述方法实施例中，主要以被检索对象为视频，检索信息为自然语言描述语句这一应用场景为例，对本申请技术方案进行介绍说明。

请参考图1，其示出了本申请一个实施例提供的检索方法的流程图。该方法可以包括如下几个步骤：

步骤101，获取被检索对象和检索信息。

在上文已经介绍，针对不同的应用场景，被检索对象和检索信息也有可能不同。例如，当被检索对象为视频，检索信息为自然语言描述语句时，本申请实施例提供的方法能够从上述视频中检索获取与该自然语言描述语句相关的视频片段，比如视频为一影视剧，自然语言描述语句为“男主从水中救起女主”。又例如，当被检索对象为视频，检索信息为视频片段A时，本申请实施例提供的方法能够从上述视频中检索获取与视频片段A相关的视频片段B，以实现相似视频片段的检索功能。又例如，当被检索对象为一文本，检索信息为一句子时，本申请实施例提供的方法能够从上述文本中检索获取与该句子相关的语句或者段落，以实现文本阅读理解的功能。当然，上述针对被检索对象和检索信息的介绍仅是示例性和解释性的，并不用于限定本申请。

步骤102，采用第一循环神经网络提取被检索对象中包含的各个第一元素的特征表示。

被检索对象中包含多个按序排列的第一元素。例如，当被检索对象为视频时，第一元素可以是视频帧，被检索对象中包含多个按序排列的视频帧。又例如，当被检索对象为音频时，第一元素可以是音频帧，被检索对象中包含多个按序排列的音频帧。又例如，当被检索对象为文本时，第一元素可以是词语、句子或者段落，被检索对象中包含多个按序排列的词语、句子或者段落。

RNN(Recurrent Neural Network，循环神经网络)用于处理序列形式的数据，循环神经网络的隐藏层内存在自我递归的连接，隐藏层输入不仅包括当前时刻输入层的输出，而且还包括上一时刻隐藏层的输出。循环神经网络也称为多层反馈神经网络。

各个第一元素的特征表示是通过第一循环神经网络输出的关于被检索对象中包含的各个第一元素的隐藏层特征的向量。

如果被检索对象中包含的第一元素的数量较多，第一循环神经网络中传输的信息会很快地衰减，而LSTM(Long Short Term Memory，长短期记忆)网络在循环神经网络的基础上增加了遗忘和强化学习的算法，对于长度较长的序列的分析有较强的优势，因此，第一循环神经网络可以是第一LSTM网络。

步骤103，根据各个第一元素的特征表示和检索信息的特征表示，分别计算每个第一元素与检索信息之间的匹配程度。

检索信息的特征表示是关于检索信息的隐藏层特征的向量，检索信息的特征表示同样可以采用循环神经网络提取，有关检索信息的特征表示的提取过程，将在下文详细说明。

第一元素与检索信息之间的匹配程度，表征了第一元素与检索信息之间的相关性(或相似度)。该匹配程度越高，则表征相关性(或相似度)越大；该匹配程度越低，则表征相关性(或相似度)越小。第一元素与检索信息之间的匹配程度，可以采用循环神经网络获取，有关该匹配程度的获取过程，将在下文详细说明。

步骤104，根据各个第一元素与检索信息之间的匹配程度，获取至少两个第一元素序列与检索信息之间的相似度，其中，每个第一元素序列中包括至少一个第一元素。

可选地，在每个第一元素的位置处，设备获取至少一个第一元素序列，并分别计算所获取的每个第一元素序列与检索信息之间的相似度，其中，在第i个第一元素的位置处获取的第一元素序列，包括该第i个第一元素，可选地还包括位于该第i个第一元素之前的至少一个第一元素，i为正整数。

以被检索对象为视频为例，在第10个视频帧的位置处获取如下几个视频片段：视频片段1(包括第10个视频帧)、视频片段2(包括第9至10个视频帧)、视频片段3(包括第8至10个视频帧)，以此类推。在每个视频帧的位置处获取的视频片段的数量以及每个视频片段的长度，可以预先进行设定，例如根据训练样本所包括的视频片段的长度进行聚类得到。

步骤105，提取与检索信息之间的相似度最高的第一元素序列作为检索结果。

可选地，当检索信息为自然语言描述语句，被检索对象为视频时，从该视频中提取与上述自然语言描述语句之间的相似度最高的视频片段，作为检索结果。

综上所述，本申请实施例提供的方案中，通过分别计算被检索对象中包含的每个第一元素与检索信息之间的匹配程度，根据上述匹配程度获取至少两个第一元素序列与检索信息之间的相似度，而后提取与检索信息之间的相似度最高的第一元素序列作为检索结果，相较于采用滑动窗口的方式，无需对被检索对象中的第一元素进行重复处理(包括特征提取、变换、映射等处理)，降低了检索过程的复杂度，有助于提升检索速度。

请参考图2，其示出了本申请另一个实施例提供的检索方法的流程图。该方法可以包括如下几个步骤：

步骤201，获取被检索对象和检索信息。

本步骤与图1实施例中的步骤101相同，参见图1实施例中的介绍说明，此处不再赘述。

步骤202，采用第一循环神经网络提取被检索对象中包含的各个第一元素的特征表示。

本步骤与图1实施例中的步骤102相同，参见图1实施例中的介绍说明，此处不再赘述。

可选地，当第一循环神经网络为第一LSTM网络时，被检索对象中包含的各个第一元素的特征表示可以记为：H^V＝LSTM_v(V)。H^V为一矩阵，其第i列代表第i个第一元素的特征表示，i为正整数。

步骤203，采用第二循环神经网络提取检索信息中包含的各个第二元素的特征表示。

检索信息中包含多个按序排列的第二元素。例如，当检索信息为自然语言描述语句时，第二元素可以是单词，检索信息中包含多个按序排列的单词。又例如，当检索信息为视频片段时，第二元素可以是视频帧，检索信息中包含多个按序排列的视频帧。

在本申请实施例中，对自然语言描述语句的语言种类不作限定，其可以是中文、英文或者其它语言。通过分词算法可以将自然语言描述语句划分为若干个单词。针对不同的语言种类，可以采用不同的分词算法。例如对于英文，可以通过空格分割出单词；又例如对于中文，可以使用ICTCLAS(Institute of Computing Technology，Chinese LexicalAnalysis System，中文词法分析系统)进行分词。在本申请实施例中，对分词算法的选择不作限定。

各个第二元素的特征表示是通过第二循环神经网络输出的关于检索信息中包含的各个第二元素的隐藏层特征的向量。

可选地，当第二循环神经网络为第二LSTM网络时，检索信息中包含的各个第二元素的特征表示可以记为：H^Q＝LSTM_q(Q)。H^Q为一矩阵，其第i列代表第i个第二元素的特征表示，i为正整数。

步骤204，根据各个第二元素的特征表示，采用注意力机制计算检索信息相对于各个第一元素的动态特征表示。

在本申请实施例中，引入注意力机制(Attention Mechanism)来获得第一元素和第二元素之间细粒度的动态关联。

可选地，按照下述公式计算检索信息相对于第t个第一元素的动态特征表示

其中，

为检索信息中的第n个第二元素的特征表示，

为相对于第t个第一元素，检索信息中的第n个第二元素的注意力权重，t为大于1的整数，n为大于1的整数。

上述

的计算公式如下：

其中，

向量w、矩阵W^*(包括W^Q、W^V、W^R)、偏差向量b和偏差向量c为模型参数，其在模型训练过程中确定，

是第三循环神经网络的隐藏层向量。有关第三循环神经网络的介绍说明，参见下述步骤205中的描述。

以被检索对象为视频，且检索信息为自然语言描述语句为例，对于当前视频帧，基于该帧的特征表示，通过注意力网络为自然语言描述中的每一个单词生成相应的注意力权重，并在这些权重的基础上对所有单词进行加权求和，从而得到整个自然语言描述语句相对于当前视频帧的动态特征表示。

步骤205，分别将每个第一元素的特征表示及检索信息相对于第一元素的动态特征表示输入至第三循环神经网络，得到每个第一元素与检索信息之间的匹配程度。

在本申请实施例中，通过第三循环神经网络获取第一元素与检索信息之间的匹配程度。对于每个第一元素，将该第一元素的特征表示及检索信息相对于该第一元素的动态特征表示进行串联拼接，得到拼接结果，然后将拼接结果输入至第三循环神经网络，得到第一元素与检索信息之间的匹配程度。

可选地，第三循环神经网络为第三LSTM网络，上述匹配程度可以记为：

其中，

是第三循环神经网络的隐藏层向量，r_t是第t个第一元素的特征表示

和检索信息相对于该第t个第一元素的动态特征表示

示的串联拼接结果。

步骤206，根据各个第一元素与检索信息之间的匹配程度，获取至少两个第一元素序列与检索信息之间的相似度。

其中，每个第一元素序列中包括至少一个第一元素。

可选地，按照下述公式计算与第t个第一元素相关的至少一个第一元素序列与检索信息之间的相似度S_t：

其中，矩阵W^K和偏差向量

为模型参数，其可在模型训练过程中确定，

是第三循环神经网络的隐藏层向量，K为正整数，表示在第t个第一元素的位置处获取的第一元素序列的数量，相应地，S_t为一个K维向量。

步骤207，提取与检索信息之间的相似度最高的第一元素序列作为检索结果。

综上所述，本申请实施例提供的方案中，通过分别计算被检索对象中包含的每个第一元素与检索信息之间的匹配程度，根据上述匹配程度获取至少两个第一元素序列与检索信息之间的相似度，而后提取与检索信息之间的相似度最高的第一元素序列作为检索结果，相较于采用滑动窗口的方式，无需对被检索对象中的第一元素进行重复处理(包括特征提取、变换、映射等处理)，降低了检索过程的复杂度，有助于提升检索速度。

另外，本申请实施例提供的方案中，还通过引入注意力机制来获得第一元素和第二元素之间细粒度的动态关联，例如随着视频中所描述的事件的发展，自然语言描述语句中每个单词在检索中所起的作用的大小也是变化的，通过引入注意力机制则能够体现上述变化，从而提高检索精度。

请参考图3，其示出了本申请实施例提供的检索方法所采用的模型的示意图。该模型包括：输入层(图中未示出)、第一预处理层31、第二预处理层31、匹配层33、定位层34和输出层(图中未示出)。

输入层用于输入被检索对象和检索信息。

第一预处理层31用于提取被检索对象中包含的各个第一元素的特征表示。

第二预处理层32用于提取检索信息中包含的各个第二元素的特征表示。

匹配层33用于根据各个第二元素的特征表示，采用注意力机制计算检索信息相对于各个第一元素的动态特征表示(在图3中以不同填充的方框表示)，而后分别将每个第一元素的特征表示及检索信息相对于第一元素的动态特征表示输入至第三循环神经网络，得到每个第一元素与检索信息之间的匹配程度。

定位层34用于根据各个第一元素与检索信息之间的匹配程度，获取至少两个第一元素序列与检索信息之间的相似度。例如，如图3所示，定位层34在第t个第一元素的位置处，对K个第一元素序列与检索信息之间的相似度进行打分，生成一个K维的分数向量。

输出层用于根据定位层34的相似度打分情况输出检索结果，该检索结果是与检索信息之间的相似度最高的第一元素序列。

在实际应用中，在构建上述模型之后，采用一定数量的训练样本对该模型的参数进行训练，以获得符合预设的精度要求的模型。而后，该训练完成的模型即可用于完成上述方法示例提供的检索功能。每一个训练样本包括一被检索对象、一检索信息以及一检索结果，上述检索结果可以是采用人工标注的方式从检索对象中标注的与检索信息相匹配的第一元素序列。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图4，其示出了本申请一个实施例提供的检索装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：信息获取模块410、特征提取模块420、匹配计算模块430、相似度获取模块440和结果提取模块450。

信息获取模块410，用于获取被检索对象和检索信息。

特征提取模块420，用于采用第一循环神经网络提取所述被检索对象中包含的各个第一元素的特征表示。

匹配计算模块430，用于根据各个所述第一元素的特征表示和所述检索信息的特征表示，分别计算每个第一元素与所述检索信息之间的匹配程度。

相似度获取模块440，用于根据各个所述第一元素与所述检索信息之间的匹配程度，获取至少两个第一元素序列与所述检索信息之间的相似度，其中，每个第一元素序列中包括至少一个第一元素。

结果提取模块450，用于提取与所述检索信息之间的相似度最高的第一元素序列作为检索结果。

综上所述，本申请实施例提供的方案中，通过分别计算被检索对象中包含的每个第一元素与检索信息之间的匹配程度，根据上述匹配程度获取至少两个第一元素序列与检索信息之间的相似度，而后提取与检索信息之间的相似度最高的第一元素序列作为检索结果，相较于采用滑动窗口的方式，无需对被检索对象中的第一元素进行重复处理(包括特征提取、变换、映射等处理)，降低了检索过程的复杂度，有助于提升检索速度。

在基于图5实施例提供的一个可选实施例中，所述匹配计算模块430，用于：

采用第二循环神经网络提取所述检索信息中包含的各个第二元素的特征表示；

根据各个所述第二元素的特征表示，采用注意力机制计算所述检索信息相对于各个所述第一元素的动态特征表示；

分别将每个第一元素的特征表示及所述检索信息相对于所述第一元素的动态特征表示输入至第三循环神经网络，得到每个第一元素与所述检索信息之间的匹配程度。

可选地，所述匹配计算模块430，用于按照下述公式计算所述检索信息相对于第t个第一元素的动态特征表示

其中，

为所述检索信息中的第n个第二元素的特征表示，

为相对于所述第t个第一元素，所述检索信息中的第n个第二元素的注意力权重，t为大于1的整数，n为大于1的整数。

可选地，所述匹配计算模块430，还用于按照下述公式计算所述

其中，

向量w、矩阵W^*、偏差向量b和偏差向量c为模型参数，

是所述第三循环神经网络的隐藏层向量。

可选地，所述匹配计算模块430，用于对于每个第一元素，将所述第一元素的特征表示及所述检索信息相对于所述第一元素的动态特征表示进行串联拼接，得到拼接结果；将所述拼接结果输入至所述第三循环神经网络，得到所述第一元素与所述检索信息之间的匹配程度。

在基于图4实施例提供的另一个可选实施例中，所述相似度获取模块440，用于按照下述公式计算与第t个第一元素相关的至少一个第一元素序列与所述检索信息之间的相似度S_t：

其中，矩阵W^K和偏差向量

为模型参数，

是所述第三循环神经网络的隐藏层向量。

在基于图4实施例提供的另一个可选实施例中，所述被检索对象为视频，且所述检索信息为自然语言描述语句。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图5，其示出了本申请一个实施例提供的计算机设备500的结构框图。该计算机设备500可以是PC、服务器、手机、平板电脑、多媒体播放设备、可穿戴设备等。

通常，计算机设备500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的方法。

在一些实施例中，计算机设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源505中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或Wi-Fi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置计算机设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在计算机设备500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在计算机设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位计算机设备500的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源909用于为计算机设备500中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以计算机设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测计算机设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对计算机设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在计算机设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在计算机设备500的侧边框时，可以检测用户对计算机设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置计算机设备500的正面、背面或侧面。当计算机设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在计算机设备500的前面板。接近传感器516用于采集用户与计算机设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图5中示出的结构并不构成对计算机设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例中实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行，以实现上述检索方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述检索方法。

可选地，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述检索方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种检索方法，其特征在于，所述方法包括：

获取给定的视频和自然语言描述语句，所述自然语言描述语句为描述所述给定的视频中的视频内容的语句；

采用第一循环神经网络提取所述给定的视频中包含的各个视频帧的特征表示；

采用第二循环神经网络提取所述自然语言描述语句中包含的各个单词的特征表示；

对于各个视频帧中的每个视频帧，根据所述每个视频帧的特征表示和各个所述单词的特征表示，采用注意力机制计算所述自然语言描述语句中各个所述单词对应的注意力权重，在各个所述单词对应的注意力权重的基础上对所有单词进行加权求和，得到整个所述自然语言描述语句相对于所述每个视频帧的动态特征表示；

分别将所述每个视频帧的特征表示及所述自然语言描述语句相对于所述每个视频帧的动态特征表示输入至第三循环神经网络，得到所述每个视频帧与所述自然语言描述语句之间的匹配程度；

按照下述公式计算与第t个视频帧相关的至少一个视频帧序列与所述自然语言描述语句之间的相似度S_t：

其中，矩阵W^K和偏差向量

为模型参数，

是所述第三循环神经网络的隐藏层向量，并且

代表所述第t个视频帧与所述自然语言描述语句之间的匹配程度，所述与第t个视频帧相关的至少一个视频帧序列为在所述第t个视频帧的位置处获取的至少一个视频帧序列；

提取与所述自然语言描述语句之间的相似度最高的视频帧序列作为检索结果，所述检索结果为所述给定的视频中的视频片段。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照下述公式计算所述自然语言描述语句相对于第t个视频帧的动态特征表示

其中，

为所述自然语言描述语句中的第n个单词的特征表示，

为相对于所述第t个视频帧，所述自然语言描述语句中的第n个单词的注意力权重，t为大于1的整数，n为大于1的整数。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

按照下述公式计算所述

其中，

向量w、矩阵W^Q、矩阵W^V、矩阵W^R、偏差向量b和偏差向量c为模型参数，

是所述第三循环神经网络的隐藏层向量，

是所述第t个视频帧的特征表示。

4.根据权利要求1所述的方法，其特征在于，所述分别将所述每个视频帧的特征表示及所述自然语言描述语句相对于所述每个视频帧的动态特征表示输入至第三循环神经网络，得到所述每个视频帧与所述自然语言描述语句之间的匹配程度，包括：

对于所述每个视频帧，将所述每个视频帧的特征表示及所述自然语言描述语句相对于所述每个视频帧的动态特征表示进行串联拼接，得到拼接结果；

将所述拼接结果输入至所述第三循环神经网络，得到所述每个视频帧与所述自然语言描述语句之间的匹配程度。

5.一种检索装置，其特征在于，所述装置包括：

信息获取模块，用于获取给定的视频和自然语言描述语句，所述自然语言描述语句为描述所述给定的视频中的视频内容的语句；

特征提取模块，用于采用第一循环神经网络提取所述给定的视频中包含的各个视频帧的特征表示；以及采用第二循环神经网络提取所述自然语言描述语句中包含的各个单词的特征表示；

匹配计算模块，用于对于各个视频帧中的每个视频帧，根据所述每个视频帧的特征表示和各个所述单词的特征表示，采用注意力机制计算所述自然语言描述语句中各个所述单词对应的注意力权重，在各个所述单词对应的注意力权重的基础上对所有单词进行加权求和，得到整个所述自然语言描述语句相对于所述每个视频帧的动态特征表示；以及分别将所述每个视频帧的特征表示及所述自然语言描述语句相对于所述每个视频帧的动态特征表示输入至第三循环神经网络，得到所述每个视频帧与所述自然语言描述语句之间的匹配程度；

相似度获取模块，用于按照下述公式计算与第t个视频帧相关的至少一个视频帧序列与所述自然语言描述语句之间的相似度S_t：

其中，矩阵W^K和偏差向量

为模型参数，

是所述第三循环神经网络的隐藏层向量，并且

代表所述第t个视频帧与所述自然语言描述语句之间的匹配程度，所述与第t个视频帧相关的至少一个视频帧序列为在所述第t个视频帧的位置处获取的至少一个视频帧序列；

结果提取模块，用于提取与所述自然语言描述语句之间的相似度最高的视频帧序列作为检索结果，所述检索结果为所述给定的视频中的视频片段。

6.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至4任一所述的检索方法。

7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至4任一所述的检索方法。

Images