CN109614515A - 视频搜索评价方法和系统 - Google Patents

Abstract

本发明提供了一种视频搜索评价方法和系统，该方法包括：将一个视频搜索请求进行两次视频检索，并且两次检索使用不同的视频搜索策略，并对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序，并将排序后的目标视频排序结果返回给用户，使得用户的一次视频搜索请求的响应结果可以命中两种视频搜索策略，并基于用户对该目标视频排序结果中选取的多个目标候选视频，来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系，从而评价两种视频搜索策略的优劣。提升了对视频搜索策略评价的灵敏度，并降低了测试流量的占比。

Description

视频搜索评价方法和系统

技术领域

本发明涉及视频搜索技术领域，特别是涉及一种视频搜索评价方法和系统。

背景技术

目前，随着软件版本的不断升级和改进，视频软件中常常会涉及视频搜索策略的更新迭代，那么为了确定新的视频搜索策略是否优于目前的已有视频搜索策略，一般在将新的视频搜索策略上线之前通过A/B test的方式进行评估。

具体而言，A/B test的对照组(例如应用已有视频搜索策略A的流量)和实验组(例如应用新的视频搜索策略B的流量)一般分配在不同的方法策略桶(bucket)中，一个bucket表示一份流量。即，分配至bucket_A的流量(视频搜索请求)会使用视频搜索策略A进行视频搜索，分配至bucket_B的流量(视频搜索请求)会使用视频搜索策略B进行视频搜索，然后，将视频搜索结果均返回给相应的用户，最后，根据用户对视频搜索结果的点击量、转化量等参数，来确定哪种视频搜索策略更具优势。

由此可见，A/B test评估方法需要对每种视频搜索策略都分配一个方法策略桶(即一份流量)，那么在评估视频搜索策略时，则需要多份流量，而当系统分配的用于测试的流量较少时，则会使得每种视频搜索策略分配到的流量更少，容易造成评估不准确的问题。

此外，一般新上线的视频搜索策略B与已有视频搜索策略A之间的差异很小，例如只是几个参数的权重有比较小的改变等，但是，A/B test却容易给出波动较大的评价结果，使得评价灵敏度较差。

由此可见，传统技术中的视频搜索评价方案普遍存在着测试流量占比高、测试灵敏度差的问题。

发明内容

本发明提供了一种视频搜索评价方法和系统，以解决现有技术中的视频搜索评价方案所存在的测试流量占比高、测试灵敏度差的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种视频搜索评价方法，包括：

将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

可选地，所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果之后，所述方法还包括：

获取所述视频检索模块的预设压力参数；

当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标方法策略桶的目标视频搜索请求的最大值；

根据降低后的所述最大值，确定分配至所述目标方法策略桶的目标视频搜索请求的数量。

可选地，所述将目标视频搜索请求分两次发送至视频检索模块之前，所述方法还包括：

获取目标方法策略桶的预设流量配置信息；

获取接收到的每个视频搜索请求中的预设ID信息；

根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

可选地，所述响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户之前，所述方法还包括：

记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

可选地，所述视频检索模块包括多个分片服务器，

所述将目标视频搜索请求分两次发送至视频检索模块，包括：

将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

所述接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，包括：

接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果；

对所述多个第一分片结果进行归并处理，得到第一视频排序结果；

对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

可选地，所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果，包括：

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

根据本发明的另一方面，本发明还公开了一种视频搜索评价系统，包括：

发送模块，用于将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收模块，用于接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

重排模块，用于根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应模块，用于响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

第一确定模块，用于确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

第一获取模块，用于获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

评价模块，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

可选地，所述系统还包括：

第二获取模块，用于获取所述视频检索模块的预设压力参数；

降低模块，用于当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标系统策略桶的目标视频搜索请求的最大值；

第二确定模块，用于根据降低后的所述最大值，确定分配至所述目标系统策略桶的目标视频搜索请求的数量。

可选地，所述系统还包括：

第三获取模块，用于获取目标方法策略桶的预设流量配置信息；

第四获取模块，用于获取接收到的每个视频搜索请求中的预设ID信息；

第三确定模块，用于根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

分配模块，用于将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

可选地，所述系统还包括：

记录模块，用于记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

可选地，所述视频检索模块包括多个分片服务器，

所述发送模块，还用于将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

所述接收模块，还用于接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果；

可选地，所述系统还包括：

归并模块，用于对所述多个第一分片结果进行归并处理，得到第一视频排序结果，以及对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

可选地，所述评价模块包括：

计算子模块，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

第一评价子模块，用于若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

第二评价子模块，用于若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

第三评价子模块，用于若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

与现有技术相比，本发明包括以下优点：

本发明通过将一个视频搜索请求进行两次视频检索，并且两次检索使用不同的视频搜索策略，并对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序，并将排序后的目标视频排序结果返回给用户，使得用户的一次视频搜索请求的响应结果(即目标视频排序结果)可以命中两种视频搜索策略，并基于用户对该目标视频排序结果中选取的多个目标候选视频，来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系，从而评价两种视频搜索策略的优劣。即便两种视频搜索策略的差异较小，但是用户的一次目标视频搜索请求可以命中，基于两种视频搜索策略而混排得到目标视频排序结果，从而了解用户对两种视频搜索策略的喜欢程度，提升了对视频搜索策略评价的灵敏度；此外，本发明的视频搜索策略评价方法只针对一个方法策略桶中的流量即可以完成对两种视频搜索策略的评价，从而降低了测试流量的占比。

附图说明

图1是本发明的一种视频搜索评价方法实施例的步骤流程图；

图2是本发明的一种视频搜索评价系统实施例的系统框图；

图3是本发明的另一种视频搜索评价系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种视频搜索评价方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，将接收到的目标视频搜索请求分配至目标方法策略桶；

其中，本发明实施例可以预先设置多种方法策略桶，不同方法策略桶可以对应不同的视频搜索策略，对于分配到某个方法策略桶中的流量(即多个视频搜索请求)，可以采用与该方法策略桶对应的视频搜索策略来对分配的流量进行响应处理。

其中，分配至目标方法策略桶中的流量，为供本发明实施例的方法评价不同视频搜索策略的测试流量。

在相关技术中，在评价多个视频搜索策略时，需要使用多个方法策略桶，即多份流量来进行视频搜索策略的评价，例如需要评价2个视频搜索策略，则需要使用2个方法策略桶的流量进行测试。那么在默认各个方法策略桶的流量分配方法是不变的情况下，在本发明实施例中，为了评价不同视频搜索策略，本发明实施例的方法只需要一个目标方法策略桶提供测试流量(例如需要评价的2个视频搜索策略都使用目标方法策略桶中的测试流量，相较于A/Btest方法，可以将测试流量减半)，并不需要多个方法策略桶，从而在各个方法策略桶的流量分配方法一致的情况下，大幅降低了测试流量占比。

其中，在一个实施例中，在执行步骤101时，可以通过如下子步骤来实现：

S11，获取目标方法策略桶的预设流量配置信息；

具体可以参照如图2所示的本发明实施例的视频搜索评价系统的系统框图，mixer模块可以接收流量，那么为了实现对接收到的流量的方法策略桶分配，这里mixer模块可以定期从数据库(例如NOSQL数据库：couchbase)中拉取rank配置表，其中，该rank配置表中记载了每个方法策略桶的预设流量配置信息，该预设流量配置信息记载了如何从众多流量中确定分配至相应方法策略桶的方法。因此，每个方法策略桶的预设流量配置信息为流量分配依据。

例如，如图2所示，这里示出了方法策略桶A(bucket_A)和方法策略桶B(bucket_B)，bucket_A的流量配置信息为视频搜索请求的ID与3取模结果为1的所有视频搜索请求，例如视频搜索请求的ID为4、7等的视频搜索请求都会分配至bucket_A中；bucket_B的流量配置信息为视频搜索请求的ID与3取模结果为2的所有视频搜索请求，例如视频搜索请求的ID为5、8等的视频搜索请求都会分配至bucket_B中。

需要注意的是，流量分配策略并不限于此，还可以包括ID与3取模结果为1、2的请求分配至bucket_A中，ID与3取模结果为3、4的请求分配至bucket_B中等等流量分配策略。

例如，本发明实施例的目标方法策略桶为bucket_A。

当然取模运算只是一种流量配置信息的举例，流量配置信息/策略并不限于此。

S12，获取接收到的每个视频搜索请求中的预设ID信息；

其中，该预设ID信息可以为用户登录ID(其中，用户登陆网站后，由网站生成，同一个登陆用户只有唯一的登陆ID)或者设备ID(用户使用手机或pad等登陆网站，一般请求中会传入设备的ID，设备ID也是唯一的)。

其中，在分配流量时，优先按照用户登录ID进行方法策略桶的分配，当视频搜索请求中不存在用户登录ID时，再按照设备ID进行方法策略桶的分配，当视频搜索请求中既不存在用户登录ID，又不存在设备ID时，则对该视频搜索请求进行随机分配，那么随机分配的视频搜索请求可能被分配到任意一个bucket(方法策略桶)中。

S13，根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

其中，如上述所述，例如该预设流量配置信息为取模运算的结果，那么本步骤就可以确定预设ID与3的取模结果为1的所有视频搜索请求，即为待分配至目标方法策略桶的目标视频搜索请求。

S14，将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

例如，本步骤中，可以将视频搜索请求ID为4、7的两个视频搜索请求分配至目标方法策略桶bucket_A中。

类似的，还可以将视频搜索请求ID为5、8的两个视频搜索请求都会分配至bucket_B中。

本发明实施例利用视频搜索请求的预设ID信息和预设流量配置信息，来对接收到的视频搜索请求进行目标方法策略桶的分配，确保了分配至本发明实施例的目标方法策略桶的流量的随机性，进一步确保评价两种视频搜索策略时的评价准确性。

可选地，在另一个实施例中，在步骤101之后，步骤102之前，根据本发明实施例的方法还可以包括：

对分配至目标方法策略桶的目标视频搜索请求添加预设标记；

其中，图2中的mixer模块在按照各个方法策略桶的预设流量配置信息，将接收到的流量分配至各个方法策略桶后，还可以对已经分配到本发明实施例的目标方法策略桶(即bucket_A)的视频搜索请求(包括按照预设流量配置信息进行分配的视频搜索请求和随机分配的视频搜索请求)进行标记。

例如：对于分配至目标方法策略桶的参数is_interleaving的赋值为true。

最后，mixer模块将接收到所有视频搜索请求(包括具有预设标记和不具有预设标记的所有视频搜索请求)发送给root模块。

步骤102，将所述目标视频搜索请求分两次发送至视频检索模块；

其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求。

其中，如图2所示，root模块在接收到mixer模块发送的视频搜索请求后，可以根据视频搜索请求是否具有预设标记，来确定对哪些视频搜索请求分两次发送给视频检索模块。

具体而言，root模块可以根据视频搜索请求的参数is_interleaving的赋值是否为true，来确定出该视频搜索请求是否需要发送两次，那么在分析出参数is_interleaving的赋值为true的目标视频搜索请求后(即，只针对分配至目标方法策略桶的视频搜索请求进行后续的分两次发送)，就可以将该目标视频搜索请求分两次发送给视频检索模块，并且，两次发送的目标视频搜索请求分别作第一视频搜索策略的标记(例如标记为视频搜索策略1)和第二视频搜索策略的标记(例如标记为视频搜索策略2)，即两次发送的目标视频搜索请求是同一个请求，但是它们具有不同的视频搜索策略的标记。

在本发明实施例中，在评价两个视频搜索策略时，只需要使用一个目标方法策略桶中的流量进行不同策略的评价，不需要使用两个方法策略桶，从而降低了策略流量占比。

而在其他实施例中，针对非目标视频搜索请求，即参数is_interleaving的赋值不为true的视频搜索请求，root模块直接发送一次该视频搜索请求至视频检索模块。

其中，root模块主要负责接收视频搜索请求并将视频搜索请求转发给视频检索模块，并对视频检索模块返回的结果进行归并等处理。

步骤103，接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果；

其中，所述第一视频排序结果为根据对应第一视频搜索策略标记的第一视频搜索策略而搜索到的结果，第二视频排序结果为根据对应第二视频搜索策略标记的第二视频搜索策略而搜索到的结果；

其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1。也就是说，虽然对目标视频搜索请求进行的两次搜索采用的是不同的视频搜索策略，但是搜索到的视频列表是相同的，只不过视频列表中各个候选视频的排序方式不同而已，所以可以得到利用两种视频策略进行搜索而得到的两种视频排序结果。

具体如图2所示，leaf模块(即，视频检索模块)在接收到root模块发送的目标视频搜索请求后，可以根据该目标视频搜索请求的搜索策略标记，而采用与该标记相应的视频搜索策略进行视频检索。

举例来说，针对一个目标视频搜索请求两次发送至leaf模块后，leaf模块的具体处理过程为：针对标记为视频搜索策略1的目标视频搜索请求，采用视频搜索策略1进行视频搜索，从而得到第一视频排序结果；针对标记为视频搜索策略2的同一目标视频搜索请求，采用视频搜索策略2进行视频搜索，从而得到第二视频排序结果。

leaf模块在搜索得到两种视频排序结果后，就可以分别响应两次目标视频搜索请求，而将对应第一视频搜索策略标记的第一视频排序结果和对应第二视频搜索策略标记的第二视频排序结果都返回至root模块。

这样，root模块就可以接收到leaf模块发送的响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果。

可选地，在一个实施例中，如图2所示，所述视频检索模块(leaf模块)包括多个分片服务器(多个shard)。

由于后台服务器存储的视频是海量的，那么为了提升视频检索速度，可以将后台存储的视频分别存储到不同的分片服务器上，且不同分配服务器执行的代码逻辑是相同的，只不过存储的视频资源不同，这样，当对一个视频搜索请求进行响应时，可以由多个分片服务器同时对该视频搜索请求进行检索，并行的视频检索可以加快视频检索速度，进一步提升视频搜索策略的评价速度。

那么在执行步骤102时，可以将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

具体而言，一个目标视频搜索请求需要发送两次，每次都是发送给多个分片服务器，例如视频检索模块包括5个分片服务器，则每一次发送目标视频搜索请求时，都是将该目标视频搜索请求分发发给5个分片服务器，从而使5个分片服务器并行进行视频检索，每个分片服务器检索到的结果这里称作分片结果。

在执行步骤103时，可以接收来自所述多个分片服务器的多个第一分片结果，并对所述多个第一分片结果进行归并处理，得到第一视频排序结果；还可以接收来自所述多个分片服务器的多个第二分片结果，并对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

例如，分两次发送目标视频搜索请求时，第一次发送时标记的视频搜索策略1，因此，root模块可以接收到来自5个分片服务器的5组视频检索结果，即这里的多个第一分片结果(5组第一分片结果)，并对多个第一分片结果进行归并，得到第一视频排序结果；同理得到第二视频排序结果。

这样，在对任意一个视频搜索请求分两次发送给视频检索模块时，通过每次发送视频搜索请求时，将该视频搜索请求分发给多个分片服务器，从而可以使多个分片服务器并行处理该视频搜索请求，来提升视频检索速度，加快对视频搜索请求的响应速度，而root模块侧又可以对分片结果进行归并处理，从而不会影响root模块侧最终得到的搜索结果的准确性和完整性。

步骤104，根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

其中，第一视频排序结果和第二视频排序结果为使用不同的视频搜索策略对同一个视频搜索请求进行检索而得到的视频检索结果，但是提供给用户展示的只能是一种排序结果，因此，需要对上述两个排序结果进行交叉混排，从而得到一个最终的视频排序结果，即目标视频排序结果，提供给用户查看。

如图2所示，root模块在接收到两种视频检索结果(所述第一视频排序结果和所述第二视频排序结果)后，例如使用视频搜索策略1检索得到的第一视频排序结果为列表A(a,b,c,d,e,f)，使用视频搜索策略2检索得到的第二视频排序结果为列表B(b,c,a,f,e,d)。可以对两个列表中的6个候选视频进行交叉混排，从而得到目标视频排序结果，例如列表C。

可选地，在一个实施例中，在执行步骤104时，可以按照预设选取条件，从所述第一视频排序结果以及所述第二视频排序结果中，分别选取不同的候选视频添加到目标视频排序结果中，使得所述目标视频排序结果包括所述N个候选视频。

其中，所述目标视频排序结果初始为空。

这样，最终呈现的目标视频排序结果能够分别选自上述第一视频排序结果和上述第二视频排序结果。

可选地，在执行步骤104时，可以通过以下交叉混合的步骤S21～S27来实现：

S21，获取所述第一视频排序结果中按序排列在第i个的第一候选视频；

S22，获取所述第二视频排序结果中按序排列在第i个的第二候选视频；

其中，i为大于等于1且小于等于N的整数，i依次取值1……N；

其中，将所述第一候选视频和所述第二候选视频记为一组候选视频；

其中，本发明对于S21和S22的执行顺序不做限制。

以上述使用视频搜索策略1检索得到的第一视频排序结果为列表A(a,b,c,d,e,f)，使用视频搜索策略2检索得到的第二视频排序结果为列表B(b,c,a,f,e,d)为例进行说明，其中，列表A中的各个元素依次为a,b,c,d,e,f，列表B中的各个元素依次为b,c,a,f,e,d。

当i＝1时，从列表A中获取元素a，从列表B中获取元素b。这里，本发明将获取的第一候选视频或第二候选视频命名为元素。

当i＝2时，从列表A中获取元素b，从列表B中获取元素c。

S23，确定所述一组候选视频中不处于目标视频排序结果中的目标候选视频；

其中，所述目标视频排序结果初始为空，且，所述目标视频排序结果中各个候选视频的排列顺序，不同于所述第一视频排序结果中各个候选视频的排列顺序；且，所述目标视频排序结果中各个候选视频的排列顺序，不同于所述第二视频排序结果中各个候选视频的排列顺序。

目标视频排序结果例如为列表C，列表C初始为空；

当i＝1时，上述元素a和元素b都不在列表C中。因此，元素a和元素b都是可以存储到列表C中的目标候选视频。

当i＝2时，从上述列表A和列表B中分别选取的元素包括元素b和元素c，其中，元素b已经存储在列表C中，因此，这里的目标候选视频只有元素c，即选自列表B的元素c，因此后续执行S26。

当i＝3时，从上述列表A和列表B中分别选取的元素包括元素c和元素a，其中，元素a和元素c都已经存储在列表C中，因此，这里没有目标候选视频，因此继续执行S27。

当i＝4时，从上述列表A和列表B中分别选取的元素包括元素d和元素f，其中，上述元素d和元素f都不在列表C中。因此，元素d和元素f都是可以存储到列表C中的目标候选视频。因此后续执行S24。

当i＝5时，从上述列表A和列表B中均选取元素e，其中，上述元素e不在列表C中。因此，元素e是可以存储到列表C中的目标候选视频。因此后续执行S25。

当i＝6时，从上述列表A和列表B中分别选取的元素包括元素f和元素d，其中，元素f和元素d都已经存储在列表C中，因此，这里没有目标候选视频，因此继续执行S27。

S24，若所述目标候选视频为两个且所述第一候选视频和所述第二候选视频不同，则将所述目标候选视频存储在所述目标视频排序结果中，其中，所述第一候选视频和所述第二候选视频在所述目标视频排序结果中相邻排列，且所述第一候选视频排列在所述第二候选视频之前；

这里，目标候选视频的数量为两个，且所述第一候选视频和所述第二候选视频不同。本发明实施例中，以ABAB的顺序来分别从两个列表中选取元素添加到列表C中，即，针对同一组候选视频，先将从列表A中选取的元素添加到列表C中，后将从列表B中选取的元素添加到列表C中。因此，在本发明实施例中，列表C中同一组的候选视频，所述第一候选视频排列在所述第二候选视频之前。当然也可以采用BABA的顺序来选取元素添加到列表C中，即在列表C中的同一组的候选视频，所述第二候选视频排列在所述第一候选视频之前。

本步骤中，i＝1时，存储数据后的列表C依次排列的元素为a,b，这里列表C为(a,b)。

当i＝4时，这里向列表C依次存储元素d和元素f。存储数据后的列表C依次排列的元素为a,b,c,d,f，这里列表C为(a,b,c,d,f)。

S25，若所述目标候选视频为两个且所述第一候选视频和所述第二候选视频相同，则将所述第一候选视频存储在所述目标视频排序结果中；

其中，这里当i＝5时，从列表A和列表B选取的是相同的元素e，因此，只需要将元素e存储到列表C中即可，使得列表C依次排列的元素为a,b,c,d,f，e，这里列表C为(a,b,c,d,f,e)。其中，该元素e可以称作第一候选视频，也可以称作第二候选视频。

S26，若所述目标候选视频为一个，则将所述目标候选视频存储在所述目标视频排序结果中；

当i＝2时，可以将元素c存储到列表C中，其中，在将每组目标候选视频存储在所述目标视频排序结果中时，将该组目标候选视频排列在所述目标视频排序结果中已存储视频之后存储，也就是说，在将本组目标候选视频存储到列表C之前，列表C中已经依次存储有元素a和元素b，因此，这里存储的元素c需要排列在已存储的元素a和元素b之后，使得列表C依次存储有元素a、元素b和元素c，存储数据的列表C(a,b,c)。

其中，S24、S25、S26为两个并列的方案，直走一个分支，当i＝1时，本例执行S24，然后执行S28。

S27，当所述目标候选视频为零个时，则继续获取下一组候选视频，即继续执行S21和S22。

其中，在将每组目标候选视频存储在所述目标视频排序结果中时，将该组目标候选视频排列在所述目标视频排序结果中已存储视频之后存储。

可选地，S28，针对每次存储在所述目标视频排序结果中的目标候选视频，记录该目标候选视频在所述第一视频排序结果中所处的第一排列次序，以及记录该目标候选视频在所述第二视频排序结果中所处的第二排列次序；

换句话说，该S28也可以解释为：记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

其中，记录元素a排列在列表A中的第一位，元素a排列在列表B中的第三位；元素b排列在列表A中第二位，元素b排列在列表B中第一位；记录元素c排列在列表A中第三位，元素c排列在列表B中第二位；记录元素d排列在列表A中第四位，元素d排列在列表B中第六位；记录元素f排列在列表A中第六位，记录元素f排列在列表B中第四位；记录元素e排列在列表A中第五位，记录元素e排列在列表B中第五位。

其中，S28与上述S21～S27的执行顺序可以不相互关联，可以在S103之后执行S28。

其中，S28对目标视频排序结果中各个候选视频在第一视频排序结果、第二视频排序结果中的排列次序进行记录，原因在于当第一视频排序结果和第二视频排序结果作为本次视频搜索评价方法中的中间结果时，由于其经过S104之后，就会被清除，因此，可以提前对各个候选视频在两个排序结果中的排列次序进行记录，便于后续基于用户的点击数据(即从列表C中选取的元素)进行不同搜索策略的评价。

当i＝2,3,4,5,6时，循环执行S21～S23，S24/S25/S26/S27(其中，S24、S25、S26、S27中执行一个步骤)。

最终得到的列表C依次存储的元素为a,b,c,d,f,e，这里列表C为(a,b,c,d,f,e)。

当然，上述举例是以先从列表A中选取，后从列表B中选取候选视频的方式来进行混排的，如果是先从列表B中选取，后从列表A中选取候选视频进行混排，原理是类似的，这样形成的列表C依次存储的元素为b,a,c,f,d,e，这里列表C为(b,a,c,f,d,e)。

其中，列表A和列表B中的元素即为根据目标视频搜索请求而检索到的候选视频。

root模块将列表A和列表B中的候选视频进行交叉混排之后，得到列表C，可以将该列表C返回给mixer模块。

这样，本发明实施例将交织算法引入视频搜索架构中，对目标方法策略桶中的流量分不同策略(例如当前系统所使用的搜索策略A和即将新上线的搜索策略B)去请求视频检索模块，可以得到两种排序结果，最后按照交叉混排的算法融合不同视频搜索策略返回的两种视频排序结果，使得用户一次搜索可以命中两种策略的搜索结果，从而可以快速判断哪种策略更优。

步骤105，响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

其中，mixer模块处理常规逻辑后，可以将上述列表C(a,b,c,d,f,e)返回给用户。

步骤106，确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

其中，可以收集用户对列表C中各个候选视频的点击数据，即确定用户点击了列表C中的哪些视频，这些视频即为选取的多个目标候选视频。

步骤107，获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

可选地，可以根据S28记录的各个排列次序，来获取所述多个目标候选视频中每个目标候选视频(即列表C中被用户选择的元素，在列表A和列表B中分别所处的排列次序)，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

其中，对于任意一个目标候选视频，其在第一视频排序结果中所处的排列次序即为第一排列次序，其在第二视频排序结果中所处的排列次序即为第二排列次序。

步骤108，根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

其中，可以根据用户点击的目标候选视频在列表A和列表B中分别所处的第一排列次序和第二排列次序之间的大小关系，来评价生成列表A的视频搜索策略好，还是生成列表B的视频搜索策略好，还是两个视频搜索策略的搜索效果相同。

可选地，在一个实施例中，在执行步骤108时，可以通过以下方式来实现：

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

即确定第一视频搜索策略更好用。

若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

即确定第二视频搜索策略更好用。

若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

其中，上述评价参数可以采用任何一种方法计算得到的评价参数，该方法可以是借助于用户点击数据来评价两种策略谁优谁劣的任意一种方法。

这样，本发明实施例对采用两种策略分别搜索得到的结果进行交叉混排，得到目标视频排序结果，并结合用户侧对目标视频排序结果中一些视频的点击数据，以及被点击的视频在两个策略对应的排序结果中所处的排列次序，从而计算评价参数，进而确定哪种视频搜索策略更优。

可选地，在一个实施例中，在执行步骤108时，可以通过以下方式来实现：

针对所述多个目标候选视频中每个目标候选视频，若该目标候选视频的对应所述第一排列次序位于所述目标候选视频对应的所述第二排列次序之前，则公式1中的wins(A)的数值加一，若该目标候选视频的对应所述第一排列次序位于所述目标候选视频对应的所述第二排列次序之后，则公式1中的wins(B)的数值加一，若该目标候选视频的对应所述第一排列次序与所述目标候选视频对应的所述第二排列次序相同，则公式1中的ties(A，B)的数值加一；

根据公式1计算评价参数M的数值；

其中，wins(A)和wins(B)的初始值均为0，ties(A，B)的初始值为1；

若最终计算的评价参数M大于0，则确定所述第一视频搜索策略相较于所述第二视频搜索策略视频搜索效果更优；

若最终计算的评价参数M小于0，则确定所述第二视频搜索策略相较于所述第一视频搜索策略视频搜索效果更优；

若最终计算的评价参数M等于0，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

举例来说，例如用户点击的视频包括列表C中的元素a，元素b和元素f。

其中，元素a排列在列表A中的第一位，元素a排列在列表B中的第三位，所以，公式1中的wins(A)+1；元素b排列在列表A中第二位，元素b排列在列表B中第一位，所以，公式1中的wins(B)+1；元素f排列在列表A中第六位，记录元素f排列在列表B中第四位，所以，公式1中的wins(B)+1。最终wins(A)＝1，wins(B)＝2，ties(A，B)保持初始值为1不变，所以：

因此，M>0，表示视频搜索策略1比视频搜索策略2的搜索效果好；如果M<0，则表示视频搜索策略2比视频搜索策略1的搜索效果好；如果M＝0，则表示视频搜索策略2与视频搜索策略1的搜索效果相同。

可选地，由于采用本发明实施例的搜索架构需要针对一个视频搜索请求使用两次视频检索模块进行两次视频检索，此外，root模块还需要对两次检索的两个视频排序结果进行交叉重排，来完成一次数据融合，因此，对于视频检索模块(leaf模块)和root模块的压力都会增大，因此，为了避免leaf模块和root模块的压力过大，造成系统性能下降，本发明实施例的方法可以对分配至bucket_A(即目标方法策略桶)的流量进行灵活调整，从而在不影响线上服务的基础上能够基于同一个视频搜索请求进行不同搜索策略的评价测试。

具体而言，在步骤108之后，根据本发明实施例的方法还可以包括：

获取所述视频检索模块的预设压力参数；

其中，该预设压力参数的获取时机可以是实时的，也可以是按照一定周期进行的，例如10天、15天、一个月等。

其中，该预设压力参数包括但不限于平均响应时间、最长会话时间、响应速度等。

当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标方法策略桶的目标视频搜索请求的最大值；

其中，当一个或几个(例如预设数量，3个)的预设压力参数超过相应的压力参数阈值时(例如平均响应时间超过预设响应时间阈值，且最长会话时间超过预设会话时间阈值，且响应速度超过预设响应时间阈值)，则需要按照预设比例来对待分配至目标方法策略桶的目标视频搜索请求的最大值进行调低(例如原始的最大数量值为1万，该预设比例可以是3％，从而使得调整后的最大数量值为300，使得分配至目标方法策略桶的最大流量为300个视频搜索请求)，这样，mixer模块后续再对bucket_A分配测试流量时，就可以按照调整后的该最大值进行流量的合理分配。

其中，上述最大值为分配至目标方法策略桶的最大流量值，即分配至目标方法策略桶的目标视频搜索请求的总数量。

经过发明人的多次实验和统计，上述预设比例可以在3％～7％之间，还可以是3％、7％、5％。其中，5％流量以下对leaf模块的性能影响较小。

根据所述最大数量值，确定分配至所述目标方法策略桶的目标视频搜索请求的数量。

这样，本发明实施例通过实时的根据视频检索模块的处理压力，来实时调节待分配至使用本发明实施例的目标方法策略桶的流量最大值，也即调节用于测试的流量占比，进一步保证线上服务稳定。

并且，由于在本发明实施例的视频搜索策略评价方法中，用户的一次请求会按照两种视频搜索策略分别请求在线检索服务两次，相当于比平常多发一次请求，这样会给在线检索服务带来一定的压力，因此，需要对使用本发明实施例的评价方法的测试流量进行相应的流量规划，从而保证分配至目标方法策略桶的测试流量不超过处理上限，保证在线检索服务能够正常运行。

借助于本发明上述实施例的技术方案，本发明通过将一个视频搜索请求进行两次视频检索，并且两次检索使用不同的视频搜索策略，并对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序，并将排序后的目标视频排序结果返回给用户，使得用户的一次视频搜索请求的响应结果(即目标视频排序结果)可以命中两种视频搜索策略，并基于用户对该目标视频排序结果中选取的多个目标候选视频，来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系，从而评价两种视频搜索策略的优劣。即便两种视频搜索策略的差异较小，但是用户的一次目标视频搜索请求可以命中，基于两种视频搜索策略而混排得到目标视频排序结果，从而了解用户对两种视频搜索策略的喜欢程度，提升了对视频搜索策略评价的灵敏度；此外，本发明的视频搜索策略评价方法只针对一个方法策略桶中的流量即可以完成对两种视频搜索策略的评价，从而降低了测试流量的占比。

此外，如果将节省的流量也用于视频搜索策略的评价，例如原本提供20％的测试流量，按照传统技术中A/Btest的方法，每个方法策略桶需要使用10％的测试流量，而本发明实施例的方法只需要使用一个方法策略桶就可以完成测试，而如果为了加快评价进度，即加快视频搜索策略的更新迭代速度，还可以将该20％的流量全部用于本发明实施例的方法的视频搜索策略的评价，由于一个视频搜索请求，即一份流量，就可以知道一个用户对两个视频搜索策略的喜欢程度，那么在增大了测试流量的场景下，则可以快速的了解用户对不同视频搜索策略的喜欢程度，从而节省视频搜索策略的评价时间。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图3，示出了本发明一种视频搜索评价系统实施例的结构框图，具体可以包括如下模块：

发送模块31，用于将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收模块32，用于接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

重排模块33，用于根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应模块34，用于响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

第一确定模块35，用于确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

第一获取模块36，用于获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

评价模块37，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

可选地，所述系统还包括：

第二获取模块，用于获取所述视频检索模块的预设压力参数；

降低模块，用于当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标系统策略桶的目标视频搜索请求的最大值；

第二确定模块，用于根据降低后的所述最大值，确定分配至所述目标系统策略桶的目标视频搜索请求的数量。

可选地，所述系统还包括：

第三获取模块，用于获取目标方法策略桶的预设流量配置信息；

第四获取模块，用于获取接收到的每个视频搜索请求中的预设ID信息；

第三确定模块，用于根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

分配模块，用于将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

可选地，所述系统还包括：

记录模块，用于记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

可选地，所述视频检索模块包括多个分片服务器，

所述发送模块31，还用于将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

所述接收模块32，还用于接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果；

所述系统还包括：归并模块，用于对所述多个第一分片结果进行归并处理，得到第一视频排序结果，以及对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

可选地，所述评价模块37包括：

计算子模块，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

第一评价子模块，用于若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

第二评价子模块，用于若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

第三评价子模块，用于若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

本发明实施例的发送模块通过将一个视频搜索请求进行两次视频检索，并且两次检索使用不同的视频搜索策略，并由重排模块对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序，最后由响应模块将排序后的目标视频排序结果返回给用户，使得用户的一次视频搜索请求的响应结果(即目标视频排序结果)可以命中两种视频搜索策略，并由评价模块基于用户对该目标视频排序结果中选取的多个目标候选视频，来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系，从而评价两种视频搜索策略的优劣。即便两种视频搜索策略的差异较小，但是用户的一次目标视频搜索请求可以命中，基于两种视频搜索策略而混排得到目标视频排序结果，从而了解用户对两种视频搜索策略的喜欢程度，提升了对视频搜索策略评价的灵敏度；此外，本发明的视频搜索策略评价方法只针对一个方法策略桶中的流量即可以完成对两种视频搜索策略的评价，从而降低了测试流量的占比。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种视频搜索评价方法和一种视频搜索评价系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种视频搜索评价方法，其特征在于，包括：

将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果之后，所述方法还包括：

获取所述视频检索模块的预设压力参数；

当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标方法策略桶的目标视频搜索请求的最大值；

根据降低后的所述最大值，确定分配至所述目标方法策略桶的目标视频搜索请求的数量。

3.根据权利要求1所述的方法，其特征在于，所述将目标视频搜索请求分两次发送至视频检索模块之前，所述方法还包括：

获取目标方法策略桶的预设流量配置信息；

获取接收到的每个视频搜索请求中的预设ID信息；

根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

4.根据权利要求1所述的方法，其特征在于，所述响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户之前，所述方法还包括：

记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

5.根据权利要求1所述的方法，其特征在于，所述视频检索模块包括多个分片服务器，

所述将目标视频搜索请求分两次发送至视频检索模块，包括：

将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

所述接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，包括：

接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果；

对所述多个第一分片结果进行归并处理，得到第一视频排序结果；

对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

6.根据权利要求1所述的方法，其特征在于，所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果，包括：

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。

7.一种视频搜索评价系统，其特征在于，包括：

发送模块，用于将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收模块，用于接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

重排模块，用于根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应模块，用于响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

第一确定模块，用于确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

第一获取模块，用于获取所述多个目标候选视频中每个目标候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序；

评价模块，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

第二获取模块，用于获取所述视频检索模块的预设压力参数；

降低模块，用于当所述预设压力参数大于或等于预设压力参数阈值时，按照预设比例降低待分配至所述目标系统策略桶的目标视频搜索请求的最大值；

第二确定模块，用于根据降低后的所述最大值，确定分配至所述目标系统策略桶的目标视频搜索请求的数量。

9.根据权利要求7所述的系统，其特征在于，所述系统还包括：

第三获取模块，用于获取目标方法策略桶的预设流量配置信息；

第四获取模块，用于获取接收到的每个视频搜索请求中的预设ID信息；

第三确定模块，用于根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息，确定待分配至所述目标方法策略桶的目标视频搜索请求；

分配模块，用于将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。

10.根据权利要求7所述的方法，其特征在于，所述系统还包括：

记录模块，用于记录所述目标视频排序结果中每个候选视频，在所述第一视频排序结果以及所述第二视频排序结果中，分别所处的第一排列次序以及第二排列次序。

11.根据权利要求7所述的系统，其特征在于，所述视频检索模块包括多个分片服务器，

所述发送模块，还用于将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索；

所述接收模块，还用于接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果；

归并模块，用于对所述多个第一分片结果进行归并处理，得到第一视频排序结果，以及对所述多个第二分片结果进行归并处理，得到第二视频排序结果。

12.根据权利要求7所述的系统，其特征在于，所述评价模块包括：

计算子模块，用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，计算视频搜索策略的评价参数；

第一评价子模块，用于若所述评价参数大于预设评价阈值，则确定相较于所述第二视频搜索策略，所述第一视频搜索策略的视频搜索效果更优；

第二评价子模块，用于若所述评价参数小于预设评价阈值，则确定相较于所述第一视频搜索策略，所述第二视频搜索策略的视频搜索效果更优；

第三评价子模块，用于若所述评价参数等于预设评价阈值，则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。