CN109739768A - 搜索引擎评测方法、装置、设备以及可读存储介质 - Google Patents

Abstract

本发明公开了一种搜索引擎评测方法、装置、设备和计算机存储介质，该方法包括：获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。解决了现有技术中搜索引擎进行量化测试的准确率不高的技术问题。

Description

搜索引擎评测方法、装置、设备以及可读存储介质

技术领域

本发明涉及搜索引擎技术领域，尤其涉及一种搜索引擎评测方法、装置、设备以及计算机可读存储介质。

背景技术

随着互联网行业的迅速发展，搜索引擎已然成为人们生活中必不可少的一部分。除了像Google、百度这样的大型互联网企业制作的网页搜索引擎，专门针对各行各业的专题类搜索引擎也得到了越来越多的重视。因此，大量的企业产生了制作专门针对于自家业务的搜索引擎的需求。

而在搜索引擎系统的测试流程中，往往需要线上测试来完成。但是，对于搜索引擎业务经验不足的企业来说，不经过线下测试直接上线一款搜索引擎产品是有很大风险的。所以我们往往需要对原本需要线上测试的性能增加一个线下的预演测试，即聘请一些行业专家进行人工测验。这在人工和时间成本上的消耗都是巨大的，且准确度十分依赖于测试员的业务和工作素质。

发明内容

本发明的主要目的在于提供一种搜索引擎评测方法、装置、设备和计算机存储介质，旨在解决现有技术中搜索引擎进行量化测试的准确率不高的技术问题。

为实现上述目的，本发明提供一种搜索引擎评测方法，所述搜索引擎评测方法包括以下步骤：

获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

可选地，所述测试值包括相关质量评估值，

所述将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值的步骤，包括：

获取所述推荐次序表中的各推荐结果和搜索结果列表中的各搜索结果；

将各所述推荐结果和各所述搜索结果进行比照测试，统计并获取与所述推荐结果匹配的搜索结果的第一数量；

获取各所述搜索结果的第二数量和各所述推荐结果的第三数量，并确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值。

可选地，所述相关质量评估值包括准确率值和召回率值，所述比例值包括第一比例值和第二比例值，

所述确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值的步骤，包括：

获取所述第一数量和所述第二数量的第一比例值，并将所述第一比例值作为准确率值；

获取所述第一数量和所述第三数量之间的第二比例值，并将所述第二比例值作为召回率值。

可选地，所述测试值包括顺序质量评估值，

所述将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值的步骤，还包括：

获取各所述初级结果在所述搜索结果列表中的第一排序位置；

获取各所述初级结果在所述推荐次序表中的第二排序位置，并将所述第一排序位置和所述第二排序位置进行比照测试，以获取顺序质量评估值。

可选地，所述将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表的步骤之后，包括：

将所述相关结果集合和所述历史数据输入进推荐算法，并获取所述相关结果集合的内容信息；

获取所述内容信息对应的应用场景和所述历史数据对应的数据条件，基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表。

可选地，所述基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表的步骤，包括：

判断所述数据条件数据是否满足预设条件；

若所述数据条件不满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的协同滤波方案，并基于所述协同滤波方案对相关结果集合进行排序，以生成推荐次序表。

可选地，所述判断所述数据条件是否满足预设条件的步骤之后，包括：

若所述数据条件满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的混合方案，并基于所述混合方案对所述相关结果集合进行排序，以生成推荐次序表。

此外，为实现上述目的，本发明还提供一种搜索引擎评测装置，所述搜索引擎评测装置包括：

获取模块，用于获取待测搜索引擎中的测试问句，并基于所述测试问句获取搜索结果列表；

生成模块，用于获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

对比模块，用于将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值；

目标值模块，用于获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

此外，为实现上述目的，本发明还提供一种移动终端；

所述移动终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：

所述计算机程序被所述处理器执行时实现如上所述的搜索引擎评测方法的步骤。

此外，为实现上述目的，本发明还提供计算机存储介质；

所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的搜索引擎评测方法的步骤。

本发明通过获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。本方案通过将预设搜索账号的历史数据和测试问句对应的相关结果输入到推荐算法来模拟真实用户行为，代替了专家评估，从而达到了节约成本、提升测试置信度的目的，并且，是采用多个预设搜索账号进行测试的，并以这些预设搜索账号对应的平均值作为目标值的，因此也避免了在聘请一些行业专家进行人工测验时，准确度过度依赖于测试员的业务和工作素质的显示现象发生，提高了搜索引擎评估的准确性，使得搜索引擎的评估更加客观，也解决了现有技术中搜索引擎进行量化测试的准确率不高的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明搜索引擎评测方法第一实施例的流程示意图；

图3为本发明搜索引擎评测方法第二实施例的流程示意图；

图4为本发明搜索引擎评测设备装置的功能模块示意图；

图5为本发明搜索引擎评测方法的测试流程图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端为搜索引擎评测设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及搜索引擎评测程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的搜索引擎评测程序，并执行以下操作：

获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

获取所述预设搜索账号的预设数量，并基于所述预设数量获取所述测试值的平均值，并将所述平均值作为待测搜索引擎的评测值。

参照图2，本发明提供一种搜索引擎评测方法，在搜索引擎评测方法第一实施例中，搜索引擎评测方法包括以下步骤：

步骤S10，获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

本发明主要应用于对待测试的搜索引擎的性能评估，搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统，例如“百度”、“Google”等。

可理解地，先获取搜索引擎中的测试问句，而测试问句是由测试人员随机输入进去的，因此，测试问句的内容可以是任意一个技术领域的内容。然后，搜索引擎会获取测试问句中的关键词，再根据其关键词获取搜索结果，并将这些搜索结果进行排序，以获取到搜索结果列表。其中，对搜索结果进行排序的方式可以是，先确定此关键词的搜索次数，例如，当接收到的关键词分别为“手机”和铅笔时，若关键词“手机”在此之前没有被接收到，即没有用户对“手机”进行搜索，则将“手机”进行记录，而关键词“铅笔”在此之前接收过，即用户对“铅笔”进行搜索，则将“铅笔”的搜索次数进行累加记录，如在此之前“铅笔”的搜索次数为6次，则在次数6的基础上加1，记录“铅笔”的搜索次数为7。从搜索次数可知，次数少的关键词说明关注此关键词的用户少，次数多的关键词说明关注此关键词的用户多，因此可以根据关键词的搜索次数的排序来确定关键词对应的搜索结果的排序，即将次数多的关键词对应的搜索结果排序在搜索结果列表的前面，而将次数少的关键词对应的搜索结果排序在搜索结果列表的后面。其中，搜索结果列表可以是待测搜索引擎根据测试问句能够搜索到与之相关的已排好序的搜索结果。

步骤S20，获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

推荐算法是推荐系统的核心算法，而推荐系统主要有两大类别，基于协同滤波的方案和基于产品内容的方案。其中，基于协同滤波方案的推荐系统会将用户对产品的历史行为(点击、购买或评分等)作为模型的输入，计算不同用户之间的相似度来得出输出。而基于产品内容方案的推荐系统则以产品的属性信息作为输入，力图推荐和用户喜爱的产品属性相近的产品。但无论是怎样的推荐系统，它们都有着一致的输出数据，即指定指定用户对指定产品的评价预测，而这个预测往往是一个数值，其大小反映了推荐算法认为用户对产品的喜爱程度。

相关结果集合可以是通过测试问句能够检测得到的所有与之相关的搜索结果，例如测试问句是搜索战争片时，此时相关结果则是所有的战争片，需要说明的是，相关结果集合可以包含搜索结果列表，但可以不局限于搜索结果列表，并且相关结果集合的获取可以是采用待测搜索引擎搜索方式之外的其它方式获取(如线下收集、权威网站获取等)，获取到的搜索结果也未进行排序。

预设搜索账号可以是提前预设的搜索账号，例如在对某一个影视领域的搜索引擎进行线下测试时，若有用户在此搜索引擎对应的影视平台上看电影了，则可以将此用户的账号作为预设搜索账号。当已获取到预设搜索账号后，还需要获取此预设搜索账号的历史数据，然后将相关结果集合和历史数据输入到推荐算法中，并通过推荐算法输出其预测的所有结果对于输入用户(即预设搜索账号)的吸引度的一个评分值，并从中挑选出仅与测试问句对应的相关结果的预测评分值，再根据评分值的大小给出全部相关结果的一份推荐次序表，并将此推荐次序表视为用户问出测试问句时，对他而言最理想的搜索结果(可以称为标准结果)。其中，预设搜索账号的历史数据可以是在用户没有使用搜索引擎的情况下，已经采集了用户对目标结果的一些行为。例如，我们测试一个电影垂直领域的搜索引擎，搜索引擎根据用户的搜索问句给出的符合条件的结果(电影)，但是实际上用户在不使用搜索引擎的情况下，已经观看过一些电影甚至为这些电影打分。又比如，我们测试一个社交网络中的搜索引擎，搜索引擎根据用户的搜索问句给出符合条件的结果(网络中的其它用户)，但是实际上用户在不使用搜索引擎的情况下，已经和其它某些用户建立了特殊联系。

步骤S30，将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

当获取到搜索结果列表和推荐次序表后，还需要将搜索结果列表和推荐次序表进行比照测试，从而得到测试结果(即测试值)，而进行比照测试需要将两张列表的比较结果量化，可以采用MAP(Mean Average Precison，平均准确率)方法，即求每个相关文档检索出后的准确率的平均值等方案。其中，测试值可以包括相关质量评估值和顺序质量评估值，相关质量评估主要考虑搜索引擎给出的结果与使用者提问的相关比较，即搜索引擎给出的全部结果有多少与问题相关和与问题相关的全部结果有多少，一般采用准确率和召回率的指标来量化衡量。准确率是衡量搜索系统排除不相关文档的能力，而召回率是衡量一个查询搜索到所有相关文档的能力。而顺序质量评估主要考虑搜索引擎给出结果的排序质量。我们知道用户在面对一个搜索结果(一份结果列表)的时候几乎不会看完整个列表，用户往往只关心排在前位或者一些特殊位置的结果。因此，搜索引擎给出结果的排序次序也是比照测试的一个重要组成部分。

步骤S40，获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

为避免特殊情况的发生而导致测试不准确，在对搜索引擎进行测试时，往往不只采用一个用户的初始账号信息，而是采用多个初始账号进行评估测试，以提高测试的准确性。也就是说，每往推荐算法输入一个不同的预设搜索账号的历史数据，就有一个不同的测试值，测试值的数量和预设搜索账号的数量是相同的，当获取到足够多的测试值后，获取这些测试值的平均记录(即平均值)，并此平均值作为最终的待测搜索引擎的评测值，并将此待测搜索引擎的评测值作为此次对搜索引擎的评测结果。其中，预设数量可以是测试工作人员提前设置的任意预设搜索账号数量。

为辅助理解本发明对搜索引擎的测试流程，下面进行举例说明。

例如，如图5所示，先将设计好的测试问句输入需要测试的目标搜索引擎中，再通过目标搜索引擎输出与测试问句对应的搜索结果列表。其次，获取与测试问句对应的所有相关结果，并且还需要获取特定用户的历史数据，然后将相关结果和特定用户历史数据输入到推荐算法，推荐算法输出其预测的所有结果对于输入用户的吸引度的一个评分值，再挑选出仅与测试问句对应的相关结果的预测评分值，再根据分值的大小给出全部相关结果的一份推荐次序表，最后将搜索结果列表和相关结果推荐次序表进行比照测试，从而得到测试结果。重复上述过程直至我们使用了足够多的用户数据输入推荐，并取测试值的平均值，继续流程直至测试完成全部的测试问句。

在本实施例中，通过获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。本方案通过将预设搜索账号的历史数据和测试问句对应的相关结果输入到推荐算法来模拟真实用户行为，代替了专家评估，从而达到了节约成本、提升测试置信度的目的，并且，是采用多个预设搜索账号进行测试的，并以这些预设搜索账号对应的平均值作为目标值的，因此也避免了在聘请一些行业专家进行人工测验时，准确度过度依赖于测试员的业务和工作素质的显示现象发生，提高了搜索引擎评估的准确性，使得搜索引擎的评估更加客观，也解决了现有技术中搜索引擎进行量化测试的准确率不高的技术问题。

进一步地，在本发明第一实施例的基础上，提出了本发明搜索引擎评测方法的第二实施例，本实施例是本发明第一实施例的步骤S30的细化，参照图3，包括：

步骤S31，获取所述推荐次序表中的各推荐结果和搜索结果列表中的各搜索结果；

需要说明的是，在本实施例中，测试值包括相关质量评估值。

推荐结果可以是与测试问题对应的相关结果，但推荐结果相对于相关结果已经排好序列。在推荐次序表中获取各个推荐结果，在搜索结果列表中获取各个搜索结果。其中，各个搜索结果不一定包含测试问题的全部相关结果。

步骤S32，将各所述推荐结果和各所述搜索结果进行比照测试，统计并获取与所述推荐结果匹配的搜索结果的第一数量；

需要将各个推荐结果和各个搜索结果进行比照测试，从而来判断各个搜索结果中是否存在有和各个推荐结果匹配的搜索结果。并当发现存在有时，则会自动统计并获取和推荐结果匹配的搜索结果的第一数量(即在搜索结果中和推荐结果匹配的搜集结果的数量)。例如，当搜索结果有A、B、C、D四种时，而推荐结果有A、D、E、R、T五种时，需要依次将搜索结果中的A和推荐结果中的A、D、E、R、T五种进行比照测试，确定A是否为初级结果，同理，也将搜索结果中的B、C、D和推荐结果中的A、D、E、R、T分别进行比照测试，从而确定初级结果，如当发现搜索结果中的A和推荐结果中的A匹配时，搜索结果中的D和推荐结果中的D匹配时，则可以将A和D作为初级结果，此时初级结果的数量就有两个。

步骤S33，获取各所述搜索结果的第二数量和各所述推荐结果的第三数量，并确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值。

第二数量可以是搜索结果的所有数量。第三数量可以是推荐结果的所有数量。先获取搜索结果的第二数量和推荐结果的第三数量，并确定第一数量在第二数量中所占据的比例，即可以将第一数量除以第二数量，从而得到的比例值。然后还需要确定第一数量在第三数量中所占据的比例，从而得到对应的比例值，将这两个比例值统一作为相关质量评估值。

在本实施例中，通过将搜索结果列表和推荐次序表进行比照测试来获取搜索引擎的相关质量评估值，从而保证了测试搜索引擎的准确率，并且由于是采用非人工的方式来进行的，因此也提高了测试搜索引擎的智能化效果。

具体地，确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值的步骤，包括：

步骤S331，获取所述第一数量和所述第二数量的第一比例值，并将所述第一比例值作为准确率值；

需要说明的是，在本实施例中，相关质量评估值包括准确率值和召回率值；比例值包括第一比例值和第二比例值。

第二数量可以是搜索结果中的各个搜索结果的数量，当获取到各个搜索结果的第二数量和初级结果的第一数量时，还需要确定第一数量占据第二数量的第一比例值，并可以将此第一比例值作为准确率值。例如，当第一数量为5个时，第二数量为10个时，则可以确定比例值为0.5，此时的准确率值也为0.5。其中，准确率值就是计算搜索引擎搜索到的结果中准确的结果占据所有的结果的比例值。

步骤S332，获取所述第一数量和所述第三数量之间的第二比例值，并将所述第二比例值作为召回率值。

第三数量可以是推荐次序表中的各个推荐结果的数量，当获取到各个推荐结果的第三数量和初级结果的第一数量时，还需要确定第一数量占据第三数量的第二比例值，并可以将此第二比例值作为召回率值。召回率值可以是检索出的相关文档数和文档库中所有的相关文档数的比率。

在本实施例中，通过确定搜索引擎的准确率值和召回率值，从而确定了搜索引擎的搜索效率，并且由于是采用非人工的方式进行，因此也保证了检测效果的准确性。

具体地，将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值的步骤，还包括：

步骤S34，获取各所述初级结果在所述搜索结果列表中的第一排序位置；

需要说明的是，在本实施例中，测试值包括顺序质量评估值。

第一排序位置可以是各个初级结果在搜索结果列表中的排序位置。由于搜索结果列表中各个搜索结果已经排好序，因此当获取到各个初级结果后，还需要确定各个初级结果在搜索结果列表中的第一排序位置。

步骤S35，获取各所述初级结果在所述推荐次序表中的第二排序位置，并将所述第一排序位置和所述第二排序位置进行比照测试，以获取顺序质量评估值。

第二排序位置可以是各个初级结果在推荐次序表中的排序位置。由于推荐次序表中各个推荐结果已经排好序，因此当获取到各个初级结果后，还需要确定各个初级结果在推荐次序表中的第二排序位置，然后确定两者之间的排序位置是否相同，并获取到顺序质量评估值。其中，顺序质量评估值主要是考虑搜索引擎给出搜索结果的排序质量，由于用户在面对一个搜索结果(一份搜索结果列表)的时候几乎不会看完整个列表，用户往往只关心排在前位或者某些特殊位置的搜索结果，因此搜索引擎给出搜索结果的排列次序也是其质量的一个重要组成部分。

在本实施例中，通过确定搜索引擎的顺序质量评估值，从而可以测试出此搜索引擎的效率是否高效，并且由于是采用非人工的方式进行的，因此也保证了搜索引擎的评估更加客观。

进一步地，在本发明第一至第二实施例的基础上，提出了本发明搜索引擎评测方法的第三实施例，本实施例是本发明第一实施例的步骤S20，将所述相关结果和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表的步骤的细化，包括：

步骤S21，将所述相关结果集合和所述历史数据输入进推荐算法，并获取所述相关结果集合的内容信息；

当获取到与测试问题对应的所有相关结果后，需要将所有相关结果和预设搜索账号的历史数据一起输入到推荐算法中，并在各个相关结果中确定相关结果的内容信息，也可以说是关键词。

步骤S22，获取所述内容信息对应的应用场景和所述历史数据对应的数据条件，基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表。

推荐算法方案可以包括协同滤波方案、基于产品内容推荐方案、基于协同滤波和产品内容推荐的混合方案。数据条件可以是数据中含有大量多维度的产品信息，而产品信息可以包括用户历史行为信息，如用户开启某网页的记录等，也可以是产品属性信息，如某电影的播放时长，导演等，还可以是用户的自身账号信息，如性别、年龄等，需要说明的是，数据条件最少需要包括用户历史行为信息。

当获取到相关结果集合对应的内容信息后，还需要根据内容信息来确定对应的应用场景。与此同时，还需要获取历史数据对应的数据条件，然后再根据应用场景和数据条件来确定推荐系统中的推荐算法方案，再根据推荐算法方案对相关结果集合进行排序，以生成推荐次序表，即推荐算法输出其预测的所有结果对于输入用户的吸引度的一个评分值。我们挑选出仅与测试问句对应的相关结果的预测评分值，根据分值的大小给出全部相关结果的一份推荐次序表。

在本实施例中，通过根据不同的应用场景和数据条件来确定推荐算法方案，从而提高了搜索引擎评测的准确性，提高了用户的使用体验感。

具体地，基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表的步骤，包括：

步骤S221，判断所述数据条件是否满足预设条件；

步骤S222，若所述数据条件不满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的协同滤波方案，并基于所述协同滤波方案对相关结果集合进行排序，以生成推荐次序表。

预设条件可以是用户提前设置的条件，而判断数据条件是否满足预设条件，即可以是查看我们的数据是否是含有大量多维度的产品信息的情况，如果不含有大量多维度的产品信息，则可以采用协同滤波方案实验；如果含有大量多维度的产品信息，则可以采用基于协同滤波和产品内容推荐的混合方案。并且当发现采用协同滤波方案进行实验的实验结果不佳时，则可以采用混合方案进行实验。但是如果有发现混合方案的实验效果仍然不佳时，则可以采用采用基于产品内容的方案进行实验，若基于产品内容的方案实验结果如果较佳就采用该方案，否则若没有实验协同滤波方案的情况，增加协同滤波方案的实验，最终取所有实验方案中最好情况实际采用。其中，所谓效果佳或是不佳，取决于推荐系统的评估方案对应的指标，并且，若原始数据本身不支持建立协同滤波或基于产品内容的推荐模型，则不需考虑推荐算法方案的选择，使用数据能够支持建立的模型即可。

在本实施例中，通过确定数据条件中的第一数据是否满足预设条件来确定推荐算法方案，从而提高了推荐次序表的准确性，提高了用户的使用体验感。

具体地，所述判断所述数据条件是否满足预设条件的步骤之后，包括：

步骤S223，若所述数据条件满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的混合方案，并基于所述混合方案对所述相关结果集合进行排序，以生成推荐次序表。

混合方案可以是基于协同滤波和产品内容推荐的混合方案。当经过判断判断发现数据条件满足预设条件时，则可以采用协同滤波和产品内容的混合方案进行实验，即将历史数据和相关结果集合输入到此混合方案中，再根据混合方案的输出结果对相关结果集合进行排序，以生成推荐次序表，即推荐算法输出其预测的所有结果对于输入用户的吸引度的一个评分值。我们挑选出仅与测试问句对应的相关结果的预测评分值，根据分值的大小给出全部相关结果的一份推荐次序表。

在本实施例中，通过根据数据条件满足预设条件，来确定推荐算法中的混合方案，从而提高了搜索引擎评测方法的准确度，提高了用户的使用体验感。

此外，参照图4，本发明实施例还提出一种搜索引擎评测装置，所述搜索引擎评测装置包括：

获取模块，用于获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

生成模块，用于获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

对比模块，用于将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

目标值模块，用于获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

可选地，所述测试值包括相关质量评估值，所述对比模块，还用于：

获取所述推荐次序表中的各推荐结果和搜索结果列表中的各搜索结果；

将各所述推荐结果和各所述搜索结果进行比照测试，统计并获取与所述推荐结果匹配的搜索结果的第一数量；

获取各所述搜索结果的第二数量和各所述推荐结果的第三数量，并确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值。

可选地，所述相关质量评估值包括准确率值和召回率值，所述比例值包括第一比例值和第二比例值，所述对比模块，还用于：

获取所述第一数量和所述第二数量的第一比例值，并将所述第一比例值作为准确率值；

获取所述第一数量和所述第三数量之间的第二比例值，并将所述第二比例值作为召回率值。

可选地，所述测试值包括顺序质量评估值，所述对比模块，还用于：

获取各所述初级结果在所述搜索结果列表中的第一排序位置；

获取各所述初级结果在所述推荐次序表中的第二排序位置，并将所述第一排序位置和所述第二排序位置进行比照测试，以获取顺序质量评估值。

可选地，所述生成模块，还用于：

将所述相关结果集合和所述历史数据输入进推荐算法，并获取所述相关结果集合的内容信息；

获取所述内容信息对应的应用场景和所述历史数据对应的数据条件，基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表。

可选地，所述生成模块，还用于：

判断所述数据条件是否满足预设条件；

若所述数据条件不满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的协同滤波方案，并基于所述协同滤波方案对相关结果进行排序，以生成推荐次序表。

可选地，所述生成模块，还用于：

若所述数据条件满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的混合方案，并基于所述混合方案对所述相关结果集合进行排序，以生成推荐次序表。

其中，搜索引擎评测装置的各个功能模块实现的步骤可参照本发明搜索引擎评测方法的各个实施例，此处不再赘述。

本发明还提供一种终端，所述终端包括：存储器、处理器、通信总线以及存储在所述存储器上的搜索引擎评测程序：

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述搜索引擎评测程序，以实现上述搜索引擎评测方法各实施例的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述搜索引擎评测方法各实施例的步骤。

本发明计算机可读存储介质具体实施方式与上述搜索引擎评测方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种搜索引擎评测方法，其特征在于，所述搜索引擎评测方法包括以下步骤：

获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

2.如权利要求1所述的搜索引擎评测方法，其特征在于，所述测试值包括相关质量评估值，

所述将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值的步骤，包括：

获取所述推荐次序表中的各推荐结果和搜索结果列表中的各搜索结果；

将各所述推荐结果和各所述搜索结果进行比照测试，统计并获取与所述推荐结果匹配的搜索结果的第一数量；

获取各所述搜索结果的第二数量和各所述推荐结果的第三数量，并确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值。

3.如权利要求2所述的搜索引擎评测方法，其特征在于，所述相关质量评估值包括准确率值和召回率值，所述比例值包括第一比例值和第二比例值，

所述确定所述第一数量分别在所述第二数量和所述第三数量中占据的比例值，并将所述比例值作为相关质量评估值的步骤，包括：

获取所述第一数量和所述第二数量的第一比例值，并将所述第一比例值作为准确率值；

获取所述第一数量和所述第三数量之间的第二比例值，并将所述第二比例值作为召回率值。

4.如权利要求2所述的搜索引擎评测方法，其特征在于，所述测试值包括顺序质量评估值，

所述将所述搜索结果列表和推荐次序表进行比照测试，以获取测试值的步骤，还包括：

获取各所述初级结果在所述搜索结果列表中的第一排序位置；

获取各所述初级结果在所述推荐次序表中的第二排序位置，并将所述第一排序位置和所述第二排序位置进行比照测试，以获取顺序质量评估值。

5.如权利要求1所述的搜索引擎评测方法，其特征在于，所述将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表的步骤，包括：

将所述相关结果集合和所述历史数据输入进推荐算法，并获取所述相关结果集合的内容信息；

获取所述内容信息对应的应用场景和所述历史数据对应的数据条件，基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表。

6.如权利要求5所述的搜索引擎评测方法，其特征在于，所述基于所述应用场景和所述数据条件确定推荐算法方案，并基于所述推荐算法方案生成推荐次序表的步骤，包括：

判断所述数据条件是否满足预设条件；

若所述数据条件不满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的协同滤波方案，并基于所述协同滤波方案对相关结果集合进行排序，以生成推荐次序表。

7.如权利要求6所述的搜索引擎评测方法，其特征在于，所述判断所述数据条件是否满足预设条件的步骤之后，包括：

若所述数据条件满足预设条件，则基于所述应用场景和所述数据条件获取推荐算法中的混合方案，并基于所述混合方案对所述相关结果集合进行排序，以生成推荐次序表。

8.一种搜索引擎评测装置，其特征在于，所述搜索引擎评测装置包括：

获取模块，用于获取待测搜索引擎中的测试问句，基于所述测试问句获取搜索结果列表；

生成模块，用于获取测试问句对应的相关结果集合和预设搜索账号的历史数据，并将所述相关结果集合和所述历史数据输入进推荐算法，基于所述推荐算法生成推荐次序表；

对比模块，用于将所述搜索结果列表和推荐次序表进行比照测试，获取测试值；

目标值模块，用于获取所述预设搜索账号的预设数量，并基于所述预设数量获取各所述测试值的平均值，将所述平均值作为待测搜索引擎的评测值。

9.一种搜索引擎评测设备，其特征在于，所述搜索引擎评测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的搜索引擎评测程序，所述搜索引擎评测程序被所述处理器执行时实现如权利要求1至7中任一项所述的搜索引擎评测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有搜索引擎评测程序，所述搜索引擎评测程序被处理器执行时实现如权利要求1至7中任一项所述的搜索引擎评测方法的步骤。