CN104699825A - 搜索引擎性能的衡量方法和装置 - Google Patents

Abstract

本发明提供了一种搜索引擎性能的衡量方法和装置。该方法包括：对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。本发明实施例能够提供更加深入、细化的衡量结果，能够更好地指导后续优化搜索引擎的工作。

Description

搜索引擎性能的衡量方法和装置

技术领域

本发明涉及信息搜索技术领域，特别是一种搜索引擎性能的衡量方法和装置。

背景技术

随着互联网技术的不断发展以及信息的不断膨胀，人们对于网络信息的使用需求越来越高，搜索引擎成为人们获取网络信息的重要工具。当用户输入查询Query(搜索)后，搜索引擎通常会将包含该查询Query的页面作为查询结果返回给用户。

相关技术中，对搜索引擎进行相关性评估时，一般是获取各查询Query的前N个查询结果条目，并对其分别进行打分，根据打分情况进行评估。然而，查询Query未得到满分可能存在多种原因，如这个查询Query本身无资源，比如“XXXsdfdsf123”这种明显没含义的查询Query可能就没有相关资源；又如这个查询Query收录有损失，并没有收录到全部有效数据；再如这个查询Query收录的有效数据没有被排序上来，等等。可见，目前的评估方案未能够区分上述原因，因而亟需提供解决这一技术问题的方案。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的搜索引擎性能的衡量方法和装置。

依据本发明的一个方面，提供了一种搜索引擎性能的衡量方法，包括：对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

可选地，所述对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值的步骤，包括：对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

可选地，所述根据所述至少一个打分值调整所述首页打分列表的步骤，包括：当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

可选地，所述确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值的步骤，包括：根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表，进而确定所述第二理论最大得分值。

可选地，所述根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表的步骤，包括：当所述至少一个参考搜索引擎中查询结果条目的相关性打分值大于所述调整后的首页打分列表中的相关性打分值时，用所述至少一个参考搜索引擎中的查询结果条目替换所述调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整所述调整后的首页打分列表。

可选地，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：计算所述第一理论最大得分值与所述第二理论最大得分值之间的差值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标；根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标，对所述待衡量搜索引擎的性能进行衡量。

可选地，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：计算所述第一理论最大得分值与所述第二理论最大得分值之间的比值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标；根据所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量。

可选地，根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量，包括：统计所述各查询Query在所述待衡量搜索引擎中的查询频率；根据所述各查询Query的查询频率，对所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对所述待衡量搜索引擎的性能进行衡量。

依据本发明的另一个方面，还提供了一种搜索引擎性能的衡量装置，包括：

确定模块，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；以及，根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

衡量模块，适于根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

可选地，所述确定模块还适于：对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

可选地，所述确定模块还适于：当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

可选地，所述确定模块还适于：根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表，进而确定所述第二理论最大得分值。

可选地，所述确定模块还适于：当所述至少一个参考搜索引擎中查询结果条目的相关性打分值大于所述调整后的首页打分列表中的相关性打分值时，用所述至少一个参考搜索引擎中的查询结果条目替换所述调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整所述调整后的首页打分列表。

可选地，所述衡量模块还适于：计算所述第一理论最大得分值与所述第二理论最大得分值之间的差值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标；根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标，对所述待衡量搜索引擎的性能进行衡量。

可选地，所述衡量模块还适于：计算所述第一理论最大得分值与所述第二理论最大得分值之间的比值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标；根据所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量。

可选地，所述衡量模块还适于：统计所述各查询Query在所述待衡量搜索引擎中的查询频率；根据所述各查询Query的查询频率，对所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对所述待衡量搜索引擎的性能进行衡量。

本发明实施例中，由于首页查询结果具备容易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性的好坏能够在一定程度上反映搜索引擎性能，从而本发明实施例中利用首页查询结果的第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎性能进行衡量，能够提供更加准确、客观的衡量结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更为精确的搜索结果，满足用户对信息的需求，提高用户信息搜索体验。

进一步，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量。首先，第一理论最大得分值是对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，进而根据前若干页的查询结果条目的打分值来确定，即前若干页的查询结果条目的打分值越高，从而确定的第一理论最大得分值也就越高。由于搜索引擎的排序算法决定了前若干页的查询结果条目，因而前若干页的查询结果条目的打分值能够体现搜索引擎的排序算法的有效性，从而第一理论最大得分值能够衡量搜索引擎的排序算法的有效性。其次，第二理论最大得分值根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值进行确定得到，由于理论上查询Query到底有多少资源是不可计算的，本发明实施例以多个搜索引擎为参考，使得确定的第二理论最大得分值能够更加接近资源的得分上限，进而根据第一、第二理论最大得分值能够准确地衡量出资源数据本身的损失情况。由此，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果，进一步能够更好地指导后续优化搜索引擎的工作。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的搜索引擎性能的衡量方法的流程图；

图2示出了根据本发明另一个实施例的搜索引擎性能的衡量方法的流程图；以及

图3示出了根据本发明一个实施例的搜索引擎性能的衡量装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本发明实施例提供了一种搜索引擎性能的衡量方法。图1示出了根据本发明一个实施例的搜索引擎性能的衡量方法的流程图。参见图1，该方法至少包括步骤S102至步骤S106。

步骤S102、对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

步骤S104、根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定各查询Query在待衡量搜索引擎中的首页查询结果的第二理论最大得分值。

步骤S106、根据第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎的性能进行衡量。

本发明实施例中，由于首页查询结果具备容易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性的好坏能够在一定程度上反映搜索引擎性能，从而本发明实施例中利用首页查询结果的第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎性能进行衡量，能够提供更加准确、客观的衡量结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更为精确的搜索结果，满足用户对信息的需求，提高用户信息搜索体验。

进一步，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量。首先，第一理论最大得分值是对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，进而根据前若干页的查询结果条目的打分值来确定，即前若干页的查询结果条目的打分值越高，从而确定的第一理论最大得分值也就越高。由于搜索引擎的排序算法决定了前若干页的查询结果条目，因而前若干页的查询结果条目的打分值能够体现搜索引擎的排序算法的有效性，从而第一理论最大得分值能够衡量搜索引擎的排序算法的有效性。其次，第二理论最大得分值根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值进行确定得到，由于理论上查询Query到底有多少资源是不可计算的，本发明实施例以多个搜索引擎为参考，使得确定的第二理论最大得分值能够更加接近资源的得分上限，进而根据第一、第二理论最大得分值能够准确地衡量出资源数据本身的损失情况。由此，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果，进一步能够更好地指导后续优化搜索引擎的工作。

上文步骤S102中提及的至少一个查询Query，可以是预先设置的，也可以是从高中低频的多个查询Query中随机抽取的，等等，本发明不限于此。

在步骤S102中对至少一个查询Query在待衡量搜索引擎中查询得到的至少一条查询结果条目分别进行相关性打分，可以是计算各查询Query与其对应的至少一条查询结果条目的相关性值，将该相关性值作为相关性打分值。进一步，可以采用常用的相关性算法(如文本特征相关性算法、文本语义相关性算法等)来计算各查询Query与其对应的至少一条查询结果条目的相关性值，此处本发明不作限制。

在步骤S102中对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在待衡量搜索引擎中的首页查询结果的第一理论最大得分值，本发明实施例提供了一种优选的方案，在该方案中，可以对各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到各查询Query的首页查询结果的首页打分列表，以及对各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值，随后根据至少一个打分值调整首页打分列表，得到调整后的首页打分列表。进而根据调整后的首页打分列表，确定各查询Query在待衡量搜索引擎中的首页查询结果的第一理论最大得分值。例如，对于各查询Query，选取前N个查询结果条目作为首页查询结果，并将该N个查询结果条目的相关性打分值生成首页打分列表，如当N为21时，首页打分列表为(s1,s2,s3,…,s21)。随后，根据至少一个打分值调整首页打分列表(s1,s2,s3,…,s21)，得到调整后的首页打分列表。在实际应用中，可以通过多种方式实现对首页打分列表的调整，下面列举以下几种方式。

方式一，通过多次调整，使得调整后的首页打分列表中的最小打分值大于或等于至少一个打分值中的最大打分值。即，确定首页打分列表中的最小打分值以及该至少一个打分值中的最大打分值，若首页打分列表中的最小打分值小于该至少一个打分值中的最大打分值，则采用至少一个打分值中的最大打分值替换首页打分列表中的最小打分值，并从至少一个打分值中删除用于替换的最大打分值，从而实现首页打分列表的第一次调整。随后，确定第一次调整后的首页打分列表中的最小打分值以及剩余的至少一个打分值(在第一次调整首页打分列表时，从至少一个打分值中删除了用于替换的最大打分值)中的最大打分值，若第一次调整后的首页打分列表中的最小打分值小于剩余的至少一个打分值中的最大打分值，则采用剩余的至少一个打分值中的最大打分值替换第一次调整后的首页打分列表中的最小打分值，并从剩余的至少一个打分值中删除用于替换的最大打分值，从而实现首页打分列表的第二次调整。以此类推，使得最后一次调整得到的首页打分列表中的最小打分值大于或等于剩余的至少一个打分值中的最大打分值。

方式二，利用多个打分列表(如其他页中各页的打分列表)实现调整。即，根据至少一个打分值，得到其他页中各页的打分列表，随后根据其他页中各页的打分列表调整首页打分列表，得到调整后的首页打分列表。例如，仍然以每页的查询结果条目数21为例，选取第二页和第三页的查询结果条目分别进行相关性打分，得到第二页的打分列表(s22,s23,s24,…,s42)以及第三页的打分列表(s43,s44,s45,…,s63)，从而利用第二、三页的打分列表调整首页打分列表。在本发明的优选方案中，可以先利用第二页的打分列表调整首页打分列表，即确定首页打分列表中的最小打分值以及第二页的打分列表中的最大打分值，若首页打分列表中的最小打分值小于第二页的打分列表中的最大打分值，则采用第二页的打分列表中的最大打分值替换首页打分列表中的最小打分值，并从第二页的打分列表中删除用于替换的最大打分值，从而实现首页打分列表的第一次调整。随后，确定第一次调整后的首页打分列表中的最小打分值以及剩余的第二页的打分列表(在第一次调整首页打分列表时，从第二页的打分列表中删除了用于替换的最大打分值)中的最大打分值，若第一次调整后的首页打分列表中的最小打分值小于剩余的第二页的打分列表中的最大打分值，则采用剩余的第二页的打分列表中的最大打分值替换第一次调整后的首页打分列表中的最小打分值，并从剩余的第二页的打分列表中删除用于替换的最大打分值，从而实现首页打分列表的第二次调整。以此类推，使得最后一次调整得到的首页打分列表中的最小打分值大于或等于剩余的第二页的打分列表中的最大打分值。之后，接着利用第三页的打分列表，调整已利用第二页的打分列表进行调整后的首页打分列表，调整方式可参照上述利用第二页的打分列表调整首页打分列表，此处不再赘述。

需要说明的是，在应用中可以根据实际的调整效率进行调整方式的选取，当然，本发明实施例的调整方式也不仅限于上述两种，本发明实施例还可以采用其他方式来调整首页打分列表，从而确定各查询Query的首页查询结果的第一理论最大得分值。

进一步，基于各查询Query的首页查询结果的首页打分列表，以及调整后的首页打分列表，在本发明的优选方案中，步骤S104可以实施为根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整该调整后的首页打分列表，进而确定第二理论最大得分值。例如，选取M个参考搜索引擎，M可以取3，利用各参考搜索引擎中查询得到的查询结果条目的相关性打分值调整该调整后的首页打分列表，可以参考上文方式一或方式二进行，当各参考搜索引擎中查询结果条目的相关性打分值大于调整后的首页打分列表中的相关性打分值时，用各参考搜索引擎中的查询结果条目替换调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整该调整后的首页打分列表。

在确定第一、第二理论最大得分值之后，步骤S106中根据第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎的性能进行衡量，本发明实施例提供了一种优选的方案，在该方案中，可以计算第一理论最大得分值与第二理论最大得分值之间的差值，作为各查询Query在待衡量搜索引擎中的资源收录损失指标，进而根据各查询Query在待衡量搜索引擎中的资源收录损失指标，对待衡量搜索引擎的性能进行衡量。例如，预先设置待衡量搜索引擎的性能的不同等级对应的资源收录损失指标的区间，如待衡量搜索引擎的性能的等级有高、中、低三级，分别对应的资源收录损失指标的区间为[0，5]、(5，15]、(15，100)，若计算出第一理论最大得分值与第二理论最大得分值之间的差值，即资源收录损失指标为3，则衡量出待衡量搜索引擎的性能的等级为高。需要说明的是，此处待衡量搜索引擎的性能的等级以及对应的资源收录损失指标的区间仅是示意性的，并不限制本发明。

在本发明的另一优选的方案中，可以计算第一理论最大得分值与第二理论最大得分值之间的比值，作为各查询Query在所述待衡量搜索引擎中的资源收录有效指标，进而根据各查询Query在待衡量搜索引擎中的资源收录有效指标，对待衡量搜索引擎的性能进行衡量。例如，预先设置待衡量搜索引擎的性能的不同等级对应的资源收录有效指标的区间，如待衡量搜索引擎的性能的等级有高、中、低三级，分别对应的资源收录有效指标的区间为[1，0.95]、(0.95，0.85]、(0.85，0)，若计算出第一理论最大得分值与第二理论最大得分值之间的比值，即资源收录有效指标为0.98，则衡量出待衡量搜索引擎的性能的等级为高。需要说明的是，此处待衡量搜索引擎的性能的等级以及对应的资源收录有效指标的区间仅是示意性的，并不限制本发明。

进一步，对于至少一个查询Query，可以统计各查询Query在待衡量搜索引擎中的查询频率，从而根据各查询Query的查询频率，对资源收录损失指标或资源收录有效指标进行加权求和，进而衡量出待衡量搜索引擎的性能。这里，可以设置查询频率区间对应的权值，查询频率越高权值越大，从而可以利用相应的权值对资源收录损失指标或资源收录有效指标进行加权求和。例如，以三个查询Query为例，其各自对应的资源收录有效指标分别为0.9、0.95、0.88，且各自对应的权值为0.3、0.5、0.25，进行加权求和，最后利用加权求和得到的值衡量出待衡量搜索引擎的性能。

下面通过一具体实施例详细介绍本发明中搜索引擎性能的衡量方法。图2示出了根据本发明另一个实施例的搜索引擎性能的衡量方法的流程图。参见图2，该方法至少包括步骤S202至步骤S214。

步骤S202、对待衡量搜索引擎的查询Query进行随机抽取，高中低频各K个。

步骤S204、对各查询Query，抓取首页查询结果，并对N个首页查询结果条目进行相关性打分，得到各查询Query的首页查询结果的首页打分列表。

在该步骤中，当N为21时，首页打分列表为(s1,s2,s3,…,s21)。

步骤S206、对各查询Query，抓取除首页以外的其他页查询结果，并对除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值。

步骤S208、根据至少一个打分值调整首页打分列表，得到调整后的首页打分列表。

在该步骤中，可以通过多种方式实现对首页打分列表的调整，可以参考前文介绍的方式一或方式二进行调整，此处不再赘述。

步骤S210、根据调整后的首页打分列表，确定各查询Query的首页查询结果的理论最大得分值。

步骤S212、对各查询Query，根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整该调整后的首页打分列表，进而确定第二理论最大得分值。

在该步骤中，如选取M个参考搜索引擎，M可以取3，利用各参考搜索引擎中查询得到的查询结果条目的相关性打分值调整该调整后的首页打分列表，可以参考上文方式一或方式二进行，当各参考搜索引擎中查询结果条目的相关性打分值大于调整后的首页打分列表中的相关性打分值时，用各参考搜索引擎中的查询结果条目替换调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整该调整后的首页打分列表。

步骤S214、计算第一理论最大得分值与第二理论最大得分值之间的差值，作为各查询Query在待衡量搜索引擎中的资源收录损失指标，进而根据各查询Query在待衡量搜索引擎中的资源收录损失指标，对待衡量搜索引擎的性能进行衡量。

在该步骤中，可以预先设置待衡量搜索引擎的性能的不同等级对应的资源收录损失指标的区间，如待衡量搜索引擎的性能的等级有1、2、3三级，分别对应的资源收录损失指标的区间为[0，5]、(5，15]、(15，100)，若计算出第一理论最大得分值与第二理论最大得分值之间的差值，即资源收录损失指标为3，则衡量出待衡量搜索引擎的性能的等级为1级。需要说明的是，此处待衡量搜索引擎的性能的等级以及对应的资源收录损失指标的区间仅是示意性的，并不限制本发明。

或者，可以计算第一理论最大得分值与第二理论最大得分值之间的比值，作为各查询Query在所述待衡量搜索引擎中的资源收录有效指标，进而根据各查询Query在待衡量搜索引擎中的资源收录有效指标，对待衡量搜索引擎的性能进行衡量。例如，可以预先设置待衡量搜索引擎的性能的不同等级对应的资源收录有效指标的区间，如待衡量搜索引擎的性能的等级有1、2、3三级，分别对应的资源收录有效指标的区间为[1，0.95]、(0.95，0.85]、(0.85，0)，若计算出第一理论最大得分值与第二理论最大得分值之间的比值，即资源收录有效指标为0.98，则衡量出待衡量搜索引擎的性能的等级为1级。需要说明的是，此处待衡量搜索引擎的性能的等级以及对应的资源收录有效指标的区间仅是示意性的，并不限制本发明。

在本实施例中，利用第一、第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果，进一步能够更好地指导后续优化搜索引擎的工作。

对应于上述实施例中搜索引擎性能的衡量方法，本发明实施例还提供了一种搜索引擎性能的衡量装置。图3示出了根据本发明一个实施例的搜索引擎性能的衡量装置的结构示意图。参见图3，该装置至少可以包括：确定模块310和衡量模块320。

现介绍本发明实施例的搜索引擎性能的衡量装置的各组成或器件的功能以及各部分间的连接关系：

确定模块310，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在待衡量搜索引擎中的首页查询结果的第一理论最大得分值；以及，根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定各查询Query在待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

衡量模块320，与确定模块310相耦合，适于根据第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎的性能进行衡量。

在本发明一实施例中，上述确定模块310还适于：对各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到各查询Query的首页查询结果的首页打分列表；对各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；根据至少一个打分值调整首页打分列表，得到调整后的首页打分列表；根据调整后的首页打分列表，确定各查询Query在待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

在本发明一实施例中，上述确定模块310还适于：当其他页中查询结果条目的相关性打分值大于首页中查询结果条目的相关性打分值时，用其他页中的查询结果条目替换首页中的查询结果条目，实现调整首页打分列表。

在本发明一实施例中，上述确定模块310还适于：根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整调整后的首页打分列表，进而确定第二理论最大得分值。

在本发明一实施例中，上述确定模块310还适于：当至少一个参考搜索引擎中查询结果条目的相关性打分值大于调整后的首页打分列表中的相关性打分值时，用至少一个参考搜索引擎中的查询结果条目替换调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整调整后的首页打分列表。

在本发明一实施例中，上述衡量模块320还适于：计算第一理论最大得分值与第二理论最大得分值之间的差值，作为各查询Query在待衡量搜索引擎中的资源收录损失指标；根据各查询Query在待衡量搜索引擎中的资源收录损失指标，对待衡量搜索引擎的性能进行衡量。

在本发明一实施例中，上述衡量模块320还适于：计算第一理论最大得分值与第二理论最大得分值之间的比值，作为各查询Query在待衡量搜索引擎中的资源收录有效指标；根据各查询Query在待衡量搜索引擎中的资源收录有效指标，对待衡量搜索引擎的性能进行衡量。

在本发明一实施例中，上述衡量模块320还适于：统计各查询Query在待衡量搜索引擎中的查询频率；根据各查询Query的查询频率，对各查询Query在待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对待衡量搜索引擎的性能进行衡量。

根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：

本发明实施例中，由于首页查询结果具备容易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性的好坏能够在一定程度上反映搜索引擎性能，从而本发明实施例中利用首页查询结果的第一理论最大得分值和第二理论最大得分值，对待衡量搜索引擎性能进行衡量，能够提供更加准确、客观的衡量结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更为精确的搜索结果，满足用户对信息的需求，提高用户信息搜索体验。

进一步，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量。首先，第一理论最大得分值是对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，进而根据前若干页的查询结果条目的打分值来确定，即前若干页的查询结果条目的打分值越高，从而确定的第一理论最大得分值也就越高。由于搜索引擎的排序算法决定了前若干页的查询结果条目，因而前若干页的查询结果条目的打分值能够体现搜索引擎的排序算法的有效性，从而第一理论最大得分值能够衡量搜索引擎的排序算法的有效性。其次，第二理论最大得分值根据各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值进行确定得到，由于理论上查询Query到底有多少资源是不可计算的，本发明实施例以多个搜索引擎为参考，使得确定的第二理论最大得分值能够更加接近资源的得分上限，进而根据第一、第二理论最大得分值能够准确地衡量出资源数据本身的损失情况。由此，本发明实施例可以利用第一理论最大得分值和第二理论最大得分值将资源数据本身与搜索引擎的排序算法分离开来进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果，进一步能够更好地指导后续优化搜索引擎的工作。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的衡量搜索引擎排序算法有效性的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

本发明还公开了：A1、一种搜索引擎性能的衡量方法，包括：

对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；

根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

A2、根据A1所述的方法，其中，所述对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值的步骤，包括：

对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；

根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

A3、根据A1-A2任一项所述的方法，其中，所述根据所述至少一个打分值调整所述首页打分列表的步骤，包括：

当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

A4、根据A1-A3任一项所述的方法，其中，所述确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值的步骤，包括：

根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表，进而确定所述第二理论最大得分值。

A5、根据A1-A4任一项所述的方法，其中，所述根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表的步骤，包括：

当所述至少一个参考搜索引擎中查询结果条目的相关性打分值大于所述调整后的首页打分列表中的相关性打分值时，用所述至少一个参考搜索引擎中的查询结果条目替换所述调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整所述调整后的首页打分列表。

A6、根据A1-A5任一项所述的方法，其中，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的差值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标，对所述待衡量搜索引擎的性能进行衡量。

A7、根据A1-A6任一项所述的方法，其中，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的比值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量。

A8、根据A1-A7任一项所述的方法，其中，根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量，包括：

统计所述各查询Query在所述待衡量搜索引擎中的查询频率；

根据所述各查询Query的查询频率，对所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对所述待衡量搜索引擎的性能进行衡量。

B9、一种搜索引擎性能的衡量装置，包括：

确定模块，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；以及，根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

衡量模块，适于根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

B10、根据B9所述的装置，其中，所述确定模块还适于：

对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；

根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

B11、根据B9-B10任一项所述的装置，其中，所述确定模块还适于：

当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

B12、根据B9-B11任一项所述的装置，其中，所述确定模块还适于：

根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表，进而确定所述第二理论最大得分值。

B13、根据B9-B12任一项所述的装置，其中，所述确定模块还适于：

当所述至少一个参考搜索引擎中查询结果条目的相关性打分值大于所述调整后的首页打分列表中的相关性打分值时，用所述至少一个参考搜索引擎中的查询结果条目替换所述调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整所述调整后的首页打分列表。

B14、根据B9-B13任一项所述的装置，其中，所述衡量模块还适于：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的差值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标，对所述待衡量搜索引擎的性能进行衡量。

B15、根据B9-B14任一项所述的装置，其中，所述衡量模块还适于：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的比值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量。

B16、根据B9-B15任一项所述的装置，其中，所述衡量模块还适于：

统计所述各查询Query在所述待衡量搜索引擎中的查询频率；

根据所述各查询Query的查询频率，对所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对所述待衡量搜索引擎的性能进行衡量。

Claims (10)

1.一种搜索引擎性能的衡量方法，包括：

对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；

根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

2.根据权利要求1所述的方法，其中，所述对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值的步骤，包括：

对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；

根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。

3.根据权利要求1-2任一项所述的方法，其中，所述根据所述至少一个打分值调整所述首页打分列表的步骤，包括：

当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

4.根据权利要求1-3任一项所述的方法，其中，所述确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值的步骤，包括：

根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表，进而确定所述第二理论最大得分值。

5.根据权利要求1-4任一项所述的方法，其中，所述根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，调整所述调整后的首页打分列表的步骤，包括：

当所述至少一个参考搜索引擎中查询结果条目的相关性打分值大于所述调整后的首页打分列表中的相关性打分值时，用所述至少一个参考搜索引擎中的查询结果条目替换所述调整后的首页打分列表中的相关性打分值对应的查询结果条目，实现调整所述调整后的首页打分列表。

6.根据权利要求1-5任一项所述的方法，其中，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的差值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标，对所述待衡量搜索引擎的性能进行衡量。

7.根据权利要求1-6任一项所述的方法，其中，根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量，包括：

计算所述第一理论最大得分值与所述第二理论最大得分值之间的比值，作为所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标；

根据所述各查询Query在所述待衡量搜索引擎中的资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量。

8.根据权利要求1-7任一项所述的方法，其中，根据所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标，对所述待衡量搜索引擎的性能进行衡量，包括：

统计所述各查询Query在所述待衡量搜索引擎中的查询频率；

根据所述各查询Query的查询频率，对所述各查询Query在所述待衡量搜索引擎中的资源收录损失指标和/或资源收录有效指标进行加权求和，进而对所述待衡量搜索引擎的性能进行衡量。

9.一种搜索引擎性能的衡量装置，包括：

确定模块，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至少一个查询结果条目分别进行相关性打分，得到各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值；以及，根据所述各查询Query在至少一个参考搜索引擎中查询得到的查询结果条目的相关性打分值，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第二理论最大得分值；

衡量模块，适于根据所述第一理论最大得分值和所述第二理论最大得分值，对所述待衡量搜索引擎的性能进行衡量。

10.根据权利要求9所述的装置，其中，所述确定模块还适于：

对所述各查询Query在待衡量搜索引擎中查询得到的首页查询结果条目分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列表；

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分列表；

根据所述调整后的首页打分列表，确定所述各查询Query在所述待衡量搜索引擎中的首页查询结果的第一理论最大得分值。