CN107193743B - 一种应用测评方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种应用测评方法、装置、计算机设备和存储介质，该方案包括：确定测评所需的至少一个关键词；调用并运行用于模拟移动终端操作系统的自动测试工具，该自动测试工具中安装有待测评的至少一个目标应用；通过自动测试工具模拟运行目标应用，并分别模拟目标应用对每个关键词的搜索，以得到目标应用搜索每个关键词的搜索结果页面；将搜索结果页面发送给至少一个终端，以使得终端的用户依据搜索结果页面，对搜索结果页面对应的目标应用的搜索效果进行评分。本申请的方案可以降低获取测评所需的搜索页面数据的复杂度，提高目标应用测评的便捷性。

Description

一种应用测评方法、装置、计算机设备及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种获取应用测评方法、装置、计算机设备及存储介质。

背景技术

应用于移动终端的具备搜索功能的应用的逐渐增多，具有搜索功能的应用的种类也日益多样化，如，具有搜索功能的应用可以为搜索引擎应用，或者提供视频资源搜索的视频应用，或者是具备音乐资源搜索功能的音乐播放器等等。对于具有搜索功能且相同类型的应用而言，虽然应用实现的功能相似，但是不同应用的搜索效果却存在差异。为了提高应用的搜索效果，测评人员经过需要对相同类型的不同应用进行测评，并根据测评结果对搜索效果较差的应用进行分析，以对该应用进行改进。

目前，对具备搜索功能的不同应用进行测评时，在确定出测评所需的搜索关键词之后，测评人员需要分别在不同应用的搜索输入栏输入搜索关键词，并分别触发不同的应用基于该搜索关键词进行搜索，才能够得到每个应用搜索出的搜索结果页面，从而基于搜索结果页面进行该应用的测评。然而，由于测评人员获取不同款应用的搜索结果页面的过程较为复杂，从而使得应用测评的复杂度较高。

发明内容

有鉴于此，本申请提供了一种应用测评方法、装置、计算机设备及存储介质，以降低获取测评所需的搜索页面数据的复杂度，提高对具备搜索功能的应用进行测评的便捷性。

为实现上述目的，一方面，本申请实施例提供了一种应用测评方法，包括：

确定测评所需的至少一个关键词；

调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用；

针对每个所述目标应用，通过所述自动测试工具模拟运行所述目标应用，并分别模拟所述目标应用对每个所述关键词的搜索，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分。

另一方面，本申请实施例还提供了一种应用测评装置，包括：

词确定单元，用于确定测评所需的至少一个关键词；

工具调用单元，用于调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用；

模拟搜索单元，用于针对每个所述目标应用，通过所述自动测试工具分别模拟运行每个所述目标应用，并分别模拟所述目标应用对每个所述关键词的搜索，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

页面发送单元，用于将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分。

由以上内容可知，在本申请实施例中，在计算机设备中安装有用于模拟移动终端的操作系统的自动测评工具，该自动测评工具中安装有待模拟的至少一个具备搜索功能的目标应用。在确定出测评所需的至少一个关键词之后，调用并运行模拟移动终端操作系统的自动测试工具，通过该自动测试工具可以分别模拟运行每个待测评的目标应用，并模拟目标应用对每个所述关键词的搜索，从而可以得到不同目标应用搜索每个关键词的搜索结果页面，这样，将得到的搜索结果页面发送给至少一个终端之后，终端的用户可以依据搜索结果页面对搜索结果页面对应的目标应用的搜索效果进行评分，从而无需每个用户分别在不同的目标应用上依次输入每个关键词并进行搜索操作，降低了对目标应用进行测评的复杂度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开了一种计算机设备的组成结构示意图；

图2为本申请公开的一种应用测评方法一个实施例的流程示意图；

图3为本申请中基于搜索日志数据中关键词的词频，选取测评所需的关键词的一种示意图；

图4示出了应用本申请的一种应用测评方法所适用的一种应用场景的组成结构示意图；

图5示出了本申请公开的一种应用测评方法又一个实施例的流程交互示意图；

图6a和图6b分别示出了通过自动测试工具截取到的目标应用的搜索结果页面对应的两个页面截图；

图7示出了本申请公开的一种应用测评方法在一种应用场景下的流程交互示意图；

图8示出了本申请的自动测试工具中预置的模拟器、自动测试工具中的剪切板以及自动测试工具中安装的具有搜索功能的目标应用之间的一种关系示意图；

图9示出了本申请公开的一种应用测评装置一个实施例的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例的应用测评方法和装置适用于计算机设备，该计算机设备可以为任意具备数据处理能力的设备，如，台式计算机或者笔记本电脑等。

如图1，其示出了本申请实施例的应用测评方法和装置所适用的计算机设备的一种组成结构示意图。在图1中，该计算机设备可以包括：处理器101、存储器102、通信接口103、显示器104、输入单元105和通信总线106。

处理器101、存储器102、通信接口103、显示器104、输入单元105均通过通信总线106完成相互间的通信。

可选的，该处理器101中可以包括中央处理器(CPU，Central Processing Unit)，其可以实现该计算机设备主要的数据处理操作，当然，该中央处理器还可以被替换为特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

存储器102中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令。该存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

该通信接口103可以为通信模块的接口，如GSM模块的接口。

该显示器104可用于显示所构建出的网页；还可以显示由用户输入的信息，或者提供给用户的信息，以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图片等任意组合来构成。

该输入单元105可用于接收输入的用户输入的字符、数字等信息，以及产生与用户设置以及功能控制有关的信号输入。该输入单元可以包括但不限于物理键盘、鼠标、操作杆等中的一种或多种。

当然，图1所示的计算机设备结构并不构成对计算机设备的限定，在实际应用中计算机设备可以包括比图1所示的更多或更少的部件，或者组合某些部件。

在本申请实施例中，该计算机设备中安装有自动测试工具，该自动测试工具用于模拟移动终端的操作系统，通过运行该自动测试工具可以模拟出移动终端的运行环境。相应的，在该自动测试工具中可以安装所需测试的目标应用，该目标应用为具备搜索功能的应用，在自动测试工具中运行目标应用就相当于在移动终端上运行该目标应用，这样，通过计算机设备对自动测试工具进行控制，实现通过自动测试工具模拟运行该目标应用，并模拟在该目标应用中搜索待测试的关键词，得到该目标应用对关键词的搜索结果页面，而该搜索结果页面则可以反映出移动终端中安装的该目标应用对关键词的搜索效果。

结合以上共性，下面对本申请实施例的一种应用测评方法进行详细介绍。参见图2，其示出了本申请一种应用测评方法一个实施例的流程示意图，本实施例的方法应用于计算机设备，该计算机设备中安装有用于模拟移动终端操作系统的自动测试工具。

本实施例的方法可以包括：

S201，确定测评所需的至少一个关键词。

可以理解的是，在测试具备搜索功能的目标应用的搜索效果时，需要通过目标应用来搜索关键词，以通过目标应用对该关键词搜索所得的结果页面，来评价该目标应用的搜索效果，因此，需要先确定测评所需要的关键词。

其中，为了便于区分，本申请将具备搜索功能的应用称为目标应用。

为了能够更为真实的反映出目标应用的搜索效果，需要每款目标应用分别针对多个关键词进行搜索，因此，作为一种可选方式，确定出的关键词可以为多个。

其中，确定关键词的方式可以有多种，如，可以获取用户预先输入所需测评的关键词。

可选的，为了使得测评所用的关键词能够尽可能的符合用户的真实行为，待测评的关键词一般需为网络用户真实搜索过关键词，且关键词可以既包括热门词，也要有冷门词，其中，热门词可以为网络用户的总搜索次数较多的关键词，如，热门词可以为网络用户的总搜索次数大于第一预设阈值的关键词；冷门词为网络用户的总搜索次数较少的关键词，如，冷门词可以为网络用户的总搜索次数小于第二预设阈值的关键词，该第二预设阈值小于该第一预设阈值；同时，既可能有用户正确输入的关键词，如，用户向搜索栏中输入且触发搜索的关键词；也需要有用户错误输入的关键词，如，用户向搜索栏中输入，但并未触发搜索的关键词，因此，测评所需的关键词可以通过如下方式确定：

获取存储的用户在当前时刻之前进行关键词搜索的搜索日志数据，该搜索日志数据包括：多个历史关键词以及历史关键词的词频；其中，为了便于区分，将当前时刻之前用户搜索过的关键词称为历史关键词；

根据该历史关键词的词频，生成关键词队列，其中，关键词队列由多个历史关键词顺序排列组成，且历史关键词在关键词队列中出现的次数与该历史关键词的词频相同，例如，关键词队列可以为：关键词a1、关键词b1、关键词a2、关键词a2、关键词b2、关键词a1；

从该关键词队列中抽取出测评所需的至少一个关键词。

其中，历史关键词的词频为历史关键词被搜索的总次数。从关键词队列中抽取关键词可以是随机进行抽取排序处于不同位置处的多个关键词，以保证一些冷门词也可以被抽取到；同时，由于关键词队列中每个历史关键词出现的次数与该历史关键词的词频相同，那么历史关键词的词频越高，该历史关键词被抽中的概率也越高，有利于更为真实全面的反映用户的真实行为。

为了便于理解从搜索日志数据中抽取测评所需的关键词的过程，可以结合图3所示的例子进行介绍，由图3可以看出，获取到不同关键词(图中的词表示关键词)以及每个关键词的词频之后，基于关键词的词频，将关键词进行排序，以使得多个关键词顺序排列，也就是图3中所提到的分散，从而生成一个关键词队列如图4中是依次将多个关键词按照从上到下的顺序排列。其中，关键词队列中每个关键词出现的次数与该关键词的词频相同，如，关键词q1的词频为4，则在该关键词队列中该关键词q1出现的次数为4。在抽取关键词时，可以该关键词队列中多个顺序排列的关键词中随机抽取关键词，如，假设抽取从上到下的排序中，排序处于第2位以及第8位的关键词，则可以抽取到关键词q1以及关键词q3，其中，关键词q1被搜索的次数较多，属于热门词；而关键词q3被搜索的次数较少，属于冷门词，这样，随机抽取出的关键词涵盖了热门词以及冷门词。

需要说明的是，以上基于搜索日志数据中历史关键词的词频，可以是在需要确定关键词时，实时执行；也可以在测试搜索引擎测试之前，预先执行的，在预先确定出关键词的情况下，在需要对目标应用进行测评时，可以直接调取预先确定出的关键词。

S202，调用并运行自动测试工具，自动测试工具中安装有待测评的至少一个具有搜索功能的目标应用。

根据测试需要，可以在自动测试工具中安装所需测评的目标应用，如，需要测试目标应用A和目标应用B，则可以在自动测试工具中安装该目标应用A和目标应用B。

通过自动测试工具可以模拟出移动终端的运行环境，这样，可以将移动终端中安装的目标应用的搜索过程移植到台式机等大型计算机设备中来进行测试，有利于更为快速、高效的捕获目标应用所搜索出的搜索结果页面。

如，如果模拟安卓操作系统的移动终端，那么该自动测试工具可以为monkeyrunner。

需要说明的是，在本申请实施例中，该目标应用的类型可以有多种，目标应用可以为具备网络数据抓取的搜索引擎应用；也可以是具有搜索功能且具备实现多媒体输出功能的应用，例如，提供视频资源搜索的视频播放器(或者其他视频应用)，该视频播放器可以实现视频播放功能以及向该视频播放器对应的服务器请求对视频的搜索。

S203，针对每个目标应用，通过自动测试工具模拟运行该目标应用，并模拟该目标应用对每个关键词的搜索，以分别得到该目标应用搜索每个关键词的搜索结果页面。

其中，通过自动测试工具来启动该自动测试工具中所安装的目标应用，可以模拟出在移动终端的运行环境中运行该目标应用的效果。

为了比对出不同款目标应用对于同一个关键词的搜索效果，通过该自动测试工具分别在每款目标应用中模拟对每个关键词的搜索操作。其中，该搜索操作可以包括模拟用户向该目标应用中输入所需搜索的关键词，以及模拟触按该目标应用中的搜索按键，以触发目标应用对所输入的关键词进行搜索。

可以理解的是，对于一款目标应用而言，每搜索一个关键词均会得到相应的搜索结果页面。而搜索结果页面中有可能会包括多条搜索结果，因此，目标应用所搜索出的所有搜索结果可能无法在一个页面中全部展现出来，在该种情况下，就需要对搜索结果进行分屏显示，如，搜索结果包括20条结果，而每屏最多展现10条结果，那么则需要分两屏显示出所有搜索结果页面。如果目标应用对关键词进行搜索所得到的搜索结果无法通过一个页面全部展现出来，在本申请实施例所提到的搜索结果页面可以仅仅包含第一屏所展现出的搜索结果；也可以是根据需要，在通过自动测试工具得到目标应用对关键词进行搜索所得到的搜索结果页面的第一页结果页面(或者说第一屏结果页面)之后，通过自动测试工具模拟对目标应用所展现出的搜索结果进行翻页操作，以得到第二页结果页面，甚至多页结果页面。

S204，将搜索结果页面发送给至少一个终端，以使得终端的用户依据搜索结果页面，对该搜索结果页面对应的目标应用的搜索效果进行评分。

可以理解的是，由于用户(如对搜索引擎进行测评的测试人员)可以得到所需测评的目标应用对于不同关键词的搜索结果页面，从而避免了用户手动在目标应用的搜索界面中依次输入每个关键词，并点击搜索按键等操作，有利于减少测评复杂度。

而且，由于每个用户可能需要对多款目标应用进行测评，而通过本申请的方案可以得到多款不同目标应用针对不同关键词的搜索结果页面，从而无需用户分别在不同目标应用中进行切换，并不断在不同目标应用中进行搜索等复杂操作，也有利于减少测评复杂度，减少测评所需的耗时。

同时，针对同一款目标应用，如果不同用户分别手动在该目标应用搜索某个关键词，由于搜索时间不同，目标应用所呈现出的搜索结果也会有所差异，这样由于不同用户所得到的搜索结果页面的差异，也会影响到不同用户对该搜索结果的评分，从而使得对该目标应用的评分存在偏差。而通过本申请的方案，不同终端的用户得到的同一款目标应用对于同一个关键词的搜索结果页面完全相同，从而使得不同终端的用户能够针对同一个搜索结果页面对该目标应用进行评分，有利于使得不同用户对该目标应用的评分更为合理。

可以理解的是，在计算机设备通过自动测试工具得到搜索结果页面之后，计算机设备发送给终端的搜索结果页面实际上是该搜索结果页面的截图。如，计算机设备可以截取目标应用所搜索出的搜索结果页面。

作为一种可选方式，可以通过自动测试工具对搜索结果页面进行截图，这样，计算机设备获取到该自动测试工具对所述搜索结果页面的截图之后，可以将搜索结果页面的截图发送给该至少一个测评人员所在的终端。

S205，获取至少一个终端所返回的目标应用的评分。S206，对不同终端所返回各个目标应用的评分进行汇总，得到不同目标应用所对应的综合评分。

如，汇总可以是分别针对每一款目标应用，统计不同终端的用户对该款目标应用的评分总和，并将每款目标应用的评分总和确定为该目标应用的综合评分。举例说明，假设测试的为目标应用A和目标应用B，同时假设测试所用的关键词为a，假设用户M1，针对目标应用A对于关键词a的搜索结果页面所给出的评分为9分，且针对目标应用B对于关键词a的搜索结果页面给出的评分为8分；而用户M2针对目标应用A对于关键词a的搜索结果页面所给出的评分为7分，且针对目标应用B对于关键词a的搜索结果页面给出的评分为6分；那么进行汇总之后，可以得到目标应用A的综合评分为9分+7分＝16分；而目标应用B的综合评分为8分+6分＝14分。

可以理解的是，目标应用的综合评分也可以是不同终端返回的该目标应用的评分的平均值。当然，还可以有其他对目标应用的评分进行汇总，得到该目标应用的综合评分的方式，在此不加以限制。

其中，该步骤S205和步骤S206为可选步骤，其目的是为了可以通过计算机设备自动完成对不同目标应用的评分的汇总，以直接得到所有待测试的目标应用的综合评分，提高评分的自动化和高效性。

为了便于理解本申请实施例的方案，下面以一种应用场景为例，对应用本申请实施例的应用测试方法的应用测试系统进行介绍。

参见图4，其示出了本申请一种应用测试方法所适用的一种应用场景示意图。

其中，本申请实施例的应用测试系统410可以包括计算机设备411以及数据库412，其中，该计算机设备可以通过网络与数据库建立连接。

同时，该计算机设备411可以通过网络与至少一个目标应用所对应的一台应用服务器420。

由图4可以看出，该计算机设备411可以从数据库412中获取用户的搜索日志数据，如图4中步骤S41。相应的，计算机设备基于该搜索日志数据可以确定出待测评的关键词。

该计算机设备411中安装有应用测评程序以及自动测试工具，该应用测评程序可以控制启动该自动测试工具，以及触发自动测试工具执行预置的脚本，以在该自动测试工具中启动目标应用，并模拟在该目标应用中对关键词的搜索操作。

在计算机设备中的自动测试工具触发该目标应用对关键词进行搜索之后，该计算机设备411可以向目标应用的应用服务器420发送关键词搜索请求，以请求应用服务器420基于该关键词进行搜索，如图4中步骤S42。

应用服务器420搜索到该关键词对应的搜索结果数据之后，会将该搜索结果数据返回给计算机设备，如图4中步骤S43。相应的，计算机设备411可以基于该搜索结果数据展现相应的搜索结果页面，如图4中步骤S44。

另外，在该应用场景中可以包括多个用户(如，测评人员)所在的多个终端430。该终端可以为笔记本电脑、台式机，也可以为手机等移动终端。

计算机设备411还可以与测评人员所在的终端430通过网络相连，这样，计算机设备411可以将获取到的不同目标应用的搜索结果页面的截图发送给不同测评人员所在的终端430，以使得终端展现出该搜索结果页面的截图，使得测评人员可以基于搜索结果页面的截图对目标应用进行评分，如图4中步骤S45。

在一种可能的情况中，在本申请以上实施例中，自动测试工具中可以包括至少一个模拟器，模拟器为用于模拟实现特定功能的程序，在本申请实施例中自动化测试工具可以通过模拟器来模拟运行目标应用以及模拟在目标应用中搜索关键词等操作。在模拟器运行目标应用时，通过该模拟器可以依次将至少一个关键词作为待检索的目标关键词，并模拟向该目标应用的搜索输入栏输入该目标关键词，以及模拟触按该目标应用的搜索按键，以触发所述目标应用展现出所述目标关键词对应的搜索结果页面。

下面结合图4，对本申请实施例的一种应用测试方法进行介绍，如图5，其示出了本申请一种应用测试方法又一个实施例的流程交互示意图，在本实施例中对于计算机设备侧所执行的流程操作，是以计算机设备中的应用测试程序与该计算机设备中安装的自动测试工具之间的交互过程为了进行介绍。

本实施例的方法可以包括：

S501，计算机设备中的应用测评程序从数据库中获取用户的搜索日志数据。

S502，应用测评程序依据搜索日志数据，选取出多个测评所需的关键词。

其中，从搜索日志数据中选取关键词的方式可以参见前面实施例的相关介绍，在此不再赘述。

需要说明的是，本实施例是以应用测评程序实时从数据库中获取搜索日志数据，来确定待测评的关键词为例进行说明，但是可以理解的是，预先基于搜索日志数据确定出所需的测评的关键词，以及预先由用户设定所需测评的关键词等方式也同样适用于本实施例，在此不加以限制。

S503，应用测评程序调用并启动安装有待测试的至少一个目标应用的自动测试工具。

其中，该目标应用为具备搜素功能的应用。

S504，应用测评程序将该至少一个关键词传输给该自动测评工具，以便该自动测评工具将该至少一个关键词存储到指定缓存区。

S505，自动测试工具根据待测试的该至少一个目标应用的总数目，从运行的多个模拟器中，选取出该总数目个空闲的模拟器，并将该至少一个待测试的目标应用的标识分别分配给选取出的至少一个模拟器。

其中，选取出的空闲的模拟器的目标数量与该目标应用的总数目相同，以使得每个模拟器可以运行一个目标应用，且不同模拟器运行不同的目标应用。这样，该总数目个模拟器可以并行运行该至少一个目标应用，从而有利于快速得到该至少一个搜索引擎应用对不同关键词的搜索结果。

当然，选取出的模拟器的数目与待测试的目标应用的总数目相同仅仅是一种优选实施方式。在实际应用中，选取的模拟器的数量也可以少于待测试的目标应用的总数目，在该种情况下，一个模拟器可能需要分配多个待测试的目标应用，这样，就需要该模拟器依次对每个目标应用进行模拟测试，即，模拟器完成对一个目标应用的模拟测试，得到该目标应用对每个关键词的搜索结果页面之后，再对分配的其他目标应用进行模拟测试。

其中，自动测试工具运行的多个模拟器可以以队列形式存在，处于空闲状态的模拟器可以存在于空闲队列中，这样，自动测试工具可以从该空闲队列的队头中选取出空闲状态的一个或多个模拟器，以通过空闲的模拟器执行后续的操作。相应的，如果模拟器完成相应的操作，或者中途因某种原因暂停后，则可以重新将该模拟器加入到空闲队列中。

可以理解的是，如果通过自动测试工具启动一个目标应用，需要知道该目标应用的标识，该标识可以为目标应用的包(package)名称和/或组件(如，activity组件)。如，通过在android sdk中提供的aapt.exe，来对应用的安装包文件进行分析，从而获取应用的package名称或activity。

S506，对于每一个选取出的模拟器，该模拟器启动分配的目标应用的标识对应的目标应用，以及剪切板应用。

其中，剪切板应用也可以称为剪切板。可以理解的是，自动测试工具用于模拟移动终端的操作系统等运行环境，因此，在计算机设备中运行自动测试工具，就相当于启动了移动终端的操作系统，剪切板属于移动终端的操作系统所提供的用户缓存数据的一个模块。模拟器模拟启动该剪切板之后，可以通过该剪切板实现关键词的缓存，以便通过对关键词进行粘贴以及复制，实现将关键词输入到目标应用的搜索输入栏中。

S507，模拟器模拟点击该目标应用中的搜索框，以触发目标应用进入搜索界面。

该搜索框用于触发进入搜索界面。

其中，该步骤为可选步骤，如果目标应用展现出的界面就是搜索界面，则无需执行该步骤的操作。

S508，模拟器从自动测试工具的指定缓存区中缓存的未被检索的关键词中，获取当前待搜索的目标关键词，并将该目标关键词复制到剪切板应用的缓存空间。

S509，模拟器在该搜索界面的搜索输入框中模拟该目标关键词的粘贴操作，以将该目标关键词粘贴到该搜索输入框中。

其中，模拟将所述剪切板中的目标关键词粘贴到所述目标应用的搜索输入栏的方式可以有多种，如，模拟器模拟对该搜索输入框的长按操作，以触发目标应用中呈现出粘贴按钮，然后模拟器模拟点击该粘贴按钮，从而触发将剪切板中的目标关键词粘贴到该搜索输入框中。

为了便于理解，如图8，其示出了自动测试工具中预置的模拟器、自动测试工具中的剪切板以及自动测试工具中安装的具有搜索功能的目标应用之间的关系示意图。

由图8可知，自动测试工具模拟移动终端的运行环境，因此，该自动化测试工具可以模拟出移动终端的操作系统，该模拟出的移动终端的操作系统与目前移动终端的组成架构相似，如，模拟出的移动终端的操作系统801的组成架构可以包括：基础应用、应用框架以及内核。

其中，基础应用能够面向用户提供基本的应用功能，如，基础应用可以包括：拨号、短信、通讯录、剪切板等应用。

应用框架主要为上层应用提供编程接口和各种系统服务，如，可以包括：软件包管理器、内容管理器、视图管理器等。

内核负责内存管理、进程管理、网络协议栈和硬件驱动等功能，如，内核可以包括：显示驱动、按键驱动、进程间通信驱动、存储器驱动等等。

同时，与移动终端的操作系统相似，模拟出的该移动终端的操作系统还可以记录该自动测试工具中安装的第三方应用的信息，在本申请实施例中，将不属于操作系统自带的基础应用称为第三方应用，如，本申请实施例，自动测试工具中安装的第三方应用可以为具有搜索功能的目标应用，相应的，操作系统会维护该目标应用的安装目录等等信息。

同时，该自动化测试工具中可以预置多个模拟器，通过模拟器可以运行该操作系统中的剪切板等基础应用，以及该自动化测试工具中所安装的目标应用等第三方应用。

结合本申请的方案进行介绍，该模拟器运行剪切板，并将关键词复制到剪切板中，如步骤S801；同时，模拟器依据操作系统目标应用的信息，运行目标应用，并模拟打开目标应用中具备搜索功能的搜索界面，如步骤S802；然后，模拟器触发将剪切板中关键词粘贴到目标应用中搜索界面的搜索输入栏中，并模拟点击目标应用的搜索按键，以触发目标应用对该关键词进行搜索，以得到搜索结果页面，如步骤S803。

当然，模拟器在取出待搜索的目标关键词之后，该模拟器通过将目标关键词缓存到剪切板，并通过剪切板来实现将目标关键词粘贴到目标应用的搜索输入框中仅仅是一种实现方式，模拟器通过其他方式将目标关键词输入到该搜索输入框也同样适用于本实施例，在此不再赘述。

S510，模拟器模拟点击该搜索界面中的搜索按钮，以触发通过目标应用向该目标应用的应用服务器发送搜索请求，该搜索请求携带有该目标关键词。

需要说明的是，步骤S508至步骤S510为通过模拟器模拟将目标关键词复制到目标应用的搜索输入栏，以模拟触发目标应用进行搜索的一种可能情况，在实际应用中，模拟器还通过其他方式模拟向目标应用的输入栏中输入待检索的目标关键词，在此不加以限制。

S511，在目标应用展现出应用服务器返回的搜索结果页面时，模拟器截取当前展现出的搜索结果页面的截图。

S512，模拟器将搜索结果页面的截图发送给应用测评程序。

S513，应用测评程序存储该搜索结果页面的截图、该目标关键词以及该目标应用的标识之间的对应关系。

可以理解的是，如果搜索引擎界面所展现出的搜索界面页面仅仅是搜索结果中的一部分，该模拟器还可以在该搜索结果页面进行下拉操作，以触发目标应用更新该搜索结果页面，即使得目标应用展现出下一分屏的搜索结果；相应的，模拟器还可以截取目标应用更新出的搜索结果页面，如此可以重复多次，从而得到该目标应用针对该关键词进行搜索所得到的两个或多个搜索结果页面的截图。

相应的，应用测评程序可以将该两个或多个搜索界面页面的截图与该目标应用以及该目标关键词对应存储。

举例说明，参见图6a和图6b，其示出了目标应用搜索目标关键词“甄嬛传”所得到的搜索结果进行分屏显示所得的两个连续的搜索结果页面的示意图，其中，图6a表示该目标应用搜索“甄嬛传”所得到前5条搜索结果，通过模拟器在该图6a上模拟向上滑动的操作，可以使得目标应用在显示窗口中呈现后续的搜索结果，如图6b，且示出了第5条搜索结果以及第5条搜索结果之后的多条搜索结果。这样，该模拟器可以截取这两个界面的截图，这样，该目标应用搜索该关键词的搜索结果页面的截图可以包括图6a和图6b所示的图像。

可以理解的是，在本实施例中，为了使得模拟器可以模拟在目标应用对搜索按键的点击，在目标应用中下拉等模拟操作，可以预先获取用户执行以上点击、下拉等操作的操作截图，并根据操作截图，确定出每个模拟操作所需的操作点的坐标位置(横坐标以及纵坐标)，并预置每个模拟操作所对应的操作点的坐标位置。相应的，在模拟器需要执行一种模拟操作时，根据预置的每种模拟操作与屏幕中的操作点的坐标位置之间的对应关系，确定该模拟操作在屏幕中的操作点的坐标位置，并在该操作点对应的坐标位置处，执行该模拟操作对应的点击或者下拉操作。

S514，模拟器检测该指定缓存区中是否存在未被检索的关键词，如果是，则返回步骤S508；如果否，则执行步骤S515。

其中，步骤S513和步骤S514的顺序并不限于图5所示，在实际应用中，也可以同时执行这两个步骤。

S515，模拟器关闭该目标应用以及剪切板应用，并终止该模拟器的运行。

可选的，在该步骤S515终止模拟器的运行之后，如果自动测试工具检测到所有模拟器均完成对分配的目标应用的模拟测评，则该自动测试工具还可以向应用测试程序发送一个测试完毕的指示。

S516，应用测评程序在获取到每个目标应用针对每个关键词的搜索结果页面的截图之后，确定目标关键词与测评人员的对应关系。

可以理解的是，为了保证评测的公正性和客观性，一个关键词往往会被分给多个用户，如测评人员，最终目标应用搜索该关键词的搜索效果的评分可以以该多个测评人员的评分的平均值为准。考虑到测评人员本身的素质以及时间等因素，为每个测评人员分配的所需评分的关键词个数也有可能不同，同时，还需要避免一个关键词多次分给同一个测评人员的情况。举例说明，假如选取出的关键词有：q1，q2，q3和q4；测评人员包括测评人员w1、测试人员w2和测试人员w3。假设规定每个关键词可以分配给2个评测人员，那么测评人员w1可以测评q1，q2和q4。而测评人员W2可以测评q1和q3，测评人员W3可以测评q2，q3和q4。

S517，应用测评程序根据目标关键词与测评人员的对应关系，将目标应用对目标关键词的搜索结果页面的截图发送该目标关键词的测评人员所在的终端。

其中，步骤S516和S517为确定测评搜索结果页面的测评人员的一种实现方式，但是可以理解的是，在实际应用中还可以有其他方式来确定需要将搜索结果页面发送给哪些测评人员，如可以确定目标应用与测评人员的对应关系，根据该对应关系，将目标应用对应的所有搜索结果页面发送给目标应用的测评人员，当然，还可以有其他方式，在此不加以限制。

与前面实施例相似，该计算机设备的应用测评程序可以获取测评人员所在的终端所返回的目标应用的评分，并对不同测评人员所返回的不同目标应用的评分进行汇总，以得到不同目标应用所对应的综合评分。

为了能够更清楚的了解本申请实施例的应用测试方法，下面以在计算机设备中模拟出安卓操作系统的移动终端的运行环境为例，在该种情况下，计算机设备中有安卓的自动化测试工具MonkeyRunner，同时，假设需要评测的目标应用为目标应用A和目标应用B，而确定出的待测评的关键词为关键词M1。如，参见图7，其示出了本申请一种应用测试方法又一个实施例的流程交互示意图。本实施例的流程可以包括：

S701，计算机设备中的应用测评程序调用并启动自动测试工具MonkeyRunner。

其中，该MonkeyRunner中安装有待测试的目标应用A和目标应用B。

当然，在实际应用中，应用测评程序在启动该MonkeyRunner时，可以检测该MonkeyRunner中是否安装有待测评的目标应用；或者是将待测评的目标应用的标识发送给MonkeyRunner，以便MonkeyRunner检测是否安装有该标识对应的目标应用，如果该MonkeyRunner中未安装有相应的目标应用，则该MonkeyRunner可以输出安装提示，以便用户在该MonkeyRunner的界面中进行安装相应的目标应用的操作。

S702，应用测评程序将关键词M1发送给该MonkeyRunner。

S703，MonkeyRunner将关键词M1存储到指定缓存区。

S704，MonkeyRunner从运行的模拟器中，选取出空闲的模拟器N1和模拟器N2，并将目标应用A的标识分配给模拟器N1，同时，将目标应用B的标识分配给模拟器N2。

S705，模拟器N1启动目标应用A，以及剪切板应用；

S706，模拟器N1将指定缓存区的关键词M1复制到剪切板应用的剪切板中，并模拟将剪切板中的关键词M1粘贴到该目标应用A的搜索输入栏中，以及触按该目标应用A的搜索按钮，以使得目标应用A对该关键词M1进行搜索；

S707，在目标应用A展现出对该关键词M1的搜索结果页面H1之后，模拟器N1截取该搜索结果页面H1的截图；

S708，模拟器N1将搜索结果页面H1的截图发送给应用测评程序，以使得应用测评程序保存搜索结果页面H1的截图与关键词M1以及目标应用A的对应关系；

需要说明的是，本申请实施例为了便于描述，是以测评所需的关键词为一个为例进行说明，但是可以理解的是，如果测评所需的关键词有多个，则模拟器N1可以重复执行以上步骤S705至S708的操作。

S709，模拟器N2启动目标应用B，以及剪切板应用；

S710，模拟器N2将指定缓存区的关键词M1复制到剪切板应用的剪切板中，并模拟将剪切板中的关键词M1粘贴到该目标应用B的搜索输入栏中，以及触按该目标应用B的搜索按钮，以使得目标应用B对该关键词M1进行搜索；

S711，在目标应用B展现出对该关键词M1的搜索结果页面H2之后，模拟器N2截取该搜索结果页面H2的截图；

S712，模拟器N2将搜索结果页面H2的截图发送给应用测评程序，以使得应用测评程序保存搜索结果页面H2的截图与关键词M1以及目标应用B的对应关系；

其中，为了提高测评的效率，该模拟器N1和模拟器N2可以同时运行，因此，该步骤S705至S708，可以与步骤S709至S712并行执行。

S713，应用测评程序将搜索结果页面H1的截图、该搜索结果页面H1所对应的关键词M1和目标应用A的标识，以及搜索结果页面H2的截图以及该搜索结果页面H2对应的目标应用B的标识发送给至少一个测评人员所在的终端。

与前面实施例相似，不同测评人员所测评的关键词或者目标应用可以不同，因此，该搜索结果页面H1、搜索结果页面H2以及相关数据可以发送给相同的测评人员，也可以发送给不同的测评人员。

另一方面，本申请实施例还提供了一种应用测评装置。

参见图9，其示出了本申请一种应用测评装置一个实施例的组成结构示意图，本实施例的装置可以包括：

词确定单元901，用于确定测评所需的至少一个关键词；

工具调用单元902，用于调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用；

模拟搜索单元903，用于针对每个所述目标应用，通过所述自动测试工具模拟运行所述目标应用，并分别模拟所述目标应用对每个所述关键词的搜索，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

页面发送单元904，用于将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分。

可选的，所述装置还包括：

截图获取单元，用于在所述页面发送单元将所述搜索结果页面发送给至少一个终端之前，获取所述自动测试工具对所述搜索结果页面的截图；

相应的，所述页面发送单元具体为，用于将所述搜索结果页面的截图发送给所述至少一个测评人员所在的终端。

可选的，所述模拟搜索单元，包括：

模拟器启动单元，用于通过所述自动测试工具运行所述自动测试工具中预置的至少一个模拟器，并选取空闲的模拟器分别模拟启动并运行所述至少一个目标应用；

模拟搜索子单元，用于对于所述模拟器所运行的所述目标应用，通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键，以触发所述目标应用展现出所述目标关键词对应的搜索结果页面。

可选的，该装置还可以包括：

剪切板启动单元，用于在模拟搜索子单元模拟向所述目标应用的搜索输入栏输入所述目标关键词之前，通过所述模拟器启动剪切板应用；

则模拟搜索子单元具体为，用于通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，将待检索的目标关键词复制到所述剪切板应用的缓存空间，并模拟将所述剪切板中的目标关键词粘贴到所述目标应用的搜索输入栏，以及触按所述目标应用的搜索按键的操作。

可选的，所述模拟启动单元，包括：

模拟器选择单元，用于从运行的所述至少一个模拟器中，选取目标数量个空闲的模拟器，所述目标数量与所述至少一个目标应用的总数量相同；

测试任务分配单元，用于通过所述自动测试工具分别为选取出的每个模拟器分配一个搜索引擎引擎应用，以使得选取出的所述目标数量个模拟器并行运行所述至少一个目标应用。

可选的，所述词确定单元，包括：

日志获取单元，用于获取存储的用户历史搜索的搜索日志数据，所述搜索日志数据包括：多个历史关键词以及所述历史关键词的词频；

队列生成单元，用于根据所述历史关键词的词频，生成关键词队列，其中，所述历史关键词在所述关键词队列中出现的次数与所述历史关键词的词频相同；

关键词抽取单元，用于从所述关键词队列中抽取出测评所需的至少一个关键词。

可选的，所述装置还可以包括：

评分获取单元，用于获取所述至少一个终端所返回的所述目标应用的评分；

综合评分单元，用于对所述至少一个终端返回的所述目标应用的评分进行汇总，得到不同目标应用所对应的综合评分。

另一方面，本申请实施例还提供了一种计算机设备，该计算机设备的组成结构可以参见图1中所示的计算机设备的组成结构。该计算机设备中处理器用于调用并执行存储器中所存储的程序；

该存储器中所存储的程序至少用于：

确定测评所需的至少一个关键词；

调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用；

针对每个所述目标应用，通过所述自动测试工具模拟运行所述目标应用，并分别模拟所述目标应用对每个所述关键词的搜索，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分。

另一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机可执行指令，所述计算机可执行指令用于以上实施例中所述的应用测评方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种应用测评方法，其特征在于，包括：

获取存储的用户在当前时刻之前进行关键词搜索的搜索日志数据，所述搜索日志数据包括多个历史关键词以及历史关键词的词频；

根据所述历史关键词的词频生成关键词队列，其中，所述关键词队列由多个历史关键词顺序排列组成，且所述历史关键词在关键词队列中出现的次数与所述历史关键词的词频相同，所述关键词队列包括热门词和冷门词，所述热门词为网络用户的总搜索次数大于第一预设阈值的关键词，所述冷门词为网络用户的总搜索次数小于第二预设阈值的关键词，所述第二预设阈值小于所述第一预设阈值；

从所述关键词队列中抽取出测评所需的至少一个关键词；

调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用，所述自动测试工具用于模拟出移动终端的运行环境；

针对每个所述目标应用，通过所述自动测试工具运行所述自动测试工具中预置的至少一个模拟器，并选取空闲的模拟器分别模拟启动并运行所述至少一个目标应用；

对于所述模拟器所运行的所述目标应用，通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键，以触发所述目标应用展现出所述目标关键词对应的搜索结果页面，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分；

获取所述至少一个终端各自返回的所述目标应用的评分；

对所述至少一个终端所返回的所述目标应用的评分进行汇总，得到所述目标应用所对应的综合评分。

2.根据权利要求1所述的应用测评方法，其特征在于，在所述将所述搜索结果页面发送给至少一个终端之前，还包括：

获取所述自动测试工具对所述搜索结果页面的截图；

所述将所述搜索结果页面发送给至少一个测评人员所在的终端，包括：

将所述搜索结果页面的截图发送给至少一个终端。

3.根据权利要求1所述的应用测评方法，其特征在于，在所述通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键之前，还包括：

通过所述模拟器启动剪切板应用；

则所述通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键，包括：

通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，将待检索的目标关键词复制到所述剪切板应用的缓存空间，并模拟将所述剪切板应用中的目标关键词粘贴到所述目标应用的搜索输入栏，以及触按所述目标应用的搜索按键的操作。

4.根据权利要求1所述的应用测评方法，其特征在于，所述选取空闲的模拟器分别模拟启动并运行所述至少一个目标应用，包括：

从所述至少一个模拟器中，选取目标数量个空闲的模拟器，所述目标数量与所述至少一个目标应用的总数量相同；

通过所述自动测试工具分别为选取出的每个模拟器分配一个目标应用，以使得选取出的所述目标数量个模拟器并行运行所述至少一个目标应用。

5.一种应用测评装置，其特征在于，包括：

词确定单元，用于获取存储的用户在当前时刻之前进行关键词搜索的搜索日志数据，所述搜索日志数据包括多个历史关键词以及历史关键词的词频；根据所述历史关键词的词频生成关键词队列，其中，所述关键词队列由多个历史关键词顺序排列组成，且所述历史关键词在关键词队列中出现的次数与所述历史关键词的词频相同，所述关键词队列包括热门词和冷门词，所述热门词为网络用户的总搜索次数大于第一预设阈值的关键词，所述冷门词为网络用户的总搜索次数小于第二预设阈值的关键词，所述第二预设阈值小于所述第一预设阈值；从所述关键词队列中抽取出测评所需的至少一个关键词；

工具调用单元，用于调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用，所述自动测试工具用于模拟出移动终端的运行环境；

模拟搜索单元，用于针对每个所述目标应用，通过所述自动测试工具运行所述自动测试工具中预置的至少一个模拟器，并选取空闲的模拟器分别模拟启动并运行所述至少一个目标应用；对于所述模拟器所运行的所述目标应用，通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键，以触发所述目标应用展现出所述目标关键词对应的搜索结果页面，以得到所述目标应用搜索每个所述关键词的搜索结果页面；

页面发送单元，用于将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分；

评分获取单元，用于获取所述至少一个终端所返回的所述目标应用的评分；

综合评分单元，用于对所述至少一个终端返回的所述目标应用的评分进行汇总，得到所述目标应用所对应的综合评分。

6.根据权利要求5所述的应用测评装置，其特征在于，还包括：

截图获取单元，用于在所述页面发送单元将所述搜索结果页面发送给至少一个终端之前，获取所述自动测试工具对所述搜索结果页面的截图；

所述页面发送单元具体为，用于将所述搜索结果页面的截图发送给所述至少一个终端。

7.根据权利要求5所述的应用测评装置，其特征在于，所述模拟搜索单元，包括：

模拟器选择单元，用于从运行的所述至少一个模拟器中，选取目标数量个空闲的模拟器，所述目标数量与所述至少一个目标应用的总数量相同；

测试任务分配单元，用于通过所述自动测试工具分别为选取出的每个模拟器分配一个搜索引擎应用，以使得选取出的所述目标数量个模拟器并行运行所述至少一个目标应用。

8.一种计算机设备，其特征在于，包括：

处理器和存储器；

所述处理器用于调用并执行所述存储器中存储的程序；

所述存储器用于存储所述程序，所述程序至少用于：

获取存储的用户在当前时刻之前进行关键词搜索的搜索日志数据，所述搜索日志数据包括多个历史关键词以及历史关键词的词频；

根据所述历史关键词的词频生成关键词队列，其中，所述关键词队列由多个历史关键词顺序排列组成，且所述历史关键词在关键词队列中出现的次数与所述历史关键词的词频相同，所述关键词队列包括热门词和冷门词，所述热门词为网络用户的总搜索次数大于第一预设阈值的关键词，所述冷门词为网络用户的总搜索次数小于第二预设阈值的关键词，所述第二预设阈值小于所述第一预设阈值；

从所述关键词队列中抽取出测评所需的至少一个关键词；

调用并运行用于模拟移动终端操作系统的自动测试工具，所述自动测试工具中安装有待测评的至少一个目标应用，所述目标应用为具有搜索功能的应用，所述自动测试工具用于模拟出移动终端的运行环境；

针对每个所述目标应用，通过所述自动测试工具运行所述自动测试工具中预置的至少一个模拟器，并选取空闲的模拟器分别模拟启动并运行所述至少一个目标应用；

对于所述模拟器所运行的所述目标应用，通过所述模拟器依次将所述至少一个关键词作为待检索的目标关键词，并模拟向所述目标应用的搜索输入栏输入所述目标关键词，以及触按所述目标应用的搜索按键，以触发所述目标应用展现出所述目标关键词对应的搜索结果页面，以分别得到所述目标应用搜索每个所述关键词的搜索结果页面；

将所述搜索结果页面发送给至少一个终端，以使得所述终端的用户依据所述搜索结果页面，对所述搜索结果页面对应的目标应用的搜索效果进行评分；

获取所述至少一个终端各自返回的所述目标应用的评分；

对所述至少一个终端所返回的所述目标应用的评分进行汇总，得到所述目标应用所对应的综合评分。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至4任一项所述的应用测评方法。

Images