CN102075965A - 一种移动终端性能评估方法和装置 - Google Patents

Abstract

本发明公开了一种移动终端性能评估方法和装置，包括：获取对移动终端进行测试时采集的各测试指标的指标值；并根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值；该指标评估分值表征移动终端的对应的测试指标所表征的性能的情况；以及根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标权重值，确定出移动终端的性能评估分值；性能评估分值表征移动终端的综合性能情况。采用本发明提供的方法和装置，相比现有技术，能够更准确、更全面的评估出移动终端的性能情况。

Description

一种移动终端性能评估方法和装置

技术领域

本发明涉及移动通信技术领域，尤其涉及一种移动终端性能评估方法和装置。

背景技术

随着3G时代的到来，移动互联网的蓬勃发展，各类增值业务(如移动音乐、移动视频播放、移动邮箱等)对终端性能的依赖性越来越强，终端性能问题随之成为影响端到端业务质量的重要因素。终端对协议的支持情况、终端数据业务相关设置差异等等因素都可导致数据业务质量下降和用户满意度下降。因此，加大终端性能诊断测试，提升终端业务优化质量迫在眉睫。

随着经济的发展和社会的进步，人们对于通讯终端的性能及业务服务质量的要求也越来越高，这迫使移动运营商需要更多的通过测试，了解终端及业务使用的具体性能，从而为提升业务端到端质量提升打好基础。

目前终端性能测试方法一般是网络运营商安排专门的测试人员，针对不同品牌、不同型号的终端，制定相应的测试任务；通过人工拨测的方式，对终端进行测试；手动记录测试结果，人工比对指标结果填写测试报表，并通过对各项指标分析生成测试评估报告。

现有终端性能和业务功能测试的方法，由于仅是针对终端的某个方面的性能进行测试，评估出终端该方面性能的情况，而没有对终端的整体性能进行评估，而随着终端产品不断丰富，业务种类的不断增加，对终端单一方面性能的测试和评估已无法根据测试结果准确、全面的表征出终端的性能情况。

发明内容

本发明实施例提供一种移动终端性能评估方法和装置，相比现有技术，能够更准确、更全面的评估出移动终端的性能情况。

本发明实施例提供一种移动终端性能评估方法，包括：

获取对移动终端进行测试时采集的各测试指标的指标值；

根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值，所述指标评估分值表征所述移动终端对应的测试指标所表征的性能的情况；

根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标权重值，确定出所述移动终端的性能评估分值，所述性能评估分值表征所述移动终端的综合性能情况。

本发明实施例还提供一种移动终端性能评估装置，包括：

获取单元，用于获取对移动终端进行测试时采集的各测试指标的指标值；

第一确定单元，用于根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值，所述指标评估分值表征所述移动终端对应的测试指标所表征的性能的情况；

第二确定单元，用于根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标第一权重值，确定出所述移动终端的性能评估分值，所述性能评估分值表征所述移动终端的综合性能情况。

本发明实施例提供的方法中，针对每个测试指标，均根据该测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出测试指标对应的指标评估分值，由于参考了指标基准值和指标下限值，所以确定出的指标评估分值能够表征移动终端的对应的测试指标所表征的性能的情况；且对于每个测试指标还设定了对应的指标权重值，并根据确定出的各指标评估分值和设定的对应的指标权重值，确定出移动终端的性能评估分值，由于该性能评估分值是基于各测试指标的指标值确定出的，所以能够表征移动终端的综合性能情况。采用本发明提供的方法和装置，不仅评估出移动终端单一方面的性能情况，还评估出移动终端的综合性能情况，因此，更准确、更全面的评估出了移动终端的性能情况。

附图说明

图1为本发明实施例提供的移动终端性能评估方法的流程图；

图2为采用本发明实施例提供的移动终端性能评估方法的测试流程图；

图3为本发明实施例提供的移动终端性能评估装置的结构示意图。

具体实施方式

本发明实施例提供一种移动终端性能评估方法，如图1所示，包括：

步骤S101、获取对移动终端进行测试时采集的各测试指标的指标值。

步骤S102、根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值；该指标评估分值表征移动终端对应的测试指标所表征的性能的情况。

步骤S103、根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标权重值，确定出移动终端的性能评估分值；性能评估分值表征移动终端的综合性能情况。

下面结合附图，结合对移动终端进行测试的具体实施例，对本发明提供的方法和装置进行详细描述。

图2所示为采用本发明实施例提供的移动终端性能评估方法的测试流程图，包括：

步骤S201、本发明实施例中，针对不同品牌和型号的移动终端，根据具体移动终端的功能等特性，设定不同的测试指标集，并在移动终端的系统版本改变后，如涉及到相关指令的基础参数变化时，相应的调整其对应的测试指标集，以便提高对移动终端测试和评估的准确性，如不涉及相关指令的基础参数变化，可以不必调整其对应的测试指标集，以便简化测试指标集的维护工作。

步骤S202、步骤S201中选定被测移动终端后，确定出该被测移动终端对应的测试指标集，测试指标集中包括将要对被测终端进行测试的各测试指标，每个测试指标能够表征移动终端的某一方面的性能。

步骤S203、本发明实施例中，可以采用现有技术中的各种方法对移动终端的各测试指标进行测试，也可以采用如下方式：

预先建立测试指令集，测试指令集中包括了与各测试指标对应的测试指令，本步骤中，根据上述步骤S202中确定出的测试指标集中的各测试指标，在测试指令集中调取对应的测试指令，根据测试指令将测试任务下发至被测移动终端，完成针对该移动终端的各测试指标的测试，采集各测试指标的指标值，并存储，用于后续移动终端的性能评估。

步骤S204、获取采集的各测试指标的指标值，以及还获取预先设定的各测试指标对应的指标基准值、对应的指标下限值和对应的指标权重值等，用于后续根据获取的各测试指标的指标值进行性能评估。

步骤S205、获取的各测试指标的指标值，能够表征移动终端的对应的测试指标所表征的性能的情况，但对于不同测试指标，获取的指标值的数量级不同，因此，不同测试指标之间没有统一的性能评估标准，为解决这一问题，本发明实施例中，对每个测试指标确定出对应的指标评估分值，用于以相同的标准来表征移动终端的对应的测试指标所表征的性能的情况，具体根据测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系确定，其中一种较佳的方式如下：

为统一评估标准，预先设定最大评估分值和最小评估分值，例如，可以设定最大评估分值设为10分，最小评估分值设为0分；

当测试指标的指标值达到对应的指标基准值时，表示移动终端的该测试指标所表征的性能已经满足较高的性能要求，所以，可以确定该测试指标对应的指标评估值为最大评估分值10分；(其中，当指标值越大表征性能越高时，达到表示的含义为大于，当指标值越小表征性能越高时，达到表示的含义为小于)

当测试指标的指标值没有达到对应的指标下限值时，表示移动终端的该测试指标所表征的性能没有满足基本的性能要求，所以，可以确定该测试指标对应的指标评估值为最小评估分值0分；

否则，即当测试指标的指标值位于对应的指标基准值和对应的指标下限值之间时，根据其在指标基准值至指标下限值范围内的位置，在最大评估分值至最小评估分值范围内，采用线性方式确定出对应的指标评估分值。

以测试指标为终端主叫成功率为例，设定对应的指标基准值为96％，设定对应的指标下限值为86％，当检测中采集到的终端主叫成功率的指标值大于96％时，确定对应的指标评估值为10分，当小于86％时，确定对应的指标评估值为0分，当介于96％-86％之间时，如为95％，采用线性方式，可以确定对应的指标评估值为9分。

上述测试指标对应的指标基准值和对应的指标下限值可以根据实际网络情况和经验值进行设定，随着通信技术的发展，进行适当的调整，以便更准确的对移动终端的性能进行评估。

采用上述方法确定出各测试指标对应的指标评估分值后，可以根据确定出的各指标评估分值，评估出移动终端的各测试指标所表征的性能的高低，为更全面的评估移动终端的综合性能，本发明实施例中还可以确定出表征移动终端的综合性能情况的性能评估分值，具体如下：

第一种方式：采用下述公式确定移动终端的性能评估分值：

$V=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{V}_i\×P_i;$

其中，M为各测试指标的数量；V_i为M个测试指标中第i个测试指标对应的指标评估分值；P_i为第i个测试指标对应的指标第一权重值；V为移动终端的性能评估分值。

关于指标第一权重值P_i的设定，可以根据对应的测试指标的重要性、涉及的业务的难易度、终端对测试指标涉及的业务的支持程度等因素进行综合考虑，确定出每个测试指标对应的指标第一权重值P_i，当测试指标集进行调整后，需要相应的调整对应的指标第一权重值P_i。

例如：设定 $\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{P}_i=1,$ 则最终确定出的V介于设定的最大评估分值和最小评估分值之间。

第二种方式：本发明实施例中还可以将各测试指标分为若干类测试指标，如至少包括基本功能类测试指标、基本性能类测试指标、业务功能类测试指标、业务性能类测试指标和主观评价类指标中的一类；并对包括的每一类测试指标可以确定移动终端的该类测试指标的指标评估值，用于表征移动终端的该类测试指标所表征的性能的情况，具体可以采用如下公式确定出移动终端的各类测试指标的指标评估分值：

$V_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{V}_j\×P_j;$

其中，N为第k类测试指标包括的测试指标的数量；V_j为N个第k类测试指标中第j个测试指标对应的指标评估分值；P_j为第j个测试指标对应的指标第二权重值；V_k为移动终端的第k类测试指标的指标评估分值。

关于指标第二权重值P_j的设定，同样可以根据对应的测试指标的重要性、涉及的业务的难易度、终端对测试指标涉及的业务的支持程度等因素进行综合考虑，确定出每个测试指标对应的指标第二权重值P_j，当测试指标集进行调整后，需要相应的调整对应的指标第二权重值P_j。

例如：设定 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{P}_j=1,$ 则最终确定出的V_k介于设定的最大评估分值和最小评估分值之间。

在确定出各类测试指标的指标评估分值V_k后，可以根据确定出的V_k和各类测试指标对应的指标第三权重值P_k，采用如下公式确定出移动终端的性能评估分值：

$V=\underset{k=1}{\overset{W}{\mathrm{\Σ}}}{V}_k\×P_k;$

其中，W为各测试指标的种类的数量；P_k为第k类测试指标对应的指标第三权重值；V为移动终端的性能评估分值。

关于指标第三权重值P_k的设定，同样可以根据对应的该类测试指标的重要性等因素进行综合考虑，确定出每类测试指标对应的指标第三权重值P_k，当测试指标集进行调整后，需要相应的调整对应的指标第三权重值P_k。

例如：设定 $\underset{k=1}{\overset{W}{\mathrm{\Σ}}}{P}_k=1,$ 则最终确定出的V_k介于设定的最大评估分值和最小评估分值之间。

较佳的，当各测试指标包括上述五类测试指标时，可以设定基本功能类测试指标对应的指标第三权重值为0.3，设定基本性能类测试指标对应的指标第三权重值为0.3，设定业务功能类测试指标对应的指标第三权重值为0.15，设定业务性能类测试指标对应的指标第三权重值为0.15，设定主观评价类测试指标对应的指标第三权重值为0.1。

实质上，采用上述第二种方式时，每个测试指标对应的指标第二权重值P_j与其所在测试指标类对应的指标第三权重值P_k的乘积，即为其对应的指标第一权重值P_i。

步骤S206、确定出的移动中的性能评估分值能够表征移动终端的综合性能的高低。

进一步的，还可以根据测试的实际情况，对被测移动终端进行四个层次的划分，具体为：

1、定义对于性能评估分值大于9.0以上的移动终端定义级别为“极力推荐商用终端”，此类移动终端的终端适配性极高，非常利于业务的推广和使用。

2、定义对于性能评估分值介于7.0至9.0之间的移动终端为“可推荐商用终端”，该类移动终端存在部分性能不足，但不影响客户的使用和新业务的推广，建议终端厂商采取软件升级、补丁加载等进行优化。

3、定义对于性能评估分值介于5.0至7.0之间的终端为“可继续关注终端”，此类终端部分业务性能较差，无法满足业务支持的基本需求，对客户正常使用造成极大影响。但此类终端还是能满足客户使用的基本需要，建议进行终端的版本升级并对升级后的终端性能进一步测试。

4、对于性能评估分值低于5.0终端为“不建议推广商用终端”。此类终端硬件和软件上存在较多致命问题，不建议商用推广。

较佳的，还可以根据上述确定出的各测试指标对应的指标评估分值、各类测试指标对应的指标评估分值和移动终端的性能评估分值，对应的生成评估报告，以便作为后续对该被测移动终端进行优化和改进依据。

基于同一发明构思，根据本发明上述实施例提供的移动终端性能评估方法，相应地，本发明另一实施例还提供了一种移动终端性能评估装置，其结构示意图如图3所示，包括：

获取单元301，用于获取对移动终端进行测试时采集的各测试指标的指标值；

第一确定单元302，用于根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值，该指标评估分值表征移动终端，对应的测试指标所表征的性能的情况；

第二确定单元303，用于根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标第一权重值，确定出移动终端的性能评估分值，该性能评估分值表征移动终端的综合性能情况。

较佳的，上述第一确定单元302，具体用于当测试指标的指标值达到对应的指标基准值时，确定对应的指标评估分值为设定的最大评估分值；当测试指标的指标值没有达到对应的指标下限值时，确定对应的指标评估分值为设定的最小评估分值；当测试指标的指标值在对应的指标基准值和对应的指标下限值之间时，根据测试指标的指标值在指标基准值至指标下限值范围内的位置，在最大评估分值至最小分值范围内，采用线性方式确定出对应的指标评估分值。

较佳的，上述第二确定单元303，具体用于采用采用下述公式确定出移动终端的性能评估分值：

$V=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{V}_i\×P_i;$

其中，M为各测试指标的数量；V_i为M个测试指标中第i个测试指标对应的指标评估分值；P_i为第i个测试指标对应的指标第一权重值；V为移动终端的性能评估分值。

较佳的，还包括：

第三确定单元304，具体用于采用如下公式确定出移动终端的各类测试指标的指标评估分值：

$V_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{V}_j\×P_j;$

其中，N为第k类测试指标包括的测试指标的数量；V_j为N个第k类测试指标中第j个测试指标对应的指标评估分值；P_j为第j个测试指标对应的指标第二权重值；V_k为移动终端的第k类测试指标的指标评估分值；第k类测试指标的指标评估分值，表征移动终端的第k类测试指标所表征的性能的情况；

其中，各测试指标至少包括基本功能类测试指标、基本性能类测试指标、业务功能类测试指标、业务性能类测试指标和主观评价类指标中的一类。

较佳的，上述第二确定单元，具体用于采用下述公式确定出移动终端的性能评估分值：

$V=\underset{k=1}{\overset{W}{\mathrm{\Σ}}}{V}_k\×P_k;$

其中，W为各测试指标的种类的数量；P_k为第k类测试指标对应的指标第三权重值；V为移动终端的性能评估分值。

综上所述，本发明实施例提供的方案，包括：获取对移动终端进行测试时采集的各测试指标的指标值；并根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值；该指标评估分值表征移动终端的对应的测试指标所表征的性能的情况；以及根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标权重值，确定出移动终端的性能评估分值；性能评估分值表征移动终端的综合性能情况。采用本发明实施例提供的方案，相比现有技术，能够更准确、更全面的评估出移动终端的性能情况。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种移动终端性能评估方法，其特征在于，包括：

获取对移动终端进行测试时采集的各测试指标的指标值；

根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值，所述指标评估分值表征所述移动终端对应的测试指标所表征的性能的情况；

根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标权重值，确定出所述移动终端的性能评估分值，所述性能评估分值表征所述移动终端的综合性能情况。

2.如权利要求1所述的方法，其特征在于，所述确定出各测试指标对应的指标评估分值，具体包括：

当测试指标的指标值达到对应的所述指标基准值时，确定对应的指标评估分值为设定的最大评估分值；

当测试指标的指标值没有达到对应的所述指标下限值时，确定对应的指标评估分值为设定的最小评估分值；

当测试指标的指标值在对应的所述指标基准值和对应的所述指标下限值之间时，根据测试指标的指标值在所述指标基准值至所述指标下限值范围内的位置，在所述最大评估分值至所述最小分值范围内，采用线性方式确定出对应的指标评估分值。

3.如权利要求1或2所述的方法，其特征在于，采用下述公式确定出所述移动终端的性能评估分值：

$V=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{V}_i\×P_i;$

其中，M为各测试指标的数量；V_i为M个测试指标中第i个测试指标对应的指标评估分值；P_i为第i个测试指标对应的指标第一权重值；V为所述移动终端的性能评估分值。

4.如权利要求1或2所述的方法，其特征在于，各测试指标至少包括基本功能类测试指标、基本性能类测试指标、业务功能类测试指标、业务性能类测试指标和主观评价类指标中的一类。

5.如权利要求4所述方法，还包括：采用如下公式确定出所述移动终端的各类测试指标的指标评估分值：

$V_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{V}_j\×P_j;$

其中，N为第k类测试指标包括的测试指标的数量；V_j为N个第k类测试指标中第j个测试指标对应的指标评估分值；P_j为第j个测试指标对应的指标第二权重值；V_k为所述移动终端的第k类测试指标的指标评估分值；所述第k类测试指标的指标评估分值，表征所述移动终端的所述第k类测试指标所表征的性能的情况。

6.如权利要求5所述的方法，其特征在于，采用下述公式确定出所述移动终端的性能评估分值：

$V=\underset{k=1}{\overset{W}{\mathrm{\Σ}}}{V}_k\×P_k;$

其中，W为各测试指标的种类的数量；P_k为第k类测试指标对应的指标第三权重值；V为所述移动终端的性能评估分值。

7.一种移动终端性能评估装置，其特征在于，包括：

获取单元，用于获取对移动终端进行测试时采集的各测试指标的指标值；

第一确定单元，用于根据各测试指标的指标值与对应的指标基准值和对应的指标下限值的大小关系，确定出各测试指标对应的指标评估分值，所述指标评估分值表征所述移动终端对应的测试指标所表征的性能的情况；

第二确定单元，用于根据确定出的各测试指标对应的指标评估分值和设定的各测试指标对应的指标第一权重值，确定出所述移动终端的性能评估分值，所述性能评估分值表征所述移动终端的综合性能情况。

8.如权利要求7所述的装置，其特征在于，所述第一确定单元，具体用于当测试指标的指标值达到对应的所述指标基准值时，确定对应的指标评估分值为设定的最大评估分值；当测试指标的指标值没有达到对应的所述指标下限值时，确定对应的指标评估分值为设定的最小评估分值；当测试指标的指标值在对应的所述指标基准值和对应的所述指标下限值之间时，根据测试指标的指标值在所述指标基准值至所述指标下限值范围内的位置，在所述最大评估分值至所述最小分值范围内，采用线性方式确定出对应的指标评估分值。

9.如权利要求7或8所述的装置，其特征在于，所述第二确定单元，具体用于采用下述公式确定出所述移动终端的性能评估分值：

$V=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{V}_i\×P_i;$

其中，M为各测试指标的数量；V_i为M个测试指标中第i个测试指标对应的指标评估分值；P_i为第i个测试指标对应的指标第一权重值；V为所述移动终端的性能评估分值。

10.如权利要求7或8所述的装置，其特征在于，还包括：

第三确定单元，具体用于采用如下公式确定出所述移动终端的各类测试指标的指标评估分值：

$V_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{V}_j\×P_j;$

其中，N为第k类测试指标包括的测试指标的数量；V_j为N个第k类测试指标中第j个测试指标对应的指标评估分值；P_j为第j个测试指标对应的指标第二权重值；V_k为所述移动终端的第k类测试指标的指标评估分值；所述第k类测试指标的指标评估分值，表征所述移动终端的所述第k类测试指标所表征的性能的情况；

其中，各测试指标至少包括基本功能类测试指标、基本性能类测试指标、业务功能类测试指标、业务性能类测试指标和主观评价类指标中的一类。

11.如权利要求10所述的装置，其特征在于，所述第二确定单元，具体用于采用下述公式确定出所述移动终端的性能评估分值：

$V=\underset{k=1}{\overset{W}{\mathrm{\Σ}}}{V}_k\×P_k;$

其中，W为各测试指标的种类的数量；P_k为第k类测试指标对应的指标第三权重值；V为所述移动终端的性能评估分值。

Images