CN106227662B - 一种智能电视应用审核测试系统及方法 - Google Patents

Abstract

本发明涉及一种智能电视应用审核测试系统及方法，该审核测试系统包括:审核准备模块，用于根据应用商店审核规则设计审核用例，以及根据待审核应用APK文件和应用基础信息提取第一应用基本信息；审核配置模块，用于根据审核规则和第一应用基本信息选择第一审核测试用例，以及在选择第一审核测试用例后配置测试设备和测试环境后，并生成第一审核执行序列，而后根据第一审核用例执行序列执行审核用例输出第一审核报告；审核结果分析模块，用于根据存储的违规样本库得到违规行为判决算法，对第一审核报告进行判决，得到第一判决结果。本发明通过所述的系统和方法，能够实现智能电视应用审核的自动化测试，提高测试代码覆盖率，从而有效提高审核效率。

Description

一种智能电视应用审核测试系统及方法

技术领域

本发明涉及智能电视技术领域，尤其涉及一种智能电视应用审核测试系统及方法。

背景技术

智能电视采用Android操作系统，除了提供传统电视的播放功能外，还能提供大量应用(APP)供用户使用。根据电视的目标消费者人群特点和智能电视应用平台的需求，智能电视平台发布商制定了严格的应用审核规范，只有通过审核的应用(APP)才能进入应用商城供用户下载使用。智能电视的应用商城每天面临大量应用开发者提交的各类应用(APP)，如果全部采用人工方法，需要手工为每一个应用编写测试用例，测试时间和测试用例的质量与测试人员的专业知识和对应用的理解有直接关系，造成回归审核的时间长效率低检错效果差。

发明内容

本发明的目的是为了解决智能电视的应用在进行审核时遇到的审核效率低下、审核时间长、执行审核的输出结果不够智能等问题。

为实现上述目的，一方面，本发明实施例提供了一种智能电视应用审核测试系统，该审核测试系统包括：

审核准备模块，用于根据应用商店审核规则设计审核用例，以及根据待审核应用APK APK(Android Package)文件和应用基础信息提取第一应用基本信息；

审核配置模块，用于根据审核规则和第一应用基本信息选择第一审核测试用例，以及在选择第一审核测试用例后配置测试设备和测试环境后，并生成第一审核执行序列，而后根据第一审核用例执行序列执行审核用例输出第一审核报告；

审核结果分析模块，用于根据存储的违规样本库得到违规行为判决算法，对第一审核报告进行判决，得到第一判决结果。

优选的，审核配置模块包括选择模块、配置模块和第一输出模块；

选择模块用于根据审核规则和第一应用基本信息选择从审核用例中选择第一审核测试用例；

配置模块用于在选择第一审核测试用例后配置测试设备和测试设备的环境；

第一输出模块用于在测试设备和测试环境配置完后，生成第一审核用例的执行序列，以及根据第一审核用例执行序列执行第一审核测试用例输出第一审核报告。

优选的，审核结果分析模块包括算法模块和判决模块；

算法模块用于，根据存储的违规样本库得到违规行为判决算法；

判决模块用于，根据违规判决算法对第一审核报告进行判决，产生第一判决结果；第一判决结果包括拒绝、通过和回归审核。

优选的，审核结果分析模块包括回归审核模块；回归审核模块用于，当第一判决结果是回归审核时，给出策略调整指令，输出调整策略文件。

优选的，审核结果分析模块包括第二输出模块；第二输出模块用于，当第一判决结果是拒绝时，输出对应的报告。

优选的，审核配置模块还包括：合成模块；

合成模块用于将第一应用基本信息和调整策略文件合成第二应用基本信息；

选择模块根据审核规则和第二应用基本信息从审核用例中选择第二审核测试用例；

配置模块用于在选择审核测试用例后配置测试设备和测试设备的环境；

第一输出模块用于在测试设备和测试环境配置完后，根据审核规则和第二应用基本信息生成第二审核用例的执行序列，以及根据第二审核用例执行序列执行第二审核测试用例输出第二审核报告。

优选的，判决模块具体还用于：

根据违规行为判决算法对第二判决结果进行判决，得到第二判决结果；其中，第二判决结果包括拒绝、通过和回归审核。

另一方面，本发明实施例提供了一种智能电视应用审核测试方法，该审核测试方法包括：

根据应用商店审核规则设计审核用例，以及根据待审核应用APK文件和应用基础信息提取第一应用基本信息；

根据审核规则和第一应用基本信息选择第一审核测试用例，以及在选择第一审核测试用例后配置测试设备和测试环境后，并生成第一审核执行序列，而后根据第一审核用例执行序列执行审核用例输出第一审核报告；

根据存储的违规样本库得到违规行为判决算法，对第一审核报告进行判决，得到第一判决结果。

优选的，第一判决结果包括拒绝、通过和回归审核。

优选的，当第一判决结果是回归审核时，审核测试方法还包括：

根据回归审核结果，给出策略调整指令，输出调整策略文件；

将第一应用基本信息和调整策略文件合成第二应用基本信息；

根据审核规则和第二应用基本信息从审核用例中选择第二审核测试用例；

配置测试设备和测试设备的环境；

根据审核规则和第二应用基本信息生成第二审核用例的执行序列，以及根据第二审核用例执行序列执行第二审核测试用例输出第二审核报告。

根据违规行为判决算法对第二判决结果进行判决，得到第二判决结果；其中，第二判决结果包括拒绝、通过和回归审核。

本发明的有益效果是：

1.可以自动生成审核测试用例，当审核规则改变后可以更新模型自动生成新的审核用例。

2.可以自动生成审核用例执行序列，根据用户类别，用户提交的应用等信息自动选择审核用例，配置测试设备和环境，生成审核用例执行序列。

3.审核策略可以动态更新，审核策略中的私有审核策略可以根据应用规范调整，基本审核策略可以根据审核系统的运行反馈补充。

4.审核结果智能判决，以对审核报告进行智能判决，提高违规应用的检出率，降低了误检率。

5.智能判决算法可以动态更新，不断补充审核过程中出现的新问题。

附图说明

图1为本发明的一种智能电视应用审核测试系统模块结构示意图；

图2为图1中审核准备模块的结构示意图；

图3为图1中审核配置模块的结构示意图一；

图4为图1中审核配置模块的结构示意图二；

图5为图1中审核结果分析模块的结构示意图一；

图6为图1中审核结果分析模块的结构示意图二；

图7为图1中审核结果分析模块的结构示意图三；

图8为图1中审核结果分析模块的结构示意图四；

图9为图1中审核结果分析模块的结构示意图五；

图10为本发明的一种智能电视应用审核测试方法的流程图。

具体实施方式

为了使本发明的目的、实现方法和优点更加清楚明白，下面结合附图及具体实施例对本发明作进一步的描述。

本发明实施例采用自动化审核测试的系统和方法可以自动生成提供审核用例，配置审核执行环境，下发审核任务，执行审核用例，输出审核报告，这样可以将一部分审核内容自动执行，提高了测试用例覆盖率和审核效率，同时也减少了回归审核的压力。

图1为本发明的一种智能电视应用审核测试系统结构示意图。如图1所示,一种智能电视应用审核测试系统包括：审核准备模块、审核配置模块和审核结果分析模块。

审核准备模块，用于根据应用商店审核规则设计审核用例，以及提取第一应用基本信息；

审核配置模块，用于根据审核规则和第一应用基本信息配置测试设备和测试环境，以及生成第一审核用例执行序列，并根据第一审核用例执行序列执行审核用例输出第一审核报告；

审核结果分析模块，用于根据存储的违规样本库得到违规行为判决算法，对第一审核报告进行判决，得到第一判决结果。

审核准备模块具体用于：根据商店审核规则设计审核用例；以及根据待审核应用APK文件和应用基本信息提取第一应用信息。审核用例分为静态审核用例和动态审核用例。

审核配置模块具体用于：根据审核规则和第一应用基本信息从审核用例中选择第一审核测试用例，配置测设设备和测试环境，以及生成第一审核用例执行系列，并根据第一审核用例执行序列执行第一审核测试用例输出第一审核报告。

审核结果分析模块用于，根据违规样本库得到违规行为判决算法，根据违规行为判决算法对第一审核报告进行判决，得到第一判决结果。当第一判决结果是回归判决时，给出策略调整指令，并输出调整策略XML文件；当第一判决结果是拒绝时，输出拒绝报告；当第一判决结果是通过时，输出通过报告。

在本发明一个实施例中，根据应用商店的审核规则生成审核模型，根据模型生成静态审核用例和动态审核用例，生成相应的审核用例库；审核用例库可以动态调整，应用商店的规则更新后，只需更新对应的模型，即可产生新的测试用例，无需人工生成审核用例。

在本发明实施例中，通过对违规样本库进行机器学习方法采用关联分析算法得到违规判别算法；当新的违规审核报告加入违规样本库，重新分析并更新违规样本库。其中，违规行为算法是多种算法的集合，算法是动态可更新的。

在本发明另一个实施例中，当审核结果分析模块输出结果是回归审核，当需要回归审核需要时，将回归审核提交的策略调整XML文件在审核准备模块重新生成新的审核用例执行序列，并执行审核用例输出审核报告。

具体地，审核配置模块还用于：将策略调整XML文件和第一应用基本信息合成第二应用基本信息；根据审核规则、第二应用基本信息从审核用例中选择第二审核测试用例、配置测试设备和测试环境、以及生成第二审核用例执行序列，并根据第二审核用例执行序列执行第二审核测试用例输出第二审核报告。

在获得第二审核报告后，审核结果分析模块根据判决算法对第二审核报告，得到第二判决结果。当第二判决结果是回归判决时，给出策略调整指令，并输出调整策略XML文件；当第二判决结果是拒绝时输出拒绝报告；当第二判决结果是通过时，输出通过报告。

在回归审核的过程中，调整策略在每一次回归审核的过程中，会加入新的调整策略，更新调整策略。

在再次审核后，判决结果还是回归审核，需要人工进行干预，提高判决的效率，若判决结果是拒绝则更新违规样本库，避免下次再次从新审核。

在本发明另一种实施例中，当判决结果是拒绝时，更新违规样本库。

图2为图1中审核准备模块的结构示意图。如图2所示，审核准备模块包括设计模块和提取模块。

设计模块用于根据应用商店的审核规则生成审核模型，根据审核模型生成审核用例以及审核用例库。

审核用例包括静态审核用例和动态审核用例；审核用例库包括静态审核用例库和动态审核用例库；静态审核用例与静态审核用例库对应，动态审核用例与动态审核用例库对应。

提取模块用于通过应用商店提交的应用需要提交应用基础信息(开发者类别、应用类别等)，从应用待审核应用APK文件中提取关键信息(如Permission，Activity，Intent，Broadcast，Receiver等)。将应用基础信息和关键信息汇总为第一应用基本信息(一个XML文件)提供给审核用例执行序列发生器。

图3为图1中审核配置模块的结构示意图一。如图3所示，审核配置模块包括选择模块、配置模块和第一输出模块。

选择模块用于根据审核规则和第一应用基本信息选择从审核用例中选择第一审核测试用例；

配置模块用于在选择第一审核测试用例后配置测试设备和测试设备的环境；

第一输出模块用于在测试设备和测试环境配置完后，生成第一审核用例的执行序列，以及根据第一审核用例执行序列执行第一审核测试用例输出第一审核报告。

图4为图1中审核配置模块的结构示意图二。如图4所示，审核配置模块包括：合成模块、选择模块、配置模块和第一输出模块。

合成模块用于将第一应用基本信息和调整策略文件合成第二应用基本信息；

选择模块根据审核规则和第二应用基本信息从审核用例中选择第二审核测试用例；

配置模块用于在选择第二审核测试用例后配置测试设备和测试设备的环境；

第一输出模块用于在测试设备和测试环境配置完后，根据审核规则和第二应用基本信息生成第二审核用例的执行序列，以及根据第二审核用例执行序列执行第二审核测试用例输出第二审核报告。

图4是在审核结果分析模块的判决结果是回归审核时，会给出策略调整指令，输出策略调整XML文件。在图3的基础上，将第一应用基本信息和调整策略信息合成第二应用基本信息。

图5为图1中审核结果分析模块的结构示意图一。如图5所示，审核结果分析模块算法模块和判决模块。

判决模块用于根据存储的违规样本库得到违规行为判决算法；判决模块用于根据违规判决算法对第一审核报告进行判决，产生第一判决结果；第一判决结果包括拒绝、通过和回归审核。

对待审核应用APK文件进行违规行为的分析是多种算法的集成，违规判决算法是可以根据具体的待审核应用APK进行更新。违规行为算法可以是通过违规行为样本使用机器学习方法采用关联分析方法得到违规行为判决算法，也可以根据应用商城审核规则编写违规判别算法，及上架应用用户投诉数据库分析算法。

图6-图9是根据第一判决结果来进行详细描述。

图6为图1中审核结果分析模块的结构示意图二。如图6所示，审核结果分析模块算法模块、判决模块和回归审核模块。

当图5中第一判决结果是回归审核时，且在确定需要执行回归审核，回归审核模块会给出策略调整指令，输出调整策略XML文件。

调整策略XML文件需要提供给审核配置模块，审核配置模块将调整策略文件和第一应用基本信息合成第一应用基本信息；根据审核规则和第二应用基本信息从审核用例中选择第二审核测试用例；配置测试设备和测试环境；生成第二审核执行序列，并根据第二审核执行序列执行第二审核测试用例得到第二审核报告。

将第二审核报告传递给判决模块，判决模块用违规判决算法对第二审核报告进行判决，得到第二判决结果；第二判决结果包括拒绝，通过和回归审核。

在再一次审核后，判决结果仍是回归审核时，可以进行人工干预，提高判决的效率。同时对调整策略进行更新如图7所示。若判决结果是拒绝时，如图8和图9所示。若判决结果是通过时，如图8所示。

图7为图1中审核结果分析模块的结构示意图三。如图7所示，审核结果分析模块算法模块、判决模块、回归审核模块和更新模块。相同模块与图6中的描述相同，故不在此赘述。更新模块用于在执行回归审核的过程中，将调整策略文件进行更新，以便对待审核应用APK从多方面进行审核，提高审核精度。

图8为图1中审核结果分析模块的结构示意图四。如图8所示，审核结果分析模块算法模块、判决模块、第二输出模块和更新模块。图8中与图5中形同的模块的功能相同，故不在此赘述。在判决结果是通过或拒绝时，输出通过或拒绝报告。

图9为图1中审核结果分析模块的结构示意图五。如图9所示，审核结果分析模块算法模块、判决模块、第二输出模块和更新模块。图9中与图8中形同的模块的功能相同，故不在此赘述。只是在判决结果是拒绝时，所述第一判决结果是拒绝的审核应用APK文件添加到所述违规样本库，更新所述违规样本库。

审核结果分析模块的判决结果包括通过、拒绝和回归审核。

当判决结果是通过时，第二输出模块，输出通过报告，以告知审核通过。

当判决结果是拒绝时，第二输出模块，输出拒绝报告，以及更新模块将审核应用APK不合格的添加到违规样本库，更新违规样本库。

当判决结果是回归审核时，回归审核模块根据回归审核结果给出策略调整指令，输出调整策略XML文件，将调整策略XML文件传送至审核配置模块产生审核用例执行序列，并执行审核用例输出审核报告；审核结果分析模块对审核报告进行判别，输出判别结果。

图10为本发明的一种智能电视应用审核测试方法的流程图。如图10所示，智能电视应用审核测试方法的步骤包括：

S01)审核用例的生成。根据应用商店给出的具体的审核规则生成审核模型，根据模型生成静态审核用例和动态审核用例，生成相应的审核用例库。

静态审核用例是通过反编译的方法检测用户提交的APK文件，主要适用于审核规则中可明确判别的参数(如申请危险权限或权限和功能不符，包含儿童不宜内容，集成了非应用商城支持的广告和支付平台，开发者类似版本重复提交审核等)，静态审核代码的输出结果可以获得确定性的审核判决结果。

动态审核方法是按照设计步骤动态运行用户提交应用，应用执行步骤即为动态测试用例。测试用例的设计根据审核规范建立相应应用模型(购物类，新闻类，儿童教育类等)，基于应用模型自动生成(通过反向工程将测试步骤代码植入待测应用并打包生成动态测试APK)，测试系统配置测试环境和执行序列，执行测试用例获得日志输出，日志输出作为判决应用行为的依据，但不具有进行审核判决的能力。

审核用例库可以动态调整，应用商店的规则更新后，只需更新对应的模型，即可产生新的测试用例，无需人工生成审核用例。

S02)应用基本信息的提取。通过应用商店提交的应用需要提交应用基础信息(开发者类别，应用类别等)，而从应用APK文件中可以提取关键信息(如Permission，Activity，Intent，Broadcast Receiver等)，将这些信息汇总为一个XML文件提供给自动化审核用例执行序列发生器。

S03)自动化审核用例执行序列的生成。自动化审核用例执行序列的生成包含两种审核策略：基本审核策略和私有审核策略。

自动化审核用例执行序列的生成器将开发者类型(个人开发者，企业开发者等)，版本迭代(初次上线应用,更新版本应用等),不同的用户应用类别(系统应用，视频应用，商业应用，游戏应用，儿童教育应用等)与基本审核策略及私有审核策略进行匹配对应，选择相应的审核用例(例如，针对儿童教育的应用不允许有指向外部的广告链接，需要执行广告平台测试进行审核)，生成审核用例执行序列。

自动化审核用例执行序列的生成同时具有动态更新的能力，当自动审核有回归审核需要时，根据回归审核提交的策略调整XML文件将重新生成新的审核用例执行序列，同时将新策略加入基本审核策略中。

同时，自动化审核用例执行序列的生成也支持手动加入新的审核策略，从而进一步提高审核的自动化程度。

S04)审核用例的执行。根据审核用例执行序列，配置审核环境(服务器，数据库，模拟器和真实设备)，执行审核用例，将静态审核结果和动态审核日志输出合并为一个XML格式的审核报告。

S05)违规行为的分析。集成不同的分析方法，包括通过对违规样本进行机器学习分类得到判决算法，应用商城的违规行为分析算法，已上架应用用户投诉数据库。

当新的违规审核日志加入违规样本库，重新分析并更新判决算法，一个可以动态更新的智能判决系统可以进一步提高应用审核的自动化程度和准确度。

S06)审核结果的智能判决。智能判决系统对审核报告进行分析，给出三种判决结果，分别是拒绝，通过和回归审核。

智能判决系统针对动态审核用例的输出日志进行分析判决。智能判决系统根据判决算法，并通过分析审核用例执行环境上下文得出审核结果(例如由人工触发激活的通知栏广告弹出行为)。

S07)回归审核。回归审核给出策略调整指令，输出调整策略XML文件并返回到S03步骤递归执行自动审核。

S08)拒绝，输出报告，包含具体拒绝依据。将被拒绝的应用审核日志加入违规样本库。

S09)通过，输出报告。

本发明实施例采用自动化审核测试的系统和方法可以自动生成提供审核用例，配置审核执行环境，下发审核任务，执行审核用例，输出审核报告，这样可以将一部分审核内容自动执行，提高了测试用例覆盖率和审核效率，同时也减少了回归审核的压力。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能电视应用审核测试系统，其特征在于，包括：审核准备模块、审核配置模块和审核结果分析模块；

所述审核准备模块，用于根据应用商店审核规则设计审核用例，以及根据待审核应用APK(Android Package)文件和应用基础信息提取第一应用基本信息；

所述审核配置模块，用于根据所述审核规则和所述第一应用基本信息从所述审核用例中选择第一审核测试用例，以及在选择所述第一审核测试用例后配置测试设备和测试环境后，并生成第一审核执行序列，而后根据所述第一审核执行序列执行所述审核用例中的所述第一审核测试用例输出第一审核报告；

所述审核结果分析模块，用于根据存储的违规样本库得到违规行为判决算法，对所述第一审核报告进行判决，得到第一判决结果。

2.根据权利要求1所述的审核测试系统，其特征在于，所述审核配置模块包括选择模块、配置模块和第一输出模块；

所述选择模块用于根据所述审核规则和所述第一应用基本信息选择从所述审核用例中选择第一审核测试用例；

所述配置模块用于在选择所述第一审核测试用例后配置所述测试设备和所述测试设备的环境；

所述第一输出模块用于在所述测试设备和所述测试环境配置完后，生成所述第一审核测试用例的第一审核执行序列，以及根据所述第一审核执行序列执行所述第一审核测试用例输出第一审核报告。

3.根据权利要求2所述的审核测试系统，其特征在于，所述审核结果分析模块包括算法模块和判决模块；

所述算法模块用于，根据存储的违规样本库得到违规行为判决算法；

所述判决模块用于，根据所述违规行为 判决算法对第一审核报告进行判决，产生第一判决结果；所述第一判决结果包括拒绝、通过和回归审核。

4.根据权利要求3所述的审核测试系统，其特征在于，所述审核结果分析模块包括回归审核模块；所述回归审核模块用于，当所述第一判决结果是回归审核时，给出策略调整指令，输出调整策略文件。

5.根据权利要求3所述的审核测试系统，其特征在于，所述审核结果分析模块包括第二输出模块；所述第二输出模块用于，当所述第一判决结果是拒绝时，输出对应的报告。

6.根据权利要求4所述的审核测试系统，其特征在于，所述审核配置模块还包括：合成模块；

所述合成模块用于将所述第一应用基本信息和所述调整策略文件合成第二应用基本信息；

选择模块根据所述审核规则和所述第二应用基本信息从所述审核用例中选择第二审核测试用例；

所述配置模块用于在选择所述审核测试用例后配置所述测试设备和所述测试设备的环境；

所述第一输出模块用于在所述测试设备和所述测试环境配置完后，根据所述审核规则和所述第二应用基本信息生成第二审核测试用例的第二审核执行序列，以及根据所述第二审核执行序列执行所述第二审核测试用例输出第二审核报告。

7.根据权利要求6所述的审核测试系统，其特征在于，所述判决模块具体还用于：

根据所述违规行为判决算法对第二判决结果进行判决，得到第二判决结果；其中，所述第二判决结果包括拒绝、通过和回归审核。

8.一种智能电视应用审核测试方法，其特征在于，包括：

根据应用商店审核规则设计审核用例，以及根据待审核应用APK(Android Package)文件和应用基础信息提取第一应用基本信息；

根据所述审核规则和所述第一应用基本信息从所述审核用例中选择第一审核测试用例，以及在选择所述第一审核测试用例后配置测试设备和测试环境后，并生成第一审核执行序列，而后根据第一审核执行序列执行所述审核用例输出第一审核报告；

根据存储的违规样本库得到违规行为判决算法，对所述第一审核报告进行判决，得到第一判决结果。

9.根据权利要求8所述的审核测试方法，其特征在于，所述第一判决结果包括拒绝、通过和回归审核。

10.根据权利要求9所述的审核测试方法，其特征在于，所述当所述第一判决结果是回归审核时，所述审核测试方法还包括：

根据所述回归审核结果，给出策略调整指令，输出调整策略文件；

将所述第一应用基本信息和所述调整策略文件合成第二应用基本信息；

根据所述审核规则和所述第二应用基本信息从所述审核用例中选择第二审核测试用例；

配置所述测试设备和所述测试设备的环境；

根据所述审核规则和所述第二应用基本信息生成第二审核测试用例的第二审核执行序列，以及根据所述第二审核执行序列执行所述第二审核测试用例输出第二审核报告；

根据所述违规行为判决算法对第二判决结果进行判决，得到第二判决结果；其中，所述第二判决结果包括拒绝、通过和回归审核。