CN107783894A - 一种多任务多终端移动应用测试方法及其系统 - Google Patents

一种多任务多终端移动应用测试方法及其系统 Download PDF

Info

Publication number
CN107783894A
CN107783894A CN201610744037.4A CN201610744037A CN107783894A CN 107783894 A CN107783894 A CN 107783894A CN 201610744037 A CN201610744037 A CN 201610744037A CN 107783894 A CN107783894 A CN 107783894A
Authority
CN
China
Prior art keywords
test
module
assignment
mobile solution
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610744037.4A
Other languages
English (en)
Inventor
蔡立志
张扬
陆佳文
刘振宇
胡芸
龚家瑜
陈文捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI DEVELOPMENT CENTER OF COMPUTER SOFTWARE TECHNOLOGY
Original Assignee
SHANGHAI DEVELOPMENT CENTER OF COMPUTER SOFTWARE TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI DEVELOPMENT CENTER OF COMPUTER SOFTWARE TECHNOLOGY filed Critical SHANGHAI DEVELOPMENT CENTER OF COMPUTER SOFTWARE TECHNOLOGY
Priority to CN201610744037.4A priority Critical patent/CN107783894A/zh
Publication of CN107783894A publication Critical patent/CN107783894A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种多任务多终端的移动应用测试系统，包括：提交模块；规则库；控制模块；监控模块；缺陷库；产品库；用例库；智能推荐模块；分配模块；测试终端集。本发明通过划分和排序测试任务，排序测试人员持有的测试终端，推荐测试任务到测试终端，实现众多持有测试终端的测试人员执行不同优先级的测试任务，减轻了测试人员的压力，提高了缺陷早期检测率，从而提高了移动应用的测试效率。本发明还公开了一种多任务多终端的移动应用测试系统的实现方法。

Description

一种多任务多终端移动应用测试方法及其系统
技术领域
本发明属于移动应用测试实现方法及其系统，具体涉及一种多任务多终端的移动应用测试测试方法及其系统。
背景技术
软件测试是软件质量保证工作的一个重要的环节。随着移动互联技术的发展，移动终端设备的数量也不断地增长，移动应用的数量更是几何倍数的增长，这给移动应用测试带来了前所未有的压力。多任务多终端移动应用测试是把数量庞大的移动应用的测试用例分配给持有多个移动终端的测试人员进行测试，测试人员须在规定的时间内完成分配测试任务，提交测试结果。
数量庞大的测试用例给测试人员巨大的压力。在移动应用测试初期，测试用例较少，主要用于测试移动应用是否可以运行，而现在对移动应用质量的要求越来越高，测试用例的数量也随之增长。自动化测试技术有着众多的优点，但手工测试仍是不可替代的。有限的测试人员根本不可能完成测试用例较多的测试任务，测试人员任务过重时，难免存在失误，导致测试效率下降。
近年来，国内过多的关注移动应用的自动化测试，但事实上手工测试仍不可忽视，特别是多人协作的移动测试，大测试任务被分解成一个个小测试任务，数量多、离散的测试人员独立完成小测试任务，缓解了测试人员压力，提高测试效率，从而保证了移动应用的质量。
已公开的专利移动应用测试系统中，用户直接提交执行文件和测试脚本，而本次所写专利中，用户提交的是测试压缩包，提高了提交效率；该专利并没有对模拟器进行测试能力排序，不能有效地提高测试效率，而本次所写专利中，使用测试终端而不是模拟器，更具有实际意义，对测试任务和测试终端排序后，向测试终端推荐测试任务，有效地提高了测试效果。
发明内容
本发明提出了一种多任务多终端移动应用测试系统的实现方法及其系统，通过划分和排序测试任务，排序测试终端，推荐测试任务到测试终端，实现众多测试终端执行不同优先级的测试任务，减轻了测试人员的压力，提高了缺陷早期检测率，从而提高了移动应用的测试效率。
本发明提供一种多任务多终端移动应用测试系统的实现方法，包括以下步骤：
步骤一：用户通过提交模块提交测试压缩包，所述测试压缩包含移动应用、产品说明书和多个测试脚本；步骤二：根据规则库中预先设定的规则，来判断用户提交的所述测试压缩包内文件是否符合要求，若符合要求，所述提交模块将所述测试压缩包中文件进行解析，所述测试压缩包内的文件包括移动应用、测试脚本和产品说明书,将解析信息发送给控制模块，执行步骤三；若不符合，所述提交模块提示用户重新提交，返回步骤一；步骤三：所述控制模块将所述测试压缩包中的移动应用和产品说明书的解析信息放入产品库，测试脚本的解析信息，即测试用例集，放入用例库；步骤四：所述控制模块发送排序指令给智能推荐模块，对测试任务进行排序，测试任务根据所述用例库中测试用例集间的依赖关系由测试用例集组成；步骤五：所述智能推荐模块根据对缺陷库中关于测试终端历史信息的统计，对每台测试终端进行排序和该终端对所有测试任务评分；步骤六：根据步骤四中的测试任务的排序，确定当前待分配的测试任务；步骤七：判断是否存在空闲测试终端，若有，根据步骤五中获得的评分，分配模块将对应当前待分配的测试任务评分最高的空闲的测试能力最强的测试终端分配给当前待分配的测试任务；若无，则重复步骤七；步骤八：测试终端完成测试任务后，将测试结果通过控制模块返回到缺陷库中；步骤九：判断是否存在待分配的测试任务，若有，重复步骤六；若无，提示用户重新提交测试压缩包，返回步骤一。
本发明的一种多任务多终端移动应用测试系统的实现方法，所述步骤二中，所述步骤二中，所述提交模块检测用户提交的文件，解析用户提交的移动应用，产品说明书，测试脚本文件，分别生成XML文件，判断XML文件是否符合规则库中的规则。
本发明的一种多任务多终端移动应用测试系统的实现方法，所述步骤三中，控制模块分别解析移动应用和产品说明书的XML文件(提取XML文件中标签对内的信息，标签与产品库中属性相同)，获取信息并放入产品库，然后解析测试脚本的XML文件(提取XML文件中标签对<testcase></testcase>和该标签对内其他标签对的信息)，获取测试用例集并放入用例库。
本发明的一种多任务多终端移动应用测试系统的实现方法，监控模块判断所述智能模块是否空闲，如空闲，则执行步骤四；监控模块判断所述分配模块是否空闲，如空闲，则执行步骤七。
本发明的一种多任务多终端移动应用测试系统的实现方法，在所述步骤四中，具体步骤包括以下步骤：步骤A1：智能推荐模块从缺陷库中统计质量风险高的缺陷，其中，质量风险＝严重性*优先性，严重性和优先性是缺陷库中属性，从缺陷库和用例库中统计测试终端的测试历史信息，分析用例库中不同移动应用的测试用例集间相似性，分析产品库中产品间的相似性；步骤A2：根据测试用例集间依赖关系组合测试任务；根据产品的相似性和缺陷的质量风险，找出与待测移动应用相似度最高的移动应用的高质量风险的缺陷，然后找到检测出这些高质量风险的缺陷的测试用例集，根据检测出高质量风险缺陷的测试用例集和待测移动应用的测试用例集间的相似性，赋予具有较大概率检测出移动应用高质量风险缺陷的测试任务高优先级，测试任务的优先级是该测试任务中所有测试用例集优先级的中位数，依据该中位数排序测试任务，生成测试任务队列。
本发明的一种多任务多终端移动应用测试系统的实现方法，在所述步骤五中，根据缺陷库测试终端的历史信息，统计测试终端累计完成测试任务次数，完成总测试任务的平均时间，拒绝测试任务次数，报告错误次数等，排序测试终端，生成队列；测试终端对待测测试任务打分，分数表示测试终端对测试任务的熟练度，即测试终端已完成与该测试任务相似度高的测试任务的数量。
本发明的一种多任务多终端移动应用测试系统的实现方法，在所述步骤七中，分配模块分配测试任务，具体步骤包括以下步骤：步骤B1：根据测试任务队列、测试终端队列和测试终端对测试任务打分，生成测试任务-测试终端矩阵，其中，矩阵行表示测试终端，矩阵列表示测试任务，行和列的关联为测试终端对测试任务的打分，依据矩阵向测试终端推荐测试任务；步骤B2：设置测试任务的接收时间和完成时间，如果测试终端没有在接收时间内接收任务，该任务分配给其他测试终端；如果测试终端超过完成时间，根据其完成测试任务进度判断是否重新分配该测试任务，若测试终端完成的任务量低于50％，该测试任务重新分配给其他终端。
本发明还提出了一种多任务多终端移动应用测试系统，包括:提交模块，用于实现用户提交测试压缩包，所述测试压缩包中包括：移动应用、测试脚本和产品说明书；规则库，用于规范用户提交的测试压缩包中的移动应用、测试脚本和产品说明书；缺陷库，用于存储测试移动应用发现的缺陷；产品库，用于存储移动应用的信息；用例库，用于存储产品库中移动应用对应的测试用例；智能推荐模块，用于分析统计产品库、缺陷库和用例库中的信息，并使用分析后的数据对测试任务进行排序，对测试终端进行排序和测试终端对测试任务进行评分；分配模块，用于与智能推荐模块交互，进行测试用例分配；监控模块，用于监控智能推荐模块和分配模块，并将它们的运行情况反馈到控制模块，分别传递排序指令和分配指令到智能推荐模块和分配模块；控制模块，用于控制实现与提交模块和测试终端集的交互，存储产品、缺陷和用例信息到产品库，缺陷库和用例库，通过与监控模块的交互，控制智能推荐模块和分配模块；测试终端集：用于处理分配的测试任务，并将测试结果通过控制模块反馈给缺陷库和用例库，该集合由若干个测试终端组成，测试人员利用测试终端完成分配的测试任务；所述规则库与所述提交模块连接；所述提交模块与所述控制模块连接；所述控制模块分别与所述缺陷库、产品库、用例库和监控模块连接；所述缺陷库、产品库和用例库与所述智能推荐模块连接；所述智能推荐模块与所述分配器连接；所述分配模块与测试终端集连接；所述测试终端集与所述控制模块连接。
本发明采用的技术特征及其有益效果在于以下方面：
本发明通过利用多人协作思想和测试用例优先级技术，设计实现了一种多任务多终端移动应用测试系统，其中智能推荐模块，排序测试任务和测试终端，测试终端对测试任务打分；分配模块根据智能推荐模块传递的信息，生成测试终端-测试任务矩阵，推荐测试任务到测试终端，并且该模块还设定了分配任务的接收时间和完成时间。该系统的优点是：能够缓解测试人员测试压力，提高测试终端的适配性和早期缺陷检测率，从而提高了测试效率，保证了移动应用质量。
附图说明
图1为本发明一种多任务多终端移动应用测试系统的结构示意图；
图2为本发明一种多任务多终端移动应用测试系统的工作流程图；
图3为测试任务排序工作流程图；
图4为测试任务分配示意图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式做进一步详细的说明，但不应以此限制本发明的保护范围。
如图1所示，本发明的一种多任务多终端移动应用测试系统，包括：提交模块1、规则库2、控制模块3、监控模块4、缺陷库5、产品库6、用例库7、智能推荐模块8、分配模块9和测试终端集10。所述规则库2与所述提交模块1连接；所述提交模块1与所述控制模块3连接；所述控制模块3分别与所述缺陷库5、产品库6、用例库7和监控模块4连接；所述缺陷库5、产品库6和用例库7与所述智能推荐模块8连接；所述智能推荐模块8与所述分配器9连接；所述分配模块9与测试终端集10连接；所述测试终端集10与所述控制模块3连接。
如图2所示，本发明的一种多任务多终端移动移动测试系统的实现方法，包括：
步骤一S1：用户通过提交模块1提交测试压缩包，包含移动应用、测试脚本和产品说明书；
步骤二S2：根据规则库2中预先设定的规则，如移动应用的大小，测试脚本的格式和产品说明书的规范等规则，来判断用户提交的测试压缩包内文件是否符合要求，若符合要求，提交模块1将测试压缩包中各个文件解析，将解析信息发送给控制模块3，执行步骤三S3；若不符合，提交模块1提示用户重新提交，返回步骤一S1；
步骤三S3：控制模块3将测试压缩包中的移动应用和产品说明书的解析信息放入产品库6，测试脚本的解析信息即测试用例集放入用例库7；
步骤四S4：控制模块3发送排序指令给智能推荐模块8，对测试任务进行排序，测试任务是所述用例库7中测试用例集的组合，组合的依据是测试用例集间的依赖和并行关系；
步骤五S5：智能推荐模块8根据对缺陷库5中关于测试终端历史信息的统计，对每台测试终端进行排序和该终端对所有测试任务评分；
步骤六S6：根据步骤四S4中的测试任务的排序，确定当前待分配的测试任务；
步骤七S7：判断是否存在空闲测试终端，若有，根据步骤五S5中获得的评分，分配模块9将对应当前待分配的测试任务评分最高的空闲的测试能力最强的测试终端分配给当前待分配的测试任务；若无，则重复步骤七S7；
步骤八S8：测试终端完成测试任务后，将测试结果通过控制模块3返回到缺陷库5中；
步骤九S9：判断是否存在待分配的测试任务，若有，重复步骤六S6；若无，提示用户重新提交测试压缩包，返回步骤一S1。
本发明的一种多任务多终端移动应用测试系统的实现方法，在步骤二S2中，提交模块1检测用户提交的文件，解析用户提交的待测移动应用，产品说明书和测试脚本文件，分别生成XML文件，判断XML文件是否符合规则库2中的规则。
本发明的一种多任务多终端移动应用测试系统的实现方法，在步骤三S3中，控制模块3分别解析移动应用和产品说明书的XML文件，提取XML文件中标签对内的信息，标签与产品库中属性相同，获取信息并放入产品库6，然后解析测试脚本的XML文件，提取XML文件中标签对<testcase></testcase>和该标签对内其他标签对的信息，获取测试用例集并放入用例库7。
本发明的一种多任务多终端移动应用测试系统的实现方法，监控模块4判断智能模块8是否空闲，如空闲，则执行步骤四S4；监控模块4判断所述分配模块9是否空闲，如空闲，则执行步骤七S7。
本发明的一种多任务多终端移动应用测试系统的实现方法，在步骤四S4中，具体步骤包括以下步骤：
步骤A1：智能推荐模块8从缺陷库5中统计质量风险高的缺陷，其中，质量风险＝严重性*优先性，严重性和优先性是缺陷库中属性，从缺陷库5和用例库7中统计测试终端的测试历史信息，分析用例库7中不同移动应用的测试用例集间相似性，分析产品库6中产品间的相似性；
步骤A2：根据测试用例集间依赖关系划分测试任务；根据产品的相似性和缺陷的质量风险，找出与待测移动应用相似度最高的移动应用的高质量风险的缺陷，然后找到检测出这些高质量风险的缺陷的测试用例集，根据检测出高质量风险缺陷的测试用例集和待测移动应用的测试用例集间的相似性，赋予具有较大概率检测出移动应用高质量风险缺陷的测试任务高优先级，测试任务的优先级是测试任务中所有测试用例集优先级的中位数，依据该中位数排序测试任务，生成队列。
本发明的多任务多终端移动应用测试系统的实现方法，在步骤五S5中，根据缺陷库5测试终端的历史信息，统计测试终端累计完成测试任务次数，完成总测试任务的平均时间，拒绝测试任务次数，报告错误次数等，排序测试终端，生成队列；测试终端对待测测试任务打分，分数表示测试终端对测试任务的熟练度，即测试终端已完成与该测试任务相似度高的测试任务的数量。
本发明的多任务多终端移动应用测试系统的实现方法，在步骤七S7中，分配模块9分配测试任务，具体步骤包括以下步骤：
步骤B1：根据测试任务队列、测试终端队列和测试终端对测试任务打分，生成测试任务-测试终端矩阵，其中，矩阵行表示测试终端，矩阵列表示测试任务，行和列的关联为测试终端对测试任务的打分，依据矩阵向测试终端推荐测试任务；
步骤B2：设置测试任务的接收时间和完成时间，如果测试终端没有在接收时间内接收任务，该任务分配给其他测试终端；如果测试终端超过完成时间，根据其完成测试任务进度判断是否重新分配该测试任务，若测试终端完成的任务量低于50％，该测试任务重新分配给其他终端。
提交模块1用于用户提交测试压缩包。该压缩包由待测移动应用、测试脚本和产品说明书组成，待测移动应用是安卓应用或者IOS应用。用户通过HTTP协议与提交模块通信，提交模块以网页的形式呈现在用户面前，提供一个提交测试压缩包页面。
规则库2用于存储规范待测移动应用、测试脚本和产品说明书的规则。这些规则可被提交模块1用于检测待测移动应用、测试脚本和产品说明书的合法性。待测移动应用的后缀名必须是ipa、pxl、deb(苹果)或apk(安卓)中的一种，且移动应用不能有损坏；测试脚本必须注明被测试移动应用的名称及其版本、作者、编写时间、该脚本的功能概述信息，脚本中的测试用例应该遵循测试用例的规范：系统性、连贯性、全面性、正确性、可操作性，至少描述用例标识、用例描述、前驱用例、测试场景、测试输入和预取结果。
控制模块3的作用是根据用户模块1或测试终端集10提交内容，判断并放入对应的缺陷库5、产品库6或用例库7，同时也通过监控模块4向智能推荐模块8和分配模块9发送工作指令。
监控模块4的作用是监控智能推荐模块8和分配模块9的运行状态，如就绪状态、运行状态和空闲状态，协助控制模块3工作。如果智能推荐模块8为空闲状态，则监控模块4通知控制模块3可以向其发出排序指令，对用例库中将被测试的待测移动应用的测试用例进行优先级排序。判断该模块是空闲状态的依据是该模块显示状态“3”(“3”表示空闲状态，“2”表示运行状态，“1”表示就绪状态)。如果分配模块9的状态为“2”，监控模块4通知控制模块3该分配模块9的状态，控制模块3对运行状态的分配模块不发送指令，一旦分配模块9的状态变成空闲，监控模块4通知分配模块3，控制模块3向分配模块9发送分配指令。
缺陷库5用于存储检测到的移动应用缺陷。这些缺陷用于智能推荐模块8分析统计出质量风险高的缺陷和测试终端的测试能力。该库的信息包括每个错误包含信息的字段内容和记录错误处理信息的全部内容，字段内容可能包括测试移动应用名称、测试版本号、测试人名称、测试事件、测试移动应用、硬件配置环境、发现移动应用错误的类型、错误的严重等级、详细步骤、必要的附图和测试注释等；处理信息包括测试终端ID、处理时间、处理步骤和错误记录的当前状态等。
产品库6用于存储待测移动应用信息。智能推荐模块8分析该库中移动应用的相似性。该库的信息包括移动应用名称、产品说明书、移动应用和源文件等。
用例库7用于存储测试用例。智能推荐模块8对测试用例排序、分类成测试任务，分配模块9分配测试任务。该库字段包括用例标识、用例标识、前驱用例标识、测试场景、用例作者、测试方法、编号、测试项、测试类别、操作、期望结果、真实结果和备注等。
智能推荐模块8的作用是对测试用例和测试终端排序。该模块分析统计缺陷库5，产品库6，用例库7的数据，根据分析结果对测试用例排序、分类，对测试终端排序，将分类的测试任务和排序的测试终端转到分配模块9。
分配模块9的作用是分配测试任务。匹配排序后测试任务与测试终端，即优先级高的测试任务匹配测试能力强的测试终端。如果测试终端在规定的接受时间内没有接受测试任务，该测试任务重新分配给其他的测试终端。如果测试终端在规定的完成时间内没有完成测试任务，根据阈值判断是否重新分配该测试任务，这个阈值是该测试终端完成的测试任务的比例。
测试终端集10用于处理测试任务。该集合中包含若干个测试终端，分别为iphone、ipad、运行不同版本Android系统的手机或平板。该集合中分配了测试任务的终端既可接受测试任务，也可拒绝。如果终端接受测试任务，完成任务后，将反馈结果到缺陷库5。
实施例1：测试压缩包规范判断操作
当用户通过提交模块1提交测试压缩包完成后，提交模块会用规则库2中规则检测该包，如果该包不符合规则，提示用户提交的文件不规范，重新提交，如果符合，转交控制器3。例如本实施例中用户在网页上提交所需要检测的压缩包，压缩包包含ios移动应用、产品说明书和测试脚本，假如出现以下情况，如ios移动应用损坏或后缀名不是ipa，pxl，deb中一种，测试脚本功能概述信息不全，测试用例不系统等，提交模块将检测到的问题反馈在提交页面上；如果未出现上述情况，将该压缩包转给控制器3。
实施例2：测试任务排序操作
监控模块4将监控到的智能推荐模块8的运行状态反馈给控制模块3，控制模块3判断智能推荐模块8是否为空闲状态，如果其状态为空闲，向其发送排序指令。智能推荐模块8主要是根据缺陷库5、产品库6和用例库7中的数据对测试任务进行排序。本实施例中待测移动应用的测试用例集大约10万条，这些测试用例集已经放入用例库中，智能推荐系统对其执行排序操作。排序时，其总体的步骤如图3所示：1)分析移动应用的相似性和缺陷质量风险。利用Jaccard距离分析产品库6中的产品说明书间距离；利用缺陷库5的信息，如错误严重等级和错误的优先级等，具体计算缺陷的质量风险公式(1)如下：
QR(bugi)＝α*s+(1-α)*p (1)
QR(bugi)表示第i个bug的质量风险，s表示缺陷严重等级，p表示缺陷优先级，α表示权重因子，其中根据经验α取值为0.4；2)找出检测到相似应用高质量风险的测试用例集。定位缺陷库5中质量风险高的缺陷，找到条记录的测试用例集编号属性，依据该编号搜索用例库7；3)分析测试用例集之间相似性，赋予优先级。依据测试用例集的属性，如测试场景、测试方法、测试项、测试类别、操作等，向量描述这些属性，使用Cosine距离计算测试用例集相似性，赋予待测测试用例集优先级，该优先级为与其相似度高的测试用例集的优先级；4)计算测试任务中测试用例集优先级中位数，排序测试任务。排序过程中，将更有可能检测到质量风险高的缺陷的测试用例集赋予较高优先级，有效地提高了缺陷早期检测率。
实施例3：测试任务分配操作
监控模块4将测试到的分配模块9的运行状态反馈给控制模块3，控制模块3判断分配模块9是否为空闲状态，如果其状态是空闲状态，向其发送分配指令。分配模块9根据智能推荐模块8转交的测试任务队列、测试终端队列和测试终端对测试任务的打分，生成测试终端-测试任务矩阵，根据矩阵向测试终端测试推荐测试任务。本实施例中，分配测试任务的具体步骤如图4所示：1)生成测试终端矩阵-测试任务矩阵，具体矩阵如下表(1)所示，表1为测试终端-测试任务关联矩阵。
表1
矩阵行属性表示测试任务，如P1、P2、P3、…、Pm，列属性表示测试终端，如T1、T2、T3、T4、T5、…、Tn，假设测试任务P1优先级最高，Pm优先级最低，测试终端优先级同理，矩阵内数值为测试终端对测试任务的打分，具体打分规则如下公式(2)：
其中，rxi表示是测试终端x对测试任务i的评分，rxj表示是测试终端x对测试任务j的评分，sij表示是测试任务i和测试任务j的相似性，N(i；x)表示是与测试任务i相似的测试任务的集合，测试终端对集合内的测试任务都有评分，集合内测试任务的数目根据评分效果设定；2)推荐测试任务给测试终端。从矩阵优先级最高的测试任务P1开始按列遍历矩阵，测试任务P1首先预推荐给测试终端T1，T2，T3，根据三个测试终端对测试任务的评分，选择最优的测试终端，本例中T1对P1的评分为8，大于T2的5和T3的7，因此，P1推荐给T1。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围。任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种变动与润饰，本发明保护范围应以权利要求书所界定的保护范围为准。

Claims (8)

1.一种多任务多终端移动应用测试系统的实现方法，其特征在于，包括以下步骤：
步骤一：用户通过提交模块(1)提交测试压缩包，所述测试压缩包含移动应用、产品说明书和多个测试脚本；
步骤二：根据规则库(2)中预先设定的规则，来判断用户提交的所述测试压缩包内文件是否符合要求，若符合要求，所述提交模块(1)将所述测试压缩包中文件进行解析，所述测试压缩包内的文件包括移动应用、测试脚本和产品说明书,将解析信息发送给控制模块(3)，执行步骤三；若不符合，所述提交模块(1)提示用户重新提交，返回步骤一；
步骤三：所述控制模块(3)将所述测试压缩包中的移动应用和产品说明书的解析信息放入产品库(6)，测试脚本的解析信息，即测试用例集，放入用例库(7)；
步骤四：所述控制模块(3)发送排序指令给智能推荐模块(8)，对测试任务进行排序，测试任务是所述用例库(7)中测试用例集的组合，组合的依据是测试用例集间的依赖和并行关系；
步骤五：所述智能推荐模块(8)根据对缺陷库(5)中关于测试终端历史信息的统计，对每台测试终端进行排序和该终端对所有测试任务评分；
步骤六：根据步骤四中的测试任务的排序，确定当前待分配的测试任务；
步骤七：判断是否存在空闲测试终端，若有，根据步骤五中获得的评分，分配模块(9)将对应当前待分配的测试任务评分最高的空闲的测试能力最强的测试终端分配给当前待分配的测试任务；若无，则重复步骤七；
步骤八：测试终端完成测试任务后，将测试结果通过控制模块(3)返回到缺陷库(5)中；
步骤九：判断是否存在待分配的测试任务，若有，重复步骤六；若无，提示用户重新提交测试压缩包，返回步骤一。
2.如权利要求1所述的一种多任务多终端的移动应用测试系统的实现方法，其特征在于，所述步骤二中，所述提交模块(1)检测用户提交的文件，解析用户提交的移动应用，产品说明书和测试脚本文件，分别生成XML文件，判断XML文件是否符合规则库(2)中的规则。
3.如权利要求1所述的一种多任务多终端移动应用测试系统的实现方法，其特征在于，所述步骤三中，控制模块(3)分别解析移动应用和产品说明书的XML文件，获取信息并放入产品库(6)，然后解析测试脚本的XML文件，获取测试用例集并放入用例库(7)。
4.如权利要求1所述的一种多任务多终端移动应用测试系统的实现方法，其特征在于，监控模块(4)判断所述智能模块(8)是否空闲，如空闲，则执行步骤四；监控模块(4)判断所述分配模块(9)是否空闲，如空闲，则执行步骤七。
5.如权利要求1所述的一种多任务多终端移动应用测试系统的实现方法，其特征在于，在所述步骤四中，具体步骤包括以下步骤：
步骤A1：智能推荐模块(8)从缺陷库(5)中统计质量风险高的缺陷，从缺陷库(5)和用例库(7)中统计测试终端的测试历史信息，分析用例库(7)中不同移动应用的测试用例集间相似性，分析产品库(6)中产品间的相似性；
步骤A2：根据测试用例集间依赖关系组合测试任务；根据产品的相似性和缺陷的质量风险，找出与待测移动应用相似度最高的移动应用的高质量风险的缺陷，然后找到检测出这些高质量风险的缺陷的测试用例集，根据检测出高质量风险缺陷的测试用例集和待测移动应用的测试用例集间的相似性，赋予具有较大概率检测出移动应用高质量风险缺陷的测试任务高优先级，测试任务的优先级是该测试任务中所有测试用例集优先级的中位数，依据该中位数排序测试任务，生成测试任务队列。
6.如权利要求1所述的一种多任务多终端移动应用测试系统的实现方法，其特征在于，在所述步骤五中，根据缺陷库(5)测试终端的历史信息，统计测试终端累计完成测试任务次数，完成总测试任务的平均时间，拒绝测试任务次数，报告错误次数等，排序测试终端，生成队列；测试终端对待测测试任务打分，分数表示测试终端对测试任务的熟练度，即测试终端已完成与该测试任务相似度高的测试任务的数量。
7.如权利要求1所述的一种多任务多终端移动应用测试系统的实现方法，其特征在于，在所述步骤七中，分配模块(9)分配测试任务，具体步骤包括以下步骤：
步骤B1：根据测试任务队列、测试终端队列和测试终端对测试任务打分，生成测试任务-测试终端关联矩阵，依据该矩阵向测试终端推荐测试任务；
步骤B2：设置测试任务的接收时间和完成时间，如果测试终端没有在接收时间内接收任务，该任务分配给其他测试终端；如果测试终端超过完成时间，根据其完成测试任务进度判断是否重新分配该测试任务，若测试终端完成的任务量低于50％，该测试任务重新分配给其他终端。
8.一种多任务多终端移动应用测试系统，其特征在于，包括：
提交模块(1)，用于实现用户提交测试压缩包，所述测试压缩包中包括：移动应用、测试脚本和产品说明书；
规则库(2)，用于规范用户提交的所述测试压缩包中的移动应用、测试脚本和产品说明书；
缺陷库(5)，用于存储测试移动应用发现的缺陷；
产品库(6)，用于存储移动应用的信息；
用例库(7)，用于存储产品库(6)中移动应用对应的测试用例；
智能推荐模块(8)，用于分析统计产品库(6)、缺陷库(5)和用例库(7)中的信息，并使用分析后的数据对测试任务进行排序，对测试终端进行排序和测试终端对测试任务进行评分；
分配模块(9)，用于与智能推荐模块(8)交互，进行测试用例分配；
监控模块(4)，用于监控智能推荐模块(8)和分配模块(9)，并将它们的运行情况反馈到控制模块(3)，分别传递排序指令和分配指令到智能推荐模块(8)和分配模块(9)；
控制模块(3)，用于控制实现与提交模块(1)和测试终端集(10)的交互，存储产品、缺陷和用例信息到产品库(7)，缺陷库(6)和用例库(8)，通过与监控模块(4)的交互，控制智能推荐模块(8)和分配模块(9)；
测试终端集(10)：用于处理分配的测试任务，并将测试结果通过控制模块(3)反馈给缺陷库(5)和用例库(6)，该集合由若干个测试终端组成，测试人员利用测试终端完成分配的测试任务；
所述规则库(2)与所述提交模块(1)连接；所述提交模块(1)与所述控制模块(3)连接；所述控制模块(3)分别与所述缺陷库(5)、产品库(6)、用例库(7)和监控模块(4)连接；所述缺陷库(5)、产品库(6)和用例库(7)与所述智能推荐模块(8)连接；所述智能推荐模块(8)与所述分配器(9)连接；所述分配模块(9)与测试终端集(10)连接；所述测试终端集(10)与所述控制模块(3)连接。
CN201610744037.4A 2016-08-26 2016-08-26 一种多任务多终端移动应用测试方法及其系统 Pending CN107783894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610744037.4A CN107783894A (zh) 2016-08-26 2016-08-26 一种多任务多终端移动应用测试方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610744037.4A CN107783894A (zh) 2016-08-26 2016-08-26 一种多任务多终端移动应用测试方法及其系统

Publications (1)

Publication Number Publication Date
CN107783894A true CN107783894A (zh) 2018-03-09

Family

ID=61441015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610744037.4A Pending CN107783894A (zh) 2016-08-26 2016-08-26 一种多任务多终端移动应用测试方法及其系统

Country Status (1)

Country Link
CN (1) CN107783894A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959100A (zh) * 2018-07-20 2018-12-07 中国邮政储蓄银行股份有限公司 应用程序的测试方法、装置和系统
CN109406025A (zh) * 2018-10-16 2019-03-01 武汉斗鱼网络科技有限公司 压力测试方法、装置及电子设备
CN109542795A (zh) * 2018-12-13 2019-03-29 平安科技（深圳）有限公司 为用户推荐测试动作的方法、装置、介质、电子设备
CN109698771A (zh) * 2018-12-07 2019-04-30 网易（杭州）网络有限公司 游戏服务器压力测试方法及装置
CN111459833A (zh) * 2020-04-13 2020-07-28 大汉软件股份有限公司 一种实现政企移动端多端多平台自动化测试和监控的方法
CN111639873A (zh) * 2020-06-05 2020-09-08 中国银行股份有限公司 版本发布的辅助方法及相关装置
CN112035309A (zh) * 2020-09-07 2020-12-04 深圳市亿道信息股份有限公司 智能终端功能的自动测试方法、服务器及自动测试系统
CN112181819A (zh) * 2020-09-23 2021-01-05 建信金融科技有限责任公司 测试案例分配方法、装置、电子设备及介质
CN112231223A (zh) * 2020-10-27 2021-01-15 南京林洋电力科技有限公司 基于mqtt的分布式自动化软件测试方法及系统
CN118227462A (zh) * 2024-01-25 2024-06-21 中国软件评测中心(工业和信息化部软件与集成电路促进中心) 测试用例优先级排序方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246439A (zh) * 2008-03-18 2008-08-20 中兴通讯股份有限公司 一种基于任务调度的自动化测试方法及系统
US20130275357A1 (en) * 2012-04-11 2013-10-17 Henry Arnold Algorithm and structure for creation, definition, and execution of an spc rule decision tree
CN105183644A (zh) * 2015-08-20 2015-12-23 上海斐讯数据通信技术有限公司 一种多任务集成自动化测试系统及方法
CN105813102A (zh) * 2014-12-30 2016-07-27 展讯通信（上海）有限公司 一种自动测试系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246439A (zh) * 2008-03-18 2008-08-20 中兴通讯股份有限公司 一种基于任务调度的自动化测试方法及系统
US20130275357A1 (en) * 2012-04-11 2013-10-17 Henry Arnold Algorithm and structure for creation, definition, and execution of an spc rule decision tree
CN105813102A (zh) * 2014-12-30 2016-07-27 展讯通信（上海）有限公司 一种自动测试系统及方法
CN105183644A (zh) * 2015-08-20 2015-12-23 上海斐讯数据通信技术有限公司 一种多任务集成自动化测试系统及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959100A (zh) * 2018-07-20 2018-12-07 中国邮政储蓄银行股份有限公司 应用程序的测试方法、装置和系统
CN109406025A (zh) * 2018-10-16 2019-03-01 武汉斗鱼网络科技有限公司 压力测试方法、装置及电子设备
CN109406025B (zh) * 2018-10-16 2020-12-15 武汉斗鱼网络科技有限公司 压力测试方法、装置及电子设备
CN109698771A (zh) * 2018-12-07 2019-04-30 网易（杭州）网络有限公司 游戏服务器压力测试方法及装置
CN109542795A (zh) * 2018-12-13 2019-03-29 平安科技（深圳）有限公司 为用户推荐测试动作的方法、装置、介质、电子设备
CN111459833A (zh) * 2020-04-13 2020-07-28 大汉软件股份有限公司 一种实现政企移动端多端多平台自动化测试和监控的方法
CN111639873B (zh) * 2020-06-05 2023-09-22 中国银行股份有限公司 版本发布的辅助方法及相关装置
CN111639873A (zh) * 2020-06-05 2020-09-08 中国银行股份有限公司 版本发布的辅助方法及相关装置
CN112035309A (zh) * 2020-09-07 2020-12-04 深圳市亿道信息股份有限公司 智能终端功能的自动测试方法、服务器及自动测试系统
CN112035309B (zh) * 2020-09-07 2024-04-09 深圳市亿道信息股份有限公司 智能终端功能的自动测试方法、服务器及自动测试系统
CN112181819A (zh) * 2020-09-23 2021-01-05 建信金融科技有限责任公司 测试案例分配方法、装置、电子设备及介质
CN112231223A (zh) * 2020-10-27 2021-01-15 南京林洋电力科技有限公司 基于mqtt的分布式自动化软件测试方法及系统
CN118227462A (zh) * 2024-01-25 2024-06-21 中国软件评测中心(工业和信息化部软件与集成电路促进中心) 测试用例优先级排序方法、装置、存储介质及电子设备
CN118227462B (zh) * 2024-01-25 2024-08-30 中国软件评测中心(工业和信息化部软件与集成电路促进中心) 测试用例优先级排序方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN107783894A (zh) 一种多任务多终端移动应用测试方法及其系统
Hovorushchenko Methodology of evaluating the sufficiency of information for software quality assessment according to ISO 25010
CN106095673B (zh) 基于web接口的自动化测试方法及系统
CN103870507B (zh) 一种基于类目的搜索方法和装置
CN104226610A (zh) 一种具有称重校验功能的自动分拣系统及其使用方法
CN105930409A (zh) 基于动态生成规则的数据校验方法及装置
CN104689996A (zh) 使用分拣机分拣包裹的方法和系统
CN110309309B (zh) 一种用于评估人工标注数据质量的方法及系统
CN111752846A (zh) 一种接口测试方法及装置
CN112182562A (zh) 沙箱环境下的数据审核方法、系统、电子设备及介质
CN115409395A (zh) 一种水利施工工程的质量验收检查方法及系统
CN112445897A (zh) 文本类数据大规模分类标注方法、系统、装置及存储介质
CN117151070A (zh) 试卷组题方法、装置、设备及计算机可读存储介质
CN111773728A (zh) 数据表测试方法、装置、设备及存储介质
CN107704529A (zh) 信息唯一性识别方法、应用服务器、系统及存储介质
CN110908892A (zh) 接口数据测试方法、装置及可读存储介质
CN112732567B (zh) 基于ip的mock数据测试方法、装置、电子设备及存储介质
CN113628043A (zh) 基于数据分类的投诉有效性判断方法、装置、设备及介质
CN104503837B (zh) 基于偏序规约的中断驱动系统有界模型检验方法
CN115660540B (zh) 货物跟踪方法、装置、计算机设备和存储介质
Silva et al. Towards making safety-critical systems safer: learning from mistakes
CN106547662A (zh) 一种用于分布式数据库的性能故障定位方法
CN110262950A (zh) 基于多项指标的异动检测方法和装置
CN103279549A (zh) 一种目标对象的目标数据的获取方法及装置
CN106096224A (zh) 对无序分类变量信息无损分组的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180309

RJ01 Rejection of invention patent application after publication