CN105354140B - 一种自动化测试的方法及系统 - Google Patents

一种自动化测试的方法及系统 Download PDF

Info

Publication number
CN105354140B
CN105354140B CN201510733618.3A CN201510733618A CN105354140B CN 105354140 B CN105354140 B CN 105354140B CN 201510733618 A CN201510733618 A CN 201510733618A CN 105354140 B CN105354140 B CN 105354140B
Authority
CN
China
Prior art keywords
test
server
result
main
plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510733618.3A
Other languages
English (en)
Other versions
CN105354140A (zh
Inventor
赵猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Synacast Media Technology Co Ltd
Original Assignee
Shanghai Synacast Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Synacast Media Technology Co Ltd filed Critical Shanghai Synacast Media Technology Co Ltd
Priority to CN201510733618.3A priority Critical patent/CN105354140B/zh
Publication of CN105354140A publication Critical patent/CN105354140A/zh
Application granted granted Critical
Publication of CN105354140B publication Critical patent/CN105354140B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2268Logging of test results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273Test methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种自动化测试的方法及系统。该方法包括:主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划;所述主测试服务器根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;所述主测试服务器对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统;所述测试用例管理系统接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。采用该方案,可以使终端自动执行测试功能,节省开发者手动执行测试时消耗时间,节省大量的人力,提高测试效率。

Description

一种自动化测试的方法及系统
技术领域
本发明涉及终端测试技术领域,尤其涉及一种自动化测试的方法及系统。
背景技术
随着移动终端的快速发展,出现越来越多的可以在移动终端上执行的功能,以软件和/或硬件的形式执行各类功能,而每个功能的实现都需要进行大量的人工测试,分析其是否可以实现,以及在实现过程中可能产生的一些问题,并对产生的问题进行修复。
当执行功能的软件和/或硬件出现新的版本时,开发人员通常手动对新的版本进行测试,由于现在更新换代速度很快,开发人员对每一个新版本进行手动测试会耗费时间,使测试效率低下,同时会造成人力的浪费。
发明内容
有鉴于此,本发明实施例提供一种自动化测试的方法及系统,以解决现有技术中手动测试带来不便的技术问题。
第一方面,本发明实施例提供了一种自动化测试的方法,包括:
主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划;
所述主测试服务器根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;
所述主测试服务器对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统;
所述测试用例管理系统接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
第二方面,本发明实施例还提供了一种自动化测试的系统,包括:主测试服务器、控制存储服务器和测试用例管理系统,其中:
所述控制存储服务器,用于存储测试版本和测试脚本;
所述主测试服务器包括:
测试文件获取模块,用于从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划;
测试执行模块,用于根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;
测试结果处理模块,用于对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统;
所述测试用例管理系统,用于接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
本发明实施例提供的一种自动化测试的方法及系统,通过主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划,根据所述测试计划执行对应的测试脚本取得测试结果,并对测试结果进行处理得到最终测试结果发送至测试用例管理系统,测试用例管理系统收到最终测试结果后进行输出或根据测试结果调整测试计划。通过采用上述自动化测试的方法及系统,可以避免在版本更新时,手动测试新版本浪费时间,同时节省了大量的人力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一提供的一种自动化测试的方法的流程图;
图2为本发明实施例二提供的一种自动化测试的方法的流程图;
图3为本发明实施例三提供的一种自动化测试的系统的示意图;
图4为本发明实施例四提供的一种自动化测试优选示例的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1为本发明实施例一提供的一种自动化测试的方法的流程图。本实施例的方法可由自动化测试系统执行,如图3所示,该系统包括主测试服务器、控制存储服务器和测试用例管理系统,各服务器配合执行自动化测试的方法。如图1所示,该方法包括:
S110、主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划。
测试可以分为硬件测试和软件测试,本实施例优选软件测试。软件测试是指在规定的条件下对软件程序进行操作以发现程序错误,衡量软件质量。当发现错误时,对程序进行修复和改进,即软件的升级。软件每一次升级后,会产生针对新版本软件的新测试,每一次的新测试就为一个新的测试版本。测试版本以版本号的形式体现,用于区分不同的测试版本。版本号的编写规则由开发人员设置。测试脚本为测试过程执行的程序指令。测试计划为文本格式,存储在测试用例管理系统中,测试计划包括测试概述、测试环境、测试规划、测试策略、测试进度和工作汇报等部分,具体规则由开发人员设定,这里不做限定。
示例性的,测试版本和测试脚本存储在控制存储服务器中,测试计划存储在测试用例管理系统中。主测试服务器开始执行测试之前,需要从控制存储服务器获取测试版本和测试脚本,从测试用例管理系统获取测试计划。
进一步的,在控制存储服务器存在更新的测试版本和测试脚本时,所述主测试服务器从控制存储服务器获取更新的测试版本和测试脚本。
当控制存储服务器中存在更新的测试版本后,开发人员写入与更新的测试版本相应的最新测试脚本,更新的测试版本即为最新测试版本。控制存储服务器向主测试服务器发送最新测试版本的更新指令,主测试服务器收到更新指令后下载控制存储服务器中的最新测试版本,并更新现有的测试版本至最新测试版本,同时从控制存储服务器中下载相应的最新测试脚本;也可以在控制存储服务器发送最新测试版本的更新指令后,主测试服务器从控制存储服务器中同时下载最新测试版本和测试脚本,下载完毕后更新现有测试版本至最新测试版本,并保存最新测试脚本。若控制存储服务器向主测试服务器发送最新测试版本的更新指令后,主测试服务器在下载最新测试版本时出现错误,即最新测试版本下载失败,则终止此次测试。
进一步的,在所述测试用例管理系统存在更新的测试计划时,所述主测试服务器从所述测试用例管理系统获取更新的测试计划。
测试用例管理系统中存在更新的测试计划,主测试服务器从测试用例管理系统中获取新的测试计划。根据新的测试计划进行测试。测试计划可以是根据测试结果自动创建的。在某些特定的情况下,也可以由开发人员人为写入。优选为根据测试结果自动创建。
进一步的,若所述主测试服务器在预设时间间隔内未接收控制存储服务器中的最新测试版本,则询问所述控制存储服务器中是否存在最新测试版本。
在主测试服务器中预先设定时间间隔,此时间间隔由开发人员根据实际情况进行设定。例如,预设时间间隔为20小时,若主测试服务器在20小时内未收到控制存储服务器发送的更新指令,则向控制存储服务器发送询问指令,询问所述控制存储服务器中是否存在最新测试版本。这样可以避免更新指令发送或接收过程中出现异常而使主测试服务器不能正常收取更新指令,提高了测试系统的稳定性。
S120、所述主测试服务器根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果。
示例性的,待测试终端与主测试服务器相连。待测试终端为根据测试计划,需要执行测试脚本的终端设备,可以是手机、MP4或平板电脑等智能终端。待测试程序为待测试终端中需要进行测试的程序。不同的待测试程序对应不同的测试版本,因此根据测试版本可以确定待测试终端和待测试程序。当待测试终端与主测试服务器连接后,获取主测试服务器中测试版本。主测试服务器根据测试计划针对待测试终端执行对应的测试脚本程序指令,并获取待测试终端中的测试结果。
S130、所述主测试服务器对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统。
示例性的,主测试服务器对测试结果进行处理,可以为对测试结果进行筛选过滤,具体的测试结果处理方案由开发人员根据实际情况进行设定。优选的,设置失败率的预设范围,当测试结果的失败率在预设范围内,对失败的待测试终端重新进行测试。若重新测试后得到的测试结果符合预期结果,则表明测试成功。在对测试结果处理后,得到最终测试结果。将最终测试结果发送至测试用例管理系统。
S140、所述测试用例管理系统接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
示例性的,当测试用例管理系统接收到最终测试结果后,可以根据测试结果调整测试计划。调整方式可以为将测试计划与测试结果一同另存为新的测试计划,也可以根据测试结果调整现有测试计划并同测试结果一同保存为新的测试计划。每次测试完成后,都有新的测试计划生成并保存。当测试用例管理系统接收到最终测试结果后,也可以将测试结果输出,输出方式可以是发送至指定的邮箱或系统中。
优选的,在主测试服务器中设有配置文件,所述配置文件为文本形式,主测试服务器可以根据配置文件进行版本下载、版本更新和执行测试等功能。
本发明实施例一提供的一种自动化测试的方法,主测试服务器通过获取控制存储服务器中的更新的测试版本和测试脚本,获取测试用例控制系统中的测试计划,根据测试计划针对待测试终端执行对应的测试脚本取得测试结果,并处理测试结果得到最终测试结果,将最终测试结果上传至测试用例管理系统,测试用例管理系统根据接收到的最终测试结果调整测试计划。通过上述自动化测试的方法,可以避免在软件版本更新后,手动对新版本各功能进行测试时消耗时间和人力,极大的提高了工作效率。
实施例二
图2为本发明实施例二提供的一种自动化测试的方法的流程图。本实施例是在实施例一的基础上,增加了分布式服务器与主测试服务器相连,用于执行测试功能。如图2所示,具体步骤为:
S210、主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划。
S220、所述主测试服务器将测试计划和测试脚本分发给至少两个分布式服务器。
示例性的,分布式服务器与主测试服务器相连,本系统中采用至少两个分布式服务器。各分布式服务器与主测试服务器相连后,从主测试服务器中下载最新测试版本并更新现有测试版本至最新测试版本,同时主测试服务器将最新的测试脚本和测试计划分发给各分布式服务器。
S230、所述分布式服务器根据所述测试计划针对待测试终端执行对应的测试脚本,取得测试结果,并将测试结果发送给主测试服务器。
示例性的,各待测试终端与各分布式服务器相连,从各分布式服务器中获取测试版本。各分布式服务器根据测试计划针对待测试终端执行对应的测试脚本。各分布式服务器可以执行同一测试脚本中全部程序指令,也可以执行同一测试脚本中部分程序指令。各待测试终端完成测试后,将测试结果发送给对应的分布式服务器,各分布式服务器将获取的测试结果发送给主测试服务器。
S240、所述主测试服务器将测试结果进行处理,若失败率在预设范围内,则指示对应的分布式服务器重复进行测试,并获取所述测试结果。
示例性的,当主测试服务器收到各分布式服务器发送的测试结果后,对测试结果进行处理,具体处理方式由开发人员在系统初始化时设定。若各分布式服务器反馈的测试结果的失败率在预设范围,则指示对应的失败的分布式服务器重复进行测试,并获取所述测试结果。预设范围可以由开发人员设定。例如,各分布式服务器分别指示100台待测终端执行相同测试指令,此时,主测试服务器接收的测试结果为失败25台。预设失败率范围在20%至30%,测试结果满足预设失败范围,则在对应的各分布式服务器中指示失败的待测试终端重新执行测试指令。若25台待测试终端中测试成功的为22台,失败的为3台,即测试结果的失败率为3%,满足预期的测试结果,则说明测试成功,预期的测试结果为失败率低于10%。若25台待测试终端中测试成功的为5台,失败的为20台,则测试结果的失败率为20%,则不满足预期的测试结果,此时测试失败。
进一步的,所述主测试服务器根据所述测试结果调整对应的测试脚本,并重新执行新的测试脚本。
若测试失败,则主测试服务器可以根据测试结果调整对应的测试脚本。调整后由主测试服务器和/或各分布式服务器重新执行新的测试脚本。若新的测试脚本执行后取得的测试结果满足测试成功的标准,则保存新的测试结果,同时保存修改的测试脚本。
S250、所述主测试服务器将所述测试结果与相应的测试计划的预期结果进行比对,将比对结果作为最终测试结果,并发送至所述测试用例管理系统。
示例性的,主测试服务器将所述测试结果与相应的测试计划的预期结果进行比对,若在预期结果范围内则说明测试成功,则将此时测试结果作为最终测试结果发送至测试用例管理系统。若与预期结果不相符合,并且重新测试后仍不符合预期结果,但主测试服务器认为最终测试结果符合测试成功的标准,则适应性调整预期结果。将调整后的预期结果和测试结果作为最终测试结果,发送至所述测试管理系统。例如,对100台待测试终端反复测试取得的测试结果失败率为8%,此时主测试服务器认为指令可以正常实现。而测试计划的预期结果为7%,则可以将测试计划的预期结果调整为8%,将调整后的预期结果和测试结果一同发送至测试用例管理系统,测试用例管理系统在创建测试计划时,将修改后的预期结果和测试结果一同保存在新的测试计划中。
S260、所述测试用例管理系统接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
优选的,在主测试服务器和各分布式服务器中设有配置文件,配置文件为文本格式,主测试服务器和各分布式服务器可以根据配置文件进行版本下载、版本更新和执行测试等各功能。
本发明实施例二提供的一种自动化测试的方法,至少两个分布式服务器与主测试服务器相连,主测试服务器向各分布式服务器发送测试计划和测试脚本,各分布式服务器执行测试后将测试结果发送给主测试服务器,主测试服务器将测试结果与预期测试结果进行比对,得到最终测试结果,并将最终测试结果发送至测试用例管理系统,测试用例管理系统根据最终测试结果调整测试计划。采用上述方法,添加分布式服务器可以增加待测试终端的数量,提高测试结果的准确性,也可以分担主测试服务器的测试任务,提高了测试效率。
实施例三
图3为本发明实施例三提供的一种自动化测试的系统的示意图。如图3所示,该系统包括主测试服务器302、控制存储服务器301和测试用例管理系统303,主测试服务器302包括:测试文件获取模块、测试执行模块和测试结果处理模块。
其中,所述控制存储服务器301,用于存储测试版本和测试脚本;测试文件获取模块,用于从控制存储服务器301获取测试版本和测试脚本,并从测试用例管理系统303获取测试计划;测试执行模块,用于根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;测试结果处理模块,用于对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统303;所述测试用例管理系统303,用于接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
进一步的,所述测试文件获取模块包括:更新单元和测试计划获取单元。
更新单元,用于在控制存储服务器存在更新的测试版本和测试脚本时,从控制存储服务器301获取更新的测试版本和测试脚本;测试计划获取单元,用于在所述测试用例管理系统303存在更新的测试计划时,从所述测试用例管理系统303获取更新的测试计划。
在上述实施例的基础上,所述主测试服务器302还包括:询问模块,用于若所述主测试服务器302在预设时间间隔内未接收控制存储服务器301中的最新测试版本时,询问所述控制存储服务器301中是否存在最新测试版本。
优选的,所述测试执行模块包括测试文件发送单元,用于将测试计划和测试脚本分发给至少两个分布式服务器304。
进一步的,所述自动化测试的系统还包括至少两个分布式服务器304,用于根据所述测试计划针对待测试终端执行对应的测试脚本,取得测试结果,并将测试结果发送给主测试服务器302。
优选的,所述测试结果处理模块包括保护单元和比对单元。
其中,保护单元,用于将测试结果进行处理后,若失败率在预设范围内,则指示对应的分布式服务器304重复进行测试,并获取所述测试结果;比对单元,用于将所述测试结果与相应的测试计划的预期结果进行比对,将比对结果作为最终测试结果,并发送至所述测试用例管理系统303。
进一步的,所述主测试服务器302还包括调试模块,用于根据所述测试结果调整对应的测试脚本,并重新执行新的测试脚本。
本发明实施例三提供的一种自动化测试的系统,主测试服务器通过获取控制存储服务器中的更新的测试版本和测试脚本,获取测试用例控制系统中的测试计划,根据测试计划执行对应的测试脚本,获取测试结果并处理测试结果,将测试结果上传至测试用例管理系统,测试用例管理系统根据接收到的测试结果调整测试计划。通过上述自动化测试的系统,可以避免在软件版本更新后,手动对新版本各功能进行测试时消耗时间和人力,极大的提高了工作效率。
本发明实施例所提供的自动化测试的系统用于执行本发明实施例提供的自动化测试的方法,具备相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种自动化测试优选示例的示意图。本实施例为一优选示例。
如图4所示,本实施例自动化测试的系统包括控制存储服务器(CM服务器)401、主测试服务器402、测试用例管理系统(Test Link)403和分布式服务器404。各服务器之间以无线或有线方式连接,优选为有线连接。本实施例对终端中视频播放软件清晰度调整功能进行测试,即当视频播放时可以根据当前网速自动选择播放视频的清晰度。具体测试方法如下:
本实施例中选用五个分布式服务器404,每个分布式服务器404上连接5台待测试终端,即共有25台待测试终端。首先,CM服务器401判断其存储的测试版本是否为最新的测试版本。若是最新的测试版本,则将测试版本更新指令发送给主测试服务器402。其次,主测试服务器402收到更新指令后,下载CM服务器401中的最新测试版本至闪存(FLASH)中,下载完成后,将现有的测试版本更新为最新的测试版本。若下载失败,则终止此次测试。更新完成后,主测试服务器402下载CM服务器401中对应的测试脚本,同时下载Test Link 403中对应的测试计划。进一步的,各分布式服务器404下载主测试服务器402中最新测试版本至各分布式服务器404的闪存中。下载完成后,更新现有测试版本为最新测试版本。更新完成后,下载对应的测试计划和测试脚本。进一步的,各待测试终端中获取各分布式服务器404中的测试版本。各分布式服务器404根据测试计划,针对各待测试终端划执行相应的测试脚本,即待测试终端根据分布式服务器发送的程序指令自动启动待测试视频播放软件并随意播放一视频,查看待测试视频播放软件播放的视频清晰度是否与当前连接网络的网速相匹配。在各待测试终端完成测试后,各分布式服务器404获取测试结果,本实施例中有两种结果,即待测试视频播放软件播放的视频清晰度与当前连接网络的网速相匹配,和待测试视频播放软件播放的视频清晰度与当前连接网络的网速不相匹配。进一步的,各分布式服务器404将测试结果发送至主测试服务器402。主测试服务器402收取各分布式服务器404的测试结果后,对测试结果进行分析,若返回的测试结果中至少22台待测试终端的结果都为匹配,则主测试服务器402认为测试成功;若结果为匹配的待测试终端低于22台,则主测试服务器402认为测试失败。此时,主测试服务器402将测试结果发送至Test Link 403。TestLink 403根据获取的结果创建新的测试计划,新创建的测试计划可以包括测试结果,测试方案改进等内容。开发人员可以获取测试计划,并根据测试计划记录的信息对终端的视频播放软件进行改进。
本发明实施例四提供的一种自动化测试优选示例,主测试服务器和各分布式服务器终端自动下载测试版本、测试脚步和测试计划。各分布式服务器根据测试计划针对待测试终端执行测试脚本,并将测试结果反馈给主测试服务器,主测试服务器自动处理测试结果并发送至Test Link。Test Link根据测试结果自动创建测试计划。整个测试过程,不需要人工操作,简单方便,提高了测试效率。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种自动化测试的方法,其特征在于,包括:
主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划;
所述主测试服务器根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;其中,所述主测试服务器中设有配置文件,所述配置文件为文本形式,主测试服务器根据配置文件进行版本下载、版本更新和执行测试的功能;
所述主测试服务器对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统;
所述测试用例管理系统接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
2.根据权利要求1所述的方法,其特征在于,主测试服务器从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划包括:
在控制存储服务器存在更新的测试版本和测试脚本时,所述主测试服务器从控制存储服务器获取更新的测试版本和测试脚本;
在所述测试用例管理系统存在更新的测试计划时,所述主测试服务器从所述测试用例管理系统获取更新的测试计划。
3.根据权利要求2所述的方法,其特征在于,还包括:
若所述主测试服务器在预设时间间隔内未接收控制存储服务器中的最新测试版本,则询问所述控制存储服务器中是否存在最新测试版本。
4.根据权利要求1所述的方法,其特征在于,所述主测试服务器根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果包括:
所述主测试服务器将测试计划和测试脚本分发给至少两个分布式服务器;
所述分布式服务器根据所述测试计划针对待测试终端执行对应的测试脚本,取得测试结果,并将测试结果发送给主测试服务器。
5.根据权利要求4所述的方法,其特征在于,所述主测试服务器对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统包括:
所述主测试服务器将测试结果进行处理,若失败率在预设范围内,则指示对应的分布式服务器重复进行测试,并获取所述测试结果;
所述主测试服务器将所述测试结果与相应的测试计划的预期结果进行比对,将比对结果作为最终测试结果,并发送至所述测试用例管理系统。
6.根据权利要求5所述的方法,其特征在于,所述主测试服务器对所述测试结果与相应的测试计划的预期结果进行比对,将比对结果作为最终测试结果,并发送至所述测试用例管里系统之前,还包括:
所述主测试服务器根据所述测试结果调整对应的测试脚本,并重新执行新的测试脚本。
7.一种自动化测试的系统,其特征在于,包括:主测试服务器、控制存储服务器和测试用例管理系统,其中:
所述控制存储服务器,用于存储测试版本和测试脚本;
所述主测试服务器包括:
测试文件获取模块,用于从控制存储服务器获取测试版本和测试脚本,并从测试用例管理系统获取测试计划;
测试执行模块,用于根据测试版本确定待测试终端和待测试程序,根据所述测试计划,针对待测试终端执行对应的测试脚本,并获取测试结果;其中,所述主测试服务器中设有配置文件,所述配置文件为文本形式,主测试服务器根据配置文件进行版本下载、版本更新和执行测试的功能;
测试结果处理模块,用于对所述测试结果进行处理,得到最终测试结果,并发送至所述测试用例管理系统;
所述测试用例管理系统,用于接收最终测试结果,将所述最终测试结果输出或根据所述最终测试结果调整测试计划。
8.根据权利要求7所述的系统,其特征在于,所述测试文件获取模块包括:
更新单元,用于在控制存储服务器存在更新的测试版本和测试脚本时,从控制存储服务器获取更新的测试版本和测试脚本;
测试计划获取单元,用于在所述测试用例管理系统存在更新的测试计划时,从所述测试用例管理系统获取更新的测试计划。
9.根据权利要求8所述的系统,其特征在于,所述主测试服务器还包括:
询问模块,用于若所述主测试服务器在预设时间间隔内未接收控制存储服务器中的最新测试版本时,询问所述控制存储服务器中是否存在最新测试版本。
10.根据权利要求7所述的系统,其特征在于,所述测试执行模块包括:
测试文件发送单元,用于将测试计划和测试脚本分发给至少两个分布式服务器;
所述系统还包括:
至少两个分布式服务器,用于根据所述测试计划针对待测试终端执行对应的测试脚本,取得测试结果,并将测试结果发送给主测试服务器。
11.根据权利要求10所述的系统,其特征在于,所述测试结果处理模块包括:
保护单元,用于将测试结果进行处理,若失败率在预设范围内,则指示对应的分布式服务器重复进行测试,并获取所述测试结果;
比对单元,用于将所述测试结果与相应的测试计划的预期结果进行比对,将比对结果作为最终测试结果,并发送至所述测试用例管理系统。
12.根据权利要求11所述的系统,其特征在于,所述主测试服务器还包括:
调试模块,用于根据所述测试结果调整对应的测试脚本,并重新执行新的测试脚本。
CN201510733618.3A 2015-11-02 2015-11-02 一种自动化测试的方法及系统 Expired - Fee Related CN105354140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510733618.3A CN105354140B (zh) 2015-11-02 2015-11-02 一种自动化测试的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510733618.3A CN105354140B (zh) 2015-11-02 2015-11-02 一种自动化测试的方法及系统

Publications (2)

Publication Number Publication Date
CN105354140A CN105354140A (zh) 2016-02-24
CN105354140B true CN105354140B (zh) 2018-09-25

Family

ID=55330114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510733618.3A Expired - Fee Related CN105354140B (zh) 2015-11-02 2015-11-02 一种自动化测试的方法及系统

Country Status (1)

Country Link
CN (1) CN105354140B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955878A (zh) * 2016-04-20 2016-09-21 乐视控股(北京)有限公司 服务器端的测试方法及系统
CN106294150B (zh) * 2016-08-09 2019-03-26 北京神州绿盟信息安全科技股份有限公司 一种测试加载方法及装置
CN106326116B (zh) * 2016-08-17 2019-03-05 北京奇虎科技有限公司 产品测试的方法和装置
CN106445825B (zh) * 2016-09-30 2020-06-12 南京秦淮紫云创益企业服务有限公司 一种调试方法及装置
CN106502905A (zh) * 2016-10-26 2017-03-15 腾讯科技(深圳)有限公司 一种应用程序的测试方法、装置及系统
CN106841977A (zh) * 2016-12-21 2017-06-13 广州视源电子科技股份有限公司 板卡的测试方法及系统
CN108415398B (zh) * 2017-02-10 2021-07-16 上海辇联网络科技有限公司 汽车信息安全自动化测试系统及测试方法
CN108933709B (zh) * 2017-05-27 2021-03-26 腾讯科技(深圳)有限公司 测试服务器性能的方法、装置和计算机可读存储介质
CN108399126A (zh) * 2018-02-09 2018-08-14 深圳市华讯方舟软件信息有限公司 智能环保自动化测试方法、装置、计算机设备和存储介质
CN108874678B (zh) * 2018-06-28 2021-12-07 北京顺丰同城科技有限公司 一种智能程序的自动测试方法及装置
CN108829604A (zh) * 2018-06-28 2018-11-16 北京车和家信息技术有限公司 基于车辆控制器的测试用例生成方法及装置
CN108959008A (zh) * 2018-07-26 2018-12-07 郑州云海信息技术有限公司 一种服务器测试终端
CN109062745B (zh) * 2018-07-26 2021-10-22 郑州云海信息技术有限公司 一种具有测试服务器硬件温度的测试终端
CN111290933A (zh) * 2018-12-06 2020-06-16 中兴通讯股份有限公司 一种软件自动化软件测试方法及装置
CN109992513A (zh) * 2019-03-29 2019-07-09 携程计算机技术(上海)有限公司 移动终端app的自动化测试系统及方法
CN110750453B (zh) * 2019-09-24 2023-08-18 彩讯科技股份有限公司 基于html5的智能移动端测试方法、系统、服务器及存储介质
CN112118151A (zh) * 2020-08-28 2020-12-22 北京奇艺世纪科技有限公司 网络测速方法、装置、系统、电子设备及存储介质
CN112256579A (zh) * 2020-10-23 2021-01-22 展讯通信(上海)有限公司 自动化集成测试方法、装置、系统、设备及介质
CN112256582B (zh) * 2020-10-28 2024-08-23 太仓市同维电子有限公司 一种基于HTTP的Robot Framework自动化脚本管理系统及方法
CN113094277A (zh) * 2021-04-23 2021-07-09 广州粒子微电子有限公司 芯片测试用例管理方法及装置
CN114036074A (zh) * 2022-01-07 2022-02-11 荣耀终端有限公司 终端设备的测试方法和测试装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959710A (zh) * 2005-11-04 2007-05-09 鸿富锦精密工业(深圳)有限公司 自动测试系统及方法
CN102043708A (zh) * 2009-10-22 2011-05-04 上海杉达学院 Erp软件测试系统
CN102130799A (zh) * 2011-03-25 2011-07-20 中国电子科技集团公司第三十研究所 网络业务测试系统及方法
CN102255748A (zh) * 2011-06-27 2011-11-23 中兴通讯股份有限公司 自动化测试系统及方法、版本服务器、以及终端
CN102495799A (zh) * 2011-12-02 2012-06-13 刘伟 移动终端的自动化测试系统和方法
CN102799515A (zh) * 2011-05-24 2012-11-28 腾讯科技(深圳)有限公司 应用程序测试方法及装置
CN103246604A (zh) * 2013-03-29 2013-08-14 北京京东尚科信息技术有限公司 软件测试的系统和方法以及控制装置与执行装置
CN103365770A (zh) * 2012-04-09 2013-10-23 陆兵 移动终端软件测试系统及软件测试方法
CN103530231A (zh) * 2013-10-12 2014-01-22 北京京东尚科信息技术有限公司 一种基于业务流程控制的应用程序测试方法及系统
CN104484267A (zh) * 2014-11-20 2015-04-01 大唐移动通信设备有限公司 一种测试系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959710A (zh) * 2005-11-04 2007-05-09 鸿富锦精密工业(深圳)有限公司 自动测试系统及方法
CN102043708A (zh) * 2009-10-22 2011-05-04 上海杉达学院 Erp软件测试系统
CN102130799A (zh) * 2011-03-25 2011-07-20 中国电子科技集团公司第三十研究所 网络业务测试系统及方法
CN102799515A (zh) * 2011-05-24 2012-11-28 腾讯科技(深圳)有限公司 应用程序测试方法及装置
CN102255748A (zh) * 2011-06-27 2011-11-23 中兴通讯股份有限公司 自动化测试系统及方法、版本服务器、以及终端
CN102495799A (zh) * 2011-12-02 2012-06-13 刘伟 移动终端的自动化测试系统和方法
CN103365770A (zh) * 2012-04-09 2013-10-23 陆兵 移动终端软件测试系统及软件测试方法
CN103246604A (zh) * 2013-03-29 2013-08-14 北京京东尚科信息技术有限公司 软件测试的系统和方法以及控制装置与执行装置
CN103530231A (zh) * 2013-10-12 2014-01-22 北京京东尚科信息技术有限公司 一种基于业务流程控制的应用程序测试方法及系统
CN104484267A (zh) * 2014-11-20 2015-04-01 大唐移动通信设备有限公司 一种测试系统及方法

Also Published As

Publication number Publication date
CN105354140A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354140B (zh) 一种自动化测试的方法及系统
CN107844343B (zh) 一种复杂服务端应用系统的升级系统及方法
US9940225B2 (en) Automated error checking system for a software application and method therefor
CN102609326B (zh) 一种数据下载处理方法及装置
CN108228810B (zh) 表单联动配置方法和系统以及表单更新方法和系统
CN103336696B (zh) 测试仪器的软件更新方法及系统
CN108563579B (zh) 白盒测试方法、装置、系统及存储介质
CN107463362A (zh) 基于多个Jenkins的持续部署的方法和系统
CN103634592A (zh) 智能电视自动化测试方法及系统
CN104978271A (zh) 一种Android系统的自动升级压测方法及系统
CN105912340A (zh) 一种主设备、遥控器及对其空中升级的方法
WO2016188077A1 (zh) 拷机测试方法及装置
CN112486544B (zh) 一种软件升级方法及装置
CN111209188A (zh) 一种分布式存储系统的测试方法和装置
CN115687110A (zh) 物联网终端设备测试系统及测试方法
CN111324365A (zh) 一种超融合系统升级的方法和设备
CN108512705B (zh) 监管标准的同步方法、设备、存储介质、装置及服务器
CN108459867A (zh) 一种云终端升级方法
CN112420019B (zh) 设备的测试方法及装置
CN108833128A (zh) 一种设备更新的方法
CN112346994A (zh) 一种测试信息关联方法、装置、计算机设备及存储介质
CN114385493A (zh) 一种性能测试方法、装置、电子设备及存储介质
CN106648797A (zh) 安装测试软件的方法、系统、测试服务器及共享服务器
CN115454010B (zh) 一种基于工业机器人的物联网联合智能控制平台
CN111240920B (zh) 性能测试方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180925

Termination date: 20211102

CF01 Termination of patent right due to non-payment of annual fee