CN105302722A - Cts自动测试方法及装置 - Google Patents

Cts自动测试方法及装置 Download PDF

Info

Publication number
CN105302722A
CN105302722A CN201510738262.2A CN201510738262A CN105302722A CN 105302722 A CN105302722 A CN 105302722A CN 201510738262 A CN201510738262 A CN 201510738262A CN 105302722 A CN105302722 A CN 105302722A
Authority
CN
China
Prior art keywords
test
cts
automatic
case
testing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510738262.2A
Other languages
English (en)
Other versions
CN105302722B (zh
Inventor
廖海珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510738262.2A priority Critical patent/CN105302722B/zh
Publication of CN105302722A publication Critical patent/CN105302722A/zh
Application granted granted Critical
Publication of CN105302722B publication Critical patent/CN105302722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)
  • Monitoring And Testing Of Exchanges (AREA)

Abstract

本发明公开了一种CTS自动测试方法,包括步骤:在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。本发明还公开一种CTS自动测试装置。本发明使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。

Description

CTS自动测试方法及装置
技术领域
本发明涉及到通信技术领域,特别涉及到CTS自动测试方法及装置。
背景技术
当前CTS(CompatibilityTestSuite,兼容性测试套件)测试用例使用前需要手动完成相关操作,所述相关操作包括:例如语言设置,安装相应的apk安装包到终端并激活相关选项以及拷贝相关媒体文件到手机上等操作。
上述的CTS测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差。
发明内容
本发明实施例提供一种CTS自动测试方法及装置,旨在解决现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。
为实现上述目的,本发明实施例提出一种CTS自动测试方法,包括步骤:
在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
为了实现上述目的,本发明实施例还进一步提出一种CTS自动测试装置,包括:
处理模块,用于在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
配置模块,用于通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
获取模块,用于获取测试文件;
测试模块,用于通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
本发明通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。
附图说明
图1为本发明实施例CTS自动测试装置所涉及的硬件架构示意图;
图2为本发明CTS自动测试方法的第一实施例的流程示意图;
图3为本发明CTS自动测试方法的第二实施例的流程示意图;
图4为本发明CTS自动测试方法的第三实施例的流程示意图;
图5为本发明CTS自动测试方法的第四实施例的流程示意图;
图6为本发明CTS自动测试方法的第五实施例的流程示意图;
图7为本发明一实施例CTS自动测试过程的流程示意图;
图8为本发明CTS自动测试装置的第一实施例的功能模块示意图;
图9为本发明CTS自动测试装置的第二实施例的功能模块示意图;
图10为本发明CTS自动测试装置的第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。
由于现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。
本发明实施例架构一CTS自动测试装置,该CTS自动测试装置通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。其中,本实施例CTS自动测试装置可以承载于PC端,也可以承载于手机、平板电脑等可以使用CTS测试工具的电子终端。该CTS自动测试装置所涉及的硬件架构可以如图1所示。
图1示出了本发明实施例CTS自动测试装置所涉及的硬件架构。如图1所示,所述CTS自动测试装置所涉及的硬件包括:处理器301,例如CPU,网络接口304,用户接口303,存储器305,通信总线302。其中,通信总线302用于实现该信息推送平台中各组成部件之间的连接通信。用户接口303可以包括显示屏(Display)、键盘(Keyboard)、鼠标等组件,用于接收基于键盘等输入设备输入的信息,并将接收的信息发送至处理器305进行处理。显示屏可以为LCD显示屏、LED显示屏,也可以为触摸屏,用于显示CTS自动测试装置需要显示的数据,例如显示自动配置操作、CTS自动测试操作等操作界面。可选用户接口303还可以包括标准的有线接口、无线接口。网络接口304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器305可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器305可选的还可以是独立于前述处理器301的存储装置。如图1所示,作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及CTS自动测试程序。
在图1所示的CTS自动测试装置所涉及的硬件中,网络接口304主要用于连接应用平台,与应用平台进行数据通信;用户接口303主要用于连接客户端,与客户端进行数据通信,接收客户端输入的信息和指令;而处理器301可以用于调用存储器305中存储的CTS自动测试程序,并执行以下操作:
在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
进一步地,在一个实施例中,处理器301调用存储器305中存储的CTS自动测试程序可以执行以下操作:
在所述CTS测试完成后,判断所述CTS测试是否测试成功;
在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作。
进一步地,在一个实施例中,处理器301调用存储器305中存储的CTS自动测试程序可以执行以下操作:
通过所述预设方式模拟用户输入操作重新输入测试启动指令,再次自动启动所述测试用例的CTS测试,执行测试操作;
在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。
进一步地,在一个实施例中,处理器301调用存储器305中存储的CTS自动测试程序可以执行以下操作:
在多次自动重新执行所述测试用例的CTS测试后,判断是否达到预设测试次数;
在达到预设测试次数未测试成功时,判断所述测试用例测试失败;
或,在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;
在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。
进一步地,在一个实施例中,处理器301调用存储器305中存储的CTS自动测试程序可以执行以下操作:
在存在新的测试用例待测试时,选择一条新的线程;
在所述新的线程执行所述新的测试用例的自动测试。
本实施例根据上述方案,通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。
基于上述硬件架构,提出本发明CTS自动测试方法实施例。
如图2所示,提出本发明一种CTS自动测试方法的第一实施例,所述CTS自动测试方法包括:
步骤S10,在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
在本实施例中,在CTS测试框架上增加一个环境自动配置的适配操作。在需要进行CTS测试时,通过执行脚本命令即可达到准备CTS测试的目的。即,通过执行脚本命令自动发出CTS测试指令,在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面。例如,自动安装CTS测试所需的APK(安装包)以通过安装的CTS测试所需的APK生成自动化CTS测试操作界面。
步骤S20,通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
在生成自动化测试操作界面后,通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例。所述预设方式为一种模拟用户操作的技术,例如,为uiautomator技术,也还可以是其他可以模拟用户操作的技术。通过利用uiautomator技术在终端上模拟用户点击屏幕操作配置好相关的选项以及对应的APK激活项,例如,提前自动准备相关自动化操作界面Jar包,安装Jar包并执行以通过配置相关的选项及对应的APK激活项形成测试用例。
步骤S30,获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
本发明实施例还在CTS框架上增加一个用例自动执行的机制。具体的,在形成测试用例后,获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。具体的,在形成测试用例后,通过脚本模拟用户进入CTS的控制台,输入CTS测试的命令,启动测试即可达到CTS的自动化测试,在自动化测试启动后,执行CTS全量测试。
本实施例通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。
参考图3,为本发明CTS自动测试方法的第二实施例,基于上述方法的第一实施例,所述步骤S30之后,还包括:
步骤S40,在所述CTS测试完成后,判断所述CTS测试是否测试成功;
步骤S50,在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作。
在本实施例中,在自动启动CTS测试后,进行测试用例的CTS测试,在所述CTS测试完成后,判断所述CTS测试是否测试成功。所述判断是否测试成功的方式对于本领域技术人员来说比较常见,因此,在此不再一一赘述。在所述CTS测试成功时,发出CTS测试成功的提示信息;在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作,即,需要重新对所述测试用例进行测试,以防止不稳定的因素导致测试失败的情况。所述标记为未执行测试操作的过程还包括消除所述测试用例被测试的痕迹,在测试工具上消除已经被测试过的记录,但需要在存储器或者计数器中对该测试用例标记已被测试的次数,以防止多次测试失败导致资源浪费的情况。
本实施例通过对测试失败的测试用例标记为未执行测试操作的方式,有效避免不稳定测试导致测试失败的情况,提供多次的CTS测试,提高CTS测试的准确性。
在本发明其他实施例中,在所述测试用例测试成功后,在当前为测试空闲阶段时,可以对所述测试用例进行多次测试,以得到更加精准的测试结果,防止因环境或测试不稳定因素导致错误的测试结果。
参考图4,为本发明CTS自动测试方法的第三实施例,基于上述方法的第二实施例,所述步骤S50之后,还包括:
步骤S60,通过所述预设方式模拟用户输入操作重新输入测试启动指令,再次自动启动所述测试用例的CTS测试,执行测试操作;
步骤S70,在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。
在本实施例中,在将所述测试用例标记为未执行后,通过所述预设方式模拟用户输入操作重新输入测试启动指令,对所述测试用例再次执行CTS自动测试,即,再次自动启动所述测试用例的CTS测试,执行测试操作。或者直接调用之前已经模拟输入的测试启动指令,启动所述测试用例的CTS自动测试操作。
提前设置测试用例失败的预设失败阈值,所述预设失败阈值可以是2次或3次等,也还可以是根据当前的系统资源占用情况设置,例如,当前系统资源占用较少,可以设置为4次或5次,当前系统资源占用较多,设置1次或2次等,资源占用少时的次数大于资源占用少的次数。或者根据所述测试用例的类型及重要性进行设置,重要等级高的比重要等级低的次数多。
在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。在达到预设失败阈值之前测试成功时,判断所述测试用例测试成功。本实施例通过设置预设失败阈值,防止同一个测试用例频繁的被测试,浪费系统资源,进而提高系统性能。
参考图5,为本发明CTS自动测试方法的第四实施例,基于上述方法的第三实施例,所述步骤S60之后,还包括:
步骤S80,在多次自动重新执行所述测试用例的CTS测试后,判断是否达到预设测试次数;
步骤S90,在达到预设测试次数未测试成功时,判断所述测试用例测试失败;
或,在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。
在本实施例中,在多次自动重新执行所述测试用例的CTS测试后,判断所述测试用例的测试次数是否达到预设测试次数。所述预设测试次数提前设置,例如,设置为4次或5次等,也还可以是根据当前系统资源占用情况来设置,资源占用少时设置的次数多于资源占用多时设置的次数,即可以在测试过程中调整设置的次数。在达到预设测试次数未测试成功时,判断所述测试用例测试失败。在本发明一实施例中,也还可以是在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。在当前空闲时,重新开启呗停止测试的测试用例的测试,在失败次数达到预设失败阈值仍测试失败时,判断所述测试用例测试失败。
本实施例通过设置预设测试次数,限制每个测试用例的测试次数,进而避免系统资源被浪费,提高系统性能。
参考图6,为本发明CTS自动测试方法的第五实施例,基于上述方法的第四实施例,所述步骤S90之后,还包括:
步骤S100,在存在新的测试用例待测试时,选择一条新的线程;
步骤S110,在所述新的线程执行所述新的测试用例的自动测试。
在本实施例中,为测试用例的CTS测试设置多条线程,所述多条线程为不同的测试用例设置,或者为不同类型的测试用例设置。在存在新的测试用例待测试时,选择一条新的线程;在所述新的线程执行所述新的测试用例的自动测试。通过设置多条线程,在不同线程进行不同测试用例的测试,避免不同测试用例之间测试的干扰,进而提高了测试的准确度以及效率。
为了更好的描述本发明实施例的技术方案,参考图7,包括:
1、自动化脚本启动;2、启动自动化执行脚本;3、环境准备;4、安装相应的APK,提前开发准备好相关的自动化操作界面的Jar包,安装Jar包并执行,拷贝测试对应的媒体文件;5、模拟用户登录CTS控制台;5、执行CTS全景测试;6、测试完成;7、执行脚本将失败的用例修改成未执行;8、重新启动测试,执行失败的用例,保证不稳定因素导致的用例失败。
对应地,提出本发明CTS自动测试装置的较佳实施例。参考图8,所述CTS自动测试装置包括处理模块10、配置模块20、获取模块30及测试模块40。
所述处理模块10,用于在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
在本实施例中,在CTS测试框架上增加一个环境自动配置的适配操作。在需要进行CTS测试时,通过执行脚本命令即可达到准备CTS测试的目的。即,通过执行脚本命令自动发出CTS测试指令,在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面。例如,自动安装CTS测试所需的APK(安装包)以通过安装的CTS测试所需的APK生成自动化CTS测试操作界面。
所述配置模块20,用于通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
在生成自动化测试操作界面后,通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例。所述预设方式为一种模拟用户操作的技术,例如,为uiautomator技术,也还可以是其他可以模拟用户操作的技术。通过利用uiautomator技术在终端上模拟用户点击屏幕操作配置好相关的选项以及对应的APK激活项,例如,提前自动准备相关自动化操作界面Jar包,安装Jar包并执行以通过配置相关的选项及对应的APK激活项形成测试用例。
所述获取模块30,用于获取测试文件;
所述测试模块40,用于通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
本发明实施例还在CTS框架上增加一个用例自动执行的机制。具体的,在形成测试用例后,获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。具体的,在形成测试用例后,通过脚本模拟用户进入CTS的控制台,输入CTS测试的命令,启动测试即可达到CTS的自动化测试,在自动化测试启动后,执行CTS全量测试。
本实施例通过在CTS测试框架上增加环境自动配置的适配操作以及测试用例自动执行的机制,使得CTS测试自动化配置测试环境、测试所需的安装包,自行形成测试用例,并自动对完成测试文件进行CTS测试。有效避免现有的CTS自动化测试方法需要手动完成测试前相关的准备操作,无法自动的处理需要提前布局的环境和环境布局后自动的执行测试用例,导致目前的CTS测试过程智能化程度差,进而导致测试效率差的问题。使得CTS测试完全自动化,提高了CTS测试的智能化程度,进而提高了CTS测试的效率。
参考图9,为本发明CTS自动测试装置的第二实施例,所述CTS自动测试装置还包括:判断模块50,
所述判断模块50,用于在所述CTS测试完成后,判断所述CTS测试是否测试成功;
所述处理模块10,还用于在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作。
在本实施例中,在自动启动CTS测试后,进行测试用例的CTS测试,在所述CTS测试完成后,判断所述CTS测试是否测试成功。所述判断是否测试成功的方式对于本领域技术人员来说比较常见,因此,在此不再一一赘述。在所述CTS测试成功时,发出CTS测试成功的提示信息;在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作,即,需要重新对所述测试用例进行测试,以防止不稳定的因素导致测试失败的情况。所述标记为未执行测试操作的过程还包括消除所述测试用例被测试的痕迹,在测试工具上消除已经被测试过的记录,但需要在存储器或者计数器中对该测试用例标记已被测试的次数,以防止多次测试失败导致资源浪费的情况。
本实施例通过对测试失败的测试用例标记为未执行测试操作的方式,有效避免不稳定测试导致测试失败的情况,提供多次的CTS测试,提高CTS测试的准确性。
在本发明其他实施例中,在所述测试用例测试成功后,在当前为测试空闲阶段时,可以对所述测试用例进行多次测试,以得到更加精准的测试结果,防止因环境或测试不稳定因素导致错误的测试结果。
进一步地,所述测试模块40,还用于通过所述预设方式模拟用户输入操作重新输入测试启动指令,再次自动启动所述测试用例的CTS测试,执行测试操作;
所述判断模块50,还用于在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。
在本实施例中,在将所述测试用例标记为未执行后,通过所述预设方式模拟用户输入操作重新输入测试启动指令,对所述测试用例再次执行CTS自动测试,即,再次自动启动所述测试用例的CTS测试,执行测试操作。或者直接调用之前已经模拟输入的测试启动指令,启动所述测试用例的CTS自动测试操作。
提前设置测试用例失败的预设失败阈值,所述预设失败阈值可以是2次或3次等,也还可以是根据当前的系统资源占用情况设置,例如,当前系统资源占用较少,可以设置为4次或5次,当前系统资源占用较多,设置1次或2次等,资源占用少时的次数大于资源占用少的次数。或者根据所述测试用例的类型及重要性进行设置,重要等级高的比重要等级低的次数多。
在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。在达到预设失败阈值之前测试成功时,判断所述测试用例测试成功。本实施例通过设置预设失败阈值,防止同一个测试用例频繁的被测试,浪费系统资源,进而提高系统性能。
进一步地,所述判断模块50,还用于在多次自动重新执行所述测试用例的CTS测试后,判断是否达到预设测试次数;还用于
在达到预设测试次数未测试成功时,判断所述测试用例测试失败;还用于
在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;
所述测试模块40,还用于在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。
在本实施例中,在多次自动重新执行所述测试用例的CTS测试后,判断所述测试用例的测试次数是否达到预设测试次数。所述预设测试次数提前设置,例如,设置为4次或5次等,也还可以是根据当前系统资源占用情况来设置,资源占用少时设置的次数多于资源占用多时设置的次数,即可以在测试过程中调整设置的次数。在达到预设测试次数未测试成功时,判断所述测试用例测试失败。在本发明一实施例中,也还可以是在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。在当前空闲时,重新开启呗停止测试的测试用例的测试,在失败次数达到预设失败阈值仍测试失败时,判断所述测试用例测试失败。
本实施例通过设置预设测试次数,限制每个测试用例的测试次数,进而避免系统资源被浪费,提高系统性能。
参考图10,为本发明CTS自动测试装置的第三实施例,所述CTS自动测试装置还包括:选择模块60,
所述选择模块60,用于在存在新的测试用例待测试时,选择一条新的线程;
所述测试模块40,还用于在所述新的线程执行所述新的测试用例的自动测试。
在本实施例中,为测试用例的CTS测试设置多条线程,所述多条线程为不同的测试用例设置,或者为不同类型的测试用例设置。在存在新的测试用例待测试时,选择一条新的线程;在所述新的线程执行所述新的测试用例的自动测试。通过设置多条线程,在不同线程进行不同测试用例的测试,避免不同测试用例之间测试的干扰,进而提高了测试的准确度以及效率。
为了更好的描述本发明实施例的技术方案,参考图7,包括:
1、自动化脚本启动;2、启动自动化执行脚本;3、环境准备;4、安装相应的APK,提前开发准备好相关的自动化操作界面的Jar包,安装Jar包并执行,拷贝测试对应的媒体文件;5、模拟用户登录CTS控制台;5、执行CTS全景测试;6、测试完成;7、执行脚本将失败的用例修改成未执行;8、重新启动测试,执行失败的用例,保证不稳定因素导致的用例失败。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种CTS自动测试方法,其特征在于,包括步骤:
在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
获取测试文件,通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
2.如权利要求1所述的CTS自动测试方法,其特征在于,所述在所述测试环境下通过所述测试用例自动对所述测试文件进行测试的步骤之后,还包括:
在所述CTS测试完成后,判断所述CTS测试是否测试成功;
在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作。
3.如权利要求2所述的CTS自动测试方法,其特征在于,所述将所述测试用例标记为未执行测试操作的步骤之后,还包括:
通过所述预设方式模拟用户输入操作重新输入测试启动指令,再次自动启动所述测试用例的CTS测试,执行测试操作;
在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。
4.如权利要求3所述的CTS自动测试方法,其特征在于,所述再次自动启动所述测试用例的CTS测试,执行测试操作的步骤之后,还包括:
在多次自动重新执行所述测试用例的CTS测试后,判断是否达到预设测试次数;
在达到预设测试次数未测试成功时,判断所述测试用例测试失败;
或,在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;
在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。
5.如权利要求4所述的CTS自动测试方法,其特征在于,所述判断当前是否存在新的测试用例待测试的步骤之后,还包括:
在存在新的测试用例待测试时,选择一条新的线程;
在所述新的线程执行所述新的测试用例的自动测试。
6.一种CTS自动测试装置,其特征在于,包括:
处理模块,用于在接收到CTS测试指令后,自动配置测试环境、安装测试所需的安装包以生成自动化测试操作界面;
配置模块,用于通过预设方式模拟用户选择操作在所述自动化测试操作界面自动配置待测试选项及激活项以形成测试用例;
获取模块,用于获取测试文件;
测试模块,用于通过所述预设方式模拟用户输入操作自动输入测试启动指令,在所述测试环境下通过所述测试用例自动对所述测试文件进行CTS测试。
7.如权利要求6所述的CTS自动测试装置,其特征在于,还包括:
判断模块,用于在所述CTS测试完成后,判断所述CTS测试是否测试成功;
所述处理模块,还用于在所述CTS测试未成功时,将所述测试用例标记为未执行测试操作。
8.如权利要求7所述的CTS自动测试装置,其特征在于,所述测试模块,还用于通过所述预设方式模拟用户输入操作重新输入测试启动指令;还用于
再次自动启动所述测试用例的CTS测试,执行测试操作;
所述判断模块,还用于在重新执行测试用例测试的失败次数达到预设失败阈值时,判断所述测试用例测试失败。
9.如权利要求8所述的CTS自动测试装置,其特征在于,所述判断模块,还用于在多次自动重新执行所述测试用例的CTS测试后,判断是否达到预设测试次数;还用于
在达到预设测试次数未测试成功时,判断所述测试用例测试失败;还用于
在达到预设测试次数未测试成功时,判断当前是否存在新的测试用例待测试;
所述测试模块,还用于在存在新的测试用例待测试时,停止所述测试用例的继续测试,启动所述新的测试用例的测试操作。
10.如权利要求9所述的CTS自动测试装置,其特征在于,还包括:
选择模块,用于在存在新的测试用例待测试时,选择一条新的线程;
所述测试模块,还用于在所述新的线程执行所述新的测试用例的自动测试。
CN201510738262.2A 2015-11-03 2015-11-03 Cts自动测试方法及装置 Active CN105302722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510738262.2A CN105302722B (zh) 2015-11-03 2015-11-03 Cts自动测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510738262.2A CN105302722B (zh) 2015-11-03 2015-11-03 Cts自动测试方法及装置

Publications (2)

Publication Number Publication Date
CN105302722A true CN105302722A (zh) 2016-02-03
CN105302722B CN105302722B (zh) 2021-09-07

Family

ID=55200011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510738262.2A Active CN105302722B (zh) 2015-11-03 2015-11-03 Cts自动测试方法及装置

Country Status (1)

Country Link
CN (1) CN105302722B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021004A (zh) * 2016-05-10 2016-10-12 上海传英信息技术有限公司 用户行为模拟单元、测试系统、以及测试方法
CN106484620A (zh) * 2016-10-12 2017-03-08 北京元心科技有限公司 对多系统终端设备执行测试的方法、控制设备及控制台
CN107193728A (zh) * 2016-03-15 2017-09-22 展讯通信(天津)有限公司 移动终端自动化测试方法及装置
CN107861862A (zh) * 2017-06-27 2018-03-30 陆金所(上海)科技服务有限公司 Ui自动化测试方法、装置及计算机可读存储介质
CN109388300A (zh) * 2018-09-12 2019-02-26 北京东软医疗设备有限公司 一种解决方案的执行方法及装置
CN109739769A (zh) * 2019-01-02 2019-05-10 深圳忆联信息系统有限公司 Bootrom加载功能自动化测试方法及装置
CN112131101A (zh) * 2020-08-27 2020-12-25 新华三大数据技术有限公司 一种自动化测试的方法、测试终端和存储介质
CN112286825A (zh) * 2020-11-24 2021-01-29 北斗星通智联科技有限责任公司 智能座舱的屏幕测试方法、装置及电子设备
CN113535580A (zh) * 2021-07-28 2021-10-22 展讯半导体(成都)有限公司 一种cts测试方法、装置及测试设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078719A1 (en) * 2000-09-29 2004-04-22 Sun Microsystems, Inc. Distributed component testing in an enterprise computer system
CN104166617A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 设备兼容性的自动化测试系统和自动化测试方法
CN104536891A (zh) * 2014-12-26 2015-04-22 小米科技有限责任公司 系统测试方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078719A1 (en) * 2000-09-29 2004-04-22 Sun Microsystems, Inc. Distributed component testing in an enterprise computer system
CN104166617A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 设备兼容性的自动化测试系统和自动化测试方法
CN104536891A (zh) * 2014-12-26 2015-04-22 小米科技有限责任公司 系统测试方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193728A (zh) * 2016-03-15 2017-09-22 展讯通信(天津)有限公司 移动终端自动化测试方法及装置
CN106021004A (zh) * 2016-05-10 2016-10-12 上海传英信息技术有限公司 用户行为模拟单元、测试系统、以及测试方法
CN106021004B (zh) * 2016-05-10 2019-09-17 深圳市泰衡诺科技有限公司 用户行为模拟单元、测试系统、以及测试方法
CN106484620A (zh) * 2016-10-12 2017-03-08 北京元心科技有限公司 对多系统终端设备执行测试的方法、控制设备及控制台
CN106484620B (zh) * 2016-10-12 2019-06-18 北京元心科技有限公司 对多系统终端设备执行测试的方法、控制设备及控制台
CN107861862A (zh) * 2017-06-27 2018-03-30 陆金所(上海)科技服务有限公司 Ui自动化测试方法、装置及计算机可读存储介质
CN109388300A (zh) * 2018-09-12 2019-02-26 北京东软医疗设备有限公司 一种解决方案的执行方法及装置
CN109739769A (zh) * 2019-01-02 2019-05-10 深圳忆联信息系统有限公司 Bootrom加载功能自动化测试方法及装置
CN112131101A (zh) * 2020-08-27 2020-12-25 新华三大数据技术有限公司 一种自动化测试的方法、测试终端和存储介质
CN112286825A (zh) * 2020-11-24 2021-01-29 北斗星通智联科技有限责任公司 智能座舱的屏幕测试方法、装置及电子设备
CN113535580A (zh) * 2021-07-28 2021-10-22 展讯半导体(成都)有限公司 一种cts测试方法、装置及测试设备

Also Published As

Publication number Publication date
CN105302722B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN105302722A (zh) Cts自动测试方法及装置
CN104978263A (zh) 一种移动端应用程序测试方法及系统
CN104281518A (zh) 终端应用测试方法、装置、系统、平台及移动终端
CN105159833A (zh) 自动化测试装置及方法
CN107688529A (zh) 组件调试方法和装置
CN108156312B (zh) 一种控制sim卡功能菜单显示的方法、终端及存储装置
CN111143150A (zh) 一种测试pcba板的方法、系统、测试设备及微控制单元
CN105094777A (zh) 实现应用截屏的方法及装置
CN110784879A (zh) 通信模块的网络模式切换测试方法、系统、设备及介质
CN110727581A (zh) 崩溃定位方法与电子设备
CN110569194A (zh) 接口测试方法、装置、电子设备及存储介质
JP4440185B2 (ja) シナリオ編集装置および擬似基地局試験システムおよび擬似端末試験システムおよびシナリオ編集方法および試験処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
CN112231206A (zh) 应用程序测试的脚本编辑方法、计算机可读存储介质及测试平台
CN110750453A (zh) 基于html5的智能移动端测试方法、系统、服务器及存储介质
CN109388420A (zh) 应用升级测试方法、装置、计算机设备及存储介质
CN113656304A (zh) 一种前端应用程序的测试方法、设备和存储介质
CN113127329B (zh) 脚本调试方法、装置及计算机存储介质
CN105095063A (zh) 应用程序测试方法、装置及系统
CN109144850B (zh) 移动终端的交互通信的测试方法及系统
CN104424098A (zh) 一种应用测试方法及装置
CN107193728A (zh) 移动终端自动化测试方法及装置
CN111611148B (zh) iOS系统应用软件的兼容性并发测试方法及系统
CN114880244A (zh) 应用测试方法及装置、存储介质及电子设备
CN112433938A (zh) 移动端应用测试的方法和装置
CN110737598A (zh) 基于页面组件特性对页面内容进行测试的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant