CN107197241A - 电视应用测试中超时时间动态设置方法和装置 - Google Patents

Abstract

本发明揭示了一种电视应用测试中超时时间动态设置方法，确定智能电视中的各个待测试电视应用的测试步骤。通过调用预设的接口获取待测试电视应用对应测试步骤各自关联的超时时间。执行测试步骤以获得测试执行结果，获得的测试执行结果用于指示测试步骤的执行是否超时。按照测试执行结果的指示，动态的设置获取到的超时时间。通过动态调整获取到的超时时间，将超时时间设置为一个合理的值，避免由于超时时间不能动态设置而导致电视应用测试中存在测试效率低以及测试误判率过高的问题。

Description

电视应用测试中超时时间动态设置方法和装置

技术领域

本公开涉及电视应用测试技术领域，特别涉及电视应用测试中超时时间动态设置方法和装置。

背景技术

随着智能电视的发展，各电视厂商纷纷推出自己的智能电视应用商店供用户下载。由于应用商店中部分的电视应用由专业团队开发，也有部分电视应用来自业余开发爱好者，导致电视应用的质量良莠不齐。为保证良好的用户体验，电视厂商须对每一个电视应用都进行测试验证。只有测试验证通过的电视应用，才可以在应用商店上架。

现有技术中，由于电视应用数量众多，往往采用自动化测试的方法对电视应用进行测试验证。在电视应用测试过程中，会碰到执行某个测试步骤的测试时间超过预设的超时时间的情况，比如连接超时、下载超时和运行时卡住超时等。此时，应该及时停止测试步骤的执行，否则会大大增加执行测试步骤的测试时间。

在一个具体的应用场景中，为待测试电视应用的全部测试步骤设置同一个固定的超时时间。在执行测试的过程中，对一个具体的测试步骤，例如，连接电视应用，由于该超时时间设置过长，使得执行整个电视应用测试的测试时间变长。对另一个具体的测试步骤，例如，下载电视应用，如果超时时间设置过短，当执行该测试步骤的测试达到了超时时间，将返回因超时而引起的下载失败。但该下载失败实际上是由于超时时间设置过短而引起的测试误判。由于不能动态、合理的调整电视应用测试的超时时间，导致在电视应用测试中存在测试效率低以及测试误判率过高的问题。

发明内容

为了解决相关技术中存在的电视应用测试中存在测试效率低以及测试误判率过高的问题，本公开提供了一种电视应用测试中超时时间动态设置的方法及装置。

一种电视应用测试中超时时间动态设置的方法，所述方法包括：

确定待测试电视应用的测试步骤，并通过调用预设接口获取对应所述测试步骤关联的超时时间；

通过获取到的所述超时时间触发执行所述测试步骤，得到测试执行结果，所述测试执行结果用于指示所述测试步骤的执行是否超时；

按照所述测试执行结果的指示动态设置获取到的所述超时时间。

一种电视应用测试中超时时间动态设置的装置，所述装置包括：

确定模块，用于确定待测试电视应用的测试步骤，并通过调用预设接口获取对应所述测试步骤关联的超时时间；

执行模块，用于通过获取到的所述超时时间触发执行所述测试步骤得到测试执行结果，所述测试执行结果用于指示所述测试步骤的执行是否超时；

动态设置模块，用于按照所述测试执行结果的指示动态设置获取到的所述超时时间。

本公开的实施例提供的技术方案可以包括以下有益效果：通过执行确定的待测试电视应用的测试步骤得到测试执行结果，并根据测试执行结果的指示对超时时间进行动态设置。其中，超时时间与测试步骤相关联。由于超时时间将能够按照测试执行结果的指示进行动态设置，避免采用固定的超时时间而引起的测试时间过长导致测试效率低，或者测试时间过短导致测试误判率过高的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。

图2是另一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。

图3是另一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。

图4是图1对应实施例示出的方法中步骤150的一种具体实现流程图。

图5另一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。

图6是一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。

图7是另一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。

图8是另一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。

图9根据图6对应实施例的装置中的动态设置模块在一个实施例的框图。

图10根据图6对应实施例的装置中的动态设置模块在另一个实施例的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。如图1所示，该方法包括但不限于以下步骤：

在步骤110中，确定待测试电视应用的测试步骤，并通过调用预设接口获取对应测试步骤关联的超时时间。

电视应用，是指智能电视提供的各种软件应用服务，例如，在线游戏、社交通讯、影音娱乐、在线教育等。电视应用运行于智能电视的操作系统之上。电视厂商推出各自的应用商店，通过应用商店提供各种电视应用给用户下载使用。应用商店的部分电视应用由专业团队开发，也有部分电视节目由业余开发爱好者提供。通常只有通过测试验证的电视应用才能置于应用商店中供用户下载。

测试步骤，是指在电视应用测试过程中，为验证电视应用不同方面的性能而执行的一系列测试过程。例如，连接智能电视、下载电视应用、启动电视应用、卸载电视应用。

超时时间，是指在执行某个具体的测试步骤时，为保证测试步骤在合理的时间内结束，为该测试步骤设置的一个时间值，该时间值即为超时时间。该超时时间将作为测试步骤执行测试的一个触发条件，即测试步骤执行的前提需要获知该测试步骤对应的超时时间是多少，进而才能够判断测试步骤是否在合理的时间内结束。

可以理解，电视应用测试过程中将不止一个测试步骤。由此，每一个测试步骤都关联有一个超时时间。

在一个具体的实施例中，待测试电视应用的测试步骤包括连接智能电视、下载电视应用、启动电视应用、卸载电视应用。相应地，超时时间分别为连接智能电视超时时间20秒、下载电视应用超时时间18、启动电视应用超时时间10秒、卸载电视应用超时时间16秒。

其中，测试步骤与其所关联的超时时间将被预先存储于测试机中，以在进行超时时间获取时，能够通过测试步骤在测试机中关联查找到，并进一步通过调用预先设定的接口函数得到，以用于后续该测试步骤的执行。

在步骤130中，通过获取到的超时时间触发执行测试步骤得到测试执行结果，测试执行结果用于指示测试步骤的执行是否超时。

按照获取的超时时间触发执行测试步骤得到测试执行结果。如果执行测试步骤的测试通过，而对应的测试时间未达到超时时间，则返回一个测试执行结果。该测试执行结果指示执行该项测试步骤未超时。如果执行测试步骤的测试在达到超时时间时仍然没有测试通过，则停止该项测试步骤的执行，并返回测试超时信息。

测试超时信息，是指执行测试步骤时，由于超时而引起的测试失败而返回的提示信息。此时，测试执行结果指示测试步骤的执行已经超时。

在一个具体的实施例中，对应测试步骤关联的超时时间分别为连接智能电视超时时间20秒、下载电视应用超时时间18。如果执行连接智能电视的测试步骤实际耗时为18秒，即执行测试步骤的测试在没有达到超时时间时即测试通过。则测试执行结果指示测试步骤的执行未超时。如果执行下载电视应用的测试步骤实际耗时达到了超时时间18秒时仍然未测试通过，则立即停止该项测试步骤的执行，并返回测试超时信息。此时，测试执行结果指示该项测试步骤的执行已经超时。

在步骤150中，按照测试执行结果的指示动态设置获取到的超时时间。

当测试执行结果指示测试步骤的执行超时，则可能是由于测试时间设置的过短而导致超时，则相应地按照预设步进值增加超时时间。当测试执行结果指示测试步骤的执行未超时，则可以适当地减小超时时间，以实现最为合理的超时时间。

进一步，超时时间调整可以按照预设步进值进行调整。当测试执行结果指示测试步骤的执行超时，则相应地按照预设步进值增加超时时间；当测试执行结果指示测试步骤的执行未超时，则相应地按照预设步进值增加超时时间。其中，预设步进值可以根据大量测试确定并预先进行设置。

更进一步，通过判断动态设置后的超时时间是否超过预设阈值。若超过预设阈值，则舍弃动态设置后的超时时间。否则，将动态设置后的超时时间更新为测试步骤关联的超时时间。

在一个具体的实施例中，确定待测试电视应用的测试步骤为连接智能电视、下载电视应用、启动电视应用、卸载电视应用。通过调用预设接口获取对应测试步骤关联的超时时间分别为连接智能电视超时时间20秒、下载电视应用超时时间18、启动电视应用超时时间10秒、卸载电视应用超时时间16秒。通过执行测试步骤得到测试执行结果，如果执行连接智能电视测试步骤的测试时间超过20秒，则返回测试超时信息。如果执行下载电视应用、启动电视应用、卸载电视应用等测试步骤的测试时间没有超过各自关联的超时时间，则返回测试成功信息。根据执行测试步骤而分别返回的超时失败信息和测试成功信息，获得测试执行结果，按照测试执行结果的指示动态调整获取到的超时时间。当测试执行结果指示测试步骤的执行超时，按照预设步进值增加超时时间。当测试执行结果指示测试步骤的执行未超时，按照预设步进值减小超时时间。

按照测试执行结果的指示动态设置获取到的超时时间。根据测试执行结果动态的调整测试步骤对应的超时时间。当测试执行结果指示测试步骤的执行超时，则相应地按照预设步进值增加超时时间。当测试执行结果指示测试步骤的执行未超时，则可以适当地减小超时时间，以实现最为合理的超时时间。避免因待测试电视应用的测试步骤采用固定的超时时间而引起的测试时间过长或测试误判。

图2是另一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。如图2所示，在图1对应实施例示出的方法中的步骤110之前，还包括以下步骤：

在步骤101中，为测试步骤设置对应的超时时间。

为测试步骤设置对应的超时时间，将测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储。将该超时时间作为执行测试步骤的一个返回触发条件，即当执行测试步骤测试的测试时间超过该超时时间，即停止对该测试步骤继续测试并返回测试超时信息。

在步骤103中，将测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储。

电视应用测试包含有多个测试步骤，例如，一个电视应用包含有连接智能电视、下载电视应用、启动电视应用、卸载电视应用等测试步骤。为保证每项测试步骤在合理的时间内结束，在电视应用的自动化测试过程中，需要预先为每项测试步骤关联的一个对应的超时时间，使得当执行该测试步骤的测试时间超过超时时间，自动化测试程序能够停止执行该测试步骤的测试。

具体的，通过在本地服务器中存储一张超时时间数据表，将测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储。超时时间数据表记录每项测试步骤关联的超时时间。当执行每项具体测试步骤的时候，只需要通过调用一个接口函数访问该超时时间数据表，即可获取该测试步骤关联的超时时间。

通过为测试步骤设置对应的超时时间，将测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储。使得执行每项具体测试步骤时，只需要通过调用一个接口即可获取该测试步骤关联的超时时间。

图3是另一示例性实施例示出的电视应用测试中超时时间动态设置方法的流程图。如图3所示，在图1对应实施例示出的方法中的步骤110之后，还包括以下步骤：

在步骤111中，当未获取到测试步骤关联的超时时间，则将预设时间设置为测试步骤对应的超时时间。

在首次执行测试步骤，或者测试步骤关联的超时时间没有保存时，由于无法获取到和对应测试步骤相关联的超时时间，则将预设时间设置为测试步骤对应的超时时间。其中，预设时间可以预先指定并存储于本地服务器中。

当没有获取到和对应测试步骤关联的超时时间，即读取存储于本地服务器的预设时间，并将预设时间设置为该项测试步骤对应的超时时间。

更进一步，预设时间也可以由自动化测试程序提供的人机界面进行指定。

在步骤113中，对测试步骤和对应的超时时间进行关联存储，通过关联存储使得预设接口获取到测试步骤关联的超时时间。

对测试步骤和对应的超时时间进行关联存储，通过关联存储使得预设接口获取到测试步骤关联的超时时间。在执行测试步骤的过程中，通过预设接口访问本地服务器获取和测试步骤关联的超时时间。

具体的，通过在本地服务器中存储一张超时时间数据表，将测试步骤和设置的超时时间进行关联存储。当执行每项具体测试步骤的时候，只需要通过调用一个接口函数访问该超时时间数据表，即可获取该测试步骤关联的超时时间。

在一个具体的实施例中，待测试电视应用的测试步骤为连接智能电视、下载电视应用、启动电视应用、卸载电视应用。各测试步骤对应的超时时间分别为连接智能电视超时时间20秒、下载电视应用超时时间18、启动电视应用超时时间10秒、卸载电视应用超时时间16秒。通过在本地服务器中存储一张超时时间数据表，测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储，当执行每项具体测试步骤的时候，只需要通过调用一个接口函数访问该超时时间数据表，即可获取该测试步骤关联的超时时间。

图4是图1对应实施例示出的方法中步骤150的一种具体实现流程图。

在步骤151中，当测试执行结果指示测试步骤的执行超时，按照预设步进值增加超时时间。

在一个具体的实施例中，待测试电视应用的测试步骤为连接智能电视。通过接口函数获取的测试步骤对应的初始超时时间为间20秒。如果执行测试步骤的测试，当实际耗时达到20秒时仍然未测试通过，则立即停止该项测试步骤的执行，并返回测试超时信息。根据返回的测试超时失败信息，获得测试执行结果。该测试执行结果指示测试步骤执行超时，此时，按照预设步进值增加超时时间。例如，预设步进值为1秒，则将测试步骤对应的超时时间增加1秒，得到新的对应测试步骤的超时时间为21秒。

在步骤153中，当测试执行结果指示测试步骤的执行未超时，按照预设步进值减小超时时间。

在一个具体的实施例中，待测试电视应用的测试步骤为连接智能电视。通过接口函数获取的测试步骤对应的初始超时时间为20秒。如果执行连接智能电视的测试步骤实际耗时为18秒，即执行测试步骤的测试在没有达到超时时间时已经测试通过。则测试执行结果指示测试步骤的执行未超时。根据测试执行结果指示测试步骤的执行未超时，按照预设步进值减小超时时间，例如，预设步进值为1秒，则将连接智能电视测试步骤对应的超时时间减小1秒，得到新的对应测试步骤的超时时间为19秒。

根据测试执行结果动态的调整测试步骤对应的超时时间，通过预先设定的步进值对超时时间进行动态调整，能迅速的获得对应测试步骤的合适的超时时间。避免因测试步骤对应的超时时间过长而引起的测试时间过长，或者，因测试步骤对应的超时时间过短而引起的测试误判。

图5是图1对应实施例示出的方法中步骤150的另一种具体实现流程图。如图5所示，在图1对应实施例示出的方法中的步骤150还包括以下步骤：

在步骤171中，判断动态设置后的超时时间是否超过预设阈值。

预设阈值，是指预先设定的超时时间的取值范围，包括预设最大值和预设最小值。通过预先设定超时时间的取值范围，减少超时时间的动态设置步骤，进而有利于更迅速的确定对应测试步骤合适的超时时间。

如果动态设置后的超时时间大于预设最大值，或者小于预设最小值，则结束超时时间的动态设置，并舍弃该动态设置的超时时间。

如果动态设置后的超时时间没有超过预设阈值，即未超过预设最大值且未超过预设最小值，则继续对超时时间进行动态设置，并更新测试步骤关联的超时时间。

在步骤173中，如果动态设置后的超时时间超过预设阈值，则舍弃动态设置后的超时时间。

在一个具体的实施例中，在连接智能电视测试步骤的超时时间预设阈值中，预设最大值和预设最小值分别为30秒和8秒。如果动态调整后的超时时间大于30秒或者小于8秒，则将此时获得的超时时间舍弃。

在步骤175中，如果动态设置后的超时时间没有超过预设阈值，将动态设置后的超时时间更新为测试步骤关联的超时时间。

在一个具体的实施例中，在连接智能电视测试步骤的超时时间预设阈值中，预设最大值和预设最小值分别为30秒和8秒。如果动态调整后的超时时间小于30秒或者大于8秒，则将连接智能电视测试步骤关联的超时时间更新为动态调整后的超时时间。

根据测试执行结果动态的调整测试步骤对应的超时时间，通过预先设定超时时间的取值范围，使得对超时时间的动态调整具有有限的执行步骤，能更迅速的获得对应测试步骤的合适的超时时间。避免因待测试电视应用的测试步骤采用固定的超时时间而引起的测试时间变长或测试误判。

图6是一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。如图6所示，该装置包括但不限于：确定模块610，执行模块630，动态设置模块650。

确定模块610，用于确定待测试电视应用的测试步骤，并通过调用预设接口获取对应测试步骤关联的超时时间；

执行模块630，用于通过执行测试步骤得到测试执行结果，测试执行结果用于指示测试步骤的执行是否超时；

动态设置模块650，用于按照测试执行结果的指示动态设置获取到的超时时间。

图7是另一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。如图7所示，该装置包括但不限于：初始设置装置601，存储装置603。

初始设置模块601，用于为测试步骤设置对应的超时时间；

存储模块603，用于将测试步骤和设置的超时时间进行关联，并对测试步骤和关联的超时时间进行存储。

图8是另一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。如图8所示，该装置包括但不限于：获取模块611，关联模块613。

获取模块611，用于当未获取到测试步骤关联的超时时间，则将预设时间设置为测试步骤对应的超时时间；

关联模块613，用于对测试步骤和对应的超时时间进行关联存储，通过关联存储使得预设接口获取到测试步骤关联的超时时间

图9是根据图6对应实施例的装置中的动态设置模块650在一个实施例的框图。如图9所示，该动态设置模块650包括但不限于：正调整单元651，负调整单元653。

正调整单元651，用于当测试执行结果指示测试步骤的执行超时，按照预设步进值增加超时时间；

负调整单元653，用于当测试执行结果指示测试步骤的执行未超时，按照预设步进值减小超时时间。

图10是另一示例性实施例示出的电视应用测试中超时时间动态设置装置的框图。如图10所示，在图6对应实施例示出的动态设置模块中还包括：判断单元711，舍弃单元713，更新单元715。

判断单元711，用于判断动态设置后的超时时间是否超过预设阈值；

舍弃单元713，用于舍弃动态设置后的所述超时时间；

更新单元715，用于将测试步骤关联的超时时间更新为动态设置后的超时时间。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种电视应用测试中超时时间动态设置方法，其特征在于，所述方法包括：

确定待测试电视应用的测试步骤，并通过调用预设接口获取对应所述测试步骤关联的超时时间；

通过获取到的所述超时时间触发执行所述测试步骤，所述测试执行结果用于指示所述测试步骤的执行是否超时；

按照所述测试执行结果的指示动态设置获取到的所述超时时间。

2.根据权利要求1所述的方法，其特征在于，所述确定待测试电视应用的测试步骤，并通过调用预设接口获取所述测试步骤关联的超时时间之前，所述方法还包括：

为所述测试步骤设置对应的超时时间；

将所述测试步骤和设置的超时时间进行关联，并对所述测试步骤和关联的超时时间进行存储。

3.根据权利要求1所述的方法，其特征在于，所述确定待测试电视应用的测试步骤，并通过调用预设接口获取所述测试步骤关联的超时时间之后，所述方法还包括：

当未获取到所述测试步骤关联的超时时间，则将预设时间设置为所述测试步骤对应的超时时间；

对所述测试步骤和对应的超时时间进行关联存储，通过所述关联存储使得所述预设接口获取到所述测试步骤关联的超时时间。

4.根据权利要求1所述的方法，其特征在于，所述按照所述测试执行结果的指示动态设置获取到的所述超时时间，包括：

当所述测试执行结果指示所述测试步骤的执行超时，按照预设步进值增加所述超时时间；

当所述测试执行结果指示所述测试步骤的执行未超时，按照预设步进值减小所述超时时间。

5.根据权利要求1或者4所述的方法，其特征在于，所述按照所述测试执行结果的指示动态设置获取到的所述超时时间之后，所述方法还包括：

判断动态设置后的所述超时时间是否超过预设阈值；

若为是，则舍弃动态设置后的所述超时时间；

否则，将所述测试步骤关联的超时时间更新为动态设置后的超时时间。

6.一种电视应用测试中超时时间动态设置的装置，其特征在于，所述装置包括：

确定模块，用于确定待测试电视应用的测试步骤，并通过调用预设接口获取对应所述测试步骤关联的超时时间；

执行模块，用于通过获取到的所述超时时间触发执行所述测试步骤得到测试执行结果，所述测试执行结果用于指示所述测试步骤的执行是否超时；

动态设置模块，用于按照所述测试执行结果的指示动态设置获取到的所述超时时间。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

初始设置模块，用于为所述测试步骤设置对应的超时时间；

存储模块，用于将所述测试步骤和设置的超时时间进行关联，并对所述测试步骤和关联的超时时间进行存储。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

获取模块，用于当未获取到所述测试步骤关联的超时时间，则将预设时间设置为所述测试步骤对应的超时时间；

关联模块，用于对所述测试步骤和对应的超时时间进行关联存储，通过所述关联存储使得所述预设接口获取到所述测试步骤关联的超时时间。

9.根据权利要求6所述的装置，其特征在于，所述动态设置模块还包括：

正调整单元，用于当所述测试执行结果指示所述测试步骤的执行超时，按照预设步进值增加所述超时时间；

负调整单元，用于当所述测试执行结果指示所述测试步骤的执行未超时，按照预设步进值减小所述超时时间。

10.根据权利要求6或9所述的装置，其特征在于，所述装置还包括：

判断单元，用于判断动态设置后的所述超时时间是否超过预设阈值，若为是，则通知舍弃单元；否则，通知更新单元；

所述舍弃单元，用于舍弃动态设置后的所述超时时间；

所述更新单元，用于将所述测试步骤关联的超时时间更新为动态设置后的超时时间。