CN118227441A - 测试系统和测试方法 - Google Patents

Abstract

公开了一种测试系统和测试方法，属于计算机技术领域。该测试系统包括：测试设备、录像设备和处理设备，测试设备用于运行多个测试用例，在运行多个测试用例的过程中，通过测试设备的显示界面展示每个测试用例的运行过程，以及生成测试结果；录像设备用于在测试设备运行多个测试用例的过程中对显示界面进行录制，得到至少一个第一视频；处理设备用于接收录像设备发送的至少一个第一视频，以及从至少一个第一视频中截取出第一测试用例对应的第二视频，第一测试用例为测试结果中测试设备未通过测试的测试用例中的任一个。该第二视频能反映第一测试用例的运行过程，有利于追溯测试设备未通过第一测试用例的测试的原因。

Description

测试系统和测试方法

技术领域

本公开涉及计算机技术领域，特别涉及一种测试系统和测试方法。

背景技术

在电子设备生产完成后，需要对电子设备的功能、稳定性、安全性等方面进行测试，便于判断电子设备是否合格。

相关技术中，电子设备包括：测试单元和记录单元；测试单元用于在电子设备上运行测试用例，电子设备的显示界面展示测试用例的运行过程，记录单元用于在电子设备未通过某个测试用例的测试的情况下，对显示界面进行截图或者录制，并存储该截图或者录像。

然而，在电子设备未通过某个测试用例的测试的情况下才进行截图或者录像，则该截图或者录像只能记录该测试用例运行完成的显示界面，能够反映的信息有限，仅基于该截图或者录像可能导致后续无法准确追溯该测试用例未通过测试的原因。

发明内容

本公开提供了一种测试系统和测试方法，能够准确地反映第一测试用例的运行过程，有利于追溯测试设备未通过第一测试用例的测试的原因。所述技术方案至少包括如下方案：

第一方面，提供了一种测试系统，包括：测试设备、录像设备和处理设备，所述测试设备用于运行多个测试用例，在运行所述多个测试用例的过程中，通过所述测试设备的显示界面展示每个测试用例的运行过程，以及生成测试结果，所述测试结果用于指示所述测试设备是否通过所述多个测试用例中每个测试用例的测试；所述录像设备用于在所述测试设备运行所述多个测试用例的过程中对所述显示界面进行录制，得到至少一个第一视频；所述处理设备用于接收所述录像设备发送的所述至少一个第一视频，以及从所述至少一个第一视频中截取出第一测试用例对应的第二视频，所述第一测试用例为所述测试结果中所述测试设备未通过测试的测试用例中的任一个。

可选地，所述测试设备还用于记录每个所述测试用例的运行开始时间和运行结束时间；所述处理设备还用于基于每个所述测试用例的运行开始时间和运行结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

可选地，所述处理设备用于：将所述第一测试用例的所述运行开始时间减去第一时间长度作为第二视频的起始时间，将所述第一测试用例的所述运行结束时间加上第一时间长度作为第二视频的结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

可选地，所述录像设备与所述测试设备为同一电子设备；或者，所述录像设备与所述测试设备为两个电子设备。

可选地，所述测试设备还用于获取所述测试设备产生的日志信息，所述日志信息包括至少一条错误日志；从所述日志信息中筛选所述第一测试用例对应的错误日志。

可选地，所述测试设备用于采用如下方式从所述日志信息中筛选所述第一测试用例对应的错误日志：获取所述日志信息中每条错误日志的产生时间；获取所述第一测试用例的运行开始时间和运行结束时间；基于所述每条错误日志的产生时间和所述第一测试用例的所述运行开始时间和所述运行结束时间，从所述日志信息中筛选所述第一测试用例对应的错误日志。

可选地，所述测试设备还用于在所述第一测试用例运行完毕后，对所述显示界面进行截图，以及存储所述第一测试用例对应的截图。

可选地，所述处理设备还用于在所述测试设备运行所述多个测试用例之前，控制所述录像设备开始录制，以及经过第二时间长度后控制所述录像设备终止录制，所述第二时间长度等于各个所述第一视频的时间长度之和。

可选地，所述处理设备还用于基于所述测试结果和所述第一测试用例对应的第二视频，生成测试报告，所述测试报告包括所述测试结果以及所述第一测试用例对应的第二视频的文件名。

第二方面，还提供了一种测试方法，包括：在测试设备运行多个测试用例的过程中，控制录像设备对所述测试设备的显示界面进行录制，得到至少一个第一视频，所述测试设备用于在运行所述多个测试用例的过程中通过所述显示界面展示每个测试用例的运行过程，以及生成测试结果，所述测试结果用于指示所述测试设备是否通过所述多个测试用例中每个测试用例的测试；接收所述录像设备发送的所述至少一个第一视频；从所述至少一个第一视频中截取出第一测试用例对应的第二视频，所述第一测试用例为所述测试结果中所述测试设备未通过测试的测试用例中的任一个。

可选地，所述测试设备还用于记录每个所述测试用例的运行开始时间和运行结束时间，所述从所述至少一个第一视频中截取出第一测试用例对应的第二视频，包括：基于每个所述测试用例的运行开始时间和运行结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

可选地，所述基于每个所述测试用例的运行开始时间和运行结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频，包括：将所述第一测试用例的所述运行开始时间减去第一时间长度作为第二视频的起始时间，将所述第一测试用例的所述运行结束时间加上第一时间长度作为第二视频的结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

可选地，所述方法还包括：在所述测试设备运行所述多个测试用例之前，控制所述录像设备开始录制，以及经过第二时间长度后控制所述录像设备终止录制，所述第二时间长度等于各个所述第一视频的时间长度之和。

可选地，所述方法还包括：基于所述测试结果和所述第一测试用例对应的第二视频，生成测试报告，所述测试报告包括所述测试结果以及所述第一测试用例对应的第二视频的文件名。

本公开实施例提供的技术方案带来的有益效果至少包括：

由于处理设备可以接收录像设备发送的至少一个第一视频，以及从至少一个第一视频中截取出第一测试用例对应的第二视频，第一测试用例为测试设备未通过测试的测试用例中的任一个。其中，第一视频是录像设备在测试设备运行多个测试用例的过程中对显示界面进行录制得到的，故第一视频能够反映测试用例的运行过程。这样，从第一视频中截取出的第一测试用例对应的第二视频也能够反映第一测试用例的运行过程。而若是在确定测试设备未通过第一测试用例的测试后再进行录像或者截图，则该录像或者截图不能反映第一测试用例的运行过程。因此，与该录像或者截图相比，第一测试用例对应的第二视频能够更准确地反映第一测试用例的运行过程，有利于追溯测试设备未通过第一测试用例的测试的原因。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开一个示例性实施例提供的测试系统的结构示意图；

图2示出了本公开另一个示例性实施例提供的测试系统的结构示意图；

图3示出了处理设备的控制录像设备的过程示意图；

图4示出了测试设备的工作流程示意图；

图5示出了处理设备生成测试报告的过程示意图；

图6示出了本公开一个示例性实施例提供的一种测试方法的流程图。

具体实施方式

除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开专利申请说明书以及权利要求书中使用的“第一”、“第二”、“第三”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则所述相对位置关系也可能相应地改变。

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

图1示出了本公开一个示例性实施例提供的测试系统的结构示意图，参见图1，该测试系统100包括：测试设备11、录像设备12和处理设备13。

测试设备11用于运行多个测试用例，在运行多个测试用例的过程中，通过测试设备11的显示界面展示测试用例的运行过程，以及生成测试结果，测试结果用于指示测试设备是否通过多个测试用例中每个测试用例的测试。

可选地，测试设备11可以是安装有Android(安卓)系统的电子设备，电子设备包括但不限于手机、计算机、平板电脑，手表等等。

录像设备12用于在测试设备11运行多个测试用例的过程中对显示界面进行录制，得到至少一个第一视频。

可选地，录像设备12可以是录像机或者显示界面录制软件等具有录像功能的设备。

处理设备13用于接收录像设备12发送的至少一个第一视频，以及从至少一个第一视频中截取出第一测试用例对应的第二视频，第一测试用例为测试结果中测试设备未通过测试的测试用例中的任一个。

在本公开实施例中，处理设备13与录像设备12连接，从而能够接收录像设备12发送的至少一个第一视频。处理设备13还与测试设备11连接，从而能够基于测试结果确定第一测试用例。

可选地，处理设备13可以是计算机设备。

由于处理设备可以接收录像设备发送的至少一个第一视频，以及从至少一个第一视频中截取出第一测试用例对应的第二视频，第一测试用例为测试设备未通过测试的测试用例中的任一个。其中，第一视频是录像设备在测试设备运行多个测试用例的过程中对显示界面进行录制得到的，故第一视频能够反映测试用例的运行过程。这样，从第一视频中截取出的第一测试用例对应的第二视频也能够反映第一测试用例的运行过程。而若是在确定测试设备未通过第一测试用例的测试后再进行录像或者截图，则该录像或者截图不能反映第一测试用例的运行过程。因此，与该录像或者截图相比，第一测试用例对应的第二视频能够更准确地反映第一测试用例的运行过程，有利于追溯测试设备未通过第一测试用例的测试的原因。

在一种可能的实施方式中，测试设备11与录像设备12为两个电子设备。在这种情况下，录像设备12可以为独立于测试设备11之外的录像机，且该录像机能够录制到测试设备11的整个显示界面。

由于录像设备12与测试设备11为两个电子设备，因此测试设备11在运行测试用例的过程中，录像设备12对测试设备11进行录像时，不会占用测试设备11的运算资源，从而能够保证测试设备11的运算资源均能够被用于测试，有效提高了测试结果的准确程度。

在另一种可能的实施方式中，测试设备11与录像设备12为同一电子设备上。在这种情况下，录像设备12可以是安装在测试设备11上的显示界面录制软件。与录像设备12与测试设备11为两个电子设备相比，测试设备11与录像设备12为同一电子设备上能够简化本公开实施例中的测试系统100实现时的结构。

这里，每个测试用例均具有对应的预期输出，若测试设备11运行该测试用例后的输出与该测试用例对应的预期输出相符，则确定测试设备11通过了该测试用例的测试。若测试设备11运行该测试用例后的输出与该测试用例对应的预期输出不符，则确定测试设备11未通过该测试用例的测试。测试设备11运行该测试用例后的输出又称为检查点(CheckPoint)。

在本公开实施例中，多个测试用例各不相同，分别用于对测试设备11的执行不同的测试。

示例性地，多个测试用例中，包括对测试设备11的性能测试的测试用例。例如，某个测试用例运行时，能够模拟高负载环境，并在高负载环境下启动测试设备11上的软件；预期输出则可以是测试设备11上各个软件启动的时间小于或者等于预设时间。该测试用例就是为了测试测试设备11在高负载环境下能否在预设时间内启动软件。

在本公开实施例中，需要对测试设备11进行多方面的测试，包括但不限于功能性测试、稳定性测试、安全测试、性能测试、网络测试等等，因此测试设备需要运行多个测试用例，且多个测试用例之间不同。

可选地，多个测试用例中，至少两个测试用例用于共同进行同一方面的测试，且用于进行同一方面的测试的测试用例之间不同。在进行某方面的测试时，也需要至少不同的两个测试用例，以保证对该方面的测试足够全面。

可选地，每个测试用例均存在对应的测试用例脚本，测试设备11运行多个测试用例也即是运行该测试用例对应的测试用例脚本。这里，测试用例脚本可以是一行命令的形式，或者是多行命令的形式。该测试用例脚本可以通过控件ID(Identity Document，身份标识)、文本、描述、布局路径或坐标模拟等方式实现模拟对应的测试用例中所需的操作。以坐标模拟的方式为例，测试用例脚本可以通过获取预设的鼠标的坐标，然后在预设的鼠标的坐标处模拟鼠标点击屏幕的操作，从而实现模拟对应的测试用例中所需的操作。

测试用例脚本又称自动化测试脚本(Auto Test Script)。故实现时，多个测试用例对应的测试用例脚本可以通过自动化测试脚本框架uiautomator2编写。

可选地，测试设备11上还配置有用例顺序文件，该用例顺序文件用于配置多个测试用例之间的执行顺序和循环次数。示例性地，用例顺序文件可是xml格式。

可选地，用例顺序文件还用于存储每个测试用例的标识，以便于后续测试设备11基于每个测试用例的标识运行测试用例。测试用例的标识用于识别该测试用例，示例性地，测试用例的标识可以包括该测试用例的包名、方法名和类名。

若将测试用例脚本设置在一个脚本文件中，则修改各测试用例脚本执行的先后顺序时还需修改脚本文件，并重新将修改后的脚本文件安装至测试设备11，这样较为复杂。通过xml格式的用例顺序文件，可以实现控制测试用例脚本单条分开执行，工作人员可以通过用例顺序文件来实现直接配置各测试用例脚本执行的先后顺序，而无需修改脚本文件，提高了修改各测试用例脚本执行的先后顺序的便利程度。

测试设备11用于按照用例顺序文件指示的顺序，从多个测试用例中的第一个开始，依次运行各个测试用例，直至最后一个测试用例运行完毕，此时，完成了一次循环。循环次数则用于指示总共需要完成多少次循环。

这里，循环次数可以根据设定的测试时长和单次循环所需花费的时间确定。例如，设定的测试时长为7天，单次循环所需花费的时间为1小时，则可以计算出循环次数为7*24/1＝168次。

实现时，在测试设备11运行多个测试用例之前，需要将多个测试用例对应的脚本安装至测试设备11上，然后，测试设备11即可基于用例顺序文件指示的顺序依次运行多个测试用例。

在运行多个测试用例中的任一个时，可以采用如下方式实现：基于用例顺序文件获取该测试用例对应的测试用例脚本的包名、方法名和类名，采用如下命令运行该测试用例对应的测试用例脚本：“aminstrument-w-r--user 0-e debug false-e class类名#方法名包名.test/androidx.test.runner.AndroidJUnitRunner”。

在本公开实施例中，上述运行该测试用例对应的测试用例脚本的命令是RunnerController工具执行的，Runner Controller是一种脚本测试工具，有关RunnerController工具的使用方式，相关技术中较多，在此省略详述。

可选地，测试设备11还用于记录每个测试用例的运行开始时间和运行结束时间。

可选地，测试设备11可以将每个测试用例的运行开始时间和运行结束时间也记录在测试结果中。

可选地，测试结果可以以结果文件的形式存储在测试设备11中。示例性地，结果文件可以命名为“real_result.xml”。

在本公开实施例中，结果文件用于存储每个测试用例的标识和指示信息。测试用例的标识用于唯一标识对应的测试用例。本公开实施例对测试用例的标识的形式不做限制，可以是编号、文字等。测试用例的指示信息用于指示测试设备11是否通过了该测试用例的测试。示例性的，测试用例对应的指示信息包括Pass和Fail，当测试用例的指示信息为Pass时，说明测试设备11通过了该测试用例的测试；当测试用例的指示信息为Fail时，说明测试设备11未通过该测试用例的测试。

结果文件中的每个测试用例的标识则可以通过用例顺序文件获取。

例如，若测试设备11通过了某个测试用例的测试，则可以在结果文件存储该测试用例的标识，并将该测试用例的指示信息与标识对应存储，其中该测试用例的指示信息为Pass，表示测试设备通过了该测试用例的测试。若测试设备11未通过某个测试用例的测试，则可以在结果文件中存储该测试用例的标识，并将该测试用例的指示信息与标识对应存储，其中该测试用例的指示信息为Fail，表示测试设备未通过该测试用例的测试。

在一些实施例中，结果文件用于存储测试设备11通过了的测试的测试用例的标识和指示信息，但不存储测试设备11未通过的测试的测试用例的标识和指示信息。

在另一些实施例中，结果文件用于存储测试设备11未通过的测试的测试用例的标识和指示信息，但不存储测试设备11通过了的测试的测试用例的标识和指示信息。

处理设备13还用于基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频，可以使截取出的第一测试用例对应的第二视频能够展示第一测试用例的完整运行过程。

在本公开实施例中，处理设备13通过获取测试设备11上的结果文件实现获取每个测试用例的运行开始时间和运行结束时间，以及获取每个测试用例的标识和指示信息。

在获取了每个测试用例的标识和指示信息后，处理设备13即可确定第一测试用例，进而基于第一测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

在本公开实施例中，处理设备13与测试设备11连接，处理设备13接收测试设备11发送的结果文件。而在其他实施例中，处理设备13与测试设备11不连接，工作人员可以通过测试设备11上的结果文件指示的每个用例测试的运行开始时间与运行结束时间，以及每个测试用例的标识和指示信息，在处理设备13上手动输入第一测试用例的运行开始时间和运行结束时间。

在本公开实施例中，在处理设备13基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频之前，处理设备13需要先确定每个第一视频是对哪个时间段内的显示界面进行记录。

可选地，录像设备12可以以某个第一视频的起始时间和结束时间中的至少一种来命名该第一视频，从而便于处理设备11后续基于该第一视频的文件名即可确定该第一视频是对哪个时间段内的显示界面进行记录。例如，可以以该第一视频的起始时间命名该第一视频。又例如，可以以该第一视频的结束时间命名该第一视频。又例如。可以以该第一视频的起始时间和结束时间共同命名该第一视频。

示例性地，假设共存在336个第一视频，录像设备12以每个第一视频的起始时间对每个第一视频进行命名，可以将这336个第一视频按照名称指示的起始时间从前到后进行排序。这样，基于某个第一视频的文件名，以及该第一视频的下一个第一视频的文件名，即可建立时间段与第一视频的映射表Video Map，该映射表用于指示每个第一视频是对哪个时间段内的显示界面进行记录。例如某个第一视频的起始时间为2月10日的17：15，该第一视频的下一个第一视频的起始时间为2月10日的17：45，则在映射表中指示该第一视频是对2月10日的17：15至17：45时间段内的显示界面进行记录。

这样，处理设备11即可基于映射表实现基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频，包括：将第一测试用例的运行开始时间减去第一时间长度作为第二视频的起始时间，将第一测试用例的运行结束时间加上第一时间长度作为第二视频的结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，第一时间长度的取值范围为3秒～10秒，例如可以为3秒、5秒、7秒或者10秒。

示例性地，某个第一测试用例的运行开始时间为2月10日的17:17:24，运行结束时间为2月10日的17:27:35，第一时间长度为5秒。则该第一测试用例对应的第二视频的起始时间为2月10日的17:17:19，该第一测试用例对应的第二视频的结束时间为2月10日的17:27:40。

由于实际运行过程中，第二视频的时间长度一般远小于第一视频的时间长度，因此在处理设备13确定了每个第一视频是对哪个时间段内的显示界面进行记录后，可以先基于该第一测试用例对应的第二视频的起始时间和结束时间定位到该第二视频所在的第一视频，进而从该第二视频所在的第一视频中截取该第二视频。

示例性地，录像设备12以每个第一视频的起始时间对每个第一视频进行命名，且在时间段与第一视频的映射表中文件名为2月10日的17：15的第一视频用于对2月10日的17：15至2月10日的17：45的时间段进行记录。第一测试用例对应的第二视频的起始时间为2月10日的17:17:19，结束时间为2月10日的17:27:40。因此第二视频的起始时间和结束时间均在2月10日的17：15至2月10日的17：45的时间段内，也即是第二视频所在的第一视频是文件名为2月10日的17：15的第一视频。然后处理设备13即可从该第一视频中截取该第二视频。

在实现从第一视频中截取第二视频时，可以利用安装在处理设备11上的FFmpeg工具实现截取第二视频。例如通过如下命令实现调用FFmpeg工具截取第二视频：“ffmpeg-i原始视频名-ss开始时间-t持续时长(秒)输出视频文件名”，上述命令中，原始视频名为第二视频所在第一视频的文件名；开始时间为第一测试用例对应的第二视频的开始时间；持续时长为第一测试用例对应的第二视频的持续时长；输出视频文件名即为第二视频的文件名。

其中，FFmpeg是一款音视频编解码工具，同时也是一组音视频编码开发套件，作为编码开发套件，它为开发者提供了丰富的音视频处理的调用接口，也提供了命令行音视频处理工具。

通过在截取第二视频时，将第一测试用例的运行开始时间减去第一时间长度作为第二视频的起始时间，将第一测试用例的运行结束时间加上第一时间长度作为第二视频的结束时间，从而能够获取第一测试用例开始运行前的显示界面图像，以及第一测试用例运行完成后的显示界面的图像，使工作人员能够准确地追溯测试设备11未通过第一测试用例的测试的原因。

可选地，测试设备11还用于获取测试设备产生的日志信息，以及从日志信息中筛选第一测试用例对应的错误日志。

其中，日志信息包括至少一条错误日志。

这里，错误日志包括Crash日志(系统崩溃堆栈日志信息)和ANR(Application NotResponse，应用程序未响应)日志。

可选地，日志信息还包括每条日志的产生时间。

示例性地，日志信息包括Event Log(事件日志)，也即是Android系统的Logcat缓存中的Event日志，该Event Log通常包括用户交互事件、系统操作事件、应用程序事件、硬件事件和网络事件。其中，Logcat是Android系统中的一个缓存区，用于存储Android系统产生的各种Log(日志)文件。

实现时，测试设备11可以通过“logcat-v time-b events”命令监听测试设备11的Event Log，从而可以基于日志信息指示的每条日志的产生时间，从日志信息中筛选第一测试用例对应的错误日志。

可选地，测试设备11还可以从Event Log中过滤出所有错误日志，然后将所有错误日志存储在缓存(cache)中，便于后续从日志信息中筛选第一测试用例对应的错误日志。在这种情况下，在测试设备11过滤出所有错误日志之前，测试设备11还需要通过“logcat-bevents-c”命令清除缓存中存储的数据，从而减少缓存中存储的数据量，便于后续从缓存中确定至少一条错误日志中是否存在与第一测试用例对应的错误日志。

可选地，测试设备11被配置为采用如下方式从日志信息中筛选第一测试用例对应的错误日志：获取日志信息中每条错误日志的产生时间；获取第一测试用例的运行开始时间和运行结束时间；基于每条错误日志的产生时间和第一测试用例的运行开始时间和运行结束时间，从日志信息中筛选第一测试用例对应的错误日志。

其中，每条错误日志的产生时间可以通过缓存中存储的错误日志获取，而测试设备记录了每个测试用例的运行开始时间和运行结束时间，因此也可以从测试设备11记录的每个测试用例的运行开始时间和运行结束时间中获取第一测试用例的运行开始时间和运行结束时间。

示例性地，可以通过第一测试用例的运行开始时间case_start_time1和运行结束时间case_end_time1确定第一测试用例运行过程所处的时间段，然后从缓存查找至少一条错误日志的产生时间，将产生时间位于第一测试用例运行过程所处的时间段内的错误日志作为第一测试用例对应的错误日志。

基于每条错误日志的产生时间和第一测试用例的运行开始时间和运行结束时间实现确定第一测试用例对应的错误日志，能够准确筛选第一测试用例运行过程中Android系统产生的所有错误日志。

可选地，测试设备11还用于将第一测试用例对应的错误日志存储至结果文件中。

这样，基于结果文件即可定位第一测试用例执行过程中，测试设备11产生的错误日志，从而便于追溯测试设备11未通过第一测试用例的测试的原因。

在其他实施例中，测试设备11还可以将从日志信息中过滤出所有错误日志存储在第一日志文件中，第一日志文件用于存储测试设备运行过程中产生的所有错误日志，便于后续工作人员基于第一日志文件查找测试设备11产生的错误日志。示例性地，第一日志文件可以命名为“result_event.log”。

在仅对显示界面进行截图或者录制的情况下，如果第一测试用例运行的过程中Android系统在后台产生了错误日志，则基于截图或者录制的视频无法直观地获取Android系统在后台产生的错误日志，如果想要获取错误日志，则需要工作人员手动进行提取，效率较低。在本公开实施例中，通过将第一测试用例对应的错误日志存储至结果文件中，可以将实际地测试用例的运行结果(也即是测试用例的指示信息)与Android系统的输出(也即是错误日志)相关联，由于后续基于结果文件生成了测试报告，故工作人员可以基于测试报告直观地获取第一测试用例对应的错误日志，而无需手动提取错误日志，有效提高了工作人员的追溯第一测试用例未通过测试的原因的效率。

可选地，测试设备11还用于在第一测试用例运行完毕后，对显示界面进行截图，以及存储第一测试用例对应的截图。

在实现时，可以将每个测试用例的规则定义为：在测试设备未通过该测试用例的测试的情况下，对显示界面进行截图，例如通过ScreenCap命令(属于Android系统自带的截屏命令)对显示界面进行截图。也即是每个测试用例均需要包含上述规则。

可选地，存储第一测试用例对应的截图，可以是将第一测试用例对应的截图存储至结果文件中。

在第一测试用例运行完毕后对显示界面进行截图，并存储第一测试用例对应的截图，便于工作人员基于截图追溯测试设备11未通过第一测试用例的测试的原因。

可选地，处理设备13还用于基于结果文件和第一测试用例对应的第二视频，生成测试报告。

示例性地，测试报告可以是Excel表格文件，该表格文件包括每个第一测试用例对应的第二视频的文件名。

这里，由于结果文件中存储了每个测试用例的标识和指示信息，且结果文件中还可以包括每个测试用例的运行开始时间、运行结束时间，而对于第一测试用例，结果文件还包括第一测试用例对应的截图和第一测试用例对应的错误日志。因此，生成的测试报告中，测试报告包括了上述结果文件中的全部内容，以及第一测试用例对应的第二视频的文件名。这里，第二视频的文件名用于唯一标识对应的第二视频。

因此，工作人员可以基于测试报告直观地获取每个测试用例的标识和指示信息、每个测试用例的运行开始时间、运行结束时间、第一测试用例对应的截图、第一测试用例对应的错误日志以及第一测试用例对应的第二视频的文件名。这样，工作人员基于该测试报告能够准确追溯第一测试用例未通过测试的原因，从而能够提高开发过程中解决问题的效率。

可选地，每个第一视频的时间长度相同，均为第三时间长度。第三时间长度的取值范围为15分钟～60分钟，例如可以为15分钟、30分钟、45分钟或者60分钟。

通过令每个第一视频的时间长度均为第三时间长度，可以使第一视频的时间长度不至于过长(例如大于60分钟)，过长容易导致每个第一视频占用的存储空间较大，且裁剪第一视频时的处理速度也较慢。同样地，也不至于令第一视频的时间长度过短(例如小于15分钟)，因为设定的测试时长一般大于或者等于7天，第一视频的时间长度过短则会导致最终得到的第一视频的数量过多。

在这种情况下，录像设备12在测试设备运行多个测试用例的过程中对显示界面进行录制，得到至少一个第一视频，包括：在录像设备12开始录制后，经过第三时间长度停止录制，得到一个第一视频，随即立刻开始下一次录制。对于下一次录制，采用同样的方式，经过第三时间长度后停止录制，并立刻开始下一次录制。

可选地，处理设备13还用于在测试设备11运行多个测试用例之前，控制录像设备12开始录制，以及经过第二时间长度后控制录像设备12终止录制，第二时间长度等于各个第一视频的时间长度之和。

这里，各个第一视频的时间长度之和实际上就等同于设定的测试时长，经过第二时间长度也就表明此时测试已经结束，无需继续录制，因此处理设备13可以控制录像设备12终止录制。

也即是，录像设备12开始录制，以及录像设备12终止录制均是由处理设备13控制的。

实现处理设备13控制录像设备12开始录制时，可以通过安装在处理设备13上的ATest工具，在ATest工具上点击开始录制后，处理设备13会向录像设备12发送“am start”命令，以启动录像设备12上的相机。然后向录像设备12发送“input”命令，该命令用于点击录像设备12上的开始录制按钮。

经过第三时间长度后，处理设备13可以向录像设备12发送“input”命令，该命令用于点击录像设备12上的终止录制按钮，随后立刻控制录像设备12开始录制。依次类推，直至经过第二时间长度后，处理设备13在ATest工具上点击结束录制，以控制录像设备12终止录制，且不再控制录像设备12开始录制。

在本公开实施例中，对所有测试设备未通过测试的测试用例中，除第一测试用例以外的测试用例，均可采用前述测试系统100对第一测试用例的处理方式进行处理。

图2示出了本公开另一个示例性实施例提供的测试系统的结构示意图，参见图2，与图1相比，区别在于，在该测试系统100中，处理设备13包括录像设备控制模块131、解析模块132、视频截取模块133和测试报告生成模块134；测试设备11包括测试用例运行模块111、日志监听模块112和生成模块113。

测试用例运行模块111用于运行多个测试用例、在运行多个测试用例的过程中，通过测试设备的显示界面展示测试用例的运行过程、确定测试设备11是否通过了每个测试用例的测试、以及在第一测试用例运行完毕后，对显示界面进行截图。

日志监听模块112用于获取测试设备11产生的日志信息。

在本公开实施例中，生成模块113用于生成测试结果，测试结果用于指示测试设备是否通过多个测试用例中每个测试用例的测试。

可选地，生成的测试结果可以以结果文件的形式存储在测试设备11中。

可选地，生成模块113还用于获取测试设备产生的日志信息；从日志信息中筛选第一测试用例对应的错误日志；以及存储第一测试用例对应的截图。

可选地，录像设备控制模块131用于接收录像设备12发送的至少一个第一视频；在测试设备11运行多个测试用例之前，控制录像设备12开始录制；以及经过第二时间长度后控制录像设备12终止录制。

可选地，解析模块132用于获取生成模块113生成的结果文件；基于结果文件实现获取每个测试用例的运行开始时间和运行结束时间；以及每个测试用例的标识和指示信息。

可选地，视频截取模块133用于从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，测试报告生成模块134用于基于第一测试用例对应的第二视频，生成测试报告。

本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时也可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成为一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，手机，或者通信设备等)或处理器(processor)执行本公开各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

图3示出了处理设备的控制录像设备的过程示意图，参见图3，处理设备13控制录像设备12的过程包括：

在步骤301中，工作人员点击ATest工具上的开始录制，以向录像设备12发送“amstart”命令。

在步骤302中，处理设备13向录像设备12发送“input”命令。

该命令用于点击录像设备12上的开始录制按钮。

在步骤303中，处理设备13判断ATest工具上的终止录制是否被点击。

若ATest工具上的终止录制未被工作人员点击，执行步骤304，若ATest工具上的终止录制被工作人员点击，执行步骤305。

在步骤304中，处理设备13经过第三时间长度后，向录像设备12发送“input”命令。

该命令用于点击录像设备12上的终止录制按钮。

在执行完步骤304后立即跳转至步骤302，以控制录像设备12开始录制。

在步骤305中，处理设备13向录像设备12发送“input”命令，该命令用于点击录像设备12上的终止录制按钮。

可选地，步骤304和步骤305还包括：处理设备13接收录像设备12发送的录制得到的第一视频。

图4示出了测试设备的工作流程示意图，参见图4，测试设备11的工作过程包括：

在步骤401中，工作人员将多个测试用例对应的脚本安装至测试设备11上，测试设备11按照用例顺序文件指示的顺序运行多个测试用例。

在步骤402中，测试设备11判断当前循环次数是否大于用例顺序文件指示的循环次数。

若当前循环次数大于用例顺序文件指示的循环次数，停止执行测试用例。

若当前循环次数是否小于或者等于用例顺序文件指示的循环次数，执行步骤403。

在步骤403中，测试设备11判断最后一个测试用例是否执行完毕。

若未执行完毕，说明未运行完一次循环，需要继续按照用例顺序文件指示的顺序继续运行测试用例，也就是执行步骤404。

若执行完毕，则跳转至步骤402。

在步骤404中，测试设备11按照用例顺序文件指示的顺序运行下一条测试用例。

示例性地，采用如下命令运行该测试用例对应的测试用例脚本：“am instrument-w-r--user 0-e debug false-e class类名#方法名包名

.test/androidx.test.runner.AndroidJUnitRunner”。

下面以步骤404中运行的测试用例是第一测试用例为例进行说明。

在步骤405中，测试设备11获取第一测试用例的指示信息。

在第一种情况中，测试设备11未通过当前运行的测试用例的测试，则该步骤405还包括：从缓存中存储的所有错误日志中筛选第一测试用例对应的错误日志。然后再执行步骤406。

在第二种情况中，测试设备11通过了第一测试用例的测试，则执行步骤406。

由于第一测试用例为测试设备未通过测试的测试用例中的任一个，故当步骤404中运行的测试用例是第一测试用例时，第二种情况是不存在的。

在其他示例中，步骤404运行的测试用例是第二测试用例，第二测试用例为测试设备通过测试的测试用例中的任一个，则第一种情况不存在，仅对第二测试用例执行第二种情况即可。

在步骤406中，测试设备11将第一测试用例的指示信息存储至结果文件中。

在步骤407中，测试设备11清除缓存中存储的数据。

示例性地，通过“logcat-b events-c”命令清除缓存中存储的数据。

步骤407与步骤402同时执行。

在步骤408中，测试设备11获取日志信息。

示例性地，测试设备11通过“logcat-v time-b events”命令获取日志信息。

在步骤409中，测试设备11判断日志信息中是否存在错误日志。

若存在错误日志，执行步骤410。若不存在错误日志，执行步骤408。

示例性地，错误日志包括Crash日志和ANR日志。

在步骤410中，测试设备11将日志信息中的全部错误日志存储至在缓存中。

可选地，步骤410还包括：测试设备11将错误日志存储至第一日志文件中。

图5示出了处理设备生成测试报告的过程示意图，参见图5，处理设备13生成测试报告的过程包括：

在步骤501中，处理设备13基于接收到的第一视频，建立时间段与第一视频的映射表。

该映射表用于指示每个第一视频是对哪个时间段内的显示界面进行记录。

在步骤502中，处理设备13获取结果文件，并判断当前是否对结果文件中的最后一个测试用例进行解析。

若当前对结果文件中的最后一个测试用例进行解析，则停止对结果文件进行解析。

若当前解析的结果文件中的测试用例不是最后一个测试用例，则执行步骤503。

下面以步骤502是对第一测试用例进行解析为例进行说明。

在步骤503中，处理设备13对结果文件中的第一测试用例进行解析，得到第一测试用例的运行开始时间和运行结束时间。

在步骤504中，处理设备13判断测试设备11是否通过第一测试用例的测试。

若测试设备11通过第一测试用例的测试，则执行步骤507。

若测试设备11未通过第一测试用例的测试，则执行步骤505。

在步骤505中，处理设备13基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，步骤505基于步骤501中的映射表实现。

在步骤506中，处理设备13获取第二视频的文件名。

在步骤507中，处理设备13获取测试结果，基于测试结果确定第一测试用例的标识、指示信息、开始时间以及结束时间。

可选地，处理设备13还可以获取第一测试用例对应的截图以及第一测试用例对应的错误日志。

在步骤508中，处理设备13将第一测试用例的标识、指示信息、开始时间、结束时间、第一测试用例对应的截图、第一测试用例对应的错误日志以及第一测试用例对应的第二视频的文件名存储至测试报告。

以下是本申请的方法实施例，对于装置实施例中未详细描述的细节，可以参考上述测试系统实施例。

图6示出了本公开一个示例性实施例提供的一种测试方法的流程图，该方法可以由处理设备执行，参见图6，该方法包括：

在步骤601中，在测试设备运行多个测试用例的过程中，控制录像设备对测试设备的显示界面进行录制，得到至少一个第一视频。

测试设备用于在运行多个测试用例的过程中通过显示界面展示每个测试用例的运行过程，以及生成测试结果，测试结果用于指示测试设备是否通过多个测试用例中每个测试用例的测试；

在步骤602中，接收录像设备发送的至少一个第一视频。

在步骤603中，从至少一个第一视频中截取出第一测试用例对应的第二视频。

第一测试用例为测试结果中测试设备未通过测试的测试用例中的任一个。

可选地，测试设备还用于记录每个测试用例的运行开始时间和运行结束时间，在这种情况下，从至少一个第一视频中截取出第一测试用例对应的第二视频，包括：基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，基于每个测试用例的运行开始时间和运行结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频，包括：将第一测试用例的运行开始时间减去第一时间长度作为第二视频的起始时间，将第一测试用例的运行结束时间加上第一时间长度作为第二视频的结束时间，从至少一个第一视频中截取出第一测试用例对应的第二视频。

可选地，该方法还包括：在测试设备运行多个测试用例之前，控制录像设备开始录制，以及经过第二时间长度后控制录像设备终止录制，第二时间长度等于各个第一视频的时间长度之和。

可选地，该方法还包括：基于测试结果和第一测试用例对应的第二视频，生成测试报告，测试报告包括测试结果以及第一测试用例对应的第二视频的文件名。

需要说明的是：上述实施例提供的测试系统与测试方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种测试系统，其特征在于，所述测试系统包括：测试设备、录像设备和处理设备，

所述测试设备用于运行多个测试用例，在运行所述多个测试用例的过程中，通过所述测试设备的显示界面展示每个测试用例的运行过程，以及生成测试结果，所述测试结果用于指示所述测试设备是否通过所述多个测试用例中每个测试用例的测试；

所述录像设备用于在所述测试设备运行所述多个测试用例的过程中对所述显示界面进行录制，得到至少一个第一视频；

所述处理设备用于接收所述录像设备发送的所述至少一个第一视频，以及从所述至少一个第一视频中截取出第一测试用例对应的第二视频，所述第一测试用例为所述测试结果中所述测试设备未通过测试的测试用例中的任一个。

2.根据权利要求1所述的测试系统，其特征在于，所述测试设备还用于记录每个所述测试用例的运行开始时间和运行结束时间；

所述处理设备还用于基于每个所述测试用例的运行开始时间和运行结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

3.根据权利要求2所述的测试系统，其特征在于，所述处理设备用于：

将所述第一测试用例的所述运行开始时间减去第一时间长度作为第二视频的起始时间，将所述第一测试用例的所述运行结束时间加上第一时间长度作为第二视频的结束时间，从所述至少一个第一视频中截取出所述第一测试用例对应的第二视频。

4.根据权利要求1至3任一项所述的测试系统，其特征在于，所述录像设备与所述测试设备为同一电子设备；或者，

所述录像设备与所述测试设备为两个电子设备。

5.根据权利要求1至3任一项所述的测试系统，其特征在于，所述测试设备还用于获取所述测试设备产生的日志信息，所述日志信息包括至少一条错误日志；

从所述日志信息中筛选所述第一测试用例对应的错误日志。

6.根据权利要求5所述的测试系统，其特征在于，所述测试设备用于采用如下方式从所述日志信息中筛选所述第一测试用例对应的错误日志：

获取所述日志信息中每条错误日志的产生时间；

获取所述第一测试用例的运行开始时间和运行结束时间；

基于所述每条错误日志的产生时间和所述第一测试用例的所述运行开始时间和所述运行结束时间，从所述日志信息中筛选所述第一测试用例对应的错误日志。

7.根据权利要求1至3任一项所述的测试系统，其特征在于，所述测试设备还用于在所述第一测试用例运行完毕后，对所述显示界面进行截图，以及存储所述第一测试用例对应的截图。

8.根据权利要求1至3任一项所述的测试系统，其特征在于，所述处理设备还用于在所述测试设备运行所述多个测试用例之前，控制所述录像设备开始录制，以及经过第二时间长度后控制所述录像设备终止录制，所述第二时间长度等于各个所述第一视频的时间长度之和。

9.根据权利要求1至3任一项所述的测试系统，其特征在于，所述处理设备还用于基于所述测试结果和所述第一测试用例对应的第二视频，生成测试报告，所述测试报告包括所述测试结果以及所述第一测试用例对应的第二视频的文件名。

10.一种测试方法，其特征在于，所述测试方法包括：

在测试设备运行多个测试用例的过程中，控制录像设备对所述测试设备的显示界面进行录制，得到至少一个第一视频，所述测试设备用于在运行所述多个测试用例的过程中通过所述显示界面展示每个测试用例的运行过程，以及生成测试结果，所述测试结果用于指示所述测试设备是否通过所述多个测试用例中每个测试用例的测试；

接收所述录像设备发送的所述至少一个第一视频；

从所述至少一个第一视频中截取出第一测试用例对应的第二视频，所述第一测试用例为所述测试结果中所述测试设备未通过测试的测试用例中的任一个。