CN112596848A - 一种录屏方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本公开关于一种录屏方法、装置、电子设备、存储介质及程序产品，应用于自动化测试系统的控制终端，该自动化测试系统还包括位于远端的测试终端，该方法包括：获取测试终端的屏幕数据；响应于录制对象选择操作确定屏幕显示界面中的目标区域；根据该目标区域与操作界面的相对位置确定操作界面中的录制对象；调用控制终端的录屏接口对所述录制对象进行录制。本公开不仅可以同时录制多个测试终端的操作界面以提高测试效率，而且可以实现操作界面的整体录制和局部录制，提高了对测试过程录制的灵活性。

Description

一种录屏方法、装置、电子设备、存储介质及程序产品

技术领域

本公开涉及计算机技术领域，尤其涉及一种录屏方法、装置、电子设备、存储介质及程序产品。

背景技术

云真机是运行在远端的移动设备，该移动设备上装载有操作系统，比如云真机可以是具有安卓系统或者IOS系统的手机等，本地主机也即控制终端可以通过网络连接云真机，并对云真机上待测试的应用程序进行自动化测试操作。

为了能够分析应用程序在云真机上的运行情况，需要对云真机进行录屏操作。相关技术中，一般是云真机自行录屏形成录屏文件后将该录屏文件发送给控制端主机，而应用程序的测试通常需要同时在不同机型、不同操作系统的多个云真机上进行，上述的录屏方式将会导致对于同一个应用程序存在多个独立的录屏文件，不仅增加了后续对于录屏文件的分析难度，降低了测试效率，而且降低了对测试过程录制的灵活性。

发明内容

本公开提供一种录屏方法、装置、电子设备、存储介质及程序产品，以至少解决相关技术在自动化测试过程中对云真机的录屏操作导致的测试效率低以及对测试过程录制的灵活性差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种录屏方法，应用于自动化测试系统的控制终端，所述自动化测试系统还包括位于远端的测试终端，所述方法包括：

获取所述测试终端的屏幕数据；

根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面；

响应于录制对象选择操作，确定所述屏幕显示界面中的目标区域；

根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象；

调用所述控制终端的录屏接口对所述录制对象进行录制。

在一示例性的实施方式中，所述方法还包括：

在调用所述控制终端的录屏接口对所述录制对象进行录制的过程中，接收对所述屏幕显示界面中所述操作界面执行的操作，向所述操作界面对应的测试终端发送测试指令，以由所述测试终端执行所述测试指令。

在一示例性的实施方式中，所述测试终端包括多个测试终端；

所述根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面包括：

根据所述多个测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示与所述多个测试终端一一对应的多个操作界面；

所述根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象包括：

确定所述多个操作界面中位于所述目标区域内的至少一个操作界面；

将位于所述目标区域内的至少一个操作界面作为所述录制对象。

在一示例性的实施方式中，在确定所述多个操作界面中位于所述目标区域内的至少一个操作界面之前，所述方法还包括：

判断所述目标区域是否位于所述多个操作界面中的任一操作界面内；

若所述目标区域位于所述多个操作界面中的任一操作界面内，则确定所述任一操作界面中位于所述目标区域的目标界面区域；

将所述目标界面区域作为所述录制对象。

在一示例性的实施方式中，所述调用所述控制终端的录屏接口对所述录制对象进行录制包括：

调用所述控制终端的操作系统提供的音视频录制接口，通过所述音视频录制接口对所述录制对象进行录制；或者，

调用第三方录屏应用程序的接口，通过所述第三方录屏应用程序对所述录制对象进行录制。

在一示例性的实施方式中，所述方法还包括：

在所述录制结束后得到录屏视频；

按照预设处理方式对所述录制得到的录屏视频进行处理；

其中，所述预设处理方式包括以下至少之一：压缩处理、编码处理和转码处理。

在一示例性的实施方式中，所述测试系统还包括转发端，所述获取所述测试终端的屏幕数据包括：

建立连接所述转发端的WebSocket传输通道；

通过所述WebSocket传输通道从所述转发端获取所述测试终端的屏幕数据。

在一示例性的实施方式中，所述通过所述WebSocket传输通道从所述转发端获取所述测试终端的屏幕数据包括：

向所述转发端发送屏幕数据获取请求，所述屏幕数据获取请求中携带显示参数，以使所述转发端根据所述显示参数对接收到的所述测试终端的屏幕数据进行处理，得到处理后的屏幕数据，并发送所述处理后的屏幕数据；

接收所述转发端发送的所述处理后的屏幕数据。

根据本公开实施例的第二方面，提供一种录屏装置，应用于自动化测试系统的控制终端，所述自动化测试系统还包括位于远端的测试终端，所述装置包括：

屏幕数据获取单元，被配置为执行获取所述测试终端的屏幕数据；

操作界面显示单元，被配置为执行根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面；

目标区域确定单元，被配置为执行响应于录制对象选择操作，确定所述屏幕显示界面中的目标区域；

录制对象确定单元，被配置为执行根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象；

录制单元，被配置为执行调用所述控制终端的录屏接口对所述录制对象进行录制；

在一示例性的实施方式中，所述装置还包括：

测试单元，被配置为执行在调用所述控制终端的录屏接口对所述录制对象进行录制的过程中，接收对所述屏幕显示界面中所述操作界面执行的操作，向所述操作界面对应的测试终端发送测试指令，以由所述测试终端执行所述测试指令。

在一示例性的实施方式中，所述测试终端包括多个测试终端；

所述操作界面显示单元，具体被配置为执行根据所述多个测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示与所述多个测试终端一一对应的多个操作界面。

所述录制对象确定单元包括：

操作界面确定单元，被配置为执行确定所述多个操作界面中位于所述目标区域内的至少一个操作界面；

第一录制对象确定子单元，被配置为执行将位于所述目标区域内的至少一个操作界面作为所述录制对象。

在一示例性的实施方式中，所述录制对象确定单元还包括：

判断单元，被配置为执行判断所述目标区域是否位于所述多个操作界面中的任一操作界面内；

第二录制对象确定子单元，被配置为执行若所述目标区域位于所述多个操作界面中的任一操作界面内，则确定所述任一操作界面中位于所述目标区域的目标界面区域；将所述目标界面区域作为所述录制对象。

在一示例性的实施方式中，所述录制单元包括：

第一录制子单元，被配置为执行调用所述控制终端的操作系统提供的音视频录制接口，通过所述音视频录制接口对所述录制对象进行录制；或者，

第二录制子单元，被配置为执行调用第三方录屏应用程序的接口，通过所述第三方录屏应用程序对所述录制对象进行录制。

在一示例性的实施方式中，所述装置还包括：

录屏视频处理单元，被配置为执行在所述录制结束后得到录屏视频；按照预设处理方式对所述录制得到的录屏视频进行处理；

其中，所述预设处理方式包括以下至少之一：压缩处理、编码处理和转码处理。

在一示例性的实施方式中，所述测试系统还包括转发端，所述屏幕数据获取单元包括：

传输通道建立单元，被配置为执行建立连接所述转发端的WebSocket传输通道；

获取子单元，被配置为执行通过所述WebSocket传输通道从所述转发端获取所述测试终端的屏幕数据。

在一示例性的实施方式中，所述获取子单元包括：

请求发送单元，被配置为执行向所述转发端发送屏幕数据获取请求，所述屏幕数据获取请求中携带显示参数，以使所述转发端根据所述显示参数对接收到的所述测试终端的屏幕数据进行处理，得到处理后的屏幕数据，并发送所述处理后的屏幕数据；

数据接收单元，被配置为执行接收所述转发端发送的所述处理后的屏幕数据。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施方式所述的录屏方法。

根据本公开实施例的第四方面，提供一种计算机存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施方式所述的录屏方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任一方面的录屏方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取测试终端的屏幕数据，并根据测试终端的屏幕数据在控制终端的屏幕显示界面中显示测试终端的操作界面，进而响应于录制对象选择操作确定屏幕显示界面中的目标区域，根据该目标区域与操作界面的相对位置确定操作界面中的录制对象，并调用控制终端的录屏接口对该录制对象进行录制。在上述技术方案中，不仅可以实现在远程同时录制多个测试终端的操作界面，以提高测试效率，而且可以根据实际需要灵活进行一个或者几个操作界面的整体录制，也可以进行某一个操作界面内的局部录制，提高了对测试过程录制的灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的自动化测试系统的架构示意图；

图2a是根据一示例性实施例示出的一种录屏方法的流程图；

图2b是根据一示例性实施例示出的另一种录屏方法的流程图；

图3a是根据一示例性实施例示出的多个测试终端的操作界面在控制终端的屏幕显示界面的显示示意图；

图3b是根据一示例性实施例示出的屏幕显示界面中目标区域与操作界面的一种相对位置的示意图；

图3c是根据一示例性实施例示出的屏幕显示界面中目标区域与操作界面的另一种相对位置的示意图；

图4是根据一示例性实施例示出的控制终端根据屏幕显示界面中的目标区域与操作界面的相对位置确定操作界面中的录制对象的流程图；

图5是根据一示例性实施例示出的一种录屏装置的框图；

图6是根据一示例性实施例示出的一种终端的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，其所示为根据一示例性实施例示出的自动化测试系统的架构示意图，该自动化测试系统可以包括测试终端110、转发端120和控制终端130。

其中，测试终端110可以是云真机，具体的，测试终端110可以是安装有操作系统的移动终端，测试终端中的操作系统可以包括安卓操作系统、IOS操作系统等等，测试终端110中安装有待测试的应用程序。可以理解的，图1所示自动化测试系统中测试终端110的数量可以为多个，各测试终端110所对应的机型、操作系统可以相同也可以不同，可以根据实际的测试需求来确定。

控制终端130可以通过转发端120与测试终端110连接，并对测试终端110上待测试的应用程序进行自动化测试，转发端120作为控制终端130与测试终端110之间数据的中转。具体的，控制终端130可以是个人电脑(Personal Computer，PC)，转发端120可以是服务器，控制终端130的操作系统可以但不限于包括Windows操作系统和MacOS操作系统。

图2a是根据一示例性实施例示出的一种基于自动化测试的录屏方法的流程图，如图2a所示，以基于自动化测试的录屏方法应用于图1所示的系统进行说明，包括以下步骤。

在步骤S210中，测试终端采集屏幕数据，将该屏幕数据上传给转发端。

其中，屏幕数据为测试终端屏幕显示的相关数据，该屏幕数据可以屏幕截图的图片流形式上传给转发端，也可以测试终端屏幕视频流的形式上传给转发端。实际应用中，测试终端可以根据不同的硬件配置选择不同的屏幕数据采集方式，然后将采集的屏幕数据上传给转发端。

以测试终端为安卓系统移动终端为例，可以由移动终端通过安卓系统原生的screencap工具采集屏幕截图，也可以通过移动终端中的minicap工具采集本移动终端的屏幕截图形成图片流，minicap为移动终端上安装的STF(即Smartphone Test Farm)工具中的一个模块，负责从移动终端设备中获取屏幕信息。还可以由移动终端通过在本地启动的Scrcpy工具采集本移动终端屏幕的视频流，Scrcpy是一个在电脑上显示和控制Android设备的命令行工具，适用于GNU/Linux、Windows和Mac OS系统。

以测试终端为iOS系统移动终端为例，可以在移动终端安装并运行WebDriverAgent，通过WebDriverAgent采集本移动终端屏幕的视频流，WebDriverAgent是Facebook推出的一款iOS移动测试框架，能够支持模拟器以及真机。

具体的实施中，测试终端可以通过adb forward命令与转发端建立通信连接。Adb即Android Debug Bridge(安卓调试桥)起到连接桥的作用，可以将转发端和测试终端连接起来，进而借助adb工具可以管理设备或手机模拟器的状态。

当测试终端采用minicap工具采集本移动终端的屏幕截图时，转发端可以执行以下adb forward命令：adb forward tcp:6666localabstract:minicap，通过该adb forward命令可以将转发端的端口6666映射到minicap工具，实现转发端上socket与minicap进程的通信，进而将采集的测试终端的屏幕截图以图片流的形式一张张发送给转发端。

当测试终端采用Scrcpy工具采集本移动终端屏幕的视频流时，转发端可以执行以下adb forward命令：adb forward tcp:6666localabstract:scrcpy，通过该adb forward命令可以将转发端的端口6666映射到Scrcpy工具，实现转发端上socket与Scrcpy进程的通信，进而将采集的测试终端的屏幕视频流发送给转发端。

示例性的，测试终端的屏幕视频流的编码格式可以是H.264，H.264结构中一个视频图像编码后的数据叫一帧，一帧由一个片(slice)或多个片组成，一个片由一个或多个宏块(MB)组成。在H.264标准中，整个系统框架分为了两个层：视频编码层(VCL，Video CodingLayer)和网络抽象层(NAL，Network Abstraction Layer)，NAL单元是NAL的基本语法结构，它包含一个字节的头信息和一系列来自VCL的称为原始字节序列载荷(PBSP)的字节流。本公开的实施例中，测试终端发送给转发端的屏幕视频流是H.264视频流的NAL单元。

在步骤S220中，控制终端从转发端获取测试终端的屏幕数据。

具体的，可以在转发端与控制终端之间建立数据传输通道，并通过该数据传输通道将测试终端的屏幕数据发送给控制终端，以使控制终端获取到测试终端的屏幕数据。

示例性的，为了实现转发端与控制终端之间的双向数据传输，转发端与控制终端之间的数据传输通道可以是WebSocket传输通道，基于此，上述步骤S220在实施时可以包括以下步骤：

(1)控制终端建立与转发端的WebSocket传输通道。

(2)控制终端通过上述的WebSocket传输通道从转发端获取测试终端的屏幕数据。

为了使得控制终端能够获取到与其显示条件相匹配的屏幕数据，控制终端在通过WebSocket传输通道从转发端获取测试终端的屏幕数据时，可以先向转发端发送屏幕数据获取请求，该屏幕数据获取请求中携带显示参数，该显示参数可以但不限于包括屏幕截图的尺寸和清晰度等级等，如此，转发端可以根据屏幕数据获取请求中的显示参数对接收到的测试终端的屏幕数据进行相应处理，以得到处理后的屏幕数据，并将该处理后的屏幕数据发送给控制终端，从而控制终端接收转发端发送的上述处理后的屏幕数据。

举例而言，显示参数包括屏幕截图的尺寸为800*600，清晰度等级为高级，则转发端可以对测试终端的屏幕数据按照800*600的大小且清晰度等级为高级的要求进行处理，处理后的屏幕数据即与控制终端的显示条件相匹配，有利于后续在控制终端上更加清晰的显示各测试终端的操作界面，进而可以提高录屏视频的质量。

在步骤S230中，控制终端根据测试终端的屏幕数据，在控制终端的屏幕显示界面中显示测试终端的操作界面。

示例性的，控制终端解析测试终端的屏幕数据后可以通过浏览器如web浏览器在本地的屏幕显示界面中显示测试终端的操作界面，还可以通过专门开发的应用程序如能够对H.264数据进行解码的解码器对上述屏幕数据进行解码并显示在本地的屏幕显示界面中。

示例性的，测试终端可以包括多个测试终端，该多个测试终端中可以配置有相同或者不同的待测试应用程序，多个测试终端可以具有相同的操作系统也可以具有不同的操作系统，多个测试终端对应的机型可以相同也可以不同。那么，控制终端在根据测试终端的屏幕数据在本地的屏幕显示界面中显示测试终端的操作界面时，可以根据多个测试终端的屏幕数据，在本地的屏幕显示界面中显示与多个测试终端一一对应的多个操作界面。

以3个不同机型的测试终端为例，该3个测试终端中的待测试应用程序为同一应用程序，图3a所示为该3个测试终端的操作界面在以个人计算机作为控制终端的屏幕显示界面的显示示意图，屏幕显示界面在显示各测试终端的操作界面时，还可以同步对应显示各测试终端的机型，以便于后续对于录屏视频进行分析。

在步骤S240中，控制终端响应于录制对象选择操作，确定屏幕显示界面中的目标区域。

本公开的实施例中，为了提高对测试过程录屏的灵活性，允许测试人员在屏幕显示界面中对录制对象进行选择，以使得录制的录屏视频更加符合测试的需求。

具体的，测试人员可以根据实际录制需要在控制终端的屏幕显示界面上选取录制所针对的区域，该被选取的区域即为目标区域。

在步骤S250中，控制终端根据上述目标区域与操作界面的相对位置，确定操作界面中的录制对象。

本公开的实施例中，目标区域与操作界面的相对位置包括操作界面覆盖目标区域，以及目标区域覆盖操作界面，若目标区域与操作界面的相对位置是操作界面覆盖目标区域，则可以实现对操作界面内的局部进行录制，若目标区域与操作界面的相对位置是目标区域覆盖操作界面，则可以实现对整个操作界面的整体录制，从而根据实际需求确定的目标区域来确定录制对象，进而实现对操作界面内的局部进行录制或者对操作界面的整体录制，提高了对测试过程录制的灵活性。

在测试终端为多个测试终端的场景下，控制终端在根据屏幕显示界面中的目标区域与操作界面的相对位置，确定操作界面中的录制对象时，可以包括图4中的以下步骤：

在步骤S410中，控制终端判断屏幕显示界面中的目标区域是否位于多个操作界面中的任一操作界面内。

具体的，若屏幕显示界面中的目标区域位于多个操作界面中的任一操作界面内，则可以执行步骤S440；若屏幕显示界面中的目标区域不在多个操作界面中的任一操作界面内，则可以执行步骤S420至步骤S440。

在步骤S420中，控制终端确定多个操作界面中位于目标区域内的至少一个操作界面。

在步骤S430中，控制终端将位于目标区域内的至少一个操作界面作为录制对象。

具体的，当目标区域不在多个操作界面中的任一操作界面内时，则表明当前需要进行操作界面的整体录制，也即录制一个或者多个完整的操作界面，此时可以确定多个操作界面中位于目标区域内的至少一个操作界面，并将位于目标区域内的至少一个操作界面作为录制对象，从而在后续可以对目标区域内的一个或者多个操作界面的整体进行录制，有利于提高测试效率。

以图3b为例，目标区域可以是屏幕显示界面中同时包括3个测试终端的操作界面的区域，如此可以将该3个测试终端的操作界面作为录制对象录制进录屏视频的同一帧画面中，也即可以在录屏视频的每一个帧画面中包含多个测试终端的操作界面，那么对于该多个测试终端而言最终只有一个录屏文件，相较于现有技术每个测试终端对应一个独立的录屏文件，本公开的实施例可以在控制终端同时对多个测试终端的操作界面进行录制，有利于降低后续对于录屏文件的分析难度，提高测试效率。

在步骤S440中，控制终端确定上述任一操作界面中位于目标区域的目标界面区域，将该目标界面区域作为录制对象。

具体的，当目标区域位于多个操作界面中的任一操作界面内时，表明当前需要对某个操作界面内的局部进行录制，此时可以确定该某个操作界面中位于该目标区域的目标界面区域，将该目标界面区域作为录制对象，如图3c所示，从而在后续可以对该目标界面区域对应的测试操作进行录制，实现了对多个操作界面中任一操作界面内的局部区域的录制，不仅提高了测试过程录制的灵活性，还有利于提高测试的准确性。

本公开的实施例，通过上述对于录制对象的选择可以使测试人员灵活的选择需要录制的操作界面，且可以同时选择需要录制的多个操作界面，另外还可以对某个操作界面的局部进行录制，不仅提高了在控制终端侧进行录屏的灵活性，而且使得所录制的视频与测试人员的需求更加匹配，有利于提高整体的测试效率。

在步骤S260中，控制终端调用该控制终端的录屏接口对上述录制对象进行录制。

作为一个可能的实施方式，控制终端可以调用本地操作系统提供的音视频录制接口，通过该音视频录制接口对控制终端屏幕显示界面进行录制。具体的实施中，若控制终端的本地操作系统为MacOS操作系统，则可以使用AVFoudation框架的API或者FFMpeg、QuickTimeplayer等工具。其中，AVFoundation是苹果在iOS和OS X系统中用于处理基于时间的媒体数据的Objective-C框架，供使用者来开发媒体类型的应用程序。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，它包括了目前领先的音/视频编码库libavcodec。QuickTimeplayer是苹果公司发布的基于macOS和Windows开发的播放器，其自带了视频录制功能。

作为另一个可能的实施方式，控制终端还可以调用第三方录屏应用程序的接口，通过该第三方录屏应用程序对屏幕显示界面进行录制。其中，第三方录屏应用程序不是控制终端操作系统自带的录屏软，需要从相关的应用市场中下载并安装至控制终端上，例如该第三方录屏应用程序可以是录屏大师等等。

作为一个可能的实施方式，如图2b所示，实际应用中在上述步骤S260之后，该方法还可以包括：

在步骤S270中，在调用控制终端的录屏接口对上述录制对象进行录制的的过程中，控制终端接收对屏幕显示界面中操作界面执行的操作，向该操作界面对应的测试终端发送测试指令，以由该测试终端执行该测试指令。

具体的，测试人员可以对屏幕显示界面中的操作界面执行相应的操作，例如点击操作界面中的控件、在操作界面向预定方向进行滑动等，那么控制终端在接收到用户的上述操作后会产生相应的测试指令，该测试指令用于指示被操作的操作界面所对应的测试终端执行上述操作对应的事件，控制终端将上述测试指令回传给转发端，由转发端发送给远端的相应测试终端，从而该测试终端按照上述测试指令执行操作对应的事件。可以理解的，测试终端执行上述测试指令后的屏幕数据可以按照前述步骤S210至步骤S230传送至控制终端，并最终在控制终端的屏幕显示界面上显示。

本公开的实施例，通过上述对于录制对象的选择可以使测试人员灵活的选择需要录制的操作界面，且可以同时选择需要录制的多个操作界面，另外还可以对某个操作界面的局部进行录制，不仅提高了在控制终端侧进行录屏的灵活性，而且使得所录制的视频与测试人员的需求更加匹配，有利于提高整体的测试效率。

由于本公开的实施例在控制终端实现对位于远端的多个测试终端的操作界面进行录制，而控制终端的存储空间相较于测试终端来说要大很多，性能方面也比测试终端好，因此，控制终端在对其屏幕显示界面中的操作界面进行视频录制并在录制结束后得到录屏视频时，可以按照预设处理方式对录制得到的录屏视频进行处理，该预设处理方式可以包括以下至少之一：压缩处理、编码处理和转码处理，通过上述的预设处理可以提高所录制的录屏视频的可传输性。

另外，为了方便测试人员对于录屏视频的分析，示例性的，控制终端还可以在根据网络环境将录屏视频转存至远端服务器上，例如，控制终端可以在网络状况好的时候将录屏视频上传至远端服务器，由远端服务器侧的测试分析人员完成对录屏视频的分析。

由本公开实施例的上述技术方案可知，本公开实施例在控制终端对远端测试终端操作界面进行远程录制，从而可以实现同时录制多个测试终端的操作界面，降低了后续对于录屏视频的分析难度，提高了测试效率。而且，在控制端录制不仅没有权限限制(无需root)和录制时长的限制，而且控制端的存储空间比移动设备要大的多，录屏文件的大小不受限制，进而提高了自动化测试的灵活性。另外，本公开的实施例可以根据实际需要灵活进行一个或者几个操作界面的整体录制，也可以进行某一个操作界面内的局部录制，提高了对测试过程录制的灵活性。

图5是根据一示例性实施例示出的一种录屏装置的框图。参照图5，该装置包括屏幕数据获取单元510，操作界面显示单元520，目标区域确定单元530，录制对象确定单元540和录制单元550。

该屏幕数据获取单元510，被配置为执行获取所述测试终端的屏幕数据；

该操作界面显示单元520，被配置为执行根据所述测试终端的屏幕数据，在控制终端的屏幕显示界面中显示所述测试终端的操作界面；

该目标区域确定单元530，被配置为执行响应于录制对象选择操作，确定所述屏幕显示界面中的目标区域；

该录制对象确定单元540，被配置为执行根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象；

该录制单元550，被配置为执行调用所述控制终端的录屏接口对所述录制对象进行录制。

在一示例性的实施方式中，该装置还可以包括：

测试单元，被配置为执行在调用控制终端的录屏接口对上述录制对象进行录制的过程中，接收对所述屏幕显示界面中所述操作界面执行的操作，向所述操作界面对应的测试终端发送测试指令，以由所述测试终端执行所述测试指令。

在一示例性的实施方式中，所述测试终端包括多个测试终端；

该操作界面显示单元520，具体被配置为执行根据所述多个测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示与所述多个测试终端一一对应的多个操作界面。

该录制对象确定单元540包括：

操作界面确定单元，被配置为执行确定所述多个操作界面中位于所述目标区域内的至少一个操作界面；

第一录制对象确定子单元，被配置为执行将位于所述目标区域内的至少一个操作界面作为所述录制对象。

在一示例性的实施方式中，该录制对象确定单元540还包括：

判断单元，被配置为执行判断所述目标区域是否位于所述多个操作界面中的任一操作界面内；

第二录制对象确定子单元，被配置为执行若所述目标区域位于所述多个操作界面中的任一操作界面内，则确定所述任一操作界面中位于所述目标区域的目标界面区域；将所述目标界面区域作为所述录制对象。

在一示例性的实施方式中，该录制单元550包括：

第一录制子单元，被配置为执行调用所述控制终端的操作系统提供的音视频录制接口，通过所述音视频录制接口对所述录制对象进行录制；或者，

第二录制子单元，被配置为执行调用第三方录屏应用程序的接口，通过所述第三方录屏应用程序对所述录制对象进行录制。

在一示例性的实施方式中，该装置还包括：

录屏视频处理单元，被配置为执行在所述录制结束后得到录屏视频；按照预设处理方式对所述录制得到的录屏视频进行处理；

其中，所述预设处理方式包括以下至少之一：压缩处理、编码处理和转码处理。

在一示例性的实施方式中，所述测试系统还包括转发端，该屏幕数据获取单元510包括：

传输通道建立单元，被配置为执行建立连接所述转发端的WebSocket传输通道；

获取子单元，被配置为执行通过所述WebSocket传输通道从所述转发端获取所述测试终端的屏幕数据。

在一示例性的实施方式中，该获取子单元包括：

请求发送单元，被配置为执行向所述转发端发送屏幕数据获取请求，所述屏幕数据获取请求中携带显示参数，以使所述转发端根据所述显示参数对接收到的所述测试终端的屏幕数据进行处理，得到处理后的屏幕数据，并发送所述处理后的屏幕数据；

数据接收单元，被配置为执行接收所述转发端发送的所述处理后的屏幕数据。

本公开实施例的录屏装置，在控制终端对远端测试终端操作界面进行远程录制，从而可以实现同时录制多个测试终端的操作界面，降低了后续对于录屏视频的分析难度，提高了测试效率。而且，在控制端录制不仅没有权限限制(无需root)和录制时长的限制，而且控制端的存储空间比移动设备要大的多，录屏文件的大小不受限制，进而提高了自动化测试的灵活性。另外，本公开的实施例可以根据实际需要灵活进行一个或者几个操作界面的整体录制，也可以进行某一个操作界面内的局部录制，提高了对测试过程录制的灵活性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现上述实施例中任一录屏方法的步骤。

该电子设备可以是终端、服务器或者类似的运算装置，以该电子设备是终端为例，图6是根据一示例性实施例示出的一种终端的的框图，具体来讲：

该终端可以包括RF(Radio Frequency，射频)电路610、包括有一个或一个以上计算机可读存储介质的存储器620、输入单元630、显示单元640、传感器650、音频电路660、WiFi(wireless fidelity，无线保真)模块670、包括有一个或者一个以上处理核心的处理器680、以及电源690等部件。本领域技术人员可以理解，图6中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器680处理；另外，将涉及上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。

存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器620还可以包括存储器控制器，以提供处理器680和输入单元630对存储器620的访问。

输入单元630可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元630可包括触敏表面631以及其他输入设备632。触敏表面631，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。除了触敏表面631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板641。进一步的，触敏表面631可覆盖显示面板641，当触敏表面631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。其中，触敏表面631与显示面板641可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面631与显示面板641集成而实现输入和输出功能。

该终端还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在所述终端移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路660、扬声器661，传声器662可提供用户与所述终端之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一终端，或者将音频数据输出至存储器620以便进一步处理。音频电路660还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。

WiFi属于短距离无线传输技术，所述终端通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块670，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器680是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器680可包括一个或多个处理核心；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

所述终端还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源690还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的录屏方法的指令。

在示例性实施例中，还提供了一种计算机存储介质，当该计算机存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中的任一录屏方法。

在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种实施方式中提供的录屏方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种录屏方法，其特征在于，应用于自动化测试系统的控制终端，所述自动化测试系统还包括位于远端的测试终端，所述方法包括：

获取所述测试终端的屏幕数据；

根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面；

响应于录制对象选择操作，确定所述屏幕显示界面中的目标区域；

根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象；

调用所述控制终端的录屏接口对所述录制对象进行录制。

2.根据权利要求1所述的录屏方法，其特征在于，所述方法还包括：

在调用所述控制终端的录屏接口对所述录制对象进行录制的过程中，接收对所述屏幕显示界面中所述操作界面执行的操作，向所述操作界面对应的测试终端发送测试指令，以由所述测试终端执行所述测试指令。

3.根据权利要求1所述的录屏方法，其特征在于，所述测试终端包括多个测试终端；

所述根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面包括：

根据所述多个测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示与所述多个测试终端一一对应的多个操作界面；

所述根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象包括：

确定所述多个操作界面中位于所述目标区域内的至少一个操作界面；

将位于所述目标区域内的至少一个操作界面作为所述录制对象。

4.根据权利要求3所述的录屏方法，其特征在于，在确定所述多个操作界面中位于所述目标区域内的至少一个操作界面之前，所述方法还包括：

判断所述目标区域是否位于所述多个操作界面中的任一操作界面内；

若所述目标区域位于所述多个操作界面中的任一操作界面内，则确定所述任一操作界面中位于所述目标区域的目标界面区域；

将所述目标界面区域作为所述录制对象。

5.根据权利要求1所述的录屏方法，其特征在于，所述调用所述控制终端的录屏接口对所述录制对象进行录制包括：

调用所述控制终端的操作系统提供的音视频录制接口，通过所述音视频录制接口对所述录制对象进行录制；或者，

调用第三方录屏应用程序的接口，通过所述第三方录屏应用程序对所述录制对象进行录制。

6.根据权利要求1所述的录屏方法，其特征在于，所述方法还包括：

在所述录制结束后得到录屏视频；

按照预设处理方式对所述录制得到的录屏视频进行处理；

其中，所述预设处理方式包括以下至少之一：压缩处理、编码处理和转码处理。

7.一种录屏装置，其特征在于，应用于自动化测试系统的控制终端，所述自动化测试系统还包括位于远端的测试终端，所述装置包括：

屏幕数据获取单元，被配置为执行获取所述测试终端的屏幕数据；

操作界面显示单元，被配置为执行根据所述测试终端的屏幕数据，在所述控制终端的屏幕显示界面中显示所述测试终端的操作界面；

目标区域确定单元，被配置为执行响应于录制对象选择操作，确定所述屏幕显示界面中的目标区域；

录制对象确定单元，被配置为执行根据所述目标区域与所述操作界面的相对位置，确定所述操作界面中的录制对象；

录制单元，被配置为执行调用所述控制终端的录屏接口对所述录制对象进行录制。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的录屏方法。

9.一种计算机存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的录屏方法。

10.一种计算程序产品，包括计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任一项所述的录屏方法。

Images