CN107656816A - 一种多端同步操作的方法和装置 - Google Patents

Abstract

本发明公开了一种多端同步操作的方法，包括：响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。相应的，本发明还公开了一种多端同步操作的装置。本发明能节省时间成本，提高工作效率。

Description

一种多端同步操作的方法和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种多端同步操作的方法和装置。

背景技术

目前在测试软件时，需要覆盖不同的机器类型、不同的分辨率和不同的操作系统(如win7、win8、win10、安卓系统或ios系统)，现有的测试方法每执行一遍测试用例，只能针对一种类型机器、一种分辨率和一种操作系统，不能一次覆盖所有机器和系统。而且，同一款软件包含很多的功能模块，每个功能模块对应的测试用例非常多，完整执行一遍测试用例下来，需要耗费很长的时间，如果需要在不同的机型、分辨率和操作系统下测试，又需要完整的执行一遍测试用例。综上，现有技术针对所有的机型、分辨率和操作系统的测试一轮下来，时间成本太大，工作效率太低。

发明内容

本发明实施例的目的是提供一种多端同步操作的方法和装置，能节省时间成本，提高工作效率。

为实现上述目的，本发明实施例提供了一种多端同步操作的方法，包括：

响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。

进一步的，所述多端同步操作的方法还包括：

对所述图像进行识别，以获取所述操作事件对应的控件标识信息；

所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包包括：

向远程接口发送包括所述操作方式信息和包括所述控件标识信息的所述图像的信息的数据包。

进一步的，所述图像的信息包括所述图像；

则与所述远程接口可耦合通信的接收端能够对接收到的所述图像进行识别以获取控件标识信息，并根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

进一步的，所述对所述图像进行识别，以获取所述操作事件对应的控件标识信息具体包括：

对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，

将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。

进一步的，所述数据包还包括第一操作位置信息；

所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件，具体为：

向远程接口发送包括所述第一操作位置信息、所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述第一操作位置信息、所述图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据所述数据包中的操作方式信息执行所述控件；其中，所述远程接口可耦合通信的接收端已预先获取所述发送端的屏幕分辨率信息。

进一步的，所述第一操作位置信息包括第一操作位置的坐标点；

则所述基于预设的截图规则及所述第一操作位置信息确定截图区域具体包括：

以所述第一操作位置信息的坐标点为所述截图区域的中心点，根据预置的截图形状和截图尺寸确定所述截图区域的边界点坐标以确定所述截图区域。

相应的，本发明实施例还提供一种多端同步操作的方法，包括：

通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

根据所述图像的信息在本地搜索到对应的控件；

根据所述操作方式信息执行所述控件。

进一步的，接收的所述图像的信息中包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像并对所述图像进行识别以获取的所述控件标识信息；

所述根据所述图像的信息在本地搜索到对应的控件包括：

根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

进一步的，接收的所述图像的信息包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像；

则所述根据所述图像的信息在本地搜索到对应的控件包括：

对所述图像进行识别以获取控件标识信息；

根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

进一步的，所述数据包还包括第一操作位置信息；

则当根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件的数目为至少两个时，还包括：

获取所述至少两个对应的控件的位置；

将所述第一操作位置信息转换为相对于所述发送端的屏幕分辨率的所述第二操作位置；其中，所述发送端的屏幕分辨率已预先获取；

从所述至少两个对应的控件中确定与所述第二操作位置最相近的所述控件的位置；

根据所述操作方式信息确定的所述控件。

相应，本发明一实施例还提供一种多端同步操作的装置，包括：

第一操作检测单元，用于响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

第一截图单元，用于基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

第一发送单元，用于向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件。

相应，本发明实施例还提供一种多端同步操作的装置，包括：

第一接收单元，用于通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

第一控件搜索单元，用于根据所述图像的信息在本地搜索到对应的控件；

第一操作执行单元，用于根据所述操作方式信息执行所述控件。

相应，本发明一实施例还提供一种终端，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据本发明实施例所提供的一种多端同步操作的方法。

与现有技术相比，本发明实施例提供的一种多端同步操作的方法和装置，通过在服务端的屏幕上检测到操作时，通过服务端获取所述操作对应的操作位置和操作方式，截取操作位置所在的特定区域的图像，将图像识别后获取的控件的标识以及操作方式同步发送至客户端，或，直接将图像和操作方式同步发送至客户端，由客户端对图像识别后获取控件的标识，通过客户端根据控件的标识和操作方式完成对应的操作的技术方案，从而实现在服务端操作时，客户端能够对应完成相应操作，大大节省时间成本，提高工作效率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例1提供的一种多端同步操作的方法的流程示意图；

图2是本发明实施例1提供的一种多端同步操作的方法的确定截图区域的坐标的示例图；

图3是本发明实施例1提供的一种多端同步操作的方法的流程示意图；

图4是本发明实施例2提供的一种多端同步操作的方法的流程示意图；

图5是本发明实施例3提供的一种多端同步操作的方法的流程示意图；

图6是本发明实施例4提供的一种多端同步操作的装置的结构示意图；

图7是本发明实施例5提供的一种多端同步操作的装置的结构示意图；

图8是本发明实施例6提供的一种多端同步操作的装置的结构示意图；

图9是本发明实施例7提供的一种多端同步操作的装置的结构示意图；

图10是本发明实施例9提供的一种多端同步操作的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供的一种多端同步操作的方法，可适用于发送端；参见图1，图1是本发明实施例1的流程示意图，包括：

S11、响应于监测到的作用在当前界面上的操作事件，获取操作事件对应的第一操作位置信息和操作方式信息；

S12、基于预设的截图规则及第一操作位置信息确定截图区域，并截取截图区域所对应的图像；

S13、向远程接口发送包括操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的至少一个接收端能够根据数据包中的图像的信息在本地搜索到对应的控件，并根据操作方式信息执行控件。

步骤S11中，发送端的屏幕上的操作包括鼠标操作事件和触摸操作事件。本实施例可采用全局钩子函数捕获鼠标操作。鼠标操作所对应的操作方式包括鼠标移动、鼠标按下、鼠标抬起和鼠标滚轮中的一种。

进一步的，步骤S12中基于预设的截图规则及第一操作位置信息确定截图区域具体包括：以第一操作位置信息的坐标点为截图区域的中心点，根据预置的对应于截图形状和截图尺寸的信息确定截图区域的边界点坐标以确定截图区域。

通常，在当前界面上的操作事件所对应的第一操作位置信息为一坐标点，出于用户点击当前界面上的某一坐标点的目的实质是点击该坐标点所在的控件的考虑，本实施例预置截图形状和截图尺寸的信息(或规则)来确定截图区域的边界点坐标，可以确定一包括了所点击的控件的截图区域。用户可以根据当前界面的控件尺寸状况，来调整预置截图形状和截图尺寸的信息(或规则)，以保证确定的截图区域能够完整包括该点击的控件。

参见图2，图2为确定截图区域的坐标一种示例图，A点为第一操作位置的坐标点，当前点击的坐标为A(500,500)，以A点为截图区域的中心点，按照预置的截图形状为正方形，截图尺寸为正方形的边长为1000，则对应确定截图区域的四个顶点坐标点：B(0,1000)、C(0,0)、D(1000,0)、E(1000,1000)。获得B、C、D、E的四个顶点的坐标点后，就可以确认截图区域的大小(Top、Left、Height、Width)，即为(0,1000,1000,1000)。其中Top表示控件距离顶部距离，Left表示控件距离左边距离，Height表示控件高度，Width表示控件宽度。

本实施例以第一操作位置信息所对应的坐标点为中心点，然后确定阈值尺寸的形状为正方形的截图区域的四个顶点坐标，从而确定截图区域。该方法算法简单、数据量小，易于服务器进行快速地截图区域。参见图3，多端同步操作的方法在截取截图区域所对应的图像后还包括了步骤S101：

S101、对图像进行识别，以获取操作事件对应的控件标识信息；

则步骤S13中向远程接口发送包括所述操作方式信息和所述图像的信息的数据包：

向远程接口发送包括操作方式信息和包括控件标识信息的图像的信息的数据包。

进一步的，步骤S101具体可以为：对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，步骤S101具体可以为：将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。优选，通过OCR(Optical Character Recognition，光学字符识别)图片识别方法识别控件的标识。

步骤S13中的数据包还包括第一操作位置信息，则步骤S13具体为：

向远程接口同步发送包括第一操作位置信息、操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的至少一接收端能够根据第一操作位置信息、图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据数据包中的操作方式信息执行控件；其中，远程接口可耦合通信的接收端已预先获取发送端的屏幕分辨率信息，发送端为远程接口所在的发送端。接收端唯一确定对应的控件的一种实施方式如下：

如，当接收端根据控件标识信息搜索到至少两个对应的控件时，获取至少两个对应的控件的位置；将第一操作位置转换为相对于接收端的屏幕分辨率的第二操作位置；确定与第二操作位置最相近的控件的位置，则该最相近的控件的位置所对应的控件为接收端需要操作的控件。

本实施例通过在发送的数据包中还包括第一操作位置信息的实施方式，可以解决单纯通过截图的图像的实施方式可能会对应多个控件的问题，通过第一操作位置信息来进行位置的辅助判断，使得接收端能够唯一确定对应的控件。大大提高了本实施例的准确率。

步骤S13中每一接收端所执行的操作可以具体为：接收端能够根据控件标识信息在本地搜索到与控件标识信息对应的控件，如接收到的控件的标识为控件的名称，通过UIAutomation控件根据所接收到的控件的名称搜索到控件的具体位置，然后采用了鼠标模拟操作控件的方法，即通过使用window装置提供的Api的Mouse_event函数来控制鼠标操作控件。上述只是接收端的一种实施方式，可以替换其它根据控件的标识搜索控件的方式或替换其他根据控件和操作方式执行操作的方式，也在本实施例的保护范围之内。

说明：UIAutomation是微软从Windows Vista开始推出的一套全新UI自动化测试技术，简称UIA。Api(Application Programming Interface,应用程序编程接口)是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。Mouse_event函数是综合鼠标移动和按钮点击的函数。

发送端的远程接口与接收端的耦合通信可以预先约定好通信协议，即消息结构。示例，定义消息结构string data＝$”Mouse/8001/{e.X}/{e.Y}/0\n”；发送端根据该消息结构发送数据至接收端，接收端根据该消息结构解析数据，其中：

Mouse表示鼠标事件，可将Mouse替换为KeyBoard，KeyBoard表示键盘事件，可根据实际情况来定义；

8001表示鼠标滑动，可将8001替换为8002或8003，用8002表示鼠标左键按下，用8003表示鼠标右键按下；也可以根据实际情况设定其它数值定义其它操作方式；

{e.X}和{e.Y}表示当前的操作位置的坐标点；

/0：预留位，没有可写为0；

\n：以\n来判断整个流的结尾。

另外，每一接收端通过绑定到发送端的ip地址和端口，从而与发送端建立TCP(Transmission Control Protocol，即传输控制协议)连接。

对应的，发送端在完成步骤S14后，还可以接收到接收端在根据发送端发送的控件标识信息和操作方式完成操作信息后所发送的反馈信息，从而确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，响应于发送端的屏幕上的操作事件，并获取与操作事件对应的第一操作位置信息和操作方式信息；然后，截取第一操作位置信息所在的截图区域的图像；接着，对图像进行识别，包括字符识别或图像识别，以获取对应的控件标识信息；最后，将控件标识信息和操作方式信息同步发送给至少一个接收端，以使每一接收端能够根据控件标识信息在本地搜索到对应的控件，并根据操作方式信息执行控件。

本实施例通过发送端操作时，接收端能够对应完成相应操作的技术方案，实现多端同步操作，避免重复操作，大大节省时间成本，提高工作效率。

本发明实施例2还提供一种多端同步操作的方法，适用于发送端。可以参见图4，本实施例与实施例1同样包括下述步骤：

S21、响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

S22、基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

S23、向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。

其中，步骤S21的具体实施内容可以参考实施例1的步骤S11的说明，步骤S22的具体实施内容可以参考实施例1的步骤S12的说明，另外，本实施例2中关于发送端可以如何与接收端建立连接、发送端和接收端相互之间的通信预先约定的通信协议的具体过程也可以参考实施例1中的对应实施方式，此处均不再赘述。

与实施例1不同的是，步骤S23中图像的信息包括图像；则步骤S23具体为：与远程接口可耦合通信的接收端能够对接收到的图像进行识别以获取控件标识信息，并根据控件标识信息在本地搜索到与控件标识信息对应的控件；并根据操作方式信息执行控件。

本实施例2与实施例1同样是发送端在检测到操作时获取操作对应的第一操作位置信息和操作方式信息，并获取第一操作位置信息所在的截图区域的图像，不同的是，实施例1对图像进行识别后获得控件标识信息，将控件标识信息作为图像的信息发送给接收端，而本实施例2直接将图像作为图像的信息发送给接收端，由接收端来执行图像识别的步骤。

进一步的，步骤S23中数据包还包括第一操作位置信息；向远程接口同步发送包括操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的接收端能够根据数据包中的图像的信息在本地搜索到对应的控件，并根据数据包中的操作方式信息执行控件，具体为：

向远程接口同步发送包括第一操作位置信息、操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的每一接收端能够根据第一操作位置信息、图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据数据包中的操作方式信息执行控件；其中，远程接口可耦合通信的接收端已预先获取发送端的屏幕分辨率信息，发送端为远程接口所在的发送端。

对应的，发送端在完成步骤S23后，与实施例1同样可以接收到接收端在根据发送端发送的图像和操作方式完成操作后所发送的反馈信息，从而确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，响应于监测到的作用在当前界面上的操作事件，获取与操作对应的第一操作位置和操作方式；然后，截取第一操作位置信息所对应的截图区域的图像；最后，将图像和操作方式同步发送给至少一个接收端，以使每一接收端能够通过识别图像以获取控件的标识，根据控件标识信息在本地搜索到对应的控件，并根据操作方式信息执行控件。

本实施例在发送端操作时，接收端能够对应完成相应操作的技术方案，实现多端同步操作，避免重复操作，大大节省时间成本，提高工作效率。

本发明实施例3还提供一种多端同步操作的方法，适用于接收端；参见图5，图5是本发明实施例3的流程示意图，包括：

S31、通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

S32、根据图像的信息在本地搜索到对应的控件；

S33、根据操作方式信息执行控件。

本实施例中所对应适用的发送端的实施方式可以参照本发明实施例1的实施过程，此处不做赘述。

具体的，步骤S31接收的所述图像的信息中包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像并对所述图像进行识别以获取的所述控件标识信息；

步骤S32中根据图像的信息在本地搜索到对应的控件包括：

根据控件标识信息在本地搜索到与控件标识信息对应的控件。

进一步的，步骤S32可以为：根据控件标识信息在本地搜索到与控件标识信息对应的控件的位置；对应的，步骤S33具体为：根据操作方式信息执行控件具体为：根据操作方式信息在控件的位置完成相应的操作。示例：

接收到的控件标识信息为控件的名称，通过UIAutomation控件根据所接收到的控件的名称搜索到控件的位置，然后采用了鼠标模拟操作控件的方法，即通过使用window装置提供的Api的Mouse_event函数来控制鼠标操作控件。上述只是本实施例的一种实施方式，可以替换其它根据控件标识信息搜索控件的方式或替换其它根据控件和操作方式信息执行操作的方式，也在本实施例的保护范围之内。

本实施例的步骤S31中接收数据包还包括第一操作位置信息；则步骤S32中当根据控件标识信息在本地搜索到与控件标识信息对应的控件的数目为至少两个时，还包括：

获取至少两个对应的控件的位置；

将第一操作位置信息转换为相对于发送端的屏幕分辨率的第二操作位置；其中，发送端的屏幕分辨率已预先获取；

从至少两个对应的控件中确定与第二操作位置最相近的控件的位置；

对应，步骤S33具体为：根据操作方式信息确定的控件。

本实施例通过在发送的数据包中还包括第一操作位置信息来确定唯一控件的实施方式，可以解决单纯通过截图的图像的实施方式可能会对应多个控件标识的问题，通过第一操作位置信息来进行位置的辅助判断，从而能够唯一确定对应的控件。大大提高了接收端的执行同步操作的准确率。

本实施通过远程接口与发送端之间的耦合通信可以预先约定好通信协议，即相互发送的消息结构，具体可以参照本发明实施例1中所提及的如何定义消息结构的实施方式，此处不做赘述。

另外，接收端通过绑定到发送端的ip地址和端口，从而与发送端建立TCP连接。

对应的，接收端执行步骤S33后还包括步骤：S34、完成操作后发送反馈信息至发送端，从而使得发送端可以确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，使得发送端可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，接收数据包；然后，根据数据包中的控件标识信息在本地搜索到对应的控件的位置；当搜索到多个控件的位置时，根据数据包中的第一操作位置信息唯一确定控件的位置，最后，根据数据包中的操作方式信息在确定的控件的位置完成相应的操作；在完成操作后，还可以发送反馈信息至发送端。

本实施例通过接收端根据发送端传送的操作信息来完成对应的操作，实现多端同步操作，无需重复操作，大大节省时间成本，提高工作效率。

本发明实施例4还提供一种多端同步操作的方法，适用于接收端。参见图6，与实施例3同样包括下述步骤：

S41、通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送的；S42、根据图像的信息在本地搜索到对应的控件；

S43、根据操作方式信息执行控件。本实施例4的远程接口耦合通信的发送端的实施方式可以参考实施例2的说明，此处不再赘述。不同的是，实施例3的数据包中所接收到的图像的信息为控件标识信息，而实施例4接收的数据包中的所述图像的信息包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像，即图像的信息为没有经过图像识别处理的图像，本实施例4中在步骤S42根据图像的信息在本地搜索到对应的控件的过程中还包括对图像进行识别后获得控件标识信息的步骤，即步骤S42为：

S421、对图像进行识别以获取控件标识信息；

S422、根据控件标识信息在本地搜索到与控件标识信息对应的控件。

进一步的，在步骤S421可以为：对图像进行文字识别，以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，可以为：将图像与本地预存的控件图库中的控件图进行匹配识别，以获取与图像匹配的控件图的标识信息作为控件标识信息。优选，通过OCR(Optical Character Recognition，光学字符识别)图片识别方法识别控件标识信息。

进一步的，步骤S422可以为：根据控件标识信息在本地搜索到与控件标识信息对应的控件的位置；对应的，步骤S43具体为：根据操作方式信息执行控件具体为：根据操作方式信息在控件的位置完成相应的操作。示例：

另外，步骤S43的具体实施内容可以参考实施例3的步骤S33的说明。

另外，本实施例中关于发送端可以如何与接收端建立连接、发送端和接收端相互之间的通信预先约定的通信协议的具体过程也可以参考实施例1中的对应实施方式，此处不做赘述。

与实施例3相同的还有，接收端执行步骤S43后还包括步骤S44：S44、完成操作后发送反馈信息至发送端，从而使得发送端可以确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，使得发送端可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，接收数据包；然后，对数据包中包括的图像进行识别以获取对应的控件标识信息；接着，根据控件标识信息在本地搜索到与标识对应的控件的位置；最后，根据数据包中的操作方式信息在控件的位置完成相应的操作；在完成操作后，还可以发送反馈信息至发送端。

本实施例能够根据发送端传送的操作信息来完成对应的操作，从而实现多端同步操作，无需重复操作，大大节省时间成本，提高工作效率。

本发明实施例5还提供一种多端同步操作的装置，参见图7，图7是本实施例的结构示意图，本实施例包括：

第一操作检测单元11，用于响应于监测到的作用在当前界面上的操作事件，获取包括操作事件对应的第一操作位置信息和操作方式信息；第一截图单元12，用于基于预设的截图规则及第一操作位置信息确定截图区域，并截取截图区域所对应的图像；

第一发送单元14，用于向远程接口发送包括操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的至少一个接收端能够根据数据包中的图像的信息在本地搜索到对应的控件，并根据数据包中的操作方式信息执行控件。

第一操作检测单元11所响应的操作事件包括鼠标操作事件和触摸操作事件。本实施例优选采用全局钩子函数捕获鼠标操作事件。鼠标操作所对应的操作方式包括鼠标移动、鼠标按下、鼠标抬起和鼠标滚轮中的一种。

进一步的，第一截图单元12中基于第一操作位置确定截图区域具体为：以第一操作位置的坐标点为截图区域的中心点，根据对应于截图形状和截图尺寸的信息(或规则)确定截图区域的边界点坐标以确定截图区域。

示例，可以参见图2的确定截图区域的坐标一种示例图，A点为第一操作位置的坐标点，当前点击的坐标为A(500,500)，以A点为截图区域的中心点，按照预置的截图形状为正方形，截图尺寸为正方形的边长为1000，则对应确定截图区域的四个顶点坐标点：B(0,1000)、C(0,0)、D(1000,0)、E(1000,1000)。获得B、C、D、E的四个顶点的坐标点后，就可以确认截图区域的大小(Top、Left、Height、Width)，即为(0,1000,1000,1000)。其中Top表示控件距离顶部距离，Left表示控件距离左边距离，Height表示控件高度，Width表示控件宽度。

进一步的，本实施例还包括第一控件标识获取单元13，用于对图像进行识别，以获取操作事件对应的控件标识信息；

则第一发送单元14中向远程接口发送包括所述操作方式信息和所述图像的信息的数据包：

向远程接口发送包括操作方式信息和包括控件标识信息的图像的信息的数据包。

第一控件标识获取单元13具体可以用于：对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。优选，通过OCR(Optical Character Recognition，光学字符识别)图片识别方法识别控件的标识。

进一步的，第一发送单元14发送的数据包还包括第一操作位置信息，即向远程接口同步发送包括第一操作位置信息、操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的每一接收端能够根据第一操作位置信息、图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据数据包中的操作方式信息执行控件；其中，远程接口可耦合通信的接收端已预先获取发送端的屏幕分辨率信息。本实施例还可以包括第一反馈接收单元15，第一反馈接收单元15用于接收到接收端在根据发送端发送的数据包后所发送的反馈信息，从而确定对应的接收端能够完成操作。

具体实施时，首先，通过第一操作检测单元11响应于发送端的屏幕上的操作事件，并获取与操作事件对应的第一操作位置信息和操作方式信息；然后，通过第一截图单元12截取第一操作位置信息所在的截图区域的图像；接着，通过第一控件标识获取单元13对图像进行识别，包括字符识别或图像识别，以获取对应的控件标识信息；最后，通过第一发送单元14将控件标识信息和操作方式信息同步发送给至少一个接收端，以使每一接收端能够根据控件标识信息在本地搜索到对应的控件，并根据操作方式信息执行控件。

本实施例在发送端操作时，接收端能够对应完成相应操作，实现多端同步操作，避免重复操作，大大节省时间成本，提高工作效率。

本发明实施例6还提供一种多端同步操作的装置，参见图8，图8是本实施例6的结构示意图，与实施例5相同的是，本实施例同样包括：

第一操作检测单元11，用于响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

第一截图单元12，用于基于预设的截图规则及第一操作位置信息确定截图区域，并截取截图区域所对应的图像；

第一发送单元14，用于向远程接口同步发送包括操作方式信息和图像的信息的数据包，以使与远程接口可耦合通信的至少一个接收端能够根据数据包中的图像的信息在本地搜索到对应的控件，并根据数据包中的操作方式信息执行控件。

不同的是，实施例5中还包括的第一控件标识获取单元13来对图像进行识别以获取控件标识信息，所以在实施例5中的数据包中图像的信息为控件标识信息，而本实施例6中第一发送单元14的数据包中的图像的信息则直接为图像，以使接收端对图像进行识别后才能获取控件标识信息。

进一步的，第一发送单元13还可以用于将第一操作位置信息发送给至少一个接收端，以使每一接收端能够根据第一操作位置信息、控件标识信息及发送端的屏幕分辨率唯一确定对应的控件。

本实施例还可以包括：第一反馈接收单元15，用于接收到接收端在根据发送端发送的图像和操作方式完成操作后所发送的反馈信息，从而确定对应的接收端能够完成操作。

具体实施时，首先，通过第一操作检测单元11相应于所当前界面上的操作事件，获取与操作事件对应的第一操作位置信息和操作方式信息；然后，通过第一截图单元12截取第一操作位置所在的截图区域的图像；最后，通过第一发送单元13将数据包发送给远程端口，数据包中包括操作方式信息和包括图像的图像的信息。

本实施例在发送端操作时，接收端能够对应完成相应操作的技术方案，实现多端同步操作，避免重复操作，大大节省时间成本，提高工作效率。

本发明实施例7还提供一种多端同步操作的装置，参见图9，图9是本实施例的结构示意图，本实施例包括：

第一接收单元21，用于通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

第一控件搜索单元22，用于根据图像的信息在本地搜索到对应的控件；

第一操作执行单元23，用于根据操作方式信息执行控件。

本实施例所对应的远程接口可耦合通信的发送端可以选用包括实施例5中的一种多端同步操作的装置的发送端，具体实施方式可以参考实施例5的说明，此处不再赘述。

第一接收单元21接收的所述图像的信息中包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像并对所述图像进行识别以获取的所述控件标识信息；则对应第一控件搜索单元22根据控件标识信息在本地搜索到与控件标识信息对应的控件。

第一控件搜索单元22可以具体用于根据控件标识信息在本地搜索到对应的控件的位置；对应的，第一操作执行单元23可以具体用于根据操作方式信息执行控件具体为：根据操作方式信息在控件的位置完成相应的操作。

接收到的控件标识信息为控件的名称时，可以通过UIAutomation控件根据所接收到的控件的名称搜索到控件的位置，然后采用了鼠标模拟操作控件的方法，即通过使用window装置提供的Api的Mouse_event函数来控制鼠标操作控件。上述只是本实施例的一种实施方式，可以替换其它根据控件标识信息搜索控件的方式或替换其它根据控件和操作方式信息执行操作的方式，也在本实施例的保护范围之内。

第一接收单元21所接收的数据包中还包括第一操作位置信息；当第一控件搜索单元22根据控件标识信息搜索到至少两个对应的控件时，可以获取至少两个对应的控件的位置；将第一操作位置信息转换为相对于接收端的屏幕分辨率的第二操作位置；确定与第二操作位置最相近的控件的位置；根据操作方式执行最相近的控件的位置所对应的控件。其中，接收端已预先获取发送端的屏幕分辨率。

本实施例还包括：第一反馈单元24，用于完成接收端操作后发送反馈信息至发送端，从而使得发送端可以确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，使得发送端可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，通过第一接收单元21接收包括控件标识信息和操作方式信息的数据包；然后，通过第一控件搜索单元22根据控件标识信息在本地搜索到对应的控件的位置；最后，通过第一操作执行单元23根据操作方式信息在控件的位置完成相应的操作；在完成操作后，还可以通过第一反馈单元24发送反馈信息至发送端。

本实施例的接收端根据发送端传送的操作信息来完成对应的操作，实现多端同步操作，无需重复操作，大大节省时间成本，提高工作效率。

本发明实施例8还提供一种多端同步操作的装置，可以参见图9，与实施例7相同的是，本实施例同样包括：

第一接收单元21，用于通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送的；

第一控件搜索单元22，用于根据图像的信息在本地搜索到对应的控件；

第一操作执行单元23，用于根据操作方式信息执行控件。

本实施例所对应的远程接口可耦合通信的发送端可以选用包括实施例6中的一种多端同步操作的装置的发送端，具体实施方式可以参考实施例6的说明，此处不再赘述。

不同的是，实施例7中第一接收单元21接收的数据包中的图像的信息为控件标识信息，而本实施例中第一接收单元21接收的数据包中的图像的信息为所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像，则在本实施例的第一控件搜索单元22中根据图像的信息在本地搜索到对应的控件具体包括：对图像进行识别以获取控件标识信息；根据控件标识信息在本地搜索到与控件标识信息对应的控件。

进一步的，第一控件搜索单元22可以具体用于根据控件标识信息在本地搜索到对应的控件的位置；对应的，第一操作执行单元23可以具体用于根据操作方式信息执行控件具体为：根据操作方式信息在控件的位置完成相应的操作。

接收到的控件标识信息为控件的名称时，可以通过UIAutomation控件根据所接收到的控件的名称搜索到控件的位置，然后采用了鼠标模拟操作控件的方法，即通过使用window装置提供的Api的Mouse_event函数来控制鼠标操作控件。上述只是本实施例的一种实施方式，可以替换其它根据控件标识信息搜索控件的方式或替换其它根据控件和操作方式信息执行操作的方式，也在本实施例的保护范围之内。

第一接收单元21所接收的数据包中还包括第一操作位置信息；当第一控件搜索单元22根据控件标识信息搜索到至少两个对应的控件时，可以获取至少两个对应的控件的位置；将第一操作位置信息转换为相对于接收端的屏幕分辨率的第二操作位置；确定与第二操作位置最相近的控件的位置；根据操作方式执行最相近的控件的位置所对应的控件。其中，接收端已预先获取发送端的屏幕分辨率。

本实施例还包括：第一反馈单元24，用于完成接收端操作后发送反馈信息至发送端，从而使得发送端可以确定对应的接收端能够完成操作。当运用于多端同步操作测试软件时，使得发送端可以通过接收到接收端的反馈信息，确认接收端当前操作成功。

具体实施时，首先，通过第二接收单元21接收包括图像和操作方式信息的数据包；然后，通过第一控件搜索单元22对图像进行识别，以获取操作对应的控件标识信息，根据控件标识信息在本地搜索到对应的控件的位置；最后，通过第二操作执行单元23根据操作方式信息在控件的位置完成相应的操作；在完成操作后，还可以通过第二反馈单元24发送反馈信息至发送端。

本实施例的接收端能够根据发送端传送的操作信息来完成对应的操作，从而实现多端同步操作，无需重复操作，大大节省时间成本，提高工作效率。

相应，本发明实施例9还提供一种终端，图10是本实施例的示意图；本实施例9包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述各个方法实施例中的步骤，例如执行图1所示的步骤S11～S13。或者，所述处理器执行所述应用程序时实现上述各装置实施例中各模块/单元的功能，例如图7。

示例性的，所述应用程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列应用程序指令段，该指令段用于描述所述应用程序在一种终端中的执行过程。例如，所述应用程序可以被分割成第一操作检测单元11、第一截图单元12、第一发送单元14，各模块具体功能如下：

第一操作检测单元11，用于响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

第一截图单元12，用于基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

第一发送单元14，用于向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件。

所述一种终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种终端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种终端备的示例，并不构成对一种终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分。

所述存储器可用于存储所述应用程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的应用程序和/或模块，以及调用存储在存储器内的数据，实现所述终端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述一种终端集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过应用程序来指令相关的硬件来完成，所述的应用程序可存储于一计算机可读存储介质中，该应用程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述应用程序包括应用程序代码，所述应用程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (13)

1.一种多端同步操作的方法，其特征在于，包括：

响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。

2.如权利要求1所述一种多端同步操作的方法，其特征在于，所述多端同步操作的方法还包括：

对所述图像进行识别，以获取所述操作事件对应的控件标识信息；

所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包包括：

向远程接口发送包括所述操作方式信息和包括所述控件标识信息的所述图像的信息的数据包。

3.如权利要求1所述一种多端同步操作的方法，其特征在于，所述图像的信息包括所述图像；

则与所述远程接口可耦合通信的接收端能够对接收到的所述图像进行识别以获取控件标识信息，并根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

4.如权利要求2所述一种多端同步操作的方法，其特征在于，所述对所述图像进行识别，以获取所述操作事件对应的控件标识信息具体包括：

对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，

将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。

5.如权利要求1所述的一种多端同步操作的方法，其特征在于，所述数据包还包括所述第一操作位置信息；

所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件，具体为：

向远程接口发送包括所述第一操作位置信息、所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述第一操作位置信息、所述图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据所述数据包中的操作方式信息执行所述控件；其中，所述远程接口可耦合通信的接收端已预先获取所述发送端的屏幕分辨率信息。

6.如权利要求1所述的一种多端同步操作的方法，其特征在于，所述第一操作位置信息包括第一操作位置的坐标点；

则所述基于预设的截图规则及所述第一操作位置信息确定截图区域具体包括：

以所述第一操作位置信息的坐标点为所述截图区域的中心点，根据预置的截图形状和截图尺寸确定所述截图区域的边界点坐标以确定所述截图区域。

7.一种多端同步操作的方法，其特征在于，包括：

通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

根据所述图像的信息在本地搜索到对应的控件；

根据所述操作方式信息执行所述控件。

8.如权利要求7所述的一种多端同步操作的方法，其特征在于，接收的所述图像的信息中包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像并对所述图像进行识别以获取的所述控件标识信息；

所述根据所述图像的信息在本地搜索到对应的控件包括：

根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

9.如权利要求7所述一种多端同步操作的方法，其特征在于，接收的所述图像的信息包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像；

则所述根据所述图像的信息在本地搜索到对应的控件包括：

对所述图像进行识别以获取控件标识信息；

根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。

10.如权利要求7所述的一种多端同步操作的方法，其特征在于，所述数据包还包括第一操作位置信息；

则当根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件的数目为至少两个时，还包括：

获取所述至少两个对应的控件的位置；

将所述第一操作位置信息转换为相对于所述发送端的屏幕分辨率的所述第二操作位置；其中，所述发送端的屏幕分辨率已预先获取；

从所述至少两个对应的控件中确定与所述第二操作位置最相近的所述控件的位置；

所述根据所述操作方式信息执行所述控件具体为：根据所述操作方式信息执行确定的所述控件。

11.一种多端同步操作的装置，其特征在于，包括：

第一操作检测单元，用于响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；

第一截图单元，用于基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；

第一发送单元，用于向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件。

12.一种多端同步操作的装置，其特征在于，包括：

第一接收单元，用于接收通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；

第一控件搜索单元，用于根据所述图像的信息在本地搜索到对应的控件；

第一操作执行单元，用于根据所述操作方式信息执行所述控件。

13.一种终端，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～10任一项所述的一种多端同步操作的方法。