CN112215587B - 多设备自动化执行业务流程交互任务的方法、装置和系统 - Google Patents

Abstract

本发明公开了一种多设备自动化执行业务流程的交互任务的方法、装置和系统，用以解决无法多设备自动化执行业务流程的交互任务的问题。本方案包括：获取待执行的业务流程的交互任务；根据业务流程的交互任务向多个目标设备中的第一设备发送第一指令；当至少一个第二设备的显示界面满足第一预设执行标准时，根据业务流程的交互任务向至少一个第二设备发送第二指令。本方案通过监测到的第二设备的显示界面来判断何时下发第二指令，避免由于第一指令未执行完全而向第二设备下发第二指令无法正确执行的情况，提高业务流程的自动化交互任务执行成功率。

Description

多设备自动化执行业务流程交互任务的方法、装置和系统

技术领域

本发明涉及自动化领域，尤其涉及一种多设备自动化执行业务流程的交互任务的方法、装置和系统。

背景技术

在自动化领域，往往需要通过下发指令脚本的方式控制设备执行任务，设备通过执行预设的指令脚本能够自动化执行所需完成的操作，能自动批量化执行任务。

在实际应用中，部分应用场景内需要多个设备协同交互执行任务。在对多个设备自动化执行业务流程的交互任务时，往往需要人工参与交互操作。由于执行交互操作时多个执行设备的系统和处理性能往往不同，一个设备执行了交互操作后另一设备需要经过一段时间才能做出响应。由此可见，多个设备的交互任务与单个设备执行任务相比更加复杂，难以通过预设指令脚本成功执行。

如何提高业务流程的交互任务的兼容性，以提高业务流程的交互任务的执行成功率，是本申请所要解决的技术问题。

发明内容

本申请实施例的目的是提供一种多设备自动化执行业务流程的交互任务的方法、装置和系统，用以解决由于交互任务兼容性差导致的无法执行业务流程的交互任务的问题。

第一方面，提供了一种多设备自动化执行业务流程的交互任务的方法，包括：

获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行业务流程的交互任务的多个目标设备的信息；

根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同；

监测所述至少一个第二设备的显示界面；

当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作。

第二方面，提供了一种多设备自动化执行业务流程的交互任务的装置，包括：

获取模块，获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行交互任务的多个目标设备的信息；

第一发送模块，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同；

监测模块，监测所述至少一个第二设备的显示界面；

第二发送模块，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作。

第三方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述电子设备被所述处理器执行实现如第一方面所述的方法的步骤。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面该的方法的步骤。

在本申请实施例中，通过获取待执行的业务流程的交互任务；根据业务流程的交互任务向多个目标设备中的第一设备发送第一指令；当至少一个第二设备的显示界面满足第一预设执行标准时，根据业务流程的交互任务向至少一个第二设备发送第二指令。本方案通过监测到的第二设备的显示界面来判断何时下发第二指令，避免由于第一指令未执行完全而向第二设备下发第二指令无法正确执行的情况，提高业务流程的自动化交互任务执行成功率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之一；

图2是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之二；

图3是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之三；

图4是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之四；

图5是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之五；

图6是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的方法的流程示意图之六；

图7a是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的装置的结构示意图之一；

图7b是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的装置的结构示意图之二；

图7c是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的装置的结构示意图之三；

图7d是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的装置的结构示意图之四；

图8a是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的系统的结构示意图之一；

图8b是本发明的一个实施例一种多设备自动化执行业务流程的交互任务的系统的结构示意图之二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。

为了解决现有技术中存在的问题，本申请实施例提供一种多设备自动化执行业务流程的交互任务的方法，本申请实施例的执行主体可以是具有处理功能的电子设备，例如可以是计算机、服务器、手机等。如图1所示，本方案包括：

S11：获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行业务流程的交互任务的多个目标设备的信息。

其中，待执行业务流程的交互任务的多个目标设备可以是同类设备，比如，多个目标设备为多个计算机。也可以是非同类设备，比如，多个目标设备包括至少一个计算机、至少一个智能眼镜、至少一个手机等。目标设备可以是具有通信功能的电子设备，例如可以是移动智能手机、PC机、各种虚拟机、模拟器、智能手表、智能眼镜、智能穿戴设备、IoT设备、车机设备等。

下面通过实例说明本方案，假设本申请中执行主体是上位机，待执行业务流程的交互任务的多个目标设备包括计算机和手机，上位机与多个目标设备通过有线或无线的方式通信连接。

其中，业务流程的交互任务可以包括在业务流程过程中需要完成的多个设备之间进行交互的任务，该交互任务可以是一个设备与另一个设备之间执行交互的任务，也可以是用于使一个设备与另一个设备之间执行交互的辅助任务。在后文中，将业务流程的交互任务简称为交互任务。

在本步骤中，由上位机获取待执行的交互任务，该交互任务可以是上位机接收到的任务，也可以是由上位机从任务队列或数据库中调取的任务。待执行的交互任务中可以包括待执行交互任务的计算机和手机的信息。根据待执行的交互任务的信息，上位机可以确定要执行交互任务的多个目标设备。可选的，上位机可以在执行待执行的交互任务之前，先确认与各个目标设备是否稳定连接，以保证通信质量，避免在执行任务中由于连接不稳定而导致任务执行失败。

S12：根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同。

其中，交互操作可以是鼠标点击、键盘输入、手势操作、语音控制等操作。该交互操作可以直接作用于第二设备，例如，向第二设备发起语音通话请求。或者，该交互操作可以间接作用于第二设备，例如，在网络云空间中上传文件，使第二设备能从网络云空间中下载该文件。

该第一指令可以只是第一设备中的某一个或几个应用执行上述交互操作，该应用可以包括移动应用App、小程序、PC客户端软件、Web网页、车机软件、智能终端IoT软件等。

在本实例中，可以由上位机根据交互任务向计算机发送第一指令，第一指令指示计算机打开Web浏览器，登陆用户管理系统并下载Excel格式的客户联系表，获取该客户联系表中的客户手机号，将各个客户手机号发送至手机。

S13：监测所述至少一个第二设备的显示界面。

本实施例中可以通过在第二设备上预设的插件来实时获取第二设备的显示界面，以实现实时监测。

在本实例中，可以监测手机的显示界面，在显示界面中出现表征接收到计算机发送的客户手机号后，确定手机的显示界面满足第一预设执行标准。

S14:当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作。

上述第一预设执行标准可以是人工预先设置的，也可以是根据上述第一指令生成的。当第二设备的显示界面中包括与第一指令相匹配的显示内容时，可以确定第二设备的显示界面满足第一预设执行标准。

在本实例中，当监测到显示界面中出现表征接收到计算机发送的客户手机号后，根据交互任务向手机发送第二指令，以指示手机在通话App中拨打接收到的客户手机号，播放预设通话录音并记录对端的输入反馈，根据对端的输入反馈生成反馈文件。可选的，生成反馈文件后，还可以将反馈文件可以发送至计算机、上位机或其他预设电子设备。

通过本申请实施例提供的方案，能监测到的第二设备的显示界面来判断何时下发第二指令，避免由于第一指令未执行完全而向第二设备下发第二指令无法正确执行的情况，提高交互任务执行成功率。在本实例中，通过监测手机的显示界面能确定手机是否已经受到了计算机发送的客户手机号，在确定手机接收到了客户手机号后再指示手机拨打电话，避免手机还没有接收完客户手机号执行拨打电话而导致拨打失败的情况。本方案考虑了多个设备之间交互时由于网络延迟、信号差等原因导致的第二设备未及时收到执行第二指令所必需信息的情况，仅在第二设备显示界面满足了预设的执行标准时再下发第二指令，能有效提高第二指令执行成功率，从而提高整体任务执行成功率。

基于上述实施例提供的方案，可选的，根据所述交互任务向所述多个目标设备中的第一设备发送第一指令，如图2所示，包括：

S21：监测所述第一设备的显示界面。

在本实施例中，假设第一设备是计算机，本步骤可以通过预设在计算机中的插件来采集计算机的显示界面，以实现对计算机显示界面的监测。

S22：当所述第一设备的显示界面满足第二预设执行标准时，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令。

其中，第二预设执行标准可以是预先人为设定的，也可以是根据第一指令生成的。举例而言，假设第一指令用于指示计算机将下载到的Excel文件发送至第二设备，那么，在计算机的显示界面表征Excel文件下载完成时确定计算机的显示界面满足第二预设执行标准，随后再向计算机发送用于指示计算机向手机发送Excel文件的第一指令。

本申请实施例通过监测第一设备的显示界面能够实现对第一设备所处的状态的监测，以提高第一指令的执行成功率。在本实施例中，第一指令用于指示计算机发送Excel文件，那么，如果在计算机还未下载完Excel文件的情况下就下发第一指令，则计算机可能无法发送Excel文件或者发送了不完整的Excel文件，这将会导致手机无法正常获取Excel文件中的信息。本方案通过监测计算机的显示界面，在计算机满足第二预设执行标准时再下发第一指令，能保证计算机具备执行第一指令的要求，避免出现文件缺失、损坏而导致无法执行任务。

基于上述实施例提供的方案，可选的，在根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令之前，如图3所示，还包括：

S31：获取所述业务流程的交互任务中的第一设备的信息。

第一设备的信息具体可以包括第一设备的种类，如计算机、手机、可穿戴设备等。还可以包括设备的应用系统，如Windows系统、Android系统、Mac系统等。另外，还可以包括设备的硬件信息、软件信息等详细信息。

S32：根据所述待执行的业务流程的交互任务生成与所述第一设备的信息相匹配的第一指令。

在本实施例中，根据第一设备的信息生成相匹配的第一指令，在实际应用中，不同系统中的命令往往不能相互兼容，本步骤根据第一设备的信息来生成第一指令，能使第一指令兼容于第一设备的系统，保证指令能有效作用于第一设备。

举例而言，在上述步骤中获取到第一设备是Windows系统，待执行的交互任务包括指示第一设备发送文件，那么，在本步骤中生成指示Windows系统的计算机执行发送操作的第一指令。

本申请实施例提供的方案能根据第一设备的硬件、软件信息来生成相匹配的第一指令，使第一指令有效作用于第一设备，本方案具有高兼容性和灵活性。

基于上述实施例提供的方案，可选的，在根据所述交互任务向所述至少一个第二设备发送第二指令之前，如图4所示，还包括：

S41：获取所述业务流程的交互任务中的至少一个第二设备的信息。

在本实施例中，第二设备例如包括多个手机，其中包括Android系统手机和苹果系统手机。在本步骤中，获取各个手机的信息，获取到的信息能表征各个手机的系统类型。

S42：根据所述待执行的业务流程的交互任务生成与所述至少一个第二设备的信息相匹配的第二指令。

在获取到各个手机的信息之后，生成与手机系统相匹配的第二指令，以保证第二指令能有效作用于手机。例如，向Windows系统手机发送与Windows系统相匹配的第二指令，向Android系统手机发送与Android系统相匹配的第二指令。

通过本申请实施例提供的方案，能够便于通过不同种类的设备执行任务，提高兼容性。在上述实例中，第二设备可以包括多个具有不同操作系统的手机，实际应用中，第二设备还可以包括多个不同种类的电子设备。例如，第二设备可以包括手机、智能手环、智能眼镜等设备。这些第二设备可以具有不同的操作系统，本实施例提供的方案能够根据第二设备的信息生成相匹配的第二指令，使第二指令有效地作用于各个第二设备。

基于上述实施例提供的方案，可选的，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述交互任务向所述至少一个第二设备发送第二指令，如图5所示，包括：

S51：识别所述至少一个第二设备的显示界面中的特征标识，所述特征标识包括特征文字和/或特征图片。

在本实施例中，可以应用OCR模型对显示界面中的内容进行识别，以获取显示界面中的文字，进而根据识别到的文字确定显示界面中是否包括特征文字。另外，还可以应用图像识别模型对显示界面中的图标进行识别，通过区分背景与图标来获取显示界面中的图标，进而根据识别到的图标确定显示界面中是否包括特征图片。

当然，在实际应用中特征标识也可以同时包括特征文字和特征图片，特征标识的具体内容可以根据需求预先设定。

S52：当所述至少一个第二设备的显示界面中的特征标识与预设特征标识匹配时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令。

举例而言，假设第二设备为手机，当手机的显示界面表征接收到了计算机发送的文件则确定第二设备的显示界面满足第一预设执行标准。那么，本实施例中的特征标识可以为“文件接收完成”、“接收100%”或其他能够表征接收完成的文字或图标。通过文字识别模型和图像识别模型来识别手机的显示界面，在手机显示界面中包含了表征接收完成的文字或图标时向手机发送第二指令。

本申请实施例提供的方案能在第二设备显示界面满足第一预设执行标准后再下发第二指令，保证第二指令能正确执行。避免由于第二设备未完成上一阶段的任务而无法执行第二指令的问题，有效提高任务执行整体成功率。

基于上述实施例提供的方案，可选的，在根据所述交互任务向所述至少一个第二设备发送第二指令之后，如图6所示，还包括：

S61：当所述第一设备的显示界面和所述至少一个第二设备的显示界面均满足预设完成标准时，根据监测到的所述第一设备的显示界面和所述至少一个第二设备的显示界面生成业务流程的任务执行结果。

在本实施例中，由于通过多个设备之间的交互实现了任务的执行，在多个设备均执行了指令之后交互任务才全部完成。本方案对第一设备的显示界面和至少一个第二设备的显示界面均进行监测，在第一设备和各个第二设备都满足预设完成标准时再根据监测的显示界面来生成任务执行结果，保证任务执行结果能完整表征交互任务的过程。

其中，任务执行结果可以包括监测到的第一设备显示界面和第二设备的显示界面，也可以先根据监测到的显示界面进行分析，提取显示界面中表征的异常信息，进而根据异常信息生成任务执行结果。

本申请上述实施例中所述的交互任务指通过跨端、跨设备、跨平台的通过多个设备协同执行的任务。在实际应用中，可以根据需要自动化执行的任务来选择多个所需的设备，这些设备的类型、操作系统可以相同也可以不同。举例而言，执行的业务流程的交互任务可以是设备测试任务、账单处理任务、信息采集任务等。根据交互任务生成的各个指令可以是模拟人工操作的点击、触控等仿人工操作指令，也可以是数据清洗、输入或输出等处理指令。本方案对此不作限定，上述实施例仅用于作为实例说明本方案。

为了解决现有技术中存在的问题，本申请实施例还提供一种多设备自动化执行业务流程的交互任务的装置70，如图7a所示，包括：

获取模块71，获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行业务流程的交互任务的多个目标设备的信息；

第一发送模块72，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同；

监测模块73，监测所述至少一个第二设备的显示界面；

第二发送模块74，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作。

可选的，第一发送模块72，用于：

监测所述第一设备的显示界面；

当所述第一设备的显示界面满足第二预设执行标准时，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令。

可选的，如图7b所示，还包括第一生成模块75，用于：

获取所述业务流程的交互任务中的第一设备的信息；

根据所述待执行的业务流程的交互任务生成与所述第一设备的信息相匹配的第一指令。

可选的，如图7c所示，还包括第二生成模块76，用于：

获取所述业务流程的交互任务中的至少一个第二设备的信息；

根据所述待执行的业务流程的交互任务生成与所述至少一个第二设备的信息相匹配的第二指令。

可选的，第二发送模块74用于：

识别所述至少一个第二设备的显示界面中的特征标识，所述特征标识包括特征文字和/或特征图片；

当所述至少一个第二设备的显示界面中的特征标识与预设特征标识匹配时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令。

可选的，如图7d所示，还包括第三生成模块77：

当所述第一设备的显示界面和所述至少一个第二设备的显示界面均满足预设完成标准时，根据监测到的所述第一设备的显示界面和所述至少一个第二设备的显示界面生成业务流程的交互任务执行结果。

通过本申请实施例提供的方案，能监测到的第二设备的显示界面来判断何时下发第二指令，避免由于第一指令未执行完全而向第二设备下发第二指令无法正确执行的情况，提高业务流程的交互任务执行成功率。举例而言，通过监测手机的显示界面能确定手机是否已经受到了计算机发送的客户手机号，在确定手机接收到了客户手机号后再指示手机拨打电话，避免手机还没有接收完客户手机号执行拨打电话而导致拨打失败的情况。本方案考虑了多个设备之间交互时由于网络延迟、信号差等原因导致的第二设备未及时收到执行第二指令所必需信息的情况，仅在第二设备显示界面满足了预设的执行标准时再下发第二指令，能有效提高第二指令执行成功率，从而提高整体业务流程的交互任务执行成功率。

为了解决现有技术中存在的问题，本申请实施例提供一种多设备自动化执行业务流程的交互任务的系统，如图8a所示，包括：

如上述任一种实施例所述的多设备自动化执行业务流程的交互任务的装置81；

与所述多设备自动化执行业务流程的交互任务的装置通信连接的待执行业务流程的交互任务的多个目标设备82。

本实施例中的多设备自动化执行业务流程的交互任务的装置例如可以是上位机，上位机可以与服务器或其他电子设备连通，用于获取待执行的业务流程的交互任务。待执行业务流程的交互任务的多个目标设备分别与上位机通信连接。另外多个目标设备可以通过上位机执行信号中转实现通信连接，或者，多个目标设备之间直接连接。

另外，当目标设备数量较多时，本实施例提供的系统还可以包括多个上位机，每个上位机与至少一个目标设备通信连接，以实现信息上报或指令下派。多个上位机能协助处理信息，避免单个设备负荷过高，有效提高系统整体稳定性。

通过本申请实施例提供的方案，能监测到的第二设备的显示界面来判断何时下发第二指令，避免由于第一指令未执行完全而向第二设备下发第二指令无法正确执行的情况，提高业务流程的交互任务执行成功率。举例而言，通过监测手机的显示界面能确定手机是否已经受到了计算机发送的客户手机号，在确定手机接收到了客户手机号后再指示手机拨打电话，避免手机还没有接收完客户手机号执行拨打电话而导致拨打失败的情况。本方案考虑了多个设备之间交互时由于网络延迟、信号差等原因导致的第二设备未及时收到执行第二指令所必需信息的情况，仅在第二设备显示界面满足了预设的执行标准时再下发第二指令，能有效提高第二指令执行成功率，从而提高整体任务执行成功率。

可选的，如图8b所示，本实施例中的上位机还可以通过调用识别功能服务器的识别功能来降低自身处理负荷。举例而言，上位机获取到待执行的业务流程的交互任务之后，可以从业务流程的交互任务中解析出需要执行的脚本。在向第一设备或第二设备下发指令之前，先根据设备信息执行脚本的转换，在执行脚本转换的步骤中，可以通过调用识别功能服务器来对设备的硬件信息、软件信息、所处状态等信息进行识别获取。由识别功能服务器将识别结果反馈至上位机，以便上位机生成相应脚本，并对生成的脚本执行下发。在向第一设备或第二设备下发脚本之后，还可以在第一设备和第二设备执行完毕之后收集执行结果。

本申请实施例提供的系统能降低上位机的处理负荷，并且优化识别结果，提高下发指令与目标设备的匹配度，使指令能有效作用于目标设备。

优选的，本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述一种多设备自动化执行业务流程的交互任务的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种多设备自动化执行业务流程的交互任务的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种多设备自动化执行业务流程的交互任务的方法，其特征在于，包括：

获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行业务流程的交互任务的多个目标设备的信息；

根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同，所述多个目标设备根据所述待执行的业务流程的交互任务确定；

监测所述至少一个第二设备的显示界面；

当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作，所述第一预设执行标准包括所述至少一个第二设备的显示界面中包括与所述第一指令相匹配的显示内容；

其中，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，包括：

识别所述至少一个第二设备的显示界面中的特征标识，所述特征标识包括特征文字和/或特征图片；

当所述至少一个第二设备的显示界面中的特征标识与预设特征标识匹配时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令。

2.如权利要求1所述的方法，其特征在于，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，包括：

监测所述第一设备的显示界面；

当所述第一设备的显示界面满足第二预设执行标准时，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令。

3.如权利要求1所述的方法，其特征在于，在根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令之前，还包括：

获取所述业务流程的交互任务中的第一设备的信息；

根据所述待执行的业务流程的交互任务生成与所述第一设备的信息相匹配的第一指令。

4.如权利要求1所述的方法，其特征在于，在根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令之前，还包括：

获取所述业务流程的交互任务中的至少一个第二设备的信息；

根据所述待执行的业务流程的交互任务生成与所述至少一个第二设备的信息相匹配的第二指令。

5.如权利要求1~4任一项所述的方法，其特征在于，在根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令之后，还包括：

当所述第一设备的显示界面和所述至少一个第二设备的显示界面均满足预设完成标准时，根据监测到的所述第一设备的显示界面和所述至少一个第二设备的显示界面生成业务流程的任务执行结果。

6.一种多设备自动化执行业务流程的交互任务的装置，其特征在于，包括：

获取模块，获取待执行的业务流程的交互任务，所述业务流程的交互任务携带待执行业务流程的交互任务的多个目标设备的信息；

第一发送模块，根据所述业务流程的交互任务向所述多个目标设备中的第一设备发送第一指令，所述第一指令用于指示所述第一设备执行与所述多个目标设备中的至少一个第二设备关联的交互操作，其中，所述第一设备与所述第二设备不同，所述多个目标设备根据所述待执行的业务流程的交互任务确定；

监测模块，监测所述至少一个第二设备的显示界面；

第二发送模块，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，所述第二指令用于指示所述至少一个第二设备执行与所述第一设备关联的交互操作，所述第一预设执行标准包括所述至少一个第二设备的显示界面中包括与所述第一指令相匹配的显示内容；

其中，当所述至少一个第二设备的显示界面满足第一预设执行标准时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令，包括：

识别所述至少一个第二设备的显示界面中的特征标识，所述特征标识包括特征文字和/或特征图片；

当所述至少一个第二设备的显示界面中的特征标识与预设特征标识匹配时，根据所述业务流程的交互任务向所述至少一个第二设备发送第二指令。

7.一种多设备自动化执行业务流程的交互任务的系统，其特征在于，包括：

如权利要求6所述的多设备自动化执行业务流程的交互任务的装置；

与所述多设备自动化执行业务流程的交互任务的装置通信连接的待执行业务流程的交互任务的多个目标设备。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。

Images