CN110851299A - 自动化流程的异常排除方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种自动化流程的异常排除方法、装置、设备及存储介质，所述方法包括：在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理。本发明中通过对当前界面的图像进行界面逻辑解析，根据解析得到的界面元素信息进行元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

Description

自动化流程的异常排除方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种自动化流程的异常排除方法、装置、设备及存储介质。

背景技术

机器人流程自动化(Robotic Process Automation，RPA)是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。现有的RPA技术一般包含三个步骤：录屏、流程制定和流程执行，通过录制操作者的鼠标和键盘的动作步骤形成自动化流程，再次运行自动化流程的时候就会重新执行录制过程中的这些操作，流程制定是指用户可以根据需要修改自动化流程的参数，比如鼠标点击的位置、键盘输入的值。

流程的执行过程中，可能会出现因界面改版、弹窗等原因造成操作异常，目前有通过网页源码或者软件接口获取某些异常信息以解决异常的方案，但在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到这些异常信息，导致无法排除异常只能中断流程，流程的执行成功率低。

发明内容

本发明的主要目的在于提供一种自动化流程的异常排除方法、装置、设备及存储介质，旨在解决在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到异常信息从而无法解决异常的技术问题。

为实现上述目的，本发明提供一种自动化流程的异常排除方法，所述自动化流程的异常排除方法包括：

在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

可选地，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，

所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：

从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

若查找到，则确定在当前界面中匹配到所述待操作元素。

可选地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

可选地，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：

当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：

若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。

可选地，所述对当前界面进行界面初识别，确定当前界面是否正常的步骤包括：

根据所打开页面的页面类型确定界面初识别的识别区域；

在当前界面图像的所述识别区域内识别页面加载标识；

若所述页面加载标识的类型是加载完成，则确定当前界面正常。

可选地，所述若所述页面加载标识的类型是加载完成，则确定当前界面正常的步骤包括：

若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；

若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。

可选地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。

此外，为实现上述目的，本发明还提供一种自动化流程的异常排除装置，所述自动化流程的异常排除装置包括：

解析模块，用于在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

匹配模块，用于根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

分析模块，用于若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

处理模块，用于采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

此外，为实现上述目的，本发明还提供一种自动化流程的异常排除设备，所述自动化流程的异常排除设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的自动化流程的异常排除程序，所述自动化流程的异常排除程序被所述处理器执行时实现如上所述的自动化流程的异常排除方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有自动化流程的异常排除程序，所述自动化流程的异常排除程序被处理器执行时实现如上所述的自动化流程的异常排除方法的步骤。

本发明中，通过在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理，以排除异常。由于是对当前界面的图像进行界面逻辑解析，并根据解析得到的界面元素信息进行待操作元素的匹配，以及元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明自动化流程的异常排除方法第一实施例的流程示意图；

图3为本发明实施例涉及的一种自动化流程执行流程示意图；

图4为本发明自动化流程的异常排除装置较佳实施例的功能示意图模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种自动化流程的异常排除设备，参照图1，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为自动化流程的异常排除设备的硬件运行环境的结构示意图。本发明实施例自动化流程的异常排除设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。

如图1所示，该自动化流程的异常排除设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，自动化流程的异常排除设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。本领域技术人员可以理解，图1中示出的自动化流程的异常排除设备结构并不构成对自动化流程的异常排除设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自动化流程的异常排除程序。

在图1所示的自动化流程的异常排除设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的自动化流程的异常排除程序，并执行以下操作：

在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

进一步地，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，

所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：

从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

若查找到，则确定在当前界面中匹配到所述待操作元素。

进一步地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

进一步地，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：

当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：

若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。

进一步地，所述对当前界面进行界面初识别，确定当前界面是否正常的步骤包括：

根据所打开页面的页面类型确定界面初识别的识别区域；

在当前界面图像的所述识别区域内识别页面加载标识；

若所述页面加载标识的类型是加载完成，则确定当前界面正常。

进一步地，所述若所述页面加载标识的类型是加载完成，则确定当前界面正常的步骤包括：

若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；

若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。

进一步地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。

基于上述的硬件结构，提出本发明自动化流程的异常排除方法的各个实施例。

参照图2，本发明自动化流程的异常排除方法第一实施例提供一种自动化流程的异常排除方法，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明自动化流程的异常排除方法的各个实施例的执行主体可以是PC、智能手机、智能电视机、平板电脑和便携计算机等终端设备，为便于描述，在以下各实施例省略执行主体进行阐述。所述自动化流程的异常排除方法包括：

步骤S10，在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

自动化流程可以是预先通过录屏或编写脚本等方式制定好的流程，可以是对浏览器或其他应用程序进行一系列自动化操作的流程，如进行打开某浏览器、采用该浏览器打开某一网页、在网页上进行账户登录、信息填写等一系列操作的自动化流程，又如进行打开某一工作软件、进入打卡页面、点击打卡按钮打卡等一系列操作的自动化流程。应该理解的是，本实施例中对自动化流程的具体操作流程并没有限定。

在自动化流程的执行过程中，可在需要进行下一步操作时，对当前界面的图像进行界面逻辑解析，得到当前界面中各个界面元素(以下简称元素)的界面元素信息。具体地，当前界面是指自动化流程的操作对象当前所呈现的界面，操作对象可以是智能手机、电脑、智能电视等等终端设备。当前界面的图像可以是对当前界面进行截屏得到的截屏图像；当自动化流程的操作对象不允许对当前界面进行截屏时，如自动化流程无法获取操作对象的截屏权限，或所操作的浏览器、其他应用程序设置了截屏权限时，可以采用外部的拍摄装置拍摄的当前界面的图像。当前界面的各个元素可以包括界面中出现的图片、输入框、控件按钮、窗口等。

界面逻辑解析的过程可以采用图像分割、目标检测、图像识别等图像分析技术对当前界面的图像进行解析，以获得各个元素的元素信息，即界面元素信息。具体地，可以采用图像分割方法按照各个元素的边界线进行分割，如根据窗口的边界线，将窗口区域从整个图像中分割出来，并可以确定窗口区域在图像中的位置(可由像素坐标表示)；对分割出的窗口可进行进一步的图像分割，如根据窗口中控件按钮的边界线，将控件按钮分割出来，并可确定控件按钮的位置；对于分割出的元素，可采用图像识别技术识别各个元素的类别和属性，如识别出一个元素的类别是“按钮”，属性是“确定”；进一步地，还可以采用目标检测的方式，确定当前界面中是否存在某个特定元素；进一步地，还可以根据各个元素的位置、类别和属性，确定各个元素之间的关系，得到元素间关系信息，如根据元素1和元素2的位置，确定元素1和元素2的位置关系为包含关系，即元素2在元素1中，根据元素1和元素2的类别、属性信息：元素1的类别是“提示框”，属性是“错误提示”，元素2的类别是“按钮”，属性是“关闭”，确定元素1和元素2的逻辑关系是元素2与元素1组成一个错误提示窗口，元素2用于关闭该错误提示窗口。

步骤S20，根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

在解析得到当前界面中各个元素的界面元素信息后，根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素。需要说明的是，自动化流程中各个操作可对应一个待操作元素，待操作元素可由位置、类别和属性限定，如当前操作是在位置为x*y(x为横坐标，y为纵坐标)的姓名输入框中输入姓名，则待操作元素是位置为x*y、类别为“输入框”、属性为“姓名”的元素。具体地，可以根据界面元素信息中各个元素的位置信息在当前界面中匹配待操作元素；如在界面元素信息中查找是否有位置为x*y的元素；若查找到有位置为x*y的元素，则确定在当前界面中匹配到待操作元素，也即在当前界面的图像中x*y位置有对应的元素；若未查找到，则确定在当前界面中未匹配到待操作元素，也即在当前界面的图像中x*y位置没有对应的元素。

步骤S30，若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

在执行自动化流程的过程中，正常情况下应当是能够在当前界面匹配到待操作元素，若匹配到待操作元素，则对当前界面中匹配到的待操作元素进行当前的操作，如在当前界面中对类别为“按钮”、属性为“确定”的待操作元素进行点击操作；在进行点击操作后，若界面刷新，则对刷新后的界面继续进行界面逻辑解析获得界面元素信息，继续在刷新后的界面中匹配下一操作的待操作元素，直到自动化流程执行完毕。

若在当前界面中未匹配到待操作元素，则说明当前界面中没有找到待操作元素，发生了异常，可能的原因有多种，如可能是当前界面中出现了异常弹窗，必须关闭异常弹窗才能够进行当前的操作，还可能是当前界面中的待操作元素被其他元素遮挡，从而无法匹配到元素，还可能是当前界面未显示出待操作元素，如需要向下翻页才能够显示出待操作元素。

可根据界面元素信息中的元素间关系信息分析确定异常原因。如为检测是否是异常弹窗的原因，可根据元素间关系信息确定是否有错误提示类窗口，若有，则确定异常原因是出现异常弹窗。如为检测是否是待操作元素被其他元素遮挡的原因，可根据元素之间的位置关系和逻辑关系确定待操作元素是否被遮挡，例如待操作元素为姓名输入框，但是根据元素之间的位置关系和逻辑关系，确定姓名的标识元素的右边不是姓名输入框，而是一个图片，则确定姓名输入框被图片遮挡了；又如为检测待操作元素是否需要翻页才能显示，可根据自动化流程中记录的待操作元素与其他元素之间的位置关系、逻辑关系，以及界面元素信息中的各元素之间的位置关系、逻辑关系确定，如待操作元素为确定按钮，记录的待操作元素是在输入提示框中的元素，位置在输入提示框的下部，界面元素信息中输入提示框的位置在当前界面图像的下部，但是输入提示框中没有检测到确定按钮，则确定输入提示框未显示完全，需要向下翻页，才能够显示出确定按钮。

步骤S40，采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

预先设置的不同的异常原因分别对应的异常处理方式。在确定异常原因后，即采取与该异常原因匹配的异常处理方式对当前界面进行处理，以排除异常。如异常原因是待操作元素被其他元素遮挡，则可以先等待一段时间，再对当前界面进行界面逻辑解析，根据解析结果确定待操作元素是否仍被遮挡，若未遮挡，则对待操作元素进行当前的操作，以解决滑动窗口暂时遮挡待操作元素的异常；若仍遮挡，则可以对遮挡待操作元素的元素进行检测，确定该元素是否可以被消除，如检测是否有关闭按钮；若检测到可以消除，如检测到有关闭按钮，则先点击该关闭按钮，再对界面进行界面逻辑解析，在当前界面匹配待操作元素；若检测到不可以消除，则可中断流程上报异常。又如，异常原因是待操作元素需要向下翻页才能显示，则可以先进行向下翻页的操作，再对界面进行界面逻辑解析，在当前界面匹配待操作元素；若仍未匹配到，则可再一次分析异常原因，根据异常原因进行处理，如仍需要向下翻页；若无法确定异常原因，则可中断流程上报异常。

在异常排除后，继续执行自动化流程，直到执行完毕。

进一步地，步骤S40包括：

步骤S401，当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

步骤S402，对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

进一步地，当异常原因是当前界面出现异常弹窗时，可对异常弹窗进行关闭。具体地，可以根据界面元素信息中该异常弹窗的信息，确定异常弹窗关闭按钮的位置，从而对异常弹窗的关闭按钮进行点击操作，以关闭异常弹窗。在关闭异常弹窗后，对关闭弹窗后的界面继续进行界面逻辑解析操作，并根据获得的界面元素信息进行待操作元素的匹配，若匹配到，则对待操作元素进行操作，若未匹配到，则进行异常原因分析，排除异常。

进一步地，步骤S40包括：

步骤S403，当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。

进一步地，对于一些异常原因，无法进行自动处理，则可终端自动化流程，并输出携带异常原因的提示信息，如因网络连接失败而无法下载数据，则可以输出携带“网络连接失败”提示语的提示信息，以直观地提示用户中断流程的原因。用户操作恢复网络后，则继续执行自动化流程，直到流程执行完毕。

在本实施例中，通过在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理，以排除异常。由于是对当前界面的图像进行界面逻辑解析，并根据解析得到的界面元素信息进行待操作元素的匹配，以及元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

进一步的，基于上述第一实施例，本发明自动化流程的异常排除方法第二实施例提供一种自动化流程的异常排除方法。在本实施例中，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，所述步骤S20包括：

步骤S201，从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

目前，在自动化流程执行过程中采用图像匹配的方式在界面中匹配待操作元素，当因界面改版等原因造成元素外观改变时，就无法匹配到待操作元素，只能异常中断。在本实施例中，为解决元素外观发生变化而无法匹配到待操作元素的问题，在第一实施例的基础上，提出一种自动化流程的异常排除方法。具体地，在本实施例中，对当前界面进行界面逻辑解析得到的界面元素信息还包括当前界面中各元素的类别信息和属性信息。当对当前界面进行界面逻辑解析获得界面元素信息后，从当前界面的各元素中查找类别信息和属性信息与当前的待操作元素匹配的元素。即可查找各个元素中，是否有与待操作元素的类别信息和属性信息相同的元素。如待操作元素是类别为“按钮”，属性为“确定”的元素，则在界面元素信息中查找是否有类别为“按钮”，属性为“确定”的元素。

步骤S203，若查找到，则确定在当前界面中匹配到所述待操作元素。

若查找到，则确定在当前界面中匹配到待操作元素。若未查找到，则确定在当前界面中未匹配到待操作元素。若确定在当前界面中匹配到待操作元素，则可以根据查找到的元素的位置信息，对该元素进行对应的操作。

在本实施例中，通过根据元素的类别信息和属性信息检测当前界面是否有待操作元素，类别和属性吻合即可，从而当待操作元素的外观和位置发生变化时，仍然能够根据当前界面中各元素的类别和属性找到待操作元素，从极大地排除了因界面改版、元素外观和位置发生改变等造成的待操作元素无法匹配的异常情况，从而减少了流程中断的可能，提高了流程的执行成功率。

进一步地，基于上述第一和二实施例，本发明自动化流程的异常排除方法第三实施例提供一种自动化流程的异常排除方法。在本实施例中，所述步骤S10之前，还包括：

步骤S50，当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

在自动化流程执行过程中，若执行了打开页面的操作，需要对操作后的界面进行界面逻辑解析，匹配待操作元素。但是可能因为页面加载失败等原因造成当前界面中没有待操作元素，从而导致后续无法匹配到待操作元素，在第一实施例中可通过界面逻辑解析得到的界面元素信息确定是界面加载失败的异常原因，从而通过重新加载页面来排除异常。但是对当前界面进行界面逻辑解析的过程较复杂，需要花费较长时间。在本实施例中，可以在执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常。通过简单地界面初识别来排除页面加载失败造成的异常，节省流程的执行时间，提高流程执行效率。

其中，当前界面正常是指当前界面中显示的页面是当前待执行的操作所对应的页面，如待执行的操作是填写登录页面中的账号和密码信息，则当前界面中显示的页面是登录页面时，说明当前界面正常。

所述步骤S10包括：

步骤S101，若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。

若通过界面初识别确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息，再执行根据界面元素信息匹配待操作元素的后续步骤。若通过界面初识别确定当前界面不正常，则可采取相应的处理方式进行处理；如当识别到页面正在加载时，则等待页面加载；当识别到页面丢失时，则可先返回上一页面，再打开该页面，若仍然是页面丢失，则可中断流程并输出提示信息。

进一步地，步骤S50中当前界面的图像进行界面初识别，确定当前界面是否正常的步骤包括：

步骤S501，根据所打开页面的页面类型确定界面初识别的识别区域；

由于不同浏览器、不同应用程序的页面加载标识的显示位置不同，预先可设置不同的页面类型分别对应的界面初识别的识别区域，页面类型可包括所打开页面对应的浏览器或应用程序的类型，如浏览器a对应的识别区域为左上角区域，浏览器b对应的识别区域为左下角区域。

步骤S502，在当前界面图像的所述识别区域内识别页面加载标识；

在确定了界面初识别的识别区域后，在当前界面图像的该识别区域内识别页面加载标识。具体地，可采用图像匹配的方式在该识别区域内进行匹配，如一般浏览器的页面加载标识有两种，一个是用于标识正在加载的叉标识，一个用于标识加载完成的圆弧型箭头标识。根据图像匹配确定页面加载标识是哪一类型的标识，如若识别到页面加载标识是叉标识，则确定页面加载标识的类型是正在加载，若识别到页面加载标识是圆弧型箭头标识，则确定页面加载标识的类型是加载完成。

步骤S503，若所述页面加载标识的类型是加载完成，则确定当前界面正常。

若页面加载标识的类型是加载完成，则确定当前界面正常。若页面加载标识的类型是正在加载，则确定当前界面不正常，此时可以继续等待一段时间，等待页面加载。

进一步地，步骤S503包括：

步骤S5031，若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；

进一步地，由于页面加载完成也可能是显示了页面丢失的信息，而未真正加载待执行操作所对应的页面，所以当页面加载标识的类型是加载完成时，可进一步在当前界面的图像中查找是否存在页面丢失信息。可以预先存储多种页面丢失信息，以检测多种原因造成的页面丢失异常。

步骤S5032，若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。

若在当前界面的图像中未查找到页面丢失信息，则取得当前界面正常，则可对当前界面进行界面逻辑解析，以及后续的待操作元素匹配。若在当前界面的图像中查找到页面丢失信息，则确定当前界面不正常，此时可以先返回上一页面，再打开该页面，若仍然是页面丢失，则可中断流程并输出提示信息。

在本实施例中，通过在执行打开页面的操作后，先对当前界面进行界面初识别，以确定当前界面是否正常，若正常再进行页面逻辑解析，若不正常，则可以进行相应的处理以排除异常，使得通过简单的界面初识别解决一些可能出现的异常，节省了自动化流程的执行时间，提高了流程的执行效率。

如图3所示，为一种自动化流程执行流程图像，首先进行页面初识别以排除可能出现的页面正在加载、页面加载失败的异常；再进行界面逻辑解析、元素匹配；若元素无法匹配，则根据界面逻辑解析得到的界面元素信息进行异常分析以确定异常原因；根据确定的异常原因对异常进行自动处理，以通过对界面的图像进行分析排除自动化流程执行过程中可能出现的一些异常，在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

此外本发明实施例还提出一种自动化流程的异常排除装置，参照图4，所述自动化流程的异常排除装置包括：

解析模块10，用于在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

匹配模块20，用于根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

分析模块30，用于若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

处理模块40，用于采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

进一步地，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，

所述匹配模块20包括：

查找单元，用于从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

第一确定单元，用于若查找到，则确定在当前界面中匹配到所述待操作元素。

进一步地，所述处理模块40包括：

关闭单元，用于当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

继续执行单元，用于对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

进一步地，所述自动化流程的异常排除装置还包括：

初识别模块，用于当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

所述解析模块10，还用于若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。

进一步地，所述初识别模块包括：

第二确定单元，用于根据所打开页面的页面类型确定界面初识别的识别区域；

识别单元，用于在当前界面图像的所述识别区域内识别页面加载标识；

第三确定单元，用于若所述页面加载标识的类型是加载完成，则确定当前界面正常。

进一步地，所述第三确定单元包括：

查找子单元，用于若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；

确定子单元，用于若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。

进一步地，所述处理模块40包括：

中断单元，用于当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。

本发明自动化流程的异常排除装置的具体实施方式的拓展内容与上述自动化流程的异常排除方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有自动化流程的异常排除程序，所述自动化流程的异常排除程序被处理器执行时实现如上所述自动化流程的异常排除方法的步骤。

本发明自动化流程的异常排除设备和计算机可读存储介质的具体实施方式的拓展内容与上述自动化流程的异常排除方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种自动化流程的异常排除方法，其特征在于，所述自动化流程的异常排除方法包括：

在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

2.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，

所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：

从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

若查找到，则确定在当前界面中匹配到所述待操作元素。

3.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

4.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：

当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：

若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。

5.如权利要求4所述的自动化流程的异常排除方法，其特征在于，所述对当前界面进行界面初识别，确定当前界面是否正常的步骤包括：

根据所打开页面的页面类型确定界面初识别的识别区域；

在当前界面图像的所述识别区域内识别页面加载标识；

若所述页面加载标识的类型是加载完成，则确定当前界面正常。

6.如权利要求5所述的自动化流程的异常排除方法，其特征在于，所述若所述页面加载标识的类型是加载完成，则确定当前界面正常的步骤包括：

若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；

若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。

7.如权利要求1至6任一项所述的自动化流程的异常排除方法，其特征在于，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。

8.一种自动化流程的异常排除装置，其特征在于，所述自动化流程的异常排除装置包括：

解析模块，用于在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

匹配模块，用于根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

分析模块，用于若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

处理模块，用于采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

9.一种自动化流程的异常排除设备，其特征在于，所述自动化流程的异常排除设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的自动化流程的异常排除程序，所述自动化流程的异常排除程序被所述处理器执行时实现如权利要求1至7中任一项所述的自动化流程的异常排除方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自动化流程的异常排除程序，所述自动化流程的异常排除程序被处理器执行时实现如权利要求1至7中任一项所述的自动化流程的异常排除方法的步骤。

Images