CN116630990A - Rpa流程元素路径智能修复方法及系统 - Google Patents

Abstract

本发明涉及RPA技术领域，具体涉及RPA流程元素路径智能修复方法及系统。方法包括：S1，元素拾取阶段：用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；S2，智能修复阶段：在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。本发明具有能够保障流程对解析界面的适应能力，能够大大提升RPA自动化流程的执行稳定性和效率的特点。

Description

RPA流程元素路径智能修复方法及系统

技术领域

本发明涉及RPA技术领域，具体涉及RPA流程元素路径智能修复方法及系统。

背景技术

机器人流程自动化技术（Robotic Process Automation, 后简称RPA）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。RPA技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。

以网页元素为例，在流程编写时，会记录各元素的xpath路径（xpath(XML PathLanguage) 是一门在 XML 文档中查找信息的语言，基于元素的树形结构解析元素信息，可用来在XML文档中对元素和属性进行遍历），以便在执行阶段通过所记录的xpath路径进行目标元素定位从而进行点击等操作。但是，元素的xpath路径并不是一直不变的，当网页有更新时，可能会导致流程中某元素的xpath路径中的某一个节点甚至元素本身样式发生变化，此时再通过所记录的初始xpath路径去定位该元素时，就会导致元素定位失败。用户就不得不重新对该元素进行拾取，获取目标元素当前xpath路径，等到下次更新时，再出现由xpath路径更新导致的元素定位失败的情况，再去重新拾取，周而复始，严重影响了流程执行的稳定性，这样的RPA流程鲁棒性较差，难以长期持续稳定运行。

对于RPA流程元素路径智能修复方法及系统，目前主要涉及到以下技术：

1.可底层解析场景的元素匹配技术

在可底层解析的软件或网站场景下，元素匹配均是通过在拾取阶段所记录的元素xpath路径进行匹配（这种场景下所拾取的元素以下称为普通元素）。如中国专利申请号为CN202210737400.5描述的《基于RPA的网页元素定位方法、装置及存储介质》中提到的，拾取阶段获取目标元素的xpath路径，在执行阶段根据xpath路径定位目标元素并执行相应操作。

2.不可底层解析场景的元素匹配技术

对于不可底层解析的软件或网页场景，需要首先借助计算机视觉技术对界面进行识别，然后选取目标元素进行拾取，最后保存所拾取元素的图像等相关信息，在执行阶段基于模版匹配技术或者计算机视觉技术进行目标元素的匹配（这种场景下所拾取的元素以下称为CV元素）。如中国专利申请号为CN202011206854.7描述的《一种RPA机器人智能元素定位拾取方法及系统》和中国专利申请号为CN202210944399.3描述的《用于支持跨分辨率的自迭代RPA界面元素匹配方法及系统》中提到的，在各种场景下基于计算机视觉技术的RPA元素匹配方案。

针对RPA流程执行中的元素匹配问题，现有技术将普通元素和CV元素匹配分开处理，具体来说：在元素拾取时，系统会为所拾取的元素打上标签以表明该元素属于普通元素还是CV元素，并在执行时为前者基于xpath路径匹配，为后者基于计算机视觉技术匹配。这种方式能够有效为不同类型的元素使用不同的匹配方法，进而高效地完成元素匹配任务。但是对于普通元素来说，还存在以下问题亟待解决。

由于本发明所要解决的是可底层解析场景下由执行界面目标元素xpath路径变化导致的流程执行失败的问题，因此仅对可底层解析场景的元素匹配技术的局限性进行描述。

1.可底层解析场景的元素匹配技术的局限性

对于可底层解析场景的元素匹配，需要基于所拾取的元素xpath路径进行元素定位。而元素的xpath路径并不是一直不变的，当网页或者软件有更新时，一方面可能会导致流程中某元素的xpath路径中的某一个节点发生变化，此时再通过所记录的初始xpath路径去定位该元素时，就会导致元素定位失败。另一方面还有可能会导致如图标元素样式也发生变化，同样会导致元素匹配失败。此时，用户就不得不重新对该元素进行拾取，获取目标元素当前的xpath路径；等到下次软件或网页更新时，依然会再次出现元素定位失败的情况，就需要再次去重新拾取，周而复始，严重影响了流程执行的稳定性。

因此，设计一种能够解决由目标元素在执行界面xpath路径或元素样式发生变化导致的元素匹配失败问题的RPA流程元素路径智能修复方法及系统，就显得十分重要。

发明内容

本发明是为了克服现有技术中，现有可底层解析场景下由执行界面目标元素xpath路径变化导致的流程执行失败的问题，提供了一种能够保障流程对解析界面的适应能力，能够大大提升RPA自动化流程的执行稳定性和效率的RPA流程元素路径智能修复方法及系统。

为了达到上述发明目的，本发明采用以下技术方案：

RPA流程元素路径智能修复方法，包括如下步骤；

S1，元素拾取阶段：

在所述元素拾取阶段，用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；

S2，智能修复阶段：

在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。

作为优选，步骤S1中，所述元素拾取阶段具体包括如下步骤：

S11，使用元素检测模型检测拾取界面各元素位置；

S12，计算所拾取的目标元素中心点坐标，确认所述中心点具体落在的位置，并将落有目标元素中心点的CV元素作为候选元素；

S13，对所述候选元素进行双向确认和二次校验。

作为优选，所述双向确认的过程如下：

当目标元素中心点仅落在一个CV元素内时，则计算对应CV元素的中心点，同时计算所述CV元素的中心点是否落在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。

作为优选，步骤S13中，所述二次校验的过程如下：

当目标元素中心点落在多个CV元素内时，通过模版匹配的方式选择出与目标元素视觉特征最为相似的一个CV元素，再基于双向确认机制验证最为相似的CV元素的中心点是否在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。

作为优选，步骤S11中，所述元素检测模型为预先训练的识别界面元素位置的深度学习模型。

作为优选，步骤S1中，所述CV元素信息包括CV元素本身的图像信息以及为CV元素分配的锚点元素信息。

作为优选，步骤S2中，所述智能修复操作具体过程为：

S21，获取目标元素对应的CV元素信息，使用模版匹配在执行界面进行目标元素匹配，若成功匹配到目标元素，则表示目标元素仅xpath路径变化，而视觉特征未发生变化，则重新获取目标元素的xpath路径，并进行对应操作，完成修复；若未能匹配到目标元素，则说明目标元素的视觉特征发生变化，则在执行界面进行对应目标元素的锚点匹配，找到各个锚点元素在执行界面的位置，并结合锚点元素与目标元素之间的相对位置关系，最终确认目标元素在执行界面中的位置；

S22，系统进行重拾取，为匹配到的目标元素重新生成新的xpath路径信息，并替换掉原来的xpath路径信息，完成目标元素的路径智能修复。

本发明还提供了RPA流程元素路径智能修复系统包括：

元素拾取模块，用于在元素拾取阶段，使用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；

智能修复模块，用于在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。

本发明与现有技术相比，有益效果是：（1）本发明将基于xpath路径的元素拾取匹配方案和基于CV的元素拾取匹配方案进行深度融合，在拾取阶段，为用户选取的普通元素在系统内部拾取一份CV元素信息共同存储，全程无需用户进行额外的拾取操作；在执行阶段，首先基于xpath路径匹配方式匹配目标元素在执行界面的位置，若匹配失败，说明执行界面目标元素的xpath路径或元素样式发生变化，此时再利用该元素的CV信息基于视觉特征进行匹配，当目标元素仅xpath路径节点发生变化而本身视觉特征没变时，直接通过模版匹配就能成功定位；当目标元素xpath路径及本身视觉特征都发生变化时，通过锚点元素辅助定位的方式也能成功实现目标元素的定位；在成功定位到目标元素之后，重新获取该元素xpath路径，替换之前旧的xpath路径；本发明使得在目标元素xpath路径下一次发生变化之前，都可以基于xpath路径进行匹配；（2）本发明可以完成元素路径的智能修复，从而很好的解决了由目标元素在执行界面xpath路径或元素样式发生变化导致的元素匹配失败问题，保障了流程对解析界面的适应能力，能够大大提升RPA自动化流程的执行稳定性和效率。

附图说明

图1为本发明中RPA流程元素路径智能修复方法的一种流程架构图；

图2为本发明中元素拾取阶段的一种流程示意图；

图3为本发明中智能修复阶段的一种流程示意图；

图4为本发明实施例提供的RPA流程元素路径智能修复方法中元素拾取阶段的一种实际应用流程图；

图5为本发明实施例提供的RPA流程元素路径智能修复方法中智能修复阶段的一种实际应用流程图；

图6为本发明实施例提供的某公司内部系统的一种登录界面示意图；

图7为图6中元素D在执行界面进行匹配的一种示意图；

图8为图7对应的执行界面二次更新后的一种示意图；

图9为图7对应的执行界面三次更新后的一种示意图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本发明提供了RPA流程元素路径智能修复方法，如图1所示，整个方案可以分为元素拾取和智能修复阶段。

在元素拾取阶段，用户以普通元素拾取的方式选取目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取。

在智能修复阶段，用户启动流程自动化执行，流程中的某普通元素基于xpath路径在执行界面匹配目标元素，但是由于执行界面该普通元素的xpath路径发生变化，导致匹配失败。转而执行智能修复，智能修复过程如下：首先获取该元素对应的CV元素信息，然后使用模版匹配在执行界面进行目标元素匹配，若成匹配到目标元素，则表示目标元素仅xpath路径变化，而视觉特征未发生变化；若未能匹配到目标元素，则说明该普通元素是视觉特征也发生了变化，则在执行界面进行该元素锚点的匹配，找到各锚点元素在执行界面的位置，进而结合锚点元素与目标元素之间的相对位置关系，最终确认目标元素在执行界面中的位置。最后，系统进行重拾取，为匹配到的目标元素重新生成xpath路径，并替换掉之前的旧xpath路径信息，完成该普通元素的路径智能修复。通过这种方式，能够有效解决RPA流程执行阶段，由目标元素在执行界面xpath路径变化及目标元素视觉特征变化导致的元素匹配失败问题，进而保障了自动化流程的长时间稳定运行。

进一步的，元素拾取阶段所要完成的功能是，选择目标元素并进行拾取。与一般的元素拾取不同，这里在选择目标元素之后，系统除了要生成xpath路径外，还要对所选择的元素进行一次CV拾取，CV拾取在系统内部静默运行，无需用户参与，并保存xpath路径和CV拾取的元素相关信息。所述CV拾取目标元素的过程如图2所示，图中目标元素指用户在可底层解析场景拾取的普通元素。

如图2所示，拾取过程如下：首先使用元素检测模型（预先训练的识别界面元素位置的深度学习模型）检测拾取界面各元素位置；然后计算所拾取的普通元素中心点坐标，确认该中心点落在哪个CV元素内，则将该CV元素作为候选元素；最后对候选元素进行双向确认和二次校验。

所述双向确认的过程为当目标元素中心点仅落在一个CV元素内时，则再计算该CV元素的中心点，并计算其是否落在目标元素内，若是，则拾取该CV元素，否则放弃为该目标元素拾取CV元素，即放弃该普通元素的智能修复，通过双向确认机制可以避免拾取到的CV元素与目标元素不一致，从而避免执行阶段错误修复。

所述二次校验的过程是，当目标元素中心点落在多个CV元素内时，通过模版匹配的方式选择出与目标元素视觉特征最为相似的一个CV元素，然后再基于双向确认机制验证其中心点是否在目标元素内，从而确认是否进行该CV元素的拾取。其中，CV元素的拾取包括但不限于保存CV元素本身的图像、类别属性及为其分配的锚点元素等信息。

智能修复阶段所要完成的功能是，在基于xpath路径进行元素匹配失败时，启动智能修复。首先获取拾取的CV元素信息，包含目标元素图像等信息及锚点元素信息，然后基于CV元素视觉特征信息定位目标元素在执行界面的位置，若成功匹配，则重新获取该元素xpath路径，并进行相应操作，完成修复。若匹配失败，则表示修复失败。所述基于CV元素视觉特征信息进行匹配的示意图如图3所示，首先通过模版匹配在执行界面定位目标元素，若定位失败，则表示目标元素本身视觉特征也发生了变化，则定位锚点元素在执行界面的位置，然后通过目标元素与锚点元素之间的相对位置关系（包括但不限于两元素在x、y轴的轴向距离或欧式距离及相对角度信息等），反推出目标元素的位置，完成匹配。

本发明还提供了RPA流程元素路径智能修复系统包括：

元素拾取模块，用于在元素拾取阶段，使用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；

智能修复模块，用于在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。

如图6所示为某公司内部系统的登录界面示意图，该实施例为在该界面完成账号和密码自动化输入操作，以便自动化登录该系统。图6中，元素A指文本“登录界面”，元素B指文本“账号”，元素C指文本“密码”，元素D指账号输入框，元素E指密码输入框。

1.在元素拾取阶段，如图4所示，具体过程如下：

用户选取元素D进行拾取，系统生成元素D的xpath路径<login-input-box>并保存。其中，<login-input-box>为界面元素xpath路径的一般示意形式，如<login>表示该界面是一个登录界面，<login-input>表示该元素为登录界面下的输入框，<login-input-box>表示该输入框属性为box。同时，系统进行元素D的CV拾取，首先进行元素检测，有A、B、C、D、E共5个CV元素，普通元素D的中心点仅落在CV元素D中，因此选取CV元素D进行拾取；然后基于锚点选取规则，将元素B和元素C设置为元素D的锚点元素，并记录相对位置关系，最后系统为元素D保存上述CV元素信息。

2.在智能修复阶段，如图5所示，具体过程如下：

在如图7所示的执行界面进行元素D的匹配，该系统登录界面被第一次更新，此时执行界面和拾取界面视觉特征一致，但元素D的xpath路径发生变化为<login-input-blank>，即输入框属性由box变为blank，导致基于xpath路径的匹配失败。因此再基于保存的CV信息进行匹配，首先基于模版匹配，匹配到元素、/>，然后再基于锚点辅助定位出匹配元素为/>，最后重新生成元素/>的xpath路径<login-input-blank>，并将其作为元素D的新路径，并进行相应自动化操作。当界面二次更新时，执行界面元素/>xpath路径保持为第一次更新后的结果<login-input-blank>，视觉特征也发生变化，如图8所示，元素/>输入框内被填充了默认字段，此时由于拾取元素D的xpath路径已经被更新为<login-input-blank>，所以即使视觉特征发生变化，使用新保存的xpath路径也能成功匹配到元素/>并进行相应自动化操作。

当界面第三次更新时，如图9所示，此时执行界面的元素的视觉特征未变化，但是该元素的xpath路径再次被更新为<login-input-space>，即输入框属性由blank变为space，使用第一次更新的xpath路径<login-input-blank>匹配失败，然后基于CV信息匹配，由于元素D视觉特征发生变化，导致模版匹配未能成功匹配到元素；最后转而匹配锚点，定位到锚点元素在执行界面的对应元素为/>、/>，然后基于相对位置关系反推到目标元素D在执行界面对应元素为/>,最后重新生成元素/>的xpath路径<login-input-space>，并将其作为元素D的新路径，并进行相应自动化操作。

3.通过以上操作，即可以完成元素D在匹配阶段的智能修复。无论是界面更新导致的元素xpath路径变化或者是目标元素视觉特征变化，基于上述方案均能顺利完成目标元素的匹配，进而保证自动化流程的顺利执行。

本发明提出的RPA流程元素路径智能修复方法及系统，针对RPA流程执行过程中由于目标元素xpath路径发生变化导致的目标元素匹配失败的问题，提出了解决方案。该方案深度融合了计算机视觉技术，从多个角度解决了xpath路径变化及视觉特征变化导致的元素匹配失败问题，从而提升了RPA流程的鲁棒性，使其能够应对各种执行界面更新的场景，大大提升了RPA流程执行的稳定性及长时间持续运行的可靠性。

本发明的创新点如下：

1.本发明创造性地提出了一种RPA流程元素路径智能修复方法及系统，通过深入融合计算机视觉技术，解决了由于目标元素xpath路径发生变化导致的目标元素匹配失败的问题，提升了RPA流程的鲁棒性和稳定性。

2.本发明创造性地提出了RPA元素xpath路径更新方案，根据智能修复结果，为目标元素更新xpath路径，大大提升了流程执行的准确性和稳定性。

3.本发明创造性地提出了对目标元素静默进行对应CV元素的拾取方案，充分考虑了各种场景，并结合模版匹配技术进行目标CV元素的选取，大大提升了CV元素选取的准确性，为成功进行智能修复奠定了基础。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (8)

1.RPA流程元素路径智能修复方法，其特征在于，包括如下步骤；

S1，元素拾取阶段：

在所述元素拾取阶段，用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；

S2，智能修复阶段：

在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。

2.根据权利要求1所述的RPA流程元素路径智能修复方法，其特征在于，步骤S1中，所述元素拾取阶段具体包括如下步骤：

S11，使用元素检测模型检测拾取界面各元素位置；

S12，计算所拾取的目标元素中心点坐标，确认所述中心点具体落在的位置，并将落有目标元素中心点的CV元素作为候选元素；

S13，对所述候选元素进行双向确认和二次校验。

3.根据权利要求2所述的RPA流程元素路径智能修复方法，其特征在于，步骤S13中，所述双向确认的过程如下：

当目标元素中心点仅落在一个CV元素内时，则计算对应CV元素的中心点，同时计算所述CV元素的中心点是否落在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。

4.根据权利要求3所述的RPA流程元素路径智能修复方法，其特征在于，步骤S13中，所述二次校验的过程如下：

当目标元素中心点落在多个CV元素内时，通过模版匹配的方式选择出与目标元素视觉特征最为相似的一个CV元素，再基于双向确认机制验证最为相似的CV元素的中心点是否在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。

5.根据权利要求2所述的RPA流程元素路径智能修复方法，其特征在于，步骤S11中，所述元素检测模型为预先训练的识别界面元素位置的深度学习模型。

6.根据权利要求5所述的RPA流程元素路径智能修复方法，其特征在于，步骤S1中，所述CV元素信息包括CV元素本身的图像信息以及为CV元素分配的锚点元素信息。

7.根据权利要求4所述的RPA流程元素路径智能修复方法，其特征在于，步骤S2中，所述智能修复操作具体过程为：

S21，获取目标元素对应的CV元素信息，使用模版匹配在执行界面进行目标元素匹配，若成功匹配到目标元素，则表示目标元素仅xpath路径变化，而视觉特征未发生变化，则重新获取目标元素的xpath路径，并进行对应操作，完成修复；若未能匹配到目标元素，则说明目标元素的视觉特征发生变化，则在执行界面进行对应目标元素的锚点匹配，找到各个锚点元素在执行界面的位置，并结合锚点元素与目标元素之间的相对位置关系，最终确认目标元素在执行界面中的位置；

S22，系统进行重拾取，为匹配到的目标元素重新生成新的xpath路径信息，并替换掉原来的xpath路径信息，完成目标元素的路径智能修复。

8.RPA流程元素路径智能修复系统，用于实现权利要求1-7任一项所述的RPA流程元素路径智能修复方法，其特征在于，所述RPA流程元素路径智能修复系统包括：

元素拾取模块，用于在元素拾取阶段，使用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；

智能修复模块，用于在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。