CN113420192A - 一种基于模糊匹配的ui元素搜索方法 - Google Patents

Abstract

本发明公开了一种基于模糊匹配的UI元素搜索方法，包括根据通配符的位置将路径划分为实际路径集合和模糊路径集合；遍历整棵dom树将实际路径段依次放入当前遍历到的模糊路径进行匹配；根据匹配到的正确路径返回叶子节点供自动化操作。本发明解决了由于设计在实际应用RPA系统时，经常需要将路径中的不确定的节点换成通配符的问题，利用模糊匹配算法，来查看在节点为任意值时，符合条件的元素有哪些。本发明方便在结构复杂难以获取节点全部完整路径的页面时，也能查找到所需节点，或在已经定位到一个节点的完整路径时，通过模糊小部分路径就能查找到结构相似的全部节点而不需要重新捕获节点，大大提升使用效率，降低用户操作的复杂程度。

Description

一种基于模糊匹配的UI元素搜索方法

技术领域

本发明属于电数字处理领域，具体涉及一种基于模糊匹配的UI元素搜索方法。

背景技术

机器人流程自动化(robotic process automation)简称RPA，是以软件机器人及人工智能(AI)为基础的业务过程自动化科技。机器人流程自动化工具在技术上类似图形用户界面测试工具。这些工具也会自动的和图形用户界面上互动，而且会由使用者示范其流程，再用示范性编程来实现。机器人流程自动化工具的不同点是这类系统会允许资料在不同应用程序之间交换。例如接收电子邮件可能包括接收付款单、取得其中资料，输入到簿记系统中。

在应用RPA软件对浏览器页面元素进行自动化操作时，通过使用浏览器插件，将js(javascript，脚本语言)代码注入需要自动化操作的页面，用js代码来定位UI元素，这样就可以对特定位置进行特定的操作，从而达到动态的效果。

为了定位到需要操作的UI元素(User Interface，用户界面)，RPA需要设计一种UI元素搜索算法，使用树型结构管理UI元素，每个UI元素可用一个从HTML(Hyper TextMarkup Language，超文本标记语言)根节点出发的path(路径)进行唯一表达，定位时将路径传入js端，通过遍历path中的节点在页面中依次查找对应的dom(document objectmodel，文档对象模型)元素最终即可定位到需要操纵的元素。

但是，实际应用RPA软件时，面对一些结构复杂的浏览器页面，一个元素的完整路径长度极有可能达到十几层或数十层，要求用户根据实际的网页结构从所需元素依次向上查找父节点并连接生成需要操作的元素的完整路径十分困难并且极易产生路径出错的问题。仅依靠获取完整路径实现元素定位的方法对用户的操作要求过高，如果无法获取正确且完整的元素路径，RPA软件将无法查找和定位到正确的UI元素。

发明内容

本发明的目的在于提供一种基于模糊匹配的UI元素搜索方法，该方法是一种根据不完整路径信息定位到可能正确的UI元素的搜索算法，并且能够通过模糊部分路径查找所有元素，极大地提升了效率。

本发明提供的这种基于模糊匹配的UI元素搜索方法，包括如下步骤：

S1.根据通配符的位置将路径划分为实际路径集合和模糊路径集合；

S2.遍历整棵dom树将实际路径段依次放入当前遍历到的模糊路径进行匹配；

S3.根据匹配到的正确路径返回叶子节点供自动化操作。

所述的步骤S1具体为将路径按通配符进行分割，得到若干段路径段；再将路径段按分隔符进行分割，并去掉由于分隔符在路径首部或尾部分割得到的空字符串，得到确定路径节点集合；并判断路径头部第一个节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的第一个节点是实际路径的根节点，设置标记位特殊标识；判断路径尾部最后一个确定节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的最后一个节点是实际路径的叶子节点，设置标记位特殊标识。

所述的步骤S2，包括如下步骤：

A1.获取节点在兄弟节点中的排名；

A2.采用DFS(Depth First Search，深度优选遍历)遍历dom树；

A3.将路径段与实际路径匹配。

所述的步骤A1，具体为获取当前节点的父节点，遍历父节点的所有子节点，记录下与当前节点相同类型的节点数目，如果遍历到了当前节点，得到节点在兄弟中的排名。

所述的步骤A2，具体为遍历当前父节点的全部子节点，当前路径中加入当前遍历到的子节点，记录节点类型的列表中加入属性值和节点在兄弟中的排名；遍历分割好的确定路径段，获取当前确定路径段在当前遍历到的实际路径的位置；若当前确定路径段在当前遍历到的实际路径匹配成功，将当前遍历到的路径分割掉已经匹配上的部分，剩下的部分继续与路径段匹配；若匹配失败，结束遍历。

所述的步骤A3，具体为判断传入的标记位，若标记位表示路径的第一个节点是实际路径的根节点，则从根节点判断路径段与实际路径是否匹配；若标记位表示路径的最后一个节点是实际路径的叶子节点，则从叶子节点判断路径段与实际路径是否匹配；若无特殊标记，则路径段存在于当前路径的任意位置都匹配成功。

匹配方法具体为：遍历路径段中全部节点，获取一个当前节点在实际路径中的位置，如果在实际路径不能找到当前节点，路径匹配失败返回匹配失败信息；如果能找到当前节点，记录当前节点在实际路径中的位置；接着遍历下一个节点，重复匹配操作直至匹配完成；若有一项不符则返回，匹配失败。

所述的步骤S3，具体为判断正确路径的条数，若获取到唯一确定路径或若干条正确路径，将第一条正确路径的叶子节点记录下来并返回；若没有找到一条符合模糊路径的实际路径，返回报错信息。

本发明提供的这种基于模糊匹配的UI元素搜索方法，解决了由于设计在实际应用RPA系统时，经常需要将路径中的不确定的节点换成通配符的问题，本发明利用模糊匹配算法，来查看在节点为任意值时，符合条件的元素有哪些。本发明方便在结构复杂难以获取节点全部完整路径的页面时，也能查找到所需节点，或在已经定位到一个节点的完整路径时，通过模糊小部分路径就能查找到结构相似的全部节点而不需要重新捕获节点，大大提升使用效率，降低用户操作的复杂程度。

附图说明

图1为本发明方法的流程示意图。

图2为本发明实施例的流程示意图。

具体实施方式

如图1为本发明方法的流程示意图：本发明提供的这种基于模糊匹配的UI元素搜索方法，包括如下步骤：

S1.根据通配符的位置将路径划分为实际路径集合和模糊路径集合；

S2.遍历整棵dom树将实际路径段依次放入当前遍历到的模糊路径进行匹配；

S3.根据匹配到的正确路径返回叶子节点供自动化操作。

步骤S1具体为，将路径按通配符进行分割，得到若干段路径段；再将路径段按分隔符进行分割，并去掉由于分隔符在路径首部或尾部分割得到的空字符串，得到确定路径节点集合；并判断路径头部第一个节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的第一个节点是实际路径的根节点，设置标记位特殊标识；判断路径尾部最后一个确定节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的最后一个节点是实际路径的叶子节点，设置标记位特殊标识。

步骤S1还包括标识通配符的位置；若通配符模糊了路径的第一个节点，在实际路径集合的第一个节点加入一段空路径来标识；若通配符模糊了路径的最后一个节点，在实际路径集合的最后一个节点中加入一段空路径来表示。

步骤S1还包括将路径按通配符分割为实际路径集合和模糊路径集合后，将实际路径集合中的路径段按分隔符进行划分，得到实际路径的节点集合。

步骤S1还包括除了标识通配符在路径头部或尾部的空路径串，删除由分割得到的空路径串，防止影响匹配。

步骤S2，具体包括如下步骤：

A1.获取节点在兄弟节点中的排名；具体为获取当前节点的父节点，遍历父节点的所有子节点，记录下与当前节点相同类型的节点数目，如果遍历到了当前节点，得到节点在兄弟中的排名。

A2.采用DFS遍历dom树；具体为遍历当前父节点的全部子节点，当前路径中加入当前遍历到的子节点，记录节点类型的列表中加入属性值和节点在兄弟中的排名；

遍历分割好的确定路径段，获取当前确定路径段在当前遍历到的实际路径的位置；若当前确定路径段可以在当前遍历到的实际路径匹配成功，将当前遍历到的路径分割掉已经匹配上的部分，剩下的部分继续与路径段匹配；若匹配失败，结束遍历。

A3.将路径段与实际路径匹配。具体为判断传入的标记位，若标记位表示路径的第一个节点是实际路径的根节点，则从根节点判断路径段与实际路径是否匹配；若标记位表示路径的最后一个节点是实际路径的叶子节点，则从叶子节点判断路径段与实际路径是否匹配；若无特殊标记，则路径段存在于当前路径的任意位置都匹配成功。

步骤S2，还包括在遍历整棵dom树若遇到IFRAME类型的节点需要特殊处理进入IFRAME节点中，得到IFRAME中的HTML根节点继续遍历。

步骤S2，还包括已知路径中有两种表示节点的形式，一种是节点类型[节点在兄弟中的排名]，另一种是节点类型@属性名：属性值；将实际路径段放入当前遍历到的路径进行匹配时，如果当前节点使用第二种方式来表示，那么当前节点与上一个节点不必为父子关系，两节点之间可以省略任意数目的节点，但上一个节点必定为当前节点的祖先节点。如果当前节点使用第一种方式来表示，当前节点与上一个节点必定为父子关系。

步骤S2，还包括将实际路径段放入当前遍历到的路径进行匹配时，如果当前路径段在遍历到的路径中成功匹配，在匹配下一段实际路径段时需要从未被匹配过的当前路径节点开始，即各段实际路径段不可重叠。如果路径段在实际路径中有多处匹配，匹配位置记为最靠近根节点的匹配位置。

步骤S2，还包括将实际路径段放入当前遍历到的路径进行匹配时，需要按分割模糊路径的顺序依序进行匹配。

步骤S2，还包括将实际路径段放入当前遍历到的路径进行匹配时，存在一个节点无法匹配则整条路经匹配失败。

步骤S3，具体为如果匹配到一条正确路径，返回该路径的叶子节点作为目标节点；如果匹配到多条路径，返回第一条正确路径的叶子节点作为目标节点；如果没有匹配到路径，返回路径错误报错信息。

在具体实施方式中，如图2为本发明实施例的流程示意图，该基于模糊匹配的UI元素搜索算法将路径按通配符的位置划分为实际路径集合和模糊路径集合两部分，之后DFS遍历整棵dom树将实际路径段依次放入当前遍历到的路径进行匹配，最后根据匹配到的正确路径返回叶子节点供自动化操作。其主要实现原理如下：

步骤1、将路径按通配符(*)进行分割，得到多段不一定相连的确定路径段。再将路径段按分隔符(|)进行分割，并去掉由于分隔符(|)在路径首部或尾部分割得到的空字符串，得到确定路径节点集合。

步骤2、在节点信息准备好后，将根节点html加入路径，开始通过DFS方法遍历整棵dom树，查找所有符合模糊路径的实际路径并将结果保存下来，包括如下步骤：

步骤2.1、获取节点在兄弟节点中的排名；

获取当前节点的父节点，遍历父节点的所有子节点，记录下与当前节点相同类型的节点数目，如果遍历到了当前节点，得到节点在兄弟中的排名。

如果只找到一个与该节点相同类型的节点，返回-1；如果找到多个，返回节点在兄弟中的排名。

已知路径中有两种表示节点的形式，一种是“节点类型[节点在兄弟中的排名]”，另一种是“节点类型@属性名：属性值”。将实际路径段放入当前遍历到的路径进行匹配时，如果当前节点使用第二种方式来表示，那么当前节点与上一个节点不必为父子关系，两节点之间可以省略任意数目的节点，但上一个节点必定为当前节点的祖先节点。如果当前节点使用第一种方式来表示，当前节点与上一个节点必定为父子关系。

步骤2.2、DFS遍历dom树；

当前深度记为传入的上一层的深度+1。遍历当前父节点的全部子节点，当前路径中加入当前遍历到的子节点，记录节点类型的列表中加入“节点类型@id:id属性值”和“节点类型[节点在兄弟中的排名]”这两种可能在最优路径中被用来表示节点的形式。如果子节点是“iframe”类型，当id不存在时，用“iframe@src:src属性值”来表示节点。

如果当前遍历到的深度大于最小深度，则路径有可能成为正确路径。判断节点路径头部是否为空，如果为空，表示第一个确定节点不一定是路径根节点；如果不是空，那么第一个节点一定是路径的根节点，需要特殊标记。再判断路径尾部最后一个确定节点是否为空，如果为空，表示最后一个节点不一定是叶子节点；如果不为空，表示最后一个确定节点一定是叶子节点，需要特殊标记。

遍历分割好的确定路径段，获取当前确定路径段在当前遍历到的实际路径的位置。如果返回的位置不为-1，即实际路径能找到该确定路径段，将当前遍历到的路径分割掉已经匹配上的部分，剩下的部分继续与路径段匹配；如果返回位置为-1，即没有找到该段路径，结束遍历，这条路径不可能为正确路径。如果所有确定路径段都能在当前遍历到的路径上依次匹配，则该路径可能为正确路径，计入保存正确路径的列表中。

如果当前子节点是iframe节点，需要特殊处理，使用dom＝root.children[i].contentWindow.document.getElementsByTagName("html")[0]方法进入iframe内部，将iframe中的html加入路径，并重复上面的操作判断加入html节点的路径是否可能为正确路径，之后以新html节点为根节点进行DFS遍历树。如果当前节点不是iframe节点，将当前子节点作为新的根节点，继续DFS遍历树。

步骤2.3、将路径段与实际路径匹配；

判断传入的标记位，如果标记位为1，表示要从根节点判断路径段与实际路径是否匹配。如果标记位为2，表示要从叶子节点判断路径段与实际路径是否匹配。如果都不是，路径段存在于当前路径的任意位置都算匹配成功。具体匹配方法：遍历路径段中全部节点，获取节点在实际路径中的位置，如果不能找到该节点，路径匹配失败返回-1；如果能找到，记录当前节点在实际路径中的位置。接着遍历下一个节点，如果找到该节点不是用“@属性名：属性值”来表示的且节点位置是上一个节点的子节点，则判断为找到节点；若有一项不符则返回匹配失败。

全部遍历成功后，返回模糊路径在实际路径中的位置，遍历失败则返回-1。

步骤3、判断正确路径的条数，如果获取到唯一确定路径或多条正确路径，将第一条正确路径的叶子节点记录下来并返回；如果没有找到一条符合模糊路径的实际路径，返回报错信息。

Claims (8)

1.一种基于模糊匹配的UI元素搜索方法，其特征在于包括如下步骤：

S1.根据通配符的位置将路径划分为实际路径集合和模糊路径集合；

S2.遍历整棵dom树将实际路径段依次放入当前遍历到的模糊路径进行匹配；

S3.根据匹配到的正确路径返回叶子节点供自动化操作。

2.根据权利要求1所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤S1具体为将路径按通配符进行分割，得到若干段路径段；再将路径段按分隔符进行分割，并去掉由于分隔符在路径首部或尾部分割得到的空字符串，得到确定路径节点集合；并判断路径头部第一个节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的第一个节点是实际路径的根节点，设置标记位特殊标识；判断路径尾部最后一个确定节点是否用通配符表示，若为通配符，不做处理；若不为通配符，则路径的最后一个节点是实际路径的叶子节点，设置标记位特殊标识。

3.根据权利要求2所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤S2，包括如下步骤：

A1.获取节点在兄弟节点中的排名；

A2.采用DFS遍历dom树；

A3.将路径段与实际路径匹配。

4.根据权利要求3所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤A1，具体为获取当前节点的父节点，遍历父节点的所有子节点，记录下与当前节点相同类型的节点数目，如果遍历到了当前节点，得到节点在兄弟中的排名。

5.根据权利要求4所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤A2，具体为遍历当前父节点的全部子节点，当前路径中加入当前遍历到的子节点，记录节点类型的列表中加入属性值和节点在兄弟中的排名；遍历分割好的确定路径段，获取当前确定路径段在当前遍历到的实际路径的位置；若当前确定路径段在当前遍历到的实际路径匹配成功，将当前遍历到的路径分割掉已经匹配上的部分，剩下的部分继续与路径段匹配；若匹配失败，结束遍历。

6.根据权利要求5所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤A3，具体为判断传入的标记位，若标记位表示路径的第一个节点是实际路径的根节点，则从根节点判断路径段与实际路径是否匹配；若标记位表示路径的最后一个节点是实际路径的叶子节点，则从叶子节点判断路径段与实际路径是否匹配；若无特殊标记，则路径段存在于当前路径的任意位置都匹配成功。

7.根据权利要求6所述的基于模糊匹配的UI元素搜索方法，其特征在于匹配方法具体为：遍历路径段中全部节点，获取一个当前节点在实际路径中的位置，如果在实际路径不能找到当前节点，路径匹配失败返回匹配失败信息；如果能找到当前节点，记录当前节点在实际路径中的位置；接着遍历下一个节点，重复匹配直至匹配完成；若有一项不符则返回，匹配失败。

8.根据权利要求1～7之一所述的基于模糊匹配的UI元素搜索方法，其特征在于所述的步骤S3，具体为判断正确路径的条数，若获取到唯一确定路径或若干条正确路径，将第一条正确路径的叶子节点记录下来并返回；若没有找到一条符合模糊路径的实际路径，返回报错信息。

Images