CN112800185A - 移动终端中界面结点的匹配文本生成、匹配方法及装置 - Google Patents
移动终端中界面结点的匹配文本生成、匹配方法及装置 Download PDFInfo
- Publication number
- CN112800185A CN112800185A CN202110375146.4A CN202110375146A CN112800185A CN 112800185 A CN112800185 A CN 112800185A CN 202110375146 A CN202110375146 A CN 202110375146A CN 112800185 A CN112800185 A CN 112800185A
- Authority
- CN
- China
- Prior art keywords
- node
- matching
- father
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephone Function (AREA)
Abstract
本发明提供一种移动终端中界面结点的匹配文本生成、匹配方法及装置，匹配文本生成方法包括：选择至少一个目标结点；递归遍历获取基于目标结点的父结点；在校验父结点满足预设匹配要求的情况下，生成与目标结点相匹配的文本信息，其中文本信息至少包括：父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置，目标结点所在的以父结点为根结点的树中的第二位置。本发明提供的移动终端中界面结点的匹配文本生成、匹配方法及装置，通过父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置生成匹配文本及进行结点匹配，有利于提高结点可用率、定位精确程度和成功率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种移动终端中界面结点的匹配文本生成、匹配方法及装置。
背景技术
在智能应用终端使用过程中，存在某些场景下（比如：残障人士、开车）需要自动化操作来代替人的点击屏幕的操作的场景。模拟操作的首要前提就是要首先定位检索当前界面结点和结点位置。
Android操作系统中，提供AccessibilityService接口，可以用来获取当前界面结点信息和模拟各种输入操作。
目前，市面上存在的方案主要有两种。一种是直接记录屏幕坐标信息，直接在目标位置进行模拟操作，该方案较为简单，且存在明显问题：不能分辨当前界面信息，不能确定执行是否正确。另一种是借助AccessibilityService接口，获取当前界面的结点信息，根据id、text、class等信息确定结点，进行后续模拟操作，这种方案缺点是各种app开发规范并不一致，实现方式也各有不同，存在大量没有id、text信息或信息无价值和大量相同class的结点，导致结点很难定位的准确。
发明内容
针对现有技术存在的问题，本发明提供一种移动终端中界面结点的匹配文本生成、匹配方法及装置。
本发明提供一种移动终端中界面结点的匹配文本生成方法，该方法包括：确定在所述移动终端的显示界面上选择的至少一个目标结点；采取递归遍历的方式获取基于所述目标结点的父结点；在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
根据本发明提供的移动终端中界面结点的匹配文本生成方法，所述校验所述父结点满足预设匹配要求包括：判断所述父结点是否包括预设关键结点信息，若是，则所述父结点满足预设匹配要求。
根据本发明提供的移动终端中界面结点的匹配文本生成方法，所述预设关键结点信息包括结点id、结点文本描述text和/或结点类名className。
根据本发明提供的移动终端中界面结点的匹配文本生成方法，所述结点id、结点文本描述text和/或结点类名className的匹配优先级依次降低。
根据本发明提供的移动终端中界面结点的匹配文本生成方法，所述采取递归遍历的方式获取基于所述目标结点的父结点，具体包括：按照与所述目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于所述目标结点的父结点；所述方法还包括：若判断获知当前遍历的所述目标结点的父结点与所述目标结点的层级关系达到预设层级，但仍未获取到满足预设匹配要求的父结点，则停止执行。
本发明还提供一种移动终端中界面结点的匹配方法，该方法包括：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；获取所述移动终端的显示界面上的当面界面信息；根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
本发明还提供一种移动终端中界面结点的匹配文本生成装置，该装置包括：目标结点确定模块，用于：确定在所述移动终端的显示界面上选择的至少一个目标结点；父结点获取模块，用于：采取递归遍历的方式获取基于所述目标结点的父结点；匹配文本生成模块，用于：在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
本发明还提供一种移动终端中界面结点的匹配装置，该装置包括：文本解析模块，用于：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；当面界面信息获取模块，用于：获取所述移动终端的显示界面上的当面界面信息；父结点匹配模块，用于：根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；目标结点匹配模块，用于：根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；匹配结果生成模块，用于：在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述移动终端中界面结点的匹配文本生成方法和/或所述移动终端中界面结点的匹配方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述移动终端中界面结点的匹配文本生成方法和/或所述移动终端中界面结点的匹配方法的步骤。
本发明提供的移动终端中界面结点的匹配文本生成、匹配方法及装置，通过父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置中的至少一种生成匹配文本及进行结点匹配，有利于提高结点可用率、定位精确程度和成功率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的移动终端中界面结点的匹配文本生成方法流程图之一；
图2是本发明提供的移动终端中界面结点的匹配方法流程图之一；
图3是本发明提供的移动终端中界面结点的匹配文本生成方法流程图之二；
图4是本发明提供的移动终端中界面结点的匹配方法流程图之二；
图5是本发明提供的移动终端中界面结点的匹配文本生成装置的结构示意图；
图6是本发明提供的移动终端中界面结点的匹配装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的移动终端中界面结点的匹配文本生成方法流程图之一。如图1所示，所述方法包括：
步骤101、确定在所述移动终端的显示界面上选择的至少一个目标结点；
步骤102、采取递归遍历的方式获取基于所述目标结点的父结点；
步骤103、在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
移动终端中界面结点的匹配文本是和界面结点对应的。确定目标结点后，进而生成对应的匹配文本。确定在移动终端的显示界面上选择的至少一个目标结点，分别对应各个目标结点生成相应的匹配文本。
对应于每个目标结点，在生成匹配文本时，采取递归遍历的方式获取基于目标结点的父结点，比如按照层级关系依次递归遍历目标结点的父结点。获取到每个父结点后，判断父结点是否满足预设匹配要求，这个匹配要求是用于生成匹配文本的父结点所需满足的设定条件。比如，父结点作为匹配获取目标结点的结点，它应是易于检索和确定的。比如，可以设置父结点包括哪些结点信息，以此作为预设匹配要求。
在递归遍历父结点的过程中，若校验获知某个父结点满足预设匹配要求，则根据父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置，目标结点所在的以父结点为根结点的树中的第二位置中的至少一种生成与目标结点相匹配的文本信息。由于界面中可能存在具有相同结点信息的结点，因此，可能存在同样满足预设匹配要求的其他结点，通过父结点所在的满足预设匹配要求的结点中的第一位置可以唯一确定父结点。目标结点所在的以父结点为根结点的树中的第二位置用于根据父结点确定目标结点。
根据父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置，目标结点所在的以父结点为根结点的树中的第二位置生成匹配文本时，匹配文本包括父结点的结点信息、目标结点的结点信息、父结点所在的满足预设匹配要求的结点中的第一位置的信息及目标结点所在的以父结点为根结点的树中的第二位置的信息。
本发明提供的移动终端中界面结点的匹配文本生成方法，提高了结点可用率，即现有方案不能被定位使用的结点，在本方案中可以使用；提高了精确程度，现有方案中有些无效的id、text信息会影响结点搜索成功率，本方案可以避免这些情况。
本发明提供的移动终端中界面结点的匹配文本生成方法，通过父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置中的至少一种生成匹配文本，有利于提高结点可用率、定位精确程度和成功率。
根据本发明提供的一种移动终端中界面结点的匹配文本生成方法，所述校验所述父结点满足预设匹配要求包括：判断所述父结点是否包括预设关键结点信息，若是，则所述父结点满足预设匹配要求。
可以设定父结点满足预设匹配要求为父结点包括预设关键结点信息。从而，在校验父结点满足预设匹配要求时，判断父结点是否包括预设关键结点信息，若是，则父结点满足预设匹配要求；若否，则父结点不满足预设匹配要求。
本发明提供的移动终端中界面结点的匹配文本生成方法，通过判断父结点是否包括预设关键结点信息校验父结点满足预设匹配要求，提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成方法，所述预设关键结点信息包括结点id、结点文本描述text和/或结点类名className。
预设关键结点信息可以包括结点id、结点文本描述text和/或结点类名className。可以设置目标结点的父结点包括结点id、结点文本描述text及结点类名className任一种时，即说明具有预设关键结点信息。
本发明提供的移动终端中界面结点的匹配文本生成方法，通过设置预设关键结点信息包括结点id、结点文本描述text和/或结点类名className，进一步提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成方法，所述结点id、结点文本描述text和/或结点类名className的匹配优先级依次降低。
在预设关键结点信息具有多个时，可以设置多个预设关键结点信息的匹配优先级。可以根据预设关键结点信息在进行结点信息匹配时的可用性的高低设置优先级，在预设关键结点信息包括结点id、结点文本描述text、结点类名className时，由于结点id、结点文本描述text、结点类名className的重复率依次增加，可以设置结点id、结点文本描述text、结点类名className的匹配优先级依次降低。依次迭代判断目标结点的父结点是否具有预设关键结点信息时，针对每个父结点，首先判断父结点是否具有结点id；若有，则说明父结点具有预设关键结点信息，不再进行后续判断。若无，则进一步判断父结点是否具有结点文本描述text；若有，则说明父结点具有预设关键结点信息，不再进行后续判断。若无，则进一步判断父结点是否具有结点类名className。若有，则说明父结点具有预设关键结点信息，若无，则说明父结点不具有预设关键结点信息。
本发明提供的移动终端中界面结点的匹配文本生成方法，通过根据设置的预设关键结点信息的匹配优先级判断父结点是否包括预设关键结点信息，进一步提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成方法，所述采取递归遍历的方式获取基于所述目标结点的父结点，具体包括：按照与所述目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于所述目标结点的父结点；所述方法还包括：若判断获知当前遍历的所述目标结点的父结点与所述目标结点的层级关系达到预设层级，但仍未获取到满足预设匹配要求的父结点，则停止执行。
在采取递归遍历的方式获取基于目标结点的父结点时，可以按照与目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于目标结点的父结点，这样一来找寻父结点的过程中具有顺序性，二来尽量保证了以父结点为根结点的树中的结点数量最少，从而减小了匹配目标结点时的资源损耗，并且提高匹配效率。
在采取递归遍历的方式获取基于目标结点的父结点的过程中，为避免最终得到的父结点和目标结点之间的层级过多，从而后期进行结点匹配时资源消耗过大，设置以预设层级作为阈值，在判断获知目标结点的父结点与目标结点的层级关系达到预设层级，但仍未获取到满足预设匹配要求的父结点时，则停止递归遍历的执行。
本发明提供的移动终端中界面结点的匹配文本生成方法，通过按照与目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于目标结点的父结点，以及在判断获知当前遍历的目标结点的父结点与目标结点的层级关系达到预设层级但仍未获取到满足预设匹配要求的父结点时停止执行，有利于节约资源损耗，提高匹配效率。
图2是本发明提供的移动终端中界面结点的匹配方法流程图之一。如图2所示，所述方法包括：
步骤201、解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；
步骤202、获取所述移动终端的显示界面上的当面界面信息；
步骤203、根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；
步骤204、根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；
步骤205、在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
预设文本信息与待匹配的目标结点对应，目标结点为在移动终端的显示界面上预先确定的，当前的目标是在当前界面匹配目标结点，即判断当前界面是否存在目标结点，若存在，确定目标结点的位置。
首先根据待匹配的目标结点，解析预设文本信息，预设文本信息包括父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置的信息。满足预设匹配要求可以是包含预设关键结点信息。
获取移动终端的显示界面上的当面界面信息，当前界面信息包括当前界面所包含结点的结点信息及结点位置信息。根据父结点的结点信息和父结点所在的满足预设匹配要求的结点中的第一位置，确定父结点是否存在于当面界面信息中。因为预设关键结点信息相同，默认为相同结点，则结点信息也应相同。在根据父结点的结点信息和父结点所在的满足预设匹配要求的结点中的第一位置，确定父结点是否存在于当面界面信息中时，可以根据父结点的全部结点信息进行匹配以提高准确性。根据父结点的结点信息在当前界面信息中进行匹配可能匹配到多个结点，这时根据父结点所在的满足预设匹配要求的结点中的第一位置进一步唯一确定父结点。若能够匹配到父结点，则说明父结点存在于当前界面信息中，并且获取到父结点的位置。
父结点确定后，构建以父结点为根结点的树，并根据目标结点的结点信息和目标结点所在的以父结点为根结点的树中的第二位置，确定目标结点是否存在于当面界面信息中。在根据目标结点的结点信息和目标结点所在的以父结点为根结点的树中的第二位置，确定目标结点是否存在于当面界面信息中时，也可以根据目标结点的全部结点信息进行匹配。结点信息和位置可以唯一确定结点，因此，通过根据目标结点的结点信息和目标结点所在的以父结点为根结点的树中的第二位置匹配目标结点，若匹配成功，则确定目标结点存在于当面界面信息中。
在父结点和目标结点均在当面界面信息中的情况下，生成匹配结果，由于目标结点的结点信息已知，匹配结果可以包含目标结点的位置信息，以用于自动控制。
本发明提供的移动终端中界面结点的匹配方法，通过根据包括父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置的预设文本信息匹配目标结点，实现了目标结点的定位，提高了结点可用率及定位精确程度和成功率。
图3是本发明提供的移动终端中界面结点的匹配文本生成方法流程图之二。如图3所示，根据指定结点生成匹配文本包括如下步骤：
1. 找到具有有效特征的结点。
该结点可能是目标结点的父结点，或者目标结点的祖先结点。祖先结点可以统称为父结点。
首先判断目标结点的父结点是否具有有效特征，有的话设置为特征结点，否则判断其父结点是否具有有效特征，重复此过程，直到找到有效结点（预设层级内），或未找到合适结点。
判断目标结点的父结点是否具有有效特征的逻辑包括：按照id、text、className顺序，进行匹配结点信息，得到一个匹配信息的nodeInfo集合。
再通过遍历集合元素与当前结点进行位置的匹配。直到匹配成功生成EventPolicy对象，EventPolicy对象包含id、text、clsName 结点信息及结点的位置信息（nodeInfo集合中的相对位置）。
2. 生成匹配文本。
根据EventPolicy中的数据中的结点信息，遍历子结点并保存到结点集合中。遍历集合和目标结点进行匹配得到目标结点在结点集合中的位置。
根据特征结点的位置、目标结点的位置、特征结点的信息、目标结点的信息组合生成匹配文本。
图4是本发明提供的移动终端中界面结点的匹配方法流程图之二。如图4所示，生成匹配文本后的界面结点匹配方法包括如下步骤：
1. 根据匹配文本解析出特征结点信息、特征结点位置信息、目标结点信息、目标结点在特征结点及其子结点中的相对位置。
2. 通过AccessibilityService获取到当前界面信息。
3. 根据特征结点信息、特征结点位置信息匹配到特征结点AccessibilityNodeInfo，若未匹配成功，证明本界面不存在该特征结点。
4. 根据目标结点信息、目标结点在特征结点及其子结点中的相对位置，从特征结点的结构树中匹配目标结点，若匹配成功，则该结点即为目标结点；否则证明本界面不存在该目标结点。
本发明可用于在android操作系统中，结合AccessibilityService提供的界面信息，匹配检索界面结点。本发明可以使用AccessibilityService接口，获取各个结点的id、text、class信息的同时，还获取结点树的信息，即结点层级关系信息。通过横向和纵向两个维度的信息来确定结点位置，从而增加结点的可用率和精确程度。
下面对本发明提供的移动终端中界面结点的匹配文本生成装置进行描述，下文描述的移动终端中界面结点的匹配文本生成装置与上文描述的移动终端中界面结点的匹配文本生成装置可相互对应参照。
图5是本发明提供的移动终端中界面结点的匹配文本生成装置的结构示意图。如图5所示，所述装置包括目标结点确定模块10、父结点获取模块20及匹配文本生成模块30，其中：目标结点确定模块10用于：确定在所述移动终端的显示界面上选择的至少一个目标结点；父结点获取模块20用于：采取递归遍历的方式获取基于所述目标结点的父结点；匹配文本生成模块30用于：在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
本发明提供的移动终端中界面结点的匹配文本生成装置，通过父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置中的至少一种生成匹配文本，有利于提高结点可用率、定位精确程度和成功率。
根据本发明提供的一种移动终端中界面结点的匹配文本生成装置，匹配文本生成模块30在用于校验所述父结点满足预设匹配要求时，具体用于：判断所述父结点是否包括预设关键结点信息，若是，则所述父结点满足预设匹配要求。
本发明提供的移动终端中界面结点的匹配文本生成装置，通过判断父结点是否包括预设关键结点信息校验父结点满足预设匹配要求，提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成装置，所述预设关键结点信息包括结点id、结点文本描述text和/或结点类名className。
本发明提供的移动终端中界面结点的匹配文本生成装置，通过设置预设关键结点信息包括结点id、结点文本描述text和/或结点类名className，进一步提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成装置，所述结点id、结点文本描述text和/或结点类名className的匹配优先级依次降低。
本发明提供的移动终端中界面结点的匹配文本生成装置，通过根据设置的预设关键结点信息的匹配优先级判断父结点是否包括预设关键结点信息，进一步提高了父结点确定的快速性和准确性。
根据本发明提供的一种移动终端中界面结点的匹配文本生成装置，父结点获取模块20具体用于：按照与所述目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于所述目标结点的父结点；父结点获取模块20还用于：若判断获知当前遍历的所述目标结点的父结点与所述目标结点的层级关系达到预设层级，但仍未获取到满足预设匹配要求的父结点，则停止执行。
本发明提供的移动终端中界面结点的匹配文本生成装置，通过按照与目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于目标结点的父结点，以及在判断获知当前遍历的目标结点的父结点与目标结点的层级关系达到预设层级但仍未获取到满足预设匹配要求的父结点时停止执行，有利于节约资源损耗，提高匹配效率。
下面对本发明提供的移动终端中界面结点的匹配装置进行描述，下文描述的移动终端中界面结点的匹配装置与上文描述的移动终端中界面结点的匹配方法可相互对应参照。
图6是本发明提供的移动终端中界面结点的匹配装置的结构示意图。如图6所示，所述装置包括文本解析模块1、当面界面信息获取模块2、父结点匹配模块3、目标结点匹配模块4及匹配结果生成模块5；其中：文本解析模块1用于：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；当面界面信息获取模块2用于：获取所述移动终端的显示界面上的当面界面信息；父结点匹配模块3用于：根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；目标结点匹配模块4用于：根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；匹配结果生成模块5用于：在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
本发明提供的移动终端中界面结点的匹配装置，通过根据包括父结点、目标结点、父结点所在的满足预设匹配要求的结点中的第一位置、目标结点所在的以父结点为根结点的树中的第二位置的预设文本信息匹配目标结点，实现了目标结点的定位，提高了结点可用率及定位精确程度和成功率。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行移动终端中界面结点的匹配文本生成方法和/或移动终端中界面结点的匹配方法。其中，移动终端中界面结点的匹配文本生成方法包括：确定在所述移动终端的显示界面上选择的至少一个目标结点；采取递归遍历的方式获取基于所述目标结点的父结点；在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。移动终端中界面结点的匹配方法包括：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；获取所述移动终端的显示界面上的当面界面信息；根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的移动终端中界面结点的匹配文本生成方法和/或移动终端中界面结点的匹配方法。其中，移动终端中界面结点的匹配文本生成方法包括：确定在所述移动终端的显示界面上选择的至少一个目标结点；采取递归遍历的方式获取基于所述目标结点的父结点；在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。移动终端中界面结点的匹配方法包括：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；获取所述移动终端的显示界面上的当面界面信息；根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的移动终端中界面结点的匹配文本生成方法和/或移动终端中界面结点的匹配方法。其中，移动终端中界面结点的匹配文本生成方法包括：确定在所述移动终端的显示界面上选择的至少一个目标结点；采取递归遍历的方式获取基于所述目标结点的父结点；在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。移动终端中界面结点的匹配方法包括：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；获取所述移动终端的显示界面上的当面界面信息；根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种移动终端中界面结点的匹配文本生成方法，其特征在于，包括：
确定在所述移动终端的显示界面上选择的至少一个目标结点；
采取递归遍历的方式获取基于所述目标结点的父结点；
在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
2.根据权利要求1所述的移动终端中界面结点的匹配文本生成方法，其特征在于，所述校验所述父结点满足预设匹配要求包括：判断所述父结点是否包括预设关键结点信息，若是，则所述父结点满足预设匹配要求。
3.根据权利要求2所述的移动终端中界面结点的匹配文本生成方法，其特征在于，所述预设关键结点信息包括结点id、结点文本描述text和/或结点类名className。
4.根据权利要求3所述的移动终端中界面结点的匹配文本生成方法，其特征在于，所述结点id、结点文本描述text和/或结点类名className的匹配优先级依次降低。
5.根据权利要求1所述的移动终端中界面结点的匹配文本生成方法，其特征在于，所述采取递归遍历的方式获取基于所述目标结点的父结点，具体包括：按照与所述目标结点的层级关系由近及远的顺序，采取递归遍历的方式获取基于所述目标结点的父结点；
所述方法还包括：若判断获知当前遍历的所述目标结点的父结点与所述目标结点的层级关系达到预设层级，但仍未获取到满足预设匹配要求的父结点，则停止执行。
6.一种移动终端中界面结点的匹配方法，其特征在于，包括：
解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；
获取所述移动终端的显示界面上的当面界面信息；
根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；
根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；
在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
7.一种移动终端中界面结点的匹配文本生成装置，其特征在于，包括：
目标结点确定模块，用于：确定在所述移动终端的显示界面上选择的至少一个目标结点；
父结点获取模块，用于：采取递归遍历的方式获取基于所述目标结点的父结点；
匹配文本生成模块，用于：在校验所述父结点满足预设匹配要求的情况下，生成与所述目标结点相匹配的文本信息，其中所述文本信息至少包括如下之一的字符：父结点，目标结点，所述父结点所在的满足所述预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置。
8.一种移动终端中界面结点的匹配装置，其特征在于，包括：
文本解析模块，用于：解析预设文本信息，得到父结点，目标结点，所述父结点所在的满足预设匹配要求的结点中的第一位置，所述目标结点所在的以所述父结点为根结点的树中的第二位置；其中，所述目标结点为在所述移动终端的显示界面上预先确定的；
当面界面信息获取模块，用于：获取所述移动终端的显示界面上的当面界面信息；
父结点匹配模块，用于：根据所述父结点的结点信息和所述父结点所在的满足预设匹配要求的结点中的第一位置，确定所述父结点是否存在于所述当面界面信息中；
目标结点匹配模块，用于：根据所述目标结点的结点信息和所述目标结点所在的以所述父结点为根结点的树中的第二位置，确定所述目标结点是否存在于所述当面界面信息中；
匹配结果生成模块，用于：在所述父结点和所述目标结点均在所述当面界面信息中的情况下，生成匹配结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述移动终端中界面结点的匹配文本生成方法的步骤或如权利要求6所述移动终端中界面结点的匹配方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述移动终端中界面结点的匹配文本生成方法的步骤或如权利要求6所述移动终端中界面结点的匹配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375146.4A CN112800185B (zh) | 2021-04-08 | 2021-04-08 | 移动终端中界面结点的匹配文本生成、匹配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375146.4A CN112800185B (zh) | 2021-04-08 | 2021-04-08 | 移动终端中界面结点的匹配文本生成、匹配方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800185A true CN112800185A (zh) | 2021-05-14 |
| CN112800185B CN112800185B (zh) | 2021-07-13 |
Family
ID=75816494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110375146.4A Active CN112800185B (zh) | 2021-04-08 | 2021-04-08 | 移动终端中界面结点的匹配文本生成、匹配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800185B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101895564A (zh) * | 2010-06-08 | 2010-11-24 | 中兴通讯股份有限公司 | 分布式文件系统中文件资源定位的方法、系统及装置 |
| US10091358B1 (en) * | 2017-06-26 | 2018-10-02 | Splunk Inc. | Graphical user interface for call center analysis |
| CN110287381A (zh) * | 2019-06-26 | 2019-09-27 | 努比亚技术有限公司 | 页面控件节点的查找方法、终端及计算机可读存储介质 |
| CN112052005A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 界面处理方法、装置、设备及存储介质 |
| US20200409830A1 (en) * | 2018-01-23 | 2020-12-31 | Netease (Hangzhou) Network Co.,Ltd. | Automated testing method and apparatus, storage medium and electronic device |
| CN112182468A (zh) * | 2020-10-14 | 2021-01-05 | 北京新纽科技有限公司 | 一种兼容客户端界面元素与网页页面元素的定位和解析方法 |
| CN112559112A (zh) * | 2021-02-25 | 2021-03-26 | 智道网联科技(北京)有限公司 | 界面节点定位方法及装置 |
-
2021
- 2021-04-08 CN CN202110375146.4A patent/CN112800185B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101895564A (zh) * | 2010-06-08 | 2010-11-24 | 中兴通讯股份有限公司 | 分布式文件系统中文件资源定位的方法、系统及装置 |
| US10091358B1 (en) * | 2017-06-26 | 2018-10-02 | Splunk Inc. | Graphical user interface for call center analysis |
| US20200409830A1 (en) * | 2018-01-23 | 2020-12-31 | Netease (Hangzhou) Network Co.,Ltd. | Automated testing method and apparatus, storage medium and electronic device |
| CN112052005A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 界面处理方法、装置、设备及存储介质 |
| CN110287381A (zh) * | 2019-06-26 | 2019-09-27 | 努比亚技术有限公司 | 页面控件节点的查找方法、终端及计算机可读存储介质 |
| CN112182468A (zh) * | 2020-10-14 | 2021-01-05 | 北京新纽科技有限公司 | 一种兼容客户端界面元素与网页页面元素的定位和解析方法 |
| CN112559112A (zh) * | 2021-02-25 | 2021-03-26 | 智道网联科技(北京)有限公司 | 界面节点定位方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800185B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3678346B1 (en) | Blockchain smart contract verification method and apparatus, and storage medium | |
| CN104391934B (zh) | 数据校验方法和装置 | |
| CN110598280B (zh) | 一种设备仿真系统和方法、计算机可读存储介质 | |
| US20110016451A1 (en) | Method and system for generating test cases for a software application | |
| CN109145235B (zh) | 用于解析网页的方法、装置及电子设备 | |
| KR102080156B1 (ko) | 자동 재충전 시스템, 방법 및 서버 | |
| CN111125598A (zh) | 数据智能查询方法、装置、设备及存储介质 | |
| WO2021212661A1 (zh) | 运行系统构建方法、装置、电子设备及存储介质 | |
| CN110580284B (zh) | 一种实体消歧方法、装置、计算机设备及存储介质 | |
| CN113094776B (zh) | 可视化组件模型数据构建的方法、系统及电子设备 | |
| CN112559112B (zh) | 界面节点定位方法及装置 | |
| CN112800185B (zh) | 移动终端中界面结点的匹配文本生成、匹配方法及装置 | |
| CN116185853A (zh) | 代码校验方法及装置 | |
| CN112052157A (zh) | 测试报文的构造方法、装置及系统 | |
| CN107015787B (zh) | 一种交互式应用框架设计的方法及装置 | |
| CN114237824A (zh) | 故障定位方法、装置、计算机可读介质及电子设备 | |
| CN113672389A (zh) | 一种服务器兼容方法、系统、设备及计算机可读存储介质 | |
| CN113691403A (zh) | 拓扑节点配置方法、相关装置及计算机程序产品 | |
| CN108875349B (zh) | 基于拼音的验证码生成方法及装置 | |
| CN111190768A (zh) | 数据库执行错误恢复方法、数据库访问方法及装置 | |
| US20230336410A1 (en) | Method and apparatus for configuring node | |
| CN114417359B (zh) | 一种反弹方式确定方法、装置、设备及存储介质 | |
| JP2005141416A (ja) | チェックコード生成システム、生成プログラム、生成方法、及びチェックコード生成機能を有する入力チェックシステム、入力チェック方法 | |
| CN110096504B (zh) | 流式事件特征匹配方法及装置 | |
| CN114117181B (zh) | 网站翻页逻辑的获取、及网站翻页控制方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |