CN114153530A - 元素数据信息捕获方法、装置、存储介质及智能终端 - Google Patents

元素数据信息捕获方法、装置、存储介质及智能终端 Download PDF

Info

Publication number
CN114153530A
CN114153530A CN202210116588.1A CN202210116588A CN114153530A CN 114153530 A CN114153530 A CN 114153530A CN 202210116588 A CN202210116588 A CN 202210116588A CN 114153530 A CN114153530 A CN 114153530A
Authority
CN
China
Prior art keywords
data information
mouse
node
information
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210116588.1A
Other languages
English (en)
Inventor
林康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Gengyi Information Technology Co ltd
Original Assignee
Guangzhou Gengyi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Gengyi Information Technology Co ltd filed Critical Guangzhou Gengyi Information Technology Co ltd
Priority to CN202210116588.1A priority Critical patent/CN114153530A/zh
Publication of CN114153530A publication Critical patent/CN114153530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482—Procedural
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于自动执行设计器的元素数据信息捕获方法、装置、存储介质及智能终端；其中，所述方法包括：在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令；基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听；监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标；基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。在本发明中，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位。

Description

元素数据信息捕获方法、装置、存储介质及智能终端
技术领域
本发明涉及数据获取技术领域，尤其涉及一种基于自动执行设计器的元素数据信息捕获方法、装置、存储介质及智能终端。
背景技术
现有技术中，若需要对智能终端上的某一个元素进行提取时，需要用户对其进行一系列的操作，包括进入该元素的属性、根目录等，才能够有效的提取到该元素的元素数据信息；并且这个操作，容易因为操作失误等问题，导致元素的路径定位存在偏差，后续无法根据该路径定位找到该元素；同时，对于元素提取也需要人工操作，通过元素属性等提取相关的元素信息，导致提取速度慢，效率不高，并且容易出现提取错误。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于自动执行设计器的元素数据信息捕获方法、装置、存储介质及智能终端，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位。
为了解决上述技术问题，本发明实施例提供了一种基于自动执行设计器的元素数据信息捕获方法，所述方法包括：在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令；基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听；监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标；基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
可选的，所述方法还包括：获得所述元素数据信息的节点信息，并通过向上遍历的方式获得所述节点信息对应的根节点；基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理。
可选的，所述通过向上遍历的方式获得所述节点信息对应的根节点，包括：通过向上遍历所述节点信息的父节点的方式直至遍历到所述节点信息的根节点为止，获得所述节点信息对应的根节点。
可选的，所述基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理，包括：获得所述节点信息到对应的根节点之间的过程节点，基于所述节点信息、所述过程节点和根节点进行路径构建，获得所述节点信息到根节点之间的路径信息；将所述路径信息进行倒置，并从根节点开始向下查找所述节点信息，并对向下查找到的当前节点信息加上在兄弟节点信息的索引标识进行路径定位处理。
可选的，所述基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
可选的，所述调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法判断所述鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得所述元素矩形边框内对应的元素数据信息。
可选的，所述判断所述鼠标位置坐标是否包含在元素矩形边框内，包括：判断所述鼠标位置坐标的X坐标是否大于等于所述元素矩形边框的左上角点的X坐标，并且所述鼠标位置坐标的X坐标是否小于等于所述元素矩形边框的右下角点的X坐标，并且所述鼠标位置坐标的Y坐标是否大于等于所述元素矩形边框的左上角点的Y坐标，并且所述鼠标位置坐标的Y坐标是否小于等于所述元素矩形边框的右下角点的Y坐标。
另外，本发明实施例还提供了一种基于自动执行设计器的元素数据信息捕获装置，所述装置包括：指令生成模块：用于在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令；监听模块：用于基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听；坐标获取模块：用于监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标；元素数据获取模块：用于基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
可选的，一种计算机可读存储介质，其上存储有计算机程序，其该程序被处理器执行时实现如上述中任意一项所述的元素数据信息捕获方法。
可选的，一种智能终端设备，其包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据上述中任意一项所述的元素数据信息捕获方法。
在本发明实施例中，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位；同时提高了对元素数据提取的效率和速度；并且方便后续在对该元素数据信息进行应用时，能准确的通过元素路径找到该元素；并且方便该元素数据信息在自动执行设计器上的应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于自动执行设计器的元素数据信息捕获方法的流程示意图。
图2是本发明实施例中的基于自动执行设计器的元素数据信息捕获装置的结构组成示意图。
图3是本发明实施例中的智能终端设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一。
请参阅图1，图1是本发明实施例中的基于自动执行设计器的元素数据信息捕获方法的流程示意图。
如图1所示，一种基于自动执行设计器的元素数据信息捕获方法，所述方法包括：S11：在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令。
在本发明具体实施过程中，用户通过登录信息来登录自动执行设计器，其中登录信息包括有账号与该账号相对应的密码；在该只懂执行设计器中进行自动编码执行流程构建时，需要对终端上的某些元素进行元素数据信息捕获时，需要用户在自动执行设计器上进行相应的操作，比如在自动执行设计器上的元素设置模块上的元素捕获标识上进行相应的操作，即可生成元素捕获指令；其中，元素设置模块中包含有两个部分，元素设置和参数设置，其中，元素捕获标识为元素设置模块中的用于操作自动提取元素的标识，对其进行操作可以调用相应的步骤捕获终端上运行的软件的元素数据信息；其中，元素数据信息主要包含5个属性，具体有：Name：名称，ClassName：类名，Xpath：一种标识元素路径的字符串，LCT：LocalizedControlType，汉化后的控件类型名称，Hwnd：元素操作句柄；在捕获元素数据信息之后，在参数设置里进行当前用到的输入参数的设置。
S12：基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听。
在本发明具体实施过程中，在生成元素捕获指令之后，对应的执行软件程序会根据该元素捕获指令实时的对操作系统全局中的鼠标移动和点击事件进行全程监听，主要监听鼠标的移动和点击所形成的点击事件。
S13：监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标。
在本发明具体实施过程中，在监听到鼠标移动过程中在屏幕上的某个位置上点击产生点击事件时，马上获得点击事件对应的鼠标位置坐标。
S14：基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
在本发明具体实施过程中，所述基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
进一步的，所述调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法判断所述鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得所述元素矩形边框内对应的元素数据信息。
进一步的，所述判断所述鼠标位置坐标是否包含在元素矩形边框内，包括：判断所述鼠标位置坐标的X坐标是否大于等于所述元素矩形边框的左上角点的X坐标，并且所述鼠标位置坐标的X坐标是否小于等于所述元素矩形边框的右下角点的X坐标，并且所述鼠标位置坐标的Y坐标是否大于等于所述元素矩形边框的左上角点的Y坐标，并且所述鼠标位置坐标的Y坐标是否小于等于所述元素矩形边框的右下角点的Y坐标。
具体的，通过调用Win32API接口或者UIAutomation类库方法来根据该鼠标位置坐标进行元素查找处理，然后获得该鼠标位置坐标对应的元素数据信息。
即调用Win32API接口或者UIAutomation类库方法判断鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得元素矩形边框内对应的元素数据信息；其中，通过判断鼠位置标坐标是否包含在元素矩形边框内来拾取元素数据信息，如果鼠标位置坐标在元素矩形边框内，则获取当前元素数据信息，元素矩形包含鼠标位置坐标计算原理：鼠标位置坐标的X坐标大于等于元素矩形左上角点的X坐标，并且鼠标位置坐标的X坐标小于等于元素矩形右下角点的X坐标，并且鼠标位置坐标的Y坐标大于等于元素矩形左上角点的Y坐标，并且鼠标位置坐标的Y坐标小于等于元素矩形右下角点的Y坐标。
S15：获得所述元素数据信息的节点信息，并通过向上遍历的方式获得所述节点信息对应的根节点。
在本发明具体实施过程中，所述通过向上遍历的方式获得所述节点信息对应的根节点，包括：通过向上遍历所述节点信息的父节点的方式直至遍历到所述节点信息的根节点为止，获得所述节点信息对应的根节点。
具体的，元素数据信息在操作系统内是以树形结构的一个节点体现的，这个树形结构的根节点就是操作系统的桌面，当通过鼠标坐标获取到元素节点信息时，可以通过往上遍历该元素的父节点，直到找到根节点（桌面）为止，因为每个元素节点有且只有一个父节点，所以当前元素到根节点间的路径信息（如：A元素->父节点1->父节点2->根节点）就可以用来确定当前元素的位置；并且获得到节点信息对应的根节点。
S16：基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理。
在本发明具体实施过程中，所述基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理，包括：获得所述节点信息到对应的根节点之间的过程节点，基于所述节点信息、所述过程节点和根节点进行路径构建，获得所述节点信息到根节点之间的路径信息；将所述路径信息进行倒置，并从根节点开始向下查找所述节点信息，并对向下查找到的当前节点信息加上在兄弟节点信息的索引标识进行路径定位处理。
具体的，在得到节点信息到对应的根据点之间的过程节点之后，利用节点信息、过程节点和根节点进行路径构建，如：A元素->父节点1->父节点2->根节点；即可获得节点信息到根节点之间的路径信息；在后续需要对元素进行定位时，则先把前面的路径信息倒置，从根节点开始往下查找目标节点，因为每个节点可能存在若干兄弟节点，所以在定位元素节点时会加上当前元素在兄弟元素中的索引来标识（如：根节点->节点[2]->节点[1]->A元素）；正式的元素路径信息如：/Pane[5]/List/ListItem[3]，可以保存这个路径信息来对元素定位。
在本发明实施例中，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位；同时提高了对元素数据提取的效率和速度；并且方便后续在对该元素数据信息进行应用时，能准确的通过元素路径找到该元素；并且方便该元素数据信息在自动执行设计器上的应用。
实施例二。
请参阅图2，图2是本发明实施例中的基于自动执行设计器的元素数据信息捕获装置的结构组成示意图。
如图2所示，一种基于自动执行设计器的元素数据信息捕获装置，所述装置包括：
指令生成模块21：用于在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令。
在本发明具体实施过程中，用户通过登录信息来登录自动执行设计器，其中登录信息包括有账号与该账号相对应的密码；在该只懂执行设计器中进行自动编码执行流程构建时，需要对终端上的某些元素进行元素数据信息捕获时，需要用户在自动执行设计器上进行相应的操作，比如在自动执行设计器上的元素设置模块上的元素捕获标识上进行相应的操作，即可生成元素捕获指令；其中，元素设置模块中包含有两个部分，元素设置和参数设置，其中，元素捕获标识为元素设置模块中的用于操作自动提取元素的标识，对其进行操作可以调用相应的步骤捕获终端上运行的软件的元素数据信息；其中，元素数据信息主要包含5个属性，具体有：Name：名称，ClassName：类名，Xpath：一种标识元素路径的字符串，LCT：LocalizedControlType，汉化后的控件类型名称，Hwnd：元素操作句柄；在捕获元素数据信息之后，在参数设置里进行当前用到的输入参数的设置。
监听模块22：用于基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听。
在本发明具体实施过程中，在生成元素捕获指令之后，对应的执行软件程序会根据该元素捕获指令实时的对操作系统全局中的鼠标移动和点击事件进行全程监听，主要监听鼠标的移动和点击所形成的点击事件。
坐标获取模块23：用于监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标。
在本发明具体实施过程中，在监听到鼠标移动过程中在屏幕上的某个位置上点击产生点击事件时，马上获得点击事件对应的鼠标位置坐标。
元素数据获取模块24：用于基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
在本发明具体实施过程中，所述基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
进一步的，所述调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：调用Win32API接口或者UIAutomation类库方法判断所述鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得所述元素矩形边框内对应的元素数据信息。
进一步的，所述判断所述鼠标位置坐标是否包含在元素矩形边框内，包括：判断所述鼠标位置坐标的X坐标是否大于等于所述元素矩形边框的左上角点的X坐标，并且所述鼠标位置坐标的X坐标是否小于等于所述元素矩形边框的右下角点的X坐标，并且所述鼠标位置坐标的Y坐标是否大于等于所述元素矩形边框的左上角点的Y坐标，并且所述鼠标位置坐标的Y坐标是否小于等于所述元素矩形边框的右下角点的Y坐标。
具体的，通过调用Win32API接口或者UIAutomation类库方法来根据该鼠标位置坐标进行元素查找处理，然后获得该鼠标位置坐标对应的元素数据信息。
即调用Win32API接口或者UIAutomation类库方法判断鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得元素矩形边框内对应的元素数据信息；其中，通过判断鼠位置标坐标是否包含在元素矩形边框内来拾取元素数据信息，如果鼠标位置坐标在元素矩形边框内，则获取当前元素数据信息，元素矩形包含鼠标位置坐标计算原理：鼠标位置坐标的X坐标大于等于元素矩形左上角点的X坐标，并且鼠标位置坐标的X坐标小于等于元素矩形右下角点的X坐标，并且鼠标位置坐标的Y坐标小于等于元素矩形左上角点的Y坐标，并且鼠标位置坐标的Y坐标大于等于元素矩形右下角点的Y坐标。
遍历模块25：用于获得所述元素数据信息的节点信息，并通过向上遍历的方式获得所述节点信息对应的根节点。
在本发明具体实施过程中，所述通过向上遍历的方式获得所述节点信息对应的根节点，包括：通过向上遍历所述节点信息的父节点的方式直至遍历到所述节点信息的根节点为止，获得所述节点信息对应的根节点。
具体的，元素数据信息在操作系统内是以树形结构的一个节点体现的，这个树形结构的根节点就是操作系统的桌面，当通过鼠标坐标获取到元素节点信息时，可以通过往上遍历该元素的父节点，直到找到根节点（桌面）为止，因为每个元素节点有且只有一个父节点，所以当前元素到根节点间的路径信息（如：A元素->父节点1->父节点2->根节点）就可以用来确定当前元素的位置；并且获得到节点信息对应的根节点。
路径定位模块26：用于基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理。
在本发明具体实施过程中，所述基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理，包括：获得所述节点信息到对应的根节点之间的过程节点，基于所述节点信息、所述过程节点和根节点进行路径构建，获得所述节点信息到根节点之间的路径信息；将所述路径信息进行倒置，并从根节点开始向下查找所述节点信息，并对向下查找到的当前节点信息加上在兄弟节点信息的索引标识进行路径定位处理。
具体的，在得到节点信息到对应的根据点之间的过程节点之后，利用节点信息、过程节点和根节点进行路径构建，如：A元素->父节点1->父节点2->根节点；即可获得节点信息到根节点之间的路径信息；在后续需要对元素进行定位时，则先把前面的路径信息倒置，从根节点开始往下查找目标节点，因为每个节点可能存在若干兄弟节点，所以在定位元素节点时会加上当前元素在兄弟元素中的索引来标识（如：根节点->节点[2]->节点[1]->A元素）；正式的元素路径信息如：/Pane[5]/List/ListItem[3]，可以保存这个路径信息来对元素定位。
在本发明实施例中，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位；同时提高了对元素数据提取的效率和速度；并且方便后续在对该元素数据信息进行应用时，能准确的通过元素路径找到该元素；并且方便该元素数据信息在自动执行设计器上的应用。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中任意一个实施例的元素数据信息捕获方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、ROM（Read-Only Memory，只读存储器）、RAM（Random AcceSSMemory，随即存储器）、EPROM（EraSable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM（Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备（例如，计算机、手机）以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的元素数据信息捕获方法。
此外，图3是本发明实施例中的智能终端设备的结构组成示意图。
本发明实施例还提供了一种智能终端设备，如图3所示。所述智能终端设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作），并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键（比如播放控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器303内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述智能终端设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中对的元素数据信息捕获方法。
在本发明实施例中，可以实现根据用户需求对鼠标进行监测，并提取准确提取到用户通过鼠标操作的元素数据信息，并且可以实现元素路径的精确定位；同时提高了对元素数据提取的效率和速度；并且方便后续在对该元素数据信息进行应用时，能准确的通过元素路径找到该元素；并且方便该元素数据信息在自动执行设计器上的应用。
另外，以上对本发明实施例所提供的一种基于自动执行设计器的元素数据信息捕获方法、装置、存储介质及智能终端进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于自动执行设计器的元素数据信息捕获方法，其特征在于，所述方法包括：
在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令；
基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听；
监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标；
基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
2.根据权利要求1所述的元素数据信息捕获方法，其特征在于，所述方法还包括：
获得所述元素数据信息的节点信息，并通过向上遍历的方式获得所述节点信息对应的根节点；
基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理。
3.根据权利要求2所述的元素数据信息捕获方法，其特征在于，所述通过向上遍历的方式获得所述节点信息对应的根节点，包括：
通过向上遍历所述节点信息的父节点的方式直至遍历到所述节点信息的根节点为止，获得所述节点信息对应的根节点。
4.根据权利要求2所述的元素数据信息捕获方法，其特征在于，所述基于所述节点信息对应的根节点获得所述节点信息到根节点之间的路径信息，并对所述元素数据信息进行路径定位处理，包括：
获得所述节点信息到对应的根节点之间的过程节点，基于所述节点信息、所述过程节点和根节点进行路径构建，获得所述节点信息到根节点之间的路径信息；
将所述路径信息进行倒置，并从根节点开始向下查找所述节点信息，并对向下查找到的当前节点信息加上在兄弟节点信息的索引标识进行路径定位处理。
5.根据权利要求1所述的元素数据信息捕获方法，其特征在于，所述基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：
调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
6.根据权利要求5所述的元素数据信息捕获方法，其特征在于，所述调用Win32API接口或者UIAutomation类库方法来基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息，包括：
调用Win32API接口或者UIAutomation类库方法判断所述鼠标位置坐标是否包含在元素矩形边框内，若包含，则获得所述元素矩形边框内对应的元素数据信息。
7.根据权利要求6所述的元素数据信息捕获方法，其特征在于，所述判断所述鼠标位置坐标是否包含在元素矩形边框内，包括：
判断所述鼠标位置坐标的X坐标是否大于等于所述元素矩形边框的左上角点的X坐标，并且所述鼠标位置坐标的X坐标是否小于等于所述元素矩形边框的右下角点的X坐标，并且所述鼠标位置坐标的Y坐标是否大于等于所述元素矩形边框的左上角点的Y坐标，并且所述鼠标位置坐标的Y坐标是否小于等于所述元素矩形边框的右下角点的Y坐标。
8.一种基于自动执行设计器的元素数据信息捕获装置，其特征在于，所述装置包括：
指令生成模块：用于在用户登录自动执行设计器之后，基于用户在所述自动执行设计器上操作生成元素捕获指令；
监听模块：用于基于所述元素捕获指令实时对操作系统全局中的鼠标移动和点击事件进行监听；
坐标获取模块：用于监听到鼠标移动在屏幕某个位置点击产生点击事件时，获得点击事件对应的鼠标位置坐标；
元素数据获取模块：用于基于所述鼠标位置坐标进行元素查找处理，并获得所述鼠标位置坐标对应的元素数据信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述的元素数据信息捕获方法。
10.一种智能终端设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1至7中任意一项所述的元素数据信息捕获方法。
CN202210116588.1A 2022-02-08 2022-02-08 元素数据信息捕获方法、装置、存储介质及智能终端 Pending CN114153530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210116588.1A CN114153530A (zh) 2022-02-08 2022-02-08 元素数据信息捕获方法、装置、存储介质及智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210116588.1A CN114153530A (zh) 2022-02-08 2022-02-08 元素数据信息捕获方法、装置、存储介质及智能终端

Publications (1)

Publication Number Publication Date
CN114153530A true CN114153530A (zh) 2022-03-08

Family

ID=80450268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210116588.1A Pending CN114153530A (zh) 2022-02-08 2022-02-08 元素数据信息捕获方法、装置、存储介质及智能终端

Country Status (1)

Country Link
CN (1) CN114153530A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630990A (zh) * 2023-07-21 2023-08-22 杭州实在智能科技有限公司 Rpa流程元素路径智能修复方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147200A1 (en) * 2013-03-20 2014-09-25 Tomtom Development Germany Gmbh Methods and systems for detecting a closure of a navigable element
CN111639316A (zh) * 2020-05-19 2020-09-08 北京芯盾时代科技有限公司 一种web页面的信息处理方法和装置
CN111736837A (zh) * 2020-08-25 2020-10-02 银联商务股份有限公司 网页操作的还原方法、装置、设备、可读存储介质及系统
CN112099778A (zh) * 2020-11-13 2020-12-18 北京智慧星光信息技术有限公司 基于xpath的数据采集方法、电子设备及存储介质
CN112882625A (zh) * 2021-02-10 2021-06-01 南京苏宁软件技术有限公司 元素拾取方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147200A1 (en) * 2013-03-20 2014-09-25 Tomtom Development Germany Gmbh Methods and systems for detecting a closure of a navigable element
CN111639316A (zh) * 2020-05-19 2020-09-08 北京芯盾时代科技有限公司 一种web页面的信息处理方法和装置
CN111736837A (zh) * 2020-08-25 2020-10-02 银联商务股份有限公司 网页操作的还原方法、装置、设备、可读存储介质及系统
CN112099778A (zh) * 2020-11-13 2020-12-18 北京智慧星光信息技术有限公司 基于xpath的数据采集方法、电子设备及存储介质
CN112882625A (zh) * 2021-02-10 2021-06-01 南京苏宁软件技术有限公司 元素拾取方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630990A (zh) * 2023-07-21 2023-08-22 杭州实在智能科技有限公司 Rpa流程元素路径智能修复方法及系统
CN116630990B (zh) * 2023-07-21 2023-10-10 杭州实在智能科技有限公司 Rpa流程元素路径智能修复方法及系统

Similar Documents

Publication Publication Date Title
US10970097B2 (en) Adaptive web-based robotic process automation
US9846634B2 (en) Visual graphical user interface verification
US20190213114A1 (en) Apparatus and application interface traversing method
GB2513431A (en) Method for creating a label
CN111736837B (zh) 网页操作的还原方法、装置、设备、可读存储介质及系统
CN114153530A (zh) 元素数据信息捕获方法、装置、存储介质及智能终端
CN111679976A (zh) 一种页面对象的查找方法及装置
US20220374338A1 (en) Techniques for visual software test automation management
CN114328452A (zh) 数据稽核方法、装置、平台、电子设备及存储介质
CN113268236A (zh) 一种rpa系统中基于功能增强技术的ui元素拾取方法和系统
CN111382424A (zh) 一种基于受控环境的移动应用敏感行为检测方法和系统
CN112379641A (zh) 一种工艺io点选择及关联方法、装置、设备和介质
CN114201382A (zh) 测试用例生成方法、装置、存储介质和电子设备
CN115481025A (zh) 自动化测试的脚本录制方法、装置、计算机设备及介质
CN111190674B (zh) 统一处理触摸穿透方法、装置、存储介质及一体机设备
CN113076257A (zh) 测试脚本录制方法、装置、介质及计算机设备
CN115269101A (zh) 一种基于RPA实现Excel数据透视表拾取的方法
CN114428575A (zh) 一种界面元素探测识别方法、装置、存储介质及电子设备
CN113807077A (zh) 自然语言测试脚本解析处理方法、装置及电子设备
CN112230904A (zh) 基于接口文档的代码生成方法、装置、存储介质及服务器
CN110794986A (zh) 基于红外触控框的会议平板控制方法、装置及会议平板
CN111143206A (zh) 一种数据获取方法、装置、电子设备及存储介质
CN117455416B (zh) 应用于建筑项目管理的数据分析方法及系统
CN112612469A (zh) 一种界面元素的处理方法、装置和电子设备
CN114115835B (zh) 自动编码执行流程构建方法、装置、存储介质及智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220308