CN106371811A

CN106371811A - 一种java窗口控件的识别方法及装置

Info

Publication number: CN106371811A
Application number: CN201510428900.0A
Authority: CN
Inventors: 姜磊; 张舰; 彭光耀; 梅渝
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2015-07-21
Filing date: 2015-07-21
Publication date: 2017-02-01
Also published as: US20180196578A1; EP3312719A1; WO2016131316A1; EP3312719B1; EP3312719A4

Abstract

本发明提供了一种java窗口控件的识别方法及装置，该方法包括：获取当前java窗口中所有控件的属性信息，控件的属性信息中包括有所有控件的位置信息；获取当前定位的位置信息；根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件。本发明提供的java窗口控件的识别方法及装置，通过位置信息获取java窗口中的相应控件，使基于windows操作系统有效地识别java窗口控件并显示，给基于java进程的操作带来了极大的便利。

Description

一种java窗口控件的识别方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种java窗口控件的识别方法及装置。

背景技术

在windows操作系统中，大多数程序都有窗口，窗口上面有不同的控件，比如输入编辑框和按钮，这些控件一般称作重量级控件，其本质是一个窗口，有窗口句柄，能响应windows鼠标和键盘等消息。

微软提供了一种实用工具spy++，该工具能够对目标程序的窗口控件进行精确识别。但是，在基于windows操作系统上运行的java程序的窗口，微软提供的spy++以及基于微软提供的api接口编写的窗口识别程序，都无法有效识别java窗口上的控件信息。spy++仅能发现java窗口，而无法识别控件，这是因为，java窗口虽然是windows窗口，但上面的控件不是windows控件，即它们不是windows窗口，它们没有窗口句柄，其本质是根据java绘制原语画出来的控件，即轻量级控件，这些控件对windows的鼠标和键盘等消息事件的响应在java内部中实现的。

发明内容

本发明提供了一种java窗口控件的识别方法及装置，其目的是为了解决基于windows操作系统无法识别java窗口控件的问题。

为了达到上述目的，本发明的实施例提供了一种java窗口控件的识别方法，该方法包括：

获取当前java窗口中所有控件的属性信息，控件的属性信息中包括有所有控件的位置信息；

获取当前定位的位置信息；

根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件。

进一步地，获取当前java窗口中所有控件的属性信息的步骤包括：

从当前java进程中，获取当前java窗口中所有控件的绘制原语；

从绘制原语中，获取控件的属性信息。

进一步地，属性信息还包括：控件的类型信息。

进一步地，获取当前定位的位置信息的步骤包括：

获取当前鼠标指针所在的位置信息。

进一步地，根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件的步骤包括：

将所有控件的位置信息中，位置信息与当前定位的位置信息相同的控件，确定为当前定位的目标控件。

进一步地，确定当前定位的目标控件的步骤之后还包括：

将目标控件以一提醒方式显示，并显示目标控件的属性信息。

进一步地，将目标控件以一突出显示的方式或者对目标控件涂色的方式进行显示。

本发明还提供了一种java窗口控件的识别装置，该装置包括：

属性获取模块，用于获取当前java窗口中所有控件的属性信息，控件的属性信息中包括有所有控件的位置信息；

位置获取模块，用于获取当前定位的位置信息；

定位模块，用于根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件。

进一步地，属性获取模块包括：

第一获取子模块，用于从当前java进程中，获取当前java窗口中所有控件的绘制原语；

第二获取子模块，用于从绘制原语中，获取控件的属性信息。

进一步地，该装置还包括，

提醒模块，用于在定位模块确定当前定位的目标控件之后，将目标控件以一提醒方式显示，并显示目标控件的属性信息。

本发明的上述方案至少包括以下有益效果：

本发明提供的java窗口控件的识别方法及装置，通过位置信息获取java窗口中的相应控件，使基于windows操作系统有效地识别java窗口控件并显示，给基于java进程的操作带来了极大的便利。

附图说明

图1为本发明实施例所述的java窗口控件的识别方法的步骤流程图；

图2为本发明实施例所述的java窗口控件的识别装置的结构示意图；

图3为本发明的优选实施例的场景示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

参见图1，本发明针对现有的问题，提供了一种java窗口控件的识别方法，该方法包括：

步骤101，获取当前java窗口中所有控件的属性信息，控件的属性信息中包括有所有控件的位置信息；

进一步地，步骤101包括：

从绘制原语中，获取控件的属性信息。

也就是说，嵌入到java进程中，嵌入拦截代码，进而拦截当前java窗口中所有控件的绘制原语，绘制原语即绘制该控件的若干条指令；再从相关绘制原语中，获取每个控件的属性信息。

进一步地，属性信息还包括：控件的类型信息。其中，类型信息可以是按钮，或者编辑输入框等。

参见图3，做为本发明的优选实施例，当前java窗口中的控件包括：与“用户名”相对应的编辑输入框、与“密码”相对应的编辑输入框、与“IP地址”相对应的编辑输入框以及“确定”、“取消”按钮；首先嵌入到java进程中，获取上述控件的绘制原语，从绘制原语中获取相关控件的属性信息；属性信息包括控件的位置信息以及控件类型信息等。

继续参见图1，步骤102，获取当前定位的位置信息。

进一步地，步骤102包括：

获取当前鼠标指针所在的位置信息。参见图3，当前鼠标指针所在的位置为水平位置x＝70，竖直位置y＝128，宽度width＝418，高度height＝22。

继续参见图1，步骤103，根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件。

其中，当前定位的位置信息即步骤102中获取的当前鼠标指针所在的位置

进一步地，步骤103包括：

从步骤101中获取的所有控件的位置信息中，确定与步骤102中获取的当前定位的位置信息相同的控件，即为目标控件。

进一步地，确定当前定位的目标控件的步骤之后还包括：

将目标控件以一提醒方式显示，并显示目标控件的属性信息。进一步地，将目标控件以一突出显示的方式或者对目标控件涂色的方式进行显示。

参见图3，图中左侧窗体为java窗口，当确定与“用户名”相对应的编辑输入框即为目标控件之后，对目标控件进行了涂色，并在右侧窗体中显示了目标控件的属性信息，其中属性信息包括：句柄handle，控制标识control ID，文本text，类class等。

参见图2，本发明还提供了一种java窗口控件的识别装置，该装置包括：

属性获取模块201，用于获取当前java窗口中所有控件的属性信息，控件的属性信息中包括有所有控件的位置信息；

位置获取模块202，用于获取当前定位的位置信息；

定位模块203，用于根据当前定位的位置信息以及所有控件的位置信息，确定当前定位的目标控件。

进一步地，属性获取模块201包括：

进一步地，该装置还包括，

提醒模块，用于在定位模块203确定当前定位的目标控件之后，将目标控件以一提醒方式显示，并显示目标控件的属性信息。

需要说明的是，本发明实施例提供的java窗口控件的识别装置是应用上述方法的装置，即上述方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种java窗口控件的识别方法，其特征在于，包括：

获取当前java窗口中所有控件的属性信息，所述控件的属性信息中包括有所有控件的位置信息；

获取当前定位的位置信息；

根据当前定位的位置信息以及所述所有控件的位置信息，确定当前定位的目标控件。

2.如权利要求1所述的java窗口控件的识别方法，其特征在于，所述获取当前java窗口中所有控件的属性信息的步骤包括：

从所述绘制原语中，获取所述控件的属性信息。

3.如权利要求2所述的java窗口控件的识别方法，其特征在于，所述属性信息还包括：控件的类型信息。

4.如权利要求1所述的java窗口控件的识别方法，其特征在于，获取当前定位的位置信息的步骤包括：

获取当前鼠标指针所在的位置信息。

5.如权利要求1所述的java窗口控件的识别方法，其特征在于，根据当前定位的位置信息以及所述所有控件的位置信息，确定当前定位的目标控件的步骤包括：

6.如权利要求1所述的java窗口控件的识别方法，其特征在于，确定当前定位的目标控件的步骤之后还包括：

将所述目标控件以一提醒方式显示，并显示所述目标控件的属性信息。

7.如权利要求6所述的java窗口控件的识别方法，其特征在于，将所述目标控件以一突出显示的方式或者对目标控件涂色的方式进行显示。

8.一种java窗口控件的识别装置，其特征在于，包括：

属性获取模块，用于获取当前java窗口中所有控件的属性信息，所述控件的属性信息中包括有所有控件的位置信息；

位置获取模块，用于获取当前定位的位置信息；

定位模块，用于根据当前定位的位置信息以及所述所有控件的位置信息，确定当前定位的目标控件。

9.如权利要求8所述的java窗口控件的识别装置，其特征在于，所述属性获取模块包括：

第二获取子模块，用于从所述绘制原语中，获取所述控件的属性信息。

10.如权利要求8所述的java窗口控件的识别装置，其特征在于，所述装置还包括，

提醒模块，用于在所述定位模块确定当前定位的目标控件之后，将所述目标控件以一提醒方式显示，并显示所述目标控件的属性信息。