CN116804924A - 一种通用的Swing程序用户行为采集方法和装置 - Google Patents

一种通用的Swing程序用户行为采集方法和装置 Download PDF

Info

Publication number
CN116804924A
CN116804924A CN202310750300.0A CN202310750300A CN116804924A CN 116804924 A CN116804924 A CN 116804924A CN 202310750300 A CN202310750300 A CN 202310750300A CN 116804924 A CN116804924 A CN 116804924A
Authority
CN
China
Prior art keywords
component
swing
mouse
type
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310750300.0A
Other languages
English (en)
Inventor
张勇
吕海林
游传聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd, Wuhan Fiberhome Technical Services Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN202310750300.0A priority Critical patent/CN116804924A/zh
Publication of CN116804924A publication Critical patent/CN116804924A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation
    • G06F8/42Syntactic analysis
    • G06F8/427Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机软件编程技术领域,提供了一种通用的Swing程序用户行为采集方法和装置。其中识别鼠标和/或键盘操作产生的事件对象;获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息;根据Swing组件的前后变化和被识别的所述事件对象,解析得到操作类型、操作路径以及操作前后Swing组件的值,从而生成当前程序的操作用户信息。本发明提升代码的可维护性,采集数据只需要关注采集对象组件需要记录的数据,不需要关注业务逻辑,业务逻辑代码发生变更也不用修改采集代码。

Description

一种通用的Swing程序用户行为采集方法和装置
技术领域
本发明涉及计算机软件编程技术领域,特别是涉及一种通用的Swing程序用户行为采集方法和装置。
背景技术
Java Swing是一个为Java设计的GUI工具包,是一种图形界面工具。Swing组件按照一定的布局方式排列组合,最终展示一个完整的图形界面。
当Swing GUI启动后,Java虚拟机就会启动三个线程,分别为主线程、事件派发线程(也是事件处理线程)和系统工具包线程。
主线程:负责创建并显示改程序的初始界面。
事件派发线程:负责GUI组件的绘制和更新,通过不断从事件队列中获取事件并调用事件监听器的事件处理方法来处理事件。
系统工具包线程:负责从系统事件队列中捕获在该程序界面上的鼠标和键盘操作等底层事件,并把这些事件转换成Swing的相对应事件对象放入Swing的事件队列中,并循环该线程。
基于上述Java Swing的事件处理机制,用户的实际操作(包括鼠标操作和键盘操作)最终是以各个Swing组件对应的事件对象处理的。因此要想识别用户的具体操作就需要在各个组件上添加相应的事件监听器,来识别用户动作(见图1和图2),这就导致源界面代码被修改,对程序的稳定性造成影响。
鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本发明要解决的技术问题是如何在不影响源程序的基础上对用户动作行为数据进行采集记录,实现用户行为数据采集代码和组件代码的分离。
本发明采用如下技术方案:
第一方面,本发明提供了一种通用的Swing程序用户行为采集方法,包括:
识别鼠标和/或键盘操作产生的事件对象;
获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息。
根据Swing组件的前后变化和被识别的所述事件对象,解析得到操作类型、操作路径以及操作前后Swing组件的值,从而生成当前程序的操作用户信息;将多个操作用户信息包装成用户行为对象。
优选的,所述方法还包括:
根据操作类型创建事件监听器,所述事件监听器用于监听和识别鼠标和/或键盘操作产生的事件对象;
在Swing程序启动时,将创建的监听器注册到Swing程序中。
优选的,所述根据操作类型创建事件监听器,具体包括:
获取当前Swing程序中所包含的各Swing组件类型,并基于相应Swing组件类型确定可能发生的操作类型;其中,所述操作类型包括鼠标移动、键盘输入、鼠标拖拽、鼠标点击和鼠标滚轮滚动中的一项或者多项;
根据确定出的可能发生的操作类型,将相应操作类型的事件监听进程进行创建;其中,对于未被确认可能发生的操作类型的事件监听进行则不做创建。
优选的,所述操作类型中鼠标移动,用于引起界面组件的聚焦失焦;键盘输入,用于引起界面组件中文本的变化;鼠标拖拽,用于引起界面组件移动;鼠标点击,用于引起界面按钮点击、菜单打开和窗口打开关闭中的一项或者多项;鼠标滚轮滚动,用于引起界面窗口缩放和/或滚动条移动。
优选的,预先根据Swing组件的常用操作动作,将Swing组件类型和动作类型绑定,形成一个关系映射表,方法还包括:
从AWTEvent中获取到动作类型,记录当前动作的系统时间;
根据AWTEvent中Swing组件的前后变化解析得到操作类型、组件路径以及操作前后组件的值,并进一步根据组件的前后变化时间和所述系统时间的动作类型和关系映射表,生成具体的Swing组件。
优选的,所述关系映射表包括:
Button按钮和Tab页的两类Swing组件对应鼠标点击的动作类型;
文本框的Swing组件对应鼠标移动的动作类型;
Dialog窗口的Swing组件对应鼠标拖拽的动作类型;
Scroll滚动条的Swing组件对应鼠标滚轮滚动;
Form表单的Swing组件对应Enter键点击的动作类型;
Menu菜单的Swing组件对应多键组合点击的动作类型。
优选的,所述获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息,具体包括:
定义一个解析器对象,在此对象中创建名称解析函数;以使用getParant()来获取到的目标组件所在的父类容器组件作为名称解析函数的输入参数;
在名称解析函数中按照不同的布局方式,分别遍历容器中的所有元素,根据位置关系将Label标签与组件的组合关系检索出来。
优选的,通过Swing组件对象的getParent()方法,一层一层的获取到当前Swing组件的DOM层级,当查找到父组件是TopComponent组件时,所述TopComponent组件就是当前操作的入口,使用TopComponent组件的getName()或者getTitle()获取名称,所述名称记录在bottomCpmponent中,同时将DOM树信息记录在操作用户信息对象的操作路径属性中;
其中,操作用户信息对象用于记录一次用户操作相关信息,包括:操作时间、用户名、操作类型、操作组件名称、操作组件的底层控件名称、操作路径、操作前组件值和操作后组件值中的一项或者多项属性。
优选的,所述操作前组件值和操作后组件值具体包括:
在Swing组件为复选框组件时,只有选中和不选中两种状态,复选框组件的值是对立的两个结果,使用复选框对象包含的函数获取到操作后组件,则操作前组件值就是对立的另一个;
在Swing组件为文本框组件时,引入聚焦失焦事件来监控文本框的开始输入和输入完成,监听到聚焦事件时,获取一次文本框组件的值,即为操作前组件值;监听到失焦事件时,获取一次文本框组件的值,即为操作后组件值;
在Swing组件为下拉框组件时,所述下拉框组件由一个文本框和一个列表List组成,鼠标点击List时才会引起下拉框组件值的变化;当监听到下拉框组件的鼠标事件时,获取下拉框组件的值,这个值就是下拉框操作前组件值;当监听到一个列表List组件的鼠标事件时,要获取这个List组件的父组件,当父组件是下拉框时,获取List组件的选中值,这个值即为下拉框组件操作后组件值。
第二方面,本发明还提供了一种通用的Swing程序用户行为采集装置,用于实现第一方面所述的通用的Swing程序用户行为采集方法,所述装置包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行第一方面所述的通用的Swing程序用户行为采集方法。
第三方面,本发明还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的通用的Swing程序用户行为采集方法。
本发明为Swing程序提供一种用户行为采集方法,无需修改源界面代码,在原有的界面代码之外添加新的采集程序采集用户行为。采集程序独立于现有的业务逻辑代码,不影响现有的网管业务逻辑。提升代码的可维护性,采集数据只需要关注采集对象组件需要记录的数据,不需要关注业务逻辑,业务逻辑代码发生变更也不用修改采集代码。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的现有技术中的一种通用的Swing程序用户行为采集方法流程图;
图2是本发明实施例提供的现有技术中的一种通用的Swing程序用户行为采集方法架构示意图;
图3是本发明实施例提供的一种通用的Swing程序用户行为采集方法流程示意图;
图4是本发明实施例提供的一种通用的Swing程序用户行为采集方法架构示意图;
图5是本发明实施例提供的一种更完整逻辑下的通用的Swing程序用户行为采集方法流程示意图;
图6是本发明实施例提供的包含函数代码下的一种通用的Swing程序用户行为采集方法流程示意图;
图7是本发明实施例提供的另一种通用的Swing程序用户行为采集方法流程示意图;
图8是本发明实施例提供的另一种通用的Swing程序用户行为采集方法流程示意图;
图9是本发明实施例提供的另一种通用的Swing程序中获取布局的方法流程图;
图10是本发明实施例提供的一种通用的Swing程序中获取复选框组件、文本框组件和下拉框组件的操作行为的方法流程图;
图11是本发明实施例提供的一种通用的Swing程序中注册时间行为的关系树;
图12是本发明实施例提供的另一种通用的Swing程序中获取布局的方法结果效果图;
图13是本发明实施例提供的一种通用的Swing程序用户行为采集装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作,因此不应当理解为对本发明的限制。
本发明中术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请中,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或成一体;可以是直接相连,也可以通过中间媒介间接相连。此外,术语“耦接”可以是实现信号传输的电性连接的方式。
现有的数据分析主要采用的是埋点采集的方式,但埋点是针对特定用户行为或事件进行捕获,需要提前分析需要监控的行为和事件,然后对这些行为和事件进行埋点。因此埋点的工作会随着需求的变化而变更,工作量大且不稳定。
埋点方法对源系统代码依赖性太强,是在源系统中需要统计数据的地方植入埋点代码。
现有技术中Swing网管将用户普通的鼠标键盘操作,通过各组件转换为不同的事件(如:WindowEvent、ActionEvent、ItemEvent等),再通过相应的事件监听器来处理。
而本发明则是直接监控用户的键盘鼠标操作,使用全局监听代理对AWTEvent事件进行处理,通过用户的操作体的用户行为。
在本发明中定义用户行为类型至少包括:
1、鼠标移动:AWTEvent.FOCUS_EVENT_MASK,引起界面组件的聚焦失焦等。
2、键盘输入:AWTEvent.KEY_EVENT_MASK,引起界面组件中文本的变化等。
3、鼠标拖拽:AWTEvent.MOUSE_MOTION_EVENT_MASK,引起界面组件移动等。
4、鼠标点击:AWTEvent.MOUSE_EVENT_MASK,引起界面按钮点击、菜单打开、窗口打开关闭等等。
5、鼠标滚轮滚动:AWTEvent.MOUSE_WHEEL_EVENT_MASK,引起界面窗口缩放、滚动条移动等等。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种通用的Swing程序用户行为采集方法,如图3和图4所示,包括:
在步骤201中,识别鼠标和/或键盘操作产生的事件对象。
在步骤202中,获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息。
在步骤203中,根据Swing组件的前后变化和被识别的所述事件对象,解析得到操作类型、操作路径以及操作前后Swing组件的值,从而生成当前程序的操作用户信息。
在步骤204中,将多个操作用户信息包装成用户行为对象。
本发明实施例为Swing程序提供一种用户行为采集方法,无需修改源界面代码,在原有的界面代码之外添加新的采集程序采集用户行为。采集程序独立于现有的业务逻辑代码,不影响现有的网管业务逻辑。提升代码的可维护性,采集数据只需要关注采集对象组件需要记录的数据,不需要关注业务逻辑,业务逻辑代码发生变更也不用修改采集代码。
结合本发明实施例,还为相应的事件监听器的导入提供了可实现的方式之一,如图5所示,具体包括:
在步骤101中,根据操作类型创建事件监听器,所述事件监听器用于监听和识别鼠标和/或键盘操作产生的事件对象。
在步骤102中,在Swing程序启动时,将创建的监听器注册到Swing程序中。
以图6结合伪代码呈现为例,需求分析需要采集数据的用户行为,将这些行为按事件类型分类,针对每种事件类型编写相应的AWTEventListener,使用Toolkit将监听器注册到全局监听中。
如图11所示,在具体实现过程中,可以定义一个接口:IAWTRecordRegister,所有的需要监控的行为事件都实现这个接口,在网管(包含Swing程序)启动时,使用LookupAll()方法找到所有的注册器,将全局监听器注册到网管中。
需要说明的是,在本发明具体实现过程中,相应的事件监听器是会根据具体监听的事件行为动作而表现出差异性,即一种行为动作会有针对性的事件监听器,这样的实现方式可以大大提高响应的效率和记录行为动作系统时间的准确性。为此,进一步在能够获取当前Swing程序所包含的各Swing组件的情况下,针对性启动与包含的Swing组件相适配的事件监听器则可以进一步有效的压缩计算资源的消耗。所述根据操作类型创建事件监听器,在步骤101中还包括以下执行步骤细节,如图7所示:
在步骤1011中,获取当前Swing程序中所包含的各Swing组件类型,并基于相应Swing组件类型确定可能发生的操作类型。
其中,所述操作类型包括鼠标移动、键盘输入、鼠标拖拽、鼠标点击和鼠标滚轮滚动中的一项或者多项。
所述操作类型中鼠标移动,用于引起界面组件的聚焦失焦;键盘输入,用于引起界面组件中文本的变化;鼠标拖拽,用于引起界面组件移动;鼠标点击,用于引起界面按钮点击、菜单打开和窗口打开关闭中的一项或者多项;鼠标滚轮滚动,用于引起界面窗口缩放和/或滚动条移动。
在步骤1012中,根据确定出的可能发生的操作类型,将相应操作类型的事件监听进程进行创建;其中,对于未被确认可能发生的操作类型的事件监听进行则不做创建。
对于本发明实施例实现而言,为了实现的方便性,存在一种优选的扩展实现方案,预先根据Swing组件的常用操作动作,将Swing组件类型和动作类型绑定,形成一个关系映射表,在与实施例步骤203相结合过程中,如何实现对Swing组件的确认和相应操作类型、操作路径的关联生成,如图8所示,方法还包括:
在步骤2031中,从AWTEvent中获取到动作类型,记录当前动作的系统时间。
在步骤2032中,根据AWTEvent中Swing组件的前后变化解析得到操作类型、组件路径以及操作前后组件的值,并进一步根据组件的前后变化时间和所述系统时间的动作类型和关系映射表,生成具体的Swing组件。
此处生成具体的Swing组件就包含了步骤203中有关的得到操作类型、操作路径以及操作前后Swing组件的值等等。
其中,所述关系映射表包括:
Button按钮和Tab页的两类Swing组件对应鼠标点击的动作类型;
文本框的Swing组件对应鼠标移动的动作类型;
Dialog窗口的Swing组件对应鼠标拖拽的动作类型;
Scroll滚动条的Swing组件对应鼠标滚轮滚动;
Form表单的Swing组件对应Enter键点击的动作类型;
Menu菜单的Swing组件对应多键组合点击的动作类型。
接下来,本发明实施例中还将结合伪代码的方式,将上述方法过程进行进一步详尽而透彻的阐述。
例如:所述获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息,如图9所示,具体包括:
在步骤301中,定义一个解析器对象LayoutParserManagement,在此对象中创建名称解析函数void parseName(Container component);其中Container为使用getParant()来获取的目标组件所在的父类容器组件。
在步骤302中,在parseName(Container component)函数中按照不同的布局方式,分别遍历容器中的所有元素,根据位置关系将Label标签与组件的组合关系检索出来。
在步骤303中,通过Swing组件对象的getParent()方法,一层一层的获取到当前Swing组件的DOM层级,当查找到父组件是TopComponent组件时,所述TopComponent组件就是当前操作的入口,使用TopComponent组件的getName()或者getTitle()获取名称,所述名称记录在bottomCpmponent中,同时将DOM树信息记录在操作用户信息对象的操作路径属性中。
其中,操作用户信息对象用于记录一次用户操作相关信息,包括:操作时间、用户名、操作类型、操作组件名称、操作组件的底层控件名称(功能名称)、操作路径、操作前组件值和操作后组件值中的一项或者多项属性。
例如:所述操作前组件值和操作后组件值,如图10所示,具体包括:
在步骤401中,在Swing组件为复选框组件时,只有选中和不选中两种状态,复选框组件的值是对立的两个结果,使用复选框对象的getSelected()获取到操作后组件,则操作前组件值就是对立的另一个。
在步骤402中,在Swing组件为文本框组件时,引入聚焦失焦事件来监控文本框的开始输入和输入完成,监听到聚焦事件时,获取一次文本框组件的值,即为操作前组件值;监听到失焦事件时,获取一次文本框组件的值,即为操作后组件值。
在步骤403中,在Swing组件为下拉框组件时,所述下拉框组件由一个文本框和一个列表List组成,鼠标点击List时才会引起下拉框组件值的变化;当监听到下拉框组件的鼠标事件时,获取下拉框组件的值,这个值就是下拉框操作前组件值;当监听到一个列表List组件的鼠标事件时,要获取这个List组件的父组件,当父组件是下拉框时,获取List组件的选中值,这个值即为下拉框组件操作后组件值。
本发明实施例为Swing网管提供用户行为采集方法,无需修改源界面代码,在原有的界面代码之外添加新的采集程序采集用户行为。采集程序独立于现有的业务逻辑代码,不影响现有的网管业务逻辑。提升代码的可维护性,采集数据只需要关注采集对象组件需要记录的数据,不需要关注业务逻辑,业务逻辑代码发生变更也不用修改采集代码。
如图12所示,为网管登录按钮点击行为记录实例。在UNM2000网管里面一般通过在源代码中添加日志或者是后台接口调用添加日志的方式来记录网管的操作,日志的内容格式因开发人员不同儿存在差异,且日志的记录时机也没有一个明确的标准,导致记录的用户操作数据无法完整的反应网管的使用情况。
实施例2:
本专利的技术方案是一种Swing程序用户行为采集方法,相较实施例1中主要阐述的技术方案过程而言,本发明实施例更侧重融入函数、类等伪代码,进行更契合程序代码测的技术方案阐述,并且,在本实施例中将更多方法功能进行模块对象承载形式下的描述,例如在本实施例中主要包括用户行为对象、监听器、事件转换器、组件解析器、布局解析器五个部分。
S1:用户行为对象,创建一个对象UserOpertionRecord,此对象用于记录一次用户操作相关信息,具体设计如下:
public class UserOpertionRecord{
Timestamp time;//操作时间
String userName;//用户名
String operationType;//操作类型
String componentName;//操作组件名称
String bottomCpmponent;//操作组件的底层控件名称(功能名称)
String path;//操作路径
String oldValue;//操作前组件值
String newValue;//操作后组件值
}
S2:监听器,将用户鼠标键盘的操作分类,对每一类操作创建一个监听器,实行对此类操作行为的监听。按照用户操作,概括为以下五类:
1、鼠标移动:AWTEvent.FOCUS_EVENT_MASK,引起界面组件的聚焦失焦等;
2、键盘输入:AWTEvent.KEY_EVENT_MASK,引起界面组件中文本的变化等;
3、鼠标拖拽:AWTEvent.MOUSE_MOTION_EVENT_MASK,引起界面组件移动等;
4、鼠标点击:AWTEvent.MOUSE_EVENT_MASK,引起界面按钮点击、菜单打开、窗口打开关闭等等;
5、鼠标滚轮滚动:AWTEvent.MOUSE_WHEEL_EVENT_MASK,引起界面窗口缩放、滚动条移动等等。
按照以上五类动作创建五个监听器,使用Lookup工具,在Swing程序启动时将这五个监听器注册到全局监听器中:
Toolkit.getDefaultToolkit().addAWTEventListener(AWTEventListener l)。
S3:事件转换器,鼠标键盘操作产生的AWTEvent事件被监听器接收到后,只能得到一个抽象的事件对象,要想将这个抽象的事件对象关联到Swing界面上,就必须将此抽象事件转换成界面上的Swing组件,具体设计如下:
S3.1记录操作时间,当监听器接收到键鼠操作事件时,获取当前系统时间,此时间即为用户的操作时间;
S3.2根据Swing组件的常用操作动作,将组件类型和动作类型绑定,形成一个关系映射表,如下表示例:
其中文本框组件应该是键盘操作,但实际操作中我们不关注键盘输入过程中文本框的变化,而是关注开始输入前的值和输入完成后的值,因此将鼠标光标移动引起的失焦聚焦与文本框绑定。
S3.3从AWTEvent中获取到事件源对象和动作类型,根据组件-动作映射关系表将事件源对象转换成具体的Swing组件。
S4.布局解析器,Swing组件JComponent中有个name属性,可以根据name属性获取到当前组件的名称,但在实际程序中,开发人员可能没有给组件设置它的name属性,因此就需要构建一个布局解析器,来分析组件在界面中的布局,从而得到组件的名称和位置关系。界面布局中,一般采用的是标签Label和组件JComponent组合,因此获取到所有的Label标签后,组件左边相邻的Label标签就是组件的名称信息,具体设计如下:
S4.1定义一个解析器对象LayoutParserManagement,在此对象中创建一个方法,示例:
void parseName(Container component);其中Container为目标组件所在的父类容器组件,可以使用getParant()来获取。
在这个方法中按照不同的布局方式,分别遍历容器中的所有元素,根据位置关系将Label标签与组件的组合关系检索出来。
S4.2常用的界面布局方式有FlowLayout、FormLayout、BorderLayout。
S5.组件解析器,得到Swing组件对象后,我们需要知道这个组件是干什么的,在哪个具体的功能中使用的,在程序中的入口是什么等信息,因此就需要对此组件进行解析,分析它的DOM关系,了解用户操作对它的影响。具体设计如下:
S5.1获取系统登录用户信息,登录用户的信息即为当前操作用户信息;
S5.2通过组件对象的getParent()方法,一层一层的获取到当前组件的DOM层级,当查找到父组件是顶部组件TopComponent时,那么这个TopComponent组件就是当前操作的入口,使用TopComponent的getName()或者getTitle()获取名称,此名称记录在底部组件bottomCpmponent中,同时将DOM树信息记录在path属性中;
S5.3在组件解析器中,Swing组件一般分为输入型控件和非输入型组件。对输入型控件,我们需要关注用户操作引起的值的变化,下面以文本框、复选框、下拉框三种输入型组件为例,来介绍如何获取组件操作前后值得变化:
1、复选框组件只有选中和不选中两种状态,因此它的值是对立的两个结果,使用复选框对象的getSelected()获取到操作后的值后,那么操作之前的值就是对立的另一个;
2、文本框在每次键盘输入时它的值都会发生变化,但我们并不需要了解用户输入过程中的值,只需要知道输入前和输入完成之后的值。因此我们需要引入聚焦失焦事件来监控文本框的开始输入和输入完成,监听到聚焦事件时,获取一次文本框组件的值,即为操作前的值;监听到失焦事件时,获取一次文本框组件的值,即为操作后的值;
3、下拉框组件是由一个文本框和一个列表List组成,鼠标点击List时才会引起下拉框组件值的变化。按此逻辑,当监听到下拉框组件的鼠标事件时,获取下拉框的值,这个值就是下拉框操作前的值;当监听到一个列表List组件的鼠标事件时,要获取这个List组件的父组件,当父组件是下拉框时,获取List组件的选中值,这个值即为下拉框组件操作后的值。
通过S3、S4、S5三种处理器对键鼠操作的解析,最终将一次用户动作转化成数据对象,将次对象信息保存下来,就完成了一次用户动作的采集。
本发明实施例提供了一种新的行为采集方法,行为采集代码和界面组件代码的分离,在不影响现有程序逻辑的情况下,对网管的操作数据进行记录。采集数据更加灵活,代码耦合度更低;且界面上同一种组件只需要添加一份解析代码,更具备通用性,可维护性更高。
实施例3:
如图13所示,是本发明实施例的通用的Swing程序用户行为采集装置的架构示意图。本实施例的通用的Swing程序用户行为采集装置包括一个或多个处理器21以及存储器22。其中,图13中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接,图13中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序和非易失性计算机可执行程序,如实施例1中的通用的Swing程序用户行为采集方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令,从而执行通用的Swing程序用户行为采集方法。
存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器22可选包括相对于处理器21远程设置的存储器,这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中,当被所述一个或者多个处理器21执行时,执行上述实施例1中的通用的Swing程序用户行为采集方法,例如,执行以上描述的图3、图5-图10所示的各个步骤。
值得说明的是,上述装置和系统内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的处理方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种通用的Swing程序用户行为采集方法,其特征在于,包括:
识别鼠标和/或键盘操作产生的事件对象;
获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息;
根据Swing组件的前后变化和被识别的所述事件对象,解析得到操作类型、操作路径以及操作前后Swing组件的值,从而生成当前程序的操作用户信息;将多个操作用户信息包装成用户行为对象。
2.根据权利要求1所述的通用的Swing程序用户行为采集方法,其特征在于,所述方法还包括:
根据操作类型创建事件监听器,所述事件监听器用于监听和识别鼠标和/或键盘操作产生的事件对象;
在Swing程序启动时,将创建的监听器注册到Swing程序中。
3.根据权利要求2所述的通用的Swing程序用户行为采集方法,其特征在于,所述根据操作类型创建事件监听器,具体包括:
获取当前Swing程序中所包含的各Swing组件类型,并基于相应Swing组件类型确定可能发生的操作类型;其中,所述操作类型包括鼠标移动、键盘输入、鼠标拖拽、鼠标点击和鼠标滚轮滚动中的一项或者多项;
根据确定出的可能发生的操作类型,将相应操作类型的事件监听进程进行创建;其中,对于未被确认可能发生的操作类型的事件监听进行则不做创建。
4.根据权利要求3所述的通用的Swing程序用户行为采集方法,其特征在于,所述操作类型中鼠标移动,用于引起界面组件的聚焦失焦;键盘输入,用于引起界面组件中文本的变化;鼠标拖拽,用于引起界面组件移动;鼠标点击,用于引起界面按钮点击、菜单打开和窗口打开关闭中的一项或者多项;鼠标滚轮滚动,用于引起界面窗口缩放和/或滚动条移动。
5.根据权利要求1所述的通用的Swing程序用户行为采集方法,其特征在于,预先根据Swing组件的常用操作动作,将Swing组件类型和动作类型绑定,形成一个关系映射表,方法还包括:
从AWTEvent中获取到动作类型,记录当前动作的系统时间;
根据AWTEvent中Swing组件的前后变化解析得到操作类型、组件路径以及操作前后组件的值,并进一步根据组件的前后变化时间和所述系统时间的动作类型和关系映射表,生成具体的Swing组件。
6.根据权利要求5所述的通用的Swing程序用户行为采集方法,其特征在于,所述关系映射表包括:
Button按钮和Tab页的两类Swing组件对应鼠标点击的动作类型;
文本框的Swing组件对应鼠标移动的动作类型;
Dialog窗口的Swing组件对应鼠标拖拽的动作类型;
Scroll滚动条的Swing组件对应鼠标滚轮滚动;
Form表单的Swing组件对应Enter键点击的动作类型;
Menu菜单的Swing组件对应多键组合点击的动作类型。
7.根据权利要求1所述的通用的Swing程序用户行为采集方法,其特征在于,所述获取当前被操作Swing组件的父容器中各Swing组件的位置关系,得到Swing组件的名称、Swing组件的类型、Swing组件的位置、Swing组件的逻辑大小尺寸中的一项或者多项信息,具体包括:
定义一个解析器对象,在此对象中创建名称解析函数;以使用getParant()获取到的目标组件所在的父类容器组件作为名称解析函数的输入参数;
在名称解析函数中按照不同的布局方式,分别遍历容器中的所有元素,根据位置关系将Label标签与组件的组合关系检索出来。
8.根据权利要求7所述的通用的Swing程序用户行为采集方法,其特征在于,通过Swing组件对象的getParent()方法,一层一层的获取到当前Swing组件的DOM层级,当查找到父组件是顶部组件时,所述顶部组件就是当前操作的入口,使用顶部组件获取名称,所述名称记录在底部组件中,同时将DOM树信息记录在操作用户信息对象的操作路径属性中;
其中,操作用户信息对象用于记录一次用户操作相关信息,包括:操作时间、用户名、操作类型、操作组件名称、操作组件的底层控件名称、操作路径、操作前组件值和操作后组件值中的一项或者多项属性。
9.根据权利要求8所述的通用的Swing程序用户行为采集方法,其特征在于,所述操作前组件值和操作后组件值具体包括:
在Swing组件为复选框组件时,只有选中和不选中两种状态,复选框组件的值是对立的两个结果,使用复选框对象包含的函数获取到操作后组件,则操作前组件值就是对立的另一个;
在Swing组件为文本框组件时,引入聚焦失焦事件来监控文本框的开始输入和输入完成,监听到聚焦事件时,获取一次文本框组件的值,即为操作前组件值;监听到失焦事件时,获取一次文本框组件的值,即为操作后组件值;
在Swing组件为下拉框组件时,所述下拉框组件由一个文本框和一个列表List组成,鼠标点击List时才会引起下拉框组件值的变化;当监听到下拉框组件的鼠标事件时,获取下拉框组件的值,这个值就是下拉框操作前组件值;当监听到一个列表List组件的鼠标事件时,要获取这个List组件的父组件,当父组件是下拉框时,获取List组件的选中值,这个值即为下拉框组件操作后组件值。
10.一种通用的Swing程序用户行为采集装置,其特征在于,包括
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行权利要求1-9任一所述的通用的Swing程序用户行为采集方法。
CN202310750300.0A 2023-06-21 2023-06-21 一种通用的Swing程序用户行为采集方法和装置 Pending CN116804924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750300.0A CN116804924A (zh) 2023-06-21 2023-06-21 一种通用的Swing程序用户行为采集方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750300.0A CN116804924A (zh) 2023-06-21 2023-06-21 一种通用的Swing程序用户行为采集方法和装置

Publications (1)

Publication Number Publication Date
CN116804924A true CN116804924A (zh) 2023-09-26

Family

ID=88080431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750300.0A Pending CN116804924A (zh) 2023-06-21 2023-06-21 一种通用的Swing程序用户行为采集方法和装置

Country Status (1)

Country Link
CN (1) CN116804924A (zh)

Similar Documents

Publication Publication Date Title
US9465726B2 (en) Abstract layer for automatic user interface testing
US9195572B2 (en) Systems and methods for identifying user interface (UI) elements
US7788644B2 (en) Method and system for monitoring performance on a mobile device
US7003781B1 (en) Method and apparatus for correlation of events in a distributed multi-system computing environment
CN102999314B (zh) 立即延迟跟踪器工具
US8589949B2 (en) Processing multiple heterogeneous event types in a complex event processing engine
US8464221B2 (en) Visualization tool for system tracing infrastructure events
US7627821B2 (en) Recording/playback tools for UI-based applications
US7908557B2 (en) Presenting message detectable by screen reader application
US20130159784A1 (en) Systems and methods for recording user interactions within a target application
US8335845B2 (en) Web application management method and web system
US9378472B2 (en) Systems and methods for enabling and configuring tracking of user interactions on computer applications
US7533114B2 (en) Mobile device having extensible software for presenting server-side applications, software and methods
CN109240700B (zh) 关键代码定位方法与系统
US9043760B2 (en) Creating dynamic interactive views from trace events for performing deterministic performance analysis
US7478368B2 (en) Organization and visualization of performance data in selected display modes
CN111694561A (zh) 一种接口管理方法、装置、设备及存储介质
US8572553B2 (en) Systems and methods for providing feedback for software components
US20050086664A1 (en) Method and apparatus for transaction tracking in a web presentation architecture
Seo et al. GUI-based software modularization through module clustering in edge computing based IoT environments
US11580228B2 (en) Coverage of web application analysis
US9164746B2 (en) Automatic topology extraction and plotting with correlation to real time analytic data
CN117076338B (zh) 基于kprobe的linux内核动态调试方法及系统
CN109062784B (zh) 接口参数约束代码入口定位方法与系统
CN112817817A (zh) 埋点信息查询方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240531

Address after: 430000 No. 6, High-tech Fourth Road, Donghu High-tech Development Zone, Wuhan City, Hubei Province

Applicant after: FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.

Country or region after: China

Address before: No.4, Guanshan 2nd Road, Donghu Development Zone, Wuhan City, Hubei Province 430205

Applicant before: WUHAN FIBERHOME TECHNICAL SERVICES Co.,Ltd.

Country or region before: China

Applicant before: FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.