CN103927243A - 图形用户界面操作的监控方法和监控装置 - Google Patents

Abstract

本发明提供一种图形用户界面操作的监控方法和装置，该方法包括：读取步骤，读取作业内容；生成步骤，根据操作者的图形用户界面操作生成用户操作数据；比较步骤，将所获得的用户操作数据与对应于作业内容而预先设定的监控规则数据库作比较；以及判定步骤，如果用户操作数据与监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果用户操作数据与监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦。根据本发明的图形用户界面操作的监控方法，允许正确的GUI操作，阻拦规则以外的GUI操作，由此能够实时减少误操作，提高安全性。

Description

图形用户界面操作的监控方法和监控装置

技术领域

本发明涉及一种图形用户界面操作的监控方法和监控装置。

背景技术

在银行、证券公司等IT信息化程度较高的企业，其业务都是由IT系统管理。但由于IT信息化起步晚，自动化程度低，日常业务操作中存在着大量的手工操作，也就是GUI操作（图形用户界面操作），这样使得每一次业务中人为风险大大增加。如果该业务是非常重要，不可出错一步的话（事实上大部分业务皆是如此），如何保证人为操作一步都不出错是一个很大的课题。

每一次在业务系统中执行业务都会涉及一系列的GUI操作，这些GUI操作是一个序列，具有一定的顺序，具体比如说在画面上先打开a，再选择b，然后输入c，最后点击d提交。但如果不小心选择了e，然后输入有误变成了f，或者错误地点击了g提交，因为现有技术中没有对GUI操作进行监控和审核的机制，那么由于这种人为的误操作将导致业务的出错，严重时以致整个系统的崩溃。

专利文献1提供了一种针对客户端计算机的手工操作的诊断方法，主要内容是：将客户端运行应用后所进行的GUI操作以日志的形式记录下来，然后通过握手协议将日志传输给支持端，然后支持端在本机上根据日志再现当时客户端所进行的GUI操作以诊断问题所在，最后利用远程工具在客户端上操作解决问题。整个过程的核心是对利用客户端GUI日志进行GUI再现，从而诊断客户操作的问题。但是，专利文献1中没有提供一种方法或系统来解决图形界面手工操作合规与否判定，并在不合规的情况下，实时对相应操作进行处理的方法。

专利文献1：CN-1976352A

发明内容

因此本发明是鉴于上述问题而完成的，本发明的发明人提出对每一步人为的GUI操作进行审核，判定该操作是否符合本次业务操作，并根据判定结果做出相应的措施，这样可以大大降低人为的误操作概率，以保证每一步操作的正确性。本发明的目的在于：为在计算机上进行业务操作的操作人员提供手工GUI操作的正确性保障，以期帮助操作人员正确，高效地进行手工业务操作。

本发明一个方面的图形用户界面操作的监控方法，其特征在于，包括：读取步骤，读取作业内容；生成步骤，根据操作者的图形用户界面操作生成用户操作数据；比较步骤，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；以及判定步骤，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果所述用户操作数据与所述监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦。

根据该监控方法，将用户的GUI操作与监控规则数据中作为规则保存的组件标识信息（GUI操作作用的对象）与消息内容（GUI操作作用的内容）进行比较，允许正确的GUI操作，阻拦规则以外的GUI操作并提示信息，由此能够实时减少误操作，提高安全性。

本发明另一个方面的图形用户界面操作的监控方法，其特征在于，包括：读取步骤，读取作业内容；生成步骤，根据操作者的图形用户界面操作生成用户操作数据；第一比较步骤，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；第一判定步骤，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效；第二比较步骤，将所获得的用户操作数据中与所述监控规则数据库不匹配的数据，与预先设定的允许规则数据库作比较；以及第二判定步骤，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围内，则使该图形用户界面操作生效，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围外，则将该图形用户界面操作阻拦。

根据该监控方法，在能够实时减少误操作，提高安全性的基础上，还能够给用户带来操作上的便利性。

另外，本发明的图形用户界面操作的监控方法中，还包括监控规则数据录入步骤，其对应于所述作业内容，根据正确的每一步图形用户界面操作生成所述监控规则数据，并存入所述监控规则数据库中。由此，在能够实时减少误操作，提高安全性的基础上，还能够使用户灵活方便地录制和修改监控规则数据，在业务流程发生变化或系统更新时特别有效。

另外，本发明的图形用户界面操作的监控方法中，在所述生成步骤中，根据图形用户界面操作所作用的对象和内容而生成用户操作数据。由此，能够对应于复杂的GUI操作，而生成简单的比较数据，并正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控方法中，所述对象包括窗口或窗口内的组件，所述内容包括鼠标输入事件、键盘输入事件或触摸屏输入事件。由此，能够对用户的GUI操作进行全面的监控，从而更加正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控方法中，所述比较步骤或所述第一比较步骤中，分别将用户操作数据中与所述对象相关的数据以及与所述内容相关的数据，与对应于所述作业内容而预先设定的监控规则数据库作比较。由此，能够对用户的GUI操作进行全面的监控，从而更加正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控方法中，所述允许规则数据库包括：所述作业内容的对象以外的操作所相关的数据；以及所述作业内容的对象中的对于特定控件以外的操作所相关的数据。由此，能够准确的区分允许的GUI操作和禁止的GUI操作，给用户带来使用上的便利性。

本发明一个方面的图形用户界面操作的监控装置，其特征在于，包括：读取单元，读取作业内容；生成单元，根据操作者的图形用户界面操作生成用户操作数据；比较单元，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；以及判定单元，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果所述用户操作数据与所述监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦。

根据该监控装置，将用户的GUI操作与监控规则数据中作为规则保存的组件标识信息（GUI操作作用的对象）与消息内容（GUI操作作用的内容）进行比较，允许正确的GUI操作，阻拦规则以外的GUI操作并提示信息，由此能够实时减少误操作，提高安全性。

本发明另一个方面的图形用户界面操作的监控装置，其特征在于，包括：读取单元，读取作业内容；生成单元，根据操作者的图形用户界面操作生成用户操作数据；第一比较单元，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；第一判定单元，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效；第二比较单元，将所获得的用户操作数据中与所述监控规则数据库不匹配的数据，与预先设定的允许规则数据库作比较；以及第二判定单元，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围内，则使该图形用户界面操作生效，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围外，则将该图形用户界面操作阻拦。

根据该监控装置，在能够实时减少误操作，提高安全性的基础上，还能够给用户带来操作上的便利性。

另外，本发明的图形用户界面操作的监控装置中，还包括监控规则数据录入单元，其对应于所述作业内容，根据正确的每一步图形用户界面操作生成所述监控规则数据，并存入所述监控规则数据库中。由此，在能够实时减少误操作，提高安全性的基础上，还能够使用户灵活方便地录制和修改监控规则数据，在业务流程发生变化或系统更新时特别有效。

另外，本发明的图形用户界面操作的监控装置中，在所述生成单元中，根据图形用户界面操作所作用的对象和内容而生成用户操作数据。由此，能够对应于复杂的GUI操作，而生成简单的比较数据，并正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控装置中，所述对象包括窗口或窗口内的组件，所述内容包括鼠标输入事件、键盘输入事件或触摸屏输入事件。由此，能够对用户的GUI操作进行全面的监控，从而更加正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控装置中，所述比较单元或所述第一比较单元中，分别将用户操作数据中与所述对象相关的数据以及与所述内容相关的数据，与对应于所述作业内容而预先设定的监控规则数据库作比较。由此，能够对用户的GUI操作进行全面的监控，从而更加正确地监控用户的GUI操作。

另外，本发明的图形用户界面操作的监控装置中，所述允许规则数据库包括：所述作业内容的对象以外的操作所相关的数据；以及所述作业内容的对象中的对于特定控件以外的操作所相关的数据。由此，能够准确的区分允许的GUI操作和禁止的GUI操作，给用户带来使用上的便利性。

附图说明

图1为本发明第1实施方式所涉及的GUI操作监控系统的方框图。

图2为本发明第1实施方式所涉及的GUI操作的监控方法的流程图。

图3为本发明第1实施方式所涉及的GUI操作的监控方法中获取GUI操作信息的方法的流程图。

图4为本发明第2实施方式所涉及的GUI操作监控系统的方框图。

图5为本发明第2实施方式所涉及的GUI操作的监控方法的流程图。

图6为本发明第2实施方式所涉及的GUI操作的监控方法中的允许规则判定的流程图。

图7为本发明第2实施方式所涉及的GUI操作的监控方法中的GUI操作阻拦的流程图。

图8为本发明第3实施方式所涉及的GUI操作的监控方法中的录制监控规则数据库的流程图。

图9为本发明的一个实施例的示意图。

具体实施方式

下面结合附图和实施例对本发明进行更详细的说明。

以下参照附图详细说明本发明所涉及的图形用户界面操作的监控方法和监控装置的优选的实施方式。此外，在附图的说明中，给同一或者相当部分附以同一符号，省略重复的说明。

（第1实施方式）

本发明所涉及的GUI操作的监控方法可应用于例如如图1所示的系统。该系统中，有一台计算机，其具有作为输入的事件1001（包括事件对象1002和事件内容1003），作为输出的事件放行1009，事件阻拦1010，用户消息1011，作为中间处理的事件接收模块1005，事件匹配模块1008，监控规则数据库1006，中间处理模块和输出合起来成为GUI操作监控模块1012。通过该系统，可以对用户正在进行的GUI操作进行监控。

GUI操作存入数据库的内容有：

1）该操作作用的对象：窗口和窗口内的组件（比如“登录”窗口内的“确定”按钮）

2）该操作作用的内容：鼠标输入事件（比如单击窗口内某一按钮），键盘输入事件（比如按下某一键），触摸屏输入事件（比如在触摸屏某一处进行按压）。

也就是说，在进行GUI监控的操作时，要对GUI操作所作用的对象和内容进行监控，并与监控规则数据库1006中的规则数据进行比较，该规则数据为一系列正确操作的GUI操作数据队列。

当电脑启动后，便可启用GUI操作的监控方法来运行监控。如图2所示，GUI操作的监控方法包括步骤：

步骤S201：服务启动；

步骤S202：读取业务内容，开始监控操作；

步骤S203：接受输入的GUI操作；

步骤S204：获取GUI操作的相关信息；

步骤S205：将GUI操作信息与监控规则数据库匹配；

步骤S206：监控规则数据库匹配结果，放行GUI操作（步骤S207）或阻拦GUI操作（步骤S208）并提示信息（步骤S209）；

步骤S210：循环步骤S203~步骤S206动作直到最后一步GUI操作；

步骤S211：监控结束。

以下，以Windows上的C++函数为例对各个步骤进行详细说明。

<步骤S201：服务启动>

启动程序，同时获取桌面上图标窗口的句柄。

计算机程序上的函数，例如Windows上的C++函数：GetDestopWindow，FindWindow，FindWindowEx

应用例：

HWND hDeskTop;

hDeskTop=::FindWindow("progman",NULL);

hDeskTop=::FindWindowEx(hDestTop,0,"shelldll_defview",NULL);

hDeskTop=::FindWindowEx(hDestTop,0,"syslistview32",NULL);

第一次执行FindWindowEx获得桌面窗口，第二次执行FindWindowEx获得图标窗口。“syslistview32”代表图标窗口的类名，最后hDeskTop的值即为图标窗口的句柄。

获得图标窗口的目的是当鼠标双击桌面上某一图标启动程序打开窗口时，能识别这一图标的特性，比如图标名。

初始化处理完毕。

此外，服务启动可以通过用户手动启动来完成，但也可以在开机时自动启动，这样可以实时地对用户的GUI操作进行监控。

<步骤S202：读取业务内容，开始监控操作>

该步骤中根据选择的业务内容，在数据库里查找相应的GUI操作规则，以备接下去的规则匹配。

<步骤S203，S204：接受输入的GUI操作，获取GUI操作的相关信息>

结合图3对该步骤进行说明。

首先安装全局钩子。（图3,401）

全局钩子的作用是当窗口或者组件上产生任何消息事件，往消息处理函数内传递消息参数的时候，挂住此消息事件转入另一段程序处理，再将消息参数传回固有的消息处理函数。我们可以在“另一段程序处理”中做任何我们想做的事，比如记录事件内容，甚至截住事件内容使得消息传递终止。

C++函数：SetWindowsHookEx()安装全局钩子

UnhookWindowsHookEx()释放全局钩子

一般地，我们认为GUI操作的第一步是双击桌面上的图标来打开业务的程序窗口。（图3,451）

双击桌面图标时，通过鼠标消息的钩子函数（Hook），确定具体的图标对象，把图标的文件名存放起来。（图3,402）

钩子类型：WH_MOUSE

图标点击判定函数：ListView_HitTest

图标句柄获取函数：ListView_GetItem

当鼠标点击桌面上某一处时，获取其x，y轴的屏幕坐标，再将此屏幕坐标转化为图标窗口的坐标（ScreenToClient），再将以此坐标为参数，用图标点击判定函数判定图标被点击与否（ListView_HitTest），若是则获得该图标的句柄。最后将图标的文件名获得。

应用例：

之后，由于双击桌面图标会打开程序窗口，故需要获得该程序窗口的句柄，并且把窗口标题等标识信息存放（图3,403）。之后也将双击的动作作为事件内容也记录下来（图3,404）。

C++函数：GetForegroundWindow得到顶层窗口的句柄。

GetWindowLong获得有关指定窗口的信息

HWND GetForegroundWindow(VOID)

函数功能：该函数返回前台窗口（用户当前工作的窗口）。系统分配给产生前台窗口的线程一个稍高一点的优先级。

参数：无。

返回值：函数返回前台窗回的句柄。

头文件：Winuser.h

库文件：user32.lib

LONG GetWindowLong(HWND hWnd，int nlndex)

函数功能：该函数获得有关指定窗口的信息，函数也获得在额外窗口内存中指定偏移位地址的32位度整型值

hWnd：窗口句柄及间接给出的窗口所属的窗口类。

nlndex：指定要获得值的大于等于0的值的偏移量。有效值的范围从0到额外窗口内存空间的字节数-4。指定下列值之一：

GWL_EXSTYLE(-20)；获得扩展窗口风格。

GWL_STYLE(-16)：获得窗口风格。

GWL_WNDPROC(-4)：获得窗口过程的地址，或代表窗口过程的地址的句柄。

GWL_HINSTANCE(-6)：获得应用事例的句柄。

GWL_HWNDPAAENT(-8)：如果父窗口存在，获得父窗口句柄。

GWL_ID(-12):获得窗口标识。

GWL_USERDATA(-21)：获得与窗口有关的32位值。每一个窗口均有一个由创建该窗口的应用程序使用的32位值。

头文件：winuser.h

库文件：user32.lib

此过程为系统自动响应GUI操作产生的消息事件，将当前产生的消息事件转入消息队列等待处理。

下面，结合图3，对用户可能进行的GUI操作进行说明。在程序主窗口打开之后，用户开始GUI操作，可能的动作有：

1）在主窗口的某一个组件上鼠标点击（如勾选复选框，点击按钮等）（图3,452）

2）在主窗口的某一编辑栏中用键盘输入文字（图3,453）

3）在主窗口上点击按钮打开子窗口、弹出消息框（图3,454）

4）关闭打开的子窗口和弹出的消息框（图3,455）

5）双击桌面上另一图标，打开另一程序的主窗口B（图3,456）

1）在主窗口的某一个组件上鼠标点击（图3,452）

响应鼠标左键消息时首先获得鼠标所在位置的控件或者窗口的句柄，而后以该窗口控件的句柄获得文本标识（GetClassName，GetWindowText），还有它在窗口上的x，y坐标位置（GetCursorPos）。这里也可以使用钩子截获鼠标左键消息，在钩子处理过程中获得需要的信息（图3,405）。最后保存事件内容：鼠标左键单击WM_LBUTTONDOWN（图3,406）。

C++函数：WindowFromPoint获得鼠标所在位置的控件或者窗口的句柄

钩子类型：WH_MOUSE

应用例：

2）在主窗口的某一编辑栏中用键盘输入文字（图3,453）

一般的操作过程是鼠标左键点击编辑栏以获得焦点，然后通过键盘输入文本内容，之后该编辑栏失去焦点

由于键盘输入的文本内容有很大的不确定性，所以对于输入的内容本身我们不做为判定规则。只对该编辑栏是否触发了焦点移入移出事件做判断。

故只需在WM_SETFOCUS（获得焦点）消息响应时获得该编辑栏的类名和坐标位置。

如果想记录编辑栏内输入的内容，可以在WM_KILLFOCUS（失去焦点）消息的响应函数里中获得文本内容保存（图3,407）。最后保存事件内容WM_SETFOCUS，WM_KILLFOCUS（图3,408）。

C++函数：GetWindowRect，GetWindowText

此外，对于键盘输入操作的匹配，可以分为两种情况，第一种情况是单个操作，即类似于快捷键、热键一样的功能，一次按下放开即完成一次操作；另一种情况是连续操作，即在编辑栏输入字符文字。对于第一种情况，匹配机制与鼠标操作类同，事件内容为放开的键位WM_KEYUP，WM_CHAR；对于第二种情况，由于连续输入字符或者中文带来大量的按键操作，每次按下放开都作为事件匹配会严重影响系统效率，所以采用光标在编辑栏中离开（即失去焦点）时抓取编辑栏中内容与规则库匹配的方法。比如，在编辑栏中原本应该输入内容“123”，用户错误地输入了“321”，则在光标离开前，输入的“321”不会被认为错误，操作人员可以随意修改输入内容。当然，如果编辑栏中的应该输入的内容每次都是不确定的话（比如输入计算结果数字），那么对输入内容本身的规则匹配就不必要了，只需检查光标是否在该编辑栏移入移出过程即可。

3）在主窗口上点击按钮打开子窗口、弹出消息框（图3,454）

此操作包含两个部分：点击按钮，创建子窗口（消息框）

首先点击按钮的动作将被保存：获得按钮的类名和名称，坐标位置（图3,409），获得事件内容WM_LBUTTONDOWN（图3,410）。

之后在子窗口（消息框）的创建过程中，必须使用钩子在窗口，对话框，消息框等的创建消息响应之后，初始化子窗口（消息框）之前截获这些组件的初始化消息，将该组件的必要信息如类名，标题等存放（图3,409）。最后保存事件内容WM_INITDIALOG（图3,410）

钩子：WH_CBT

Windows消息：WM_CREATE，WM_INITDIALOG

4）关闭打开的子窗口和弹出的消息框。（图3,455）

通过点击子窗口和消息框中的“关闭”按钮，关闭这些组件。

首先点击按钮的动作将被保存，方法同上。

之后在子窗口，消息框的销毁过程中用钩子先截获销毁消息，将该组件的类名和标题存放，然后再使组件响应销毁消息做出对应的处理。（图3,411）。最后保存事件内容WM_DESTROY（图3,412）。

钩子：WH_CBT

Windows消息：WM_DESTROY

5）双击桌面上另一图标，打开另一程序B的主窗口（图3,456）

处理方法是首先获得图标的文件名，之后用钩子在程序B的主窗口创建过程中截获WM_INITDIALOG消息，在钩子函数中将主窗口的类名以及标题存放（图3,413）。最后保存事件内容WM_LBUTTONDBLCLK，WM_INITDIALOG（图3,414）。

在获取事件内容上，程序需要截获当前产生的事件消息内容，但事件消息种类非常之多，我们不会把每一个消息都截获下来匹配，只针对由鼠标键盘的输入所产生的消息，即鼠标左键单击按下，鼠标左键双击，鼠标右键单击按下，鼠标右键双击，鼠标中键单击按下，鼠标中键双击，键盘按下，焦点获得，焦点失去，对话框初始化消息。

对于鼠标移动消息，鼠标滚轮消息等非决定性质的GUI操作事件以及通过鼠标键盘输入而在系统内部自发地产生的一系列系统消息则不作为规则处理。

此外，决定性质的GUI操作是指由人的动作引发后台处理的GUI操作，如鼠标左右键点击，键盘键入，触摸屏输入等。

<步骤S205：将GUI操作信息与监控规则数据库匹配>

此过程将上一步记录下来的GUI操作相关信息与数据库保存内容作文本上的比较。

<步骤S206：监控规则数据库匹配结果>

我们在前两步中获得GUI操作所关联的组件（窗口，消息框，对话框，按钮）的类名以及标题、坐标位置等可以区别对象的标识信息，和操作事件所产生的消息内容，然后与数据库中作为规则保存的组件标识信息与消息内容匹配，如果匹配符合，那么判定此GUI操作为符合规则，放行该GUI操作（步骤S207）；如果匹配不符合，那么判定此GUI操作不符合监控规则，阻拦该GUI操作（步骤S208）并提示信息（步骤S209）。

<步骤S210：循环步骤S203~S206动作直到最后一步GUI操作>

循环步骤S203~S206步骤直到用户GUI操作匹配最后一条规则成功为止。

<步骤S211：监控结束>

结束本次操作的监控过程。

[GUI操作的监控装置]

对应于上述GUI操作的监控方法，第1实施方式的GUI操作的监控装置可以具备：

读取单元，读取作业内容（进行步骤S202）；

生成单元，根据操作者的图形用户界面操作生成用户操作数据（进行步骤S203，S204）；

比较单元，将所获得的用户操作数据与对应于作业内容而预先设定的监控规则数据库作比较（进行步骤S205）；以及

判定单元，如果用户操作数据与监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果用户操作数据与监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦（进行步骤S206~S209）。

根据第1实施方式所涉及的GUI操作的监控方法和装置，将用户的GUI操作与监控规则数据中作为规则保存的组件标识信息（GUI操作作用的对象）与消息内容（GUI操作作用的内容）进行比较，允许正确的GUI操作，阻拦规则以外的GUI操作并提示信息，由此能够实时减少误操作，提高安全性。

（第2实施方式）

第2实施方式所涉及的GUI操作的监控方法，与第1实施方式相比，在监控规则数据库以外还具备允许规则数据库。允许规则数据库的意义在于，建立一个比监控规则数据库中的数据范围更大的允许规则数据范围，允许那些原本不在监控规则数据库之内、但不影响业务正常运作的GUI操作执行。

本发明第2实施方式的监控方法可应用于例如如图4所示的系统。该系统中，有一台计算机，其具有作为输入的事件1001（包括事件对象1002和事件内容1003），作为输出的事件放行1009，事件阻拦1010，用户消息1011，作为中间处理的事件接收模块1005，事件匹配模块1008，监控规则数据库1006，允许规则数据库1007，中间处理模块和输出合起来成为GUI操作监控模块1012。通过该系统，可以对用户正在进行的GUI操作进行监控。

允许规则数据库中的允许规则数据可以如下设定，不匹配监控规则的操作是否在本次业务进行中是无害的，是允许被执行的。如果该操作在允许范围内，则仍旧判为合规，使之生效；如果该操作不在允许范围内，则被判为不合规，系统实时阻拦。（图6,500）

下面，结合图6对允许规则数据库的阻拦机制进行说明。判定是否为允许范围内的逻辑是：

1.挑拣出本次业务操作所要涉及的窗口（标题栏等）（图6,501）

2.获得GUI操作信息（图6,502）

3.获得的消息响应源（事件作用对象）是否为这些窗口（图6,503）

a)凡涉及这些窗口的操作：

i)对于鼠标单击事件：仅限于窗口最小最大化，窗口size的改变；响应的母控件为菜单类（Menu）和主窗口（window），判为允许。（图6,506,509,511）

ii)对于鼠标双击事件：同上。（图6,507,509,511）

iii)对于鼠标右键，中键事件：一律允许。（图6,504,505,511）

iv)对于键盘输入，若响应事件源为编辑栏，则设为允许。（图6,508,510,511）

v)除以上情况的操作，则设为不允许。（图6,512）

b)凡不涉及这些窗口的操作：

一律允许。（图6,503,511）

即，该允许规则的设定意图是鼠标键盘对于业务所涉及的窗口仅限于最大最小化窗口，改变窗口的大小，点击主窗口菜单，点击主窗口的空白处。对于业务不涉及的窗口，则不加限制。

因此，我们在允许规则数据库中可以如下地设置允许规则：

1.所有事件的响应源的最顶层窗口时，如果不是本次操作所涉及的窗口，那么都判为允许

2.鼠标右键和中键的操作都判为允许

3.鼠标左键双击和单击的操作，如果响应源是特定的控件，那么都判为允许。此处，特定的控件是指最大化，最小化按钮，窗口本身。

下面，结合图5说明第2实施方式所涉及的GUI操作的监控方法。

第2实施方式所涉及的GUI操作的监控方法包括步骤：

步骤S301：服务启动；

步骤S302：读取业务内容，开始监控操作；

步骤S303：接受输入的GUI操作；

步骤S304：获取GUI操作的相关信息；

步骤S305：将GUI操作信息与监控规则数据库匹配；

步骤S306：监控规则数据库匹配结果，放行GUI操作（步骤S307），或者，与允许规则数据库匹配（步骤S308）；

步骤S308：允许规则数据库匹配结果，放行GUI操作（步骤S307），或者，阻拦GUI操作（步骤S309）并提示信息（步骤S310）；

步骤S311：循环步骤S303~S308动作直到最后一步GUI操作；

步骤S312：监控结束。

其中，步骤S301~S306与上述第1实施方式中的步骤S201~S206大致相同，这里不再赘述。只是，在步骤S306中，如果匹配不符合，那么判定此GUI操作不符合监控规则，需要进一步做是否允许的判定。

即，在步骤S308中，在上一步做了监控规则的判定后，若为否，则进行允许规则的判定：该不匹配监控规则的操作是否在本次业务进行中是无害的，是允许被执行的。如果该操作在允许范围内，则仍旧判为合规，使之生效；如果该操作不在允许范围内，则被判为不合规，系统实时阻拦。

下面结合图7，对本实施方式中的操作阻拦机制进行说明。

匹配结果：放行GUI操作，阻拦GUI操作。（图7,600）

方法：获取组件对象的信息和事件内容（图7,601），将这些信息与数据库内存放的规则信息匹配（图7,602,603），这些都是在钩子函数里面做，最后返回0则继续将此消息传递下去，直至返回窗口响应（图7,604,605）。但如果最后返回非0值，则表示该消息已经被处理，不会继续传递（图7,606,607）。所以拦截操作的策略是在钩子处理函数最后返回一个非0值。

[GUI操作的监控装置]

对应于上述GUI操作的监控方法，第2实施方式的GUI操作的监控装置可以具备：

读取单元，读取作业内容（进行步骤S302）；

生成单元，根据操作者的图形用户界面操作生成用户操作数据（进行步骤S303,S304）；

第一比较单元，将所获得的用户操作数据与对应于作业内容而预先设定的监控规则数据库作比较（进行步骤S305）；

第一判定单元，如果用户操作数据与监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效（进行步骤S306,S307）；

第二比较单元，将所获得的用户操作数据中与监控规则数据库不匹配的数据，与预先设定的允许规则数据库作比较（进行步骤S308）；以及

第二判定单元，如果用户操作数据在允许规则数据库中的允许规则数据范围内，则使该图形用户界面操作生效，如果用户操作数据在允许规则数据库中的允许规则数据范围外，则将该图形用户界面操作阻拦（进行步骤S307,S309~S310）。

根据第2实施方式所涉及的GUI操作的监控方法和装置，在能够实时减少误操作，提高安全性的基础上，还能够给用户带来操作上的便利性。

（第3实施方式）

本发明第3实施方式所涉及的GUI操作的监控方法，其与第1及第2实施方式的区别在于，还具备将监控规则数据录入监控规则数据库的步骤。

如图8所示，监控规则数据录入步骤包括：

步骤S701：服务启动；

步骤S702：新建业务，开始录制规则；

步骤S703：接受输入的GUI操作；

步骤S704：记录GUI操作的相关信息入数据库；

步骤S705：循环步骤S703~S704的动作直到最后一步GUI操作；

步骤S706：录制结束。

以下，以Windows上的C++函数为例对各个步骤进行详细说明。

<步骤S701：服务启动>

与步骤S201相同。

<步骤S702：新建业务，开始记录规则>

该步骤为下一步骤初始化一些文字信息，如业务内容的文字描述。

<步骤S703：接受输入的GUI操作>

与步骤S203相同

<步骤S704：记录GUI操作的相关信息入数据库>

与步骤S204相同

<步骤S705：循环步骤S703~S704的动作直到最后一步GUI操作>

该过程直到用户点击结束录制按钮，其间所做的每一步GUI操作都会被认为是一条规则按照上述方法保存下来。

<步骤S706：录制结束>

结束本次规则的录入过程，卸载全局钩子。

录入之后的规则可以直接作为匹配依据使用。用户也可以重新输入一遍以达到修改规则的目的。

[GUI操作的监控装置]

对应于上述GUI操作的监控方法，第3实施方式的GUI操作的监控装置在第1或第2实施方式的GUI操作的监控装置的基础上，还可以具备：监控规则数据录入单元，其对应于所述作业内容，根据正确的每一步图形用户界面操作生成所述监控规则数据，并存入所述监控规则数据库中。

根据第3实施方式所涉及的GUI操作的监控方法和装置，在能够实时减少误操作，提高安全性的基础上，还能够使用户灵活方便地录制和修改监控规则数据，在业务流程发生变化或系统更新时特别有效。

（实施例）

图9为该技术应用的一个情景示例。

图9左部为记录规则界面，将录制规则时用户每一步的GUI操作以及响应的消息事件记录下来，并在界面上以文字形式表现。

图9右部为运行监控界面，将用户开展业务时实际执行的每一步GUI操作与记录的规则匹配。图中实线箭头为与监控规则数据库匹配成功的条目，虚线箭头为与允许规则数据库匹配成功的条目，竖的三点为匹配不成功的点。若匹配不成功则箭头会停留在原处，直到用户输入的GUI操作与当前规则条目匹配成功才会继续往下走。

步骤1,2,3与监控规则数据库匹配；

步骤4主窗口内点击缩小还原按钮，允许规则数据库匹配成功；

步骤5,6为操作与业务窗口无关的窗口，允许规则匹配成功；

步骤7主窗口内点击最大化按钮，允许规则数据库匹配成功；

步骤8符合监控规则，成功；

步骤9对于键盘输入本身不做检查，成功；

步骤10编辑栏焦点离开时检测到输入内容与监控规则不符，失败；

步骤11,12同步骤9，成功；

步骤13焦点离开时检测输入内容与规则相符，成功；

步骤14在业务主窗口内点击不在规则内的控件，允许规则数据库匹配失败；

步骤15键盘输入事件的响应源为业务主窗口，故允许规则数据库匹配失败；

步骤16,17,18符合监控规则，成功；

步骤19主窗口内点击最小化按钮，允许规则数据库匹配成功。

图9右部的运行监控界面中还有一“提示”按钮，该按钮的功能是当用户不知道下一步具体应该如何操作时，点击此按钮，在画面上提示应该操作的地方。其原理是按照当前停留步查询操作规则表，找到事件应该作用的GUI控件，并在桌面上画一个箭头以提示用户应该在此控件上操作。

表1、表2为该实施例所应用的监控规则数据库的一例。

[表1]

操作编号	前一操作	后一操作	组件类型	组件类名	组件标题
						1	NULL	2	桌面	syslistview32	NULL
2	1	3	窗口	CWnd	网银日常维护平台
						3	2	4	窗口	CWnd	网银日常维护平台
4	3	5	窗口	CWnd	网银日常维护
						5	4	6	窗口	CWnd	网银日常维护
6	5	7	窗口	CWnd	网银日常维护

7	6	8	窗口	CWnd	网银日常维护
						8	7	9	消息框	CWnd	数据导入成功
9	8	NULL	消息框	CWnd	数据导入成功

[表2]

控件类型	控件类名	控件名称	控件位置	事件内容	业务内容
						图标	ICON	网银日常维护	NULL	WM_LBUTTONDBLCLK	日常维护
NULL	NULL	NULL	NULL	WM_INITDIALOG	日常维护
						复选框	CheckBox	账户结算	110,156	WM_LBUTTONDOWN	日常维护
编辑栏	Edit	账户名	256,380	WM_SETFOCUS	日常维护
						编辑栏	Edit	账户名	256,380	WM_KILLFOCUS	日常维护
编辑栏	Edit	账户名	256,380	Test001	日常维护
						按钮	Button	数据导入	525,668	WM_LBUTTONDOWN	日常维护
NULL	NULL	NULL	NULL	WM_INITDIALOG	日常维护
						按钮	Button	确认	56,93	WM_LBUTTONDOWN	日常维护

数据结构上，由于辨识具体一个GUI操作需要操作对象和操作内容两部分信息，所以库表中存储了组件控件方面的信息和事件内容的信息。组件是指窗口，对话框，消息框等活动窗口，控件是指活动窗口中的按钮，各种选框，编辑栏等各种能够接受鼠标键盘输入的条块。

对于组件，包含组件类型，组件类名，组件标题三个属性。

对于控件，包含控件类型，控件类名，控件名称，控件位置四个属性。其中控件名称是指该控件对象的Text属性，控件位置则是指该控件对象在窗口中的相对坐标位置。

操作内容则是由事件内容属性来表示，具体说是在该控件上由鼠标键盘输入所产生的windows消息。

对于编辑栏中键盘输入事件，则是当焦点离开时在记录失去焦点事件的同时，记录编辑栏的输入内容，所以该条规则的事件字段为输入内容。

表3、表4为该实施例所应用的允许规则数据库的一例。

[表3]

编号

组件类型

组件类名

组件标题

控件类型

控件类名

控件名称

1

窗口

CWnd

网银日常维护平台

按钮

Button

最小化

2

窗口

CWnd

网银日常维护平台

按钮

Button

向下还原

3

窗口

CWnd

网银日常维护平台

按钮

Button

最大化

4

窗口

CWnd

网银日常维护平台

NULL

NULL

NULL

5

窗口

CWnd

网银日常维护平台

编辑栏

Edit

NULL

6

7

[表4]

事件内容	业务内容
		（所有鼠标单击，双击事件）	日常维护
（所有鼠标单击，双击事件）	日常维护
		（所有鼠标单击，双击事件）	日常维护
（所有鼠标点击事件）	日常维护
		（字母数字的键盘输入事件）	日常维护

允许规则：

1.本次业务主窗口以外的GUI事件（鼠标键盘事件），允许。

2.本次业务主窗口内的GUI事件，最大化、还原、最小化按钮上的鼠标单击，双击事件，允许。

3.本次业务主窗口内的GUI事件，主窗体内空白处的鼠标点击事件，允许。

4.本次业务主窗口内的GUI事件，主窗体的编辑栏内的字母数字字符的键盘输入事件，允许。

除了以上几条规则之外，用户可以自行定义，添加或者删除规则。

通过本实施例可知，本发明能够实时地监控用户的GUI操作，直至用户依次正确的完成了监控规则数据库中的每一步监控规则数据，而对用户的GUI操作给予放行。并且，在用户的GUI操作不符合监控规则数据但不对业务造成影响时，也允许该GUI操作。由此，在能够实时减少误操作，提高安全性的基础上，还能够给用户带来操作上的便利性。

虽然以上结合附图和实施例对本发明进行了具体说明，但是可以理解，上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化，这些变形和变化均落入本发明的范围内。

Claims (14)

1.一种图形用户界面操作的监控方法，其特征在于，

包括：

读取步骤，读取作业内容；

生成步骤，根据操作者的图形用户界面操作生成用户操作数据；

比较步骤，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；以及

判定步骤，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果所述用户操作数据与所述监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦。

2.一种图形用户界面操作的监控方法，其特征在于，

包括：

读取步骤，读取作业内容；

生成步骤，根据操作者的图形用户界面操作生成用户操作数据；

第一比较步骤，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；

第一判定步骤，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效；

第二比较步骤，将所获得的用户操作数据中与所述监控规则数据库不匹配的数据，与预先设定的允许规则数据库作比较；以及

第二判定步骤，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围内，则使该图形用户界面操作生效，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围外，则将该图形用户界面操作阻拦。

3.如权利要求1或2所述的图形用户界面操作的监控方法，其特征在于，

还包括监控规则数据录入步骤，其对应于所述作业内容，根据正确的每一步图形用户界面操作生成所述监控规则数据，并存入所述监控规则数据库中。

4.如权利要求1或2所述的图形用户界面操作的监控方法，其特征在于，

在所述生成步骤中，根据图形用户界面操作所作用的对象和内容而生成用户操作数据。

5.如权利要求4所述的图形用户界面操作的监控方法，其特征在于，

所述对象包括窗口或窗口内的组件，

所述内容包括鼠标输入事件、键盘输入事件或触摸屏输入事件。

6.如权利要求4所述的图形用户界面操作的监控方法，其特征在于，

所述比较步骤或所述第一比较步骤中，分别将用户操作数据中与所述对象相关的数据以及与所述内容相关的数据，与对应于所述作业内容而预先设定的监控规则数据库作比较。

7.如权利要求2所述的图形用户界面操作的监控方法，其特征在于，

所述允许规则数据库包括：

所述作业内容的对象以外的操作所相关的数据；以及

所述作业内容的对象中的对于特定控件以外的操作所相关的数据。

8.一种图形用户界面操作的监控装置，其特征在于，

具备：

读取单元，读取作业内容；

生成单元，根据操作者的图形用户界面操作生成用户操作数据；

比较单元，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；以及

判定单元，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效，如果所述用户操作数据与所述监控规则数据库中的规则数据不匹配，则将该图形用户界面操作阻拦。

9.一种图形用户界面操作的监控装置，其特征在于，

具备：

读取单元，读取作业内容；

生成单元，根据操作者的图形用户界面操作生成用户操作数据；

第一比较单元，将所获得的用户操作数据与对应于所述作业内容而预先设定的监控规则数据库作比较；

第一判定单元，如果所述用户操作数据与所述监控规则数据库中的监控规则数据匹配，则使该图形用户界面操作生效；

第二比较单元，将所获得的用户操作数据中与所述监控规则数据库不匹配的数据，与预先设定的允许规则数据库作比较；以及

第二判定单元，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围内，则使该图形用户界面操作生效，如果所述用户操作数据在所述允许规则数据库中的允许规则数据范围外，则将该图形用户界面操作阻拦。

10.如权利要求8或9所述的图形用户界面操作的监控装置，其特征在于，

还具备监控规则数据录入单元，其对应于所述作业内容，根据正确的每一步图形用户界面操作生成所述监控规则数据，并存入所述监控规则数据库中。

11.如权利要求8或9所述的图形用户界面操作的监控装置，其特征在于，

在所述生成单元中，根据图形用户界面操作所作用的对象和内容而生成用户操作数据。

12.如权利要求11所述的图形用户界面操作的监控装置，其特征在于，

所述对象包括窗口或窗口内的组件，

所述内容包括鼠标输入事件、键盘输入事件或触摸屏输入事件。

13.如权利要求11所述的图形用户界面操作的监控装置，其特征在于，

所述比较单元或所述第一比较单元中，分别将用户操作数据中与所述对象相关的数据以及与所述内容相关的数据，与对应于所述作业内容而预先设定的监控规则数据库作比较。

14.如权利要求9所述的图形用户界面操作的监控装置，其特征在于，

所述允许规则数据库包括：

所述作业内容的对象以外的操作所相关的数据；以及

所述作业内容的对象中的对于特定控件以外的操作所相关的数据。