CN103180815B - 自动调整计算系统的输入配置的方法及系统 - Google Patents

Abstract

公开一种自动调整输入配置的方法和系统。该方法可包括：监视由用户向图形用户接口（GUI）中输入的信息。该方法还可包括：确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态。该方法还可包括：在一个或多个随后输入实例处，将对于字段的输入配置状态自动调整为所确定的初始输入实例的输入配置。还公开一种计算机程序产品。

Description

自动调整计算系统的输入配置的方法及系统

技术领域

本发明涉及输入配置的自动调整的方法和系统。

背景技术

在利用计算机系统和应用工作时，有时候，可需要操作者改变键盘状态。这发生在以下情况下，例如，当输入需要除了当前语言之外的键盘语言的数据字段时(例如在当前用英文模式的用户想要用希伯来文(Hebrew)输入数据时)，当改变大写锁定(Caps Lock)或数字锁定(Num Lock)的状态时，以及当改变键盘布局时。

在各个情况下，这样的改变以类似的方式作出，并且有时候甚至重复。例如，说希伯来语的用户当在电子邮件文本字段中输入文本时将键盘语言设置改变为希伯来文，然后当在电子邮件地址字段中输入电子邮件地址时将键盘语言设置改变为英文。虽然这样的改变相对容易推断和预测，但是大多数的时候他们没有被自动作出。

一个已知的例外是处理密码字段。存在识别密码字段，存储用于未来使用的密码，并且甚至向用户建议输入密码的浏览器和插件。然而，这个方案是特定于应用的，并仅以密码为目标。

发明内容

根据本发明的实施例，提供一种自动调整计算系统的输入配置的方法。该方法可包括：监视由用户向图形用户接口(GUI)中输入的信息。该方法还可包括：确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态。该方法还可包括：在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置。

此外，根据本发明的实施例，提供一种在非临时性有形计算机可读存储介质上存储的计算机程序产品。该计算机程序可包括用于监视由用户向图形用户接口（GUI）中输入的信息的代码。该计算机程序可包括用于确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态的代码。该计算机程序还可包括用于在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的代码。

此外，根据本发明的实施例，提供一种自动调整输入配置的系统。该系统可包括：处理器，配置为：监视由用户向图形用户接口（GUI）中输入的信息。该处理器还可配置为：确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态。该处理器还可配置为：在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置。

此外，根据本发明的实施例，提供一种自动调整计算系统的输入配置的方法。该方法可包括：通过执行屏幕抓取，监视由用户向图形用户接口（GUI）中输入的信息。该方法还可包括：通过跟踪指示输入配置状态的操作系统操作，确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态。该方法还可包括：在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置。

附图说明

现在，仅通过实例，参照附图，描述本发明的优选实施例，其中：

图1示出电子邮件应用（现有技术）的图形用户接口（GUI）12。

图2示出根据本发明的实施例的自动调整计算系统的输入配置的方法。

图3示出根据本发明的实施例的自动调整计算系统的输入配置的处理。

图4示出根据本发明的实施例的自动调整计算系统的输入配置的系统。

具体实施方式

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包 括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

下面将参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图（多个）和框图（多个）示出根据本发明的各个实施 例的系统、方法和计算机程序产品的架构、功能和可能方案的操作。由此，流程图或框图中的每个方框可代表模块、段、或代码部分，包括用于实现所指定的逻辑功能的一个或多个可执行指令。还应注意，在一些备选方案中，方框中指示的功能可不按照附图的顺序发生。例如，连续所示的两个方框可实际上基本同时执行，或所述方框可有时候按相反顺序执行，这取决于所涉及的功能性。还应注意，框图和/或流程图图示的每个方框、和框图和/或流程图图示的方框的组合可通过执行特定功能或行为的基于专用硬件系统、或专用硬件和计算机指令的组合来实现。

根据本发明的实施例，这里公开了一种对于计算机应用中的被监视的图形用户接口中的每个特定数据字段进行计算系统的输入配置的自动调整的方法和系统。

在本发明的上下文中，术语“输入接口”被理解为覆盖所有类型的输入接口（例如，键盘、定点设备、触摸屏），可由用户用于在运行于计算设备上的应用提示时根据需要或期望输入信息，以及在显示器（例如监视器屏幕）上显示输入图形用户接口。

根据本发明的实施例，输入接口配置的自动调整的方法和系统可基于学习用户的输入行为以及向该用户提供对于适应用户的输入行为的输入接口配置的自动调整。

根据本发明的实施例，自动设置键盘输入配置的方法和系统可被设计为学习用户群组的每个用户的输入行为，以及向每个用户提供适应用户的输入行为的自动键盘输入配置。

根据本发明的实施例，自动设置键盘输入配置的方法和系统可缩短数据格式的录入时间以及可减少人为错误。

存在需要不同输入配置的各种类型的输入字段。例如，电子邮件地址字段（典型地，需要拉丁文键盘配置）、名称字段（典型地，本地语言配置）、数字字段（数字配置）。

根据本发明的实施例，可使用屏幕抓取技术，涉及当计算机正在运行需要来自用户的输入的应用时在屏幕图像上采用OCR（光学字符识别）以 识别向用户显示的屏幕内容。屏幕抓取技术还可包括GUI所属于的运行应用的结构化数据的解析，这或者从应用本身（经由API）直接提取或者经由操作系统（OS）提取。

根据本发明的实施例的方法可包括以下步骤：

a）当用户正在工作时监视应用屏幕，通过屏幕抓取（OCR）识别屏幕的内容并检测由操作系统执行的输入接口（例如键盘、鼠标）事件或其他操作。

b）识别用户当前正在编辑（基于来自（a）的数据）的字段。

c）依据用户正在编辑的屏幕和字段学习用户行为和系统配置，以及

d）在会聚关于特定用户行为的足够了解之后，生成对于每个监视的输入字段的至少一个规则。

e）当下一次用户向所监视的在屏幕上显示的图形用户接口的字段中输入信息时，如果先前生成了规则，则推荐的方法根据生成的规则自动应用输入接口配置。

每当存在用户正在特定字段中键入、或将要键入的线索时，可应用输入接口配置改变。

在本发明的备选实施例中，可在自动的后期处理过程中应用输入接口配置改变。在后期处理例程中，可根据学习的用户输入模式（而不是在数据录入同时的自动系统配置）来自动调整窗口的字段（或多个字段）。自动的后期处理过程可以是在用户进行信息的输入期间或刚好在用户在该字段中完成信息的输入之后由用户启动的（例如通过用户按压指定的按键或图表）或操作的。

例如，考虑上述电子邮件实例。根据本发明的实施例，指定的应用监视屏幕图像（通过执行屏幕抓取）并将其与用户的输入行为关联。当用户指向电子邮件地址字段（在大多数电子邮件应用中由主题“发送至：（To：）”来表征，这在许多情况下可在字段的左侧找到并在屏幕抓取阶段中如此标识）时，只有输入接口－这个情况下为键盘－的语言模式为英文（或使用适合于录入电子邮件地址的字母表的任意其他语言），他或她才输入电子 邮件地址，并且如果语言模式不为英文，则用户将语言配置改变为英文。这些行为通过指定的应用来记录，从而在会聚关于该字段的足够信息之后，下一次用户激活电子邮件应用并开始写入电子邮件消息时，当到达电子邮件地址字段时，指定的应用验证键盘的语言模式为英文，并且如果并非英文－通过系统将语言模式切换为英文。指定的应用例如可通过生成与语言模式改变对应的键盘事件，或通过使用应用编程接口（API）来执行键盘语言改变。

根据本发明的实施例的输入接口配置的自动调整的方法可基于屏幕的视觉分析，因此其可应用于在屏幕上为用户显示输入接口以用于向输入接口上的字段中输入信息的任意程序，其独立且不需要访问监视的应用的源代码和/或其在上面被执行的平台。

图1示出电子邮件应用（现有技术）的图形用户接口（GUI）12，包括菜单按键16（一些菜单按键是文本的，以及一些菜单按键是图形图标）。GUI12还包括电子邮件地址字段18（“To：（发送至）”和“CC：（抄送）”），其被设计用于录入收件人的电子邮件地址；和两个文本字段－“Subject（主题）”字段20和消息体字段14，其被设计用于录入文本。

当用户想要用除了英文之外的语言（或可使用其字母表以适当格式录入电子邮件地址的其他语言）发送电子邮件消息时，他或她执行以下行为：

a）例如通过将光标放置于电子邮件地址字段中来选择电子邮件地址字段，并录入收件人的电子邮件地址。如果键盘的当前语言配置是英文，则用户将键入电子邮件地址。然而，如果键盘的当前语言配置并非英文，例如不适合于电子邮件地址的希伯来文、阿拉伯文、中文、俄文或不适合于电子邮件地址的其他语言，用户首先将键盘的当前语言配置切换至英文。用错误的语言设置可能首先作出错误的键入，并在出现错误时，用户将删除键入的文本并在重新键入之前将键盘的语言配置切换至英文。

b）例如通过将光标放置于文本字段来选择文本字段，并以期望的语言键入消息。如果期望的语言是使用与当前设置不同的字母表的语言，则用户将键盘的语言配置切换至该语言。

信息登记的顺序（例如首先录入电子邮件地址并随后键入消息文本，或反之亦然）可以是任意的。

根据本发明的实施例，可监视应用的GUI的屏幕图像。可使用屏幕抓取工具来检测在屏幕上出现的可视文本和图形项目或符号（例如图标）。记录所检测的文本内容或图形组件及其位置。可使用输入接口（例如键盘和/或鼠标）监听工具与屏幕抓取工具并行工作，以用于记录键盘录入的顺序和鼠标点击事件。

可识别当前录入信息的活动字段。存在用于检测编辑记号（例如光标）的位置的已知方法。例如，要寻找的标志可以是屏幕上的闪烁记号或高亮字段，这两者可通过已知改变检测技术来检测。在每个键盘敲击之后，可分析屏幕，并且屏幕上的新符号的出现可指示当前编辑的字段的位置。

如果存在鼠标点击事件，则可分析该事件的坐标和该事件的环境以用于确定可编辑字段的存在，或者可将其与围绕鼠标事件的区域的先前完成的分析相比较。

当在屏幕上编辑字段时的用户行为和当前输入接口配置可关联于所监视的屏幕。

可记录和存储在第一输入实例或几个第一实例（以下称为“初始输入实例”）中的每个字段的输入接口配置的历史。

因此，对于下一输入实例和随后输入实例，当用户选择字段之一时，可设置输入接口配置以匹配在第一输入实例中用户使用的配置。

根据本发明的实施例，特定字段（或屏幕上的一些或所有字段）的初始输入实例可包括多个输入实例，从而可仅在记录了多个初始输入实例之后执行输入接口配置的自动调整，并且对于该数据字段收集的统计可允许确定该字段的用户偏好的输入接口配置。本发明的一些实施例中，多个输入实例可以是用户可定制的。

在用户向字段中录入数据之前没有指示，并且仅在用户开始录入数据之后确定输入接口配置的情况下，可执行后期处理，其中根据所学习的用户行为重新格式化已写入的文本。例如，如果某个数据字段的方向始终为 从左至右，则在数据记录之后可自动对其进行校正，如同录入电话号码等的情况。

通过采用根据本发明的实施例的方法或使用根据本发明的实施例的系统，可在录入文本之前向用户提供正确的键盘设置。根据本发明的其他实施例，可采用后期处理以验证将数据输入至正确的输入接口配置中，如果并非如此，则可对其进行校正。因此，通过可通过消除手动配置输入接口的需求以及避免由不正确的键盘配置引起的键入错误来节省时间。

图2示出根据本发明的实施例的自动调整输入接口配置的方法。

该方法可包括监视210向GUI中输入的信息。该方法还可包括确定220在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的输入配置状态。该方法还可包括在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整230为所确定的初始输入实例的输入配置。

图3示出根据本发明的实施例的自动调整输入接口配置的处理300。

该处理（例如算法）可包括监视向GUI中输入的信息310。当用户在GUI的字段中输入信息时，可确定320是否对于第一输入实例（或在以上定义的初始实例处）作出该操作。

如果用户在初始输入实例处在该字段中输入信息，则确定330并记录340输入接口的配置状态，并且还可监视GUI310。

如果其并非用户正在该字段中输入信息的第一输入实例（如以上定义），则在用户开始输入信息之前确定是否存在当前由用户选择用于输入信息的输入字段的预先指示345（例如用户按压TAB并将光标前进至字段中，或在该字段上点击定点设备）。如果检测到这样的预先指示，则可将输入接口的配置状态调整350为对于该字段所确定的配置。然后，可确定360是否完成输入GUI。如果确实完成，则该处理可终止370。如果输入GUI没有完成，则可进一步监视310。

如果没有所选字段的预先指示，则在用户开始向其输入信息之前，自动重新格式化355输入信息以符合对于该字段所确定的输入接口配置。

图4示出根据本发明的实施例的自动调整输入接口配置的系统400。这样的系统可包括存储介质420，例如硬盘驱动器。该系统还可包括处理器410、输入接口440（例如键盘、或触摸屏）、和显示设备430（例如监视器）。

存储介质420可用于存储计算机程序产品（例如计算机软件应用），这可在处理器410上执行，可包括用于执行根据本发明的实施例的自动调整输入接口配置的方法的代码。

Claims (21)

1.一种自动调整计算系统的输入配置的方法，该方法包括：

监视由用户向图形用户接口(GUI)中输入的信息；

确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态；和

在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置，

其中将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置包括：

检测在所述至少一个字段的字段中执行的信息输入；和

将由用户在该字段中输入的信息重新格式化，以符合所确定的初始输入实例的输入配置。

2.如权利要求1所述的方法，其中确定计算系统的输入配置状态的步骤包括：跟踪指示输入配置状态的操作系统操作。

3.如权利要求1所述的方法，其中GUI的监视包括在GUI上执行屏幕抓取。

4.如权利要求1所述的方法，其中将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置包括：执行从包含以下动作的动作群组选择的动作：生成键盘事件；和使用应用编程接口。

5.如权利要求1所述的方法，其中将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置包括：

接收由用户为信息输入选择的所述至少一个字段的字段的预先指示；和

在用户开始在该字段中输入信息之前自动调整对于该字段的输入配置状态。

6.如权利要求1所述的方法，其中自动调整对于该字段的输入配置状态的步骤由用户来启动。

7.一种自动调整计算系统的输入配置的系统，该系统包括：

用于监视由用户向图形用户接口(GUI)中输入的信息的装置；

用于确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态装置；和

用于在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的装置，

其中用于在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的装置包括：

用于检测在所述至少一个字段的字段中执行的信息输入的装置；和

用于将由用户在该字段中输入的信息重新格式化，以符合所确定的初始输入实例的输入配置的装置。

8.如权利要求7所述的系统，其中确定计算系统的输入配置状态包括：跟踪指示输入配置状态的操作系统操作。

9.如权利要求7所述的系统，其中GUI的监视包括在GUI上执行屏幕抓取。

10.如权利要求7所述的系统，其中用于在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的装置还包括：用于执行从包含以下动作的动作群组选择的动作的装置：用于生成键盘事件的装置；和用于使用应用编程接口的装置。

11.如权利要求7所述的系统，其中用于在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的装置还包括：

用于接收由用户为信息输入选择的所述至少一个字段的字段的预先指示的装置；和

用于在用户开始在该字段中输入信息之前自动调整对于该字段的输入配置状态的装置。

12.如权利要求7所述的系统，其中自动调整对于该字段的输入配置状态由用户来启动。

13.一种自动调整输入配置的系统，该系统包括：处理器，配置为：

监视由用户向图形用户接口(GUI)中输入的信息；

确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态；和

在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置，

其中该处理器被配置为，当将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置时，执行以下操作：

检测在所述至少一个字段的字段中执行的信息输入；和

将由用户在该字段中输入的信息重新格式化，以符合所确定的初始输入实例的输入配置。

14.如权利要求13所述的系统，其中该处理器被配置为，当监视信息输入时，跟踪指示用户输入的信息的操作系统操作。

15.如权利要求13所述的系统，其中该处理器被配置为，当进行GUI的监视时，在GUI上执行屏幕抓取。

16.如权利要求13所述的系统，其中该处理器被配置为，当将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置时，执行从包含以下操作的动作群组选择的动作，所述操作包含：生成键盘事件；和使用应用编程接口。

17.如权利要求13所述的系统，其中该处理器被配置为，当将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置时，执行以下操作：

接收由用户为信息输入选择的所述至少一个字段的字段的预先指示；和

在用户开始在该字段中输入信息之前自动调整对于该字段的输入配置状态。

18.如权利要求13所述的系统，其中该处理器被配置为通过自动调整对于该字段的输入配置状态来响应于用户启动。

19.一种自动调整计算系统的输入配置的方法，该方法包括：

通过执行屏幕抓取，监视由用户向图形用户接口(GUI)中输入的信息；

通过跟踪指示输入配置状态的操作系统操作，确定在初始输入实例处由用户为向GUI的至少一个字段中输入的信息设置的计算系统的输入配置状态；和

在一个或多个随后输入实例处，将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置，

其中将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的步骤包括：

检测在所述至少一个字段的字段中执行的信息输入；和

将由用户在该字段中输入的信息重新格式化，以符合所确定的初始输入实例的输入配置。

20.如权利要求19所述的方法，其中将对于所述至少一个字段的输入配置状态自动调整为所确定的初始输入实例的输入配置的步骤包括：

接收由用户为信息输入选择的所述至少一个字段的字段的预先指示；和

在用户开始在该字段中输入信息之前自动调整对于该字段的输入配置状态。

21.如权利要求19所述的方法，其中自动调整对于该字段的输入配置状态的步骤由用户来启动。