CN1820248A

CN1820248A - 具有推测执行的预测性图形用户界面

Info

Publication number: CN1820248A
Application number: CNA2003801104328A
Authority: CN
Inventors: D·E·埃万斯
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2003-06-28
Filing date: 2003-12-02
Publication date: 2006-08-16
Also published as: WO2005003967A1; US20080034128A1; JP2007516480A; GB0315151D0; JP4267622B2; AU2003290224A1

Abstract

一种运行具有图形用户界面(GUI)的应用程序的方法，包括下述步骤：(i)预测对GUI的下一用户输入；(ii)在接收下一用户输入之前，执行提供所预测的用户输入需要的GUI功能的GUI代码的预备部分；(iii)接收下一用户输入；以及(iv)只有当下一用户输入对应于所预测的用户输入时，才处理所述GUI代码的启动部分以完成所需的GUI功能。

Description

具有推测执行的预测性图形用户界面

技术领域

本发明涉及图形用户界面的运行。

背景技术

应用软件在计算机系统上的高效运行通常非常依赖于提供图形用户界面(下文称为“GUI代码”)的程序代码的运行效率。许多应用软件以下述方式运行，即，GUI保持空闲，直到计算机用户经由GUI提供输入。GUI代码对用户输入做出响应，用户输入需要GUI的改变以达成这种改变。GUI代码执行该改变所需的处理时间量将取决于用户所请求的动作。例如，在字处理应用中，用户在文本输入期间按下字母数字键将需要最小量的处理能力来达成GUI的改变。另一方面，选择选项来显示文件菜单将需要GUI代码分配GUI资源来显示弹出式菜单；将所有条目放入菜单；并随后显示菜单。这类操作以及其它更为复杂的GUI操作可能导致用户输入和呈现给用户的GUI的改变之间可察觉到的时滞。将需要减小这样的时滞。

发明内容

因此，在本发明的第一方案中，提供了一种运行具有图形用户界面(GUI)的应用程序的方法，该方法包括下述步骤：预测对GUI的下一用户输入；在接收下一用户输入之前，执行提供所预测的用户输入需要的GUI功能的GUI代码的预备部分；以及判定所预测的用户输入是否对应于实际的下一用户输入，并且在肯定性判定时处理所述GUI代码的启动部分以完成所需的GUI功能。

用于每个GUI功能的GUI代码逻辑上被划分为预备模块和启动模块。预备模块包括下述代码，所述代码在被执行时对用户数据没有副作用，并且没有其已被执行的可见线索(即，在GUI中可见)。启动模块包括下述代码，所述代码在被执行时执行完成所需GUI功能需要的所有步骤，包括对GUI进行视觉改变。

这样，利用本发明，对可能的下一用户输入进行了预测，并且与所预测的用户输入相关联的GUI代码的预备模块被执行。如果下一用户输入如所预测的那样，则在改变GUI的过程中用户可察觉到的延迟被减少了执行预备模块所占用的时间量。

可以以多种不同方式来进行预测。一种技术包括维护不同的GUI状态处的用户输入的记录。所述预测随后基于特定状态处的最常见的下一用户输入。例如，如果在GUI“文件菜单”上用户曾经仅仅选择几个可用选项，并且其中一个选项比其它选项被更为频繁地选择过，则该预测将包括选择与所述被更为频繁地选择过的选项相关联的用户输入。因此该技术可以被看作基于长期的用户输入统计。在下面的说明中，该技术被称为“足迹(Footprint)”。

另一种基于短期统计的技术可以和上述技术结合使用。该短期预测方法更依赖于对紧接在所等待的用户输入之前的用户输入的分析。因此，例如，如果用户想要移动到字处理文档的顶部，则他/她可以通过多次按下向上箭头来实现这个操作。在这个用户输入的向上箭头序列中的某一点处，基于短期统计的预测将预测下一输入是向上箭头，而基于长期统计的预测可能预测下一用户输入是除了按下向上箭头键之外的其它操作，例如是按下空格键的操作。因此，与长期的技术相比，该短期的技术可以得到更为准确的预测。在下面的说明中，该短期的技术被称为“嗅觉(Scent)”。

附图说明

下面通过示例并参考附图详细描述了本发明的实施例，附图中：

图1示出了可以实现本发明的数据处理设备；

图2是指示示例性GUI状态之间的转换的图表；

图3是示出了在根据本发明优选实施例的方法中所包括的步骤的流程图；

图4是示出了本发明实施例的预测技术中所包括的步骤的流程图；

图5是示出了根据本发明实施例更新用户输入记录过程中所包括的步骤的流程图；

图6是根据本发明实施例的足迹和嗅觉计数器更新的示意性示图。

具体实施方式

图1是适于实现本发明的计算机系统10的示意性示图。系统10包括处理功能20、存储器30和显示器40。存储器由易失性存储设备(例如，RAM)和非易失性存储设备(例如，盘存储设备)组成。操作系统50和应用60、70软件通常存储在非易失性存储设备中，并且按需传送到易失性存储设备以由处理功能执行。在典型的个人计算机中，操作系统可以是Windows XP或类似系统、Linux、MacOS或者其它适当的软件。典型个人计算机系统上的应用软件将几乎总是包括字处理软件，例如，MicrosoftWord。

应用软件60包括图形用户界面(GUI)代码64，GUI代码64与操作系统代码交互以向软件用户提供GUI功能。例如，在字处理程序包的情形中，当用户通过移动鼠标并点击鼠标左键从应用的工具栏选择“文件”选项时，这些用户动作被操作系统检测和解释。操作系统代码调用字处理软件中的GUI代码所提供的功能来引起文件菜单被创建并被显示在计算机显示器上。执行GUI代码以引起菜单的显示将产生下述延迟，所述延迟是当用户点击鼠标按键的时刻和显示菜单选项的时刻之间的延迟。在该简单示例中，时间延迟很短，因而可能不会被用户察觉到。然而，其它更为复杂的GUI功能将需要更长时间来执行，因而用户在等待经由GUI而与应用的连续交互的时候由于延迟而感觉到不方便。

根据优选实施例，通过对下一个可能的用户输入进行预测并且预处理提供所需GUI功能的部分GUI代码，该延迟可以被降低。如果预测正确，则执行GUI代码的其它部分，并且完成GUI功能。该预测被与GUI代码64交互的预测代码62执行。预测代码还提供对在进行预测的过程中使用的用户输入事件记录的维护和更新。这些记录可以被方便地存储在计算机系统10内的非易失性存储设备30中。

为了有助于理解所述实施例的操作，将计算机程序提供的GUI视为一系列状态是有帮助的。图2示出了一系列GUI状态以及引起从一个状态到另一状态的转换的用户输入，例如移动鼠标、按下键、点击菜单项等。执行诸如显示菜单的功能的GUI代码模块与到GUI状态的转换相关联。

根据优选实施例，这些GUI功能的每个被分成两个代码模块：预备模块和启动模块。图1示出了多个GUI功能1、2、…N的示图，每个GUI功能具有预备模块和启动模块，即，P1，A1；P2，A2；…PN，AN。执行功能包括执行预备模块，随后执行启动模块。根据实施例，所执行的预备模块代码对用户数据没有副作用，并且没有任何其已被执行的可见线索。例如，在“显示“文件”菜单”的预备模块中，可以分配GUI资源来显示弹出式菜单以及被放入菜单的所有条目。然而，该菜单将不被显示。在启动模块中，执行与移动到那个状态相关联的所有副作用，包括修改用户数据和对GUI的视觉改变。在“显示“文件”菜单”的启动模块中，在预备模块中生成的弹出式菜单被显示。

该过程在图3的流程图中示出。在“开始”100处，GUI可以被认为已经完成了先前用户启动的GUI功能。在步骤110处，对下一用户输入进行预测。如所指示的那样，该预测包括执行多个步骤，其细节将在下文参考图4和图6来描述。一旦已经做出了预测，则执行与所预测的用户事件相关联的预备模块，并且将结果存储在非易失性存储器中。响应于在步骤130处接收到下一用户输入(这可能在对预备代码的执行完成时或尚未完成时发生)，在步骤140中，根据图5和图6中列出的过程(其细节也将在下文描述)，与实际用户事件相关联的计数器被更新。在步骤150中对实际用户输入是否对应于所预测的用户输入做出判定。如果不是，则预备代码的执行结果被丢弃，例如存储器资源被释放。随后在步骤165处执行用于实际事件的预备和启动代码模块以完成相关的GUI功能。

如果实际用户输入与所预测的输入相同，则在步骤170处执行用于所需GUI功能的启动代码模块，并且在步骤180处完成所述GUI功能。随后，该过程通常将返回步骤110以预测下一用户输入。然而，如果最后的用户输入使得应用终止，则该过程将在步骤190处结束。

这样，在用户与应用程序的交互期间，对可能的下一用户输入做出预测。一旦该预测被做出，就使用处理功能的空闲时间来执行与所预测的用户输入相关联的GUI代码的预备模块。当用户提供下一输入并且它如所预测的那样时，仅需要执行启动模块。如果执行预备模块需要“n”毫秒且执行启动模块需要“n”毫秒，则从用户的角度来看，该动作所需的时间是过去的一半。

现在参考图4来描述示例性预测技术的细节。为了预测用户将要做出的输入，需要判定执行特定转换的可能性。在优选实施例中，这是使用被称为“足迹”和“嗅觉”的技术来实现的。取决于所使用的具体软件应用，这些技术可以独立使用也可以方便地结合使用。

“足迹”通过在每个转换上具有整数计数器而工作，在下面的说明中，足迹计数器被一般地表示为C_F，并且对于每个用户事件被表示为C_F(事件)。每次进行转换，与实际用户输入相关联的计数器C_F就增加1。随着应用被使用，将基于已踩出路径的足迹次数而形成图案。因此基于足迹计数器的预测是基于与特定应用的用户交互的长期历史的。

“嗅觉”与足迹类似。但它是短期统计。在下面的说明中，嗅觉计数器被一般地表示为C_S，并且对于每个用户事件被表示为C_S(事件)。概况地说，该技术的实用性可以参考下面的示例来理解。采用用户输入文本数据到字处理文档中的示例，并且其中每次击键是一个事件，足迹将认为最可能的下一用户输入将是按下空格键。基于这种预测的优先处理一般会证明是高效的。然而，可以设想基于足迹的预测没能提供改良的情形。例如对于用户通过多次按下向上箭头想要滚动到文档顶部的情形。如先前的示例中那样，足迹记录指示下一最可能的用户输入是按下空格键。即使在每次向上箭头键被按下时与按下向上箭头相关联的计数器增加1，也可能是下述的情形，即，即使到达文档的顶部，关于向上箭头的足迹也不会与关于空格键的足迹一样多。因此，每个预测将是不正确的，因而不会给用户提供益处。

为了应对这一可能性，提供了“嗅觉”技术。嗅觉类似于足迹，其值在发生每次用户事件时增加，但是嗅觉随着时间而消失(该值周期性递减)。弱嗅觉被认为比强足迹作用更大，因此用户遵循所嗅出的路径的可能性会比遵循足迹获得的路径的可能性更高。因此，每次按下向上箭头时，沿着该路径的嗅觉增加，并且预测将趋向于用户再次按下向上箭头而非空格键。一旦用户已经完成了按下向上箭头，则嗅觉将慢慢减少，并且空格键将是最可能要被按下的键。对嗅觉与足迹的相对重要性的判定将需要针对具体应用来调整。

现在将参考图4和图6来描述基于嗅觉和足迹的预测技术(图3中的步骤110)的具体实施例。预测开始于步骤110a。在步骤110b处，对C_S的最高值做出判定。在图6给出的示例中(其示出了两个可能的用户事件A和B)，状态200中示出的C_S的最高值与事件A相关联。该值在图4的步骤110c中与C_S的阈值相比较。在本示例中，该阈值被设置为值4。当C_S(A)小于4时，在步骤110d中基于具有最高C_F的事件(其在状态200中是事件B)来做出预测。该过程在步骤110f处结束。然而，如果C_S大于或等于阈值(例如，象处于图6的状态210中那样)，则基于具有C_S的最大值的事件来做出预测。

因此，预测基于嗅觉和足迹计数器的值。每个事件的C_S和C_F值根据图5中阐述的方法而进行更新。图6更详细地示出了在特定示例中这些值是如何改变的。图5的方法开始于步骤140a。当接收到用户输入时，用于实际事件的C_F值递增。在步骤140c处，对先前的预测是否是基于C_S值做出判定。如果不是(即，预测基于C_F)，则在步骤140d对实际用户事件是否对应于所预测的事件做出判定。如果不是，则用于实际事件的C_S递增，并且过程在步骤140j处结束。然而，如果基于C_F的所预测事件与实际事件相同，则所有大于零的C_S值递减，并且过程随后在步骤140j处结束。如果在步骤140c处判定先前的预测是基于C_S的，则在步骤140g处对实际用户事件是否对应于所预测的事件做出判定。如果是，则用于实际事件的C_S递增，并且过程在140j处结束。如果不是，则用于所预测事件的C_S递减，并且用于实际事件的C_S增加。

将参考图6中示出的示例来了解该方案的优点，图6中每个框表示一个GUI状态。每个框中包含了用于两个用户事件A和B的嗅觉和足迹计数器值。当然将会了解，在实际应用中，可能在每个GUI状态处可以有更多的用户输入，并且这些用户输入可以从一个状态到下一状态时进行改变。

在“开始”状态200中，计数器值如所示的那样。根据图4中阐述的步骤，做出基于足迹的预测：下一用户输入将是B。然而，在本示例中，下一用户输入实际是A。因此，根据图5中阐述的方法，C_F(A)和C_S(A)都递增。用于事件B的计数器不变。这在状态210处描述。

根据图4再次做出预测。在该情形中，C_S(A)大于阈值4，因此做出基于嗅觉的预测：下一用户事件将是A。在本示例中，下一用户事件就是A。因此，根据图5中阐述的方法，C_F(A)和C_S(A)都递增。用于事件B的计数器不变。这在状态220处描述。

根据图4再次做出预测。在该情形中，C_S(A)等于阈值4，因此做出基于嗅觉的预测：下一用户事件将是A。在本示例中，下一用户事件实际是B。因此，根据图5中阐述的方法，C_F(B)和C_S(B)都递增而C_S(A)递减。这在状态230处描述。

根据图4再次做出预测。在该情形中，C_S(A)等于阈值4，因此做出基于嗅觉的预测：下一用户事件将是A。在本示例中，下一用户事件实际是B。因此，根据图5中阐述的方法，C_F(B)和C_S(B)都递增而C_S(A)递减。因此，与事件A相关联的嗅觉递减而与事件B相关联的嗅觉递增。这在状态240处描述。

根据图4再次做出预测。在该情形中，C_S(A)小于阈值4，因此做出基于足迹的预测：下一用户事件将是B。在本示例中，下一用户事件就是B。因此，根据图5中阐述的方法，C_F(B)递增而C_S(B)和C_S(A)都递减。因此，由于预测基于长期统计，所以与事件A和B相关联的嗅觉都递减。这在状态250处描述。

可以设想替代性实施例。当做出预测时，可能是下述情形：很可能要遵循若干路径(例如，预测方法可能包括对用于若干可能事件的C_F值非常相似的判定)。如果处理功能的能力足够，则可以执行用于那些功能中的每个功能的预备代码。当最终知晓了转换时，通过解放差的预测的预备代码拥有的任何资源，所述差的预测可以变好。例如，如果做出用户可能点击文件菜单的预测，但是用户并没有点击，则会释放所分配的GUI菜单资源。

此外，如果存在大量空闲的处理周期，则预测技术可以包括预测可能的用户事件序列。例如，如果用户点击“文件”菜单，则可以预测用户将继续点击“打印”随后是“OK”。在这种情况下，可以在确认第一预测之前执行用于两个事件的预备模块。再一次地，将需要如前所述那样清除差的预测。

取决于不同的应用以及用户的需求，预测技术中采用的状态和事件的粒度将会不同。例如，对于点击按钮和菜单项是仅有的用户事件的情形，可以使用粗粒度，而对于使用诸如向北移动鼠标指针的用户事件来预测用户正向菜单栏前进的情形，可以使用较精细的粒度。

Claims

1.一种运行具有图形用户界面的应用程序的方法，该方法包括下述步骤：

预测对图形用户界面的下一用户输入；

在接收到下一用户输入之前，执行提供所预测的用户输入需要的图形用户界面功能的图形用户界面代码的预备部分；以及

判定所预测的用户输入是否对应于实际的下一用户输入，并且在肯定性判定后，处理所述图形用户界面代码的启动部分以完成所需的图形用户界面功能。

2.如权利要求1所述的方法，还包括下述步骤：

维护对图形用户界面的用户输入的历史；其中预测特定图形用户界面状态处的下一用户输入的步骤基于对在所述特定图形用户界面状态处的先前用户输入的历史的分析。

3.如权利要求1所述的方法，还包括下述步骤：维护每个图形用户界面状态处的对图形用户界面的用户输入的历史，所述预测特定图形用户界面状态处的下一用户输入的步骤包括判定所述预测是基于所维护的历史还是基于对图形用户界面的最近用户输入记录的步骤。

4.如权利要求1或2所述的方法，其中所述预测步骤包括预测潜在的用户输入序列，并且所述执行步骤包括执行用于所预测序列的用户输入的每一个的图形用户界面代码的预备部分。

5.如权利要求1或2所述的方法，其中所述预测步骤包括预测多个可替换的潜在的用户输入，并且所述执行步骤包括执行用于所述可替换的用户输入的每一个的图形用户界面代码的预备部分。

6.一种数据处理设备，包括：

用于预测所述设备提供的对图形用户界面的下一用户输入的装置；

在接收到下一用户输入之前用于执行提供所预测的用户输入需要的图形用户界面功能的图形用户界面代码的预备部分的装置；以及

用于判定下一个接收到的用户输入是否对应于所预测的下一用户输入并在肯定性判定后用于处理所述图形用户界面代码的启动部分以完成所需的图形用户界面功能的装置。

7.一种包括程序代码装置的计算机程序，该计算机程序在计算机上运行时适于执行权利要求1至5中任何一个的所有步骤。