CN1524218A - 用于遗留软件与屏幕朗读器程序之间的互操作的方法和装置 - Google Patents

Abstract

一种计算机程序和方法，帮助屏幕朗读器工作于其用户界面定义不符合屏幕朗读器程序所期望的设计准则的遗留程序。该方法包括：分析图形用户界面以识别用户界面元素在界面内的逻辑顺序；将用户界面元素在用户界面定义内的顺序与所识别的逻辑顺序进行比较，以识别任何所需的元素重新排序以符合所识别的逻辑顺序；以及执行所需的元素重新排序以符合所识别的逻辑顺序。为每个可分离的用户界面组件(如对话框)生成一个或多个列表或表格，以指定用于对定义内顺序不正确的用户界面控件重新排序的所需顺序，并且标识动态生成以与不具有所需静态文本控件的编辑控件一起使用的新静态文本控件。

Description

用于遗留软件与屏幕朗读器程序 之间的互操作的方法和装置

技术领域

本发明涉及可访问性辅助程序如屏幕朗读器程序与其他计算机程序和装置之间的互操作。

背景技术

近年来日益认识到需要考虑残疾人士的需要来设计软件产品和网页，以避免排除特定人群访问信息技术和信息内容。美国和英国政府以及其他国家的最近立法已使得帮助残疾人士访问商品和服务是强制性的，并且这就突出了软件供应商和信息提供商转向更易于访问的软件产品的重要性。而且，采用对可访问性问题的适当解决方案，万维网因特网服务和信息技术一般能够向盲人和视力受损人提供非常有用的服务来增强他们的自我依赖以及主动参与信息交换的能力。

可以使得软件产品易于访问的一种重要方式是使其正确地与屏幕朗读器程序一起工作。这些程序朗读显示在屏幕上的信息，或者将屏幕信息转换成盲文，从而使眼盲和视力受损的用户可以访问软件产品。目前存在很多GUI屏幕朗读器产品，包括来自国际商业机器公司的Screen Reader/2^(TM)、来自Henter-Joyce Inc.的Jaws^(TM)forWindows^(TM)、来自Arctic Technologies Inc.的Winvision^(TM)以及来自Berkeley Access的Outspoken^(TM)for Windows。很多这些屏幕朗读器能够朗读图标和其他图形对象。例如，Outspoken屏幕朗读器将对话框、圆形按钮和其他图形控件转换成可听输出，并且可以与为Windows操作系统开发的很多应用程序一起使用。

当软件产品具有需要用户输入数据或其他信息的对话框或面板时，它们典型地使用称作‘静态文本控件’的控件随后是用户输入数据的输入区域(‘编辑控件’)而具有一行或多行描述所要输入的数据的文本。屏幕朗读器软件查找紧邻在编辑控件之前的静态文本控件，并且向用户朗读它作为在此点输入什么的提示。对话框或面板元素典型地作为控件有序列表而定义在一个文件中，并且屏幕朗读器通常将以它们出现在该列表中的次序朗读这些控件。对于屏幕朗读器以正确逻辑次序朗读对话框或面板，控件必须以正确次序位于该列表中。对于典型屏幕朗读器正确地以输入区域的提示工作，以下几点是重要的：

1)使用静态文本控件实现编辑控件的提示；以及

2)在对话框或面板定义文件中，正确的静态文本控件紧邻在编辑控件之前。

允许屏幕朗读器操作的先前尝试依赖于向用户界面设计者提供“可访问性”准则从而如果设计或重新设计用户界面将符合该准则，因而标准屏幕朗读器将能够读取并解释图形以及文本元素，并且以正确的顺序提供它们。

然而，在软件供应商注意残疾人士可访问性需求之前所编写的遗留程序可能具有很多不满足这些规则的对话框和面板定义，并且如果软件产品在很多不同国家出售，则各定义可能已被翻译成很多语言。由于无论控件在定义中的次序对话框或面板通常都将正确显示，因此只有当考虑与屏幕朗读器程序的兼容性时，准确的顺序才变得重要。遗留程序还可能使用不同于静态文本控件的控件作为编辑区域的提示区域，例如，允许用户从多个选项的范围内仅选择一个选项的‘圆形按钮’控件-在这种情况下，只有选择特定选项，输入区域才可以用来输入参数。如果提示是圆形按钮控件，则设计为读出与编辑控件相关联的静态文本控件的文本的屏幕朗读器将不正确工作，并且如果控件在对话框或面板定义内的次序不正确，则它将不以正确次序读出元素。

对于程序员在复杂软件产品多语言版本的所有对话框和面板定义内测试并改变控件次序或者增加控件来保证屏幕朗读器的正确操作将是冗长且易于出错的任务，并且将可能导致对话框和面板显示得与现有用户所熟悉和在产品文档中所示不同。

US 6,144,377公开一种允许可访问性辅助程序如屏幕朗读器程序访问和操纵应用程序的用户接口(UI)元素包括图形元素如编辑框和按钮的架构。根据US 6,144,377，允许屏幕朗读器访问实现UI元素的程序代码和数据以检查并操纵UI元素的各种特性如其位置或文本描述。然而，US 6,144,377没有公开如果控件或者这些控件在用户界面元素定义内的次序不同于屏幕朗读器所期望则典型屏幕朗读器不能完整或以正确次序朗读屏幕信息这一问题。

发明内容

在本发明的第一方面，提供一种帮助屏幕朗读器操作的方法，包括如下步骤：分析图形用户界面以识别用户界面元素在界面内的逻辑顺序；将用户界面元素在用户界面定义内的顺序与所识别的逻辑顺序进行比较，以识别任何所需的元素重新排序以符合所识别的逻辑顺序；以及执行所需的元素重新排序以符合所识别的逻辑顺序。

根据本发明这一方面的方法允许依赖于特定用户界面顺序的屏幕朗读器以正确次序朗读GUI信息。

本发明最好包括，响应分析或比较步骤，生成表示所识别逻辑顺序的界面内(或其可分离组件内)的用户界面元素列表，然后使用该列表来指定控件在用户界面定义内的所需顺序。允许屏幕朗读器以所识别逻辑顺序朗读用户界面元素控件的比较和重新排序步骤最好包括，响应开始显示用户界面，生成一个修改用户界面定义，其中，修改用户界面定义内的控件顺序符合所识别的逻辑顺序。

在显示时候生成修改用户界面定义最好通过调用操作系统功能以实现将元素重新排序成在列表中指定的顺序来实现。因此，至少在可以获得用于访问和操纵用户界面定义的功能的操作系统环境中，本发明可以以非常少的新程序代码来实现。

例如，本发明可以通过生成表示所识别逻辑顺序的用户界面元素有序列表然后使用响应“开始对话框显示”命令或消息(在Microsoft的Windows操作系统的例子中为“WM_INITDIALOG”消息)调用如在US 6,144,377中所述的操作系统功能来实现。

本发明可以用来保证屏幕朗读器对整个用户界面的正确操作，但是在一个优选实施例中，对分别定义的用户界面组件如面板、对话框或窗口(均可以包含很多不同的可选择或可编辑用户界面元素)单独执行其处理。本发明可以实现窗口、面板或对话框定义内用户界面元素的重新排序，从而使屏幕朗读器以对用户有意义的正确逻辑顺序朗读控件。

由于本发明允许屏幕朗读器程序正确使用遗留程序内的对话框和面板而无需人工修改遗留程序内的众多对话框和面板定义，因此与依赖于人工重新排序界面定义元素的情况相比，本发明可以实现得更快且更可靠。根据本发明的实施例，在三种可能时候之一处理应用程序内的对话框/面板定义：

1.在将对话框/面板定义编译成二进制格式之前，通过软件开发工具实现本发明。

2.在将对话框/面板定义编译成二进制格式之后，但是在使用它们来显示它们之前。

3.当对话框/面板显示在屏幕上时，通过运行时刻过程来执行其操作。运行时刻过程可以是操作系统的特性，包括用户界面的应用程序的特性、屏幕朗读器程序组件或者单独工具如Java^(TM)applet(小应用程序)或ActiveX控件。应用程序在本上下文中是使用操作系统资源执行数据处理功能的任何程序，包括中间件和商业集成产品如消息递送或消息代理产品以及执行终端用户请求操作的程序如在线预订或订购程序。

这些可选实现时候的最后一个是最简单实现的，因为它不需要知道对话框/面板定义的源或者编译二进制格式的格式。本发明的该实施例将在下面进行更详细的描述。

在优选实施例中，本发明使用为每个错误对话框或面板定义生成的信息列表或表格以及当开始显示对话框或面板时运行以使用表格信息来纠正问题的过程。对于对话框或面板的所有不同语言版本，都使用相同的列表或表格，这与需要为各个语言版本单独人工重新排序GUI元素的解决方案相比保证一致性并且大大减轻实现屏幕朗读器正确操作的任务。

在一个优选实施例中，本发明被扩展为对遗留对话框和面板定义进行其他动态修改，如遵循其他可访问性要求；隐藏或增加控件，从而可能根据当前状态或情形剪裁对话框/面板；并且/或者在显示对话框/面板之前以缺省值预先填充一些区域。

在本发明的第二方面，本发明解决对话框定义中的用户界面元素如编辑控件之前不是屏幕朗读器所期望的静态文本控件提示或者其他用户界面元素这一问题。例如，如果紧邻在编辑控件如输入区域之前不是提示有视力用户输入数据的静态文本控件，则屏幕朗读器将不能为无视力的用户读出适当的提示。根据本发明这一方面，提供一种分析用户界面定义来识别省略屏幕朗读器所需的用户界面定义元素并且替代使用另一元素的任何情形的方法。如果省略所需元素，则根据该另一元素的内容动态创建所需用户界面元素的新实例。

本发明的该第二方面的一个应用是将紧邻在缺少期望静态文本控件的任何编辑控制之前的不可见静态文本控件加到用户界面定义文件。无论哪一个其他用户界面控件用作有视力用户的提示，都可以从中提取将由屏幕朗读器读出的该静态文本控件的文本(例如，如果圆形按钮的文本标签是视觉提示，则提取该文本标签)。用于解决没有静态文本控件的编辑控件这一问题的本发明一个实施例将在后面进行更详细的描述。

实现本发明的方法可以通过计算机程序来实现，例如可以作为包括记录在机器可读记录介质上的程序代码的计算机程序产品来提供。本发明的另外方面包括结合用于实现本发明的装置的程序产品和数据处理装置。

附图说明

现在仅作为示例参照附图对本发明的优选实施例进行更详细的描述：

图1是数据处理系统的示意图；

图2示出屏幕朗读器使用操作系统服务来访问界面定义文件；

图3示出遗留应用程序的用户界面内一个对话框的示例定义文件；

图4示出在图3中定义的对话框的视觉表示，其中标出各控件出现在图3的定义中的次序；

图5示出纠正控制器组件访问UI元素顺序列表并且使用操作系统访问组件以改变UI定义内的UI元素顺序；以及

图6A和6B示出根据本发明一个实施例的处理用户界面定义的方法的步骤序列。

具体实施方式

图1是例如在本领域中公知的数据处理系统的示意图，其中，屏幕朗读器程序40安装在系统上以使用操作系统20的功能来访问应用程序30的用户界面元素，并且通过输出设备60输出信息。对于本领域的技术人员是清楚的，这不限于任何具体数据处理系统或装置，或者任何具体类型的应用程序或者特定操作系统或屏幕朗读器。然而，为了描述本发明的特定示例实现，假定屏幕朗读器程序是Windows操作系统的典型屏幕朗读器程序，并且被配置用来访问当应用程序30在系统上运行时保存在系统存储器50中的应用程序用户界面定义文件。

如图2所示，操作系统20的组件在创建用户界面控件时访问应用程序30的用户界面的二进制格式定义文件70。屏幕朗读器程序40使用操作系统的资源来访问定义70并且提取适当的提示以提供给用户。例如，假定屏幕朗读器使用操作系统20的访问组件80从用户界面定义文件中提取文本信息，将它转换成音频信号并且通过扬声器60输出可听信息。访问组件例如可以实现在US 6,144,377中公开的可访问性接口。

如上所述，只有当用户界面控件在定义文件中具有正确顺序时，典型的屏幕朗读器程序才正确工作以提供完整且正确排序的音频信息。然而，这对于创建用户界面而没有考虑眼盲和视力受损用户的访问需求的遗留应用程序却不总是这种情况。

图3示出用户界面对话框的示例定义，并且图4示出该对话框的对应视觉表示。包括编辑区域、按钮和圆形按钮的对话框元素以与对话框的逻辑顺序不同的顺序出现在图3的定义中。由于定义内的坐标信息确定各组件的视觉位置而不考虑它们在定义内的顺序，因此这也将是一种对界面编程的可接受方法。然而，图4中元素1至10的编号表示如果不使用本发明则将由典型屏幕朗读器或其他可访问性工具朗读用户界面元素的顺序。因而，由屏幕朗读器提供的可听提示将只是使用户糊涂，并且对于某些编辑区域将不提供任何提示。例如，参照图3和4，当将光标置于各边界区域内向用户朗读的提示不正确-对于前两个编辑区域，将根本不朗读任何提示，并且对于第三编辑区域，提示将是“静态控件1(Static control 1)”。

对该问题的一个解决方案是人工重新编码应用程序内的所有用户界面组件定义从而以屏幕朗读器所期望的次序定位用户界面元素，并且保证包括所需的静态文本提示。如果所要修改的应用程序包括复杂用户界面，则这将是非常费时且易于出错的任务。而且，对于界面的各个不同语言版本，该任务将不得不重复。

实现本发明的另一解决方案是使用程序代码来自动修改用户界面定义内用户界面元素的顺序，从而以与界面视觉表示的逻辑顺序相符合的顺序将这些元素提供给屏幕朗读器。该定义修改最好是在将用户界面组件定义提供给操作系统以作显示的时候实现。在显示时候，向操作系统提供定义所需顺序的信息(界面元素标识符的有序列表)，并且指示操作系统相应更新界面元素的属性。操作系统保持该更新顺序信息，从而使屏幕朗读器程序可以查询该顺序-例如使用如在US6,144,377中描述的访问接口。

现在将参照图6A和B更详细地描述该解决方案。首先，分析200、210用户界面，以识别不符合典型屏幕朗读器的用户界面要求的用户界面内的任何对话框、面板或窗口元素。根据现有定义所存在的问题，为每个错误对话框或面板生成220、230一个或两个列表或表格。如果元素没有以正确次序列出(215)，则生成220由以正确次序排列的界面组件界面元素标识符列表组成的简单列表或表格。然后，与界面组件定义相关联对此进行存储240以允许随后的元素重新排序。其次，如果对话框或面板包括带有由不同于静态文本控件的控件显示的提示的编辑控件如输入区域(225)，则生成230并存储240另一列表或表格。该表格以成对的方式列出用作提示的控件的标识符与编辑控件的标识符，并且包括一个指向动态创建用户界面元素的指针，如下所述。

上述分析200和列表生成步骤220、230可以由界面编程者人工执行，然后，该方法的随后自动步骤将使用这些列表来处理界面定义。然而，在另一实现中，可以由比较对话框或面板的元素与一组经过认可的界面布局模板或规则以自动确定逻辑正确的元素顺序的程序代码来实现初始分析和列表生成。实现该列表自动生成的程序代码可以是在程序开发期间所用的编程工具(例如，当创建遗留程序的新版本时)或者在安装时候或者应用启动时候分析应用程序的操作系统组件。用户界面控件的排序规则一般很好理解，它已经被定义为用户界面设计者的“可访问性”准则的一部分。设计良好的界面的逻辑顺序确定规则可以复用设计准则。例如，这些规则将包括如从左到右且从上到下朗读、文本提示之后跟随相关编辑区域、在进入一组之外的其他元素之前朗读该组内的用户界面元素全集的简单指令。

在列表生成步骤之后，当开始显示对话框或面板时，执行250另一程序代码组件(以下称作纠正控制器100，如图5所示)。图6B示出由纠正控制器执行的功能。如果现有界面定义内的控件无序，则该代码组件100逐步循环260与用户界面定义文件相关联所存储的顺序列表，向操作系统指示其控制应遵循顺序列表。该顺序信息有效地作为用户界面元素属性之一来记录以由操作系统作随后的解释，但是这也可以通过操作系统在不改变实际界面定义的情况下单独存储正确的顺序信息来实现。当从用户界面定义70变至重新排序定义70’时，该重新排序在图5中示意性地表示。

除了排序问题之外，图3和4的示例对话框和定义演示在公知操作系统中实现可访问性界面的方式所产生的另一问题。对于特定操作系统，总是从必须紧邻在编辑控件之前的静态文本区域中提取由可访问性辅助程序如屏幕朗读器对编辑区域朗读的提示。即使当使用本发明的纠正控制器100来纠正元素次序时，但是图4所示的第三编辑控件之前是圆形按钮而不是静态文本区域，并且这将导致屏幕朗读器不读出提示或者读出不正确的提示。

为解决这一问题，如果存在其提示不是静态控件的编辑控件，则纠正控制器组件100逐步循环270先前存储的控件对列表或表格。它读取原先用作提示的控件的位置、尺寸和文本。然后，它动态创建280具有相同位置、尺寸和文本但不可见(即，其属性指定它将不在界面的视觉表示中显示)的静态文本控件。最后，纠正控制器100向操作系统指示290新静态文本控件位于原始提示控件之后，并且编辑控件位于新静态文本控件之后，并且操作系统更新界面元素属性来反映该顺序。

现在将更详细地描述本发明的一个示例实现，其中，在开始在屏幕上显示对话框或面板的时候纠正对话框或面板定义内的问题。为纠正对话框或面板中的元素排序，需要以所需次序由各元素的数字或符号标识符组成的简单列表(或表格)。对于图4所示的示例对话框，该列表可能如下所示：

IDC_STATIC_1，

IDC_EDIT_1，

IDC_STATIC_2，

IDC_EDIT_2，

IDC_RADIO_1，

IDC_EDIT_3，

IDC_RADIO_2，

IDOK，

IDC_BUTTON_FIX

当开始显示对话框或面板时(对于Microsoft Windows操作系统，此时为应用程序接收到“WM_INITDIALOG”消息)调用一个代码片断来实现下面功能：

For each pair of identifiers in the list

    Call the operating system to order the second element after thefirst

Next pair

(对于列表中的每对标识符循环

    调用操作系统以将第二元素排在第一元素之后

下一对)

为当在屏幕上显示对话框或面板时纠正编辑控件之前为不同于静态文本控件的用户界面元素这一问题，也可以使用一个表格与使用该表格的代码的组合。这一问题通过在与其他居前控件相同的位置动态创建一个隐藏静态文本控件来解决。向新的静态文本控件提供与其他居前控件相同的文本，并且将其依次插入在其他居前控件与编辑控件之间。当消除对话框或面板时，删除该新静态控件。在本方法的一个示例实现中，对于对话框或面板中的每个受影响编辑控件，均需要下面元素：

Identifier of the edit control

Identifier of the control that precedes the edit control

Whether the preceding control is a static text control

Pointer to the static text control dynamically created

(编辑控件的标识符

居于编辑控件之前的控件的标识符

居前控件是否为静态文本控件

指向动态创建的静态文本控件的指针)

对于图4所示的样例对话框，该表格可能如下所示：

{

{IDC_EDIT_1，IDC_STATIC_1，TRUE，NULL}，

{IDC_EDIT_2，IDC_STATIC_2，TRUE，NULL}，

{IDC_EDIT_3，IDC_RADIO_1，FALSE，NULL}，

}；

当开始显示对话框或面板时运行的代码片断实现如下功能：

　　For each row in the table

　　    If preceding control is a static control
　        Call the operating system to ensure the edit control is
after the preceding control

　　Else

　　    Dynamically create a new static control

　　    Remember the its address in the table

　　    Read the text and position of the preced ing control

　　    Set the new static control to have the same text and
position

　　    Set the new static control to be invisible

　　    Order the new static control after the preceding control

　　    Order the edit control after the new static control

　　    End

　　Next row

    (对于表格中的每一行循环

        如果居前控件为静态控件，

            调用操作系统来确保编辑控件位于居前控件之后

        否则

            动态创建一个新的静态控件

            在表格中记录它的地址

            读取居前控件的文本和位置

            设置新静态控件具有相同的文本和位置

            将新静态控件设为不可见

            将新静态控件排在居前控件之后

            将编辑控件排在新静态控件之后

        结束

    下一行)

当消除对话框或面板时运行的代码片断实现如下功能：

For each row in the table

    If pointer to static control dynamically created is non-null

        Delete static control

    End

Next row

    (对于表格中的每一行循环

        如果指向动态创建的静态控件的指针不为空

                删除静态控件

        结束

    下一行)

对于遗留应用仅需要构成纠正控制器的代码片断的一个副本。当显示各对话框/面板/窗口时，使用纠正该特定对话框/面板/窗口的控件的表格地址调用纠正控制器。因此，遗留应用中代码的大小/复杂性增加极小，并且生成列表/表格的任务相对简单实现。

本发明的优选实施例提供如下优点：

1)对于每一国家语言均存在一份的定义文件保持不变。

2)所需的修改即列表或表格只需针对每个对话框/面板定义一次，而不是针对每一国家语言版本的对话框/面板定义一次。纠正控制器代码可以公用于所有对话框/面板。

3)与公知替代方案相比可以大大减轻验证/测试工作量-由于代码和表格公用于所有语言，因此在一种国家语言中检查的对话框或面板在所有语言中都应正确。

4)对话框和面板在视觉上保持不变，这意味着它们仍将与现有用户期望以及文档中的任何对话框或面板图片相符。

Claims (19)

1.一种帮助屏幕朗读器操作的方法，包括如下步骤：

分析图形用户界面以识别用户界面元素在界面内的逻辑顺序；

将用户界面元素在用户界面定义内的顺序与所识别的逻辑顺序进行比较，以识别任何所需的元素重新排序以符合所识别的逻辑顺序；以及

执行所需的元素重新排序以符合所识别的逻辑顺序。

2.如权利要求1所述的方法，其中，响应所述比较步骤，生成一个用户界面元素标识符有序列表，以表示所需的用户界面元素顺序。

3.如权利要求2所述的方法，其中，与所述用户界面定义相关联来存储所述列表，并且执行所需元素重新排序的所述步骤包括修改用户界面定义来实现所需顺序。

4.如任一前面权利要求所述的方法，其中，执行所需重新排序的步骤包括通过作为用户界面元素的属性加入顺序信息来修改用户界面定义。

5.如任一前面权利要求所述的方法，其中，响应开始显示用户界面的命令或消息来执行所需重新排序执行步骤。

6.如任一前面权利要求所述的方法，包括比较用户界面定义内的用户界面元素顺序与用户界面定义的一组预定规则，并且响应识别出不符合需要特定用户界面控件的规则，生成所需用户界面控件的一个实例。

7.如权利要求6所述的方法，其中，预定规则集合包括要求在用户界面定义内的各个编辑控件之前紧邻静态文本控件的规则，并且响应识别出不符合所述规则，生成一个新静态文本控件，并且将新控件加到用户界面定义。

8.如权利要求7所述的方法，其中，从在所识别的逻辑顺序内紧邻在编辑控件之前的用户界面元素中提取新静态文本控件的文本。

9.如权利要求7或权利要求8所述的方法，包括设置新静态文本控件的属性以防止其显示在用户界面的视觉表示内。

10.如权利要求7至9中的任一项所述的方法，包括响应所述识别出不符合规则的编辑控件，执行如下步骤：

生成一个表格，包括编辑控件的标识符、居于编辑控件之前的控件的标识符以及指向新静态文本控件的指针；

其中，响应开始显示用户界面的命令或消息来执行将新静态文本控件加到用户界面定义的步骤。

11.一种用于控制数据处理装置操作的计算机程序，在所述数据处理装置上运行来执行包括如下步骤的方法：

判定用户接口定义是否具有一个相关列表，其中，所述列表定义所述用户接口定义内用户界面元素的所需顺序；

响应判定用户界面定义具有所述相关列表，调用一个过程来修改定义内用户界面元素的顺序以符合所需顺序。

12.如权利要求11所述的计算机程序，其中，响应开始显示用户界面的命令或消息来执行所述判定步骤。

13.如权利要求11或权利要求12所述的计算机程序，其中，计算机程序包括用于控制数据处理装置以执行如下步骤的程序代码：

判定用户界面定义是否具有一个相关表格，其中，所述表格标识：

界面定义的编辑控件，

界面定义内紧邻在编辑控件之前的非静态文本控件，以及

对所需静态文本控件的引用；以及

响应判定用户界面定义具有所述相关表格，调用一个过程，从而通过生成所需静态文本控件并且将所生成的静态文本控件加到紧邻于编辑控件之前来修改界面定义。

14.一种用于控制数据处理装置操作的计算机程序，在所述数据处理装置上运行来执行包括如下步骤的方法：

分析图形用户界面以识别用户界面元素在界面内的逻辑顺序；

将用户界面元素在用户界面定义内的顺序与所识别的逻辑顺序进行比较，以识别任何所需的元素重新排序以符合所识别的逻辑顺序；以及

执行所需的元素重新排序以符合所识别的逻辑顺序。

15.如权利要求14所述的计算机程序，其中，所述方法包括比较用户界面定义内的用户界面元素顺序与用户界面定义的一组预定规则，并且响应识别出不符合需要特定用户界面控件的规则，生成所需用户界面控件的一个实例。

16.如权利要求15所述的计算机程序，其中，预定规则集合包括要求在用户界面定义内的各个编辑控件之前紧邻静态文本控件的规则，并且所述方法包括如下步骤：响应识别出不符合所述规则，生成一个新静态文本控件，然后将新控件加到用户界面定义。

17.如权利要求16所述的计算机程序，其中，从在所识别的逻辑顺序内紧邻在编辑控件之前的用户界面元素中提取新静态文本控件的文本。

18.一种数据处理装置，包括：

包括用户界面定义的应用程序；

屏幕朗读器程序，用于生成与用户界面定义内的信息一致的非视觉提示；

操作系统，用于读取用户界面定义以向屏幕朗读器程序提供输入；

其中，该装置还包括如下程序代码，用于判定用户接口定义是否具有一个相关列表，其中，所述列表定义所述用户接口定义内用户界面元素的所需顺序，以及响应判定用户界面定义具有所述相关列表，调用一个过程来修改定义内用户界面元素的顺序以符合所需顺序。

19.如权利要求18所述的数据处理装置，包括一程序代码，用于判定用户界面定义是否具有一个相关表格，其中，所述表格标识：

界面定义的编辑控件，

界面定义内紧邻在编辑控件之前的非静态文本控件，以及

对所需静态文本控件的引用；以及

一程序代码，用于响应判定用户界面定义具有所述相关表格，调用一个过程，从而通过生成所需静态文本控件并且将其加到紧邻于编辑控件之前来修改界面定义。

Images