CN1111772A - 帮助弱视计算机用户选用显示图形物象的方法和系统 - Google Patents

Abstract

用于帮助弱视计算机用户清楚地识别图形用户 接口环境内在众多物象类别间分类的个别物象的方 法及装置。在图形用户接口环境内，在众多物象类别 间将图形用户接口物象加以分类。一个具有至少两 个音响特征的音响信号与一个物象类别内的每个物 象相关连。第一音响特征在一个物象类别内的所有 物象间是共同的，而在其他物象类别内的所有物象间 是独特的。第二音响特征在一个物象类别内的所有 物象间是独特的。

Description

本发明一般涉及一种对于弱视用户提高数据处理系统可用性的方法和系统，更具体地涉及一种允许弱视用户使用图形用户接口的方法和系统。

近年来，计算机应用软件有一种向图形用户接口过渡的趋势。在图形用户接口中，诸如文件柜、文件夹、文件和打印机这样的物体以小型图形或图符的形式在计算机屏幕上加以显示。这些物象包括一组在屏幕上的象素，用于模仿实际物体，并具有和实际计算机环境中所显示具体物体的类似功能。这些物象不应和“基于对象”或“面向对象”编程语言中所用“对象码”或“对象”相混淆。在图形用户接口中，用户可以操纵这些物象，正像在工作场所他们操纵这些物体一样。用户可以使用鼠标或其他图形指示装置来操纵物象，以完成所需计算机操作。

例如，在工作场所内要将文件归档，放入位于文件柜内的文件夹中时，用户会打开文件柜，找到所需文件夹并打开它，将文件放入。相似地，在图形用户接口的“电子工作场所”内，用户在计算机屏幕上完成此过程。于是，用户将打开文件柜图符，找到所需文件夹图符，以及然后将文件图符放入找到的文件夹图符中。用户就能利用他们在实际工作场所的知识来在计算机中完成类似操作。

视力正常的人们发现图形用户接口直观和易于使用。然而，除偶而发出“比比”声或类似声响外，图形用户接口实际上是静默的，而这类接口向用户提供的极大部分信息是视觉的。例如，物象或图符的外表能向用户传递关于物象所代表的数据或此物象如何和其他物象交互工作的信息。代表应用程序的物象可以具有与该应用程序功能有关的外观，例如，绘图应用程序可以由一个像丁字尺和铅笔的物象或图符来代表。类似地，由应用程序建立的文件可由一种物象代表，该物象看上去像代表父应用程序的物象，因此传递了有关文件格式的信息。

其他物象可能接收和包含一些物象，例如，模仿文件夹的物象可用来包含其他代表应用程序和由这类应用程序建立的文件的物象，以助于对盘驱动器内数据的填入和组织。还有一些物象可在数据处理系统内完成一些功能，例如，模仿废纸篓的物象可以用来完成将所选文件从盘驱动器中删除的功能。

当操作计算机使用图形用户接口时，将物象加以分类可能对用户有帮助，例如可将它们划分为装置、数据和容器类。通过利用这种分类，想寻找某一特定数据文件的用户能够在每个窗口物象内寻找此特定数据文件，因用户能够将包含其他物象的容器物象同数据物象或者不包含其他物象的装置物象区别开。因此，如用户能认识和区别物象的类别，则用户即可用更有效方式找到所需数据文件，或完成类似的计算机操作。

由于弱视用户不能通过视觉认识和区别计算机屏幕上显示的物象类别，严重弱视的人就无法使用图形用户接口。此外，即使弱视者能在图形用户接口内找到物象，这类用户不大可能像视力正常者那样利用通过图象传递出来的大量信息。

虽然弱视计算机用户现在可利用适应性技术的许多形式，包括语音合成、大号铅字印刷处理、桌上凸字出版、和声音识别，但差不多没有一项上述工具适用于图形用户接口。然而曾有一些建议，试图将这类适应性技术用于图形用户接口。例如，Byte Magazine中刊登一篇文章，建议编程人员在编写软件时可为图符配上附带的声音标记，这篇由Lazzaro撰写的名为易失性窗口的文章刊登在Byte Magazine杂志1991年6月的416页。在另一例中，在IBM技术公开月报第26卷第10B号第5633-5636页（1984年3月）上Golding等人建议使用各种合成的或记录的声音使计算机的显示内容可供弱视者使用;IBM技术公开月报第26卷第10A号第4950-4951页（1984年3月）上Barnett等人也作了类似建议。在这些例子中，并不打算让弱视者在计算机显示上找到物象。这些例子也不建议让用户在计算机显示屏上确定哪种物象是可用的。

此外，还建议过采用一些系统，后者包括一个带有凸字传感器的鼠标，以使鼠标的盲人用户可以从这类鼠标读取正文和获得某些触觉上的位置反馈信息，这些都刊登在IBM技术公开月报第28卷第3号第1343页上的（1985年8月）Comeford的文章和IBM技术公开月报第31卷第12号第386页上的（1989年5月）Affinito等人的文章中。然而，当这类系统或者通过声音或者利用鼠标中的凸字传感器宣告各种文字项目，和可能向弱视用户提供一些信息时，这类系统并不能帮助用户在计算机显示屏上浏览和寻找物象。这类系统也无法帮助用户确定例如有多少个盘驱动器接至计算机系统。

另外还建议使用带响声的光标定位机构和象素（图象元素）状态标识机构来帮助交互式计算机图形系统的用户使用声响反馈以加强视觉反馈的效果，从而找到数据。在这类系统中，当光标越过屏幕时，就产生可闻的喀呖声，它的声调随着所遇到的每个象素的目前状态不同而变化。依靠这种可闻的和可见的光标反馈信息的组合，通过留意光标移动时声调的变化，要识别所需要的线条将会容易得多。对于彩色显示应用例讲，每种颜色由一个明确的声调所代表，以使任何单一的象素可和周围不同颜色的象素区别开。IBM技术公开月报第27卷第48号第25-28页（1984年9月）上Drumm等人认为这类系统对弱视或无法学习的用户特别有用。然而，上面的公开所提供的装置并不能帮助弱视用户在计算机显示屏上浏览并寻找图形用户接口中的物象，也不能帮助用户在众多物象类别中区别不同物象。

近年来，在1991年8月19日递交的美国专利申请系列号07/746838的名称为“帮助盲人计算机用户处理图形用户接口中信息盒的方法和系统”的专利申请中，提出了一种系统，允许弱视用户与图形用户接口内的所谓“信息盒”进行交互操作。正如熟悉技术的人们所知道的，每个信息盒包括一个图符、解释文字、和一个或更多个“按钮”。图符用于帮助用户用视觉识别信息类别。文字用于解释状况，并可能提供帮助。文字内容可能是一个问题或一条陈述。信息盒内提供的按钮一般情况下供用户和信息盒进行交互操作。

所建议的系统允许弱视用户宣告信息盒的文字内容，从而为信息盒开辟一个位置。接着，可用来对信息盒响应的按钮按照由左到右的顺序加以宣告。提供了一个到达信号，用于寻找信息盒，当鼠标接近信息盒时，该到达信号的音调即变高。当箭头进入信息盒后，信息盒正文和可用的按钮即被重新宣告，同时箭头指向省却的按钮。弱视用户可以使用这类系统寻找计算机显示系统内的信息盒;然而，该系统无法向弱视用户提供建议：如何去选择性地寻找图形用户接口物象和如何在图形用户接口内将属于一个类别的物象和属于其他类别的物象区别开。

在1991年8月19日递交的美国专利申请序列号07/746840的名称为“具有立体声和过滤音响效果的音响用户接口”的专利申请中最近建议了另一个方法和系统，后者提供了立体声音响系统，当鼠标箭头移动时，从左到右的音响通道的强度就改变，这就允许弱视用户能在图形用户接口的窗口的顾客区域内找到鼠标箭头或其他图形指示装置。该系统还建议提高相关音响的音调，以标志箭头位置在窗口的顾客区别的顶部或底部。虽然此系统允许弱视用户在图形用户接口内操纵鼠标箭头，但它无法提供或建议任何技术，供这样的用户选择所显示图形物象组中特定的一个，或是将一个类别的物象和另一类别的物象区别开。

在1991年12月5日递交的美国专利申请序列号07/802956的名称为“帮助盲人或弱视计算机用户选择显示图形单元的方法和系统”的专利申请中建议了又一个方法和系统，其中围绕箭头顶点选用一个半径来限定一块有用区域，而这是由鼠标或其他图形指示装置所控制的，同时还产生混合音响信号，后者包括与计算机显示的每一个图形单元相关连的可识别的音响信号，这些可帮助弱视用户在计算机显示内找到图形单元。通过产生混合信号，或周期地产生混合信号，而这个混合信号的每个可识别的音响信号又都和一个图形物象相关连，同时该图形物象又在有用区域的可转动的扇区内具有图形单元，就可以使弱视用户快速而有效地在计算机显示内找到所选物象。虽然这类方法和系统允许弱视用户在计算机显示内找到图形用户接口物象，但它无法提出或建议任何技术，供用户将一类物象和另一类物象区别开。

因此本发明的一个目的是提供一种对弱视用户加强数据处理系统可用性的方法和系统。

本发明的另一个目的提供一个改进的方法和系统，供弱视用户使用计算机系统内的图形用户接口。

本发明的又一个目的是提供一个改进的方法和系统，供弱视用户在图形用户接口内可以识别、区别和选用属于众多物象类别中的一类的物象。

上述目的将如下所述来加以完成。本发明的方法和系统可用于供弱视用户在图形用户接口环境内在众多物象类别中清楚地识别划分出来的个别物象。在图形用户接口环境内，图形用户接口物象在众多物象类别中加以分类。在一个物象类别中每个物象都和一个具有至少两个音响特征的音响信号相关连。第一音响特征在一个物象类别中的所有物象间是共同的，但在其他物象类别的所有物象间是独特的。第二音响特征在一个物象类别中所有物象间是独特的。因此，为每个显示的物象都产生混合音响信号，后者包括由这两个音响特征组成的音响信号，通过听取和特定类别中所有物象关连的第一个音响特征，弱视用户能确定有多少物象类别显示出来，并能在物象类别之间加以区别。通过听取与同一类别中所有其他物象相关连的音响特征都不同的第二音响特征，弱视用户能确定该特定类别中有多少物象显示出来，并能将这些物象互相之间加以区别。由于能在不同物象类别之间和在同一特定类别中的不同物象之间加以区别，弱视用户即能更加有效地完成计算机操作和利用图形用户接口。

在所附权利要求书中提出体现本发明新特征的特点，在结合附图阅读以下描述后，将能了解本发明的其他目的和优点，附图中：

图1是用于实现本发明的方法和系统的数据处理系统的图形表示;

图2是图1的数据处理系统的简要框图;

图3是用于解释本发明的方法和系统的显示内容的图形表示;

图4是用于实现本发明的方法和系统的音响发生系统的简要框图;以及

图5a和5b描述了用于解释本发明的方法和系统的最佳软件实现的简要流程图。

现在参照附图，具体参照图1，其中描述了可用于实现本发明的方法和系统的数据处理系统10。如所描述那样，数据处理系统10最好包括处理器模块12和显示14。键盘16以大家熟知的方式接至处理器模块12。接至处理器模块12的还有鼠标20。

如所描述那样，显示14包括显示屏22和至少一个扬声器50，熟悉技术的人知道数据处理系统10可利用数种已知个人计算机系统之一来加以实现。然而，最佳实施例使用国际商业机器公司所卖的商标为“ValuePoint”的个人计算机。

现参照图2，这是图1的数据处理系统10的简要框图。如所描述那样，处理器模块12中的中央处理单元硬件由虚线长方形所代表，也标以12。在中央处理单元硬件中运行的操作系统52最好包括显示逻辑54。众多应用程序56在操作系统52上运行，视频接口逻辑和硬件58从显示逻辑54接收信息，后者以大家熟知的方式在视频显示14上显示出来。如图2所示，鼠标20和键盘16以个人计算机技术中众所周知的方式接至操作系统52。

数据处理系统10最好包括从显示逻辑54接收信息的询问码60，所接受的信息包括视频显示14内所显示窗口的类别，其中有窗口的位置和大小，以及由鼠标20决定的当前箭头位置。询问码60最好向音响硬件62的音响发生软件64提供信息，以提供包括不同音响单元的混合音响信号，这些音响单元可供弱视用户用于对视频显示14内所选图形物象的类别进行定位和识别。如此产生的混合音响信号送至音响输出装置，如扬声器50，其使用方式将在下面更详细地解释。

现参照图3，其中是用于解释本发明的方法和系统的图形显示。如所解释那样，在显示屏22内显示了图形用户接口。熟悉技术的人能认出，图形用户接口环境内显示的物象能分成多个物象类别：装置、数据和容器类别。当然，也可使用其他分类方法，对于完成不同任务可能会更有用。划分为容器的工作场所24是一个由图形用户接口提供的空间，用户可在其中完成全部任务，同时所有用户物象都驻留其中。本例中，显示屏22的面积实际上等于工作场所24。

在工作场所24内驱动器A26、驱动器B27、和窗口30都显示出来。打印机28是装置物象的一例。装置物象是一个代表物理或逻辑装置的物象，这些装置例如是打印机、鼠标或扫描器，它们都和用户系统相关连。用户通过将物象“拉出”或“投入”装置的物象图符，即可在实际上访问或向这类装置传送数据。

驱动器A26、驱动器B27和窗口30是容器物象的例子，它们的用途是容纳其他物象。窗口30可包括众多特征和/或指示器，它们包括：窗口名、系统菜单符、和位于名条内的决定窗口大小的按钮;位于名条下的菜单条，后者包括各种用于显示下拉菜单的选择;用于显示标志物象状态或物象的特定视图状态的信息的状态区;垂直和水平滚动条、滚动盒、滚动钮，和分盒指示器;以及用于显示有关物象或有关箭头所在处所选择的信息的信息区。

窗口30确定工作区31，后者是一个用于将窗口和物象加以组合以完成任务的容器。如所描述那样，工作区31包括文件32、文件33、文件34、文件夹35、和文件夹36。文件32-34是数据物象的典型例子。文件32-34所代表的数据文件可能由一个应用程序所建立，后者例如是字处理应用程序、数据库应用程序、空白表格应用程序、或类似应用程序。文件夹35和文件夹36是容器物象，用于容纳和便于组织数据处理系统10内的其他物象。

工作区31内显示的还有箭头37。箭头37是一个可移动的、可见的标记，用于指示一个位置，在该位置上可能会在工作场所24内进行操作。诸如鼠标20那样的指示装置用于在工作场所24内移动箭头37。

根据本发明的最佳实施例，工作场所24内所显示的每一个物象都和一个音响信号相关连。随后产生一个混合音响信号，后者包括和每个显示的物象相关连的每个音响信号单元。这类混合音响信号的产生将在下面更详细地描述。

现参照图4，其中有用于实现本发明的方法和系统的音响发生系统的简要框图。这类音响发生系统可利用市场上能买到的个人计算机的插入式音响板。这类插入式音响板的例子是“M-Audio Capture & Playback Adapter”，它是由国际商用机器公司制造以供销售，用于以注册商标“ValuePoint”发售的个人计算机。如所描述那样，所描述系统包括4个信号源72-75。每个信号源72-75产生一个由至少两个音响特征组成的音响信号。这类音响特征将在下面更详细地加以描述。信号源72-75可利用振荡器来产生音响信号，例如，可以将从存储器调出的数字化音响数据加以转换而产生音响信号。根据本发明的方法和系统，由信号源72-75产生的每个音响信号和工作场所24内显示的一个物象相关连。熟悉技术的人知道，可能需要更多的诸如信号源72-75那样的信号源，以便将音响信号和工作场所24内的每一个显示的物象相关连。

如图4所示，每个信号源72-75的输出端分别连至音量控制76-79。音量控制76-79最好用来随着箭头37和与音响信号相关连的物象之间距离的改变而将由相关连的信号源所产生的音响信号的音量加以改变。询问码60向距离修正器76提供距离信息。询问码60从显示逻辑54接收信息，后者包括和鼠标20相关连的当前箭头位置。例如，如图3所示，如箭头37离文件32比离文件33更近些，则与文件32相关连的音响信号将比与文件33相关连的音响信号发出更响的音响。

在和每个显示的物象相关连的音响信号的音量被修正后，每个音量控制76-79的输出被送至方向修正器80-83。方向修正器80-83用于为每个相关连的显示的物象产生一个左音响信号和一个右音响信号。听到适当建立并修正过的左的和右的音响信号时，用户能够感觉到在二度或三度空间内这类音响信号的方向。例如，如用户左耳比右耳略早一些到音响信号，则用户可以感觉到音响信号是从用户左侧来的。通过改变诸如音响信号强度、音响信号延迟时间、音响信号相位、音响信号的频谱分量、和音响信号的反响这样的特性，可以产生左的和右的通道的音响信号的组合，使倾听者能感觉到从相对于用户的一个特定方向发来的声音，包括上、下方向。

最后，每个方向修正器80-83的输出端连到相加线路84和85，每个左音响信号连到加法器84，而每个右音响信号则连到加法器85。加法器84和85用于产生左的和右的混合音响信号，后者包括与工作场所24内每个显示的物象相关连的每个音响信号单元。这些左的和右的混合音响信号然后接到音响输出装置86和87。音响输出装置86和87可利用诸如图1的扬声器50那样的一对扬声器来实现。

熟悉技术的人知道，用于产生左和右的混合音响信号的加法器84和85可以同时也可以串连地产生这类混合音响信号。一个同时产生的混合音响信号包含所有和一个显示的物象相关连的音响信号，后者由相关的音量控制和方向修正器所处理并同时加起来，使用户能够同时听到所有这些修正过的音响信号。另一方案是，加法器84和85可用顺序或串连方式将所连接的和适当修正过的音响信号加起来。也却，在一个周期内用户能在短时间内听到和显示的物象相关连的单独的适当修正过的音响信号。这种周期可以无限地重复，而当箭头在工作场所24内移动时可对音响信号做适当修正。

熟悉技术的人也应知道，加法器84和85可对用户输入做出响应，有选择地消除或滤去和所选显示的物象相关连的音响信号。这将在下面更详细地描述。

最后，参照图5a和5b，其中是用于解释本发明的最佳软件实施例的简要流程图。图5a描述初始化过程，从块100开始，再过渡到块102。块102描述图形用户接口环境物象的显示。这些物象可包括盘驱动器、文件夹、应用程序、文件和数据文件、打印机和其他外设、以及在图形用户接口环境内使用的类似物象。

其次，该过程过渡到块104，它解释这类图形用户接口环境物象的分类。以前讨论过的一种分类系统将物象划分为三类：装置、数据、和容器。下面的物象类别清单是分类系统的另一个例子，该分类系统能让弱视用户见到或建立起图形用户接口环境的思维图象。例如，物象类别包括：应用程序、文件或数据文件、盘驱动器、文件夹、网络连结器、打印机或外设、和废纸篓（或其他用于删除文件的这类物象）。

熟悉技术的人知道这个类别内的物象还可进一步再分类。例如，文件或数据文件类别可按照建立这类文件的应用程序进行再分类。因此，文件或数据文件可进一步再分类为由注册商标为“MI-CROSOFT WORD”的字处理程序建立的文件类，或为由注册商标为’WORDPERFECT”的字处理程序建立的文件类，或与其他字处理程序相关连的类似的物象类别。或者类似地，由所选文件夹的内容所决定的类别中的文件可按照大小、建立日期、或最后一次修改日期来再分类。

其次，如块106所描述的，该过程对每个类别的全部物象赋予不同于其他物象类别的第一音响特征。此后，如块108所描述，过程对每个类别中所有物象赋予不同于同一类别中所有其他物象的第二音响特征。这类第一和第二音响特征可包括音调，音质（也即由所选陪音的不同组合所决定的特定歌声或乐器的声调品质）、音步（也即每个周期的音节长短、重音、和节拍的基本循环律格式）、音量、和相对于用户所在地的声音方向。第一音响特征将一个类别的所有物象同其他类别的物象区分开。第二音响特征将同一类别中的一个物象同其他物象区分开。

例如，赋予代表盘驱动器的物象类别中每个物象的第一音响特征可以是“鼓”声。这鼓声可将“盘驱动器”类中所有物象同例如作为“文件夹”类的成员的物象区别开，后一类别可能赋予“动物”声。赋予盘驱动器类中每个物象的第二音响特征可以是特定的鼓声，例如网底罩鼓、耳鼓、或低音鼓。因此第二音响特征可用于将一类中的个别物象与同一类中所有其他物象区域开。

熟悉技术的人知道，只要第一音响特征用于在图形用户接口环境内将一个物象标识为一个类别的成员，并用于将该物象的类别同其他所有类别区分开，则第一音响特征可以是音调、音质、音步、音量和声音方向的许多组合中的任何一种。因此第一音响特征可以是具有特定音调和持续时间（音步）的简单音，或第一音响特征可以是一个复合音，例如普通的鼓声，它可用于标识用户可能非常熟悉的物象的类别，例如一种称为鼓的乐器的类别。

相类似，只要第二音响特征用于将一个特定类别内所赋予音响特征的物象同该特定类别中所有其他物象区域开，则第二音响特征可以包括音调、音质、音步、音量和声音方向的众多组合中的一个。因此第二音响特征可以是一个可同相关连的第一音响特征区别开的简单音，或者第二音响特征可以是例如网底罩鼓声音那样的复合音，用于将声音像其他鼓声的特定物象类别中的一个物象区别出来。

其次，如块110所描述，过程为每个显示的物象产生一个包括第一和第二音响特征的音响信号，随后如块111所描述那样，初始化过程停止。

现参照图5b，用于将图形用户接口物象定位的过程在块112处开始，然后继续下去到块114。块114解释了对显示内箭头位置的询问。这种对箭头位置的询问可产生一个象素行/象素列地址，用于描述显示内箭头的位置。如上面所讨论过的，询问码60可从显示逻辑54获得和鼠标20相关连的当前箭头位置。

接着如块116所描述，按照工作场所24内相对于箭头位置的物象位置，过程为每个和显示的物象相关连的音响信号计算位置修正值。如上面所讨论过的，如选用信号音量和信号方向作为设计参量，用于向用户传递相对于箭头位置的其他显示的物象的位置，则由过程计算的这种位置修正值在后面可用于修正与每个显示的物象相关连的音响信号的音量和方向特性。

其次，如块118所解释，这种位置修正值用来修正与每个显示的物象相关连的每个音响信号，作为例子，考虑下列情况：物象在显示的远左侧而箭头则在显示的远右侧。在此情况下，用户可以听见与位于屏幕左侧的物象相关连的音响信号，它是一个来自左方的弱音。如用户接着将光标向左移动，趋向位于屏幕左侧的物象，则与位于屏幕左侧的物象相关连的音响信号的音量随着光标移近物象而增强。

如果用户接着将箭头移至屏幕上位于物象左方的位置，与该物象相关连的音响信号也会改变，初始时它听起来是来自左方，而当用户将箭头移动绕过物象时，该声音明显地从左方向改变为右方向。

其次，如块120所描述，过程确定用户是否已选择了用户希望听见的物象类别。通过选择一个物象类别，用户可以消除与属于其他类别的显示的物象相关连的音响信号，因而使用户可以将注意力集中在属于所选类别的成员的音响信号上。因此，当工作场所24内显示许多物象时，对于那些用户暂时还不想进行交互操作的显示的物象所关连的音响信号，用户可以将它们消除或滤去。用户想要选择需要听的物象时，可以使用键盘16按指定敲键顺序输入，或在鼠标20上按指定顺序按下按钮。

如用户已选择了要听的物象的类别，如块122所解释，过程将与所选的显示的物象的类别相关连的修正过的音响信号加以组合或相加。如用户没有选择要听的物象类别，则过程将与每个显示的物象相关连的所有修正过的音响信号都加以组合或相加。因此，决定于用户是否选择了要听的物象类别，用户可能听到相加的或混合的音响信号，它包括或与一个特定的显示的物象类别或与所有显示的物象类别相关连的音响信号，其中与每个物象相关连的音响信号的音量和感觉到的方向决定于显示中该物象相对于箭头位置的距离和方向。如前所讨论的，用于产生混合音响信号的加法操作可以串连地或顺序地加以实现。

因此，如块126所描述的，过程利用音响输出装置，例如音响耳机或扬声器来输出可能包括左和右的混合音响信号的这种混合音响信号。

如块128所描述，过程确定箭头是否在显示内移动过。如箭头已移动过，过程过渡到块114，其中过程确定显示内箭头的新位置，并如上面所描述那样，产生一个对显示内箭头新位置作出响应的新的组合的音响信号。

如箭头没有移动过，过程过渡到块130。块130要确定用户是否已选择要听的不同物象类别。如用户没有选择要听的不同的物象类别，过程通过“否”分支从块130回至块128。如用户选择了要听的不同物象类别，过程过渡到块122，因此如上所描述，产生一个新的混合音响信号。

通过参照上面各点，熟悉技术的人将知道，申请人提供了一种技术，供弱视用户通过将恰当地修正过的音响信号加以关连，从而将计算机显示内的图形用户接口物象加以定位，该修正过的音响信号具有多重音响特性，能够将一个类别内的显示的物象加以区别，并将物象划分为一个可加区别的物象类别的成员。

虽然本发明参照了最佳实施例具体地显示和描述过，但熟悉技术的人知道，可以在不背离本发明的精神和范围的情况下在形式和细节上进行不同修改。

Claims (14)

1、一种在数据处理系统中帮助弱视用户在图形用户接口环境内在众多的显示的的物象类别中清楚地识别个别显示的物象的方法，所述数据处理系统具有一个和一个移动的光标单元相关连的显示指示装置、一个用户输入装置、和一个音响输出装置，所述方法包括以下步骤：

将具有至少两个音响特征的音响信号与所述图形用户接口环境内显示的物象类别中的每一个物象相互关连，其中所述至少两个音响特征中的第一个在所述图形用户接口环境内在一个物象类别中的所有物象间是共同的，而在所有所述众多物象类别间是独特的，以及所述至少两个音响特征中的第二个在一个物象类别内的所有物象间是独特的；以及

产生一个包括与在所述图形用户接口环境内每个所述显示的物象相关连的每个音响信号单元的混合音响信号，其中用户可以确定在所述图形用户接口环境内显示了多少物象类别，以及在每个所述众多物象类别内显示了多少物象。

2、根据权利要求1的方法，其特征在于所述至少两个音响特征中的所述第一个包括音质，而所述至少两个音响特征中的所述第二个包括音调。

3、根据权利要求1的方法，其特征在于所述至少两个音响特征中的所述第一个包括一个普通鼓的音响特征，而所述至少两个音响特征中的所述第二个包括一个特种鼓的音响特征。

4、根据权利要求1的方法，其特征在于所述至少两个音响特征中的所述第一个包括音色，而所述至少两个音响特征中的所述第二个包括周期性。

5、根据权利要求1的方法，其特征在于还包括用于确定从所述可移动光标到每个所述显示的物象的方向的步骤，以及所述用于产生包括与所述图形用户接口环境内每个所述显示的物象相关连的每个音响信号单元的混合音响信号的步骤还包括用于产生左的混合音响信号和右的混合音响信号的步骤。

6、根据权利要求5的方法，其特征在于还包括用于确定从所述可移动光标到每个所述显示的物象的距离的步骤，以及所述用于产生左的混合音响信号和右的混合音响信号的步骤还包括用于按照从所述可移动光标单元到每个所述显示的物象的距离来成比例地改变每个相关连的音响信号强度的步骤。

7、根据权利要求1的方法，其特征在于所述用于产生包括与所述图形用户接口环境内每个所述显示的图象相关连的每个音响信号单元的混合音响信号的步骤还包括对利用所述用户输入装置的用户输入操作做出响应，用于产生包括每个音响信号单元的混合音响信号的步骤，其中所述音响信号单元与在所述图形用户接口环境内所述显示的物象的所选类别相关连。

8、一种用于帮助弱视用户在图形用户接口环境内众多显示的物象类别中清楚地识别个别显示的物象的数据处理系统，所述数据处理系统具有与可移动光标单元相关连的显示指示装置、一个用户输入装置、和一个音响输出装置，所述数据处理系统包括：

用于将一个具有至少两个音响特征的音响信息与所述图形用户接口环境内显示的物象类别中每个物象相互加以关连的装置，其中所述至少两个音响特征中的第一个在所述图形用户接口环境内一个物象类别中所有物象间是共同的，而在所有所述众多物象类别中是独特的，而所述至少两个音响特征中的第二个在一个物象类别中的所有物象间是独特生;以及

用于产生包括与所述图形用户接口环境内每个所述显示的物象相关连的每个音响信号单元的混合音响信号的装置，其中用户能确定在所述图形用户接口环境内显示了多少物象类别，以及在所述众多物象类别的每个类别中显示了多少物象。

9、根据权利要求8的数据处理系统，其特征在于所述至少两个音响特征中的所述第一个包括音质，而所述至少两个音响特征中的所述第二个包括音调。

10、根据权利要求8的数据处理系统，其特征在于所述至少两个音响特征中的所述第一个包括普通鼓的音响特征，而所述至少两个音响特征中的所述第二个包括特种鼓的音响特征。

11、根据权利要求8的数据处理系统，其特征在于所述至少两个音响特征中的所述第一个包括音色，而所述至少两个音响特征中的所述第二个包括周期性。

12、根据权利要求8的数据处理系统，其特征在于还包括用于确定从所述可移动光标单元到每个所述显示的物象的方向的装置，而所述用于产生包括与所述图形用户接口环境内每个所述显示的物象相关连的每个音响信号单元的混合音响信号的装置还包括用于产生左的混合音响信号和右的混合音响信号的装置。

13、根据权利要求12的数据处理系统，其特征在于还包括用于确定从所述可移动光标单元到每个所显示物象的距离的装置，而所述用于产生左的混合音响信号和右的混合音响信号的装置还包括用于按照从所述可移动光标单元到每个所述显示的物象的所确定的距离来成比例地改变每个相关连的音响信号的强度的装置。

14、根据权利要求8的数据处理系统，其特征在于所述用于产生包括与所述图形用户接口环境内每个所述显示的物象相关连的每个音响信号单元的混合音响信号的装置还包括对利用所述用户输入装置的用户输入操作做出响应，用于产生包括与在所述图形用户接口环境内所述显示的物象的所选类别相关连的每个音响信号单元的混合音响信号的装置。

Images