CN106415446B - 通过触觉交互对内容属性的可访问性检测 - Google Patents

Abstract

一个或多个触觉效果可以被映射至应用程序用户界面项、格式属性、和文档结构并且被应用至包括触觉功能(例如，可变形屏幕、振动器、静电荷、热等)的显示器。可以将格式、结构、以及用户界面项映射至能够由视力障碍的用户所感觉到的不同的屏幕振动。视力障碍的用户可以能够利用他的/她的触觉来更容易地理解文档的格式和结构，并且有更大的信心来创作专业的、并且一致地格式化和结构化的文档。触觉效果可以被应用至所显示的用户界面项的位置、格式属性、或文档结构，或者可以被应用至显示器的指定区域。

Description

通过触觉交互对内容属性的可访问性检测

背景技术

对于计算设备的视力障碍的用户而言，文档阅读和创作会是困难的。目前，存在当用户例如经由键盘按键或经由他的/她的手指在(支持触屏阅读器的触摸设备的)屏幕上来回滑动而浏览文档的内容时大声朗读文档内容的一些辅助技术。这样的技术具有不同水平的准确度并且涉及用户对所大声朗读的内容的理解，并且涉及心理上对文档进行可视化以了解内容是什么及它看起来是什么样子的。

一些现有的屏幕阅读器可以用于朗读文档内容的某些属性(例如，位置、数据、格式等)。例如，在第一单元格的内容为$324的电子表格文档中，所述内容被格式化为具有下划线、粗体、以及红色字体，屏幕阅读器可以大声朗读：“单元格A1。内容，324美元。粗体。下划线。颜色，红色。”视力障碍的用户必须记住属性和文档内容中的每一项以构建关于有视力的用户只看一眼就能够理解的内容的心理图片。

当视力障碍的用户想要创作内容时，问题会进一步复杂。例如，在不能够看到文档看上去是什么样子的情况下尝试将内容输入到正确的位置中并且将格式应用至文档可能是非常具有挑战性的，尤其是当尝试创作看上去美观、一致、并且专业的文档时。

当前，还不存在允许视力障碍的用户利用他们的其他感觉来检测文档的格式、内容、和一致性而不需要用户一次朗读一个词语/单元格/节点并记住已经应用的格式的可用的辅助技术。已经关于这些和其他考虑而进行了本发明。

发明内容

提供了该发明内容以用简化的形式介绍在以下的具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在帮助确定所要求保护的主题的范围。

通过提供触觉效果至应用程序用户界面项、格式属性、和文档结构的映射，本发明的实施例解决了上述及其他问题。通过利用具有一个或多个触觉功能(例如，可变形屏幕、振动器、静电荷、热等)的显示器，可以将格式、结构、以及用户界面项映射至可以由视力障碍的用户感觉到的不同的屏幕振动。视力障碍的用户可以能够利用他的/她的触觉来更容易地理解文档的格式和结构，并且有更大的信心来创作专业的、并且一致地格式化和结构化的文档。

在以下的附图和描述中阐述了一个或多个实施例的细节。通过阅读以下的详细描述并回顾相关联的附图，其他特征和优点将变得明显。应当理解的是，以下的具体实施方式仅仅是解释性的，并且对所要求保护的本发明不是限制性的。

附图说明

合并于该公开中并组成该公开的一部分的附图示出了本发明的各种实施例。在图中：

图1是用于提供触觉效果至应用程序用户界面项、格式属性、和文档结构的映射的系统的一个实施例的框图；

图2A是包括可以被映射至触觉效果的各种格式属性的示例文字处理文档的示图；

图2B是应用至格式属性的变形触觉效果的示图；

图2C是应用至格式属性的变形触觉效果的另一个示图；

图2D是应用至格式属性的振动触觉效果的示图；

图2E是映射至结构并在触觉变形区域中应用的变形触觉效果的示图；

图2F是应用至用户界面项的变形触觉效果的示图；

图3是用于提供触觉效果至应用程序用户界面项、格式属性、和文档结构的映射的方法的流程图；

图4是示出了利用其可以实践本发明的实施例的计算设备的示例物理组件的框图；

图5A和5B是利用其可以实践本发明的实施例的移动计算设备的简化框图；并且

图6是利用其可以实践本发明的实施例的分布式计算系统的简化框图。

具体实施方式

以下的具体实施方式参考了附图。只要有可能，在附图和以下的描述中所使用的相同的附图标记指的是相同或相似的元素。尽管可以描述本发明的实施例，但修改、改编、以及其他实现也是可能的。例如，可以对在附图中所示出的元素进行替换、增加、或修改，并且可以通过对所公开的方法进行替换、重新排序、或增加步骤来修改在本文中所描述的方法。从而，以下的详细描述不对本发明进行限制，但替代地，本发明的合适的范围是由所附权利要求来定义的。

本发明的实施例针对提供触觉效果至应用程序用户界面项、格式属性、和文档结构的映射。现在参考其中相同的附图标记指示相同的元素的附图，将描述各种实施例。图1是示出了用于提供触觉效果至应用程序用户界面项、格式属性、和文档结构的映射的系统架构100的框图。网络架构100包括计算设备110。计算设备110可以是用于执行应用程序120A、B(统称为120)以用于执行各种任务的各种类型的计算设备中的一种计算设备(例如，平板计算设备、台式计算机、移动通信设备、膝上型计算机、台式/平板混合计算设备、大屏幕多点触摸显示器、游戏设备、智能电视、或者其他类型的计算设备)。将参考图4在下文中更加详细地描述利用其可以实践本发明的实施例的计算设备110的物理组件(即，硬件)。

用户102可以针对多种任务而利用计算设备110上的应用程序120，所述任务包括例如：读、写、计算、画、整理、准备演示、发送和接收电子邮件、记录和整理笔记、制作音乐等。应用程序120可以包括可以本地存储在计算设备110上的胖客户端应用程序120A，或者可以包括可以驻留在远程服务器130上并且通过网络140(例如，互联网或内联网)可访问的瘦客户端应用程序120B(即，网络应用程序)。瘦客户端应用程序120B可以托管在浏览器控制的环境中，或者以浏览器支持的语言来编码并且依赖于常见的网络浏览器，以呈现在计算设备110上可执行的应用程序。

应用程序120可以被配置为使得用户102能够使用定点设备(例如，鼠标、笔/触摸笔等)和/或利用计算设备110上的传感器124(例如，触摸传感器、加速度计、悬停、面部识别、语音识别、光传感器、接近度传感器、陀螺仪、倾斜传感器、GPS等)以经由多个输入模式来与内容122进行交互。为帮助用户定位和利用给定的应用程序120的功能，可以提供包含多个可选择功能控件的用户界面(UI)。

计算设备110可以被配置为接收用于在显示器126上呈现的内容122。根据实施例，显示器126可以是可操作以用一个或多个触觉形式来提供信息的各种类型的显示器中的一个显示器，所述触觉形式例如经由变形的按钮和形状、振动、加热、摩擦、调制频率等。例如，显示器126可以包括气体或微流体触觉面板、电活性聚合物、压电材料、静电材料、或者亚音速表面致动器等。即，显示器126的功能可以可操作以向显示器126产生用户102能够通过他的/她的触觉而检测到的改变。

可以经由触觉效果模块128来致动触觉效果132(例如，加热、振动、变形、摩擦等)。根据实施例，触觉效果模块128可以可操作以将一个或多个触觉效果132映射至文档结构、文档格式、和/或应用程序用户界面项。触觉效果模块128可以额外地可操作以经由将以盲文点形式的变形触觉效果132映射至文档中的文本而将文本转换成盲文。

可以从使用标准行业惯例的现有的样式、文件格式、和说明符中读取诸如颜色(例如，背景颜色、字体颜色、填充颜色等)、字体大小、字体着重(例如，粗体、斜体、删除线、下划线等)等之类的格式属性以及结构属性(例如，表格、带状表(banded tables)、项目符号列表、对齐、缩进、数据透视表、页面主体部分、页眉、页脚、图片、形状、图像、图表、注释、超链接、文本框、签名档、方程、内联应用程序等)。格式或结构说明符可以包括结构，其中索引、对齐、或格式规则可以定义元素的格式或结构。例如，可以利用CSS句法来指定文字处理文档中的字体元素格式属性内的文本颜色(格式属性)，这可以由触觉效果模块128读取、映射至具体的触觉效果132(例如，变形)、并且应用至显示器126。作为另一个示例，可以利用HTML标记来指定网页中的右对齐的文本(结构属性)，这可以由触觉效果模块128读取、映射至具体的触觉效果132(例如，局部振动)、并且应用至显示器126。

根据实施例，可以根据预先定义的标准来映射格式属性或结构向其映射的触觉效果132或多个触觉效果132的组合。例如，可以设置标准，其中粗体格式被映射至单个振动或某高度的变形。根据另一个实施例，显示器126可以可操作以支持提供单个触觉效果132或者有限的触觉效果。从而，可以将单个结构属性映射至显示器126所支持的触觉效果132。例如，计算设备110的显示器126可以可操作以将局部振动应用至屏幕的不同部分，但是可以不支持其他触觉效果132(例如，变形、调制频率、加热等)。从而，当接收到向用户102“示出”具体的格式属性或结构的请求时，可以在具体地格式化的元素和/或结构化的元素的位置处或者在显示器126上的定义的区域中将显示器126所支持的触觉效果132应用至显示器126，如将在下文中更加详细地描述的那样。

根据实施例，触觉效果132可以是开/关效果或者可以根据格式化的等级而缩放。开/关触觉效果132的示例可以包括将变形映射至下划线元素。当用户102在显示器126上移动他的手指时，屏幕可以在文档中显示下划线元素的地方变形。一些显示器126可以针对格式化的渐变等级(graduated levels)而支持多个程度的触觉效果132。例如，如果将字体大小映射至调制频率触觉效果132，则字体越大，摩擦力可以越强。可以经由简单的曲线将触觉效果132的变化的速率映射至格式的渐变等级。

在图2A-2C中示出了映射至格式属性202的变形触觉效果132的示例。在所示出的示例中，示出了计算设备110，该计算设备110包括可操作以显示内容122并且以一个或多个触觉形式来提供信息的显示器126。在图2A-2C中所示出的计算设备110是平板计算设备；然而，应当理解的是，所示出的平板计算设备仅仅是出于示例和说明的目的的，而不对可以用于实践在本文中所描述的本发明的实施例的大量计算设备配置进行限制。

在图2A中所示出的示例显示内容122是文字处理文档，并且包括多种格式属性202，例如，粗体文本、斜体文本、和各种字体类型和大小。在图2A中所示出的示例中，可以接收将触觉效果132映射至格式属性202的请求，例如，将触觉效果132映射至粗体文本。

在接收到请求之后，触觉效果132可以被映射至格式属性202并且被应用至显示器126。在图2B和2C所示出的示例中，将变形触觉效果132应用至文档的粗体文本202。根据计算设备110和显示器126的技术功能，触觉效果132可以如在图2B中所示出的那样被应用至包括特定的格式元素(或结构204)的元素，或者可以如在图2C中所示出的那样被应用至接近经格式化的元素(或结构)的区域。

在图2D中示出了振动触觉效果132的示例说明。如图所示，振动触觉效果132可以被映射至并且被应用至所显示的文档中的粗体格式。可以在用户102触摸经格式化的元素之前应用振动触觉效果132或者可以在检测到触摸之后应用振动触觉效果132。

根据实施例，可以将格式属性202或结构204映射至单个触觉效果132。在一些情况下，例如，如果元素包含多个格式属性202和/或结构204，则可以将多个触觉效果132应用至该元素。作为示例，可以将加热事件和变形应用至红色并且以“标题1”的样式格式化的文本。根据另一个实施例，可以将格式属性202或结构204映射至多个触觉效果132的组合。例如，可以将变形和振动应用至文档中的图片。根据另一个实施例，可以将格式属性202和结构204映射至效果的组合，所述效果可以包括触觉效果132和另一种类型的效果，例如能够听到的效果。例如，当用户102用他的/她的手指在文档内容上扫过时，具体的格式属性202可以被表达为噪声并且可以或可以不连同触觉效果132一起被应用。

根据实施例，将触觉效果132映射至格式属性202或结构204的请求可以是预先设置或预先选择的选项，例如，可以自动地提供针对粗体文本或针对表格的触觉信息。根据另一个实施例，将触觉效果132映射至格式属性202或结构的请求可以是由用户102经由各种类型的输入方法(例如，键盘输入、触摸输入、语音输入、手势输入、鼠标输入等)中的一种方法而进行的选择。

实施例提供了在给定的时间处选择性地应用与特定类型的格式属性202和/或结构204(或者特定格式属性202和/或结构204的组合)相对应的触觉效果132。从而，触觉效果132可以被应用至包括特定的格式属性202和/或结构204的元素或者与所述元素相关联地应用。例如，用户102可以经由语音命令“向我显示所有方程”来指示(即，请求)处理针对文档中的所有方程的触觉效果132。从而，可以将特定的触觉效果132映射至所有方程格式化的结构，并且可以将触觉效果132应用至显示器126。

根据实施例，可以将触觉效果132映射至与当前所选择的格式属性202和/或结构204相匹配的内容。例如，用户可以触摸或选择文档中的一段文本，并且接着选择特定的用户界面(UI)功能命令或者说：“给我示出与该样式相匹配的所有文本”。从而，文档中与用户所选择的一段文本相匹配的所有文本都可以被变形或所应用的另一种触觉效果132。

触觉效果模块128可以可操作以在用户102探索显示器126上的格式和结构时保存状态。考虑到例如用户102可以首先请求将触觉效果132应用至文档中的某个结构204。用户102可以说出命令：“给我示出所有表格”。可以将触觉效果132(例如，加热)应用至文档中的表格。接着，用户可以经由触摸经加热的对象或者经由语音或其他输入方法来选择表格，并且请求“示出表格中的经格式化的文本”。从而，可以将触觉效果132可以应用至文本、带状行等。触觉效果132可以是首先应用的相同的触觉效果132(在该示例中是加热，或者可以是不同的触觉效果132)的渐变等级。可以继续应用触觉效果132，并且用户102可以继续进行将触觉效果132应用至额外的格式属性202和结构204的请求。

根据另一个实施例，用户102可以想要将触觉效果132映射至与所选择的格式化和/或结构化的元素不匹配的元素。这可以帮助用户102在他/她的文档中找到不一致性。例如，用户102可以选择文档中的表格并且说：“给我示出与这个表格不匹配的表格”。从而，可以将触觉效果132应用至文档中具有与当前所选择的表格不匹配的样式组合的所有表格。

可以使得用户102能够基于当前的选择而改变对象的格式。例如，用户可以选择对象并且请求复制该对象的格式。触觉效果模块132可以可操作以收集格式标签。在接收到对选择目标对象的指示和应用所复制的格式的请求之后，可以将所复制的格式可以被应用至目标对象。作为示例，用户102可以选择具有粗体标题行、带状列(banded column)、斜体文本、以及14磅字体的表格。用户102可以提供命令“记住该格式”或者“复制该格式”，并且接着“给我示出文档中不是以该方式格式化的所有表格”。接着，可以将触觉效果132应用至不具有相同的格式属性202的表格。接着，用户102可以选择表格并进行“对此应用该格式”的请求。从而，可以应用所复制的格式。

根据实施例并且如在图2E中所示出的，可以将触觉效果132应用至显示器126的具体的局部区域。即，可以将触觉效果132应用至显示器126的指定部分(在本文中被称为触觉信息区域206)，而不是将触觉效果132应用至经格式化的对象或结构的位置。在图2E中所示出的示例示出了在计算设备110上所显示的电子表格文档208。电子表格文档208包括诸如表格和图表之类的多种结构204，以及诸如粗体文本、各种字体类型、大小等之类的各种格式属性202。格式和/或结构可以被映射至触觉效果132或者多个触觉效果132的组合，并且被应用至触觉信息区域206。用户102可以用一只手来浏览该文档，并且可以在触觉信息区域206中以触觉方式来表达格式属性202和/或结构204。例如并且如图所示，用户102可以用一只手来浏览文档208。在他/她触摸到电子表格文档208中的图表(结构204)时，可以将映射至特定的结构204的变形的模式(触觉效果132)应用至触觉信息区域206中。用户102可以用他的/她的另一只手来感受该变形，并且对触觉效果132向其映射的特定的结构204(或格式属性202)进行解译。尽管在图2E中所示出的触觉效果132是变形，但应该注意的是，触觉效果132可以是各种触觉效果132中的一个或组合。

根据实施例，可以利用触觉信息区域206来进行训练。例如，可以将与特定格式属性202或者结构204相关联的触觉效果132应用至触觉信息区域206中。触觉效果132可以与所应用的其他效果隔离，以使得用户102可以能够感受到触觉效果132并且学习该效果以用于识别。接着，用户102可以前往所显示的文档并且找到具有所应用的触觉效果132的元素。可以在触觉信息区域206中或者结合触觉信息区域206来向用户提供额外的信息，所述额外的信息向用户指示映射至触觉效果132的格式属性202或结构204。例如，当用户触摸触觉效果132时，映射至触觉效果132的格式属性202或结构204可以被大声地被读出。

如在上文中所提及的，可以将触觉效果132映射至用户界面项，例如，任务窗格、工具栏、用户界面功能命令等。现在参考图2F，示出了应用至用户界面项208的触觉效果132的示例图示。在所示出的示例中，将变形触觉效果132应用至应用程序工具栏。用户102可以经由语音命令或者其他输入方法来请求将触觉效果132应用至命令表面。用户102能够通过能够感受到工具栏来感受工具栏的位置。

图3是示出了用于提供将触觉效果映射至应用程序用户界面项、格式属性、和文档结构的方法300的一个实施例的流程图。方法300在操作305处开始并且继续至操作310，其中，可以接收到将触觉效果132提供至格式属性202、结构204、和/或UI项的请求。如在上文中所描述的，该请求可以是预先选择的选项，其中，触觉效果132可以被自动地映射并应用至某些格式属性202、结构204、和/或UI项；或者该请求可以是由用户102进行的选择/命令。例如，用户102可以选择功能命令或者输入语音命令，以将触觉效果132应用至所有或具体的格式属性202、结构204、和/或UI项。

如果请求是要针对格式属性202或结构204提供触觉效果132，则方法300可以继续至操作312，在操作312处，可以读取格式属性202或结构204。如在上文中所描述的，可以从使用标准行业惯例(例如HTML、CSS、JavaScript、应用程序专用标签等)的现有的样式、文件格式、以及说明符中读取格式属性202或结构204。

方法300可以继续至操作315，在操作315中，可以将一个或多个触觉效果132映射至所有或映射至具体的格式属性202、结构204、和/或UI项。如果请求是要针对格式属性202或结构204而提供触觉效果132，所述触觉效果132可以根据所读取的格式或结构来映射。

在操作320处，可以将一个或多个触觉效果132应用至显示器126。如先前所描述的，可以在位于或接近于格式属性202、结构204、和/或UI项的位置处应用触觉效果132，或者可以在触觉信息区域206中应用触觉效果132，在信息区域206中，当用户102用他/她的一只手触摸到所显示的文档中的UI项或经格式化的对象或结构时，他/她可以用另一只手感受到效果，如在图2E中所示。

方法300可以返回操作310、可以继续至操作325、或者可以在操作395处结束。如果方法300返回操作310，则可以接收针对格式属性202、结构204、和/或UI项而提供触觉效果132的下一请求。如在上文中所描述的，当用户102探索对象的结构204和/或格式202时，可以保存状态。触觉效果132还可以选择性地忽略或者可以超时。

在操作325处，可以接收基于当前选择来应用格式的请求。所述请求可以包括对象的选择、用于复制对象的格式属性202的输入、目标对象的选择、以及用于将所复制的格式属性202应用至目标对象的输入。

方法300可以继续至操作330，在操作330处可以将所复制的格式属性202应用至目标对象。方法300可以在操作395处结束。

尽管已经在结合在计算机的操作系统上运行的应用程序而执行的程序模块的一般性的上下文中描述了本发明，但本领域技术人员将理解的是，也可以结合其他程序模块来实现本发明。通常而言，程序模块包括例程、程序、组件、数据结构、以及执行特定的任务或实现特定的抽象数据类型的其他类型的结构。

在本文中所描述的实施例和功能可以经由多种计算系统来操作，所述计算系统包括但不限于：台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或板式计算机、以及膝上型计算机)、手持式设备、多处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、以及大型计算机。

另外，在本文中所描述的实施例和功能可以在分布式系统(例如，基于云的计算系统)上操作，其中，应用程序功能、存储器、数据存储及取回、以及各种处理功能可以通过分布式计算网络(例如，互联网或内联网)彼此远程地进行操作。各种类型的用户界面和信息可以经由板载计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示。例如，各种类型的用户界面和信息可以在各种类型的用户界面和信息所透射到的墙面上显示并且与这样的墙面进行交互被投射在其上。与本发明的实施例可以利用其实践的多种计算系统交互包括：击键输入、触摸屏输入、语音或其它音频输入、手势输入，其中相关联的计算设备装备有用于捕获和解译用户手势的检测(例如，相机)功能，以用于控制计算设备的功能等。

图4-6以及相关联的描述提供了对其中可以实践本发明的实施例的多种操作环境的讨论。然而，关于图4-6所示出和讨论的设备和系统是出于示例和说明的目的，而不限于可以用于实践在本文中所描述的本发明的实施例的计算设备配置。

图4是示出了可以利用其实践本发明的实施例的计算设备400的物理组件(即，硬件)的框图。在下文中所描述的计算设备组件可以适用于在上文中所描述的计算设备110。在基本配置中，计算设备400可以包括至少一个处理单元402和系统存储器404。根据计算设备的配置和类型，系统存储器404可以包含但不限于：易失性存储器(例如，随机存取存储器)、非易失性存储器(例如，只读存储器)、闪速存储器、或者这样的存储器的任意组合。系统存储器404可以包括操作系统405以及适用于运行软件应用程序450(例如客户端应用程序120和触觉效果模块128)的一个或多个程序模块406。例如，操作系统405可以适用于控制计算设备400的操作。此外，本发明的实施例可以结合图形库、其他操作系统、或任何其他应用程序来实践，并且不限于任何特定的应用程序或系统。在图4中由虚线408内的那些组件示出了该基本配置。计算设备400可以具有额外的特征或功能。例如，计算设备400还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。在图4中由可移动存储设备409和不可移动存储设备410示出了这样额外的存储。

如上所述，可以将多个程序模块和数据文件存储在系统存储器404中。当在处理单元402上执行时，程序模块406可以执行以下过程，其包括但不限于在图3中所示出的方法300的步骤中的一个或多个步骤。可以根据本发明的实施例而使用的其他程序模块可以包括以下应用，例如电子邮件及联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、画图或计算机辅助应用程序等。

此外，可以在包括分立电子元件的电路、包含逻辑门的封装或集成的电子芯片、利用微处理器的电路、或者在包含电子元件或微处理器的单个芯片上实现本发明的实施例。例如，可以经由其中在图4中所示出的组件中的每个或许多组件可以集成在单个集成电路上的片上系统(SOC)来实现本发明的实施例。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，其全部作为单个集成电路而被集成(或“烧”)到芯片基底上。当经由SOC进行操作时，可以经由在单个集成电路(芯片)上与计算设备400的其他组件集成的专用逻辑来对在本文中所描述的功能进行操作，所述功能是关于提供触觉效果132至应用程序用户界面项、格式属性202、以及结构204的映射的。还可以使用能够执行逻辑操作(例如AND、OR和NOT)的其他技术来实践本发明的实施例，所述其他技术包括但不限于机械、光学、流体、和量子技术。另外，可以在通用计算机内或在任何其他任何电路或系统中实践本发明的实施例。

计算设备400还可以包括一个或多个输入设备412，例如键盘、鼠标、笔、语音输入设备、触摸输入设备等。也可以包括诸如显示器126、扬声器、打印机等之类的输出设备414。前述设备是示例并且也可以使用其他设备。计算设备400可以包括允许与其他计算设备418进行通信的一个或多个通信连接416。合适的通信连接416的示例包括但不限于：射频发射机、接收机、和/或收发机电路；通用串行总线(USB)、并行和/或串行端口。

如在本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以任何用于存储信息(例如，计算机可读指示、数据结构、或程序模块)的方法或技术来实现的易失性的和非易失性的、可移动的和不可移动的介质。系统存储器404、可移动存储设备409、以及不可移动存储设备410都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括RAM、ROM、电可擦只读存储器(EEPROM)、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储信息并且可以由计算设备400访问的任何其他制品。任何这样的计算机存储介质都可以是计算设备400的一部分。计算机存储介质不包括载波或其他传播或调制的数据信号。

通信介质可以由计算机可读指令、数据结构、程序模块、或已调数据信号(例如，载波或其他传播机制)中的其他数据来实施，并且包括任何信息传递介质。术语“已调数据信号”可以描述具有一个或多个特征集合或者以将信息编码在信号中的方式进行改变的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学的、射频(RF)的、红外的、和其他无线介质之类的无线介质。

图5A和5B示出了利用其可以实践本发明的实施例的移动计算设备500，例如，移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图5A，示出了用于实现实施例的移动计算设备500的一个实施例。在基本配置中，移动计算设备500是具有输入元件和输出元件两者的手持计算机。移动计算设备500通常包括显示器505以及允许用户向移动计算设备500中输入信息的一个或多个输入按钮510。移动计算设备500的显示器505还可以充当输入设备(例如，触摸屏显示器)。如果被包括在内，可选的侧输入元件515允许进一步的用户输入。侧输入元件515可以是旋转开关、按钮、或任何其他类型的手动输入元件。在可替代的实施例中，移动计算设备500可以包含更多或更少的输入元件。例如，在一些实施例中，显示器505可以不是触摸屏。在另一个可替代的实施例中，移动计算设备500是便携式电话系统，例如蜂窝电话。移动计算设备500还可以包括可选的小键盘535。可选的小键盘535可以是物理小键盘或是在触摸屏显示器上生成的“软”小键盘。在各种实施例中，输出元件包括用于示出图形用户界面(GUI)的显示器505、视觉指示器520(例如，发光二极管)、和/或音频换能换能器525(例如，扬声器)。在一些实施例中，移动计算设备500包含用于给用户提供触觉反馈的振动换能器。在另一个实施例中，移动计算设备500包含用于向外部设备发送信号或者从外部设备接收信号的输入和/或输出端口，例如音频输入端(例如，麦克风插孔)、音频输出端(例如，耳机插孔)、以及视频输出端(例如，HDMI端口)。

图5B是示出了移动计算设备的一个实施例的架构的框图。即，移动计算设备500可以包含用于实现一些实施例的系统(即，架构)502。在一个实施例中，系统502被实现为能够运行一个或多个应用程序(例如浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏、以及媒体客户端/播放器)的“智能电话”。在一些实施例中，将系统502集成为诸如集成的个人数字助理(PDA)和无线电话之类的计算设备。

一个或多个应用程序550(例如，应用程序120和触觉效果模块128)可以被加载到存储器562中，并且在操作系统564上运行或者结合操作系统564运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统502还包括存储器562内的非易失性存储区域568。该非易失性存储区域568可以用于存储如果系统502断电而不应该丢失的持续的信息。应用程序550可以使用非易失性存储区域568中的信息并且将信息存储在非易失性存储区域568中，所述信息例如由电子邮件应用程序等所使用的电子邮件或其他消息。同步程序(未示出)也驻留在系统502并且被编程为与在主机上驻留的对应的同步应用进行交互，以保持存储在非易失性存储区域568中的信息与存储在主机计算机处的对应的信息相同步。应当理解的是，其他应用程序可以被加载到存储器562中并且在移动计算设备500上运行。

系统502具有可以被实现为一个或多个电池的电源570。电源570还可以包括外置电源，例如交流电(AC)适配器或给电池供电或充电的加电对接托架。

系统502还可以包括执行发送和接收视频通信的功能的无线电设备572。无线电设备572经由通信载波或服务提供商来促成系统502与“外部世界”之间的无线连通性。来往于无线电设备572的传输是在操作系统564的控制下进行的。换句话说，可以将由无线电设备572所接收的通信经由操作系统564散播至应用程序550，反之亦然。

视觉指示器520可以用于提供视觉通知和/或音频接口574可以用于经由音频换能器525产生能够听到的通知。在所示出的实施例中，视觉指示器520是发光二极管(LED)而音频换能器525是扬声器。这些设备可以直接地耦合至电源570，因此当被激活时，即使处理器560和其他组件可以关闭以节省电池电量，这些设备也能保持通电并持续由通知机制所指示的一段时间。LED可以被编程为无限期地保持通电，直到用户采取动作来指示设备的通电状态为止。音频接口574用于向用户提供能够听到的信号并且从用户处接收能够听到的信号。例如，除了耦合至音频换能器525之外，音频接口574还可以耦合至麦克风以接收能够听到的输入，例如，促进电话会话。根据本发明的实施例，麦克风还可以充当音频传感器以促进对通知的控制，如在下文中所描述的。系统502还可以包括支持用于记录静止的图象、视频流等的板载相机530的操作的视频界面576。

实现系统502的移动计算设备500可以具有额外的特性或功能。例如，移动计算设备500还可以包括额外的数据存储设备(可移动的或不可移动的)，例如磁盘、光盘、或磁带。在图5B中由非易失性存储区域568示出了这样额外的存储。

如在上文中所描述的，可以将由移动计算设备500所生成或捕获的数据/信息以及经由系统502所存储的数据/信息本地地存储在移动计算设备500上，或者可以将数据存储在可以经由无线电设备572或经由移动计算设备500和与移动计算设备500相关联的单独的计算设备(例如，分布式计算网络(例如，互联网)中的服务器计算机)之间的有线连接由设备来访问的任何数量的存储介质上。应当理解的是，可以经由移动计算设备500、经由无线电设备572、或经由分布式计算网络来访问这样的数据/信息。类似地，根据公知的数据/信息传输和存储方式(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以容易地在计算设备之间传输以供存储和使用。

图6示出了用于提供如在上文中所描述的触觉效果132到应用用户界面项、格式属性202以及触觉效果204的映射的系统的架构的一个实施例。可以将与应用120相关联地开发、交互、或编辑的内容存储在不同的通信信道或者其他存储类型中。例如，可以使用目录服务622、网络端口624、邮箱服务626、即时消息传送存储628或者社交网络网站630来存储各种文档。如在本文中所描述的，应用120和/或触觉效果模块128可以使用用于将触觉效果132映射至应用用户界面项、格式属性202、和文档结构204的这些类型的系统等中的任何一个系统。服务器130可以将应用120和/或触觉效果模块128提供至客户端118。作为一个示例，服务器130可以是通过网络来提供应用120和/或触觉效果128的网络服务器。服务器130可以通过网络140来向客户端110提供120和/或触觉效果128。作为示例，客户端计算设备110可以在个人计算机605A、平板计算设备605B和/或移动计算设备605C(例如，智能电话)、或者其他计算设备中被实现和实施。客户端计算设备的这些实施例中的任何一个实施例可以从存储616中获得内容。

在上文中参考根据本发明的实施例的方法、系统、和计算机程序产品的框图和/或操作图而描述了本发明的实施例。在方框中所记录的功能/操作可以以不同于在任何流程图中所示出的顺序来进行。例如，取决于所涉及的功能/操作，连续地示出的两个方框可以实际上大体上同时执行，或者方框可以有时以相反的顺序执行。

在该公开中所提供的一个或多个实施例的描述或图示不旨在以任何方式限制或约束所要求保护的发明的范围。在该公开中所提供的实施例、示例、和细节被认为足以传达所有物，并且使得本领域技术人员能够制造并使用所要求保护的发明的最佳模式。所要求保护的发明不应该被解释为限于在该申请中所提供的任何实施例、示例、或细节。无论是共同地还是单独地示出或描述，(结构上和方法上两者的)各种特征旨在选被择性地包括或省略，以产生具有特定组的特征的实施例。在已经提供有本申请的描述和图示之后，本领域技术人员可以预想落入在该申请中所实施的一般的发明概念的更宽泛的方面的精神内的变型、修改和替代实施例，而不脱离所要求保护的发明的更宽泛的范围。

Claims (14)

1.一种用于向计算设备的显示器提供触觉效果的方法，所述方法包括：

通过用户界面接收对针对第一格式属性而关联第一触觉效果的第一请求；

作为接收所述第一请求的结果，将所述第一触觉效果映射至所述第一格式属性，其中，所述第一格式属性与电子文档的多个元素中的至少第一元素相关联；

通过所述用户界面接收对针对第二格式属性而关联第二触觉效果的第二请求，其中，所述第二触觉效果与所述第一触觉效果不同；

作为接收所述第二请求的结果，将所述第二触觉效果映射至所述第二格式属性，其中，所述第二格式属性与电子文档的多个元素中的至少第二元素相关联；以及

使得在所述计算设备的显示器上显示所述电子文档，其中，显示所述电子文档包括针对所述第一元素将所述第一触觉效果应用至所述计算设备的显示器，以及针对所述第二元素将所述第二触觉效果应用至所述计算设备的显示器，并且其中，将所述第一触觉效果和所述第二触觉效果应用至所述显示器包括在检测到用户对所述计算设备的显示器的界面的触摸之前产生对所述界面的至少部分的改变。

2.根据权利要求1所述的方法，其中，将所述第一触觉效果应用至所述显示器包括将所述第一触觉效果应用在触觉信息区域中。

3.根据权利要求2所述的方法，其中，在将所述第一触觉效果应用在触觉信息区域中之前，接收对触摸包括所述格式属性或结构或所述用户界面项的一个或多个元素中的一个元素的指示。

4.根据权利要求1所述的方法，其中，如果元素包括多个格式属性、多个结构、或者格式属性和结构的组合，则：

将触觉效果映射至所述多个格式属性或结构中的每个；并且

在位于或接近于所述元素的位置处或者在触觉信息区域中将所述触觉效果应用至所述显示器。

5.根据权利要求1所述的方法，其中，接收对针对格式属性或结构而提供触觉效果的请求的指示包括：

接收对选择文档中的元素的指示；以及

接收对针对所述文档中的包括相同的格式属性、结构、或者属性和结构的组合的其他元素而提供触觉效果的请求的指示。

6.根据权利要求5所述的方法，还包括：

读取所述文档中的元素的格式属性和结构；

将所述触觉效果映射至所述文档中的一个或多个元素，所述一个或多个元素包括与所选择的元素相同的格式属性、结构、或者属性和结构的组合；以及

在位于或接近于所述一个或多个元素的位置处或者在触摸信息区域中将所述触觉效果应用至所述显示器，其中，所述一个或多个元素包括与所述所选择的元素相同的格式属性、结构、或者属性和结构的组合。

7.根据权利要求1所述的方法，其中，将第一触觉效果映射至所述格式属性包括将触觉效果的增加的程度映射至格式的渐变的等级。

8.根据权利要求1所述的方法，还包括：

读取所述文档中的元素的格式属性和结构；

将所述触觉效果映射至所述文档中的一个或多个元素，所述一个或多个元素不包括与所选择的元素相同的格式属性、结构、或者属性和结构的组合；以及

在位于或接近于所述一个或多个元素的位置处或者在触摸信息区域中将所述触觉效果应用至所述显示器，其中，所述一个或多个元素不包括与所述所选择的元素相同的格式属性、结构、或者属性和结构的组合。

9.根据权利要求1所述的方法，还包括：

接收对针对格式属性、结构、或者用户界面项中的一个或多个而提供第二触觉效果的请求的指示；

继续以应用所述第一触觉效果；

将第二触觉效果映射至所述格式属性、结构、或者用户界面项；以及

将所述第二触觉效果应用至所述显示器，其中，针对所述显示器的所述第二触觉效果包括生成能够通过触摸检测到的对所述显示器的改变。

10.一种用于向计算设备的显示器提供触觉效果的系统，所述系统包括：

一个或多个处理器；以及

耦合至所述一个或多个处理器的存储器，所述一个或多个处理器可操作以：

通过用户界面接收对针对第一格式属性而关联第一触觉效果的第一请求；

作为接收所述第一请求的结果，将所述第一触觉效果映射至所述第一格式属性，其中，所述第一格式属性与电子文档的多个元素中的至少第一元素相关联；

通过所述用户界面接收对针对第二格式属性而关联第二触觉效果的第二请求，其中，所述第二触觉效果与所述第一触觉效果不同；

作为接收所述第二请求的结果，将所述第二触觉效果映射至所述第二格式属性，其中，所述第二格式属性与电子文档的多个元素中的至少第二元素相关联；以及

使得在所述计算设备的显示器上显示所述电子文档，其中，显示所述电子文档包括针对所述第一元素将所述第一触觉效果应用至所述计算设备的显示器，以及针对所述第二元素将所述第二触觉效果应用至所述计算设备的显示器，并且其中，将所述第一触觉效果和所述第二触觉效果应用至所述显示器包括在检测到用户对所述计算设备的显示器的界面的触摸之前产生对所述界面的至少部分的改变。

11.根据权利要求10所述的系统，其中，如果元素包括多个格式属性、多个结构、或者格式属性和结构的组合，则所述一个或多个处理器进一步可操作以：

将触觉效果映射至所述多个格式属性或结构中的每个；并且

在位于或接近于所述元素的位置处或者在触觉信息区域中将所述触觉效果应用至所述显示器。

12.根据权利要求10所述的系统，其中，在接收对针对格式属性或结构而提供触觉效果的请求的指示时，所述一个或多个处理器进一步可操作以：

接收对选择文档中的元素的指示；

接收对针对所述文档中的包括相同的格式属性、结构、或者属性和结构的组合的其他元素而提供触觉效果的请求的指示；

读取所述文档中的元素的格式属性和结构；

将所述触觉效果映射至所述文档中的一个或多个元素，所述一个或多个元素包括与所选择的元素相同的格式属性、结构、或者属性和结构的组合；以及

在位于或接近于所述一个或多个元素的位置处或者在触摸信息区域中将所述触觉效果应用至所述显示器，其中，所述一个或多个元素包括与所述所选择的元素的所述相同的格式属性、结构、或者属性和结构的组合。

13.根据权利要求10所述的系统，其中，所述一个或多个处理器进一步可操作以：

接收对针对格式属性、结构、或者用户界面项中的一个或多个而提供下一个触觉效果的请求的指示；

继续以应用所述第一触觉效果；

将下一个触觉效果映射至所述格式属性、结构、或者用户界面项；以及

将所述下一个触觉效果应用至所述显示器，其中，针对所述显示器的所述下一个触觉效果包括生成能够通过触摸检测到的对所述显示器的改变，并且所述下一个触觉效果是以下中的一个：

与所述第一触觉效果相同类型的触觉效果的增加的程度；或者

是与所述第一触觉效果不同类型的触觉效果。

14.一种包含计算机可执行指令的计算机可读介质，其中，当由计算机执行时，所述计算机可执行指令执行向计算设备的显示器提供触觉效果的方法，所述方法包括：

通过用户界面接收对针对第一格式属性而关联第一触觉效果的第一请求；

作为接收所述第一请求的结果，将所述第一触觉效果映射至所述第一格式属性，其中，所述第一格式属性与电子文档的多个元素中的至少第一元素相关联；

通过所述用户界面接收对针对第二格式属性而关联第二触觉效果的第二请求，其中，所述第二触觉效果与所述第一触觉效果不同；

作为接收所述第二请求的结果，将所述第二触觉效果映射至所述第二格式属性，其中，所述第二格式属性与电子文档的多个元素中的至少第二元素相关联；以及

使得在所述计算设备的显示器上显示所述电子文档，其中，显示所述电子文档包括针对所述第一元素将所述第一触觉效果应用至所述计算设备的显示器，以及针对所述第二元素将所述第二触觉效果应用至所述计算设备的显示器，并且其中，将所述第一触觉效果和所述第二触觉效果应用至所述显示器包括在检测到用户对所述计算设备的显示器的界面的触摸之前产生对所述界面的至少部分的改变。

Images