CN109416581B - 利用触觉反馈来增强文本叙述的方法、系统和存储设备 - Google Patents

Abstract

提供了针对相关信息的通信的触觉反馈。当使用内容叙述来朗读或创作文档时，向用户通知元信息的存在常常是期望的。触觉反馈系统的多个方面避免将数据添加至音频流，并且替代地，使用触觉反馈技术来传送与关于正在被叙述的内容的元信息的存在和类型相关的信息。可以通过使得能够通过非听觉提示传送相关信息来改进设备功能，所述非听觉提示能够由视力受损用户消费。通过采用如在本文中所描述的触觉技术，用户能够感受到某些元信息何时是可用的，并且另外能够与所述元信息交互以接收与所述元信息相关联的额外信息。

Description

利用触觉反馈来增强文本叙述的方法、系统和存储设备

技术领域

本发明涉及用于利用触觉反馈来增强文本叙述的方法、系统和计算机可读存储设备。

背景技术

计算设备被设计来与其用户进行通信。历史上，该通信可以通过对信息的可视化和可听见的呈现来提供，例如经由屏幕或扬声器。当产生捕获计算设备用户的注意力例如以在给定时间向该用户警告与该用户相关的信息的需求时，用于吸引用户的注意力的一般方法包括诸如在屏幕上显示的弹出通知之类的可视化警报，或者诸如通过设备的扬声器播放的蜂鸣声、响铃声、或语音通知之类的可听见信号。

计算设备用户越来越多地针对各种任务使用文本叙述(narration)。例如，具有视力障碍的用户可以使用辅助技术(例如，屏幕朗读器)来叙述文本内容或者重复文本内容。作为另一示例，移动用户可以在不期望看着屏幕的情况下(例如，当开车或者从事另一活动时)使用文本叙述。

尽管可视化或可听见的通知在许多应用中是有效的，但存在其中可视化或可听见的通知可能是不现实的或者使用户分心的许多其他应用。在提供可视化或可听见的通知是不现实的或使用户分心的时提供所述通知降低了用户与设备的体验，并且可能导致用户体验减少的设备功能。例如，常常期望向内容叙述用户通知文档中的元信息，其中，元信息包括与正在被叙述的内容相关但不直接作为内容的一部分的信息(例如，共同创作者的存在、超链接、脚注、尾注、交叉引用、评论、格式、跟踪的修改、拼写或语法错误、上下文信息)。然而，可视化通知可能是不现实的或非有效的，例如对于视力障碍的用户。此外，例如通过叙述元信息或者播放可听见警报来向音频输出添加可听见内容可能对用户而言是破坏性的或令人不知所措的。例如，用户可能丢失其思路或者可能无法清楚地听到所叙述的内容。

发明内容

提供本发明内容以用简化的形式介绍对在以下的具体实施方式中进一步描述的构思的选择。本发明内容不旨在标识所要求保护主题的关键特征或必要特征，也不旨在帮助确定所要求保护的主题的范围。

多个方面针对用于通过提供针对相关信息的通信的触觉反馈来改进内容叙述设备的可用性的自动化系统、方法和计算机存储设备。例如，可以通过使能相关信息通过能够由视力障碍用户消费的非听觉提示的通信来改进设备功能。通过采用触觉技术，用户能够感受到某些元信息何时是可用的，并且另外能够按需与所述元信息交互例如以接收与所述元信息相关联的额外信息。

在一些示例中，触觉反馈用于向用户通知元信息的存在的内容叙述，其中，元信息与正在被叙述的内容相关但不直接作为正在被叙述内容的一部分。例如，触觉输出被发送以向用户警告诸如以下各项之类的元信息的存在：共同创作者的存在、超链接、脚注、尾注、交叉引用、评论、格式、跟踪的修改、拼写或语法错误以及上下文信息。此外，触觉输出的特性被改变以提供针对不同类型的元信息的唯一的触觉输出。由此，用户能够不仅在消费所叙述的内容的同时被警告元信息的存在，而且还被不引人注目地告知存在的元信息的对应类型。使得该额外信息以不引人注目的方式提供给用户可以帮助该用户就是否要请求与一段元信息相关的额外信息而进行决策。由此，用户最终能够请求和接收逐渐增加的量的额外信息，所述额外信息与提供了针对其的元信息的所叙述的内容相关联。

示例被实现为计算机过程、计算系统、或者诸如设备、计算机程序产品或计算机可读介质之类的制品。根据一个方面，计算机程序产品是能够由计算机系统读取并且编码用于执行计算机过程的指令的计算机程序的计算机存储介质。

在附图和以下描述中阐述了一个或多个方面的细节。其他特征和优点将通过阅读以下的详细描述以及浏览相关联的附图而是显然的。要理解的是，以下的详细描述仅是示例性的而不对权利要求进行约束。

附图说明

包含在本公开内容中并且构成了其一部分的附图示出了各个方面。在附图中：

图1是示出了用于提供针对相关信息的通信的触觉反馈的示例系统的组件的框图；

图2是包括元信息的示例文档的示图，触觉反馈系统可操作以提供针对所述元信息的对应的触觉输出；

图3A-3F示出了请求并提供与元信息项相关联的额外信息的示例场景；

图4是示出了在用于提供针对相关信息的通信的触觉反馈的示例方法中涉及的一般阶段的流程图；

图5是示出了计算设备的示例物理组件的框图；

图6A和6B是移动计算设备的框图；

图7是分布式计算系统的框图。

具体实施方式

以下详细描述参考了附图。在任何可能的情况下，在附图中使用相同的附图标记，并且以下描述参考了相同或相似的元素。尽管示例可以被描述，但是修改、适配和其他实现也是可能的。例如，可以对在图中所示出的元素进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重新排序或增加阶段来修改在本文中所描述的方法。由此，以下的详细描述不是限制性的，但替代地，恰当的范围是由所附权利要求来限定的。示例可以采用硬件实施方式的形式、全软件实施方式的形式、或者组合软件和硬件方面的实施方式的形式。因此，以下详细描述不被认为是限制性意义。

本公开内容的多个方面针对用于通过提供针对相关信息的通信的触觉反馈来改进文本叙述设备的可用性的方法、系统和计算机存储介质。所公开的技术使得用户能够继续其消费所叙述的内容的工作流，同时接收与所叙述的内容相关的相关元信息的非听觉通信，除此还有其他益处。此外，相关元信息的通信被提供为与特定类型的元信息相对应的独特的触觉输出，因此提供了关于元信息的信息的不引人注目的通信。用户能够请求和接收关于元信息的额外信息，并且在一些示例中，能够基于所述额外信息来对元信息采取动作。

现在参考图1，示出了说明示例触觉反馈操作环境100的方面的框图。示例触觉反馈操作环境100包括计算设备104。计算设备104可以是用于执行应用130a、b(统称为130)的各种类型的计算设备中的一个设备，所述应用130用于执行各种任务。合适的计算设备104的非限制性示例包括台式计算机、膝上型计算机、平板计算机、膝上型/平板混合计算设备、大屏幕多点触摸显示器、移动电话、个人数字助理、可穿戴设备、游戏设备、连接的汽车和智能家电。

触觉反馈操作环境100包括用于查看、生成和编辑电子文档114的一个或多个应用130。合适的应用130的示例包括但不限于文字处理、电子表格、数据库、幻灯片演示、电子邮件、绘图、笔记记录、网络浏览、媒体播放器和游戏应用。在一些示例中，应用130是在服务器112上运行并且经由在线服务108提供的网络应用130a，其中，在线服务108示出了用于创建、管理和共享电子文档114的基于门户的计算系统。在一些示例中，在线服务108位于服务器112上，例如位于能够由各种客户端计算设备104a、b(统称为104)访问的、企业处的共享资源服务器。在其他示例中，服务器112是远离各种客户端计算设备104的共享的资源服务器。根据一个方面，在线服务108包括可操作以提供对文档114的文档存储和/或编辑的文档系统110。在一些示例中，在线服务108使能对文档114的共同创作，例如，在多个用户/共同创作者102、132能够同时且远程地编辑同一文档114的情况下。在一个示例中，文档系统110提供用于查看、生成和编辑电子文档114的一个或多个在线应用130a。根据一个方面，文档系统110包括一个或多个电子文档114在其处存储的本地或远程存储知识库125。

根据一个方面，网络应用130a经由网络120来与用户代理106进行通信，所述用户代理106例如在客户端计算设备104上执行的浏览器。用户代理106提供用户界面，其允许用户102与存储在存储知识库125中的应用内容和电子文档114进行交互。用户界面被显示在运行用户代理106的计算设备104的显示器上。在一些示例中，用户代理106是专用客户端应用，其提供用户界面和对存储在存储知识库125中的电子文档114的访问。在其他示例中，应用130是在计算设备104上存储和执行的本地应用130b，并且提供用户界面，该用户界面允许用户102与在设备上或者在存储知识库125中本地地存储的应用内容和电子文档114进行交互。

用户102可以使用应用130来创建新文档114，或者编辑现有文档114。在示例中，应用130经由各种输入方法来从用户102接收诸如文本输入、绘画输入等的输入，所述输入方法例如依赖于鼠标、键盘和遥控器的输入，以及使得用户能够以“自然”方式(例如，经由语音识别、触摸和触笔识别、屏幕上和临近屏幕二者的姿势识别、空中姿势、头部和眼部跟踪、语音和话音、视觉、触摸、悬停、姿势和机器智能)与设备交互的自然用户界面(NUI)方法。用户输入产生被添加至文档114的内容118。在一些示例中，内容118被添加在文档画布(例如，文字处理文档中的页面、电子表格文档中的电子表格、演示文档中的幻灯片)内。

在其他示例中，用户102可以使用应用130来消费内容118而不是创作或修改内容。触觉反馈操作环境100中的合适的应用130的额外示例包括图书朗读器应用、视频或音频回放应用、或者全球定位系统(GPS)应用，其中，用户查看或者收听作为文档114或文件(例如，电子书(e-book))的一部分或者设备的核心接口(例如，GPS单元)的一部分的内容118。在一些示例中，内容118是文本内容，例如文档内容。在其他示例中，内容118是视频或音频内容。在其他示例中，内容118是由应用130生成的信息，例如沿着路线去往目的地的指示。如在本文中所使用的，术语“文档”114是以宽泛的意义使用的，其中，文档包括对各种类型的信息的表示(例如，文字处理文档、电子表格文档、幻灯片演示文档、笔记文档、e-book、音频文件、视频文件、导航文件)。本公开内容中的文档114包括以上描述的示例。然而，这些示例不是限制性的，并且文档114、应用130和内容118的另外的示例在本公开内容的范围内。

根据多个方面，触觉反馈操作环境100还包括叙述系统126，其可操作以输出与文档114相关联的音频内容，例如以叙述内容118或者重复内容118。在一些示例中，叙述系统126被体现为诸如屏幕朗读器之类的辅助技术应用，其中，叙述系统随着光标穿过文档114来叙述文档内容118或者重复文档内容118。

在一些示例中，叙述系统126可操作以将先前书写的内容118或者正在被抄写的内容转换成音频输出，例如语音(例如，文本至语音)。在其他示例中，叙述系统126可操作以输出先前录制的音频内容118，例如，由配音演员录制的有声读物、播客文件、或者其他类型的音频文件、或者视频录像。根据一个方面，先前录制的内容可以利用触觉标识来增强，所述触觉标识充当对与该触觉标识相关联的兴趣项的触觉反馈系统128的信号。此外，在一些示例中，叙述系统126可操作以将由应用130生成的信息(例如，沿着路线去往目的地的指示)转换成音频内容，并且输出该音频内容。

根据一个方面，触觉反馈操作环境100包括触觉反馈系统128，其通信地附接至应用130b，或者在应用是网络应用130a时附接至用户代理106。例如，触觉反馈系统128示出了包括用于将针对相关信息的通信的触觉反馈提供给内容叙述用户102的功能的软件模块、系统或者设备。在一个示例中，计算设备104包括触觉反馈系统应用编程接口(API)，其可操作以经由存储的指令使得应用130能够采用针对相关元信息的通信的触觉反馈。

在示例中，当叙述系统126随着光标穿过文档114而叙述内容118或者重复内容118时，触觉反馈系统128可操作以检测兴趣项。根据一个方面，兴趣项包括与正在被叙述的内容188相关但不直接作为内容118的一部分的元信息122。例如，元信息可以包括这样的信息：共同创作者的存在、超链接、脚注、尾注、交叉引用、评论、格式、跟踪的修改、拼写或语法错误或者上下文信息(例如，地址的地图、额外内容的位置)。这些示例不是限制性的，并且元信息的另外示例在本公开内容的范围内。如可以领会的，检测到的兴趣项与正在被叙述的文档114中的内容118的当前上下文相关。

在一些示例中，文档114包括标记和内容，例如包括内容(例如，文本、图片)和对内容扮演什么角色的指示(例如，元素、实体引用、评论、处理指令、标记的分区、或者文档类型声明)的结构化信息。诸如可扩展标记语言(XML)之类的标记语言是用于识别文档中的结构的机制，其中，XML规范定义了用于向文档添加标记的标准方式。根据一个方面，兴趣项(例如，元信息项122)在其XML结构中包括锚点，该锚点指示其是不同于文本内容的东西。例如，锚点指示内容元素是以下各项中的一项：超链接、脚注、尾注、交叉引用、评论、格式元素、跟踪的修改内容、拼写或语法错误以及上下文信息(例如，地址的地图、额外内容的位置)。应当理解的是，XML不过是一种示例标记语言，并且可以使用诸如JavaScript对象符号(JSON)、s表达式(s-expressions，sexprs)或者其他替代物之类的其他语言。

在共同创作的示例中，标志被插入到文档114中以指示另一用户132在文档114的特定区域中的存在。例如，当另一用户132加入文档114时，该另一用户132被添加至编辑者表格，该编辑者表格随着用户加入和离开文档而自动地更新。根据一个方面，标志与编辑者表格相关联，并且向用户102和触觉反馈系统128提供关于共同创作者在文档114中的存在和位置的指示。在其他示例中，触觉反馈系统128能够被通知在文本内容118外部发生但与文本内容相关的事件。例如，触觉反馈系统128可以接收与对文档114的自动保存相关联的事件通知。在另一示例中，触觉反馈系统128可以接收对共同创作事件的事件通知。在一些示例中，兴趣项包括与元信息项122相对应的触觉标识。例如，触觉标识可以被添加至文档114以指示特定的内容元素具有与其相关联的元信息项122。

根据一个方面，对兴趣项的发现充当信号，该信号用于向用户102提供用于将与正在被叙述的内容相关联的元信息项122的存在传送给用户102的触觉反馈。在一些示例中，在检测到兴趣项时，触觉反馈系统128可操作以参考触觉反馈库124，从而根据所识别的元信息项122的类型来挑选正确的触觉反馈特性。例如，触觉反馈通知的各种特性可以存在，例如在模式(例如，两个短脉冲对一个短脉冲和一个长脉冲)、强度(例如，轻振动对强振动)、位置(例如，触觉输出在设备104、134上被感受到的位置)、类型(例如，振动对轻敲)以及长度(例如，振动或轻敲的持续时间)方面变化的输出。可以警告这些特性中的一个或多个特性以确保指示元信息项122的特定类型的唯一的触觉输出被传送给用户102。如在本文中所使用的，术语“触觉输出”和“触觉反馈”是可交换地使用的。

在一些示例中，触觉输出在位置方面变化。例如，触觉输出可以指向计算设备104或配套设备134的特定位置。根据示例，在具有复杂布局的文档114(例如包括以网格或其他格式布局的多个文本框的文档)中，触觉反馈可以用于提供对在文档中可用的额外内容或动作的指示以及用户102可以在朗读了给定的文本框之后导航到的内容和动作的位置。参考图2，示出了在平板计算设备104上显示的包括多个文本框202a、b、c、d的示例文档114。根据示例，用户102使用叙述系统126来叙述文档114。当叙述系统126叙述第一文本框202a时，光标穿过第一文本框202a中的内容直到由触觉反馈系统128检测到兴趣项(例如，文本框的结束)为止。由此，触觉反馈系统128可操作以触发触觉致动器116以生成与兴趣项相关联的触觉输出204。在该示例中，提供了触觉反馈204以向用户102警告下一个可用的文本框202b的位置。例如，触觉反馈系统128可以引导触觉致动器116在设备104上相对于额外内容(例如，下一文本框202b)的一般方向的位置中生成触觉输出204，以向用户指示在文档114中额外内容可用于导航的方向。

再次参考图1，触觉反馈系统128通信地附接至触觉致动器116。在一些示例中，触觉致动器116在计算设备104上本地地被存储和执行。在其他示例中，触觉致动器116位于配套设备134中，例如智能手表、健康手环、移动电话、或者在专用于提供触觉反馈的设备中。根据一个方面，触觉致动器116示出了诸如偏心旋转质量振动电机(ERM)或者线性谐振致动器(LRA)之类的振动电机，其可操作以响应于接收到触发而生成力(例如，触觉输出204)。例如，所述触发可以包括要生成的与触觉致动器116的触觉输出特性相关联的信息，所述信息可以在模式(例如，两个短脉冲对一个短脉冲和一个长脉冲)、强度(例如，轻振动对强振动)、位置(例如，触觉输出在设备104、134上被感受到的位置)、类型(例如，振动对轻敲)以及长度(例如，振动或轻敲的持续时间)方面变化。通过提供用于向用户102警告元信息项122的触觉反馈，额外信息不被添加至可能使用户102分心的音频流。由此，使得用户102能够被通知元信息项122而不被分心或者不干扰用户对所叙述的内容的消费，因此改进了用户对设备和内容叙述的体验。

根据一个方面并且如在图3A-3F中所示出的，在接收到触觉反馈204时，用户102能够执行用于请求与所遇到的最后的元信息项122相关联的额外信息的动作。例如，当提供了与元信息相关联的触觉反馈204时，用户102可以说出命令、选择按钮或所显示的命令、执行姿势等，这些是由触觉反馈系统128作为对与元信息项122相关联的额外信息的请求的指示来接收的，其中，触觉反馈系统128可操作以叙述关于元信息的细节。此外，针对一些类型的元信息，用户102可以能够选择采取动作。

图3A-3F示出了请求和提供与元信息项122相关联的额外信息的示例场景。现在参考图3A，用户102正在使用叙述系统126来叙述示例文档114。例如，文档114包括文本内容118和元信息项122。图3A示出了生成和提供对文档内容118的音频输出302的叙述系统126。

现在参考图3B，当叙述系统126到达文档114中的元信息项122时，触觉反馈系统128触发触觉致动器116以生成和输出与元信息项122相关联的触觉反馈204。例如，触觉致动器116随着链接的文本(内容118)被叙述系统126叙述而生成特定的触觉输出204(例如，两次轻振动)以指示超链接(元信息项122)的存在。通过提供特定的触觉输出204(例如，特定于超链接的输出)，触觉反馈系统128能够不引人注目地传送更多信息而不是简单地传送对元信息项122的存在的警报。替代地，触觉反馈系统128能够提供丰富的信息(例如，被包括在文档114中的元信息项122的类型)，该信息可以由用户102在就是否要请求与每段元信息相关的额外信息而进行决策时使用。

现在参考图3C，用户102针对关于超链接(元信息122)的额外信息来执行动作(例如，提供请求304)。在一个示例中并且如在图3C中所示出的，用户102可以大声说出请求304a，“链接是什么？”。在另一示例中(未示出)，用户可以按下一个或多个按钮或键盘快捷方式以暂停叙述(音频输出302)，并且请求与元信息122相关联的额外信息。

现在参考图3D，响应于请求304a，叙述系统126向音频输出302提供与元信息122相关联的第一递增级别的额外信息306a。根据一个方面，应用130可操作以提供概要或者提供与元信息项122相关联的额外信息306的压缩的版本。在所示出的示例中，叙述系统126向音频输出302提供超链接所指向的统一资源定位符(URL)、和/或表示和描述网站的元描述数据的预览片段(snippet)(例如，标题、描述)。例如，元描述通常被用在搜索引擎结果页面上以显示针对给定页面的预览片段。根据一个方面，第一级别的额外信息306a可以包括更多或更少的信息。

用户102可以接着选择后续动作，例如以继续收听文本内容118叙述(音频输出302)，或者提供针对下一递增级别的额外信息306b的第二请求304b。如在图3E中所示出的，用户102提供针对下一递增级别的额外信息306b的第二请求304b。在所示出的示例中，针对下一递增级别的额外信息306b的第二请求304b是“跟随该链接”的请求。

现在参考图3F，响应于第二请求304b，超链接(例如，元信息项122)被激活，并且合适的应用130生成跟随至所链接的网页的超链接的请求，以向用户102提供下一递增级别的额外信息306b。如可以领会的，其他类型的元信息项122可以具有不同的可能的动作。例如，被体现为拼写错误的元信息可以提供用于利用一个或多个建议的替换来纠正错误的动作。作为另一示例，被体现为脚注标识符的元信息可以提供用于朗读所参考的笔记的动作。根据多个方面，通过提供针对元信息项122的触觉反馈204，用户102能够以不引人注目的方式被递增地告知额外的可用信息，并且还能够对该额外的可用信息采取动作。

在参考图1-3F描述了操作环境100和触觉反馈系统128的各种方面之后，图4是示出了在用于提供针对相关信息的通信的触觉反馈的示例方法400中所涉及的一般阶段的流程图。现在参考图4，方法400在开始操作402处开始，并且继续至操作404，其中，用户102选择性地在应用130中打开文档。根据示例，文档114包括诸如文本内容、音频内容、视频内容等的内容118，以及与一段内容118相关联的一段或多段元信息122。

方法400从操作404进行至操作406，其中，叙述系统126被触发以访问和叙述内容118。例如，叙述系统126与应用130进行通信。随着叙述系统126前进通过文档114中的内容118，其在当前光标位置或叙述点处生成内容的音频输出302(例如，文本至语音)。

方法400继续至决策操作408，在决策操作408中，就是否在当前叙述点处检测到兴趣项而进行确定。在一个示例中，随着叙述系统126前进通过并且叙述内容118，触觉反馈系统128分析每个内容项以确定该项是否在其结构中包括指示其是文本内容118之外的东西的锚点，例如包括以下各项中的一项的特定类型的元信息：超链接、脚注、尾注、交叉引用、评论、格式元素、跟踪的修改内容、拼写或语法错误以及上下文信息(例如，地址的地图、额外内容的位置)。在另一示例中，元信息122独立于文档内容118而被存储(例如，参考文档内容中的位置的共同创作者的位置的表格)。由此，根据该示例，触觉反馈系统128分析该表格以识别兴趣项。

当进行了内容项不是兴趣项(例如，元信息项122)的确定时，方法400返回至操作406，在操作406中，叙述系统126继续叙述内容118，并且触觉反馈系统128继续分析每个内容项以确定其是否是兴趣项。当进行了内容项是兴趣项(例如，元信息项122)的确定时，方法400进行至操作410，在操作410中，触觉反馈系统128进行确定以经由触觉反馈204来向用户102警告元信息，并且就将什么触觉反馈特性应用于触觉输出来进行确定。例如，触觉反馈系统128根据特定类型的元信息项122将所识别的类型的元信息项122映射至触觉库124(其包括触觉反馈特性的索引)，以选择触觉反馈特性的唯一组合来应用于触觉输出204。

方法400继续至操作412，在操作412中，触觉反馈系统128触发触觉致动器116，触觉致动器116在操作414处根据在操作410处确定的触觉反馈特性来提供触觉输出204。根据示例，与内容项118的音频输出302大体上同时地提供触觉输出204，与内容项118相关联的元信息项122正在由叙述系统126叙述。

方法400进行至决策操作416，在决策操作416中，就是否接收到对与元信息项122相关联的额外信息306的选择的指示而进行确定。当进行了没有接收到对额外内容的选择的确定时，方法400进行至决策操作420，在决策操作420中，取决于要叙述的额外内容的存在，叙述系统126通过返回至操作406以继续叙述文档114，或者在操作498处结束。当进行了接收到对额外内容的选择的指示的确定时，例如当用户102说出或选择用于对元信息项122执行动作的命令时，方法400进行至操作418，在操作418中，叙述系统126被触发以叙述与元信息项122相关联的额外信息306。例如，叙述系统126可以朗读所参考的脚注，朗读表示和描述超链接指向的网站的元描述数据的预览片段(例如，标题、描述)，提供向用户102通知单词被错误拼写并且建议的替换(用户102能够从其进行选择以纠正该拼写错误)的信息，或者提供向用户102通知语法错误和建议的纠正(用户102可以能够从其进行选择以纠正该语法错误)的信息。其他示例在本公开内容的范围内。

方法400返回至决策操作416，以确定是否接收到针对额外信息的选择。当进行了接收到针对与元信息122相关联的额外信息306的请求的确定时，方法400继续至操作418，在操作418中，下一递增级别的额外信息306被提供给用户102。当进行了没有接收到针对额外信息的选择的确定时，方法400继续至决策操作420，在决策操作420中，就在文档114中是否存在要分析的额外内容118以用于识别元信息122而进行确定。当进行了在文档114中存在要分析的额外内容118以用于识别元信息122时，方法400返回至操作406。当进行了在文档114中不存在要分析的额外内容118以用于识别元信息122时，方法400在操作498处结束。

尽管已经在结合在计算机上的操作系统上运行的应用程序而执行的程序模块的一般上下文中描述了实施方式，但本领域技术人员将认识到的是，也可以组合其他程序模块来实现多个方面。通常而言，程序模块包括例程、程序、组件、数据结构、以及执行特定的任务或实现特定的抽象数据类型的其他类型的结构。

本文中描述的方面和功能可以经由多种计算系统来操作，所述多种计算系统包括但不限于：台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或平面型计算机、笔记本计算机和膝上型计算机)、手持设备、多处理器系统、基于微处理器的或可编程的消费性电子产品、小型计算机和大型计算机。

另外，根据一个方面，本文中描述的方面和功能在分布式系统(例如，基于云的计算系统)上操作，其中，应用功能、存储器、数据存储和取回、以及各种处理功能通过分布式计算网络(例如，互联网或内联网)彼此远程地进行操作。根据一个方面，经由板载计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户界面和信息。例如，各种类型的用户界面和信息是在各种类型的用户界面和信息所投射到的墙面上显示的并且与这样的墙面进行交互。与利用其实践实施方式的多种计算系统的交互包括：击键输入、触摸屏输入、语音或其他音频输入、姿势输入，其中，相关联的计算设备装备有用于捕获和解译用户姿势的检测(例如，相机)功能，以用于控制计算设备的功能等。

图5-7和相关联的描述提供了可以在其中实践多个示例的各种操作环境的讨论。然而，参考图5-7示出和讨论的设备和系统是出于示例和说明的目的，而不限制用于实践在本文中所描述的方面的大量的计算设备配置。

图5是示出了利用其实践本公开内容的示例的计算设备500的物理组件(例如，硬件)的框图。在基本配置中，计算设备500包括至少一个处理单元502和系统存储器504。根据一个方面，取决于计算设备的配置和类型，系统存储器504包括但不限于易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。系统存储器504包括操作系统505以及适合于运行软件应用550的一个或多个程序模块506。根据一个方面，系统存储器504包括触觉反馈系统128。例如，操作系统505可以适用于控制计算设备500的操作。此外，多个方面可以结合图形库、其他操作系统、或任何其他应用来实践，并且不限于任何特定的应用或系统。在图5中由虚线508内的那些组件示出了该基本配置。根据一个方面，计算设备500具有额外的特征或功能。例如，根据一个方面，计算设备500包括额外的(可移动的和/或不可移动的)数据存储设备，例如磁盘、光盘或磁带。在图5中通过可移动存储设备509和不可移动存储设备510示出了这样的额外存储设备。

如在上文中所述，根据一个方面，可以将多个程序模块和数据文件存储在系统存储器504中。当在处理单元502上执行时，程序模块506(例如，触觉反馈系统128)执行过程，包括但不限于在图4中所示出的方法400的阶段中的一个或多个阶段。根据一个方面，其他程序模块是根据示例使用的，并且包括诸如以下各项的应用：电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。

根据一个方面，多个方面在包括离散电子元件的电子电路、包含逻辑门的封装的或集成的电子芯片、使用微处理器的电路、或在包含电子元件或微处理器的单个芯片上实践。例如，经由片上系统(SOC)来实践多个方面，其中，图5中示出的组件中的每一个或许多组件可以被集成到单个集成电路上。根据一个方面，这样的SOC设备包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都作为单个集成电路被集成到(或“烧制”)到芯片基底上。当经由SOC操作时，本申请中描述的功能经由在单个集成电路(芯片)上与计算设备500的其他组件集成的应用专用逻辑来操作。根据一个方面，使用能够执行诸如例如与(AND)、或(OR)和非(NOT)之类的逻辑操作的其他技术来实践本公开内容的多个方面，所述技术包括但不限于：机械、光学、流体和量子技术。另外，可以在通用计算机中或者在任何其他电路或系统中实践多个方面。

根据一个方面，计算设备500可以具有一个或多个输入设备512，例如键盘、鼠标、笔、声音输入设备、触摸输入设备等。根据一个方面，还包括诸如显示器、扬声器、打印机等的输出设备514。前述设备是示例，并且可以使用其他设备。根据一个方面，计算设备500包括允许与其他计算设备518的通信的一个或多个通信连接516。合适的通信连接516的示例包括但不限于射频(RF)发射机、接收机和/或收发机电路；通用串行总线(USB)、并行和/或串行端口。

如在本文中使用的术语计算机可读介质包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构或程序模块之类的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动的介质。系统存储器504、可移动存储设备509和不可移动存储设备510全都是计算机存储介质的示例(即，存储器存储设备)。根据一个方面，计算机存储介质包括：RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储设备、盒式磁带、磁带、磁盘存储设备或其他磁存储设备、或者可以用于存储信息并且可以由计算设备500访问的任何其他制品。根据一个方面，任何这样的计算机存储介质都是计算设备500的一部分。计算机存储介质不包括载波或其他经传播的数据信号。

根据一个方面，通信介质是由计算机可读指令、数据结构、程序模块、或者经调制的数据信号(例如，载波或其他传输机制)中的其他数据来体现的，并且包括任何信息递送介质。术语“经调制的数据信号”描述具有以对信号中的信息进行编码的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质(例如，有线网络或直接有线连接)以及无线介质(例如，声学、射频(RF)、红外和其他无线介质)。

图6A和6B示出了利用其可以实践多个方面的移动计算设备600，例如，移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图6A，示出了用于实现多个方面的移动计算设备600的示例。在基本配置中，移动计算设备600是具有输入元件和输出元件二者的手持计算机。移动计算设备600通常包括显示器605以及允许用户向移动计算设备600中输入信息的一个或多个输入按钮610。根据一个方面，移动计算设备600的显示器605充当输入设备(例如，触摸屏显示器)。如果被包括的话，可选的侧输入元件615允许进一步的用户输入。根据一个方面，侧输入元件615是旋转开关、按钮、或任何其他类型的手动输入元件。在可替代的示例中，移动计算设备600包含更多或更少的输入元件。例如，在一些示例中，显示器605可以不是触摸屏。在可替代的示例中，移动计算设备600是便携式电话系统，例如蜂窝电话。根据一个方面，移动计算设备600包括可选的按键板635。根据一个方面，可选的按键板635是物理按键板。根据另一方面，可选的按键板635是在触摸屏显示器上生成的“软”按键板。在各种方面中，输出元件包括用于示出图形用户界面(GUI)的显示器605、可视化指示器620(例如，发光二极管)和/或音频换能器625(例如，扬声器)。在一些示例中，移动计算设备600包含用于向用户提供触感反馈的振动换能器。在又一示例中，移动计算设备600包含用于向外部设备发送信号或者从外部设备接收信号的输入和/或输出端口，例如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)。在又一示例中，移动计算设备600包含用于向外部设备发送信号或者从外部设备接收信号的外围设备端口640，例如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)。

图6B是示出了移动计算设备的一个示例的架构的框图。也就是说，移动计算设备600包含用于实现一些示例的系统(即，架构)602。在一个示例中，系统602被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些示例中，系统602被集成为计算设备，例如集成的个人数字助理(PDA)和无线电话。

根据一个方面，一个或多个应用程序650被加载到存储器662中并且在操作系统664上运行或者与操作系统664关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。根据一个方面，触觉反馈系统128被加载到存储器662中。系统602还包括存储器662内的非易失性存储区域668。非易失性存储区域668可以用于存储如果系统602断电而不应丢失的持久信息。应用程序650可以使用非易失性存储区域668中的信息并将信息存储在非易失性存储区域668中，例如电子邮件或者由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统602上，并且被编程为与驻留在主计算机上的对应的同步应用进行交互，从而使存储在非易失性存储区域668中的信息与存储在主计算机上的对应的信息保持同步。应当领会的是，其他应用可以被加载到存储器662中并且在移动计算设备600上运行。

根据一个方面，系统602具有电源670，其可以被实现为一个或多个电池。根据一个方面，电源670还包括外部电源，例如AC适配器或给电池供电或充电的加电对接托架。

根据一个方面，系统602包括执行发送和接收射频通信的功能的无线单元672。无线单元672经由通信载波或服务提供商来促成系统602与“外部世界”之间的无线连通性。去往和来自无线单元672的传输是在操作系统664的控制下进行的。换句话说，可以将由无线单元672所接收的通信经由操作系统664散播至应用程序650，反之亦然。

根据一个方面，可视化指示器620用于提供可视化通知，和/或音频接口674可以用于经由音频换能器625产生可听见的通知。在所示的示例中，可视化指示器620是发光二极管(LED)，而音频换能器625是扬声器。这些设备可以直接地耦合至电源670，以便当被激活时，即使处理器660和其他组件可以关闭以节省电池电量，这些设备也能保持通电并持续由通知机制所指示的一段时间。LED可以被编程为无限期地保持通电，直到用户采取动作来指示设备的通电状态为止。音频接口674用于向用户提供可听见的信号并从用户接收可听见的信号。例如，除了耦合到音频换能器625之外，音频接口674还可以被耦合至麦克风以接收可听见的输入，例如，以促进电话会话。根据一个方面，系统602还包括视频接口676，其使得车载摄像机630的操作能够录制静止图像、视频流等。

根据一个方面，实现系统602的移动计算设备600具有额外的特征或功能。例如，移动计算设备600包括(可移动的和/或不可移动的)额外的数据存储设备，例如磁盘、光盘或磁带。在图6B中通过非易失性存储区域668示出了这样的额外存储设备。

根据一个方面，如在上文中所描述的，将由移动计算设备600生成或捕获并且经由系统602存储的数据/信息本地地存储在移动计算设备600上。根据另一方面，将数据存储在可以经由无线单元672或经由移动计算设备600和与移动计算设备600相关联的单独的计算设备(例如，分布式计算网络(例如，互联网)中的服务器计算机)之间的有线连接由设备来访问的任何数量的存储介质上。应当领会的是，可以经由移动计算设备600、经由无线单元672、或经由分布式计算网络来访问这样的数据/信息。类似地，根据一个方面，根据公知的数据/信息传输和存储方式(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以容易地在计算设备之间传输以供存储和使用。

图7示出了用于提供上述针对相关信息的通信的触觉反馈的系统的架构的一个示例。与触觉反馈系统128相关联地开发、交互或编辑的内容能够被存储在不同的通信信道或者其他存储类型中。例如，各种文档可以使用目录服务722、门户网站724、邮箱服务726、即时消息存储装置728或社交网站730来存储。触觉反馈系统128可操作以使用如在本文中所描述的用于提供针对相关信息的通信的触觉反馈的这些类型的系统等中的任何一个。根据一个方面，服务器720向客户端705a、b、c提供触觉反馈系统128。作为一个示例，服务器720是通过web提供触觉反馈系统128的web服务器。服务器720通过网络710在web上向客户端705提供触觉反馈系统128。作为示例，客户端计算设备在个人计算机705a、平板计算机705b和/或移动计算设备705c(例如，智能电话)或者其他计算设备中实现和体现。客户端计算设备的这些示例中的任何一个示例都可操作以从存储装置716获得内容。

例如，在上文中参考根据多个方面的方法、系统和计算机程序产品的框图和/或操作示图而描述了实施方式。在方框中所记录的功能/动作可以以不同于在任何流程图中所示出的顺序来发生。例如，取决于所涉及的功能/动作，连续示出的两个框可以实际上大体上同时执行，或者框可以有时以相反的顺序执行。

在本申请中提供的一个或多个示例的描述或示图不旨在以任何方式限制或约束所要求保护的范围。在本申请中提供的方面、示例和细节被认为足以传达所有物，并且使得其他人能够制造并使用最优模式。实施方式不应当被解释为限于在本申请中提供的任何方面、示例或细节。无论是组合地还是单独地示出和描述，各种特征(结构上和方法上二者)意在被选择性地包括或省略以产生具有特定特征集合的实施例。在已经提供本申请的描述和说明的情况下，本领域技术人员可以预见不脱离更广范围而落在本申请中体现的一般发明性构思的更广泛方面的精神内的变型、修改和替代示例。

Claims (15)

1.一种用于利用触觉反馈来增强文本叙述的方法，包括：

打开文档，所述文档包括内容；

触发叙述系统以生成和提供所述内容的音频输出；

在所述文档中的当前叙述点处，检测元信息项，其中，所述元信息项是多种类型中的第一类型；

基于所检测到的元信息项的所述第一类型，确定特定于所述第一类型的一个或多个触觉反馈特性；以及

响应于对所述元信息项的检测，触发触觉致动器以：

生成具有特定于所述第一类型的所述一个或多个触觉反馈特性的触觉反馈；以及

在所述当前叙述点处，与所述内容的所述音频输出同时地提供所述触觉反馈。

2.根据权利要求1所述的方法，还包括：

响应于生成和提供所述触觉反馈，接收对与所述元信息项相关联的额外信息的选择的指示；以及

触发所述叙述系统以生成和提供所述额外信息的音频输出。

3.根据权利要求2所述的方法，其中，当所述元信息项被体现为超链接时，触发所述叙述系统以生成和提供所述额外信息的所述音频输出包括：触发所述叙述系统以生成和提供所述超链接指向的网站的统一资源定位符(URL)的音频输出。

4.根据权利要求3所述的方法，其中，当所述元信息项被体现为超链接时，触发所述叙述系统以生成和提供所述额外信息的所述音频输出包括：触发所述叙述系统以生成和提供表示和描述所述超链接指向的所述网站的元描述数据的预览片段的音频输出。

5.根据权利要求4所述的方法，其中，触发所述叙述系统以生成和提供表示和描述所述超链接指向的所述网站的元描述数据的预览片段的音频输出包括：触发所述叙述系统以生成和提供所述网站的标题和所述网站的描述的音频输出。

6.根据权利要求2所述的方法，其中，当所述元信息项与脚注相关联时，触发所述叙述系统以生成和提供所述额外信息的所述音频输出包括：触发所述叙述系统以生成和提供包括所述脚注的内容的音频输出。

7.根据权利要求2所述的方法，其中，当所述元信息项与拼写或语法错误相关联时，触发所述叙述系统以生成和提供所述拼写或语法错误和所建议的一个或多个替换或纠正的音频输出。

8.根据权利要求1所述的方法，其中：

与所述内容相关联的所述元信息项被存储在所述文档外部；并且

检测与所述内容相关联的所述元信息项包括分析表格以识别共同创作者在所述文档中的位置。

9.一种用于利用触觉反馈来增强文本叙述的系统，所述系统包括计算设备，所述计算设备包括：

至少一个处理设备；以及

存储指令的至少一个计算机可读数据存储设备，所述指令当由所述至少一个处理设备执行时，使得所述计算设备进行以下操作：

打开文档，所述文档包括内容；

触发叙述系统以生成和提供所述内容的音频输出；

在所述文档中的当前叙述点处，检测元信息项，其中，所述元信息项是多种类型中的第一类型；

基于所检测到的元信息项的所述第一类型，确定特定于所述第一类型的一个或多个触觉反馈特性；以及

响应于对所述元信息项的检测，触发触觉致动器以：

生成具有特定于所述第一类型的所述一个或多个触觉反馈特性的触觉反馈；以及

在所述当前叙述点处，与所述内容的所述音频输出同时地提供所述触觉反馈。

10.根据权利要求9所述的系统，其中，所述计算设备还可操作以：

响应于生成和提供所述触觉反馈，接收对与所述元信息项相关联的额外信息的选择的指示；以及

触发所述叙述系统以生成和提供所述额外信息的音频输出。

11.根据权利要求9所述的系统，其中：

所述元信息项是超链接；并且

所述计算设备还可操作以触发所述叙述系统以生成和提供以下项的音频输出：

所述超链接指向的网站的统一资源定位符(URL)；以及

表示和描述所述超链接指向的所述网站的标题和所述网站的描述的元描述数据的预览片段。

12.根据权利要求10所述的系统，其中，响应于生成和提供所述额外信息的所述音频输出，所述计算设备还可操作以：

接收对用于导航至网站的选择的指示；以及

触发合适的应用以导航至所述网站。

13.根据权利要求9所述的系统，其中，在检测与所述内容相关联的所述元信息项时，所述计算设备还可操作以分析每段内容，以确定其XML结构是否指示所述内容不是文本内容。

14.根据权利要求9所述的系统，其中，在检测到与所述内容相关联的所述元信息项之后，所述计算设备还可操作以确定一个或多个触觉反馈特性，以生成对特定类型的元信息项唯一的触觉反馈。

15.一种包括计算机可读指令的计算机可读存储设备，所述计算机可读指令当由处理单元执行时可操作以：

打开文档，所述文档包括内容；

触发叙述系统以生成和提供所述内容的音频输出；

在所述文档中的当前叙述点处，检测元信息项，其中，所述元信息项是多种类型中的第一类型；

基于所检测到的元信息项的所述第一类型，确定特定于所述第一类型的一个或多个触觉输出特性；

响应于对所述元信息项的检测，触发触觉致动器以：

生成具有特定于所述第一类型的所述一个或多个触觉输出特性的触觉输出；以及

在所述当前叙述点处，与所述内容的所述音频输出同时地提供所述触觉输出；

响应于生成和提供所述触觉输出，在所述当前叙述点处接收对与所述内容相关的信息的选择的指示；以及

触发所述叙述系统以在所述当前叙述点处生成和提供与所述内容相关的所述信息的音频输出。

Images