CN103988193A - 管理同步内容的播放 - Google Patents
管理同步内容的播放 Download PDFInfo
- Publication number
- CN103988193A CN103988193A CN201280014619.7A CN201280014619A CN103988193A CN 103988193 A CN103988193 A CN 103988193A CN 201280014619 A CN201280014619 A CN 201280014619A CN 103988193 A CN103988193 A CN 103988193A
- Authority
- CN
- China
- Prior art keywords
- content
- text
- output
- user
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种计算装置提供使用户能够管理附带内容(例如,文本和对应的音频内容)的同步输出的控制接口。可以显示视觉提示,从而识别对应于附带音频内容的当前输出位置的文本中的当前位置。可以在音频呈现期间推进提示以保持音频内容的输出位置与文本中的对应位置之间的同步。在一些实施方案中,可以通过在显示在触摸屏上的文本上拖动手指而控制同步输出。可以提供视觉指示,其描绘文本的推进位置与用户的手指的当前位置之间的距离。在其他实施方案中,可以至少部分地基于对任务的用户性能来调整呈现音频内容并且推进视觉提示的速度。
Description
发明背景
电子书阅读器、笔记本型计算机、具有更先进的计算能力和连接性的移动电话(“智能电话”)以及用于呈现数字信息的其他装置已经在内容的传播和消费上迎来了一场革命。在一个应用中,包括印刷内容的文本、图片和其他数字表示的电子书已最小化传统出版和实体书分配的许多成本。
除在生产和分配方面的优势之外,电子书和其他形式的数字内容为内容的最终用户保持许多好处。能够显示电子书和其他视觉信息的装置经常比物理副本更便携和方便。在一些装置中,在呈现内容期间,用户可以另外提供额外信息或使额外信息与内容相关联,例如,注释、书签、摘录等。更进一步,可以使显示装置与数字音频播放器组件相关联,数字音频播放器组件从相同或不同的源获得原始内容的音频表示(例如,可以经由耳机/扬声器听觉上呈现的有声读物)。在一些装置中,可以播放音频内容并且使与视觉内容的呈现同步以便为用户提供连贯的视觉和听觉体验。
取决于与每个各自的装置相关联的能力和功能性以及内容的特定性质,用户可以通过拥有特定装置或以其他方式与特定装置相关联的大量的不同接口(例如,无线电子书阅读器上的触摸屏显示)访问视觉内容。尽管许多这些装置提供音频输出的能力,但是许多装置缺乏用于控制视觉内容和音频内容的同步播放的简单而直观的接口。
附图简述
通过结合附图参考以下详细描述,本公开的上述方面和许多附带优势将变得更容易了解,同样变得更好的理解,其中:
图1描绘可以用于管理内容的同步播放的说明性控制接口;
图2为描绘被配置成实施内容的同步播放的计算装置的说明性实施方案的方框图;
图3A至图3C为描绘在图2中所示的装置上的内容输出的各种播放状态之间的说明性转换的状态图;
图4为描绘用于确定同步内容输出的播放状态的说明性方法的流程图;
图5为描绘用于确定播放位置与指针位置之间的导程的说明性方法的流程图;以及
图6至图8描绘可以用于管理内容的同步播放的说明性控制接口。
具体实施方式
一般地描述,本公开的方面涉及计算装置上的内容的同步输出。具体来说,公开用于通过移动光标、指针或其他输入而控制同步内容的播放的系统和方法。例如,用户可以利用计算装置(例如,电子书阅读器)以便获得访问可以同步呈现的附带内容(例如,电子书和对应的有声读物)。用作说明地,用户可以首先获得存储在电子书阅读器上的电子书的副本,例如,《汤姆·索亚历险记》(The Adventures ofTom Sawyer)的数字表示。在相同或不同的时间,用户可以获得《汤姆·索亚历险记》的有声读物版本的副本并且将其存储在同一装置上。在一些实施方案中,在识别电子书阅读器上的附带内容后,内容管理系统可以使对应于附带内容的内容同步信息被传输到装置。随着附带内容和内容同步信息可用于同一装置上,电子书阅读器可以同步呈现附带内容以为用户提供增强的体验。用于获得附带内容的同步信息的系统的实施方案可以见于2011年3月23日提交的标题为“SYNCHRONIZING DIGITAL CONTENT”的美国专利申请号13/070,313中,所述专利以引用方式全部并入本文。例如,用户在查看对应的文本时,可以收听《汤姆·索亚历险记》的音频记录,所述文本可以经突出显示、加下划线,或以其他方式修改以对应于音频记录中的对应位置。例如,同步呈现体验也可以包括与音频播放同步的自动翻页和/或使以一种格式的搜索结果与另一种格式的呈现位置一致,其中随后的同步呈现起始于搜索结果位置。
电子书阅读器装置可以进一步提供使用户能够管理附带内容的同步输出的控制接口。例如,在控制接口的一个实施方案中,电子书可以显示视觉提示(例如,光标)以识别对应于附带音频内容的当前输出位置的文本内容中的当前位置。当呈现音频内容时(即,音频内容“播放”时),可以推进视觉提示以保持在音频内容内的输出位置与文本内容中的对应位置之间的同步。对应于音频内容的推进输出位置的文本内容中的位置在本文中可以称为文本内容中的推进位置。在一个实施方案中,用户可以通过在显示在触摸屏上的文本内容上拖动其手指而控制同步输出。因此,控制接口可以提供文本内容的推进位置与由用户的手指的当前位置所指示的文本内容的指针位置之间的距离的突出显示或其他视觉指示。为了本公开的目的,文本内容的推进位置与文本内容的指针位置之间的距离在本文中将称为导程。在一个实施方案中,导程可以对应于在正常或预期速率(例如,由用户指定或由计算装置或音频内容提供商预定义的速率)下输出音频内容所需的时间长度,所述音频内容对应于文本内容的推进位置与文本内容的指针位置之间的文本内容。在各种其他实施方案中,导程可以对应于距离,或词、字母、音节、音位、空格、句子、段落、列、行(line/row)、章、节、部分,或文本内容的推进位置与文本内容的指针位置之间的文本内容的其他自然的或预定义的视觉或文本特征的数量。基于导程,电子书阅读器可以改变输出音频内容并且文本内容的对应位置推进的速度。
尽管前面的描述涉及电子书阅读器,但是根据本公开可以使用能够向用户呈现内容的任何计算装置。计算装置可以包括(但不限于)膝上型计算机、个人计算机、平板计算机、个人数字助理(PDA)、混合PDA/移动电话、移动电话、电子书阅读器、数字媒体播放器、包括在计算装置中的集成组件、器具、包括在车辆或机器中的电子装置、游戏装置等。这些计算装置可以与任何许多视觉、触觉或听觉输出装置相关联,并且可以与用户输入的许多装置相关联,用户输入的许多装置包括(但不限于)键盘、鼠标、轨迹球、触控板、操纵杆、输入板、指点杆、触摸屏、遥控器、游戏控制器、运动检测器等。
另外,内容可以涉及可以由用户直接或间接访问的任何数据,包括(但不限于)多媒体数据、数字图像、数字视频、显示文本、音频数据、电子书、电子文件、电子出版物、计算机可执行代码、上述的部分等。具体来说,提及文本内容或其他视觉显示的内容应被理解为包括任何形式的视觉或触觉内容,包括文本、图像、图表、图形、幻灯片、地图、盲文、浮雕图像,或能够显示在视觉或触觉介质中的任何其他内容。此外,提及连贯性内容可以包括可以用连贯的方式输出的任何内容,包括电子书、图像幻灯片、演示用幻灯片、显示文本、音频数据、视频数据等。内容可以存储在计算装置上,或可以由计算装置生成,或可以在用于在计算装置上显示或输出的网络上得以播送。此外,可以从任何许多源获得内容,这些源包括网络内容提供商、本地数据存储器、计算机可读介质、远程或本地运行的内容生成算法(例如,文本语音转换算法),或通过用户输入(例如,由用户输入的文本)获得内容。可以同步的第一内容(例如,音频内容)和第二内容(例如,文本内容)可以称为附带内容。可以从如上文所述的这些源中的任何一个或组合获得、存储或递送附带内容的每一个项目。例如,在一个实施方案中,计算装置可以本地存储从当地的图书馆获得的《汤姆·索亚历险记》的文本,并且可以播送来自第三方商业有声读物提供商的附带音频内容。
在一个实施方案中,对于每一对附带内容,可以经由通信网络中的计算装置生成、传输和/或获得与附带内容相关联的内容同步信息。内容同步信息可以包括与第一内容和第二内容的同步呈现相关的任何数据,以便使一个或多个计算装置能够同步呈现附带内容。内容同步信息可以包括将第一内容的部分映射到第二内容的对应部分的参考点。在特定实例中,内容同步信息可以包括可以用于将一段文本(例如,词、行、句子等)映射到对应的音频记录的时间戳的数据。内容同步信息也可以包括与呈现的相关进程或内容的数字表示的呈现状态相关的信息。附带内容的同步呈现可以随装置(例如,电子书阅读器与移动电话)的能力和/或配置,和/或内容对(例如,数字出版和音频记录与视频和音频记录)中内容的格式而变化。因此,可以用各种格式、版本等生成内容同步信息。另外,内容同步信息可以包括用于使在2008年11月18日提交的标题为“SYNCHRONIZATION OFDIGITAL CONTENT”的美国专利申请号12/273,473(“‘473申请”)和2011年3月23日提交的标题为“SYNCHRONIZING DIGITALCONTENT”的美国专利申请号13/070,313(“‘313申请”)中公开的内容同步的特征或数据的任何组合,所述专利中的每个以引用方式全部并入本文。例如,可以根据与源于装置的内容的呈现相关的参考点或跟踪点定义同步信息,并且同步信息可以包括装置上的内容呈现的当前状态(例如,阅读最后一页)和/或在呈现内容期间获得的额外信息(例如,注释、书签、突出显示、标签、摘录等)。替代地或另外,可以基于同步事件的确定在不同的装置中共享同步信息。可以基于与装置相关联的一个或多个输入(例如,功率电平、无线通信网络强度、运动传感器、定时器、耳机/扬声器的激活等)确定同步事件。在另一方面,同步事件可以对应于用户发出的表示指令/命令以使与呈现的内容相关的信息(例如,“记录我阅读的最后一页”)同步。为了配置同步事件的确定,装置(例如,移动电话)可以生成接口以用于允许用户识别特定类型的装置数据,应监视这些数据以便确定同步事件或建立用于建立同步事件的阈值,或两者。
在一些实施方案中,可以使附带内容对中的第一内容和第二内容彼此不相关。例如,通过将附带内容存储在单独的计算装置上、通过将附带内容存储在不为相同的逻辑存储器的部分的单独的数据存储器中、通过经由不同的交易获得附带内容、通过在不同的时间获得附带内容、通过从不同的源获得附带内容,或上述任何组合,可以使附带内容彼此不相关。例如,用户可以购买电子书,然后在稍后的时间点从不同的供应商购买电子书的有声读物版本。在此类情况下,用户可能希望在同时阅读电子书时收听有声读物。然而,当此类附带内容不相关时,可能很难为用户提供同步呈现体验,例如,呈现对应于呈现在显示屏上的电子书的文本的有声读物的部分。
附带内容的不相关性质可能导致为用户提供同步呈现体验的许多困难。例如,此类困难可以包括确定获得识别内容的内容信息来自的源、识别第二内容匹配第一内容或为第一内容相匹配的内容、生成用于同步呈现第一内容和第二内容所需的内容同步信息、将内容同步信息提供到计算装置从而访问第一内容和/或第二内容、管理与第一内容和/或第二内容相关的信息的存储,或上述任何组合。
由于附带内容对的第一内容和第二内容彼此不相关,故一个或多个计算装置可以识别内容匹配,从而指示第二内容为第一内容相匹配的内容。此外,一个或多个计算装置也可以识别用户与第一内容和第二内容相关联和/或访问第一内容和第二内容。基于确定内容匹配,一个或多个计算装置可以识别与用户相关联的接收计算装置,并且使与附带内容相关的内容同步信息传输到接收计算装置。此后,接收计算装置可以利用内容同步信息以向用户同步或同时呈现附带内容。本领域技术人员将了解,一个以上的个别内容可以匹配或为另一内容相匹配的内容。因此,在不脱离本公开的范围的情况下,可以同步呈现两个以上的个别内容。另外,在一些实施方案中,与一个或多个用户相关联的一个或多个接收计算装置可以接收内容、同步信息,并且利用内容同步信息以同步呈现附带内容。
作为说明性、非限制性实例,用户可以获得访问可以同步呈现的附带内容(例如,为电子书阅读器格式化的电子书、有声读物和为移动电话格式化的电子书)。更具体来说,用户可以最初获得第一内容,例如,《汤姆·索亚历险记》的电子书,并且将电子书存储在用户的电子书阅读器上。在一些情况下,在用户获得第一内容后,《汤姆·索亚历险记》的有声读物可以变得可用。然而,在其他情况下,当用户获得第一内容时,《汤姆·索亚历险记》的有声读物可能已经是可用的。然后,用户可以经由单独的交易(其可以包括购买、出借、共享、转让或上述任何组合)获得这第二内容,即,《汤姆·索亚历险记》的有声读物。单独的交易可以是产生于有声读物已变得可用的消息或浏览可用有声读物的目录的购买交易。在获得有声读物和电子书后,用户可能希望在查看电子书时同步收听有声读物。
在这方面,内容管理系统可以基于确定第一内容和第二内容为附带内容而识别第一内容和第二内容为内容匹配。内容管理系统可以由一个或多个计算装置实施,在一些情况下,这些计算装置可以包括与用户相关联的任何计算装置。例如,可以从网络资源(例如,包括与用户或用户帐户相关联的购买信息的外部数据源),和/或从用户从计算装置中共享的信息(例如,可用于计算装置的内容列表)获得内容信息。
除识别内容匹配之外,内容管理系统也可以识别与用户相关联的可以同步呈现第一内容和第二内容的计算装置,例如,电子书阅读器或另一计算装置。可以将内容同步信息的特定版本传输到识别的装置以便与使用识别的计算装置呈现的附带内容兼容和/或与识别的计算装置本身兼容。例如,基于用于视觉上呈现电子书的文本的不同格式,可以将内容同步信息的不同版本提供到电子书阅读器与移动电话。识别的计算装置可能已经存储附带内容,或内容管理系统可以使附带内容的至少一部分被传输到识别的计算装置。内容管理系统也可以使内容同步信息被传输到识别的装置。
随着附带内容和内容同步信息可用于同一计算装置,计算装置可以同步呈现附带内容以为用户提供增强的内容消费体验。例如,用户可以在查看电子书的对应的文本时收听《汤姆·索亚历险记》的有声读物,所述文本可以经突出显示、加下划线,或以其他方式增强以对应于有声读物的播放。例如,同步呈现体验也可以包括与音频播放同步的自动翻页和/或使以一种格式的搜索结果与另一种格式的呈现位置一致,其中随后的同步呈现起始于搜索结果位置。
本领域技术人员将了解,尽管第一内容和第二内容可以是附带内容,但是第一内容可以与第二内容不完全相关。例如,由于有声读物的左方的解说稿与电子书的文本之间的差异、版本之间的差异、“前页”(例如,音频制作的介绍、内容表、索引等)和/或“附属资料”的差异、未删节版与删节版之间的差异、内容格式的差异、装置能力的差异等,故《汤姆·索亚历险记》的有声读物可以不呈现与《汤姆·索亚历险记》的电子书的一一对应。由于潜在的附带内容的此类不相关的部分的存在,故附带识别模块可以被配置成在包括不匹配的部分的内容对/组合中识别附带内容。
如上所述,当使电子书的未删节版与对应的有声读物的删节版相关时,不匹配可能产生于许多源,例如,删除、修改、插入新材料或上述任何组合。然而,电子书的删节版可以包括可以与有声读物的删节版强烈相关的大部分未修改的材料。因此,在一些实施方案中,使用解决“最长公共序列”问题的算法、可以例如在UNIX的“diff”操作中存在的实施,可以检测内容的删节版与未删节版之间的不匹配。然后,可以为不同版本的相关部分生成内容同步信息,并且在使删节的有声读物与未删节的电子书的呈现同步时可以将内容同步信息提供到用户的计算装置以便使用。更具体来说,可以使未修改的材料类似于如何使完整的书与完整的有声读物相关而相关。然而,对于具有小规模的修改的删节版的段落,可以使修改的材料相关并且可以生成指示这些部分包括一些不匹配的指示器。尽管删节版中新的和删除的材料可以与完整版不相关,但是可以处理这些不相关的段落和修改的材料以便提供最有用的和自然的用户体验。这处理可以包括禁用同步呈现特征的子集和/或提供小规模的不匹配的指示。作为非限制性实例,当用户在查看具有文本的同步突出显示的未删节的电子书时收听删节的有声读物时,小规模的修改可以经不同地突出显示以指示音频播放不完全匹配书面文本。在使未删节的有声读物与附带未删节的电子书相关时,可以应用类似的技术,因为一些材料可能在这些版本之间不匹配。
现在将概括地描述用于处理不匹配的说明性方法。首先,可以将潜在的附带内容转变为通用格式(例如,文本和/或音位)。然后,可以执行尝试小规模地(例如,以词级)匹配内容。由于被去除的或添加的段落可以包括不匹配的较大部分(例如,整个句子或段落),故可以为句子、段落和/或其他单位的文本计算指示不匹配的频率的段落不匹配得分。例如,段落不匹配得分可以表示对于较大部分的文本(例如,句子、段落或页),词不匹配的数量和/或百分比。可以识别与相邻序列相比具有类似高的不匹配频率的较大部分的序列(其中可以通过分析已知附带内容的相关性根据经验设置“高”)。这些序列可以表示不应该与附带内容对中的其他内容同步的内容。可以在任一或两个内容中去除高的不匹配段落,并且可以再尝试较小规模地(例如,以词级)进行匹配。可以基于相关性生成元数据以确定内容同步信息的对齐点。元数据也可以包括识别匹配部分开始/结束所在的至少一个附带内容中的参考点的信息。
参照图1,描绘可以用于管理附带内容(例如,音频内容和文本内容)的同步输出和显示的说明性控制接口100。为了说明的目的,可以生成用于显示在计算装置200(例如,下文参照图2所述的计算装置200)上的控制接口100。计算装置200可以包括在图1中由图标102表示的能够音频输出的一个或多个输出装置222。此类输出装置可以包括一个或多个扬声器或各种数字或模拟音频功能的输出端口中的任何一个,包括(但不限于)耳机插座、1/4英寸插座、XLR插座、蓝牙链接、立体声插座、RCA插座、光端口或USB端口。
在说明性实例中,控制接口100包括文本内容的推进位置的表示104。在通过计算装置200的一个或多个输出装置222播放音频内容时,推进位置的这个表示104可以对应于音频内容的当前位置。用作说明地,推进位置的表示104可以对应于突出显示的文本的方框108的开始。在其他实施方案中,推进位置的表示104可以采取任何形式,并且可以视觉上或通过触觉接口加以显示。例如,文本内容的推进位置的表示104可以由视觉或触觉光标、行、选择、动画或任何其他类型的强调指示。
在附带音频内容的当前位置在播放期间推进时,可以更新文本内容的推进位置的表示104以便保持附带文本与音频内容之间的同步。在一个实施方案中,文本内容的推进位置的表示104可以指示在当前由输出装置222输出的词或句子内的开始、结束或任何其他位置。在另一实施方案中,文本内容的推进位置的表示104可以指示当前由输出装置222输出的词的音节。在更进一步的实施方案中,文本内容的推进位置的表示104可以指示整个词或句子,或可以指示与当前由输出装置222输出的词、音节或句子相距固定距离的词或句子。
控制接口100可以另外包括文本内容的指针位置的表示106。在说明性实例中,文本内容的指针位置的表示106由突出显示的文本内容的方框108的结束表示。在各种其他实施方案中,控制接口100可以通过任何视觉或触觉提示、光标或其他类型的强调而显示文本内容的指针位置的表示106。可以从下文参照图2所述的计算装置200的一个或多个用户输入装置224获得由表示106表示的文本内容的指针位置。在说明性实例中,通过跟踪用户的手指的位置的计算装置200的触摸屏显示而获得对应于表示106的文本内容的指针位置。在各种其他实施方案中,输入装置224可以包括(但不限于)键盘、鼠标、轨迹球、触控板、操纵杆、输入板、指点杆、触摸屏、遥控器、游戏控制器、运动检测器(例如,加速计、重力计、红外传感器、微波传感器、超声波传感器、摄影机等)等。在各种实施方案中,从输入装置获得关于文本内容的指针的当前位置可以包括获得对应于文本内容中的词、音节、字母、句子、行、段、章、节、部分、列等中的任何一个的位置。
控制接口100可以包括突出显示的文本内容的方框108或其他指示器以表示导程,例如,文本内容的推进位置的表示104与文本内容的指针位置的表示106之间的导程。在一个实施方案中,格式变化、输出的音频或其他内容,或任何其他视觉、听觉或触觉提示的属性的变化可以用于表示导程。在另一实施方案中,导程可以表示为数值,或可以通过在屏幕上的替代位置再现在导程中俘获的文本内容(例如,在方框108内的文本内容)来指示。
如上所述,计算装置200可以改变基于由突出显示的文本内容的方框108指示的导程而输出和显示同步附带音频和文本内容的速度。输出音频内容的特定速度和推进附带文本内容的指针以保持同步的对应的速度可以一起被称为播放状态。为了实例的目的,我们将假定由文本内容的方框108指示的导程对应于在正常或建议速度下输出音频内容所需的时间长度,所述音频内容对应于包含在文本内容的方框108中的文本。在一个实施方案中,如果导程满足某一阈值(例如,超过阈值和/或下降或仍低于阈值),那么音频输出的速率(和附带文本内容的指针推进的对应的速率)可以在正常速度下进行。这个输出状态可以被称为正常播放状态。如果导程行进超出第一阈值(例如,如果用户在文本内容前面跳太远),那么音频内容的输出速度和附带文本内容的指针推进的对应的速率可能增加。这种加速的输出状态可以被称为快速播放状态,并且可以允许用户对一部分的音频内容和附带文本内容进行快进操作。如果导程满足第二阈值,那么音频内容的输出速度和附带文本内容的指针推进的对应的速率可能会进一步增加。为了实例的目的,非常快的输出状态可以被称为提示播放状态,并且可以对应于只输出短片段的音频内容的非常快的或加速的音频输出状态以便保持清晰度并且允许用户判断其在音频内容中的位置。为了实例的目的,尽管用输出对应于文本内容的方框108的音频内容所需的时间定义由文本内容的方框108指示的导程和区分播放状态的阈值,但是在各种实施方案中,导程和阈值可以对应于距离,或词、字母、音节、音位、空格、句子、段落、列、行(line/row)、章、节、部分,或在文本内容的方框108内的任何其他文本特征的数量。
再次参看图1,控制接口100可以进一步包括播放转换指示器110。这个播放转换指示器110可以提供当前播放状态的视觉、触觉或听觉指示,并且可以进一步提供在播放状态之间转换的接近点的推进指示,例如,如上所述的阈值。用作说明地,在以上实例的上下文中,如果计算装置200处于正常播放状态,那么播放转换指示器110可以提供由文本内容的方框108指示的导程如何接近于满足对应于快速播放状态或提示播放状态的阈值的指示。播放转换指示器110可以包括(但不限于)条、刻度盘、数值、透明效果或其他视觉动画,或用户接近阈值或其他播放状态转换点的任何其他视觉、听觉或触觉指示。
在图1中所示的实例中,播放转换指示器110为在用户增加对应于文本内容的方框108的导程时填充的棒式温度计。当导程接近对应于播放状态转换(例如,从正常播放状态转换为快速播放状态)的阈值时,播放转换指示器110可以填充到棒式温度计的顶部。在一些实施方案中,在阈值的预定义距离内接近的导程可以触发额外的视觉、听觉或触觉效果,包括(但不限于)播放转换指示器110或突出显示的文本内容的方框108的颜色变化、播放转换指示器110的大小变化、应用于播放转换指示器110或突出显示的文本内容的方框108的视觉动画或闪烁的效果、计算装置200的振动、输出的音频、声音或播放状态的变化接近的任何其他指示的属性的变化。相关领域技术人员将了解,只为了实例的目的提供上述说明性接口,并且接口的实施方案可以实施参照图1所述的任何数量或组合的特征。包括控制接口(例如,图1的说明性控制接口100)的特征的特定组合或功能性可以由用户或计算装置200来预定义、由远程服务来确定,或由计算装置200基于用户行为的过去观察来动态确定。可以在下文参照图2所述的任何数量的装置上实施控制接口100。
图2为图示被配置成实施内容的同步播放的计算装置200的实施方案的方框图。计算装置200可以具有与网络接口204、显示接口206、计算机可读介质驱动器208和输入/输出装置接口210通信的一个或多个处理器202,所有这些元件通过通信总线彼此通信。网络接口204可以将连接性提供到一个或多个网络或计算系统。因此,处理器202可以经由网络从其他计算系统或服务接收信息和指令。处理器202也可以传达到存储器212并从存储器212传达,并且进一步经由显示接口206和/或输入/输出装置接口210提供输出信息或接收输入信息。输入/输出装置接口210可以从一个或多个输入装置224接受输入,输入装置224包括(但不限于)键盘、鼠标、轨迹球、触控板、操纵杆、输入板、指点杆、触摸屏、遥控器、游戏控制器、心率监视器、速度传感器、电压或电流传感器、运动检测器,或能够从用户获得位置或幅值的任何其他输入装置。输入/输出接口也可以经由一个或多个输出装置222提供输出,输出装置222包括(但不限于)一个或多个扬声器或各种数字或模拟音频功能的输出端口中的任何一个,包括(但不限于)如上所述的耳机插座、1/4英寸插座、XLR插座、立体声插座、蓝牙链接、RCA插座、光端口或USB端口。显示接口206可以与任何数量的视觉或触觉接口相关联,这些接口并入任何许多主动或被动的显示技术(例如,电子墨水、LCD、LED或OLED、CRT、投影等)或用于显示盲文或其他触觉信息的技术。
存储器212可以包括处理器202执行以便实施一个或多个实施方案的计算机程序指令。存储器212一般包括RAM、ROM和/或其他永久或非暂态计算机可读介质。存储器212可以存储呈现组件214,其用于管理经由显示接口206和/或输入/输出接口210将信息输出到显示器和/或其他输出装置222。存储器212可以进一步包括用户控制组件216,其用于管理和获得经由输入/输出装置接口210从一个或多个输入装置224接收的用户输入信息。在一个实施方案中,用户控制组件216可以另外解释用户输入信息以便改变附带内容的播放状态。存储器212可以进一步存储同步组件218。在一个实施方案中,同步组件218可以解释从本地或网络存储位置(未示出)获得的同步文件以便保持附带内容之间的同步。在一个实施方案中,同步文件包含与附带内容相关联的内容同步信息,并且可以经由通信网络中的计算装置生成、传输和/或获得同步文件。内容同步信息可以包括与第一内容和第二内容的同步呈现相关的任何数据,以便使一个或多个计算装置能够同步呈现附带内容。内容同步信息可以包括将第一内容的部分映射到第二内容的对应部分的参考点。在特定实例中,内容同步信息可以包括可以用于将一段文本(例如,词、行、句子等)映射到对应的音频记录的时间戳的数据。内容同步信息也可以包括与呈现的相关进程或内容的数字表示的呈现状态相关的信息。附带内容的同步呈现可以随装置(例如,电子书阅读器与移动电话)的能力和/或配置,和/或内容对(例如,数字出版和音频记录与视频和音频记录)中内容的格式而变化。因此,可以用各种格式、版本等生成内容同步信息。另外,内容同步信息可以包括用于使在‘473申请和‘313申请中公开的内容同步的特征或数据的任何组合,以上所述申请中的每个以引用方式全部并入本文。
在另一实施方案中,同步组件218可以动态计算或估计同步信息,而不需要同步文件。例如,存储器212可以包括文本语音转换组件220,其提供对应于文本内容的音频内容,而无必要获得预录音频内容、使用本领域中已知的任何许多文本语音转换算法。在一个实施方案中,文本语音转换组件220可以另外计算或估计词或短语的播放长度以帮助同步组件218动态地使文本内容和音频内容同步,而不需要同步文件。
图3A至图3C为描绘用于在图2中所示的计算装置200上的附带内容的输出的各种播放状态之间的说明性转换的状态图。在图3A至图3C中提及的状态表示如上所述的同步附带内容的播放状态。如在这些图中说明性地描述,一组播放状态可以包括正常播放状态302、快速播放状态304和提示播放状态306。正常播放状态302可以包括在实质上类似于记录或意图播放连贯性内容的原始速度的速度下,连贯性内容(例如,音频或视频内容)的播放和附带视觉内容(例如,文本内容)的指针的同步推进。为了实例的目的,正常播放状态302将被假定为默认播放状态。快速播放状态304表示输出连贯性内容并且推进视觉内容的对应指针的速率增加的状态。用作说明地,快速播放状态可以因此允许用户对附带内容的播放和同步显示进行快进操作。在一个实施方案中,可以在快速播放期间使音频内容的音调保持不变。在替代实施方案中,可以允许音频内容的音调随播放速度而变化。提示播放状态306指示快速或加速播放状态,其中输出连贯性内容并且推进视觉内容的对应指针的速率进一步增加,并且只输出短片段的连贯性内容以便保持清晰度并且允许用户判断其在连贯性内容中的位置。为了这些说明性图的目的,连贯性附带内容可以被假定为音频内容,并且视觉附带内容可以被假定为文本内容。
图3A描绘从正常播放状态302到快速播放状态304或提示播放状态306的说明性状态变化。图3A开始于正常播放状态302。为了说明的目的,我们可以假定计算装置200因此在正常速度下输出音频内容,并且在音频内容的推进位置与对应的文本内容的推进位置之间保持同步。参照图1中所示的实例,当用户阅读由计算装置200呈现的文本内容时,用户可以使用指针(例如,其手指或触控笔)指示文本内容的位置。然后,计算装置200可以计算文本内容的推进位置与通过输入接口获得的文本内容的指针位置(例如,用户的手指或触控笔的位置)之间的导程。如上所述,导程可以对应于距离,词、字母或其他文本特征的数量,或输出文本内容的推进位置与文本内容的指针位置之间的文本内容所需的时间。
返回到图3A,计算装置200将保持处于正常播放状态302直到导程满足阈值(例如,超过正常播放范围)并且对应于正常播放等待期的时段期满。可以用以匹配导程的单位的一个或多个阈值定义正常播放范围。例如,正常播放范围可以对应于由一部分文本内容中的词或字符的数量、阅读一定数量的文本内容所需的获得、确定或估计的时间,或与文本内容的推进位置相距的物理或抽象距离所定义的阈值之间的范围。在各种实施方案中,这些阈值可以由用户预定义、由远程服务硬编码、确定,或由计算装置200基于用户行为的过去观察来动态确定。
正常播放等待期表示用户可以将导程返回到正常播放范围内而播放状态不改变的时段。因此,从导程超过正常播放范围的时刻起测量正常播放等待期,并且在发生状态变化前导程减少到低于正常播放范围时重置正常播放等待期。可以用与正常播放范围相同或不同的方式中的任一种方式预定义或动态确定正常播放等待期。为了实例的目的,手指在触摸屏上简短的滑移或鼠标猛拉可以使文本内容的指针位置大幅移动,并且因此可以使导程超过正常播放范围。然而,如果在正常播放等待期期满前将手指或鼠标返回到正常播放范围内,那么计算装置200可以继续处于正常播放状态。因此,这个正常播放等待期可以减少由于快速或不稳定的运动导致的播放状态的意外变化。如果文本内容的指针保持在正常播放范围内,那么计算装置200也可以继续处于正常播放状态。正常播放等待期可以由用户或计算装置200来预定义、由远程服务来确定,或由计算装置200基于用户行为的过去观察来动态确定。
如上所述,当文本内容的指针移动远离文本内容的推进位置时(例如,在用户在触摸屏上迅速地移动其手指时),导程可能超过正常播放范围。如果导程超过正常播放范围达大于正常播放等待期的时段,那么可能发生播放状态变化。可以基于文本内容的指针位置和在超过正常播放等待期的时刻对应的导程而确定状态变化。为了实例的目的,假定计算装置200具有由一个或多个阈值定义并且对应于快速播放状态的快速播放范围,以及由一个或多个阈值定义并且对应于如上文参照图1所述的提示播放状态的提示播放范围。用作说明地,如上文参照正常播放范围所述,可以用以匹配导程的单位的一个或多个阈值定义快速播放范围和提示播放范围。如果导程在快速播放范围内,那么状态从正常播放状态302改变为快速播放状态304。如果导程在提示播放范围内,那么状态改变为提示播放状态306。如果导程超过提示播放范围,那么计算装置200向前跳转至文本内容的指针位置并且恢复正常播放状态302中的播放。当向前跳转至文本内容的指针位置时,计算装置200可以将文本内容的推进位置的位置重置为文本内容的指针位置,并且可以从对应于文本的新的推进位置的音频内容的位置继续处于正常播放状态。
图3B描绘从快速播放状态304到正常播放状态302或提示播放状态306的说明性状态变化。图3B从快速播放状态304开始。在这种状态下,向用户播放音频内容的速度已增加,这是因为用户已跳过通过输入接口获得的文本内容的指针位置(例如,用户的手指或触控笔的位置)所指示的文本内容前面。如果文本内容的推进位置与文本内容的指针位置之间的导程满足阈值(例如,超过或下降到低于快速播放范围,如上所述)达长于快速播放等待期,那么可能发生状态变化;否则,继续快速播放状态304中的播放。如上文参照正常播放范围所述,可以用以匹配导程的单位的一个或多个阈值定义快速播放范围。例如,快速播放范围可以对应于由一部分文本内容中的词或字符的数量、阅读一定数量的文本内容所需的计算或估计的时间,或与文本内容的推进位置相距的物理或抽象距离所定义的阈值之间的范围。在各种实施方案中,这些阈值可以由用户预定义、由远程服务硬编码、确定,或由计算装置200基于用户行为的过去观察来动态确定。
快速播放等待期表示用户可以将导程返回到快速播放范围内而播放状态不改变的时段。因此,从导程超过快速播放范围的时刻起测量快速播放等待期,并且在发生状态变化前导程减少到低于快速播放范围时重置快速播放等待期。可以用与快速播放范围相同或不同的方式中的任一种方式预定义或动态确定快速播放等待期。相关领域技术人员将了解,快速播放等待期可以与上述正常播放等待期相同或不同,并且可以由用户或计算装置200来预定义、由远程服务来确定,或由计算装置200基于用户行为的过去观察来动态确定。
如果导程超过或下降到低于快速播放范围达长于快速播放等待期,那么可能发生状态变化。如果在快速播放等待期期满时导程低于快速播放范围(例如,因为用户已移动其手指或触控笔更接近于文本内容的推进位置),那么计算装置200从快速播放状态304改变为正常播放状态302。用作说明地,这允许用户在对一部分内容进行“快进”操作后,在文本的当前位置返回到正常播放状态302。如果在快速播放等待期期满时导程在高于快速播放范围的提示播放范围内(例如,因为用户已移动其手指或触控笔更远离文本内容的推进位置),那么计算装置200改变为提示播放状态306。用作说明地,这允许用户增加其在附带文本和音频内容中进行的速率,例如以便快速移过电子书的不那么有趣的部分。如果在快速播放等待期期满时导程超过提示播放范围,那么计算装置200设置文本内容的推进位置和附带音频内容内的对应位置以对应于文本内容的指针位置。然后,计算装置200恢复正常播放状态302中的音频内容的输出和附带文本内容的位置的对应推进。用作说明地,这允许用户通过移动手指或触控笔远远在文本内容的当前推进位置之前而向前跳转至电子书的后面的部分。
图3C描绘从提示播放状态306到正常播放状态302或快速播放状态304的说明性状态变化。图3C从提示播放状态306开始。在这种状态下,只输出短片段的音频内容以便保持清晰度并且允许用户判断其在音频内容中的位置。如果文本内容的推进位置与文本内容的指针位置之间的导程满足阈值(例如,超过或下降到低于提示播放范围)达长于提示播放等待期,那么可能发生状态变化;否则,继续提示播放状态306中的快速或加速的播放,从而允许用户快速移过一部分文本内容和附带音频内容。如上文参照快速播放范围和正常播放范围所述,可以用以匹配导程的单位的一个或多个阈值定义提示播放范围。例如,提示播放范围可以对应于由一部分文本内容中的词或字符的数量、阅读一定数量的文本内容所需的计算或估计的时间,或与文本内容的推进位置相距的物理或抽象距离所定义的阈值之间的范围。在各种实施方案中,这些阈值可以由用户预定义、由远程服务硬编码、确定,或由计算装置200基于用户行为的过去观察来动态确定。
提示播放等待期表示用户可以将导程返回到提示播放范围内而播放状态不改变的时段。因此,从导程超过提示播放范围的时刻起测量提示播放等待期,并且在发生状态变化前提示导程减少到低于提示播放范围时重置提示播放等待期。可以用与快速播放范围或正常播放范围相同或不同的方式中的任一种方式预定义或动态确定提示播放等待期。相关领域技术人员将了解,提示播放等待期可以与上述正常播放等待期或快速播放等待期相同或不同,并且可以由用户或计算装置200来预定义、由远程服务来确定,或由计算装置200基于用户行为的过去观察来动态确定。
如果导程超过或下降到低于提示播放范围达长于提示播放等待期,那么可能发生状态变化。如果在提示播放等待期期满时导程在正常播放范围内(例如,因为用户已移动其手指或触控笔接近于文本内容的推进位置),那么计算装置200从提示播放状态306改变为正常播放状态302。用作说明地,这允许用户在对一部分内容快速进行“快进”操作后,在文本的当前位置返回到正常播放状态302。如果在提示播放等待期期满时导程在高于正常播放范围的快速播放范围内(例如,因为用户已移动其手指或触控笔稍微更接近于文本内容的推进位置),那么计算装置200改变为快速播放状态304。用作说明地,这允许用户减慢其在附带文本和音频内容中进行的速率,例如,在用户相信其接近于文本的所需的部分并且希望减少其对音频内容和附带文本内容进行“快进”操作的速度时。如果在提示播放等待期期满时导程超过提示播放范围,那么计算装置200设置文本内容的推进位置和附带音频内容内的对应位置以对应于文本内容的指针位置。然后,计算装置200恢复正常播放状态302中的音频内容的输出和附带文本内容的位置的对应推进。用作说明地,这允许用户通过移动手指或触控笔远远在文本内容的当前推进位置之前而向前跳转至电子书的后面的部分。
因此,响应于导程或其他用户输入而改变播放状态允许用户通过容易使用而直观的接口控制视觉和音频内容的同步播放。相关领域技术人员将了解,在不脱离本公开的范围的情况下,可以使用任何数量的播放状态。例如,各种实施方案可以包括较少的播放状态,或可以包括额外级别的加速或减速的播放。另外,将了解,任何阈值或阈值的组合可以用于定义上述各种播放范围和播放等待期。例如,满足阈值可以包括超过或下降到低于任何预定义或动态确定的值,或进入或离开值的任何范围。作为额外的实例,转换可以是直接的而没有等待期。在另一实施方案中,可以消除一个或多个转换并且同步播放速度有时可以直接随导程而变化。为了实例的目的,可以如上所述发生从正常播放状态302到快速播放状态304的转换;然而,一旦在快速播放状态304中,输出音频内容以及推进文本内容的对应指针的速度可能直接随导程的长度而增加。在更进一步的实施方案中,文本内容的指针位置的缺乏可以在某些情况下触发播放状态的变化。例如,用户举起手指离开触摸屏或在文本内容呈现窗口的外面移动鼠标光标达长于指定的等待导程可能使播放停止,或可能自动触发返回到正常播放模式。在更进一步的实施方案中,不同于速度或除速度之外的内容的一个或多个属性可以在输出内容时变化。此类属性可以包括(但不限于)音量、音调、清晰度、对比度、亮度、显示大小,或任何其他视觉、听觉或触觉属性。现在参照图4描述播放状态之间的转换的其他实施方案。
图4为描绘用于确定同步内容输出的播放状态的说明性方法400的流程图。方法400可以说明性地由如上文参照图2所述的用户控制组件216实施。用于确定播放状态的方法400响应于触发的状态变化从方框402开始。例如,参照图3A至图3C,用于确定播放状态的方法400可以由超出播放范围达长于播放等待期的导程触发。在其他实施方案中,方法400可以由引起播放状态变化的任何其他事件触发,或可以不时被自动重复或不断重复以便在发生状态变化时出于对用户输入的反应而检测和改变状态。
在决策方框404,计算装置200检查以确定文本或其他视觉内容的指针是否可用。为了说明的目的,如上文参照图1所述,指针可以对应于由文本内容的指针位置的表示106指示的指针。如上文参照图3A至图3C所述,在一些实施方案中,基于装置的配置、控制接口的实施,或输入组件或输入装置的特性,文本内容的指针可能在某些时候不能利用。例如,在触摸屏的一些实施方案中,在用户从屏幕举起手指时,文本内容的指针可能不能利用。如果文本内容的指针不能利用,那么方法400移动到方框406并且等待对应于重置期的时段。这个重置期可以是几秒、零秒或任何其他时段,并且可以由用户预定义、由管理员或远程服务硬编码、设置,或基于过去用户行为的观察来动态确定。在重置期结束时,计算装置200在决策方框408确定文本内容的指针现在是否可用。如果在决策方框408文本内容的指针现在可用,或在决策方框404最初可用,那么计算装置200推进到方框410以确定导程。在一个实施方案中,计算装置200可以检查一次以确定文本内容的指针是否变得可用。在其他实施方案中,计算装置200可以不断监视重置期以确定文本内容的指针是否变得可用,或可以在不同的时间间隔检查许多次。
如果计算装置200在方框408确定文本内容的指针仍不能利用,那么方法400可以推进到方框412并且暂停音频内容的输出和附带文本或视觉内容的对应的推进。在各种替代实施方案中,基于用户的偏好或基于任何其他预定义的设置,播放可以继续处于正常播放状态,或可以进入任何其他播放状态。在方框414,计算装置200将等待直到文本内容的指针变得可用。一旦文本内容的指针变得可用,在方框416,计算装置200将设置文本内容的推进位置和附带音频内容内的对应位置以对应于文本内容的新的指针位置。然后,在终止方框424,计算装置200将进入正常播放状态。
返回到方框410,如果文本内容的指针可用,那么计算装置200将基于文本内容的指针位置和文本或视觉内容的推进位置而确定导程。下文参照图5论述用于确定导程的方法的说明性实施方案。一旦在方框410已确定导程,例行程序将推进到决策方框418。在方框418,计算装置200将确定导程是否在正常播放范围内。如参照图3A至图3C所述,基于许多不同的因素,可以预定义或可以动态确定正常播放范围。如果导程被确定为在正常播放范围内,那么计算装置200在终止方框424进入正常播放状态并且方法400结束。
如果导程不被确定为在正常播放范围内,那么例行程序推进到决策方框420并且确定导程是否在快速播放范围内。如参照图3A至图3C所述,基于许多不同的因素,可以预定义或可以动态确定快速播放范围。如果导程被确定为在快速播放范围内,那么计算装置200在终止方框426进入快速播放状态并且方法400结束。如果导程不被确定为在快速播放范围内,那么例行程序推进到决策方框422并且确定导程是否在提示播放范围内。如参照图3A至图3C所述,基于许多不同的因素,可以预定义或可以动态确定提示播放范围。如果导程被确定为在提示播放范围内,那么计算装置200在终止方框428进入提示播放状态并且方法400结束。如果导程超出提示播放范围,那么计算装置200将设置文本内容的推进位置和附带音频内容内的对应位置以对应于文本内容的新的指针位置。然后,计算装置200将在终止方框424进入正常播放状态。
相关领域技术人员将了解,在其他实施方案中可能存在对应于播放的加速或减速方法的任何数量的播放状态。另外,各种实施方案可以消除一个或多个转换和/或直接随导程而改变播放速度。
现在参照图5,图5为描绘用于确定文本的推进位置与文本内容的指针位置之间的导程的说明性方法500的流程图。这种方法可以说明性地由如上文参照图2所述的用户控制组件216实施。方法500响应于确定导程的请求从方框502开始。例如,可以响应于在图4的说明性方法400的方框410中确定导程而执行方法500。响应于确定导程的请求,在方框504,计算装置200基于从输入装置224接收的信息而获得文本内容的指针位置。如上文参照图1所述,可以从任何许多输入装置224获得文本内容的指针位置。在方框506,计算装置200获得文本内容的推进位置,其对应于在输出期间音频内容的推进位置。
在决策方框508,计算装置200确定是否存在可用于同步音频和文本内容的同步信息。这个同步信息可以对应于同步信息文件并且可以从任何许多本地或远程源被获得。例如,计算装置200可以将同步信息文件存储在存储位置中或本地存储装置上。在另一实施方案中,计算装置200可以从远程存储装置获得同步信息或从远程网络位置播送同步信息。如果同步信息可用,那么计算装置200在方框514获得同步信息。在方框516,计算装置200确定来自同步信息的导程、文本内容的推进位置和文本内容的指针位置。
具体来说,为了说明的目的,可以将导程确定为视觉内容的推进位置与视觉内容的指针位置之间的差。例如,在一个实施方案中,基于同步信息,导程可以对应于播放音频内容所需的时间长度,所述音频内容对应于文本内容的推进位置与文本内容的指针位置之间的介入内容。在另一实施方案中,如上所述,导程可以对应于词、字母、音节、句子,或文本内容的推进位置与文本内容的指针位置之间的其他文本特征的数量。在另一实施方案中,导程可以对应于文本内容的推进位置与文本内容的指针位置之间的物理距离。用作说明地,物理距离可以对应于与文本内容的推进位置相距的绝对距离或正或负的距离。例如,就文本内容而论,如果文本内容的指针位置位于文本内容的推进位置的后面,那么计算装置200可以确定负导程。在一些实施方案中,这可能使说明性计算装置200反转播放方向。作为另一说明性实例,就图形内容而论,可以基于图形内容的推进位置(例如,对应于附带音频或视频内容的输出的推进位置的画面上的第一位置)与图形内容的指针位置(例如,画面上的第二位置)之间的绝对物理距离来确定导程。在一个实施方案中,计算装置200可以因此基于导程加速或减缓连贯性内容(例如,音频内容或视频内容)的播放。在方框518,方法500结束,从而将确定的导程返回到图4的方法400。
如果计算装置200在方框508确定同步信息不可用,那么例行程序进入方框510。在方框510,计算装置200识别文本内容的推进位置与从输入装置224获得的文本内容的指针位置之间的文本内容中的词。在方框512,计算装置200基于使用文本语音转换组件220阅读识别的文本中的词所需的时间来确定导程。可以使用许多不同的算法或方法确定阅读识别的词所需的时间。在一个实施方案中,文本语音转换组件220生成对应于文本内容的推进位置与文本内容的指针位置之间的文本内容的音频内容。在另一实施方案中,可以在播放音频内容之前预先生成对应于文本内容的音频内容,以便计算输出对应于文本内容的音频内容所需的时间长度。在另一实施方案中,文本语音转换组件220基于输出文本内容而实际上不生成音频信号所需的时间长度来计算导程。在又一实施方案中,计算装置200可以基于许多因素(包括词数、平均词长度、句子数、平均句子长度、音节数、音位数、字母数、空格数,或文本内容的推进位置与文本内容的指针位置之间的文本中的词的任何其他特性),估计输出对应于文本内容的音频内容所需的时间长度。在一个实施方案中,文本语音转换组件220可以基于输出对应于文本内容的音频内容所需的确定的时间长度来生成同步信息。因此,文本语音转换组件220可以将这生成的同步信息存储在存储位置中,例如,在附带内容的后续输出和显示期间利用的计算机可读介质驱动器208。在各种其他实施方案中,计算装置200可以基于词、字母、字符、音节的数量,或文本内容的推进位置与文本内容的指针位置之间的物理距离来确定导程。在方框518,方法500在确定导程后结束。用作说明地,现在导程可以用作改变或控制如上文参照图4所述的播放状态的基础。
图6描绘在计算装置200上生成的可以用于管理内容的同步播放的说明性控制接口600。为了说明的目的,可以生成用于显示在计算装置200(例如,上文参照图2所述的计算装置200)上的控制接口600。控制接口600可以包括在通过由图标602表示的一个或多个输出装置222播放音频内容时,对应于附带音频内容的当前位置的文本内容的第一推进位置的表示604。在播放附带音频内容时,可以更新文本内容的第一推进位置的表示604以便保持文本内容的第一推进位置的表示604与在输出期间音频内容的推进位置之间的同步。文本内容的第一推进位置的表示604可以对应于如上文参照图1所述的文本内容内的任何许多粒度级别。例如,文本内容的第一推进位置的表示604可以由视觉提示(例如,光标、行,或围绕或指示对应的词的强调)指示。控制接口600可以进一步包括文本内容的第二推进位置的表示606。文本内容的第二推进位置的这个表示606可以指示对应于附带音频内容的当前位置的文本内容的推进位置,并且具有与文本内容的第一推进位置的表示604不同的粒度。例如,文本内容的第一推进位置的表示604可以指示文本内容的词,其对应于当前由附带音频内容输出的词,并且文本内容的第二推进位置606可以指示文本内容的行,其对应于当前由附带音频内容输出的文本内容的行。
控制接口600可以另外包括文本内容的指针位置的表示608。控制接口600可以获得文本内容的指针位置,其对应于来自计算装置200的一个或多个输入装置224的表示608。例如,可以从触摸屏获得文本内容的指针位置,从而跟踪用户的手指或触控笔的位置。控制接口600可以通过任何视觉或触觉提示、光标或强调而显示文本内容的指针位置的表示608。
计算装置200可以进一步显示突出显示条610,其对应于文本内容的指针位置(对应于表示608)与文本内容的第二推进位置(对应于表示606)之间的导程。在一些实施方案中,导程也可以由任何许多视觉提示(包括框、行、视觉动画,或表示导程的任何其他视觉提示)指示。在其他实施方案中,导程可以由格式变化或其他视觉效果表示。在更进一步的实施方案中,导程可以表示为数值或可以通过在屏幕上的替代位置再现导程内的文本来指示。
再次参看图6,控制接口600可以进一步包括播放转换指示器612。这个播放转换指示器612可以提供当前播放状态的视觉或触觉指示,并且可以进一步提供转换的接近点的推进指示,例如,在播放状态之间的阈值。用作说明地,在以上实例的上下文中,如上文参照图1所述,如果计算装置200处于正常播放状态,那么播放转换指示器612可以提供由突出显示条610指示的导程如何接近于满足对应于快速播放状态或提示播放状态的阈值的指示。播放转换指示器612可以包括(但不限于)条、刻度盘、数值、透明效果或其他视觉动画,或用户接近阈值或其他播放状态转换点的任何其他视觉或触觉指示。
在图6中所示的实例中,播放转换指示器612为在用户增加对应于突出显示条610的导程时填充的刻度盘。当导程接近对应于播放状态转换的阈值(例如,在正常播放状态与快速播放状态之间的阈值)时,播放转换指示器612可以显示几乎填满的刻度盘。在一些实施方案中,在阈值的预定义距离内接近的导程可以触发额外的视觉或触觉效果,包括(但不限于)播放转换指示器612或突出显示条610的颜色变化、播放转换指示器612的大小变化、应用于播放转换指示器612或突出显示条610的视觉动画或闪烁的效果、计算装置200的振动,或播放状态的变化接近的任何其他指示。相关领域技术人员将了解,只为了实例的目的提供上述说明性接口,并且接口的实施方案可以实施参照图6所述的任何数量或组合的特征。可以在如上文参照图2所述的任何数量的装置上实施控制接口600。
图7描绘在计算装置200上生成的可以用于管理内容的同步播放的说明性控制接口700。控制接口700可以包括在通过由图标702表示的一个或多个输出装置222输出音频内容时,对应于附带音频内容的当前位置的文本内容的推进位置的表示704。在播放附带音频内容时,可以更新文本内容的推进位置的表示704以便保持文本内容的推进位置的表示704与在输出期间音频内容的推进位置之间的同步。文本内容的推进位置的表示704可以对应于如上文参照图1所述的文本内容内的任何许多粒度级别。例如,文本内容的推进位置的表示704可以由视觉提示(例如,光标、行,或围绕或指示对应的词的强调)指示。
控制接口700可以另外包括速度指示器706,其指示音频内容输出的当前速率和推进附带文本内容的指针的对应的速率。这个速度指示器706可以包括许多速度阈值708、710、712、714和716的表示。这些速度阈值可以对应于如下所述的各种播放状态的阈值。
控制接口700可以另外包括速度指示器706的指针位置的表示718。用作说明地,控制接口700可以从计算装置200的一个或多个输入装置224获得对应于表示718的指针位置。例如,可以从触摸屏获得速度指示器706的指针位置,从而跟踪用户的手指或触控笔的位置。控制接口700可以通过任何视觉或触觉提示、光标或强调而显示速度指示器706的指针位置的表示718。
控制接口700可以进一步显示突出显示条720,其指示中性速度阈值712与速度指示器706的指针位置的表示718之间的导程。在一些实施方案中,对应于突出显示条720的导程也可以由任何许多其他视觉提示(包括框、行、视觉动画,或表示导程的任何其他视觉提示)指示。在其他实施方案中,导程可以由格式变化或其他视觉效果表示。在更进一步的实施方案中,导程可以表示为指示播放状态的数值或符号。
计算装置200可以利用速度指示器706的指针位置的表示718与中性速度阈值712之间的导程以确定播放状态。例如,如果计算装置200确定速度指示器706的指针位置满足阈值(例如,大于中性速度阈值712,但是小于快速阈值714),那么计算装置200可以继续在正常播放状态中输出和显示附带内容。如果速度指示器706的指针位置超过快速阈值714,那么计算装置200可以进入快速播放状态。如果速度指示器706的指针位置进一步超过提示速度阈值716,那么计算装置200可以进入提示播放状态。如果速度指示器706的指针位置满足替代阈值(例如,减少到低于中性速度阈值712),那么计算装置200可以反转或反绕音频内容的输出并且使附带文本内容的推进位置的表示704后退或向后移动通过文本以便保持与音频内容的反循环位置同步。如果速度指示器706的指针位置满足另一阈值(例如,进一步减少超过快速反绕速度阈值710),那么计算装置200可以增加同步音频内容的反绕速度或反向播放速率和使附带文本内容的推进位置的表示704退回的对应的速率。为了更进一步的实例的目的,如果速度指示器706的指针位置满足又一阈值(例如,减少到低于提示反绕速度阈值708),那么计算装置200可以更进一步增加同步音频内容的反向播放速率和使附带文本内容的推进位置的表示704退回的对应的速率。相关领域技术人员将了解,在各种替代实施方案中,速度指示器706可以包括对应于一个或多个播放状态的任何数量的阈值。在更进一步的实施方案中,接口700可以确定音频内容输出的速度和直接从中性速度位置712与速度指示器706的指针位置之间的位移推进文本内容的指针的对应的速率。
控制接口700可以进一步包括播放转换指示器722。这个播放转换指示器722可以提供当前播放状态的视觉或触觉指示,并且可以进一步提供转换的接近点的推进指示,例如,在播放状态之间的速度阈值708、710、712、714或716。用作说明地,在以上实例的上下文中,如上文参照图1所述,如果计算装置200处于正常播放状态,那么播放转换指示器722可以提供速度指示器706的指针位置如何接近于快速播放状态或提示播放状态的阈值的指示。播放转换指示器722可以包括(但不限于)条、刻度盘、数值、透明效果或其他视觉动画,或用户接近速度阈值708、710、712、714或716或其他播放状态转换点的任何其他视觉或触觉指示。
在图7中所示的实例中,播放转换指示器722为在用户增加由突出显示条710表示的导程时填充的刻度盘。当导程接近对应于播放状态转换的速度阈值708、710、712、714或716(例如,在正常播放状态与快速播放状态之间的快速阈值714)时,播放转换指示器722可以显示几乎填满的刻度盘。在一些实施方案中,在阈值的预定义距离内接近的导程可以触发额外的视觉或触觉效果,包括(但不限于)播放转换指示器722或突出显示条720的颜色变化、播放转换指示器722的大小变化、应用于播放转换指示器722或突出显示条720的视觉动画或闪烁的效果、计算装置200的振动,或播放状态的变化接近的任何其他指示。相关领域技术人员将了解,只为了实例的目的提供上述说明性接口,并且接口的实施方案可以实施参照图7所述的任何数量或组合的特征。可以在如上文参照图2所述的任何数量的装置上实施控制接口700。
图8描绘在计算装置200上显示的可以用于控制内容的同步播放的另一说明性控制接口800。控制接口800可以包括在通过由图标802表示的一个或多个输出装置222输出音频内容时,对应于附带音频内容的当前位置的文本内容的推进位置的表示804。在播放附带音频内容时,可以更新文本内容的推进位置的表示804以便保持文本内容的推进位置的表示804与在输出期间音频内容的推进位置之间的同步。文本内容的推进位置的表示804可以对应于如上文参照图1所述的文本内容内的任何许多粒度级别。例如,文本内容的推进位置的表示804可以由视觉提示(例如,光标、行,或围绕或指示对应的词的强调)指示。
控制接口800可以另外包括速度指示器806,其指示音频内容输出的当前速率和推进附带文本内容的指针的对应的速率。这个速度指示器806可以包括许多速度阈值808、812和814的表示。这些速度阈值可以对应于如下所述的各种播放状态的阈值。
控制接口800可以另外包括在速度指示器806内显示的输入值的表示810。控制接口800可以通过任何视觉或触觉提示、光标或强调显示输入值的表示810。用作说明地,控制接口800可以从计算装置200的一个或多个输入装置224获得对应于表示810的输入值。在一个实施方案中,可以从操纵杆或能够生成输入信号的任何其他输入装置224获得输入值。在另一实施方案中,对应于表示810的输入值可以由监视身体机能或锻炼的输入装置224生成。例如,可以从能够监视用户性能的任何许多装置或组件获得对应于表示810的输入值,这些装置或组件包括(但不限于)位置监视器(例如,全球定位系统装置)、性能监视器、计步器、心率监视器、手表、智能鞋,或监视用户818的性能的健身器816。在一个实施方案中,健身器816可以监视如本领域中已知的用户818的性能的任何方面,包括心率、速度、节奏、得分、难度、锻炼的时间、消耗或产生的能量,或性能的任何其他方面。对应于表示810的输入值可以采用任何形式,包括(但不限于)正或负的数值,其表示性能的任何上述方面,或对应于性能的上述方面中的一个与个人目标或运动区的偏差。例如,对应于表示810的输入值可以表示在健身车或其他健身器816上的当前节奏。作为另一实例,对应于表示810的输入值可以表示在健身车或其他健身器上十五(15)英里每小时的目标与实际的当前节奏之间的差。在各种实施方案中,对应于表示810的输入值可以指示可以基于预定义或动态确定的设置求平均值或加权的输入因子的任何组合。例如,对应于表示810的输入值可以对应于在前五分钟内燃烧的卡路里的平均数加上用户的实际心率与所需的心率区间的阈值之间的差。相关领域技术人员将了解,可以将任何数量的输入提供到计算装置200以用于处理或确定对应于表示810的输入值,并且任何必要的输入确定或处理步骤可以由计算装置200或健身器816或其他输入装置执行。
控制接口800可以进一步显示突出显示条820,其指示速度指示器806的开始与输入值的表示810之间的导程。在一些实施方案中,对应于突出显示条820的导程也可以由任何许多其他视觉提示(包括框、行、视觉动画,或表示导程的任何其他视觉提示)指示。在其他实施方案中,导程可以由格式变化或其他视觉效果表示。在更进一步的实施方案中,导程可以表示为指示播放状态的数值或符号。
计算装置200可以利用由表示810指示的输入值以确定播放状态。例如,如果计算装置200确定由表示810指示的输入值满足一个或多个阈值(例如,大于慢速阈值808,但是小于快速阈值812),那么计算装置200可以继续在正常播放状态中输出和显示附带内容。为了实例的目的,假定由表示810指示的输入值对应于用户818通过健身器816获得的心率。为了实例的目的,进一步假定慢速阈值808与快速阈值812之间的范围表示所需的心率区间。如上文参照图3A至图3C所述,在各种实施方案中,这些阈值可以由用户预定义、由远程服务硬编码、确定,或由计算装置200基于用户行为的过去观察来动态确定。例如,计算装置200可以监视和/或记录对任务(例如,日常锻炼)的过去的用户性能,并且可以基于以下因素,例如,性能的提高水平、所需的性能目标、预选的例行程序(例如,预定义的锻炼方案),或能够基于过去的用户性能或行为计算修改的阈值的任何其他算法,动态调整性能阈值。
为了继续以上实例,如果用户将心率保持在所需的心率区间(例如,在慢速阈值808与快速阈值812之间)内,那么计算装置200可以保持正常播放状态。这个正常播放状态向用户818指示其心率在所需的心率区间内。如果由表示810指示的输入值超过快速阈值812,那么计算装置200可以进入快速播放状态。为了以上实例的目的,快速播放状态可以向用户818指示其心率超过其所需的心率区间并且因此用户818应减速。用作说明地,快速播放状态可以对应于音调或输出的音频内容的某一其他属性的变化以便降低清晰度并且鼓励用户返回到正常播放状态。如果由表示810指示的输入值进一步超过提示速度阈值814,那么计算装置200可以进入提示播放状态。为了以上实例的目的,提示播放状态可以向用户818指示其心率远远超过其所需的心率区间并且用户818应立即减速。用作说明地,提示播放状态可以对应于输出音频的清晰度的更进一步降低以便鼓励用户返回到正常播放状态。如果由表示810指示的输入值满足替代阈值(例如,减少到低于慢速阈值808),那么计算装置200可以减慢音频内容的输出并且同样地减慢附带文本内容的推进位置的表示804的推进,以便保持与音频内容的缓慢推进位置同步。为了以上实例的目的,附带文本内容的缓慢输出和缓慢推进位置可以向用户818指示其心率低于其所需的心率区间并且用户818应加倍努力。用作说明地,缓慢播放状态可以对应于音调降低或输出的音频内容的某一其他属性的变化以便降低清晰度并且鼓励用户返回到正常播放状态。相关领域技术人员将了解,在各种替代实施方案中,速度指示器806可以包括对应于一个或多个播放状态的任何数量的阈值。在更进一步的实施方案中,接口800可以确定音频内容输出的速度和直接从由表示810指示的输入值推进文本内容的指针的对应的速率。相关领域技术人员将了解,在其他实施方案中可能存在对应于播放的加速、减速或中断方法的任何数量的播放状态。另外,各种实施方案可以消除一个或多个转换和/或直接随输入值而改变播放速度。在更进一步的实施方案中,不同于速度或除速度之外的内容的一个或多个属性可以在输出内容时变化。此类属性可以包括(但不限于)音量、音调、清晰度、对比度、亮度、显示大小,或任何其他视觉、听觉或触觉属性。
应理解,不一定可以根据本文所述的任何特定实施方案实现所有目的或优势。因此,例如,本领域技术人员将认识到,某些实施方案可以被配置成以实现或最优化如本文教导的一个优势或一组优势而没有必要实现如本文可以教导或建议的其他目的或优势的方式操作。
本文所述的所有过程可以用一个或多个通用计算机或处理器所执行的软件代码模块来实施,并且经由所述软件代码模块来完全自动化。可以将代码模块存储在任何类型的计算机可读介质或其他计算机存储装置中。一些或所有的方法可以替代地用专门的计算机硬件来实施。另外,本文中被提及的组件可以用硬件、软件、固件或上述组合来实施。
除非另外特别说明,否则条件语言(例如,“可以”、“能够”、“也许”或“可能”等等)在上下文中被理解为一般用于传达某些实施方案包括某些特征、元件和/或步骤,而其他实施方案不包括某些特征、元件和/或步骤。因此,此条件语言一般不意图暗示特征、元件和/或步骤是采用一个或多个实施方案所需的任何方式,或一个或多个实施方案必然包括用于使用或不使用用户输入或提示来决定是否包括这些特征、元件和/或步骤或在任何特定实施方案执行这些特征、元件和/或步骤的逻辑。
本文中描述和/或附图中描绘的流程图中的任何过程描述、元件或方框应被理解为可能表示模块、片段,或包括用于实施过程中的特定逻辑功能或元件的一个或多个可执行指令的代码部分。替代实施包括在本文所述的实施方案的范围内,其中如本领域技术人员将理解,取决于涉及的功能性,可以删除、不按示出或论述的顺序(包括实质上同时或以相反的顺序)执行元件或功能。
应强调的是,可以对上述实施方案进行许多变化和修改,其元件应被理解为在其他可接受的实例中。所有此类修改和变化意图在本文中包括在本公开的范围内并且受下列内容保护。
条款
1.一种使音频内容的输出与文本内容同步的系统,所述系统包括:
一个或多个数据存储器,其存储文本内容、音频内容和内容同步信息,其中所述内容同步信息对应于用于使所述文本内容与所述音频内容同步的信息;
输入装置,其获得参照所述文本内容的指针位置;
显示装置,其呈现所述文本内容;
输出装置,其输出音频内容;以及
处理器,其与所述一个或多个数据存储器、所述输入装置和所述输出装置通信,所述处理器可操作以:
引起经由所述输出装置输出所述音频内容;
引起在所述显示装置上呈现所述文本内容;
至少部分地基于所述同步信息,保持在所述显示装置上呈现的所述文本内容的位置与经由所述输出装置输出的所述音频内容的关联位置的同步,其中在输出所述音频内容期间推进所述音频内容的所述关联位置;
从所述输入装置获得参照在所述显示装置上呈现的所述文本内容的所述指针的当前位置;
至少部分地基于所述文本内容的所述指针的所述当前位置与所述文本内容的所述位置之间的差,确定导程;以及
至少部分地基于所述确定的导程,修改经由所述输出装置输出所述音频内容的速度。
2.如条款1所述的系统,其中至少部分地基于所述同步信息,保持所述文本内容的所述位置与所述音频内容的所述推进关联位置的同步包括更新所述文本内容的所述位置以对应于所述音频内容的所述推进关联位置。
3.如条款1所述的系统,其中从所述输入装置获得参照所述文本内容的所述指针的当前位置包括获得对应于所述文本内容中的词、音节、字母、句子、行、段落、章、节、部分或列中的至少一个的所述指针的位置。
4.如条款1所述的系统,其中所述输入装置包括触摸屏、鼠标、触控笔、遥控器、游戏控制器和运动检测器中的至少一个。
5.如条款1所述的系统,其中所述确定的导程由视觉提示指示。
6.一种输出第一内容和第二内容的计算机实施方法,所述计算机实施方法包括:
在一个或多个计算装置的控制下,
引起输出第一内容和第二内容;
至少部分地基于同步信息,保持输出的所述第二内容的位置与输出的所述第一内容的关联位置的同步,其中在输出所述第一内容期间推进所述第一内容的所述关联位置;
从输入装置获得参照呈现的所述第二内容的指针的当前位置;
至少部分地基于所述指针的所述当前位置与所述第二内容的所述位置之间的差,确定导程;以及
至少部分地基于所述确定的导程,修改与所述第一内容的所述输出相关联的属性。
7.如条款6所述的计算机实施方法,其中修改与所述第一内容的所述输出相关联的属性包括增加和减少输出所述第一内容的速度中的至少一个。
8.如条款7所述的计算机实施方法,其中增加输出所述第一内容的速度包括跳过所述第一内容的一个或多个片段的输出。
9.如条款7所述的计算机实施方法,其中所述第一内容包括音频内容。
10.如条款9所述的计算机实施方法,其中增加输出所述音频内容的所述速度包括在所述音频内容的音调不改变的情况下增加所述速度,并且其中减少输出所述音频内容的所述速度包括在所述音频内容的音调不改变的情况下减少所述速度。
11.如条款6所述的计算机实施方法,其中至少部分地基于所述同步信息,保持所述第二内容的所述位置与所述第一内容的所述推进关联位置的同步包括更新所述第二内容的所述位置以对应于所述第一内容的所述推进关联位置。
12.如条款6所述的计算机实施方法,其中所述第二内容包括文本内容。
13.如条款12所述的计算机实施方法,其中从所述输入装置获得参照所述第二内容的所述指针的当前位置包括获得对应于所述第二内容的自然特征和预定义特征中的至少一个的所述指针的位置。
14.如条款6所述的计算机实施方法,其中所述输入装置包括触摸屏、鼠标、触控笔、遥控器、游戏控制器和运动检测器中的至少一个。
15.如条款6所述的计算机实施方法,其中所述确定的导程由视觉提示、听觉提示和触觉提示中的至少一个指示。
16.如条款15所述的计算机实施方法,其中所述视觉提示包括所述文本内容的突出显示。
17.如条款6所述的计算机实施方法,其中至少部分地基于所述确定的导程,修改与所述第一内容的所述输出相关联的属性包括在所述导程满足阈值时,修改所述属性。
18.如条款17所述的计算机实施方法,其中所述阈值由视觉提示、听觉提示和触觉提示中的至少一个指示。
19.如条款17所述的计算机实施方法,其中至少部分地基于用户的输入确定所述阈值。
20.如条款17所述的计算机实施方法,其中至少部分地基于所述确定的导程,修改与所述第一内容的所述输出相关联的属性包括在所述导程被确定为超过所述阈值达预定时间长度和下降到低于所述阈值达预定时间长度中的至少一个时,修改所述属性。
21.如条款6所述的计算机实施方法,其进一步包括至少部分地基于参照所述第二内容的所述指针的所述当前位置,确定所述第二内容的新位置。
22.如条款21所述的计算机实施方法,其进一步包括引起从与所述第二内容的所述新位置相关联的所述第一内容的新位置开始的所述第一内容的输出。
23.一种用于使内容的播放同步的系统,其包括:
数据存储器,其存储内容同步信息;
处理器,其与所述数据存储器通信,所述处理器可操作以:
至少部分地基于所述同步信息,保持输出的视觉内容内的位置与输出的连贯性内容的关联位置的同步,其中在输出所述连贯性内容期间推进所述连贯性内容的所述关联位置;
获得参照输出的所述视觉内容的指针的当前位置;以及
至少部分地基于参照输出的所述视觉内容的所述指针的所述当前位置与输出的所述视觉内容内的所述位置之间的差,修改与所述连贯性内容的所述输出相关联的属性。
24.如条款23所述的系统,其中修改与所述连贯性内容的所述输出相关联的属性包括增加和减少输出所述连贯性内容的速度中的至少一个。
25.如条款23所述的系统,其中至少部分地基于所述同步信息,保持所述视觉内容内的所述位置与所述连贯性内容的所述推进关联位置的同步包括更新所述视觉内容内的所述位置以对应于所述连贯性内容的所述推进关联位置。
26.如条款23所述的系统,其中从输入装置获得参照所述视觉内容的所述指针的所述当前位置。
27.如条款23所述的系统,其中参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差由视觉提示、听觉提示和触觉提示中的至少一个指示。
28.如条款23所述的系统,其中修改与所述连贯性内容的所述输出相关联的属性包括在参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差满足阈值时,修改所述属性。
29.如条款28所述的系统,其中修改与所述连贯性内容的所述输出相关联的属性包括在参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差满足所述阈值达预定时间长度时,修改所述属性。
30.如条款23所述的系统,其中修改与所述连贯性内容的所述输出相关联的属性包括:
在参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差满足第一阈值达第一预定时间长度时,在第一速率下输出所述连贯性内容;
在参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差满足第二阈值达第二预定时间长度时,在第二速率下输出所述连贯性内容,其中所述第二速率快于所述第一速率;以及
在参照所述视觉内容的所述指针的所述当前位置与所述视觉内容内的所述位置之间的所述差满足第三阈值达第三预定时间长度时,在第三速率下输出所述连贯性内容,其中所述第三速率快于所述第二速率。
31.如条款30所述的系统,其中所述第一速率对应于记录所述连贯性内容的速率、所述系统的用户确定的速率,以及所述连贯性内容的提供商确定的速率中的至少一个。
32.如条款23所述的系统,其中所述处理器进一步可操作以至少部分地基于参照所述视觉内容的所述指针的所述当前位置,确定所述视觉内容内的新位置。
33.如条款32所述的系统,其中所述处理器进一步可操作以引起从与所述视觉内容内的所述新位置相关联的所述连贯性内容的新位置开始的所述连贯性内容的输出。
34.一种计算机可读非暂态存储介质,其具有用于提供同步内容的至少一个计算机可执行组件,所述至少一个计算机可执行组件包括:
内容同步模块,其可操作以:
至少部分地基于同步信息,保持输出的第二内容内的位置与输出的第一内容的关联位置的同步,其中在输出所述第一内容期间推进所述第一内容的所述关联位置;
获得参照输出的所述第二内容的指针的当前位置;以及
至少部分地基于参照输出的所述第二内容的所述指针的所述当前位置与输出的所述第二内容内的所述位置之间的差,修改与所述第一内容的所述输出相关联的属性。
35.如条款34所述的计算机可读非暂态存储介质,其中修改与所述第一内容的所述输出相关联的属性包括增加和减少输出所述第一内容的速度中的至少一个。
36.如条款34所述的计算机可读非暂态存储介质,其中至少部分地基于所述同步信息,保持所述第二内容内的所述位置与所述第一内容的所述推进关联位置的同步包括更新所述第二内容内的所述位置以对应于所述第一内容的所述推进关联位置。
37.如条款34所述的计算机可读非暂态存储介质,其中从输入装置获得参照所述第二内容的所述指针的所述当前位置。
38.如条款34所述的计算机可读非暂态存储介质,其中修改与所述第一内容的所述输出相关联的属性包括在参照所述第二内容的所述指针的所述当前位置与所述第二内容内的所述位置之间的所述差满足阈值时,修改所述属性。
39.如条款34所述的计算机可读非暂态存储介质,其中修改与所述第一内容的所述输出相关联的属性包括:
在参照所述第二内容的所述指针的所述当前位置与所述第二内容内的所述位置之间的所述差满足第一阈值达第一预定时间长度时,在第一速率下输出所述第一内容;
在参照所述第二内容的所述指针的所述当前位置与所述第二内容内的所述位置之间的所述差满足第二阈值达第二预定时间长度时,在第二速率下输出所述第一内容,其中所述第二速率快于所述第一速率;以及
在参照所述第二内容的所述指针的所述当前位置与所述第二内容内的所述位置之间的所述差满足第三阈值达第三预定时间长度时,在第三速率下输出所述第一内容,其中所述第三速率快于所述第二速率。
40.一种用于使音频内容的输出与文本内容同步的系统,所述系统包括:
数据存储器,其存储文本内容;
输入装置,其获得参照所述文本内容的指针位置;
显示装置,其呈现所述文本内容;
输出装置,其输出音频内容;以及
处理器,其与所述数据存储器、所述输入装置和所述输出装置通信,所述处理器可操作以:
至少部分地基于所述文本内容,生成音频内容;
引起经由所述输出装置输出所述生成的音频内容;
引起在所述显示装置上呈现所述文本内容;
保持在所述显示装置上呈现的所述文本内容的位置与经由所述输出装置输出的所述生成的音频内容的关联位置的同步,其中在输出所述生成的音频内容期间推进所述关联位置;
从所述输入装置获得参照在所述显示装置上呈现的所述文本内容的指针的当前位置;
至少部分地基于参照所述文本内容的所述指针的所述当前位置与所述文本内容的所述位置之间的差,确定文本内容的片段;
确定输出对应于文本内容的所述确定的片段的音频内容所需的时间长度;以及
至少部分地基于所述确定的时间长度,修改经由所述输出装置输出所述生成的音频内容的速度。
41.如条款40所述的系统,其中修改输出所述生成的音频内容的所述速度包括增加和减少输出所述生成的音频内容的所述速度中的至少一个。
42.如条款40所述的系统,其中获得参照所述文本内容的所述指针的所述当前位置包括获得对应于所述文本内容中的词、音节、字母、句子、行、段落、章、节、部分和列中的至少一个的所述指针的位置。
43.如条款40所述的系统,其中所述输入装置包括触摸屏、鼠标、触控笔、遥控器、视频游戏控制器和运动检测器中的至少一个。
44.如条款40所述的系统,其中修改输出所述生成的音频内容的所述速度包括在参照所述文本内容的所述指针的所述当前位置与所述文本内容的所述位置之间的差满足阈值时,修改所述速度。
45.如条款40所述的系统,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括生成对应于文本内容的所述确定的片段的音频内容。
46.如条款40所述的系统,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括在不生成对应于文本内容的所述确定的片段的音频内容的情况下,确定输出对应于文本内容的所述确定的片段的音频内容所需的时间长度。
47.如条款46所述的系统,其中在不生成对应于文本内容的所述确定的片段的音频内容的情况下,确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括至少部分地基于文本内容的所述片段中的词数、文本内容的所述片段中的音节数、文本内容的所述片段中的音位数、文本内容的所述片段中的字母数、文本内容的所述片段中的空格数以及文本内容的所述片段中的词的长度中的至少一个,估计输出音频内容所需的时间长度。
48.一种计算机实施方法,其包括:
在一个或多个计算装置的控制下,
至少部分地基于文本内容,生成音频内容;
引起输出所述生成的音频内容;
引起呈现所述文本内容;
保持呈现的所述文本内容的位置与输出的所述生成的音频内容的关联位置的同步,其中在输出所述生成的音频内容期间推进所述生成的音频内容的所述关联位置;
获得参照从输入装置呈现的所述文本内容的指针的当前位置;
至少部分地基于参照呈现的所述文本内容的所述指针的所述当前位置与呈现的所述文本内容的所述位置之间的差,确定文本内容的片段;
确定输出对应于文本内容的所述确定的片段的音频内容所需的时间长度;以及
至少部分地基于所述确定的时间长度,修改与所述生成的音频内容的所述输出相关联的属性。
49.如条款48所述的计算机实施方法,其中修改与所述生成的音频内容的所述输出相关联的属性包括增加或减少输出所述生成的音频内容的速度。
50.如条款48所述的计算机实施方法,其中获得参照所述文本内容的所述指针的所述当前位置包括获得对应于所述文本内容的自然特征和预定义特征中的至少一个的所述指针的位置。
51.如条款48所述的计算机实施方法,其中所述输入装置包括触摸屏、鼠标、触控笔、遥控器、视频游戏控制器和运动检测器中的至少一个。
52.如条款48所述的计算机实施方法,其中修改与所述生成的音频内容的所述输出相关联的属性包括在输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度满足阈值时,修改所述属性。
53.如条款48所述的计算机实施方法,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括生成对应于文本内容的所述确定的片段的音频内容。
54.如条款48所述的计算机实施方法,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括在不生成对应于文本内容的所述确定的片段的音频内容的情况下,确定输出音频内容所需的时间长度。
55.如条款54所述的计算机实施方法,其中在不生成对应于文本内容的所述确定的片段的音频内容的情况下,确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括至少部分地基于文本内容的所述片段中的词数、文本内容的所述片段中的音节数、文本内容的所述片段中的音位数、文本内容的所述片段中的字母数、文本内容的所述片段中的空格数以及文本内容的所述片段中的词的长度中的至少一个,估计输出音频内容所需的时间长度。
56.如条款48所述的计算机实施方法,其进一步包括:
至少部分地基于所述文本内容的所述位置与所述生成的音频内容的所述推进关联位置的所述同步,生成同步信息;以及
存储所述同步信息。
57.如条款56所述的计算机实施方法,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括至少部分地基于所述存储的同步信息确定时间长度。
58.一种输出音频内容并且显示文本内容的系统,所述系统包括:
数据存储器;以及
处理器,其与所述数据存储器通信,所述处理器可操作以:
至少部分地基于文本内容,生成音频内容;
引起输出所述生成的音频内容;
引起呈现所述文本内容;
获得与输出的所述生成的音频内容的位置相关联的呈现的所述文本内容中的当前位置;
获得参照呈现的所述文本内容的指针的当前位置;
至少部分地基于参照呈现的所述文本内容的所述指针的所述当前位置与呈现的所述文本内容的所述当前位置之间的差,确定文本内容的片段;
确定文本内容的所述片段的长度;以及
至少部分地基于文本内容的所述片段的所述确定长度,修改与所述生成的音频内容的所述输出相关联的属性。
59.如条款58所述的系统,其中所述文本内容的所述当前位置对应于与在输出所述生成的音频内容期间推进的所述生成的音频内容的位置相关联的所述文本内容的位置。
60.如条款58所述的系统,其中修改与所述生成的音频内容的所述输出相关联的属性包括增加或减少输出所述生成的音频内容的速度。
61.如条款58所述的系统,其中获得参照所述文本内容的所述指针的所述当前位置包括从输入装置获得所述指针的所述位置。
62.如条款58所述的系统,其中至少部分地基于文本内容的所述片段的所述确定长度,修改与所述生成的音频内容的所述输出相关联的属性包括在所述确定长度满足阈值时,修改所述属性。
63.如条款58所述的系统,其中所述阈值由视觉提示、听觉提示和触觉提示中的至少一个指示。
64.如条款58所述的系统,其中确定文本内容的所述片段的所述长度包括至少部分地基于文本内容的所述片段中的词数、文本内容的所述片段中的音节数、文本内容的所述片段中的音位数、文本内容的所述片段中的字母数和文本内容的所述片段中的空格数中的至少一个,确定长度。
65.如条款58所述的系统,其中确定文本内容的所述片段的所述长度包括确定输出对应于文本内容的所述片段的音频内容所需的时间长度。
66.如条款65所述的系统,其中确定输出对应于所述文本内容的所述片段的音频内容所需的所述时间长度包括生成对应于文本内容的所述片段的音频内容。
67.如条款65所述的系统,其中确定输出对应于文本内容的所述片段的音频内容所需的所述时间长度包括在不生成对应于文本内容的所述片段的音频内容的情况下,确定输出对应于文本内容的所述片段的音频内容所需的时间长度。
68.如条款67所述的系统,其中在不生成对应于文本内容的所述片段的音频内容的情况下,确定输出对应于文本内容的所述片段的音频内容所需的所述时间长度包括至少部分地基于文本内容的所述片段中的词数、文本内容的所述片段中的音节数、文本内容的所述片段中的音位数、文本内容的所述片段中的字母数、文本内容的所述片段中的空格数以及文本内容的所述片段中的词的长度中的至少一个,估计输出音频内容所需的时间长度。
69.一种计算机可读非暂态存储介质,其具有用于提供同步内容的至少一个计算机可执行组件,所述至少一个计算机可执行组件包括:
内容同步模块,其可操作以:
至少部分地基于文本内容,生成音频内容;
引起输出所述生成的音频内容;
引起呈现所述文本内容;
保持呈现的所述文本内容的位置与输出的所述生成的音频内容的关联位置的同步,其中在输出所述生成的音频内容期间推进所述关联位置;
从输入装置获得参照呈现的所述文本内容的指针的当前位置;
至少部分地基于参照呈现的所述文本内容的所述指针的所述当前位置与呈现的所述文本内容的所述当前位置之间的差,确定文本内容的片段;
确定输出对应于文本内容的所述确定的片段的音频内容所需的时间长度;以及
至少部分地基于所述确定的时间长度,修改与所述生成的音频内容的所述输出相关联的属性。
70.如条款69所述的计算机可读非暂态存储介质,其中修改与所述生成的音频内容的所述输出相关联的属性包括增加或减少输出所述音频内容的速度。
71.如条款69所述的计算机可读非暂态存储介质,其中修改与所述生成的音频内容的所述输出相关联的属性包括在输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度满足阈值时,修改所述属性。
72.如条款69所述的计算机可读非暂态存储介质,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括生成对应于文本内容的所述确定的片段的音频内容。
73.如条款69所述的计算机可读非暂态存储介质,其中确定输出对应于文本内容的所述确定的片段的音频内容所需的所述时间长度包括在不生成对应于文本内容的所述确定的片段的音频内容的情况下,确定输出音频内容所需的时间长度。
74.一种计算机实施方法,其包括:
在一个或多个计算装置的控制下,
至少部分地基于第二内容,生成第一内容;
引起所述生成的第一内容和所述第二内容的输出;
保持输出的所述第二内容的位置与输出的所述生成的第一内容的关联位置的同步,其中在输出所述生成的第一内容期间推进所述生成的第一内容的所述关联位置;
从输入装置获得参照输出的所述第二内容的指针的当前位置;
至少部分地基于参照输出的所述第二内容的所述指针的所述当前位置与输出的所述第二内容的所述位置之间的差,确定所述第二内容的片段;
确定输出对应于所述第二内容的所述确定的片段的所述第一内容的片段所需的时间长度;以及
至少部分地基于所述确定的时间长度,修改与所述生成的第一内容的所述输出相关联的属性。
75.如条款74所述的计算机实施方法,其中修改与所述生成的第一内容的所述输出相关联的属性包括增加或减少输出所述生成的第一内容的速度。
76.如条款74所述的计算机实施方法,其中所述第一内容包括音频内容和视觉内容中的至少一个。
77.如条款74所述的计算机实施方法,其中所述第二内容包括文本、乐谱、图片或一系列图片、图解、图表或报告中的至少一个。
78.如条款74所述的计算机实施方法,其中修改与所述生成的第一内容的所述输出相关联的属性包括在输出对应于所述第二内容的所述确定的片段的所述第一内容的片段所需的所述时间长度满足阈值时,修改所述属性。
79.一种用于使音频内容的输出与文本内容同步的系统,所述系统包括:
一个或多个数据存储器,其存储文本内容、音频内容和内容同步信息,其中所述内容同步信息包括用于使文本内容与音频内容同步的信息;
输入装置,其获得对应于对任务的用户性能的输入值;
显示装置,其呈现所述文本内容;
输出装置,其输出音频内容;以及
处理器,其与所述一个或多个数据存储器、所述输入装置和所述输出装置通信,所述处理器可操作以:
引起经由所述输出装置输出所述音频内容;
引起在所述显示装置上呈现所述文本内容;
至少部分地基于所述同步信息,保持在所述显示装置上呈现的所述文本内容的位置与经由所述输出装置输出的所述音频内容的关联位置的同步,其中在输出所述音频内容期间推进所述音频内容的所述关联位置;
从所述输入装置获得对应于对任务的用户性能的输入值;
至少部分地基于来自所述输入装置的所述输入值,确定对所述任务的所述用户性能已下降到低于阈值;以及
响应于确定对所述任务的所述用户性能已满足所述阈值,修改经由所述输出装置输出所述音频内容的速度。
80.如条款79所述的系统,其中修改输出所述音频内容的速度包括增加和减少输出所述音频内容的所述速度中的至少一个。
81.如条款79所述的系统,其中所述输入装置包括心率监视器、位置监视器、计步器、手表、智能鞋和健身器中的至少一个。
82.如条款79所述的系统,其中来自所述输入装置的所述输入值对应于用户心率、用户卡路里消耗、用户速度、用户节奏、行进的用户距离、生成的用户电压、生成的用户安培数、用户得分和难度水平中的至少一个。
83.如条款79所述的系统,其中所述处理器进一步可操作以:
至少部分地基于来自所述输入装置的所述输入值,确定对所述任务的所述用户性能已超过阈值;以及
至少部分地基于确定对所述任务的所述用户性能已超过所述阈值,修改输出所述音频内容的速度。
84.如条款79所述的系统,其中所述处理器进一步可操作以引起呈现所述文本内容的所述位置的视觉、听觉和触觉表示中的至少一个。
85.如条款79所述的系统,其中所述处理器进一步可操作以引起呈现所述阈值的视觉和触觉表示中的至少一个。
86.一种输出第一内容和第二内容的计算机实施方法,所述计算机实施方法包括:
在一个或多个计算装置的控制下,
引起输出第一内容和第二内容;
至少部分地基于同步信息,保持输出的所述第二内容的位置与输出的所述第一内容的关联位置的同步,其中在输出所述第一内容期间推进所述第一内容的所述关联位置;
从输入装置获得对应于对任务的用户性能的输入值;
至少部分地基于来自所述输入装置的所述输入值,确定对所述任务的所述用户性能已满足阈值;以及
响应于确定对所述任务的所述用户性能已满足所述阈值,修改与所述第一内容的所述输出相关联的属性。
87.如条款86所述的计算机实施方法,其中至少部分地基于来自所述输入装置的所述输入值,确定所述用户性能已满足阈值包括确定对所述任务的所述用户性能已超过所述阈值以及确定对所述任务的所述用户性能已下降到低于所述阈值中的至少一个。
88.如条款86所述的计算机实施方法,其进一步包括至少部分地基于与对任务的所述用户的过去性能相关联的信息,确定阈值。
89.如条款86所述的计算机实施方法,其中修改与所述第一内容的所述输出相关联的属性包括增加和减少输出所述第一内容的速度中的至少一个。
90.如条款86所述的计算机实施方法,其中所述输入装置包括心率监视器、位置监视器、计步器、手表、智能鞋和健身器中的至少一个。
91.如条款86所述的计算机实施方法,其中所述输入值对应于用户心率、用户卡路里消耗、用户速度、用户节奏、行进的用户距离、生成的用户电压、生成的用户安培数、用户得分和难度水平中的至少一个。
92.如条款86所述的计算机实施方法,其进一步包括引起呈现所述第二内容的所述位置的视觉、听觉和触觉表示中的至少一个。
93.如条款86所述的计算机实施方法,其进一步包括引起呈现所述阈值的视觉、听觉和触觉表示中的至少一个。
94.如条款86所述的计算机实施方法,其中所述第一内容包括音频内容。
95.如条款86所述的计算机实施方法,其中所述第二内容包括视觉内容。
96.一种用于输出音频内容的系统,所述系统包括:
数据存储器;以及
处理器,其与所述数据存储器通信,所述处理器可操作以:
引起输出音频内容;
获得对应于对任务的用户性能的输入值;
至少部分地基于所述输入值,确定对所述任务的所述用户性能已满足阈值;以及
响应于确定所述用户性能已满足所述阈值,修改与所述音频内容的所述输出相关联的属性。
97.如条款96所述的系统,其中所述处理器进一步可操作以至少部分地基于同步信息,保持文本内容的位置与在输出所述音频内容期间推进的所述音频内容的关联位置的同步。
98.如条款96所述的系统,其中所述处理器进一步可操作以引起呈现所述文本内容的所述位置的视觉、听觉和触觉表示中的至少一个。
99.如条款96所述的系统,其中至少部分地基于所述输入值,确定对所述任务的所述用户性能已满足阈值包括确定对所述任务的所述用户性能已超过所述阈值以及确定对所述任务的所述用户性能已下降到低于所述阈值中的至少一个。
100.如条款96所述的系统,其中所述处理器进一步可操作以至少部分地基于与对任务的所述用户的过去性能相关联的信息,确定阈值。
101.如条款96所述的系统,其中修改与所述音频内容的所述输出相关联的属性包括增加和减少输出所述音频内容的速度中的至少一个。
102.如条款96所述的系统,其中从包括心率监视器、位置监视器、计步器、手表、智能鞋和健身器中的至少一个的输入装置获得所述输入值。
103.如条款96所述的系统,其中所述输入值包括用户心率、用户卡路里消耗、用户速度、用户节奏、行进的用户距离、生成的用户电压、生成的用户安培数、用户得分和难度水平中的至少一个。
104.如条款96所述的系统,其中所述处理器进一步可操作以引起呈现所述阈值的视觉、听觉和触觉表示中的至少一个。
105.一种计算机可读非暂态存储介质,其具有用于提供同步内容的至少一个计算机可执行组件,所述至少一个计算机可执行组件包括:
内容同步模块,其可操作以:
引起输出第一内容和第二内容;
至少部分地基于同步信息,保持输出的所述第二内容的位置与输出的所述第一内容的关联位置的同步,其中在输出所述第一内容期间推进所述第一内容的所述关联位置;
从输入装置获得对应于对任务的用户性能的输入值;
至少部分地基于来自所述输入装置的所述输入值,确定对所述任务的所述用户性能已满足阈值;以及
响应于确定对所述任务的所述用户性能已满足所述阈值,修改与所述第一内容的所述输出相关联的属性。
106.如条款105所述的计算机可读非暂态存储介质,其中至少部分地基于来自所述输入装置的所述输入值,确定所述用户性能已满足阈值包括确定对所述任务的所述用户性能已超过所述阈值以及确定对所述任务的所述用户性能已下降到低于所述阈值中的至少一个。
107.如条款105所述的计算机可读非暂态存储介质,其中所述内容同步模块进一步可操作以至少部分地基于与对任务的所述用户的过去性能相关联的信息,确定阈值。
108.如条款105所述的计算机可读非暂态存储介质,其中修改与所述第一内容的所述输出相关联的属性包括增加和减少输出所述第一内容的速度中的至少一个。
109.如条款105所述的计算机可读非暂态存储介质,其中所述输入装置包括心率监视器、位置监视器、计步器、手表、智能鞋和健身器中的至少一个。
110.如条款105所述的计算机可读非暂态存储介质,其中所述输入值对应于用户心率、用户卡路里消耗、用户速度、用户节奏、行进的用户距离、生成的用户电压、生成的用户安培数、用户得分和难度水平中的至少一个。
111.如条款105所述的计算机可读非暂态存储介质,其进一步包括引起呈现所述第二内容的所述位置的视觉、听觉和触觉表示中的至少一个。
112.如条款105所述的计算机可读非暂态存储介质,其进一步包括引起呈现所述阈值的视觉、听觉和触觉表示中的至少一个。
113.如条款105所述的计算机可读非暂态存储介质,其中所述第一内容包括音频内容。
114.如条款105所述的计算机可读非暂态存储介质,其中所述第二内容包括视觉内容。
Claims (15)
1.一种用于使内容的播放同步的系统,其包括:
数据存储器,其存储内容同步信息;以及
处理器,其与所述数据存储器通信,所述处理器可操作以:
至少部分地基于所述同步信息,保持输出的视觉内容内的位置与输出的连贯性内容的关联位置的同步,其中在输出所述连贯性内容期间推进所述连贯性内容的所述关联位置;
从输入装置获得参照输出的所述视觉内容的指针的当前位置;以及
至少部分地基于参照输出的所述视觉内容的所述指针的所述当前位置与输出的所述视觉内容内的所述位置之间的差,修改与所述连贯性内容的所述输出相关联的属性。
2.如权利要求1所述的系统,其中所述处理器进一步可操作以至少部分地基于所述视觉内容生成所述连贯性内容。
3.如前述权利要求中任一项所述的系统,其中修改与所述连贯性内容的所述输出相关联的属性对应于增加或减少输出所述连贯性内容的速度中的至少一个。
4.如前述权利要求中任一项所述的系统,其中参照所述视觉内容的所述指针的所述获得的当前位置对应于所述视觉内容中的词、音节、字母、句子、行、段落、章、节、部分或列中的至少一个的位置。
5.一种用于提供同步内容的计算机实施方法,所述计算机实施方法包括:
输出第一内容和第二内容;
至少部分地基于同步信息,保持输出的所述第二内容内的位置与输出的所述第一内容的关联位置的同步,其中在输出所述第一内容期间推进所述第一内容的所述关联位置;
经由输入装置获得参照输出的所述第二内容的指针的当前位置;以及
至少部分地基于参照输出的所述第二内容的所述指针的所述当前位置与输出的所述第二内容内的所述位置之间的差,修改与所述第一内容的所述输出相关联的属性。
6.如权利要求5所述的方法,其进一步包括至少部分地基于所述第二内容生成所述第一内容。
7.如权利要求5或6所述的方法,其进一步包括输出从与所述第二内容的新位置相关联的所述第一内容的新位置开始的所述第一内容。
8.如权利要求5至7中任一项所述的方法,其中修改与所述第一内容的所述输出相关联的属性包括在参照所述第二内容的所述指针的所述当前位置与所述第二内容内的所述位置之间的所述差满足阈值时,修改所述属性,并且其中至少部分地基于用户的输入确定所述阈值。
9.如权利要求5至8中任一项所述的方法,其中至少部分地基于所述同步信息,保持所述第二内容的所述位置与所述第一内容的所述推进关联位置的同步包括更新所述第二内容的所述位置以对应于所述第一内容的所述推进关联位置。
10.如权利要求5至9中任一项所述的方法,其中所述输入装置包括触摸屏、鼠标、触控笔、遥控器、游戏控制器和运动检测器中的至少一个。
11.如权利要求5至10中任一项所述的方法,其中所述第一内容包括音频内容和视觉内容中的至少一个,并且其中所述第二内容包括文本、乐谱、图片或一系列图片、图解、图表或报告中的至少一个。
12.一种用于输出音频内容的系统,所述系统包括:
数据存储器;以及
处理器,其与所述数据存储器通信,所述处理器可操作以:
引起输出音频内容;
获得对应于对任务的用户性能的输入值;
至少部分地基于所述输入值,确定对所述任务的所述用户性能已满足阈值;以及
响应于确定所述用户性能已满足所述阈值,修改与所述音频内容的所述输出相关联的属性。
13.如权利要求12所述的系统,其中至少部分地基于来自所述输入装置的所述输入值,确定所述用户性能已满足阈值包括确定对所述任务的所述用户性能已超过所述阈值或确定对所述任务的所述用户性能已下降到低于所述阈值中的至少一个。
14.如权利要求12或13所述的系统,其中所述处理器进一步可操作以至少部分地基于与对任务的所述用户的过去性能相关联的信息,确定阈值。
15.如权利要求12至14所述的系统,其中所述输入装置包括心率监视器、位置监视器、计步器、手表、智能鞋或健身器中的至少一个。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/070,422 | 2011-03-23 | ||
US13/070,439 US8948892B2 (en) | 2011-03-23 | 2011-03-23 | Managing playback of synchronized content |
US13/070,422 US8855797B2 (en) | 2011-03-23 | 2011-03-23 | Managing playback of synchronized content |
US13/070,421 | 2011-03-23 | ||
US13/070,439 | 2011-03-23 | ||
US13/070,421 US8862255B2 (en) | 2011-03-23 | 2011-03-23 | Managing playback of synchronized content |
PCT/US2012/030198 WO2012129445A2 (en) | 2011-03-23 | 2012-03-22 | Managing playback of synchronized content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103988193A true CN103988193A (zh) | 2014-08-13 |
CN103988193B CN103988193B (zh) | 2018-01-16 |
Family
ID=46880053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280014619.7A Active CN103988193B (zh) | 2011-03-23 | 2012-03-22 | 管理同步内容的播放 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP2689346B1 (zh) |
JP (1) | JP5855223B2 (zh) |
CN (1) | CN103988193B (zh) |
CA (1) | CA2830906C (zh) |
SG (1) | SG193567A1 (zh) |
WO (1) | WO2012129445A2 (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9099089B2 (en) | 2012-08-02 | 2015-08-04 | Audible, Inc. | Identifying corresponding regions of content |
US9141257B1 (en) | 2012-06-18 | 2015-09-22 | Audible, Inc. | Selecting and conveying supplemental content |
US9223830B1 (en) | 2012-10-26 | 2015-12-29 | Audible, Inc. | Content presentation analysis |
US9280906B2 (en) | 2013-02-04 | 2016-03-08 | Audible. Inc. | Prompting a user for input during a synchronous presentation of audio content and textual content |
US9317500B2 (en) | 2012-05-30 | 2016-04-19 | Audible, Inc. | Synchronizing translated digital content |
US9317486B1 (en) | 2013-06-07 | 2016-04-19 | Audible, Inc. | Synchronizing playback of digital content with captured physical content |
US9367196B1 (en) | 2012-09-26 | 2016-06-14 | Audible, Inc. | Conveying branched content |
US9472113B1 (en) | 2013-02-05 | 2016-10-18 | Audible, Inc. | Synchronizing playback of digital content with physical content |
CN106033678A (zh) * | 2015-03-18 | 2016-10-19 | 珠海金山办公软件有限公司 | 一种播放内容显示方法及装置 |
US9489360B2 (en) | 2013-09-05 | 2016-11-08 | Audible, Inc. | Identifying extra material in companion content |
US9536439B1 (en) | 2012-06-27 | 2017-01-03 | Audible, Inc. | Conveying questions with content |
CN106446887A (zh) * | 2016-11-07 | 2017-02-22 | 罗杰仁 | 一种将图片转换为语音的方法及装置 |
US9632647B1 (en) | 2012-10-09 | 2017-04-25 | Audible, Inc. | Selecting presentation positions in dynamic content |
CN106648291A (zh) * | 2016-09-28 | 2017-05-10 | 珠海市魅族科技有限公司 | 一种信息显示、信息播报的方法及装置 |
US9679608B2 (en) | 2012-06-28 | 2017-06-13 | Audible, Inc. | Pacing content |
US9706247B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Synchronized digital content samples |
US9703781B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Managing related digital content |
US9734153B2 (en) | 2011-03-23 | 2017-08-15 | Audible, Inc. | Managing related digital content |
US9760920B2 (en) | 2011-03-23 | 2017-09-12 | Audible, Inc. | Synchronizing digital content |
US9792027B2 (en) | 2011-03-23 | 2017-10-17 | Audible, Inc. | Managing playback of synchronized content |
CN109522427A (zh) * | 2018-09-30 | 2019-03-26 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法及装置 |
CN110134305A (zh) * | 2019-04-02 | 2019-08-16 | 北京搜狗科技发展有限公司 | 一种语速调节方法、装置和用于语速调节的装置 |
CN110325989A (zh) * | 2017-02-24 | 2019-10-11 | 微软技术许可有限责任公司 | 估计的阅读时间 |
CN112632120A (zh) * | 2020-12-08 | 2021-04-09 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备及计算机存储介质 |
CN113096695A (zh) * | 2020-01-09 | 2021-07-09 | 北京搜狗科技发展有限公司 | 一种对照显示方法、装置和用于对照显示的装置 |
CN113593502A (zh) * | 2021-07-26 | 2021-11-02 | 深圳芒果未来教育科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8948892B2 (en) | 2011-03-23 | 2015-02-03 | Audible, Inc. | Managing playback of synchronized content |
US8862255B2 (en) | 2011-03-23 | 2014-10-14 | Audible, Inc. | Managing playback of synchronized content |
US9075760B2 (en) | 2012-05-07 | 2015-07-07 | Audible, Inc. | Narration settings distribution for content customization |
US8972265B1 (en) | 2012-06-18 | 2015-03-03 | Audible, Inc. | Multiple voices in audio content |
WO2015002585A1 (en) * | 2013-07-03 | 2015-01-08 | Telefonaktiebolaget L M Ericsson (Publ) | Providing an electronic book to a user equipment |
US11350185B2 (en) | 2019-12-13 | 2022-05-31 | Bank Of America Corporation | Text-to-audio for interactive videos using a markup language |
US10805665B1 (en) | 2019-12-13 | 2020-10-13 | Bank Of America Corporation | Synchronizing text-to-audio with interactive videos in the video framework |
CN115050393A (zh) * | 2022-06-23 | 2022-09-13 | 安徽听见科技有限公司 | 获取回听音频的方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09265299A (ja) * | 1996-03-28 | 1997-10-07 | Secom Co Ltd | テキスト読み上げ装置 |
CN1463419A (zh) * | 2001-03-23 | 2003-12-24 | 皇家菲利浦电子有限公司 | 同步文本/可视信息与音频重放 |
CN1595470A (zh) * | 1999-07-31 | 2005-03-16 | 朴奎珍 | 使用数字音频和字幕数据的学习方法和装置 |
US20060148569A1 (en) * | 2002-05-02 | 2006-07-06 | Beck Stephen C | Methods and apparatus for a portable toy video/audio visual program player device - "silicon movies" played on portable computing devices such as pda (personal digital assistants) and other "palm" type, hand-held devices |
CN1855974A (zh) * | 2005-04-29 | 2006-11-01 | Lg电子株式会社 | 移动通信终端及其操作方法 |
US20080005656A1 (en) * | 2006-06-28 | 2008-01-03 | Shu Fan Stephen Pang | Apparatus, method, and file format for text with synchronized audio |
US20080177822A1 (en) * | 2006-12-25 | 2008-07-24 | Sony Corporation | Content playback system, playback device, playback control method and program |
CN101350208A (zh) * | 2008-08-18 | 2009-01-21 | 幻音科技(深圳)有限公司 | 带计步器的多媒体装置及其控制方法 |
CN101582274A (zh) * | 2008-05-12 | 2009-11-18 | 索尼株式会社 | 内容再现设备、状态栏显示方法以及状态栏显示程序 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185457A (ja) * | 1997-09-11 | 1999-03-30 | Canon Inc | データ処理装置およびデータ処理装置のデータ処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体 |
JP2002140085A (ja) * | 2000-08-25 | 2002-05-17 | Fujitsu Ltd | 文書読み上げ装置及び方法、コンピュータプログラム並びに記憶媒体 |
US20050022113A1 (en) * | 2003-07-24 | 2005-01-27 | Hanlon Robert Eliot | System and method to efficiently switch between paper, electronic and audio versions of documents |
JP2005189454A (ja) * | 2003-12-25 | 2005-07-14 | Casio Comput Co Ltd | テキスト同期音声再生制御装置及びプログラム |
US20080027726A1 (en) | 2006-07-28 | 2008-01-31 | Eric Louis Hansen | Text to audio mapping, and animation of the text |
US8190683B2 (en) * | 2008-02-29 | 2012-05-29 | Microsoft Corporation | Synchronizing multiple user remote content playback |
US8898568B2 (en) * | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
JP2011053900A (ja) * | 2009-09-01 | 2011-03-17 | Fujitsu Ltd | 文書データの音読条件設定方法とその方法に用いる情報処理端末 |
-
2012
- 2012-03-22 JP JP2014501257A patent/JP5855223B2/ja active Active
- 2012-03-22 CA CA2830906A patent/CA2830906C/en active Active
- 2012-03-22 WO PCT/US2012/030198 patent/WO2012129445A2/en active Application Filing
- 2012-03-22 CN CN201280014619.7A patent/CN103988193B/zh active Active
- 2012-03-22 SG SG2013070941A patent/SG193567A1/en unknown
- 2012-03-22 EP EP12761104.4A patent/EP2689346B1/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09265299A (ja) * | 1996-03-28 | 1997-10-07 | Secom Co Ltd | テキスト読み上げ装置 |
CN1595470A (zh) * | 1999-07-31 | 2005-03-16 | 朴奎珍 | 使用数字音频和字幕数据的学习方法和装置 |
CN1463419A (zh) * | 2001-03-23 | 2003-12-24 | 皇家菲利浦电子有限公司 | 同步文本/可视信息与音频重放 |
US20060148569A1 (en) * | 2002-05-02 | 2006-07-06 | Beck Stephen C | Methods and apparatus for a portable toy video/audio visual program player device - "silicon movies" played on portable computing devices such as pda (personal digital assistants) and other "palm" type, hand-held devices |
CN1855974A (zh) * | 2005-04-29 | 2006-11-01 | Lg电子株式会社 | 移动通信终端及其操作方法 |
US20080005656A1 (en) * | 2006-06-28 | 2008-01-03 | Shu Fan Stephen Pang | Apparatus, method, and file format for text with synchronized audio |
US20080177822A1 (en) * | 2006-12-25 | 2008-07-24 | Sony Corporation | Content playback system, playback device, playback control method and program |
CN101582274A (zh) * | 2008-05-12 | 2009-11-18 | 索尼株式会社 | 内容再现设备、状态栏显示方法以及状态栏显示程序 |
CN101350208A (zh) * | 2008-08-18 | 2009-01-21 | 幻音科技(深圳)有限公司 | 带计步器的多媒体装置及其控制方法 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9792027B2 (en) | 2011-03-23 | 2017-10-17 | Audible, Inc. | Managing playback of synchronized content |
US9760920B2 (en) | 2011-03-23 | 2017-09-12 | Audible, Inc. | Synchronizing digital content |
US9734153B2 (en) | 2011-03-23 | 2017-08-15 | Audible, Inc. | Managing related digital content |
US9703781B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Managing related digital content |
US9706247B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Synchronized digital content samples |
US9317500B2 (en) | 2012-05-30 | 2016-04-19 | Audible, Inc. | Synchronizing translated digital content |
US9141257B1 (en) | 2012-06-18 | 2015-09-22 | Audible, Inc. | Selecting and conveying supplemental content |
US9536439B1 (en) | 2012-06-27 | 2017-01-03 | Audible, Inc. | Conveying questions with content |
US9679608B2 (en) | 2012-06-28 | 2017-06-13 | Audible, Inc. | Pacing content |
US10109278B2 (en) | 2012-08-02 | 2018-10-23 | Audible, Inc. | Aligning body matter across content formats |
US9099089B2 (en) | 2012-08-02 | 2015-08-04 | Audible, Inc. | Identifying corresponding regions of content |
US9799336B2 (en) | 2012-08-02 | 2017-10-24 | Audible, Inc. | Identifying corresponding regions of content |
US9367196B1 (en) | 2012-09-26 | 2016-06-14 | Audible, Inc. | Conveying branched content |
US9632647B1 (en) | 2012-10-09 | 2017-04-25 | Audible, Inc. | Selecting presentation positions in dynamic content |
US9223830B1 (en) | 2012-10-26 | 2015-12-29 | Audible, Inc. | Content presentation analysis |
US9280906B2 (en) | 2013-02-04 | 2016-03-08 | Audible. Inc. | Prompting a user for input during a synchronous presentation of audio content and textual content |
US9472113B1 (en) | 2013-02-05 | 2016-10-18 | Audible, Inc. | Synchronizing playback of digital content with physical content |
US9317486B1 (en) | 2013-06-07 | 2016-04-19 | Audible, Inc. | Synchronizing playback of digital content with captured physical content |
US9489360B2 (en) | 2013-09-05 | 2016-11-08 | Audible, Inc. | Identifying extra material in companion content |
CN106033678A (zh) * | 2015-03-18 | 2016-10-19 | 珠海金山办公软件有限公司 | 一种播放内容显示方法及装置 |
CN106648291A (zh) * | 2016-09-28 | 2017-05-10 | 珠海市魅族科技有限公司 | 一种信息显示、信息播报的方法及装置 |
CN106446887A (zh) * | 2016-11-07 | 2017-02-22 | 罗杰仁 | 一种将图片转换为语音的方法及装置 |
CN110325989A (zh) * | 2017-02-24 | 2019-10-11 | 微软技术许可有限责任公司 | 估计的阅读时间 |
CN109522427A (zh) * | 2018-09-30 | 2019-03-26 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法及装置 |
CN110134305A (zh) * | 2019-04-02 | 2019-08-16 | 北京搜狗科技发展有限公司 | 一种语速调节方法、装置和用于语速调节的装置 |
CN113096695A (zh) * | 2020-01-09 | 2021-07-09 | 北京搜狗科技发展有限公司 | 一种对照显示方法、装置和用于对照显示的装置 |
CN113096695B (zh) * | 2020-01-09 | 2022-10-14 | 北京搜狗科技发展有限公司 | 一种对照显示方法、装置和用于对照显示的装置 |
CN112632120A (zh) * | 2020-12-08 | 2021-04-09 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备及计算机存储介质 |
CN113593502A (zh) * | 2021-07-26 | 2021-11-02 | 深圳芒果未来教育科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
CN113593502B (zh) * | 2021-07-26 | 2024-04-30 | 深圳市芒果未来科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
SG193567A1 (en) | 2013-11-29 |
CN103988193B (zh) | 2018-01-16 |
JP5855223B2 (ja) | 2016-02-09 |
WO2012129445A2 (en) | 2012-09-27 |
WO2012129445A3 (en) | 2014-02-27 |
EP2689346A2 (en) | 2014-01-29 |
JP2014514645A (ja) | 2014-06-19 |
EP2689346B1 (en) | 2019-07-10 |
CA2830906A1 (en) | 2012-09-27 |
CA2830906C (en) | 2017-07-25 |
EP2689346A4 (en) | 2015-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103988193A (zh) | 管理同步内容的播放 | |
US9792027B2 (en) | Managing playback of synchronized content | |
US8862255B2 (en) | Managing playback of synchronized content | |
US8948892B2 (en) | Managing playback of synchronized content | |
CN103733159B (zh) | 同步数字内容 | |
US9927957B1 (en) | Rotary navigation of synchronized content | |
KR101651577B1 (ko) | 로컬 및 원격 미디어 아이템 관리 | |
US10777096B2 (en) | System for assisting in foreign language learning | |
US9348554B2 (en) | Managing playback of supplemental information | |
US20130268826A1 (en) | Synchronizing progress in audio and text versions of electronic books | |
CN103703465A (zh) | 与媒体内的对象相关联的情感信息 | |
US20140377722A1 (en) | Synchronous presentation of content with a braille translation | |
KR20140079749A (ko) | 펜 기반의 컴퓨팅 시스템에서의 컨텐트 선택 | |
US20140377721A1 (en) | Synchronous presentation of content with a braille translation | |
US20130131849A1 (en) | System for adapting music and sound to digital text, for electronic devices | |
CN109033163B (zh) | 一种在日历中添加日记的方法及装置 | |
US10089059B1 (en) | Managing playback of media content with location data | |
CN102591906B (zh) | 笔记管理方法以及系统 | |
WO2014210034A1 (en) | Synchronous presentation of content with a braille translation | |
JP2022051500A (ja) | 関連情報提供方法及びシステム | |
TWI450113B (zh) | 使用者模型產生技術 | |
CN116506694B (zh) | 视频剪辑方法、装置、电子设备及存储介质 | |
WO2024113679A1 (zh) | 多媒体资源处理方法、装置和设备 | |
CN114023358B (zh) | 对话小说的音频生成方法、电子设备及存储介质 | |
CN116682465A (zh) | 记录内容的方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |