CN111279300A - 在多显示器环境中提供丰富的电子阅读体验 - Google Patents

在多显示器环境中提供丰富的电子阅读体验 Download PDF

Info

Publication number
CN111279300A
CN111279300A CN201880069882.3A CN201880069882A CN111279300A CN 111279300 A CN111279300 A CN 111279300A CN 201880069882 A CN201880069882 A CN 201880069882A CN 111279300 A CN111279300 A CN 111279300A
Authority
CN
China
Prior art keywords
display
display device
keyword
supplemental material
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069882.3A
Other languages
English (en)
Other versions
CN111279300B (zh
Inventor
李昌竹
高飞
光旺·尼云·基姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111279300A publication Critical patent/CN111279300A/zh
Application granted granted Critical
Publication of CN111279300B publication Critical patent/CN111279300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

描述了一种在多显示器环境中提供丰富的电子阅读体验的方法。至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源。所述丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及针对文本的补充材料的关键词，所述补充材料由所述多媒体显示器呈现。所述电子纸显示器至少呈现第一关键词。所述第一关键词涉及由所述多媒体显示器呈现的针对文本的第一部分的第一补充材料。所述多显示设备接收选择呈现针对所述第一关键词的所述第一补充材料的用户输入。响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料。所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。

Description

在多显示器环境中提供丰富的电子阅读体验
相关申请
本申请要求于2017年11月15日递交的发明名称为“在多显示器环境中提供丰富的电子阅读体验”的第15/814,324号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。
技术领域
电子阅读器，也称为电子书阅读器或电子书设备，是一种用于阅读数字电子书和期刊的电子设备(例如，移动电子设备)。通常，任何能够在屏幕上显示文本的设备都可以充当电子阅读器。电子阅读可以指通过电子阅读器阅读电子书。
背景技术
电子阅读器，也称为电子书阅读器或电子书设备，是一种用于阅读数字电子书和期刊的电子设备(例如，移动电子设备)。通常，任何能够在屏幕上显示文本的设备都可以充当电子阅读器。电子阅读可以指通过电子阅读器阅读电子书。
电子阅读器通常具有电子纸显示器，该显示器模拟纸张上的普通墨水的外观。与发射光线的传统背光平板显示器不同，电子纸显示器可以像纸张一样反射光线，从而使阅读更舒服，并且提供比大多数发光显示器更宽广的视角。电子纸阅读器可以提供更好的可读性，尤其是在阳光下，且电子纸阅读器的电池寿命更长，但无法提供音频和/或视频等多媒体内容。
发明内容
本发明描述了在多显示器环境(multi-display environment，简称MDE)中提供丰富的电子阅读体验。
在第一个实现方式中，提供了一种由计算机实现的在多显示器环境(multi-displayenvironment，简称MDE)中提供丰富的电子阅读体验的方法，包括：至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及所述文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；所述多显示设备的电子纸显示器至少呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
在第二个实现方式中，提供了一种多显示设备，包括电子纸显示器、多媒体显示器、包含指令的非瞬时性存储器、以及与所述存储器通信的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以进行以下操作：至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及所述文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；所述多显示设备的电子纸显示器呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
在第三个实现方式中，提供了一种存储计算机指令的非瞬时性计算机可读介质，用于通过至少包括电子纸显示器和多媒体显示器的多显示设备提供丰富的电子阅读体验，其中，当所述计算机指令由一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：所述多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由所述多显示设备的电子纸显示器呈现的文本和涉及所述文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；所述多显示设备的电子纸显示器至少呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
可选地，上述和其它描述的实现方式可以包括以下特征中的一个或多个。
第一特征，可与以下任一特征组合，其中，所述多媒体显示器包括发光二极管(lightemitting diode display，简称LED)显示器、液晶显示器(liquid crystaldisplay，简称LCD)、有机发光二极管显示器(organic light emitting diode display，简称OLED)、彩色电子纸显示器或音频输出设备中的一种或多种。
第二特征，可与以上或以下任一特征组合，其中，针对所述第一关键词的所述第一补充材料包括图片、音频、视频、动画、公式或所述文本的第二部分中的一种或多种。
第三特征，可与以上或以下任一特征组合，其中，所述第一关键词包括唯一资源标识符(unique resource identifier,简称URI)，其中，所述URL涉及由所述多媒体显示器呈现的针对所述第一关键词的所述第一补充材料；检索针对所述第一关键词的所述第一补充材料包括：基于涉及针对所述第一关键词的所述第一补充材料的URI检索针对所述第一关键词的所述第一补充材料。
第四特征，可与以上或以下任一特征组合，其中，所述检索针对所述第一关键词的所述第一补充材料包括：从所述多显示设备本地检索针对所述第一关键词的所述第一补充材料。
第五特征，可与以上或以下任一特征组合，其中，所述用户输入包括触摸、手势、眼睛活动或语音中的一种或多种。
第六特征，可与以上或以下任一特征组合，还包括：所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第二用户输入；响应于接收到所述第二用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
第七特征，可与以上或以下任一特征组合，其中，所述多显示设备还包括用户推理感测组件，所述用户推理感测组件包括触摸屏、摄像头、手势传感器、运动传感器、眼动传感器、麦克风、扬声器或红外线传感器中的一种或多种；所述用户推理感测组件用于接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入。
第八特征，可与以上或以下任一特征组合，其中，所述多显示设备还包括第二多媒体显示器，所述一个或多个处理器执行所述指令，以通过呈现所述文本的第一部分和第一图标来呈现所述第一关键词，所述第一图标指示针对所述第一关键词的所述第一补充材料可由所述多显示设备的第二多媒体显示器呈现。
第九特征，可与以上或以下任一特征组合，其中，所述操作还包括：所述多显示设备接收选择由所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料的第二用户输入；响应于接收到所述第二用户输入，所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
第十特征，可与以上或以下任一特征组合，其中，所述操作还包括：所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第三用户输入；响应于接收到所述第三用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
上述实现方式可以通过以下实现：一种由计算机实现的方法、一种存储计算机可读指令的非瞬时性计算机可读介质，用于执行由计算机实现的方法、以及一种包括计算机存储器的由计算机实现的系统，所述计算机存储器可互操作地与硬件处理器耦合，所述硬件处理器用于执行所述由计算机实现的方法以及存储在所述非瞬时性计算机可读介质上的指令。
本文主题的一种或多种实现方式的细节在附图和描述中阐述。主题的其它特征、方面和优点从描述、附图和权利要求中将变得显而易见。
附图说明
图1是一实现方式提供的示例性多显示器环境(multi-display environment，简称MDE)的示意图；
图2是一实现方式提供的一种通过电子纸显示器呈现示例性丰富的电子书源的示意图；
图3是一实现方式提供的图2中的电子纸显示器215对关键词212及其对应图标222的示例性呈现示意图；
图4是一实现方式提供的多媒体显示器对多媒体内容的示例性呈现示意图；
图5是一实现方式提供的用于在MDE中提供丰富的电子阅读体验的示例性方法流程图；
图6是一实现方式提供的如本发明所描述的用于提供与所描述的算法、方法、功能、过程和流程相关联的计算功能的示例性计算机系统的方框图；
图7是一实现方式提供的本发明所描述的数据处理装置的示例性结构示意图；
图8是一实现方式提供的一种用于在MDE中基于不同类型的使用输入提供丰富的电子阅读体验的示例系统示意图。
在各种附图中，相同的附图标记和标号表示相同的元素。
具体实施方式
在以下具体描述中，描述了在多显示器环境(multi-display Environment，MDE)中提供丰富的电子阅读体验，并且呈现该描述可以使得本领域技术人员在一种或多种特定实现方式的上下文中获得和使用所公开的主题。
可以对所公开的实现方式进行各种修改、更改和置换，且这些修改、更改和置换对本领域普通技术人员是显而易见的。所定义的一般原则可以应用于其它实现方式和应用，而不脱离本发明的范围。在某些情况下，为了对所描述主题的理解可以省略不必要的细节。由于这些细节在本领域普通技术人员的技术范围内，所以不会使得具有不必要细节的一个或多个所描述的实现方式含糊不清。本发明并不限于所描述或图示的实现方式，而是赋予与所描述的原理和特征一致的最广泛的范围。
多显示器环境(multi-display environment，简称MDE)是指包括两个或两个以上显示器的系统。两个或两个以上显示器可以包括相同或不同的输出设备(包括屏幕、音频/视频播放器或其它输出设备)，用于以视觉、触觉、听觉或其它形式中的一种或多种呈现信息。两个或两个以上显示器可以基于相同或不同的显示技术，包括但不限于电子纸、发光二极管(light emitting diode，简称LED)显示器、液晶显示器(liquid crystal display，简称LCD)和有机发光二极管显示器(organic light emitting diode display，简称OLED)技术。
在某些实现方式中，MDE可以由多显示设备(也称为MDE设备)实现，例如双屏智能手机或平板电脑设备。在某些实现方式中，多显示设备可以包括两个或两个以上异构显示器，所述异构显示器至少包括用于呈现文本的电子纸显示器和用于以音频、视频、或其组合以及其它不同于文本的格式中的一种或多种呈现内容的多媒体显示器。在某些实现方式中，这种内容可以称为多媒体内容(例如，声音剪辑、视频、动画和彩色照片)，这些多媒体内容可以由多媒体显示器以不同于文本格式或包括文本格式等格式呈现。例如，多媒体显示器可以包括LED显示器、LCD、OLED、彩色电子纸显示器或与音频输出设备(例如扬声器)耦合或不耦合的其它显示屏。在某些情况下，多媒体显示器可以实现为彩色电子纸显示器，能够以黑白颜色或彩色呈现文本甚至图像。在某些情况下，多媒体显示器可以实现为手机套，该手机套可以向手机提供扩展显示。在某些实现方式中，与仅有一个黑白电子纸显示器且不具有可能干扰用户阅读的应用的一般电子阅读器不同，多显示设备可以通过利用多媒体显示器丰富阅读体验，允许更多的用户交互，并向用户(读者)提供多媒体内容。
在某些实现方式中，当用户(或读者)在多显示设备的电子纸显示器上看到某文本时，多显示设备可以以多媒体格式将与该文本相关的内容投射到一个或多个异构显示器，例如LCD或OLED屏幕上，以使电子阅读体验更加丰富和具有互动性。例如，通过多显示设备的电子纸显示器阅读时，当用户在电子纸屏幕上看到某种画名称时，多显示设备可以在OLED屏幕上显示高分辨率彩色图片；当用户在电子纸屏幕上看到某种电影名称时，多显示设备可以在LCD屏幕上播放视频；当用户在电子纸屏幕上看到某种数学理论时，多显示设备可以在LCD屏幕上显示公式；当用户在电子纸屏幕上看到某种歌曲名称时，多显示设备可以通过其扬声器播放音乐；或者当电子纸屏幕上有黑白(black and white，简称BW)图像时，多显示设备可以自动在LCD屏幕上显示高分辨率彩色图片。多显示设备可以执行其它或不同操作，以丰富用户的电子阅读体验。
在某些实现方式中，所述技术不是将同样的内容从一个设备投射到另一个设备，而是可以将多显示设备的电子纸显示器上呈现的文本或图像的基础内容投射或重定向到多显示设备的另一显示器。在某些实现方式中，可以在不需要将多个显示器(或包括所述显示器的设备)连接到同一Wi-Fi网络的情况下实现所述技术。例如，所述技术可以在本地检索多媒体文件而无需网络连接，或者通过蜂窝网络等互联网检索多媒体文件。
在某些实现方式中，本发明所描述的技术可以实现一个或多个优点。例如，所述技术可以提高电子阅读体验以使电子阅读更加有趣和具有互动性。在某些实现方式中，所述技术可以吸引观众购买多媒体风格的电子书并为作者和出版商引入新的收入来源。在某些实现方式中，所述技术可以增加MDE设备的价值主张和卖点，为MDE设备的原始设备制造商(original equipment manufacturer，简称OEM)带来经济效益。在某些实现方式中，所述技术可以在不对电子纸屏幕硬件进行重大更改的情况下改变甚至彻底改变电子阅读体验。
图1是一实现方式提供的示例性多显示器环境100的示意图。示例性多显示器环境100包括多显示设备110、外部显示器160、外部音频/视频输出170和网络180。所述多显示设备110可以与外部显示器160以及外部音频/视频输出170进行无线(例如，基于蓝牙、Wi-Fi、近场通信或机器间通信技术)通信连接或有线(例如，通过通用串行总线(UniversalSerial Bus，简称USB)或AV电缆中的一个或两个)通信连接。多显示设备110可以直接或通过网络180与外部显示器160和外部音频/视频输出170通信连接。网络180可以是无线网络、有线网络、混合或组合通信网络。网络180可以是基于现有或未来一代通信技术的电信网络，包括但不限于长期演进(Long Term Evolution，简称LTE)、LTE-Advanced(LTE-Advanced，简称LTE-A)、5G、全球移动通信系统(Global System for MobileCommunications，简称GSM)、通用分组无线业务(General Packet Radio Service，简称GPRS)、GSM演进增强数据速率(Enhanced Data rates for GSM Evolution，简称EDGE)、暂定标准-95(Interim Standards 95，简称IS-95)、码分多址(Code Division MultipleAccess，简称CDMA)2000、数据优化演进(Evolution-Data Optimized，简称EVDO)、通用移动通信系统(Universal Mobile Telecommunications System，简称UMTS)、无线局域网(wireless local area network，简称WLAN)、数字用户线(digital subscriber line，简称DSL)、光纤网络等。多显示器环境可以包括其它或不同设备，并且可以以不同的方式配置。
多显示设备110包括电子纸显示器120、多媒体显示器130、用户干扰(userinference，简称UI)感测组件140、处理器106、存储器/数据存储器108和天线/通信接口150中的一个或多个。所述多显示设备110还可以包括操作系统(operating system，简称OS)135和安装的用于执行所述多显示设备110不同操作的一个或多个应用104。所述多显示设备110可以包括其它或不同组件，并且可以以不同的方式配置。例如，多显示设备110可以集成多个异构显示器，例如一个电子纸显示器120和两个或两个以上多媒体显示器130。在某些实现方式中，多显示设备110实现为便携式移动设备，例如双屏或多屏智能手机或平板电脑，从而允许用户在其方便时享受更高的电子阅读体验。
在某些实现方式中，电子纸显示器120用于显示或呈现文本。例如，电子纸显示器120可以是基于E-INK显示技术的电子墨水显示器。多媒体显示器130用于显示或呈现多媒体内容(例如，除了包括文本，还包括彩色图片、音频、视频、动画或任何其它格式中的一种或多种格式的内容)。多媒体显示器130可以包括LED显示器、LCD、OLED、彩色电子纸显示器或与音频输出设备(例如扬声器)耦合或不耦合的其它显示屏中的一种或多种。
操作系统(operating system，简称OS)135支持多显示设备110的基本功能，例如调度任务、执行应用和控制外围设备。在某些实现方式中，OS 135可以实现为集成软件模块或不同模块的组合，用于多显示设备110的不同组件。例如，OS 135可以包括用于电子纸显示器120的OS 122和用于多媒体显示器130的OS 132。在某些实现方式中，用于电子纸显示器120的OS 122可识别或发现多显示设备110内部或外部的其它显示器和输出设备，用于投射或重定向多媒体内容由一个或多个其它显示器和输出设备呈现。例如，配对或握手过程可由用于电子纸显示器120的OS 122和用于多媒体显示器130的OS 132执行，以建立通信用于投射或重定向多媒体内容由多媒体显示器130呈现。在某些实现方式中，用于电子纸显示器120的OS 122可以为执行必要操作而注册其它显示器或输出设备的类型，并执行必要的操作，以确保电子纸显示器120与其它异构显示器或输出设备之间的兼容性。
在某些实现方式中，UI感测组件140可包括扬声器/麦克风(microphone，简称MIC)142、摄像头144、触摸/运动/手势/眼动传感器146、红外(infrared，简称IR)传感器148或能够检测和测量用户与多显示设备110的交互的任何其它传感器中的一种或多种。例如，触摸/运动/手势/眼动传感器146可包括触摸屏、摄像头、手势传感器、运动传感器或眼动传感器中的一种或多种。在一个具体示例中，触摸/运动/手势/眼动传感器146可以包括触摸屏，用于检测用户通过触笔、图形或手触摸屏幕的输入。在一个具体示例中，触摸/运动/手势/眼动传感器146可以包括能够检测和跟踪眼睛相对于头部的位置(例如，凝视的位置)和移动的眼动追踪传感器。扬声器/MIC 142可包括用于检测语音输入和处理以识别语音命令的MIC。在某些实现方式中，UI感测组件140用于接收选择由多媒体显示器呈现相应多媒体内容的用户输入，以提高用户的电子阅读体验。
在某些实现方式中，在OS 135上运行的一个或多个应用104提供了通过多显示设备110提高用户的电子阅读体验的功能。例如，一个或多个应用104可以控制电子纸显示器120通过UI感测组件140呈现丰富的电子书源、接收和处理用户的输入(例如，语音、手势、眼睛活动或触摸)，并控制多媒体显示器130基于用户的输入呈现多媒体内容。在某些实现方式中，一个或多个应用104通过一个或多个UI感测组件140接收用户的输入，并将其转换为一个或多个指令以指示电子纸显示器120、多媒体显示器130、外部显示器160或外部音频/视频输出170中的一个或多个，例如，提供多媒体内容，以提高用户的电子阅读体验。
所述存储器/数据存储器108可包括存储指令的非瞬时性计算机可读介质，所述指令可由所述一个或多个处理器106执行，以执行操作从而提高用户的电子阅读体验。在某些实现方式中，所述存储器/数据存储器108可存储一个或多个丰富的电子书源，所述一个或多个丰富的电子书源包括由电子纸显示器120呈现的文本和和涉及所述文本的补充材料(例如，多媒体内容)的多个关键词，所述补充材料由所述多显示设备110的多媒体显示器130、外部显示器160或外部音频/视频输出170呈现。
在某些实现方式中，所述天线/通信接口150用于使得所述多显示设备110与互联网、外部显示器160或外部音频/视频输出170建立蜂窝、Wi-Fi以及其它类型的通信。在某些实现方式中，所述天线/通信接口150用于通过网络180从所述互联网检索由所述多显示设备110的多媒体显示器130呈现的多媒体内容。
图2是一实现方式提供的一种电子纸显示器215对示例性丰富的电子书源205的呈现200的示意图。电子纸显示器215可以是图1中的多显示设备110的示例性电子纸显示器120或其它多显示设备的其它电子纸显示器。所述示例性丰富的电子书源205的呈现200包括示例性丰富的电子书源205的第一页面210的第一呈现和第二页面220的第二呈现。
如图所示，所述示例性丰富的电子书源205包括文本230和BW图像240，两者均由所述电子纸显示器215以黑白形式呈现。此处，所述丰富的电子书源205是向读者呈现以供通用阅读的普通电子书或电子文章。文本230是所述电子书源的文本部分。文本230可以包括丰富的电子书源205中包含的所有单词、短语、术语、段落等。
所述示例性丰富的电子书源205还包括由所述电子纸显示器215显示的一些关键词。这些关键词可以关联、链接或涉及由多媒体显示器呈现的文本230的补充材料。在某些实现方式中，关键词可以包括作为文本一部分(例如，文本230的一部分)的一个或多个术语或短语。例如，关键词可以包括人物姓名、图画、音乐、视频、电影、科学理论或任何其它术语或短语。如图2所示，关键词“画X”212包括作为文本230的一部分的基础文本术语“画X”。
所述关键词涉及术语或短语的补充材料(例如，多媒体内容)，所述补充材料可以以多媒体形式呈现，以促进读者的欣赏和/或理解。补充材料可以包括可由多媒体显示器呈现的术语或短语对应的多媒体内容(例如，彩色图片、音频、视频、公式或动画)。例如，第一页面210的第一呈现示出了示例性关键词“画X”212、“歌曲Y”214、“歌剧Z”216和“勾股定理”218。在某些实现方式中，所述关键词可以包括艺术术语或众所周知的术语或短语。相应地，画X可以是油画《蒙娜丽莎》，歌曲Y可以是歌曲《我的太阳》，歌剧Z可以是歌剧《卡门》。相应地，关键词“画X”212涉及的补充材料可以包括油画《蒙娜丽莎》的彩色图像，关键词“歌曲Y”214涉及的补充材料可以包括歌曲《我的太阳》的音频，关键词“歌剧Z”216涉及的补充材料可以包括歌剧《卡门》的视频，关键词“勾股定理”218涉及的补充材料可以包括数学公式，甚至包括勾股定理的教程。在某些实现方式中，BW图像240本身可作为关键词，以指示高分辨率彩色版本可由多媒体显示器呈现。例如，第二页220的第二呈现将BW图像240显示为另一示例关键词。
在某些实现方式中，关键词可以包括与一个或多个术语或短语相关或关联的一个或多个图标(例如，标签、标记、注释或其它指示)。一个或多个图标可以注释、突出显示或标记关键词，以使读者注意到存在可由多媒体显示器呈现的术语或短语的补充材料。如图2所示，关键词“画X”212包括图标222。在某些实现方式中，作为显示一个或多个图标的替代方案或除显示一个或多个图标外，电子纸显示器215可以以不同的字体、颜色、样式、突出显示或其它方式呈现关键词，以区分非关键词文本，从而指示存在由多媒体显示器呈现的基础术语或短语的补充材料。
关键词可以与一个或多个相应的图标相关联。在某些实现方式中，电子纸显示器可以显示图标，使得图标接近于相应关键词的基础术语或短语、位于其上方、与其部分或完全重叠、与其偏离或与其相关联。例如，如图2所示，关键词“画X”212，“歌曲Y”214、“歌剧Z”216和“勾股定理”218中的每一个都具有与其临近显示的相应的图标222、224、226或228。在某些实现方式中，所有关键词具有相同的图标。在某些实现方式中，不同关键词(例如，基于关键词涉及的多媒体内容的类型)具有不同的图标。在某些实现方式中，图标可以指示用于多媒体显示器呈现补充材料的一个或多个选项。
图3是一实现方式提供的图2中的电子纸显示器215对关键词212及其对应图标222的示例性呈现300的示意图。示例性呈现300可由电子纸显示器215呈现，以响应于与关键词212的用户交互(例如，单击图标222或长按短语“画X”)或其它与电子纸显示器215或多显示设备的任何其它UI感测组件的用户交互。
示例性呈现300包括下拉窗口310，其显示用于一个或多个多媒体显示器呈现关键词212的多媒体内容的示例性选项305、315和325。例如，选项305指通过屏幕1呈现关键词212的多媒体内容，选项315指通过屏幕2呈现关键词212的多媒体内容，选项325指通过音频/视频输出设备播放与关键词212相关联的音频/视频内容。可以显示下拉窗口310，例如，以响应与关键词212的用户交互(例如，单击图标222、长按短语“画X”、“显示画X”的语音命令、电子纸显示器215上的与关键词212交互的滑动或其它手势等)。如图3所示，用户选择选项305以在“屏幕1”上投射“画X”图片，如箭头320所示。可以包括其它或不同选项。
在某些实现方式中，屏幕1可以是相对于电子纸屏幕215的默认异构屏幕。例如，屏幕1可以是集成在包括电子纸屏幕215的同一多显示设备中的多媒体显示器之一。在某些实现方式中，屏幕2可以是与包括电子纸屏幕215的同一多显示设备外部的输出设备。可以配置用于多媒体显示器呈现多媒体内容的其它或不同选项。例如，在与BW图像240具有定义的用户交互(例如，双击)的情况下，所述BW图像240对应的高分辨率彩色图片可以自动显示在屏幕1等默认异构屏幕上。
在某些实现方式中，关键词212及其对应图标222的呈现300可由电子纸显示器215以其它方式呈现，例如，通过会话弹出窗口、通过其它类型的可视化来指示用于多媒体显示器呈现多媒体内容的选项。在某些实现方式中，可使用其它或不同的用户输入(例如，语音或手势控制)来选择用于多媒体显示器呈现多媒体内容的选项。
图4是一实现方式提供的多媒体显示器402、404、406和408对多媒体内容的示例性呈现400的示意图。示例性呈现400分别包括多媒体显示器402对关键词“画X”212对应的“画X”412的高分辨率彩色图片的呈现、多媒体显示器404对关键词“歌曲Y”214对应的歌曲“歌曲Y”414的播放、多媒体显示器406对关键词“歌剧Z”216对应的“歌剧Z”416的视频播放、以及多媒体显示器408对关键词218对应的“勾股定理”418的公式的显示。
多媒体显示器402、404、406和408可以是图1中多显示设备110的示例性多媒体显示器130、外部显示器160、外部音频/视频输出170或其它输出设备中的一种或多种。
图5是一实现方式提供的用于在多显示器环境(multi-display environment，简称MDE)中提供丰富的电子阅读体验的示例性方法500的流程图。方法500可由至少包括电子纸显示器和多媒体显示器的多显示设备实现。多媒体显示器可包括LED显示器、LCD、OLED、电子纸显示器、彩色电子纸显示器或音频输出设备中的一种或多种。在某些实现方式中，所述多显示设备还包括用户推理感测组件。所述用户推理感测组件包括触摸屏、摄像头、手势传感器、运动传感器、眼动传感器、麦克风、扬声器或红外线传感器中的一种或多种。在某些实现方式中，电子纸显示器和多媒体显示器中的任一种或两者包括触摸屏。在某些实现方式中，所述多显示设备可以包括与所述电子纸显示器相关联的第一操作系统以及与多媒体显示器相关联的第二操作系统。第一操作系统可以与第二操作系统相同或不同。在某些实现方式中，多显示设备可以是多显示设备110、如图6所示的示例性计算机系统600或其它设备。
所述方法500还可以通过其它的、更少的或不同的实体来实现。此外，所述方法500还可以通过其它的、更少的或不同的操作来实现，所述操作可以按照所示的顺序或不同的顺序来执行。在某些情况下，可以迭代或重复某个操作或某组操作，例如，达到指定的迭代次数或直到达到终止条件。
示例性方法500开始于502。在502中，多显示设备识别丰富的电子书源。丰富的电子书源可以包括由多显示设备的电子纸显示器呈现的文本以及涉及文本的至少一个补充材料的至少一个关键词(例如，图2中的关键词212、214、216和218)，所述补充材料由多显示设备的多媒体显示器呈现。所述文本的补充材料可以包括可以图片、音频、视频、动画、公式或其组合以及其它媒体格式的一种或多种呈现的多媒体内容(例如，图4中的多媒体内容412、414、416和418)。
在某些实现方式中，所述丰富的电子书源可以包括文本和关键词，这通过包括(例如，如图2所示的类似或不同的方式)作为文本和关键词显示或呈现的数据实现。在某些实现方式中，所述丰富的电子书源可以是一种或多种格式，包括但不限于ePUB、PDF、TXT、AZW、AZW3、KF8、non-DRM MOBI、PRC、TXT EPUB、PDF EPUB、IBA(通过iBooks Author制作的多点触控图书)、TXT、RTF、DOC、BBeB EPUB、HTML、CBR(漫画)、CBZ(漫画)EPUB DRM、EPUB、PDF DRM、PDF、FB2、FB2.ZIP、DJVU、HTM、HTML、DOC、DOCX、RTF、CHM、TCR和PRC(MOBI)。
在某些实现方式中，识别丰富的电子书源包括从所述多显示设备的存储器、数据库或其它数据存储设备中检索丰富的电子书源。在某些实现方式中，识别丰富的电子书源包括接收丰富的电子书源，例如通过多显示设备的通信接口访问、下载或从云端、丰富的电子书源出版商或其它外部设备接收丰富的电子书源。
在某些实现方式中，可基于包括文本的普通电子书源生成丰富的电子书源，所述文本由电子纸显示器呈现，不包括补充材料。例如，丰富的电子书源可由电子书作者、电子书出版商、设备制造商或第三方中的一个或多个生成。在某些实现方式中，关键词涉及可以帮助读者更好地理解基础文本或者提高或丰富阅读体验的补充材料。可以获得补充材料或将补充材料提供给读者。例如，补充材料可以由电子书作者、电子书出版商、设备制造商或第三方中的一个或多个从补充材料出版商或提供商处获取。
对应的关键词可以关联、链接或涉及补充材料。例如，所述补充材料可以通过地图、指针或其它数据结构链接到对应的关键词。例如，关键词可以包括涉及可由多媒体显示器呈现的补充材料的唯一资源标识符(unique resource identifier，简称URI)。在某些实现方式中，通过URI将对应关键词与补充材料链接，可以减小丰富的电子书源的大小，且可以对补充材料进行实时更新。URI可以将对应关键词与本地存储在多显示设备上或通过互联网远程存储的补充材料链接。
在某些实现方式中，关键词包括一个或多个图标(例如，图2和图3中的图标222、224、226和228)。这些图标可以在电子纸显示器上显示，以向读者指示存在可由多媒体显示器或其它输出设备呈现的补充材料。
在某些实现方式中，丰富的电子书源可以包括元数据，所述元数据包括URI字段、图标以及用于提供关键词、图标和各自补充材料的其它任何信息，以用于寻址、检索和呈现各自补充材料。
在某些实现方式中，补充材料可以直接嵌入到丰富的电子书源中。在某些实现方式中，例如，在丰富的电子书源首次加载到多显示设备之后，或者在多显示设备的用户在实时或基本实时选择对应的关键词时请求一个或多个补充材料之后，可以通过通信网络访问或下载补充材料。
在504中，多显示设备的电子纸显示器至少显示或呈现第一关键词。所述第一关键词(例如，关键词“画X”212)涉及由多显示设备的多媒体显示器(例如，多媒体显示器402)呈现的针对文本的第一部分(例如，术语“画X”)的第一补充材料(例如，“画X”412的高分辨率彩色图片)。在某些实现方式中，针对第一关键词的第一补充材料包括图片、音频、视频、动画、公式或文本的第二部分中的一种或多种。
在某些实现方式中，呈现第一关键词包括呈现文本的第一部分和指示针对第一关键词的第一补充材料可由多显示设备的多媒体显示器呈现的第一图标(例如，图2和图3中的图标222)。在某些实现方式中，电子纸显示器可以呈现第一图标，使得第一图标接近于文本的第一部分、位于其上方、与其部分或完全重叠、与其偏离或与其相关联，以注释、突出显示或显示存在针对文本的第一部分的相应的补充材料，所述补充材料由多显示设备的多媒体显示器进行呈现。在某些实现方式中，第一图标可以由电子纸显示器在显示文本的第一部分同时或之后呈现。例如，第一图标可由所述电子纸显示器呈现，作为对与文本的第一部分的用户交互(例如，触摸电子纸显示器、语音控制或手势控制)的响应。在某些实现方式中，第一图标还可指示用于多显示设备的多媒体显示器通过，例如图3所示的方式或不同的方式呈现第一补充材料的一个或多个选项。在某些实现方式中，可以在第一个图标中配置和显示其它或不同的选项。例如，可以配置一个选项以通过电子邮件或文本发送第一补充材料以供以后查看，这样用户的阅读不会间断，同时用户也可以获取第一补充材料以供以后阅读。
在某些实现方式中，第一图标可以包括下拉菜单、弹出窗口、音频指令或其它通知中的一种或多种，使得读者选择用于通过一个或多个异构屏幕呈现第一补充材料的一个或多个选项。异构屏幕包括，例如，多显示设备的多媒体显示器以及多显示设备外部的一个或多个输出设备。在某些实现方式中，可以由电子纸显示器呈现下拉菜单、弹出窗口、音频指令或其它通知中的一种或多种，以响应读者，例如通过触摸屏上的触摸、通过麦克风的语音控制命令、或多显示设备的摄像头或传感器检测到的移动或手势，与文本的第一部分的交互(例如，触摸电子纸显示器、语音控制或手势控制)。
在506中，多显示设备接收选择由多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料的用户输入。多显示设备能够处理用户输入并识别读者为显示第一补充材料请求的目标异构屏幕。所述用户输入可以包括触摸(包括点击、轻击、按压或其组合以及其它与触摸屏的用户交互中的一种或多种)、手势、眼睛活动、语音或其它输入中的一种或多种。
图8是一实现方式提供的用于在MDE中基于不同类型的使用输入提供丰富的电子阅读体检的示例性多显示设备800的示意图。示例性多显示设备800可以接收和处理用户810的一种或多种类型的输入820，并返回输出840，例如由包括一个或多个显示器842和音频输出设备(例如，扬声器)844的多媒体显示器呈现，或者用于分析用户行为846(例如，用于广告)的补充材料。在某些实现方式中，所述一个或多个显示器842还可以包括多显示设备外部的显示器(例如，通过Wi-Fi链接到多显示设备的外部电视)。
例如，多显示设备可以通过以下方式检测用户输入：检测(多显示器的电子纸显示器)触摸屏上的触摸826、通过多显示设备的麦克风检测语音822、通过多显示设备的摄像头或传感器检测手势824以及通过(多显示设备的电子显示器的)摄像头或眼动传感器检测眼睛活动828。例如，用户810不会触摸电子纸屏幕上的第一关键词(例如，“画X”)，而是可以说“电子显示器，请显示‘画X’”。然后，多显示设备将在多显示设备的默认多媒体显示器上显示“画X”。在另一示例中，用户810可以摆出一个预定义的手势824(包括手、手臂或用户810的身体的其它部分的一个或多个移动)或眼睛活动828(包括眼睛相对于头部的凝视或移动)以选择选项305在“屏幕1”上投射“画X”，如图3所示。多显示设备的摄像头或传感器可以检测手势824和眼睛活动828，多显示设备可以在多显示设备的屏幕1上显示“画X”。
示例性多显示设备800可以执行模式识别或其它算法来处理由多显示设备的相应UI感测组件(例如，麦克风、摄像头、传感器或触摸屏)检测的不同类型的用户输入820，以实现语音、手势、眼睛活动和触摸识别。例如，示例性多显示设备800可以使用各自的应用/库(application/library，简称APP/LIB)832、834、836和838处理语音822、手势824、触摸826和眼睛活动828。通过各自的APP/LIB 832、834、836和838，示例性多显示设备800可以执行语音、手势、触摸、眼睛活动识别算法以生成与语音822、手势824、触摸826和眼睛活动828的用户输入分别对应的一个或多个命令/动作或收集与语音822、手势824、触摸826和眼睛活动828的用户输入分别对应的日志835。命令/动作或日志835可以分别指示多媒体显示器(例如，显示器842和音频输出设备844)基于识别出的语音822、手势/眼睛活动824、触摸826和眼睛活动828的用户输入来呈现关键词的补充材料。
再次参考图5，在508中，响应于接收到用户输入，多显示设备检索针对第一关键词的第一补充材料。在某些实现方式中，检索针对第一关键词的第一补充材料包括：基于涉及针对第一关键词的第一补充材料的URI，通过通信网络远程检索针对第一关键词的第一补充材料，或者从多显示设备本地检索针对第一关键词的第一补充材料。
例如，从多显示设备本地检索针对第一关键词的第一补充材料可以包括：从多显示设备的存储器、数据库或其它数据存储设备中检索嵌入到丰富的电子书源或其它文件中的针对第一关键词的第一补充材料。
在某些实现方式中，检索针对第一关键词的第一补充材料包括：通过通信网络(例如，互联网)，从对应的多媒体内容提供商(例如，数字内容出版商或能够搜索和定位针对第一关键词的第一补充材料的搜索引擎)或云端检索针对第一关键词的第一补充材料。例如，检索针对第一关键词的第一补充材料包括：基于涉及针对第一关键词的第一补充材料的URI检索针对第一关键词的第一补充材料。在某些实现方式中，多显示设备可以通过访问丰富的电子书源的元数据、基于对应的URL(或地图、指针或其它数据结构)定位针对第一关键词的第一补充材料、以及访问、下载或接收针对第一关键词的第一补充材料，以检索针对第一关键词的第一补充材料。
在某些实现方式中，在多显示设备在502中识别丰富的电子书源之后，所述多显示设备可以(例如，通过与多显示设备的多媒体显示器共享补充材料、元数据或两者)将补充材料提供给多显示设备的多媒体显示器，以通过多显示设备的多媒体显示器更快更容易重定向对补充材料的呈现。
在510中，多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料。在某些实现方式中，多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料的方式与图4所示的呈现400相似或不同。在某些实现方式中，多显示设备的多媒体显示器能够基于针对第一关键词的第一补充材料实现自适应、自动UI跟踪(例如，追踪阅读进度)或任何其它特征，以进一步提高用户体验。在某些实现方式中，多显示设备可以具有不同的显示器配置(例如，旋转、复制、扩展、拆分或以其它方式使用电子纸显示器、多显示设备的多媒体显示器、或者外部输出设备中的一种或多种)。例如，多显示设备可以包括两个或两个以上多媒体显示器，且针对第一关键词的第一补充材料由多显示设备的两个或两个以上多媒体显示器同时或协同呈现。在某些实现方式中，在显示针对第一关键词的第一补充材料的过程中，多显示设备的多媒体显示器可以实现省电和护眼等其它特征。
在某些实现方式中，多显示设备可以包括第二多媒体显示器。在某些实现方式中，电子纸显示器可以呈现文本的第一部分(例如，第一关键词中包含的基础术语或短语)和指示针对第一关键词的第一补充材料可由多显示设备的第二多媒体显示器呈现的第一图标(例如，作为用于呈现针对第一关键词的第一补充材料的选项)。例如，电子纸显示器可以呈现文本的第一部分(例如，关键词212的术语“画X”)和指示存在针对第一关键词的第一补充材料可由多显示设备的第二多媒体显示器呈现的第一图标(例如，图标222)。在某些实现方式中，多显示设备可以接收选择由多显示设备的第二多媒体显示器呈现针对第一关键词的第一补充材料的第二用户输入。响应于接收到第二用户输入，多显示设备的第二多媒体显示器呈现针对第一关键词的第一补充材料。
在某些实现方式中，所述多显示设备的电子纸显示器可以呈现第二关键词。第二关键词是指针对文本的第二部分的第二补充材料(例如，包含在第二关键词中的基础术语或短语，例如关键词214的术语“歌曲Y”)，第二补充材料由多显示设备的多媒体显示器或多显示设备外部的输出设备(例如，外部显示器160、外部音频/视频输出170或其它一些设备)呈现。在某些情况下，文本的第二部分与文本的第一部分不同，尽管基础的文本术语或短语可以相同。例如，第二关键词可以具有与第一关键词212相同的基础术语“画X”，但是第二关键词出现在文本的不同位置(不同的句子、段落或页面)。在某些实现方式中，多显示设备接收选择由多显示设备外部的输出设备呈现针对第二关键词的第二补充材料的第三用户输入。响应于接收到第三用户输入，多显示设备可以指示其外部的输出设备呈现针对第二关键词的第二补充材料。例如，多显示设备可以与该多显示设备外部的输出设备建立通信。在某些实现方式中，为了保证兼容性，多显示设备与其外部的输出设备可以进行配对或握手过程，以建立初始通信。例如，多显示设备可以(例如，通过识别其是电子链接显示器、多媒体显示器、打印机还是其它类型的输出设备)注册多显示设备外部的输出设备的类型。多显示设备可以进行必要的处理，例如格式化控制信息或信令指令，或者重新格式化针对第二关键词的第二补充材料，以与多显示设备外部的输出设备进行通信。
在某些实现方式中，指示多显示设备外部的输出设备呈现针对第二关键词的第二补充材料可以包括：通过，例如，向多显示设备外部的输出设备传输第二补充材料本身或第二多媒体内容的元数据(例如，URL地址)，将针对第二关键词的第二补充材料提供给多显示设备外部的输出设备。
在某些实现方式中，在多显示设备在502中识别丰富的电子书源之后，多显示设备可以在配对或握手过程后将补充材料提供给多显示设备外部的输出设备。例如，多显示设备可以通过与多显示设备的多媒体显示器共享补充材料、元数据或两者，将补充材料提供给多显示设备外部的输出设备，以通过多显示设备外部的输出设备更快更容易重定向对补充材料的呈现。在某些实现方式中，例如，为了提高安全性和通信效率，补充材料由多显示设备维护，且仅将元数据传输到多显示设备外部的输出设备。
图6是一实现方式提供的用于提供与本发明所描述的算法、方法、功能、过程和流程相关的计算功能的示例性计算机系统600的框图。计算机系统600或一个以上计算机系统600可用于实现本发明之前描述的示例性方法。
所示计算机602用于包括任何计算设备，例如服务器、台式计算机、膝上型电脑/笔记本电脑、无线数据端口、智能手机、个人数据助理(personal data assistant，简称PDA)、平板电脑计算设备、这些设备中的一个或多个处理器，或任何其它合适的处理设备，包括计算设备的物理或虚拟实例(或两者)。此外，计算机602可以是包括输入设备和输出设备的计算机。例如，输入设备为小键盘、键盘、触摸屏或其它可以接受用户信息的设备，输出设备传送与计算机602的操作相关联的信息，包括数字数据、视觉或音频信息(或信息的组合)或者图形用户界面(graphical user interface，简称GUI)。
计算机602可以作为计算机系统的客户端、网络组件、服务器、数据库或其它持久性组件或任何其它组件(或角色的组合)，以执行本发明所描述的主题。所示的计算机602可与网络630通信耦合。在某些实现方式中，计算机602的一个或多个组件可以用于在基于云计算的环境、本地环境、全局环境或其它环境(或环境的组合)等环境中运行。
在高层，计算机602是一种电子计算设备，可用于接收、发送、处理、存储或管理与所述主题相关的数据和信息。根据某些实现方式，计算机602还可以包括应用服务器、电子邮件服务器、网络服务器、缓存服务器、流数据服务器或其它服务器(或服务器的组合)或可以与这些服务器通信耦合。
计算机602可以通过网络630从(例如，在另一计算机602上运行的)客户端应用接收请求，并使用合适的软件应用处理接收到的请求来响应接收到的请求。此外，还可以从内部用户(例如，从命令控制台或通过其它合适的访问方法)、外部或第三方、其它自动化应用以及任何其它合适的实体、个人、系统或计算机向计算机602发送请求。
计算机602的每个组件可以通过系统总线603进行通信。在某些实现方式中，通过系统总线603，计算机602的任意或全部组件，包括硬件或软件(或硬件和软件的组合)，可以通过应用编程接口(application programming interface，简称API)612或服务层613(或API 612和服务层613的组合)相互连接或与接口604连接(或两者的组合)。API 612可包括对例程、数据结构和对象类的规范。API 612可以独立于计算机语言或依赖计算机语言，可指完整的接口、单个功能甚至是一组API。服务层613向计算机602或可与计算机602通信耦合的其它组件(无论是否示出)提供软件服务。所有服务消费者通过该服务层都可以访问计算机602的功能。软件服务，例如由服务层613提供的软件服务，通过定义的接口提供可重用的的定义功能。例如，接口可以是以JAVA、C++或其它合适的以可扩展标记语言(ExtensibleMarkupLanguage，简称XML)格式或其它合适的格式提供数据的语言编写的软件。尽管作为计算机602的组成部分示出，在可选实现方式中，API 612或服务层613可以示为与计算机602的其它组件或可与计算机602通信耦合的其它组件(无论是否示出)相关的独立组件。此外，API612或服务层613的任何或所有部分可以实现为另一软件模块、企业应用或硬件模块的子模块，而不脱离本发明的范围。
计算机602包括接口604。虽然图6中示出了单个接口604，但可以根据计算机602的特定需求、期望或特定实现方式使用两个或两个以上接口604。在分布式环境中，计算机602通过接口604与连接到网络630的其它系统(无论是否示出)进行通信。通常，接口604包括以软件或硬件(或软件和硬件的组合)编码的逻辑，且可用于与网络630通信。更具体地，接口604可包括支持与通信相关联的一个或多个通信协议的软件，使得网络630或接口硬件可用于在计算机602内部和外部传输物理信号。
计算机602包括处理器605。尽管图6示出了单个处理器605，但可以根据计算机602的特定需求、期望或特定实现方式使用两个或两个以上处理器。通常，处理器605执行指令和操作数据以执行计算机602的操作以及如本发明中描述的任何算法、方法、功能、过程和流程。例如，处理器605与非瞬时性存储器(例如，存储器607和数据库606)进行通信，并执行指令和操作数据以执行图5描述的部分或全部操作。
计算机602还包括数据库606，所述数据库可以保存计算机602或可以连接到网络630的其它组件(或两者的组合)(无论是否示出)的数据。例如，数据库606可以是用于存储与本发明一致的数据的内存数据库、传统数据库或其它类型的数据库。在某些实现方式中，根据计算机602的特定需求、期望或特定实现方式以及所描述的功能，数据库606可以是两种或两种以上不同数据库类型(例如，混合内存数据库和传统数据库)的组合。虽然图6示出了单个数据库606，但可以根据计算机602的特定需求、期望或特定实现方式以及所描述的功能使用两个或两个以上(相同类型或多个类型组合)的数据库。虽然数据库606示为计算机602的组成部分，但在可选实现方式中，数据库606可以位于计算机602的外部。
在某些实现方式中，数据库606可以存储一个或多个丰富的电子书源616。在某些实现方式中，丰富的电子书源616包括由电子纸显示器呈现的文本622、可由多媒体显示器呈现的涉及多媒体内容的一些关键词624、可以包括关键词和相应多媒体内容的映射信息的元数据626以及一些与这些关键词对应的图标。在某些实现方式中，数据库606可以本地存储丰富的电子书源616中涉及到的可由多媒体显示器呈现的部分或全部补充材料618。在某些实现方式中，可以通过网络630获得丰富的电子书源616中涉及到的部分或全部补充材料618。
计算机602还包括存储器607，其可以存储计算机602或可连接到网络630的其它组件(或两者的组合)(无论是否示出)的数据。例如，存储器607可以是用于存储与本发明一致的数据的随机存取存储器(random access memory，简称RAM)、只读存储器(read-onlymemory，简称ROM)、光学存储器、磁存储器等。在某些实现方式中，根据计算机602的特定需求、期望或特定实现方式以及所描述的功能，存储器607可以是两种或两种以上不同类型的存储器的组合(例如，RAM和磁存储器的组合)。虽然图6中示出了单个存储器607，但可以根据计算机602的特定需求、期望或特定实现方式以及所描述的功能使用两个或两个以上(相同类型或多个类型组合)的存储器607。虽然存储器607示为计算机602的组成部分，但在可选的实现方式中，存储器607可以位于计算机602的外部。
应用608是一种算法软件引擎，其根据计算机602的特定需求、期望或特定实现方式，特别是本发明中描述的功能，提供功能。例如，应用608可以作为一个或多个组件、模块或应用。进一步地，尽管示为单个应用608，但应用608可以实现为计算机602上的多个应用608。此外，尽管示为计算机602的组成部分，但在可选的实现方式中，应用608可以位于计算机602的外部。
计算机602还可以包括电源614。电源614可以包括用户可更换或不可更换的可充电或不可充电电池。在某些实现方式中，所述电源614可以包括功率转换或管理电路(包括充电、待机或其它电源管理功能)。在某些实现方式中，所述电源614可以包括电源插头，使得计算机602插入墙插或其它电源，以为所述计算机602供电或为可充电电池充电等。
与包含计算机602的计算机系统相关联的或处于计算机系统外部的计算机可以具有任意数量。每个计算机602通过网络630进行通信。进一步地，在不脱离本发明范围的情况下，术语“客户端”、“用户”和其它合适的术语可酌情互换使用。此外，本发明设想许多用户可以使用一台计算机602，或者一个用户可以使用多台计算机602。
图7是一实现方式提供的本发明所描述的数据处理装置700的示例性结构示意图。数据处理装置700可用于提高多显示器环境(multi-display environment，简称MDE)中的电子阅读体验。数据处理装置700包括电子纸显示器702、多媒体显示器704、识别单元706、接收单元708、检索单元710以及指示单元712。
所述识别单元706用于识别丰富的电子书源。丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本以及涉及文本的补充材料的一些关键词，所述补充材料由多显示设备的多媒体显示器呈现。
所述电子纸显示器702用于至少呈现一些关键词中的第一关键词。所述第一关键词涉及由多显示设备的多媒体显示器呈现的针对文本的第一部分的第一补充材料。
所述接收单元708用于接收选择由多显示设备的多媒体显示器、多显示设备的第二多媒体显示器或多显示设备外部的输出设备呈现针对第一关键词的第一补充材料的用户输入。
所述检索单元710用于响应于接收到用户输入，检索针对第一关键词的第一补充材料。在某些实现方式中，所述检索单元710用于基于涉及针对第一关键词的第一补充材料的URI，通过通信网络远程检索针对第一关键词的第一补充材料，或者从多显示设备本地检索针对第一关键词的第一补充材料。
所述多媒体显示器704用于呈现针对第一关键词的第一补充材料。
所述指示单元712用于指示多显示设备外部的输出设备呈现针对第二关键词的第二补充材料。
所描述的主题的实现方式可以包括单独或组合的一个或多个特征。
例如，在第一个实现方式中，提供了一种由计算机实现的在多显示器环境(multi-display environment，简称MDE)中提供丰富的电子阅读体验的方法，包括：至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；多显示设备的电子纸显示器至少呈现第一关键词，其中，第一关键词涉及由多显示设备的多媒体显示器呈现的针对文本的第一部分的第一补充材料；多显示设备接收选择由多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料的用户输入；响应于接收到用户输入，多显示设备检索针对第一关键词的第一补充材料；多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料。
在第二个实现方式中，提供了一种多显示设备，包括电子纸显示器、多媒体显示器、包含指令的非瞬时性存储器、以及与所述存储器通信的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以进行以下操作：至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；多显示设备的电子纸显示器至少呈现第一关键词，其中，第一关键词涉及由多显示设备的多媒体显示器呈现的针对文本的第一部分的第一补充材料；多显示设备接收选择由多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料的用户输入；响应于接收到用户输入，多显示设备检索针对第一关键词的第一补充材料；多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料。
在第三个实现方式中，提供了一种存储计算机指令的非瞬时性计算机可读介质，用于通过至少包括电子纸显示器和多媒体显示器的多显示设备提供丰富的电子阅读体验，其中，当所述计算机指令由一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：多显示设备识别丰富的电子书源，其中，丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；多显示设备的电子纸显示器至少呈现第一关键词，其中，第一关键词涉及由多显示设备的多媒体显示器呈现的针对文本的第一部分的第一补充材料；多显示设备接收选择由多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料的用户输入；响应于接收到用户输入，多显示设备检索针对第一关键词的第一补充材料；多显示设备的多媒体显示器呈现针对第一关键词的第一补充材料。
可选地，上述和其它描述的实现方式可以包括以下特征中的一个或多个。
第一特征，可与以下任一特征组合，其中，所述多媒体显示器包括发光二极管(light emitting diode display，简称LED)显示器、液晶显示器(liquid crystaldisplay，简称LCD)、有机发光二极管显示器(organic light emitting diode display，简称OLED)、彩色电子纸显示器或音频输出设备中的一种或多种。
第二特征，可与以上或以下任一特征组合，其中，针对所述第一关键词的所述第一补充材料包括图片、音频、视频、动画、公式或所述文本的第二部分中的一种或多种。
第三特征，可与以上或以下任一特征组合，其中，所述第一关键词包括唯一资源标识符(unique resource identifier,简称URI)，其中，所述URL涉及由所述多媒体显示器呈现的针对所述第一关键词的所述第一补充材料；检索针对所述第一关键词的所述第一补充材料包括：基于涉及针对所述第一关键词的所述第一补充材料的URI检索针对所述第一关键词的所述第一补充材料。
第四特征，可与以上或以下任一特征组合，其中，所述检索针对所述第一关键词的所述第一补充材料包括：从所述多显示设备本地检索针对所述第一关键词的所述第一补充材料。
第五特征，可与以上或以下任一特征组合，其中，所述用户输入包括触摸、手势、眼睛活动或语音中的一种或多种。
第六特征，可与以上或以下任一特征组合，还包括：所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第二用户输入；响应于接收到所述第二用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
第七特征，可与以上或以下任一特征组合，其中，所述多显示设备还包括用户推理感测组件，所述用户推理感测组件包括触摸屏、摄像头、手势传感器、运动传感器、眼动传感器、麦克风、扬声器或红外线传感器中的一种或多种；所述用户推理感测组件用于接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入。
第八特征，可与以上或以下任一特征组合，其中，所述多显示设备还包括第二多媒体显示器，所述一个或多个处理器执行所述指令，以通过呈现所述文本的第一部分和第一图标来呈现所述第一关键词，所述第一图标指示针对所述第一关键词的所述第一补充材料可由所述多显示设备的第二多媒体显示器呈现。
第九特征，可与以上或以下任一特征组合，其中，所述操作还包括：所述多显示设备接收选择由所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料的第二用户输入；响应于接收到所述第二用户输入，所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
第十特征，可与以上或以下任一特征组合，其中，所述操作还包括：所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第三用户输入；响应于接收到所述第三用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
本文中所描述的主题和功能操作的实现方式可以在数字电子电路、有形嵌入的计算机软件或固件、包括本文中所公开的结构及其结构等同物的计算机硬件、或者其中一个或多个的组合中实现。本文中所描述的主题的实现方式可以实现为一个或多个计算机程序，即，在有形的、非瞬时性的、计算机可读的计算机存储介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。此外，所述程序指令可编码于人为产生的传输信号中供数据处理装置执行。例如，传输信号为机器生成的电信号、光信号或电磁信号，生成该信号用于编码信息以传输至合适的接收器装置。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行访问存储器设备或计算机存储介质的组合。
术语“实时”、“近实时(nearly real-time，简称NRT)”、“准实时”或(本领域普通技术人员理解的)类似术语意味着动作和响应是在近似时间上发生的，使得个人能够基本同时感知到动作和响应。例如，在个人访问数据的动作之后，显示(或启动显示)数据的响应时间差可以小于1毫秒、1秒、或5秒。虽然不需要立即显示(或启动显示)所请求的数据，考虑到所描述的计算系统的处理限制和例如收集、准确测量、分析、处理、存储或传输数据所需的时间，但不会故意延迟显示(或启动显示)所请求的数据。
术语“数据处理装置”、“计算机”或“电子计算机设备”(或本领域普通技术人员理解的等同物)指的是数据处理硬件，包括用于处理数据的各种装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。该装置也可以包括专用逻辑电路，例如，中央处理器(central processing unit，简称CPU)、现场可编程门阵列(field programmablegate array，简称FPGA)或专用集成电路(application-specific integrated circuit，简称ASIC)。在某些实现方式中，数据处理装置或专用逻辑电路(或数据处理装置和专用逻辑电路的组合)可以基于硬件或软件(或硬件和软件的组合)。可选地，装置可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或执行环境的组合的代码。本发明考虑使用具有或不具有传统操作系统的数据处理装置。例如，传输操作系统为LINUX、UNIX、WINDOWS、MAC OS、ANDROID、IOS或任何其它合适的传统操作系统。
计算机程序，也可以称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码，可以以任何形式的编程语言，包括编译或解释语言或声明性或程序性语言编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、或适合在计算环境中使用的其它单元。计算机程序可以(但不需要)对应文件系统中的文件。程序可以存储在存储其它程序或数据的文件的一部分中，例如存储在标记语言文档中的一个或多个脚本；存储在专用于该程序的单个文件中；或存储在多个协调文件，例如，存储一个或多个模块、子程序或部分代码的文件中。计算机程序可以部署在一台计算机上执行，或者部署在位于一个站点或分布在多个站点上并且通过通信网络互连的多个计算机上。虽然各图所示的部分程序示为通过各种对象、方法或其它过程实现各种特征和功能的各个模块，所述程序可以根据情况包括一些子模块、第三方服务、组件、库等。相反，各种组件的特征和功能可以根据情况合并为单个组件。用于进行计算确定的阈值可以通过静态的方式确定、通过动态的方式确定或者通过静态和动态的方式确定。
本文中描述的方法、过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过操作输入数据和产生输出来执行功能。方法、过程或逻辑流程也可以由专用逻辑电路执行，装置也可以实现为CPU、FPGA或ASIC等专用逻辑电路。
适用于执行计算机程序的计算机可以基于通用微处理器、专用微处理器或两者或任何其它类型的CPU。通常，CPU会从只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)或两者接收指令和数据。计算机的元素包括用于执行指令的CPU以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还包括(或可操作地耦合到)存储数据的一个或多个大容量存储设备，以从其接收数据、发送数据或两者。例如，大容量存储设备为磁盘、磁光盘或光盘。但是，计算机不需要这种设备。此外，计算机可以嵌入到其它设备中，例如，仅列出以下几个示例：手机、个人数字助理(personaldigital assistant，简称PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(global positioning system，简称GPS)接收器或便携式存储设备，例如通用串行总线(Universal Serial Bus，简称USB)盘。
适用于存储计算机程序指令和数据的计算机可读介质(例如，瞬时性或非瞬时性的，视情况而定)包括所有形式的非易失性存储器、介质和存储器设备，包括可擦除可编程只读存储器(erasable programmable read only memory，简称EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称EEPROM)和闪存设备等半导体存储器设备、内部硬盘或可移动磁盘等磁盘、磁光盘和CD-ROM、DVD+/–R、DVD-RAM和DVD-ROM光盘。存储器可以存储各种对象或数据，包括缓存、类、框架、应用、备份数据、作业、网页、网页模板、数据库表、存储动态信息的存储库以及包括任何参数、变量、算法、指令、规则、限制条件、或者其引用的任何其它合适的信息。此外，存储器可以包括任何其它合适的数据，例如日志、策略、安全或访问数据、报告文件等。处理器和存储器可以由专用逻辑电路补充或并入所述专用逻辑电路。
为了与用户进行交互，本文中描述的主题的实现方式可以在具有显示设备、键盘和指向设备的计算机上实现。例如，显示设备为阴极射线管(cathode ray tube，简称CRT)、液晶显示器(liquid crystal display，简称LCD)、发光二极管(light emitting diode，简称LED)或血浆监测仪，用于向用户显示信息。例如，指向设备为鼠标、轨迹球或轨迹板，用户可以通过其向计算机提供输入。还可以通过触摸屏向计算机提供输入，例如具有压力敏感度的平板电脑表面、使用电容或电感应的多点触控屏幕或其它类型的触摸屏。其它类型的设备也可以用于与用户的交互。例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈，用户的输入可以以任何形式接收，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和接收文档来与用户进行交互，例如，通过向用户的客户端设备上的网络浏览器发送网页来响应从网络浏览器接收到的请求。
术语“图形用户界面”或“GUI”可以是单数或复数形式，用于描述一个或多个图形用户界面以及特定图形用户界面的每个显示。因此，GUI可以表示任何图形用户界面，包括但不限于处理信息并有效地向用户呈现信息结果的网络浏览器、触摸屏或命令行界面(command line interface，简称CLI)。通常，GUI可以包括一些用户界面(user interface，简称UI)元素，这些元素的部分或全部与网络浏览器相关联，例如交互字段、下拉列表和按钮。这些元素和其它UI元素可以与网络浏览器相关，也可以表示网络浏览器的功能。
本文中所描述的主题的实现方式可以在包括(例如，作为数据服务器的)后端组件、中间件组件(例如，应用服务器)、前端组件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可以通过图形用户界面或网络浏览器与本文中所描述的主题的实现方式进行交互)、或后端组件、中间组件和前端组件中的一个或多个的任意组合的计算系统中实现。系统的组件可以通过通信网络等有线或无线数字数据通信(或者数据通信的组合)的任何形式或介质互连。通信网络的示例包括局域网(local area network，简称LAN)、无线接入网(radio access network，简称RAN)、城域网(metropolitan area network，简称MAN)、广域网(wide area network，简称WAN)、全球微波接入互操作性(WorldwideInteroperability for Microwave Access，简称WIMAX)、例如使用802.11a/b/g/n或802.20(或802.11x和802.20或与本发明一致的其它协议的组合)的无线局域网(wirelesslocal area network，简称WLAN)、互联网的全部或部分、或处于一个或多个位置上的任何其它通信系统(或通信网络的组合)。网络可以与例如互联网协议(Internet Protocol，简称IP)包、帧中继帧、异步传输模式(asynchronous transfer mode，简称ATM)信元、语音、视频、数据或网络地址之间的其它合适信息(或通信类型的组合)进行通信。
计算系统可以包括客户端和服务器。客户端和服务器通常是远程的，且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行的计算机程序产生的，彼此具有客户端和服务器之间的关系。
虽然本文包含许多具体的实现细节，但这些不应理解为对任何公开的范围或所要求保护的内容的范围的限制，而应理解为对特定公开的特定实现方式可能特定的特征的描述。在本文中描述的在单个实现方式中的某些特征也可以在单个实现方式中组合实现。相反，在单个实现方式中描述的各种特征也可以分别在多个实现方式中实现或者在任何合适的子组合中实现。此外，尽管之前描述的特征可以描述为某些组合，甚至最初要求为某些组合，但在某些情况下，可以从要求的组合中删除来自该组合的一个或多个特征，且该要求的组合可以指向子组合或子组合的变体。
描述了本主题的特定实现方式。如所属领域的技术人员所见，所描述的实现方式的其它实现方式、更改和置换在以下权利要求的范围内。虽然在附图或权利要求中以特定顺序描述了操作，但不应理解为要求以所示的特定顺序执行这些操作，或者要求执行所示的所有操作(一些操作可以视为可选的)，以取得预期的结果。在某些情况下，多任务处理或并行处理(或多任务处理和并行处理的组合)可能是有利的，可以根据情况执行。
此外，在上述实现方式中，各种系统模块和组件的分离或集成不应理解为需要在所有实现方式中进行这种分离或集成，且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。
相应地，上述示例性实现方式不对本发明进行定义或限制。其它修改、替代以及变更也是可能的，而不偏离本发明的精神和范围。
此外，任何权利要求所描述的实现方式都视为至少适用于一种由计算机实现的方法、一种存储计算机可读指令的非瞬时性计算机可读介质，用于执行由计算机实现的方法、以及一种包括计算机存储器的由计算机实现的系统，所述计算机存储器可互操作地与硬件处理器耦合，所述硬件处理器用于执行所述由计算机实现的方法以及存储在所述非瞬时性计算机可读介质上的指令。

Claims (20)

1.一种在多显示器环境(multi-display environment，简称MDE)中提供丰富的电子阅读体验的方法，其特征在于，包括：
至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；
所述多显示设备的电子纸显示器呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；
所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；
响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；
所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
2.根据权利要求1所述的方法，其特征在于，所述多媒体显示器包括发光二极管(lightemitting diode display，简称LED)显示器、液晶显示器(liquid crystal display，简称LCD)、有机发光二极管显示器(organic light emitting diode display，简称OLED)、彩色电子纸显示器或音频输出设备中的一种或多种。
3.根据权利要求1所述的方法，其特征在于，针对所述第一关键词的所述第一补充材料包括图片、音频、视频、动画、公式或所述文本的第二部分中的一种或多种。
4.根据权利要求1所述的方法，其特征在于，所述第一关键词包括唯一资源标识符(unique resource identifier,简称URI)，其中，所述URL涉及由所述多媒体显示器呈现的针对所述第一关键词的所述第一补充材料；
检索针对所述第一关键词的所述第一补充材料包括：基于涉及针对所述第一关键词的所述第一补充材料的URI检索针对所述第一关键词的所述第一补充材料。
5.根据权利要求1所述的方法，其特征在于，所述检索针对所述第一关键词的所述第一补充材料包括：从所述多显示设备本地检索针对所述第一关键词的所述第一补充材料。
6.根据权利要求1所述的方法，其特征在于，所述用户输入包括触摸、手势、眼睛活动或语音中的一种或多种。
7.根据权利要求1所述的方法，其特征在于，呈现所述第一关键词包括：呈现所述文本的第一部分和第一图标，其中，所述第一图标指示针对所述第一关键词的所述第一补充材料可由所述多显示设备的多媒体显示器呈现。
8.根据权利要求7所述的方法，其特征在于，还包括:
所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；
所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第二用户输入；
响应于接收到所述第二用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
9.一种多显示设备，其特征在于，包括：
电子纸显示器；
多媒体显示器；
包含指令的非瞬时性存储器；以及
与所述存储器通信的一个或多个处理器，其中，所述一个或多个处理器执行所述指令以进行以下操作：
至少包括电子纸显示器和多媒体显示器的多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由多显示设备的电子纸显示器呈现的文本和涉及所述文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；
所述多显示设备的电子纸显示器呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；
所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；
响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；
所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
10.根据权利要求9所述的多显示设备，其特征在于，所述多媒体显示器包括发光二极管(light emitting diode display，简称LED)显示器、液晶显示器(liquid crystaldisplay，简称LCD)、有机发光二极管显示器(organic light emitting diode display，简称OLED)、彩色电子纸显示器或音频输出设备中的一种或多种。
11.根据权利要求9所述的多显示设备，其特征在于，针对所述第一关键词的所述第一补充材料包括图片、音频、视频、动画、公式或所述文本的第二部分中的一种或多种。
12.根据权利要求9所述的多显示设备，其特征在于，所述第一关键词包括唯一资源标识符(unique resource identifier,简称URI)，其中，所述URL涉及由所述多媒体显示器呈现的针对所述第一关键词的所述第一补充材料；
检索针对所述第一关键词的所述第一补充材料包括：基于涉及针对所述第一关键词的所述第一补充材料的URI检索针对所述第一关键词的所述第一补充材料。
13.根据权利要求9所述的多显示设备，其特征在于，包括：
与所述电子纸显示器关联的第一操作系统；以及
与所述多媒体显示器关联的第二操作系统，其中：
所述第一操作系统与所述第二操作系统相同或不同。
14.根据权利要求9所述的多显示设备，其特征在于，还包括用户推理感测组件，其中：
所述用户推理感测组件包括触摸屏、摄像头、手势传感器、运动传感器、眼动传感器、麦克风、扬声器或红外线传感器中的一种或多种；
所述用户推理感测组件用于接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入。
15.根据权利要求9所述的多显示设备，其特征在于，还包括第二多媒体显示器，其中，所述一个或多个处理器执行所述指令，以通过呈现所述文本的第一部分和第一图标来呈现所述第一关键词，所述第一图标指示针对所述第一关键词的所述第一补充材料可由所述多显示设备的第二多媒体显示器呈现。
16.根据权利要求15所述的多显示设备，其特征在于，所述一个或多个处理器执行所述指令以进行以下操作：
所述多显示设备接收选择由所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料的第二用户输入；
响应于接收到所述第二用户输入，所述多显示设备的第二多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
17.根据权利要求9所述的多显示设备，其特征在于，所述一个或多个处理器执行所述指令以进行以下操作：
所述多显示设备的电子纸显示器呈现第二关键词，所述第二关键词涉及针对所述文本的第二部分的第二补充材料，其中，所述第二补充材料由所述多显示设备的多媒体显示器或所述多显示设备外部的输出设备呈现；
所述多显示设备接收选择由所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料的第三用户输入；
响应于接收到所述第三用户输入，所述多显示设备指示所述多显示设备外部的输出设备呈现针对所述第二关键词的所述第二补充材料。
18.一种存储计算机指令的非瞬时性计算机可读介质，用于通过至少包括电子纸显示器和多媒体显示器的多显示设备提供丰富的电子阅读体验，其中，当所述计算机指令由一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
所述多显示设备识别丰富的电子书源，其中，所述丰富的电子书源包括由所述多显示设备的电子纸显示器呈现的文本和涉及所述文本的至少一个补充材料的至少一个关键词，所述至少一个补充材料由多显示设备的多媒体显示器呈现；
所述多显示设备的电子纸显示器至少呈现第一关键词，其中，所述第一关键词涉及由所述多显示设备的多媒体显示器呈现的针对所述文本的第一部分的第一补充材料；
所述多显示设备接收选择由所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料的用户输入；
响应于接收到所述用户输入，所述多显示设备检索针对所述第一关键词的所述第一补充材料；
所述多显示设备的多媒体显示器呈现针对所述第一关键词的所述第一补充材料。
19.根据权利要求18所述的非瞬时性计算机可读介质，其特征在于，针对所述第一关键词的所述第一补充材料包括图片、音频、视频、动画、公式或所述文本的第二部分中的一种或多种。
20.根据权利要求18所述的非瞬时性计算机可读介质，其特征在于，检索针对所述第一关键词的所述第一补充材料包括：基于涉及针对所述第一关键词的所述第一补充材料的URI，通过通信网络远程检索针对所述第一关键词的所述第一补充材料，或者从所述多显示设备本地检索针对所述第一关键词的所述第一补充材料。
CN201880069882.3A 2017-11-15 2018-10-19 在多显示器环境中提供丰富的电子阅读体验 Active CN111279300B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/814,324 2017-11-15
US15/814,324 US20190146742A1 (en) 2017-11-15 2017-11-15 Providing enriched e-reading experience in multi-display environments
PCT/CN2018/110970 WO2019095928A1 (en) 2017-11-15 2018-10-19 Providing enriched e-reading experience in multi-display environments

Publications (2)

Publication Number Publication Date
CN111279300A true CN111279300A (zh) 2020-06-12
CN111279300B CN111279300B (zh) 2022-03-29

Family

ID=66432781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069882.3A Active CN111279300B (zh) 2017-11-15 2018-10-19 在多显示器环境中提供丰富的电子阅读体验

Country Status (3)

Country Link
US (1) US20190146742A1 (zh)
CN (1) CN111279300B (zh)
WO (1) WO2019095928A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107086027A (zh) * 2017-06-23 2017-08-22 青岛海信移动通信技术股份有限公司 文字显示方法及装置、移动终端及存储介质
US10909191B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for displaying supplemental content for an electronic book
US10909193B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for filtering supplemental content for an electronic book
US10930244B2 (en) * 2019-02-19 2021-02-23 Apical Limited Data processing systems
JP2020140427A (ja) * 2019-02-28 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 情報処理装置
GB2587351A (en) * 2019-09-23 2021-03-31 Samsung Electronics Co Ltd A system for displaying content information

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060183505A1 (en) * 2005-02-15 2006-08-17 Willrich Scott Consulting Group, Inc. Digital mobile planner
CN101073050A (zh) * 2004-10-19 2007-11-14 索尼爱立信移动通讯股份有限公司 在多个显示屏上显示信息的手持无线通信装置、操作该装置的方法和操作该装置的计算机程序产品
US20110040747A1 (en) * 2009-08-12 2011-02-17 Vladimir Brad Reference file for formatted views
WO2012044712A2 (en) * 2010-10-01 2012-04-05 Imerj LLC Long drag gesture in user interface
US20130129310A1 (en) * 2011-11-22 2013-05-23 Pleiades Publishing Limited Inc. Electronic book
CN103635955A (zh) * 2011-02-25 2014-03-12 亚马逊技术公司 多显示器型装置交互
CN104350445A (zh) * 2012-05-22 2015-02-11 造型逻辑有限公司 电子阅读设备
CN104541265A (zh) * 2012-08-08 2015-04-22 微软公司 电子阅读器系统
CN104919457A (zh) * 2013-01-11 2015-09-16 诺基亚技术有限公司 用于丰富社交媒体以改进个性化用户体验的方法和装置
CN105706408A (zh) * 2013-07-03 2016-06-22 瑞典爱立信有限公司 提供电子书到用户设备
CN105917366A (zh) * 2014-01-30 2016-08-31 惠普发展公司，有限责任合伙企业 基于上下文的移动设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124160A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 会議支援システム、情報表示装置、プログラム、及び制御方法
US8131734B2 (en) * 2008-10-09 2012-03-06 Xerox Corporation Image based annotation and metadata generation system with experience based learning
US20120032981A1 (en) * 2010-08-04 2012-02-09 Tina Hackwell Electronic Book With Configurable Display Panels
CN102129789A (zh) * 2011-03-11 2011-07-20 博视联（苏州）信息科技有限公司 双屏显示电子书包
US9703468B2 (en) * 2011-09-27 2017-07-11 Z124 Unified desktop independent focus in an application manager
JP2016529635A (ja) * 2013-08-27 2016-09-23 オークランド ユニサービシズ リミテッド 凝視制御インターフェース方法およびシステム
US9077792B1 (en) * 2014-10-28 2015-07-07 Mohammad T. A. J. Alhaidar Expandable mobile device
US10635299B2 (en) * 2016-06-10 2020-04-28 Apple Inc. Device, method, and graphical user interface for manipulating windows in split screen mode
WO2018080444A1 (en) * 2016-10-25 2018-05-03 Hewlett-Packard Development Company, L.P. Controlling content displayed on multiple display devices
US9916563B1 (en) * 2017-03-01 2018-03-13 Square, Inc. Version recall for computerized catalog management

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073050A (zh) * 2004-10-19 2007-11-14 索尼爱立信移动通讯股份有限公司 在多个显示屏上显示信息的手持无线通信装置、操作该装置的方法和操作该装置的计算机程序产品
US20060183505A1 (en) * 2005-02-15 2006-08-17 Willrich Scott Consulting Group, Inc. Digital mobile planner
US20110040747A1 (en) * 2009-08-12 2011-02-17 Vladimir Brad Reference file for formatted views
WO2012044712A2 (en) * 2010-10-01 2012-04-05 Imerj LLC Long drag gesture in user interface
CN103635955A (zh) * 2011-02-25 2014-03-12 亚马逊技术公司 多显示器型装置交互
US20130129310A1 (en) * 2011-11-22 2013-05-23 Pleiades Publishing Limited Inc. Electronic book
CN104350445A (zh) * 2012-05-22 2015-02-11 造型逻辑有限公司 电子阅读设备
CN104541265A (zh) * 2012-08-08 2015-04-22 微软公司 电子阅读器系统
CN104919457A (zh) * 2013-01-11 2015-09-16 诺基亚技术有限公司 用于丰富社交媒体以改进个性化用户体验的方法和装置
CN105706408A (zh) * 2013-07-03 2016-06-22 瑞典爱立信有限公司 提供电子书到用户设备
CN105917366A (zh) * 2014-01-30 2016-08-31 惠普发展公司，有限责任合伙企业 基于上下文的移动设备

Also Published As

Publication number Publication date
WO2019095928A1 (en) 2019-05-23
US20190146742A1 (en) 2019-05-16
CN111279300B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111279300B (zh) 在多显示器环境中提供丰富的电子阅读体验
US11750683B2 (en) Computer application promotion
US20190028418A1 (en) Apparatus and method for providing information
US9535595B2 (en) Accessed location of user interface
US20150378600A1 (en) Context menu utilizing a context indicator and floating menu bar
CN105556428B (zh) 具有显示器的便携式终端及其操作方法
US20100269067A1 (en) User interface to render a user profile
CN109471692B (zh) 一种显示控制方法及终端设备
US10353988B2 (en) Electronic device and method for displaying webpage using the same
JP6439266B2 (ja) タッチスクリーンを有する電子装置におけるテキスト入力方法及び装置
CN110268377B (zh) 用于在计算系统中提供用户帮助的装置和方法
US20150058944A1 (en) Social driven portal using mobile devices
US10834236B2 (en) Server-driven custom context menus
KR20130050705A (ko) 키워드 검색 방법 및 장치
JP2017107436A (ja) 情報表示プログラム、情報表示装置、情報表示方法及び配信装置
US20160147741A1 (en) Techniques for providing a user interface incorporating sign language
WO2018010315A1 (zh) 桌面页面管理方法及装置
KR101532909B1 (ko) 메신저 서비스의 첨부파일 관리 방법, 이를 위한 시스템 및 이를 위한 단말 장치
US11762537B1 (en) Tabbed user interface
US10750226B2 (en) Portal to an external display
CN116048335A (zh) 交互方法、交互装置、电子设备和计算机可读存储介质
US20150301987A1 (en) Multiple monitor data entry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant