CN106527877B - 一种数字图书交互系统的实现方法 - Google Patents

一种数字图书交互系统的实现方法 Download PDF

Info

Publication number
CN106527877B
CN106527877B CN201611169331.3A CN201611169331A CN106527877B CN 106527877 B CN106527877 B CN 106527877B CN 201611169331 A CN201611169331 A CN 201611169331A CN 106527877 B CN106527877 B CN 106527877B
Authority
CN
China
Prior art keywords
module
annotation
page
digital book
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611169331.3A
Other languages
English (en)
Other versions
CN106527877A (zh
Inventor
施日良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Day Reading Communication Co Ltd
Original Assignee
Hangzhou Day Reading Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Day Reading Communication Co Ltd filed Critical Hangzhou Day Reading Communication Co Ltd
Publication of CN106527877A publication Critical patent/CN106527877A/zh
Application granted granted Critical
Publication of CN106527877B publication Critical patent/CN106527877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Abstract

本发明公开了一种数字图书交互系统，其特征在于，包括：阅读模块，用于打开PDF格式的数字图书并展示图书页面；注释模块，连接阅读模块，用于在图书页面上进行注释；录制模块，连接阅读模块，用于录制声音，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释为FDF文件；播放模块，用于播放录制的声音，导入FDF文件到数字图书，同时根据声音的时间轴，同步播放注释内容。本发明还公开了一种数字图书交互系统的实现方法。本发明能够实现对数字图书交互性的进一步实现，读者可以在数字图书上进行注释和录音，并播放录音和注释，实现人机的双向交互。

Description

一种数字图书交互系统的实现方法
技术领域
本发明涉及一种数字图书交互系统，具体涉及一种能够实现数字图书的语音录制播放、笔记注释的数字图书交互系统，本发明还涉及该数字图书交互系统的实现方法，本发明属于数字阅读技术开发领域。
背景技术
数字图书可以在智能手机、平板等移动端上进行阅读。读者在移动端上阅读时，需要借助专门的阅读软件来进行具体的操作。现有技术能够实现对数字图书的导入、下载、阅读等一般操作，这种互动性和交互性均比较弱，其主要是读者通过移动端来获取数字图书本身的信息。中国专利ZL201110096549.1公开了一种原排版可听可读互动数字图书的实现系统及其方法，该系统能够实现对中文书籍逐句随声音的同步高亮显示，能够实现大批量中文在线可听可读互动图书得到制作和展示。但是该专利主要是实现文字的语音读取的功能，仍然是将数字图书本身的信息通过语音形式传给读者。由此，需要继续对数字图书的交互性继续改进，实现读者阅读数字读书更好地体验。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种数字图书交互系统及其实现方法，以解决现有技术中读者和数字图书之间交互性较弱的技术问题。
为了实现上述目标，本发明采用如下的技术方案：
一种数字图书交互系统，其特征在于，包括：
阅读模块，用于打开PDF格式的数字图书并展示图书页面；
注释模块，连接阅读模块，用于在图书页面上进行注释；
录制模块，连接阅读模块，用于录制声音，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释文件；
播放模块，用于播放录制的声音，导入注释文件到数字图书，同时根据声音的时间轴，同步播放注释内容。
前述的一种数字图书交互系统，其特征在于，所述阅读模块用于在屏幕上以单页或连续页模式来展示数字图书。
前述的一种数字图书交互系统，其特征在于，所述数字图书交互系统用于移动终端。
前述一种数字图书交互系统的实现方法，其特征在于，包括如下步骤：
步骤一：阅读模块读入PDF格式的数字图书并展示图书页面；
步骤二：读者通过注释模块在图书页面上进行注释；
步骤三：读者通过录制模块录制声音，录制模块连接阅读模块，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释文件；
步骤四：读者通过播放模块播放录制的声音，播放模块导入注释文件到数字图书，同时根据声音的时间轴，同步播放注释内容。
前述的一种数字图书交互系统的实现方法，其特征在于，所述步骤一包括：阅读模块包括内存管理对象，内存管理对象管理文档和页面的内存开销，当内存不够用时触发OOM，销毁部分临时对象和缓存；阅读模块包括渲染线程池和内存缓存，渲染线程池将每个页面的渲染过程按优先级放入线程池，当前页面优先级最高，预加载页面优先级较低，结果放入内存缓存。
前述的一种数字图书交互系统的实现方法，其特征在于，所述步骤二包括：注释模块能够建立状态机，状态机用于区分阅读状态，注释状态，注释状态按不同的注释，再区分状态，建立链表存储每一步状态的改变，最后写入PDF流。
前述的一种数字图书交互系统的实现方法，其特征在于，所述步骤三包括：
录制模块先将带有录制标记的注释删除，保持导出的注释都为该次录音的注释；录制模块生成唯一标识UUID，以这个标识命名声音文件和注释文件，录音时链接注释模块，添加注释时，记录该时刻的时间戳，将时间戳和UUID合并写入注释字段；录音完成后，本地按文件id、用户id、页数分目录存储，存储录制的声音和导出的注释，将导出的注释进行存储。
前述的一种数字图书交互系统的实现方法，其特征在于，所述步骤四包括：播放模块，根据录制模块的本地存储结构，判断该页是否有能播放的内容；播放前先将带有录制标记的注释删除，保证每次播放只有该次播放的内容；播放模块建立注释数组，播放时每隔设定时间进行一次数组遍历，检查每个注释的时间戳，当超过播放时间时，则把该注释加入渲染线程，当播放完成后，把带有时间戳的注释从渲染注释数组中移除。
本发明的有益之处在于：本发明能够实现对数字图书交互性的进一步实现，读者可以在数字图书上进行注释和录音，并播放录音和注释，实现人机的双向交互。
附图说明
图1是本发明一种数字图书交互系统的结构示意图；
图2是本发明一种数字图书交互系统的实现方法的流程示意图；
图3是本发明一种数字图书交互系统中图书页面的一种示意图；
图中附图标记的含义：
1、注释，2、播放器图标，10、阅读模块，20、注释模块，30、录制模块，40、播放模块。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1所示，本发明一种数字图书交互系统，包括：
阅读模块10，用于打开PDF格式的数字图书并展示图书页面；
注释模块20，连接阅读模块10，用于在图书页面上进行注释；
录制模块30，连接阅读模块10，用于录制声音，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释为FDF文件；
播放模块40，用于播放录制的声音，导入FDF文件到数字图书，同时根据声音的时间轴，同步播放注释内容。
本发明的数字图书交互优选用于移动终端，移动终端包括有触摸屏的移动手机、有触摸屏的移动平板等。当然，如果有其他智能终端，也可以适用。比如有屏幕触摸功能的计算机、其他交互设备等。
具体来说，阅读模块10用于在屏幕上以单页或连续页模式来展示数字图书。也就是说，通过阅读模块10可以以单页模式，连续页模式来阅读PDF文档。注释模块20，用于高亮页面文字，随意涂画，添加注释，签名；录制模块30，用于录制声音，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出PDF注释为FDF文件，一个页面可以录制多段内容；播放模块40，用于播放录制的声音，导入FDF文件到指定PDF，同时根据声音的时间轴，同步播放注释内容。
基于上述的数字图书交互系统，以下说明一种数字图书交互系统的实现方法，其包括如下步骤：
步骤一：阅读模块10读入PDF格式的数字图书并展示图书页面。具体地，阅读模块10包括内存管理对象，建立内存管理对象后，内存管理对象管理文档和页面的内存开销，当内存不够用时触发OOM，销毁部分临时对象和缓存；阅读模块10包括渲染线程池和内存缓存，渲染线程池将每个页面的渲染过程按优先级放入线程池，当前页面优先级最高，预加载页面优先级较低，结果放入内存缓存。由于渲染PDF使用了多线程，通过组建线程池，控制线程的优先级，使得PDF显示流畅，主线程不阻塞。此外，使用预渲染和缓存机制，提高了PDF加载速度，在系统空余时，提前预测用户下一步行为，事先渲染，并且加入缓存，缓存算法优选采用LRU淘汰算法。
步骤二：读者通过注释模块20在图书页面上进行注释。阅读模块10链接注释模块20。注释模块20能够建立状态机，状态机用于区分阅读状态，注释状态，注释状态按不同的注释，再区分状态，建立链表存储每一步状态的改变，最后写入PDF流。注释过程中，注释模块20是通过分析PDF中的文本对象(text object)来提取文字坐标，矩形范围，从而对文字进行高亮，下划线，删除线，波浪线等注释。此外，注释模块20通过添加PDF规范中annotation的ink对象做随意涂鸦，通过改变宽度，颜色等属性实现不同的笔触。
步骤三：读者通过录制模块30录制声音，录制模块30连接阅读模块10，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释文件，优选注释文件格式为FDF文件。具体来说，录制模块30先将带有录制标记的注释删除，保持导出的注释都为该次录音的注释；录制模块30生成唯一标识UUID，以这个标识命名声音文件和注释文件FDF，录音时链接注释模块20，添加注释时，记录该时刻的时间戳，将时间戳和UUID合并写入注释字段；录音完成后，本地按文件id、用户id、页数分目录存储，存储2个文件，即分别存储录制的声音文件和导出的注释文件，导出的注释以XML格式存储。上述录制模块30中，一个声音对应一个FDF注释文件，当录制时，插入该声音的UUID到注释中，播放时，仅当时间轴到达该时间戳时，才会渲染该注释。这种录制可以为多端录制，即对页面任意位置的讲解内容进行录制，保存为一个播放器，点击屏幕上播放器图标时即可播放。
步骤四：读者通过播放模块40播放录制的声音，播放模块40导入FDF文件到数字图书，同时根据声音的时间轴，同步播放注释内容。具体来说，播放模块40，根据录制模块30的本地存储结构，判断该页是否有能播放的内容；这种判断会有几种情况，当判断该页只有一个能播放的内容时，直接进行播放，当判断该页有多个能播放的内容时，让用户选择播放。需要注意的是，录制和播放前，都会删除该页上FDF导入的注释，录制完成后导出FDF，播放开始前导入FDF。播放前先将带有录制标记的注释删除，保证每次播放只有该次播放的内容；播放模块40建立注释数组，播放时每隔设定时间(这一设定时间可以由设计人员根据实际情况进行选择，比如优选为100ms)进行一次数组遍历，检查每个注释的时间戳，当超过播放时间时，则把该注释加入渲染线程，当播放完成后，把带有时间戳的注释从渲染注释数组中移除。
从上述可以看出，本发明能够实现对数字图书交互性的进一步实现，读者可以在数字图书上进行注释和录音，并播放录音和注释，实现人机的双向交互。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (3)

1.一种数字图书交互系统的实现方法，其特征在于，所述数字图书交互系统包括：阅读模块，用于打开PDF格式的数字图书并展示图书页面；注释模块，连接阅读模块，用于在图书页面上进行注释；录制模块，连接阅读模块，用于录制声音，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释文件；播放模块，用于播放录制的声音，导入注释文件到数字图书，同时根据声音的时间轴，同步播放注释内容；
所述实现方法包括如下步骤：
步骤一：阅读模块读入PDF格式的数字图书并展示图书页面，其中阅读模块包括内存管理对象，内存管理对象管理文档和页面的内存开销，当内存不够用时触发OOM，销毁部分临时对象和缓存；阅读模块包括渲染线程池和内存缓存，渲染PDF使用多线程，控制线程的优先级；渲染线程池将每个页面的渲染过程按优先级放入线程池，当前页面优先级最高，预加载页面优先级较低，结果放入内存缓存；在系统空余时，提前预测用户下一步行为，事先渲染，并且加入缓存；
步骤二：读者通过注释模块在图书页面上进行注释，其中注释模块能够建立状态机，状态机用于区分阅读状态，注释状态，注释状态按不同的注释，再区分状态，建立链表存储每一步状态的改变，最后写入PDF流；注释过程中，注释模块通过分析PDF中的文本对象来提取文字坐标和矩形范围，从而对文字进行注释；
步骤三：读者通过录制模块录制声音，录制模块连接阅读模块，以声音的时间轴来录制注释，将时间戳插入注释的元数据中，导出注释文件，其中录制模块先将带有录制标记的注释删除，保持导出的注释都为该次录音的注释；录制模块生成唯一标识UUID，以这个标识命名声音文件和注释文件，录音时链接注释模块，添加注释时，记录该时刻的时间戳，将时间戳和UUID合并写入注释字段；录音完成后，本地按文件id、用户id、页数分目录存储，存储录制的声音和导出的注释，将导出的注释进行存储；在录制模块中，一个声音对应一个FDF注释文件，当录制时，插入该声音的UUID到注释中，播放时，仅当时间轴到达该时间戳时，才会渲染该注释；录制模块对页面任意位置的讲解内容进行录制，保存为一个播放器，点击屏幕上播放器图标进行播放；
步骤四：读者通过播放模块播放录制的声音，播放模块导入注释文件到数字图书，同时根据声音的时间轴，同步播放注释内容，其中播放模块，根据录制模块的本地存储结构，判断该页是否有能播放的内容；当判断该页只有一个能播放的内容时，直接进行播放，当判断该页有多个能播放的内容时，让用户选择播放；播放前先将带有录制标记的注释删除，保证每次播放只有该次播放的内容；播放模块建立注释数组，播放时每隔设定时间进行一次数组遍历，检查每个注释的时间戳，当超过播放时间时，则把该注释加入渲染线程，当播放完成后，把带有时间戳的注释从渲染注释数组中移除。
2.根据权利要求1所述的一种数字图书交互系统的实现方法，其特征在于，所述阅读模块用于在屏幕上以单页或连续页模式来展示数字图书。
3.根据权利要求1所述的一种数字图书交互系统的实现方法，其特征在于，所述数字图书交互系统用于移动终端。
CN201611169331.3A 2016-11-25 2016-12-16 一种数字图书交互系统的实现方法 Active CN106527877B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611052997 2016-11-25
CN2016110529970 2016-11-25

Publications (2)

Publication Number Publication Date
CN106527877A CN106527877A (zh) 2017-03-22
CN106527877B true CN106527877B (zh) 2018-02-09

Family

ID=58340118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169331.3A Active CN106527877B (zh) 2016-11-25 2016-12-16 一种数字图书交互系统的实现方法

Country Status (1)

Country Link
CN (1) CN106527877B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385801A (zh) * 2001-05-11 2002-12-18 翁仁滉 导读数字信息的系统与方法
CN102074130A (zh) * 2009-11-20 2011-05-25 元太科技工业股份有限公司 录音笔记电子书装置及其控制方法
CN105653511A (zh) * 2015-12-31 2016-06-08 田雪松 文件批注信息生成方法
CN106021216A (zh) * 2016-05-24 2016-10-12 杭州圆本科技有限公司 电子批注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385801A (zh) * 2001-05-11 2002-12-18 翁仁滉 导读数字信息的系统与方法
CN102074130A (zh) * 2009-11-20 2011-05-25 元太科技工业股份有限公司 录音笔记电子书装置及其控制方法
CN105653511A (zh) * 2015-12-31 2016-06-08 田雪松 文件批注信息生成方法
CN106021216A (zh) * 2016-05-24 2016-10-12 杭州圆本科技有限公司 电子批注方法

Also Published As

Publication number Publication date
CN106527877A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
US11023666B2 (en) Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area
CN100403265C (zh) 用于集中式复制/粘贴功能的方法和系统
US20190361969A1 (en) Method and system for annotation and connection of electronic documents
KR20150087405A (ko) E-리더에 콘텐츠의 노트 기반 주석을 제공하는 방법
CN101533317A (zh) 具备手写识别功能的快速记录装置和方法
CN101882384A (zh) 一种在电子书上进行笔记管理的方法及电子书设备
CN102799639B (zh) 基于移动终端的文件读取方法和系统
RU2004131026A (ru) Доступ к данным до входа в систему
CN106598412B (zh) 一种数字图书交互重排系统的实现方法
CN101017614A (zh) Usb移动学习笔
CN101482885B (zh) 信息推送方法、信息推送装置及终端
CN106599219B (zh) 一种数字图书交互分享系统的实现方法
CN101025743A (zh) 一种电子文件及其编辑制作和读取呈现的方法
CN102254023A (zh) 一种网页页面编辑的方法及装置
Whittaker Producing for Web 2.0: a student guide
CN106527877B (zh) 一种数字图书交互系统的实现方法
TW201222280A (en) Multimedia bookmark of annotation method and system thereof
CN111079375B (zh) 一种信息整理的方法、装置、计算机存储介质及终端
JP2014171053A (ja) 電子文書コンテナデータファイル、電子文書コンテナデータファイル生成装置、電子文書コンテナデータファイル生成プログラム、サーバ装置および電子文書コンテナデータファイル生成方法
Van Dijck Writing the self: Of diaries and weblogs
CN103514763B (zh) 语音剪辑播放笔
CN103631774B (zh) 数据存储方法和系统
CN102096663A (zh) 一种数据表编辑方法及数据库服务器
CN101233494A (zh) 插件模块运行方法、浏览器运行方法、邮箱运行方法、程序、终端装置以及记录有页面数据的计算机可读取的记录媒体
JP2007272815A (ja) コンテンツサーバ装置、ジャンル設定方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant