CN110688003A - 基于增强现实的电子绘本系统、显示方法、装置和介质 - Google Patents

Abstract

本发明公开了一种基于增强现实的电子绘本系统、显示方法、装置和介质，所述电子绘本系统包括界面显示模块、拍摄模块、模型生成模块、模型展示模块和互动模块。所述电子绘本系统可以生成增强现实的3D动画，具有逼真的视觉体验；通过可相互跳转的不同层级的交互界面，实现简约高效的操作方式，使得用户可以通过观察各交互界面所显示的内容，获知当前的操作深度，从而方便地进行3D动画的选择播放等操作；通过采集互动手势对3D动画模型进行旋转、放缩、锁定和解锁等调整，使得用户可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D动画模型进行操作，提高交互体验。本发明广泛应用于多媒体技术领域。

Description

基于增强现实的电子绘本系统、显示方法、装置和介质

技术领域

本发明涉及多媒体技术领域，尤其是一种基于增强现实的电子绘本系统、显示方法、装置和介质。

背景技术

绘本是儿童及其他群体喜爱的读物之一。传统的绘本以纸质书籍为媒介，通过印刷的图片和文字等载体呈现内容，其表现形式比较单调，难以保持对儿童的吸引力。随着电子技术的发展，出现了基于增强现实的电子绘本，其以增强现实的形式呈现绘本中的故事内容，具有表现形式丰富、内容易动态更新等优点，更容易吸引儿童的注意力，取得比纸质绘本更好的阅读效果。

现有的电子绘本技术包括：

申请号为CN 2016105448583的专利文件所公开的一种基于增强现实的儿童涂色系统及其显示方法，其技术方案为：通过系统的摄像机获取真实环境，并调用Vuforia AR单元识别非涂色区域并加载相应的多媒体资源，同时调用Vuforia AR单元识别真实环境中的涂色区域，根据涂色信息在其对应的3D模型上进行贴图和叠加。最后，在系统的显示器上显示真实环境、多媒体资源、以及3D模型。该系统还允许用户通过交互模块控制3D模型、动画、音频、特效等的播放、暂停和停止。

申请号为CN2016101114367的专利文件所公开的一种基于文字识别的移动增强现实阅读方法及其阅读系统，其技术方案为：由移动设备获取包含文字内容的原始图像，并上传至服务器。服务器对文字定位、提取、并获得关键字，根据各个关键字分别调出与其相关的多媒体资源，然后发送回移动设备。移动终端将接收到的每组多媒体资源都精准的叠加在原始图像上，供用户点击选择。用户可通过调整移动终端与纸质书本的相对位置、相对角度等，改变多媒体资源在屏幕上的显示大小、角度等。

申请号为CN 2017114796231的专利文件所公开的一种基于增强现实的电子书呈现方法、电子设备及存储介质，其允许用户在电子书中开启文本转语音TTS朗读功能，系统收到该功能指令后，获取与当前电子书对应的AR动画模型，启动TTS朗读功能并同步播放AR动画。其中，AR动画模型又分为第一AR动画与第二AR动画，分别对应于：用户开启摄像头捕获真实场景所渲染而成的AR动画，以及系统根据电子书内容预制的AR动画。用户可通过调整移动终端的倾斜角度、倾斜方向和/或焦距变化，控制AR动画旋转相应的角度和/或缩放相应的大小。

以上述对比文件为代表的现有增强现实电子绘本，都利用了增强现实技术来呈现绘本的多媒体内容，但其主要缺点在于：1)电子绘本的交互界面层级较单一，不利于对其所呈现的内容进行有效的播放控制。2)用户与电子绘本所呈现内容之间的互动不多，且用户的部分交互操作不符合自然的触屏交互习惯。以上缺点使得增强现实的信息表现效果受到限制，电子绘本难以向用户提供良好的阅读体验。

术语解释：

增强现实(Augmented Reality，AR)：利用电脑等科学技术，对于在真实世界中难以体验的信息进行虚拟仿真，将其叠加在真实世界中，使得真实环境和虚拟物体能够在同一个画面以及空间中同时存在。以上过程能够被人类感官所感知，从而使人类获得超越现实的感官体验。目前用于实现AR的主流软件包括Unity 3D等。

绘本(Picture Book)：文字与图画相辅相成的图画故事书，表达特定情感和主题的读本。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于增强现实的电子绘本系统、显示方法、装置和介质。

一方面，本发明实施例包括一种基于增强现实的电子绘本系统，包括：

界面显示模块，用于提供多个分别具有一定层级的交互界面，并对各所述交互界面择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

拍摄模块，用于对纸质绘本进行拍摄；

模型生成模块，用于运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

模型展示模块，用于将所述3D动画模型加载到一个所述交互界面中进行展示；

互动模块，用于采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

进一步地，所述界面显示模块包括：

第一界面显示单元，用于显示第一层级交互界面；所述第一层级交互界面中包括多个AR故事的目录信息；所述第一层级交互界面中所显示的跳转按钮为多个分别对应不同AR故事的图标；各所述图标分别用于触发对相应第二层级交互界面的跳转显示；

第二界面显示单元，用于显示第二层级交互界面；所述第二层级交互界面中包括当前AR故事的封面信息；所述第二层级交互界面中所显示的跳转按钮为开始按钮和第一返回按钮；所述开始按钮用于触发对相应第三层级交互界面的跳转显示；所述第一返回按钮用于触发对所述第一层级交互界面的跳转显示；

第三界面显示单元，用于显示第三层级交互界面；所述第三层级交互界面用于供所述模型展示模块进行对所述3D动画模型的加载显示；所述第三层级交互界面中所显示的跳转按钮为播放按钮和第二返回按钮；所述播放按钮用于触发对所述3D动画模型所对应动态动作数据的播放，所述第二返回按钮用于触发对所述第二层级交互界面的跳转显示。

进一步地，所述模型展示模块还获取拍摄模块所拍摄的画面，将所述画面作为所述3D动画模型的背景加载到所述第三层级交互界面进行显示。

进一步地，所述互动模块包括：

模型旋转单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定所述移动轨迹对应的角位移和旋转轴，根据所述角位移和旋转轴对所述3D动画模型进行旋转变换；

模型缩放单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定两个所述触碰点之间距离的变化趋势，根据所述变化趋势对所述3D动画模型进行相同比例的同步缩放变换；

模型锁定单元，用于从所述互动手势中识别出模型锁定命令，在响应所述模型锁定命令的情况下，将所述第三层级交互界面当前所加载的3D动画模型进行锁定，使得所述3D动画模型保持在所述拍摄模块最后拍摄所得的纸质绘本所处页面对应的状态。

进一步地，所述互动模块还包括：

模型解锁单元，用于从所述互动手势中识别出模型解锁命令，在响应所述模型解锁命令的情况下，对所述第三层级交互界面当前所加载的3D动画模型进行解锁，使得所述3D动画模型切换至所述拍摄模块当前拍摄所得的纸质绘本所处页面对应的状态。

进一步地，所述电子绘本系统还包括：

视觉素材采集模块，用于运行3DS MAX程序，从而根据所述拍摄模块拍摄所得的纸质绘本中各页面的内容，生成并预存静态形状数据和动态动作数据；

音效素材采集模块，用于录制纸质绘本各页面所对应的故事朗读音频。

进一步地，所述电子绘本系统还包括：

音效播放模块，用于在所述3D动画模型的被展示时，同步播放所述故事朗读音频。

另一方面，本发明实施例还包括一种基于增强现实的电子绘本显示方法，包括以下步骤：

从多个分别具有一定层级的交互界面中择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

对纸质绘本进行拍摄；

运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

将所述3D动画模型加载到一个所述交互界面中进行展示；

采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

另一方面，本发明实施例还包括一种基于增强现实的电子绘本显示装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行所述电子绘本显示方法。

另一方面，本发明实施例还包括一种介质，其具有存储功能，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述电子绘本显示方法。

本发明的有益效果是：实施例中的电子绘本系统通过运行Easy AR程序生成增强现实的3D动画，具有逼真的视觉体验；通过可相互跳转的不同层级的交互界面，实现简约高效的操作方式，使得用户可以通过观察各交互界面所显示的内容，获知当前的操作深度，从而方便地进行3D动画的选择播放或者切换播放等操作，提高电子绘本系统的交互体验；通过采集互动手势对3D动画模型进行旋转、放缩、锁定和解锁等调整，使得用户可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D动画模型进行操作，提高交互体验；通过对3D动画模型进行锁定和解锁操作，方便用户手持终端进行观看，可以保持用户的自然阅读姿势习惯，使得用户的观看体验更舒适。

附图说明

图1为本发明实施例中所述电子绘本系统各层级交互界面的内容示意图；

图2为本发明实施例中所述电子绘本系统的工作原理示意图；

图3为本发明实施例中所述电子绘本系统APP的开发流程示意图。

具体实施方式

本实施例中，所述电子绘本系统包括：

界面显示模块，用于提供多个分别具有一定层级的交互界面，并对各所述交互界面择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

拍摄模块，用于对纸质绘本进行拍摄；

模型生成模块，用于运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

模型展示模块，用于将所述3D动画模型加载到一个所述交互界面中进行展示；

互动模块，用于采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

本实施例中所述的电子绘本可以通过手机和平板电脑等终端来实现。此时，所述界面显示模块、拍摄模块、模型生成模块、模型展示模块和互动模块等模块是终端上具有相应功能的硬件部件、软件程序或硬件和软件的组合。这使得各模块在硬件和软件上不一定是完全独立或可区分的，不同的模块可能共用相同的硬件，或者调用相同的软件程序。例如，界面显示模块需要使用到终端上的CPU和触摸显示屏等硬件部件，而模型展示模块也需要使用到终端上的CPU和触摸显示屏等硬件部件。界面显示模块在实现跳转按钮的触发功能时，需要使用触摸显示屏的触摸检测功能，以及调用触摸检测程序，而互动模块在实现互动手势采集功能时，也需要使用触摸显示屏的触摸检测功能，以及调用触摸检测程序。由于终端具有中断机制和足够的运算能力，本实施例电子绘本系统中的各模块可以同时实现各自的功能。

所述电子绘本系统的软件部分可以通过Unity 3D等工具开发成为APP，通过在终端安装APP并运行APP的方式来执行电子绘本系统中各模块的功能。因此，本实施例中可以不对电子绘本系统、用于实现电子绘本系统的APP、运行电子绘本系统APP的终端进行区分。

所述界面显示模块用于显示不同的交互界面，这些交互界面分别对应不同的层级，用于指示用户的操作深度。例如，当用户打开电子绘本系统APP时，显示带有欢迎标语的交互界面，并且交互界面上带有“退出”跳转按钮和“下一步”跳转按钮，如果用户点击“退出”跳转按钮，则终端终结电子绘本系统APP进程；如果用户点击“下一步”跳转按钮，则跳转到下一层级的交互界面，使得用户可以根据下一层级的交互界面所显示的提示内容进行进一步操作。

所述拍摄模块由终端的CPU调用接口程序控制终端上的摄像头实现，其用于供用户对纸质绘本进行拍摄，并将拍摄所得的图像传送到终端的CPU，以供CPU所执行的其他进程调用，实现电子绘本其他模块的功能。在使用拍摄模块时，用户可以参照现有的电子绘本使用方式，即事先准备好一个纸质绘本，并将纸质绘本翻开到某个页面，该页面印刷有特定的文字和图画内容。不同于传统的通过肉眼来对纸质绘本进行浏览的阅读方式，用户可以手持终端，使用拍摄模块对纸质绘本中的页面进行拍摄，使得终端上显示与纸质绘本所呈现的文字和图画相应的视觉效果。

所述模型生成模块由终端的CPU及其所使用的内存和所运行的程序组成。所述模型生成模块运行被集成在APP中的Easy AR程序，或者调用终端上所安装的独立的Easy AR脚本来对拍摄模块对纸质绘本拍摄所得的图像进行处理，识别出作为拍摄对象的纸质绘本当前所翻开的页面，然后调用终端上所存储的静态形状数据和动态动作数据，进一步生成3D动画模型。

所述模型生成模块上所运行的Easy AR程序由中国视辰信息科技(上海)有限公司开发，其与Unity 3D软件兼容。通过免费授权或收费授权等方式，可以获取到该公司提供的SDK，从而将Easy AR程序安装到终端上，或者集成在电子绘本系统APP上。

上述模型生成模块是在电子绘本系统APP的后台运行的，即模型生成模块的运行过程不会导致终端显示相应的视觉效果。在通过模型生成模块生成3D动画模型之后，使用模型展示模块执行渲染和填充着色等处理流程，从而将3D动画模型进行可视化，最终在某个层级的交互界面中显示出所述3D动画模型对应的视觉效果。用于显示所述3D动画模型的交互界面的层级可以根据实际需要设定，例如可以使用位于第二层级的交互界面来显示所述3D动画模型，该交互界面所处层级仅次于电子绘本系统APP开机画面所处的第一层级，即在打开电子绘本系统APP并显示开机画面后，即显示3D动画模型，这样可以避免要求用户进行复杂的操作。

所述电子绘本系统APP在后台运行互动模块，其调用终端上设置的触摸显示屏，对触摸显示屏的输出信号进行连续不断的采集和判断，从而实现对互动手势的检测和采集。所述互动手势是指用户使用手指或者手掌等部位在终端的触摸显示屏上所做出的特定触摸动作或其组合，包括进行一定频率的双击、画出特定的轨迹等。在检测到特定的互动手势后，触发对模型展示模块的工作参数调整，使得模型展示模块所展示的3D动画模型的视觉效果发生改变。所述视觉效果的改变可以发生在其色彩、尺寸以及分辨率等视觉参数，使得视觉效果的改变可以作为电子绘本系统对用户所做出的互动手势的响应。

进一步作为优选的实施方式，所述界面显示模块包括：

第一界面显示单元，用于显示第一层级交互界面；所述第一层级交互界面中包括多个AR故事的目录信息；所述第一层级交互界面中所显示的跳转按钮为多个分别对应不同AR故事的图标；各所述图标分别用于触发对相应第二层级交互界面的跳转显示；

第二界面显示单元，用于显示第二层级交互界面；所述第二层级交互界面中包括当前AR故事的封面信息；所述第二层级交互界面中所显示的跳转按钮为开始按钮和第一返回按钮；所述开始按钮用于触发对相应第三层级交互界面的跳转显示；所述第一返回按钮用于触发对所述第一层级交互界面的跳转显示；

第三界面显示单元，用于显示第三层级交互界面；所述第三层级交互界面用于供所述模型展示模块进行对所述3D动画模型的加载显示；所述第三层级交互界面中所显示的跳转按钮为播放按钮和第二返回按钮；所述播放按钮用于触发对所述3D动画模型所对应动态动作数据的播放，所述第二返回按钮用于触发对所述第二层级交互界面的跳转显示。

本实施例中，所述界面显示模块由第一界面显示单元、第二界面显示单元和第三界面显示单元组成，这三个单元分别是具有相应功能的程序组合。三个界面显示单元分别用于显示不同层级的交互界面，它们可以被设定为在同一时间只有一个界面显示单元工作，而其他两个界面显示单元则运行在后台。

参照图1，所述第一界面显示单元所显示的第一层级交互界面具有最浅的操作深度，可以在运行电子绘本系统APP之后即显示第一层级交互界面。在所述第一层级交互界面上所显示的跳转按钮具体是指多个不同的缩略图标，它们分别指向各AR故事，每个AR故事都对应一本纸质绘本，用户可以根据准备好的纸质绘本，选择相应的缩略图标进行点击。多个缩略图标形成了AR故事的目录信息。在检测到其中一个缩略图标被点击后，第一界面显示单元隐藏到后台运行，由第二界面显示单元切换到前端运行，使得终端显示屏上不再显示第一层级交互界面，切换到显示第二层级交互界面。

所述第二层级交互界面可以显示用户所选择的AR故事的出版信息、剧情梗概和观看建议等信息。所述第二层级交互界面上还显示开始按钮和第一返回按钮等跳转按钮。当用户选择点击第一返回按钮，第二界面显示单元隐藏到后台运行，由第一界面显示单元切换到前端运行，使得终端显示屏上不再显示第二层级交互界面，切换到显示第一层级交互界面；当用户选择点击开始按钮，第二界面显示单元隐藏到后台运行，由第三界面显示单元切换到前端运行，使得终端显示屏上不再显示第二层级交互界面，切换到显示第三层级交互界面。

所述第三层级交互界面用于显示所述3D动画模型，即所述模型展示模块将所述3D动画模型加载到所述第三层级交互界面上播放出相应的3D动画。所述第三层级交互界面上还显示播放按钮和第二返回按钮等跳转按钮。当用户选择点击第二返回按钮，第三界面显示单元隐藏到后台运行，由第二界面显示单元切换到前端运行，使得终端显示屏上不再显示第三层级交互界面及其所播放的3D动画，切换到显示第二层级交互界面；当用户选择点击播放按钮，所述模型显示模块将3D动画模型加载到第三层级交互界面上，实现对3D动画的播放。

通过设置可相互跳转的不同层级的交互界面，本实施例中的电子绘本系统可以提供简约高效的操作方式，用户在操作过程中，可以通过观察各交互界面所显示的内容，获知当前的操作深度，从而方便地进行选择所要观看的3D动画或者由当前播放的3D动画切换至另一要观看的3D动画等操作，提高电子绘本系统的交互体验。

进一步作为优选的实施方式，所述模型展示模块还获取拍摄模块所拍摄的画面，将所述画面作为所述3D动画模型的背景加载到所述第三层级交互界面进行显示。

本实施例中，所述模型展示模块除了将生成的3D动画模型加载到第三层级交互界面上进行显示，还将拍摄模块实时拍摄到的画面加载到第三层级交互界面上，作为正在播放的3D动画的背景同时在第三层级交互界面上显示。由于所播放的3D动画是根据拍摄模块所拍摄的纸质绘本页面内容生成的，将拍摄模块所拍摄到的纸质绘本页面内容实时叠加到第三层级交互界面上进行显示，可以形成纸质绘本页面内容与其相应的3D动画进行动态对比的效果，提高用户与3D动画的交互体验。

进一步作为优选的实施方式，所述互动模块包括：

模型旋转单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定所述移动轨迹对应的角位移和旋转轴，根据所述角位移和旋转轴对所述3D动画模型进行旋转变换；

模型缩放单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定两个所述触碰点之间距离的变化趋势，根据所述变化趋势对所述3D动画模型进行相同比例的同步缩放变换；

模型锁定单元，用于从所述互动手势中识别出模型锁定命令，在响应所述模型锁定命令的情况下，将所述第三层级交互界面当前所加载的3D动画模型进行锁定，使得所述3D动画模型保持在所述拍摄模块最后拍摄所得的纸质绘本所处页面对应的状态。

本实施例中，所述互动模块由模型旋转单元、模型缩放单元和模型锁定单元组成，这三个单元分别是具有相应功能的程序组合，使得互动模块可以根据所采集到的不同的互动手势，分别将第三层级交互界面上所显示的3D动画进行旋转、缩放和锁定等调整。

所述旋转是指将正在播放的3D动画绕着一根旋转轴以一定的角位移进行旋转，其实现方式为：模型旋转单元检测用户在做出互动手势时，手指或手掌等部位在触摸显示屏上形成的触碰点，并追踪该触碰点的移动轨迹，将其移动轨迹圆弧化，计算该圆弧的角位移以及所围绕的旋转轴，根据所确定的角位移和旋转轴，对3D动画模型进行旋转变换，然后显示经过变换后的3D动画模型。

所述缩放是指将正在播放的3D动画以一定的比例进行尺寸的放大或缩小，其实现方式为：模型缩放单元检测用户在做出互动手势时，手指或手掌等部位在触摸显示屏上形成的触碰点，并追踪至少两个触碰点的移动轨迹，对两个触碰点之间的连线的长度的变化趋势进行检测，即采集两个触碰点之间的连线的长度，计算其与所述连线的初始长度之间的比例，即得到缩放比例，按照该缩放比例对所述3D动画模型进行同步缩放变换，然后显示经过变换后的3D动画模型。

所述锁定是指将正在播放的3D动画的内容进行固定，不再因拍摄模块拍摄到用户将纸质绘本翻到了新的页面而发生变化。用户可以连续双击等特定互动手势作为模型锁定命令，使得模型锁定单元对3D动画模型进行锁定。在经过所述锁定之后，3D动画模型的内容与检测模型锁定命令之前拍摄模块最后拍摄所得的纸质绘本所展示的页面的内容相对应。

上述旋转、缩放和锁定都可用于用户与电子绘本之间的交流互动，使得用户除了通过观看3D动画模型来单向获取信息，可以通过交互手势来对3D动画的显示效果进行调整，其中旋转和缩放可以使得3D动画适应终端屏幕的大小，锁定可以暂停模型生成模块和模型展示模块根据拍摄模块拍摄得到的纸质绘本页面对3D动画进行实时更新的过程，使得第三层级交互界面上所显示的3D动画的内容可以得到保持，此时无论用户对纸质绘本进行翻页或移动终端使得纸质绘本离开拍摄模块的视野范围，第三层级交互界面上都会按照锁定前的内容继续播放3D动画，方便用户手持终端进行操作，用户无需改变其阅读纸质书籍时所形成的阅读姿势习惯，便可方便使用电子绘本系统。

进一步作为优选的实施方式，所述互动模块还包括：

模型解锁单元，用于从所述互动手势中识别出模型解锁命令，在响应所述模型解锁命令的情况下，对所述第三层级交互界面当前所加载的3D动画模型进行解锁，使得所述3D动画模型切换至所述拍摄模块当前拍摄所得的纸质绘本所处页面对应的状态。

所述模型解锁单元用于执行解锁操作，所述解锁是锁定的逆操作。经过解锁后，所述模型生成模块和模型展示模块的功能得到恢复，使得它们根据拍摄模块拍摄得到的纸质绘本页面对3D动画进行实时更新。经过解锁后，用户对纸质绘本进行翻页等操作时，如果纸质绘本处于拍摄模块的视野范围内，则翻页形成的纸质绘本页面内容变换可以形成3D动画的内容变换，从而实现对3D动画内容的动态更新。

进一步作为优选的实施方式，所述电子绘本系统还包括：

视觉素材采集模块，用于运行3DS MAX程序，从而根据所述拍摄模块拍摄所得的纸质绘本中各页面的内容，生成并预存静态形状数据和动态动作数据；

音效素材采集模块，用于录制纸质绘本各页面所对应的故事朗读音频；

音效播放模块，用于在所述3D动画模型的被展示时，同步播放所述故事朗读音频。

所述视觉素材采集模块用于生成并预存实现3D动画模型所需的静态形状数据和动态动作数据，所述音效素材采集模块用于录制与3D动画模型同步播放的故事朗读音频。所述界面显示模块还可以包括第四界面显示单元，所述第四界面显示单元用于显示第四层级交互界面，并使用所述第四层级交互界面来引导用户启动所述视觉素材采集模块和音效素材采集模块。

将所述第一层级交互界面配置为可以直接跳转到第四层级交互界面。电子绘本系统开发者进入第四层级交互界面后可以同时运行视觉素材采集模块和音效素材采集模块进行对静态形状数据、动态动作数据和故事朗读音频的预先采集。具体采集过程可以是：电子绘本系统开发者将纸质绘本翻开至一个页面，使用终端调用拍摄模块对纸质绘本的页面内容进行拍摄，使得视觉素材采集模块可以根据拍摄所得的画面生成静态形状数据和动态动作数据，然后将静态形状数据和动态动作数据存储到终端的存储空间中。电子绘本系统开发者安排播音员根据纸质绘本的内容进行朗读，使得音效素材采集模块可以对播音乐的发音录制得到故事朗读音频。最后，对故事朗读音频、静态形状数据和动态动作数据进行同步处理，使得音效播放模块播放故事朗读音频时，其声音效果可以与模型展示模块根据静态形状数据和动态动作数据展示的3D动画同步。

除了电子绘本系统开发者，音效素材采集模块和音效播放模块也可以开放给用户使用，使得用户可以根据纸质绘本自行拍摄和配音，从而获取静态形状数据、动态动作数据以及故事朗读音频。

图2为本实施例中电子绘本系统的一个较完整的工作原理图，其中虚线部分表示由电子绘本系统开发者等人员执行的步骤，或者表示在实际使用中并非必须执行的步骤。

图3为本实施例中电子绘本系统APP的一种开发流程图。参照图3，可以首先进行视觉素材和音效素材的采集，再分别使用Photoshop、3DS MAX和录音程序等软件制作得到缩略图标、故事朗读音频、静态形状数据和动态动作数据等数据，使得开发后的电子绘本系统APP可以调用这些数据。下一步，将Easy AR导入或集成到电子绘本系统APP中，使得电子绘本系统APP可以调用Easy AR生成3D动画模型。最后，发布开发完成的电子绘本系统APP供下载和安装使用。

综上所述，本实施例中的电子绘本系统具有以下优点：

通过可相互跳转的不同层级的交互界面，实现简约高效的操作方式，使得用户可以通过观察各交互界面所显示的内容，获知当前的操作深度，从而方便地进行3D动画的选择播放或者切换播放等操作，提高电子绘本系统的交互体验；

通过采集互动手势对3D动画模型进行旋转、放缩、锁定和解锁等调整，使得用户可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D动画模型进行操作，提高交互体验；通过对3D动画模型进行锁定和解锁操作，方便用户手持终端进行观看，可以保持用户的自然阅读姿势习惯，使得用户的观看体验更舒适。

本实施例还包括一种基于增强现实的电子绘本显示方法，其具体为使用本实施例中所述的电子绘本系统执行以下步骤：

S1.从多个分别具有一定层级的交互界面中择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

S2.对纸质绘本进行拍摄；

S3.运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

S4.将所述3D动画模型加载到一个所述交互界面中进行展示；

S5采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

本实施例还包括一种基于增强现实的电子绘本显示装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本实施例所述电子绘本显示方法。

本实施例还包括一种介质，其具有存储功能，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本实施例所述电子绘本显示方法。

当本实施例中所述电子绘本系统是使用手机或平板电脑等终端运行相应的程序执行时，所述电子绘本显示装置是指手机或平板电脑等终端，所述介质是指手机或平板电脑等终端中的存储模块。这些方法、装置以及介质的功能被实现时，可以实现与本实施例电子绘本系统相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读介质在计算机程序中实现，其中如此配置的介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入介质、RAM、ROM等，使得其可由可编程计算机读取，当介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于增强现实的电子绘本系统，其特征在于，包括：

界面显示模块，用于提供多个分别具有一定层级的交互界面，并对各所述交互界面择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

拍摄模块，用于对纸质绘本进行拍摄；

模型生成模块，用于运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

模型展示模块，用于将所述3D动画模型加载到一个所述交互界面中进行展示；

互动模块，用于采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

2.根据权利要求1所述的电子绘本系统，其特征在于，所述界面显示模块包括：

第一界面显示单元，用于显示第一层级交互界面；所述第一层级交互界面中包括多个AR故事的目录信息；所述第一层级交互界面中所显示的跳转按钮为多个分别对应不同AR故事的图标；各所述图标分别用于触发对相应第二层级交互界面的跳转显示；

第二界面显示单元，用于显示第二层级交互界面；所述第二层级交互界面中包括当前AR故事的封面信息；所述第二层级交互界面中所显示的跳转按钮为开始按钮和第一返回按钮；所述开始按钮用于触发对相应第三层级交互界面的跳转显示；所述第一返回按钮用于触发对所述第一层级交互界面的跳转显示；

第三界面显示单元，用于显示第三层级交互界面；所述第三层级交互界面用于供所述模型展示模块进行对所述3D动画模型的加载显示；所述第三层级交互界面中所显示的跳转按钮为播放按钮和第二返回按钮；所述播放按钮用于触发对所述3D动画模型所对应动态动作数据的播放，所述第二返回按钮用于触发对所述第二层级交互界面的跳转显示。

3.根据权利要求2所述的电子绘本系统，其特征在于，所述模型展示模块还获取拍摄模块所拍摄的画面，将所述画面作为所述3D动画模型的背景加载到所述第三层级交互界面进行显示。

4.根据权利要求1-3任一项所述的电子绘本系统，其特征在于，所述互动模块包括：

模型旋转单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定所述移动轨迹对应的角位移和旋转轴，根据所述角位移和旋转轴对所述3D动画模型进行旋转变换；

模型缩放单元，用于检测所述互动手势形成的触碰点，对检测到的触碰点的移动轨迹进行追踪，确定两个所述触碰点之间距离的变化趋势，根据所述变化趋势对所述3D动画模型进行相同比例的同步缩放变换；

模型锁定单元，用于从所述互动手势中识别出模型锁定命令，在响应所述模型锁定命令的情况下，将所述第三层级交互界面当前所加载的3D动画模型进行锁定，使得所述3D动画模型保持在所述拍摄模块最后拍摄所得的纸质绘本所处页面对应的状态。

5.根据权利要求4所述的电子绘本系统，其特征在于，所述互动模块还包括：

模型解锁单元，用于从所述互动手势中识别出模型解锁命令，在响应所述模型解锁命令的情况下，对所述第三层级交互界面当前所加载的3D动画模型进行解锁，使得所述3D动画模型切换至所述拍摄模块当前拍摄所得的纸质绘本所处页面对应的状态。

6.根据权利要求1-3任一项所述的电子绘本系统，其特征在于，还包括：

视觉素材采集模块，用于运行3DS MAX程序，从而根据所述拍摄模块拍摄所得的纸质绘本中各页面的内容，生成并预存静态形状数据和动态动作数据；

音效素材采集模块，用于录制纸质绘本各页面所对应的故事朗读音频。

7.根据权利要求6所述的电子绘本系统，其特征在于，还包括：

音效播放模块，用于在所述3D动画模型的被展示时，同步播放所述故事朗读音频。

8.一种基于增强现实的电子绘本显示方法，其特征在于，包括以下步骤：

从多个分别具有一定层级的交互界面中择一显示；各所述交互界面中分别显示跳转按钮，所述跳转按钮用于触发对交互界面的跳转显示；

对纸质绘本进行拍摄；

运行Easy AR程序，从而识别所述拍摄模块拍摄所得的纸质绘本所处页面，并根据所述页面的内容调用预存的静态形状数据和动态动作数据，根据所述静态形状数据和动态动作数据生成3D动画模型；

将所述3D动画模型加载到一个所述交互界面中进行展示；

采集互动手势，根据所述互动手势，对所述交互界面中展示的所述3D动画模型进行调整。

9.一种基于增强现实的电子绘本显示装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求8所述方法。

10.一种介质，其具有存储功能，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求8所述方法。

Images