CN104166851B - 一种纸质教材的多媒体互动式学习系统及方法 - Google Patents

Abstract

本发明涉及教育学习领域，目的在于为纸质化教材提供一套便捷地和互动地多媒体解决方案和系统。所述系统包括图像信息获取单元、图像处理模块、图像及多媒体数据库、图像图像识别模块、多媒体控制和交互模块。学生和教师等使用者在智能终端上使用该系统后，可以直接根据阅读的纸质教材内容获取相应的多媒体素材，并且可以对其中的一些三维形象或者动画进行手势和声音操作。该套方案提高了教材使用者学习教材的效率、增加了使用者的学期兴趣。同时，本发明也为教材出版社提供了纸质教材电子化改革的解决方案，利于在市场上进行全面的推广。

Description

一种纸质教材的多媒体互动式学习系统及方法

技术领域：

本发明涉及教育学习教材类领域，特别是一种纸质教材的多媒体互动式学习系统及其方法。

背景技术

目前，一般纸质教材的编写主要利用纯文字和静态图片的形式单向引导使用者学习。对于使用者而言，无法形象直观地理解教材中那些动态的、立体的内容，例如，生物学教材中DNA复制合成的动态过程、蛋白质的三维结构等。同时，一般的纸质教材仅能单方面接受、并按照编写者安排的内容来学习，无法实现使用者与内容之间的互动。

虽然某些纸质教材附赠配套光盘，包含相关的多媒体图片、声音、动画等内容来引导使用者学习，但是，光盘介质使用上具有限制性（需要电脑等相关设备）、寻找对应内容不方便以及无法实现互动等缺点。因此，寻找一种更便捷的学习系统及方法，一方面可以方便地查询纸质教材上对应的多媒体素材，另一方面能够与这些多媒体内容之间实现互动，仍是急待解决的问题。

随着智能手机和平板电脑等各种移动终端的发展和普及，很多使用者越来越多地在终端设备上阅读小说、浏览新闻和玩游戏等。这些终端设备上已经有具一定数量的教育相关应用，包括电子书、课程视频、语言学习等。这些应用利用智能手机和平板电脑的高性能、便捷性、互动性等特点，获得了极佳的用户体念反馈。然而，这些设备上仍缺乏支持普通纸质教材相关的教育应用。

发明内容

本发明的目的之一是为了克服上述现有纸质教材的缺点和不足，提供一种与纸质教材结合使用的多媒体互动解决方案；本发明设计合理有效，为使用者提供了形象直观的多媒体素材，实现使用者与教材内容之间的互动，提高使用者学习教材内容的兴趣和效率。

本发明的另一目的就是实现智能手机、平板电脑等终端设备上直接展示纸质教材中的多媒体内容，包括声音、视频、动画等。为解决这一技术问题，本发明将提供一种纸质教材内容识别和多媒体素材展示的整套解决方案。

本发明的系统包括纸质教材、教材书面内容信息的识别、教材对应的多媒体素材库。识别是指纸质书面教材中的所有需要展现多媒体的区域的部分截图，这些截图会保存在应用软件的数据库中并编号，同时这些截图会处理成带有识别码或者叫做识别信息的灰度图进而更方便更快捷的识别出来，智能终端的摄像头拍摄到与截图信息的相近区域时会启动程序主逻辑。多媒体素材库是对应识别图的多媒体表现所需的素材，每个素材与一个识别图一一对应，使得程序主逻辑可以播放所需的多媒体素材。应用软件主要包括整套程序主逻辑和多媒体素材的播放控制。

进一步地，所述的信息识别包括摄像头从纸质书面教材中获取需要进行多媒体展示区域的源图、图像处理并提炼识别信息（或识别码）、保存成数据结构；所述的多媒体素材制作包含多媒体源素材(声音、视频、动画等)的制作、多媒体交互逻辑的程序编写(触发交互的判定、交互细节处理)、素材与识别图数据结构的对应表、素材在软件中的保存；所述的应用软件主要包含了整套程序主逻辑以及对多媒体素材展示部分的暂停、前进和后退等播放控制。（图1为本发明的整体解决方案示意图）

本发明的目的之二就是实现多媒体内容与使用者之间互动的解决方案。为解决这一技术问题，在多媒体交互逻辑的交互细节中还增加了三维动画控制单元，用户在智能终端设备的触摸屏幕上使用手势，或者通过智能终端设备的麦克风使用语音，通过应用程序内置的控制器模块，用于操作和控制多媒体素材中三维动画的运动轨迹、形态结构等。进一步地，上述三维动画可以根据使用者的手势、语音等使动画做出相应的反应，达到互动地效果。（图2为多媒体内容与使用者时间互动解决方案示意图）

为实现上述发明，整体解决方案包含了相应的应用软件。上述应用软件是基于现在比较主流的便捷式智能终端设备，其中以苹果的IOS操作系统和谷歌的Android操作系统为主，它们都是配备摄像头、触摸屏幕和麦克风的移动硬件，并且这些设备都有较强较快的CPU处理能力和GPU图像处理能力，在这些基础上，可以较好的作为表现多媒体素材的载体。所述整体解决方案包括以下步骤：

1.纸质教材书面内容信息的识别，具体包括：

1.1)获取纸质教材上的源图并保存在数据库中：在纸质教材上所有可以显示多媒体素材的区域，由于都是预先由教材的截图处理成识别图后，在识别成功时，才把对应的多媒体素材显示出来的，所以需要先拍摄出所有预先设置好的教材的截图，保存与数据库中。

1.2）对源图进行图像处理并生成识别图：上述过程主要包括：

A) 纸质书面教材中的所有需要展现多媒体的区域的部分截图，设置截图的长宽比率， B) 灰度扫描，根据教材截图自动转换成灰度图片，并根据灰度图上的明暗强弱识别出边界；C) 记录灰度图上边界“明显”的点，形成截图的大体轮廓数据，由此形成识别图记录于软件可读文件中，识别图可以根据截图在真实世界中的实际宽度自动调整尺寸；D) 建立整本教材的识别图库，并建立索引文件。图3展示了教材中图像处理的过程，其中A图为教材的截图，B图为处理之后的识别图。 当用智能终端识别纸质教材上的内容时，会将教材截图处理成识别图，并检索数据库中是否存在对应的识别图，如果存在，则进行素材匹配过程；如不存在，则取消匹配过程。

多媒体素材库的制作与生成，具体包括：

2.1）多媒体素材源的制作：通过录制、配音、剪辑等方式制作声音或者视频；对于纸质教材中的一些场景、角色、模型等将采用三维动画制作，还可以设置交互环节，给使用者带来互动感。

2.2）多媒体素材与识别图的匹配设置：建立数据关系的对应表，每一个识别图都会有一个固定的编号，直接建立该编号的索引，并索引到该多媒体素材的根节点。每一个素材都有自己的ID，并且对应识别图的特征码，而具体的媒体表现由其自己的逻辑和文件类型来决定。比如一个视频素材，则会播放一段，一个三维模型素材，则会自动进行三维展示等。

3、多媒体播放与展示：

多媒体素材展示的实现过程：A) 当识别图识别成功后，如果是视频或者音频，则进行播放、暂停、前进或者后退等操作；如果是3D模型等素材，则会配合触摸屏滑动的手势识别，能进行旋转、缩放、移动等操作，以及配合使用者的声音，能实现互动；B) 对应识别图识别失败（或者源图消失于摄像头视口时），则结束相关多媒体素材展示。

本发明所提供的多媒体互动式学习系统，具体包括：

1、图像信息获取单元：所述图像信息获取单元为摄像头，用于获取纸质教材表面显微放大的光学影像，获得最初的数据源。

2、 图像处理模块：对纸质书面教材中的所有需要展现多媒体的区域进行截图，设置截图的长宽比率；对截图进行灰度扫描，转换成灰度图片，并根据灰度图上的明暗强弱识别出边界；记录灰度图上边界“明显”的点（通过设定一定的阈值，大于该阈值的灰度值为明显点），形成截图的大体轮廓数据（参见图3），由此形成识别图记录成系统可读文件中，识别图可以根据截图在真实世界中的实际宽度自动调整尺寸。采用这种方法处理相比于其他识别方法，计算速度快，能节省时间并加快识别速度，并节约了存储空间。

3、数据库：1）源图数据库：用于保存所图像信息获取单元所获取的纸质教材的源图的截图；2）识别图数据库：建立整本教材的识别图库，并建立索引文件；3）多媒体数据库：用于保存多媒体素材源。

4、 图像识别模块：当用智能终端识别纸质教材上的内容时，该识别模块会将教材截图处理成识别图，并检索数据库中是否存在对应的识别图，如果存在，则进行多媒体的素材匹配过程；如不存在，则取消匹配过程。具体实现是：

把获得的源图像处理成之前提到的识别图，然后把识别图与数据库中保存的所有识别图进行匹配，如匹配成功，则把该匹配的识别图的编号ID通知给主逻辑，并新建一个Tracker跟踪器来跟踪，该Tracker会一直跟踪该识别图是否已丢失，如丢失会通知主逻辑该ID的识别已丢失； 匹配后的处理：根据匹配到的识别图的编号ID，来找多媒体素材库中对应的多媒体素材对象，并调用该对象的OnTrackFound函数，通知其出现。匹配丢失后的处理：通知之前的多媒体素材对象，调用该对象的OnTrackLost函数，通知其消失。

5、 多媒体控制和交互模块：因为每个多媒体素材都有自己的程序逻辑控制，对应不同的素材类型会自己决定如何进行交互逻辑。一般地，音频、视频素材会进行播放、停止、前进或者后退操作，三维模型素材会进行三维展示的操作（手势控制、移动缩放旋转、语音控制等）。

综上，通过以上软件以及相应的纸质教材、便捷式智能终端，本发明提供了一整套的纸质教材的可视化动画互动方案。

与现有的纸质教材相比，本发明具有以下有益效果：

1）本发明将纸质教材中的多媒体内容储存于便捷式终端设备中，并结合自主研发的设别技术，实现了教材使用者简单方便的查阅教材中的相关多媒体素材，提高了使用者学习教材的效率和效果。

2）本发明可以将教材中的三维设计造型展现于使用者的终端设备上，实现了三维动画根据使用者意图或者教材内容进行相应的变化，达到了教材与使用者之间的互动，增加了使用者学习兴趣和效果。

3）本发明为整体解决方案，便于教材出版社方便利用，不需要增加其它配套等额外风险，利于在市场上全面推广。

附图说明：

图1为本发明中整体解决方案示意图；

图2为本发明中多媒体内容与使用者时间互动解决方案示意图；

图3为本发明的纸质教材书面内容信息识别过程示意图。

附图标记说明：

1、 纸质教材 2、纸质教材图片 3、图像信息获取单元 4、播放控制单元 5、多媒体素材播放 6、便捷式智能终端设备 7、纸质教材三维模型图片 8、 三维动画模型展示 9、手势控制

具体实施方式

为了使本发明的技术方案更加清楚明白，以下结合附图和实施例，对本发明进一步详细说明,此处所描述的具体实例，仅仅用于解释本发明，并不用于限制本发明。

【具体实施例1】：

学生通过纸质教材和智能终端设备（以平板电脑为例）学习DNA复制的过程。通常纸质教材中DNA复制的过程主要通过文字描述，使得学生非常难以理解。如果可以通过多媒体动画来呈现整个DNA复制过程，学生能够加深学习印象。学生打开平板电脑中相应的软件，利用摄像头采集纸质教材中相应章节的图片（图1，图标3）；经过软件数据处理之后，平板电脑上将播放对应的多媒体动画，如细胞内DNA复制的过程。进一步，学生可以通过开始、暂停、前进和后退等按钮对多媒体素材进行操作（参见图1）。本方案能够增加学生理解DNA复制的整个过程，达到最佳的学习效果。

【具体实施例2】：

学生通过纸质教材和智能终端设备（以平板电脑为例）学习DNA合成酶的三维结构模型。学生打开平板电脑中的相应软件，并用摄像头采集纸质教材DNA合成酶的图片（参见图2）；经过上述软件的处理之后，平板电脑屏幕将展现出DNA合成酶的三维结构模型（参见图2）。此时，学生可以形象的了解DNA合成酶的三维结构模型。同时，学生可以通过手势操纵DNA合成酶的三维结构，从不同角度和方向学习其结构，达到互动的效果，加深学习记忆。

本发明将纸质教材中的多媒体内容储存于便捷式终端设备中，并结合自主研发的设别技术，实现了教材使用者简单方便的查阅教材中的相关多媒体素材，提高了使用者学习教材的效率和效果；本发明可以将教材中的三维设计造型展现于使用者的终端设备上，实现了三维动画根据使用者意图或者教材内容进行相应的变化，达到了教材与使用者之间的互动，增加了使用者学习兴趣和效果；本发明为整体解决方案，便于教材出版社方便利用，不需要增加其它配套等额外风险，利于在市场上全面推广。

Claims (8)

1.一种纸质教材的多媒体互动式学习系统，其特征在于，所述系统包括：

图像信息获取单元，用于获取纸质教材表面显微放大的光学影像，获得最初的数据源；

图像处理模块，对纸质书面教材中的所有需要展现多媒体的区域进行截图并将图像处理成识别图；

图像及多媒体数据库，包括源图数据库、识别图数据库以及多媒体数据库；

图像识别模块，对将教材截图处理成识别图，并检索数据库中是否存在对应的识别图，如果存在，则进行多媒体的素材匹配过程；如不存在，则取消匹配过程；

多媒体控制和交互模块，用于对音频、视频素材以及三位模型进行操作和控制；

所述将截图处理成识别图的步骤是 ：1）对纸质书面教材中的所有需要展现多媒体的区域进行截图，设置截图的长宽比率；2）对截图进行灰度扫描，转换成灰度图片，并根据灰度图上的明暗强弱识别出边界；记录灰度图上边界明显的点，形成截图的大体轮廓数据，由此形成识别图;

所述明显的点的选择通过设定一定的阈值，大于该阈值的灰度值为明显点 ；

所述识别图数据库用于建立整本教材的识别图库，并建立索引文件，每一个识别图都有一个固定编号，直接建立该编号的索引，并索引到相应多媒体素材的根节点；

所述图像识别模块匹配成功后则把该匹配的识别图的编号通知给主逻辑，并新建一个Tracker跟踪器来跟踪，该Tracker跟踪器会一直跟踪该识别图是否已丢失，如丢失会通知主逻辑该编号的识别已丢失；匹配后的处理为根据匹配到的识别图的编号，来找多媒体素材库中对应的多媒体素材对象，并调用该对象的OnTrackFound函数，通知其出现；匹配丢失后的处理为通知之前的多媒体素材对象，调用该多媒体素材对象的OnTrackLost函数，通知其消失。

2.根据权利要求 1 所述的系统，其特征在于，所述图像信息获取单元为手机或者便捷式智能终端的摄像头。

3.根据权利要求 1 所述的系统，其特征在于，所述源图数据库用于保存所图像信息获取单元所获取的纸质教材的源图的截图；所述多媒体数据库用于保存多媒体素材源。

4.根据权利要求 3 所述的系统，其特征在于，多媒体素材源包括音频、视频以及三维模型图，每个素材都对应有ＩＤ。

5.根据权利要求 3所述的系统，其特征在于，所述用于对音频、视频素材以及三位模型进行操作和控制具体是：对于音频、视频素材会进行播放、停止、前进或者后退等操作，针对三维模型素材会进行三维展示的操作，所述三维展示的操作包括手势控制、移动缩放旋转、语音控制。

6.一种纸质教材的多媒体互动式学习制作方法，所述方法包括以下步骤：

纸质教材书面内容信息的识别；

多媒体素材库的制作与生成；

多媒体播放与展示；

所述纸质教材书面内容信息的识别包括：

获取纸质教材上的源图并保存在数据库中；

对源图进行图像处理并生成识别图，包括：A) 纸质书面教材中的所有需要展现多媒体的区域的部分截图，设置截图的长宽比率； B) 灰度扫描，根据教材截图自动转换成灰度图片，并根据灰度图上的明暗强弱识别出边界；C) 记录灰度图上边界“明显”的点，形成截图的大体轮廓数据，由此形成识别图，识别图可以根据截图在真实世界中的实际宽度自动调整尺寸 ；D) 建立整本教材的识别图库，并建立索引文件；每一个识别图都有一个固定编号，直接建立该编号的索引，并索引到相应多媒体素材的根节点；当用智能终端识别纸质教材上的内容时，会将教材截图处理成识别图，并检索数据库中是否存在对应的识别图，如果存在，则进行素材匹配过程；如不存在，则取消匹配过程;

所述明显的点的选择通过设定一定的阈值，大于该阈值的灰度值为明显点；

匹配成功后则把该匹配的识别图的编号通知给主逻辑，并新建一个Tracker跟踪器来跟踪，该Tracker跟踪器会一直跟踪该识别图是否已丢失，如丢失会通知主逻辑该编号的识别已丢失；匹配后的处理为根据匹配到的识别图的编号，来找多媒体素材库中对应的多媒体素材对象，并调用该对象的OnTrackFound函数，通知其出现；匹配丢失后的处理为通知之前的多媒体素材对象，调用该多媒体素材对象的OnTrackLost函数，通知其消失。

7.根据权利要求 6 所述的方法，其特征在于，所述多媒体素材库的制作与生成包括：通过录制、配音、剪辑等方式制作声音或者视频；对于纸质教材中的一些场景、角色、模型等将采用三维动画制作，还可以设置交互环节，给使用者带来互动感；每一个素材都有自己的ID，并且对应数据库中的每一个识别图。

8.根据权利要求 6 所述的方法，其特征在于，多媒体素材播放和展示的实现过程是：当识别图识别成功后，如果是视频或者音频，则进行播放、暂停、前进或者后退等操作；如果是3D模型等素材，则会配合使用者在触摸屏滑动的手势识别，能进行旋转、缩放、移动等操作，以及配合使用者的声音，能实现互动；如果对应识别图识别失败或者源图消失于摄像头视口时，则结束相关多媒体素材展示。