CN106023692A - 一种基于娱乐交互的ar趣味学习系统及方法 - Google Patents

Abstract

本发明公开了一种基于娱乐交互的AR趣味学习系统及方法，包括：至少一个实体书页，摄像装置，显示装置和程序运行装置；使用图像识别预处理单元处理实体书页的图像数据；导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息；启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；识别模块识别图实体书页的标识信息；追踪模块实时计算出实体书页的空间位置信息，完成增强现实的体验。本发明通过上述原理及方法，解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，操作简单，成本低，非常适用儿童的多媒体互动教学。

Description

一种基于娱乐交互的AR趣味学习系统及方法

技术领域

本发明涉及多媒体互动教学系统技术领域，具体地，涉及一种基于娱乐交互的AR趣味学习系统及方法。

背景技术

增强现实(Augmented Reality，简称AR)是一种现实信息与虚拟信息相叠加的技术。提前利用计算机技术叠加虚拟信息到现实世界某个空间位置中，用户便能够看到现实世界上这个空间位置叠加的虚拟信息，虚拟信息与现实信息相互补充增强用户对事物的理解。增强现实利用计算机图形技术生成真实环境中不存在的虚拟信息；通过计算机视觉技术和传感技术，将这些虚拟信息实时显示在真实世界的某个空间位置处，并与真实世界融为一体。虚拟信息与真实世界重新组成拥有逼真的视觉、听觉、触觉的环境，实现用户与环境的自然交互。目前市场上主流的基于实体书页的多媒体互动教学系统包括：点读机、点读笔、电子书、早教机和PC端/移动端应用程序。现有多媒体互动系统有如下缺点：

1、点读机、点读笔、电子书侧重于语音朗读，没能结合生动的图像，互动体验单一片面，不能激发用户兴趣；

2、早教机、PC端/移动端应用程序只能展示二维的图像信息，并且交互性弱，用户只能单方面的观看；

3、高互动性的多媒体互动教学系统使用复杂，费用成本高；

目前，文字与图像结合已经是主流的学习理解事物方式，但是图像仅仅是停留在二维平面上，趣味性以及互动体验较差。

发明内容

本发明克服了现有技术的不足，提供一种基于娱乐交互的AR趣味学习系统及方法，解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此发明系统操作简单，成本低，将一些呆板的抽象的二维图像转变为三维信息，非常适用儿童的多媒体互动教学，与现在高互动性的多媒体互动教学系统相比具有极大的优势。

本发明解决上述问题所采用的技术方案是：一种基于增强现实的趣味学习系统，包括：

至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；

摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；

显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；

程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。

本发明实现了互动体验上的重大突破，主要体现在三个方面，一是将传统二维图像转化为三维；二是用户能与三维信息进行人机交互；三是虚拟的三维信息将会与现实世界进行完美的融合，用户能观察虚拟信息在现实世界的呈现状态，再次提升教学的互动性。另外，该系统也无需额外引入额外的服务器来存储图像信息，只需采用程序运行装置即可实现，大大降低了成本，该系统操作方式与现有的点读机、早教机等的操作方式相似，操作简单方便，但是又能呈现生动的画面，吸引小朋友的注意力，从而提高小朋友的学习兴趣，本系统同时将一些呆板的抽象的二维图像转变为三维信息，尤其适用儿童的多媒体互动教学。本发明解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此发明系统操作简单，成本低，与现在高互动性的多媒体互动教学系统相比具有极大的优势。

进一步的，所述程序运行装置包括：

识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配 实现图像处理与识别匹配；

三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；

音频渲染模块，用于渲染出标识信息对应的音频信息；

追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。

本方案识别模块中图像处理与识别匹配经过了图像特征点提取、特征点筛选、特征点描述和图像匹配等多个步骤的相互作用与制约，避免出现当设置的n个连续的像素点小于12时，对于采集图像上的角点，不能使用快速算法来过滤非角点，检测出来的角点不是最优的，角点分析的结果被丢弃，多个特征点容易挤在一起的缺陷，通过该识别模块采集到的图像信息更加的准确清晰，更利于后期识别和清晰成像。

优选的，所述三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。

优选的，所述识别模块包括图像识别预处理单元和移动端识别模块，图像识别预处理单元处理实体书页图像信息，得到实体书页的标识信息，识别模块接受摄像装置实时采集的实体书页图像信息，得到图像的标识信息，从而得到标识信息对应的一个或多个三维模型以及一个或多个音频信息，最终交给三维渲染模块和音频渲染模块渲染。

优选的，所述识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理，提取特征点与记录图像特征点的描述文件对比得出摄像装置采集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。尺寸处理可以让图像按照既定的尺寸显示，灰度的处理则可以让色彩更逼真，颜色细节更到位，通过灰度和尺寸的处理，保证了最后显示的三维图像更加的形象生动。

优选的，显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲染引擎预处理为模型中间文件后显示。显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲 染引擎预处理为模型中间文件后显示。三维图像模型采用3DS MAX、Maya、Blender等三维建模软件制作，制作导出FBX格式文件，三维图像模型能够提高教学事物的直观性，激发受教者兴趣。并且该三维图像模型基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。其中的渲染模块基于Opengl ES 2.0开发，读取模型中间文件后利用Opengl API交给底层操作系统执行渲染并显示。模型中间文件采用二进制方式储存，保证数据的安全性。

优选的，一种基于增强现实的趣味学习方法，包括如下步骤：

步骤A)使用图像识别预处理单元处理实体书页的图像数据，得到图像数据的标识信息，每个标识信息对应了一个图像的ID，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；

步骤B)导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息，并且规定好三维模型与实体书页图像的空间相对位置与大小、姿态以及交互方式；

步骤C)启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；

步骤D)当用户放置实体书页到摄像装置的采集范围内，识别模块识别图实体书页的标识信息，判定实体书页的图像ID，并分析出渲染图像ID对应的三维模型和音频；

步骤E)在步骤D)的基础上，追踪模块实时计算出实体书页的空间位置信息，并绑定三维模型数据在实体书页的空间位置处，最终，趣味学习系统的移动端应用程序将三维模型实时渲染在实体书页的空间位置处并渲染出对应音频，完成增强现实的体验。

在此交互系统下，程序能够把二维平面上的图像转化为三维信息，再辅助于人机交互方式，寓教于乐，带来新一代的互动学习方式，该方法得到的三维图像形象生动、成本低，克服了现有多媒体互动教学系统要么只侧重于语音朗读，没能结合生动的图像，互动体验单一片面，不能激发用户兴趣；要么只能展示二维的图像信息，并且交互性弱，用户只能单方面的观看；要么就是系统复查，费用成本高等各种缺陷。

综上，本发明的有益效果是：

1、本发明解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此发明系统操作简单，成本低，操作简单方便，但是又能呈现生动的画面，吸引小朋友的注意力，从而提高小朋友的学习兴趣，本系统同时将一些呆板的抽象的二维图像转变为三维信息，尤其适用儿童的多媒体互动教学，与现在高互动性的多媒体互动教学系统相比具有极大的优势。

2、本方案识别模块中图像处理与识别匹配经过了图像特征点提取、特征点筛选、特征点描述和图像匹配等多个步骤的相互作用与制约，避免出现当设置的n个连续的像素点小于12时，对于采集图像上的角点，不能使用快速算法来过 滤非角点，检测出来的角点不是最优的，角点分析的结果被丢弃，多个特征点容易挤在一起的缺陷，通过该识别模块采集到的图像信息更加的准确清晰，更利于后期识别和清晰成像。

附图说明

图1是本发明的原理框图；

图2是本发明中识别模块的处理流程图；

图3是本发明的识别模块中图像处理与识别匹配的处理流程图；

图4图像特征点提取的参考图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例1：

如图1-3所示，本发明包括一种基于增强现实的趣味学习系统，包括：

至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；实体书页包括但不限于教学书籍、识字卡片、识物卡片、教学用具；并且标识信息也是由图像识别预处理程序1311处理教学书籍、识字卡片、识物卡片、教学用具上的图案得到的。

摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；摄像装置上的摄像头可以由普通摄像头构成，也可以由普通摄像头和红外深度摄像头构成。红外深度摄像头捕捉真实世界的深度空间信息，用于完成人机自然交互。人机自然交互包括但不限于手势识别、动作捕捉、人脸识别，这些都可以作为本发明的教学三维互动方式。

显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；一个或多个三维图像要叠加到真实世界环境中的实时视频画面上。

程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。

该趣味学习系统采用Android和IOS操作系统。在使用时，用户提供教学书 籍、识字卡片、识物卡片、教学用具上的图案的图像文件，然后使用图像识别预处理程序处理这些图像，最终处理为记录图像特征点的描述文件，每个描述文件也记录了标识信息与所处理图像的ID的对应关系。

程序开发导入记录图像特征点的描述文件，然后绑定图像ID与相应的三维模型和音频信息，并且规定好三维模型与实体书页图像的空间相对位置与大小、姿态以及交互方式。

启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界图像即实体书页的图像数据以及实时采集实体书页的视频画面，渲染显示真实世界的视频图像。

当用户放置实体书页到摄像装置的采集范围内，识别模块识别图实体书页的标识信息，匹配实时图像的特征点与描述文件中的特征点，分析出实体书页的图像ID，从而分析出渲染图像ID对应的三维模型和音频。

当用户放置实体书页到摄像装置的采集范围内，追踪模块实时计算出实体书页的空间位置信息，并绑定三维模型数据在实体书页的空间位置处，最终，趣味学习系统的移动端应用程序将三维模型实时渲染在实体书页的空间位置处，完成增强现实的体验。

本发明实现了互动体验上的重大突破，主要体现在三个方面，一是将传统二维图像转化为三维；二是用户能与三维信息进行人机交互；三是虚拟的三维信息将会与现实世界进行完美的融合，用户能观察虚拟信息在现实世界的呈现状态，再次提升教学的互动性。另外，该系统也无需额外引入额外的服务器来存储图像信息，只需采用程序运行装置即可实现，大大降低了成本，该系统操作方式与现有的点读机、早教机等的操作方式相似，操作简单方便，但是又能呈现生动的画面，吸引小朋友的注意力，从而提高小朋友的学习兴趣，本系统同时将一些呆板的抽象的二维图像转变为三维信息，尤其适用儿童的多媒体互动教学。本发明解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，并且此发明系统操作简单，成本低，与现在高互动性的多媒体互动教学系统相比具有极大的优势。

实施例2：

本实施例在实施例1的基础上优选如下：程序运行装置包括：

识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配实现图像处理与识别匹配；识别模块要识别实体书页并分析出对应的三维模型和音频信息，需要如图2的步骤：

S301用户制作实体书页图像文件，包括但不限于教学书籍、识字卡片、识物卡片的印刷图像文件和教学用具的拍摄照片文件。

S302利用图像识别预处理程序对实体书页图像标识信息(特征点)的提取与筛选，最终处理为记录图像特征点的描述文件，此描述文件记录图像标识信息与图像ID的一一对应关系。

S303将三维模型、音频与图像ID对应，并确定好三维模型与此ID图像的空间位置关系。

S304识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理；提取的特征点与记录图像特征点的描述文件对比得出摄像装置采 集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。

识别模块中图像处理与识别匹配，需要如图3的步骤：包括如下步骤：

步骤S401图像特征点的提取，该步骤又包括如下步骤：

步骤1从图片中选取一个像素P，下面我们将判断它是否是一个特征点，我们首先把它的亮度值设为Ip；

步骤2设定一个合适的阈值t；

步骤3考虑以该像素点为中心的一个半径等于3像素的离散化的Bresenham圆，这个圆的边界上有16个像素(如图1所示)；

步骤4如果在这个大小为16个像素的圆上有n个连续的像素点，它们的像素值要么都比Ip+t大，要么都比Ip-t小，那么它就是一个角点。(如图4中的白色虚线所示)。n的值为9。图4是图像特征点提取的一个参考图。

步骤S402特征点筛选，该步骤包括如下步骤：

步骤A)首先选取你进行特征点提取的应用场景下很多张的测试图片；

步骤B)提取测试图片上的特征点；

步骤C)对于每个特征点，我们把它邻域圆上的16个点存储下来保存在一个vector内，处理所有步骤B)中得到的特征点，并把它们存储在P中；

步骤D)对于图像上的点p,它周围邻域圆上位置为x，x∈{1…16}x，x∈{1…16}的点表示为p→x，可以用下面的判断公式将该点p→x分为3类：

步骤E)设P为训练图像集中所有像素点的集合，我们任意16个位置中的一个位置x，可以把集合P分为三个部分Pd、Ps和Pb，其中Pd的定义如下，Ps和Pb的定义与其类似:

P_b＝{p∈P：S_p→x＝b}

换句话说，对于任意给定的位置x，它都可以把所有图像中的点分为三类，第一类Pd包括了所有位置x处的像素在阈值t下暗于中心像素，第二类Ps包括了所有位置x处的像素在阈值t下近似于中心像素，Pb包括了所有位置x处的像素在阈值t下亮于中心像素。

定义一个新的布尔变量Kp，如果p是一个角点，那些Kp为真，否则为假。

使用ID3算法(决策树分类器)来查询每一个子集。

递归计算所有的子集直到Kp的熵为0。

被创建的决策树就用于其他图片的特征点检测与筛选。该设置解决了图像特征点提取中当我们设置n<12时就不能使用快速算法来过滤非角点的点；检测出来的角点不是最优的，这是因为它的效率取决于问题的排序与角点的分布；对于角点分析的结果被丢弃的缺陷。

本放方法中使用Non-MaximalSuppression解决，有如下步骤：

为每一个检测到的特征点计算它的响应大小V。这里V定义为点p和它周围16个像素点的绝对偏差的和。

考虑两个相邻的特征点，并比较它们的V值。

V值较低的点将会被删除。解决了图像特征点提取中多个特征点容易挤在一起。步骤S403特征点描述，该步骤包括有如下步骤：

步骤11对于任何一个特征点，可以用一个长度为n的二值码串来描述，这个二值串是由特征点周围2n个点对生成的，现在我们将这2n个点组成一个矩阵S

步骤22使用邻域方向θ和对应的旋转矩阵Rθ，构建S的一个校正版本Sθ

S_θ＝R_θS

其中

θ为特征点的方向；

我们可以把角度离散化，即把360度分为12份，每一份是30度，然后我们对这个12个角度分别求得一个Sθ，这样我们就创建了一个查找表，对于每一个θ，我们只需查表即可快速得到它的点对的集合Sθ，最后通过特征点的方向来描述特征点；

步骤S404图像匹配，采用FLANN算法完成两幅图像的特征点匹配。

追踪模块，用于实时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，当用户在真实世界中移动实体书页时，摄像装置提供实时视频源提供给追踪模块，用于实时计算实体书页在真实世界的空间方位，与之绑定的三维模型数据随之显示在当前实体书页的空间方位处。

三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；

音频渲染模块，用于渲染出标识信息对应的音频信息；

追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。通过程序运行装置上各个模块的分工合作，实现将传统的二维图像转化为三维图像，且该过程操作简单、方便，成本低、图像生动、寓教于乐非常适合于儿童的多媒体互动教学。

角点即图像上的极值点，即在图像上特别突出的点，本方案识别模块中图像处理与识别匹配经过了图像特征点提取、特征点筛选、特征点描述和图像匹配等多个步骤的相互作用与制约，避免出现当设置的n个连续的像素点小于12时，对于采集图像上的角点，不能使用快速算法来过滤非角点，检测出来的角点不是最优的，角点分析的结果被丢弃，多个特征点容易挤在一起的缺陷，通过该识别 模块采集到的图像信息更加的准确清晰，更利于后期识别和清晰成像。

实施例3：

本实施例在上述实施例的基础上优选如下：三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。

识别模块包括图像识别预处理单元和移动端识别模块，图像识别预处理单元处理实体书页图像信息，得到实体书页的标识信息，识别模块接受摄像装置实时采集的实体书页图像信息，得到图像的标识信息，从而得到标识信息对应的一个或多个三维模型以及一个或多个音频信息，最终交给三维渲染模块和音频渲染模块渲染。

识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理，提取特征点与记录图像特征点的描述文件对比得出摄像装置采集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。尺寸处理可以让图像按照既定的尺寸显示，灰度的处理则可以让色彩更逼真，颜色细节更到位，通过灰度和尺寸的处理，保证了最后显示的三维图像更加的形象生动。

显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲染引擎预处理为模型中间文件后显示。三维图像模型采用3DS MAX、Maya、Blender等三维建模软件制作，制作导出FBX格式文件，三维图像模型能够提高教学事物的直观性，激发受教者兴趣。并且该三维图像模型基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。其中的渲染模块基于Opengl ES 2.0开发，读取模型中间文件后利用Opengl API交给底层操作系统执行渲染并显示。模型中间文件采用二进制方式储存，保证数据的安全性。

实施例4：

本实施例在上述实施例的基础上采用一种基于增强现实的趣味学习方法，包括如下步骤：

步骤A)使用图像识别预处理单元处理实体书页的图像数据，得到图像数据的标识信息，每个标识信息对应了一个图像的ID，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；

步骤B)导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息，并且规定好三维模型与实体书页图像的空间相对位置与大小、姿态以及交互方式；

步骤C)启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；

步骤D)当用户放置实体书页到摄像装置的采集范围内，识别模块识别图实体书页的标识信息，判定实体书页的图像ID，并分析出渲染图像ID对 应的三维模型和音频；

步骤E)在步骤D)的基础上，追踪模块实时计算出实体书页的空间位置信息，并绑定三维模型数据在实体书页的空间位置处，最终，趣味学习系统的移动端应用程序将三维模型实时渲染在实体书页的空间位置处并渲染出对应音频，完成增强现实的体验。

用户通过移动端安装并启动增强现实应用，然后即可获得增强现实应用，启动增强现实应用后，设备的摄像头将会启动，开始捕捉摄像头画面下真实世界的环境，通过显示装置的屏幕实时呈现摄像头捕捉的真实世界画面。此时用户将实体书页至于摄像装置扫描范围内，

摄像装置传给系统识别模块视频流(现实世界的每一帧图像)，识别模块处理分析匹配视频流中的图像画面，分析出实体书页对应的图像ID；系统分析图像对应的三维模型信息和音频信息，并实时追踪实体书页的空间位置，将三维信息和真实世界进行叠加，并且用户可以同虚拟信息交互，实时追踪实体书页的空间位置并把三维模型也放置于实体书页的预制相对空间位置处，完成增强现实体验与学习；最后退出增强现实应用。

在此交互系统下，程序能够把二维平面上的图像转化为三维信息，再辅助于人机交互方式，寓教于乐，带来新一代的互动学习方式，该方法得到的三维图像形象生动、成本低，克服了现有多媒体互动教学系统要么只侧重于语音朗读，没能结合生动的图像，互动体验单一片面，不能激发用户兴趣；要么只能展示二维的图像信息，并且交互性弱，用户只能单方面的观看；要么就是系统复查，费用成本高等各种缺陷。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于娱乐交互的AR趣味学习系统，其特征在于，包括：

至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；

摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；

显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；

程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。

2.根据权利要求1所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述程序运行装置包括：

识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配实现图像处理与识别匹配；

三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；

音频渲染模块，用于渲染出标识信息对应的音频信息；

追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。

3.根据权利要求2所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于Autodesk FBX SDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。

4.根据权利要求2所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述识别模块包括图像识别预处理单元和移动端识别模块，图像识别预处理单元处理实体书页图像信息，得到实体书页的标识信息，移动端识别模块接受摄像装置实时采集的实体书页图像信息，得到图像的标识信息，从而得到标识信息对应的一个或多个三维模型以及一个或多个音频信息，最终交给三维渲染模块和音频渲染模块渲染。

5.根据权利要求2或4所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理，提取特征点与记录图像特征点的描述文件对比得出摄像装置采集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。

6.根据权利要求1所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲染引擎预处理为模型中间文件后显示。

7.一种基于娱乐交互的AR趣味学习方法，其特征在于，包括如下步骤：

步骤A) 使用图像识别预处理单元处理实体书页的图像数据，得到图像数据的标识信息，每个标识信息对应了一个图像的ID，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；

步骤B) 导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息，并且规定好三维模型与实体书页图像的空间相对位置与大小、姿态以及交互方式；

步骤C) 启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；

步骤D) 当用户放置实体书页到摄像装置的采集范围内，识别模块识别图实体书页的标识信息，判定实体书页的图像ID，并分析出渲染图像ID对应的三维模型和音频；

步骤E)在步骤D)的基础上，追踪模块实时计算出实体书页的空间位置信息，并绑定三维模型数据在实体书页的空间位置处，最终，趣味学习系统的移动端应用程序将三维模型实时渲染在实体书页的空间位置处并渲染出对应音频，完成增强现实的体验。