CN105844979A - 增强现实图书、基于增强现实图书的教育系统和方法 - Google Patents

Abstract

本发明公开了一种增强现实图书、基于增强现实图书的教育系统和方法，其中，所述增强现实图书包括图书本体和设置在图书本体上的识别标记图案，在外部装置的配合下，所述增强现实图书能够显示三维模型。所述基于增强现实图书的教育系统包括增强现实图书、智能展示终端，以及服务器。本发明通过移动设备跟实体书刊的交互使用，不仅提高了儿童教育的趣味性，也增加了父母与孩子之间的互动。本发明让家长孩子与书籍中的人物积极互动起来，通过增强现实技术建立父母与孩子之间的沟通纽带。

Description

增强现实图书、基于增强现实图书的教育系统和方法

技术领域

本发明属于增强现实技术领域，尤其是增强现实技术在教育中的应用。

背景技术

20世纪70年代，以虚拟现实技术为基础的增强现实技术（Augmented Reality，AR）从军事实验室、高校实验室发端，经历30余年的市场探索期。

近年来，随着智能手机、平板电脑等移动智能设备和移动互联网快速发展，以移动端应用为载体的增强现实应用不断落地，增强现实技术逐渐被大众知晓。2007年开始，AR技术被应用在手机中，消费级领域的商业化开启。

但是，将现实增强技术用于图书中，实现交互性教育的系统尚处于探索阶段，当前的各种技术方案还存在不少的问题。例如，如何描述“真实”的场景是当前亟待解决的技术问题。

发明内容

发明目的：一个目的是提供一种增强现实图书，以至少解决现有技术存在的部分问题。进一步的目的是提供一种基于增强现实图书的教育系统和教育方法。

技术方案：增强现实图书，包括图书本体和设置在图书本体上的识别标记图案，在外部装置的配合下，所述增强现实图书能够显示三维模型。

基于增强现实图书的教育系统，包括增强现实图书、智能展示终端，以及服务器，其中，所述增强现实图书设置有识别标识图案，

所述智能展示终端，其设置有图像识别模块和动画交互与声音设别模块，并设置或通信连接摄像头单元，所述摄像头单元用于获取增强现实图书中的图案，所述图像识别模块用于按照预定的方式从图案中提出像素信息，制作成贴图，并附加到模型的材质球上，获得具有预期颜色的模型，并显示于智能展示终端的屏幕上，所述动画交互与声音识别模块用于拼图的交互和语音资源的播放；

所述服务器，用于部署交互程序和存储相关数据信息。

优选的，所述智能展示终端包括手机和平板电脑。

优选的，所述图像识别模块进一步包括用于制作三维模型的子模块，用于制作材质贴图的子模块，用于根据三维模型和材质贴图制作场景的子模块，用于提取颜色的子模块，以及用于将识别到的颜色贴到模型的子模块。

基于增强现实图书的互动教育方法，包括如下步骤：

访问服务器，获取与增强现实图书配套的信息；

调整摄像头单元与增强现实图书的位置，使增强现实图书位于摄像头的视野内；

智能终端获取图片的识别信息，并从图片中提取出像素信息，并制成预定格式的贴图，附加到材质球中，获得展示模型并显示于智能终端的显示屏上。

进一步的，上述互动教育方法还包括拼图步骤：拖动破碎的图块至某个区域时，智能终端显示该图块或发出提示。

有益效果：本发明通过移动设备跟实体书刊的交互使用，不仅提高了儿童教育的趣味性，也增加了父母与孩子之间的互动。本发明让家长孩子与书籍中的人物积极互动起来，通过增强现实技术建立父母与孩子之间的沟通纽带。

附图说明

图1是本发明的实现原理图。

图2是本发明的结构框图。

图3是本发明的原理图。

具体实施方式

如图1至图3所示，本发明的基于增强现实图书的教育系统，包括增强现实图书、智能展示终端，以及服务器。

其中，所述增强现实图书设置有识别标识图案，

所述智能展示终端，其设置或通信连接有摄像头单元、并设置有图像识别模块和动画交互与声音设别模块，所述摄像头单元用于获取增强现实图书中的图案，所述图像识别模块用于按照预定的方式从图案中提出像素信息，制作成贴图，并附加到模型的材质球上，获得具有预期颜色的模型，并显示于智能展示终端的屏幕上，所述动画交互与声音识别模块用于拼图的交互和语音资源的播放；

所述服务器，用于部署交互程序和存储相关数据信息。

在外部装置（智能展示终端和服务器）的配合下，所述增强现实图书能够显示三维模型。

在本发明中，通过视觉、听觉、触觉的交互实现更深层次的感知体验。达到了孩子在成长过程中发现新世界的各种需求，极大限度的虚拟出一个内容完满、方便体验的教育场景和背景。基于Unity3D软件进行的AR APP程序的开发、制作和发布，可以同时在IOS系统和Andriod系统开发产品。经过移动设备跟实体书刊的交互使用，不但提高了儿童教育的趣味性，也增加了父母与孩子之间的互动。以教育体验性来说，AR产品的互动性是许多实体书刊跟普通电子书刊没有的体验。让家长孩子与书籍中的人物积极互动起来，通过增强现实技术建立父母与孩子之间的沟通纽带。

基于增强现实图书的互动教育方法，包括如下步骤：

访问服务器，获取与增强现实图书配套的信息；

调整摄像头单元与增强现实图书的位置，使增强现实图书位于摄像头的视野内；

智能终端获取图片的识别信息，并从图片中提取出像素信息，并制成预定格式的贴图，附加到材质球中，获得展示模型并显示于智能终端的显示屏上。

进一步的，上述互动教育方法还包括拼图步骤：拖动破碎的图块至某个区域时，智能终端显示该图块或发出提示。

因此，在使用过程中，可以根据用户的需要进行深入的人机互动，例如控制对象的大小和位置，使对象运动或发出声音。

需要说明的是，如果该互动教育方法中的相关步骤没有逻辑上或时间上的必然联系，则其顺序可以根据用户的操作/使用情况进行调整。

一种基于增强现实图书的互动教育方法，

当用户给增强现实图书中的图案上色时，智能终端通过摄像头获取图案的形状和颜色，并将其叠加到相应的三维模型中，通过智能终端的显示屏显示。

进一步的，在显示三维模型时，播放音频或展示动画。

因此，在使用过程中，用户可以实时观察到三维模型的状态，更加具有趣味性。

本发明主要包括以下几方面的内容：

一、儿童4D绘本的角色立体化；二、颜色实时识别系统；三、三维动画交互与声音系统识别。

本发明利用AR技术实现，让原本静止的二维图书变成可实时涂色进行颜色识别的三维角色，再配合动画，声音，特效，实现人机交互等功能。让小朋友处在一个虚拟与现实相结合的场景下认知、学习、玩耍。

儿童4D绘本的角色立体化。其主要技术原理是：分别设计了12个未来职业角色与12个交通工具作为图书的设计主体，通过MAYA三维动画制作软件把角色转化成三维角色并赋予角色动画，通过角色搭配相应的英文单词知识、中文书写、拼音及对于角色所编写的儿歌，通过书籍的文字以及APP的语音的双重效果来让少儿通过书籍及语音系统对职业进行认知。

颜色实时识别系统。其主要技术原理在于：图像识别技术基本原理:使用高通SDK利用手机摄像头获取识别卡片影像，再结合ShanderLab将获取的影影像信息按照预先制定好的四个顶点位置，将图片里面的像素信息提取出来制作成一张512*512的材质贴图，并附加到模型的材质球上，从而实现将在图纸上绘制的颜色添加到出现的模型上，最终显示在设备屏幕上。

三维动画交互与声音识别系统。使用C#语言编程，制作手机APP，将摄像机识别到的图像信息进行处理制作成模型贴图，并加载到模型材质球上实现涂色功能，拼图功能是实现手指拖动破碎的拼图块放到正确的地方并显示，讲故事是进行语音资源的播放。要使用到的软件跟开发环境也比较适合研发，Unity3D是近几年兴起的一块跨平台的游戏引擎，可以支持PC、Android、IOS等多个平台，包含几乎现在所有的移动平台系统，可以更轻松的实现跨平台发布APP。

在上述步骤中，颜色识别的实现过程如下：

颜色识别实现：

步骤一：使用Maya或者Max制作三维模型；

步骤二：使用Photoshop制作材质贴图，然后将模型跟贴图导入至Unity里面，制作场景，使用高通SDK进行增强现实功能的实现；

步骤三：在unity里面使用C#进行功能能实现颜色提取功能；

代码：

CameraDevice cam = CameraDevice.Instance;

Image image = cam.GetCameraImage(m_PixelFormat);

if (image == null) {

// not on mobile devices

Debug.Log(m_PixelFormat + " image is not available yet");

}

else {

// get MVP matrix

Matrix4x4 P = GL.GetGPUProjectionMatrix(Camera.main.projectionMatrix, false);

Matrix4x4 V = Camera.main.worldToCameraMatrix;

// use plane to get texcoords for target

Matrix4x4 M = mPlane.GetComponent<Renderer>().localToWorldMatrix;

Matrix4x4 MVP = P * V * M;

// screen to camera image scale

float r1 = image.Height*1.0f/image.Width;

float r2 = Screen.width*1.0f/Screen.height;

if(r1 > r2) {

GetComponent<Renderer>().material.SetFloat("_xScale",1.0f);

GetComponent<Renderer>().material.SetFloat("_yScale",r2/r1);

}

else {

GetComponent<Renderer>().material.SetFloat("_xScale",r1/r2);

GetComponent<Renderer>().material.SetFloat("_yScale",1.0f);

}

GetComponent<Renderer>().material.SetMatrix("_MATRIX_MVP", MVP);

mCameraTexture = new Texture2D(128, 128, TextureFormat.RGB24, false);

image.CopyToTexture(mCameraTexture);

mCameraTexture.Apply(); // very important

// set camera texture

GetComponent<Renderer>().material.mainTexture = mCameraTexture;

m_CanCapture = false;

}

步骤五：同时要配合Shader使用，shader主要是将识别到的颜色制作成贴图贴到模型：

v2f o;

float4 uvTmp;

// calculate new uv in camera image

uvTmp = mul(_MATRIX_MVP, float4(v.texcoord.x-0.5f,v.texcoord.y-0.5f,0,1));

uvTmp.x = uvTmp.x/uvTmp.w;

uvTmp.y = uvTmp.y/uvTmp.w;

uvTmp.z = uvTmp.z/uvTmp.w;

// some swap for different coordinate system

uvTmp.x = (uvTmp.x + 1f)/2.0f;

uvTmp.y = (uvTmp.y + 1f)/2.0f;

o.uv.x = ((1-uvTmp.y)-0.5f)*_xScale+0.5f;

o.uv.y = ((1-uvTmp.x)-0.5f)*_yScale+0.5f;

//The position of the vertex should not be frozen, so use

//the standard UNITY_MATRIX_MVP matrix for that.

o.pos = mul(UNITY_MATRIX_MVP, v.vertex);

return o;

通过以上程序，能过实现颜色识别及锁定交互识别等预定技术指标。

本发明破传统平面书籍，实现立体交互动画，突破传统绘画使绘制颜色进行实时呈现在三维动画角色中。

传统的绘本单一的绘画形式已经不能满足当代儿童的兴趣，数字媒体技术与移动设备的发展使现在的孩子在成长过程中的每一刻都在不断寻求着视听上的刺激，在这种背景下，交互式的新媒体早教产品应运而生，而AR技术的诞生完美契合了这一需求。利用AR技术，儿童在绘本中的创作可以跳出纸面，以三维动画的形式呈现在移动设备上，极大的增加了孩子的学习动力。

具体实施案例如下：

本发明的“AR图书”项目采用B/S模式，交互程序部署在服务器上，使用者通过浏览器，通过WEB浏览器访问AR电子书的配套页面。程序使用智能手机、摄像头或者投影仪，调整摄像头与书本的相对位置，将图书放在摄像头视野内，在计算机屏幕上既展示纸质书本原有的内容，也将叠加对应的图片、图像、三维模型、声音等虚拟的内容。

在使用的过程中，应用程序可以根据要求进行深入的人机互动，例如控制对象的大小和位置，使对象运动、发出声音，等等。

其中，AR图书由两部分构成，一是整合了AR识别标记图案的纸质图书，二是负责AR功能的应用程序。纸质图书部分除了提供传统图书的一般阅读功能外，还能在应用程序部分的配合下显示三维模型。AR应用程序部分则负责通过摄像头获取真实图像，并在显示设备上呈现纸质图书与虚拟对象的融合。为了便于读者使用增强现实功能，应用程序采用B/S的模式。读者只要通过智能手机、摄像头、投影仪，就可以方便地使用AR图书。

增强现实应用程序部分负责通过智能手机获取图书的图像数据，从中识别标记图案，根据标记图案从手机中加载相应三维模型，并融合现实图书和三维模型的图像，最终将逼真的增强现实图像呈现在读者的手机上。

AR应用程序部分采用C#为开发语言，Vuforia SDK4.2作为跟踪类库，Unity3D作为三维框架，3D MAX和Maya负责模型制作与转换调用。

步骤三：在unity里面使用C#进行功能能实现颜色提取功能，

步骤四：代码

CameraDevice cam = CameraDevice.Instance;

Image image = cam.GetCameraImage(m_PixelFormat);

if (image == null) {

// not on mobile devices

Debug.Log(m_PixelFormat + " image is not available yet");

}

else {

// get MVP matrix

Matrix4x4 P = GL.GetGPUProjectionMatrix(Camera.main.projectionMatrix, false);

Matrix4x4 V = Camera.main.worldToCameraMatrix;

使用ShaderLab来实现真实视频图像与虚拟三维模型的融合以及图像识别与互动等重要功能。

纸质图书的设计：根据不同客户阅读的特点设计纸质图书内容。

例如儿童：纸质图书要色彩艳丽、画面大而简单，故事情节要简单，句式单一且重复。特别值得注意的是书中字的大小，一定要选择大字体。一般说来，每个字的宽度应同成年男子的食指宽度一样。随着儿童年龄的增长，书中的语言、句式可逐渐增加难度，字亦可逐渐缩小。

AR图书的纸质图书部分除了能进行传统的阅读，还需要负责为增强现实应用程序提供清晰可辨认的标记图案。只有对图书内容进行精心编排，AR电子书的平面内容与虚拟模型才能相得益彰，才会有效地发挥AR电子书独特的优势与魅力。

三维模型与多媒体资源设计：图书应以画面为主。在AR图书中，三维模型负责创建虚拟三维信息，只有逼真的三维物体才能较好地融入真实场景中，给人以真实感。因此，三维模型的设计是增强现实电子书设计中的重要组成部分。

上述实施例的实现流程如下：

首先，进行产品设计将所有设计原画制作成识别图片，然后使用三维建模软件进行三维模型制作，然后将模型贴图跟模型文件导入Unity3D进行功能实现，利用Vuforia SDK进行颜色识别功能的实现等其他功能的实现，最后使用Unity3D发布Android版本的Apk，再结合Xcode进行APP发布。

其中，上述APP主要功能描述如下：

一是对纸质图书进行合理编排制作，并将特定标记图案融入图书中，从而满足增强现实图书的需求；

二是熟练运用 3D 建模工具，通过反复细致的修改，制作逼真的三维模型；

三是运用各种多媒体软件对其他媒体资源进行编辑；

四是在选定平台上，完成标志的识别、三维注册、虚实结合和人机交互等多方面的程序开发与实现，其中，基于选定平台的程序开发是整个AR图书开发过程的技术核心；

五是将前面的工作进行整合，使整个项目成为一个有机的整体，同时这一阶段往往会对前一阶段的工作进行各种反馈和调整。

申请人认为：书籍承载着大量的抽象经验，尤其对于少儿学习的重要途径和工具。如果能在传统书籍中有效合理的融入具体的经验，同时通过颜色，动画，声音，交互，等吸引提高阅读吸引力。又能观看到书中描述的“真实”场景，那么这样的书籍必然能够给读者更好的阅读兴趣与体验，更多的直接的经验,更有效的学习。

从技术方面来说，增强现实技术不光依靠电子设备、同时依赖于现实场景的交互与融合。已听觉、视觉位基础，添加视觉、触觉乃至加入味觉的各种元素相互融合，达到了孩子在成长过程中发现新世界的各种要求，极大限度的虚拟出一个内容完满、方便体验的教育场景和背景。AR技术的出现很大程度上满足了多媒体互式教学的需求。

模型锁定功能创新：使用高通SDK识别出三维模型，然后将高通自带的代码ImagetargetBehiever禁用，将模型显示在屏幕界面，摄像机打开作为场景背景，若是ImagetargetBehiever可用模型只有在识别卡片的时候显示。对其他同类产品如《小熊尼奥-口袋动物园卡片》只有托举功能，无锁定功能，此项更能更能增加互动交互性。

颜色实时识别创新：其他同类产品多采用卡片类如《小熊尼奥-口袋动物园卡片》，而不是书籍类。这最大的区别在于卡片是预制好的角色颜色，在识别过程中只需要识别卡片信息。颜色使用的是原贴图文件。而《涂游记》采用的是颜色实时识别，随意去绘制任何颜色，游程序控制RGB颜色信息。进行分析能实时显示绘制颜色。达到更高的交互效果。

APP已经实现一些其他的小功能，例如拼图小游戏，语音小故事等后期还将继续研发其它功能。实现APP客户群，针对儿童绘本成长记录、在线绘画课堂、幼儿护理、胎教等功能。

随着网络带宽的不断增加和智能手机的不断普及,以及支持了增强现实技术的浏览器日益增多,增强技术再也不是一个看上去很酷的家用图形和可视化外围技术,而成为了当前技术发展的核心。增强现实可以将额外的信息有效地融合到真实世界中,使得人们生活的环境更加丰富多彩。正是由于这一点,增强现实的新用途正在不断涌现。增强现实已从科学技术研究的最前沿,扩展到了商业、科技、娱乐、营销和教育等各个领域。现在,越来越多的游戏开发者使用增强现实技术给玩家创造了一种全新的娱乐体验。各种各样的公司也不敢落后,纷纷开发各种基于增强现实的宣传手册、商品包装和服务终端。

开展本项目的研究，一方面对于传统绘本书籍升级改造有着广阔的市场前景，产生巨大的社会效益和经济效益。另外一方面，本项目产品可以为公司现有的智能手机APP平台拓展其他少儿母婴信息、绘画学习、绘画成长管理，拓展辅助工程。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (8)

1.增强现实图书，其特征在于，包括图书本体和设置在图书本体上的识别标记图案，在外部装置的配合下，所述增强现实图书能够显示三维模型。

2.基于增强现实图书的教育系统，其特征在于，包括增强现实图书、智能展示终端，以及服务器，其中，

所述增强现实图书设置有识别标识图案，

所述智能展示终端，其设置有图像识别模块和动画交互与声音设别模块，并设置或通信连接摄像头单元，所述摄像头单元用于获取增强现实图书中的图案，所述图像识别模块用于按照预定的方式从图案中提出像素信息，制作成贴图，并附加到模型的材质球上，获得具有预期颜色的模型，并显示于智能展示终端的屏幕上，所述动画交互与声音识别模块用于拼图的交互和语音资源的播放；

所述服务器，用于部署交互程序和存储相关数据信息。

3.如权利要求2所述的基于增强现实图书的教育系统，其特征在于，所述智能展示终端包括手机和平板电脑。

4.如权利要求2所述的基于增强现实图书的教育系统，其特征在于，所述图像识别模块进一步包括用于制作三维模型的子模块，用于制作材质贴图的子模块，用于根据三维模型和材质贴图制作场景的子模块，用于提取颜色的子模块，以及用于将识别到的颜色贴到模型的子模块。

5.基于增强现实图书的互动教育方法，其特征在于，包括如下步骤：

访问服务器，获取与增强现实图书配套的信息；

调整摄像头单元与增强现实图书的位置，使增强现实图书位于摄像头的视野内；

智能终端获取图片的识别信息，并从图片中提取出像素信息，并制成预定格式的贴图，附加到材质球中，获得展示模型并显示于智能终端的显示屏上。

6.如权利要求5所述的基于增强现实图书的互动教育方法，其特征在于，

还包括拼图步骤：拖动破碎的图块至某个区域时，智能终端显示该图块或发出提示。

7.一种基于增强现实图书的互动教育方法，其特征在于，

当用户给增强现实图书中的图案上色时，智能终端通过摄像头获取图案的形状和颜色，并将其叠加到相应的三维模型中，通过智能终端的显示屏显示。

8.如权利要求7所述的基于增强现实图书的互动教育方法，其特征在于，

在显示三维模型时，播放音频或展示动画。