CN103366610A - 基于增强现实的三维互动学习系统及方法 - Google Patents

Abstract

本发明提供了一种基于增强现实的三维互动学习系统及方法，所述系统包括信息处理装置、摄像装置、显示装置和至少一实体教具，所述实体教具设有标识信息；所述摄像装置用于在启动增强现实应用后，对真实环境进行视频采集；所述信息处理装置包括：识别模块，用于识别实体教具上的标识信息；方位计算模块，用于计算出实体教具的空间方位信息；三维渲染模块，用于获取标识信息对应的三维模型并渲染生成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物体放置于视频图像中的相应位置进行显示。借此，本发明能够将真实环境和虚拟物体实时地叠加到了同一场景中，为用户提供更为生动的感官体验，同时利用人类对三维空间认知的本能提高了教学效果。

Description

基于增强现实的三维互动学习系统及方法

技术领域

本发明涉及多媒体互动教学装置技术领域，尤其涉及一种基于增强现实的三维互动学习系统及方法。

背景技术

目前市场上较主流的多媒体教学装置包括早教机、点读机、点读笔、电子书/书包、识字卡片、电脑教育软件。现有多媒体教学装置存在如下缺陷：

1、传统多媒体教学装置的趣味性低，难以调动儿童的主动性。

2、高科教育类的多媒体教学装置操作较为复杂，用户门槛较高。

3、没有很好的可带动家庭互动的多媒体教学装置。

随着计算机时代不断进步，文字和图片在学习中的应用比重越来越大，甚至3～6岁的儿童也开始接触了大量的文字和图像资料。而以往的操作是通过鼠标和键盘，触摸式的平板电脑虽然改变了键盘和鼠标的交互方式，但是依然停留在二维平面交互上。

AR（Augmented Reality，增强现实）是近年来的科学研究热点之一。增强现实也被称之为混合现实，其通过计算机技术，将虚拟信息应用到真实世界，真实环境和虚拟物体实时地叠加到了同一个画面或空间。增强现实提供了在一般情况下，不同于人类可感知的信息。它不仅展现了真实世界的信息，而且将虚拟信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可看到真实的世界围绕着它。增强现实借助计算机图形技术和可视化技术产生真实环境中不存在的虚拟物体，并通过传感技术将虚拟物体准确放置在真实环境中，借助显示设备将虚拟物体与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。增强现实利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户沉浸于该环境中，实现用户和环境直接进行自然交互。但目前尚未有将增强现实技术引入到多媒体教学中的先例。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于增强现实的三维互动学习系统及方法，其能够将真实环境和虚拟物体实时地叠加到了同一场景中，为用户提供更为生动的感官体验，同时利用人类对三维空间认知的本能提高了教学效果。

为了实现上述目的，本发明提供一种基于增强现实的三维互动学习系统，包括信息处理装置、摄像装置、显示装置和至少一个实体教具；

每个所述实体教具上设有一个标识信息，每个所述标识信息对应一个三维模型；

所述摄像装置，用于在增强现实应用启动后，对真实环境进行视频采集；

所述显示装置，用于显示所述真实环境的视频图像；

所述信息处理装置进一步包括：

识别模块，用于当用户将所述实体教具移动至所述摄像装置的拍摄范围时，识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；

方位计算模块，用于计算出所述实体教具的空间方位信息；

三维渲染模块，用于获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

根据本发明所述的三维互动学习系统，所述方位计算模块用于当用户在真实环境中移动所述实体教具时，对所述实体教具进行运动物体跟踪，实时计算出所述实体教具的当前空间方位信息；

所述三维渲染模块用于根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中的相应位置进行同步显示。

根据本发明所述的三维互动学习系统，所述增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源。

根据本发明所述的三维互动学习系统，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。

根据本发明所述的三维互动学习系统，所述方位计算模块用于计算出所述实体教具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息；

所述三维渲染模块用于根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

根据本发明所述的三维互动学习系统，所述三维渲染模块以实时渲染帧率为基准，每渲染M帧时，所述摄像装置采集一张图像，由所述识别模块和所述方位计算模块对所述图像进行处理；从第0帧到第N*M帧的第一期间，所述方位计算模块得到N次所述实体教具的所述空间方位信息；所述三维渲染模块在所述第一期间不激活任何所述虚拟物体；从第NM帧到2N*M帧的第二期间，所述三维渲染模块利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚拟物体上。

根据本发明所述的三维互动学习系统，所述实体教具为教学卡片、教学书籍、教学模具。

根据本发明所述的三维互动学习系统，所述标识信息为二维码。

根据本发明所述的三维互动学习系统，所述三维互动学习系统预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；所述识别模块用于提取出所述实体教具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配，若是则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三维模型。

根据本发明所述的三维互动学习系统，所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i\·T_i}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{T}_i^2}}$

其中T_i为所述模板图案的像素值，S_i为所述二维码的像素值；当S_i趋近于T_i时，r趋近于1，并将提取出来的所述二维码与所述模板图案分别在N个不同朝向上进行比较；或者

所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$

其中E_s为所述二维码的平均灰度，E_t为所述模板图案的平均灰度。

本发明还提供一种基于增强现实的三维互动学习方法，包括步骤有：

在每个实体教具上设置一个标识信息，每个所述标识信息对应一个三维模型；

在增强现实应用启动后，通过摄像装置对真实环境进行视频采集；

显示装置显示所述真实环境的视频图像；

当用户将所述实体教具移动至所述摄像装置的拍摄范围时，信息处理装置识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；

所述信息处理装置计算出所述实体教具的空间方位信息；

所述信息处理装置获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

根据本发明所述的三维互动学习方法，所述信息处理装置计算出所述实体教具的空间方位信息的步骤还包括：

当用户在真实环境中移动所述实体教具时，所述信息处理装置对所述实体教具进行运动物体跟踪，实时计算出所述实体教具的当前空间方位信息；

所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示的步骤还包括：

所述信息处理装置根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中的相应位置进行同步显示。

根据本发明所述的三维互动学习方法，所述增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源。

根据本发明所述的三维互动学习方法，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。

根据本发明所述的三维互动学习方法，所述信息处理装置计算出所述实体教具的空间方位信息的步骤还包括：

所述信息处理装置计算出所述实体教具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息；

所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示的步骤还包括：

所述信息处理装置根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

根据本发明所述的三维互动学习方法，所述信息处理装置根以实时渲染帧率为基准，每渲染M帧时，所述摄像装置采集一张图像，由所述信息处理装置对所述图像进行处理；从第0帧到第N*M帧的第一期间，所述信息处理装置得到N次所述实体教具的所述空间方位信息；所述信息处理装置在所述第一期间不激活任何所述虚拟物体；从第NM帧到2N*M帧的第二期间，所述信息处理装置利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚拟物体上。

根据本发明所述的三维互动学习方法，所述实体教具为教学卡片、教学书籍、教学模具。

根据本发明所述的三维互动学习方法，所述标识信息为二维码。

根据本发明所述的三维互动学习方法，所述信息处理装置识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型的步骤包括：

预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；

所述信息处理装置提取出所述实体教具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配；

若是，则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三维模型。

根据本发明所述的三维互动学习方法，所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i\·T_i}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{T}_i^2}}$

其中T_i为所述模板图案的像素值，S_i为所述二维码的像素值；当S_i趋近于T_i时，r趋近于1，并将提取出来的所述二维码与所述模板图案分别在N个不同朝向上进行比较；或者

所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$

其中E_s为所述二维码的平均灰度，E_t为所述模板图案的平均灰度。

本发明为解决现有多媒体教学装置所存在的趣味性低、教学效果差的问题，提供一种基于增强现实的三维互动学习系统和方法，当用户启动增强现实应用后，系统通过摄像装置进行视频采集，将真实环境显示于显示装置上；此时用户可以将设有标识信息的实体教具移动至摄像装置的拍摄范围，系统识别出实体教具的标识信息和空间方位信息，所述实体教具优选为教学卡片，所述标识信息优选为二维码；然后系统获取所述标识信息对应的三维模型并渲染成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物体放置于视频图像中的相应位置以与真实环境进行混合显示。借此，本发明将增强现实技术引入到多媒体教学装置，将真实环境和虚拟物体实时地叠加到了同一场景中，两种信息相互补充和叠加，给用户带来感官效果真实的全新体验，同时利用人类对三维空间认知的本能来提高用户的学习能力和记忆能力，进而提高了教学效果。更好的是，用户可以随意移动实体教具，系统将对实体教具进行位置跟踪，并控制虚拟物体根据真实空间的动作进行同步显示，以达到由用户控制虚拟物体自由移动的目的，产生丰富的交互体验，实现寓教于乐的效果。本发明尤其适用于少年儿童的多媒体互动教学。

附图说明

图1是本发明基于增强现实的三维互动学习系统的结构示意图；

图2是本发明实施例中实体教具的空间方位信息的计算原理示意图；

图3是本发明实施例中轮廓提取算法的原理示意图；

图4是本发明实施例中四边形检测算法的原理示意图；

图5是本发明实施例中四边形坐标算法的原理示意图；

图6是本发明实施例中模板平面与成像平面的对应关系图；

图7是本发明实施例中二维码与模板图案在四个不同朝向进行比较的原理示意图；

图8是本发明实施例中延迟渲染的原理示意图；

图9是本发明实施例中增强现实应用的多线程运行的原理示意图；

图10是本发明基于增强现实的三维互动学习方法的流程图；

图11是本发明优选基于增强现实的三维互动学习方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明基于增强现实的三维互动学习系统的结构示意图，所述三维互动学习系统100包括信息处理装置10、摄像装置20、显示装置30和至少一个实体教具40，其中：

每个所述实体教具40上设有一个标识信息，每个标识信息对应一个三维模型。

所述实体教具40优选为教学卡片，例如识字卡和识物卡等，当然实体教具40也可以是教学书籍、教学模具等。所述标识信息优选为二维码，所述二维码可由各种字符、图案等构成。实体教具40对应的至少一个词汇、物体、现象等知识。

所述摄像装置20，用于在增强现实应用启动后，对真实环境进行视频采集。

所述摄像装置20优选采用摄像头。更好的是，同时采用普通摄像头和红外摄像头作为摄像装置20，形成优势互补，解决了真实环境光线较弱时二维码输入失效这一致命问题。

所述增强现实应用指的是各类知识教育的应用程序类别，比如大自然，海洋，宇宙等等。每个增强现实应用可有具体的互动方式和游戏逻辑。优选的是，增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源，包括三维模型、图像、音效、动画及其他特效（例如当识字卡出现在视频图像中时，显示对应三维模型并触发烟雾特效）。用户可通过应用浏览器了解各个增强现实应用的基本信息，选择并执行感兴趣的增强现实应用。

所述显示装置30，用于显示真实环境的视频图像。所述显示装置30可以是计算机、通信终端、电视机的屏幕。

所述信息处理装置10可以是计算机、通信终端、电视机等，所述通信终端可以是手机、PDA（Personal Digital Assistant，个人数字助理）、平板电脑等。所述信息处理装置10进一步包括：

识别模块11，用于当用户将实体教具40移动至摄像装置20的拍摄范围时，识别出实体教具40上的标识信息，并分析出所述标识信息对应的三维模型。所述三维模型预存在三维互动学习系统100中。

方位计算模块12，用于计算出实体教具40的空间方位信息。优选的是，方位计算模块12用于计算出实体教具40在实体教具空间坐标系中的二维空间方位信息。并根据摄像装置20的标定参数，将二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息。

三维渲染模块13，用于渲染虚拟三维模型以及其他虚拟环境，优选用于获取标识信息对应的三维模型，并将三维模型渲染生成对应的虚拟物体，并根据实体教具40的空间方位信息，将虚拟物体放置于视频图像中的相应位置，实现虚拟物体与真实环境在显示装置30中进行混合显示。优选的是，三维渲染模块13用于根据实体教具40的三维空间方位信息，将虚拟物体放置于视频图像中的相应位置进行显示。

优选的是，所述信息处理装置10的方位计算模块12用于当用户在真实环境中移动实体教具40时，对实体教具40进行运动物体跟踪，实时计算出实体教具40的当前空间方位信息。三维渲染模块13用于根据当前空间方位信息，控制虚拟物体在视频图像中的相应位置进行同步显示。这样，用户可以随意移动实体教具40，系统100将对实体教具40进行位置跟踪，并控制虚拟物体根据真实空间中实体教具40的动作进行同步显示，以实现由用户控制虚拟物体自由移动的目的，产生丰富的交互体验。

本发明源于计算机图形识别控制技术和三维模型即时渲染技术。

一、计算机图形识别控制技术：计算机视觉技术为增强现实系统提供了重要的应用前提，摄像机标定技术、运动物体跟踪技术以及3D物体的空间注册技术为虚实空间的一致性结合以及实时交互提供了可能。

1、采用摄像头作为视频采集设备，将真实环境显示在屏幕上，并能够对真实环境中的二维码等标识信息进行识别，从而得到码值信息和空间位置信息；

2、按照二维码提供的空间位置信息放置预先创建好的3D虚拟物体，并与真实环境进行混合显示；

3、用户通过移动二维码（即实体教具）即可达到控制虚拟物体自由移动的目的。用户在真实空间移动实体教具（例如带有二维码的识字卡），在屏幕上通过摄像头捕到的图像上投射出的虚拟物体根据真实空间动作进行同步。

二、三维模型即时渲染技术：

1）实现虚拟物体的实时绘制，使其能达到近似照片级别的真实感，使虚拟物体与真实环境之间具有较高的视觉一致性；

2）通过图像的三维建模技术，可使虚拟物体和真实环境的交互成为可能；

3）通过图形学中的几何求交和碰撞检测技术，使增强现实系统中的虚实物体能相互作用，从而产生逼真的物理效果。

另外，本发明通过使用文字、声音、图片、动画、影片等多媒体形式，增强现实系统可为用户提供更为生动的感官体验。

本发明解决儿童在学习词汇、物体、现象等知识过程中枯燥乏味的问题，提供一全新乐趣的视觉感官体验。将虚拟物体投射到荧幕上，让虚幻物体出现在现实世界中。同时可通过人类对3D空间的自然反应去观察物体、了解并且学习各种知识。

图2是本发明实施例中实体教具的空间方位信息的计算原理示意图，所述实体教具40为四边形的识字卡，所述摄像装置20为摄像机。以摄像机空间坐标系（原点O_c，坐标轴为X_c，Y_c，Z_c）为基准坐标系，则识字卡空间方位的提取就是计算识字卡空间坐标系（原点O_m，坐标轴为X_m，Y_m，Z_m）在基准坐标系中的表示。识字卡的空间方位的提取方法具体包括：

1）标记出视频图像中的连通区域。首先需对图像进行二值化，一般使用固定阈值二值化，例如将亮度值高于100的像素设为1，其他设为0。然后在二值图上进行逐行扫描（从左到右、从上到下），对像素值相同且相邻的像素用同一数字进行标记作为连通区域。

2）对于每个连通区域，提取该连通区域的轮廓，并通过直线检测算法验证轮廓是否呈四边形（因为根据透视投影原理，四边形的识字卡在视频图像中的成像应为凸四边形）；对于四边形区域，计算出其四个顶点在图像空间中的二维坐标。

轮廓提取算法：如图3所示，对于每个连通区域，首先找到处于最上边和最左边的边缘点（图b中的深色像素），将其作为轮廓搜索的起始点。再向可能的8个方向（图a）进行搜索，找到有相同标号的像素作为下一个轮廓点。第一次搜索从方向2开始（因为起始点已经处于最上及最左），按逆时针转到方向4时，找到相同标号的像素，作为新的轮廓点。下一次搜索的起始方向为（本次方向+5）对8取模，因此第2次搜索从方向1开始，转到方向3时，找到新轮廓点（图c）。以此类推得到其他轮廓点，直到重新回到起始点算法中止。

四边形检测算法：如图4所示，首先遍历整个轮廓点序列，找到与起始点（序号为0）距离最远的点，标记为n₁，然后分别对（0，n₁）和（n₁，0）的两个分段进行处理。在（0，n₁）上，搜索距离0点和n₁点的连线最远的点，如果距离超过给定的阈值，则表明找到了新的顶点，标记为n₂，然后继续处理（0，n₂）和（n₂，n₁）分段。递归过程中，如果找到3个顶点（包括起始点共4个顶点），则证明轮廓为四边形。

四边形坐标算法：利用摄像机标定参数，将图像空间的二维坐标换算为摄像机空间的三维坐标，转换公式1。

$(x_i,y_i)=(x_c,y_c,1)\left(\begin{array}{cc}{s}_x& 0\\ 0& s_y\\ c_x& c_y\end{array}\right)$ （公式1）

（x_i，y_i）为图像像素坐标（原点在图像左上角），而（x_c，y_c）为该图像像素在摄像机坐标系中的表示；s_x，s_y为缩放因子，单位为像素每毫米（pixel/mm），（c_x，c_y）为摄像机坐标系的z_c轴与成像平面交点所在的像素坐标。此外，由于成像平面与摄像机的距离等于摄像机的焦距f，因此成像平面上所有点的z坐标均为f。由此，可计算出图像上四边形四个顶点P0～P3在摄像机坐标系中的表示，如图5所示。

根据平行线投影原理，计算识字卡坐标系轴向量（X_m，Y_m，Z_m）在摄像机坐标系中的表示。正方形识字卡与轴向量X_m平行的两条边分别为C₀C₁和C₂C₃，记平面O_cC₀C₁（如上图所示黄色平面A）的法线为n₁，平面O_cC₂C₃（紫色平面B）的法线为n₂，则轴向量X_m=n₁*n₂（x表示向量叉乘运算）。此外，由于C₀C₁与C₂C₃在成像平面上的投影分别为P₀P₁和P₂P₃，而P₀～P₃的坐标已知，因此n1=O_cP₀*O_cP₁，n2=O_cP₂*O_cP₃。同理计算得到轴向量Y_m，而轴向量Z_m=X_m*Y_m；

计算摄像机空间中识字卡中心O_m在摄像装置空间坐标系中的表示。如图5所示，由于已经得到（X_m，Y_m，Z_m），且已知识字卡尺寸为s，则识字卡顶点可表达为C₀=O_m+(-s/2)X_m+(s/2)Y_m，将C₀及其在成像平面上的投影P₀的坐标值代入公式2（透视投影方程）中，即可得到关于O_m的方程。同样方法应用于C₁，C₂，C₃，通过解方程组的形势，计算出

(公式2)

三维互动学习系统100预存有至少一个模板图案，每个模板图案对应一个三维模型。识别模块11用于提取出实体教具40上的二维码，通过预定的图像匹配算法识别二维码与模板图案是否匹配，若是则判定匹配的模板图案对应的三维模型为实体教具40对应的三维模型。

下面对识字卡为例，对二维码识别进行详细描述：

将每一个检测得到的四边形图像区域，与系统数据库中的模板图案进行比较，找到最佳匹配，并记录模板图案的编号。

模板图案具有统一的分辨率，如32*32，因此在比较之前，需对四边形图像区域进行归一化处理，即利用透视投影单应矩阵变换，将四边形区域变形为正方形区域。如图6，对于模板图像平面上任意一点（x_t，y_t），通过单应矩阵（公式3）可得到它在成像平面上投影点的坐标（x_i，y_i），并将（x_i，y_i）的像素值赋予(x_t，y_t)。为求解单应矩阵各项的值，代入正方形模板平面四个顶点的坐标，如(0，0)，(32，0)，(32，32)，(32，0)，以及先前求得的成像平面上四边形的顶点坐标，列方程组求解。

$w\·\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)=H\·\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right)\·\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right),$ （公式3）

图像匹配算法的原理如公式4所示，其中T_i为模板图案的像素值，S_i为二维码的像素值。当S_i趋近于T_i时，r趋近于1。由于识字卡可任意翻转，因此需将提取出来的图案与模板在四个不同朝向的图案进行比较，如图7所示。

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i\·T_i}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{T}_i^2}}$ （公式4）

此外，为了减轻变化的光照环境对图像匹配的影响，可首先统计出整个图像的平均灰度，并用单一像素值减去平均灰度，如公式5所示。

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$ （公式5）

其中E_s为二维码的平均灰度，E_t为模板图案的平均灰度。

当二维码移动速度过快或偏离摄像头拍摄角度过大时，很容易发生二维码识别瞬时失败的情况，进而造成与其关联的虚拟物体的显示发生卡顿现象，严重影响到用户体验。为了解决该问题，本发明采用延迟渲染技术，首先对当前帧以前的若干二维码识别结果进行备份，并将其对虚拟物体的运动驱动延迟相应的帧数，从而为实时处理视频输入预留出一定时间边际；虚拟物体的瞬时位置并不直接对应于二维码的空间位置，而是由前面几帧二维码的位置插值得到，从而大大提高了虚拟物体移动的平滑性。

本发明延迟渲染技术的思想是：三维渲染模块13以实时渲染帧率为基准，每渲染M帧时，摄像装置20采集一张图像，由识别模块11和方位计算模块12对图像进行处理。从第0帧到第N*M帧的第一期间，方位计算模块12得到N次实体教具40的空间方位信息。三维渲染模块13在第一期间不激活任何虚拟物体。从第NM帧到2N*M帧的第二期间，三维渲染模块13利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的实体教具40的空间方位信息，并作用于虚拟物体上。

图8是本发明实施例中延迟渲染的原理示意图，以渲染引擎实时渲染帧率为基准，每渲染n帧时，摄像机采集一张图像；视觉引擎对图像进行处理，提取识字卡的方位。第0帧到第3n帧，视觉引擎得到4次识字卡的方位；这期间，渲染引擎不激活任何虚拟物体，即所谓延迟渲染。第3n帧到6n帧，渲染引擎利用视觉捕捉前4次的结果构造三次贝塞尔曲线，从而估算得到任何一帧的识字卡方位，并作用于虚拟物体上。

延迟渲染会造成虚拟物体的移动会滞后于真实的识字卡。如果实时渲染的帧率为30帧每秒，取n=3，则延迟3n帧等于延迟9/30=0.3秒，因此对人机互动的影响很小。随着渲染帧率的提升，实际延迟时间会进一步缩短。

为了避免图像采集过程占用过多的CPU时间，进而导致应用程序出现卡顿现象，本发明的增强现实应用采用了多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。如图9所示，将图像采集操作放入背景线程中运行，而在主线程负责运行程序主要逻辑和渲染操作。

图10是本发明基于增强现实的三维互动学习方法的流程图，其可通过如图1所示的三维互动学习系统100实现，包括步骤有：

步骤S101，在每个实体教具40上设置一个标识信息，每个所述标识信息对应一个三维模型。

所述实体教具40优选为教学卡片，例如识字卡和识物卡等，当然实体教具40也可以是教学书籍、教学模具等。所述标识信息优选为二维码，所述二维码可由各种字符、图案等构成。实体教具40对应的至少一个词汇、物体、现象等知识。

步骤S102，在增强现实应用启动后，通过摄像装置20对真实环境进行视频采集。

所述摄像装置20优选采用摄像头。更好的是，同时采用普通摄像头和红外摄像头作为摄像装置20，形成优势互补，解决了真实环境光线较弱时二维码输入失效这一致命问题。

所述增强现实应用指的是各类知识教育的应用程序类别，比如大自然，海洋，宇宙等等。每个增强现实应用可有具体的互动方式和游戏逻辑。优选的是，增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源，包括三维模型、图像、音效、动画及其他特效（例如当识字卡出现在视频图像中时，显示对应三维模型并触发烟雾特效）。用户可通过应用浏览器了解各个增强现实应用的基本信息，选择并执行感兴趣的增强现实应用。优选的是，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。

步骤S103，显示装置30显示所述真实环境的视频图像。

所述显示装置30可以是计算机、通信终端、电视机的屏幕。

步骤S104，当用户将所述实体教具40移动至所述摄像装置20的拍摄范围时，信息处理装置10识别出所述实体教具40上的所述标识信息，并分析出所述标识信息对应的所述三维模型。

所述信息处理装置10可以是计算机、通信终端、电视机等，所述通信终端可以是手机、PDA、平板电脑等。所述三维模型预存在三维互动学习系统100中。

步骤S105，所述信息处理装置10计算出所述实体教具40的空间方位信息。

本步骤优选的是，当用户在真实环境中移动所述实体教具40时，所述信息处理装置10对所述实体教具40进行运动物体跟踪，实时计算出所述实体教具40的当前空间方位信息。

步骤S106，所述信息处理装置10获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生成对应的虚拟物体，并根据所述实体教具40的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

本步骤优选的是，所述信息处理装置10根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中的相应位置进行同步显示。

优选的是，所述步骤S104包括：

1）预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型。

2）所述信息处理装置10提取出所述实体教具40上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配。

3）若是，则判定匹配的所述模板图案对应的所述三维模型为所述实体教具40对应的所述三维模型。

所述图像匹配算法的公式为：

其中T_i为所述模板图案的像素值，S_i为所述二维码的像素值。当S_i趋近于T_i时，r趋近于1，并将提取出来的所述二维码与所述模板图案分别在N个不同朝向上进行比较。或者

所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$

其中E_s为所述二维码的平均灰度，E_t为所述模板图案的平均灰度。

优选的是，所述步骤S105还包括：所述信息处理装置10计算出所述实体教具40在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置20的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息。

优选的是，所述步骤S106还包括：所述信息处理装置10根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

优选的是，所述步骤S106还包括：所述信息处理装置10根以实时渲染帧率为基准，每渲染M帧时，所述摄像装置20采集一张图像，由所述信息处理装置10对所述图像进行处理。从第0帧到第N*M帧的第一期间，所述信息处理装置10得到N次所述实体教具40的所述空间方位信息。所述信息处理装置10在所述第一期间不激活任何所述虚拟物体。从第NM帧到2N*M帧的第二期间，所述信息处理装置10利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具40的所述空间方位信息，并作用于所述虚拟物体上。

本发明利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户沉浸与该环境中，实现用户和环境自然交互。通过互动可寓教于乐，把语言学习，图像认知和三维数字模型有机地联系到了一起，用户就越容易记住所学的内容。研究证明，本发明可以促使学习效率提高10～20％，同时可大大提升大脑记忆效果。

图11是本发明优选基于增强现实的三维互动学习方法的流程图，其可通过如图1所示的三维互动学习系统100实现，本实施例中的信息处理装置10采用计算机，摄像装置20采用摄像头，显示装置30采用计算机屏幕，实体教具40采用教学卡片，且所述教学卡片上设有二维码。所述方法包括步骤有：

步骤S111，用户通过互联网获得若干个AR（增强现实）应用。AR应用指的是各类知识教育的应用程序类别，比如大自然，海洋，宇宙等等。

步骤S112，用户启动一个AR应用。

步骤S113，AR应用启动后，摄像头开始工作。即采用摄像头作为视频采集设备对真实环境进行视频采集。

步骤S114，将真实环境显示在计算机屏幕上。

步骤S115，用户在摄像头前移动教学卡片，该教学卡片上设有二维码。用户此时即可将二维码移动至摄像头的拍摄范围内并随意移动二维码的位置。

步骤S116，系统对教学卡片的二维码进行自动跟踪和识别。

步骤S117，系统将二维码对应的3D虚拟物品显示在计算机屏幕上。

步骤S118，用户通过交互来提供真实背景图像中隐含的三维信息，从而使3D虚拟物体能与这些三维信息进行直接交互，大大提高系统的互动娱乐性。

步骤S119，用户退出应用。

借此，用户可通过教学卡片在摄像头前面的识别，激活三维模型和动画的显示；通过对教学卡片的空间移动，旋转进行交互，而产生丰富的交互体验。

综上所述，本发明为解决现有多媒体教学装置所存在的趣味性低、教学效果差的问题，提供一种基于增强现实的三维互动学习系统和方法，当用户启动增强现实应用后，系统通过摄像装置进行视频采集，将真实环境显示于显示装置上；此时用户可以将设有标识信息的实体教具移动至摄像装置的拍摄范围，系统识别出实体教具的标识信息和空间方位信息，所述实体教具优选为教学卡片，所述标识信息优选为二维码；然后系统获取所述标识信息对应的三维模型并渲染成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物体放置于视频图像中的相应位置以与真实环境进行混合显示。借此，本发明将增强现实技术引入到多媒体教学装置，将真实环境和虚拟物体实时地叠加到了同一场景中，两种信息相互补充和叠加，给用户带来感官效果真实的全新体验，同时利用人类对三维空间认知的本能来提高用户的学习能力和记忆能力，进而提高了教学效果。更好的是，用户可以随意移动实体教具，系统将对实体教具进行位置跟踪，并控制虚拟物体根据真实空间的动作进行同步显示，以达到由用户控制虚拟物体自由移动的目的，产生丰富的交互体验，实现寓教于乐的效果。本发明尤其适用于少年儿童的多媒体互动教学。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (20)

1.一种基于增强现实的三维互动学习系统，其特征在于，包括信息处理装置、摄像装置、显示装置和至少一个实体教具；

每个所述实体教具上设有一个标识信息，每个所述标识信息对应一个三维模型；

所述摄像装置，用于在增强现实应用启动后，对真实环境进行视频采集；

所述显示装置，用于显示所述真实环境的视频图像；

所述信息处理装置进一步包括：

识别模块，用于当用户将所述实体教具移动至所述摄像装置的拍摄范围时，识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；

方位计算模块，用于计算出所述实体教具的空间方位信息；

三维渲染模块，用于获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

2.根据权利要求1所述的三维互动学习系统，其特征在于，所述方位计算模块用于当用户在真实环境中移动所述实体教具时，对所述实体教具进行运动物体跟踪，实时计算出所述实体教具的当前空间方位信息；

所述三维渲染模块用于根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中的相应位置进行同步显示。

3.根据权利要求2所述的三维互动学习系统，其特征在于，所述增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源。

4.根据权利要求2所述的三维互动学习系统，其特征在于，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。

5.根据权利要求2所述的三维互动学习系统，其特征在于，所述方位计算模块用于计算出所述实体教具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息；

所述三维渲染模块用于根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

6.根据权利要求2所述的三维互动学习系统，其特征在于，所述三维渲染模块以实时渲染帧率为基准，每渲染M帧时，所述摄像装置采集一张图像，由所述识别模块和所述方位计算模块对所述图像进行处理；从第0帧到第N*M帧的第一期间，所述方位计算模块得到N次所述实体教具的所述空间方位信息；所述三维渲染模块在所述第一期间不激活任何所述虚拟物体；从第NM帧到2N*M帧的第二期间，所述三维渲染模块利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚拟物体上。

7.根据权利要求2所述的三维互动学习系统，其特征在于，所述实体教具为教学卡片、教学书籍、教学模具。

8.根据权利要求1～7任一项所述的三维互动学习系统，其特征在于，所述标识信息为二维码。

9.根据权利要求8所述的三维互动学习系统，其特征在于，所述三维互动学习系统预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；所述识别模块用于提取出所述实体教具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配，若是则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三维模型。

10.根据权利要求9所述的三维互动学习系统，其特征在于，所述图像匹配算法的公式为： $r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i\·T_i}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{T}_i^2}}$

其中T_i为所述模板图案的像素值，S_i为所述二维码的像素值；当S_i趋近于T_i时，r趋近于1，并将提取出来的所述二维码与所述模板图案分别在N个不同朝向上进行比较；或者

所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$

其中E_s为所述二维码的平均灰度，E_t为所述模板图案的平均灰度。

11.一种基于增强现实的三维互动学习方法，其特征在于，包括步骤有：

在每个实体教具上设置一个标识信息，每个所述标识信息对应一个三维模型；

在增强现实应用启动后，通过摄像装置对真实环境进行视频采集；

显示装置显示所述真实环境的视频图像；

当用户将所述实体教具移动至所述摄像装置的拍摄范围时，信息处理装置识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；

所述信息处理装置计算出所述实体教具的空间方位信息；

所述信息处理装置获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

12.根据权利要求11所述的三维互动学习方法，其特征在于，所述信息处理装置计算出所述实体教具的空间方位信息的步骤还包括：

当用户在真实环境中移动所述实体教具时，所述信息处理装置对所述实体教具进行运动物体跟踪，实时计算出所述实体教具的当前空间方位信息；

所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示的步骤还包括：

所述信息处理装置根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中的相应位置进行同步显示。

13.根据权利要求12所述的三维互动学习方法，其特征在于，所述增强现实应用启动后，根据具体的应用逻辑使用各种多媒体资源。

14.根据权利要求12所述的三维互动学习方法，其特征在于，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。

15.根据权利要求12所述的三维互动学习方法，其特征在于，所述信息处理装置计算出所述实体教具的空间方位信息的步骤还包括：

所述信息处理装置计算出所述实体教具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息；

所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示的步骤还包括：

所述信息处理装置根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。

16.根据权利要求12所述的三维互动学习方法，其特征在于，所述信息处理装置根以实时渲染帧率为基准，每渲染M帧时，所述摄像装置采集一张图像，由所述信息处理装置对所述图像进行处理；从第0帧到第N*M帧的第一期间，所述信息处理装置得到N次所述实体教具的所述空间方位信息；所述信息处理装置在所述第一期间不激活任何所述虚拟物体；从第NM帧到2N*M帧的第二期间，所述信息处理装置利用视觉捕捉前N次的结果构造N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚拟物体上。

17.根据权利要求12所述的三维互动学习方法，其特征在于，所述实体教具为教学卡片、教学书籍、教学模具。

18.根据权利要求11～17任一项所述的三维互动学习方法，其特征在于，所述标识信息为二维码。

19.根据权利要求18所述的三维互动学习方法，其特征在于，所述信息处理装置识别出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型的步骤包括：

预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；

所述信息处理装置提取出所述实体教具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配；

若是，则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三维模型。

20.根据权利要求19所述的三维互动学习方法，其特征在于，所述图像匹配算法的公式为： $r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i\·T_i}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{S}_i^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{T}_i^2}}$

其中T_i为所述模板图案的像素值，S_i为所述二维码的像素值；当S_i趋近于T_i时，r趋近于1，并将提取出来的所述二维码与所述模板图案分别在N个不同朝向上进行比较；或者

所述图像匹配算法的公式为：

$r=\frac{{\mathrm{\Σ}}_{i=0}^{N-1}(S_i-E_s)\·(T_i-E_t)}{\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_s)}^2}\·\sqrt{{\mathrm{\Σ}}_{i=0}^{N-1}{(S_i-E_t)}^2}},E_s={\mathrm{\Σ}}_{i=0}^{N-1}{S}_i,E_t={\mathrm{\Σ}}_{i=0}^{N-1}{T}_i$

其中E_s为所述二维码的平均灰度，E_t为所述模板图案的平均灰度。

Images