CN107452056B - 一种增强现实的教学系统及其控制方法 - Google Patents

Abstract

本发明公开了一种增强现实的教学系统，包括前置部件和与前置部件相连接的展示部件，所述的前置部件包括用于获取图片信息的摄像头、匹配处理模块、图片库、动态信息匹配库，所述的摄像头对准图片库中的图片，所述图片库中的图片分别与动态信息匹配库中教学信息对应，所述的匹配处理模块分别连接摄像头、图片库、动态信息匹配库以及展示部件；本发明还公开了该教学系统的控制方法。利用本发明一种增强现实的教学系统能够增加更加形象的展现教学内容，具有开发成本低、交互效果好的特点。将该控制方法用于本发明的一种增强现实的教学系统中能够更好的给用户展示教学内容。

Description

一种增强现实的教学系统及其控制方法

技术领域

本发明涉及虚拟与现实的教育领域，更具体地说，尤其涉及一种增强现实的教学系统；本发明还涉及该系统的控制方法。

背景技术

增强现实技术是运用图像识别、虚拟现实的方法，将虚拟的文字、图片、语音等不同的数据展现到现有的世界里。在目前的主流框架中，主要是基于移动设备的摄像头来进行内容读取的，采用的方法有基于内容本身特性进行识别和基于地理位置来获取内容。

基于内容本身特性进行识别的方法往往需要经过一系列复杂的数学计算后，才能有效的识别其中内容。但是此类方法容易受到各种环境因素的影响，在识别内容的过程中也可能会产生一定误差，难以确保足够的准确性。再者，这些复杂的数学运算对设备的计算性能要求较高，会增加实现的成本。

而基于地理位置来获取内容的方法主要依赖于设备自身的GPS、各类传感器等获取信息，当传感器有效的定位设备所在位置后，设备内置的相关程序会将位置信息与内容信息进行匹配，然后在显示端进行展示。但是此类方法会导致设备消耗大量的电能，使设备发热从而出现响应慢等问题，影响体验效果，降低了实用性。

针对上述主流框架中存在的不足，当前还缺乏有效的解决方案。因此，亟待开发一种成本低、交互效果好的增强现实的教学系统。

发明内容

本发明的前一目的在于提供一种增强现实的教学系统，利用该教学系统进行教学能够增加更加形象的展现教学内容，具有开发成本低、交互效果好的特点。本发明的后一目的在于提供该种教学系统的控制方法，将该控制方法用于本发明的一种增强现实的教学系统中能够更好的给用户展示教学内容。

本发明前一技术方案如下：

一种增强现实的教学系统，包括前置部件和与前置部件相连接的展示部件，所述的前置部件包括用于获取图片信息的摄像头、匹配处理模块、图片库、动态信息匹配库，所述的摄像头对准图片库中的图片，所述图片库中的图片分别与动态信息匹配库中教学信息对应，所述的匹配处理模块分别连接摄像头、图片库、动态信息匹配库以及展示部件。

优选的，所述的展示部件包括渲染模块和显示模块，所述的渲染模块分别与匹配处理模块和显示模块连接。

优选的，所述的展示部件还包括交互优化模块，所述的渲染模块通过交互优化模块与显示模块连接。

优选的，所述的前置部件还包括使摄像头移动以获取不同的教学资料的移动装置，所述的移动装置的动力输出端连接摄像头。

本发明后一技术方案如下：

一种增强现实的教学系统的控制方法，其特征在于，包括以下步骤：

(1)用户将摄像头移动至想要学习的教学图片上，摄像头从该图片中获取图片信息发送至匹配处理模块；

(2)匹配处理模块接收到图片信息后，与图片库中的图片进行逐一比对，找出图片库中与图片信息相一致的图片；

(3)将图片库中找到的与图片信息相一致的图片信息返回匹配处理模块，匹配处理模块(发送查询信息至动态信息匹配库获取与该图片信息对应的教学信息；

(4)匹配处理模块接收到与该图片信息对应的教学信息后，根据对应的教学信息中的建模数据信息构建虚拟教学模型；

(5)匹配处理模块将对应的教学信息中的其他信息以及构建的虚拟教学模型发送至展示部件(2)进行优化渲染后输出显示。

优选的，在所述的步骤(2)中，将获得的图片信息与图片库中的某一图片进行比对时，包括如下步骤：

(2.1)将获得的图片的图片中心100x100区域和四个角50x50区域分别进行计算获取灰度值、Moravec角点值、SUSAN角点值、Harris角点值，再将图片库中的某一图片的相同区域分别进行计算后获取区域对应的灰度值、Moravec角点值、SUSAN角点值、Harris角点值，将两幅图片计算所获得的灰度值、Moravec角点值、SUSAN角点值、Harris角点值组成特征集合，表示如下：

其中，A集合为获得的图片的特征集合；B_j集合为图片库中第j幅图片的特征集合。a₁为获得的图片的灰度值，a₂为获得的图片的Moravec角点值，a₃为获得的图片的SUSAN角点值，a₄为获得的图片的Harris角点值，b₁为图片库中第j幅图片的灰度值，b₂为图片库中第j幅图片的Moravec角点值，b₃为图片库中第j幅图片的SUSAN角点值，b₄为图片库中第j幅图片的Harris角点值；

(2.2)选择A集合中任意一个特征a_i，分别计算与B集合各个特征之间的距离，计算方法如下：

d(a_i,b_j)＝|a_i-b_j|；

(2.3)计算总的距离，这里采用权重方法计算：

D_ij＝θ₁(a_i,b₁)+θ₂(a_i,b₂)+θ₃(a_i,b₃)+θ₄(a_i,b₄)，

其中，θ_i表示权重，计算方法如下：

(2.4)重复步骤(2.2)至步骤(2.3)，得到集合D_j＝{D_1j,D_2j,D_3j,D_4j}，计算求和：

D_j＝D_1j+D_2j+D_3j+D_4j；

(2.5)重复步骤(2.1)至步骤(2.4)，得到集合D＝{D₁,D₂,D₃,…,D_j}；

(2.6)分别对比D₁,D₂,D₃,…,D_j，选出值最小的D_j，即图片库(13)中第j幅图片为匹配图片。

优选的，在所述的步骤(4)中，在展示部件构建虚拟教学模型时，需要将教学模型进行优化并与现实场景相结合，采用删除法减少建模的计算量，所述的删除法包括以下步骤：

(4.1)计算预设教学模型的三角形每一面的误差矩阵M_i，计算方法如下：

其中，设定三角形面的最高顶点空间坐标p_i为[x,y,z,1]，则存在一个公式为：

ax+by+cz+d＝0,

且系数a,b,c,d满足如下公式：

a²+b²+c²＝1；

(4.2)然后根据

来计算约减后的误差值；

(4.3)对每个误差值进行升序排序；

(4.4)根据排序顺序依次删除相应的三角形面；

(4.5)若删除后误差达到了预设的值T，则结束删除，否则持续删除。

优选的，在所述的步骤(5)中，在展示部件(2)进行优化渲染后，还将其经过交互优化模块(23)处理。

优选的，所述的交互优化模块是根据所生成的虚拟教学模型的网格四条边中点的高程值进行求导，求导公式如下：

其中，y表示高程值，x表示中点的横坐标，δ表示参数，取值为0.6；

设变量d为：

真实参数A计算公式如下：

A²＝logM(|y|)-logd–A,

真实补偿参数B计算公式如下：

求出虚拟教学建模的真实参数和真实补偿参数后，按所得真实参数和真实补偿参数对所生成的虚拟教学模型重新建模后得到优化的教学模型。

与现有技术相比，本发明具有的有益效果为：

1.本发明的一种增强现实的教学系统，包括前置部件和与前置部件相连接的展示部件，所述的前置部件包括用于获取图片信息的摄像头、匹配处理模块、图片库、动态信息匹配库，所述的摄像头对准图片库中的图片，所述图片库中的图片分别与动态信息匹配库中教学信息对应，所述的匹配处理模块分别连接摄像头、图片库、动态信息匹配库以及展示部件。通过摄像头获取图片信息，再从图片库中搜索相匹配的图片，确认需要学习的目标后，从动态信息匹配库获取对应教学信息，根据相应教学信息生产虚拟教学模型，使用户能够增加更加形象的观看教学内容，该系统所要求的设备较传统的增强现实观感系统配置更低，开发成本更少，交互效果更好，更加展现了增强现实技术的科技效果。

2.本发明的一种增强现实的教学系统的控制方法能够使系统中各部件发挥其自身作用，将用户想要了解的内容以立体的形式呈现，更好的给用户展示教学内容。

附图说明

图1是本发明的一种增强现实的教学系统的方框图；

图2是本发明一种增强现实的教学系统的控制方法的流程图。

具体实施方式

下面结合具体实施方式，对本发明的技术方案作进一步的详细说明，但不构成对本发明的任何限制。

如图1所示，本发明的一种增强现实的教学系统，包括前置部件1和与前置部件1相连接的展示部件2，所述的前置部件1包括用于获取图片信息的摄像头11、匹配处理模块12、图片库13、动态信息匹配库14，所述的摄像头11对准图片库13中的图片，所述图片库13中的图片分别与动态信息匹配库14中教学信息对应，所述的匹配处理模块12分别连接摄像头11、图片库13、动态信息匹配库14以及展示部件2。通过摄像头11获取图片信息，再从图片库12中搜索出相匹配的图片，以确认需要学习的目标后，从动态信息匹配库14获取对应教学信息，根据相应教学信息生产虚拟教学模型，使用户能够增加更加形象的观看教学内容，该系统所要求的设备较传统的增强现实观感系统配置更低，开发成本更少，交互效果更好，更加展现了增强现实技术的科技效果。

所述的展示部件2包括渲染模块21和显示模块22，所述的渲染模块21分别与匹配处理模块12和显示模块22连接，匹配处理模块12将从动态信息匹配库14搜索出的与获取相匹配的图片所对应的教学信息后，根据所获得的教学信息中的建模信息构建教学模型，并将教学模型信息发送至展示部件2，由渲染模块21对教学模型进行优化渲染，补充贴图和声音等信息后从显示模块22输出显示给用户。

所述的展示部件2还包括交互优化模块23，所述的渲染模块21通过交互优化模块23与显示模块22连接，交互优化模块23能对优化渲染后的教学模型进行显示效果和读取速度方面的优化，使显示效果更好读取效率更高。

所述的前置部件1还包括使摄像头11移动以获取不同的教学资料的移动装置15，所述的移动装置15的动力输出端连接摄像头11，利用移动装置15控制摄像头11移动，以获得更多不同的教学内容。

本发明的一种增强现实的教学系统的控制方法，包括以下步骤：

(1)用户将摄像头11移动至想要学习的教学图片上，摄像头11从该图片中获取图片信息发送至匹配处理模块12。获取图片信息前先要将摄像头信号初始化，并将匹配处理模块12于图片库13连接。

(2)匹配处理模块12接收到摄像头11发送的图片信息后，将其与图片库13中的图片进行逐一比对，找出图片库13中与图片信息相一致的图片。

其中，将获得的图片信息与图片库13中的某一图片进行比对时，利用局部匹配特征，即对所获得的图片的某一处位置与图片库13中模板图的相同区域的特征进行匹配。包括如下步骤：

(2.1)将获得的图片的图片中心100x100区域和四个角50x50区域分别进行计算获取灰度值、Moravec角点值、SUSAN角点值、Harris角点值，再将图片库13中的某一图片的相同区域分别进行计算后获取区域对应的灰度值、Moravec角点值、SUSAN角点值、Harris角点值，将两幅图片计算所获得的灰度值、Moravec角点值、SUSAN角点值、Harris角点值组成特征集合，表示如下：

其中，A集合为获得的图片的特征集合；B_j集合为图片库13中第j幅图片的特征集合。a₁为获得的图片的灰度值，a₂为获得的图片的Moravec角点值，a₃为获得的图片的SUSAN角点值，a₄为获得的图片的Harris角点值，b₁为图片库13中第j幅图片的灰度值，b₂为图片库13中第j幅图片的Moravec角点值，b₃为图片库13中第j幅图片的SUSAN角点值，b₄为图片库13中第j幅图片的Harris角点值。

(2.2)选择A集合中任意一个特征a_i，a_i为A集合中的第i个特征值，分别计算与B集合各个特征之间的距离，计算方法如下：

d(a_i,b_j)＝|a_i-b_j|；

(2.3)计算总的距离，这里采用权重方法计算：

D_ij＝θ₁(a_i,b₁)+θ₂(a_i,b₂)+θ₃(a_i,b₃)+θ₄(a_i,b₄)，

其中，θ_i表示权重，i为A集合中的第i个特征，计算方法如下：

(2.4)重复步骤(2.2)至步骤(2.3)，得到集合D_j＝{D_1j,D_2j,D_3j,D_4j}，计算求和：

D_j＝D_1j+D_2j+D_3j+D_4j；

(2.5)重复步骤(2.1)至步骤(2.4)，得到集合D＝{D₁,D₂,D₃,…,D_j}；

(2.6)分别对比D₁,D₂,D₃,…,D_j，选出值最小的D_j，即图片库13中第j幅图片为匹配图片。

(3)将图片库13中找到的与图片信息相一致的图片信息返回匹配处理模块12，匹配处理模块12发送查询信息至动态信息匹配库14获取与该图片信息对应的教学信息。教学信息包括了建模数据信息、贴图文件、声音信息等，贴图文件包括动态贴图文件和静态贴图文件。

(4)匹配处理模块12接收到与该图片信息对应的教学信息后，根据对应的教学信息中的建模数据信息构建虚拟教学模型。

其中，在展示部件2构建虚拟教学模型时，需要将教学模型进行优化并与现实场景相结合，采用删除法减少建模的计算量，提高系统的响应速度，所述的删除法包括以下步骤：

(4.1)计算预设教学模型的三角形每一面的误差矩阵M_i，计算方法如下：

其中，i为教学模型的三角形中第i个面，设定三角形面的最高顶点空间坐标p_i为[x,y,z,1]，则存在一个公式为：

ax+by+cz+d＝0,

系数a,b,c,d分别与误差矩阵M_i中的系数a,b,c,d对应，且满足如下公式：

a²+b²+c²＝1；

(4.2)然后根据

来计算约减后的误差值，

为p_i的转置矩阵；

(4.3)对每个误差值进行升序排序；

(4.4)根据排序顺序依次删除相应的三角形面；

(4.5)若删除后误差达到了预设的值T，则结束删除，否则持续删除。

(5)匹配处理模块12将对应的教学信息中的其他信息以及构建的虚拟教学模型发送至展示部件2进行优化渲染后输出显示。其中，优化渲染的材料包括贴图文件、声音信号等，贴图文件包括动态贴图文件和静态贴图文件。显示模块22用于将优化渲染后的教学模型与现实场景结合，并进行显示。

在展示部件2进行优化渲染后，还将其经过交互优化模块23处理，用于增强显示效果和提高读取速度，增强显示效果包括优化虚拟教学模型的对比度、逼真度、像素化操作，读取速度提高包括内容提炼、模型线条优化、降低模型复杂度操作。所述的交互优化模块23是根据所生成的虚拟教学模型的网格四条边中点的高程值进行求导，求导公式如下：

其中，y表示高程值，x表示中点的横坐标，δ表示参数，取值为0.6，dy为高程值的定积分；

设变量d为：

真实参数A计算公式如下：

A²＝logM(|y|)-logd–A,

真实补偿参数B计算公式如下：

建模的真实参数表示建模的复杂情况和精细程度，参数值越小则复杂度更高，更加精细。而真实补偿参数表示模型表面的起伏情况，值越大表面起伏就越多，这样就更贴近真实物体。求出虚拟教学模型建模的真实参数和真实补偿参数后，按所得真实参数和真实补偿参数对所生成的虚拟教学模型重新建模后得到优化的教学模型。

以上所述仅为本发明的较佳实施例，凡在本发明的精神和原则范围内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种增强现实的教学系统，其特征在于，包括前置部件(1)和与前置部件(1)相连接的展示部件(2)，所述的前置部件(1)包括用于获取图片信息的摄像头(11)、匹配处理模块(12)、图片库(13)、动态信息匹配库(14)，所述的摄像头(11)对准图片库(13)中的图片，所述图片库(13)中的图片分别与动态信息匹配库(14)中教学信息对应，所述的匹配处理模块(12)分别连接摄像头(11)、图片库(13)、动态信息匹配库(14)以及展示部件(2)；

所述的展示部件(2)包括渲染模块(21)和显示模块(22)，所述的渲染模块(21)分别与匹配处理模块(12)和显示模块(22)连接；

所述的展示部件(2)还包括交互优化模块(23)，所述的渲染模块(21)通过交互优化模块(23)与显示模块(22)连接；

增强现实的教学系统的控制系统包括以下步骤：

(1)用户将摄像头(11)移动至想要学习的教学图片上，摄像头(11)从该图片中获取图片信息发送至匹配处理模块(12)；

(2)匹配处理模块(12)接收到图片信息后，与图片库(13)中的图片进行逐一比对，找出图片库(13)中与图片信息相一致的图片；

(3)将图片库(13)中找到的与图片信息相一致的图片返回匹配处理模块(12)，匹配处理模块(12)发送查询信息至动态信息匹配库(14)获取与该图片信息对应的教学信息；

(4)匹配处理模块(12)将接收到与该图片信息对应的教学信息后，根据对应的教学信息中的建模数据信息构建虚拟教学模型；

(5)匹配处理模块(12)对应的教学信息中的其他信息以及构建的虚拟教学模型发送至展示部件(2)进行优化渲染后输出显示；

在所述的步骤(5)中，虚拟教学模型在展示部件(2)进行优化渲染后，还将其经过交互优化模块(23)处理；

对所述的交互优化模块(23)处理是根据所生成的虚拟教学模型的网格四条边中点的高程值进行求积分，求积分公式如下：

其中，M(|y|)表示虚拟教学模型的网格四条边中点的中间参数集合，y表示高程值，x表示中点的横坐标，δ取值为0.6；

设变量d为：

真实参数A计算公式如下：

A²＝logM(|y|)-logd–A,

真实补偿参数B计算公式如下：

求出虚拟教学模型建模的真实参数和真实补偿参数后，按所得真实参数和真实补偿参数对所生成的虚拟教学模型重新建模后得到优化的虚拟教学模型。

2.根据权利要求1所述的一种增强现实的教学系统，其特征在于，所述的前置部件(1)还包括使摄像头(11)移动以获取不同的教学资料的移动装置(15)，所述的移动装置(15)的动力输出端连接摄像头(11)。

Images