CN108986577A - 一种基于前置式的移动增强现实型实验的设计方法 - Google Patents

Abstract

本发明属于移动增强现实技术领域，提供一种基于前置式的移动增强现实型实验设计方法，包括：(1)前置式AR型实验环境设计；(2)AR型实验内容设计；(3)AR型实验的交互设计。本发明基于前置式的移动AR型实验的设计方法，可以有效改善当前流行的后置式移动AR实验存在的束缚学习者双手、视觉遮挡、交互性低等缺陷，基于识别图的AR交互方式可以将抽象或肉眼不易观察到的实验内容可视化、动态化，为实验教学提供一种全新的教学模式。

Description

一种基于前置式的移动增强现实型实验的设计方法

技术领域

本发明属于移动增强现实(Augmented Reality，AR)技术领域，更具体地，涉及一种基于前置式的移动增强现实型实验的设计方法。

背景技术

由多媒体、计算机网络、虚拟现实、计算机仿真等技术开发的虚拟实验可突破时空限制、不受场地和设备等客观条件的制约，但在实践中由于存在难以全面反应实物实验中环境因素与步骤、实验细节无法与实际对应等缺陷，因而不能为学习者提供逼真的感知体验。增强现实(Augmented Reality，AR)是在虚拟现实基础上发展起来的一种新型计算机应用和人机交互技术，AR技术可将计算机生成的虚拟信息叠加到真实场景上，并借助感知和显示设备将两者融为一体，为使用者呈现一个感官效果真实的新环境，所构建的系统具有三个突出特点：①虚实结合；②虚实同步；③交互自然。AR技术与智能终端结合所形成的移动AR系统可充分融合实物实验与虚拟实验，形成“虚实结合”的实验教学模式。

基于前置式的移动AR型实验是面向实验教学的一种虚实结合的新形态，通过AR技术这一媒介，既可发挥实物实验培养学生动手能力的优势，又能结合虚拟实验提升学生的学习兴趣和效率。当前AR已出现许多成熟的教育产品，如AR教育卡片即为典型应用。与传统的教育卡片相比，它成本低、便携性强，只需借助智能终端，就可以创造虚实结合的环境，符合动手做、用眼看、用耳听、用脑想的多元化教育理念。然而将其应用到实验教学领域尚存在如下缺陷：(1)学习者手持移动终端扫描识别图，会束缚学习者的双手，不符合实验教学培养动手能力的目标；(2)通过移动终端后置摄像头扫描识别图，由于人眼和识别图之间隔了移动终端，这种后置式应用极易出现视觉遮挡的情形；(3)通常实物实验需要多种器材，实验过程逐步展开，操作过程的交互形式存在多样性，这是当今纯AR卡片类应用所不具备的。这些缺陷限制了AR技术在实验教学的应用和发展，有必要探索多内容、多步骤、多交互、虚实结合的AR型实验设计方法，这正是本发明专利主要的动机和目的。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于前置式的移动增强现实型实验的设计方法，基于识别图的AR交互方式可以将抽象或肉眼不易观察到的实验内容可视化、动态化，为实验教学提供一种全新的教学模式。

本发明的目的是通过以下技术措施实现的。

一种基于前置式的移动AR型实验的设计方法，包括以下步骤：

(1)前置式实验环境设计。该实验环境由反光镜、基座和AR应用(包括移动终端、识别图、虚拟实验内容和App应用)组成，基座固定移动终端，通过设计合理的反光镜尺寸与外壳附合面的角度、基座倾斜度，再由前置摄像头与反光镜配合确定移动终端前的实验操作区域，该区域供实验过程中识别图卡片放置。

(2)AR型实验内容设计。根据实验教学内容，将实验仪器和内容分解出来，设计其对应的识别图和三维虚拟信息；按照实验步骤，设计实验操作区域内不同识别图的组合方式；依照实验目标，设计实验流程，支持学习者在实验操作区域完成操作。通过识别图与三维虚拟模型的叠加展示，令学习者从虚拟环境中获得对客观世界的感性及理性认识，丰富以及优化实验教学内容。

(3)AR型实验的交互设计。在实验操作区域完成识别图的布局，实现实验操作过程中器材内容的虚实同步；学习者与场景交互时，模型及其相互关系均会随之发生变化；通过触控交互实现对虚拟实验器材与过程的操作，语音提示、状态属性和动态演示等设置为学习者呈现感知效果更加丰富的交互过程。结合体验式学习理论令AR型实验实现寓教于乐的学习过程。

本发明的有益效果在于：

通过专门设计的基座和反射镜装置构建前置式实验环境，解决了当前主流后置式AR应用中手持移动终端识别卡片时出现的遮挡视线、束缚学习者双手等缺陷；由识别图卡片组合而成的展示方式可以最大程度地发挥学习者的动手和想象能力；基于识别图的AR交互方式可以将抽象或肉眼不易观察到的实验内容可视化、动态化，为实验教学提供一种全新的教学模式。

附图说明

图1是本发明中前置式实验环境示意图。

其中：1反光镜，2实验区域，3平板，4基座，5操作台。

图2是本发明中基座的结构示意图。

图3是本发明中反光镜的结构示意图。

图4是本发明中带有唯一标记编码的图片示意图。

图5是本发明中实物套件正面样式图。

图6是本发明中实物套件背面样式图。

图7是测量小灯泡电阻实验的识别图。

图8是测量小灯泡电阻实验的虚拟器材库。

图9是测量小灯泡电阻实验的器材组合方式。

图10是移动灯泡识别图与对应的虚拟信息变化图。

图11是移动电池识别图与相关的电线模型变化图。

图12是拖动“滑动变阻器”改变电阻大小的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供基于前置式的移动增强现实型实验的设计方法，包括如下步骤：

(1)前置式实验环境设计。

前置式实验环境设计包括基座设计、反光镜设计、前置环境生成以及单张实物卡片设计四部分，参考图1。基座设计主要是控制移动终端的倾斜角度，该角度可影响移动终端能够采集到的实验操作区域。反光镜的作用是使移动终端前置摄像头能够采集到基座前方实验区域的内容，调整反光镜外壳的位置可获取不一样的区域范围，反光镜外壳控制反光镜的放置角度令获取的基座前方实验区域大小适中。单张实物卡片设计，采用基于“帧标记”的设计原则，选择带有黑白锯齿的识别图边缘作为特征识别标志，通过在黑白锯齿以外的其他区域绘制相应的实物器材信息，方便AR识别使用。根据实验教学内容，为获取最合适的实验操作体验，每个实物卡片统一按照1:1的比例设计。

进一步包括如下步骤：

(1-1)移动终端基座的设计。用于将移动终端以一定的角度固定到实验操作台上，移动终端的前置摄像头采集基座前方实验操作区域内的识别图。基座的设计如下：

(1-1-1)基座，参考图2，应具有一定的稳定性，能够确保长时间支撑移动终端。

(1-1-2)基座与实验操作台之间的角度要能调节，该角度可影响移动终端采集的实验操作区域范围。

(1-2)反光镜设计。它由平面镜和外壳两部分组成，参考图3，放置在前置摄像头上方，利用反射原理使移动终端采集到基座前方区域内的识别图，调整外壳位置可获取不同的区域范围。

(1-2-1)平面镜设计。选取矩形作为标准形状，为了不遮挡前置摄像头的视锥体，其顶端要与移动终端的顶端保持一致，以确保平面镜与前置摄像头之间有一定的距离。

(1-2-2)外壳设计。外壳要能够完全覆盖移动终端的前置摄像头，其尺寸不能过小；同时也要控制反光镜的识别区域，因此其尺寸也不能过大。平面镜长L和宽W与长方体外壳的长X、宽Y、高Z、平面镜与外壳的夹角θ以及移动终端的厚度T有关，其中有以下关系：

X＝L

Y＝cosθ*W+T

Z＝sinθ*Z。

(1-2-3)卡槽设计。反光镜外壳需要固定在前置摄像头前，在其内部设置与移动终端厚度相等的空隙作为卡槽。

(1-2-4)平面镜与外壳嵌入设计。由于平面镜与前置摄像头之间需要形成相应的角度，因此在长方体外壳的内部内置一个倾斜的平面镜附合面，用于嵌入平面镜。

(1-3)实验操作区域。由移动终端、反光镜、基座、AR应用(包括识别图、虚拟实验内容和App)共同作用得到的区域，也是学习者进行交互操作的区域，需要合理设计该区域的稳定性和背景颜色。

(1-3-1)前置环境生成。在移动终端的前置摄像头上放置反光镜，利用反射原理采集到屏幕前方实验操作区域的信息。

(1-3-2)移动终端的倾斜度设计。在实验操作台上以一定的角度倾斜放置移动终端，使学习者与移动终端之间保持一个良好的视角，该倾斜角度可以根据学习者的需要灵活调整。

(1-3-3)实验区域背景色设计。为了提高识别成功率，避免对实验操作产生干扰，实验操作台应尽量使用纯色背景。

(1-4)识别图卡片设计。基于“帧标记”的设计原则，制作带有黑白锯齿的识别图并在锯齿以外的其他区域绘制相应的实物器材。在此基础上设计实物卡片的材质，便于AR识别。

进一步包括如下步骤：

(1-4-1)识别面的制作。基于“帧标记”的设计原则，制作带有黑白锯齿特征识别标志的识别图，参考图4。在标志以外的区域绘制具有鲜明色彩的实物器材，参考图5，提升实物卡片的美观和辨识度，方便AR识别。

(1-4-2)卡片背面设计。参照步骤(1-4-1)，由于采用单面识别，结合实验教学内容在背面上添加文字提示，参考图6，提高实验操作效率。

(1-4-3)适配移动终端的实物卡片设计。为获取良好的实验操作体验，每个实物卡片的尺寸统一按照1:1的比例设计。

(1-4-4)实物卡片材质设计。如果表面较光滑且有光泽，漫反射情形下对图片识别的影响会较小；但对某些聚光源，实物卡片表面会反射大量的光，影响识别灵敏度。本实施例采用磨砂材质设计实物卡片。

(1-4-5)实验操作区域可容纳实物卡片的数量。通过面积公式计算可得，投影区域为长方形，两组对边分别平行和垂直于移动终端。实验操作区域面积的计算公式为：

S＝a·b

其中，a、b为实验操作区域的边长；

假设实物卡片数量n(n＝1,2,3...)为整数，面积设为S₁，得出计算公式为：

n＝S/S₁。

(2)AR型实验内容设计。

根据实验教学内容，分析实验所需的器材，设计其对应的识别图和三维虚拟信息，按照实验步骤，设计不同识别图的组合方式，为学习者在实验操作区域，完成实验操作提供一个虚实结合的环境。依照实验目标，设计实验流程，支持实验结果的展示以及相应数据的记录和存储。通过识别图与三维虚拟模型的叠加展示，学习者能够从虚拟环境中获得对客观世界的感性及理性认识，优化实验教学内容。

进一步包括如下步骤：

(2-1)识别图与虚拟信息设计。与虚拟实验或仿真实验不同，AR型实验需要通过识别图才能启动；根据实物实验内容，设计相应器材的识别图与其对应的虚拟实验内容，在移动终端构建虚实结合的实验环境。

(2-1-1)识别图设计。分析实物实验，提取实验中所需的实验器材；相应参照步骤(1-4)，设计和制作相应的识别图，设计、制作过程中严格按照教材指定的方法，模型与实验原理紧密结合。图7展示了测量小灯泡电阻实验需要用到的识别图(电源、电线、电阻、电流表、电压表、开关和小灯泡)。

(2-1-2)虚拟实验内容设计。运用三维建模软件(如3D Max)制作实验器材的三维模型及动画，保存为通用的输出文件格式(如.fbx)，再将其导入到虚拟引擎(如Unity)中，按照器材的类型、逻辑关系构建虚拟器材，完成虚拟实验内容的设计。图8展示了测量小灯泡电阻实验的虚拟器材。

(2-1-3)识别图与虚拟实验内容的关联设计，在虚拟引擎中将虚拟实验内容叠加在识别图上，完成实验器材的位置、姿态和比例关系设计。

(2-2)AR型实验的展示方式设计。根据实验教学要求，设计基于单张识别图的实验器材的展示方式、基于多张识别图组合的不同实验现象表达方式；根据不同实验类型，设计基于识别图的AR型实验的展示方法。

(2-2-1)基于单张识别图的实验器材的展示设计。根据实验内容，确定其所涉及的关键实物器材；按照实验步骤，设计其对应的识别卡片和虚拟信息；设计学习者通过屏幕与叠加在识别图上的虚拟信息交互方式，支持多角度浏览、平移、旋转及缩放虚拟模型。

(2-2-2)基于多张识别图的实验器材的组合展示设计。按照实验步骤，设计不同的识别图组合方式，表示不同实验现象与过程。基于识别图的摆放位置及组合识别图的内容，图像识别模块能同时读取所有识别图的信息，并按照从左向右的顺序将获取到的相关图像信息依次传送至组合模块处理。图9展示了利用欧姆定律的变形公式测量小灯泡电阻实验的器材识别图组合方式。

(2-2-3)不同类型实验的展示设计。按照结构认知、探究与体验等实验内容的分类，设计单独展示、动态演示与交互探究等表示方法，设计不同AR型实验的展示方法。

(2-3)实验流程设计。依照实验目标，首先选取实物器材所对应的识别图，并将其放置在实验操作区域；设计实验关键环节，协助学习者在虚实结合环境中完成相关实验操作；设计实验结果的展示方式并完成相应数据的记录与存储。

(2-3-1)实验器材的选取步骤。依照实验内容和目标以及准确性、操作性的原则，设计每个步骤中实验器材的识别图组合方式，并按照实验操作的顺序依次将其放置在实验操作区域内。

(2-3-2)实验环节的设计。在实验应用中(相应形式是移动终端的App)，设计每个实验步骤及其要求，基于识别图的摆放位置及组合，执行相应的处理。在实验运行过程中，为学习者提供完成相关实验操作的提示，譬如对异常组合的识别图，应用会给出实时报错提示。

(2-3-3)实验结果展现的设计。根据实验要求，学习者完成相关实验操作，会留下一系列的操作序列和结果，本专利采用数据表格形式记录这些过程性数据。设计展现这些实验数据的UI界面显示方式，并将其对应文本信息存储到移动终端的数据库表中。通过实验数据的总结分析，可有效辅助学习者的实验操作。

(3)AR型实验的交互设计。

学习者可操作AR型虚拟实验内容并动态展示其过程，在实验操作过程中完成识别图在实验操作区域的布局设计，实现器材内容的虚实同步。识别图放置在操作区域的中央并与反光镜保持平行时，识别效果最好。随着学习者移动、旋转实验操作区域的识别图，屏幕中的虚拟实验内容会随之发生相应的变化。学习者通过触控交互可实现对实验过程的操作，语音提示、状态属性和动态演示等设置使学习者的实验效果更加真实。

进一步包括如下步骤：

(3-1)实验环境的虚实同步设计。为满足识别图和虚拟实验内容之间的准确定位和配准，令学习者在物理世界中真实地感受虚拟空间中模拟的实验器材和过程，在实验操作过程中需要完成识别图在实验操作区域的布局设计。移动和旋转识别图时，虚拟实验内容的模型和动画随之发生变化。

(3-1-1)虚拟实验内容的定位配准。在移动终端上启动实验应用后，前置摄像头扫描到实验操作区域的识别图，加载虚拟实验内容，并计算模型在识别图上的位置和姿态，实验器材的识别图和虚拟实验内容叠加在一起展示。

(3-1-2)识别图的布局设计。识别图放置在操作区域的中央并与反光镜保持平行时，识别效果最好；若无法扫描获取足够多的特征点，识别效果会较差甚至不能识别。在步骤(2-3)中布设识别图时，各个识别图在移动和旋转过程中，必须始终位于实验操作区域内，边缘也不应超出。

(3-1-3)虚拟实验内容的同步变化。学习者在实验操作区域移动或旋转识别图，虚拟实验内容随之发生相应变化。若两张识别图靠近时，虚拟环境中两者所叠加的三维模型也会随之靠近；反之亦然。同理，若旋转识别图时，模型也会随之发生变化。图10展现了测量小灯泡电阻实验中，随着灯泡识别图的移动，灯泡模型的位置和姿态的变化。

(3-2)虚拟实验内容的交互控制。学习者在实验中与虚拟实验内容交互时，虚拟场景均会发生变化；如模型位置变化过大会超出移动终端的屏幕，因此需要实时计算虚拟模型相对于屏幕的实际位置并设定范围。

进一步包括如下步骤：

(3-2-1)虚拟实验内容的动态变化。当前许多AR应用中，用户触发相关指令后，会播放一段预先制作的动画。在AR型实验中，学习者与虚拟信息交互时，相关模型都应同时发生变化。如在测量小灯泡电阻实验的虚拟场景中，学习者移动灯泡模型时，电线也会随之变化。

(3-2-2)空间坐标到屏幕坐标的转换过程。根据空间透视关系可将三维空间坐标经过四个变换(Model,View,Projection,Viewport)之后，转换成屏幕上的像素坐标。

前三个变换都是4*4矩阵，操作对象是四维向量，首先为(x,y,z)补上w分量，变成(x,y,z,1)；然后再将这三个变换矩阵依次左乘该向量，得出表达式为：

(x，y，z,w)＝projectMatrix*modelViewMatrix*(x，y，z，1)

得到的四维向量做齐次除法，即所有分量都除以w分量，得出表达式为：

再对结果作第四个变换(Viewport)，得到屏幕坐标。将视口像素坐标(x，y)转换到屏幕坐标系下，得出表达式为：

视口像素坐标系的坐标原点位于屏幕中心，屏幕坐标系的坐标原点位于左上角。求出两个坐标系之间的转换系数，分别为：

(3-2-3)移动终端中交互范围的设定。学习者使用平移、旋转和缩放操作虚拟模型时，应避免将其移出屏幕范围，本实验中使用的移动终端屏幕分辨率为1920*1280。参照步骤(3-2-2)可以得出3D空间坐标对应的屏幕坐标(x′，y′)，学习者在对虚拟模型行交互时，其屏幕坐标(x′，y′)不应超出移动终端屏幕分辨率的范围。

(3-3)虚拟信息的交互操作。在实验中学习者可通过触控交互实现对虚拟实验器材与过程的操作，其中语音提示、状态属性和动态演示等设置可为学习者呈现一个感知效果更加丰富的实验环境。

进一步包括如下步骤：

(3-3-1)语音提示设置。主要包括如下环节：实验中对识别图识别失败会给出“失败”语音提示；按照实验步骤，操作虚拟实验内容成功，给予“过关”的语音提示；对超出时间限制或不正确操作虚拟器材元件给出操作“错误”的语音提示。

(3-3-2)状态属性设置，AR型实验包含实验环境、实验任务与实验器材的状态属性设置，学习者根据实验要求，设置相关属性。图11中展示了测量小灯泡电阻实验中学习者移动电池，相应的虚拟电线模型随之发生变化。

(3-3-3)动态内容设置。点击“开始实验”按钮后，实验会进入运行状态，相关识别图识别成功并加载虚拟信息后，学习者改变界面中的参数范围，虚拟场景中的内容随之发生相应变化。图12展示了测量小灯泡电阻实验中的运行过程，通过拖动“滑动变阻器”按钮，改变电阻的大小，观察小灯泡的电阻变化。

本领域的相关人员会意识到，这里所述的实施案例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施案例。本领域的相关人员也可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。

Claims (4)

1.一种基于前置式的移动增强现实型实验的设计方法，其特征在于该方法包括以下步骤：

(1)前置式实验环境设计；该实验环境由反光镜、基座和AR应用组成，AR应用包括移动终端、识别图、虚拟实验内容和App应用，基座固定移动终端，通过设计合理的反光镜尺寸与外壳附合面的角度、基座倾斜度，再由前置摄像头与反光镜配合确定移动终端前的实验操作区域，该区域供实验过程中识别图卡片放置；

(2)AR型实验内容设计；根据实验教学内容，将实验仪器和内容分解出来，设计其对应的识别图和三维虚拟信息；按照实验步骤，设计实验操作区域内不同识别图的组合方式；依照实验目标，设计实验流程，支持学习者在实验操作区域完成操作；

(3)AR型实验的交互设计；在实验操作区域完成识别图的布局，实现实验操作过程中器材内容的虚实同步；学习者与场景交互时，模型及其相互关系均会随之发生变化；通过触控交互实现对虚拟实验器材与过程的操作。

2.根据权利要求1所述的基于前置式的移动增强现实型实验的设计方法，其特征在于步骤(1)所述的前置式实验环境设计具体包括如下步骤：

(1-1)移动终端基座的设计，基座用于将移动终端以一定的角度固定到实验操作台上，移动终端的前置摄像头采集基座前方实验操作区域内的识别图，基座的设计如下：

(1-1-1)基座应具有一定的稳定性，能够确保长时间支撑移动终端；

(1-1-2)基座与实验操作台之间的角度要能调节，该角度可影响移动终端采集的实验操作区域范围；

(1-2)反光镜设计，反光镜由平面镜和外壳两部分组成，放置在前置摄像头上方，利用反射原理使移动终端采集到基座前方区域内的识别图，调整外壳位置可获取不同的区域范围；反光镜的设计如下：

(1-2-1)平面镜设计，选取矩形作为标准形状，为了不遮挡前置摄像头的视锥体，其顶端要与移动终端的顶端保持一致；

(1-2-2)外壳设计，外壳要能够完全覆盖移动终端的前置摄像头，同时也要控制反光镜的识别区域，长方体外壳的长X、宽Y、高Z与平面镜长L、宽W、平面镜与外壳的夹角θ以及移动终端的厚度T有关，关系如下：

X＝L

Y＝cosθ*W+T

Z＝sinθ*Z；

(1-2-3)卡槽设计，在外壳上设置与移动终端厚度相等的空隙作为卡槽，用于将外壳固定在前置摄像头前；

(1-2-4)平面镜与外壳嵌入设计，在长方体外壳的内部内置一个倾斜的平面镜附合面，用于嵌入平面镜；

(1-3)实验操作区域，由移动终端、反光镜、基座、AR应用共同作用得到的区域，也是学习者进行交互操作的区域，该区域设计如下：

(1-3-1)前置环境生成，在移动终端的前置摄像头上放置反光镜，利用反射原理采集到屏幕前方实验操作区域的信息；

(1-3-2)移动终端的倾斜度设计，在实验操作台上以一定的角度倾斜放置移动终端，使学习者与移动终端之间保持一个良好的视角，该倾斜角度可以根据学习者的需要灵活调整；

(1-3-3)实验区域背景色设计，为了提高识别成功率，避免对实验操作产生干扰，实验操作台应尽量使用纯色背景；

(1-4)识别图卡片设计，基于“帧标记”的设计原则，制作带有黑白锯齿的识别图并在锯齿以外的其他区域绘制相应的实物器材，在此基础上设计实物卡片的材质，便于AR识别：识别图卡片设计如下：

(1-4-1)识别面的制作，基于“帧标记”的设计原则，制作带有黑白锯齿特征识别标志的识别图，在标志以外的区域绘制具有鲜明色彩的实物器材，提升实物卡片的美观和辨识度，方便AR识别；

(1-4-2)卡片背面设计，结合实验教学内容在背面上添加文字提示，提高实验操作效率；

(1-4-3)适配移动终端的实物卡片设计，为获取良好的实验操作体验，每个实物卡片的尺寸统一按照1:1的比例设计；

(1-4-4)实物卡片材质设计，采用磨砂材质设计实物卡片；

(1-4-5)实验操作区域可容纳实物卡片的数量，通过面积公式计算可得，投影区域为长方形，两组对边分别平行和垂直于移动终端，实验操作区域面积的计算公式为：

S＝a·b

a、b为实验操作区域的边长；

假设实物卡片数量n(n＝1,2,3...)为整数，面积设为S₁，得出计算公式为：

n＝S/S₁。

3.根据权利要求1所述的基于前置式的移动增强现实型实验的设计方法，其特征在于步骤(2)所述的AR型实验内容设计具体包括如下步骤：

(2-1)识别图与虚拟信息设计，根据实物实验内容，设计相应器材的识别图与其对应的虚拟实验内容，在移动终端构建虚实结合的实验环境；

(2-1-1)识别图设计，分析实物实验，提取实验中所需的实验器材，设计和制作相应的识别图；

(2-1-2)虚拟实验内容设计，运用三维建模软件制作实验器材的三维模型及动画，保存为通用的输出文件格式，再将其导入到虚拟引擎中，按照器材的类型、逻辑关系构建虚拟器材，完成虚拟实验内容的设计；

(2-1-3)识别图与虚拟实验内容的关联设计，在虚拟引擎中将虚拟实验内容叠加在识别图上，完成实验器材的位置、姿态和比例关系设计；

(2-2)AR型实验的展示方式设计，根据实验教学要求，设计基于单张识别图的实验器材的展示方式、基于多张识别图组合的不同实验现象表达方式；根据不同实验类型，设计基于识别图的AR型实验的展示方法；

(2-2-1)基于单张识别图的实验器材的展示设计，根据实验内容，确定其所涉及的关键实物器材；按照实验步骤，设计其对应的识别卡片和虚拟信息；设计学习者通过屏幕与叠加在识别图上的虚拟信息交互方式，支持多角度浏览、平移、旋转及缩放虚拟模型；

(2-2-2)基于多张识别图的实验器材的组合展示设计，按照实验步骤，设计不同的识别图组合方式，表示不同实验现象与过程，基于识别图的摆放位置及组合识别图的内容，图像识别模块能同时读取所有识别图的信息，并按照从左向右的顺序将获取到的相关图像信息依次传送至组合模块处理；

(2-2-3)不同类型实验的展示设计，按照实验内容的分类，设计不同AR型实验的展示方法；

(2-3)实验流程设计，依照实验目标，首先选取实物器材所对应的识别图，并将其放置在实验操作区域；设计实验关键环节，协助学习者在虚实结合环境中完成相关实验操作；设计实验结果的展示方式并完成相应数据的记录与存储；

(2-3-1)实验器材的选取步骤，依照实验内容和目标以及准确性、操作性的原则，设计每个步骤中实验器材的识别图组合方式，并按照实验操作的顺序依次将其放置在实验操作区域内；

(2-3-2)实验环节的设计，在实验应用中，设计每个实验步骤及其要求，基于识别图的摆放位置及组合，执行相应的处理，在实验运行过程中，为学习者提供完成相关实验操作的提示；

(2-3-3)实验结果展现的设计，根据实验要求，学习者完成相关实验操作，会留下一系列的操作序列和结果，采用数据表格形式记录这些过程性数据，设计展现这些实验数据的UI界面显示方式，并将其对应文本信息存储到移动终端的数据库表中。

4.根据权利要求1所述的基于前置式的移动增强现实型实验的设计方法，其特征在于步骤(3)所述的AR型实验的交互设计具体包括如下步骤：

(3-1)实验环境的虚实同步设计，为满足识别图和虚拟实验内容之间的准确定位和配准，令学习者在物理世界中真实地感受虚拟空间中模拟的实验器材和过程，在实验操作过程中需要完成识别图在实验操作区域的布局设计，移动和旋转识别图时，虚拟实验内容的模型和动画随之发生变化；

(3-1-1)虚拟实验内容的定位配准，在移动终端上启动实验应用后，前置摄像头扫描到实验操作区域的识别图，加载虚拟实验内容，并计算模型在识别图上的位置和姿态，实验器材的识别图和虚拟实验内容叠加在一其展示；

(3-1-2)识别图的布局设计，识别图放置在操作区域的中央并与反光镜保持平行时，识别效果最好；若无法扫描获取足够多的特征点，识别效果会较差甚至不能识别，在布设识别图时，各个识别图在移动和旋转过程中，必须始终位于实验操作区域内，边缘也不应超出；

(3-1-3)虚拟实验内容的同步变化，学习者在实验操作区域移动或旋转识别图，虚拟实验内容随之发生相应变化，若两张识别图靠近时，虚拟环境中两者所叠加的三维模型也会随之靠近；反之亦然；同理，若旋转识别图时，模型也会随之发生变化；

(3-2)虚拟实验内容的交互控制，学习者在实验中与虚拟实验内容交互时，虚拟场景均会发生变化；如模型位置变化过大会超出移动终端的屏幕，因此需要实时计算虚拟模型相对于屏幕的实际位置并设定范围：

(3-2-1)虚拟实验内容的动态变化，在AR型实验中，学习者与虚拟信息交互时，相关模型都应同时发生变化；

(3-2-2)空间坐标到屏幕坐标的转换过程，根据空间透视关系可将三维空间坐标经过四个变换Model、View、Projection、Viewport之后，转换成屏幕上的像素坐标；

前三个变换都是4*4矩阵，操作对象是四维向量，首先为(x,y,z)补上w分量，变成(x,y,z,1)；然后再将这三个变换矩阵依次左乘该向量，得出表达式为：

(x，y，z，w)＝projectMatrix*modelViewMatrix*(x，y，z，1)

得到的四维向量做齐次除法，即所有分量都除以w分量，得出表达式为：

再对结果作第四个变换Viewport，得到屏幕坐标，将视口像素坐标(x，y)转换到屏幕坐标系下，得出表达式为：

视口像素坐标系的坐标原点位于屏幕中心，屏幕坐标系的坐标原点位于左上角，求出两个坐标系之间的转换系数，分别为：

(3-2-3)移动终端中交互范围的设定，学习者使用平移、旋转和缩放操作虚拟模型时，应避免将其移出屏幕范围，本实验中使用的移动终端屏幕分辨率为1920*1280，参照(3-2-2)中的步骤可以得出3D空间坐标对应的屏幕坐标(x′，y′)，学习者在对虚拟模型行交互时，其屏幕坐标(x＇，′)不应超出移动终端屏幕分辨率的范围；

(3-3)虚拟信息的交互操作，在实验中学习者可通过触控交互实现对虚拟实验器材与过程的操作，其中语音提示、状态属性和动态演示等设置可为学习者呈现一个感知效果更加丰富的实验环境；

(3-3-1)语音提示设置，主要包括如下环节：实验中对识别图识别失败会给出“失败”语音提示；按照实验步骤，操作虚拟实验内容成功，给予“过关”的语音提示；对超出时间限制或不正确操作虚拟器材元件给出操作“错误”的语音提示；

(3-3-2)状态属性设置，AR型实验包含实验环境、实验任务与实验器材的状态属性设置，学习者根据实验要求，设置相关属性；

(3-3-3)动态内容设置，点击“开始实验”按钮后，实验会进入运行状态，相关识别图识别成功并加载虚拟信息后，学习者改变界面中的参数范围，虚拟场景中的内容随之发生相应变化。