CN114237389B - 一种基于全息成像的增强教学环境中临场感生成方法 - Google Patents

Abstract

本发明属于虚拟现实技术的教学应用领域，提供一种基于全息成像的增强教学环境中临场感生成方法，包括：S1，增强教学环境生成；S2，多模态交互控制；S3，临场感生成。本发明基于全息成像的增强教学环境中临场感生成方法，为增强教学环境中临场感的营造提供一种新的、系统的生成途径和方式，有助于师生在增强教学环境中获得良好的临场感体验。

Description

一种基于全息成像的增强教学环境中临场感生成方法

技术领域

本发明属于虚拟现实技术的教学应用领域，更具体地，涉及一种基于全息成像的增强教学环境中临场感生成方法。

背景技术

借助5G、虚拟现实、全息成像、数字传感等技术，将虚拟教学资源“投射”到师生所处的真实教学空间，实现师生“面对面”沟通交流，构建虚实一体、线上线下混合、以学生为中心的新型增强教学环境，可打破在线课堂存在的屏幕障碍，正成为智慧教育的新形态。在全息显示空间中引入多样化、时空尺度差异较大的教学内容，并能动态响应教师讲解过程中体态、手势和语音命令，创设出令学习者具有身临其境的体验，成为“VR+全息教学”亟待解决的问题。临场感生成方法可提升学习者在教学环境中的理解能力，强化特定教学情境与知识的联结，激发学习者的学习热情，提升其参与感，非常契合数字原生代的要求。

当前基于全息终端的沉浸式教学系统还存在诸多的问题：（1）以投影机+幕布或纱幔的全息成像方式与学科教室的结合不够紧密，较难形成具有特色的学科教室和全息环境相结合的增强教学环境；（2）教学过程中，全息系统与教师教学活动不够紧密，强大的多模态交互控制便于教师展示知识细节，利于学生开展自主式、探究式学习活动；（3）临场感营造的不够自然，较难提供针对众多学科、时空尺度、背景氛围差异较大的虚拟教学资源临场感生成方法。这些缺陷限制了“VR+全息成像”技术在教学中的应用。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于全息成像的增强教学环境中临场感生成方法，为增强教学环境中临场感的营造提供一种新的、系统的生成途径和方式，有助于师生在增强教学环境中获得良好的临场感体验。

本发明的目的是通过以下技术措施实现的。

一种基于全息成像的增强教学环境中临场感生成方法，包括以下步骤：

S1，增强教学环境生成；依据学科的特点和空间布局，设置背景环境和全息显示环境；归一化处理虚拟教学资源，设定教师的最佳观察位置，高亮显示焦点对象；按照描述属性组织虚拟教学资源，教师可远程访问虚拟教学资源；具体的

S1.1，增强教学环境构建，依据学科的类型和教室的空间布局，构建适合全息显示的背景环境，生成虚拟融合的全息显示环境；根据教师的头部位置和视线方向，在光波导上呈现对应场景的立体、透明全息影象；

S1.2，虚拟场景的初始化，归一化处理新加载虚拟教学资源，令其完整呈现在全息显示环境内；依据分割情况和最佳视距比例，设定全息显示环境中教师的最佳观察位置；利用自动色彩均衡算法，生成选中对象的高对比度外接包围盒；

S1.3，虚拟教学资源的管理，虚拟教学资源包括描述属性和场景内容；教师访问云平台上的虚拟教学资源管理服务，按照知识点或者语音输入方式查找目标资源；

S2，多模态交互控制；使用移动终端上的全息应用程序，连接全息终端，实现场景和教学的交互；设置真实背景、全息显示和虚拟环境响应指令的优先级顺序，令焦点对象依次执行级联指令；全息显示环境可以响应手势、语音和身体姿态的交互命令；具体的

S2.1，基于移动终端的交互控制，教师使用应用程序连接全息终端，选取知识点所对应的虚拟教学资源并加载；通过全息应用程序的控制命令，实现与场景的交互；将移动终端屏幕上的教学内容、知识要点、手绘标注和学生反馈内容投射到全息显示环境中；

S2.2，信息响应步骤设置，设置真实背景环境、全息显示环境和虚拟环境的优先级顺序；确定当前选中环境中的活动对象，作为交互操作的焦点对象，接受并响应信息输入；采用多模态信息融合方法生成多通道命令的级联关系，令焦点对象依次执行级联指令；

S2.3，多模态交互的响应，借助手势命令库识别、匹配手势，并在全息显示环境中执行相应动作；将输入的语句或指令，转化为全息应用程序可执行的命令；追踪全息显示环境中教师的头部位置、视线方向和身体姿态，执行预先设置的命令；

S3，临场感生成；在光波导上呈现虚拟教学资源，支持教师实时调取空间锚点所关联的资源内容；融合声音、声效和光影元素，营造光影、背景与透明和亮度变化的环境氛围，实现时空尺度和姿态变化，生成更真实的临场感；具体的

S3.1，教学资源的增强显示，虚拟教学资源压缩包下载到全息终端，经解码、适配后，在光波导上呈现；基于空间锚点定位技术，教师实时调取空间锚点所关联的虚拟教学资源；融合声音、声效和光影元素，生成可随音乐、动画和光影变化的环境氛围；

S3.2，氛围变换，依据场景中的光源数量、类型和强度，变换全息显示环境中的光照效果和影像内容；使用动态图片和粒子特效，生成与虚拟场景内容相符合的背景；依据光影和背景的明暗效果变化，随之调高或降低画面内容的亮度和透明度；

S3.3，时空尺度切换，比较当前活动资源与即将加载虚拟教学资源的尺度，实现微观-宏观、宏观-微观或者两者尺度相同的切换；设置全息显示环境中新资源的中心点位置、姿态和缩放参数；设置虚拟教学资源中情节演进的时间轴，可调节情节的播放顺序和速度。

本发明的有益效果在于：依据学科的特点和空间布局，设置背景环境和全息显示环境，归一化处理虚拟教学资源，设定教师的最佳观察位置，高亮显示焦点对象，按照描述属性组织虚拟教学资源，可远程访问虚拟教学资源，定制具有个性化的参数；使用移动终端上的全息应用程序，连接全息终端，实现场景和教学的交互，设置真实背景、全息显示和虚拟环境响应指令的优先级顺序，令焦点对象依次执行级联指令，全息显示环境可以响应手势、语音和身体姿态的交互命令。在光波导上呈现虚拟教学资源，支持教师实时调取空间锚点所关联的资源内容；融合声音、声效和光影元素，营造光影、背景与透明和亮度变化的环境氛围，实现时空尺度和姿态变化，生成更真实的临场感。随着教育新基建的积极推行，5G教育专网的建设将会极大改善中小学的网络条件，“VR+全息”教学模式将会在各层级教育中得到广泛应用。为师生创设更好的全息教学环境的临场感，适应不同虚拟教学资源的要求，正变得日益迫切。本发明提供一种基于全息成像的增强教学环境中临场感生成系统及方法，有助于师生在增强教学环境中获得良好的临场感体验。

附图说明

图1是本发明实施例中基于全息成像的增强教学环境中临场感生成的流程图。

图2是本发明实施例中中学地理学科教室示意图。

图3是本发明实施例中增强教学环境中三维坐标系示意图。

图4是本发明实施例中全息显示环境的示意图。

图5是本发明实施例中全息显示环境中虚拟教学场景的分割示意图。

图6是本发明实施例中教师的最佳视距示意图。D表示教师观看虚拟天气资源的视距，H表示虚拟天气资源高度，h表示教师眼部高度，α表示教师观察虚拟天气资源的最佳垂直视角。

图7是本发明实施例中高亮显示虚拟教学场景中对象的示意图。

图8是本发明实施例中教师手势命令的示意图。

图9是本发明实施例中全息显示环境的亮度级别变化示意图。（a）为高亮度级别，（b）为低亮度级别。

图10是本发明实施例中环境氛围的光影变换的示意图。

图11是本发明实施例中虚拟天气资源画面内容亮度变大后的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本实施例提供一种基于全息成像的增强教学环境中临场感生成方法，包括如下步骤：

（1）增强教学环境生成。依据学科的特点和空间布局，设置背景环境和全息显示环境；归一化处理虚拟教学资源，设定教师的最佳观察位置，高亮显示焦点对象；按照描述属性组织虚拟教学资源，教师远程访问虚拟教学资源，定制具有个性化的参数。

（1-1）增强教学环境构建。依据学科的类型和教室的空间布局，构建适合全息显示的背景环境，生成虚拟融合的全息显示环境；根据教师的头部位置和视线方向，在光波导上呈现视场范围内场景的立体、透明全息影象。

（1-1-1）背景环境的构建。根据物理、化学、生物、地理四个学科的特点，布设教室的桌椅、实验台、储藏柜或生物安全柜，综合考虑教室的日照和室内灯光配置，设计墙壁、地毯的色彩搭配，构建适合全息显示的背景环境（即布置适合全息显示的现实教室场景）。图2为中学地理学科教室示意图，黑板、桌椅布局具有高度的地理学科特色，靠近右面墙壁上部的为全息显示区域。

（1-1-2）全息显示环境的生成。根据学科教室的类型和空间布局，选择适当的高度和位置，布设全息终端，生成虚拟融合的全息显示环境，选取图3所示的教室地板和墙壁的交线，确定增强教学环境三维笛卡尔坐标系的原点和坐标轴朝向。

（1-1-3）虚拟环境的营造。在全息终端上加载虚拟教学资源后，根据教师的头部位置和视线方向，微投影设备会将视场范围内的虚拟场景投影到光波导上，在全息显示环境中呈现场景的立体、透明影象，在教学环境中营造出虚实融合的显示效果。图4展示全息显示环境中显示地球上某地某日的气温示意图。

（1-2）虚拟场景的初始化。归一化处理新加载虚拟教学资源，令其完整呈现在全息显示环境内；依据分割情况和最佳视距比例，设定全息显示环境中教师的最佳观察位置；利用自动色彩均衡算法，生成选中对象的高对比度外接包围盒。

（1-2-1）虚拟资源的归一化。依据新加载虚拟教学资源的微观或宏观尺寸属性，使用齐次坐标，将其播放速度调整至符合人眼可观看的范围，在全息显示环境内设置虚拟教学资源的缩放比例和位置，确保在全息显示环境内完整呈现。

（1-2-2）观察位置的设定。以微投影设备所在位置为原点，从近到远分割全息显示环境中光波导所呈现的虚拟教学场景，结合教师的头部位置和视线方向，依据最佳视距比例，设定教师的最佳观察位置。图5展示从近到远分割全息显示环境中虚拟教学场景的示意图，教师在其中的最佳视距计算步骤如下：

Ⅰ.根据虚实融合环境中资源的空间分布，确定完整显示的虚拟天气资源的位置和高度，以及最佳垂直视角；

Ⅱ.计算教师观察虚拟天气资源的最佳视距；

公式（1）

如图6所示，D表示垂直视角下教师观察虚拟天气的最佳视距，H表示虚拟天气资源的高度，h表示教师眼部的高度，

表示教师观察虚拟天气资源的最佳垂直视角。

（1-2-3）焦点对象的高亮显示。当教师选中虚拟教学场景中对象时，如图7中的云团，依据全息显示环境的光照条件与对象的纹理和色彩，利用自动色彩均衡算法，生成高对比度的外接包围盒，采用半透明方式，增强虚拟对象与该包围盒的对比，如图7所示。

（1-3）虚拟教学资源的管理。虚拟教学资源包括描述属性和场景内容；支持教师访问云平台上的虚拟教学资源管理服务，按照知识点或者语音输入方式查找目标资源；教师通过资源管理界面，定制个性化参数。

（1-3-1）虚拟教学资源的组织。将虚拟教学资源分为描述属性和场景内容两部分，前者包含资源所属的学科、知识点和教学组织形式；后者包含虚拟场景的层次结构、各个对象的几何数据、光照和纹理属性，通过知识点属性关联场景内容。

（1-3-2）远程访问虚拟教学资源。通过全息应用程序，教师能够访问云平台上的虚拟教学资源管理服务，按照版本-学科-年级-单元的层级顺序查找知识点所对应的虚拟教学资源，或通过语音检索相应的虚拟教学资源。

（1-3-3）个性化参数的设置。依据课程计划和教学进度安排，学科教师通过资源管理界面，定制具有个人偏好的管理参数，设置虚拟场景的显示顺序、教师访问的优先级、多模态交互规则和环境氛围的变换机制。

（2）多模态交互控制。使用移动终端上全息应用程序，连接全息终端，实现场景和教学的交互；设置真实背景、全息显示和虚拟环境响应指令的优先级顺序，令焦点对象依次执行级联指令；全息显示环境可以响应手势、语音和身体姿态的交互命令。

（2-1）基于移动终端的交互控制。支持教师使用应用程序连接全息终端，选取知识点所对应的虚拟教学资源并加载；通过全息应用程序的控制命令，实现与场景的交互；可将移动终端屏幕上的教学内容、知识要点、手绘标注和学生反馈内容投射到全息显示环境中。

（2-1-1）全息应用程序设置。创建面向移动终端的全息应用程序，教师使用该应用程序连接全息终端，登录个人的网络教学空间，根据学科、班级、教材和课程进度安排，选取知识点所对应的虚拟教学资源，并在全息终端上加载该资源。

（2-1-2）场景交互实现。通过全息应用程序的控制命令，教师在移动终端上切换全息显示环境中的场景内容，在教学活动过程中增加或删除需使用的虚拟教具或学具，缩放、旋转、平移和隐藏虚拟场景中的模型对象。

（2-1-3）教学交互实现。教师通过全息应用程序，将移动终端屏幕上的教学内容、知识要点和手绘标注投射到全息显示环境中；支持向学习者发送相关题目，接收、统计学习者的回答记录，在全息显示环境的半透明框中展示答题内容。

（2-2）信息响应步骤设置。设置真实背景环境、全息显示环境和虚拟环境的优先级顺序；确定当前选中环境中的活动对象，作为交互操作的焦点对象，接受并响应信息输入；采用多模态信息融合方法生成多通道命令的级联关系，令焦点对象依次执行级联指令。

（2-2-1）优先级设置。根据教学活动设计、教师的个人偏好以及虚拟环境的操作参数，设置真实背景环境、全息显示环境和虚拟环境响应指令的优先级顺序，高优先级环境中再区分背景对象和活动对象，背景对象不响应输入命令。

（2-2-2）焦点对象的确认。依据真实背景环境、全息显示环境和虚拟环境的优先级顺序，结合教师的头部位置和视线方向，选中当前最高优先级环境中的活动对象，作为交互操作的焦点对象，接受并响应输入的信息。

（2-2-3）信息响应步骤的执行。当增强教学环境接受到教师发出的语音、眼动、体态和手势的输入信息，结合各个环境的优先级设置，采用多模态信息融合方法生成多通道命令的级联关系，令焦点对象依次执行级联指令。具体步骤如下：

Ⅰ.多模态信息输入：

追踪教师的眼动和体态信息，采集语音信息，识别手势动作；

Ⅱ.级联命令执行次序。

第一步，根据教师的眼动信息，确定注视的活动对象，作为焦点对象；

第二步，根据教师的体态信息，控制焦点对象响应教师体态变化命令；

第三步，根据教师的语音信息，驱动焦点执行对应的命令；

第四步，根据教师的手势信息，控制焦点对象执行对应的命令，如滑动显示特定的内容。

若缺少某些输入信息，则执行时，跳过该步骤。

（2-3）多模态交互的响应。借助手势命令库识别、匹配手势，在全息显示环境中执行相应动作；将输入的语句或指令，转化为全息应用程序可执行的命令；追踪全息显示环境中教师的头部位置、视线方向和身体姿态，执行预先设置的命令。

（2-3-1）手势交互操作。教学过程中，全息终端的红外双目摄像头将采集教师手的位置和速度信息，借助手势命令库识别、匹配张开、抓取、拖动、比心和拳头手势，图8展示系统可识别的教师手势命令。在全息显示环境中执行单击、双击、长按、拖动和平移动作。

（2-3-2）语音交互输入。教师通过移动终端上全息应用程序或全息显示环境中的语音输入命令框，输入需要执行的语句或指令，经语音识别，与命令语料库匹配后，转化为应用程序可执行的命令，依据信息响应步骤，执行对应的操作。

（2-3-3）身体姿态交互。追踪全息显示环境中教师的头部位置、视线方向和身体姿态，依据其凝视选中的环境及其焦点对象，执行预先设置的命令，可调整时间轴上情节执行顺序，切换虚拟教学资源或转换场景内容，更新背景环境的亮度或透明度级别。

（3）临场感生成。在光波导上呈现虚拟教学资源，支持教师实时调取空间锚点所关联的资源内容；融合声音、声效和光影元素，营造光影、背景与透明和亮度变化的环境氛围，实现时空尺度和姿态变化，生成更真实的临场感。

（3-1）教学资源的增强显示。虚拟教学资源压缩包下载到全息终端，经解码、适配后，在光波导上呈现；基于空间锚点定位技术，支持教师实时调取空间锚点所关联的虚拟教学资源；融合声音、声效和光影元素，生成可随音乐、动画和光影变化的环境氛围。

（3-1-1）虚拟资源的全息显示。将虚拟教学资源压缩包下载到全息终端，经解码、适配后，通过微投影设备将虚拟场景内容呈现到光波导中，采用全息方式显示虚拟教学内容，依据教师的语音、手势、眼动和身体姿态的交互命令，更新显示内容。

（3-1-2）教学资源的动态加载。采用空间定位算法追踪真实教学环境中教师的位置和视线方向，获取教师的视场范围，判断该范围与全息显示环境的重叠区域，基于空间锚点定位技术，教师可以实时调取该区域中锚点所关联的虚拟教学资源。

（3-1-3）环境氛围的生成。依据虚拟教学资源的类别和性质，在全息显示环境的空间范围内融合声音、声效和光影元素，生成音乐、动画和光影变化，随着教师的移动或资源内容的改变，环境氛围随之会发生变化。

（3-2）氛围变换。依据场景中的光源数量、类型和强度，变换全息显示环境中的光照效果和影像内容；使用动态图片和粒子特效，生成与虚拟场景内容相符合的背景；依据光影和背景的明暗效果变化，随之调高或降低画面内容的亮度和透明度。图9展示了随着时间变换，提高全息显示环境的亮度级别（如图9中的 （a）所示），或降低亮度级别（如图9中的（b）所示）。

（3-2-1）光影变换。加载新虚拟教学资源或响应交互命令时，全息显示环境中的虚拟内容会发生变化，依据场景中的光源数量、类型和强度，变换光照效果和影像内容，随着教师的移动和视线变换，其周围空间和地板上可形成不同的光影效果。图10展示了随教师移动，地板呈现的不同光影效果。

（3-2-2）背景变换。根据虚拟教学资源的特性，添加与场景内容相匹配的背景图案，随着时间线展开教学内容，使用动图形式切换背景图片，应用物理引擎生成多种粒子特效，模拟与内容和背景相符合的效果。

（3-2-3）透明和亮度的变化。教师使用虚拟场景半透明画布上的文字和图形，可实现与学生的知识传输、问题答疑和讨论互动，依据光影和背景的明暗效果变化，随之调高或降低画面内容的亮度和透明度。图11展示了提高虚拟天气资源温度预报内容亮度的示意图。

（3-3）时空尺度切换。比较当前活动资源与即将加载虚拟教学资源的尺度，实现微观-宏观、宏观-微观或者两者尺度相同的切换；设置全息显示环境中新资源的中心点位置、姿态和缩放参数；设置虚拟教学资源中情节演进的时间轴，可调节情节的播放顺序和速度。

（3-3-1）空间尺度切换。比较当前活动资源与即将加载虚拟教学资源的空间范围，确定两者在空间尺度上的变化情形，针对扩大、缩小或保持当前尺度不变的情况，实现微观-宏观、宏观-微观或者两者尺度相同的切换，令新加载的虚拟教学资源适配全息显示环境。

（3-3-2）姿态切换。根据新加载虚拟教学资源的最小外接矩形、中心点和相对于全息显示环境的尺度，计算其在全息显示环境的中心位置，依据光波导与教师的距离及其视线的夹角，设置新教学资源的姿态和缩放参数。

（3-3-3）时间尺度切换。依据新加载虚拟教学资源的时间尺度，设置它的情节演进时间轴，可按照时间顺序自动播放或手动切换情节，根据事件时长以及重要程度，加快或减慢时间轴特定区间内情节的播放速度。

本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于全息成像的增强教学环境中临场感生成方法，其特征在于该方法包括以下步骤：

S1，增强教学环境生成；依据学科的特点和空间布局，设置背景环境和全息显示环境；归一化处理虚拟教学资源，设定教师的最佳观察位置，高亮显示焦点对象；按照描述属性组织虚拟教学资源，教师可远程访问虚拟教学资源；具体的

S1.1，增强教学环境构建，依据学科的类型和教室的空间布局，构建适合全息显示的背景环境，生成虚拟融合的全息显示环境；根据教师的头部位置和视线方向，在光波导上呈现对应场景的立体、透明全息影象；具体包括以下步骤：

S1.1.1，背景环境的构建，根据物理、化学、生物和地理学科的特点，布设教室的桌椅、实验台、储藏柜或生物安全柜，综合考虑教室的日照和室内灯光配置，设计墙壁、地毯的色彩搭配，构建适合全息显示的背景环境；

S1.1.2，全息显示环境的生成，根据学科教室的类型和空间布局，选择适当的高度和位置，布设全息终端，生成虚拟融合的全息显示环境，选取教室地板和墙壁的交线，确定增强教学环境三维笛卡尔坐标系的原点和坐标轴朝向；

S1.1.3，虚拟环境的营造，在全息终端上加载虚拟教学资源后，依据教师的头部位置和视线方向，微投影设备会将当前虚拟场景投影到光波导上，在全息显示环境中将呈现场景内容的立体、透明影象，营造出虚实融合的教学环境；

S1.2，虚拟场景的初始化，归一化处理新加载虚拟教学资源，令其完整呈现在全息显示环境内；依据分割情况和最佳视距比例，设定全息显示环境中教师的最佳观察位置；利用自动色彩均衡算法，生成选中对象的高对比度外接包围盒；具体包括以下步骤：

S1.2.1，虚拟资源的归一化，依据新加载虚拟教学资源的微观或宏观尺寸属性，使用齐次坐标，在全息显示环境内设置虚拟教学资源的缩放比例和位置，将其调整至符合人眼可观看的范围，确保在全息显示环境内完整呈现；

S1.2.2，观察位置的设定，以微投影设备所在位置为原点，从近到远分割全息显示环境中光波导所呈现的虚拟教学场景，结合教师的头部位置和视线方向，依据最佳视距比例，设定教师的最佳观察位置；

S1.2.3，焦点对象的高亮显示，当教师选中虚拟教学场景中对象时，依据全息显示环境的光照条件与对象的纹理和色彩，利用自动色彩均衡算法，生成高对比度的外接包围盒，采用半透明方式，增强虚拟对象与该包围盒的对比；

S1.3，虚拟教学资源的管理，虚拟教学资源包括描述属性和场景内容；教师访问云平台上的虚拟教学资源管理服务，按照知识点或者语音输入方式查找目标资源；具体包括以下步骤：

S1.3.1，虚拟教学资源的组织，将虚拟教学资源分为描述属性和场景内容两部分，前者包含该资源所属的学科、知识点和教学组织形式；后者包含虚拟场景的层次结构、各个对象的几何数据、光照和纹理属性，通过知识点属性关联场景内容；

S1.3.2，远程访问虚拟教学资源，通过全息应用程序，教师访问云平台上的虚拟教学资源管理服务，按照版本-学科-年级-单元的层级顺序查找知识点所对应的虚拟教学资源，或通过语音检索相应的虚拟教学资源；

S1.3.3，个性化参数的设置，依据课程计划和教学进度安排，学科教师通过资源管理界面，定制具有个人偏好的管理参数，设置虚拟场景的显示顺序、教师访问的优先级、多模态交互规则和环境氛围的变换机制；

S2，多模态交互控制；使用移动终端上的全息应用程序，连接全息终端，实现场景和教学的交互；设置真实背景、全息显示和虚拟环境响应指令的优先级顺序，令焦点对象依次执行级联指令；全息显示环境可以响应手势、语音和身体姿态的交互命令；具体的

S2.1，基于移动终端的交互控制，教师使用应用程序连接全息终端，选取知识点所对应的虚拟教学资源并加载；通过全息应用程序的控制命令，实现与场景的交互；将移动终端屏幕上的教学内容、知识要点、手绘标注和学生反馈内容投射到全息显示环境中；

S2.2，信息响应步骤设置，设置真实背景环境、全息显示环境和虚拟环境的优先级顺序；确定当前选中环境中的活动对象，作为交互操作的焦点对象，接受并响应信息输入；采用多模态信息融合方法生成多通道命令的级联关系，令焦点对象依次执行级联指令；

S2.3，多模态交互的响应，借助手势命令库识别、匹配手势，并在全息显示环境中执行相应动作；将输入的语句或指令，转化为全息应用程序可执行的命令；追踪全息显示环境中教师的头部位置、视线方向和身体姿态，执行预先设置的命令；

S3，临场感生成；在光波导上呈现虚拟教学资源，支持教师实时调取空间锚点所关联的资源内容；融合声音、声效和光影元素，营造光影、背景与透明和亮度变化的环境氛围，实现时空尺度和姿态变化，生成更真实的临场感；具体的

S3.1，教学资源的增强显示，虚拟教学资源压缩包下载到全息终端，经解码、适配后，在光波导上呈现；基于空间锚点定位技术，教师实时调取空间锚点所关联的虚拟教学资源；融合声音、声效和光影元素，生成可随音乐、动画和光影变化的环境氛围；

S3.2，氛围变换，依据场景中的光源数量、类型和强度，变换全息显示环境中的光照效果和影像内容；使用动态图片和粒子特效，生成与虚拟场景内容相符合的背景；依据光影和背景的明暗效果变化，随之调高或降低画面内容的亮度和透明度；

S3.3，时空尺度切换，比较当前活动资源与即将加载虚拟教学资源的尺度，实现微观-宏观、宏观-微观或者两者尺度相同的切换；设置全息显示环境中新资源的中心点位置、姿态和缩放参数；设置虚拟教学资源中情节演进的时间轴，可调节情节的播放顺序和速度。

2.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S2.1中“基于移动终端的交互控制”具体包括以下步骤：

S2.1.1，全息应用程序设置，创建面向移动终端的全息应用程序，支持教师使用该应用程序连接全息终端，登录个人的网络教学空间，根据学科、班级、教材和课程进度安排，选取知识点所对应的虚拟教学资源，并在全息终端上加载该资源；

S2.1.2，场景交互实现，通过全息应用程序的控制命令，教师在移动终端上切换全息显示环境中的场景内容，在教学活动过程中增加或删除需使用的虚拟教具或学具，缩放、旋转、平移和隐藏虚拟场景中的模型对象；

S2.1.3，教学交互实现，教师通过全息应用程序，将移动终端屏幕上的教学内容、知识要点和手绘标注投射到全息显示环境中；向学习者发送相关题目，接收、统计学习者的回答记录，在全息显示环境的半透明框中展示答题内容。

3.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S2.2中“信息响应步骤设置”具体包括以下步骤：

S2.2.1，优先级设置，根据教学活动设计、教师的个人偏好以及虚拟环境的操作参数，设置真实背景环境、全息显示环境和虚拟环境响应指令的优先级顺序，高优先级高环境中再区分背景对象和活动对象，背景对象不响应输入命令；

S2.2.2，焦点对象的确认，依据真实背景环境、全息显示环境和虚拟环境的优先级顺序，结合教师的头部位置和视线方向，选中当前最高优先级环境中的活动对象，作为交互操作的焦点对象，接受并响应输入的信息；

S2.2.3，信息响应步骤的执行，当增强教学环境接受到教师发出的语音、眼动、体态和手势的输入信息，结合各个环境的优先级设置，采用多模态信息融合方法生成多通道命令的级联关系，令焦点对象依次执行级联指令。

4.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S2.3中“多模态交互的响应”具体包括以下步骤：

S2.3.1，手势交互操作，教学过程中，全息终端的红外双目摄像头采集教师手的位置和速度信息，借助手势命令库识别、匹配张开、抓取、拖动、比心和拳头手势，在全息显示环境中执行单击、双击、长按、拖动和平移动作；

S2.3.2，语音交互输入，教师通过移动终端上全息应用程序上或全息显示环境中的语音输入命令框，输入将要执行的语句或指令，经语音识别后，与命令语料库匹配后，转化为应用程序可执行的命令，依据信息响应步骤，执行对应的操作；

S2.3.3，身体姿态交互，追踪全息显示环境中教师的头部位置、视线方向和身体姿态，依据其凝视选中的环境及其焦点对象，执行预先设置好的命令，可调整时间轴上情节执行顺序，切换虚拟教学资源或转换场景内容，更新背景环境的亮度或透明度级别。

5.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S3.1中“教学资源的增强显示”具体包括以下步骤：

S3.1.1，虚拟资源的全息显示，将虚拟教学资源压缩包下载到全息终端，经解码、适配后，通过微投影设备将虚拟场景内容呈现到光波导中，采用全息方式显示虚拟教学内容，依据教师的语音、手势、眼动和身体姿态的交互命令，更新显示内容；

S3.1.2，教学资源的动态加载，采用空间定位算法追踪真实教学环境中教师的位置和视线方向，获取教师的视场范围，判断该范围与全息显示环境的重叠区域，基于空间锚点定位技术，教师实时调取该区域中锚点所关联的虚拟教学资源；

S3.1.3，环境氛围的生成，依据虚拟教学资源的类别和性质，在全息显示环境的空间范围内融合声音、声效和光影元素，生成音乐、动画和光影变化。

6.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S3.2中“氛围变换”具体包括以下步骤：

S3.2.1，光影变换，加载新的虚拟教学资源或响应交互命令时，全息显示环境中的虚拟内容发生变化，依据场景中的光源数量、类型和强度，变换光照效果和影像内容，随着教师的移动和视线变换，其周围空间和地板上形成不同的光影效果；

S3.2.2，背景变换，根据虚拟教学资源的特性，添加与场景内容相匹配的背景图案，随着时间线展开教学内容，使用动图形式切换背景图片，应用物理引擎生成多种粒子特效，模拟与内容和背景相符合的效果；

S3.2.3，透明和亮度的变化，教师使用虚拟场景的半透明画布上的文字和图形，实现与学生的知识传输、问题答疑和讨论互动，依据光影和背景的明暗效果变化，随之调高或降低画面内容的亮度和透明度。

7.根据权利要求1所述的基于全息成像的增强教学环境中临场感生成方法，其特征在于S3.3中“时空尺度切换”具体包括以下步骤：

S3.3.1，空间尺度切换，比较当前活动资源与即将加载虚拟教学资源的空间范围，确定两者在空间尺度上的变化情形，针对扩大、缩小或保持当前尺度不变的情况，实现微观-宏观、宏观-微观或者两者尺度相同的切换，令新加载的虚拟教学资源适配全息显示环境；

S3.3.2，姿态切换，根据新加载虚拟教学资源的最小外接矩形、中心点和相对于全息显示环境的尺度，计算其在全息显示环境的中心位置，依据光波导与教师的距离及其视线的夹角，设置新教学资源的姿态和缩放参数；

S3.3.3，时间尺度切换，依据新加载虚拟教学资源的时间尺度，设置它的情节演进时间轴，按照时间顺序自动播放或手动切换情节，根据事件时长以及重要程度，加快或减慢时间轴中事件对应区间内情节的播放速度。

Images