CN108428376A - 一种视觉沉浸式立体投影教学方法 - Google Patents

Abstract

本发明公开了一种视觉沉浸式立体投影教学方法，其特征在于，使用双投影仪叠加人形的新型投影技术，并将其运用在教育领域中，达到借助投影的力量创造沉浸性的有效的教学，包括两台性能基本一致的投影仪、两台定位摄像机和一块厚度为22mm、大小合适的投影玻璃面，根据投影对象左右视图的不同角度特征，依据左右视差原理的解释，并对采集到的图像进行三维切片处理，最后投影在玻璃荧屏上，从而使教师可以在虚拟环境呈现与实际相同的效果，形成和谐的教学关系，教室里借助投影的力量可以让课程提高到一个全新的水平，立体投影在富于挑战性的科目中增加了一个新维度来创造沉浸性的有效的教学，创造出一种沉浸性的环境，在清晰生动的演示中保留信息。

Description

一种视觉沉浸式立体投影教学方法

技术领域

本发明涉及一种沉浸式立体投影技术，尤其是其在教学投影的应用。

背景技术

目前，立体投影技术的实现方法主要有两种。一种是是眼镜式3D显示技术，主要应用于3D电影的欣赏，但这种技术对眼镜的要求高，眼镜结构复杂，成本高昂。而且，出于方便实用的设计理念考虑，不能够成为实现3D的优选方法。另一种是建立多投影仪显示的方法，它通过多角度提供投影仪，以及将这些图像投射在一个特殊的透射或反射屏幕上。

相比于3D电影的成熟发展，立体投影在教学领域的应用还没有突破，显而易见，多投影技术的应用可以创设最自然最直观的学习情景，具有美好的前景。此外，立体投影的市场需求庞大，其重现立体图像的功能，在广告宣传领域也有极大的应用前景。

发明内容

针对以上问题，本发明提供了一种视觉沉浸式立体投影教学方法，教室里借助投影的力量可以让课程提高到一个全新的水平，立体投影在富于挑战性的科目中增加了一个新维度来创造沉浸性的有效的教学，创造出一种沉浸性的环境，在清晰生动的演示中保留信息。

为实现上述目的，本发明提供如下技术方案：一种视觉沉浸式立体投影教学方法，使用双投影仪叠加人形的新型投影技术，并将其运用在教育领域中，达到借助投影的力量创造沉浸性的有效的教学，包括两台性能基本一致的投影仪、两台定位摄像机和一块厚度为22mm、大小合适的投影玻璃面，根据投影对象左右视图的不同角度特征，依据左右视差原理的解释，并对采集到的图像进行三维切片处理，最后投影在玻璃荧屏上，从而使教师可以在虚拟环境呈现与实际相同的效果，形成和谐的教学关系。

优选的，所述双投影技术是指以多投影仪拼接技术为基础构筑的增强现实技术，多投影仪拼接技术源于高分辨率图像显示的需求。

优选的，所述两台定位摄像机左右角度对人形的视频采集是基于左右视差原理的应用，其定位功能解决教师在拍摄过程中小范围的移动，采用人体行为识别图像算法检测人体的动作，智能行为识别，并给出相应的特写定位或全景镜头。

优选的，所述三维切片处理是一种运用三维可视化技术对分割结果进行三维重建，以三维形式展示分割结果，使观众可以从多角度、多层次观察。

优选的，所述玻璃投影平面作为投影荧幕，投影玻璃是一款基于PDLC液晶技术的夹层玻璃产品，其原理是：PDLC断电状态下液晶分子呈散射状态，透光但不透明；通电后液晶分子呈直线排列，透光且透明，借助上述原理，将PDLC液晶调光膜夹层于两层玻璃之间，制成夹层结构的投影玻璃。

优选的，所述多投影拼接技术的高分辨率图像的显示有多种方式，采用的硬件系统属于多投影仪拼接技术，该技术没有显示器边框的限制，通过对各投影仪投影图像进行处理可以实现无缝拼接。

优选的，所述语音模块主要指录制视频阶段的声音采集和双机投影阶段的声音播放环节。

与现有技术相比，本发明的有益效果是：突破平面限制，通过对人形图像双机投影，达到立体投影的效果，降低直接实现3D的技术难度。立体投影的使用，迎合了市场对三维视角的需求，解决了教育领域普通投影技术的不足。

附图说明

图1为本发明结构示意图。

图2为本发明系统模块结构示意图。

图3为本发明录制模块摄像示意图。

图4为本发明发明场景应用结构流图。

图5为本发明所应用的视差原理示意图。

图6为本发明所应用的投影玻璃原理示意图。

图7为本发明所应用的摄像定位示意图。

图8为本发明所应用的三维切片处理流程图。

图9为本发明所应用的迭代法图像重建示意图。

图中：1-一号投影仪；2-二号投影仪；3-投影像；4-投影玻璃面；5-一号定位摄像机；6-二号定位摄像机；7-教师人形。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

请参阅图1，一种视觉沉浸式立体投影教学方法，使用双投影仪叠加人形的新型投影技术，并将其运用在教育领域中，达到借助投影的力量创造沉浸性的有效的教学。实现这种效果，主要需要两台性能基本一致的投影仪、两台定位摄像机和一块厚度为22mm、大小合适的投影玻璃面。该技术根据投影对象左右视图的不同角度特征，依据左右视差原理的解释，并对采集到的图像进行三维切片处理，最后投影在玻璃荧屏上，从而使教师可以在虚拟环境呈现与实际相同的效果，形成和谐的教学关系。所述两台定位摄像机用于录制不同角度的视频图像，所述两台投影仪用于在对应角度投影不同视频图像，所述投影玻璃面为一款基于PDLC液晶技术的夹层玻璃产品。

实施例2：

在实施例1的基础上，参照图1和图5所示，本发明所述的两台投影仪为性能基本一致的同型号投影仪，投影仪镜头制造工艺的不足和型号性能的不同会造成几何失真、光度失真、色彩失真，准确定位投影仪的摆放位置、减少投影仪内部的亮度差异，这些都可以有效地校正和调整投影的效果。械校正方法的一般思路为：先把投影仪安置在底架上，做手动平移和旋转调整，以实现初步的校正。然后通过调整各投影仪的焦距、投影图像大小等参数来得到理想的拼接图像。这种校正方法的前一步针对的是几何失真的物理成因，后一步针对的是几何失真的光学成因。机械校正方法具有思路直观、易于实施的优点。

实施例3：

在实施例1的基础上，参照图3和图5所示，本发明所述的定位摄像机应参照人眼的左右视角范围，依据左右视差原理，人眼得到的三维信息之间存在一定的差异，将这种分别对应于左右眼的两张图像称为立体图像对，通过摄像机采集的具有一定差异的分别对应于左右眼的图像，来代替人眼视差。

视差三维显示技术：根据人的双眼在观察三维物体的原理而实现一种三维显示技术。人的双眼在观察三维物体时，由于双眼之间存在一定的间距，从而使得左右双眼接受得到三维信息存在一定的差异，然后在经过人脑的融合从而实现了三维信息的合成。

实施例4：

在实施例1的基础上，参照图6所示，本发明所述的投影玻璃平面，投影玻璃是一款基于PDLC液晶技术的夹层玻璃产品，它的原理是，PDLC断电状态下液晶分子呈散射状态，透光但不透明；通电后液晶分子呈直线排列，透光且透明。借助上述原理，将PDLC液晶调光膜夹层于两层玻璃之间，制成夹层结构的投影玻璃。

投影玻璃，其技术核心在于对玻璃进行特殊处理，增大其漫反射，只需要连上投影仪，便可以成为一种存在于空气中的透明投影面。其外表与普通玻璃没有什么区别，应用于本发明中可以营造出“视觉沉浸感”，使投影教师的像更加逼真和立体感。

实施例5：

在实施例1的基础上，参照图2所示，本发明所述的语音模块采用麦克风进行对教师的语音信号实时采集，通过音频信号处理模块对采集的语音信号进行优化处理后，通过扬声器播放。该模块在录制模块和投影模块中均有涉及。

实施例6：

在实施例1的基础上，参照图3和图7所示，本发明所述的摄像机定位功能采用对极几何约束与基础矩阵算法，其实现方法如下：假设空间一个运动目标M被两个摄像机同时检测到，则在摄像机1和摄像机2中分别捕捉到图像1和图像2中目标的投影点m₁和m₂，空间目标M和摄像机1的光心C₁、摄像机2的光心C₁在同一个平面上，该平面称为极平面π。对于空间任一点M，m₁和m₂分别是M在图像1和图像2上的投影点，对于图像1上任一点m₁，图像2上存在一条极线与之对应，并且对应点m₂也在这条极线上；同理对于图像2也是，这就是所谓的对几何约束，它是不同视角下两幅图像间固有的射影性质。

如果用代数式表示，则基础矩阵F就描述了点与线的位置关系。对于图像1上任一点m₁，在图像2上都有一条极线L₂与其对应，则L₂的表达式为L₂＝Fm₁，而m₁在图像2上的对应点m₂也在这条极线上，所以有下列对极几何约束关系：

此时，m₁、m₂是齐次坐标，基础矩阵F是一个3×3的齐次变换矩阵，根据空间几何变换可知，F有8个自由度；但又由于rank(F)＝2，det(F)＝0，所以F的自由度只有7个。对几何约束描述的是图像对应点之间的约束关系，所以如果我们已知图像匹配点对，那么就可以对基础矩阵进行计算估计，计算出图像之间的基础矩阵，就能展开后续摄像机标定工作，计算出摄像机的投影矩阵，最终得到目标在三维空间的坐标位置。

实施例7：

在实施例1的基础上，参照图8所示，本发明所述的三维切片处理主要包括三个部分：三维分割、切片内插、3D图像构建和滤波三个步骤。我们采用一种经典的图像重建算法即级数展开重建法，也叫代数重建法、迭代算法。

该算法从一开始就在离散域中进行，有矩阵形式为

其中是测量获得的投影矢量，是图像矢量，是M×N的矩阵，表示M条射线穿过由N个栅格组成的图像矩阵的投影系数，其a_ij元素代表第j个素对第i条射线贡献的权值，此时射线是有一定宽度的，a_ij的值一般取为第i条射线与第j个像素相交的面积与像素面积比。进一步可扩展为：

该算法的思路及其示意过程如图9所示，每次取一条射线，将测量获得的投影值与当前计算的投影值间的差正比于a_ij，并重新分配到各个像素上去，改变图像中与该线相交的像素的灰度值，从而把当前图像矢量从更新为为了获得高质量的图像，式中的M和N都需要在10⁵量级。

基于上述，本发明运用了一种视觉沉浸式立体投影教学方法，使教师可以在虚拟环境中扮演角色，人作为虚拟环境中的主体，逼真的运动特性给学生在虚拟世界的沉浸感，形成和谐合作的教学关系。

一种视觉沉浸式立体投影教学方法应用于教学的优势在于：

1)在信息展示方式上打破时间与空间的限制

2)弥补教学条件的不足

3)避免真实实验中的危险环节

4)应用广泛，在教育、广告、展览等领域前景广阔

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种视觉沉浸式立体投影教学方法，其特征在于，使用双投影仪叠加人形的新型投影技术，并将其运用在教育领域中，达到借助投影的力量创造沉浸性的有效的教学，包括两台性能基本一致的投影仪、两台定位摄像机和一块厚度为22mm、大小合适的投影玻璃面，根据投影对象左右视图的不同角度特征，依据左右视差原理的解释，并对采集到的图像进行三维切片处理，最后投影在玻璃荧屏上，从而使教师可以在虚拟环境呈现与实际相同的效果，形成和谐的教学关系。

2.根据权利要求1所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述双投影技术是指以多投影仪拼接技术为基础构筑的增强现实技术，多投影仪拼接技术源于高分辨率图像显示的需求。

3.根据权利要求1所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述两台定位摄像机左右角度对人形的视频采集是基于左右视差原理的应用，其定位功能解决教师在拍摄过程中小范围的移动，采用人体行为识别图像算法检测人体的动作，智能行为识别，并给出相应的特写定位或全景镜头。

4.根据权利要求1所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述三维切片处理是一种运用三维可视化技术对分割结果进行三维重建，以三维形式展示分割结果，使观众可以从多角度、多层次观察。

5.根据权利要求1所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述玻璃投影平面作为投影荧幕，投影玻璃是一款基于PDLC液晶技术的夹层玻璃产品，其原理是：PDLC断电状态下液晶分子呈散射状态，透光但不透明；通电后液晶分子呈直线排列，透光且透明，借助上述原理，将PDLC液晶调光膜夹层于两层玻璃之间，制成夹层结构的投影玻璃。

6.根据权利要求1或2所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述多投影拼接技术的高分辨率图像的显示有多种方式，采用的硬件系统属于多投影仪拼接技术，该技术没有显示器边框的限制，通过对各投影仪投影图像进行处理可以实现无缝拼接。

7.根据权利要求1所述的一种视觉沉浸式立体投影教学方法，其特征在于：所述语音模块主要指录制视频阶段的声音采集和双机投影阶段的声音播放环节。