CN108805766A - 一种ar体感沉浸式教学系统和方法 - Google Patents

Abstract

本发明公开了AR体感沉浸式教学系统，包括电脑主机、投影仪、投影屏幕、摄像头和摄像平台；电脑主机启动AR体感软件；摄像头拍摄用户影像信息并发送到电脑主机；电脑主机运行AR体感软件对接收的用户影像信息进行解析，生成用户感应区域；AR体感软件根据应用逻辑在用户感应区域周围生成虚拟物品；电脑主机将虚拟物品和用户影像信息混合并发送到投影仪；通过体感技术在AR增强现实中产生交互；通过体感技术在AR增强现实中产生交互，其动作数据被所述AR体感软件解析，并控制所述AR体感软件产生相应的反馈，实现互动，克服了传统的触摸屏单一的交互方式；多个用户可以同时站在所述摄像平台上，实现多个人同时操作。

Description

一种AR体感沉浸式教学系统和方法

技术领域

本发明涉及AR应用技术领域，具体涉及一种AR体感沉浸式教学系统和方法。

背景技术

本方案中涉及的两个主要技术为AR和体感操作。AR增强现实Augmented Reality，简称AR，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。它可以将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如视觉信息、声音、味道、触觉，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR技术应用在教育领域后，学生可以与跃出屏幕之外的事物互动，更加直观、更加立体、更加趣味地学习知识，真正实现寓教于乐。目前苹果、谷歌以及BAT在内的全球科技巨头都已经投身AR领域，未来AR将形成多元化的商业模式，而其中教育类AR应用也将成为其中重要组成部分。

体感技术是指用户直接使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学感测。在本套解决方案中特指光学感测。

目前市场上普遍存在的AR教育应用大都是针对书籍、卡片的，通过智能设备拍摄传统书刊、画册后，在其上叠加显示增强现实画面。这种形式非常单调，缺乏互动性，用户的感觉仅仅是通过一种特殊的方式在纸张背景上播放了一段视频而已。同时，这些基于手机或pad的产品，唯一的显示终端是手机或pad自身的屏幕，只能在近距离内限定一个用户一个设备的观看，无法实现多人或者是大场景下的应用。

发明内容

本发明的目的在于提供一种AR体感沉浸式教学系统和方法，用以解决现有AR不能实现互动，使用范围小的问题。

为实现上述目的，本发明的技术方案为

一种AR体感沉浸式教学系统，包括电脑主机、投影仪、投影屏幕、摄像头和摄像平台；

所述摄像平台用于在采集用户视频信息时限定用户的活动区域；

所述电脑主机用于运行AR体感软件对采集的用户数据进行处理件并对投影仪、投影屏幕和摄像头进行控制以实现完整的AR体感交互方案；

所述摄像头用于实时采集站立在所述摄像平台上的用户的视频信息并发送到所述电脑主机进行数据处理；

所述投影仪用于接收所述电脑主机发送的经过所述AR体感软件处理的用户数据并投影到所述投影屏幕；

所述投影屏幕用于接收并显示所述投影仪发送的投影信息。

一种AR体感沉浸式教学方法，用于所述AR体感沉浸式教学系统，包括步骤：

步骤1：所述电脑主机启动所述AR体感软件；

步骤2：所述摄像头拍摄用户影像信息并发送到所述电脑主机；

步骤3：所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；

步骤4：所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；

步骤5：所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪；

步骤6：通过体感技术在AR增强现实中产生交互。

其中，所述电脑主机启动AR体感软件包括：

步骤1.1：在所述AR体感软件内预设教育信息，所述教育信息包括授课doc、ppt和html文档；

步骤1.2：启动所述AR体感软件。

其中，所述摄像头拍摄用户影像信息并发送到所述电脑主机包括：

当课程内容涉及AR内容时，用户站立到所述摄像平台上，所述摄像头采集用户影像信息并发送到所述电脑主机，同时所述用户影像信息经所述投影仪显示在所述显示屏上；所述显示屏根据所述影像信息的位置发出提醒信息提示用户移动到正确位置。

其中，所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生用户感应区域包括：

步骤3.1：所述摄像头启动后先拍摄一组特定区域的白数据，当用户根据所述提醒信息移动到所述特定区域时，通过对比所述白数据被覆盖的比例来确定用户位置是否正确；当所述白数据被覆盖率超过70％，即可判定用户位置有效；所述白数据是被用作对比基础的初始数据；

步骤3.2：通过对所述特定区域内的所述用户影像信息进行分析，并将分析结果与图像数据库中的头、眼、嘴、手、脚图像信息进行对比，以确定用户感应区域数据和虚拟世界中的世界座标位置。

其中，所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪包括：

步骤5.1：所述虚拟物品通过增强现实技术叠加显示在所述用户影像信息上之后输出给所述投影仪；

步骤5.2：所述投影仪将混合叠加后的所述虚拟物品和所述用户影像信息投影显示在所述投影屏幕上。

其中，所述通过体感技术在AR增强现实中产生交互包括：

步骤6.1：所述AR体感软件持续解析所述用户影像信息，并判断解析结果中是否存在体感操作指令；

步骤6.2：所述AR体感软件计算所述体感操作指令的功能，所述用户影像信息与所述虚拟物品发生的交互动作，并将所述交互动作通过所述投影仪显示在所述投影屏幕上。

其中，所述用户影像信息与所述虚拟物品发生的交互动作包括：

所述用户影像信息发出用户指令与所述虚拟物品产生碰撞；

所述AR体感软件的应用逻辑确认所述用户指令，并做出反馈。

本发明具有如下优点：

本发明的AR体感沉浸式教学系统，包括电脑主机、投影仪、投影屏幕、摄像头和摄像平台；

所述摄像平台用于在采集用户视频信息时限定用户的活动区域；

所述电脑主机用于运行AR体感软件对采集的用户数据进行处理件并对投影仪、投影屏幕和摄像头进行控制以实现完整的AR体感交互方案；

所述摄像头用于实时采集站立在所述摄像平台上的用户的视频信息并发送到所述电脑主机进行数据处理；

所述投影仪用于接收所述电脑主机发送的经过所述AR体感软件处理的用户数据并投影到所述投影屏幕；

所述投影屏幕用于接收并显示所述投影仪发送的投影信息；

本发明的AR体感沉浸式教学方法，用于所述AR体感沉浸式教学系统，包括步骤：

步骤1：所述电脑主机启动所述AR体感软件；

步骤2：所述摄像头拍摄用户影像信息并发送到所述电脑主机；

步骤3：所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；

步骤4：所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；

步骤5：所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪；

步骤6：通过体感技术在AR增强现实中产生交互；

通过所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；所述虚拟物品可以增强带入感，使得用户有身临其境的感觉；

通过体感技术在AR增强现实中产生交互，当用户动作时，其动作数据被所述AR体感软件解析，并控制所述AR体感软件产生相应的反馈，实现互动，克服了传统的触摸屏单一的交互方式；

在使用时，多个用户可以同时站在所述摄像平台上，由所述摄像头采集多个用户影像信息并由所述AR体感软件进行分析处理，实现多个人同时操作，扩大使用范围。

附图说明

图1是本发明的AR体感沉浸式教学系统的功能模块图。

图2是本发明的AR体感沉浸式教学方法的流程图。

图3是本发明的户影像信息解析过程示意图。

图4是本发明的用户影像和虚拟物品的示意图。

图5是本发明的用户影像发出指令与虚拟物品产生碰撞的示意图。

图6是本发明的应用逻辑确认用户指令虚拟物品做出反馈的示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

本实施例1的AR体感沉浸式教学系统，包括电脑主机、投影仪、投影屏幕、摄像头和摄像平台；

所述摄像平台用于在采集用户视频信息时限定用户的活动区域；

所述电脑主机用于运行AR体感软件对采集的用户数据进行处理件并对投影仪、投影屏幕和摄像头进行控制以实现完整的AR体感交互方案；

所述摄像头用于实时采集站立在所述摄像平台上的用户的视频信息并发送到所述电脑主机进行数据处理；

所述投影仪用于接收所述电脑主机发送的经过所述AR体感软件处理的用户数据并投影到所述投影屏幕；

所述投影屏幕用于接收并显示所述投影仪发送的投影信息。

通过所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；所述虚拟物品可以增强带入感，使得用户有身临其境的感觉；

通过体感技术在AR增强现实中产生交互，当用户动作时，其动作数据被所述AR体感软件解析，并控制所述AR体感软件产生相应的反馈，实现互动，克服了传统的触摸屏单一的交互方式；

在使用时，多个用户可以同时站在所述摄像平台上，由所述摄像头采集多个用户影像信息并由所述AR体感软件进行分析处理，实现多个人同时操作，扩大使用范围。

实施例2

进一步，在实施例1的基础上：

本实施例2的AR体感沉浸式教学方法，用于所述AR体感沉浸式教学系统，包括步骤：

步骤1：所述电脑主机启动所述AR体感软件；

步骤2：所述摄像头拍摄用户影像信息并发送到所述电脑主机；

步骤3：所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；

步骤4：所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；

步骤5：所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪；

步骤6：通过体感技术在AR增强现实中产生交互。

所述电脑主机启动AR体感软件包括：

步骤1.1：在所述AR体感软件内预设教育信息，所述教育信息包括授课doc、ppt和html文档；

步骤1.2：启动所述AR体感软件。

所述摄像头拍摄用户影像信息并发送到所述电脑主机包括：

当课程内容涉及AR内容时，用户站立到所述摄像平台上，所述摄像头采集用户影像信息并发送到所述电脑主机，同时所述用户影像信息经所述投影仪显示在所述显示屏上；所述显示屏根据所述影像信息的位置发出提醒信息提示用户移动到正确位置。

所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生用户感应区域包括：

步骤3.1：所述摄像头启动后先拍摄一组特定区域的白数据，当用户根据所述提醒信息移动到所述特定区域时，通过对比所述白数据被覆盖的比例来确定用户位置是否正确；当所述白数据被覆盖率超过70％，即可判定用户位置有效；所述白数据是被用作对比基础的初始数据；

步骤3.2：通过对所述特定区域内的所述用户影像信息进行分析，并将分析结果与图像数据库中的头、眼、嘴、手、脚图像信息进行对比，以确定用户感应区域数据和虚拟世界中的世界座标位置。

所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪包括：

步骤5.1：所述虚拟物品通过增强现实技术叠加显示在所述用户影像信息上之后输出给所述投影仪；

步骤5.2：所述投影仪将混合叠加后的所述虚拟物品和所述用户影像信息投影显示在所述投影屏幕上。

所述通过体感技术在AR增强现实中产生交互包括：

步骤6.1：所述AR体感软件持续解析所述用户影像信息，并判断解析结果中是否存在体感操作指令；

步骤6.2：所述AR体感软件计算所述体感操作指令的功能，所述用户影像信息与所述虚拟物品发生的交互动作，并将所述交互动作通过所述投影仪显示在所述投影屏幕上。

所述用户影像信息与所述虚拟物品发生的交互动作包括：

所述用户影像信息发出用户指令与所述虚拟物品产生碰撞；

所述AR体感软件的应用逻辑确认所述用户指令，并做出反馈。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种AR体感沉浸式教学系统，其特征在于，包括电脑主机、投影仪、投影屏幕、摄像头和摄像平台；

所述摄像平台用于在采集用户视频信息时限定用户的活动区域；

所述电脑主机用于运行AR体感软件对采集的用户数据进行处理件并对投影仪、投影屏幕和摄像头进行控制以实现完整的AR体感交互方案；

所述摄像头用于实时采集站立在所述摄像平台上的用户的视频信息并发送到所述电脑主机进行数据处理；

所述投影仪用于接收所述电脑主机发送的经过所述AR体感软件处理的用户数据并投影到所述投影屏幕；

所述投影屏幕用于接收并显示所述投影仪发送的投影信息。

2.一种AR体感沉浸式教学方法，用于权利要求1所述AR体感沉浸式教学系统，其特征在于，包括步骤：

步骤1：所述电脑主机启动所述AR体感软件；

步骤2：所述摄像头拍摄用户影像信息并发送到所述电脑主机；

步骤3：所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域；

步骤4：所述AR体感软件根据应用逻辑在所述用户感应区域周围生成虚拟物品；

步骤5：所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪；

步骤6：通过体感技术在AR增强现实中产生交互。

3.根据权利要求2所述AR体感沉浸式教学系统，其特征在于，所述电脑主机启动AR体感软件包括：

步骤1.1：在所述AR体感软件内预设教育信息，所述教育信息包括授课doc、ppt和html文档；

步骤1.2：启动所述AR体感软件。

4.根据权利要求3所述AR体感沉浸式教学系统，其特征在于，所述摄像头拍摄用户影像信息并发送到所述电脑主机包括：

当课程内容涉及AR内容时，用户站立到所述摄像平台上，所述摄像头采集用户影像信息并发送到所述电脑主机，同时所述用户影像信息经所述投影仪显示在所述显示屏上；所述显示屏根据所述影像信息的位置发出提醒信息提示用户移动到正确位置。

5.根据权利要求4所述AR体感沉浸式教学系统，其特征在于，所述电脑主机运行所述AR体感软件对接收的所述用户影像信息进行解析，生成用户感应区域包括：

步骤3.1：所述摄像头启动后先拍摄一组特定区域的白数据，当用户根据所述提醒信息移动到所述特定区域时，通过对比所述白数据被覆盖的比例来确定用户位置是否正确；当所述白数据被覆盖率超过70％，即可判定用户位置有效；所述白数据是被用作对比基础的初始数据；

步骤3.2：通过对所述特定区域内的所述用户影像信息进行分析，并将分析结果与图像数据库中的头、眼、嘴、手、脚图像信息进行对比，以确定用户感应区域数据和虚拟世界中的世界座标位置。

6.根据权利要求5所述AR体感沉浸式教学系统，其特征在于，所述电脑主机将所述虚拟物品和所述用户影像信息混合并发送到所述投影仪包括：

步骤5.1：所述虚拟物品通过增强现实技术叠加显示在所述用户影像信息上之后输出给所述投影仪；

步骤5.2：所述投影仪将混合叠加后的所述虚拟物品和所述用户影像信息投影显示在所述投影屏幕上。

7.根据权利要求6所述AR体感沉浸式教学系统，其特征在于，所述通过体感技术在AR增强现实中产生交互包括：

步骤6.1：所述AR体感软件持续解析所述用户影像信息，并判断解析结果中是否存在体感操作指令；

步骤6.2：所述AR体感软件计算所述体感操作指令的功能，所述用户影像信息与所述虚拟物品发生的交互动作，并将所述交互动作通过所述投影仪显示在所述投影屏幕上。

8.根据权利要求7所述AR体感沉浸式教学系统，其特征在于，所述用户影像信息与所述虚拟物品发生的交互动作包括：

所述用户影像信息发出用户指令与所述虚拟物品产生碰撞；

所述AR体感软件的应用逻辑确认所述用户指令，并做出反馈。