CN108389249B - 一种多兼容性的vr/ar空间教室及其构建方法 - Google Patents

一种多兼容性的vr/ar空间教室及其构建方法 Download PDF

Info

Publication number
CN108389249B
CN108389249B CN201810182506.7A CN201810182506A CN108389249B CN 108389249 B CN108389249 B CN 108389249B CN 201810182506 A CN201810182506 A CN 201810182506A CN 108389249 B CN108389249 B CN 108389249B
Authority
CN
China
Prior art keywords
classroom
space
virtual object
user
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810182506.7A
Other languages
English (en)
Other versions
CN108389249A (zh
Inventor
蔡铁峰
仵博
陈锐浩
李春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN201810182506.7A priority Critical patent/CN108389249B/zh
Publication of CN108389249A publication Critical patent/CN108389249A/zh
Application granted granted Critical
Publication of CN108389249B publication Critical patent/CN108389249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

一种多兼容性的VR/AR空间教室及其构建方法,所述构建方法包括:S1,读取课程VR/AR资源,把资源内包含的虚拟物体模型发送到各渲染器;S2,获取对现实世界的认知数据,生产初始VR/AR教室场景;S3,依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属;S4,读入各用户的互动输入,更新对现实世界的认知数据,计算下一时刻各虚拟物体的状态;S5,发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器;S6,渲染各用户的画面;S7,显示。本发明还提供了一种VR/AR空间教室。本发明以教师运用VR/AR技术同时向以班为单位的学生开展教学为目标,充分考虑学生对VR/AR技术的不同接受程度,具备多种兼容性。

Description

一种多兼容性的VR/AR空间教室及其构建方法
技术领域
本发明属于虚拟现实技术领域,尤其是一种多兼容性的VR/AR空间教室及其构建方法。
背景技术
虚拟现实(VR)技术是使用计算机生成虚拟空间,这个虚拟空间可以是二维、三维、四维等,其中最受关注的是三维空间。在虚拟空间里,虚拟物体根据指定的规则可自主的运动。人通过一定的输入方式与虚拟空间互动,可促使虚拟物体的生成、消除、位移等。
增强现实(AR)技术在现实世界的基础上叠加虚拟物体,叠加的虚拟物体既可以根据真实世界的物理规则运动,也可以根据任意指定的规则运动。人在和增强现实空间互动时,既可以影响虚拟物体的运动,也可以影响真实物体的运动。除了VR和AR外,还有混合现实(MR)的概念,在这里把MR视作AR的一部分。
VR与AR既区隔也相通,VR与AR相通主要体现在两方面。首先,VR空间内的虚拟物体如果有真实物体对应,且虚拟物体与真实物体重合,此时VR在某种意义上是AR;其次,在AR空间里,虚拟物体如果把真实世界完全遮挡住,此时AR也在某种意义上是VR。
虚拟现实技术(VR)和增强现实技术(AR)给教学提供了新的内容呈现方法和新的课堂互动工具,从而使教学质量的提升有了新的广阔空间。目前同时兼容VR/AR的教学方法和系统尚属于开发阶段,存在诸多空白的地方。
发明内容
本发明提出一种多兼容性的VR/AR空间教室及其构建方法,以教师运用VR/AR技术同时向以班为单位的学生开展教学为目标,充分考虑学生对VR/AR技术的不同接受程度。
本发明是这样实现的:
一种多兼容性的VR/AR空间教室的构建方法,包括:S1,读取课程VR/AR资源,把资源内包含的虚拟物体模型发送到各渲染器;S2,获取对现实世界的认知数据,生产初始VR/AR教室场景;S3,依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属;S4,读入各用户的互动输入,更新对现实世界的认知数据,计算下一时刻各虚拟物体的状态;S5,发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器;S6,渲染各用户的画面;S7,显示。
在本发明中,VR/AR是指兼容VR/AR模式。
作为发明的进一步改进,还包括将多媒体设备的内容与VR/AR空间内容同步呈现。采用此技术方案,本发明兼容多媒体设备和虚拟技术,例如可以在显示虚拟空间教室的同时,在黑板上采用投影仪显示PPT内容。
作为发明的进一步改进,还包括将在真实的教室基础上同时构建VR教室和AR教室,教室内的虚拟物体可选择同时属于VR教室和AR教室,或者只属于VR教室或AR教室,各用户的互动输入包括选择进入VR教室还是AR教室。采用此技术方案,本发明兼容VR/AR并且可以通过学生来自由指定。
作为发明的进一步改进,VR/AR教室内的虚拟物体可选择归属单人或多人可见,另外可选择归属单人或多人可操作,各用户的互动输入包括选择虚拟物体的不同归属。采用此技术方案,本发明兼容多个虚拟物体的不同归属,当各用户输入的多个虚拟物体的归属一致时,就呈现了一个多人单一的VR/AR空间教室;但是,假设教师或者学生为了个性化、保护隐私、分组、个人考核等目的,给予虚拟物体不同的归属,实质上就使多人单一VR/AR空间教室可以根据需求变成多人多VR/AR空间教室。
作为发明的进一步改进,各用户的互动输入包括各用户选择在VR/AR空间教室内位姿是空间定位还是任意自由指定。
作为发明的进一步改进,用户可以选择显示的方式是平面显示还是立体显示。
本发明还提供了一种多兼容性的VR/AR空间教室,包括:
互动输入设备,根据各用户的意志影响VR空间和AR空间中虚拟物体状态;
计算机视觉系统,用来采集教室内各角度的图像;
服务器,用来接收各用户的互动输入数据,接收计算机视觉系统采集的图像并获得对真实世界的认知数据,在此基础上生成VR/AR教室,进一步载入课程VR/AR资源到VR/AR教室,然后发送包含真实物体和虚拟物体信息的数据到各图形渲染器,
图形渲染器,根据服务器发送的数据渲染出画面,并通过VR/AR显示设备呈现出来,
VR/AR显示设备,呈现出图形渲染器渲染的画面。
作为发明的进一步改进,还包括用来播放课程VR/AR资源的多媒体设备。
作为发明的进一步改进,所述VR/AR显示设备包括平面显示设备和立体显示设备。
作为发明的进一步改进,还包括控制台,所述控制台通过服务器进行互动控制。所述控制台为教师配备,使教师可以对整个VR/AR空间教室进行控制,例如对课程VR/AR资源的进度进行调节。
与现有技术相比,本发明的有益效果是:采用上述VR/AR空间教室及其构建方法,教师可以自由制定课程VR/AR资源,以班为单位开展虚拟空间教学活动,本发明兼容各用户的互动输入,充分考虑了学生对VR/AR技术的不同接受程度,学生可以根据自己的需要,选择改变VR/AR空间教室内各虚拟物体的不同状态和归属,学习方法灵活多变,本发明还兼容不同显示方式,教学场景更加生动易懂。
附图说明
图1是本发明提供的一种多兼容性的VR/AR空间教室。
图2是本发明提供的一种多兼容性的VR/AR空间教室的构建方法。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面结合附图及具体实施例对本发明进一步说明。
为了更清楚地说明本发明的技术方案,实施例1先介绍一种多兼容性的VR/AR空间教室,实施例2再依据实施例1的VR/AR空间教室介绍构建方法。
实施例1
一种多兼容性的VR/AR空间教室,包括:
1.多媒体设备
用来播放课程VR/AR资源。例如一块(或者两块)LED/LCD大显示屏(大屏幕)或者一到两个投影仪。用来播放PPT和呈现VR/AR空间教室里的课程内容。
2.一套计算机视觉系统
主要由安装在教室内的摄像头列阵和用户AR头盔/眼镜上的摄像头组成。此系统用来采集教室内各角度的图像,视觉计算可以在单独的处理器上进行,也可以由教室系统中的服务器处理。
3.一个大型服务器
用来接收所有师生的互动输入,接受教室内摄像头采集的图像并获得对真实世界的认知数据(如果计算机视觉系统能直接给出认知数据,则服务器可以不接收摄像头采集的原始图像),在此基础上生成VR/AR教室,进一步载入课程VR/AR资源到VR/AR教室,然后根据各用户需求发送包含真实物体和虚拟物体信息的数据到各渲染器。
4.图形渲染器、互动输入设备(包括语音识别系统,键盘、鼠标、手柄、控制台等输入设备和身体语言识别系统)和VR/AR显示设备(包括平面显示设备和立体显示设备)
具体包括:
4.1给每位学生配备一个图形渲染器、一个互动输入设备、一个可以兼容VR显示的AR头盔/眼镜,可以再选择配备一个平面显示设备(比如平板电脑)。每位学生配备的摄像头是集成在AR眼镜/头盔中的摄像头。
4.2给教师配备图形渲染器、控制台、一个可以兼容VR显示的AR头盔/眼镜。在控制台中集成了互动控制与平面显示。
实施例2
一种如实施例1所述的多兼容性的VR/AR空间教室的构建方法,包括以下步骤:
步骤1,读取课程VR/AR资源。
把教学课程包含的VR/AR资源载入到服务器内。其中,资源包括三维虚拟物体模型、用来驱动虚拟物体状态变化的脚本(状态变化包括虚拟物体生成、消亡以及运动等)、和体现课程知识点的场景。其中,场景由虚拟物体以及相关脚本组成,虚体物体的构成以及运动将体现出知识点。之所以虚拟物体的构成以及状态变化能体现出知识点,是由于知识本质上就是对现实世界客观构成与变化规律的正确反映。把知识映射到虚拟物体的构成与运动上,可以让人更便捷的掌握知识。
课程Γ知识点集合为
Figure GDA0001629193420000061
任意知识点qx是关于对象集合
Figure GDA0001629193420000062
的某些状态变化规律。为了运用VR/AR技术完整的对课程Γ包含的知识点集合Q开展教学,就需要构建虚拟物体以及虚拟物体的状态变化规律与Q中各知识点的对象以及对象状态参数变化规律对应上。首先,在VR/AR空间中,对于任意知识点qx所包含的对象集合Οx需要相对应的构建虚拟物体集合
Figure GDA0001629193420000063
其中,构建的虚拟物体vx,y应可以使人直观的对应上对象ox,y。在Vx中,不同虚拟物体可能对应同一个模型,Vx对应的三维模型集合为Mx。Vx中虚拟物体的状态变化须能直观地体现出知识点qx对应的对象状态变化规律,虚拟物体的状态变化由脚本控制,能响应外界的互动输入。
步骤2,把资源内包含的虚拟物体模型发送到各渲染器。
在实施例1的基础上,这里的渲染器指图形渲染器。
虚拟物体的三维模型数据量往往较大,需要在渲染图像前预先把三维物体模型发送到渲染器,否则渲染可能无法满足实时渲染的要求。
把课程Γ的VR/AR资源中包含的所有虚拟物体模型集合
Figure GDA0001629193420000071
发送到各渲染器,如果虚拟物体数据量太大,可以在课程进入到知识点qx时,再把相应虚拟物体模型集合Mx发送到各渲染器。
步骤3,获取对现实世界的认知数据。
现实世界的认知主要包括物体形状重建(三维重建)、归类(识别)、定位。三维重建用来确定虚拟物体与真实物体的遮挡与碰撞;识别涉及到学生识别、学习状态识别、手势识别等,它们同时也是很重要的互动输入来源;定位将关系到人在虚拟空间中的位姿。认知数据可以通过先验知识、计算机视觉等方法获得。通过先验知识获得是指预先就有相关信息,比如教室内的课桌、椅子等的三维模型可以直接从生产商获得,如果进一步这些物体是固定在教室内不动,这些物体的定位与识别信息也就直接得到了。假定在现实世界中真实物体集合为
Figure GDA0001629193420000072
被识别的物体集合为
Figure GDA0001629193420000073
被三维重建物体集合为
Figure GDA0001629193420000074
被定位的物体集合为
Figure GDA0001629193420000075
其中
Figure GDA0001629193420000076
U1的识别结果为
Figure GDA0001629193420000077
其中元素d1,x是物体u1,x的类别;U2中各物体三维重建结果为
Figure GDA0001629193420000078
其中元素d2x是物体u2,x的三维模型;U3中各物体定位结果为
Figure GDA0001629193420000079
其中元素d3,x是物体u3,x的位姿值,包含姿态角rx与空间位置λx,d3,x=[rxx]。U1、U2和U3往往并不相同,但一般相互之间存在交集。当课程进入第k个知识点时,在AR空间内,物体集合为U1∪U2∪U3∪Vk,其中Vk是第k个知识点包含的虚拟物体。
步骤4,生成初始VR/AR教室场景。
为了方便课程知识点的教学,需要构建VR和AR教室场景。VR教室场景内需要虚拟师生与真人对应、环境装饰、学生信息提示,除此之外也可以包括虚拟讲台、课桌、虚拟助教等。AR教室场景要在真实教室基础上通过添加虚拟物体,使得教室的用户体验更好。因为VR教室与AR教室要兼容,所以VR教室中存在的虚拟物体也尽可能地出现在AR教室中,并且虚拟物体在VR与AR切换过程中相对于用户位置不变,但同时容许VR空间和AR空间中存在少量的不同虚拟物体。任意虚拟物体可以是能被所有人操作,也可以是被部分人操作(比如一个小组),甚至只能被一个人操作(例如只能被教师操作);另一方面,任意虚拟物体可以是被所有人看见,也可以是被部分人看见,甚至只能被一个人看见(可用于个人考核)。
以教室内某点为原点(比如讲台中心为原点),建立世界坐标系Π,此坐标系同样是AR空间的坐标系,VR教室与AR教室包含的虚拟物体集合为
Figure GDA0001629193420000081
对于任意虚拟物体
Figure GDA0001629193420000082
在VR空间坐标系Π′的坐标值为
Figure GDA0001629193420000083
Figure GDA0001629193420000084
在AR中坐标值为
Figure GDA0001629193420000085
要求
Figure GDA0001629193420000086
对于任意用户hx,在AR坐标系Π中坐标值为πx,在VR坐标系中坐标值为π′x,当πx=π′x,则用户在VR与AR切换过程中,任意虚拟物体位置不会因为切换而改变。在虚拟物体集合C中被VR和AR共享的虚拟物体子集为C0,只在VR教室中出现的虚拟物体子集为C1,只在AR教室存在的虚拟物体子集为C2。教室内用户集合为
Figure GDA0001629193420000091
能被用户hx看到的虚拟物体集合为
Figure GDA0001629193420000092
能被用户hx操作的虚拟物体集合为
Figure GDA0001629193420000093
初始化各虚拟物体的状态值。
步骤5,导入第1个知识点的VR/AR资源,初始化各虚拟物体的状态以及归属。
假定课程要进入第k个知识点,需要把第k个知识点的场景导入到VR/AR教室内,确定各虚拟物体的归属,并初始化各虚拟物体状态。
第k个知识点qk包含的虚拟物体集合为
Figure GDA0001629193420000094
现在VR/AR教室内虚拟物体的集合为C′=C∪Vk,能被用户hx看到的虚拟物体集合为
Figure GDA0001629193420000095
能被用户hx操作的虚拟物体集合为
Figure GDA0001629193420000096
初始化Vk中各虚拟物体状态。
步骤6,多媒体设备的内容与虚拟空间的内容同步呈现。
例如多媒体设备呈现的内容为PPT幻灯片,则将PPT与VR/AR空间内容同步呈现。
幻灯片序列与场景要对应。有幻灯片
Figure GDA0001629193420000097
其中知识点q0对应的幻灯片是
Figure GDA0001629193420000098
而知识点qx对应的幻灯片是
Figure GDA0001629193420000099
当给指令使幻灯片从
Figure GDA00016291934200000910
切换到
Figure GDA00016291934200000911
须同时给出命令使VR/AR场景从知识点qx切换到qx+1,同理可以把同一知识点内幻灯片的切换甚至同一幻灯片内条目的切换也可以和VR/AR场景内的某些状态变换关联起来。
步骤7,教师是否发出切换到下个知识点的指令,如是,导入下个知识点的VR/AR资源,初始化各虚拟物体的状态以及归属后更新对现实世界的认知数据;如否,直接更新对现实世界的认知数据。
步骤8,读入教师,所有学生的互动输入。
互动在教学中非常重要,教师通过改变场景推进课程内容,学生通过互动加深对知识点的理解。教师操作权限更大,不但可以改变虚拟物体状态,也可以改变归属等。互动输入
Figure GDA0001629193420000101
其中
Figure GDA0001629193420000102
为用户hi在时间t的互动输入。
步骤9,计算下一时刻各虚拟物体的状态。
在虚拟物体当前时刻状态值、互动输入、真实世界认知数据基础上,由场景内各脚本计算出虚拟物体新的状态。由脚本计算下个时刻各虚拟物体状态,实时更新虚拟物体状态。
步骤10,发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器,由于用户选定的VR/AR模式以及各虚拟物体的归属,发送给各渲染器的数据会不同。
为了使本发明具备兼容性,其中,各用户的互动输入包括了选择进入VR/AR教室、选择各虚拟物体的不同归属(实质上就使多人单一VR/AR空间教室可以根据需求变成多人多VR/AR空间教室)和各用户在VR/AR空间教室内位姿选择空间定位还是任意自由指定。
当用户选择是AR模式时,需要把增强现实世界的物体数据发送给渲染器,但也可以只发送部分现实物体数据过去,只保留用户关注的部分现实物体,比如说用户只想保留自己周围小范围内的现实世界,从而留出更多的空间给虚拟物体。
在VR/AR教室呈现第k个知识点时,其中虚拟物体集合为C′=C∪Vk,其中只属于AR教室的虚拟物体为C1,只属于VR教室的虚拟物体为C2,VR和AR教室共享的物体为C0∪Vk,能被用户hx观看的虚拟物体集合为
Figure GDA0001629193420000111
所以当用户hx选择VR模式时,
Figure GDA0001629193420000112
集合内的虚拟物体状态参数需要发送到渲染器,当用户选择AR模式时,
Figure GDA0001629193420000113
集合内的虚拟物体状态参数需要发送到渲染器。当选择AR空间时,需要把真实世界建模数据D2发送到对应用户hx渲染器,也可以根据需求只发送一个子集
Figure GDA0001629193420000114
到对应hx的渲染器。
步骤11,渲染各用户的画面。
在各渲染器中,当选择平面显示器时,只需设置一个虚拟摄像头,当选择立体显示器时,需要设置两个虚拟摄像头,其中虚拟摄像头用来拍摄AR/VR空间的图像。虚拟摄像头的位姿可以根据用户的空间位姿确定或由用户直接设定的位姿确定。当用户选择进入AR教室时,需要渲染真实物体和虚拟物体;当选择进入VR空间教室时,只需要渲染虚拟物体。
在获取真实世界认知数据中
Figure GDA0001629193420000115
包含对教室内各用户的定位信息
Figure GDA0001629193420000116
Figure GDA0001629193420000117
其中任意用户hx为d′x=[r′x,λ′x],r′x为姿态角,λ′x为空间位置。当用户hx选择采用空间位姿作为在VR/AR空间中位姿时,如果用户选择平面显示设备,则虚拟摄像头ax在VR/AR中空间位姿为d′x=[r′x,λ′x],当hx选择立体显示时,hx拥有两个虚拟摄像头a′x,0与a′x,1(分别对应人的左右眼),a′x,0在VR/AR空间中位姿为[r′x,λ′x+η′x],a′x,1的位姿为[r′x,λ′x-η′x],其中ηx主要由用户hx的人眼瞳距决定。当用户hx选择自由设定空间位姿时,若设定位姿为[r″x,λ″x],如果用户选择平面显示设备,则虚拟摄像头ax在VR空间中位姿为[r″x,λ″x],hx选择立体显示时,虚拟摄像头a′x,0在VR/AR空间中位姿为[r″x,λ″x+η″x],虚拟摄像头a′x,1的位姿为[r″x,λ″x-η″x];当用户选择进入的是AR空间时,用户相对真实物体的空间位姿关系不能随意改变,用户自由设定空间位姿只能改变虚拟物体的空间位姿,但虚拟摄像头位姿必须根据空间定位确定。
步骤12,显示,包括平面显示和立体显示。
选择平面显示器时,虚拟摄像头拍到的单幅画面显示,如果是立体显示,则显示两个虚拟摄像头的画面。
采用实施例1及实施例2的构建方法所获得的VR/AR空间教室,不管是在教师之间,还是在学生之间,由于大家对VR/AR技术的接受程度会有很大不同,为了照顾在同一个教室内不同等的需求,VR/AR空间教室体现出强大的兼容性,此兼容性主要体现在五方面,下面将详细介绍。
1.兼容VR和AR
当人戴头盔进入VR空间时,现实世界被隔离,人对虚拟世界有高度的沉浸感;AR是在现实世界的基础上叠加了虚拟物体,对虚拟物体的沉浸感低,但能更好的与真实世界相处,比如避免碰撞、人与人之间自然互动。本发明兼容VR和AR,教师与每位学生都可以随时独立的选择进入VR空间教室还是AR空间教室。
2.用户在VR/AR空间教室内位姿兼容空间定位和任意指定
在三维空间中,互动常需要知道彼此间的位姿关系,此位姿关系既可以是所处真实世界中的位姿关系(可以通过定位系统测量得到),也可以是任意指定的。当位姿关系是真实空间位姿关系时,与VR/AR空间教室的互动将有更贴近真实世界中的互动;但当位姿关系是任意指定时,用户可以摆脱自身真实物理位姿限制,可以根据需求选择观看VR/AR空间教室内课程内容的位置与角度,也可以把异地的人集中到同一个虚拟教室内。在本发明中,用户在VR/AR空间教室内位姿兼容空间定位和任意指定,教师与每位学生都可以随时独立的选择位姿是空间定位还是任意自由指定。
3.兼容平面显示和立体显示
本发明兼容平面显示和立体显示,每位学生配头盔/眼镜,同时教室内配大屏幕或投影仪进行平面显示,也可以为每位用户配平板电脑等平面显示设备。
4.教学内容兼容VR/AR呈现与传统多媒体PPT呈现
不是所有人能迅速的适应从传统的多媒体PPT教学转换到VR/AR教学。课程内容在用VR/AR呈现的同时,也能让课程内容以传统多媒体PPT方式呈现,使教师与学生有足够的过程去适应VR/AR教学。
5.兼容虚拟物体的多种归属。
5.1多人单一VR/AR空间教室
构建容纳教室内所有教师与学生的单一VR或AR空间(由于此方案将兼容VR和AR,所以后文提到VR或AR时使用“VR/AR”),空间内的任意虚拟物体是存在于真实教室内的某一个位置(不因为观看此虚拟物体的学生不同,此物体在真实教室内的位置发生改变),并且通过虚拟物体创造更好的教学环境和更强大的教学工具,最终形成VR/AR空间教室。在此梦幻教室内,载入专业课程的VR/AR资源,就可以在VR/AR空间教室内开展专业课程的教学。
5.2多人多VR/AR空间教室
虽然虚拟物体要尽可能被VR空间教室和AR教室共享,也要尽可能被所有用户共享,但为了个性化、保护隐私、分组、个人考核等目的,可以给予虚拟物体不同的归属。本发明允许:VR空间和AR空间中存在少量的不同虚拟物体;任意虚拟物体可以是能被所有人操作,也可以只被部分人操作(比如一个小组),甚至只能被一个人操作(例如只能被教师操作);另一方面,任意虚拟物体可以是被所有人看见,也可以是只被部分人看见,甚至只能被一个人看见(可用于个人考核)。VR/AR教室内虚拟物体可以只被单人或小组看见和操作,实质上就使多人单一VR/AR空间教室可以根据需求变成多人多VR/AR空间教室。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多兼容性的VR/AR空间教室的构建方法,其特征在于,包括:
S1,读取课程VR/AR资源,把教学课程包含的VR/AR资源载入到服务器内,其中,VR/AR资源包括三维虚拟物体模型、用来驱动虚拟物体状态变化的脚本、和体现课程知识点的场景,其中,场景由虚拟物体以及相关脚本组成,虚拟物体的构成以及运动将体现出知识点,把资源内包含的虚拟物体模型发送到各渲染器,由于虚拟物体的三维模型数据量大,因此需要在渲染图像前预先把三维物体模型发送到渲染器,否则渲染器会无法满足实时渲染的要求;
S2,获取对现实世界的认知数据,现实世界的认知主要包括物体形状重建、归类、定位,生产初始VR/AR教室场景;
S3,依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属;
S4,读入各用户的互动输入,更新对现实世界的认知数据,并在虚拟物体当前时刻状态值、互动输入、及现实世界认知数据的基础上,由场景内各脚本计算出虚拟物体新的状态,再由脚本计算下个时刻各虚拟物体状态,实时更新虚拟物体状态;
S5,发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器;
S6,渲染各用户的画面;
S7,显示。
2.根据权利要求1所述的多兼容性的VR/AR空间教室的构建方法,其特征在于,还包括将多媒体设备的内容与VR/AR空间内容同步呈现。
3.根据权利要求1所述的多兼容性的VR/AR空间教室的构建方法,其特征在于,还包括在真实的教室基础上同时构建VR教室和AR教室,教室内的虚拟物体可选择同时属于VR教室和AR教室,或者只属于VR教室或AR教室,各用户的互动输入包括选择进入VR教室还是AR教室。
4.根据权利要求1所述的多兼容性的VR/AR空间教室的构建方法,其特征在于,VR/AR教室内的虚拟物体可选择归属单人或多人可见,另外也可选择归属单人或多人可操作,各用户的互动输入包括选择虚拟物体的不同归属。
5.根据权利要求1所述的多兼容性的VR/AR空间教室的构建方法,其特征在于,各用户的互动输入包括各用户选择在VR/AR空间教室内位姿是空间定位还是任意自由指定。
6.根据权利要求1所述的多兼容性的VR/AR空间教室的构建方法,其特征在于,用户可以选择显示的方式是平面显示还是立体显示。
7.根据权利要求1-6任一项所述的多兼容性的VR/AR空间教室的构建方法的多兼容性的VR/AR空间教室,其特征在于,包括:
互动输入设备,根据各用户的意志影响VR空间和AR空间中虚拟物体状态;
计算机视觉系统,用来采集教室内各角度的图像;
服务器,用来接收各用户的互动输入数据,接收计算机视觉系统采集的图像并获得对真实世界的认知数据,在此基础上生成VR/AR教室,进一步载入课程VR/AR资源到VR/AR教室,然后发送包含真实物体和虚拟物体信息的数据到各图形渲染器;
图形渲染器,根据服务器发送的数据渲染出画面,并通过VR/AR显示设备呈现出来;
VR/AR显示设备,呈现出图形渲染器渲染的画面。
8.根据权利要求7所述的多兼容性的VR/AR空间教室,其特征在于,还包括用来播放课程VR/AR资源的多媒体设备。
9.根据权利要求7所述的多兼容性的VR/AR空间教室,其特征在于,所述VR/AR显示设备包括平面显示设备和立体显示设备。
10.根据权利要求7所述的多兼容性的VR/AR空间教室,其特征在于,还包括控制台,所述控制台通过服务器进行互动控制。
CN201810182506.7A 2018-03-06 2018-03-06 一种多兼容性的vr/ar空间教室及其构建方法 Active CN108389249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810182506.7A CN108389249B (zh) 2018-03-06 2018-03-06 一种多兼容性的vr/ar空间教室及其构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810182506.7A CN108389249B (zh) 2018-03-06 2018-03-06 一种多兼容性的vr/ar空间教室及其构建方法

Publications (2)

Publication Number Publication Date
CN108389249A CN108389249A (zh) 2018-08-10
CN108389249B true CN108389249B (zh) 2022-07-19

Family

ID=63069947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810182506.7A Active CN108389249B (zh) 2018-03-06 2018-03-06 一种多兼容性的vr/ar空间教室及其构建方法

Country Status (1)

Country Link
CN (1) CN108389249B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471533B (zh) * 2018-11-09 2021-09-07 深圳职业技术学院 一种vr/ar教室内的学生端系统及其使用方法
CN109961520B (zh) * 2019-01-29 2023-05-09 深圳职业技术学院 一种基于第三视角技术的vr/mr教室及其构建方法
CN109675303A (zh) * 2019-02-15 2019-04-26 北京兰亭数字科技有限公司 一种虚拟现实云渲染系统
CN110120163A (zh) * 2019-05-08 2019-08-13 上海乂学教育科技有限公司 自适应在线学习客户端系统
CN110335511A (zh) * 2019-05-30 2019-10-15 桂林蓝港科技有限公司 一种学生端虚拟现实头戴式显示设备控制系统及方法
CN112447074A (zh) * 2019-09-05 2021-03-05 上海火月信息科技有限公司 一种实时在线教育系统及方法
CN111459275A (zh) * 2020-04-01 2020-07-28 长春中国光学科学技术馆 一种基于多模态融合方法的vr/ar模型构建方法
CN112230772B (zh) * 2020-10-14 2021-05-28 华中师范大学 一种虚实融合的教具自动生成方法
CN115225915A (zh) 2021-04-15 2022-10-21 奥图码数码科技(上海)有限公司 直播录设备、直播录系统及直播录方法
CN114283639A (zh) * 2022-01-10 2022-04-05 立人实业(广东)集团有限公司 一种远程教育控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610B (zh) * 2013-07-03 2015-07-22 央数文化(上海)股份有限公司 基于增强现实的三维互动学习系统及方法
KR101670815B1 (ko) * 2016-02-11 2016-10-31 (주)건우애듀 Vr 및 ar 기반 실시간 지식 공유 서비스 제공 방법
CN106791580A (zh) * 2017-01-04 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种会议处理方法及装置
CN107340870B (zh) * 2017-07-13 2020-09-01 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示系统及其实现方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全

Also Published As

Publication number Publication date
CN108389249A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108389249B (zh) 一种多兼容性的vr/ar空间教室及其构建方法
LaValle Virtual reality
Orlosky et al. Virtual and augmented reality on the 5G highway
Van Veen et al. Navigating through a virtual city: Using virtual reality technology to study human action and perception
US20050219240A1 (en) Horizontal perspective hands-on simulator
WO2005098516A2 (en) Horizontal perspective hand-on simulator
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20050248566A1 (en) Horizontal perspective hands-on simulator
CN110971678A (zh) 一种基于5g网络的沉浸式可视化校园系统
Price et al. Stereoscopy in static scientific imagery in an informal education setting: Does it matter?
Liu et al. Research on scene fusion and interaction method based on virtual reality technology
Berger-Haladová et al. Towards Augmented Reality Educational Authoring
Nesamalar et al. An introduction to virtual reality techniques and its applications
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Gholap et al. Past, present, and future of the augmented reality (ar)-enhanced interactive techniques: A survey
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Khan et al. Hybrid Reality based Education Expansion System for Intelligent Learning
US20240096227A1 (en) Content provision system, content provision method, and content provision program
Mones-Hattal et al. Enhancing visual thinking and learning with computer graphics and virtual environment design
Ahn et al. Lessons learned from reconstruction of a virtual Grotto-from point cloud to immersive virtual environment
Erdem Utilization of virtual reality environment as an interactive visual learning tool in primary school education system
Mohd et al. Virtual reality application: A review
Gupta et al. Training in virtual environments
Watson A survey of virtual reality in Japan
Das et al. Exploring the Mind-Bending Connection Between Virtual Reality and Human Perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant