CN110494196A - 用于使用虚拟现实进行协作学习的系统和方法 - Google Patents

用于使用虚拟现实进行协作学习的系统和方法 Download PDF

Info

Publication number
CN110494196A
CN110494196A CN201780086040.4A CN201780086040A CN110494196A CN 110494196 A CN110494196 A CN 110494196A CN 201780086040 A CN201780086040 A CN 201780086040A CN 110494196 A CN110494196 A CN 110494196A
Authority
CN
China
Prior art keywords
role
interaction
students
virtual
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780086040.4A
Other languages
English (en)
Inventor
T·泰勒
C·萨默维尔
P·沙利文
H·特兰
D·凯西
H·孙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Pulse Pte Ltd
Original Assignee
Digital Pulse Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2016905071A external-priority patent/AU2016905071A0/en
Application filed by Digital Pulse Pte Ltd filed Critical Digital Pulse Pte Ltd
Publication of CN110494196A publication Critical patent/CN110494196A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种虚拟现实(VR)系统,其提供超级角色与多个用户角色的互动并在VR环境中与交互内容关联地实现用户角色之间的交互和协作。处理系统直接地向组内的超级角色和用户角色及与该组相关联的特定交互内容提供逻辑和控制操作、联网功能和内容管理服务。设备中的每个均可配置为激活包括在技术上描述一个或更多个离散虚拟世界的数据的程序包。数据包括与不同的项目类型对应的项目的规定阵列,其中每个虚拟世界被定制具有项目以向特定角色并向要与虚拟世界相关联的特定内容提供规定的功能。项目类型在VR头戴式装备内被表征以创建能够提供以下各项间的交互和协作的虚拟世界:(i)多个用户角色;(ii)用户角色和交互内容;以及(iii)超级角色和用户角色。

Description

用于使用虚拟现实进行协作学习的系统和方法
技术领域
本发明涉及用于虚拟现实(VR)世界中的协作互动和交互的系统和方法。本发明在教育和培训部门中具有特别但非排他的效用以便于涉及教师和一组学生的有组织的教室风格教学和学习,但是使用虚拟现实系统和方法来在参与者之间提供多样化且增强的可视交互学习体验。
在整个说明书中,除非上下文另外要求,否则词语“包括”或诸如“含”或“含有”的变体将被理解为暗示包括所述整数或整数组,但是不排除任何其它整数或整数组。
背景技术
背景技术的以下讨论旨在仅方便理解本发明。应该理解的是,该讨论不是所参照的任何材料为在本申请的优先权日期的公知常识的一部分的确认或承认。
教育上关注的虚拟现实(VR)体验已带来了社区中许多人认为是对VR技术的更实际和实用的使用的东西,所述VR技术先前已被认为是更多基于娱乐和休闲的追求。因此,政府和行业已团结在VR的快速发展背后,从而导致各种组织开发新型的VR培训和学习体验。
这些范围已从简单地播放沉浸式教育全景视频(其是非常基本的VR体验)到玩家可体验更多交互教育VR体验的更成熟的单玩家VR体验,再到玩家可在线玩协作或竞赛游戏的多玩家VR体验。
迄今为止提供的体验各自具有缺点。在简单的沉浸式教育全景的情况下,没有用于协作和在沉浸式体验期间更新内容的便利。
在单玩家VR体验的情况下,虽然玩家可与对象交互以便完成教育体验,但是玩家不能学习如何与其他人协作。大多数单玩家VR体验具有固定内容。将这种类型的体验扩展到教室将要求每个玩家有个人计算机(PC),这在大多数学校中是不现实的。此外,教师不能容易地在VR体验的上下文中与学生交互,因为它仅是基于单用户的。
在多玩家VR体验的情况下,这些通常在线提供并且可涉及相同场景或游戏中的玩家之间的交互和协作,然而没有用于让可监督参与游戏的学生的教师参与并且将体验变换成真正有教育意义的教室风格的实际便利。
最近,为了将VR教学和学习体验扩展到学校,已经使向以教室风格协作或竞赛的大量用户提供交互VR体验的问题突出作为要解决的显著问题。
问题的一个解决方案涉及用于较大剧院规模的观众的沉浸式VR系统,其使得多个用户能够作为组一起协作和工作或者使得这些组能够竞赛,然而,这些系统10更加基于娱乐并且集中于提供基于动作和动态内容的沉浸式VR体验,而不是更多体验式学习和基于教育的内容。
另一解决方案涉及在教室环境中创建内容可控的三维虚拟世界,其使得能实现教师与学生之间的有关诸如虚拟世界中的可观察对象的内容的肤浅协作。然而,这些在用户之间提供非常基本的协作,不涉及与使得能实现较深学习或培训体验的内容的实际交互。
因此,存在对于能够在VR世界中的角色之间进行更多协作并且与在该世界中创建的可管理内容进行交互的多用户组集中式VR体验的需要。
发明内容
本发明的一个目的是提供一种使用能够被用在采用教室风格教学和学习体验的学校中的VR的多样化及协作学习和教育体验。
根据本发明的一个方面,提供了一种虚拟现实(VR)系统,该VR系统用于提供超级角色与多个用户角色的互动并且在VR环境中与包括所述用户角色的头像的交互内容关联地使得能实现所述用户角色之间的交互和协作,该VR平台包括:
处理系统,该处理系统用于:
(i)提供一组或更多组超级角色和用户角色的逻辑和控制操作,以及所述超级角色和用户角色的设备与和所述VR系统相关联的其它设备之间的联网功能;以及
(ii)直接地向组内的所述超级角色和用户角色及与该组相关联的所述特定交互内容提供内容管理服务;
所述超级角色的设备包括含有智能处理器的监视器,并且所述用户角色的设备各自包括含有智能处理器的VR头戴式装备;
所述设备中的每一个均可配置为激活包括在技术上描述一个或更多个离散虚拟世界的数据的程序包,该数据包括与不同的项目类型相对应的项目的规定阵列,每个虚拟世界被定制有项目以向所述特定角色并向要与所述特定虚拟世界相关联的所述特定内容提供规定的功能;
其中,通过包括:
(i)与基本上连续地提供同步状态以使得交互内容能够在所述设备之间同步的所述交互内容相关联的联网属性;
(ii)用于所述虚拟世界的组设定;以及
(iii)用于所述设备以使得所述设备能够控制所述虚拟世界并且触发所述虚拟世界中或与所述虚拟世界相关联的功能的用户界面,
所述项目类型在所述VR头戴式装备内被表征以创建能够提供以下各项之间的交互和协作的虚拟世界:
(i)多个用户角色;
(ii)用户角色和交互内容;以及
(iii)超级角色和用户角色。
优选地,所述交互内容包括含有交互段的交互对象,由此每个头像、交互对象和交互段单独地包括联网属性以基本上连续地发出其同步状态。
优选地,所述项目类型还包括下列中的任何一个或更多个:
(i)包括平面视频、全景或全景视频或这些的任何组合的视频;
(ii)定时、得分或玩家列表,或这些的任何组合;
(iii)逻辑定序或定制消息传送,或这些的任何组合;
(iv)包括头像动态附件、头像定制动画或定制头像或这些的任何组合的头像资产;
(v)包括视图范围控制、冻结相机、路径或远程传送或这些的任何组合的移动;
(vi)注释;
(vii)定位,包括扫掠、向内凝视、向外凝视、轻敲、持有或位置输入,或这些的任何组合;
(viii)包括交互对象、热点或插槽或这些的任何组合的对象交互。
根据本发明的另一方面,提供了一种用于涉及教师角色与多个学生角色之间的交互的教学和学习的虚拟现实(VR)平台,该VR平台包括:
VR应用,该VR应用具有多个过程以使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行VR功能的虚拟环境中的VR活动的一部分;
多个教师用例,用于允许教师角色与VR应用交互以:
(i)组织多个学生角色以协作和竞赛方式与交互任务对象和彼此交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(ii)控制与学生角色的VR活动和竞赛参与相关联的交互;并且
(iii)监视与所述VR活动相关联的学生角色的竞赛参与;以及
多个学生用例,用于允许学生角色与所述VR应用交互以参与所述VR活动,所述VR活动包括交互以:
(a)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(b)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(c)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
(d)在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
根据本发明的另一方面,提供了一种用于虚拟现实(VR)平台以进行涉及教师角色与多个学生角色之间的交互的教学和学习的VR应用,该VR应用包括:
多个过程,所述多个过程用于使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行一组VR功能的虚拟环境中的VR活动的一部分;
其中,所述过程中的一个是用于设计包括在所述虚拟环境中使用的交互组件对象的交互任务对象的设计过程,该设计过程包括:
对象模型功能,用于创建交互任务对象的虚拟任务模型;
模型划分功能,用于将所述虚拟任务模型划分成交互组件对象的虚拟组件模型;
模型组件移除功能,用于从所述虚拟任务模型中移除选定虚拟组件模型从而在所述虚拟任务模型中留下一个或更多个空插槽;
可视测试功能,用于使得能实现所述虚拟任务模型的可视检查以确定空插槽的可视范围从所述虚拟任务模型的一个观察视角看是否在规定的观察范围内,并且不能从所述虚拟任务模型周围的一个或更多个另选的观察视角看到所述空插槽的配置;
碰撞器添加功能,用于使得碰撞器能够被添加到:
(a)空插槽,由此所述碰撞器的大小与适合所述空插槽的被移除的虚拟组件模型基本上相同;
(b)移除的虚拟组件,使得所述碰撞器大于并包围被移除的虚拟组件模型;
所述碰撞器添加功能包括对检测与碰撞器碰撞的搜索信号并且响应于所述碰撞而触发用于启动进一步逻辑的事件进行响应的碰撞功能。
根据本发明的另一个方面,提供了一种用于虚拟现实(VR)平台以进行涉及教师角色与多个学生角色之间的交互的教学和学习的VR应用,该VR应用包括:
多个过程,所述多个过程用于使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行一组VR功能的虚拟环境中的VR活动的一部分;
其中,所述过程包括:
(i)多个教师角色过程,用于合成交互以实现用例以便教师角色:
(a)组织多个学生角色以协作和竞赛方式与交互任务对象和彼此交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(b)控制与学生角色的VR活动和竞赛参与相关联的交互;
(c)监视与所述VR活动相关联的学生角色的竞赛参与;以及
(ii)多个学生角色过程,用于合成交互以实现用于学生角色参与所述VR活动的用例,所述VR活动包括交互以:
(a)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(b)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(c)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
(d)在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
根据本发明的另一方面,提供了一种用于涉及虚拟现实(VR)环境中的教师角色与多个学生角色之间的交互的教学和学习的方法,该方法包括以下步骤:
(1)对于教师角色:
(a)组织多个学生角色以协作和竞赛方式与交互任务对象交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(b)控制与学生角色的VR活动和竞赛参与相关联的交互;以及
(c)监视与所述VR活动相关联的学生角色的竞赛参与;并且
(2)对于要参与所述VR活动的学生角色:
(a)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(b)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(c)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
(d)在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
根据本发明的另一方面,提供了一种用于提供超级角色与多个用户角色的互动并且在VR环境中与包括所述用户角色的头像的交互内容关联地使得能实现所述用户角色之间的交互和协作的方法,该方法包括以下步骤:
提供一组或更多组超级角色和用户角色的逻辑和控制操作,以及所述VR环境中的所述超级角色和用户角色的设备之间的联网功能;
直接地向组内的所述超级角色和用户角色及与该组相关联的所述特定交互内容提供内容管理服务;
激活包括在技术上描述一个或更多个离散虚拟世界的数据的程序包,该数据包括与不同的项目类型相对应的项目的规定阵列,每个虚拟世界被定制有项目以向所述特定角色并向要与所述特定虚拟世界相关联的所述特定内容提供规定的功能;
通过包括:
(1)与基本上连续地提供同步状态以使得交互内容能够在所述设备之间同步的所述交互内容相关联的联网属性;
(2)用于所述虚拟世界的组设定;以及
(3)用于所述设备以使得所述设备能够控制所述虚拟世界并且触发所述虚拟世界中或与所述虚拟世界相关联的功能的用户界面,
所述项目类型在所述用户角色的设备内被表征以创建能够提供以下各项之间的交互和协作的虚拟世界:
(i)多个用户角色;
(ii)用户角色和交互内容;以及
(iii)超级角色和用户角色。
根据本发明的另一个方面,提供了一种用于设计交互任务对象的方法,所述交互任务对象包括用于在虚拟现实(VR)环境中使用以进行涉及教师角色与多个学生角色之间的交互的教学和学习的交互组件对象,该方法包括以下步骤:
创建交互任务对象的虚拟任务模型;
将所述虚拟任务模型划分成交互组件对象的虚拟组件模型;
从所述虚拟任务模型中移除选定虚拟组件模型从而在所述虚拟任务模型中留下一个或更多个空插槽;
提供所述虚拟任务模型的可视检查以确定空插槽的可视范围从所述虚拟任务模型的一个观察视角看是否在规定的观察范围内,并且不能从所述虚拟任务模型周围的一个或更多个另选的观察视角看到所述空插槽的配置;
将碰撞器添加到:
(i)空插槽,由此所述碰撞器的大小与适合所述空插槽的被移除的虚拟组件模型基本上相同;
(ii)被移除的虚拟组件,使得所述碰撞器大于并包围被移除的虚拟组件模型;以及
检测与碰撞器碰撞的搜索信号并且响应于所述碰撞而触发用于启动进一步逻辑的事件。
附图说明
考虑到参照以下附图描述的用于实行本发明的最佳模式,将更好地理解本发明,其中:
图1是示出了根据第一实施方式的VR平台的高级系统概要的示意图;
图2是示出了根据第一实施方式的能够由VR平台的不同用户执行的交互和功能的用例图;
图3是示出了根据第一实施方式的学生用等候室区域的VR显示屏幕图像;
图4是示出了根据第一实施方式的教师在涉及第一组学生的活动期间在活动室中的视角的VR显示屏幕图像;
图5是根据第一实施方式的从学生视角示出了讲台或学生用等候室区域的VR显示屏幕图像;
图6是示出了根据第一实施方式的学生在其参与活动期间从其在活动室中的活动位置的视角的VR显示屏幕图像;
图7是示出了根据第一实施方式的教师在涉及第二组学生的活动期间在活动室中的视角的VR显示屏幕图像;
图8是根据第一实施方式的另一学生在活动完成时从其在活动室中的活动位置的视角的VR显示屏幕图像;
图9是根据第一实施方式的用于实现Group Students用例的GroupStudents过程的流程图;
图10是根据第一实施方式的用于实现Interactive Content Control用例的InteractiveContentControl过程的流程图;
图11示出了根据第一实施方式的处于不同状态的虚拟控制器的一系列图形图像;
图12是根据第一实施方式的用于实现Teleporting用例的Teleporting过程的流程图;
图13是作为Teleporting过程的一部分显示的远程传送下拉框的图形表示;
图14是根据第一实施方式的用于实现Player State List用例的PlayerStateList过程的流程图;
图15是作为PlayerStateList过程的一部分显示的玩家列表的图形表示;
图16是根据第一实施方式的用于学生对象的学生状态图;
图17是根据第一实施方式的用于学生定时器对象的学生定时器状态图;
图18是根据第一实施方式的用于组定时器对象的组定时器状态图;
图19是根据第一实施方式的用于为游戏活动创建拼图以充当交互任务对象的DesignActivity过程的流程图;以及
图20A至图20I是示出了根据第一实施方式的在根据图19的DesignActivity过程的流程图来创建拼图情况下涉及的步骤的一系列虚拟图;
图21是示出了根据最佳模式的第二实施方式的VR系统的概要的框图;
图22是根据第二实施方式的一系列内容结构图,其中:
(i)图22a示出了游戏控制服务器、超级角色的平板设备和两个用户角色的VR头戴式装备的内容结构;
(ii)图22b示出了程序包的内容结构;并且
(iii)图22c示出了项目类型的内容结构;
图23a是示出了根据第二实施方式的形式为地球拼图的在程序包中用于描述世界的示例的项目的内容结构图;并且
图23b是示出了图23a的地球拼图世界的一阶段的VR显示屏幕图像;
图24是地球拼图世界示例的结构图,其中:
(i)图24a示出了根据第一实施方式结构的地球拼图世界的实施方式;并且
(ii)图24b示出了根据第一实施方式结构的地球拼图世界的实施方式。
具体实施方式
用于实行本发明的最佳模式涉及本发明的两个具体实施方式,两者都致力于虚拟现实(VR)系统,该VR系统包括基于远程主机的VR平台,该远程主机跨越广域网(WAN)通过分发服务器来与许多学校网络系统进行通信。VR平台向学校网络系统提供VR内容,包括形式为视频的内容以及特别但不排他地关于协作教育活动的交互内容。具体协作教育活动和/或视频可直接地由学校内的各个教师从主机上的内容数据库选择和下载。各个教师然后可主持活动以便学生在教室环境内使用VR装备来访问,作为由学校规定的学习领域中的科目内的课程的一部分。
第一具体实施方式致力于计算机网络系统,该计算机网络系统包括具有基于云的分发服务器的VR平台以及经由诸如因特网的网络连接到各个学校网络系统的服务。
如图1所示,VR平台形成计算机联网处理系统11的一部分,该计算机联网处理系统11包括通过WAN彼此通信的主机13和多个学校网络15,WAN在本实施方式中是因特网17。
主机13包括托管分发web服务21的分发服务器19,该分发web服务21访问存储在内容数据库23中的内容。
学校网络15各自专用于特定学校,由此各个学校网络15a包括多个教室本地网络25,每个教室本地网络25专用于该学校的特定教室,所述多个教室本地网络25与用于控制通信并且管理学校网络15和教室本地网络25的所有用户的主学校学生认证系统27联网。
各个教室本地网络25a包括教师终端29设备和多个学生终端31设备,其通常编号20至30,每个学生各一个。在本实施方式中,每个教师终端29包括监视器,该监视器包括诸如触摸屏膝上型电脑或平板的智能处理器,其维护用于提供内容管理服务的VR应用,所述内容管理服务包括从主机13访问、下载和运行VR内容并且管理适于教室的教育资源。每个学生终端31另一方面被部署在VR装备上,该VR装备包括含有智能处理器的VR头戴式装备,诸如Samsung Gear VRTM,以在教师从其教师终端29的监督下参与具体协作教育活动或者观看作为下载到它们的VR内容的一部分的线性视频。
主学校学生认证系统27为特定学校网络15内的每个用户托管登录web服务33,这允许对用于存储学生账户和信息的学生数据库35进行受控访问。在与学生数据库35相同的数据库管理系统中提供的用于存储教师账户和信息的教师数据库(未示出)被提供用于由教师访问以使用相同或类似的登录web服务33来登录到学校教师认证系统(未示出)上,以允许接入到教室本地网络25和主机13。
处理系统11的设计中的一个重要的考虑事项是提供包括教师终端29和学生终端31的一组或更多组设备的逻辑和控制操作,以及设备之间尤其是教师终端29与学生终端31之间的联网连接和功能。在教育和培训部门内具有应用的先前的VR系统的限制涉及了教师不能够同时向多个设备同时地显示内容并且监视学生正在VR环境的虚拟世界中看什么。
本实施方式通过使用由Unity3DTM提供的软件开发工具包(SDK)并且使用UNETTM来维护学生终端与教师终端之间的网络连接而解决学生终端31与教师终端29之间的网络连接。这些工具允许使用提供以下特征的多玩家基础来构建VR应用:
·基于UDP(用户数据报协议)以支持不同的交互内容的高性能传输层
·低级API(LLAPI),其通过类似套接字的接口来提供完全控制
·高级API(HLAPI),其提供简单且安全的客户端/服务器网络模型
·Matchmaker服务,其提供用于创建房间并帮助学生找到要一起玩的其它学生的基本功能
·真实服务器,其解决了教师和学生试图在学校防火墙后面彼此连接的连接问题。
因此,这些工具使得能够按基本上连续地提供同步状态的联网属性而创建交互内容,从而使得交互内容能够在各种设备(包括组内的教师终端29和学生终端31两者)之间同步。
此外,这些工具还提供要为呈现交互内容的虚拟世界而创建的组设定以及用于设备启用它们以控制虚拟世界并触发该虚拟世界内且与该虚拟世界相关联的功能的用户界面。
本实施方式解决的另一考虑事项是发布新内容并将它以无缝方式提供给学校网络。通过分发服务器19被设计为通过分发web服务21来发布由VR平台提供的两种VR内容(即视频和交互内容)这样做。以这种方式,不同学校中的教师可简单地通过使用在其教师终端29上提供的VR应用向分发服务器19发送HTTP(超文本传输协议)请求来请求包括VR内容的教育资源的细节。分发服务器19被设计为通过提供存储在主机13上的库内的当前VR内容列表的副本来对这样的请求做出响应,从而指示存储在内容数据库23中的供下载的可用VR内容。每当新VR内容变得可用并且被存储在内容数据库23中时,这个当前内容列表就由主机13连续地更新。
内容数据库23能够将与作为要由教师教导的教学大纲的一部分的课程相关联的所有数字教育资源存储为VR内容的离散程序包。程序包将包括以下各项作为二进制文件:(i)所有视频、图形和文本材料,包括幻灯片和阅读材料;以及(ii)包括一个或更多个协作教育活动的交互内容;全部都与为了递送特定课程而创建的虚拟世界相关联。单个程序包包括可在技术上描述一个或更多个离散虚拟世界的数据,并且VR平台可支持形式为3-D/360°和全景视频以及平面/线性视频的VR内容。
交互内容包括含有对应于不同的项目类型的项目的规定阵列的数据并且作为预制文件被存储在容器中。预制件是在UnityTM中使用的一种资产,其充当存储在已在程序包的一个或更多个虚拟世界中设计的特定VR体验的项目视图中的可重用对象。项目类型在VR头戴式装备中被表征来创建能够提供以下各项之间的交互和协作的虚拟世界:
(i)多个学生角色43;
(ii)学生角色43和交互内容;以及
(iii)教师角色41和学生角色43。
因此每个虚拟世界被定制有项目以向特定角色并向要与特定虚拟世界相关联的特定内容提供规定的功能。
可将这些预制文件插入到任何数量的场景中,每场景多次。在本实施方式中,视频内容和交互内容都在发布之前被加密。
用户与处理系统11的功能交互被最好地示出在图2的用例图中。处理系统11基本上适于作为系统内的角色的三种类型的用户:分发服务器角色39、超级或教师角色41和用户或学生角色43。
如所示,分发服务器角色39和教师角色41与用例Update Resources交互以访问主机13上的教育资源和VR内容。在分发服务器角色39的情况下,离散教育资源材料的压缩程序包被上传到分发服务器19并且作为特定课程的新的或更新的材料存储在内容数据库23上。在教师角色41的情况下,经由在特定教师角色41的教师终端29上运行的VR应用提供到包括VR内容的这些程序包的链接。
VR应用被编程并且教师终端29设备可配置为允许教师角色41:
(i)首先从分发服务器19下载包括教育资源的许多程序包,包括VR内容和尤其是协作教育活动;
(ii)对相关文件进行解压缩;并且
(iii)将这些存储在教师终端29上的收集设施或库中以供在适当时使用。
当方便时,教师角色41然后可使用VR应用来填充或者更新教室内的所有学生终端31以通过在教师的控制和严密监督下在程序包中下载所有相关文件来参与具有VR内容的特定课程。
重要的是,每个教师终端29有效地充当用于运行包括任何协作教育活动的VR内容的主机;而学生终端31充当客户端,被联网到教师终端中,从而访问相同的内容,但是从单独地定制的视角进行。
学生终端31被设计为将通过它们从教师终端29接收的特定VR内容存储在高速缓存(未示出)中。当特定学生角色43由教师角色41选取来参与涉及作为课程的一部分的内容的VR会话时,这允许学生终端31快速地访问并运行内容。VR应用被设计为使得学生角色被要求首先通过与Login用例交互来登记,然后可在高速缓存中快速地访问内容,而不是花费时间每次从教师终端29下载内容。这允许更高效地利用学生-教师时间以积极地参与课程,而不是被耽误技术下载延迟。
在本实施方式中,教室中的所有学生终端31都通过无线本地网络30连接到教师终端主机29。如应领会的,其它实施方式包括使用有线本地网络。
借助于这种主从联网布置,教师可组织、管理并监视每个学生不仅参与使用非VR资源的课程的进度,而且重要的是教师在课程的VR内容方面中的角色,以及尤其是协作教育活动,全部都从教师终端29进行。为了实现这个,教师角色41按他的/她的意愿与用例Organise Students、Interactive Content Control和Monitoring交互。
与用例Organise Students的交互可被扩展为包括教师与用例Group Students的交互。与用例Interactive Content Control的交互可被扩展为包括教师与用例StartGame、Restart Game和Change Content State的交互。最后,与用例Monitoring的交互可被扩展为包括教师与用例Roaming、Teleporting和Player State List的交互。后者可被进一步扩展为包括教师与用例Timer的交互。
每个学生角色43都可通过在其VR装备的触摸板上扫掠或者轻敲来执行交互。如通过用例Group Students所指示的,学生角色43由教师角色41分组,这发生在参与会话的每个单独的学生角色通过学校学生认证系统27登记之后。一旦被登记,学生角色43就然后可在教师角色的控制下与内容交互以通过与用例Play Linear Video交互来播放和观看线性视频或者通过与用例Play Interactive Contents交互使用协作教育活动来参与各组之间的竞赛。
当前的高级中学IT系统通常基于Windows认证,其由学校学生认证系统27管理。VR平台因此被设计为允许学生角色用他们的使用登录web服务先前建立的Windows帐户来登录。这使得VR平台能够使学生的存储在学生数据库35上的个人信息和教师的存储在教师数据库中的个人信息与正在观看或参与的内容同步。这通过学校认证系统44来实现,该学校认证系统44包括学校学生认证系统27和学校教师认证系统两者,被扩展为依照教师角色41或学生角色43在访问处理系统11时与用例Login交互来与系统的用例Login交互。
当学生角色43正在通过与用例Play Interactive Contents交互来参与交互内容时,重要的功能由VR应用提供以使得能实现与正在播放的协作教育活动的交互。这还涉及完全同时与参与活动的其它学生角色和教师角色41的交互和协作。
由于VR装备的使用,学生角色玩家在参与活动时不能使用诸如键盘和鼠标的广泛的用户接口控件。他们可使用的全部是在头戴式装备上提供的形成VR装备的一部分的传感器和按钮。类似地,考虑到在VR体验内提供的扩展学习潜力,鼓励支持协作的通信技术。因此,VR应用已包括许多创新和策略用例,这些用例从Play Interactive Contents用例扩展以便使得学生角色能够与活动交互并且与其它学生角色协作。这些用例包括Gazing、Grabbing、Placing、Rotating、Collaboration和Animations。用例Collaboration可被扩展为包括学生与用例Transferring交互,并且用例Animations可被扩展为包括学生角色与用例Waving和Dancing交互以提供广泛系列的通信和交互组件对象操纵技术。
虽然学生角色43正在参与由与用例Play Interactive Contents交互产生的活动,但是在不同场景中的不同位置或地点处的VR活动内作为虚拟对象的学生角色的实例的表示是通过将学生角色与用例‘spawn’交互作为Play Interactive Contents用例的扩展而包括来提供的。对象派生是通过VR应用使用本实施方式中使用的SDK内的适当工具来提供的功能。
现在将通过参照从如图3至图8所示的示例性协作教育活动中拍摄的各种场景来描述由处理系统11的VR应用提供的最重要的用例。
在正在运行的VR活动中,活动的交互对象可驻留用于教师角色和学生角色参与活动的三个虚拟主要区域包括如图3所示的等候室45、如图4和图6至图8所示的活动室47以及如图5所示的讲台区域49。
当学生角色43通过与用例Login交互作为学生对象登录时,由VR应用创建学生类的实例。此实例与场景中的位置或地点相关联,所述位置或地点在本实施方式中描述的活动中,位于虚拟主要区域、等待室45、活动室47和讲台区域49中的一个中。
VR应用被编程为允许学生角色43从许多模型人物中的一个中选择并且采用学生的特定实例的头像,其被描绘在学生对象被指派给地点的场景中并且在观察该场景的另一学生的第一人称视图中观察。此外,在本实施方式中,VR应用被编程为总是以第一人称视图在VR场景内呈现参与的学生,使得学生角色能够看到其它学生和活动的头像,但不能看到他们自己的头像。
在等候室45的所有场景中,在学生角色已通过与用例Login交互被登记之后,参与活动的学生角色43可在等候室45中等待他们的同学并且从他们的第一人称视图看到其它学生角色的虚拟对象的选定头像。当所有学生角色都已登记时,教师角色41将通过与用例Group Students交互使用由VR应用提供的教师用户界面来从他的/她的教师终端29对他们进行分组。
在活动室47的所有场景中,相同组中的所有学生角色都在关于活动的交互内容的规则约束内玩或者参与。活动的主要目的是让学生角色在他们已由教师角色分配的组内以协作和合作方式参与,以在它们之间以竞赛方式完成涉及由作为任务对象的组件的交互组件对象53组成的分层和/或交互任务对象51的虚拟3-D表示的指定任务。竞赛由任务的完成是基于时间的产生,同时不同水平的复杂性涉及交互组件对象选择、定向和放置。此外,不同的交互组件对象53被分配了某些学生角色玩家的所有权状态,这些学生角色玩家的状态可取决于两个学生角色之间在交互组件对象53的部署期间进行的协作而改变以在其正确的位置处装配在交互任务对象51内,就像线锯拼图可以被放置在一起一样。通过使组在与另一组竞赛中执行相同的任务来进一步增强协作,这也是基于时间的。
如可从用例图看到的,VR应用被设计为使得教师角色41通过与监视用例交互并且通过扩展Player State List和Timer用例来控制竞赛,将稍后对此进行更详细的描述。
在讲台区域的场景中,VR应用被设计为在完成活动之后针对各个学生角色在其学生终端31上示出结果并且将学生对象保留在此区域中以为在另一活动中重新开始该对象作好准备。
不同的头像可供角色玩家从活动的房间或区域中的虚拟头像对象55中选择并且作为虚拟头像对象55出现在活动的房间或区域中。例如可以存在可供学生角色从中选取的四个不同的头像。在本实施方式中,VR应用被设计为使得学生角色43将在派生之后保留他们的头像。
如先前描述的,派生被提供用于表示不同场景中的不同位置或地点处的虚拟对象。VR应用被设计为使得所有学生角色43在随机位置处在等候室45中派生。它还被设计为使所有学生角色43在活动室47中的交互任务对象51的交互内容周围派生。VR应用还被设计为使得获胜组中的学生43将在讲台场景中的讲台上派生,然而其它学生作为观众在讲台周围派生。学生角色的头像位置被同步到所有学生终端31和教师终端29。
和学生角色与用例Play Interactive Contents的交互相关联的VR应用的一些重要的功能被更详细地描述如下以获得对VR应用如何被编程的更好理解:
Rotating—学生角色的派生实例的虚拟头部旋转与VR装备旋转同步。VR应用被设计为在所有学生终端31和教师终端29处使学生角色的头部的旋转同步。
Animations—播放动画由VR应用提供以由学生角色进行以通知其他人。应用被设计为使得学生角色可轻敲触摸板以通过与用例Waving交互来在VR活动中挥动他们的学生对象的头像的手,以便为了例如通过与用例Collaboration和Transferring交互来将交互任务对象51的交互组件对象53传送到另一学生对象的头像而通知其他人。应用被设计为使得动画将在所有学生终端31和教师终端29之间同步。应用被设计为使用触摸板来为另一组手势提供功能以创建与用例Dancing的交互。在此功能中应用被编程为使得当发生适当的手势时,学生角色玩家的头像执行如由该组的其它成员所看到的舞蹈以类似地吸引该组中的其它学生玩家的注意力以便执行特定任务,或者仅仅用于娱乐目的。
Collaboration—由VR应用提供以使得学生角色玩家43能够评估由他们拾取的交互组件对象53并且确定他们是否可将它正确地放置在交互任务对象51内或者与另一学生角色玩家协作以完成交互组件对象的放置53。后者涉及用于学生角色玩家与Transferring用例交互的扩展,将稍后对此进行更详细的描述。Collaboration用例还需要VR应用实现定时器的操作以便组和各个学生在组内或组之间的参与者之间产生竞赛。将稍后更详细地描述用例的这些方面。
Transferring—由VR应用作为用例Collaboration的扩展来提供以使得学生玩家对象的头像能够将交互组件对象53传递给他们使用与用例Gazing相关联的激光来凝视的另一玩家的头像。以这种方式,应用被设计为使得角色玩家可通过凝视并触摸他们的触摸板来将交互组件对象53传送给其他人。接收者此后将拥有交互组件对象53。应用被设计为使得交互组件对象53的所有权被同步。
Placing—由VR应用提供用于移动和观察交互组件对象53。应用被设计为使得学生角色玩家可通过使他们的头部旋转来移动被抓取的对象。他们还可通过扫掠触摸板来使它旋转并观察它。交互对象53的变换在所有学生终端和教师终端处被同步。
Grabbing—由VR应用提供以使得学生角色能够拾取在他的或她的头像前面的交互组件对象53。应用被设计为使得学生角色可通过调用用例Gazing并触摸触摸板来抓取交互组件对象53。应用被设计为使得学生角色玩家在交互组件对象53已被另一学生角色拾取的情况下不能与交互组件对象53交互。
Gazing—由VR应用提供以通过使用附着到学生角色玩家的其VR装备的头饰的激光来追踪凝视。应用被设计为使得学生角色玩家可通过凝视它们来选择交互组件对象53。系统被设计为使得学生角色玩家的激光不与任何其它终端同步,仅玩家他自己可看到激光。
每个学生终端31被设计有用于向特定终端的学生角色玩家43示出状态和消息的定制的学生用户界面(UI)。UI被设计为示出组定时器57、学生定时器59、玩家名字61、组名字63和消息65。消息65通常示出操作特定学生终端31的角色玩家可在那个特定时刻做的动作。VR应用被设计为使得UI不与其它终端同步。因此仅角色玩家他自己可看到与他们的终端31相关联的UI。
每个学生终端31被设计为在UI内示出玩家状态栏67,其向参与活动的其它角色玩家中的每一个示出一个角色玩家的玩家状态。每个角色玩家的头像在他们的头部上有一状态栏67,其示出他们的时间、名字和分数。状态栏67总是面向其它角色观察者。状态栏中的信息因此被同步到所有学生终端31和教师终端29。
现在考虑到与主要用例Organise Students、Interactive Content Control和Monitoring的教师角色交互相关联的VR应用的功能,将更详细地描述与之交互的一些重要的功能如下:
Organise Students—由VR应用提供以允许教师角色41将学生角色组织成组并且开始要由学生角色玩的活动。
Group Students—是与用例Organise Students的交互的扩展,其由VR应用提供以用于将角色玩家指派到不同的组中。应用被设计为使得教师角色可对等候室45内的学生角色进行分组并向它们指派组名字。组名字被同步到每个学生终端上的UI。将稍后更详细地描述为了实现此用例而调用的GroupStudents过程。
Interactive Content Control—由VR应用提供以允许教师角色41控制交互内容的旋转速度。因此,应用被编程为使得教师角色可具体地控制活动室47内的交互内容的旋转速度。内容的旋转将被同步到所有学生终端。将稍后更详细地描述为了实现此用例而调用的InteractiveContentControl过程。
Start—VR应用被设计为使得教师角色与此用例的交互使得教师角色能够在分组之后开始涉及与交互任务对象51交互的竞赛。在所有学生角色已被分配给组之后,教师角色41可开始竞赛。应用被设计为使得所有学生角色将在教师角色的信号下被远程传送到他们的组的活动室。
Restart—VR应用借助于此用例提供用于教师41重新开始游戏。教师角色可从讲台场景49内重新开始游戏。应用被编程为使得所有数据将被重置并且玩家被远程传送到等候室45以便重新分组。
Monitoring—VR应用重要地提供用于教师角色41在主动和并发基础上贯穿所有场景监视活动所涉及的学生角色。以这种方式,教师角色能够在整个协作过程中主动地监督并在必要程度上协助教导学生角色。如先前提及的,应用通过允许教师角色与扩展用例Roaming、Teleporting和Player State List交互来实现这个。将稍后更详细地描述为了实现此用例而调用的Monitoring过程。
Roaming—作为与Monitoring用例交互的扩展,VR应用提供教师角色41通过虚拟控制器来在场景内漫游的能力。应用被设计为在每个教师终端29的屏幕上显示两个虚拟控制器69。左侧控制器69a控制移动,而右侧控制器69b控制旋转。将稍后更详细地描述为了实现此用例而调用的Roaming过程。
Teleporting—作为与Monitoring用例交互的另一扩展,VR应用提供教师角色41在活动室47之间切换的能力。教师角色41可通过此用例来在不同的活动室47之间远程传送他自己/她自己的虚拟对象。应用被设计为使得学生终端31不与教师终端29的相机同步。将稍后更详细地描述为了实现此用例而调用的Teleporting过程。
Player List State—VR应用被设计为允许教师角色41通过从Monitoring用例扩展来通过与Player List State用例交互而向教师角色示出学生角色玩家43及其状态的列表83。列表83示出角色玩家名字71、剩下的时间73、分数75、角色玩家所属的组77和IP地址79。仅教师终端29可看到玩家列表。将稍后更详细地描述为了实现此用例而调用的PlayerListState过程。
Timer—VR应用通过从Player List State用例扩展来为每个组和每个角色玩家提供倒计数定时器80。应用被设计为使得当教师宣称竞赛开始时组定时器开始倒计数。如果他们用尽时间完成他们指定的活动或任务,则组将输掉游戏。学生定时器59仅在角色玩家正持有交互组件对象53时倒计数。应用被进一步设计为使得角色玩家43可仅在他/她已用尽时间的情况下将交互组件对象53传送到其它角色玩家的头像。应用被设计为使得组和角色玩家定时器被同步。
VR应用被设计为定义在图2的用例图中未具体地示出但是对于角色玩家在活动中完成协作的目的来说重要的许多不同的对象状态和交互。这些被描述如下:
可抓取对象—这定义交互组件对象53在它可被学生角色玩家43的头像拾取时的状态。拾取对象的角色玩家43可移动、传送或者将它放置在交互任务对象51的对应插槽内。交互组件对象53的移动被同步到所有终端。例如交互组件对象53可以形式为小立方体并且对于特定角色玩家来说在它尚未被正确地装配到交互任务对象51中的持续时间内处于可抓取对象状态。
服务器持有对象—这定义交互组件对象53在它不能被角色玩家43的头像拾取时的状态。应用被设计为使该状态同步到所有终端。教师终端29维护这些对象的状态。例如,本实施方式中的交互任务对象51形式为被定义为VR应用内的服务器持有对象的旋转拼图。
接近检查—这定义可抓取对象在它正接近服务器持有对象上的最近插槽时或者在被传递给另一玩家的头像时的状态,以方便它被放置到插槽中或者被另一个玩家接收。所有移动将被同步到所有学生终端。
放下对象—这定义可抓取对象在它被放置在插槽中时的状态。当通过接近检查将可抓取对象放置到插槽中时,控制头像对象的角色玩家可轻敲触摸板以放下它。插槽将在此动作之后持有可抓取对象。
位置检查—这定义可抓取对象在它被放下在正确的插槽中时的状态。应用被设计为在它已被正确地放下时使指示器变绿,否则它将使指示器变红。指示器被同步。
可抓取对象派生—这定义可抓取对象在它被派生到放置有前一个对象的下一个对象时的状态。新的可抓取对象由教师终端29派生并被同步到学生终端31。
现在描述由VR应用调用以允许教师与学生角色和活动交互的先前提及的具体过程,考虑图9至图15。
GroupStudents过程81的流程图被示出在图9中并且基本上涉及教师角色41执行以下步骤:
(1)进入到等候室47的OrganiseStudents显示中并且检查被显示在屏幕的右上角上的学生列表83;并且等待直到所有学生角色都已登录为止,这通过出现在列表83中的学生角色的名字来指示。
(2)通过检查在学生角色的名字前面的复选框来从所显示的列表83中选择不多于8个学生角色以成为组的成员。
(3)在等候室场景47的左上拐角上提供的下拉框85中选取组名字。
(4)按压“组选择”按钮以将选定学生角色分配给组。
(5)在分配之后检查所有学生角色状态以看每个人是否在组中。
(6)当教师41准备好开始活动时按压“开始”按钮。
InteractiveContentControl过程91的流程图被示出在图10中并且基本上涉及教师角色41执行以下步骤:
(i)下载新的教育资源,或者更新先前下载的资源。
(ii)选取活动,其在本实施方式中是涉及要由学生角色执行以完成它的协作技能的拼图。
(iii)将学生角色组织成组,从而调用Organise Students用例。
(iv)在进行涉及VR内容的游戏活动之前,此时可出于教导目的可选地调用涉及非VR内容的其它教育资源。
(v)将学生角色的头像远程传送到活动室以便开始交互内容。
(vi)开始关于要由学生角色参与的选定活动的竞赛。
(vii)可在这个时间期间执行各种控制功能,诸如改变模型和组、改变旋转速度以及示出涉及非VR内容的相关教育资源。
(viii)在游戏活动已完成之后重新开始游戏活动。
Monitoring过程简单地提供用于教师角色41监视学生角色43、学生角色组以及调用Roaming、Teleporting和PlayStateList过程的游戏VR活动状态的教师用户界面,现在将对此进行更详细的描述。
在Roaming过程的情况下,如先前提及的,VR应用调用用于教师角色41在每个场景中显示两个虚拟控制器69的教师用户界面。Roaming过程被编程为使得教师角色可执行以下步骤:
(1)将拇指放置在小圆圈上。
(2)将小圆圈拖曳到场景中的教师对象希望移动或者旋转的方向。
(3)移动/旋转速度取决于小圆圈的中心与更大圆圈的中心之间的距离。
(4)小圆圈将在被释放之后回到其原始位置。
如图11所示,虚拟控制器69从左到右的渐进状态指示空闲93、缓慢95、中间97和快速99速度。
在Teleporting过程101的情况下,VR应用被编程为允许教师角色41执行以下基本步骤,如图12和图13所示:
(a)在下拉框103中选择组,该下拉框103通过教师用户界面被显示在每个屏幕的左上部上。
(b)将教师角色的第一人称或相机视图移动或者远程传送到选定组。
(c)将“旋转速度”栏更新为当前组的状态,这被自动地完成。
(d)在屏幕顶部中间的“Group Time Left”下方显示时间,这将自动地显示当前组完成活动的剩下的时间。
(e)在远程传送之后将教师角色的相机视图放置到目的活动室中的预定义位置。
对于可被执行的角色玩家步骤中的每一个,在图14中示出了通过PlayerStateList过程105所执行的步骤的流程图,由此:
I.当角色玩家登录时,它们被添加到玩家列表,其状态被初始化,角色玩家名字被更新并且玩家IP地址被更新。
II.当角色玩家重新连接时,他们的IP地址被更新。
III.当角色玩家被分组时,他们的组被更新。
IV.当角色玩家被重新分组时,他们的组被更新。
V.当角色玩家正确地放置交互对象或部分时,他们的分数被更新。
VI.当游戏被重新开始时,角色玩家的分数被更新并且时间被更新。
VII.当角色玩家开始持有交互对象或部分时,他们的时间被更新。
如图15所示,更详细地示出了如先前关于Player State用例所描述的并且如在各种教师场景上显示的玩家状态列表83。
本实施方式的一个重要的方面是VR平台以对学生而言既有教育意义又有娱乐性的受控和监督方式在竞赛VR环境中教导空间配置和概念对准技能及通信和协作技能的能力。Collaboration用例在实现这些效果时是重要的。Collaboration用例基本上需要:
(1)学生着眼于完成拼图而尽力在构成交互任务对象51的拼图内正确地放置构成交互组件对象53的停放—这是对他们的知识的测试。
(2)强制持有一部分的学生角色43评估该部分并且做出关于他们是否是将该部分正确地放置在拼图内的最好学生角色或者他们是否需要与另一学生角色协作以将该部分放置在拼图内的判定—因此如果该学生角色不能到达或者看到需要将该部分放入的空插槽,则不管知道如何放置该部分,他们都仍然需要将该部分传递给另一个,从而强制团队工作和协作的做法。
(3)提供从开始时间倒计数到0的组定时器,使得如果组未能完成所有交互组件对象在拼图内的正确放置,则组将失败—学生必须做出关于他们将采取的下一个步骤的快速且正确的判定,这是快速决策的做法。
(4)为每个学生提供一学生定时器,其中定时器被设置为极短的时段以避免一个学生独占任务而损害其它学生—所以即使最慢团队成员也被要求参与并且得到来自其它学生的协作的帮助。
考虑到学生、学生定时器和组定时器对象的不同状态和转变最好地描述用于实现Collaboration用例的VR应用的设计。
如图16所示,用于学生对象的学生状态图105包括四种状态,即待机、状态1、状态2和状态3。待机状态从初始状态转变,从该初始状态起VR应用通过学生使其头部旋转以在他们前面派生充当交互组件对象53的新部分来转变到状态1,或者当组定时器57已达到如学生定时器状态图107内所示的“停止”状态时转变到最终状态。此时还可调用Animation用例以与Waving用例交互。
状态1状态通过学生拾取对象转变到选择伪状态或者当组定时器57已达到“停止”状态时转变到最终状态。选择伪状态取决于学生定时器59是在如学生定时器状态图107中所示的暂停状态还是停止状态上而转变到状态2或状态3。
从状态2状态起VR应用通过学生角色43调用Transferring或Placing用例来转变到待机状态,或者通过组定时器57到达如学生定时器状态图107中所示的“停止”状态而转变到完成状态。
从状态3状态起VR应用通过学生角色43调用Transferring用例而转变到待机状态或者通过组定时器57到达如先前所描述的“停止”状态而转变到完成状态。
如图17所示,用于学生定时器对象的学生定时器状态图107包括七种状态,即初始化、待机、暂停、“倒计数”、“带警告倒计数”、停止和重置。初始化状态从初始状态转变,从该初始状态起VR应用转变到待机状态以等待游戏通过教师角色41调用Start Game或RestartGame用例而开始。一旦游戏开始,VR应用就转变到暂停状态。
暂停状态响应于学生角色通过调用Grabbing用例而开始持有在他们前面派生的交互组件对象53而转变到选择伪状态,然后取决于学生定时器59大于阈值时间还是短于阈值时间而转变到“倒计数”状态或“带警告倒计数”状态。否则,当组定时器57已超时时暂停状态转变到停止状态。
“倒计数”状态是在学生定时器57正在倒计数的同时自我转变,并且当学生角色已停止持有对象时转变到暂停状态或者当学生定时器小于阈值时间时转变到“带警告倒计数”状态。另选地,当组定时器57超时时“倒计数”状态转变到停止状态。
“带警告倒计数”状态也是在学生定时器57正在倒计数的同时自我转变,并且当学生角色已停止持有对象时转变到暂停状态,或者当学生定时器通过倒计数到零而超时时或者当组定时器59超时时转变到停止状态。
当教师角色41决定重新开始游戏时停止状态转变到重置状态,而当游戏实际上开始时VR应用从重置状态转变到暂停状态。
如图18所示,用于组定时器对象的组定时器状态图109包括六种状态,即初始化、待机、“倒计数”、“带警告倒计数”、停止和重置。初始状态从初始状态转变,从该初始状态起VR应用转变到待机状态以等待游戏开始,如在学生定时器状态图107的情况下一样。
VR应用然后转变到“倒计数”状态,其中它在组定时器57倒计数到阈值时间的同时自我转变。当达到阈值时间时,VR应用转变到“带警告倒计数”状态,其进而自我转变直到组定时器57通过倒计数到零而超时为止。
当组定时器57超时时VR应用转变到停止状态。VR应用然后在教师角色41重新开始游戏时转变到重置状态,应用在游戏开始时从重置状态转变到待机状态。
需要领会的是,本实施方式的另一重要的方面是交互任务对象51的提供。现在将参照图19和图20描述适合于充当游戏VR活动中的交互任务对象以便使用本实施方式的VR应用来教导协作技能的拼图的示例。
用于设计交互任务对象的设计过程通过DesignActivity过程111来合成。DesignActivity过程使得能够设计促进参与活动的学生角色的协作技能的使用的拼图。用于设计这样的拼图的算法遵循通过如图16的流程图所示的一系列功能所执行的规定的一组步骤。现在将参照图20A至图20I所示的模型的虚拟图来描述步骤和功能,其中:
A.做出提出的拼图模型。这通过创建交互任务对象的虚拟任务模型的对象模型功能来合成—图20A。
B.划分模型使得更容易判定可取下哪一个部分。这通过将虚拟任务模型划分成交互组件对象的虚拟组件模型的模型划分功能来合成—图20B。
C.从拼图中取下一些部分。这通过使得能够从虚拟任务模型中移除选定虚拟组件模型、从而在虚拟任务模型中留下一个或更多个空插槽的模型组件移除功能来合成—图20C。
D.进行可视测试。确保空插槽的可视范围大于90°且小于180°,使得并非所有学生都可同时看到插槽。这通过可视测试功能来合成,使得能实现虚拟任务模型的可视检查以确定空插槽的可视范围从虚拟任务模型的一个观察视角看是否在规定的观察范围内。它进一步使得能实现虚拟任务模型的可视检查以确定不能从虚拟任务模型周围的一个或更多个另选的观察视角看到空插槽的配置—图20D。
E.将碰撞器添加到空插槽。碰撞器的大小应该与缺失的部分(由线构成的立方体内的空白空间)相同。碰撞器可检测玩家的凝视并在碰撞之后触发事件以得到进一步逻辑。这通过使得碰撞器能够被添加到空插槽的碰撞器添加功能来合成,其中碰撞器的大小与适合空插槽的移除的虚拟组件模型基本上相同。—图20E。
F.将碰撞器添加到取下的部分。碰撞器应该比该部分大(大10%),使得该部分被碰撞器包裹。这通过使得碰撞器能够被添加到移除的虚拟组件的碰撞器添加功能来合成,使得碰撞器比移除的虚拟组件模型大并且包围移除的虚拟组件模型。—图20F。
此设计过程允许交互组件对象部分由角色玩家在他的或她的凝视接近该部分时容易地选择—图20G。当角色玩家想要从拼图中拾取该部分时,移除的交互组件对象部分上的更大碰撞器可早于拼图上的碰撞器检测到凝视。在这种情况下,将执行部分上的拾取逻辑而不是拼图上的放置对象逻辑—图20H和图20I。
第一实施方式的VR平台结构的限制是描述虚拟世界以及逻辑和控制操作、联网功能和内容管理服务的各种项目的软件编程被主要集成或者混合在VR应用中。这往往对VR系统为设备不可知的不利并且限制系统的可扩展性以及交互内容到所描述的教育环境外的不同应用和教育环境它本身内的不同学校的部署。
这些限制通过采用另选的VR平台内容结构来克服,现在将在用于实行本发明的最佳模式的第二具体实施方式中对此进行描述。
出于比较的目的,第二具体实施方式仍然致力于计算机网络系统,该计算机网络系统包括基于云的VR平台以及经由因特网连接到各个学校网络系统以用于部署逻辑和控制操作、内容和内容管理服务的服务。然而,不是将软件主要集成在VR应用内,而是与多个服务器一起采纳更集群的系统并且将软件划分成离散部分。
如图21所示,VR平台由根据部署位置被划分成三个部分的VR系统200提供。这些部分包括基于云的应用201、本地应用213A至213X以及包括创建器工具包225和内容设计UnityTM插件227的工具。每个部分都具有如所示的若干子系统和组件。
在基于云的应用201的情况下,六个服务器子系统203被部署在为了通过数据中心的全球网络来构建、测试、部署和管理应用和服务而特别设计的云计算服务上。在本实施方式中,Microsoft AzureTM被用作软件即服务、平台即服务和基础设施即服务来提供云计算服务。
因此,每个学校或组织205A至205X可方便地具有它自己的由Azure AD TM在云211中提供的活动目录,其使用Microsoft IntuneTM来维护它们的访问控制服务207A至207X和移动设备管理(MDM)系统209A至209X。
六个服务器子系统203包括登录服务器203a、内容管理系统203b、资源构建服务器203c、用户数据服务器203d、服务提供商网站203e和日志服务器203f。
登录服务器203a是参与VR系统200的所有学校的活动目录的联合,其可用通过每个学校的访问控制服务207A至207X指派的令牌来验证访问请求。登录服务器203a根据随请求发送的令牌来向云服务器203的其余部分提供访问权限。
用户数据服务器203d维护VR系统200的所有用户的个性化数据,包括名字、头像、高速缓存服务器IP地址、控制服务器IP地址等。在教室组214A至214X内,包括教师的终端215和学生终端217的设备在被登录服务器203a验证之后向用户数据服务器203d发送请求以得到他们的个性化信息。
内容管理系统(CMS)203b维护针对教室214的所有教育资源和定制程序包。在本实施方式中,CMS 203b是通过ASP.NET TM开发的web应用。教师角色可通过任何流行的web浏览器来访问CMS 203b。教师角色可定制他们的教室程序包并且将它保存在他们的个人列表下,然后在VR教育会话之前将它下载并推送到所有学生角色的设备。
CMS系统203b还维护下载、上传和更新定制材料的web服务。用户可上传并共享用创建器工具包225和内容设计UnityTM插件227所创建的内容。
服务提供商网站203e是用于介绍平台、宣布新闻并推广新内容的公共网站。它还作为CMS 203b的门户操作。
资源构建服务器203c对最终用户而言是透明的。它受到UnityTM资产包限制,由此需要从由教师终端215和学生终端217使用的相同UnityTM版本导出所有内容。它构建由用户随由平台使用的UnityTM的当前版本而上传的所有定制内容。当存在VR平台的Unity3dTM版本的升级时,它还重建CMS 203b上的所有现有内容。
日志服务器203f从整个VR平台的所有组件接收调度状态报告和崩溃报告。
每个学校都有它自己的Azure ADTM活动目录207,其为学校的教师和学生维护访问控制服务。还在Azure ADTM咨询目录207中存在用于每个学校205的MDM系统209,其被设计用于安装并更新学生和教师终端应用。
本地应用213包括部署在每个参与学校或组织213的本地网络中的四个子系统。这些子系统包括高速缓存服务器219、控制服务器221以及教师终端215和学生终端217设备。
控制服务器221维护与一个或更多个教室214A至214X的网络连接,具体地为每个组或教室214提供逻辑和控制操作,每个组或教室214包括形式为超级角色的教师和形式为用户角色的学生。这些逻辑和控制操作包括在各角色的设备(即教师终端215和学生终端217)与和VR平台相关联的其它设备之间提供网络功能。
可在控制服务器221上运行的会话中使一个教室214中的教师终端215和学生终端217同步。另外,远程子系统服务器203可连接到控制服务器221并且与教师终端215和其它学生终端217同步。
如第一实施方式中所描述的,这种同步通过与在基本上连续的基础上提供同步状态的交互内容相关联的联网属性来实现以使得交互内容能够在各种设备之间同步。
因此,这种同步允许用户角色参与更复杂的交互内容以及涉及与其它用户角色的协作的协作。因此,可创建形式为包括交互段的交互对象的交互内容。在这种情况下,每个头像、交互对象和交互段分别包括联网属性以基本上连续地发出其同步状态。这种同步使得头像能够执行各种功能,诸如抓取、传递和放置在交互对象及其交互段上。
本实施方式中的教师终端215被实现在平板上。教师角色可经由教师终端215完全控制VR环境中的讲座或课程的进度。重要的是,教师终端215可在VR环境它本身内监视整个班级。它还可将选定内容推送到教室214中的所有学生终端217。
如在前一个实施方式中一样,学生终端217与S8智能电话一起使用VR头戴式装备来在Samsung GearVR上运行。学生角色可在登录之前定制他们的头像和个人信息。在连接到控制服务器221并由云211中的登录服务器203a验证之后,学生角色可看到他们的同学并且使用他们的VR头戴式装备217上的触摸板来在VR环境内彼此协作和交互。
高速缓存服务器219与CMS 203b直接通信以直接地向组或教室内的超级角色和用户角色以及与该组或教室相关联的特定内容提供内容管理服务。
如图22A所示,控制服务器221被具体地构造为提供用于认证、用户数据、头像、组和联网的离散过程。用于教师终端215的平板233和用于学生终端217的VR头戴式装备235各自被构造为提供输入控制和程序包237。
如图22B所示,程序包237包括在技术上描述根据特定设备和选定内容定制的一个或更多个离散虚拟世界239的数据。与每个虚拟世界239相关联的数据包括与在图22C中更详细地示出的不同的项目类型243相对应的项目241的规定阵列。每个虚拟世界239被定制有选定项目241以向特定角色并向要与特定虚拟世界相关联的特定内容提供规定的功能。
在VR头戴式装备235的情况下,项目类型243被表征来创建能够提供以下各项之间的交互和协作的虚拟世界239:
(i)多个用户角色借助于其设备;
(ii)用户角色和交互内容;以及
(iii)超级角色和用户角色借助于其设备。
为了实现与虚拟世界239相关联的最小功能,项目类型基本上包括:
A.与基本上连续地提供同步状态的交互内容相关联的联网属性,以便使得交互内容能够在设备之间同步;
B.用于虚拟世界的组设定;以及
C.用于设备以使得设备能够控制虚拟世界并触发其中或与其相关联的功能的用户界面(UI)。
如图22C所示,可用于虚拟世界239内的项目241选择的项目类型243还包括:
(a)包括平面视频、全景或全景视频或这些的任何组合的视频;
(b)定时、得分或玩家列表,或这些的任何组合;
(c)逻辑定序或定制消息传送,或这些的任何组合;
(d)包括头像动态附件、头像定制动画或定制头像或这些的任何组合的头像资产;
(e)包括视图范围控制、冻结相机、路径或远程传送或这些的任何组合的移动;
(f)符号;
(g)定位,包括扫掠、向内凝视、向外凝视、轻敲、持有或位置输入,或这些的任何组合;
(h)包括交互对象、热点或插槽或这些的任何组合的对象交互。
在图23A中示出了使用项目类型创建的虚拟世界239的示例。此虚拟世界245描述叫做地球拼图的交互对象并且包括必要项目类型243:
(i)团队设定,其提供用于虚拟世界的组设定并且包含每个团队的名字和容量;
(ii)指定头像项目类型的头像;
(iii)插槽和交互对象,其中如果插槽id=交互对象id,则可将交互对象放置到插槽中—在图中,AsiaSlot(亚洲插槽)对应于亚洲交互对象,并且在屏幕截图中,非洲大陆(交互对象)在男孩(头像)前面,而半透明大陆(插槽)位于旋转地球上;以及
(iv)用户界面,其中滑块栏位于左上角,在右上角的下拉菜单是用于教师终端的UI。
头像及插槽和交互对象都包括先前描述的联网属性。
其它项目类型243包括:
(i)动画对象,是作为具有动画的3D对象的项目类型—在此场景中,旋转地球是动画对象;
(ii)定时器,其中地球上的沙漏是定时器;
(iii)分数,其中分数被示出在下拉菜单中;以及
(iv)向内凝视和轻敲,其是用户可使用他们的VR头戴式装备来执行的动作。
虚拟世界239如图23B所示被有效地显示为包括如玩家列表249中所示的分数和玩家名字、名为Daragh 253的玩家的头像251、作为示出各大陆亚洲、欧洲、非洲和北美洲的世界的3D表示的交互对象255。包括形式为旋转地球模型的动画对象257,其在显示器中示出北美洲259a和南美洲259b的大陆。空间位置由虚拟控制器69a和69b在每个教师终端的屏幕上以与第一实施方式中描述的类似的方式提供,并且定时在左上角处。
游戏的意图是让用户角色定位并抓取交互对象255的交互段(为大陆),并且将这些放置到动画对象257中提供的对应插槽中,所述插槽提供选定大陆在旋转地球模型中的正确位置。
被采纳用于描述根据第一实施方式的地球拼图的不同结构的比较被示出在图24A中的263处,并且根据第二实施方式被示出在图24B中的265处。如可看到的,不同的项目241与第一实施方式的原始结构263中的不同的项目类型的逻辑和项目混合,然而这些在第二实施方式的新结构265中被离散地分出。根据新结构划分项目增强VR系统的不可知特性,从而使它变得更简单且更快以适应不同的设备类型和应用。
在另一具体实施方式中,该方式也充当用于实行本发明的最佳模式,在涉及学生角色以物理方式接合VR装备的在先实施方式中提及的交互(诸如在触控板的面上轻敲)被免除并且使用为具体VR装备不可知的另选的交互。这样的布置允许VR应用在诸如HTC VIVE头戴式装备、Samsung gear、Microsoft gear等的不同客户端上运行。
根据上文,应该明显的是,可使用交互、拼图和交互任务对象的不同组合来设计各种实施方式,以实现本发明的预定目的。因此,应该领会的是,本发明的范围不限于所描述的具体实施方式的范围。
如对于技术人员而言将显而易见的修改和变化被视为在本发明的范围内。

Claims (9)

1.一种虚拟现实(VR)系统,该VR系统用于提供超级角色与多个用户角色的互动并且在VR环境中与包括所述用户角色的头像的交互内容关联地使得能实现所述用户角色之间的交互和协作,该VR系统包括:
处理系统,该处理系统用于:
(a)提供一组或更多组超级角色和用户角色的逻辑和控制操作,以及所述超级角色和用户角色的设备与和所述VR系统相关联的其它设备之间的联网功能;以及
(b)直接地向组内的所述超级角色和用户角色及与该组相关联的特定交互内容提供内容管理服务;
所述超级角色的设备包括含有智能处理器的监视器,并且所述用户角色的设备各自包括含有智能处理器的VR头戴式装备;
所述设备中的每一个均能够配置为激活包括在技术上描述一个或更多个离散虚拟世界的数据的程序包,该数据包括与不同的项目类型相对应的项目的规定阵列,每个虚拟世界被定制有项目以向特定角色并向要与特定虚拟世界相关联的特定内容提供规定的功能;
其中,通过包括:
A.与基本上连续地提供同步状态以使得交互内容能够在所述设备之间同步的所述交互内容相关联的联网属性;
B.用于所述虚拟世界的组设定;以及
C.用于所述设备以使得所述设备能够控制所述虚拟世界并且触发所述虚拟世界中或与所述虚拟世界相关联的功能的用户界面,
所述项目类型在所述VR头戴式装备内被表征以创建能够提供以下各项之间的交互和协作的虚拟世界:
(i)多个用户角色;
(ii)用户角色和交互内容;以及
(iii)超级角色和用户角色。
2.根据权利要求1所述的VR系统,其中,所述交互内容包括含有交互段的交互对象,由此每个头像、交互对象和交互段单独地包括联网属性以基本上连续地发出其同步状态。
3.根据权利要求1或2所述的VR系统,其中,所述项目类型还包括下列中的任何一项或更多项:
(a)包括平面视频、全景或全景视频或这些的任何组合的视频;
(b)定时、得分或玩家列表,或这些的任何组合;
(c)逻辑定序或定制消息传送,或这些的任何组合;
(d)包括头像动态附件、头像定制动画或定制头像或这些的任何组合的头像资产;
(e)包括视图范围控制、冻结相机、路径或远程传送或这些的任何组合的移动;
(f)注释;
(g)定位,包括扫掠、向内凝视、向外凝视、轻敲、持有或位置输入,或这些的任何组合;
(h)包括交互对象、热点或插槽或这些的任何组合的对象交互。
4.一种VR平台,该VR平台包括VR应用,该VR应用具有多个过程以使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行VR功能的虚拟环境中的VR活动的一部分;
多个教师用例,用于允许教师角色与VR应用交互以:
(a)组织多个学生角色以协作和竞赛方式与交互任务对象和彼此交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(b)控制与学生角色的VR活动和竞赛参与相关联的交互;并且
(c)监视与所述VR活动相关联的学生角色的竞赛参与;以及
多个学生用例,用于允许学生角色与所述VR应用交互以参与所述VR活动,所述VR活动包括交互以:
(i)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(ii)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(iii)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
5.一种用于虚拟现实(VR)平台以进行涉及教师角色与多个学生角色之间的交互的教学和学习的VR应用,该VR应用包括:
多个过程,所述多个过程用于使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行一组VR功能的虚拟环境中的VR活动的一部分;
其中,所述过程中的一个是用于设计包括在所述虚拟环境中使用的交互组件对象的交互任务对象的设计过程,该设计过程包括:
对象模型功能,用于创建交互任务对象的虚拟任务模型;
模型划分功能,用于将所述虚拟任务模型划分成交互组件对象的虚拟组件模型;
模型组件移除功能,用于从所述虚拟任务模型中移除选定虚拟组件模型从而在所述虚拟任务模型中留下一个或更多个空插槽;
可视测试功能,用于使得能实现所述虚拟任务模型的可视检查以确定空插槽的可视范围从所述虚拟任务模型的一个观察视角看是否在规定的观察范围内,并且不能从所述虚拟任务模型周围的一个或更多个另选的观察视角看到所述空插槽的配置;
碰撞器添加功能,用于使得碰撞器能够被添加到:
(a)空插槽,由此所述碰撞器的大小与适合所述空插槽的被移除的虚拟组件模型基本上相同;
(b)移除的虚拟组件,使得所述碰撞器大于并包围被移除的虚拟组件模型;
所述碰撞器添加功能包括对检测与碰撞器碰撞的搜索信号并且响应于所述碰撞而触发用于启动进一步逻辑的事件进行响应的碰撞功能。
6.一种用于虚拟现实(VR)平台以进行涉及教师角色与多个学生角色之间的交互的教学和学习的VR应用,该VR应用包括:
多个过程,所述多个过程用于使得能实现多个用例的执行从而使得能实现以下各项之间的交互:(i)教师角色、(ii)学生角色以及(iii)所述教师角色和学生角色及多个交互对象的派生实例,全部都形成使用软件开发工具包的工具来执行一组VR功能的虚拟环境中的VR活动的一部分;
其中,所述过程包括:
(a)多个教师角色过程,用于合成交互以实现用例以便教师角色:
(i)组织多个学生角色以协作和竞赛方式与交互任务对象和彼此交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(ii)控制与学生角色的VR活动和竞赛参与相关联的交互;
(iii)监视与所述VR活动相关联的学生角色的竞赛参与;以及
(b)多个学生角色过程,用于合成交互以实现用于学生角色参与所述VR活动的用例,所述VR活动包括交互以:
(i)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(ii)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(iii)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
(iv)在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
7.一种用于提供超级角色与多个用户角色的互动并且在VR环境中与包括所述用户角色的头像的交互内容关联地使得能实现所述用户角色之间的交互和协作的方法,该方法包括以下步骤:
提供一组或更多组超级角色和用户角色的逻辑和控制操作,以及所述VR环境中的所述超级角色和用户角色的设备之间的联网功能;
直接地向组内的所述超级角色和用户角色及与该组相关联的所述特定交互内容提供内容管理服务;
激活包括在技术上描述一个或更多个离散虚拟世界的数据的程序包,该数据包括与不同的项目类型相对应的项目的规定阵列,每个虚拟世界被定制有项目以向特定角色并向要与特定虚拟世界相关联的特定内容提供规定的功能;
通过包括:
A.与基本上连续地提供同步状态以使得交互内容能够在所述设备之间同步的所述交互内容相关联的联网属性;
B.用于所述虚拟世界的组设定;以及
C.用于所述设备以使得所述设备能够控制所述虚拟世界并且触发所述虚拟世界中或与所述虚拟世界相关联的功能的用户界面,
所述项目类型在所述用户角色的设备内被表征以创建能够提供以下各项之间的交互和协作的虚拟世界:
(i)多个用户角色;
(ii)用户角色和交互内容;以及
(iii)超级角色和用户角色。
8.一种用于涉及虚拟现实(VR)环境中的教师角色与多个学生角色之间的交互的教学和学习的方法,该方法包括以下步骤:
对于教师角色:
(i)组织多个学生角色以协作和竞赛方式与交互任务对象交互以得到教学和学习协作和交互技能,由此所述交互任务对象被限定在VR活动内并且包括多个交互组件对象;
(ii)控制与学生角色的VR活动和竞赛参与相关联的交互;以及
(iii)监视与所述VR活动相关联的学生角色的竞赛参与;并且
对于要参与所述VR活动的学生角色:
(i)凝视所述VR活动内的交互对象作为选择所述交互对象的手段;
(ii)抓取所述VR活动内的交互对象作为持有所述交互对象的手段;
(iii)将被抓取的交互对象放置在所述VR活动内作为移动所述交互对象的手段;
(iv)在所述VR活动内使学生角色的派生实例的头部旋转作为在所述虚拟环境内改变所述学生角色的视图的手段。
9.一种用于设计交互任务对象的方法,所述交互任务对象包括用于在虚拟现实(VR)环境中使用以进行涉及教师角色与多个学生角色之间的交互的教学和学习的交互组件对象,该方法包括以下步骤:
创建交互任务对象的虚拟任务模型;
将所述虚拟任务模型划分成交互组件对象的虚拟组件模型;
从所述虚拟任务模型中移除选定虚拟组件模型从而在所述虚拟任务模型中留下一个或更多个空插槽;
提供所述虚拟任务模型的可视检查以确定空插槽的可视范围从所述虚拟任务模型的一个观察视角看是否在规定的观察范围内,并且不能从所述虚拟任务模型周围的一个或更多个另选的观察视角看到所述空插槽的配置;
将碰撞器添加到:
(a)空插槽,由此所述碰撞器的大小与适合所述空插槽的被移除的虚拟组件模型基本上相同;
(b)被移除的虚拟组件,使得所述碰撞器大于并包围被移除的虚拟组件模型;以及
检测与碰撞器碰撞的搜索信号并且响应于所述碰撞而触发用于启动进一步逻辑的事件。
CN201780086040.4A 2016-12-08 2017-12-08 用于使用虚拟现实进行协作学习的系统和方法 Pending CN110494196A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2016905071 2016-12-08
AU2016905071A AU2016905071A0 (en) 2016-12-08 A system and method for collaborative learning using virtual reality
PCT/IB2017/057761 WO2018104921A1 (en) 2016-12-08 2017-12-08 A system and method for collaborative learning using virtual reality

Publications (1)

Publication Number Publication Date
CN110494196A true CN110494196A (zh) 2019-11-22

Family

ID=62490884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086040.4A Pending CN110494196A (zh) 2016-12-08 2017-12-08 用于使用虚拟现实进行协作学习的系统和方法

Country Status (5)

Country Link
US (1) US20200066049A1 (zh)
EP (1) EP3551303A4 (zh)
CN (1) CN110494196A (zh)
AU (1) AU2017371954A1 (zh)
WO (1) WO2018104921A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837573A (zh) * 2021-01-11 2021-05-25 广东省交通运输高级技工学校 游戏化教学平台及方法
CN114157907A (zh) * 2020-09-07 2022-03-08 华为云计算技术有限公司 基于云手机的vr应用设计方法及系统
CN116301368A (zh) * 2023-03-10 2023-06-23 深圳职业技术学院 基于沉浸式xr教学管理平台的教学方法、系统及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11137601B2 (en) * 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
MX2021000176A (es) * 2018-06-25 2021-05-27 Pike Entpr Llc Sistema de capacitacion y evaluacion de realidad virtual.
CN108888956B (zh) * 2018-06-27 2022-02-25 腾讯科技(深圳)有限公司 虚拟背包展示界面的显示方法、设备及存储介质
CN108961881A (zh) * 2018-08-06 2018-12-07 林墨嘉 一种实时互动的智能场景构建及系统
JP6569794B1 (ja) * 2018-10-16 2019-09-04 株式会社セガゲームス 情報処理装置及びプログラム
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN109509253A (zh) * 2018-12-26 2019-03-22 国网吉林省电力有限公司长春供电公司 电力系统三维仿真视觉体验vr设计方法
CN109897747A (zh) * 2019-03-04 2019-06-18 江苏农林职业技术学院 一种基于虚拟现实的精酿啤酒糖化操作系统及方法
CN109961495B (zh) * 2019-04-11 2023-02-24 深圳迪乐普智能科技有限公司 一种vr编辑器的实现方法及vr编辑器
KR20190104928A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 xr 디바이스 제어 방법
CN110975240B (zh) * 2019-11-22 2021-01-08 黑河学院 一种用于多人协作式训练装置
JP6739611B1 (ja) * 2019-11-28 2020-08-12 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム
US11805176B1 (en) * 2020-05-11 2023-10-31 Apple Inc. Toolbox and context for user interactions
US11887365B2 (en) * 2020-06-17 2024-01-30 Delta Electronics, Inc. Method for producing and replaying courses based on virtual reality and system thereof
US20220043622A1 (en) * 2020-08-07 2022-02-10 Mursion, Inc. Systems and methods for collaborating physical-virtual interfaces
US11360733B2 (en) * 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN112163491B (zh) * 2020-09-21 2023-09-01 百度在线网络技术(北京)有限公司 一种在线学习方法、装置、设备和存储介质
CN114615528B (zh) * 2020-12-03 2024-04-19 中移(成都)信息通信科技有限公司 Vr视频的播放方法、系统、设备及介质
CN112509151B (zh) * 2020-12-11 2021-08-24 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
CN112969076A (zh) * 2021-02-23 2021-06-15 江西格灵如科科技有限公司 视频直播连接方法及系统
CN113096252B (zh) * 2021-03-05 2021-11-02 华中师范大学 一种混合增强教学场景中多移动机制融合方法
CN113010594B (zh) * 2021-04-06 2023-06-06 深圳市思麦云科技有限公司 一种基于xr智慧学习平台
WO2022223113A1 (en) * 2021-04-21 2022-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Extended reality servers preforming actions directed to virtual objects based on overlapping field of views of participants
CN113256100B (zh) * 2021-05-19 2023-09-01 佳木斯大学 一种基于虚拟现实技术的室内设计用教学方法及系统
CN113192190A (zh) * 2021-05-24 2021-07-30 北京鼎普科技股份有限公司 一种基于vr技术的保密培训考试方法和系统
US20230125930A1 (en) * 2021-10-26 2023-04-27 Blizzard Entertainment, Inc. Techniques for combining geo-dependent and geo-independent experiences in a virtual environment
CN114237389B (zh) * 2021-12-06 2022-12-09 华中师范大学 一种基于全息成像的增强教学环境中临场感生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080268418A1 (en) * 2007-04-25 2008-10-30 Tashner John H Virtual education system and method of instruction
US20090098524A1 (en) * 2007-09-27 2009-04-16 Walton Brien C Internet-based Pedagogical and Andragogical Method and System Using Virtual Reality
US20090325138A1 (en) * 2008-06-26 2009-12-31 Gary Stephen Shuster Virtual interactive classroom using groups
US20100233667A1 (en) * 2008-06-12 2010-09-16 Wilson Scott N Electronic Game-Based Learning System
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US20140162224A1 (en) * 2012-11-28 2014-06-12 Vrsim, Inc. Simulator for skill-oriented training
US20140274564A1 (en) * 2013-03-15 2014-09-18 Eric A. Greenbaum Devices, systems and methods for interaction in a virtual environment
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训系统
US9367950B1 (en) * 2014-06-26 2016-06-14 IrisVR, Inc. Providing virtual reality experiences based on three-dimensional designs produced using three-dimensional design software
US20180147493A1 (en) * 2013-09-23 2018-05-31 Cignition, Inc. Method and system for learning and cognitive training in a virtual environment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080268418A1 (en) * 2007-04-25 2008-10-30 Tashner John H Virtual education system and method of instruction
US20090098524A1 (en) * 2007-09-27 2009-04-16 Walton Brien C Internet-based Pedagogical and Andragogical Method and System Using Virtual Reality
US20100233667A1 (en) * 2008-06-12 2010-09-16 Wilson Scott N Electronic Game-Based Learning System
US20090325138A1 (en) * 2008-06-26 2009-12-31 Gary Stephen Shuster Virtual interactive classroom using groups
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US20140162224A1 (en) * 2012-11-28 2014-06-12 Vrsim, Inc. Simulator for skill-oriented training
US20140274564A1 (en) * 2013-03-15 2014-09-18 Eric A. Greenbaum Devices, systems and methods for interaction in a virtual environment
US20180147493A1 (en) * 2013-09-23 2018-05-31 Cignition, Inc. Method and system for learning and cognitive training in a virtual environment
US9367950B1 (en) * 2014-06-26 2016-06-14 IrisVR, Inc. Providing virtual reality experiences based on three-dimensional designs produced using three-dimensional design software
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARCELO KALLMANN: "Direct 3D Interaction with Smart Objects,http://graphics.ucmerced.edu/publications/1999_VRST_Kallmann", 《网页》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157907A (zh) * 2020-09-07 2022-03-08 华为云计算技术有限公司 基于云手机的vr应用设计方法及系统
CN112837573A (zh) * 2021-01-11 2021-05-25 广东省交通运输高级技工学校 游戏化教学平台及方法
CN116301368A (zh) * 2023-03-10 2023-06-23 深圳职业技术学院 基于沉浸式xr教学管理平台的教学方法、系统及介质
CN116301368B (zh) * 2023-03-10 2023-12-01 深圳职业技术学院 基于沉浸式xr教学管理平台的教学方法、系统及介质

Also Published As

Publication number Publication date
AU2017371954A1 (en) 2019-07-25
EP3551303A1 (en) 2019-10-16
EP3551303A4 (en) 2020-07-29
US20200066049A1 (en) 2020-02-27
WO2018104921A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN110494196A (zh) 用于使用虚拟现实进行协作学习的系统和方法
Magerkurth et al. Augmenting the virtual domain with physical and social elements: towards a paradigm shift in computer entertainment technology
CN106716306A (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN101180621B (zh) 用于建立游戏上下文外的在线游戏会话的系统和方法
ES2730740T3 (es) Sistema de asistencia de vídeo juego y método
EP3595789B1 (en) Virtual reality system using an actor and director model
Friston et al. Ubiq: A system to build flexible social virtual reality experiences
JP2015524677A (ja) インタラクティブ・ゲームプレイのためのシステム及び方法
CN108027653A (zh) 虚拟环境中的触觉交互
US20190180089A1 (en) Simulated Sandtray System
Tennent et al. Thresholds: Embedding virtual reality in the museum
CN104731343A (zh) 一种基于移动终端的虚拟现实人机交互儿童教育体验系统
JP7009508B2 (ja) 模擬箱庭システム
Tuite et al. Reconstructing the world in 3D: bringing games with a purpose outdoors
CN102884490A (zh) 在共享的稳定虚拟空间上维持多视图
CN101689279A (zh) 实况游戏大厅
Ejsing-Duun Location-based games: from screen to street
JP6843100B2 (ja) ゲームプログラム、ゲーム方法、および情報処理装置
CN111744180A (zh) 加载虚拟游戏的方法及装置、存储介质、电子装置
Pînzariu et al. Sphero-Multiplayer Augmented Game (SMAUG).
JP2008264339A (ja) 管理サーバ、ゲーム制御方法、及びゲーム制御プログラム
Oriti et al. Harmonize: A shared environment for extended immersive entertainment
Aguirrezabal et al. Designing history learning games for museums: an alternative approach for visitors' engagement
CN107661628A (zh) 一种创建网络以促进多玩家游戏的方法和系统
JP2021083945A (ja) ゲームシステム、ゲーム制御方法、及びゲーム制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191122

WD01 Invention patent application deemed withdrawn after publication