CN108961881A

CN108961881A - 一种实时互动的智能场景构建及系统

Info

Publication number: CN108961881A
Application number: CN201810886478.7A
Authority: CN
Inventors: 林墨嘉
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2018-12-07

Abstract

本发明公开了一种实时互动的智能场景构建及系统，所述的实时互动的智能场景系统包括：虚拟形象设计，识别所述的虚拟形象的终端交互者信息，并确定终端交互者信息权限；搭载于终端通过摄像头虚拟出需要的场景和物件，实体信息于场景中进行交互并上传至VR端，终端在VR中丰富和改造场景和物件，将改造后的场景和物件上传构建场景和物件，再经还原重现显示VR场景。所述的实时互动的智能场景构建的系统为互动式教育系统，包括互动终端和服务器，互动终端分为教师端和学生端；所述的服务器包括控制模块和信息识别模块。本发明以教师为教育核心，VR课程设计为辅助，提高教师端和学生端的教育效率为目的，多人同时局域网或广域网在线互动。

Description

一种实时互动的智能场景构建及系统

技术领域

本发明属于计算机教学技术领域，具体涉及一种实时互动的智能场景构建及系统。

背景技术

教学系统(Instructional System)是师生共同参与，旨在实现教学目标的活动体系。由教学人员(教师和学生)、教学信息(以各种形式编制的软件)、教学材料、设备(各种形式的教学硬件)构成。包括控制、执行、反馈三个子系统。控制系统决定整个系统的运动方向和工作内容，调整其他子系统的工作。教师在其中起控制、实施的主要作用。学是由多种要素构成的复杂系统，动态要素是教师、学生及心理环境，人的要素--教师和学生是控制和制约教学系统进行的关键因素;相对静止的要素是教学媒体和物理环境，是物的要素，是师生互动交流的载体，而心理环境是使教学系统中人和物的要素得以有机运作的文化与情感支撑。在教师系统中，教师作为学生的指导者，其活动主要包括:计划，教师要设定教学目标，规划教学活动;组织，教师为达成教学目标要组织好与学习任务有关的材料，并组织相关的教学活动;辅导，教师激发学生的学习动机并为他们的学习提供帮助;评价，教师要清楚地了解学生掌握知识的情况和目标的达成情况。为了完成这些任务，合格的教师必须在教学态度、知识结构、教学能力、个性品质等多方面具备良好的素质，并使彼此间达到最优的组合。学生是知识与经验的获得者，是学习活动的直接承担着，也是教学成效的最终体现者。学生学习的成败在很大程度上取决于学生的智力水平、知识结构、学习策略以及学习动机、学习态度等因素。目前的教学系统远远不能满足教师和学生之间、学生与学生之间的交流以提升教师的教学质量和学生的学习效率问题，开发一种能实现交互式的教学系统是非常必要的。

发明内容

本发明的第一目的在于提供一种实时互动的智能场景构建；第二目的在于提供所述的实时互动的智能场景构建的系统。

本发明的第一目的是这样实现的，包括以下步骤：

步骤1：虚拟形象设计，识别所述的虚拟形象的终端交互者信息，并确定终端交互者信息权限；

步骤2：搭载于终端通过摄像头虚拟出需要的场景和物件，实体信息于场景中进行交互并上传至VR端，终端在VR中丰富和改造场景和物件，将改造后的场景和物件上传构建场景和物件，再经还原重现显示VR场景；

步骤3：基于虚拟出的场景和物件，通过自主设计物件之间互动逻辑关系、判定顺序以及时间系统，达到交互者在虚拟场景中对虚拟形象动作的实时反馈、实时记录，虚拟场景中的物件与虚拟形象之间互动反馈、实时操作；

步骤4：设计多个互动智能虚拟场景的逻辑关系，达到环环相扣的关系，拥有超级权限的交互者可操作各个互动智能虚拟场景的随时互相切换。

本发明的第二目的是这样实现的，所述的实时互动的智能场景构建的系统为互动式教育系统，包括互动终端和服务器，所述的互动终端分为教师端和学生端，用于实体信息在场景中进行交互、上传、丰富和改造场景；所述的服务器包括控制模块和信息识别模块。

本发明以教师为教育核心，VR课程设计为辅助，提高教师端和学生端的教育效率为目的，多人同时局域网或广域网在线互动，彼此相互课件，并可在同一或不同虚拟智能场景中实时互动，互动方式有教师引导性互动、有学生自主性探索、有学生端竞赛互动、沙盒式RPG角色扮演、多故事线、多线索、多结局的场景设计，为教师的灵活教学和学生的资助学习能力提供了无限可能，打破传统的应试教育模式，把学科、原理、架构、无缝完美的融入到VR场景设计当中，也为教师端提供了发挥的空间。

本发明在使用过程中，会实时，以每秒1500次收集各端操作数据，并实时生成对各端的六维能力雷达图，此雷达图在经过授课教师端的人工评测最终生成各体验端的独立雷达图和关联雷达图，反映出各端的参与程度，误操作率，互动程度，创新探索程度，以及表达和聆听效果，本发明不仅提供视觉听觉体验，更提供触觉，嗅觉体验，发掘感官记忆能力。使得学习者教授者有一个直观并且多元化的体验，实现人与人，人与虚拟世界中的物件或环境，NPC与人，人与智能AI实时互动，达到全方位的教育学习目标。智能AI 系统会根据体验者的一系列操作与选择自行生成适合于体验者思维发展风格的教学路线或学习路线，并且帮助体验者解决一些基本操作引导、互动逻辑场景特效切换，语音识别，眼球追踪，面部分析，以得出体验者实时的体验状态做相应的引导以及沟通。多个场景之间可随意切换、同步、停止或暂停，场景之间有着紧密的联系，突破场景描述性教育理念，建立场景交互式，智能识别式，人机合作式教学理念。课程设计坚持原创，互动，实时交流，以及合作式理念，把游戏，电影中优秀的元素融入到VR场景教学。本发明融入了感官探索元素，空间想象力培养，逻辑思维培养，速记能力培养，语言意识培养，使教学内容真正的在体验者心中刻骨铭心。场景中体验者可通过瞬移或者行走的方式行动，把VR场景化教学和实际教学场所完美结合。本发明打破VR内容有时间限制一说，把单人流程式的VR体验转化为多人互动弹性式的VR体验，课程内容设计没有时间限制一说，针对学生端老师端的实际情况可以灵活变化使用方式和增减内容。由系统设定好的流程体验与判定就如卡拉OK伴奏，只能做生硬的跟随体验，本设计方案的灵活性可以允许体验者无论是教师端或学生端自由掌控节奏，充分发挥教师的作用和学生的好奇心与兴趣，达到如现场演唱会的乐队伴奏一样，灵活弹性因人而异，因材施教。

附图说明

图1为本发明教师端权限说明示意图；

图2为本发明手柄吸附星球操作过程示意图；

图3为本发明教师端和学生端互动示意图；

图4为本发明STEAM能力雷达示意图。

具体实施方式

下面结合实施例和附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明所述的实时互动的智能场景构建，包括以下步骤：

本发明所述的实时互动的智能场景构建的系统为互动式教育系统，包括互动终端和服务器，所述的互动终端分为教师端和学生端，用于实体信息在场景中进行交互、上传、丰富和改造场景；所述的服务器包括控制模块和信息识别模块。

所述的教师端和学生端需要确定各交互者的信息。

所述的教师端需要确定姓名、职务和密码，且教师端具有超级密码权限，可以进入任意学生端。

所述的学生端需要确定姓名、学号和密码。

所述的控制模块包括阶段选择控制模块、场景选择控制模块、VR虚拟物件交互逻辑判断控制模块、VR虚拟物件控制模块、交互判断控制模块、实时更新控制模块和角色控制模块。

所述的信息识别模块包括选择单元、判断单元、识别单元、计算单元和控制单元。

本发明所述的实时互动的智能场景构建的系统的使用方法，包括以下步骤：

1）教师端通过控制模块去定义学生端交互权限方式逻辑；

教师使用阶段选择控制模块根据学生的不同学习素质来选择相应的教学阶段；根据教学进度以及教学需求使用场景选择控制模块，此时场景内相应的可操作的可互动的场景因素被激活，场景选择控制模块不受阶段选择控制模块的束缚，其目的是让教师端能有多种教学模式搭配与选择因教师端或学生端而异；使用VR虚拟物件交互逻辑判断控制模块对场景内动态因素进行实时控制与反馈，其目的在于由老师端发出控制请求时，VR虚拟扬景内动态因素能够实时进行反馈与数据收集以记录下学生端或教师端一系列操作的轨迹；为VR虚拟物件控制模块和交互判断控制模块提供操作与判定基础，从而引导交互者对VR虚拟物件和场景做出相应主观判断，系统通过VR虚拟物件交互逻辑判断控制模块、VR虚拟物件控制模块、交互判断控制模块、实时更新控制模块对交互者的交互行为作出判定，使VR虚拟场景内实时显示更新、VR虚拟物件交互逻辑点更新，以达到教学目的；

2）学生端首先通过登录系统账号登入该系统进入虚拟场景；

此时场景内相应的可操作的可互动的场景因素被激活，以教师端引导为基础，学生端探索、发现、互动为主的教学方式，学生端通过vr虚拟物件控制模块、角色控制模块进行对虚拟物件的控制、交互，对虚拟角色的移动、控制，学生端在各个场景规定区域内可进行自由移动、交互、控制，完成相应系统逻辑判断，系统会做出相应判定以进行下一项判定，而这些判定、操作过程和交互者的操作，移动轨迹会被系统所实时记录，该系统会根据体验者的一系列操作与选择自行生成适合于体验者思维发展风格的教学路线或学习路线，并且帮助体验者解决一些基本操作引导、互动逻辑场景特效切换，语音识别，眼球追踪，面部分析，以得出体验者实时的体验状态做相应的引导以及沟通，并在该系统使用结束后会呈现每一位交互者的steam能力雷达示意图，使用体验结束。

下面以具体实施案例对本发明做进一步说明：

实施例1

课程1阶段

字母星球选择场景：背景为太空之中，星球随机漂浮在场景中。

操作方式：右手手柄扳机键选取，松开回位。左手手柄按下扳机键并放在星球上可以旋转星球。

规则：星球只要被选定即被扳机瞄准后即锁定，其他学生的手柄无法瞄准选取或吸附。左手按下扳机并在右手吸附的星球上移动即可以旋转星球观察，右手吸取星球，将星球吸附住并放在左手上可以存放星球，存放的形式以环绕左手的形式（类似于佛珠）。

课程2阶段

（学生把星球都传进自己的手环后，老师进行确认后，按下按钮，场景切换到阶段二。1切换到2阶段时有一个转场动画，背景设计为时空穿梭到另一片太空（类比于头号玩家的虚拟世界穿梭特效），此时体验者所持星球不受影响，场景内有24个圆形光圈可供星球摆放，分五组，组内的光圈颜色都一样。每一组上面都有个音标，学生需要根据音标进行摆放星球。可以以任意顺序摆放，调整。（学生可以从星球手环上）。

在此阶段可以交换字母星球：学生可以从星球手环上拿出字母星球并放置在人群中央使之围绕太阳旋转，若被拿出并放入公共区域（即围绕太阳旋转），该字母星球可被其他学生选择利用阶1中的操作方式拾取并可收入星球手环。(字母星球可交换)。

此供星球摆放的场景依据以下规则设定。字母摆放规则分为以下五组，如放进非组内字母，字母会弹出到体验者原处（组内字母顺序无所谓）

BCDEGPTV

AHJK

FLMNSXZ

QUW

IY

拿到O、R星球的体验者无法放回字母到任何一组。

此五组字母星球摆放区域需环绕四周，不要在一个方向。

当所有星球都摆放完毕后，五组光圈区域出现各自出现一种颜色（每次的颜色都不一致，出现的颜色要有随机性）。

同时老师进入讲解阶段。

课程3 准备阶段

当所有字母都按照以上分组放置正确时，老师的主控端会出现一个链接动画效果的选项，主控端点击选项进入动画效果。（光圈上的星球与同学手上的星球依次自行起飞并环绕四周最终组合成26个字母正确顺序配有bgm。

依次飞起规则：从左到右，一组组星球依次升起，而不是根据26个字母的顺序依次升起。每个字母星球升起的时候，都要绕着学生一周，最后才飞到他在场景字母表中的正确的位置。

此时，字母星球只能由主控端控制，其余设备不得操作。

课程3阶段

老师讲解语法（时态）场景：以老师中心，生成十个发光圆环覆盖的区域。背景依旧为宇宙深空之中。学生可以通过手柄瞬移到发光圆环覆盖的区域，一旦瞬移至圆环覆盖区域就关闭手柄瞬移功能，而且其他学生无法瞬移至该区域。完成每一个发光圆环内都有一名学生之后，老完毕之后老师可以依次为各个学生分配一个字母星球，字母星球显示在学生发光圆环旁边的发光柱体上，老师开始本阶段教学：老师可以通过手柄控制面板调出黑板以及虚拟键盘，所调出的黑板可以显示虚拟键盘所输入的字符。控制面板还可以顺时针/逆时针旋转发光光柱以及字母星球的位置。老师可以借此说明时态的应用（比如：A球在一个同学面前，老师可以指导同学说：I am A ；老师通过控制面板顺时针旋转星球，星球位置变换，星球去到同学的左侧，这时候A同学可以说：I Was A）。

课程4阶段

设计一个第一人称转场动画带所有体验者穿梭到地球。把星球从太空带回地球。

下面要切换几个不同场景，场景中物体较多。

每个场景大约30个物体每个物体在场景呈现初期不显现。只有大场景背景以及相关物品的场景配合，注意合理性。（比如树林少一颗树的感觉。）需体验者自行排列组合拼出指定单词才可显现。当每个场景每个物件放齐时才是本场景的全貌呈现。

地球场景1：

海洋

地球场景2

森林

地球场景3

城市

地球场景4

校园

地球场景5

家庭种住宅内部

拼写方式为，

1）由老师先选择需要拼写的单词，再选择没有要拼写单词的字母的学生做指挥人员。老师选定学生需要拼写出的单词（单词的ICON以图形+单词形式）并告知学生，此时在老师通过讲话或者其他方式告知学生需要拼写出的单词的中文意思。老师可以通过手柄上控制面板调出单词容器，单词容器位于老师正前方。单词容器模型类似于装羽毛球或者网球的桶，具体为以长形透明一端开口（开口方向以老师面对方向左侧）的横置玻璃桶。

2）老师号召学生将对应的单词的字母按照正确的顺序按面对学生一面由左到右的顺序依次放入（学生一面即以面向老师这一面）。

3）放置完毕之后老师检查顺序以及单词是否正确，（顺序以及拼写是否正确完全由老师判定，程序不参与判定）若为正确则老师可以通过手柄控制面板判定为正确，反则错误。

4）若拼写正确，则容器消失，从原来容器的位置生成一个该单词代表的物体的模型并悬浮着。

5）若老师判定为错误,则容器中的字母星球全部被释放至之前的所拥有的学生的手柄上并保留显示15s，15s内若无任何操作则星球回到所有者的星球手环，在此期间无需扣动扳机。

6）拼写成功后，单词变换为实际物体，学生们可以将物体拿起，把玩。当手持物体靠近该物品归属位置的范围内时，老师可以通过控制面板操纵，使该物品脱离持有者，缓慢漂浮到该物品的归属位置。Ps，一组组学生，依次操作。每次只是一组学生操作，其他学生围观，暂时不考虑多组学生统一操作。

拼写比赛：

在每个场景结束时进入拼写竞赛（老师也可以控制随时进入拼写比赛）。控制黑板出现。老师根据学生拼写的单词进行人工打分。进入拼写比赛的时候，此时场景内依然呈现所有物件，只是隐去单词标注。

出现一块可供书写的黑板（黑板依据场景分别设计为：一堆小鱼游过来贴在空气玻璃上、一棵大树死后留下的年轮木桩、一辆汽车的仪表、一颗篮球飞过来炸开、一个电视机打开等等，所有出现的物品都必须融合进入该场景里面）。

比赛具体玩法流程：

1）规则说明，参加拼写比赛的一次为两组。每个组都会拥有三种角色。包含拥有该单词的字母星球的同学、做指挥的同学（指挥同学站位，指挥同学去黑板写单词）、去黑板写单词的同学等。

2）书写区域说明，黑板左半边为红队的书写区域，黑板右半边为黄队的书写区域；

3）老师把同学们分成对应的组，并一键销毁所有星球。

4）老师从手中列表选择需要拼写的单词，并把星球派发给对应的同学。

5）人工指挥拼写开始。

6）同学们开始拼写。每个同学都根据指挥同学的指挥去黑板面前把笔拿起进行拼写。拼写完毕，告知老师。

7）老师拥有判断拼写竞赛哪组得分。按下对应的按钮，按一次得分，则该组的黑板上增加一分，若按一次没得分，则该组的黑板文字清除。注意得分需要加上特效反馈。

8）每拼写完成一次，都会把拼好的单词飞回去物体的上方。

9）最后老师可以给对应组员胜利或者错误的反馈。

老师对学生评分

拼写比赛结束之后，老师指导学生摘下头显，在PC上液晶屏上老师对每一位学生进行评分。在教师的投影仪上显示文字说明：“老师正在评分，请稍后”，老师在PC机上滑动评分条，为学生每一个评分维度评分，此时学生屏幕上显示：“老师正在评分，请稍后”，评分完毕之后，在每个学生的PC上将他个人的分数显示为雷达图，同时显示该学生的总分数并显示在雷达图之上，总分数最高的学生会被评为MVP并在老师的投影屏幕上显示。评分含有5个维度，5个维度分别为：探索学习能力，思考与问题解决能力，积极人格与价值观，沟通合作能力，创意革新能力，科技实践能力。

Claims

1.一种实时互动的智能场景构建，其特征在于包括以下步骤：

2.一种权利要求1所述的实时互动的智能场景构建的系统，其特征在于所述的实时互动的智能场景构建的系统为互动式教育系统，包括互动终端和服务器，所述的互动终端分为教师端和学生端，用于实体信息在场景中进行交互、上传、丰富和改造场景；所述的服务器包括控制模块和信息识别模块。

3.根据权利要求2所述的实时互动的智能场景构建的系统，其特征在于所述的教师端和学生端需要确定各交互者的信息。

4.根据权利要求3所述的实时互动的智能场景构建的系统，其特征在于所述的教师端需要确定姓名、职务和密码，且教师端具有超级密码权限，可以进入任意学生端。

5.根据权利要求3所述的实时互动的智能场景构建的系统，其特征在于所述的学生端需要确定姓名、学号和密码。

6.根据权利要求2所述的实时互动的智能场景构建的系统，其特征在于所述的控制模块包括阶段选择控制模块、场景选择控制模块、VR虚拟物件交互逻辑判断控制模块、VR虚拟物件控制模块、交互判断控制模块、实时更新控制模块和角色控制模块。

7.根据权利要求2所述的实时互动的智能场景构建的系统，其特征在于所述的信息识别模块包括选择单元、判断单元、识别单元、计算单元和控制单元。

8.一种权利要求2~7所述的实时互动的智能场景构建的系统的使用方法，其特征在于包括以下步骤：

1）教师端通过控制模块去定义学生端交互权限方式逻辑；

2）学生端首先通过登录系统账号登入该系统进入虚拟场景；

此时场景内相应的可操作的可互动的场景因素被激活，以教师端引导为基础，学生端自主探索、发现、互动为主的教学方式，学生端通过vr虚拟物件控制模块、角色控制模块进行对虚拟物件的控制、交互，对虚拟角色的移动、控制，学生端在各个场景规定区域内可进行自由移动、交互、控制，完成相应系统逻辑判断，系统会做出相应判定以进行下一项判定，而这些判定、操作过程和交互者的操作，移动轨迹会被系统所实时记录，该系统会根据体验者的一系列操作与选择自行生成适合于体验者思维发展风格的教学路线或学习路线，并且帮助体验者解决一些基本操作引导、互动逻辑场景特效切换，语音识别，眼球追踪，面部分析，以得出体验者实时的体验状态做相应的引导以及沟通，并在该系统使用结束后会呈现每一位交互者的steam能力雷达示意图，使用体验结束。