CN113628324A - 一种智慧高速公路vr互动教学系统 - Google Patents
一种智慧高速公路vr互动教学系统 Download PDFInfo
- Publication number
- CN113628324A CN113628324A CN202110873820.1A CN202110873820A CN113628324A CN 113628324 A CN113628324 A CN 113628324A CN 202110873820 A CN202110873820 A CN 202110873820A CN 113628324 A CN113628324 A CN 113628324A
- Authority
- CN
- China
- Prior art keywords
- student
- teaching
- terminal
- teacher
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000006854 communication Effects 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 239000011521 glass Substances 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000008520 organization Effects 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 239000000463 material Substances 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 238000013515 script Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000011960 computer-aided design Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101000826116 Homo sapiens Single-stranded DNA-binding protein 3 Proteins 0.000 description 1
- 102100023008 Single-stranded DNA-binding protein 3 Human genes 0.000 description 1
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical compound C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 238000013551 empirical research Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Geometry (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及一种智慧高速公路VR互动教学系统，通过采用三维场景的数据组织与自适应调度方法将教师监视终端、通信平台、学生教学终端进行数据交互，所述教师监视终端，包括电脑和电子白板，电脑主要用来运行教师端的控制程序，电子白板用于显示学生教学终端中的画面；电脑与电子白板之间通过USB连接方式进行数据传输、交互控制；所述学生教学终端包括平板、VR眼镜及VR手柄，通信平台，用于学生教学终端与教师监控终端的通信并存储教学资料，所述的通信平台包括处理服务器、客户端、交换机和路由器。本发明解决现有VR教学系统中师生互动不充分、课堂流程未完整实现及三维场景不能自适应多种类型的终端设备的问题。
Description
技术领域
本发明属于VR虚拟教学技术领域，尤其涉及一种智慧高速公路VR互动教学系统。
背景技术
智慧高速公路是充分利用新一代信息技术、新能源技术、新材料、新结构，以及人工智能等先进技术，打造的一项系统工程。但是出于对金钱成本、时间成本、学生安全等因素的考虑，难以实现生动形象的现场教学。此时，通过测量数据建立逼真的VR场景进行VR课堂教学就显示出独特的优越性和便捷性。
近年来，虚拟现实技术在教育领域得到了越来越广泛的应用，涌现出了大量的理论研究和实证研究，取得了不错的教学效果，但是由于终端硬件性能的限制，现有应用中采用建立静态空间索引的数据组织方法，难以适应多样化终端的使用需求。
目前的教学系统主要实现了浏览视频、简单场景等辅助性教学功能，不能在VR中走完从教学到评测的整个教学流程，且存在老师对学生的控制权限不高、两者之间能进行的交互不多等问题。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种智慧高速公路VR互动教学系统，该系统解决了现有VR教学系统中师生互动不充分、课堂流程未完整实现及三维场景不能自适应多种类型的终端设备的问题。
为了实现上述发明的目的，本发明采用以下技术方案：
一种智慧高速公路VR互动教学系统，包括教师监视终端、通信平台、学生教学终端，通过采用三维场景的数据组织与自适应调度方法将教师监视终端、通信平台、学生教学终端进行数据交互，
教师监视终端，用于获取教师在教学过程中发送的指令，并将指令传输至通信平台，同时用于读取通信平台中学生教学终端的信息，所述教师监视终端，包括电脑和电子白板，电脑主要用来运行教师端的控制程序，电子白板用于显示学生教学终端中的画面；电脑与电子白板之间通过USB连接方式进行数据传输、交互控制；
学生教学终端，用于获取学生的操作和状态，并将操作和状态传输至通信平台，同时用于获取处理服务器中教师的指令；所述的学生教学终端包括平板、VR眼镜及VR手柄，平板作为处理器是学生端VR软件程序的载体，VR眼镜是学生用来观看虚拟现实场景的工具，VR手柄是学生用来与虚拟场景进行互动的工具。
通信平台，用于学生教学终端与教师监控终端的通信并存储教学资料，所述的通信平台包括处理服务器、客户端、交换机和路由器。
作为优选方案：所述的通信平台，是基于Jetty嵌入式服务端开发框架搭建的网络通信平台，通过构建Servlet脚本完成教师监控终端与多个学生教学终端同时通信。
作为优选方案：所述的学生教学终端，用户采用手柄交互的方式，通过手柄射线、手柄按键及手柄触摸板与VR眼镜中的智慧高速公路虚拟场景进行交互；所述的智慧公路虚拟场景中，包括教学视频模块、沉浸式场景模块、答题模块。
作为优选方案：所述的沉浸式场景模块，基于CAD和3DMax软件按1：1比例完成真实的三维模型搭建，经过纹理映射和烘焙过程，形成高保真的公路修建模型，利用虚拟现实工具和终端设备真实再现公路修建主要场景。
作为优选方案：所述的答题模块，利用Unity3D制作答题场景，通过答题音效和手柄交互，实现学生与界面的实时交互。
作为优选方案：所述的教学视频模块，通过获取高速公路相关的基础文字、声音与视频资料，之后利用视频剪辑软件对它们进行编辑、裁剪、拼接等各种操作，从而得到视频教学资料，利用虚拟现实工具和终端设备，使用户获得沉浸式体验。
作为优选方案：所述的教师监控终端，通过在Unity3D中构建的UI界面中向学生教学终端发送指令，完成教师监控终端与学生教学终端的实时沟通，互动教学，该教师监控终端包含发送指令模块、权限控制模块和状态显示模块。
作为优选方案：所述的指令发送模块通过向处理服务器发送视频相关指令、沉浸式场景相关指令和题目相关指令，动态控制学生教学终端的学习内容以及学习进度。
作为优选方案：所述的权限控制模块用于控制学生教学终端的操作权限，包括自由操作功能和禁止操作功能。
作为优选方案：所述的状态显示模块通过在控制端定时访问处理服务器学生状态，动态展示学生的操作权限、操作状态及答题状态，包括学生操作状态功能、学生答题状态功能。
作为优选方案：所述三维场景的数据组织与自适应调度方法的具体步骤如下，首先处理服务器对三维模型数据构建多LOD层次数据，对用户端传入的网络环境、终端硬件性能、VR实时渲染帧率等影响参数进行分析，然后通过自适应三维场景构建模型对数据进行动态的LODs层次选择与数据调度，并在用户端构建自适应多LOD层次的三维场景。
与现有技术相比，本发明至少具有以下有益效果：
首先，本发明采用的智慧高速公路三维场景数据组织与自适应调度方法对智慧高速公路相关的数据进行了有效的组织，并有效地解决了三维场景难以适应多样化终端显示需求的问题，可以在不同的硬件设施、网络环境中呈现出流畅的画面。
其次，系统实现了在VR中完成教学到测评的整个教学流程，教师监控终端可以同时控制多个学生教学终端的学习内容和学习进度，同时也能实时查看每个学生教学终端的操作状态与答题状态，教师可以灵活方便的组织教学内容，实现教师监控终端与学生教学终端的实时沟通、交互教学。
然后，将VR技术应用到智慧高速公路建设的教学过程中来，学生能够通过虚拟现实工具实现与虚拟场景的实时动态交互，置身于这一环境中，能更集中注意力，获得更好的学习效果。
最后，智慧高速公路是政府高度重视、技术引领、跨界融合、便民惠民的重要发展建设对象。高新技术人才的培养与输送是建设智慧高速公路的关键所在，虚拟现实技术摆脱了场地、资金等限制，通过在虚拟场景中进行教学可让学生获得身临其境的真实感，智慧高速公路VR互动教学已经成为智慧高速公路教学的重要研究内容和可行手段。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1是本发明的功能结构流程图；
图2是自适应八叉树组织方法流程；
图3是本发明中教师监视终端与学生教学终端的交互流程图；
图4是本发明中教师监视终端的具体功能图；
图5是本发明中学生教学终端的具体功能图；
图6是本发明中实景三维模型建造流程图；
图7是本发明中三维动画制作流程图；
图8是本发明中学生教学终端的工作流程图；
图9是本发明中教师监视终端的工作流程图；
图10是本发明中硬件设备之间的连接关系图；
图11是本发明中学生端平板与VR眼镜数据传输原理图；
图12是本发明中VR设备与手柄控制器连接原理图；
图13是本发明中VR眼镜与电子白板无线连接原理图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、部件和/或它们的组合。
下面结合附图与实施例对本发明作进一步说明：
如图1所示的一种包含智慧高速公路三维场景的数据组织与自适应调度方法和系统模块构建两部分内容的智慧高速公路VR互动教学系统建立方法。
三维场景数据的数据组织与自适应调度方法包含数据组织与多终端自适应调度两部分内容，如图2所示。
数据组织，智慧高速公路三维教学场景数据包括地形数据(正方形栅格数据)、路面模型数据、施工设备模型数据等。为适应多样化终端的自适应可视化需求，本设计对不同数据分别进行了组织。传统的地形单元分割将地形数据组织成二叉树或四叉树结构，但处理块间的“裂缝”时方法过分复杂，计算量太大且影响实时效果。但按八叉树结构组织地形数据可以有效解决上述问题，组织后的节点分为两类:不包含地形数据的空节点和包含地形数据的非空节点。路面模型数据包括基本的地面模型,道路模型,以及其他道路附属物的模型(如隧道、涵洞、护栏、桥梁)等，对于在空间同一位置多个模型叠加后形成的公路三维模型,二叉树、四叉树等传统的数据结构就不适用,因为它们都不能正确处理在现实世界中同一坐标上多个物体重叠的情况,从而不能正确描述公路三维模型的外观特征，八叉树直接划分三维空间，可以有效表达三维模型的三维特征。施工设备模型最终会以动画的形式呈现，前期通过八叉树进行数据组织可有效压缩数据量。以上数据均采用八叉树构建动态索引。
构建八叉树动态索引，在自适应八叉树划分过程中，首先针对用户终端类型与网络环境，构建初始空间索引，再对空间区域进行八叉树划分，判断三维模型与划分区域边缘的空间位置的关系，当模型与划分区域包围盒的边缘相交时，适当放大模型所在区域的包围盒范围，直到能包括处于划分区域边缘的三维模型，完整地保存了模型拓扑结构和语义信息，保证八叉树的空间适应性与三维场景划分的完整性；对每个划分子区域中的三维模型数量进行控制，若模型数量超出设置的阈值，则适当修改该划分区域的矩形包围盒，保证每块区域内三维模型数量的基本平衡.完成上述步骤后，查找该区域下的8个子区域内的三维模型信息，并重复上述步骤直到全部划分区域内的模型均符合要求。
在动态索引构建过程中，通过判断用户终端类型与网络环境对索引中的几何误差值进行初始设置，本发明中对同一LOD层次节点的数据设置一致的几何误差值δ，LOD层次n与几何误差值δ设置关系如式(1)所示。
δn+1＝δn/(n+1) (1)
以每个LOD层次下一系列节点的几何误差来计算节点的屏幕像素误差作为阈值，计算公式如式(2)所示。
式中：ρ为屏幕像素误差；D为视点与包围盒之间的最短距离，利用索引中定义的包围盒范围求得；L为视口屏幕宽度；α为视锥体在水平面的夹角。
在模型数据渲染前，计算每个节点下的屏幕像素误差与阈值进行比较，若符合渲染要求，则将此节点下的模型进行渲染，否则对下一层次的数据重复此判断，以此确定渲染开始时各层次LOD数据的初始数据量比例。在可视化过程中依据实时可视化帧率与初始设定的可视化帧率阈值进行比较，若低于设定的阈值则修改索引中的几何误差值并重复判断步骤，直到满足要求，完成动态索引构建，具体八叉树组织方法流程如图2所示。
多终端自适应数据调度，如上所述，在数据组织阶段将三维模型数据处理成多级LOD层次的模型，并建立了八叉树动态索引，在此基础上面向不同的用户终端，对三维数据进行合理的数据选择与调度来控制网络传输数据量，保证数据传输效率。本设计针对不同终端对三维数据的渲染能力存在较大差距的问题，以终端性能、网络环境以及实时绘制帧率等参数作为影响因子进行研究分析，建立一套多参数影响下的面向多样化终端的三维数据自适应LODs层次选择模型，即自适应三维场景构建模型，模型表达式如式(3)所示。
式中：S为浏览器渲染的整体三维场景结构；n、p、w、f分别为当前的LOD层次数、用户终端性能参数、用户网络环境参数、实时绘制帧率；
为构成三维场景第i级LOD层次，Ai(p，w，f)为在用户终端性能、用户网络环境、实时绘制帧率等参数影响下的第i级LOD层次的模型所占整个三维场景的数据量比例。
用户终端首先读取识别终端类型、网络环境等参数，服务器端对参数信息进行分析，构建初始空间索引，对每个LOD层次数据所占整个三维场景中的比例进行初始设定；在数据传输与可视化过程中，将三维场景绘制帧率与初始设定的帧率阈值进行比较，构建动态空间索引，根据动态索引动态调度及剔除各个LOD层次的数据，据此调整每个LOD层次数据所占比例，直到实时可视化帧率高于设定的阈值并稳定，最终完成多LOD层次的数据动态调度及三维场景动态构建，提高多样化终端上VR设备终场景的可视化效率与渲染效果，并达到当前终端设备与网络条件下最优的可视化效果及用户体验。
本发明的系统模块包括教师监视终端、处理服务器与学生教学终端三个模块。
教师监视终端，用于获取教师在教学过程中发送的指令，并将指令传输至处理服务器，同时用于读取处理服务器中学生教学终端的信息，包括答题状态、操作权限及操作状态等；学生教学终端，用于获取学生的操作和状态，并将操作和状态传输至处理服务器，同时用于获取处理服务器中教师的指令；处理服务器用于接收教师及学生的指令和状态，并对数据进行标准处理后反馈给学生教学终端或教师监控终端，也用于存储教学资料(视频、三维模型等)。教师监控终端与学生教学终端之间的具体交互流程如图3所示。
教师监视终端，C#语言编写，硬件包括台式电脑和电子白板两部分，台式电脑主要用来运行教师端的控制程序，电子白板用于显示学生教学终端VR眼镜中的画面。通过VR设备与台式电脑之间的投屏协议实现无线投屏，之后将电子白板连接到电脑，并利用投影机将电脑上无线投屏的内容投影到电子白板屏幕上，在专门的应用程序的支持下，可以构造一个大屏幕、交互式的教学环境。电脑与电子白板之间通过USB连接方式进行数据传输、交互控制。投影仪与电脑通过HDMI有线连接的方式进行数据传输，HDMI输入的源编码格式包括视频像素数据、控制数据和数据包。其中数据包中包含有音频数据和辅助信息数据，同时HDMI为了获得声音数据和控制数据的高可靠性，数据包中还包括一个BCH错误纠正码。HDMI的数据信息的处理可以有多种不同的方式，但最终都是在每一个TMDS通道中包含2位的控制数据、8位的视频数据和4位的数据包。HDMI的数据传输过程可以分成三个部分：视频数据传输期、岛屿数据传输期和控制数据传输期。在教师监控终端(台式电脑)的控制软件中，Unity3D制作的教师监控终端的UI界面，共包含权限控制、指令发送、画面监视和状态展示四大部分，可以与学生进行多种互动并完成从教学到评测的整个教学流程，具体系统功能如图4所示。
权限控制，教师通过在监视终端设备(台式电脑)上控制学生的操作权限同时控制多个学生教学终端的操作权限从而达到不同的教学目的，教师端可以选择学生端的操作权限有禁止操作和自由操作两种模式，在禁止操作的模式下，学生的手柄按钮将被禁用，无法自由使用VR系统中的功能，只能根据教师发送的指令进行操作，适用于教师需要进行统一教学的情景，如教师需要让学生一起观看教学视频的情况；在自由操作的模式下，学生的手柄按钮将被启用，可以自主使用VR实训系统中的功能，适用于自主探索和自主学习的情景。
指令发送，在学生端与教师端之间制定一定的通信规则，例如Tcp/UDP协议网络通信，具体规则是自己拟定的，比如发送包含CMD指令的就是控制指令，包含ControllerReadStatus的指令就是读取学生状态的指令。教师端的程序会把教师选择的指令转换为符合通信规则的命令发送至服务器，学生端解密命令后再执行。教师通过选择想要发送的教学指令即可将指令发送至处理服务器以进行统一教学，该实训系统中教师可以发送的指令分为视频相关指令、场景相关指令和题目相关指令三种类型。其中，视频相关指令中的播放指令会给学生下达播放选中视频的指令；暂停指令会首先判断当前是否有视频正在播放，如果有视频正在播放，则发送暂停指令，反之，弹出提示信息框提示当前没有视频播放且不发送指令；快进5秒指令会首先判断当前是否有视频处于播放、暂停、快进5秒或后退5秒的状态之中，如果有，则发送指令，反之，弹出提示信息框提示当前无可快进的视频且不发送指令；后退5秒指令的发送过程与快进5秒指令的发送流程基本一致。场景相关指令中的播放指令会给学生下达播放沉浸式场景的指令，退出指令会首先判断学生当前是否处于沉浸式场景之中，如果是，则发送指令，反之，弹出提示信息框提示当前并未处于沉浸式场景之中且不发送指令。题目相关指令中的答题指令会根据教师选择给学生端下达作答选择题或匹配题的命令，清空分数命令会根据教师选择清空选择题或匹配题分数。
画面监视，电子白板共分为25个区域，与学生数量相同且与学生端ID一一对应，学生端利用华为平板的无线投屏功能将自己VR眼镜中的画面投屏到电子白板中的对应区域，教师可以实时了解学生的学习内容与进程并给予针对性的指导。
学生教学终端，C#语言编写，硬件包括华为平板、华为VR眼镜及华为VR手柄。华为平板作为处理器是学生端VR软件程序的载体，华为VR眼镜是学生用来观看虚拟现实场景的工具，因为学生端的交互方式为手柄交互的方式，华为VR手柄是学生用来与虚拟场景进行互动的工具。学生在佩戴VR眼镜后利用手柄发出射线在VR眼镜点击该程序即可打开，场景将会变为该实训系统的主界面。学生通过手柄射线、手柄按键与手柄触摸板与VR眼镜(HVRGlass)中的智慧高速公路教学系统进行交互。所述的智慧高速公路教学系统中，包括教学视频模块、沉浸式场景模块、答题模块。
教学视频模块，通过获取高速公路相关的基础文字、声音与视频资料，之后利用adobe premiere对它们进行编辑、裁剪、拼接等各种操作，以视频的方式展示了智慧高速公路与“互联网+”、北斗高精定位及基础设施数字化等技术之间的关系，相应地，视频教学资料包含“互联网+”专题、北斗高精定位专题及基础设施数字化专题三个专题，具体系统功能如图5所示。
沉浸式场景模块，智慧公路建造模型的搭建是基于CAD和3DMax软件按1：1比例完成真实的三维模型搭建，能够真实反映公路结构形式与机建设备和附属设施的细节，建模流程如图6所示，具体三维模型制作包括以下步骤:获取准确的公路位置及公路、机械化设备等外观数据；将大型基建设备外轮廓线提取出来,并进行整理,以确定智慧公路建造的真实地理位置和大致外形轮廓；将数据转换为模型制作软件可以识别的格式,如Auto CAD的dwg和dxf格式,并导入到模型制作软件中；依据模型的外轮廓线建立模型的大体结构,然后参考照片和路基结构图和机械化设备的结构图,分别建立公路以及设备的各个结构；将模型各部分进行结构拼接,并整理模型结构,让模型的顶点和结构线的结构和布局合理；为模型制作纹理,必须依据模型的结构调整贴图的尺寸，不同的模型精度要求,所对应的贴图尺寸也有所不同，为实现贴图的真实效果,需要对贴图进行烘培处理。三维动画体系，路面施工建造相关动画库的制作，如路基施工、路面摊铺、公路桥梁建造等特效动画的制作；动态推演体系，为根据三维动画脚本和时间序列的编排，设计各个场景分镜头三维动画展现形式；三维整体效果把控，通过调整三维场景质感与光影效果，利用Vary渲染器进行GPU渲染输出，加入台词、音效、及背景乐等剪辑影像素材，完成最后渲染输出和AE合成。动画制作流程如图7所示。通过虚拟现实工具(VR眼镜)和终端设备(华为平板)，呈现沉浸式场景，沉浸式场景共包括路面铺摊模型、自适应道路模型及自动驾驶道路模型，分别展示了智慧高速公路构建过程中地路面摊铺、道路剖层结构及自动驾驶道路的特色部件三个三维动态模型，动态再现智慧高速公路的搭建
答题模块，答题模块又包含选择题答题模块和匹配题答题模块，利用Unity3D引擎制作选择题答题模块UI界面，界面中包括题目展示、选项、已完成题目及跳过此题的选项，学生在完成视频教学及沉浸式体验教学后可通过答题来检验对应专题的学习情况，通过手柄的左右键切换选项，扳机键确认选项作答选择题；匹配题答题模块，通过Unity3D制作匹配题的答题UI界面，界面中展示了利用3DMax三维建模软件制作的智能高速公路的路面剖层结构模型，此外界面中还包括了部件对应的名称，匹配题的作答通过手柄交互将所给的部件名称拖动到相应模型旁的空格中，完成作答。
状态展示，学生端会实时向服务器传送当前执行的命令以及用于安全加密的Token令牌，服务器解析学生端数据结束后，将学生端当前操作状态、学生端当前执行命令通过ID更新到相应的消息列表，最后通过生成SQL语句更新到Mysql数据库。教师控制终端可以显示的状态分为答题状态和操作状态，教师端通过定时向服务器的Mysql数据库发送加密指令，解析询问结果后获取每个学生的当前状态并实时显示。状态显示主要分为学生的操作状态和答题状态。其中操作状态包含操作权限和正在进行的操作两部分内容，前者显示学生当前为自由操作或禁止操作，后者显示学生的当前状态，如正在作答选择题、正在播放某个视频、视频已暂停等。答题状态分为选择题答题状态和匹配题答题状态，对于前者，当学生未处于答题状态时，显示未答题，当学生作答选择题时，学生作答结束后回到主界面，系统将自动判读学生的答题成绩并将成绩传输至教师端，按照ID与页面的UI进行匹配并显示分数。对于后者当学生未处于答题状态时，显示未答题，当学生作答匹配题时，未完成教师端对应学生ID显示未完成，完成后教师端对应学生ID显示已完成。
通信平台，JAVA语言编写，采用Jetty嵌入式服务端开发框架，通过构建Servlet脚本来响应客户端提交的数据并实现对消息队列的管理，同时在Servlet脚本中构建数据库读写服务。在Servlet脚本中，获取客户端提交HTTP请求中的参数，通过解析数据来获取学生端的设备ID，学生端当前的操作状态，学生端当前执行的命令以及用于安全加密的Token令牌，解析数据结束后，将学生端当前操作状态、学生端当前执行命令通过ID更新到相应的消息列表，最后通过生成SQL语句更新到Mysql数据库。教师端提交的HTTP请求中，需要解析教师端ID，教师端命令以及Token令牌，解析数据后将教师端提交的命令更新到学生端队列，当下次学生端再次提交请求时，将命令返回给学生端执行。
图8是本发明中学生教学终端模块的流程图，首先判断教师端是否已禁止学生端的操作权限，若为是，则学生端不能进行自主操作，只能执行教师端的指令；若为否，则学生端处于自由操作的状态，学生此时可以选择主界面中的功能模块(视频教学模块和沉浸式场景体验模块)，若选择观看视频，则视频观看结束后或者在视频观看过程中按下手柄的home键会回到实训系统主界面，学生可再次选择功能，若选择体验沉浸式场景，播放过程中仍然可以通过按压手柄的home键回到主界面，在没有中途退出的情况下，播放完场景后学生依次作答完选择题和匹配题方可回到主界面。
图9是本发明中教师监视终端模块的流程图，如上文所述，学生端会实时上传自己的ID及状态数据，教师监视终端通过从服务器定时读取学生状态可以实时更新学生端的ID及对应的操作权限和操作状态。教师根据教学需要选择需不需要禁止学生端的自由操作，如果允许学生自由操作，那么在教学过程中学生可以自由操作VR手柄的按钮以体验VR虚拟场景中的功能，如果禁止学生自由操作，即让学生处于禁止操作的操作状态，则学生端无法使用手柄进行交互操作，，此时教师端通过给学生端发送指令，如视频观看、沉浸式场景体验、答题等指令开展统一教学，教师端提交的HTTP请求中，需要解析教师端ID，教师端命令以及Token令牌，解析数据后将教师端提交的命令更新到学生端队列，当下次学生端再次提交请求时，将命令返回给学生端执行。
该教学系统涉及到的硬件设备种类多样，本设计对其进行了高效的组织，图10是本发明中硬件设备的连接关系图，学生端所包含的设备有虚拟现实硬件设备及平板，其中虚拟现实硬件设备包括移动VR眼镜、手柄控制器。学生端的VR眼镜与平板的连接方式为有线连接(信号线)，VR眼镜与手柄之间的连接方式为无线连接(蓝牙)，VR眼镜与电子白板之间的连接方式为无线连接(WiFi)。
图11是移动VR眼镜与平板之间的连接原理图，通过有线连接的进行连接及数据的传输工作。VR眼镜与平板的通信过程。平板首先将要传输的数据放入缓冲区，同时向总线驱动程序发出IRPS，请求数据传输。总线驱动接收到程序接收请求，并对数据进行处理，转化为具有有线传输格式的事务处理。主控制器驱动程序将这些事务处理建立成事务列表，同时要求不能超过允许的最大带宽。主控制器读取到事务列表并将事务转化为信息包，发送到总线上。VR设备收到这些信息后，SIE将其解包后放入指定端点的接收缓冲区内，由芯片固件对其进行处理。
图12是手柄控制器与VR眼镜的连接配对原理图，手柄控制器与VR眼镜的数据传输与连接通过一种无线电技术连接完成。技术规定每一对设备之间连接通讯时，必须一个为主角色，另一为从角色，才能进行通信。VR眼镜作为主角色，手柄控制器作为从角色。当VR设备不知道周围是否存在手柄控制器时，就必须以查询状态来得到周围所有手柄的BD_ADDR地址与内部时序，然后进入呼叫状态与手柄互相连接。若主设备已经知道要连接的手柄时，可直接进入呼叫状态与该手柄进行连接。
图13是电子大屏与学生端平板的连接原理图，学生在VR眼镜中所看到的内容和学生当前的情况将通过无线数据传输的方式在电子白板上展示。通过投屏协议实现局域网中设备之间的互联、互通和互操作，在UPnP基础之上定义了设备交互规范，其中AV框架规定了设备(媒体服务器MS，控制点CP，媒体播放器MR)之间的通信规范。大屏与学生端平板的交互过程，控制点基于SSDP协议查找/发现网络中媒体服务器。控制点调用媒体服务器MS的内容目录服务CDs的Browser接口浏览媒体文件，选中感兴趣的媒体文件后，调用媒体播放器MR的媒体传输服务AVT的Seta Transport接口把链接地址URI发送给媒体播放器。控制点调用媒体播放器上的AVT和RCs服务来控制媒体播放(播放，暂停，声音和亮度调节)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (11)
1.一种智慧高速公路VR互动教学系统，其特征在于：包括教师监视终端、通信平台、学生教学终端，通过采用三维场景的数据组织与自适应调度方法将教师监视终端、通信平台、学生教学终端进行数据交互，
教师监视终端，用于获取教师在教学过程中发送的指令，并将指令传输至通信平台，同时用于读取通信平台中学生教学终端的信息，所述教师监视终端，包括电脑和电子白板，电脑主要用来运行教师端的控制程序，电子白板用于显示学生教学终端中的画面；电脑与电子白板之间通过USB连接方式进行数据传输、交互控制；
学生教学终端，用于获取学生的操作和状态，并将操作和状态传输至通信平台，同时用于获取处理服务器中教师的指令；所述的学生教学终端包括平板、VR眼镜及VR手柄，平板作为处理器是学生端VR软件程序的载体，VR眼镜是学生用来观看虚拟现实场景的工具，VR手柄是学生用来与虚拟场景进行互动的工具。
通信平台，用于学生教学终端与教师监控终端的通信并存储教学资料，所述的通信平台包括处理服务器、客户端、交换机和路由器。
2.根据权利要求书1所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的通信平台，是基于Jetty嵌入式服务端开发框架搭建的网络通信平台，通过构建Servlet脚本完成教师监控终端与多个学生教学终端同时通信。
3.根据权利要求书1所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的学生教学终端，用户采用手柄交互的方式，通过手柄射线、手柄按键及手柄触摸板与VR眼镜中的智慧高速公路虚拟场景进行交互；所述的智慧公路虚拟场景中，包括教学视频模块、沉浸式场景模块、答题模块。
4.根据权利要求书3所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的沉浸式场景模块，基于CAD和3DMax软件按1：1比例完成真实的三维模型搭建，经过纹理映射和烘焙过程，形成高保真的公路修建模型，利用虚拟现实工具和终端设备真实再现公路修建主要场景。
5.根据权利要求书3所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的答题模块，利用Unity3D制作答题场景，通过答题音效和手柄交互，实现学生与界面的实时交互。
6.根据权利要求书3所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的教学视频模块，通过获取高速公路相关的基础文字、声音与视频资料，之后利用视频剪辑软件对它们进行编辑、裁剪、拼接等各种操作，从而得到视频教学资料，利用虚拟现实工具和终端设备，使用户获得沉浸式体验。
7.根据权利要求书1所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的教师监控终端，通过在Unity3D中构建的UI界面中向学生教学终端发送指令，完成教师监控终端与学生教学终端的实时沟通，互动教学，该教师监控终端包含发送指令模块、权限控制模块和状态显示模块。
8.根据权利要求书7所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的指令发送模块通过向处理服务器发送视频相关指令、沉浸式场景相关指令和题目相关指令，动态控制学生教学终端的学习内容以及学习进度。
9.根据权利要求书7所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的权限控制模块用于控制学生教学终端的操作权限，包括自由操作功能和禁止操作功能。
10.根据权利要求书7所述的一种智慧高速公路VR互动教学系统，其特征在于：所述的状态显示模块通过在控制端定时访问处理服务器学生状态，动态展示学生的操作权限、操作状态及答题状态，包括学生操作状态功能、学生答题状态功能。
11.根据权利要求书1所述的一种智慧高速公路VR互动教学系统，其特征在于：所述三维场景的数据组织与自适应调度方法的具体步骤如下，首先处理服务器对三维模型数据构建多LOD层次数据，对用户端传入的网络环境、终端硬件性能、VR实时渲染帧率等影响参数进行分析，然后通过自适应三维场景构建模型对数据进行动态的LODs层次选择与数据调度，并在用户端构建自适应多LOD层次的三维场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873820.1A CN113628324A (zh) | 2021-07-30 | 2021-07-30 | 一种智慧高速公路vr互动教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873820.1A CN113628324A (zh) | 2021-07-30 | 2021-07-30 | 一种智慧高速公路vr互动教学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113628324A true CN113628324A (zh) | 2021-11-09 |
Family
ID=78381838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110873820.1A Pending CN113628324A (zh) | 2021-07-30 | 2021-07-30 | 一种智慧高速公路vr互动教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628324A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11928307B2 (en) | 2022-03-11 | 2024-03-12 | Caterpillar Paving Products Inc. | Guided operator VR training |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107124471A (zh) * | 2017-06-26 | 2017-09-01 | 青岛智海云天信息技术有限公司 | 一种vr平台资源多终端分发交互控制系统 |
| CN109064811A (zh) * | 2018-09-03 | 2018-12-21 | 温州大学 | 一种基于vr虚拟课堂的教学系统 |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN110264816A (zh) * | 2019-06-05 | 2019-09-20 | 武汉工程大学 | 基于3d虚拟技术的智能制造工厂仿真教学系统及方法 |
| CN111028579A (zh) * | 2019-12-18 | 2020-04-17 | 合肥金誉堂文化传媒有限责任公司 | 一种基于vr现实的视觉教学系统 |
-
2021
- 2021-07-30 CN CN202110873820.1A patent/CN113628324A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107124471A (zh) * | 2017-06-26 | 2017-09-01 | 青岛智海云天信息技术有限公司 | 一种vr平台资源多终端分发交互控制系统 |
| CN109064811A (zh) * | 2018-09-03 | 2018-12-21 | 温州大学 | 一种基于vr虚拟课堂的教学系统 |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN110264816A (zh) * | 2019-06-05 | 2019-09-20 | 武汉工程大学 | 基于3d虚拟技术的智能制造工厂仿真教学系统及方法 |
| CN111028579A (zh) * | 2019-12-18 | 2020-04-17 | 合肥金誉堂文化传媒有限责任公司 | 一种基于vr现实的视觉教学系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张昀昊 等: ""面向多样化终端的自适应网络三维可视化方法"", 《西南交通大学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11928307B2 (en) | 2022-03-11 | 2024-03-12 | Caterpillar Paving Products Inc. | Guided operator VR training |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104794752B (zh) | 基于移动终端和全息展示的虚拟场景协同建模方法及系统 | |
| CN104484327A (zh) | 一种项目工程的环境展示方法 | |
| CN113011723B (zh) | 一种基于增强现实的远程装备维保系统 | |
| CN102982194A (zh) | 一种3d产品在线体验系统 | |
| CN109089057A (zh) | 玻璃碎裂特效体验系统、方法以及装置 | |
| CN115690375B (zh) | 基于虚拟现实技术的建筑模型修改交互方法、系统及终端 | |
| WO2020186934A1 (zh) | 包含动态背景的动画生成方法、装置及电子设备 | |
| CN103472985A (zh) | 一种三维购物平台显示界面的用户编辑方法 | |
| WO2023179346A1 (zh) | 特效图像处理方法、装置、电子设备及存储介质 | |
| CN103970518A (zh) | 一种逻辑窗口的3d渲染方法和装置 | |
| CN116071531A (zh) | 基于数字孪生的元宇宙展示方法、装置、设备及介质 | |
| Zhang et al. | The Application of Folk Art with Virtual Reality Technology in Visual Communication. | |
| CN115713877A (zh) | 适用于船舶机电装备故障信息模拟的故障排除引导方法 | |
| KR101952131B1 (ko) | 가상현실 컨텐츠 제작방법 및 프로그램 | |
| Zerman et al. | User behaviour analysis of volumetric video in augmented reality | |
| CN111840999A (zh) | 一种基于立体实物图形识别的游戏教育方法 | |
| CN113628324A (zh) | 一种智慧高速公路vr互动教学系统 | |
| CN204695673U (zh) | 一种用于城市规划建设中的三维数字化沙盘 | |
| WO2024067159A1 (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| WO2023241369A1 (zh) | 一种答题方法及装置和电子设备 | |
| Yang et al. | A Human‐Computer Interaction System for Agricultural Tools Museum Based on Virtual Reality Technology | |
| CN111167119A (zh) | 一种游戏开发展示方法、装置、设备及存储介质 | |
| CN114821010A (zh) | 虚拟场景的处理方法及装置、存储介质、电子设备 | |
| CN112423014A (zh) | 一种远程评审方法及装置 | |
| CN111523161A (zh) | 一种基于BIM和Unity3d的3D物联网可视化人机交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211109 |
|
| RJ01 | Rejection of invention patent application after publication |