CN113822777A - 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 - Google Patents
一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 Download PDFInfo
- Publication number
- CN113822777A CN113822777A CN202111383335.2A CN202111383335A CN113822777A CN 113822777 A CN113822777 A CN 113822777A CN 202111383335 A CN202111383335 A CN 202111383335A CN 113822777 A CN113822777 A CN 113822777A
- Authority
- CN
- China
- Prior art keywords
- resource
- teaching
- resources
- rendering
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 102
- 230000002776 aggregation Effects 0.000 title claims abstract description 46
- 238000004220 aggregation Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 25
- 238000007689 inspection Methods 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 28
- 230000006978 adaptation Effects 0.000 claims description 13
- 238000013144 data compression Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000013515 script Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 230000009897 systematic effect Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于信息技术的教学应用领域，构建一个基于5G云渲染的虚拟教学资源聚合系统，提供了教学资源上传工具接入用户共享的单个资源或已有的资源服务系统；采用自动化标准规范检查和可视平台抽检两种方式进行资源审核；对不同的教学资源进行语义关联与聚合，形成体系化的教学资源库，盘活原本孤立的教学资源；使用Unity引擎构建了虚拟教学资源展台和多资源切换模式，在云端进行实时渲染和编码压缩；采用插件机制，针对不同的VR终端设备开发适配插件，实现不同终端的自适应统一接入；云渲染结果经5G网络链路，在云服务器和不同VR终端之间压缩传输；终端设备对渲染结果进行解码、投影变换、立体呈现，并响应用户的操作，实现实时交互。
Description
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种基于5G云渲染的虚拟教学资源聚合系统及其工作方法。
背景技术
所谓新型数字教育资源就是通过虚拟现实、增强现实等沉浸式技术来立体化呈现原本平面的二维教学资源，增加其直观性、可交互性，通过对感知功能进行现实延伸，帮助学习者在实践中掌握技能，理解难以形象化表述的抽象知识。
现有的虚拟教学资源通常需要特定的设备和软件才能查看，形成了大量的教学资源孤岛，相互之间无法有效整合，大大降低了这些教学资源的服务能力。因此，亟需构建一种有效的教学资源聚合平台，对教学资源进行统一的聚合管理及多终端的适配分发查看。
发明内容
针对现有技术的不足及用户需求，本发明提供了一种基于5G云渲染的虚拟教学资源聚合系统及其工作方法，为教学资源提供一种新的聚合共享模式。
本发明的目的是通过以下技术措施实现的。
本发明提供一种基于5G云渲染的虚拟教学资源聚合系统，包括资源上传模块、资源审核模块、资源聚合模块、虚拟展台构建模块、资源适配模块、数据压缩传输模块、沉浸式渲染与交互模块；
所述资源上传模块用于上传用户分享的单个教学资源模型及接入已有的教学资源网址；
所述资源审核模块用于管理员对用户上传的资源进行审核，包括资源标准性审核和可视平台抽检审核；
所述资源聚合模块用于根据用户上传的教学资源相关元字段信息，进行语义关联和聚合后分主题管理、存储；
所述虚拟展台构建模块为共享的教学资源和沉浸式交互提供展示平台及实现多资源切换；
所述资源适配模块用于将教学资源云渲染后结果自适应适配到不同的展示终端中；
所述数据压缩传输模块用于云渲染结果从云到VR终端的数据压缩传输；
所述沉浸式渲染与交互模块对云渲染后的虚拟教学资源、虚拟展台在VR终端中进行逼真、实时展示，并通过感知用户的各种交互行为，实现教学资源的切换及多模式的操作。
本发明还提供一种上述基于5G云渲染的虚拟教学资源聚合系统的工作方法，包括以下步骤：
S1，资源上传，对用户提供的共享教学资源，填写资源对应的表单信息，进行单个资源上传或已有资源服务的批量上传；
S2，资源审核，对所有上传的教学资源进行自动化完整性、规范性检查，并随机抽取一部分教学资源在可视平台渲染输出渲染结果，推送审核员审核；
S3，资源聚合，对所有资源进行元字段信息抽取，建立不同元字段数据间的语义关联，根据关联关系对所有的教学资源进行主题式聚合，形成体系化的教学资源库；
S4，虚拟展台构建，根据要展示的教学资源学科，加载不同主题的虚拟展台模型，构建立体的教学资源展示空间，在加载的虚拟展台上融入教学资源，并提供教学资源的轮循切换和手动切换；
S5，资源适配，当用户连接终端设备请求查看教学资源时，根据不同的终端设备型号，自适应调用相应插件，对资源进行云渲染，渲染后结果进行实时压缩，推送给终端设备；
S6，数据压缩传输，对云渲染后具备沉浸式体验的全视角视频进行可视域压缩，经5G基站，转发到5G无线单元，输出到终端VR设备；
S7，沉浸式渲染与交互，终端设备接收到云渲染结果后，对渲染结果进行解码、投影空间的转换，在设备空间呈现渲染画面，根据用户的交互行为对教学资源进行控制操作。
本发明的有益效果在于：
构建一个基于5G云渲染的虚拟教学资源聚合系统，提供了教学资源上传工具接入用户共享的单个资源或已有的资源服务系统；采用自动化标准规范检查和可视平台抽检两种方式进行资源审核；根据教学资源的相关元字段信息包括所属学科、对应的知识点等，对不同的教学资源进行语义关联与聚合，形成体系化的教学资源库，盘活原本孤立的教学资源；使用Unity引擎构建了虚拟教学资源展台和多资源切换模式，在云端进行实时渲染和编码压缩；采用插件机制，针对不同的VR终端设备开发适配插件，实现不同终端的自适应统一接入；云渲染结果经5G网络链路，在云服务器和不同VR终端之间压缩传输。终端设备对渲染结果进行解码、投影变换、立体呈现，并响应用户的头动、手势、手柄操控等操作，实现实时交互。通过对教学资源的有效聚合和统一渲染，本发明有助于满足教育新基建数字资源服务的需要，提供系统化、主题式教学资源服务。
附图说明
图1是本发明实施例中基于5G云渲染的虚拟教学资源聚合系统的示意图。
图2是本发明实施例中资源上传模块工作流程图。
图3是本发明实施例中资源审核模块工作流程图。
图4是本发明实施例中资源聚合模块工作流程图。
图5是本发明实施例中虚拟展台构建模块工作流程图。
图6是本发明实施例中资源适配模块工作流程图。
图7是本发明实施例中数据压缩传输模块工作流程图。
图8是本发明实施例中立体式渲染与交互模块工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种基于5G云渲染的虚拟教学资源聚合系统，包括资源上传模块、资源审核模块、资源聚合模块、资源适配模块、虚拟展台构建模块、数据压缩传输模块、沉浸式渲染与交互模块；
所述资源上传模块用于上传用户分享的单个教学资源模型及接入已有的教学资源网址；
所述资源审核模块用于管理员对用户上传的资源进行审核，包括资源标准性审核和可视平台抽检审核；
所述资源聚合模块用于根据用户上传的教学资源相关元字段信息，进行语义关联和聚合后分主题管理、存储；
所述虚拟展台构建模块为共享的教学资源和沉浸式交互提供展示平台及实现多资源切换；
所述资源适配模块用于将教学资源云渲染后结果自适应适配到不同的展示终端中；
所述数据压缩传输模块用于云渲染结果从云到VR终端的数据压缩传输；
所述沉浸式渲染与交互模块对云渲染后的虚拟教学资源、虚拟展台在VR终端中进行逼真、实时展示，并通过感知用户的各种交互行为，实现教学资源的切换及头部、手势、或手柄多模式来操作教学资源。
本实施例还提供一种上述的基于5G云渲染的虚拟教学资源聚合系统的工作方法（以下具体说明系统中各模块的工作流程）：
（1）资源上传模块。对用户提供的共享教学资源，按照图2所示的资源上传流程图，填写资源对应的表单信息，进行单个资源上传或已有资源服务的批量上传。所述资源上传具体包括如下步骤：
（1-1）资源表单填写。教学资源表单主要涉及以下信息的填写，所属学科、对应的知识点、适用人群、资源所在路径或资源网址等，系统根据资源所在路径执行单个资源上传或根据资源网址执行批量资源上传。
（1-2）单个资源上传。支持Unity打包后的LZMA和LZ4格式的教学资源上传，上传时根据资源对应的表单元字段信息在数据库中生成相应表，同时将资源上传到云服务器的待审核目录中。
（1-3）批量资源上传。针对已有的资源网址，自动检测其中的资源下载链接及对应的说明信息，下载所有的教学资源并将说明信息映射到教学资源的元字段，最后将所有资源上传到云服务器的待审核目录中。
（2）资源审核模块。按照图3所示的资源审核流程图，对所有上传的教学资源进行自动化完整性、规范性检查，并随机抽取一部分教学资源在可视平台渲染输出渲染结果，推送审核员审核。所述资源审核具体包括如下步骤：
（2-1）自动化检查。首先进行资源完整性检查，基于Unity进行资源解析，检查资源中涉及到的纹理、材质、脚本是否缺失。如无缺失，读取资源的几何坐标，计算其外包围盒和模型中心，检查模型中心是否在原点，外包围盒半径是否超出阈值，判断模型是否存在离异点，将同时满足无缺失、模型中心在原点、外包围盒半径未超出阈值及不存在离异点的教学资源存入待聚合目录中。
（2-2）可视平台抽检。对待聚合目录中的教学资源，采用随机算法确定抽检的资源编号。根据资源编号将教学资源导入到可视平台中，对资源以60度为间隔进行6次定时旋转，每次旋转后自动将可视结果进行输出。输出的可视结果及对应的资源编号、资源相关信息如对应的学科、知识点等统一推送给审核员审核。
（3）资源聚合模块。在完成教学资源审核后，按照图4所示的资源聚合流程图，对所有资源进行元字段信息抽取，建立不同元字段数据间的语义关联，根据关联关系对所有的教学资源进行主题式聚合，形成体系化的教学资源库。所述资源聚合具体包括如下步骤：
（3-1）元数据抽取。根据教学资源对应的所属学科、知识点、适用人群等字段，抽取出主题相关的高层语义信息，构建<实体1，关系，实体2>和<实体1，属性1，属性值>的两类三元组，服务于资源的关联聚合。
（3-2）语义关联。得到元数据三元组后，需要建立不同实体语义间的关联关系，特别是不同知识点间的关联关系。采用树结构来组织不同的知识点实体，如物理中电路教学资源与磁场教学资源通过父类电磁来进行关联。
（3-3）知识聚合。得到所有教学资源对应的知识点语义关联关系后，按照学科-大类-子类-知识点的层级结构，对不同的关联关系树逐级进行合并，构建完整的关联链表，形成主题式资源集合。在教学资源展示页面，根据聚合后的关联链表，进行分类别分主题式教学资源展示。
（4）虚拟展台构建模块。为营造更立体的教学资源展示空间，按照图5所示的虚拟展台构建流程图，根据要展示的教学资源学科，加载不同主题的虚拟展台模型，构建立体的教学资源展示空间，在加载的虚拟展台上融入教学资源，并提供教学资源的轮循切换和手动切换。所述虚拟展台构建具体包括如下步骤：
（4-1）主题展台加载。根据教学资源所属学科，自动匹配不同主题的虚拟展台模型，基于Unity进行模型加载，在展台模型中央添加粒子特效，在场景中围绕展台模型添加多个点光源。
（4-2）教学资源加载。在构建的场景中加载需要展示的系列教学资源，根据当前展台的中心坐标及展台高度计算教学资源列表中第一个资源的初始位置，并隐藏列表中其他教学资源。对当前可见资源添加外发光特效。
（4-3）教学资源切换。提供两种教学资源切换模式，包括：轮循切换，按教学资源列表中顺序，单个资源展示时间达到资源切换时间间隔时，该资源设置为不可见，下一个资源设置为可见并将该资源位置移动到展台中心；手动切换，触发手动切换功能时，弹出资源列表，根据用户选中的教学资源，设置该资源为可见并将位置移动到展台中心，原展示资源设置为不可见。
（5）资源适配模块。当用户连接终端设备请求查看教学资源时，按照图6所示的资源适配流程图，根据不同的终端设备型号，自适应调用相应插件，对资源进行云渲染，渲染后结果进行实时压缩，推送给终端设备。所述资源适配具体包括如下步骤：
（5-1）终端识别。读取设备列表，在连接的USB设备列表中检索VR设备，获取该设备的型号代码。
（5-2）插件适配。基于主流VR设备的SDK开发相应的插件，实现与该设备的通信，主流VR设备包括Pico G2、Oculus Go、Oculus Rift S、VIVE Focus Plus、华为VR Glass；识别设备型号后，自动调用该插件，确定输出的渲染格式及交互控制。以Pico设备为例，插件开发流程如下：
I：下载设备的官方Unity SDK安装包，修改.unitypackage格式安装包的命名空间。
II：将运行时需要的预制体均保存在工程内XXXMobileSDK目录下，生成PicoSdk的运行管理类Pvr_UnitySDK实例和控制器模型管理类ControllerManager实例，分别控制响应事件、头盔相机和VR场景中的控制器模型、射线效果。
III：添加VR端设备检测相关脚本，检测未被使用的设备在VR场景中隐藏该设备模型；删除每个场景中的EventSystem和相机，使用Pvr_UnitySDK预制体中默认的组件。
IV：将可交互的UI调整为世界坐标系，调整物体层级为Default，添加Pvr_UICanvas脚本，确保控制器射线能检测到该物体。
（5-3）云端渲染。根据设备端发送的视角信息，在云服务器的GPU渲染平台中渲染对应视角下的虚拟展台和虚拟教学资源，实时计算多光源下的阴影位置及不同材质教学资源的反射效果。
（5-4）编码压缩。云渲染后的结果可压缩成3D-Video，根据不同的终端设备及显示需求，可供用户选择不同分辨率及编码的输出格式。根据用户选择的输出格式，确定数据的编码方式，利用视频编码库进行压缩编码。
（5-5）结果推送。编码后的渲染结果，采用TCP服务，经5G传输链路，推送到用户终端。
（6）数据压缩传输模块。经云渲染后具备沉浸式体验的全视角视频会占据较高带宽，为了减少带宽资源占用，按照图7所示的数据压缩传输流程图，对云渲染后的全视角视频进行可视域压缩，经5G基站，转发到5G无线单元，输出到终端VR设备。所述数据压缩传输具体包括如下步骤：
（6-1）可视域压缩。用于用户仅能感知到视觉可见区域的视觉内容，该范围内的渲染数据需要具有较高分辨率，其他区域的渲染数据可降低其分辨率。针对这一特性，在数据进入传输链路前对渲染后数据进行分视角的变分辨率压缩，在视觉可见区域内的渲染数据保持较高分辨率，其他区域的渲染数据降低其分辨率，来减少传输链路负载量，同时保证用户具有较好观感。
（6-2）传输链路。5G传输物理链路主要包括云、5G基站、5G无线单元、终端设备。在传输过程中，采用差异化缓存、MEC协同方案，根据用户信道条件优化资源分发及分配，来降低时延，提升用户体验。
（7）沉浸式渲染与交互模块。终端设备接收到云渲染结果后，按照图8所示的流程图，对渲染结果进行解码、投影空间的转换，在设备空间呈现渲染画面，根据用户的交互行为对教学资源进行控制操作。所述沉浸式渲染与交互具体包括如下步骤：
（7-1）云渲染结果接收与数据请求。利用5G无线通信模块基于TCP协议，采用websocket建立与云服务器的连接，发送数据请求，通过心跳机制监听云服务器发送的渲染数据包。
（7-2）解码。根据云渲染传输时采用的编码结构，解析出关键帧、邻近帧、变化参数，利用关键帧、邻近帧及变化信息内插还原出多视角渲染画面。
（7-3）投影变换。由于云渲染平台和VR终端展示的投影空间不同，需要对解析后渲染数据进行投影变换。根据设备可视空间中相机参数，计算投影矩阵，将渲染数据从世界坐标系转换到相机坐标系，再规范化到设备坐标系下，经过视口变换，转为屏幕坐标系。
（7-4）资源呈现。基于OpenGLES库在终端设备上绘制投影后的渲染结果，对于不改变视角的交互事件，仅改变相机投影参数，重新调用投影变换；改变视角的交互事件，与终端通信调用数据请求接口进行重新渲染。
（7-5）实时交互。用户与教学资源的交互主要包括：教学资源控制和教学资源切换。教学资源的控制指令有移动、旋转、缩放、拉近拉远、动画效果等，根据用户的头部运动控制资源的移动，手势动作控制资源的旋转、缩放、拉近拉远，手柄设备控制资源的动画效果和教学资源间的切换。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于5G云渲染的虚拟教学资源聚合系统，其特征在于：该系统包括资源上传模块、资源审核模块、资源聚合模块、虚拟展台构建模块、资源适配模块、数据压缩传输模块、沉浸式渲染与交互模块；
所述资源上传模块用于上传用户分享的单个教学资源模型及接入已有的教学资源网址；
所述资源审核模块用于管理员对用户上传的资源进行审核，包括资源标准性审核和可视平台抽检审核；
所述资源聚合模块用于根据用户上传的教学资源相关元字段信息，进行语义关联和聚合后分主题管理、存储；
所述虚拟展台构建模块为共享的教学资源和沉浸式交互提供展示平台及实现多资源切换；
所述资源适配模块用于将教学资源云渲染后结果自适应适配到不同的展示终端中；
所述数据压缩传输模块用于云渲染结果从云到VR终端的数据压缩传输；
所述沉浸式渲染与交互模块对云渲染后的虚拟教学资源、虚拟展台在VR终端中进行逼真、实时展示，并通过感知用户的各种交互行为，实现教学资源的切换及头部、手势、或手柄多模式来操作教学资源。
2.根据权利要求1所述的基于5G云渲染的虚拟教学资源聚合系统，其特征在于：所述资源聚合模块通过关联和聚合不同知识点的教学资源，形成主题式教学资源库；具体为，抽取用户共享的教学资源的元数据，提取元数据的高层语义信息，根据语义间的关联关系，建立树结构关联图，按照树的层级结构组织和聚合所有的教学资源，建立主题式教学资源库。
3.一种如权利要求1所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于该方法包括以下步骤：
S1，资源上传，对用户提供的共享教学资源，填写资源对应的表单信息，进行单个资源上传或已有资源服务的批量上传；
S2，资源审核，对所有上传的教学资源进行自动化完整性、规范性检查，并随机抽取一部分教学资源在可视平台渲染输出渲染结果，推送审核员审核；
S3，资源聚合，对所有资源进行元字段信息抽取，建立不同元字段数据间的语义关联，根据关联关系对所有的教学资源进行主题式聚合，形成体系化的教学资源库；
S4，虚拟展台构建，根据要展示的教学资源学科，加载不同主题的虚拟展台模型，构建立体的教学资源展示空间，在加载的虚拟展台上融入教学资源，并提供教学资源的轮循切换和手动切换；
S5，资源适配，当用户连接终端设备请求查看教学资源时，根据不同的终端设备型号，自适应调用相应插件，对资源进行云渲染，渲染后结果进行实时压缩，推送给终端设备；
S6，数据压缩传输，对云渲染后具备沉浸式体验的全视角视频进行可视域压缩，经5G基站，转发到5G无线单元，输出到终端VR设备；
S7，沉浸式渲染与交互，终端设备接收到云渲染结果后，对渲染结果进行解码、投影空间的转换，在设备空间呈现渲染画面，根据用户的交互行为对教学资源进行控制操作。
4.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S1中所述资源上传具体包括：
S1.1，资源表单填写，教学资源表单涉及以下信息的填写，所属学科、对应的知识点、适用人群、资源所在路径或资源网址，系统根据资源所在路径执行单个资源上传或根据资源网址执行批量资源上传；
S1.2，单个资源上传，支持Unity打包的LZMA和LZ4格式的教学资源上传，上传时根据资源对应的表单元字段信息在数据库中生成相应表，同时将资源上传到云服务器的待审核目录中；
S1.3，批量资源上传，针对已有的资源网址，自动检测其中的资源下载链接及对应的说明信息，下载所有的教学资源并将说明信息映射到教学资源的元字段，最后将所有资源上传到云服务器的待审核目录中。
5.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S2中所述资源审核具体包括：
S2.1，自动化检查，进行资源完整性检查，基于Unity进行资源解析，检查资源中涉及到的纹理、材质、脚本是否缺失，如无缺失，读取资源的几何坐标，计算其外包围盒和模型中心，检查模型中心是否在原点，外包围盒半径是否超出阈值，判断模型是否存在离异点，将同时满足无缺失、模型中心在原点、外包围盒半径未超出阈值及不存在离异点的教学资源存入待聚合目录中；
S2.2，可视平台抽检，对待聚合目录中的教学资源，采用随机算法确定抽检的资源编号，根据资源编号将教学资源导入到可视平台中，对资源以60度为间隔进行6次定时旋转，每次旋转后自动将可视结果进行输出，输出的可视结果及对应的资源编号、资源相关信息统一推送给审核员审核。
6.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S3中所述资源聚合具体包括：
S3.1，元数据抽取，根据教学资源对应的所属学科、知识点、适用人群字段，抽取出主题相关的高层语义信息，构建<实体1，关系，实体2>和<实体1，属性1，属性值>的两类三元组，服务于资源的关联聚合；
S3.2，语义关联，得到元数据三元组后，建立不同实体语义间的关联关系，特别是不同知识点间的关联关系，采用树结构来组织不同的知识点实体；
S3.3，知识聚合，得到所有教学资源对应的知识点语义关联关系后，按照学科-大类-子类-知识点的层级结构，对不同的关联关系树逐级进行合并，构建完整的关联链表，形成主题式资源集合，在教学资源展示页面，根据聚合后的关联链表，进行分类别分主题式教学资源展示。
7.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S4中所述虚拟展台构建具体包括：
S4.1，主题展台加载，根据教学资源所属学科，自动匹配不同主题的虚拟展台模型，基于Unity进行模型加载，在展台模型中央添加粒子特效，在场景中围绕展台模型添加多个点光源；
S4.2，教学资源加载，在构建的场景中加载需要展示的系列教学资源，根据当前展台的中心坐标及展台高度计算教学资源列表中第一个资源的初始位置，并隐藏列表中其他教学资源，对当前可见资源添加外发光特效；
S4.3，教学资源切换，提供两种教学资源切换模式，包括：轮循切换，按教学资源列表中顺序，单个资源展示时间达到资源切换时间间隔时，该资源设置为不可见，下一个资源设置为可见并将该资源位置移动到展台中心；手动切换，触发手动切换功能时，弹出资源列表，根据用户选中的教学资源，设置该资源为可见并将位置移动到展台中心，原展示资源设置为不可见。
8.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S5中所述资源适配具体包括：
S5.1，终端识别，读取设备列表，在连接的USB设备列表中检索VR设备，获取该设备的型号代码；
S5.2，插件适配，基于主流VR设备的SDK开发对应VR设备的插件，实现与该VR设备的通信，识别设备型号后，自动调用该插件，确定输出的渲染格式及交互控制；其中主流VR设备包括Pico G2、Oculus Go、Oculus Rift S、VIVE Focus Plus、华为VR Glass；
S5.3，云端渲染，根据设备端发送的视角信息，在云服务器的GPU渲染平台中渲染对应视角下的虚拟展台和虚拟教学资源，实时计算多光源下的阴影位置及不同材质教学资源的反射效果；
S5.4，编码压缩，云渲染后的结果压缩成3D-Video，根据不同的终端设备及显示需求，供用户选择不同分辨率及编码的输出格式，根据用户选择的输出格式，确定数据的编码方式，利用视频编码库进行压缩编码；
S5.5，结果推送，编码后的渲染结果，采用TCP服务，经5G传输链路，推送到用户终端。
9.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S6中所述数据压缩传输具体包括：
S6.1，可视域压缩，在数据进入传输链路前对渲染后数据进行分视角的变分辨率压缩，在视觉可见区域内的渲染数据保持较高分辨率，其他区域的渲染数据降低其分辨率；
S6.2，传输链路，在5G传输过程中，采用差异化缓存、MEC协同方案，根据用户信道条件优化资源分发及分配。
10.根据权利要求3所述的基于5G云渲染的虚拟教学资源聚合系统的工作方法，其特征在于S7中所述沉浸式渲染与交互具体包括：
S7.1，云渲染结果接收与数据请求，利用5G无线通信模块基于TCP协议，采用websocket建立与云服务器的连接，发送数据请求，通过心跳机制监听云服务器发送的渲染数据包；
S7.2，解码，根据云渲染传输时采用的编码结构，解析出关键帧、邻近帧、变化参数，利用关键帧、邻近帧及变化信息内插还原出多视角渲染画面；
S7.3，投影变换，根据设备可视空间中相机参数，计算投影矩阵，将渲染数据从世界坐标系转换到相机坐标系，再规范化到设备坐标系下，经过视口变换，转为屏幕坐标系；
S7.4，资源呈现，基于OpenGLES库在终端设备上绘制投影后的渲染结果，对于不改变视角的交互事件，仅改变相机投影参数，重新调用投影变换；改变视角的交互事件，与终端通信调用数据请求接口进行重新渲染；
S7.5，实时交互，用户与教学资源的交互包括：教学资源控制和教学资源切换，教学资源的控制指令有移动、旋转、缩放、拉近拉远、动画效果，根据用户的头部运动控制资源的移动，手势动作控制资源的旋转、缩放、拉近拉远，手柄设备控制资源的动画效果和教学资源间的切换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111383335.2A CN113822777A (zh) | 2021-11-22 | 2021-11-22 | 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111383335.2A CN113822777A (zh) | 2021-11-22 | 2021-11-22 | 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822777A true CN113822777A (zh) | 2021-12-21 |
Family
ID=78917997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111383335.2A Pending CN113822777A (zh) | 2021-11-22 | 2021-11-22 | 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822777A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114896211A (zh) * | 2022-07-15 | 2022-08-12 | 北京蔚领时代科技有限公司 | 一种基于云渲染应用的共享资产文件方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184119A (zh) * | 2011-04-13 | 2011-09-14 | 华中师范大学 | 一种应用于电子双板的教学资源管理系统 |
| CN103631604A (zh) * | 2013-12-17 | 2014-03-12 | 华中师范大学 | 一种基于celts-41规范的标准化数字学习资源管理方法及系统 |
| CN108234768A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 资源切换控制方法、装置及终端设备 |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
-
2021
- 2021-11-22 CN CN202111383335.2A patent/CN113822777A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184119A (zh) * | 2011-04-13 | 2011-09-14 | 华中师范大学 | 一种应用于电子双板的教学资源管理系统 |
| CN103631604A (zh) * | 2013-12-17 | 2014-03-12 | 华中师范大学 | 一种基于celts-41规范的标准化数字学习资源管理方法及系统 |
| CN108234768A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 资源切换控制方法、装置及终端设备 |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
Non-Patent Citations (3)
| Title |
|---|
| 夏晓理 等: "基于规则集的模型质量自动化检查系统研究", 《制造业自动化》 * |
| 王育坚: "《图像处理与三维可视化》", 30 July 2011, 北京邮电大学出版社 * |
| 郑树泉: "《工业智能技术与应用》", 30 January 2019, 上海科学技术出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114896211A (zh) * | 2022-07-15 | 2022-08-12 | 北京蔚领时代科技有限公司 | 一种基于云渲染应用的共享资产文件方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106527892B (zh) | 一种电子设备的截屏方法及系统 | |
| US8478767B2 (en) | Systems and methods for generating enhanced screenshots | |
| US20220415063A1 (en) | Information playback method and device, computer readable storage medium, and electronic device | |
| US9672258B2 (en) | Systems and methods for dynamically selecting graphical query result display modes | |
| CN108597032B (zh) | 将建筑信息模型导入Unity3D中显示方法及系统 | |
| US10863230B1 (en) | Content stream overlay positioning | |
| JP2010515934A (ja) | マルチフレーム表示システムの機能強化アレイ | |
| CN105556574A (zh) | 渲染设备、其渲染方法、程序和记录介质 | |
| US20200186869A1 (en) | Method and apparatus for referencing, filtering, and combining content | |
| CN111741367B (zh) | 视频互动方法、装置、电子设备及计算机可读存储介质 | |
| CN112988752A (zh) | 资源管理方法、装置、存储介质及电子设备 | |
| US11985381B2 (en) | Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines | |
| CN113031943A (zh) | 编码生成方法、装置、存储介质及电子设备 | |
| KR101446112B1 (ko) | 3차원 모델 통합 관리 시스템 및 방법 | |
| US20180268049A1 (en) | Providing a heat map overlay representative of user preferences relating to rendered content | |
| CN113822777A (zh) | 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法 | |
| CN104244029A (zh) | 具有远程截屏功能的广告机系统及其方法 | |
| CN106844763A (zh) | 一种对互联网媒体文件进行修改式展现的方法及其装置 | |
| CN113436320B (zh) | 基于ifc模型文件的3d模型生成系统及方法 | |
| CN107133046B (zh) | 页面搭建方法、装置和电子终端 | |
| CN112651801B (zh) | 一种房源信息的展示方法和装置 | |
| US20130137520A1 (en) | Game streaming system and method of supporting the multiuser and multiplatform | |
| CN111158826B (zh) | 一种界面皮肤生成方法、装置、设备及存储介质 | |
| KR101447992B1 (ko) | 증강현실을 위한 3차원 표준 모델 관리 시스템 및 방법 | |
| RU2764375C1 (ru) | Способ формирования изображений с дополненной и виртуальной реальностью с возможностью взаимодействия внутри виртуального мира, содержащего данные виртуального мира |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211221 |
|
| RJ01 | Rejection of invention patent application after publication |