CN113486709B - 一种基于虚拟现实多源深度交互的智慧教育平台及方法 - Google Patents
一种基于虚拟现实多源深度交互的智慧教育平台及方法 Download PDFInfo
- Publication number
- CN113486709B CN113486709B CN202110575681.4A CN202110575681A CN113486709B CN 113486709 B CN113486709 B CN 113486709B CN 202110575681 A CN202110575681 A CN 202110575681A CN 113486709 B CN113486709 B CN 113486709B
- Authority
- CN
- China
- Prior art keywords
- learning
- virtual reality
- teaching
- student
- education
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 title claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000004424 eye movement Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 13
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Educational Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于虚拟现实多源深度交互的智慧教育平台及方法，包括基于大数据的教育资源服务器、虚拟现实显示服务器、中继服务器、数据通讯网络、教育服务终端，基于大数据的教育资源服务器、虚拟现实显示服务器间通过中继服务器连接，中继服务器另通过数据通讯网络与教育服务终端建立数据连接。使用方法包括系统装配，教学活动及教学交互步骤。本发明可有效满足多种复杂环境下远程教学活动作业的需要；通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养。
Description
技术领域
本发明涉及一种基于虚拟现实多源深度交互的智慧教育平台及方法，属于在线远程教育技术领域。
背景技术
目前随着远程教育在市场上得到了广泛的应用和推广，但在实际远程教学活动中发现，当前所使用的教学系统往往均基于传统的电脑、智能通讯终端等设备，从配置了教学资源的远程服务器中获得相应的教学资源，从而满足学员学习的需要，虽然可以一定程度上满足使用的需要，但一方面导致学员在学习过程中，往往均处于单方面教学资源接收状态，与教育系统及处于同一教学系统中相关学员间缺乏有效的信息交流，同时也无法根据学员学习需要调整学习环境和对学员学习状态进行监控，从而导致教学活动单调且枯燥，教学效率和质量相对较差，另一方面在教学过程中，当前的学习系统也无法精确的对各学员的学习能力、学习需求及学习习惯进行分析判断，因此无法对各学员的学习需求精确的进行教学资源匹配，从而进一步影响了学员远程学习效率和学习质量。
发明内容
为了解决现有技术上的不足，本发明提供一种基于虚拟现实多源深度交互的智慧教育平台及方法，通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养，有效的提高远程教学作业的工作效率和学习质量。
本发明的基于虚拟现实多源深度交互的智慧教育平台，包括基于大数据的教育资源服务器、虚拟现实显示服务器、中继服务器、数据通讯网络、教育服务终端，所述基于大数据的教育资源服务器、虚拟现实显示服务器间通过中继服务器连接，所述中继服务器另通过数据通讯网络与教育服务终端建立数据连接，所述教育服务终端若干，各教育服务终端均通过通讯网关与数据通讯网络建立数据连接，且每个通讯网关均与至少一个教育服务终端构成一个学习组；所述的基于大数据的教育资源服务器采用基于ACT—R构架的数据处理系统，包括基于CNN神经网络系统、RNN神经网络系统、ResNet残差网络、前馈神经网络系统、LSTM神经网络系统、PID模糊控制系统及教学资源数据库，所述CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统相互并联，且CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统输入端分别与ResNet残差网络、前馈神经网络系统连接，且所述ResNet残差网络、前馈神经网络系统间通过PID模糊控制系统连接，所述PID模糊控制系统另与教学资源数据库建立数据连接，所述教学资源数据库另分别与CNN神经网络系统、RNN神经网络系统输出端连通；所述的教育服务终端包括虚拟现实头盔、操控手柄、监控摄像头、显示器、主控箱及驱动电路，每个监控摄像头外表面均设一个亮度传感器，所述虚拟现实头盔、操控手柄、监控摄像头、显示器、亮度传感器均至少一个，并分别与驱动电路电气连接，所述驱动电路嵌于主控箱内。
上述的虚拟现实显示服务器为采用Faster-R-CNN算法为图像识别处理基础；采用空域算法和时域算法相结合的混合算法为视频处理基础；且虚拟现实显示服务器另设图像场景数据库、教学资源数据库、PID模糊控制系统及堆栈管理系统，所述图像识别处理基础、视频处理基础均与PID模糊控制系统建立数据连接，且PID模糊控制系统通过堆栈管理系统分别与图像场景数据库、教学资源数据库建立数据连接。
上述的教学资源数据库、图像场景数据库均为SQL数据库及key-value数据库中的任意一种，同时，所述教学资源数据库、图像场景数据库均采用网状模型、关系模型、面向对象模型中的任意一种或几种共用。
上述的教学资源数据库包括课程教学资源模块、教师人力资源模块、学员人力资源模块、辅助教学资源模块、学员效果汇总模块；所述图像场景数据库包括教学环境仿真模块、学员面部识别管理模块，所述学员面部识别管理模块包括面部识别单元、眼动监控单元及基于眼动疲劳度判断模块。
上述的教育服务终端另设基于学习桌、学习椅中任意一种或两种公用的承载机构，所述操控手柄、显示器均与承载机构连接，所述监控摄像头共两个，其中一个与承载机构上铰接，另一个嵌于虚拟现实头盔外表面，且其光轴与虚拟现实头盔前端面垂直分布，所述亮度传感器与监控摄像头数量一致，其亮度传感器光轴与监控摄像头光轴呈0°—120°夹角，所述主控箱嵌于承载机构外侧面，并通过滑槽与承载机构滑动连接。
上述的驱动电路为基于FPGA芯片的数据处理电路，另设无线数据通讯电路、串口通讯电路、多路稳压电源、电源接线端子、通讯端子及无线数据通讯天线，所述电源接线端子、通讯端子嵌于主控箱外侧面，所述通讯天线包括至少一条外置天线及至少一条贴片天线，其中所述贴片天线嵌于主控箱内并与主控箱侧壁内表面连接，所述外置天线通过铰链机构与主控箱外表面铰接。
上述的智慧教育平台的教育方法，包括如下步骤：
首先构建一个基于大数据的教育资源服务器、虚拟现实显示服务器，并使基于大数据的教育资源服务器、虚拟现实显示服务器之间通过中继服务器连接，同时通过中继服务器与数据通讯网络间建立数据连接，然后根据参与教学工作的单位、人员分布位置和数量，设置若干教育服务终端，并使各教育服务终端通过中继服务器与数据通讯网络建立数据连接；
由基于大数据的教育资源服务器分别为虚拟现实显示服务器、中继服务器及各教育服务终端分配数据通讯地址，同时采集虚拟现实显示服务器、中继服务器及各教育服务终端的硬件识别和软件版本号，最后由基于大数据的教育资源服务器与虚拟现实显示服务器间对教学资源信息共享，同时向各教育服务终端推送教学远程操控终端子程序，实现系统互联作业；
学员通过教育服务终端开展学习活动，在学习活动中，通过教育服务终端虚拟现实头盔和显示器为学员提供教学环境虚拟仿真及教学内容同步展示，同时通过操控手柄对学习内容进行选择和操控；通过监控摄像头对学员学习活动现场环境及学员状态进行采集，通过亮度传感器对学员学习环境亮度进行监控，并根据亮度环境同步调整显示器、虚拟现实头盔亮度、色调同步调整，从而满足学习活动及对学习场景虚拟仿真需要；然后在学习过程中，由教育服务终端向基于大数据的教育资源服务器、虚拟现实显示服务器同时发送学习请求，由基于大数据的教育资源服务器根据各教育服务终端发送的请求分别为各教育服务终端分配相应的教学数据资源，由虚拟现实显示服务器根据教学内容及各教育服务终端发送的教学请求向各教育服务终端发送相应的虚拟教学场景信息，从而实现对学习环境进行虚拟仿真作业；
通过教育服务终端的监控摄像头对学员进行面部信息采集，完成学员身份识别，同时通过虚拟现实头盔对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器、虚拟现实显示服务器对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；由基于大数据的教育资源服务器、虚拟现实显示服务器对各学员身份信息、学习需求数据、学习结果数据进行统计存档，并根据存档结果从教学资源数据库、图像场景数据库选择相应的教学资源为各学员订制学习活动计划、教学资源及内容；
由基于大数据的教育资源服务器根据每次学员学习过程中监控摄像头采用到的面部信息以及拟现实头盔对学员的眼球活动信息的学习行为习惯生成学员学习方法逻辑，并根据学员学习方法逻辑对学员进行学习引导，并纠正不良学习习惯，同时通过教育服务终端采集学员学习状态和学习环境信息，并将学员实际学习环境信息保存在虚拟现实显示服务器中，并对多个学员的学习场景进行交互计算，实现多学员实际场景共享。
上述基于大数据的教育资源服务器通过监控摄像头以及拟现实头盔采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容。
本发明系统构成简单，组网运行灵活方便，通用性好，可有效满足多种复杂环境下远程教学活动作业的需要；通过虚拟现实头盔对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器、虚拟现实显示服务器对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；对各学员身份信息、学习需求数据、学习结果数据进行统计存档，并根据存档结果从教学资源数据库、图像场景数据库选择相应的教学资源为各学员订制学习活动计划、教学资源及内容；同时根据每次学员学习过程中行为习惯生成学员学习方法逻辑，并根据学员学习方法逻辑对学员进行学习引导，并纠正不良学习习惯；通过教育服务终端采集的学员学习状态和学习环境信息，并将学员实际学习环境信息保存在虚拟现实显示服务器中，并对多个学员的学习场景进行交互计算，实现多学员实际场景共享；同时通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容，可实现学员及教学资源之间智能选择、场景调整、学习状态全程监控和调整，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养，从而极大的提高了远程在线教学工作的灵活性、趣味性，并有效的提高远程教学作业的工作效率和学习质量。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明系统结构示意图；
图2为基于大数据的教育资源服务器系统结构示意图；
图3为虚拟现实显示服务器系统结构示意图；
图4为教育服务终端结构示意图。
图中各标号：基于大数据的教育资源服务器21、虚拟现实显示服务器22、中继服务器23、数据通讯网络24、教育服务终端25、通讯网关26、虚拟现实头盔1、操控手柄2、监控摄像头3、显示器4、亮度传感器5、主控箱6、驱动电路7、承载机构8、滑槽9、电源接线端子10、通讯端子11、外置天线12、贴片天线13。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于施工，下面结合具体实施方式，进一步阐述本发明。
参见图1，一种基于虚拟现实多源深度交互的智慧教育平台，包括基于大数据的教育资源服务器21、虚拟现实显示服务器22、中继服务器23、数据通讯网络24、教育服务终端25，其中基于大数据的教育资源服务器21、虚拟现实显示服务器22间通过中继服务器23连接，中继服务器23另通过数据通讯网络24与教育服务终端25建立数据连接，教育服务终端25若干，各教育服务终端25均通过通讯网关26与数据通讯网络24建立数据连接，且每个通讯网关26均与至少一个教育服务终端25构成一个学习组。
参见图2，所述的基于大数据的教育资源服务器21采用基于ACT—R构架的数据处理系统，设基于CNN神经网络系统、RNN神经网络系统、ResNet残差网络、前馈神经网络系统及LSTM神经网络系统，另设PID模糊控制系统及教学资源数据库，所述CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统相互并联，且CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统输入端分别与ResNet残差网络、前馈神经网络系统连接，且所述ResNet残差网络、前馈神经网络系统间通过PID模糊控制系统连接，所述PID模糊控制系统另与教学资源数据库建立数据连接，所述教学资源数据库另分别与CNN神经网络系统、RNN神经网络系统输出端连通。
参见图3，所述的虚拟现实显示服务器22为采用Faster-R-CNN算法为图像识别处理基础；采用空域算法和时域算法相结合的混合算法为视频处理基础；且虚拟现实显示服务器22另设图像场景数据库、教学资源数据库、PID模糊控制系统及堆栈管理系统，其中所述图像识别处理基础、视频处理基础均与PID模糊控制系统建立数据连接，且PID模糊控制系统通过堆栈管理系统分别与图像场景数据库、教学资源数据库建立数据连接。
本实施例中，教学资源数据库、图像场景数据库均为SQL数据库及key-value数据库中的任意一种，同时，所述教学资源数据库、图像场景数据库均采用网状模型、关系模型、面向对象模型中的任意一种或几种共用。教学资源数据库包括课程教学资源模块、教师人力资源模块、学员人力资源模块、辅助教学资源模块、学员效果汇总模块；所述图像场景数据库包括教学环境仿真模块、学员面部识别管理模块，其中所述学员面部识别管理模块包括面部识别单元、眼动监控单元及基于眼动疲劳度判断模块。
参见图4，所述的教育服务终端25包括虚拟现实头盔1、操控手柄2、监控摄像头3、显示器4、亮度传感器5、主控箱6及驱动电路7，所述虚拟现实头盔1、操控手柄2、监控摄像头3、显示器4、亮度传感器5均至少一个，并分别与驱动电路7电气连接，所述驱动电路7嵌于主控箱6内。教育服务终端25另设基于学习桌、学习椅中任意一种或两种公用的承载机构8，所述操控手柄2、显示器4均与承载机构8连接，所述监控摄像头3共两个，其中一个与承载机构8上铰接，另一个嵌于虚拟现实头盔1外表面，且其光轴与虚拟现实头盔1前端面垂直分布，所述亮度传感器5与监控摄像头3数量一致，且每个监控摄像头3外表面均设一个亮度传感器5，其亮度传感器5光轴与监控摄像头3光轴呈0°—120°夹角，所述主控箱6嵌于承载机构8外侧面，并通过滑槽9与承载机构8滑动连接。
驱动电路7为基于FPGA芯片的数据处理电路，另设无线数据通讯电路、串口通讯电路、多路稳压电源、电源接线端子10、通讯端子11及无线数据通讯天线，所述电源接线端子10、通讯端子11嵌于主控箱6外侧面，所述通讯天线包括至少一条外置天线12及至少一条贴片天线13，其中所述贴片天线13嵌于主控箱6内并与主控箱6侧壁内表面连接，所述外置天线12通过铰链机构与主控箱6外表面铰接。
一种基于虚拟现实多源深度交互的智慧教育平台的使用方法，包括如下步骤：
首先构建一个基于大数据的教育资源服务器21、虚拟现实显示服务器22，并使基于大数据的教育资源服务器21、虚拟现实显示服务器22之间通过中继服务器23连接，同时通过中继服务器23与数据通讯网络24间建立数据连接，然后根据参与教学工作的单位、人员分布位置和数量，设置若干教育服务终端25，并使各教育服务终端25通过中继服务器23与数据通讯网络24建立数据连接，然后由基于大数据的教育资源服务器21分别为虚拟现实显示服务器22、中继服务器23及各教育服务终端25分配数据通讯地址，同时采集虚拟现实显示服务器22、中继服务器23及各教育服务终端25的硬件识别和软件版本号，最后由基于大数据的教育资源服务器21与虚拟现实显示服务器22间对教学资源信息共享，同时向各教育服务终端25推送教学远程操控终端子程序，即可完成系统装配作业；
学员通过教育服务终端25开展学习活动，在学习活动中，一方面通过教育服务终端25虚拟现实头盔1和显示器4为学员提供教学环境虚拟仿真及教学内容同步展示，同时通过操控手柄2对学习内容进行选择和操控；另一方面通过监控摄像头3对学员学习活动现场环境及学员状态进行采集，通过亮度传感器5对学员学习环境亮度进行监控，并根据亮度环境同步调整显示器4、虚拟现实头盔1亮度、色调同步调整，从而满足学习活动及对学习场景虚拟仿真需要；然后在学习过程中，由教育服务终端25向基于大数据的教育资源服务器21、虚拟现实显示服务器22同时发送学习请求，由基于大数据的教育资源服务器21根据各教育服务终端25发送的请求分别为各教育服务终端25分配相应的教学数据资源，由虚拟现实显示服务器22根据教学内容及各教育服务终端25发送的教学请求向各教育服务终端25发送相应的虚拟教学场景信息，从而实现对学习环境进行虚拟仿真作业；
通过教育服务终端25的监控摄像头3对学员进行面部信息采集，完成学员身份识别，同时通过虚拟现实头盔1对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器21、虚拟现实显示服务器22对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；另一方面由基于大数据的教育资源服务器21、虚拟现实显示服务器22对一方面对各学员身份信息、学习需求数据、学习结果数据进行统计存档，并根据存档结果从教学资源数据库、图像场景数据库选择相应的教学资源为各学员订制学习活动计划、教学资源及内容；同时根据每次学员学习过程中行为习惯生成学员学习方法逻辑，并根据学员学习方法逻辑对学员进行学习引导，并纠正不良学习习惯；另一方面通过教育服务终端25采集的学员学习状态和学习环境信息，并将学员实际学习环境信息保存在虚拟现实显示服务器22中，并对多个学员的学习场景进行交互计算，实现多学员实际场景共享；同时通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容。
本发明通过虚拟现实头盔对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器、虚拟现实显示服务器对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；对各学员身份信息、学习需求数据、学习结果数据进行统计存档，并根据存档结果从教学资源数据库、图像场景数据库选择相应的教学资源为各学员订制学习活动计划、教学资源及内容；同时根据每次学员学习过程中行为习惯生成学员学习方法逻辑，并根据学员学习方法逻辑对学员进行学习引导，并纠正不良学习习惯；通过教育服务终端采集的学员学习状态和学习环境信息，并将学员实际学习环境信息保存在虚拟现实显示服务器中，并对多个学员的学习场景进行交互计算，实现多学员实际场景共享；同时通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容，可实现学员及教学资源之间智能选择、场景调整、学习状态全程监控和调整，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养，从而极大的提高了远程在线教学工作的灵活性、趣味性，并有效的提高远程教学作业的工作效率和学习质量。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：包括基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）、中继服务器（23）、数据通讯网络（24）、教育服务终端（25），所述基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）间通过中继服务器（23）连接，所述中继服务器（23）另通过数据通讯网络（24）与教育服务终端（25）建立数据连接，所述教育服务终端（25）若干，各教育服务终端（25）均通过通讯网关（26）与数据通讯网络（24）建立数据连接，且每个通讯网关（26）均与至少一个教育服务终端（25）构成一个学习组；所述的基于大数据的教育资源服务器（21）采用基于ACT—R构架的数据处理系统，包括基于CNN神经网络系统、RNN神经网络系统、ResNet残差网络、前馈神经网络系统、LSTM神经网络系统、PID模糊控制系统及教学资源数据库，所述CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统相互并联，且CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统输入端分别与ResNet残差网络、前馈神经网络系统连接，且所述ResNet残差网络、前馈神经网络系统间通过PID模糊控制系统连接，所述PID模糊控制系统另与教学资源数据库建立数据连接，所述教学资源数据库另分别与CNN神经网络系统、RNN神经网络系统输出端连通；所述的教育服务终端（25）包括虚拟现实头盔（1）、操控手柄（2）、监控摄像头（3）、显示器（4）、主控箱（6）及驱动电路（7），每个监控摄像头（3）外表面均设一个亮度传感器（5），所述虚拟现实头盔（1）、操控手柄（2）、监控摄像头（3）、显示器（4）、亮度传感器（5）均至少一个，并分别与驱动电路（7）电气连接，所述驱动电路（7）嵌于主控箱（6）内。
2.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的虚拟现实显示服务器（22）为采用Faster-R-CNN算法为图像识别处理基础；采用空域算法和时域算法相结合的混合算法为视频处理基础；且虚拟现实显示服务器（22）另设图像场景数据库、教学资源数据库、PID模糊控制系统及堆栈管理系统，所述图像识别处理基础、视频处理基础均与PID模糊控制系统建立数据连接，且PID模糊控制系统通过堆栈管理系统分别与图像场景数据库、教学资源数据库建立数据连接。
3.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教学资源数据库、图像场景数据库均为SQL数据库及key-value数据库中的任意一种，同时，所述教学资源数据库、图像场景数据库均采用网状模型、关系模型、面向对象模型中的任意一种或几种共用。
4.根据权利要求2所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教学资源数据库包括课程教学资源模块、教师人力资源模块、学员人力资源模块、辅助教学资源模块、学员效果汇总模块；所述图像场景数据库包括教学环境仿真模块、学员面部识别管理模块，所述学员面部识别管理模块包括面部识别单元、眼动监控单元及基于眼动疲劳度判断模块。
5.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教育服务终端（25）另设基于学习桌、学习椅中任意一种或两种公用的承载机构（8），所述操控手柄（2）、显示器（4）均与承载机构（8）连接，所述监控摄像头（3）共两个，其中一个与承载机构（8）上铰接，另一个嵌于虚拟现实头盔（1）外表面，且其光轴与虚拟现实头盔（1）前端面垂直分布，所述亮度传感器（5）与监控摄像头（3）数量一致，其亮度传感器（5）光轴与监控摄像头（3）光轴呈0°—120°夹角，所述主控箱（6）嵌于承载机构（8）外侧面，并通过滑槽（9）与承载机构（8）滑动连接。
6.根据权利要求5所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的驱动电路（7）为基于FPGA芯片的数据处理电路，另设无线数据通讯电路、串口通讯电路、多路稳压电源、电源接线端子（10）、通讯端子（11）及无线数据通讯天线，所述电源接线端子（10）、通讯端子（11）嵌于主控箱（6）外侧面，所述通讯天线包括至少一条外置天线（12）及至少一条贴片天线（13），其中所述贴片天线（13）嵌于主控箱（6）内并与主控箱（6）侧壁内表面连接，所述外置天线（12）通过铰链机构与主控箱（6）外表面铰接。
7.基于权利要求5或6所述的智慧教育平台的教育方法，其特征在于，包括如下步骤：
首先构建一个基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22），并使基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）之间通过中继服务器（23）连接，同时通过中继服务器（23）与数据通讯网络（24）间建立数据连接，然后根据参与教学工作的单位、人员分布位置和数量，设置若干教育服务终端（25），并使各教育服务终端（25）通过中继服务器（23）与数据通讯网络（24）建立数据连接；
由基于大数据的教育资源服务器（21）分别为虚拟现实显示服务器（22）、中继服务器（23）及各教育服务终端（25）分配数据通讯地址，同时采集虚拟现实显示服务器（22）、中继服务器（23）及各教育服务终端（25）的硬件识别和软件版本号，最后由基于大数据的教育资源服务器（21）与虚拟现实显示服务器（22）间对教学资源信息共享，同时向各教育服务终端（25）推送教学远程操控终端子程序，实现系统互联作业；
学员通过教育服务终端（25）开展学习活动，在学习活动中，通过教育服务终端（25）虚拟现实头盔（1）和显示器（4）为学员提供教学环境虚拟仿真及教学内容同步展示，同时通过操控手柄（2）对学习内容进行选择和操控；通过监控摄像头（3）对学员学习活动现场环境及学员状态进行采集，通过亮度传感器（5）对学员学习环境亮度进行监控，并根据亮度环境同步调整显示器（4）、虚拟现实头盔（1）亮度、色调同步调整，从而满足学习活动及对学习场景虚拟仿真需要；然后在学习过程中，由教育服务终端（25）向基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）同时发送学习请求，由基于大数据的教育资源服务器（21）根据各教育服务终端（25）发送的请求分别为各教育服务终端（25）分配相应的教学数据资源，由虚拟现实显示服务器（22）根据教学内容及各教育服务终端（25）发送的教学请求向各教育服务终端（25）发送相应的虚拟教学场景信息，从而实现对学习环境进行虚拟仿真作业；
通过教育服务终端（25）的监控摄像头（3）对学员进行面部信息采集，完成学员身份识别，同时通过虚拟现实头盔（1）对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；由基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）对各学员身份信息、学习需求数据、学习结果数据进行统计存档，并根据存档结果从教学资源数据库、图像场景数据库选择相应的教学资源为各学员订制学习活动计划、教学资源及内容；
由基于大数据的教育资源服务器（21）根据每次学员学习过程中监控摄像头（3）采用到的面部信息以及拟现实头盔（1）对学员的眼球活动信息的学习行为习惯生成学员学习方法逻辑，并根据学员学习方法逻辑对学员进行学习引导，并纠正不良学习习惯，同时通过教育服务终端（25）采集学员学习状态和学习环境信息，并将学员实际学习环境信息保存在虚拟现实显示服务器（22）中，并对多个学员的学习场景进行交互计算，实现多学员实际场景共享。
8.根据权利要求7所述的教育方法，其特征在于：所述基于大数据的教育资源服务器（21）通过监控摄像头（3）以及拟现实头盔（1）采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575681.4A CN113486709B (zh) | 2021-05-26 | 2021-05-26 | 一种基于虚拟现实多源深度交互的智慧教育平台及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575681.4A CN113486709B (zh) | 2021-05-26 | 2021-05-26 | 一种基于虚拟现实多源深度交互的智慧教育平台及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486709A CN113486709A (zh) | 2021-10-08 |
| CN113486709B true CN113486709B (zh) | 2022-05-27 |
Family
ID=77933142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110575681.4A Active CN113486709B (zh) | 2021-05-26 | 2021-05-26 | 一种基于虚拟现实多源深度交互的智慧教育平台及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486709B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694236B (zh) * | 2022-03-08 | 2023-03-24 | 浙江大学 | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 |
| CN114915764B (zh) * | 2022-05-17 | 2024-04-23 | 润芯微科技(江苏)有限公司 | 一种智能ai环视监控系统及使用方法 |
| CN114819729B (zh) * | 2022-05-25 | 2023-01-03 | 南京财经大学 | 一种学生信息的智能化课程管理分配系统及其方法 |
| CN117611399A (zh) * | 2023-11-09 | 2024-02-27 | 国科政信科技(北京)股份有限公司 | 一种基于智慧学习终端的学习管理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767365A (zh) * | 2018-12-29 | 2019-05-17 | 微运营(广州)互联网科技股份有限公司 | 一种智慧教育管理系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101390383B1 (ko) * | 2010-11-16 | 2014-04-29 | 한국전자통신연구원 | 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치 |
| US10129506B2 (en) * | 2014-09-25 | 2018-11-13 | Steve H. McNelley | Advanced transparent projection communication terminals |
| CN106128196A (zh) * | 2016-08-11 | 2016-11-16 | 四川华迪信息技术有限公司 | 基于增强现实和虚拟现实的网络在线教育系统及其实现方法 |
| CN107248342A (zh) * | 2017-07-07 | 2017-10-13 | 四川云图瑞科技有限公司 | 基于虚拟现实技术的三维互动教学系统 |
| CN111028552A (zh) * | 2019-12-24 | 2020-04-17 | 江西拓荒者科技有限公司 | 一种基于vr技术的红色教育平台 |
| CN111242962A (zh) * | 2020-01-15 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 远程培训视频的生成方法、装置、设备及存储介质 |
| CN112468769A (zh) * | 2020-10-23 | 2021-03-09 | 南京服诺教育科技有限公司 | 一种远程在线教育服务平台 |
| CN112529748A (zh) * | 2020-12-10 | 2021-03-19 | 成都农业科技职业学院 | 基于时间节点标记反馈学习状态的智慧教育平台 |
| CN112466175A (zh) * | 2021-02-03 | 2021-03-09 | 焦作大学 | 一种基于ai基础多源财务管理综合教学仿真系统 |
-
2021
- 2021-05-26 CN CN202110575681.4A patent/CN113486709B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767365A (zh) * | 2018-12-29 | 2019-05-17 | 微运营(广州)互联网科技股份有限公司 | 一种智慧教育管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486709A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113486709B (zh) | 一种基于虚拟现实多源深度交互的智慧教育平台及方法 | |
| CN106530865B (zh) | 一种远程医疗教育系统 | |
| CN104575142B (zh) | 体验式数字化多屏无缝跨媒体互动开放教学实验室 | |
| CN108831218A (zh) | 基于虚拟现实的远程教学系统 | |
| CN105528923A (zh) | 美术教学系统 | |
| CN109887096A (zh) | 利用虚拟现实技术的教育教学信息处理系统及其教学方法 | |
| CN111540244A (zh) | 一种基于大数据分析的多端线上授课系统 | |
| CN106023673A (zh) | 云课堂平台 | |
| CN111935264A (zh) | 智慧课堂交互系统 | |
| CN107818706A (zh) | 一种医院远程直播式教学培训系统 | |
| CN107424460A (zh) | 一种在线lte移动通信实验教学系统及实现方法 | |
| CN111292568A (zh) | 一种基于vr技术的远程在线教育系统 | |
| CN114115392A (zh) | 一种基于5g云边结合的智慧课堂控制系统及方法 | |
| CN111459286A (zh) | 一种基于Web的VR交互式学习教育系统及方法 | |
| CN110297584A (zh) | 面向幼教的沉浸式交互cave教室 | |
| CN113313168A (zh) | 无人监考的智能防作弊自助考试系统 | |
| CN115662218A (zh) | 一种智慧教室系统及其使用方法 | |
| Zeng et al. | Artistic style conversion based on 5G virtual reality and virtual reality visual space | |
| CN109637278A (zh) | 大数据教学实验实训平台 | |
| CN109754654A (zh) | 基于虚拟现实的历史课题指导系统、方法及装置 | |
| CN113220130A (zh) | 一种用于党建的vr体验系统及其设备 | |
| CN108806375A (zh) | 一种基于图像识别的互动教学方法及系统 | |
| Zhao | Smart preschool education live streaming: VR-driven optimization strategy | |
| Wang et al. | Multimedia teaching platform for urban planning utilizing 3D technology | |
| CN115018676A (zh) | 一种基于vr技术的在线教育用交互设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230802 Address after: 2 / F, 979 Yunhan Road, Lingang xinpian District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 200120 Patentee after: SHANGHAI HENGNAN INTELLIGENT TECHNOLOGIES CO.,LTD. Address before: 210046 office building 5-349, building a, Dongjiang Road, Baguazhou street, Qixia District, Nanjing, Jiangsu Province Patentee before: Nanjing Fanzhi Information Technology Co.,Ltd. |