CN113012500A - 一种远程教学系统 - Google Patents

一种远程教学系统 Download PDF

Info

Publication number
CN113012500A
CN113012500A CN202110288222.8A CN202110288222A CN113012500A CN 113012500 A CN113012500 A CN 113012500A CN 202110288222 A CN202110288222 A CN 202110288222A CN 113012500 A CN113012500 A CN 113012500A
Authority
CN
China
Prior art keywords
module
processor
remote server
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110288222.8A
Other languages
English (en)
Inventor
李琦
丁桂芝
牛明敏
王晓靖
张敏
余淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Railway Vocational and Technical College
Original Assignee
Zhengzhou Railway Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Railway Vocational and Technical College filed Critical Zhengzhou Railway Vocational and Technical College
Priority to CN202110288222.8A priority Critical patent/CN113012500A/zh
Publication of CN113012500A publication Critical patent/CN113012500A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种远程教学系统，包括摄像头、处理器、VR模块以及图像处理合成模块，摄像头、VR模块与图像处理合成模块均与处理器连接，所述处理器通过5G模块无线连接远程服务器。本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律。

Description

一种远程教学系统
技术领域
本发明涉及远程教学领域，具体涉及一种远程教学系统。
背景技术
随着互联网技术的发展，特别是网络通信技术、图像处理技术、智能硬件以及虚拟现实技术等的不断成熟，学校课堂传统教学的形式已经满足不了学生的个性化教学需求，特别是在特殊天气或者各种流行性病毒肆虐的情况下，远程教育需求越来越多、越来越迫切，然而，类似于音视频直播课、白板教学或者会议形式的教学与传统课堂现场教学的互动性以及及时性不能相提并论；为了改善上述问题，现有技术中也有采取图像识别的方法实现对学生或者教师的上课状态如情绪识别、板书追踪、上课行为分析等，以帮助老师提升教学质量，或者帮助学生提升学习效率。
然而现有技术中的教学系统还是缺少课堂体验中的真实感以及互动感，也无法及时的获取周围同学或者老师的状态，同时也由于终端设备的不同，甚至会出现视频卡顿以及音视频不同步的现象。
发明内容
为解决背景技术中的问题，本发明提供一种远程教学系统，该系统包括 摄像头、处理器、VR模块以及图像处理合成模块，摄像头、VR模块与图像处理合成模块均与处理器连接；
所述处理器通过5G模块无线连接远程服务器。
优选的，所述VR模块包括与处理器连接的微型摄像头、用于录取学生或者教师语音数据的语音模块以及MEMS陀螺仪。
优选的，所述处理器还与拍摄学生或者教师身体图像数据的摄像头连接。
优选的，所述图像处理合成模块用于将微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理，所述图像处理合成模块可由DSP（Digital Signal Processing）芯片完成。
优选的，所述远程服务器接收学生终端或者教师终端传输过来的压缩后的合成视频信号，并根据关注度情况接收学生或者教师终端传输过来的未经压缩的合成视频信号；所述远程服务器包括视频强化模块，所述视频强化模块将需要强化的视频信号进行重构强化；所述远程服务器还包括虚拟场景转换模块。
优选的，所述虚拟场景转换模块将各个学生终端或者教师终端中的合成视频信号以及经过强化后的视频信号转换为虚拟场景数据，再将所述虚拟场景数据发送至各个学生终端或者教师终端。
本发明还公开了一种远程教学方法，步骤如下：
S1、教师设置教学模式，所述教学模式包括讲授模式、讨论模式、提问模式；
S2、综合分析学生的行为数据，所述行为数据包括眼睛运动、头姿态、身体姿态、语音数据，判断是否触发关注信号；
S3、如果触发关注信号，将所述触发关注信号发送至远程服务器；
S4、所述远程服务器将触发关注信号的学生的合成视频信号进行重构强化并将其组合进虚拟场景数据中；
S5、所述远程服务器将虚拟场景数据发送至各个学生终端和/或教师终端中显示。
优选的，所述S1中的教学模式设置是在管理员模式下设置的，该模式下能够控制远程服务器中的学生数据是否发送以及如何发送，并具有全体静音或者个体禁言的功能。
优选的，所述讲授模式中教师终端中的音视频数据同步传输，并且在虚拟场景数据中教师音视频数据处于突出位置，教师终端能够控制学生终端的音视频数据是否采集以及禁言功能是否开启等，并且能够控制远程服务器始终对教师的视频信息进行强化。
优选的，所述讨论模式中学生终端和教师终端的音视频数据均同步采集。
优选的，所述提问模式中学生终端获取学生是否请求提问，而教师终端控制是否接受或者接受哪个学生的提问。
优选的，所述S2中的行为数据中的眼睛运动、头姿态由VR模块中的微型摄像头以及MEMS陀螺仪实现采集。
优选的，所述S2中的身体姿态、语音数据由用于拍摄学生或者教师身体图像数据的摄像头以及语音模块实现音视频数据采集的。
优选的，所述S2中的综合分析是指根据眼睛运动、头姿态、身体姿态以及语音数据中是否有一个或者多个数据是否异常以判断学生是否想参与讨论或者回答问题。
优选的，所述S4中的合成视频信号为步骤S2中的微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成后的视频信号，合成步骤由与处理器连接的图像处理合成模块实现，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理。
优选的，所述S4中的远程服务器用于将未经强化的其他学生终端中的视频与强化视频数据组合在一起转化为虚拟场景数据。
优选的，所述S4中的视频强化实质保留原始视频分辨率的基础上，将脸部特征进一步的重构强化；所述重构强化包括对比度、饱和度、亮度、视频扩大、颜艺化或者微距化等处理方式。
优选的，所述S5中的虚拟场景数据是由虚拟场景转换模块实现，所述虚拟场景转换模块能将接收到的所有教师和学生的合成视频信号进行统一处理，并根据接收到的关注信号将相应学生的合成视频信号进行强化重构，其中将教师的合成视频信号置于虚拟场景中的“讲台”位置，将学生的合成视频信号排布在“课桌位置”。
本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律，在学生终端或者教师终端录制的视频信息在不需要关注时可以进行压缩处理以减轻服务器以及VR模块的数据压力，能更流畅渲染VR场景。
附图说明
图1为一种远程教学方法的流程图。
图2为一种远程教学系统的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图2所示，本实施例提供了一种远程教学系统，包括VR模块1、摄像头2、处理器3以及图像处理合成模块4，摄像头2、VR模块1与图像处理合成模块4均与处理器3连接。
所述处理器3通过5G模块5无线连接远程服务器6。
所述VR模块1包括与处理器3连接的微型摄像头1-1、MEMS陀螺仪1-2以及用于录取学生或者教师语音数据的语音模块1-3。
所述处理器3还与拍摄学生或者教师身体图像数据的摄像头2连接。
作为一种优选的实施方式，所述图像处理合成模块4用于将微型摄像头1-1拍摄的眼部位附近视频信号和摄像头2拍摄的脸部以及身体视频信号合成，所述图像处理合成模块4还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器3发送至远程服务器6进行处理，所述图像处理合成模块4可由DSP（Digital Signal Processing）芯片完成。
作为一种优选的实施方式，所述远程服务器6接收学生终端或者教师终端传输过来的压缩后的合成视频信号，并根据关注度情况接收学生或者教师终端传输过来的未经压缩的合成视频信号；所述远程服务器6包括视频强化模块，所述视频强化模块将需要强化的视频信号进行重构强化；所述远程服务器6还包括虚拟场景转换模块，所述虚拟场景转换模块将各个学生终端或者教师终端中的合成视频信号以及经过强化后的视频信号转换为虚拟场景数据，再将所述虚拟场景数据发送至各个学生终端或者教师终端。
本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律，在学生终端或者教师终端录制的视频信息在不需要关注时可以进行压缩处理以减轻服务器以及VR模块1的数据压力，能更流畅渲染VR场景。
实施例二
如图1所示，本实施例提供了一种远程教学方法，步骤如下：
S1、教师设置教学模式，所述教学模式包括讲授模式、讨论模式、提问模式；
S2、综合分析学生的行为数据，所述行为数据包括眼睛运动、头姿态、身体姿态、语音数据，判断是否触发关注信号；
S3、如果触发关注信号，将所述触发关注信号发送至远程服务器6；
S4、所述远程服务器6将触发关注信号的学生的合成视频信号进行重构强化并将其组合进虚拟场景数据中；
S5、所述远程服务器6将虚拟场景数据发送至各个学生终端和/或教师终端中显示。
作为一种优选的实施方式，所述S1中的教学模式设置是在管理员模式下设置的，该模式下能够控制远程服务器6中的学生数据是否发送以及如何发送，并具有全体静音或者个体禁言的功能。
作为一种优选的实施方式，所述讲授模式中教师终端中的音视频数据同步传输，并且在虚拟场景数据中教师音视频数据处于突出位置，教师终端能够控制学生终端的音视频数据是否采集以及禁言功能是否开启等，并且能够控制远程服务器6始终对教师的视频信息进行强化。
作为一种优选的实施方式，所述讨论模式中学生终端和教师终端的音视频数据均同步采集.
作为一种优选的实施方式，所述提问模式中学生终端获取学生是否请求提问，而教师终端控制是否接受或者接受哪个学生的提问。
作为一种优选的实施方式，所述S2中的行为数据中的眼睛运动、头姿态由VR模块1中的微型摄像头1-1以及MEMS陀螺仪1-2实现采集。
作为一种优选的实施方式，所述S2中的身体姿态、语音数据由用于拍摄学生或者教师身体图像数据的摄像头2以及语音模块1-3实现音视频数据采集的。
作为一种优选的实施方式，所述S2中的综合分析是指根据眼睛运动、头姿态、身体姿态以及语音数据中是否有一个或者多个数据是否异常以判断学生是否想参与讨论或者回答问题。
作为一种优选的实施方式，所述S4中的合成视频信号为步骤S2中的微型摄像头1-1拍摄的眼部位附近视频信号和摄像头2拍摄的脸部以及身体视频信号合成后的视频信号，合成步骤由与处理器3连接的图像处理合成模块4实现，所述图像处理合成模块4还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器3发送至远程服务器6进行处理。
作为一种优选的实施方式，所述S4中的远程服务器6用于将未经强化的其他学生终端中的视频与强化视频数据组合在一起转化为虚拟场景数据。
作为一种优选的实施方式，所述S4中的视频强化实质保留原始视频分辨率的基础上，将脸部特征进一步的重构强化；所述重构强化包括对比度、饱和度、亮度、视频扩大、颜艺化或者微距化等处理方式。
作为一种优选的实施方式，所述S5中的虚拟场景数据是由虚拟场景转换模块实现，所述虚拟场景转换模块能将接收到的所有教师和学生的合成视频信号进行统一处理，并根据接收到的关注信号将相应学生的合成视频信号进行强化重构，其中将教师的合成视频信号置于虚拟场景中的“讲台”位置，将学生的合成视频信号排布在“课桌位置”。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种远程教学系统，其特征在于：该系统包括摄像头、处理器、VR模块以及图像处理合成模块，摄像头、VR模块与图像处理合成模块均与处理器连接；
所述处理器通过5G模块无线连接远程服务器。
2.根据权利要求1所述的远程教学系统，其特征在于：所述VR模块包括与处理器连接的微型摄像头、用于录取学生或者教师语音数据的语音模块以及MEMS陀螺仪。
3.根据权利要求1和2所述的远程教学系统，其特征在于：
所述图像处理合成模块用于将微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理。
4.根据权利要求1所述的远程教学系统，其特征在于：所述远程服务器接收学生终端或者教师终端传输过来的压缩后的合成视频信号，并根据关注度情况接收学生或者教师终端传输过来的未经压缩的合成视频信号；所述远程服务器包括视频强化模块，所述视频强化模块将需要强化的视频信号进行重构强化；所述远程服务器还包括虚拟场景转换模块。
5.根据权利要求4所述的远程教学系统，其特征在于：所述虚拟场景转换模块将各个学生终端或者教师终端中的合成视频信号以及经过强化后的视频信号转换为虚拟场景数据，再将所述虚拟场景数据发送至各个学生终端或者教师终端。
CN202110288222.8A 2021-03-18 2021-03-18 一种远程教学系统 Withdrawn CN113012500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110288222.8A CN113012500A (zh) 2021-03-18 2021-03-18 一种远程教学系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110288222.8A CN113012500A (zh) 2021-03-18 2021-03-18 一种远程教学系统

Publications (1)

Publication Number Publication Date
CN113012500A true CN113012500A (zh) 2021-06-22

Family

ID=76409452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110288222.8A Withdrawn CN113012500A (zh) 2021-03-18 2021-03-18 一种远程教学系统

Country Status (1)

Country Link
CN (1) CN113012500A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507599A (zh) * 2021-07-08 2021-10-15 四川纵横六合科技股份有限公司 基于大数据分析的教育云服务平台
CN115190287A (zh) * 2022-06-22 2022-10-14 秦皇岛希睿智能科技有限公司 一种应用于远程教学的立体视觉随动系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507599A (zh) * 2021-07-08 2021-10-15 四川纵横六合科技股份有限公司 基于大数据分析的教育云服务平台
CN113507599B (zh) * 2021-07-08 2022-07-08 四川纵横六合科技股份有限公司 基于大数据分析的教育云服务平台
CN115190287A (zh) * 2022-06-22 2022-10-14 秦皇岛希睿智能科技有限公司 一种应用于远程教学的立体视觉随动系统

Similar Documents

Publication Publication Date Title
CN102006453B (zh) 视频信号的辅助信息叠加方法及装置
KR100989142B1 (ko) 전자학습 컨텐츠 제공 시스템 및 방법
CN102984496B (zh) 视频会议中的视音频信息的处理方法、装置及系统
KR102308443B1 (ko) 스마트 첨단 강의 및 녹화 시스템
WO2022017083A1 (zh) 一种数据处理方法、装置、设备及可读存储介质
CN113012500A (zh) 一种远程教学系统
CN109814718A (zh) 一种基于Kinect V2的多模态信息采集系统
CN113052085A (zh) 视频剪辑方法、装置、电子设备以及存储介质
CN110609619A (zh) 基于全景沉浸式教学的多屏直播互动系统
CN110599835A (zh) 一种交互式计算机远程教育系统
CN109862375B (zh) 云录播系统
CN111901621A (zh) 一种基于直播内容识别的互动直播教学节流装置和方法
CN110933350A (zh) 一种电子云镜录播系统、方法及装置
CN114531564A (zh) 处理方法及电子设备
CN109150556A (zh) 基于语音识别的多人远程会议记录系统
CN112185195A (zh) Ai控制远程教学课堂的方法和装置
CN113012501B (zh) 一种远程教学方法
CN111131853A (zh) 一种笔迹直播系统及方法
CN110798640A (zh) 全高清录播方法
CN112837574B (zh) 一种互动课堂系统及其方法
CN108364518A (zh) 一种基于全景教学模式的师生互动过程记录方法
CN212847226U (zh) 一种沉浸式情景实训系统
CN114727120B (zh) 直播音频流的获取方法、装置、电子设备及存储介质
CN113296609A (zh) 一种沉浸式远程教学方法及系统
CN108616732A (zh) 一种基于移动终端的增强现实应急演练系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210622