CN114863741A - 一种用于线上教学的设备通信方法及系统 - Google Patents
一种用于线上教学的设备通信方法及系统 Download PDFInfo
- Publication number
- CN114863741A CN114863741A CN202210556793.XA CN202210556793A CN114863741A CN 114863741 A CN114863741 A CN 114863741A CN 202210556793 A CN202210556793 A CN 202210556793A CN 114863741 A CN114863741 A CN 114863741A
- Authority
- CN
- China
- Prior art keywords
- data
- student
- interaction data
- teaching
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 262
- 230000005540 biological transmission Effects 0.000 claims abstract description 92
- 230000002452 interceptive effect Effects 0.000 claims abstract description 77
- 101150054987 ChAT gene Proteins 0.000 claims description 53
- 101100203187 Mus musculus Sh2d3c gene Proteins 0.000 claims description 53
- 230000011664 signaling Effects 0.000 claims description 46
- 238000010422 painting Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000004806 packaging method and process Methods 0.000 claims description 15
- 238000005538 encapsulation Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种用于线上教学的设备通信方法及系统，本方法包括：教师端采集教学互动数据，将教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将学生互动数据进行显示；嵌入式设备将预处理后的教学互动数据发送给学生端进行显示，并获取学生互动数据与学生音视频数据，利用消息队列遥测传输协议将学生互动数据发送给教师端，将所述学生音视频数据进行显示。本方法中教师端和嵌入式设备利用消息队列遥测传输协议进行双向通信，保证了线上教学通信质量，并且将嵌入式设备的音视频数据同教师端的课堂互动数据相结合，实现了线上互动教学，提高了上课成员的参与感。
Description
技术领域
本发明涉及设备通信技术领域，具体涉及一种用于线上教学的设备通信方法及系统。
背景技术
随着信息化技术的发展，传统的教学模式受到了严重的冲击；首先，纸质教案投影模式或演示文稿(PPT)等多媒体技术的线下教学模式替代了传统的板书教学模式；其次，随着网络通信技术的发展，4G、5G网络技术快速发展，数据传输速度不断提高，使视频文件以及点对点视频可以无延时通信，为各种教学平台的线上教学提供了技术保障。
但是目前单一的嵌入式设备进行线上授课，上课成员只能停留在看和听的层面，无法提升其参与感，并且线上教学场景下的网络环境和实地场景等具有复杂性，因此高质量设备通信教学对线上教学具有重要的意义。
发明内容
因此，本发明要解决的技术问题在于克服现有技术仅使用单一的嵌入式设备进行线上授课，上课成员的参与感较弱，并且线上教学对设备通信的质量要求较高的缺陷，从而提供一种用于线上教学的设备通信方法及系统。
本发明实施例提供了一种用于线上教学的设备通信方法，包括：
教师端采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示；
嵌入式设备将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示。
上述一种用于线上教学的设备通信系统，教师端和嵌入式设备利用消息队列遥测传输协议进行双向通信，并且消息队列遥测传输协议可应用于网络不稳定，硬件配置低的场景，在该场景下仍然能够提供较好的通信，保证了线上教学通信质量，并且将嵌入式设备的音视频数据同教师端的课堂互动数据相结合，实现了线上互动教学，提高了上课成员的参与感。
可选地，所述教学互动数据，包括：
教师白板互动数据、教师课堂互动数据、教师聊天互动数据和教学音视频控制数据。
可选地，所述教师端采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示，包括：
对所述教师白板互动数据进行预处理，并利用所述消息队列遥测传输协议将所述教师课堂互动数据、所述教师聊天互动数据、所述教学音视频控制数据和所述预处理后的教师白板互动数据发送给所述嵌入式设备；其中所述教师白板互动数据，包括画笔数据、图片数据和文档数据；
接收所述嵌入式设备传输的所述学生互动数据，并显示所述学生互动数据。
上述教师端通过对教师白板互动数据和其他教学互动数据的处理，保证了教学互动数据在传输过程中的安全性。
可选地，所述对所述教师白板互动数据进行预处理，包括：
采集画笔数据，并对所述画笔数据进行封装，生成画笔封装信息；
分别在所述图片数据与所述文档数据中插入定位符，生成图片定位信息和文档定位信息。
上述通过对教师白板互动数据的预处理，实现了白板协同，可以跟学生实现文字互动、图片互动、文档互动，提高了学生的参与感。
可选地，所述嵌入式设备将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示，包括：
基于所述教学音视频控制数据生成控制信号，并基于所述控制信号采集教学音视频互动数据，对所述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给所述学生端进行显示；
对所述预处理后的教师白板互动数据进行解封，生成教学白板数据；
利用用户数据包协议将所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端；
采集学生音视频数据，将所述学生音视频数据进行解码，将解码后的学生音视频数据进行显示；
获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端；其中，所述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
上述嵌入式设备通过对教学音视频数据和其他教学互动数据的处理，保证了不同数据的传输安全，并且通过嵌入信令，保证了学生端对教学互动数据的反馈，即能够获取到学生互动数据，保证了教师与学生之间的教学互动，提高了学生的参与感。
可选地，所述获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，包括：
采集所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用所述消息队列遥测传输协议将所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据发送给所述教师端。
上述通过对学生音视频传输数据的处理，保证了教师端接收的学生音视频互动数据的速度与数据准确性。
可选地，还包括：
通过信令服务器分别设置所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据对应的信令，将设置信令后的所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端，并获取所述学生互动信息，将所述学生互动信息传输给所述嵌入式设备。
在本申请的第二个方面，还提出了一种用于线上教学的设备通信系统，包括：教师端和嵌入式设备；
所述教师端，用于采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给所述嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示；
所述嵌入式设备，用于将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示。
可选地，所述教学互动数据，包括：
教师白板互动数据、教师课堂互动数据、教师聊天互动数据和教学音视频控制数据。
可选地，所述教师端，包括：预处理模块和显示模块；
所述预处理模块，用于对所述教师白板互动数据进行预处理，并利用所述消息队列遥测传输协议将所述教师课堂互动数据、所述教师聊天互动数据、所述教学音视频控制数据和所述预处理后的教师白板互动数据发送给所述嵌入式设备；其中所述教师白板互动数据，包括画笔数据、图片数据和文档数据；
所述显示模块，用于接收所述嵌入式设备传输的所述学生互动数据，并显示所述学生互动数据。
可选地，所述预处理模块，包括：封装单元和定位单元；
所述封装单元，用于采集画笔数据，并对所述画笔数据进行封装，生成画笔封装信息；
所述定位单元，用于分别在所述图片数据与所述文档数据中插入定位符，生成图片定位信息和文档定位信息。
可选地，所述嵌入式设备，包括：编码模块、解封模块、第一传输模块、解码模块和第二传输模块；
所述编码模块，用于基于所述教学音视频控制数据生成控制信号，并基于所述控制信号采集教学音视频互动数据，对所述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给所述学生端进行显示；
所述解封模块，用于对所述预处理后的教师白板互动数据进行解封，生成教学白板数据，并将所述教学白板数据发送给所述第二传输模块；
所述第一传输模块，用于利用用户数据包协议将所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端；
所述解码模块，用于采集学生音视频数据，将所述学生音视频数据进行解码，将解码后的学生音视频数据进行显示；
所述第二传输模块，用于获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端；其中，所述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
可选地，所述第二传输模块，还用于采集所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用所述消息队列遥测传输协议将所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据发送给所述教师端。
可选地，还包括：信令服务器；
所述信令服务器连接所述嵌入式设备与所述学生端，用于分别设置所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据对应的信令，将设置信令后的所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端，并获取所述学生互动信息，将所述学生互动信息传输给所述嵌入式设备。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中一种用于线上教学的设备通信方法的流程图；
图2为本发明实施例1中一种用于线上教学的设备通信方法的示意图；
图3为本发明实施例1中步骤S101的流程图；
图4为本发明实施例1中步骤S1011的流程图；
图5为本发明实施例1中步骤S102的流程图；
图6为本发明实施例1中一种用于线上教学的设备通信系统的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本施例提供一种用于线上教学的设备通信方法，如图1-2所示，包括：
S101、教师端采集教学互动数据，将上述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将上述学生互动数据进行显示。
具体的，消息队列遥测传输协议指MQTT(Message Queuing TelemetryTransport)协议，MQTT协议分别设置在教师端与嵌入式设备中，MQTT协议为工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。
进一步地，如图2所示，PC客户端(即教师端)与嵌入式设备通过MQTT协议进行数据传输，PC客户端向嵌入式设备发送检测请求，当获取到嵌入式设备状态应答时，基于上课房间号向嵌入式设备继续向嵌入式设备发送加入房间请求，当获取到加入房间应答后实现对教学互动数据的订阅。
其中，上述教学互动数据，包括：教师白板互动数据(画笔、图片、PPT、Word文档等数据)、教师课堂互动数据(答题器、举手、随机选人等数据)、教师聊天互动数据和教学音视频控制数据；教学音视频控制数据指的是对嵌入式设备中的麦克风、摄像头、二路流、视频布局、录制、直播、设备锁屏、抬头屏等进行控制的控制指令。
进一步地，PC客户端与嵌入式设备通过MQTT协议进行数据传输互动实现订阅cmd(Command Prompt，命令提示符)命令主题，通过上课房间号作为过滤，PC客户端操作功能控制按钮后，生成教学音视频控制数据，嵌入式设备通过教学音视频控制数据进行音视频推流、直播、录制、画面跟踪等操作，并且PC客户端基于嵌入式设备的操作响应更新相对应的控制按钮状态(开/关)。
S102、嵌入式设备将上述预处理后的教学互动数据发送给学生端进行显示，并获取上述学生互动数据与学生音视频数据，利用上述消息队列遥测传输协议将上述学生互动数据发送给上述教师端，将上述学生音视频数据进行显示。
具体的，嵌入式设备通过专用的音频子卡进行拾音，其摄像机内置画面跟踪功能，以实现画面跟踪拍摄。
其中，上述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
上述一种用于线上教学的设备通信方法，教师端和嵌入式设备利用消息队列遥测传输协议进行双向通信，并且消息队列遥测传输协议可应用于网络不稳定，硬件配置低的场景，在该场景下仍然能够提供较好的通信，保证了线上教学通信质量，并且将嵌入式设备的音视频数据同教师端的课堂互动数据相结合，实现了线上互动教学，提高了上课成员的参与感。
优选地，如图3所示，上述步骤S101，即上述教师端采集教学互动数据，将上述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将上述学生互动数据进行显示，包括：
S1011、对上述教师白板互动数据进行预处理，并利用上述消息队列遥测传输协议将上述教师课堂互动数据、上述教师聊天互动数据、上述教学音视频控制数据和上述预处理后的教师白板互动数据发送给上述嵌入式设备；其中上述教师白板互动数据，包括画笔数据、图片数据和文档数据。
S1012、接收上述嵌入式设备传输的上述学生互动数据，并显示上述学生互动数据。
优选地，如图4所示，上述步骤S1011，即上述对上述教师白板互动数据进行预处理，包括：
S10111、采集画笔数据，并对上述画笔数据进行封装，生成画笔封装信息。
具体的，通过google protobuf格式(Protobuf是Google开源的一款类似于json，XML数据交换格式，其内部数据是纯二进制格式，不依赖于语言和平台，具有简单，数据量小，快速等优点)对画笔数据进行封装。
S10112、分别在上述图片数据与上述文档数据中插入定位符，生成图片定位信息和文档定位信息。
具体的，将图片数据与文档数据利用url(Uniform Resource Locator，统一资源定位符)插入定位符，生成图片定位信息和文档定位信息。
优选地，如图5所示，上述步骤S102，即上述嵌入式设备将上述预处理后的教学互动数据发送给学生端进行显示，并获取上述学生互动数据与学生音视频数据，利用上述消息队列遥测传输协议将上述学生互动数据发送给上述教师端，将上述学生音视频数据进行显示，包括：
S1021、基于上述教学音视频控制数据生成控制信号，并基于上述控制信号采集教学音视频互动数据，对上述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给上述学生端进行显示。
其中，嵌入式设备采用专业音视频SOC(System on Chip，系统级芯片)，内置了编码模块，编码模块通过RTMP协议(Real Time Messaging Protocol，实时消息传输协议)将编码后的音视频码流(即编码后的教学音视频互动数据)发送到媒体服务器进行直播。
进一步地，如图2所示，编码模块将教学视频互动数据压缩成嵌入式流数据，从而降低音视频的数据量，实现对教学音视频互动数据的编码。
进一步地，编码模块对编码后的音视频码流进行录制，并通过mp4(MovingPicture Experts Group 4，文件格式)文件封装格式将音视频码流保存成文件。
S1022、对上述预处理后的教师白板互动数据进行解封，生成教学白板数据。
S1023、利用用户数据包协议将上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据传输给上述学生端。
具体的，通过UDP协议(User Datagram Protocol，用户数据报协议)生成信令，在将嵌入信令后的上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据进行透传(即透明传输，指的是在通讯中不管传输的业务内容如何，只负责将传输的内容由源地址传输到目的地址，而不对业务数据内容做任何改变)，传输给学生端。
进一步地，如图2所示，也可以设置信令服务器，信令服务器连接嵌入式设备与学生端，并且信令服务器中设置有不同传输对象对应的信令，第二传输模块将教学白板数据、教师课堂互动数据和教师聊天互动数据传输给信令服务器，信令服务器通知房间内其他用户(即学生端，包括PC客户端、app客户端、嵌入式端以及PC客户端与嵌入式相结合，其中，该PC客户端和嵌入式端都是通过信令服务器或媒体服务器直接通信，不需要该PC客户端与嵌入式端通过MQTT通信)，并且，信令服务器可以接收其他用户课堂数据(包括学生白板数据、上述教师课堂互动数据和上述教师聊天互动数据)
需要说明的是，嵌入式设备和教师端安装在同一间教室同一局域网内，信令服务器与媒体服务器部署在公网，或者，信令服务器与媒体服务器也可部署在内网，即学生端的局域网内。
S1024、采集学生音视频数据，将上述学生音视频数据进行解码，将解码后的学生音视频数据进行显示。
具体的，对学生音视频传输数据(即图2中的学生端流数据)进行解码的流程为：打开学生音视频传输数据；从学生音视频传输数据中提取流信息；穷举所有的流，查找其中的种类；基于该种类查找对应的解码器；打开编解码器；为解码帧分配内存；不停地从码流中提取中帧数据；判断帧的类型，用于视频帧调用；解码完后，释放解码器，生成学生音视频互动数据，关闭输入的学生音视频传输数据。
S1025、获取上述学生互动数据，利用上述消息队列遥测传输协议将上述学生互动数据发送给上述教师端；其中，上述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
具体的，采集上述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用上述消息队列遥测传输协议将上述学生白板互动数据、学生课堂互动数据、学生聊天互动数据发送给上述教师端。
实施例2
本实施例提供一种用于线上教学的设备通信系统，如图6所示，包括教师端61和嵌入式设备62；
上述教师端61，用于采集教学互动数据，将上述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给上述嵌入式设备62，并接收学生互动信息，将上述学生互动数据进行显示。
具体的，消息队列遥测传输协议指MQTT(Message Queuing TelemetryTransport)协议，MQTT协议分别设置在教师端61与嵌入式设备62中，MQTT协议为工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。
进一步地，如图2所示，PC客户端(即教师端61)与嵌入式设备62通过MQTT协议进行数据传输，PC客户端向嵌入式设备62发送检测请求，当获取到嵌入式设备62状态应答时，基于上课房间号向嵌入式设备62继续向嵌入式设备62发送加入房间请求，当获取到加入房间应答后实现对教学互动数据的订阅。
其中，上述教学互动数据，包括：教师白板互动数据(画笔、图片、PPT、Word文档等数据)、教师课堂互动数据(答题器、举手、随机选人等数据)、教师聊天互动数据和教学音视频控制数据；教学音视频控制数据指的是对嵌入式设备62中的麦克风、摄像头、二路流、视频布局、录制、直播、设备锁屏、抬头屏等进行控制的控制指令。
进一步地，PC客户端与嵌入式设备62通过MQTT协议进行数据传输互动实现订阅cmd(Command Prompt，命令提示符)命令主题，通过上课房间号作为过滤，PC客户端操作功能控制按钮后，生成教学音视频控制数据，嵌入式设备62通过教学音视频控制数据进行音视频推流、直播、录制、画面跟踪等操作，并且PC客户端基于嵌入式设备62的操作响应更新相对应的控制按钮状态(开/关)。
上述嵌入式设备62，用于将上述预处理后的教学互动数据发送给学生端进行显示，并获取上述学生互动数据与学生音视频数据，利用上述消息队列遥测传输协议将上述学生互动数据发送给上述教师端61，将上述学生音视频数据进行显示。
具体的，嵌入式设备62通过专用的音频子卡进行拾音，其摄像机内置画面跟踪功能，以实现画面跟踪拍摄。
其中，上述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
上述一种用于线上教学的设备通信系统，教师端和嵌入式设备利用消息队列遥测传输协议进行双向通信，并且消息队列遥测传输协议可应用于网络不稳定，硬件配置低的场景，在该场景下仍然能够提供较好的通信，保证了线上教学通信质量，并且将嵌入式设备的音视频数据同教师端的课堂互动数据相结合，实现了线上互动教学，提高了上课成员的参与感。
优选地，上述教师端61，包括：预处理模块611和显示模块612；
上述预处理模块611，用于对上述教师白板互动数据进行预处理，并将预处理后的教师白板互动数据发送给上述第一传输模块4；其中上述教师白板互动数据，包括画笔数据、图片数据和文档数据。
上述显示模块612，用于接收上述嵌入式62设备传输的上述学生互动数据，并显示上述学生互动数据。
优选地，上述预处理模块611，包括：封装单元6111和定位单元6112；
上述封装单元6111，用于采集画笔数据，并对上述画笔数据进行封装，生成画笔封装信息，并将上述画笔封装信息发送给上述第一传输模块4。
具体的，通过google protobuf格式(Protobuf是Google开源的一款类似于json，XML数据交换格式，其内部数据是纯二进制格式，不依赖于语言和平台，具有简单，数据量小，快速等优点)对画笔数据进行封装。
上述定位单元6112，用于分别在上述图片数据与上述文档数据中插入定位符，生成图片定位信息和文档定位信息，并将上述图片定位信息和上述文档定位信息发送给上述第一传输模块4。
具体的，将图片数据与文档数据利用url(Uniform Resource Locator，统一资源定位符)插入定位符，生成图片定位信息和文档定位信息。
优选地，上述嵌入式设备62，包括：621、解封模块622、第一传输模块623、解码模块624和第二传输模块625；
上述621，用于基于上述教学音视频控制数据生成控制信号，并基于上述控制信号采集教学音视频互动数据，对上述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给上述学生端进行显示。
其中，嵌入式设备62采用专业音视频SOC(System on Chip，系统级芯片)，内置了621，621通过RTMP协议(Real Time Messaging Protocol，实时消息传输协议)将编码后的音视频码流(即编码后的教学音视频互动数据)发送到媒体服务器进行直播。
进一步地，如图2所示，621将教学视频互动数据压缩成嵌入式流数据，从而降低音视频的数据量，实现对教学音视频互动数据的编码。
进一步地，621对编码后的音视频码流进行录制，并通过mp4(Moving PictureExperts Group 4，文件格式)文件封装格式将音视频码流保存成文件。
上述解封模块622，用于对上述预处理后的教师白板互动数据进行解封，生成教学白板数据，并将上述教学白板数据发送给上述第一传输模块623。
具体的，上述解封模块622对上述画笔封装信息进行解封，并将解封后的画笔封装信息、上述图片定位信息和上述文档定位信息发送给上述第一传输模块623，第一传输模块623将解封后的画笔封装信息、上述图片定位信息和上述文档定位信息嵌入信令，进而传输给学生端。
上述第一传输模块623，用于利用用户数据包协议分别在上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据嵌入信令，并将嵌入信令后的上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据传输给上述学生端。
具体的，通过UDP协议(User Datagram Protocol，用户数据报协议)生成信令，第一传输模块623在将嵌入信令后的上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据进行透传(即透明传输，指的是在通讯中不管传输的业务内容如何，只负责将传输的内容由源地址传输到目的地址，而不对业务数据内容做任何改变)，传输给学生端。
上述解码模块624，用于采集学生音视频数据，将上述学生音视频数据进行解码，将解码后的学生音视频数据进行显示。
具体的，解码模块624对学生音视频传输数据(即图2中的学生端流数据)进行解码的流程为：打开学生音视频传输数据；从学生音视频传输数据中提取流信息；穷举所有的流，查找其中的种类；基于该种类查找对应的解码器；打开编解码器；为解码帧分配内存；不停地从码流中提取中帧数据；判断帧的类型，用于视频帧调用；解码完后，释放解码器，生成学生音视频互动数据，关闭输入的学生音视频传输数据。
上述第二传输模块625，用于获取上述学生互动数据，利用上述消息队列遥测传输协议将上述学生互动数据发送给上述教师端61。
具体的，第二传输模块625采集上述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用上述消息队列遥测传输协议将上述学生白板互动数据、学生课堂互动数据、学生聊天互动数据发送给上述教师端61。
优选地，还包括：信令服务器63；
上述信令服务器63连接上述嵌入式设备与上述学生端，用于分别设置上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据对应的信令，并将设置信令后的上述教学白板数据、上述教师课堂互动数据和上述教师聊天互动数据传输给上述学生端，并获取上述学生互动信息，将上述学生互动信息传输给上述嵌入式设备。
具体的，如图2所示，也可以设置信令服务器，信令服务器连接嵌入式设备62与学生端，并且信令服务器中设置有不同传输对象对应的信令，第一传输模块623将教学白板数据、教师课堂互动数据和教师聊天互动数据传输给信令服务器，信令服务器通知房间内其他用户(即学生端，包括PC客户端、app客户端、嵌入式端以及PC客户端与嵌入式相结合，其中，该PC客户端和嵌入式端都是通过信令服务器或媒体服务器直接通信，不需要该PC客户端与嵌入式端通过MQTT通信)，并且，信令服务器可以接收其他用户课堂数据(包括学生白板数据、上述教师课堂互动数据和上述教师聊天互动数据)。
需要说明的是，嵌入式设备62和教师端61安装在同一间教室同一局域网内，信令服务器与媒体服务器部署在公网，或者，信令服务器与媒体服务器也可部署在内网，即学生端的局域网内。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (14)
1.一种用于线上教学的设备通信方法，其特征在于，包括：
教师端采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示；
嵌入式设备将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示。
2.根据权利要求1所述的一种用于线上教学的设备通信方法，其特征在于，所述教学互动数据，包括：
教师白板互动数据、教师课堂互动数据、教师聊天互动数据和教学音视频控制数据。
3.根据权利要求2所述的一种用于线上教学的设备通信方法，其特征在于，所述教师端采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示，包括：
对所述教师白板互动数据进行预处理，并利用所述消息队列遥测传输协议将所述教师课堂互动数据、所述教师聊天互动数据、所述教学音视频控制数据和所述预处理后的教师白板互动数据发送给所述嵌入式设备；其中所述教师白板互动数据，包括画笔数据、图片数据和文档数据；
接收所述嵌入式设备传输的所述学生互动数据，并显示所述学生互动数据。
4.根据权利要求3所述的一种用于线上教学的设备通信方法，其特征在于，所述对所述教师白板互动数据进行预处理，包括：
采集画笔数据，并对所述画笔数据进行封装，生成画笔封装信息；
分别在所述图片数据与所述文档数据中插入定位符，生成图片定位信息和文档定位信息。
5.根据权利要求4所述的一种用于线上教学的设备通信方法，其特征在于，所述嵌入式设备将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示，包括：
基于所述教学音视频控制数据生成控制信号，并基于所述控制信号采集教学音视频互动数据，对所述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给所述学生端进行显示；
对所述预处理后的教师白板互动数据进行解封，生成教学白板数据；
利用用户数据包协议将所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端；
采集学生音视频数据，将所述学生音视频数据进行解码，将解码后的学生音视频数据进行显示；
获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端；其中，所述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
6.根据权利要求5所述的一种用于线上教学的设备通信方法，其特征在于，所述获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，包括：
采集所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用所述消息队列遥测传输协议将所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据发送给所述教师端。
7.根据权利要求5所述的一种用于线上教学的设备通信方法，其特征在于，还包括：
通过信令服务器分别设置所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据对应的信令，将设置信令后的所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端，并获取所述学生互动信息，将所述学生互动信息传输给所述嵌入式设备。
8.一种用于线上教学的设备通信系统，其特征在于，包括：教师端和嵌入式设备；
所述教师端，用于采集教学互动数据，将所述教学互动数据进行预处理，利用消息队列遥测传输协议将预处理后的教学互动数据发送给所述嵌入式设备，并接收学生互动信息，将所述学生互动数据进行显示；
所述嵌入式设备，用于将所述预处理后的教学互动数据发送给学生端进行显示，并获取所述学生互动数据与学生音视频数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端，将所述学生音视频数据进行显示。
9.根据权利要求8所述的一种用于线上教学的设备通信系统，其特征在于，所述教学互动数据，包括：
教师白板互动数据、教师课堂互动数据、教师聊天互动数据和教学音视频控制数据。
10.根据权利要求9所述的一种用于线上教学的设备通信系统，其特征在于，所述教师端，包括：预处理模块和显示模块；
所述预处理模块，用于对所述教师白板互动数据进行预处理，并利用所述消息队列遥测传输协议将所述教师课堂互动数据、所述教师聊天互动数据、所述教学音视频控制数据和所述预处理后的教师白板互动数据发送给所述嵌入式设备；其中所述教师白板互动数据，包括画笔数据、图片数据和文档数据；
所述显示模块，用于接收所述嵌入式设备传输的所述学生互动数据，并显示所述学生互动数据。
11.根据权利要求10所述的一种用于线上教学的设备通信系统，其特征在于，所述预处理模块，包括：封装单元和定位单元；
所述封装单元，用于采集画笔数据，并对所述画笔数据进行封装，生成画笔封装信息；
所述定位单元，用于分别在所述图片数据与所述文档数据中插入定位符，生成图片定位信息和文档定位信息。
12.根据权利要求8所述的一种用于线上教学的设备通信系统，其特征在于，所述嵌入式设备，包括：编码模块、解封模块、第一传输模块、解码模块和第二传输模块；
所述编码模块，用于基于所述教学音视频控制数据生成控制信号，并基于所述控制信号采集教学音视频互动数据，对所述教学音视频互动数据进行编码，将编码后的教学音视频互动数据通过媒体服务器转发给所述学生端进行显示；
所述解封模块，用于对所述预处理后的教师白板互动数据进行解封，生成教学白板数据，并将所述教学白板数据发送给所述第二传输模块；
所述第一传输模块，用于利用用户数据包协议将所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端；
所述解码模块，用于采集学生音视频数据，将所述学生音视频数据进行解码，将解码后的学生音视频数据进行显示；
所述第二传输模块，用于获取所述学生互动数据，利用所述消息队列遥测传输协议将所述学生互动数据发送给所述教师端；其中，所述学生互动数据，包括：学生白板互动数据、学生课堂互动数据和学生聊天互动数据。
13.根据权利要求12所述的一种用于线上教学的设备通信系统，其特征在于，所述第二传输模块，还用于采集所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据，并利用所述消息队列遥测传输协议将所述学生白板互动数据、学生课堂互动数据和学生聊天互动数据发送给所述教师端。
14.根据权利要求12所述的一种用于线上教学的设备通信系统，其特征在于，还包括：信令服务器；
所述信令服务器连接所述嵌入式设备与所述学生端，用于分别设置所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据对应的信令，将设置信令后的所述教学白板数据、所述教师课堂互动数据和所述教师聊天互动数据传输给所述学生端，并获取所述学生互动信息，将所述学生互动信息传输给所述嵌入式设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210556793.XA CN114863741A (zh) | 2022-05-20 | 2022-05-20 | 一种用于线上教学的设备通信方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210556793.XA CN114863741A (zh) | 2022-05-20 | 2022-05-20 | 一种用于线上教学的设备通信方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114863741A true CN114863741A (zh) | 2022-08-05 |
Family
ID=82639517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210556793.XA Pending CN114863741A (zh) | 2022-05-20 | 2022-05-20 | 一种用于线上教学的设备通信方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863741A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1777274A (zh) * | 2005-11-29 | 2006-05-24 | 中国科学技术大学 | 基于运动音视频标准文件格式的流媒体内容保护方法 |
| CN102761746A (zh) * | 2012-07-12 | 2012-10-31 | 国家计算机网络与信息安全管理中心 | 基于众核平台的音视频解码方法 |
| CN104468714A (zh) * | 2014-10-30 | 2015-03-25 | 锐达互动科技股份有限公司 | 一种通过服务端与客户端互动实现广播教学的方法 |
| CN107295317A (zh) * | 2017-08-25 | 2017-10-24 | 四川长虹电器股份有限公司 | 一种移动设备音视频流实时传输方法 |
| CN108897507A (zh) * | 2018-05-02 | 2018-11-27 | 华南理工大学 | 一种基于安卓端智慧课堂的白板同步显示方法及系统 |
| CN111262920A (zh) * | 2020-01-13 | 2020-06-09 | 深圳市鸿合创新信息技术有限责任公司 | 一种数据同步方法及交互式电子白板、服务器 |
| CN111277844A (zh) * | 2020-01-15 | 2020-06-12 | 酷得少年(天津)文化传播有限公司 | 一种用于教学的直播系统及设备 |
| CN111367689A (zh) * | 2020-03-02 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 在线文档的互动提示信息发送方法、装置及电子设备 |
| WO2020168499A1 (zh) * | 2019-02-20 | 2020-08-27 | 深圳市鹰硕技术有限公司 | 一种同屏教学方法、装置和系统、智能设备及存储介质 |
| CN111669606A (zh) * | 2019-03-09 | 2020-09-15 | 苏州知了信息科技有限公司 | 一种线下线上同步教学的直播系统 |
| CN114023122A (zh) * | 2021-11-12 | 2022-02-08 | 上海卡越教育科技有限公司 | 一种课堂互动控制系统及操作方法 |
-
2022
- 2022-05-20 CN CN202210556793.XA patent/CN114863741A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1777274A (zh) * | 2005-11-29 | 2006-05-24 | 中国科学技术大学 | 基于运动音视频标准文件格式的流媒体内容保护方法 |
| CN102761746A (zh) * | 2012-07-12 | 2012-10-31 | 国家计算机网络与信息安全管理中心 | 基于众核平台的音视频解码方法 |
| CN104468714A (zh) * | 2014-10-30 | 2015-03-25 | 锐达互动科技股份有限公司 | 一种通过服务端与客户端互动实现广播教学的方法 |
| CN107295317A (zh) * | 2017-08-25 | 2017-10-24 | 四川长虹电器股份有限公司 | 一种移动设备音视频流实时传输方法 |
| CN108897507A (zh) * | 2018-05-02 | 2018-11-27 | 华南理工大学 | 一种基于安卓端智慧课堂的白板同步显示方法及系统 |
| WO2020168499A1 (zh) * | 2019-02-20 | 2020-08-27 | 深圳市鹰硕技术有限公司 | 一种同屏教学方法、装置和系统、智能设备及存储介质 |
| CN111669606A (zh) * | 2019-03-09 | 2020-09-15 | 苏州知了信息科技有限公司 | 一种线下线上同步教学的直播系统 |
| CN111262920A (zh) * | 2020-01-13 | 2020-06-09 | 深圳市鸿合创新信息技术有限责任公司 | 一种数据同步方法及交互式电子白板、服务器 |
| CN111277844A (zh) * | 2020-01-15 | 2020-06-12 | 酷得少年(天津)文化传播有限公司 | 一种用于教学的直播系统及设备 |
| CN111367689A (zh) * | 2020-03-02 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 在线文档的互动提示信息发送方法、装置及电子设备 |
| CN114023122A (zh) * | 2021-11-12 | 2022-02-08 | 上海卡越教育科技有限公司 | 一种课堂互动控制系统及操作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7996540B2 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| CN106330912B (zh) | 视频直播与双向通话融合的系统及方法 | |
| JP2011519193A (ja) | モバイル端末でリッチビデオを実施するための方法 | |
| JP2000023132A (ja) | データ通信制御装置及びその制御方法、及びデータ通信システム | |
| US20060075054A1 (en) | Method and system for implementing instant communication of images through instant messaging tool | |
| CN107370714A (zh) | 面向云渲染的高效通讯方法 | |
| CN112866619B (zh) | 一种远程会议控制方法、装置、电子设备及存储介质 | |
| CN110784730A (zh) | 直播视频数据的传输方法、装置、设备和存储介质 | |
| CN112203106B (zh) | 直播教学方法、装置、计算机设备和存储介质 | |
| CN111669606A (zh) | 一种线下线上同步教学的直播系统 | |
| CN107105048B (zh) | 一种基于云技术的教学控制方法及系统 | |
| CN112258912A (zh) | 网络互动教学方法、装置、计算机设备和存储介质 | |
| CN108235111A (zh) | 信息共享方法及智能机顶盒 | |
| CN111107301A (zh) | 一种视频会议平台及基于视频会议平台的通讯方法 | |
| CN111385518B (zh) | 视频处理系统及方法、装置、存储介质、电子装置 | |
| CN113542906A (zh) | 一种基于rtsp视频的网页无插件播放方法 | |
| CN111405230B (zh) | 会议信息处理方法、装置、电子设备及存储介质 | |
| CN112714131A (zh) | 一种跨平台连麦的方法、装置、存储介质及电子设备 | |
| CN210986120U (zh) | 一种视联网系统 | |
| CN114863741A (zh) | 一种用于线上教学的设备通信方法及系统 | |
| CN111131853A (zh) | 一种笔迹直播系统及方法 | |
| CN111629277A (zh) | 视频数据传输方法、装置及计算机可读存储介质 | |
| KR20200050774A (ko) | Html5 기반 웹 반응형 콘텐츠 인터렉티브 소셜 러닝 시스템 | |
| CN211830976U (zh) | 一种视频会议平台 | |
| CN112565799B (zh) | 视频数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220805 |
|
| RJ01 | Rejection of invention patent application after publication |