CN114466200A - 一种在线自习室学习状态监测系统及其方法 - Google Patents

一种在线自习室学习状态监测系统及其方法 Download PDF

Info

Publication number
CN114466200A
CN114466200A CN202210053818.4A CN202210053818A CN114466200A CN 114466200 A CN114466200 A CN 114466200A CN 202210053818 A CN202210053818 A CN 202210053818A CN 114466200 A CN114466200 A CN 114466200A
Authority
CN
China
Prior art keywords
user
module
video
learning state
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210053818.4A
Other languages
English (en)
Inventor
于万钧
王震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202210053818.4A priority Critical patent/CN114466200A/zh
Publication of CN114466200A publication Critical patent/CN114466200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种在线自习室学习状态监测系统及其方法，该系统包括分别设置有通信传输模块的用户端和服务端，服务端还设置有视频识别模块和编解码模块；该方法包括：用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端；编解码模块对视频识别模块处理后的视频数据进行编码‑解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。与现有技术相比，本发明能够准确可靠地识别出用户的当前学习状态，从而有利于帮助用户调整提高自身的学习效率。

Description

一种在线自习室学习状态监测系统及其方法
技术领域
本发明涉及直播视频图像处理分析技术领域，尤其是涉及一种在线自习室学习状态监测系统及其方法。
背景技术
随着当下互联网信息化浪潮的迅速发展，计算机技术也在跟着不断更新迭代。同时，伴随着网络教育的出现，网络在线自习室也应运而生，又称“云自习室”、“云上自习室”或“云端自习室”，是一种用互联网技术打造的在线自习室。在线自习室打破了时间、空间的束缚，比线下自习室更便捷，形式更多样，目前，在线自习室主要有三种类型：语音自习室、视频自习室、虚拟自习室。
基于在线自习室，用户可以不限时间、不限空间地进行面对面的交流学习，然而，传统的在线虚拟自习室大多仅具有简单的面对面学习和普通的社区讨论功能，而无法保证用户的学习使用效果，导致用户的学习效率降低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种在线自习室学习状态监测系统及其方法，通过对用户的姿态信息进行识别，以得到用户的学习状态信息，从而帮助用户调整提高自身的学习效率。
本发明的目的可以通过以下技术方案来实现：一种在线自习室学习状态监测系统，包括用户端和服务端，所述用户端和服务端分别设置有通信传输模块，所述服务端设置有视频识别模块和编解码模块，所述通信传输模块用于实现用户端与服务端之间的数据信息传输，所述视频识别模块用于对视频数据进行处理，并从视频数据中分析得到用户的学习状态信息，所述编解码模块用于对处理后的视频数据进行编解码，以得到可观看的视频流。
进一步地，所述用户端安装有用于采集用户视频数据的拍摄装置，所述拍摄装置与用户端的通信传输模块相连接。
进一步地，所述视频识别模块与服务端的通信传输模块双向连接，所述视频识别模块单向连接至编解码模块。
进一步地，所述服务端的通信传输模块分别与多个用户端的通信传输模块相连接，以实现服务端与多个用户端之间的数据信息传输。
进一步地，所述视频识别模块包括截取单元和识别单元，所述截取单元用于从视频数据中按帧截取出图像，并将每帧图像输入到识别单元；
所述识别单元用于从帧图像中检测识别出用户的学习状态信息，并传输给服务端的通信传输模块。
一种在线自习室学习状态监测方法，包括以下步骤：
S1、用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；
S2、视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端；
S3、编解码模块对视频识别模块处理后的视频数据进行编码-解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。
进一步地，所述步骤S2具体包括以下步骤：
S21、视频识别模块对服务端接收的视频数据进行按帧截取；
S22、将截取得到的每帧图像按顺序输入至预先训练好的识别网络，以识别得到用户的人体信息和关键点信息；
S23、基于用户的人体信息和关键点信息，通过信息整合计算，得到对应的学习状态信息。
进一步地，所述识别网络包括YOLOv5网络和Stacked Hourglass网络，所述YOLOv5网络用于识别用户的人体信息，所述Stacked Hourglass网络用于识别关键点信息。
进一步地，所述学习状态信息包括三类状态：正在学习中、疑似学习中和未在学习。
进一步地，所述步骤S3中编解码模块具体是采用h264技术对按帧截取的帧图像进行编解码操作，该编解码模块支持H.264的扩展SEI消息发送机制；支持H.265解码，直播播放器支持的功能；支持RTMP扩展AES/SM4加解密，确保音视频数据安全性。
与现有技术相比，本发明通过在用户端和服务端分别设置通信传输模块，并在服务端设置视频识别模块和编解码模块，利用通信传输模块实现用户端与服务端之间的数据信息传输，利用视频识别模块从视频数据中分析得到用户的学习状态信息，利用编解码模块对视频数据进行编解码，以得到可观看的视频流，由此使得用户端能够实时获知当前用户自身的学习状态信息，同时可观看所有在线用户端的视频信息，进而帮助用户提高自身学习效率、避免出现长时间不在学习状态的现象。
本发明在视频识别模块采用识别网络模型，以从视频数据中识别出用户的学习状态信息，该识别网络模型包括YOLOv5网络和Stacked Hourglass网络，其中，YOLOv5模型能够有效地识别人体的位置信息，Stacked Hourglass网络则能高效快速地检测人体的关键点，由此保证了用户学习状态信息识别的准确性以及速度，从而使得用户端能够及时可靠地获知自身当前学习状态，进而及时进行相应调整。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的方法流程示意图；
图3为实施例的应用过程示意图；
图中标记说明：1、用户端，2、服务端，3、通信传输模块，201、视频识别模块，202、编解码模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种在线自习室学习状态监测系统，包括用户端1和服务端2，用户端1和服务端2分别设置有通信传输模块3，服务端2设置有视频识别模块201和编解码模块202，通信传输模块3用于实现用户端1与服务端2之间的数据信息传输，视频识别模块201用于对视频数据进行处理，并从视频数据中分析得到用户的学习状态信息，编解码模块202用于对处理后的视频数据进行编解码，以得到可观看的视频流。
其中，用户端1还安装有用于采集用户视频数据的拍摄装置，拍摄装置与用户端1的通信传输模块3相连接。
视频识别模块201与服务端2的通信传输模块3双向连接，视频识别模块201单向连接至编解码模块202。
服务端2的通信传输模块3分别与多个用户端1的通信传输模块3相连接，以实现服务端2与多个用户端1之间的数据信息传输。
此外，视频识别模块201包括截取单元和识别单元，截取单元用于从视频数据中按帧截取出图像，并将每帧图像输入到识别单元；
识别单元202则用于从帧图像中检测识别出用户的学习状态信息，并传输给服务端2的通信传输模块3。
将上述系统应用于实际，以实现一种在线自习室学习状态监测方法，如图2所示，包括以下步骤：
S1、用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；
S2、视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端，具体的：
视频识别模块首先对服务端接收的视频数据进行按帧截取；
之后将截取得到的每帧图像按顺序输入至预先训练好的识别网络，以识别得到用户的人体信息和关键点信息，其中，识别网络包括YOLOv5网络和Stacked Hourglass网络，YOLOv5网络用于识别用户的人体信息，Stacked Hourglass网络用于识别关键点信息；
再基于用户的人体信息和关键点信息，通过信息整合计算，得到对应的学习状态信息，本实施例中，将学习状态信息分为三类：正在学习中、疑似学习中和未在学习；
S3、编解码模块对视频识别模块处理后的视频数据进行编码-解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。本实施例中，编解码模块具体是采用h264技术对按帧截取的帧图像进行编解码操作，并支持H.264的扩展SEI消息发送机制；支持H.265解码，直播播放器支持的功能；支持RTMP扩展AES/SM4加解密，确保音视频数据安全性。
本实施例应用上述技术方案，采用Java作为编程语言，使用Sping作为开发框架，在模型上，选择YOLOv5模型和Stacked Hourglass网络，具体应用过程如图3所示：
一、配置Spring Cloud环境，设置IntelliJ Idea、Java、MySQL、Tomcat等系统参数。
二、通过是用户的设备采集视频数据；
三、对采集到的视频数据处理，以识别出用户的学习状态信息；
四、将处理后的视频数据重新编解码成可传输可观看的视频流；
五、将视频流分发推流，即将视频流通过网络传输到各用户的设备上。
在进行数据信息的传输时，包括视频数据从用户端传输到服务端、再分发到自习室各用户端的这个过程；视频识别则主要是对视频中的人体信息的检测与跟踪，检测到用户的人体特征和关键点，再利用人体姿态算法分析得到用户的当前学习状态。
本技术方案中，人体检测与跟踪，采用的是YOLOv5模型，可以有效地识别人体的位置信息，人体关键点检测采用的是Stacked Hourglass网络，该网络能高效快速地检测人体的关键点，并加以算法进行分析，最终得到用户当前的学习状态。
在视频传输方面，首先是主播方(每个进入在线自习室的用户都是主播方)，它是产生视频流的源头，由一系列流程组成：第一，通过是用户的设备采集视频流数据；第二，对采集到的视频流数据处理；第三，将处理后的视频流重新编解码成可传输可观看的视频流；第四，将处理后的视频流分发推流，即将视频流通过网络传输到各学习者的设备上。
对视频流进行处理时，首先获取到视频流，将获取到的视频流按帧进行截取，将每帧图像输入到提前训练好的YOLOv5网络和Stacked Hourglass网络中，这两个网络能够识别到用户的人体信息和关键点信息，并经过算法的二者信息的整合，输出该学习者的学习状态，目前状态有三个等级，分别是：正在学习中；疑似正在学习中；未在学习。
对视频流进行编解码时，视频的编解码采用h264技术，基于UDP进行传输，将采集到的视频分别进行编码-解码操作，同时支持H.264的扩展SEI消息发送机制；支持H.265解码，直播播放器支持的功能；支持RTMP扩展AES/SM4加解密，确保音视频数据安全性。

Claims (10)

1.一种在线自习室学习状态监测系统，其特征在于，包括用户端(1)和服务端(2)，所述用户端(1)和服务端(2)分别设置有通信传输模块(3)，所述服务端(2)设置有视频识别模块(201)和编解码模块(202)，所述通信传输模块(3)用于实现用户端(1)与服务端(2)之间的数据信息传输，所述视频识别模块(201)用于对视频数据处理，并从视频数据中分析得到用户的学习状态信息，所述编解码模块(202)用于对处理后的视频数据进行编解码，以得到可观看的视频流。
2.根据权利要求1所述的一种在线自习室学习状态监测系统，其特征在于，所述用户端(1)安装有用于采集用户视频数据的拍摄装置，所述拍摄装置与用户端(1)的通信传输模块(3)相连接。
3.根据权利要求1所述的一种在线自习室学习状态监测系统，其特征在于，所述视频识别模块(201)与服务端(2)的通信传输模块(3)双向连接，所述视频识别模块(201)单向连接至编解码模块(202)。
4.根据权利要求1所述的一种在线自习室学习状态监测系统，其特征在于，所述服务端(2)的通信传输模块(3)分别与多个用户端(1)的通信传输模块(3)相连接，以实现服务端(2)与多个用户端(1)之间的数据信息传输。
5.根据权利要求1所述的一种在线自习室学习状态监测系统，其特征在于，所述视频识别模块(201)包括截取单元和识别单元，所述截取单元用于从视频数据中按帧截取出图像，并将每帧图像输入到识别单元；
所述识别单元用于从帧图像中检测识别出用户的学习状态信息，并传输给服务端(2)的通信传输模块(3)。
6.一种在线自习室学习状态监测方法，其特征在于，包括以下步骤：
S1、用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；
S2、视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端；
S3、编解码模块对视频识别模块处理后的视频数据进行编码-解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。
7.根据权利要求6所述的一种在线自习室学习状态监测方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、视频识别模块对服务端接收的视频数据进行按帧截取；
S22、将截取得到的每帧图像按顺序输入至预先训练好的识别网络，以识别得到用户的人体信息和关键点信息；
S23、基于用户的人体信息和关键点信息，通过信息整合计算，得到对应的学习状态信息。
8.根据权利要求7所述的一种在线自习室学习状态监测方法，其特征在于，所述识别网络包括YOLOv5网络和Stacked Hourglass网络，所述YOLOv5网络用于识别用户的人体信息，所述Stacked Hourglass网络用于识别关键点信息。
9.根据权利要求7所述的一种在线自习室学习状态监测方法，其特征在于，所述学习状态信息包括三类状态：正在学习中、疑似学习中和未在学习。
10.根据权利要求6所述的一种在线自习室学习状态监测方法，其特征在于，所述步骤S3中编解码模块具体是采用h264技术对按帧截取后的帧图像进行编解码操作，所述编解码模块支持H.264的扩展SEI消息发送机制；支持H.265解码，直播播放器支持的功能；支持RTMP扩展AES/SM4加解密，确保音视频数据安全性。
CN202210053818.4A 2022-01-18 2022-01-18 一种在线自习室学习状态监测系统及其方法 Pending CN114466200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053818.4A CN114466200A (zh) 2022-01-18 2022-01-18 一种在线自习室学习状态监测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210053818.4A CN114466200A (zh) 2022-01-18 2022-01-18 一种在线自习室学习状态监测系统及其方法

Publications (1)

Publication Number Publication Date
CN114466200A true CN114466200A (zh) 2022-05-10

Family

ID=81409032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210053818.4A Pending CN114466200A (zh) 2022-01-18 2022-01-18 一种在线自习室学习状态监测系统及其方法

Country Status (1)

Country Link
CN (1) CN114466200A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303464A (zh) * 2016-09-30 2017-01-04 广西师范大学 一种无线视频监控服务端、客户端、系统和处理方法
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互系统及其交互方法
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统
CN112307855A (zh) * 2019-08-07 2021-02-02 北京字节跳动网络技术有限公司 一种用户状态检测方法、装置、电子设备及存储介质
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN113507616A (zh) * 2021-05-26 2021-10-15 深圳点猫科技有限公司 一种在线课堂的巡堂互动控制方法、装置、系统及介质
CN113723354A (zh) * 2021-09-14 2021-11-30 联想(北京)有限公司 信息处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303464A (zh) * 2016-09-30 2017-01-04 广西师范大学 一种无线视频监控服务端、客户端、系统和处理方法
CN109523852A (zh) * 2018-11-21 2019-03-26 合肥虹慧达科技有限公司 基于视觉监控的学习交互系统及其交互方法
CN112307855A (zh) * 2019-08-07 2021-02-02 北京字节跳动网络技术有限公司 一种用户状态检测方法、装置、电子设备及存储介质
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN113507616A (zh) * 2021-05-26 2021-10-15 深圳点猫科技有限公司 一种在线课堂的巡堂互动控制方法、装置、系统及介质
CN113723354A (zh) * 2021-09-14 2021-11-30 联想(北京)有限公司 信息处理方法及装置

Similar Documents

Publication Publication Date Title
EP4099709A1 (en) Data processing method and apparatus, device, and readable storage medium
US11663222B2 (en) Voice query refinement to embed context in a voice query
CN111274910A (zh) 场景互动方法、装置及电子设备
CN102655585B (zh) 视频会议系统及其时延测试方法、装置和系统
CN112906624B (zh) 一种基于音视频多模态时序预测的视频数据特征提取方法
RU2010127310A (ru) Система и способ сжатия интерактивного потокового видео
CN102438173A (zh) 一种远程控制机顶盒的方法及系统
CN110650134B (zh) 一种信号处理方法、装置、电子设备以及存储介质
CN104410923A (zh) 基于视频聊天室的动画呈现方法及装置
CN107071055A (zh) 远程医疗会诊方法、系统及web应用端
CN114363623A (zh) 图像处理方法、装置、介质及电子设备
CN111641799B (zh) 一种视频会议系统及其音频质量诊断方法
CN112149551A (zh) 一种基于嵌入式设备和深度学习的安全帽识别方法
CN116229307A (zh) 基于抽帧策略的目标识别方法、系统、设备及存储介质
Sun et al. Elasticedge: An intelligent elastic edge framework for live video analytics
CN109862375B (zh) 云录播系统
Gündüz et al. Guest editorial special issue on beyond transmitting bits: Context, semantics, and task-oriented communications
CN116760884B (zh) 一种海洋大数据云服务系统与应用方法
CN113794687A (zh) 基于深度学习的恶意加密流量检测方法及装置
CN114466200A (zh) 一种在线自习室学习状态监测系统及其方法
CN111949501A (zh) It系统运行风险监控方法及装置
CN116824480A (zh) 基于DeepStream的监控视频分析方法及系统
CN110753243A (zh) 图像处理方法、图像处理服务器及图像处理系统
WO2023030321A1 (zh) 视线角度调整方法、装置、电子设备及存储介质
CN114205151A (zh) 基于多特征融合学习的http/2页面访问流量识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination