CN110543828A - 基于可穿戴设备和多模态智能分析的学生注意力分析系统 - Google Patents
基于可穿戴设备和多模态智能分析的学生注意力分析系统 Download PDFInfo
- Publication number
- CN110543828A CN110543828A CN201910728874.1A CN201910728874A CN110543828A CN 110543828 A CN110543828 A CN 110543828A CN 201910728874 A CN201910728874 A CN 201910728874A CN 110543828 A CN110543828 A CN 110543828A
- Authority
- CN
- China
- Prior art keywords
- student
- attention
- data
- analysis
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于可穿戴设备和多模态智能分析的学生注意力分析系统，其主要步骤为：首先，每个学生佩戴头戴式设备用于获取实时视频和姿态数据，经过编码后，通过无线网络传输至多模态智能分析服务器；多模态智能分析服务器经过解码，取得视频和姿态数据；然后，利用基于深度神经网络的多目标检测算法对视频中的教师和投影仪幕布进行幕布检测，确定这两种目标在视频中的位置；最后，融合姿态数据和视频检测数据对当前学生的注意力进行分析，将一段时间的注意力结果进行显示和上报。本发明一方面有助于家长了解孩子自身课堂注意力的情况，另一方面也帮助教师在教学过程中掌握学生的整体状态，以便教师对课堂进行有效调节，提高课堂的教学效率。
Description
技术领域
本发明属于多媒体信息处理与物联网技术领域，具体涉及一种基于可穿戴设备和多模态智能分析的学生课堂注意力分析系统。
背景技术
学生上课时的注意力是否集中是体现学习效率，反映教学质量的重要指标。传统的对学生注意力的分析主要采用的是课堂观察或量表对照等手段，在信息化、规范化和智能化等方面存在明显的不足和滞后。随着信息技术的高速发展，特别是多媒体信息处理和物联网的智能化发展，为弥补上述问题提供了可能。
发明内容
针对现有方法的不足，本发明的目的在于提供一种可实时自动获取学生注意力状态的基于可穿戴设备和多模态智能分析的学生注意力分析系统。
为了达到以上目的，本发明基于多模态智能分析和物联网技术，通过视频数据采集、无线传输、视频分析和信息融合等实现实时自动获取学生注意力状态的功能。
本发明采取的技术方案为：
基于可穿戴设备和多模态智能分析的学生注意力分析系统，包括如下步骤：
S1、利用头戴式设备获取学生当前关注视场的彩色视频数据及头部姿态信息；
S2、将获取的彩色视频数据和头部姿态信息进行编码，并通过无线网络进行传输；
S3、多模态智能分析服务器通过无线网络传输获得编码后的数据，再进行解码，得到学生当前关注视场的彩色视频数据及头部姿态数据；
S4、利用基于深度神经网络的多目标检测器对彩色视频数据进行目标检测，获得注意力关注对象的检测结果；
S5、融合注意力关注对象的检测结果和头部姿态数据，得到学生当前注意力分析的结果；
S6、经过一段时间的分析统计后，将学生的注意力分析结果进行显示和上报。
进一步，上述步骤S1中的头戴式设备包括：用于采集彩色视频数据的摄像机、用于采集头部姿态数据的加速度电子陀螺仪、用于数据传输的无线网络模块和用于为摄像机、加速度电子陀螺仪和无线网络模块供电的电池模块。
步骤S3中所述的多模态智能分析服务器包括CPU、GPU、内存、硬盘和无线路由器。
步骤S4中所述的基于深度神经网络的多目标检测器为YOLOV3模型。
且，步骤S4中所述的注意力关注对象至少包括教师和投影仪幕布两种。
更进一步，在S4步骤中，还包括通过搜集人和投影仪幕布两种图像来训练基于深度神经网络的多目标检测器、进行实时检测视频中人和投影仪幕布两种目标位置的步骤。
此外，步骤S5中所述的头部姿态数据包括头部当前3个姿态角、3个角速度和3个加速度。通过对上述9个值的分析，可以得到当前头部的姿势和晃动的情况。
且，步骤S5中所述的融合指的是：通过注意力关注对象的检测结果可知学生视场的中心是否对准教师或是投影仪幕布，量化抽象得到一个关注度值，同样，通过学生的头部姿态数据，量化抽象得到一个学生姿态值，经过对关注度值和学生姿态值加权相加后得到最终的学生注意力值。
本发明通过头戴式设备中携带的摄像机和加速度电子陀螺仪，可以获得佩戴者当前注视方向的视频数据和头部的姿态信息。基于深度神经网络的多目标检测方法能对视频中的感兴趣目标进行准确的检测，确定感兴趣目标在佩戴者视场内的位置；姿态数据则可以实时体现佩戴者头部的姿势和晃动的状态，反映佩戴者的精神状态。这两种数据可以为计算佩戴者的注意力状态提供充分的信息，将这两种信息进行融合，就可以得到有意义的佩戴者的注意力分析结果。
本发明的有益效果：本发明结合可穿戴设备、物联网、多模态智能分析等技术，基于头戴式摄像机和姿态传感器，通过实时多目标检测和信息融合，获取学生在课堂学习中关注的内容和头部的姿势，经过统计分析后形成学生上课的注意力状态，反馈给教师和家长，帮助教师和家长准确全面地掌握所有学生在课堂教学中的参与情况。一方面有助于家长了解孩子自身课堂注意力的情况，另一方面也帮助教师在教学过程中掌握学生的整体状态，以便教师对课堂进行有效调节，提高课堂的教学效率。
附图说明
图1为本发明中基于可穿戴设备和多模态智能分析的学生注意力分析系统示意图；
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。应当了解，以下提供的实施例仅是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的技术构思，本发明还可以用许多不同的形式来实施，并且不局限于此处描述的实施例。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。
请参阅图1，本实施例提供的基于可穿戴设备和多模态智能分析的学生课堂注意力分析系统，具体步骤为：
S1、利用头戴式设备获取学生当前关注视场的彩色视频数据及头部姿态信息；头戴式设备包括：用于采集彩色视频数据的摄像机、用于采集头部姿态数据的加速度电子陀螺仪、用于数据传输的无线网络模块和用于为摄像机、加速度电子陀螺仪和无线网络模块供电的电池模块；
S2、将获取的彩色视频数据和头部姿态信息进行编码，并通过无线网络进行传输；
S3、多模态智能分析服务器包括CPU(高性能)、GPU(高性能)、高速服务器内存、大容量硬盘和高速无线路由器等设备，多模态智能分析服务器通过无线网络传输获得编码后的数据，再进行解码，得到学生当前关注视场的彩色视频数据及头部姿态数据；
S4、利用基于深度神经网络的多目标检测器对彩色视频数据进行目标检测，获得注意力关注对象的检测结果，此处的基于深度神经网络的多目标检测器采用的是YOLOv3模型，包含有53个卷积层，在一些层之间设置了类似与残差网络的快捷链路。在本实施例中，注意力关注对象包括教师和投影仪幕布两种。通过搜集人和投影仪幕布两种图像来训练基于深度神经网络的多目标检测器、实时检测视频中人和投影仪幕布两种目标位置，本发明搜集了大量的行人和投影仪幕布图像，训练得到可以实现行人和投影仪目标检测的YOLOv3模型作为多目标检测器；
S5、融合目标检测结果和头部姿态数据，得到学生当前注意力分析的结果；头部姿态数据包括头部当前3个姿态角，以及相应的3个角速度和3个加速度。通过对上述9个值的分析，可以得到当前头部的姿势和晃动的情况。在视频中设置感兴趣区，判断多目标检测结果是否处于预设的感兴趣区，可知学生视场的中心是否对准教师或是投影仪幕布，量化抽象得到一个关注度值。同样，通过学生头部姿态数据，量化抽象得到一个学生姿态值。经过对关注度值和学生姿态值加权相加后得到最终的学生注意力值。
S6、经过一段时间的分析统计后，将学生的注意力分析结果进行显示和上报。
Claims (8)
1.基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，包括如下步骤：
S1、利用头戴式设备获取学生当前关注视场的彩色视频数据及头部姿态信息；
S2、将获取的彩色视频数据和头部姿态信息进行编码，并通过无线网络进行传输；
S3、多模态智能分析服务器通过无线网络传输获得编码后的数据，再进行解码，得到学生当前关注视场的彩色视频数据及头部姿态数据；
S4、利用基于深度神经网络的多目标检测器对彩色视频数据进行目标检测，获得注意力关注对象的检测结果；
S5、融合注意力关注对象的检测结果和头部姿态数据，得到学生当前注意力分析的结果；
S6、经过一段时间的分析统计后，将学生的注意力分析结果进行显示和上报。
2.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，所述步骤S1中的头戴式设备包括：用于采集彩色视频数据的摄像机、用于采集头部姿态数据的加速度电子陀螺仪、用于数据传输的无线网络模块和用于为摄像机、加速度电子陀螺仪和无线网络模块供电的电池模块。
3.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，所述步骤S3中所述的多模态智能分析服务器包括CPU、GPU、内存、硬盘和无线路由器。
4.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S4中所述的基于深度神经网络的多目标检测器为YOLOV3模型。
5.根据权利要求1或4所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S4中所述的注意力关注对象至少包括教师和投影仪幕布两种。
6.根据权利要求5所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，在S4步骤中，还包括通过搜集人和投影仪幕布两种图像来训练基于深度神经网络的多目标检测器、进行实时检测视频中人和投影仪幕布两种目标位置的步骤。
7.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S5中所述的头部姿态数据包括头部当前3个姿态角、3个角速度和3个加速度。
8.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S5中所述的融合指的是：通过注意力关注对象的检测结果可知学生视场的中心是否对准教师或是投影仪幕布，量化抽象得到一个关注度值，同样，通过学生的头部姿态数据，量化抽象得到一个学生姿态值，经过对关注度值和学生姿态值加权相加后得到最终的学生注意力值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910728874.1A CN110543828A (zh) | 2019-08-08 | 2019-08-08 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910728874.1A CN110543828A (zh) | 2019-08-08 | 2019-08-08 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110543828A true CN110543828A (zh) | 2019-12-06 |
Family
ID=68710129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910728874.1A Pending CN110543828A (zh) | 2019-08-08 | 2019-08-08 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543828A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507281A (zh) * | 2020-04-21 | 2020-08-07 | 中山大学中山眼科中心 | 一种基于头部运动和注视行为数据的行为识别系统、装置和方法 |
| CN111861275A (zh) * | 2020-08-03 | 2020-10-30 | 河北冀联人力资源服务集团有限公司 | 家政工作模式的识别方法和装置 |
| CN116665111A (zh) * | 2023-07-28 | 2023-08-29 | 深圳前海深蕾半导体有限公司 | 基于视频会议系统的注意力分析方法、系统及存储介质 |
| CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
| CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感（北京）科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
| CN107392120A (zh) * | 2017-07-06 | 2017-11-24 | 电子科技大学 | 一种基于视线估计的注意力智能监督方法 |
| CN107392159A (zh) * | 2017-07-27 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 一种面部专注度检测系统及方法 |
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| CN109919143A (zh) * | 2019-04-24 | 2019-06-21 | 郭钢 | 基于多感官交互体验和学习注意力评估的教育方法 |
-
2019
- 2019-08-08 CN CN201910728874.1A patent/CN110543828A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
| CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感（北京）科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
| CN107392120A (zh) * | 2017-07-06 | 2017-11-24 | 电子科技大学 | 一种基于视线估计的注意力智能监督方法 |
| CN107392159A (zh) * | 2017-07-27 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 一种面部专注度检测系统及方法 |
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| CN109919143A (zh) * | 2019-04-24 | 2019-06-21 | 郭钢 | 基于多感官交互体验和学习注意力评估的教育方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507281A (zh) * | 2020-04-21 | 2020-08-07 | 中山大学中山眼科中心 | 一种基于头部运动和注视行为数据的行为识别系统、装置和方法 |
| CN111861275A (zh) * | 2020-08-03 | 2020-10-30 | 河北冀联人力资源服务集团有限公司 | 家政工作模式的识别方法和装置 |
| CN111861275B (zh) * | 2020-08-03 | 2024-04-02 | 河北冀联人力资源服务集团有限公司 | 家政工作模式的识别方法和装置 |
| CN116665111A (zh) * | 2023-07-28 | 2023-08-29 | 深圳前海深蕾半导体有限公司 | 基于视频会议系统的注意力分析方法、系统及存储介质 |
| CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543828A (zh) | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 | |
| CN112991656A (zh) | 基于姿态估计的全景监控下人体异常行为识别报警系统及方法 | |
| CN106845432A (zh) | 一种人脸与人体共同检测的方法和设备 | |
| CN103514429B (zh) | 检测对象的特定部位的方法及图像处理设备 | |
| CN103099602A (zh) | 基于光学识别的体质检测方法与系统 | |
| Indi et al. | Detection of malpractice in e-exams by head pose and gaze estimation | |
| CN107241572A (zh) | 学员实训视频追踪评价系统 | |
| CN111429316A (zh) | 一种基于增强现实眼镜的在线学习专注力检测系统及方法 | |
| Chang et al. | A pose estimation-based fall detection methodology using artificial intelligence edge computing | |
| CN104318588A (zh) | 一种基于位置感知判别外观模型的多摄像机目标跟踪方法 | |
| CN111707375A (zh) | 一种具备智能测温考勤和异常行为检测的电子班牌 | |
| CN114373351B (zh) | 一种光电经纬仪全景仿真训练系统 | |
| CN113723277B (zh) | 一种融入多模态视觉信息的学习意图监测方法及系统 | |
| CN111931748B (zh) | 一种适用于蓄电池生产车间的工人疲劳度检测方法 | |
| CN114495169A (zh) | 一种人体姿态识别的训练数据处理方法、装置及设备 | |
| CN114241375A (zh) | 一种用于运动过程中的监测方法 | |
| Keš et al. | Sensor system for agility assessment: T-test case study | |
| Li et al. | Design and Implementation of Track and Field Training Information Collection and Feedback System Based on Multi-sensor Information Fusion. | |
| CN211293955U (zh) | 一种基于视频深度学习的青少年视力守护系统 | |
| Chen | Research on the application of artificial intelligence technology in the field of sports refereeing | |
| Shi et al. | Design of optical sensors based on computer vision in basketball visual simulation system | |
| Pérez et al. | Solar panels recognition based on machine learning | |
| CN112422895A (zh) | 基于无人机的图像分析跟踪、定位系统及方法 | |
| Sun et al. | Construction of Wearable Physical Exercise Management System based on Artificial Intelligence Technology | |
| Sun | Aerobics movement decomposition action teaching system based on intelligent vision sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191206 |