CN112733663A - 一种基于图像识别的学生专注力的检测方法 - Google Patents

一种基于图像识别的学生专注力的检测方法 Download PDF

Info

Publication number
CN112733663A
CN112733663A CN202011623615.1A CN202011623615A CN112733663A CN 112733663 A CN112733663 A CN 112733663A CN 202011623615 A CN202011623615 A CN 202011623615A CN 112733663 A CN112733663 A CN 112733663A
Authority
CN
China
Prior art keywords
students
image
student
concentration
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011623615.1A
Other languages
English (en)
Inventor
刘全明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202011623615.1A priority Critical patent/CN112733663A/zh
Publication of CN112733663A publication Critical patent/CN112733663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像识别的学生专注力的检测方法。目的是解决现有的专注力检测方法效率不高的技术问题。技术方案为：一种基于图像识别的学生专注力的检测方法，包括如下步骤：采集视频数据；图像预处理；图像信息识别；为学生的专注度状态分类；专注度对比；输出对比结果，其中图像识别采用基于改进的深度可分离卷积搭建的轻量级卷积神经网络，将深度可分离卷积模块和连续非对称卷积按照Inception结构进行组合，轻量级表情识别卷积神经网络模型包括输入流程模块、中间流程模块和输出流程模块。本发明使用深度可分离卷积和连续非对称卷积有效的压缩了参数量，加快了表情识别的检测效率，提升了学生专注力的检测效率。

Description

一种基于图像识别的学生专注力的检测方法
技术领域
本发明属于教育技术领域，具体涉及一种基于图像识别的学生专注力的检测方法。
背景技术
专注力，又称注意力，指一个人专心于某一事物、或活动时的心理状态，人的注意力，受多方面因素的影响，注意力缺陷，常常是许多学习差学生的共同特点，因此，如何全面有效的把握、分析学生的专注程度，对于把握学习状态，提高课堂教学质量，开展教学研究都是十分必要的。
近年来，随着人脸检测技术的快速发展、日益成熟，人脸检测已经成为一项成熟的技术进入人们的日常生活和工作中，计算机硬件性能的飞跃提升很好的促进了人脸图像处理相关的应用发展，因而人脸图像处理在当今应用和研究也显得愈发重要。
老师在上课过程中很难对学生的每一个细节进行观察，而且会分散老师的注意力，现有的检测方法效率不高。
发明内容
本发明的目的是解决现有的专注力检测方法效率不高的技术问题，提供一种基于图像识别的学生专注力的检测方法。
为解决上述技术问题，本发明采用的技术方案是：
一种基于图像识别的学生专注力的检测方法，包括如下步骤：
1)采集视频数据：通过教室内的摄像头实时采集学生的视频数据；
2)图像预处理：对步骤1)所采集的视频数据进行截图，抓取出学生面部图像信息，然后对图像依次进行平移、旋转、缩放、切割的标准化处理，处理得到尺寸一致的图像信息；
3)图像信息识别：将步骤2)处理所得的图像信息输入到训练好的轻量级表情识别卷积神经网络模型中，对图像中的学生表情进行识别，得到学生的专注度状态；
4)为学生的专注度状态分类；
5)专注度对比：将步骤3)中得到的专注度状态与步骤4)中的专注度分类状态进行对比分析；
6)输出对比结果：老师根据步骤5)的输出结果对专注力不认真的学生作出对应的反馈。
进一步的，所述步骤3)中的轻量级表情识别卷积神经网络模型是基于改进的深度可分离卷积搭建的轻量级卷积神经网络，将深度可分离卷积模块和连续非对称卷积按照Inception结构进行组合；
所述轻量级表情识别卷积神经网络模型包括输入流程模块、中间流程模块和输出流程模块。
进一步的，所述中间流程模块使用了4段重复的经过改进的具有Inception结构的深度可分离卷积模块，且引入残差连接。
进一步的，所述改进的具有Inception结构的深度可分离卷积模块引入了深度可分离卷积和连续的非对称卷积。
进一步的，所述输出流程模块使用了普通的深度可分离卷积、激活函数、批归一化层和最大池化层，实现了特征向量的平稳过度。
进一步的，所述步骤3)中的专注度状态分为认真、一般和不认真三种；
专注度认真的学生可以捕捉到完整的面部特征，坐姿居中、表情比较严肃；
专注度一般的学生会有不同程度的低头、前倾或者用手肘依靠头部的动作；
专注度不认真的学生眼神游离于黑板之外，面部带有嬉笑或者疑惑的表情，或者趴在桌子上，有低头、扭头、玩手机、转笔、侧耳交流的动作。
与现有技术相比，本发明的有益效果是：
1、本发明使用深度可分离卷积和连续非对称卷积有效的压缩了参数量，加快了表情识别的检测效率，提升了学生专注力的检测效率。
附图说明
图1为本发明的专注度检测流程图；
图2为改进的基于Inception的深度可分离卷积的结构图；
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1-2所示，一种基于图像识别的学生专注力的检测方法，包括以下步骤：
1)采集视频数据：通过教室内的摄像头实时采集学生的视频数据；
2)图像预处理：对步骤1)所采集的视频数据进行截图，抓取出学生面部图像信息，然后对图像依次进行平移、旋转、缩放、切割的标准化处理，处理得到尺寸一致的图像信息；
3)图像信息识别：将步骤2)处理所得的图像信息输入到训练好的轻量级表情识别卷积神经网络模型中，对图像中的学生表情进行识别，识别出属于中性、高兴、惊讶、厌恶、难过、愤怒、害怕七种表情中的其中一种，得到学生的专注度状态；
轻量级表情识别卷积神经网络模型是基于改进的深度可分离卷积搭建的轻量级卷积神经网络，将深度可分离卷积模块和连续非对称卷积按照Inception结构进行组合；所述轻量级表情识别卷积神经网络模型包括输入流程模块、中间流程模块和输出流程模块。
所述中间流程模块使用了4段重复的经过改进的具有Inception结构的深度可分离卷积模块，且引入残差连接。
所述改进的具有Inception结构的深度可分离卷积模块引入了深度可分离卷积和连续的非对称卷积。
所述输出流程模块使用了普通的深度可分离卷积、激活函数、批归一化层和最大池化层，实现了特征向量的平稳过度。
4)为学生的专注度状态分类：认真、一般和不认真三种；
专注度认真的学生可以捕捉到完整的面部特征，坐姿居中、表情比较严肃；
专注度一般的学生会有不同程度的低头、前倾或者用手肘依靠头部的动作；
专注度不认真的学生眼神游离于黑板之外，面部带有嬉笑、疑惑、厌恶、难过、害怕等表情，或者趴在桌子上，有低头、扭头、玩手机、转笔、侧耳交流的动作。
5)专注度对比：将步骤3)中得到的专注度状态与步骤4)中的专注度分类状态进行对比分析；
6)输出对比结果：老师根据步骤5)的输出结果对专注力不认真的学生作出对应的反馈。

Claims (6)

1.一种基于图像识别的学生专注力的检测方法，其特征在于：包括以下步骤：
1)采集视频数据：通过教室内的摄像头实时采集学生的视频数据；
2)图像预处理：对步骤1)所采集的视频数据进行截图，抓取出学生面部图像信息，然后对图像依次进行平移、旋转、缩放、切割的标准化处理，处理得到尺寸一致的图像信息；
3)图像信息识别：将步骤2)处理所得的图像信息输入到训练好的轻量级表情识别卷积神经网络模型中，对图像中的学生表情进行识别，得到学生的专注度状态；
4)为学生的专注度状态分类；
5)专注度对比：将步骤3)中得到的专注度状态与步骤4)中的专注度分类状态进行对比分析；
6)输出对比结果：老师根据步骤5)的输出结果对专注力不认真的学生作出对应的反馈。
2.根据权利要求1所述的一种基于图像识别的学生专注力的检测方法，其特征在于：所述步骤3)中的轻量级表情识别卷积神经网络模型是基于改进的深度可分离卷积搭建的轻量级卷积神经网络，将深度可分离卷积模块和连续非对称卷积按照Inception结构进行组合；
所述轻量级表情识别卷积神经网络模型包括输入流程模块、中间流程模块和输出流程模块。
3.根据权利要求2所述的一种基于图像识别的学生专注力的检测方法，其特征在于：所述中间流程模块使用了4段重复的经过改进的具有Inception结构的深度可分离卷积模块，且引入残差连接。
4.根据权利要求3所述的一种基于图像识别的学生专注力的检测方法，其特征在于：所述改进的具有Inception结构的深度可分离卷积模块引入了深度可分离卷积和连续的非对称卷积。
5.根据权利要求2所述的一种基于图像识别的学生专注力的检测方法，其特征在于：所述输出流程模块使用了普通的深度可分离卷积、激活函数、批归一化层和最大池化层，实现了特征向量的平稳过度。
6.根据权利要求1所述的一种基于图像识别的学生专注力的检测方法，其特征在于：所述步骤3)中的专注度状态分为认真、一般和不认真三种；
专注度认真的学生可以捕捉到完整的面部特征，坐姿居中、表情比较严肃；
专注度一般的学生会有不同程度的低头、前倾或者用手肘依靠头部的动作；
专注度不认真的学生眼神游离于黑板之外，面部带有嬉笑或者疑惑的表情，或者趴在桌子上，有低头、扭头、玩手机、转笔、侧耳交流的动作。
CN202011623615.1A 2020-12-29 2020-12-29 一种基于图像识别的学生专注力的检测方法 Pending CN112733663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011623615.1A CN112733663A (zh) 2020-12-29 2020-12-29 一种基于图像识别的学生专注力的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011623615.1A CN112733663A (zh) 2020-12-29 2020-12-29 一种基于图像识别的学生专注力的检测方法

Publications (1)

Publication Number Publication Date
CN112733663A true CN112733663A (zh) 2021-04-30

Family

ID=75609360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011623615.1A Pending CN112733663A (zh) 2020-12-29 2020-12-29 一种基于图像识别的学生专注力的检测方法

Country Status (1)

Country Link
CN (1) CN112733663A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435267A (zh) * 2021-06-09 2021-09-24 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488804A (zh) * 2020-03-19 2020-08-04 山西大学 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN111738178A (zh) * 2020-06-28 2020-10-02 天津科技大学 一种基于深度学习的戴口罩人脸表情识别方法
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
WO2020247545A1 (en) * 2019-06-04 2020-12-10 Northeastern University Lightweight decompositional convolution neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020247545A1 (en) * 2019-06-04 2020-12-10 Northeastern University Lightweight decompositional convolution neural network
CN111488804A (zh) * 2020-03-19 2020-08-04 山西大学 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN111738178A (zh) * 2020-06-28 2020-10-02 天津科技大学 一种基于深度学习的戴口罩人脸表情识别方法
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张璟: "基于表情识别的课堂专注度分析的研究", 《万方平台》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435267A (zh) * 2021-06-09 2021-09-24 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113435267B (zh) * 2021-06-09 2023-06-23 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN113792744B (zh) * 2021-09-14 2023-09-05 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法

Similar Documents

Publication Publication Date Title
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
CN111709358B (zh) 基于课堂视频的师生行为分析系统
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
Saudagare et al. Facial expression recognition using neural network–An overview
CN111754368A (zh) 一种高校教学评估方法及基于边缘智能的高校教学评估系统
CN112733663A (zh) 一种基于图像识别的学生专注力的检测方法
CN107256392A (zh) 一种联合图像、语音的全面情绪识别方法
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
Wang et al. Research on speech emotion recognition technology based on deep and shallow neural network
CN114170672A (zh) 一种基于计算机视觉的课堂学生行为识别的方法
CN112651714A (zh) 一种基于多模态信息的面试测评方法和系统
CN114255508A (zh) 一种基于OpenPose的学生体态检测分析及效率评估方法
CN110174948B (zh) 一种基于小波神经网络的语言智能辅助学习系统与方法
CN116109455A (zh) 一种基于人工智能的语言教学辅助系统
Jain et al. Student’s Feedback by emotion and speech recognition through Deep Learning
Tang et al. Automatic facial expression analysis of students in teaching environments
CN112508121A (zh) 一种工业机器人感知外界的方法和系统
CN116758451A (zh) 基于多尺度和全局交叉注意力的视听情感识别方法及系统
CN113076885B (zh) 一种基于人眼动作特征的专注度分级方法及系统
CN113343773B (zh) 基于浅层卷积神经网络的人脸表情识别系统
CN113887339A (zh) 融合表面肌电信号与唇部图像的无声语音识别系统及方法
Xu et al. A Facial Expression Recognition Method based on Residual Separable Convolutional Neural Network
CN113569690A (zh) 一种基于深度学习的课堂教学质量复盘控制方法
Saudagare et al. Human Facial Expression Recognition using Eigen Face and Neural Network
CN111914683A (zh) 一种基于仿生图像增强算法和fpga硬件加速的手写成绩录入系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210430

WD01 Invention patent application deemed withdrawn after publication