CN111144368A - 基于长短时记忆神经网络的学生行为检测方法 - Google Patents

基于长短时记忆神经网络的学生行为检测方法 Download PDF

Info

Publication number
CN111144368A
CN111144368A CN201911413429.2A CN201911413429A CN111144368A CN 111144368 A CN111144368 A CN 111144368A CN 201911413429 A CN201911413429 A CN 201911413429A CN 111144368 A CN111144368 A CN 111144368A
Authority
CN
China
Prior art keywords
image
student
neural network
short
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911413429.2A
Other languages
English (en)
Inventor
刘兵
田佳雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Hounify Technology Co ltd
Original Assignee
Chongqing Hounify Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Hounify Technology Co ltd filed Critical Chongqing Hounify Technology Co ltd
Priority to CN201911413429.2A priority Critical patent/CN111144368A/zh
Publication of CN111144368A publication Critical patent/CN111144368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于长短时记忆神经网络的学生行为检测方法,所述方法具体包括:S1:获取记录学生行为的图像;S2:建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器;S3:根据所述记录学生行为的图像和多层卷积自编码器,获得所述记录学生行为的图像高清图像;S4:根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置;S5:建立基于长短时记忆神经网络的学生行为检测模型,将记录学生行为的图像和所述图像对应的人脸关键点位置作为长短时记忆神经网络的输入,训练得到学生行为检测模型;S6:利用训练后的学生行为检测模型检测学生行为图像,获得学生行为结果。

Description

基于长短时记忆神经网络的学生行为检测方法
技术领域
本发明涉及行为检测领域,尤其涉及一种基于长短时记忆神经网络的学生行为检测方法。
背景技术
行为检测是当前人工智能领域的一项重要研究课题,其被广泛应用在公共安防、人机交互等领域。教室等场景下的学生行为检测是后续教学分析中的重要一环,能够有效帮助学校提高教学质量。因此自动化检测学生行为能够大大减轻教师负担,为教学过程提供持续的质量评估。然而,真实的教室场景中存在分辨率低、学生行为姿态多样、遮挡严重等问题;同时,不同教室的摄像头拍摄角度、拍摄距离、光照条件等均存在较大的差别。传统的行为检测方法在真实教室场景下难以取得较好的效果。
因此,亟需一种可有效应用于教学实际的学生行为检测方法。
发明内容
有鉴于此,本发明提供一种基于长短时记忆神经网络的学生行为检测方法以解决现有技术存在的问题。
本申请提供一种基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述方法具体包括:
S1:获取记录学生行为的图像;
S2:建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器;
S3:根据所述记录学生行为的图像和多层卷积自编码器,获得所述记录学生行为的图像高清图像;
S4:根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置;
S5:建立基于长短时记忆神经网络的学生行为检测模型,将记录学生行为的图像和所述图像对应的人脸关键点位置作为长短时记忆神经网络的输入,训练得到学生行为检测模型;
S6:利用训练后的学生行为检测模型检测学生行为图像,获得学生行为结果。
进一步,所述卷积自动编码器包括输入层、隐藏层、输出层、损失函数和优化函数,其中,所述隐藏层包括卷积层和池化层,损失函数使用交叉熵进行计算,优化函数学习效率为0.001。
进一步,所述根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置之前,还包括HAAR人脸特征提取。
进一步,在所述HAAR人脸特征提取之前还包括,将所述高清图像进行可分离性灰度变换,获得灰度图像。
进一步,所述卷积层包括多个具有不同感受野大小的分支。
进一步,所述多个具有不同感受野的分支上采用具有不同空洞率的空洞卷积,用于检测对应尺度的物体。
进一步,所述卷积长短时记忆循环神经网络模型的卷积层与多层卷积自编码器的结构相同。
进一步,所述建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器的过程中,采用的重构方法为双线性插值。
本发明的有益技术效果:本发明采用卷积自动编码器,将记录学生行为的图像进行降噪,获得高清图像;对高清图像进行可分离性灰度变换,经HAAR和DLIB提取图像中的人脸特征;采用长短时记忆神经网络构建的学生行为检测模型对学生行为进行检测,获得学生行为检测结果;可用所述行为检测结果辅助学生教学管理。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
具体实施方式
以下结合说明书附图对本发明做出进一步的说明:
本发明提供的一种基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述方法具体包括:
S1:获取记录学生行为的图像;所述图像来自与学生行为数据库,所述数据库包含记录了学生行为的视频组成数据库所述视频在不同场景、不同摄像头角度和不同光照条件下拍摄获得;将所述视频切分为帧,对于每一帧图像,标注出每帧图像中学生行为类别和边框;为每一帧图像保存一个记录行为类别和位置信息的数据,根据PASCAL VOC数据集格式整理并存储所述数据,获得数据集。
S2:建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器;
S3:根据所述记录学生行为的图像和多层卷积自编码器,获得所述记录学生行为的图像高清图像;
S4:根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置;
S5:建立基于长短时记忆神经网络的学生行为检测模型,将记录学生行为的图像和所述图像对应的人脸关键点位置作为长短时记忆神经网络的输入,训练得到学生行为检测模型;
S6:利用训练后的学生行为检测模型检测学生行为图像,获得学生行为结果。
上述技术方案,采用卷积自动编码器,将记录学生行为的图像进行降噪,获得高清图像;对高清图像进行可分离性灰度变换,经HAAR和DLIB提取图像中的人脸特征;采用长短时记忆神经网络构建的学生行为检测模型对学生行为进行检测,获得学生行为检测结果;可用所述行为检测结果辅助学生教学管理。
所述卷积自动编码器包括输入层、隐藏层、输出层、损失函数和优化函数,其中,所述隐藏层包括卷积层和池化层,损失函数使用交叉熵进行计算,优化函数学习效率为0.001。本实施例中,所述的卷积自编码器的训练迭代次数为20,批尺寸为50,学习率为0.001。
在本实施例中,所述根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置之前,还包括HAAR人脸特征提取。Haar-like特征的计算—积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法,大大的提高了图像特征值计算的效率。积分图主要的思想是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中,当要计算某个区域的像素和时可以直接索引数组的元素,不用重新计算这个区域的像素和,从而加快了计算。积分图能够在多种尺度下,使用相同的时间(常数时间)来计算不同的特征,因此大大提高了检测速度。
在人脸图像的基础上,Dlib提供的人脸关键点检测是使用级联回归树模型来回归出人脸的68个关键点,以实现人脸五官的定位。
在本实施例中,所述HAAR人脸特征提取之前还包括,将所述高清图像进行可分离性灰度变换,获得灰度图像。由于Lab颜色空间的3个分量独立性高,更适合做目标显著性的特征表达。因此,在Lab颜色空间计算图像相似度矩阵,通过建立灰度变换优化模型获得能够改善聚类特征的可分离性灰度图像矩阵。
所述灰度变换模型如下:
Figure BDA0002350558620000041
Figure BDA0002350558620000051
c={L,a,b}(3)
其中,Hc表示单分量图像的离散二维熵,
Figure BDA0002350558620000052
表示中间变量,
Figure BDA0002350558620000053
表示单分量图像像素灰度值d与像素8邻域灰度均值e构成的二元组(d,e)出现的频数,eight表示图像的高度,width表示图像的宽度。
所述卷积层包括多个具有不同感受野大小的分支。空洞卷积是卷积的一种,在特征图上每隔一行或一列取数与卷积核进行卷积。感受野是卷积神经网络的每一层输出的特征图上的像素点在原图像上映射的区域大小;将三个分支的参数共享,在不引入新的卷积核参数的情况下得到不同的感受野大小,模型的参数量少,训练及测试的速度快。所述多个具有不同感受野的分支上采用具有不同空洞率的空洞卷积,用于检测对应尺度的物体。本实施例中,将conv5的三个分支中的卷积核大小为3的滤波器分别替换为空洞率为1、2和4的滤波器,针对不同的感受野,将不同尺度的物体分配给对应的分支,对于小小尺度动作如举手,使用感受野较小即空洞率为1的分支检测;对于大尺度动作如站立,使用感受野较大即空洞率为4的分支检测。通过使用这种对尺度敏感的检测头部,在不增加额外参数的情况下,能够对各个尺度的物体使用特定的分支检测,提升了网络对于尺度差异较大的样本的检测效果。
所述卷积长短时记忆循环神经网络模型的卷积层与多层卷积自编码器的结构相同。卷积结构的结构统一,保证了预测模型的预测向量与实际相符,避免了卷积结构不一定导致预测结果发生偏差。
所述建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器的过程中,采用的重构方法为双线性插值,加强解码过程对轴承信号的重塑能力。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述方法具体包括:
S1:获取记录学生行为的图像;
S2:建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器;
S3:根据所述记录学生行为的图像和多层卷积自编码器,获得所述记录学生行为的图像高清图像;
S4:根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置;
S5:建立基于长短时记忆神经网络的学生行为检测模型,将记录学生行为的图像和所述图像对应的人脸关键点位置作为长短时记忆神经网络的输入,训练得到学生行为检测模型;
S6:利用训练后的学生行为检测模型检测学生行为图像,获得学生行为结果。
2.根据权利要求1所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述卷积自动编码器包括输入层、隐藏层、输出层、损失函数和优化函数,其中,所述隐藏层包括卷积层和池化层,损失函数使用交叉熵进行计算,优化函数学习效率为0.001。
3.根据权利要求1所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述根据所述高清图像和Dlib人脸关键点检测定位确定人脸的关键点的位置之前,还包括HAAR人脸特征提取。
4.根据权利要求3所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:在所述HAAR人脸特征提取之前还包括,将所述高清图像进行可分离性灰度变换,获得灰度图像。
5.根据权利要求2所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述卷积层包括多个具有不同感受野大小的分支。
6.根据权利要求1所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述多个具有不同感受野的分支上采用具有不同空洞率的空洞卷积,用于检测对应尺度的物体。
7.根据权利要求1所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述卷积长短时记忆循环神经网络模型的卷积层与多层卷积自编码器的结构相同。
8.根据权利要求1所述基于长短时记忆神经网络的学生行为检测方法,其特征在于:所述建立卷积自编码器,将所述记录学生行为的图像作为输入,训练得到多层卷积自编码器的过程中,采用的重构方法为双线性插值。
CN201911413429.2A 2019-12-31 2019-12-31 基于长短时记忆神经网络的学生行为检测方法 Pending CN111144368A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911413429.2A CN111144368A (zh) 2019-12-31 2019-12-31 基于长短时记忆神经网络的学生行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911413429.2A CN111144368A (zh) 2019-12-31 2019-12-31 基于长短时记忆神经网络的学生行为检测方法

Publications (1)

Publication Number Publication Date
CN111144368A true CN111144368A (zh) 2020-05-12

Family

ID=70522608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911413429.2A Pending CN111144368A (zh) 2019-12-31 2019-12-31 基于长短时记忆神经网络的学生行为检测方法

Country Status (1)

Country Link
CN (1) CN111144368A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407670A (zh) * 2021-06-21 2021-09-17 福州大学 一种基于TextCNN的学生线上学习行为检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064507A (zh) * 2018-08-21 2018-12-21 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN109272164A (zh) * 2018-09-29 2019-01-25 清华大学深圳研究生院 学习行为动态预测方法、装置、设备及存储介质
CN109740446A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 课堂学生行为分析方法及装置
CN109871764A (zh) * 2019-01-16 2019-06-11 深兰科技(上海)有限公司 一种异常行为识别方法、装置及存储介质
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064507A (zh) * 2018-08-21 2018-12-21 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN109272164A (zh) * 2018-09-29 2019-01-25 清华大学深圳研究生院 学习行为动态预测方法、装置、设备及存储介质
CN109740446A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 课堂学生行为分析方法及装置
CN109871764A (zh) * 2019-01-16 2019-06-11 深兰科技(上海)有限公司 一种异常行为识别方法、装置及存储介质
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾绍华等: "基于自适应密度峰值聚类的野外紫色土彩色图像分割", 《农业工程学报》 *
龙敏;佟越洋;: "应用卷积神经网络的人脸活体检测算法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407670A (zh) * 2021-06-21 2021-09-17 福州大学 一种基于TextCNN的学生线上学习行为检测方法及系统
CN113407670B (zh) * 2021-06-21 2022-07-08 福州大学 一种基于TextCNN的学生线上学习行为检测方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN107609460B (zh) 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
CN110378288B (zh) 一种基于深度学习的多级时空运动目标检测方法
CN109359539B (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN110555881A (zh) 一种基于卷积神经网络的视觉slam测试方法
Yan et al. Crowd counting via perspective-guided fractional-dilation convolution
CN110889672A (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
CN107480607B (zh) 一种智能录播系统中站立人脸检测定位的方法
CN108334878B (zh) 视频图像检测方法、装置、设备及可读存储介质
CN111242127A (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
Deng et al. Learning from images: A distillation learning framework for event cameras
CN113221694A (zh) 一种动作识别方法
CN114529946A (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN110659398A (zh) 一种基于数学图表类数据集的视觉问答方法
CN115115830A (zh) 一种基于改进Transformer的家畜图像实例分割方法
CN111723667A (zh) 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN109934239B (zh) 图像特征提取方法
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
CN108921872B (zh) 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN111144368A (zh) 基于长短时记忆神经网络的学生行为检测方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN110909645B (zh) 一种基于半监督流形嵌入的人群计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512