CN111523444B - 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 - Google Patents

基于改进的Openpose模型和面部微表情的课堂行为检测的方法 Download PDF

Info

Publication number
CN111523444B
CN111523444B CN202010317534.2A CN202010317534A CN111523444B CN 111523444 B CN111523444 B CN 111523444B CN 202010317534 A CN202010317534 A CN 202010317534A CN 111523444 B CN111523444 B CN 111523444B
Authority
CN
China
Prior art keywords
abnormal
state
detection
model
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010317534.2A
Other languages
English (en)
Other versions
CN111523444A (zh
Inventor
张堃
冯文宇
朱洪堃
孙维
孙昊辰
殷佳炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010317534.2A priority Critical patent/CN111523444B/zh
Publication of CN111523444A publication Critical patent/CN111523444A/zh
Application granted granted Critical
Publication of CN111523444B publication Critical patent/CN111523444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于改进的Openpose模型和面部微表情的课堂行为检测的方法，在课桌前的布置摄像机，实时检测学生课堂行为。通过人工智能模型识别面部信息、上半身骨骼信息，以关键点能否被识别到以及关键点之间的距离为主要判断条件，以微表情的变化为辅助判断条件。若某学生持续一段时间未满足条件，则判定其存在考试行为异常。此外，通过一节课的视频流，找出学生行为异常可能发生阶段，并对该阶段进行分析，实现教学的创新和改革。靠机器视觉识别减少干扰因素，简化设备，同时本发明还提供对应的数据分析处理系统。本发明通过残差网络，权值修剪等方法进一步优化网络模型。本发明实现自助式的课堂行为检测和反馈，测试效率高，准确性可达95％。

Description

基于改进的Openpose模型和面部微表情的课堂行为检测的方法
技术领域
本发明涉及深度学习、机器视觉与图像处理技术领域，具体为基于改进的Openpose模型和面部微表情的课堂行为检测的方法。
背景技术
近些年，以深度学习为代表的智能技术已渗入人们生活的各种领域，并已进入大范围应用阶段。2017年，国务院在印发的《新一代人工智能发展规划》中提出：“利用智能技术加快推动人才培养模式、教学方法改革，构建包含智能学习、交互式学习的新型教育体系。”
长期以来，课堂一直是教育研究的重点。而学生作为教学活动的主体，其行为直接反应了课堂的真实状况。因此，课堂学生行为分析能够对教学效率与学生状态有更深层的体现。
在对于学生课堂行为分析的准确性、适用性、抗干扰性以及能够及时反馈学生信息的要求下，目前尚未有具有良好分析体验的方法。在对检测中的项目测试精度越来越高的要求和实现无人化测试需求下，目前已有的课堂行为方法(谭斌,杨书焓.基于FasterR-CNN的学生课堂行为检测算法研究[J].现代计算机(专业版)(33):47-49.)，(廖鹏,刘宸铭,苏航,etal.基于深度学习的学生课堂异常行为检测与分析系统[J].电子世界(8):97-98.)尚不具备良好测试体验，测试效率、准确率、自动化程度仍有待提高。且课堂行为检测方法容易出错，耗费人力，个人评判标准不同影响测试结果。现有的基于机器视觉的分析方法主要是利用卷积神经网络进行图像识别，然而传统的卷积神经网络在课堂行为识别的应用中对于学生行为的识别精度与速度上并不令人满意，并且在课堂行为识别的过程中，获取海量的训练样本也是十分困难。再者，通过对学生的个人历史信息以及对其听课专注度的反馈，对教师的教授质量以及课堂效率进行评估，也是目前尚待开发的方面。
发明内容
本发明的目的在于提供基于改进的Openpose模型和面部微表情的课堂行为检测的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于改进的Openpose模型和面部微表情的课堂行为检测的方法，包括如下步骤：
S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；
S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另将左右眼，左右手腕，左右手肘作为主要关键点；
S3、课堂行为检测分成2个主要状态：听课状态、和异常状态。其中异常状态具体划分为：状态1：主要定义为手臂支撑头部、状态2：主要定义为手放在桌子下、状态3：主要定义为转头及状态4：主要定义为低头四个分状态；初始时，系统将会每隔5秒对图像进行对比检测；若关键点间位置关系出现错误或关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；
S4、初始时，系统将会每隔5秒对图像进行对比检测；若关键点信息出现丢失或关键点之间距离超过阈值将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点距离长时间超过设定阈值时，判定为异常状态即课堂行为异常；
S5、当处于异常状态时，系统将继续对其后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常情况按各行为判定标准判定为状态1、状态2、状态3或状态4；
S6、异常状态具体判断标准为：状态1：左眼到左手腕间距离或右眼到右手腕间距离小于10像素同时满足手腕高度小于眼睛高度；状态2：左手或右手手腕关键点信息丢失时判定为状态2；状态3：出现单侧眼睛及耳朵关键点信息长时间缺失时判定为状态3；状态4：左眼和右眼关键点信息丢失或左右眼坐标信息与左右眼初始坐标信息之差大于阈值时判定为状态4；
S7、同时，加入微表情识别予以辅助判断，定义异常表情发呆；初始时，系统将会每隔5秒对图像进行对比检测；若出现异常表情，则将提高检测频率至每隔1秒进行对比检测；当长时间处于异常表情，则判断为异常状态即课堂行为异常；
S8、引入专家控制策略：对学生课堂情况进行分析，对整个教学过程进行非正常情况概率统计，并记录高于设定概率的时间点，并及时在教师端进行反馈；在整个教学过程中，对每个学生非正常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高；检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别。并在课后在教师端将次数由多至少进行排列予以体现，从而使老师更好的帮助学生完成学习任务；对教室座位区域进行分析，将教室做以下划分，将教室分为若干个区域，识别频率按图示数值进行等比例放大；分别统计各区域异常状态概率：即某一时刻内该区域出现所有非正常情况人数占该区域总人数比值，并通过数据统计计算，计算数值越大，该区域异常概率越大，次日对该区域检测频率进行相应调整提高；
S9、引入搜索和优化识别策略,遍历状态1到状态4，若某一异常学生出现异常行为确诊，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率。
S10、在对各学生端信息采集过后，系统将正异常情况信息传输至教师端并进行汇总；并进行信息分类分析，课后由数据结果对教学进行改革和创新。
优选的，该Openpose模型使用残差网络提取底层特征，以提升改进模型的检测精度和训练速度；该网络结构参照Res-18网络前10层，共构成5个残差块；所构成的残差块为添加了软阈值的残差块；软阈值处理是许多信号降噪算法的基础步骤；如式(1)所示，是软阈值处理公式，其中x是输入值，y是输出值，τ是阈值。
优选的，使用1X1卷积层为不同图像设置不同阈值。由公式(1)可知，软阈值处理将绝对值小于阈值的值置零，将绝对值大于阈值的值朝零方向缩小，所以阈值必须根据每个样本无关信息含量而定，使用统一的数值反而不利于去除无关信息；该残差块的最终输出结果如公式(2)所示：
式中，Y代表输出量，X代表输入量，X′代表经过一般卷积后的X，COV1X1代表使用1X1卷积核卷积，sig代表归一化处理，代表软阈值处理。
优选的，该模型使用权值修剪的方式对模型进行压缩以在保持检测精度的情况下降低运算量，加快检测速度，提高实时性；该方式通过对评估某连接对最终输出结果的贡献度，删除贡献度较小的连接，即可在尽量不影响检测精度的情况下减少网络参数和计算量，缩小模型大小，加快检测速度；评估某条连接贡献度的方法为计算该连接对应卷积核的L2范数，计算方式如公式(3)所示：
其中代表第l条通路第k个连接的贡献度，该连接对应的卷积核，h、w分别为该卷积核参数矩阵的高、宽，n为该卷积核参数数量，αij为该卷积核参数矩阵第i行j列对应的参数。
优选的，所述步骤S1之前还包括采用学生卡识别对测试者的身份识别；若身份识别成功人数达到班级人数，进行正常测试并把该课程上课学生名单录入系统，若身份识别成功人数未达到班级人数，停止测试并提示老师进行考勤。
优选的，所述步骤S4还包括：潜在课堂行为异常为连续未满足要求10秒，一般课堂行为异常为连续未满足要求10秒到30秒，重度课堂行为异常为连续未满足要求大于30秒。
优选的，一种基于改进的Openpose模型和面部微表情的课堂行为分析系统，包括学生课桌、座位号、学生端显示器、识别摄像头、摄像杆、数据分析服务器、教师讲台、教师端显示器、教师端数据分析服务器、语音播报系统、IC卡读卡器、显示屏；所述的人脸识别装置包括摄像杆和安装在摄像杆顶部的人脸识别摄像头，其中人脸识别摄像头用于对测试者的面部进行人脸识别，以确定测试者的身份。
优选的，行为分析数据服务器将会对所识别的数据按照以下各点描述进行分析处理：
(1)任意时间范围内行为异常学生数量；
(2)行为异常学生名单；
(3)任意教室座位区域的行为异常数量；
(4)各异常行为出现数量；
并且输出分析报告，可在教师端显示屏查看。
与现有技术相比，本发明的有益效果是：本发明通过基于改进的Openpose模型和面部微表情的课堂行为检测方法及系统能够实现实时的异常课堂行为记录和分析。与现有技术相比，本发明的有益效果包括：建立改进的Openpose模型和面部微表情识别人体面部，运算速度快，人体识别的正确率高；建立课堂行为检测系统，能够辨别行为异常程度，实现精准判断技术；减少人工干预，有效防止课堂走神，实现上课的专注和成绩的真实；测试方法简单，测试者体验感好；智能化高，能实现测试自动处理。
附图说明
图1是OpenPose模型处理流程图；
图2是添加二阶项融合的残差块的结构图；
图3是本发明测试识别系统一个实施例结构示意图；
图4是本发明课堂行为测试识别流程图；
图5是本发明的基于openpose的模型改进图；
图6是本发明所检测的一个课堂正常坐姿的帧示意图；
图7是本发明所检测的一个课堂正常坐姿的帧示意图；
图8是本发明所检测的一个课堂手撑头动作的帧示意图；
图9是本发明所检测的一个课堂低头动作的帧示意图；
图10是本发明所检测的一个课堂转头动作的帧示意图；
图11是本发明所检测的一个课堂手放在桌下的帧示意图；
图12是本发明所检测的一个课堂发呆表情的帧示意图；
图13是本发明的实时数据信息图；
图14为本发明权值修剪示意图；
图15为本发明频率区域图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1-15，本发明提供一种技术方案：基于改进的Openpose模型和面部微表情的课堂行为检测的方法，包括如下步骤：
S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；
S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另将左右眼，左右手腕，左右手肘作为主要关键点；
S3、课堂行为检测分成2个主要状态：听课状态、和异常状态。其中异常状态具体划分为：状态1：主要定义为手臂支撑头部、状态2：主要定义为手放在桌子下、状态3：主要定义为转头及状态4：主要定义为低头四个分状态；初始时，系统将会每隔5秒对图像进行对比检测；若关键点间位置关系出现错误或关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；
S4、初始时，系统将会每隔5秒对图像进行对比检测；若关键点信息出现丢失或关键点之间距离超过阈值将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点距离长时间超过设定阈值时，判定为异常状态即课堂行为异常；
S5、当处于异常状态时，系统将继续对其后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常情况按各行为判定标准判定为状态1、状态2、状态3或状态4；
S6、异常状态具体判断标准为：状态1：左眼到左手腕间距离或右眼到右手腕间距离小于10像素同时满足手腕高度小于眼睛高度；状态2：左手或右手手腕关键点信息丢失时判定为状态2；状态3：出现单侧眼睛及耳朵关键点信息长时间缺失时判定为状态3；状态4：左眼和右眼关键点信息丢失或左右眼坐标信息与左右眼初始坐标信息之差大于阈值时判定为状态4；
S7、同时，加入微表情识别予以辅助判断，定义异常表情发呆；初始时，系统将会每隔5秒对图像进行对比检测；若出现异常表情，则将提高检测频率至每隔1秒进行对比检测；当长时间处于异常表情，则判断为异常状态即课堂行为异常；
S8、引入专家控制策略：对学生课堂情况进行分析，对整个教学过程进行非正常情况概率统计，并记录高于设定概率的时间点，并及时在教师端进行反馈；在整个教学过程中，对每个学生非正常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高；检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别。并在课后在教师端将次数由多至少进行排列予以体现，从而使老师更好的帮助学生完成学习任务；对教室座位区域进行分析，将教室做以下划分，将教室分为若干个区域，识别频率按图示数值进行等比例放大；分别统计各区域异常状态概率：即某一时刻内该区域出现所有非正常情况人数占该区域总人数比值，并通过数据统计计算，计算数值越大，该区域异常概率越大，次日对该区域检测频率进行相应调整提高；
S9、引入搜索和优化识别策略,遍历状态1到状态4，若某一异常学生出现异常行为确诊，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率。
S10、在对各学生端信息采集过后，系统将正异常情况信息传输至教师端并进行汇总；并进行信息分类分析，课后由数据结果对教学进行改革和创新。
该Openpose模型使用残差网络提取底层特征，以提升改进模型的检测精度和训练速度；该网络结构参照Res-18网络前10层，共构成5个残差块；所构成的残差块为添加了软阈值的残差块；软阈值处理是许多信号降噪算法的基础步骤；如式(1)所示，是软阈值处理公式，其中x是输入值，y是输出值，τ是阈值。
本发明中，一种基于改进的Openpose模型和面部微表情的课堂行为分析系统，包括学生课桌1、座位号2、学生端显示器3、识别摄像头4、摄像杆5、数据分析服务器6、教师讲台7、教师端显示器8、教师端数据分析服务器9、语音播报系统301、IC卡读卡器303、显示屏304；所述的人脸识别装置包括摄像杆5和安装在摄像杆5顶部的人脸识别摄像头4，其中人脸识别摄像头4用于对测试者的面部进行人脸识别，以确定测试者的身份。其中摄像头4用于识别测试学生身份，摄像头4用于对测试者的上半身进行拍摄，以便进行识别判断，学生端显示器3可以显示测试者的身份信息是否核实并反馈行为检测情况，数据分析服务器6将摄像头4拍摄的图像进行处理并反馈结果到学生端显示器3及教师端数据分析服务器9。
首先，学生将学生IC卡插入IC卡读卡器303中，识别学生身份并对预先存储在内部的学生记录文件进行检索，显示屏304显示出学生学号，姓名，身份检验状态，统计本次课程的上课学生的信息。
本实施例中优选地，所述的摄像杆5安装在可做右上侧，人脸识别摄像头4安装在所述摄像杆5顶部，且较好识别到测试者上半身图像。
在身份登记后，学生双手放在课桌上，脸正对黑板，安装在桌子上方的人脸识别摄像头4为学生的脸部摄像，通过无线电波传输到数据分析服务器6，利用人脸识别系统，确认该座位学生的身份。
确定学生身份后，录入数据系统，待上课一定时间(1分钟)后。摄像头4开始识别。将图片传入数据处理服务器并保存，学生端显示器3同步显示分析结果。
将异常情况传到教师端数据分析服务器9，由老师进行实时监督与调控，以方便下课后老师对数据情况进行分析，对教学进行优化。
本发明中，使用1X1卷积层为不同图像设置不同阈值。由公式(1)可知，软阈值处理将绝对值小于阈值的值置零，将绝对值大于阈值的值朝零方向缩小，所以阈值必须根据每个样本无关信息含量而定，使用统一的数值反而不利于去除无关信息；该残差块的最终输出结果如公式(2)所示：
式中，Y代表输出量，X代表输入量，X′代表经过一般卷积后的X，COV1x1代表使用1X1卷积核卷积，sig代表归一化处理，代表软阈值处理。
本发明中，该模型使用权值修剪的方式对模型进行压缩以在保持检测精度的情况下降低运算量，加快检测速度，提高实时性；该方式通过对评估某连接对最终输出结果的贡献度，删除贡献度较小的连接，即可在尽量不影响检测精度的情况下减少网络参数和计算量，缩小模型大小，加快检测速度；评估某条连接贡献度的方法为计算该连接对应卷积核的L2范数，计算方式如公式(3)所示：
其中代表第l条通路第k个连接的贡献度，该连接对应的卷积核，h、w分别为该卷积核参数矩阵的高、宽，n为该卷积核参数数量，αij为该卷积核参数矩阵第i行j列对应的参数。
训练多分类的9层经典卷积神经网络用于表情识别。与传统方法相比，卷积神经网络表现更好，使用该模型构建识别系统，又提供GUI界面和摄像头实时检测。训练出来的模型鲁棒性好，且识别效率高且准确。由此训练出能准确识别发呆表情的网络模型。同时该模型适用于复杂环境下的课堂行为检测，作为辅助条件和改进的Openpose模型共同应用于识别检测。如下表所示为网络模型结构；
另外，本发明中，步骤S1之前还包括采用学生卡识别对测试者的身份识别；若身份识别成功人数达到班级人数，进行正常测试并把该课程上课学生名单录入系统，若身份识别成功人数未达到班级人数，停止测试并提示老师进行考勤。
步骤S4还包括：潜在课堂行为异常为连续未满足要求10秒，一般课堂行为异常为连续未满足要求10秒到30秒，重度课堂行为异常为连续未满足要求大于30秒。
本发明还引入专家控制策略：对学生课堂情况进行分析，对整个教学过程进行非正常情况概率统计，并记录高于设定概率的时间点，并及时在教师端进行反馈。从而达到：帮助老师加大对重难点把控，优化课堂教学的目的。对每个学生个人情况进行分析，其中包括引入该学生以往的课堂异常行为统计。在整个教学过程中，对每个学生非正常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高。检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别。并在课后在教师端将次数由多至少进行排列予以体现。从而使老师更好的帮助学生完成学习任务。对教室座位区域进行分析，将教室根据图15做以下划分，将教室分为若干个区域，识别频率按图示数值进行等比例放大。分别统计各区域异常状态概率(即某一时刻内该区域出现所有非正常情况人数占该区域总人数比值)。并通过数据统计计算，计算数值越大，该区域异常概率越大，次日对该区域检测频率进行相应调整提高。
引入搜索和优化识别策略,遍历状态1到状态4，若某一异常学生出现异常行为确诊(如异常状态1)，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率。
此外，参考图4，步骤S4还包括，在设置动作起始帧的同时，计时开始；步骤S4中，提取某帧图像之前，先判定该帧所在时刻相对计时开始时刻是否已经到达预设时长，若是则结束本次测试，否则继续测试。
参考图12，系统能够准确的识别微表情并及时分析，辅助于课堂行为检测。
如图13所示，同时可将数据上传至自建网站，手机登录网站即可进行实时的检测和调控。
综上所述，本发明通过基于改进的Openpose模型和面部微表情的课堂行为检测方法及系统能够实现课堂行为检测记录。与现有技术相比，本发明的有益效果包括：建立改进的Openpose模型和面部微表情识别人体面部，运算速度快，人体识别的正确率高；建立课堂行为检测系统，能够辨别行为异常程度，实现精准判断技术；减少人工干预，有效防止考试作弊，实现考试成绩的真实；测试方法简单，测试者体验感好；智能化高，能实现测试自动处理。
本发明未详述之处，均为本领域技术人员的公知技术。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：包括如下步骤：
S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；
S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另将左右眼，左右手腕，左右手肘作为主要关键点；
S3、课堂行为检测分成2个主要状态：听课状态、和异常状态；其中异常状态具体划分为：状态1：主要定义为手臂支撑头部、状态2：主要定义为手放在桌子下、状态3：主要定义为转头及状态4：主要定义为低头四个分状态；初始时，系统将会每隔5秒对图像进行对比检测；若关键点间位置关系出现错误或关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；
S4、初始时，系统将会每隔5秒对图像进行对比检测；若关键点信息出现丢失或关键点之间距离超过阈值将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点距离长时间超过设定阈值时，判定为异常状态即课堂行为异常；
S5、当处于异常状态时，系统将继续对其后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常情况按各行为判定标准判定为状态1、状态2、状态3或状态4；
S6、异常状态具体判断标准为：状态1：左眼到左手腕间距离或右眼到右手腕间距离小于10像素同时满足手腕高度小于眼睛高度；状态2：左手或右手手腕关键点信息丢失时判定为状态2；状态3：出现单侧眼睛及耳朵关键点信息长时间缺失时判定为状态3；状态4：左眼和右眼关键点信息丢失或左右眼坐标信息与左右眼初始坐标信息之差大于阈值时判定为状态4；
S7、同时，加入微表情识别予以辅助判断，定义异常表情发呆；初始时，系统将会每隔5秒对图像进行对比检测；若出现异常表情，则将提高检测频率至每隔1秒进行对比检测；当长时间处于异常表情，则判断为异常状态即课堂行为异常；
S8、引入专家控制策略：对学生课堂情况进行分析，对整个教学过程进行非正常情况概率统计，并记录高于设定概率的时间点，并及时在教师端进行反馈；在整个教学过程中，对每个学生非正常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高；检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别；并在课后在教师端将次数由多至少进行排列予以体现，从而使老师更好的帮助学生完成学习任务；对教室座位区域进行分析，将教室做以下划分，将教室分为若干个区域，识别频率按图示数值进行等比例放大；分别统计各区域异常状态概率：即某一时刻内该区域出现所有非正常情况人数占该区域总人数比值，并通过数据统计计算，计算数值越大，该区域异常概率越大，次日对该区域检测频率进行相应调整提高；
S9、引入搜索和优化识别策略,遍历状态1到状态4，若某一异常学生出现异常行为确诊，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率；
S10、在对各学生端信息采集过后，系统将正异常情况信息传输至教师端并进行汇总；并进行信息分类分析，课后由数据结果对教学进行改革和创新。
2.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：该Openpose模型使用残差网络提取底层特征，以提升改进模型的检测精度和训练速度；该残差网络参照Res-18网络前10层，共构成5个残差块；所构成的残差块为添加了软阈值的残差块；软阈值处理是许多信号降噪算法的基础步骤；如式(1)所示，是软阈值处理公式，其中x是输入值，y是输出值，τ是阈值；
Figure FDA0004038325280000031
3.根据权利要求2所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：使用1X1卷积层为不同图像设置不同阈值，由公式(1)可知，软阈值处理将绝对值小于阈值的值置零，将绝对值大于阈值的值朝零方向缩小，所以阈值必须根据每个样本无关信息含量而定，使用统一的数值反而不利于去除无关信息；该残差块的最终输出结果如公式(2)所示：
Figure FDA0004038325280000032
式中，Y代表输出量，X代表输入量，X′代表经过一般卷积后的X，COV1X1代表使用1X1卷积核卷积，sig代表归一化处理，
Figure FDA0004038325280000033
代表软阈值处理。
4.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：该模型使用权值修剪的方式对模型进行压缩以在保持检测精度的情况下降低运算量，加快检测速度，提高实时性；该方式通过对评估某连接对最终输出结果的贡献度，删除贡献度较小的连接，即可在尽量不影响检测精度的情况下减少网络参数和计算量，缩小模型大小，加快检测速度；评估某条连接贡献度的方法为计算该连接对应卷积核
Figure FDA0004038325280000034
的L2范数，计算方式如公式(3)所示：
Figure FDA0004038325280000041
其中
Figure FDA0004038325280000042
代表第l条通路第k个连接的贡献度，
Figure FDA0004038325280000043
该连接对应的卷积核，h、w分别为该卷积核参数矩阵的高、宽，n为该卷积核参数数量，αij为该卷积核参数矩阵第i行j列对应的参数。
5.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：所述步骤S1之前还包括采用学生卡识别对测试者的身份识别；若身份识别成功人数达到班级人数，进行正常测试并把该课堂上课学生名单录入系统，若身份识别成功人数未达到班级人数，停止测试并提示老师进行考勤。
6.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：所述步骤S4还包括：潜在课堂行为异常为连续未满足要求10秒，一般课堂行为异常为连续未满足要求10秒到30秒，重度课堂行为异常为连续未满足要求大于30秒。
7.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：行为分析数据服务器将会对所识别的数据按照以下各点描述进行分析处理：
(1)任意时间范围内行为异常学生数量；
(2)行为异常学生名单；
(3)任意教室座位区域的行为异常数量；
(4)各异常行为出现数量；
并且输出分析报告，可在教师端显示屏查看。
CN202010317534.2A 2020-04-21 2020-04-21 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 Active CN111523444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317534.2A CN111523444B (zh) 2020-04-21 2020-04-21 基于改进的Openpose模型和面部微表情的课堂行为检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317534.2A CN111523444B (zh) 2020-04-21 2020-04-21 基于改进的Openpose模型和面部微表情的课堂行为检测的方法

Publications (2)

Publication Number Publication Date
CN111523444A CN111523444A (zh) 2020-08-11
CN111523444B true CN111523444B (zh) 2023-05-02

Family

ID=71903693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317534.2A Active CN111523444B (zh) 2020-04-21 2020-04-21 基于改进的Openpose模型和面部微表情的课堂行为检测的方法

Country Status (1)

Country Link
CN (1) CN111523444B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255508A (zh) * 2020-09-21 2022-03-29 西安邮电大学 一种基于OpenPose的学生体态检测分析及效率评估方法
CN112597814A (zh) * 2020-12-04 2021-04-02 南通大学 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN112464904B (zh) * 2020-12-15 2024-07-09 北京乐学帮网络技术有限公司 一种课堂行为分析方法、装置、电子设备及存储介质
CN112990030B (zh) * 2021-03-23 2024-06-14 广东领均科技有限公司 一种基于表情图像的学生情绪分析系统
CN113111747A (zh) * 2021-03-31 2021-07-13 新疆爱华盈通信息技术有限公司 异常肢体行为检测方法、装置、终端及介质
CN113537005B (zh) * 2021-07-02 2023-08-11 福州大学 一种基于姿态估计的线上考试学生行为分析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN109740446A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 课堂学生行为分析方法及装置
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置

Also Published As

Publication number Publication date
CN111523444A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523444B (zh) 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN105516280B (zh) 一种多模态学习过程状态信息压缩记录方法
US20200175264A1 (en) Teaching assistance method and teaching assistance system using said method
CN112487928B (zh) 基于特征模型的课堂学情实时监测方法与系统
CN111523445B (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN114038256B (zh) 一种基于人工智能的教学互动系统
CN111311131A (zh) 一种智慧课堂教学行为分析方法、存储介质及智能电视
CN110580470A (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
CN112257591A (zh) 一种基于机器视觉的远程视频教学质量评定方法与系统
CN111275345A (zh) 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及系统
CN112884304A (zh) 一种基于大数据的在线远程教育系统
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN111178263B (zh) 一种实时表情分析方法及其装置
CN112102129A (zh) 一种基于学生端数据处理的智能考试作弊识别系统
CN116016869A (zh) 一种基于人工智能以及物联网的校园安全监测系统
CN113076885B (zh) 一种基于人眼动作特征的专注度分级方法及系统
CN112116841A (zh) 一种基于深度学习的个性化远程教育系统及方法
CN116188211A (zh) 一种基于在线教育学习评估系统
CN211293955U (zh) 一种基于视频深度学习的青少年视力守护系统
CN114998440A (zh) 基于多模态的测评方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant