CN110175501B - 基于人脸识别的多人场景专注度识别方法 - Google Patents
基于人脸识别的多人场景专注度识别方法 Download PDFInfo
- Publication number
- CN110175501B CN110175501B CN201910264000.5A CN201910264000A CN110175501B CN 110175501 B CN110175501 B CN 110175501B CN 201910264000 A CN201910264000 A CN 201910264000A CN 110175501 B CN110175501 B CN 110175501B
- Authority
- CN
- China
- Prior art keywords
- concentration
- concentration degree
- evaluation
- multiplied
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明为基于人脸识别的多人场景专注度识别方法,属于大数据人工智能深度学习领域。该方法包含以下步骤:S1:专注度特征数据集的建立;S2:专注度识别模型的建立;S3:利用梯度下降算法和专注度特征数据集训练专注度识别模型;S4:将视频图像输入专注度识别模型,得到评价因子矩阵;S5:将评价因子矩阵输入聚类模型,得到最终的专注度分类评估。本发明提供了基于人脸识别的多人场景专注度识别方法,在人脸方位识别的基础上,将专注度评估解构为3个维度的专注度评价因子,并结合整体的专注度分布为个体专注度评价因子施加不同的专注度权重,能够实现多人场景的专注度识别,提高了专注度评估的准确性和模型应用场景的广泛性。
Description
技术领域
本发明涉及基于人脸识别的多人场景专注度识别方法,属于大数据人工智能深度学习领域。
背景技术
专注度是人类智能行为的一种体现。在教学方面,传统教学中老师通过肉眼观察学生上课和考试过程中的注意力情况,但无法同时全面了解整体情况产生一定滞后性且分散教师注意力。在汽车驾驶方面,疲劳检测系统,通过红外光下的摄像头提取驾驶员的眼睛状态、头部姿势等特征,对驾驶员的专注度进行分析和预警。随着人脸特征识别和机器学习技术在人工智能、医学图像处和安全控制等领域广泛应用,使得专注度识别成为有可能。目前,对人类专注程度的评估方法有问卷调查法,观察法,计算机视觉法等。
早期,应用在关注专注程度的识别方法往往是针对无复杂背景的人脸监测,实际应用中受到很大程度的限制,面对视频条件或图像动态发生变化,都需要对检测系统的参数做调整或者重新设计整个系统。近几年,随着识别算法的发展,主要的检测方法多给予数据驱动的学习方法,归结分为模板检测、人脸特征检测和利用统计理论方法检测三大类,然而这些方法都有一定的局限性。模板检测是人脸模板的大小和取向具有一定的固定性,检测时受到模板的局限。人脸特征检测是根据人的眼睛、鼻子和嘴巴等人脸器官灰度值的不同,建立相对应的判断算法,但不同的环境下产生不同的背景,如果视频中遇到复杂难以分辨的背景,会产生不同色度空间,非人脸肤色和人脸肤色就会有部分重叠,反而增加了检测难度,而且识别模型都是基于正面人脸的识别,然而在大多数复杂场景中,人脸在视频摄像头中呈现多样的方位分布,由于人脸方位的变化,上述模型识别的效果急剧下降,无法使用多方位的人脸特征识别。目前,专注度的识别系统通过深度学习模型对人体的表情状态进行判断,判别的类别通常分为注意力不集中,认真听讲等类别。但这类模型只能适应较为简单场景下的专注度识别,对于场景较为复杂,人群较为密集的场所,识别效率低,准确度不高。
发明内容
有鉴于此,本发明提供基于人脸识别的多人场景专注度识别方法,在人脸方位识别的基础上,匹配相应的特征点检测模板,利用深度学习方法实现对不同方位的人体的专注度特征的提取和准确识别,结合每一个人的专注度识别结果,判断多人场景模式,进而实现多人场景的专注度识别。
为达到上述目的,本发明提供如下技术方案:
基于人脸识别的多人场景专注度识别方法,包括如下步骤:
S1:专注度特征数据集的建立;
S2:专注度识别模型的建立;
S3:利用梯度下降算法和专注度特征数据集训练专注度识别模型;
S4:将视频图像输入专注度识别模型,得到评价因子矩阵;
S5:将评价因子矩阵输入聚类模型,得到最终的专注度分类评估。
进一步,步骤S1所述的专注度特征数据集的建立具体为:通过视频数据库和摄像头获取的视频,每隔固定T时长提取一帧图像,判断该图像中是否含有人体轮廓,如果有,提取图像专注度特征,如果没有,则等待判断下一次图像。所述的专注度特征设置为3类,分别为人脸朝向、身体姿态、眼睛注视状态。其中,人脸朝向又分为正向、侧向、背向三类;身体特征又分为站立、坐下、趴卧三类;眼睛注视状态又分为为睁眼、闭眼、无法观察三类。
进一步,步骤S2所述的专注度识别模型由一个卷积神经网络串连一个后续处理层构成,所述后续处理层是由三个全连接层与一个卷积层相互作用构成的。其工作原理具体为:将图片通过适当的缩放处理为指定大小的后,输入特征提取神经网络模型,得到M×N维的特征向量进一步,将特征向量输入3个并行的全连接层,每个全连接层的卷积核为1×1,得到M×3×3维的特征矩阵,其中特征矩阵的3×3部分元素即对应这个人的专注度特征。同时,将特征向量输入一个卷积核大小为3×N的卷积层,得到M×1的权重矩阵。最后,将该权重矩阵与特征矩阵每个人对应行列相作用得到M×3×3维的评价因子矩阵。其中M是检测到人数;N是每一个人对应的特征参数,根据识别精度人为设定。
进一步,步骤S5所述的聚类模型是由M个并行的分类器串接一个分类器构成的,每一个分类器可以为支持向量机(Support Vector Machine,SVM)等常见分类器。其工作原理是M个并行的分类器分别将评价因子矩阵中M个人的3×3维专注度特征进行分类,分为专注和不专注两类;然后,将专注度特征分类结果输入到串接的一个分类器,来对场景进行分类,分为专注度识别场景和非专注度识别场景;最后,将专注度特征分类结果与场景分类结果进行卷积,得到最终的专注度分类评估。
本发明的有益效果在于:本发明提供了基于人脸识别的多人场景专注度识别方法,将专注度评估解构为3个维度的专注度评价因子,并结合整体的专注度分布为个体专注度评价因子施加不同的专注度权重,能够实现多人场景的专注度识别,提高了专注度评估的准确性和模型应用场景的广泛性。
附图说明
为了使本发明的目的、技术方案,本发明提供如下附图进行说明:
图1为基于人脸识别的多人场景专注度识别方法流程图;
图2为本发明实施例的专注度识别模型示意图;
图3为本发明实施例的聚类模型示意图。
具体实施方式
为使本发明的目的和技术方案更加清晰明白,下面结合附图及实施例对本发明进行详细的描述。
实施例:
在重要考试中,面对大量的监考视频,识别考场中考生的专注度,实现考试过程的无人监考。本实施例提供基于人脸识别的多人场景专注度识别方法,结合图1,该方法包含以下步骤:
步骤一:
从考试摄像视频以及网络视频等视频构建的考试视频库中获取不同考场下,不同的分辨率、帧率、对比度、拍摄角度,不同被拍摄人数,不同拍摄距离等多种因素下的视频,每隔固定T时长提取一帧图像,判断该图像中是否含有人体轮廓,如果有,提取图像专注度特征,并对每张图像进行分类;如果没有,则等待判断下一次图像。所述的专注度特征设置为3类,分别为人脸朝向、身体姿态、眼睛注视状态。其中,人脸朝向又分为正向、侧向、背向三类;身体特征又分为站立、坐下、趴卧三类;眼睛注视状态又分为为睁眼、闭眼、无法观察三类。
步骤二:
结合图2,建立专注度识别模型,由一个卷积神经网络(Visual Geometry Group,VGG)串连一个后续处理层构成,所述后续处理层是由三个全连接层与一个卷积层相互作用构成的。其工作原理具体为:将图片通过适当的缩放处理为指定大小的后,输入特征提取神经网络模型,得到M×N维的特征向量进一步,将特征向量输入3个并行的全连接层,每个全连接层的卷积核为1×1,得到M×3×3维的特征矩阵,其中特征矩阵的3×3部分元素即对应这个人的专注度特征。同时,将特征向量输入一个卷积核大小为3×N的卷积层,得到M×1的权重矩阵。最后,将该权重矩阵与特征矩阵每个人对应行列相作用得到M×3×3维的评价因子矩阵。其中M是对应每张图像检测到人数;N是每一个人对应的特征参数,根据识别精度人为设定。
步骤三:
将步骤一中的考试视频库按8∶2的比例分为训练集和测试集,利用梯度下降算法分别对步骤二所建立的专注度识别模型进行训练和测试,对比步骤一的分类结果,选取效果最优的专注度识别模型参数;
步骤四:
将考场实时拍摄视频作为输入,利用专注度识别模型,获取考生专注度评价因子矩阵。
步骤五:
结合图3,将评价因子矩阵输入聚类模型,得到每个考生最终的专注度分类评估,并在视频中标注出不专注的考生。其中,聚类模型是由M个并行的SVM分类器串接一个SVM分类器构成的,其工作原理是 M个并行的SVM分类器分别将评价因子矩阵中M个人的3×3维专注度特征进行分类,分为专注和不专注两类;然后,将专注度特征分类结果输入到串接的一个SVM分类器,来对场景进行分类,分为考试进行中和非考试时间场景;最后,将专注度特征分类结果与场景分类结果进行卷积,得到最终的专注度分类评估。例如,当场景判定为考试进行中时,有考生的专注度判定为不专注时,此时,综合判断该考生最终的专注度为不专注,并在视频中标注出此考生。
可见,本发明方法能够准确有效的实现考场的无人监考,降低人力成本,提高监考质量。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其做出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (1)
1.基于人脸识别的多人场景专注度识别方法,其特征在于,该方法包含以下步骤:
S1:专注度特征数据集的建立;
S2:专注度识别模型的建立;
S3:利用梯度下降算法和专注度特征数据集训练专注度识别模型;
S4:将视频图像输入专注度识别模型,得到评价因子矩阵;
S5:将评价因子矩阵输入聚类模型,得到最终的专注度分类评估;
步骤S1所述的专注度特征数据集的建立具体为:通过视频数据库和摄像头获取视频,每隔固定T时长提取一帧图像,判断该图像中是否含有人体轮廓,如果有,提取图像专注度特征,如果没有,则等待判断下一次图像;所述的专注度特征设置为3类:分别为人脸朝向、身体姿态、眼睛注视状态;其中,人脸朝向又分为正向、侧向、背向三类;身体特征又分为站立、坐下、趴卧三类;眼睛注视状态又分为为睁眼、闭眼、无法观察三类;
步骤S2所述的专注度识别模型由一个卷积神经网络串连一个后续处理层构成,所述后续处理层是由三个全连接层与一个卷积层相互作用构成的;其工作原理具体为:将图片通过适当的缩放处理为指定大小的后,输入特征提取神经网络模型,得到M×N维的特征向量进一步,将特征向量输入3个并行的全连接层,每个全连接层的卷积核为1×1,得到M×3×3维的特征矩阵,其中特征矩阵的3×3部分元素即对应这个人的专注度特征;同时,将特征向量输入一个卷积核大小为3×N的卷积层,得到M×1的权重矩阵;最后,将该权重矩阵与特征矩阵每个人对应行列相作用得到M×3×3维的评价因子矩阵;其中M是检测到人数;N是每一个人对应的特征参数,根据识别精度人为设定;
步骤S5所述的聚类模型是由M个并行的分类器串接一个分类器构成的,每一个分类器可以为支持向量机(Support Vector Machine,SVM);其工作原理是M个并行的分类器分别将评价因子矩阵中M个人的3×3维专注度特征进行分类,分为专注和不专注两类;然后,将专注度特征分类结果输入到串接的一个分类器,来对场景进行分类,分为专注度识别场景和非专注度识别场景;最后,将专注度特征分类结果与场景分类结果进行卷积,得到最终的专注度分类评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910264000.5A CN110175501B (zh) | 2019-03-28 | 2019-03-28 | 基于人脸识别的多人场景专注度识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910264000.5A CN110175501B (zh) | 2019-03-28 | 2019-03-28 | 基于人脸识别的多人场景专注度识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110175501A CN110175501A (zh) | 2019-08-27 |
CN110175501B true CN110175501B (zh) | 2023-04-07 |
Family
ID=67689349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910264000.5A Active CN110175501B (zh) | 2019-03-28 | 2019-03-28 | 基于人脸识别的多人场景专注度识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175501B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027382B (zh) * | 2019-11-06 | 2023-06-23 | 华中师范大学 | 一种基于注意力机制的轻量级人脸检测的方法及模型 |
CN110889672B (zh) * | 2019-11-19 | 2022-04-12 | 哈尔滨理工大学 | 一种基于深度学习的学生打卡及上课状态的检测系统 |
CN111144321B (zh) * | 2019-12-28 | 2023-06-09 | 北京如布科技有限公司 | 专注度检测方法、装置、设备和存储介质 |
CN111439267B (zh) * | 2020-03-30 | 2021-12-07 | 上海商汤临港智能科技有限公司 | 一种舱内环境的调整方法及装置 |
CN113591515B (zh) * | 2020-04-30 | 2024-04-05 | 百度在线网络技术(北京)有限公司 | 专注度处理方法、装置及存储介质 |
CN112307920B (zh) * | 2020-10-22 | 2024-03-22 | 东云睿连(武汉)计算技术有限公司 | 一种高风险工种作业人员行为预警装置及方法 |
CN112381001A (zh) * | 2020-11-16 | 2021-02-19 | 四川长虹电器股份有限公司 | 基于专注度的智能电视用户识别方法及装置 |
CN114419711B (zh) * | 2022-01-19 | 2022-11-04 | 成都节节高教育科技有限公司 | 基于ai教育系统的专注度识别方法 |
CN115019374B (zh) * | 2022-07-18 | 2022-10-11 | 北京师范大学 | 基于人工智能的智慧课堂学生专注度低耗检测方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354986B (zh) * | 2015-11-12 | 2017-12-01 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
CN105893980B (zh) * | 2016-04-26 | 2019-02-26 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
CN108073888A (zh) * | 2017-08-07 | 2018-05-25 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助系统 |
CN108021893A (zh) * | 2017-12-07 | 2018-05-11 | 浙江工商大学 | 一种用于判断学生上课专注度的算法 |
CN108960065B (zh) * | 2018-06-01 | 2020-11-17 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
CN109522815B (zh) * | 2018-10-26 | 2021-01-15 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
-
2019
- 2019-03-28 CN CN201910264000.5A patent/CN110175501B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110175501A (zh) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175501B (zh) | 基于人脸识别的多人场景专注度识别方法 | |
CN110287805B (zh) | 基于三流卷积神经网络的微表情识别方法及系统 | |
CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测系统 | |
CN109583322B (zh) | 一种人脸识别深度网络训练方法和系统 | |
CN110837784B (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
CN109409297B (zh) | 一种基于双通道卷积神经网络的身份识别方法 | |
CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
CN107506722A (zh) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 | |
CN108615010A (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN106650619A (zh) | 一种人体动作识别方法 | |
CN106682578B (zh) | 基于眨眼检测的弱光人脸识别方法 | |
CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
CN110472512B (zh) | 一种基于深度学习的人脸状态识别方法及其装置 | |
CN104123543A (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN111353390A (zh) | 一种基于深度学习的微表情识别方法 | |
CN109598226B (zh) | 基于Kinect彩色及深度信息在线考试作弊判断方法 | |
CN111507592A (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
CN113657168A (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
CN112149616A (zh) | 基于动态信息的人物交互行为识别方法 | |
CN111507227A (zh) | 基于深度学习的多学生个体分割及状态自主识别方法 | |
Sinha et al. | Real time facial emotion recognition using deep learning | |
Tang et al. | Automatic facial expression analysis of students in teaching environments | |
CN113610046A (zh) | 一种基于深度视频联动特征的行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |