CN111353366A - 一种情绪检测方法及装置、电子设备 - Google Patents
一种情绪检测方法及装置、电子设备 Download PDFInfo
- Publication number
- CN111353366A CN111353366A CN201910765966.7A CN201910765966A CN111353366A CN 111353366 A CN111353366 A CN 111353366A CN 201910765966 A CN201910765966 A CN 201910765966A CN 111353366 A CN111353366 A CN 111353366A
- Authority
- CN
- China
- Prior art keywords
- detection object
- detection
- image information
- information
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 202
- 230000008451 emotion Effects 0.000 title claims abstract description 80
- 230000014509 gene expression Effects 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000002996 emotional effect Effects 0.000 claims abstract description 45
- 230000006399 behavior Effects 0.000 claims description 106
- 230000002159 abnormal effect Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 12
- 210000000887 face Anatomy 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 8
- 206010000117 Abnormal behaviour Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009223 counseling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种情绪检测方法及装置、电子设备，包括：获取包括检测对象的图像信息；对所述图像信息进行处理，识别确定所述检测对象的当前行为；对所述图像信息进行处理，识别确定所述检测对象的当前表情；根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象的情绪状态。本发明能够检测检测对象的情绪状态，为检测对象的性格、情绪分析提供数据依据。
Description
技术领域
本发明涉及人工智能技术领域，特别是指一种情绪检测方法及装置、电子设备。
背景技术
在青少年儿童的成长过程中，身体和心理会发生一系列变化，受到家庭环境、学习压力、情感问题等多种因素的影响，会引发心理问题。在学校，心理辅导教师难以做到为每个学生进行心理评测与疏导，有心理问题的学生也不愿意主动寻求心理疏导。
发明内容
有鉴于此，本发明的目的在于提出一种情绪检测方法及装置、电子设备，能够检测学生的情绪状态。
基于上述目的，本发明提供了一种情绪检测方法，包括：
获取包括检测对象的图像信息；
对所述图像信息进行处理，识别确定所述检测对象的当前行为；
对所述图像信息进行处理，识别确定所述检测对象的当前表情；
根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象的情绪状态。
可选的，所述方法包括：
获取包括多个所述检测对象的图像信息；
对所述图像信息进行处理，识别确定所有检测对象的身份信息；
对所述图像信息进行处理，识别确定所有检测对象的当前行为；
对所述图像信息进行处理，识别确定所有检测对象的当前表情；
根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
可选的，所述对所有图像信息进行处理，识别确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
可选的，所述历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据，根据每个检测对象的所述历史情绪数据，分析得到每个检测对象的性格特点；根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象处于异常情绪状态时，对所述检测对象进行异常标注。
本发明实施例提供一种情绪检测装置，包括：
图像获取单元，用于获取包括检测对象的图像信息；
第一行为识别模块，用于对所述图像信息进行处理，识别确定所述检测对象的当前行为；
第一表情识别模块，用于对所述图像信息进行处理，识别确定所述检测对象的当前表情；
第一情绪检测模块，用于根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象的情绪状态。
可选的，所述装置包括：
图像获取单元，用于获取包括多个检测对象的图像信息；
身份匹配模块，用于对所述图像信息进行处理，识别确定所有检测对象的身份信息；
第二行为识别模块，用于对所述图像信息进行处理，识别确定所有检测对象的当前行为；
第二表情识别模块，用于对所述图像信息进行处理，识别确定所有检测对象的当前表情；
第二情绪检测模块，根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
可选的，所述身份匹配模块包括：
座位表生成模块，用于预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
位置表生成模块，用于对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息；
匹配模块，用于将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
可选的，所述历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据，根据每个检测对象的所述历史情绪数据，分析得到每个检测对象的性格特点；根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象处于异常情绪状态时，对所述检测对象进行异常标注。
可选的，所述装置还包括：
结果统计模块，用于将所有检测对象的各项信息进行统计，生成统计数据表；所述各项信息包括身份信息、性格特点、情绪状态、异常标注信息。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述情绪检测方法。
从上面所述可以看出，本发明提供的情绪检测方法及装置、电子设备，通过采集获取包括检测对象的图像信息；对图像信息进行处理，识别确定检测对象的当前行为；对图像信息进行处理，识别确定检测对象的当前表情；根据检测对象的当前行为和当前表情，结合检测对象的历史情绪数据，判断检测对象的情绪状态。本发明能够检测检测对象的情绪状态，为检测对象的性格、情绪分析提供数据依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程示意图；
图2为本发明另一实施例的方法流程示意图；
图3为本发明实施例的装置结构图；
图4为本发明另一实施例的装置结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
图1为本发明实施例的方法流程示意图。如图所示，本发明实施例提供的情绪检测方法，包括：
S10：获取包括检测对象的图像信息；
于一些实施例中，利用图像采集设备采集包括检测对象的视频信息，按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔30秒从视频信息中提取一幅图像信息。
S11：对图像信息进行处理，识别确定检测对象的当前行为；
于一些实施例中，对图像信息利用行为识别模型进行识别处理，确定检测对象的当前行为动作，如举手、站立、说话、趴桌子、打闹等。
S12：对图像信息进行处理，识别确定检测对象的当前表情；
于一些实施例中，对图像信息利用表情识别模型进行识别处理，确定检测对象的当前表情，如高兴、伤心、生气、失望等。
S13：根据检测对象的当前行为和当前表情，结合检测对象的历史情绪数据，判断检测对象的情绪状态。
持续执行上述步骤S10-S12，根据检测对象的行为和表情，分别统计检测对象的行为轨迹数据和表情轨迹数据，根据行为轨迹数据和表情轨迹数据分析确定检测对象的性格特点，作为检测对象的历史情绪数据。如检测对象举手行为多，站立说话多，根据其行为轨迹数据，判断该检测对象课堂表现活跃，检测对象高兴表情多，根据其表情轨迹数据，判断该检测对象性格乐观。
将检测对象的当前行为与行为轨迹数据进行对比分析，将检测对象当前表情和表情轨迹数据进行对比分析，判断检测对象的当前情绪状态。例如对于课堂表现活跃的检测对象，识别的当前行为为趴桌子或是打闹等异常行为，同时，识别的当前表情为伤心、生气等异常表情时，可判断检测对象的情绪发生异常。若在一定的时期之内，检测对象的情绪均处于异常状态，则可根据检测结果，重点关注该检测对象，及时对该检测对象进行心理辅导。
图2为本发明另一实施例的方法流程示意图。如图所示，本发明另一实施例中，所述情绪检测方法可同时检测多个检测对象的情绪状态，所述方法包括：
S20：获取包括多个检测对象的图像信息；
于一些实施例中，可于特定区域安装图像采集设备，用于采集特定区域内所有检测对象的图像信息。例如，在教室前方安装摄像头，用于采集教室内所有学生的图像信息。
S21：对图像信息进行处理，识别确定所有检测对象的身份信息；
在学校的应用场景，由于每个教室内的学生人数固定，学生的座位固定，所以可预先确定包括所有学生的座位表，方法是：对于特定班级，录入所有学生的人脸样本及基本信息，将每个学生的人脸样本及基本信息与学生的座位位置相对应，生成根据每个学生的座位位置划分的网格状座位表，座位表中的每个网格包括该座位位置的学生人脸样本及基本信息(姓名、性别、学号、班级、学校等信息)。
在校期间，利用摄像头采集教室内所有学生的图像信息，对图像信息进行人脸识别处理，确定图像信息中所有人脸的位置，根据所有人脸的位置，对图像信息进行划分处理，生成根据每个学生的人脸位置划分的网格状位置表，位置表中的每个网格包括一个学生的人脸信息，根据位置表与座位表，将位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为人脸信息与人脸样本一致，根据人脸样本对应的基本信息确定人脸信息的身份信息，即确定网格内检测对象的身份信息，若匹配程度未达到匹配度或是网格内未检测到人脸信息，则可进一步判断对应学生的出勤状态。利用上述方法，确定出所有检测对象对应的身份信息。
S22：对图像信息进行处理，识别确定所有检测对象的当前行为；
基于位置表，识别每个网格内的学生的当前行为。对于每个网格内的一个学生，利用行为识别模型识别当前行为的方法包括：检测网格内的关键部位，包括头部、手部、肩部等，跟踪关键部位的位置，根据关键部位的位置变化，确定关键部位的动作。例如，手部由其他位置变化为设定的举手位置，则判断为举手行为；若手部位置超出该手部所在网格范围之内，则需结合相邻网格内手部的数量和位置，判断手部的具体行为；头部位置在预设的转动范围之内转动，则判断头部转动行为；头部超出该头部所在网格范围之内，则需结合嘴部动作，判断该学生是否为交头接耳行为；根据头部、手部及桌子的位置，判断是否为趴桌子行为等等。利用上述行为识别模型识别位置表内所有网格内所有学生的当前行为。
S23：对图像信息进行处理，识别确定所有检测对象的当前表情；
基于位置表，识别每个网格内的学生的当前表情。对于每个网格内的一个学生，利用表情识别模型识别当前行为的方法包括：识别网格内的人脸区域，于人脸区域内识别关键部位，包括眼睛、鼻子、嘴部、眉毛等，跟踪关键部位的位置，根据关键部位的位置变化，确定脸部表情。例如，嘴部在设定的张开度范围之内变化，判断为说话行为；嘴角上扬一定角度，判断为高兴；嘴部撅起，判断为生气；两眉毛的距离接近且形成一定角度，判断为皱眉行为，结合嘴部动作可判断为生气或是严肃表情；鼻子的鼻孔张大、眼睛瞪大，可判断为惊讶，若同时皱眉，则判断为愤怒等等。利用上述表情识别模型识别位置表内所有网格内所有学生的当前表情。
S24：根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
根据前述步骤S20-23可采集、识别处理得到每个学生在一定时间(如一周、一个月、一个学期等)内的历史情绪数据。历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据。根据每个学生的历史情绪数据，可分析得到每个学生的性格特点，例如，大部分时间处于高兴状态、说话行为的学生可认为是性格开朗，大部分时间处于严肃状态，说话行为很少的学生可认为是性格内向等。
根据每个学生的当前行为和当前表情，结合该学生对应的历史情绪数据，判断学生的当前情绪状态。例如，根据学生A的历史情绪数据，学生A的性格较为开朗，识别出的学生A的当前行为为趴桌子等异常行为，或是当前表情为生气或愤怒等异常表情，判断学生A的情绪可能异常；或是根据学生B的历史情绪数据，学生B的性格较为内向，识别出的学生B的当前行为为交头接耳等异常行为，或是当前表情为生气或愤怒等异常表情，判断学生B的情绪可能异常。
当识别出情绪异常的学生时，对该学生进行异常标注，对于异常标注的学生重点检测和分析，包括，提高图像采集频率，即对于图像采集单元采集的视频信息，按照第二预定时间从视频信息中提取图像信息，例如没有情绪异常的学生时，每隔30秒提取一帧图像信息，检测到情绪异常的学生时，每隔1秒提取一帧图像信息。对提取出的图像信息识别学生的当前行为和当前表情，根据学生的当前行为和当前表情，结合历史情绪数据，判断学生的当前情绪状态，若一定时间之内(如一周之内)，学生均处于情绪异常状态，则提醒教师对该学生进行关注，及时采取合理的措施。
于一些实施例中，将班级内所有学生的各项信息以数据表形式统计、存储。数据表包括每个学生的身份信息、性格特点、情绪状态、异常标注等信息，教师可根据统计的数据表，直观的了解每个学生的精神状态。
图3为本发明实施例的装置结构图。如图所示，本发明实施例提供的情绪检测装置，包括：
图像获取单元，用于获取包括检测对象的图像信息；
第一行为识别模块，用于对图像信息进行处理，识别确定检测对象的当前行为；
第一表情识别模块，用于对图像信息进行处理，识别确定检测对象的当前表情；
第一情绪检测模块，用于根据检测对象的当前行为和当前表情，结合检测对象的历史情绪数据，判断检测对象的情绪状态。
于一些实施例中，利用图像采集单元采集包括检测对象的视频信息，按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔30秒从视频信息中提取一幅图像信息。
于一些实施例中，第一行为识别模块对图像信息进行识别处理，确定检测对象的当前行为动作，如举手、站立、说话、趴桌子、打闹等。第一表情识别模块对图像信息进行识别处理，确定检测对象的当前表情，如高兴、伤心、生气、失望等。
在一定时期内，根据检测对象的行为和表情，分别统计检测对象的行为轨迹数据和表情轨迹数据，根据行为轨迹数据和表情轨迹数据分析确定检测对象的性格特点，作为检测对象的历史情绪数据。如检测对象举手行为多，站立说话多，根据其行为轨迹数据，判断该检测对象课堂表现活跃，检测对象高兴表情多，根据其表情轨迹数据，判断该检测对象性格乐观。
第一情绪检测模块将检测对象的当前行为与行为轨迹数据进行对比分析，将检测对象当前表情和表情轨迹数据进行对比分析，判断检测对象的当前情绪状态。例如对于课堂表现活跃的检测对象，识别的当前行为为趴桌子或是打闹等异常行为，同时，识别的当前表情为伤心、生气等异常表情时，可判断检测对象的情绪发生异常。若在一定的时期之内，检测对象的情绪均处于异常状态，则可根据检测结果，重点关注该检测对象，及时对该检测对象进行心理辅导。
图4为本发明另一实施例的装置结构框图。如图所示，本发明实施例提供的情绪检测装置，可同时检测多个检测对象的情绪状态，装置包括：
图像获取单元，用于获取包括多个检测对象的图像信息；
身份匹配模块，用于对图像信息进行处理，识别确定所有检测对象的身份信息；
第二行为识别模块，用于对图像信息进行处理，识别确定所有检测对象的当前行为；
第二表情识别模块，用于对图像信息进行处理，识别确定所有检测对象的当前表情；
第二情绪检测模块，根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
于一些实施例中，可于特定区域安装图像采集单元，用于采集特定区域内所有检测对象的图像信息。例如，在教室前方安装摄像头，用于采集教室内所有学生的图像信息。
于一些实施例中，所述身份匹配模块包括：
座位表生成模块，用于预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
位置表生成模块，用于对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息；
匹配模块，用于将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
在学校的应用场景，由于每个教室内的学生人数固定，学生的座位固定，所以可预先确定包括所有学生的座位表，方法是：对于特定班级，录入所有学生的人脸样本及基本信息，将每个学生的人脸样本及基本信息与学生的座位位置相对应，生成根据每个学生的座位位置划分的网格状座位表，座位表中的每个网格包括该座位位置的学生人脸样本及基本信息(姓名、性别、学号、班级、学校等信息)。
在校期间，利用摄像头采集教室内所有学生的图像信息，位置表生成模块对图像信息进行人脸识别处理，确定图像信息中所有人脸的位置，根据所有人脸的位置，对图像信息进行划分处理，生成根据每个学生的人脸位置划分的网格状位置表，位置表中的每个网格包括一个学生的人脸信息；匹配模块根据位置表与座位表，将位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为人脸信息与人脸样本一致，根据人脸样本对应的基本信息确定人脸信息的身份信息，即确定网格内检测对象的身份信息，若匹配程度未达到匹配度或是网格内未检测到人脸信息，则可进一步判断对应学生的出勤状态。利用身份匹配模块确定出所有检测对象对应的身份信息。
第二行为识别模块基于位置表，识别每个网格内的学生的当前行为。对于每个网格内的一个学生，利用行为识别模型识别当前行为的方法包括：检测网格内的关键部位，包括头部、手部、肩部等，跟踪关键部位的位置，根据关键部位的位置变化，确定关键部位的动作。例如，手部由其他位置变化为设定的举手位置，则判断为举手行为；若手部位置超出该手部所在网格范围之内，则需结合相邻网格内手部的数量和位置，判断手部的具体行为；头部位置在预设的转动范围之内转动，则判断头部转动行为；头部超出该头部所在网格范围之内，则需结合嘴部动作，判断该学生是否为交头接耳行为；根据头部、手部及桌子的位置，判断是否为趴桌子行为等等。利用上述行为识别模型识别位置表内所有网格内所有学生的当前行为。
第二表情识别模块基于位置表，识别每个网格内的学生的当前表情。对于每个网格内的一个学生，利用表情识别模型识别当前行为的方法包括：识别网格内的人脸区域，于人脸区域内识别关键部位，包括眼睛、鼻子、嘴部、眉毛等，跟踪关键部位的位置，根据关键部位的位置变化，确定脸部表情。例如，嘴部在设定的张开度范围之内变化，判断为说话行为；嘴角上扬一定角度，判断为高兴；嘴部撅起，判断为生气；两眉毛的距离接近且形成一定角度，判断为皱眉行为，结合嘴部动作可判断为生气或是严肃表情；鼻子的鼻孔张大、眼睛瞪大，可判断为惊讶，若同时皱眉，则判断为愤怒等等。利用上述表情识别模型识别位置表内所有网格内所有学生的当前表情。
根据前述过程可采集、识别处理得到每个学生在一定时间(如一周、一个月、一个学期等)内的历史情绪数据。历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据。根据每个学生的历史情绪数据，可分析得到每个学生的性格特点，例如，大部分时间处于高兴状态、说话行为的学生可认为是性格开朗，大部分时间处于严肃状态，说话行为很少的学生可认为是性格内向等。
第二情绪检测模块根据每个学生的当前行为和当前表情，结合该学生对应的历史情绪数据，判断学生的当前情绪状态。例如，根据学生A的历史情绪数据，学生A的性格较为开朗，识别出的学生A的当前行为为趴桌子等异常行为，或是当前表情为生气或愤怒等异常表情，判断学生A的情绪可能异常；或是根据学生B的历史情绪数据，学生B的性格较为内向，识别出的学生B的当前行为为交头接耳等异常行为，或是当前表情为生气或愤怒等异常表情，判断学生B的情绪可能异常。
当识别出情绪异常的学生时，对该学生进行异常标注，对于异常标注的学生重点检测和分析，包括，提高图像采集频率，即对于图像采集单元采集的视频信息，按照第二预定时间从视频信息中提取图像信息，例如没有情绪异常的学生时，每隔30秒提取一帧图像信息，检测到情绪异常的学生时，每隔1秒提取一帧图像信息。对提取出的图像信息识别学生的当前行为和当前表情，根据学生的当前行为和当前表情，结合历史情绪数据，判断学生的当前情绪状态，若一定时间之内(如一周之内)，学生均处于情绪异常状态，则提醒教师对该学生进行关注，及时采取合理的措施。
于一些实施例中，所述情绪检测装置还包括结果统计模块，用于将所有检测对象的各项信息进行统计，生成统计数据表。将班级内所有学生的各项信息以数据表形式统计、存储。数据表包括每个学生的身份信息、性格特点、情绪状态、异常标注等信息，教师可根据统计的数据表，直观的了解每个学生的精神状态。
基于上述目的，本发明实施例还提出了一种执行所述情绪检测方法的装置的一个实施例。所述装置包括：
一个或多个处理器以及存储器。
所述执行所述情绪检测方法的装置还可以包括：输入装置和输出装置。
处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。
存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的情绪检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的情绪检测方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行所述情绪检测方法的装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可接收输入的数字或字符信息，以及产生与执行情绪检测方法的装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的情绪检测方法。所述执行所述情绪检测方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种情绪检测方法，其特征在于，包括：
获取包括检测对象的图像信息；
对所述图像信息进行处理，识别确定所述检测对象的当前行为；
对所述图像信息进行处理，识别确定所述检测对象的当前表情；
根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象的情绪状态。
2.根据权利要求1所述的方法，其特征在于，包括：
获取包括多个所述检测对象的图像信息；
对所述图像信息进行处理，识别确定所有检测对象的身份信息；
对所述图像信息进行处理，识别确定所有检测对象的当前行为；
对所述图像信息进行处理，识别确定所有检测对象的当前表情；
根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
3.根据权利要求2所述的方法，其特征在于，所述对所有图像信息进行处理，识别确定所有检测对象的身份信息，包括：
预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息，将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
4.根据权利要求1或2所述的方法，其特征在于，所述历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据，根据每个检测对象的所述历史情绪数据，分析得到每个检测对象的性格特点；根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象处于异常情绪状态时，对所述检测对象进行异常标注。
5.一种情绪检测装置，其特征在于，包括：
图像获取单元，用于获取包括检测对象的图像信息；
第一行为识别模块，用于对所述图像信息进行处理，识别确定所述检测对象的当前行为；
第一表情识别模块，用于对所述图像信息进行处理，识别确定所述检测对象的当前表情；
第一情绪检测模块，用于根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象的情绪状态。
6.根据权利要求5所述的装置，其特征在于，包括：
图像获取单元，用于获取包括多个检测对象的图像信息；
身份匹配模块，用于对所述图像信息进行处理，识别确定所有检测对象的身份信息；
第二行为识别模块，用于对所述图像信息进行处理，识别确定所有检测对象的当前行为；
第二表情识别模块，用于对所述图像信息进行处理，识别确定所有检测对象的当前表情；
第二情绪检测模块，根据各检测对象的当前行为和当前表情，结合各检测对象的历史情绪数据，判断每个检测对象的情绪状态。
7.根据权利要求6所述的装置，其特征在于，所述身份匹配模块包括：
座位表生成模块，用于预先生成根据每个检测对象的座位位置划分的网格状座位表，所述座位表中的每个网格包括该座位位置的人脸样本及基本信息；
位置表生成模块，用于对所述图像信息进行人脸识别处理，确定所述图像信息中所有人脸的位置，根据所有人脸的位置，对所述图像信息进行划分处理，生成网格状的位置表，所述位置表中的每个网格包括一个检测对象的人脸信息；
匹配模块，用于将所述位置表与座位表中每个对应的网格进行匹配，判断对应网格内的人脸信息与人脸样本的匹配程度，若匹配程度达到预设匹配度，则认为所述人脸信息与人脸样本一致，根据所述人脸样本对应的基本信息确定所述人脸信息的身份信息。
8.根据权利要求5或6所述的装置，其特征在于，所述历史情绪数据包括根据历史行为统计得到的行为轨迹数据和根据历史表情统计得到的表情轨迹数据，根据每个检测对象的所述历史情绪数据，分析得到每个检测对象的性格特点；根据所述检测对象的当前行为和当前表情，结合所述检测对象的历史情绪数据，判断所述检测对象处于异常情绪状态时，对所述检测对象进行异常标注。
9.根据权利要求8所述的装置，其特征在于，还包括：
结果统计模块，用于将所有检测对象的各项信息进行统计，生成统计数据表；所述各项信息包括身份信息、性格特点、情绪状态、异常标注信息。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910765966.7A CN111353366A (zh) | 2019-08-19 | 2019-08-19 | 一种情绪检测方法及装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910765966.7A CN111353366A (zh) | 2019-08-19 | 2019-08-19 | 一种情绪检测方法及装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111353366A true CN111353366A (zh) | 2020-06-30 |
Family
ID=71193944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910765966.7A Pending CN111353366A (zh) | 2019-08-19 | 2019-08-19 | 一种情绪检测方法及装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353366A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257570A (zh) * | 2020-10-20 | 2021-01-22 | 江苏濠汉信息技术有限公司 | 基于视觉分析检测施工人员安全帽未佩戴的方法及装置 |
| CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN112818841A (zh) * | 2021-01-29 | 2021-05-18 | 北京搜狗科技发展有限公司 | 一种识别用户情绪的方法及相关装置 |
| CN112906555A (zh) * | 2021-02-10 | 2021-06-04 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN112990119A (zh) * | 2021-04-25 | 2021-06-18 | 之江实验室 | 一种视频多目标人脸表情识别方法和系统 |
| CN113378733A (zh) * | 2021-06-17 | 2021-09-10 | 杭州海亮优教教育科技有限公司 | 一种构建情感日记和日常活动识别的系统及装置 |
| WO2022120925A1 (zh) * | 2020-12-07 | 2022-06-16 | 安徽鸿程光电有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN115761835A (zh) * | 2022-10-19 | 2023-03-07 | 慧之安信息技术股份有限公司 | 一种基于人脸识别的学生情绪分析方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
| KR20160095735A (ko) * | 2015-02-04 | 2016-08-12 | 단국대학교 천안캠퍼스 산학협력단 | 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109145871A (zh) * | 2018-09-14 | 2019-01-04 | 广州杰赛科技股份有限公司 | 心理行为识别方法、装置与存储介质 |
| CN109241917A (zh) * | 2018-09-12 | 2019-01-18 | 南京交通职业技术学院 | 一种基于计算机视觉的课堂行为检测系统 |
| CN109766767A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 行为数据推送方法、装置、计算机设备和存储介质 |
| CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
-
2019
- 2019-08-19 CN CN201910765966.7A patent/CN111353366A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
| KR20160095735A (ko) * | 2015-02-04 | 2016-08-12 | 단국대학교 천안캠퍼스 산학협력단 | 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109241917A (zh) * | 2018-09-12 | 2019-01-18 | 南京交通职业技术学院 | 一种基于计算机视觉的课堂行为检测系统 |
| CN109145871A (zh) * | 2018-09-14 | 2019-01-04 | 广州杰赛科技股份有限公司 | 心理行为识别方法、装置与存储介质 |
| CN109766767A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 行为数据推送方法、装置、计算机设备和存储介质 |
| CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257570A (zh) * | 2020-10-20 | 2021-01-22 | 江苏濠汉信息技术有限公司 | 基于视觉分析检测施工人员安全帽未佩戴的方法及装置 |
| WO2022120925A1 (zh) * | 2020-12-07 | 2022-06-16 | 安徽鸿程光电有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN112818841A (zh) * | 2021-01-29 | 2021-05-18 | 北京搜狗科技发展有限公司 | 一种识别用户情绪的方法及相关装置 |
| CN112906555A (zh) * | 2021-02-10 | 2021-06-04 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN112906555B (zh) * | 2021-02-10 | 2022-08-05 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN112990119A (zh) * | 2021-04-25 | 2021-06-18 | 之江实验室 | 一种视频多目标人脸表情识别方法和系统 |
| CN113378733A (zh) * | 2021-06-17 | 2021-09-10 | 杭州海亮优教教育科技有限公司 | 一种构建情感日记和日常活动识别的系统及装置 |
| CN115761835A (zh) * | 2022-10-19 | 2023-03-07 | 慧之安信息技术股份有限公司 | 一种基于人脸识别的学生情绪分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353366A (zh) | 一种情绪检测方法及装置、电子设备 | |
| CN109359548B (zh) | 多人脸识别监控方法及装置、电子设备及存储介质 | |
| CN107704834B (zh) | 微表情面审辅助方法、装置及存储介质 | |
| CN106446831B (zh) | 一种人脸识别方法及装置 | |
| US20240079117A1 (en) | Biometric characteristic application using audio/video analysis | |
| WO2019085329A1 (zh) | 基于循环神经网络的人物性格分析方法、装置及存储介质 | |
| WO2022067524A1 (zh) | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 | |
| US11151385B2 (en) | System and method for detecting deception in an audio-video response of a user | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| CN111489819A (zh) | 检测认知和语言障碍的方法、服务器和计算机可读介质 | |
| US11295117B2 (en) | Facial modelling and matching systems and methods | |
| US20210304339A1 (en) | System and a method for locally assessing a user during a test session | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 | |
| CN110393539B (zh) | 心理异常检测方法、装置、存储介质及电子设备 | |
| Sacchetti et al. | Human body posture detection in context: the case of teaching and learning environments | |
| CN111339809A (zh) | 一种课堂行为分析方法及装置、电子设备 | |
| JP6855737B2 (ja) | 情報処理装置、評価システムおよびプログラム | |
| KR20220017329A (ko) | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| Yadav et al. | In-browser attendance system using face recognition and serverless edge computing | |
| CN111275921A (zh) | 一种行为监控方法及装置、电子设备 | |
| Wong et al. | Interactive quality-driven feedback for biometric systems | |
| US20190354663A1 (en) | Authenticating a user subvocalizing a displayed text | |
| Yusuf et al. | Individuality and user-specific approach in adaptive emotion recognition model | |
| Rey | Assessing MABIS Mobile App Based on People at the Center of Mobile Application Development (PACMAD) Usability Model: Empirical Investigation | |
| Gadkar et al. | Online Examination Auto-Proctoring System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |