CN109360130A - 一种基于人工智能的学生情绪监测方法 - Google Patents

一种基于人工智能的学生情绪监测方法 Download PDF

Info

Publication number
CN109360130A
CN109360130A CN201811265513.XA CN201811265513A CN109360130A CN 109360130 A CN109360130 A CN 109360130A CN 201811265513 A CN201811265513 A CN 201811265513A CN 109360130 A CN109360130 A CN 109360130A
Authority
CN
China
Prior art keywords
student
information
mood
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811265513.XA
Other languages
English (en)
Inventor
肖明
冯丽
吴琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wenxuan Education Science & Technology Co Ltd
Original Assignee
Sichuan Wenxuan Education Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wenxuan Education Science & Technology Co Ltd filed Critical Sichuan Wenxuan Education Science & Technology Co Ltd
Priority to CN201811265513.XA priority Critical patent/CN109360130A/zh
Publication of CN109360130A publication Critical patent/CN109360130A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于人工智能的学生情绪监测方法，包括：S1：预设情绪变化要素的量化指标，预存学生面部信息和声纹信息；S2：采集学生视频信息；S3：通过学生视频进行图像信息的处理和识别；S4：提取视频中的学生音频信息并进行处理和识别；S5：通过图像信息和音频信息对学生情绪进行监测和预警；本发明减小了情绪监测出现的误差，使监测更加精准，同时还能明确分析出学生情绪变化的方向，有助于教师有针对性的对学生进行开导；本发明通过对学生的情绪进行监测，有效降低了学生与学生，学生与教师之间的矛盾，有助于减少学生在学校生活中的压力，使学生能积极乐观地面对各种困难；本发明成本低，有利于推广使用。

Description

一种基于人工智能的学生情绪监测方法
技术领域
本发明涉及教学管理领域，尤其是一种基于人工智能的学生情绪监测方法。
背景技术
学生在校读书时，有时会因为学业上的压力，与教师或同学沟通不畅导致情绪低落、情绪失控等情况，严重的还会导致学生厌学或自闭；因此能及时发现学生情绪变化，并通知教师处理，可以有效的减少学生因情绪变化导致的问题，而在学校中，让学生佩戴手环监测脉搏血压等指标进行情绪监测不仅成本高并且误差大，当学生在运动或游戏后指标同样会变化，这样容易引起误报警，而通过人工智能分析学生肢体和声音变化可以有效提高精准度，还能明确了解到学生情绪变化方向，如情绪是激动还是低落。
现有技术中，多数监测情绪的方法都是佩戴仪器，通过人体脉搏，血压等指标进行情绪监测，而此类方法误差较大，并且会限制被测试人员的行为动作，使被测试人员不能做过于剧烈的运动，也不能直观的了解到被测试人员的情绪变化方向。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于人工智能的学生情绪监测方法；本发明解决了学生情绪监测误差较大的问题；解决了学生与学生，学生与教师之间容易产生矛盾的问题；还解决了情绪监测不能明确知道情绪变化方向的问题。
本发明采用的技术方案如下：
一种基于人工智能的学生情绪监测方法，其特征在于，包括：
S1：预设情绪变化要素的量化指标，预存学生面部信息和声纹信息；
S2：采集学生视频信息；
S3：通过学生视频进行图像信息的处理和识别；
S4：提取视频中的学生音频信息并进行处理和识别；
S5：通过图像信息和音频信息对学生情绪进行监测和预警。
进一步的，步骤S1中所述情绪变化要素的量化指标包括不同情绪对应的面部表情特征、呼吸节奏、语气变化和用词内容。
进一步的，步骤S3中，通过学生视频进行图像信息的处理和识别具体包括：
S301：将视频分为若干帧图像；
S302：对图像进行分割，将图像中包括的若干学生进行分离并逐一标记；
S303：对每个标记的学生图像进行逐一处理和识别。
进一步的，步骤S4中，提取视频中的学生音频信息并进行处理和识别具体包括：
S401：从视频中提取出音频信息；
S402：通过识别声纹对音频信息中的若干学生声音进行区分；
S403：将区分出的学生声音分别进行标记；
S404：对每个标记出的学生音频信息进行逐一处理和识别。
进一步的，通过图像信息和音频信息对学生情绪进行监测和预警具体包括：
S501：将标记的学生图像和学生声纹信息进行匹配；
S502：结合预设的情绪变化要素的量化指标，对匹配完成的学生的面部表情变化、呼吸节奏变化、语气变化和用词内容进行识别分析；
S503：识别出学生情绪变差，给教师发出警报信息
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明通过人工智能技术，减小了情绪监测出现的误差，使监测更加精准，同时还能明确分析出学生情绪变化的方向，有助于教师有针对性的对学生进行开导。
2、本发明通过对学生的情绪进行监测，有效降低了学生与学生，学生与教师之间的矛盾，有助于减少学生在学校生活中的压力，使学生能积极乐观地面对各种困难。
3、本发明成本低，有利于推广使用。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是情绪监测方法流程图。
图2是图像处理方法流程图。
图3是音频处理方法流程图。
图4是情绪分析方法流程图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
实施例1
一种基于人工智能的学生情绪监测方法，如图1所示，包括：
S1：预设情绪变化要素的量化指标，预存学生面部信息和声纹信息；
上述步骤中，所述情绪变化要素的量化指标包括不同情绪对应的面部表情特征、呼吸节奏、语气变化和用词内容等；而在预存学生面部信息和声纹信息时，会同时录入学生班级、姓名和任课教师等，在学生情绪达到预警值时，通知到对应的教师。
S2：采集学生视频信息；
上述步骤中，采集学生视频信息可以通过摄影设备进行采集，本实施例中优选的采用摄像头采集。
S3：通过学生视频进行图像信息的处理和识别；
上述步骤中，通过识别视频中学生的表情、动作等图像信息可以对分析学生情绪作出参考，具体步骤如图2所示，包括：
S301：将视频分为若干帧图像；
上述步骤中，因视频是快速连续的图像，在识别分析时容易错过细节，因此将视频分为若干帧静态图像，可以有效识别出视频中的细节信息。
S302：对图像进行分割，将图像中包括的若干学生进行分离并逐一标记；
上述步骤中，因采集的整体图像中会有若干学生的图像和其余背景图像等，若要能监测到每一个学生的情绪变化，需要将图像进行分割，使图像中每一个学生的图像信息可以独立，并且可以排除其余图像内容的干扰；在将图像中所有学生都独立分离出后，将分理处的学生图像信息进行标记，如A1、A2……An。
S303：对每个标记的学生图像进行逐一处理和识别；
上述步骤中，当标记出每个独立的学生图像后，分别对标记的每个学生的图像进行面部表情、肢体动作和呼吸节奏等的识别。
S4：提取视频中的学生音频信息并进行处理和识别；
上述步骤中，通过将视频中的音频信息提取出，可以根据学生说话的语气和用词分析学生的情绪变化，具体步骤如图3所示，包括：
S401：从视频中提取出音频信息；
上述步骤中，音频信息可以从视频中单独提取出。
S402：通过识别声纹对音频信息中的若干学生声音进行区分；
上述步骤中，根据步骤S1中预存的学生声纹信息，可以将视频采集到的学生声音进行区分。
S403：将区分出的学生声音分别进行标记；
上述步骤中，将步骤S402中区分出的学生声音进行标记，如B1、B2……Bn。
S404：对每个标记出的学生音频信息进行逐一处理和识别；
上述步骤中，可以从标记出的学生音频信息中逐一识别出每个学生的语气变化、语速变化和用词变化等。
S5：通过图像信息和音频信息对学生情绪进行监测和预警；
上述步骤中，通过将学生的图像信息和音频信息结合，再与预设的情绪变化要素的量化指标进行比对，可以有效分析出学生当前的情绪，并进行预警，具体步骤如图4所示，包括：
S501：将标记的学生图像和学生声纹信息进行匹配；
上述步骤中，标记的学生图像信息和音频信息会根据预存的学生面部信息和声纹信息进行匹配，匹配成功后会自动识别该学生的基本信息，以便进行预警工作。
S502：结合预设的情绪变化要素的量化指标，对匹配完成的学生的面部表情变化、呼吸节奏变化、语气变化和用词内容进行识别分析；
上述步骤中，通过将图像信息中，学生的面部表情变化、动作行为变化和呼吸节奏变化（如皱眉、瞪眼、呼吸节奏加快、叹气或握拳等）与预设的情绪变化要素的量化指标进行比对，可以从学生图像信息中分析学生情绪变化；再通过音频信息中学生语气变化和用词变化（如语气加重、音量变高或变低、出现消极词语或过激词语等）与预设的情绪变化要素的量化指标进行比对，结合图像信息，可以更全面精准的分析出学生情绪的变化方向；若分析出学生情绪激动或消极，会向教师发送警报信息，教师在接收到该信息后，可以根据分析结果对学生进行相应的开导和疏通，若分析出学生情绪稳定，则不会发送警报信息。
本发明通过人工智能对学生情绪进行监测，可以快速有效的分析出学生情绪的变化方向，并根据学生情绪的变化给出分析报告并及时通知教师，使教师可以第一时间了解到所有学生的情绪动态，减少学生和学生，学生和教师之间的矛盾。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种基于人工智能的学生情绪监测方法，其特征在于，包括：
S1：预设情绪变化要素的量化指标，预存学生面部信息和声纹信息；
S2：采集学生视频信息；
S3：通过学生视频进行图像信息的处理和识别；
S4：提取视频中的学生音频信息并进行处理和识别；
S5：通过图像信息和音频信息对学生情绪进行监测和预警。
2.如权利要求1所述的基于人工智能的学生情绪监测方法，其特征在于，步骤S1中所述情绪变化要素的量化指标包括不同情绪对应的面部表情特征、呼吸节奏、语气变化和用词内容。
3.如权利要求1所述的基于人工智能的学生情绪监测方法，其特征在于，步骤S3中，通过学生视频进行图像信息的处理和识别具体包括：
S301：将视频分为若干帧图像；
S302：对图像进行分割，将图像中包括的若干学生进行分离并逐一标记；
S303：对每个标记的学生图像进行逐一处理和识别。
4.如权利要求1所述的基于人工智能的学生情绪监测方法，其特征在于，步骤S4中，提取视频中的学生音频信息并进行处理和识别具体包括：
S401：从视频中提取出音频信息；
S402：通过识别声纹对音频信息中的若干学生声音进行区分；
S403：将区分出的学生声音分别进行标记；
S404：对每个标记出的学生音频信息进行逐一处理和识别。
5.如权利要求1所述的基于人工智能的学生情绪监测方法，其特征在于，通过图像信息和音频信息对学生情绪进行监测和预警具体包括：
S501：将标记的学生图像和学生声纹信息进行匹配；
S502：结合预设的情绪变化要素的量化指标，对匹配完成的学生的面部表情变化、呼吸节奏变化、语气变化和用词内容进行识别分析；
S503：识别出学生情绪变差，给教师发出警报信息。
CN201811265513.XA 2018-10-29 2018-10-29 一种基于人工智能的学生情绪监测方法 Pending CN109360130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811265513.XA CN109360130A (zh) 2018-10-29 2018-10-29 一种基于人工智能的学生情绪监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811265513.XA CN109360130A (zh) 2018-10-29 2018-10-29 一种基于人工智能的学生情绪监测方法

Publications (1)

Publication Number Publication Date
CN109360130A true CN109360130A (zh) 2019-02-19

Family

ID=65346925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811265513.XA Pending CN109360130A (zh) 2018-10-29 2018-10-29 一种基于人工智能的学生情绪监测方法

Country Status (1)

Country Link
CN (1) CN109360130A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110916688A (zh) * 2019-11-25 2020-03-27 西安戴森电子技术有限公司 基于人工智能技术对于情绪监测的方法
CN111210818A (zh) * 2019-12-31 2020-05-29 北京三快在线科技有限公司 匹配情感极性的词语采集方法、装置、电子设备
CN111353920A (zh) * 2019-06-28 2020-06-30 鸿合科技股份有限公司 一种智能黑板
CN112631112A (zh) * 2020-12-31 2021-04-09 山东大学 一种多功能健康监测智能手表及其控制方法
CN114067236A (zh) * 2021-10-28 2022-02-18 中国电子科技集团公司电子科学研究院 一种目标人员信息检测装置、检测方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质
CN107636684A (zh) * 2015-03-18 2018-01-26 阿凡达合并第二附属有限责任公司 视频会议中的情绪识别

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636684A (zh) * 2015-03-18 2018-01-26 阿凡达合并第二附属有限责任公司 视频会议中的情绪识别
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353920A (zh) * 2019-06-28 2020-06-30 鸿合科技股份有限公司 一种智能黑板
CN110916688A (zh) * 2019-11-25 2020-03-27 西安戴森电子技术有限公司 基于人工智能技术对于情绪监测的方法
CN111210818A (zh) * 2019-12-31 2020-05-29 北京三快在线科技有限公司 匹配情感极性的词语采集方法、装置、电子设备
WO2021135140A1 (zh) * 2019-12-31 2021-07-08 北京三快在线科技有限公司 匹配情感极性的词语采集
CN112631112A (zh) * 2020-12-31 2021-04-09 山东大学 一种多功能健康监测智能手表及其控制方法
CN114067236A (zh) * 2021-10-28 2022-02-18 中国电子科技集团公司电子科学研究院 一种目标人员信息检测装置、检测方法及存储介质

Similar Documents

Publication Publication Date Title
CN109360130A (zh) 一种基于人工智能的学生情绪监测方法
CN105147304B (zh) 一种人格特质值测验的刺激信息编制方法
EP3897388B1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
CN109199410A (zh) 一种基于眼部运动的言语认知评估方法
Padrón-Rivera et al. Identification of action units related to affective states in a tutoring system for mathematics
CN115736922A (zh) 一种基于信创环境的情绪常态化监测系统及方法
CN112515674B (zh) 心理危机预警系统
US20220015687A1 (en) Method for Screening Psychiatric Disorder Based On Conversation and Apparatus Therefor
Goldberg et al. Efficacy of measuring engagement during computer-based training with low-cost electroencephalogram (EEG) sensor outputs
KR101118276B1 (ko) 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
KR20120097098A (ko) 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치
Deng et al. Understanding Text Reading Comprehension of Chinese Students Who Are d/Deaf and Hard of Hearing
CN112450932B (zh) 一种心理障碍检测系统以及方法
Stevens et al. Linking models of team neurophysiologic synchronies for engagement and workload with measures of team communication
Lerner et al. In search of the role’s footprints in client-therapist dialogues
Schechter et al. Intelligent tutor assistant: predicting confusion from pupillometry data with multiple classification models
Salmeron-Majadas Affective standards-based modeling in educational contexts from mining multimodal data sources.
Zhao et al. Towards automated transcribing and coding of embodied teamwork communication through multimodal learning analytics
CN110765987A (zh) 创新行为特征的量化方法、装置和电子设备
US10665268B1 (en) Audio-video analytics for simulation-based training
Karolus Proficiency-aware systems: designing for user skill and expertise
CN118096460B (zh) 一种无人执考的远程医学考核监管评分方法及系统
CN108447557A (zh) 一种基于深度学习的医疗分析方法及装置
CN118380091B (zh) 一种基于心理测评仪的智能数据管理系统
KR20180052382A (ko) 감성 추론에 의한 언어 장애군 훈련 방법 및 이를 이용한 언어 장애 훈련 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219

RJ01 Rejection of invention patent application after publication