CN110013261B - 情绪监测的方法、装置、电子设备及存储介质 - Google Patents

情绪监测的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110013261B
CN110013261B CN201910440527.9A CN201910440527A CN110013261B CN 110013261 B CN110013261 B CN 110013261B CN 201910440527 A CN201910440527 A CN 201910440527A CN 110013261 B CN110013261 B CN 110013261B
Authority
CN
China
Prior art keywords
monitored object
emotion
abnormal
mental state
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910440527.9A
Other languages
English (en)
Other versions
CN110013261A (zh
Inventor
陈铁砺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910440527.9A priority Critical patent/CN110013261B/zh
Publication of CN110013261A publication Critical patent/CN110013261A/zh
Application granted granted Critical
Publication of CN110013261B publication Critical patent/CN110013261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06Children, e.g. for attention deficit diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution

Abstract

本发明公开了一种情绪监测的方法、装置、电子设备及存储介质,用于解决相关技术中无法确定影响用户情绪的原因的问题,该情绪监测的方法包括:获取第一被监测对象的生理状态参数;根据所述生理状态参数获取所述第一被监测对象在第一预设时间段内的第一心理状态报告;获取在所述第一预设时间段内采集到的第二被监测对象的面部图像;根据所述面部图像获取所述第二被监测对象在所述第一预设时间段内的第二心理状态报告;根据所述第一心理状态报告中第一被监测对象的心理状态与所述第二心理状态报告中第二被监测对象的心理状态之间的关联性,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响。本发明可方便快捷地确定出影响用户情绪的原因。

Description

情绪监测的方法、装置、电子设备及存储介质
技术领域
本发明涉及情绪监测技术领域,特别是指一种情绪监测的方法、装置、电子设备及存储介质。
背景技术
目前,最近一次全国4~16岁少年儿童心理健康调查发现,中国儿童的心理异常和行为异常问题的发生率高达13.9%。儿童心理健康问题备受关注。若想真正的了解孩子的心理状况,需要从儿童的日常行为中获知他们的心理状态。目前,市场上存在多种智能产品,可获取人体的身体参数,但大多数参数都用于运动分析或睡眠分析,对心理健康问题的分析少之又少。由于负面情绪的成因往往较为复杂,但如何获知负面情绪产生的原因,目前尚未存在有效措施。
发明内容
有鉴于此,本发明的目的在于提出一种情绪监测的方法、装置、电子设备及存储介质,该情绪监测的方法可方便快捷地确定出影响用户情绪的因素。
根据本发明的第一个方面,提供了一种情绪监测的方法,包括:获取第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息;根据所述生理状态参数获取所述第一被监测对象在第一预设时间段内的第一心理状态报告,所述第一心理状态报告中包括所述第一被监测对象在所述第一预设时间段内的心理状态信息;获取在所述第一预设时间段内采集到的第二被监测对象的面部图像;根据所述面部图像获取所述第二被监测对象在所述第一预设时间段内的第二心理状态报告,所述第二心理状态报告中包括所述第二被监测对象在所述第一预设时间段内的心理状态信息;根据所述第一心理状态报告中第一被监测对象的心理状态与所述第二心理状态报告中第二被监测对象的心理状态之间的关联性,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响。
可选地,所述方法还包括:在获取第一被监测对象的生理状态参数之后,根据所述生理状态参数确定所述第一被监测对象的情绪是否出现异常;当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
可选地,所述方法还包括:在获取所述第二被监测对象的面部图像后,根据所述面部图像确定所述第二被监测对象的情绪是否出现异常;当所述第二被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
可选地,所述方法还包括:当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象佩戴的可穿戴设备获取所述第一被监测对象的地理位置;在所述第一心理状态报告中标注所述第一被监测对象情绪出现异常时所处的地理位置;和/或,当所述第二被监测对象的情绪出现异常时,获取所述第二被监测对象的地理位置;在所述第二心理状态报告中标注所述第二被监测对象情绪出现异常时所处的地理位置。
可选地,根据所述第一心理状态报告以及所述第二心理状态报告,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响,包括:根据所述第一心理状态报告获取所述第一被监测对象情绪出现异常时的第一参考数据,所述第一参考数据包括所述第一被监测对象情绪出现异常时其所处的地理位置、情绪出现异常的时间以及频率;当所述频率大于第一阈值时,在所述第二心理状态报告中查找与所述第一参考数据匹配的第二参考数据,所述第二参考数据包括:所述第二被监测对象情绪出现异常的时间以及地理位置;当所述第二被监测对象与所述第一被监测对象在同一地理位置情绪出现异常的时间存在重合时,确定与重合的时间对应的所述第二参考数据与所述第一参考数据匹配;当在所述第二心理状态报告中查找到与所述第一参考数据匹配的所述第二参考数据占所述第二心理状态报告中的总数据的比例大于第二阈值,则确定所述第二被监测对象对所述第一被监测对象的情绪产生负面影响。
根据本发明的第二个方面,提供了一种情绪监测的装置,包括:处理器、生理状态参数采集装置以及图像采集装置;所述生理状态参数采集装置,用于采集第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息,并将所述生理状态参数发送给所述处理器;所述图像采集装置,用于在第一预设时间内采集第二被监测对象的面部图像,并将所述面部图像发送给所述处理器;所述处理器,用于执行本发明第一个方面所述的任意一种情绪监测的方法。
可选地,所述装置还包括:声音采集模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,采集所述第一被监测对象周围的声音信息;定位模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,获取所述第一被监测对象以及所述第二被监测对象中,情绪出现异常的监测对象的地理位置。
可选地,所述装置还包括:通信模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,与移动终端建立语音通话。
根据本发明的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一个方面提供的任意一种情绪监测的方法。
根据本发明的第四个方面,提供了一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行根据本发明第一个方面提供的任意一种情绪监测的方法。
从上面所述可以看出,本发明提供的情绪监测的方法,通过获取到的第一被监测对象的生理状态参数得到第一被监测对象在一段时间内的心理状态,同时通过采集到的第二被监测对象的图像得到第二被监测对象在该段时间内的心理状态,根据第一被监测对象以及第二被监测对象在该段时间内心理状态之间的相关性,确定第二被监测对象是否对第一被监测对象的情绪产生负面影响,可方便快捷地确定出影响用户情绪的因素。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种情绪监测的方法的流程图;
图2A是根据一示例性实施例示出的智能手环正面的示意图;
图2B是根据一示例性实施例示出的智能手环背面的示意图;
图3是根据一示例性实施例示出的教室内摄像头的布置示意图;
图4是根据一示例性实施例示出的对第一被监测对象的情绪进行预测的流程图;
图5是根据一示例性实施例示出的一种情绪监测的装置的框图;
图6是根据一示例性实施例示出的一种情绪监测的装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
图1是根据一示例性实施例示出的一种情绪监测的方法的流程图,如图1所示,该方法包括:
步骤101:获取采集第一被监测对象的生理状态参数,所述生理状态参数至少可包括心率、血压以及呼吸频率中的一种信息;
在一种可实现方式中,第一被监测对象例如可以是儿童,可通过儿童佩戴的可穿戴设备,例如智能手环来获取儿童的心理状态数据。图2A是智能手环正面的示意图,图2B是智能手环背面的示意图,如图2A以及图2B所示,该智能手环可包括显示屏1、麦克风2、光电与心电传感器3,通讯与定位模块4,例如,内置e-SIM(Embedded-SIM,嵌入式SIM卡),该智能手环可通过光电与心电传感器采集佩戴者手腕部位的脉搏波ppg、心电ecg信号以及呼吸频率。该智能手环还可包括内置的eSIM卡支持,采用NB-IoT(Narrow Band Internet ofThings,基于蜂窝的窄带物联网)技术,可实现定位,同时智能手环的续航时间更长。另外,该智能手环还可包括麦克风,当根据实时获取到的第一被监测对象的心理状态数据表明第一被监测对象的情绪异常时,可控制智能手环打开麦克风,进入监听模式,以及还可自动发送预警信息给移动终端,在第一被监测对象为儿童的情况下,该移动终端可以为儿童家长的移动终端。
步骤102:根据所述生理状态参数获取所述第一被监测对象在第一预设时间段内的第一心理状态报告,所述第一心理状态报告中包括所述第一被监测对象在所述第一预设时间段内的心理状态信息;
在一个例子中,可预先建立健康儿童的心理状态模型,该模型中的参数可采集自健康心理的儿童,采集的参数可包括儿童的静息心率、血压运动心率以及儿童面对一些日常场景(日常场景可包括在课堂上课、课间歇息以及写作业等场景)时的心率和血压,可对采集到的这些参数进行标记,例如,大于阈值(其中,各项生理状态参数对应的阈值可不同)的参数可被标记为异常情绪参数,不大于阈值的参数可被标记为正常情绪参数,基于标记后的参数可进行心理状态模型的训练,得到健康心理儿童的心理状态模型,该模型可为一个数学模型,该模型可反映出儿童在一段时间内的生理状态参数的变化情况,该模型可作为对比模型一。被监测儿童(为上述第一被监测对象的一个示例)可先佩戴智能手环一周,基于此一周内采集到的该儿童的生理状态参数建立模型,得到该儿童的初始心理状态模型,得到的模型可作为对比模型二,此处建立模型的方式可参考上述健康心理儿童的心理状态模型,此处不再赘述。基于该模型二获取被监测儿童的初始心理状态评估结果,该初始心理状态评估结果可包括,情绪正常以及情绪异常。在被监测儿童佩戴智能手环经过三周至五周(为上述第一预设时间段的一个示例)时间,可根据在该段时间内获取到的被监测儿童的生理状态参数获得被监测儿童在该段时间的心理状态评估结果,可将该心理状态评估结果发送给移动终端,可将该心理状态评估结果与上述对比模块一以及对比模型二所反映出的儿童的心理状态进行对比,从而确定被监测儿童的情绪是否出现明显异常。
步骤103:获取在所述第一预设时间段内采集到的第二被监测对象的面部图像;
在一种可实现方式中,第二被监测对象可以是教师,基于此,可在教室内布置用于进行人脸识别以及情绪识别的摄像头,如图3所示,可将摄像头31、摄像头32以及摄像头33三个摄像头分别安装于教室中部和后部,这样教师无论在教室内任意位置走动,都可以拍摄到教师的面部图像。
步骤104:根据所述面部图像获取所述第二被监测对象在所述第一预设时间段内的第二心理状态报告,所述第二心理状态报告中包括所述第二被监测对象在所述第一预设时间段内的心理状态信息;
在步骤104中,可基于上述步骤103中拍摄得到的教师的面部图像,对正在授课的教师进行人脸识别,当在图像中锁定目标(人脸)后,可基于三个摄像头获取到的教师的面部图像对教师的情绪信息进行捕捉,例如,可将该面部图像输入预先训练好的异常情绪识别模型,来确定第二被监测对象的情绪是否出现异常。训练该异常情绪识别模型的过程可包括,采集面部图像样本,将这些图像样本分类为异常情绪样本以及正常情绪样本并进行相应标记后,基于标记后的图像样本训练得到异常情绪识别模型。在捕捉到教师的情绪信息后,可将该情绪信息存入该教师对应的情绪数据库中,经过一段时间的统计(例如一个月),生成该教师当月的心理状态报告。为保证个人隐私,此报告可被设置为只有系统管理员可以查看。
步骤105:根据所述第一心理状态报告中第一被监测对象的心理状态与所述第二心理状态报告中第二被监测对象的心理状态之间的关联性,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响。
在步骤105中可通过对第一心理状态报告中第一被监测对象的多项生理状态参数与第二心理状态报告中第二被监测对象的多项生理状态参数进行匹配,从而得到第一被监测对象的心理状态与第二被监测对象的心理状态之间的关联关系,该关联关系例如,在第一被监测对象与所述第二被监测对象处于相同地点,同时出现情绪异常,可确定第二被监测对象的情绪对第一被监测对象的情绪具有负面影响。例如,基于儿童情绪异常发生的时间、位置信息以及情绪异常发生的次数,在教师的心理状态报告中查找相关数据,如果在教师的心理状态报告中,在儿童出现情绪异常的同时,在同一地点,教师的情绪同样出现异常,同时这种情况多次发生,则可认为儿童看到这个教师的时候总是出现情绪异常的情况,系统则可自动发出报告给管理员和/或儿童家长的移动终端,并告知儿童的家长这位老师的心理状态存在异常。
本发明提供的情绪监测的方法,通过获取到的第一被监测对象的生理状态参数得到第一被监测对象在一段时间内的心理状态,同时通过采集到的第二被监测对象的图像得到第二被监测对象在该段时间内的心理状态,根据第一被监测对象以及第二被监测对象在该段时间内心理状态之间的相关性,确定第二被监测对象是否对第一被监测对象的情绪产生负面影响,可方便快捷地确定出用户异常情绪产生的原因。
在一种可实现方式中,所述方法还可包括:在获取第一被监测对象的生理状态参数之后,根据生理状态参数确定所述第一被监测对象的情绪是否出现异常;当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。其中,根据第一被监测对象的生理状态参数确定第一被监测对象情绪是否出现异常可利用异常情绪识别模型来进行,例如,可将第一被监测对象的生理状态参数输入该模型,该模型可输出情绪异常或情绪正常的识别结果,该模型的建立过程例如可以为:采集生理状态参数样本数据,将这些样本数据分类为异常情绪样本以及正常情绪样本数据并进行相应标记后,基于标记后的样本数据训练得到异常情绪识别模型。又或者,可将各项生理状态参数与预先设置的与各项生理状态参数对应的阈值进行比较,如果其中至少一项生理状态参数超过阈值,则确定第一被监测对象情绪出现异常。又或者,还可在第一被监测对象初始佩戴可穿戴设备时,在一段参考时间段内(例如一个月)采集第一被监测对象的初始心理状态数据,根据该初始心理状态数据训练出第一被监测对象的初始心理状态模型,该模型例如可以是一个数学模型,该模型可反映出第一被监测对象在参考时间段内的心理状态,例如,可反映出第一被监测对象在参考时间段内各项生理状态参数的平均水平及其变化情况。在第一被监测对象佩戴可穿戴设备一段时间后,例如两个月后,再次建立第一被监测对象在参考时间段内(例如最近的一个月内)的心理状态模型,可将该心理状态模型与初始心理状态模型进行对比,确定出第一被监测对象的生理状态参数是否产生明显的差异,如果产生明显差异,则确定第一被监测对象的情绪出现异常。
当通过以上任意一种方式确定出第一被监测对象的情绪出现异常时,可控制该第一被监测对象所佩戴的可穿戴设备开启监听功能,进行录音,从而采集第一被监测对象情绪异常时其周围的声音信息,该声音信息可被发送至管理员或被监测儿童家长的移动终端,在被监测儿童情绪出现异常时,管理员或家长可根据被监测儿童周围的声音信息进一步确定导致被监测儿童情绪异常的原因。此外,还可预设异常声音识别模型,例如,可采集人在情绪异常时所发出的语音以及人在情绪正常时发出的语音作为样本数据,分别将这些数据标注为情绪正常类型样本数据以及情绪异常类型样本数据,利用标注后的样本数据训练异常声音识别模块,利用该模型对采集到的声音进行识别,从而确定在被监测儿童情绪异常时是否存在其他情绪异常的声音,从而进一步确定出对被监测儿童情绪产生负面作用的因素。同时,还可在第一被监测对象情绪异常时,第一被监测对象佩戴的可穿戴设备与移动终端建立语音通话连接,以使得儿童家长在发现儿童情绪异常时,可直接通过移动终端对异常状况进行监听。
在一种可实现方式中,所述方法还可包括:在获取所述第二被监测对象的面部图像后,根据所述面部图像确定所述第二被监测对象的情绪是否出现异常;当所述第二被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。此处,第一被监测对象周围的声音信息的获取方式,以及该声音信息的使用方式同上,此处不再赘述。
在一种可实现方式中,所述方法还可包括:当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象佩戴的可穿戴设备获取所述第一被监测对象的地理位置;在所述第一心理状态报告中标注所述第一被监测对象情绪出现异常时所处的地理位置;和/或,当所述第二被监测对象的情绪出现异常时,获取所述第二被监测对象的地理位置;在所述第二心理状态报告中标注所述第二被监测对象情绪出现异常时所处的地理位置。其中,第一被监测对象所处的地理位置可通过第一被监测对象所佩戴的可穿戴设备中的定位模块进行定位获得;获取第二被监测对象的地理位置信息可包括:根据图像采集装置采集到的所述第二被监测对象的图像的信息,例如,当第二被监测对象为教师时,根据设置于教室内的摄像头拍摄得到的图像可知该教师位于教室内,同时,根据该教师的课程规划表可获知该教师所处的教室,从而根据该教室的地理位置可确定教室所处的地理位置。又或者,可根据采集到的教师图像的摄像头所处的地理位置获知教师所处的地理位置。通过对教师情绪出现异常时所处的地理位置的获取,可在儿童情绪出现异常时,根据教师情绪出现异常时其所处的地理位置以及其情绪出现异常的时间,判断教师的情绪对儿童的情绪是否产生负面影响,例如,如果儿童在与教师处于同一地理位置时,在儿童的情绪出现异常时,教师的情绪同样出现异常的概率超过一个预先设定的值时,说明教师的情绪对儿童的情绪产生了负面影响。此外,获取到的第一被监测对象以及第二被监测对象所处的地理位置信息还可作为参考数据,分别体现在第一心理状态报告以及第二心理状态报告中。例如,在同一地理位置范围内,被监测对象(包括第一被监测对象以及第二被监测对象)经常发生情绪异常,在其心理状态报告中可重点标注出该情况。
在一种可实现方式中,根据所述第一心理状态报告以及所述第二心理状态报告,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响可包括:根据所述第一心理状态报告获取所述第一被监测对象情绪出现异常时的第一参考数据,所述第一参考数据包括所述第一被监测对象情绪出现异常时其所处的地理位置、情绪出现异常的时间以及频率;当所述频率大于第一阈值时,在所述第二心理状态报告中查找与所述第一参考数据匹配的第二参考数据,所述第二参考数据包括:所述第二被监测对象情绪出现异常的时间以及地理位置;当所述第二被监测对象与所述第一被监测对象在同一地理位置情绪出现异常的时间存在重合时,确定与重合的时间对应的所述第二参考数据与所述第一参考数据匹配;当在所述第二心理状态报告中查找到与所述第一参考数据匹配的所述第二参考数据占所述第二心理状态报告中的总数据的比例大于第二阈值,则确定所述第二被监测对象对所述第一被监测对象的情绪产生负面影响。其中,与重合的时间对应的第一参考数据为在该重合的时间段内采集到的第一参考数据,与重合的时间对应的第二参考数据为在该重合的时间段内采集到的第二参考数据。例如,第二被监测对象与第一被监测对象在同一地理位置情绪出现异常的重合的时间段为周一上午8:00至10:00,周三下午2:00至3:00,以及周五上午8:00至10:00,则,与重合的时间对应的第一参考数据为在这三个时间段内针对第一被监测对象采集到的参考数据,同理,与重合的时间对应的第二参考数据为在这三个时间段内针对第二被监测对象采集到的参考数据。
在一种可实现方式中,对第一被监测对象的情绪进行预测的流程如图4所示,当第一被监测对象出现异常情绪,例如,可根据第一被监测对象的至少一种心理状态数据确定第一被监测对象的恐惧指数以及压力指数,例如,可首先确定恐惧指数以及压力指数的决定因素,该决定因素至少可包括上述生理状态参数中的一种,预先为以上各生理状态参数设置一个权重,将各项生理状态参数加权求和得到恐惧指数或压力指数。在第一被监测对象出现恐惧指数大于正常范围50%和/或其压力指数大于正常值50%时(其中,恐惧指数以及压力指数可参考官方发布的数据,或者,可通过实验采集的数据确定),可对第一被监测对象所处的地理位置,以及发生该种情况的频率信息进行提取。在一段指定的时长内,在相同时间内,相同地理位置,第一被监测对象发生该种情况的次数大于预设次数,例如4次,将发送情绪异常预警信息到移动终端,此预警信息可包括第一被监测对象的心理状态评估结果,例如,可包括第一被监测对象的恐惧指数和/或压力指示。还可包括第一被监测对象发生情绪异常的地理位置、时间以及次数。还可根据该数据在教师情绪数据库(教师情绪数据库中可包括多个授课教师的心理状态报告)中寻找匹配的数据,例如,儿童情绪异常时的位置位于学校内,且时间为上课时间,系统读取数据库中,此时授课教师当月心理状态报告,如果该教师的心理状态报告也表示此教师在该段时间有负面情绪(负面情绪可包括,愤怒、忧郁、沮丧、悲伤以及痛苦),此时,系统判断该儿童的异常心理情况与授课教师的异常心理情况有关联,可将该判断结果作为一个可供参考的儿童心理问题成因的预测,发送到儿童家长的移动终端,同时,也可将该判断结果发送至学校的管理者的移动终端。
在一种可实现方式中,上述情绪监测的方法在可获取儿童心理状态报告的基础上,还可进行异常行为报警。例如当通过儿童佩戴的智能手环得到的儿童的情绪异常值(该值可通过对以上至少两种生理状态参数进行加权求和得到,各项生理状态参数的权重可预先设置)情绪值超过正常范围时,恐惧值为8(恐惧指数设为1-10)以上时,智能手环自动向移动终端发出报警,并可同时开启通话模式,移动终端可同时进行监听。
图5是根据一示例性实施例示出的一种情绪监测的装置的框图,如图5所示,该装置50包括如下组成部分:
第一采集模块51,用于获取第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息;
第一获取模块52,用于根据所述生理状态参数获取所述第一被监测对象在第一预设时间段内的第一心理状态报告,所述第一心理状态报告中包括所述第一被监测对象在所述第一预设时间段内的心理状态信息;
第二采集模块53,用于获取在所述第一预设时间段内采集到的第二被监测对象的面部图像;
第二获取模块54,用于根据所述面部图像获取所述第二被监测对象在所述第一预设时间段内的第二心理状态报告,所述第二心理状态报告中包括所述第二被监测对象在所述第一预设时间段内的心理状态信息;
第一确定模块55,用于根据所述第一心理状态报告以及所述第二心理状态报告,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响。
在一种可实现方式中,所述装置还可包括:第二确定模块,用于在获取第一被监测对象的生理状态参数之后,根据生理状态参数确定所述第一被监测对象的情绪是否出现异常;第三采集模块,用于当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
在一种可实现方式中,所述装置还可包括:第三确定模块,用于在获取所述第二被监测对象的面部图像后,根据所述面部图像确定所述第二被监测对象的情绪是否出现异常;第四采集模块,用于当所述第二被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
在一种可实现方式中,所述装置还可包括:第三获取模块,用于当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象佩戴的可穿戴设备获取所述第一被监测对象的地理位置;第一标注模块,用于在所述第一心理状态报告中标注所述第一被监测对象情绪出现异常时所处的地理位置;第四获取模块,用于当所述第二被监测对象的情绪出现异常时,获取所述第二被监测对象的地理位置;第二标注模块,用于在所述第二心理状态报告中标注所述第二被监测对象情绪出现异常时所处的地理位置。
在一种可实现方式中,所述第一确定模块可包括:第五获取模块,用于根据所述第一心理状态报告获取所述第一被监测对象情绪出现异常时的第一参考数据,所述第一参考数据包括所述第一被监测对象情绪出现异常时其所处的地理位置、情绪出现异常的时间以及频率;查找模块,用于当所述频率大于第一阈值时,在所述第二心理状态报告中查找与所述第一参考数据匹配的第二参考数据,所述第二参考数据包括:所述第二被监测对象情绪出现异常的时间以及地理位置;第四确定模块,用于当所述第二被监测对象与所述第一被监测对象在同一地理位置情绪出现异常的时间存在重合时,确定与重合的时间对应的所述第二参考数据与所述第一参考数据匹配;第五确定模块,用于当在所述第二心理状态报告中查找到与所述第一参考数据匹配的所述第二参考数据占所述第二心理状态报告中的总数据的比例大于第二阈值,则确定所述第二被监测对象对所述第一被监测对象的情绪产生负面影响。
图6是根据一示例性实施例示出的一种情绪监测的装置的框图,如图6所示,该装置60包括:
处理器61、生理状态参数采集装置62以图像采集装置及63;
所述生理状态参数采集装置62,用于采集第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息,并将所述生理状态参数发送给所述处理器;
所述图像采集装置63,用于在第一预设时间内采集第二被监测对象的面部图像,并将所述面部图像发送给所述处理器;
所述处理器61,用于执行本发明实施例所述的任意一种情绪监测的方法。
在一种可实现方式中,所述装置还可包括:声音采集模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,采集所述第一被监测对象周围的声音信息;例如,该声音采集模块可以是麦克风,定位模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,获取所述第一被监测对象以及所述第二被监测对象中,情绪出现异常的监测对象的地理位置,例如,该定位模块可以是GPS(Global Positioning System,全球定位系统)模块。其中,处理器确定出第一被监测对象以及第二被监测对象中的至少一者出现情绪异常时,可向声音采集模块以及定位模块中的至少一个模块发送指令,以通知声音采集模块进行声音信息的采集,或通知定位模块进行定位。需要说明的是,在定位模块需定位第二被监测对象的地理位置时,该定位模块可与服务器建立连接,向服务器请求第二被监测对象的地理位置。例如,当第二被监测对象为教师时,可根据服务器中存储的课表中该教师的授课时间来确定该教师所处的教室,从而获知该教师的地理位置,或者,还可根据拍摄到该教师的摄像头的位置来定位该教师的地理位置。
在一种可实现方式中,所述装置还可包括:通信模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,与移动终端建立语音通话。例如,处理器在确定第一被监测对象以及第二被监测对象中的至少一者出现情绪异常时,可向通信模块发送指令,以通知通信模块与移动终端建立联系。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例所述的任意一种情绪监测的方法。
本发明还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行本发明实施例所述的任意一种情绪监测的方法。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种情绪监测的方法,其特征在于,包括:
获取第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息;
根据所述生理状态参数获取所述第一被监测对象在第一预设时间段内的第一心理状态报告,所述第一心理状态报告中包括所述第一被监测对象在所述第一预设时间段内的心理状态信息;
获取在所述第一预设时间段内采集到的第二被监测对象的面部图像;
根据所述面部图像获取所述第二被监测对象在所述第一预设时间段内的第二心理状态报告,所述第二心理状态报告中包括所述第二被监测对象在所述第一预设时间段内的心理状态信息;
根据所述第一心理状态报告中第一被监测对象的心理状态与所述第二心理状态报告中第二被监测对象的心理状态之间的关联性,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取第一被监测对象的生理状态参数之后,根据所述生理状态参数确定所述第一被监测对象的情绪是否出现异常;
当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取所述第二被监测对象的面部图像后,根据所述面部图像确定所述第二被监测对象的情绪是否出现异常;
当所述第二被监测对象的情绪出现异常时,通过所述第一被监测对象所佩戴的可穿戴设备采集所述第一被监测对象周围的声音信息,和/或,通过所述可穿戴设备与移动终端建立语音通话。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述第一被监测对象的情绪出现异常时,通过所述第一被监测对象佩戴的可穿戴设备获取所述第一被监测对象的地理位置;
在所述第一心理状态报告中标注所述第一被监测对象情绪出现异常时所处的地理位置;
和/或,当所述第二被监测对象的情绪出现异常时,获取所述第二被监测对象的地理位置;
在所述第二心理状态报告中标注所述第二被监测对象情绪出现异常时所处的地理位置。
5.根据权利要求1至4任一项所述的方法,其特征在于,根据所述第一心理状态报告以及所述第二心理状态报告,确定所述第二被监测对象对所述第一被监测对象的情绪是否产生负面影响,包括:
根据所述第一心理状态报告获取所述第一被监测对象情绪出现异常时的第一参考数据,所述第一参考数据包括所述第一被监测对象情绪出现异常时其所处的地理位置、情绪出现异常的时间以及频率;
当所述频率大于第一阈值时,在所述第二心理状态报告中查找与所述第一参考数据匹配的第二参考数据,所述第二参考数据包括:所述第二被监测对象情绪出现异常的时间以及地理位置;
当所述第二被监测对象与所述第一被监测对象在同一地理位置情绪出现异常的时间存在重合时,确定与重合的时间对应的所述第二参考数据与所述第一参考数据匹配;
当在所述第二心理状态报告中查找到与所述第一参考数据匹配的所述第二参考数据占所述第二心理状态报告中的总数据的比例大于第二阈值,则确定所述第二被监测对象对所述第一被监测对象的情绪产生负面影响。
6.一种情绪监测的装置,其特征在于,包括:
处理器、生理状态参数采集装置以及图像采集装置;
所述生理状态参数采集装置,用于采集第一被监测对象的生理状态参数,所述生理状态参数至少包括心率、血压以及呼吸频率中的一种信息,并将所述生理状态参数发送给所述处理器;
所述图像采集装置,用于在第一预设时间内采集第二被监测对象的面部图像,并将所述面部图像发送给所述处理器;
所述处理器,用于执行权利要求1至5任一项所述的情绪监测的方法。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
声音采集模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,采集所述第一被监测对象周围的声音信息;
定位模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,获取所述第一被监测对象以及所述第二被监测对象中,情绪出现异常的监测对象的地理位置。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
通信模块,用于在所述第一被监测对象以及所述第二被监测对象中的至少一者出现情绪异常时,与移动终端建立语音通话。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的情绪监测的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至5任一项所述的情绪监测的方法。
CN201910440527.9A 2019-05-24 2019-05-24 情绪监测的方法、装置、电子设备及存储介质 Active CN110013261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910440527.9A CN110013261B (zh) 2019-05-24 2019-05-24 情绪监测的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910440527.9A CN110013261B (zh) 2019-05-24 2019-05-24 情绪监测的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110013261A CN110013261A (zh) 2019-07-16
CN110013261B true CN110013261B (zh) 2022-03-08

Family

ID=67194356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910440527.9A Active CN110013261B (zh) 2019-05-24 2019-05-24 情绪监测的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110013261B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881987B (zh) * 2019-08-26 2022-09-09 首都医科大学 一种基于可穿戴设备的老年人情绪监测系统
CN110693654B (zh) * 2019-10-15 2021-11-09 北京小米移动软件有限公司 智能轮椅调节的方法、智能轮椅调节的装置及电子设备
CN112656401B (zh) * 2019-10-15 2023-08-22 梅州市青塘实业有限公司 一种智能监护方法、装置及设备
CN110781320B (zh) * 2019-11-01 2022-03-18 广州云蝶科技有限公司 基于家庭反馈的学生情绪定位方法
CN112163467B (zh) * 2020-09-11 2023-09-26 杭州海康威视数字技术股份有限公司 情绪分析方法、装置、电子设备及机器可读存储介质
CN112515674B (zh) * 2020-11-30 2023-07-07 重庆工程职业技术学院 心理危机预警系统
CN113160926A (zh) * 2021-04-19 2021-07-23 深圳市安全守护科技有限公司 报告的查询方法、装置、终端设备及计算机可读存储介质
CN116548971B (zh) * 2023-05-17 2023-10-13 郑州师范学院 一种基于对象生理参数的心理危机辅助监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014044503A1 (en) * 2012-09-19 2014-03-27 Thomson Licensing Method and device of detecting the emotional impact of an audience watching a time-stamped movie
CN105283876A (zh) * 2013-03-13 2016-01-27 艾锐势科技公司 环境健康确定系统
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9968296B2 (en) * 2015-04-15 2018-05-15 Case Western Reserve University Wearable socio-biosensor device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014044503A1 (en) * 2012-09-19 2014-03-27 Thomson Licensing Method and device of detecting the emotional impact of an audience watching a time-stamped movie
CN105283876A (zh) * 2013-03-13 2016-01-27 艾锐势科技公司 环境健康确定系统
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN110013261A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110013261B (zh) 情绪监测的方法、装置、电子设备及存储介质
US11759134B2 (en) Systems and methods for non-intrusive deception detection
CN105407794A (zh) 利用习惯的诊断装置和诊断管理装置及利用其的诊断方法
US9934425B2 (en) Collection of affect data from multiple mobile devices
US20140201207A1 (en) Mental state data tagging for data collected from multiple sources
Ketabdar et al. System and methodology for using mobile phones in live remote monitoring of physical activities
US20190282127A1 (en) System and method for early detection of transient ischemic attack
CN209232420U (zh) 一种智能化谵妄评估装置
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
CN110755091A (zh) 一种个人心理健康监测系统及方法
US20180199876A1 (en) User Health Monitoring Method, Monitoring Device, and Monitoring Terminal
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
US11141061B2 (en) Cognitive load estimation based on pupil dilation
EP3664101A1 (en) A computer-implemented method and an apparatus for use in detecting malingering by a first subject in one or more physical and/or mental function tests
JP2012058993A (ja) 行動情報収集システム
CN107221128B (zh) 一种便携式人体跌倒风险的评价和预警系统及其方法
CN115299943A (zh) 一种情绪监测方法及其装置
US10079074B1 (en) System for monitoring disease progression
Chelli et al. Recognition of falls and daily living activities using machine learning
KR101752387B1 (ko) 이상 활동 탐지를 위한 이동 단말기 및 이를 포함하는 시스템
WO2014106216A1 (en) Collection of affect data from multiple mobile devices
US20230016640A1 (en) System and method for automated ambient mobility testing
US11935329B2 (en) Video analysis program
KR102641882B1 (ko) 사용자 위치정보와 웨어러블 기기 기반의 환경보건 건강영향 모니터링 시스템 및 모니터링 방법
CN111275928A (zh) 一种用于监测人体活动的预警方法、电子设备、终端设备及预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant