CN109460752A - 一种情绪分析方法、装置、电子设备及存储介质 - Google Patents

一种情绪分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109460752A
CN109460752A CN201910026283.XA CN201910026283A CN109460752A CN 109460752 A CN109460752 A CN 109460752A CN 201910026283 A CN201910026283 A CN 201910026283A CN 109460752 A CN109460752 A CN 109460752A
Authority
CN
China
Prior art keywords
user
mood
emotion
tested
tested user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910026283.XA
Other languages
English (en)
Other versions
CN109460752B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Transtek Medical Electronics Co Ltd
Original Assignee
Guangdong Transtek Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Transtek Medical Electronics Co Ltd filed Critical Guangdong Transtek Medical Electronics Co Ltd
Priority to CN201910026283.XA priority Critical patent/CN109460752B/zh
Publication of CN109460752A publication Critical patent/CN109460752A/zh
Application granted granted Critical
Publication of CN109460752B publication Critical patent/CN109460752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种情绪分析方法、装置、电子设备及存储介质,方法包括采集被测用户的第一状态数据,第一状态数据包括第一生理数据和第一行为数据;利用情绪识别模型对第一生理数据和第一行为数据进行处理获得被测用户的第一情绪;向被测用户对应的监测设备上发送第一情绪确认请求;接收被测用户通过监测设备发送的目标情绪,并将目标情绪作为第一情绪。装置用于执行上述方法。本申请实施例通过采集被测用户的第一状态数据以及关联用户的第二状态数据,在根据第一状态数据识别出被测用户当前时刻的第一情绪后,向被测用户的监测设备上发送第一情绪确认请求并接收被测用户发送的目标情绪,通过人机交互的方式获得较为准确的情绪。

Description

一种情绪分析方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种情绪分析方法、装置、电子设备及存储介质。
背景技术
当前的情绪识别依据其实现途径可以包括:(1)基于视频图像的用户面部表情识别;(2)基于语音信息的用户情绪识别;(3)基于用户生理信号的情绪识别。
其中,基于视频图像的用户面部表情识别是通过摄像装置采集用户的面部图像,通过对用户的面部图像进行识别获得其对应的情绪。基于语音信息的情绪识别,是通过采集被测用户的语音,对语音进行分析,获得该被测用户的情绪。基于用户生理信号的情绪识别是采集用户的生理信号,例如:血压、心跳、体温、心电图、等等,通过采集到的生理信号能够分析获得被测用户的情绪。
由于个体差异,每个被测用户在产生情绪时其对应的生理信息、面部表情或语音信息不同,因此,其对情绪识别的不够准确。
发明内容
有鉴于此,本申请实施例的目的在于提供一种情绪分析方法及装置,以解决现有技术中无法分析被测用户情绪产生的原因的技术问题。
第一方面,本申请实施例提供了一种情绪分析方法,包括:
采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据;
利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;
向所述被测用户对应的监测设备上发送第一情绪确认请求;
接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
本申请实施例通过采集被测用户的第一状态数据以及与其具有关联关系的关联用户的第二状态数据,在根据第一状态数据识别出被测用户当前时刻的第一情绪后,向被测用户的监测设备上发送第一情绪确认请求并接收被测用户发送的目标情绪,通过人机交互的方式获得较为准确的情绪。
进一步地,在将所述目标情绪作为所述第一情绪之后,所述方法,还包括:
采集与所述被测用户相关联的关联用户的第二状态数据;
根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
本申请实施例通过第一状态和第二状态分析被测用户的第一情绪产生的原因,从而可以判断得出第一情绪的产生是否是由于关联用户所引起的,进而能够根据其原因进行进一步的疏导。
进一步地,所述第一状态数据还包括所述被测用户的面部图像信息;相应的,
所述利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪,包括:
利用所述情绪识别模型对所述第一生理数据、所述第一行为数据和所述面部图像信息进行处理,获得所述第一情绪。
本申请实施例在识别被测用户的第一情绪时,加入被测用户的面部图像信息,通过第一生理数据、第一行为数据和面部图像信息综合判断,能够提高情绪识别的准确性。
进一步地,所述根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因,包括:
获取所述目标情绪产生之前预设时间段内的第一历史状态数据和所述第二历史状态数据;其中所述第一历史状态数据包括所述被测用户的第一历史位置信息及第一历史通讯信息,所述第二历史状态数据包括所述关联用户的第二历史位置信息;
根据所述被测用户的第一历史位置信息和所述关联用户的第二历史位置信息获得所述被测用户与所述关联用户之间的距离;
根据所述被测用户的第一历史通讯信息判断所述被测用户是否与所述关联用户进行过通讯;
若所述距离小于预设阈值和/或若进行过通讯,则确定所述被测用户情绪产生是由于所述关联用户引起的。
本申请实施例在判断第一情绪产生的原因时,若在第一情绪产生之前的一端时间段内,若被测用户与关联用户的距离小于预设阈值,说明被测用户与关联用户里的较近,被测用户产生第一情绪的原因可以认为是关联用户引起的;再有,若被测用户与关联用户在最近一段时间内通讯过,则也可以认为是关联用户引起的,因此,可以从距离和通讯情况在确定被测用户的第一情绪产生的原因。
进一步地,所述若所述距离小于预设阈值,则确定所述被测用户情绪产生是由于所述关联用户引起的,包括:
若所述距离小于预设距离,则获取所述被测用户所在位置的预设距离内的图像信息和所述被测用户的语音信息;
若所述图像信息中所述被测用户与所述关联用户存在肢体接触,和/或所述语音信息的分贝大于预设分贝,则所述被测用户情绪产生是由于所述关联用户引起的。
本申请实施例在确定第一情绪产生的原因时,如果判断得知被测用户与关联用户距离小于预设距离后,还可以进一步获取预设距离内的图像信息和语音信息,如果从图像信息中判断得知被测用户与关联用户之间有肢体接触,或语音信息的分贝大于预设分贝,则可以确定被测用户的第一情绪的产生是由关联用户引起的,从而能够提高判断的准确性。
进一步地,所述第二状态数据包括所述关联用户的第二生理数据和第二行为数据;所述方法,还包括:
利用所述情绪识别模型对所述第二生理数据和所述第二行为数据进行处理,获得所述关联用户的第二情绪。
本申请实施例通过关联用户对应的第二生理数据和第二行为数据进行情绪识别,从而能够获得关联用户对应的第二情绪,由于关联用户的情绪可能会引起被测用户情绪的产生,因此,获取关联用户的情绪可以为被测用户的情绪的产生提供依据。
进一步地,所述根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因,包括:
若判断所述关联用户的第二情绪的类型与所述目标情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的。
本申请实施例通过判断得知关联用户和被测用户产生了同类型的情绪后,确定被测用户产生第一情绪的原因是由关联用户引起的,从而获得到了被测用户情绪产生的原因。
进一步地,若判断所述关联用户的第二情绪的类型与所述目标情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的,包括:
若所述关联用户的第二情绪的类型与所述目标情绪的类型相同,且满足以下至少一个条件,则确定所述被测用户情绪产生是由所述关联用户引起的;其中,所述条件包括:
所述被测用户与所述关联用户的距离小于预设距离;
从所述被测用户所在位置的预设距离内的图像信息中,判断所述被测用户与所述关联用户有肢体接触;
所述被测用户在当前时刻及距当前时刻之前的预设时间段内,与所述关联用户进行过通讯。
本申请实施例在获得关联用户与被测用户产生同类型的情绪后,进一步判断关联用户与被测用户的距离、二者之间是否有肢体接触,或者在最近一段时间内二者是否有过通信,如果满足上述任一条件,则可确定被测用户产生第一情绪的原因是有关联用户引起的。
进一步地,所述情绪识别模型通过以下方法获得:
获取训练用户的多个第三状态数据,所述第三状态数据包括所述训练用户对应的第三生理数据和第三行为数据;
根据第三生理数据和第三行为数据对所述训练用户的情绪进行标注,获得训练样本;其中,所述情绪包括:平静、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和不满中的任意多项;
利用所述训练样本对卷积神经网络进行训练,获得所述情绪识别模型。
本申请实施例通过获取训练样本对卷积神经网络进行训练,获得情绪识别模型,从而通过情绪识别模型能够准确地识别出被测用户的第一情绪。
进一步地,所述接收所述被测用户通过所述监测设备发送的目标情绪,包括:
接收所述被测用户通过所述监测设备发送的确认消息,其中所述确认消息的发送方式为语音方式、文本方式和手势方式中的至少一种;
若所述确认消息的发送方式为语音方式,则利用自然语言理解NLU对所述确认消息进行解析,获得所述目标情绪。
本申请实施例可以通过语音方式,文本方式和手势方式进行人机交互,适用于一些不会打字的人群,提高了适用性。
进一步地,所述方法,还包括:
利用所述目标情绪以及所述目标情绪对应的第一状态数据对所述识别模型中的参数进行优化。
由于每个人情绪产生时对应的生理参数不同,因此本申请实施例通过获得的目标情绪对识别模型中的参数进行优化,从而使得情绪分析模型能够根据不同的被测用户进行有针对性的识别,提高了情绪识别的准确性。
进一步地,在根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪变化的原因之后,所述方法,还包括:
若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
本申请实施例通过在判断被测用户的情绪是由于关联用户引起的之后,向关联用户发送提示消息,从而提示关联用户,能够进行有效的情绪疏导和行为的指引。
进一步地,所述方法,还包括:
统计预设时间段内所述被测用户的目标情绪;
若所有的目标情绪中目标预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
若所有的目标情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
本申请实施例中的预设情绪可以为消极情绪,当判断得知被测用户产生消极情绪的次数较多时,一方面,可以向被测用户的终端发送第一告警消息,提醒其注意;另一方面,当判断被测用户产生消极情绪多是由关联用户引起的,则向关联用户发送第二告警信息,从而提醒关联用户注意。
进一步地,所述方法,还包括:
向所述被测用户的监测设备上发送情绪产生原因的询问框,并接收所述被测用户通过所述监测设备发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。
本申请实施例在初步确定了被测用户情绪的产生是由于关联用户引起的之后,可以再次向被测用户发送询问框,从而进一步确定被测用户情绪产生的目标原因,从而获得更加准确的原因。
第二方面,本申请实施例提供了一种情绪分析装置,包括:
第一采集模块,用于采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据;
第一识别模块,用于利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;
情绪确认模块,用于向所述被测用户对应的监测设备上发送第一情绪确认请求;
接收模块,用于接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
进一步地,所述装置,还包括:
第二采集模块,用于采集与所述被测用户相关联的关联用户的第二状态数据;
原因确定模块,用于根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
进一步地,所述装置,还包括:
第二采集模块,用于采集与所述被测用户相关联的关联用户的第二状态数据;
原因确定模块,用于根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
进一步地,所述第一状态数据还包括所述被测用户的面部图像信息;相应的,
所述识别模块,具体用于:
利用所述情绪识别模型对所述第一生理数据、所述第一行为数据和所述面部图像信息进行处理,获得所述第一情绪。
进一步地,所述分析模块,具体用于:
获取所述目标情绪产生之前预设时间段内的第一历史状态数据和所述第二历史状态数据;其中所述第一历史状态数据包括所述被测用户的第一历史位置信息及第一历史通讯信息,所述第二历史状态数据包括所述关联用户的第二历史位置信息;
根据所述被测用户的第一历史位置信息和所述关联用户的第二历史位置信息获得所述被测用户与所述关联用户之间的距离;
根据所述被测用户的第一历史通讯信息判断所述被测用户是否与所述关联用户进行过通讯;
若所述距离小于预设阈值和/或若进行过通讯,则确定所述被测用户情绪产生是由于所述关联用户引起的。
进一步地,所述分析模块,具体用于:
若所述距离小于预设距离,则获取所述被测用户所在位置的预设距离内的图像信息和所述被测用户的语音信息;
若所述图像信息中所述被测用户与所述关联用户存在肢体接触,和/或所述语音信息的分贝大于预设分贝,则所述被测用户情绪产生是由于所述关联用户引起的。
进一步地,所述第二状态数据包括所述关联用户的第二生理数据和第二行为数据;所述装置,还包括:
第二识别模块,用于利用所述情绪识别模型对所述第二生理数据和所述第二行为数据进行处理,获得所述关联用户的第二情绪。
进一步地,所述分析模块,具体用于:
若判断所述关联用户的第二情绪的类型与所述目标情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的。
进一步地,所述分析模块,具体用于:
若所述关联用户的第二情绪的类型与所述目标情绪的类型相同,且满足以下至少一个条件,则确定所述被测用户情绪产生是由所述关联用户引起的;其中,所述条件包括:
所述被测用户与所述关联用户的距离小于预设距离;
从所述被测用户所在位置的预设距离内的图像信息中,判断所述被测用户与所述关联用户有肢体接触;
所述被测用户在当前时刻及距当前时刻之前的预设时间段内,与所述关联用户进行过通讯。
进一步地,所述情绪识别模型通过以下方法获得:
获取训练用户的多个第三状态数据,所述第三状态数据包括所述训练用户对应的第三生理数据和第三行为数据;
根据第三生理数据和第三行为数据对所述训练用户的情绪进行标注,获得训练样本;其中,所述情绪包括:平静、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和不满中的任意多项;
利用所述训练样本对卷积神经网络进行训练,获得所述情绪识别模型。
进一步地,所述接收模块,具体用于:
接收所述被测用户通过所述监测设备发送的确认消息,其中所述确认消息的发送方式为语音方式、文本方式和手势方式中的至少一种;
若所述确认消息的发送方式为语音方式,则利用自然语言理解NLU对所述确认消息进行解析,获得所述目标情绪。
进一步地,所述装置,还包括:
模型优化模块,用于利用所述目标情绪以及所述目标情绪对应的第一状态数据对所述识别模型中的参数进行优化。
进一步地,所述装置,还包括:
提示消息发送模块,用于若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
进一步地,所述装置,还包括:
统计模块,用于统计预设时间段内所述被测用户的目标情绪;
第一告警模块,用于若所有的目标情绪中第一预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
第二告警模块,用于若所有的目标情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
进一步地,所述装置,还包括:
询问模块,用于向所述被测用户的监测设备上发送情绪产生原因的询问框,并接收所述被测用户通过所述监测设备发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面,本申请实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种情绪分析方法流程示意图;
图2为本申请实施例提供的情绪分析方法信令交互图;
图3为本申请实施例提供的一种情绪分析装置结构示意图;
图4为本申请实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的一种情绪分析方法流程示意图,如图1所示。该情绪分析方法可以包括如下步骤:
步骤101:采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据。
示例性地,情绪分析装置可以采集被测用户的第一状态数据,其中,可以理解的是,第一状态数据可以包括第一生理数据和第一行为数据。第一生理数据可以包括被测用户的心率、体温、血压、排汗、心电图、肌电图、血糖、血氧等。第一行为数据用于表征被测用户所处的环境状态,例如:处于运动状态、处于安静状态或处于睡眠状态。运动状态可以包括跑步、走路或游泳等,也可以是比较模糊的状态,例如没有发生位移,只是偶尔的肢体动作,此时可能是在看书、看电视或聊天。对于环境而言,可以是室内、室外、商场、餐厅等等。
应当说明的是,不同的电子设备可采集到的行为数据不同,第一状态数据和第二状态数据分别可以是被测用户和关联用户所携带的电子设备采集获得,例如智能手环、手表或手机等,另外,还可以是血压计、血糖仪等。
步骤102:利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;
示例性地,将采集到的第一生理数据和第一行为数据输入到情绪识别模型中,对被测用户的情绪进行识别,获得被测用户对应的第一情绪。应当说明的是,情绪分析装置采集的第一生理数据和第一行为数据是同一时刻的数据,获得的第一情绪为对应时刻的情绪。因此,情绪分析装置可以按照预设周期进行第一状态数据的采集。
进一步地,为了能够更加准确地获得被测用户的第一情绪,还可以采集相同时刻的被测用户的面部图像信息,因为有些情绪的产生会展现在面部,因此,可以将第一生理数据、第一行为数据和面部图像信息均输入到情绪识别模型中,获得第一情绪。
应当说明的是,情绪识别模型为预先建立并训练好的,其训练过程可以为:
获取训练用户的多个第三状态数据,训练用户可以为同一用户,也可以是不同用户。为了使得训练获得的情绪识别模型具有普适性,可以选择多个用户分别对应的多个第三状态数据。每一个第三状态数据中均包括第三生理数据和第三行为数据,且第三生理数据和第三行为数据具体可以为上述所列的数据参数,本申请实施例对此不再赘述。
另外,第三状态数据中还可以加入训练用户的面部图像信息。
然后分别对每一个第三状态数据进行标注,即,标注每一个第三状态数据对应的情绪。其中,情绪可以包括:平静、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和不满中的任意多项,可以理解的是,情绪还可以包括:高兴、兴奋、惊喜、生气、紧张、焦虑、自卑和不平等等。并且,还可以将上述各种情绪进行分类,例如:可以将高兴、兴奋、惊喜、快乐分为一类、愤怒、生气、焦虑分为一类。在对第三状态数据标注完成后,获得对应的训练样本。
利用获得的训练样本对卷积神经网络进行训练,获得情绪识别模型。应当说明的是,还可以利用双向长短时记忆循环神经网络等等,本申请实施例对此不作具体限定。
步骤103:向所述被测用户对应的监测设备上发送第一情绪确认请求。
示例性地,情绪分析装置在识别出被测用户的第一情绪后,为了进一步确定识别的是否正确,情绪分析装置可以向被测用户的监测设备或者移动终端上发送第一情绪确认请求,其中,该第一情绪确认请求可以是以弹出框的方式显示在监测设备或者移动终端上,监测设备或者移动终端在弹出该第一确认请求时,还可以进行振动、语音播报或响铃来提醒被测用户。
步骤104:接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
示例性地,被测用户可以根据自身当前的实际情绪通过监测设备向情绪分析装置发送目标情绪,其中,被测用户可以通过监测设备输入当前的目标情绪,此种方式为本文方式;也可以是第一确认请求中提供有多种情绪选项,被测用户可以通过监测设备选择当前的目标情绪,该种方法称为手势方式;再有第一确认请求可以将第一情绪发送至监测设备,由被测用户进行确认,也可以进行修改,该种方法也称为手势方式。
应当说明的是,用户还可以对监测设备发送语音,通过语音的方式发送给至情绪分析装置中,情绪分析装置可以利用自然语言理解NUL对语音进行解析,获得其目标情绪。
本申请实施例在通过情绪模型识别出被测用户的第一情绪后,向被测用户的监测设备上发送第一情绪确认请求,以使被测用户进行情绪确认,因此,通过人机交互的形式进一步提高被测用户的情绪获得的准确性。
在上述实施例的基础上,在将所述目标情绪作为所述第一情绪之后,所述方法,还包括:
采集与所述被测用户相关联的关联用户的第二状态数据;
根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。示例性地,情绪分析装置采集与被测用户相关联的关联用户对应的第二状态数据,在获得到第一情绪后,可以根据第一状态数据和第二状态数据确定被测用户情绪产生的原因,其可以判断被测用户产生第一情绪是否是由于关联用户。
应当说明的是,在进行情绪分析之前,可以将被测用户的电子设备和另一用户的电子设备进行关联,例如:夫妻之间、长辈与晚辈之间均可以进行关联,其关联方式可以为通过双方的账号关联,也可以一方扫描另一方的二维码关联,其具体关联方式本申请实施例对此不作具体限定。
本申请实施例通过采集被测用户的第一状态数据以及与其具有关联关系的关联用户的第二状态数据,在根据第一状态数据识别出被测用户当前时刻的第一情绪后,通过第一状态和第二状态分析被测用户的第一情绪产生的原因,从而可以判断得出第一情绪的产生是否是由于关联用户所引起的,进而能够根据其原因进行进一步的疏导。
在上述实施例的基础上,在根据第一状态数据和第二状态数据确定被测用户情绪产生的原因时,可以通过如下方式:
获取目标情绪产生之前预设时间段内的第一历史状态数据和第二历史状态数据;其中第一历史状态数据包括被测用户的第一历史位置信息及第一历史通讯信息,第二历史状态数据包括关联用户的第二历史位置信息。
示例性地,一般地,当被测用户与关联用户距离较近,或者有过通讯后,被测用户的情绪产生为关联用户导致的概率将较大。因此,可以获取在被测用户情绪产生之前预设时间段内的第一历史状态数据和第二历史状态数据。预设时间段的取值可以根据实际情况进行设定,例如:可以是5分钟、10分钟、15分钟等。第一历史位置信息用于表示被测用户在预设时间段内所处的位置信息,同样的,第二历史位置信息用于表示关联用户在预设时间段内所处的位置信息,可以是GPS(Global Positioning System,全球定位系统)数据。第一历史通讯信息为获取被测用户在预设时间段内与谁进行过通讯,该通讯可以为打电话、发短信、微信、QQ等。情绪分析装置可以将关联用户的电话号码、微信号码、QQ号等社交账号一并与被测用户绑定,从而能够得知被测用户是否在预设时间段内与关联用户进行过通讯。
根据所述被测用户的第一历史位置信息和所述关联用户的第二历史位置信息获得所述被测用户与所述关联用户之间的距离;
根据所述被测用户的第一历史通讯信息判断所述被测用户是否与所述关联用户进行过通讯;
若所述距离小于预设阈值和/或若进行过通讯,则确定所述被测用户情绪产生是由于所述关联用户引起的。
示例性地,在获取到被测用户的第一历史位置信息和关联用户的第二历史位置信息后,可以确定被测用户与关联用户之间的距离,如果二者之间的距离小于预设距离,则可以确定被测用户的情绪产生的原因是关联用户导致的。
在获取到被测用户的第一历史通讯信息后,判断得知被测用户在预设时间段内与关联用户是否进行过通讯,若进行过通讯,则确定被测用户的情绪产生的原因是关联用户引起的。
应当说明的是,还可以将距离与是否进行通讯综合起来进行确定被测用户的情绪产生的原因。
本申请实施例在判断第一情绪产生的原因时,若在第一情绪产生之前的一端时间段内,若被测用户与关联用户的距离小于预设阈值,说明被测用户与关联用户里的较近,被测用户产生第一情绪的原因可以认为是关联用户引起的;再有,若被测用户与关联用户在最近一段时间内通讯过,则也可以认为是关联用户引起的,因此,可以从距离和通讯情况在确定被测用户的第一情绪产生的原因。
在上述实施例的基础上,所述若所述距离小于预设阈值,则确定所述被测用户情绪产生是由于所述关联用户引起的,包括:
若所述距离小于预设距离,则获取所述被测用户所在位置的预设距离内的图像信息和所述被测用户的语音信息;
若所述图像信息中所述被测用户与所述关联用户存在肢体接触,和/或所述语音信息的分贝大于预设分贝,则所述被测用户情绪产生是由于所述关联用户引起的。
示例性地,在被测用户产生第一情绪之前的预设时间段内,判断得知被测用户与关联用户的距离小于预设距离之后,进一步地,还可以获取被测用户所在位置的预设距离内的图像信息以及语音信息,通过图像信息可以判断被测用户与关联用户之间是否存在肢体接触,根据语音信息可以确定被测用户的说话分贝值,应当说明的是,预先对接收到的语音的分别进行标定,从而可以判断语音信息的分贝是否大于预设分贝。另外,从语音信息中还可以分析出被测用户的语气情感,以及是否与关联用户有关,例如:可以预先存储与关联用户相关的词句。若获取到的语音信息中包括预先存储的词句,则说明与关联用户有关。
当被测用户与关联用户之前存在肢体接触,和/或语音信息的分贝大于预设分贝,则确定被测用户的情绪产生是由于关联用户引起的。
例如:通过情绪识别模型识别出被测用户的第一情绪为生气,被测用户与关联用户之间的距离小于预设距离,且从图像信息中识别得出被测用户与关联用户之间有肢体接触,则说明二者可能在打架。若从获取到的语音信息中,确定出被测用户的说话分贝大于预设分贝,则说明二者可能在吵架。从而可以得出被测用户的情绪产生的原因是由关联用户引起的。
本申请实施例通过在确定第一情绪产生的原因时,如果判断得知被测用户与关联用户距离小于预设距离后,还可以进一步获取预设距离内的图像信息和语音信息,如果从图像信息中判断得知被测用户与关联用户之间有肢体接触,或语音信息的分贝大于预设分贝,则可以确定被测用户的第一情绪的产生是由关联用户引起的,从而能够提高判断的准确性。
在上述实施例的基础上,所述第二状态数据包括所述关联用户的第二生理数据和第二行为数据;所述方法,还包括:
利用所述情绪识别模型对所述第二生理数据和所述第二行为数据进行处理,获得所述关联用户的第二情绪。
示例性地,将采集到关联用户对应时刻的第二生理数据和第二行为数据输入到情绪识别模型中,利用情绪识别模型对关联用户对应时刻的情绪进行识别,获得第二情绪。
进一步地,还可以通过以下方式根据第一状态数据和第二状态数据确定被测用户情绪产生的原因:
一般地,若两个人在交谈一件比较令人开心的事情时,二者的情绪应该是积极的情绪,例如高兴、兴奋、开心等。若两个人在吵架,那么二者的情绪应该都是比较消极的,例如:愤怒、生气、伤心等。因此,可以判断当前时刻被测用户对应的目标情绪的类型和关联用户对应的第二情绪的类型是否相同,若相同,则确定被测用户的情绪产生是由关联用户引起的。应当说明的是,如前所述,情绪类型可以预先进行划分,若目标情绪为高兴,第二情绪为兴奋,则可以认为目标情绪的类型与第二情绪的了类型相同。
进一步地,为了能够进准确的确定被测用户情绪产生的原因,在判断得知被测用户的目标情绪的类型与关联用户的第二情绪的类型相同之后,还需要判断被测用户与关联用户是否满足预先设定的条件,如果满足预先设定的条件,则确定被测用户情绪产生的原因是有关联用户引起的。
其中,预设条件可以包括以下任意一种或多种:
被测用户与关联用户的距离小于预设距离;
从被测用户所在位置的预设距离内的图像信息中,判断被测用户与关联用户有肢体接触;
被测用户在当前时刻及距当前时刻之前的预设时间段内,与关联用户进行过通讯。
在上述实施例的基础上,所述方法,还包括:
利用所述目标情绪以及所述目标情绪对应的第一状态数据对所述识别模型中的参数进行优化。
在具体的实施过程中,由于不同的用户产生相同的情绪时,其对应的生理数据或行为数据是不同的。因此,在获得到被测用户通过监测设备发送的目标情绪之后,可以将目标情绪以及对应的第一状态数据作为新的训练样本对情绪识别模型进行训练,从而实现对情绪识别模型进行优化处理,使得优化后的情绪识别模型能够更加适用于对被测用户的情绪识别。
在上述实施例的基础上,在根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪变化的原因之后,所述方法,还包括:
若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
在具体的实施过程中,在情绪分析装置判断得知被测用户情绪产生的原因是关联用户引起的,则可以向关联用户对应的终端发送提示消息,告知关联用户的行为导致的被测用户产生了第一情绪。进一步地,如果情绪分析装置判断得知被测用户情绪产生的原因是关联用户引起的,并且该第一情绪为预先设定的情绪,此时,情绪分析装置可以向关联用户对应的终端发送提示消息。应当说明的是,预先设定的情绪可以为对被测用户不利的消极情绪,也可以为被测用户预设设定的任意一种或多种情绪。
本申请实施例通过在判断被测用户的情绪是由于关联用户引起的之后,向关联用户发送提示消息,从而提示关联用户,能够进行有效的情绪疏导和行为的指引。
在上述实施例的基础上,所述方法,还包括:
统计预设时间段内所述被测用户的目标情绪;
若所有的目标情绪中目标预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
若所有的目标情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
在具体的实施过程中,情绪分析装置可以统计预设时间段内被测用户所产生的所有的目标情绪,然后判断在预设时间段内的目标情绪中的第一预设情绪产生的次数占目标情绪总次数的比值大于预设阈值,则需要向被测用户对应的终端发送第一告警消息。例如:预设阈值可以为50%,第一预设情绪可以包括生气、愤怒、急躁、痛苦和伤心等。若在预设时间段内一共产生了10个目标情绪,包括1次开心,3次激动,3次生气和3次痛苦。目标情绪中包括的第一预设情绪产生的次数为60%,大于预设阈值,此时,情绪分析装置需要向被测用户的终端发送第一告警消息,用于提醒其注意调整自己的情绪。
另外,如果被测用户在预设时间段内产生的目标情绪中的第二预设情绪产生的次数占目标情绪中总次数的比值大于第二预设阈值,则需要向关联用户的终端发送第二告警消息,其中,应当说明的是,第二预设情绪也可以为对被测用户不利的消极情绪,例如:生气、愤怒、急躁、痛苦和伤心等。并且第二预设情绪是由关联用户引起的。即,如果关联用户在预设时间段内,导致被测用户产生消极情绪的次数较多时,需要对关联用户进行提醒。
应当说明的是,被测用户对应的终端和关联用户对应的终端可以是各自的监测设备,也可以是手机,平板电脑,台式电脑等等。
本申请实施例通过中的预设情绪可以为消极情绪,当判断得知被测用户产生消极情绪的次数较多时,一方面,可以向被测用户的终端发送第一告警消息,提醒其注意;另一方面,当判断被测用户产生消极情绪多是由关联用户引起的,则向关联用户发送第二告警信息,从而提醒关联用户注意。
在上述实施例的基础上,其特征在于,所述方法,还包括:
情绪分析装置确定被测用户情绪产生的原因后,可以向所述被测用户的监测设备或者其他终端上发送情绪产生原因的询问框,被测用户的监测设备或其他终端可以以弹出框的形式弹出所要询问的内容,并且还可以进行振动、语音播报或响铃的方式提醒被测用户,被测用户通过监测设备或其他终端向情绪设备装置发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。应当说明的是,被测用户向情绪分析装置发送目标情绪产生原因的具体方式与上述实施例一致,此处不再赘述。
本申请实施例在初步确定了被测用户情绪的产生是由于关联用户引起的之后,可以再次向被测用户发送询问框,从而进一步确定被测用户情绪产生的目标原因,从而获得更加准确的原因。
图2为本申请实施例提供的情绪分析方法信令交互图,如图2所示,包括:
步骤201:采集第一状态数据;情绪分析装置采集被测用户的第一状态数据,其中,第一状态数据可以由被测用户携带的可穿戴设备或手机等电子设备采集获得,并且,第一状态数据可以包括第一生理数据、第一行为数据和面部图像信息,第一生理数据可以包括心率、体温、血压、排汗、心电图、肌电图、血糖、血氧等,执行步骤202。
步骤202:采集第二状态数据;情绪分析装置采集关联用户的第二状态数据,应当说明的是,第二状态数据可以由关联用户携带的可穿戴设备或手机等电子设备采集获得,且第二状态数据对应的包括的具体参数可以与第一状态数据相同,执行步骤203。
步骤203:识别被测用户的情绪;情绪分析装置将第一状态数据输入至情绪识别模型中,情绪识别模型能够识别获得被测用户的第一情绪,执行步骤204或步骤208;
步骤204:发送第一情绪确认请求;情绪分析装置在获取到被测用户的第一情绪后,可以向被测用户的终端上发送第一情绪确认请求,用来进一步确认通过情绪识别模型识别的第一情绪是否准确,如果不准确,则可以由被测用户发送目标情绪,执行步骤205;
步骤205:采集第一历史状态数据;情绪分析装置采集被测用户在产生目标情绪之前预设时间段内的第一历史状态数据,其中,第一历史状态数据可以包括被测用户的第一历史位置信息、第一历史通讯信息、被测用户对应的预设范围内的图像信息以及语音信息,执行步骤206。
步骤206:采集第二历史状态数据;情绪分析装置采集关联用户在产生目标情绪之前预设时间段内的第二历史状态数据,其中,第二历史状态数据可以包括关联用户的第二历史位置信息,执行步骤207。
步骤207:情绪分析;情绪分析装置可以根据步骤205和步骤206进行分析,从而确定被测用户情绪产生的原因是否是由于关联用户所引起的,具体分析方法与上述实施例一致,此处不再赘述,流程结束或执行步骤210;
步骤208:识别关联用户的情绪;情绪分析装置还可以将第二状态数据输入情绪分析模型中,对关联用户在对应时刻的情绪进行识别,获得第二情绪,执行步骤209。
步骤209:情绪分析;根据第二情绪,确定被测用户情绪产生的原因,具体分析方法与上述实施例一致,此处不再赘述,流程结束或执行步骤210;
步骤210:发送情绪产生原因的询问框;情绪分析装置向被测用户的终端发送情绪产生原因的询问框,并接收被测用户的终端发送的目标情绪产生原因,执行步骤211或流程结束;
步骤211:发送第一告警消息;若在预设时间段内,第一情绪中第一预设情绪产生的次数占比大于预设阈值,则向被测用户对应的终端发送第一告警消息,执行步骤212或流程结束。
步骤212:发送第二告警信息;若所有的第一情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向关联用户对应的终端发送第二告警消息;其中,第二预设情绪的产生原因是由关联用户引起的,流程结束。
应当说明的是,上述流程也可以根据实际情况进行调整,本申请实施例对此不作具体限定。
本申请实施例通过采集被测用户的第一状态数据以及与其具有关联关系的关联用户的第二状态数据,在根据第一状态数据识别出被测用户当前时刻的第一情绪后,通过第一状态和第二状态分析被测用户的第一情绪产生的原因,从而可以判断得出第一情绪的产生是否是由于关联用户所引起的,进而能够根据其原因进行进一步的疏导。
图3为本申请实施例提供的一种情绪分析装置结构示意图,如图3所示,该装置包括:第一采集模块301、第一识别模块302、情绪确认模块303和接收模块304,其中,
第一采集模块301用于采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据;第一识别模块302用于利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;情绪确认模块303用于向所述被测用户对应的监测设备上发送第一情绪确认请求;接收模块304用于接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
在上述实施例的基础上,所述装置,还包括:
第二采集模块,用于采集与所述被测用户相关联的关联用户的第二状态数据;
原因确定模块,用于根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
在上述实施例的基础上,所述第一状态数据还包括所述被测用户的面部图像信息;相应的,
所述识别模块,具体用于:
利用所述情绪识别模型对所述第一生理数据、所述第一行为数据和所述面部图像信息进行处理,获得所述第一情绪。
在上述实施例的基础上,所述分析模块,具体用于:
获取所述第一情绪产生之前预设时间段内的第一历史状态数据和所述第二历史状态数据;其中所述第一历史状态数据包括所述被测用户的第一历史位置信息及第一历史通讯信息,所述第二历史状态数据包括所述关联用户的第二历史位置信息;
根据所述被测用户的第一历史位置信息和所述关联用户的第二历史位置信息获得所述被测用户与所述关联用户之间的距离;
根据所述被测用户的第一历史通讯信息判断所述被测用户是否与所述关联用户进行过通讯;
若所述距离小于预设阈值和/或若进行过通讯,则确定所述被测用户情绪产生是由于所述关联用户引起的。
在上述实施例的基础上,所述分析模块,具体用于:
若所述距离小于预设距离,则获取所述被测用户所在位置的预设距离内的图像信息和所述被测用户的语音信息;
若所述图像信息中所述被测用户与所述关联用户存在肢体接触,和/或所述语音信息的分贝大于预设分贝,则所述被测用户情绪产生是由于所述关联用户引起的。
在上述实施例的基础上,所述第二状态数据包括所述关联用户的第二生理数据和第二行为数据;所述装置,还包括:
第二识别模块,用于利用所述情绪识别模型对所述第二生理数据和所述第二行为数据进行处理,获得所述关联用户的第二情绪。
在上述实施例的基础上,所述分析模块,具体用于:
若判断所述关联用户的第二情绪的类型与所述第一情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的。
在上述实施例的基础上,所述分析模块,具体用于:
若所述关联用户的第二情绪的类型与所述第一情绪的类型相同,且满足以下至少一个条件,则确定所述被测用户情绪产生是由所述关联用户引起的;其中,所述条件包括:
所述被测用户与所述关联用户的距离小于预设距离;
从所述被测用户所在位置的预设距离内的图像信息中,判断所述被测用户与所述关联用户有肢体接触;
所述被测用户在当前时刻及距当前时刻之前的预设时间段内,与所述关联用户进行过通讯。
在上述实施例的基础上,所述情绪识别模型通过以下方法获得:
获取训练用户的多个第三状态数据,所述第三状态数据包括所述训练用户对应的第三生理数据和第三行为数据;
根据第三生理数据和第三行为数据对所述训练用户的情绪进行标注,获得训练样本;其中,所述情绪包括:平静、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和不满中的任意多项;
利用所述训练样本对卷积神经网络进行训练,获得所述情绪识别模型。
在上述实施例的基础上,所述装置,还包括:
第一请求发送模块,用于向所述被测用户的监测设备上发送第一情绪确认请求;
接收模块,用于接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
在上述实施例的基础上,所述接收模块,具体用于:
接收所述被测用户通过所述监测设备发送的确认消息,其中所述确认消息的发送方式为语音方式、文本方式和手势方式中的至少一种;
若所述确认消息的发送方式为语音方式,则利用自然语言理解NLU对所述确认消息进行解析,获得所述目标情绪。
在上述实施例的基础上,所述装置,还包括:
模型优化模块,用于利用所述目标情绪以及所述目标情绪对应的第一状态数据对所述识别模型中的参数进行优化。
在上述实施例的基础上,所述装置,还包括:
提示消息发送模块,用于若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
在上述实施例的基础上,所述装置,还包括:
统计模块,用于统计预设时间段内所述被测用户的第一情绪;
第一告警模块,用于若所有的第一情绪中第一预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
第二告警模块,用于若所有的第一情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
在上述实施例的基础上,所述装置,还包括:
询问模块,用于向所述被测用户的监测设备上发送情绪产生原因的询问框,并接收所述被测用户通过所述监测设备发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本申请实施例通过采集被测用户的第一状态数据以及与其具有关联关系的关联用户的第二状态数据,在根据第一状态数据识别出被测用户当前时刻的第一情绪后,通过第一状态和第二状态分析被测用户的第一情绪产生的原因,从而可以判断得出第一情绪的产生是否是由于关联用户所引起的,进而能够根据其原因进行进一步的疏导。
图4为本申请实施例提供的电子设备的结构框图,如图4所示。电子设备可以包括情绪分析装置401、存储器402、存储控制器403、处理器404、外设接口405、输入输出单元406、音频单元407、显示单元408。
所述存储器402、存储控制器403、处理器404、外设接口405、输入输出单元406、音频单元407、显示单元408各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述情绪分析装置401包括至少一个可以软件或固件(firmware)的形式存储于所述存储器402中或固化在情绪分析装置401的操作系统(operating system,OS)中的软件功能模块。所述处理器404用于执行存储器402中存储的可执行模块,例如情绪分析装置401包括的软件功能模块或计算机程序。
其中,存储器402可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器402用于存储程序,所述处理器404在接收到执行指令后,执行所述程序,前述本申请实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器404中,或者由处理器404实现。
处理器404可以是一种集成电路芯片,具有信号的处理能力。上述的处理器404可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器404也可以是任何常规的处理器等。
所述外设接口405将各种输入/输出装置耦合至处理器404以及存储器402。在一些实施例中,外设接口405,处理器404以及存储控制器403可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元406用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元406可以是,但不限于,鼠标和键盘等。
音频单元407向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元408在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元408可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器404进行计算和处理。
所述外设接口405将各种输入/输入装置耦合至处理器404以及存储器402。在一些实施例中,外设接口405,处理器404以及存储控制器403可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元406用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元406可以是,但不限于,鼠标和键盘等。
可以理解,图4所示的结构仅为示意,所述电子设备还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (21)

1.一种情绪分析方法,其特征在于,包括:
采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据;
利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;
向所述被测用户对应的监测设备上发送第一情绪确认请求;
接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
2.根据权利要求1所述的方法,其特征在于,在将所述目标情绪作为所述第一情绪之后,所述方法,还包括:
采集与所述被测用户相关联的关联用户的第二状态数据;
根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
3.根据权利要求1所述的方法,其特征在于,所述第一状态数据还包括所述被测用户的面部图像信息;相应的,
所述利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪,包括:
利用所述情绪识别模型对所述第一生理数据、所述第一行为数据和所述面部图像信息进行处理,获得所述第一情绪。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因,包括:
获取所述目标情绪产生之前预设时间段内的第一历史状态数据和第二历史状态数据;其中所述第一历史状态数据包括所述被测用户的第一历史位置信息及第一历史通讯信息,所述第二历史状态数据包括所述关联用户的第二历史位置信息;
根据所述被测用户的第一历史位置信息和所述关联用户的第二历史位置信息获得所述被测用户与所述关联用户之间的距离;
根据所述被测用户的第一历史通讯信息判断所述被测用户是否与所述关联用户进行过通讯;
若所述距离小于预设阈值和/或若进行过通讯,则确定所述被测用户情绪产生是由于所述关联用户引起的。
5.根据权利要求4所述的方法,其特征在于,所述若所述距离小于预设阈值,则确定所述被测用户情绪产生是由于所述关联用户引起的,包括:
若所述距离小于预设距离,则获取所述被测用户所在位置的预设距离内的图像信息和所述被测用户的语音信息;
若所述图像信息中所述被测用户与所述关联用户存在肢体接触,和/或所述语音信息的分贝大于预设分贝,则所述被测用户情绪产生是由于所述关联用户引起的。
6.根据权利要求2所述的方法,其特征在于,所述第二状态数据包括所述关联用户的第二生理数据和第二行为数据;所述方法,还包括:
利用所述情绪识别模型对所述第二生理数据和所述第二行为数据进行处理,获得所述关联用户的第二情绪。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因,包括:
若判断所述关联用户的第二情绪的类型与所述目标情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的。
8.根据权利要求7所述的方法,其特征在于,若判断所述关联用户的第二情绪的类型与所述目标情绪的类型相同,则确定所述被测用户情绪产生是由所述关联用户引起的,包括:
若所述关联用户的第二情绪的类型与所述目标情绪的类型相同,且满足以下至少一个条件,则确定所述被测用户情绪产生是由所述关联用户引起的;其中,所述条件包括:
所述被测用户与所述关联用户的距离小于预设距离;
从所述被测用户所在位置的预设距离内的图像信息中,判断所述被测用户与所述关联用户有肢体接触;
所述被测用户在当前时刻及距当前时刻之前的预设时间段内,与所述关联用户进行过通讯。
9.根据权利要求1所述的方法,其特征在于,所述情绪识别模型通过以下方法获得:
获取训练用户的多个第三状态数据,所述第三状态数据包括所述训练用户对应的第三生理数据和第三行为数据;
根据第三生理数据和第三行为数据对所述训练用户的情绪进行标注,获得训练样本;其中,所述情绪包括:平静、快乐、忧愁、愤怒、蔑视、害怕、惊讶、困惑和不满中的任意多项;
利用所述训练样本对卷积神经网络进行训练,获得所述情绪识别模型。
10.根据权利要求1所述的方法,其特征在于,所述接收所述被测用户通过所述监测设备发送的目标情绪,包括:
接收所述被测用户通过所述监测设备发送的确认消息,其中所述确认消息的发送方式为语音方式、文本方式和手势方式中的至少一种;
若所述确认消息的发送方式为语音方式,则利用自然语言理解NLU对所述确认消息进行解析,获得所述目标情绪。
11.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
利用所述目标情绪以及所述目标情绪对应的第一状态数据对所述识别模型中的参数进行优化。
12.根据权利要求2所述的方法,其特征在于,在根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪变化的原因之后,所述方法,还包括:
若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
13.根据权利要求2所述的方法,其特征在于,所述方法,还包括:
统计预设时间段内所述被测用户的目标情绪;
若所有的目标情绪中第一预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
若所有的目标情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
14.根据权利要求2-13任一项所述的方法,其特征在于,所述方法,还包括:
向所述被测用户的监测设备上发送情绪产生原因的询问框,并接收所述被测用户通过所述监测设备发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。
15.一种情绪分析装置,其特征在于,包括:
第一采集模块,用于采集被测用户的第一状态数据,所述第一状态数据包括第一生理数据和第一行为数据;
第一识别模块,用于利用情绪识别模型对所述第一生理数据和所述第一行为数据进行处理,获得所述被测用户的第一情绪;
情绪确认模块,用于向所述被测用户对应的监测设备上发送第一情绪确认请求;
接收模块,用于接收所述被测用户通过所述监测设备发送的目标情绪,并将所述目标情绪作为所述第一情绪。
16.根据权利要求15所述的装置,其特征在于,所述装置,还包括:
第二采集模块,用于采集与所述被测用户相关联的关联用户的第二状态数据;
原因确定模块,用于根据所述第一状态数据和所述第二状态数据确定所述被测用户情绪产生的原因。
17.根据权利要求16所述的装置,其特征在于,所述装置,还包括:
提示消息发送模块,用于若所述被测用户情绪产生的原因是所述关联用户引起的,则向所述关联用户对应的终端发送提示消息。
18.根据权利要求16所述的装置,其特征在于,所述装置,还包括:
统计模块,用于统计预设时间段内所述被测用户的第一情绪;
第一告警模块,用于若所有的第一情绪中第一预设情绪产生的次数占比大于预设阈值,则向所述被测用户对应的终端发送第一告警消息;
第二告警模块,用于若所有的第一情绪中第二预设情绪产生的次数占比大于第二预设阈值,则向所述关联用户对应的终端发送第二告警消息;其中,所述第二预设情绪的产生原因是由所述关联用户引起的。
19.根据权利要求16-18任一项所述的装置,其特征在于,所述装置,还包括:
询问模块,用于向所述被测用户的监测设备上发送情绪产生原因的询问框,并接收所述被测用户通过所述监测设备发送的目标情绪产生原因;其中,所述目标情绪产生原因的发送方式为语音方式、文本方式和手势方式中的至少一种。
20.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-14任一项所述的方法。
21.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1-14任一项所述的方法。
CN201910026283.XA 2019-01-10 2019-01-10 一种情绪分析方法、装置、电子设备及存储介质 Active CN109460752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910026283.XA CN109460752B (zh) 2019-01-10 2019-01-10 一种情绪分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910026283.XA CN109460752B (zh) 2019-01-10 2019-01-10 一种情绪分析方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109460752A true CN109460752A (zh) 2019-03-12
CN109460752B CN109460752B (zh) 2020-10-16

Family

ID=65616386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910026283.XA Active CN109460752B (zh) 2019-01-10 2019-01-10 一种情绪分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109460752B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000572A (zh) * 2019-12-31 2020-04-14 南京煌和信息技术有限公司 一种智能工程师情绪监测系统
CN112022172A (zh) * 2020-09-03 2020-12-04 北京中科心研科技有限公司 一种基于多模态生理数据的压力检测方法和装置
CN112083806A (zh) * 2020-09-16 2020-12-15 华南理工大学 一种基于多模态识别的自学习情感交互方法
CN113053127A (zh) * 2020-11-26 2021-06-29 泰州芯源半导体科技有限公司 智能化实时状态检测系统及方法
CN113144374A (zh) * 2021-04-09 2021-07-23 上海探寻信息技术有限公司 一种基于智能穿戴设备调节用户状态的方法及设备
CN113572893A (zh) * 2021-07-13 2021-10-29 青岛海信移动通信技术股份有限公司 一种终端设备、情绪反馈方法及存储介质
CN114334090A (zh) * 2022-03-02 2022-04-12 博奥生物集团有限公司 一种数据分析方法、装置及电子设备
CN114556885A (zh) * 2019-08-14 2022-05-27 诺基亚技术有限公司 消息递送
CN115054248A (zh) * 2021-12-10 2022-09-16 荣耀终端有限公司 情绪监测方法和情绪监测装置
CN115797966A (zh) * 2022-10-27 2023-03-14 杭州智诺科技股份有限公司 一种采集和识别情绪数据的方法、系统、装置和介质
CN117370768A (zh) * 2023-12-08 2024-01-09 北京回龙观医院(北京心理危机研究与干预中心) 一种精神患者的情绪波动检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067486A1 (en) * 2001-10-06 2003-04-10 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing emotions based on the human nervous system
CN1692341A (zh) * 2002-12-11 2005-11-02 索尼株式会社 信息处理设备、信息处理方法、程序以及存储介质
CN105536118A (zh) * 2016-02-19 2016-05-04 京东方光科技有限公司 一种情绪调节装置、可穿戴设备和缓解情绪的帽子
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616666B (zh) * 2015-03-03 2018-05-25 广东小天才科技有限公司 一种基于语音分析改善对话沟通效果的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067486A1 (en) * 2001-10-06 2003-04-10 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing emotions based on the human nervous system
CN1692341A (zh) * 2002-12-11 2005-11-02 索尼株式会社 信息处理设备、信息处理方法、程序以及存储介质
CN105536118A (zh) * 2016-02-19 2016-05-04 京东方光科技有限公司 一种情绪调节装置、可穿戴设备和缓解情绪的帽子
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109101933A (zh) * 2018-08-21 2018-12-28 重庆乐教科技有限公司 一种基于人工智能的情绪行为可视化分析方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556885A (zh) * 2019-08-14 2022-05-27 诺基亚技术有限公司 消息递送
CN114556885B (zh) * 2019-08-14 2024-03-08 诺基亚技术有限公司 消息递送
CN111000572A (zh) * 2019-12-31 2020-04-14 南京煌和信息技术有限公司 一种智能工程师情绪监测系统
CN112022172A (zh) * 2020-09-03 2020-12-04 北京中科心研科技有限公司 一种基于多模态生理数据的压力检测方法和装置
CN112083806A (zh) * 2020-09-16 2020-12-15 华南理工大学 一种基于多模态识别的自学习情感交互方法
CN113053127A (zh) * 2020-11-26 2021-06-29 泰州芯源半导体科技有限公司 智能化实时状态检测系统及方法
CN113053127B (zh) * 2020-11-26 2021-11-26 江苏奥都智能科技有限公司 智能化实时状态检测系统及方法
CN113144374A (zh) * 2021-04-09 2021-07-23 上海探寻信息技术有限公司 一种基于智能穿戴设备调节用户状态的方法及设备
CN113572893B (zh) * 2021-07-13 2023-03-14 青岛海信移动通信技术股份有限公司 一种终端设备、情绪反馈方法及存储介质
CN113572893A (zh) * 2021-07-13 2021-10-29 青岛海信移动通信技术股份有限公司 一种终端设备、情绪反馈方法及存储介质
CN115054248A (zh) * 2021-12-10 2022-09-16 荣耀终端有限公司 情绪监测方法和情绪监测装置
CN115054248B (zh) * 2021-12-10 2023-10-20 荣耀终端有限公司 情绪监测方法和情绪监测装置
CN114334090A (zh) * 2022-03-02 2022-04-12 博奥生物集团有限公司 一种数据分析方法、装置及电子设备
CN114334090B (zh) * 2022-03-02 2022-07-12 博奥生物集团有限公司 一种数据分析方法、装置及电子设备
CN115797966A (zh) * 2022-10-27 2023-03-14 杭州智诺科技股份有限公司 一种采集和识别情绪数据的方法、系统、装置和介质
CN117370768A (zh) * 2023-12-08 2024-01-09 北京回龙观医院(北京心理危机研究与干预中心) 一种精神患者的情绪波动检测方法及系统
CN117370768B (zh) * 2023-12-08 2024-03-05 北京回龙观医院(北京心理危机研究与干预中心) 一种精神患者的情绪波动检测方法及系统

Also Published As

Publication number Publication date
CN109460752B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN109460752A (zh) 一种情绪分析方法、装置、电子设备及存储介质
US11361770B2 (en) Detecting user identity in shared audio source contexts
US10453443B2 (en) Providing an indication of the suitability of speech recognition
JP6697024B2 (ja) 手動始点/終点指定及びトリガフレーズの必要性の低減
US11580501B2 (en) Automatic detection and analytics using sensors
CN112513833A (zh) 用于基于预先合成的对话提供人工智能服务的电子设备和方法
JP2020009463A (ja) デジタルアシスタントのためのボイストリガ
US20130211826A1 (en) Audio Signals as Buffered Streams of Audio Signals and Metadata
JPWO2016136062A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11636859B2 (en) Transcription summary presentation
KR102343084B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN110399837A (zh) 用户情绪识别方法、装置以及计算机可读存储介质
CN111523850B (zh) 响应于共同存在确定的调用动作
KR20190136706A (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
CN108038243A (zh) 音乐推荐方法、装置、存储介质及电子设备
CN113287175A (zh) 互动式健康状态评估方法及其系统
CN106603381A (zh) 处理聊天信息的方法及装置
CN109427332B (zh) 使用语音命令执行操作的电子设备及其操作方法
US20220319539A1 (en) Methods and systems for voice and acupressure-based management with smart devices
CN111107218A (zh) 处理用户话语的电子装置及其控制方法
CN109426411A (zh) 信息处理方法、信息处理装置以及信息处理程序
CN111241284B (zh) 文章内容识别方法、装置及计算机存储介质
CN115225702B (zh) 信息推送方法、装置、电子设备及存储介质
EP2747378A1 (en) Method for generating an affective status map
CN117636861A (zh) 设备的唤醒方法、装置、电子设备、可读存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant