CN113241096B - 一种情绪监测装置及方法 - Google Patents
一种情绪监测装置及方法 Download PDFInfo
- Publication number
- CN113241096B CN113241096B CN202110775210.8A CN202110775210A CN113241096B CN 113241096 B CN113241096 B CN 113241096B CN 202110775210 A CN202110775210 A CN 202110775210A CN 113241096 B CN113241096 B CN 113241096B
- Authority
- CN
- China
- Prior art keywords
- emotion
- emotion recognition
- recognition result
- inputting
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012806 monitoring device Methods 0.000 title claims abstract description 24
- 230000008909 emotion recognition Effects 0.000 claims abstract description 218
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 78
- 238000013528 artificial neural network Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 206010005746 Blood pressure fluctuation Diseases 0.000 claims description 13
- 230000001537 neural effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 8
- 230000007787 long-term memory Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 230000036651 mood Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 230000000994 depressogenic effect Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种情绪监测装置及方法，装置包括：关联信息采集模块，用于采集待监测人的关联信息，关联信息包括：语音数据和生理数据；第一情绪识别模块，用于将语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定；第二情绪识别模块，用于将语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；情绪监测模块，用于根据生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪；本发明中的装置，实现了对待监测人的情绪的准确识别与监测，精确度较高。
Description
技术领域
本发明涉及自然语言处理领域，尤其涉及一种情绪监测装置及方法。
背景技术
随着自然语言处理技术的发展，情绪识别技术受到了越来越多的关注。为了对待监测人群进行实时有效地情绪监测，如心脏病患者和抑郁症患者等，目前，通常对待监测人的哭或笑的音频进行采集，确定待监测人的情绪，然而，并未对待监测人的语音中的深层情绪进行分析，容易导致情绪监测的准确率较低，如当待监测人发出苦笑的语音时，对应的情绪应该为郁闷，可通过现有技术中的方法，可能会将待监测人的情绪识别为高兴等。
发明内容
本发明提供一种情绪监测装置及方法，以解决现有技术中情绪监测的准确率较低的问题。
本发明提供的情绪监测装置，包括：
关联信息采集模块，用于采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；
第一情绪识别模块，用于将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；
第二情绪识别模块，用于将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；
情绪监测模块，用于根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测；
所述第二情绪识别模型的获取步骤包括：
采集第二训练集；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
根据所述第二语音特征，获取对应的识别文本；
对所述识别文本进行目标语句提取，获取一个或多个目标语句；
将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
根据所述语义识别结果，获取对应的情绪标签；
将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；
根据所述情绪标签和程度副词，获取第二情绪识别结果；
根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
可选的，所述第一情绪识别模型的获取步骤包括：
采集第一训练集；
将所述第一训练集中的第一训练样本输入第一神经网络进行人声分离，获取人声语音；
对所述人声语音进行第一语音特征提取，获取声纹特征、语速特征、语调特征和音量特征；
将所述声纹特征输入预设的声纹特征库进行匹配，确定所述待监测人的身份信息；
根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，获取待监测人的第一情绪识别结果；
根据预设的第一损失函数和所述第一情绪识别结果，对所述第一神经网络进行训练，获取第一情绪识别模型。
可选的，根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定的步骤包括：
根据所述语速特征，判断对应语速是否超出预设的语速阈值范围，获取第一判定结果；
将所述语调特征输入预设的语调特征库进行匹配，获取语调匹配结果；
根据所述音量特征，判断对应音量是否超出预设的音量阈值范围，获取第二判定结果；
根据所述身份信息、第一判定结果、语调匹配结果和第二判定结果，获取对应的情绪标签作为第一情绪识别结果，完成第一情绪判定。
可选的，根据所述情绪标签和程度副词，获取第二情绪识别结果的步骤包括：
将所述程度副词输出预设的程度副词库进行匹配，获取对应的程度权值；
根据所述程度权值，对所述情绪标签进行打分，获取打分结果；
当所述打分结果超出预设的分数阈值时，则确定对应的情绪标签为所述第二情绪识别结果。
可选的，所述生理数据包括：心电信号和血压信号；
根据所述语音数据，确定对应的时间区间；
根据所述心电信号和血压信号，获取所述时间区间内的心电波动频率和血压波动频率；
判断所述心电波动频率是否超出预设的心电波动阈值范围，获取第三判定结果；
判断所述血压波动频率是否超出预设的血压波动阈值范围，获取第四判定结果；
根据所述第三判定结果和所述第四判定结果，获取对应的情绪波动属性标签，所述情绪波动属性标签包括：平静、高兴、悲伤、愤怒、惊讶和恐惧；
根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪。
可选的，根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪的步骤包括：
将所述第一情绪识别结果和第二情绪识别结果分别与所述情绪波动属性标签进行相似度匹配，获取一个或多个目标情绪标签，所述目标情绪标签为相似度大于预设的相似度阈值的情绪标签；
获取多个所述目标情绪标签对应的置信度，将置信度较大的目标情绪标签作为最终情绪标签，完成情绪监测。
可选的，还包括：警示模块，用于对所述待监测人的最终情绪标签进行累计，当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示，所述负面情绪标签包括：悲伤、愤怒和恐惧；
将警示信号传输至目标终端，所述目标终端为与所述情绪监测装置进行关联通信的终端。
本发明还提供一种情绪监测方法，包括：
采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；
将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；
将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；
根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测；
所述第二情绪识别模型的获取步骤包括：
采集第二训练集；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
根据所述第二语音特征，获取对应的识别文本；
对所述识别文本进行目标语句提取，获取一个或多个目标语句；
将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
根据所述语义识别结果，获取对应的情绪标签；
将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；
根据所述情绪标签和程度副词，获取第二情绪识别结果；
根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
本发明的有益效果：本发明中的情绪监测装置，通过采集待监测人的语音数据和生理数据，将语音数据分别输入第一情绪识别模型和第二情绪识别模型进行情绪识别，获取第一情绪识别结果和第二情绪识别结果，根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，实现了对待监测人的情绪的准确识别与监测，提高了情绪识别的精确度，有效避免待监测人的情绪与语音表达不一致时，造成的情绪识别错误。
附图说明
图1是本发明实施例中情绪监测装置的一结构示意图。
图2是本发明实施例中情绪监测装置中第一情绪识别模型的获取的流程示意图。
图3是本发明实施例中情绪监测装置中第二情绪识别模型的获取的流程示意图。
图4是本发明实施例中情绪监测装置中确定待监测人的情绪的流程示意图。
图5是本发明实施例中情绪监测装置的另一结构示意图。
图6是本发明实施例中情绪监测方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，随着自然语言处理技术的发展，情绪识别技术受到了越来越多的关注。为了对待监测人群进行实时有效地情绪监测，如心脏病患者和抑郁症患者等，目前，通常对待监测人的哭或笑的音频进行采集，确定待监测人的情绪，然而，并未对待监测人的语音中的深层情绪进行分析，容易导致情绪监测的准确率较低，如当待监测人发出苦笑的语音时，对应的情绪应该为郁闷，可通过现有技术中的方法，可能会将待监测人的情绪识别为高兴等。因此，发明人提出一种情绪监测装置及方法，通过采集待监测人的语音数据和生理数据，将语音数据分别输入第一情绪识别模型和第二情绪识别模型进行情绪识别，获取第一情绪识别结果和第二情绪识别结果，根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，实现了对待监测人的情绪的准确识别与监测，提高了情绪识别的精确度，有效避免待监测人的情绪与语音表达不一致时，造成的情绪识别错误，成本较低，实施较方便。
如图1所示，本实施例中的情绪监测装置，包括：
关联信息采集模块，用于采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；所述生理数据包括：心电信号和血压信号。
第一情绪识别模块，用于将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征。
第二情绪识别模块，用于将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；所述程度副词包括：很、非常、相当、一点、明显地和十分等。
情绪监测模块，用于根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测；所述关联信息采集模块的输出端分别和第一情绪识别模块的输入端和第二情绪识别模块的输入端连接，所述第一情绪识别模块的输出端和第二情绪识别模块的输出端分别与所述情绪监测模块的输入端连接。本实施例中的装置通过采集待监测人的语音数据和生理数据，将语音数据分别输入第一情绪识别模型和第二情绪识别模型进行情绪识别，获取第一情绪识别结果和第二情绪识别结果，根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，实现了对待监测人的情绪的准确识别与监测，提高了情绪识别的精确度，有效避免待监测人的情绪与语音表达不一致时，造成的情绪识别错误，成本较低，实施较方便。
请参考图2，所述第一情绪识别模型的获取步骤包括：
S201：采集第一训练集；所述第一训练集包括：多个第一训练样本，以及与第一训练样本相对应的真实情绪标签。
S202：将所述第一训练集中的第一训练样本输入第一神经网络进行人声分离，获取人声语音；通过进行人声分离，能够获取第一训练样本中的人声，避免后续语音识别受到干扰。
S203：对所述人声语音进行第一语音特征提取，获取声纹特征、语速特征、语调特征和音量特征；
S204：将所述声纹特征输入预设的声纹特征库进行匹配，确定所述待监测人的身份信息；
S205：根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，获取待监测人的第一情绪识别结果；通过根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，能够结合待监测人的语速、语调和音量进行较精准的情绪判定。例如：根据所述身份信息，对待监测人的身份进行确认，并根据所述语速特征、语调特征、音量特征进行第一情绪判定，确定待监测人的第一情绪识别结果。
S206：根据预设的第一损失函数和所述第一情绪识别结果，对所述第一神经网络进行训练，获取第一情绪识别模型。所述第一神经网络为深度神经网络。
进一步地，根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定的步骤包括：
S2051：根据所述语速特征，判断对应语速是否超出预设的语速阈值范围，获取第一判定结果；
S2052：将所述语调特征输入预设的语调特征库进行匹配，获取语调匹配结果；语调特征库包括：多个语调特征，以及与所述语调特征相对应的情绪标签。
S2053：根据所述音量特征，判断对应音量是否超出预设的音量阈值范围，获取第二判定结果；
S2054：根据所述身份信息、第一判定结果、语调匹配结果和第二判定结果，获取对应的情绪标签作为第一情绪识别结果，完成第一情绪判定。所述情绪标签包括：平静、高兴、悲伤、愤怒、惊讶、郁闷和恐惧。不同语速阈值范围以及不同音量阈值范围对应的情绪标签不同。
为了提高第一情绪识别模型的情绪识别精确度，采用预设的第一损失函数，对第一神经网络进行训练，所述第一损失函数的数学表达为：
其中，
为第一损失函数，
为预设的第一权值，
为预设的第二权值，n为样本数，
为真实情绪标签，
为第一神经网络输出的第一情绪识别结果中的情绪标签，G为常见的代价函数，H1为第一神经网络的第一误差值，
为第一控制参数，
为第一惩罚项。可以理解的，常见的代价函数包括：指数函数和对数函数等代价函数，第一控制参数为用于控制第一神经网络迭代学习过程中去相关性的偏好程度的参数。通过采用上述第一损失函数对第一神经网络进行训练，有效提高第一神经网络的情绪识别精确度。
如图3所示，所述第二情绪识别模型的获取步骤包括：
S301：采集第二训练集；所述第二训练集包括：多个第二训练样本，以及与第二训练样本相对应的真实情绪标签。
S302：将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络。
进一步地，将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
S3021：将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
S3022：根据所述第二语音特征，获取对应的识别文本；通过将第二语音特征转换为对应的识别文本，能够为后续对识别文本进行进一步情绪分析提供数据基础。
S3023：对所述识别文本进行目标语句提取，获取一个或多个目标语句；通过对识别文本进行目标语句提取，避免仅进行目标词汇提取造成的情绪分析漏洞，提高情绪识别的精准度。
S3024：将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
S3025：根据所述语义识别结果，获取对应的情绪标签；通过将目标语句输入长短期记忆子网络进行语义识别，能够较好地结合目标语句中的上下文信息，提取出目标语句中的语义，进而根据所述语义识别结果，获取对应的情绪标签，例如：将语义识别结果输入情绪标签库中进行匹配，获取对应的情绪标签。
S3026：将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；通过进行程度副词提取，并利用程度副词，进行情绪识别，有助于提高情绪识别的精确度。
S3027：根据所述情绪标签和程度副词，获取第二情绪识别结果。
S3028：根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
所述第二损失函数的数学表达为：
其中，
为第二损失函数，
为预设的第三权值，
为预设的第四权值，n为样本数，
为真实情绪标签，
为第二神经网络输出的第二情绪识别结果中的情绪标签，G为常见的代价函数，H2为第一神经网络的第二误差值，
为第二控制参数，
为第二惩罚项。可以理解的，常见的代价函数包括：指数函数和对数函数等代价函数，第二控制参数为用于控制第二神经网络迭代学习过程中去相关性的偏好程度的参数。
其中，根据所述情绪标签和程度副词，获取第二情绪识别结果的步骤包括：
将所述程度副词输出预设的程度副词库进行匹配，获取对应的程度权值；
根据所述程度权值，对所述情绪标签进行打分，获取打分结果；
当所述打分结果超出预设的分数阈值时，则确定对应的情绪标签为所述第二情绪识别结果。
请参考图4，所述情绪监测模块根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪的步骤包括：
S401：根据所述语音数据，确定对应的时间区间；
S402：根据所述心电信号和血压信号，获取所述时间区间内的心电波动频率和血压波动频率；
S403：判断所述心电波动频率是否超出预设的心电波动阈值范围，获取第三判定结果；
S404：判断所述血压波动频率是否超出预设的血压波动阈值范围，获取第四判定结果；所述心电波动阈值范围和血压波动阈值范围可以根据实际情况进行设置，此处不再赘述。
S405：根据所述第三判定结果和所述第四判定结果，获取对应的情绪波动属性标签，所述情绪波动属性标签包括：平静、高兴、悲伤、愤怒、惊讶和恐惧等。
S406：根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪。通过结合第一情绪识别结果、第二情绪识别结果和情绪波动标签，有效提高对待监测人的情绪识别的精确度。
进一步地，根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪的步骤包括：
将所述第一情绪识别结果和第二情绪识别结果分别与所述情绪波动属性标签进行相似度匹配，获取一个或多个目标情绪标签，所述目标情绪标签为相似度大于预设的相似度阈值的情绪标签；
获取多个所述目标情绪标签对应的置信度，将置信度较大的目标情绪标签作为最终情绪标签，完成情绪监测。
如图5所示，为了对待监测人的情绪进行实时监测与警示，避免待监测人出现情绪异常，本实施例中的情绪监测装置还包括：警示模块，用于对所述待监测人的最终情绪标签进行累计，当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示，所述负面情绪标签包括：悲伤、愤怒和恐惧；将警示信号传输至目标终端，所述目标终端为与所述情绪监测装置进行关联通信的终端。例如：当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示，并将警示信号或警示信息传输至医生、护士或其他相关人员的所持终端，避免患者因负面情绪过剩，造成不必要的影响等。
请参考图6，本实施例还提供一种情绪监测方法，包括：
S601：采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；
S602：将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；
S603：将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；
S604：根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测。通过采集待监测人的语音数据和生理数据，将语音数据分别输入第一情绪识别模型和第二情绪识别模型进行情绪识别，获取第一情绪识别结果和第二情绪识别结果，根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，实现了对待监测人的情绪的准确识别与监测，提高了情绪识别的精确度，有效避免待监测人的情绪与语音表达不一致时，造成的情绪识别错误，成本较低，实施较方便。
在一些实施例中，所述第一情绪识别模型的获取步骤包括：
采集第一训练集；
将所述第一训练集中的第一训练样本输入第一神经网络进行人声分离，获取人声语音；
对所述人声语音进行第一语音特征提取，获取声纹特征、语速特征、语调特征和音量特征；
将所述声纹特征输入预设的声纹特征库进行匹配，确定所述待监测人的身份信息；
根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，获取待监测人的第一情绪识别结果；
根据预设的第一损失函数和所述第一情绪识别结果，对所述第一神经网络进行训练，获取第一情绪识别模型。
在一些实施例中，根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定的步骤包括：
根据所述语速特征，判断对应语速是否超出预设的语速阈值范围，获取第一判定结果；
将所述语调特征输入预设的语调特征库进行匹配，获取语调匹配结果；
根据所述音量特征，判断对应音量是否超出预设的音量阈值范围，获取第二判定结果；
根据所述身份信息、第一判定结果、语调匹配结果和第二判定结果，获取对应的情绪标签作为第一情绪识别结果，完成第一情绪判定。
在一些实施例中，所述第二情绪识别模型的获取步骤包括：
采集第二训练集；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络。
在一些实施例中，将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
根据所述第二语音特征，获取对应的识别文本；
对所述识别文本进行目标语句提取，获取一个或多个目标语句；
将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
根据所述语义识别结果，获取对应的情绪标签；
将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；
根据所述情绪标签和程度副词，获取第二情绪识别结果；
根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
在一些实施例中，根据所述情绪标签和程度副词，获取第二情绪识别结果的步骤包括：
将所述程度副词输出预设的程度副词库进行匹配，获取对应的程度权值；
根据所述程度权值，对所述情绪标签进行打分，获取打分结果；
当所述打分结果超出预设的分数阈值时，则确定对应的情绪标签为所述第二情绪识别结果。
在一些实施例中，所述生理数据包括：心电信号和血压信号；
根据所述语音数据，确定对应的时间区间；
根据所述心电信号和血压信号，获取所述时间区间内的心电波动频率和血压波动频率；
判断所述心电波动频率是否超出预设的心电波动阈值范围，获取第三判定结果；
判断所述血压波动频率是否超出预设的血压波动阈值范围，获取第四判定结果；
根据所述第三判定结果和所述第四判定结果，获取对应的情绪波动属性标签，所述情绪波动属性标签包括：平静、高兴、悲伤、愤怒、惊讶和恐惧；
根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪。
在一些实施例中，根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪的步骤包括：
将所述第一情绪识别结果和第二情绪识别结果分别与所述情绪波动属性标签进行相似度匹配，获取一个或多个目标情绪标签，所述目标情绪标签为相似度大于预设的相似度阈值的情绪标签；
获取多个所述目标情绪标签对应的置信度，将置信度较大的目标情绪标签作为最终情绪标签，完成情绪监测。
在一些实施例中，还包括：
对所述待监测人的最终情绪标签进行累计，当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示，所述负面情绪标签包括：悲伤、愤怒和恐惧；
将警示信号传输至目标终端，所述目标终端为与所述情绪监测装置进行关联通信的终端。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种情绪监测装置，其特征在于，包括：
关联信息采集模块，用于采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；
第一情绪识别模块，用于将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；
第二情绪识别模块，用于将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；
情绪监测模块，用于根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测；
所述第二情绪识别模型的获取步骤包括：
采集第二训练集；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
根据所述第二语音特征，获取对应的识别文本；
对所述识别文本进行目标语句提取，获取一个或多个目标语句；
将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
根据所述语义识别结果，获取对应的情绪标签；
将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；
根据所述情绪标签和程度副词，获取第二情绪识别结果；
根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
2.根据权利要求1所述的情绪监测装置，其特征在于，所述第一情绪识别模型的获取步骤包括：
采集第一训练集；
将所述第一训练集中的第一训练样本输入第一神经网络进行人声分离，获取人声语音；
对所述人声语音进行第一语音特征提取，获取声纹特征、语速特征、语调特征和音量特征；
将所述声纹特征输入预设的声纹特征库进行匹配，确定所述待监测人的身份信息；
根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定，获取待监测人的第一情绪识别结果；
根据预设的第一损失函数和所述第一情绪识别结果，对所述第一神经网络进行训练，获取第一情绪识别模型。
3.根据权利要求2所述的情绪监测装置，其特征在于，根据所述语速特征、语调特征、音量特征和身份信息，进行第一情绪判定的步骤包括：
根据所述语速特征，判断对应语速是否超出预设的语速阈值范围，获取第一判定结果；
将所述语调特征输入预设的语调特征库进行匹配，获取语调匹配结果；
根据所述音量特征，判断对应音量是否超出预设的音量阈值范围，获取第二判定结果；
根据所述身份信息、第一判定结果、语调匹配结果和第二判定结果，获取对应的情绪标签作为第一情绪识别结果，完成第一情绪判定。
4.根据权利要求1所述的情绪监测装置，其特征在于，根据所述情绪标签和程度副词，获取第二情绪识别结果的步骤包括：
将所述程度副词输出预设的程度副词库进行匹配，获取对应的程度权值；
根据所述程度权值，对所述情绪标签进行打分，获取打分结果；
当所述打分结果超出预设的分数阈值时，则确定对应的情绪标签为所述第二情绪识别结果。
5.根据权利要求1所述的情绪监测装置，其特征在于，所述生理数据包括：心电信号和血压信号；
根据所述语音数据，确定对应的时间区间；
根据所述心电信号和血压信号，获取所述时间区间内的心电波动频率和血压波动频率；
判断所述心电波动频率是否超出预设的心电波动阈值范围，获取第三判定结果；
判断所述血压波动频率是否超出预设的血压波动阈值范围，获取第四判定结果；
根据所述第三判定结果和所述第四判定结果，获取对应的情绪波动属性标签；
根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪。
6.根据权利要求5所述的情绪监测装置，其特征在于，根据所述第一情绪识别结果、第二情绪识别结果和情绪波动属性标签，确定待监测人的情绪的步骤包括：
将所述第一情绪识别结果和第二情绪识别结果分别与所述情绪波动属性标签进行相似度匹配，获取一个或多个目标情绪标签，所述目标情绪标签为相似度大于预设的相似度阈值的情绪标签；
获取多个所述目标情绪标签对应的置信度，将置信度较大的目标情绪标签作为最终情绪标签，完成情绪监测。
7.根据权利要求6所述的情绪监测装置，其特征在于，还包括：警示模块，用于对所述待监测人的最终情绪标签进行累计，当预设的时间段内，待监测人的负面情绪标签超出预设的标签数量阈值时，则发出警示；
将警示信号传输至目标终端，所述目标终端为与所述情绪监测装置进行关联通信的终端。
8.一种情绪监测方法，其特征在于，包括：
采集待监测人的关联信息，所述关联信息包括：语音数据和生理数据；
将所述语音数据输入第一情绪识别模型进行第一情绪识别，获取第一情绪识别结果，第一情绪识别包括：第一语音特征提取和第一情绪判定，所述第一语音特征包括：声纹特征、语速特征、语调特征和音量特征；
将所述语音数据输入第二情绪识别模型进行第二情绪识别，获取第二情绪识别结果，第二情绪识别包括：将语音数据转换为文本、情绪语句提取、程度副词提取和第二情绪判定；
根据所述生理数据、第一情绪识别结果和第二情绪识别结果，确定待监测人的情绪，完成情绪监测；
所述第二情绪识别模型的获取步骤包括：
采集第二训练集；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练，获取第二情绪识别模型；所述第二神经网络包括：用于获取目标语句的隐马尔科夫语音识别子网络、用于对所述目标语句进行语义识别的长短期记忆子网络和用于获取程度副词的卷积神经子网络；
将所述第二训练集中的第二训练样本输入第二神经网络进行训练的步骤包括：
将所述第二训练样本输入所述隐马尔科夫语音识别子网络进行第二语音特征提取，获取第二语音特征；
根据所述第二语音特征，获取对应的识别文本；
对所述识别文本进行目标语句提取，获取一个或多个目标语句；
将所述目标语句输入所述长短期记忆子网络进行语义识别，获取语义识别结果；
根据所述语义识别结果，获取对应的情绪标签；
将所述目标语句输入所述卷积神经子网络进行程度副词提取，获取程度副词；
根据所述情绪标签和程度副词，获取第二情绪识别结果；
根据所述第二情绪识别结果和预设的第二损失函数，对所述第二神经网络进行训练，获取第二情绪识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775210.8A CN113241096B (zh) | 2021-07-09 | 2021-07-09 | 一种情绪监测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775210.8A CN113241096B (zh) | 2021-07-09 | 2021-07-09 | 一种情绪监测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113241096A CN113241096A (zh) | 2021-08-10 |
| CN113241096B true CN113241096B (zh) | 2021-12-21 |
Family
ID=77141305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110775210.8A Active CN113241096B (zh) | 2021-07-09 | 2021-07-09 | 一种情绪监测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113241096B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113726942A (zh) * | 2021-08-31 | 2021-11-30 | 深圳壹账通智能科技有限公司 | 一种智能电话接听方法、系统、介质及电子终端 |
| CN114298019A (zh) * | 2021-12-29 | 2022-04-08 | 中国建设银行股份有限公司 | 情绪识别方法、装置、设备、存储介质、程序产品 |
| CN114357237B (zh) * | 2022-03-17 | 2022-05-20 | 合肥心之声健康科技有限公司 | 一种心电信号与音乐信号匹配方法、系统、装置和介质 |
| CN115839538A (zh) * | 2022-12-06 | 2023-03-24 | 珠海格力电器股份有限公司 | 基于情绪识别的空调控制方法、装置、设备及介质 |
| CN117122289B (zh) * | 2023-09-12 | 2024-03-19 | 中国人民解放军总医院第一医学中心 | 一种疼痛评定方法 |
| CN117316191A (zh) * | 2023-11-30 | 2023-12-29 | 天津科立尔科技有限公司 | 一种情绪监测分析方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5539860A (en) * | 1993-12-22 | 1996-07-23 | At&T Corp. | Speech recognition using bio-signals |
| CN106683688B (zh) * | 2015-11-05 | 2020-10-13 | 中国移动通信集团公司 | 一种情绪检测方法及装置 |
| CN107049338A (zh) * | 2017-04-12 | 2017-08-18 | 河南工业大学 | 一种基于计算机通信的医学用情绪检测装置 |
| CN111354377B (zh) * | 2019-06-27 | 2022-11-18 | 深圳市鸿合创新信息技术有限责任公司 | 通过声音识别情绪的方法及装置、电子设备 |
| CN110598607B (zh) * | 2019-09-02 | 2022-04-15 | 中国航天员科研训练中心 | 非接触式与接触式协同的实时情绪智能监测系统 |
| CN112617829A (zh) * | 2019-09-24 | 2021-04-09 | 宝马股份公司 | 用于识别驾驶员的安全相关的情绪状态的方法和设备 |
| CN112785837A (zh) * | 2019-11-11 | 2021-05-11 | 上海博泰悦臻电子设备制造有限公司 | 用户驾驶车辆时情绪识别方法及装置、存储介质和终端 |
| CN112735404A (zh) * | 2020-12-18 | 2021-04-30 | 平安科技（深圳）有限公司 | 一种语音反讽检测方法、系统、终端设备和存储介质 |
| CN112766173B (zh) * | 2021-01-21 | 2023-08-04 | 福建天泉教育科技有限公司 | 一种基于ai深度学习的多模态情感分析方法及其系统 |
-
2021
- 2021-07-09 CN CN202110775210.8A patent/CN113241096B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113241096A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113241096B (zh) | 一种情绪监测装置及方法 | |
| Gu et al. | Speech intention classification with multimodal deep learning | |
| CN109920415A (zh) | 基于语音识别的人机问答方法、装置、设备和存储介质 | |
| KR102216768B1 (ko) | 심리상담 데이터를 이용한 텍스트 내 감정분석을 위한 시스템 및 방법 | |
| CN109920414A (zh) | 人机问答方法、装置、设备和存储介质 | |
| CN108447471A (zh) | 语音识别方法及语音识别装置 | |
| KR101160193B1 (ko) | 감성적 음성합성 장치 및 그 방법 | |
| CN110019741B (zh) | 问答系统答案匹配方法、装置、设备及可读存储介质 | |
| KR20200119410A (ko) | 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법 | |
| CN110223134B (zh) | 基于语音识别的产品推荐方法及相关设备 | |
| CN113243918B (zh) | 基于多模态隐匿信息测试的风险检测方法及装置 | |
| CN113094478B (zh) | 表情回复方法、装置、设备及存储介质 | |
| CN109074809B (zh) | 信息处理设备、信息处理方法和计算机可读存储介质 | |
| CN113299277A (zh) | 一种语音语义识别方法及系统 | |
| CN114595692A (zh) | 一种情绪识别方法、系统及终端设备 | |
| CN112818096A (zh) | 对话生成方法及其装置 | |
| Hezarjaribi et al. | S2NI: A mobile platform for nutrition monitoring from spoken data | |
| CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 | |
| CN114974310A (zh) | 基于人工智能的情感识别方法、装置、计算机设备及介质 | |
| CN112002329B (zh) | 身心健康监测方法、设备及计算机可读存储介质 | |
| CN113887239A (zh) | 基于人工智能的语句分析方法、装置、终端设备及介质 | |
| CN112908296A (zh) | 一种方言识别方法 | |
| CN114420159A (zh) | 音频评测方法及装置、非瞬时性存储介质 | |
| CN111754979A (zh) | 智能语音识别方法及装置 | |
| CN114117034B (zh) | 一种基于智能模型推送不同风格文本的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220711 Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd. Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd. |