CN110136743A - 基于声音采集的健康状态监控方法、装置及存储介质 - Google Patents
基于声音采集的健康状态监控方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110136743A CN110136743A CN201910269275.8A CN201910269275A CN110136743A CN 110136743 A CN110136743 A CN 110136743A CN 201910269275 A CN201910269275 A CN 201910269275A CN 110136743 A CN110136743 A CN 110136743A
- Authority
- CN
- China
- Prior art keywords
- user
- analysis model
- sentiment analysis
- voice data
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 230000036541 health Effects 0.000 title claims abstract description 18
- 230000003862 health status Effects 0.000 claims abstract description 67
- 230000008451 emotion Effects 0.000 claims abstract description 45
- 230000003542 behavioural effect Effects 0.000 claims abstract description 33
- 238000012806 monitoring device Methods 0.000 claims abstract description 22
- 230000002996 emotional effect Effects 0.000 claims description 34
- 230000006399 behavior Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 206010048232 Yawning Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013019 agitation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及人工智能技术领域，公开了一种基于声音采集的健康状态监控方法，该方法包括：采集用户及周围环境的声音数据，并获取用户的行为数据；从上述采集的声音数据以及行为数据中提取特征数据；构建情感分析模型，采用已知情感库和上述提取到的特征数据对所述情感分析模型进行训练；基于采集的被监测用户的声音数据，利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。本发明还提出一种基于声音采集的健康状态监控装置以及一种计算机可读存储介质。本发明通过对用户和外界的沟通表达出来的状态信息进行利用和分析，能够主动、自动的评估用户的健康状态。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于声音采集的健康状态监控方法、装置及计算机可读存储介质。
背景技术
随着社会的飞速发展，人们的生活水平迅速提高，伴随而来的工作生活压力也越来越大，焦虑情绪普遍蔓延，影响着很多人的身心健康，一部分人已经意识到心理健康的重要性，但是心理健康状态在常规体检中很少有涉及，针对焦虑、烦躁、压力大等心理的亚健康状态任其自由发展，轻则不良情绪影响人际交往，重则影响工作状态，甚至形成抑郁症、自闭症等难以处理的心理疾病。如今的健康状态管理，都是采用评估问卷等方式进行分析从而得出用户的状态，对用户和外界的沟通表达出来的状态信息并没有进行有效的利用和分析。
发明内容
本发明提供一种基于声音采集的健康状态监控方法、装置及计算机可读存储介质，其主要目的在于提供一种主动、自动的评估用户的健康状态的方案。
为实现上述目的，本发明提供的一种基于声音采集的健康状态监控方法，包括：
采集用户及周围环境的声音数据，并获取用户的行为数据；
从上述采集的声音数据以及行为数据中提取特征数据；
构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型；
基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
可选地，所述用户及周围环境的声音数据包括用户的声音数据、用户周围人的声音数据以及用户周围的环境声音数据。
可选地，所述从上述采集的声音数据以及行为数据中提取特征数据，包括：
提取所述声音数据的线性预测倒谱系数及梅尔频率倒谱系数，并根据用户周围的环境声音数据设置环境标签及根据用户的行为数据设置行为标签。
可选地，所述采用已知情感库和所述特征数据对情感分析模型进行训练，得到训练后的情感分析模型，包括：
将所述已知情感库中语音的线性预测倒谱系数和梅尔频率倒谱系数特征作为输入，及情感库中语音情感分类作为输出，初次训练所述情感分析模型；
初次训练完成后，将上述提取到的特征数据输入到所述情感分析模型中，输出对应的情感分类；
将上述提取到的特征数据作为输入，将所述特征数据对应的情感分类、行为标签和环境标签作为输出，再次训练所述情感分析模型，获取最终的神经网络参数，得到训练完成的所述情感分析模型。
可选地，所述基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，包括：
每隔预设时间段自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内一直属于预设的负面的情感分类、预设的环境标签或者行为标签，则判断所述被监测用户处于非健康状态。
此外，为实现上述目的，本发明还提供一种基于声音采集的健康状态监控装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的基于声音采集的健康状态监控程序，所述基于声音采集的健康状态监控程序被所述处理器执行时实现如下步骤：
采集用户及周围环境的声音数据，并获取用户的行为数据；
从上述采集的声音数据以及行为数据中提取特征数据；
构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型；
基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
可选地，所述从上述采集的声音数据以及行为数据中提取特征数据，包括：
提取所述声音数据的线性预测倒谱系数及梅尔频率倒谱系数，并根据用户周围的环境声音数据设置环境标签及根据用户的行为数据设置行为标签。
可选地，所述采用已知情感库和所述特征数据对情感分析模型进行训练，得到训练后的情感分析模型，包括：
将所述已知情感库中语音的线性预测倒谱系数和梅尔频率倒谱系数特征作为输入，及情感库中语音情感分类作为输出，初次训练所述情感分析模型；
初次训练完成后，将上述提取到的特征数据输入到所述情感分析模型中，输出对应的情感分类；
将上述提取到的特征数据作为输入，将所述特征数据对应的情感分类、行为标签和环境标签作为输出，再次训练所述情感分析模型，获取最终的神经网络参数，得到训练完成的所述情感分析模型。
可选地，所述基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，包括：
每隔预设时间段自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内一直属于预设的负面的情感分类、预设的环境标签或者行为标签，则判断所述被监测用户处于非健康状态。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于声音采集的健康状态监控程序，所述基于声音采集的健康状态监控程序可被一个或者多个处理器执行，以实现如上所述的基于声音采集的健康状态监控方法的步骤。
本发明提出的基于声音采集的健康状态监控方法、装置及计算机可读存储介质采集用户及周围环境的声音数据，并获取用户的行为数据，从上述采集的声音数据以及行为数据中提取特征数据，构建情感分析模型，采用已知情感库和上述提取到的特征数据对所述情感分析模型进行训练，基于采集的被监测用户的声音数据，利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。因此，本发明通过对用户和外界的沟通表达出来的状态信息进行利用和分析，能够主动、自动的评估用户的健康状态。
附图说明
图1为本发明一实施例提供的基于声音采集的健康状态监控方法的流程示意图；
图2为本发明一实施例提供的基于声音采集的健康状态监控装置的内部结构示意图；
图3为本发明一实施例提供的基于声音采集的健康状态监控装置中基于声音采集的健康状态监控程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种基于声音采集的健康状态监控方法。参照图1所示，为本发明一实施例提供的基于声音采集的健康状态监控方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，基于声音采集的健康状态监控方法包括：
S1、采集用户及周围环境的声音数据，并获取用户的行为数据。
每个人每天都生活在大量的声音信息中，每天也通过声音向外界表达着自己的想法与情感，本发明较佳实施例通过手机、电脑等装置的麦克风采集用户及周围环境的声音数据，并基于这些声音数据分析监测用户的情感变化，给出用户的健康状态分析结果和可能的改善办法。
本发明较佳实施例中，所述用户及周围环境的声音数据包括，但不限制于：
(1)用户的声音数据。
用户每天说的话包含了用户大量的情感反应，主要的沟通对话内容反映了用户的工作内容、作息时间等生活状态信息，沟通对话的语气直接反映用户的情感信息，不自觉的叹息、哈欠、喷嚏等反映用户自身都意识不到的身心状态变化。
(2)用户周围人的声音数据。
与用户直接沟通的周围人的声音结合用户的自身声音，可挖掘出更多用户工作内容、生活内容、作息时间等信息，针对不同的对答逻辑也会反映重要的情感信息。不与用户直接沟通的周围人声音，可作为用户生活的环境状态，分为清晰与模糊两类。
(3)用户周围的环境声音数据。
环境声音过高会强烈影响用户的情绪变化，反映用户工作生活的环境，根据不同环境声音切换时用户的其他反映，还能挖掘出用户的偏好。
本发明较佳实施例中，所述用户的行为数据可以通过所述手机、电脑等装置的摄像设备捕获得到。
S2、从上述采集的声音数据以及行为数据中提取特征数据，并将提取出来的特征，写入存储文件中。
1)用户和周围人声音的语音特征提取：语音特征提取的实质就是对语音信号进行数字化，用反映语音信号特点的若干特征参数来代表说话人声音，将模拟信号转化为数字信号，以便用计算机进行处理。
语音信号的特征有多种度量标准，反映短时谱包络的参数是语音识别中采用的主要特征参数。常用的短时谱包络的参数包括线性预测倒谱系数(Linear PredictionCepstrum Coefficient,LPCC)和梅尔频率倒谱系数(Mel Frequency CepstrumCoefficientMFCC)，本发明较佳实施例采取这两类特征参数进行语音特征的提取。
①所述线性预测倒谱系数LPCC是线性预测系数(Linear PredictionCoefficient，LPC)在倒谱域中的表示。该特征是基于语音信号为自回归信号的假设，利用线性预测分析获得倒谱系数的一种倒谱特征。所述线性预测倒谱系数LPCC的提取流程包括：将声音的语音信号经过预加重、分帧、加窗处理后，取其自相关系数，通过Levinson-Durbin递推算法求得线性预测系数LPC，最后将LPC转换成线性预测倒谱系数LPCC。
经过以上流程计算，可以得到语音的10阶LPCC特征参数Ln，即10组LPCC特征。
②所述梅尔频率倒谱系数MFCC是基于人耳听觉特性的特征，其值大体上对应于实际频率的对数分布关系，更符合人耳的听觉特性。所述梅尔频率倒谱系数MFCC的提取流程包括：将声音的语音信号经过预处理、快速傅里叶变换(Fast Fourier Transformation，FFT)、通过梅尔滤波器组得到梅尔频率刻度M(k)，再对M(k)进行对数变换和离散余弦变换得到，其运算公式为：
其中，M为梅尔滤波器的个数，L为MFCC特征的数量，本发明较佳实施例中，取s＝12，根据上式便可得到12阶的MFCC特征集合Ms，即12组MFCC特征值。
2)根据用户周围的环境声音数据设置环境标签，如将用户周围环境嘈杂程度分为1～10十个级别，并根据用户的行为数据设置行为标签，如叹息、哈欠、喷嚏、笑、无行为等。
所述提取出来的特征可以写入到一个存储文件中。
S3、构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型。
本发明较佳实施例采用BP神经网络构建所述情感分析模型，并采用已知情感库和上述提取到的特征数据进行模型训练。
本发明所述BP神经网络构建情感分析模型的拓扑结构由输入层、中间层和输出层组成。其中中间层也叫隐含层,它可以是一层或多层，其中：
所述输入层是整个神经网络唯一数据输入入口，主要用于定义不同类型的数据输入，方便其他部分进行量化处理；
所述隐藏层是对主要用来对输入层输入的数据进行非线性化处理，以激励函数为基础对输入的数据进行非线性拟合可以有效保证模型的预测能力；
所述输出层在隐藏层之后，是整个模型的唯一输出。用来对隐藏层处理的结果进行输出表示。
本发明所述BP神经网络构建情感分析模型包含输入层神经单元个数为28，即用户的MFCC和LPCC的22维特征，输出层神经元节点数为3，即用户情感类别、行为标签和环境标签，隐含网络层为1，隐含层节点数为7。
本发明所述已知情感库采用的是中国科学院自动化所提供的汉语情感语料语音库，由四个专业发音人录制，其中的语音情感分为七个种类(嘲讽、高兴、害怕、难过、生气、厌恶、中性声音)；上述提取到的特征数据是从对四个志愿者分别录制24小时的生活声音中提取得到。
本发明较佳实施例中，所述采用已知情感库和上述提取到的特征数据对情感分析模型进行训练，包括：
第一步：对提取到的特征数据进行情感分类。
提取所述已知情感库中语音的LPCC和MFCC特征作为输入，语音情感的七个分类(即嘲讽、高兴、害怕、难过、生气、厌恶、中性声音)作为输出(这时行为和环境标签设置为0)，初次训练上述的BP神经网络模型，初次训练完成后，将所述提取到的特征数据输入到所述BP神经网络模型，获取对应的情感分类。
第二步，训练情感分析模型。
将上述提取到的特征数据作为输入，所述情感分类、行为标签和环境标签作为输出，再次训练所述BP神经网络模型，获取最终的神经网络参数。
训练结束得到的BP神经网络模型即为情感分析模型。
S4、基于采集的被监测用户的声音数据，利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
本发明较佳实施例可以每隔预设时间段，如15分钟，自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内，如2个小时，一直属于预设的负面的情感分类(如害怕、难过、生气、厌恶等)、预设的环境标签(如噪音程度较高的环境下)或者行为标签(如出现叹息哈欠的频率较高)，则判断所述被监测用户处于非健康状态，并对用户发出提醒。
本发明还提供一种基于声音采集的健康状态监控装置。参照图2所示，为本发明一实施例提供的基于声音采集的健康状态监控装置的内部结构示意图。
在本实施例中，基于声音采集的健康状态监控装置1可以是PC(PersonalComputer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该基于声音采集的健康状态监控装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于声音采集的健康状态监控装置1的内部存储单元，例如该基于声音采集的健康状态监控装置1的硬盘。存储器11在另一些实施例中也可以是基于声音采集的健康状态监控装置1的外部存储设备，例如基于声音采集的健康状态监控装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括基于声音采集的健康状态监控装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于声音采集的健康状态监控装置1的应用软件及各类数据，例如基于声音采集的健康状态监控程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于声音采集的健康状态监控程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于声音采集的健康状态监控装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及基于声音采集的健康状态监控程序01的基于声音采集的健康状态监控装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于声音采集的健康状态监控装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有基于声音采集的健康状态监控程序01；处理器12执行存储器11中存储的基于声音采集的健康状态监控程序01时实现如下步骤：
步骤一、采集用户及周围环境的声音数据，并获取用户的行为数据。
每个人每天都生活在大量的声音信息中，每天也通过声音向外界表达着自己的想法与情感，本发明较佳实施例通过手机、电脑等装置的麦克风采集用户及周围环境的声音数据，并基于这些声音数据分析监测用户的情感变化，给出用户的健康状态分析结果和可能的改善办法。
本发明较佳实施例中，所述用户及周围环境的声音数据包括，但不限制于：
(1)用户的声音数据。
用户每天说的话包含了用户大量的情感反应，主要的沟通对话内容反映了用户的工作内容、作息时间等生活状态信息，沟通对话的语气直接反映用户的情感信息，不自觉的叹息、哈欠、喷嚏等反映用户自身都意识不到的身心状态变化。
(2)用户周围人的声音数据。
与用户直接沟通的周围人的声音结合用户的自身声音，可挖掘出更多用户工作内容、生活内容、作息时间等信息，针对不同的对答逻辑也会反映重要的情感信息。不与用户直接沟通的周围人声音，可作为用户生活的环境状态，分为清晰与模糊两类。
(3)用户周围的环境声音数据。
环境声音过高会强烈影响用户的情绪变化，反映用户工作生活的环境，根据不同环境声音切换时用户的其他反映，还能挖掘出用户的偏好。
本发明较佳实施例中，所述用户的行为数据可以通过所述手机、电脑等装置的摄像设备捕获得到。
步骤二、对上述采集的声音数据以及行为数据提取特征数据，并将提取出来的特征，写入存储文件中。
1)用户和周围人声音的语音特征提取：语音特征提取的实质就是对语音信号进行数字化，用反映语音信号特点的若干特征参数来代表说话人声音，将模拟信号转化为数字信号，以便用计算机进行处理。
语音信号的特征有多种度量标准，反映短时谱包络的参数是语音识别中采用的主要特征参数。常用的短时谱包络的参数包括线性预测倒谱系数(Linear PredictionCepstrum Coefficient,LPCC)和梅尔频率倒谱系数(Mel Frequency CepstrumCoefficient MFCC)，本发明较佳实施例采取这两类特征参数进行语音特征的提取。
①所述线性预测倒谱系数LPCC是线性预测系数(Linear PredictionCoefficient，LPC)在倒谱域中的表示。该特征是基于语音信号为自回归信号的假设，利用线性预测分析获得倒谱系数的一种倒谱特征。所述线性预测倒谱系数LPCC的提取流程包括：将声音的语音信号经过预加重、分帧、加窗处理后，取其自相关系数，通过Levinson-Durbin递推算法求得线性预测系数LPC，最后将LPC转换成线性预测倒谱系数LPCC。
经过以上流程计算，可以得到语音的10阶LPCC特征参数Ln，即10组LPCC特征。
②所述梅尔频率倒谱系数MFCC是基于人耳听觉特性的特征，其值大体上对应于实际频率的对数分布关系，更符合人耳的听觉特性。所述梅尔频率倒谱系数MFCC的提取流程包括：将声音的语音信号经过预处理、快速傅里叶变换(Fast Fourier Transformation，FFT)、通过梅尔滤波器组得到梅尔频率刻度M(k)，再对M(k)进行对数变换和离散余弦变换得到，其运算公式为：
其中，M为梅尔滤波器的个数，L为MFCC特征的数量，本发明较佳实施例中，取s＝12，根据上式便可得到12阶的MFCC特征集合Ms，即12组MFCC特征值。
2)根据用户周围的环境声音数据设置环境标签，如将用户周围环境嘈杂程度分为1～10十个级别，并根据用户的行为数据设置行为标签，如叹息、哈欠、喷嚏、笑、无行为等。
步骤三、构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型。
本发明较佳实施例采用BP神经网络构建所述情感分析模型，并采用已知情感库和上述提取到的特征数据进行模型训练。
本发明所述BP神经网络构建情感分析模型的拓扑结构由输入层、中间层和输出层组成。其中中间层也叫隐含层,它可以是一层或多层，其中：
所述输入层是整个神经网络唯一数据输入入口，主要用于定义不同类型的数据输入，方便其他部分进行量化处理；
所述隐藏层是对主要用来对输入层输入的数据进行非线性化处理，以激励函数为基础对输入的数据进行非线性拟合可以有效保证模型的预测能力；
所述输出层在隐藏层之后，是整个模型的唯一输出。用来对隐藏层处理的结果进行输出表示。
本发明所述BP神经网络构建情感分析模型包含输入层神经单元个数为28，即用户的MFCC和LPCC的22维特征，输出层神经元节点数为3，即用户情感类别、行为标签和环境标签，隐含网络层为1，隐含层节点数为7。
本发明所述情感库采用的是中国科学院自动化所提供的汉语情感语料语音库，由四个专业发音人录制，其中的语音情感分为七个种类(嘲讽、高兴、害怕、难过、生气、厌恶、中性声音)；上述提取到的特征数据是从对四个志愿者分别录制24小时的生活声音中提取得到。
本发明较佳实施例中，所述采用已知情感库和上述提取到的特征数据对情感分析模型进行训练，包括：
第一步：对提取到的特征数据进行情感分类。
提取所述已知情感库中语音的LPCC和MFCC特征作为输入，语音情感的七个分类(即嘲讽、高兴、害怕、难过、生气、厌恶、中性声音)作为输出(这时行为和环境标签设置为0)，初次训练上述的BP神经网络模型，初次训练完成后，将所述提取到的特征数据输入到所述BP神经网络模型，获取对应的情感分类。
第二步，训练情感分析模型。
将上述提取到的特征数据作为输入，所述情感分类、行为标签和环境标签作为输出，再次训练所述BP神经网络模型，获取最终的神经网络参数。
训练结束得到的BP神经网络模型即为情感分析模型。
步骤四、基于采集的被监测用户的声音数据，利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
本发明较佳实施例可以每隔预设时间段，如15分钟，自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内，如2个小时，一直属于预设的负面的情感分类(如害怕、难过、生气、厌恶等)、预设的环境标签(如噪音程度较高的环境下)或者行为标签(如出现叹息哈欠的频率较高)，则判断所述被监测用户处于非健康状态，并对用户发出提醒。
可选地，在其他实施例中，基于声音采集的健康状态监控程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述基于声音采集的健康状态监控程序在基于声音采集的健康状态监控装置中的执行过程。
例如，参照图3所示，为本发明基于声音采集的健康状态监控装置一实施例中的基于声音采集的健康状态监控程序的程序模块示意图，该实施例中，基于声音采集的健康状态监控程序可以被分割为数据采集模型10、特征提取模型20、模型训练模型30、健康状态监控模块40，示例性地：
数据采集模型10用于：采集用户及周围环境的声音数据，并获取用户的行为数据。
可选地，所述用户及周围环境的声音数据包括用户的声音数据、用户周围人的声音数据以及用户周围的环境声音数据。
特征提取模型20用于：从上述采集的声音数据以及行为数据中提取特征数据。
可选地，所述对上述采集的声音数据以及行为数据进行特征提取，包括：提取所述声音数据的线性预测倒谱系数LPCC及梅尔频率倒谱系数MFCC，并根据用户周围的环境声音数据设置环境标签及根据用户的行为数据设置行为标签。
模型训练模型30用于：构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型。
可选地，所述情感分析模型为BP神经网络模型，该BP神经网络模型包含输入层神经单元为用户的MFCC和LPCC的22维特征，输出层神经元节点数为用户情感类别、行为标签和环境标签，隐含网络层为1，隐含层节点数为7。
可选地，根据所述已知情感库和上述提取到的特征数据对情感分析模型进行训练，包括：
提取所述情感库中语音的LPCC和MFCC特征作为输入，及情感库中语音情感分类作为输出训练所述的BP神经网络模型，训练完成后，将上述提取到的特征数据输入到所述BP神经网络模型，获取对应的情感分类；
将上述提取到的特征数据作为输入，所述特征数据对应的情感分类、行为标签和环境标签作为输出，进一步训练所述BP神经网络模型，获取最终的神经网络参数，得到所述情感分析模型。
健康状态监控模块40用于：基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
可选地，所述基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，包括：
每隔预设时间段自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户长时间属于预设的负面的情感分类、预设的环境标签或者行为标签，则判断所述被监测用户处于非健康状态，并对用户发出提醒。
上述数据采集模型10、特征提取模型20、模型训练模型30、健康状态监控模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于声音采集的健康状态监控程序，所述基于声音采集的健康状态监控程序可被一个或多个处理器执行，以实现如下操作：
采集用户及周围环境的声音数据，并获取用户的行为数据；
对上述采集的声音数据以及行为数据进行特征提取；
构建情感分析模型，采用已知情感库和上述提取到的特征数据对所述情感分析模型进行训练；
基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
本发明计算机可读存储介质具体实施方式与上述基于声音采集的健康状态监控装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于声音采集的健康状态监控方法，其特征在于，所述方法包括：
采集用户及周围环境的声音数据，并获取用户的行为数据；
从上述采集的声音数据以及行为数据中提取特征数据；
构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型；
基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
2.如权利要求1所述的基于声音采集的健康状态监控方法，其特征在于，所述用户及周围环境的声音数据包括用户的声音数据、用户周围人的声音数据以及用户周围的环境声音数据。
3.如权利要求2所述的基于声音采集的健康状态监控方法，其特征在于，所述从上述采集的声音数据以及行为数据中提取特征数据，包括：
提取所述声音数据的线性预测倒谱系数及梅尔频率倒谱系数，并根据用户周围的环境声音数据设置环境标签及根据用户的行为数据设置行为标签。
4.如权利要求3所述的基于声音采集的健康状态监控方法，其特征在于，所述采用已知情感库和所述特征数据对情感分析模型进行训练，得到训练后的情感分析模型，包括：
将所述已知情感库中语音的线性预测倒谱系数和梅尔频率倒谱系数特征作为输入，及情感库中语音情感分类作为输出，初次训练所述情感分析模型；
初次训练完成后，将上述提取到的特征数据输入到所述情感分析模型中，输出对应的情感分类；
将上述提取到的特征数据作为输入，将所述特征数据对应的情感分类、行为标签和环境标签作为输出，再次训练所述情感分析模型，获取最终的神经网络参数，得到训练完成的所述情感分析模型。
5.如权利要求1至4中任意一项所述的基于声音采集的健康状态监控方法，其特征在于，所述基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，包括：
每隔预设时间段自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内一直属于预设的负面的情感分类、预设的环境标签或者行为标签，则判断所述被监测用户处于非健康状态。
6.一种基于声音采集的健康状态监控装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于声音采集的健康状态监控程序，所述基于声音采集的健康状态监控程序被所述处理器执行时实现如下步骤：
采集用户及周围环境的声音数据，并获取用户的行为数据；
从上述采集的声音数据以及行为数据中提取特征数据；
构建情感分析模型，采用已知情感库和所述特征数据对所述情感分析模型进行训练，得到训练后的情感分析模型；
基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，在所述被监测用户处于非健康状态下，对所述被监测用户进行提醒。
7.如权利要求6所述的基于声音采集的健康状态监控装置，其特征在于，所述从上述采集的声音数据以及行为数据中提取特征数据，包括：
提取所述声音数据的线性预测倒谱系数及梅尔频率倒谱系数，并根据用户周围的环境声音数据设置环境标签及根据用户的行为数据设置行为标签。
8.如权利要求7所述的基于声音采集的健康状态监控装置，其特征在于，所述采用已知情感库和所述特征数据对情感分析模型进行训练，得到训练后的情感分析模型，包括：
将所述已知情感库中语音的线性预测倒谱系数和梅尔频率倒谱系数特征作为输入，及情感库中语音情感分类作为输出，初次训练所述情感分析模型；
初次训练完成后，将上述提取到的特征数据输入到所述情感分析模型中，输出对应的情感分类；
将上述提取到的特征数据作为输入，将所述特征数据对应的情感分类、行为标签和环境标签作为输出，再次训练所述情感分析模型，获取最终的神经网络参数，得到训练完成的所述情感分析模型。
9.如权利要求6至8中任意一项所述的基于声音采集的健康状态监控装置，其特征在于，所述基于采集的被监测用户的声音数据并利用所述情感分析模型，判断所述被监测用户的健康状态，包括：
每隔预设时间段自动从采集的被监测用户的声音数据中提取特征，并将提取的特征输入到所述情感分析模型中；
如果被监测用户在预设时间段内一直属于预设的负面的情感分类、预设的环境标签或者行为标签，则判断所述被监测用户处于非健康状态。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于声音采集的健康状态监控程序，所述基于声音采集的健康状态监控程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于声音采集的健康状态监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269275.8A CN110136743A (zh) | 2019-04-04 | 2019-04-04 | 基于声音采集的健康状态监控方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269275.8A CN110136743A (zh) | 2019-04-04 | 2019-04-04 | 基于声音采集的健康状态监控方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110136743A true CN110136743A (zh) | 2019-08-16 |
Family
ID=67569309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910269275.8A Pending CN110136743A (zh) | 2019-04-04 | 2019-04-04 | 基于声音采集的健康状态监控方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136743A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243609A (zh) * | 2020-01-10 | 2020-06-05 | 平安科技（深圳）有限公司 | 有效语音智能检测方法、装置及计算机可读存储介质 |
| CN111312282A (zh) * | 2020-02-18 | 2020-06-19 | 北京声智科技有限公司 | 基于语音信息的健康状态确定方法及装置 |
| CN117577137A (zh) * | 2024-01-15 | 2024-02-20 | 宁德时代新能源科技股份有限公司 | 切刀健康评估方法、装置、设备及存储介质 |
| CN117577137B (zh) * | 2024-01-15 | 2024-05-28 | 宁德时代新能源科技股份有限公司 | 切刀健康评估方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005137A1 (en) * | 2016-06-30 | 2018-01-04 | Cal-Comp Electronics & Communications Company Limited | Emotion analysis method and electronic apparatus thereof |
| CN107635147A (zh) * | 2017-09-30 | 2018-01-26 | 上海交通大学 | 基于多模态人机交互的健康信息管理电视 |
| CN109171644A (zh) * | 2018-06-22 | 2019-01-11 | 平安科技（深圳）有限公司 | 基于声音识别的健康管理方法、装置、计算机设备和存储介质 |
| CN109550133A (zh) * | 2018-11-26 | 2019-04-02 | 赵司源 | 一种情绪安抚方法及系统 |
-
2019
- 2019-04-04 CN CN201910269275.8A patent/CN110136743A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005137A1 (en) * | 2016-06-30 | 2018-01-04 | Cal-Comp Electronics & Communications Company Limited | Emotion analysis method and electronic apparatus thereof |
| CN107635147A (zh) * | 2017-09-30 | 2018-01-26 | 上海交通大学 | 基于多模态人机交互的健康信息管理电视 |
| CN109171644A (zh) * | 2018-06-22 | 2019-01-11 | 平安科技（深圳）有限公司 | 基于声音识别的健康管理方法、装置、计算机设备和存储介质 |
| CN109550133A (zh) * | 2018-11-26 | 2019-04-02 | 赵司源 | 一种情绪安抚方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243609A (zh) * | 2020-01-10 | 2020-06-05 | 平安科技（深圳）有限公司 | 有效语音智能检测方法、装置及计算机可读存储介质 |
| CN111312282A (zh) * | 2020-02-18 | 2020-06-19 | 北京声智科技有限公司 | 基于语音信息的健康状态确定方法及装置 |
| CN117577137A (zh) * | 2024-01-15 | 2024-02-20 | 宁德时代新能源科技股份有限公司 | 切刀健康评估方法、装置、设备及存储介质 |
| CN117577137B (zh) * | 2024-01-15 | 2024-05-28 | 宁德时代新能源科技股份有限公司 | 切刀健康评估方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Intelligent facial emotion recognition and semantic-based topic detection for a humanoid robot | |
| US20200118458A1 (en) | Systems and methods for mental health assessment | |
| CN108197115A (zh) | 智能交互方法、装置、计算机设备和计算机可读存储介质 | |
| CN112259106A (zh) | 声纹识别方法、装置、存储介质及计算机设备 | |
| KR102276415B1 (ko) | 개인 관심상황 발생 예측/인지 장치 및 방법 | |
| CN108109331A (zh) | 监控方法及监控系统 | |
| CN109272994A (zh) | 话音数据处理方法以及支持该话音数据处理方法的电子装置 | |
| CN113488024B (zh) | 一种基于语义识别的电话打断识别方法和系统 | |
| CN106683688A (zh) | 一种情绪检测方法及装置 | |
| Hema et al. | Emotional speech recognition using cnn and deep learning techniques | |
| CN112967725A (zh) | 语音对话数据处理方法、装置、计算机设备及存储介质 | |
| CN110717410A (zh) | 语音情感和面部表情双模态识别系统 | |
| CN110136726A (zh) | 一种语音性别的估计方法、装置、系统及存储介质 | |
| CN110473571A (zh) | 基于短视频语音的情感识别方法和装置 | |
| CN113314150A (zh) | 基于语音数据的情绪识别方法、装置及存储介质 | |
| CN109602421A (zh) | 健康监测方法、装置及计算机可读存储介质 | |
| CN110136743A (zh) | 基于声音采集的健康状态监控方法、装置及存储介质 | |
| Chen et al. | Construction of affective education in mobile learning: The study based on learner’s interest and emotion recognition | |
| CN113255323B (zh) | 一种描述数据处理方法、系统、电子设备及介质 | |
| Boateng | Towards real-time multimodal emotion recognition among couples | |
| Fallgren et al. | Bringing order to chaos: a non-sequential approach for browsing large sets of found audio data | |
| CN115271002B (zh) | 识别方法、急救决策方法、介质及生命健康智能监护系统 | |
| Gupta et al. | REDE-Detecting human emotions using CNN and RASA | |
| CN114141271A (zh) | 心理状态检测方法及系统 | |
| CN113808577A (zh) | 语音摘要的智能提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |