CN112687390B - 基于混合网络和lp范数池化的抑郁状态检测方法及装置 - Google Patents
基于混合网络和lp范数池化的抑郁状态检测方法及装置 Download PDFInfo
- Publication number
- CN112687390B CN112687390B CN202110270093.XA CN202110270093A CN112687390B CN 112687390 B CN112687390 B CN 112687390B CN 202110270093 A CN202110270093 A CN 202110270093A CN 112687390 B CN112687390 B CN 112687390B
- Authority
- CN
- China
- Prior art keywords
- short
- time
- spectrum
- module
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011176 pooling Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 221
- 230000007774 longterm Effects 0.000 claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 55
- 230000003595 spectral effect Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 23
- 230000006403 short-term memory Effects 0.000 claims description 20
- 208000020401 Depressive disease Diseases 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003001 depressive effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本申请涉及一种基于混合网络和lp范数池化的抑郁状态检测方法及装置，包括：对长时语音的对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；将短时谱段输入到卷积神经网络和长短期记忆网络中进行训练，得到空间特征和时序特征，并将空间特征和时序特征的拼接作为短时谱段的时空特征表示；得到所有短时谱段的时空特征表示，排列成矩阵的形式，计算其lp范数池化结果；将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；利用优化结果对所有短时谱段进行特征选择，生成长时谱表示；将混合网络预测结果的中值和长时谱表示经过支持向量回归得到的结果取平均值作为最终的预测结果。
Description
技术领域
本申请涉及情感计算领域，尤其涉及基于混合网络和lp范数池化的抑郁状态检测方法及装置。
背景技术
抑郁症是一种精神类疾病，它严重地困扰着人们的身心健康从而导致其无法正常地参与社会生活。根据世界卫生组织在2017年发布的公告称全球大约有3.5亿人受抑郁症的困扰并且到2030年可能成为第二大人类致死疾病。更为严重的是，当前治疗精神类疾病的医生极为匮乏，这导致很多病人无法得到及早的治疗从而贻误了病情。因此，自动抑郁检测的目的是探索健康个体和抑郁病人在语音方面的变化规律，并提出相应的模型和方法来建立起机器在捕获抑郁线索方面的能力，增强其诊断能力，提升诊断效率。自动抑郁检测是有现力的人机交互和人工智能领域重点关注的研究方向，涉及到智能科学、数学、心理学、生理科学等多个领域。
生理学和心理研究表明，语音中是一种能够反映个体抑郁水平的生理信号。换句话说，健康个体和抑郁个体在朗读相同的文字时，所产生的语音是有差异的，并且这种差异并非由个人的音色而带来的。这也就是说，个体的语音中是包含了反映个体的抑郁严重的某种线索和信息的。
自动抑郁检测主要包括特征提取和结果预测两个步骤。能够反映个体抑郁水平的特征目前尚未有统一的标准，通常是利用传统语音特征以及视频情感特征。通常来说，之前的方法长采用语谱或者MFCC等，但是他们很少考虑这些特征的时空属性。这也就是说，他们忽视了语音的空间属性和时序属性对于预测个体的抑郁水平是具有一定的互补作用的。另外，从语谱自身来说，它所固有的时空属性在语音识别以及语音合成中被经常使用所以有理由相信提取语谱的时空信息对于改善抑郁检测的精度是具有帮助的。
根据相关的生理学研究表明，正常个体和抑郁患者的语音确实也存在差异。进一步说，健康个体和抑郁症患者的语音之间存在的差异在语谱的空间属性和时序属性之间均有所体现。因此，考察语谱的时空属性对于抑郁检测任务来说是非常有必要的也是非常重要的。但是，探索一种有效的提取抑郁线索在语谱的空间和时序上的表示是具有挑战性的。另外，当前很多方法所采用的平均值池化或者最大值池化都是lp范数池化的一种特例。换句话说，找到一种适合于抑郁检测的范数池化类型对于改善抑郁检测的精度也是十分具有帮助的。因此，在自动抑郁检测领域，探索一种合理的方法来优化适合于目标任务的范数类型进行池化是很有必要的。
申请公布号CN 111192659 A公开用于抑郁检测的预训练方法和抑郁检测方法及装置，其中，方法包括：将从训练音频中提取的频谱图特征切分为N个子频谱图特征；在所述N个子频谱图特征的中心M0的前后分别选取k个子频谱图特征，其中，k<(N-1 )/2；将M0的前k个子频谱图特征和后k个子频谱图特征合记为Mi，将Mi输入编码器；以中心子频谱图特征M0作为目标标签，训练所述编码器和解码器以使得
所述编码器和所述解码器能够利用Mi预测M0。申请的方法和装置提供的方案通过对语音进行预训练之后能够提取出音频中关于人声的更加丰富的信息，从而使得检测精度相比不用预训练，有很大程度的提升。
申请公布号CN 112331337 A体涉及一种自动抑郁检测方法、装置、设备，旨在提高抑郁检测的准确率。所述方法包括：输入音视频文件，音视频文件中包含音频和视频这两种模态的原始数据，对音频文件和视频文件进行分段处理以及特征提取，得到多段音频段水平特征和视频段水平特征，利用特征进化池化目标函数将上述段水平特征分别聚合为音频水平特征和视频水平特征，对上述段水平特征进行注意力计算，得到视频注意力音频特征和音频注意力视频特征，将音频水平特征、视频水平特、征视频注意力音频特征和音频注意力视频特征进行拼接构成多模态时空表示，将多模态时空表示输入支持向量回归来预测输入音视频中个体的抑郁水平。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于混合网络和lp范数池化的抑郁状态检测方法包括：
S1：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；
S2：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练；
S3：与此同时，将S2步骤中的短时谱段集合中的同一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练；
S4：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示；
S5：应用步骤S2、S3和S4得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，计算所述时空特征矩阵的lp范数池化结果；
S6：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；
S7：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示；
S8：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
优选地，所述对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割的具体方法为：
S11：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件；
S12：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；
S13：通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；
S14：通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
S15：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
S16：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合。
优选地，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练的具体方法为：
S21：将所述短时谱段输入到一个卷积层并记该卷积层的输出为空间张量
，其中W, H和C分别是张量的宽、高和通道数；
S22：按照等式
来计算所述空间张量的二阶全局信息；
其中，G是得到的张量的二阶全局信息表示，
是对
进行重新排列后的结果，Softmax函数的计算方法为：
其中，
表示输入Softmax函数的是一个
维向量，“T”表示矩阵转置的意思；
S23：使用等式
将全局信息G嵌入到所述空间张量
中；
其中，y就是经过空间全局信息嵌入后的结果，
是G经过重排后的结果，
表示对应位置相乘。
优选地，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练的具体方法为：
S31：将所述短时谱段输入到一个长短期记忆网络中并记所述长短期记忆网络输出为时序序列
，其中T和D分别是时序序列的时间长度和数据维度；
S32：按照等式
计算
的时间全局信息；
其中，g是时间全局信息；
S33：使用等式
将时间全局信息g嵌入到原来的
中；
其中，t就是经过时间全局信息嵌入后的结果，
表示对应位置相乘。
优选地，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练使用均方误差作为目标函数；所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练使用均方误差作为目标函数。
优选地，所述将所有短时谱段的时空特征表示按照先后顺序排列成矩阵的形式中的先后顺序为长时语音的对数傅里叶幅值谱切分的顺序；
所述计算所述时空特征矩阵的lp范数池化结果的具体方法为：
按照等式
计算每一个列的lp范数；
其中，
是一个M维的列向量。
优选地，所述将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵的具体方法为：
S61：使用等式
所示的目标函数进行优化以优化范数类型p和线性变换矩阵w；
其中，
U是lp范数池化结果，为p的函数；
b是预设标签，为常数；
λ是变换矩阵w的优化权重，为常数；
S62：使用交叉梯度下降法来对等式
进行优化从而获得相应的优化范数类型p和线性变换矩阵w。
优选地，所述生成长时谱表示的具体方法为：
S71：应用所述优化范数类型p将短时谱段集合中所有短时谱段的时空特征表示池化为短时谱段集合中所有短时谱段的池化特征；
S72：应用所述线性变换矩阵w对所述短时谱段集合中所有短时谱段的池化特征进行特征选择，得到长时谱表示。
优选的，所述应用所述线性变换矩阵w对所述短时谱段集合中所有短时谱段的池化特征进行特征选择的具体方法为：
将变换矩阵w中权重最大的系数对应的池化特征选择出来。
本发明还提供了一种基于混合网络和lp范数池化的抑郁状态检测装置，包括，长时语音预处理模块、卷积神经网络模块、长短期记忆模块、时空特征表示抽取模块、lp范数池化模块、lp范数和套索回归优化模块、长时谱表示生成模块和个体抑郁水平预测模块；所述卷积神经网络模块和长短期记忆模块分别与所述长时语音预处理模块连接，所述卷积神经网络模块和长短期记忆模块分别与所述时空特征表示抽取模块连接，所述时空特征表示抽取模块与所述lp范数池化模块连接，所述lp范数池化模块与所述lp范数和套索回归优化模块连接，所述lp范数和套索回归优化模块与所述长时谱表示生成模块连接，所述长时谱表示生成模块与所述个体抑郁水平预测模块连接；
所述长时语音预处理模块：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；
所述卷积神经网络模块：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练；
所述长短期记忆模块：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练；
所述时空特征表示抽取模块：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示；
所述lp范数池化模块：得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，计算所述时空特征矩阵的lp范数池化结果；
所述lp范数和套索回归优化模块：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；
所述长时谱表示生成模块：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示；
所述个体抑郁水平预测模块：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果；
所述长时语音预处理模块包括：长时语音采集模块、傅里叶变换模块、归一化模块和滑动窗口模块；所述长时语音采集模块和所述傅里叶变换模块连接，所述傅里叶变换模块与所述归一化模块连接，所述归一化模块与所述滑动窗口模块连接；
所述长时语音采集模块：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件。
所述傅里叶变换模块：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
所述归一化模块：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
所述滑动窗口模块：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合；
所述个体抑郁水平预测模块包括：取中值模块、支持向量回归模块和取平均值模块；所述取中值模块和支持向量回归模块分别于所述取平均值模块连接；
所述取中值模块：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；
支持向量回归模块：将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；
平均值模块：计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，
（1）提出一种用于自动抑郁检测的混合神经网络和lp范数池化方法框架被设计；
（2）通过利用带有全局信息嵌入的卷积网络来提取语谱中与抑郁有关的空间信息；
（3）通过利用带有全局信息嵌入的长短期记忆网络来提取语谱中与抑郁有关的时序信息；
（4）通过利用lp范数池化方法来将找到适合于抑郁检测任务的范数类型；
（5）应用AVEC2013和AVEC2014测试集对本方法进行测试，与现有方法比较得到了很好的结果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的全基于混合网络和lp范数池化的抑郁状态检测方法流程图；
图2为本申请实施例提供的基于混合网络和lp范数池化的抑郁状态检测装置结构框图；
图3是根据一示例性实施例示出的长时语音预处理模块结构框图；
图4是根据一示例性实施例示出的个体抑郁水平预测模块结构框图；
图5是根据一示例性实施例示出的卷积神经网络模块的结构图；
图6是根据一示例性实施例示出的通道注意力模块的结构图；
图7是根据一示例性实施例示出的长短期记忆模块的结构图；
图8是根据一示例性实施例示出的全局信息嵌入模块的结构图。
图中，1—长时语音预处理模块，11—长时语音采集模块，12—傅里叶变换模块，13—归一化模块，14—滑动窗口模块，2—卷积神经网络模块，3—长短期记忆模块，4—时空特征表示抽取模块，5—lp范数池化模块，6—lp范数和套索回归优化模块，7—长时谱表示生成模块，8—个体抑郁水平预测模块，81—取中值模块，82—支持向量回归模块，83—取平均值模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
如图1所示，本申请实施例提供的基于混合网络和lp范数池化的抑郁状态检测方法，包括：
S1：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合。
具体方法为：
S11：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件；
S12：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；
S13：通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；
S14：通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
S15：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
S16：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合。
S2：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练。
具体方法为：
S21：将所述短时谱段输入到一个卷积层并记该卷积层的输出为空间张量
，其中W, H和C分别是张量的宽、高和通道数；
S22：按照等式
来计算所述空间张量的二阶全局信息；
其中，G是得到的张量的二阶全局信息表示，
是对
进行重新排列后的结果，Softmax函数的计算方法为：
其中，
表示输入Softmax函数的是一个
维向量，“T”表示矩阵转置的意思；
S23：使用等式
将全局信息G嵌入到所述空间张量
中；
其中，y就是经过空间全局信息嵌入后的结果，
是G经过重排后的结果，
表示对应位置相乘。
所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练使用均方误差作为目标函数。
S3：与此同时，将S2步骤中的短时谱段集合中的同一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练。
具体方法为：
S31：将所述短时谱段输入到一个长短期记忆网络中并记所述长短期记忆网络输出为时序序列
，其中T和D分别是时序序列的时间长度和数据维度；
S32：按照等式
计算
的时间全局信息；
其中，g是时间全局信息；
S33：使用等式
将时间全局信息g嵌入到原来的
中；
其中，t就是经过时间全局信息嵌入后的结果，
表示对应位置相乘。
所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练使用均方误差作为目标函数。
S4：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示。
S5：应用步骤S2、S3和S4得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，所述先后顺序为长时语音的对数傅里叶幅值谱切分的顺序；计算所述时空特征矩阵的lp范数池化结果。
具体方法为：
按照等式
计算每一个列的lp范数；
其中，
是一个M维的列向量。
S6：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵。
具体方法为：
S61：使用等式
所示的目标函数进行优化以优化范数类型p和线性变换矩阵w；
其中，
U是lp范数池化结果，为p的函数；
b是预设标签，为常数；
λ是变换矩阵w的优化权重，为常数；
S62：使用交叉梯度下降法来对等式
进行优化从而获得相应的优化范数类型p和线性变换矩阵w。
S7：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示。
具体方法为：
S71：应用所述优化范数类型p将短时谱段集合中所有短时谱段的时空特征表示池化为短时谱段集合中所有短时谱段的池化特征；
S72：应用所述线性变换矩阵w对w中权重最大的系数对应的池化特征选择出来，得到长时谱表示。
S8：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
实施例2：
如图2所示，基于混合网络和lp范数池化的抑郁状态检测装置，包括，长时语音预处理模块1、卷积神经网络模块2、长短期记忆模块3、时空特征表示抽取模块4、lp范数池化模块5、lp范数和套索回归优化模块6、长时谱表示生成模块7和个体抑郁水平预测模块8；所述卷积神经网络模块2和长短期记忆模块3分别与所述长时语音预处理模块1连接，所述卷积神经网络模块2和长短期记忆模块3分别与所述时空特征表示抽取模块4连接，所述时空特征表示抽取模块4与所述lp范数池化模块5连接，所述lp范数池化模块5与所述lp范数和套索回归优化模块6连接，所述lp范数和套索回归优化模块6与所述长时谱表示生成模块7连接，所述长时谱表示生成模块7与所述个体抑郁水平预测模块8连接；
所述长时语音预处理模块1：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；
所述卷积神经网络模块2：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练；
所述长短期记忆模块3：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练；
所述时空特征表示抽取模块4：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示；
所述lp范数池化模块5：得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，计算所述时空特征矩阵的lp范数池化结果；
所述lp范数和套索回归优化模块6：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；
所述长时谱表示生成模块7：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示；
所述个体抑郁水平预测模块8：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果；
如图3所示，上述长时语音预处理模块1包括：长时语音采集模块11、傅里叶变换模块12、归一化模块13和滑动窗口模块14；所述长时语音采集模块11和所述傅里叶变换模块12连接，所述傅里叶变换模块12与所述归一化模块13连接，所述归一化模块13与所述滑动窗口模块14连接；
所述长时语音采集模块11：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件。
所述傅里叶变换模块12：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
所述归一化模块13：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
所述滑动窗口模块14：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合；
如图4所示，上述个体抑郁水平预测模块8包括：取中值模块81、支持向量回归模块82和取平均值模块83；所述取中值模块81和支持向量回归模块82分别于所述取平均值模块83连接；
所述取中值模块81：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；
支持向量回归模块82：将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；
平均值模块83：计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
实施例3：
在获得短时谱段的过程中：将帧长和帧移分别设置为10毫秒和5毫秒来提取长时语音的具有39维的MFCC特征。接着，将窗口长度设置为249(约为2.5秒)并将相邻两个短时MFCC段之间的重复率设置为 50%来切分长时的MFCC。需要说明的是，本文将这些短时谱段的标签记为与其相应的长时MFCC所对应的BDI-II分数。
对于图5所示的卷积神经网络模块来说，黑色虚线框中的“Conv2D”层具有64个3×3的卷积核，另一个“Conv2D”层具有1个 1×1 的卷积核。图5中一维卷积(即，“Conv1D”)是一个大小为1的卷积核的网络层并且后续的全连接层的神经元个数设置为64。在这些网络层中，如果没有特征说明，则激活函数均为“ReLU”。N 设置为2，也就是说，黑色虚线框中的部分被堆叠两次。另外，在训练图5所示的网络模型时所使用的目标函数为均方误差。对于图6所示的通道注意力模块来说，三个一维卷积层“Conv1D”具有同样的设置，即1个大小为3的卷积核。
对于图7所示的长短期记忆模块来说，黑色方框圈住的部分被执行两次，即“XN”被设置为“2”，“Conv1D”是一个大小为1的卷积核的网络层并且后续的全连接层的神经元个数设置为64。在这些网络层中，如果没有特征说明，则激活函数均为“ReLU”。另外，在训练图7所示的神经网络模型时所使用的目标函数为均方误差。对于图8所示的全局信息嵌入模块来说，“LSTM”长短记忆层的输出维度设置为128，在该图中，被执行的两次“Conv1D”具有相同的设置，即1个大小为3的卷积核。
在结合lp-范数池化和套索回归LASSO的方法来获得长时MFCC语音特征的过程中。p_0的初值设置为1 ，梯度下降法中的系数参数设置为0.01，最大迭代次数设置为1000，算法精度要求设置为6.0。
应用AVEC2013和AVEC2014测试集对本方法进行测试，与现有方法比较得到了很好的结果，如下表。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，包括：
S1：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；
S2：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练；
S3：与此同时，将S2步骤中的短时谱段集合中的同一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练；
S4：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示；
S5：应用步骤S2、S3和S4得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，计算所述时空特征矩阵的lp范数池化结果；
S6：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；
S7：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示；
S8：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
2.根据权利要求1所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割的具体方法为：
S11：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件；
S12：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；
S13：通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；
S14：通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
S15：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
S16：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合。
3.根据权利要求1所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练的具体方法为：
S21：将所述短时谱段输入到一个卷积层并记该卷积层的输出为空间张量
，其中W, H和C分别是张量的宽、高和通道数；
S22：按照等式
来计算所述空间张量的二阶全局信息；
其中，G是得到的张量的二阶全局信息表示，
是对
进行重新排列后的结果，Softmax函数的计算方法为：
其中，
表示输入Softmax函数的是一个
维向量，“T”表示矩阵转置的意思；
S23：使用等式
将全局信息G嵌入到所述空间张量
中；
其中，y就是经过空间全局信息嵌入后的结果，
是G经过重排后的结果，
表示对应位置相乘。
4.根据权利要求3所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练的具体方法为：
S31：将所述短时谱段输入到一个长短期记忆网络中并记所述长短期记忆网络输出为时序序列
，其中T和D分别是时序序列的时间长度和数据维度；
S32：按照等式
计算
的时间全局信息；
其中，g是时间全局信息；
S33：使用等式
将时间全局信息g嵌入到原来的
中；
其中，t就是经过时间全局信息嵌入后的结果，
表示对应位置相乘。
5.根据权利要求4所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练使用均方误差作为目标函数；所述将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练使用均方误差作为目标函数。
6.根据权利要求1所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述将所有短时谱段的时空特征表示按照先后顺序排列成矩阵的形式中的先后顺序为长时语音的对数傅里叶幅值谱切分的顺序；
所述计算所述时空特征矩阵的lp范数池化结果的具体方法为：
按照等式
计算每一个列的lp范数；
其中，
是一个M维的列向量，p为范数类型。
7.根据权利要求1所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵的具体方法为：
S61：使用等式
所示的目标函数进行优化以优化范数类型p和线性变换矩阵w；
其中，
U是lp范数池化结果，为p的函数；
b是预设标签，为常数；
λ是变换矩阵w的优化权重，为常数；
S62：使用交叉梯度下降法来对等式
进行优化从而获得相应的优化范数类型p和线性变换矩阵w。
8.根据权利要求7所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述生成长时谱表示的具体方法为：
S71：应用所述优化范数类型p将短时谱段集合中所有短时谱段的时空特征表示池化为短时谱段集合中所有短时谱段的池化特征；
S72：应用所述线性变换矩阵w对所述短时谱段集合中所有短时谱段的池化特征进行特征选择，得到长时谱表示。
9.根据权利要求8所述的基于混合网络和lp范数池化的抑郁状态检测方法，其特征在于，所述应用所述线性变换矩阵w对所述短时谱段集合中所有短时谱段的池化特征进行特征选择的具体方法为：
将变换矩阵w中权重最大的系数对应的池化特征选择出来。
10.基于混合网络和lp范数池化的抑郁状态检测装置，其特征在于，包括，长时语音预处理模块、卷积神经网络模块、长短期记忆模块、时空特征表示抽取模块、lp范数池化模块、lp范数和套索回归优化模块、长时谱表示生成模块和个体抑郁水平预测模块；所述卷积神经网络模块和长短期记忆模块分别与所述长时语音预处理模块连接，所述卷积神经网络模块和长短期记忆模块分别与所述时空特征表示抽取模块连接，所述时空特征表示抽取模块与所述lp范数池化模块连接，所述lp范数池化模块与所述lp范数和套索回归优化模块连接，所述lp范数和套索回归优化模块与所述长时谱表示生成模块连接，所述长时谱表示生成模块与所述个体抑郁水平预测模块连接；
所述长时语音预处理模块：采集长时语音，并对长时语音进行快速傅里叶变换，得到对数傅里叶幅值谱，对对数傅里叶幅值谱进行切割，得到由短时谱段构成的短时谱段集合；
所述卷积神经网络模块：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的卷积神经网络中进行训练；
所述长短期记忆模块：将短时谱段集合中的一个短时谱段输入到带有全局信息嵌入的长短期记忆网络中进行训练；
所述时空特征表示抽取模块：抽取所述卷积神经网络和所述长短期记忆网络的最后一个全连接层的输出作为相应的空间特征和时序特征，并将所述空间特征和所述时序特征的拼接作为短时谱段的时空特征表示；
所述lp范数池化模块：得到短时谱段集合中所有短时谱段的时空特征表示，将所有短时谱段的时空特征表示按照切割的先后顺序排列成矩阵的形式，得到时空特征矩阵，计算所述时空特征矩阵的lp范数池化结果；
所述lp范数和套索回归优化模块：将lp范数池化结果放入到套索回归框架下进行优化以找到适合于抑郁检测任务的范数池化类型和线性变换矩阵；
所述长时谱表示生成模块：利用所述范数池化类型和线性变换矩阵对短时谱段集合中所有短时谱段进行特征选择，生成长时谱表示；
所述个体抑郁水平预测模块：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果；
所述长时语音预处理模块包括：长时语音采集模块、傅里叶变换模块、归一化模块和滑动窗口模块；所述长时语音采集模块和所述傅里叶变换模块连接，所述傅里叶变换模块与所述归一化模块连接，所述归一化模块与所述滑动窗口模块连接；
所述长时语音采集模块：将原始长时语音的wav文件的采样率转换成8K并保存成wav格式的文件；
所述傅里叶变换模块：利用快速傅里叶变换对所述wav格式的文件进行处理，得到傅里叶谱；通过对所述傅里叶谱取幅值操作，获得傅里叶幅值谱；通过对所述傅里叶幅值谱取对数操作，获得对数傅里叶幅值谱；
所述归一化模块：将所述对数傅里叶幅值谱按照频率维度进行最大值-最小值进行归一化；
所述滑动窗口模块：设置窗口长度为3秒，窗口覆盖率为50%来滑动窗口从而将长时语音的对数傅里叶幅值谱切分成长度为3秒的短时谱段构成的短时谱段集合；
所述个体抑郁水平预测模块包括：取中值模块、支持向量回归模块和取平均值模块；所述取中值模块和支持向量回归模块分别于所述取平均值模块连接；
所述取中值模块：将短时谱段集合中的所有短时谱段输入到所述带有全局信息嵌入的卷积神经网络和所述带有全局信息嵌入的长短期记忆网络中得到空间分数和时间分数，计算空间分数和时间分数的中值；
支持向量回归模块：将所述长时谱表示输入到支持向量回归，得到支持向量回归预测分数；
平均值模块：计算所述支持向量回归预测分数和所述空间分数和时间分数的中值的平均值作为抑郁状态最终的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110270093.XA CN112687390B (zh) | 2021-03-12 | 2021-03-12 | 基于混合网络和lp范数池化的抑郁状态检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110270093.XA CN112687390B (zh) | 2021-03-12 | 2021-03-12 | 基于混合网络和lp范数池化的抑郁状态检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112687390A CN112687390A (zh) | 2021-04-20 |
| CN112687390B true CN112687390B (zh) | 2021-06-18 |
Family
ID=75455454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110270093.XA Active CN112687390B (zh) | 2021-03-12 | 2021-03-12 | 基于混合网络和lp范数池化的抑郁状态检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112687390B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657964A (zh) * | 2017-08-15 | 2018-02-02 | 西北大学 | 基于声学特征和稀疏数学的抑郁症辅助检测方法及分类器 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN109431521A (zh) * | 2018-10-12 | 2019-03-08 | 西北工业大学 | 一种基于音视频信息的多模态双相抑郁障碍自动检测方法 |
| CN109599129A (zh) * | 2018-11-13 | 2019-04-09 | 杭州电子科技大学 | 基于注意力机制和卷积神经网络的语音抑郁症识别方法 |
| CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
| CN111192659A (zh) * | 2019-12-31 | 2020-05-22 | 苏州思必驰信息科技有限公司 | 用于抑郁检测的预训练方法和抑郁检测方法及装置 |
| CN111967354A (zh) * | 2020-07-31 | 2020-11-20 | 华南理工大学 | 基于肢体和微表情的多模态特征的抑郁倾向识别方法 |
| CN112331337A (zh) * | 2021-01-04 | 2021-02-05 | 中国科学院自动化研究所 | 自动抑郁检测方法、装置、设备 |
| CN112349297A (zh) * | 2020-11-10 | 2021-02-09 | 西安工程大学 | 一种基于麦克风阵列的抑郁症检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968986B (zh) * | 2012-11-07 | 2015-01-28 | 华南理工大学 | 基于长时特征和短时特征的重叠语音与单人语音区分方法 |
| KR102183280B1 (ko) * | 2019-03-22 | 2020-11-26 | 한국과학기술원 | 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법 |
-
2021
- 2021-03-12 CN CN202110270093.XA patent/CN112687390B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657964A (zh) * | 2017-08-15 | 2018-02-02 | 西北大学 | 基于声学特征和稀疏数学的抑郁症辅助检测方法及分类器 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN109431521A (zh) * | 2018-10-12 | 2019-03-08 | 西北工业大学 | 一种基于音视频信息的多模态双相抑郁障碍自动检测方法 |
| CN109599129A (zh) * | 2018-11-13 | 2019-04-09 | 杭州电子科技大学 | 基于注意力机制和卷积神经网络的语音抑郁症识别方法 |
| CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
| CN111192659A (zh) * | 2019-12-31 | 2020-05-22 | 苏州思必驰信息科技有限公司 | 用于抑郁检测的预训练方法和抑郁检测方法及装置 |
| CN111967354A (zh) * | 2020-07-31 | 2020-11-20 | 华南理工大学 | 基于肢体和微表情的多模态特征的抑郁倾向识别方法 |
| CN112349297A (zh) * | 2020-11-10 | 2021-02-09 | 西安工程大学 | 一种基于麦克风阵列的抑郁症检测方法 |
| CN112331337A (zh) * | 2021-01-04 | 2021-02-05 | 中国科学院自动化研究所 | 自动抑郁检测方法、装置、设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112687390A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pawar et al. | Convolution neural network based automatic speech emotion recognition using Mel-frequency Cepstrum coefficients | |
| Cheng et al. | A call-independent and automatic acoustic system for the individual recognition of animals: A novel model using four passerines | |
| Senthilkumar et al. | Speech emotion recognition based on Bi-directional LSTM architecture and deep belief networks | |
| Fujimura et al. | Classification of voice disorders using a one-dimensional convolutional neural network | |
| Sáenz-Lechón et al. | Automatic assessment of voice quality according to the GRBAS scale | |
| CN115862684A (zh) | 一种基于音频的双模式融合型神经网络的抑郁状态辅助检测的方法 | |
| Szep et al. | Paralinguistic Classification of Mask Wearing by Image Classifiers and Fusion. | |
| CN112331337B (zh) | 自动抑郁检测方法、装置、设备 | |
| CN112183107A (zh) | 音频的处理方法和装置 | |
| CN112581980B (zh) | 时频通道注意力权重计算和向量化的方法和网络 | |
| Joshy et al. | Dysarthria severity classification using multi-head attention and multi-task learning | |
| Kashyap et al. | Quantitative assessment of speech in cerebellar ataxia using magnitude and phase based cepstrum | |
| Lu et al. | Speech depression recognition based on attentional residual network | |
| CN113111151A (zh) | 一种基于智能语音问答的跨模态抑郁症检测方法 | |
| Arya et al. | Speech based emotion recognition using machine learning | |
| Bhattacharjee et al. | VoiceLens: A multi-view multi-class disease classification model through daily-life speech data | |
| Alashban et al. | Speaker gender classification in mono-language and cross-language using BLSTM network | |
| Flower et al. | A novel concatenated 1D-CNN model for speech emotion recognition | |
| Morrison et al. | Voting ensembles for spoken affect classification | |
| CN112687390B (zh) | 基于混合网络和lp范数池化的抑郁状态检测方法及装置 | |
| Forczmański | Evaluation of singer's voice quality by means of visual pattern recognition | |
| Abderrazek et al. | Interpretable Assessment of Speech Intelligibility Using Deep Learning: A Case Study on Speech Disorders Due to Head and Neck Cancers | |
| US20220180129A1 (en) | Fcn-based multivariate time series data classification method and device | |
| CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
| Ramalingam et al. | IEEE FEMH voice data challenge 2018 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |