CN113012719A - 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 - Google Patents
睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113012719A CN113012719A CN202110154782.4A CN202110154782A CN113012719A CN 113012719 A CN113012719 A CN 113012719A CN 202110154782 A CN202110154782 A CN 202110154782A CN 113012719 A CN113012719 A CN 113012719A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- fatigue
- snore
- sound
- mel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 69
- 238000011156 evaluation Methods 0.000 title abstract description 29
- 206010041235 Snoring Diseases 0.000 claims abstract description 40
- 238000001228 spectrum Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 21
- 239000000203 mixture Substances 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000036578 sleeping time Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000013210 evaluation model Methods 0.000 abstract description 5
- 230000004622 sleep time Effects 0.000 abstract 2
- 206010016256 fatigue Diseases 0.000 description 63
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000028327 extreme fatigue Diseases 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 208000000112 Myalgia Diseases 0.000 description 1
- 208000007443 Neurasthenia Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 231100000861 limb weakness Toxicity 0.000 description 1
- 208000027905 limb weakness Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 208000015001 muscle soreness Diseases 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004617 sleep duration Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Abstract
本申请提出一种基于睡眠声音信号的疲劳评估方法、系统、电子设备及存储介质，通过获取睡眠时的音频信号，计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比，将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量，获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高。
Description
技术领域
本申请属于疲劳评估检测技术领域，具体涉及一种基于睡眠声音信号的疲劳评估方法、系统、电子设备及存储介质。
背景技术
疲劳是指机体在一定环境条件下，由于长时间过渡紧张的体力或脑力劳动引起的劳动效率趋向下降的状态。在医学上，按疲劳性质划分，疲劳可分为生理疲劳和心理疲劳。生理疲劳主要表现为肌肉酸痛、四肢乏力等；心理疲劳主要表现为注意力下降。相对于生理疲劳来说，心理疲劳更容易被忽视，但是长期心理疲劳的危害反而更大，会使人心境压抑，百无聊赖，心烦意乱，精疲力竭，甚至出现神经衰弱症状，如头痛头昏、记忆力减退、失眠、怕光等，还可能发生其他心理疾病。
对疲劳状态的评价有主观评测和客观评测。主观评测的方法主要通过填写自我记录表、睡眠习惯调查表和斯坦福睡眠尺度表等表格进行评估。客观评测的方法主要通过医用仪器、设备等辅助工具测试人体生理方面的指标变化情况进行评估。主观评价方法操作简单、直接、费用低廉，但是每个人的理解有明显的差异，其结果的准确度往往不够；客观的评级方法需要借助各种医用仪器和设备，通过脑电图、心电图、眼电图等进行评估，虽然准确度很高，但是不适用于个人日常疲劳状态的评估与监测，可行度不高。
发明内容
本申请提供了一种基于睡眠声音信号的疲劳评估方法及系统，此方法能够客观准确的给出身体日常疲劳状态的评估，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高。
具体的，根据本发明的第一个方面，提供了一种基于睡眠声音信号的疲劳评估方法，包括：
获取睡眠时的音频信号；
计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；
将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；
获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。
进一步地，所述计算音频信号的梅尔频谱特征，包括：
去除所述音频信号的环境噪声，保留呼吸声和打鼾声；
对音频信号依次进行预加重、加汉宁窗、快速傅里叶变换、取功率谱、加梅尔滤波器组和均值归一化处理，得到梅尔频谱特征。
进一步地，所述预加重的计算公式为：
y(n)＝x(n)-αx(n-1)
其中，0≤n≤N-1是采样点序号，N为样本点个数，x(n)是原始音频序列，y(n)是预加重后的音频序列，滤波器系数α的取值为0.95或0.97。
进一步地，所述加汉宁窗的计算公式为：
其中，0≤n≤N-1是采样点序号，N是窗口的长度，w[n]是汉宁窗函数。
进一步地，所述快速傅里叶变换的计算公式为：
其中，0≤n≤N-1是采样点序号，N为样本点个数，1≤k≤K是频率索引，j是虚数单位,K表示FFT的频率点个数，w[n]是汉宁窗函数，x[n]是原始音频序列，X[k]是经过快速傅里叶变换之后的序列。
进一步地，所述取功率谱的计算公式为：
其中，xi是第i帧，N为样本点个数，P是对应的功率，FFT(xi)是对第i帧序列进行快速傅里叶变换后的序列。
进一步地，所述加梅尔滤波器组的计算公式为：
其中，f(·)是梅尔滤波函数，1≤k≤N-1是音频序列索引，1≤m≤M是梅尔滤波器个数索引，M是梅尔滤波器个数，N是样本点个数。
进一步地，所述高斯混合模型为：
其中，D为数据维度，μ为数据均值，Σ为协方差矩阵，θ是高斯混合模型的参数，x是样本，p(x|θ)是在给定参数θ的条件下的样本x的分布函数，|Σ|是协方差矩阵Σ的行列式，Σ-1是协方差矩阵Σ的逆，(x-μ)T是矩阵(x-μ)的转置。
进一步地，所述人工智能语音模型为训练好的深度网络或卷积神经网络。
根据本发明的第二个方面，还提供了一种基于睡眠声音信号的疲劳评估系统，包括：
采集模块，用于获取睡眠时的音频信号；
分离模块，用于计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；
特征向量计算模块，用于将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；
疲劳等级计算模块，用于获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请通过获取睡眠时的音频信号，计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比，将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量，获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，仅仅通过睡觉时音频的采集就可以实时监控身体疲劳状态，以便于用户及时的调整生活作息，保持身体健康，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高，且有很强的泛化性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例所提供的睡眠声音信号疲劳评估系统示意图；
图2示出了本申请实施例所提供的睡眠声音信号疲劳评估方法示意图；
图3示出了本申请实施例所提供的判断疲劳等级的工作原理示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图；
图5示出了本申请实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种基于睡眠声音信号的疲劳评估方法及系统。
本申请实施例提供了一种基于睡眠声音信号的疲劳评估方法及系统，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高。
参见图1，该方法具体包括以下模块；
采集模块101、分离模块102、特征向量计算模块103和疲劳等级计算模块104；
采集模块101，用于获取睡眠时的音频信号；
分离模块102，用于计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比；
特征向量计算模块103，用于将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量；
疲劳等级计算模块104，用于获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。
参见图2和图3，该方法具体包括以下步骤；
步骤201：获取睡眠时的音频信号；
步骤202：计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比F1；
步骤203：将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量F2；
步骤204：获取睡眠总时长F3，将打鼾时长占比F1、声音特征向量F2和睡眠总时长F3输入到机器学习分类器中，输出疲劳等级。
其中，人工智能(AI)语音模型为训练好的深度网络或卷积神经网络，将音频信号的梅尔频谱特征输入到人工智能(AI)语音模型中，人工智能(AI)语音模型涉及到人工智能(AI)算法预学习/训练、深度网络、卷积神经网络等，通过该模型，经过至少三次卷积层和池化激活处理，变为全连接层，获取用于判断疲劳程度的声音特征向量F2。
计算音频信号的梅尔频谱特征，具体包括以下步骤；
①去除音频信号的环境噪声，保留呼吸声和打鼾声；
②对音频信号依次进行预加重、加汉宁窗、快速傅里叶变换、取功率谱、加梅尔滤波器组和均值归一化处理，得到梅尔频谱特征。
计算音频信号的梅尔频谱特征，具体包括以下公式；
①预加重的计算公式为：
y(n)＝x(n)-αx(n-1)
其中，0≤n≤N-1是采样点序号，N为样本点个数，x(n)是原始音频序列，y(n)是预加重后的音频序列，滤波器系数α的取值为0.95或0.97。
②加汉宁窗的计算公式为：
其中，0≤n≤N-1是采样点序号，N是窗口的长度，w[n]是汉宁窗函数。
③快速傅里叶变换的计算公式为：
其中，0≤n≤N-1是采样点序号，N为样本点个数，1≤k≤K是频率索引，j是虚数单位,K表示FFT的频率点个数，w[n]是汉宁窗函数，x[n]是原始音频序列，X[k]是经过快速傅里叶变换之后的序列。
④取功率谱的计算公式为：
其中，xi是第i帧，N为样本点个数，P是对应的功率，FFT(xi)是对第i帧序列进行快速傅里叶变换后的序列。
⑤加梅尔滤波器组的计算公式为：
其中，f(·)是梅尔滤波函数，1≤k≤N-1是音频序列索引，1≤m≤M是梅尔滤波器个数索引，M是梅尔滤波器个数，N是样本点个数。
计算打鼾时长占比F1，具体包括以下公式；
①高斯混合模型为：
其中，D为数据维度，μ为数据均值，Σ为协方差矩阵，θ是高斯混合模型的参数，x是样本，p(x|θ)是在给定参数θ的条件下的样本x的分布函数，|Σ|是协方差矩阵Σ的行列式，Σ-1是协方差矩阵Σ的逆，(x-μ)T是矩阵(x-μ)的转置。
结合高斯混合模型，对每个样本点返回一个0或1的标签，标签1为鼾声段，标签0为非鼾声段；
②打鼾时长占比F1公式：
tsnore为打鼾时长，F3为睡眠总时长。
本申请实施例的疲劳程度分为不疲劳、轻度疲劳、中度疲劳、重度疲劳和极度疲劳；疲劳等级分为1、2、3、4和5；其中：
不疲劳对应的疲劳等级为1；
轻度疲劳对应的疲劳等级为2；
中度疲劳对应的疲劳等级为3；
重度疲劳对应的疲劳等级为4；
极度疲劳对应的疲劳等级为5。
本申请实施例还提供一种与前述实施方式所提供的基于睡眠声音信号的疲劳评估方法对应的电子设备，以执行基于睡眠声音信号的疲劳评估方法。本申请实施例不做限定。
参见图4，其示出了本申请实施例所提供的电子设备的示意图。电子设备包括：处理器301，存储器302，总线303和通信接口304，处理器301、通信接口304和存储器302通过总线303连接；存储器302中存储可在处理器301上运行的计算机程序，处理器301运行计算机程序时执行本申请前述实施例所提供的基于睡眠声音信号的疲劳评估方法。
其中，存储器302可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口304(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线303可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器302用于存储程序，处理器301在接收到执行指令后，执行程序，前述本申请实施例揭示的基于睡眠声音信号的疲劳评估方法可以应用于处理器301中，或者由处理器301实现。
处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于睡眠声音信号的疲劳评估方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
参见图5，本申请实施例还提供一种与前述实施例所提供的基于睡眠声音信号的疲劳评估方法对应的计算机可读存储介质，其示出的计算机可读存储介质为光盘，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述实施例所提供的基于睡眠声音信号的疲劳评估方法。
需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于睡眠声音信号的疲劳评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施例通过获取睡眠时的音频信号，计算音频信号的梅尔频谱特征，结合高斯混合模型，分离音频信号为鼾声段和非鼾声段，计算打鼾时长占比，将音频信号的梅尔频谱特征输入人工智能语音模型中，人工智能语音模型计算并输出声音特征向量，获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级，这种方法突破了传统疲劳评估方法的局限性，在不借助于多种医疗器械的基础上，能够客观准确的给出身体日常疲劳状态的评估，仅仅通过睡觉时音频的采集就可以实时监控身体疲劳状态，以便于用户及时的调整生活作息，保持身体健康，机器学习算法充分提取睡眠声音信号中的特征，构建的评估模型准确性较高，且有很强的泛化性。
需要说明的是：
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如上面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在上面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于睡眠声音信号的疲劳评估方法，其特征在于，所述方法包括：
获取睡眠时的音频信号；
计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；
将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；
获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。
2.根据权利要求1所述的方法，其特征在于，所述计算音频信号的梅尔频谱特征，包括：
去除所述音频信号的环境噪声，保留呼吸声和打鼾声；
对音频信号依次进行预加重、加汉宁窗、快速傅里叶变换、取功率谱、加梅尔滤波器组和均值归一化处理，得到梅尔频谱特征。
3.根据权利要求2所述的方法，其特征在于，所述预加重的计算公式为：
y(n)＝x(n)-αx(n-1)
其中，0≤n≤N-1是采样点序号，N为样本点个数，x(n)是原始音频序列，y(n)是预加重后的音频序列，滤波器系数α的取值为0.95或0.97。
4.根据权利要求2或3所述的方法，其特征在于，所述加汉宁窗的计算公式为：
其中，0≤n≤N-1是采样点序号，N是窗口的长度，w[n]是汉宁窗函数。
5.根据权利要求4所述的方法，其特征在于，所述快速傅里叶变换的计算公式为：
其中，0≤n≤N-1是采样点序号，N为样本点个数，1≤k≤K是频率索引，j是虚数单位，K表示FFT的频率点个数，w[n]是汉宁窗函数，x[n]是原始音频序列，X[k]是经过快速傅里叶变换之后的序列。
6.根据权利要求4所述的方法，其特征在于，所述取功率谱的计算公式为：
其中，xi是第i帧，N为样本点个数，P是对应的功率，FFT(xi)是对第i帧序列进行快速傅里叶变换后的序列。
7.根据权利要求4所述的方法，其特征在于，所述加梅尔滤波器组的计算公式为：
其中，f(·)是梅尔滤波函数，1≤k≤N-1是音频序列索引，1≤m≤M是梅尔滤波器个数索引，M是梅尔滤波器个数，N是样本点个数。
8.根据权利要求1或7所述的方法，其特征在于，所述高斯混合模型为：
其中，D为数据维度，μ为数据均值，∑为协方差矩阵，θ是高斯混合模型的参数，x是样本，p(x|θ)是在给定参数θ的条件下的样本x的分布函数，|∑|是协方差矩阵∑的行列式，∑-1是协方差矩阵∑的逆，(x-μ)T是矩阵(x-μ)的转置。
9.根据权利要求l或2所述的方法，其特征在于，
所述人工智能语音模型为训练好的深度网络或卷积神经网络。
10.一种基于睡眠声音信号的疲劳评估系统，其特征在于，所述系统包括：
采集模块，用于获取睡眠时的音频信号；
分离模块，用于计算所述音频信号的梅尔频谱特征，结合高斯混合模型，分离所述音频信号为鼾声段和非鼾声段，计算打鼾时长占比；
特征向量计算模块，用于将所述音频信号的梅尔频谱特征输入人工智能语音模型中，所述人工智能语音模型计算并输出声音特征向量；
疲劳等级计算模块，用于获取睡眠总时长，将打鼾时长占比、声音特征向量和睡眠总时长输入到机器学习分类器中，输出疲劳等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154782.4A CN113012719B (zh) | 2021-02-04 | 2021-02-04 | 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154782.4A CN113012719B (zh) | 2021-02-04 | 2021-02-04 | 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012719A true CN113012719A (zh) | 2021-06-22 |
| CN113012719B CN113012719B (zh) | 2023-11-17 |
Family
ID=76385086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110154782.4A Active CN113012719B (zh) | 2021-02-04 | 2021-02-04 | 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012719B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724737A (zh) * | 2021-08-30 | 2021-11-30 | 康键信息技术（深圳）有限公司 | 监测睡眠状态的方法、装置、电子设备和存储介质 |
| CN114176525A (zh) * | 2021-12-28 | 2022-03-15 | 深圳市伟晴大健康科技有限公司 | 睡眠质量分析方法、装置、计算机设备和存储介质 |
| CN114183195A (zh) * | 2022-02-15 | 2022-03-15 | 山东山矿机械有限公司 | 一种基于离层分布规律的地表沉陷控制注浆填充系统 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
| CN116746887A (zh) * | 2023-08-18 | 2023-09-15 | 智慧眼科技股份有限公司 | 一种基于音频的睡眠分期的方法、系统、终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120004749A1 (en) * | 2008-12-10 | 2012-01-05 | The University Of Queensland | Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-gaussianity index |
| CN105899129A (zh) * | 2013-10-09 | 2016-08-24 | 瑞思迈传感器技术有限公司 | 疲劳监测和管理系统 |
| CN109599126A (zh) * | 2018-12-29 | 2019-04-09 | 广州丰石科技有限公司 | 一种基于mel能量谱和卷积神经网络的声音故障识别方法 |
| CN110570880A (zh) * | 2019-09-04 | 2019-12-13 | 杭州深蓝睡眠科技有限公司 | 一种鼾声信号识别方法 |
| CN111166297A (zh) * | 2020-02-19 | 2020-05-19 | 赛博龙科技(北京)有限公司 | 基于用户睡眠音频评定睡眠质量的方法和装置 |
-
2021
- 2021-02-04 CN CN202110154782.4A patent/CN113012719B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120004749A1 (en) * | 2008-12-10 | 2012-01-05 | The University Of Queensland | Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-gaussianity index |
| CN105899129A (zh) * | 2013-10-09 | 2016-08-24 | 瑞思迈传感器技术有限公司 | 疲劳监测和管理系统 |
| CN109599126A (zh) * | 2018-12-29 | 2019-04-09 | 广州丰石科技有限公司 | 一种基于mel能量谱和卷积神经网络的声音故障识别方法 |
| CN110570880A (zh) * | 2019-09-04 | 2019-12-13 | 杭州深蓝睡眠科技有限公司 | 一种鼾声信号识别方法 |
| CN111166297A (zh) * | 2020-02-19 | 2020-05-19 | 赛博龙科技(北京)有限公司 | 基于用户睡眠音频评定睡眠质量的方法和装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724737A (zh) * | 2021-08-30 | 2021-11-30 | 康键信息技术（深圳）有限公司 | 监测睡眠状态的方法、装置、电子设备和存储介质 |
| WO2023029503A1 (zh) * | 2021-08-30 | 2023-03-09 | 康键信息技术（深圳）有限公司 | 监测睡眠状态的方法、装置、电子设备和存储介质 |
| CN114176525A (zh) * | 2021-12-28 | 2022-03-15 | 深圳市伟晴大健康科技有限公司 | 睡眠质量分析方法、装置、计算机设备和存储介质 |
| CN114176525B (zh) * | 2021-12-28 | 2023-11-24 | 深圳市伟晴大健康科技有限公司 | 睡眠质量分析方法、装置、计算机设备和存储介质 |
| CN114183195A (zh) * | 2022-02-15 | 2022-03-15 | 山东山矿机械有限公司 | 一种基于离层分布规律的地表沉陷控制注浆填充系统 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
| CN116746887A (zh) * | 2023-08-18 | 2023-09-15 | 智慧眼科技股份有限公司 | 一种基于音频的睡眠分期的方法、系统、终端及存储介质 |
| CN116746887B (zh) * | 2023-08-18 | 2023-12-01 | 智慧眼科技股份有限公司 | 一种基于音频的睡眠分期的方法、系统、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012719B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012719A (zh) | 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质 | |
| KR102235568B1 (ko) | 합성곱 신경망 기반 환경음 인식 방법 및 시스템 | |
| Pawar et al. | Convolution neural network based automatic speech emotion recognition using Mel-frequency Cepstrum coefficients | |
| Chen et al. | Automatic detection of Alzheimer’s disease using spontaneous speech only | |
| CN110880329A (zh) | 一种音频识别方法及设备、存储介质 | |
| CN111329494A (zh) | 基于语音关键词检索和语音情绪识别的抑郁症检测方法 | |
| CN113012720A (zh) | 谱减法降噪下多语音特征融合的抑郁症检测方法 | |
| CN107045876A (zh) | 一种基于语音的帕金森症严重程度诊断方法 | |
| CN110731778A (zh) | 一种基于可视化的呼吸音信号识别方法及系统 | |
| CN108937866A (zh) | 睡眠状态的监测方法及装置 | |
| Cheng et al. | Design and application of a laconic heart sound neural network | |
| CN115346561B (zh) | 基于语音特征的抑郁情绪评估预测方法及系统 | |
| Hsu et al. | Robust voice activity detection algorithm based on feature of frequency modulation of harmonics and its DSP implementation | |
| Majda-Zdancewicz et al. | Deep learning vs feature engineering in the assessment of voice signals for diagnosis in Parkinson’s disease | |
| Li et al. | Human activity recognition based on LPA | |
| CN114255783A (zh) | 声音分类模型的构建方法、声音分类方法和系统 | |
| Azam et al. | Heart sound classification considering additive noise and convolutional distortion | |
| CN112466284A (zh) | 一种口罩语音鉴别方法 | |
| CN112464022A (zh) | 一种个性化音乐播放方法、系统和计算机可读存储介质 | |
| CN111862978A (zh) | 一种基于改进mfcc系数的语音唤醒方法及系统 | |
| Neto et al. | Convolution-vision transformer for automatic lung sound classification | |
| Wang et al. | Identification of oestrus cows based on vocalisation characteristics and machine learning technique using a dual-channel-equipped acoustic tag | |
| Rituerto-González et al. | End-to-end recurrent denoising autoencoder embeddings for speaker identification | |
| CN111061909B (zh) | 一种伴奏分类方法和装置 | |
| Lei et al. | Robust scream sound detection via sound event partitioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |