CN113421586A - 梦呓识别方法、装置和电子设备 - Google Patents

梦呓识别方法、装置和电子设备 Download PDF

Info

Publication number
CN113421586A
CN113421586A CN202110675022.8A CN202110675022A CN113421586A CN 113421586 A CN113421586 A CN 113421586A CN 202110675022 A CN202110675022 A CN 202110675022A CN 113421586 A CN113421586 A CN 113421586A
Authority
CN
China
Prior art keywords
frame
loudness
snore
determining
segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110675022.8A
Other languages
English (en)
Inventor
竹东翔
程齐明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youbo Yichuang Intelligent Technology Co ltd
Original Assignee
Nanjing Youbo Yichuang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youbo Yichuang Intelligent Technology Co ltd filed Critical Nanjing Youbo Yichuang Intelligent Technology Co ltd
Priority to CN202110675022.8A priority Critical patent/CN113421586A/zh
Publication of CN113421586A publication Critical patent/CN113421586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Abstract

本申请公开了一种梦呓识别方法、装置和电子设备,其中方法包括:获取音频信号,确定音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;根据各帧的响度确定背景噪音响度;根据各帧的响度和背景噪音响度确定出有声片段;根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从有声片段中识别出非鼾声片段;确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段。本申请的方法逻辑严谨,能够从复杂的音频信号中准确识别出用户的梦呓的声音,有效排除背景噪音和用户鼾声的干扰,为监控用户的睡眠质量提供了坚实的基础,弥补了对梦呓识别的技术空白。

Description

梦呓识别方法、装置和电子设备
技术领域
本申请涉及人工智能技术领域,尤其涉及梦呓识别方法、装置和电子设备。
背景技术
梦呓是是一种睡眠障碍,用户在睡眠质量监测中,有强烈的需求想了解自我是否存在梦呓和梦呓的严重程度。
目前的语音识别技术包括语音到文字的转化,方言识别,或不同语言之间的翻译等。但是对于梦呓的识别目前没有比较成熟的技术。
由于梦呓在睡觉过程中发生,而非人们清醒状态,多是含混不清,非清晰表达的语音,另外,睡觉环境中,打鼾是一种常见现象,鼾声与梦呓在频域特征有时非常相似,这使准确识别梦呓变得更加困难,所以对于梦呓的识别不通过照搬现有的语音识别技术。因此,亟待一种准确、高效的梦呓识别方法,为用户梦呓的提供评估与改善提供基础。
发明内容
本申请实施例提供了一种梦呓识别方法、装置和电子设备,以解决或至少部分解决上述问题。
根据本申请的第一方面,提供了一种梦呓识别方法,包括:
获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;
根据所述各帧的响度确定背景噪音响度;
根据各帧的响度和所述背景噪音响度确定出有声片段;
根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段;
确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从所述非鼾声片段中识别出梦呓片段。
根据本申请的另一方面,提供了一种梦呓识别装置,包括:
获取单元,用于获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;
确定单元,用于根据所述各帧的响度确定背景噪音响度;
第一识别单元,用于根据各帧的响度和所述背景噪音响度确定出有声片段;
第二识别单元,用于根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段;
第三识别单元,用于确定所述非鼾声片段中各帧的线性频谱能量极大值,并根据预设规则以及所述各帧的线性频谱能量极大值,从非鼾声片段中识别出梦呓片段。
根据本申请的另一方面,提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述任一的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
首先根据组成音频信号的各帧的响度确定当前环境的背景噪音响度,在背景噪音响度以上的片段被标记为有声片段,进一步的,基于神经网络鼾声预测模型,从有声片段中排除鼾声的影响,识别出非鼾声片段,在非鼾声片段中,根据各帧的线性频谱能量极值信息与预设规则最终识别出梦呓片段。本申请的方法逻辑严谨,能够从复杂的音频信号中准确识别出用户的梦呓的声音,有效排除背景噪音和用户鼾声的干扰,为监控用户的睡眠质量提供了坚实的基础,弥补了对梦呓识别的技术空白。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为根据本申请的一个实施例的梦呓识别方法的流程示意图;
图2为根据本申请的一个实施例的梦呓识别装置的结构示意图;
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1示出了根据本申请的一个实施例的梦呓识别方法的流程示意图,从图1可以看出,该方法至少包括步骤S110~S150:
步骤S110:获取音频信号,确定音频信号中各帧的线性频谱能量、梅尔频谱能量和响度。
音频信号可以但不限于通过智能终端收集用户睡觉时声音信号。如以16000Hz采集智能终端的麦克的音频信号,得到音频信号的时间序列,以16000Hz、以16位表示一个采集点信号大小、单声道为例,音频信号为(2,4,100,120,140,60,-60,-130,…),每个点的间隔时间=1/16000秒。
对于音频信号中各帧的线性频谱能量、梅尔频谱能量的获得可根据下述步骤:以预设频率采集音频信号中各采样点的声压幅值;对所述音频信号进行分帧、移帧、傅里叶变换和梅尔频率变换,确定组成各帧的多个线性频点和对应的梅尔频率及对应的线性频谱能量、梅尔频谱能量。
将时间序列按照一定的规律取出一组数据,这一组数据就叫做一帧数据,如每次取出512个数据,这叫做一帧数据,这个过程即为分帧,每次取出的数据的数量可根据计算量设置,通常为512或1024。具体在一帧数据中,取出的是音频信号的那些频点的数据,这与频点分辨率有关,如以频点分辨率为16000,每次取出512个数据为例,由于16000/512=31.25Hz,即在0-8000Hz频域中,只能获得31.25*N的频点的信息,N=1-256的整数。
在本申请中,为了提高检测精度,在分帧的过程中,每次取值并不是从前一帧数据的尾部开始,而是从前一帧数据的中间位置开始,在本实施例中,第二帧是从第一帧的中间位置开始的,即257个频点开始,取512个频点对应的幅值。为了方便处理,为每帧音频信号设置帧号,顺序递增。
组成一帧音频信号中的各频点对应的幅值进行傅里叶变换,并根据时间的先后顺序组合,就组成了一帧音频信号的线性频谱能量。即每一帧的线性频谱能量可以使用一维数组来表示(a1,a2,a3,…,a256),分别对应31.25Hz,62.5Hz,93.75Hz,…,8000Hz的频谱能量。
进一步的,根据各帧的线性频谱能量可确定出各帧的响度,具体计算公式可参考现有技术。
步骤S120:根据各帧的响度确定背景噪音响度。
人们睡觉的环境通常存在背景噪音,背景噪音通常是连续不断的,因此,首先要排除背景噪音的影响。由于不同的用户所处的环境是不同的,因此背景噪音的大小也不相同,为了准确排除背景噪音,首先对背景噪音响度进行计算。
具体的,可根据各帧的响度计算得到背景噪音响度,如将音频信号中所有帧的响度的均值作为背景噪音响度。
步骤S130:根据各帧的响度和背景噪音响度确定出有声片段。
承上,能够根据各帧的响度确定背景噪音响度,如,在某一帧的响度大于背景噪音响度则将该帧标记为有声帧,某一帧的响度小于等于背景噪音响度则将将该帧标记为背景帧,将有声帧或者连续的有声帧作为有声片段。
需要说明的是,上述说明仅作为示例,为了提高检测精度,可将有声片段的检测规则制定的更加严格,本申请不做限制。
步骤S140:根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段。
有声片段可能是梦呓,可能是鼾声,也可能是其他。因此,需要在有声片段中排除鼾声的干扰。
对于鼾声的识别可通过神经网络鼾声预测模型进行,该模型为二分类模型,将各帧的梅尔频谱能量作为输入值,输入到神经网络鼾声预测模型,输出结果是有声片段为鼾声片段或非鼾声片段。
在本申请中,神经网络鼾声预测模型是基于多层神经网络建立的,如将1层全连接层、1层长短期记忆网络层(LSTM,Long Short-Term Memory)、1层全连接层和1层逻辑回归层(softmax)结合起来建立神经网络鼾声预测模型。
步骤S150:确定非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段。
在非鼾声片段可能也有一些不确定因素的影响,人们在梦呓时,会有较大或者较尖锐的声音,因此,可根据组成非鼾声片段的各帧的线性频谱能量的极值来最终识别出梦呓片段,具体的,若各帧的线性频谱能量极值信息满足预设梦呓规则,则将非鼾声片段标记为梦呓片段;若各帧的线性频谱能量极值信息不满足预设梦呓规则,则将非鼾声片段标记为非梦呓片段。
关于,预设梦呓规则可根据检测精度需要进行设置,如一帧的线性频谱能量中的幅值最大值大于预设值,则将该帧标记为疑似梦呓帧,非鼾声片段中的疑似梦呓帧大于组成非鼾声片段的总帧数的预设百分比,则确定该非鼾声片段为梦呓片段。
需要说明的是,上述说明仅作为示例,为了提高检测精度,可将梦呓片段的检测规则制定的更加严格,本申请不做限制。
从图1所示的方法可以看出,本申请首先根据组成音频信号的各帧的响度确定当前环境的背景噪音响度,在背景噪音响度以上的片段被标记为有声片段,进一步的,基于神经网络鼾声预测模型,从有声片段中排除鼾声的影响,识别出非鼾声片段,在非鼾声片段中,根据各帧的线性频谱能量极值信息与预设梦呓规则最终识别出梦呓片段。本申请的方法逻辑严谨,能够从复杂的音频信号中准确识别出用户的梦呓的声音,有效排除背景噪音和用户鼾声的干扰,为监控用户的睡眠质量提供了坚实的基础,弥补了对梦呓识别的技术空白。
在本申请的一些实施例中,在上述方法中,根据各帧的响度确定背景噪音响度包括:按照预设时长在音频信号中截取背景噪音样本片段;确定组成背景噪音样本片段的各帧的响度;根据组成背景噪音样本片段的各帧的响度确定背景噪音样本片段的响度均值和响度方差。将响度方差与预设平稳噪声上限阈值比较,在响度方差小于预设平稳噪声上限阈值的情况下,将所背景噪音样本片段的响度均值作为背景噪音响度。在对背景噪音响度进行确定的时候,如果以音频信号为全样本进行,计算量会非常大,由于人们梦呓或打鼾的声音通过不会持续睡觉的全过程,因此,可在音频信号中截取预设时长的数据作为背景噪音样本片段,将背景噪音样本片段的背景噪音响度作为整体的背景噪音响度。
具体的,按照预设时长在音频信号中截取背景噪音样本片段,截取可随机进行,如截取连续5s时长内的音频信号,作为背景噪音样本片段。
对于背景噪音的确定可参考现有技术,也可以采用本申请推荐的方法,具体的,确定组成背景噪音样本片段的各帧的响度,根据各帧的响度,确定出背景噪音样本片段整体的响度均值和响度方差,统计中的方差是每个样本值与全体样本值的平均数之差的平方值的平均数,方差能够表征平稳度。可根据方差的定义与各帧的响度计算出背景噪音样本片段整体的响度方差。
在响度方差小于预设平稳噪声上限阈值的情况下,则认为该背景噪音样本片段中没有鼾声和梦呓只有背景噪音,进一步的,将该背景噪音样本片段的响度均值作为背景噪音响度。均值和方差都是通常意义上的定义,响度均值和响度方差计算方法请参考现有技术。
在响度方差大于预设平稳噪声上限阈值的情况下,则认为该背景噪音样本片段有除了背景噪音以外,其他声音的存在,则舍弃该背景噪音样本片段,重新截取。
在本申请的一些实施例中,在上述方法中,根据各帧的响度和背景噪音响度确定出有声片段包括:在一帧的响度大于背景噪音响度与波动响度的加和情况下,确定该帧为有声片段的起始帧;在预设数量的连续帧的响度小于背景噪音响度与波动响度的加和情况下,确定连续帧的第一帧为有声片段的截止帧;将起始帧与截止帧之间的各帧作为有声片段。
对于有声片段的识别,可以通过是被有声片段的起始帧和截止帧来实现,为了提高检测精度,本实施例中,在背景噪音响度的基础上增加一个波动响度,该波动响度如可以为4-6分贝,在某一帧前面的一帧或多帧不符合有声片段的认定规则的情况下,在该帧的响度大于背景噪音响度与波动响度的加和时,则认为该帧为有声片段的起始帧;对于截止帧的判断,可在预设数量的连续帧的响度小于背景噪音响度与波动响度的加和情况下,确定连续帧的第一帧为有声片段的截止帧,举例来讲,连续3帧的响度均小于背景噪音响度与波动响度的加和,则认为有声片段截止,将连续3帧的第一帧作为有声片段的截止帧。最后将起始帧与截止帧之间的所有帧作为有声片段。
在本申请的一些实施例中,在上述方法中,根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从有声片段中识别出非鼾声片段包括:将组成有声片段的各帧的梅尔频谱能量作为输入值输入到神经网络鼾声预测模型,得到各有声片段的鼾声概率值;在鼾声概率值小于预设概率阈值的情况下,将有声片段标记为非鼾声片段。
在对鼾声片段和非鼾声片段的识别时,可通过神经网络鼾声预测模型,输入值为组成有声片段的各帧的梅尔频谱能量,输出值为有声片段的鼾声概率值。
将鼾声概率值与预设概率阈值进行比较,如将预设概率阈值设为0.35,在鼾声概率值小于预设概率阈值的情况下,将有声片段标记为非鼾声片段,将非鼾声片段保留。在本申请的一些实施例中,在上述方法中,根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从有声片段中识别出非鼾声片段还包括:在鼾声概率值大于等于预设概率阈值的情况下,将有声片段标记为疑似鼾声片段。
对于没有被标记为非鼾声片段的有声片段,即鼾声概率值大于等于预设概率阈值的有声片段,标记为疑似鼾声片段。将这部分有声片段虽然没有被神经网络鼾声预测模型标记为非鼾声片段,但是为了提高检测的准确性,本实施例结合鼾声的节律特征和均值线性频谱能量相似特征对鼾声产生的干扰进一步的排除。首先,从疑似鼾声片段确定出连续疑似鼾声片段,具体的可以根据组成疑似鼾声片段的各帧的帧号进行识别,如果前一疑似鼾声片段的截止帧的帧号与后一疑似鼾声片段的起始帧的帧号相邻,则可认为是连续疑似鼾声片段。
在连续疑似鼾声片段满足预设鼾声规则的条件下,将连续疑似鼾声片段标记为鼾声片段,其中,所述预设鼾声规则为:连续疑似鼾声片段的起始帧和截止帧的时间处于预设时长范围;且组成连续疑似鼾声片段的均值线性频谱能量的局部极大值对应的频点处于预设频率范围内。
预设鼾声规则可以理解为两个子鼾声规则,记为鼾声规则一和鼾声规则二,鼾声规则一表征鼾声的节律特征,具体内容为若连续疑似鼾声片段的起始帧和截止帧的时间处于预设时长范围,预设时长范围可以为但不限于2-6s,则满足鼾声规则一,否则,则不满足。
鼾声规则二表征均值线性频谱能量相似特征,组成连续疑似鼾声片段的均值线性频谱能量的局部极大值对应的频点处于预设频率范围内,如2000Hz以内。将未标记为鼾声片段的疑似鼾声片段标记为非鼾声片段。
在本申请的一些实施例中,在上述方法中,确定非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段包括:确定出非鼾声片段中各帧的线性频谱能量最大值和线性频谱能量次大值,以及所述线性频谱能量最大值对应的第一频点和所述线性频谱能量次大值对应的第二频点;在一帧的第一频点与相邻前一帧的第一频点相近,两者的第二频点也具有相同的特点,将该帧标记为疑似梦呓帧;在组成所述非鼾声片段中的疑似梦呓帧的数量大于预设梦呓阈值的情况下,将所述非鼾声片段标记为梦呓片段。
也就是说,本申请在识别梦呓片段时,是根据组成非鼾声片段标记的各帧的线性频谱能量局部最大值中的前二的线性频谱能量来进行判断的。具体的,对于一帧数据来说,先确定出线性频谱能量最大值和线性频谱能量次大值,然后确定出与线性频谱能量最大值对应的第一频点和与线性频谱能量次大值对应的第二频点,将第一频点与前一帧的第一频点比较,如果小于预设阈值,在实现中选择62.5Hz作为阈值,同时将第二频点与前一帧的第二频点比较,同样距离小于预设阈值的情况下,将该帧标记为疑似梦呓帧;如果不符合以上条件,将该帧标记为非梦呓帧。进一步的,继续判断组成所述非鼾声片段中的疑似梦呓帧的数量与预设梦呓阈值的比较情况,若组成所述非鼾声片段中的疑似梦呓帧的数量大于等于预设梦呓阈值,将非鼾声片段标记为梦呓片段。若组成所述非鼾声片段中的疑似梦呓帧的数量小于预设梦呓阈值,将非鼾声片段标记为非梦呓片段。
为了进一步提高检测精度,对线性频谱能量最大值和线性频谱能量次大值的确定也可以设置一定的要求,以线性频谱能量最大值为例,可要求线性频谱能量最大值所在尖峰的起止的宽度小于一定值,如250Hz,且尖峰的起始点的斜率大于一定值等。在本申请的一些实施例中,在上述方法中,所述确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段还包括:从在组成所述非鼾声片段中的疑似梦呓帧确定出连续疑似梦呓片段和非连续疑似梦呓片段;在连续疑似梦呓帧的数量大于预设连续梦呓阈值的情况下,将所述非鼾声片段标记为梦呓片段。
为了进一步提高识别精度,比较梦呓片段之间的时间间隔,如果相邻的梦呓片段的时间间隔小于预设时间阈值,例如1.8秒,或者梦呓片段各帧的响度呈现2次以上的起伏变化,将非鼾声片段标记为梦呓片段。
图2示出了根据本申请一个实施例的梦呓识别装置,从图2可以看出,该装置200包括:
获取单元210,用于获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;
确定单元220,用于根据所述各帧的响度确定背景噪音响度;
第一识别单元230,用于根据各帧的响度和所述背景噪音响度确定出有声片段;
第二识别单元240,用于根据所述各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段;
第三识别单元250,用于确定所述非鼾声片段中各帧的线性频谱能量极大值,并根据预设规则以及所述各帧的线性频谱能量极大值,从非鼾声片段中识别出梦呓片段。
在本申请的一些实施例中,在上述装置中,获取单元210,用于以预设频率采集音频信号;对所述音频信号进行分帧、移帧、短时傅里叶变换获得各帧的线性频谱能量,对所述线性频谱能量进行梅尔频谱变换得到梅尔频谱能量;和,根据采样获得的麦克声压信号数据确定各帧的响度。
在本申请的一些实施例中,在上述装置中,确定单元220,用于按照预设时长在所述音频信号中截取背景噪音样本片段;确定组成所述背景噪音样本片段的各帧的响度;根据所述组成所述背景噪音样本片段的各帧的响度确定所述背景噪音样本片段的响度均值和响度方差;将所述响度方差与预设鼾声阈值比较,在所述响度方差小于预设平稳噪声上限阈值的情况下,将所述背景噪音样本片段的响度均值作为所述背景噪音响度。
在本申请的一些实施例中,在上述装置中,第一识别单元230,用于在一帧的响度大于所述背景噪音响度与波动响度的加和情况下,确定该帧为所述有声片段的起始帧;在预设数量的连续帧的响度小于所述背景噪音响度与波动响度的加和情况下,确定所述连续帧的第一帧为所述有声片段的截止帧;将所述起始帧与所述截止帧之间的各帧作为有声片段。
在本申请的一些实施例中,在上述装置中,第二识别单元240,用于将组成所述有声片段的各帧的梅尔频谱能量作为输入值输入到所述神经网络鼾声预测模型,得到各有声片段的鼾声概率值;在所述鼾声概率值小于预设概率阈值的情况下,将所述有声片段标记为非鼾声片段。
在本申请的一些实施例中,在上述装置中,第二识别单元240,还用于在所述鼾声概率值大于等于预设鼾声阈值的情况下,将所述有声片段标记为疑似鼾声片段;从疑似鼾声片段确定出连续疑似鼾声片段;在所述连续疑似鼾声片段满足预设鼾声规则的条件下,将连续疑似鼾声片段标记为鼾声片段,其中,所述预设鼾声规则为:所述连续疑似鼾声片段的起始帧和截止帧之间的时间处于预设时长范围;且组成所述连续疑似鼾声片段的均值线性频谱能量的局部极大值对应的频点处于预设频率范围内。
在本申请的一些实施例中,第三识别单元250,用于确定出非鼾声片段中各帧的线性频谱能量最大值和线性频谱能量次大值,以及所述线性频谱能量最大值对应的第一频点和所述线性频谱能量次大值对应的第二频点;在一帧的第一频点和第二频点与前一帧的第一频点和第二频点的频率差小于预设阈值的情况下,将该帧标记为疑似梦呓帧;在组成所述非鼾声片段中的疑似梦呓帧的数量大于预设梦呓阈值的情况下,将所述非鼾声片段标记为梦呓片段。
在本申请的一些实施例中,第三识别单元250,用于进一步提高梦呓片段的精度,检查相邻梦呓片段的时间间隔是否存在小于预设时长阈值,或梦呓片段内各帧的响度的起伏变化是否超过2次,满足条件则将所述非鼾声片段标记为梦呓片段,否则,标记为非梦呓片段。
能够理解,上述装置,能够实现前述实施例中提供的方法的各个步骤,关于方法的相关阐释均适用于装置,此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成梦呓识别装置。处理器,执行存储器所存放的程序。
上述如本申请图3所示实施例揭示的梦呓识别装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信号,结合其硬件完成上述方法的步骤。
该电子设备还可执行图3中梦呓识别装置执行的方法,并实现梦呓识别装置在图3所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图3所示实施例中梦呓识别装置执行的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信号存储。信号可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信号。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种梦呓识别方法,其特征在于,包括:
获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;
根据所述各帧的响度确定背景噪音响度;
根据各帧的响度和所述背景噪音响度确定出有声片段;
根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段;
确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从所述非鼾声片段中识别出梦呓片段。
2.根据权利要求1所述的方法,其特征在于,所述获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量包括:
以预设频率采集音频信号;
对所述音频信号进行分帧、移帧、短时傅里叶变换获得各帧的线性频谱能量,对所述线性频谱能量进行梅尔频谱变换得到梅尔频谱能量;
和,
根据采样获得的麦克声压信号数据确定各帧的响度。
3.根据权利要求1所述的方法,其特征在于,所述根据所述各帧的响度确定背景噪音响度包括:
按照预设时长在所述音频信号中截取背景噪音样本片段;
确定组成所述背景噪音样本片段的各帧的响度;
根据所述组成所述背景噪音样本片段的各帧的响度确定所述背景噪音样本片段的响度均值和响度方差;
将所述响度方差与预设平稳噪声上限阈值比较,在所述响度方差小于预设平稳噪声上限阈值的情况下,将所述背景噪音样本片段的响度均值作为所述背景噪音响度。
4.根据权利要求1所述的方法,其特征在于,所述根据各帧的响度和所述背景噪音响度确定出有声片段包括:
在一帧的响度大于所述背景噪音响度与波动响度的加和情况下,确定该帧为所述有声片段的起始帧;
在预设数量的连续帧的响度小于所述背景噪音响度与波动响度的加和情况下,确定所述连续帧的第一帧为所述有声片段的截止帧;
将所述起始帧与所述截止帧之间的各帧作为有声片段。
5.根据权利要求1所述的方法,其特征在于,所述各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段包括:
将组成所述有声片段的各帧的梅尔频谱能量作为输入值输入到所述神经网络鼾声预测模型,得到各有声片段的鼾声概率值;
在所述鼾声概率值小于预设概率阈值的情况下,将所述有声片段标记为非鼾声片段。
6.根据权利要求5所述的方法,其特征在于,所述各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段还包括:
在所述鼾声概率值大于等于预设鼾声阈值的情况下,将所述有声片段标记为疑似鼾声片段;
从疑似鼾声片段确定出连续疑似鼾声片段;
在所述连续疑似鼾声片段满足预设鼾声规则的条件下,将连续疑似鼾声片段标记为鼾声片段,其中,所述预设鼾声规则为:所述连续疑似鼾声片段的起始帧和截止帧之间的时间处于预设时长范围;且组成所述连续疑似鼾声片段的均值线性频谱能量的局部极大值对应的频点处于预设频率范围内;
将未标记为鼾声片段的有声片段标记为非鼾声片段。
7.根据权利要求1所述的方法,其特征在于,所述确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段包括:
确定出非鼾声片段中各帧的线性频谱能量最大值和幅值次大值,以及所述线性频谱能量最大值对应的第一频点和所述线性频谱能量次大值对应的第二频点;
当前帧与相邻的前一帧的第一频点差在预设阈值内,第二频点也同时满足,将该帧标记为疑似梦呓帧;
在组成所述非鼾声片段中的疑似梦呓帧的数量大于预设梦呓阈值的情况下,同时,相邻有声片段的时间间隔小于预设时长阈值的情况下,将所述非鼾声片段标记为梦呓片段。
8.根据权利要求7所述的方法,其特征在于,所述确定所述非鼾声片段中各帧的线性频谱能量极值信息,并根据预设梦呓规则以及所述线性频谱能量极值信息,从非鼾声片段中识别出梦呓片段还包括:
从在组成所述非鼾声片段中的疑似梦呓帧确定出连续疑似梦呓帧和非连续疑似梦呓帧;
在连续疑似梦呓帧的数量大于预设连续梦呓阈值的情况下,将所述非鼾声片段标记为梦呓片段。
9.一种梦呓识别装置,其特征在于,包括:
获取单元,用于获取音频信号,确定所述音频信号中各帧的响度、线性频谱能量和梅尔频谱能量;
确定单元,用于根据所述各帧的响度确定背景噪音响度;
第一识别单元,用于根据各帧的响度和所述背景噪音响度确定出有声片段;
第二识别单元,用于根据各帧的梅尔频谱能量,输入神经网络鼾声预测模型,从所述有声片段中识别出非鼾声片段;
第三识别单元,用于确定所述非鼾声片段中各帧的线性频谱能量极大值,并根据预设规则以及所述各帧的线性频谱能量极大值,从非鼾声片段中识别出梦呓片段。
10.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~8之任一所述方法。
CN202110675022.8A 2021-06-18 2021-06-18 梦呓识别方法、装置和电子设备 Pending CN113421586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110675022.8A CN113421586A (zh) 2021-06-18 2021-06-18 梦呓识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110675022.8A CN113421586A (zh) 2021-06-18 2021-06-18 梦呓识别方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113421586A true CN113421586A (zh) 2021-09-21

Family

ID=77789006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110675022.8A Pending CN113421586A (zh) 2021-06-18 2021-06-18 梦呓识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113421586A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339392A (zh) * 2021-11-12 2022-04-12 腾讯科技(深圳)有限公司 视频剪辑方法、装置、计算机设备及存储介质
CN114724550A (zh) * 2022-06-10 2022-07-08 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN115206329A (zh) * 2022-09-15 2022-10-18 深圳市倍轻松科技股份有限公司 一种确定鼾声信号的方法、装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000063265A (ko) * 2000-06-10 2000-11-06 김성석 신경회로망을 이용한 음향식별에 기반한 코골이 음향식별방법
US20060235315A1 (en) * 2002-09-19 2006-10-19 Solange Akselrod Method, apparatus and system for characterizing sleep
WO2013061185A1 (en) * 2011-10-25 2013-05-02 Koninklijke Philips Electronics N.V. Sleep stage classification device with background oscillation emitter.
US20140276227A1 (en) * 2013-03-14 2014-09-18 Aliphcom Sleep management implementing a wearable data-capable device for snoring-related conditions and other sleep disturbances
CN106037661A (zh) * 2016-06-30 2016-10-26 成都天奥电子股份有限公司 一种睡眠监测表及其实现方法
CN106108855A (zh) * 2016-07-26 2016-11-16 华南师范大学 基于鼾声识别及分类的止鼾系统
CN106409317A (zh) * 2016-09-29 2017-02-15 北京小米移动软件有限公司 梦话提取方法、装置及用于提取梦话的装置
CN106691382A (zh) * 2016-12-26 2017-05-24 赛博龙科技(北京)有限公司 一种基于时频相似性的鼾声检测方法及装置
JP2017196194A (ja) * 2016-04-27 2017-11-02 国立大学法人大阪大学 睡眠状態解析支援装置、および、睡眠状態解析支援プログラム
CN108937861A (zh) * 2018-06-06 2018-12-07 姜涵予 一种评测睡眠状态的方法及装置
CN110558946A (zh) * 2019-09-11 2019-12-13 京东方科技集团股份有限公司 一种记录用户异常睡眠状态的方法及睡眠仪
CN111166297A (zh) * 2020-02-19 2020-05-19 赛博龙科技(北京)有限公司 基于用户睡眠音频评定睡眠质量的方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000063265A (ko) * 2000-06-10 2000-11-06 김성석 신경회로망을 이용한 음향식별에 기반한 코골이 음향식별방법
US20060235315A1 (en) * 2002-09-19 2006-10-19 Solange Akselrod Method, apparatus and system for characterizing sleep
WO2013061185A1 (en) * 2011-10-25 2013-05-02 Koninklijke Philips Electronics N.V. Sleep stage classification device with background oscillation emitter.
US20140276227A1 (en) * 2013-03-14 2014-09-18 Aliphcom Sleep management implementing a wearable data-capable device for snoring-related conditions and other sleep disturbances
JP2017196194A (ja) * 2016-04-27 2017-11-02 国立大学法人大阪大学 睡眠状態解析支援装置、および、睡眠状態解析支援プログラム
CN106037661A (zh) * 2016-06-30 2016-10-26 成都天奥电子股份有限公司 一种睡眠监测表及其实现方法
CN106108855A (zh) * 2016-07-26 2016-11-16 华南师范大学 基于鼾声识别及分类的止鼾系统
CN106409317A (zh) * 2016-09-29 2017-02-15 北京小米移动软件有限公司 梦话提取方法、装置及用于提取梦话的装置
CN106691382A (zh) * 2016-12-26 2017-05-24 赛博龙科技(北京)有限公司 一种基于时频相似性的鼾声检测方法及装置
CN108937861A (zh) * 2018-06-06 2018-12-07 姜涵予 一种评测睡眠状态的方法及装置
CN110558946A (zh) * 2019-09-11 2019-12-13 京东方科技集团股份有限公司 一种记录用户异常睡眠状态的方法及睡眠仪
CN111166297A (zh) * 2020-02-19 2020-05-19 赛博龙科技(北京)有限公司 基于用户睡眠音频评定睡眠质量的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339392A (zh) * 2021-11-12 2022-04-12 腾讯科技(深圳)有限公司 视频剪辑方法、装置、计算机设备及存储介质
CN114339392B (zh) * 2021-11-12 2023-09-12 腾讯科技(深圳)有限公司 视频剪辑方法、装置、计算机设备及存储介质
CN114724550A (zh) * 2022-06-10 2022-07-08 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN114724550B (zh) * 2022-06-10 2022-09-06 慕思健康睡眠股份有限公司 一种基于睡眠的音频识别方法、装置、床垫及存储介质
CN115206329A (zh) * 2022-09-15 2022-10-18 深圳市倍轻松科技股份有限公司 一种确定鼾声信号的方法、装置、电子设备和存储介质
CN115206329B (zh) * 2022-09-15 2023-01-24 深圳市倍轻松科技股份有限公司 一种确定鼾声信号的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN113421586A (zh) 梦呓识别方法、装置和电子设备
CN109544166B (zh) 一种风险识别方法和装置
US8918316B2 (en) Content identification system
CN108899033B (zh) 一种确定说话人特征的方法及装置
CN110880329A (zh) 一种音频识别方法及设备、存储介质
US20210098008A1 (en) A method and system for triggering events
CN110797031A (zh) 语音变音检测方法、系统、移动终端及存储介质
CN112599134A (zh) 一种基于声纹识别的变压器声音事件检测方法
US20190057705A1 (en) Methods and apparatus to identify a source of speech captured at a wearable electronic device
CN109767784B (zh) 鼾声识别的方法及装置、存储介质和处理器
CN115394318A (zh) 一种音频检测方法和装置
CN116746887B (zh) 一种基于音频的睡眠分期的方法、系统、终端及存储介质
CN114067829A (zh) 一种电抗器故障诊断方法、装置、计算机设备及存储介质
CN109377982A (zh) 一种有效语音获取方法
CN111063360A (zh) 一种声纹库的生成方法和装置
US8831763B1 (en) Intelligent interest point pruning for audio matching
CN111934800B (zh) 一种广播内容监测方法及系统
CN113314143B (zh) 呼吸暂停的判断方法、装置和电子设备
CN114121025A (zh) 一种面向变电站设备的声纹故障智能检测方法及装置
CN111382303B (zh) 一种基于指纹权重的音频样例检索方法
CN112397073A (zh) 一种音频数据处理方法及装置
CN111899725A (zh) 语音分析方法、装置、电子设备及计算机存储介质
CN113782051B (zh) 广播效果分类方法及系统、电子设备和存储介质
CN110491413B (zh) 一种基于孪生网络的音频内容一致性监测方法及系统
KR102443221B1 (ko) 수면 음성 분석 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination