CN111091849B - 鼾声识别的方法及装置、存储介质止鼾设备和处理器 - Google Patents

鼾声识别的方法及装置、存储介质止鼾设备和处理器 Download PDF

Info

Publication number
CN111091849B
CN111091849B CN202010137872.8A CN202010137872A CN111091849B CN 111091849 B CN111091849 B CN 111091849B CN 202010137872 A CN202010137872 A CN 202010137872A CN 111091849 B CN111091849 B CN 111091849B
Authority
CN
China
Prior art keywords
audio data
snore
preset
data segment
preset condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010137872.8A
Other languages
English (en)
Other versions
CN111091849A (zh
Inventor
聂镭
黄静
聂颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longma Zhixin Zhuhai Hengqin Technology Co ltd
Original Assignee
Longma Zhixin Zhuhai Hengqin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longma Zhixin Zhuhai Hengqin Technology Co ltd filed Critical Longma Zhixin Zhuhai Hengqin Technology Co ltd
Priority to CN202010137872.8A priority Critical patent/CN111091849B/zh
Publication of CN111091849A publication Critical patent/CN111091849A/zh
Application granted granted Critical
Publication of CN111091849B publication Critical patent/CN111091849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种鼾声识别方法,包括:步骤一,实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;步骤二,实时判断所述目标音频数据是否满足第一预设条件;步骤三,如果所述目标音频数据不满足所述第一预设条件,则重复步骤二;如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定;步骤四,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段,并对所述第一音频数据片段进行鼾声识别解决了鼾声识别产品化的问题。

Description

鼾声识别的方法及装置、存储介质止鼾设备和处理器
技术领域
本申请发明涉及信息处理技术领域,具体而言,涉及一种鼾声识别的方法及装置、止鼾设备和处理器。
背景技术
打鼾是一种非常普遍的现象,大约有20%-40%的人群患有打鼾症状。打鼾不仅困扰患者,影响同伴,还会对患者健康造成威胁。阻塞性睡眠呼吸暂停综合征就是一种伴有打鼾的呼吸疾病,会导致患者白天嗜睡和疲劳,也是心血管疾病的一个诱因。
目前市面上很多识别患者打鼾的产品仅仅是在睡觉的环境下设定一个阈值,当检测的声音信号大于该阈值时,识别为鼾声,然而该方法会将很多背景噪音误判为鼾声。针对此种情况,相关技术中采用自适应类无监督鼾声检测算法从声音中提取到某些特征,利用这些特征对鼾声进行识别,例如MEL频率倒谱系数特征,共振峰特征等,这类算法在区分鼾声和背景噪声时,准确率却较低。另外,一些有监督的鼾声识别方法采用神经网络或者模型类的方法对鼾声进行识别,该类方法准确率相对较高,但是需要大量训练样本,且硬件化的成本较高。
为了解决相关技术中在提升识别鼾声的准确率的情况下所需成本较高的技术问题,发明人在前期的专利申请(专利号CN109767784B)中提出了一种全新的鼾声识别方法,该方法通过获取目标音频数据的语谱图,其中,目标音频数据为人睡觉过程中采集到的音频数据;确定语谱图中目标能量范围内的第一能量占比;基于第一能量占比,识别目标音频数据中是否存在鼾声。
然而,上述方法是基于实验条件下进行的。将上述方法进行产品化时,需要将该方法放到相关鼾声识别的硬件中进行实际运行。产品化的实际硬件的运行环境与实验的环境的是不完全相同的,比如说,在实验条件下,用于运行鼾声识别算法的设备为电脑,通过电脑来模拟实际运行的硬件环境,而在硬件条件下,则是实际的MCU(单片微型计算机),又比如说,在实验条件下,用于鼾声识别的音频数据都是提前录制保存的,而在硬件条件下,需要实时获取环境中的音频数据。
如何将上述方法进行产品化,目前尚未提出有效的解决方案。
发明内容
本申请发明提供一种鼾声识别的方法及装置、存储介质和处理器,以解决相关技术中鼾声识别反应慢识别不及时,识别出现延迟的问题的技术问题。
根据本申请发明的一个方面,提供了一种鼾声识别方法。该鼾声识别方法包括以下步骤:
步骤一,实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;步骤二,实时判断所述目标音频数据是否满足第一预设条件;
步骤三,如果所述目标音频数据不满足所述第一预设条件,则重复步骤二;如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定;
步骤四,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段,并对所述第一音频数据片段进行鼾声识别。
进一步地,该鼾声识别方法还包括以下步骤:
步骤五,将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点;
步骤六,截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段,判断所述第二音频数据片段是否满足第二预设条件;
步骤七,如果所述第二音频数据片段满足所述第二预设条件,则对所述第二音频数据片段进行鼾声识别,并重复步骤五至步骤七;如果所述第二音频数据片段不满足所述第二预设条件,则重复步骤二至步骤七。
进一步地,所述步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:
实时判断所述目标音频数据的声强值是否大于声强预设值;
如果所述目标音频数据的声强值大于所述声强预设值,则判定所述目标音频数据满足预设条件;如果所述目标音频数据的声强值不大于所述声强预设值,则判定所述目标音频数据不满足预设条件。
进一步地,在所述步骤二之前还包括:获取设定时间段的环境背景噪音,计算所述设定时间段的环境背景噪音的声强平均值,将所述声强平均值作为所述声强预设值。
进一步地,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:
判断所述第二音频数据片段的声强值的最大值是否大于所述声强预设值;
如果所述第二音频数据片段的声强值的最大值大于所述声强预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的声强值的最大值不大于所述声强预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
可选地,所述步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:
对所述目标音频数据进行分帧、加窗处理,并计算每一帧音频数据的能量值;
判断所述每一帧音频数据的能量值是否大于能量预设值;
如果所述每一帧音频数据的能量值大于所述能量预设值,则判定所述目标音频数据满足所述第一预设条件;如果所述目标音频数据的声强值不大于声强预设值,则判定所述目标音频数据不满足所述第一预设条件。
可选地,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:
判断所述第二音频数据片段的能量值的最大值是否大于所述能量预设值;
如果所述第二音频数据片段的能量值的最大值大于所述能量预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的能量值的最大值不大于所述能量预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
根据本申请发明的另一个方面,提供了一种鼾声识别装置,用于执行上述任一所述鼾声识别方法,该鼾声识别装置包括:
音频数据获取模块,用于实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;
音频数据片段截取模块,用于实时判断所述目标音频数据是否满足第一预设条件,如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段;用于将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点,并截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段;
鼾声识别模块,用于对音频数据片段进行鼾声识别;
鼾声循环识别判断执行模块,用于判断所述第二音频数据片段是否满足第二预设条件,并根据判断结果执行鼾声循环识别操作。
根据本申请发明的又一个方面,提供了一种止鼾设备,所述止鼾设备包括鼾声识别装置,所述鼾声识别装置用于执行上述任一所述鼾声识别方法。
根据本申请发明的又一个方面,提供了一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的鼾声识别的方法。
通过本申请发明,采用以下步骤:步骤一,实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;步骤二,实时判断所述目标音频数据是否满足第一预设条件;步骤三,如果所述目标音频数据不满足所述第一预设条件,则重复步骤二;如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定;步骤四,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段,并对所述第一音频数据片段进行鼾声识别,解决了相关技术中鼾声识别产品化的相关技术问题。通过对目标音频数据的截取起始点进行判断,实现鼾声识别判断起始点与鼾声起始点的对齐,进而提高了鼾声识别的反应速度,避免了识别不及时,识别出现延迟的问题。同时,通过对目标音频数据的截取时长的控制,即通过鼾声识别灵敏级别的设置来确定鼾声识别的音频时长,可以实现针对不同人群的个性化设置,满足不同周期性的鼾声处理,从而实现更好的止鼾效果。
附图说明
构成本申请发明的一部分的附图用来提供对本申请发明的进一步理解,本申请发明的示意性实施例及其说明用于解释本申请发明,并不构成对本申请发明的不当限定。在附图中:
图1是根据本申请发明实施例提供的鼾声识别的方法的流程图;以及
图2是根据本申请发明实施例提供的鼾声识别的装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请发明。
为了使本技术领域的人员更好地理解本申请发明方案,下面将结合本申请发明实施例中的附图,对本申请发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请发明一部分的实施例,而不是全部的实施例。基于本申请发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请发明保护的范围。
需要说明的是,本申请发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在具体阐述本申请发明的具体实施方式之前,在此,先对本申请发明所要解决的问题进行说明,以便更好地理解本申请发明。
发明人在前期的专利申请(专利号CN109767784B)中提出了一种鼾声识别方法,该方法通过获取目标音频数据的语谱图,其中,目标音频数据为人睡觉过程中采集到的音频数据;确定语谱图中目标能量范围内的第一能量占比;基于第一能量占比,识别目标音频数据中是否存在鼾声。通过这个方法,解决了相关技术中在提升识别鼾声的准确率的情况下所需成本较高的技术问题。
然而,上述方法是基于实验条件下进行的,在产品化的过程中,需要将该方法放到相关鼾声识别的硬件中进行实际运行,而实际硬件的运行环境与实验的环境的是不完全相同的,比如说,在实验条件下,用于运行鼾声识别算法的设备为电脑,通过电脑来模拟实际运行的硬件环境,而在硬件条件下,则是实际的MCU(单片微型计算机),又比如说,在实验条件下,用于鼾声识别的音频数据都是提前录制保存的,而在硬件条件下,需要实时获取环境中的音频数据。
发明人在使用上述鼾声识别算法在硬件上进行实际测试过程,发现存在着鼾声识别反应慢识别不及时,识别出现延迟的问题。经发明人经过大量的究研分析后,认为是目前产品的处理数据逻辑为开机后固定一间隔时间做一次处理,导致当鼾声到来时,鼾声识别算法判断的起始点与鼾声的起始点不对齐,因而导致识别反应慢识别不及时,识别出现延迟的问题。而在实验条件下没有这个问题是因为用于鼾声识别的音频数据都是提前录制保存的,并且经过预先的处理,因此不存在鼾声识别算法判断的起始点与鼾声的起始点不对齐的问题,也就没有出现鼾声识别反应慢识别不及时,识别出现延迟的现象。
另外,由于产品化要求硬件在运行过程中,需要实时检测判断用户的鼾声,而且是持续地识别鼾声,而在实验的条件反下仅仅是对某一段的音频数据进行鼾声的识别,因此在产品化时需要解决鼾声循环识别判断的问题,以节约硬件的运算次数。
除此之外,在产品化中,发明人还希望可以实现针对不同人群进行个性化设置,以满足不同人的鼾声周期的处理要求,以实现更好的止鼾效果。
针对以上产品化过程中存在的技术问题,根据本申请发明的实施例,提供了一种鼾声识别的方法。
图1是根据本申请发明实施例的鼾声识别的方法的流程图。如图1所示,该方法包括以下步骤:
步骤一,实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;
在本实施例中,通过声音传感器实时地检测到用户睡觉过程的音频数据,如通过专门设置的麦克风检测,也可以是通过手机、平板或者其它具有检测声音功能的设备。声音传感器实时进行音频获取,采用16KHz采样率,若声音传感器采样率不为16KHz,则对输入统一重采样为16KHz。采样率也可以为其它数值的,例如8KHz,本实施例优选16KHz。
步骤二,实时判断所述目标音频数据是否满足第一预设条件;
如前所述,发明人在使用上述鼾声识别算法在硬件上进行实际测试过程,发现存在着鼾声识别反应慢识别不及时,识别出现延迟的问题。经发明人经过大量的究研分析后,认为是目前产品的处理数据逻辑为开机后固定一间隔时间做一次处理,导致当鼾声到来时,鼾声识别算法判断的起始点与鼾声的起始点不对齐,因而导致识别反应慢识别不及时,识别出现延迟的问题。因此,需要解决鼾声识别算法判断的起始点与鼾声的起始点不对齐的问题。
在本实施例中,通过实时判断所述目标音频数据是否满足第一预设条件,来解决鼾声识别算法判断的起始点与鼾声的起始点不对齐的问题。判断的条件可以有很多种方式,例如以下实施例中,通过判断该目标音频数据的声强值或者能量值来判断。
在本申请发明中的一些实施例中,步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:在实时判断所述目标音频数据的声强值是否大于声强预设值;如果所述目标音频数据的声强值大于所述声强预设值,则判定所述目标音频数据满足预设条件;如果所述目标音频数据的声强值不大于所述声强预设值,则判定所述目标音频数据不满足预设条件。
一般情况下,安静室内环境背景噪音在40dB左右,设置超过40dB的音频开始为有声音频。通常情况下,人在睡眠的过程中,如果不存在打鼾的情况,只有轻微的呼吸声,除此之外就是一般的环境噪音,因此,当出现打鼾的声音时,环境中的音频的声强会突然升高,因此,可以通过实时判断获取的声音数据的声强作为判断条件,例如,判断声强是否超过40dB作为判断的条件。
在本申请发明中的一些实施例中,在所述步骤二之前还包括:获取设定时间段的环境背景噪音,计算所述设定时间段的环境背景噪音的声强平均值,将所述声强平均值作为所述声强预设值。
需要说明的是,并不是所有用户的睡眠环境的背景噪音都是一样的,通过固定设定一个声强预设值,可能会带来判断错误的情况。通过在设定的时间段内,例如在用户睡眠前的半个小时或者一小时,先把设备打开,测量环境背景的噪音,计算该时间段内的声强平均值,并以该声强平均值作为预设的声强值。通过这种方法,就可以解决不同用户睡眠环境的背景噪音大小不一致的问题。
在本申请发明中的另外一些实施例中,所述步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:对所述目标音频数据进行分帧、加窗处理,并计算每一帧音频数据的能量值;判断所述每一帧音频数据的能量值是否大于能量预设值;如果所述每一帧音频数据的能量值大于所述能量预设值,则判定所述目标音频数据满足所述第一预设条件;如果所述目标音频数据的声强值不大于声强预设值,则判定所述目标音频数据不满足所述第一预设条件。
需要说明的是,相比将声强作为判断条件的方式,将音频数据的能量值作为判断条件,能量值可以精确到具体的每一帧的音频,因此其测量的精度更高。将音频数据的能量值作为判断条件的实施方式是更优的方式。另外,鼾声的能量值相对于其它背景噪音的能量值是要高出很多倍的,因此,可以将能量值作为判断条件。
步骤三,如果所述目标音频数据不满足所述第一预设条件,则重复步骤二;如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定;
在本实施例中,当所述目标音频数据不满足所述第一预设条件,则一直重复执行步骤二。当所述目标音频数据满足所述第一预设条件,就认为当前时刻可能出现的鼾声,因此,将对应时刻的目标音频数据中的位置标记为第一起始点。
此外,需要说明的是,发明人还希望可以实现针对不同人群进行个性化设置,以满足不同人的鼾声周期的处理要求,以实现更好的止鼾效果。一般来说,单个鼾声周期一般认为3~5s,相对应地,原则上来说,只需截取5s以上时间长度的音频进行鼾声识别即可,然而,为了使得鼾声识别测量的结果准确性更高,通常情况下,会使用包含三个鼾声周期的时间长度(例如截取18s的音频数据)。但是,如果固定截取三个鼾声周期的时间长度作为一个鼾声识别单元,则不能够满足不同人的鼾声周期的处理要求。因此,可以根据用户自行设定鼾声识别灵敏级别来个性化确定音频截取的时间长度。鼾声识别灵敏级别与音频截取的时间长度成反比关系,也即,鼾声识别灵敏级别越高,则音频截取的时间长度越短。例如,可以设置低、中、高三个灵敏级别,低灵敏度级别的预设时长为18s,中灵敏度级别的预设时长为12s,低灵敏度级别的预设时长为6s。通过将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定,这样就可以确定了音频数据需要截取的起始点和终点,并满足了不同人的鼾声周期的处理要求,以实现更好的止鼾效果。
步骤四,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段,并对所述第一音频数据片段进行鼾声识别。
需要说明的是,由于经过步骤二的逻辑判断,将可能是鼾声的时刻标记为起始点,因此,所截取的音频数据片段中鼾声的起始点就与鼾声识别判断的起始点完成了对齐,经实际测试证明,该方法解决了识别反应慢识别不及时,识别出现延迟的问题。鼾声识别的具体方法,采用发明人在前期的专利申请(专利号CN109767784B)中提出的鼾声识别方法,本领域的技术人员可以根据该专利公开的内容实施,在此不再赘述。
通过以上步骤一至步骤四的方案,可以解决在鼾声识别产品化过程中,鼾声识别反应慢识别不及时,识别出现延迟的问题,提高了鼾声识别的识别速度,避免了识别出现延时的情况。同时,通过对目标音频数据的截取时长的控制,即通过鼾声识别灵敏级别的设置来确定鼾声识别的音频时长,可以实现针对不同人群的个性化设置,满足不同周期性的鼾声处理,从而实现更好的止鼾效果。
如前所述,在产品化时,需要实时检测判断用户的鼾声,而且是持续地识别鼾声,而在实验的条件反下仅仅是对某一段的音频数据进行鼾声的识别,因此在产品化时还需要解决鼾声循环识别判断的问题,以节约硬件的运算次数,特别是进行鼾声识别判断的次数,因为鼾声识别判断的过程的计算量是非常大的。
为了解决鼾声循环识别判断的问题,本申请发明提供的鼾声识别方法还包括以下步骤:
步骤五,将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点;
需要说明的是,在进行了一次的音频数据片段的鼾声判断之后,由于设备需要持续地识别鼾声,因此,需要重新截取音频数据片段。如前所述,音频数据片段的时间长度是根据用户设备的鼾声识别灵敏级别来确定,其会比单个鼾声的时间长度(3~5s)。为了保证音频数据片段的截取的连续性,因此,可以间隔第一次截取的音频数据片段的起始点的3s后的位置作为第二次音频数据片段截取的起始点,即将距离所述第一起始点第二预设时长的位置标记为新的第一起始点。然后,再根据用户事先设置的鼾声识别灵敏级别对应的时间长度来确定新的音频数据片段截取的终点,即将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点。
此外,还可以通过计算出用户实际的鼾声周期的时间长度,然后将第一次截取的音频数据片段的起始点间隔该用户实际的鼾声周期的时间长度的位置作为第二次音频数据片段截取的起始点,即将距离所述第一起始点第二预设时长的位置标记为新的第一起始点。然后,再根据用户事先设置的鼾声识别灵敏级别对应的时间长度来确定新的音频数据片段截取的终点,即将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点。
需要指出的是,在标记完新的起始点和新的终点后,同时会取消原来旧的起始点和终点的标记,以避免音频数据片段截取的错误。
步骤六,截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段,判断所述第二音频数据片段是否满足第二预设条件;
需要说明的是,设备在进行鼾声识别后,当识别出用户在打鼾时,会进行相应的止鼾操作,也就是说,用户在接受止鼾操作之后会停止打鼾,因此,后续截取的音频数据片段有可能是不存在鼾声的,因此可以不进行鼾声识别,以节约硬件的运算次数。此时,就需要对截取的音频数据片段进行判断。判断的条件可以有很多种方式,例如以下实施例中的通过判断音频数据片段的声强值的最大值或者能量值的最大值来判断该音频数据片段是否可能存在鼾声。
在本申请发明的一些实施中,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:判断所述第二音频数据片段的声强值的最大值是否大于所述声强预设值;如果所述第二音频数据片段的声强值的最大值大于所述声强预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的声强值的最大值不大于所述声强预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
在本申请发明的另外一些实施中,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:判断所述第二音频数据片段的能量值的最大值是否大于所述能量预设值;如果所述第二音频数据片段的能量值的最大值大于所述能量预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的能量值的最大值不大于所述能量预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
步骤七,如果所述第二音频数据片段满足所述第二预设条件,则对所述第二音频数据片段进行鼾声识别,并重复步骤五至步骤七;如果所述第二音频数据片段不满足所述第二预设条件,则重复步骤二至步骤七。
需要说明的是,当后续音频数据片段满足判断条件,即认为音频数据片段存在鼾声时,则对该音频数据片段进行鼾声识别,并且重复步骤五至步骤七,即持续不断地截取新的音频数据片段进行鼾声识别。当后续音频数据片段不满足判断条件,即认为音频数据片段不存在鼾声时,此时则重复步骤二至步骤七。
通过步骤五至步骤七的方案,解决了鼾声识别在产品化时需要解决鼾声循环识别判断的问题,节约硬件的运算次数,特别是减少了鼾声识别判断的次数,因此可以大大地减小了计算量。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请发明实施例还提供了一种鼾声识别的装置,需要说明的是,本申请发明实施例的鼾声识别的装置可以用于执行本申请发明实施例所提供的用于鼾声识别的方法。以下对本申请发明实施例提供的鼾声识别的装置进行介绍。
图2是根据本申请发明实施例的鼾声识别的装置的示意图。
如图2所示,该装置包括:音频数据获取模块201、音频数据片段截取模块202、鼾声识别模块203和鼾声循环识别判断执行模块204。
具体地,音频数据获取模块201,用于实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;
音频数据片段截取模块202,用于实时判断所述目标音频数据是否满足第一预设条件,如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段;用于将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点,并截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段;
鼾声识别模块203,用于对音频数据片段进行鼾声识别;
鼾声循环识别判断执行模块204,用于判断所述第二音频数据片段是否满足第二预设条件,并根据判断结果执行鼾声循环识别操作。
本申请发明实施例提供的鼾声识别装置,通过音频数据获取模块201、音频数据片段截取模块202、鼾声识别模块203和鼾声循环识别判断执行模块204,解决了鼾声识别产品化过程中,鼾声识别算法判断的起始点与鼾声的起始点不对齐,因而导致识别反应慢识别不及时,识别出现延迟的问题;产品化中需要解决鼾声循环识别判断的问题,以及不同人的鼾声周期的处理要求的问题,实现了鼾声识别的产品化。
所述鼾声识别装置包括处理器和存储器,上述音频数据获取模块201、音频数据片段截取模块202、鼾声识别模块203和鼾声循环识别判断执行模块204等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来识别鼾声。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请发明实施例提供了一种止鼾设备,该所述止鼾设备包括鼾声识别装置,所述鼾声识别装置用于执行本发明申请所述鼾声识别方法。本申请发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述鼾声识别的方法。
本领域内的技术人员应明白,本申请发明的实施例可提供为方法、装置、系统、设备或计算机程序产品。因此,本申请发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请发明是参照根据本申请发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请发明的实施例可提供为方法、系统或计算机程序产品。因此,本申请发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请发明的实施例而已,并不用于限制本申请发明。对于本领域技术人员来说,本申请发明可以有各种更改和变化。凡在本申请发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请发明的权利要求范围之内。

Claims (9)

1.一种鼾声识别方法,其特征在于,包括以下步骤:
步骤一,实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;
步骤二,实时判断所述目标音频数据是否满足第一预设条件;
步骤三,如果所述目标音频数据不满足所述第一预设条件,则重复步骤二;如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定;
其中,灵敏级别为低灵敏度级别、中灵敏度级别或者高灵敏度级别,灵敏级别的高低与第一预设时长的长度成反比关系;
步骤四,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段,并对所述第一音频数据片段进行鼾声识别;
步骤五,将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点;
步骤六,截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段,判断所述第二音频数据片段是否满足第二预设条件;
步骤七,如果所述第二音频数据片段满足所述第二预设条件,则对所述第二音频数据片段进行鼾声识别,并重复步骤五至步骤七;如果所述第二音频数据片段不满足所述第二预设条件,则重复步骤二至步骤七。
2.根据权利要求1所述的方法,其特征在于,所述步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:
实时判断所述目标音频数据的声强值是否大于声强预设值;
如果所述目标音频数据的声强值大于所述声强预设值,则判定所述目标音频数据满足预设条件;如果所述目标音频数据的声强值不大于所述声强预设值,则判定所述目标音频数据不满足预设条件。
3.根据权利要求2所述的方法,其特征在于,在所述步骤二之前还包括:
获取设定时间段的环境背景噪音,计算所述设定时间段的环境背景噪音的声强平均值,将所述声强平均值作为所述声强预设值。
4.根据权利要求2所述的方法,其特征在于,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:
判断所述第二音频数据片段的声强值的最大值是否大于所述声强预设值;
如果所述第二音频数据片段的声强值的最大值大于所述声强预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的声强值的最大值不大于所述声强预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
5.根据权利要求1所述的方法,其特征在于,所述步骤二实时判断所述目标音频数据是否满足第一预设条件,具体包括:
对所述目标音频数据进行分帧、加窗处理,并计算每一帧音频数据的能量值;
判断所述每一帧音频数据的能量值是否大于能量预设值;
如果所述每一帧音频数据的能量值大于所述能量预设值,则判定所述目标音频数据满足所述第一预设条件;如果所述目标音频数据的能量值不大于能量预设值,则判定所述目标音频数据不满足所述第一预设条件。
6.根据权利要求5所述的方法,其特征在于,所述步骤六中判断所述第二音频数据片段是否满足第二预设条件,具体包括:
判断所述第二音频数据片段的能量值的最大值是否大于所述能量预设值;
如果所述第二音频数据片段的能量值的最大值大于所述能量预设值,则判定所述第二音频数据片段满足所述第二预设条件;如果所述第二音频数据片段的能量值的最大值不大于所述能量预设值,则判定所述第二音频数据片段不满足所述第二预设条件。
7.一种鼾声识别装置,用于执行权利要求1-6中任一所述鼾声识别方法,其特征在于,包括:
音频数据获取模块,用于实时获取目标音频数据,其中,所述目标音频数据为人睡觉过程中实时采集到的音频数据;
音频数据片段截取模块,用于实时判断所述目标音频数据是否满足第一预设条件,如果所述目标音频数据满足所述第一预设条件,则将对应时刻的目标音频数据中的位置标记为第一起始点,将距离所述第一起始点第一预设时长的位置标记为第一终点,其中,所述第一预设时长是根据用户设定的鼾声识别灵敏级别确定,截取所述第一起始点与所述第一终点之间的音频数据片段并记为第一音频数据片段;用于将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点,并截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段;
其中,灵敏级别为低灵敏度级别、中灵敏度级别或者高灵敏度级别,灵敏级别的高低与第一预设时长的长度成反比关系;
鼾声识别模块,用于对音频数据片段进行鼾声识别;
鼾声循环识别判断执行模块,用于判断所述第二音频数据片段是否满足第二预设条件,并根据判断结果执行鼾声循环识别操作;
标记模块,用于将距离所述第一起始点第二预设时长的位置标记为新的第一起始点,将距离所述新的第一起始点第一预设时长的位置标记为新的第一终点;
截取模块,用于截取所述新的第一起始点与所述新的第一终点之间的音频数据片段并记为第二音频数据片段,判断所述第二音频数据片段是否满足第二预设条件;
判断模块,用于如果所述第二音频数据片段满足所述第二预设条件,则对所述第二音频数据片段进行鼾声识别,并重复步骤五至步骤七;如果所述第二音频数据片段不满足所述第二预设条件,则重复步骤二至步骤七。
8.一种止鼾设备,其特征在于,所述止鼾设备包括鼾声识别装置,所述鼾声识别装置用于执行权利要求1-6中任一所述鼾声识别方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的鼾声识别的方法。
CN202010137872.8A 2020-03-03 2020-03-03 鼾声识别的方法及装置、存储介质止鼾设备和处理器 Active CN111091849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137872.8A CN111091849B (zh) 2020-03-03 2020-03-03 鼾声识别的方法及装置、存储介质止鼾设备和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137872.8A CN111091849B (zh) 2020-03-03 2020-03-03 鼾声识别的方法及装置、存储介质止鼾设备和处理器

Publications (2)

Publication Number Publication Date
CN111091849A CN111091849A (zh) 2020-05-01
CN111091849B true CN111091849B (zh) 2020-12-22

Family

ID=70400215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137872.8A Active CN111091849B (zh) 2020-03-03 2020-03-03 鼾声识别的方法及装置、存储介质止鼾设备和处理器

Country Status (1)

Country Link
CN (1) CN111091849B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312546A (zh) * 2022-09-15 2023-06-23 深圳市倍轻松科技股份有限公司 一种确定鼾声信号的方法、装置、电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000063265A (ko) * 2000-06-10 2000-11-06 김성석 신경회로망을 이용한 음향식별에 기반한 코골이 음향식별방법
JP5780724B2 (ja) * 2010-09-06 2015-09-16 綜合警備保障株式会社 物音検知装置、物音検知方法および物音検知システム
CN103220384A (zh) * 2012-01-18 2013-07-24 黄魏宁 一种危险性鼾声手机采集及自救系统
KR20140028174A (ko) * 2012-07-13 2014-03-10 삼성전자주식회사 음성 인식 방법 및 이를 적용한 전자 장치
US20140337031A1 (en) * 2013-05-07 2014-11-13 Qualcomm Incorporated Method and apparatus for detecting a target keyword
US20170178664A1 (en) * 2014-04-11 2017-06-22 Analog Devices, Inc. Apparatus, systems and methods for providing cloud based blind source separation services
CN104464752B (zh) * 2014-12-24 2018-03-16 海能达通信股份有限公司 一种声反馈检测方法和装置
GB2551209B (en) * 2016-06-06 2019-12-04 Cirrus Logic Int Semiconductor Ltd Voice user interface
CN106531167B (zh) * 2016-11-18 2019-12-10 北京云知声信息技术有限公司 一种语音信息的处理方法及装置
KR20180068475A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 순환 모델에 기초한 인식 및 순환 모델을 트레이닝하는 방법과 장치
CN107785011B (zh) * 2017-09-15 2020-07-03 北京理工大学 语速估计模型的训练、语速估计方法、装置、设备及介质
CN107808670B (zh) * 2017-10-25 2021-05-14 百度在线网络技术(北京)有限公司 语音数据处理方法、装置、设备及存储介质
US20190139565A1 (en) * 2017-11-08 2019-05-09 Honeywell International Inc. Intelligent sound classification and alerting
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
CN109243470B (zh) * 2018-08-16 2020-05-05 南京农业大学 基于音频技术的肉鸡咳嗽监测方法
CN109360584A (zh) * 2018-10-26 2019-02-19 平安科技(深圳)有限公司 基于深度学习的咳嗽监测方法及装置
CN109497956B (zh) * 2019-01-03 2022-03-08 龙马智芯(珠海横琴)科技有限公司 止鼾系统及其控制方法
CN110070884B (zh) * 2019-02-28 2022-03-15 北京字节跳动网络技术有限公司 音频起始点检测方法和装置
CN110517667A (zh) * 2019-09-03 2019-11-29 龙马智芯(珠海横琴)科技有限公司 一种语音处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111091849A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN106940998B (zh) 一种设定操作的执行方法及装置
US10856777B2 (en) Method and device for identifying human movement state
CN109767784B (zh) 鼾声识别的方法及装置、存储介质和处理器
US20140012573A1 (en) Signal processing apparatus having voice activity detection unit and related signal processing methods
CN110838296B (zh) 录音过程的控制方法、系统、电子设备和存储介质
CN111091849B (zh) 鼾声识别的方法及装置、存储介质止鼾设备和处理器
CN113421586B (zh) 梦呓识别方法、装置和电子设备
CN106662970A (zh) 一种设置指纹识别器中断阈值的方法、装置和终端设备
CN106548786A (zh) 一种音频数据的检测方法及系统
CN107951470B (zh) 睡眠信号处理方法及装置
CN105389575A (zh) 生物数据的处理方法和装置
CN109218899A (zh) 一种语音交互场景的识别方法、装置及智能音箱
CN110179436B (zh) 一种鼾声取样方法及终端设备
Boateng et al. VADLite: an open-source lightweight system for real-time voice activity detection on smartwatches
CN111128174A (zh) 一种语音信息的处理方法、装置、设备及介质
CN109389993A (zh) 一种语音数据采集方法、装置、设备及存储介质
CN110547802B (zh) 识别呼吸状态的装置
CN111048089B (zh) 提高智能穿戴设备语音唤醒成功率的方法、电子设备、计算机可读存储介质
CN116746887A (zh) 一种基于音频的睡眠分期的方法、系统、终端及存储介质
CN102148030A (zh) 一种语音识别的端点检测方法
TWI684912B (zh) 語音喚醒裝置及方法
CN111131950B (zh) 三轴加速度感应器控制麦克风开关的方法、电子设备、计算机可读存储介质
WO2022057093A1 (zh) 可穿戴设备及其屏幕唤醒方法、可读存储介质
CN117177179A (zh) 电子围栏告警方法、装置、电子设备和存储介质
CN114176525A (zh) 睡眠质量分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 519031 office 1316, No. 1, lianao Road, Hengqin new area, Zhuhai, Guangdong

Patentee after: LONGMA ZHIXIN (ZHUHAI HENGQIN) TECHNOLOGY Co.,Ltd.

Address before: Room 417, 418, 419, building 20, creative Valley, 1889 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province

Patentee before: LONGMA ZHIXIN (ZHUHAI HENGQIN) TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder