CN112466328B - 呼吸音检测方法、装置和电子设备 - Google Patents

Abstract

本申请公开了呼吸音检测方法、装置和电子设备，涉及语音、自然语言处理、深度学习技术领域。具体实现方案为：获取待检测语音；对待检测语音进行分帧处理，得到多帧帧语音；获取帧语音的能量和帧语音的过零率；将至少连续N帧满足以下条件的帧语音确定为目标帧语音：能量超过预设的第一能量阈值且过零率超过预设的过零率阈值，N为预设的呼吸音长度阈值；以及根据连续的目标帧语音的帧序号确定第一呼吸音区间。该方法能够从待检测语音的多帧帧语音中筛选出能量较大、过零率较大且连续长度也较大的第一呼吸音区间，使得第一呼吸音区间较为符合呼吸音的能量、过零率和长度特征，提高了呼吸音检测的准确性。

Description

呼吸音检测方法、装置和电子设备

技术领域

本申请涉及计算机技术领域中的语音、自然语言处理、深度学习技术领域，尤其涉及一种呼吸音检测方法、装置、电子设备和存储介质。

背景技术

目前，呼吸音检测技术在语音、自然语言处理、医疗监护等领域得到了广泛应用，语音、自然语言处理等应用场景中，一般需要利用呼吸音检测技术对语音信号进行预处理，医疗监护应用场景中，往往需要利用呼吸音检测技术监护病人的健康状况。然而，相关技术中的呼吸音检测方法，容易受到噪声和其他极端情况的干扰，检测准确率较低。

发明内容

提供了一种呼吸音检测方法、装置、电子设备、存储介质和计算机程序产品。

根据第一方面，提供了一种呼吸音检测方法，包括：获取待检测语音；对所述待检测语音进行分帧处理，得到多帧帧语音；获取所述帧语音的能量和所述帧语音的过零率；将至少连续N帧满足以下条件的所述帧语音确定为目标帧语音：所述能量超过预设的第一能量阈值且所述过零率超过预设的过零率阈值，所述N为预设的呼吸音长度阈值；以及根据连续的所述目标帧语音的帧序号确定第一呼吸音区间。

根据第二方面，提供了一种呼吸音检测装置，包括：第一获取模块，用于获取待检测语音；分帧模块，用于对所述待检测语音进行分帧处理，得到多帧帧语音；第二获取模块，用于获取所述帧语音的能量和所述帧语音的过零率；第一确定模块，用于将至少连续N帧满足以下条件的所述帧语音确定为目标帧语音：所述能量超过预设的第一能量阈值且所述过零率超过预设的过零率阈值，所述N为预设的呼吸音长度阈值；以及第二确定模块，用于根据连续的所述目标帧语音的帧序号确定第一呼吸音区间。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的呼吸音检测方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的呼吸音检测方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本申请第一方面所述的呼吸音检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的呼吸音检测方法的流程示意图；

图2是根据本申请第二实施例的呼吸音检测方法中分帧处理的示意图；

图3是根据本申请第三实施例的呼吸音检测方法中待检测语音的频谱与初始过零率曲线图；

图4是根据本申请第四实施例的呼吸音检测方法中第一呼吸音区间的示意图；

图5是根据本申请第五实施例的呼吸音检测方法中细化边界的流程示意图；

图6是根据本申请第六实施例的呼吸音检测方法中第二呼吸音区间的示意图；

图7是根据本申请第七实施例的呼吸音检测方法中确定目标边界帧的流程示意图；

图8是根据本申请第八实施例的呼吸音检测方法中频谱能量筛选的流程示意图；

图9是根据本申请第九实施例的呼吸音检测方法中第三呼吸音区间的示意图；

图10是根据本申请第十实施例的呼吸音检测方法中边缘能量筛选的流程示意图；

图11是根据本申请第十一实施例的呼吸音检测方法的示意图；

图12是根据本申请第一实施例的呼吸音检测装置的框图；

图13是根据本申请第二实施例的呼吸音检测装置的框图；

图14是用来实现本申请实施例的呼吸音检测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

语音可包括语音识别、语音交互等技术领域，是人工智能领域中的一个重要方向。

语音识别(Voice Recognition)是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。

语音交互(Voice Interaction)是一种机器与用户以语音为信息载体进行互动、沟通、信息交换等交互行为的技术，相较于传统的人机交互，具有方便快捷、用户舒适性高的优点。

自然语言处理(Natural Language Processing，NLU)是研究能有效地实现自然语言通信的计算机系统，特别是其中的软件系统的一门科学，是计算机科学领域与人工智能领域中的一个重要方向。

深度学习(Deep Learning，DL)是机器学习(Machine Learning，ML)领域中一个新的研究方向，是学习样本数据的内在规律和表示层次，使得机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据的一门科学，广泛应用于语音和图像识别。

图1是根据本申请第一实施例的呼吸音检测方法的流程示意图。

如图1所示，本申请第一实施例的呼吸音检测方法包括：

S101，获取待检测语音。

需要说明的是，本申请实施例的语音识别方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。

可选的，待检测语音可通过录制、网路传输等方式获取。

例如，当采用录制的方式获取待检测语音时，设备上具有语音采集装置，语音采集装置可为麦克风(Microphone)、麦克风阵列(Microphone Array)等。或者，当采用网络传输的方式获取待检测语音时，设备上具有联网装置，可通过联网装置与其他设备或者服务器进行网络传输。

S102，对待检测语音进行分帧处理，得到多帧帧语音。

可以理解的是，待检测语音的长度可能较长，声学特征可能在待检测语音内部变化较大，则可对待检测语音进行分帧处理，得到多帧帧语音，每帧帧语音具有短时平稳性，即声学特征在每帧帧语音内部变化较小，可将每帧帧语音作为语音处理的对象。

可选的，对待检测语音进行分帧处理，得到多帧帧语音，可包括按照预设的帧长和帧移对待检测语音进行分帧处理，得到预设帧长和帧移的多帧帧语音。

如图2所示，帧长为每帧帧语音的长度，帧移可为第k帧帧语音的开始端点与第(k+1)帧帧语音的开始端点之间的长度，即帧移为相邻的帧语音的开始端点之间的长度。应说明的是，待检测语音分帧处理后得到的多帧帧语音的数量为待检测语音的长度与帧移的比值。

可选的，帧长、帧移均可根据实际情况进行设置，例如，若待检测语音的长度为100ms(毫秒)，可用[0ms,100ms]来表示，帧长可设置为50ms，帧移可设置为10ms，则该待检测语音对应10帧帧语音，第1帧帧语音可用[0ms,50ms]来表示，第2帧帧语音可用[10ms，60ms]来表示，第3帧帧语音可用[20ms，70ms]来表示，其他帧语音可参照上述方式来确定，这里不再赘述。

可选的，对待检测语音进行分帧处理，得到多帧帧语音，还包括根据窗函数对多帧帧语音进行处理，使得帧语音的边界更加平滑。其中，窗函数包括但不限于矩形窗函数、汗宁窗函数、海明窗函数等，这里不做过多限定。

S103，获取帧语音的能量和帧语音的过零率。

需要说明的是，帧语音的能量和帧语音的过零率(Zero Crossing Rate，ZCR)为帧语音的两个重要参数。其中，帧语音的过零率指的是帧语音的符号变化的频率，可包括帧语音从正数变成负数和从负数变成正数的频率，若将帧语音映射在(x，y)平面直角坐标系中，x为时间轴，帧语音的过零率可为帧语音穿过x轴的频率。

可以理解的是，可获取每帧帧语音的能量和过零率，则待检测语音可对应帧语音的能量序列和过零率序列。

可选的，帧语音的能量可根据短时傅里叶变换(Short Time Fourier Transform，STFT)频谱得到。例如，可将短时傅里叶变换频谱图中的每帧帧语音在不同频率上的值的平方和，作为每帧帧语音的能量。

在具体实施中，短时傅里叶变换频谱图可如图3所示。

可选的，获取帧语音的能量之后，还可对帧语音的能量进行归一化处理，使得归一化处理之后的帧语音的能量处于预设能量范围内，便于后续数据处理。其中，预设能量范围可根据实际情况进行设置，例如可设置为[-80dB，0dB]，dB(分贝)可用于表征语音信号能量的强弱。

可选的，帧语音的过零率的取值范围为[0，1]。

可以理解的是，为了直观地将帧语音的过零率在频谱图上进行展示，可将帧语音的过零率与预设系数相乘，以放大帧语音的过零率，之后可将得到的放大之后的帧语音的过零率在频谱图上进行展示。其中，预设系数大于1，可根据实际情况进行设置，例如可设置为4000，此时帧语音的初始过零率曲线如图3所示。

S104，将至少连续N帧满足以下条件的帧语音确定为目标帧语音：能量超过预设的第一能量阈值且过零率超过预设的过零率阈值，N为预设的呼吸音长度阈值。

可以理解的是，能量超过预设的第一能量阈值且过零率超过预设的过零率阈值，表明帧语音的能量较大，且过零率较大，较为符合呼吸音的能量特征和过零率特征，若至少连续N帧帧语音满足上述条件，表明至少连续N帧帧语音较为符合呼吸音的能量特征和过零率特征，且至少连续N帧帧语音的长度大于预设的呼吸音长度阈值，至少连续N帧帧语音的长度较长，符合呼吸音的长度特征，则可将上述至少连续N帧帧语音确定为目标帧语音。

其中，第一能量阈值、过零率阈值、呼吸音长度阈值均可根据实际情况进行设置，例如，第一能量阈值可设置为-60dB，过零率阈值与性别有关，男声过零率阈值可设置为300，女声过零率阈值可设置为450，呼吸音长度阈值可设置为80ms。

可选的，确定目标帧语音之后，还可将待检测语音对应的多帧帧语音中不属于目标帧语音的过零率重新赋值为0，目标帧语音的过零率保持不变，以重新得到帧语音的过零率。在具体实施中，帧语音的初始过零率曲线如图3所示，确定目标帧语音之后，重新得到的过零率曲线如图4所示。

S105，根据连续的目标帧语音的帧序号确定第一呼吸音区间。

可以理解的是，可按照帧语音的先后顺序为每帧帧语音设置帧序号，用于区分不同的帧语音。例如，若待检测语音包括M帧帧语音，则M帧帧语音的帧序号依次为1、2、3至M，M为正整数。

可以理解的是，获取的连续的目标帧语音可为多段，可根据多段连续的目标帧语音的帧序号，确定多个第一呼吸音区间。

举例而言，若待检测语音包括100帧帧语音，100帧帧语音的帧序号依次为1、2、3至100，若获取的目标帧语音的帧序号包括20、21、22至30、65、66、67至90，则可确定连续的目标帧语音为2段，第一呼吸音区间可包括第20帧帧语音至第30帧帧语音的第一呼吸音区间，可用[20，30]来表示，第一呼吸音区间还包括第65帧帧语音至第90帧帧语音的第一呼吸音区间，可用[65，90]来表示。

在具体实施中，对图3所示的多帧帧语音进行初步筛选之后，得到的第一呼吸音区间如图4所示。

综上，根据本申请实施例的呼吸音检测方法，能够根据帧语音的能量、过零率和连续长度，确定目标帧语音，然后根据连续的目标帧语音的帧序号确定第一呼吸音区间，能够从待检测语音的多帧帧语音中筛选出能量较大、过零率较大且连续长度也较大的第一呼吸音区间，使得第一呼吸音区间较为符合呼吸音的能量、过零率和长度特征，提高了呼吸音检测的准确性。

在上述任一实施例的基础上，步骤S102中对待检测语音进行分帧处理之前，还包括对待检测语音进行高通滤波处理，以去除待检测语音中的低频噪声。

可选的，对待检测语音进行高通滤波处理时，高通滤波的通带边界应低于待检测语音的基频。例如，高通滤波的通带边界与性别有关，男声可设置为50Hz(赫兹)，女声可设置为80Hz。

由此，该方法可对待检测语音进行高通滤波处理，以去除待检测语音中的低频噪声，可避免低频噪声对呼吸音检测的影响。

在上述任一实施例的基础上，如图5所示，步骤S105中根据连续的目标帧语音的帧序号确定第一呼吸音区间之后，可包括：

S501，根据第一呼吸音区间内目标帧语音的能量，确定目标边界帧。

可以理解的是，呼吸音与辅音较为相似，可能存在将呼吸音确定为辅音的情况，则在确定第一呼吸音区间之后，还可根据第一呼吸音区间内目标帧语音的能量，确定目标边界帧。

本公开的实施例中，目标边界帧指的是原处于第一呼吸音区间内、重新确定的第二呼吸音区间的边界帧。

S502，以目标边界帧为界，将目标边界帧两侧的呼吸音区间拆分成两个不同的呼吸音区间，得到第二呼吸音区间。

可以理解的是，第一呼吸音区间可包括多个目标边界帧，则可根据每个目标边界帧，对其两侧的呼吸音区间进行拆分，得到多个第二呼吸音区间。

举例而言，若获取的第一呼吸音区间为第1帧帧语音至第10帧帧语音的区间，可用[1，10]来表示，确定的目标边界帧为第3帧帧语音和第6帧帧语音，则得到的第二呼吸音区间可包括第1帧帧语音至第3帧帧语音的区间、第3帧帧语音至第6帧帧语音的区间、第6帧帧语音至第10帧帧语音的区间，分别可用[1，3]、[3，6]、[6，10]来表示。

如图4、6所示，图4中第100帧帧语音附近有一个呈M形的第一呼吸音区间，第92帧帧语音为该第一呼吸音区间的目标边界帧，可以第92帧帧语音为界，将该第一呼吸音区间拆分成两个不同的呼吸音区间，得到的第二呼吸音区间如图6所示。

由此，该方法可根据第一呼吸音区间内的目标帧语音的能量，确定目标边界帧，并根据目标边界帧将第一呼吸音区间进行拆分，得到更准确的第二呼吸音区间。

可选的，如图7所示，步骤S501中根据第一呼吸音区间内目标帧语音的能量，确定目标边界帧，可包括：

S701，若当前目标帧语音与前面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或减小，且当前目标帧语音与后面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或增大，则根据当前目标帧语音的帧序号确定候选边界帧。

可以理解的是，若当前目标帧语音与前面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或减小，且当前目标帧语音与后面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或增大，表明当前目标帧语音的能量小于或者等于前面相邻的至少一个目标帧语音，且小于或者等于后面相邻的至少一个目标帧语音，即当前目标帧语音的能量为局部最小值，较为符合边界帧的能量特征，则可根据当前目标帧语音的帧序号确定候选边界帧。

例如，若第一呼吸音区间内连续的目标帧语音的帧序号依次为i-2、i-1、i、i+1、i+2，对应的能量依次可用E[i-2]、E[i-1]、E[i]、E[i+1]、E[i+2]来表示，当前目标帧语音的帧序号为i，若当前目标帧语音的能量E[i]满足E[i-2]≥E[i-1]≥E[i]且E[i+2]≥E[i+1]≥E[i]，表明当前目标帧语音与前面相邻的2个目标帧语音的能量随着帧序号的增加不变或减小，且当前目标帧语音与后面相邻的2个目标帧语音的能量随着帧序号的增加不变或增大，则可将第i帧帧语音确定为候选边界帧。

可以理解的是，可对第一呼吸音区间内的每个目标关键帧均进行上述处理，以确定候选边界帧。

S702，获取候选边界帧两侧的呼吸音区间内的目标帧语音的最大能量。

举例而言，若获取的第一呼吸音区间为第10帧帧语音至第100帧帧语音的区间，可用[10，100]来表示，确定的候选边界帧为第20帧帧语音和第50帧帧语音，则针对第20帧帧语音，可获取区间[10，20]、[20，50]内的目标帧语音的最大能量，针对第50帧帧语音，可获取区间[20，50]、[50，100]内的目标帧语音的最大能量。其中，[10，20]用于表示第10帧帧语音至第20帧帧语音的区间，[20，50]用于表示第20帧帧语音至第50帧帧语音的区间，[50，100]用于表示第50帧帧语音至第100帧帧语音的区间。

S703，若候选边界帧对应的目标帧语音的能量小于最大能量的第一设定倍数，则将候选边界帧确定为目标边界帧，第一设定倍数小于1。

可以理解的是，若候选边界帧对应的目标帧语音的能量小于最大能量的第一设定倍数，表明候选边界帧的能量较小，符合符合边界帧的能量特征，则可将候选边界帧确定为目标边界帧。

其中，第一设定倍数可根据实际情况进行设置，例如可设置为0.9。

由此，该方法可根据目标帧语音的能量和其前后相邻的目标帧语音的能量之间的大小关系，确定候选边界帧，然后根据候选边界帧的能量和其两侧的呼吸音区间内的目标帧语音的最大能量之间的大小关系，确定目标边界帧。

在上述任一实施例的基础上，如图8所示，步骤S502中得到第二呼吸音区间之后，可包括：

S801，获取第二呼吸音区间内位于第一频率区间内目标帧语音的第一平均能量。

S802，获取第二呼吸音区间内位于第二频率区间内目标帧语音的第二平均能量，第二频率区间的下限值大于第一频率区间的上限值。

S803，获取第二呼吸音区间内位于第三频率区间内目标帧语音的第三平均能量，第三频率区间的下限值大于第二频率区间的上限值。

可以理解的是，第二呼吸音区间中还可能存在辅音和低频噪声，则可根据低频、中频、高频的能量特性，从第二呼吸音区间中去除辅音和低频噪声。

本公开的实施例中，可分别获取第二呼吸音区间内位于第一频率区间、第二频率区间、第三频率区间内目标帧语音的第一平均能量、第二平均能量、第三平均能量。

其中，第一频率区间、第二频率区间、第三频率区间分别表征低频区间、中频区间、高频区间，则第一平均能量、第二平均能量、第三平均能量分别表征低频能量、中频能量、高频能量。

可选的，第一频率区间、第二频率区间、第三频率区间均可根据实际情况进行设置，例如，第一频率区间、第二频率区间、第三频率区间分别可设置为[0Hz，2000Hz]、[2000Hz，6000Hz]、[6000Hz，8000Hz]。

可选的，获取第二呼吸音区间内位于第一频率区间内目标帧语音的第一平均能量，可包括获取第二呼吸音区间内位于第一频率区间内每个目标帧语音的能量，然后获取位于第一频率区间内每个目标帧语音的能量的平均值，将其作为第一平均能量。

需要说明的是，第二平均能量、第三平均能量的获取可参照上述实施例，这里不再赘述。

S804，若第一平均能量和第二平均能量中的较小值的第二设定倍数大于第一平均能量和第二平均能量中的较大值，且第三平均能量小于第一平均能量和第二平均能量中的较小值，第二设定倍数大于1，则将第二呼吸音区间确定为第三呼吸音区间。

可以理解的是，若第一平均能量和第二平均能量中的较小值的第二设定倍数大于第一平均能量和第二平均能量中的较大值，且第三平均能量小于第一平均能量和第二平均能量中的较小值，表明低频能量和中频能量中的较小值的第二设定倍数大于低频能量和中频能量中的较大值，且高频能量小于低频能量和中频能量中的较小值，较为符合呼吸音区间的频谱能量特征。

其中，第二设定倍数可根据实际情况进行设置，例如可设置为1.5。

在具体实施中，对图6所示的第二呼吸音区间进行频谱能量筛选之后，得到的第三呼吸音区间如图9所示。

由此，该方法可根据第二呼吸音区间内低频能量、中频能量、高频能量之间的大小关系，从第二呼吸音区间中筛选出符合频谱能量特征的第三呼吸音区间，可有效去除辅音和低频噪声。

在上述任一实施例的基础上，如图10所示，步骤S804中确定第三呼吸音区间之后，可包括：

S1001，获取第三呼吸音区间内目标帧语音的第四平均能量。

S1002，获取第三呼吸音区间前面相邻的至少一个帧语音和后面相邻的至少一个帧语音的第五平均能量。

S1003，若第五平均能量小于第四平均能量，则将第三呼吸音区间确定为第四呼吸音区间。

可以理解的是，第三呼吸音区间内可能还存在与呼吸音相似的辅音，辅音一般与元音相连，元音的能量较大，而呼吸音一般与静音相连，则可根据边缘能量，从第三呼吸音区间中去除辅音。

本公开的实施例中，可获取第三呼吸音区间内目标帧语音的第四平均能量，以及前面相邻的至少一个帧语音和后面相邻的至少一个帧语音的第五平均能量，可知第五平均能量为第三呼吸音区间的边缘能量，若第五平均能量小于第四平均能量，表明第三呼吸音区间的边缘能量较小，符合呼吸音区间的边缘能量特征，则可将第三呼吸音区间确定为第四呼吸音区间。

例如，若第三呼吸音区间为第i帧帧语音至第j帧帧语音的区间，可用[i，j]来表示，第三呼吸音区间内目标帧语音的第四平均能量可用E[i，j]来表示，前面相邻的2个帧语音的帧序号依次为i-2，i-1，对应的能量依次可用E[i-2]、E[i-1]来表示，后面相邻的2个帧语音的帧序号依次为j+1，j+2，对应的能量依次可用E[j+1]、E[j+2]来表示，则第三呼吸音区间内前面相邻的2个帧语音和后面相邻的2个帧语音的第五平均能量可用E[i-1]+E[i-2]+E[j+1]+E[j+2])/4来表示。

若E[i-1]+E[i-2]+E[j+1]+E[j+2])/4<E[i，j]，表明第五平均能量小于第四平均能量，则可将第三呼吸音区间确定为第四呼吸音区间。

由此，该方法可根据第三呼吸音区间内目标帧语音的第四平均能量和边缘能量之间的大小关系，从第三呼吸音区间中筛选出符合边缘能量特征的第四呼吸音区间，可有效去除与呼吸音相似的辅音。

在上述任一实施例的基础上，步骤S1003中确定为第四呼吸音区间之后，还可将第四平均能量等于或者小于预设的第二能量阈值的第四呼吸音区间确定为第五呼吸音区间，第二能量阈值大于第一能量阈值。

可以理解的是，第四呼吸音区间中可能还存在能量较大的元音和辅音，则可根据平均能量特征，从第四呼吸音区间中去除元音和辅音。

本公开的实施例中，若第四呼吸音区间内目标帧语音的第四平均能量等于或者小于预设的第二能量阈值，表明第四平均能量较小，符合呼吸音区间的平均能量特征，则可将第四呼吸音区间确定为第五呼吸音区间。

其中，第二能量阈值可根据实际情况进行设置，例如可设置为-15dB。

由此，该方法可根据第四呼吸音区间内目标帧语音的第四平均能量和第二能量阈值之间的大小关系，从第四呼吸音区间中筛选出符合平均能量特征的第五呼吸音区间，可有效去除元音和辅音。

如图11所示，可先对待检测语音进行高通滤波处理，以去除待检测语音中的低频噪声，然后对滤波后的待检测语音进行分帧处理，得到多帧帧语音，之后可获取帧语音的能量和过零率，并根据帧语音的能量、过零率初步对待检测语音进行筛选，可得到第一呼吸音区间，之后可对第一呼吸音区间进行细化边界处理，以去除与呼吸音相连的辅音，可得到第二呼吸音区间，之后可对第二呼吸音区间进行频谱能量筛选处理，可得到符合频谱能量特征的第三呼吸音区间，之后可对第三呼吸音区间进行边缘能量筛选处理，以去除与呼吸音相似的辅音，可得到符合边缘能量特征的第四呼吸音区间，之后可对第四呼吸音区间进行平均能量筛选处理，以去除能量较大的元音和辅音，可得到第五呼吸音区间，可将得到的第五呼吸音区间作为最终检测到的呼吸音区间。

图12是根据本申请第一实施例的呼吸音检测装置的框图。

如图12所示，本申请实施例的呼吸音检测装置1200，包括：第一获取模块1201、分帧模块1202、第二获取模块1203、第一确定模块1204和第二确定模块1205。

第一获取模块1201，用于获取待检测语音。

分帧模块1202，用于对所述待检测语音进行分帧处理，得到多帧帧语音。

第二获取模块1203，用于获取所述帧语音的能量和所述帧语音的过零率。

第一确定模块1204，用于将至少连续N帧满足以下条件的所述帧语音确定为目标帧语音：所述能量超过预设的第一能量阈值且所述过零率超过预设的过零率阈值，所述N为预设的呼吸音长度阈值。

第二确定模块1205，用于根据连续的所述目标帧语音的帧序号确定第一呼吸音区间。

综上，根据本申请实施例的呼吸音检测装置，能够根据帧语音的能量、过零率和连续长度，确定目标帧语音，然后根据连续的目标帧语音的帧序号确定第一呼吸音区间，能够从待检测语音的多帧帧语音中筛选出能量较大、过零率较大且连续长度也较大的第一呼吸音区间，使得第一呼吸音区间较为符合呼吸音的能量、过零率和长度特征，提高了呼吸音检测的准确性。

图13是根据本申请第二实施例的呼吸音检测装置的框图。

如图13所示，本申请实施例的呼吸音检测装置1300，包括：第一获取模块1301、分帧模块1302、第二获取模块1303、第一确定模块1304、第二确定模块1305、滤波模块1306、第三确定模块1307、拆分模块1308、第四确定模块1309、第五确定模块1310和第六确定模块1311。

其中，第一获取模块1301与第一获取模块1201具有相同功能和结构，分帧模块1302与分帧模块1202具有相同功能和结构，第二获取模块1303与第二获取模块1203具有相同功能和结构，第一确定模块1304与第一确定模块1204具有相同功能和结构，第二确定模块1305与第二确定模块1205具有相同功能和结构。

在本申请的一个实施例中，滤波模块1306，用于：所述对所述待检测语音进行分帧处理之前，对所述待检测语音进行高通滤波处理，以去除所述待检测语音中的低频噪声。

在本申请的一个实施例中，第三确定模块1307，用于根据所述第一呼吸音区间内所述目标帧语音的能量，确定目标边界帧；拆分模块1308，用于以所述目标边界帧为界，将所述目标边界帧两侧的呼吸音区间拆分成两个不同的呼吸音区间，得到第二呼吸音区间。

在本申请的一个实施例中，所述第三确定模块1307，包括：第一确定单元，用于若当前所述目标帧语音与前面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或减小，且当前所述目标帧语音与后面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或增大，则根据当前所述目标帧语音的帧序号确定候选边界帧；获取单元，用于获取所述候选边界帧两侧的呼吸音区间内的目标帧语音的最大能量；以及第二确定单元，用于若所述候选边界帧对应的所述目标帧语音的能量小于所述最大能量的第一设定倍数，则将所述候选边界帧确定为所述目标边界帧，所述第一设定倍数小于1。

在本申请的一个实施例中，第四确定模块1309，用于：获取所述第二呼吸音区间内位于第一频率区间内所述目标帧语音的第一平均能量；获取所述第二呼吸音区间内位于第二频率区间内所述目标帧语音的第二平均能量，所述第二频率区间的下限值大于所述第一频率区间的上限值；获取所述第二呼吸音区间内位于第三频率区间内所述目标帧语音的第三平均能量，所述第三频率区间的下限值大于所述第二频率区间的上限值；以及若所述第一平均能量和所述第二平均能量中的较小值的第二设定倍数大于所述第一平均能量和所述第二平均能量中的较大值，且所述第三平均能量小于所述第一平均能量和所述第二平均能量中的较小值，所述第二设定倍数大于1，则将所述第二呼吸音区间确定为第三呼吸音区间。

在本申请的一个实施例中，第五确定模块1310，用于：获取所述第三呼吸音区间内所述目标帧语音的第四平均能量；获取所述第三呼吸音区间前面相邻的至少一个帧语音和后面相邻的至少一个帧语音的第五平均能量；以及若所述第五平均能量小于所述第四平均能量，则将所述第三呼吸音区间确定为第四呼吸音区间。

在本申请的一个实施例中，第六确定模块1311，用于：将所述第四平均能量等于或者小于预设的第二能量阈值的所述第四呼吸音区间确定为第五呼吸音区间，所述第二能量阈值大于所述第一能量阈值。

综上，根据本申请实施例的呼吸音检测装置，能够根据帧语音的能量、过零率和连续长度，确定目标帧语音，然后根据连续的目标帧语音的帧序号确定第一呼吸音区间，能够从待检测语音的多帧帧语音中筛选出能量较大、过零率较大且连续长度也较大的第一呼吸音区间，使得第一呼吸音区间较为符合呼吸音的能量、过零率和长度特征，提高了呼吸音检测的准确性。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图14所示，是根据本申请实施例的呼吸音检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，智能语音交互设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图14所示，该电子设备包括：一个或多个处理器1401、存储器1402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器1401可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器1401为例。

存储器1402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的呼吸音检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的呼吸音检测方法。

存储器1402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的呼吸音检测方法对应的程序指令/模块(例如，附图12所示的第一获取模块1201、分帧模块1202、第二获取模块1203、第一确定模块1204和第二确定模块1205)。处理器1401通过运行存储在存储器1402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的呼吸音检测方法。

存储器1402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据呼吸音检测方法的电子设备的使用所创建的数据等。此外，存储器1402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1402可选包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至呼吸音检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

呼吸音检测方法的电子设备还可以包括：输入装置1403和输出装置1404。处理器1401、存储器1402、输入装置1403和输出装置1404可以通过总线或者其他方式连接，图14中以通过总线连接为例。

输入装置1403可接收输入的数字或字符信息，以及产生与呼吸音检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本申请提供了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述实施例所述的呼吸音检测方法。

根据本申请实施例的技术方案，能够根据帧语音的能量、过零率和连续长度，确定目标帧语音，然后根据连续的目标帧语音的帧序号确定第一呼吸音区间，能够从待检测语音的多帧帧语音中筛选出能量较大、过零率较大且连续长度也较大的第一呼吸音区间，使得第一呼吸音区间较为符合呼吸音的能量、过零率和长度特征，提高了呼吸音检测的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种呼吸音检测方法，包括：

获取待检测语音；

对所述待检测语音进行分帧处理，得到多帧帧语音；

获取所述帧语音的能量和所述帧语音的过零率；

将至少连续N帧满足以下条件的所述帧语音确定为目标帧语音：所述能量超过预设的第一能量阈值且所述过零率超过预设的过零率阈值，所述N为预设的呼吸音长度阈值；以及

根据连续的所述目标帧语音的帧序号确定第一呼吸音区间；

所述方法，还包括：

若当前所述目标帧语音与前面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或减小，且当前所述目标帧语音与后面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或增大，则根据当前所述目标帧语音的帧序号确定候选边界帧；

获取所述候选边界帧两侧的呼吸音区间内的目标帧语音的最大能量；以及

若所述候选边界帧对应的所述目标帧语音的能量小于所述最大能量的第一设定倍数，则将所述候选边界帧确定为目标边界帧，所述第一设定倍数小于1；以及

以所述目标边界帧为界，将所述目标边界帧两侧的呼吸音区间拆分成两个不同的呼吸音区间，得到第二呼吸音区间。

2.根据权利要求1所述的呼吸音检测方法，所述对所述待检测语音进行分帧处理之前，还包括：

对所述待检测语音进行高通滤波处理，以去除所述待检测语音中的低频噪声。

3.根据权利要求1所述的呼吸音检测方法，还包括：

获取所述第二呼吸音区间内位于第一频率区间内所述目标帧语音的第一平均能量；

获取所述第二呼吸音区间内位于第二频率区间内所述目标帧语音的第二平均能量，所述第二频率区间的下限值大于所述第一频率区间的上限值；

获取所述第二呼吸音区间内位于第三频率区间内所述目标帧语音的第三平均能量，所述第三频率区间的下限值大于所述第二频率区间的上限值；以及

若所述第一平均能量和所述第二平均能量中的较小值的第二设定倍数大于所述第一平均能量和所述第二平均能量中的较大值，且所述第三平均能量小于所述第一平均能量和所述第二平均能量中的较小值，所述第二设定倍数大于1，则将所述第二呼吸音区间确定为第三呼吸音区间。

4.根据权利要求3所述的呼吸音检测方法，还包括：

获取所述第三呼吸音区间内所述目标帧语音的第四平均能量；

获取所述第三呼吸音区间前面相邻的至少一个帧语音和后面相邻的至少一个帧语音的第五平均能量；以及

若所述第五平均能量小于所述第四平均能量，则将所述第三呼吸音区间确定为第四呼吸音区间。

5.根据权利要求4所述的呼吸音检测方法，还包括：

将所述第四平均能量等于或者小于预设的第二能量阈值的所述第四呼吸音区间确定为第五呼吸音区间，所述第二能量阈值大于所述第一能量阈值。

6.一种呼吸音检测装置，包括：

第一获取模块，用于获取待检测语音；

分帧模块，用于对所述待检测语音进行分帧处理，得到多帧帧语音；

第二获取模块，用于获取所述帧语音的能量和所述帧语音的过零率；

第一确定模块，用于将至少连续N帧满足以下条件的所述帧语音确定为目标帧语音：所述能量超过预设的第一能量阈值且所述过零率超过预设的过零率阈值，所述N为预设的呼吸音长度阈值；以及

第二确定模块，用于根据连续的所述目标帧语音的帧序号确定第一呼吸音区间；

所述装置还包括：

第三确定模块，用于若当前所述目标帧语音与前面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或减小，且当前所述目标帧语音与后面相邻的至少一个目标帧语音的能量随着帧序号的增加不变或增大，则根据当前所述目标帧语音的帧序号确定候选边界帧；获取所述候选边界帧两侧的呼吸音区间内的目标帧语音的最大能量；以及若所述候选边界帧对应的所述目标帧语音的能量小于所述最大能量的第一设定倍数，则将所述候选边界帧确定为目标边界帧，所述第一设定倍数小于1；

拆分模块，用于以所述目标边界帧为界，将所述目标边界帧两侧的呼吸音区间拆分成两个不同的呼吸音区间，得到第二呼吸音区间。

7.根据权利要求6所述的呼吸音检测装置，所述装置还包括：滤波模块，所述滤波模块，用于：

所述对所述待检测语音进行分帧处理之前，对所述待检测语音进行高通滤波处理，以去除所述待检测语音中的低频噪声。

8.根据权利要求6所述的呼吸音检测装置，所述装置还包括：第四确定模块，所述第四确定模块，用于：

获取所述第二呼吸音区间内位于第一频率区间内所述目标帧语音的第一平均能量；

获取所述第二呼吸音区间内位于第二频率区间内所述目标帧语音的第二平均能量，所述第二频率区间的下限值大于所述第一频率区间的上限值；

获取所述第二呼吸音区间内位于第三频率区间内所述目标帧语音的第三平均能量，所述第三频率区间的下限值大于所述第二频率区间的上限值；以及

若所述第一平均能量和所述第二平均能量中的较小值的第二设定倍数大于所述第一平均能量和所述第二平均能量中的较大值，且所述第三平均能量小于所述第一平均能量和所述第二平均能量中的较小值，所述第二设定倍数大于1，则将所述第二呼吸音区间确定为第三呼吸音区间。

9.根据权利要求8所述的呼吸音检测装置，所述装置还包括：第五确定模块，所述第五确定模块，用于：

获取所述第三呼吸音区间内所述目标帧语音的第四平均能量；

获取所述第三呼吸音区间前面相邻的至少一个帧语音和后面相邻的至少一个帧语音的第五平均能量；以及

若所述第五平均能量小于所述第四平均能量，则将所述第三呼吸音区间确定为第四呼吸音区间。

10.根据权利要求9所述的呼吸音检测装置，所述装置还包括：第六确定模块，所述第六确定模块，用于：

将所述第四平均能量等于或者小于预设的第二能量阈值的所述第四呼吸音区间确定为第五呼吸音区间，所述第二能量阈值大于所述第一能量阈值。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的呼吸音检测方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的呼吸音检测方法。