CN110970010A - 噪音消除方法、装置、存储介质及设备 - Google Patents

噪音消除方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN110970010A
CN110970010A CN201911219045.7A CN201911219045A CN110970010A CN 110970010 A CN110970010 A CN 110970010A CN 201911219045 A CN201911219045 A CN 201911219045A CN 110970010 A CN110970010 A CN 110970010A
Authority
CN
China
Prior art keywords
noise
signal
noise signal
generated
next section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911219045.7A
Other languages
English (en)
Inventor
黄中一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911219045.7A priority Critical patent/CN110970010A/zh
Publication of CN110970010A publication Critical patent/CN110970010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3038—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3047—Prediction, e.g. of future values of noise

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本申请公开了一种噪音消除方法、装置、存储介质及设备，属于音频处理技术领域。所述方法包括：获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号。本申请利用了人类声音的短时平滑性特征，能够在人类声音的平滑时长内预测出外界环境即将产生的下一段噪音信号，并可以提前据此生成反向音频信号，从而达到对环境噪音和人声噪音完全消除的效果，降噪效果较好。

Description

噪音消除方法、装置、存储介质及设备
技术领域
本申请涉及音频处理技术领域，特别涉及一种噪音消除方法、装置、存储介质及设备。
背景技术
噪音是指一类引起人烦躁或因音量过大而危害人体健康的声音。从广义上讲，凡是妨碍人们正常休息、学习和工作的声音，以及对人们想要听到的声音产生干扰的声音都属于噪音，即噪音通常分为环境噪音和人声噪音两大类。示例性地，街道上的汽车声、安静环境下的说话声、建筑工地上的机器声、以及隔壁的装修电钻声等都属于噪音。设想一种场景，当人们处于休息、学习或工作状态下时，如果能够较好地将噪音消除(简称为降噪)，则会大大提升用户体验。为此，如何进行噪音消除，成为了本领域技术人员一项极具挑战却又必须完成的工作。
发明内容
本申请实施例提供了一种噪音消除方法、装置、存储介质及设备，降噪效果较好，不但能够良好地消除环境噪音，而且还能够良好地消除人声噪音。所述技术方案如下：
一方面，提供了一种噪音消除方法，所述方法包括：
获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；
根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；
生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号。
在一种可能的实现方式中，所述生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号，包括：
生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号，在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
在一种可能的实现方式中，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
对当前获取到的噪音信号进行预处理；
根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
在一种可能的实现方式中，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，所述深度神经网络的训练过程包括：
获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；
基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
在一种可能的实现方式中，所述音频特征包括：时域特征和频域特征；所述时域特征至少包括振动频率、振幅；所述频域特征至少包括能量分布和频率分布。
另一方面，提供了一种噪音消除装置，所述装置包括：
获取模块，用于获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；
处理模块，用于根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；
生成模块，用于生成与预测出的下一段噪音信号振动方向相反的反向音频信号；
播放模块，用于播放生成的反向音频信号。
在一种可能的实现方式中，所述生成模块，还用于生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号；
所述播放模块，还用于在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
在一种可能的实现方式中，所述生成模块，还用于对当前获取到的噪音信号进行预处理；根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
在一种可能的实现方式中，所述生成模块，还用于根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，所述装置，还包括：
训练模块，用于获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
另一方面，提供了一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的噪音消除方法。
另一方面，提供了一种噪音消除设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的噪音消除方法。
本申请实施例提供的技术方案带来的有益效果是：
噪音消除设备在获取至少一个拾音器当前收集到的外界环境中的噪音信号后，会根据当前获取到的噪音信号在目标时长内预测出外界环境中即将产生的下一段噪音信号，并生成与预测出的下一段噪音信号振动方向相反的反向音频信号，以及播放生成的反向音频信号。其中，目标时长是基于人类声音的平滑性时长设置的，即本申请实施例提出的降噪方式利用了人类声音的短时平滑性特征，即人类声音在30至100毫秒内不会快速变化，本申请实施例能够在该段时长内预测出外界环境即将产生的下一段噪音信号，并可以提前据此生成反向音频信号，从而达到对环境噪音和人声噪音完全消除的效果。
换一种表达方式，本申请实施例采用了预判机制，对即将要产生的未来噪音进行预判，并提前生成预测出的未来噪音的反向声波，从而在下一波噪音抵达人耳之前完成抵消。该种降噪方式不但能够良好地消除环境噪音，而且还能够良好地消除人声噪音，降噪效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种噪音消除方法所涉及的实施环境的示意图；
图2是本申请实施例提供的一种噪音消除设备的结构示意图；
图3是本申请实施例提供的一种噪音消除方法的流程图；
图4是本申请实施例提供的一种噪音消除方法的流程图；
图5是本申请实施例提供的一种噪音消除过程的示意图；
图6是本申请实施例提供的一种噪音消除装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例可能涉及到的一些名词术语和缩略语进行介绍。
噪音：是一类引起人烦躁或因音量过大而危害人体健康的声音。从环境保护的角度来讲，凡是妨碍人们正常休息、学习和工作的声音，以及对人们想要听的声音产生干扰的声音都属于噪音。从物理学的角度来讲，噪音是发声体做无规则振动时发出的声音。
示例性地，噪音的来源很多，比如街道上的汽车声、安静环境下的说话声、建筑工地上的机器声、以及邻居电视机过大的声音都属于噪音。
通常来讲，噪音分为环境噪音和人声噪音两大类。其中，环境噪音相较于人声噪音来讲，频率较低且规律性强，比如散热风扇工作时的噪音、空调吹风的噪音以及其他比较规律的低频噪音等。而人声噪音与环境噪音相比，则变化迅速、规律性差，人声频率处在低频区域的相对较少。
深度学习：源于人工神经网络的研究，其是机器学习中一种基于对数据进行表征学习的方法。换一种表达方式，深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络。
而深度神经网络(Deep Neural Networks，DNN)可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络(Deep Feedfarward Network，DFN)，多层感知机(Multi-Layer Perceptron，MLP)。
下面对本申请实施例提供的噪音消除方法所涉及的实施环境进行介绍。
作为一个示例，参见图1，本申请实施例提供的噪音消除方法可应用在诸如降噪耳机上、车舱内等场景下，即噪音消除设备100可以设置在降噪耳机或车辆上。需要说明的是，图1仅是给出一种可能的应用场景说明，该噪音消除方法还可应用在除了图1所示的其他场景下，本申请实施例对此不进行具体限定。
示例一，以该噪音消除方法应用在降噪耳机上为例，则用户在佩戴降噪耳机后，该降噪耳机能够完全消除外界环境中出现的环境噪音和人声噪音，使得用户能够专心于听音乐、工作或学习等。
示例二，以该噪音消除方法应用在车舱内为例，则通过该噪音消除方法能够消除诸如路噪、风噪、发动机噪音和车舱外的人声噪音等，使得用户能够行驶在安静环境下。
在一个示例性的实施方式中，图2是本申请实施例提供的一种噪音消除设备100的结构示意图。
参见图2，该噪音消除设备100包括：至少一个拾音器101、播放器102、处理器103和存储器104。其中，拾音器101可以为麦克风，播放器102可以为扬声器，本申请实施例对此不进行具体限定。
在本申请实施例中，至少一个拾音器101用于收集外界环境中的噪音信号；处理器103(也称为处理芯片)，用于加载存储器104存储的至少一条指令，并执行至少一条指令以实现本申请实施例所提供的噪音消除方法，即处理器103用于进行具体的噪音消除处理，生成与噪音信号振动方向相反的反向音频信号(也称为反向声波)；而播放器102负责对外播放反向音频信号。
由于声音是以波的形式通过介质比如空气振动传播，这种振动具有一定的方向和振幅，因此在本申请实施例中，反向声波所指代的就是跟原始声音相同振幅，但方向相反的振动。
当然，该噪音消除设备100还可以包括比上述部件更多的部件，比如输入输出接口部件，以便进行输入输出，本申请实施例对此不进行具体限定。
基于上述实施环境，本申请实施例提供的噪音消除方法能够增强对于变化迅速且无规律的噪音(比如人声噪音)的降噪能力。换一种表达方式，本申请实施例通过预测出外界环境中即将产生的下一段噪音信号(也称为未来噪音)，据此生成未来噪音的反向音频信号，并通过播放器播出该反向音频信号，能够实现环境噪音和人声噪音的完全去除。
详细来说，本申请实施例提出的降噪方式利用了人类声音的短时平滑性特征，即人类声音在30至100毫秒内不会快速变化，因此若能够在30至100毫秒内预测出即将产生的下一段噪音信号，便可以提前据此生成反向音频信号，从而达到对噪声完全消除的效果。即，本申请实施例采用了预判机制，对未来即将要产生的噪音进行预判，并提前生成未来噪音的反向声波，从而在下一波噪音抵达人耳之前完成抵消。
下面对本申请实施例提供的噪音消除方法进行详细地解释说明。
图3是本申请实施例提供的一种噪音消除方法的流程图。该方法的执行主体为图1和图2中示出的噪音消除设备100。参见图3，本申请实施例提供的方法流程包括：
301、获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种。
302、根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的。
303、生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号。
本申请实施例提供的方法，在获取至少一个拾音器当前收集到的外界环境中的噪音信号后，会根据当前获取到的噪音信号在目标时长内预测出外界环境中即将产生的下一段噪音信号，并生成与预测出的下一段噪音信号振动方向相反的反向音频信号，以及播放生成的反向音频信号。其中，目标时长是基于人类声音的平滑性时长设置的，即本申请实施例提出的降噪方式利用了人类声音的短时平滑性特征，即人类声音在30至100毫秒内不会快速变化，本申请实施例能够在该段时长内预测出外界环境即将产生的下一段噪音信号，并可以提前据此生成反向音频信号，从而达到对环境噪音和人声噪音完全消除的效果。
换一种表达方式，本申请实施例采用了预判机制，对即将要产生的未来噪音进行预判，并提前生成预测出的未来噪音的反向声波，从而在下一波噪音抵达人耳之前完成抵消。该种降噪方式不但能够良好地消除环境噪音，而且还能够良好地消除人声噪音，降噪效果较好。
在一种可能的实现方式中，所述生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号，包括：
生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号，在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
在一种可能的实现方式中，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
对当前获取到的噪音信号进行预处理；
根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
在一种可能的实现方式中，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，所述深度神经网络的训练过程包括：
获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；
基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
在一种可能的实现方式中，所述音频特征包括：时域特征和频域特征；所述时域特征至少包括振动频率、振幅；所述频域特征至少包括能量分布和频率分布。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图4是本申请实施例提供的一种噪音消除方法的流程图。该方法的执行主体为图1和图2中示出的噪音消除设备100。参见图4，本申请实施例提供的方法流程包括：
401、获取至少一个拾音器当前收集到的外界环境中的噪音信号，并对当前获取到的噪音信号进行预处理。
其中，当前获取到的噪音信号包括环境噪音和人声噪音中的至少一种；即，当前获取到的噪音信号可能既包括人声噪音，也包括环境噪音；或者，仅包括人声噪音；或者，仅包括环境噪音，本申请实施例对此不进行具体限定。
在一种可能的实现方式中，拾音器的个数可能因为场景不同而不同。示例性地，针对降噪耳机，拾音器的数量可能仅为一个，且为外置麦克风，专用于进行外界环境中的噪音收集。而针对车舱内场景，拾音器的数量可能为多个。
需要说明的是，由于声音是由物体振动而产生的声波，因此噪音信号在本文中也称之为噪音声波。
在本申请实施例中，在执行下述步骤402之前，噪音消除设备还会先对获取到的噪音信号进行简单地音频预处理。作为一个示例，对噪音信号进行预处理包括但不限于常用的音频预处理过程，比如音量归一化处理、毛刺消除处理等，本申请实施例对此不进行具体限定。
402、根据预处理后的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号。
在本申请实施例中，目标时长是基于人类声音的平滑性时长设置的。由于人类声音具有短时平滑性，比如在30至100毫秒内的人声不会快速变化，因此目标时长的取值范围可为30至100毫秒。示例性地，为了取得更好的噪音消除效果，目标时长的取值可为30毫秒，本申请实施例对此不进行具体限定。
在一种可能的实现方式中，下一段噪音信号的持续时长可以与目标时长一致，比如为30毫秒，本申请实施例对此同样不进行具体限定。
作为一个示例，噪音消除设备预测出的即将产生的下一段噪音信号的音频特征包括：时域特征和频域特征。其中，时域特征包括但不限于：在时域的振动频率和振幅特征；频域特征包括但不限于：在频域的能量分布和频率分布特征。另外，音频特征还可包括通过数学变换获得的其他特征等。
在本申请实施例中，预测外界环境即将产生的下一段噪音信号，包括但不限于采取如下两种方式。
4021、基于深度学习技术进行预测
针对该步骤，即根据当前获取到的噪音信号，在目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号。
在一种可能的实现方式中，深度神经网络的训练过程可以为：
步骤a、获取训练样本数据，该训练样本数据包括采集到的多种噪音样本信号的音频文件。
在本申请实施例中，用于训练深度神经网络的训练数据可在多种环境下进行采集。示例性地，采集到的噪音样本信号中可以既包括环境噪音，也包括人声噪音，还可以包括由人声和环境噪音混合的混合型噪音，本申请实施例对此不进行具体限定。
步骤b、将一段噪音样本信号输入初始的深度学习模型中，得到深度学习模型输出的下一段预测噪音信号；基于目标损失函数，确定下一段预测噪音信号与实际的下一段噪音样本信号是否匹配。
示例性地，可在采集到的任意一种噪音样本信号中截取一小段噪音样本信号输入到训练中的深度学习模型，比如截取30ms时间长度的一小段噪音样本信号。相应地，训练中的深度学习模型也可以输出与输入的这段噪音样本信号在时间上紧邻且长度同样为30ms的一段预测噪音信号。
需要说明的是，本申请实施例对深度神经网络的训练过程不进行具体限定，此处仅是给出一种可能的实现方式说明。
其中，损失函数是用于检测深度神经网络输出的预测结果与实际结果是否具有一致性的检测函数。作为一个示例，上述目标损失函数可为交叉熵损失函数，深度学习模型可为卷积神经网络(Convolutional Neural Networks,CNN)，或递归神经网络(RecursiveNeural Network，RNN)，本申请实施例对此不进行具体限定。在一种可能的实现方式中，上述下一段预测噪音信号与实际的下一段噪音样本信号的匹配条件可以为二者之间的误差在允许的范围内。
步骤c、当下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至模型收敛，得到深度神经网络。
示例性地，可利用随机梯度下降算法来优化深度学习模型的网络参数，直至模型收敛。在一种可能的实现方式中，模型收敛的条件可以为深度神经网络输出的预测结果的准确率达到设定的阈值。其中，设定的阈值可以为90％或95％等数值，本申请实施例对此同样不进行具体限定。
4022、基于非深度学习技术进行预测
针对该步骤，除了基于深度学习技术进行预测之外，本申请实施例也支持采取诸如高斯混合模型(Gaussian Mixture Models，GMM)，隐马尔可夫模型(Hidden MarkovModel，HMM)，主成分分析(PCA,Principal Components Analysis)等模型，对外界环境即将产生的下一段噪音信号进行预测，本申请实施例对此不进行具体限定。
403、生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号。
在一种可能的实现方式中，生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号，包括但不限于：生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号，在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
其中，上述相位相反指代二者的相位相差180度。示例性地，如图5所示，生成的反向声波与即将产生的未来噪音在相位上相差180度，但振动频率和振幅等特征是相同的，进而在播放反向声波后，产生将噪音抵消掉的效果。
需要说明的第一点是，上述步骤401至步骤403可以重复地进行，进而在用户有降噪需求的场景下持续性为用户进行降噪处理，使得用户能够在安静环境下进行休息、工作或学习。
需要说明的第二点是，上述播放器具体为扬声器。其中，针对不同的场景来说扬声器的数量可能会不同。比如，针对降噪耳机，由于耳机紧贴人耳，因此扬声器的数量可以为一个；而针对车舱内场景来说，扬声器的数量可能为多个，实现多个扬声器协调作业制造声波场，进而确保噪音可以无死角被抵消掉。
本申请实施例提供的方法，噪音消除设备在获取至少一个拾音器当前收集到的外界环境中的噪音信号后，会根据当前获取到的噪音信号在目标时长内预测出外界环境中即将产生的下一段噪音信号，并生成与预测出的下一段噪音信号振动方向相反的反向音频信号，以及播放生成的反向音频信号。其中，目标时长是基于人类声音的平滑性时长设置的，即本申请实施例提出的降噪方式利用了人类声音的短时平滑性特征，即人类声音在30至100毫秒内不会快速变化，本申请实施例能够在该段时长内预测出外界环境即将产生的下一段噪音信号，并可以提前据此生成反向音频信号，从而达到对环境噪音和人声噪音完全消除的效果。
换一种表达方式，本申请实施例采用了预判机制，对即将要产生的未来噪音进行预判，并提前生成预测出的未来噪音的反向声波，从而在下一波噪音抵达人耳之前完成抵消。该种降噪方式不但能够良好地消除环境噪音，而且还能够良好地消除人声噪音，降噪效果较好。
图6是本申请实施例提供的一种噪音消除装置的结构示意图。参见图6，该装置包括：
获取模块601，用于获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；
处理模块602，用于根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；
生成模块603，用于生成与预测出的下一段噪音信号振动方向相反的反向音频信号；
播放模块604，用于播放生成的反向音频信号。
本申请实施例提供的装置，在获取至少一个拾音器当前收集到的外界环境中的噪音信号后，会根据当前获取到的噪音信号在目标时长内预测出外界环境中即将产生的下一段噪音信号，并生成与预测出的下一段噪音信号振动方向相反的反向音频信号，以及播放生成的反向音频信号。其中，目标时长是基于人类声音的平滑性时长设置的，即本申请实施例提出的降噪方式利用了人类声音的短时平滑性特征，即人类声音在30至100毫秒内不会快速变化，本申请实施例能够在该段时长内预测出外界环境即将产生的下一段噪音信号，并可以提前据此生成反向音频信号，从而达到对环境噪音和人声噪音完全消除的效果。
换一种表达方式，本申请实施例采用了预判机制，对即将要产生的未来噪音进行预判，并提前生成预测出的未来噪音的反向声波，从而在下一波噪音抵达人耳之前完成抵消。该种降噪方式不但能够良好地消除环境噪音，而且还能够良好地消除人声噪音，降噪效果较好。
在一种可能的实现方式中，生成模块，还用于生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号；
所述播放模块，还用于在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
在一种可能的实现方式中，生成模块，还用于对当前获取到的噪音信号进行预处理；根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
在一种可能的实现方式中，生成模块，还用于根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，该装置还包括：
训练模块，用于获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的噪音消除装置在消除噪音时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的噪音消除装置与噪音消除方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在另一个示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的噪音消除方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种噪音消除方法，其特征在于，所述方法包括：
获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；
根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；
生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号。
2.根据权利要求1所述的方法，其特征在于，所述生成与预测出的下一段噪音信号振动方向相反的反向音频信号，播放生成的反向音频信号，包括：
生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号，在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
3.根据权利要求1所述的方法，其特征在于，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
对当前获取到的噪音信号进行预处理；
根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
4.根据权利要求1所述的方法，其特征在于，所述根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，包括：
根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，所述深度神经网络的训练过程包括：
获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；
基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
5.根据权利要求1所述的方法，其特征在于，所述音频特征包括：时域特征和频域特征；所述时域特征至少包括振动频率、振幅；所述频域特征至少包括能量分布和频率分布。
6.一种噪音消除装置，其特征在于，所述装置包括：
获取模块，用于获取至少一个拾音器当前收集到的外界环境中的噪音信号，所述噪音信号包括环境噪音和人声噪音中的至少一种；
处理模块，用于根据当前获取到的噪音信号，在目标时长内预测出外界环境中即将产生的下一段噪音信号，所述目标时长是基于人类声音的平滑性时长设置的；
生成模块，用于生成与预测出的下一段噪音信号振动方向相反的反向音频信号；
播放模块，用于播放生成的反向音频信号。
7.根据权利要求6所述的装置，其特征在于，所述生成模块，还用于生成与预测出的下一段噪音信号相位相反、且除了相位之外的其他音频特征均相同的反向音频信号；
所述播放模块，还用于在与当前获取到的噪音信号匹配的反向音频信号播放完毕后，通过播放器播放生成的反向音频信号。
8.根据权利要求6所述的装置，其特征在于，所述生成模块，还用于对当前获取到的噪音信号进行预处理；根据预处理后的噪音信号，在所述目标时长内预测出外界环境中即将产生的下一段噪音信号。
9.根据权利要求6所述的装置，其特征在于，所述生成模块，还用于根据当前获取到的噪音信号，在所述目标时长内基于深度神经网络预测出外界环境中即将产生的下一段噪音信号；
其中，所述装置，还包括：
训练模块，用于获取训练样本数据，所述训练样本数据包括采集到的多种噪音样本信号的音频文件；将一段噪音样本信号输入初始的深度学习模型中，得到所述深度学习模型输出的下一段预测噪音信号；基于目标损失函数，确定所述下一段预测噪音信号与实际的下一段噪音样本信号是否匹配；当所述下一段预测噪音信号与实际的下一段噪音样本信号不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述深度神经网络。
10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至5中任一项权利要求所述的噪音消除方法。
11.一种噪音消除设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至5中任一项权利要求所述的噪音消除方法。
CN201911219045.7A 2019-12-03 2019-12-03 噪音消除方法、装置、存储介质及设备 Pending CN110970010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911219045.7A CN110970010A (zh) 2019-12-03 2019-12-03 噪音消除方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911219045.7A CN110970010A (zh) 2019-12-03 2019-12-03 噪音消除方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN110970010A true CN110970010A (zh) 2020-04-07

Family

ID=70032647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911219045.7A Pending CN110970010A (zh) 2019-12-03 2019-12-03 噪音消除方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN110970010A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724763A (zh) * 2020-07-01 2020-09-29 江苏理工学院 一种汽车噪声控制装置及方法
CN112562628A (zh) * 2020-12-07 2021-03-26 苏州静声泰科技有限公司 基于深度神经网络的自适应有源噪声控制系统及其方法
CN112785999A (zh) * 2021-01-27 2021-05-11 维沃移动通信有限公司 声音处理方法、装置和电子设备
CN113825082A (zh) * 2021-09-19 2021-12-21 武汉左点科技有限公司 一种用于缓解助听延迟的方法及装置
WO2023226193A1 (zh) * 2022-05-23 2023-11-30 神盾股份有限公司 音频处理方法及装置、非瞬时性计算机可读存储介质
CN118298791A (zh) * 2024-04-07 2024-07-05 浙江圣帕机电有限公司 一种降低空压机工作噪音的调试方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990962A (ja) * 1995-09-28 1997-04-04 Daikin Ind Ltd アクティブ消音装置
CN105244016A (zh) * 2015-11-19 2016-01-13 清华大学深圳研究生院 主动降噪系统和方法
CN107564538A (zh) * 2017-09-18 2018-01-09 武汉大学 一种实时语音通信的清晰度增强方法及系统
CN110246481A (zh) * 2019-04-03 2019-09-17 吉林大学 一种预测发动机转速的汽车主动降噪方法
US20190325887A1 (en) * 2018-04-18 2019-10-24 Nokia Technologies Oy Enabling in-ear voice capture using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990962A (ja) * 1995-09-28 1997-04-04 Daikin Ind Ltd アクティブ消音装置
CN105244016A (zh) * 2015-11-19 2016-01-13 清华大学深圳研究生院 主动降噪系统和方法
CN107564538A (zh) * 2017-09-18 2018-01-09 武汉大学 一种实时语音通信的清晰度增强方法及系统
US20190325887A1 (en) * 2018-04-18 2019-10-24 Nokia Technologies Oy Enabling in-ear voice capture using deep learning
CN110246481A (zh) * 2019-04-03 2019-09-17 吉林大学 一种预测发动机转速的汽车主动降噪方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724763A (zh) * 2020-07-01 2020-09-29 江苏理工学院 一种汽车噪声控制装置及方法
CN112562628A (zh) * 2020-12-07 2021-03-26 苏州静声泰科技有限公司 基于深度神经网络的自适应有源噪声控制系统及其方法
CN112785999A (zh) * 2021-01-27 2021-05-11 维沃移动通信有限公司 声音处理方法、装置和电子设备
CN113825082A (zh) * 2021-09-19 2021-12-21 武汉左点科技有限公司 一种用于缓解助听延迟的方法及装置
CN113825082B (zh) * 2021-09-19 2024-06-11 武汉左点科技有限公司 一种用于缓解助听延迟的方法及装置
WO2023226193A1 (zh) * 2022-05-23 2023-11-30 神盾股份有限公司 音频处理方法及装置、非瞬时性计算机可读存储介质
CN118298791A (zh) * 2024-04-07 2024-07-05 浙江圣帕机电有限公司 一种降低空压机工作噪音的调试方法及系统

Similar Documents

Publication Publication Date Title
CN110970010A (zh) 噪音消除方法、装置、存储介质及设备
US11569789B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
CN111161752B (zh) 回声消除方法和装置
CN110556103B (zh) 音频信号处理方法、装置、系统、设备和存储介质
US9037458B2 (en) Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US11404073B1 (en) Methods for detecting double-talk
CN111833896A (zh) 融合反馈信号的语音增强方法、系统、装置和存储介质
KR102191736B1 (ko) 인공신경망을 이용한 음성향상방법 및 장치
CN112185406A (zh) 声音处理方法、装置、电子设备和可读存储介质
US10937441B1 (en) Beam level based adaptive target selection
CN113949955B (zh) 降噪处理方法、装置、电子设备、耳机及存储介质
JP2021511755A (ja) 音声認識オーディオシステムおよび方法
CN105513592B (zh) 声学脉冲响应模拟
CN113241085B (zh) 回声消除方法、装置、设备及可读存储介质
US11206485B2 (en) Audio processing using distributed machine learning model
JP2023551556A (ja) エコーの抑制のためのオーディオ信号処理方法及びシステム
CN113593612B (zh) 语音信号处理方法、设备、介质及计算机程序产品
CN108600893A (zh) 军事环境音频分类系统、方法及军用降噪耳机
CN117693791A (zh) 言语增强
CN113314121B (zh) 无声语音识别方法、装置、介质、耳机及电子设备
CN116343756A (zh) 人声透传方法、装置、耳机、存储介质及程序产品
TW202215419A (zh) 在開放現場中主動噪聲消除的系統和方法
CN110737422B (zh) 一种声音信号采集方法及装置
CN117643075A (zh) 用于言语增强的数据扩充
CN114464184A (zh) 语音识别的方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination