CN111385688A - 一种基于深度学习的主动降噪方法、装置及系统 - Google Patents
一种基于深度学习的主动降噪方法、装置及系统 Download PDFInfo
- Publication number
- CN111385688A CN111385688A CN201811634289.7A CN201811634289A CN111385688A CN 111385688 A CN111385688 A CN 111385688A CN 201811634289 A CN201811634289 A CN 201811634289A CN 111385688 A CN111385688 A CN 111385688A
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- audio
- active noise
- audio data
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 12
- 238000009432 framing Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims 3
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本发明提供了发明提供了一种基于深度学习的主动降噪方法、装置、及系统，所述方法包括：获取音频数据；基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；根据所述音频类型结果对所述音频数据进行降噪处理。本发明基于深度学习，对有消噪需要的声源进行主动降噪，对可能含有有用信息的声源不进行降噪，解决主动降噪算法的能力不高，降噪后无法获取完整的语音信息或用户失去有用信息的问题，实现对有降噪需要的信号进行消除，对要保留的信号能保留原始信息，从而避免用户因为主动降噪失去有用信息。
Description
技术领域
本发明涉及声音技术领域，更具体地涉及一种主动降噪方法及装置。
背景技术
环境噪声是影响耳机佩戴者音质感受的一个重要因素。在高噪声环境中佩戴耳机听音频或进行语音通信，会导致使用者的听音的质量下降，更严重的会使使用者听力受损。因此，耳机降噪受到耳机设计者和用户的关注，目前耳机降噪有两种方法：被动降噪和主动降噪。被动降噪一般是通过耳机的结构，材料设计实现耳机与外界的物理信号隔离，如入耳式这类的设计。而主动降噪是采取模拟或数字信号处理的方法，对外界噪声进行抵消，一般是利用信号反向叠加消除原理，用一个麦克接收环境噪声，计算环境噪声的反向信号，利用一个扬声器发射环境噪声的反向信号，来抵消外界噪声。
目前主动降噪技术存在以下问题：
1、主动降噪算法不会判断某段外界噪声是不是对用户有用，只会对所有接收到的声音进行消噪。比如机场的广播声，银行的叫号声音，可能对是耳机佩戴者有用的声音，这些声音一旦因为算法的处理而有所损失，可能导致用户失去有用信息。
2、用户用耳机进语音通信时候，用户的说话声也可能被耳机麦克接收，然后被反向抵消一部分信息，这可能导致另一方的语音接收者无法获取完整的语音信息。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种基于深度学习的主动降噪方法、装置、系统及计算机存储介质，对声源进行有目的性的选择，对有消噪需要的声源进行主动降噪，对可能含有有用信息的声源不进行降噪，解决主动降噪算法的能力不高，降噪后无法获取完整的语音信息或用户失去有用信息的问题，实现对有降噪需要的信号进行消除，对要保留的信号能保留原始信息，从而避免用户因为主动降噪失去有用信息。
根据本发明一方面，提供一种基于深度学习的主动降噪方法，其特征在于，所述方法包括：
获取音频数据；
基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
根据所述音频类型结果对所述音频数据进行降噪处理。
示例性地，所述降噪分类模型的训练方法包括：基于音频数据库已经标注类型的音频样本数据，进行特征提取，得到音频样本数据特征及其对应的类型特征；
根据所述音频样本数据特征及其对应的类型特征训练得到降噪分类模型。
示例性地，所述得到降噪分类模型包括：将所述音频样本数据特征作为输入，对应的类型特征作为输出训练得到降噪分类模型。
示例性地，所述音频类型结果包括：含场景信息的环境噪音类别、有用声源类别或正常音频类别。
示例性地，所述降噪处理包括：对于音频数据中正常音频类别的部分不进行主动降噪处理；对于音频数据中环境噪音类别的部分进行主动降噪处理；对于音频数据中有用音频类别的部分根据用户设置进行主动降噪处理。
示例性地，所述降噪处理包括：基于所述音频类型结果，根据用户设置对不同类别的音频数据进行主动降噪处理。
示例性地，所述降噪处理包括：采用anc模块进行主动降噪进行降噪。
示例性地，所述得到所述音频数据的音频类型结果还包括对音频数据进行特征提取，输入所述降噪分类模型得到音频数据的音频类型结果。
示例性地，所述音频数据的特征提取包括对所述音频数据进行分帧后进行特征提取。
示例性地，所述音频数据特征提取的方法包括FFT，STFT，MFCC，一帧或多帧时域波形或人工设计的其他特征中的至少一种。
示例性地，所述音频数据特征提取包括时域或频域特征。
根据本发明的另一方面，提供一种基于深度学习的主动降噪装置，其特征在于，包括：
音频获取模块，用于获取音频数据；
降噪分类模块，用于基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
主动降噪模块，用于根据所述音频类型结果对所述音频数据进行降噪处理。
根据本发明另一方面，提供了一种基于深度学习的主动降噪系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行本发明的基于深度学习的主动降噪方法。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明的基于深度学习的主动降噪方法的相应步骤，并且用于实现根据本发明实施例的基于深度学习的主动降噪装置中的相应模块。
根据本发明另一方面，提供了一种计算机程序，所述计算机程序被计算机或处理器运行时用于执行上述任一项所述的基于深度学习的主动降噪方法，所述计算机程序还用于实现上述任一项所述的基于深度学习的主动降噪装置中的各模块。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是用于实现根据本发明实施例的基于深度学习的主动降噪方法、装置、系统、存储介质和计算机程序的示例电子设备的示意性框图；
图2用于实现根据本发明实施例的主动降噪方法的示意性流程图；
图3是根据本发明实施例的基于深度学习的主动降噪方法的示意性原理图；
图4是根据本发明的实施例的一种基于深度学习的主动降噪装置的示意性框图。
图5是根据本发明的实施例的一种基于深度学习的主动降噪系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
首先，参照图1来描述用于实现本发明实施例的基于深度学习的主动降噪方法、装置、系统、存储介质和计算机程序的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
示例性地，用于实现根据本发明实施例的基于深度学习的音频音质增强方法、装置、系统、存储介质和计算机程序的示例电子设备可以被实现诸如智能手机、平板电脑等终端。
如图2所示，基于深度学习的主动降噪方法可以包括如下步骤：
首先，在步骤S210，获取音频数据；
在步骤S220，基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
最后，在步骤S230，根据所述音频类型结果对所述音频数据进行降噪处理。
示例性地，根据本发明实施例的基于深度学习的主动降噪方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的基于深度学习的主动降噪方法可以部署在服务器端(或云端)和个人终端处。例如，音频采集设备将接收/采集的音频数据传递至服务器端(或云端)，可以在服务器端(或云端)进行基于深度学习的主动降噪，服务器端(或云端)将经过本发明的主动降噪方法处理过的音频数据传递给个人终端，个人终端根据所接收的处理过的音频数据进行播放。再例如，可以在服务器端(或云端)进行基于深度学习的主动降噪，然后服务器端(或云端)根据处理过的音频数据进行播放。
根据本发明实施例的主动降噪方法，能够对声源进行有目的性的选择，对有消噪需要的声源进行主动降噪，对可能含有有用信息的声源不进行降噪，实现对有降噪需要的信号进行消除，对要保留的信号能保留原始信息，从而避免用户因为主动降噪失去有用信息。
根据本发明实施例，步骤210可以进一步地包括：所述获取音频数据包括实时采集的音频数据，或从云端获取的音频数据，或通过网络(无线或有线方式)获取的音频数据，或来自存储器中存储的音频数据，或其它方式获取的音频数据。
示例性地，在上述对音频数据进行存取时，可以以流的形式进行。例如，可以采用二进制流的传输方式实现对音频的存取。
根据本发明实施例，步骤220可以进一步地包括：所述降噪分类模型的训练方法包括：
基于音频数据库已经标注类型的音频样本数据，进行特征提取，得到音频样本数据特征及其对应的类型特征；
根据所述音频样本数据特征及其对应的类型特征训练得到降噪分类模型。
示例性地，音频数据库中的音频样本数据被用户或其他途径打上了类型标签，一个音频数据对应至少一个类型标签。其中，类型标签包括正常音频及相应的场景信息、环境噪音及相应的场景信息或有用声源及相应的场景信息；例如，所述有用声源还包括且不限于机场广播，银行叫号，公交车或地铁报站等；所述环境噪音包括且不限于机场，公交车，步行街等场景下不包括语音信息的环境噪音。
示例性地，提取所述类别标签特征的方法包括且不限于用不同数字代表不同类别，用不同二进制编码表征不同类别；所述音频数据的数据特征包括且不限于音频波形中具有明显类别特色部分的特征；所述数据特征的提取方法包括且不限于fft(Fast FourierTransformation)，mfcc(Mel-Frequency Cepstral Coefficient)等。
示例性地，所述音频数据的特征提取包括对所述音频数据进行分帧后进行特征提取。
示例性地，所述音频数据特征提取的方法包括FFT，STFT，MFCC，一帧或多帧时域波形或人工设计的其他特征中的至少一种。
示例性地，所述音频数据特征提取包括时域或频域特征。
示例性地，所述得到降噪分类模型还包括将所述音频样本数据特征作为输入，对应的类型特征作为输出训练得到降噪分类模型。其中，训练好的所述降噪分类模型能够分辨一个音频帧的类型，即为音频分类器。此外，实际应用中，可获得的噪音的样本可能会远少于可获得的正常音频，这类问题可以采取一些训练策略解决，如用集成学习的方法将正常音频样本分散于多个分类器中。
示例性地，所述音频类型结果包括且不限于音频数据帧的包含场景信息的环境噪音类别、有用声源类别或正常音频类别。在一个实施例中，当某种类别的音频帧连续出现一定数量，则将起始帧到结束帧的这一部分音频数据作为该类别的一个音频事件；一个音频数据包括至少一个类型的一个音频事件数据，也就是说，一个音频数据可能包括多种类型的音频事件数据，如一段来自机场的音频数据可能由一小段机场广播类型的音频事件数据和一小段机场环境噪声的音频事件数据组成。
根据本发明实施例，步骤230可以进一步地包括：所述降噪处理包括：对于音频数据中正常音频类别的音频事件部分不进行主动降噪处理；对于音频数据中环境噪音类别的部分进行主动降噪处理；对于音频数据中有用音频类别的部分根据用户设置进行主动降噪处理。
根据本发明实施例，步骤230可以进一步地包括：所述降噪处理包括：基于所述音频类型结果，根据用户设置对不同类别的音频数据进行主动降噪处理。
示例性地，所述用户设置包括且不限于对音频数据中的某种类型的音频事件数据进行主动降噪处理或不进行主动降噪处理。因此，用户可以根据不同的场景，结合自身喜好设置个性化的降噪方式，在保证用户不失去有用信息的同时，提高了降噪能力，改善用户体验。例如，用户可以选择接受或屏蔽机场广播。
在一个实施例中，用户选择屏蔽机场广播即用户设置对机场广播进行降主动降噪处理，具体如下，参考图3，基于音频数据库中的多种类别的音频样本(包括且不限于各种环境噪声、人声等)，提取所述音频样本的音频特征和类别特征后，基于深度学习进行训练得到能辨别音频数据的类别的降噪分类模型；音频获取设备(如麦克风等)实时获取音频数据后，对该实时音频数据进行特征提取，输入到所述降噪分类模型，得到所述音频数据的音频类型结果，如果其中包含机场广播类型的音频事件，即机场广播类型的音频数据属于目标声音，则将所述机场广播类型的音频事件数据进行主动降噪处理，则可得到一段过滤机场广播后的音频数据。
示例性地，主动降噪处理包括采用anc模块进行主动降噪。
示例性地，主动降噪处理还包括基于训练好的滤波器进行主动降噪处理。其中，所述主动降噪滤波器的训练方法包括：测量设备外部到需进行主动降噪区域，如人耳佩戴处的，声道的传递函数，根据声道传递函数设置滤波器参数。设备采集设备外部的外部环境声音，声音被滤波器处理就能得到需进行主动降噪区域的环境声音的反相信号，反相用扬声器发射出去。设备外部环境声音到达需进行主动降噪区域，如人耳佩戴处，与被发射的反相声音叠加，使环境噪声去除或衰减。。
以上示例性地描述了根据本发明实施例的基于深度学习的主动降噪方法。示例性地，根据本发明实施例的基于深度学习的主动降噪方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外，根据本发明实施例的基于深度学习的主动降噪方法可以方便地部署到智能手机、平板电脑、个人计算机、音箱等移动设备上。替代地，根据本发明实施例的基于深度学习的主动降噪方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的基于深度学习的主动降噪方法还可以分布地部署在服务器端(或云端)和个人终端处。
根据本发明的另一方面，提供了一种基于深度学习的主动降噪装置。参考图4，图4示出了根据本发明的实施例的一种基于深度学习的主动降噪装置400的示意性框图。
基于深度学习的主动降噪装置400包括音频获取模块410、降噪分类模块420和主动降噪模块430。所述各个模块可分别执行上文中所描述的基于深度学习的主动降噪方法的各个步骤/功能。以下仅对基于深度学习的主动降噪装置400的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。
音频获取模块410，用于获取音频数据；
降噪分类模块420，用于基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
主动降噪模块430，用于根据所述音频类型结果对所述音频数据进行降噪处理。
降噪分类模块420和主动降噪模块430均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
根据本发明的另一方面，提供了一种基于深度学习的主动降噪系统。参考图5，图5示出了根据本发明的实施例的一种基于深度学习的主动降噪系统500的示意性框图。
基于深度学习的主动降噪系统500包括存储装置510以及处理器520。其中，存储装置510存储用于实现根据本发明实施例的基于深度学习的主动降噪方法中的相应步骤的程序。处理器520用于运行存储装置510中存储的程序，以执行根据本发明实施例的基于深度学习的主动降噪方法的相应步骤，并且用于实现根据本发明实施例的基于深度学习的主动降噪装置中的相应模块。
根据本发明的另一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的基于深度学习的主动降噪方法的相应步骤，并且用于实现根据本发明实施例的基于深度学习的主动降噪装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的基于深度学习的主动降噪装置的各个功能模块，并且/或者可以执行根据本发明实施例的基于深度学习的主动降噪方法。
根据本发明实施例的基于深度学习的主动降噪装置中的各模块可以通过根据本发明实施例的基于深度学习的主动降噪的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
此外，根据本发明实施例，还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的基于深度学习的主动降噪方法的相应步骤，并且用于实现根据本发明实施例的基于深度学习的主动降噪装置中的相应模块。
综上，本发明提供了一种基于深度学习的主动降噪方法、装置、系统及计算机存储介质，基于智能音频目标选择的基础，用户或者系统可以选择哪些声音要进行后续处理，哪些不进行处理，哪些是要听的，哪些是不听的，为不同的目标选择不同的处理方式，实际上是对现实世界声音的智能滤波，进而构造一个理想化的虚拟声音世界，这对未来音频信号处理工程有重要意义。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种基于深度学习的主动降噪方法，其特征在于，所述方法包括：
获取音频数据；
基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
根据所述音频类型结果对所述音频数据进行降噪处理。
2.如权利要求1所述的主动降噪方法，其特征在于，所述降噪分类模型的训练方法包括：基于音频数据库已经标注类型的音频样本数据，进行特征提取，得到音频样本数据特征及其对应的类型特征；
根据所述音频样本数据特征及其对应的类型特征训练得到降噪分类模型。
3.如权利要求2所述的主动降噪方法，其特征在于，所述得到降噪分类模型包括：将所述音频样本数据特征作为输入，对应的类型特征作为输出训练得到降噪分类模型。
4.如权利要求1所述的主动降噪方法，其特征在于，所述音频类型结果包括：含场景信息的环境噪音类别、有用声源类别或正常音频类别。
5.如权利要求4所述的主动降噪方法，其特征在于，所述降噪处理包括：对于音频数据中正常音频类别的部分不进行主动降噪处理；对于音频数据中环境噪音类别的部分进行主动降噪处理；对于音频数据中有用音频类别的部分根据用户设置进行主动降噪处理。
6.如权利要求1所述的主动降噪方法，其特征在于，所述降噪处理包括：基于所述音频类型结果，根据用户设置对不同类别的音频数据进行主动降噪处理。
7.如权利要求5或6所述的主动降噪方法，其特征在于，所述降噪处理包括：采用anc模块进行主动降噪进行降噪。
8.如权利要求1所述的主动降噪方法，其特征在于，所述得到所述音频数据的音频类型结果还包括对音频数据进行特征提取，输入所述降噪分类模型得到音频数据的音频类型结果。
9.如权利要求8所述的主动降噪方法，其特征在于，所述音频数据的特征提取包括对所述音频数据进行分帧后进行特征提取。
10.如权利要求8所述的主动降噪方法，其特征在于，所述音频数据特征提取的方法包括FFT，STFT，MFCC，一帧或多帧时域波形或人工设计的其他特征中的至少一种。
11.如权利要求8所述的主动降噪方法，其特征在于，所述音频数据特征提取包括时域或频域特征。
12.一种基于深度学习的主动降噪装置，其特征在于，包括：
音频获取模块，用于获取音频数据；
降噪分类模块，用于基于所述音频数据，利用训练好的降噪分类模型，得到所述音频数据的音频类型结果；
主动降噪模块，用于根据所述音频类型结果对所述音频数据进行降噪处理。
13.一种基于深度学习的主动降噪系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-11中任一项所述的基于深度学习的主动降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634289.7A CN111385688A (zh) | 2018-12-29 | 2018-12-29 | 一种基于深度学习的主动降噪方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634289.7A CN111385688A (zh) | 2018-12-29 | 2018-12-29 | 一种基于深度学习的主动降噪方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111385688A true CN111385688A (zh) | 2020-07-07 |
Family
ID=71220964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811634289.7A Pending CN111385688A (zh) | 2018-12-29 | 2018-12-29 | 一种基于深度学习的主动降噪方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111385688A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053702A (zh) * | 2020-09-30 | 2020-12-08 | 北京大米科技有限公司 | 一种语音处理的方法、装置及电子设备 |
| CN112767908A (zh) * | 2020-12-29 | 2021-05-07 | 安克创新科技股份有限公司 | 基于关键声音识别的主动降噪方法、电子设备及存储介质 |
| CN113160789A (zh) * | 2021-03-05 | 2021-07-23 | 南京每深智能科技有限责任公司 | 主动降噪装置及方法 |
| CN114722884A (zh) * | 2022-06-08 | 2022-07-08 | 深圳市润东来科技有限公司 | 基于环境音的音频控制方法、装置、设备及存储介质 |
| CN117275446A (zh) * | 2023-11-21 | 2023-12-22 | 电子科技大学 | 一种基于声音事件检测的交互式有源噪声控制系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404160A (zh) * | 2008-11-21 | 2009-04-08 | 北京科技大学 | 一种基于音频识别的语音降噪方法 |
| CN101546556A (zh) * | 2008-03-28 | 2009-09-30 | 展讯通信（上海）有限公司 | 用于音频内容识别的分类系统 |
| CN104616662A (zh) * | 2015-01-27 | 2015-05-13 | 中国科学院理化技术研究所 | 主动降噪方法及装置 |
| CN105405448A (zh) * | 2014-09-16 | 2016-03-16 | 科大讯飞股份有限公司 | 一种音效处理方法及装置 |
| CN108600893A (zh) * | 2018-07-10 | 2018-09-28 | 武汉轻工大学 | 军事环境音频分类系统、方法及军用降噪耳机 |
| CN108831440A (zh) * | 2018-04-24 | 2018-11-16 | 中国地质大学（武汉） | 一种基于机器学习及深度学习的声纹降噪方法及系统 |
-
2018
- 2018-12-29 CN CN201811634289.7A patent/CN111385688A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101546556A (zh) * | 2008-03-28 | 2009-09-30 | 展讯通信（上海）有限公司 | 用于音频内容识别的分类系统 |
| CN101404160A (zh) * | 2008-11-21 | 2009-04-08 | 北京科技大学 | 一种基于音频识别的语音降噪方法 |
| CN105405448A (zh) * | 2014-09-16 | 2016-03-16 | 科大讯飞股份有限公司 | 一种音效处理方法及装置 |
| CN104616662A (zh) * | 2015-01-27 | 2015-05-13 | 中国科学院理化技术研究所 | 主动降噪方法及装置 |
| CN108831440A (zh) * | 2018-04-24 | 2018-11-16 | 中国地质大学（武汉） | 一种基于机器学习及深度学习的声纹降噪方法及系统 |
| CN108600893A (zh) * | 2018-07-10 | 2018-09-28 | 武汉轻工大学 | 军事环境音频分类系统、方法及军用降噪耳机 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053702A (zh) * | 2020-09-30 | 2020-12-08 | 北京大米科技有限公司 | 一种语音处理的方法、装置及电子设备 |
| CN112053702B (zh) * | 2020-09-30 | 2024-03-19 | 北京大米科技有限公司 | 一种语音处理的方法、装置及电子设备 |
| CN112767908A (zh) * | 2020-12-29 | 2021-05-07 | 安克创新科技股份有限公司 | 基于关键声音识别的主动降噪方法、电子设备及存储介质 |
| CN112767908B (zh) * | 2020-12-29 | 2024-05-21 | 安克创新科技股份有限公司 | 基于关键声音识别的主动降噪方法、电子设备及存储介质 |
| CN113160789A (zh) * | 2021-03-05 | 2021-07-23 | 南京每深智能科技有限责任公司 | 主动降噪装置及方法 |
| CN114722884A (zh) * | 2022-06-08 | 2022-07-08 | 深圳市润东来科技有限公司 | 基于环境音的音频控制方法、装置、设备及存储介质 |
| CN114722884B (zh) * | 2022-06-08 | 2022-09-30 | 深圳市润东来科技有限公司 | 基于环境音的音频控制方法、装置、设备及存储介质 |
| CN117275446A (zh) * | 2023-11-21 | 2023-12-22 | 电子科技大学 | 一种基于声音事件检测的交互式有源噪声控制系统及方法 |
| CN117275446B (zh) * | 2023-11-21 | 2024-01-23 | 电子科技大学 | 一种基于声音事件检测的交互式有源噪声控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12069470B2 (en) | System and method for assisting selective hearing | |
| CN111385688A (zh) | 一种基于深度学习的主动降噪方法、装置及系统 | |
| US9918174B2 (en) | Wireless exchange of data between devices in live events | |
| US10275210B2 (en) | Privacy protection in collective feedforward | |
| US10531178B2 (en) | Annoyance noise suppression | |
| CN111868823B (zh) | 一种声源分离方法、装置及设备 | |
| US20230164509A1 (en) | System and method for headphone equalization and room adjustment for binaural playback in augmented reality | |
| US11218796B2 (en) | Annoyance noise suppression | |
| WO2022135340A1 (zh) | 一种主动降噪的方法、设备及系统 | |
| CN110364156A (zh) | 语音交互方法、系统、终端及可读存储介质 | |
| CN112767908B (zh) | 基于关键声音识别的主动降噪方法、电子设备及存储介质 | |
| CN113038337B (zh) | 一种音频播放方法、无线耳机和计算机可读存储介质 | |
| CN110431549A (zh) | 信息处理装置、信息处理方法及程序 | |
| CN113949955A (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
| CN114255776A (zh) | 使用互连电子设备进行音频修改 | |
| CN110232909A (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| US20170195777A1 (en) | Annoyance noise suppression | |
| CN112735382B (zh) | 音频数据处理方法、装置、电子设备及可读存储介质 | |
| Altavilla et al. | The quiet walk: sonic memories and mobile cartography | |
| CN105895092B (zh) | 一种处理环境声音的方法和装置 | |
| WO2024108804A1 (zh) | 听觉增强方法、系统、可读存储介质及计算机设备 | |
| US11145320B2 (en) | Privacy protection in collective feedforward | |
| Mydlarz | Application of mobile and internet technologies for the investigation of human relationships with soundscapes | |
| Wang et al. | A smartphone-based digital hearing aid to mitigate hearing loss at specific frequencies | |
| Ahyar et al. | Developing call-adzan: A live streaming system for broadcasting the prayer calls |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |
|
| RJ01 | Rejection of invention patent application after publication |