CN116528099A - 音频信号处理方法及装置、耳机设备、存储介质 - Google Patents

音频信号处理方法及装置、耳机设备、存储介质 Download PDF

Info

Publication number
CN116528099A
CN116528099A CN202210077669.5A CN202210077669A CN116528099A CN 116528099 A CN116528099 A CN 116528099A CN 202210077669 A CN202210077669 A CN 202210077669A CN 116528099 A CN116528099 A CN 116528099A
Authority
CN
China
Prior art keywords
audio signal
target
signal
sound signal
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210077669.5A
Other languages
English (en)
Inventor
练添富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210077669.5A priority Critical patent/CN116528099A/zh
Priority to PCT/CN2022/137567 priority patent/WO2023138252A1/zh
Publication of CN116528099A publication Critical patent/CN116528099A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种音频信号处理方法及装置、耳机设备、存储介质，该方法应用于耳机设备，该方法包括：在耳机设备输出目标音频信号的情况下，通过其前馈麦克风采集环境音信号，以及通过其反馈麦克风采集耳内音频信号；根据上述环境音信号，确定与该耳机设备当前所处场景对应的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器；基于上述环境音信号以及耳内音频信号，计算得到降噪参数；根据该降噪参数，从上述目标滤波器组中确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。实施本申请实施例，能够基于耳机设备当前所处场景对其输出的音频信号进行针对性的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。

Description

音频信号处理方法及装置、耳机设备、存储介质
技术领域
本申请涉及电子设备技术领域，尤其涉及一种音频信号处理方法及装置、耳机设备、存储介质。
背景技术
当前，在用户使用耳机设备听音乐、看视频(即耳机设备输出视频所对应的音频信号)、进行通话等场合中，该耳机设备通常可以同时实现一定的降噪功能，以削弱环境噪声对耳机设备所输出的音频信号的影响，为用户提供更优的音质效果。然而，在实践中发现，传统的降噪方案往往准确性不高，难以针对环境噪声进行较精准的降噪，从而降低了耳机设备进行主动降噪的可靠性。
发明内容
本申请实施例公开了一种音频信号处理方法及装置、耳机设备、存储介质，能够基于耳机设备当前所处场景，对其输出的音频信号进行针对性的降噪处理，从而有利于提升耳机设备进行主动降噪的准确性和可靠性。
本申请实施例第一方面公开一种音频信号处理方法，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
根据所述环境音信号，确定与所述耳机设备当前所处场景对应的目标滤波器组，所述目标滤波器组包括一个或多个降噪滤波器；
基于所述环境音信号以及所述耳内音频信号，计算得到降噪参数；
根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第二方面公开一种音频信号处理方法，应用于耳机设备，所述耳机设备包括前馈麦克风，所述方法包括：
通过所述前馈麦克风采集环境音信号；
计算所述环境音信号对应的功率谱密度；
根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型；
基于所述场景噪声类型确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第三方面公开一种功率谱密度计算方法，包括：
对环境音信号进行第一音频预处理，得到目标环境音信号，其中，所述第一音频预处理至少包括模数转换以及降采样；
按照单位窗口长度对所述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度。
本申请实施例第四方面公开一种音频信号处理方法，应用于耳机设备，所述耳机设备包括前馈麦克风，所述方法包括：
通过所述前馈麦克风采集环境音信号，并计算所述环境音信号对应的功率谱密度；
对所述功率谱密度进行量化，确定所述环境音信号在各个频域子带对应的功率谱密度梯级；
若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型。
本申请实施例第五方面公开一种音频信号处理方法，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
根据所述环境音信号以及所述耳内残余音频信号，计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数，以及所述耳内残余音频信号对应的子带能量；
根据所述频域相干系数以及所述子带能量确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第六方面公开一种音频信号处理方法，应用于耳机设备，所述耳机设备包括反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述反馈麦克风采集耳内音频信号；
通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机设备所处的音频传输系统对所述目标音频信号的传输影响；
计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号。
本申请实施例第七方面公开一种音频信号补偿装置，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述音频信号处理装置包括：
信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
第一确定单元，用于根据所述环境音信号，确定与所述耳机设备当前所处场景对应的目标滤波器组，所述目标滤波器组包括一个或多个降噪滤波器；
参数计算单元，用于基于所述环境音信号以及所述耳内音频信号，计算得到降噪参数；
第二确定单元，用于根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第八方面公开一种音频信号处理装置，应用于耳机设备，所述耳机设备包括前馈麦克风，所述音频信号处理装置包括：
环境音信号采集单元，用于通过所述前馈麦克风采集环境音信号；
功率谱密度计算单元，用于计算所述环境音信号对应的功率谱密度；
噪声确定单元，用于根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型；
滤波器确定单元，用于基于所述场景噪声类型确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第九方面公开一种功率谱密度计算装置，包括：
预处理单元，用于对环境音信号进行第一音频预处理，得到目标环境音信号，其中，所述第一音频预处理至少包括模数转换以及降采样；
加窗分割单元，用于按照单位窗口长度对所述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
变换计算单元，用于分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度。
本申请实施例第十方面公开一种音频信号处理装置，应用于耳机设备，所述耳机设备包括前馈麦克风，所述音频信号处理装置包括：
环境音信号采集单元，用于通过所述前馈麦克风采集环境音信号；
功率谱密度计算单元，用于计算所述环境音信号对应的功率谱密度；
量化计算单元，用于对所述功率谱密度进行量化，确定所述环境音信号在各个频域子带对应的功率谱密度梯级；
噪声确定单元，用于若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型。
本申请实施例第十一方面公开一种音频信号处理装置，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述音频信号处理装置包括：
信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
抵消处理单元，用于基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
参数计算单元，用于根据所述环境音信号以及所述耳内残余音频信号，计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数，以及所述耳内残余音频信号对应的子带能量；
滤波器确定单元，用于根据所述频域相干系数以及所述子带能量确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
本申请实施例第十二方面公开一种音频信号处理装置，应用于耳机设备，所述耳机设备包括反馈麦克风，所述音频信号处理装置包括：
耳内音频信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述反馈麦克风采集耳内音频信号；
传递滤波单元，用于通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机设备所处的音频传输系统对所述目标音频信号的传输影响；
误差计算单元，用于计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号。
本申请实施例第十三方面公开了一种耳机设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面至第六方面公开的任意一种音频信号处理方法中的全部或部分步骤。
本申请实施例第十四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现如本申请实施例第一方面至第六方面公开的任意一种音频信号处理方法中的全部或部分步骤。
与相关技术相比，本申请实施例具有以下有益效果：
本申请实施例中，应用音频信号处理方法的耳机设备可以包括前馈麦克风以及反馈麦克风，在该耳机设备输出目标音频信号的情况下，可以通过其前馈麦克风采集环境音信号，同时通过其反馈麦克风采集耳内音频信号。根据上述环境音信号，耳机设备可以确定与该耳机设备当前所处场景对应的目标滤波器组，该目标滤波器组可以包括一个或多个降噪滤波器。在此基础上，耳机设备可以基于上述环境音信号以及耳内音频信号计算得到降噪参数，并根据该降噪参数，从上述目标滤波器组中确定出目标滤波器，以通过该目标滤波器对该耳机设备待输出的目标音频信号进行降噪处理。可见，实施本申请实施例，耳机设备可以先基于其采集到的环境音信号来判断该耳机设备当前所处的场景，并确定出与该场景中的环境噪声对应的一组降噪滤波器所组成的目标滤波器组，继而可以再从该目标滤波器组中进一步选择合适的目标滤波器，以通过该目标滤波器对耳机设备待输出的目标音频信号进行针对性的降噪处理。上述音频信号处理方法综合考虑了环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例公开的音频信号处理方法的一种应用场景示意图；
图1B是本申请实施例公开的音频信号处理方法的另一种应用场景示意图；
图2是本申请实施例公开的一种耳机设备的结构示意图；
图3是本申请实施例公开的一种音频信号处理方法的流程示意图；
图4是本申请实施例公开的一种噪声分类频谱示意图；
图5是本申请实施例公开的另一种音频信号处理方法的流程示意图；
图6是本申请实施例公开的一种场景噪声类型判断过程的示意图；
图7是本申请实施例公开的一种功率谱密度梯级示意图；
图8是本申请实施例公开的又一种音频信号处理方法的流程示意图；
图9是本申请实施例公开的一种对耳内音频信号进行信号抵消处理的过程示意图；
图10是本申请实施例公开的一种音频信号处理方法的整体信号流向示意图；
图11是本申请实施例公开的第四种音频信号处理方法的流程示意图；
图12是本申请实施例公开的一种功率谱密度计算方法的流程示意图；
图13是本申请实施例公开的第五种音频信号处理方法的流程示意图；
图14是本申请实施例公开的第六种音频信号处理方法的流程示意图；
图15是本申请实施例公开的第七种音频信号处理方法的流程示意图；
图16是本申请实施例公开的一种音频信号处理装置的模块化示意图；
图17是本申请实施例公开的另一种音频信号处理装置的模块化示意图；
图18是本申请实施例公开的功率谱密度计算装置的模块化示意图；
图19是本申请实施例公开的又一种音频信号处理装置的模块化示意图；
图20是本申请实施例公开的第四种音频信号处理装置的模块化示意图；
图21是本申请实施例公开的第五种音频信号处理装置的模块化示意图；
图22是本申请实施例公开的一种耳机设备的模块化示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种音频信号处理方法及装置、耳机设备、存储介质，能够能够基于耳机设备当前所处场景，对其输出的音频信号进行针对性的降噪处理，从而有利于提升耳机设备进行主动降噪的准确性和可靠性。
以下将结合附图进行详细描述。
请一并参阅图1A及图1B，图1A是本申请实施例公开的音频信号处理方法的一种应用场景示意图，图1B则是本申请实施例公开的音频信号处理方法的另一种应用场景示意图。如图1A所示，该应用场景可以包括耳机设备10，即耳机设备10可以独立实现本申请实施例所公开的音频信号处理方法。其中，如图2所示，该耳机设备10可以包括扬声器11、反馈麦克风12以及前馈麦克风13。当用户佩戴该耳机设备10时，其反馈麦克风12可以处于扬声器11与用户之间，位于扬声器11的“前面”，从而可以用于采集由扬声器11输出，并经过该耳机设备10所处的音频传输系统(即耳机设备10所输出的目标音频信号在耳机与用户之间传输的通路，可表征耳机设备10的器件结构、用户的耳形特征、用户佩戴耳机设备10时的佩戴泄漏情况等因素对目标音频信号传输所存在的影响)传输的耳内音频信号；而前馈麦克风13则可以处于扬声器11与外部环境之间，位于扬声器11的“后面”，从而可以用于采集外部环境的环境音信号。可以理解，图2所示的耳机设备10的结构仅仅是一种示例，在确保其反馈麦克风12和前馈麦克风13能够正常实现对上述相应音频信号的采集的情况下，该耳机设备10也可以采用其它的布局结构，本申请实施例中不作具体限定。
在一些实施例中，如图1B所示，耳机设备10可以佩戴于用户20，并且可以与终端设备30建立通信连接，从而该耳机设备10可以基于上述通信连接，从终端设备30获取音频数据(例如待输出的音乐文件、录音文件、聊天语音等)，并将所获取的音频数据转换为目标音频信号，以通过该耳机设备10的扬声器11向用户20进行输出。
可以理解，用户10也可以通过与该终端设备30进行交互，间接控制耳机设备10对目标音频信号的输出(例如开始输出、暂停输出、终止输出等)。在一些实施例中，终端设备30在检测到用户10针对其的交互操作(如点击或划动终端设备30上的交互按钮等触控操作、向终端设备30发出“播放音乐”等包含指定关键字的语音操作、将终端设备30按照预设轨迹进行移动等移动操作)时，可以向耳机设备10发出相应的控制指令，以触发该耳机设备10输出目标音频信号。在此基础上，耳机设备10可以同时通过其前馈麦克风13采集环境音信号，并通过其反馈麦克风12采集耳内音频信号，以进一步根据上述环境音信号以及耳内音频信号，实现该耳机设备10的主动降噪(Active Noise Cancellation，ANC)功能。
在本申请实施例中，当耳机设备10需要实现主动降噪功能时，可以基于其输出目标音频信号时所采集的环境音信号以及耳内音频信号进行相应的参数计算，以确定出合适的降噪滤波器。具体地，根据上述环境音信号，耳机设备10可以确定与该耳机设备10当前所处场景对应的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器。在此基础上，该耳机设备10可以基于上述环境音信号以及耳内音频信号，计算得到降噪参数，并根据该降噪参数，从上述目标滤波器组中确定出目标滤波器，以通过该目标滤波器对该耳机设备10待输出的目标音频信号进行降噪处理。
可见，通过实施上述音频信号处理方法，耳机设备10可以先基于其采集到的环境音信号来判断该耳机设备10当前所处的场景，并确定出与该场景中的环境噪声对应的一组降噪滤波器所组成的目标滤波器组，继而可以再从该目标滤波器组中进一步选择合适的目标滤波器，以通过该目标滤波器对耳机设备10待输出的目标音频信号进行针对性的降噪处理。上述音频信号处理方法综合考虑了环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备10针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备10进行主动降噪的准确性和可靠性。
其中，上述耳机设备10可以包括各类具备主动降噪功能的耳机，尤其可以包括TWS(True Wireless Stereo，真无线立体声)耳机。在一些实施例中，该耳机设备10可以包括第一耳机和第二耳机(例如，第一耳机和第二耳机可以分别为相互配对的左耳耳机和右耳耳机)，该第一耳机和第二耳机可以具有相同的布局结构，以通过上述音频信号处理方法同时实现相应的主动降噪功能。上述终端设备30则可以包括具备无线通信功能的各类设备或系统，如手机、智能可穿戴设备、车载终端、平板电脑、PC(Personal Computer，个人电脑)、PDA(Personal Digital Assistant，个人数字助理)等，本申请实施例中不作具体限定。
请参阅图3，图3是本申请实施例公开的一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图3所示，该音频信号处理方法可以包括以下步骤：
302、在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号。
在本申请实施例中，当用户使用耳机设备输出目标音频信号(例如播放音乐文件、录音文件、聊天语音等)的时候，为了减少来自外部环境的环境音信号对该目标音频信号造成干扰，影响用户的实际收听体验，耳机设备除了基于自身结构所实现的被动降噪外，还可以采取一定的主动降噪措施。具体地，在耳机设备通过扬声器输出目标音频信号的情况下，可以通过其内置的前馈麦克风采集外部环境的环境音信号，同时还可以通过其内置的反馈麦克风采集耳内音频信号。在后续步骤中，耳机设备可以基于该环境音信号以及耳内音频信号确定出合适的降噪滤波器，以用于对该耳机设备待输出的目标音频信号进行降噪处理。
在一些实施例中，上述前馈麦克风可以保持开启状态，以对耳机设备当前所处环境的环境音信号进行持续采集，进而在该耳机设备输出目标音频信号时，可以获取目标音频信号输出期间相对应的环境音信号。示例性地，耳机设备可以获取其扬声器输出目标音频信号的时间戳，并根据该时间戳，截取前馈麦克风在该时间戳附近(例如延后0.01毫秒、延后0.1毫秒等)的时刻所采集的环境音信号，从而可以准确得到与目标音频信号时间同步的环境音信号。
在另一些实施例中，耳机设备也可以通过前馈麦克风持续采集环境音信号，并将采集到的环境音信号直接应用于后续的降噪处理中，以实现实时、持续的流水线处理，确保耳机设备进行主动降噪的实时性。
还有一些实施例中，耳机设备的前馈麦克风也可以不持续开启，而是在其扬声器输出上述目标音频信号时触发开启，并将前馈麦克风开启后所采集到的音频信号作为与上述目标音频信号对应的环境音信号。在此基础上，当耳机设备暂停或终止输出目标音频信号时，可以控制前馈麦克风停止采集环境音信号。
耳机设备在通过上述前馈麦克风采集环境音信号的同时，还可以通过其反馈麦克风采集耳内音频信号。其中，耳机设备通过扬声器所输出的目标音频信号可以在该耳机设备所处的音频系统中进行传输，在被反馈麦克风接收后，所得到的耳内音频信号可以用于评估目标音频信号在该音频系统的传输过程中所受到的影响，尤其是来自环境音信号的干扰，以便于在后续步骤中确定出合适的降噪参数。可以理解，由于反馈麦克风处于扬声器与用户之间，上述音频系统也可以由目标音频信号在该扬声器以及反馈麦克风之间传输的通路来近似替代。
在一些实施例中，耳机设备的反馈麦克风也可以保持开启状态，从而可以类似于前馈麦克风采集环境音信号的方式，持续地采集耳内音频信号。示例性地，耳机设备也可以根据其扬声器输出目标音频信号的时间戳，截取反馈麦克风在该时间戳附近(例如延后0.01毫秒、延后0.1毫秒等)的时刻所采集的耳内音频信号，从而可以准确得到与上述目标音频信号以及环境音信号时间同步的耳内音频信号。
在另一些实施例中，耳机设备的反馈麦克风也可以不持续开启，而是在扬声器输出上述目标音频信号时触发开启，并将该反馈麦克风开启后所采集到的音频信号作为与上述目标音频信号对应的耳内音频信号。可选地，对于通过反馈麦克风采集到的耳内音频信号，耳机设备还可以利用其内置的信号处理模块，将上述扬声器输出的目标音频信号与该耳内音频信号进行波形对比，当对比结果表示该目标音频信号与该耳内音频信号的波形相似度满足相似度阈值(如50％、80％等)时，可以将该耳内音频信号确认为与上述目标音频信号对应的耳内音频信号。
304、根据上述环境音信号，确定与耳机设备当前所处场景对应的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器。
在本申请实施例中，为了准确判断耳机设备当前所处场景，可以先基于不同场景下的环境音信号的频谱特性，对不同场景对应的场景噪声类型进行划分。其中，上述不同场景可以包括飞机、高铁等偏低频段环境音信号占比较大的低频场景，也可以包括餐厅、商场等中高频段环境音信号占比较大的中高频场景，还可以包括图书馆、卧室等不同频段环境音信号均匀分布、且信号能量较小的安静场景，但不限于此。示例性地，请参阅图4，图4是本申请实施例公开的一种噪声分类频谱示意图。如图4所示，实线A所标示的机场环境音信号、点线B所标示的商场环境音信号以及虚线C所标示的卧室环境音信号可以具有明显不同的频谱特性，其具体的划分方式可以参见以下示例。
示例性地，耳机设备可以根据一定的频谱特性参数来划分不同场景对应的场景噪声类型。在一些实施例中，上述频谱特性参数可以包括信号能量。例如，若环境音信号在0～200Hz频段的信号能量占比超过第一阈值，且信号能量大于T1，则相应的场景可以被划分为低频场景；若环境音信号在0～1000Hz频段的信号能量占比超过第二阈值(第二阈值可以与第一阈值相等，也可以不相等)，且信号能量介于T1与T2之间(T1＞T2)，则相应的场景可以被划分为中高频场景；若环境音信号在0～2500Hz频段的信号能量分布均匀(例如方差小于第三阈值)，且信号能量小于T2，则相应的场景可以被划分为安静场景。可选地，上述低频场景和中高频场景也可以增设信号能量分布是否均匀的判断依据，本申请实施例中不作具体限定。
在另一些实施例中，上述频谱特性参数也可以包括功率谱密度。例如，低频场景下的环境音信号在0～200Hz频段的功率谱密度可以大于P1，中高频场景下的环境音信号在0～1000Hz频段的功率谱密度可以介于P1与P2之间(P1＞P2)，而安静场景下的环境音信号在0～2500Hz频段的功率谱密度可以小于P2。
在此基础上，可以将待选的降噪滤波器划分为若干组，各组降噪滤波器分别对应于上述不同的场景噪声类型，以用于针对相应的场景实现耳机设备的场景自适应的主动降噪功能。示例性地，上述各组降噪滤波器的中心频段、增益等滤波器参数可以具有一定区别，从而可以适应于不同场景下的环境音信号的频谱特性。在一些实施例中，耳机设备可以根据其前馈麦克风所采集到的环境音信号的频谱特性，来判断该耳机设备当前所处场景，继而可以基于该当前所处场景，从至少一个待选滤波器组中确定出与当前所处场景对应的目标滤波器组。其中，上述每组降噪滤波器均可以包括中心频段、降噪峰值、增益等滤波器参数仍具有一定区别的一个或多个降噪滤波器，以便于在后续步骤中针对具体的场景进一步选择合适的目标滤波器。
306、基于上述环境音信号以及耳内音频信号，计算得到降噪参数。
在本申请实施例中，上述降噪参数可以包括第一降噪参数以及第二降噪参数，从而耳机设备可以根据计算出的两个不同降噪参数，在后续步骤中选择合适的目标滤波器。其中，基于上述环境音信号以及耳内音频信号进行计算，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，从而能够有效避免仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，提升耳机设备针对其当前所处场景的噪声类型实现主动降噪的准确性和可靠性。
示例性地，上述第一降噪参数可以包括相关性参数，例如时域相关系数、频域相干系数等。以频域相干系数为例，当耳机设备基于上述环境音信号以及耳内音频信号计算得到频域相干系数时，该频域相干系数可以用于表示环境音信号和耳内音频信号在频域上的关联程度，从而有助于确定目标音频信号在耳机设备所处的音频系统传输的过程中受到环境音信号干扰的状况。具体举例来说，耳机设备可以先根据上述环境音信号和耳内音频信号，计算得到耳内残余音频信号，该耳内残余音频信号可以用于表示耳内音频信号去除传输后的目标音频信号，所得到的与上述环境音信号密切关联的音频信号。在此基础上，耳机设备可以计算环境音信号与该耳内残余音频信号之间的频域相干系数，继而可以将该频域相干系数应用于后续从目标滤波器组中选择具体的目标滤波器的步骤中。
示例性地，上述第二降噪参数可以包括降噪深度参数，例如信号能量、根据信号能量进一步确定的滤波器增益等。以信号能量为例，该信号能量具体可以指环境音信号或者上述耳内残余音频信号的信号能量，从而可以用于确定环境音信号对上述目标音频信号的具体干扰程度。举例来说，耳机设备可以先获取上述耳内残余音频信号，继而可以计算该耳内残余音频信号在特定频域子带的信号能量(即子带能量)。其中，上述特定频域子带可以由耳机设备当前所处场景对应的场景噪声类型所确定，以便于针对该当前所处场景中最具代表性的频段进行计算，提升耳机设备进行主动降噪的针对性。在此基础上，耳机设备可以将该信号能量应用于后续确定目标滤波器的步骤中，或者基于该信号能量进一步计算相应的滤波器增益，再将该滤波器增益应用于后续步骤中，以确定该目标滤波器的降噪深度，便于准确地配置目标滤波器，来对耳机设备待输出的目标音频信号进行主动降噪。
308、根据该降噪参数，从上述目标滤波器组中确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
在本申请实施例中，耳机设备在计算得到上述降噪参数之后，可以基于上述已确定出的目标滤波器组，从该目标滤波器组中进一步确定出与该降噪参数匹配的目标滤波器。其中，该目标降噪滤波器组可以包括一个或多个降噪滤波器，该一个或多个降噪滤波器的中心频段、降噪峰值、增益等滤波器参数可以具有较小区别(相对于不同组的降噪滤波器而言较小)，从而耳机设备可以针对其所处的具体场景来选择合适的目标滤波器。在此基础上，耳机设备还可以基于上述降噪参数来对该目标滤波器进行配置，例如配置该目标滤波器的增益等，以得到可直接投入使用的目标滤波器，有利于及时地对耳机设备待输出的目标音频信号进行降噪处理。
在一些实施例中，上述目标滤波器也可以由多个滤波器组成。具体地，当根据上述降噪参数确定出唯一的目标滤波器时，可以配置该目标滤波器以对耳机设备待输出的目标音频信号进行降噪处理；当耳机设备当前所处场景对应的场景噪声类型较为复杂，需要根据上述降噪参数确定出多个目标滤波器时，也可以通过配置级联的FIR(Finite ImpulseResponse，有限长单位冲激响应)滤波器或IIR(Infinite Impulse Response，无限长单位冲激响应)滤波器来进行相应的降噪处理。
作为一种可选的实施方式，耳机设备在根据上述降噪参数确定并配置目标滤波器，以实现主动降噪功能的同时，还可以进一步配置匹配均衡滤波器，从而可以在优化耳机设备降噪性能的同时实现音质均衡，以优化用户的音质体验。
可见，实施上述实施例所描述的音频信号处理方法，耳机设备可以先基于其采集到的环境音信号来判断该耳机设备当前所处的场景，并确定出与该场景中的环境噪声对应的一组降噪滤波器所组成的目标滤波器组，继而可以再从该目标滤波器组中进一步选择合适的目标滤波器，以通过该目标滤波器对耳机设备待输出的目标音频信号进行针对性的降噪处理。上述音频信号处理方法综合考虑了环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。
请参阅图5，图5是本申请实施例公开的另一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图5所示，该音频信号处理方法可以包括以下步骤：
502、在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号。
其中，步骤502与上述步骤302类似，此处不再赘述。
504、计算环境音信号对应的功率谱密度。
在本申请实施例中，耳机设备可以通过计算环境音信号对应的功率谱密度，对该环境音信号的频谱特性进行分析，进而可以判断该环境音信号对应的场景，即该耳机设备当前所处场景。示例性地，耳机设备在计算出环境音信号对应的功率谱密度之后，可以在后续步骤中根据该功率谱密度确定与该耳机设备当前所处场景对应的场景噪声类型，并进一步从至少一个待选滤波器组中，确定与该场景噪声类型匹配的目标滤波器组。
在一些实施例中，耳机设备在具体计算上述功率谱密度之前，可以先对上述环境音信号进行第一音频预处理，以得到目标环境音信号。其中，上述第一音频预处理至少可以包括模数转换(Analogue-to-Digital Conversion，ADC)以及降采样等。具体地，为了减小耳机设备在进行降噪处理过程中的计算量，降低功耗，耳机设备可以将进行模数转换后所得到的环境音数字信号的采样率降低至一定值(例如8kHz、16kHz等)，以得到目标环境音信号。在此基础上，耳机设备可以按照单位窗口长度对该目标环境音信号进行加窗分割，得到至少一帧环境音子信号，再分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到上述环境音信号对应的功率谱密度。
具体地，耳机设备可以通过其内置的信号处理模块(如DSP模块，即数字信号处理器)来对上述目标环境音信号进行分帧加窗处理，即，将宏观上不平稳的音频信号分割为具备短时平稳性的多个音频信号帧(如帧长为10～30毫秒的音频信号帧)，再根据指定的窗函数对上述音频信号帧进行加窗截断，得到每一帧环境音子信号。示例性地，加窗截断可以通过如公式1所示的窗函数来实现：
公式1：
w(n)＝1,0≤n≤N-1；
w(n)＝0,其他
其中，分段函数w(n)为窗函数，N为单位窗口长度。通过将上述目标环境音信号与该窗函数进行时域上的卷积，即可实现加窗截断的效果。
进一步地，对分帧加窗后得到的某一帧环境音子信号，可以通过FFT(FastFourier Transform，快速傅里叶变换)等算法进行短时傅里叶变换，如以下公式2所示(未示出具体形式)：
公式2：
其中，x(n)为目标环境音信号，可以表示该目标环境音信号中的第n帧；m可以表示相应的傅里叶变换X(k,m)中的时间序列，k则可以表示频域子带序列。在此基础上，耳机设备根据变换后的各帧环境音子信号计算功率谱密度的过程可以如以下公式3所示：
公式3：
PS(k,m)＝(1-α)*PS(k,m-1)+α*|X(k,m)2
其中，PS(k,m)可以表示第m帧环境音子信号在第k个频域子带对应的功率谱密度，α可以表示迭代因子，即当前帧子带频谱信号的模的权重因子。可见，耳机设备可以根据变换后的各帧环境音子信号，分别计算上述环境音信号在各个频域子带对应的功率谱密度，其中上述各个频域子带为该环境音信号在各个相应的频率范围内的频域分量。
可以理解的是，若上述m等于1，则耳机设备实际可以根据变换后的第m帧环境音子信号(即第1帧)，计算得到第m帧环境音子信号对应的功率谱密度；若m大于1且小于或等于M(M为总帧数，且M为正整数)，则耳机设备可以根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算上述第m帧环境音子信号对应的功率谱密度。
506、根据上述功率谱密度，确定与耳机设备当前所处场景对应的场景噪声类型。
在本申请实施例中，耳机设备在计算出上述环境音信号对应的功率谱密度之后，可以基于该功率谱密度来对环境音信号的频谱特性进行分析，进而可以判断耳机设备当前所处场景对应的场景噪声类型。示例性地，上述场景噪声类型的判断过程可以如图6所示，即耳机设备在通过其前馈麦克风采集到环境音信号之后，可以依次对该环境音信号进行模数转换、降采样、FFT等步骤，继而可以根据FFT后所得到的各帧环境音子信号，分别计算环境音信号在各个频域子带对应的功率谱密度，再进一步确定与耳机设备当前所处场景对应的场景噪声类型，以用于在后续步骤中确定降噪所采用的滤波器类型(即确定目标滤波器组)。
在一些实施例中，耳机设备在确定与当前所处场景对应的场景噪声类型时，可以先对上述功率谱密度进行量化，以确定环境音信号在各个频域子带对应的功率谱密度梯级。在此基础上，耳机设备可以在各个频域子带对应的功率谱密度梯级符合目标场景噪声条件时，将该目标场景噪声条件对应的场景噪声类型确定为与耳机设备当前所处场景对应的场景噪声类型。
其中，上述目标场景噪声条件，可以包括上述低频场景、中高频场景、安静场景等不同场景下的环境音信号所应满足的功率谱密度取值条件。示例性地，低频场景下的环境音信号在0～200Hz频段的功率谱密度可以大于P1，中高频场景下的环境音信号在0～1000Hz频段的功率谱密度可以介于P1与P2之间(P1＞P2)，而安静场景下的环境音信号在0～2500Hz频段的功率谱密度可以小于P2。
示例性地，耳机设备在对上述功率谱密度进行量化之后，所得到的功率谱密度梯级可以如图7所示(以机场为例)。针对量化后的功率谱密度梯级，耳机设备可以直接将其与上述阈值P1、P2进行比较，从而可以判断目标频率范围内(即上述0～200Hz频段，或0～1000Hz频段，或0～2500Hz频段)的各个频域子带对应的功率谱密度梯级是否符合上述各个目标场景噪声条件。具体地，耳机设备可以基于上述各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合各个目标场景对应的功率谱密度范围(即大于P1，或介于P1与P2之间，或小于P2)，若符合某一目标场景对应的功率谱密度范围，则可以将该目标场景对应的场景噪声类型确定为与耳机设备当前所处场景对应的场景噪声类型。
其中，上述目标频率范围与目标场景对应，且可以包括一个或多个频域子带对应的频率范围。其中，目标场景可以为一个或多个预设场景中的任一场景，例如飞机、高铁等低频场景，餐厅、商场等中高频场景，图书馆、卧室等安静场景，但不限于此。
作为一种可选的实施方式，耳机设备也可以通过获取其当前所处位置，并将该当前所处位置与耳机设备记录过的场景位置进行比对，确定出相应的场景噪声类型，进而可以直接调用耳机设备在当前所处位置所采用过的降噪滤波器进行降噪，大大减少了耳机设备的运算量，同时也有利于降低耳机设备的功耗，延长续航时间。
作为另一种可选的实施方式，耳机设备还可以通过训练好的模型来对上述环境音信号进行识别，从而可以直接确定与耳机设备当前所处场景对应的场景噪声类型，能够有效提升耳机设备进行降噪处理的效率。
508、从至少一个待选滤波器组中，确定与该场景噪声类型匹配的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器。
在本申请实施例中，待选的降噪滤波器可以被划分为若干组，各组待选滤波器分别对应于上述不同的场景噪声类型，以用于针对相应的场景，对耳机设备待输出的目标音频信号实现场景自适应的降噪处理。
在一些实施例中，耳机设备可以预先对各组待选滤波器进行标记，例如通过编码、标签等方式标记每组待选滤波器所针对的场景噪声类型。在此基础上，耳机设备在获取其当前所处场景对应的场景噪声类型之后，可以依次比对每组待选滤波器的标记内容，以确定出与该场景噪声类型匹配的目标滤波器组。
在另一些实施例中，耳机设备也可以根据各组待选滤波器对应的滤波器参数(例如滤波范围、中心频率等)，来分别确定每组待选滤波器所针对的降噪频率范围。在此基础上，耳机设备可以基于上述场景噪声类型，从各组待选滤波器中初步确定出降噪频率范围可涵盖相应场景的多个目标滤波器组，再从该多个目标滤波器组中进一步挑选出降噪频率范围最匹配的目标滤波器组，从而可以提升耳机设备确定目标滤波器组的灵活性。
510、基于上述环境音信号以及耳内音频信号，计算得到降噪参数。
512、根据该降噪参数，从上述目标滤波器组中确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
其中，步骤510以及步骤512与上述步骤306以及步骤308类似，此处不再赘述。针对上述降噪参数包括频域相干系数和/或子带能量等具体参数的情况，请参见下一实施例的阐述。
可见，实施上述实施例所描述的音频信号处理方法，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。此外，通过计算环境音信号对应的功率谱密度，耳机设备可以对该环境音信号的频谱特性进行分析，从而可以准确判断耳机设备当前所处场景，进一步提升了耳机设备针对其当前所处场景进行主动降噪的准确性。
请参阅图8，图8是本申请实施例公开的又一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图8所示，该音频信号处理方法可以包括以下步骤：
802、在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号。
其中，步骤802与上述步骤302类似，此处不再赘述。
804、计算环境音信号对应的功率谱密度。
806、根据上述功率谱密度，确定与耳机设备当前所处场景对应的场景噪声类型。
808、从至少一个待选滤波器组中，确定与该场景噪声类型匹配的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器。
其中，步骤804、步骤806以及步骤808与上述步骤504、步骤506以及步骤508类似，此处不再赘述，
810、基于上述目标音频信号，对耳内音频信号进行信号抵消处理，得到耳内残余音频信号。
在本申请实施例中，耳机设备通过其反馈麦克风采集的耳内音频信号会受到环境音信号的干扰影响，但该耳内音频信号主要的音频成分仍为经过传输的目标音频信号。为了凸显环境音信号与耳内音频信号之间的关联性，耳机设备可以先从该耳内音频信号中去除传输后的目标音频信号，得到与上述环境音信号密切关联的耳内残余音频信号。在此基础上，耳机设备后续针对耳内音频信号的计算均可针对该耳内残余音频信号进行，从而可以更高效地完成后续的降噪处理过程。
在一些实施例中，耳机设备可以通过传递函数滤波器对上述目标音频信号进行滤波，以获取该目标音频信号对应的传递音频信号。其中，上述传递函数滤波器可以用于表征该耳机设备所处的音频传输系统(即目标音频信号在耳机与用户之间传输的通路，包括耳机设备10的器件结构、用户的耳形特征、用户佩戴耳机设备10时的佩戴泄漏情况等因素共同影响)对该目标音频信号的传输影响。可选地，该传递函数滤波器可以为FIR滤波器。
在一个实施例中，上述传递函数滤波器可以在耳机设备出厂前固化，并存储在该耳机设备的存储模块中。示例性地，该传递函数滤波器可以基于耳机设备放置在标准耳形治具(如IEC711等)中时所测得的耳形传递函数来实现，即在消音室环境下，将耳机设备置于气密性良好的标准耳形治具中，检测得到此时的耳形传递函数；也可以基于统计所得到的耳形传递函数来实现，例如在消音室环境下，获取大量用户正常佩戴耳机设备时的传递函数，并对其统计求均值，以用于配置相应的传递函数滤波器；又例如，若上述大量用户正常佩戴耳机设备时的传递函数以函数曲线的形式表示，则可以针对上述函数曲线求取均值曲线，并将该均值曲线对应的函数确定为所需的耳形传递函数，以用于实现相应的传递函数滤波器。
在另一个实施例中，上述传递函数滤波器也可以在用户佩戴耳机设备时，由用户在安静场景中主动触发测试得到。示例性地，针对耳机设备通过扬声器输出的目标音频信号x(n)，耳机设备可以先将其定义如下：
公式4：
x(n)＝[x(n),x(n-1),...,x(n-N+1)]T
其中，N为待确定的传递函数滤波器的系数数量，即该传递函数滤波器可以由N个系数(初始值为0)确定。用w(n)表示该传递函数滤波器，则在利用该传递函数滤波器w(n)对上述目标音频信号x(n)进行滤波后，所得到的传递音频信号y(n)可以通过如下公式5表示：
公式5：
y(n)＝wT(n)x(n)
其中，在利用上述公式5计算传递音频信号y(n)之前，需要先对目标音频信号x(n)进行第二音频预处理，该第二音频预处理可以包括降采样。在此基础上，耳机设备可以根据该传递音频信号y(n)，以及通过其反馈麦克风采集到的耳内音频信号d(n)，计算两者之间的误差信号e(n)。
公式6：
e(n)＝d(n)-y(n)
其中，上述耳内音频信号d(n)也需要经过第三音频预处理，该第三音频预处理可以包括模数转换以及降采样。
需要说明的是，耳机设备在计算得到上述误差信号e(n)时，即可将该误差信号e(n)作为所需的耳内残余音频信号。此时，上述对耳内音频信号d(n)进行信号抵消处理的过程可以如图9所示，即耳机设备在通过其反馈麦克风采集到耳内音频信号d(n)之后，可以依次对该耳内音频信号进行模数转换、降采样等步骤，继而可以将其与经过降采样以及传递函数滤波器滤波的目标音频信号(即传递音频信号y(n))作差，得到误差信号e(n)，并将其作为耳内残余音频信号进行FFT(进行FFT前后的耳内残余音频信号可以分别用Se和Sef来表示)，以用于后续计算降噪参数的过程中。
可选地，耳机设备也可以采用LMS(Least Mean Square，最小均方)算法来对上述信号抵消处理的过程进行迭代，以消除声学器件自身带来的误差，获取更准确的传递函数滤波器w(n)，同时也可以获取更准确的耳内残余音频信号。
示例性地，耳机设备在将上述耳内音频信号d(n)与传递音频信号y(n)作差，得到误差信号e(n)之后，可以进一步根据该误差信号e(n)，计算耳内音频信号d(n)与传递音频信号y(n)之间的均方误差。其中，上述均方误差J的计算方式可以如以下公式7所示：
公式7：
J＝E[e2(n)]＝E[d2(n)]+2E[d(n)wT(n)x(n)]+E[wT(n)x(n)xT(n)w(n)]
其中，E可以表示数学期望。进一步地，根据上述均方误差J，耳机设备可以更新传递函数滤波器w(n)，如以下公式8所示：
公式8：
w(n+1)＝w(n)+2ue(n)x(n)
其中，上述u为更新所采用的步长因子。对传递函数滤波器w(n)进行更新得到w(n+1)后，耳机设备可以重新执行上述信号抵消处理，通过新的传递函数滤波器w(n+1)对目标音频信号x(n)进行滤波，获取该目标音频信号x(n)对应的传递音频信号y(n)，再重复公式6、7、8所示的计算步骤，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号e(n)作为耳内残余音频信号。其中，上述更新停止条件可以包括迭代次数条件(例如更新次数达到次数上限)和/或迭代参数条件(例如传递函数滤波器w(n)或步长因子u满足一定数值条件)，本申请实施例中不作具体限定。
812、计算上述环境音信号与耳内残余音频信号之间的频域相干系数。
在本申请实施例中，通过计算环境音信号与耳内残余音频信号之间的频域相干系数，可以确定两者在频域上的关联程度，进而有助于对目标音频信号在耳机设备所处的音频系统传输的过程中受到环境音信号干扰的状况进行量化，以便于进行针对性的降噪处理。
示例性地，耳机设备可以根据上述环境音信号在各个目标频域子带对应的各个第一子信号，以及耳内残余音频信号在各个目标频域子带对应的各个第二子信号，计算得到该环境音信号与耳内残余音频信号之间的频域相干系数Rf，其中，上述各个目标频域子带对应的频率范围可以由上述目标滤波器组所确定。
具体地，上述计算过程可以如以下公式9所示：
公式9：
其中，Sef为耳内残余音频信号，Sof为环境音信号，该耳内残余音频信号Sef和环境音信号Sof均可经过模数转换、降采样等预处理。k可以表示频域子带序列，即Sef(k)可以表示耳内残余音频信号的第k个子带(第一子信号)，Sof(k)可以表示环境音信号的第k个子带(第二子信号)。上述i和j可以分别表示起始子带序列以及终点子带序列，其具体的值可以由上述目标滤波器组所确定，从而可以限定上述计算过程中所涉及的各个目标频域子带对应的频率范围。
814、根据上述耳内残余音频信号，计算该耳内残余音频信号对应的子带能量。
在本申请实施例中，通过计算耳内残余音频信号对应的子带能量，可以量化地确定环境音信号对上述目标音频信号的具体干扰程度，以便于在后续步骤中对耳机设备进行降噪处理的降噪深度进行针对性的限定。
示例性地，耳机设备可以根据上述耳内残余音频信号在各个目标频域子带对应的各个第三子信号，计算该耳内残余音频信号对应的子带能量ESef，其中，上述各个目标频域子带对应的频率范围也可以由上述目标滤波器组所确定。
具体地，上述计算过程可以如以下公式10所示：
公式10：
其中，Sef为上述耳内残余音频信号，k可以表示频域子带序列，即Sef(k)可以表示该耳内残余音频信号的第k个子带(第三子信号)。类似地，上述i和j也可以分别表示起始子带序列以及终点子带序列，其具体的值可以由上述目标滤波器组所确定，从而可以限定上述计算过程中所涉及的各个目标频域子带对应的频率范围。
可以理解，上述步骤814，可以接在上述步骤810之后执行，即该步骤814可以与步骤812并列执行，从而该耳机设备可以独立、同时地计算上述环境音信号与耳内残余音频信号之间的频域相干系数，以及该耳内残余音频信号对应的子带能量，进而可以将这两个降噪参数一并应用于后续确定目标滤波器的过程中。
816、根据频域相干系数，从目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，并根据子带能量，确定该目标滤波器对应的增益系数，该目标滤波器用于按照上述增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
在本申请实施例中，耳机设备在计算得到上述频域相干系数以及子带能量之后，可以基于这两个降噪参数，从上述目标滤波器组所包括的一个或多个降噪滤波器中具体确定出合适的目标滤波器。其中，该频域相干系数可以表征目标音频信号在耳机设备所处的音频系统传输的过程中受到环境音信号干扰的状况，因此可以在耳机设备已确定出与其当前所处场景对应的场景噪声类型的情况下，进一步判断该耳机设备所处的细分场景，以便于选择合适的中心频段(或频宽)、降噪峰值等滤波器参数来实现降噪，从而可以据此从上述目标滤波器组中确定出合适的目标滤波器。
在一些实施例中，耳机设备在根据上述频域相干系数从目标滤波器组中确定目标滤波器时，可以先针对该目标滤波器组所包括的一个或多个降噪滤波器，分别获取各个降噪滤波器在应用于当前所处场景时对应的频域相干系数，即，分别配置各个降噪滤波器来对上述目标音频信号进行降噪，并根据降噪后耳机设备所采集到的耳内音频信号，采用上述公式6以及公式9所示的方式，计算相应的耳内残余音频信号与环境音信号之间的频域相干系数。在此基础上，耳机设备可以将上述各个降噪滤波器对应的频域相干系数，与上述环境音信号与耳内残余音频信号之间的频域相干系数进行比较，并根据比较结果从目标滤波器组中确定出相干性最高(例如频域相干系数最接近)的降噪滤波器来作为目标滤波器。
在另一些实施例中，耳机设备也可以直接基于上述各个降噪滤波器对应的频域相干系数进行判断，确定出其中频域相干系数最小(即经过降噪后目标音频信号受环境音信号的影响最小)的降噪滤波器，来作为目标滤波器。
还有一些实施例中，耳机设备还可以针对上述各个降噪滤波器，分别计算各个降噪滤波器对应的相干参数，若某一降噪滤波器在耳机设备当前所处场景下的降噪效果越好，则该相干参数越大，从而耳机设备可以根据该相干参数直接确定出降噪效果最优的降噪滤波器来作为目标滤波器。
进一步地，上述子带能量可以表征环境音信号对目标音频信号干扰的具体程度，因此耳机设备在确定出上述目标滤波器之后，可以根据该子带能量确定该目标滤波器应当配置的降噪深度(例如通过增益等滤波器参数确定)，从而可以合理地配置该目标滤波器，以得到完全确定的目标滤波器，并将其应用于后续对待输出的目标音频信号的降噪处理中。
在一些实施例中，耳机设备可以根据该子带能量确定出相应的降噪等级，并基于该降噪等级获取目标滤波器对应的增益系数，继而该目标滤波器用于按照上述增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
在另一些实施例中，耳机设备也可以先针对该目标滤波器组所包括的一个或多个降噪滤波器，分别获取各个降噪滤波器在应用于当前所处场景时对应的子带能量，即，分别配置各个降噪滤波器来对上述目标音频信号进行降噪，并根据降噪后耳机设备所采集到的耳内音频信号，采用上述公式6以及公式10所示的方式，计算相应的耳内残余音频信号对应的子带能量。在此基础上，耳机设备可以直接基于上述各个降噪滤波器对应的子带能量进行判断，确定出其中子带能量最小(即经过降噪后耳内残余音频信号对应的子带能量最小)的降噪滤波器，来作为目标滤波器。
作为一种可选的实施方式，耳机设备在确定上述目标滤波器之后，可以按照一定的规则对该目标滤波器进行更新，以确保可以耳机设备可以针对其当前所处环境的变化，灵活、及时地调整用于进行降噪处理的目标滤波器。在一些实施例中，耳机设备可以在上述目标滤波器组更新时，遍历更新后的目标滤波器组中的各个降噪滤波器，以根据各个降噪滤波器对应的频域相干系数、子带能量等滤波器参数，重新确定出最合适的目标滤波器。在另一些实施例中，耳机设备也可以在上述目标滤波器组经过第一时长(例如10分钟、2小时等)仍未更新的情况下，遍历该目标滤波器组中的各个降噪滤波器，从而可以类似地根据各个降噪滤波器对应的滤波器参数，重新确定目标滤波器。通过实施上述方法，耳机设备可以根据环境噪声的细微变化进行实时精调，并确保平滑地切换耳机设备所采用的目标滤波器，在提升耳机设备进行主动降噪的精确性和灵活性的同时，尽可能降低了对用户的打扰，有利于提升耳机设备的使用体验。
在本申请实施例中，耳机设备通过其前馈麦克风采集的环境音信号，以及通过其反馈麦克风采集的耳内音频信号，在经过以该耳机设备内置的信号处理模块为主的一系列处理后，最终可以确定出用于对待输出的目标音频信号进行降噪处理的目标滤波器。示例性地，上述目标滤波器可以具体分为目标前馈滤波器以及目标反馈滤波器，该目标前馈滤波器和目标反馈滤波器可以共同应用于对上述目标音频信号的降噪处理中。
请参阅图10，图10是本申请实施例公开的一种音频信号处理方法的整体信号流向示意图。如图10所示，上述前馈麦克风所采集的环境音信号在经过模数转换、降采样、FFT等处理后，可以分别应用于计算功率谱密度，以及计算与耳内音频信号之间的频域相干系数。上述反馈麦克风所采集的耳内音频信号，在经过模数转换以及降采样后，可以与经过降采样以及传递函数滤波器滤波后的目标音频信号作差，所得到的误差信号(耳内残余音频信号)在经过FFT处理后，则可以分别应用于计算子带能量，以及计算与上述环境音信号之间的频域相干系数。在此基础上，耳机设备可以基于上述环境音信号对应的功率谱密度来确定目标滤波器组，并进一步基于上述环境音信号与耳内残余音频信号之间的频域相干系数，从该目标滤波器组中确定出目标滤波器；同时，耳机设备还可以根据上述耳内残余音频信号对应的子带能量，计算用于配置上述目标滤波器的增益系数。
其中，上述确定出的目标滤波器以及相应增益系数，可以同时应用于目标前馈滤波器和目标反馈滤波器。可选地，上述环境音信号在经过模数转换后，也可直接应用于前馈滤波器的构建中；上述耳内音频信号在经过模数转换后，也可直接应用于反馈滤波器的构建中。在此基础上，通过将耳机设备所输出的目标音频信号，在经过必要的均衡步骤后，分别与上述目标前馈滤波器以及目标反馈滤波器的输出相混合，可以得到经过均衡降噪的待输出的目标音频信号。耳机设备在通过扬声器对上述目标音频信号进行数模转换后，即可得到用于输出的目标音频信号。
可见，实施上述实施例所描述的音频信号处理方法，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。此外，通过迭代的方式计算降噪参数，有利于消除声学器件自身带来的误差，进一步提升耳机设备进行降噪处理的精确性。此外，通过及时更新目标滤波器，耳机设备还可以根据环境噪声的细微变化进行实时精调，并确保平滑地切换耳机设备所采用的目标滤波器，在提升耳机设备进行主动降噪的精确性和灵活性的同时，尽可能降低了对用户的打扰，有利于提升耳机设备的使用体验。
请参阅图11，图11是本申请实施例公开的第四种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风。如图11所示，该音频信号处理方法可以包括以下步骤：
1102、通过前馈麦克风采集环境音信号；
其中，步骤1102与上述步骤302类似，此处不再赘述。
1104、计算上述环境音信号对应的功率谱密度；
1106、根据上述功率谱密度，确定与耳机设备当前所处场景对应的场景噪声类型；
其中，步骤1104以及步骤1106与上述步骤504以及步骤506类似，此处不再赘述。
1108、基于上述场景噪声类型确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
在一些实施例中，耳机设备还可以根据上述场景噪声类型，先从至少一个待选滤波器组中确定与该场景噪声类型匹配的目标滤波器组，再从该目标滤波器组中确定目标滤波器。其中，上述目标滤波器组可以包括一个或多个降噪滤波器。
可见，实施上述实施例所描述的音频信号处理方法，通过计算环境音信号对应的功率谱密度，耳机设备可以对该环境音信号的频谱特性进行分析，从而可以准确判断耳机设备当前所处场景，进一步提升了耳机设备针对其当前所处场景进行主动降噪的准确性。
请参阅图12，图12是本申请实施例公开的一种功率谱密度计算方法的流程示意图，该方法可以应用于上述的耳机设备。如图12所示，该功率谱密度计算方法可以包括以下步骤：
1202、对环境音信号进行第一音频预处理，得到目标环境音信号，其中，上述第一音频预处理至少包括模数转换以及降采样；
1204、按照单位窗口长度对目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
1206、分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到环境音信号对应的功率谱密度。
在一些实施例中，上述环境音子信号可以共包括M帧，M为正整数。若m等于1，则耳机设备可以根据变换后的第m帧环境音子信号，计算该第m帧环境音子信号对应的功率谱密度；若m大于1且小于或等于M，则耳机设备可以根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算上述第m帧环境音子信号对应的功率谱密度。
在另一些实施例中，耳机设备也可以根据变换后的各帧环境音子信号，分别计算环境音信号在各个频域子带对应的功率谱密度，其中，上述各个频域子带为环境音信号在各个相应的频率范围内的频域分量。
可见，实施上述实施例所描述的音频信号处理方法，能够通过加窗分割的方式，将宏观上不平稳的音频信号分割为具备短时平稳性的多个音频信号帧，从而有利于提升耳机设备计算功率谱密度的便捷性。此外，通过划分频域子带，能够进一步提升耳机设备计算特定频率范围功率谱密度的灵活性，大大降低了计算量，有效提升了计算效率。
请参阅图13，图13是本申请实施例公开的第五种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风。如图13所示，该音频信号处理方法可以包括以下步骤：
1302、通过前馈麦克风采集环境音信号；
其中，步骤1302与上述步骤302类似，此处不再赘述。
1304、计算上述环境音信号对应的功率谱密度；
其中，步骤1304与上述步骤504类似，此处不再赘述。
1306、对功率谱密度进行量化，确定上述环境音信号在各个频域子带对应的功率谱密度梯级；
1308、若各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将目标场景噪声条件对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型。
在一些实施例中，耳机设备可以基于各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合目标场景对应的功率谱密度范围，若符合该目标场景对应的功率谱密度范围，则可以将该目标场景对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型。其中，上述目标频率范围可以与目标场景对应，且包括一个或多个频域子带对应的频率范围，该目标场景为一个或多个预设场景中的任一场景。
可见，实施上述实施例所描述的音频信号处理方法，能够方便、准确地判断出耳机设备当前所处场景对应的场景噪声类型，从而有利于提升耳机设备进行降噪处理的准确性。
请参阅图14，图14是本申请实施例公开的第六种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图14所示，该音频信号处理方法可以包括以下步骤：
1402、在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号；
其中，步骤1402与上述步骤302类似，此处不再赘述。
1404、基于上述目标音频信号，对耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
1406、根据上述环境音信号以及耳内残余音频信号，计算该环境音信号与耳内残余音频信号之间的频域相干系数，以及该耳内残余音频信号对应的子带能量；
其中，步骤1404以及步骤1406分别与上述步骤810、步骤812以及步骤814类似，此处不再赘述。
1408、根据上述频域相干系数以及子带能量确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
在一些实施例中，耳机设备可以根据上述频域相干系数，从目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，其中，该目标滤波器组与耳机设备当前所处场景对应，且包括一个或多个降噪滤波器。在此基础上，耳机设备还可以根据上述子带能量，确定该目标滤波器对应的增益系数，该目标滤波器用于按照上述增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
可见，实施上述实施例所描述的音频信号处理方法，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。
请参阅图15，图15是本申请实施例公开的第七种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机设备，该耳机设备可以包括反馈麦克风。如图15所示，该音频信号处理方法可以包括以下步骤：
1502、在耳机设备输出目标音频信号的情况下，通过反馈麦克风采集耳内音频信号；
其中，步骤1502与上述步骤302类似，此处不再赘述。
1504、通过传递函数滤波器对上述目标音频信号进行滤波，获取该目标音频信号对应的传递音频信号，其中，传递函数滤波器用于表征耳机设备所处的音频传输系统对目标音频信号的传输影响；
1506、计算耳内音频信号与传递音频信号之间的误差信号，作为耳内残余音频信号。
在一些实施例中，耳机设备在计算上述误差信号时，可以将上述耳内音频信号与传递音频信号作差，得到误差信号，再根据该误差信号计算耳内音频信号与传递音频信号之间的均方误差。在此基础上，耳机设备可以根据上述均方误差更新传递函数滤波器，并重新执行上述通过传递函数滤波器对目标音频信号进行滤波，获取目标音频信号对应的传递音频信号等步骤，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号作为耳内残余音频信号。
可见，实施上述实施例所描述的音频信号处理方法，通过迭代的方式计算降噪参数，有利于消除声学器件自身带来的误差，进一步提升耳机设备进行降噪处理的精确性。此外，通过及时更新目标滤波器，耳机设备还可以根据环境噪声的细微变化进行实时精调，并确保平滑地切换耳机设备所采用的目标滤波器，在提升耳机设备进行主动降噪的精确性和灵活性的同时，尽可能降低了对用户的打扰，有利于提升耳机设备的使用体验。
请参阅图16，图16是本申请实施例公开的一种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图16所示，该音频信号处理装置可以包括信号采集单元1601、第一确定单元1602、参数计算单元1603以及第二确定单元1604，其中：
信号采集单元1601，用于在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号；
第一确定单元1602，用于根据上述环境音信号，确定与耳机设备当前所处场景对应的目标滤波器组，该目标滤波器组包括一个或多个降噪滤波器；
参数计算单元1603，用于基于上述环境音信号以及耳内音频信号，计算得到降噪参数；
第二确定单元1604，用于根据该降噪参数，从上述目标滤波器组中确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
可见，采用上述实施例所描述的音频信号处理装置，耳机设备可以先基于其采集到的环境音信号来判断该耳机设备当前所处的场景，并确定出与该场景中的环境噪声对应的一组降噪滤波器所组成的目标滤波器组，继而可以再从该目标滤波器组中进一步选择合适的目标滤波器，以通过该目标滤波器对耳机设备待输出的目标音频信号进行针对性的降噪处理。上述音频信号处理方法综合考虑了环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。
在一种实施例中，上述第一确定单元1602可以包括未图示的功率谱密度计算子单元、噪声确定子单元以及滤波器确定子单元，其中：
功率谱密度计算子单元，用于计算环境音信号对应的功率谱密度；
噪声确定子单元，用于根据功率谱密度，确定与耳机设备当前所处场景对应的场景噪声类型；
滤波器确定子单元，用于从至少一个待选滤波器组中，确定与场景噪声类型匹配的目标滤波器组。
在一种实施例中，上述功率谱密度计算子单元，具体可以用于：
对环境音信号进行第一音频预处理，得到目标环境音信号，其中，第一音频预处理至少包括模数转换以及降采样；
按照单位窗口长度对目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到环境音信号对应的功率谱密度。
作为一种可选的实施方式，上述环境音子信号可以共包括M帧，M为正整数，功率谱密度计算子单元在根据变换后的各帧环境音子信号，计算得到环境音信号对应的功率谱密度时，具体可以包括：
若m等于1，则根据变换后的第m帧环境音子信号，计算第m帧环境音子信号对应的功率谱密度；
若m大于1且小于或等于M，则根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算第m帧环境音子信号对应的功率谱密度。
作为另一种可选的实施方式，功率谱密度计算子单元在根据变换后的各帧环境音子信号，计算得到环境音信号对应的功率谱密度时，具体也可以包括：
根据变换后的各帧环境音子信号，分别计算环境音信号在各个频域子带对应的功率谱密度，其中，各个频域子带为环境音信号在各个相应的频率范围内的频域分量。
在一种实施例中，上述噪声确定子单元，具体可以用于：
对功率谱密度进行量化，确定环境音信号在各个频域子带对应的功率谱密度梯级；
若各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将目标场景噪声条件对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型。
其中，噪声确定子单元在确定与耳机设备当前所处场景对应的场景噪声类型时，具体还可以：
基于各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合目标场景对应的功率谱密度范围，若符合目标场景对应的功率谱密度范围，则将目标场景对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型；
其中，目标频率范围与目标场景对应，且包括一个或多个频域子带对应的频率范围，目标场景为一个或多个预设场景中的任一场景。
可见，采用上述实施例所描述的音频信号处理装置，通过计算环境音信号对应的功率谱密度，耳机设备可以对该环境音信号的频谱特性进行分析，从而可以准确判断耳机设备当前所处场景，进一步提升了耳机设备针对其当前所处场景进行主动降噪的准确性。
在一种实施例中，上述降噪参数可以包括频域相干系数，上述参数计算单元1603可以包括未图示的抵消处理子单元以及参数计算子单元，其中：
抵消处理子单元，用于基于目标音频信号，对耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
参数计算子单元，用于计算环境音信号与耳内残余音频信号之间的频域相干系数。
在一种实施例中，上述抵消处理子单元，具体可以用于：
通过传递函数滤波器对目标音频信号进行滤波，获取目标音频信号对应的传递音频信号，其中，传递函数滤波器用于表征耳机设备所处的音频传输系统对目标音频信号的传输影响；
计算耳内音频信号与传递音频信号之间的误差信号，作为耳内残余音频信号。
作为一种可选的实施方式，上述抵消处理子单元在计算耳内音频信号与传递音频信号之间的误差信号时，具体可以包括：
将耳内音频信号与传递音频信号作差，得到误差信号；
根据误差信号，计算耳内音频信号与传递音频信号之间的均方误差；
根据均方误差，更新传递函数滤波器，并重新执行通过传递函数滤波器对目标音频信号进行滤波，获取目标音频信号对应的传递音频信号，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号作为耳内残余音频信号。
在一种实施例中，上述参数计算子单元，具体可以用于：
根据环境音信号在各个目标频域子带对应的各个第一子信号，以及耳内残余音频信号在各个目标频域子带对应的各个第二子信号，计算得到环境音信号与耳内残余音频信号之间的频域相干系数，其中，各个目标频域子带对应的频率范围由目标滤波器组所确定。
在此基础上，上述第二确定单元1604，具体可以用于：
分别将目标滤波器组包括的一个或多个降噪滤波器对应的频域相干系数，与环境音信号与耳内残余音频信号之间的频域相干系数进行比较，并根据比较结果从目标滤波器组中确定出相干性最高的降噪滤波器，作为目标滤波器。
在一种实施例中，上述降噪参数还可以包括子带能量，上述参数计算单元1603的参数计算子单元，还可以用于：
根据耳内残余音频信号，计算耳内残余音频信号对应的子带能量；
在此基础上，上述第二确定单元1604，具体可以用于：
根据频域相干系数，从目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，并根据子带能量，确定目标滤波器对应的增益系数，目标滤波器用于按照增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
作为一种可选的实施方式，上述参数计算子单元在计算耳内残余音频信号对应的子带能量时，具体可以包括：
根据耳内残余音频信号在各个目标频域子带对应的各个第三子信号，计算耳内残余音频信号对应的子带能量，其中，各个目标频域子带对应的频率范围由目标滤波器组所确定。
在一种实施例中，该音频信号处理装置还可以包括未图示的更新单元，该更新单元可以用于：
在目标滤波器组更新，或者目标滤波器组在第一时长内未更新的情况下，根据降噪参数，从上述目标滤波器组中重新确定目标滤波器。
可见，采用上述实施例所描述的音频信号处理装置，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。此外，通过迭代的方式计算降噪参数，有利于消除声学器件自身带来的误差，进一步提升耳机设备进行降噪处理的精确性。此外，通过及时更新目标滤波器，耳机设备还可以根据环境噪声的细微变化进行实时精调，并确保平滑地切换耳机设备所采用的目标滤波器，在提升耳机设备进行主动降噪的精确性和灵活性的同时，尽可能降低了对用户的打扰，有利于提升耳机设备的使用体验。
请参阅图17，图17是本申请实施例公开的另一种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风。如图17所示，该音频信号处理装置可以包括环境音信号采集单元单元1701、功率谱密度计算单元1702、噪声确定单元1703以及滤波器确定单元1704，其中：
环境音信号采集单元1701，用于通过前馈麦克风采集环境音信号；
功率谱密度计算单元1702，用于计算环境音信号对应的功率谱密度；
噪声确定单元1703，用于根据上述功率谱密度，确定与耳机设备当前所处场景对应的场景噪声类型；
滤波器确定单元1704，用于基于上述场景噪声类型确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
在一种实施例中，上述滤波器确定单元1704具体可以用于：
根据场景噪声类型，从至少一个待选滤波器组中确定与场景噪声类型匹配的目标滤波器组，目标滤波器组包括一个或多个降噪滤波器；
从目标滤波器组中确定目标滤波器。
采用上述实施例所描述的音频信号处理装置，通过计算环境音信号对应的功率谱密度，耳机设备可以对该环境音信号的频谱特性进行分析，从而可以准确判断耳机设备当前所处场景，进一步提升了耳机设备针对其当前所处场景进行主动降噪的准确性。
请参阅图18，图18是本申请实施例公开的一种功率谱密度计算装置的模块化示意图，该功率谱密度计算装置可以应用于上述的耳机设备。如图18所示，该功率谱密度计算装置可以包括预处理单元1801、加窗分割单元1802以及变换计算单元1803，其中：
预处理单元1801，用于对环境音信号进行第一音频预处理，得到目标环境音信号，其中，第一音频预处理至少包括模数转换以及降采样；
加窗分割单元1802，用于按照单位窗口长度对上述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
变换计算单元1803，用于分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到上述环境音信号对应的功率谱密度。
作为一种可选的实施方式，上述环境音子信号共可以包括M帧，M为正整数，上述变换计算单元1803具体可以用于：
若m等于1，则根据变换后的第m帧环境音子信号，计算第m帧环境音子信号对应的功率谱密度；
若m大于1且小于或等于M，则根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算第m帧环境音子信号对应的功率谱密度。
作为另一种可选的实施方式，上述变换计算单元1803具体可以用于：
根据变换后的各帧环境音子信号，分别计算环境音信号在各个频域子带对应的功率谱密度，其中，各个频域子带为环境音信号在各个相应的频率范围内的频域分量。
采用上述实施例所描述的音频信号处理装置，能够通过加窗分割的方式，将宏观上不平稳的音频信号分割为具备短时平稳性的多个音频信号帧，从而有利于提升耳机设备计算功率谱密度的便捷性。此外，通过划分频域子带，能够进一步提升耳机设备计算特定频率范围功率谱密度的灵活性，大大降低了计算量，有效提升了计算效率。
请参阅图19，图19是本申请实施例公开的又一种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风。如图19所示，该音频信号处理装置可以包括环境音信号采集单元1901、功率谱密度计算单元1902、量化计算单元1903以及噪声确定单元1904，其中：
环境音信号采集单元1901，用于通过前馈麦克风采集环境音信号；
功率谱密度计算单元1902，用于计算环境音信号对应的功率谱密度；
量化计算单元1903，用于对功率谱密度进行量化，确定上述环境音信号在各个频域子带对应的功率谱密度梯级；
噪声确定单元1904，用于在各个频域子带对应的功率谱密度梯级符合目标场景噪声条件的情况下，将上述目标场景噪声条件对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型。
在一种实施例中，上述噪声确定单元1904具体可以用于：
基于各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合目标场景对应的功率谱密度范围，若符合目标场景对应的功率谱密度范围，则将目标场景对应的场景噪声类型，确定为与耳机设备当前所处场景对应的场景噪声类型；
其中，目标频率范围与目标场景对应，且包括一个或多个频域子带对应的频率范围，目标场景为一个或多个预设场景中的任一场景。
采用上述实施例所描述的音频信号处理装置，能够方便、准确地判断出耳机设备当前所处场景对应的场景噪声类型，从而有利于提升耳机设备进行降噪处理的准确性。
请参阅图20，图20是本申请实施例公开的第四种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机设备，该耳机设备可以包括前馈麦克风以及反馈麦克风。如图20所示，该音频信号处理装置可以包括信号采集单元2001、抵消处理单元2002、参数计算单元2003以及滤波器确定单元2004，其中：
信号采集单元2001，用于在耳机设备输出目标音频信号的情况下，通过前馈麦克风采集环境音信号，以及通过反馈麦克风采集耳内音频信号；
抵消处理单元2002，用于基于目标音频信号，对耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
参数计算单元2003，用于根据上述环境音信号以及耳内残余音频信号，计算环境音信号与耳内残余音频信号之间的频域相干系数，以及耳内残余音频信号对应的子带能量；
滤波器确定单元2004，用于根据上述频域相干系数以及子带能量确定目标滤波器，该目标滤波器用于对待输出的目标音频信号进行降噪处理。
在一种实施例中，上述参数计算单元2003具体可以用于：
根据频域相干系数，从目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，其中，目标滤波器组与耳机设备当前所处场景对应，且包括一个或多个降噪滤波器；
根据子带能量，确定目标滤波器对应的增益系数，目标滤波器用于按照增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
采用上述实施例所描述的音频信号处理装置，可以综合考虑环境音信号所表征的外部噪声影响，以及耳内音频信号所表征的耳机设备内部结构影响，有效避免了仅基于环境音信号判断噪声类型时可能存在准确度较低的问题，以便于耳机设备针对其当前所处场景的噪声类型实现更精准的降噪处理，有利于提升耳机设备进行主动降噪的准确性和可靠性。
请参阅图21，图21是本申请实施例公开的第五种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机设备，该耳机设备可以包括反馈麦克风。如图21所示，该音频信号处理装置可以包括耳内音频信号采集单元2101、传递滤波单元2102以及误差计算单元2103，其中：
耳内音频信号采集单元2101，用于在耳机设备输出目标音频信号的情况下，通过反馈麦克风采集耳内音频信号；
传递滤波单元2102，用于通过传递函数滤波器对目标音频信号进行滤波，获取该目标音频信号对应的传递音频信号，其中，传递函数滤波器用于表征耳机设备所处的音频传输系统对目标音频信号的传输影响；
误差计算单元2103，用于计算上述耳内音频信号与传递音频信号之间的误差信号，作为耳内残余音频信号。
在一种实施例中，上述误差计算单元2103具体可以用于：
将耳内音频信号与传递音频信号作差，得到误差信号；
根据误差信号，计算耳内音频信号与传递音频信号之间的均方误差；
根据均方误差，更新传递函数滤波器，并重新执行通过传递函数滤波器对目标音频信号进行滤波，获取目标音频信号对应的传递音频信号，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号作为耳内残余音频信号。
采用上述实施例所描述的音频信号处理装置，通过迭代的方式计算降噪参数，有利于消除声学器件自身带来的误差，进一步提升耳机设备进行降噪处理的精确性。此外，通过及时更新目标滤波器，耳机设备还可以根据环境噪声的细微变化进行实时精调，并确保平滑地切换耳机设备所采用的目标滤波器，在提升耳机设备进行主动降噪的精确性和灵活性的同时，尽可能降低了对用户的打扰，有利于提升耳机设备的使用体验。
请参阅图22，图22是本申请实施例公开的一种耳机的模块化示意图。如图22所示，该耳机可以包括：
存储有可执行程序代码的存储器2201；
与存储器2201耦合的处理器2202；
其中，处理器2202调用存储器2201中存储的可执行程序代码，可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种音频信号处理方法及装置、耳机设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (34)

1.一种音频信号处理方法，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
根据所述环境音信号，确定与所述耳机设备当前所处场景对应的目标滤波器组，所述目标滤波器组包括一个或多个降噪滤波器；
基于所述环境音信号以及所述耳内音频信号，计算得到降噪参数；
根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述环境音信号，确定与所述耳机设备当前所处场景对应的目标滤波器组，包括：
计算所述环境音信号对应的功率谱密度；
根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型；
从至少一个待选滤波器组中，确定与所述场景噪声类型匹配的目标滤波器组。
3.根据权利要求2所述的方法，其特征在于，所述计算所述环境音信号对应的功率谱密度，包括：
对所述环境音信号进行第一音频预处理，得到目标环境音信号，其中，所述第一音频预处理至少包括模数转换以及降采样；
按照单位窗口长度对所述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度。
4.根据权利要求3所述的方法，其特征在于，所述环境音子信号共包括M帧，所述M为正整数，所述根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度，包括：
若m等于1，则根据变换后的第m帧环境音子信号，计算所述第m帧环境音子信号对应的功率谱密度；
若m大于1且小于或等于M，则根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算所述第m帧环境音子信号对应的功率谱密度。
5.根据权利要求3所述的方法，其特征在于，所述根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度，包括：
根据变换后的各帧环境音子信号，分别计算所述环境音信号在各个频域子带对应的功率谱密度，其中，所述各个频域子带为所述环境音信号在各个相应的频率范围内的频域分量。
6.根据权利要求2所述的方法，其特征在于，所述根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型，包括：
对所述功率谱密度进行量化，确定所述环境音信号在各个频域子带对应的功率谱密度梯级；
若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型。
7.根据权利要求6所述的方法，其特征在于，所述若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型，包括：
基于所述各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合目标场景对应的功率谱密度范围，若符合所述目标场景对应的功率谱密度范围，则将所述目标场景对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型；
其中，所述目标频率范围与所述目标场景对应，且包括一个或多个频域子带对应的频率范围，所述目标场景为一个或多个预设场景中的任一场景。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述降噪参数包括频域相干系数，所述基于所述环境音信号以及所述耳内音频信号，计算得到降噪参数，包括：
基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数。
9.根据权利要求8所述的方法，其特征在于，所述基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号，包括：
通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机设备所处的音频传输系统对所述目标音频信号的传输影响；
计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号。
10.根据权利要求9所述的方法，其特征在于，所述计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号，包括：
将所述耳内音频信号与所述传递音频信号作差，得到误差信号；
根据所述误差信号，计算所述耳内音频信号与所述传递音频信号之间的均方误差；
根据所述均方误差，更新所述传递函数滤波器，并重新执行所述通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号作为耳内残余音频信号。
11.根据权利要求8所述的方法，其特征在于，所述计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数，包括：
根据所述环境音信号在各个目标频域子带对应的各个第一子信号，以及所述耳内残余音频信号在所述各个目标频域子带对应的各个第二子信号，计算得到所述环境音信号与所述耳内残余音频信号之间的频域相干系数，其中，所述各个目标频域子带对应的频率范围由所述目标滤波器组所确定。
12.根据权利要求8所述的方法，其特征在于，所述根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，包括：
分别将所述目标滤波器组包括的一个或多个降噪滤波器对应的频域相干系数，与所述环境音信号与所述耳内残余音频信号之间的频域相干系数进行比较，并根据比较结果从所述目标滤波器组中确定出相干性最高的降噪滤波器，作为目标滤波器。
13.根据权利要求8所述的方法，其特征在于，所述降噪参数还包括子带能量，在所述基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号之后，所述方法还包括：
根据所述耳内残余音频信号，计算所述耳内残余音频信号对应的子带能量；
所述根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，包括：
根据所述频域相干系数，从所述目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，并根据所述子带能量，确定所述目标滤波器对应的增益系数，所述目标滤波器用于按照所述增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
14.根据权利要求13所述的方法，其特征在于，所述根据所述耳内残余音频信号，计算所述耳内残余音频信号对应的子带能量，包括：
根据所述耳内残余音频信号在各个目标频域子带对应的各个第三子信号，计算所述耳内残余音频信号对应的子带能量，其中，所述各个目标频域子带对应的频率范围由所述目标滤波器组所确定。
15.根据权利要求1至7任一项所述的方法，其特征在于，在所述根据所述降噪参数，从所述目标滤波器组中确定目标滤波器之后，所述方法还包括：
在所述目标滤波器组更新，或者所述目标滤波器组在第一时长内未更新的情况下，根据所述降噪参数，从所述目标滤波器组中重新确定目标滤波器。
16.一种音频信号处理方法，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风，所述方法包括：
通过所述前馈麦克风采集环境音信号；
计算所述环境音信号对应的功率谱密度；
根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型；
基于所述场景噪声类型确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
17.根据权利要求16所述的方法，其特征在于，所述基于所述场景噪声类型确定目标滤波器，包括：
根据所述场景噪声类型，从至少一个待选滤波器组中确定与所述场景噪声类型匹配的目标滤波器组，所述目标滤波器组包括一个或多个降噪滤波器；
从所述目标滤波器组中确定目标滤波器。
18.一种功率谱密度计算方法，其特征在于，包括：
对环境音信号进行第一音频预处理，得到目标环境音信号，其中，所述第一音频预处理至少包括模数转换以及降采样；
按照单位窗口长度对所述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度。
19.根据权利要求18所述的方法，其特征在于，所述环境音子信号共包括M帧，所述M为正整数，所述根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度，包括：
若m等于1，则根据变换后的第m帧环境音子信号，计算所述第m帧环境音子信号对应的功率谱密度；
若m大于1且小于或等于M，则根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算所述第m帧环境音子信号对应的功率谱密度。
20.根据权利要求18所述的方法，其特征在于，所述根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度，包括：
根据变换后的各帧环境音子信号，分别计算所述环境音信号在各个频域子带对应的功率谱密度，其中，所述各个频域子带为所述环境音信号在各个相应的频率范围内的频域分量。
21.一种音频信号处理方法，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风，所述方法包括：
通过所述前馈麦克风采集环境音信号，并计算所述环境音信号对应的功率谱密度；
对所述功率谱密度进行量化，确定所述环境音信号在各个频域子带对应的功率谱密度梯级；
若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型。
22.根据权利要求21所述的方法，其特征在于，所述若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型，包括：
基于所述各个频域子带对应的功率谱密度梯级，判断目标频率范围内的功率谱密度是否符合目标场景对应的功率谱密度范围，若符合所述目标场景对应的功率谱密度范围，则将所述目标场景对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型；
其中，所述目标频率范围与所述目标场景对应，且包括一个或多个频域子带对应的频率范围，所述目标场景为一个或多个预设场景中的任一场景。
23.一种音频信号处理方法，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
根据所述环境音信号以及所述耳内残余音频信号，计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数，以及所述耳内残余音频信号对应的子带能量；
根据所述频域相干系数以及所述子带能量确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
24.根据权利要求23所述的方法，其特征在于，所述根据所述频域相干系数以及所述子带能量确定目标滤波器，包括：
根据所述频域相干系数，从目标滤波器组中确定出相干性最高的降噪滤波器作为目标滤波器，其中，所述目标滤波器组与所述耳机设备当前所处场景对应，且包括一个或多个降噪滤波器；
根据所述子带能量，确定所述目标滤波器对应的增益系数，所述目标滤波器用于按照所述增益系数进行配置，以对待输出的目标音频信号进行降噪处理。
25.一种音频信号处理方法，其特征在于，应用于耳机设备，所述耳机设备包括反馈麦克风，所述方法包括：
在所述耳机设备输出目标音频信号的情况下，通过所述反馈麦克风采集耳内音频信号；
通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机设备所处的音频传输系统对所述目标音频信号的传输影响；
计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号。
26.根据权利要求25所述的方法，其特征在于，所述计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号，包括：
将所述耳内音频信号与所述传递音频信号作差，得到误差信号；
根据所述误差信号，计算所述耳内音频信号与所述传递音频信号之间的均方误差；
根据所述均方误差，更新所述传递函数滤波器，并重新执行所述通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，直至满足更新停止条件为止，并将满足更新停止条件时所得到的误差信号作为耳内残余音频信号。
27.一种音频信号处理装置，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述音频信号处理装置包括：
信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
第一确定单元，用于根据所述环境音信号，确定与所述耳机设备当前所处场景对应的目标滤波器组，所述目标滤波器组包括一个或多个降噪滤波器；
参数计算单元，用于基于所述环境音信号以及所述耳内音频信号，计算得到降噪参数；
第二确定单元，用于根据所述降噪参数，从所述目标滤波器组中确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
28.一种音频信号处理装置，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风，所述音频信号处理装置包括：
环境音信号采集单元，用于通过所述前馈麦克风采集环境音信号；
功率谱密度计算单元，用于计算所述环境音信号对应的功率谱密度；
噪声确定单元，用于根据所述功率谱密度，确定与所述耳机设备当前所处场景对应的场景噪声类型；
滤波器确定单元，用于基于所述场景噪声类型确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
29.一种功率谱密度计算装置，其特征在于，包括：
预处理单元，用于对环境音信号进行第一音频预处理，得到目标环境音信号，其中，所述第一音频预处理至少包括模数转换以及降采样；
加窗分割单元，用于按照单位窗口长度对所述目标环境音信号进行加窗分割，得到至少一帧环境音子信号；
变换计算单元，用于分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的功率谱密度。
30.一种音频信号处理装置，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风，所述音频信号处理装置包括：
环境音信号采集单元，用于通过所述前馈麦克风采集环境音信号；
功率谱密度计算单元，用于计算所述环境音信号对应的功率谱密度；
量化计算单元，用于对所述功率谱密度进行量化，确定所述环境音信号在各个频域子带对应的功率谱密度梯级；
噪声确定单元，用于若所述各个频域子带对应的功率谱密度梯级符合目标场景噪声条件，则将所述目标场景噪声条件对应的场景噪声类型，确定为与所述耳机设备当前所处场景对应的场景噪声类型。
31.一种音频信号处理装置，其特征在于，应用于耳机设备，所述耳机设备包括前馈麦克风及反馈麦克风，所述音频信号处理装置包括：
信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述前馈麦克风采集环境音信号，以及通过所述反馈麦克风采集耳内音频信号；
抵消处理单元，用于基于所述目标音频信号，对所述耳内音频信号进行信号抵消处理，得到耳内残余音频信号；
参数计算单元，用于根据所述环境音信号以及所述耳内残余音频信号，计算所述环境音信号与所述耳内残余音频信号之间的频域相干系数，以及所述耳内残余音频信号对应的子带能量；
滤波器确定单元，用于根据所述频域相干系数以及所述子带能量确定目标滤波器，所述目标滤波器用于对待输出的目标音频信号进行降噪处理。
32.一种音频信号处理装置，其特征在于，应用于耳机设备，所述耳机设备包括反馈麦克风，所述音频信号处理装置包括：
耳内音频信号采集单元，用于在所述耳机设备输出目标音频信号的情况下，通过所述反馈麦克风采集耳内音频信号；
传递滤波单元，用于通过传递函数滤波器对所述目标音频信号进行滤波，获取所述目标音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机设备所处的音频传输系统对所述目标音频信号的传输影响；
误差计算单元，用于计算所述耳内音频信号与所述传递音频信号之间的误差信号，作为耳内残余音频信号。
33.一种耳机设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至26任一项所述的方法。
34.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至26任一项所述的方法。
CN202210077669.5A 2022-01-24 2022-01-24 音频信号处理方法及装置、耳机设备、存储介质 Pending CN116528099A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210077669.5A CN116528099A (zh) 2022-01-24 2022-01-24 音频信号处理方法及装置、耳机设备、存储介质
PCT/CN2022/137567 WO2023138252A1 (zh) 2022-01-24 2022-12-08 音频信号处理方法及装置、耳机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210077669.5A CN116528099A (zh) 2022-01-24 2022-01-24 音频信号处理方法及装置、耳机设备、存储介质

Publications (1)

Publication Number Publication Date
CN116528099A true CN116528099A (zh) 2023-08-01

Family

ID=87347769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210077669.5A Pending CN116528099A (zh) 2022-01-24 2022-01-24 音频信号处理方法及装置、耳机设备、存储介质

Country Status (2)

Country Link
CN (1) CN116528099A (zh)
WO (1) WO2023138252A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1280138A1 (de) * 2001-07-24 2003-01-29 Empire Interactive Europe Ltd. Verfahren zur Analyse von Audiosignalen
CN105120389B (zh) * 2015-08-17 2019-07-12 惠州Tcl移动通信有限公司 一种根据场景进行降噪处理的方法及耳机
CN206481426U (zh) * 2017-01-05 2017-09-08 歌尔科技有限公司 一种抵消环境噪声的装置及一种主动降噪耳机
CN108766454A (zh) * 2018-06-28 2018-11-06 浙江飞歌电子科技有限公司 一种语音噪声抑制方法及装置
CN112201273A (zh) * 2019-07-08 2021-01-08 北京声智科技有限公司 一种噪声功率谱密度计算方法、系统、设备及介质
CN110972007A (zh) * 2019-10-30 2020-04-07 上海集研机电科技有限公司 一种适用于舰船高噪音场景下的有源耳机降噪方法
CN110996215B (zh) * 2020-02-26 2020-06-02 恒玄科技(北京)有限公司 确定耳机降噪参数的方法、装置以及计算机可读介质
CN111128215B (zh) * 2019-12-24 2022-06-07 声耕智能科技(西安)研究院有限公司 一种单通道实时降噪方法及系统
CN112954530B (zh) * 2021-02-26 2023-01-24 歌尔科技有限公司 一种耳机降噪方法、装置、系统及无线耳机

Also Published As

Publication number Publication date
WO2023138252A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
US8538749B2 (en) Systems, methods, apparatus, and computer program products for enhanced intelligibility
US8977545B2 (en) System and method for multi-channel noise suppression
AU756511B2 (en) Signal noise reduction by spectral subtraction using linear convolution and causal filtering
US8284947B2 (en) Reverberation estimation and suppression system
KR101238731B1 (ko) 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치
CN103874002B (zh) 包括非自然信号减少的音频处理装置
JP4640461B2 (ja) 音量調整装置およびプログラム
US9053697B2 (en) Systems, methods, devices, apparatus, and computer program products for audio equalization
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
JP5241921B2 (ja) 電子音響チャンネルの適応制御とイコライゼーションの方法
US6157909A (en) Process and device for blind equalization of the effects of a transmission channel on a digital speech signal
US20120263317A1 (en) Systems, methods, apparatus, and computer readable media for equalization
US20060206320A1 (en) Apparatus and method for noise reduction and speech enhancement with microphones and loudspeakers
EP1080463B1 (en) Signal noise reduction by spectral subtraction using spectrum dependent exponential gain function averaging
US20130163781A1 (en) Breathing noise suppression for audio signals
KR20130108063A (ko) 다중 마이크로폰의 견고한 잡음 억제
GB2585086A (en) Pre-processing for automatic speech recognition
CN111354368B (zh) 补偿处理后的音频信号的方法
US11380312B1 (en) Residual echo suppression for keyword detection
CN116528099A (zh) 音频信号处理方法及装置、耳机设备、存储介质
CN114566179A (zh) 一种时延可控的语音降噪方法
KR100754558B1 (ko) 주기 신호 향상 시스템
Srinivasan Using a remotewireless microphone for speech enhancement in non-stationary noise
CN116405836B (zh) 一种基于互联网的麦克风调音方法及系统
EP4258263A1 (en) Apparatus and method for noise suppression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination