CN114303389A - 麦克风阻挡检测控制 - Google Patents

麦克风阻挡检测控制 Download PDF

Info

Publication number
CN114303389A
CN114303389A CN201980099955.8A CN201980099955A CN114303389A CN 114303389 A CN114303389 A CN 114303389A CN 201980099955 A CN201980099955 A CN 201980099955A CN 114303389 A CN114303389 A CN 114303389A
Authority
CN
China
Prior art keywords
signal
microphone
blocking
processor
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980099955.8A
Other languages
English (en)
Inventor
马里·帕蒂奥
阿努·赫图宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114303389A publication Critical patent/CN114303389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种改进的麦克风阻挡检测方法和系统,所述方法和系统利用来自控制单元(4)的控制信息,所述控制单元能够检测麦克风信号中的风噪声或触摸噪声,可选地,将所述麦克风信号与来自内部传感器(9)(例如语音加速度计、拾音传感器或内部麦克风)的信号组合,以在所述控制单元(4)识别出所述风噪声、所述触摸噪声或其它异常时阻止错误的阻挡检测。所述方法还可以利用背景噪声检测和用户自身语音检测(own voice detection,OVD)信息作为附加控制特征,以便在没有所述背景噪声或语音的安静情况下停止所述阻挡检测。

Description

麦克风阻挡检测控制
技术领域
本发明大体涉及数字音频信号处理技术,尤其涉及用于在包括多个麦克风的装置(例如配备耳机的移动设备)中控制自动检测麦克风阻挡的方法和系统。
背景技术
包括音频录制装置(例如,通过物理方式或无线方式连接到移动设备的耳机)的系统可以利用多个麦克风从周围环境中拾取和录制音频,例如移动设备用户的语音。有时,这些麦克风中的一个或多个的操作可能会在操作过程中被阻挡、部分被阻挡、中断或以其它方式受到影响。
例如,灰尘等小颗粒可能会落入麦克风中,导致麦克风的操作不理想,麦克风可能会被手指或其它身体部位或用户佩戴的某种物品(例如,围巾或帽子)阻挡或部分阻挡。麦克风也可能由于机械或其它原因而损坏或部分损坏,和/或麦克风可能由于风等环境因素引入的声音失真而受到影响。这可能会导致录制的音频质量下降。此外,任何波束成形(通常用于降噪和从所需方向更好地拾音)都需要在麦克风阻挡期间关闭,因为这会导致错误输出。
在具有多个麦克风的耳机中,系统可以从被阻挡的麦克风切换到未被阻挡的麦克风。通常,通过比较麦克风功率电平来检测麦克风阻挡。但是,在存在风噪声或触摸噪声(当用户触摸麦克风或麦克风孔时会产生触摸噪声)的情况下,以这种方式计算的阻挡检测会导致错误结果。这是因为在存在风噪声或触摸噪声的情况下,麦克风功率电平通常相对于彼此快速变化。此外,在安静情况下(没有背景噪声或背景噪声非常低),对麦克风功率电平进行比较不会产生可靠的结果。
在US9467779B2(麦克风部分遮挡检测器(Microphone partial occlusiondetector),苹果公司,2016年10月11日)中,麦克风部分遮挡检测器确定第一音频信号和第二音频信号的低频段分离以及第一音频信号和第二音频信号的高频段分离,以生成指示麦克风中的一个是否被部分遮挡的麦克风部分遮挡函数。语音活动检测(voice activitydetection,VAD)用于评估部分遮挡条件。
在US9699550B2(降低麦克风开机延迟(Reduced microphone power-uplatency),高通公司,2017年7月4日)中,第一麦克风用于唤醒其它麦克风。如果第一麦克风的低噪声电平检测器未能超过选定阈值电平,则向第二麦克风发送切换命令。
在WO2014037766A1(麦克风受影响检测(Detection of a microphoneimpairment),2014年3月13日)中,通过将麦克风信号或根据麦克风信号计算的功率与选定阈值进行比较,来通过不同方法检测麦克风受影响。
发明内容
本发明的目的在于提供一种改进的麦克风阻挡检测方法和装置,所述方法和装置通过在风噪声、触摸噪声或其它异常期间阻止阻挡检测而克服或至少减少上述问题。
上述和其它目的通过独立权利要求请求保护的特征实现。其它实现方式在从属权利要求、说明书和附图中显而易见。
根据第一方面,提供了一种装置,所述装置包括:
至少一对麦克风,每个麦克风用于生成至少一个麦克风信号;
处理器,用于:
监测至少一对麦克风信号,其中每个麦克风信号由一对麦克风中的不同麦克风生成;
通过比较所述至少一对麦克风信号来确定至少一个阻挡信号,每个阻挡信号指示麦克风是否被阻挡;
根据所述阻挡信号来更新所述一对麦克风中的至少一个的阻挡状态;
控制单元,用于:
至少部分地根据所述麦克风信号来监测是否存在风噪声或触摸噪声中的至少一个;
生成指示所述存在的控制信号;
所述处理器还用于在所述控制信号指示存在所述风噪声或所述触摸噪声中的至少一个的情况下,阻止更新所述阻挡状态。
在所述控制单元识别出所述风噪声、所述触摸噪声或其它异常时阻止阻挡检测,这种麦克风阻挡检测方法可用于耳机等装置中,比先前已知的方法更可靠、更准确。
在所述第一方面的一种可能的实现方式中,所述处理器还用于通过以下方式确定所述至少一个阻挡信号:计算所述至少一对麦克风信号在预定频段上的信号功率比;将所述信号功率比与至少一个预定阈值进行比较。
在所述第一方面的另一种可能的实现方式中,所述处理器还用于:确定所述至少一对麦克风中的每一个的阻挡信号,其中,将所述信号功率比与上阈值进行比较来确定所述一对麦克风中的一个麦克风的阻挡信号,并将所述信号功率比与下阈值进行比较来确定另一个麦克风的阻挡信号。
在所述第一方面的另一种可能的实现方式中,以下各项中的至少一个是二进制信号:所述控制信号,当检测到存在任何风噪声或触摸噪声时,所述控制信号的值为1,否则为0;或所述阻挡信号,如果麦克风被阻挡,则所述阻挡信号的值为1,否则为0。
在所述第一方面的另一种可能的实现方式中,所述装置还包括:至少一个内部传感器,设置在壳体中;所述控制单元还用于:根据所述麦克风信号和来自所述至少一个内部传感器的至少一个内部传感器信号中的至少一个来检测是否存在风噪声或触摸噪声中的至少一个。在一个实施例中,所述内部传感器是语音加速度计(voice accelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风中的至少一个。除了麦克风信号之外,使用内部传感器(例如,集成在耳机中)有助于以更准确的方式确定所述控制信号。
在所述第一方面的另一种可能的实现方式中,所述控制单元还用于:根据所述麦克风信号和来自所述至少一个内部传感器的所述至少一个信号中的至少一个来检测是否存在用户自身语音,并生成自身语音检测(own voice detection,OVD)信号;所述处理器还用于仅在所述OVD信号指示存在所述用户自身语音的情况下,更新所述阻挡状态。此方案有助于将所述阻挡检测限制在检测到所述用户自身语音的那些时间段内,从而提高所述麦克风阻挡检测的可靠性,在安静情况下尤为如此。
在一个实施例中,所述OVD信号是二进制信号,如果检测到所述用户自身语音,则所述OVD信号的值为1,否则为0。
在所述第一方面的另一种可能的实现方式中,所述处理器还用于:通过分析所述至少一个麦克风信号和来自所述至少一个内部传感器的所述至少一个信号中的至少一个来检测背景噪声值;仅在以下各项中的至少一个的情况下更新所述阻挡状态,否则阻止更新所述阻挡状态:所述背景噪声值超过预定背景噪声阈值;或所述OVD信号指示存在所述用户自身语音。这有助于通过在噪声电平不够高时停止所述阻挡检测来进一步提高所述麦克风阻挡检测的可靠性。
根据第二方面,提供了一种用于在装置中控制麦克风阻挡检测的方法,所述装置包括处理器、控制单元和至少一对麦克风,所述方法包括:
所述处理器监测至少一对麦克风信号,其中每个麦克风信号由一对麦克风中的不同麦克风生成;
所述处理器通过比较所述至少一对麦克风信号来确定至少一个阻挡信号,每个阻挡信号指示麦克风是否被阻挡;
所述处理器根据所述阻挡信号来更新所述一对麦克风中的至少一个的阻挡状态;
所述控制单元至少部分地根据所述麦克风信号来监测是否存在风噪声或触摸噪声中的至少一个,并生成指示所述存在的控制信号;
将所述处理器配置为在所述控制信号指示存在所述风噪声或所述触摸噪声中的至少一个的情况下,阻止更新所述阻挡状态。
通过这种方式配置以在所述控制单元识别出所述风噪声、所述触摸噪声或其它异常时阻止阻挡检测的装置可以进行比现有已知的设备更可靠、更准确的麦克风阻挡检测,因为这有助于避免在所述风噪声或所述触摸噪声期间麦克风被阻挡或受影响而带来的错误结果和错误检测。
在所述第二方面的一种可能的实现方式中,确定所述至少一个阻挡信号包括:
计算所述至少一对麦克风信号在预定频段上的信号功率比;
将所述信号功率比与至少一个预定阈值进行比较。
在所述第二方面的另一种可能的实现方式中,确定所述至少一个阻挡信号包括:确定所述至少一对麦克风中的每一个的阻挡信号,其中,将所述信号功率比与上阈值进行比较来确定所述一对麦克风中的一个麦克风的阻挡信号,并将所述信号功率比与下阈值进行比较来确定另一个麦克风的阻挡信号。
在所述第二方面的另一种可能的实现方式中,以下各项中的至少一个是二进制信号:所述控制信号,当检测到存在任何风噪声或触摸噪声时,所述控制信号的值为1,否则为0;或所述阻挡信号,如果麦克风被阻挡,则所述阻挡信号的值为1,否则为0。
在所述第二方面的另一种可能的实现方式中,所述装置还包括:至少一个内部传感器,设置在壳体中;所述方法还包括:所述控制单元根据所述麦克风信号和来自所述至少一个内部传感器的至少一个内部传感器信号中的至少一个来检测是否存在风噪声或触摸噪声中的至少一个。在一个实施例中,所述内部传感器是语音加速度计(voiceaccelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风中的至少一个。除了麦克风信号之外,使用内部传感器(例如,集成在耳机中)有助于以更准确的方式确定所述控制信号。
在所述第二方面的另一种可能的实现方式中,所述方法还包括:所述控制单元根据所述麦克风信号和来自所述至少一个内部传感器的所述至少一个信号中的至少一个来检测是否存在用户自身语音,并生成自身语音检测(own voice detection,OVD)信号;将所述处理器配置为仅在所述OVD信号指示存在所述用户自身语音的情况下,更新所述阻挡状态。此方案有助于将所述阻挡检测限制在检测到所述用户自身语音的那些时间段内,从而提高所述麦克风阻挡检测方法的可靠性,在安静情况下尤为如此。
在一个实施例中,所述OVD信号是二进制信号,如果检测到所述用户自身语音,则所述OVD信号的值为1,否则为0。
在所述第二方面的另一种可能的实现方式中,所述方法还包括:
所述处理器通过分析所述至少一个麦克风信号和来自所述至少一个内部传感器的所述至少一个信号中的至少一个来检测背景噪声值;
将所述处理器配置为仅在以下各项中的至少一个的情况下更新所述阻挡状态,否则阻止更新所述阻挡状态:1)所述背景噪声值超过预定背景噪声阈值;或2)所述OVD信号指示存在所述用户自身语音。这有助于通过在噪声电平不够高时停止所述阻挡检测来进一步提高所述麦克风阻挡检测的可靠性。
根据第三方面,提供了一种用于控制麦克风阻挡的系统,所述系统包括处理器、控制单元、至少一对麦克风和存储设备,所述存储设备用于存储指令,所述指令在由所述处理器执行时,使得所述系统的所述组件执行根据所述第二方面的任何可能的实现方式所述的方法。
这些方面和其它方面在下文描述的实施例中是显而易见的。
附图说明
在本发明的以下详述部分中,参考附图中示出的示例性实施例详细解释各方面、实施例和实现方式,在附图中:
图1示出了第一方面的一个实施例提供的装置和第二方面的一个实施例提供的方法的组合流程图;
图2示出了第一方面的另一个实施例提供的装置和第二方面的另一个实施例提供的方法的组合流程图;
图3示出了第一方面的另一个实施例提供的装置和第二方面的另一个实施例提供的方法的组合流程图;
图4示出了第一方面的另一个实施例提供的装置和第二方面的另一个实施例提供的方法的组合流程图;
图5示出第三方面的一个实施例提供的系统;
图6至图9示出了由于使用第一方面的另一个实施例提供的装置、第二方面的另一个实施例提供的方法或第三方面的另一个实施例提供的系统而产生的不同情况下的算法性能;
图10示出了第二方面的另一个实施例提供的方法的流程图。
具体实施方式
根据比较麦克风功率电平来检测耳机中的麦克风阻挡在风噪声或触摸噪声期间不起作用。如果在所述风噪声或所述触摸噪声期间更新所述阻挡检测,则可能导致错误结果。下文参考附图描述的方案能够在所述风噪声或所述触摸噪声期间利用来自附加控制单元的控制信息来停止所述阻挡检测,所述附加控制单元能够检测麦克风信号(可选地,与来自内部传感器的信号组合)中的风噪声或触摸噪声。
图1示出了本发明提供的用于在装置1中控制麦克风阻挡检测的装置和方法步骤的组合流程图。所述装置至少包括处理器6、控制单元4和一对麦克风2,所述一对麦克风分别表示为第一麦克风2A和第二麦克风2B。然而,应当注意,可以在装置1中使用任何数量的麦克风2,只要每个麦克风都能生成至少一个麦克风信号3即可。
在第一步骤101中,处理器6用于监测一对传入的麦克风信号(3A、3B),每个麦克风信号(3A、3B)由不同的麦克风(2A、2B)生成,并将麦克风信号(3A、3B)进行相互比较。
在下一步骤102中,处理器6根据比较结果确定麦克风(2A、2B)中的每一个的至少一个阻挡信号7,阻挡信号7指示是否检测到麦克风(2A、2B)被阻挡。
在下一步骤103中,处理器6尝试根据阻挡信号7来更新所述一对麦克风2中的至少一个的阻挡状态8。
同时,控制单元4连续监测104麦克风信号3以检测是否存在风噪声或触摸噪声中的至少一个,并在下一步骤105中生成指示所述存在的控制信号5。
如果控制信号5指示存在所述风噪声或所述触摸噪声中的至少一个,则作为步骤103之前的步骤,指示处理器6阻止更新阻挡状态8。
在一个实施例中,亦如图6至图9所示,控制信号5是二进制信号,当检测到存在任何风噪声或触摸噪声时,控制信号5的值为1,否则为0。
在一个实施例中,装置1还包括至少一个内部传感器9,设置在壳体12中;控制单元4用于使用来自内部传感器9的附加内部传感器信号10来检测是否存在所述风噪声或所述触摸噪声。
在一个实施例中,内部传感器9是语音加速度计(voice accelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风。
如图1中的虚线所示,控制单元4可以是处理器6的一部分,例如作为处理器6的算法包的一部分。然而,在一些实施例中,可以在包括单独处理器的连接设备(例如,图5所示的移动设备14)中处理控制信号5并确定阻挡信号7。
在图2所示的实施例中,确定102至少一个阻挡信号7的步骤包括在步骤1021中,计算分别来自一对麦克风(2A、2B)的一对麦克风信号(3A、3B)的功率之间的信号功率比(Rp),并在下一步骤1022中,将信号功率比(Rp)与至少一个预定阈值T进行比较(详见下文)。
在一个实施例中,仅使用预定频段之间的某些频率来比较所述一对麦克风信号(3A、3B)并计算信号功率比(Rp)。在一个实施例中,使用2kHz和2.5kHz之间的频段进行比较。
在一个实施例中,在步骤1023中确定一对麦克风(2A、2B)中的每一个的阻挡信号7。在一个实施例中,如图2所示,该阻挡信号7是二进制信号,如果麦克风(2A、2B)被阻挡,则阻挡信号7的值为1,否则为0。
如图3所示,对于每个麦克风,阻挡信号7最初设置为0(未被阻挡)。然后,在下一步骤1024中,通过以下方式确定所述一对麦克风中的每一个的阻挡信号7:将信号功率比(Rp)与预定下阈值(Tl)进行比较,以确定第一麦克风2A的阻挡信号7(如果Rp<Tl,则改为1),并且如果信号功率比(Rp)等于或高于预定下阈值(Tl),则将信号功率比(Rp)与预定上阈值(Tl)进行比较,以确定第二麦克风2B的阻挡信号7(如果Rp>Th,则改为1,如果Rp≤Th,则保持不变)。因此,如果满足条件Tl≤Rp≤Th,则阻挡信号7保持为0(未被阻挡)。然后使用阻挡信号7更新麦克风(2A、2B)中的任一个或每一个的(临时)阻挡状态8。
图4示出了本发明提供的装置以及相应方法步骤的另一个可能实施例的组合流程图。为简单起见,在这些实现方式中,与本文前面描述或示出的相应特征相同或相似的特征由与前面使用的相同附图标记表示。
在此实施例中,如上文参考图1所解释的,控制单元4是处理器6的算法包的一部分。处理器6可以集成在耳机中,从而提供用于控制麦克风阻挡检测的独立装置1。
除了前面描述的步骤之外,在一个可能的实施例中,控制单元4还用于在进一步的步骤107中根据来自一对麦克风2的麦克风信号3和来自内部传感器9的内部传感器信号10中的至少一个来检测是否存在用户自身语音,并相应地生成指示存在用户自身语音的自身语音检测(own voice detection,OVD)信号11。
在一个实施例中,处理器6用于仅在OVD信号11指示存在用户自身语音的情况下,在进一步的步骤108中更新阻挡状态8。
在一个实施例中,如图6至图9所示,该OVD信号11是二进制信号,如果检测到用户自身语音,则OVD信号11的值为1,否则为0。替代地,例如,还可以设想连续OVD信号11。
在另一个可能的实施例中,处理器6或控制单元4还可以用于,在可选的自身语音检测步骤107之前的步骤109中,通过分析麦克风信号3、OVD信号11和内部传感器信号10中的至少一个来检测背景噪声值(噪声电平)N,并确定该背景噪声值N是否超过预定背景噪声阈值Nt。在一个实施例中,处理器6用于仅在N>Nt的情况下更新阻挡状态8,否则在可选的自身语音检测步骤107中检查是否存在用户自身语音,或者直接阻止更新阻挡状态8。
在结合上述可选步骤的实施例中,处理器6用于检查110阻挡状态8,并且仅在以下各项中的至少一个的情况下更新阻挡状态8,否则阻止更新阻挡状态8:背景噪声值N超过预定背景噪声阈值Nt;或OVD信号11指示存在用户自身语音。该方案能够在噪声电平不够高时停止阻挡检测,并将阻挡检测限制在检测到OVD(用户自身语音)的那些时间段内。换言之,可以在没有背景噪声或语音的安静情况下阻止麦克风阻挡检测,从而避免错误的阻挡检测。
从图4还可以看出,使用OVD信号11进行阻挡检测是可选的,这可以在所有情况下使用,例如可以仅在安静情况下使用,也可以完全排除在算法之外。以类似的方式,使用确定的背景噪声值N进行阻挡检测也是可选的,这可以在所有情况下使用,可以在某些情况下使用,也可以完全排除在算法之外。
图5示出了本发明提供的系统,所述系统包括处理器6、控制单元4、至少一对麦克风(2A、2B)以及存储设备13,存储设备13用于存储指令,所述指令在由处理器6执行时,使得所述系统的所述组件执行根据所述可能的实施例中的任一个所述的方法。为简单起见,在这些实现方式中,与本文前面描述或示出的相应特征相同或相似的特征由与前面使用的相同附图标记表示。
在此实施例中,与上文参考图4描述的实施例类似,控制单元4是处理器6的算法包的一部分。处理器6和存储设备13都可以集成在耳机中,从而提供用于控制麦克风阻挡检测的独立装置1。
装置1还可以包括至少一个内部传感器9,设置在壳体12中,优选地,所述内部传感器9是语音加速度计(voice accelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风中的至少一个。在这种情况下,如上所述,控制单元4用于根据来自至少一个内部传感器9的至少一个内部传感器信号10来检测是否存在风噪声或触摸噪声中的至少一个。此外,如上所述,控制单元4还可以用于检测是否存在用户自身语音并生成自身语音检测(own voice detection,OVD)信号11,以及检测背景噪声值(噪声电平)N。
麦克风(2A、2B)可以包括在耳机中,如图5所示。耳机可以是一组无线或通过有线方式连接到移动设备14的耳机或头戴式耳机。在如图5所示的一个优选实施例中,麦克风(2A、2B)集成在以无线方式(例如,通过蓝牙、蓝牙LE或无线信号)连接到移动设备的一对耳机/头戴式耳机的壳体12中或其附近。如图所示,麦克风(2A、2B)可以集成在同一耳机的壳体12中。然而,在一个替代实施例中,每个麦克风(2A、2B)可以集成在不同的耳机中。在有线连接的情况下,麦克风2可以集成在电线中,第一麦克风2A和第二麦克风2B集成在通向耳机/头戴式耳机的同一侧的电线的一侧,或者第一麦克风2A和第二麦克风2B可以集成在电线的不同侧(左侧和右侧)。
例如,移动设备14可以是智能手机或多功能蜂窝电话等移动通信手持设备,也可以是无线通信系统的移动终端或用户设备。在一些实施例中,所述装置可以是音频录制器(例如,MP3播放器、媒体录制器/播放器(也称为MP4播放器)),也可以是适于录制音频的任何合适的便携式装置或音频/视频摄像机/存储器音频或视频录制器。
在一些实施例中,麦克风(2A、2B)中的任一个或每一个可以是固态麦克风,换言之,能够捕获音频信号并输出合适的数字格式信号,在一些其它实施例中,麦克风2可以包括任何合适的麦克风或音频捕获装置,例如电容麦克风、电容器麦克风、静电麦克风、电容驻极体式麦克风、动圈式麦克风、带式麦克风、碳粒麦克风、压电麦克风或微机电系统(micro electrical-mechanical system,MEMS)麦克风。在一些实施例中,麦克风2是数字阵列麦克风,换言之,用于生成数字信号输出(因此不需要模数转换器)。在一些实施例中,麦克风2或阵列麦克风可以将音频捕获信号输出至模数转换器(analogue-to-digitalconverter,ADC)。在一些实施例中,所述装置还可以包括模数转换器(analogue-to-digital converter,ADC),所述模数转换器用于从麦克风(2A、2B)接收模拟捕获音频信号,并以合适的数字形式输出音频捕获信号。所述模数转换器可以是任何合适的模数转换或处理装置。在一些实施例中,麦克风是具备音频信号生成和模数转换能力的“集成”麦克风。在一些实施例中,装置1包括具有数模转换器的音频子系统,用于将来自处理器的数字音频信号转换为合适的模拟格式。在一些实施例中,数模转换器(digital-to-analogueconverter,DAC)或信号处理装置可以是任何合适的DAC技术。此外,在一些实施例中,移动设备14可以包括扬声器。在一些实施例中,扬声器可以接收来自的数模转换器的输出,并将模拟音频信号呈现给用户。在一些实施例中,扬声器可以代表多扬声器装置、耳机(例如,一组头戴式耳机)或头戴式无线耳机。
虽然装置1被示出为具有音频捕获和音频呈现组件(采用包括扬声器和麦克风的耳机的形式),但是应当理解,在一些实施例中,装置1可以仅包括音频子系统的音频捕获部分,使得在所述装置的一些实施例中存在(用于音频捕获的)麦克风。
在一些实施例中,处理器6可以用于执行各种程序代码。例如,实现的程序代码可以包括音频录制和麦克风缺陷检测例程。在一些实施例中,装置1还包括存储器。在一些实施例中,处理器6耦合到存储器。存储器可以是任何合适的存储装置13。在一些实施例中,存储器包括程序代码段,用于存储可在处理器6上实现的程序代码。此外,在一些实施例中,存储器还可以包括存储数据段,用于存储数据(例如,根据应用记录或分析的数据)。处理器6可以根据需要通过存储器-处理器耦合来检索存储在程序代码段内的所实现的程序代码以及存储在存储数据段内的数据。
在一些其它实施例中,装置1可以包括用户界面。在一些实施例中,用户界面可以耦合至处理器6。在一些实施例中,处理器可以控制用户界面的操作并从用户界面接收输入。在一些实施例中,用户界面可以使用户能够通过键盘等向电子设备或装置输入命令,和/或通过作为用户界面的一部分的显示屏等从装置1获取信息。在一些实施例中,用户界面可以包括触摸屏或触摸界面,所述触摸屏或触摸界面既能够支持将信息输入装置1,又能够进一步向装置1的用户显示信息。
在一些实施例中,所述装置还包括收发器,在此类实施例中,所述收发器可以耦合至处理器6,并且可以用于能够通过无线通信网络等与无线耳机、其它装置或电子设备进行通信。在一些实施例中,所述收发器或任何合适的收发器或发射器和/或接收器装置可以用于通过有线方式或有线耦合方式与其它电子设备或装置通信。耦合可以是任何合适的已知通信协议,例如,在一些实施例中,收发器或收发器装置可以使用合适的通用移动通信系统(universal mobile telecommunications system,UMTS)协议、无线局域网(wirelesslocal area network,WLAN)协议(例如,IEEE 802.X)、合适的短距离射频通信协议(例如,蓝牙)或红外数据通信路径(infrared data communication pathway,IRDA)协议。同样应当理解的是,可以通过多种方式对电子设备的结构进行补充和改变。
在一些实施例中,如果确定麦克风2中的一个麦克风受到影响、被阻挡或不起作用,可以将信号下混,这可以在显示屏上呈现。应当理解,在一些实施例中,用作输入的麦克风数量可以超过两个,输入通道数量可以超过两个,输出的下混通道数量可以超过或少于两个(其中下混通道数量小于输入通道数量)。在一些实施例中,如果装置1用于从四个或更多麦克风2接收麦克风信号3,则可以用正常运行的麦克风2B替换受影响或不起作用的麦克风2A,使得装置1可以继续记录或捕获多通道信号。在一些实施例中,指示器可以用于修改用户的习惯,例如用户握持装置的方式。例如,用户可以握住装置1,并且一个或多个麦克风可以被用户的手指阻挡。如果在第一麦克风2A和第二麦克风2B有源的情况下录制音频,一些实施例可以确定或检测有源麦克风已经被阻挡,并且用无源麦克风中的一个切换该有源麦克风的功能。此外,在一些实施例中,在确定第三麦克风也被阻挡的情况下,可以选择第四麦克风。在一些实施例中,指示器还可以用于确定或选择麦克风或音频信号处理参数。在一些实施例中,这些可以是均衡或信号处理参数以对输入音频信号进行声学调谐。然而,在一些实施例中,这些参数可以与所选麦克风的位置或分布相关联。例如,在一些实施例中,如果在输入音频信号的方向分析等中需要麦克风输入之间的距离和相对方向,则指示器不仅可以用于选择功能性麦克风,而且可以用于生成、确定或选择在处理音频信号中使用的麦克风相关距离和相对方向参数。
图6至图9示出了由于使用本发明提供的装置而产生的不同情况下的算法性能。在这些示例性图示中,麦克风(2A、2B)表示为麦克风1和麦克风2。
在图6中,根据麦克风1与麦克风2之间的信号功率比(Rp),麦克风2在存在背景噪声的情况下被正确检测为受阻挡。在图中,比率Rp大于上阈值(Th),因此第二麦克风被检测为受阻挡。
在图7中,麦克风2在安静情况下(即没有背景噪声时)被正确检测为受阻挡。在该图中可以看出,在安静时间段内,信号功率比(Rp)值介于上阈值与下阈值之间,因此不能正确地检测阻挡检测情况。然而,在这种安静情况下,OVD信号有助于找到能够可靠检测阻挡的时间段,并且因此阻挡检测结果在整个测试信号中保持正确。
从图8可以看出,在存在风噪声的情况下,控制信息WIND可以阻止更新阻挡检测结果,否则会错误地更新阻挡状态,因为有时麦克风信号功率比低于下阈值,这表明麦克风1被阻挡。
在图6和图9中可以看出,在存在背景噪声的情况下,不需要使用OVD进行阻挡检测。在麦克风2被阻挡的情况下(图6),麦克风信号功率比始终高于上阈值(Th)。在没有麦克风被阻挡的情况下(图9),麦克风信号功率比保持在表明没有麦克风被阻挡的阈值之间。
图10示出了本发明提供的方法的另一个实施例。该图中所示的步骤和组件对应于图3和图4中的步骤和组件,但是该图右侧还示出了一个方面,其中处理器用于防止任何麦克风的阻挡状态发生偶然快速变化。在该图中可以看出,与图3和图4所示的实施例类似,使用OVD信号进行阻挡检测是可选的,这可以在所有情况下使用,例如可以仅在安静情况下使用,然后也可以完全排除在外。block1和block2分别表示麦克风(2A、2B)的临时阻挡状态。为了防止阻挡状态发生一些偶然快速变化,针对两个麦克风利用用于将阻挡检测状态设置为ON(1)和OFF(0)的计数器。将block_off_counter_1和block_off_counter_2与阈值block_off_thd进行比较,并且仅在相应麦克风的block_off_counter高于阈值后,将该麦克风的阻挡检测状态设置为0。类似地,将block_on_counter_1和block_on_counter_2与block_on_thr进行比较,并且在相应麦克风的block_on_counter高于阈值后,将该麦克风的阻挡检测状态设置为1。
根据其它可能的实施例,可以将选定频段上的麦克风信号功率比用作特征,所述特征连同从控制单元4获取的控制特征和可选的其它OVD信号(可能地,与其它特征组合)用作机器学习算法的输入数据进行阻挡检测。例如,此类机器学习算法可以是分类树或回归树、K最近邻算法、随机森林或神经网络。
根据其它可能的实施例,可选地使用来自语音加速度计(voice accelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风等内部传感器9的内部传感器信号10从本发明提供的控制单元4获取的指示存在风噪声或触摸噪声的控制信号5可用作算法输入,以控制麦克风校准增益估计。通过这种方式,可以在包含风噪声或触摸噪声的那些时间段内阻止校准增益估计。
本文结合各种实施例描述了各个方面和各种实现方式。但是,本领域技术人员在实施所请求保护的主题时,通过研究附图、公开内容和所附权利要求书,能够理解和实现所公开实施例的其它变型。在权利要求中,词语“包括”不排除其它元件或步骤,并且“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求书中列举的若干项的功能。在互不相同的从属权利要求中列举某些措施并不表示这些措施的组合不能被有效地使用。计算机程序可存储/分发到合适的介质上,例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质,还可以以其它形式例如通过互联网或者其它有线或无线电信系统分发。
权利要求书中使用的附图标记不应当被解释为限制范围。

Claims (15)

1.一种装置(1),其特征在于,包括:
至少一对麦克风(2),每个麦克风(2A、2B)用于生成至少一个麦克风信号;
处理器(6),用于:
监测至少一对麦克风信号(3),其中每个麦克风信号(3A、3B)由一对麦克风(2)中的不同麦克风生成;
通过比较所述至少一对麦克风信号(3)来确定至少一个阻挡信号(7),每个阻挡信号(7)指示麦克风(2A、2B)是否被阻挡;
根据所述阻挡信号(7)来更新所述一对麦克风(2)中的至少一个的阻挡状态(8);
控制单元(4),用于:
至少部分地根据所述麦克风信号(3)来监测是否存在风噪声或触摸噪声中的至少一个;
生成指示所述存在的控制信号(5);
所述处理器(6)还用于在所述控制信号(5)指示存在所述风噪声或所述触摸噪声中的至少一个的情况下,阻止更新所述阻挡状态(8)。
2.根据权利要求1所述的装置,其特征在于,所述处理器(6)还用于通过以下方式确定所述至少一个阻挡信号(7):
计算所述至少一对麦克风信号(3)在预定频段上的信号功率比(Rp);
将所述信号功率比(Rp)与至少一个预定阈值(T)进行比较。
3.根据权利要求2所述的装置,其特征在于,所述处理器(6)还用于:确定所述至少一对麦克风(2)中的每一个的阻挡信号(7),其中,将所述信号功率比(Rp)与上阈值(Th)进行比较来确定所述一对麦克风(2)中的一个麦克风(2A)的阻挡信号(7),并将所述信号功率比(Rp)与下阈值(Tl)进行比较来确定另一个麦克风(2B)的阻挡信号(7)。
4.根据权利要求1至3中任一项所述的装置,其特征在于,以下各项中的至少一个是二进制信号:
所述控制信号(5),当检测到存在任何风噪声或触摸噪声时,所述控制信号(5)的值为1,否则为0;或
所述阻挡信号(7),如果麦克风(2A、2B)被阻挡,则所述阻挡信号(7)的值为1,否则为0。
5.根据权利要求1至4中任一项所述的装置,其特征在于,所述装置还包括:
至少一个内部传感器(9),设置在壳体(12)中,优选地,所述内部传感器(9)是语音加速度计(voice accelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风中的至少一个;
所述控制单元(4)还用于:根据所述麦克风信号(3)和来自所述至少一个内部传感器(9)的至少一个内部传感器信号(10)中的至少一个来检测是否存在风噪声或触摸噪声中的至少一个。
6.根据权利要求5所述的装置,其特征在于,所述控制单元(4)还用于:
根据所述麦克风信号(3A、3B)和来自所述至少一个内部传感器(9)的所述至少一个信号中的至少一个来检测是否存在用户自身语音;
生成自身语音检测(own voice detection,OVD)信号(11),优选地,所述OVD信号(11)是二进制信号,如果检测到所述用户自身语音,则所述OVD信号(11)的值为1,否则为0;
所述处理器(6)还用于仅在所述OVD信号(11)指示存在所述用户自身语音的情况下,更新所述阻挡状态(8)。
7.根据权利要求6所述的装置,其特征在于,所述处理器(6)还用于:
通过分析所述至少一个麦克风信号(3)和来自所述至少一个内部传感器(9)的所述至少一个信号中的至少一个来检测背景噪声值(N);
仅在以下各项中的至少一个的情况下更新所述阻挡状态(8),否则阻止更新所述阻挡状态(8):1)所述背景噪声值(N)超过预定背景噪声阈值(Nt);或2)所述OVD信号(11)指示存在所述用户自身语音。
8.一种用于在装置中控制麦克风阻挡检测的方法,其特征在于,所述装置包括处理器(6)、控制单元(4)和至少一对麦克风(2),所述方法包括:
所述处理器(6)监测(101)至少一对麦克风信号(3),其中每个麦克风信号(3A、3B)由一对麦克风(2)中的不同麦克风生成;
所述处理器(6)通过比较所述至少一对麦克风信号(3)来确定(102)至少一个阻挡信号(7),每个阻挡信号(7)指示麦克风(2A、2B)是否被阻挡;
所述处理器(6)根据所述阻挡信号(7)来更新(103)所述一对麦克风(2)中的至少一个的阻挡状态(8);
所述控制单元(4)至少部分地根据所述麦克风信号(3)来监测(104)是否存在风噪声或触摸噪声中的至少一个,并生成(105)指示所述存在的控制信号(5);
将所述处理器(6)配置(106)为在所述控制信号(5)指示存在所述风噪声或所述触摸噪声中的至少一个的情况下,阻止更新所述阻挡状态(8)。
9.根据权利要求8所述的方法,其特征在于,确定(102)所述至少一个阻挡信号(7)包括:
计算(1021)所述至少一对麦克风信号(3)在预定频段上的信号功率比(Rp);
将所述信号功率比(Rp)与至少一个预定阈值(T)进行比较(1022)。
10.根据权利要求9所述的方法,其特征在于,确定所述至少一个阻挡信号(7)包括:确定(1023)所述至少一对麦克风(2)中的每一个的阻挡信号(7),其中,将所述信号功率比(Rp)与上阈值(Th)进行比较(1024)来确定所述一对麦克风(2)中的一个麦克风(2A)的阻挡信号(7),并将所述信号功率比(Rp)与下阈值(Tl)进行比较来确定另一个麦克风(2B)的阻挡信号(7)。
11.根据权利要求8至10中任一项所述的方法,其特征在于,以下各项中的至少一个是二进制信号:
所述控制信号(5),当检测到存在任何风噪声或触摸噪声时,所述控制信号(5)的值为1,否则为0;或
所述阻挡信号(7),如果麦克风(2A、2B)被阻挡,则所述阻挡信号(7)的值为1,否则为0。
12.根据权利要求8至11中任一项所述的方法,其特征在于,所述装置还包括:至少一个内部传感器(9),设置在壳体(12)中,优选地,所述内部传感器(9)是语音加速度计(voiceaccelerometer,VACC)、拾音传感器(voice pickup sensor,VPU)或内部麦克风中的至少一个;所述方法还包括:
所述控制单元(4)根据所述麦克风信号(3)和来自所述至少一个内部传感器(9)的至少一个内部传感器信号(10)中的至少一个来检测(1041)是否存在风噪声或触摸噪声中的至少一个。
13.根据权利要求12所述的方法,其特征在于,还包括:
所述控制单元(4)根据所述麦克风信号(3A、3B)和来自所述至少一个内部传感器(9)的所述至少一个信号中的至少一个来检测(107)是否存在用户自身语音,并生成自身语音检测(own voice detection,OVD)信号(11),优选地,所述OVD信号(11)是二进制信号,如果检测到所述用户自身语音,则所述OVD信号(11)的值为1,否则为0;
将所述处理器(6)配置(108)为仅在所述OVD信号(11)指示存在所述用户自身语音的情况下,更新所述阻挡状态(8)。
14.根据权利要求13所述的方法,其特征在于,还包括:
所述处理器(6)通过分析所述至少一个麦克风信号(3)和来自所述至少一个内部传感器(9)的所述至少一个信号中的至少一个来检测(109)背景噪声值(N);
将所述处理器(6)配置(110)为仅在以下各项中的至少一个的情况下更新所述阻挡状态(8),否则阻止更新所述阻挡状态(8):1)所述背景噪声值(N)超过预定背景噪声阈值(Nt);或2)所述OVD信号(11)指示存在所述用户自身语音。
15.一种用于控制麦克风阻挡的系统,其特征在于,包括:
处理器(6);
控制单元(4);
至少一对麦克风(2);
存储设备(13),用于存储指令,所述指令在由所述处理器(6)执行时,使得所述系统的所述组件执行根据权利要求8至14中任一项所述的方法。
CN201980099955.8A 2019-09-05 2019-09-05 麦克风阻挡检测控制 Pending CN114303389A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/073777 WO2021043414A1 (en) 2019-09-05 2019-09-05 Microphone blocking detection control

Publications (1)

Publication Number Publication Date
CN114303389A true CN114303389A (zh) 2022-04-08

Family

ID=67875469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099955.8A Pending CN114303389A (zh) 2019-09-05 2019-09-05 麦克风阻挡检测控制

Country Status (3)

Country Link
EP (1) EP4018681A1 (zh)
CN (1) CN114303389A (zh)
WO (1) WO2021043414A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746976B (zh) * 2021-07-23 2023-03-28 荣耀终端有限公司 音频模块检测方法、电子设备及计算机存储介质
WO2023038911A1 (en) * 2021-09-10 2023-03-16 Dolby Laboratories Licensing Corporation Audio enhancement for mobile capture

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006007441A1 (en) * 2004-06-16 2006-01-19 Cardo Systems Inc. Wireless communication headset with microphone switching system
US20110317848A1 (en) * 2010-06-23 2011-12-29 Motorola, Inc. Microphone Interference Detection Method and Apparatus
US20130070935A1 (en) * 2011-09-19 2013-03-21 Bitwave Pte Ltd Multi-sensor signal optimization for speech communication
CN103501375A (zh) * 2013-09-16 2014-01-08 华为终端有限公司 音效控制方法及装置
US20160127845A1 (en) * 2014-10-29 2016-05-05 Invensense, Inc. Blockage detection for a microelectromechanical systems sensor
CN105979053A (zh) * 2016-04-18 2016-09-28 广东欧珀移动通信有限公司 移动终端中麦克风的检测方法、装置以及移动终端
CN106911996A (zh) * 2017-03-03 2017-06-30 广东欧珀移动通信有限公司 麦克风状态的检测方法、装置及终端设备
US20180247635A1 (en) * 2017-02-28 2018-08-30 Panasonic Intellectual Property Corporation Of America Sound collecting apparatus, sound collection method, recording medium recording program, and imaging apparatus
CN109845289A (zh) * 2016-10-21 2019-06-04 诺基亚技术有限公司 检测风噪声的存在
US20190259381A1 (en) * 2018-02-14 2019-08-22 Cirrus Logic International Semiconductor Ltd. Noise reduction system and method for audio device with multiple microphones

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2893718A4 (en) 2012-09-10 2016-03-30 Nokia Technologies Oy MICROPHONE FAILURE DETECTION
US9467779B2 (en) 2014-05-13 2016-10-11 Apple Inc. Microphone partial occlusion detector
US9699550B2 (en) 2014-11-12 2017-07-04 Qualcomm Incorporated Reduced microphone power-up latency

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006007441A1 (en) * 2004-06-16 2006-01-19 Cardo Systems Inc. Wireless communication headset with microphone switching system
US20110317848A1 (en) * 2010-06-23 2011-12-29 Motorola, Inc. Microphone Interference Detection Method and Apparatus
CN102948169A (zh) * 2010-06-23 2013-02-27 摩托罗拉移动有限责任公司 麦克风干扰检测方法和装置
US20130070935A1 (en) * 2011-09-19 2013-03-21 Bitwave Pte Ltd Multi-sensor signal optimization for speech communication
CN103501375A (zh) * 2013-09-16 2014-01-08 华为终端有限公司 音效控制方法及装置
US20160127845A1 (en) * 2014-10-29 2016-05-05 Invensense, Inc. Blockage detection for a microelectromechanical systems sensor
CN105979053A (zh) * 2016-04-18 2016-09-28 广东欧珀移动通信有限公司 移动终端中麦克风的检测方法、装置以及移动终端
CN109845289A (zh) * 2016-10-21 2019-06-04 诺基亚技术有限公司 检测风噪声的存在
US20180247635A1 (en) * 2017-02-28 2018-08-30 Panasonic Intellectual Property Corporation Of America Sound collecting apparatus, sound collection method, recording medium recording program, and imaging apparatus
CN106911996A (zh) * 2017-03-03 2017-06-30 广东欧珀移动通信有限公司 麦克风状态的检测方法、装置及终端设备
US20190259381A1 (en) * 2018-02-14 2019-08-22 Cirrus Logic International Semiconductor Ltd. Noise reduction system and method for audio device with multiple microphones

Also Published As

Publication number Publication date
EP4018681A1 (en) 2022-06-29
WO2021043414A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US10045141B2 (en) Detection of a microphone
US10051396B2 (en) Automatic microphone switching
CN102124758A (zh) 助听器、助听系统、步行检测方法和助听方法
CN109982228B (zh) 一种麦克风故障检测方法及移动终端
US11918345B2 (en) Cough detection
US20190355380A1 (en) Audio signal processing
CN114303389A (zh) 麦克风阻挡检测控制
CN113726940B (zh) 录音方法和装置
US11871193B2 (en) Microphone system
WO2009097009A1 (en) Method and device for linking matrix control of an earpiece
US20200177995A1 (en) Proximity detection for wireless in-ear listening devices
KR20200017702A (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
WO2015030642A1 (en) Volume reduction for an electronic device
US11627401B2 (en) Method and apparatus for on ear detect
WO2022135071A1 (zh) 耳机播放控制方法、装置、电子设备及存储介质
KR100678020B1 (ko) 개선된 음원 재생을 위한 장치 및 방법
CN114567849A (zh) 一种检测方法及装置、无线耳机、存储介质
CN112911056A (zh) 一种音频录制校准方法、设备及计算机可读存储介质
CN114449394A (zh) 听力辅助装置及调整听力辅助装置输出声音的方法
JP7030470B2 (ja) 信号処理装置、信号処理方法、及びプログラム
US11782673B2 (en) Controlling audio output
US20240215860A1 (en) Cough detection
CN117202011A (zh) 音量控制方法、电子设备及存储介质
CN113891212A (zh) 耳机、耳机运行控制方法及计算机可读存储介质
CN117336643A (zh) 具有环境音感知功能的耳机、音频系统及相关的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220408

RJ01 Rejection of invention patent application after publication