CN111131947A - 耳机信号处理方法、系统和耳机 - Google Patents

耳机信号处理方法、系统和耳机 Download PDF

Info

Publication number
CN111131947A
CN111131947A CN201911234583.3A CN201911234583A CN111131947A CN 111131947 A CN111131947 A CN 111131947A CN 201911234583 A CN201911234583 A CN 201911234583A CN 111131947 A CN111131947 A CN 111131947A
Authority
CN
China
Prior art keywords
signal
microphone
picked
earphone
intermediate signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911234583.3A
Other languages
English (en)
Other versions
CN111131947B (zh
Inventor
李波
王久东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bird Innovation Beijing Technology Co ltd
Original Assignee
Beijing Xiaoniao Tingting Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoniao Tingting Technology Co Ltd filed Critical Beijing Xiaoniao Tingting Technology Co Ltd
Priority to CN201911234583.3A priority Critical patent/CN111131947B/zh
Publication of CN111131947A publication Critical patent/CN111131947A/zh
Priority to US17/111,409 priority patent/US11245976B2/en
Priority to EP20211991.3A priority patent/EP3833041B1/en
Application granted granted Critical
Publication of CN111131947B publication Critical patent/CN111131947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

本发明实施例公开一种耳机信号处理方法、系统和一种耳机。耳机信号处理方法包括：获取位于耳道外部靠近嘴的位置的耳机的第一麦克风拾取的信号、位于耳道外部远离嘴的位置的耳机的第二麦克风拾取的信号、以及耳机的第三麦克风拾取的信号，所述第三麦克风位于由耳机和耳道所形成的腔体内；对第一麦克风拾取的信号和第二麦克风拾取的信号做双麦克风降噪得到第一中间信号；对第二麦克风拾取的信号和第三麦克风拾取的信号做双麦克风降噪得到第二中间信号；对第一中间信号和第二中间信号进行融合，得到融合语音信号；输出所述融合语音信号。本发明实施例的方案可以提高耳机在高噪环境下的通话质量。

Description

耳机信号处理方法、系统和耳机
技术领域
本发明涉及耳机降噪技术领域，特别涉及一种耳机信号处理方法、系统 和一种耳机。
背景技术
耳机通常具有麦克风，用于采集用户通话时的语音信号。由于现有耳 机(尤其是无线耳机)的麦克风通常设置在靠近耳朵的耳塞位置，距离用户 嘴部的距离较远，导致麦克风所采集到的通话语音质量不够理想。尤其是用 户在高噪的环境中比如地铁中，因为噪声特别大，导致耳机通话的语音质量 很差，常常出现听不清对方用户说话的情况。
为了提高通话语音质量，对耳机通常会进行单麦克风降噪或者双麦克 风降噪。但无论是单麦克风降噪或者双麦克风降噪，麦克风都位于耳道外部。 其中：单麦克风降噪利用噪声估计来进行降噪处理，但受限于麦克风与嘴的 距离，当耳机放置于耳朵附近时，其信噪比(SNR)较低，在地铁等嘈杂环 境时，通话质量差。双麦克风降噪能够利用波束成型方式来采集用户嘴部方 向的定向声波，但其同样受限于主麦克风与嘴的距离、双麦克风连线与双麦 克风中心到嘴连线的夹角和双麦克风之间的距离。其降噪效果会比单麦克风 好点，但在地铁等嘈杂环境中，通话质量依然不够好。
对于入耳式耳机，佩戴后耳道内会形成一个相对密闭的腔体，其和外 部声学环境会有一个很好的隔离效果，较好地抑制了外部的环境噪声，腔体 密闭性越好，与外部声学隔离就越好，越能抑制外部噪声包括风的影响。类 似的，对于耳罩式或贴耳式耳机，佩戴后耳机和耳道也会形成一个相对封闭 的腔体。人体说话时，声带的振动通过骨头肌肉等组织传导至耳道和耳机前 腔形成的腔体内。腔体密闭性越好，外部的噪声信号越难进入，耳道内语音 信号也越难泄露到外部，从而在腔体内获得的信号越强。因此相比于外部麦 克风，耳道内麦克风具有更高的信噪比，但耳内语音信号频带较窄，高频信 息缺失，听起来不自然，听感较差。同时在高噪环境下，虽然耳内麦克风的 SNR会比外部麦克风高很多，但依然能拾取到泄漏到耳内的外部环境噪声， 影响听感。
发明内容
本发明实施例提供了一种耳机信号处理方法、系统和一种耳机，能够至少 部分解决上述问题，提高耳机在高噪环境下的通话质量。
根据本发明的第一方面，本发明实施例提供了一种耳机信号处理方法， 包括：
获取位于耳道外部靠近嘴的位置的所述耳机的第一麦克风拾取的信号、 位于耳道外部远离嘴的位置的所述耳机的第二麦克风拾取的信号、以及第三 麦克风拾取的信号，所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风 降噪得到第一中间信号；对所述第二麦克风拾取的信号和所述第三麦克风拾 取的信号做双麦克风降噪得到第二中间信号；
对所述第一中间信号和所述第二中间信号进行融合，得到融合语音信号；
输出所述融合语音信号。
根据本发明的第二方面，本发明实施例提供了一种耳机信号处理系统， 包括：
第一麦克风信号获取单元，用于获取位于耳道外部靠近嘴的位置的所述 耳机的第一麦克风拾取的信号；
第二麦克风信号获取单元，用于获取位于耳道外部远离嘴的位置的所述 耳机的第二麦克风拾取的信号；
第三麦克风信号获取单元，用于获取所述耳机的第三麦克风拾取的信号， 所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
第一双麦克风降噪单元，用于对所述第一麦克风拾取的信号和所述第二 麦克风拾取的信号做双麦克风降噪得到第一中间信号；
第二双麦克风降噪单元，用于对所述第二麦克风拾取的信号和所述第三 麦克风拾取的信号做双麦克风降噪得到第二中间信号；
融合单元，用于对所述第一中间信号和所述第二中间信号进行融合，得 到融合语音信号；
输出单元，用于输出所述融合语音信号。
根据本发明的第三方面，本发明实施例提供了一种耳机，包括：第一麦 克风、第二麦克风、第三麦克风，所述第一麦克风位于耳道外部靠近嘴的位 置，所述第二麦克风位于耳道外部远离嘴的位置，所述第三麦克风位于由所 述耳机和耳道所形成的腔体内；所述耳机内设置有上述的耳机信号处理系统。
与现有技术相比，本发明实施例的有益效果是：
本发明实施例提供的耳机信号处理方法、系统和耳机，相比于现有技 术，能够提高耳机在高噪环境下的通话质量。本发明实施例提供的方案，通 过对第一麦克风拾取的信号和第二麦克风拾取的信号做双麦克风降噪得到第 一中间信号，该第一中间信号相比于第一麦克风或第二麦克风拾取的信号提 高了SNR，可以用来辅助耳内麦克风解决其信号的频带较窄，高频信息缺失 的问题；通过对第二麦克风拾取的信号和第三麦克风拾取的信号做双麦克风 降噪得到第二中间信号，该第二中间信号相比于第三麦克风拾取的信号也提高了SNR，可以解决高噪环境下耳内麦克风拾取到外部噪声的问题；通过对 第一中间信号和第二中间信号进行融合得到融合语音信号，该融合语音信号 既包括有第二中间信号的低频部分也包括有第一中间语音的中高频部分，因 此将该融合语音信号作为上行链路信号进行输出，提高了通话语音信号的低 频信噪比，即提高了语音可懂度，同时也丰富了语音信号的中高频信息，提 高了中高频信号的信噪比，即提升了用户的听感。
附图说明
图1为本发明实施例示出的耳机信号处理方法的流程示意图；
图2为本发明实施例示出的耳机信号处理方法的计算机程序示意图；
图3为本发明实施例示出的耳机信号处理系统的结构示意图；
图4为本发明实施例示出的一种耳机的结构示意图。
具体实施方式
本发明实施例提供了一种耳机信号处理方法、系统和一种耳机。针对耳 外麦克风拾音在高噪环境下SNR低的问题，提出了耳内麦克风拾取；针对 耳内麦克风的频带较窄，高频信息缺失的问题，提出了耳外双麦克风降噪来 辅助耳内麦克风；针对高噪时耳内麦克风拾取到外部噪声的问题，提出了耳 内麦克风和耳外麦克风做双麦克风降噪。本发明实施例提供的方案，能够提 高耳机在高噪环境下的通话质量。以下分别进行详细说明。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的， 而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技 术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。 这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思， 除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所 述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个 其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常 所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本 说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中 的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可 以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从 而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图 中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式 来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上 的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结 合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能 够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储 介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件 或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或 硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存 储器(RAM)或闪存；和/或有线/无线通信链路。
本发明实施例提供了一种耳机信号处理方法。
图1为本发明实施例示出的耳机信号处理方法的流程示意图，如图1所 示，本实施例的耳机信号处理方法包括：
S101，获取位于耳道外部靠近嘴的位置的耳机的第一麦克风拾取的信 号。
S102，获取位于耳道外部远离嘴的位置的耳机的第二麦克风拾取的信 号。
S103，获取耳机的第三麦克风拾取的信号，所述第三麦克风位于由耳机 和耳道所形成的腔体内。
需要说明是，上述三个步骤S101～S103是同步进行的，获取到的是三 个麦克风在同一时刻下拾取的信号。其中，第一麦克风作为耳外主麦克风， 第二麦克风作为耳外辅麦克风，第三麦克风作为耳内麦克风。需要注意的是， 本文中所指的“耳内麦克风”既可以是指位于耳道内部的麦克风，可以是位 于由耳道和耳机所构成的封闭腔体内部的麦克风，在此不做限定。
S120，对第一麦克风拾取的信号和第二麦克风拾取的信号做双麦克风降 噪得到第一中间信号。
耳外主、辅两个麦克风在耳边不同位置，它们的语音部分和噪声部分都 是相关的，但由于人体说话声波和其他方向的噪声声波传导至两个麦克风的 时间差不同，导致两个麦克风间的语音信号传递函数(Hs)和噪声信号传递 函数(Hn)不一样，可以利用噪声相关性去掉麦克风中噪声部分而不抑制语 音部分。因此此处对第一麦克风和第二麦克风做双麦克降噪处理，输出的第 一中间信号相比于任一耳外麦克风拾取的信号都提升了信噪比。
S130，对第二麦克风拾取的信号和第三麦克风拾取的信号做双麦克风降 噪得到第二中间信号。
第二麦克风拾取的是耳外信号，第三麦克风拾取的是耳内信号。耳内的 噪声是从耳外传进来，耳内外的噪声是相关的，即存在一个从耳外噪声信号 到耳内噪声信号的传递函数(H)，利用此相关信息可以去掉耳内麦克风中 的噪声部分。因此此处对第二麦克风和第三麦克风做双麦克降噪处理，输出 的第二中间信号相比于第三麦克风拾取的信号提升了信噪比。
需要说明的是，步骤S120和步骤S130是独立进行的，彼此互不为对 方执行前提，两步骤可以并行执行，也可以顺序执行，但执行结果需要一并 输出至下一个步骤中。
S140，对第一中间信号和第二中间信号进行融合，得到融合语音信号。
优选的，融合语音信号包括第二中间信号的低频部分和第一中间信号的 中高频部分。
第一中间信号是根据耳外麦克风计算出来的，包括有较多的中高频信息； 第二中间信号是根据耳内麦克风去噪得到，其低频部分的SNR相对较高。 因此对第一中间信号和第二中间信号进行融合得到的融合语音信号，其低频 构成中通过包括第二中间信号的低频部分，提高了语音信号的低频信噪比， 其中高频构成中通过包括第一中间信号的中高频部分，丰富了语音信号的中 高频信息。
S150，输出融合语音信号。
将融合语音信号作为上行链路信号进行输出。
综上所述，本发明实施例提供的耳机信号处理方法，通过对第一麦克 风拾取的信号和第二麦克风拾取的信号做双麦克风降噪得到第一中间信号， 该第一中间信号相比于第一麦克风或第二麦克风拾取的信号提高了SNR，可 以用来辅助耳内麦克风解决其信号的频带较窄，高频信息缺失的问题；通过 对第二麦克风拾取的信号和第三麦克风拾取的信号做双麦克风降噪得到第二 中间信号，该第二中间信号相比于第三麦克风拾取的信号也提高了SNR，可 以解决高噪环境下耳内麦克风拾取到外部噪声的问题；通过对第一中间信号和第二中间信号进行融合，得到的融合语音信号既包括有第二中间信号的低 频部分也包括有第一中间语音的中高频部分，因此将该融合语音信号作为上 行链路信号进行输出，提高了通话语音信号的低频信噪比，即提高了语音可 懂度，同时也丰富了语音信号的中高频信息，提高了中高频信号的信噪比， 即提升了用户的听感。从而相比于现有技术，本发明实施例的方案能够提高 耳机在高噪环境下的通话质量。
下面对上述步骤S120-S140进行详细说明。
在一些优选实施例中，上述步骤S120，是利用波束成型(Beamforming) 处理对第一麦克风拾取的信号和第二麦克风拾取的信号做双麦克风降噪。
即，利用两个麦克风之间的接收信号的时间差形成一个空间指向性，从 天线方向图视角看，这样做可以将原来全方位的接收方向图形成一个有零点、 有最大指向的波瓣方向图。将波束指向嘴的方向，就是尽可能地接收嘴的方 向发出的语音信号，同时抑制来自其他方向的噪声信号，从而提高用户语音 信号的信噪比。
具体的，上述步骤S120包括如下：
利用第一麦克风和第二麦克风已经确定的空间关系得到人体语音入射到 第一麦克风和第二麦克风的导向矢量(S)。导向矢量反应了第一麦克风所 拾取语音信号和第二麦克风所拾取语音信号的相对矢量关系，即第一麦克风 所拾取语音信号和第二麦克风所拾取语音信号的相对幅度和相对相位的关 系。该导向矢量可以在实验室内预先测得，并作为已知参数用于后续处理。
在人体不说话时的纯噪声时段，实时计算更新第一麦克风和第二麦克风 的协方差矩阵RNN＝XXH，而在人体说话时，对所述RNN停止更新且沿用之前 的最新值；其中，X＝[X1X2]T，X1和X2分别为第一麦克风和第二麦克风 的频域信号，X为第一麦克风和第二麦克风的频域信号组成的输入向量；
计算所述RNN的逆矩阵
Figure RE-GDA0002389958660000081
从而根据导向矢量S和逆矩阵
Figure RE-GDA0002389958660000082
计算出第 一麦克风和第二麦克风的实时滤波系数
Figure RE-GDA0002389958660000083
进而得到此处双麦克风 降噪后的输出Y＝WHX，Y即为第一中间信号。
由此可知，输出的第一中间信号Y既尽可能地保留了人体语音信号又抑 制了其他方向的噪声信号，相比于第一麦克风或第二麦克风拾取的耳外信号， 信噪比都得到了提升。
需要说明的是，除了采用上述的波束成型方案外，此处双麦克风降噪还 可以采用但不限于自适应滤波等算法。
在一些优选实施例中，上述步骤S130，是利用归一化最小均方自适应 滤波(NLMS)算法对第二麦克风拾取的信号和第三麦克风拾取的信号做双 麦克风降噪。
第二麦克风拾取的是耳外信号，第三麦克风拾取的是耳内信号。耳内信 号中所包含的噪声是从耳外传进来，因此耳内外的噪声是相关的，即存在一 个从耳外噪声信号到耳内噪声信号的传递函数(H)，利用此相关信息可以 去掉耳内麦克风中的噪声部分。
具体的，上述步骤S130包括如下：
将第二麦克风拾取的信号作为参考信号(ref)，第三麦克风拾取的信号 作为目标信号(des)，在人体不说话时的纯噪声时段，采用归一化最小均 方自适应滤波算法得到最佳的滤波器权值(w)，而在人体说话时，停止更 新滤波器且将滤波器权值沿用之前的最新值；其中，此处的滤波器对应上述 的从耳外噪声信号到耳内噪声信号的传递函数(H)的冲击响应；
根据滤波器权值与参考信号的卷积结果估计出第三麦克风所拾取信号中 的噪声部分；
将第三麦克风拾取的信号减去所述噪声部分得到降噪后的语音信号 (e)，该降噪后的语音信号即为第二中间信号。
由此可知，第二中间信号相比于单纯由第三麦克风拾取的耳内信号，信 噪比得到了提升。
需要说明的是，上述步骤S120和S130中，可以通过检测语音活动来 判断人体是否在说话。语音活动的检测方法通常可以通过将信号功率和预定 阈值做比较，大于阈值认为人体在说话，小于阈值认为人体没有在说话。由 于耳内麦克风的信噪比高于耳外麦克风，因此较适合用来检测语音活动，当 然也可以借助其他传感器来检测语音活动。
在一些优选实施例中，本发明实施例的耳机信号处理方法还包括：利用 第三麦克风做语音活动检测来判断人体是否在说话，并结合语音活动检测的 结果来执行双麦克风降噪。
其中，利用第三麦克风做语音活动检测来判断人体是否在说话，具体包 括：估算第三麦克风所拾取信号的噪声功率，计算出该信号的信噪比，将该 信噪比跟预定的信噪比阈值做比较，大于阈值则判断人体在说话，小于阈值 则判断人体没在说话。
上述步骤S120和S130中，在执行双麦克风降噪过程中结合了判断人 体是否在说话的语音活动检测的结果。具体地，
在对第一麦克风拾取的信号和第二麦克风拾取的信号做双麦克风降噪的 过程中，实时利用第三麦克风做语音活动检测来判断人体是否在说话，并在 判断人体不说话时的纯噪声时段，实时计算更新第一麦克风和第二麦克风的 协方差矩阵RNN＝XXH，而在判断人体说话时，对所述RNN停止更新且沿用之 前的最新值。
在对第二麦克风拾取的信号和第三麦克风拾取的信号做双麦克风降噪的 过程中，实时利用第三麦克风做语音活动检测来判断人体是否在说话，并在 判断人体不说话时的纯噪声时段，采用归一化最小均方自适应滤波算法得到 最佳的滤波器权值，而在判断人体说话时，停止更新滤波器且将所述滤波器 权值沿用之前的最新值。
为执行步骤S140，即对第一中间信号和第二中间信号进行融合，得到 融合语音信号。该融合语音信号包括有第二中间信号的低频部分和第一中间 信号的中高频部分。本发明实施例提供了如下三种融合方式。
第一种融合方式是：基于预先确定的分割频率，分别提取第一中间信号 的中高频部分和第二中间信号的低频部分，对两个提取出的信号直接进行拼 接融合。
第二种融合方式是：基于预先确定的分割频率，分别提取第一中间信号 和第二中间信号的低频部分和中高频部分，按不同权重对第一中间信号和第 二中间信号的低频部分进行加权融合、对第一中间信号和第二中间信号的中 高频部分进行加权融合，将两部分加权结果相叠加得到融合语音信号。
语音信号的频率范围是在300Hz～3.4kHz之间。预先确定的分割频率例 如可以选取1kHz，对第一中间信号和第二中间信号分别提取低于1kHz的低 频部分和高于1kHz的中高频部分。将低于1kHz的第一中间信号和第二中 间信号进行加权融合，将高于1kHz的第一中间信号和第二中间信号按不同 权重进行加权融合，两部分加权结果相叠加得到融合语音信号。
加权融合的基本公式可以表述为：C＝α*Y+β*Z,其中C为融合语音信号， Y为第一中间信号，Z为第二中间信号，α和β都是值大于等于零的融合权 重，且α+β＝1。
该实施方式的加权融合公式可以表述为：C＝(α1*Y1+β1*Z1)+ (α2*Y2+β2*Z2),其中C为融合语音信号，Y1和Y2对应为第一中间信号 的低频部分和中高频部分，Z1和Z2对应为第二中间信号的低频部分和中高 频部分，α1和β1为低频部分的融合权重，α2和β2为中高频部分的融合权 重，且α1+β1＝1，α2+β2＝1。
由于获取的第二中间信号的低频部分的信噪比较高，可保证通话语音的 可懂度，在融合时需要选取β1的权重大于α1的权重，例如α1＝0.1，β1＝0.9。 由于获取的第一中间语音的中高频信息丰富，可用来提升用户的听感，在融 合时需要选取α2的权重大于β2的权重，例如α2＝0.9，β2＝0.1。
在实际应用中，为简化融合过程，可以仅提取第二中间信号的低频部分 和第一中间信号的中高频部分，对这两部分直接进行拼接融合得到融合语音 信号。此时的加权融合公式中的融合权重对应为：α1＝0，β1＝1，α2＝1，β2＝0， 简化后的融合公式为：C＝Z1+Y2，其中Y2为第一中间信号的中高频部分， Z1为第二中间信号的低频部分。因此，第一种融合方式可以视为是第二种融 合方式的特例。
第三种融合方式是：将第一中间信号和第二中间信号对应划分为多个子 带，每个子带内由第一中间信号和第二中间信号按不同权重进行加权融合， 将各子带的加权结果相叠加得到融合语音信号。
第三种融合方式实质上是第二种融合方式的扩展。第二种融合方式是将 第一中间信号和第二中间信号分别划分成低频和中高频两个频带，第三种融 合方式是将第一中间信号和第二中间信号分别划分成两个以上的多个频带， 每个频带对应一个子带。每个子带独立融合。每个子带信号由第一中间信号 和第二中间信号按不同权重进行加权融合，之后将各子带的加权结果相叠加 得到融合语音信号。
需要说明的是，上述的第二种和第三种融合方式中，不同频带(子带)内 的第一中间信号和第二中间信号的融合权重可以是事先确定的，且低频融合 时权重偏重于第二中间信号，中高频融合时权重偏重于第一中间信号。容易 理解，该融合权重也可以是根据环境变化自适应调节的，且当声压级小时增 加低频融合时第一中间信号的权重，当声压级大时增加低频融合时第二中间 信号的权重。这样可以进行更精细的融合，得到更好的音质。
这是因为：当声压级小时，此时第一中间信号SNR也较高，有足够的 可懂度，且第一中间信号是根据耳外麦克风计算出来的，听感更自然，该情 况下通过增加低频融合时的第一中间信号的权重，可以拥有更好的听感。当 声压级大时，此时第一中间信号的低频部分的SNR低，语音可懂度低，而 第二中间信号的低频部分的SNR相对较高，该情况下通过增加低频融合时 的第二中间信号的权重，可以提高语音的可懂度。因此根据声压级判断环境噪声大小，进而自适应调节低频融合时的第一中间信号或第二中间信号的权 重，可以进行更智能的融合，在不同噪声环境下达到听感和可懂度较好的平 衡。
容易理解，耳机通常包括喇叭，该喇叭用于播放下行链路(即，通话时 对方语音的传递路径)信号。通话时位于由所述耳机和耳道所形成的腔体内 的第三麦克风会拾取到喇叭的声音，因此为避免干扰，需要先对第三麦克风 做回声消除处理(AEC)。
回声是由下行链路(即，通话时对方语音的传递路径)的通话信号通过 喇叭发出声学信号，再串到麦克风引起。麦克风中回声部分和下行链路信号 是相关的，即存在一个从下行链路信号到麦克风回声信号的传递函数(H)， 利用此相关信息可以通过下行链路信号估计出麦克风中回声信息，从而去掉 麦克风中回声部分。
在一些优选实施例中，本发明实施例提供的耳机信号处理方法还包括： 对第三麦克风拾取的信号执行回声消除处理。
与获取第二中间信号的方式类似，同样可以采用归一化最小均方自适应 滤波算法对第三麦克风拾取的信号执行回声消除处理。具体地，以第三麦克 风拾取的信号作为目标信号(des)，以下行链路信号作为参考信号(ref)， 采用归一化最小化均方自适应滤波算法得到最佳的滤波器权值；此时的滤波 器对应从下行链路信号到麦克风回声信号的传递函数(H)的冲击响应；
根据滤波器权值与参考信号的卷积结果估计出第三麦克风所拾取信号中 的回声部分；
将第三麦克风拾取的信号减去所述回声部分得到消除回声后的信号，并 将所述消除回声后的信号作为第三麦克风拾取的信号。
经上述回声消除处理后，去掉了第三麦克风所拾取信号中的回声部分， 避免了对后续降噪处理的干扰。
需要说明的是，该回声消除处理步骤位于附图2中步骤S103之后和步 骤S130之前。也即是说，如果耳机还包括喇叭，则在获取到耳内麦克风拾 取的信号之后，需要实时对耳内麦克风进行回声消除处理，以去除掉耳内麦 克风所拾取信号中的回声部分，避免干扰后续的降噪处理。
可选地，在步骤S150将融合语音信号作为上行链路信号(通话时由本 地向对方发送的语音信号)输出之前，还可以包括对该融合语音信号进行单 通道降噪处理的步骤，以进一步提升上行链路信号的信噪比。此处的降噪处 理方法同单麦克风降噪，常用的方法有维纳滤波，卡尔曼滤波等。
最后还需要说明的是，上述步骤S120-S140均可以在频域下执行。获 取到三个麦克风拾取的信号后，经过模数转换后，得到对应的数字信号，然 后将数字信号从时域变换到频域。当耳机包括喇叭时，对通话时的下行链路 信号也需要将其变换到频域。
图2为本发明实施例示出的耳机信号处理方法的计算机程序示意图。如 图2所示，第一麦克风和第二麦克风位于耳道外部环境，第三麦克风和喇叭 位于由所述耳机和耳道所形成的腔体内。获取这三个麦克风拾取的信号，分 别经过模数转换(ADC)转变为对应的数字信号，输入到数字信号处理器 (DSP)中，由DSP对三个麦克风的数字信号进行降噪和融合处理后，将 融合结果发送给信号传输电路，信号传输电路再将融合结果作为上行链路信号Tout发送到通信网络的上行链路。通话时，通信网络的下行链路信号Rx经信号传输电路传输至该DSP，由DSP根据该下行链路信号Rx对第三麦克 风的数字信号进行回声消除处理，同时输出该下行链路信号Rx，Rx经过数模 转换(DAC)转变为对应的模拟信号由喇叭进行播放。
因此本发明实施例给出的耳机信号处理方法，可以由计算机程序指令来 实现，将这些计算机程序指令提供给数字信号处理器DSP芯片，由DSP芯 片处理这些计算机程序指令。
本发明实施例还提供了一种耳机信号处理系统。
图3为本发明实施例示出的耳机信号处理系统的结构示意图，如图3所 示，本发明实施例的耳机信号处理系统包括：
第一麦克风信号获取单元301，用于获取位于耳道外部靠近嘴的位置的 耳机的第一麦克风拾取的信号；
第二麦克风信号获取单元302，用于获取位于耳道外部远离嘴的位置的 耳机的第二麦克风拾取的信号；
第三麦克风信号获取单元303，用于获取耳机的第三麦克风拾取的信号， 第三麦克风位于由耳机和耳道所形成的腔体内；
第一双麦克风降噪单元320，用于对第一麦克风拾取的信号和第二麦克 风拾取的信号做双麦克风降噪得到第一中间信号；
第二双麦克风降噪单元330，用于对第二麦克风拾取的信号和第三麦克 风拾取的信号做双麦克风降噪得到第二中间信号；
融合单元340，用于对第一中间信号和第二中间信号进行加权融合，得 到融合语音信号；
输出单元350，用于输出融合语音信号。
在一些优选实施例中，第一双麦克风降噪单元320利用波束成型处理对 所述第一麦克风拾取的信号和所述第二麦克风拾取的信号执行双麦克风降 噪。具体包括：利用第一麦克风和第二麦克风已经确定的空间关系得到导向 矢量S；在人体不说话时的纯噪声时段，实时计算更新第一麦克风和第二麦 克风的协方差矩阵RNN＝XXH，而在人体说话时，对所述RNN停止更新且沿用 之前的最新值；其中，X＝[X1 X2]T，X1和X2分别为第一麦克风和第二麦 克风的频域信号，X为第一麦克风和第二麦克风的频域信号组成的输入向量； 计算所述RNN的逆矩阵
Figure RE-GDA0002389958660000141
从而根据所述导向矢量S和所述逆矩阵
Figure RE-GDA0002389958660000142
计算 出第一麦克风和第二麦克风的实时滤波系数
Figure RE-GDA0002389958660000143
进而得到双麦克风 降噪后的输出Y＝WHX，Y即为第一中间信号。
在一些优选实施例中，第二双麦克风降噪单元330利用归一化最小均方 自适应滤波算法对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号 执行双麦克风降噪。具体包括：将第二麦克风拾取的信号作为参考信号，第 三麦克风拾取的信号作为目标信号，在人体不说话时的纯噪声时段，采用归 一化最小均方自适应滤波算法得到最佳的滤波器权值，而在人体说话时，停 止更新滤波器且将所述滤波器权值沿用之前的最新值；根据所述滤波器权值 与所述参考信号的卷积结果估计出第三麦克风所拾取信号中的噪声部分；将 第三麦克风拾取的信号减去所述噪声部分得到降噪后的语音信号，该降噪后 的语音信号即为第二中间信号。
优选的，对第一中间信号和第二中间信号进行融合得到的融合语音信号， 其构成中主要包括第一中间信号的中高频部分和第二中间信号的低频部分。 在一些优选实施例中，融合单元340具体用于：
基于预先确定的分割频率，分别提取所述第一中间信号的中高频部分和 所述第二中间信号的低频部分，对两个提取出的信号直接进行拼接融合；
或者，基于预先确定的分割频率，分别提取第一中间信号和第二中间信 号的低频部分和中高频部分，按不同权重对低频部分的第一中间信号和第二 中间信号进行加权融合、对中高频部分的第一中间信号和第二中间信号进行 加权融合，将两部分加权结果相叠加得到融合语音信号；
或者，将第一中间信号和第二中间信号对应划分为多个子带，每个子带 内由第一中间信号和第二中间信号按不同权重进行加权融合，将各子带的加 权结果相叠加得到融合语音信号。
其中，当进行加权融合时，第一中间信号和第二中间信号的融合权重事 先确定，且低频融合时权重偏重于第二中间信号，中高频融合时权重偏重于 第一中间信号；
或者，当进行加权融合时，第一中间信号和第二中间信号的融合权重根 据环境变化自适应调节，且当声压级小时增加低频融合时第一中间信号的权 重，当声压级大时增加低频融合时第二中间信号的权重。
在一些优选实施例中，本发明实施例的耳机信号处理系统还包括语音活 动检测模块，用于利用第三麦克风做语音活动检测来判断人体是否在说话， 并结合语音活动检测的结果来执行双麦克风降噪。其中，语音活动检测模块 在利用所述第三麦克风做语音活动检测来判断人体是否在说话，具体包括：
估算第三麦克风所拾取信号的噪声功率，计算出该信号的信噪比，将该 信噪比跟预定的信噪比阈值做比较，大于阈值则判断人体在说话，小于阈值 则判断人体没在说话。
在设计结构时，该语音活动检测模块设置有两个，分别设置在第一双麦 克风降噪单元320和第二双麦克风降噪单元330中，也可以在这两个双麦克 风降噪单元之外仅设置一个共用。该语音活动检测模块的输入端连接第三麦 克风信号获取单元303的输出端，输出端分别连接第一双麦克风降噪单元 320和第二双麦克风降噪单元330。
可选地，耳机还包括喇叭，该喇叭用于播放下行链路信号，通话时第三 麦克风拾取的信号中包括该喇叭播放的信号。
在一些优选实施例中，本发明实施例的耳机信号处理系统还包括回声消 除模块，用于对第三麦克风拾取的信号执行回声消除处理。该回声消除模块 具体用于：以第三麦克风拾取的信号作为目标信号，以下行链路信号作为参 考信号，采用归一化最小化均方自适应滤波算法得到最佳的滤波器权值；根 据所述滤波器权值与所述参考信号的卷积结果估计出第三麦克风所拾取信号 中的回声部分；将第三麦克风拾取的信号减去所述回声部分得到消除回声后 的信号，并将该消除回声后的信号作为第三麦克风拾取的信号。
在设计结构时，可以将该回声消除模块设置在第三麦克风信号获取单元 303中，也可以设置在第三麦克风信号获取单元303之外。此时回声消除模 块的两个输入端一个连接第三麦克风的信号输出端，另一个连接耳机喇叭的 信号输入端，其输出端连接第三麦克风信号获取单元303的输出端。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参 见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的， 其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即 可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选 择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人 员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供了一种耳机。
图4为本发明实施例示出的耳机的结构示意图。如图4所示，本发明实 施例提供的耳机包括壳体401，壳体401内部设置有第一麦克风406、第二 麦克风402和第三麦克风404，其中第一麦克风406位于耳道外部靠近嘴的 位置，第二麦克风402位于耳道外部远离嘴的位置，第三麦克风404位于由 所述耳机和耳道所形成的腔体内。可选的，壳体401内还设置有喇叭405。 喇叭405和入耳部分的壳体401围成耳机前腔403，第三麦克风404位于耳 机前腔403内，通话时第三麦克风404拾取的信号中包括该喇叭405播放 的信号。为提高在高噪环境下的通话质量，该耳机的壳体内设置有本发明上 述实施例的耳机信号处理系统。
该耳机可以是无线耳机，也可以是有线耳机。可以理解的是，本发明实 施例提供的耳机信号处理方法和系统，不仅可应用于入耳式耳机，对头戴式 耳机同样适用。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领 域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术 人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保 护范围应以权利要求的保护范围为准。
A1、一种耳机信号处理方法，其特征在于，包括：
获取位于耳道外部靠近嘴的位置的所述耳机的第一麦克风拾取的信号、 位于耳道外部远离嘴的位置的所述耳机的第二麦克风拾取的信号、以及所述 耳机的第三麦克风拾取的信号，所述第三麦克风位于由所述耳机和耳道所形 成的腔体内；
对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风 降噪得到第一中间信号；对所述第二麦克风拾取的信号和所述第三麦克风拾 取的信号做双麦克风降噪得到第二中间信号；
对所述第一中间信号和所述第二中间信号进行融合，得到融合语音信号；
输出所述融合语音信号。
A2、根据权利要求A1所述的耳机信号处理方法，其特征在于，对所述 第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风降噪得到第 一中间信号，包括：
利用波束成型处理对所述第一麦克风拾取的信号和所述第二麦克风拾取 的信号执行双麦克风降噪。
A3、根据权利要求A1所述的耳机信号处理方法，其特征在于，对所述 第二麦克风拾取的信号和所述第三麦克风拾取的信号做双麦克风降噪得到第 二中间信号，包括：
利用归一化最小均方自适应滤波算法对所述第二麦克风拾取的信号和所 述第三麦克风拾取的信号执行双麦克风降噪。
A4、根据权利要求A1所述的耳机信号处理方法，其特征在于，所述融 合语音信号包括所述第二中间信号的低频部分和所述第一中间信号的中高频 部分。
A5、根据权利要求A4所述的耳机信号处理方法，其特征在于，对所述 第一中间信号和所述第二中间信号进行融合，得到融合语音信号，包括：
基于预先确定的分割频率，分别提取所述第一中间信号的中高频部分和 所述第二中间信号的低频部分，对两个提取出的信号直接进行拼接融合；
或者，基于预先确定的分割频率，分别提取所述第一中间信号和所述第 二中间信号的低频部分和中高频部分，按不同权重对低频部分的所述第一中 间信号和所述第二中间信号进行加权融合、对中高频部分的所述第一中间信 号和所述第二中间信号进行加权融合，将两部分加权结果相叠加得到融合语 音信号；
或者，将所述第一中间信号和所述第二中间信号对应划分为多个子带， 每个子带内由所述第一中间信号和所述第二中间信号按不同权重进行加权融 合，将各子带的加权结果相叠加得到融合语音信号。
A6、根据权利要求A5所述的耳机信号处理方法，其特征在于，
当进行加权融合时，融合权重事先确定，且低频融合时权重偏重于所述 第二中间信号，中高频融合时权重偏重于所述第一中间信号；
或者，当进行加权融合时，融合权重根据环境变化自适应调节，且当声 压级小时增加低频融合时所述第一中间信号的权重，当声压级大时增加低频 融合时所述第二中间信号的权重。
A7、根据权利要求A1-A6任一项所述的耳机信号处理方法，其特征在于， 所述耳机还包括喇叭，所述喇叭用于播放下行链路信号，通话时所述第三麦 克风拾取的信号中包括所述喇叭播放的信号；所述耳机信号处理方法还包括：
对所述第三麦克风拾取的信号执行回声消除处理。
A8、根据权利要求A7所述的耳机信号处理方法，其特征在于，所述对 所述第三麦克风拾取的信号执行回声消除处理，包括：
以所述第三麦克风拾取的信号作为目标信号，以下行链路信号作为参考 信号，采用归一化最小化均方自适应算法得到最佳的滤波器权值；
根据所述滤波器权值与所述参考信号的卷积结果估计出所述第三麦克风 所拾取信号中的回声部分；
将所述第三麦克风拾取的信号减去所述回声部分得到消除回声后的信 号，并将所述消除回声后的信号作为所述第三麦克风拾取的信号。
A9、根据权利要求A1-A6任一项所述的耳机信号处理方法，其特征在于， 所述耳机信号处理方法还包括：利用所述第三麦克风做语音活动检测来判断 人体是否在说话，并结合语音活动检测的结果来执行双麦克风降噪。
A10、根据权利要求A9所述的耳机信号处理方法，其特征在于，所述利 用所述第三麦克风做语音活动检测来判断人体是否在说话，具体包括：
估算所述第三麦克风所拾取信号的噪声功率，计算出该信号的信噪比， 将该信噪比跟预定的信噪比阈值做比较，大于阈值则判断人体在说话，小于 阈值则判断人体没在说话。
B11、一种耳机信号处理系统，其特征在于，包括：
第一麦克风信号获取单元，用于获取位于耳道外部靠近嘴的位置的所述 耳机的第一麦克风拾取的信号；
第二麦克风信号获取单元，用于获取位于耳道外部远离嘴的位置的所述 耳机的第二麦克风拾取的信号；
第三麦克风信号获取单元，用于获取所述耳机的第三麦克风拾取的信号， 所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
第一双麦克风降噪单元，用于对所述第一麦克风拾取的信号和所述第二 麦克风拾取的信号做双麦克风降噪得到第一中间信号；
第二双麦克风降噪单元，用于对所述第二麦克风拾取的信号和所述第三 麦克风拾取的信号做双麦克风降噪得到第二中间信号；
融合单元，用于对所述第一中间信号和所述第二中间信号进行融合，得 到融合语音信号；
输出单元，用于输出所述融合语音信号。
B12、根据权利要求B11所述的耳机信号处理系统，其特征在于，所述 第一双麦克风降噪单元利用波束成型处理对所述第一麦克风拾取的信号和所 述第二麦克风拾取的信号执行双麦克风降噪。
B13、根据权利要求B11所述的耳机信号处理系统，其特征在于，所述 第二双麦克风降噪单元利用归一化最小均方自适应滤波算法对所述第二麦克 风拾取的信号和所述第三麦克风拾取的信号执行双麦克风降噪。
B14、根据权利要求B11所述的耳机信号处理系统，其特征在于，所述 融合语音信号包括所述第二中间信号的低频部分和所述第一中间信号的中高 频部分。
B15、根据权利要求B14所述的耳机信号处理系统，其特征在于，所述 融合单元具体用于：
基于预先确定的分割频率，分别提取所述第一中间信号的中高频部分和 所述第二中间信号的低频部分，对两个提取出的信号直接进行拼接融合；
或者，基于预先确定的分割频率，分别提取所述第一中间信号和所述第 二中间信号的低频部分和中高频部分，按不同权重对低频部分的所述第一中 间信号和所述第二中间信号进行加权融合、对中高频部分的所述第一中间信 号和所述第二中间信号进行加权融合，将两部分加权结果相叠加得到融合语 音信号；
或者，将所述第一中间信号和所述第二中间信号对应划分为多个子带， 每个子带内由所述第一中间信号和所述第二中间信号按不同权重进行加权融 合，将各子带的加权结果相叠加得到融合语音信号。
B16、根据权利要求B15所述的耳机信号处理系统，其特征在于，
当进行加权融合时，融合权重事先确定，且低频融合时权重偏重于所述 第二中间信号，中高频融合时权重偏重于所述第一中间信号；
或者，当进行加权融合时，融合权重根据环境变化自适应调节，且当声 压级小时增加低频融合时所述第一中间信号的权重，当声压级大时增加低频 融合时所述第二中间信号的权重。
B17、根据权利要求B11-B16任一项所述的耳机信号处理系统，其特征 在于，所述耳机还包括喇叭，所述喇叭用于播放下行链路信号，通话时所述 第三麦克风拾取的信号中包括所述喇叭播放的信号；所述耳机信号处理系统 还包括回声消除模块，用于对所述第三麦克风拾取的信号执行回声消除处理。
B18、根据权利要求B17所述的耳机信号处理系统，其特征在于，所述 回声消除模块具体用于：
以所述第三麦克风拾取的信号作为目标信号，以下行链路信号作为参考 信号，采用归一化最小化均方自适应算法得到最佳的滤波器权值；
根据所述滤波器权值与所述参考信号的卷积结果估计出所述第三麦克风 所拾取信号中的回声部分；
将所述第三麦克风拾取的信号减去所述回声部分得到消除回声后的信 号，并将所述消除回声后的信号作为所述第三麦克风拾取的信号。
B19、根据权利要求B11-B16任一项所述的耳机信号处理系统，其特征 在于，所述耳机信号处理系统还包括语音活动检测模块，用于利用所述第三 麦克风做语音活动检测来判断人体是否在说话，并结合语音活动检测的结果 来执行双麦克风降噪。
B20、根据权利要求B19所述的耳机信号处理系统，其特征在于，所述 语音活动检测模块在利用所述第三麦克风做语音活动检测来判断人体是否在 说话，具体包括：
估算所述第三麦克风所拾取信号的噪声功率，计算出该信号的信噪比， 将该信噪比跟预定的信噪比阈值做比较，大于阈值则判断人体在说话，小于 阈值则判断人体没在说话。
C21、一种耳机，其特征在于，包括：第一麦克风、第二麦克风、第三 麦克风，所述第一麦克风位于耳道外部靠近嘴的位置，所述第二麦克风位于 耳道外部远离嘴的位置，所述第三麦克风位于由所述耳机和耳道所形成的腔 体内；
所述耳机内设置有权利要求B11-B20任一项所述的耳机信号处理系统。

Claims (10)

1.一种耳机信号处理方法，其特征在于，包括：
获取位于耳道外部靠近嘴的位置的所述耳机的第一麦克风拾取的信号、位于耳道外部远离嘴的位置的所述耳机的第二麦克风拾取的信号、以及所述耳机的第三麦克风拾取的信号，所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风降噪得到第一中间信号；对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号做双麦克风降噪得到第二中间信号；
对所述第一中间信号和所述第二中间信号进行融合，得到融合语音信号；
输出所述融合语音信号。
2.根据权利要求1所述的耳机信号处理方法，其特征在于，对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风降噪得到第一中间信号，包括：
利用波束成型处理对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号执行双麦克风降噪。
3.根据权利要求1所述的耳机信号处理方法，其特征在于，对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号做双麦克风降噪得到第二中间信号，包括：
利用归一化最小均方自适应滤波算法对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号执行双麦克风降噪。
4.根据权利要求1所述的耳机信号处理方法，其特征在于，所述融合语音信号包括所述第二中间信号的低频部分和所述第一中间信号的中高频部分。
5.根据权利要求4所述的耳机信号处理方法，其特征在于，对所述第一中间信号和所述第二中间信号进行融合，得到融合语音信号，包括：
基于预先确定的分割频率，分别提取所述第一中间信号的中高频部分和所述第二中间信号的低频部分，对两个提取出的信号直接进行拼接融合；
或者，基于预先确定的分割频率，分别提取所述第一中间信号和所述第二中间信号的低频部分和中高频部分，按不同权重对低频部分的所述第一中间信号和所述第二中间信号进行加权融合、对中高频部分的所述第一中间信号和所述第二中间信号进行加权融合，将两部分加权结果相叠加得到融合语音信号；
或者，将所述第一中间信号和所述第二中间信号对应划分为多个子带，每个子带内由所述第一中间信号和所述第二中间信号按不同权重进行加权融合，将各子带的加权结果相叠加得到融合语音信号。
6.根据权利要求5所述的耳机信号处理方法，其特征在于，
当进行加权融合时，融合权重事先确定，且低频融合时权重偏重于所述第二中间信号，中高频融合时权重偏重于所述第一中间信号；
或者，当进行加权融合时，融合权重根据环境变化自适应调节，且当声压级小时增加低频融合时所述第一中间信号的权重，当声压级大时增加低频融合时所述第二中间信号的权重。
7.一种耳机信号处理系统，其特征在于，包括：
第一麦克风信号获取单元，用于获取位于耳道外部靠近嘴的位置的所述耳机的第一麦克风拾取的信号；
第二麦克风信号获取单元，用于获取位于耳道外部远离嘴的位置的所述耳机的第二麦克风拾取的信号；
第三麦克风信号获取单元，用于获取所述耳机的第三麦克风拾取的信号，所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
第一双麦克风降噪单元，用于对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号做双麦克风降噪得到第一中间信号；
第二双麦克风降噪单元，用于对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号做双麦克风降噪得到第二中间信号；
融合单元，用于对所述第一中间信号和所述第二中间信号进行融合，得到融合语音信号；
输出单元，用于输出所述融合语音信号。
8.根据权利要求7所述的耳机信号处理系统，其特征在于，所述第一双麦克风降噪单元利用波束成型处理对所述第一麦克风拾取的信号和所述第二麦克风拾取的信号执行双麦克风降噪。
9.根据权利要求7所述的耳机信号处理系统，其特征在于，所述第二双麦克风降噪单元利用归一化最小均方自适应滤波算法对所述第二麦克风拾取的信号和所述第三麦克风拾取的信号执行双麦克风降噪。
10.一种耳机，其特征在于，包括：第一麦克风、第二麦克风、第三麦克风，所述第一麦克风位于耳道外部靠近嘴的位置，所述第二麦克风位于耳道外部远离嘴的位置，所述第三麦克风位于由所述耳机和耳道所形成的腔体内；
所述耳机内设置有权利要求7-9任一项所述的耳机信号处理系统。
CN201911234583.3A 2019-12-05 2019-12-05 耳机信号处理方法、系统和耳机 Active CN111131947B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911234583.3A CN111131947B (zh) 2019-12-05 2019-12-05 耳机信号处理方法、系统和耳机
US17/111,409 US11245976B2 (en) 2019-12-05 2020-12-03 Earphone signal processing method and system, and earphone
EP20211991.3A EP3833041B1 (en) 2019-12-05 2020-12-04 Earphone signal processing method and system, and earphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911234583.3A CN111131947B (zh) 2019-12-05 2019-12-05 耳机信号处理方法、系统和耳机

Publications (2)

Publication Number Publication Date
CN111131947A true CN111131947A (zh) 2020-05-08
CN111131947B CN111131947B (zh) 2022-08-09

Family

ID=70497467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911234583.3A Active CN111131947B (zh) 2019-12-05 2019-12-05 耳机信号处理方法、系统和耳机

Country Status (3)

Country Link
US (1) US11245976B2 (zh)
EP (1) EP3833041B1 (zh)
CN (1) CN111131947B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800712A (zh) * 2020-06-30 2020-10-20 联想(北京)有限公司 一种音频处理方法及电子设备
CN112055278A (zh) * 2020-08-17 2020-12-08 大象声科（深圳）科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪方法及设备
CN112116918A (zh) * 2020-09-27 2020-12-22 北京声加科技有限公司 语音信号增强处理方法和耳机
CN112929780A (zh) * 2021-03-08 2021-06-08 头领科技（昆山）有限公司 一种降噪处理的音频芯片及耳机
WO2021241667A1 (ja) * 2020-05-29 2021-12-02 株式会社Ｊｖｃケンウッド 音声入力装置、音声入力システム及び入力音声処理方法
WO2022141364A1 (zh) * 2020-12-31 2022-07-07 深圳市韶音科技有限公司 生成音频的方法和系统
CN115474117A (zh) * 2022-11-03 2022-12-13 深圳黄鹂智能科技有限公司 基于三麦克风的收音方法和收音装置
CN115884032A (zh) * 2023-02-20 2023-03-31 深圳市九音科技有限公司 一种后馈式耳机的智慧通话降噪方法及系统
JP7512684B2 (ja) 2020-05-29 2024-07-09 株式会社Ｊｖｃケンウッド 音声入力システム及び入力音声処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823314B (zh) * 2021-08-12 2022-10-28 北京荣耀终端有限公司 语音处理方法和电子设备
CN114845231B (zh) * 2022-03-25 2023-01-24 东莞市天翼通讯电子有限公司 一种通过电声测试设备测试enc降噪效果的方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2256610Y (zh) * 1996-05-31 1997-06-18 绍兴市华越通讯设备有限公司 语音接收系统背景噪声消除装置
US20050078842A1 (en) * 2003-10-09 2005-04-14 Unitron Hearing Ltd. Hearing aid and processes for adaptively processing signals therein
CN104272380A (zh) * 2012-05-10 2015-01-07 美国思睿逻辑有限公司 在具有适应性噪音消除(anc)的个人音频设备中的频率和方向相关周围声音处理
US20170193978A1 (en) * 2015-12-30 2017-07-06 Gn Audio A/S Headset with hear-through mode
CN107889002A (zh) * 2017-10-30 2018-04-06 恒玄科技（上海）有限公司 颈环蓝牙耳机、颈环蓝牙耳机的降噪系统及降噪方法
US20180343514A1 (en) * 2017-05-26 2018-11-29 Apple Inc. System and method of wind and noise reduction for a headphone
CN109121057A (zh) * 2018-08-30 2019-01-01 北京聆通科技有限公司 一种智能助听的方法及其系统
CN110139200A (zh) * 2018-02-09 2019-08-16 奥迪康有限公司 包括用于降低反馈的波束形成器滤波单元的听力装置
CN110191397A (zh) * 2019-06-28 2019-08-30 歌尔科技有限公司 一种降噪方法及蓝牙耳机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330652B2 (en) * 2012-09-24 2016-05-03 Apple Inc. Active noise cancellation using multiple reference microphone signals
US10231056B2 (en) * 2014-12-27 2019-03-12 Intel Corporation Binaural recording for processing audio signals to enable alerts
US9905216B2 (en) 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
KR101731714B1 (ko) 2015-08-13 2017-04-28 중소기업은행 음질 개선을 위한 방법 및 헤드셋
EP3629602A1 (en) * 2018-09-27 2020-04-01 Oticon A/s A hearing device and a hearing system comprising a multitude of adaptive two channel beamformers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2256610Y (zh) * 1996-05-31 1997-06-18 绍兴市华越通讯设备有限公司 语音接收系统背景噪声消除装置
US20050078842A1 (en) * 2003-10-09 2005-04-14 Unitron Hearing Ltd. Hearing aid and processes for adaptively processing signals therein
CN104272380A (zh) * 2012-05-10 2015-01-07 美国思睿逻辑有限公司 在具有适应性噪音消除(anc)的个人音频设备中的频率和方向相关周围声音处理
US20170193978A1 (en) * 2015-12-30 2017-07-06 Gn Audio A/S Headset with hear-through mode
US20180343514A1 (en) * 2017-05-26 2018-11-29 Apple Inc. System and method of wind and noise reduction for a headphone
CN107889002A (zh) * 2017-10-30 2018-04-06 恒玄科技（上海）有限公司 颈环蓝牙耳机、颈环蓝牙耳机的降噪系统及降噪方法
CN110139200A (zh) * 2018-02-09 2019-08-16 奥迪康有限公司 包括用于降低反馈的波束形成器滤波单元的听力装置
CN109121057A (zh) * 2018-08-30 2019-01-01 北京聆通科技有限公司 一种智能助听的方法及其系统
CN110191397A (zh) * 2019-06-28 2019-08-30 歌尔科技有限公司 一种降噪方法及蓝牙耳机

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241667A1 (ja) * 2020-05-29 2021-12-02 株式会社Ｊｖｃケンウッド 音声入力装置、音声入力システム及び入力音声処理方法
JP7512684B2 (ja) 2020-05-29 2024-07-09 株式会社Ｊｖｃケンウッド 音声入力システム及び入力音声処理方法
CN111800712A (zh) * 2020-06-30 2020-10-20 联想(北京)有限公司 一种音频处理方法及电子设备
CN112055278A (zh) * 2020-08-17 2020-12-08 大象声科（深圳）科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪方法及设备
WO2022036761A1 (zh) * 2020-08-17 2022-02-24 大象声科（深圳）科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪方法及设备
CN112055278B (zh) * 2020-08-17 2022-03-08 大象声科（深圳）科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪设备
CN112116918B (zh) * 2020-09-27 2023-09-22 北京声加科技有限公司 语音信号增强处理方法和耳机
CN112116918A (zh) * 2020-09-27 2020-12-22 北京声加科技有限公司 语音信号增强处理方法和耳机
WO2022141364A1 (zh) * 2020-12-31 2022-07-07 深圳市韶音科技有限公司 生成音频的方法和系统
CN112929780A (zh) * 2021-03-08 2021-06-08 头领科技（昆山）有限公司 一种降噪处理的音频芯片及耳机
CN115474117B (zh) * 2022-11-03 2023-01-10 深圳黄鹂智能科技有限公司 基于三麦克风的收音方法和收音装置
CN115474117A (zh) * 2022-11-03 2022-12-13 深圳黄鹂智能科技有限公司 基于三麦克风的收音方法和收音装置
CN115884032A (zh) * 2023-02-20 2023-03-31 深圳市九音科技有限公司 一种后馈式耳机的智慧通话降噪方法及系统

Also Published As

Publication number Publication date
US20210176558A1 (en) 2021-06-10
US11245976B2 (en) 2022-02-08
EP3833041A1 (en) 2021-06-09
CN111131947B (zh) 2022-08-09
EP3833041B1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
CN111131947B (zh) 耳机信号处理方法、系统和耳机
CN110741654B (zh) 耳塞语音估计
CN107360527B (zh) 包括波束形成器滤波单元的听力装置
US20190158965A1 (en) Hearing aid comprising a beam former filtering unit comprising a smoothing unit
US20180012584A1 (en) Voice Sensing using Multiple Microphones
US8442251B2 (en) Adaptive feedback cancellation based on inserted and/or intrinsic characteristics and matched retrieval
US8787587B1 (en) Selection of system parameters based on non-acoustic sensor information
CN110139200B (zh) 包括用于降低反馈的波束形成器滤波单元的听力装置
US20150256956A1 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
US10291784B2 (en) Adaptive filter unit for being used as an echo canceller
US20120063610A1 (en) Signal enhancement using wireless streaming
CN109218912B (zh) 多麦克风爆破噪声控制
CN111432318B (zh) 包括直接声音补偿的听力装置
CN110782912A (zh) 音源的控制方法以及扬声设备
CN111683319A (zh) 一种通话拾音降噪方法及耳机、存储介质
US20220264231A1 (en) Hearing aid comprising a feedback control system
CN111629313A (zh) 包括环路增益限制器的听力装置
EP4300992A1 (en) A hearing aid comprising a combined feedback and active noise cancellation system
CN113038318B (zh) 一种语音信号处理方法及装置
US11671767B2 (en) Hearing aid comprising a feedback control system
CN113450819B (zh) 信号处理方法及相关产品
EP4199541A1 (en) A hearing device comprising a low complexity beamformer
CN118158599A (zh) 开放式可穿戴声学设备及主动降噪方法
CN113038315A (zh) 一种语音信号处理方法及装置
CN118158590A (zh) 开放式可穿戴声学设备及主动降噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220726

Address after: Room 1903, 19 / F, building D, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing 100088

Applicant after: Bird innovation (Beijing) Technology Co.,Ltd.

Address before: 100191 room 1801, block D, Zhizhen building, 7 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING XIAONIAO TINGTING TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant