CN113038318B - 一种语音信号处理方法及装置 - Google Patents

一种语音信号处理方法及装置 Download PDF

Info

Publication number
CN113038318B
CN113038318B CN201911361036.1A CN201911361036A CN113038318B CN 113038318 B CN113038318 B CN 113038318B CN 201911361036 A CN201911361036 A CN 201911361036A CN 113038318 B CN113038318 B CN 113038318B
Authority
CN
China
Prior art keywords
voice signal
voice
frequency band
signal
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911361036.1A
Other languages
English (en)
Other versions
CN113038318A (zh
Inventor
张献春
钟金云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN201911361036.1A priority Critical patent/CN113038318B/zh
Priority to EP20907258.6A priority patent/EP4024887A4/en
Priority to US17/757,968 priority patent/US20230029267A1/en
Priority to PCT/CN2020/127578 priority patent/WO2021129197A1/zh
Publication of CN113038318A publication Critical patent/CN113038318A/zh
Application granted granted Critical
Publication of CN113038318B publication Critical patent/CN113038318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication

Abstract

本申请提供一种语音信号处理方法及装置，涉及信号处理技术和耳机领域，用于提供全频段、低噪声的语音信号。该方法应用于包括至少两个语音采集器的耳机中，所述至少两个语音采集器包括耳道语音采集器和至少一个外部语音采集器，包括：预处理所述耳道语音采集器采集到的第一频段内的语音信号，得到第一语音信号；预处理所述至少一个外部语音采集器采集到的第二频段内的语音信号，得到外部语音信号，所述第一频段与所述第二频段的频率范围不同；将所述第一语音信号与所述外部语音信号作相关性处理，得到第二语音信号；输出目标语音信号，所述目标语音信号包括第一语音信号和所述第二语音信号。

Description

一种语音信号处理方法及装置
技术领域
本申请涉及信号处理技术和耳机领域，尤其涉及一种语音信号处理方法及装置。
背景技术
随着蓝牙耳机的普及使用，越来越多人喜欢使用蓝牙耳机连接手机来通话。蓝牙耳机上设置有一个或者多个麦克风(microphone，MIC)，用户使用蓝牙耳机通话时，蓝牙耳机上的MIC可以采集语音信号，该语音信号可通过蓝牙通道传输给手机，最后经手机传送给通话的对方。蓝牙耳机的MIC采集到的语音信号中除了用户通话时的自语音信号外，还会包括外部噪音，当外部噪音较大时，会掩盖用户的自语音信号，影响通话效果，因此存在通话降噪的需求。
图1为现有技术中一种蓝牙耳机的示意图，该蓝牙耳机设置有两个MIC，图1中表示为MIC1和MIC2，在用户佩戴蓝牙耳机时MIC1靠近佩戴者的耳朵、MIC2靠近佩戴者的嘴巴。对于设置这两个MIC的蓝牙耳机，现有技术中通常采用以下方法来降噪：将MIC1和MIC2采集到的两路语音信号经过波束成形(beam forming，BF)合成为一路语音信号，最后将这一路语音信号输出至蓝牙耳机的扬声器。
上述方法中，通过波束成形将两路语音信号合成为一路语音信号的过程中，仅是利用这两路语音信号中某一夹角范围的语音信号做降噪处理，即只能对该夹角范围对应的频段范围内的语音信号作降噪处理，从而降噪效果不佳。
发明内容
本申请技术方案提供一种语音信号处理方法及装置，用于提供全频段、低噪声的语音信号。
第一方面，提供一种语音信号处理方法，应用于包括至少两个语音采集器的耳机中，至少两个语音采集器包括耳道语音采集器和至少一个外部语音采集器，包括：预处理耳道语音采集器采集到的第一频段(比如，第一频段可以为100Hz至4KHz、或者200Hz至5KHz)内的语音信号，得到第一语音信号，这里的预处理可以包括用于提高第一语音信号的信噪比的相关处理，比如，降噪、调整幅值或增益等处理，第一语音信号可以是用户的通话语音信号；预处理至少一个外部语音采集器采集到的第二频段(比如，第二频段可以为100Hz至10KHz)内的语音信号，得到外部语音信号，第一频段与第二频段的频率范围不同，这里的预处理可以包括用于提高外部语音信号的信噪比的相关处理，比如，降噪、调整幅值或增益等处理，外部语音信号可以是包括环境音信号和用户的通话语音信号；将第一语音信号与外部语音信号作相关性处理，得到第二语音信号，第二语音信号可以是第二频段范围内的用户的通话语音信号；输出目标语音信号，目标语音信号包括第一语音信号和第二语音信号。
上述技术方案中，由于耳道语音采集器在用户佩戴时位于耳道内，从而预处理耳道语音采集器采集到的语音信号得到的第一语音信号具有噪声少、频段窄的特点。外部语音采集器在用于佩戴时位于耳道外，从而预处理至少一个外部语音采集器采集到的语音信号得到的外部语音信号具有噪声大、频段宽的特点。通过对第一语音信号和外部语音信号进行相关性处理，可以有效提取外部语音信号中的第二语音信号，使得第二语音信号具有噪声小、频段宽的特点。第一语音信号和第二语音信号是不同频段内的用户的自语音信号，从而将第一语音信号和第二语音信号作为目标语音信号输出，实现了全频段的低噪声语音信号的输出，进而提高了用户体验。
在第一方面的一种可能的实现方式中，在输出目标语音信号之前，该方法还包括：根据第一语音信号和第二语音信号，确定第三频段内的第三语音信号，第三频段介于第一频段与第二频段之间；目标语音信号还包括第三语音信号，从而通过输出第一语音信号、第二语音信号和第三语音信号实现目标语音信号的输出。进一步的，根据第一语音信号和第二语音信号，确定第三频段内的第三语音信号，包括：根据第一语音信号和第二语音信号的统计特性生成第三频段内的第三语音信号；或者，通过机器学习或者模型训练等方式根据第一语音信号和第二语音信号生成第三频段内的第三语音信号。上述可能的实现方式中，当第一频段与第二频段的频段范围不同、且未形成连续的频段范围时，可以根据第一语音信号和第二语音信号生成第三频段内的第三语音信号，第三频段可以介于第一频段与第二频段之间，从而与第一频段和第二频段形成一个较宽的频段范围，这样将第一语音信号、第二语音信号和第三语音信号作为目标语音信号输出，可以进一步实现全频段的低噪声语音信号的输出，进而提高了用户体验。
在第一方面的一种可能的实现方式中，预处理耳道语音采集器采集到的第一频段内的语音信号，包括：对耳道语音采集器采集到的第一频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。上述可能的实现方式中，耳道语音采集器采集到的第一频段内的语音信号可能会存在幅度较小或者增益较低的情况，通过增大第二频段内的语音信号的幅度或增益可以便于后续处理和识别，同时提高了其信噪比；此外，第一频段内的语音信号中也会存在有回波信号或者环境噪声等各种噪声信号，通过对第一频段内的语音信号做幅度调整、增益增强、回波消除或者噪声抑制中的至少一种处理，可以有效降低第一频段内的语音信号中的噪声信号，提高信噪比。
在第一方面的一种可能的实现方式中，预处理至少一个外部语音采集器采集到的第二频段内的语音信号，包括：对至少一个外部语音采集器采集到的第二频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。上述可能的实现方式中，至少一个外部语音采集器采集到的第二频段内的语音信号可能会存在幅度较小或者增益较低的情况，通过增大第二频段内的语音信号的幅度或者增益可以便于后续处理和识别，同时提高了其信噪比；此外，第二频段内的语音信号中也可能会存在有回波信号或者环境噪声等各种噪声信号，通过对第二频段内的语音信号做回波消除或者噪声抑制处理，可以有效降低第二频段内的语音信号中的噪声信号，提高信噪比。
在第一方面的一种可能的实现方式中，至少一个外部语音采集器包括第一外部语音采集器和第二外部语音采集器，预处理至少一个外部语音采集器采集到的第二频段内的语音信号，包括：利用第一外部语音采集器采集到的语音信号对第二外部语音采集器采集到的第二频段内的语音信号做降噪处理。
其中，利用第一外部语音采集器采集到的语音信号对第二外部语音采集器采集到的第二频段内的语音信号做降噪处理，包括：将第一外部语音采集器采集到的语音信号的相位翻转180度，通过翻转后的语音信号抵消掉第二外部语音采集器采集到的语音信号中的噪声；或者，通过波束成形处理对第一外部语音采集器采集到的语音信号和第二外部语音采集器采集到的语音信号，以消除第二外部语音采集器采集到的语音信号中的噪声。
上述可能的实现方式中，第一外部语音采集器采集到的语音信号包括一个较小的通话语音信号和噪声信号，第二外部语音采集器采集到的语音信号包括一个较大的通话语音信号和噪声信号，从而通过第一外部语音采集器采集到的语音信号对第二外部语音采集器采集到的语音信号做降噪处理，可以有效消除第二外部语音采集器采集到的语音信号中的噪声信号，从而提高语音信号的信噪比。
在第一方面的一种可能的实现方式中，在输出目标语音信号之前，方法还包括：对输出目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。上述可能的实现方式中，语音信号在处理过程中可能会产生新的噪声信号，在传输过程中可能会产生数据包丢失的情况，通过对输出目标语音信号做上述至少一种处理，可以有效提高目标语音信号的信噪比，提高通话的质量和用户体验。
在第一方面的一种可能的实现方式中，耳道语音采集器包括：耳道麦克风或者耳骨纹传感器中至一个。
在第一方面的一种可能的实现方式中，至少一个外部语音采集器包括：通话麦克风或者降噪麦克风。
第二方面，提供一种语音信号处理装置，该装置包括至少两个语音采集器，至少两个语音采集器包括耳道语音采集器和至少一个外部语音采集器，该装置包括：处理单元，用于预处理耳道语音采集器采集到的第一频段(比如，第一频段可以为100Hz至4KHz、或者200Hz至5KHz)内的语音信号，得到第一语音信号，这里的预处理具体可以包括用于提高第一语音信号的信噪比的相关处理，比如，降噪、调整幅值或增益等处理，第一语音信号可以是用户的通话语音信号；处理单元，还用于预处理至少一个外部语音采集器采集到的第二频段(比如，第二频段可以为100Hz至10KHz)内的语音信号，得到外部语音信号，第一频段与第二频段的频率范围不同，这里的预处理具体可以包括用于提高外部语音信号的信噪比的相关处理，比如，降噪、调整幅值或增益等处理，外部语音信号可以是包括环境音信号和用户的通话语音信号；处理单元，还用于将第一语音信号与外部语音信号做相关性处理，得到第二语音信号，第二语音信号可以是第二频段范围内的用户的通话语音信号；输出单元，用于输出目标语音信号，目标语音信号包括第一语音信号和第二语音信号。
在第二方面的一种可能的实现方式中，处理单元还用于：根据第一语音信号和第二语音信号，确定第三频段内的第三语音信号，第三频段介于第一频段与第二频段之间；目标语音信号还包括第三语音信号。其中，处理单元具体用于：根据第一语音信号和第二语音信号的统计特性生成第三频段内的第三语音信号；或者，通过机器学习或者模型训练等方式根据第一语音信号和第二语音信号生成第三频段内的第三语音信号。
在第二方面的一种可能的实现方式中，处理单元具体用于：对耳道语音采集器采集到的第一频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
在第二方面的一种可能的实现方式中，处理单元还具体用于：对至少一个外部语音采集器采集到的第二频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
在第二方面的一种可能的实现方式中，至少一个外部语音采集器包括第一外部语音采集器和第二外部语音采集器，处理单元具体用于：利用第一外部语音采集器采集到的语音信号对第二外部语音采集器采集到的第二频段内的语音信号做降噪处理。其中，处理单元具体用于：将第一外部语音采集器采集到的语音信号的相位翻转180度，通过翻转后的语音信号抵消掉第二外部语音采集器采集到的语音信号中的噪声；或者，通过波束成形处理对第一外部语音采集器采集到的语音信号和第二外部语音采集器采集到的语音信号，以消除第二外部语音采集器采集到的语音信号中的噪声。
在第二方面的一种可能的实现方式中，处理单元还用于：对输出目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。
在第二方面的一种可能的实现方式中，耳道语音采集器包括：耳道麦克风或者耳骨纹传感器中至少一个。
在第二方面的一种可能的实现方式中，至少一个外部语音采集器包括：通话麦克风或者降噪麦克风。
在第二方面的一种可能的实现方式中，该语音信号处理装置为耳机，比如，该耳机可以为无线耳机、有线耳机，该无线耳机可以为蓝牙耳机、WiFi耳机或者红外耳机等。
在本申请技术方案的另一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在设备上运行时，使得设备执行上述第一方面或第一方面的任一种可能的实现方式所提供的语音信号方法。
在本申请技术方案的另一方面，提供一种计算机程序产品，当计算机程序产品在设备上运行时，使得设备执行上述第一方面或第一方面的任一种可能的实现方式所提供的语音信号方法。
可以理解地，上述提供的任一种语音信号处理方法的装置、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
图1为一种耳机中的麦克风的布局示意图；
图2为本申请实施例提供的一种耳机中的语音采集器的布局示意图；
图3为本申请实施例提供的一种信号处理方法的流程示意图；
图4为本申请实施例提供的另一种信号处理方法的流程示意图；
图5为本申请实施例提供的一种语音信号处理装置的结构示意图；
图6为本申请实施例提供的另一种语音信号处理装置的结构示意图。
具体实施方式
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下中的至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a、b、c、a和b、a和c、b和c、或a、b和c，其中a、b、c可以是单个，也可以是多个。另外，在本申请的实施例中，“第一”、“第二”等字样并不对数量和执行次序进行限定。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
图2为本申请实施例提供的一种耳机中语音采集器的布局示意图，该耳机上可以设置有至少两个语音采集器，每个语音采集器均可用于采集语音信号，比如，每个语音采集器可以为麦克风或者声音传感器等。至少两个语音采集器中可以包括耳道语音采集器和外部语音采集器，耳道语音采集器可以是指当用户佩戴该耳机时位于用户耳道内的语音采集器，外部语音采集器可以是指当用户佩戴该耳机时位于用户耳道外的语音采集器。
上述图2中以至少两个语音采集器包括三个语音采集器，三个语音采集器分别表示为MIC1、MIC2和MIC3为例进行说明。其中，MIC1和MIC2为外部语音采集器，当用户佩戴该耳机时，MIC1靠近佩戴者的耳朵、MIC2靠近佩戴者的嘴巴；MIC3为耳道语音采集器，当用户佩戴该耳机时，MIC3位于佩戴者的耳道内。在实际应用中，MIC1可以为降噪麦克风或者前馈麦克风，MIC2可以为通话麦克风，MIC3可以为耳道麦克风或者耳骨纹传感器。
其中，该耳机可以通过有线连接或者无线连接的方式与手机、笔记本电脑、计算机、手表等各种电子设备配合使用，处理电子设备的媒体、通话等音频业务。例如，该音频业务可以包括在电话、微信语音消息、音频通话、视频通话、游戏、语音助手等通话业务场景下，为用户播放对端的语音数据，或采集用户的语音数据发送给对端等；还可以包括为用户播放音乐、录音、视频文件中的声音、游戏中的背景音乐、来电提示音等媒体业务。在一种可能的实施例中，该耳机可以为无线耳机，该无线耳机可以为蓝牙耳机、WiFi耳机或者红外耳机等。在另一种可能的实现实施例中，该耳机可以为颈戴式耳机、头戴式耳机或者耳戴式耳机等。
进一步的，该耳机还可以包括处理电路和扬声器，至少两个语音采集器和扬声器均与处理电路连接。该处理电路可用于接收至少两个语音采集器采集到的语音信号并处理，比如，对语音采集器采集到的语音信号进行降噪处理。该扬声器可用于接收处理电路传输的音频数据，并为用户播放该音频数据，比如，在用户通过手机通话的过程中将对方的语音数据播放给用户，或者将手机上的音频数据播放给用户。图2中未示出处理电路和扬声器。
在一些可行的实施例中，处理电路可以包括中央处理器单元、通用处理器、数字信号处理器(digital signal processor，DSP)、微控制器或微处理器等。除此以外，处理电路还可进一步包括其他硬件电路或加速器，如专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理电路也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等。
图3为本申请实施例提供的一种语音信号处理方法的流程示意图，该方法可应用于图2所示的耳机中，具体可以由该耳机中的处理电路执行。参见图3，该方法包括：
S301：预处理耳道语音采集器采集到的第一频段内的语音信号，得到第一语音信号。
其中，该耳道语音采集器可以为耳道麦克风或者耳骨纹传感器。当用户佩戴该耳机时，耳道语音采集器位于用户的耳道内，耳道内的语音信号具有干扰少、频段窄的特性。当用户通过该耳机连接手机等电子设备进行通话时，耳道语音采集器可以在用户通话过程中采集耳道内的语音信号，采集器到的第一频段内的语音信号的噪声小，第一频段的范围窄。第一频段可以是低中频段，比如，第一频段可以为100Hz至4KHz、或者200Hz至5KHz等。
当耳道语音采集器采集到第一频段内的语音信号时，耳道语音采集器可以将第一频段内的语音信号传输给处理电路，由处理电路预处理该第一频段内的语音信号，比如，处理电路对该第一频段内的语音信号进行单通道消噪，以得到第一语音信号。第一语音信号为去除该第一频段内的语音信号中的噪声之后的语音信号，第一语音信号可以称为用户的通话语音信号或者自语音信号。
在一种实现方案中，预处理该第一频段内的语音信号可以包括下述四种单独的处理方式，也可以包括下述四种单独的处理方式中的任意两种或者多种处理方式的结合。下面分别对这四种独立的处理方法进行介绍说明。
第一种、对该第一频段内的语音信号做幅度调整处理。
对该第一频段内的语音信号做幅度调整处理可以包括：增加该第一频段内的语音信号的幅度，或者减小该第一频段内的语音信号幅度。通过对该第一频段内的语音信号做幅度调整处理，可以提高该第一频段内的语音信号的信噪比。
示例性的，当耳道内的语音信号的幅度较小时，耳道语音采集器采集到的该第一频段内的语音信号的幅度相应的也比较小，此时，通过增加该第一频段内的语音信号的幅度，可以提高该第一频段内的语音信号的信噪比，从而便于在后续处理时有效识别该第一频段内的语音信号的幅度。
第二种、对该第一频段内的语音信号做增益增强处理。
对该第一频段内的语音信号做增益增强处理，可以是指放大该第一频段内的语音信号，放大倍数越大(即增益越大)，该第一频段内的语音信号的信号值越大。该第一频段内的语音信号可以包括用户的自语音信号和噪声信号，放大该第一频段内的语音信号，即同时放大用户的自语音信号和噪声信号。
示例性的，当耳道内的语音信号较弱时，耳道语音采集器采集到的该第一频段内的语音信号的增益比较小，从而在后续处理时可能会导致较大的误差，此时，通过对该第一频段内的语音信号做增益增强处理，可以增大该第一频段内的语音信号的增益，从而便于在后续处理时有效减小该第一频段内的语音信号的处理误差。
第三种、对该第一频段内的语音信号做回波消除处理。
用户在通过该耳机通话过程中，耳道语音采集器采集到的该第一频段内的语音信号中除了包括用户的语音信号外，还可能会包括回波信号，该回波信号可以是指耳道语音采集器采集到的耳机的扬声器发出的声音。比如，与用户通话的对方的语音信号传输给耳机并通过耳机的扬声器播放时，耳机的耳道语音采集器在采集语音信号时，除了采集到用户的语音信号外，还会采集到扬声器播放的通话对方的语音信号(即回波信号)，从而耳道语音采集器采集到的第一频段内的语音信号中会包括回波信号。
其中，对该第一频段内的语音信号做回波消除处理，可以是指消除该第一频段内的语音信号中的回波信号，比如通过自适应回波滤波器对该第一频段内的语音信号做滤波处理可消除该回波信号。该回波信号是一种噪声信号，通过消除该回波信号可以提高该第一频段内的语音信号的信噪比，从而提高语音通话的质量。关于回波消除的具体实现过程可以参见回波消除的相关技术中的描述，本申请实施例对此不作具体限制。
第四种、对该第一频段内的语音信号做噪声抑制。
用户在通过该耳机通话过程中，若该用户所处的环境中存在环境噪声，比如，风噪声、广播声或者用户周围的其他人的说话声等，则耳道语音采集器采集到的该第一频段内的语音信号中会包括环境噪声。对该第一频段内的语音信号做噪声抑制，可以是指降低或消除该第一频段内的语音信号中的环境噪声，通过消除该环境噪声可以提高该第一频段内的语音信号的信噪比。示例性，通过对该第一频段内的语音信号做滤波处理可以消除该第一频段内的语音信号的环境噪音。
S302：预处理至少一个外部语音采集器采集到的第二频段内的语音信号，得到外部语音信号，第一频段与第二频段的频率范围不同。其中，S302与S301可以不分先后顺序，图3中以S302与S301并列执行为例进行说明。
其中，至少一个外部语音采集器可以包括一个或者多个外部语音采集器。比如，至少一个外部语音采集器可以包括通话麦克风。当用户佩戴该耳机时，外部语音采集器位于用户的耳道外，耳道外的语音信号具有干扰多、频段宽的特性。当用户通过该耳机连接手机等电子设备进行通话时，至少一个外部语音采集器可以在用户通话过程中采集语音信号，采集到的第二频段内的语音信号的噪声大，且第二频段的范围宽。第二频段可以是中高频段，比如，第二频段可以为100Hz至10KHz。
当至少一个外部语音采集器采集到第二频段内的语音信号时，至少一个外部语音采集器可以将第二频段内的语音信号传输给处理电路，由处理电路预处理该第二频段内的语音信号，以降低或消除噪音信号，得到外部语音信号。比如，当至少一个外部语音采集器包括通话麦克风时，通话麦克风可以将采集到的第二频段内的语音信号传输给处理电路，由处理电路去除该第二频段内的语音信号中的噪音信号。
在一种实现方式中，预处理该第二频段内的语音信号的方法与上述S301中所描述的方法类似，即可以采用上述S301中所述的四种单独的处理方式，或者采用上述四种单独的处理方式中的任意两种或者多种处理方式的结合。具体过程可以参见上述S301中的相关描述，本申请实施例在此不再赘述。
当至少一个外部语音采集器包括通话麦克风和降噪麦克风时，预处理该第二频段内的语音信号还可以包括：利用降噪麦克风采集到的第二频段内的语音信号对通话麦克风采集到的第二频段内的语音信号做降噪处理。
在用户通过该耳机连接手机等电子设备通话过程中，通话麦克风靠近佩戴者的嘴巴，即通话麦克风靠近音源，从而通话麦克风采集到的第二频段内的语音信号包括一个较大的通话语音信号和噪声信号。降噪麦克风远离佩戴者的嘴巴，即降噪麦克风远离音源，则降噪麦克风采集到的第二频段内的语音信号包括一个较小的通话语音信号和噪声信号。当处理电路接收到通话麦克风和降噪麦克风传输的语音信号时，处理电路可以将降噪麦克风采集到的语音信号的相位翻转180°，从而通过翻转180°后的语音信号抵消掉通话麦克风采集到的语音信号中的噪声信号。
或者，在利用降噪麦克风采集到的第二频段内的语音信号对通话麦克风采集到的第二频段内的语音信号做降噪处理时，还可以对降噪麦克风和通话麦克风的采集语音信号的采集方向进行设置，以使降噪麦克风和通话麦克风对来自一个或多个特定方向的声音更敏感，从而在做降噪处理时，可以利用波束成形仅对这一个或多个特定方向上的语音信号做降噪处理，进而提高第二频段内的语音信号的信噪比。
S303：将第一语音信号与外部语音信号作相关性处理，得到第二语音信号。
其中，信号的相关性可以是指两个信号之间的相似程度，确定两个信号之间的相似程度可以通过如下公式(1)进行确定。式中，x(t)和y(t)表示两个信号，Rxy(τ)表示信号x(t)和y(t)的相似程度。
Figure BDA0002337167390000081
当处理电路得到第一语音信号和外部语音信号时，处理电路可以通过相关性处理，从外部语音信号中提取出与第一语音信号的相似程度较高的语音信号，即从外部语音信号中提取出第二语音信号。由于第一语音信号是预处理得到的用户通话过程中的自语音信号，第二语音信号与第一语音信号的相关程度较高，则第二语音信号为外部语音信号中用户通话过程中的自语音信号。通过相关性处理，可以有效地降低或者消除噪声信号，以提高第二语音信号的信噪比。
具体的，当处理电路得到第一语音信号和外部语音信号时，处理电路可以将第一语音信号转换为第一数字信号，将外部语音信号转换为第二数字信号，通过确定第一数字信号和第二数字信号的相似程度，以从第二数字信号中提取出与第一数字信号相似程度较高的数字信号，进而将提取出的相似程度较高的数字信号转换为语音信号，即得到第二语音信号。
在一种实现方案中，处理电路将第一语音信号转换为第一数字信号，将外部语音信号转换为第二数字信号时，可以将第一语音信号和外部语音信号转换为脉冲信号、或者可用于作相关性处理的其他代码或信号等，本申请实施例对此不作具体限定。
S304：输出目标语音信号，目标语音信号包括第一语音信号和第二语音信号。
其中，第一语音信号可以为用户通话过程中第一频段内的自语音信号，第二语音信号可以为用户通话过程中第二频段内的自语音信号，处理电路在得到第一语音信号和第二语音信号之后，可以将第一语音信号和第二语音信号作为目标语音信号输出，从而将第一频段和第二频段内的自语音信号均输出，实现了全频段的低噪声语音信号的输出，进而提高了用户体验。
比如，该耳机为蓝牙耳机，处理电路在得到第一语音信号和第二语音信号之后，处理电路可以通过蓝牙通道将第一语音信号和第二语音信号传输给用户的手机，最后经用户的手机传送给通话的对方。
在一种可能的实现方式中，处理电路在得到第二语音信号之后，也可以仅将第二语音信号作为目标语音信号输出。由于第二语音信号是处理电路通过相关性处理得到的，第二语音信号与第一语音信号的相似程度较高，比如，该相似程度大于98％，所以仅将第二语音信号作为目标语音信号输出，也可以提高输出的目标语音信号的信噪比。
在另一种可能的实现方式中，处理电路在得到第一语音信号之后，也可以仅将第一语音信号作为目标语音信号输出。当外部环境中的噪声较大(比如，风噪声较大、汽笛声较大，完全淹没用户的自语音信号)，即至少一个外部传感器采集到的第二频段内的语音信号中的噪声信号较大，无法提取到有用的第二语音信号时，可以仅将第一语音信号作为目标语音信号输出，这样可以保证用户在噪声较大的情况下，仍能够通过该耳机连接手机等电子设备实现通话功能。
在一种实现方式中，在输出目标语音信号之前，处理电路还可以进一步地对目标语音信号进行其他处理，以进一步提高目标语音信号的信噪比。具体的，处理电路可以对目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。
其中，语音信号在处理过程中可能会产生新的噪声信号，比如，语音信号在降噪过程、和/或相关性处理过程中产生了新的噪声，即第一语音信号和第二语音信号中会包括噪声信号，通过噪声抑制处理可以降低或消除第一语音信号和第二语音信号中的噪声信号，从而提高目标语音信号的信噪比。
语音信号在传输过程中可能会产生数据包丢失的情况，比如，语音信号在从语音采集器传输给处理电路的过程中发生了丢包，即第一语音信号和第二语音信号对应的数据包中可能存在丢包问题，从而在输出第一语音信号和第二语音信号时会影响通话的质量，通过对第一语音信号和第二语音信号做数据包丢失补偿处理，可以解决丢包问题，进而提高输出第一语音信号和第二语音信号时的通话质量。
处理电路得到的第一语音信号和第二语音信号的增益可能较大也可以较小，从而在输出第一语音信号和第二语音信号时会影响通话的质量，通过对第一语音信号和第二语音信号做自动增益控制处理、和/或动态范围调整，可以将第一语音信号和第二语音信号的增益调整到一个合适的范围内，从而提高通话的质量和用户体验。
进一步的，如图4所示，在S304之前，该方法还可以包括：S305。
S305：根据第一语音信号和第二语音信号，确定第三频段内的第三语音信号，第三频段介于第一频段与第二频段之间。
其中，当第一频段与第二频段的频段范围不同、且未形成连续的频段范围时，处理电路可以根据第一语音信号和第二语音信号的统计特性，生成第三频段内的第三语音信号，第三频段可以介于第一频段与第二频段之间，与第一频段和第二频段形成一个较宽的频段范围。
比如，第一频段为200Hz至1KHz、第二频段为2KHz至5KHz，则处理电路可以通过训练200Hz至1KHz中的第一语音信号、以及2KHz至5KHz中的第二语音信号的信号，生成1KHz至2KHz内的第三语音信号，从而形成200Hz至5KHz频段范围内的语音信号。
相应的，当输出目标语音信号时，处理电路可以将第一语音信号、第二语音信号和第三语音信号作为目标语音信号输出。比如，该耳机为蓝牙耳机，处理电路在得到第三语音信号之后，处理电路可以通过蓝牙通道将第一语音信号、第二语音信号和第三语音信号均传输至用户的手机，最后经用户的手机传送给通话的对方。
由于第一语音信号和第二语音信号是消噪后用户通话时的自语音信号，从而根据第一语音信号和第二语音信号的统计特性确定的第三语音信号也是用户通话时的自语音信号，将这三个语音信号同时输出，可以实现全频段的目标语音信号的输出，从而提高通话质量，进一步提高用户体验。
上述主要从耳机的角度对本申请实施例提供的方案进行了介绍。可以理解的是，耳机为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对耳机进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图5示出了上述实施例中所涉及的一种语音信号处理装置的一种可能的结构示意图。参见图5，该装置包括：至少两个语音采集器，至少两个语音采集器包括耳道语音采集器401和至少一个外部语音采集器402，该装置还包括处理单元403和输出单元404。在实际应用中，处理单元403可以为DSP、微处理电路、专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合等。输出单元404可以是输出接口或者通信接口等。
在本申请实施例中，处理单元403用于预处理耳道语音采集器401采集到的第一频段内的语音信号，得到第一语音信号；处理单元403还用于预处理至少一个外部语音采集器402采集到的第二频段内的语音信号，得到外部语音信号，第一频段与第二频段的频率范围不同；处理单元403还用于将第一语音信号与外部语音信号做相关性处理，得到第二语音信号；输出单元404，用于输出目标语音信号，目标语音信号包括第一语音信号和第二语音信号。
在一种可能的实现方式中，处理单元403还用于：根据第一语音信号和第二语音信号，确定第三频段内的第三语音信号，第三频段介于第一频段与第二频段之间；目标语音信号还包括第三语音信号。
可选的，处理单元403具体用于：对所述耳道语音采集器采集到的第一频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
可选的，处理单元403还具体用于：对所述至少一个外部语音采集器采集到的第二频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。和/或，所述至少一个外部语音采集器402包括第一外部语音采集器和第二外部语音采集器，处理单元403还具体用于：利用所述第一外部语音采集器采集到的语音信号对所述第二外部语音采集器采集到的第二频段内的语音信号做降噪处理。
进一步的，处理单元403还用于：对所述输出目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。
在一种可能的实现方式中，耳道语音采集器401包括：耳道麦克风、或者耳骨纹传感器；至少一个外部语音采集器402包括：通话麦克风、降噪麦克风。
示例性的，图6为本申请实施例提供的一种语音信号处理装置的结构示意图，图6中以耳道语音采集器401为耳道麦克风，至少一个外部语音采集器402包括通话麦克风和降噪麦克风，处理电路403为DSP，输出单元404为输出接口为例进行说明。
在本申请实施例中，该装置预处理耳道语音采集器401采集到的语音信号得到的第一语音信号具有噪声少、频段窄的特点，预处理至少一个外部语音采集器402采集到的语音信号得到的外部语音信号具有噪声大、频段宽的特点，对第一语音信号和外部语音信号进行相关性处理，可以有效提取外部语音信号中的第二语音信号，使得第二语音信号具有噪声小、频段宽的特点，第一语音信号和第二语音信号是不同频段内的用户的自语音信号，从而将第一语音信号和第二语音信号作为目标语音信号输出，实现了全频段的低噪声语音信号的输出，进而提高了用户体验。
在本申请的另一实施例中，还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当一个设备(可以是单片机、芯片或者处理电路等)运行该指令时，使得该设备执行上文所提供的语音信号处理方法。前述的计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括指令，该指令存储在计算机可读存储介质中；当一个设备(可以是单片机、芯片或者处理电路等)运行该指令时，使得该设备执行上文所提供的语音信号处理方法。前述的计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种语音信号处理方法，其特征在于，应用于包括至少两个语音采集器的耳机中，所述至少两个语音采集器包括耳道语音采集器和至少一个外部语音采集器，包括：
预处理所述耳道语音采集器采集到的第一频段内的语音信号，得到第一语音信号；
预处理所述至少一个外部语音采集器采集到的第二频段内的语音信号，得到外部语音信号，所述第一频段与所述第二频段的频率范围不同且未形成连续的频段范围；
利用相关性处理从所述外部语音信号中提取出与所述第一语音信号的相似程度大于一定相似程度的语音信号，得到第二语音信号；
根据所述第一语音信号和所述第二语音信号，确定第三频段内的第三语音信号，所述第三频段介于所述第一频段与所述第二频段之间；
输出目标语音信号，所述目标语音信号包括第一语音信号、所述第二语音信号和所述第三语音信号。
2.根据权利要求1所述的方法，其特征在于，所述预处理所述耳道语音采集器采集到的第一频段内的语音信号，包括：
对所述耳道语音采集器采集到的第一频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
3.根据权利要求1或2所述的方法，其特征在于，所述预处理所述至少一个外部语音采集器采集到的第二频段内的语音信号，包括：
对所述至少一个外部语音采集器采集到的第二频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
4.根据权利要求1所述的方法，其特征在于，所述至少一个外部语音采集器包括第一外部语音采集器和第二外部语音采集器，所述预处理所述至少一个外部语音采集器采集到的第二频段内的语音信号，包括：
利用所述第一外部语音采集器采集到的语音信号对所述第二外部语音采集器采集到的第二频段内的语音信号做降噪处理。
5.根据权利要求1所述的方法，其特征在于，在所述输出目标语音信号之前，所述方法还包括：
对所述输出目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。
6.根据权利要求1所述的方法，其特征在于，所述耳道语音采集器包括：耳道麦克风或者耳骨纹传感器中至少一个。
7.根据权利要求1所述的方法，其特征在于，所述至少一个外部语音采集器包括：通话麦克风或者降噪麦克风。
8.一种语音信号处理装置，其特征在于，该装置包括至少两个语音采集器，所述至少两个语音采集器包括耳道语音采集器和至少一个外部语音采集器，该装置包括：
处理单元，用于预处理所述耳道语音采集器采集到的第一频段内的语音信号，得到第一语音信号；
所述处理单元，还用于预处理所述至少一个外部语音采集器采集到的第二频段内的语音信号，得到外部语音信号，所述第一频段与所述第二频段的频率范围不同且未形成连续的频段范围；
所述处理单元，还用于利用相关性处理从所述外部语音信号中提取出与所述第一语音信号的相似程度大于一定相似程度的语音信号，得到第二语音信号；
所述处理单元，还用于根据所述第一语音信号和所述第二语音信号，确定第三频段内的第三语音信号，所述第三频段介于所述第一频段与所述第二频段之间；
输出单元，用于输出目标语音信号，所述目标语音信号包括第一语音信号、所述第二语音信号和所述第三语音信号。
9.根据权利要求8所述的装置，其特征在于，所述处理单元，具体用于：
对所述耳道语音采集器采集到的第一频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
10.根据权利要求8或9所述的装置，其特征在于，所述处理单元，具体用于：
对所述至少一个外部语音采集器采集到的第二频段内的语音信号做以下至少一种处理：幅度调整、增益增强、回波消除或者噪声抑制。
11.根据权利要求8所述的装置，其特征在于，所述至少一个外部语音采集器包括第一外部语音采集器和第二外部语音采集器，所述处理单元，具体用于：
利用所述第一外部语音采集器采集到的语音信号对所述第二外部语音采集器采集到的第二频段内的语音信号做降噪处理。
12.根据权利要求8所述的装置，其特征在于，所述处理单元，还用于：
对所述输出目标语音信号做以下至少一种处理：噪声抑制、均衡处理、数据包丢失补偿、自动增益控制或者动态范围调整。
13.根据权利要求8所述的装置，其特征在于，所述耳道语音采集器包括：耳道麦克风或者耳骨纹传感器中至少一个。
14.根据权利要求8所述的装置，其特征在于，所述至少一个外部语音采集器包括：通话麦克风或者降噪麦克风。
15.根据权利要求8所述的装置，其特征在于，所述装置为耳机。
CN201911361036.1A 2019-12-25 2019-12-25 一种语音信号处理方法及装置 Active CN113038318B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911361036.1A CN113038318B (zh) 2019-12-25 2019-12-25 一种语音信号处理方法及装置
EP20907258.6A EP4024887A4 (en) 2019-12-25 2020-11-09 METHOD AND APPARATUS FOR PROCESSING VOICE SIGNAL
US17/757,968 US20230029267A1 (en) 2019-12-25 2020-11-09 Speech Signal Processing Method and Apparatus
PCT/CN2020/127578 WO2021129197A1 (zh) 2019-12-25 2020-11-09 一种语音信号处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911361036.1A CN113038318B (zh) 2019-12-25 2019-12-25 一种语音信号处理方法及装置

Publications (2)

Publication Number Publication Date
CN113038318A CN113038318A (zh) 2021-06-25
CN113038318B true CN113038318B (zh) 2022-06-07

Family

ID=76458425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911361036.1A Active CN113038318B (zh) 2019-12-25 2019-12-25 一种语音信号处理方法及装置

Country Status (4)

Country Link
US (1) US20230029267A1 (zh)
EP (1) EP4024887A4 (zh)
CN (1) CN113038318B (zh)
WO (1) WO2021129197A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116047613A (zh) * 2021-07-22 2023-05-02 荣耀终端有限公司 一种耳机在位检测方法及装置
CN116614742A (zh) * 2023-07-20 2023-08-18 江西红声技术有限公司 一种清晰语音送受话降噪耳机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200808088A (en) * 2006-03-03 2008-02-01 Nap Entpr Co Ltd Audio input ear-microphone
CN105989835A (zh) * 2015-02-05 2016-10-05 宏碁股份有限公司 语音辨识装置及语音辨识方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773759B2 (en) * 2006-08-10 2010-08-10 Cambridge Silicon Radio, Ltd. Dual microphone noise reduction for headset application
WO2009132646A1 (en) * 2008-05-02 2009-11-05 Gn Netcom A/S A method of combining at least two audio signals and a microphone system comprising at least two microphones
US8107654B2 (en) * 2008-05-21 2012-01-31 Starkey Laboratories, Inc Mixing of in-the-ear microphone and outside-the-ear microphone signals to enhance spatial perception
JP5691618B2 (ja) * 2010-02-24 2015-04-01 ヤマハ株式会社 イヤホンマイク
JP5549299B2 (ja) * 2010-03-23 2014-07-16 ヤマハ株式会社 ヘッドフォン
US8473287B2 (en) * 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
WO2012071650A1 (en) * 2010-12-01 2012-06-07 Sonomax Technologies Inc. Advanced communication earpiece device and method
US8620650B2 (en) * 2011-04-01 2013-12-31 Bose Corporation Rejecting noise with paired microphones
FR2974655B1 (fr) * 2011-04-26 2013-12-20 Parrot Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres".
CN102300140B (zh) * 2011-08-10 2013-12-18 歌尔声学股份有限公司 一种通信耳机的语音增强方法及降噪通信耳机
US9438985B2 (en) * 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
CN103269465B (zh) * 2013-05-22 2016-09-07 歌尔股份有限公司 一种强噪声环境下的耳机通讯方法和一种耳机
US9905216B2 (en) * 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
KR20170121545A (ko) * 2016-04-25 2017-11-02 해보라 주식회사 이어셋 및 그 제어 방법
US10199029B2 (en) * 2016-06-23 2019-02-05 Mediatek, Inc. Speech enhancement for headsets with in-ear microphones
CN107547983B (zh) * 2016-06-27 2021-04-27 奥迪康有限公司 用于提高目标声音的可分离性的方法和听力装置
CN106686494A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的语音输入控制方法及可穿戴设备
CN206640738U (zh) * 2017-02-14 2017-11-14 歌尔股份有限公司 降噪耳机以及电子设备
EP3480809B1 (en) * 2017-11-02 2021-10-13 ams AG Method for determining a response function of a noise cancellation enabled audio device
US10685663B2 (en) * 2018-04-18 2020-06-16 Nokia Technologies Oy Enabling in-ear voice capture using deep learning
CN108322845B (zh) * 2018-04-27 2020-05-15 歌尔股份有限公司 一种降噪耳机
CN108924352A (zh) * 2018-06-29 2018-11-30 努比亚技术有限公司 音质提升方法、终端及计算机可读存储介质
CN110931027A (zh) * 2018-09-18 2020-03-27 北京三星通信技术研究有限公司 音频处理方法、装置、电子设备及计算机可读存储介质
US10516934B1 (en) * 2018-09-26 2019-12-24 Amazon Technologies, Inc. Beamforming using an in-ear audio device
US10854214B2 (en) * 2019-03-29 2020-12-01 Qualcomm Incorporated Noise suppression wearable device
US11258908B2 (en) * 2019-09-23 2022-02-22 Apple Inc. Spectral blending with interior microphone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200808088A (en) * 2006-03-03 2008-02-01 Nap Entpr Co Ltd Audio input ear-microphone
CN105989835A (zh) * 2015-02-05 2016-10-05 宏碁股份有限公司 语音辨识装置及语音辨识方法

Also Published As

Publication number Publication date
WO2021129197A1 (zh) 2021-07-01
US20230029267A1 (en) 2023-01-26
EP4024887A1 (en) 2022-07-06
CN113038318A (zh) 2021-06-25
EP4024887A4 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP6009619B2 (ja) 空間的選択音声拡張のためのシステム、方法、装置、およびコンピュータ可読媒体
US9094749B2 (en) Head-mounted sound capture device
CN102056036B (zh) 再现设备、头戴式耳机和再现方法
CN111131947B (zh) 耳机信号处理方法、系统和耳机
US8787587B1 (en) Selection of system parameters based on non-acoustic sensor information
CN111902866A (zh) 头戴式耳机中的双耳自适应噪声消除系统中的回声控制
KR101731714B1 (ko) 음질 개선을 위한 방법 및 헤드셋
CN111683319A (zh) 一种通话拾音降噪方法及耳机、存储介质
JP5929786B2 (ja) 信号処理装置、信号処理方法及び記憶媒体
KR20070073735A (ko) 소란한 환경에서 언어 신호의 분리를 위한 헤드셋
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN113544775B (zh) 用于头戴式音频设备的音频信号增强
JP2014174255A5 (zh)
CN112399301B (zh) 耳机及降噪方法
CN113038318B (zh) 一种语音信号处理方法及装置
CN109068217A (zh) 一种入耳式耳机的侧音增强方法、装置及入耳式耳机
TW201801543A (zh) 增强從耳機的聽筒傳送的麥克風信號的方法及裝置
CN108235165B (zh) 一种麦克风颈环耳机
US10972844B1 (en) Earphone and set of earphones
US20120197635A1 (en) Method for generating an audio signal
CN113207056B (zh) 一种无线耳机及其透传方法、装置及系统
CN115866474A (zh) 无线耳机的透传降噪控制方法、系统及无线耳机
US11533555B1 (en) Wearable audio device with enhanced voice pick-up
CN108650593A (zh) 一种用于电话会议的三麦克阵列远场拾音方法
CN115398934A (zh) 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant