CN114257921A - 拾音方法及装置、计算机可读存储介质及耳机 - Google Patents

拾音方法及装置、计算机可读存储介质及耳机 Download PDF

Info

Publication number
CN114257921A
CN114257921A CN202110369235.8A CN202110369235A CN114257921A CN 114257921 A CN114257921 A CN 114257921A CN 202110369235 A CN202110369235 A CN 202110369235A CN 114257921 A CN114257921 A CN 114257921A
Authority
CN
China
Prior art keywords
signal
microphone
sound
pickup
pickup signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110369235.8A
Other languages
English (en)
Inventor
刘益帆
徐银海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ancsonic Technology Co ltd
Original Assignee
Beijing Ancsonic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ancsonic Technology Co ltd filed Critical Beijing Ancsonic Technology Co ltd
Priority to CN202110369235.8A priority Critical patent/CN114257921A/zh
Publication of CN114257921A publication Critical patent/CN114257921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供了一种拾音方法及装置、计算机可读存储介质及耳机，涉及信号处理技术领域。该拾音方法包括：基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息；基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和所述第二传声器对应的第一拾音信号。其中，第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。本申请有效提高了传声器所采集信号的信噪比，为后续的语音处理提供了优质的前提条件。

Description

拾音方法及装置、计算机可读存储介质及耳机
技术领域
本申请涉及信号处理技术领域，具体涉及一种拾音方法及装置、计算机可读存储介质及耳机。
背景技术
传声器(比如麦克风)作为采集声信号的电声设备，通常是无指向性的，可以进行全向拾音，换言之，对于不同来向的声信号的拾取灵敏度相同。
然而，现实环境中，几乎处处存在着环境噪声等干扰信号。干扰信号(本申请中又称非兴趣信号)会降低传声器所采集信号的信噪比，进而带来诸多负面影响，比如降低电子产品的语言识别功能的精准度。因此，如何提高传声器所采集信号的信噪比成为了亟待解决的问题。
发明内容
为了解决上述技术问题，提出了本申请。本申请实施例提供了一种拾音方法及拾音装置、存储介质及耳机。
第一方面，本申请一实施例提供一种拾音方法，该拾音方法包括：基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息；基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和所述第二传声器对应的第一拾音信号。其中，第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。
结合第一方面，在本申请一实施例中，该拾音方法还包括：基于时间差信息对第一声信号和/或第二声信号进行第二延时补偿操作，得到第一传声器和第二传声器对应的第二拾音信号，其中，第二延时补偿操作用于降低传声器阵列所采集信号的信噪比；基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号。
结合第一方面，在本申请一实施例中，基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号，包括：对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号；基于第四拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第三拾音信号。
结合第一方面，在本申请一实施例中，在对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比之前，该拾音方法还包括：基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数。其中，对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号，包括：基于滤波参数对第二拾音信号进行滤波操作，得到第四拾音信号。
结合第一方面，在本申请一实施例中，基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数，包括：基于与当前的第一拾音信号和当前的第二拾音信号对应的反馈信号，对当前的滤波参数进行更新；a.基于当前的第二拾音信号和更新后的滤波参数，得到更新后的反馈信号；b.当更新后的反馈信号的期望功率未达到最小值时，基于更新后的反馈信号，对更新后的滤波参数进行更新；迭代执行步骤a、b，直至期望功率收敛至最小值时，确定当前更新后的滤波参数为滤波操作对应的滤波参数。
结合第一方面，在本申请一实施例中，基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息，包括：确定第一声信号和第二声信号对应的互相关信息；基于互相关信息确定所述时间差信息。
第二方面，本申请一实施例提供一种拾音装置，该拾音装置包括：第一模块，用于基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息；第二模块，用于基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号。其中，第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。
第三方面，本申请一实施例提供一种计算机可读存储介质，该存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所提及的拾音方法。
第四方面，本申请一实施例提供一种计算机设备，该计算机设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一实施例所提及的拾音方法。
第五方面，本申请一实施例提供一种耳机，该耳机包括：传声器阵列，该传声器阵列包括用于采集第一声信号的第一传声器和用于采集第二声信号的第二传声器；与传声器阵列连接的拾音模块，该拾音模块用于：基于第一声信号和第二声信号确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息；基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号。其中，第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。
本申请实施例提供的拾音方法，通过基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息，继而基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号的方式，有效提高了传声器阵列所采集信号的信噪比。尤其将本申请实施例提及的方法应用到音箱、耳机、录音笔以及助听器等产品中以进行定向拾音时，为实现其高清语音传输以及高精度语音识别等功能提供了前提条件。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请一实施例提供的拾音方法的流程示意图。
图2所示为本申请另一实施例提供的拾音方法的流程示意图。
图3所示为本申请一实施例提供的基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号的流程示意图。
图4所示为本申请另一实施例提供的基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号的流程示意图。
图5所示为本申请一实施例提供的基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数的流程示意图。
图6所示为本申请一实施例提供的基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息的流程示意图。
图7所示为本申请一实施例提供的拾音装置的结构示意图。
图8所示为本申请一实施例提供的耳机的结构示意图。
图9所示为本申请一实施例提供的计算机设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
图1所示为本申请一实施例提供的拾音方法的流程示意图。如图1所示，本申请实施例提供的拾音方法包括如下步骤。
步骤10，基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息。
示例性地，目标声源为地铁车厢内的语音播报扬声器，目标声源发出的兴趣信号为语音播报扬声器发出的语音报站信号和/或语音提示信号。
步骤20，基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号。
示例性地，第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。其中，传声器阵列包括步骤10中提及的第一传声器和第二传声器。
示例性地，第一延时补偿操作是为了将第一声信号中包含的目标声源发出的兴趣信号以及第二声信号中包含的目标声源发出的兴趣信号在双通道上时间“对齐”，进而将“对齐”后的信号进行叠加，以实现提高传声器阵列所采集信号的信噪比(即提高传声器阵列所采集信号对应的兴趣信号的信噪比)的目的。其中，叠加的具体方式包括但不限于为直接叠加、算术平均叠加、加权叠加等方式。
由于第一传声器和第二传声器各自接收的声信号的时间节点与目标声源的波达方向角相关，因此，对第一传声器和第二传声器各自接收的声信号之间的时间差信息进行估计，即可确定目标声源相对于第一传声器和第二传声器的方向信息，进而基于方向信息和时间差信息针对性地进行延时补偿操作。
需要说明的是，由于环境噪声信号等干扰信号(又称为非兴趣信号)通常无向或者与目标声源异向，因此，非兴趣信号到达第一传声器和第二传声器的时间差不同于目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差，由此可知，干扰信号不会被针对兴趣信号的延时补偿操作“对齐”。以直接叠加为例，干扰信号不会被增强而兴趣信号被增强，传声器阵列所采集信号的信噪比便得以显著提高。
本申请实施例提供的拾音方法，通过基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息，继而基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号的方式，有效提高了传声器阵列所采集信号的信噪比。尤其将本申请实施例提及的方法应用到音箱、耳机、录音笔以及助听器等产品中以进行定向拾音时，为实现其高清语音传输以及高精度语音识别等功能提供了前提条件。
需要说明的是，本申请上述实施例中提及的第一传声器和第二传声器，可以为一独立的传声器，即多个独立的传声器形成传声器阵列。此外，本申请实施例中提及的第一传声器和第二传声器，亦可以为一独立的传声器子阵列，即多个独立的传声器子阵列形成传声器阵列。
图2所示为本申请另一实施例提供的拾音方法的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图2所示，在本申请实施例提供的拾音方法中，在基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息步骤之后，还包括如下步骤。
步骤30，基于时间差信息对第一声信号和/或第二声信号进行第二延时补偿操作，得到第一传声器和第二传声器对应的第二拾音信号。
示例性地，第二延时补偿操作用于降低传声器阵列所采集信号的信噪比。也就是说，在第二拾音信号中，兴趣信号的信噪比被降低(比如，非兴趣信号不变而兴趣信号被削弱)。
可选地，第二延时补偿操作用于削弱或消除第一声信号和/或第二声信号中的兴趣信号，以降低传声器阵列所采集信号的信噪比。
需要说明的是，步骤20和步骤30的执行顺序可根据实际情况确定，本申请实施例对此不进行统一限定。换言之，步骤30即可在步骤20之前执行，亦可在步骤20之后执行，亦可与步骤20同步执行。
步骤40，基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号。
由于第一拾音信号为第一延时补偿操作后得到的，并且第二拾音信号为第二延时补偿操作后得到的，因此，能够基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，以得到第三拾音信号。比如，采用第一拾音信号与第二拾音信号相减的方式进行消除，以得到第三拾音信号。
在实际应用过程中，首先基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息，然后基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号，并基于时间差信息对第一声信号和/或第二声信号进行第二延时补偿操作，得到第一传声器和第二传声器对应的第二拾音信号，继而基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号。
由于第三拾音信号是通过采用第二拾音信号对第一拾音信号中的非兴趣信号进行消除的方式确定的，因此，本申请实施例提供的拾音方法，能够进一步提高传声器阵列所采集信号的信噪比。
具体而言，不论在第一拾音信号还是第二拾音信号中，非兴趣信号的方向和兴趣信号的方向均是不同的，并且，非兴趣信号在第一拾音信号和第二拾音信号中的方向一致，兴趣信号在第一拾音信号和第二拾音信号中的方向一致。此外，在第二拾音信号中，兴趣信号的信噪比是被降低的，比如在第二拾音信号中，非兴趣信号不变，而兴趣信号被削弱。
那么，在此基础上，便能够以相减抵消的方式实现基于第二拾音信号消除第一拾音信号中的非兴趣信号，以得到信噪比更高的第三拾音信号。
图3所示为本申请一实施例提供的基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图3所示，在本申请实施例提供的拾音方法中，基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号步骤，包括如下步骤。
步骤42，对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号。
示例性地，基于自适应滤波器对第二拾音信号进行滤波操作，以最小化第二拾音信号的信噪比。
步骤43，基于第四拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第三拾音信号。
本申请实施例提供的拾音方法，通过对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号，继而基于第四拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第三拾音信号的方式，实现了基于第二拾音信号对第一拾音信号中的非兴趣信号进行最大化消除，得到第一传声器和第二传声器对应的第三拾音信号的目的。
由于第四拾音信号为通过对第二拾音信号的信噪比进行最小化后得到的拾音信号，第四拾音信号的信噪比小于或等于第二拾音信号的信噪比，因此，与图2所示实施例相比，本申请实施例能够进一步提高传声器阵列所采集信号的信噪比。
具体而言，不论在第一拾音信号、第二拾音信号还是第四拾音信号中，非兴趣信号的方向和兴趣信号的方向均是不同的，并且，非兴趣信号在第一拾音信号、第二拾音信号以及第四拾音信号中的方向一致，兴趣信号在第一拾音信号、第二拾音信号以及第四拾音信号中的方向一致。此外，在第二拾音信号中，兴趣信号的信噪比是被降低的，比如在第二拾音信号中，非兴趣信号不变，而兴趣信号被削弱。
又由于第四拾音信号是最小化第二拾音信号的信噪比后得到的，而信噪比的变化不会引起兴趣信号和非兴趣信号方向的变化。那么，在此基础上，便仍然能够以相减抵消的方式实现基于第四拾音信号消除第一拾音信号中的非兴趣信号，以得到信噪比更高的第三拾音信号。
图4所示为本申请另一实施例提供的基于第二拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第一传声器和第二传声器对应的第三拾音信号的流程示意图。在图3所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图4所示，在本申请实施例提供的拾音方法中，在对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号之前，还包括如下步骤。
步骤41，基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数。
举例说明，步骤41中提及的反馈信号为第一拾音信号和第二拾音信号之间的误差信号，即上述自适应滤波器的反馈信号。其中，自适应滤波器用于执行步骤41中提及的滤波操作。
并且，在本申请实施例中，对第二拾音信号进行滤波操作以最小化第二拾音信号的信噪比，得到第四拾音信号步骤，包括如下步骤。
步骤421，基于滤波参数对第二拾音信号进行滤波操作，得到第四拾音信号。
本申请实施例提供的拾音方法，通过基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数，基于滤波参数对第二拾音信号进行滤波操作，得到第四拾音信号，继而基于第四拾音信号对第一拾音信号中的非兴趣信号进行消除，得到第三拾音信号的方式，实现了基于第二拾音信号对第一拾音信号中的非兴趣信号进行最大化消除，得到第一传声器和第二传声器对应的第三拾音信号的目的。
图5所示为本申请一实施例提供的基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数的流程示意图。在图4所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本申请实施例提供的拾音方法中，基于第二拾音信号以及与第一拾音信号和第二拾音信号对应的反馈信号确定滤波操作对应的滤波参数步骤，包括如下步骤。
步骤411，基于与当前的第一拾音信号和当前的第二拾音信号对应的反馈信号，对当前的滤波参数进行更新。
步骤a，基于当前的第二拾音信号和更新后的滤波参数，得到更新后的反馈信号。
步骤b，当更新后的反馈信号的期望功率未达到最小值时，基于更新后的反馈信号，对更新后的滤波参数进行更新。
步骤414，迭代执行步骤a、b，直至期望功率收敛至最小值时，确定当前更新后的滤波参数为滤波操作对应的滤波参数。
由于反馈信号的期望功率能够更精准地表征滤波操作的效果，因此，本申请实施例能够进一步提高所确定的滤波参数的精准度。
图6所示为本申请一实施例提供的基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息的流程示意图。在图1所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本申请实施例提供的拾音方法中，基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息步骤，包括如下步骤。
步骤11，确定第一声信号和第二声信号对应的互相关信息。
应当理解，第一声信号和第二声信号对应的互相关信息能够表征第一声信号和第二声信号之间的相关性。
举例说明，第一声信号表示为x1(t)，第二声信号表示为x2(t)，那么，可得到下述公式(1)和(2)。
x1(t)＝s(t-τ1)+n1(t) (1)
x2(t)＝s(t-τ2)+n2(t) (2)
在公式(1)和(2)中，τ1为目标声源发出的原始声信号(包含兴趣信号)到达第一传声器的时间，τ2为目标声源发出的原始声信号(包含兴趣信号)到达第二传声器的时间，s(t-τ1)和s(t-τ2)为目标声源发出的原始声信号经相应的延迟后分别到达第一传声器和第二传声器的声信号(即为第一传声器和第二传声器各自采集的兴趣信号)，n1(t)和n2(t)分别为第一传声器和第二传声器各自采集的噪声信号(比如地铁车厢内的风噪信号以及轨道噪声信号等)。
那么，第一声信号和第二声信号之间的互相关函数Rx1x2(τ)可基于下述公式(3)确定。
Figure BDA0003008593350000111
在公式(3)中，τ为目标声源发出的原始声信号(包含兴趣信号)到达第一传声器和第二传声器的时间差。
步骤12，基于互相关信息确定时间差信息。
本申请实施例提供的拾音方法，通过确定第一声信号和第二声信号对应的互相关信息，继而基于互相关信息确定时间差信息的方式，实现了基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息的目的。
图7所示为本申请一实施例提供的拾音装置的结构示意图。如图7所示，本申请实施例提供的拾音装置包括：
第一模块100，用于基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息；
第二模块200，用于基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号。
本申请实施例提供的拾音装置，通过基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达第一传声器和第二传声器的时间差信息，继而基于时间差信息对第一声信号和/或第二声信号进行第一延时补偿操作，得到第一传声器和第二传声器对应的第一拾音信号的方式，有效提高了传声器阵列所采集信号的信噪比。
应当理解，图7提供的拾音装置中包括的第一模块100和第二模块200的操作和功能可以参考上述图1至图6提供的拾音方法，为了避免重复，在此不再赘述。
图8所示为本申请一实施例提供的耳机的结构示意图。如图8所示，本申请实施例提供的耳机500包括拾音模块510以及与拾音模块510通信连接的传声器阵列520和扬声器530。其中，传声器阵列520包括第一传声器和第二传声器。具体地，拾音模块510中存储的程序可用于执行上述任一实施例提及的拾音方法。
可选地，拾音模块510中包括延时补偿单元，该延时补偿单元用于执行上述实施例提及的延时补偿操作(比如第一延时补偿操作和/或第二延时补偿操作)。
示例性地，耳机500为ANC(Active Noise Cancelling，主动降噪)耳机。
图9所示为本申请一实施例提供的计算机设备的结构示意图。如图9所示，本申请实施例提供的计算机设备600包括一个或多个处理器610和存储器620。
处理器610可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制计算机设备600中的其他组件以执行期望的功能。
存储器620可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器610可以运行所述程序指令，以实现上文所述的本申请的各个实施例的拾音方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如第一声信号等各种内容。
在一个示例中，计算机设备600还可以包括：输入装置630和输出装置640，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置630可以包括例如键盘、鼠标、麦克风等等。
该输出装置640可以向外部输出各种信息，包括经第一延时补偿操作后的第一拾音信号等。该输出装置640可以包括例如显示器、通信网络、扬声器及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该计算机设备600中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，计算机设备600还可以包括任何其他适当的组件。
示例性地，计算机设备600可以为音箱、耳机、录音笔以及助听器中的至少一种。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的拾音方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的拾音方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种拾音方法，其特征在于，包括：
基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达所述第一传声器和所述第二传声器的时间差信息；
基于所述时间差信息对所述第一声信号和/或所述第二声信号进行第一延时补偿操作，得到所述第一传声器和所述第二传声器对应的第一拾音信号，其中，所述第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。
2.根据权利要求1所述的拾音方法，其特征在于，还包括：
基于所述时间差信息对所述第一声信号和/或所述第二声信号进行第二延时补偿操作，得到所述第一传声器和所述第二传声器对应的第二拾音信号，其中，所述第二延时补偿操作用于降低所述传声器阵列所采集信号的信噪比；
基于所述第二拾音信号对所述第一拾音信号中的非兴趣信号进行消除，得到所述第一传声器和所述第二传声器对应的第三拾音信号。
3.根据权利要求2所述的拾音方法，其特征在于，所述基于所述第二拾音信号对所述第一拾音信号中的非兴趣信号进行消除，得到所述第一传声器和所述第二传声器对应的第三拾音信号，包括：
对所述第二拾音信号进行滤波操作以最小化所述第二拾音信号的信噪比，得到第四拾音信号；
基于所述第四拾音信号对所述第一拾音信号中的非兴趣信号进行消除，得到所述第三拾音信号。
4.根据权利要求3所述的拾音方法，其特征在于，在所述对所述第二拾音信号进行滤波操作以最小化所述第二拾音信号的信噪比之前，还包括：
基于所述第二拾音信号以及与所述第一拾音信号和所述第二拾音信号对应的反馈信号确定所述滤波操作对应的滤波参数；
其中，所述对所述第二拾音信号进行滤波操作以最小化所述第二拾音信号的信噪比，得到第四拾音信号，包括：
基于所述滤波参数对所述第二拾音信号进行滤波操作，得到所述第四拾音信号。
5.根据权利要求4所述的拾音方法，其特征在于，所述基于所述第二拾音信号以及与所述第一拾音信号和所述第二拾音信号对应的反馈信号确定所述滤波操作对应的滤波参数，包括：
基于与当前的第一拾音信号和当前的第二拾音信号对应的反馈信号，对当前的滤波参数进行更新；
a.基于当前的第二拾音信号和更新后的滤波参数，得到更新后的反馈信号；
b.当所述更新后的反馈信号的期望功率未达到最小值时，基于所述更新后的反馈信号，对所述更新后的滤波参数进行更新；
迭代执行步骤a、b，直至所述期望功率收敛至最小值时，确定当前更新后的滤波参数为所述滤波操作对应的滤波参数。
6.根据权利要求1至5任一项所述的拾音方法，其特征在于，所述基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达所述第一传声器和所述第二传声器的时间差信息，包括：
确定所述第一声信号和所述第二声信号对应的互相关信息；
基于所述互相关信息确定所述时间差信息。
7.一种拾音装置，其特征在于，包括：
第一模块，用于基于第一传声器采集的第一声信号和第二传声器采集的第二声信号，确定目标声源发出的兴趣信号到达所述第一传声器和所述第二传声器的时间差信息；
第二模块，用于基于所述时间差信息对所述第一声信号和/或所述第二声信号进行第一延时补偿操作，得到所述第一传声器和所述第二传声器对应的第一拾音信号，其中，所述第一延时补偿操作用于提高传声器阵列所采集信号的信噪比。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6任一项所述的拾音方法。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至6任一项所述的拾音方法。
10.一种耳机，其特征在于，包括：
传声器阵列，所述传声器阵列包括用于采集第一声信号的第一传声器和用于采集第二声信号的第二传声器；
与所述传声器阵列连接的拾音模块，所述拾音模块用于：
基于所述第一声信号和所述第二声信号确定目标声源发出的兴趣信号到达所述第一传声器和所述第二传声器的时间差信息；
基于所述时间差信息对所述第一声信号和/或所述第二声信号进行第一延时补偿操作，得到所述第一传声器和所述第二传声器对应的第一拾音信号，其中，所述第一延时补偿操作用于提高所述传声器阵列所采集信号的信噪比。
CN202110369235.8A 2021-04-06 2021-04-06 拾音方法及装置、计算机可读存储介质及耳机 Pending CN114257921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110369235.8A CN114257921A (zh) 2021-04-06 2021-04-06 拾音方法及装置、计算机可读存储介质及耳机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110369235.8A CN114257921A (zh) 2021-04-06 2021-04-06 拾音方法及装置、计算机可读存储介质及耳机

Publications (1)

Publication Number Publication Date
CN114257921A true CN114257921A (zh) 2022-03-29

Family

ID=80791031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110369235.8A Pending CN114257921A (zh) 2021-04-06 2021-04-06 拾音方法及装置、计算机可读存储介质及耳机

Country Status (1)

Country Link
CN (1) CN114257921A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031956A (zh) * 2004-07-22 2007-09-05 索福特迈克斯有限公司 用于嘈杂环境中语音信号分离的头戴式耳机
CN101466056A (zh) * 2008-12-31 2009-06-24 瑞声声学科技(常州)有限公司 麦克风消噪方法及装置
US20100246851A1 (en) * 2009-03-30 2010-09-30 Nuance Communications, Inc. Method for Determining a Noise Reference Signal for Noise Compensation and/or Noise Reduction
CN107172538A (zh) * 2012-11-12 2017-09-15 雅马哈株式会社 信号处理系统和信号处理方法
CN107316649A (zh) * 2017-05-15 2017-11-03 百度在线网络技术（北京）有限公司 基于人工智能的语音识别方法及装置
CN110012331A (zh) * 2019-04-11 2019-07-12 杭州微纳科技股份有限公司 一种红外触发的远场双麦远场语音识别方法
EP3554095A1 (en) * 2018-04-10 2019-10-16 Nanjing Horizon Robotics Technology Co., Ltd. Sound-processing apparatus and sound-processing method
CN110476208A (zh) * 2017-02-13 2019-11-19 伯斯有限公司 用于扰动信号补偿的音频系统和方法
CN111640428A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 一种语音识别方法、装置、设备和介质
CN112511943A (zh) * 2020-12-04 2021-03-16 北京声智科技有限公司 声音信号处理方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031956A (zh) * 2004-07-22 2007-09-05 索福特迈克斯有限公司 用于嘈杂环境中语音信号分离的头戴式耳机
CN101466056A (zh) * 2008-12-31 2009-06-24 瑞声声学科技(常州)有限公司 麦克风消噪方法及装置
US20100246851A1 (en) * 2009-03-30 2010-09-30 Nuance Communications, Inc. Method for Determining a Noise Reference Signal for Noise Compensation and/or Noise Reduction
CN107172538A (zh) * 2012-11-12 2017-09-15 雅马哈株式会社 信号处理系统和信号处理方法
CN110476208A (zh) * 2017-02-13 2019-11-19 伯斯有限公司 用于扰动信号补偿的音频系统和方法
CN107316649A (zh) * 2017-05-15 2017-11-03 百度在线网络技术（北京）有限公司 基于人工智能的语音识别方法及装置
EP3554095A1 (en) * 2018-04-10 2019-10-16 Nanjing Horizon Robotics Technology Co., Ltd. Sound-processing apparatus and sound-processing method
CN110012331A (zh) * 2019-04-11 2019-07-12 杭州微纳科技股份有限公司 一种红外触发的远场双麦远场语音识别方法
CN111640428A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 一种语音识别方法、装置、设备和介质
CN112511943A (zh) * 2020-12-04 2021-03-16 北京声智科技有限公司 声音信号处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
党建武: "《听觉信息处理研究前沿》", 31 December 2019, 上海交通大学出版社, pages: 101 - 103 *

Similar Documents

Publication Publication Date Title
KR102478951B1 (ko) 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치
WO2020103703A1 (zh) 一种音频数据处理方法、装置、设备及存储介质
US20140363008A1 (en) Use of vibration sensor in acoustic echo cancellation
EP3304548B1 (en) Electronic device and method of audio processing thereof
EP3096318B1 (en) Noise reduction in multi-microphone systems
JP2019191558A (ja) 音声を増幅する方法及び装置
JP2014518053A (ja) 指向性マイクアレイを用いた信号分離システム及びその提供方法
WO2022012206A1 (zh) 音频信号处理方法、装置、设备及存储介质
JP2010519602A (ja) 信号分離のためのシステム、方法、および装置
CN111261138A (zh) 降噪系统确定方法及装置、噪声处理方法及装置
CN101496384A (zh) 用于在与耳机组件耦合的便携式移动通信设备中消除噪声的系统和方法以及相应的计算机程序产品
CN111261179A (zh) 回声消除方法及装置和智能设备
CN111435598A (zh) 语音信号处理方法、装置、计算机可读介质及电子设备
CN112349292B (zh) 信号分离方法和装置、计算机可读存储介质、电子设备
CN112802490B (zh) 一种基于传声器阵列的波束形成方法和装置
US8477962B2 (en) Microphone signal compensation apparatus and method thereof
US11425517B2 (en) Conversation support system, method and program for the same
CN112997249B (zh) 语音处理方法、装置、存储介质及电子设备
CN114257921A (zh) 拾音方法及装置、计算机可读存储介质及耳机
CN111916100A (zh) 回声消除方法和装置、存储介质、电子设备
US11523215B2 (en) Method and system for using single adaptive filter for echo and point noise cancellation
CN116868265A (zh) 用于动态声学环境中的数据增强和语音处理的系统和方法
CN114302286A (zh) 一种通话语音降噪方法、装置、设备及存储介质
CN114255729A (zh) 主动降噪方法及其装置、电子设备与计算机可读存储介质
Yang et al. Guided Speech Enhancement Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination