CN107799123A - 控制回声消除器的方法和具有回声消除功能的装置 - Google Patents

控制回声消除器的方法和具有回声消除功能的装置 Download PDF

Info

Publication number
CN107799123A
CN107799123A CN201711336845.8A CN201711336845A CN107799123A CN 107799123 A CN107799123 A CN 107799123A CN 201711336845 A CN201711336845 A CN 201711336845A CN 107799123 A CN107799123 A CN 107799123A
Authority
CN
China
Prior art keywords
frequency range
signal
composition
reference signal
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711336845.8A
Other languages
English (en)
Other versions
CN107799123B (zh
Inventor
程光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Horizon Robotics Technology Co Ltd
Original Assignee
Nanjing Horizon Robotics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Horizon Robotics Technology Co Ltd filed Critical Nanjing Horizon Robotics Technology Co Ltd
Priority to CN201711336845.8A priority Critical patent/CN107799123B/zh
Publication of CN107799123A publication Critical patent/CN107799123A/zh
Application granted granted Critical
Publication of CN107799123B publication Critical patent/CN107799123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了一种控制回声消除器的方法和具有回声消除功能的装置。该方法包括：在扬声器播放音频信号之前对音频信号进行采样以获得参考信号；当检测到参考信号包括在指定频率范围内的成分时开启回声消除器；以及将参考信号和麦克风信号提供给回声消除器。通过该法能够高效地检测扬声器的状态并及时的开启回声消除器。

Description

控制回声消除器的方法和具有回声消除功能的装置
技术领域
本公开总体上涉及人机交互领域，并且具体地涉及控制用于消除声学回声的回声消除器的方法以及具有回声消除功能的装置。
背景技术
在人机交互的场景中，用于人机交互的装置可能在用户发出语音指令的同时通过扬声器播放声音，这将影响语音指令的识别。可以使用声学回声消除(AEC，在本文中简称为回声消除)技术来消除扬声器所播放的声音所带来的干扰。
例如，可以在用于人机交互的装置中设置回声消除器，并且可以通过回声消除器中的自适应滤波器来估计回声信号，然后从所接收的麦克风信号中减去估计值来消除回声。
发明内容
本公开的一方面公开了一种控制回声消除器的方法，该方法可以包括：在扬声器播放音频信号之前对该音频信号进行采样以获得参考信号，该音频信号包括在有效频率范围内的有效信号；当检测到该参考信号包括在指定频率范围内的成分时开启该回声消除器，该指定频率范围与该有效频率范围不重叠；以及将该参考信号和由麦克风采集到的麦克风信号提供给该回声消除器以消除该麦克风信号中的声学回声，该麦克风信号包括该麦克风经由声学回声路径采集到的由该扬声器播放出的音频信号。
本公开的另一方面公开了一种具有回声消除功能的装置，该装置可以包括被配置为执行上述方法的一个或多个处理器。
本公开的又一方面公开了一种具有回声消除功能的装置，该装置可以包括：采样器，被配置为在扬声器播放音频信号之前对该音频信号进行采样以获得参考信号，该音频信号包括在有效频率范围内的有效信号；检测器，被配置为检测该参考信号是否包括在指定频率范围内的成分，以及当检测到该参考信号包括在指定频率范围内的成分时向该回声消除器发送开启信号，该指定频率范围与该有效频率范围不重叠；以及回声消除器，被配置为接收该参考信号和来自麦克风的麦克风信号并消除该麦克风信号中的声学回声，该声学回声包括该麦克风经由声学回声路径采集到的由该扬声器播放出的音频信号。
本公开的再一方面公开了一种非临时性存储介质，在其中存储有程序指令，该程序指令在被执行时可以执行上述方法。
通过根据本公开的实施例的方法以及在根据本公开的实施例的装置中，能够高效地检测扬声器的状态并及时地开启回声消除器，并且能够使回声消除器中的滤波器快速地收敛。
附图说明
图1示出根据本公开的实施例的用于控制回声消除器的方法的流程图。
图2示出根据本公开的实施例的可以用于实现根据本公开的实施例的方法的装置。
具体实施方式
如上所述，可以通过回声消除器来消除麦克风信号中的回声，以消除扬声器所播放的声音所带来的干扰。
然而，装置的扬声器并不总是处于播放声音的状态。如果装置中的回声消除器在扬声器未播放声音时仍开启，则可能造成回声消除器中的滤波器发散，使回声消除器的性能劣化。而且，例如硬件的固有的本底噪声也可能使回声消除器的降噪能力变弱。另外，在扬声器未播放声音的情况下仍使回声消除器处于开启状态还将造成资源浪费，并且带来不必要的功耗。
可以使回声消除器仅在扬声器播放有效的声音的情况下开启。例如，可以通过上层应用来检测扬声器的状态。然而，在这样的情况下，由于硬件缓存等原因，检测本身存在不确定的延时，导致在关闭回声消除器之后，扬声器可能仍会发出声音。另外，扬声器往往是由很多线程或进程来控制。相应地，针对回声消除器的控制也很复杂而且容易出错。
也可以通过检测扬声器所播放的或要播放的声音信号本身的能量来判断扬声器的状态。然而，如果声音信号本身的能量较低，则无法判断扬声器的当前状态。另外，基于声音信号本身的能量来判断扬声器的状态的方式通常具有较大的延时，使得回声消除器的状态的切换总是滞后的。
另外，回声消除器中的滤波器还受到扬声器的功放的变化的影响。例如，当用户通过外部旋钮来调节扬声器的功放时，回声消除器中的滤波器需要重新收敛。通常的AEC技术中的滤波器的自动收敛可能较慢。
此外，扬声器每次开启的延时可能不同，这也将额外地增加收敛所需的时间。
因此，期望能够高效地检测扬声器的状态并及时地开启回声消除器，并且期望能够使回声消除器中的滤波器快速地收敛。
图1示出根据本公开的实施例的用于控制回声消除器的方法的流程图。
如图1所示，根据本公开的实施例的示例方法100可以包括：
步骤S101，在扬声器播放音频信号之前对音频信号进行采样以获得参考信号，其中，该音频信号包括在有效频率范围内的有效信号；
步骤S105，当检测到参考信号包括在指定频率范围内的成分时开启回声消除器，其中，指定频率范围与有效频率范围不重叠；以及
步骤S110，将参考信号和由麦克风采集到的麦克风信号提供给回声消除器以消除麦克风信号中的声学回声，其中，麦克风信号包括麦克风经由回声路径采集到的由扬声器播放出的音频信号。
在本文中，有时也将“由扬声器播放出的音频信号”称为回声(或声学回声)或回声信号，以便与要由扬声器播放但尚未播放出来的音频信号区分开。
如图1所示，根据本公开的实施例的示例方法100可以包括步骤S101以对音频信号进行采样并获得参考信号。
在一个实施例中，可以将有效频率范围选择为人耳可听的频率范围。相应地，在有效频率范围内的有效信号可以是人耳可听的声音信号。人耳能听到的声音的频率范围存在个体差异，通常可以在20Hz～20kHz之间，并且可能与人的年龄以及受到过的听觉训练有关。另外，有些频率的声音(例如，2Hz～30Hz、16kHz～22kHz)可能不会被人耳听到，但是可能会影响音色。在另外的实施例中，可以将有效频率范围选择为50Hz～22kHz的频率范围。这样的频率范围可以在包括大多数人通常能够听到的声音频率的同时不会影响大多数人通常的听音感受。在另外的实施例中，有效频率范围也可以是人耳可听的频率范围的一个子集。
在一个实施例中，例如针对通过网络通信得到的声音信号，可以先对期望要由扬声器播放的声音信号进行滤波以生成有效信号，然后在指定频率范围内选择一个窄带白噪声信号，并将所选择的窄带白噪声信号叠加到有效信号上，由此生成音频信号。在另外的实施例中，可以提前完成叠加处理，并且将所得到的声音信号存储在本地，以供扬声器播放。例如，可以在生成期望要由扬声器播放的声音信号的过程中，通过适当的方式(例如信号叠加)来确保声音信号在指定频率范围内包括一个相当于窄带白噪声信号的信号成分。
在一个实施例中，对期望要由扬声器播放的声音信号进行的滤波可以是带通滤波，例如可以过滤掉声音信号中的有效频率范围之外的所有成分。在另外的实施例中，可以通过高通滤波而只过滤掉声音信号中低于有效频率范围的频率下限的所有成分。在另外的实施例中，还可以通过低通滤波而只过滤掉声音信号中高于有效频率范围的频率上限的所有成分。
在一个实施例中，指定频率范围可以包括人耳可听的频率范围之外的频率，即，使窄带白噪声信号的频率处于人耳可听的频率范围之外，使得所生成的音频信号或者包括相当于该窄带白噪声信号的信号成分的声音信号不影响人的听音感受。指定频率范围与有效频率范围不重叠。
在一个实施例中，在对音频信号进行采样的采样频率低于44kHz的情况下，可以将指定频率范围选择为大于0且小于50Hz的频率范围，或者大于0且小于20Hz的频率范围。相应地，可以将与窄带白噪声信号相对应的窄带的频率范围选择为指定频率范围内的任何一个更小的频率范围。例如，在指定频率范围为大于0且小于50Hz的频率范围的情况下，可以将与窄带白噪声信号相对应的窄带的频率范围选择为诸如20Hz～40Hz、25Hz～45Hz、10Hz～45Hz等指定频率范围内的任何一个更小的频率范围。另外，可以避免使所选择的窄带白噪声信号的频率与通常的市电的基频(例如，50Hz)相同或重叠。
在另一个实施例中，在对音频信号进行采样的采样频率高于44kHz的情况下，例如，在对音频信号进行采样的采样频率大于或等于48kHz的情况下，可以将指定频率范围选择为大于22kHz的频率范围。相应地，与窄带白噪声信号相对应的窄带的频率范围可以是诸如23kHz～23.5kHz、25kHz～26kHz等指定频率范围内的任何一个更小的频率范围。
可以使所选择的窄带白噪声信号的强度大于指定频率范围内的本底噪声的强度。在一个实施例中，可以使所选择的窄带白噪声信号的强度大于指定频率范围内的本底噪声的强度的至少2倍。例如，可以使所选择的窄带白噪声信号的强度为指定频率范围内的本底噪声的2.2倍、2.5倍、3倍、3.5倍、4倍等。另外，也可以使所选择的窄带白噪声信号的强度大于对应的窄带的频率范围内的本底噪声的强度的至少2倍。例如，如果本底噪声在-80dBFS(dB Full Scale)左右，则可以将窄带白噪声信号的幅值选择为在-70dBFS以上。在一个实施例中，在能够确保叠加窄带白噪声信号之后所得到的音频信号的能量不溢出的情况下，可以尽可能高得选择窄带白噪声信号的强度，以确保音频信号即使在经过处理芯片的滤波(例如，高通滤波或带通滤波)之后仍能够与相应频率范围内的本底噪声有较大的区分度。
在一个实施例中，窄带白噪声信号可以是窄带高斯白噪声信号。在另外的实施例中，窄带白噪声信号也可以是单频信号。
在通过对音频信号进行采样并获得参考信号之后，示例方法100可以继续到步骤S105以基于对参考信号中的成分的检测来开启回声消除器。
在一个实施例中，可以对参考信号进行滤波，以获得在有效频率范围内的成分。例如，可以采用与前文所述的对期望要由扬声器播放的声音信号进行的滤波的方式相同的方式对参考信号进行滤波。然后，根据所获得的在有效频率范围内的成分的能量与参考信号的能量的比值，来确定参考信号是否包括在指定频率范围内的成分。
在另一个实施例中，可以对参考信号进行滤波以获得在指定频率范围内的成分。例如，在指定频率范围为22kHz以上的频率范围时，可以对参考信号进行允许22kHz以上的频率通过的高通滤波。例如，在指定频率范围为50Hz以下的频率范围时，可以对参考信号进行允许50Hz以下的频率通过的低通滤波。然后，可以根据在指定频率范围内的成分的能量是否大于阈值来确定参考信号是否包括在指定频率范围内的成分。可以将阈值设置为高于指定频率范围内或者上述窄带白噪声信号所在频带范围内的本底噪声的能量。例如，可以将阈值设置为相应频带范围内的本底噪声的能量的2倍。
在另外的实施例中，也可以通过离散傅立叶变换对参考信号在指定频率范围内的成分进行分析。然后，可以根据分析结果来确定参考信号是否包括在指定频率范围内的成分。
当检测到参考信号包括在指定频率范围内的成分时，可以开启回声消除器；否则，可以关闭回声消除器。
通过分析参考信号中是否包含指定频率范围(例如，小于50Hz或者高于22kHz)内的成分，总是能够快速且有效地判断扬声器的状态，其中，所选择的窄带白噪声信号的频率范围越高，判断的速度就越快。另外，可以消除例如硬件缓存的不确定延时所带来的影响，并且可以不需要应用层传递相关的状态信息，从而能够避免在多个程序(例如，进程或线程)调用扬声器的情况下获取错误的状态信息。由此，能够及时且准确地开启或关闭回声消除器，并且可以及时地关闭或开启不需要和回声消除器并行处理的其他处理，这在运算性能有限的硬件平台上非常重要，可以获得更好的降噪处理效果。
另外，通常回声消除器的回声消除能力越强，其所需的资源也就越多，或者运行时的功耗也就是越大。只在需要的时候才开启回声消除器，能够极大地降低功耗，并增加例如电池等的续航能力。
在一个实施例中，可以使扬声器没有音频信号播放时播放空信号，并且可以在检测到扬声器播放空信号时关闭回声消除器。例如，空信号可以是幅值为0的信号，也可以是能量小于或等于指定频率范围内或者上文所述的窄带白噪声信号的频率范围内的本底噪声的强度的信号。由于空信号的能量很低，因此播放空信号只需要很少的功耗。通过使扬声器没有音频信号播放时播放空信号，可以使扬声器保持常开状态。由此，可以在硬件上获得稳定的延时，并消除扬声器的每次开启所带来的不同延时对于回声消除器中的滤波器的收敛时间的不利影响。
在开启回声消除器之后，根据本公开的示例方法100可以继续到步骤S110，将参考信号和麦克风信号提供给回声消除器以消除麦克风信号中的声学回声。
在回声消除器开启的情况下，如果用户通过外部旋钮或者以其他方式改变扬声器的功放，则可能导致获取参考信号的位置和麦克风之间回路的传递函数发生变化，该变化可以主要由幅值引起。
为此，根据本公开的示例方法100还可以包括：在回声消除器开启的情况下，确定麦克风信号在指定频率范围内的成分的能量E1与参考信号在指定频率范围内的成分的能量E2之间的比值E1/E2。在一个实施例中，还可以计算比值E1/E2在一段时间内的一个或多个历史值的平均值smooth_TE，并且可以在比值的当前值TE改变并且TE>k*smooth_TE(k≥1.5)时，将回声消除器中的滤波器的系数乘以从而能够实现回声消除器中的滤波器的快速收敛。另外，根据本公开的实施例的使回声消除器中的滤波器的快速收敛的方法可以单独使用，而不必包括在根据本公开的示例方法100中。
在另外的实施例中，在获取参考信号之后，可以先检测在有效频率范围内是否包含高能量信号。如果是，则开启回声消除器；否则，可以采用根据本公开的实施例的上述方法继续检测参考信号是否包括在指定频率范围内的成分，并且当检测到参考信号包括在指定频率范围内的成分时开启回声消除器。
在一个实施例中，可以用于实现本公开的实施例的上述方法的装置可以包括一个或多个处理器。处理器可以是具有数据处理能力和/或指令执行能力的任何形式的处理单元，并且可以被配置为执行根据本公开的实施例的上述方法。另外，装置还可以包括存储器。存储器可以包括各种形式的计算机可读写存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪速存储器等。可读写存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储器可以包括在被执行时可执行根据本公开的实施例的上述方法的程序指令。另外，装置还可以I/O接口，例如扬声器和麦克风。
图2示出根据本公开的另一个实施例的可以用于实现上述方法的示例装置200。
如图2所示，示例装置200可以包括采样器201、检测器202和回声消除器203。
采样器201可以接收音频信号并且在在扬声器播放音频信号之前对所接收到音频信号进行采样。如前文所述，在将指定频率范围选择为大于22kHz的频率范围的情况下，可以选择支持高于44kHz(例如，大于或等于48kHz)的采样频率的任何采样器作为采样器201。如果采样器201的采样频率低于44kHz，则可以将指定频率范围选择为小于50kHz的频率范围。另外，采样器201可以将采样所得到的参考信号传送给检测器202和回声消除器203两者。
检测器202可以采用前文所描述的方式，来检测来自采样器201的参考信号是否包括在指定频率范围内的成分。在检测到参考信号包括在指定频率范围内的成分时，检测器202可以向回声消除器203发送开启指令(或开启信号)，否则可以向回声消除器203发送关闭指令(或关闭信号)。
回声消除器203可以包含一个或多个自适应滤波器。另外，回声消除器203还可以包括减法器。回声消除器203可以响应于接收到来自检测器202的开启指令或关闭指令而开启或关闭，并且可以在开启的状态下接收来自采样器201的参考信号以及来自麦克风的麦克风信号。例如，回声消除器203中的自适应滤波器可以基于参考信号生成滤波信号，并且回声消除器203中的减法器可以从麦克风信号中减去滤波信号来获得残差信号。如图2所示，麦克风信号可以包括由麦克风208经由回声路径所采集到的经由扬声器207发出的回声，并且还可以包括用户经由麦克风208输入的语音和/或背景噪声。
如图2所示，装置200还可以包括开关206。开关206可以在空信号接入端和音频信号接入端之间切换，以将空信号或音频信号提供给采样器201。例如，在没有音频信号要提供给扬声器207进行播放的情况下，可以将开关206切换成与空信号接入端相连，从而可以将空信号提供给采样器201。在有音频信号要提供给扬声器207进行播放的情况下，可以将开关206切换成与音频信号接入端相连，从而可以将音频信号提供给采样器201。采样器201可以对所接收到的空信号或音频信号进行采样，并将所获得的参考信号提供给检测器202。检测器202可以在检测到参考信号对应于空信号的情况下向回声消除器203发送关闭指令(或关闭信号)。例如，检测器202可以在检测到所接收的参考信号的能量小于或等于指定频率范围内的本底噪声的能量的2倍的情况下，确定所接收的参考信号实际上对应于空信号而不是音频信号。另外，如图2所示，空信号或音频信号也可以经由开关206提供给扬声器207。
如前文所述，音频信号可以是事先生成并存储在本地的。另外，如图2所示，装置200也可以包括滤波器204和叠加器205，以便基于声音信号和窄带白噪声信号来生成音频信号。取决于所选择的有效频率范围和指定频率范围或者窄带白噪声信号所对应的频率范围，滤波器204可以带通滤波器、高通滤波器或低通滤波器。滤波器204可以对输入的声音信号进行滤波并输出有效信号。叠加器205接收来自滤波器204的有效信号和所选择的窄带白噪声信号，并将两个信号叠加到一起，以生成并输出音频信号。叠加器205的输出端可以连接到开关206的音频信号接入端。
类似地，空信号也可以是是事先生成并存储在本地的。另外，装置200也可以包括用于产生空信号的空信号发生器(未示出)，并将该空信号发生器的输出端连接到开关206的空信号接入端。
另外，如图2所示，检测器202还可以接收来自麦克风208的麦克风信号。在一个实施例中，检测器202可以响应于扬声器207的功放的变化，在回声消除器203开启的情况下，计算麦克风信号在指定频率范围内的成分的能量E1与参考信号在指定频率范围内的成分的能量E2之间的比值E1/E2，并且基于所计算出的比值向回声消除器203发出指示调节回声消除器203中的滤波器的系数的调节指令(或参数)。在一个实施例中，检测器202还可以计算并记录比值E1/E2在一段时间内的一个或多个历史值的平均值smooth_TE，并且可以在比值的当前值TE改变并且TE>k*smooth_TE(k≥1.5)时，将参数或者包含该参数信息的调节指令提供给回声消除器203。回声消除器203或者回声消除器203中的自适应滤波器可以在接收到参数或包含该参数信息的调节指令的情况下将原系数乘以从而实现快速收敛。
虽然已经描述了本公开的一些实施例，但是这些实施例仅作为示例而呈现，而不打算限制本公开的范围。实际上，在本文中所描述的方法和装置可以采用多种其他形式来实施。另外，可以在不脱离本公开的范围的情况下，在本文中所描述的方法和装置的形式上做出各种省略、替换和改变。

Claims (28)

1.一种控制回声消除器的方法，包括：
在扬声器播放音频信号之前对所述音频信号进行采样以获得参考信号，所述音频信号包括在有效频率范围内的有效信号；
当检测到所述参考信号包括在指定频率范围内的成分时开启所述回声消除器，所述指定频率范围与所述有效频率范围不重叠；以及
将所述参考信号和由麦克风采集到的麦克风信号提供给所述回声消除器以消除所述麦克风信号中的声学回声，所述麦克风信号包括所述麦克风经由声学回声路径采集到的由所述扬声器播放出的音频信号。
2.根据权利要求1所述的方法，还包括：
对所述参考信号进行滤波以获得在所述有效频率范围内的成分；以及
根据在所述有效频率范围内的成分的能量与所述参考信号的能量的比值来确定所述参考信号是否包括在所述指定频率范围内的成分。
3.根据权利要求1所述的方法，还包括：
对所述参考信号进行滤波以获得在所述指定频率范围内的成分；以及
根据在所述指定频率范围内的成分的能量是否大于阈值来确定所述参考信号是否包括在所述指定频率范围内的成分。
4.根据权利要求3所述的方法，其中，所述阈值高于所述指定频率范围内的本底噪声的能量。
5.根据权利要求4所述的方法，其中，所述阈值是所述本底噪声的能量的2倍。
6.根据权利要求1所述的方法，还包括：
通过离散傅立叶变换对所述参考信号在所述指定频率范围内的成分进行分析；以及
根据分析结果来确定所述参考信号是否包括在所述指定频率范围内的成分。
7.根据权利要求1所述的方法，还包括：
对期望要由所述扬声器播放的声音信号进行滤波以生成所述有效信号；
在所述指定频率范围内选择一个窄带白噪声信号；以及
将所述窄带白噪声信号叠加到所述有效信号上以生成所述音频信号。
8.根据权利要求7所述的方法，其中，所述窄带白噪声信号的强度大于所述指定频率范围内的本底噪声的强度。
9.根据权利要求8所述的方法，其中，所述窄带白噪声信号的强度大于所述本底噪声的强度的至少2倍。
10.根据权利要求1所述的方法，还包括：
当检测到所述扬声器播放空信号时关闭所述回声消除器。
11.根据权利要求10所述的方法，其中，所述空信号的幅值为0。
12.根据权利要求10所述的方法，其中，所述空信号的能量小于或等于所述指定频率范围内的本底噪声的强度。
13.根据权利要求1所述的方法，还包括：
在所述回声消除器开启的情况下，确定所述麦克风信号在所述指定频率范围内的成分的能量与所述参考信号在所述指定频率范围内的成分的能量之间的比值。
14.根据权利要求13所述的方法，还包括：
当所述比值的当前值TE改变并且TE>k*smooth_TE时，将所述回声消除器中的滤波器的系数乘以smooth_TE为所述比值的一个或多个历史值的平均值，k≥1.5。
15.根据权利要求1至14中的任一项所述的方法，其中，所述有效频率范围在50Hz与22kHz之间。
16.根据权利要求1至14中的任一项所述的方法，其中，所述指定频率范围为大于22kHz的频率范围。
17.根据权利要求16所述的方法，其中，对所述音频信号进行采样的频率大于或等于48kHz。
18.根据权利要求1至14中的任一项所述的方法，其中，所述指定频率范围为大于0Hz并且小于50Hz的频率范围。
19.根据权利要求18所述的方法，其中，对所述音频信号进行采样的频率小于44kHz。
20.一种具有回声消除功能的装置，包括：
处理器，被配置为执行根据权利要求1至19中的任一项所述的方法。
21.一种具有回声消除功能的装置，包括：
采样器，被配置为在扬声器播放音频信号之前对所述音频信号进行采样以获得参考信号，所述音频信号包括在有效频率范围内的有效信号；
检测器，被配置为检测所述参考信号是否包括在指定频率范围内的成分，以及当检测到所述参考信号包括在指定频率范围内的成分时向所述回声消除器发送开启信号，所述指定频率范围与所述有效频率范围不重叠；以及
回声消除器，被配置为接收所述参考信号和来自麦克风的麦克风信号并消除所述麦克风信号中的声学回声，所述声学回声包括所述麦克风经由声学回声路径采集到的由所述扬声器播放出的音频信号。
22.根据权利要求21所述的装置，还包括：
滤波器，被配置为对期望要由所述扬声器播放的声音信号进行滤波以生成所述有效信号；以及
叠加器，被配置为将从所述指定频率范围内选择出的一个窄带白噪声信号叠加到所述有效信号上以生成所述音频信号。
23.根据权利要求22所述的装置，其中，所述滤波器被配置为对频率在50Hz与22kHz之间的信号的成分进行带通滤波。
24.根据权利要求21所述的装置，还包括：
开关，被配置为在所述扬声器无音频信号要播放时切换成将空信号提供给所述采样器，
所述检测器在检测到参考信号对应于空信号的情况下向所述回声消除器发送关闭信号。
25.根据权利要求21所述的装置，其中，所述检测器还被配置为
在所述回声消除器开启的情况下，计算所述麦克风信号在所述指定频率范围内的成分的能量与所述参考信号在所述指定频率范围内的成分的能量之间的比值；以及
基于所计算出的比值向所述回声消除器发出指示调节所述回声消除器中的滤波器的系数的调节指令。
26.根据权利要求21至25中的任一项所述的装置，其中，所述指定频率范围为大于22kHz的频率范围。
27.根据权利要求21至25中的任一项所述的装置，其中，所述指定频率范围为大于0Hz并且小于50Hz的频率范围。
28.一种非临时性存储介质，在其中存储有程序指令，所述程序指令在被执行时执行根据权利要求1至19中的任一项所述的方法。
CN201711336845.8A 2017-12-14 2017-12-14 控制回声消除器的方法和具有回声消除功能的装置 Active CN107799123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711336845.8A CN107799123B (zh) 2017-12-14 2017-12-14 控制回声消除器的方法和具有回声消除功能的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711336845.8A CN107799123B (zh) 2017-12-14 2017-12-14 控制回声消除器的方法和具有回声消除功能的装置

Publications (2)

Publication Number Publication Date
CN107799123A true CN107799123A (zh) 2018-03-13
CN107799123B CN107799123B (zh) 2021-07-23

Family

ID=61537574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711336845.8A Active CN107799123B (zh) 2017-12-14 2017-12-14 控制回声消除器的方法和具有回声消除功能的装置

Country Status (1)

Country Link
CN (1) CN107799123B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640223A (zh) * 2019-02-22 2019-04-16 昆腾微电子股份有限公司 一种啸叫抑制方法、装置、音响及扩音系统
CN109788399A (zh) * 2019-01-30 2019-05-21 珠海迈科智能科技股份有限公司 一种音箱的回声消除方法及系统
CN110782887A (zh) * 2019-03-11 2020-02-11 北京嘀嘀无限科技发展有限公司 语音信号处理方法、系统、装置、设备和计算机存储介质
CN110956969A (zh) * 2019-11-28 2020-04-03 北京达佳互联信息技术有限公司 直播音频处理方法、装置、电子设备和存储介质
CN112037810A (zh) * 2020-09-25 2020-12-04 杭州朗和科技有限公司 一种回音处理方法、装置、介质和计算设备

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1214818A (zh) * 1996-01-31 1999-04-21 艾利森电话股份有限公司 用于网络回声消除器的禁止音频信号检测器
CN1286862A (zh) * 1998-01-09 2001-03-07 艾利森公司 用于在通信系统中提供舒适噪声的方法和设备
CN1294814A (zh) * 1998-01-09 2001-05-09 艾利森公司 在通信系统中控制回声抑制的方法和设备
WO2001069371A2 (de) * 2000-03-16 2001-09-20 Siemens Aktiengesellschaft Rechnergerät mit mehrwege-akustikaus- und-eingabesystem
CN1381832A (zh) * 2001-04-18 2002-11-27 华邦电子股份有限公司 消除回声的方法
US6850577B2 (en) * 1999-09-20 2005-02-01 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
CN1780167A (zh) * 2004-11-24 2006-05-31 北京三星通信技术研究有限公司 快速收敛的回波消除装置
CN1797545A (zh) * 2004-12-30 2006-07-05 阿尔卡特公司 采用自适应iir和fir滤波器的回声消除
EP1754364A1 (en) * 2004-05-25 2007-02-21 Koninklijke Philips Electronics N.V. Conference system
CN101102126A (zh) * 2006-07-03 2008-01-09 大唐移动通信设备有限公司 一种回声消除方法及系统
CN102347785A (zh) * 2010-07-23 2012-02-08 联芯科技有限公司 一种回声消除方法及装置
CN102568494A (zh) * 2012-02-23 2012-07-11 贵阳朗玛信息技术股份有限公司 消除回声的优化方法、装置及系统
CN102833434A (zh) * 2012-08-15 2012-12-19 深圳市共进电子股份有限公司 一种网络侧双音多频信号的检测方法、相关装置及系统
CN103067629A (zh) * 2013-01-18 2013-04-24 苏州科达科技股份有限公司 回声消除装置
CN103152546A (zh) * 2013-02-22 2013-06-12 华鸿汇德（北京）信息技术有限公司 基于模式识别和延迟前馈控制的视频会议回声抑制方法
CN103281472A (zh) * 2013-05-27 2013-09-04 大连理工大学 一种传真ANSam信号的检测装置及其检测方法
CN103959752A (zh) * 2011-11-24 2014-07-30 阿尔卡特朗讯 用于会议系统中回声消除的方法与装置
CN104050971A (zh) * 2013-03-15 2014-09-17 杜比实验室特许公司 声学回声减轻装置和方法、音频处理装置和语音通信终端
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
CN104506747A (zh) * 2015-01-21 2015-04-08 捷思锐科技（北京）有限公司 一种回声消除的方法及装置
US20160006880A1 (en) * 2014-07-02 2016-01-07 Youhong Lu Variable step size echo cancellation with accounting for instantaneous interference
CN105491256A (zh) * 2015-12-09 2016-04-13 天津大学 一种声学回声消除器启动阶段稳健的步长调整方法
CN106576205A (zh) * 2014-08-13 2017-04-19 三菱电机株式会社 回声消除装置
CN106604209A (zh) * 2016-12-14 2017-04-26 广东欧珀移动通信有限公司 一种基于蓝牙协议的功能设置方法及装置
CN106601266A (zh) * 2017-02-24 2017-04-26 喜大（上海）网络科技有限公司 回声消除方法、装置及系统
CN106782593A (zh) * 2017-02-27 2017-05-31 重庆邮电大学 一种用于声学回声消除的多带结构自适应滤波器切换方法
CN107333018A (zh) * 2017-05-24 2017-11-07 华南理工大学 一种回声时延估计及追踪方法

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1214818A (zh) * 1996-01-31 1999-04-21 艾利森电话股份有限公司 用于网络回声消除器的禁止音频信号检测器
CN1286862A (zh) * 1998-01-09 2001-03-07 艾利森公司 用于在通信系统中提供舒适噪声的方法和设备
CN1294814A (zh) * 1998-01-09 2001-05-09 艾利森公司 在通信系统中控制回声抑制的方法和设备
US6850577B2 (en) * 1999-09-20 2005-02-01 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
WO2001069371A2 (de) * 2000-03-16 2001-09-20 Siemens Aktiengesellschaft Rechnergerät mit mehrwege-akustikaus- und-eingabesystem
CN1381832A (zh) * 2001-04-18 2002-11-27 华邦电子股份有限公司 消除回声的方法
EP1754364A1 (en) * 2004-05-25 2007-02-21 Koninklijke Philips Electronics N.V. Conference system
CN1780167A (zh) * 2004-11-24 2006-05-31 北京三星通信技术研究有限公司 快速收敛的回波消除装置
CN1797545A (zh) * 2004-12-30 2006-07-05 阿尔卡特公司 采用自适应iir和fir滤波器的回声消除
CN101102126A (zh) * 2006-07-03 2008-01-09 大唐移动通信设备有限公司 一种回声消除方法及系统
CN102347785A (zh) * 2010-07-23 2012-02-08 联芯科技有限公司 一种回声消除方法及装置
CN103959752A (zh) * 2011-11-24 2014-07-30 阿尔卡特朗讯 用于会议系统中回声消除的方法与装置
CN102568494A (zh) * 2012-02-23 2012-07-11 贵阳朗玛信息技术股份有限公司 消除回声的优化方法、装置及系统
CN102833434A (zh) * 2012-08-15 2012-12-19 深圳市共进电子股份有限公司 一种网络侧双音多频信号的检测方法、相关装置及系统
CN103067629A (zh) * 2013-01-18 2013-04-24 苏州科达科技股份有限公司 回声消除装置
CN103152546A (zh) * 2013-02-22 2013-06-12 华鸿汇德（北京）信息技术有限公司 基于模式识别和延迟前馈控制的视频会议回声抑制方法
CN104050971A (zh) * 2013-03-15 2014-09-17 杜比实验室特许公司 声学回声减轻装置和方法、音频处理装置和语音通信终端
CN103281472A (zh) * 2013-05-27 2013-09-04 大连理工大学 一种传真ANSam信号的检测装置及其检测方法
US20160006880A1 (en) * 2014-07-02 2016-01-07 Youhong Lu Variable step size echo cancellation with accounting for instantaneous interference
CN106576205A (zh) * 2014-08-13 2017-04-19 三菱电机株式会社 回声消除装置
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
CN104506747A (zh) * 2015-01-21 2015-04-08 捷思锐科技（北京）有限公司 一种回声消除的方法及装置
CN105491256A (zh) * 2015-12-09 2016-04-13 天津大学 一种声学回声消除器启动阶段稳健的步长调整方法
CN106604209A (zh) * 2016-12-14 2017-04-26 广东欧珀移动通信有限公司 一种基于蓝牙协议的功能设置方法及装置
CN106601266A (zh) * 2017-02-24 2017-04-26 喜大（上海）网络科技有限公司 回声消除方法、装置及系统
CN106782593A (zh) * 2017-02-27 2017-05-31 重庆邮电大学 一种用于声学回声消除的多带结构自适应滤波器切换方法
CN107333018A (zh) * 2017-05-24 2017-11-07 华南理工大学 一种回声时延估计及追踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾光: "android系统通话中回声消除的实现", 《通信技术》 *
林志敏: "数字助听器中回声消除与响度补偿关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788399A (zh) * 2019-01-30 2019-05-21 珠海迈科智能科技股份有限公司 一种音箱的回声消除方法及系统
CN109640223A (zh) * 2019-02-22 2019-04-16 昆腾微电子股份有限公司 一种啸叫抑制方法、装置、音响及扩音系统
CN110782887A (zh) * 2019-03-11 2020-02-11 北京嘀嘀无限科技发展有限公司 语音信号处理方法、系统、装置、设备和计算机存储介质
CN110956969A (zh) * 2019-11-28 2020-04-03 北京达佳互联信息技术有限公司 直播音频处理方法、装置、电子设备和存储介质
CN110956969B (zh) * 2019-11-28 2022-06-10 北京达佳互联信息技术有限公司 直播音频处理方法、装置、电子设备和存储介质
CN112037810A (zh) * 2020-09-25 2020-12-04 杭州朗和科技有限公司 一种回音处理方法、装置、介质和计算设备
CN112037810B (zh) * 2020-09-25 2023-10-03 杭州网易智企科技有限公司 一种回音处理方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN107799123B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN107799123A (zh) 控制回声消除器的方法和具有回声消除功能的装置
US11051117B2 (en) Detection of loudspeaker playback
JP7271674B2 (ja) ネットワークマイクロフォンデバイスのノイズ分類による最適化
US10777050B2 (en) Systems and methods for using multiple actuators for enhanced user experience
JP2006157920A (ja) 残響評価および抑制システム
CN106911996A (zh) 麦克风状态的检测方法、装置及终端设备
TWI797341B (zh) 用於產生觸覺輸出以增強使用者體驗的系統及方法
US8208667B2 (en) Individually adjustable hearing aid and method for its operation
US20210144499A1 (en) Inter-channel level difference based acoustic tap detection
Piechowiak et al. Modeling comodulation masking release using an equalization-cancellation mechanism
CN108429955A (zh) 释放环境声音进入耳机的智能装置及方法
CN103796136A (zh) 保证不同音效模式输出响度及音质的设备和方法
JP6873549B2 (ja) オーディオ装置およびコンピュータで読み取り可能なプログラム
US8175307B2 (en) Method for attenuating interfering noise and corresponding hearing device
GB2526980A (en) Sensor input recognition
US20230290335A1 (en) Detection of live speech
CN113259826B (zh) 在电子终端中实现助听的方法和装置
Husstedt et al. A method to analyse and test the automatic selection of hearing aid programs
US20210012787A1 (en) Detection and restoration of distorted signals of blocked microphones
GB2553040A (en) Sensor input recognition
US10720171B1 (en) Audio processing
US20230343359A1 (en) Live speech detection
Mauler et al. Improved reproduction of stops in noise reduction systems with adaptive windows and nonstationarity detection
CN107995559A (zh) 一种音频控制的终端及方法
US20220246129A1 (en) Wearable electronic apparatus and method for controlling thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant