CN109286730A - 一种回声检测的方法、装置及系统 - Google Patents

一种回声检测的方法、装置及系统 Download PDF

Info

Publication number
CN109286730A
CN109286730A CN201710597308.2A CN201710597308A CN109286730A CN 109286730 A CN109286730 A CN 109286730A CN 201710597308 A CN201710597308 A CN 201710597308A CN 109286730 A CN109286730 A CN 109286730A
Authority
CN
China
Prior art keywords
signal
echo
audio signal
linear
nonlinear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710597308.2A
Other languages
English (en)
Inventor
唐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710597308.2A priority Critical patent/CN109286730A/zh
Publication of CN109286730A publication Critical patent/CN109286730A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

本申请实施例提供了一种回声检测的方法、装置及系统，其中所述方法包括接收远端音频信号；对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。本申请实施例可以实现对回声信号中的非线性回声成分以及线性回声成分的辨识，提高了回声信号的预测准确率，从而有效消除回声信号中的非线性回声成分以及线性回声成分，提高通话质量。

Description

一种回声检测的方法、装置及系统
技术领域
本申请涉及语音处理技术领域，特别是涉及一种回声检测的方法以及一种回声检测的装置。
背景技术
通话过程中，在近端设备播放远端设备发送的语音信号时，近端设备中的麦克风会采集该语音信号，并将该语音信号发送给远端设备，导致远端设备的用户会听到自己发出的语音信号的回声，影响通话质量，因此，需要对通话过程中的回声进行消除。
整个回声链路上，可以规整为线性回声与非线性回声，其中，线性回声为空气中声音的衰减以及麦克风采集；非线性回声为声音经过功放产生谐波失真、以及经过喇叭产生破音。
在现有技术中，可以采用fir线性滤波器进行线性回声消除，但该滤波器并不能消除非线性回声成分，导致该线性滤波器输出的残余信号包括非线性回声成分，使得回声无法有效消除。
发明内容
本申请实施例所要解决的技术问题是提供一种回声检测的方法，能够有效检测到通话过程中的非线性回声，从而有效消除非线性回声，提高回声消除的准确度，从而提高通话双方的通话质量。
相应的，本申请实施例还提供了一种回声检测的装置，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种回声检测的方法，所述方法包括：
接收远端音频信号；
对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
优选地，所述方法还包括：
获取麦克风采集的近端音频信号；
计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
基于所述残差信号，确定语音输出信号。
优选地，所述对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号的步骤包括：
将所述远端音频信号转换成非线性音频信号；
采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
优选地，所述将所述远端音频信号转换成非线性音频信号的步骤包括：
将所述远端音频信号进行多项式运算，得到非线性音频信号。
优选地，在所述对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号的步骤之前，还包括：
确定时延信息；
采用所述时延信息对所述远端音频信号进行去时延处理。
本申请实施例还公开了一种回声检测的装置，所述装置包括：
远端信号接收模块，用于接收远端音频信号；
非线性回声预测模块，用于对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
线性回声预测模块，用于对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
优选地，所述装置还包括：
近端信号获取模块，用于获取麦克风采集的近端音频信号；
残差信号计算模块，用于计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
语音输出信号确定模块，用于基于所述残差信号，确定语音输出信号。
优选地，所述非线性回声预测模块包括：
非线性信号转换子模块，用于将所述远端音频信号转换成非线性音频信号；
非线性信号处理子模块，用于采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
优选地，所述非线性信号转换子模块还用于：
将所述远端音频信号进行多项式运算，得到非线性音频信号。
优选地，所述装置还包括：
时延信息确定模块，用于确定时延信息；
去时延模块，用于采用所述时延信息对所述远端音频信号进行去时延处理。
本申请实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行上述的方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行上述的方法。
与背景技术相比，本申请实施例包括以下优点：
在本申请实施例中，当近端设备接收到远端音频信号以后，可以首先对该远端音频信号进行非线性滤波处理，得到第一回声预测信号，该第一回声预测信号中包含已经估计的非线性回声预测信号以及未估计的线性回声成分，随后，对该第一回声预测信号进行线性滤波处理，得到第二回声预测信号，该第二回声预测信号包括已经估计的非线性回声预测信号以及以及已经估计的线性回声预测信号，从而实现对回声信号中的非线性回声成分以及线性回声成分的辨识，提高了回声信号的预测准确率，从而有效消除回声信号中的非线性回声成分以及线性回声成分，提高通话质量。
附图说明
图1是本申请的通话过程中的音频信号传输示意图；
图2是本申请的回声消除示意图；
图3是本申请的一种回声检测的方法实施例一的步骤流程图；
图4是本申请的一种回声检测的方法实施例二的步骤流程图；
图5是本申请的一种回声检测的装置实施例的结构框图；
图6是本申请的一种系统实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
参考图1示出了通话过程中的音频信号传输示意图，近端设备播放远端设备发送的远端音频信号S(n)时，S(n)首先经过功放产生谐波失真以及经过喇叭产生破音，从而产生非线性回声，然后经过空气中声音的衰减以及麦克风采集，产生线性回声，基于此，麦克风最终采集的近端音频信号d(n)可以包括远端音频信号S(n)播放出来后被麦克风采集的语音成分y(n)、环境噪声的成分n(n)、麦克风采集的近端拿话筒讲话的用户的声音成分x(n)，最后，麦克风将d(n)传输至远端设备中，导致远端设备的用户能够听到自己的回声。
针对现有技术中无法有效消除回声的问题，参考图2所示的回声消除示意图，在本申请实施例中，在现有技术的自适应线性滤波器模型(简称线性滤波器)的基础上，为了解决功放与喇叭产生的声学非线性(谐波失真与破音)，本申请模拟非线性回声通道，进行非线性数学建模，得到自适应非线性滤波器模型(简称非线性滤波器)，非线性滤波器是对非线性回声通道进行系统辨识，同时输出回声通过非线性回声通道之后的估计信号。
具体的，近端设备对远端音频信号S(n)进行播放，播放之前，远端音频信号S(n)数据通过去延时模块，消除S(n)与d(n)的实际延时，以方便于进行自适应滤波。
去掉延时的S(n)，输入到非线性滤波器，得到输出y’(n)，为功放与喇叭的输出估计，即包含非线性回声预测信号的第一回声预测信号。
y’(n)作为线性滤波器的输入，线性滤波器输出y”(n)，为回声经过空气衰减、麦克风采集的语音数字信号的估计，即包含非线性回声预测信号以及线性回声预测信号的第二回声预测信号。
将带有回声的麦克风采集的信号d(n)减去线性滤波器的输出y”(n)，得到残差信号e(n)。
e(n)又反馈到非线性滤波器以及线性滤波器，以进行非线性滤波系数更新以及线性滤波系数更新，从而实现滤波器的自适应更新，得到准确的回声预测信号，以有效地消除回声信号，提高通话双方的通话质量。
下面对具体的实现方式进行详细介绍。
参照图3，示出了本申请的一种回声检测的方法实施例一的步骤流程图，本申请实施例通过检测非线性回声信号以及线性回声信号，有效消除回声信号，提高通话双方的通话质量。
本申请实施例具体可以包括如下步骤：
S301，接收远端音频信号；
S302，对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
S303，对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
在本申请实施例中，当近端设备接收到远端音频信号以后，可以首先对该远端音频信号进行非线性滤波处理，得到第一回声预测信号，该第一回声预测信号中包含已经估计的非线性回声预测信号以及未估计的线性回声成分，随后，对该第一回声预测信号进行线性滤波处理，得到第二回声预测信号，该第二回声预测信号包括已经估计的非线性回声预测信号以及已经估计的线性回声预测信号，从而实现对回声信号中的非线性回声成分以及线性回声成分的辨识，提高了回声信号的预测准确率，从而有效消除回声信号中的非线性回声成分以及线性回声成分，提高通话质量。
参照图4，示出了本申请的一种回声检测的方法实施例二的步骤流程图，具体可以包括如下步骤：
S401，接收远端音频信号；
远端音频信号可以为远端设备向近端设备发送的音频信号。在具体实现中，远端音频信号可以为一个长度为n的数组S(n)。
S402，确定时延信息，并采用所述时延信息对所述远端音频信号进行去时延处理；
在一种实施方式中，该时延信息可以为与终端通信的服务器向终端发送的初始化信息。具体的，当服务器检测到通话开始时，则可以将与该终端对应的时延信息发送至终端。
在另有一种实时方式中，该时延信息也可以是终端针对上一帧语音信号计算的信息，具体的，在播放上一帧语音信号时，终端可以计算喇叭播放上一帧语音信号的时间距离麦克风采集上一帧语音信号的时间之间的时间差，作为下一帧语音信号的时延信息。若没有上一帧语音信号，则以初始的时延信息为准。
确定时延信息以后，在播放远端音频信号之前，可以采用该时延信息对远端音频信号进行消除时延处理，以消除远端音频信号与近端音频信号之间的时延，以方便后续进行自适应滤波。
在具体实现中，其中一种去时延处理的方式可以为：将该远端音频信号前移或后移时延信息对应的时间，使得播放的远端音频信号向麦克风采集的近端音频信号对齐。
S403，播放去时延后的远端音频信号；
对远端音频信号进行去时延处理以后，近端设备可以通过喇叭播放该音频信号。
S404，获取麦克风采集的近端音频信号；
近端设备还可以获取麦克风采集的近端音频信号。
在实际中，近端设备获取近端音频信号以后，可以首先检测该近端音频信号中是否存在回声信号，在存在回声信号时进行后续消除回声的处理；若检测到该近端音频信号中不存在回声信号时，则不进行后续消除回声的处理，避免浪费处理器资源。
由于远端音频信号是近端设备接收到的远端设备发送的语音信号，而回声信号是近端设备采集播放的该语音信号得到的，因此，远端音频信号近似于回声信号，若近端音频信号中存在回声信号，则近端音频信号与远端音频信号的相关性会很大，且近端音频信号与远端音频信号的匹配程度会很高，基于此，在一种实施方式中，可以采用如下方式测该近端音频信号中是否存在回声信号：
计算远端音频信号的第一能量值E1以及近端音频信号的第二能量值E2；将第一能量值E1除以第二能量值E2，得到ERL；计算远端音频信号和近端音频信号的相关系数R，R用于表示远端音频信号和近端音频信号的相关性；判断R是否小于相关性门限，且ERL是否大于能量比门限；若同时满足条件，则确定近端音频信号中不存在回声信号；若不满足至少一种条件，确定近端音频信号中存在回声信号。
在一种实现中，能量值可以采用如下公式计算：
其中，E代表能量值；x(k)代表长度为n的信号在n个时刻中，第k个时刻的信号幅度值。
在一种实现中，R可以采用如下公式计算：
其中，R代表信号x(k)和y(k)的相关系数；x(k)和y(k)代表长度为n的信号在n个时刻中，第k个时刻的信号幅度值；Ex代表信号x(k)能量值；Ey代表信号y(k)能量值。
在具体实现中，由于上述检测近端音频信号是否存在回声信号的结果可能不准确，在近端音频信号中可能存在少量的回声信号时，而检测结果为近端音频信号中不存在回声信号，此时，若将该近端音频信号直接输出，依旧会影响通话质量，因此，当近端音频信号中不存在回声信号时，可以将近端音频信号乘以衰减因子，得到音频输出信号，以去除该近端音频信号中可能存在的回声信号，提高通话质量。
作为一种示例，该衰减因子可以取值为大于0且小于1的值。
在实际中，近端音频信号中可能不会一直存在语音信号，例如：近端设备对应的用户没有说话，则在近端音频信号中不存在语音信号时，为了节省传输资源，近端设备不需要将近端音频信号输出。因此，当检测到近端音频信号不存在回声信号时，还可以判断近端音频信号中是否存在语音信号，若是，则执行步骤S405，若否，则结束流程。
S405，对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号；
在本申请实施例中，消除远端音频信号的时延以后，可以对该远端音频信号进行非线性滤波处理，以得到第一回声预测信号，该第一回声预测信号可以包括已经估计的非线性回声预测信号以及未估计的线性回声成分。
在实际中，该第一回声预测信号可以为远端音频信号经过功放、喇叭之后播放出来的信道之后的数据的估计。
在本申请实施例中，可以创建非线性自适应滤波器，该非线性滤波器可以用于对非线性回声的通道进行辨识，同时输出回声通过非线性回声的通道之后的估计信号。其中，该非线性回声的通道可以为由功放以及喇叭组成的模拟信道。
作为一种示例，该非线性自适应滤波器可以包括但不限于：多项式模型、非线性相位IIR模型、余弦cos非线性模型等。
当将远端音频信号输入该非线性自适应滤波器后，非线性自适应滤波器可以输出第一回声预测信号。
以下描述非线性自适应滤波器对远端音频信号的处理过程：
在本申请实施例的一种优选实施例中，S405进一步可以包括如下子步骤：
子步骤S11，将所述远端音频信号转换成非线性音频信号；
非线性是指变量之间的数学关系，不是直线，而是曲线、曲面、或不确定的属性。
在具体实现中，可以将远端音频信号进行非线性方程运算，得到非线性音频信号。
在一种实施方式中，子步骤S11进一步可以包括如下子步骤：将所述远端音频信号进行多项式运算，得到非线性音频信号。
例如，若远端音频信号为S(n)，对其进行二次多项式运算，得到的非线性音频信号可以为S2(n)。
子步骤S12，采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
得到非线性音频信号以后，可以采用归一化最小均方自适应滤波算法对该非线性音频信号进行处理，得到第一回声预测信号。
在一种实施方式中，首先可以采用最小均方算法对非线性音频信号进行处理，基于非线性音频信号的最小均方算法可以表示为如下公式：
其中，y'(n)为第一回声预测信号，w'(k)为当前帧远端音频信号往前k帧的远端音频信号对应的非线性滤波器系数，即功放与喇叭模拟信道滤波器系数，s(n-k)为当前帧远端音频信号往前k帧的远端信号。
S406，对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号；
在本申请实施例中，由于得到的第一回声预测信号还可以包括没有预测的线性回声成分，因此，可以对该第一回声预测信号进行线性滤波处理，以得到第二回声预测信号，该第二回声预测信号可以包括已经估计的非线性回声预测信号以及已经估计的线性回声成分。
在实际中，该第二回声预测信号可以为远端音频信号经过空气衰减、麦克风拾取之后的数据的估计。
在本申请实施例中，针对线性回声通道的特性，可以采用线性数学建模的方法建立线性滤波器，该线性滤波器可以用于对线性回声的通道进行辨识，同时输出回声通过线性回声的通道之后的估计信号。其中，该线性回声的通道可以为回声通过空气传输衰减到麦克风采集，再经过AD模数转换成数字信号，这条链路的信道。
作为一种示例，该线性自适应滤波器可以包括但不限于：线性相位fir滤波器模型等。
当将第一回声预测信号输入该线性自适应滤波器后，线性自适应滤波器可以输出第二回声预测信号。
在具体实现中，可以采用最小均方自适应滤波算法对该第一回声预测信号进行处理，得到第二回声预测信号。
在一种实施方式中，首先可以采用最小均方算法对第一回声预测信号进行处理，基于第一回声预测信号的最小均方算法可以表示为如下公式：
其中，y”(n)为第二回声预测信号，w”(k)为当前帧第一回声预测信号往前k帧的第一回声预测信号对应的线性滤波器系数，y'(n-k)为当前帧第一回声预测信号往前k帧的第一回声预测信号。
S407，计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
第二回声预测信号为估算出来的回声成分，得到第二回声预测信号以后，可以计算麦克风采集的近端音频信号以及第二回声预测信号之间的残差信号e(n)，即e(n)＝d(n)-y”(n)。
在具体实现中，上述非线性自适应滤波器以及线性自适应滤波器所依据的自适应算法是一个迭代算法，得到残差信号以后，可以将该残差信号作为下一次算法的系数，以对非线性滤波器系数以及线性滤波器系数进行更新，再将更新后的系数反馈到最小均方算法中，从而更好地估计非线性回声以及线性回声。
在一种实施方式中，基于残差信号对非线性滤波器系数进行更新的公式可以表示如下：
其中，u’(k)为第一自适应更新步长因子，其设定可以根据经验设定，w'(k)为更新前的非线性滤波器系数，w'(k+1)为更新后的非线性滤波器系数，s(k)为当前帧远端音频信号，s(n-k)为当前帧远端音频信号往前k帧的远端信号，e(n)为残差信号。
在一种实施方式中，基于残差信号对线性滤波器系数进行更新的公式可以表示如下：
其中，u”(k)为第二自适应更新步长因子，其设定可以根据经验设定，w”(k)为更新前的线性滤波器系数，w”(k+1)为更新后的线性滤波器系数，y'(n-k)为当前帧第一回声预测信号往前k帧的第一回声预测信号，e(n)为残差信号。
在进行非线性滤波器系数以及线性滤波器系数的更新时，可以通过让e(n)最小作为收敛条件，目的是最终让麦克风最终采集的d(n)中的回声成分最少，直到消除干净。
S408，基于所述残差信号，确定语音输出信号。
在具体实现中，可以直接将该残差信号作为语音输出信号输出到远端设备中。
当然，还可以将残差信号乘以一预设的衰减因子后输出，本申请实施例对此不作限定。
在本申请实施例中，对远端音频信号进行非线性滤波处理以后，得到包含非线性回声预测信号的第一回声预测信号，随后将第一回声预测信号进行线性滤波处理，得到包含非线性回声预测信号以及线性回声预测信号的第二回声预测信号，以实现线性回声信号以及非线性回声信号的估计，从而有效消除线性回声信号以及非线性回声信号，提高通话质量。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图5，示出了本申请的一种回声检测的装置实施例的结构框图，可以包括如下模块：
远端信号接收模块501，用于接收远端音频信号；
非线性回声预测模块502，用于对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
线性回声预测模块503，用于对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
在本申请实施例的一种优选实施例中，所述装置还包括：
近端信号获取模块，用于获取麦克风采集的近端音频信号；
残差信号计算模块，用于计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
语音输出信号确定模块，用于基于所述残差信号，确定语音输出信号。
在本申请实施例的一种优选实施例中，所述非线性回声预测模块502可以包括如下子模块：
非线性信号转换子模块，用于将所述远端音频信号转换成非线性音频信号；
非线性信号处理子模块，用于采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
在本申请实施例的一种优选实施例中，所述非线性信号转换子模块还用于：
将所述远端音频信号进行多项式运算，得到非线性音频信号。
在本申请实施例的一种优选实施例中，所述装置还包括：
时延信息确定模块，用于确定时延信息；
去时延模块，用于采用所述时延信息对所述远端音频信号进行去时延处理。
对于装置实施例而言，由于其与上述方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的系统。图6示意性地示出了可被用于实现本公开中所述的各个实施例的示例性系统(或装置)600。
对于一个实施例，图6示出了示例性系统600，该系统具有一个或多个处理器602、被耦合到(一个或多个)处理器602中的至少一个的系统控制模块(芯片组)606、被耦合到系统控制模块604的系统存储器606、被耦合到系统控制模块604的非易失性存储器(NVM)/存储设备608、被耦合到系统控制模块604的一个或多个输入/输出设备610，以及被耦合到系统控制模块604的网络接口612。
处理器602可包括一个或多个单核或多核处理器，处理器602可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，系统600能够作为本申请实施例中所述的浏览器。
在一些实施例中，系统600可包括具有指令的一个或多个计算机可读介质(例如，系统存储器606或NVM/存储设备608)以及与该一个或多个计算机可读介质相合并被配置为执行指令以实现模块从而执行本公开中所述的动作的一个或多个处理器602。
对于一个实施例，系统控制模块604可包括任意适当的接口控制器，以向(一个或多个)处理器602中的至少一个和/或与系统控制模块604通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块604可包括存储器控制器模块，以向系统存储器606提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
系统存储器606可被用于例如为系统600加载和存储数据和/或指令。对于一个实施例，系统存储器606可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器606可包括双倍数据速率类型四同步动态随机存取存储器(DDR6SDRAM)。
对于一个实施例，系统控制模块604可包括一个或多个输入/输出控制器，以向NVM/存储设备608及(一个或多个)输入/输出设备610提供接口。
例如，NVM/存储设备608可被用于存储数据和/或指令。NVM/存储设备608可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备608可包括在物理上作为系统600被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备608可通过网络经由(一个或多个)输入/输出设备610进行访问。
NVM/存储设备608还可以包括内存管理器件，该内存管理器件可以包括MPU或MMU等，用于对终端的内存进行管理，例如设置内存的访问权限、检测内存是否溢出、触发内存访问异常中断、进行内存异常处理等。
(一个或多个)输入/输出设备610可为系统600提供接口以与任意其他适当的设备通信，输入/输出设备610可以包括通信组件、音频组件、传感器组件等。网络接口612可为系统600提供接口以通过一个或多个网络通信，系统600可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器602中的至少一个可与系统控制模块604的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器602中的至少一个可与系统控制模块604的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器602中的至少一个可与系统控制模块604的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器602中的至少一个可与系统控制模块604的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统600可以但不限于是：浏览器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统600可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统600包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，如果显示器包括触摸面板，显示屏可以被实现为触屏显示器，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。
在一个示例中提供了一种装置，包括：一个或多个处理器；和，其上存储的有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如本申请实施例中的方法。
在一个示例中还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如本申请实施例中的方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序操作指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序操作指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的操作指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序操作指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的操作指令产生包括操作指令装置的制造品，该操作指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序操作指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的操作指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种回声检测的方法以及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种回声检测的方法，其特征在于，所述方法包括：
接收远端音频信号；
对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取麦克风采集的近端音频信号；
计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
基于所述残差信号，确定语音输出信号。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号的步骤包括：
将所述远端音频信号转换成非线性音频信号；
采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
4.根据权利要求3所述的方法，其特征在于，所述将所述远端音频信号转换成非线性音频信号的步骤包括：
将所述远端音频信号进行多项式运算，得到非线性音频信号。
5.根据权利要求1所述的方法，其特征在于，在所述对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号的步骤之前，还包括：
确定时延信息；
采用所述时延信息对所述远端音频信号进行去时延处理。
6.一种回声检测的装置，其特征在于，所述装置包括：
远端信号接收模块，用于接收远端音频信号；
非线性回声预测模块，用于对所述远端音频信号进行非线性滤波处理，确定第一回声预测信号，所述第一回声预测信号包括非线性回声预测信号；
线性回声预测模块，用于对所述第一回声预测信号进行线性滤波处理，得到第二回声预测信号，所述第二回声预测信号包括非线性回声预测信号以及线性回声预测信号。
7.根据权利要求6所述的装置，其特征在于，还包括：
近端信号获取模块，用于获取麦克风采集的近端音频信号；
残差信号计算模块，用于计算所述近端音频信号以及所述第二回声预测信号之间的残差信号；
语音输出信号确定模块，用于基于所述残差信号，确定语音输出信号。
8.根据权利要求6或7所述的装置，其特征在于，所述非线性回声预测模块包括：
非线性信号转换子模块，用于将所述远端音频信号转换成非线性音频信号；
非线性信号处理子模块，用于采用最小均方自适应滤波算法对所述非线性音频信号进行处理，得到第一回声预测信号。
9.根据权利要求8所述的装置，其特征在于，所述非线性信号转换子模块还用于：
将所述远端音频信号进行多项式运算，得到非线性音频信号。
10.根据权利要求6所述的装置，其特征在于，还包括：
时延信息确定模块，用于确定时延信息；
去时延模块，用于采用所述时延信息对所述远端音频信号进行去时延处理。
11.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-5一个或多个的方法。
12.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1-5一个或多个的方法。
CN201710597308.2A 2017-07-20 2017-07-20 一种回声检测的方法、装置及系统 Pending CN109286730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710597308.2A CN109286730A (zh) 2017-07-20 2017-07-20 一种回声检测的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710597308.2A CN109286730A (zh) 2017-07-20 2017-07-20 一种回声检测的方法、装置及系统

Publications (1)

Publication Number Publication Date
CN109286730A true CN109286730A (zh) 2019-01-29

Family

ID=65184925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710597308.2A Pending CN109286730A (zh) 2017-07-20 2017-07-20 一种回声检测的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN109286730A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246515A (zh) * 2019-07-19 2019-09-17 腾讯科技（深圳）有限公司 回声的消除方法、装置、存储介质及电子装置
CN110335618A (zh) * 2019-06-06 2019-10-15 福建星网智慧软件有限公司 一种改善非线性抑制的方法及计算机设备
CN111246035A (zh) * 2020-01-09 2020-06-05 深圳震有科技股份有限公司 一种回声非线性处理的分级调整方法、终端及存储介质
CN111370016A (zh) * 2020-03-20 2020-07-03 北京声智科技有限公司 一种回声消除方法及电子设备
CN111586547A (zh) * 2020-04-28 2020-08-25 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
CN111899751A (zh) * 2020-08-04 2020-11-06 西南交通大学 抗饱和失真的广义混合范数自适应回声消除方法
CN112217948A (zh) * 2020-10-10 2021-01-12 北京嘀嘀无限科技发展有限公司 语音通话的回声处理方法、装置、设备及存储介质
WO2021017134A1 (zh) * 2019-07-26 2021-02-04 歌尔科技有限公司 回声消除方法及装置、电子设备、可读存储介质
CN112702460A (zh) * 2020-12-22 2021-04-23 北京佳讯飞鸿电气股份有限公司 一种语音通信的回声消除方法及装置
CN112750449A (zh) * 2020-09-14 2021-05-04 腾讯科技（深圳）有限公司 回声消除方法、装置、终端、服务器及存储介质
CN113113035A (zh) * 2020-01-10 2021-07-13 阿里巴巴集团控股有限公司 一种音频信号处理方法、装置、系统以及电子设备
CN113421579A (zh) * 2021-06-30 2021-09-21 北京小米移动软件有限公司 声音处理方法、装置、电子设备和存储介质
CN113938548A (zh) * 2020-06-29 2022-01-14 阿里巴巴集团控股有限公司 一种终端通信的回声抑制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1780165A (zh) * 2004-11-23 2006-05-31 华为技术有限公司 一种回声消除装置和方法
CN104040888A (zh) * 2012-01-10 2014-09-10 Actiwave公司 多速率滤波器系统
US20150256929A1 (en) * 2014-03-05 2015-09-10 Texas Instruments Incorporated Method and system for acoustic echo cancellation using cascaded kalman filtering
CN105791611A (zh) * 2016-02-22 2016-07-20 腾讯科技（深圳）有限公司 回声消除方法及装置
CN106713570A (zh) * 2015-07-21 2017-05-24 炬芯（珠海）科技有限公司 一种回声消除方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1780165A (zh) * 2004-11-23 2006-05-31 华为技术有限公司 一种回声消除装置和方法
CN104040888A (zh) * 2012-01-10 2014-09-10 Actiwave公司 多速率滤波器系统
US20150256929A1 (en) * 2014-03-05 2015-09-10 Texas Instruments Incorporated Method and system for acoustic echo cancellation using cascaded kalman filtering
CN106713570A (zh) * 2015-07-21 2017-05-24 炬芯（珠海）科技有限公司 一种回声消除方法和装置
CN105791611A (zh) * 2016-02-22 2016-07-20 腾讯科技（深圳）有限公司 回声消除方法及装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335618A (zh) * 2019-06-06 2019-10-15 福建星网智慧软件有限公司 一种改善非线性抑制的方法及计算机设备
CN110335618B (zh) * 2019-06-06 2021-07-30 福建星网智慧软件有限公司 一种改善非线性回声抑制的方法及计算机设备
CN110246515B (zh) * 2019-07-19 2023-10-24 腾讯科技（深圳）有限公司 回声的消除方法、装置、存储介质及电子装置
CN110246515A (zh) * 2019-07-19 2019-09-17 腾讯科技（深圳）有限公司 回声的消除方法、装置、存储介质及电子装置
WO2021017134A1 (zh) * 2019-07-26 2021-02-04 歌尔科技有限公司 回声消除方法及装置、电子设备、可读存储介质
CN111246035A (zh) * 2020-01-09 2020-06-05 深圳震有科技股份有限公司 一种回声非线性处理的分级调整方法、终端及存储介质
CN111246035B (zh) * 2020-01-09 2021-07-20 深圳震有科技股份有限公司 一种回声非线性处理的分级调整方法、终端及存储介质
CN113113035A (zh) * 2020-01-10 2021-07-13 阿里巴巴集团控股有限公司 一种音频信号处理方法、装置、系统以及电子设备
CN111370016B (zh) * 2020-03-20 2023-11-10 北京声智科技有限公司 一种回声消除方法及电子设备
CN111370016A (zh) * 2020-03-20 2020-07-03 北京声智科技有限公司 一种回声消除方法及电子设备
US11395079B2 (en) 2020-04-28 2022-07-19 Beijing Xiaomi Pinecone Electronics Co., Ltd. Method and device for detecting audio input module, and storage medium
CN111586547A (zh) * 2020-04-28 2020-08-25 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
CN111586547B (zh) * 2020-04-28 2022-05-06 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
CN113938548A (zh) * 2020-06-29 2022-01-14 阿里巴巴集团控股有限公司 一种终端通信的回声抑制方法和装置
CN111899751A (zh) * 2020-08-04 2020-11-06 西南交通大学 抗饱和失真的广义混合范数自适应回声消除方法
CN111899751B (zh) * 2020-08-04 2022-04-22 西南交通大学 抗饱和失真的广义混合范数自适应回声消除方法
CN112750449A (zh) * 2020-09-14 2021-05-04 腾讯科技（深圳）有限公司 回声消除方法、装置、终端、服务器及存储介质
CN112750449B (zh) * 2020-09-14 2024-02-20 腾讯科技（深圳）有限公司 回声消除方法、装置、终端、服务器及存储介质
CN112217948B (zh) * 2020-10-10 2022-01-18 北京嘀嘀无限科技发展有限公司 语音通话的回声处理方法、装置、设备及存储介质
CN112217948A (zh) * 2020-10-10 2021-01-12 北京嘀嘀无限科技发展有限公司 语音通话的回声处理方法、装置、设备及存储介质
CN112702460B (zh) * 2020-12-22 2023-02-24 北京佳讯飞鸿电气股份有限公司 一种语音通信的回声消除方法及装置
CN112702460A (zh) * 2020-12-22 2021-04-23 北京佳讯飞鸿电气股份有限公司 一种语音通信的回声消除方法及装置
CN113421579A (zh) * 2021-06-30 2021-09-21 北京小米移动软件有限公司 声音处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109286730A (zh) 一种回声检测的方法、装置及系统
CN109285554A (zh) 一种回声消除方法、服务器、终端及系统
CN107610713B (zh) 基于时延估计的回声消除方法及装置
US10360923B2 (en) Method and system for eliminating an echo
CN111341336B (zh) 一种回声消除方法、装置、终端设备及介质
US9866792B2 (en) Display apparatus and echo cancellation method thereof
CN103546839B (zh) 音频信号处理系统及其回音信号去除方法
CN107886965A (zh) 游戏背景音的回声消除方法
JP2004056453A (ja) エコー抑圧方法及び装置
US11349525B2 (en) Double talk detection method, double talk detection apparatus and echo cancellation system
CN104883462B (zh) 一种用于消除声学回声的自适应滤波器及滤波方法
CN111031448B (zh) 回声消除方法、装置、电子设备和存储介质
CN104994249B (zh) 声回波消除方法和装置
CN109102821B (zh) 时延估计方法、系统、存储介质及电子设备
CN112634923B (zh) 基于指挥调度系统的音频回声消除方法、设备、存储介质
CN105432062B (zh) 用于回波去除的方法、设备及介质
CN112562624B (zh) 主动降噪滤波器设计方法、降噪方法、系统及电子设备
JP2015084466A (ja) サンプリングポイント調整装置および方法、並びにプログラム
CN109308905A (zh) 音频数据处理方法、装置、电子设备和存储介质
US9559658B2 (en) Filter coefficient group computation device and filter coefficient group computation method
CN114242100B (zh) 音频信号处理方法、训练方法及其装置、设备、存储介质
CN103327201A (zh) 残留回声消除方法及系统
CN115604627A (zh) 音频信号处理方法、装置、电子设备及可读存储介质
CN103796135B (zh) 具有回声消除的动态扬声器管理
CN112489669B (zh) 一种音频信号处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication